CN102970548A - 一种图像深度感知装置 - Google Patents

一种图像深度感知装置 Download PDF

Info

Publication number
CN102970548A
CN102970548A CN2012104902250A CN201210490225A CN102970548A CN 102970548 A CN102970548 A CN 102970548A CN 2012104902250 A CN2012104902250 A CN 2012104902250A CN 201210490225 A CN201210490225 A CN 201210490225A CN 102970548 A CN102970548 A CN 102970548A
Authority
CN
China
Prior art keywords
speckle pattern
depth
image
block
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012104902250A
Other languages
English (en)
Other versions
CN102970548B (zh
Inventor
葛晨阳
葛瑞龙
王大伦
李伟
姚慧敏
王峰
朱鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY CO., LTD.
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201210490225.0A priority Critical patent/CN102970548B/zh
Publication of CN102970548A publication Critical patent/CN102970548A/zh
Priority to US14/040,709 priority patent/US9995578B2/en
Application granted granted Critical
Publication of CN102970548B publication Critical patent/CN102970548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明针对基于结构光的主动视觉模式，实现了一种高精度图像深度感知装置（芯片或IP核）的硬件结构，具有结构简单、硬件开销小、可实时生成高分辨率的深度图序列的优点，同时该模块即可作为独立芯片，也可作为嵌入式IP核应用。该模块主要原理：输入散斑图序列（从外部图像传感器采集得到，深度信息未知）与标准散斑图（深度距离信息已知，作为基准）进行比较，通过图像块的模式匹配（相似度计算）获得输入散斑图的运动矢量信息，再通过深度计算获得深度图，最后经过深度图的后处理输出最终的高分辨率深度图序列。

Description

一种图像深度感知装置
技术领域
本发明属于图像处理、自然交互和集成电路技术领域，具体涉及图像深度感知装置的硬件结构。
背景技术
视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置（深度）。图像高精度深度信息的实时获取是当前机器视觉系统发展的一大难点。
自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令，通过听觉与视觉以语言、表情、手势和体势等自然方式进行交互，进一步降低人对机器的使用门槛。利用图像深度感知芯片及装置可进行三维图像的实时识别及动作捕捉，使人能以表情、手势、体势等自然方式与终端进行交互，使人类能以自然交互方式对机器进行操控的理想目标有望实现。图像深度感知技术已逐步从游戏机外设拓展到其它智能终端，包括智能电视、智能手机、PC、平板电脑等，为用户带来“科幻”般的操控方式和全新的人机交互体验，在游戏娱乐、消费电子、医疗、教育等领域都有广泛的应用前景。
基于结构光的主动视觉模式可以较为准确地获取图像的深度信息，该模式相比双目立体摄像头，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配过程简单、算法计算量小等优势。如微软的体感交互设备Kinect就是采用红外结构光的主动视觉模式，即通过红外激光投射固定模式的图像到物体表面，经物体表面的漫反射形成散斑点，由图像传感器采集获得散斑图像，再通过图像深度感知装置计算获得物体的深度图信息。
本发明针对基于结构光的主动视觉模式，实现了一种高精度图像深度感知装置（芯片或IP核）的硬件结构，具有结构简单、硬件开销小、可实时生成高分辨率的深度图序列的优点，同时该模块即可作为独立芯片，也可作为嵌入式IP核应用。该模块主要原理：输入散斑图序列（从外部图像传感器采集得到，深度信息未知）与标准散斑图（深度距离信息已知，作为基准）进行比较，通过图像块的模式匹配（相似度计算）获得输入散斑图的运动矢量信息，再通过深度计算获得深度图，最后经过深度图的后处理输出最终的高分辨率深度图序列。
 
发明内容
本发明提供了一种图像深度感知装置，其特征在于：包括图像自适应预处理子模块、块匹配运动估计子模块、深度计算子模块以及存储器；其中：
将外部的图像传感器采集获得的输入散斑图序列，以数字视频格式输出至所述图像自适应预处理子模块；
所述图像自适应预处理子模块对不同亮暗、信噪比、大小特性的输入散斑图序列进行自适应、一致性的预处理；
所述存储器中固定存储有深度距离信息已知的标准散斑图，该标准散斑图已进行过预处理；
所述块匹配运动估计子模块将预处理后的输入散斑图序列中各输入散斑图与标准散斑图进行比对，求取输入散斑图中图像块的位移量；
所述深度计算子模块根据输入散斑图中图像块的位移量来计算其深度信息，得到计算后的深度图序列。
 
附图说明
图1是本发明实施例的图像深度感知装置结构图；
图2是本发明实施例的图像自适应预处理子模块的流程框图；
图3是本发明实施例的块匹配运动估计子模块的原理示意图；
图4是激光三角测距原理示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步的详细说明。
在一个具体实施例中，本发明公开了一种图像深度感知装置，其特征在于：包括图像自适应预处理子模块、块匹配运动估计子模块、深度计算子模块以及存储器；其中：
将外部的图像传感器采集获得的输入散斑图序列，以数字视频格式输出至所述图像自适应预处理子模块；
所述图像自适应预处理子模块对不同亮暗、信噪比、大小特性的输入散斑图序列进行自适应、一致性的预处理；
所述存储器中固定存储有深度距离信息已知的标准散斑图，该标准散斑图已进行过预处理；
所述块匹配运动估计子模块将预处理后的输入散斑图序列中各输入散斑图与标准散斑图进行比对，求取输入散斑图中图像块的位移量；
所述深度计算子模块根据输入散斑图中图像块的位移量来计算其深度信息，得到计算后的深度图序列。
就上述实施例而言，该装置的基本功能在于：从外部图像传感器输入散斑图序列（深度信息未知），经图像自适应与固定存储在存储芯片（Flash、EEPROM等）中的标准散斑图（深度距离信息已知，作为基准）进行比较，通过图像块的块匹配运动估计（相似度计算）获得输入散斑图的运动矢量信息，再通过深度计算获得深度图，最后经过深度图的后处理输出最终的高分辨率深度图序列。块匹配运动估计子模块实质上是用于输入散斑图和标准散斑图之间的相似度计算。输入散斑图中的光斑图案可认为是由标准散斑图的光斑图案经缩放、平移等操作得到，求取对应光斑块的运动向量（即位移量）可用于计算其深度信息。深度，即该块所在的、与散斑投射器中心轴Z轴垂直的平面到散斑投射器前端的垂直距离。
其中标准散斑图的获取可以通过如下方式实现，这些方式仅用于说明上述实施例，并非限制上述实施例，因为本领域技术人员也可以采用其他方式获取标准散斑图：将固定图案的激光束（红外、可见光、紫外线、不可见光）投射到与散斑投射器的中心轴（Z轴）相垂直的、且已知位置距离为d的平面（该平面可由投影布、平板等构成，用于呈现清晰稳定的散斑点图）上，平面上所形成的散斑图即为标准散斑图。输入散斑图的获取也可以采用上述获取方法，输入散斑图中含有要测量深度信息的目标物体，其深度信息为知。容易理解，目标物体必须在散斑照射的有效距离范围内。
优选的，在另一个实施例中：所述数字视频格式为Bayer格式或ITU656/ITU601视频格式；所述图像深度感知模块还包括深度图后处理子模块，其采用去噪滤波的方法来减少噪声的存在，输出高分辨率深度图序列。对于该实施例而言，深度图后处理子模块用于对获得的深度图进一步优化。由于在块匹配运动估计过程中可能存在误匹配的问题、加上激光投射的方法会形成被遮挡区域，由此形成深度图有空洞现象，空洞也可以视为深度图的噪声。为了进一步提高精度，所述深度图后处理子模块采用去噪滤波的方法来减少噪声的存在，并使得深度图中物体的边缘更光滑、清晰，比如采用中值滤波、均值滤波等方法，但不限于这些传统的滤波方法，其目的都是为了减少噪声。经优化处理后，输出深度图序列。
优选的，在另一个实施例中：所述图像自适应预处理子模块的预处理过程为：先将输入散斑图序列和标准散斑图转为RGB格式，再通过色度空间转换为YUV格式，最后针对YUV格式的图像进行自适应去噪和增强。也就是说，本实施例意在限定图像自适应预处理子模块的一种具体处理过程。
优选的，在另一个实施例中：所述块匹配运动估计子模块的工作过程为：在输入散斑图中提取大小为（                                                
Figure 93839DEST_PATH_IMAGE001
）的图像块
Figure 333059DEST_PATH_IMAGE002
；通过微处理器在标准散斑图中，以图像块
Figure 786037DEST_PATH_IMAGE002
所对应位置为中心、大小为（
Figure 990884DEST_PATH_IMAGE003
）的搜索窗内，按搜索策略和相似度测量指标来寻找该图像块的最优的匹配块，其中，M、N、n、m都是整数，且M>m、N>n，从而获得该图像块的位移量（
Figure 43471DEST_PATH_IMAGE005
，
Figure 549408DEST_PATH_IMAGE006
），即运动向量。对于该实施例，意在限定块匹配运动估计子模块的一种具体处理过程。
优选的，在另一个实施例中：所述去噪滤波方法为中值滤波或均值滤波。
优选的，在另一个实施例中：深度计算子模块根据输入散斑图与标准散斑图中进行比对，求取输入散斑图中图像块的位移量，在已知图像块位移量、图像传感器焦距、图像传感器像素点点距参数和标准散斑图参考距离的情况下，利用激光三角测距原理求取该图像块对应的深度值，通过对输入散斑图所有图像块深度值的计算生成输入散斑图对应的深度图。
对于上述实施例而言，可以根据每一图像块的位移量，在已知图像传感器焦距和传感器像素点点距参数的情况下，利用该位移量结合激光三角测距方法求取深度的相对变化值，该相对变化值加上标准散斑图的参考距离即可得到该图像块对应的深度值，其中：当该相对变化值为正值时，该图像块对应的深度值大于标准散斑图的参考距离；当该相对变化值为负值时，该图像块对应的深度值小于标准散斑图的参考距离；当该相对变化值为零时，该图像块对应的深度值等于标准散斑图的参考距离。
优选的，在另一个实施例中：所述深度计算子模块利用查找表法求取输入散斑图中图像块的深度，所述查找表根据标准散斑图不同位移量及其对应的深度值建立。
对于该实施例而言，本实施例实现了查找表方式求取深度
Figure 592450DEST_PATH_IMAGE007
，例如：在具体实施中，将水平位移量
Figure 758596DEST_PATH_IMAGE005
或垂直位移量
Figure 519878DEST_PATH_IMAGE006
作为查找表的输入值，得到输出值深度
Figure 845818DEST_PATH_IMAGE007
，从而避免了复杂的深度计算公式，实现了硬件结构的简化和硬件资源的节省。
进一步地，查找表中水平位移量
Figure 8946DEST_PATH_IMAGE005
或垂直位移量与深度
Figure 378616DEST_PATH_IMAGE007
对应关系可由以下方法获得：水平位移量
Figure 892774DEST_PATH_IMAGE005
或垂直位移量
Figure 756825DEST_PATH_IMAGE006
大小与深度
Figure 774459DEST_PATH_IMAGE007
不是线性关系，其映射关系可由多个不同标准深度距离
Figure 82075DEST_PATH_IMAGE008
的标准散斑图，如
Figure 552371DEST_PATH_IMAGE009
，经不同标准散斑图之间两两块匹配运动估计，得到不同标准散斑图之间的位移量，如水平位移量
Figure 688954DEST_PATH_IMAGE010
或垂直位移量
Figure 544783DEST_PATH_IMAGE011
，经曲线拟合可得到水平位移量
Figure 6989DEST_PATH_IMAGE005
或垂直位移量与物体深度距离
Figure 664376DEST_PATH_IMAGE008
的关系，依据所述曲线拟合可生成任意水平位移量
Figure 922182DEST_PATH_IMAGE005
或任意垂直位移量
Figure 289709DEST_PATH_IMAGE006
与深度距离
Figure 249444DEST_PATH_IMAGE008
对应的查找表，根据该查找表可获得任意水平位移量
Figure 258988DEST_PATH_IMAGE005
或垂直位移量
Figure 105722DEST_PATH_IMAGE006
所对应的该图像块的深度距离
Figure 660462DEST_PATH_IMAGE008
。
然后，经对输入散斑图所有图像块进行深度计算，再对所有图像块的深度值组合得到该输入散斑图所对应的深度图。深度图用灰度图来表示，比如灰度值越大表示越近，即
Figure 592646DEST_PATH_IMAGE007
值约小；灰度值越小表示越远、即值越大。也可采用相反方式用灰度图来表示深度图。
优选的，在另一个实施例中：所述搜索策略为：先按水平方向移动块、再在垂直方向增加行数，逐个匹配块进行搜索。
最佳的，在另一个实施例中：所述装置还包括微处理器，所述微处理器不仅从存储器中以串口或并口方式读取标准散斑图，而且通过内部控制总线或IIC总线方式对图像传感器和上述各个子模块进行初始化参数赋值和控制寄存器参数配置，包括对图像传感器进行输出格式控制，对图像自适应预处理子模块进行算法性能配置、阈值设置和开关控制，对块匹配运动估计子模块进行图像块、搜索窗大小控制，对深度计算子模块的查找表进行动态配置，对深度图后处理子模块进行滤波方法选择、阈值设置和开关控制。
对于上述最佳的实施例，图1说明了包含微处理器的图像深度感知装置结构图。以该实施例为例，现具体说明如下：
图像自适应预处理子模块对输入散斑图进行预处理，对不同特性的输入散斑图进行自适应、一致性的处理，以达到提高块匹配运动估计的准确性的目的，例如，当输入散斑图格式为Bayer格式时，处理流程见图2。图像自适应预处理子模块先将Bayer格式转换为RGB格式的图像，再通过色度空间转换（RGB到YUV）转为YUV格式的图像，再针对YUV图像进行自适应去噪和增强。自适应去噪方法包括窗口滤波、高斯滤波等，但不限于这些传统的图像去噪方法，目的是提高图像性噪比。图像增强方法包括直方图增强、灰度线性增强、二值化处理等，但不限于这些传统的图像增强方法，目的是使输入散斑图特征更显著。最后输出预处理后的输入散斑图序列。
其中，微处理器通过内部控制总线或IIC总线方式对图像自适应预处理子模块、块匹配运动估计子模块、深度计算子模块、深度图后处理子模块进行寄存器参数控制，并从存储器（Flash、EEPROM等其它介质存储器）以串口或并口方式输入固定储存在该介质上的标准散斑图，该散斑图已经过上述的图像自适应预处理，作为基准散斑图固定存在该介质中。假设微处理器通过内部控制器从存储器读入标准散斑图的部分数据到内部数据总线，那么，从前文说明容易理解，其所读入的标准散斑图数据内容跟输入散斑图的当前匹配块位置及设定的搜索窗大小密切相关。
对于所述块匹配运动估计子模块，用于求取输入散斑图的运动向量，见图3。
如前所述，搜索窗内匹配块的搜索策略可以是先按水平方向移动块、再在垂直方向增加行数，逐个匹配块进行搜索，其匹配插值精度可达到子像素级。
特别的，该块匹配运动估计方法不同于传统的块匹配算法。在匹配过程中，传统的运动估计匹配算法其匹配块的步长等于匹配块的大小，从输入散斑图中提取的图像块的步长
Figure 596877DEST_PATH_IMAGE012
也可小于匹配块的大小，经块匹配求取的运动向量只代表了运动块中心区域、步长
Figure 547515DEST_PATH_IMAGE012
范围内像素点（图3中的阴影区域）的运动向量，以此方法可取得运动向量的准确率和细小物体运动向量误匹配现象的折衷。
由此，优选的，在另一个实施例中：从输入散斑图中提取的图像块的步长小于匹配块的大小。
上述的实施例既可以作为独立芯片使用，也可以作为嵌入式IP核在SoC芯片中应用。本发明不仅支持不同种激光源产生的结构光模式，如红外、可见光、紫外线、不可见光等，也使用不同图案的投射方案，如圆点状、块状、十字状、条纹状等的散斑图。因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。

Claims (10)

1.一种图像深度感知装置，其特征在于：包括图像自适应预处理子模块、块匹配运动估计子模块、深度计算子模块以及存储器；其中：
将外部的图像传感器采集获得的输入散斑图序列，以数字视频格式输出至所述图像自适应预处理子模块；
所述图像自适应预处理子模块对不同亮暗、信噪比、大小特性的输入散斑图序列进行自适应、一致性的预处理；
所述存储器中固定存储有深度距离信息已知的标准散斑图，该标准散斑图已进行过预处理；
所述块匹配运动估计子模块将预处理后的输入散斑图序列中各输入散斑图与标准散斑图进行比对，求取输入散斑图中图像块的位移量；
所述深度计算子模块根据输入散斑图中图像块的位移量来计算其深度信息，得到计算后的深度图序列。
2.如权利要求1所述的装置，其特征在于：所述数字视频格式为Bayer格式或ITU656/ITU601视频格式；所述图像深度感知模块还包括深度图后处理子模块，其采用去噪滤波的方法来减少噪声的存在，输出高分辨率深度图序列。
3.如权利要求1所述的装置，其特征在于：所述图像自适应预处理子模块的预处理过程为：先将输入散斑图序列和标准散斑图转为RGB格式，再通过色度空间转换为YUV格式，最后针对YUV格式的图像进行自适应去噪和增强。
4.如权利要求1所述的装置，其中所述块匹配运动估计子模块的工作过程为：在输入散斑图中提取大小为（ 
Figure 2012104902250100001DEST_PATH_IMAGE002
）的图像块
Figure 2012104902250100001DEST_PATH_IMAGE004
；通过微处理器在标准散斑图中，以图像块所对应位置为中心、大小为（
Figure DEST_PATH_IMAGE006
）的搜索窗
Figure DEST_PATH_IMAGE008
内，按搜索策略和相似度测量指标来寻找该图像块的最优的匹配块，其中，M、N、n、m都是整数，且M>m、N>n，从而获得该图像块的位移量（
Figure DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE012
），即运动向量。
5.如权利要求2所述的装置，其特征在于：所述去噪滤波方法为中值滤波或均值滤波。
6.如权利要求4所述的装置，其特征在于：深度计算子模块根据输入散斑图与标准散斑图中进行比对，求取输入散斑图中图像块的位移量，在已知图像块位移量、图像传感器焦距、图像传感器像素点点距参数和标准散斑图参考距离的情况下，利用激光三角测距原理求取该图像块对应的深度值，通过对输入散斑图所有图像块深度值的计算生成输入散斑图对应的深度图。
7.如权利要求4所述的装置，其特征在于：所述深度计算子模块利用查找表法求取输入散斑图中图像块的深度，所述查找表根据标准散斑图不同位移量及其对应的深度值建立。
8.如权利要求4所述的装置，其中所述搜索策略为：先按水平方向移动块、再在垂直方向增加行数，逐个匹配块进行搜索。
9.如权利要求7所述的装置，其特征在于：所述装置还包括微处理器，所述微处理器不仅从存储器中以串口或并口方式读取标准散斑图，而且通过内部控制总线或IIC总线方式对图像传感器，和上述各个子模块进行初始化参数赋值和控制寄存器参数配置，包括对图像传感器进行输出格式控制，对图像自适应预处理子模块进行算法性能配置、阈值设置和开关控制，对块匹配运动估计子模块进行图像块、搜索窗大小控制，对深度计算子模块的查找表进行动态配置，对深度图后处理子模块进行滤波方法选择、阈值设置和开关控制。
10.如权利要求8所述的装置，其特征在于：从输入散斑图中提取的图像块的步长小于匹配块的大小。
CN201210490225.0A 2012-11-27 2012-11-27 一种图像深度感知装置 Active CN102970548B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210490225.0A CN102970548B (zh) 2012-11-27 2012-11-27 一种图像深度感知装置
US14/040,709 US9995578B2 (en) 2012-11-27 2013-09-29 Image depth perception device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210490225.0A CN102970548B (zh) 2012-11-27 2012-11-27 一种图像深度感知装置

Publications (2)

Publication Number Publication Date
CN102970548A true CN102970548A (zh) 2013-03-13
CN102970548B CN102970548B (zh) 2015-01-21

Family

ID=47800389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210490225.0A Active CN102970548B (zh) 2012-11-27 2012-11-27 一种图像深度感知装置

Country Status (2)

Country Link
US (1) US9995578B2 (zh)
CN (1) CN102970548B (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103281548A (zh) * 2013-05-13 2013-09-04 四川虹微技术有限公司 一种实时高清深度估计系统
CN103778643A (zh) * 2014-01-10 2014-05-07 深圳奥比中光科技有限公司 一种实时生成目标深度信息的方法及其装置
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
CN103810708A (zh) * 2014-02-13 2014-05-21 西安交通大学 一种激光散斑图像深度感知方法及装置
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN103839258A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种二值化激光散斑图像的深度感知方法
CN103841406A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种即插即用的深度摄像装置
WO2014154074A1 (zh) * 2013-03-27 2014-10-02 中兴通讯股份有限公司 一种深度信息编解码方法、装置及视频处理播放设备
CN105357515A (zh) * 2015-12-18 2016-02-24 天津中科智能识别产业技术研究院有限公司 一种基于结构光和光场成像的彩色深度成像方法及其装置
WO2016192436A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及系统
CN106651940A (zh) * 2016-11-24 2017-05-10 深圳奥比中光科技有限公司 一种用于3d交互的专用处理器
CN106651941A (zh) * 2016-09-19 2017-05-10 深圳奥比中光科技有限公司 一种深度信息的采集方法以及深度测量系统
CN106845555A (zh) * 2017-02-09 2017-06-13 聚龙智瞳科技有限公司 基于Bayer格式的图像匹配方法及图像匹配装置
CN107991687A (zh) * 2016-10-27 2018-05-04 株式会社SOS Lab. 障碍物检测装置和方法
CN108668078A (zh) * 2018-04-28 2018-10-16 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108716983A (zh) * 2018-04-28 2018-10-30 Oppo广东移动通信有限公司 光学元件检测方法和装置、电子设备、存储介质
CN108760245A (zh) * 2018-04-28 2018-11-06 Oppo广东移动通信有限公司 光学元件检测方法和装置、电子设备、可读存储介质
CN108833885A (zh) * 2018-07-17 2018-11-16 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108895981A (zh) * 2018-05-29 2018-11-27 南京怀萃智能科技有限公司 一种三维测量方法、装置、服务器和存储介质
CN109389631A (zh) * 2018-09-05 2019-02-26 深圳奥比中光科技有限公司 深度计算系统与方法
CN109410272A (zh) * 2018-08-13 2019-03-01 国网陕西省电力公司电力科学研究 一种变压器螺母识别与定位装置及方法
CN109870126A (zh) * 2017-12-05 2019-06-11 宁波盈芯信息科技有限公司 一种面积计算方法以及一种能够进行面积计算的手机
CN109903328A (zh) * 2017-12-11 2019-06-18 宁波盈芯信息科技有限公司 一种应用于智能手机的物体体积测量的装置及方法
WO2019184789A1 (zh) * 2018-03-27 2019-10-03 维沃移动通信有限公司 激光投射装置及移动终端
WO2019205890A1 (zh) * 2018-04-28 2019-10-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
WO2019206129A1 (zh) * 2018-04-28 2019-10-31 Oppo广东移动通信有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN113329219A (zh) * 2021-05-07 2021-08-31 华南理工大学 多输出参数可动态配置深度相机
CN113379817A (zh) * 2021-01-12 2021-09-10 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN113485082A (zh) * 2021-08-09 2021-10-08 锋睿领创(珠海)科技有限公司 基于体全息的三维检测系统、方法、控制器及介质
CN113936049A (zh) * 2021-10-21 2022-01-14 北京的卢深视科技有限公司 单目结构光散斑图像深度恢复方法、电子设备及存储介质
US11348217B2 (en) 2018-03-12 2022-05-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Projector, detection method thereof, and electronic device
CN114783041A (zh) * 2022-06-23 2022-07-22 合肥的卢深视科技有限公司 目标对象识别方法、电子设备和计算机可读存储介质
WO2023221450A1 (zh) * 2022-05-18 2023-11-23 华为技术有限公司 一种三维信息测量装置、测量方法和电子设备

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016001559T5 (de) 2015-03-31 2018-01-04 Sony Corporation Abbildungssystem, das strukturiertes Licht zur Tiefenrückgewinnung nutzt
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) * 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN110177266B (zh) * 2017-12-18 2021-02-26 西安交通大学 一种结构光3d深度相机的自校正方法及装置
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN110956195B (zh) * 2019-10-11 2023-06-02 平安科技（深圳）有限公司 图像匹配方法、装置、计算机设备及存储介质
CN111626928B (zh) * 2020-04-28 2023-08-25 Oppo广东移动通信有限公司 深度图像生成方法及装置、存储介质和电子设备
CN115604590A (zh) 2021-07-07 2023-01-13 三星电子株式会社（Kr） 图像信号处理器、图像信号处理器的操作方法和包括图像信号处理器的图像传感器设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030065654A1 (en) * 2001-09-28 2003-04-03 Yasuhisa Ikushima Pattern matching method using a pyramid structure search, image detecting device, and computer-readable medium
CN101516040A (zh) * 2008-02-20 2009-08-26 深圳华为通信技术有限公司 视频匹配方法、装置及系统
CN102156987A (zh) * 2011-04-25 2011-08-17 深圳超多维光电子有限公司 获取场景深度信息的方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5680829B2 (ja) * 2006-02-01 2015-03-04 ザ ジェネラル ホスピタル コーポレイション 複数の電磁放射をサンプルに照射する装置
CN101501442B (zh) * 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
US8515134B2 (en) * 2009-12-11 2013-08-20 Nxp B.V. System and method for motion estimation using image depth information
US8396268B2 (en) * 2010-03-31 2013-03-12 Isis Innovation Limited System and method for image sequence processing
US20110304693A1 (en) * 2010-06-09 2011-12-15 Border John N Forming video with perceived depth
US20120008852A1 (en) * 2010-07-07 2012-01-12 Himax Media Solutions, Inc. System and method of enhancing depth of a 3d image
US9201501B2 (en) * 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US9485495B2 (en) * 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
WO2012155104A1 (en) * 2011-05-11 2012-11-15 Proiam, Llc Enrollment apparatus, system, and method featuring three dimensional camera
EP2523464A3 (en) * 2011-05-13 2013-01-23 LG Electronics Inc. Apparatus and method for processing 3-dimensional image
US9286658B2 (en) * 2012-03-22 2016-03-15 Qualcomm Incorporated Image enhancement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030065654A1 (en) * 2001-09-28 2003-04-03 Yasuhisa Ikushima Pattern matching method using a pyramid structure search, image detecting device, and computer-readable medium
CN101516040A (zh) * 2008-02-20 2009-08-26 深圳华为通信技术有限公司 视频匹配方法、装置及系统
CN102156987A (zh) * 2011-04-25 2011-08-17 深圳超多维光电子有限公司 获取场景深度信息的方法及装置

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014154074A1 (zh) * 2013-03-27 2014-10-02 中兴通讯股份有限公司 一种深度信息编解码方法、装置及视频处理播放设备
US10477245B2 (en) 2013-03-27 2019-11-12 Zte Corporation Methods and devices for coding and decoding depth information, and video processing and playing device
CN103281548A (zh) * 2013-05-13 2013-09-04 四川虹微技术有限公司 一种实时高清深度估计系统
CN103281548B (zh) * 2013-05-13 2015-04-08 四川虹微技术有限公司 一种实时高清深度估计系统
CN103778643A (zh) * 2014-01-10 2014-05-07 深圳奥比中光科技有限公司 一种实时生成目标深度信息的方法及其装置
CN103778643B (zh) * 2014-01-10 2016-08-17 深圳奥比中光科技有限公司 一种实时生成目标深度信息的方法及其装置
CN103841406B (zh) * 2014-02-13 2016-01-06 西安交通大学 一种即插即用的深度摄像装置
CN103810708B (zh) * 2014-02-13 2016-11-02 西安交通大学 一种激光散斑图像深度感知方法及装置
CN103839258A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种二值化激光散斑图像的深度感知方法
CN103796004B (zh) * 2014-02-13 2015-09-30 西安交通大学 一种主动结构光的双目深度感知方法
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
CN103810708A (zh) * 2014-02-13 2014-05-21 西安交通大学 一种激光散斑图像深度感知方法及装置
CN103841406A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种即插即用的深度摄像装置
CN103824318B (zh) * 2014-02-13 2016-11-23 西安交通大学 一种多摄像头阵列的深度感知方法
WO2016192436A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及系统
CN105357515B (zh) * 2015-12-18 2017-05-03 天津中科智能识别产业技术研究院有限公司 一种基于结构光和光场成像的彩色深度成像方法及其装置
CN105357515A (zh) * 2015-12-18 2016-02-24 天津中科智能识别产业技术研究院有限公司 一种基于结构光和光场成像的彩色深度成像方法及其装置
CN106651941A (zh) * 2016-09-19 2017-05-10 深圳奥比中光科技有限公司 一种深度信息的采集方法以及深度测量系统
CN107991687B (zh) * 2016-10-27 2022-11-18 株式会社SOS Lab. 障碍物检测装置和方法
CN107991687A (zh) * 2016-10-27 2018-05-04 株式会社SOS Lab. 障碍物检测装置和方法
CN106651940B (zh) * 2016-11-24 2020-09-18 深圳奥比中光科技有限公司 一种用于3d交互的专用处理器
CN106651940A (zh) * 2016-11-24 2017-05-10 深圳奥比中光科技有限公司 一种用于3d交互的专用处理器
CN106845555A (zh) * 2017-02-09 2017-06-13 聚龙智瞳科技有限公司 基于Bayer格式的图像匹配方法及图像匹配装置
CN109870126A (zh) * 2017-12-05 2019-06-11 宁波盈芯信息科技有限公司 一种面积计算方法以及一种能够进行面积计算的手机
CN109903328A (zh) * 2017-12-11 2019-06-18 宁波盈芯信息科技有限公司 一种应用于智能手机的物体体积测量的装置及方法
CN109903328B (zh) * 2017-12-11 2021-12-21 宁波盈芯信息科技有限公司 一种应用于智能手机的物体体积测量的装置及方法
US11348217B2 (en) 2018-03-12 2022-05-31 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Projector, detection method thereof, and electronic device
WO2019184789A1 (zh) * 2018-03-27 2019-10-03 维沃移动通信有限公司 激光投射装置及移动终端
US11050918B2 (en) 2018-04-28 2021-06-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for performing image processing, and computer readable storage medium
US11146735B2 (en) 2018-04-28 2021-10-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing methods and apparatuses, computer readable storage media, and electronic devices
CN108716983B (zh) * 2018-04-28 2019-07-23 Oppo广东移动通信有限公司 光学元件检测方法和装置、电子设备、存储介质
CN108716983A (zh) * 2018-04-28 2018-10-30 Oppo广东移动通信有限公司 光学元件检测方法和装置、电子设备、存储介质
WO2019205890A1 (zh) * 2018-04-28 2019-10-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
WO2019206129A1 (zh) * 2018-04-28 2019-10-31 Oppo广东移动通信有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN108668078A (zh) * 2018-04-28 2018-10-16 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108760245A (zh) * 2018-04-28 2018-11-06 Oppo广东移动通信有限公司 光学元件检测方法和装置、电子设备、可读存储介质
CN108760245B (zh) * 2018-04-28 2019-07-23 Oppo广东移动通信有限公司 光学元件检测方法和装置、电子设备、可读存储介质
CN108895981A (zh) * 2018-05-29 2018-11-27 南京怀萃智能科技有限公司 一种三维测量方法、装置、服务器和存储介质
CN108833885A (zh) * 2018-07-17 2018-11-16 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109410272A (zh) * 2018-08-13 2019-03-01 国网陕西省电力公司电力科学研究 一种变压器螺母识别与定位装置及方法
CN109410272B (zh) * 2018-08-13 2021-05-28 国网陕西省电力公司电力科学研究院 一种变压器螺母识别与定位装置及方法
CN109389631A (zh) * 2018-09-05 2019-02-26 深圳奥比中光科技有限公司 深度计算系统与方法
CN113379817A (zh) * 2021-01-12 2021-09-10 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN113379817B (zh) * 2021-01-12 2022-11-04 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN113329219A (zh) * 2021-05-07 2021-08-31 华南理工大学 多输出参数可动态配置深度相机
CN113485082A (zh) * 2021-08-09 2021-10-08 锋睿领创(珠海)科技有限公司 基于体全息的三维检测系统、方法、控制器及介质
CN113936049A (zh) * 2021-10-21 2022-01-14 北京的卢深视科技有限公司 单目结构光散斑图像深度恢复方法、电子设备及存储介质
WO2023221450A1 (zh) * 2022-05-18 2023-11-23 华为技术有限公司 一种三维信息测量装置、测量方法和电子设备
CN114783041A (zh) * 2022-06-23 2022-07-22 合肥的卢深视科技有限公司 目标对象识别方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
US9995578B2 (en) 2018-06-12
US20140146136A1 (en) 2014-05-29
CN102970548B (zh) 2015-01-21

Similar Documents

Publication Publication Date Title
CN102970548B (zh) 一种图像深度感知装置
CN103824318B (zh) 一种多摄像头阵列的深度感知方法
CN104463108B (zh) 一种单目实时目标识别及位姿测量方法
CN102999910B (zh) 一种图像深度计算方法
CN106780618B (zh) 基于异构深度摄像机的三维信息获取方法及其装置
CN103810708B (zh) 一种激光散斑图像深度感知方法及装置
CN103424112B (zh) 一种基于激光平面辅助的运动载体视觉导航方法
CN107635129A (zh) 三维三目摄像装置及深度融合方法
US10540784B2 (en) Calibrating texture cameras using features extracted from depth images
US20110096093A1 (en) Image processing device, image processing method and program
CN103839258A (zh) 一种二值化激光散斑图像的深度感知方法
CN103020988B (zh) 一种激光散斑图像的运动向量生成方法
WO2011097049A2 (en) Depth camera compatibility
CN113888639B (zh) 基于事件相机与深度相机的视觉里程计定位方法及系统
US10055011B2 (en) Interactive system, handheld device remote controller and operating method thereof
KR20170092533A (ko) 얼굴 포즈 교정 방법 및 장치
KR20230024901A (ko) 저전력 시각 추적 시스템들
Liu et al. The applications and summary of three dimensional reconstruction based on stereo vision
CN105488802B (zh) 一种指尖深度检测方法及系统
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
JP2017102896A (ja) シーンにおける光源の反射率パラメータ及び位置を推定する方法及び装置
CN110009683B (zh) 基于MaskRCNN的实时平面上物体检测方法
CN116704125A (zh) 一种基于三维点云的映射方法、装置、芯片及模组设备
CN110599407A (zh) 基于向下倾角方向的多台tof相机人体降噪方法及系统
CN110738600A (zh) 一种基于双目视觉的相机超分辨率图像获取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: NINGBO YINGXIN INFORMATION SCIENCE + TECHNOLOGY CO

Free format text: FORMER OWNER: XI AN JIAOTONG UNIV.

Effective date: 20150121

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 710049 XI AN, SHAANXI PROVINCE TO: 315199

TR01 Transfer of patent right

Effective date of registration: 20150121

Address after: 315199 room 298, No. 412, bachelor Road, Ningbo, Zhejiang, Yinzhou District

Patentee after: NINGBO YINGXIN INFORMATION SCIENCE & TECHNOLOGY CO., LTD.

Address before: Beilin District Xianning West Road 710049, Shaanxi city of Xi'an province No. 28

Patentee before: Xi'an Jiaotong University