CN109461181A - 基于散斑结构光的深度图像获取方法及系统 - Google Patents

基于散斑结构光的深度图像获取方法及系统 Download PDF

Info

Publication number
CN109461181A
CN109461181A CN201811207284.6A CN201811207284A CN109461181A CN 109461181 A CN109461181 A CN 109461181A CN 201811207284 A CN201811207284 A CN 201811207284A CN 109461181 A CN109461181 A CN 109461181A
Authority
CN
China
Prior art keywords
image
window
speckle
reference picture
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811207284.6A
Other languages
English (en)
Other versions
CN109461181B (zh
Inventor
赵奎斌
王行
李骊
盛赞
周晓军
李朔
杨淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201811207284.6A priority Critical patent/CN109461181B/zh
Publication of CN109461181A publication Critical patent/CN109461181A/zh
Application granted granted Critical
Publication of CN109461181B publication Critical patent/CN109461181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及计算机视觉技术领域。本发明实施例提供一种基于散斑结构光的深度图像获取方法及系统，其中该方法包括：获取散斑参考图像和散斑场景图像，其中散斑参考图像与预设定的参考平面相关，以及散斑场景图像与目标物平面相关；对所获取的散斑参考图像和散斑场景图像分别进行椭圆LBP特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；基于第一特征纹理图像和所述第二特征纹理图像，在散斑参考图像和散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。由此，避免了受到噪声和光线的影响，提高了所获得的深度图像的整体效果。

Description

基于散斑结构光的深度图像获取方法及系统
技术领域
本发明涉及计算机视觉技术领域，具体地涉及一种基于散斑结构光的深度图像获取方法及系统。
背景技术
随着科技的不断发展，立体视觉匹配(Stereo Matching)作为三维重建、非接触测距和视觉导航等关键技术，被广泛应用于自动化流水线、无人驾驶和智能机器人控制等领域。
但是，在图像立体匹配过程中，由于受到噪声、亮度、对比度、镜面反射和低纹理等的影响，会使得图像在进行立体匹配时，出现误匹配较多或者匹配场景信息不连续等问题，将会直接影响后期图像三维重建的质量。
因此，如何通过立体视觉匹配得到效果较佳的深度图像是目前业界亟待解决的技术难题。
发明内容
本发明实施例的目的是提供一种基于散斑结构光的深度图像获取方法及系统，用以解决现有技术中无法通过立体视觉匹配得到效果较佳的深度图像的技术问题。
为了实现上述目的，本发明实施例一方面提供一种基于散斑结构光的深度图像获取方法，包括：获取散斑参考图像和散斑场景图像，其中所述散斑参考图像与预设定的参考平面相关，以及所述散斑场景图像与目标物平面相关；对所获取的散斑参考图像和散斑场景图像分别进行椭圆LBP特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；基于所述第一特征纹理图像和所述第二特征纹理图像，在所述散斑参考图像和所述散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。
本发明实施例另一方面提供一种基于散斑结构光的深度图像获取系统，包括：散斑图像获取单元，用于获取散斑参考图像和散斑场景图像，其中所述散斑参考图像与预设定的参考平面相关，以及所述散斑场景图像与目标物平面相关；纹理图像转换单元，用于对所获取的散斑参考图像和散斑场景图像分别进行椭圆LBP特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；视差图像输出单元，用于基于所述第一特征纹理图像和所述第二特征纹理图像，在所述散斑参考图像和所述散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及深度图像优化单元，用于对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。
通过上述技术方案，提出了对输入的散斑参考图像和散斑场景图像同时进行椭圆LBP特征提取得出对应的特征纹理图像，并对所得到的特征纹理图像进行立体匹配，进而通过优化处理得到深度图像。由此，选择椭圆LBP算子对输入散斑图像进行特征纹理提取，不仅有效提高了匹配质量，避免了受到噪声和光线的影响，进而对特征纹理图像进行立体匹配，有效解决了散斑图像匹配的结果中存在场景信息过度不连续，误匹配较多等问题，从而提高了所获得的深度图像的整体效果。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是本发明一实施例的基于散斑结构光的深度图像获取方法的流程图；
图2是本发明一实施例的基于散斑结构光的深度图像获取方法中S31的具体执行原理流程图；
图3是本发明一实施例的三角测量法的原理示意图；
图4是本发明一实施例的散斑结构光相机用于标定目标的原理图；
图5是本发明一实施例的基于散斑结构光的深度图像获取方法的原理流程图；
图6A是本发明一实施例的散斑参考图像的示例；
图6B是本发明一实施例的散斑场景图像的示例；
图7A是本发明一实施例的第一特征纹理图像的示例；
图7B是本发明一实施例的第二特征纹理图像的示例；
图8是本发明一实施例的基于散斑结构光的深度图像获取系统的结构框图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
如图1所示，本发明一实施例的基于散斑结构光的深度图像获取方法，包括：
S11、获取散斑参考图像和散斑场景图像，其中散斑参考图像与预设定的参考平面相关，以及散斑场景图像与目标物平面相关。
如图3所示，其描述了目标物平面和预设定的参考平面，以及散斑结构光相机内的成像平面和透镜平面，故可以通过散斑结构光相机采集散斑参考图像和散斑场景图像。作为示例，可以是采集一幅场景深度为1.2m的散斑图像作为参考图像并保存备用。
优选的，在采集散斑参考图像和散斑场景图像之前可以是预先对相机进行标定和畸变校正。作为示例，可以是对散斑结构光相机的内部参数和外部参数进行标定，具体包括：如图4所示，对空间中的点通过世界坐标系转换到相机坐标系，最后转换到图像的物理坐标系。作为示例，可以是将世界坐标系[Xw,Yw,Zw]T的点通过平移矩阵T和旋转矩阵R转换到相机坐标系[Xc,Yc,Zc]T，最后通过计算相机坐标与像素之间物理尺寸得到图像坐标[x,y,1]T，由此实现对结构光相机的标定和畸变校正。
S12、对所获取的散斑参考图像和散斑场景图像分别进行椭圆LBP特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像。
其中，利用椭圆LBP特征算子，完成对散斑场景图像和散斑参考图像的特征纹理提取。具体，可以将检测窗口划分为多个等分小区域，例如n*n个(其中n均小于图像宽和高)；然后，依次比较每个等分小区域的边缘像素与中心像素的灰度值的大小，其中，若边缘像素的灰度值大于中心像素的灰度值，则该边缘像素的位置被编码为1，以及，若边缘像素的灰度值小于或等于中心像素的灰度值，则该边缘像素的位置被编码为0。
因此，3*3邻域大小的8个点经过比较可产生一个8位的二进制数，用该值作为窗口中心像素点的LBP特征值；最后，遍历整幅图像，得到散斑图像的椭圆LBP特征图像。进一步将检测窗口扩展到任意邻域，计算公式为：
ELBPP,R＝min{Rotate(ELBPP,R,i)|i＝0,1,…,P-1}
其中，Rotate(ELBPP,R，i)表示沿时钟方向将半径为R处的P点移动i次，得到i个LBP特征值，这里取其中最小的值作为当前像素位置的LBP特征。
如图6A和6B分别示出的是散斑参考图像和散斑场景图像，如图7A和7B是应用本发明实施例的技术方案之后所输出的椭圆LBP特征纹理图像。由此，避免了噪声和光线的影响。
S13、基于第一特征纹理图像和第二特征纹理图像，在散斑参考图像和散斑场景图像之间进行立体匹配，以输出相应的视差图像。
其中，对椭圆LPB特征纹理图像进行局部代价匹配，并采用改进的Jaccard距离计算匹配代价，进而遍历整幅图像，以输出视差图像。具体包括如图2所示的操作：S131、选取用于散斑参考特征图像的参考图像匹配窗口和用于散斑场景图像的场景图像匹配窗口，其中该参考图像匹配窗口和场景图像匹配窗口的大小相同；S132、计算用于图像的参考图像匹配窗口与场景图像匹配窗口之间的Jaccard距离；S133、基于所计算的Jaccard距离，确定对应第一特征纹理图像和第二特征纹理图像的视差图像。
关于S131中的匹配窗口的大小，还可以是选用自适应切换预设窗口进行匹配，从而降低匹配时间，提高匹配质量。具体的，可以是设置多种相同大小的用于散斑参考特征图像的匹配窗口和用于散斑场景特征图像的待匹配窗口；以所设置的多种窗口大小(例如11*11，17*17和35*35)分别按照预设步长多次移动(从左到右移动128步)匹配窗口和待匹配窗口(相应地得到128组匹配窗口和待匹配窗口)，对该窗口大小内的图像进行Sobel边缘检测；统计对应各次预设步长移动下散斑参考特征图像的窗口内被编码为1的第一像素个数，并统计散斑场景特征图像的窗口内被编码为1的第二像素个数；计算多种窗口大小下的第一像素个数与所述第二像素个数之间的差值，差值越小说明窗口大小越适宜，并根据该差值从多种窗口大小中确定参考图像匹配窗口和场景图像匹配窗口的窗口大小(例如对应差值为零或最小时的窗口大小)；优选的，还可以是选择居中的窗口大小先进行比较，例如以17*17大小作为初始化窗口，对该窗口大小图像进行Sobel边缘检测，并统计当前窗口内像素值为1的个数，若参考图像上窗口内1的个数大于场景图像上窗口内1的个数，则窗口大小按照11*11进行匹配，若二者相等，则窗口大小按照17*17进行匹配，若小于，则窗口大小按照35*35进行匹配。
在本实施例中，通过Jaccard距离或改进的Jaccard距离计算两个匹配窗口内像素的相似度，可有效提高匹配局部细节信息。
其中，可以按照如下的计算公式来计算两个匹配窗口像素的Jaccard距离：
式中，Iref表示参考图像匹配窗口的像素，Iinf表示场景图像匹配窗口的像素，M00表示窗口Iref和窗口Iinf的值都是0，M01表示窗口Iref的值是0而窗口Iinf的值是1，M10表示窗口Iref的值是1而窗口Iinf的值是0，M11表示窗口Iref和窗口Iinf的值都是1。统计dJ的大小，距离越大越不相似，反之，距离越相似，即越匹配。
需要说明的是，上述Jaccard距离的计算公式是属于改进型的计算公式，避免了分母为零的状况的发生。其中具体改进之处在于：
Jaccard距离的一般计算如下：
其中，Iref⊙Iinf＝M00+M11，在本发明实施例中，为了防止分母为零，则将分母改为
也就是改进型的Jaccard距离的计算公式等价于下式：
关于S133，其中可以是通过以下步骤来完成的：
统计参考图像匹配窗口和场景图像匹配窗口对应于所述多次预设步长移动下的多个Jaccard距离，例如可以是依次计算128个窗口的dJ值。基于三角测量法处理在Jaccard距离取值最小时的步长位置(最小的dJ表示最佳的匹配)所对应的窗口中心的像素灰度值，得到当前位置的深度值，然后基于该当前位置的深度值确定视差图像。如图3所示出的三角测量法的原理，深度值的具体计算公式为：
经过变形得到深度公式为：
其中，Z为场景中待测目标点到相机透镜平面的距离，R为参考平面到透镜平面的距离，测量视差为d(沿着x轴正方向为正视差，沿着x轴负方向为负视差)，红外相机焦距为f，红外发射器与红外摄像头透视中心的连线长度为b(基线)。需要说明的是，上述参数均为相机内部参数，可通过调校确定。
S14、对视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。
其中，可以利用亚像素插值法填充上述视差图像中出现的空洞，并利用加权中值滤波对该视差图像的边缘进行细化处理。具体包括：
首先，从相机坐标系将视差转化为图像像素空间，具体转化关系为：
其中，ρ表示CMOS图像传感器的像元尺寸，p表示测量像素视差。进一步对测量视差进行亚像素插值，插值公式为：s＝m(p+c)，其中，s表示经过亚像素插值后的亚像素视差，m表示亚像素插值系数，c表示参考平面对应的常数像素视差。则待测目标点深度值与测量亚像素视差的关系：
然后，对插值后的深度图像加权中值滤波处理，以深度图像当前像素为中心，选取一个3*3的窗口，对窗口内的各个像素乘以权值wi，并进行排序，取中间值作为当前像素的灰度值。该处权值计算如下：
其中，H(i,f)＝#{q∈R(p)|I(q)＝Ii,f(q)＝ff}表示3*3窗口内图像的灰度值和特征值的联合直方图，即为灰度值为i，特征值为f的个数。这里，#运算符表示符合条件的元素个数，I(q)表示图像的灰度，f(q)表示图像的特征；g(ff,f(p))表示特征为f的像素与中心像素f(p)的权值。
在本实施例中，通过上述技术方案的实施，能够解决受到噪声，亮度，对比度，镜面反射和低纹理等问题，输出质量较高是深度图像。
如图5所示，本发明一实施例的基于散斑结构光的深度图像获取方法的原理流程，具体包括：
第一步：对相机的内部参数和外部参数进行标定，采集图像进行立体校正和畸变校正；
第二步：采集一幅场景深度为1.2m的散斑图像作为参考图像并保存备用；
第三步：采集散斑场景图像与散斑参考图像分别进行椭圆LBP特征纹理提取；
第四步：对椭圆LPB特征纹理图像进行局部代价匹配，采用改进的Jaccard距离计算匹配代价，并遍历整幅图像，输出视差图像；
第五步：利用亚像素插值方法填充视差图像中出现的空洞，利用加权中值滤波对边缘进行细化处理，利用三角测量法以及相机的内部参数，输出最终深度图像。
给定一幅散斑参考图像和一幅散斑场景图像，为了获取纹理特征图像，分别进行椭圆LBP处理：首先将检测窗口划分为n*n(n均小于图像宽和高)的小区域；然后比较每个小区域的边缘像素与中心像素灰度值的大小，计算公式为：
T＝t(Ic,Ii)，(i＝0,1,…,P)
若周围像素的灰度值Ii大于中心像素的灰度值Ic，则该像素点的位置被编码为1，否则为0。因此，3*3邻域大小的8个点经过比较可产生一个8位的二进制数，即可得到该窗口中心像素点的LBP特征值；最后，遍历整幅图像，得到散斑图像的椭圆LBP特征图像。进一步将检测窗口扩展到任意邻域，利用椭圆形窗口代替矩形窗口，计算公式为：
ELBPP,R＝min{Rotate(ELBPP,R,i)|i＝0,1,…,P-1}
其中，Rotate(ELBPP,R，i)表示沿时钟方向将半径为R处的P点移动i次，得到i个LBP特征值，这里取最小的值作为当前像素位置的LBP特征。
对椭圆LBP特征图像进行立体匹配。首先将散斑参考特征图像作为基准，选择三种预设窗口，其大小依次为11*11，17*17和35*35，作为匹配窗口，同样散斑场景特征图像也选择相同的三种大小窗口，作为待匹配的匹配窗口，并以步长为1，从左到右移动128步，得到128个匹配窗口；然后以17*17大小作为初始化窗口，对该窗口大小图像进行Sobel边缘检测，统计当前窗口内像素值为1的个数，若参考图像上窗口的统计值大于场景图像上窗口的统计值，则窗口大小按照11*11进行匹配，若二者相等，则窗口大小按照17*17进行匹配，否则，窗口大小按照35*35进行匹配；最后，计算两个匹配窗口像素的Jaccard距离，计算公式为：
其中，Iref表示参考图像匹配窗口的像素，Iinf表示场景图像匹配窗口的像素，M00表示窗口Iref和窗口Iinf的值都是0，M01表示窗口Iref的值是0而窗口Iinf的值是1，M10表示窗口Iref的值是1而窗口Iinf的值是0，M11表示窗口Iref和窗口Iinf的值都是1。统计dJ的大小，距离越大越不相似，反之，距离越相似，即越匹配。改进的Jaccard距离，计算公式为：
其中，Iref⊙Iinf＝M00+M11，为了防止分母为零，则分母改为
依次计算128个窗口的dJ值，比较它们的大小，得到最小的dJ值，对应窗口中心的像素值为经过三角测量法计算得到当前位置的深度值，具体计算公式为：
经过变形得到深度公式为：
其中，Z为场景中待测目标点到相机透镜平面的距离，R为参考平面到透镜平面的距离，测量视差为d(沿着x轴正方向为正视差，沿着x轴负方向为负视差)，红外相机焦距为f，红外发射器与红外摄像头透视中心的连线长度为b(基线)，上述参数均为相机内部参数，可通过调校确定。
利用第五步填充视差图像中出现的空洞，并对边缘进行细化处理。首先从相机坐标系将视差转化为图像像素空间，具体转化关系为：
其中，ρ是CMOS图像传感器的像元尺寸，p是测量像素视差。进一步对测量视差进行亚像素插值，插值公式为：s＝m(p+c)，其中，s是经过亚像素插值后的亚像素视差，m是亚像素插值系数，c是参考平面对应的常数像素视差。则待测目标点深度值与测量亚像素视差的关系：
然后，对插值后的深度图像加权中值滤波处理，以深度图像当前像素为中心，选取一个3*3的窗口，对窗口内的各个像素乘以权值wi，并进行排序，取中间值作为当前像素的灰度值。该权值计算如下：
其中，H(i,f)＝#{q∈R(p)|I(q)＝Ii,f(q)＝ff}表示3*3窗口内图像的灰度值和特征值的联合直方图，即为灰度值为i，特征值为f的个数。这里，#运算符表示符合条件的元素个数，I(q)为图像的灰度，f(q)为图像的特征；g(ff,f(p))表示特征为f的像素与中心像素f(p)的权值。
在本发明实施例中，公开了基于散斑结构光的深度图像获取方法，通过上述方式能够消除噪声、亮度、对比度对输出深度图像的影响，有效提高了深度图像的精度，进而提高了鲁棒性。具体的，对输入的散斑参考图像和散斑场景图像同时进行椭圆LBP特征提取，利用特征图像进行立体匹配。匹配时，通过计算匹配窗口的Sobel代价，自适应切换预设窗口进行匹配，可以降低匹配时间，提高匹配质量。通过改进的Jaccard距离计算两个匹配窗口内像素的相似度，可有效提高匹配局部细节信息。为了进一步提高输出深度图像的效果，采用亚像素插值丰富细节信息，同时，通过加权中值滤波填充深度图像中存在的空洞，又可以很好地保持深度图像的原始面貌。
在本发明实施例中，选择椭圆LBP算子对输入散斑图像进行特征纹理提取，不仅有效提高了匹配质量，避免了受到噪声和光线的影响。选择自适应匹配窗口和改进的Jaccard匹配代价，提高了匹配的鲁棒性。选择亚像素插值和加权中值滤波，较好地保留深度图像的纹理信息，又填充了空洞，使深度图像的整体效果更佳。
如图8所示，本发明一实施例的基于散斑结构光的深度图像获取系统80，包括：
散斑图像获取单元801，用于获取散斑参考图像和散斑场景图像，其中所述散斑参考图像与预设定的参考平面相关，以及所述散斑场景图像与目标物平面相关；
纹理图像转换单元802，用于对所获取的散斑参考图像和散斑场景图像分别进行椭圆LBP特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；
视差图像输出单元803，用于基于所述第一特征纹理图像和所述第二特征纹理图像，在所述散斑参考图像和所述散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及
深度图像优化单元804，用于对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。
在一些实施方式中，该系统还包括：相机参数标定校正单元(未示出)，用于在获取散斑参考图像和散斑场景图像之前，对散斑结构光相机的内部参数和外部参数进行标定和畸变校正，具体包括：对空间中的点通过世界坐标系转换到相机坐标系，以及将所述相机坐标系转换到图像的物理坐标系。
在一些实施方式中，所述纹理图像转换单元802包括：等分模块，用于将检测窗口划分为多个等分小区域；比较模块，用于依次比较每个等分小区域的边缘像素与中心像素的灰度值的大小；编码模块，用于若所述边缘像素的灰度值大于所述中心像素的灰度值，则该边缘像素的位置被编码为1，以及若所述边缘像素的灰度值小于或等于所述中心像素的灰度值，则该边缘像素的位置被编码为0。
在一些实施方式中，所述视差图像输出单元803包括：窗口选取模块，用于选取用于散斑参考特征图像的参考图像匹配窗口和用于散斑场景特征图像的场景图像匹配窗口，其中，所述参考图像匹配窗口和所述场景图像匹配窗口的大小相同；Jaccard距离计算模块，用于计算用于图像的所述参考图像匹配窗口与所述场景图像匹配窗口之间的Jaccard距离；视差图像确定模块，用于基于所计算的Jaccard距离，确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像。
在一些实施方式中，所述窗口选取模块包括：窗口设置组件，用于设置多种相同大小的用于散斑参考特征图像的匹配窗口和用于散斑场景特征图像的待匹配窗口；边缘检测组件，用于以所设置的多种窗口大小分别按照预设步长多次移动匹配窗口和待匹配窗口，对该窗口大小内的图像进行Sobel边缘检测；特征像素统计组件，用于统计对应各次预设步长移动下，散斑参考特征图像的窗口内像素灰度值为1的第一像素的个数，并统计散斑场景特征图像的窗口内像素灰度值为1的第二像素的个数；窗口大小确定组件，用于计算所述多种窗口大小下，所述第一像素个数与所述第二像素个数之间的差值，并根据该差值大小从所述多种窗口大小中确定所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小。
在一些实施方式中，所述视差图像确定模块包括：Jaccard距离统计组件，用于统计参考图像匹配窗口和场景图像匹配窗口对应于所述多次预设步长移动下的多个Jaccard距离；深度值获得组件，用于基于三角测量法处理在Jaccard距离取值最小时的步长位置所对应的窗口中心的像素灰度值，得到当前位置的深度值；视差图像确定组件，用于基于所述当前位置的深度值，确定所述视差图像。
在一些实施方式中，所述深度图像优化单元用于利用亚像素插值法填充所述视差图像中出现的空洞，以及利用加权中值滤波对所述视差图像的边缘进行细化处理。
关于本发明实施例的基于散斑结构光的深度图像获取系统更多的细节，可以参照上文关于方法实施例的描述，并能取得与上述的方法实施例相同或相对应的效果，故在此便不再赘述。
所述基于散斑结构光的深度图像获取系统包括处理器和存储器，上述散斑图像获取单元801、纹理图像转换单元802、视差图像输出单元803和深度图像优化单元804等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来选择椭圆LBP算子对输入散斑图像进行特征纹理提取，不仅有效提高了匹配质量，避免了受到噪声和光线的影响，进而对特征纹理图像进行立体匹配，有效解决了散斑图像匹配的结果中存在场景信息过度不连续，误匹配较多等问题，从而提高了所获得的深度图像的整体效果。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述基于散斑结构光的深度图像获取方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述基于散斑结构光的深度图像获取方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：
一种基于散斑结构光的深度图像获取方法，包括：
获取散斑参考图像和散斑场景图像，其中所述散斑参考图像与预设定的参考平面相关，以及所述散斑场景图像与目标物平面相关；
对所获取的散斑参考图像和散斑场景图像分别进行椭圆LBP特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；
基于所述第一特征纹理图像和所述第二特征纹理图像，在所述散斑参考图像和所述散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及
对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。
在一些实施方式中，在获取散斑参考图像和散斑场景图像之前，该方法还包括：对散斑结构光相机的内部参数和外部参数进行标定和畸变校正，具体包括：对空间中的点通过世界坐标系转换到相机坐标系，以及将所述相机坐标系转换到图像的物理坐标系。
在一些实施方式中，所述对所获取的散斑参考图像和散斑场景图像分别进行椭圆LBP特征提取包括：将检测窗口划分为多个等分小区域；依次比较每个等分小区域的边缘像素与中心像素的灰度值的大小；若所述边缘像素的灰度值大于所述中心像素的灰度值，则该边缘像素的位置被编码为1，以及若所述边缘像素的灰度值小于或等于所述中心像素的灰度值，则该边缘像素的位置被编码为0。
在一些实施方式中，所述基于所述第一特征纹理图像和所述第二特征纹理图像在所述散斑参考图像和所述散斑场景图像之间进行立体匹配以输出相应的视差图像包括：选取用于散斑参考特征图像的参考图像匹配窗口和用于散斑场景特征图像的场景图像匹配窗口，其中，所述参考图像匹配窗口和所述场景图像匹配窗口的大小相同；计算用于图像的所述参考图像匹配窗口与所述场景图像匹配窗口之间的Jaccard距离；基于所计算的Jaccard距离，确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像。
在一些实施方式中，所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小是包括通过以下方式来确定的：设置多种相同大小的用于散斑参考特征图像的匹配窗口和用于散斑场景特征图像的待匹配窗口；以所设置的多种窗口大小分别按照预设步长多次移动匹配窗口和待匹配窗口，对该窗口大小内的图像进行Sobel边缘检测；统计对应各次预设步长移动下，散斑参考特征图像的窗口内像素灰度值为1的第一像素的个数，并统计散斑场景特征图像的窗口内像素灰度值为1的第二像素的个数；计算所述多种窗口大小下，所述第一像素个数与所述第二像素个数之间的差值，并根据该差值大小从所述多种窗口大小中确定所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小。
在一些实施方式中，，所述基于所计算的Jaccard距离确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像包括：统计参考图像匹配窗口和场景图像匹配窗口对应于所述多次预设步长移动下的多个Jaccard距离；基于三角测量法处理在Jaccard距离取值最小时的步长位置所对应的窗口中心的像素灰度值，得到当前位置的深度值；以及基于所述当前位置的深度值，确定所述视差图像。
在一些实施方式中，所述对所述视差图像进行优化处理以确定对应的深度图像包括：利用亚像素插值法填充所述视差图像中出现的空洞；利用加权中值滤波对所述视差图像的边缘进行细化处理。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
一种基于散斑结构光的深度图像获取方法，包括：
获取散斑参考图像和散斑场景图像，其中所述散斑参考图像与预设定的参考平面相关，以及所述散斑场景图像与目标物平面相关；
对所获取的散斑参考图像和散斑场景图像分别进行椭圆LBP特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；
基于所述第一特征纹理图像和所述第二特征纹理图像，在所述散斑参考图像和所述散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及
对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。
在一些实施方式中，在获取散斑参考图像和散斑场景图像之前，该方法还包括：对散斑结构光相机的内部参数和外部参数进行标定和畸变校正，具体包括：对空间中的点通过世界坐标系转换到相机坐标系，以及将所述相机坐标系转换到图像的物理坐标系。
在一些实施方式中，所述对所获取的散斑参考图像和散斑场景图像分别进行椭圆LBP特征提取包括：将检测窗口划分为多个等分小区域；依次比较每个等分小区域的边缘像素与中心像素的灰度值的大小；若所述边缘像素的灰度值大于所述中心像素的灰度值，则该边缘像素的位置被编码为1，以及若所述边缘像素的灰度值小于或等于所述中心像素的灰度值，则该边缘像素的位置被编码为0。
在一些实施方式中，所述基于所述第一特征纹理图像和所述第二特征纹理图像在所述散斑参考图像和所述散斑场景图像之间进行立体匹配以输出相应的视差图像包括：选取用于散斑参考特征图像的参考图像匹配窗口和用于散斑场景特征图像的场景图像匹配窗口，其中，所述参考图像匹配窗口和所述场景图像匹配窗口的大小相同；计算用于图像的所述参考图像匹配窗口与所述场景图像匹配窗口之间的Jaccard距离；基于所计算的Jaccard距离，确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像。
在一些实施方式中，所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小是包括通过以下方式来确定的：设置多种相同大小的用于散斑参考特征图像的匹配窗口和用于散斑场景特征图像的待匹配窗口；以所设置的多种窗口大小分别按照预设步长多次移动匹配窗口和待匹配窗口，对该窗口大小内的图像进行Sobel边缘检测；统计对应各次预设步长移动下，散斑参考特征图像的窗口内像素灰度值为1的第一像素的个数，并统计散斑场景特征图像的窗口内像素灰度值为1的第二像素的个数；计算所述多种窗口大小下，所述第一像素个数与所述第二像素个数之间的差值，并根据该差值大小从所述多种窗口大小中确定所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小。
在一些实施方式中，，所述基于所计算的Jaccard距离确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像包括：统计参考图像匹配窗口和场景图像匹配窗口对应于所述多次预设步长移动下的多个Jaccard距离；基于三角测量法处理在Jaccard距离取值最小时的步长位置所对应的窗口中心的像素灰度值，得到当前位置的深度值；以及基于所述当前位置的深度值，确定所述视差图像。
在一些实施方式中，所述对所述视差图像进行优化处理以确定对应的深度图像包括：利用亚像素插值法填充所述视差图像中出现的空洞；利用加权中值滤波对所述视差图像的边缘进行细化处理。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (14)

1.一种基于散斑结构光的深度图像获取方法，包括：
获取散斑参考图像和散斑场景图像，其中所述散斑参考图像与预设定的参考平面相关，以及所述散斑场景图像与目标物平面相关；
对所获取的散斑参考图像和散斑场景图像分别进行椭圆LBP特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；
基于所述第一特征纹理图像和所述第二特征纹理图像，在所述散斑参考图像和所述散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及
对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。
2.根据权利要求1所述的方法，其中，在获取散斑参考图像和散斑场景图像之前，该方法还包括：
对散斑结构光相机的内部参数和外部参数进行标定和畸变校正，具体包括：
对空间中的点通过世界坐标系转换到相机坐标系，以及
将所述相机坐标系转换到图像的物理坐标系。
3.根据权利要求1所述的方法，其中，所述对所获取的散斑参考图像和散斑场景图像分别进行椭圆LBP特征提取包括：
将检测窗口划分为多个等分小区域；
依次比较每个等分小区域的边缘像素与中心像素的灰度值的大小；
若所述边缘像素的灰度值大于所述中心像素的灰度值，则该边缘像素的位置被编码为1，以及
若所述边缘像素的灰度值小于或等于所述中心像素的灰度值，则该边缘像素的位置被编码为0。
4.根据权利要求3所述的方法，其中，所述基于所述第一特征纹理图像和所述第二特征纹理图像在所述散斑参考图像和所述散斑场景图像之间进行立体匹配以输出相应的视差图像包括：
选取用于散斑参考特征图像的参考图像匹配窗口和用于散斑场景特征图像的场景图像匹配窗口，其中，所述参考图像匹配窗口和所述场景图像匹配窗口的大小相同；
计算用于图像的所述参考图像匹配窗口与所述场景图像匹配窗口之间的Jaccard距离；
基于所计算的Jaccard距离，确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像。
5.根据权利要求4所述的方法，其中，所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小是包括通过以下方式来确定的：
设置多种相同大小的用于散斑参考特征图像的匹配窗口和用于散斑场景特征图像的待匹配窗口；
以所设置的多种窗口大小分别按照预设步长多次移动匹配窗口和待匹配窗口，对该窗口大小内的图像进行Sobel边缘检测；
统计对应各次预设步长移动下，散斑参考特征图像的窗口内像素灰度值为1的第一像素的个数，并统计散斑场景特征图像的窗口内像素灰度值为1的第二像素的个数；
计算所述多种窗口大小下，所述第一像素个数与所述第二像素个数之间的差值，并根据该差值大小从所述多种窗口大小中确定所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小。
6.根据权利要求5所述的方法，其中，所述基于所计算的Jaccard距离确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像包括：
统计参考图像匹配窗口和场景图像匹配窗口对应于所述多次预设步长移动下的多个Jaccard距离；
基于三角测量法处理在Jaccard距离取值最小时的步长位置所对应的窗口中心的像素灰度值，得到当前位置的深度值；以及
基于所述当前位置的深度值，确定所述视差图像。
7.根据权利要求1所述的方法，其中，所述对所述视差图像进行优化处理以确定对应的深度图像包括：
利用亚像素插值法填充所述视差图像中出现的空洞；
利用加权中值滤波对所述视差图像的边缘进行细化处理。
8.一种基于散斑结构光的深度图像获取系统，包括：
散斑图像获取单元，用于获取散斑参考图像和散斑场景图像，其中所述散斑参考图像与预设定的参考平面相关，以及所述散斑场景图像与目标物平面相关；
纹理图像转换单元，用于对所获取的散斑参考图像和散斑场景图像分别进行椭圆LBP特征提取，以得出对应的第一特征纹理图像和第二特征纹理图像；
视差图像输出单元，用于基于所述第一特征纹理图像和所述第二特征纹理图像，在所述散斑参考图像和所述散斑场景图像之间进行立体匹配，以输出相应的视差图像；以及
深度图像优化单元，用于对所述视差图像进行优化处理并结合相机的内部参数，以确定对应的深度图像。
9.根据权利要求8所述的系统，其中，该系统还包括：
相机参数标定校正单元，用于在获取散斑参考图像和散斑场景图像之前，对散斑结构光相机的内部参数和外部参数进行标定和畸变校正，具体包括：对空间中的点通过世界坐标系转换到相机坐标系，以及将所述相机坐标系转换到图像的物理坐标系。
10.根据权利要求8所述的系统，其中，所述纹理图像转换单元包括：
等分模块，用于将检测窗口划分为多个等分小区域；
比较模块，用于依次比较每个等分小区域的边缘像素与中心像素的灰度值的大小；
编码模块，用于若所述边缘像素的灰度值大于所述中心像素的灰度值，则该边缘像素的位置被编码为1，以及若所述边缘像素的灰度值小于或等于所述中心像素的灰度值，则该边缘像素的位置被编码为0。
11.根据权利要求10所述的系统，其中，所述视差图像输出单元包括：
窗口选取模块，用于选取用于散斑参考特征图像的参考图像匹配窗口和用于散斑场景特征图像的场景图像匹配窗口，其中，所述参考图像匹配窗口和所述场景图像匹配窗口的大小相同；
Jaccard距离计算模块，用于计算用于图像的所述参考图像匹配窗口与所述场景图像匹配窗口之间的Jaccard距离；
视差图像确定模块，用于基于所计算的Jaccard距离，确定对应所述第一特征纹理图像和所述第二特征纹理图像的视差图像。
12.根据权利要求11所述的系统，其中，所述窗口选取模块包括：
窗口设置组件，用于设置多种相同大小的用于散斑参考特征图像的匹配窗口和用于散斑场景特征图像的待匹配窗口；
边缘检测组件，用于以所设置的多种窗口大小分别按照预设步长多次移动匹配窗口和待匹配窗口，对该窗口大小内的图像进行Sobel边缘检测；
特征像素统计组件，用于统计对应各次预设步长移动下，散斑参考特征图像的窗口内像素灰度值为1的第一像素的个数，并统计散斑场景特征图像的窗口内像素灰度值为1的第二像素的个数；
窗口大小确定组件，用于计算所述多种窗口大小下，所述第一像素个数与所述第二像素个数之间的差值，并根据该差值大小从所述多种窗口大小中确定所述参考图像匹配窗口和所述场景图像匹配窗口的窗口大小。
13.根据权利要求12所述的系统，其中，所述视差图像确定模块包括：
Jaccard距离统计组件，用于统计参考图像匹配窗口和场景图像匹配窗口对应于所述多次预设步长移动下的多个Jaccard距离；
深度值获得组件，用于基于三角测量法处理在Jaccard距离取值最小时的步长位置所对应的窗口中心的像素灰度值，得到当前位置的深度值；
视差图像确定组件，用于基于所述当前位置的深度值，确定所述视差图像。
14.根据权利要求8所述的系统，其中，所述深度图像优化单元用于利用亚像素插值法填充所述视差图像中出现的空洞，以及利用加权中值滤波对所述视差图像的边缘进行细化处理。
CN201811207284.6A 2018-10-17 2018-10-17 基于散斑结构光的深度图像获取方法及系统 Active CN109461181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811207284.6A CN109461181B (zh) 2018-10-17 2018-10-17 基于散斑结构光的深度图像获取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811207284.6A CN109461181B (zh) 2018-10-17 2018-10-17 基于散斑结构光的深度图像获取方法及系统

Publications (2)

Publication Number Publication Date
CN109461181A true CN109461181A (zh) 2019-03-12
CN109461181B CN109461181B (zh) 2020-10-27

Family

ID=65607791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811207284.6A Active CN109461181B (zh) 2018-10-17 2018-10-17 基于散斑结构光的深度图像获取方法及系统

Country Status (1)

Country Link
CN (1) CN109461181B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110012206A (zh) * 2019-05-24 2019-07-12 Oppo广东移动通信有限公司 图像获取方法、图像获取装置、电子设备和可读存储介质
CN110088563A (zh) * 2019-03-13 2019-08-02 深圳市汇顶科技股份有限公司 图像深度的计算方法、图像处理装置及三维测量系统
CN110853086A (zh) * 2019-10-21 2020-02-28 北京清微智能科技有限公司 基于散斑投影的深度图像生成方法及系统
CN111145254A (zh) * 2019-12-13 2020-05-12 上海新时达机器人有限公司 一种基于双目视觉的门阀毛坯定位方法
CN111402313A (zh) * 2020-03-13 2020-07-10 合肥的卢深视科技有限公司 图像深度恢复方法和装置
CN111540004A (zh) * 2020-04-16 2020-08-14 北京清微智能科技有限公司 单相机极线校正方法及装置
CN111710000A (zh) * 2020-05-25 2020-09-25 北京的卢深视科技有限公司 一种相机行偏差自检方法及系统
CN111768450A (zh) * 2020-06-10 2020-10-13 北京的卢深视科技有限公司 基于散斑图的结构光相机行偏差的自动检测方法和装置
WO2020206666A1 (zh) * 2019-04-12 2020-10-15 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别系统
CN112150528A (zh) * 2019-06-27 2020-12-29 Oppo广东移动通信有限公司 一种深度图像获取方法及终端、计算机可读存储介质
CN112669362A (zh) * 2021-01-12 2021-04-16 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
WO2021087692A1 (zh) * 2019-11-04 2021-05-14 深圳市汇顶科技股份有限公司 散斑图像匹配方法、装置及存储介质
CN112927280A (zh) * 2021-03-11 2021-06-08 北京的卢深视科技有限公司 深度图像的获取方法及装置、单目散斑结构光系统
CN113139998A (zh) * 2021-04-23 2021-07-20 北京华捷艾米科技有限公司 深度图像的生成方法及装置、电子设备、计算机存储介质
CN113158924A (zh) * 2021-04-27 2021-07-23 深圳赋能软件有限公司 散斑图像矫正方法、人脸识别方法、装置及设备
CN113168682A (zh) * 2019-11-01 2021-07-23 深圳市汇顶科技股份有限公司 散斑图匹配方法、散斑图匹配装置、电子设备和存储介质
CN113379817A (zh) * 2021-01-12 2021-09-10 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN113379816A (zh) * 2021-06-29 2021-09-10 北京的卢深视科技有限公司 结构变动检测方法、电子设备及存储介质
CN113762253A (zh) * 2021-08-24 2021-12-07 北京的卢深视科技有限公司 散斑的提取方法、装置、电子设备及存储介质
CN113763450A (zh) * 2021-09-09 2021-12-07 北京的卢深视科技有限公司 深度图的获取方法、装置、电子设备及存储介质
CN113888614A (zh) * 2021-09-23 2022-01-04 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN113902652A (zh) * 2021-12-10 2022-01-07 南昌虚拟现实研究院股份有限公司 散斑图像校正方法、深度计算方法、装置、介质及设备
CN113936049A (zh) * 2021-10-21 2022-01-14 北京的卢深视科技有限公司 单目结构光散斑图像深度恢复方法、电子设备及存储介质
CN114332147A (zh) * 2021-12-30 2022-04-12 北京的卢深视科技有限公司 散斑图预处理的方法、装置、电子设备和存储介质
CN115423808A (zh) * 2022-11-04 2022-12-02 合肥的卢深视科技有限公司 散斑投射器的质量检测方法、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104867133A (zh) * 2015-04-30 2015-08-26 燕山大学 一种快速的分步立体匹配方法
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN108205658A (zh) * 2017-11-30 2018-06-26 中原智慧城市设计研究院有限公司 基于单双目视觉融合的障碍物检测预警系统
CN108510529A (zh) * 2018-03-14 2018-09-07 昆明理工大学 一种基于自适应权值的图割立体匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104867133A (zh) * 2015-04-30 2015-08-26 燕山大学 一种快速的分步立体匹配方法
CN106504284A (zh) * 2016-10-24 2017-03-15 成都通甲优博科技有限责任公司 一种基于立体匹配与结构光相结合的深度图获取方法
CN108205658A (zh) * 2017-11-30 2018-06-26 中原智慧城市设计研究院有限公司 基于单双目视觉融合的障碍物检测预警系统
CN108510529A (zh) * 2018-03-14 2018-09-07 昆明理工大学 一种基于自适应权值的图割立体匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
祝世平: "基于改进梯度和自适应窗口的立体匹配算法", 《光学学报》 *
胡汉平: "基于种子点传播的快速立体匹配", 《光学精密工程》 *
靳太明: "基于双目视觉的运动目标深度信息提取方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181524A1 (zh) * 2019-03-13 2020-09-17 深圳市汇顶科技股份有限公司 图像深度的计算方法、图像处理装置及三维测量系统
CN110088563A (zh) * 2019-03-13 2019-08-02 深圳市汇顶科技股份有限公司 图像深度的计算方法、图像处理装置及三维测量系统
CN110088563B (zh) * 2019-03-13 2021-03-19 深圳市汇顶科技股份有限公司 图像深度的计算方法、图像处理装置及三维测量系统
WO2020206666A1 (zh) * 2019-04-12 2020-10-15 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别系统
CN112771573A (zh) * 2019-04-12 2021-05-07 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别系统
CN110012206A (zh) * 2019-05-24 2019-07-12 Oppo广东移动通信有限公司 图像获取方法、图像获取装置、电子设备和可读存储介质
CN112150528A (zh) * 2019-06-27 2020-12-29 Oppo广东移动通信有限公司 一种深度图像获取方法及终端、计算机可读存储介质
CN110853086A (zh) * 2019-10-21 2020-02-28 北京清微智能科技有限公司 基于散斑投影的深度图像生成方法及系统
CN113168682A (zh) * 2019-11-01 2021-07-23 深圳市汇顶科技股份有限公司 散斑图匹配方法、散斑图匹配装置、电子设备和存储介质
CN113168681A (zh) * 2019-11-04 2021-07-23 深圳市汇顶科技股份有限公司 散斑图像匹配方法、装置及存储介质
WO2021087692A1 (zh) * 2019-11-04 2021-05-14 深圳市汇顶科技股份有限公司 散斑图像匹配方法、装置及存储介质
CN111145254A (zh) * 2019-12-13 2020-05-12 上海新时达机器人有限公司 一种基于双目视觉的门阀毛坯定位方法
CN111145254B (zh) * 2019-12-13 2023-08-11 上海新时达机器人有限公司 一种基于双目视觉的门阀毛坯定位方法
CN111402313A (zh) * 2020-03-13 2020-07-10 合肥的卢深视科技有限公司 图像深度恢复方法和装置
CN111402313B (zh) * 2020-03-13 2022-11-04 合肥的卢深视科技有限公司 图像深度恢复方法和装置
CN111540004B (zh) * 2020-04-16 2023-07-14 北京清微智能科技有限公司 单相机极线校正方法及装置
WO2021208933A1 (zh) * 2020-04-16 2021-10-21 北京清微智能科技有限公司 用于相机的图像校正方法和装置
CN111540004A (zh) * 2020-04-16 2020-08-14 北京清微智能科技有限公司 单相机极线校正方法及装置
CN111710000A (zh) * 2020-05-25 2020-09-25 北京的卢深视科技有限公司 一种相机行偏差自检方法及系统
CN111710000B (zh) * 2020-05-25 2023-09-05 合肥的卢深视科技有限公司 一种相机行偏差自检方法及系统
CN111768450B (zh) * 2020-06-10 2023-10-13 合肥的卢深视科技有限公司 基于散斑图的结构光相机行偏差的自动检测方法和装置
CN111768450A (zh) * 2020-06-10 2020-10-13 北京的卢深视科技有限公司 基于散斑图的结构光相机行偏差的自动检测方法和装置
CN113379817A (zh) * 2021-01-12 2021-09-10 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN112669362B (zh) * 2021-01-12 2024-03-29 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN112669362A (zh) * 2021-01-12 2021-04-16 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN112927280A (zh) * 2021-03-11 2021-06-08 北京的卢深视科技有限公司 深度图像的获取方法及装置、单目散斑结构光系统
CN112927280B (zh) * 2021-03-11 2022-02-11 北京的卢深视科技有限公司 深度图像的获取方法及装置、单目散斑结构光系统
CN113139998A (zh) * 2021-04-23 2021-07-20 北京华捷艾米科技有限公司 深度图像的生成方法及装置、电子设备、计算机存储介质
CN113158924A (zh) * 2021-04-27 2021-07-23 深圳赋能软件有限公司 散斑图像矫正方法、人脸识别方法、装置及设备
CN113379816B (zh) * 2021-06-29 2022-03-25 北京的卢深视科技有限公司 结构变动检测方法、电子设备及存储介质
CN113379816A (zh) * 2021-06-29 2021-09-10 北京的卢深视科技有限公司 结构变动检测方法、电子设备及存储介质
CN113762253B (zh) * 2021-08-24 2022-08-26 合肥的卢深视科技有限公司 散斑的提取方法、装置、电子设备及存储介质
CN113762253A (zh) * 2021-08-24 2021-12-07 北京的卢深视科技有限公司 散斑的提取方法、装置、电子设备及存储介质
CN113763450A (zh) * 2021-09-09 2021-12-07 北京的卢深视科技有限公司 深度图的获取方法、装置、电子设备及存储介质
CN113888614A (zh) * 2021-09-23 2022-01-04 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN113936049A (zh) * 2021-10-21 2022-01-14 北京的卢深视科技有限公司 单目结构光散斑图像深度恢复方法、电子设备及存储介质
CN113902652A (zh) * 2021-12-10 2022-01-07 南昌虚拟现实研究院股份有限公司 散斑图像校正方法、深度计算方法、装置、介质及设备
CN114332147A (zh) * 2021-12-30 2022-04-12 北京的卢深视科技有限公司 散斑图预处理的方法、装置、电子设备和存储介质
CN115423808A (zh) * 2022-11-04 2022-12-02 合肥的卢深视科技有限公司 散斑投射器的质量检测方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN109461181B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN109461181A (zh) 基于散斑结构光的深度图像获取方法及系统
US10540576B1 (en) Panoramic camera systems
Wang et al. Mvdepthnet: Real-time multiview depth estimation neural network
US10453249B2 (en) Method for alignment of low-quality noisy depth map to the high-resolution colour image
US9872010B2 (en) Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video
US10326981B2 (en) Generating 3D images using multi-resolution camera set
US9900584B2 (en) Depth map generation based on cluster hierarchy and multiple multiresolution camera clusters
Fuhl et al. Fast camera focus estimation for gaze-based focus control
US9147279B1 (en) Systems and methods for merging textures
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
US9729857B2 (en) High resolution depth map computation using multiresolution camera clusters for 3D image generation
Evangelidis et al. Fusion of range and stereo data for high-resolution scene-modeling
US10783607B2 (en) Method of acquiring optimized spherical image using multiple cameras
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
CN109714587A (zh) 一种多视点图像产生方法、装置、电子设备及存储介质
FR3039028A1 (fr) Procede et dispositif d'affichage de scene tridimensionnelle sur une surface d'affichage de forme arbitraire non plane
Chlubna et al. Real-time per-pixel focusing method for light field rendering
JP2016114445A (ja) ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置
CN112258635B (zh) 基于改进双目匹配sad算法的三维重建方法及装置
CN115861145A (zh) 一种基于机器视觉的图像处理方法
CN112509124A (zh) 深度图获得方法及系统及无人机正射图生成方法及介质
Kadmin et al. Local Stereo Matching Algorithm Using Modified Dynamic Cost Computation [J]
JP2017073710A (ja) 要素画像群生成装置及びそのプログラム
WO2023109960A1 (zh) 三维扫描的处理方法、装置和三维扫描设备
Li Locally Adaptive Stereo Vision Based 3D Visual Reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Depth image acquisition method and system based on speckle structured light

Effective date of registration: 20220311

Granted publication date: 20201027

Pledgee: Industrial Bank Co.,Ltd. Beijing West Railway Station sub branch

Pledgor: BeiJing Hjimi Technology Co.,Ltd.

Registration number: Y2022110000054

PE01 Entry into force of the registration of the contract for pledge of patent right
PP01 Preservation of patent right

Effective date of registration: 20231101

Granted publication date: 20201027

PP01 Preservation of patent right