CN111402313B - 图像深度恢复方法和装置 - Google Patents

图像深度恢复方法和装置 Download PDF

Info

Publication number
CN111402313B
CN111402313B CN202010176326.5A CN202010176326A CN111402313B CN 111402313 B CN111402313 B CN 111402313B CN 202010176326 A CN202010176326 A CN 202010176326A CN 111402313 B CN111402313 B CN 111402313B
Authority
CN
China
Prior art keywords
image
speckle
cost
path
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010176326.5A
Other languages
English (en)
Other versions
CN111402313A (zh
Inventor
户磊
化雪诚
刘祺昌
薛远
王亚运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Dilusense Technology Co Ltd filed Critical Hefei Dilusense Technology Co Ltd
Priority to CN202010176326.5A priority Critical patent/CN111402313B/zh
Publication of CN111402313A publication Critical patent/CN111402313A/zh
Application granted granted Critical
Publication of CN111402313B publication Critical patent/CN111402313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像深度恢复方法和装置，所述图像深度恢复方法包括获取参考散斑影像和物体散斑影像；对参考散斑影像和物体散斑影像均进行第一预处理，获得参考散斑特征影像和物体散斑特征影像；对物体散斑特征影像进行阴影检测，获得阴影掩膜；基于参考散斑特征影像和物体散斑特征影像，获得匹配代价特征；基于匹配代价特征和阴影掩膜，进行多路径动态规划，获取路径代价；基于路径代价，获取视差匹配代价，基于视差匹配代价，获取视差值为最小视差匹配代价处的视差值；基于视差值，获取深度数据。本发明实施例提供的图像深度恢复方法，消除了阴影区域带来的误匹配问题，提升了深度数据的精度，适用于灰暗和特征不明显的环境。

Description

图像深度恢复方法和装置
技术领域
本发明涉及3D传感测量技术领域，更具体地，涉及一种图像深度恢复方法和装置。
背景技术
随着机器视觉和自动驾驶等颠覆性技术的逐步发展，采用深度数据进行物体识别、行为识别和场景建模的相关应用越来越多。普通的影像数据只是简单地记录下相机视角内的所有物体，对于物体离相机的距离，没有确切的数据，只能通过图像的语义来分析来判断物体离相机的远近。深度数据是图像中的每个点离摄像头的距离，加上该点在2D图像中的坐标，我们能获取该点的三维空间坐标，通过三维空间坐标能还原真实场景，实现场景建模等应用。
第一种深度数据恢复方法是将获取的场景图像与参考图像进行匹配，匹配算法采用按行搜索和计算寻找最小值的方式。该方法没有充分利用散斑影像的全图信息和多路径约束，严重影响了深度数据的精度。
第二种深度数据恢复方法是在行搜索计算像素匹配代价的基础上，增加路径代价迭代传播和多方向约束密集匹配的思想。密集匹配是一个能量优化的过程，密集匹配的最终结果是得到一个稠密的深度图，即恢复每个像素的深度数据。该方法在灰暗的环境以及特征不明显的情况下并不适用。
发明内容
本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的图像深度恢复方法、装置、电子设备和可读存储介质。
第一方面，本发明实施例提供一种图像深度恢复方法，包括：获取参考散斑影像和物体散斑影像；对所述参考散斑影像和所述物体散斑影像均进行第一预处理，获得参考散斑特征影像和物体散斑特征影像；对所述物体散斑特征影像进行阴影检测，获得阴影掩膜；基于所述参考散斑特征影像和所述物体散斑特征影像，获得匹配代价特征；基于所述匹配代价特征和所述阴影掩膜，进行多路径动态规划，获取路径代价；基于所述路径代价，获取视差匹配代价，基于所述视差匹配代价，获取视差值为最小视差匹配代价处的视差值；基于所述视差值，获取深度数据。
在一些实施例中，所述基于匹配代价特征和所述阴影掩膜，进行多路径动态规划，获取路径代价包括：对于任一像素点，若遇到传播路径上所述任一像素点的阴影掩膜标记为阴影点，则将所述任一像素点的代价置为无效值，并将下一点作为新的起点重新开始迭代计算，直至获取所述路径代价。
在一些实施例中，所述对于任一像素点，若遇到传播路径上所述任一像素点的阴影掩膜标记为阴影点，则将所述任一像素点的代价置为无效值，并将下一点作为新的起点重新开始迭代计算，直至获取所述路径代价包括：
当mask(p-r)≠255&&mask(p)≠255时，
Lr(p,d)＝CSAD(p,d)+min(Lr(p-r,d),Lr(p-r,d-1)+P1,Lr(p-r,d+1)+P1,mini(Lr(p-r,i))+P2))-mink(Lr(p-r,k))；
当mask(p-r)＝255&&mask(p)≠255时，
Lr(p,d)＝CSAD(p,d)；
当mask(p)＝255时，
Lr(p,d)＝无效值，
其中，Lr(p,d)为沿方向r的路径上影像中像素点p在视差值为d处的路径代价，CSAD(p,d)为影像像素点间的匹配代价特征，Lr(p-r,d)为沿方向r的路径上前一个像素点在视差值为d处的路径代价，Lr(p-r,d-1)为沿方向r的路径上前一个像素点在视差值为d-1处的路径代价，Lr(p-r,d+1)为沿方向r的路径上前一个像素点在视差值为d+1处的路径代价，P1和P2为惩罚系数，i和k为视差范围，mini(Lr(p-r,i))为沿方向r的路径上前一个像素点路径代价的最小值，mink(Lr(p-r,k))为沿方向r的路径上前一个像素点路径代价的最小值，mask(p-r)为沿方向r的路径上前一个像素点的阴影掩膜，mask(p)为当前像素点的阴影掩膜。
在一些实施例中，所述第一预处理为局部对比度归一化处理，以使所述参考散斑特征影像的亮度变化与所述物体散斑特征影像的亮度变化相同。
在一些实施例中，所述基于所述参考散斑特征影像和所述物体散斑特征影像，获得匹配代价特征包括：将所述参考散斑特征影像和所述物体散斑特征影像的像素点进行匹配，且将待匹配像素的预设邻域内所有像素的灰度差绝对值的和作为所述匹配代价特征。
在一些实施例中，所述获取参考散斑影像和物体散斑影像，包括：采用单目散斑结构光获取所述参考散斑影像和所述物体散斑影像。
在一些实施例中，所述基于所述视差值，获取深度数据包括：应用公式
Figure BDA0002410947630000031
获取深度数据，
其中，Z为像素点的深度值，Z0为标定获得的参考平面的深度值，d为视差值，F为相机的焦距，L为基线长度。
第二方面，本发明实施例提供一种图像深度恢复装置，包括：获取单元，用于获取参考散斑影像和物体散斑影像；预处理单元，用于对所述参考散斑影像和所述物体散斑影像均进行第一预处理，获得参考散斑特征影像和物体散斑特征影像；检测单元，用于对所述物体散斑特征影像进行阴影检测，获得阴影掩膜；匹配单元，用于基于所述参考散斑特征影像和所述物体散斑特征影像，获得匹配代价特征；纠正单元，用于基于匹配代价特征和所述阴影掩膜，进行多路径动态规划，获取路径代价；聚合单元，用于基于所述路径代价，获取视差匹配代价，基于所述视差匹配代价，获取视差值为最小视差匹配代价处的视差值；优化单元，用于基于所述视差值，获取深度数据。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例的图像深度恢复方法、装置、电子设备和可读存储介质，对物体散斑特征影像进行阴影检测得到阴影掩膜，在路径代价传播过程中引入阴影掩膜，利用阴影掩膜纠正路径代价的误传播，消除了误匹配的问题，提升了深度数据的精度，该方法的应用面广泛，在灰暗和特征不明显的环境同样适用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的图像深度恢复方法的流程图；
图2为本发明实施例的另一图像深度恢复方法的流程图；
图3为本发明实施例的图像深度恢复方法的单个方向路径迭代示意图；
图4为本发明实施例的图像深度恢复方法的方向路径示意图；
图5为本发明实施例的图像深度恢复方法的匹配代价特征计算示意图；
图6为本发明实施例的图像深度恢复方法的深度计算示意图；
图7为本发明实施例的图像深度恢复装置的结构示意图；
图8为本发明实施例的图像深度恢复电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图6描述本发明实施例的图像深度恢复方法。
如图1所示，本发明实施例的图像深度恢复方法包括步骤S100-S700：
步骤S100、获取参考散斑影像和物体散斑影像。
可以理解的是，如图6所示，基于参考平面，获取已标定好的参考散斑影像，基于物体所在平面，获取已标定好的物体散斑影像。
步骤S200、对参考散斑影像和物体散斑影像均进行第一预处理，获得参考散斑特征影像和物体散斑特征影像。
可以理解的是，预处理是指对图像特征匹配前所进行的处理，包括特征提取和图像分割等。对参考散斑影像和物体散斑影像均进行第一预处理，可以消除图像中无关的信息，恢复有用的真实信息，提高特征匹配的可靠性。
步骤S300、对物体散斑特征影像进行阴影检测，获得阴影掩膜。
可以理解的是，由于光照的原因，影像中难免会存在阴影，阴影的存在会造成影像的变形、合并甚至丢失。因此，对物体散斑特征影像进行阴影检测，获得阴影掩膜，将阴影掩膜引入到深度数据的计算过程中，用于解决由于阴影区域和参考散斑影像与物体散斑影像亮度不一致带来的误匹配问题，提高深度数据的计算精度。阴影检测的计算公式为：
Figure BDA0002410947630000061
其中，σ为窗口内像素标准差，窗口大小可以根据实际需求进行设置，本发明实施例不作具体限定，本发明实施例以窗口大小为11*11举例，shadow_threshold为阴影阈值，x为物体散斑影像像素点在2D图像中的横坐标，y为物体散斑影像像素点在2D图像中的纵坐标，mask(x,y)为坐标(x,y)的像素点的阴影掩膜。
步骤S400、基于参考散斑特征影像和物体散斑特征影像，获得匹配代价特征。
可以理解的是，匹配代价是指两个像素之间相似性的差异，用于描述两个像素的相似性。匹配代价越大，说明两个像素是同名像素的可能性越高，匹配代价越小，说明两个像素是同名像素的可能性越低。基于参考散斑特征影像和物体散斑特征影像，计算匹配代价特征，用于描述参考散斑特征影像和物体散斑特征影像的两个像素之间的相似性。
步骤S500、基于匹配代价特征和阴影掩膜，进行多路径动态规划，获取路径代价。
可以理解的是，在像素点进行特征匹配的过程中，噪声等外部因素使得像素点的特征匹配会产生二义性，并且存在错误点的匹配代价大于正确点的匹配代价的情况。因此，仅以像素点间的匹配代价衡量像素点的相关性，容易受到外部因素的影响，所以需要对匹配代价增加额外的约束条件来惩罚像素点邻域内视差的变化。将阴影掩膜作为约束条件，基于匹配代价特征进行多路径动态规划获取路径代价，提高特征匹配的可靠性。
步骤S600、基于路径代价，获取视差匹配代价，基于视差匹配代价，获取视差值为最小视差匹配代价处的视差值。
可以理解的是，为了更好地利用散斑影像的全图信息，将路径数目设置为8，即路径方向分别为水平、垂直或对角。8个方向的路径代价之和，即为像素点的视差匹配代价。视差匹配代价的计算公式为：
S(p,d)＝∑r Lr(p,d)
其中，p为影像中某一像素点，d为视差值，r为路径方向，Lr(p,d)为沿方向r的路径上影像中像素点p在视差值为d处的路径代价，S(p,d)为影像中像素点p在视差值为d处的视差匹配代价。
单个方向路径代价迭代实现过程如图3所示，按照图3所示迭代计算视差匹配代价。按图3所示的计算过程，需要开辟一个三维数组，此三维数组的大小为W*H*D*size of(float)字节，用于累加各个方向的路径代价，其中W为物体散斑影像的宽，H为物体散斑影像的高，D为视差搜索范围，size of(float)为求得float数据类型所占的字节数，这个三维数组对应于每个像素的视差匹配代价，根据影像上像素的坐标，计算出对应于每一个视差搜索范围内的匹配代价即可。物体散斑影像中像素p所对应的整数视差值为最小视差匹配代价处的视差值，即mindS(p,d)。
步骤S700、基于视差值，获取深度数据。
可以理解的是，对视差值进行视差优化，优化方法包括：唯一性检测、亚像素插值、中值滤波和连通区域检测，可以剔除错误视差，提高视差精度，使视差值更可靠、更精确。
本发明实施例提供的图像深度恢复方法，对物体散斑特征影像进行阴影检测得到阴影掩膜，在路径代价传播过程中引入阴影掩膜，利用阴影掩膜纠正路径代价的误传播，消除了误匹配的问题，提升了深度数据的精度，该方法的应用面广泛，在灰暗和特征不明显的环境同样适用。
在一些实施例中，步骤S500、基于匹配代价特征和阴影掩膜，进行多路径动态规划，获取路径代价包括：步骤S510、对于任一像素点，若遇到传播路径上任一像素点的阴影掩膜标记为阴影点，则将任一像素点的代价置为无效值，并将下一点作为新的起点重新开始迭代计算，直至获取路径代价。
可以理解的是，引入阴影掩膜纠正路径代价的误传播问题。若传播路径上当前像素点的阴影掩膜标记为阴影点，则将当前像素点的路径代价置为无效值，并将下一像素点作为新的起点重新开始迭代计算。如图4所示，不规则区域即为阴影区域，点A和点B作为新的起点开始计算，阴影区域内点的路径代价置为无效值。
本发明实施例提供的图像深度恢复方法，在路径代价传播过程中引入阴影掩膜，消除了误匹配的问题，提升了深度数据的精度。
在一些实施例中，步骤S510、对于任一像素点，若遇到传播路径上任一像素点的阴影掩膜标记为阴影点，则将任一像素点的代价置为无效值，并将下一点作为新的起点重新开始迭代计算，直至获取路径代价包括：
当mask(p-r)≠255&&mask(p)≠255时，
Lr(p,d)＝CSAD(p,d)+min(Lr(p-r,d),Lr(p-r,d-1)+P1,Lr(p-r,d+1)+P1,mini(Lr(p-r,i))+P2))-mink(Lr(p-r,k))；
当mask(p-r)＝255&&mask(p)≠255时，
Lr(p,d)＝CSAD(p,d)；
当mask(p)＝255时，
Lr(p,d)＝无效值。
其中，Lr(p,d)为沿方向r的路径上影像中像素点p在视差值为d处的路径代价，CSAD(p,d)为影像像素点间的匹配代价特征，Lr(p-r,d)为沿方向r的路径上前一个像素点在视差值为d处的路径代价，Lr(p-r,d-1)为沿方向r的路径上前一个像素点在视差值为d-1处的路径代价，Lr(p-r,d+1)为沿方向r的路径上前一个像素点在视差值为d+1处的路径代价，P1和P2为惩罚系数，可以根据实际情况设定，例如1,2,3……，本发明实施例不作具体限定，i和k为视差范围，取值范围为0-D，mini(Lr(p-r,i))为沿方向r的路径上前一个像素点路径代价的最小值，mink(Lr(p-r,k))为沿方向r的路径上前一个像素点路径代价的最小值，mask(p-r)为沿方向r的路径上前一个像素点的阴影掩膜，mask(p)为当前像素点的阴影掩膜。
发明实施例提供的图像深度恢复方法，在路径代价传播过程中引入阴影掩膜，消除了误匹配的问题，提升了深度数据的精度。
在一些实施例中，步骤S200中的第一预处理为局部对比度归一化处理，以使参考散斑特征影像的亮度变化与物体散斑特征影像的亮度变化相同。
可以理解的是，在深度学习中，对比度通常指的是影像或影像区域中像素的标准差。LCN(Local Contrast Normalization)局部对比度归一化是深度学习中常用的一种数据预处理方法，不仅可以移除亮度和视差的相关性，而且还使亮度的变化不会对参考散斑影像和物体散斑影像造成影响。对参考散斑影像和物体散斑影像进行局部对比度归一化处理，可以使参考散斑特征影像的亮度变化与物体散斑特征影像的亮度变化相同。局部对比度归一化的计算公式为：
Figure BDA0002410947630000101
其中，μ为窗口内像素局部均值，σ为窗口内像素标准差，窗口大小可以根据实际需求进行设置，本发明实施例不作具体限定，本发明实施例以窗口大小为11*11举例，
Figure BDA0002410947630000102
为一个预设的小常数，取值范围为0-255，I为当前窗口中心点的灰度值，ILCN为经公式计算后求得的值用来替换当前窗口中心点的灰度值。
本发明实施例提供的图像深度恢复方法，引入局部对比度归一化处理，消除了参考散斑影像和物体散斑影像对比度和亮度的不一致带来的误匹配问题。
在一些实施例中，步骤S400、基于参考散斑特征影像和物体散斑特征影像，获得匹配代价特征包括：将参考散斑特征影像和物体散斑特征影像的像素点进行匹配，且将待匹配像素的预设邻域内所有像素的灰度差绝对值的和作为匹配代价特征。
可以理解的是，灰度值用于描述图像中单个像素点的亮度，从最暗的黑色到最亮的白色之间，不同的灰度值代表不同的颜色深度。将参考散斑特征影像和物体散斑特征影像的像素点进行特征匹配时，采用SAD算法来计算匹配代价特征。SAD(Sum of AbsoluteDifference)算法，意为差的绝对值的和，计算过程为求出待匹配像素的预设领域内所有像素的灰度差绝对值的和，计算公式为：
Figure BDA0002410947630000111
其中，p为参考散斑影像像素，NP为参考散斑影像像素的领域，d为视差，p-d为物体散斑影像对应像素，L为物体散斑影像，R为参考散斑影像，LCNL(p)为当前像素在物体散斑影像处的LCN值，LCNR(p-d)为当前像素减去视差d位置处在参考散斑影像处的LCN值，CSAD(p,d)为影像像素点间的匹配代价特征。
如图5所示，将物体散斑特征影像上的每一个像素点分别与参考散斑特征影像上的像素点进行匹配，左右视差波动16个像素，选取一定窗口，计算SAD值。
本发明实施例提供的图像深度恢复方法，将参考散斑特征影像和物体散斑特征影像的像素点进行匹配，且将待匹配像素的预设邻域内所有像素的灰度差绝对值的和作为匹配代价特征，这种算法快速、简便，适用于多级处理的初步筛选。
在一些实施例中，步骤S100、获取参考散斑影像和物体散斑影像包括：采用单目散斑结构光获取参考散斑影像和物体散斑影像。
可以理解的是，散斑结构光技术是当前广泛应用的3D数据采集技术，它通过光学手段获取被拍摄物体的三维结构，将获取到的信息进行更深入的应用。散斑结构光技术通常采用特定波长的不可见红外激光作为光源，该光源发射出来的光经过一定的编码投影在物体上，通过一定算法来计算返回编码图案的畸变，从而得到物体的位置和深度数据。单目散斑结构系统相对于双目视觉系统来说是一个伪双目系统，具有结构简单和成本低的特点。
本发明实施例提供的图像深度恢复方法，结构简单，便于标定和识别。
在一些实施例中，步骤S700、基于视差值获取深度数据包括：应用公式
Figure BDA0002410947630000121
获取深度数据，
其中，Z为像素点的深度值，Z0为标定获得的参考平面的深度值，d为视差值，F为相机的焦距，L为基线长度，如图6所示，在本发明实施例中，L为红外相机和激光发射器之间的距离。
如图2所示，本发明实施例的另一图像深度恢复方法包括获取参考散斑影像和物体散斑影像；对参考散斑影像和物体散斑影像均进行局部归一化处理，获得参考散斑特征影像和物体散斑特征影像；对物体散斑特征影像进行阴影检测，获得阴影掩膜；基于参考散斑特征影像和物体散斑特征影像，获得匹配代价特征；基于匹配代价特征和阴影掩膜，进行多路径动态规划，获取路径代价；聚合路径代价，获取视差匹配代价，输出视差搜索范围内的最小视差匹配代价处的视差值；优化视差值，输出深度数据。
单目散斑结构光深度恢复计算示意图如6图所示，已知参数Z0、F、L和d，利用深度数据计算公式，就可获得深度数据，实现图像深度恢复。
本发明实施例提供的图像深度恢复方法，剔除了错误视差，使视差值更可靠、更精确，最终提高了深度数据的精确度。
下面对本发明实施例提供的图像深度恢复装置进行描述，下文描述的图像深度恢复装置与上文描述的图像深度恢复方法可相互对应参照。
如图7所示，该装置包括：获取单元810、预处理单元820、检测单元830、匹配单元840、纠正单元850、聚合单元860和优化单元870。
获取单元810用于获取参考散斑影像和物体散斑影像。
可以理解的是，获取单元810基于参考平面，获取已标定好的参考散斑影像。同时，获取单元810基于物体所在平面，获取已标定好的物体散斑影像。
预处理单元820用于对参考散斑影像和物体散斑影像均进行第一预处理，获得参考散斑特征影像和物体散斑特征影像。
可以理解的是，预处理单元820对参考散斑影像和物体散斑影像均进行例如特征提取和图像分割等预处理，用于消除图像中无关的信息，获得参考散斑特征影像和物体散斑特征影像。
检测单元830用于对物体散斑特征影像进行阴影检测，获得阴影掩膜。
可以理解的是，检测单元830对物体散斑特征影像进行阴影检测，获得阴影掩膜，将阴影掩膜引入到深度数据的计算过程中，用于解决由于阴影区域和参考散斑影像与物体散斑影像亮度不一致带来的误匹配问题，提高深度数据的计算精度。
匹配单元840用于基于参考散斑特征影像和物体散斑特征影像，获得匹配代价特征。
可以理解的是，匹配单元840基于参考散斑特征影像和物体散斑特征影像，计算匹配代价特征，用于描述参考散斑特征影像和物体散斑特征影像的两个像素之间的相似性。
纠正单元850用于基于匹配代价特征和阴影掩膜，进行多路径动态规划，获取路径代价。
可以理解的是，纠正单元850将阴影掩膜作为约束条件，基于匹配代价特征进行多路径动态规划获取路径代价，用于提高特征匹配的可靠性。
聚合单元860用于基于路径代价，获取视差匹配代价，基于视差匹配代价，获取视差值为最小视差匹配代价处的视差值。
可以理解的是，聚合单元860将8个方向的路径代价进行聚合，得到像素点的视差匹配代价，最小视差匹配代价处的视差值就是需要获取的视差值。
优化单元870用于基于视差值，获取深度数据。
可以理解的是，优化单元870用唯一性检测、亚像素插值、中值滤波和连通区域检测等方法对视差值进行优化，获取深度数据，用于提高深度数据的精度。
本发明实施例提供的图像深度恢复装置，对物体散斑特征影像进行阴影检测，并将阴影检测得到的阴影掩膜引入到密集匹配能量代价传输路径中，利用阴影掩膜纠正路径代价的误传播，消除了误匹配的问题，最终输出精度更高的深度数据，对自动驾驶、行为识别、目标检测等技术的发展起到了很大的促进作用。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行图像深度恢复方法，该方法包括获取参考散斑影像和物体散斑影像；对参考散斑影像和物体散斑影像均进行第一预处理，获得参考散斑特征影像和物体散斑特征影像；对物体散斑特征影像进行阴影检测，获得阴影掩膜；基于参考散斑特征影像和物体散斑特征影像，获得匹配代价特征；基于匹配代价特征和阴影掩膜，进行多路径动态规划，获取路径代价；基于路径代价，获取视差匹配代价，基于视差匹配代价，获取视差值为最小视差匹配代价处的视差值；基于视差值，获取深度数据。
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为PC机，还可以为其他设备，只要其结构中包括如图8所示的处理器910、通信接口920、存储器930和通信总线940，其中处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信，且处理器910可以调用存储器930中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的图像深度恢复方法，该方法包括获取参考散斑影像和物体散斑影像；对参考散斑影像和物体散斑影像均进行第一预处理，获得参考散斑特征影像和物体散斑特征影像；对物体散斑特征影像进行阴影检测，获得阴影掩膜；基于参考散斑特征影像和物体散斑特征影像，获得匹配代价特征；基于匹配代价特征和阴影掩膜，进行多路径动态规划，获取路径代价；基于路径代价，获取视差匹配代价，基于视差匹配代价，获取视差值为最小视差匹配代价处的视差值；基于视差值，获取深度数据。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的图像深度恢复方法，该方法包括获取参考散斑影像和物体散斑影像；对参考散斑影像和物体散斑影像均进行第一预处理，获得参考散斑特征影像和物体散斑特征影像；对物体散斑特征影像进行阴影检测，获得阴影掩膜；基于参考散斑特征影像和物体散斑特征影像，获得匹配代价特征；基于匹配代价特征和阴影掩膜，进行多路径动态规划，获取路径代价；基于路径代价，获取视差匹配代价，基于视差匹配代价，获取视差值为最小视差匹配代价处的视差值；基于视差值，获取深度数据。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种图像深度恢复方法，其特征在于，包括：
获取参考散斑影像和物体散斑影像；
对所述参考散斑影像和所述物体散斑影像均进行第一预处理，获得参考散斑特征影像和物体散斑特征影像；
对所述物体散斑特征影像进行阴影检测，获得阴影掩膜；
基于所述参考散斑特征影像和所述物体散斑特征影像，获得匹配代价特征；
基于所述匹配代价特征和所述阴影掩膜，进行多路径动态规划，获取路径代价；
基于所述路径代价，获取视差匹配代价，基于所述视差匹配代价，获取视差值为最小视差匹配代价处的视差值；
基于所述视差值，获取深度数据；
其中，所述基于所述参考散斑特征影像和所述物体散斑特征影像，获得匹配代价特征，包括：
将所述参考散斑特征影像和所述物体散斑特征影像的像素点进行匹配，且将待匹配像素的预设邻域内所有像素的灰度差绝对值的和作为所述匹配代价特征。
2.根据权利要求1所述的图像深度恢复方法，其特征在于，所述基于匹配代价特征和所述阴影掩膜，进行多路径动态规划，获取路径代价，包括：
对于任一像素点，若遇到传播路径上所述任一像素点的阴影掩膜标记为阴影点，则将所述任一像素点的代价置为无效值，并将下一点作为新的起点重新开始迭代计算，直至获取所述路径代价。
3.根据权利要求2所述的图像深度恢复方法，其特征在于，所述对于任一像素点，若遇到传播路径上所述任一像素点的阴影掩膜标记为阴影点，则将所述任一像素点的代价置为无效值，并将下一点作为新的起点重新开始迭代计算，直至获取所述路径代价，包括：
当mask(p-r)≠255&&mask(p)≠255时，
Lr(p,d)＝CSAD(p,d)+min(Lr(p-r,d),Lr(p-r,d-1)+P1,Lr(p-r,d+1)+P1,mini(Lr(p-r,i))+P2))-mink(Lr(p-r,k))；
当mask(p-r)＝255&&mask(p)≠255时，
Lr(p,d)＝CSAD(p,d)；
当mask(p)＝255时，
Lr(p,d)＝无效值，
其中，Lr(p,d)为沿方向r的路径上影像中像素点p在视差值为d处的路径代价，CSAD(p,d)为影像像素点间的匹配代价特征，Lr(p-r,d)为沿方向r的路径上前一个像素点在视差值为d处的路径代价，Lr(p-r,d-1)为沿方向r的路径上前一个像素点在视差值为d-1处的路径代价，Lr(p-r,d+1)为沿方向r的路径上前一个像素点在视差值为d+1处的路径代价，P1和P2为惩罚系数，i和k为视差范围，mini(Lr(p-r,i))为沿方向r的路径上前一个像素点路径代价的最小值，mink(Lr(p-r,k))为沿方向r的路径上前一个像素点路径代价的最小值，mask(p-r)为沿方向r的路径上前一个像素点的阴影掩膜，mask(p)为当前像素点的阴影掩膜。
4.根据权利要求1-3中任一项所述的图像深度恢复方法，其特征在于，所述第一预处理为局部对比度归一化处理，以使所述参考散斑特征影像的亮度变化与所述物体散斑特征影像的亮度变化相同。
5.根据权利要求1-3中任一项所述的图像深度恢复方法，其特征在于，所述获取参考散斑影像和物体散斑影像，包括：
采用单目散斑结构光获取所述参考散斑影像和所述物体散斑影像。
6.根据权利要求5所述的图像深度恢复方法，其特征在于，所述基于所述视差值，获取深度数据，包括：应用公式
Figure FDA0003845039670000031
获取深度数据；
其中，Z为像素点的深度值，Z0为标定获得的参考平面的深度值，d为视差值，F为相机的焦距，L为基线长度。
7.一种图像深度恢复装置，其特征在于，包括：
获取单元，用于获取参考散斑影像和物体散斑影像；
预处理单元，用于对所述参考散斑影像和所述物体散斑影像均进行第一预处理，获得参考散斑特征影像和物体散斑特征影像；
检测单元，用于对所述物体散斑特征影像进行阴影检测，获得阴影掩膜；
匹配单元，用于基于所述参考散斑特征影像和所述物体散斑特征影像，获得匹配代价特征；
纠正单元，用于基于匹配代价特征和所述阴影掩膜，进行多路径动态规划，获取路径代价；
聚合单元，用于基于所述路径代价，获取视差匹配代价，基于所述视差匹配代价，获取视差值为最小视差匹配代价处的视差值；
优化单元，用于基于所述视差值，获取深度数据；
所述匹配单元用于将所述参考散斑特征影像和所述物体散斑特征影像的像素点进行匹配，且将待匹配像素的预设邻域内所有像素的灰度差绝对值的和作为所述匹配代价特征。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述图像深度恢复方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述图像深度恢复方法的步骤。
CN202010176326.5A 2020-03-13 2020-03-13 图像深度恢复方法和装置 Active CN111402313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010176326.5A CN111402313B (zh) 2020-03-13 2020-03-13 图像深度恢复方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010176326.5A CN111402313B (zh) 2020-03-13 2020-03-13 图像深度恢复方法和装置

Publications (2)

Publication Number Publication Date
CN111402313A CN111402313A (zh) 2020-07-10
CN111402313B true CN111402313B (zh) 2022-11-04

Family

ID=71413916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010176326.5A Active CN111402313B (zh) 2020-03-13 2020-03-13 图像深度恢复方法和装置

Country Status (1)

Country Link
CN (1) CN111402313B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184793B (zh) * 2020-10-15 2021-10-26 北京的卢深视科技有限公司 深度数据的处理方法、装置及可读存储介质
CN112927280B (zh) * 2021-03-11 2022-02-11 北京的卢深视科技有限公司 深度图像的获取方法及装置、单目散斑结构光系统
CN112967331B (zh) * 2021-03-25 2021-12-17 北京的卢深视科技有限公司 一种图像处理的方法、电子设备及存储介质
CN113126944B (zh) * 2021-05-17 2021-11-09 北京的卢深视科技有限公司 深度图的显示方法、显示装置、电子设备及存储介质
CN113379816B (zh) * 2021-06-29 2022-03-25 北京的卢深视科技有限公司 结构变动检测方法、电子设备及存储介质
CN113763448B (zh) * 2021-08-24 2022-05-31 合肥的卢深视科技有限公司 深度成像方法、电子设备和计算机可读存储介质
CN113888614B (zh) * 2021-09-23 2022-05-31 合肥的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN113936049A (zh) * 2021-10-21 2022-01-14 北京的卢深视科技有限公司 单目结构光散斑图像深度恢复方法、电子设备及存储介质
CN113808185B (zh) * 2021-11-19 2022-03-25 北京的卢深视科技有限公司 图像深度恢复方法、电子设备及存储介质
CN114283081B (zh) * 2021-12-16 2022-11-08 合肥的卢深视科技有限公司 基于金字塔加速的深度恢复方法、电子设备及存储介质
CN114283089B (zh) * 2021-12-24 2023-01-31 合肥的卢深视科技有限公司 基于跳跃加速的深度恢复方法、电子设备及存储介质
CN114299129B (zh) * 2021-12-31 2023-01-31 合肥的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN114331919B (zh) * 2022-03-09 2022-05-31 合肥的卢深视科技有限公司 深度恢复方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094380A1 (ja) * 2015-12-04 2017-06-08 ソニー株式会社 情報処理装置、スペックルイメージングシステム、及び情報処理方法
CN109461181A (zh) * 2018-10-17 2019-03-12 北京华捷艾米科技有限公司 基于散斑结构光的深度图像获取方法及系统
CN109544620A (zh) * 2018-10-31 2019-03-29 Oppo广东移动通信有限公司 图像处理方法和装置、计算机可读存储介质和电子设备
CN110033483A (zh) * 2019-04-03 2019-07-19 北京清微智能科技有限公司 基于dcnn深度图生成方法及系统
CN110533708A (zh) * 2019-08-28 2019-12-03 维沃移动通信有限公司 一种电子设备及深度信息获取方法
CN110689581A (zh) * 2018-07-06 2020-01-14 Oppo广东移动通信有限公司 结构光模组标定方法、电子设备、计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333652B2 (en) * 2004-08-03 2008-02-19 Sony Corporation System and method for efficiently performing a depth map recovery procedure
CN106780590B (zh) * 2017-01-03 2019-12-24 成都通甲优博科技有限责任公司 一种深度图的获取方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094380A1 (ja) * 2015-12-04 2017-06-08 ソニー株式会社 情報処理装置、スペックルイメージングシステム、及び情報処理方法
CN110689581A (zh) * 2018-07-06 2020-01-14 Oppo广东移动通信有限公司 结构光模组标定方法、电子设备、计算机可读存储介质
CN109461181A (zh) * 2018-10-17 2019-03-12 北京华捷艾米科技有限公司 基于散斑结构光的深度图像获取方法及系统
CN109544620A (zh) * 2018-10-31 2019-03-29 Oppo广东移动通信有限公司 图像处理方法和装置、计算机可读存储介质和电子设备
CN110033483A (zh) * 2019-04-03 2019-07-19 北京清微智能科技有限公司 基于dcnn深度图生成方法及系统
CN110533708A (zh) * 2019-08-28 2019-12-03 维沃移动通信有限公司 一种电子设备及深度信息获取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Region-based depth recovery for highly sparse depth maps;Said P.等;《2017 IEEE International Conference on Image Processing (ICIP)》;20180222;第2074-2078页 *
基于投影散斑的实时场景深度恢复;王梦伟 等;《计算机辅助设计与图形学学报》;20140831;第26卷(第8期);第1304-1313页 *

Also Published As

Publication number Publication date
CN111402313A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111402313B (zh) 图像深度恢复方法和装置
US11830216B2 (en) Information processing apparatus, information processing method, and storage medium
US10659762B2 (en) Stereo camera
US8326025B2 (en) Method for determining a depth map from images, device for determining a depth map
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN116385505A (zh) 数据处理方法、装置、系统和存储介质
US11651581B2 (en) System and method for correspondence map determination
KR20190059594A (ko) 디스패리티 추정 장치 및 방법
CN107980138A (zh) 一种虚警障碍物检测方法及装置
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
CN116029996A (zh) 立体匹配的方法、装置和电子设备
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
CN112802081B (zh) 一种深度检测方法、装置、电子设备及存储介质
WO2022003740A1 (en) Method for determining the confidence of a disparity map through a self-adaptive learning of a neural network, and sensor system thereof
CN115456945A (zh) 一种芯片引脚缺陷的检测方法、检测装置及设备
CN111160233B (zh) 基于三维成像辅助的人脸活体检测方法、介质及系统
Kruger et al. In-factory calibration of multiocular camera systems
JP2001194126A (ja) 三次元形状計測装置および三次元形状計測方法、並びにプログラム提供媒体
JP2000121319A (ja) 画像処理装置および画像処理方法、並びに提供媒体
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN115661258A (zh) 标定方法及装置、畸变校正方法及装置、存储介质、终端
CN115272462A (zh) 一种相机位姿估计方法、装置及电子设备
CN117765048B (zh) 一种基于跨模态融合的水下目标三维配准方法
CN114842061A (zh) 深度计算方法、系统、可读存储介质及深度图像处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant