CN112184793B - 深度数据的处理方法、装置及可读存储介质 - Google Patents
深度数据的处理方法、装置及可读存储介质 Download PDFInfo
- Publication number
- CN112184793B CN112184793B CN202011104505.4A CN202011104505A CN112184793B CN 112184793 B CN112184793 B CN 112184793B CN 202011104505 A CN202011104505 A CN 202011104505A CN 112184793 B CN112184793 B CN 112184793B
- Authority
- CN
- China
- Prior art keywords
- parallax
- pixel
- image
- pixel point
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明实施例提供一种深度数据的处理方法、装置及可读存储介质。本发明方法实施例中，基于彩色影像确定基准影像，基于第一深度影像生成与基准影像分辨率一致的第二深度影像，基于第二深度影像生成视差标记矩阵mask，基于所述视差标记矩阵mask，获得深度数据。通过将飞行时间法相机获取的深度影像引入到双目密集匹配过程中，减少了各像素视差搜索范围，进而减少了计算量，实现了快速深度恢复，同时能够适应低纹理场景，提高了深度数据的精度。
Description
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种深度数据的处理方法、装置及可读存储介质。
背景技术
随着科学技术的不断发展，3D相机不仅能获得平面图像，还可以获得拍摄对象的深度信息。其能够实时获取环境物体深度信息、三维尺寸以及空间信息，为动作捕捉、三维建模、室内导航与定位等场景提供了技术支持。如动作捕捉识别、人脸识别、自动驾驶领域的三维建模、巡航和避障，工业领域的零件扫描检测分拣，安防领域监控、人数统计等。
目前市面上3D相机深度信息成像方案包括结构光、双目立体视觉和飞行时间法(TOF，Time of Flight)三种。结构光通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过一定的编码投影在物体上，通过一定算法来计算返回编码图案的畸变来得到物体的位置和深度信息。结构光技术是主动光源，容易受环境光干扰，室外体验差，随着距离增加，深度数据的精度会变差；飞行时间法是通过给目标连续发射激光脉冲，然后用传感器接收从反射光线，通过探测光脉冲的飞行往返时间来得到确切的目标距离。飞行时间法检测距离远，但对设备要求高，特别是时间测量模块，并且飞行时间法获得的深度图像分辨率较低。双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点的位置偏差，来获取物体三维几何信息的方法。目前3D相机深度信息成像方案主要采用双目视觉方案，双目视觉方案可以在室外使用，但其对缺乏纹理的场景深度恢复效果很差，并且计算量大，深度恢复速度慢。
发明内容
本发明实施例提供一种深度数据的处理方法、装置及可读存储介质，用以解决现有技术中主流深度相机的成像方案不能适应复杂环境的缺陷，实现复杂环境下深度数据的高速高精度获取。
第一方面，本发明实施例提供一种深度数据的处理方法，包括：
获取目标物体影像，所述目标物体影像包括飞行时间法相机获取的第一深度影像和左右彩色相机分别获取的第一彩色影像和第二彩色影像；
基于所述第一彩色影像和第二彩色影像确定基准影像和参考影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像；
基于所述第二深度影像生成对应的视差标记矩阵mask；
基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据。
可选地，根据本发明一个实施例的深度数据的处理方法，所述基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据，具体包括：
基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价；
基于所述基准影像上各像素点的路径代价获得各像素点对应的视差匹配代价；
基于所述视差匹配代价获得各像素点对应的视差；
基于所述各像素点对应的视差获得各像素点对应的深度数据。
可选地，根据本发明一个实施例的深度数据的处理方法，所述基于基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价，具体包括：
基于当前像素的匹配代价、路径上前一个像素在当前视差处的路径代价、路径上前一个像素在当前视差前一视差处的路径代价、路径上前一个像素在当前视差后一视差处的路径代价以及路径上前一个像素路径代价的最小值获取当前像素的路径代价：
影像中某一像素p，视差为d，沿方向为r的路径代价定义为：
Lr(p，d)＝CSAD(p，d)+min(Lr(p-r，d)，Lr(p-r，d-1)+P1，Lr(p-r，d+1)+P1，mini(Lr(p-r，i))+P2)-mini(Lr(p-r，i))；
式中，CSAD(p，d)为像素p的匹配代价，Lr(p-r，d)为沿方向为r的路径上前一个像素在视差d处的路径代价，Lr(p-r，d-1)为沿方向为r的路径上前一个像素在视差为d-1处的路径代价，Lr(p-r，d+1)为沿方向为r的路径上前一个像素视差为d+1处的路径代价，mini(Lr(p-r，i))为沿方向为r的路径上前一个像素路径代价的最小值，P1和P2为惩罚系数；
当前像素点对应的视差标记矩阵mask的矩阵值若为0，则当前像素点的视差搜索范围为0-D，D代表最大视差值；若当前像素点对应的视差标记矩阵mask的矩阵值不为0，则当前像素点的视差搜索范围为以当前矩阵值左右波动预设像素位置。
可选地，根据本发明一个实施例的深度数据的处理方法，所述各像素点对应的视差表示为：mindS(p，d)，即像素p所对应的最小视差匹配代价处的视差，其中，S(p，d)为像素p的视差匹配代价，其为像素p各方向的路径代价之和，计算公式为S(p，d)＝∑rLr(p，d)；
所述基于所述各像素点对应的视差获得各像素点对应的深度数据之前，还包括：
基于当前像素点对应的视差，采用三次卷积插值方法进行亚像素插值，获得当前像素点的亚像素视差，对当前像素点的亚像素视差及其视差求和，得到优化后的视差值。
可选地，根据本发明一个实施例的深度数据的处理方法，所述基于所述各像素点对应的视差获得各像素点对应的深度数据，具体包括：
基于彩色相机焦距、左右彩色相机的基线距离、视差值与深度数据的对应关系，确定当前像素点对应的深度数据，具体计算公式为：
depth＝F*L/disp
其中，depth表示深度数据，F为彩色相机焦距，L为左彩色和右彩色相机光心之间的距离，即基线距离，disp为优化后的视差值。
可选地，根据本发明一个实施例的深度数据的处理方法，所述像素p的匹配代价CSAD(p，d)是基于所述基准影像和所述参考影像获得的，具体包括：
采用边缘检测算子，对所述基准影像和参考影像进行预处理；
基于预处理后的基准影像和参考影像，采用绝对误差和作为相似测度获取所述基准影像中像素p的匹配代价CSAD(p，d)。
可选地，根据本发明一个实施例的深度数据的处理方法，所述获取目标物体影像之前，还包括：
分别对飞行时间法相机和左彩色相机、飞行时间法相机和右彩色相机进行双目标定，飞行时间法相机固定在两个彩色相机之间；获得左彩色相机、飞行时间法相机及右彩色相机内参矩阵、飞行时间法相机到左彩色相机的平移和旋转矩阵以及飞行时间法相机到右彩色相机的平移和旋转矩阵。
可选地，根据本发明一个实施例的深度数据的处理方法，所述基于所述第一彩色影像和第二彩色影像确定基准影像和参考影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像，具体包括：
基于所述飞行时间法相机和所述彩色相机之间的内参、旋转和平移矩阵，获取所述第一深度影像与所述基准影像中像素坐标的转换关系；
基于所述像素坐标的转换关系，获得所述第一深度影像中各像素的坐标在基准影像中的对应坐标；
基于所述第一深度影像中各像素对应的深度值及其在所述基准影像中的对应坐标，生成所述第二深度影像。
第二方面，本发明实施例还提供一种深度数据的处理装置，包括：
物体影像获取模块，用于获取目标物体影像，所述目标物体影像包括飞行时间法相机获取的第一深度影像和左右彩色相机分别获取的第一彩色影像和第二彩色影像；
深度影像映射模块，用于基于所述第一彩色影像和第二彩色影像确定基准影像和参考影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像；
视差标记矩阵获取模块，用于基于所述第二深度影像生成对应的视差标记矩阵mask；
深度数据获取模块，用于基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所提供的方法的步骤。
第四方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所提供的方法的步骤。
本发明实施例提供的深度数据的处理方法、装置及可读存储介质，通过获取目标物体影像，所述目标物体影像包括飞行时间法相机获取的第一深度影像和左右彩色相机分别获取的第一彩色影像和第二彩色影像，基于所述第一彩色影像和第二彩色影像确定基准影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像，基于所述第二深度影像生成对应的视差标记矩阵mask，基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据，将飞行时间法相机获取的深度影像引入到双目密集匹配过程中，减少了每个像素点的视差搜索范围，进而减少了计算量，实现了快速深度恢复，同时能够适应低纹理场景，提高了深度数据的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种深度数据的处理方法的流程示意图；
图2是本发明实施例提供的一种深度数据的处理装置的结构示意图；
图3是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中主流深度相机的成像方案，每种方案都有各自的缺点和局限性，都不能满足复杂环境下的深度获取需求。
对此，本发明实施例提供了一种深度数据的处理方法。图1为本发明实施例提供的一种深度数据的处理方法的流程示意图，如图1所示，该方法包括：
步骤110，获取目标物体影像，所述目标物体影像包括飞行时间法相机获取的第一深度影像和左右彩色相机分别获取的第一彩色影像和第二彩色影像。
具体的，飞行时间法相机是利用飞行时间法成像的深度相机，简称TOF(Time ofFlight)相机。利用TOF相机、左彩色相机和右彩色相机在同一时刻对目标物体进行拍摄，获得两张彩色影像和一张TOF深度影像，所述左彩色相机获取的影像为第一彩色影像，所述右彩色相机获取的影像为第二彩色影像，所述TOF相机获取的影像为第一深度影像。此处的“第一”和“第二”仅是为了方便区分各个影像所采用的命名方式，在实际应用过程中也可以采用其它的命名方式进行区分，本发明实施例对此不作具体限定。
步骤120，基于所述第一彩色影像和第二彩色影像确定基准影像和参考影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像。
具体的，在进行双目密集匹配之前，需要先选择基准影像和参考影像，通常选择左彩色相机获取的影像(即第一彩色影像)作为基准影像，选择右彩色相机获取的影像(即第二彩色影像)作为参考影像。在确定了基准影像之后，将所述第一深度影像映射到基准影像对应的彩色相机(即左彩色相机)的坐标系下，生成与所述基准影像分辨率一致的第二深度影像，以用于后续的双目密集匹配过程。
步骤130，基于所述第二深度影像生成对应的视差标记矩阵mask。
具体的，通过TOF相机内参和彩色相机基线的关系将第二深度影像中各像素的深度数据转化为对应的视差数据，进而生成对应的视差标记矩阵mask。
步骤140，基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据。
具体的，深度数据的处理装置基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，即可得到各像素点对应的深度数据。
本发明实施例提供的方法，通过获取飞行时间法相机获取的第一深度影像和左右彩色相机分别获取的第一彩色影像和第二彩色影像，基于所述第一彩色影像和第二彩色影像确定基准影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像，基于所述第二深度影像生成对应的视差标记矩阵mask，基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据，将飞行时间法相机获取的深度影像引入到双目密集匹配过程中，减少了每个像素点的视差搜索范围，进而减少了计算量，实现了快速深度恢复，同时能够适应低纹理场景，提高了深度数据的精度。
基于上述实施例，所述基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据，具体包括：
基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价。
具体的，路径代价是将像素点所有视差下的匹配代价进行像素点周围对应路径上的一维代价聚合，各像素点的视差搜索范围基于当前像素点对应的视差标记矩阵mask的矩阵值确定。
基于所述基准影像上各像素点的路径代价获得各像素点对应的视差匹配代价。
具体的，每个像素点对应多条路径，因此，每个像素点对应多条路径代价，同时，每个像素点对应的视差搜索范围内包含多个视差，因此，每个像素点对应多个视差匹配代价。
基于所述视差匹配代价获得各像素点对应的视差。
具体的，深度数据的处理装置基于各像素点对应的视差匹配代价获得各像素点对应的视差。
基于所述各像素点对应的视差获得各像素点对应的深度数据。
具体的，各像素点对应的视差值与其深度数据存在对应关系，根据该对应关系，即可得到各像素点对应的深度数据。
本发明实施例提供的方法，通过基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价，基于所述基准影像上各像素点的路径代价获得各像素点对应的视差匹配代价，并基于所述视差匹配代价获得各像素点对应的视差，最后基于所述各像素点对应的视差获得各像素点对应的深度数据，将飞行时间法相机获取的深度影像引入到双目密集匹配过程中，减少了每个像素点的视差搜索范围，进而减少了计算量，实现了快速深度恢复。
基于上述实施例，所述基于基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价，具体包括：
基于当前像素的匹配代价、路径上前一个像素在当前视差处的路径代价、路径上前一个像素在当前视差前一视差处的路径代价、路径上前一个像素在当前视差后一视差处的路径代价以及路径上前一个像素路径代价的最小值获取当前像素的路径代价：
影像中某一像素p，视差为d，沿方向为r的路径代价定义为：
Lr(p，d)＝CSAD(p，d)+min(Lr(p-r，d)，Lr(p-r，d-1)+P1，Lr(p-r，d+1)+P1，mini(Lr(p-r，i))+P2)-mini(Lr(p-r，i))；
式中，CSAD(p，d)为像素p的匹配代价，Lr(p-r，d)为沿方向为r的路径上前一个像素在视差d处的路径代价，Lr(p-r，d-1)为沿方向为r的路径上前一个像素在视差为d-1处的路径代价，Lr(p-r，d+1)为沿方向为r的路径上前一个像素视差为d+1处的路径代价，mini(Lr(p-r，i))为沿方向为r的路径上前一个像素路径代价的最小值，P1和P2为惩罚系数；
当前像素点对应的视差标记矩阵mask的矩阵值若为0，则当前像素点的视差搜索范围为0-D，D代表最大视差值；若当前像素点对应的视差标记矩阵mask的矩阵值不为0，则当前像素点的视差搜索范围为以当前矩阵值左右波动预设像素位置。
具体的，CSAD(p，d)为数据项，min(Lr(p-r，d)，Lr(p-r，d-1)+P1，Lr(p-r，d+1)+P1，mini(Lr(p-r，i))+P2)为平滑项，取r方向上视差不变，变化为1，变化大于1三种情况下代价最小的值，mini(Lr(p-r，i))用于保证Lr(p，d)不超过数值上限；P1和P2基本为常数；所述预设像素位置通常取两个，可以理解的是，所述预设像素位置可以根据实际需要进行设定，本发明实施例对此不作具体限定。
本发明实施例提供的方法，通过当前像素点对应的视差标记矩阵mask的矩阵值确定当前像素点的视差搜索范围，当前像素点对应的mask矩阵值若为0，则当前像素点的视差搜索范围为0-D，D代表最大视差值；若当前像素点对应的视差标记矩阵mask的矩阵值不为0，则当前像素点的视差搜索范围为以当前矩阵值左右波动预设像素位置，进而达到减少计算量的目的。
基于上述实施例，所述各像素点对应的视差表示为：mindS(p，d)，即像素p所对应的最小视差匹配代价处的视差，其中，S(p，d)为像素p的视差匹配代价，其为像素p各方向的路径代价之和，计算公式为S(p，d)＝∑rLr(p，d)；
所述基于所述各像素点对应的视差获得各像素点对应的深度数据之前，还包括：
基于当前像素点对应的视差，采用三次卷积插值方法进行亚像素插值，获得当前像素点的亚像素视差，对当前像素点的亚像素视差及其视差求和，得到优化后的视差值。
具体的，路径数目可以设置为8，则像素p的视差匹配代价S(p，d)为上述8个方向的路径代价之和，即S(p，d)＝∑r Lr(p，d)。当然，路径数目也可以设为满足2的倍数的其它值。由于每个像素点对应的视差搜索范围内包含多个视差，因此，每个像素点对应多个视差匹配代价，基准影像中像素p所对应的视差值为最小视差匹配代价处的视差，即mindS(p，d)。
由于实际匹配过程中视差值会存在上下波动，因此在获得像素p所对应的视差mindS(p，d)之后，对所述各像素点对应的视差进行优化，包括：
采用三次卷积插值方法进行亚像素插值，计算公式为：
f(x)＝3a2+2bx+c+1＝0，
a＝-r1+3r2-3r3+r4，
b＝3r1-6r2+3r3，
c＝-3r1+3r3，
r1＝S(p，d-1)，r2＝S(p，d+1)，
r3＝S(p，d+2)，r4＝S(p，d+3)；
假设最小视差匹配代价值对应的视差值是d，再取出d-1，d+1，d+2，d+3处的匹配代价值，即r1-r4进行上述插值。当然，也可以取d-2，d-1，d+1，d+2处的匹配代价值作为r1-r4，也可以取d-3，d-2，d-1，d+1处的匹配代价值作为r1-r4；求解上述方程，得到两个解x1、x2，选取x位于(0，1)区间内的解，作为亚像素视差；若两个解都位于(0，1)区间内，则选取x值较大的解作为亚像素视差；将所述亚像素视差与mindS(p，d)相加得到优化后的视差值disp。
本发明实施例提供的方法，通过基于当前像素点对应的视差，采用三次卷积插值方法进行亚像素插值，获得当前像素点的亚像素视差，对当前像素点的亚像素视差及其视差求和，得到优化后的视差值，提升了亚像素精度，进而提升了深度数据的精度。
基于上述实施例，所述基于所述各像素点对应的视差获得各像素点对应的深度数据，具体包括：
基于彩色相机焦距、左右彩色相机的基线距离、视差值与深度数据的对应关系，确定当前像素点对应的深度数据，具体计算公式为：
depth＝F*L/disp
其中，depth表示深度数据，F为彩色相机焦距，L为左彩色和右彩色相机光心之间的距离，即基线距离，disp为优化后的视差值。
具体的，基于上述公式可以将各像素点对应的视差转化为对应的深度数据，实现结合TOF技术的深度数据的处理。
本发明实施例提供的方法，通过基于彩色相机焦距、左右彩色相机的基线距离、视差值与深度数据的对应关系，确定当前像素点对应的深度数据，可以实现各像素点对应深度数据的快速获取。
基于上述实施例，所述像素p的匹配代价CSAD(p，d)是基于所述基准影像和所述参考影像获得的，具体包括：
采用边缘检测算子，对所述基准影像和参考影像进行预处理；
基于预处理后的基准影像和参考影像，采用绝对误差和作为相似测度获取所述基准影像中像素p的匹配代价CSAD(p，d)。
具体的，绝对误差和简称SAD(Sum of Absolute Differences)，是图像处理过程中采用的相似测度之一，边缘检测算子采用Sobel水平算子，对左右彩色相机获取的彩色影像进行预处理，计算公式为：
image_Sobel(x，y)＝2[image(x+1，y)-image(x-1，y)]+image(x+1，y-1)-image(x-1，y-1)+image(x+1，y+1)-image(x-1，y+1)；
其中，image_Sobel为预处理后的影像，image为原始彩色影像，x和y分别代表影像的行和列；
所述基准影像中像素p的匹配代价CSAD(p，d)的计算公式为：
其中：p为基准影像像素，其邻域为NP，视差为d，参考影像对应像素为p-d，imageL_Sobel(p)为预处理后的基准影像，imageR_Sobel(p-d)为预处理后的参考影像。
本发明实施例提供的方法，通过采用边缘检测算子，对所述基准影像和参考影像进行预处理，再采用SAD作为相似测度获取所述基准影像中各像素的匹配代价，消除了影像中的无关信息，增强有关信息的可检测性，从而保证了匹配和识别的可靠性。
基于上述实施例，所述获取目标物体影像之前，还包括：
分别对飞行时间法相机和左彩色相机、飞行时间法相机和右彩色相机进行双目标定，飞行时间法相机固定在两个彩色相机之间；获得左彩色相机、飞行时间法相机及右彩色相机内参矩阵、飞行时间法相机到左彩色相机的平移和旋转矩阵以及飞行时间法相机到右彩色相机的平移和旋转矩阵。
具体的，将TOF相机固定在两个彩色相机之间，分别对TOF和左彩色相机、TOF和右彩色相机进行双目标定。获得如下相机参数：
左彩色相机内参矩阵、TOF相机内参矩阵、右彩色相机内参矩阵，上述矩阵大小均为4*4；TOF相机到左彩色相机的平移和旋转矩阵，矩阵大小为分别为4*1和4*4；TOF相机到右彩色相机的平移和旋转矩阵，矩阵大小分别为4*1和4*4。
本发明实施例提供的方法，通过分别对飞行时间法相机和左彩色相机、飞行时间法相机和右彩色相机进行双目标定，获得左彩色相机、飞行时间法相机及右彩色相机内参矩阵、飞行时间法相机到左彩色相机的平移和旋转矩阵以及飞行时间法相机到右彩色相机的平移和旋转矩阵，为后续进行第一深度影像映射提供了基础。
基于上述实施例，所述基于所述第一彩色影像和第二彩色影像确定基准影像和参考影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像，具体包括：
基于所述飞行时间法相机和所述彩色相机之间的内参、旋转和平移矩阵，获取所述第一深度影像与所述基准影像中像素坐标的转换关系；
基于所述像素坐标的转换关系，获得所述第一深度影像中各像素的坐标在基准影像中的对应坐标；
基于所述第一深度影像中各像素对应的深度值及其在所述基准影像中的对应坐标，生成所述第二深度影像。
具体的，基于所述像素坐标的转换关系，获得所述第一深度影像中各像素的坐标在基准影像中的对应坐标，包括通过映射公式：
展开化简得到映射后的像素坐标：
其中，UL和VL为TOF相机深度影像，即第一深度影像的像素坐标行和列；UR和VR为映射生成的彩色相机深度影像，即基准影像中对应的像素坐标行和列；
由TOF和彩色相机之间的内参、旋转和平移矩阵求得。通过上述公式，依次遍历第一深度影像，最终可求得与基准影像分辨率一致的第二深度影像。
本发明实施例提供的方法，通过基于所述飞行时间法相机和所述彩色相机之间的内参、旋转和平移矩阵，获取所述第一深度影像与所述基准影像中像素坐标的转换关系；基于所述像素坐标的转换关系，获得所述第一深度影像中各像素的坐标在基准影像中的对应坐标；基于所述第一深度影像中各像素对应的深度值及其在所述基准影像中的对应坐标，生成所述第二深度影像，能够快速获取与基准影像分辨率一致的第二深度影像，为后续生成视差标记矩阵mask提供了基础。
下面以一个具体例子对上述实施例所述方法进行进一步说明。
一、相机标定：将TOF相机固定在两个彩色相机之间，分别对TOF和左彩色相机、TOF和右彩色相机进行双目标定。获得如下相机参数：
左彩色相机内参矩阵、TOF相机内参矩阵、右彩色相机内参矩阵，矩阵大小均为4*4；TOF相机到左彩色相机的平移和旋转矩阵，矩阵大小为分别为4*1和4*4；TOF相机到右彩色相机的平移和旋转矩阵，矩阵大小分别为4*1和4*4。
二、获取目标物体影像：保持TOF相机、左彩色相机和右彩色相机位置不变，利用其在同一时刻对目标物体进行拍摄，获得两张彩色影像和一张TOF深度影像。为后续描述方便，将所述左彩色相机获取的影像命名为第一彩色影像，所述右彩色相机获取的影像命名为第二彩色影像，所述TOF相机获取的影像命名为第一深度影像。
三、深度影像映射：在进行双目密集匹配之前，需要先选择基准影像和参考影像，遵循现有技术惯用的选取方式，选择左彩色相机获取的影像(即第一彩色影像)作为基准影像，右彩色相机获取的影像(即第二彩色影像)作为参考影像。将所述第一深度影像映射到基准影像对应的彩色相机(即左彩色相机)的坐标系下，生成与所述基准影像分辨率一致的第二深度影像，以用于后续的双目密集匹配过程。
四、彩色影像预处理及匹配代价计算：采用Sobel水平算子，对左右彩色相机获取的彩色影像进行预处理，计算公式为：
image_Sobel(x，y)＝2[image(x+1，y)-image(x-1，y)]+image(x+1，y-1)-image(x-1，y-1)+image(x+1，y+1)-image(x-1，y+1)；
其中，image_Sobel为预处理后的影像，image为原始彩色影像，x和y分别代表影像的行和列。
利用上述公式遍历第一彩色影像和第二彩色影像的各像素，便可得到预处理之后的影像。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据。
基于预处理后的影像计算所述基准影像中各像素的匹配代价为：
其中：p为基准影像像素，其邻域为NP，视差为d，参考影像对应像素为p-d，imageL_Sobel(p)为预处理后的基准影像，imageR_Sobel(p-d)为预处理后的参考影像。
五、生成视差标记矩阵mask：通过TOF相机内参和彩色相机基线的关系将第二深度影像中各像素的深度数据转化为对应的视差数据，进而生成对应的视差标记矩阵mask。可以理解的是，步骤三-五的执行顺序可以任意交换，也可以同时进行。
六、代价聚合，输出视差：基于基准影像中某一像素p，视差为d，沿方向为r的路径代价计算公式：
Lr(p，d)＝CSAD(p，d)+min(Lr(p-r，d)，Lr(p-r，d-1)+P1，Lr(p-r，d+1)+P1，mini(Lr(p-r，i))+P2)-mini(Lr(p-r，i))；
计算各像素的路径代价。式中，CSAD(p，d)为像素p的匹配代价，Lr(p-r，d)为沿方向为r的路径上前一个像素在视差d处的路径代价，Lr(p-r，d-1)为沿方向为r的路径上前一个像素在视差为d-1处的路径代价，Lr(p-r，d+1)为沿方向为r的路径上前一个像素视差为d+1处的路径代价，mini(Lr(p-r，i))为沿方向为r的路径上前一个像素路径代价的最小值，P1和P2为惩罚系数；
当前像素点对应的视差标记矩阵mask的矩阵值若为0，则当前像素点的视差搜索范围为0-D，D代表最大视差值；若当前像素点对应的视差标记矩阵mask的矩阵值不为0，则当前像素点的视差搜索范围为以当前矩阵值左右波动预设像素位置。
得到像素p沿方向为r的路径代价Lr(p，d)之后，便可根据不同路径的路径代价计算像素p的视差匹配代价S(p，d)。假设路径数目为8，则像素p的视差匹配代价S(p，d)为上述8个方向的路径代价之和，即S(p，d)＝∑rLr(p，d)。由于每个像素点对应的视差搜索范围内包含多个视差，因此，每个像素点对应多个视差匹配代价，基准影像中像素p所对应的视差值为最小视差匹配代价处的视差，即mindS(p，d)。
七、视差优化，输出深度数据：由于实际匹配过程中视差值会存在上下波动，因此在获得像素p所对应的视差mindS(p，d)之后，对所述各像素点对应的视差进行优化，包括：
采用三次卷积插值方法进行亚像素插值，计算公式为：
f(x)＝3a2+2bx+c+1＝0，
a＝-r1+3r2-3r3+r4，
b＝3r1-6r2+3r3，
c＝-3r1+3r3，
r1＝S(p，d-1)，r2＝S(p，d+1)，
r3＝S(p，d+2)，r4＝S(p，d+3)；
假设最小视差匹配代价值对应的视差值是d，再取出d-1，d+1，d+2，d+3处的匹配代价值，即r1-r4进行上述插值。求解上述方程，得到两个解x1、x2，选取x位于(0，1)区间内的解，作为亚像素视差；若两个解都位于(0，1)区间内，则选取x值较大的解作为亚像素视差；将所述亚像素视差与mindS(p，d)相加得到优化后的视差值disp。
基于计算公式：
depth＝F*L/disp
得到各像素对应的深度数据.其中，depth表示深度数据，F为彩色相机焦距，L为左彩色和右彩色相机光心之间的距离，即基线距离，disp为优化后的视差值。
基于上述公式可以将基准影像上各像素点对应的视差转化为对应的深度数据，实现结合TOF技术的深度数据的处理。
基于上述任一实施例，图2为本发明实施例提供的一种深度数据的处理装置的示意图，如图2所示，该装置包括：
物体影像获取模块210，用于获取目标物体影像，所述目标物体影像包括飞行时间法相机获取的第一深度影像和左右彩色相机分别获取的第一彩色影像和第二彩色影像。
具体的，所述物体影像获取模块210利用TOF相机、左彩色相机和右彩色相机在同一时刻对目标物体进行拍摄，获得两张彩色影像和一张TOF深度影像，所述左彩色相机获取的影像为第一彩色影像，所述右彩色相机获取的影像为第二彩色影像，所述TOF相机获取的影像为第一深度影像。
深度影像映射模块220，用于基于所述第一彩色影像和第二彩色影像确定基准影像和参考影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像。
具体的，在进行双目密集匹配之前，所述深度影像映射模块220需要先选择基准影像和参考影像，通常选择左彩色相机获取的影像(即第一彩色影像)作为基准影像，选择右彩色相机获取的影像(即第二彩色影像)作为参考影像。在确定了基准影像之后，将所述第一深度影像映射到基准影像对应的彩色相机(即左彩色相机)的坐标系下，生成与所述基准影像分辨率一致的第二深度影像，以用于后续的双目密集匹配过程。
视差标记矩阵获取模块230，用于基于所述第二深度影像生成对应的视差标记矩阵mask。
具体的，所述视差标记矩阵获取模块230通过TOF相机内参和彩色相机基线的关系将第二深度影像中各像素的深度数据转化为对应的视差数据，进而生成对应的视差标记矩阵mask。
深度数据获取模块240，用于基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据。
具体的，深度获取模块240基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，即可得到各像素点对应的深度数据。
本发明实施例提供的装置，通过物体影像获取模块获取飞行时间法相机获取的第一深度影像和左右彩色相机分别获取的第一彩色影像和第二彩色影像，深度影像映射模块基于所述第一彩色影像和第二彩色影像确定基准影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像，视差标记矩阵获取模块基于所述第二深度影像生成对应的视差标记矩阵mask，深度数据获取模块基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据，将飞行时间法相机获取的深度影像引入到双目密集匹配过程中，减少了每个像素点的视差搜索范围，进而减少了计算量，实现了快速深度恢复，同时能够适应低纹理场景，提高了深度数据的精度。
基于上述实施例，所述基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据，具体包括：
基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价；
基于所述基准影像上各像素点的路径代价获得各像素点对应的视差匹配代价；
基于所述视差匹配代价获得各像素点对应的视差；
基于所述各像素点对应的视差获得各像素点对应的深度数据。基于上述实施例，所述基于基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价，具体包括：
基于当前像素的匹配代价、路径上前一个像素在当前视差处的路径代价、路径上前一个像素在当前视差前一视差处的路径代价、路径上前一个像素在当前视差后一视差处的路径代价以及路径上前一个像素路径代价的最小值获取当前像素的路径代价：
影像中某一像素p，视差为d，沿方向为r的路径代价定义为：
Lr(p，d)＝CSAD(p，d)+min(Lr(p-r，d)，Lr(p-r，d-1)+P1，Lr(p-r，d+1)+P1，mini(Lr(p-r，i))+P2)-mini(Lr(p-r，i))；
式中，CSAD(p，d)为像素p的匹配代价，Lr(p-r，d)为沿方向为r的路径上前一个像素在视差d处的路径代价，Lr(p-r，d-1)为沿方向为r的路径上前一个像素在视差为d-1处的路径代价，Lr(p-r，d+1)为沿方向为r的路径上前一个像素视差为d+1处的路径代价，mini(Lr(p-r，i))为沿方向为r的路径上前一个像素路径代价的最小值，P1和P2为惩罚系数；
当前像素点对应的视差标记矩阵mask的矩阵值若为0，则当前像素点的视差搜索范围为0-D，D代表最大视差值；若当前像素点对应的视差标记矩阵mask的矩阵值不为0，则当前像素点的视差搜索范围为以当前矩阵值左右波动预设像素位置。
基于上述实施例，所述各像素点对应的视差表示为：mindS(p，d)，即像素p所对应的最小视差匹配代价处的视差，其中，S(p，d)为像素p的视差匹配代价，其为像素p各方向的路径代价之和，计算公式为S(p，d)＝∑r Lr(p，d)；
所述基于所述各像素点对应的视差获得各像素点对应的深度数据之前，还包括：
基于当前像素点对应的视差，采用三次卷积插值方法进行亚像素插值，获得当前像素点的亚像素视差，对当前像素点的亚像素视差及其视差求和，得到优化后的视差值。
基于上述实施例，所述基于所述各像素点对应的视差获得各像素点对应的深度数据，具体包括：
基于彩色相机焦距、左右彩色相机的基线距离、视差值与深度数据的对应关系，确定当前像素点对应的深度数据，具体计算公式为：
depth＝F*L/disp
其中，depth表示深度数据，F为彩色相机焦距，L为左彩色和右彩色相机光心之间的距离，即基线距离，disp为优化后的视差值。
基于上述实施例，所述像素p的匹配代价CSAD(p，d)是基于所述基准影像和所述参考影像获得的，具体包括：
采用边缘检测算子，对所述基准影像和参考影像进行预处理；
基于预处理后的基准影像和参考影像，采用绝对误差和作为相似测度获取所述基准影像中像素p的匹配代价CSAD(p,d)。
基于上述实施例，所述获取目标物体影像之前，还包括：
分别对飞行时间法相机和左彩色相机、飞行时间法相机和右彩色相机进行双目标定，飞行时间法相机固定在两个彩色相机之间；获得左彩色相机、飞行时间法相机及右彩色相机内参矩阵、飞行时间法相机到左彩色相机的平移和旋转矩阵以及飞行时间法相机到右彩色相机的平移和旋转矩阵。
基于上述实施例，所述基于所述第一彩色影像和第二彩色影像确定基准影像和参考影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像，具体包括：
基于所述飞行时间法相机和所述彩色相机之间的内参、旋转和平移矩阵，获取所述第一深度影像与所述基准影像中像素坐标的转换关系；
基于所述像素坐标的转换关系，获得所述第一深度影像中各像素的坐标在基准影像中的对应坐标；
基于所述第一深度影像中各像素对应的深度值及其在所述基准影像中的对应坐标，生成所述第二深度影像。
本发明实施例提供的深度数据的处理装置可以执行上述深度数据的处理方法，其具体原理和相应的技术效果与上述方法实施例相同，在此不再赘述。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行上述方法实施例提供的步骤流程。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述方法实施例提供的步骤流程。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种深度数据的处理方法，其特征在于，包括：
获取目标物体影像，所述目标物体影像包括飞行时间法相机获取的第一深度影像和左右彩色相机分别获取的第一彩色影像和第二彩色影像；
基于所述第一彩色影像和第二彩色影像确定基准影像和参考影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像；
基于所述第二深度影像生成对应的视差标记矩阵mask；
基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据，包括：
基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价；
基于所述基准影像上各像素点的路径代价获得各像素点对应的视差匹配代价；
基于所述视差匹配代价获得各像素点对应的视差；基于所述各像素点对应的视差获得各像素点对应的深度数据；
所述基于基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价，包括：
基于当前像素的匹配代价、路径上前一个像素在当前视差处的路径代价、路径上前一个像素在当前视差前一视差处的路径代价、路径上前一个像素在当前视差后一视差处的路径代价以及路径上前一个像素路径代价的最小值获取当前像素的路径代价：
影像中某一像素p，视差为d，沿方向为r的路径代价定义为：
Lr(p,d)＝CSAD(p,d)+min(Lr(p-r,d),Lr(p-r,d-1)+P1,Lr(p-r,d+1)+P1,mini(Lr(p-r,i))+P2)-mini(Lr(p-r,i))；式中，CSAD(p,d)为像素p的匹配代价，Lr(p-r,d)为沿方向为r的路径上前一个像素在视差d处的路径代价，Lr(p-r,d-1)为沿方向为r的路径上前一个像素在视差为d-1处的路径代价，Lr(p-r,d+1)为沿方向为r的路径上前一个像素视差为d+1处的路径代价，mini(Lr(p-r,i))为沿方向为r的路径上前一个像素路径代价的最小值，P1和P2为惩罚系数；
当前像素点对应的视差标记矩阵mask的矩阵值若为0，则当前像素点的视差搜索范围为0-D，D代表最大视差值；若当前像素点对应的视差标记矩阵mask的矩阵值不为0，则当前像素点的视差搜索范围为以当前矩阵值左右波动预设像素位置；
所述像素p的匹配代价CSAD(p,d)是基于所述基准影像和所述参考影像获得的，包括：
采用边缘检测算子，对所述基准影像和参考影像进行预处理；
基于预处理后的基准影像和参考影像，采用绝对误差和作为相似测度获取所述基准影像中像素p的匹配代价CSAD(p,d)；
所述各像素点对应的视差表示为：mindS(p,d)，即像素p所对应的最小视差匹配代价处的视差，其中，S(p,d)为像素p的视差匹配代价，其为像素p各方向的路径代价之和，计算公式为S(p,d)＝∑rLr(p,d)；
所述基于所述各像素点对应的视差获得各像素点对应的深度数据之前，还包括：
基于当前像素点对应的视差，采用三次卷积插值方法进行亚像素插值，获得当前像素点的亚像素视差，对当前像素点的亚像素视差及其视差求和，得到优化后的视差值。
2.根据权利要求1所述的深度数据的处理方法，其特征在于，所述基于所述各像素点对应的视差获得各像素点对应的深度数据，具体包括：
基于彩色相机焦距、左右彩色相机的基线距离、视差值与深度数据的对应关系，确定当前像素点对应的深度数据，具体计算公式为：
depth＝F*L/disp
其中，depth表示深度数据，F为彩色相机焦距，L为左彩色和右彩色相机光心之间的距离，即基线距离，disp为优化后的视差值。
3.根据权利要求1所述的深度数据的处理方法，其特征在于，所述获取目标物体影像之前，还包括：
分别对飞行时间法相机和左彩色相机、飞行时间法相机和右彩色相机进行双目标定，飞行时间法相机固定在两个彩色相机之间；获得左彩色相机、飞行时间法相机及右彩色相机内参矩阵、飞行时间法相机到左彩色相机的平移和旋转矩阵以及飞行时间法相机到右彩色相机的平移和旋转矩阵。
4.根据权利要求3所述的深度数据的处理方法，其特征在于，所述基于所述第一彩色影像和第二彩色影像确定基准影像和参考影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像，具体包括：
基于所述飞行时间法相机和所述彩色相机之间的内参、旋转和平移矩阵，获取所述第一深度影像与所述基准影像中像素坐标的转换关系；
基于所述像素坐标的转换关系，获得所述第一深度影像中各像素的坐标在基准影像中的对应坐标；
基于所述第一深度影像中各像素对应的深度值及其在所述基准影像中的对应坐标，生成所述第二深度影像。
5.一种深度数据的处理装置，其特征在于，包括：
物体影像获取模块，用于获取目标物体影像，所述目标物体影像包括飞行时间法相机获取的第一深度影像和左右彩色相机分别获取的第一彩色影像和第二彩色影像；
深度影像映射模块，用于基于所述第一彩色影像和第二彩色影像确定基准影像和参考影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像；
视差标记矩阵获取模块，用于基于所述第二深度影像生成对应的视差标记矩阵mask；
深度数据获取模块，用于基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据，包括：
基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价；
基于所述基准影像上各像素点的路径代价获得各像素点对应的视差匹配代价；
基于所述视差匹配代价获得各像素点对应的视差；基于所述各像素点对应的视差获得各像素点对应的深度数据；
所述基于基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价，包括：
基于当前像素的匹配代价、路径上前一个像素在当前视差处的路径代价、路径上前一个像素在当前视差前一视差处的路径代价、路径上前一个像素在当前视差后一视差处的路径代价以及路径上前一个像素路径代价的最小值获取当前像素的路径代价：
影像中某一像素p，视差为d，沿方向为r的路径代价定义为：
Lr(p,d)＝CSAD(p,d)+min(Lr(p-r,d),Lr(p-r,d-1)+P1,Lr(p-r,d+1)+P1,mini(Lr(p-r,i))+P2)-mini(Lr(p-r,i))；
式中，CSAD(p,d)为像素p的匹配代价，Lr(p-r,d)为沿方向为r的路径上前一个像素在视差d处的路径代价，Lr(p-r,d-1)为沿方向为r的路径上前一个像素在视差为d-1处的路径代价，Lr(p-r,d+1)为沿方向为r的路径上前一个像素视差为d+1处的路径代价，mini(Lr(p-r,i))为沿方向为r的路径上前一个像素路径代价的最小值，P1和P2为惩罚系数；
当前像素点对应的视差标记矩阵mask的矩阵值若为0，则当前像素点的视差搜索范围为0-D，D代表最大视差值；若当前像素点对应的视差标记矩阵mask的矩阵值不为0，则当前像素点的视差搜索范围为以当前矩阵值左右波动预设像素位置；
所述像素p的匹配代价CSAD(p,d)是基于所述基准影像和所述参考影像获得的，包括：
采用边缘检测算子，对所述基准影像和参考影像进行预处理；
基于预处理后的基准影像和参考影像，采用绝对误差和作为相似测度获取所述基准影像中像素p的匹配代价CSAD(p,d)；
所述各像素点对应的视差表示为：mindS(p,d)，即像素p所对应的最小视差匹配代价处的视差，其中，S(p,d)为像素p的视差匹配代价，其为像素p各方向的路径代价之和，计算公式为S(p,d)＝∑rLr(p,d)；
所述基于所述各像素点对应的视差获得各像素点对应的深度数据之前，还包括：
基于当前像素点对应的视差，采用三次卷积插值方法进行亚像素插值，获得当前像素点的亚像素视差，对当前像素点的亚像素视差及其视差求和，得到优化后的视差值。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述深度数据的处理方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述深度数据的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011104505.4A CN112184793B (zh) | 2020-10-15 | 2020-10-15 | 深度数据的处理方法、装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011104505.4A CN112184793B (zh) | 2020-10-15 | 2020-10-15 | 深度数据的处理方法、装置及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112184793A CN112184793A (zh) | 2021-01-05 |
| CN112184793B true CN112184793B (zh) | 2021-10-26 |
Family
ID=73950350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011104505.4A Active CN112184793B (zh) | 2020-10-15 | 2020-10-15 | 深度数据的处理方法、装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184793B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763448B (zh) * | 2021-08-24 | 2022-05-31 | 合肥的卢深视科技有限公司 | 深度成像方法、电子设备和计算机可读存储介质 |
| CN113808185B (zh) * | 2021-11-19 | 2022-03-25 | 北京的卢深视科技有限公司 | 图像深度恢复方法、电子设备及存储介质 |
| CN114463405A (zh) * | 2022-01-26 | 2022-05-10 | 熵智科技(深圳)有限公司 | 面扫线激光3d相机加速方法、装置、系统及fpga |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105869167A (zh) * | 2016-03-30 | 2016-08-17 | 天津大学 | 基于主被动融合的高分辨率深度图获取方法 |
| CN108399610A (zh) * | 2018-03-20 | 2018-08-14 | 上海应用技术大学 | 一种融合rgb图像信息的深度图像增强方法 |
| CN109741405A (zh) * | 2019-01-21 | 2019-05-10 | 同济大学 | 一种基于对偶结构光rgb-d相机的深度信息采集系统 |
| CN110390719A (zh) * | 2019-05-07 | 2019-10-29 | 香港光云科技有限公司 | 基于飞行时间点云重建设备 |
| CN111402313A (zh) * | 2020-03-13 | 2020-07-10 | 合肥的卢深视科技有限公司 | 图像深度恢复方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780590B (zh) * | 2017-01-03 | 2019-12-24 | 成都通甲优博科技有限责任公司 | 一种深度图的获取方法及系统 |
-
2020
- 2020-10-15 CN CN202011104505.4A patent/CN112184793B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105869167A (zh) * | 2016-03-30 | 2016-08-17 | 天津大学 | 基于主被动融合的高分辨率深度图获取方法 |
| CN108399610A (zh) * | 2018-03-20 | 2018-08-14 | 上海应用技术大学 | 一种融合rgb图像信息的深度图像增强方法 |
| CN109741405A (zh) * | 2019-01-21 | 2019-05-10 | 同济大学 | 一种基于对偶结构光rgb-d相机的深度信息采集系统 |
| CN110390719A (zh) * | 2019-05-07 | 2019-10-29 | 香港光云科技有限公司 | 基于飞行时间点云重建设备 |
| CN111402313A (zh) * | 2020-03-13 | 2020-07-10 | 合肥的卢深视科技有限公司 | 图像深度恢复方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| Sigurjón Árni Guðmundsson 等.（"Fusion of Stereo Vision and Time-of-Flight Imaging for Improved 3D Estimation".《International Journal of Intelligent Systems Technologies and Applications》.2008,第1-8页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112184793A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563923B (zh) | 获得稠密深度图的方法及相关装置 | |
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| US11720766B2 (en) | Systems and methods for text and barcode reading under perspective distortion | |
| CN108269279B (zh) | 基于单目三维扫描系统的三维重构方法和装置 | |
| Pusztai et al. | Accurate calibration of LiDAR-camera systems using ordinary boxes | |
| CN112184793B (zh) | 深度数据的处理方法、装置及可读存储介质 | |
| JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
| CN112444242B (zh) | 一种位姿优化方法及装置 | |
| CN109993793B (zh) | 视觉定位方法及装置 | |
| US8447099B2 (en) | Forming 3D models using two images | |
| Takimoto et al. | 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor | |
| US20120177284A1 (en) | Forming 3d models using multiple images | |
| US20100328308A1 (en) | Three Dimensional Mesh Modeling | |
| CN105654547B (zh) | 三维重建方法 | |
| EP1580523A1 (en) | Three-dimensional shape measuring method and its device | |
| JP2004340840A (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
| CN112184811B (zh) | 单目空间结构光系统结构校准方法及装置 | |
| CN113096183B (zh) | 一种基于激光雷达与单目相机的障碍物检测与测量方法 | |
| WO2015179216A1 (en) | Orthogonal and collaborative disparity decomposition | |
| CN111402411A (zh) | 一种基于线结构光的散乱物识别抓取方法 | |
| WO2022217988A1 (zh) | 传感器配置方案确定方法、装置、计算机设备、存储介质及程序 | |
| CN111123242A (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
| CA3233222A1 (en) | Method, apparatus and device for photogrammetry, and storage medium | |
| CN112802114B (zh) | 多视觉传感器融合装置及其方法和电子设备 | |
| KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230613 Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui 230001 Patentee after: Hefei lushenshi Technology Co.,Ltd. Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083 Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. Patentee before: Hefei lushenshi Technology Co.,Ltd. |