CN118071808A - 一种tof与结构光融合方法、系统、设备及存储介质 - Google Patents

Abstract

一种TOF与结构光融合方法、系统、设备及存储介质，其方法包括：步骤S1：获得结构光在对极约束坐标系下的参考图像；步骤S2：获得目标图像，并将TOF深度数据转化到结构光对极约束坐标系；其中，所述目标图像既包含TOF深度数据，又包含结构光深度信息；步骤S3：获取散斑图像，并进行去畸变操作以及对极约束调整；步骤S4：识别散斑区域，并提取散斑中心；步骤S5：根据所述散斑中心对应的TOF深度数据，对所述散斑图像进行解码确定所述参考图像上对应的散斑区域，根据视差计算结构光深度数据；步骤S6：将所述散斑中心的结构光深度数据和TOF深度数据深度融合。本发明大大提高了数据计算速度，减小了对硬件的要求，提高了数据精度。

Description

一种TOF与结构光融合方法、系统、设备及存储介质

技术领域

本发明涉及深度图像处理技术领域，具体地，涉及一种TOF与结构光融合方法、系统、设备及存储介质。

背景技术

TOF(Time of Flight)技术是一种基于飞行时间(Time of Flight)原理的测量方法。它通过测量光线发射和反射的时间差或相位差，来计算被拍摄景物的距离，从而产生深度信息。

在TOF技术中，传感器会发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息。这个原理类似于蝙蝠或雷达的测距方法。

TOF技术具有较广的测量范围，可达数米，且精度较高，通常小于2cm。此外，其每秒更新频率也可达30～60fps，可以实时产生深度图。

结构光技术是一种三维成像技术，通过投射器投射到被测物体表面的主动结构信息，如激光条纹、格雷码、正弦条纹等；然后，通过单个或多个相机拍摄被测表面即得结构光图像；最后，基于三角测量原理经过图像三维解析计算从而实现三维重建。

结构光技术的类型分为很多种，简单的结构化包括点结构光、线结构光以及简单的面结构光等。复杂一点的结构化就上升到光学图案的编码了。

目前已经出现结构光与TOF融合的技术。在现有技术中，结构光技术可以提供高精度的深度信息，但对于远距离的物体，其精度会降低。而TOF技术则可以提供远距离的深度信息，但精度相对较低。因此，通过融合这两种技术，可以实现在远距离范围内获得高精度的深度信息。

结构光与TOF融合技术的基本原理在于，首先使用TOF技术获取物体的初步深度信息，然后使用结构光技术对物体表面进行进一步的深度测量，从而获取高精度的深度信息。

但现有技术无法解决较近距离下的结构光与TOF融合问题，并存在计算复杂、实时性差、对算力要求高等问题。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为此，本发明利用TOF深度数据对散斑图像的匹配进行引导，大大减小计算视差时的匹配区域，可以快速精准地进行计算，大大节省了计算量，提高了效率，并且进一步利用结构光深度数据对TOF深度数据进行融合，使得TOF深度数据在近距离下也可以获得准确的值，大大提高了数据计算速度，减小了对硬件的要求，提高了数据精度。

第一方面，本发明提供一种TOF与结构光融合方法，其特征在于，包括：

步骤S1：获得结构光在对极约束坐标系下的参考图像；

步骤S2：获得目标图像，并将TOF深度数据转化到结构光对极约束坐标系；其中，所述目标图像既包含TOF深度数据，又包含结构光深度信息；

步骤S3：获取散斑图像，并进行去畸变操作以及对极约束调整；

步骤S4：识别散斑区域，并提取散斑中心；

步骤S5：根据所述散斑中心对应的TOF深度数据，对所述散斑图像进行解码确定所述参考图像上对应的散斑区域，根据视差计算结构光深度数据；

步骤S6：将所述散斑中心的结构光深度数据和TOF深度数据深度融合。

可选地，所述的一种TOF与结构光融合方法，其特征在于，所述散斑图像上的散斑为稀疏散斑，并具有核心轴，并在所述核心轴的方向上散斑数量最多。

可选地，所述的一种TOF与结构光融合方法，其特征在于，所述核心轴与所述散斑图像的边的夹角为大于0度且小于30度的锐角。

可选地，所述的一种TOF与结构光融合方法，其特征在于，所述步骤S5包括：

步骤S51：根据所述散斑中心的TOF深度数据和TOF深度误差范围，计算所述目标图像与所述参考图像上的视差范围[m,n]；

步骤S52：根据所述视差范围和对极约束在所述参考图像上寻找散斑，如果存在散斑，即为所述散斑中心在参考图像上的对应点；

步骤S53：计算参考图像和目标图像上对应散斑中心在x方向的视差，根据视差计算所述散斑中心的结构光深度数据。

可选地，所述的一种TOF与结构光融合方法，其特征在于，所述步骤S52包括：

步骤S521：根据所述视差范围及散斑大小确定第一范围；

步骤S522：对多个所述第一范围进行微调，以使每个所述第一范围内只有一个散斑，并且多个所述第一范围之间不重叠，也不存在空隙；

步骤S523：根据所述第一范围的对应关系，确定所述散斑中心在所述散斑图像与所述参考图像上的对应关系。

可选地，所述的一种TOF与结构光融合方法，其特征在于，所述步骤S6包括：

步骤S61：根据所述TOF深度数据的值确定目标区域，并获得所述目标区域对应的所述散斑中心的结构光深度数据，及所述目标区域对应的TOF深度数据；

步骤S62：将所述散斑中心的结构光深度数据与TOF深度数据对比，得到所述散斑中心的相对深度值，再根据多个所述相对深度值得到所述目标区域的相对深度图；

步骤S63：根据所述相对深度图，计算所述目标区域的全局映射矩阵；

步骤S64：将所述TOF深度数据与所述全局映射矩阵相乘，得到校正后的TOF深度数据。

可选地，所述的一种TOF与结构光融合方法，其特征在于，所述步骤S6包括：

步骤S65：根据所述TOF深度数据进行三维重建，并根据误差，为每个像素点赋予误差空间；

步骤S66：为每个像素点与最接近的两个或多个所述散斑中心在误差空间内相连，使得与所述散斑中心的连线之和最小，得到每个像素点的调整后的TOF深度值。

第二方面，本发明提供一种TOF与结构光融合系统，用于实现前述任一项所述的TOF与结构光融合的训练方法，其特征在于，包括：

参考模块，用于获得结构光在对极约束坐标系下的参考图像；

采集模块，用于获得目标图像，并将TOF深度数据转化到结构光对极约束坐标系；其中，所述目标图像既包含TOF深度数据，又包含结构光深度信息；

散斑模块，用于获取散斑图像，并进行去畸变操作以及对极约束调整；

中心模块，用于识别散斑区域，并提取散斑中心；

结构光模块，用于根据所述散斑中心对应的TOF深度数据，对所述散斑图像进行解码确定所述参考图像上对应的散斑区域，根据视差计算结构光深度数据；

融合模块，用于将所述散斑中心的结构光深度数据和TOF深度数据深度融合。

第三方面，本发明提供一种TOF与结构光融合设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行前述中任意一项所述TOF与结构光融合方法的步骤。

第四方面，本发明提供一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现前述任意一项所述TOF与结构光融合方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

本发明利用稀疏散斑对比度高，结合结构光技术在近距离精度更高的特点对TOF数据进行校正，可以极大的改善近距离TOF重建准度，使得TOF数据的误差值由几十mm降到1mm以下。同时，由于结构光技术不存在多径效应，还可以在一定程度上改善稀疏散斑TOF受到的多径影响。

本发明利用结构光深度数据对TOF深度数据进行校正，可以提升整个模组对地面障碍物的识别能力，使得测量准度更精准。

本发明利用TOF深度数据引导结构光深度数据计算，结构光重建的复杂度非常低，计算量小，同时由于计算是直接利用深度值进行，使得校正过程前置，无需在三维重建后进行校正，大大节省了数据处理量，对算力要求低，便于在一般的芯片上部署实现，具有非常好的商业价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中一种TOF与结构光融合的步骤流程图；

图2为本发明实施例中一种散斑示意图；

图3为本发明实施例中一种核心轴与散斑图像的边的夹角示意图；

图4为本发明实施例中一种计算结构光深度数据的步骤流程图；

图5为本发明实施例中一种确定参考图像上对应点的步骤流程图；

图6为本发明实施例中一种结构光深度数据和TOF深度数据的步骤流程图；

图7为本发明实施例中另一种结构光深度数据和TOF深度数据的步骤流程图；

图8为本发明实施例中一种TOF与结构光融合的深度相机的结构示意图；

图9为本发明实施例中一种散斑投射器的结构示意图；

图10为本发明实施例中一种TOF与结构光融合系统的结构示意图；

图11为本发明实施例中一种TOF与结构光融合设备的结构示意图；以及

图12为本发明实施例中计算机可读存储介质的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供的一种TOF与结构光融合方法、系统、设备及存储介质，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

TOF固有特点是近距离深度重建噪声比较大，多径干扰比较厉害，并且匀光TOF很难重建距离比较远。因此使用稀疏散斑TOF进行重建，可以在一定程度上改进匀光TOF的缺点，尤其是可以比较好的改进多径干扰以及重建距离相对较远，但在近距离散斑TOF的深度误差跟匀光TOF一样，在近距离重建误差仍旧比较大，没法跟结构光精准度相比。本发明的技术方案，可以显著改善稀疏散斑TOF在近距离处的重建准度，并且在一定程度上改善稀疏散斑TOF受多径干扰的影响。

图1为本发明实施例中一种TOF与结构光融合的步骤流程图。如图1所示，本发明实施例中一种TOF与结构光融合的步骤包括：

步骤S1：获得结构光在对极约束坐标系下的参考图像。

在本步骤中，对深度相机进行标定，对结构光数据与TOF数据进行联合标定，从而获得结构光的参考图像。本步骤在标定过程中会获得参考图像，而在后续的实际使用过程中，只需要读取该参考图像即可。本实施例以单目结构光为例进行说明，因此需要获得深度相机的参考图像，以便后续结构光的计算。由于本实施例中的结构光数据与TOF数据是由同一接收器获得，因此不需要额外的对齐等操作，具有自然对齐的特性，既节省了计算量，又保证了精度。

对极约束是计算机视觉中的一种几何约束关系，主要用于实现基于三角测量的立体视觉、深度估计等。对极约束可以简洁地给出两个匹配点的空间位置关系。对极约束坐标系是一种特殊的坐标系，用于描述和定位两幅图像之间的关系。在本步骤中，对极约束坐标系涉及结构光图像与TOF图像。由于深度相机的工艺及安装影响，接收端与发射端的位置关系与理想状态存在一定的偏差，即相机坐标系下，发射端相对于接收端的坐标(x,y,z)中的y和z不为零。而在对极约束坐标系下，通过调整，可以使得y和z为零，获得在理想状态下的图像参数。

步骤S2：获得目标图像，并将TOF深度数据转化到结构光对极约束坐标系。

在本步骤中，所述目标图像既包含TOF深度数据，又包含结构光深度信息。确定结构光深度数据和TOF深度数据在同一坐标系。在步骤S1中，已经获得了对极约束坐标系下的参考图像，即建立了结构光对极约束坐标系。将目标图像映射得到TOF图像，再进行处理。需要说明的是，由于本实施例采用的是规则散斑，并没有对散斑进行结构图案的设计，本步骤中无法直接获得结构光深度数据，目标图像中仅包含了结构光深度信息，即光斑的原始信息。本步骤将TOF深度数据转化到结构光对极约束坐标系下，使得结构光深度信息与TOF深度数据保持在同一坐标系下，从而可以直接进行后续处理，并且本步骤计算简单，无需进行三维重建等操作，具有实时性高、计算量小、准确度高的特点。

步骤S3：获取散斑图像，并进行去畸变操作以及对极约束调整。

在本步骤中，对目标图像映射得到散斑图像，并对散斑图像进行去畸变操作，之后进行对极约束调整，从而使得散斑图像在对极约束坐标系下是准确的。图像去畸变是一种图像处理技术，用于去除图像的畸变效应，以得到未发生畸变的原始图像。在摄像头拍摄的图像中，畸变效应通常是由摄像头镜头的不完美性导致的。图像对极约束调整是一种基于透视变换的图像校正方法，它通过对输入图像进行透视变换和畸变矫正，得到一个校正后的图像。在这个过程中，我们需要先计算出输入图像的相机内参矩阵K、畸变系数D以及旋转矩阵R和平移向量t，然后通过这些参数来计算出输出图像的相机内参矩阵K'、畸变系数D'以及旋转矩阵R'和平移向量t'。最后，我们得到一个映射矩阵m，并将其应用到输入图像上，得到校正后的图像。

步骤S4：识别散斑区域，并提取散斑中心。

在本步骤中，在散斑图像上识别出多个散斑。散斑是指图像中亮度较高的区域，可以采用多种方式识别散斑。比如：

阈值化：将图像转换为灰度图像，然后使用阈值化操作将散斑区域从背景中分离出来。这种方法简单易行，但可能会忽略一些细节。在进行二值化处理时，可以采用多种处理方式，包括但不限于阈值法、自适应阈值法、局部线性嵌入法等。

形态学操作：例如开运算和闭运算，可以消除小的散斑，同时保留大的散斑。这些操作可以帮助去除噪声和小的散斑。

边缘检测：使用边缘检测算法可以找到图像中的边缘，从而找到散斑的位置。例如Canny算法和Sobel算法都可以用于边缘检测。

基于深度学习的方法：这些方法使用深度神经网络来学习图像中的特征，并从中提取散斑区域。例如，卷积神经网络(CNN)可以自动学习图像特征，并使用反向传播算法来优化网络权重，从而提高去噪效果。

在获得散斑后，可以根据形态方法或质心法获得散斑中心。

步骤S5：根据所述散斑中心对应的TOF深度数据，对所述散斑图像进行解码确定所述参考图像上对应的散斑区域，根据视差计算结构光深度数据。

在本步骤中，在对极约束坐标系下，根据散斑中心的位置可以获得该位置的TOF深度数据，即在TOF图像上对应的TOF深度数据。而每个TOF深度数据都有对应的第一范围。第一范围受散斑设计、TOF精度、散斑大小等因素影响。在散斑结构设计确定后，第一范围的大小只与TOF精度有关。而TOF精度与TOF深度值相关，因此根据TOF深度数据可以获得对应的第一范围。根据第一范围在参考图像上进行检索，获得参考图像上的散斑区域，从而可以根据视差计算得到散斑中心的结构光深度数据。散斑在设计时，应该保证第一范围内只有一个散斑。本步骤利用TOF深度数据对结构光的匹配进行引导，确定结构光光斑之间的对应关系，并使得在计算结构光数据时的计算量大大减小，对硬件要求低，并可以快速获得结构光深度数据。

步骤S6：将所述散斑中心的结构光深度数据和TOF深度数据深度融合。

在本步骤中，以结构光深度数据为基准，将TOF深度数据整体校正到结构光散斑深度上。在进行校正时，将散斑中心坐标对应的TOF深度数据直接重置为结构光深度数据，并对其他坐标的TOF深度数据进行相应的校正。在对TOF深度数据进行校正时，可以采用多种方法。

在部分实施例中，根据像素点与相邻的多个散斑中心距离及散斑中心对应的结构光深度数据进行加权计算，得到最终的TOF深度数据。像素点a距离最近的散斑中心b和c的距离分别为ab和ac。散斑中心b的结构光深度数据为B，散斑中心c的结构光深度数据为C，则像素点a校正后的TOF深度数据为

在部分实施例中，根据像素点与相邻的多个散斑中心距离及散斑中心的校正值进行加权计算，得到最终的TOF深度数据。像素点a的TOF深度数据为A，距离最近的散斑中心b和c的距离分别为ab和ac。散斑中心b的结构光深度数据为B、TOF深度数据为B’，散斑中心c的结构光深度数据为C、TOF深度数据为C’，则像素点a校正后的TOF深度数据为

本实施例利用TOF深度数据对结构光匹配时的范围进行缩减，减小了结构光匹配时的计算量，并利用结构光深度数据对TOF深度数据进行引导与校正，使得TOF在近距离下的数据得到更好的校正，提高了TOF深度数据的准确度。

如图2所示，散斑图像上的散斑为稀疏散斑，并具有核心轴，并在所述核心轴的方向上散斑数量最多。图2中的散斑为规同散斑，各个散斑之间的位置关系是已知的、固定的，从而可以进行各类精确设计。稀疏散斑具有核心轴，并在所述核心轴的方向上散斑数量最多。基于不同的散斑结构，具有不同的核心轴。如果有不止一个方向上的散斑数量最多，则取最接近水平轴的方向为核心轴。核心轴的选取可以更好地确定散斑的方向，并且能够影响最多的散斑。在图2上，在水平方向、+45度和-45度方向上，在固定的一段长度内均具有相同的散斑数量，则认为这三个方向上的散斑数量最多，取水平方向为核心轴。较优地，稀疏散斑为规则散斑。

图3为本发明实施例中一种核心轴与散斑图像的边的夹角示意图。如图3所示，核心轴上具有最多的散斑点，每个散斑点的直径为5个像素，以核心轴上的任一散斑点中心为起点，划一条不触碰到同一核心轴上散斑的直线，与相邻核心轴上的散斑点相交，其中最小的角度即为夹角θ。夹角θ的大小与散斑密度、散斑大小、散斑排列等共同决定。其中，对夹角θ影响最大的因素是散斑大小。散斑越大，夹角θ越大。在设置散斑投射器与红外接收器时，可以有多种形式，只要保证两者的夹角即可。比如，散斑投射器为水平，红外接收器呈夹角θ；散斑投射器呈夹角θ，红外接收器为水平；散斑投射器与红外接收器均呈一定的夹角。核心轴与所述红外接收器的边长方向的夹角由所述稀疏散斑的分布决定，以使所述红外接收器的边长方向上的散斑间距最大。

在部分实施例中，所述核心轴与所述散斑图像的水平方向的夹角由所述散斑的分布决定，以使沿所述散斑图像的竖直方向上的散斑数量最多。

图4为本发明实施例中一种计算结构光深度数据的步骤流程图。如图4所示，本发明实施例中一种计算结构光深度数据的步骤包括：

步骤S51：根据所述散斑中心的TOF深度数据和TOF深度误差范围，计算所述目标图像与所述参考图像上的视差范围[m,n]。

在本步骤中，像素中心点b的TOF深度数据为B’，B’的误差值为ΔB’，则视差范围为[B’-ΔB’,B’+ΔB’]。B’的误差值与TOF深度数据B’的值呈强相关。误差值是由TOF技术决定的，因此在硬件设备确定的情况下，可以得到误差值与TOF深度数据的关系曲线图，从而可以快速得到误差值。

步骤S52：根据所述视差范围和对极约束在所述参考图像上寻找散斑，如果存在散斑，即为所述散斑中心在参考图像上的对应点。

在本步骤中，根据视差范围、散斑大小、散斑结构可以确定第一范围。第一范围是一个矩形区域，并在x轴上的长度为视差范围[m,n]。第一范围的宽度可以是固定的，比如3行、5行等，也可以是自适应的。比如，在第一范围的宽度确定的情况下，沿y轴方同时向上和向下查找散斑，并以第一范围内只有一个散斑为目的确定最终的第一范围。

步骤S53：计算参考图像和目标图像上对应散斑中心在x方向的视差，根据视差计算所述散斑中心的结构光深度数据；

在本步骤中，利用步骤S52中获得的参考图像上的散斑中心，可以得到散斑中心在参考图像和目标图像上的视差，由于是在对极坐标系下，因此有效的视差为x轴方向的视差。根据视差及深度相机参数，可以计算得到散斑中心的结构光深度数据。

本实施例利用TOF深度数据的误差值对结构光数据计算过程中的匹配进行引导，通过第一范围的设定，大大缩小了计算的范围，可以以较小的计算量快速获得结构光的视差，进而得到散斑中心的结构光深度数据。

图5为本发明实施例中一种确定参考图像上对应点的步骤流程图。如图5所示，本发明实施例中一种确定参考图像上对应点的步骤包括：

步骤S521：根据所述视差范围及散斑大小确定第一范围。

在本步骤中，第一范围为矩形区域。视差范围决定第一范围的x轴方向的边。散斑大小决定y轴方向上的边。比如，视差范围为[5，10]，散斑大小为3，则第一范围为x轴方向上边长为5，y轴方向上边长为3的矩形。

步骤S522：对多个所述第一范围进行微调，以使每个所述第一范围内只有一个散斑，并且多个所述第一范围之间不重叠，也不存在空隙。

在本步骤中，对步骤S521中获得的多个第一范围进行检测，以确定是否存在散斑，及散斑的数量。再对第一范围进行微调，保证每个第一范围只对应一个散斑。调整后的第一范围可以不是矩形。

步骤S523：根据所述第一范围的对应关系，确定所述散斑中心在所述散斑图像与所述参考图像上的对应关系。

在本步骤中，对第一范围内进行检测，识别出散斑，进而获得散斑中心的位置，并根据第一范围与散斑图像的对应关系，确定散斑中心在散斑图像与参考图像上的对应关系，从而可以计算视差。

本实施例根据视差范围及散斑大小确定第一范围，再对多个第一范围进行微调，使第一范围内仅包含一个散斑，从而可以根据获得散斑的准确对应关系，有利于减小计算量，并且能够保证计算的精度。

图6为本发明实施例中一种结构光深度数据和TOF深度数据的步骤流程图。如图6所示，本发明实施例中一种结构光深度数据和TOF深度数据的步骤包括：

步骤S61：根据所述TOF深度数据的值确定目标区域，并获得所述目标区域对应的所述散斑中心的结构光深度数据，及所述目标区域对应的TOF深度数据。

在本步骤中，当TOF深度数据小于预设值时，将该点设置为目标点，多个目标点组成目标区域。目标区域是需要利用将结构光深度数据与TOF深度数据进行融合的区域。获得目标区域内的结构光深度数据与TOF深度数据。

步骤S62：将所述散斑中心的结构光深度数据与TOF深度数据对比，得到所述散斑中心的相对深度值，再根据多个所述相对深度值得到所述目标区域的相对深度图。

在本步骤中，相对深度＝结构光深度数据/TOF深度数据。由于散斑的深度数据是在图像上是不连续的，而TOF深度数据在图像上是连续的，所以本步骤计算得到部分像素点的相对深度，即散斑中心像素点的相对深度值。再根据散斑中心像素点的相对深度值，计算得到所有像素点的相对深度值，组成相对深度图。在计算所有像素点的相对深度值时，需要进行插值，也可以选用现有技术中的方法，如Kriging、反距离加权等。

步骤S63：根据所述相对深度图，计算所述目标区域的全局映射矩阵。

在本步骤中，全局映射矩阵＝[focal_length 0；0-k10]*[R11 R12；R21R22]。其中，focal_length为相机的焦距，k1为相机的主点距离图像中心的距离，R11至R22为相机的内参矩阵。

步骤S64：将所述TOF深度数据与所述全局映射矩阵相乘，得到校正后的TOF深度数据。

在本步骤中，校正后的TOF深度数据＝TOF深度数据*全局映射矩阵。需要说明的是，本步骤只对目标区域内进行操作。

本实施例在目标区域内计算相对深度，并对所有像素点均补全相对深度值，进而获得相对深度图，再利用全局映射矩阵进行计算，得到校正后的TOF深度数据，可以更加准确全面地获得校正后的TOF深度数据，并且具有较小的计算量。

图7为本发明实施例中另一种结构光深度数据和TOF深度数据的步骤流程图。如图7所示，本发明实施例中另一种结构光深度数据和TOF深度数据的步骤流程图的步骤包括：

步骤S65：根据所述TOF深度数据进行三维重建，并根据误差，为每个像素点赋予误差空间。

在本步骤中，为每个像素点赋予误差作为第三个维度的值，从而将图像上每个像素点转化为更大的空间，得到误差空间。散斑中心直接设定为结构光深度数据，不再赋予误差空间。误差空间仅针对散斑中心以外的其他像素点。多个像素点的误差空间形成一个封闭的三维空间。

步骤S66：为每个像素点与最接近的两个或多个所述散斑中心在误差空间内相连，使得与所述散斑中心的连线之和最小，得到每个像素点的调整后的TOF深度值。

在本步骤中，对像素点逐行计算，对每像素点确定最接近的两个、或多个散斑中心。最接近的散斑中心数量与散斑的分布有关。比如，三角形分布的散斑选最接近的两个或三个散斑中心。在确定两个散斑中心或三个散斑中心时，默认为三个散斑中心，若除了两个最近的散斑中心外，同时还有两个散斑中心与当前像素点距离相同，则仅取最近的两个散斑中心。即无法达到预设的散斑中心数量时，仅取两个散斑中心。计算当前像素点在误差空间内与最接近的散斑中心的路径之和，从而确定当前像素点调整后的TOF深度值。

本实施例利用TOF深度数据进行三维重建，并利用误差对每个值赋予误差空间，从而形成三维通道，并根据像素点与散斑中心的距离的最小值，确定调整后的TOF深度值，能够根据不同的深度值进行自适应调整，对于边缘等具有多径效应的部位具有非常高的复原性。

图8为本发明实施例中一种TOF与结构光融合的深度相机的结构示意图。如图8所示，本发明实施例中一种TOF与结构光融合的深度相机包括：

散斑投射器1，用于投射稀疏散斑。

具体地说，稀疏散斑和稠密散斑是激光散斑的两种形态。稀疏散斑是指激光散斑分布比较均匀，没有明显的聚集现象；而稠密散斑则是指激光散斑分布比较集中，有明显的聚集现象。出于本发明之目的，本实施例采用的是稀疏散斑。较优地，本实施例采用规则散斑进行投射。散斑的形态可以是各类形状，包括但不限于三角形、四边形、五边形、六边形、七边形、八边形等。

泛光投射器2，用于投射泛光。

具体地说，泛光投射器是一种光学元件，它可以将光线均匀投射到某个区域内，从而使该区域内的物体被照亮。泛光投射器与散斑投射器具有相同的朝向，可以照射在同一目标对象上。泛光投射器与散斑投射器投射的均为红外光线。

红外接收器3，用于接收所述稀疏散斑和所述泛光的反射信号。

具体地说，所述核心轴与所述红外接收器的边长方向的夹角为大于0度且小于30度的锐角。红外接收器的边长方向是指在红外接收器生成的图像上的边的方向。红外接收器的形态可以有多种，但生成的图像通常为矩形，具有长边和短边。红外接收器既可以接收稀疏散斑发射出的结构光散斑的反射信号，又可以接收泛光的反射信号。优选地，红外接收器为TOF接收器。TOF(Time of Flight)接收器是一种用于测量物体距离的传感器，它基于飞行时间测量原理工作。TOF接收器通常与发射器配合使用，发射器发出调制信号，目标物将一部分信号反射回到接收器。接收器通过测量信号的传播时间并计算目标物的距离。TOF接收器的核心是一个具有高速采样能力的ADC(模数转换器)，用于将接收到的模拟信号转换为数字信号。然后，通过对数字信号进行处理和分析，可以得到目标物的距离信息。根据TOF接收器生成的红外图，还可以通过信号的强度识别出散斑区域，从而得到散斑图，并与散斑投射器发射的散斑进行对比，利用视差原理计算出结构光深度数据。

在部分实施例中，散斑投射器与所述红外接收器构成的第一连线与所述泛光投射器与所述红外接收器构成的第二连线的夹角小于45度。散斑投射器与泛光投射器位于红外接收器的同一侧，可以适用于多种产品对于产品结构的要求。

在部分实施例中，为了使深度相机具有更高的精度，散斑投射器与红外接收器位于深度相机的两端，使得散斑投射器与红外接收器的间距最大，提高结构光深度数据的精度。为了深度相机的尺寸最小，将泛光投射器置于散斑投射器与红外接收器中部，充分利用空间。

控制器4，用于控制所述散斑投射器和所述泛光投射器同时投射，使所述红外接收器同时接收所述稀疏散斑和所述泛光的反射信号生成目标图像，并利用结构光深度数据校正TOF深度数据。

具体地说，散斑投射器与泛光投射器同时投射，使得得到的结构光深度数据与TOF深度数据是同一时刻获得的，对于运动物体具有非常强的捕获能力。目标图像上既有TOF深度数据，又是结构光深度数据。在目标图像上，如果没有散斑信号，则该像素点仅有泛光的反射信号；如果有散斑信号，则该像素点既有泛光的反射信号，又有散斑的反射信号，因此对过反射信号的强度，可以识别出散斑部分。相比于单纯的TOF传感器，本实施例中的红外传感器具有更大的测量范围，从而避免过曝的情况。通过对结构光信号和泛光信号的处理，可以分别计算得到结构光深度数据和TOF深度数据。在近距离下，利用结构光深度数据对TOF深度数据进行校正，使得TOF深度数据进行整体校正，得到更高的精度。由于TOF深度数据是整个目标图像上均具有深度值，而结构光深度数据只在散斑存在的像素点才具有深度值，因此，需要利用结构光深度数据将散斑及散斑周边像素点的TOF深度数据均进行校正，得到整体校正后的TOF深度数据。

在设计散斑时，需要考虑多个方面的因素影响。通常包括如下步骤：

A.确定散斑形态。散斑对比度要足够高，并且在平面上均匀分布。

B.计算散斑距离。根据深度相机的工作距离范围，以及TOF在近距离处的深度测试误差、红外接收器分辨率等，计算得到最佳的散斑距离以及基线长度；其中，基线长度一般受产品的大小限制。

C.确定散斑密度。这个对测量距离以及深度填充率有较大影响，一般来说散斑越密，测量距离越短，空间填充率越高；反之，测量距离越远，空间填充率越低。

D.确定散斑与红外接收器的边长方向的夹角。根据散斑密度、测量范围以及视差范围等信息，得到散斑在图像上的分布样式，即在TX上散斑的倾斜范围。

图9为本发明实施例中一种散斑投射器的结构示意图。散斑投射器至少包括两组发射单元。每组发射单元可以单独点亮进行投射。比如，可以单独采用发射单元A进行投射，也可以单独用发射单元B进行投射，还可以同时采用发射单元A和B进行投射，从而改变散斑投射器投射出散斑的密度，用于不同距离的测量。

在部分实施例中，对应于不同密度的散斑，泛光投射器的功率也不同。泛光投射器的功率与散斑的密度成反比。散斑的密度越大，泛光投射器的功率越小。散斑的密度越小，泛光投射器的功率越大。

在部分实施例中，散斑投射器投射出的不同密度的散斑中，散斑的亮度不同。如图9所示，当发射单元A和B分别作为光源时，发射单元A与B中的亮度不同，从而实现对不同距离下的照射强度的调节，使得红外接收器不易过曝。

在部分实施例中，散斑投射器投射出的不同密度的散斑中，核心轴与红外接收器的边长方向的夹角不同。如图9所示，发射单元A发射出的散斑的第一核心轴与发射单元B发射出的散斑的第二核心轴的方向不同，从而实现对不同深度的目标对象的针对性测量。

在部分实施例中，一种基于稀疏散斑的TOF与结构光融合的深度相机包括两种工作模式：第一模式和第二模式；

在第一模式中，所述散斑投射器以第一散斑投射，所述泛光投射器以第一功率进行投射；

在第二模式中，所述散斑投射器以第二散斑投射，所述泛光投射器以第二功率进行投射；

所述控制器根据所述目标图像上的深度值调节所述第一模式与第二模式的比例。

具体地说，第一模式与第二模式根据目标图像上部分深度值值进行比例调节。部分深度值可以是最小深度值、特定的深度值范围、特定区域的深度值。当部分深度值是最小深度值时，第一模式和第二模式的切换用于识别近距离内的目标对象，可用于碰撞报警等。当部分深度值是特定的深度值范围时，根据预设的特定的深度值范围触发对比例的调节，从而使得对特定距离内的对象的详细测量。当部分深度值为特定区域的深度值时，根据图像内的部分区域的深度值进行触发，以实现对关键部分的有效识别，比如扫地机器人对前方地面特点的重点测量等。第一模式与第二模式具有不同的比例，从而可以获得不同深度范围下的目标对象的参数，通过对第一模式与第二模式下获得的深度值的关联分析，获得更加全面的目标对象信息。

控制器根据周期时间点的深度值确定周期时间点之后一段时间内的比例值。比如，在第1s时，根据深度值确定1s-2s之间的第一模式与第二模式的比例；并在第2s重新评估2s-3s之间的比例值。

图10为本发明实施例中一种TOF与结构光融合系统的结构示意图。如图10所示，本发明实施例中一种TOF与结构光融合系统的训练系统包括：

参考模块，用于获得结构光在对极约束坐标系下的参考图像；

采集模块，用于获得目标图像，并将TOF深度数据转化到结构光对极约束坐标系；其中，所述目标图像既包含TOF深度数据，又包含结构光深度信息；

散斑模块，用于获取散斑图像，并进行去畸变操作以及对极约束调整；

中心模块，用于识别散斑区域，并提取散斑中心；

结构光模块，用于根据所述散斑中心对应的TOF深度数据，对所述散斑图像进行解码确定所述参考图像上对应的散斑区域，根据视差计算结构光深度数据；

融合模块，用于将所述散斑中心的结构光深度数据和TOF深度数据深度融合。

具体地说，参考模型用于获得标定阶段获得的参考图像。采集模块用于获得目标图像。散斑模块用于通过目标图像映射得到散斑图像，并进行去畸变操作、对极约束调整。中心模块用于识别散斑并提取散斑中心。结构光模块用于利用TOF深度数据引导结构光数据的计算。融合模块用于利用结构光数据校正TOF深度数据，从而得到融合后的深度数据。

本实施例利用TOF深度数据对散斑图像的匹配进行引导，大大减小计算视差时的匹配区域，可以快速精准地进行计算，大大节省了计算量，提高了效率，并且进一步利用结构光深度数据对TOF深度数据进行融合，使得TOF深度数据在近距离下也可以获得准确的值，大大提高了数据计算速度，减小了对硬件的要求，提高了数据精度。

本发明实施例中还提供一种TOF与结构光融合的训练设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的一种TOF与结构光融合的训练方法的步骤。

如上，本实施例利用TOF深度数据对散斑图像的匹配进行引导，大大减小计算视差时的匹配区域，可以快速精准地进行计算，大大节省了计算量，提高了效率，并且进一步利用结构光深度数据对TOF深度数据进行融合，使得TOF深度数据在近距离下也可以获得准确的值，大大提高了数据计算速度，减小了对硬件的要求，提高了数据精度。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图11是本发明实施例中的一种TOF与结构光融合的训练设备的结构示意图。下面参照图11来描述根据本发明的这种实施方式的电子设备600。图11显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图11所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述一种TOF与结构光融合的训练方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图11中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的一种TOF与结构光融合的训练方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述一种TOF与结构光融合的训练方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，本实施例利用TOF深度数据对散斑图像的匹配进行引导，大大减小计算视差时的匹配区域，可以快速精准地进行计算，大大节省了计算量，提高了效率，并且进一步利用结构光深度数据对TOF深度数据进行融合，使得TOF深度数据在近距离下也可以获得准确的值，大大提高了数据计算速度，减小了对硬件的要求，提高了数据精度。

图12是本发明实施例中的计算机可读存储介质的结构示意图。参考图12所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本实施例利用TOF深度数据对散斑图像的匹配进行引导，大大减小计算视差时的匹配区域，可以快速精准地进行计算，大大节省了计算量，提高了效率，并且进一步利用结构光深度数据对TOF深度数据进行融合，使得TOF深度数据在近距离下也可以获得准确的值，大大提高了数据计算速度，减小了对硬件的要求，提高了数据精度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种TOF与结构光融合方法，其特征在于，包括：

步骤S1：获得结构光在对极约束坐标系下的参考图像；

步骤S2：获得目标图像，并将TOF深度数据转化到结构光对极约束坐标系；其中，所述目标图像既包含TOF深度数据，又包含结构光深度信息；

步骤S3：获取散斑图像，并进行去畸变操作以及对极约束调整；

步骤S4：识别散斑区域，并提取散斑中心；

步骤S5：根据所述散斑中心对应的TOF深度数据，对所述散斑图像进行解码确定所述参考图像上对应的散斑区域，根据视差计算结构光深度数据；

步骤S6：将所述散斑中心的结构光深度数据和TOF深度数据深度融合。

2.根据权利要求1所述的一种TOF与结构光融合方法，其特征在于，所述散斑图像上的散斑为稀疏散斑，并具有核心轴，并在所述核心轴的方向上散斑数量最多。

3.根据权利要求2所述的一种TOF与结构光融合方法，其特征在于，所述核心轴与所述散斑图像的边的夹角为大于0度且小于30度的锐角。

4.根据权利要求1所述的一种TOF与结构光融合方法，其特征在于，所述步骤S5包括：

步骤S51：根据所述散斑中心的TOF深度数据和TOF深度误差范围，计算所述目标图像与所述参考图像上的视差范围[m,n]；

步骤S52：根据所述视差范围和对极约束在所述参考图像上寻找散斑，如果存在散斑，即为所述散斑中心在参考图像上的对应点；

步骤S53：计算参考图像和目标图像上对应散斑中心在x方向的视差，根据视差计算所述散斑中心的结构光深度数据。

5.根据权利要求4所述的一种TOF与结构光融合方法，其特征在于，所述步骤S52包括：

步骤S521：根据所述视差范围及散斑大小确定第一范围；

步骤S522：对多个所述第一范围进行微调，以使每个所述第一范围内只有一个散斑，并且多个所述第一范围之间不重叠，也不存在空隙；

步骤S523：根据所述第一范围的对应关系，确定所述散斑中心在所述散斑图像与所述参考图像上的对应关系。

6.根据权利要求1所述的一种TOF与结构光融合方法，其特征在于，所述步骤S6包括：

步骤S61：根据所述TOF深度数据的值确定目标区域，并获得所述目标区域对应的所述散斑中心的结构光深度数据，及所述目标区域对应的TOF深度数据；

步骤S62：将所述散斑中心的结构光深度数据与TOF深度数据对比，得到所述散斑中心的相对深度值，再根据多个所述相对深度值得到所述目标区域的相对深度图；

步骤S63：根据所述相对深度图，计算所述目标区域的全局映射矩阵；

步骤S64：将所述TOF深度数据与所述全局映射矩阵相乘，得到校正后的TOF深度数据。

7.根据权利要求1所述的一种TOF与结构光融合方法，其特征在于，所述步骤S6包括：

步骤S65：根据所述TOF深度数据进行三维重建，并根据误差，为每个像素点赋予误差空间；

步骤S66：为每个像素点与最接近的两个或多个所述散斑中心在误差空间内相连，使得与所述散斑中心的连线之和最小，得到每个像素点的调整后的TOF深度值。

8.一种TOF与结构光融合系统，用于实现权利要求1至7中任一项所述的TOF与结构光融合的训练方法，其特征在于，包括：

参考模块，用于获得结构光在对极约束坐标系下的参考图像；

采集模块，用于获得目标图像，并将TOF深度数据转化到结构光对极约束坐标系；其中，所述目标图像既包含TOF深度数据，又包含结构光深度信息；

散斑模块，用于获取散斑图像，并进行去畸变操作以及对极约束调整；

中心模块，用于识别散斑区域，并提取散斑中心；

结构光模块，用于根据所述散斑中心对应的TOF深度数据，对所述散斑图像进行解码确定所述参考图像上对应的散斑区域，根据视差计算结构光深度数据；

融合模块，用于将所述散斑中心的结构光深度数据和TOF深度数据深度融合。

9.一种TOF与结构光融合设备，其特征在于，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述TOF与结构光融合方法的步骤。

10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至7中任意一项所述TOF与结构光融合方法的步骤。