CN117197799A - 一种双目深度数据与tof深度数据深度融合的方法 - Google Patents

Abstract

一种双目深度数据与TOF深度数据深度融合的方法，包括如下步骤：步骤S1:获取同一场景的双目深度数据和TOF深度数据，并分别生成双目3D点云和TOF3D点云；步骤S2：在所述双目3D点云中识别出平面，并进行平面拟合；步骤S3：在所述TOF3D点云中识别出地面附近部分与地面附近以上部分，并依据所述地面附近部分表面的法向量信息，分割出障碍物；其中，所述地面附近部分是指距离地面在第一阈值内的点云部分；步骤S4：利用所述双目深度数据校正所述TOF深度数据中所述障碍物的深度值；步骤S5：融合所述双目深度数据与校正后的所述TOF深度数据，得到高精度深度数据。本发明将双目技术与TOF技术结合使用，使得三维重建效果更好。

Description

一种双目深度数据与TOF深度数据深度融合的方法

技术领域

本发明涉及图像数据处理领域，具体地，涉及一种双目深度数据与TOF深度数据深度融合的方法。

背景技术

随着“懒人经济”的发展，家用扫地机的市场规模越来越大，其智能程度也一直在提高，自动导航、自动避障，自动清洁，这些功能越来越常见。其中自动避障功能主要依赖3D视觉传感器，主流的如线结构光传感器、双目立体相机、ToF相机、单目散斑结构光深度传感器。

这些传感器各有优缺点，线结构光可以完整的重建出激光亮条纹处的场景深度，但其深度视场小；双目立体相机在弱纹理处容易匹配失败导致深度重建失败，且计算量大；ToF相机会有多径效应，导致墙角等场景容易深度失真，影响测距结果，且飞点较多，干扰障碍物分割；单目散斑结构光在细小障碍物处容易深度缺失。

为了能够使得扫地机避障效果能够尽可能的满足家庭各种常见场景，提高用户的使用体验，需要解决上述单一视觉传感器带来的各种弊端，为此，我们发明了一种深度融合算法，能够很好的将双目深度数据与ToF深度数据进行融合，发挥各自的长处，规避各自的缺点。

发明内容

为此，本发明将双目技术与TOF技术结合使用，获取同一场景的两种深度数据，通过对点云数据的处理，获得高精度、完整、准确的深度数据，使得三维重建效果更好。

第一方面，本发明提供一种双目深度数据与TOF深度数据深度融合的方法，其特征在于，包括如下步骤：

步骤S1:获取同一场景的双目深度数据和TOF深度数据，并分别生成双目3D点云和TOF3D点云；

步骤S2：在所述双目3D点云中识别出平面，并进行平面拟合；

步骤S3：在所述TOF3D点云中识别出地面附近部分与地面附近以上部分，并依据所述地面附近部分表面的法向量信息，分割出障碍物；其中，所述地面附近部分是指距离地面在第一阈值内的点云部分；

步骤S4：利用所述双目深度数据校正所述TOF深度数据中所述障碍物的深度值；

步骤S5：融合所述双目深度数据与校正后的所述TOF深度数据，得到高精度深度数据。

可选地，所述的一种双目深度数据与TOF深度数据深度融合的方法，其特征在于，所述步骤S2包括：

S21:在所述双目3D点云中识别出地面，并识别出相邻地面的分割线；

S22：根据所述分割线将所述地面划分为第一部分和第二部分；

S23：对所述第一部分和所述第二部分分别进行平面拟合。

可选地，所述的一种双目深度数据与TOF深度数据深度融合的方法，其特征在于，所述步骤S2包括：

S24:获取前一图像中分割线位置；

S25：在当前图像上，根据所述分割线位置向外扩展得到扩展区域，并在所述扩展区域内通过法向量方向确定当前图像分割线位置；

S22：根据所述分割线将所述地面划分为第一部分和第二部分；

S23：对所述第一部分和所述第二部分分别进行平面拟合。

可选地，所述的一种双目深度数据与TOF深度数据深度融合的方法，其特征在于，所述步骤S3包括：

步骤S31：将所述双目深度数据与所述TOF深度数据对齐；

步骤S32：在所述TOF3D点云中将距离所述平面的距离不大于所述第一阈值的像素点标记为地面附近部分，并将距离所述平面的距离大于所述第一阈值的像素点标记为地面附近以上部分；

步骤S33：计算所述地面附近部分中的每个像素点的法向量，并计算其与地面法向量的夹角a；

步骤S34：当夹角a大于第二阈值时，将该像素点标记为第一像素；

步骤S35：当相邻的所述第一像素的数量大于第三阈值时，将所述第一像素所属的物体标记为障碍物。

可选地，所述的一种双目深度数据与TOF深度数据深度融合的方法，其特征在于，所述步骤S4包括：

S41：将所述双目深度数据和所述TOF深度数据对齐；

S42：利用所述双目深度数据，对所述障碍物的对应的所述TOF深度数据进行校正；

S43：根据校正过的所述TOF深度数据，对未校正的所述TOF深度数据进行校正。

第二方面，本发明提供一种双目深度数据与TOF深度数据深度融合的装置，其特征在于，包括：

获取模块，用于获取同一场景的双目深度数据和TOF深度数据，并分别生成双目3D点云和TOF3D点云；

双目模块，用于在所述双目3D点云中识别出平面，并进行平面拟合；

TOF模块，用于在所述TOF3D点云中识别出地面附近部分与地面附近以上部分，并依据所述地面附近部分表面的法向量信息，分割出障碍物；其中，所述地面附近部分是指距离地面在第一阈值内的点云部分；

校正模块，用于利用所述双目深度数据校正所述TOF深度数据中所述障碍物的深度值；

融合模块，用于融合所述双目深度数据与校正后的所述TOF深度数据，得到高精度深度数据。

可选地，所述的一种双目深度数据与TOF深度数据深度融合的装置，其特征在于，所述双目模块包括：

中心点单元，用于在所述双目3D点云中识别出地面，并识别出相邻地面的分割线；

分割单元，用于根据所述分割线将所述地面划分为第一部分和第二部分；

拟合单元，用于对所述第一部分和所述第二部分分别进行平面拟合。

可选地，所述的一种双目深度数据与TOF深度数据深度融合的装置，其特征在于，所述双目模块包括：

继承单元，用于获取前一图像中分割线位置；

微调单元，用于在当前图像上，根据所述分割线位置向外扩展得到扩展区域，并在所述扩展区域内通过法向量方向确定当前图像分割线位置；

分割单元，用于根据所述分割线将所述地面划分为第一部分和第二部分；

拟合单元，用于对所述第一部分和所述第二部分分别进行平面拟合。

可选地，所述的一种双目深度数据与TOF深度数据深度融合的装置，其特征在于，所述TOF模块包括：

对齐单元，用于将所述双目深度数据与所述TOF深度数据对齐；

第一标记单元，用于在所述TOF3D点云中将距离所述平面的距离不大于所述第一阈值的像素点标记为地面附近部分，并将距离所述平面的距离大于所述第一阈值的像素点标记为地面附近以上部分；

法向量单元，用于计算所述地面附近部分中的每个像素点的法向量，并计算其与地面法向量的夹角a；

第二标记单元，用于当夹角a大于第二阈值时，将该像素点标记为第一像素；

第三标记单元，用于当相邻的所述第一像素的数量大于第三阈值时，将所述第一像素所属的物体标记为障碍物。

可选地，所述的一种双目深度数据与TOF深度数据深度融合的装置，其特征在于，所述校正模块包括：

对齐单元，用于将所述双目深度数据和所述TOF深度数据对齐；

第一校正单元，用于所述双目深度数据，对所述障碍物的对应的所述TOF深度数据进行校正；

第二校正单元，用于根据校正过的所述TOF深度数据，对未校正的所述TOF深度数据进行校正。

与现有技术相比，本发明具有如下的有益效果：

本发明同时采用双目技术和TOF技术，利用了两种技术各自的特点，互相取长补短，使得最终的深度数据质量优于单一技术的质量，可以获得更准确、全面的三维重建效果，从而使得避障、导航等应用更加准确。

本发明通过将3D点云划分为地面附近部分和地面附近以上部分，可以更好地对障碍物进行辨别，尤其对于小体积、小高度的障碍物具有较好的识别效果，从而使得对目标的判断更加准确，从而使得如扫地机器人等设备对于目标对象的判断更加准确。

本发明利用双目技术与TOF技术结合，使得三维重建中存在的多径效应、噪点、不连续等问题得到非常好的解决，提升了数据的连续性与一致性，从而使得数据与真实场景更加一致，可以用于更加精确的探测、检测业务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中一种双目深度数据和TOF深度数据对比示意图；

图2为本发明实施例中一种双目深度数据与TOF深度数据深度融合的方法的步骤流程图；

图3为本发明实施例中一种双目3D点云中平面拟合的步骤流程图；

图4为本发明实施例中另一种双目3D点云中平面拟合的步骤流程图；

图5为本发明实施例中一种TOF3D点云分割障碍物的步骤流程图；

图6为本发明实施例中一种利用双目数据校正TOF数据的步骤流程图；

图7为本发明实施例中一种双目深度数据与TOF深度数据深度融合的装置的结构示意图；

图8为本发明实施例中一种双目模块结构示意图；

图9为本发明实施例中另一种双目模块结构示意图；

图10为本发明实施例中一种TOF模块结构示意图；

图11为本发明实施例中一种校正模块结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明实施例提供的一种双目深度数据与TOF深度数据深度融合的方法，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图1为本发明实施例中一种双目深度数据和TOF深度数据对比示意图。本实施例采用扫地机器人的双目深度数据和TOF深度数据对比说明。双目技术更适合在扫地机器人等小体积设备中应用，但在弱纹理处容易重建失败。而TOF技术在由于技术原理，不受物体表面纹理影响，因此三维重建时可以获得完整目标区域的深度数据，但是会存在多径干扰等因素，导致其在墙角等强纹理处部分数据失真。

如图1所示，在双目深度数据中，距离相机较近的位置，接收到的数据密度更高，而距离相机越远的位置，接收到的数据的密度越低，在图中表现为近距离的点云数据多，而远距离的点云密度低。在TOF深度数据中，数据相对更加均匀，但是噪点较多，同时，相比于双目深度数据，发现其地面的深度数据则表现为“异常”，即部分目标对象位于地面以下，这主要是由于多径干扰导致的，而这部分数据可以由双目数据较好地校正。

本发明结合双目技术与ToF技术各自的优点，并对TOF的测量结果进行校正，使得最终的深度数据更加准确，可靠。

图2为本发明实施例中一种双目深度数据与TOF深度数据深度融合的方法的步骤流程图。如图2所示，本发明实施例提供的一种双目深度数据与TOF深度数据深度融合的方法，包括如下步骤：

步骤S1:获取同一场景的双目深度数据和TOF深度数据，并分别生成双目3D点云和TOF3D点云。

在本步骤中，同一场景的双目深度数据和TOF深度数据通常拍摄视角不超过10度，方便后期的对齐等各种操作。当然，对齐操作既可以在本步骤中进行，也可以在后续任何一个步骤中进行，对此，本实施例不做限制。通过双目深度数据重建得到双目3D点云，通过TOF深度数据重建得到TOF3D点云。3D点云是对三维空间的再现，其依赖于数据的准确性。越准确的深度数据重建后的三维空间越准确。在对深度数据进行校准时，通常对其设备进行校准，但无法克服技术特点带来的偏差。而本实施例可以利用3D点云中的数据可以交叉验证，以获得高精度的深度数据。本实施例中的TOF既可以是iToF，又可以是dToF。

步骤S2：在所述双目3D点云中识别出平面，并进行平面拟合。

在本步骤中，在3D点云中，由于地面是固定不变的，因此可以成为校正的重要参考。本实施例在三维空间中将数据划分为地面数据及障碍物数据。地面数据是获取到的地面的数据，表现为连续的一个平面，因此可以对地面进行拟合。本步骤中的平面是指地面所在的平面，而非相机视角的平面。这是因为相机的视角通常与地面存在一定的角度偏差。同时，以地面为平面也克服了实现拍摄过程中存在的各种扰动因素导致的数据不一致问题，使得三维重建后的地面数据具有更好的一致性。

本步骤可以通过对地地面的平面拟合从而可以实现数据的校正，尤其是在地面数据占比较高的场景，比如扫地机器人等各类低速运动机器人。

步骤S3：在所述TOF3D点云中识别出地面附近部分与地面附近以上部分，并依据所述地面附近部分表面的法向量信息，分割出障碍物。

在本步骤中，区别于在双目3D点云中将三维数据区分为地面和障碍物，将TOF3D点云中将三维数据区分为地面附近部分与地面附近以上部分。所述地面附近部分是指距离地面在第一阈值内的点云部分。由于TOF技术的特点，其获取的地面的数据精度不高，因此地面附近部分均需要利用双目数据进行校正。第一阈值通常是固定的值，但可以根据不同的TOF技术及应用场景进行调整。

地面的法向量是垂直地面向上的，而障碍物的法向量与地面的法向量夹角通常较大，甚至可以是90度或其他角度。因此，可以以所述地面附近部分表面的法向量信息，识别出障碍物。当法向量与地面的夹角小于一定的角度时，判定其是障碍物。

步骤S4：利用所述双目深度数据校正所述TOF深度数据中所述障碍物的深度值。

在本步骤中，由于双目深度数据在地面以上部分比TOF深度数据更加准确，所以可以用双目的深度数据对TOF中的障碍物的深度数据进行校正。在本步骤中，双目深度数据与TOF深度数据是已经对齐的。由于TOF多径效应的存在，其在墙角等交界处容易失真，而这些失真对于细小障碍物的影响非常大，因此必须通过双目深度数据对其进行校正。本步骤校正的深度值既包括细小障碍物，又包括较大障碍物。

步骤S5：融合所述双目深度数据与校正后的所述TOF深度数据，得到高精度深度数据。

在本步骤中，校正后的TOF深度数据具有较高的精度并且是连续的，而双目深度数据具有更好的精度。本步骤将所双目深度数据与校正后的所述TOF深度数据进行融合，从而得到集双目技术与TOF技术优点的高精度深度数据。在对双目深度数据与校正后的所述TOF深度数据融合时，可以根据具体技术特点及应用场景选择合适的融合方法。

比如，将所述双目深度数据中的地面数据与校正后的所述TOF深度数据中的障碍物数据结合，生成高精度深度数据。对于地面采用双目的深度数据，而对于障碍物则采用校正后的TOF深度数据，从而得到高精度深度数据。由于TOF数据中存在的多径干扰待，使得其地面数据与双目深度数据中的地面数据不同，因而与地面相邻的障碍物的数据也存在误差。在进行校正与融合时，需要将TOF深度数据中无法确认、飞点等异常数据进行处理。对于飞点可以认为是噪声直接删除。对于TOF深度数据中的障碍物低于双目3D点云中的地面的部分，则将该部分同样删除，并将相应部分进行重新校正处理。

比如，将所述双目深度数据中的地面数据与所述TOF深度数据中的地面数据根据距离给予不同的权重生成最终地面数据，再与校正后的所述TOF深度数据中的障碍物数据结合，生成高精度深度数据。权重值在【0,1】内取值，并且0和1均为可取值。由于双目技术与TOF技术的使用范围不完全重叠，因此可以在不同的距离内采用不同的值。权重值随距离的变化不是线性的。

比如，根据距离障碍物的距离，对所述双目深度数据与所述TOF深度数据分别赋予不同的权重值，从而生成最终地面数据，再与校正后的所述TOF深度数据中的障碍物数据结合，生成高精度深度数据。在障碍物附近赋予双目深度数据中的地面数据较高的权重值，而在距离障碍物较远处赋予TOF深度数据较高的权重值。权重值在【0,1】内取值，并且0和1均为可取值。权重值随距离的变化不是线性的。

本实施例通过将深度数据进行三维重建，并在三维空间内进行校准，使得数据之间关联性强的数据得到很好的印证与关联，并结合双目技术与TOF技术特点，取长补短，获得更加准确的点云数据和深度数据，克服了单一技术的缺陷，使得数据校正效果更好，得到高精度的深度数据。

图3为本发明实施例中一种双目3D点云中平面拟合的步骤流程图，适应于地面不平的场景。如图3所示，本发明实施例提供的一种双目3D点云中平面拟合的方法，包括如下步骤：

S21:在所述双目3D点云中识别出地面，并识别出相邻地面的分割线。

在本步骤中，在双目3D点云建立XYZ坐标系，并根据法向量与Z轴平角识别出地面。地面通常是连续的区域，故可以取该区域内像素法向量的均值作为该区域的法向量。当区域的选取不超过地面总面积的1/10。相邻区域法向量不同表示地面的方向不同。法向量方向变化的地方就是分割线所在的方，即通过法向量的角度变化可以识别出相邻地面的分割线。

S22：根据所述分割线将所述地面划分为第一部分和第二部分。

在本步骤中，第一部分是距离拍摄位较近的部分。第二部分是距离拍摄位较远的部分。比如采用深度相机拍摄时，第一部分就是距离相机最近的地部，而较远的部分为第二部分。第二部分可以包含一个平面，也可以包含两个或更多个平面。比如，当地面包含三个不同坡度时，拍摄位所处的平面为第一部分，另外两个平面为第二部分。

S23：对所述第一部分和所述第二部分分别进行平面拟合。

在本步骤中，对第一部分进行平面拟合。如果第二部分仅有一个平面，则对其进行平面拟合。如果第二部分有两个或更多个平面，则对每个平面进行拟合。

本实施例将地面划分为不同的部分并分别进行拟合，从而使得对于地面的平面拟合效果更好，从而使得后续的导航、路径规划、障碍物识别等动作更加准确，使得本发明可适用于更多的应用场景。

图4为本发明实施例中另一种双目3D点云中平面拟合的步骤流程图，适用于对同一场景图像的连续处理。如图4所示，本发明实施例中另一种双目3D点云中平面拟合的方法包括：

S24:获取前一图像中分割线位置。

在本步骤中，获取前一图像中所有的分割线位置。如果前一图像中仅有一个分割线，则获取一个分割线；如果前一图像有两个分割线，则获取两个分割线。

S25：在当前图像上，根据所述分割线位置向外扩展得到扩展区域，并在所述扩展区域内通过法向量方向确定当前图像分割线位置。

在本步骤中，所述扩展区域的范围是根据视角变化速度而定的。比如在扫地机器人上拍摄时，根据扫地机器人移动的速度可以选用不同的范围，当速度大时，范围也大，当速度小时，范围也小。通过所述分割线位置可以大体上定位当前图像中分割线的位置，再采取与上一实施例中识别分割线相同的方法，即通过法向量方向确定当前图像中分割线的位置。

S22：根据所述分割线将所述地面划分为第一部分和第二部分。

S23：对所述第一部分和所述第二部分分别进行平面拟合。

本实施例利用前一图像的识别结果，大幅减少数据处理量，并且依然可以精准地获得分割线的信息，从而使得连续拍摄中可以实时获取信息，提升了数据处理能力与及时响应能力。

图5为本发明实施例中一种TOF3D点云分割障碍物的步骤流程图。如图5所示，本发明实施例中一种TOF3D点云分割障碍物的方法包括如下步骤：

步骤S31：将所述双目深度数据与所述TOF深度数据对齐。

在本步骤中，双目深度数据与TOF深度数据对齐是后续操作的基础。如果在前述步骤中已经对齐，则本步骤可以跳过。

步骤S32：在所述TOF3D点云中将距离所述平面的距离不大于所述第一阈值的像素点标记为地面附近部分，并将距离所述平面的距离大于所述第一阈值的像素点标记为地面附近以上部分。

在本步骤中，对TOF3D点云中的数据根据距离平面的距离分别进行标记。其中地面附近部分的数据需要根据双目深度数据进行校正，并识别障碍物，而地面附近以上部分数据则无需再进行校正。

步骤S33：计算所述地面附近部分中的每个像素点的法向量，并计算其与地面法向量的夹角a。

在本步骤中，以像素点为单位计算法向量。本步骤中的地面是指与所述像素点最接近的地面区域，故可取该地面区域的像素点法向量均值作为地面法向量。需要说明的是，所述区域不是所有地面像素的集合，而是所有地面像素中的部分。

步骤S34：当夹角a大于第二阈值时，将该像素点标记为第一像素。

在本步骤中，当夹角a大于第二阈值时，可知其与地面的角度较大，可能是障碍物的一部分。第二阈值的取值可以根据不同的应用场景选择。比如，装有磁砖的地面较为光滑，夹角a可以较小，以提高对于细小障碍物的识别能力。破旧路面较为粗糙，夹角a可以较大，以提高识别的稳定性。通常，夹角a可以是15、20、25、30、35、40度或其他的角度。

步骤S35：当相邻的所述第一像素的数量大于第三阈值时，将所述第一像素所属的物体标记为障碍物。

在本步骤中，单个像素点可能为飞点。数量过少的相邻像素点可能是地面不平整导致的，因此需要设置第三阈值，以过滤掉上述两种情况。在识别第一像素时，还需要同时对于物体进行识别，获得可能为同一物体的部分，比如根据像素法向量的突变进行判断。

本实施例根据法向量信息识别出障碍物，能够识别细小障碍物，同时又过滤掉飞点及表面缺陷的影响，取得识别度与稳定性的平衡，可以在各种应用场所中取得较好的识别效果。

图6为本发明实施例中一种利用双目数据校正TOF数据的步骤流程图。如图6所示，本发明实施例中一种利用双目数据校正TOF数据的方法包括如下步骤：

S41：将所述双目深度数据和所述TOF深度数据对齐。

在本步骤中，将双目深度数据与TOF深度数据对齐是后续步骤的基础。如果双目深度数据与TOF深度数据在前述步骤中已经对齐，则本步骤可以跳过。

S42：利用所述双目深度数据，对所述障碍物的对应的所述TOF深度数据进行校正。

在本步骤中，由于双目深度数据精度更高，所以利用双目深度数据对对应的TOF深度数据进行校正，以使得TOF数据更加准确。由于双目采用光斑等技术，其获得的精确数据并不是连续的，因此只能对TOF深度数据中的部分数据进行校正。本步骤执行完成后，需要执行步骤S43。

S43：根据校正过的所述TOF深度数据，对未校正的所述TOF深度数据进行校正。

在本步骤中，在3D点云中，利用校正后的TOF深度数据对相邻的、未校正的TOF深度数据进行校正。由于校正后的TOF深度数据是相互独立的，并且之间存在着未校正的数据，因而存在着数据突变等情况。利用算法可以对未校正的TOF深度数据拉回，比如线性回归、局部加权回归等算法。

本实施例通过双目深度数据对TOF深度数据进行校正，并在TOF深度数据中利用校正后的数据对未校正的数据进行回归，从而使得TOF深度数据更加准确全面，从而可以获得高精度深度数据。

图7为本发明实施例中一种双目深度数据与TOF深度数据深度融合的装置的结构示意图。如图7所示，本发明实施例中一种双目深度数据与TOF深度数据深度融合的装置包括：

获取模块100，用于获取同一场景的双目深度数据和TOF深度数据，并分别生成双目3D点云和TOF3D点云；

双目模块200，用于在所述双目3D点云中识别出平面，并进行平面拟合；

TOF模块300，用于在所述TOF3D点云中识别出地面附近部分与地面附近以上部分，并依据所述地面附近部分表面的法向量信息，分割出障碍物；其中，所述地面附近部分是指距离地面在第一阈值内的点云部分；

校正模块400，用于利用所述双目深度数据校正所述TOF深度数据中所述障碍物的深度值；

融合模块500，用于融合所述双目深度数据与校正后的所述TOF深度数据，得到高精度深度数据。

本实施例既可以设置在深度相机内，又可以设置在深度相机外。本实施例通过对深度数据的处理与融合，得到高精度深度数据，可以提高深度数据的准确性，尤其对于细小障碍物具有较好的识别能力。本实施例的参数还可以根据不同的场景进行调整，使其在各种场景中均可以获得最佳性能。

图8为本发明实施例中一种双目模块结构示意图。如图8所示，相比于前述实施例，本实施例中的双目模块200包括：

中心点单元210，用于在所述双目3D点云中识别出地面，并识别出相邻地面的分割线；

分割单元220，用于根据所述分割线将所述地面划分为第一部分和第二部分；

拟合单元230，用于对所述第一部分和所述第二部分分别进行平面拟合。

图9为本发明实施例中另一种双目模块结构示意图。如图9所示，相比于前述实施例，本实施例中的双目模块200包括：

继承单元240，用于获取前一图像中分割线位置；

微调单元250，用于在当前图像上，根据所述分割线位置向外扩展得到扩展区域，并在所述扩展区域内通过法向量方向确定当前图像分割线位置；

分割单元220，用于根据所述分割线将所述地面划分为第一部分和第二部分；

拟合单元230，用于对所述第一部分和所述第二部分分别进行平面拟合。

图10为本发明实施例中一种TOF模块结构示意图。如图10所示，相比于前述实施例，本实施例中的TOF模块300包括：

对齐单元310，用于将所述双目深度数据与所述TOF深度数据对齐；

第一标记单元320，用于在所述TOF3D点云中将距离所述平面的距离不大于所述第一阈值的像素点标记为地面附近部分，并将距离所述平面的距离大于所述第一阈值的像素点标记为地面附近以上部分；

法向量单元330，用于计算所述地面附近部分中的每个像素点的法向量，并计算其与地面法向量的夹角a；

第二标记单元340，用于当夹角a大于第二阈值时，将该像素点标记为第一像素；

第三标记单元350，用于当相邻的所述第一像素的数量大于第三阈值时，将所述第一像素所属的物体标记为障碍物。

图11为本发明实施例中一种校正模块结构示意图。如图11所示，相比于前述实施例，本实施例中的校正模块400包括：

对齐单元310，用于将所述双目深度数据和所述TOF深度数据对齐；

第一校正单元420，用于所述双目深度数据，对所述障碍物的对应的所述TOF深度数据进行校正；

第二校正单元430，用于根据校正过的所述TOF深度数据，对未校正的所述TOF深度数据进行校正。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种双目深度数据与TOF深度数据深度融合的方法，其特征在于，包括如下步骤：

步骤S1:获取同一场景的双目深度数据和TOF深度数据，并分别生成双目3D点云和TOF3D点云；

步骤S2：在所述双目3D点云中识别出平面，并进行平面拟合；

步骤S3：在所述TOF3D点云中识别出地面附近部分与地面附近以上部分，并依据所述地面附近部分表面的法向量信息，分割出障碍物；其中，所述地面附近部分是指距离地面在第一阈值内的点云部分；

步骤S4：利用所述双目深度数据校正所述TOF深度数据中所述障碍物的深度值；

步骤S5：融合所述双目深度数据与校正后的所述TOF深度数据，得到高精度深度数据。

2.根据权利要求1所述的一种双目深度数据与TOF深度数据深度融合的方法，其特征在于，所述步骤S2包括：

S21:在所述双目3D点云中识别出地面，并识别出相邻地面的分割线；

S22：根据所述分割线将所述地面划分为第一部分和第二部分；

S23：对所述第一部分和所述第二部分分别进行平面拟合。

3.根据权利要求1所述的一种双目深度数据与TOF深度数据深度融合的方法，其特征在于，所述步骤S2包括：

S24:获取前一图像中分割线位置；

S25：在当前图像上，根据所述分割线位置向外扩展得到扩展区域，并在所述扩展区域内通过法向量方向确定当前图像分割线位置；

S22：根据所述分割线将所述地面划分为第一部分和第二部分；

S23：对所述第一部分和所述第二部分分别进行平面拟合。

4.根据权利要求1所述的一种双目深度数据与TOF深度数据深度融合的方法，其特征在于，所述步骤S3包括：

步骤S31：将所述双目深度数据与所述TOF深度数据对齐；

步骤S32：在所述TOF3D点云中将距离所述平面的距离不大于所述第一阈值的像素点标记为地面附近部分，并将距离所述平面的距离大于所述第一阈值的像素点标记为地面附近以上部分；

步骤S33：计算所述地面附近部分中的每个像素点的法向量，并计算其与地面法向量的夹角a；

步骤S34：当夹角a大于第二阈值时，将该像素点标记为第一像素；

步骤S35：当相邻的所述第一像素的数量大于第三阈值时，将所述第一像素所属的物体标记为障碍物。

5.根据权利要求1所述的一种双目深度数据与TOF深度数据深度融合的方法，其特征在于，所述步骤S4包括：

S41：将所述双目深度数据和所述TOF深度数据对齐；

S42：利用所述双目深度数据，对所述障碍物的对应的所述TOF深度数据进行校正；

S43：根据校正过的所述TOF深度数据，对未校正的所述TOF深度数据进行校正。

6.一种双目深度数据与TOF深度数据深度融合的装置，其特征在于，包括：

获取模块，用于获取同一场景的双目深度数据和TOF深度数据，并分别生成双目3D点云和TOF3D点云；

双目模块，用于在所述双目3D点云中识别出平面，并进行平面拟合；

TOF模块，用于在所述TOF3D点云中识别出地面附近部分与地面附近以上部分，并依据所述地面附近部分表面的法向量信息，分割出障碍物；其中，所述地面附近部分是指距离地面在第一阈值内的点云部分；

校正模块，用于利用所述双目深度数据校正所述TOF深度数据中所述障碍物的深度值；

融合模块，用于融合所述双目深度数据与校正后的所述TOF深度数据，得到高精度深度数据。

7.根据权利要求6所述的一种双目深度数据与TOF深度数据深度融合的装置，其特征在于，所述双目模块包括：

中心点单元，用于在所述双目3D点云中识别出地面，并识别出相邻地面的分割线；

分割单元，用于根据所述分割线将所述地面划分为第一部分和第二部分；

拟合单元，用于对所述第一部分和所述第二部分分别进行平面拟合。

8.根据权利要求6所述的一种双目深度数据与TOF深度数据深度融合的装置，其特征在于，所述双目模块包括：

继承单元，用于获取前一图像中分割线位置；

微调单元，用于在当前图像上，根据所述分割线位置向外扩展得到扩展区域，并在所述扩展区域内通过法向量方向确定当前图像分割线位置；

分割单元，用于根据所述分割线将所述地面划分为第一部分和第二部分；

拟合单元，用于对所述第一部分和所述第二部分分别进行平面拟合。

9.根据权利要求6所述的一种双目深度数据与TOF深度数据深度融合的装置，其特征在于，所述TOF模块包括：

对齐单元，用于将所述双目深度数据与所述TOF深度数据对齐；

第一标记单元，用于在所述TOF3D点云中将距离所述平面的距离不大于所述第一阈值的像素点标记为地面附近部分，并将距离所述平面的距离大于所述第一阈值的像素点标记为地面附近以上部分；

法向量单元，用于计算所述地面附近部分中的每个像素点的法向量，并计算其与地面法向量的夹角a；

第二标记单元，用于当夹角a大于第二阈值时，将该像素点标记为第一像素；

第三标记单元，用于当相邻的所述第一像素的数量大于第三阈值时，将所述第一像素所属的物体标记为障碍物。

10.根据权利要求6所述的一种双目深度数据与TOF深度数据深度融合的装置，其特征在于，所述校正模块包括：

对齐单元，用于将所述双目深度数据和所述TOF深度数据对齐；

第一校正单元，用于所述双目深度数据，对所述障碍物的对应的所述TOF深度数据进行校正；

第二校正单元，用于根据校正过的所述TOF深度数据，对未校正的所述TOF深度数据进行校正。