CN114782636A - 三维重建方法、装置及系统 - Google Patents

Abstract

本发明涉及三维重建技术领域，具体公开了一种三维重建方法，其中，包括：对毫米波雷达装置和视觉检测装置进行标定，并获得标定结果；获取稀疏点云数据，并根据标定结果将稀疏点云数据投影至视觉图像中，其中，稀疏点云数据为毫米波雷达装置针对目标场景的点云数据采集结果，视觉图像为视觉检测装置针对目标场景的图像采集结果；将视觉图像所对应的视觉图像特征点与稀疏点云数据进行融合，获得稠密点云数据；对稠密点云数据进行快速三角化处理后获得三维平面；将视觉图像中对应的图像像素与三维平面进行空间匹配，获得目标场景的三维重建结果。本发明还公开了一种三维重建装置及系统。本发明提供的三维重建方法具有成本低且实时性高的优势。

Description

三维重建方法、装置及系统

技术领域

本发明涉及三维重建技术领域，尤其涉及一种三维重建方法、三维重建装置及三维重建系统。

背景技术

三维重建技术已经被广泛应用在各个领域，如场景仿真、场景重建、智能驾驶、模拟实验、模型设计等，当前在不同的领域对三维重建的精度、速度等性能要求各不相同。

传统的三维重建已能达到较高的模型精度，但其通常需要耗费大量时间采集三维点云数据，现有方法多基于高精度点云传感器如激光雷达、Kinect、双目视觉等进行扫描生成稠密点云。而对于一些远距离目标也有采用逆合成孔径雷达的方法，如公开号为CN114067064A、发明名称为基于多视角雷达图像的目标三维重建方法的发明申请，其主要应用于空间目标的三维重建；另外，如公开号为CN113506372A、发明名称为一种环境重建方法及装置的发明申请，其提出的为使用激光雷达结合毫米波雷达生成伪点云图像，并结合双目视觉图像利用深度学习模型生成特征图，再进行泊松重建，从而生成三维表面，该方法虽提供了较高精度的重建效果，但其设备成本较高，并且及时性较差，难以做到实时、快速地三维重建。

因此，现有技术中的这些三维重建的缺陷主要表现在：成本高昂，且难以应付在需要实时三维重建的应用场景，如智能驾驶、实时模拟等。这些场景通常不需要极高精度的模型，但需要及时反映出被重建的物体轮廓，而传统重建方法多注重于精度和模型细节的重现，在快速重建、实时重建等方面还有所欠缺。此外，高精度重建也带来更高昂的设备成本、计算成本。

综上，如何提高一种成本低且能够满足实时性重建的方法成为本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了一种三维重建方法、三维重建装置及三维重建系统，解决相关技术中存在的三维重建成本高且实时性低的问题。

作为本发明的第一个方面，提供一种三维重建方法，其中，包括：

对毫米波雷达装置和视觉检测装置进行标定，并获得标定结果；

获取稀疏点云数据，并根据所述标定结果将所述稀疏点云数据投影至视觉图像中，其中，所述稀疏点云数据为所述毫米波雷达装置针对目标场景的点云数据采集结果，所述视觉图像为所述视觉检测装置针对所述目标场景的图像采集结果；

将所述视觉图像所对应的视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据；

对所述稠密点云数据进行快速三角化处理后获得三维平面；

将所述视觉图像中对应的图像像素与所述三维平面进行空间匹配，获得所述目标场景的三维重建结果。

进一步地，获取稀疏点云数据，并根据所述标定结果将所述稀疏点云数据投影至视觉图像中包括：

将获取到的所述稀疏点云数据根据所述标定结果从三维空间投影到所述视觉图像对应的二维空间，并保留所述稀疏点云数据的深度值。

进一步地，将所述视觉图像所对应的视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据，包括：

提取所述视觉图像的特征点，获得所述视觉图像特征点；

确定所述视觉图像特征点的深度值；

将确定深度值后的所述视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据。

进一步地，确定所述视觉图像特征点的深度值，包括：

遍历所有视觉图像特征点，并以每个所述视觉图像特征点为圆心、以预设长度范围内的任意一长度值为半径作与每个所述视觉图像特征点对应的圆；

计算每个所述视觉图像特征点所对应的圆内包括的所有稀疏点云数据的深度值的平均值；

将所述平均值确定为对应的所述视觉图像特征点的深度值。

进一步地，确定所述视觉图像特征点的深度值，还包括：

若视觉图像特征点所对应的圆内没有稀疏点云数据，则扩大该视觉图像特征点所对应的圆的半径；

若该视觉图像特征点所对应的圆的半径达到所述预设长度范围的长度上限时，所对应的圆内仍没有稀疏点云数据，则舍弃该视觉图像特征点。

进一步地，将确定深度值后的所述视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据，包括：

遍历确定深度值的所述视觉图像特征点，并将所述视觉图像特征点的深度值作为三维空间的y值；

将所有确定深度值后的视觉图像特征点映射到三维空间，其中所述三维空间中包括所述稀疏点云数据；

映射后的视觉图像特征点作为扩充点云与所述三维空间中的稀疏点云数据进行融合，形成所述稠密点云数据。

进一步地，对所述稠密点云数据进行快速三角化处理后获得三维平面，包括：

针对所述稠密点云数据所处的三维空间，建立一个超级四面体，其中所述超级四面体能够包括所有所述稠密点云数据；

在所述超级四面体内针对每个所述稠密点云数据均建立普通四面体，得到位于所述超级四面体内的多个普通四面体；

对每个所述普通四面体分别做外接球；

对每个外接球均进行Delaunay三角剖分算法处理，直至每个所述稠密点云数据所对应的普通四面体均满足局部Delaunay，则确定所有稠密点云数据均被所述超级四面体所包括；

剔除所述超级四面体的顶点，并剔除所述超级四面体的所有内部点，保留所述超级四面体的表面三角形网格，获得所述三维平面。

进一步地，将所述视觉图像中对应的图像像素与所述三维平面进行空间匹配，获得所述目标场景的三维重建结果，包括：

将所述三维平面与所述视觉图像对齐，其中包括朝向统一且所述三维平面中各个点的横纵坐标与所述视觉图像的像素点的横纵坐标一一对应；

将所有在三维平面对应点的横纵坐标进行匹配，以获得所有具有相同横纵坐标的所述视觉图像的像素点；

将所述视觉图像的像素点的RGB信息附着到对应的所述三维平面的点上，以完成颜色匹配，获得所述目标场景的三维重建结果。

作为本发明的另一个方面，提供一种三维重建装置，其中，包括：

标定模块，用于对毫米波雷达装置和视觉检测装置进行标定，并获得标定结果；

投影模块，用于获取稀疏点云数据，并根据所述标定结果将所述稀疏点云数据投影至视觉图像中，其中，所述稀疏点云数据为所述毫米波雷达装置针对目标场景的点云数据采集结果，所述视觉图像为所述视觉检测装置针对所述目标场景的图像采集结果；

数据融合模块，用于将所述视觉图像所对应的视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据；

处理模块，用于对所述稠密点云数据进行快速三角化处理后获得三维平面；

空间匹配模块，用于将所述视觉图像中对应的图像像素与所述三维平面进行空间匹配，获得所述目标场景的三维重建结果。

作为本发明的另一个方面，提供一种三维重建系统，其中，包括：毫米波雷达装置、视觉检测装置和前文所述的三维重建装置，所述毫米波雷达装置和所述视觉检测装置均与所述三维重建装置通信连接；

所述毫米波雷达装置用于对目标场景进行数据采集，获得稀疏点云数据；

所述视觉检测装置用于对目标场景进行图像采集，获得视觉图像；

所述三维重建装置能够将所述稀疏点云数据与所述视觉图像进行数据融合后获得稠密点云数据，并能够根据所述稠密点云数据获得目标场景的三维重建结果。

本发明提供的三维重建方法，通过毫米波雷达装置的稀疏点云数据与视觉检测装置的视觉图像进行数据融合，实现点云数据的增稠后进而实现三维重建，该方法不仅能解决免单独的毫米波雷达装置的点云数据稀疏不利于三维重建的问题，还能够解决单独视觉检测装置的空间维度单一的问题，通过将二者进行融合，可以有效提高点云数据质量，并且由于毫米波雷达装置与视觉检测装置均成本低廉，因而具有成本低的优势，另外，由于点云数据与视觉图像数据融合后进行三维重建还具有计算速度快进而重建速度快的优势，因此，能够满足一些智能驾驶等应用场景下三维重建的低成本以及高实时性的要求。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1为本发明提供的三维重建方法的流程图。

图2为本发明提供的三维重建装置的结构框图。

图3为本发明提供的三维重建系统的结构框图。

图4为本发明提供的三维重建系统的具体工作流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。

为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本实施例中提供了一种三维重建方法，图1是根据本发明实施例提供的三维重建方法的流程图，如图1所示，包括：

S110、对毫米波雷达装置和视觉检测装置进行标定，并获得标定结果；

应当理解的是，如要实现毫米波雷达装置采集数据与视觉检测装置采集数据的融合，需要将两者进行坐标系统一，具体通过标定的形式获得标定结果实现坐标系统一。在本发明实施例中，所述标定结果具体可以理解为一种映射方式，即毫米波雷达装置的采集数据与视觉检测装置采集数据之间的映射方式，或者是对应关系。

S120、获取稀疏点云数据，并根据所述标定结果将所述稀疏点云数据投影至视觉图像中，其中，所述稀疏点云数据为所述毫米波雷达装置针对目标场景的点云数据采集结果，所述视觉图像为所述视觉检测装置针对所述目标场景的图像采集结果；

在本发明实施例中，针对目标场景，可以通过毫米波雷达装置进行检测，并获得点云数据采集结果，该点云数据采集结果具体为稀疏点云数据，即毫米波雷达装置单独获取到的点云数据相对比较稀疏。而视觉检测装置针对目标场景进行图像采集获得视觉图像，通过将稀疏点云数据投影至视觉图像中，以实现对稀疏点云数据的增稠，即将本来稀疏的点云数据通过与视觉图像的融合，增加数据点，以便于提高点云数据质量，以实现三维重建。

应当理解的是，所述目标场景具体可以为智能驾驶场景，或者实时模拟场景，例如针对智能驾驶场景，可以通过毫米波雷达装置与视觉采集装置相结合的方式，对智能驾驶场景进行数据采集，然后对采集后的数据进行相融合，最终实现三维重建，这种方式不仅成本低，且实时性高。

S130、将所述视觉图像所对应的视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据；

在本发明实施例中，如前文所述，通过将稀疏点云数据投影至视觉图像中，以便于实现稀疏点云数据的增稠。具体地，在实现点云数据增稠时，需要对视觉图像进行特征点提取，以获得视觉图像特征点，然后将稀疏点云数据与视觉图像特征点进行融合，即获得增稠后的稠密点云数据。

S140、对所述稠密点云数据进行快速三角化处理后获得三维平面；

在本发明实施例中，为了实现三维重建，需要对上述融合后的稠密点云数据进行三角化处理，才能够获得三维表面的重建。

S150、将所述视觉图像中对应的图像像素与所述三维平面进行空间匹配，获得所述目标场景的三维重建结果。

具体地，在获得三维重建后的三维平面后，需要通过空间匹配的方式对单位平面进行颜色还原，获得最终的三维重建结果。

本发明实施例提供的三维重建方法，通过毫米波雷达装置的稀疏点云数据与视觉检测装置的视觉图像进行数据融合，实现点云数据的增稠后进而实现三维重建，该方法不仅能解决免单独的毫米波雷达装置的点云数据稀疏不利于三维重建的问题，还能够解决单独视觉检测装置的空间维度单一的问题，通过将二者进行融合，可以有效提高点云数据质量，并且由于毫米波雷达装置与视觉检测装置均成本低廉，因而具有成本低的优势，另外，由于点云数据与视觉图像数据融合后进行三维重建还具有计算速度快进而重建速度快的优势，因此，能够满足一些智能驾驶等应用场景下三维重建的低成本以及高实时性的要求。

在本发明实施例中，所述毫米波雷达装置具体可以为4D毫米波雷达，所述视觉检测装置具体可以采用摄像机实现。

在一些实施方式中，作为毫米波雷达装置与视觉检测装置进行标定的具体实现，步骤S110具体可以包括：

S111、将所述毫米波雷达装置的坐标系与所述视觉检测装置的坐标系进行坐标系标定，其中所述视觉检测装置的图像所在坐标系为图像坐标系，所述毫米波雷达装置的毫米波雷达信号采用极坐标系；

S112、将所述毫米波雷达装置的毫米波雷达信号所述极坐标系转换到世界坐标系；

在本发明实施例中，所述极坐标系转换到所述世界坐标系的具体转换公式为：

其中，在上述转换公式中，(x_w,y_w,z_w)表示世界坐标系中的坐标，L表示雷达坐标点到极坐标系原点的距离，α表示雷达的目标方位角，即目标点与极坐标系原点的连线与水平轴形成的夹角，y₀表示极坐标系与世界坐标系在垂直方向上的距离。

此处应当理解的是，在极坐标系中有多个雷达坐标点，此处L是广义上的表示雷达坐标点与极坐标系原点之间的距离，而目标点是极坐标系中的一点，即理解为是一个目标雷达坐标点，此处目标点与极坐标系原点的距离也是L，α表示目标点在极坐标系中的方位角，即目标方位角。

S113、将所述世界坐标系下的毫米波雷达信号转换到图像坐标系。

具体地，将世界坐标系转换到图像坐标系的具体转换公式为：

其中，(u,v)表示世界坐标系转换后的像素坐标，dx和dy分别表示每个像素点在像素坐标系x轴方向和y轴方向上的尺寸，s′表示视觉检测装置成像倾斜因子，u₀,v₀表示像素坐标系原点在图像坐标系下的坐标，f表示视觉检测装置的焦距，R表示旋转矩阵，T表示平移矩阵，t表示平移向量，P_c表示所述图像坐标系。

在一些实施方式中，为了实现对毫米波雷达装置的稀疏点云数据的增稠，具体地，步骤S120具体可以包括：

将获取到的所述稀疏点云数据根据所述标定结果从三维空间投影到所述视觉图像对应的二维空间，并保留所述稀疏点云数据的深度值。

具体地，将所述毫米波雷达装置获取到的三维点云即稀疏点云数据投影至图像平面xz轴，并保留稀疏点云数据的深度信息。

在一些实施方式中，为了实现毫米波雷达装置的稀疏点云数据与视觉图像的融合，步骤S130具体可以包括：

S131、提取所述视觉图像的特征点，获得所述视觉图像特征点；

具体地，在本发明实施例中，通过ORB(Oriented Fast and Rotated Brief，定向快速旋转)算法对当前所述视觉图像进行特征点提取，获得所述视觉图像特征点。

应当理解的是，所述ORB算法即为一种图像特征算法，能够快速提取到视觉图像的特征点，具体提取实现过程为本领域技术人员所熟知，此处不再赘述。

S132、确定所述视觉图像特征点的深度值；

在本发明实施例中，视觉图像特征点的深度值确定的具体过程可以包括如下实施例：

a1、遍历所有视觉图像特征点，并以每个所述视觉图像特征点为圆心、以预设长度范围内的任意一长度值为半径作与每个所述视觉图像特征点对应的圆；

在本发明实施例中，遍历前文提取到的视觉图像特征点，例如，前文提取到1000个视觉图像特征点，则针对这1000个视觉图像特征点均建立圆，即将每个视觉图像特征点作为圆心，并且在平面上以r为半径作圆，其中，r_nin<r<r_max，此处可以理解的是，半径r的范围具体可以根据需要进行设定，本发明实施例以r_min表示预设长度范围的下限，即半径最小值，以r_max表示预设长度范围的上限，即半径最大值。

通过该方式，可以获得每个视觉图像特征点对应的圆，例如1000个视觉图像特征点，则最终得到1000个圆。

a2、计算每个所述视觉图像特征点所对应的圆内包括的所有稀疏点云数据的深度值的平均值；

针对每个视觉图像特征点，计算其所对应的圆内包括的所有点云的深度值的和，并根据该和计算其所对应的圆内包括的所有点云的深度值的平均值。

a3、将所述平均值确定为对应的所述视觉图像特征点的深度值。

在本发明实施例中，根据步骤a2计算后的平均值确定其所对应的视觉图像特征点的深度值。

此处还需要说明的是，若视觉图像特征点所对应的圆内没有稀疏点云数据，则扩大该视觉图像特征点所对应的圆的半径；

若该视觉图像特征点所对应的圆的半径达到所述预设长度范围的长度上限时，所对应的圆内仍没有稀疏点云数据，则舍弃该视觉图像特征点。

应当理解的是，若某一个视觉图像特征点所对应的圆内没有包含任意点云，并且通过扩大该视觉图像特征点所对应的圆的半径r达到上限r_max后仍然没有包含任何点云，则将该视觉图像特征点视为孤立点，并舍弃该视觉图像特征点。

通过该步骤S132的具体过程，可以确定所有视觉图像特征点的深度值。

S133、将确定深度值后的所述视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据。

在本发明实施例中，视觉图像特征点与稀疏点云数据进行融合的具体过程可以包括如下实施例：

b1、遍历确定深度值的所述视觉图像特征点，并将所述视觉图像特征点的深度值作为三维空间的y值；

在本发明实施例中，遍历步骤S132中被赋予深度值的所有视觉图像特征点，并将每个视觉图像特征点的深度值作为三维空间的y值。

b2、将所有确定深度值后的视觉图像特征点映射到三维空间，其中所述三维空间中包括所述稀疏点云数据；

b3、映射后的视觉图像特征点作为扩充点云与所述三维空间中的稀疏点云数据进行融合，形成所述稠密点云数据。

在xyz三维点云坐标系中，将所有确定深度值后的视觉图像特征点映射到该空间，此时所述视觉图像特征点作为扩充点云与原有的所述稀疏点云数据相结合，形成所述稠密点云数据。

在一些实施方式中，为了能够获得三维平面，具体地，步骤S140具体可以包括：

S141、针对所述稠密点云数据所处的三维空间，建立一个超级四面体，其中所述超级四面体能够包括所有所述稠密点云数据；

在本发明实施例中，在点云数据所处的三维空间中，构造一个超级四面体，使得所有点都能够被包括在内。

S142、在所述超级四面体内针对每个所述稠密点云数据均建立普通四面体，得到位于所述超级四面体内的多个普通四面体；

具体地，随机选择一个点，与超级四面体的四个顶点连线，构成四个普通新四面体；随机选择第二个点，该点必定落在某一四面体中，将该点与包含它的四面体的四个顶点连接，将该四面体分成新的四个普通四面体。依次类推，均通过随机选择某一个点的方式，针对每个稠密点云数据均建立与其对应的铺铜四面体，从而得到位于超级四面体内的多个普通四面体

S143、对每个所述普通四面体分别做外接球；

具体地，针对超级四面体内的多个普通四面体均分别做外接球，以便于进行Delaunay三角剖分算法处理。

S144、对每个外接球均进行Delaunay三角剖分算法处理，直至每个所述稠密点云数据所对应的普通四面体均满足局部Delaunay，则确定所有稠密点云数据均被所述超级四面体所包括；

具体地，对于步骤S142中获得的每个普通四面体分别做外接球，若球内不包含任何其他点，则视为该普通四面体符合Delaunay三角剖分，继续对下一个普通四面体进行判断；若该外接球包含了任意其他点在内，则视为该普通四面体不符合Delaunay三角剖分，此时将进行翻转边操作，直到S142中被分成的四个普通四面体都满足局部Delaunay。

此处应当理解的是，针对随机选择的第一个点，其与超级四面体的四个定点连线构成四个普通四面体，由于只有一个点，因此该点是肯定被包括在外接球内的，所以该第一个点所对应的四个普通四面体是肯定符合合Delaunay三角剖分的，即理论上可以无需对随机选择的第一个点进行判断，即可确定第一个点所对应的普通四面体是满足局部Delaunay。

从被随机选择的第二个点开始，则需要针对其所构建的普通四面体的外接球进行判断，即判断外接球内是否包括其他点，此处的其他点具体可以指的是构成该点云中构成与其对应的普通四面体的四个点之外的其他任意点，例如，被随机选择的第三个点在进行判断时，其外接球内包括了之前被随机选择的第二个点，则这外接球所对应的普通四面体不符合Delaunay三角剖分，此时将进行翻转边操作，然后再进行判断，直至该普通四面体所对应的外接球内只包括被随机选择的第三个点以及四个顶点，则确定该普通四面体符合符合Delaunay三角剖分。

需要说明的是，在超级四面体内针对稠密点云数据构建四面体时，均是随机选择任意一个稠密点云数据进行构建的，而不是按照某一顺序选择。而且针对每一个随机选择的稠密点云数据均重复上述建立普通四面体、外接球以及进行Delaunay三角剖分算法处理的步骤，并且使得该随机选择的点所对应的普通四面体满足局部Delaunay，直至全部所述稠密点云数据被包括进所述超级四面体。

S145、剔除所述超级四面体的顶点，并剔除所述超级四面体的所有内部点，保留所述超级四面体的表面三角形网格，获得所述三维平面。

在本发明实施例中，剔除超级四面体的顶点，并剔除所有内部点，仅保留表面三角形网格，此时三维重建过程结束。

在一些实施方式中，为了获得最终的三维重建结果，步骤S150具体可以包括：

S151、将所述三维平面与所述视觉图像对齐，其中包括朝向统一且所述三维平面中各个点的横纵坐标与所述视觉图像的像素点的横纵坐标一一对应；

具体地，将上述步骤S145获得的三维平面与视觉检测装置采集到的视觉图像(即原始图像)对齐，即使其朝向统一，点云中各个点的横纵坐标与原始图像像素点的横纵坐标可一一对应。

S152、将所有在三维平面对应点的横纵坐标进行匹配，以获得所有具有相同横纵坐标的所述视觉图像的像素点；

具体地，将所有在三维表面对应点x,z(横纵坐标)坐标进行匹配，找出所有拥有相同x,z坐标的图像像素点。

S153、将所述视觉图像的像素点的RGB信息附着到对应的所述三维平面的点上，以完成颜色匹配，获得所述目标场景的三维重建结果。

具体地，将对应的图像像素点的RGB信息附着到点云，完成颜色匹配。

综上，本发明实施例提供的三维重建方法，可以通过采用4D毫米波雷达与单目视觉相融合的方式进行三维重建，能够降低当前三维重建的设备成本，降低了传统三维重建方法的时间成本和计算量，另外相比单传感器方法，本发明的三维重建方法在鲁棒性、稳定性上均有优势。

作为本发明的另一实施例，提供一种三维重建装置10，其中，如图2所示，包括：

标定模块100，用于对毫米波雷达装置和视觉检测装置进行标定，并获得标定结果；

投影模块200，用于获取稀疏点云数据，并根据所述标定结果将所述稀疏点云数据投影至视觉图像中，其中，所述稀疏点云数据为所述毫米波雷达装置针对目标场景的点云数据采集结果，所述视觉图像为所述视觉检测装置针对所述目标场景的图像采集结果；

数据融合模块300，用于将所述视觉图像所对应的视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据；

处理模块400，用于对所述稠密点云数据进行快速三角化处理后获得三维平面；

空间匹配模块500，用于将所述视觉图像中对应的图像像素与所述三维平面进行空间匹配，获得所述目标场景的三维重建结果。

综上，本发明实施例提供的三维重建装置，通过毫米波雷达装置的稀疏点云数据与视觉检测装置的视觉图像进行数据融合，实现点云数据的增稠后进而实现三维重建，该方法不仅能解决免单独的毫米波雷达装置的点云数据稀疏不利于三维重建的问题，还能够解决单独视觉检测装置的空间维度单一的问题，通过将二者进行融合，可以有效提高点云数据质量，并且由于毫米波雷达装置与视觉检测装置均成本低廉，因而具有成本低的优势，另外，由于点云数据与视觉图像数据融合后进行三维重建还具有计算速度快进而重建速度快的优势，因此，能够满足一些智能驾驶等应用场景下三维重建的低成本以及高实时性的要求。

关于本发明实施例提供的三维重建装置的具体工作原理可以参照前文的三维重建方法的描述，此处不再赘述。

作为本发明的另一实施例，提供一种三维重建系统1，其中，如图3所示，包括：毫米波雷达装置20、视觉检测装置30和前文所述的三维重建装置10，所述毫米波雷达装置20和所述视觉检测装置30均与所述三维重建装置10通信连接；

所述毫米波雷达装置20用于对目标场景进行数据采集，获得稀疏点云数据；

所述视觉检测装置30用于对目标场景进行图像采集，获得视觉图像；

所述三维重建装置10能够将所述稀疏点云数据与所述视觉图像进行数据融合后获得稠密点云数据，并能够根据所述稠密点云数据获得目标场景的三维重建结果。

如图4所示，所述三维重建装置10能够将所述毫米波雷达装置20获取到的稀疏点云数据通过与视觉图像特征进行融合的方式实现点云增稠，以获得稠密点云数据。对稠密点云数据进行Delaunay三角剖分获得三维平面，将撒那威平面与视觉图像中的RGB信息进行空间匹配，获得三维重建结果。

关于本发明实施例提供的三维重建系统的工作原理可以参照前文的三维重建方法的描述，此处不再赘述。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (10)

1.一种三维重建方法，其特征在于，包括：

对毫米波雷达装置和视觉检测装置进行标定，并获得标定结果；

获取稀疏点云数据，并根据所述标定结果将所述稀疏点云数据投影至视觉图像中，其中，所述稀疏点云数据为所述毫米波雷达装置针对目标场景的点云数据采集结果，所述视觉图像为所述视觉检测装置针对所述目标场景的图像采集结果；

将所述视觉图像所对应的视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据；

对所述稠密点云数据进行快速三角化处理后获得三维平面；

将所述视觉图像中对应的图像像素与所述三维平面进行空间匹配，获得所述目标场景的三维重建结果。

2.根据权利要求1所述的方法，其特征在于，获取稀疏点云数据，并根据所述标定结果将所述稀疏点云数据投影至视觉图像中包括：

将获取到的所述稀疏点云数据根据所述标定结果从三维空间投影到所述视觉图像对应的二维空间，并保留所述稀疏点云数据的深度值。

3.根据权利要求1所述的方法，其特征在于，将所述视觉图像所对应的视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据，包括：

提取所述视觉图像的特征点，获得所述视觉图像特征点；

确定所述视觉图像特征点的深度值；

将确定深度值后的所述视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据。

4.根据权利要求3所述的方法，其特征在于，确定所述视觉图像特征点的深度值，包括：

遍历所有视觉图像特征点，并以每个所述视觉图像特征点为圆心、以预设长度范围内的任意一长度值为半径作与每个所述视觉图像特征点对应的圆；

计算每个所述视觉图像特征点所对应的圆内包括的所有稀疏点云数据的深度值的平均值；

将所述平均值确定为对应的所述视觉图像特征点的深度值。

5.根据权利要求4所述的方法，其特征在于，确定所述视觉图像特征点的深度值，还包括：

若视觉图像特征点所对应的圆内没有稀疏点云数据，则扩大该视觉图像特征点所对应的圆的半径；

若该视觉图像特征点所对应的圆的半径达到所述预设长度范围的长度上限时，所对应的圆内仍没有稀疏点云数据，则舍弃该视觉图像特征点。

6.根据权利要求3所述的方法，其特征在于，将确定深度值后的所述视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据，包括：

遍历确定深度值的所述视觉图像特征点，并将所述视觉图像特征点的深度值作为三维空间的y值；

将所有确定深度值后的视觉图像特征点映射到三维空间，其中所述三维空间中包括所述稀疏点云数据；

映射后的视觉图像特征点作为扩充点云与所述三维空间中的稀疏点云数据进行融合，形成所述稠密点云数据。

7.根据权利要求1所述的方法，其特征在于，对所述稠密点云数据进行快速三角化处理后获得三维平面，包括：

针对所述稠密点云数据所处的三维空间，建立一个超级四面体，其中所述超级四面体能够包括所有所述稠密点云数据；

在所述超级四面体内针对每个所述稠密点云数据均建立普通四面体，得到位于所述超级四面体内的多个普通四面体；

对每个所述普通四面体分别做外接球；

对每个外接球均进行Delaunay三角剖分算法处理，直至每个所述稠密点云数据所对应的普通四面体均满足局部Delaunay，则确定所有稠密点云数据均被所述超级四面体所包括；

剔除所述超级四面体的顶点，并剔除所述超级四面体的所有内部点，保留所述超级四面体的表面三角形网格，获得所述三维平面。

8.根据权利要求1所述的方法，其特征在于，将所述视觉图像中对应的图像像素与所述三维平面进行空间匹配，获得所述目标场景的三维重建结果，包括：

将所述三维平面与所述视觉图像对齐，其中包括朝向统一且所述三维平面中各个点的横纵坐标与所述视觉图像的像素点的横纵坐标一一对应；

将所有在三维平面对应点的横纵坐标进行匹配，以获得所有具有相同横纵坐标的所述视觉图像的像素点；

将所述视觉图像的像素点的RGB信息附着到对应的所述三维平面的点上，以完成颜色匹配，获得所述目标场景的三维重建结果。

9.一种三维重建装置，其特征在于，包括：

标定模块，用于对毫米波雷达装置和视觉检测装置进行标定，并获得标定结果；

投影模块，用于获取稀疏点云数据，并根据所述标定结果将所述稀疏点云数据投影至视觉图像中，其中，所述稀疏点云数据为所述毫米波雷达装置针对目标场景的点云数据采集结果，所述视觉图像为所述视觉检测装置针对所述目标场景的图像采集结果；

数据融合模块，用于将所述视觉图像所对应的视觉图像特征点与所述稀疏点云数据进行融合，获得稠密点云数据；

处理模块，用于对所述稠密点云数据进行快速三角化处理后获得三维平面；

空间匹配模块，用于将所述视觉图像中对应的图像像素与所述三维平面进行空间匹配，获得所述目标场景的三维重建结果。

10.一种三维重建系统，其特征在于，包括：毫米波雷达装置、视觉检测装置和权利要求9所述的三维重建装置，所述毫米波雷达装置和所述视觉检测装置均与所述三维重建装置通信连接；

所述毫米波雷达装置用于对目标场景进行数据采集，获得稀疏点云数据；

所述视觉检测装置用于对目标场景进行图像采集，获得视觉图像；

所述三维重建装置能够将所述稀疏点云数据与所述视觉图像进行数据融合后获得稠密点云数据，并能够根据所述稠密点云数据获得目标场景的三维重建结果。

Images