CN110415342A - 一种基于多融合传感器的三维点云重建装置与方法 - Google Patents

Abstract

本发明公开一种基于多融合传感器的三维点云重建装置与方法，所述装置包括：多融合传感器模块、系统数据处理模块、三维点云重建模块；所述方法包括：利用多融合传感器装置采集点云数据和视频图像，视频图像处理获取目标图像，包括目标态姿、位置、纹理信息；根据获取的原始点云与目标图像中的态姿位置信息，获取与原始点云对应的目标点云；对点云滤波以剔除杂乱点云；点云粗配准中包括对关键点质量分析；点云精配准；将配准后的点云输入点云重建单元，实现三维点云融合与重建。本发明通过提取与原始三维点云相对应的目标图像重建点云对应的特征点，获取目标三维空间位置信息、纹理、色彩信息，提高点云配准精度，有效减少误识别和跟踪丢失概率。

Description

一种基于多融合传感器的三维点云重建装置与方法

技术领域

本发明涉及计算机视觉及目标探测与识别、多传感器测量、三维重建等领域，尤其是涉及了一种基于多融合传感器的三维点云重建装置与方法。

背景技术

对于计算机视觉及目标探测与识别、多传感器测量技术的日臻成熟，计算机三维模型在人们当今的生和生产活动中，起着重要的基础性作用，对现实物体和场景建立真实、可靠的三维点云模型是很多三维系统的重要环节。建立模型的质量对3D技术在遗产保护、虚拟现实、电子游戏等诸多应用的实际效果有着相当重要的作用。

常用的三维重建方法，如利用视差法，模拟人类视觉系统对客观三维物体的感知方式，利用两个以上相机对同一个景物在不同位置进行成像，再根据两帧图像之间的视差图，转换为深度图，获得了物体的深度信息。此方法需要克服物体特征稀疏的问题，当纹理平坦时，计算得到的视差图存在大片的空白区域，点云的稠密程度很低。利用深度图像的方法，通过每帧图像的RGB图与深度图就能生成在当前相机坐标系下物体的点云，相邻两帧RGB图生成的两组点云进行匹配，计算出两帧相机的变换矩阵，就可以两组点云融合到世界坐标系。此方法计算得到的点云较为精确，且点云的稠密程度较高。但是其需要深度相机的协助，且对深度图的精度很敏感，在大范围重建场景中，深度相机的精度总是有限的，而深度相机的精度将直接关联重建点云的精度。

另外，点云采集设备的影响也是至关重要，点云质量受采集设备的精度、环境的干扰，以及被扫描物体的自身遮挡和材质问题的影响，直接使用扫描设备获取点云，得到的点云往往有大量的噪声、杂点和空洞，设备的快速移动会导致配准技术的失败，产生与真实数据误差较大的三维模型。

本发明公开一种基于多融合传感器的三维点云重建装置与方法，所述装置包括：多融合传感器模块、系统数据处理模块、三维点云重建模块。所述方法包括：利用多融合传感器装置中的激光雷达传感器采集点云数据，通过红外传感器与可见传感器获取的视频图像，对视频图像进行处理，获取目标图像，包括目标态姿、位置、纹理信息；根据获取的原始点云与目标图像中的态姿位置信息，获取与原始点云对应的目标点云；对点云滤波以剔除杂乱点云；点云配准，包括点云粗配准和精配准，其中点云粗配准中包括对关键点质量分析；将配准后的点云输入点云重建单元，实现点云融合与三维点云重建。

本发明通过提取与激光点云相对应的红外与可见光视频图像重建点云对应的特征点，获取目标三维空间位置信息、纹理、色彩信息，提高点云配准精度，对目标进行探测与识别的过程提供更加全面的信息，提高检测的快速性和对复杂环境的适应能力，减少误识别和跟踪丢失概率，可广泛用于目标探测与识别、遥感测绘、无人控制等领域。

发明内容

为解决上述问题，本发明的目的在于提供一种基于多融合传感器的三维点云重建装置与方法，装置中包括多融合传感器模块、系统数据处理模块、三维点云重建模块；所述方法包括：利用多融合传感器装置采集点云数据和视频图像，视频图像处理获取目标图像，包括目标态姿、位置、纹理信息；根据获取的原始点云与目标图像中的态姿位置信息，获取与原始点云对应的目标点云；对点云滤波以剔除杂乱点云；点云粗配准中包括对关键点质量分析；点云精配准；将配准后的点云输入点云融合与重建单元，进行三维点云重建。本发明通过提取与激光点云相对应的红外与可见光视频图像重建点云对应的特征点，获取目标三维空间位置信息、纹理、色彩信息，提高点云配准精度，减少误识别和跟踪丢失概率，实现可视化实时三维重建、三维路径规划和避障。

本发明提供的一种基于多融合传感器的三维点云重建装置，所述装置包括：多融合传感器模块、系统数据处理模块、三维点云重建模块。

其中，多融合传感器模块，包括激光雷达传感器、可见光传感器和红外传感器；所述可见光传感器和红外传感器与数据融合单元的输入端、与视频选择单元的输入端相连。

进一步的，利用所述激光雷达传感器获取原始三维点云、目标位置、态姿信息与三维坐标；

进一步的，利用所述红外传感器发射红外光束，获取目标红外波段，获取目标所在场景的红外视频；

进一步的，利用所述可见光传感器发出可见光光束，获取目标所在场景的可见光视频；

其中，系统数据处理模块，包括：视频选择跟踪单元、信号处理单元、视频图像处理单元、数据融合单元、数字时间转换单元、坐标实时转换单元。

进一步的，所述视频选择跟踪单元，在获取所述红外视频与所述可见光视频后，选择视频进行跟踪，将跟踪结果叠加在被跟踪视频上，以增强显示效果；视频选择跟踪单元与所述红外传感器、所述可见光传感器的输出端相连，与视频图像处理单元的输入端相连；

进一步的，所述视频图像处理单元，提取红外视频与可见光视频后，对视频帧按照1s间隔提取，视频图像处理单元对红外视频与可见光视频进行处理，提取图像帧，以每隔1s的时间间隔从视频流中提取出一帧图像，保存的图片格式为png、jpeg、jpg格式，图像尺寸640*640，相邻两张相片的目标轨迹重叠度在90％以上，周围环境重叠度在80％以上；

进一步的，所述数据融合单元，用于融合所述红外传感器与所述可见光传感器获取的视频图像数据，还用于将融合后的所述红外与可见光传感器数据与所述激光雷达传感器获取的数据相融合，融合结果经过坐标实时转换单元的处理，获得目标的距离、方位角以及俯仰角，输出到显示屏第3显示界面；

进一步的，所述坐标实时转换单元，用于实时转换极坐标、地心地固坐标以及屏幕坐标，解决目标在不同传感器、不同场景下坐标不一致的问题；

进一步的，所述数字时间转换单元，用于测量开始脉冲信号和停止脉冲信号之间的时间间隔，控制时间以及实现目标的精确测距，并对所述信号处理单元的干扰信号发生器工作时间进行设定并控制其间断工作，确保识别时间一致性；与电源、干扰信号发生器、所述激光雷达传感器、所述红外传感器、所述可见光传感器相连。

其中，所述三维点云重建模块，包括：三维点云数据输入单元、点云关键点提取与配准单元、点云重建单元。

进一步的，所述三维点云输入单元，输入点云数据来源于激光雷达传感器获取的数据、以及来自于经过所述视频图像处理单元输出的图像纹理、色彩信息；

进一步的，所述点云关键点特征提取与配准单元，首先对经过所述视频图像处理单元输出的图像进行处理，将图像转化成三维点云数据，并与激光雷达传感器获取的原始三维点云数据进行滤波，对两片点云实现配准；

进一步的，所述点云重建单元，对配准后的目标点云进行重建，实现目标物体及其周围环境的三维重建。

本发明还提供一种基于多融合传感器的三维点云重建方法，包括：

(一)多融合传感器装置采集点云数据，具体包括：视频图像处理单元获取目标图像，包括目标的态姿、纹理、色彩信息，激光雷达传感器获取目标的原始三维点云、位置、态姿；

(二)根据原始点云与目标图像中的态姿位置信息，获取与原始点云对应的目标点云；

(三)对点云进行滤波，剔除杂乱点云；

(四)点云粗配准，还包括对关键点质量分析；

(五)点云精配准；

(六)点云融合与重建。

进一步的，根据所述激光雷达传感器获取目标的原始三维点云，具体包括：激光雷达传感器获取目标点云深度信息，激光雷达传感器的扫描单元对目标进行扫描，获取点云数据，扫描单元，由垂直扫描电机、水平扫描点集以及反射镜组成，激光脉冲经过激光雷达传感器输出，照射垂直扫描电机，通过反射镜反射镜绕光轴旋转从而实现垂直方向360°扫描。

进一步的，所述视频图像处理，是对由红外传感器和可见光传感器获得的红外视频与可见光视频进行处理，提取图像帧，帧提取以每隔1s的时间间隔从视频流中提取出一帧图像，为png、jpeg、jpg格式，图像尺寸640*640，相邻两张相片的目标轨迹重叠度在90％以上，周围环境重叠度在80％以上。

进一步的，所述根据原始点云与目标图像中的态姿位置信息，获取与原始点云对应的目标点云，具体包括：得到所述目标图像后，将深度信息转化成三维点云，用SIFT提取特征，AC-RANSAC结合红外图像的温度信息，用交叉过滤算法消除误差匹配，利用SFM获取三维点云。

其中，对点云进行滤波，剔除杂乱点云，利用体素化网格法对点云数据进行点云滤波，优选的，步骤如下：

步骤1，为输入的点云数据的每一个三维点创建一个三维体素栅格，搜索所有点云的坐标值，找出X、Y、Z方向的最大值X_max、Y_max、Z_max与最小值X_min、Y_min、Z_min，确定大立方体栅格的边长L，若大立方体栅格的边长L大于预设边长L₀，则顺着X、Y、Z方向划分若干个体素栅格；

步骤2，预设点云数N_o，依次比较若干个体素栅格内的点云数n与预设点云数量阈值的大小，若超过预设值，则执行步骤3，否则删除该体素栅格；

步骤3，再次比较若干个小立方体栅格的边长L_i与预设边长L₀的大小，若边长大于L₀，则继续划分若干小立方体，若小于等于L₀，则遍历该体素栅格中的点，用该体素栅格的重心来近似代替体素栅格中的其他点，重心的计算公式为：

其中，d_i表示点(x_i，y_i，z_i)到每个体素栅格的区域中心的距离，d_i表示距离的最小值，达到最小值时(x_i，y_i，z_i)为重心，0≤i≤n；

其中，d_j表示点(x_j，y_j，z_j)到每个体素栅格的区域重心(x₀，y₀，z₀)的距离，d_max表示距离的最大值，对应的点是所求的最远的点，max{d_j}表示{d_j}的最大值，0≤j≤n-1；

步骤4，保留体素栅格内的重心点(x₀，y₀，z₀)，利用RANSAC移除错误点对，处理所有体素栅格得到滤波后点云数据，设阈值τ，若τ≤d_max，则保留符合d_j的j点，以及重心点，否则只保留重心点；重心点和满足距离最大值的点为保留的点；

点云经过滤波后，得到重心点以及满足距离最大值的点，构成点云。

其中，对所述点云进行粗配准，优选的，步骤包括：

步骤1，对满足要求的所述重心点以及满足距离最大的点构成的点云，提取所述点云3D-SIFT关键点，在关键点上进行特征提取，因此首先提取关键点，检测点云尺度空间所有点云的极值点，得到极值点坐标，查找极值点所在邻域内每个点的方位角和仰角，

其中，θ表示方位角，表示仰角，(x₀，y₀，z₀)表示极值所在空间体素的区域中心的坐标；得到关键点(x，y，z)坐标信息、尺度信息σ、以及方向信息θ和即

步骤2，上述步骤得到所述关键点，对所述关键点进行质量排序，选择最优关键点，关键点质量取决于关键点附近局部表面的主曲率，基于变换后的局部表面特征所含数据，进行曲面拟合，得到拟合表面并对进行n×n采样，计算关键点质量Q_k；

所述拟合表面拟合表面采样提取的特征点向量具有旋转不变形和尺度不变性，利用PCA对特征进行降维，将特征投影到PCA子空间；

对降维后的特征，在特征数据集中随机选择k个特征点，作为聚类质心点，对于特征集Q中的每个特征点，按照如下公式计算其应该所属的类：

Qⁱ＝argmin||q_i-c_i||² (6)

表示q_i点计算其与k个质心之间的距离，c_i表示拟合表面降维后的聚类中心，Qⁱ表示Q中的每个特征点，取值范围属于1到k，将所有的点分到对应的类别中，每个类计算当前维度下的平均值，平均值作为新的聚类中心。

步骤3，建立KD-tree和RANSAC计算初始变换矩阵：

在所述拟合表面通过搜索所得到两个点云匹配点集P与Q，首先是三组匹配点的选取，根据选取规则，相同点云中的三个点不能处于同一条直线，即三个点可以构成三角形，选择不在同一条直线上的3个点{p₁，p₂，p₃}构建三角平面，但是需要注意在对三角形的边长进行选取时，如果三角形的边长过短，则选取的三个点过于集中，很容易受到错误匹配点的影响；如果过长，就有可能跨过点云之间重叠的区域进而影响转换矩阵的正确性；

在目标点云Q中取{p₁，p₂，p₃}的特征匹配点，计算刚体转换矩阵*H＝【R，t】分别表示旋转矩阵和平移向量：

其中R表示变换矩阵中的旋转矩阵，t表示变换矩阵中的平移向量，arcsin(f_p(f_q)^r部分增加变换矩误差判断：令p和q分别表示P和Q中对应的匹配点，f_p与f_q是对应的特征

计算两组之间特征的误差，

e_r＝arccos(f_p(f_q)^r (5)

T表示转置，e_r在区间0到之间分布，0表示向量完全相同，表示特征完全不同，e_r最小时，两组为最佳匹配；

计算其法向量与K-近邻点法向量的夹角θ₁，....θ_k，组成不变特征θ_i＝(θ₁，θ₂，....θ_k)^r，通过Q′＝RQ+t计算参考点集。

其中，所述对所述点云进行精配准，优选的，步骤包括：

步骤1，点云粗配准后，得到粗配准点云Q′，将P与Q′作为配准的输入；

步骤2，通过不断迭代，当迭代次数大于预设次数，或计算两组之间特征的误差，误差小于预设误差时，计算此时的旋转矩阵R′和平移向量t′，得到Q″＝R′Q′+t；

步骤3，若点云Q″没有发生刚性形变，则输出Q″；

若发生刚性形变，点云Q″和P之间存在相同点距离较远的情形，因此根据两个点云之间的对应关系，找出Q″中形变的控制点，以控制点作为计算非刚性系数的输入建立目标表达式如下：

其中，u_i是完成粗配准后的目标点云Q″中的部分点云，v_i是粗配准后的参考点云P中的部分点云，μ是弯曲能量函数，控制点云的形变程度，λ是对点云形变的容忍度，取值范围0.09～0.11；通过求解上述公式的最小值来求解线性方程组f；

步骤4，配准误差计算，使用相对旋转误差E_R与相对平移误差R_r测量姿态与估计姿态之间的成对误差，对应的u_i与v_i两组之间特征的误差

其中，R_r是真值旋转矩阵，R_E是估计旋转矩阵，T_T是真值平移矢量，T_E是估计平移矢量；

在u_i和v_i中，利用匹配特征点对之间的方向向量的夹角判断匹配点之间的正确性，由于粗配准后的点云数据相交区域基本重合，因此设置方向向量夹角阈值，在阈值范围内，视为精确配准，完成最佳匹配，否则判断为错误点对。

进一步的，本发明提供了一种基于多融合传感器的三维点云重建装置和方法，利用装置实现目标探测与识别、实现目标三维点云重建，所述目标，不单一只需要需要识别与重建的运动物体或静止物体本身，还包括物体周围环境中的需要重建的，即相当于多个目标；在所述关键点提取、关键点排序、点云滤波、配准，重建的过程中，对多个目标按照同一目标之间进行提取、排序、点云滤波、配准，重建；对运动物体或静止物体本身、对周围环境均提取、排序关键点，并对提取到的关键点进行排序、滤波、配准、重建；从而实现运动物体或静止物体的重建、实现周围环境的重建。

本发明提供了一种基于多融合传感器的三维点云重建方法，具有以下有益效果：本发明通过系统数据处理装置目标图像，并根据目标图像获得目标在该目标图像中的位置、纹理、色彩信息，以及通过激光雷达传感器获取目标的原始点云，根据原始点云和目标在目标图像中的位置、纹理、色彩信息，获得原始点云中与目标对应的点云，再由所获得的与目标对应的点云进行滤波、提取关键点、对关键点排序、点云粗配准、精配准、点云融合与重建，从而由所获得的目标在三维空间中的位置信息准确地确定目标在当前时刻的实时位置，在重建过程中剔除冗余信息和点云图中存留的噪点，减少误识别和跟踪丢失的概率，可以实现更准确的实时三维重建。

本发明提供的基于多融合传感器的三维点云重建装置，利用多融合传感器装置，获取原始点云数据和目标图像，利用系统数据处理模块，提取目标图像的三维点云，利用三维点云重建装置对目标图像的三维点云与原始三维点云进行滤波、配准、融合、重建，该装置可广泛用于目标探测与识别、遥感测绘、无人控制等领域。本发明提供的方法能够有效提高点云重建的精度和可靠性。

附图说明

图1是本发明一种基于多融合传感器的三维点云重建装置的系统装置结构图。

图2是本发明一种基于多融合传感器的三维点云重建方法的方法实现流程图。

图3是本发明一种基于多融合传感器的三维点云重建方法的从图像中提取点云效果图。

图4是本发明一种基于多融合传感器的三维点云重建装置和方法的图像与点云配准效果图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于多融合传感器的三维点云重建装置的系统装置结构图，主要显示了：

(1)多融合传感器模块，包括：激光雷达传感器11、红外传感器12、可见光传感器13，用于对目标进行探测与识别，根据探测的目标物体的融合图像与目标位置同时测量，使位置信息和色彩纹理信息对应；所述激光雷传感器11连接一个反光镜，通过设置不同的角度，实现目标全面扫描，利用雷达反复扫描，获取目标的位置信息；传感器应用SLAM用于测量目标物体的距离，根据目标扫描单元与红外传感器获取目标方位信息探测距离；所述红外传感器12，发出红外光束，获取目标的红外波段，因测角精度高，用于探测目标的方位角度信息，并按照激光雷达传感器的指示继续跟踪目标，同时获取目标所在场景的红外视频；所述可见光传感器13，发出可见光光束，获取目标可见光波段，获取目标所在场景的可见光视频以及可见光图像。

(2)系统数据处理模块，包括视频选择跟踪单元21、信号处理单元22、视频图像处理单元23、数据融合单元24、实时坐标转换单元25、时间数字转换器单元26；

所述视频选择跟踪单元21，包括视频选择与跟踪，用于在得到红外视频与可见光视频的图像特征后，进行特征重叠，计算重叠损失，用于跟踪被选择的视频，即用于跟踪可见光视频或红外视频，获得跟踪结果，将跟踪结果叠加到被跟踪视频，即获取叠加视频，达到视频信号增强效果，将叠加视频输出到显示单元；视频选择跟踪单元连接一个跟踪器201；

所述信号处理单元22，包括编码器221、解码器222、干扰信号发生器223；分别用于对叠加视频的信号进行处理，包括将视频数据转化成数字形式的编码器221，将数字形式转化成模拟信息输出给显示器的222解码器，优选的，该单元增加一个干扰信号发生器223用于当探测到威胁目标时对威胁目标进行电磁信号干扰；所述223干扰信号发生器与指挥控制模块相连；

所述视频图像处理单元23，提取红外视频和可见光视频图像，获取目标纹理、色彩信息，同时向跟踪器201发送目标位置，在显示器第2显示界面显示目标信息；与红外传感器12、可见光传感器13相连接；

所述数据融合单元24，用于融合红外传感器12与可见光传感器13获取的视频图像数据，还用于将融合后的红外与可见光传感器数据与激光雷达传感器11获取的数据相融合；

所述实时坐标转换单元25，用于实时转换极坐标、地心地固坐标以及屏幕坐标，解决目标在不同传感器、不同场景下坐标不一致的问题；所述实时坐标转换单元25与电源控制单元1相连，与数字时间转换器26相连，与多融合传感器装置连接；

所述数字时间转换器单元26，用于测量开始脉冲信号和停止脉冲信号之间的时间间隔的时间数字转换器，控制时间以及实现目标的精确测距，并对干扰信号发生器223工作时间进行设定并控制其间断工作；时间数字转换器26与电源控制电源1、干扰信号发生器223、激光雷达传感器11、红外传感器12、可见光传感器13相连。

(3)三维点云重建模块，包括：三维点云数据采集单元31、32点云关键特征提取与匹配单元32、点云重建单元33；

所述三维点云输入单元31，输入点云数据来源于激光雷达传感器获取的数据、以及来自于经过所述视频图像处理单元输出的图像纹理、色彩信息；

所述点云关键点特征提取与配准单元32，首先对经过所述视频图像处理单元输出的图像进行处理，将图像转化成三维点云数据，并与激光雷达传感器获取的原始三维点云数据进行滤波，对两片点云实现配准；

所述点云重建单元33，对配准后的目标点云进行重建，实现目标物体及其周围环境的三维重建。

(4)电源模块，包括两个电源控制单元，分别用于电源控制单元1为系统装置供电，电源控制单元2用对时间数字转换器、干扰信号发生器供电，用直流滤波器进行滤波；

(5)指挥控制模块，连接通信组网具有网络通讯模块52，利用4G、5G、卫星组网，将探测到的目标信息发送给指挥控制终端51，指挥控制终端自动将信息与样本库进行比对，判断识别的目标是否存在威胁，若存在威胁，则发出语音报警，设置一语音报警单元53，跟踪并对目标进行持续监听，使用干扰信号发生器223对威胁目标进行干扰，对目标进行驱离或者打击。

需要说明的是，所述目标，不单一只需要需要识别与重建的运动物体或静止物体本身，还包括物体周围环境中的需要重建的，即相当于多个目标；在所述关键点提取、关键点排序、点云滤波、配准，重建的过程中，对多个目标按照同一目标之间进行提取、排序、点云滤波、配准，重建；对运动物体或静止物体本身、对周围环境均提取、排序关键点，并对提取到的关键点进行排序、滤波、配准、重建；从而实现运动物体或静止物体的重建、实现周围环境的重建。

图2是本发明一种基于多融合传感器的三维点云重建方法的实现流程图。主要显示：通过所述红外传感器和所述可见光传感器获取目标红外视频和目标可见光视频，叠加视频，根据所述视频选择跟踪单元与所述视频图像选择单元获取目标图像；通过所述激光雷达传感器获取目标原始三维点云数据、目标位置信息；根据原始点云和所述目标在目标图像中的位置、纹理、色彩信息，获取与所示原始点云数据相对应的图像的点云；对点云滤波，剔除杂乱点云，保留点云集的重心点和最大距离点，构成新点云；对所述新点云粗配准，提取关键点特征并排序；点云精配准，获取完成配准后的点云数据；对所述完成配准后的点云数据进行融合，实现三维点云重建。

其中，由红外传感器和可见光传感器获得的叠加视频进行处理，提取图像帧，帧提取以每隔1s的时间间隔从视频流中提取出一帧图像，为png、jpeg、jpg格式，图像尺寸640*640，相邻两张相片的目标轨迹重叠度在90％以上，周围环境重叠度在80％以上，得到目标图像。

进一步的，先利用视频选择跟踪单元对所述红外视频和可见光视频进行判断，计算图像特征重叠损失，选择损失小的视频进行跟踪，将跟踪结果叠加至被跟踪视频，获取所述叠加视频；

其中，所述激光雷达传感器获取目标的原始三维点云，激光雷达传感器获取目标点云深度信息，激光雷达传感器的扫描单元对目标进行扫描，获取点云数据，扫描单元，由垂直扫描电机、水平扫描点集以及反射镜组成，激光脉冲经过激光雷达传感器输出，照射垂直扫描电机，通过反射镜反射镜绕光轴旋转从而实现垂直方向360°扫描。

其中，根据所述原始点云与所述目标图像中的态姿位置信息，获取与原始点云对应的目标点云，得到所述目标图像后，将深度信息转化成三维点云，用SIFT提取特征，AC-RANSAC结合红外图像的温度信息，用交叉过滤算法消除误差匹配，利用SFM获取所述三维点云。

图3是本发明一种基于多融合传感器的三维点云重建方法的从图像中提取点云效果图。

优选的，对所述三维点云进行滤波，剔除杂乱点云，利用体素化网格法构建模型，提取所述模型中的重心点与距离最大点，获得经过滤波后的点云；

进一步的，为输入的点云数据的每一个三维点创建一个三维体素栅格，搜索所有点云的坐标值，找出X、Y、Z方向的最大值X_max、Y_max、Z_max与最小值X_min、Y_min、Z_min，确定大立方体栅格的边长L，若大立方体栅格的边长L大于预设边长L₀，则顺着X、Y、Z方向划分若干个体素栅格；

预设点云数N_o，依次比较若干个体素栅格内的点云数n与预设点云数量阈值的大小，若超过预设值，则执行步骤3，否则删除该体素栅格；

再次比较若干个小立方体栅格的边长L_i与预设边长L₀的大小，若边长大于L₀，则继续划分若干小立方体，若小于等于L₀，则遍历该体素栅格中的点，用该体素栅格的重心来近似代替体素栅格中的其他点，重心的计算公式为：

其中，d_i表示点(x_i，y_i，z_i)到每个体素栅格的区域中心的距离，d_i表示距离的最小值，达到最小值时(x_i，y_i，z_i)为重心，0≤i≤n；

其中，d_j表示点(x_j，y_j，z_j)到每个体素栅格的区域重心(x₀，y₀，z₀)的距离，d_max表示距离的最大值，对应的点是所求的最远的点，max{d_j}表示{d_j}的最大值，0≤j≤n-1；

进一步的，保留体素栅格内的重心点(x₀，y₀，z₀)，利用RANSAC移除错误点对，处理所有体素栅格得到滤波后点云数据，设阈值τ，若τ≤d_max，则保留符合d_j的j点，以及重心点，否则只保留重心点；重心点和满足距离最大值的点为保留的点。

图4是本发明一种基于多融合传感器的三维点云重建装置和方法的图像与点云配准效果图，配准流程为，是对所述滤波后的点云进行配准，包括粗配准和精配准；

优选的，所述粗配准，包括：首先提取关键点，并对关键点质量排序，具体为：

提取经过滤波得到的点云3D-SIFT关键点，在关键点上进行特征提取，检测点云尺度空间所有点云的极值点，得到极值点坐标，查找极值点所在邻域内每个点的方位角和仰角，

其中，θ表示方位角，表示仰角，(x₀，y₀，z₀)表示极值所在空间体素的区域中心的坐标；得到关键点(x，y，z)坐标信息、尺度信息σ、以及方向信息θ和即

对关键点质量进排序，选择最优关键点，关键点质量取决于关键点附近局部表面的主曲率，基于变换后的局部表面特征所含数据，进行曲面拟合，得到拟合表面并对进行n×n采样，计算关键点质量Q_k；

建立KD-tree和RANSAC计算初始变换矩阵：

在拟合表面通过搜索所得到两个点云匹配点集P与Q，首先是三组匹配点的选取，根据选取规则，相同点云中的三个点不能处于同一条直线，即三个点可以构成三角形，选择不在同一条直线上的3个点{p₁，p₂，p₃}构建三角平面，但是需要注意在对三角形的边长进行选取时，如果三角形的边长过短，则选取的三个点过于集中，很容易受到错误匹配点的影响；如果过长，就有可能跨过点云之间重叠的区域进而影响转换矩阵的正确性；

在目标点云Q中取{p₁，p₂，p₃}的特征匹配点，计算刚体转换矩阵*H＝【R，t】分别表示旋转矩阵和平移向量：

其中R表示变换矩阵中的旋转矩阵，t表示变换矩阵中的平移向量，arcsin(f_p(f_q)^r部分增加变换矩误差判断：令p和q分别表示P和Q中对应的匹配点，f_p与f_q是对应的特征

计算两组之间特征的误差，

e_r＝arccos(f_p(f_q)^r (5)

T表示转置，e_r在区间0到之间分布，0表示向量完全相同，表示特征完全不同，e_r最小时，两组为最佳匹配；

计算其法向量与K-近邻点法向量的夹角θ₁，....θ_k，组成不变特征θ_i＝(θ₁，θ₂，....θ_k)^r，通过Q′＝RQ+t计算参考点集。

进一步的，所述拟合表面拟合表面采样提取的特征点向量具有旋转不变形和尺度不变性，利用PCA对特征进行降维，将特征投影到PCA子空间；

对降维后的特征，在特征数据集中随机选择k个特征点，作为聚类质心点，对于特征集Q中的每个特征点，按照如下公式计算其应该所属的类：

Qⁱ＝argmin||q_i-c_i||² (6)

表示q_i点计算其与k个质心之间的距离，c_i表示拟合表面降维后的聚类中心，Qⁱ表示Q中的每个特征点，取值范围属于1到k，将所有的点分到对应的类别中，每个类计算当前维度下的平均值，平均值作为新的聚类中心。

对完成粗配准后的点云进行精配准，获取高质量点云数据集；

其中，所述精配准的输入，由点云粗配准后，得到粗配准点云Q′，将P与Q′作为精配准的输入；

通过不断迭代，当迭代次数大于预设次数，或计算两组之间特征的误差，误差小于预设误差时，计算此时的旋转矩阵R′和平移向量t′，得到Q″＝R′Q′+t；

若点云Q″没有发生刚性形变，则输出Q″；

若发生刚性形变，点云Q″和P之间存在相同点距离较远的情形，因此根据两个点云之间的对应关系，找出Q″中形变的控制点，以控制点作为计算非刚性系数的输入建立目标表达式如下：

其中，u_i是完成粗配准后的目标点云Q″中的部分点云，v_i是粗配准后的参考点云P中的部分点云，μ是弯曲能量函数，控制点云的形变程度，λ是对点云形变的容忍度，取值范围0.09～0.11；通过求解上述公式的最小值来求解线性方程组f；

配准误差计算，使用相对旋转误差E_R与相对平移误差R_r测量姿态与估计姿态之间的成对误差，对应的u_i与v_i两组之间特征的误差：

其中，R_r是真值旋转矩阵，R_E是估计旋转矩阵，T_T是真值平移矢量，T_E是估计平移矢量；

在u_i和v_i中，利用匹配特征点对之间的方向向量的夹角判断匹配点之间的正确性，由于粗配准后的点云数据相交区域基本重合，因此设置方向向量夹角阈值，在阈值范围内，视为精确配准，完成最佳匹配，否则判断为错误点对。

本发明提供的基于多融合传感器的三维点云重建装置与方法，利用多融合传感器装置，获取原始点云数据和目标图像，利用系统数据处理模块，提取目标图像的三维点云，利用三维点云重建装置对目标图像的三维点云与原始三维点云进行滤波、配准、融合、重建，该装置可广泛用于目标探测与识别、遥感测绘、无人控制等领域。本发明提供的方法能够有效提高点云重建的精度和可靠性。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于多融合传感器的三维点云重建方法，其特征在于，主要包括：

(一)利用多融合传感器装置采集点云数据，具体包括：视频图像处理单元获取目标图像，包括目标的态姿、纹理、色彩信息，激光雷达传感器获取目标的原始三维点云、位置、态姿；

(二)根据原始点云与目标图像中的态姿位置信息，获取与原始点云对应的目标点云；

(三)对点云进行滤波，剔除杂乱点云；

(四)点云粗配准，还包括对关键点质量分析；

(五)点云精配准；

(六)点云融合与重建。

2.基于权利要求1所述的基于多融合传感器的三维点云重建方法，其特征在于，所述视频图像处理，具体包括：对由红外传感器和可见光传感器获得的红外视频与可见光视频进行叠加处理，提取叠加视频的图像帧，帧提取以每隔1s的时间间隔从视频流中提取出一帧图像，为png、jpeg、jpg格式，图像尺寸640*640，相邻两张相片的目标轨迹重叠度在90％以上，周围环境重叠度在80％以上，得到目标图像。

3.基于权利要求1所述的基于多融合传感器的三维点云重建方法，其特征在于，所述激光雷达传感器获取目标的原始三维点云，具体包括：激光雷达传感器获取目标点云深度信息，激光雷达传感器的扫描单元对目标进行扫描，获取点云数据，扫描单元，由垂直扫描电机、水平扫描点集以及反射镜组成，激光脉冲经过激光雷达传感器输出，照射垂直扫描电机，通过反射镜反射镜绕光轴旋转从而实现垂直方向360°扫描。

4.基于权利要求1所述的基于多融合传感器的三维点云重建方法，其特征在于，所述(二)根据原始点云与目标图像中的态姿位置信息，获取与原始点云对应的目标点云，具体包括：得到所述目标图像后，将深度信息转化成三维点云，用SIFT提取特征，AC-RANSAC结合红外图像的温度信息，用交叉过滤算法消除误差匹配，利用SFM获取三维点云。

5.基于权利要求1所述的基于多融合传感器的三维点云重建方法，其特征在于，所述(三)对点云进行滤波，剔除杂乱点云，利用体素化网格法对点云数据进行点云滤波，主要步骤如下：

步骤1，为输入的点云数据的每一个三维点创建一个三维体素栅格，搜索所有点云的坐标值，找出X、Y、Z方向的最大值X_max、Y_max、Z_max与最小值X_min、Y_min、Z_min，确定大立方体栅格的边长L，若大立方体栅格的边长L大于预设边长L₀，则顺着X、Y、Z方向划分若干个体素栅格；

步骤2，预设点云数N_O，依次比较若干个体素栅格内的点云数n与预设点云数量阈值的大小，若超过预设值，则执行步骤3，否则删除该体素栅格；

步骤3，再次比较若干个小立方体栅格的边长L_i与预设边长L₀的大小，若边长大于L₀，则继续划分若干小立方体，若小于等于L₀，则遍历该体素栅格中的点，用该体素栅格的重心来近似代替体素栅格中的其他点，重心的计算公式为：

其中，d_i表示点(x_i,y_i,z_i)到每个体素栅格的区域中心的距离，d_i表示距离的最小值，达到最小值时(x_i,y_i,z_i)为重心，0≤i≤n；

其中，d_j表示点(x_j,y_j,z_j)到每个体素栅格的区域重心(x₀,y₀,z₀)的距离，d_max表示距离的最大值，对应的点是所求的最远的点，max{d_j}表示{d_j}的最大值，0≤j≤n-1；

步骤4，保留体素栅格内的重心点(x₀,y₀,z₀)，利用RANSAC移除错误点对，处理所有体素栅格得到滤波后点云数据，设阈值τ，若τ≤d_max，则保留符合d_j的j点，以及重心点，否则只保留重心点；重心点和满足距离最大值的点为保留的点。

6.基于权利要求1所述的基于多融合传感器的三维点云重建方法，其特征在于，所述(四)点云粗配准，具体包括：

步骤1，点云经过滤波，得到重心点以及满足距离最大值的点，构成点云；

步骤2，提取步骤1得到的点云3D-SIFT关键点，在关键点上进行特征提取，因此首先提取关键点，具体为：检测点云尺度空间所有点云的极值点，得到极值点坐标，查找极值点所在邻域内每个点的方位角和仰角，

其中，θ表示方位角，表示仰角，(x₀,y₀,z₀)表示极值所在空间体素的区域中心的坐标；得到关键点(x,y,z)坐标信息、尺度信息σ、以及方向信息θ和即

步骤2，对关键点质量进排序，选择最优关键点，关键点质量取决于关键点附近局部表面的主曲率，基于变换后的局部表面特征所含数据，进行曲面拟合，得到拟合表面e，并对e进行n×n采样，计算关键点质量Q_k；

步骤3，建立KD-tree和RANSAC计算初始变换矩阵：

在拟合表面通过搜索所得到两个点云匹配点集P与Q，首先是三组匹配点的选取，根据选取规则，相同点云中的三个点不能处于同一条直线，即三个点可以构成三角形，选择不在同一条直线上的3个点{p₁,p₂,p₃}构建三角平面，但是需要注意在对三角形的边长进行选取时，如果三角形的边长过短，则选取的三个点过于集中，很容易受到错误匹配点的影响；如果过长，就有可能跨过点云之间重叠的区域进而影响转换矩阵的正确性；

在目标点云Q中取{p₁,p₂,p₃}的特征匹配点，计算刚体转换矩阵*H＝【R,t】分别表示旋转矩阵和平移向量：

其中R表示变换矩阵中的旋转矩阵，t表示变换矩阵中的平移向量，arcsin(f_p(f_q)^T部分增加变换矩误差判断：令p和q分别表示P和Q中对应的匹配点，f_p与f_q是对应的特征

计算两组之间特征的误差，

e_r＝arccos(f_p(f_q)^T (5)

T表示转置，e_r在区间0到之间分布，0表示向量完全相同，表示特征完全不同，e_r最小时，两组为最佳匹配；

计算其法向量与K-近邻点法向量的夹角θ₁,....θ_k，组成不变特征θ_i＝(θ₁,θ₂,....θ_k)^T，通过Q′＝RQ+t计算参考点集。

7.基于权利要求6所述的基于多融合传感器的三维点云重建方法，其特征在于，所述拟合表面拟合表面采样提取的特征点向量具有旋转不变形和尺度不变性，利用PCA对特征进行降维，将特征投影到PCA子空间；

对降维后的特征，在特征数据集中随机选择k个特征点，作为聚类质心点，对于特征集Q中的每个特征点，按照如下公式计算其应该所属的类：

Qⁱ＝argmin||q_i-c_i||² (6)

表示q_i点计算其与k个质心之间的距离，c_i表示拟合表面降维后的聚类中心，Qⁱ表示Q中的每个特征点，取值范围属于1到k，将所有的点分到对应的类别中，每个类计算当前维度下的平均值，平均值作为新的聚类中心。

8.基于权利要求1所述的基于多融合传感器的三维点云重建方法，其特征在于，所述(五)点云精配准，具体包括：

步骤1，点云粗配准后，得到粗配准点云Q′，将P与Q′作为精配准的输入；

步骤2，通过不断迭代，当迭代次数大于预设次数，或计算两组之间特征的误差，误差小于预设误差时，计算此时的旋转矩阵R′和平移向量t′，得到Q″＝R′Q′+t；

步骤3，若点云Q”没有发生刚性形变，则输出Q”；

若发生刚性形变，点云Q″和P之间存在相同点距离较远的情形，因此根据两个点云之间的对应关系，找出Q″中形变的控制点，以控制点作为计算非刚性系数的输入建立目标表达式如下：

其中，u_i是完成粗配准后的目标点云Q″中的部分点云，v_i是粗配准后的参考点云P中的部分点云，μ是弯曲能量函数，控制点云的形变程度，λ是对点云形变的容忍度，取值范围0.09～0.11；通过求解上述公式的最小值来求解线性方程组f；

步骤4，配准误差计算，使用相对旋转误差E_R与相对平移误差R_T测量姿态与估计姿态之间的成对误差，对应的u_i与v_i两组之间特征的误差

其中，R_T是真值旋转矩阵，R_E是估计旋转矩阵，T_T是真值平移矢量，T_E是估计平移矢量；

在u_i和v_i中，利用匹配特征点对之间的方向向量的夹角判断匹配点之间的正确性，由于粗配准后的点云数据相交区域基本重合，因此设置方向向量夹角阈值，在阈值范围内，视为精确配准，完成最佳匹配，否则判断为错误点对。

9.一种基于多融合传感器的三维点云重建装置，所述装置可广泛搭载于无人机、无人船等设备，包括：多融合传感器模块、系统数据处理模块、三维点云重建模块；

所述多融合传感器模块，具体包括：激光雷达传感器、可见光传感器和红外传感器；所述可见光传感器和红外传感器与数据融合单元的输入端、与视频选择单元的输入端相连；

所述系统数据处理模块，具体包括：视频选择跟踪单元、信号处理单元、视频图像处理单元、数据融合单元、数字时间转换单元；

进一步的，所述视频选择跟踪单元，在获取所述红外视频与可见光视频后，选择视频进行跟踪，将跟踪结果叠加在被跟踪视频上，输出叠加视频，增强显示效果；应用SLAM实现目标定位获取目标坐标信息；所述视频选择跟踪单元的输出端与视频图像处理单元的输入端相连；

进一步的，所述视频图像处理单元，提取红外视频与可见光视频的叠加视频的图像帧，对视频帧按照1s间隔提取，视频图像处理单元对叠加进行处理，提取叠加视频图像帧，以每隔1s的时间间隔从视频流中提取出一帧图像，保存的图片格式为png、jpeg、jpg格式，图像尺寸640*640，相邻两张相片的目标轨迹重叠度在90％以上，周围环境重叠度在80％以上；

进一步的，数字时间转换单元，用于测量开始脉冲信号和停止脉冲信号之间的时间间隔，控制时间以及实现目标的精确测距，并对信号处理单元的干扰信号发生器工作时间进行设定并控制其间断工作，确保识别时间一致性；与电源、干扰信号发生器、激光雷达传感器、红外传感器、可见光传感器相连；

所述三维点云重建模块，具体包括：三维点云数据输入单元、点云关键点提取与配准单元、点云重建单元；

进一步的，所述三维点云输入单元，输入点云数据来源于激光雷达传感器获取的数据、以及来自于视频图像处理单元输出的图像纹理、色彩信息；

进一步的，所述点云关键点特征提取与配准单元，首先对图像进行处理，将图像转化成三维点云数据，并于激光雷达传感器获取的原始三维点云数据进行滤波，对两片点云实现配准；

进一步的，所述点云重建单元，对配准后的目标点云进行重建，实现目标物体及其周围环境的三维重建。

10.基于权利要求1-9所述的基于多融合传感器的三维点云重建装置与方法，所述目标，不单一只需要需要识别与重建的运动物体或静止物体本身，还包括物体周围环境中的需要重建的，即相当于多个目标；在所述关键点提取、关键点排序、点云滤波、配准，重建的过程中，对多个目标按照同一目标之间进行提取、排序、点云滤波、配准，重建；对运动物体或静止物体本身、对周围环境均提取、排序关键点，并对提取到的关键点进行排序、滤波、配准、重建；从而实现运动物体或静止物体的重建、实现周围环境的重建。