CN112102458A

CN112102458A - 基于激光雷达点云数据辅助的单镜头三维图像重构方法

Info

Publication number: CN112102458A
Application number: CN202010896853.3A
Authority: CN
Inventors: 王怀採; 李修庆; 李庆红; 赵健康; 徐静冉
Original assignee: Hunan Shengding Technology Development Co ltd
Current assignee: Hunan Shengding Technology Development Co ltd
Priority date: 2020-08-31
Filing date: 2020-08-31
Publication date: 2020-12-18

Abstract

本发明公开了一种基于激光雷达点云数据辅助的单镜头三维图像重构方法，该方法包括：获取被扫描对象的多张可见光图像和激光雷达点云数据；基于激光雷达点云数据，采用增量式运动恢复结构算法对可见光图像进行三维重建，以获取图像点云；采用刚性变换与非刚性变换相结合的方式对图像点云和激光雷达点云数据进行配准，以获取被扫描对象的三维点云模型。本发明的方法采用寻找图像与激光雷达点云同名点的方式，在图像的三维重建过程中添加虚拟的地面控制点来进行几何纠正，能够减少图像的三维重建过程中的失真情况；采用刚性变换和非刚性变换相结合的方式对图像点云和激光雷达点云数据进行配准，能够提高配准精度，实现高精度的三维点云模型重建。

Description

基于激光雷达点云数据辅助的单镜头三维图像重构方法

技术领域

本发明涉及图像数据融合技术领域，尤其涉及一种基于激光雷达点云数据辅助的单镜头三维图像重构方法。

背景技术

图像信息具有丰富的纹理信息，分辨率和边缘精度较高，采集方式也灵活方便，但是基于图像三维重建的建模过程中，为了后续数据处理，需要大量的像控制点，工作量大。并且，由于自然条件的限制，存在很多外业测控困难的区域及大量无有效可用像控制点的区域，测量过程中无法得到有效的地面控制点，因而基于图像信息的三维重构数据精度有较大差别。激光雷达能够快速、大面积、高精度的获取被扫描对象的三维点云数据，激光雷达点云数据具有主动性强、操作方便、信息量大以及建模速度快等优点，但同时单纯激光雷达点云信息过于稀疏、分辨率较低、无纹理特征且边缘精度较差，在大型复杂场景或复杂对象的数据中多存在漏洞。

为了获取具有丰富纹理信息的被扫描对象的三维点云模型，目前主要采用激光雷电点云数据与图像点云数据进行配准融合的方式获取。例如，华南理工大学的吴伟坊于2019年发表的名称为《基于机载LiDAR系统激光点云与图像点云的融合技术》的论文中公开的激光点云与图像点云的融合方法。

然而，现有的雷达激光点云与图像点云的融合是基于外参转换关系进行配准，极大程度上依赖于相机与激光雷达雷达外参标定。而且，图像点云与激光点云的配准为刚性配准，融合结果也仅仅是对点云数据进行了着色处理，配准结果的精度和可靠性较差。但是实际生产过程中，由图像建立的三维模型多会产生非刚性变形，所以仅仅将雷达点云信息和图像信息做刚性配准是不全面的。

激光雷达能够快速、大面积、高精度的获取被扫描对象的三维点云数据，从而进行被扫面对象的三维几何重建。但是由于激光雷达点云数据缺乏纹理信息，需要通过与纹理图像进行配准方能获取具有丰富纹理信息的三维点云模型。

发明内容

为解决上述现有技术中存在的技术问题，本发明提供一种基于激光雷达点云数据辅助的单镜头三维图像重构方法。

为此，本发明公开了一种基于激光雷达点云数据辅助的单镜头三维图像重构方法，所述方法包括：

1)获取被扫描对象的多张可见光图像和激光雷达点云数据；

2)基于激光雷达点云数据，采用增量式运动恢复结构算法对可见光图像进行三维重建，以获取图像点云；

3)采用刚性变换与非刚性变换相结合的方式对图像点云和激光雷达点云数据进行配准，以获取被扫描对象的三维点云模型。

在一些可选的实施方式中，步骤2)包括：

201)特征提取：对每一张可见光图像做特征提取；

202)图像匹配：对每一张可见光图像做初始特征匹配，通过设定匹配算法在多张可见光图像间搜索同名点；

203)几何纠正：基于激光雷达点云数据，对每一张可见光图像通过对极几何估计基础矩阵，并采用随机采样一致性算法剔除错误匹配；

204)初始化：通过对极几何估计初始化位姿变换，通过特征匹配找出匹配点最多且基线距离在设定范围内的两张可见光图像；

205)图像配准：选取待配准的图像，找到待配准图像中像素点对应的已求解得到空间三维坐标的点，利用点的2D和3D信息，通过随机采样一致性算法和最小姿态解算器求解Perspective-n-Point问题，获得新配准的图像的位姿；

206)三角化：用初始化的两张图像重建出第一批3D点，然后用新配准的图像与前一张图像做三角化，重建新的3D点；

207)光束平差：对初始化两张图像的相机外参和已三角化的3D点做联合优化，最小化重投影误差平方和；

208)外点滤除：根据光束平差之后的重投影误差统计，滤除部分平差后重投影误差大于设定值的点；

209)图像定向模型重建：通过图像像点坐标与物方同名点坐标，确定像空间坐标系相对于物方坐标系之间为一个空间相似变换模型。

在一些可选的实施方式中，在平差过程中，根据选权迭代的思想，对不同重投影误差的点赋予不同的权重，重投影误差越大，相对应的权重越小。

在一些可选的实施方式中，采用刚性变换对图像点云和激光雷达点云数据进行配准，包括：

采用基于特征的粗配准对图像点云和激光雷达点云数据进行配准以获取配准初值；

基于获取的配准初值，对图像点云和激光雷达点云数据进行迭代最近点算法循环迭代以实现高精度配准。

在一些可选的实施方式中，基于特征的粗配准包括：基于点特征的配准、基于线特征的配准和基于面特征的配准。

在一些可选的实施方式中，采用非刚性变换对图像点云和激光雷达点云数据进行配准，包括：对畸变补偿的残差进行量化，在进行迭代最近点算法循环迭代时将畸变补偿的残差加入误差函数中。

在一些可选的实施方式中，在进行配准前，对激光雷达点云数据进行滤波、去噪、去除离群点和采样处理。

本发明技术方案的主要优点如下：

本发明的基于激光雷达点云数据辅助的单镜头三维图像重构方法，采用寻找图像与激光雷达点云同名点的方式，在图像的三维重建过程中添加虚拟的地面控制点来进行几何纠正，能够减少图像的三维重建过程中的失真情况；采用多约束条件的刚性变换和非刚性变换相结合的方式对三维图像点云和激光雷达点云数据进行配准，能够提高配准精度，充分融合图像点云和激光雷达点云数据，实现高精度的三维点云模型重建。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一实施例的基于激光雷达点云数据辅助的单镜头三维图像重构方法的流程图；

图2为本发明一实施例的基于激光雷达点云数据辅助的增量式运动恢复结构算法的流程图；

图3为本发明一实施例的图像点云和激光雷达点云数据的配准流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合附图，详细说明本发明实施例提供的技术方案。

如图1所示，本发明一实施例提供了一种基于激光雷达点云数据辅助的单镜头三维图像重构方法，该方法包括如下内容：

1)获取被扫描对象的多张可见光图像和激光雷达点云数据；

以下对本发明一实施例提供的基于激光雷达点云数据辅助的单镜头三维图像重构方法的过程及原理进行具体说明。

经典的增量式运动恢复结构(structure-from-motion，SFM)算法通过使用迭代进行序列化的处理过程，以获取图像对应的三维点云。该算法在建立图像的密集点云时，首先进行对应关系搜索，该对应关系搜索过程中，先进行图像的特征提取和匹配，然后进行几何检查，只保留满足几何约束的匹配。然后进入增量式重建过程，该增量式重建过程中的核心在于根据需要选择好的图像去初始化整个光束平差过程。具体地，先对初始化选择的两张图像做好初始配准，以估计相机的内参和外参，进行三角化得到最初的三维点坐标，然后使用光束平差进行优化，滤除误匹配点，一次迭代结束。每一次迭代结束之后，增量式地添加待配准的图像，直到无可添加的图像为止，完成增量式重建过程，得到相机估计参数和场景几何信息，即稀疏的3D点云。最后，基于稀疏的3D点云，利用MVS算法得到基于图像的密集点云。

在图像的三维建模过程中，为了减少几何变形，需对图像进行几何纠正，然而几何纠正方法大都需要足够的控制点，通过利用控制点解算转换矩阵的方法对图像进行几何纠正，因此控制点精度的高低和分布直接影响图像几何纠正的精度，当无大量有效可用控制点时，获得图像外方位元素精度将较差。

本发明一实施例中，为了确定图像在曝光时刻摄像机的空间位置和姿态，对图像进行绝对定向，提高三维重建精度，在增量式运动结构恢复算法中，引入激光雷达(LiDAR)点云数据，对单镜头拍摄的序列图像进行三维重建，以获取图像点云。

具体地，在对单镜头拍摄的序列图像进行三维重建过程中，通过采用激光雷达点云数据和图像数据的同名点进行解算，获得图像的6个外方位元素，即3个角元素和3个线元素。其中，为了确定图像的定向参数，首先要确定图像上的特征点坐标及其同名物方点的三维坐标，因此需要点云上选取物方的同名点坐标，本发明一实施例中，通过手动选点方式在点云上选取物方的同名点坐标。如此，通过激光雷达点云数据，构建虚拟地面控制点来辅助图像重建，以利用有效的虚拟地面控制点改变图像的三维重建结果的失真情况。

对于如何基于激光雷达点云数据，采用增量式运动恢复结构算法对可见光图像进行三维重建，以获取图像点云，以下进行具体说明。

具体地，如图2所示，基于激光雷达点云数据，采用增量式运动恢复结构算法对可见光图像进行三维重建，以获取图像点云，包括如下内容：

201)特征提取：对每一张可见光图像做特征提取。

具体地，在图像的三维重建过程中，对每一张可见光图像进行点特征和线特征提取。

本发明一实施例中，图像特征点提取采取SIFT(Scale-invariant featuretransform)算法。以SIFT算法为例，图像匹配即依据特征寻找特征描述子向量的过程，描述子向量表示了两个特征之间的相似程度，从而找到特征间的对应关系.

202)图像匹配：对每一张可见光图像做初始特征匹配，通过设定匹配算法在多张可见光图像间搜索同名点。

由于对每一张图像都需要进行特征匹配，则K张图像需要匹配

次。

常用的匹配算法主要为暴力匹配法(Brute-Force Matcher)，但在特征点数量很大时，暴力匹配法的运算量将变得很大。因此，在匹配点数量极多的情况下，匹配算法可以采用快速近似最近邻算法(FLANN)。

203)几何纠正：基于激光雷达点云数据，对每一张可见光图像通过对极几何估计基础矩阵，并采用随机采样一致性(RANSAC)算法剔除错误匹配。

具体地，在影像正射投影过程中，当地面高程越低时，投影所获取的地面范围越大。已知影像的初始外方位元素和精度指标，在地面有LiDAR作为参考的情况下，通过利用对应LiDAR范围的高程最小值，计算出图像连接点可能出现的范围，将地面投影范围有重叠的匹配认为是正确匹配，而地面投影范围没有重叠的匹配作为错误匹配剔除，从而可以完成影像之间的几何纠正。

204)初始化：通过对极几何估计初始化位姿变换，通过特征匹配找出匹配点最多且基线距离在设定范围内的两张可见光图像。

设定范围根据实际情况具体选择，避免因基线太短面临纯旋转问题和避免基线太长面临共同特征太少的问题。从2D-2D的对应关系用对极几何来估计，即图像的相对定向，来估计初始化两幅图像的位姿变换，这两张图像上的基线长会被定为单位距离，导致增量式系统的尺度未知，故需要绝对定向的操作来赋予系统正确的尺度。

205)图像配准：选取待配准的图像，找到待配准图像中像素点对应的已求解得到空间三维坐标的点，利用点的2D和3D信息，通过随机采样一致性(RANSAC)算法和最小姿态解算器求解PnP(Perspective-n-Point)问题，获得新配准的图像的位姿。

206)三角化：首先用初始化的两张图像重建出第一批3D点，然后用新配准的图像与前一张图像做三角化，重建新的3D点。

通过不同位置对同名点进行观察，从观察到的位置推断该点的距离，目的即估计像素的深度信息。

207)光束平差：对初始化两张图像的相机外参和已三角化的3D点做联合优化，最小化重投影误差平方和。

光束平差过程结束后，更新相机参数和3D点坐标，在迭代过程中，需要把每一张图像的相机参数和已重建的每一个3D坐标都纳入平差。

其中，在光束平差过程中，可以根据需要加入相机内参。

208)外点滤除：根据光束平差之后的重投影误差统计，滤除部分平差后重投影误差大于设定值的点。

设定值根据实际情况具体选择，在平差过程中，根据选权迭代的思想，对不同重投影误差的点赋予不同的权重，重投影误差越大，相对应的权重越小。

209)图像定向模型重建：图像定向即通过图像像点坐标与物方同名点坐标，确定像空间坐标系相对于物方坐标系之间为一个空间相似变换模型。

具体地，空间相似变换模型可表示为：

其中，(X_W,Y_W,Z_W)为空间点的物方坐标，λ为两个坐标系之间的缩放系数，R为两个坐标系间的旋转矩阵，f为相机的焦距，f为标称值，从图像中直接获取，(x,y,-f)为空间点在图像上的像点的像空间坐标系，(X_S,Y_S,Z_S)为摄影时图像中心在物方坐标系中的空间坐标，

b₁＝cosωsin k，b₂＝cosωcos k，b₃＝-sinω，

为三个相机姿态角。

在地面虚拟控制点的坐标已知的情况下，对上述模型公式进行平差解算，有7个观测数待观测，分别为3个旋转角、3个平移量、及1个缩放系数，是一个7参数坐标系转换问题。

本发明一实施例中，基于激光雷达点云数据辅助的增量式运动恢复结构算法(SFM算法)的输入为拍摄同一场景的一系列图像，输出为每一张图像对应的相机位置和朝向，以及重建后生成的3D点云。整个算法可分为两个环节，包括对应关系搜索及增量式重建。

对应关系搜索的输入为数据集中有场景重叠的图像，其目标是识别出有场景重叠图像中同一个目标点在多张图像上的投影。对应关系搜索包括特征提取、匹配和几何纠正；首先通过采用SIFT算法进行特征点的提取，利用特征描述向量找到有场景重叠的图像，而后利用暴力匹配(Brute-Force Matcher)算法匹配测试每一对图像的重叠场景，对于一张图像中的每一个特征，根据特征向量找到另一张图像中最相似的特征，若匹配点数量极多时，采用KD-TREE的方法对最近邻的特征点进行匹配，然后采用多视角几何进行限制。最后，基于激光雷达点云数据进行几何纠正，通过选取上一步得到的可能有场景重叠的图像对，采用RANSAC算法估计图像对之间的单应变换矩阵或者本质矩阵或者基础矩阵，判断是否有足够的特征匹配点满足映射关系，从而决定图像对是否真正相关，最终获得场景图，其中，影像为图节点，相关的图像对之间有边相连。

增量式重建的输入为前述得到的场景图，输出为图像的姿态估计以及空间三维坐标点。增量式重建包括初始化、图像配准、三角化、光束平差和外点滤除；初始化，选择场景图中有多相机视场角重叠的位置进行双目初始化，保证初始化冗余度高，使得重建更加鲁棒和精确；图像配准，选取待配准的图像，找到待配准图像中像素点对应的已求解得到空间三维坐标的点，利用点的2D和3D信息，通过RANSAC算法和最小姿态解算器求解PnP(Perspective-n-Point)问题，获得新配准的图像的位姿；三角化，即前方交会，新配准进来的图像既能观测到已经存在的空间三维点，也能求解新的空间三维点；其中，光束法平差、图像配准与三角化是一个相互联系的过程，配准的误差会影响三角化的准确性，反之亦然。随着配准及三角化过程的重复进行，累计误差越来越大，影响最终重建的结果。光束法平差在本质上是一个非线性优化算法，选取重投影误差作为代价函数，通过最小化这个代价函数，来优化相机的参数即相机内参、外参以及重建的三维点云。

进一步地，如图3所示，在采用图像信息进行三维重建获取真彩色三维图像点云之后，采用刚性变换与非刚性变换相结合的方式对图像点云和激光雷达点云数据进行配准，剔除误匹配，得到被扫描对象的最终三维点云模型。

具体地，本发明一实施例中，采用刚性变换对图像点云和激光雷达点云数据进行配准，包括：

采用基于特征的粗配准对图像点云和激光雷达点云数据进行配准以获取配准初值；基于获取的配准初值，对图像点云和激光雷达点云数据进行迭代最近点算法循环迭代以实现高精度配准。

其中，基于特征的粗配准包括：基于点特征的配准、基于线特征的配准和基于面特征的配准。

以下对本发明一实施例的基于特征的粗配准和迭代最近点算法(ICP)的原理及过程进行具体说明。

基于特征的粗配准

(一)点特征误差方程

实现基于点特征的配准至少需要3对不在同一条直线上的同名点，观测两个点云在同一物体上的同名点T，假定观测的同名坐标为D₀(x₀,y₀,z₀)和D(x,y,z)，平移向量为ΔX(Δx,Δy,Δz)，两者之间存在如下的转换关系：D₀＝RD+ΔX。

令

和

分别为同名点对中两个同名点的重心化坐标，a、b和c为待求解的罗德里格参数。

则旋转矩阵R的旋转参数的误差方程可以表示为：V₁＝A_Dt-L_D。

用求解的罗德里格参数构造矩阵R后，平移向量的平移参数的误差方程可以表示为：V₂＝ΔX-(D₀-RD)。

点约束的配准误差采用配准点对在空间3个方向的偏差及其空间欧几里得距离dS(Δx,Δy,Δz)表示，点约束的误差距离可利用如下公式计算：

罗德里格矩阵是根据旋转矩阵的对称正交特性，具体地，构造如下矩阵：

这样可以直接构造如下的旋转矩阵：

R＝(I-S)^-1(I+S)

式中，I为单位矩阵；

在求解得到a、b和c后，利用下述公式可以直接计算出旋转矩阵；

式中，

(二)面特征误差方程

面约束主要由同名面约束法向的角度误差Δθ和重心的距离误差ds两项来表示。设平面V的法向为F(f_x,f_y,f_z)，重心为Y，将平面V用V(F,Y)表示，对于一对同名面约束V₀(F₀,Y₀)和V(F,Y)有两个约束关系，F₀(f_0x,f_0y,f_0z)，第一个约束关系是法向平行约束，法向平行约束对应的表达式可表示为：F₀-RF＝0。

令：

则方向观测误差方程可以表示为：V₁＝A_ft-L_f。

求解完Y，可以构造出旋转矩阵R。

第二个约束关系为平面V(F,Y)的重心Y在平面V₀(F₀,Y₀)上，该约束对应的表达式可表示为：F₀(RY+ΔX-Y₀)＝0。

则平移向量的平移参数的误差方程可以表示为：V₂＝F₀ΔX-F₀(Y₀-RY)。

在平面约束配准中，求取旋转矩阵R时，两组平面特征的对应方向约束的法向朝向应当一致。由于当两个方向约束的夹角很小或者相同时，两个对应的约束只能做一个方向约束，因此实际方向约束的个数应该是具有不同方向的各个约束的个数总和。

面约束的平面误差通过以下公式进行计算；

具体地，角度误差可利用如下公式计算：

重心的距离误差可利用如下公式计算：

(三)线特征误差方程

基于线特征的配准至少需要两条异面线性约束。将空间线约束定义为L(F,P)，其中F(f_x,f_y,f_z)为直线方向向量，P(p_x,p_y,p_z)为线上一点，该点取线形约束的中心，对于空间同名线L₀(F₀,P₀)和L(F,P)，F₀(f_0x,f_0y,f_0z)，P₀(p_0x,p_0y,p_0z)，同名直线在空间重合，则中心点P变换后在直线L₀上，令P′＝RP，上述约束满足：

则平移向量的平移参数的误差方程可表示为：

通过求解线性方程组，可以得到平移向量ΔX(Δx,Δy,Δz)。

线性约束的误差也由角度误差Δθ和距离误差ds两项来表示，角度误差为法向夹角，距离误差为两条线中心连线在垂直于L₀的平面上的投影。

具体地，角度误差可利用如下公式计算：

距离误差可利用如下公式计算：

(四)多约束联合配准

基于点线面三种特征进行配准的方法都是通过先求解旋转矩阵R，然后求解平移向量ΔX，因此能够将三种特征约束联合起来进行配准。设参与配准的点、线、面特征约束分别为m、n、l，则对参与点进行重心化以后，可以得到统一的旋转矩阵的旋转参数误差方程为：

式中，A为由坐标和法向量观测值组成的系数阵，U为相应的残差阵；用最小二乘法可以直接求得旋转矩阵参数t。

平移向量的平移参数的误差方程为：

式中，B为点线面约束在空间距离约束构成的系数矩阵，W为相应的残差阵。

由此联合约束可以完成多类型特征约束对点云的配准，由基于特征的粗配准来分步求解作为一般初值解算精度能够满足要求。其中，当要求严密的解算空间变换时，需要将所有特征约束进一步线性优化之后再进行迭代求解。

迭代最近点算法

迭代最近点(Iterative Closest Point，ICP)算法用于求解3D点间的位姿估计问题，该算法对匹配初值要求比较高。此算法使用了七参数向量X＝[q₀,q_x,q_y,q_z,t_x,t_y,t_z]作为旋转和平移的表示方法，其中满足单位四元数条件，即

令原始采样点集为Q，对应曲面模型S，距离函数定义如下：

其中，Q到模型S的最近点之间的距离即是Q到S的距离。

迭代最近点算法(ICP算法)的处理过程如下：设定参数向量X的初始值为X₀＝[1,0,0,0,0,0,0]^T，模型S采样点集为C₀；

301)由点集中的点Q_k，在曲面S上计算相应最近点点集C_k；

302)计算参数向量X_k+1，该项计算通过点集到点集配准过程得到参数向量X_k+1，然后计算距离平方和值为d_k；

303)用参数向量X_k+1生成一个新的点集Q_k+1，重复步骤301)；

304)当距离平方和的变化小于预设的阈值τ时就停止迭代，停止迭代的判断准则为：d_k-d_k-1＜τ。

在执行ICP算法的过程中，第一步计算最近点集的过程是计算代价最大的步骤，因此该算法的关键在于不同视场下公共点集的求取。ICP算法对于配准点集的初始位置要求比较严格，故可在此算法之前先进行点云的粗配准。在点集位置相差较大时，该算法可能会单调收敛到局部最小，无法求得全局的最优解；同时该算法要求其中一个曲面上的每一个点在另外一个曲面上都有对应点，只有这样才能使两个待配准点云数据在整体上达到设定度量准则下的最优配准，一个曲面是另一个曲面的严格子集。当点云数据彼此之间仅仅是部分重叠的情况时，只是近似满足ICP算法的应用条件。

改进的ICP算法可以通过选取部分点代替全部点进行配准，减少参与配准的点数，也可通过点对的剔除引入适当的准则或约束来去除错误对应点对，此外还有点-面ICP等改进方法加快最近点搜索。从整体上来说，当配准的点集足够密集且初始位置很好的时候，ICP算法能够精确实现目标配准。

当采用刚性变换方法对图像点云与激光雷达点云进行配准时，融合结果通常仅仅是对点云数据进行了着色处理，由于在实际生产过程中，由图像建立的三维模型多会产生非刚性变形，所以仅仅将图像点云和激光雷达点云做刚性配准，最终的配准结果的精度和可靠性不高。

为此，本发明一实施例中，在采用刚性变换方式对图像点云和激光雷达点云数据进行配准的基础上，还采用了非刚性变换对图像点云和激光雷达点云数据进行配准。

具体地，采用非刚性变换对图像点云和激光雷达点云数据进行配准，包括：对畸变补偿的残差进行量化，在进行迭代最近点算法循环迭代时将畸变补偿的残差加入误差函数中。

以下本发明一实施例的非刚性配准的原理和过程进行具体说明。

为了提高异源点云配准时的精度，在误差函数中加入畸变补偿的残差，因改变了一帧点云内部各个点之间的相对关系，即所提非刚性匹配。

对畸变补偿的残差进行量化，在匹配时加到误差函数中去。

上式考虑了残差的畸变补偿量，

表示残差的畸变补偿量，b表示畸变参数的残差，t表示当前激光点采集的时刻，t_k表示当前帧点云的起始时刻，t_k+2表示下一帧点云的结束时刻。这样每个激光点就对应一个残差量

所有点的残差都是b的一部分。对于该偏差使用一个指数映射表示，允许它使用一个特殊的加号

被“添加”到位姿的顶部。

对点-面ICP的残差函数进行改进，可以得到下式：

其中，n表示参考表面法向量，p_i表示t_i时刻所对应的点，q表示平面的支持向量和邻域点的均值。

残差函数改进完成后，基于残差函数的迭代优化与点-面ICP的流程一致。

本发明一实施例中，采用刚性变换与非刚性变换结合的方式对两种点云进行配准，刚性变换关系主要体现在整体配准上，非刚性变换关系体现在局部上。刚性配准在变换过程中不会发生形变，而非刚性配准需要考虑形变等问题。在刚性配准上，先采取基于特征的粗配准，再使用迭代最近点(ICP)算法精细配准方法来提高配准效率。非刚性配准，通过对畸变补偿和点云匹配残差同时进行优化来实现。

进一步地，本发明一实施例提供的单镜头三维图像重构方法中，还包括：在进行配准前，对激光雷达点云数据进行滤波、去噪、去除离群点和采样处理。

以下以利用无人机获取目标物的三维点云模型为例，对本发明一实施例提供的基于激光雷达点云数据辅助的单镜头三维图像重构方法进行说明：

首先在无人机上搭载激光雷达、可见光相机和定位定姿(POS)系统，在目标区域飞行，对目标区域内的目标物进行数据采集；采集的数据包括目标物的激光雷达点云数据、可见光序列图像和图像的位姿信息；

对可见光序列图像进行预处理，通过采用基于激光雷达点云数据辅助的增量式运动恢复结构算法对可见光序列图像进行三维建模，获取真彩色三维图像点云；

对激光雷达点云数据进行预处理，滤波、去噪、去除离群点和采样等处理；

采用刚性变换与非刚性变换相结合的方式对真彩色三维图像点云和激光雷达点云数据进行配准，获取目标物的三维点云模型。

本发明一实施例提供的基于激光雷达点云数据辅助的单镜头三维图像重构方法，采用寻找图像与激光雷达点云同名点的方式，在图像的三维重建过程中添加虚拟的地面控制点来进行几何纠正，能够减少图像的三维重建过程中的失真情况；采用多约束条件的刚性变换和非刚性变换相结合的方式对三维图像点云和激光雷达点云数据进行配准，能够提高配准精度，充分融合图像点云和激光雷达点云数据，实现高精度的三维点云模型重建。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，本文中“前”、“后”、“左”、“右”、“上”、“下”均以附图中表示的放置状态为参照。

最后应说明的是：以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于激光雷达点云数据辅助的单镜头三维图像重构方法，其特征在于，包括：

1)获取被扫描对象的多张可见光图像和激光雷达点云数据；

2.根据权利要求1所述的基于激光雷达点云数据辅助的单镜头三维图像重构方法，其特征在于，步骤2)包括：

201)特征提取：对每一张可见光图像做特征提取；

3.根据权利要求2所述的基于激光雷达点云数据辅助的单镜头三维图像重构方法，其特征在于，在平差过程中，根据选权迭代的思想，对不同重投影误差的点赋予不同的权重，重投影误差越大，相对应的权重越小。

4.根据权利要求1所述的基于激光雷达点云数据辅助的单镜头三维图像重构方法，其特征在于，采用刚性变换对图像点云和激光雷达点云数据进行配准，包括：

5.根据权利要求4所述的基于激光雷达点云数据辅助的单镜头三维图像重构方法，其特征在于，基于特征的粗配准包括：基于点特征的配准、基于线特征的配准和基于面特征的配准。

6.根据权利要求4所述的基于激光雷达点云数据辅助的单镜头三维图像重构方法，其特征在于，采用非刚性变换对图像点云和激光雷达点云数据进行配准，包括：对畸变补偿的残差进行量化，在进行迭代最近点算法循环迭代时将畸变补偿的残差加入误差函数中。

7.根据权利要求1所述的基于激光雷达点云数据辅助的单镜头三维图像重构方法，其特征在于，在进行配准前，对激光雷达点云数据进行滤波、去噪、去除离群点和采样处理。