CN109961497A

CN109961497A - 基于无人机影像的实时三维重建方法

Info

Publication number: CN109961497A
Application number: CN201910222786.4A
Authority: CN
Inventors: 刘文龙; 韩一笑; 张金禄; 台钰山; 唐永志
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-03-22
Filing date: 2019-03-22
Publication date: 2019-07-02

Abstract

本发明涉及一种基于无人机影像的实时三维重建方法，其解决了现有利用无人机的三维重建方法不能实时进行，时间周期长的技术问题，其首先使无人机按照预定的航线飞行，无人机上的相机镜以90°、30°、60°三种角度进行数据采集，其次计算机对采集到的视频流进行帧提取，以获取目标区域不同表面的影像，再其次进行图像预处理、参数预处理、相机标定，然后准备三维重建环境，合成三维点云，最后通过泊松算法将稀疏点云密集化，贴上网格和纹理。本发明广泛用于三维重建技术领域。

Description

基于无人机影像的实时三维重建方法

技术领域

本发明涉及三维重建技术领域，具体而言，涉及一种基于无人机影像的实时三维重建方法。

背景技术

三维重建是采用相机等视觉传感器，通过对目标区域或物体进行图像采集，获取不同角度的RGB图像，从而获得目标区域或物体的二维图像。对获得的图像进行一系列的处理，便可以重建出目标区域或物体的三维模型。

众所周知，现有的三维重建技术是依据摄影测量的原理，在地面布置地面控制点，利用无人机航拍得到相片，根据GNSS接收机测得控制点的位置信息，在无人机飞行结束后回到地面，将航拍相片和位置信息导入到电脑中，然后进行三维重建。或者是通过在无人机上搭载惯性导航系统(IMU)和GNSS接收机，获得无人机在拍摄每张相片时的位置和姿态信息，在无人机飞行结束后回到地面，将相片和位置信息导入到电脑中进行三维重建。

上述两种方法都是将图像和信息的采集，与三维重建计算过程分开进行，这就大大延长了整个三维重建的周期。尤其对于灾后抢险救灾等高时效应用场景，上述方法无法满足要求，不能进行实时地三维重建。

发明内容

本发明就是为了解决现有利用无人机的三维重建方法不能实时进行，时间周期长的技术问题，提供了一种时间周期短，能够快速地、实时地进行三维重建的基于无人机影像的实时三维重建方法。

本发明的技术方案是，提供一种基于无人机影像的实时三维重建方法，包括三维重建系统，三维重建系统包括无人机、飞行控制器、数据传输模块、图像传输模块、视频采集卡和计算机，无人机上搭载了相机、云台和GPS定位模块；数据传输模块设有发射端和接收端，发射端搭载在无人机上并与飞行控制器连接通讯，接收端设置在地面并与计算机连接；图像传输模块设有发射端和接收端，图像传输模块的发射端搭载在无人机上，图像传输模块的发射端的接收端设置在地面上并与视频采集卡连接；视频采集卡与计算机连接；

实时三维重建方法包括以下步骤：

步骤1，无人机航线的规划，在飞行控制器上设置飞行轨迹的同时，综合考虑到目标区域的长度、宽度、面积，地面建筑分布情况，以及无人机的续航时间，需要设置的参数包括：无人机飞行速度、无人机飞行高度、飞行时间、目标区域长度、目标区域宽度、目标区域面积、航线间隔距离和航线飞行的次数；

步骤2，获取目标区域影像，加载预先导入的飞行任务，无人机按照预定的航线飞行，无人机上云台应在竖直方向偏转不同的角度，以获取目标区域不同表面的影像，具体的飞行方式如下：

(1)设置无人机云台上的相机的偏转角度，使相机镜头竖直朝下，与水平面呈90°夹角，按照预先设定的航线进行第一次飞行，获取目标区域垂直方向上的影像，飞完所有航线，完成第一次数据采集；

(2)设置无人机云台上的相机的偏转角度，使相机镜头与水平面呈30°夹角，飞行高度大约为第一次飞行高度的一半，按照预先设定的航线进行第二次飞行，直至飞完所有航线，完成第二次数据采集；

(3)设置无人机云台上的相机的偏转角度，使相机镜头与水平面呈60°夹角，飞行高度与第二次飞行高度大致相同，按照预先设定的航线进行第三次飞行，直至飞完所有航线，完成第三次数据采集；

无人机在进行影像采集的同时，进行影像和数据的回传工作，通过图像传输模块将无人机的相机正在采集的影像以视频流的形式实时回传到视频采集卡，通过数据传输模块将无人机的位置信息、飞行高度、飞行速度、相机偏转角等信息实时地传回计算机；

步骤3，计算机对视频流进行帧提取，帧图像自动保存到预先建好的计算机中的文件夹内；

步骤4，三维重建：

(1)图像预处理：计算机调用OpenCV软件对图片进行预处理，滤波处理，畸变矫正；

(2)参数预处理：计算机调用jhead软件导出步骤(1)处理后的图片的exif信息，从exif信息获得图片的分辨率和相机传感器参数ccd_width；

(3)相机标定：

1)首先从世界坐标系转换为相机坐标系，获得相机外参数：旋转矩阵R，平移向量t；

2)其次是从相机坐标系转为图像坐标系，从相机坐标系转换到像平面：相机坐标系中的一个点X，在像平面坐标系对应的点是x，要求从相机坐标系转为像平面坐标系的转换，也就是从X点的(X,Y,Z)通过转换变为x点的(x,y)，可以得到以下转换：

x＝fX/Zx＝fX/Z

y＝fY/Zy＝fY/Z

像平面坐标系转换到图像坐标系：主点p是像平面坐标系的原点，但在图像坐标系中的位置为(px,py)，进一步得到：

3)相机内参数K通过如下公式(1)计算：

其中，β_x＝p_x*m_x，β_y＝p_y*m_y；f_x＝f*m_x，f_y＝f*m_y；其中，p_x，p_y为点P所在的像素点，f代表相机焦距，m_x表示在水平方向1m的长度包含的像素的个数，m_y表示在竖直方向1m的长度包含的像素的个数；

(4)准备三维重建环境：计算机调用sift算法获得特征点，获得基础矩阵和本质矩阵；对于基础矩阵的计算，特征检测与匹配得到的两图像间的匹配点对x＝(x1,y1,1),x'＝(x2,y2,1)之间存在下面的约束关系:

x′^TF_x＝0其中

基础矩阵F不仅包含了物理空间中相机相关的旋转矩阵R和平移向量t信息，也包含了相机的内参数K，上式中的F是一个3*3的矩阵，有9个未知数，则需要联立9个方程，即得到9对匹配点，求解出基础矩阵将x,x'代人上式中，可以得到关于基础矩阵F的一个线性方程：

x₂x₁f₁₁+x₂y₁f₁₂+x₂f₁₃+y₂x₁f₂₁+y₂y₁f₂₂+y₂f₂₃+x₁f₃₁+y₁f₃₂+f₃₃＝0；

本质矩阵E的计算公式如下：

E＝t×R＝[t]_xR

公式中，t x R是平移向量t和旋转矩阵R的向量积，[t]_x是向量t的反对称矩阵，令t＝(t_x,t_y,t_z,)^T，则有：

理论上旋转矩阵和平移向量各有3个自由度，共有6个尺度因子，本质矩阵有5个自由度，

另外，EE^T＝[t]_xR([t]_x R)^T＝[t]_xRR^-1([t]_x)^T＝-([t]_x)²，即EE^T仅由平移向量t决定；

(5)合成三维点云：计算机通过获得的特征点、基础矩阵和本质矩阵合成稀疏点云，具体过程是：

利用投影矩阵求空间点：令(X,Y,Z,1)为M点在世界坐标系下的齐次坐标(u1,v1,1)，(u2,v2,1)分别为M在两图像上的像素坐标,p^k _ij(k＝1,2)表示第k个投影矩阵的第i行第j列元素，根据坐标系的转换关系,并消去Z可以得到如下一个方程组；由于数据是有噪声的，可以用最小二乘求出(X,Y,Z)：

(6)计算机通过泊松算法将稀疏点云密集化，贴上网格和纹理。

优选地，步骤3中，帧提取是以每隔1s的时间间隔从视频流中提取出一帧图像，保存的图片格式为jpg格式，图像的尺寸为640*480；相邻两张相片的航线重叠度在80％以上，旁向重叠度在60％以上

本发明的有益效果是：大大减少了三维重建的时间，将图像的采集与三维重建同时进行，实现了快速实时的三维重建，解决了大场景三维重建实效性低的难题。采用图像传输系统和视频采集卡用于三维重建，易行、便捷，所使用的仪器相对便宜，成本较低。三维重建的准确度高、精度高，效果更好。

本发明进一步的特征和方面，将在以下参考附图的具体实施方式的描述中，得以清楚地记载。

附图说明

图1是基于无人机影像的实时三维重建系统的原理框图；

图2是坐标系示意图；

图3是无人机的飞行轨迹示意图；

图4是关于两张相片的重叠度的示意图；

图5是图像获取的流程图；

图6是本发明针对一栋建筑形成的三维模型的截图。

图中符号说明：

10.无人机，11.数据传输模块的发射端，12.图像传输模块的发射端，13.数据传输模块的接收端，14.图像传输模块的接收端，20.飞行控制器，30.视频采集卡，40.计算机。

具体实施方式

以下参照附图，以具体实施例对本发明作进一步详细说明。

如图1所示，基于无人机影像的实时三维重建系统包括无人机10、飞行控制器20、视频采集卡30和计算机40，无人机10上搭载了相机、云台、数据传输模块、图像传输模块和GPS定位模块，计算机内安装的软件有Mission Planner、图像采集软件、三维重建软件。

数据传输模块能够进行远程无线数据传输，数据传输模块设有发射端和接收端，发射端搭载在无人机上，与飞行控制器20连接通讯；接收端与计算机连接，接收端设置在地面。

图像传输模块能够进行远程无线数据传输，图像传输模块设有发射端和接收端，发射端搭载在无人机上，接收端与视频采集卡连接，接收端设置在地面上。视频采集卡30通过USB3.0串口与计算机40连接。计算机的Mission Planner软件读取数据传输模块的接收端13传回的信息。

无人机10可以选用大疆经纬M600产品。

使用上述基于无人机影像的实时三维重建系统对目标物体或区域进行三维重建的方法包括以下步骤：

步骤一，无人机起飞前的准备。检查无人机和地面端所以设备的工作状态，保证图像传输模块和数据传输模块的发射端已经与地面的相应接收端正确对频并建立了通信。检查无人机的飞行控制器20与无人机上其它装置的通信，保证无人机上所有设备都能正常工作。

相机与云台固定在一起，云台的偏转带动相机镜头的偏转，飞行控制器读取的云台偏转角度，即为相机镜头的偏转角度。

测试GPS定位模块定位的精度，测试在不同的地点GPS搜索卫星的数目。对图像传输模块的接收端供电，并连接视频采集卡。将视频采集卡通过USB串口与计算机连接。打开计算机上的软件，确保软件能正常运行。

步骤二，无人机航线的规划。在飞行控制器20上设置如图3所示的飞行轨迹的同时，综合考虑到目标区域的长度、宽度、面积，地面建筑分布情况，以及无人机的续航时间等要素，需要设置的参数有：无人机飞行速度“v”，无人机飞行高度“h”，飞行时间“t”，航线间隔距离“p”，航线飞行的次数“s”等。将这些参数提前写入飞行计划中，并导入到无人机的飞行任务中。

飞行航线的具体参数如表1所示：

表1

参数	符号	单位
			飞行高度	h	m
飞行速度	v	m/s
			飞行时间	t	s
目标区域长度	x	m
			目标区域宽度	y	m
目标区域面积	S	m<sup>2</sup>
			航线间隔距离	p	m

步骤三，获取目标区域影像。加载预先导入的飞行任务，无人机按照预定的航线飞行，考虑三维重建的需求，无人机搭载的云台应在竖直方向偏转不同的角度，以获取目标区域不同表面的影像，具体的飞行方式如下：

(1)设置无人机云台上的相机的偏转角度，使相机镜头竖直朝下，与水平面呈90°夹角。按照预先设定的航线进行第一次飞行，获取目标区域垂直方向上的影像，飞完所有航线，完成第一次数据采集。

(2)设置无人机云台上的相机的偏转角度，使相机镜头与水平面呈30°夹角，飞行高度大约为第一次飞行高度的一半，按照预先设定的航线进行第二次飞行，直至飞完所有航线，完成第二次数据采集。

(3)设置无人机云台上的相机的偏转角度，使相机镜头与水平面呈60°夹角，飞行高度与第二次飞行高度大致相同，按照预先设定的航线进行第三次飞行，直至飞完所有航线，完成第三次数据采集。

无人机在进行影像采集的同时，进行影像和数据的回传工作。图像传输模块实时地传输视频，数据传输模块实时地传输数据，通过图像传输模块的发射端将无人机的相机正在采集的影像以视频流的形式以无限传输的方式实时回传到地面接收端。无人机上的数据传输模块的发射端，将无人机的位置信息、飞行高度、飞行速度、相机偏转角等信息以无限传输的方式实时传回地面接收端。

步骤四，图像和数据的获取。图像传输模块的接收端将接收到的视频流数据发送给视频采集卡30，数据传输模块的接收端将接收到的位置信息、飞行高度、飞行速度、相机偏转角等信息发送给计算机40。运行计算机中的图像采集软件，以每隔1s的时间间隔从视频流中提取出一帧图像，自动保存到预先建好的计算机中的文件夹内；保存的图片格式为jpg格式，图像的尺寸为640*480。采集图像的时间间隔将根据无人机的飞行速度调整，保证相邻两张相片的航线重叠度在80％以上，旁向重叠度在60％以上，从而保证三维重建的精度。

位置信息、飞行高度、飞行速度、相机偏转角等信息存储到计算机中，作为三维重建的输入数据。

步骤五，三维重建：

(1)图像预处理：计算机调用OpenCV软件对图片进行预处理，滤波处理，畸变矫正。

(2)参数预处理：计算机调用jhead软件导出步骤(1)处理后的图片的exif信息，从exif信息获得图片的分辨率和相机传感器参数ccd_width。

exif是一种图象文件格式，它的数据存储与JPEG格式是完全相同的。实际上Exif格式就是在JPEG格式头部插入了数码照片的信息，包括拍摄时的光圈、快门、白平衡、ISO、焦距、日期时间等各种和拍摄条件以及相机品牌、型号、色彩编码、拍摄时录制的声音以及全球定位系统(GPS)、缩略图等。

(3)相机标定：

1)首先从世界坐标系转换为相机坐标系，这一步是三维点到三维点的转换，获得旋转矩阵R，平移向量t等相机外参数；

2)其次是从相机坐标系转为图像坐标系，这一步是三维点到二维点的转换，包括相机内参K等参数。从相机坐标系转换到像平面：相机坐标系中的一个点X(现实三维世界中的点)，在像平面坐标系对应的点是x，要求从相机坐标系转为像平面坐标系的转换，也就是从X点的(X，Y，Z)通过转换变为x点的(x，y)。注意：(X，Y，Z)是在相机坐标系，而(x，y)是在像平面坐标系(还不是图像坐标系，原点不同。)观察图2，可以得到以下转换：

x＝fX/Zx＝fX/Z

y＝fY/Zy＝fY/Z

像平面坐标系转换到图像坐标系：主点p是像平面坐标系的原点，但在图像坐标系中的位置为(px，py)，在这里，图形坐标系的原点是图2的左下角，所以可以得到：

相机的径向畸变修正可以通过以下公式进行：

x_corr＝x_dis(1+k₁r²+k₂r⁴+k₃r⁰)

y_corr＝y_dis(1+k₁r²+k₂r⁴+k₃r⁶)

上式中的X_corr，y_corr分别表示径向畸变x方向、y方向改正后的值，X_dis，y_dis是未修正的值，k₁、k₂、k₃为径向畸变系数，r²＝X_dis ²+y_dis ²。

相机的切向畸变是由于透镜与成像平面不严格的平行，其可以用如下公式修正：

x_corr＝x_dis+[2p₁xy+p₂(r²+2x²)]

y_coor＝y_dis+[p₁(r²+2y²)+2p₂xy]

上式中X_corr，y_corr分别表示径向畸变x方向、y方向改正后的值，X_dis，y_dis是未修正的值，p₁，p₂为切向畸变系数，r²＝X_dis ²+y_dis ²。

3)相机内参数K的计算公式如下：

其中，β_x＝p_x*m_x，β_y＝p_y*m_y；f_x＝f*m_x，f_y＝f*m_y；其中，p_x，p_y为点P所在的像素点，f代表相机焦距，m_x表示在水平方向1m的长度包含的像素的个数，m_y表示在竖直方向1m的长度包含的像素的个数。

(4)准备三维重建环境：计算机调用sift算法获得特征点，获得基础矩阵和本质矩阵。对于基础矩阵的计算，特征检测与匹配得到的两图像间的匹配点对x＝(x1，y1，1)，x’＝(x2，y2，1)之间存在下面的约束关系：

x′^TF_x＝0其中

基础矩阵F不仅包含了物理空间中相机相关的旋转矩阵R和平移向量t信息，也包含了相机的内参数K。上式中的F是一个3*3的矩阵，有9个未知数，则需要联立9个方程，即得到9对匹配点，求解出基础矩阵将x，x′代人上式中，可以得到关于基础矩阵F的一个线性方程：

x₂x₁f₁₁+x₂y₁f₁₂+x₂f₁₃+y₂x₁f₂₁+y₂y₁f₂₂+y₂f₂₃+x₁f₃₁+y₁f₃₂+f₃₃＝0

当存在多对匹配点时，可建立多个方程，通过解方程组计算出基础矩阵。

本质矩阵E的计算公式如下：

E＝t×R＝[t]_xR

另外，EE^T＝[t]_xR([t]_x R)^T＝[t]_xRR^-1([t]_x)^T＝-([t]_x)²，即EE^T仅由t决定。理论上本质矩阵的三个奇异值中，要求其中两个相等而且另外一个为0，在求解的过程中可以利用这个性质来验证本质矩阵的正确性。

利用投影矩阵求空间点：令(X,Y,Z,1)为M点在世界坐标系下的齐次坐标(u1,v1,1)，(u2,v2,1)分别为M在两图像上的像素坐标,p^k _ij(k＝1,2)表示第k个投影矩阵的第i行第j列元素。根据坐标系的转换关系,并消去Z可以得到如下一个方程组。由于数据是有噪声的，可以用最小二乘求出(X,Y,Z)：

上述步骤(4)准备三维重建环境中，调用sift算法的具体过程如下：

1)构建尺度空间

这是一个初始化操作，尺度空间理论目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

G(x，y，σ)：尺度可变高斯函数

(x，y)：空间坐标

σ：尺度坐标，大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的σ值对应粗糙尺度(低分辨率)，反之对应精细尺度(高分辨率)。

为在尺度空间检测稳定的关键点，使用高斯差分尺度空间(DOG scale-space)利用不同尺度的高斯差分核与图像卷积生成。

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)

＝L(x，y，kσ)-L(x，y，σ)

2)图像金字塔化

先进行图像平滑，再进行降采样，根据降采样率不同，所得到一系列尺寸逐渐减小图像。

3)LOG(Laplassian of Gaussian)

将步骤1)、2)融合，得到LOG图像(高斯拉普拉斯变换图像)。其步骤是：先将照片降采样，得到了不同分辨率下的图像金字塔。再对每层图像进行高斯卷积。这样一来，原本的图像金字塔每层只有一张图像，而卷积后，每层又增加了多张不同模糊程度下的照片。

4)DOG确定局部特征点

DOG即高斯差分。构造高斯差分图像的步骤是：在获得LOG图像后，用其相邻的图像进行相减，得到所有图像重新构造的金字塔就是DOG金字塔。一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。即该值为26个点中的极值点时，该值被识别为特征点。

5)特征点精确定位

即去掉DoG局部曲率非常不对称的像素。极值点是在高斯差分之后所确定下来的，那么其是属于离散空间上的点，不一定是真正意义上的极值点，使用泰勒展开式：

则极值点为：

6)方向赋值

经过Harris角点检测算法之后，得到精确特征点。接下来要求它们的方向。在DOG金字塔中，有很多层高斯模糊后的图像。在此，我们对其中一张图像的处理进行说明。当我们精确定位关键点后，需要找到该特征点对应的尺度值σ，根据这一尺度值，将对应的高斯图像的关键点进行有限差分，以3×1.5σ为半径的区域内图像梯度的幅角和幅值，得到：

L所用的尺度为每个关键点各自所在的尺度。至此，图像的关键点已经检测完毕，每个关键点有三个信息：位置，所处尺度、方向，由此可以确定一个SIFT特征区域。

梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。随着距离中心点越远的领域其对直方图的贡献也响应减小。此外，使用高斯函数对直方图进行平滑，减少突变的影响。

7)关键点描述子的生成

为了保证特征矢量具有旋转不变性，需要以特征点为中心，将特征点附近邻域内(mσ(Bp+1)√2x mσ(Bp+1)√2)图像梯度的位置和方向旋转一个方向角θ，即将原图像x轴转到与主方向相同的方向。

旋转公式如下：

其中为旋转后的结果，为旋转前的坐标。

在特征点附近邻域图像梯度的位置和方向旋转后，再以特征点为中心，在旋转后的图像中取一个mσBp x mσBp大小的图像区域。并将它等间隔划分成Bp X Bp个子区域，每个间隔为mσ像元。

关于步骤四图像和数据的获取过程中，关于重叠度，参考图4，相片对应的实地的长(宽)为：L＝2htanα，α为像幅角，

S1＝vt1，v为无人机飞行速度，S1为同一条航线上无人机拍摄相邻两张相片飞过的距离。

l＝L(1-H/h)，h为无人机飞行高度，H为目标物体的高度

重叠度为：

时间间隔为：

l-S1为航带在目标物体基准面上的航向重叠长度，ω为预先设定的重叠度；则t1为从视频流里提取相邻两张相片的时间间隔。

以上所述仅对本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。

Claims

1.一种基于无人机影像的实时三维重建方法，其特征在于，包括三维重建系统，所述三维重建系统包括无人机、飞行控制器、数据传输模块、图像传输模块、视频采集卡和计算机，所述无人机上搭载了相机、云台和GPS定位模块；所述数据传输模块设有发射端和接收端，所述发射端搭载在无人机上并与飞行控制器连接通讯，所述接收端设置在地面并与计算机连接；所述图像传输模块设有发射端和接收端，所述图像传输模块的发射端搭载在无人机上，所述图像传输模块的发射端的接收端设置在地面上并与视频采集卡连接；所述视频采集卡与计算机连接；

所述实时三维重建方法包括以下步骤：

步骤4，三维重建：

(3)相机标定：

x＝fX/Zx＝fX/Z

y＝fY/Zy＝fY/Z

3)相机内参数K通过如下公式(1)计算：

x′^TFx＝0 其中

本质矩阵E的计算公式如下：

E＝t×R＝[t]_xR

公式中，txR是平移向量t和旋转矩阵R的向量积，[t]_x是向量t的反对称矩阵，令t＝(t_x,t_y,t_z,)^T，则有：

另外，EE^T＝[t]_xR([t]_xR)^T＝[t]_xRR-¹([t]_x)^T＝-([t]_x)²，即EE^T仅由平移向量t决定；

2.根据权利要求1所述的基于无人机影像的实时三维重建方法，其特征在于，所述步骤3中，帧提取是以每隔1s的时间间隔从视频流中提取出一帧图像，保存的图片格式为jpg格式，图像的尺寸为640*480；相邻两张相片的航线重叠度在80％以上，旁向重叠度在60％以上。