CN110223233A - 一种基于图像拼接的无人机航拍建图方法 - Google Patents

Abstract

本发明涉及一种基于图像拼接的无人机航拍建图方法，一是通过无人机拍摄的视频图像，结合飞行数据中的前向速度和俯仰角等参数，并结合相机参数中的分辨率和帧率等参数生成一幅大的地图；二是根据飞行数据中的高度、经纬度、偏航角等参数，并结合相机参数中的焦距计算上一步得到的地图上每一个像素点的地理坐标。本发明采用图像直接拼接的方法，即无人机以折返的方式覆盖整个任务区域，飞行过程中相机光轴垂直于无人机所在平面指向地面拍摄视频，取视频里每帧图像垂直于飞行方向的中间若干行，相当于无人机“扫描”了整个任务区域；然后将这些“若干行”拼接起来得到整个任务场景的地图，最后结合经纬度信息构建矢量地图。

Description

一种基于图像拼接的无人机航拍建图方法

技术领域

本发明属于信息融合领域，具体内容是通过无人机扫描某区域采集视频数据并记录飞行数据，根据这些数据再结合相机参数，构建该区域的矢量地图。

背景技术

车辆在城市区域行驶可以通过现有卫星地图进行导航，但在偏远地区，卫星地图的分辨率往往很低，难以实现导航定位精度要求较高的任务。为了满足导航定位的精度需求，可采用搭载高分辨率相机的无人机对任务区域进行扫描，并通过一些方法得到任务区域的矢量地图。

现有的航拍建图方法主要分为两类：第一类方法是通过图像特征提取和立体匹配进行三维重建，视觉SLAM也可以归为此类，这种方法可以得到点云地图。该方法相对来说技术难度大，对设备要求较高；视觉SLAM技术尚处于研究阶段，受光照影响很大，尤其是针对户外的真实环境该方法鲁棒性很低。而且，在很多特定的任务场景中只需要获得平面地图，三维地图是不必要的。第二种方法是图像拼接，包括两大主要过程：图像配准和图像融合。这种方法也是现在主流的航拍建图方法，文献“大区域无人机航拍图像拼接算法研究”中具体介绍了这种方法，通过文中提出的迭代全局配准算法和最小割最大流原理能得到较好的结果。但这种方法适用于大区域航拍建图，随着无人机飞行高度的降低图像拼接会出现严重的拼接缝和“鬼影”现象。而且，以上两种方法都很难将图像信息和飞行数据较好的融合在一起，

发明内容

要解决的技术问题

为了避免现有技术的不足之处，针对无人机低空航拍小区域本发明提出了一种基于图像直接拼接的无人机航拍建图方法。

技术方案

一种基于图像拼接的无人机航拍建图方法，其特征在于步骤如下：

步骤1：对无人机搭载的摄像头进行标定，获取相机的内参数，所述的内参数包括焦距和畸变参数；并设置相机包括帧率和分辨率c×d；

步骤2：从无人机采集的视频数据中提取每一帧图像，假设一共有m帧图像，根据标定结果对m帧图像进行去畸变处理；

步骤3：接收无人机的飞行数据，其中包括飞行高度、经纬度以及无人机本体坐标系下的前向飞行速度和三个姿态角；所述无人机本体坐标系的X轴为无人机前进方向，z轴垂直无人机平面向下，坐标系符合右手建系准则；绕x轴为滚转角roll，绕y轴为俯仰角pitch，绕z轴为偏航角yaw；

步骤4：由前向飞行速度确定每帧图像中应提取的行数：

n_i＝k_i·v_i,i＝1,2,…,m (1)

式中，v_i为每帧图相对应的前向飞行速度；比例系数k_i为行速比，由下面公式确定：

式中，h_i为飞行高度，f_ps为相机帧率，ξ为相机视场角；由于n_i为小数，所以对其取整：

nz_i＝floor(n_i),i＝1,2,…,m (3)

式中，floor为向下取整函数，定义行数余量为：

en_i＝n_i-nz_i,i＝1,2,…,m (4)

定义动态累积误差：

s_i＝s_i-1+en_i,i＝1,2,…,m (5)

动态累积误差的初值s₀为零，当s_i大于等于1时，nz_i自增1，同时s_i自减1；当s_i小于1时，nz_i与s_i保持不变；

步骤5：假设从第i帧图像的第g_i行开始取，取到第g_i+nz_i-1行组成细胞图；将g_i近似看成俯仰角的线性函数：

式中，l为作行俯比，由分辨率决定：

l＝2·c·(1±30％) (7)

步骤6：引入滚转角对细胞图进行修正：

上式表示对第i个细胞图整体向右移动个像素，以使其与相邻细胞图对齐；修正参数k^p与相机的分辨率和视场角ξ有关：

步骤7：假设平面α是成像平面，平面β是地面，O是摄像机光心，A是无人机在地面上的投影点，C是细胞图的像素中心点，D是细胞图中的某一像素点，B是点D在地面的投影点；根据相机小孔成像模型可知，三角形OAB和三角形OCD是相似三角形；设OA＝h，h是无人机的飞行高度；OC＝f，f是无人机上搭载的相机的焦距；DC是两个像素点之间的欧式距离，式中(x_C,y_C),(x_D,y_D)分别为C、D两点的像素坐标；于是可通过相似比得到AB之间的距离，记AB＝a，则有：

假设点A对应的经纬度是(p_A,q_A)，射线AB与A点所在的纬线的夹角是η，由下面公式求得：

η＝ω+ζ (11)

公式中ω为细胞图对应的偏航角，ζ是DC与无人机坐标系y轴的夹角，

则AB在经线和纬线上的投影分别是：

a_x＝asinη,a_y＝acosη (12)

纬度1°对应的距离是l_o＝1.11×10⁶m，经度1°对应的距离是l_a＝l_ocosq_A；记点B相对于点A的经纬度差是(δ_y,δ_x)，则：

于是得到点B的经纬度：

(p_B,q_B)＝(p_A,q_A)+(δ_y,δ_x) (14)

利用上述方法得到细胞图上每一个像素点的经纬度坐标，从而得到了矢量细胞图；

步骤8：将矢量细胞图依次连接生成矢量地图，该地图的分辨率为n×d，其中n为：

n＝nz₁+nz₂+…+nz_m,i＝1,2,…,m (15)

步骤9：无人机直线飞行时，可通过步骤4～7生成矢量地图；无人机经过r次转弯，能得到r+1个这样的矢量地图；第j次转弯的相邻两个矢量地图之间的夹角如下：

δω_j＝ω_j+1-ω_j,j＝1,2,…,r (16)

式中，ω_j为第j个矢量地图的偏航角，将无人机第j次转弯时在相邻两个矢量地图上的投影点设为不动点，记为O_j，将相邻两个图上的O_j重合，夹角为δω_j，至此完成了相邻两个矢量地图的拼接，依次将r+1个矢量地图拼在一起可得到整个任务场景的地图。

有益效果

本发明提出的一种基于图像拼接的无人机航拍建图方法，填补了中小区域航拍建图的空白。实施步骤十分简单易行，而且使用灵活，可在任意时间段在任何非禁飞区域执行航拍建图任务。本发明方法的鲁邦性能好，不受光照变化、气温等条件的影响；算法复杂度低，可做到实时建图。

附图说明

图1是本发明中使用的无人机坐标系的建系方式。

图2是本发明中无人机搭载的相机的成像模型，上述步骤7中有本图的详细说明。

图3拍摄的原图像和去畸变之后的图像示例。

图4-10无人机的飞行高度、经纬度以及无人机本体坐标系下的前向飞行速度和三个姿态角(分别为θ_roll、θ_pitch和ω)。起飞的海拔高度为424.2米。

图11是每帧图像中应提取的行数。

图12是动态累积误差。

图13是每帧图像中实际提取的行数。

图14是细胞图提取的位置。

图15是利用滚转角对细胞图修正的修正量。

图16是将修正后的细胞图连接得到的结果。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明的任务场景是无人机飞行高度200米以下、直径三公里以内的任何无人机非禁飞区域。本发明目的是通过无人机航拍采集的视频数据和飞行数据，结合相机参数构建任务区域的矢量地图，用于其他设备的导航和定位。所谓矢量地图就是把图像数据和地理坐标相结合，矢量地图中每一个像素点都包括像素坐标和实际位置坐标两部分。

本发明针对无人机低空航拍小区域提出了一种构建矢量地图的方法。该方法主要分为两个部分：一是通过无人机拍摄的视频图像，结合飞行数据中的前向速度和俯仰角等参数，并结合相机参数中的分辨率和帧率等参数生成一幅大的地图；二是根据飞行数据中的高度、经纬度、偏航角等参数，并结合相机参数中的焦距计算上一步得到的地图上每一个像素点的地理坐标。本发明采用图像直接拼接的方法，即无人机以折返的方式覆盖整个任务区域，飞行过程中相机光轴垂直于无人机所在平面指向地面拍摄视频，取视频里每帧图像垂直于飞行方向的中间若干行，相当于无人机“扫描”了整个任务区域；然后将这些“若干行”(以下称作细胞图)拼接起来得到整个任务场景的地图，最后结合经纬度信息构建矢量地图。实施的具体步骤如下：

步骤一、对无人机搭载的摄像头进行标定，获取相机的内参数。内参数主要包括焦距和畸变参数。

并设置相机其他参数，包括帧率和分辨率(c×d)。

步骤二、从无人机采集的视频数据中提取每一帧图像，假设一共有m幅图像，根据标定结果对m帧图像进行去畸变处理。

步骤三、接收无人机的飞行数据，其中包括飞行时间、飞行高度、经纬度以及无人机本体坐标系下的三轴飞行速度和三个姿态角等。无人机本体坐标系如图1所示。X轴定为无人机前进方向，z轴垂直无人机平面向下，坐标系符合右手建系准则。绕x轴为滚转角roll，绕y轴为俯仰角pitch，绕z轴为偏航角yaw。

步骤四、由前向飞行速度确定每帧图像中应提取的行数：

n_i＝k_i·v_i,i＝1,2,…,m (1)

v_i为每帧图相对应的前向飞行速度。在本发明中，称比例系数k_i为行速比，经过理论推导和实验分析，k_i可由下面公式确定：

公式(2)中，h_i为飞行高度，f_ps为相机帧率，ξ为相机视场角。由于n_i为小数，所以对其取整：

nz_i＝floor(v_i),i＝1,2,…,m (3)

上式中floor为向下取整函数。定义行数余量为：

en_i＝v_i-nz_i,i＝1,2,…,m (4)

本发明提出设置动态累积误差的方法，将行数余量累加起来对nz_i进行修正，以避免地图会出现被压缩或被拉伸的情况。定义动态累积误差：

s_i＝s_i-1+en_i,i＝1,2,…,m (5)

动态累积误差的初值s₀为零。当s_i大于等于一时，nz_i自增一，同时s_i自减一。当s_i小于一时，nz_i与s_i保持不变。

步骤五、步骤四解决了每帧图像应抽取多少行的问题，假设从第i幅图像的第g_i行开始取，取到第g_i+nz_i-1行。本步骤需要解决的问题即如何确定g_i。由于无人机飞行过程中俯仰角θ_pitch随时间变化，而相机固连在无人机下方，所以图像中间行像素显示的实际位置并不在无人机正下方。由于俯仰角不会太大，所以g_i近似看成俯仰角的线性函数：

本发明中把比例系数l称作行俯比，主要由分辨率决定：

l＝2·c·(1±30％) (7)

步骤六、无人机飞行过程中飞行控制系统会不断对自身姿态进行调整，这势必会导致无人机倾侧，使得相邻细胞图之间出现错位。本发明中引入滚转角对细胞图进行修正：

上式表示对第i个细胞图整体向右移动个像素，以使其与相邻细胞图对齐。修正参数k^p主要与相机的分辨率和视场角有关：

至此，m帧图像中每帧取几行，从哪里开始取的问题已经解决，下面介绍如何将经纬度信息融进细胞图，构建矢量细胞图。

步骤七、图2中，平面α是成像平面，平面β是地面，O是摄像机光心，A是无人机在地面上的投影点，C是细胞图的像素中心点，D是细胞图中的某一像素点，B是点D在地面的投影点。根据相机小孔成像模型可知，三角形OAB和三角形OCD是相似三角形。设OA＝h，h是无人机的飞行高度；OC＝f，f是无人机上搭载的相机的焦距。DC是两个像素点之间的欧式距离，式中(x_C,y_C),(x_D,y_D)分别为C、D两点的像素坐标。于是可通过相似比得到AB之间的距离，记AB＝a，则有：

假设点A对应的经纬度是(p_A,q_A)，射线AB与A点所在的纬线的夹角是η，由下面公式求得：

η＝ω+ζ (11)

公式中ω为细胞图对应的偏航角，ζ是DC与无人机坐标系y轴的夹角，

则AB在经线和纬线上的投影分别是：

a_x＝asinη,a_y＝acosη (12)

纬度1°对应的距离是l_o＝1.11×10⁶m，经度1°对应的距离是l_a＝l_ocosq_A。记点B相对于点A的经纬度差是(δ_y,δ_x)，则：

于是得到点B的经纬度：

(p_B,q_B)＝(p_A,q_A)+(δ_y,δ_x) (14)

利用这个方法得到细胞图上每一个像素点的经纬度坐标，从而实现了矢量细胞图的构建。下面介绍如何根据矢量细胞图构建矢量地图，进而将多个矢量地图结合得到整个任务场景的地图。

步骤八、将矢量细胞图依次连接生成矢量地图，该地图的分辨率为n×d，其中n为：

n＝nz₁+nz₂+…+nz_m,i＝1,2,…,m (15)

步骤九、无人机直线飞行时，可通过步骤四至步骤七生成矢量地图。无人机经过r次转弯，能得到r+1个这样的矢量地图。本发明提出设置不动点，来连接这r+1个矢量地图。第j次转弯的相邻两个矢量地图之间的夹角如下：

δω_j＝ω_j+1-ω_j,j＝1,2,…,r (16)

式中ω_j为第j个矢量地图的偏航角。将无人机第j次转弯时在相邻两个矢量地图上的投影点设为不动点，记为O_j，将相邻两个图上的O_j重合，夹角为δω_j。至此完成了相邻两个矢量地图的拼接，依次将r+1个矢量地图拼在一起可得到整个任务场景的地图。

实施例1：

步骤一、实验中使用的摄像头为全瑞视讯的720P2CAM，相机视场角为90度，帧率设置为25，分辨率设置为480×640。利用MATLAB标定工具箱进行相机标定，相机焦距为2.1毫米，畸变向量为[-0.5172,0.5749,0,0,0]。

步骤二、从无人机采集的视频数据时长17秒，共提取了m＝425幅图像，根据标定结果对这些图像进行去畸变处理，效果如图3所示。

步骤三、接收无人机的飞行数据，包括飞行高度、经纬度以及无人机本体坐标系下的前向飞行速度和三个姿态角，如图4-10所示。

步骤四、由前向飞行速度确定每帧图像中应提取的行数：

n_i＝k_i·v_i,i＝1,2,…,425

结果如图11所示。根据公式2行速比k_i取为1.1。对n_i取整：

nz_i＝floor(v_i),i＝1,2,…,425

行数余量为：

en_i＝v_i-nz_i,i＝1,2,…,425

动态累积误差：

s_i＝s_i-1+en_i,i＝1,2,…,425

动态累积误差和最终实取行数如图12-13所示。

步骤五、由俯仰角确定g_i：

行俯比l取700。结果如图14所示。

步骤六、利用滚转角对细胞图进行修正：

修正参数k^p取150，结果如图15所示。

步骤七、将细胞图依次连接生成大地图，该地图的分辨率为1676×640，结果如图16所示。

本发明使用灵活，可随时执行任务；且操作简单，方便快捷，具有非常广阔的应用前景。另外，弥补了中小区域航拍矢量建图领域的空白。

Claims (1)

1.一种基于图像拼接的无人机航拍建图方法，其特征在于步骤如下：

步骤1：对无人机搭载的摄像头进行标定，获取相机的内参数，所述的内参数包括焦距和畸变参数；并设置相机包括帧率和分辨率c×d；

步骤2：从无人机采集的视频数据中提取每一帧图像，假设一共有m帧图像，根据标定结果对m帧图像进行去畸变处理；

步骤3：接收无人机的飞行数据，其中包括飞行高度、经纬度以及无人机本体坐标系下的前向飞行速度和三个姿态角；所述无人机本体坐标系的X轴为无人机前进方向，z轴垂直无人机平面向下，坐标系符合右手建系准则；绕x轴为滚转角roll，绕y轴为俯仰角pitch，绕z轴为偏航角yaw；

步骤4：由前向飞行速度确定每帧图像中应提取的行数：

n_i＝k_i·v_i,i＝1,2,…,m (1)

式中，v_i为每帧图相对应的前向飞行速度；比例系数k_i为行速比，由下面公式确定：

式中，h_i为飞行高度，f_ps为相机帧率，ξ为相机视场角；由于n_i为小数，所以对其取整：

nz_i＝floor(n_i),i＝1,2,…,m (3)

式中，floor为向下取整函数，定义行数余量为：

en_i＝n_i-nz_i,i＝1,2,…,m (4)

定义动态累积误差：

s_i＝s_i-1+en_i,i＝1,2,…,m (5)

动态累积误差的初值s₀为零，当s_i大于等于1时，nz_i自增1，同时s_i自减1；当s_i小于1时，nz_i与s_i保持不变；

步骤5：假设从第i帧图像的第g_i行开始取，取到第g_i+nz_i-1行组成细胞图；将g_i近似看成俯仰角的线性函数：

式中，l为作行俯比，由分辨率决定：

l＝2·c·(1±30％) (7)

步骤6：引入滚转角对细胞图进行修正：

上式表示对第i个细胞图整体向右移动个像素，以使其与相邻细胞图对齐；修正参数k^p与相机的分辨率和视场角ξ有关：

步骤7：假设平面α是成像平面，平面β是地面，O是摄像机光心，A是无人机在地面上的投影点，C是细胞图的像素中心点，D是细胞图中的某一像素点，B是点D在地面的投影点；根据相机小孔成像模型可知，三角形OAB和三角形OCD是相似三角形；设OA＝h，h是无人机的飞行高度；OC＝f，f是无人机上搭载的相机的焦距；DC是两个像素点之间的欧式距离，式中(x_C,y_C),(x_D,y_D)分别为C、D两点的像素坐标；于是可通过相似比得到AB之间的距离，记AB＝a，则有：

假设点A对应的经纬度是(p_A,q_A)，射线AB与A点所在的纬线的夹角是η，由下面公式求得：

η＝ω+ζ (11)

公式中ω为细胞图对应的偏航角，ζ是DC与无人机坐标系y轴的夹角，

则AB在经线和纬线上的投影分别是：

a_x＝asinη,a_y＝acosη (12)

纬度1°对应的距离是l_o＝1.11×10⁶m，经度1°对应的距离是l_a＝l_ocosq_A；记点B相对于点A的经纬度差是(δ_y,δ_x)，则：

于是得到点B的经纬度：

(p_B,q_B)＝(p_A,q_A)+(δ_y,δ_x) (14)

利用上述方法得到细胞图上每一个像素点的经纬度坐标，从而得到了矢量细胞图；

步骤8：将矢量细胞图依次连接生成矢量地图，该地图的分辨率为n×d，其中n为：

n＝nz₁+nz₂+…+nz_m,i＝1,2,…,m (15)

步骤9：无人机直线飞行时，可通过步骤4～7生成矢量地图；无人机经过r次转弯，能得到r+1个这样的矢量地图；第j次转弯的相邻两个矢量地图之间的夹角如下：

δω_j＝ω_j+1-ω_j,j＝1,2,…,r (16)

式中，ω_j为第j个矢量地图的偏航角，将无人机第j次转弯时在相邻两个矢量地图上的投影点设为不动点，记为O_j，将相邻两个图上的O_j重合，夹角为δω_j，至此完成了相邻两个矢量地图的拼接，依次将r+1个矢量地图拼在一起可得到整个任务场景的地图。