CN101916452B - 一种基于飞行控制信息的无人机遥感影像自动拼接方法 - Google Patents

Abstract

本发明提供一种基于飞行控制信息的无人机遥感影像自动拼接方法，特别是实现了根据飞行控制系统获取的姿态参数进行无人机遥感影像的自动校正与拼接。该方法通过无人机飞行控制系统获取的姿态参数，进行影像的航偏角校正和确定影像的邻接关系；对校正后的影像进行特征点提取，并对邻接影像进行特征点匹配，提取同名点；根据影像解算模型计算输出影像的范围，并与根据姿态参数确定的范围进行比较，若在容差范围内，则认为相邻影像之间的同名点数量和质量满足“拼接”要求，认为其“连通”；依次计算所有影像之间的连通关系，并求取影像之间的最大连通分量；根据连通分量进行模型解算，确定变换参数，输出研究区的拼接影像。

Description

一种基于飞行控制信息的无人机遥感影像自动拼接方法

技术领域

本发明涉及无人机遥感影像自动化处理，具体包括根据无人机飞行控制系统获取的飞行控制信息，进行无人机遥感影像的航偏角自动校正和拼接。本发明可适用于无人机遥感影像的实时快速拼接。

背景技术

无人机技术最初用于军事领域。在第二次世界大战之后，无人机技术得到了快速发展，主要用于危险和环境恶劣地区的军事侦察、实时监测等。从20世纪80年代开始，无人机得到日益广泛的应用，并开始应用到航空摄影测量领域。无人机作为卫星遥感重要的补充手段，具有在云下低空飞行能力，弥补了卫星光学遥感和普通航空摄影测量易受云层遮挡影响的缺陷；具有灵活机动的特点，无需机场起降，具有车载起飞、伞降和水面降落等多种方式；由于无人驾驶，回避了飞行员人身安全的风险，适用于救灾应急等；并且成本相对低廉，相对其他方式具有不可替代的优势。

当前国内外无人机遥感技术的研究主要集中在无人机遥感系统的设计，具体包括无人机系统设计、地面的飞行控制系统、姿态控制系统等。随着全球定位系统(GPS)和惯性测量单元(IMU)的发展，获取无人机上传感器的位置和姿态参数相对容易，从而促进了无人机在摄影测量领域的应用。国内外的重要参考文献如：李兵，岳京宪，李和军，“无人机摄影测量技术的探索与应用研究”，北京测绘，2008；刘庆元，徐柳华，沈彩莲，王小平，“基于无人飞行器遥感影像的数字摄影测量关键技术研究”，测绘科学，2010；姬渊，秦志远，王秉杰，刘晓辉，小型无人机遥感平台在摄影测量中的应用研究，测绘技术装备，2008；HenriEisenbeiss，Applications of photogrammetric processing using an autonomous model helicopter，ISPRS Commission I Symposium″From sensors to imagery″，2006；RB Haarbrink，E Koers，Helicopter UAV for photogrammetry and rapid response，2006；H Püschel，M Sauerbier，HEisenbeiss，A 3D Model of Castle Landenberg(CH)from combined photogrammetric processing ofterrestrial and UAV-based images，The International Archives of the Photogrammetry，RemoteSensing and Spatial Information Sciences，2008。

针对无人机遥感技术另一个方面的研究主要集中在应用方面，如在无人机上搭载高空间分辨率、高光谱分辨率的摄影相机，获取地表的高分辨率影像，并将其应用在精细农业、遗产保护、道路检测等领域，服务于经济和社会建设，其重要的文献包括L.F.Johnson，S.Herwitz，S Dunagana，B.Lobitz，D.Sullivan，R.Slye，“Collection of Ultra High Spatial and SpectralResolution Image Data over California Vineyards with a Small UAV”，Proceedings，Int’lSymposium on Remote Sensing of Environment，2003；Albert Rango，Andrea Laliberte，Jeffrey E.Herrick，Craig Winters，Kris Havstad，Development of an Operational UAV/Remote SensingCapability for Rangeland Management，23rd International UAV Systems Conference，2008等

无人机在云下低空飞行，获取影像的分辨率较高，但是覆盖范围较小，需要将多景无人机遥感影像进行拼接，才能形成覆盖整个研究区的影像。因此，研究无人机遥感影像自动拼接技术具有十分重要的意义。当前针对无人机自动拼接的研究和文献较少。虽然在计算机视觉领域发表了一些重要文献，如MATTHEW BROWN，DAVID G.LOWE，“AutomaticPanoramic Image Stitching using Invariant Features”，International Journal of Computer Vision74(1)，59-73，2007；Zomet A，Levin A，Peleg S，Weiss Y，Seamless image stitching by minimizingfalse edges，IEEE Trans Image Process.200615(4)：969-77。但是，这些研究不是针对无人机遥感应用，而是针对普通的摄影，没有充分利用无人机遥感影像的飞行控制信息，并且没有考虑航偏等因素引起的变形，不适合于无人机遥感影像的拼接。本发明提供一种根据无人机飞行控制信息的遥感影像自动拼接方法。

发明内容

本发明的目的是提供一种根据飞行控制信息进行无人机遥感影像的自动拼接方法，特别是根据无人机飞行控制系统获取的飞行控制信息，进行无人机遥感影像的航偏角自动校正和拼接。

本发明的思路为：通过无人机飞行控制系统获取的位置和姿态参数，确定影像的邻接关系并进行影像的航偏角校正；对校正后的影像进行特征点提取，并对邻接影像进行特征点匹配，提取同名点；根据同名点解算影像之间的几何变换模型和空间范围，并与根据姿态参数确定的范围进行比较，若在容差范围内，则认为相邻影像具有重叠区域，即“连通”；搜索所有影像之间的连通关系，并求取影像之间的最大连通分量；对最大连通分量进行几何模型解算，确定几何变换参数，并输出整个研究区的全景影像。

本发明的技术方案提供了一种基于飞行控制信息的无人机遥感影像的自动拼接方法，其特征在于以下的实施步骤：

1)根据无人机飞行控制系统获取的航偏角(YAW)，纠正航偏角引起的几何变形；

2)根据影像获取时刻GPS记录的无人机的经纬度坐标，确定影像之间的邻接关系；

3)对航偏校正后的影像进行特征点自动提取，并根据步骤2)确定的邻接关系对相邻影像进行特征点匹配，获取同名点；

4)对匹配得到的同名点进行粗差剔除，确定影像之间的几何变换模型和空间范围；

5)根据飞行姿态的位置信息、影像大小，确定影像拼接后的大致范围。并与步骤4)计算所得的空间范围进行比较；若计算所得空间范围满足误差要求，则认为影像之间具有重叠区域，即“连通”；

6)重复步骤4)和5)，搜索所有影像与其相邻影像之间的“连通”关系；

7)根据步骤6)确定的连通关系，求取最大连通分量，确定影像拼接的顺序；

8)计算待拼接各景影像的局部像素坐标到输出影像像素坐标的变换矩阵，进行影像重采样，输出全景影像。

上述实施步骤的特征在于：

根据无人机的飞行控制信息，进行航偏角校正和确定影像之间的邻接关系，并结合影像的大小，确定影像输出的大致范围，用以验证特征点提取与匹配的精度；特征点的提取与匹配采用全自动的SIFT特征匹配，并采用多项式模型进行参数解算，确定待拼接各景影像的局部像素坐标到输出影像像素坐标的变换矩阵，实现影像拼接的自动化；通过影像之间的特征点匹配，确定邻接影像之间是否“连通”，求取最大连通分量，优化影像拼接顺序，减小变形和提高精度。

本发明与现有技术相比具有如下特点：充分利用无人机飞行控制系统获取的飞行控制信息，进行无人机影像的自动拼接。本发明所涉及的无人机数据处理适用于各种类型的无人机数据自动化处理等。

附图说明

图1基于飞行控制信息的无人机遥感影像自动拼接方法的流程图

图2无人机遥感影像航偏校正示意图

其中，图2(B)和图2(C)是相邻两景无人机遥感影像，图2(A)和图2(D)是经过航偏校正的结果影像，分别对应图2(B)和图2(C)；

图3无人机遥感影像邻接关系图

其中，图3(A)表示影像IMG 3768与周围四个方向影像的邻接关系，图3(B)示意了影像方向确定的方法；

图4邻接影像特征点提取与匹配图

其中，图4(A)和图4(B)表示两景相邻影像，图4(C)表示图4(A)和图4(B)经过特征点提取和特征点匹配的结果影像，黑框中的点表示影像间的同名点；

图5无人机遥感影像遍历顺序示意图

其中，图5(A)表示以DSC01764为起始影像确定的最大连通分量，图5(B)表示影像所在范围，图5(C)表示影像拼接后的结果；图5(D)是以影像DSC01764为起点，依据影像遍历顺序建立的广度优先树；

图6影像输出范围示意图

其中，图6(A)是原始影像，图6(B)是图6(A)经过航偏校正后的结果影像，图6(C)为根据同名点计算得到的影像输出范围，图6(D)为将原始影像重采样后得到输出影像；

图7天津无人机遥感影像拼接结果图

图8新疆和田地区无人机遥感影像拼接结果示意图

具体实施方式

图1是一种基于飞行控制信息的无人机遥感影像自动拼接方法的流程图。本发明充分利用无人机飞行控制系统获取的飞行控制信息，进行影像航偏角校正、邻接关系确定，并在此基础上进行特征点提取和匹配，这使得计算量从o(n²)降低到o(n)，并提高了匹配的精度，最后进行模型计算，确定坐标变换矩阵，输出全景影像。结合图1，具体实施方式描述如下：

首先，根据无人机航偏角对几何变形进行校正。图2是无人机遥感影像航偏校正的示意图，图2(B)和图2(C)具有较大的重叠区域，但是由于相邻航带间无人机的飞行方向相反，加上航偏角的影响，存在较大的旋转变形误差。若直接进行匹配，将会导致较高的误匹配率，不利于后续几何模型参数的解算及其影像拼接。本专利根据航偏角对待拼接的影像进行校正。其原理为将影像围绕像主点旋转航偏角(YAW)，矩阵旋转可以表示为：

$I_{\mathrm{corr}}=I_{\mathrm{Orig}}\left(\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)$

其中，Icor和Iorg分别指原始影像和校正后影像，θ为航偏角。图2(B)和图2(C)的校正结果分别对应图2(A)和图2(D)所示，从中可以看出航偏角校正消除了航偏角造成的影像旋转误差，校正后影像主要存在获取点移动造成平移误差和航高变化造成比例尺误差，通过后续的特征点提取与匹配，并采用解算模型进行消除。

其次，确定影像之间的邻接关系。其主要原理是通过搭载在无人机上的GPS获取影像拍摄时刻无人机的空间位置(x，y，z)，其中x是经度、y是纬度、z是高程。由于无人机获取数据的范围通常较小，可忽略地球表面为球面的影响，近似认为是平面。采用出租车距离搜索每景影像东、南、西、北四个方向最邻近的影像，即：

Dis(i，j)＝abs(xi-xj)+abs(yi-yj)

其中，Dis(i，j)表示第i影像，与第j景影像之间距离，abs表示求绝对值，x_i、y_i和x_j、y_j表示各个点的坐标。方向判断采用如下公式：

$\mathrm{Dir}(i,j)=\arctan \left(\mathrm{abs}\left(\frac{1-\mathrm{ki}*\mathrm{kj}}{\mathrm{ki}+\mathrm{kj}}\right)\right)$

其中，k_i，k_j是i，j两点的斜率，abs表示求绝对值。可以根据以下公式确定影像之间的相对关系：

$\mathrm{Dir}(i,j)=\left\{\begin{array}{cc}(-\frac{\mathrm{\π}}{4},\frac{\mathrm{\π}}{4}]& \mathrm{East}\\ (\frac{\mathrm{\π}}{4},\frac{3\mathrm{\π}}{4}]& \mathrm{North}\\ (\frac{3\mathrm{\π}}{4},\frac{5\mathrm{\π}}{4}]& \mathrm{West}\\ (\frac{5\mathrm{\π}}{4},\frac{7\mathrm{\π}}{4}]& \mathrm{South}\end{array}\right.$

其中，当Dir(i，j)在

时候，认为第i景影像在第j景影像的东侧，依次确定其他方向的影像。影像邻接关系确定结果如图3(A)所示，IMG_3768四个方向均有影像，虚线箭头指示了该影像周围影像的位置，图3(B)示意了影像方向确定的方法。确定邻接影像后，只需与其邻接的影像进行特征点匹配，从而使运算量从o(n²)降低到o(n)，并提高运算的准确程度。

第三，对影像进行特征点提取及相邻影像间进行特征点匹配。图4(A)和图4(B)是两景相邻影像。影像特征点提取与匹配采用SIFT点特征提取算法，主要由以下三步组成：点特征提取、特征描述子计算、特征匹配。首先对原始影像采用不同标准差(σ)进行高斯平滑，然后对平滑后的影像求差，得到高斯差分影像。在差分影像上取灰度值极大或极小的点作为特征点；然后以特征点为中心，取给定高、宽的影像区域，计算该区域内每个像素的梯度方向和梯度强度；最后计算待配准影像和参考影像上不同特征点的特征向量的欧式距离，将距离最小的特征点作为初始匹配点，并根据最邻近和次邻近的欧式距离之比剔除误匹配点。图4(C)是进行特征点提取与特征匹配的结果，框内的点表示影像之间的同名点。

第四，根据邻接影像提取的特征点，进行模型解算，并与飞行控制信息确定的影像范围进行比较，确定影像之间的连通关系；重复以上过程，确定所有影像之间的连通关系；选择一景与周围方向连通数最大的影像，加入队列，作为拼接的起始影像；从队头取一景影像，将其邻接影像加入队尾，并将队头的影像删除，注意入过队列的不需要重复入队；重复上述过程，直到队列为空；上述各影像出队的顺序，就可以构成了最大连通分量。结果如图5所示，其中，图5(A)表示以DSC01764为起始影像确定的最大连通分量，图5(B)表示影像所在范围，图5(C)表示影像拼接后的结果；图5(D)是以影像DSC01764为起点，依据影像遍历顺序建立的广度优先树；

第五，影像重采样，其过程是将原始影像按照上述航偏校正和相邻影像同名点匹配，并通过同名点进行模型解算，确定待拼接各景影像的局部像素坐标到输出影像像素坐标的变换矩阵。其中，模型解算采用多项式模型，多项式次数由用户设置，一般一次多项式就可以消除平移和旋转的误差；根据模型解算的参数，对原始影像进行重采样，生成输出影像。图6(A)所示的原始影像进行航偏校正，得到图6(B)所示，图6(C)为根据同名点计算得到的影像输出范围，图6(D)为将原始影像重采样后得到输出影像。

图7是12景天津地区无人机遥感影像的全自动拼接图。该地区主要为城区和农田，地面特征点丰富，拼接效果较好，影像之间接缝较好。说明本发明能够适应对城市、农村等景观复杂地区进行较好的拼接，满足要求。图8是新疆和田地区的无人机遥感拼接影像，和田地区景观类型主要为荒漠，地表特征点较少，影像色差较大，拼接较为困难。本发明也能进行较好的拼接，说明了算法具有较好的适用性。

Claims (2)

1.一种基于飞行控制信息的无人机遥感影像自动拼接方法，其特征在于包括以下几个步骤：

步骤1：根据无人机飞行控制系统获取的航偏角(YAW)，纠正航偏角引起的几何变形；

步骤2：根据影像获取时刻GPS记录的无人机的经纬度坐标，确定影像之间的相对位置关系；

步骤3：对航偏校正后的影像进行特征点自动提取，并根据步骤2确定的邻接关系对相邻影像进行特征点匹配，获取同名点；

步骤4：对匹配得到的同名点进行粗差剔除，确定影像之间的几何变换模型和空间范围；

步骤5：根据飞行姿态的位置信息、影像大小，确定影像拼接后的大致范围，并与步骤4计算所得的空间范围进行比较；若计算所得空间范围满足误差要求，则认为影像之间具有重叠区域，即“连通”；

步骤6：重复步骤4和步骤5，搜索所有影像与其相邻影像之间的“连通”关系；

步骤7：根据步骤6确定的连通关系，求取最大连通分量，确定影像拼接的顺序；

步骤8：计算待拼接各景影像的局部像素坐标到输出影像像素坐标的变换矩阵，进行影像重采样，输出全景影像。

2.根据权利要求1所述的无人机遥感影像自动拼接方法，其特征在于步骤3中所述特征点的提取与匹配采用全自动的SIFT特征匹配，步骤4中确定影像之间几何变换模型采用多项式模型进行参数解算。

Images