CN107480727A - 一种sift和orb相结合的无人机影像快速匹配方法 - Google Patents

Abstract

本发明提供的一种SIFT和ORB相结合的无人机影像快速匹配方法，综合考虑无人机影像快速匹配的时效性和可靠性，采用两层金字塔匹配策略，对金字塔影像进行SIFT匹配，将金子塔匹配的结果约束原始影像进行ORB匹配，使得无人机影像匹配速度大大加快，匹配效率大大提高，使得无人机遥感在灾害应急响应等领域得到更好的应用。公开了一种基于序列影像的全自动航带排列方法，大大减少匹配时间，提高航带排列的正确性。自动航带排列完成后对原始无人机影像进行了预处理，提高相对定向、区域网平差的精度，改善影像拼接处的裂缝和扭曲问题。有效改善色彩不一致的情况，处理效率高，提高了自动测区恢复的效率和准确性。

Description

一种SIFT和ORB相结合的无人机影像快速匹配方法

技术领域

本发明涉及一种无人机影像快速匹配方法，特别涉及一种SIFT和ORB相结合的无人机影 像快速匹配方法，属于无人机影像匹配技术领域。

背景技术

无人机遥感作为一种新兴的低空遥感技术，相比传统的大飞机航空遥感和卫星遥感具有 一系列的优点，可以作为遥感影像数据获取的有效补充手段。首先，无人机遥感具有机动灵 活、起降条件宽松的优点。无人机运输携带方便，可方便地拆卸，在项目执行过程中，可以 很快地完成组装调试起飞，时效性非常强。早期的测绘无人机还需要一段较短的水平跑道才 能起飞，而随着无人机设备的快速发展，目前常见的无人机起飞方式除了跑到滑行起飞，还 有弹射和手抛方式起飞，回收时可以采用伞降或撞网的方式降落，对于野外作业来说极为方 便。其次，无人机遥感受天气影响小，在传统大飞机航空摄影中，如果天气状况不理想，将 会严重影响成像质量，而无人机的飞行高度较低，一般在300米-1000米之间，这就决定了 云层遮挡基本不会影响无人机成像，因此无人机可以在飞行高度低的情况小获取高分辨率的 影像。最后，无人机遥感成本低、适合自然条件恶劣的区域，在人员无法到达的区域或者受 灾区域，更适合采用无人机。

从现有技术的无人机遥感实际应用情况来看，无人机遥感已经具备很强的数据获取能力， 但是在无人机数据快速处理方面仍然缺少成熟完善的软件，大量无人机数据快速处理的需求 已经日益显现。在灾害应急响应的应用中，无人机遥感数据快速处理则具有更加重要的意义。 然而无人机遥感具有一系列优点的同时，也具有一些先天的缺点：一是无人机飞行高度低， 单张影像的像幅一般较小，而且重叠度较大，因此在测区覆盖范围内，影像数量较多；二是 无人机重量较轻，受风速的影响，影像的重叠度和姿态变化较大；三是无人机遥感系统的成 本低，搭载的相机一般都是非量测相机，导致影像畸变较大，获取的POS数据精度也很差； 四是在很多实际应用中，无人机遥感获取的影像都是都林区、水域、沙漠等困难区域，存在 纹理缺乏和重复纹理的情况。以上这些缺点都为无人机遥感影像处理带来了很大的困难。

影像匹配是获得影像重叠区域内的同名特征，根据同名特征可以计算影像之间的相对位 置关系，从而达到局部配准或者全局配准的目的。影像匹配是无人机影像拼接必须首先解决 的问题，影像匹配对于无人机遥感极端重要，但现有技术的无人机影像匹配方法匹配速度慢， 匹配效率低，匹配准确性不高，不利于无人机遥感更好的应用于灾害应急响应等领域，严重 的制约了无人机遥感的发展。

综合来看，现有技术的无人机影像匹配方法主要存在以下几点缺陷：一是现有技术的无 人遥感影像匹配大多采用SIFT算子，SIFT算子基本适用于无人机遥感影像匹配，但是SIFT 算子计算复杂，匹配速度较慢，并不适用于快速处理，匹配效率较低，使得无人机遥感在灾 害应急响应等领域应用困难，不适用于大测区的无人机航空遥感。二是现有技术航带排列方 法落后，没有充分考虑到无人机遥感系统是按照摄影顺序获取影像序列的，无法根据原始影 像的名称或者拍摄时间得到原始影像序列，无法利用影像序列这一已知信息进行序列影像匹 配，无法根据匹配结果来确定测区内的相邻影像关系，一般采用两两匹配的方法，匹配时间 很长，航带排列的正确性较差。三是缺少无人机影像预处理，不能对原始影像进行畸变纠正， 不能提高相对定向、区域网平差的精度，不能改善影像拼接处的裂缝和扭曲问题。不能对原 始影像进行简单的匀色处理，不能有效改善色彩不一致的情况，处理效率低。相邻航带的原 始无人机影像一般存在180°左右的旋转角，不能对原始无人机影像进行旋转，不能满足航 带内的影像左右重叠，不能满足航带间的影像上下重叠，自动测区恢复的效率和准确性较差。

发明内容

针对现有技术的不足，本发明提供的一种SIFT和ORB相结合的无人机影像快速匹配方法， 综合考虑无人机影像快速匹配的时效性和可靠性，总结SIFT算法和ORB算法的特点，针对 SIFT匹配速度较慢的问题，将ORB算法引入无人机影像匹配，采用两层金字塔匹配策略， 对金字塔影像进行SIFT匹配，将金子塔匹配的结果约束原始影像进行ORB匹配，使得无人 机影像匹配速度大大加快，匹配效率大大提高，使得无人机遥感在灾害应急响应等领域得到 更好的应用。公开了一种基于序列影像的全自动航带排列方法，根据原始影像的名称或者拍 摄时间得到原始影像序列，利用影像序列这一已知信息进行序列影像匹配，根据匹配结果来 确定测区内的相邻影像关系，大大减少匹配时间，提高航带排列的正确性。自动航带排列完 成后对原始无人机影像进行了预处理，对原始影像进行畸变纠正不仅可以提高相对定向、区 域网平差的精度，还可以改善影像拼接处的裂缝和扭曲问题。对原始影像进行简单的匀色处 理，不仅能有效改善色彩不一致的情况，而且处理效率高。对原始无人机影像进行旋转，使 航带内的影像左右重叠，航带间的影像上下重叠，提高了自动测区恢复的效率和准确性。

为达到以上技术效果，本发明所采用的技术方案如下：

一种SIFT和ORB相结合的无人机影像快速匹配方法，首先对金字塔影像进行SIFT匹配， 获得粗略的匹配结果，根据匹配结果计算原始影像的旋转平移参数，然后对原始影像进行搜 索范围约束的ORB匹配，并对匹配结果进行粗差剔除和质量评价，如果质量评价符合要求， 则认为该像对匹配成功，如果不符合，则对该像对的原始影像再次进行SIFT匹配，所有匹 配任务完成后，最后进行串点，为下一步区域网平差准备像点文件；

具体步骤如下：

第一步，生成影像列表和匹配任务；完成自动测区恢复，获得测区工程文件和预处理后 的影像，工程文件记录影像的相邻位置关系，根据工程文件生成影像列表文件和匹配任务文 件，影像列表文件包括每张影像的ID号和影像路径，航带内的每张影像与其后的两张影像进 行匹配，与下一条航带的三张相邻影像进行匹配；

第二步，根据影像列表文件，对所有影像进行降采样和SIFT特征点提取，并将特征点 的坐标转换到原始影像上，采用二进制格式保存特征点文件，特征点提取完成后，根据匹配 任务文件和特征点文件进行SIFT匹配，输出匹配点数量、匹配结果和旋转平移参数；

第三步，根据影像列表文件，对原始影像分块提取ORB特征点，影像分块大小是输入参 数，可以设置，将提取的特征点分块保存到一个文件中，文件格式采用二进制，特征点提取 完成后，根据匹配任务文件、ORB特征点文件以及金字塔匹配结果，约束搜索范围进行ORB匹 配：首先读取金字塔匹配的结果，包括匹配点数量和旋转平移参数，如果匹配点数量小于阈 值，则认为金字塔匹配的结果不可靠，结束该像对的匹配任务，并记录该像对。如果匹配点 数量大于阈值，则分块读取两张待匹配影像的ORB特征点，根据旋转平移参数预测左影像上 的某一特征点在右影像上的概略位置，判断该位置属于哪一个分块，以该位置为中心，选取 一定大小的窗口，在窗口内搜索最近特征和次近特征，如果最近特征与次近特征的距离比值 小于给定阈值，则该点匹配成功。像对匹配完成后，对匹配点进行粗差剔除；剔除粗差点之 后，根据旋转平移参数计算重叠区域，对重叠区域划分格网，如果有多个格网内没有匹配点， 则认为匹配失败，记录该像对，对于匹配成功的像对，输出匹配结果。

第四步，ORB匹配结束后，对匹配失败的任务进行SIFT匹配；具体方法为，读取匹配失败任务列表所涉及的影像，对这些影像提取SIFT特征，并保存特征点文件，对匹配失败的任务再次进行SIFT匹配，匹配完成后进行粗差剔除，构建KD-Tree进行影像匹配；

第五步，所有匹配任务结束后，将匹配点的像素坐标转换为像平面坐标，对匹配结果进 行串点，生成整个测区的像点文件，为下一步区域网平差做准备。

一种SIFT和ORB相结合的无人机影像快速匹配方法，进一步的，金字塔匹配点数的阈值 为10，当匹配点数量超过10个时，金字塔匹配的结果是可靠的，当匹配点数量少于10个， 则不进行ORB匹配，记录下该像对，后续进行SIFT匹配。

一种SIFT和ORB相结合的无人机影像快速匹配方法，进一步的，影像分块大小设置为500像素，搜索范围设置为200像素。

一种SIFT和ORB相结合的无人机影像快速匹配方法，进一步的，最近特征与次近特征的 距离比阈值为0.8。

一种SIFT和ORB相结合的无人机影像快速匹配方法，进一步的，采用基于旋转平移模型 的粗差剔除方法。

一种SIFT和ORB相结合的无人机影像快速匹配方法，进一步的，第一步中自动测区恢复 包括基于序列影像的全自动航带排列和影像预处理，所述影像预处理包括影像畸变纠正， Wallis匀色，影像旋转。

一种SIFT和ORB相结合的无人机影像快速匹配方法，进一步的，基于序列影像的全自动 航带排列方法的具体步骤为：

第1步，数据整理，如果原始的无人机影像数据包含航线转弯处的无效影像，则人工剔 除以保证后续处理的正确性；

第2步，对原始影像进行降采样，降采样后的影像大小为500像素(影像的长边)，对降采样的影像提取SIFT特征点并保存特征点文件，提取特征点的过程采用CPU并行处理；

第3步，对序列影像进行CPU并行匹配，根据匹配结果断开影像序列；

第4步，航带排序和航带内影像重新排序，对航带首尾处的影像进行匹配，根据匹配结 果对航带进行重新排序，然后将航带内的影像序列按照同一方向进行重新排序；

第5步，对航带间的影像进行CPU并行匹配，根据匹配结果计算重叠度，将航带间重叠 度最大的影像对齐；

第6步，输出自动航带排列的结果。航带排列的结果以XML工程文件组织。

一种SIFT和ORB相结合的无人机影像快速匹配方法，进一步的，影像畸变纠正的具体步 骤为：

第1步，对原始影像构建虚拟格网，根据以上公式计算格网点纠正后的坐标，根据原始 影像的格网点坐标和纠正后的格网点坐标，计算反向畸变参数；

第2步，根据反向畸变参数和畸变模型计算纠正影像的每个像素在原始影像中的位置；

第3步，利用双线性内插公式计算原始影像中该点的灰度值，并赋值给纠正后的影像。

一种SIFT和ORB相结合的无人机影像快速匹配方法，进一步的，Wallis匀色的具体步 骤为：

第1步，选取测区内第一张影像作为标准影像，对标准影像的灰度值进行统计，计算标 准影像的灰度均值和标准差；

第2步，采用CPU并行对测区内其他影像进行匀色处理，计算每张影像的灰度均值和标 准差，将原始影像的灰度值变换为目标影像的灰度值。

一种SIFT和ORB相结合的无人机影像快速匹配方法，进一步的，影像旋转依据航带排列 过程中获得的航带间匹配结果计算旋转角度，旋转后航带内的影像左右重叠，航带间的影像 上下重叠。

与现有技术相比，本发明的优点在于：

1.本发明提供的一种SIFT和ORB相结合的无人机影像快速匹配方法，综合考虑时效性和 可靠性，总结SIFT算法和ORB算法的特点，针对SIFT匹配速度较慢的问题，将ORB算法 引入无人机影像匹配，提出了一种SIFT算法和ORB算法相结合的无人机影像匹配方法。采 用两层金字塔匹配策略，对金字塔影像进行SIFT匹配，将金子塔匹配的结果约束原始影像 进行ORB匹配，使得无人机影像匹配速度大大加快，匹配效率大大提高，使得无人机遥感在 灾害应急响应等领域得到更好的应用。

2.本发明提供的一种SIFT和ORB相结合的无人机影像快速匹配方法，公开了一种基于序 列影像的全自动航带排列方法。充分考虑到无人机遥感系统是按照摄影顺序获取影像序列的， 根据原始影像的名称或者拍摄时间得到原始影像序列，利用影像序列这一已知信息进行序列 影像匹配，根据匹配结果来确定测区内的相邻影像关系，相比两两匹配的方法，可以大大减 少匹配时间，提高航带排列的正确性。

3.本发明提供的一种SIFT和ORB相结合的无人机影像快速匹配方法，自动航带排列完成 后对原始无人机影像进行了预处理，包括影像畸变纠正，Wallis匀色，影像旋转。对原始影 像进行畸变纠正不仅可以提高相对定向、区域网平差的精度，还可以改善影像拼接处的裂缝 和扭曲问题。采用Wallis匀色对原始影像进行简单的匀色处理，不仅能有效改善色彩不一 致的情况，而且处理效率高。相邻航带的原始无人机影像一般存在180°左右的旋转角，为 了方便后续匹配，对原始无人机影像进行旋转，使航带内的影像符合左右重叠，航带间的影 像符合上下重叠，提高了自动测区恢复的效率和准确性。

附图说明

图1是本发明的SIFT和ORB相结合的无人机影像快速匹配方法的流程图。

图2是本发明的基于规则航带的匹配任务生成示意图。

图3是本发明的匹配任务文件示意图。

图4是本发明的三种常见的无人机飞行轨迹示意图。

图5是本发明的旋转操作方法的局部旋转参考点示意图。

具体实施方式

下面结合附图，对本发明提供的一种SIFT和ORB相结合的无人机影像快速匹配方法的技 术方案进行进一步的描述，使本领域的技术人员可以更好的理解本发明并能予以实施。

参见图1至图5，本发明提供的一种SIFT和ORB相结合的无人机影像快速匹配方法，首 先对金字塔影像进行SIFT匹配，获得粗略的匹配结果，根据匹配结果计算原始影像的旋转 平移参数。然后对原始影像进行搜索范围约束的ORB匹配，并对匹配结果进行粗差剔除和质 量评价，如果质量评价符合要求，则认为该像对匹配成功，如果不符合，则对该像对的原始 影像再次进行SIFT匹配，所有匹配任务完成后，最后进行串点，为下一步区域网平差准备 像点文件。详细流程图如图1所示，为了提高处理效率，所有特征点提取和影像匹配都采用 CPU并行。具体步骤如下：

第一步，生成影像列表和匹配任务。根据后述的具体方法进行自动测区恢复，获得测区 工程文件和预处理后的影像，工程文件记录影像的相邻位置关系，根据工程文件生成影像列 表文件和匹配任务文件，影像列表文件包括每张影像的ID号和影像路径。生成匹配任务的示 意图如图2所示，航带内的每张影像与其后的两张影像进行匹配，与下一条航带的三张相邻 影像进行匹配，这样既可以避免冗余匹配，也可以保证后续的相对定向和航带连接有足够多 的匹配点，匹配任务文件包括每个匹配像对的影像ID号和影像路径，如图3所示。

第二步，根据影像列表文件，对所有影像进行降采样和SIFT特征点提取，并将特征点 的坐标转换到原始影像上，采用二进制格式保存特征点文件。特征点提取完成后，根据匹配 任务文件和特征点文件进行SIFT匹配，输出匹配点数量、匹配结果和旋转平移参数。本发 明考虑过采用ORB算法对降采样影像提取特征点，但是对于纹理丰富的城区影像，采用ORB 算法可以满足匹配要求，对于纹理较少的影像，采用ORB算法无法得到稳定的匹配结果，因 此本发明选择SIFT算法对降采样影像进行匹配。

第三步，根据影像列表文件，对原始影像分块提取ORB特征点，影像分块大小是输入参 数，可以设置，将提取的特征点分块保存到一个文件中，文件格式采用二进制。特征点提取 完成后，根据匹配任务文件、ORB特征点文件以及金字塔匹配结果，约束搜索范围进行ORB匹 配：首先读取金字塔匹配的结果，包括匹配点数量和旋转平移参数，如果匹配点数量小于阈 值，则认为金字塔匹配的结果不可靠，结束该像对的匹配任务，并记录该像对。如果匹配点 数量大于阈值，则分块读取两张待匹配影像的ORB特征点，根据旋转平移参数预测左影像上 的某一特征点在右影像上的概略位置，判断该位置属于哪一个分块，以该位置为中心，选取 一定大小的窗口，在窗口内搜索最近特征和次近特征，如果最近特征与次近特征的距离比值 小于给定阈值，则该点匹配成功。像对匹配完成后，对匹配点进行粗差剔除。剔除粗差点之 后，根据旋转平移参数计算重叠区域，对重叠区域划分格网，如果有多个格网内没有匹配点， 则认为匹配失败，记录该像对，对于匹配成功的像对，输出匹配结果。

上述匹配过程有几个参数设置需要注意：1、金字塔匹配点数量阈值，如果该阈值设置过 小，可能导致ORB匹配的约束范围不正确，如果该阈值设置过大，可能导致很多像对不进行 ORB匹配，降低匹配效率。2、影像分块大小与搜索窗口大小，这两个参数主要影响匹配速度 与匹配点的正确率。3、最近特征向量与次近特征向量的距离比阈值，该阈值主要影响匹配点 数量与匹配点的正确率。4、重叠区域格网大小设置，这个参数影响匹配质量判断。

第四步，ORB匹配结束后，对匹配失败的任务进行SIFT匹配。由第三步可知，匹配失败的任务有两个来源，一是金字塔匹配的匹配点数量小于阈值的像对，二是ORB匹配的匹配点分布不均匀，被判定为匹配失败的像对。读取匹配失败任务列表所涉及的影像，对这些影像提取SIFT特征，并保存特征点文件，对匹配失败的任务再次进行SIFT匹配，匹配完成后进行粗差剔除。由于这一步骤并没有搜索范围约束条件，为了提高匹配速度，本发明构建KD-Tree进行影像匹配。KD-Tree是一种分割k维数据空间的数据结构，在应用于多维空间数据最近邻搜索时，能有效的提高搜索效率，因此SIFT匹配算法的最近点搜索一般都采KD-Tree。

第五步，所有匹配任务结束后，将匹配点的像素坐标转换为像平面坐标，对匹配结果进 行串点，生成整个测区的像点文件，为下一步区域网平差做准备。

以上方法综合考虑时效性和可靠性，总结SIFT算法和ORB算法的特点，针对SIFT匹配速度较慢的问题，将ORB算法引入无人机影像匹配，提出了一种SIFT算法和ORB算法相 结合的无人机影像匹配方法。采用两层金字塔匹配策略，对金字塔影像进行SIFT匹配，将 金子塔匹配的结果约束原始影像进行ORB匹配，使得无人机影像匹配速度大大加快，匹配效率大大提高，使得无人机遥感在灾害应急响应等领域得到更好的应用。

下面结合以上具体步骤中的部分重点内容，分别对本发明设计的无人机影像匹配实验、 SIFT算法、ORB算法、基于序列影像的全自动航带排列、原始影像预处理的技术方案进行进 一步的描述，使本领域的技术人员可以更好的理解本发明并能予以实施。

一、无人机影像匹配实验

本发明选取城镇地区和植被覆盖地区两种类型的无人机影像进行匹配实验，实验内容包 括：1、对金字塔匹配的可靠性和匹配点的数量进行分析。2、设置不同的影像分块大小以及 搜索窗口大小，对匹配速度和匹配点的正确率进行对比分析。3、设置不同的最近距离与次近 距离比阈值，对匹配点数量和匹配正确率进行对比分析。4、对粗差剔除前后的匹配结果进行 对比分析。

实验测区说明：测区一是城镇地区，影像数量为130，影像大小为4288×2848，对测区 一的数据进行自动测区恢复，航线重叠度和航带间重叠度分别为80％、50％。测区二是山区， 影像数量为196，影像大小为5616×3744，对测区二的数据进行自动测区恢复，航线重叠度 和航带间重叠度分别为70％、50％。

1、金字塔匹配点数量阈值

测区一的影像匹配任务有549个，对测区一进行SIFT金字塔匹配，匹配点数少于30的 像对有15个。匹配点最少的像对只有11个匹配点，检查所有匹配点数量大于11少于30的像对，发现其旋转平移参数均与实际符合。

测区二的影像匹配任务有849个，对测区二进行SIFT金字塔匹配，匹配点数少于10的 像对有4个，大于10少于20的像对有22个，大于20小于30的有像对有10个。匹配 点数最少的像对只有3个匹配点，5004-6004像对的匹配点数为10个，对匹配点数大于10 的像对进行检查，发现其旋转平移参数均与实际符合。

根据以上两个实验可以发现，匹配点数较少的像对都是航带间影像，且主要集中于某几 张影像。由于金字塔匹配的结果已经进行了粗差剔除，当匹配点数量超过10个时，可以认 为金字塔匹配的结果是可靠的，影像的旋转平移参数可用于约束原始影像匹配，减小搜索范 围，提高匹配效率和正确率。如果匹配点数量少于10个，则不进行ORB匹配，记录下该像 对，后续进行SIFT匹配。金字塔匹配点数的阈值为10。

2、影像分块大小与搜索窗口大小设置

对原始影像进行ORB匹配时，首先根据旋转平移参数预测同名点位属于哪一分块，然后 以预测点位为中心，在搜索窗口内搜索最近邻点，因此影像分块大小和搜索窗口大小直接影 响最终的匹配结果。本发明将影像分块大小设置为500像素和1000像素，搜索窗口大小设 置为100像素和200像素进行组合实验。在测区一和测区二中分别选取一个像对进行ORB匹 配实验，统计匹配耗时和匹配结果。

对每组匹配实验的正确率进行检查，同时结合统计数据，当窗口大小设置为100时，匹 配速度比窗口大小设置为200时快一倍，但是匹配的正确率低于窗口大小设置为200时，而 且影像右上方的匹配点偏少。造成这样结果的原因可能是旋转平移参数不精确，本发明以影 像左下角为坐标原点，如果旋转平移参数误差较大，则预测右上角的点位偏差较大，当窗口 大小设置为100时，正确的匹配点可能落在搜索窗口外，当窗口大小设置为200时，正确的 匹配点可能落在窗口内。影像分块大小对匹配速度和匹配点数量也有影响，原因在于提取特 征点时，对特征点数量设置了阈值，影像分块越小，提取的特征点数量就越多。对比测区一 和测区二的匹配结果，城区影像的匹配效果比山区影像的匹配效果好，匹配点的数量多，正 确率较高，分布相对均匀。

根据以上实验的匹配结果，本发明将影像分块大小设置为500像素，搜索范围设置为200 像素，此时能获得最好的匹配结果。

3、最近距离与次近距离比阈值

对左影像上的特征点，在右影像上搜索特征向量距离最近的两个特征点，如果最近距离 与次近距离的比值小于给定的阈值，则认为匹配成功，该阈值的设置非常重要，对匹配点数 量和匹配点正确率具有重要影响。本发明将ORB算法引入无人机影像匹配，希望寻求ORB算 法在应用于无人机影像匹配时的最合理阈值。

选取重复纹理较多的两张影像进行匹配实验，最近距离与次近距离比阈值分别设置为 0.5、0.6、0.7、0.8，对匹配点数量和匹配点正确率进行统计，统计结果。

四组匹配实验的结果表明，当距离比阈值逐渐增大时，匹配点数量增加，匹配点的正确 率下降，将距离比阈值设置为0.8时可以获得较好的匹配结果。

4、粗差剔除

依据本发明的影像匹配方法，匹配粗差在搜索窗口之内，对于低空无人机遥感影像，采 用旋转平移模型能有效地探测和剔除粗差点，且效率较高，因此本发明采用基于旋转平移模 型的粗差剔除方法。

二、SIFT算法

SIFT算法有以下几个优点：1)稳定性，它对影像缩放和影像旋转具有不变性，甚至对 仿射变换也具有一定的稳定性。2)多量性，即使影像纹理较少或者物体较少，如果设置合适 的参数可以提取大量的特征点。3)独特性，SIFT算法采用的特征描述方法获得的128维特 征向量具有相当高的独特性，特征点和非特征点的描述子相似的概率非常小，使其能在大量 特征点中进行准确的匹配。SIFT算法对图像局部特征点的提取主要包括四个步骤：1)尺度 空间极值点探测，2)关键点精确定位，3特征点的主方向确定，4)特征点描述。

1、尺度空间极值点检测

尺度空间是在图像信息处理模型中引入一个尺度参数，深入挖掘不同尺度下的图像信息 的本质特征。为了保持SIFT算法的尺度不变性，需要建立图像的尺度空间，使每个尺度上 都有特征点。利用高斯卷积核能产生尺度空间。

2、特征点的精确定位

特征点的精确定位包括两个方面的内容：1、在上一步骤中提取的特征点坐标是整像素， 对特征点进行子像素级的精确定位，可以提高匹配的精度。2、对候选特征点中对比度低的点 和边缘响应点进行剔除，可以增强匹配的稳定性。

3、特征点的主方向确定

以特征点为中心，对特征点邻域内像素的梯度进行加权直方图统计，确定特征点的主方 向，从而使SIFT特征具有旋转不变性。

4、特征点描述

SIFT特征描述是用一个特征向量来描述特征点本身的信息和它邻域的信息。为了使SIFT 特征具有旋转不变性，首先需要根据上一步骤求取的主方向，将坐标轴旋转到与主方向一致。 然后以关键点为中心取8×8的窗口，对图像区域进行分块统计梯度直方图，在每4×4的小 块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点， 一个关键点由4个种子点组成，即可生成具有独特性的32(4×8)维特征向量，如果对每个 关键点使用4×4共16个种子点来描述，可生成128(16×8)维特征向量。为消除光照变 化引起的像素灰度差异对SIFT特征向量的影响，将SIFT特征向量除以它的模，最终形成长 度为1的特征描述向量。

生成SIFT特征向量后，可以采用不同的距离计算方法来计算特征向量的距离，常用的 距离计算方法有欧氏距离、绝对值距离等。在左影像上取出一个特征点，在右影像上搜索距 离最近的前两个特征点，如果最近距离与次近距离的比值小于给定阈值，则认为该匹配点可 靠，否则删除该匹配点对，当阈值较小时，匹配点的正确率升高，但是匹配点数量减少。由 于SIFT特征点具有多量性的特征，在大量特征点中进行检索非常耗时，一般采用构建 KD-Tree的方法提高搜索速度。根据SIFT算法的特点可以看出，SIFT算法特别适用于姿态 不稳定的无人机遥感影像匹配。

三、ORB算法

ORB算法的特征点检测部分采用FAST角点检测算子，并对FAST特征进行改进，使FAST 特征具备了方向信息。特征点描述部分采用BRIEF特征描述算子，并对BRIEF描述算子进行 改进，使BRIEF描述算子具有旋转不变性和抗噪声的特点。由于ORB算法的特征检测算子和 特征描述算子非常简单，因此计算速度非常快。ORB特征提取可以分为两部分：1)具有方向 的FAST特征点检测；2)具有旋转不变和抗噪声的BRIEF特征点描述。

1、特征点检测

ORB算法的特征检测算子采用基于机器学习的FAST角点检测算子，FAST角点检测的速 度非常快，是高斯差分尺度空间特征点检测的30倍。基于灰度图像的FAST角点检测是在某 一像素的邻域内，如果有一定数量的像素点灰度值大于或者小于该像素点的灰度值，则认为 该像素点为角点。

2、具有旋转不变描述子的生成

ORB算法的特征描述子采用的是添加了方向信息的BRIEF算子，即rBRIEF。SIFT的特 征描述算子是一个128维的向量，而BRIEF特征描述算子实质上是一个二进制串，先在特征 点邻域内选取若干点对，将这些点对组成的图像块进行二值化，二值化之后像素的灰度值变 为0或者1，BRIEF特征描述子的二进制串的每一位都是由随机选取的两个二进制点做比较 确定的。

当两幅影像的ORB特征向量生成后，进行影像匹配的方法与SIFT匹配类似，同样采用 最近距离匹配准则。如果阈值较高则匹配点数量多，误匹配点也多，降低阈值，匹配点的数 量减少，但是匹配点的正确率升高。根据ORB算法可以看出，ORB算法与SIFT算法相比，其最大的特点就是计算简单，因此匹配速度比SIFT快很多，而且ORB算法也具有抗噪声和旋转不变性的特点，将ORB算法引入无人机遥感影像匹配具有可行性。

四、基于序列影像的全自动航带排列

对于没有提供原始POS数据的无人机影像，有些学者曾提出进行两两影像匹配，根据两 两匹配的结果来建立影像的初始位置关系，这种方法计算量非常大，对于影像数目较少的情 况，这种方法的时效性还可以接受，但是对于大测区摄影测量而言，影像数量多，正确性和 时效性都很难满足快速处理的要求。考虑到无人机遥感系统是按照摄影顺序获取影像序列的， 根据原始影像的名称或者拍摄时间就可以得到原始影像序列，利用影像序列这一已知信息进 行序列影像匹配，根据匹配结果来确定测区内的相邻影像关系，相比两两匹配的方法，可以 大大减少匹配时间，提高航带排列的正确性。

本发明根据大量的实际无人机测区数据，总结三种常见的无人机飞行轨迹，如图4所示： 1、S型，该飞行轨迹是最常见的一种。2、同向，由于风速或者光照等因素的影响，只获取 单一飞行方向的无人机影像。3、回型，由于地理环境或者人力等因素的影响，无人机的起飞 和回收在相同地点，该飞行轨迹的特点是航带数量为偶数。图4所示的飞行方向即代表拍摄 顺序，认为原始影像序列是按照飞行方向排列的。由于这三种航线规划基本包括了大部分常 见的情况，因此本发明考虑这三种情况。

基于序列影像的全自动航带排列处理流程如图5所示。具体步骤：1、首先进行数据整理， 如果原始的无人机影像数据包含航线转弯处的无效影像，则需要人工剔除以保证后续处理的 正确性。2、对原始影像进行降采样，降采样后的影像大小为500像素(影像的长边)，对 降采样的影像提取SIFT特征点并保存特征点文件，提取特征点的过程采用CPU并行处理。3、 对序列影像进行CPU并行匹配，根据匹配结果断开影像序列。如果匹配点数量较多，则根据 匹配的同名点，计算影像的旋转平移参数，航带内影像的相对旋转角度较小，本发明将阈值 设置为[-30°—+30°]，若两张影像的相对旋转角度在这个阈值范围内，则认为两张影像属 于同一条航带。航带间影像的相对旋转角度较大，一般存在180°左右的旋偏角，本发明将 阈值设置为[150°—210°]，若两张影像的相对旋转角度在这个阈值范围内，则认为两张影 像属于不同的航带。如果不存在匹配点或者匹配点数量较少(不可靠的匹配点)，也认为两 张影像属于不同航带，例如同向飞行的航线和回型飞行航线的第一条航带与第二条航带。4、 航带排序和航带内影像重新排序。对航带首尾处的影像进行匹配，根据匹配结果对航带进行 重新排序，然后将航带内的影像序列按照同一方向进行重新排序(从左到右)。S型的飞行 航线比较容易判断，不需要对航带进行排序，只需要将航带内的影像按照同一方向重新排序 即可。对于非S型飞行的航线，如果是同向飞行的航线，则每条航带的第一张影像与下一条 航带的第一张影像，每条航带的最后一张影像与下一条航带的最后一张影像存在匹配点，且 旋转角度较小，若符合该条件，则判断飞行航线为同向飞行，不需要对航带进行排序，也不 需要对航带内的影像进行重新排序。如果是回型飞行的航线，第一条航线与第二条航线的首 尾进行匹配，不存在匹配点或者匹配点较少(不可靠的匹配点)，而第一条航带与最后一条 航带首尾匹配，存在匹配点，且旋转角度为180°左右，若符合该条件，则判断飞行航线为 回型，不仅需要对航带进行重新排序，还需要对航带内的影像按照同一方向重新排序。5、对 航带间的影像进行CPU并行匹配，根据匹配结果计算重叠度，将航带间重叠度最大的影像对 齐。6、输出自动航带排列的结果。航带排列的结果以XML工程文件组织。

基于序列影像的自动航带排列方法可以在无POS数据的情况下实现全自动航带排列，而 且避免了两两匹配法导致效率极低的问题，本发明采用CPU并行，对降采样的影像提取特征 点，将特征点文件保存供后续匹配使用，通过实验证明，比较耗时的步骤在于特征提取，而 通过读取特征点文件进行影像匹配的速度很快。采用该航带排列方法在无POS数据的情况下， 通过高性能计算机并行处理，具有较高的效率，能满足无人机影像快速处理的要求，而且正 确性也有保证。

五、原始影像预处理

自动航带排列完成后对原始无人机影像进行预处理，本发明的预处理操作包括：影像畸 变纠正，Wallis匀色，影像旋转。由于无人机遥感系统的成本较低，而且无人机的荷载重量 也有严格限制，无法搭载昂贵的量测相机或者大面阵CCD相机，因此无人机搭载的一般都是 质量较好的单反相机，例如佳能EOS 5D系列，单反相机重量轻、价格便宜，而且质量较好 的单反相机，其内参数具有非常好的稳定性，符合畸变纠正模型，但是单反相机并非量测相 机，获取的原始影像存在严重的畸变误差，对原始影像进行畸变纠正具有重要意义，不仅可 以提高相对定向、区域网平差的精度，还可以改善影像拼接处的裂缝和扭曲问题。另外，由 于无人机的飞行高度较低，不同的航带之间的影像受光照角度变化的影响，可能会出现色彩 不一致的情况，如果不作任何处理，拼接结果会出现明显的条带色彩不一致现象，本发明采 用Wallis匀色对原始影像进行简单的匀色处理，不仅能有效改善色彩不一致的情况，而且 处理效率高。对原始影像进行旋转是为后续空三匹配做准备，相邻航带的原始无人机影像一 般存在180°左右的旋转角，为了方便后续匹配，对原始无人机影像进行旋转，使航带内的 影像符合左右重叠，航带间的影像符合上下重叠。

1、无人机影像畸变纠正

对于航空遥感系统，导致影像畸变的因素有很多，从影像获取的整个过程来看，主要有 地球曲率影响、大气折光、镜头畸变、材料变形(CCD面阵畸变)。低空无人机遥感系统飞 行高度低、单张影像的地面覆盖范围小，因此地球曲率、大气折光的影响可以忽略。但是无 人机搭载的单反数码相机存在严重的镜头畸变和CCD面阵畸变，在进行后续处理之前必须根 据相机检校参数对原始无人机影像进行畸变纠正。

本发明采用的影像畸变纠正的具体步骤为：1、对原始影像构建11×11的虚拟格网，根 据以上公式计算格网点纠正后的坐标，根据原始影像的格网点坐标和纠正后的格网点坐标， 计算反向畸变参数。2、根据反向畸变参数和畸变模型计算纠正影像的每个像素在原始影像中 的位置。3、利用双线性内插公式计算原始影像中该点的灰度值，并赋值给纠正后的影像。常 用的内插模型有最近邻内插、双线性内插、双三次卷积内插。最近邻内插计算简单，但是精 度较低，双三次卷积精度高，但是计算复杂费时，本发明采用双线性内插方法。

2、无人机影像Wallis匀色

本发明对原始无人机影像进行匀色处理主要是为了解决航带间影像色彩不一致的问题。 不同航向的摄影角度，光照方向以及大气状况等因素存在差异，从而导致航带间的影像色调 有存在差异，对原始影像进行匀色处理，可以让最后的拼接结果在色彩上保持一致。目前很 多学者对匀色方法做了大量研究，潘俊提出了一种先整体再局部的方法，孙明伟提出了一种 基于最小二乘的区域网匀色方法，这些方法都各有特点，但是计算复杂，比较耗时。本发明 为了满足快速处理的要求，必须采用一种运算效率高的匀色方法。基于Wallis滤波的匀色 方法是一种简单有效的方法，匀色结果能使影像之间达到较好的色彩一致，在满足匀色效果 的同时还能满足快速处理的要求，因此本发明采用Wallis匀色进行简单的匀色处理。

Wallis滤波器是一种基于统计的映射变换关系，在计算机视觉、图像处理等领域有广泛 的应用。它使多张影像或者同一张影像内部多处区域的灰度均值和标准偏差近似一致，

本发明采用Wallis匀色的具体步骤为：1、选取测区内第一张影像作为标准影像，对标 准影像的灰度值进行统计，计算标准影像的灰度均值和标准差。2、采用CPU并行对测区内 其他影像进行匀色处理，计算每张影像的灰度均值和标准差，将原始影像的灰度值变换为目 标影像的灰度值。Wallis匀色的计算速度快，可以取得较好的匀色效果。

3、影像旋转

对原始影像进行畸变纠正和Wallis匀色后，本发明还需要对原始影像进行旋转。旋转 后使航带内的影像左右重叠，航带间的影像上下重叠。如果原始无人机影像没有提供POS数 据，则可以依据航带排列过程中获得的航带间匹配结果计算旋转角度。如果原始无人机影像 提供POS数据，在航带排列过程中，没有进行任何匹配操作，因此还需要对航带间的影像进 行少量匹配，根据匹配结果计算旋转角度。

自动航带排列完成后对原始无人机影像进行了预处理，对原始影像进行畸变纠正不仅可 以提高相对定向、区域网平差的精度，还可以改善影像拼接处的裂缝和扭曲问题。采用Wallis 匀色对原始影像进行简单的匀色处理，不仅能有效改善色彩不一致的情况，而且处理效率高。 对原始无人机影像进行旋转，使航带内的影像符合左右重叠，航带间的影像符合上下重叠， 提高了自动测区恢复的效率和准确性。

以上显示和描述了本发明的基本原理、主要特征和优点。尽管已经示出和描述了本发明 的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况 下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其 等同物限定。

Claims (10)

1.一种SIFT和ORB相结合的无人机影像快速匹配方法，其特征在于，首先对金字塔影像进行SIFT匹配，获得粗略的匹配结果，根据匹配结果计算原始影像的旋转平移参数，然后对原始影像进行搜索范围约束的ORB匹配，并对匹配结果进行粗差剔除和质量评价，如果质量评价符合要求，则认为该像对匹配成功，如果不符合，则对该像对的原始影像再次进行SIFT匹配，所有匹配任务完成后，最后进行串点，为下一步区域网平差准备像点文件；

具体步骤如下：

第一步，生成影像列表和匹配任务；完成自动测区恢复，获得测区工程文件和预处理后的影像，工程文件记录影像的相邻位置关系，根据工程文件生成影像列表文件和匹配任务文件，影像列表文件包括每张影像的ID号和影像路径，航带内的每张影像与其后的两张影像进行匹配，与下一条航带的三张相邻影像进行匹配；

第二步，根据影像列表文件，对所有影像进行降采样和SIFT特征点提取，并将特征点的坐标转换到原始影像上，采用二进制格式保存特征点文件，特征点提取完成后，根据匹配任务文件和特征点文件进行SIFT匹配，输出匹配点数量、匹配结果和旋转平移参数；

第三步，根据影像列表文件，对原始影像分块提取ORB特征点，影像分块大小是输入参数，可以设置，将提取的特征点分块保存到一个文件中，文件格式采用二进制，特征点提取完成后，根据匹配任务文件、ORB特征点文件以及金字塔匹配结果，约束搜索范围进行ORB匹配：首先读取金字塔匹配的结果，包括匹配点数量和旋转平移参数，如果匹配点数量小于阈值，则认为金字塔匹配的结果不可靠，结束该像对的匹配任务，并记录该像对。如果匹配点数量大于阈值，则分块读取两张待匹配影像的ORB特征点，根据旋转平移参数预测左影像上的某一特征点在右影像上的概略位置，判断该位置属于哪一个分块，以该位置为中心，选取一定大小的窗口，在窗口内搜索最近特征和次近特征，如果最近特征与次近特征的距离比值小于给定阈值，则该点匹配成功。像对匹配完成后，对匹配点进行粗差剔除；剔除粗差点之后，根据旋转平移参数计算重叠区域，对重叠区域划分格网，如果有多个格网内没有匹配点，则认为匹配失败，记录该像对，对于匹配成功的像对，输出匹配结果。

第四步，ORB匹配结束后，对匹配失败的任务进行SIFT匹配；具体方法为，读取匹配失败任务列表所涉及的影像，对这些影像提取SIFT特征，并保存特征点文件，对匹配失败的任务再次进行SIFT匹配，匹配完成后进行粗差剔除，构建KD-Tree进行影像匹配；

第五步，所有匹配任务结束后，将匹配点的像素坐标转换为像平面坐标，对匹配结果进行串点，生成整个测区的像点文件，为下一步区域网平差做准备。

2.根据权利要求1所述的一种SIFT和ORB相结合的无人机影像快速匹配方法，其特征在于，金字塔匹配点数的阈值为10，当匹配点数量超过10个时，金字塔匹配的结果是可靠的，当匹配点数量少于10个，则不进行ORB匹配，记录下该像对，后续进行SIFT匹配。

3.根据权利要求1所述的一种SIFT和ORB相结合的无人机影像快速匹配方法，其特征在于，影像分块大小设置为500像素，搜索范围设置为200像素。

4.根据权利要求1所述的一种SIFT和ORB相结合的无人机影像快速匹配方法，其特征在于，最近特征与次近特征的距离比阈值为0.8。

5.根据权利要求1所述的一种SIFT和ORB相结合的无人机影像快速匹配方法，其特征在于，采用基于旋转平移模型的粗差剔除方法。

6.根据权利要求1所述的一种SIFT和ORB相结合的无人机影像快速匹配方法，其特征在于，第一步中自动测区恢复包括基于序列影像的全自动航带排列和影像预处理，所述影像预处理包括影像畸变纠正，Wallis匀色，影像旋转。

7.根据权利要求6所述的一种SIFT和ORB相结合的无人机影像快速匹配方法，其特征在于，基于序列影像的全自动航带排列方法的具体步骤为：

第1步，数据整理，如果原始的无人机影像数据包含航线转弯处的无效影像，则人工剔除以保证后续处理的正确性；

第2步，对原始影像进行降采样，降采样后的影像大小为500像素(影像的长边)，对降采样的影像提取SIFT特征点并保存特征点文件，提取特征点的过程采用CPU并行处理；

第3步，对序列影像进行CPU并行匹配，根据匹配结果断开影像序列；

第4步，航带排序和航带内影像重新排序，对航带首尾处的影像进行匹配，根据匹配结果对航带进行重新排序，然后将航带内的影像序列按照同一方向进行重新排序；

第5步，对航带间的影像进行CPU并行匹配，根据匹配结果计算重叠度，将航带间重叠度最大的影像对齐；

第6步，输出自动航带排列的结果。航带排列的结果以XML工程文件组织。

8.根据权利要求6所述的一种SIFT和ORB相结合的无人机影像快速匹配方法，其特征在于，影像畸变纠正的具体步骤为：

第1步，对原始影像构建虚拟格网，根据以上公式计算格网点纠正后的坐标，根据原始影像的格网点坐标和纠正后的格网点坐标，计算反向畸变参数；

第2步，根据反向畸变参数和畸变模型计算纠正影像的每个像素在原始影像中的位置；

第3步，利用双线性内插公式计算原始影像中该点的灰度值，并赋值给纠正后的影像。

9.根据权利要求6所述的一种SIFT和ORB相结合的无人机影像快速匹配方法，其特征在于，Wallis匀色的具体步骤为：

第1步，选取测区内第一张影像作为标准影像，对标准影像的灰度值进行统计，计算标准影像的灰度均值和标准差；

第2步，采用CPU并行对测区内其他影像进行匀色处理，计算每张影像的灰度均值和标准差，将原始影像的灰度值变换为目标影像的灰度值。

10.根据权利要求6所述的一种SIFT和ORB相结合的无人机影像快速匹配方法，其特征在于，影像旋转依据航带排列过程中获得的航带间匹配结果计算旋转角度，旋转后航带内的影像左右重叠，航带间的影像上下重叠。