CN107545538B - 一种基于无人机的全景图像拼接方法及装置 - Google Patents

Abstract

本发明公开了一种基于无人机的全景图像拼接方法及装置，该方法包括如下步骤：从视频流中依次提取关键帧图像；根据航迹规划信息，将飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致；对在后关键帧图像的特征点与在先关键帧图像的特征点进行匹配，对在后关键帧图像与在先关键帧图像进行匹配并计算之间的第一变换关系；根据映射关系将基准关键帧图像映射到模板上，递推计算当前关键帧图像相对于基准关键帧图像的变换关系，根据映射关系和变换关系将当前关键帧图像映射到模板上。

Description

一种基于无人机的全景图像拼接方法及装置

【技术领域】

本发明涉及计算机视觉图像快速处理技术领域，尤其涉及一种基于无人机的全景图像拼接方法及装置。

【背景技术】

突发事件的信息获取及分析是我国应急管理基础研究亟需解决的五大核心科学问题之一。快速、及时、准确地获取突发事件现场信息，能够为态势分析、策略制定提供翔实可靠的参考数据，辅助应急决策，提高突发事件应对能力。

基于无人机的航空遥感系统具有机动灵活、响应迅速且无人员伤亡危险的特点，在突发事件现场信息获取中显示出巨大的优势，越来越多地应用于灾害管理和应急测绘领域。但是无人机采集的图像大小和分辨率受飞行高度和机载传感器制约，得到的都是单张、覆盖范围小的影像，不能整体反映突发事件现场环境，只有通过图像拼接方法实现图片从单张到全景、从局部到整体的转变，将图片有序结合起来，才能将无人机采集现场信息转化为真正对应急决策有用的突发事件大场景全景图。

现有的图像全景拼接方法根据拼接时间可以分为两类，一类是后处理，一类是实时处理。如申请号为CN 103310433 A的《一种利用影像拓扑骨架的无人机影像快速匹配方法》专利，通过图像拓扑骨架进行图像分层级，之后再进行匹配。申请号为CN 103426153 A的《一种无人机遥感影像快速拼接方法》专利，基于瓦片金字塔进行多层级网格化分区，之后再进行匹配。这两个专利描述的方法都是针对大量的、已经采集完毕的图片进行的后处理模式，不能充分体现无人机快速响应的优势。

申请号为CN 102201115 A的《无人机航拍视频实时全景图拼接方法》专利描述了一种基于无人机传回基站的视频图像，实现边飞行边拼接的拼接方法，但是该方法采用了“无人机返回路径时空融合图像帧到全景拼接”，需要利用无人机的GPS位置信息确定时间不相邻但空间相邻的图像帧，优化帧到全景的变换关系，实现图像融合和全景图构建。而确定时间不相邻空间相邻的图像帧，需要大量且精确航迹规划参数，飞机实际飞行过程中飞行高度、GPS精度、自身晃动等均可能影响此效果。更重要的两点是：一、该专利使用的SURF特征提取方法应对图像旋转变化表现一般，在相邻两条航线间转弯处所得帧图像相对于其他航线图像有一定旋转角度，预期拼接效果不佳。二、该专利仅仅提出全流程的帧提取拼接过程，但是并未提供任何能快速提取拼接的实施性方案，传统的拼接速度很慢，难以达到实时效果。

【发明内容】

为了克服现有技术的不足，本发明提出一种基于无人机的全景图像拼接方法，可以实时拼接图像，解决图像处理滞后于图像采集的问题，充分体现无人机响应迅速的优势。

一种基于无人机的全景图像拼接方法，包括如下步骤：

提取步骤，从无人机传回的视频流中依次提取关键帧图像；

预处理步骤，根据所述无人机的航迹规划信息，将所述无人机的飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致；

匹配步骤，提取经过所述预处理步骤的在后关键帧图像与在先关键帧图像的特征点，对所述在后关键帧图像的特征点与所述在先关键帧图像的特征点进行匹配，然后对所述在后关键帧图像与所述在先关键帧图像进行匹配，并计算所述在后关键帧图像与所述在先关键帧图像之间的第一变换关系，其中，所述在后关键帧图像与所述在先关键帧图像为相邻的两张关键帧图像；

融合步骤，根据映射关系将基准关键帧图像映射到模板上，根据相邻两张关键帧图像之间的第一变换关系，递推计算当前关键帧图像相对于所述基准关键帧图像的变换关系，根据所述映射关系和变换关系将所述当前关键帧图像映射到所述模板上。

在一个实施例中，

所述预处理步骤还包括如下步骤：

将每个关键帧图像按照设定压缩比例进行压缩，存储压缩后的关键帧图像和所述关键帧图像；

所述匹配步骤为：

对经过所述预处理步骤的压缩后的在后关键帧图像与压缩后的在先关键帧图像进行特征点提取与匹配；

根据所述设定压缩比例，计算所述压缩后的在后关键帧图像的特征点对应的所述在后关键帧图像的特征点，计算所述压缩后的在先关键帧图像的特征点对应的所述在先关键帧图像的特征点；

根据所述在后关键帧图像的特征点和所述在先关键帧图像的特征点，计算所述在后关键帧图像与在先关键帧图像之间的第一变换关系。

在一个实施例中，

在所述匹配步骤之前，还对相邻的两个关键帧图像的特征点进行筛选：

在其中一个关键帧图像中选择第一特征点；

在另一个关键帧图像中选择至所述第一特征点的距离最近的最邻近特征点，以及选择至所述第一特征点的距离第二近的次邻近特征点；

计算所述第一特征点至最邻近特征点之间的最近距离、以及所述第一特征点至次邻近特征点之间的次近距离；

计算所述最近距离与次近距离之间的比值，将所述比值大于比值阈值对应的第一特征点从所述其中一个关键帧图像中剔除。

在一个实施例中，

在所述其中一个关键帧图像中依次选择特征点与所述另一个关键帧图像的特征点进行匹配情况进行检查，保留匹配成对的特征点对，去除未匹配成对的特征点。

在一个实施例中，

将所述无人机处于航迹拐弯处的时间段内的关键帧图像剔除。

在一个实施例中，

所述基准关键帧图像为第一关键帧图像。

本发明还提供了一种基于无人机的全景图像拼接装置，包括如下步骤：

提取单元，用于从无人机传回的视频流中依次提取关键帧图像；

预处理单元，用于根据所述无人机的航迹规划信息，将所述无人机的飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致；

匹配单元，用于提取经过所述预处理步骤的在后关键帧图像与在先关键帧图像的特征点，对所述在后关键帧图像的特征点与所述在先关键帧图像的特征点进行匹配，然后对所述在后关键帧图像与所述在先关键帧图像进行匹配，并计算所述在后关键帧图像与所述在先关键帧图像之间的第一变换关系，其中，所述在后关键帧图像与所述在先关键帧图像为相邻的两张关键帧图像；

融合单元，用于根据映射关系将基准关键帧图像映射到模板上，根据相邻两张关键帧图像之间的第一变换关系，递推计算当前关键帧图像相对于所述基准关键帧图像的变换关系，根据所述映射关系和变换关系将所述当前关键帧图像映射到所述模板上。

在一个实施例中，

所述图像预处理单元还用于，

将每个关键帧图像按照设定压缩比例进行压缩，存储压缩后的关键帧图像和所述关键帧图像；

所述匹配单元用于，

对经过所述预处理步骤的压缩后的在后关键帧图像与压缩后的在先关键帧图像进行特征点提取与匹配；

根据所述设定压缩比例，计算所述压缩后的在后关键帧图像的特征点对应的所述在后关键帧图像的特征点，计算所述压缩后的在先关键帧图像的特征点对应的所述在先关键帧图像的特征点；

根据所述在后关键帧图像的特征点和所述在先关键帧图像的特征点，计算所述在后关键帧图像与在先关键帧图像之间的第一变换关系。

在一个实施例中，

还包括特征点筛选单元，用于对相邻的两个关键帧图像的特征点进行筛选：

在其中一个关键帧图像中选择第一特征点；

在另一个关键帧图像中选择至所述第一特征点的距离最近的最邻近特征点，以及选择至所述第一特征点的距离第二近的次邻近特征点；

计算所述第一特征点至最邻近特征点之间的最近距离、以及所述第一特征点至次邻近特征点之间的次近距离；

计算所述最近距离与次近距离之间的比值，将所述比值大于比值阈值对应的第一特征点从所述其中一个关键帧图像中剔除。

在一个实施例中，

在所述其中一个关键帧图像中依次选择特征点与所述另一个关键帧图像的特征点进行匹配情况进行检查，保留匹配成对的特征点对，去除未匹配成对的特征点。

本发明的有益效果是：

采用相邻帧比对，顺序拼接，不需要等图像全部采集完，可以实现边飞行边拼接，并且不需要GPS和姿态信息。

结合航迹规划信息，剔除了航线拐弯等不良帧数据来源，保证了拼接的稳定性。

在匹配过程中使用压缩后的图片，在配准关系计算与融合过程中使用原图。在保证最终输出全景图的质量情况下，提升了匹配速度，达到了实时拼接的效果。

【附图说明】

图1是本发明一种实施例的基于无人机的全景图像拼接方法的无人机航迹示意图

图2是本发明一种实施例的基于无人机的全景图像拼接方法的流程图

图3是本发明中对奇数时间段或偶数时间段的关键帧图像旋转之前的示意图

图4是本发明中对奇数时间段或偶数时间段的关键帧图像旋转之后的示意图

图5是本发明一种实施例的基于无人机的全景图像拼接方法的相邻关键帧图像的特征点示意图

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图1和2所示，一种实施例的基于无人机的全景图像拼接方法，包括如下步骤：

S1、提取步骤，从无人机传回的视频流中依次提取关键帧图像。

通过地面站图传接收端，获取无人机遥感视频影像。通常来说，关键帧图像要求相邻的两个关键帧图像之间的重叠率不低于一个重叠率阈值，通过设置时间间隔，可以保证从视频流中提取的图像符合关键帧图像的要求，并按照视频的帧率、设置的提取时间间隔从视频流中提取关键帧图像。

S2、预处理步骤，根据所述无人机的航迹规划信息，将所述无人机的飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致。

通常，在无人机遥感领域，无人机需要获得大范围的高质量现场图像，需要执行蛇形航迹，如图1所示，根据无人机的航迹规划信息，结合无人机的飞行速度，可以判断无人机在某个时间段内位于对应的航迹段内，例如T1、T2、T3、T4、T5和T6依次是无人机飞行的时间段，而实际航迹中会出现无人机拐弯的航迹段C，此时无人机可能偏离规划的航迹，从拍摄的视屏流中提取的关键帧图像拼接起来可能造成图像不稳定。因此需要将拐弯的航迹段C的关键帧图像剔除，可以将航迹段C所处的时间段视为奇数时间段或者偶数时间段内的一部分，因此剔除航迹段C时间段后，将关键帧图像划分到对应的时间段内，有些关键帧图像在奇数时间段内例如T1、T3和T5，有些关键帧图像在偶数时间段内例如T2、T4和T6。可以根据飞行时间、视频帧率，当前帧数，判断无人机所处航线位置，在进入航线时开始提取关键帧图像，在航线拐弯处暂停提取关键帧图像，通过这种方式剔除这些可能造成不良的关键帧图像。

如图1和图3所示，由于无人机的摄像头是固定在无人机上的，因此奇数时间段内的关键帧图像的方向和偶数时间段内的关键帧图像的方向刚好相反，如图3所示箭头方向表示图像的方向，如果将奇数时间段内的关键帧图像与偶数时间段内的关键帧图像进行SURF匹配，会造成匹配效果没有那么准确。因此，需要将奇数时间段或者偶数时间段内的关键帧图像进行旋转，以使奇数时间段和偶数时间段内的关键帧图像的方向一致，如图4所示，箭头方向表示图像的方向。这样，后续使用特征点匹配时，当将奇数时间段内的关键帧图像与偶数时间段内的关键帧图像进行SURF匹配时，准确度更高。

然后将方向一致的关键帧图像进行存储，可以按照关键帧图像的先后顺序对其进行命名；同时，对此时的关键帧图像按照一定比例进行压缩得到压缩后的关键帧图像然后也进行存储。

S3、匹配步骤，利用SURF特征点提取方法，实现对所述在后关键帧图像与所述在先关键帧图像的特征点的提取，并完成对所述在后关键帧图像的特征点与所述在先关键帧图像的特征点之间的匹配。然后对所述在后关键帧图像与所述在先关键帧图像进行匹配，并计算所述在后关键帧图像与所述在先关键帧图像之间的变换关系，其中，所述在后关键帧图像与所述在先关键帧图像为相邻的两张关键帧图像。

首先，提取压缩后的后关键帧图像与在先关键帧图像的特征点，由于关键帧图像进行了压缩，因此提取特征点更加迅速。

仅仅通过SURF算法得到的匹配结果(匹配的特征点对)中不仅含有正确的匹配结果，同时也包含大量误差较大的匹配结果，获得的匹配质量是较低的，并对特征点利用分类方法进行筛选。

如图5所示，对相邻的两个关键帧图像的特征点进行筛选包括如下步骤：

在其中一个关键帧图像G1中选择第一特征点a。

在另一个关键帧图像G2中选择至所述第一特征点a距离最近的最邻近特征点a1。

在关键帧图像G2中选择至第一特征点a距离第二近的次邻近特征点b。

计算所述第一特征点a至最邻近特征点a1之间的最近距离d1、以及第一特征点a至次邻近特征点b之间的次近距离d2；

计算所述最近距离d1与次近距离d2之间的比值，将所述比值大于比值阈值对应的第一特征点a从关键帧图像G1中剔除。

通过上述步骤，可以使得关键帧图像中特征点密集的部位的特征点减少，使得在同样数量的特征点下特征点分布更加均匀。

然后对特征点进行对称性测试。在关键帧图像G1中依次选择特征点与关键帧图像G2的特征点进行匹配情况进行检查，保留匹配成对的特征点对，去除未匹配成对的特征点，从而得到两幅图像之间可以互相对应的特征点匹配对。

对所述在后关键帧图像与所述在先关键帧图像进行匹配的步骤如下：

选择在后关键帧图像与在先关键帧图像之间的质量较好的特征点匹配对，根据这些特征点匹配对计算所述在后关键帧图像与所述压缩后的在先关键帧图像之间的第一变换关系。

比如，在压缩后的在后关键帧图像与压缩后的在先关键帧图像上有三个质量较好的特征点匹配对，分别是压缩后的在后关键帧图像的l、m、n点匹配压缩后的在先关键帧图像的o、p、q点，根据压缩比例，反算这六个点在原图上的位置，得到在后关键帧图像的A、B、C点和在先关键帧图像的D、E、F点坐标，然后根据(A、B、C)与(D、E、F)的关系计算在后关键帧图像与在先关键帧图像之间的变换关系。

S5、融合步骤，根据映射关系将基准关键帧图像映射到模板上，根据相邻两张关键帧图像之间的变换关系，递推计算当前关键帧图像相对于所述基准关键帧图像的变换关系，根据所述映射关系和变换关系将所述当前关键帧图像映射到所述模板上。

可以将提取得到的第一张关键帧图像作为基准图像，根据映射关系映射到模板上，在地面站提取到第一张关键帧图像时即实时将其映射到模板上。

当提取得到第二张关键帧图像后，计算得到第二张关键帧图像与第一张关键帧图像之间的变换关系1，根据所述映射关系和变换关系1将第二张关键帧图像映射到所述模板上。当提取得到第三张关键帧图像后，计算得到第三张关键帧图像与第二张关键帧图像之间的变换关系2，然后递推计算第三张关键帧图像与第一张关键帧图像之间的变换关系3，根据所述映射关系和变换关系3将第三关键帧图像映射到所述模板上…依次类推，每获取一张关键帧图像，既可以实时地将其拼接到模板上。

可以根据实际需要，选择合适尺寸的模板，并将关键帧图像映射到模板中感兴趣的区域，从而可以获得全景图像，并可以实时展示与存储。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (9)

1.一种基于无人机的全景图像拼接方法，其特征是，包括如下步骤：

提取步骤，从无人机传回的视频流中依次提取关键帧图像；

预处理步骤，根据所述无人机的航迹规划信息，将所述无人机的飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致；

匹配步骤，提取经过所述预处理步骤的在后关键帧图像与在先关键帧图像的特征点，对所述在后关键帧图像的特征点与所述在先关键帧图像的特征点进行匹配，然后对所述在后关键帧图像与所述在先关键帧图像进行匹配，并计算所述在后关键帧图像与所述在先关键帧图像之间的第一变换关系，其中，所述在后关键帧图像与所述在先关键帧图像为相邻的两张关键帧图像；

融合步骤，根据映射关系将基准关键帧图像映射到模板上，根据相邻两张关键帧图像之间的第一变换关系，递推计算当前关键帧图像相对于所述基准关键帧图像的变换关系，根据所述映射关系和变换关系将所述当前关键帧图像映射到所述模板上；

所述预处理步骤还包括如下步骤：

将每个关键帧图像按照设定压缩比例进行压缩，存储压缩后的关键帧图像和所述关键帧图像；

所述匹配步骤具体为：

对经过所述预处理步骤的压缩后的在后关键帧图像与压缩后的在先关键帧图像进行特征点提取与匹配；

根据所述设定压缩比例，计算所述压缩后的在后关键帧图像的特征点对应的所述在后关键帧图像的特征点，计算所述压缩后的在先关键帧图像的特征点对应的所述在先关键帧图像的特征点；

根据所述在后关键帧图像的特征点和所述在先关键帧图像的特征点，计算所述在后关键帧图像与在先关键帧图像之间的第一变换关系。

2.如权利要求1所述的基于无人机的全景图像拼接方法，其特征是，在所述匹配步骤之前，还对相邻的两个关键帧图像的特征点进行筛选：

在其中一个关键帧图像中选择第一特征点；

在另一个关键帧图像中选择至所述第一特征点的距离最近的特征点，以及选择至所述第一特征点的距离第二近的特征点，其中，所述距离最近的特征点作为最邻近特征点，所述距离第二近的特征点作为次邻近特征点；

计算所述第一特征点至最邻近特征点之间的最近距离、以及所述第一特征点至次邻近特征点之间的次近距离；

计算所述最近距离与次近距离之间的比值，将所述比值大于比值阈值对应的第一特征点从所述其中一个关键帧图像中剔除。

3.如权利要求2所述的基于无人机的全景图像拼接方法，其特征是，

在所述其中一个关键帧图像中依次选择特征点与所述另一个关键帧图像的特征点进行匹配情况进行检查，保留匹配成对的特征点对，去除未匹配成对的特征点。

4.如权利要求1所述的基于无人机的全景图像拼接方法，其特征是，

将所述无人机处于航迹拐弯处的时间段内的关键帧图像剔除。

5.如权利要求1所述的基于无人机的全景图像拼接方法，其特征是，

所述基准关键帧图像为第一关键帧图像。

6.一种基于无人机的全景图像拼接装置，其特征是，包括如下单元：

提取单元，用于从无人机传回的视频流中依次提取关键帧图像；

预处理单元，用于根据所述无人机的航迹规划信息，将所述无人机的飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致；

匹配单元，用于提取经过所述预处理步骤的在后关键帧图像与在先关键帧图像的特征点，对所述在后关键帧图像的特征点与所述在先关键帧图像的特征点进行匹配，然后对所述在后关键帧图像与所述在先关键帧图像进行匹配，并计算所述在后关键帧图像与所述在先关键帧图像之间的第一变换关系，其中，所述在后关键帧图像与所述在先关键帧图像为相邻的两张关键帧图像；

融合单元，用于根据映射关系将基准关键帧图像映射到模板上，根据相邻两张关键帧图像之间的第一变换关系，递推计算当前关键帧图像相对于所述基准关键帧图像的变换关系，根据所述映射关系和变换关系将所述当前关键帧图像映射到所述模板上；

所述图像预处理单元还用于，

将每个关键帧图像按照设定压缩比例进行压缩，存储压缩后的关键帧图像和所述关键帧图像；

所述匹配单元具体用于，

对经过所述预处理步骤的压缩后的在后关键帧图像与压缩后的在先关键帧图像进行特征点提取与匹配；

根据所述设定压缩比例，计算所述压缩后的在后关键帧图像的特征点对应的所述在后关键帧图像的特征点，计算所述压缩后的在先关键帧图像的特征点对应的所述在先关键帧图像的特征点；

根据所述在后关键帧图像的特征点和所述在先关键帧图像的特征点，计算所述在后关键帧图像与在先关键帧图像之间的第一变换关系。

7.如权利要求6所述的基于无人机的全景图像拼接装置，其特征是，还包括特征点筛选单元，用于对相邻的两个关键帧图像的特征点进行筛选：

在其中一个关键帧图像中选择第一特征点；

在另一个关键帧图像中选择至所述第一特征点的距离最近的特征点，以及选择至所述第一特征点的距离第二近的特征点，其中，所述距离最近的特征点作为最邻近特征点，所述距离第二近的特征点作为次邻近特征点；

计算所述第一特征点至最邻近特征点之间的最近距离、以及所述第一特征点至次邻近特征点之间的次近距离；

计算所述最近距离与次近距离之间的比值，将所述比值大于比值阈值对应的第一特征点从所述其中一个关键帧图像中剔除。

8.如权利要求7所述的基于无人机的全景图像拼接装置，其特征是，

在所述其中一个关键帧图像中依次选择特征点与所述另一个关键帧图像的特征点进行匹配情况进行检查，保留匹配成对的特征点对，去除未匹配成对的特征点。

9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有程序指令，所述程序指令被计算机的处理器执行时使所述处理器执行根据权利要求1至5任一项所述方法。

Images