CN113096018A - 一种航拍图像拼接方法和系统 - Google Patents

Abstract

一种航拍图像拼接方法和系统，所述方法包括：接收来自多个无人机的多个航拍图像以及各个航拍图像相对应的飞行状态数据，对所述航拍图像进行排序及几何校正；先对所述当前图像进行边缘裁剪得到当前裁剪图像，然后对所述当前图像和所述当前裁剪图像进行特征提取并分别与底图进行特征匹配，获得单应性矩阵；利用所述单应性矩阵对所述当前图像和所述当前裁剪图像进行变换，并基于变换后的图像求取掩膜和待融合图像，利用所述掩膜划分所述待融合图像与所述底图的重叠区域并对所述待融合图像与所述底图进行融合，生成的拼接结果作为后续拼接的底图，重复图像配准和拼接直至所有预处理图像拼接完成。利用本发明确保拼接过程可以连续进行，改善拼接效果。

Description

一种航拍图像拼接方法和系统

技术领域

本发明属于图像处理技术领域，尤其涉及一种航拍图像拼接方法和系统。

背景技术

无人机是一种无人驾驶飞行器，具有机动性强、成本低等特点，适用于区域覆盖侦察、监测、勘探等任务。无人机航拍图像具有成像分辨率高、图像细节丰富等优点，但由于无人机的视野范围和飞行高度有限，单张无人机航拍图像视觉信息量少，无法覆盖大面积区域，因此需要基于不同地点拍摄的多张无人机航拍图像以获取宽视角、高分辨率的区域全景图。

传统的无人机航拍图像拼接方法为确保相邻航拍图像间存在一定的重叠区域，要求无人机按照预定的连续不间断航线飞行，并以指定距离间隔拍摄图像。拼接图像时，获取相邻图像间存在重叠区域的航拍图像序列，然后对此航拍图像序列进行拼接，获取区域全景图。这种方式适用于对单无人机连续不间断的区域覆盖航拍图像进行拼接。但是由于单无人机续航性能有限，执行区域覆盖航拍耗时长、效率低，获取的航拍图像时间间隔较大，且实时性差。因此，目前多无人机区域覆盖航拍图像系统逐渐被应用到区域覆盖航拍领域，采用多无人机并行执行任务，可有效提高作业效率。

但多无人机区域覆盖航拍图像集合中的航拍图像由多个无人机拍摄，不同无人机拍摄的航拍图像间极有可能不存在重叠区域，最终获取到的航拍图像集合存在下述问题，导致难以直接使用传统的序列化拼接方法进行拼接：1、航拍图像集合不是序列化分布，各航拍图像与前序航拍图像拼接结果不一定存在重叠区域；2、存在重叠部分的航拍图像间的重叠区域的形状、位置等复杂多变，难以进行融合处理。

发明内容

本发明针对现有技术的缺陷，提供一种航拍图像拼接方法和系统，以解决多无人机航拍图像拼接的排序错乱，航拍图像之间的重叠区域形状、位置等复杂多变而导致拼接效果差的问题。

本发明首先提供了一种航拍图像拼接方法，包括以下步骤：

步骤S1，接收来自多个无人机的多个航拍图像以及各个所述航拍图像相对应的飞行状态数据，基于所述飞行状态数据对所述航拍图像进行排序及几何校正，得到预处理图像；

步骤S2，根据步骤S1的排序，若当前图像为首张图像则将该当前图像作为底图，否则以前次拼接结果为底图，先对所述当前图像进行边缘裁剪得到当前裁剪图像，然后对所述当前图像和所述当前裁剪图像进行特征提取并分别与所述底图进行特征匹配，基于各自的匹配特征点进行配准，获得单应性矩阵；

步骤S3，利用所述单应性矩阵对所述当前图像和所述当前裁剪图像进行变换，并基于变换后的图像求取掩膜和待融合图像，利用所述掩膜划分所述待融合图像与所述底图的重叠区域并对所述待融合图像与所述底图进行融合，生成的拼接结果作为后续拼接的底图，重复步骤S2和S3，直至所有预处理图像拼接完成。

进一步地，在步骤S1中，所述航拍图像对应的飞行状态数据包括无人机拍摄该航拍图像时的俯仰角θ、翻滚角φ、偏航角ψ、机头朝向α、经度lng、纬度lat和飞行高度het。

进一步地，在步骤S1中，基于所述飞行状态数据对所述航拍图像进行排序包括：

提取出所述航拍图像对应的飞行状态数据中的经度最小值lng_min和纬度最大值lat_max；

使用Haversine公式基于各航拍图像对应的经纬度计算各航拍图像中心点到点(lng_min,lat_max)的直线距离，计算公式为：

其中，d表示两点间距离，R表示地球半径，取平均值6371.393km，λ₁和λ₂表示两点的经度，

和

表示两点纬度，hav(·)为半正矢函数缩写，计算公式如下：

按各航拍图像中心点到点(lng_min,lat_max)的直线距离从小到大的顺序对所述航拍图像进行排序。

进一步地，在步骤S1中，基于所述飞行状态数据对所述航拍图像进行几何校正包括：

将所述航拍图像从像素坐标系转换到图像坐标系下；

根据各航拍图像对应的俯仰角θ、翻滚角φ、偏航角ψ、机头朝向α和飞行高度het数据依次进行俯仰、翻滚、偏航和高度校正处理；

将所述航拍图像反向转换到像素坐标系下，通过校正前后点对间的相对坐标关系计算透视变换矩阵，使用所述透视变换矩阵对所述航拍图像进行变换。

进一步地，在步骤S2中，对所述当前图像进行边缘裁剪时，在长度方向裁剪掉的边缘像素区域占原始图像长度的2％，在宽度方向裁剪掉的边缘像素区域只占原始图像宽度的2％。

进一步地，在步骤S2中，分别对所述当前图像和当前裁剪图像进行配准，包括：

使用加速稳健特征算法对所述当前图像和所述当前裁剪图像进行特征提取；

通过快速最近邻算法将所述当前图像、所述当前裁剪图像分别与所述底图进行特征匹配，再使用随机抽样一致性算法对匹配特征点进行提纯；

基于提纯后的匹配特征点分别计算所述当前图像与所述底图间、所述当前裁剪图像与所述底图间的单应性矩阵。

进一步地，在步骤S3中，所述掩膜包括第一区域和第二区域，所述第一区域为所述当前裁剪图像进行变换后的区域，所述第二区域为所述底图中排除所述第一区域的其他区域；对所述掩膜的第一区域和第二区域的像素位置分别赋值为0和1，形成所述掩膜的像素位置矩阵，利用所述掩膜融合两幅图像的公式表达如下：

G2＝M*G0+(1-M)*G1，

其中，G0和G1分别代表待融合的两幅图像并表现为两个像素值矩阵，M代表掩膜并以像素位置矩阵表示，G2为融合后的结果图并以像素值矩阵表示。

进一步地，在步骤S3中，所述待融合图像通过以下过程得到：

先利用变换后的当前图像与所述底图求交集区域；

再利用所述交集区域与所述当前裁剪图像求并集区域，所述并集区域为所述待融合图像。

进一步地，在步骤S3中，采用图像金字塔融合法对所述待融合图像与所述底图进行融合。

本发明还提供了一种航拍图像拼接系统，包括：

预处理模块，用于接收来自多个无人机的多个航拍图像以及各个所述航拍图像相对应的飞行状态数据，基于所述飞行状态数据对所述航拍图像进行排序及几何校正，得到预处理图像；

配准模块，所述配准模块根据所述预处理模块的排序，若当前图像为首张图像则将该当前图像作为底图，否则以前次拼接结果为底图，先对所述当前图像进行边缘裁剪得到当前裁剪图像，然后对所述当前图像和所述当前裁剪图像进行特征提取并分别与所述底图进行特征匹配，基于各自的匹配特征点进行配准，获得单应性矩阵；

拼接模块，所述拼接模块利用所述单应性矩阵对所述当前图像和所述当前裁剪图像进行变换，并基于变换后的图像求取掩膜和待融合图像，利用所述掩膜划分所述待融合图像与所述底图的重叠区域并对所述待融合图像与所述底图进行融合，生成的拼接结果作为后续拼接的底图，重复所述配准模块和拼接模块的操作，直至所有预处理图像拼接完成。

本发明提供的航拍图像拼接方法，能够接收多个无人机采集的多个航拍图像进行拼接，根据各航拍图像的飞行状态数据对各个航拍图像进行排序和校正预处理，确保拼接过程可以连续进行；通过建立掩膜求取待融合图像，对拼接过程中出现的复杂重叠区域进行划分后，将待融合图像与底图进行融合，避免因重叠区域的形状、位置等复杂多变造成图像融合效果欠佳，改善拼接效果，提高拼接图像的精确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例的航拍图像拼接方法的流程示意图；

图2是本发明实施例的航拍图像拼接方法中掩膜和待融合图像的求取步骤示意图；

图3是本发明实施例的来自多个无人机的多个航拍图像原图；

图4是图3中的多个航拍图像原图的拼接结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

此外，以下各实施例的说明是参考附加的图示，用以例示本发明可用以实施的特定实施例。本发明中所提到的方向用语，例如，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”、“侧面”等，仅是参考附加图式的方向，因此，使用的方向用语是为了更好、更清楚地说明及理解本发明，而不是指示或暗指所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

本发明实施例提供了一种航拍图像拼接方法，包括以下步骤：

步骤S1，接收来自多个无人机的多个航拍图像以及各个所述航拍图像相对应的飞行状态数据，基于所述飞行状态数据对所述航拍图像进行排序及几何校正，得到预处理图像；

步骤S2，根据步骤S1的排序，若当前图像为首张图像则将该当前图像作为底图，否则以前次拼接结果为底图，先对所述当前图像进行边缘裁剪得到当前裁剪图像，然后对所述当前图像和所述当前裁剪图像进行特征提取并分别与所述底图进行特征匹配，基于各自的匹配特征点进行配准，获得单应性矩阵；

步骤S3，利用所述单应性矩阵对所述当前图像和所述当前裁剪图像进行变换，并基于变换后的图像求取掩膜和待融合图像，利用所述掩膜划分所述待融合图像与所述底图的重叠区域并对所述待融合图像与所述底图进行融合，生成的拼接结果作为后续拼接的底图，重复步骤S2和S3，直至所有预处理图像拼接完成。

利用本发明实施例的航拍图像拼接方法，能够接收多个无人机采集的多个航拍图像进行拼接，根据各航拍图像的飞行状态数据对各个航拍图像进行排序和校正预处理，避免按照原序拼接的方式容易产生待拼接的图像之间无重叠区域的问题，确保拼接过程可以连续进行；通过对当前图像进行边缘裁剪后再将当前图像、当前裁剪图像分别与底图进行配准，既能将航拍图像中容易产生冗余信息的边缘部分去除又能避免拼接图像的缺失；通过建立掩膜求取待融合图像，对拼接过程中出现的复杂重叠区域进行划分后，将待融合图像与底图进行融合，避免因重叠区域的形状、位置等复杂多变造成图像融合效果欠佳，改善拼接效果，提高拼接图像的精确性。

请参阅附图1，提供了一种航拍图像拼接方法的具体实施流程，包括：

步骤S101，接收来自多个无人机的多个航拍图像，如附图3所示；

步骤S102，提取各航拍图像对应的飞行状态数据；

步骤S103，对各航拍图像进行排序和校正预处理；

步骤S104，对当前图像进行边缘裁剪与配准；

步骤S105，求取掩膜和待融合图像；

步骤S106，将底图和待融合图像融合后生成拼接结果图；

步骤S107，判断是否所有航拍图像拼接完成，若是，执行步骤S108，否则，执行步骤S109；

步骤S108，输出拼接结果图，如附图4所示；

步骤S109，更新底图为拼接结果图，返回步骤S104。

无人机航拍图像一般包含EXIF信息，EXIF为可交换图像文件格式(Exchangeableimage file format，简称Exif)，是专门为数码相机的照片设定的，可以记录数码照片的属性信息和拍摄数据。在步骤S1中，对航拍图像的EXIF信息中存储的飞行状态数据进行提取，并缓存备用。基于该部分数据对航拍图像集合进行排序，排序后的各航拍图像在拼接过程中与前序航拍图像之间具有重叠区域，使得拼接过程可以连续进行，再基于各航拍图像对应的飞行状态数据对其进行几何校正。在本实施例中，航拍图像对应的飞行状态数据包括无人机拍摄该航拍图像时的俯仰角θ、翻滚角φ、偏航角ψ、机头朝向α、经度lng、纬度lat和飞行高度het。

在步骤S1中，基于飞行状态数据对航拍图像进行排序包括：

提取出航拍图像对应的飞行状态数据中的经度最小值lng_min和纬度最大值lat_max；

使用Haversine公式基于各航拍图像对应的经纬度计算各航拍图像中心点到点(lng_min,lat_max)的直线距离，计算公式为：

其中，d表示两点间距离，R表示地球半径，取平均值6371.393km，λ₁和λ₂表示两点的经度，

和

表示两点纬度，hav(·)为半正矢函数缩写，计算公式如下：

按各航拍图像中心点到点(lng_min,lat_max)的直线距离从小到大的顺序对航拍图像进行排序。经重排序后的航拍图像集合，在拼接过程中，待拼接的当前图像与前次拼接结果之间相邻而具有重叠区域，满足连续拼接的条件，使得拼接过程能够顺利进行。

在步骤S1中，基于飞行状态数据对航拍图像进行几何校正包括：

将航拍图像从像素坐标系转换到图像坐标系下；

根据各航拍图像对应的俯仰角θ、翻滚角φ、偏航角ψ、机头朝向α和飞行高度het数据依次进行俯仰、翻滚、偏航和高度校正处理；

将航拍图像反向转换到像素坐标系下，通过校正前后点对间的相对坐标关系计算透视变换矩阵，使用透视变换矩阵对航拍图像进行变换，得到校正后的航拍图像并缓存备用。

在步骤S2中，对经排序和校正预处理后的航拍图像集依次进行下述处理：若当前图像为第一张图像，则直接将其作为底图，取出下一张图像进行后续操作；否则以前次航拍图像的拼接结果为底图，进行后续操作。对当前图像进行边缘裁剪时，在长度方向裁剪掉的边缘像素区域占原始图像长度的2％，在宽度方向裁剪掉的边缘像素区域只占原始图像宽度的2％。

在步骤S2中，分别对当前图像和当前裁剪图像进行配准，包括：

使用加速稳健特征算法对当前图像和当前裁剪图像进行特征提取；

通过快速最近邻算法将当前图像、当前裁剪图像分别与底图进行特征匹配，再使用随机抽样一致性算法对匹配特征点进行提纯；

基于提纯后的匹配特征点分别计算当前图像与底图间、当前裁剪图像与底图间的单应性矩阵，完成二者与底图间的配准处理。

在步骤S2中，通过对当前图像进行边缘裁剪后再将当前图像、当前裁剪图像分别与底图进行配准，一方面，通过边缘裁剪能将航拍图像中容易产生冗余信息的边缘部分去除，另一方面，通过使当前图像与底图配准后继续参与后续的待融合图像生成步骤，能避免由于边缘裁剪导致拼接图像的缺失。

在步骤S3中，利用通过图像配准获得的单应性矩阵对当前图像与当前裁剪图像进行变换，再使用变换后的图像求取掩膜和待融合图像。具体地，通过单应性矩阵对当前图像与当前裁剪图像进行几何变换，使两者的坐标系与底图坐标系相同，则变换后的图像若与底图进行叠加，不会出现“错位”等现象，只是会存在拼接缝隙，再通过后续的融合处理消除缝隙。

在本实施例中，掩膜包括第一区域和第二区域，第一区域为当前裁剪图像进行变换后的区域，第二区域为底图中排除第一区域的其他区域；掩膜内的两块区域中的像素位置分别赋值为0和1，即对第一区域和第二区域的像素位置分别赋值为0和1，形成标记掩膜的像素位置的0-1矩阵。掩膜内赋值为0和1的位置在融合的时候分别使用待融合的两幅图像的像素，公式表达如下：

G2＝M*G0+(1-M)*G1，

其中，G0和G1代表待融合的两幅图像，表现为两个像素值矩阵；M代表掩膜，以像素位置矩阵表示，具体表现为0-1矩阵；G2为融合后的结果图，以像素值矩阵表示。使用金字塔融合法时，是将掩膜和待融合的两幅图像分解成多层图像金字塔，在每一层都按上述公式进行叠加，得到融合后的图像金字塔，再反向生成最终的融合图像。

在步骤S3中，将底图与待融合图像进行融合处理，其中待融合图像通过以下过程得到：

先利用变换后的当前图像与底图求交集区域；

再利用交集区域与当前裁剪图像求并集区域，并集区域为待融合图像。

在步骤S3中，使用上述求得的掩膜划分底图和待融合图像的重叠区域，然后采用图像金字塔融合法对底图和待融合图像进行融合，生成融合后的拼接结果，再将底图更新为当前拼接结果，重复步骤S2和S3，直到拼接完所有图像为止，获得最终的多无人机航拍图像拼接结果图。

附图2提供了本实施例的航拍图像拼接方法中，掩膜和待融合图像的具体求取步骤示意图。其中，经预处理的当前图像10经裁剪处理后得到当前裁剪图像11；当前图像10与底图12配准得到变换后的当前图像13，当前裁剪图像11与底图12配准得到变换后的当前裁剪图像14；基于变换后的当前裁剪图像14与底图12求取掩膜15，掩膜15包括第一区域151和第二区域152，第一区域151为当前裁剪图像进行变换后的区域，第二区域152为底图12中排除第一区域的其他区域；变换后的当前图像13与底图12求交集得到交集区域16，该交集区域16与变换后的当前裁剪图像14求并集得到待融合图像17。

本实施例还提供了一种航拍图像拼接系统，包括：

预处理模块，用于接收来自多个无人机的多个航拍图像以及各个航拍图像相对应的飞行状态数据，基于飞行状态数据对航拍图像进行排序及几何校正，得到预处理图像；

配准模块，配准模块根据预处理模块的排序，若当前图像为首张图像则将该当前图像作为底图，否则以前次拼接结果为底图，先对当前图像进行边缘裁剪得到当前裁剪图像，然后对当前图像和当前裁剪图像进行特征提取并分别与底图进行特征匹配，基于各自的匹配特征点进行配准，获得单应性矩阵；

拼接模块，拼接模块利用单应性矩阵对当前图像和当前裁剪图像进行变换，并基于变换后的图像求取掩膜和待融合图像，利用掩膜划分待融合图像与底图的重叠区域并对待融合图像与底图进行融合，生成的拼接结果作为后续拼接的底图，重复配准模块和拼接模块的操作，直至所有预处理图像拼接完成。

在本实施例中，所述预处理模块存储提取得到的所述航拍图像对应的飞行状态数据，所述飞行状态数据包括无人机拍摄该航拍图像时的俯仰角θ、翻滚角φ、偏航角ψ、机头朝向α、经度lng、纬度lat和飞行高度het。

在本实施例中，所述预处理模块存储基于所述飞行状态数据对所述航拍图像进行排序包括：

提取出所述航拍图像对应的飞行状态数据中的经度最小值lng_min和纬度最大值lat_max；

使用Haversine公式基于各航拍图像对应的经纬度计算各航拍图像中心点到点(lng_min,lat_max)的直线距离，计算公式为：

其中，d表示两点间距离，R表示地球半径，取平均值6371.393km，λ₁和λ₂表示两点的经度，

和

表示两点纬度，hav(·)为半正矢函数缩写，计算公式如下：

按各航拍图像中心点到点(lng_min,lat_max)的直线距离从小到大的顺序对所述航拍图像进行排序。

在本实施例中，所述预处理模块存储基于所述飞行状态数据对所述航拍图像进行几何校正包括：

将所述航拍图像从像素坐标系转换到图像坐标系下；

根据各航拍图像对应的俯仰角θ、翻滚角φ、偏航角ψ、机头朝向α和飞行高度het数据依次进行俯仰、翻滚、偏航和高度校正处理；

将所述航拍图像反向转换到像素坐标系下，通过校正前后点对间的相对坐标关系计算透视变换矩阵，使用所述透视变换矩阵对所述航拍图像进行变换。

在本实施例中，所述配准模块对所述当前图像进行边缘裁剪时，在长度方向裁剪掉的边缘像素区域占原始图像长度的2％，在宽度方向裁剪掉的边缘像素区域只占原始图像宽度的2％。

在本实施例中，所述配准模块分别对所述当前图像和当前裁剪图像进行配准，包括：

使用加速稳健特征算法对所述当前图像和所述当前裁剪图像进行特征提取；

通过快速最近邻算法将所述当前图像、所述当前裁剪图像分别与所述底图进行特征匹配，再使用随机抽样一致性算法对匹配特征点进行提纯；

基于提纯后的匹配特征点分别计算所述当前图像与所述底图间、所述当前裁剪图像与所述底图间的单应性矩阵。

在本实施例中，所述掩膜包括第一区域和第二区域，所述第一区域为所述当前裁剪图像进行变换后的区域，所述第二区域为所述底图中排除所述第一区域的其他区域；所述拼接模块对所述第一区域和第二区域对应于所述待融合图像所在位置的像素位置分别赋值为0和1。

在本实施例中，所述待融合图像通过以下过程得到：

先利用变换后的当前图像与所述底图求交集区域；

再利用所述交集区域与所述当前裁剪图像求并集区域，所述并集区域为所述待融合图像。

在本实施例中，所述拼接模块采用图像金字塔融合法对所述待融合图像与所述底图进行融合。

以上并不限于本发明的实施方式，以上具体实施方式的描述旨在描述与说明本发明的技术方案，以上具体实施方式仅仅是示意式的，并不是限制式的。任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及发明专利构思加以同等替换或改变，都属于本发明专利的保护范围之内。

Claims (10)

1.一种航拍图像拼接方法，其特征在于，包括以下步骤：

步骤S1，接收来自多个无人机的多个航拍图像以及各个所述航拍图像相对应的飞行状态数据，基于所述飞行状态数据对所述航拍图像进行排序及几何校正，得到预处理图像；

步骤S2，根据步骤S1的排序，若当前图像为首张图像则将该当前图像作为底图，否则以前次拼接结果为底图，先对所述当前图像进行边缘裁剪得到当前裁剪图像，然后对所述当前图像和所述当前裁剪图像进行特征提取并分别与所述底图进行特征匹配，基于各自的匹配特征点进行配准，获得单应性矩阵；

步骤S3，利用所述单应性矩阵对所述当前图像和所述当前裁剪图像进行变换，并基于变换后的图像求取掩膜和待融合图像，利用所述掩膜划分所述待融合图像与所述底图的重叠区域并对所述待融合图像与所述底图进行融合，生成的拼接结果作为后续拼接的底图，重复步骤S2和S3，直至所有预处理图像拼接完成。

2.根据权利要求1所述的航拍图像拼接方法，其特征在于，在步骤S1中，所述航拍图像对应的飞行状态数据包括无人机拍摄该航拍图像时的俯仰角θ、翻滚角φ、偏航角ψ、机头朝向α、经度lng、纬度lat和飞行高度het。

3.根据权利要求2所述的航拍图像拼接方法，其特征在于，在步骤S1中，基于所述飞行状态数据对所述航拍图像进行排序包括：

提取出所述航拍图像对应的飞行状态数据中的经度最小值lng_min和纬度最大值lat_max；

使用Haversine公式基于各航拍图像对应的经纬度计算各航拍图像中心点到点(lng_min,lat_max)的直线距离，计算公式为：

其中，d表示两点间距离，R表示地球半径，取平均值6371.393km，λ₁和λ₂表示两点的经度，

和

表示两点纬度，hav(·)为半正矢函数缩写，计算公式如下：

按各航拍图像中心点到点(lng_min,lat_max)的直线距离从小到大的顺序对所述航拍图像进行排序。

4.根据权利要求2所述的航拍图像拼接方法，其特征在于，在步骤S1中，基于所述飞行状态数据对所述航拍图像进行几何校正包括：

将所述航拍图像从像素坐标系转换到图像坐标系下；

根据各航拍图像对应的俯仰角θ、翻滚角φ、偏航角ψ、机头朝向α和飞行高度het数据依次进行俯仰、翻滚、偏航和高度校正处理；

将所述航拍图像反向转换到像素坐标系下，通过校正前后点对间的相对坐标关系计算透视变换矩阵，使用所述透视变换矩阵对所述航拍图像进行变换。

5.根据权利要求1所述的航拍图像拼接方法，其特征在于，在步骤S2中，对所述当前图像进行边缘裁剪时，在长度方向裁剪掉的边缘像素区域占原始图像长度的2％，在宽度方向裁剪掉的边缘像素区域只占原始图像宽度的2％。

6.根据权利要求1所述的航拍图像拼接方法，其特征在于，在步骤S2中，分别对所述当前图像和当前裁剪图像进行配准，包括：

使用加速稳健特征算法对所述当前图像和所述当前裁剪图像进行特征提取；

通过快速最近邻算法将所述当前图像、所述当前裁剪图像分别与所述底图进行特征匹配，再使用随机抽样一致性算法对匹配特征点进行提纯；

基于提纯后的匹配特征点分别计算所述当前图像与所述底图间、所述当前裁剪图像与所述底图间的单应性矩阵。

7.根据权利要求1所述的航拍图像拼接方法，其特征在于，在步骤S3中，所述掩膜包括第一区域和第二区域，所述第一区域为所述当前裁剪图像进行变换后的区域，所述第二区域为所述底图中排除所述第一区域的其他区域；对所述掩膜的第一区域和第二区域的像素位置分别赋值为0和1，形成所述掩膜的像素位置矩阵，利用所述掩膜融合两幅图像的公式表达如下：

G2＝M*G0+(1-M)*G1，

其中，G0和G1分别代表待融合的两幅图像并表现为两个像素值矩阵，M代表掩膜并以像素位置矩阵表示，G2为融合后的结果图并以像素值矩阵表示。

8.根据权利要求7所述的航拍图像拼接方法，其特征在于，在步骤S3中，所述待融合图像通过以下过程得到：

先利用变换后的当前图像与所述底图求交集区域；

再利用所述交集区域与所述当前裁剪图像求并集区域，所述并集区域为所述待融合图像。

9.根据权利要求1所述的航拍图像拼接方法，其特征在于，在步骤S3中，采用图像金字塔融合法对所述待融合图像与所述底图进行融合。

10.一种航拍图像拼接系统，其特征在于，包括：

预处理模块，用于接收来自多个无人机的多个航拍图像以及各个所述航拍图像相对应的飞行状态数据，基于所述飞行状态数据对所述航拍图像进行排序及几何校正，得到预处理图像；

配准模块，所述配准模块根据所述预处理模块的排序，若当前图像为首张图像则将该当前图像作为底图，否则以前次拼接结果为底图，先对所述当前图像进行边缘裁剪得到当前裁剪图像，然后对所述当前图像和所述当前裁剪图像进行特征提取并分别与所述底图进行特征匹配，基于各自的匹配特征点进行配准，获得单应性矩阵；

拼接模块，所述拼接模块利用所述单应性矩阵对所述当前图像和所述当前裁剪图像进行变换，并基于变换后的图像求取掩膜和待融合图像，利用所述掩膜划分所述待融合图像与所述底图的重叠区域并对所述待融合图像与所述底图进行融合，生成的拼接结果作为后续拼接的底图，重复所述配准模块和拼接模块的操作，直至所有预处理图像拼接完成。

Images