CN105550994B - 一种基于卫星影像的无人机影像快速概略拼接方法 - Google Patents

Abstract

本发明的一种基于卫星影像的无人机影像快速概略拼接方法：使用无人机机载数码相机对地面进行近似垂直摄影，计算得到无人机影像的航摄区域的地面分辨率；对无人机影像进行降采样，使其与卫星影像具有近似的地面分辨率；对无人机和卫星影像进行双边滤波，以去除弱特征点；用降尺度空间SURF算法对无人机和卫星影像进行特征点提取；用欧氏距离进行特征点的匹配，并用模板匹配辅助优选一对正确的匹配点；利用匹配点的尺度和方向信息构建相似变换矩阵，以确定无人机影像在卫星影像中的概略位置；将多幅无人机影像配准到卫星影像中，得到无人机影像间的方位信息，完成无人机影像概略拼接。本发明无需连续的无人机影像，其计算效率高、速度快、适用广。

Description

一种基于卫星影像的无人机影像快速概略拼接方法

技术领域

本发明涉及航空摄影测量技术领域，具体涉及一种基于卫星影像的无人机影像快速概略拼接方法。

背景技术

无人机遥感是一种低成本、高灵活度的遥感手段，已经被广泛应用于工程勘察、城市规划、灾害监测和土地利用调查等方面，有效弥补了卫星影像分辨率低、重访周期长的缺点。目前针对无人机影像拼接的方法主要有：基于POS(position and orientationsystem,定位定姿系统)数据的拼接和基于特征的拼接。但是基于POS数据的拼接必须有POS数据的支持，目前多数无人机无法携带精确的POS系统，尚不具备应用条件；基于特征的拼接耗时长，且受影像的成像质量影响较大。

基于特征的无人机影像快速拼接方法是目前研究的重要方向，其主要有两种实现路径：一是对所有无人机影像提取特征点，对任意两张影像进行特征点的匹配，进而完成影像间的拼接；二是针对连续的无人机影像，仅对一张影像周围的少数影像进行特征点的匹配。路径一可以适用于杂乱无序的无人机影像，但是由于特征点描述子具有较高的维度，任意的两两匹配使计算效率较低。路径二需要连续的无人机影像，针对补拍或漏拍等情况不具有适应性，会造成计算失败。

发明内容

本发明的目的在于克服现有技术的缺陷,提供一种基于卫星影像的无人机影像快速概略拼接方法，无需连续的无人机影像，其计算效率高、速度快、适用广，拼接精度能够满足影像后续处理的要求。

为了解决上述现有技术的技术问题，本发明采用以下技术方案。

一种基于卫星影像的无人机影像快速概略拼接方法，其特征在于，包括如下步骤：

步骤1、使用无人机机载数码相机对地面进行近似垂直摄影，获取航摄区域的地面场景的无人机影像；通过网络获取航摄区域的卫星影像，用作无人机影像概略拼接的底图；通过获取所述相机像元尺寸、镜头焦距以及飞行航高信息，计算得到无人机影像的航摄区域的地面分辨率；

步骤2、影像预处理，包括影像降采样和双边滤波：用卫星影像地面分辨率与无人机影像地面分辨率的比值，作为无人机影像的降采样比例，对无人机影像进行降采样，使其与卫星影像具有近似相同的地面分辨率；并且，用滤波器对无人机影像和卫星影像进行双边滤波；

步骤3、利用降尺度空间的SURF算法对无人机影像和卫星影像进行特征点的提取：由于无人机影像和卫星影像具有近似相同的地面分辨率，所以仅需选用少量滤波器模板参与特征点提取的计算；

步骤4、进行欧氏距离匹配，并用模板匹配辅助优选匹配点：利用欧氏距离对无人机影像和卫星影像的两幅图像中的特征点进行匹配，利用特征点主方向对卫星影像进行旋转，消除影像间的旋角；然后在此基础上，利用基于标准平方差的模板匹配方法加以辅助，剔除误差较大的匹配点，计算得到一对最优匹配特征点；

步骤5、在所述的SURF算法中，提取的特征点具有像素坐标、尺度和方向信息，利用所述的一对最优匹配特征点的像素坐标、尺度和方向信息，构建相似变换矩阵R，其矩阵计算公式如下：

其中，s表示两特征点尺度比值，θ表示两特征点主方向之间旋角，d_x和d_y分别表示两特征点在x方向和y方向的像素坐标之间的差；

以无人机影像的左上角为坐标原点，计算出该影像四个顶点的像素坐标，通过相似变换矩阵求得所述四个顶点在卫星影像中的像素坐标(x′,y′)，得到无人机影像的概略位置：

其中，R为相似变换矩阵，(x,y)为无人机影像中四个顶点的像素坐标；

步骤6、将航摄区域内的所有无人机影像对卫星影像进行配准，即可得到无人机影像之间的方位信息，从而完成无人机影像的概略拼接。

在所述步骤1中，利用以下计算公式获取无人机影像的地面分辨率：

其中，GSD为地面分辨率，单位是m，a为相机像元尺寸，单位是mm，H为摄影航高，单位是m，f为摄影镜头焦距，单位是mm。

在所述步骤2中，所述的影像降采样，是指用卫星影像地面分辨率与无人机影像地面分辨率的比值，作为无人机影像的降采样比例，对无人机影像进行降采样，从而使其无人机影像与卫星影像具有近似相同的地面分辨率；

所述的双边滤波，是指对无人机影像和卫星影像进行双边滤波；双边滤波器不仅考虑像素点邻域的灰度相似关系，还需考虑像素点空间的邻近关系。

在所述步骤3中，所述的利用降尺度空间的SURF算法对无人机和卫星影像进行特征点的提取，是指在使用SURF算法进行特征点检测的过程中，为了保持特征点的尺度不变性，需要构建多组、每组多层尺度空间分别提取特征点，即使引入盒状滤波器仍然需要较大的计算量，所以仅选用少量滤波器模板构建尺度空间，进而提取特征点。

所述步骤4的具体过程为：

(4-1)所述的利用欧氏距离对无人机影像和卫星影像的两幅图像中的特征点进行匹配，其欧氏距离的计算公式如下：

其中，d为欧氏距离，m表示无人机影像的一幅图像，n表示卫星影像的一幅图像，F_m和F_n分别表示m和n两幅图像上的某个特征点的描述子，k表示特征点描述子所具有的维度，f^(m) _i和f⁽ⁿ⁾ _i分别表示m和n两幅图像上的第i维向量的长度。

(4-2)如果最近距离比次近距离小于阈值，其中缺省值取0.7，则认为最近距离的两个特征点为一对匹配点，然后将所述的最近距离的两个特征点及其最近距离与次近距离的比进行记录，并按照所述的距离比从小到大的原则，对匹配点进行排序；

(4-3)从上述排序的匹配点序列中按顺序依次取匹配点，计算两匹配点主方向之间的旋角，对卫星影像进行旋转，消除两张影像之间的旋角；取特征点周围N×N像素的邻域，其中N取特征点尺度的5倍；采用标准平方差法进行模板匹配，并记录下平方差系数，该平方差系数越小，说明图像的相似度越高；标准平方差系数R的计算公式如下：

其中，T表示模板图像，I表示原始图像，x′、y′表示模板图像中的坐标，x、y表示模板图像的移动步长；重复上述(4-3)过程，从匹配点序列中选取标准平方差最小的匹配点作为最优匹配点。

与现有技术相比，本发明包括以下优点和有益效果：

1.本发明的一种基于卫星影像的无人机影像快速概略拼接方法，是基于特征的无人机影像快速拼接的一种改进方法，很好地克服了前述两种基于特征拼接方法的缺点。该方法以卫星影像作为拼接底图，经过一定的影像预处理，利用降尺度空间的SURF算法，并结合基于标准平方差的模板匹配方法，是一种快速的、高适用性的无人机影像概略拼接方法。

2.本发明不需要连续的无人机影像，能够适用于补拍或漏拍等情况。

3.无需POS数据的支持且能够满足无人机影像后续处理的精度要求，而且速度快、耗时短，拥有更广泛的应用范围。

4.本方法降低了SURF(Speeded Up Robust Features)算法的尺度不变性，减少特征提取的尺度图层，使特征点的数目减少，加快了计算速度。

5.本发明的实现过程完全是从算法底层开发，未使用OpenCV等函数库，对SURF算法进行了底层的改动，选取中等大小的4个滤波器模板计算Hessian响应图层，将原有的多组滤波器模板缩减为一组，既减少了计算量，加快计算速度，又能够适应无人机和卫星影像之间较大的差异。

附图说明

图1为本发明基于卫星影像的无人机影像快速概略拼接方法的一种实施例的流程图。

图2为本发明的一种实施例所述方法在进行SURF特征提取时的滤波器模板尺寸图。其中，图中的横轴代表尺度，竖轴代表滤波器模板的组数，方格中的数字代表滤波器模板的大小，单位是像素。滤波器模板的尺寸越大，代表特征点的尺度越大。

图3为本发明的一种实施例的复杂地物拼接结果图。

图4为本发明的一种实施例的稀疏地物拼接结果图。

具体实施方式

本发明的原理是：在无人机影像处理方面，由于无人机影像间一般存在尺度变化，为了使提取的特征点能够适应尺度的变化，需要在不同尺度下提取特征点。图2所示为本发明所述方法在进行SURF特征提取时的滤波器模板尺寸图。其中，图中的横轴代表尺度，竖轴代表滤波器模板的组数，方格中的数字代表滤波器模板的大小，单位是像素。滤波器模板的尺寸越大，代表特征点的尺度越大。为了使提取的特征点在尺度上具有连续性，经典的SURF算法采用的是与如图2所示上面4行类似的提取方式，即采用4或5组，每组4层的滤波器模板进行极值点检测。极值点的检测过程是在每组滤波器的组内，从小到大连续取3个滤波器模板计算出的Hessian响应图层，将中心像素的值与其周围26个像素的值进行比较，检测极值点。

本发明的一种基于卫星影像的无人机影像快速概略拼接方法，是基于特征的无人机影像快速拼接的一种改进方法，很好地克服了前述两种基于特征拼接方法的缺点。本方法降低了SURF(Speeded Up Robust Features)算法的尺度不变性，减少特征提取的尺度图层，使特征点的数目减少，加快了计算速度；其次，本发明采用卫星影像为拼接底图，不需要连续的无人机影像，能够适用于补拍或漏拍等情况。本发明无需POS数据的支持且能够满足无人机影像后续处理的精度要求。

本发明的实现过程完全是从算法底层开发，未使用OpenCV等函数库，对SURF算法进行了底层的改动，选取中等大小的4个滤波器模板计算Hessian响应图层，将原有的多组滤波器模板缩减为一组，既减少了计算量，加快计算速度，又能够适应无人机和卫星影像之间较大的差异。

下面结合附图和实施例对本发明做进一步详细说明。

图1所示为本发明一种基于卫星影像的无人机影像快速概略拼接方法的一种实施例的流程图。本发明所述方法包括如下步骤：

步骤1、使用无人机机载数码相机对地面进行近似垂直摄影，获取航摄区域的地面场景的无人机影像；通过网络获取航摄区域的卫星影像，用作无人机影像概略拼接的底图；通过获取所述相机像元尺寸、镜头焦距以及飞行航高信息，计算得到无人机影像的航摄区域的地面分辨率；

步骤2、影像预处理，包括影像降采样和双边滤波：用卫星影像地面分辨率与无人机影像地面分辨率的比值，作为无人机影像的降采样比例，对无人机影像进行降采样，使其与卫星影像具有近似相同的地面分辨率；并且，用滤波器对无人机影像和卫星影像进行双边滤波；既达到了去噪的目的，又很好地保留了图像的边缘信息；

步骤3、利用降尺度空间的SURF算法对无人机影像和卫星影像进行特征点的提取：由于无人机影像和卫星影像具有近似相同的地面分辨率，降低了特征点提取算法对多尺度适应性的要求，所以仅需选用少量滤波器模板参与特征点提取的计算。此算法不仅提高了计算速度，而且更适用于处理无人机与卫星此类差异较大的影像；

步骤4、进行欧氏距离匹配，并用模板匹配辅助优选匹配点：利用欧氏距离对无人机影像和卫星影像的两幅图像中的特征点进行匹配，利用特征点主方向对卫星影像进行旋转，消除影像间的旋角；然后在此基础上，利用基于标准平方差的模板匹配方法加以辅助，剔除误差较大的匹配点，计算得到一对最优匹配特征点；

步骤5、在所述的SURF算法中，提取的特征点具有像素坐标、尺度和方向信息，利用所述的一对最优匹配特征点的像素坐标、尺度和方向信息，构建相似变换矩阵R，其矩阵计算公式如下：

其中，s表示两特征点尺度比值，θ表示两特征点主方向之间旋角，d_x和d_y分别表示两特征点在x方向和y方向的像素坐标之间的差；

以无人机影像的左上角为坐标原点，计算出该影像四个顶点的像素坐标，通过相似变换矩阵求得所述四个顶点在卫星影像中的像素坐标(x′,y′)，得到无人机影像的概略位置：

其中，R为相似变换矩阵，(x,y)为无人机影像中四个顶点的像素坐标；

步骤6、将航摄区域内的所有无人机影像对卫星影像进行配准，即可得到无人机影像之间的方位信息，从而完成无人机影像的概略拼接。

在所述步骤1中，利用以下计算公式获取无人机影像的地面分辨率：

其中，GSD为地面分辨率，单位是m，a为相机像元尺寸，单位是mm，H为摄影航高，单位是m，f为摄影镜头焦距，单位是mm。

在所述步骤2中，所述的影像降采样，是指用卫星影像地面分辨率与无人机影像地面分辨率的比值，作为无人机影像的降采样比例，对无人机影像进行降采样，从而使其无人机影像与卫星影像具有近似相同的地面分辨率；

所述的双边滤波，是指对无人机影像和卫星影像进行双边滤波；双边滤波器不仅考虑像素点邻域的灰度相似关系，还需考虑像素点空间的邻近关系。通过对空间的邻近关系和灰度相似关系的非线性组合，既达到了去噪的目的，又很好地保留了图像的边缘信息。

在所述步骤3中，所述的利用降尺度空间的SURF算法对无人机和卫星影像进行特征点的提取，是指在使用SURF算法进行特征点检测的过程中，为了保持特征点的尺度不变性，需要构建多组、每组多层尺度空间分别提取特征点，即使引入盒状滤波器仍然需要较大的计算量；在此仅选用少量滤波器模板参与特征点提取的计算；本发明中，由于对无人机影像进行降采样，降低了无人机与卫星影像之间的尺度差异。因此，为了加快计算速度，本发明实施例中仅选用少量滤波器模板参与特征点提取的计算。

图2所示为本发明的一种实施例所述方法在进行SURF特征提取时的滤波器模板尺寸图。其中，图中的横轴代表尺度，竖轴代表滤波器模板的组数，方格中的数字代表滤波器模板的大小，单位是像素。滤波器模板的尺寸越大，代表特征点的尺度越大。

所述滤波器模板的尺寸直接决定了提取出特征点的精细程度。如果滤波器尺寸过小，提取出的特征点将过度表现图像中的细节特征，而由于平台高度、传感器尺寸等因素，无人机与卫星影像一般存在较大差异，细节特征不尽相同；如果尺寸过大，提取的特征点将会损失大量的地物细节信息，缺失了特征点的独特性与典型性。因此，为了既能准确反映地物的主要特征，又不过度表现细节特征，本发明实施例选取39、51、75和99共4种尺寸的滤波器模板参与尺度空间的构建，进而提取特征点。

所述步骤4的具体过程为：

(4-1)所述的利用欧氏距离对无人机影像和卫星影像的两幅图像中的特征点进行匹配，其欧氏距离的计算公式如下：

其中，d为欧氏距离，m表示无人机影像的一幅图像，n表示卫星影像的一幅图像，F_m和F_n分别表示m和n两幅图像上的某个特征点的描述子，k表示特征点描述子所具有的维度，f^(m) _i和f⁽ⁿ⁾ _i分别表示m和n两幅图像上的第i维向量的长度。

(4-2)如果最近距离比次近距离小于阈值，其中缺省值取0.7，则认为最近距离的两个特征点为一对匹配点，然后将所述的最近距离的两个特征点及其最近距离与次近距离的比进行记录；最近距离与次近距离的比越小，说明匹配点的独特性和相似性越高，并按照所述的距离比从小到大的原则，对匹配点进行排序；

(4-3)从上述排序的匹配点序列中按顺序依次取匹配点，计算两匹配点主方向之间的旋角，对卫星影像进行旋转，消除两张影像之间的旋角；取特征点周围N×N像素的邻域，其中N取特征点尺度的5倍；采用标准平方差法进行模板匹配，并记录下平方差系数，该平方差系数越小，说明图像的相似度越高；标准平方差系数R的计算公式如下：

其中，T表示模板图像，I表示原始图像，x′、y′表示模板图像中的坐标，x、y表示模板图像的移动步长；重复上述(4-3)过程，从匹配点序列中选取标准平方差最小的匹配点作为最优匹配点。

总之，本发明所述方法以卫星影像作为拼接底图，经过一定的影像预处理，利用降尺度空间的SURF算法，并结合基于标准平方差的模板匹配方法，无需连续的无人机影像，可以快速地对无人机影像进行概略拼接，其计算效率高、适用广，拼接精度能够满足影像后续处理的要求。

Claims (5)

1.一种基于卫星影像的无人机影像快速概略拼接方法，其特征在于，包括如下步骤：

步骤1、使用无人机机载数码相机对地面进行近似垂直摄影，获取航摄区域的地面场景的无人机影像；通过网络获取航摄区域的卫星影像，用作无人机影像概略拼接的底图；通过获取所述相机像元尺寸、镜头焦距以及飞行航高信息，计算得到无人机影像的航摄区域的地面分辨率；

步骤2、影像预处理，包括影像降采样和双边滤波：用卫星影像地面分辨率与无人机影像地面分辨率的比值，作为无人机影像的降采样比例，对无人机影像进行降采样，使其与卫星影像具有近似相同的地面分辨率；并且，用滤波器对无人机影像和卫星影像进行双边滤波；

步骤3、利用降尺度空间的SURF算法对无人机影像和卫星影像进行特征点的提取：由于无人机影像和卫星影像具有近似相同的地面分辨率，所以仅需选用少量滤波器模板参与特征点提取的计算；

步骤4、进行欧氏距离匹配，并用模板匹配辅助优选匹配点：利用欧氏距离对无人机影像和卫星影像的两幅图像中的特征点进行匹配，利用特征点主方向对卫星影像进行旋转，消除影像间的旋角；然后在此基础上，利用基于标准平方差的模板匹配方法加以辅助，剔除误差较大的匹配点，计算得到一对最优匹配特征点；

步骤5、在所述的SURF算法中，提取的特征点具有像素坐标、尺度和方向信息，利用所述的一对最优匹配特征点的像素坐标、尺度和方向信息，构建相似变换矩阵R，其矩阵计算公式如下：

其中，s表示两特征点尺度比值，θ表示两特征点主方向之间旋角，d_x和d_y分别表示两特征点在x方向和y方向的像素坐标之间的差；

以无人机影像的左上角为坐标原点，计算出该影像的四个顶点的像素坐标，通过相似变换矩阵求得所述四个顶点在卫星影像中的像素坐标(x′,y′)，得到无人机影像的概略位置：

其中，R为相似变换矩阵，(x,y)为无人机影像中四个顶点的像素坐标；

步骤6、将航摄区域内的所有无人机影像对卫星影像进行配准，即可得到无人机影像之间的方位信息，从而完成无人机影像的概略拼接。

2.根据权利要求1所述的一种基于卫星影像的无人机影像快速概略拼接方法，其特征在于：在所述步骤1中，利用以下计算公式获取无人机影像的地面分辨率：

其中，GSD为地面分辨率，单位是m，a为相机像元尺寸，单位是mm，H为摄影航高，单位是m，f为摄影镜头焦距，单位是mm。

3.根据权利要求1所述的一种基于卫星影像的无人机影像快速概略拼接方法，其特征在于：

在所述步骤2中，所述的影像降采样，是指用卫星影像地面分辨率与无人机影像地面分辨率的比值，作为无人机影像的降采样比例，对无人机影像进行降采样，从而使其无人机影像与卫星影像具有近似相同的地面分辨率；

所述的双边滤波，是指对无人机影像和卫星影像进行双边滤波；双边滤波器不仅考虑像素点邻域的灰度相似关系，还需考虑像素点空间的邻近关系。

4.根据权利要求1所述的一种基于卫星影像的无人机影像快速概略拼接方法，其特征在于：

在所述步骤3中，所述的利用降尺度空间的SURF算法对无人机和卫星影像进行特征点的提取，是指在使用SURF算法进行特征点检测的过程中，为了保持特征点的尺度不变性，需要构建多组、每组多层尺度空间分别提取特征点，即使引入盒状滤波器仍然需要较大的计算量，所以仅选用少量滤波器模板构建尺度空间，进而提取特征点。

5.根据权利要求1所述的一种基于卫星影像的无人机影像快速概略拼接方法，其特征在于：所述步骤4的具体过程如下：

(4-1)所述的利用欧氏距离对无人机影像和卫星影像的两幅图像中的特征点进行匹配，其欧氏距离的计算公式如下：

其中，d为欧氏距离，m表示无人机影像的一幅图像，n表示卫星影像的一幅图像，F_m和F_n分别表示m和n两幅图像上的某个特征点的描述子，k表示特征点描述子所具有的维度，f^(m) _i和f⁽ⁿ⁾ _i分别表示m和n两幅图像上的第i维向量的长度；

(4-2)如果最近距离比次近距离小于阈值，其中缺省值取0.7，则认为最近距离的两个特征点为一对匹配点，然后将所述的最近距离的两个特征点及其最近距离与次近距离的比进行记录，并按照所述的距离比从小到大的原则，对匹配点进行排序；

(4-3)从上述排序的匹配点序列中按顺序依次取匹配点，计算两匹配点主方向之间的旋角，对卫星影像进行旋转，消除两张影像之间的旋角；取特征点周围N×N像素的邻域，其中N取特征点尺度的5倍；采用标准平方差法进行模板匹配，并记录下平方差系数，该平方差系数越小，说明图像的相似度越高；标准平方差系数R的计算公式如下：

其中，T表示模板图像，I表示原始图像，x′、y′表示模板图像中的坐标，x、y表示模板图像的移动步长；重复上述(4-3)过程，从匹配点序列中选取标准平方差最小的匹配点作为最优匹配点。