CN106940876A - 一种基于surf的快速无人机航拍图像拼接算法 - Google Patents

Abstract

本发明公开了一种基于SURF的快速无人机航拍图像拼接算法，首先对图像进行预处理，由于无人机拍摄图像尺寸过大，将所有图像降采样到一定尺寸。再利用SURF算法生成64维特征向量，然后利用最近邻和次近邻距离比值得到粗匹配对。之后利用RANSAC去除误匹配对并求解图像间的透视变换矩阵，由于无人机视角的变化，对透视变换矩阵进行调整并转换匹配图像，最后使用多频段融合算法融合图像以实现图像的无缝拼接。本发明能够对无人机拍摄的高精度高分辨率图像进行快速的图像拼接，拼接边缘过渡平滑且保留更多细节。

Description

一种基于SURF的快速无人机航拍图像拼接算法

技术领域

本发明涉及图像处理技术领域，尤其是一种基于SURF的快速无人机航拍图像拼接算法，主要针对于无人机拍摄的高分辨率高精度图像序列，将其快速拼接形成一幅大场景的直观易理解的图像。

背景技术

图像拼接是指将一组有部分重合区域的图像序列拼接成一幅更全面细节更丰富的全景图像的过程，它能够弥补单幅图像分辨率低、视野范围小的缺陷，有助于掌握更全面直观的信息。图像拼接在各个领域有广泛的应用，对于无人机拍摄的航拍序列，图像尺度大、细节丰富以及角度变化大，将其进行拼接形成一幅大场景的直观易理解的图像是一项极其复杂的任务。

图像拼接主要包括图像配准和图像融合两部分。目前，图像配准主要分为基于特征的配准，基于矩的配准及基于灰度的配准。基于灰度信息的算法包括互相关匹配、模板匹配等，该算法实现简单，但计算量大，但是当图像存在平移、旋转、缩放等变化时，算法性能急剧下降。基于特征的匹配算法主要有直线，角点，轮廓等，由于点特征对图像的平移、旋转、分辨率、光照等具有不变性，因此广泛应用于图像配准。常用的特征提取方法主要有Harris角点检测、FAST角点检测、LBP(Local Binary Patterns)算法、SIFT(ScaleInvariant Feature Transform)算法及SURF(Speed Up Robust Feature)算法等。图像融合主要实现图像重合区域的平滑过渡，并且减少光照的影响。常用的方法有直接平均法，加权平均法，多频段融合算法等。传统的图像拼接算法如基于SIFT特征点的无人机影像拼接方法在高精度、高分辨图像拼接过程中精度和速度有待提高，且容易丢失细节。

发明内容

本发明的目的是针对现有技术的不足而提供的一种基于SURF的快速无人机航拍图像拼接算法，其具有较好的拼接效果。

本发明的目的是这样实现的：

一种基于SURF的快速无人机航拍图像拼接算法，包括以下步骤：

步骤1：对输入图像进行预处理，缩小图像尺寸；

步骤2：对输入图像用SURF算法检测特征点，并进行特征描述；

步骤3：对提取到的特征采用基于最近邻和次近邻距离比值的方法进行匹配；

步骤4：对匹配得到的特征点采用RANSAC算法剔除误匹配，得到优化后的特征点对；

步骤5：计算图像间的变换矩阵并转换原始输入图像；

步骤6：对多幅图像进行多频段图像融合。

所述步骤1中，对输入图像进行尺寸缩小。设输入图像长度为Height，宽度为Width，当输入图像面积大于10⁶时，图像缩小比例为否则，不对图像进行缩放。

所述步骤2中采用SURF算法检测特征点并进行特征描述，包括如下步骤：

步骤a1:对输入图像进行特征点检测。首先构建多尺度空间，尺度空间划分为4层，层与层之间的缩放比率为2，每一层包含不同尺度的滤波响应图。其次，在每一个3×3×3的局部区域中，进行非最大值抑制，只有比周围的26个领域值都大或者都小的极值点才能作为特征点，记录特征点位置及尺度。

所述不同尺度滤波响应图是指用盒子滤波器与图像卷积得到结果D_xx,D_xy,D_yy，可得到近似的Hessian矩阵H_approx，行列式为:det(H_approx)＝D_xxD_yy-(0.9D_xy)²，将近似Hessian矩阵与图像中每一点卷积可得到在图像I尺度σ上的滤波响应图。

步骤a2:特征点主方向的确定。将所述特征点位置检测之后，以特征点为圆心，以6s(s为特征点所在的尺度值)为半径的圆形邻域内，用尺寸为4s的Haar小波模板对图像进行处理，求得邻域内每个点在x，y方向的小波响应，对这些响应赋予σ＝2s的高斯权重系数。在特征点周围60°的扇形内，累加所有的响应形成新的矢量，遍历整个圆形区域，选择最大的矢量方向为特征点的主方向。

步骤a3:在所述特征点主方向确定之后，以特征点为中心，将坐标轴旋转至主方向，构建边长为20s×20s的正方形窗口，将正方形窗口划分为4×4个子窗口，每个子窗口大小为5s×5s。对每个子窗口中的点分别计算水平和垂直方向的小波响应，分别为d_x,d_y。同样，对每个点赋予以特征点为中心的高斯权重系数，以增加对几何变换的鲁棒性。然后对响应系数及响应系数的绝对值求和得到∑d_x,∑d_y,∑|d_x|,∑|d_y|，从而在每一个子区域可以得到一个四维向量V＝(∑d_x,∑d_y,∑|d_x|,∑|d_y|)。对于每一个特征点，可以形成4×4×4＝64维向量的特征描述子，再对向量进行归一化。

所述步骤3中，对所述步骤2中提取的特征描述采用最近邻和次近邻距离比值的方法进行特征匹配，建立特征点之间的关系，包括如下步骤：

设I₁,I₂为两幅输入图像，t_1i为图像I₁上第i个特征点，在图像I₂上寻找与该特征点之间距离最近的特征点t_2j和次近距离的特征点t_2j′即第j个特征点和第j′个特征点，距离分别为d₁,d₂，计算最近距离和次近距离的比值，小于某一个阈值的特征点可以认为是正确匹配的特征点，即d₁≤αd₂，一般α＝0.8，否则认为是是错误匹配的特征点。遍历图像I₁中所有特征点，找出I₂中所有匹配的特征点。

所述步骤4中，对步骤3中所述的匹配后的特征点采用RANSAC算法剔除错误匹配点对，包括以下步骤：

步骤a1：设置迭代次数N，其中1-p表示选出的n个点至少有一个是外点的概率，p＝0.05。w表示内点在全部数据中所占的比例，wⁿ指n个点都是内点的概率。

步骤a2：随机选取4对匹配的特征点，计算变换矩阵H。两幅输入图像特征点对满足如下关系

其中，(x₁,y₁),(x₂,y₂)分别是两幅输入图像I₁,I₂中一对匹配的特征点，利用如上公式计算转换矩阵H中的8个参数：h₁,h₂,h₄,h₅表示图像旋转量和尺度，h₃表示水平位移，h₆表示垂直位移，h₇,h₈分别表示水平和垂直方向的变形量。

步骤a3：计算每对匹配的特征点之间的距离。第一幅图像上的特征点X＝(x,y)经过参数矩阵变换之后得到关联点为HX，它们之间的欧氏距离为d²＝∑d(X,HX)²＝∑[(x-Hx)²+(y-Hy)²]，其中H为步骤b2中计算的转换矩阵。

步骤a4：指定阈值，当距离小于阈值时，将该点视为内点，并记录内点的个数，若距离大于阈值则此特征点视为外点。

步骤a5：重复步骤a2到步骤a4共N次，选出内点数最多的变换模型，把该模型认为的外点剔除，利用所有的内点计算变换矩阵H即为最优的变换矩阵。

所述步骤5中，在完成变换模型的估计之后，利用得到的变换矩阵H把图像I₁中的每一点映射到I₂的坐标系中去，利用双线性插值对映射后的坐标进行处理。

所述步骤6中，对步骤5中映射后的图像采用多频段融合算法进行图像融合，把两幅待拼接图像的重叠部分分解成不同频段的图像，并构建拉普拉斯金字塔，在金字塔不同层上进行融合，然后再重构出图像。

本发明提出一种基于SURF的快速无人机拍摄图像拼接算法，首先对图像进行尺寸缩放并采用SURF算法提取特征点，SURF算法具有较好的鲁棒性同时检测速度快，然后采用基于最近邻和次近邻距离比值的方法进行特征点匹配，之后采用RANSAC剔除误匹配的特征点对，计算变换矩阵并变换原始输入图像，最后采用多频段融合算法对图像进行图像融合，实验证明本发明具有较好的拼接效果。

附图说明

图1为本发明的流程图；

图2为实施例中对两幅输入图像提取的SURF特征图；

图3为实施例中对两幅输入图像提取SURF特征后粗匹配后的结果图，实线为正确匹配的特征点对，虚线为误匹配；

图4为实施例中采用RANSAC方法剔除误匹配点对之后的结果图；

图5为实施例中两幅输入图像经本发明及现有的基于SIFT特征点的无人机影像拼接方法的拼接结果图。

图6为实施例中多幅输入图像经本发明及现有的基于SIFT特征点的无人机影像拼接方法的拼接结果图。

具体实施方式

本发明公开了一种基于SURF的快速无人机拍摄图像拼接算法，首先对图像进行尺寸缩放并采用SURF算法提取特征点，SURF算法具有较好的鲁棒性同时检测速度快，然后采用基于最近邻和次近邻距离比值的方法进行特征点匹配，之后采用RANSAC剔除误匹配的特征点对，计算变换矩阵并变换图像，最后采用多频段融合算法对图像进行图像融合。

参阅图1，本发明分别对预处理后的输入图像采用SURF算法提取特征点并构建描述子，然后采用基于最近邻和次近邻距离比值的方法进行特征点匹配，之后采用RANSAC剔除匹配后的错误点对，利用精确匹配点对计算变换矩阵并转换图像，最后采用多频段融合算法对图像进行图像融合。

在本发明的技术方案实现过程中，参照图2，对两幅输入图像的SURF特征快速提取，包括以下步骤：

步骤a1：构建4层尺度空间，层与层之间的缩放比率为2。

步骤a2：利用不同尺寸的盒子滤波器去近似不同尺度的二阶高斯滤波器，并用盒子滤波器和图像卷积。在图像I尺度σ上，用不同尺度的盒子滤波器与图像卷积，可以得到该层上不同尺度的滤波响应图。选择6的倍数作为基本的尺度间隔，每次翻倍作为下一层的尺度间隔，即第一层尺度间隔为6，依次为12，24，48……。初始滤波模板为9×9，则第一层滤波大小为9，15，21，27，第二层滤波大小为15，27，39，51，第三层为27，51，75，99，第四层为51，99，147，195。

步骤a3：在所构建的尺度空间中，对每一个3×3×3的局部区域进行非最大值抑制得到特征点的位置。

步骤a4：计算特征点的主方向。以特征点为圆心，以6s(s为特征点所在的尺度值)为半径的圆形邻域内，用尺寸为4s的Haar小波模板对图像进行处理，求得邻域内每个点在x，y方向的小波响应，对这些响应赋予σ＝2s的高斯权重系数。在特征点周围60°的扇形内，累加所有的响应形成新的矢量，遍历整个圆形区域，选择最大的矢量方向为特征点的主方向。

步骤a5：构建描述向量。以特征点为中心，构建边长为20s的正方形窗口并划分为4×4个子窗口，每个子窗口计算小波响应可得到四维向量V＝(∑d_x,∑d_y,∑|d_x|,∑|d_y|)，整个窗口可构建64维特征向量。

在本发明的技术方案实现过程中，如图3所示，对两幅输入图像提取的SURF特征进行匹配。设I₁,I₂为两幅图像，t_1i为图像I₁上第i个特征点，在图像I₂上寻找与该特征点之间距离最近的特征点t_2j和次近距离的特征点t_2j′即第j个特征点和第j′个特征点，距离分别为d₁,d₂，距离由特征向量的欧式距离平方和来计算。计算最近距离和次近距离的比值，小于某一个阈值的特征点可以认为是正确匹配的特征点，即d₁≤αd₂，一般α＝0.8，否则认为是是错误匹配的特征点。遍历图像I₁中所有特征点，找出I₂中所有匹配的特征点。

在本发明的技术方案实现过程中，如图4所示，剔除错误匹配的特征点对，包括以下步骤：

步骤b1：设置迭代次数N，其中1-p表示选出的n个点至少有一个是外点的概率，p＝0.05。w表示内点在全部数据中所占的比例，wⁿ指n个点都是内点的概率。

步骤b2：随机选取4对特征点，计算变换矩阵H。设p＝(x₁,y₁),q＝(x₂,y₂)是匹配的特征点对，则有

利用选取的4对特征点对可计算出变换矩阵的所有参数:h₁,h₂,h₄,h₅表示图像旋转量和尺度，h₃表示水平位移，h₆表示垂直位移，h₇,h₈分别表示水平和垂直方向的变形量。

步骤b3：计算每对匹配的特征点之间的距离。第一幅图像上的特征点X＝(x,y)经过参数矩阵变换之后得到关联点为HX，它们之间的欧氏距离为d²＝∑d(X,HX)²＝∑[(x-Hx)²+(y-Hy)²],其中H为步骤b2中计算的转换矩阵。

步骤b4：指定阈值，当距离小于阈值时，将该点视为内点，并记录内点的个数，若距离大于阈值则此特征点视为外点。

步骤b5：重复步骤b2到步骤b4共N次，选出内点数最多的变换模型，把该模型认为的外点剔除，利用所有的内点计算变换矩阵H即为最优的变换矩阵。

在本发明的技术方案实现过程中，如图5(a)所示，计算变换矩阵之后对图像采用多频段融合算法进行图像融合，包括以下步骤：

步骤c1：对输入图像构建高斯金字塔。设原始图像为G₀，且G₀为高斯金字塔的第0层，对原始图像进行隔行和隔列的降2采样，则当前图像为前一层图像大小的1/4，不断的重复N次，可以得到由一系列图像G₀,G₁,…,G_N构成的高斯金字塔。

步骤c2：利用构建的高斯金字塔构建拉普拉斯金字塔。设当前为1层，将G_l进行升采样，得到放大的图像则与G_l-1尺寸相同。令其中0<l<N，当l＝N时，L_N＝G_N。一系列的带通图像L₀,L₁,…,L_N构成拉普拉斯金字塔。

步骤c3：图像融合。设两幅输入图像重叠区域的部分分别为A和B，对A和B分别构建拉普拉斯金字塔得到LA和LB。在第l层，新的金字塔LS为：

其中，N为重叠部分像素个数，i,j表示点的坐标。将第1层升采样后进行高斯滤波，然后与LS_l-1进行叠加，重复这个过程可得到最终融合结果。

实施例

仿真实验硬件环境为DELL台式机，硬件配置为Intel Core i5-4590CPU，主频3.30GHz，内存为8G，软件环境为Visual Studio 2013。

在仿真试验中，输入图片均为无人机实际拍摄图片，图片分辨率为4000*3000，相邻图片有部分重叠场景。首先对两幅输入图片进行拼接，拼接结果如图5所示。图5(a)为本发明所提出的方法的拼接结果，图5(b)为对比方法基于SIFT特征点的无人机影像拼接方法的拼接结果图，如图5白框所示，本发明较好地完成了图像的无缝拼接，图像边缘处过渡平滑。

多幅输入图片拼接结果如图6所示，图6(a)为本发明所提出的方法的拼接结果，图6(b)为对比方法基于SIFT特征点的无人机影像拼接方法的拼接结果图。本发明的拼接结果没有明显的边缝，边缘过渡平滑，而对比方法的拼接结果在图像边缘有明显的变化，图中的电力设备显示不完整。

本发明与基于SIFT特征点的无人机影像拼接方法拼接多幅图片用时对比如表1所示，总共10组实验，每组实验有若干张连续图片进行拼接，可以看出本发明的拼接速度比较稳定，比基于SIFT特征点的方法耗时更少，是一种快速的图像拼接算法。

表1

实验编号	图片数量	本发明(秒)	基于SIFT特征点的拼接方法(秒)
				1	5	29.912	41.908
2	6	33.190	58.020
				3	5	25.640	31.495
4	5	24.284	29.841
				5	5	28.788	31.038
6	8	23.450	93.302
				7	4	13.923	46.861
8	6	17.589	36.715
				9	6	30.781	54.528
10	8	20.2266	27.829
				平均	6	24.8051	50.625

Claims (7)

1.一种基于SURF的快速无人机航拍图像拼接算法，其特征在于，该方法包括以下具体步骤：

步骤1：对输入图像进行预处理，缩小图像尺寸；

步骤2：对输入图像用SURF算法检测特征点，并进行特征描述；

步骤3：对提取到的特征采用基于最近邻和次近邻距离比值的方法进行匹配；

步骤4：对匹配得到的特征点采用RANSAC算法剔除误匹配，得到优化后的特征点对；

步骤5：计算图像间的变换矩阵并转换原始输入图像；

步骤6：对多幅图像进行多频段图像融合。

2.根据权利要求1所述的快速无人机航拍图像拼接算法，其特征在于，所述步骤1具体为：

设输入图像长度为Height，宽度为Width，当输入图像面积大于10⁶时，图像缩小比例为否则，不对图像进行缩放。

3.根据权利要求1所述的快速无人机航拍图像拼接算法，其特征在于，所述步骤2具体包括：

步骤a1：构建4层尺度空间；

步骤a2：利用不同尺寸的盒子滤波器去近似不同尺度的二阶高斯滤波器，并用盒子滤波器和图像卷积,构建不同尺度的滤波响应图；

步骤a3：在所构建的尺度空间中，对每一个3×3×3的局部区域进行非最大值抑制得到特征点的位置；

步骤a4：在以特征点为中心6s为半径的圆形邻域内，累加扇形区域内小波响应，选取最大矢量为主方向；其中，s为特征点所在的尺度值；

步骤a5：以特征点为中心，构建边长为20s的正方形窗口并划分为4×4个子窗口，每个子窗口计算小波响应得到四维向量，V＝(∑d_x,∑d_y,∑|d_x|,∑|d_y|)，整个窗口构建64维特征向量。

4.根据权利要求1所述的快速无人机航拍图像拼接算法，其特征在于，在步骤3中，采用基于最近邻和次近邻距离比值的方法进行特征匹配，具体包括：

在匹配的过程中，设I₁,I₂为两幅输入图像，t_1i为图像I₁上第i个特征点，在图像I₂上寻找与该特征点之间距离最近的特征点t_2％和次近距离的特征点t_2％′即第j个特征点和第％′个特征点，距离分别为d₁,d₂，距离由特征向量的欧式距离平方和来计算；计算最近距离和次近距离的比值，小于某一个阈值的特征点认为是正确匹配的特征点，即d₁≤αd₂，其中α＝0.8，否则认为是错误匹配的特征点；遍历图像I₁中所有特征点，找出I₂中所有匹配的特征点。

5.根据权利要求1所述的快速无人机航拍图像拼接算法，其特征在于，在步骤4中，采用RANSAC算法剔除错误匹配的特征点对，具体包括：

步骤b1：设置迭代次数N；

步骤b2：随机选取4对匹配的特征点，计算变换矩阵H；输入图像特征点对满足如下关系

$\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& 1\end{array}\right]\&times;\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]$

其中，(x₁,y₁),(x₂,y₂)分别是两幅输入图像中一对匹配的特征点，利用如上公式计算转换矩阵H中的8个参数:h₁,h₂,h₄,h₅表示图像旋转量和尺度，h₃表示水平位移，h₆表示垂直位移，h₇,h₈分别表示水平和垂直方向的变形量；

步骤b3：计算每对匹配的特征点之间的距离；第一幅图像上的特征点X＝(x,y)经过变换矩阵变换之后得到关联点为HX，它们之间的欧氏距离为d²＝∑d(X,HX)²＝∑[(x-Hx)²+(y-Hy)²]，其中H为步骤b2中计算的转换矩阵；

步骤b4：指定阈值，当距离小于阈值时，将该点视为内点，并记录内点的个数，若距离大于阈值则此特征点视为外点；

步骤b5：重复步骤b2-b4共N次，选出内点数最多的变换模型，把该模型认为的外点剔除，利用所有的内点计算变换矩阵H即为最优的变换矩阵。

6.根据权利要求1所述的快速无人机航拍图像拼接算法，其特征在于，在步骤5中，利用步骤4中得到的变换矩阵与原图像中每一点坐标相乘得到转换后的图像。

7.根据权利要求1所述的快速无人机航拍图像拼接算法，其特征在于，在步骤6中，采用多频段融合方法进行图像融合，包括：把两幅输入图像的重叠部分分解成不同频段的图像，并构建拉普拉斯金字塔，在金字塔不同层上进行融合，最后再重构出图像。