CN104732482B - 一种基于控制点的多分辨率图像拼接方法 - Google Patents

Abstract

本发明一种基于控制点的多分辨率图像拼接方法，包括：1)无人机航拍序列图像的获取；利用相邻两帧低分辨率图像的重叠区域中的两组地面控制点对，得到图像的旋转平移变换关系，最后完成低分辨率图像序列的拼接融合；2)将低分辨率图像序列的拼接结果作为高精度匹配的模板，由粗到精完成最终的全景图像匹配；3)以配准到模板的高分辨率图像序列为生长点，通过区域生长完成生长点四邻域高分辨率图像序列的拼接融合，替换掉相应的低分辨率图像；再将四邻域高分辨率图像作为新的区域生长点继续生长，直到完成所有图像序列到模板的配准。本发明解决现有图像拼接技术中存在的图像匹配效率低，无法实时拼接航拍序列图像的技术问题。

Description

一种基于控制点的多分辨率图像拼接方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于控制点的多分辨率图像拼接方法。

背景技术

单幅图像由于视角范围受限不能满足现实要求，这时需要将相互之间有重叠区域的图像序列进行空间配准，形成一幅宽视角大范围的全景图像。图像拼接主要根据两幅图像之间重叠区域的相似性来实现，该技术已广泛应用于数字地图拼合、城市规划、地理信息系统等领域。而航空拍摄的地面图像序列拼接成地面全景图像的应用范围也越来越广泛。

图像配准是图像拼接的关键技术，目前常用的图像配准方法主要分为基于灰度信息的、基于变换域的和基于特征的图像配准方法。而基于特征的图像配准方法由于速度快，对灰度变化、图像形变等都有一定的鲁棒性，从而成为目前图像配准技术中最为常用的方法。而SIFT(Scale invariant feature transform)描述子是应用最广泛的特征区域描述子。在航拍图像序列中，其场景内容极为复杂，且无人机的飞行高度、姿态及方向不可避免地变化可能造成拍摄图像的轻微旋转与几何畸变，同时还会存在一定程度的光照和色彩等差异。图像中提取到的特征点也非常多，严重影响了计算效率，同时也会影响特征匹配，无法实现航拍序列图像的实时拼接，同时传统的图像序列顺序匹配会造成整体误差的累计。

发明内容

针对上述不足，本发明提出了一种利用地面控制点进行多分辨率图像匹配的方法，旨在解决现有图像拼接技术中存在的图像匹配效率低，无法实时拼接航拍序列图像的技术问题。同时借鉴区域生长的思想避免了整体误差累计。

为了实现上述技术任务，本发明采用如下技术方案予以实现：

一种基于控制点的多分辨率图像拼接方法，包括以下步骤：

1)无人机航拍序列图像的获取；将航拍序列图像分为高分辨率图像集合与低分辨率图像集合；利用相邻两帧低分辨率图像的重叠区域中的两组地面控制点对，得到图像的旋转平移变换关系，最后完成低分辨率图像序列的拼接融合；

2)将低分辨率图像序列的拼接结果作为高精度匹配的模板，由粗到精完成最终的全景图像匹配；将匹配模板根据分辨率进行插值放大，然后在高分辨率的图像序列中依次选取与低分辨率图像序列相对应的同时刻拍摄的图像，依据其低分辨率图像之间的旋转平移变换关系，保证高低分辨率两幅图像的中心点对齐，将高分辨率图像配准到低分辨率图像模板上；

3)以配准到模板的高分辨率图像序列为生长点，通过区域生长完成生长点四邻域高分辨率图像序列的拼接融合，替换掉相应的低分辨率图像；再将四邻域高分辨率图像作为新的区域生长点继续生长，直到完成所有图像序列到模板的配准。

作为本发明的进一步改进，所述无人机航拍序列图像的获取步骤还包括，预先布设等间距的地面控制点，通过调整航拍无人机的飞行高度、飞行方向以及相机的拍摄帧频和焦距来控制图像中控制点的分布、图像分辨率以及图像序列的重叠比例；相邻两帧低分辨率图像的重叠区域至少存在两组控制点对。

作为本发明的进一步改进，所述高分辨率图像的特征为小视场、拍摄范围受到限制；所述低分辨率的特征为可以获取大视场的图像；其中，高分辨率图像的分辨率为低分辨率图像分辨率的10倍。

作为本发明的进一步改进，步骤1)中，利用控制点对得到两帧低分辨率图像的变换关系，并进行拼接融合的步骤，具体如下：

1.1)对低分辨率图像序列进行拼接，分辨率为R，在重叠区域对两组控制点对进行定位；

1.2)计算两帧图像之间的旋转角度，

其中(x_A,y_A)、(x_B,y_B)、(x_A',y_A')、(x_B',y_B')分别为两帧图像的两组控制点对A、B、A'、B'的坐标；

1.3)计算图像变换关系，待拼接的两帧相邻图像I₁与图像I₂的宽和高分别为W和H，图像I₁中控制点A在其坐标系中坐标为(x_A,y_A)，旋转变换后的图像I₂中控制点A'在其坐标系中坐标为(x_A',y_A')；图像旋转角度α后，像点在以A'为坐标原点的坐标系中位置可由下式得到：

根据此式可以计算得到图像四个顶点在该坐标系中的位置，分别为(x₁',y₁')、(x₂',y₂')、(x₃',y₃')、(x₄',y₄')，旋转变换后的图像I₂中控制点A'在新坐标系中坐标为(-x₄',-y₃')；两帧图像拼接后该控制点对A和A'的坐标位置为(max(x_A,x_A'),max(y_A,y_A'))；

1.4)图像拼接运算，拼接融合后的图像像素I(x,y)可以表示为：

式中，d₁、d₂为渐变因子，与重叠区域宽度有关，d₂+d₂＝1，0≤d₂,d₂≤1。

作为本发明的进一步改进，步骤2)中，将匹配模板根据分辨率进行插值放大步骤，具体为：首先将匹配模板根据分辨率进行插值放大，假设低分辨率图像序列分辨率为R，高分辨率图像序列分辨率为10R，则将匹配模板放大十倍用于高分辨率图像配准。

作为本发明的进一步改进，步骤3)中，高分辨率图像配准的具体步骤为：首先，选择已配准到低分辨率图像模板的高分辨率图像作为生长点；其次，确定相似性准则，即重叠区域相匹配的特征点对；最后，将新配准的图像作为新的生长点；直至所有高分辨率图像完成到模板的配准。

作为本发明的进一步改进，步骤3)中，邻域生长区域图像之间的拼接步骤为：首先利用飞行控制参数估算图像之间重叠区域的大小；其次利用经典SIFT算子提取生长点图像与待拼接图像重叠区域的特征点，并进行特征点匹配，先采用BBF进行粗匹配，再采用一种参数估计方法，RANSAC算法，对已匹配好的特征点对进行提纯，最终得到正确的匹配点集合和图像变换参数；最后根据图像变换矩阵完成图像拼接。

作为本发明的进一步改进，邻域生长区域图像之间的拼接步骤，具体分为以下几个步骤：

3.1)将二维高斯差分函数G(x,y,σ)与生长点图像I(x,y)进行卷积得到尺度空间D(x,y,σ)：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))×I(x,y)＝L(x,y,kσ)-L(x,y,σ)

其中，σ为高斯正态分布的方差，即尺度空间因子；

3.2)差分图像中的像素点要与其周围8个像素点和与它所在尺度空间上下相邻尺度空间上的9×2个像素点共26个像素点进行比，找到全部的局部极值点；

3.3)定位角点，将D(x,y,σ)在点(x₀,y₀,σ)处进行泰勒展开：

对上式求导并令其为0得到图像中一个确切位置带入上式得到将对比度低的点去掉；

3.4)特征点方向的确定，特征点模值和方向计算公式如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

在高斯空间以特征点为中心的邻域窗口中采样，利用直方图统计邻域像素梯度方向，直方图峰值即为该特征点的主方向；

3.5)生成SIFT特征向量，以特征点为中心，选取8×8邻域，每一个小格代表一个像素，箭头表示其梯度方向，长度表示模值；圆圈范围内为高斯加权范围；将8×8邻域分割为4×4大小的4个子邻域，对每个子邻域进行梯度直方图统计，统计8个方向，每45度为1个方向，每个像素点梯度模值和方向，得到累加值，形成16个种子点，产生4×4×8＝128维的SIFT特征向量；最后对特征向量进行归一化处理，若某一维梯度值大于0.2则将其置为0.2再次进行归一化处理，归一化处理后的特征向量D为：

D＝(d₁,d₂,...,d₁₂₈)

3.6)根据特征向量对两帧图像的特征点进行匹配，将特征向量之间的欧式距离作为特征点匹配的相似度准则，假设Des_p和Des_q为特征点p和q的特征向量，则两点欧式距离为：

采用BBF搜索算法寻找每个特征点的最近邻和次近邻点，通过设置阈值对特征点进行筛选，

阈值范围取0.4～0.6，T小于阈值则匹配有效，否则剔除；

最后通过RANSAC算法对上述匹配特征点进行提纯；

3.7)利用8参数投影变换矩阵完成图像映射，根据正确的匹配点求得矩阵参数，对待拼接的两帧图像进行拼接融合。

作为本发明的进一步改进，所述飞行控制参数为无人机的飞行速度、飞行姿态角和航拍图像帧频率。

作为本发明的进一步改进，每个生长点的区域生长利用并行处理算法计算。

与现有技术相比，本发明具有以下有益的技术效果：

本发明将航拍图像序列按不同分辨率排列，并分层由粗到精完成图像匹配。相比于传统的匹配算法，本发明先在低分辨率图像中利用地面控制点完成图像匹配，其拼接结果作为高分辨率图像配准的模板，再将相对应的高分辨率图像匹配到模板上，并将其作为新的区域生长点，这样分区域匹配避免了整体误差的累计，并且很大程度上提高了计算速度，实现了航拍图像序列的实时拼接，提升了拼接质量。解决现有图像拼接技术中存在的图像匹配效率低，无法实时拼接航拍序列图像的技术问题。

进一步，将匹配模板进行插值放大，选取与低分辨率图像序列相对应的同时刻拍摄的高分辨率图像序列，依据其低分辨率图像之间的变换关系，保证高低分辨率两幅图像的中心点对齐，将高分辨率图像配准到低分辨率图像模板上。

进一步，借鉴区域生长的基本思想，完成高分辨率图像到模板的配准。以配准到模板的高分辨率图像序列为区域生长点，通过区域生长完成生长点四邻域高分辨率图像序列的拼接融合，替换掉相应的低分辨率图像。再将四邻域高分辨率图像作为新的区域生长点继续生长，直到完成所有图像序列到模板的配准。

进一步，每个生长点的区域生长可独立进行，因此可以利用并行处理算法提高计算效率。

附图说明

图1是多分辨率图像拼接流程示意图；

图2为两帧低分辨率图像重叠区域中的地面控制点示意图；

图3给出了待拼接的两幅低分辨率图像的变换关系；图3a为前一帧图像，A为重叠区域控制点；图3b为相邻帧图像经过旋转平移变换后的坐标图，A'为与前一帧图像中控制点A相对应的控制点；图3c为两帧图像完成图像变换后的坐标位置；

图4是高分辨率图像序列配准到低分辨率图像模板的示意图；

图5是高分辨率图像区域生长示意图；

图6是SIFT尺度空间局部极值检测示意图；

图7为SIFT特征向量构造示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明采取的技术方案如下，所述基于控制点的多分辨率图像拼接方法包括以下步骤：

(1)将航拍序列图像分为高分辨率图像集合与低分辨率图像集合，高分辨率图像的特征为小视场、拍摄范围受到限制，低分辨率的特征为可以获取大视场的图像，高分辨率图像的分辨率为低分辨率图像分辨率的10倍。首先利用相邻两帧低分辨率图像的重叠区域中的两组地面控制点对，得到图像的旋转平移变换关系，最后完成低分辨率图像序列的拼接融合；

(2)将低分辨率图像序列的拼接结果作为高精度匹配的模板，由粗到精完成最终的全景图像匹配。首先将匹配模板根据分辨率进行插值放大，然后在高分辨率的图像序列中依次选取与低分辨率图像序列相对应的同时刻拍摄的图像，依据其低分辨率图像之间的旋转平移变换关系，保证高低分辨率两幅图像的中心点对齐，将高分辨率图像配准到低分辨率图像模板上。

(3)以配准到模板的高分辨率图像序列为生长点，通过区域生长完成生长点四邻域高分辨率图像序列的拼接融合，替换掉相应的低分辨率图像。再将四邻域高分辨率图像作为新的区域生长点继续生长，直到完成所有图像序列到模板的配准。该过程可通过并行处理提高效率。

通过借鉴区域生长的基本思想，本发明中高分辨率图像配准的具体步骤描述如下：首先，选择已配准到低分辨率图像模板的高分辨率图像作为生长点；其次，确定相似性准则，即重叠区域相匹配的特征点对；最后，将新配准的图像作为新的生长点。直至所有高分辨率图像完成到模板的配准。

邻域生长区域图像之间的拼接步骤分为：首先利用无人机的飞行速度、飞行姿态角和航拍图像帧频率等飞行控制参数估算图像之间重叠区域的大小。其次利用经典SIFT算子提取生长点图像与待拼接图像重叠区域的特征点，并进行特征点匹配，先采用BBF进行粗匹配，再采用一种参数估计方法，RANSAC算法，对已匹配好的特征点对进行提纯，最终得到正确的匹配点集合和图像变换参数。最后根据图像变换矩阵完成图像拼接。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1示出了本发明实施例提供的基于控制点的多分辨率图像拼接方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。

实施例提供的基于控制点的多分辨率图像拼接方法包括下述步骤：

步骤1，将航拍图像序列按高分辨率与低分辨率排列，利用地面控制点完成低分辨率图像匹配，形成高分辨率图像匹配模板。

图像获取不作具体说明，拍摄时无人机飞行高度不变，相机焦距不变，沿着预定航线进行拍摄。根据应用的实际情况，预先布设等间距的地面控制点，通过调整航拍无人机的飞行高度、飞行方向以及相机的拍摄帧频和焦距来控制图像中控制点的分布、图像分辨率以及图像序列的重叠比例。相邻两帧低分辨率图像的重叠区域至少存在两组控制点对，如图2所示，利用控制点对得到两帧低分辨率图像的变换关系，并进行拼接融合。具体步骤如下：

(1)对低分辨率图像序列进行拼接，作为一种实例列举，分辨率为R，在重叠区域对两组控制点对进行定位。示意图如图3所示。

(2)计算两帧图像之间的旋转角度。

其中(x_A,y_A)、(x_B,y_B)、(x_A',y_A')、(x_B',y_B')分别为两帧图像的两组控制点对A、B、A'、B'的坐标。

(3)计算图像变换关系。待拼接的两帧相邻图像I₁与图像I₂的宽和高分别为W和H，图像I₁中控制点A在其坐标系中坐标为(x_A,y_A)，旋转变换后的图像I₂中控制点A'在其坐标系中坐标为(x_A',y_A')，如图3所示。图像旋转角度α后，像点在以A'为坐标原点的坐标系中位置可由下式得到：

根据此式可以计算得到图像四个顶点在该坐标系中的位置，分别为(x₁',y₁')、(x₂',y₂')、(x₃',y₃')、(x₄',y₄')，旋转变换后的图像I₂(见图)中控制点A'在新坐标系中坐标为(-x₄',-y₃')。如图3所示，两帧图像拼接后该控制点对A和A'的坐标位置为(max(x_A,x_A'),max(y_A,y_A'))。

(4)图像拼接运算。拼接融合后的图像像素I(x,y)可以表示为：

式中，d₁、d₂为渐变因子，与重叠区域宽度有关，d₂+d₂＝1，0≤d₂,d₂≤1。

步骤2，将低分辨率图像序列的拼接结果作为高精度匹配的模板，由粗到精完成最终的全景图像匹配。首先将匹配模板根据分辨率进行插值放大，假设低分辨率图像序列分辨率为R，高分辨率图像序列分辨率为10R，则将匹配模板放大十倍用于高分辨率图像配准；然后在高分辨率的图像序列中依次选取与低分辨率图像序列相对应的同时刻拍摄的图像，依据其低分辨率图像之间的变换关系，保证高低分辨率两幅图像的中心点对齐，将高分辨率图像配准到低分辨率图像模板上。

如图4所示，I₁、I₂为两幅通过插值放大X倍的低分辨率图像，虚线框为放大后的拼接模板，I_a、I_b分别为与I₁、I₂中心点对齐的两幅高分辨率图像，依据低分辨率图像变换关系即可将高分辨率图像配准到模板上。

步骤3，以配准到模板的高分辨率图像序列为生长点，通过区域生长完成生长点四邻域高分辨率图像序列的拼接融合，替换掉相应的低分辨率图像。再将四邻域高分辨率图像作为新的区域生长点继续生长，直到完成所有图像序列到模板的配准。该过程可通过并行处理提高效率。

区域生长的基本思想：从一组生长点开始，生长点为某个小区域，生长条件为所选生长点的性质与相邻区域相似(相似判据可以为纹理、颜色、灰度值等等多种图像信息)，选取满足条件的相邻区域与该生长点进行合并，从而形成新的生长点，重复这一过程直至不能生长。

本发明借鉴了区域生长的基本思想，高分辨率图像拼接的具体步骤描述如下：首先，选择已配准到低分辨率图像模板的高分辨率图像作为生长点；其次，确定相似性准则，即重叠区域相匹配的特征点对；最后，将新配准的图像作为新的生长点。直至所有高分辨率图像完成到模板的配准。

如图5所示，I_a、I_b、I_c低分辨率图像的拼接模板，图中三块阴影区域表示分别与I_a、I_b、I_c配准的高分辨率图像，将其作为初始区域生长点，每一个区域生长点的四邻域图像为待拼接图像。依次对四个邻域区域进行图像拼接，完成第一次区域生长。每个生长点的区域生长可独立进行，因此可以利用并行处理算法提高计算效率。

邻域生长区域图像之间的拼接步骤分为：首先利用无人机的飞行速度、飞行姿态角和航拍图像帧频率等飞行控制参数估算图像之间重叠区域的大小。其次利用经典SIFT算子提取生长点图像与待拼接图像重叠区域的特征点，并进行特征点匹配，先采用BBF进行粗匹配，再采用一种参数估计方法，RANSAC算法，对已匹配好的特征点对进行提纯，最终得到正确的匹配点集合和图像变换参数。最后根据图像变换矩阵完成图像拼接。具体分为以下几个步骤：

(1)将二维高斯差分函数G(x,y,σ)与生长点图像I(x,y)进行卷积得到尺度空间D(x,y,σ)：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))×I(x,y)＝L(x,y,kσ)-L(x,y,σ)

其中，σ为高斯正态分布的方差，即尺度空间因子。

(2)差分图像中的像素点要与其周围8个像素点和与它所在尺度空间上下相邻尺度空间上的9×2个像素点共26个像素点进行比，找到全部的局部极值点。

(3)定位角点。将D(x,y,σ)在点(x₀,y₀,σ)处进行泰勒展开：

对上式求导并令其为0得到图像中一个确切位置带入上式得到将对比度低的点去掉。

(4)特征点方向的确定。特征点模值和方向计算公式如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

在高斯空间以特征点为中心的邻域窗口中采样，利用直方图统计邻域像素梯度方向，直方图峰值即为该特征点的主方向。

(5)生成SIFT特征向量。如图7所示，以特征点为中心，选取8×8邻域。每一个小格代表一个像素，箭头表示其梯度方向，长度表示模值。圆圈范围内为高斯加权范围，距离特征点越近的像素梯度方向信息贡献作用越大。将8×8邻域分割为4×4大小的4个子邻域，对每个子邻域进行梯度直方图统计，统计8个方向(每45度为1个方向)每个像素点梯度模值和方向，得到累加值，如图所示形成16个种子点，产生4×4×8＝128维的SIFT特征向量。最后对特征向量进行归一化处理，若某一维梯度值大于0.2则将其置为0.2再次进行归一化处理。归一化处理后的特征向量D为：

D＝(d₁,d₂,...,d₁₂₈)

(6)根据特征向量对两帧图像的特征点进行匹配。将特征向量之间的欧式距离作为特征点匹配的相似度准则。假设Des_p和Des_q为特征点p和q的特征向量，则两点欧式距离为：

采用BBF(Best-Bin-First)搜索算法寻找每个特征点的最近邻和次近邻点，通过设置阈值对特征点进行筛选。

阈值范围一般取0.4～0.6之间，T小于阈值则匹配有效，否则剔除。

最后通过RANSAC算法对上述匹配特征点进行提纯。

(7)利用8参数投影变换矩阵完成图像映射，根据正确的匹配点求得矩阵参数，对待拼接的两帧图像进行拼接融合。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (7)

1.一种基于控制点的多分辨率图像拼接方法，其特征在于，包括以下步骤：

1)无人机航拍序列图像的获取；将航拍序列图像分为高分辨率图像集合与低分辨率图像集合；利用相邻两帧低分辨率图像的重叠区域中的两组地面控制点对，得到图像的旋转平移变换关系，最后完成低分辨率图像序列的拼接融合；

2)将低分辨率图像序列的拼接结果作为高精度匹配的模板，由粗到精完成最终的全景图像匹配；将匹配模板根据分辨率进行插值放大，然后在高分辨率的图像序列中依次选取与低分辨率图像序列相对应的同时刻拍摄的图像，依据其低分辨率图像之间的旋转平移变换关系，保证高低分辨率两幅图像的中心点对齐，将高分辨率图像配准到低分辨率图像模板上；

将匹配模板根据分辨率进行插值放大步骤，具体为：首先将匹配模板根据分辨率进行插值放大，假设低分辨率图像序列分辨率为R，高分辨率图像序列分辨率为10R，则将匹配模板放大十倍用于高分辨率图像配准；

3)以配准到模板的高分辨率图像序列为生长点，通过区域生长完成生长点四邻域高分辨率图像序列的拼接融合，替换掉相应的低分辨率图像；再将四邻域高分辨率图像作为新的区域生长点继续生长，直到完成所有图像序列到模板的配准；

高分辨率图像配准的具体步骤为：首先，选择已配准到低分辨率图像模板的高分辨率图像作为生长点；其次，确定相似性准则，即重叠区域相匹配的特征点对；最后，将新配准的图像作为新的生长点；直至所有高分辨率图像完成到模板的配准；

邻域生长区域图像之间的拼接步骤为：首先利用飞行控制参数估算图像之间重叠区域的大小；其次利用经典SIFT算子提取生长点图像与待拼接图像重叠区域的特征点，并进行特征点匹配，先采用BBF进行粗匹配，再采用一种参数估计方法RANSAC算法，对已匹配好的特征点对进行提纯，最终得到正确的匹配点集合和图像变换参数；最后根据图像变换矩阵完成图像拼接。

2.根据权利要求1所述的基于控制点的多分辨率图像拼接方法，其特征在于，所述无人机航拍序列图像的获取步骤还包括，预先布设等间距的地面控制点，通过调整航拍无人机的飞行高度、飞行方向以及相机的拍摄帧频和焦距来控制图像中控制点的分布、图像分辨率以及图像序列的重叠比例；相邻两帧低分辨率图像的重叠区域至少存在两组控制点对。

3.根据权利要求1所述的基于控制点的多分辨率图像拼接方法，其特征在于，所述高分辨率图像的特征为小视场、拍摄范围受到限制；所述低分辨率的特征为可以获取大视场的图像；其中，高分辨率图像的分辨率为低分辨率图像分辨率的10倍。

4.根据权利要求1所述的基于控制点的多分辨率图像拼接方法，其特征在于，步骤1)中，利用控制点对得到两帧低分辨率图像的变换关系，并进行拼接融合的步骤，具体如下：

1.1)对低分辨率图像序列进行拼接，分辨率为R，在重叠区域对两组控制点对进行定位；

1.2)计算两帧图像之间的旋转角度，

其中(x_A,y_A)、(x_B,y_B)、(x_A',y_A')、(x_B',y_B')分别为两帧图像的两组控制点对A、B、A'、B'的坐标；

1.3)计算图像变换关系，待拼接的两帧相邻图像I₁与图像I₂的宽和高分别为W和H，图像I₁中控制点A在其坐标系中坐标为(x_A,y_A)，旋转变换后的图像I₂中控制点A'在其坐标系中坐标为(x_A',y_A')；图像旋转角度α后，像素点在以A'为坐标原点的坐标系中位置可由下式得到：

根据此式可以计算得到图像四个顶点在该坐标系中的位置，分别为(x₁',y₁')、(x₂',y₂')、(x₃',y₃')、(x₄',y₄')，旋转变换后的图像I₂中控制点A'在新坐标系中坐标为(-x₄',-y₃')；两帧图像拼接后该控制点对A和A'的坐标位置为(max(x_A,x_A'),max(y_A,y_A'))；

1.4)图像拼接运算，拼接融合后的图像像素I(x,y)可以表示为：

式中，d₁、d₂为渐变因子，与重叠区域宽度有关，d₂+d₂＝1，0≤d₂,d₂≤1。

5.根据权利要求1所述的基于控制点的多分辨率图像拼接方法，其特征在于，邻域生长区域图像之间的拼接步骤，具体分为以下几个步骤：

3.1)将二维高斯差分函数G(x,y,σ)与生长点图像I(x,y)进行卷积得到尺度空间D(x,y,σ)：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))×I(x,y)＝L(x,y,kσ)-L(x,y,σ)

其中，σ为高斯正态分布的方差，即尺度空间因子；

3.2)差分图像中的像素点要与其周围8个像素点和与它所在尺度空间上下相邻尺度空间上的9×2个像素点共26个像素点进行比对，找到全部的局部极值点；

3.3)定位角点，将D(x,y,σ)在点(x₀,y₀,σ)处进行泰勒展开：

对上式求导并令其为0得到图像中一个确切位置带入上式得到 将对比度低的点去掉；

3.4)特征点方向的确定，特征点模值和方向计算公式如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

在高斯空间以特征点为中心的邻域窗口中采样，利用直方图统计邻域像素梯度方向，直方图峰值即为该特征点的主方向；

3.5)生成SIFT特征向量，以特征点为中心，选取8×8邻域，每一个小格代表一个像素，箭头表示其梯度方向，长度表示模值；圆圈范围内为高斯加权范围；将8×8邻域分割为4×4大小的4个子邻域，对每个子邻域进行梯度直方图统计，统计8个方向，每45度为1个方向，每个像素点梯度模值和方向，得到累加值，形成16个种子点，产生4×4×8＝128维的SIFT特征向量；最后对特征向量进行归一化处理，若某一维梯度值大于0.2则将其置为0.2再次进行归一化处理，归一化处理后的特征向量为：

D＝(d₁,d₂,...,d₁₂₈)

3.6)根据特征向量对两帧图像的特征点进行匹配，将特征向量之间的欧式距离作为特征点匹配的相似度准则，假设Des_p和Des_q为特征点p和q的特征向量，则两点欧式距离为：

采用BBF搜索算法寻找每个特征点的最近邻和次近邻点，通过设置阈值对特征点进行筛选，

阈值范围取0.4～0.6，T小于阈值则匹配有效，否则剔除；

最后通过RANSAC算法对上述匹配特征点进行提纯；

3.7)利用参数投影变换矩阵完成图像映射，根据正确的匹配点求得矩阵参数，对待拼接的两帧图像进行拼接融合。

6.根据权利要求1所述的基于控制点的多分辨率图像拼接方法，其特征在于，所述飞行控制参数为无人机的飞行速度、飞行姿态角和航拍图像帧频率。

7.根据权利要求1所述的基于控制点的多分辨率图像拼接方法，其特征在于，每个生长点的区域生长利用并行处理算法计算。