CN111899179A - 基于Harris-SURF的无人机影像拼接方法及装置 - Google Patents

Abstract

本发明公开了一种基于Harris‑SURF的无人机影像拼接方法及装置，该方法包括：获取无人机的影像序列；加载相邻影像，第一张影像作为参考帧，第二张影像作为当前帧；确定相邻影像的重叠区域；提取Harris特征点，获得特征点坐标集合；确定集合中特征点的主方向，构建SURF特征描述子；进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵；对该单应性矩阵进行优化计算；将当前帧变换到参考帧中，对变换帧和参考帧的重叠区域进行融合拼接，得到中间影像；将中间影像作为新的参考帧，将该参考帧与相邻的下一帧继续进行拼接，直至影像序列中的所有影像拼接完成。本发明能够保证确保影像匹配和稳定性和准确性，提高无人机影像序列的拼接能力。

Description

基于Harris-SURF的无人机影像拼接方法及装置

技术领域

本发明涉及一种基于Harris-SURF的无人机影像拼接方法、装置、计算机设备及存储介质，属于图像拼接领域。

背景技术

目前的无人机拼接主要拼接方法包括特征匹配和地理信息，由于SIFT算法的出色配准性能，被广泛使用在低空无人机影像配准中，但SIFT特征检测子维度高、计算量大并不适合在实时处理场合。

发明内容

有鉴于此，本发明提供了一种基于Harris-SURF的无人机影像拼接方法、装置、计算机设备及存储介质，其可有效提高配准效率，通过Harris和SURF描述子组合的配准技术，可实现拼接精度和速度的平衡，可有效解决拼接速度问题，能够保证确保影像匹配和稳定性和准确性，提高无人机影像序列的拼接能力。

本发明的第一个目的在于提供一种基于Harris-SURF的无人机影像拼接方法。

本发明的第二个目的在于提供一种基于Harris-SURF的无人机影像拼接装置。

本发明的第三个目的在于提供一种计算机设备。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种基于Harris-SURF的无人机影像拼接方法，所述方法包括：

获取无人机的影像序列；

加载影像序列中的相邻影像；其中，所述相邻影像为两张，第一张影像作为参考帧，第二张影像作为当前帧；

确定相邻影像的重叠区域；

根据相邻影像的重叠区域，提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合；

确定特征点坐标集合中特征点的主方向，构建SURF特征描述子；

对特征点坐标集合进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵；

利用莱文贝格-马夸特算法对当前帧相对于参考帧的单应性矩阵进行优化计算；

利用优化计算的单应性转换矩阵，将当前帧变换到参考帧中，利用金字塔融合算法对变换帧和参考帧的重叠区域进行融合拼接，得到中间影像；

将中间影像作为新的参考帧，将该参考帧与相邻的下一帧作为相邻影像，返回重新确定相邻影像的重叠区域，并执行后续操作，直至影像序列中的所有影像拼接完成。

进一步的，所述提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合，具体包括：

计算参考帧和当前帧在X和Y方向的梯度I_x和I_y；其中，I_x为图像在x方向对其求导，I_y为图像在y方向对其求导；

计算三幅梯度图像

和I_xy，并对三幅梯度图像分别进行高斯卷积；

计算高斯卷积后的梯度图像中每个像素点的响应值，对小于阈值的像素点置零；

在像素点邻域内进行非最大值抑制，将局部极大值点作为角点，获得参考帧和当前帧分别对应的特征点坐标集合。

进一步的，所述确定特征点坐标集合中特征点的主方向，构建SURF特征描述子，具体包括：

在关键特征点半径为6σ圆形领域内，计算特征点坐标集合中特征点的水平和垂直方向的Haar小波响应；其中，σ为尺度因子；

统计某个扇形区域内Haar小波响应的总和，扇形区域以一定角度绕着圆形区域旋转，选取最大值扇形方向作为特征点的主方向；

将特征点坐标为中心坐标轴旋转到主方向，在特征点周围选取a*a子区域，在每个子区域内统计Haar小波响应，在每个子区域内选取水平值、垂直值、水平绝对值和垂直绝对值这四个响应值作为子区域的特征向量。

进一步的，所述对特征点坐标集合进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵，具体包括：

计算特征点坐标集合的集合点L_i与L_j中各个特征的光流位移值d＝(u,v)集合，构建光流位移矢量差函数，如下式：

ε(d)＝∫∫_W[I_i(x+u,y+v)-I_r(x,y)]²ω(x,y)d(x,y)

其中，L_i为特征点坐标集合中h_i的集合点，h_i为参考帧的特征点坐标，i＝1,...,m；L_j为特征点坐标集合中h_i+1的集合点，h_i+1为当前帧的特征点坐标，j＝1,...,m；ω(x,y)为高斯窗口；

记录集合点L_i中每个特征在集合点L_j中最小距离的三个匹配对；

采用K最近邻算法对三个匹配对进行粗匹配，保留距离最近的一个匹配对；

利用随机抽样一致算法进行提纯，生成当前帧的影像转换矩阵。

进一步的，所述利用莱文贝格-马夸特算法对当前帧相对于参考帧的单应性矩阵进行优化计算，具体为：

根据当前帧相对于参考帧的单应性矩阵，建立特征匹配点误差函数，以获取经过优化计算后的单应性矩阵；其中，所述特征匹配点误差函数，如下式：

其中，X＝h_irx，h_ir为当前帧I_i相对于参考帧I_r的单应性矩阵，x为当前帧I_i的特征点，X为参考帧I_r中与当前帧I_i对应的匹配特征点，H_ir为经过优化计算后的单应性矩阵，

为当前帧I_i变换后对应特征点的坐标，(X_i,Y_i)为参考帧I_r中的特征点坐标。

进一步的，所述利用金字塔融合算法对变换帧和参考帧的重叠区域进行融合拼接，得到中间影像，具体包括：

对变换帧和参考帧的重叠区域分别构建高斯金字塔层；

在变换帧和参考帧各自的高斯金字塔层内做差运算，保存待融合图像对的拉普拉斯金字塔；

对拉普拉斯金字塔的各分解层分别进行融合处理，得到融合后的拉普拉斯金字塔；

将融合后的拉普拉斯金字塔从顶层往底层进行图像重构，得到最终的融合图像，将该融合图像作为中间影像。

进一步的，所述确定相邻影像的重叠区域，具体为：

利用相位相关法，计算判断相邻影像的相对位移，得到相邻影像的重叠区域。

本发明的第二个目的可以通过采取如下技术方案达到：

一种基于Harris-SURF的无人机影像拼接装置，其特征在于，所述装置包括：

获取模块，用于获取无人机的影像序列；

加载模块，用于加载影像序列中的相邻影像；其中，所述相邻影像为两张，第一张影像作为参考帧，第二张影像作为当前帧；

确定模块，用于确定相邻影像的重叠区域；

提取模块，用于根据相邻影像的重叠区域，提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合；

构建模块，用于确定特征点坐标集合中特征点的主方向，构建SURF特征描述子；

特征光流优化匹配模块，用于对特征点坐标集合进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵；

优化计算模块，用于利用莱文贝格-马夸特算法对当前帧相对于参考帧的单应性矩阵进行优化计算；

第一拼接模块，用于利用优化计算的单应性转换矩阵，将当前帧变换到参考帧中，利用金字塔融合算法对变换帧和参考帧的重叠区域进行融合拼接，得到中间影像；

第二拼接模块，用于将中间影像作为新的参考帧，将该参考帧与相邻的下一帧作为相邻影像，返回重新确定相邻影像的重叠区域，并执行后续操作，直至影像序列中的所有影像拼接完成。

本发明的第三个目的可以通过采取如下技术方案达到：

一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的无人机影像拼接方法。

本发明的第四个目的可以通过采取如下技术方案达到：

一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的无人机影像拼接方法。

本发明相对于现有技术具有如下的有益效果：

本发明通过确定相邻影像(参考帧和当前帧)的重叠区域，提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合，然后确定特征点坐标集合中特征点的主方向，构建SURF特征描述子，基于Harris-SURF匹配算法，能达到快速而精确的配准效果，可有效解决拼接速度问题，并且通过特征光流追踪精简匹配点对，从而提高影像配准精度，利用莱文贝格-马夸特算法将多幅影像拼接在同一个平面内，提升配准精度，并且丰富了低空无人机影像拼接算法，提高影像匹配阶段的配准精度，能够确保低空无人机影像的拼接算法性能的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例1的基于Harris-SURF的无人机影像拼接方法的流程图。

图2为本发明实施例1的全局误差优化拼接图。

图3为本发明实施例1的获得参考帧和当前帧分别对应的特征点坐标集合的流程图。

图4为本发明实施例1的构建SURF特征描述子的流程图。

图5为本发明实施例1的对特征点坐标集合进行特征光流优化匹配的流程图。

图6为本发明实施例1的利用金字塔融合算法对变换帧和参考帧的重叠区域进行融合拼接的流程图。

图7为本发明实施例2的基于Harris-SURF的无人机影像拼接装置的结构框图。

图8为本发明实施例2的提取模块的结构框图。

图9为本发明实施例2的构建模块的结构框图。

图10为本发明实施例2的特征光流优化匹配模块的结构框图。

图11为本发明实施例2的第一拼接模块的结构框图。

图12为本发明实施例3的计算机设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图1和图2所示，本实施例提供了一种基于Harris-SURF的无人机影像拼接方法，该方法包括以下步骤：

S101、获取无人机的影像序列。

本步骤的影像序列中的影像为经过预处理后的影像，首先通过无人机上的摄像机采集影像，得到影像序列，然后获取无人机传感器畸变参数，对采集的影像序列进行校正处理。

S102、加载影像序列中的相邻影像。

本步骤将第一张影像作为参考帧(参考影像)，第二张影像作为当前帧(待配准影像)，将参考帧和当前帧这两张图像作为相邻影像。

S103、确定相邻影像的重叠区域。

具体地，利用OpenCV中的相位相关法，计算判断相邻影像的相对位移，得到相邻影像的重叠区域。

S104、根据相邻影像的重叠区域，提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合。

根据相邻影像的重叠区域，提取参考帧和当前帧的Harris特征点，即：对相邻影像的重叠区域进行角点检测。

进一步地，该步骤S104如图3所示，具体包括：

S1041、计算参考帧和当前帧在X和Y方向的梯度I_x和I_y；其中，I_x为图像在x方向对其求导，I_y为图像在y方向对其求导；

S1042、计算三幅梯度图像

和I_xy，并对三幅梯度图像分别进行高斯卷积。

S1043、计算高斯卷积后的梯度图像中每个像素点的响应值，对小于阈值的像素点置零。

S1044、在像素点邻域内进行非最大值抑制，将局部极大值点作为角点，获得参考帧和当前帧分别对应的特征点坐标集合(h_i,h_i+1)，其中h_i为参考帧的特征点坐标，h_i+1为当前帧的特征点坐标。

S105、确定特征点坐标集合中特征点的主方向，构建SURF特征描述子。

进一步地，该步骤S105如图4所示，具体包括：

S1051、在关键特征点半径为6σ圆形领域内，计算特征点坐标集合中特征点的水平和垂直方向的Haar小波响应；其中，σ为尺度因子。

S1052、统计某个扇形区域内Haar小波响应的总和，扇形区域以一定角度绕着圆形区域旋转，选取最大值扇形方向作为特征点的主方向；其中，扇形区域为60°的扇形区域。

S1053、将特征点坐标为中心坐标轴旋转到主方向，在特征点周围选取a*a子区域，在每个子区域内统计Haar小波响应，在每个子区域内选取水平值、垂直值、水平绝对值和垂直绝对值这四个响应值作为子区域的特征向量；其中，a＝4，可得子区域的特征向量的维度为4*4*4＝64，即SURF特征描述子为64维度的SURF特征描述子。

S106、对特征点坐标集合进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵。

进一步地，该步骤S106如图5所示，具体包括：

S1061、计算特征点坐标集合的集合点L_i与L_j中各个特征的光流位移值d＝(u,v)集合，构建光流位移矢量差函数。

本步骤中，光流位移矢量差函数如下式：

ε(d)＝∫∫_W[I_i(x+u,y+v)-I_r(x,y)]²ω(x,y)d(x,y)

其中，L_i为特征点坐标集合中h_i的集合点，h_i为参考帧的特征点坐标，i＝1,...,m；L_j为特征点坐标集合中h_i+1的集合点，h_i+1为当前帧的特征点坐标，j＝1,...,m；ω(x,y)为高斯窗口。

S1062、记录集合点L_i中每个特征在集合点L_j中最小距离的三个匹配对。

具体地，集合点L_i任意一个特征在集合点L_j中具有最小距离的三个匹配对，并记录下匹配对([L_i,L_k],[L_i,L_l],[L_i,L_m])。

S1063、采用K最近邻算法(K-NearestNeighbor，简称KNN)对三个匹配对进行粗匹配，保留距离最近的一个匹配对。

上述步骤S1061～S1063即为：追踪计算特征点坐标集合(h_i,h_i+1)，获得匹配对集合集合，剔除错误匹配对。

S1064、利用随机抽样一致算法(Random Sample Consensus，简称RANSAC)进行提纯，生成当前帧的影像转换矩阵。

S107、利用莱文贝格-马夸特算法(Levenberg-Marquardt，简称LM)对当前帧相对于参考帧的单应性矩阵进行优化计算。

具体地，根据当前帧相对于参考帧的单应性矩阵，建立特征匹配点误差函数，以获取经过优化计算后的单应性矩阵；其中，所述特征匹配点误差函数，如下式：

其中，X＝h_irx，h_ir为当前帧I_i相对于参考帧I_r的单应性矩阵，x为当前帧I_i的特征点，X为参考帧I_r中与当前帧I_i对应的匹配特征点，H_ir为经过优化计算后的单应性矩阵，

为当前帧I_i变换后对应特征点的坐标，(X_i,Y_i)为参考帧I_r中的特征点坐标。

S108、利用优化计算的单应性转换矩阵，将当前帧I_i变换到参考帧I_r中，利用金字塔融合算法对变换帧I_i`和参考帧I_r的重叠区域进行融合拼接，得到中间影像I_r,i。

进一步地，该步骤S108如图6所示，具体包括：

S1081、对变换帧I_i`和参考帧I_r的重叠区域分别构建高斯金字塔层。

S1082、在变换帧I_i`和参考帧I_r各自的高斯金字塔层内做差运算，保存待融合图像对的拉普拉斯金字塔；

S1083、对拉普拉斯金字塔的各分解层分别进行融合处理，得到融合后的拉普拉斯金字塔。

S1084、将融合后的拉普拉斯金字塔从顶层往底层进行图像重构，得到最终的融合图像，将该融合图像作为中间影像。

S109、将中间影像I_r,i作为新的参考帧，将该参考帧与相邻的下一帧I_r+1作为相邻影像，此时相邻的下一帧I_r+1即成为了当前帧，返回步骤S103，重新确定相邻影像的重叠区域，并执行步骤S104～S108，直至影像序列中的所有影像拼接完成。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。

应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

实施例2：

如图7所示，本实施例提供了一种基于Harris-SURF的无人机影像拼接装置，该装置包括获取模块701、加载模块702、确定模块703、提取模块704、构建模块705、特征光流优化匹配模块706、优化计算模块707、第一拼接模块708和第二拼接模块709，各个模块的具体功能如下：

所述获取模块701，用于获取无人机的影像序列。

所述加载模块702，用于加载影像序列中的相邻影像；其中，所述相邻影像为两张，第一张影像作为参考帧，第二张影像作为当前帧；

所述确定模块703，用于确定相邻影像的重叠区域。

所述提取模块704，用于根据相邻影像的重叠区域，提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合。

所述构建模块705，用于确定特征点坐标集合中特征点的主方向，构建SURF特征描述子。

所述特征光流优化匹配模块706，用于对特征点坐标集合进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵。

所述优化计算模块707，用于利用莱文贝格-马夸特算法对当前帧相对于参考帧的单应性矩阵进行优化计算。

所述第一拼接模块708，用于利用优化计算的单应性转换矩阵，将当前帧变换到参考帧中，利用金字塔融合算法对变换帧和参考帧的重叠区域进行融合拼接，得到中间影像。

所述第二拼接模块709，用于将中间影像作为新的参考帧，将该参考帧与相邻的下一帧作为相邻影像，返回重新确定相邻影像的重叠区域，并执行后续操作，直至影像序列中的所有影像拼接完成。

进一步地，所述提取模块703如图8所示，具体包括：

第一计算单元7031，用于计算参考帧和当前帧在X和Y方向的梯度I_x和I_y；其中，I_x为图像在x方向对其求导，I_y为图像在y方向对其求导。

第二计算单元7032，用于计算三幅梯度图像

和I_xy，并对三幅梯度图像分别进行高斯卷积。

第三计算单元7033，用于计算高斯卷积后的梯度图像中每个像素点的响应值，对小于阈值的像素点置零。

抑制单元7034，用于在像素点邻域内进行非最大值抑制，将局部极大值点作为角点，获得参考帧和当前帧分别对应的特征点坐标集合。

进一步地，所述构建模块704如图9所示，具体包括：

第四计算单元7041，用于在关键特征点半径为6σ圆形领域内，计算特征点坐标集合中特征点的水平和垂直方向的Haar小波响应；其中，σ为尺度因子。

统计单元7042，用于统计某个扇形区域内Haar小波响应的总和，扇形区域以一定角度绕着圆形区域旋转，选取最大值扇形方向作为特征点的主方向。

选取单元7043，用于将特征点坐标为中心坐标轴旋转到主方向，在特征点周围选取a*a子区域，在每个子区域内统计Haar小波响应，在每个子区域内选取水平值、垂直值、水平绝对值和垂直绝对值这四个响应值作为子区域的特征向量。

进一步地，所述特征光流优化匹配模块706如图10所示，具体包括：

第一构建单元7061，用于计算特征点坐标集合的集合点L_i与L_j中各个特征的光流位移值集合，构建光流位移矢量差函数。

记录单元7062，用于记录集合点L_i中每个特征在集合点L_j中最小距离的三个匹配对。

粗匹配单元7063，用于采用K最近邻算法对三个匹配对进行粗匹配，保留距离最近的一个匹配对。

提纯单元7064，用于利用随机抽样一致算法进行提纯，生成当前帧的影像转换矩阵。

进一步地，所述第一拼接模块708如图11所示，具体包括：

第二构建单元7081，用于对变换帧和参考帧的重叠区域分别构建高斯金字塔层。

运算单元7082，用于在变换帧和参考帧各自的高斯金字塔层内做差运算，保存待融合图像对的拉普拉斯金字塔。

融合处理单元7083，用于对拉普拉斯金字塔的各分解层分别进行融合处理，得到融合后的拉普拉斯金字塔。

图像重构单元7084，用于将融合后的拉普拉斯金字塔从顶层往底层进行图像重构，得到最终的融合图像，将该融合图像作为中间影像。

本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

可以理解，上述装置所使用的术语“第一”、“第二”等可用于描述各种模块，但这些模块不受这些术语限制。这些术语仅用于将第一个模块与另一个模块区分。举例来说，在不脱离本发明的范围的情况下，可以将第一拼接模块称为第二拼接模块，且类似地，可将第二拼接单元称为第一拼接模块，第一拼接模块和第二拼接模块两者都是拼接模块，但不是同一拼接模块。

实施例3：

本实施例提供了一种计算机设备，该计算机设备为计算机，如图12所示，其通过系统总线1201连接的处理器1202、存储器、输入装置1203、显示器1204和网络接口1205，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质1206和内存储器1207，该非易失性存储介质1206存储有操作装置、计算机程序和数据库，该内存储器1207为非易失性存储介质中的操作装置和计算机程序的运行提供环境，处理器1202执行存储器存储的计算机程序时，实现上述实施例1的无人机影像拼接方法，如下：

获取无人机的影像序列；

加载影像序列中的相邻影像，确定相邻影像的重叠区域；其中，相邻影像为两张，第一张影像作为参考帧，第二张影像作为当前帧；

根据相邻影像的重叠区域，提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合；

确定特征点坐标集合中特征点的主方向，构建SURF特征描述子；

对特征点坐标集合进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵；

利用莱文贝格-马夸特算法对当前帧相对于参考帧的单应性矩阵进行优化计算；

利用优化计算的单应性转换矩阵，将当前帧变换到参考帧中，利用金字塔融合算法对变换帧和参考帧的重叠区域进行融合拼接，得到中间影像；

将中间影像作为新的参考帧，将该参考帧与相邻的下一帧作为相邻影像，返回重新确定相邻影像的重叠区域，并执行后续操作，直至影像序列中的所有影像拼接完成。

进一步地，所述提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合，具体包括：

计算参考帧和当前帧在X和Y方向的梯度I_x和I_y；其中，I_x为图像在x方向对其求导，I_y为图像在y方向对其求导；

计算三幅梯度图像

和I_xy，并对三幅梯度图像分别进行高斯卷积；

计算高斯卷积后的梯度图像中每个像素点的响应值，对小于阈值的像素点置零；

在像素点邻域内进行非最大值抑制，将局部极大值点作为角点，获得参考帧和当前帧分别对应的特征点坐标集合。

进一步地，所述确定特征点坐标集合中特征点的主方向，构建SURF特征描述子，具体包括：

在关键特征点半径为6σ圆形领域内，计算特征点坐标集合中特征点的水平和垂直方向的Haar小波响应；其中，σ为尺度因子；

统计某个扇形区域内Haar小波响应的总和，扇形区域以一定角度绕着圆形区域旋转，选取最大值扇形方向作为特征点的主方向；

将特征点坐标为中心坐标轴旋转到主方向，在特征点周围选取a*a子区域，在每个子区域内统计Haar小波响应，在每个子区域内选取水平值、垂直值、水平绝对值和垂直绝对值这四个响应值作为子区域的特征向量。

进一步地，所述对特征点坐标集合进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵，具体包括：

计算特征点坐标集合的集合点L_i与L_j中各个特征的光流位移值集合，构建光流位移矢量差函数；

记录集合点L_i中每个特征在集合点L_j中最小距离的三个匹配对；

采用K最近邻算法对三个匹配对进行粗匹配，保留距离最近的一个匹配对；

利用随机抽样一致算法进行提纯，生成当前帧的影像转换矩阵。

进一步地，所述利用金字塔融合算法对变换帧和参考帧的重叠区域进行融合拼接，得到中间影像，具体包括：

对变换帧和参考帧的重叠区域分别构建高斯金字塔层；

在变换帧和参考帧各自的高斯金字塔层内做差运算，保存待融合图像对的拉普拉斯金字塔；

对拉普拉斯金字塔的各分解层分别进行融合处理，得到融合后的拉普拉斯金字塔；

将融合后的拉普拉斯金字塔从顶层往底层进行图像重构，得到最终的融合图像，将该融合图像作为中间影像。

实施例4：

本实施例提供了一种存储介质，该存储介质存储有一个或多个程序，所述程序被处理器执行时，实现上述实施例1的无人机影像拼接方法，如下：

获取无人机的影像序列；

加载影像序列中的相邻影像，确定相邻影像的重叠区域；其中，相邻影像为两张，第一张影像作为参考帧，第二张影像作为当前帧；

根据相邻影像的重叠区域，提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合；

确定特征点坐标集合中特征点的主方向，构建SURF特征描述子；

对特征点坐标集合进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵；

利用莱文贝格-马夸特算法对当前帧相对于参考帧的单应性矩阵进行优化计算；

利用优化计算的单应性转换矩阵，将当前帧变换到参考帧中，利用金字塔融合算法对变换帧和参考帧的重叠区域进行融合拼接，得到中间影像；

将中间影像作为新的参考帧，将该参考帧与相邻的下一帧作为相邻影像，返回重新确定相邻影像的重叠区域，并执行后续操作，直至影像序列中的所有影像拼接完成。

进一步地，所述提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合，具体包括：

计算参考帧和当前帧在X和Y方向的梯度I_x和I_y；其中，I_x为图像在x方向对其求导，I_y为图像在y方向对其求导；

计算三幅梯度图像

和I_xy，并对三幅梯度图像分别进行高斯卷积；

计算高斯卷积后的梯度图像中每个像素点的响应值，对小于阈值的像素点置零；

在像素点邻域内进行非最大值抑制，将局部极大值点作为角点，获得参考帧和当前帧分别对应的特征点坐标集合。

进一步地，所述确定特征点坐标集合中特征点的主方向，构建SURF特征描述子，具体包括：

在关键特征点半径为6σ圆形领域内，计算特征点坐标集合中特征点的水平和垂直方向的Haar小波响应；其中，σ为尺度因子；

统计某个扇形区域内Haar小波响应的总和，扇形区域以一定角度绕着圆形区域旋转，选取最大值扇形方向作为特征点的主方向；

将特征点坐标为中心坐标轴旋转到主方向，在特征点周围选取a*a子区域，在每个子区域内统计Haar小波响应，在每个子区域内选取水平值、垂直值、水平绝对值和垂直绝对值这四个响应值作为子区域的特征向量。

进一步地，所述对特征点坐标集合进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵，具体包括：

计算特征点坐标集合的集合点L_i与L_j中各个特征的光流位移值集合，构建光流位移矢量差函数；

记录集合点L_i中每个特征在集合点L_j中最小距离的三个匹配对；

采用K最近邻算法对三个匹配对进行粗匹配，保留距离最近的一个匹配对；

利用随机抽样一致算法进行提纯，生成当前帧的影像转换矩阵。

进一步地，所述利用金字塔融合算法对变换帧和参考帧的重叠区域进行融合拼接，得到中间影像，具体包括：

对变换帧和参考帧的重叠区域分别构建高斯金字塔层；

在变换帧和参考帧各自的高斯金字塔层内做差运算，保存待融合图像对的拉普拉斯金字塔；

对拉普拉斯金字塔的各分解层分别进行融合处理，得到融合后的拉普拉斯金字塔；

将融合后的拉普拉斯金字塔从顶层往底层进行图像重构，得到最终的融合图像，将该融合图像作为中间影像。

本实施例的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。

综上所述，本发明通过确定相邻影像(参考帧和当前帧)的重叠区域，提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合，然后确定特征点坐标集合中特征点的主方向，构建SURF特征描述子，基于Harris-SURF匹配算法，能达到快速而精确的配准效果，可有效解决拼接速度问题，并且通过特征光流追踪精简匹配点对，从而提高影像配准精度，利用莱文贝格-马夸特算法将多幅影像拼接在同一个平面内，提升配准精度，并且丰富了低空无人机影像拼接算法，提高影像匹配阶段的配准精度，能够确保低空无人机影像的拼接算法性能的鲁棒性。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种基于Harris-SURF的无人机影像拼接方法，其特征在于，所述方法包括：

获取无人机的影像序列；

加载影像序列中的相邻影像；其中，所述相邻影像为两张，第一张影像作为参考帧，第二张影像作为当前帧；

确定相邻影像的重叠区域；

根据相邻影像的重叠区域，提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合；

确定特征点坐标集合中特征点的主方向，构建SURF特征描述子；

对特征点坐标集合进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵；

利用莱文贝格-马夸特算法对当前帧相对于参考帧的单应性矩阵进行优化计算；

利用优化计算的单应性转换矩阵，将当前帧变换到参考帧中，利用金字塔融合算法对变换帧和参考帧的重叠区域进行融合拼接，得到中间影像；

将中间影像作为新的参考帧，将该参考帧与相邻的下一帧作为相邻影像，返回重新确定相邻影像的重叠区域，并执行后续操作，直至影像序列中的所有影像拼接完成。

2.根据权利要求1所述的无人机影像拼接方法，其特征在于，所述提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合，具体包括：

计算参考帧和当前帧在X和Y方向的梯度I_x和I_y；其中，I_x为图像在x方向对其求导，I_y为图像在y方向对其求导；

计算三幅梯度图像

和I_xy，并对三幅梯度图像分别进行高斯卷积；

计算高斯卷积后的梯度图像中每个像素点的响应值，对小于阈值的像素点置零；

在像素点邻域内进行非最大值抑制，将局部极大值点作为角点，获得参考帧和当前帧分别对应的特征点坐标集合。

3.根据权利要求1所述的无人机影像拼接方法，其特征在于，所述确定特征点坐标集合中特征点的主方向，构建SURF特征描述子，具体包括：

在关键特征点半径为6σ圆形领域内，计算特征点坐标集合中特征点的水平和垂直方向的Haar小波响应；其中，σ为尺度因子；

统计某个扇形区域内Haar小波响应的总和，扇形区域以一定角度绕着圆形区域旋转，选取最大值扇形方向作为特征点的主方向；

将特征点坐标为中心坐标轴旋转到主方向，在特征点周围选取a*a子区域，在每个子区域内统计Haar小波响应，在每个子区域内选取水平值、垂直值、水平绝对值和垂直绝对值这四个响应值作为子区域的特征向量。

4.根据权利要求1所述的无人机影像拼接方法，其特征在于，所述对特征点坐标集合进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵，具体包括：

计算特征点坐标集合的集合点L_i与L_j中各个特征的光流位移值d＝(u,v)集合，构建光流位移矢量差函数，如下式：

ε(d)＝∫∫_W[I_i(x+u,y+v)-I_r(x,y)]²ω(x,y)d(x,y)

其中，L_i为特征点坐标集合中h_i的集合点，h_i为参考帧的特征点坐标，i＝1,...,m；L_j为特征点坐标集合中h_i+1的集合点，h_i+1为当前帧的特征点坐标，j＝1,...,m；ω(x,y)为高斯窗口；

记录集合点L_i中每个特征在集合点L_j中最小距离的三个匹配对；

采用K最近邻算法对三个匹配对进行粗匹配，保留距离最近的一个匹配对；

利用随机抽样一致算法进行提纯，生成当前帧的影像转换矩阵。

5.根据权利要求1所述的无人机影像拼接方法，其特征在于，所述利用莱文贝格-马夸特算法对当前帧相对于参考帧的单应性矩阵进行优化计算，具体为：

根据当前帧相对于参考帧的单应性矩阵，建立特征匹配点误差函数，以获取经过优化计算后的单应性矩阵；其中，所述特征匹配点误差函数，如下式：

其中，X＝h_irx，h_ir为当前帧I_i相对于参考帧I_r的单应性矩阵，x为当前帧I_i的特征点，X为参考帧I_r中与当前帧I_i对应的匹配特征点，H_ir为经过优化计算后的单应性矩阵，(x`<sub>i</sub>,y`_i)为当前帧I_i变换后对应特征点的坐标，(X_i,Y_i)为参考帧I_r中的特征点坐标。

6.根据权利要求1所述的无人机影像拼接方法，其特征在于，所述利用金字塔融合算法对变换帧和参考帧的重叠区域进行融合拼接，得到中间影像，具体包括：

对变换帧和参考帧的重叠区域分别构建高斯金字塔层；

在变换帧和参考帧各自的高斯金字塔层内做差运算，保存待融合图像对的拉普拉斯金字塔；

对拉普拉斯金字塔的各分解层分别进行融合处理，得到融合后的拉普拉斯金字塔；

将融合后的拉普拉斯金字塔从顶层往底层进行图像重构，得到最终的融合图像，将该融合图像作为中间影像。

7.根据权利要求1-6任一项所述的无人机影像拼接方法，其特征在于，所述确定相邻影像的重叠区域，具体为：

利用相位相关法，计算判断相邻影像的相对位移，得到相邻影像的重叠区域。

8.一种基于Harris-SURF的无人机影像拼接装置，其特征在于，所述装置包括：

获取模块，用于获取无人机的影像序列；

加载模块，用于加载影像序列中的相邻影像；其中，所述相邻影像为两张，第一张影像作为参考帧，第二张影像作为当前帧；

确定模块，用于确定相邻影像的重叠区域；

提取模块，用于根据相邻影像的重叠区域，提取参考帧和当前帧的Harris特征点，获得参考帧和当前帧分别对应的特征点坐标集合；

构建模块，用于确定特征点坐标集合中特征点的主方向，构建SURF特征描述子；

特征光流优化匹配模块，用于对特征点坐标集合进行特征光流优化匹配，生成当前帧相对于参考帧的单应性矩阵；

优化计算模块，用于利用莱文贝格-马夸特算法对当前帧相对于参考帧的单应性矩阵进行优化计算；

第一拼接模块，用于利用优化计算的单应性转换矩阵，将当前帧变换到参考帧中，利用金字塔融合算法对变换帧和参考帧的重叠区域进行融合拼接，得到中间影像；

第二拼接模块，用于将中间影像作为新的参考帧，将该参考帧与相邻的下一帧作为相邻影像，返回重新确定相邻影像的重叠区域，并执行后续操作，直至影像序列中的所有影像拼接完成。

9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的无人机影像拼接方法。

10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的无人机影像拼接方法。

Images