CN109829853A - 一种无人机航拍图像拼接方法 - Google Patents

Abstract

本发明公开了一种无人机航拍图像拼接方法，涉及图像处理技术领域，本发明包括如下步骤：S1：输入两幅待拼接的无人机航拍图像分别作为参考图像和待配准图像；S2：运用FAST特征点检测算法对参考图像和待配准图像进行处理，得到参考图像和待配准图像的FAST特征点；S3：提取参考图像和待配准图像FAST特征点处的BRISK特征及FREAK特征；S4：利用HAMMING距离度量准则和BF搜索策略分别匹配BRISK特征及FREAK特征，得到M个最优的特征点对；S5：利用RANSAC算法对特征点对进行筛选，计算得到特征点对之间的坐标变换矩阵；S6：利用坐标变换矩阵对待配准图像进行坐标变换，使之与参考图像进行加权融合，得到拼接后的图像，本发明具有效率高、鲁棒性强、拼接结果准确的优点。

Description

一种无人机航拍图像拼接方法

技术领域

本发明涉及图像处理技术领域，更具体的是涉及一种无人机航拍图像拼接方法。

背景技术

近年来，随着无人机技术的发展，无人机被广泛应用于各种航拍、遥感场景，宽视场、高分辨率航空图像在情报分析、战前侦察、作战评估等军用领域有着重要的意义，但受航空相机传感器尺寸的限制，存在着视场与分辨率间的矛盾。单张无人机航拍图像的覆盖范围较小，不能满足实际应用需求，因此如何将多幅无人机航拍图像拼接成一幅过渡自然的无缝图片成为了近年来研究的热点。

图像配准是图像拼接的关键，图像配准旨在找出两图像中的相同区域，以计算图像间的变换模型，图像配准的精度直接决定着图像的拼接质量。

现有技术中，往往采用基于图像特征的配准方法，通过提取两幅图像中受图像变换、亮度变换、噪声等影响较小的稳定特征，如图像中物体的边缘、角点、闭合区域中心等来对图像进行配准，而特征的选取将直接影响图像配准的精度与效率，但目前常用的图像特征配准方法较为单一，鲁棒性不高、拼接效率较低。

发明内容

本发明的目的在于：为了解决现有的无人机图像拼接方法鲁棒性不高、拼接效率较低的问题，本发明提供一种无人机航拍图像拼接方法。

本发明为了实现上述目的具体采用以下技术方案：

一种无人机航拍图像拼接方法，包括如下步骤：

S1：输入两幅待拼接的无人机航拍图像分别作为参考图像和待配准图像；

S2：运用FAST特征点检测算法对参考图像和待配准图像进行处理，分别得到参考图像和待配准图像的FAST特征点；

S3：分别提取参考图像和待配准图像FAST特征点处的BRISK特征及FREAK特征；

S4：利用HAMMING距离度量准则以及BF搜索策略分别对参考图像和待配准图像的BRISK特征及FREAK特征进行匹配，得到M个最优的特征点对；

S5：利用RANSAC算法对特征点对进行筛选，计算得到特征点对之间的坐标变换矩阵；

S6：利用坐标变换矩阵对待配准图像进行坐标变换，使之与参考图像进行加权融合，得到拼接后的图像。

进一步的，所述S2具体包括如下步骤：

S2.1：针对参考图像和待配准图像上的每个像素点，计算其与周围z×z邻域内，以该像素点为圆心，半径为r的圆周上的w个像素点的灰度值之差；

S2.2：对灰度值之差进行判断，若至少有连续的个灰度值之差的绝对值超过预设的阈值，则该像素点为FAST特征点，然后利用非极大值抑制算法去除多余的FAST特征点后，得到参考图像和待配准图像的FAST特征点。

进一步的，所述S3中提取参考图像和待配准图像FAST特征点处的BRISK特征，具体为：

S3.1.1：以FAST特征点为中心，构建不同半径的同心圆，在每个同心圆上获取一定数目的等间隔采样点，以采样点为中心，δ为方差进行高斯滤波，滤波半径的大小与高斯方差的大小成正比，最终得到N个经过高斯滤波平滑后的采样点；

S3.1.2：N个采样点两两组合，共有N(N-1)/2种组合方式，将所有组合方式的集合称作采样点对，用集合A＝{(p_i,p_j)∈R²×R²|i<N∧j<i∧i,j∈N}表示，其中像素点分别是I(p_i,σ_i)、I(p_j,σ_j)，σ表示尺度，R为采样同心圆的半径，用g(p_i,p_j)表示FAST特征点局部梯度集合，则有：

则短距离点对子集：

长距离点对子集：

其中，δ_max＝9.75t，δ_min＝13.67t，t是FAST特征点所在的尺度；

S3.1.3：计算FAST特征点的方向：

α＝arctan2(g_y,g_x)

其中，||L||是长距离点对子集的个数；

然后将该FAST特征点周围的采样区域旋转到主方向，得到新的采样区域，再重复执行S3.1.1到S3.1.3，直至采样结束；

S3.1.4：BRISK描述子是二进制的特征，由采样点集合可得到N(N-1)/2对采样点对，进而得到N(N-1)/2个包括短距离点对子集和长距离点对子集的集合，考虑短距离点对子集中的512个短距离点对，进行二进制编码，判断方式为：

其中，表示经过旋转α角度后的新的采样点，由此便得到512Bit的BRISK特征描述子。

进一步的，所述S3中提取参考图像和待配准图像FAST特征点处的FREAK特征，具体为：

S3.2.1：FREAK特征是用二进制串对FAST特征点进行描述，表示为：

其中，P_a是每个FAST特征点对应的采样点对，n表示期望的二进制编码长度，τ₁和τ₂分别表示采样点对的前一个采样点和后一个采样点，和表示采样点经过高斯模糊后的灰度值；

S3.2.2：建立矩阵D，矩阵D的每一行是一个FAST特征点对应的N位二进制编码，根据矩阵D各列的方差由大到小进行排序，取前512列作为FREAK特征二进制描述符。

进一步的，所述S4中最优的特征点对为30个，HAMMING距离表示两个二进制数对应位不同的个数，BF搜索策略是一种暴利匹配算法，分别匹配参考图像与待配准图像的BRISK特征和FREAK特征，各选出其中HAMMING距离最短的前15对特征点，组成30对最优特征点对。

进一步的，所述S5具体为：

S5.1：RANSAC算法用于进一步精炼特征匹配，设置特征点间坐标变换关系为：

其中，(x′,y′)和(x,y)分别是参考图像和待配准图像匹配的特征点坐标，矩阵则为参考图像和待配准图像间的坐标变换矩阵；

S5.2：先随机选取坐标变换矩阵估计所需最少数量的匹配特征点对，然后根据匹配特征点对计算得到初始的坐标变换矩阵取值，然后将剩余的匹配特征点对代入初始坐标变换矩阵进行变换，若代入的匹配特征点对变换后与实际数据误差小于阈值则这个特征点即为内点，否则为外点，反复迭代，内点数量最多的坐标变换矩阵则对应最优的坐标变换矩阵。

进一步的，所述S6中加权融合计算公式为：

其中，I(x,y)为拼接后的图像，I₁(x,y)为参考图像，I₂(x,y)为待配准图像坐标变换后的图像，ω₁和ω₂为参考图像与待配准图像坐标变换后的图像在重叠区域所占的权重。

本发明的有益效果如下：

1、本发明通过结合FAST、BRISK和FREAK三种特征组合的方法，利用了多种不同的特征信息，综合各个特征的特点，避免了单个特征在某些场景下效果差的缺点，能够适应不同的无人机拍摄场景，提高了鲁棒性和拼接效率。

2、本发明通过筛选BRISK特征及FREAK特征匹配后最优的30个特征点对，并用RANSAC算法作进一步筛选，计算得到最终的坐标变换矩阵，大大降低了特征误匹配带来的误差，提高了图像拼接的准确性与精度。

3、本发明的方法计算简便，速度快，具有更高的实时性。

附图说明

图1是本发明的方法流程图。

图2是本发明实施例的参考图像。

图3是本发明实施例的待配准图像。

图4是参考图像FAST特征点图。

图5是待配准图像的FAST特征点图。

图6是特征匹配图。

图7是拼接后的图像。

具体实施方式

为了本技术领域的人员更好的理解本发明，下面结合附图和以下实施例对本发明作进一步详细描述。

实施例1

如图1所示，本实施例提供一种无人机航拍图像拼接方法，包括如下步骤：

S1：如图2和图3所示，输入两幅待拼接的无人机航拍图像分别作为参考图像f₁(x,y)和待配准图像f₂(x,y)；

S2：运用FAST特征点检测算法对参考图像f₁(x,y)和待配准图像f₂(x,y)进行处理，分别得到参考图像f₁(x,y)和待配准图像f₂(x,y)的FAST特征点，如图4和图5所示；

S3：分别提取参考图像f₁(x,y)和待配准图像f₂(x,y)FAST特征点处的BRISK特征及FREAK特征；

S4：利用HAMMING距离度量准则以及BF搜索策略分别对参考图像f₁(x,y)和待配准图像f₂(x,y)的BRISK特征及FREAK特征进行匹配，得到M个最优的特征点对；

S5：利用RANSAC算法对特征点对进行筛选，计算得到特征点对之间的坐标变换矩阵；

S6：利用坐标变换矩阵对待配准图像f₂(x,y)进行坐标变换，使之与参考图像f₁(x,y)进行加权融合，得到拼接后的图像。

实施例2

本实施例在实施例1的基础之上进一步优化，具体是：

所述S2具体包括如下步骤：

S2.1：针对参考图像f₁(x,y)和待配准图像f₂(x,y)上的每个像素点，计算其与周围z×z邻域内，以该像素点为圆心，半径为r的圆周上的w个像素点的灰度值之差；

S2.2：对灰度值之差进行判断，若至少有连续的个灰度值之差的绝对值超过预设的阈值，则该像素点为FAST特征点，然后利用非极大值抑制算法去除多余的FAST特征点后，得到参考图像和待配准图像的FAST特征点集合P₁和P₂；

所述S3中提取参考图像f₁(x,y)和待配准图像f₂(x,y)FAST特征点处的BRISK特征，具体为：

S3.1.1：以FAST特征点为中心，构建不同半径的同心圆，在每个同心圆上获取一定数目的等间隔采样点，以采样点为中心，δ为方差进行高斯滤波，滤波半径的大小与高斯方差的大小成正比，最终得到N个经过高斯滤波平滑后的采样点；

S3.1.2：N个采样点两两组合，共有N(N-1)/2种组合方式，将所有组合方式的集合称作采样点对，用集合A＝{(p_i,p_j)∈R²×R²|i<N∧j<i∧i,j∈N}表示，其中像素点分别是I(p_i,σ_i)、I(p_j,σ_j)，σ表示尺度，R为采样同心圆的半径，用g(p_i，p_j)表示FAST特征点局部梯度集合，则有：

则短距离点对子集：

长距离点对子集：

其中，δ_max＝9.75t，δ_min＝13.67t，t是FAST特征点所在的尺度；

S3.1.3：计算FAST特征点的方向：

α＝arctan2(g_y,g_x)

其中，||L||是长距离点对子集的个数；

然后将该FAST特征点周围的采样区域旋转到主方向，得到新的采样区域，再重复执行S3.1.1到S3.1.3，直至采样结束；

S3.1.4：BRISK描述子是二进制的特征，由采样点集合可得到N(N-1)/2对采样点对，进而得到N(N-1)/2个包括短距离点对子集和长距离点对子集的集合，考虑短距离点对子集中的512个短距离点对，进行二进制编码，判断方式为：

其中，表示经过旋转α角度后的新的采样点，由此便得到512Bit的BRISK特征描述子；

所述S3中提取参考图像f₁(x,y)和待配准图像f₂(x,y)FAST特征点处的FREAK特征，具体为：

S3.2.1：FREAK特征是用二进制串对FAST特征点进行描述，表示为：

其中，P_a是每个FAST特征点对应的采样点对，n表示期望的二进制编码长度，τ₁和τ₂分别表示采样点对的前一个采样点和后一个采样点，和表示采样点经过高斯模糊后的灰度值；

S3.2.2：建立矩阵D，矩阵D的每一行是一个FAST特征点对应的N位二进制编码，根据矩阵D各列的方差由大到小进行排序，取前512列作为FREAK特征二进制描述符；

如图6所示，为本实施例的特征匹配图，由上述步骤分别计算得到N₁个参考图像f₁(x,y)和N₂个待配准图像f₂(x,y)的BRISK特征和FREAK特征描述子，其中N₁和N₂分别为参考图像f₁(x,y)和待配准图像f₂(x,y)FAST特征点数；

本实施例中，S4中最优的特征点对为30个，HAMMING距离表示两个二进制数对应位不同的个数，BF搜索策略是一种暴利匹配算法，将N₁个参考图像f₁(x,y)与N₂个待配准图像f₂(x,y)的BRISK特征和FREAK特征描述子运用HAMMING距离准则分别进行匹配，从所匹配的BRISK特征中选出HAMMING距离最短的前15对特征点，相同的，从所匹配的FREAK特征中选出HAMMING距离最短的前15对特征点，组成30对最优特征点对；

所述S5具体为：

S5.1：RANSAC算法用于进一步精炼特征匹配，设置特征点间坐标变换关系为：

其中，(x′,y′)和(x,y)分别是参考图像和待配准图像匹配的特征点坐标，矩阵则为参考图像和待配准图像间的坐标变换矩阵；

S5.2：先随机选取坐标变换矩阵估计所需最少数量的匹配特征点对，然后根据匹配特征点对计算得到初始的坐标变换矩阵取值，然后将剩余的匹配特征点对代入初始坐标变换矩阵进行变换，若代入的匹配特征点对变换后与实际数据误差小于阈值则这个特征点即为内点，否则为外点，反复迭代，内点数量最多的坐标变换矩阵则对应最优的坐标变换矩阵；

所述S6中加权融合计算公式为：

其中，I(x,y)为拼接后的图像，I₁(x,y)为参考图像，I₂(x,y)为待配准图像坐标变换后的图像，ω₁和ω₂为参考图像与待配准图像坐标变换后的图像在重叠区域所占的权重，本实施例中ω₁和ω₂均为0.5，加权融合后得到如图7所示的拼接后的图像I(x,y)。

以上所述，仅为本发明的较佳实施例，并不用以限制本发明，本发明的专利保护范围以权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (7)

1.一种无人机航拍图像拼接方法，其特征在于，包括如下步骤：

S1：输入两幅待拼接的无人机航拍图像分别作为参考图像和待配准图像；

S2：运用FAST特征点检测算法对参考图像和待配准图像进行处理，分别得到参考图像和待配准图像的FAST特征点；

S3：分别提取参考图像和待配准图像FAST特征点处的BRISK特征及FREAK特征；

S4：利用HAMMING距离度量准则以及BF搜索策略分别对参考图像和待配准图像的BRISK特征及FREAK特征进行匹配，得到M个最优的特征点对；

S5：利用RANSAC算法对特征点对进行筛选，计算得到特征点对之间的坐标变换矩阵；

S6：利用坐标变换矩阵对待配准图像进行坐标变换，使之与参考图像进行加权融合，得到拼接后的图像。

2.根据权利要求1所述的一种无人机航拍图像拼接方法，其特征在于，所述S2具体包括如下步骤：

S2.1：针对参考图像和待配准图像上的每个像素点，计算其与周围z×z邻域内，以该像素点为圆心，半径为r的圆周上的w个像素点的灰度值之差；

S2.2：对灰度值之差进行判断，若至少有连续的个灰度值之差的绝对值超过预设的阈值，则该像素点为FAST特征点，然后利用非极大值抑制算法去除多余的FAST特征点后，得到参考图像和待配准图像的FAST特征点。

3.根据权利要求1所述的一种无人机航拍图像拼接方法，其特征在于，所述S3中提取参考图像和待配准图像FAST特征点处的BRISK特征，具体为：

S3.1.1：以FAST特征点为中心，构建不同半径的同心圆，在每个同心圆上获取一定数目的等间隔采样点，以采样点为中心，δ为方差进行高斯滤波，滤波半径的大小与高斯方差的大小成正比，最终得到N个经过高斯滤波平滑后的采样点；

S3.1.2：N个采样点两两组合，共有N(N-1)/2种组合方式，将所有组合方式的集合称作采样点对，用集合A＝{(p_i,p_j)∈R²×R²|i<N∧j<i∧i,j∈N}表示，其中像素点分别是I(p_i,σ_i)、I(p_j,σ_j)，σ表示尺度，R为采样同心圆的半径，用g(p_i,p_j)表示FAST特征点局部梯度集合，则有：

则短距离点对子集：

长距离点对子集：

其中，δ_max＝9.75t，δ_min＝13.67t，t是FAST特征点所在的尺度；

S3.1.3：计算FAST特征点的方向：

α＝arctan2(g_y,g_x)

其中，||L||是长距离点对子集的个数；

然后将该FAST特征点周围的采样区域旋转到主方向，得到新的采样区域，再重复执行S3.1.1到S3.1.3，直至采样结束；

S3.1.4：BRISK特征是二进制的特征，由采样点集合可得到N(N-1)/2对采样点对，进而得到N(N-1)/2个包括短距离点对子集和长距离点对子集的集合，考虑短距离点对子集中的512个短距离点对，进行二进制编码，判断方式为：

其中，表示经过旋转α角度后的新的采样点，由此便得到512Bit的BRISK特征。

4.根据权利要求1所述的一种无人机航拍图像拼接方法，其特征在于，所述S3中提取参考图像和待配准图像FAST特征点处的FREAK特征，具体为：

S3.2.1：FREAK特征是用二进制串对FAST特征点进行描述，表示为：

其中，P_a是每个FAST特征点对应的采样点对，n表示期望的二进制编码长度，τ₁和τ₂分别表示采样点对的前一个采样点和后一个采样点，和表示采样点经过高斯模糊后的灰度值；

S3.2.2：建立矩阵D，矩阵D的每一行是一个FAST特征点对应的N位二进制编码，根据矩阵D各列的方差由大到小进行排序，取前512列作为FREAK特征二进制描述符。

5.根据权利要求1所述的一种无人机航拍图像拼接方法，其特征在于，所述S4中最优的特征点对为30个，利用HAMMING距离度量准则分别对参考图像与待配准图像的BRISK特征和FREAK特征进行匹配，各选出其中HAMMING距离最短的前15对特征点，组成30对最优特征点对。

6.根据权利要求1所述的一种无人机航拍图像拼接方法，其特征在于，所述S5具体为：

S5.1：RANSAC算法用于进一步精炼特征匹配，设置特征点间坐标变换关系为：

其中，(x′,y′)和(x,y)分别是参考图像和待配准图像匹配的特征点坐标，矩阵则为参考图像和待配准图像间的坐标变换矩阵；

S5.2：先随机选取坐标变换矩阵估计所需最少数量的匹配特征点对，然后根据匹配特征点对计算得到初始的坐标变换矩阵取值，然后将剩余的匹配特征点对代入初始坐标变换矩阵进行变换，若代入的匹配特征点对变换后与实际数据误差小于阈值则这个特征点即为内点，否则为外点，反复迭代，内点数量最多的坐标变换矩阵则对应最优的坐标变换矩阵。

7.根据权利要求1所述的一种无人机航拍图像拼接方法，其特征在于，所述S6中加权融合计算公式为：

其中，I(x,y)为拼接后的图像，I₁(x,y)为参考图像，I₂(x,y)为待配准图像坐标变换后的图像，ω₁和ω₂为参考图像与待配准图像坐标变换后的图像在重叠区域所占的权重。