CN112419160B - 基于特征优化及最优拼接缝的航空遥感图像拼接方法 - Google Patents

Abstract

一种基于特征优化及最优拼接缝的航空遥感图像拼接方法，属于图像处理技术领域。本发明的目的是针对航空侦察相机拍摄的遥感图像进行自动拼接方法的基于特征优化及最优拼接缝的航空遥感图像拼接方法。本发明步骤是：利用改进的SURF算法进行图像特征点的粗匹配，利用基于正态分布的特征点精匹配，图像融合。本发明不需要人工进行参与，可以根据图像文件的类型实现全景图像的自动拼接。本专利提出的拼接的方法具有处理速度快、拼接精度高的特点，通过预定义特征检测的区域，提高特征点检测的效率，提出一种特征点的筛选方法可以用来计算更加准确的变换矩阵，实现更准确的配准，提出的拼接缝搜索方法可以有效保护重叠区域的显著目标，保证目标的完整性。

Description

基于特征优化及最优拼接缝的航空遥感图像拼接方法

技术领域

本发明属于图像处理技术领域。

背景技术

图像拼接技术是一种将具有重叠区域的多幅图像拼接成一幅大视场的全景图像的图像处理技术。通常情况下，由于成像设备性能所限，无法获得大面积的区域图像，因此需要利用图像拼接技术将获取的序列遥感图像实现实时拼接并显示，以保证地面专家全面掌握地面目标情况以做出正确的决策。

图像拼接需要在相邻两幅图像的重叠区域中搜索并匹配相同的图像内容，从而确定两幅图像之间的位置关系，实现相邻两幅图像对接处理。从拼接实现的方法上看，图像拼接可以分为手动拼接和自动拼接两类。手动拼接容易使拼接后的图像在接缝处出现错位或全局图像出现区域色调不一致的现象，无法有效保证图像的质量和拼接工作的效率。自动拼接是利用计算机实现拼接过程的自动化处理，提高图像处理的效率。从拼接实现的技术上看，图像拼接一般包括图像配准和图像融合两个步骤，图像配准的目的是根据几何运动模型将所有图像统一到同一坐标系下，图像融合则是将配准后的图像合成一张全景图像，实现相邻图像间的自然过渡。

目前在多条带线阵推扫图像、线阵摆扫图像以及全景图像的拼接上一般利用图像处理软件进行人工拼接作业，虽然人工作业可以保证拼接结果图中重要目标的清晰度和完整度，但耗费大量人力参与，极大地降低了信息处理的效率。

因此在航空遥感图像拼接工作中，由于地物目标丰富以及拍摄过程中光照条件的差异，传统拼接方法极易在拼接图的重叠区域出现目标错位、重影以及明显拼接缝等问题，如何实现快速、精确、自然的图像拼接，是图像自动拼接技术研究的关键问题。

发明内容

本发明的目的是针对航空侦察相机拍摄的遥感图像进行自动拼接方法的基于特征优化及最优拼接缝的航空遥感图像拼接方法。

本发明步骤是：

S1、利用改进的SURF算法进行图像特征点的粗匹配：

采用欧式距离作为相似性度量准则，若p_i代表匹配图像的特征点，q_i代表待匹配图像特征点，则欧式距离为

采用最近邻和次近邻距离之比的方法，首先在待匹配图像上搜索欧式距离最近的特征点q_i和欧式距离次近的特征点q_j，求得p_i与q_i的欧式距离d₁和p_i与q_j欧式距离d₂，设置阈值r，当d₁/d₂≤r时，则认为(p_i,q_i)为一组正确的匹配点；

通过给回溯可能路过的点加入队列，并按照查询点到这些点的距离进行排序，搜索时从根节点开始，沿着一个子树分支进行搜索，每当遇到一个需要转向其他分支的节点时，便把分支处入口节点及其信息放入优先级队列，提取队列中优先级最高的节点，以该点为根节点，重复以上的操作，直到队列为空，运行停止；同时算法设置了时间限制，超过时间阈值时运行停止，返回当前最近邻点并输出；

S2、利用基于正态分布的特征点精匹配：

令两个相邻像素间的投影偏差是独立且分布一致的；每个锚点与其他锚点之间有足够多的像素；参考图像I₁、目标图像I₂是待拼接图像，其匹配点为(q_i,p_i)，利用直接线性变换的最小二乘法获得全局变换矩阵H，p_i'是p_i经过矩阵H计算得到的位于I₁上的投影点，投影偏差PE＝p'-q＝[Ex,Ey]^T，Ex和Ey是匹配点在x和y两个方向的投影偏差，定义事件Cx_i＝{|Ex_i-μ_x|＜nσ_x}，Cy_i＝{|Ey_i-μ_y|＜nσ_y}代表投影偏差在x和y方向的阈值，其中μ_x、μ_y代表投影偏差平均值，σ_x、σ_y代表投影偏差的标准差，投影偏差分布符合标准正态分布，事件Cx_i和Cy_i的概率遵循：

其中Φ(·)代表标准正态分布函数；

S3、图像融合

(1)最优拼接缝寻找

设一组图像为I₀和I₁，P为图像的重叠区域，整幅图像的标签L＝{0,1}，其中0对应图像I₀，1对应图像I₁，给重叠区域的所有像素p∈P分配一个标签以此获得标签集l＝(l₁,l₂,l₃,...,l_p)，当标签集为l时，图像的能量为

其中D_p(l_p)是数据项，代表为像素p分配标签l_p的损失，S_p,q(l_p,l_q)是平滑项，代表为一对像素(p,q)∈N分配一组标签(l_p,l_q)的损失，N代表P*P像素邻域面；

将缝切割的数据项形式定义为：

l_p代表像素p的标签值，当给l_p赋值为1时，表示选择图像I₁上p点的梯度值，当给l_p赋值为0时，表示选择图I₀上p点的梯度值；

将缝切割的数据项形式定义为：

在添加梯度值考虑后平滑项形式

S_p,q(l_p,l_q)＝|l_p-l_q|(I_Δ(p)+I_Δ(q))  (7)

其中

式I_Δ(·)中的第一个范数代表颜色空间的色彩强度的差值；

将显著性权重定义为

其中ω(·)代表重叠区域P的平均像素显著性值；

改进后的能量函数形式如下：

(2)多分辨率融合

①首先将图像I₁和I₂的重叠部分I_A和I_B部分取出；

②通过对I_A和I_B二次加权卷积构建高斯金字塔分层结构，获得I_A和I_B的低通层G₀，G₁，…，G_N

I_A和I_B为金字塔第一层G₀，w(m,n)为权值；

③拉普拉斯金字塔的每一层由相邻两层的高斯金字塔相减得到，将低通层分解为带通层L₀，L₁，…，L_N-1

④利用得到的金字塔L_A和L_B，在对应的带通层内进行加权平均融合，获得图像的带通空间L_0out，…，L_N-1out，然后把各带通层叠加计算，获得最终图像

本发明不需要人工进行参与，可以根据图像文件的类型实现全景图像的自动拼接。本专利提出的拼接的方法具有处理速度快、拼接精度高的特点，通过预定义特征检测的区域，提高特征点检测的效率，提出一种特征点的筛选方法可以用来计算更加准确的变换矩阵，实现更准确的配准，提出的拼接缝搜索方法可以有效保护重叠区域的显著目标，保证目标的完整性。

附图说明

图1是重叠部分提取示意图；

图2是相机拍摄的原图像；

图3是特征点提取结果图；

图4是特征点粗匹配结果图；

图5是特征点精匹配结果图；

图6是线阵推扫相机图像缝搜索结果图；

图7是线阵摆扫相机图像缝搜索结果；

图8是全景相机图像缝搜索结果图；

图9a是本发明方法第一幅拼接结果图；

图9b是图9a的局部放大细节图；

图10a是本发明方法第二幅拼接结果图；

图10b是图10a的局部放大细节图；

图11a是本发明方法第三幅拼接结果图；

图11b是图11a的局部放大细节图。

具体实施方式

本发明基于特征优化及最优拼接缝的航空遥感图像拼接方法本发明的图像拼接方法首先利用改进的SURF算法进行图像特征点的检测和粗匹配过程，然后利用基于正态分布的特征点精匹配方法，将优化后的特征点集进行变换矩阵的计算，将目标图像变换到参考图像的坐标系下，完成图像的配准工作；提取待拼接图像的重叠部分，利用图割方法进行拼接缝的搜索工作，为图割能量函数中数据项和平滑项添加了梯度值及显著性目标权重的考虑，以得到最优的拼接线；最后对重叠区域的图像进行高斯分层构建金字塔结构，利用多分辨率融合技术实现待拼接图像的融合。

1、图像配准

1.1特征点粗匹配

(1)预定义检测区域

根据实际侦察任务时相机重叠率的设定，预定义检测区域，减少特征检测的计算量，如某型有人侦察机挂载的线阵CCD相机，相机内部的CCD单元的机械拼接为固定安装，相机间或者摆扫周期间的重叠率在飞行任务前设定。有人侦察机相比于无人侦察机，机身平台更加稳定，受气流影响造成重叠区域变化较小，一般设定的重叠率较实际重叠率误差不大。此外，由于重叠区域实际提取的特征点数量足够计算变换矩阵模型，即使飞行外部因素造成实际重叠区域稍微偏大或者偏小，也不会对最终变换矩阵的计算造成太大的影响，而且设定理想的特征提取区域可以加速特征点的提取和匹配，为图像配准工作节约大量时间成本。

(2)特征点粗匹配

利用改进的SURF算法获得初始特征点集及每个特征点64维的描述信息后，接下来进行特征点匹配工作，图像的特征匹配以特定的搜索策略通过某种相似性度量准则来评价特征描述符的相似程度。本专利采用欧式距离作为相似性度量准则。若p_i代表匹配图像的特征点，q_i代表待匹配图像特征点，则欧式距离为

在匹配策略上采用最近邻和次近邻距离之比的方法，首先在待匹配图像上搜索欧式距离最近的特征点q_i和欧式距离次近的特征点q_j，求得p_i与q_i的欧式距离d₁和p_i与q_j欧式距离d₂，设置阈值r，当d₁/d₂≤r时，则认为(p_i,q_i)为一组正确的匹配点。

确定了相似性度量准则，接下来需要确定搜索策略，为了加快搜索速度，本专利采用结合K-D树思想的BBF算法进行搜索。基本思想是通过给回溯可能路过的点加入队列，并按照查询点到这些点的距离进行排序，搜索时从根节点开始，沿着一个子树分支进行搜索，每当遇到一个需要转向其他分支的节点时，便把分支处入口节点及其信息放入优先级队列，提取队列中优先级最高的节点，以该点为“根节点”，重复以上的操作，直到队列为空，运行停止。同时算法设置了时间限制，超过时间阈值时运行停止，返回当前最近邻点并输出。BBF算法在匹配的准确度和时间成本方面，与传统K-D树方法相比，表现突出，当维数越多时，这种优势会更加明显。

1.2特征点精匹配

为了方便定量分析，首先对数据进行理想化设定，假设1：两个相邻像素间的投影偏差是独立且分布一致的；假设2：每个锚点与其他锚点之间有足够多的像素。注意这里提到的像素不是图像的真实测量单位，而是抽象地认为场景中的点在图像上的投影，那么我们可以认为理想化的图像包含无数的像素。根据中心极限定理，我们可以得到结论：不同匹配点的投影偏差服从标准正态分布，本专利使用投影偏差服从正态分布这一理论来判断匹配点的正确性。

假设参考图像I₁、目标图像I₂是待拼接图像，它们的匹配点为(q_i,p_i)，利用直接线性变换的最小二乘法获得全局变换矩阵H，p_i'是p_i经过矩阵H计算得到的位于I₁上的投影点，投影偏差PE＝p'-q＝[Ex,Ey]^T，Ex和Ey是匹配点在x和y两个方向的投影偏差，我们定义事件Cx_i＝{|Ex_i-μ_x|＜nσ_x}，Cy_i＝{|Ey_i-μ_y|＜nσ_y}代表投影偏差在x和y方向的阈值，其中μ_x、μ_y代表投影偏差平均值，σ_x、σ_y代表投影偏差的标准差，根据以上推论，投影偏差分布符合标准正态分布，那么事件Cx_i和Cy_i的概率遵循：

其中Φ(·)代表标准正态分布函数。

当设n＝3时，根据正态分布3sigma原则，投影偏差在(μ-3σ,μ+3σ)的范围内概率为99.73％，而对于不满足此范围的投影偏差所对应的匹配点，我们可以将其看作外点进行移除，因为这种情况下内点的投影偏差在这个范围之外的概率是0.27％，属于小概率事件。从几何原理上来讲，我们进行剔除的原理是如果一组匹配点的投影偏差与附近其他匹配点的投影偏差存在明显的不同，那么我们将它认为是外点，虽然这种情况下一小部分的内点可能被错误地删除，但不会影响最终的拼接质量。

2、图像融合

2.1最优拼接缝寻找

本发明采用图割的方法进行拼接缝的搜索工作，通过定义能量函数，将分割的代价依据权值来表达，我们将能量函数定义成式(4)的形式，假设一组图像为I₀和I₁，P为图像的重叠区域，整幅图像的标签L＝{0,1}，其中0对应图像I₀，1对应图像I₁，给重叠区域的所有像素p∈P分配一个标签以此获得标签集l＝(l₁,l₂,l₃,...,l_p)，当标签集为l时，图像的能量为

其中D_p(l_p)是数据项，也称为区域能量项，代表为像素p分配标签l_p的损失，代表待拼接图像重叠区域对应像素间的相似程度，S_p,q(l_p,l_q)是平滑项，也称为边界平滑能量项，代表为一对像素(p,q)∈N分配一组标签(l_p,l_q)的损失，N代表P*P像素邻域面，表示重叠区域像素间的差异程度。

本发明将缝切割的数据项形式定义为：

l_p代表像素p的标签值，当给l_p赋值为1时，表示选择图像I₁上p点的梯度值，当给l_p赋值为0时，表示选择图I₀上p点的梯度值。本专利提出的数据项含义是比较待拼接图像重叠区域内在像素点p处的梯度值，因为数据项为梯度值的负数，当梯度值越小时，对应数据项值越大，相应的总能量函数的值越大，所选择像素点组成的边被分开的概率就越小。

传统缝切割中对于平滑项只基于对颜色空间的考虑，缺少对于梯度空间的考虑。由于相邻图像间存在曝光差异，因此基于颜色空间的差异是不稳定的，添加梯度差可以增加图像在几何结构间的相似性，所以本专利对于平滑项添加梯度值融合考虑，本专利将缝切割的数据项形式定义为：

在添加梯度值考虑后平滑项形式

S_p,q(l_p,l_q)＝|l_p-l_q|(I_Δ(p)+I_Δ(q))  (20)

其中

式I_Δ(·)中的第一个范数代表颜色空间的色彩强度的差值，第二个范数代表梯度空间的不同图像相同点在水平和垂直方向的梯度差值。

为了增加对重叠区域重要目标的保护，也是基于人眼对图像中显著目标有着更高的关注度，本专利为平滑项添加一个显著性权重。对目标的显著性检测是计算突出显示对象并抑制场景背景的过程，Zhang等人提出一种基于最小障碍距离的显著物体检测方法，通过使用最小障碍物距离来衡量像素与图像边界的连通性，与广泛使用测地距离相比，最小障碍物检测距离对像素值的波动具有更强的鲁棒性，本专利将显著性权重定义为，

其中ω(·)代表重叠区域P的平均像素显著性值，通过显著目标检测算法计算，为了避免最终的惩罚值过大，标准化W_p,q使其在[1,2]的范围内，W_p,q根据ω(·)会增加对S_p,q(l_p,l_q)的影响。

改进后的能量函数形式如下：

2.2多分辨率融合

当在图像的重叠区域确定了一条最优的拼接缝后，接下来选择合适的融合方法对重叠区域中拼接线左右两侧的图像进行融合处理。常见的加权融合法在配准误差较大时，易出现模糊现象，当配准精度达到要求时，如果重叠区域的宽度较大，图像的高频细节又会有所损失。本专利在确定最优拼接线后，采用多分辨率方法进行融合处理，多分辨率方法的基本思想是对待拼接图像的重叠部分构建金字塔结构，分解成若干个频率段的低通层，然后在不同尺度下融合得到拼接图像的带通层，最后将各带通层叠加获得结果图像，下面以两张图像为例阐述具体过程。

(1)首先将图像I₁和I₂的重叠部分I_A和I_B部分取出，如图1所示。

(2)通过对I_A和I_B二次加权卷积构建高斯金字塔分层结构，获得I_A和I_B的低通层G₀，G₁，…，G_N。

I_A和I_B为金字塔第一层G₀，w(m,n)为权值。

(3)拉普拉斯金字塔的每一层由相邻两层的高斯金字塔相减得到，将低通层分解为带通层L₀，L₁，…，L_N-1。

(4)利用得到的金字塔L_A和L_B，在对应的带通层内进行加权平均融合，获得图像的带通空间L_0out，…，L_N-1out，然后把各带通层叠加计算，获得最终图像。

图像拼接算法步骤及结果分析

1、图像拼接步骤

第一步，获取原始图像信息，根据侦察任务设定的图像重叠率要求对待拼接图像I₁和I₂进行理想重叠区域的获取，使用SURF(Speed-up Robust Feature)算法进行特征点检测，然后使用结合K-D树的BBF算法进行特征点初步匹配过程。

第二步，利用DLT获得全局单应矩阵H并计算匹配点的投影误差PE，依据本专利提出的投影偏差PE服从正态分布这一准则，对匹配点进行再次筛选，得到优化的匹配点再次利用DLT计算新的全局单应矩阵H_new，将目标图像I₂利用H_new变换到参考图像I₁的坐标系中。

第三步，在拼接图像的实际重叠区域P内，计算能量函数中数据项每个像素的损失D_p(l_p)，计算平滑项中邻域像素的损失S_p,q(l_p,l_q)，使用显著目标检测算法计算ω，归一化后得到显著性权重W_p,q。

第四步，利用图割理论最大流最小割方法最小化损失函数E(l)，获得最优拼接缝。

第五步，在提取的重叠区域内使用多分辨率方法进行图像融合，得到最终拼接结果。

2、图像拼接结果及分析

2.1特征检测与匹配结果

图2为实际侦察任务中获取的航空遥感图像，图3为利用本文改进的SURF算法进行特征点检测的结果，可以看到，通过预定义特征检测的范围，获得的特征点主要集中在了图像的重叠区域，这是因为特征点的匹配工作只在实际重叠区域内进行，进行重叠区域外的特征点检测工作是无用的，图4和图5为特征点的粗匹配和精匹配结果。

2.2最优拼接缝搜索结果

实验结果展示了三种航空相机图像的拼接缝搜索情况，其中图6为多条带线阵推扫相机图像，图7为多条带线阵摆扫相机图像，图8为全景相机图像。从图中拼接缝路线上可以明显看出，拼接线沿着图中低量值区域进行搜索，对于重叠区域的显著目标可以进行有效的规避，保证了重叠区域目标的完整性。

2.3图像拼接结果(图9a、图9b、图10a、图10b、图11a、图11b)

拼接结果展示三种相机在细节处的拼接效果，可以看到本专利的方法在完成了图像的总体对齐的情况下，在图中的细节处依然保证了较高的拼接准确性，这会对后续专业人员的判读工作提供有效的帮助。

Claims (1)

1.一种基于特征优化及最优拼接缝的航空遥感图像拼接方法，其特征在于：

S1、利用改进的SURF算法进行图像特征点的粗匹配：

采用欧式距离作为相似性度量准则，若p_i代表匹配图像的特征点，q_i代表待匹配图像特征点，则欧式距离为

采用最近邻和次近邻距离之比的方法，首先在待匹配图像上搜索欧式距离最近的待匹配图像特征点q_i和欧式距离次近的特征点q_j，求得p_i与q_i的欧式距离d₁和p_i与q_j欧式距离d₂，设置阈值r，当d₁/d₂≤r时，则认为(p_i,q_i)为一组正确的匹配点；

通过给回溯路过的点加入队列，并按照查询点到这些点的距离进行排序，搜索时从根节点开始，沿着一个子树分支进行搜索，每当遇到一个需要转向其他分支的节点时，便把分支处入口节点及其信息放入优先级队列，提取队列中优先级最高的节点，以该点为根节点，重复以上的操作，直到队列为空，运行停止；同时算法设置了时间限制，超过时间阈值时运行停止，返回当前最近邻点并输出；

S2、利用基于正态分布的特征点精匹配：

令两个相邻像素间的投影偏差是独立且分布一致的；每个锚点与其他锚点之间有足够多的像素；参考图像I₁、目标图像I₂是待拼接图像，其对应的匹配点为匹配图像和待匹配图像的点(q_i,p_i)，利用直接线性变换的最小二乘法获得全局变换矩阵H，p_i'是p_i经过矩阵H计算得到的位于I₁上的投影点，投影偏差PE＝p'-q＝[Ex,Ey]^T，Ex和Ey是匹配点在x和y两个方向的投影偏差，定义事件Cx_i＝{|Ex_i-μ_x|＜nσ_x}，Cy_i＝{|Ey_i-μ_y|＜nσ_y}代表投影偏差在x和y方向的阈值，其中μ_x、μ_y代表投影偏差平均值，σ_x、σ_y代表投影偏差的标准差，投影偏差分布符合标准正态分布，事件Cx_i和Cy_i的概率遵循：

其中Φ(·)代表标准正态分布函数；

S3、图像融合

(1)最优拼接缝寻找

设一组图像为I₀和参考图像I₁，P为图像的重叠区域，整幅图像的标签L＝{0,1}，其中0对应图像I₀，1对应参考图像I₁，给重叠区域的所有像素p∈P分配一个标签以此获得标签集l＝(l₁,l₂,l₃,...,l_p)，当标签集为l时，图像的能量为

其中D_p(l_p)是数据项，代表为像素p分配标签l_p的损失，S_p,q(l_p,l_q)是平滑项，代表为一对像素(p,q)∈N分配一组标签(l_p,l_q)的损失，N代表P*P像素邻域面；

将缝切割的数据项形式定义为：

l_p代表像素p的标签值，当给l_p赋值为1时，表示选择图像I₁上p点的梯度值，当给l_p赋值为0时，表示选择图I₀上p点的梯度值；

将缝切割的数据项形式定义为：

在添加梯度值考虑后平滑项形式

S_p,q(l_p,l_q)＝|l_p-l_q|(I_Δ(p)+I_Δ(q))    (7)

其中

式I_Δ(·)中的第一个范数代表颜色空间的色彩强度的差值；

将显著性权重定义为

其中ω(·)代表重叠区域P的平均像素显著性值；

改进后的能量函数形式如下：

(2)多分辨率融合

①首先将图像I₁和I₂的重叠部分I_A和I_B部分取出；

②通过对I_A和I_B二次加权卷积构建高斯金字塔分层结构，获得I_A和I_B的低通层G₀，G₁，…，G_N

I_A和I_B为金字塔第一层G₀，w(m,n)为权值；

③拉普拉斯金字塔的每一层由相邻两层的高斯金字塔相减得到，将低通层分解为带通层L₀，L₁，…，L_N-1

④利用得到的金字塔L_A和L_B，在对应的带通层内进行加权平均融合，获得图像的带通空间L_0out，…，L_N-1out，然后把各带通层叠加计算，获得最终图像

Images