CN104574278B - 基于局部反馈机制与稀疏全局调整的航拍图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于局部反馈机制与稀疏全局调整的航拍图像拼接方法，主要解决对特征点不明显的高原地区无人机航拍视频图像采用常规方法拼接易出现误配、失配的问题。其首先对图像进行SIFT特征提取和匹配，若通过特征匹配能建立图像变换模型且配准效果较好，则继续拼接下一帧图像；若提取SIFT特征后，特征匹配对不足以建立图像变换模型，或足以建立图像变换模型但图像拼缝处有明显错位，则建立一种局部反馈机制，对前两次的拼接进行反馈调节；若反馈调节失败，则利用无人机惯导数据信息进行图像配准，继续拼接至最终拼接出一幅全景图；最后利用拼接图像特征点间的对应关系建立优化目标函数，对全景图进行稀疏全局调整，改善全景图效果。

Description

基于局部反馈机制与稀疏全局调整的航拍图像拼接方法

技术领域：

本发明涉及计算机视觉领域，特指一种基于局部反馈机制与稀疏全局调整的航拍图像拼接方法。

背景技术：

对高原地区遥感影像的获取和有效处理，在高原地区军事地形侦察、泥石流灾害评估、动植物生态调查等实际工作中发挥着关键作用。快速精确、全面直观地获取目标区域地面影像并大范围展现目标区域地面场景实态是侦察监测、灾情调查等应用中不可或缺的一部分。以无人机为平台，搭载现代化摄像机快速获取低空高分辨率视频图像的无人机航拍系统，具有自动化、低风险、低成本、高时效、能在阴天云下低空快速获取光学影像等优势，并且无人机在高危地区、复杂环境下可做远距离、长航时、复杂航线飞行，很好地解决了传统航拍存在的问题，是载人机航拍和卫星遥感的有效技术补充手段。将无人机航拍系统应用于高原地区目标区域的实测，能在短时间内获取海量特定区域的视频数据，通过对这些数据的有效处理，能够获得高原地区目标区域的大量所需信息并在实际工作中发挥关键作用。

单幅图像视场范围小，只能覆盖部分区域以及图像相幅小，数量多是无人机侦察视频图像的共同特点。除了具有无人机视频图像的共同特点以外，高原地区无人机侦察视频图像(如图1所示)还具有以下显著特点：(1)无人机机体小，飞行高度低，其稳定性和抗风能力差，易发生倾斜、抖动，因此图像存在比较严重的几何畸变；(2)图像纹理比较单一，主要表现为荒漠、冻土，图像特征很不明显。以上特点使得传统目标区域图像全景拼接方法在图像特征提取和特征匹配环节特别容易出现失配、误配的情况，同时由于环境的复杂，无法通过设立地面控制点实现图像几何畸变校正，给高原地区无人机侦察视频图像全景拼接带来了诸多挑战。

发明内容：

本发明要解决的技术问题在于：结合无人机惯导数据等多源信息，提出一种基于局部反馈机制与稀疏全局调整的航拍图像拼接方法，解决高原地区无人机侦察视频图像拼接过程中的容易出现失配、误配这一难题。

为解决上述技术问题，本发明采取的技术方案是：

一种基于局部反馈机制与稀疏全局调整的航拍图像拼接方法，其特征是：

首先，根据尺度不变特征转换特征提取算法，提取无人机侦察视频图像的尺度不变特征转换特征点并利用特征点进行特征匹配从而得到图像之间的几何变换关系；在对无人机侦察视频图像进行尺度不变特征转换特征提取和匹配过程中，一旦出现无人机侦察视频图像的尺度不变特征转换特征点少，特征匹配对不足以建立几何变换模型，或足以建立几何变换模型但图像拼缝处有明显错位，就利用无人机惯导系统获取的辅助信息数据对前两次的拼接进行反馈调节，建立了一种局部反馈机制，包括如下步骤：

1)根据无人机惯导系统所记录的惯导数据中获得图像的坐标信息(经纬度等)，将图像投影到WGS84坐标系下，确定图像在拼接图中的粗略位置和图像间的变换参数；

2)根据图像在拼接图中的粗略位置控制偏差在20个像素以内，对目标图像I_n-1和I_n-2进行旋转、平移等局部微调操作。假设第n次拼接时需进行反馈调节，根据建立的局部反馈机制，将对第n-1次拼接和第n-2次拼接进行调节。选取第一帧图像作为参考图像，用I₀表示，从第二帧开始的无人机视频图像序列作为目标图像，表示为I_i(i＝1,2,3…)；每次拼接后得到的拼接图像表示为M_i(i＝1,2,3…)；

其次，建立一个优化目标函数，通过求解优化目标函数对拼接全景图进行稀疏全局调整，包括如下步骤：

1)对于无法通过特征匹配得到单应矩阵的这些图像，可以利用通过坐标信息得到的变换参数对这些图像提取出来的少数稀疏的特征点进行坐标变换，确定它们在全景图中的位置；

2)对于其他特征信息丰富，能通过特征匹配建立图像变换模型的图像中的特征点，通过这些特征点之间的对应关系和它们与通过坐标信息进行坐标变换的特征点之间的对应关系，建立优化目标函数 $f\left(X\right)=\underset{i=1}{\overset{N}{\Σ}}{e}_i^T{e}_i,$

其中 $e_i=\{\begin{array}{cc}{P}_{i,m}^f-T_n\left(P_{i,n}\right)& i=1,...,N_f\\ T_r\left(P_{i,r}\right)-T_s\left(P_{i,s}\right)& i=N_f+1,...,N\end{array};$ N_f表示利用坐标信息的图像与利用特征信息的图像之间的特征对应个数；表示利用坐标信息得到的图像变换参数对图像中的特征点坐标变换后的坐标，在式(2)中为常量；T_n(P_i,n)表示用通过特征匹配的M_u帧图像中的第n帧图像的变换参数X_n对该图像中的一个特征点P_i，n进行坐标变换的坐标；是利用坐标信息的图像与利用特征信息的图像之间的一对匹配的特征点；(P_i,r,P_i,s)是利用坐标信息的图像之间的一对匹配的特征点；其中X_i表示M_u帧图像中第i帧的图像变换参数，由其对应的单应矩阵H中的8个参数组成的列向量构成。

3)以全部图像通过坐标信息得到的变换参数作为初值，用最小二乘法(LM)进行求解；令A＝J^TJ+λE，A表示一个稀疏矩阵，λ表示任意两幅无法通过特征匹配得到单应矩阵的图像，它们的中心点之间的距离与图像的长边的比，本发明中λ的值取1.5，E表示单位矩阵，J表示雅克比矩阵(Jacobian矩阵)；

4)LM算法通过线性方程AΔX＝-J^Te迭代求解X，其中：

5)利用矩阵A的稀疏特性，使用直接稀疏平方根法求解式AΔX＝-J^Te。

6)根据解X，能够得到稀疏全局调整后每幅图像的变换矩阵H'，将图像通过H'都变换到同一平面即得到优化后的拼接全景图。

相对于现有技术，本发明的有益技术效果是：

本发明提出的方法能够有效消除拼接全景图中明显的裂缝错位和图像变形，大部分地方都能够较好的拼接上，而且具有比较好的连续性，拼接整体效果较好。本发明提出的方法较好解决了拼接图中红框标出处与实际位置不一致，错位比较严重的问题。本发明中提出的方法更加适用于高原地区无人机航拍视频图像全景拼接。

附图说明：

图1是本发明的流程框图；

图2是基于尺度不变特征转换特征匹配的图像配准结果示例1；

图3是基于尺度不变特征转换特征匹配的图像配准结果示例2；

图4是无法基于尺度不变特征转换特征进行图像配准示例；

图5是局部反馈调节方式；

图6是通过坐标信息获得变换参数的图像；

图7是视频“land1”拼接结果对比，其中图7(a)和7(b)分别为基于传统特征的图像拼接算法和本算法的拼接结果；

图8是视频“land2”拼接结果对比，其中图8(a)和8(b)分别为基于传统特征的图像拼接算法和本算法的拼接结果；

图9是视频“land3”拼接结果对比，其中图9(a)和9(b)分别为基于传统特征的图像拼接算法和本算法的拼接结果；

具体实施方式：

以下将结合实施例和附图对本发明做进一步详细说明。

参照图1所示的流程框图，本发明具体实施步骤如下：

第一步：对图像进行尺度不变特征转换特征提取和特征匹配；

根据尺度不变特征转换特征提取算法，提取高原地区无人机侦察视频图像的尺度不变特征转换特征点并利用特征点进行特征匹配从而得到图像之间的几何变换关系。部分高原地区无人机侦察视频图像能够提取较多的尺度不变特征转换特征并能成功的利用特征匹配进行图像拼接；但在这些图像序列中还有一部分图像只能提取到很少的尺度不变特征转换特征点或者提取到了比较多的尺度不变特征转换特征点但其中存在很多误匹配点，造成的结果要么是无法匹配，要么是因误匹配率高而无法得到很好地拼接效果。

(1)尺度不变特征转换特征点较多，能建立几何变换模型的情况

如图2，尺度不变特征转换特征检测得到的特征点数目分别为1368和3241，特征匹配对数为203，能够通过特征匹配计算得到几何变换模型，模型参数为

$H=\left[\begin{array}{ccc}1.0194& 0.0263& -204.2485\\ -0.0127& 1.0105& -710.8687\\ 0.0000& 0.0000& 1.0000\end{array}\right]$

(2)尺度不变特征转换特征点不足，能建立几何变换模型但配准误差大的情况

图3中的两幅图经过尺度不变特征转换特征提取算法得到的特征点数目分别为90和107，特征匹配对数为4，计算得到的几何变换模型参数为

$H=\left[\begin{array}{ccc}1.3129& 0.0230& -58.4901\\ 0.1973& 1.1415& -222.2602\\ 0.0004& -0.0001& 1.0000\end{array}\right]$

(3)尺度不变特征转换特征点极少，无法建立几何变换模型的情况

图4中的两幅图提取的尺度不变特征转换特征数目分别为14和16，特征匹配对数目为2，基于特征匹配计算图像变换透视模型至少需要4对特征匹配对，因此无法计算得到图像变换模型矩阵。

第二步：在无人机侦察视频系列图像拼接的过程中，一旦出现这种无法匹配的情况，就利用无人机惯导系统获取的辅助信息数据对前两次的拼接进行反馈调节。

拼接过程中选取第一帧图像作为参考图像，用I₀表示，从第二帧开始的无人机视频图像序列作为目标图像，表示为I_i(i＝1,2,3…)；每次拼接后得到的拼接图像表示为M_i(i＝1,2,3…)。在利用序列目标图像依次拼接的过程中，假设第n次拼接时出现尺度不变特征转换特征无法匹配或者配准效果极差的情况，根据建立的局部反馈机制，将对第n-1次拼接和第n-2次拼接进行调节。通过对目标图像I_n-1和I_n-2进行旋转、平移等局部微调操作，控制偏差在20个像素以内，改善本次拼接过程中图像特征提取和特征匹配的效果，如图5所示。

第三步：根据图像特征点之间的对应关系，建立优化目标函数，对生成的全景图进行全局稀疏调整。

在整个全景图拼接过程中，一部分拼接的图像通过提取尺度不变特征转换特征进行特征匹配得到单应矩阵中的八个参数从而经过图像变换镶嵌到全景图，还有一部分图像由于特征信息不足无法通过特征匹配得到单应矩阵。对于无法通过特征匹配得到单应矩阵的这些图像，可以利用通过坐标信息得到的变换参数对这些图像提取出来的少数稀疏的特征点进行坐标变换，确定它们在全景图中的位置；对于其他特征信息丰富，能通过特征匹配建立图像变换模型的图像中的特征点，通过这些特征点之间的对应关系和它们与通过坐标信息进行坐标变换的特征点之间的对应关系，建立优化目标函数f(X)。

假设全部共有M图像用于拼接，其中M_f帧图像的变换参数通过坐标信息获得，如图6所示，剩下M_u(M_u＝M-M_f)帧图像的单应矩阵参数通过特征点匹配确定。令其中X_i表示M_u帧图像中第i帧的图像变换参数，由其对应的单应矩阵H中的8个参数组成的列向量构成，即

X_i＝(h₁₁,h₁₂,h₁₃,h₂₁,h₂₂,h₂₃,h₃₁,h₃₂,h₃₃)^T。

因此，优化目标函数可定义为

$f\left(X\right)=\underset{i=1}{\overset{N}{\Σ}}{e}_i^T{e}_i---\left(1\right)$

其中：

$e_i=\{\begin{array}{cc}{P}_{i,m}^f-T_n\left(P_{i,n}\right)& i=1,...,N_f\\ T_r\left(P_{i,r}\right)-T_s\left(P_{i,s}\right)& i=N_f+1,...,N\end{array}---\left(2\right)$

N_f表示利用坐标信息的图像与利用特征信息的图像之间的特征对应个数；

表示利用坐标信息得到的图像变换参数对图像中的特征点坐标变换后的坐标，在式(2)中为常量；

T_n(P_i,n)表示用通过特征匹配的M_u帧图像中的第n帧图像的变换参数X_n对该图像中的一个特征点P_i,n进行坐标变换的坐标；

是利用坐标信息的图像与利用特征信息的图像之间的一对匹配的特征点；

(P_i,r,P_i,s)是利用坐标信息的图像之间的一对匹配的特征点。

以全部图像通过坐标信息得到的变换参数作为初值，用最小二乘法(LM)进行求解。令

A＝J^TJ+λE(3)

其中：E为单位矩阵；

$e={(e_1^T,e_2^T,\mathrm{...},e_N^T)}^T;$

为Jacobian矩阵。

LM算法通过以下线性方程迭代求解X

AΔX＝-J^Te(4)

由于高原地区无人机视频图像中包含的特征匹配点较少，稀疏全局调整过程中，每帧图像只包含全部N对匹配点中的极少部分特征点，利用公式(4)中的矩阵A的稀疏特性，使用chlomod计算包中的直接稀疏cholesky分解方法(即平方根法)求解公式(4)。根据解X，可以得到稀疏全局调整后每幅图像的变换矩阵H'，将图像通过H'都变换到同一平面即得到优化后的拼接全景图。

本发明的效果可以通过3段分别编号“land1”、“land2”和“land3”的真实高原地区无人机侦察视频的全景拼图实验进一步说明:

实验仿真环境：Matlab2013a，Inteli3-2100，3.10GHzCPU，2GB内存。

实验对比算法：基于特征的图像拼接算法。

实验结果评价：用拼接帧数，拼接帧数越多，则说明算法更有效，能展现高原地区更大范围的全景图。

实验内容与结果：

表1列出了基于特征的图像拼接算法以及本文算法分别对三段高原地区无人机侦察视频的图像序列进行拼接时能成功拼接的帧数，通过对比可以看出在对高原地区无人机侦察视频图像拼接时本文提出的算法更有效，能展现高原地区更大范围的全景图。

表1

图7(a)和7(b)分别为基于传统特征的图像拼接算法和本算法对“land1”视频中挑选出的拼接帧序列得到的拼接结果。从图中可以看出，本发明提出的方法能够有效消除拼接全景图中明显的裂缝错位和图像变形，大部分地方都能够较好的拼接上，而且具有比较好的连续性；

图8(a)和8(b)分别为基于传统特征的图像拼接算法和本算法对“land2”视频中挑选出的拼接帧序列得到的拼接结果。从图中可以看出，本发明提出的方法较好的展现了目标区域的全貌，拼接整体效果较好。

图9(a)和9(b)分别为基于传统特征的图像拼接算法和本算法对“land3”视频中挑选出的拼接帧序列得到的拼接结果。从图中可以看出，本发明提出的方法较好解决了拼接图中红框标出处与实际位置不一致，错位比较严重的问题。

本发明中提出的方法更加适用于高原地区无人机航拍视频图像全景拼接。

以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (1)

1.基于局部反馈机制与稀疏全局调整的航拍图像拼接方法，其特征在于：

首先，根据尺度不变特征转换特征提取算法，提取无人机侦察视频图像的尺度不变特征转换特征点并利用特征点进行特征匹配从而得到图像之间的几何变换关系；在对无人机侦察视频图像进行尺度不变特征转换特征提取和匹配过程中，一旦出现无人机侦察视频图像的尺度不变特征转换特征点少，特征匹配对不足以建立几何变换模型，或足以建立几何变换模型但图像拼缝处有明显错位，就利用无人机惯导系统获取的辅助信息数据对前两次的拼接进行反馈调节，建立了一种局部反馈机制，包括如下步骤：

1)根据无人机惯导系统所记录的惯导数据中获得图像的坐标信息，将图像投影到WGS84坐标系下，确定图像在拼接图中的粗略位置和图像间的变换参数；

2)根据图像I_n在拼接图中的粗略位置控制偏差在20个像素以内，对目标图像I_n-1和I_n-2进行旋转和平移；假设第n次拼接时需进行反馈调节，根据建立的局部反馈机制，将对第n-1次拼接和第n-2次拼接进行调节；选取第一帧图像作为参考图像，用I₀表示，从第二帧开始的无人机视频图像序列作为目标图像，表示为I_i(i＝1,2,3…)；每次拼接后得到的拼接图像表示为M_i(i＝1,2,3…)；

其次，建立了一个优化目标函数，通过求解优化目标函数对拼接全景图进行稀疏全局调整，包括如下步骤：

1)对于无法通过特征匹配得到单应矩阵的这些图像，利用通过坐标信息得到的变换参数对这些图像提取出来的少数稀疏的特征点进行坐标变换，确定它们在全景图中的位置；

2)对于其他特征信息丰富，能通过特征匹配建立图像变换模型的图像中的特征点，通过这些特征点之间的对应关系和它们与通过坐标信息进行坐标变换的特征点之间的对应关系，建立优化目标函数f(X)；

优化目标函数f(X)定义为

$f\left(X\right)=\underset{i=1}{\overset{N}{\Σ}}{e}_i^T{e}_i---\left(1\right)$

其中：

$e_i=\left\{\begin{array}{cc}{P}_{i,m}^f-T_n\left(P_{i,n}\right)& i=1,...,N_f\\ T_r\left(P_{i,r}\right)-T_s\left(P_{i,s}\right)& i=N_f+1,...,N\end{array}\right.---\left(2\right)$

N_f表示利用坐标信息的图像与利用特征信息的图像之间的特征对应个数；表示利用坐标信息得到的图像变换参数对图像中的特征点坐标变换后的坐标，在式(2)中为常量；T_n(P_i,n)表示用通过特征匹配的M_u帧图像中的第n帧图像的变换参数X_n对该图像中的一个特征点P_i,n进行坐标变换的坐标；是利用坐标信息的图像与利用特征信息的图像之间的一对匹配的特征点；(P_i,r,P_i,s)是利用坐标信息的图像之间的一对匹配的特征点；其中X_i表示M_u帧图像中第i帧的图像变换参数，由其对应的单应矩阵H中的8个参数组成的列向量构成；

3)以全部图像通过坐标信息得到的变换参数作为初值，用最小二乘法(LM)进行求解；令A＝J^TJ+λE，A表示一个稀疏矩阵，λ表示任意两幅无法通过特征匹配得到单应矩阵的图像，它们的中心点之间的距离与图像的长边的比，λ的值取1.5，E表示单位矩阵，J表示雅克比矩阵；

4)LM算法通过线性方程AΔX＝-J^Te迭代求解X，其中：

5)利用矩阵A的稀疏特性，使用直接稀疏平方根法求解式AΔX＝-J^Te；

6)根据解X，能够得到稀疏全局调整后每幅图像的变换矩阵H'，将图像通过H'都变换到同一平面即得到优化后的拼接全景图。