CN105957018A - 一种无人机影像滤波分频拼接方法 - Google Patents

Abstract

本发明属于无人机遥感影像处理领域，涉及一种无人机影像滤波分频拼接方法，主要用来解决无人机影像拼接易出现鬼影、拼接缝问题。本发明首先利用高斯低通滤波将待拼接无人机影像对分解成低频影像对和高频影像对，然后对低频影像对采用加权平滑融合方法进行拼接处理，利用改进的动态规划算法搜索最优拼接线完成高频影像的拼接，最后将拼接好的低频影像对和高频影像对进行线性合成得到最终的拼接影像。本发明不仅可以较好的解决无人机影像拼接过程中出现的鬼影问题，最大化的避免拼接缝的出现，而且对亮度差异明显的无人机影像对也能取得良好的拼接效果。

Description

一种无人机影像滤波分频拼接方法

技术领域

本发明属于无人机遥感影像处理领域，特别是涉及一种无人机影像滤波分频拼接方法。

背景技术

无人机遥感系统具有灵活、实时、成本低的特点，在小区域和飞行困难地区快速获取高分辨率影像方面具有显著优势，已经成为提高测绘成果现势性的有力手段，被广泛的应用于军事、民用测绘领域中。但受飞行高度、相机视角的限制，单幅无人机影像的影像范围很难完全包含感兴趣的区域，使其应用受到了很大的限制。为了扩大视场范围，获得更多目标区域的信息，就需要对多幅具有一定重叠度的无人机影像进行拼接。

由于无人机质量较轻，易受高空风力影响，飞行姿态不稳定，得到的影像重叠不规则、曝光不均匀，使得拼接影像易出现鬼影、拼接过渡不连续，存在明显的拼接缝等现象。针对这些问题，国内外的学者进行了大量研究，解决办法主要有加权平滑融合方法、基于最优拼接线方法。

加权平滑融合方法，主要是根据重叠区域内的像素点在两幅影像上的距离关系，采用加权平滑处理来消除拼接缝，简单易于实现。但该方法是在影像的空间域直接对像素进行操作，当两幅影像存在配准误差、或者重叠区域纹理结构丰富的时候，容易产生鬼影、模糊现象，减弱影像纹理细节特征的表现。

基于最优拼接线方法旨在原始影像对上寻找一条灰度、几何结构差异较小的最优路径。虽然该方法可以保证重叠区域的纹理结构一致，避免出现鬼影现象，但并不能保证在克服鬼影的同时避免出现拼接缝。尤其当相邻影像存在明显亮度差异时，即使找到了最优拼接线也不能完全消除拼接缝，无法实现重叠区域的自然过渡。

通过对两类方法的分析，当待拼接的影像对纹理结构丰富，或者存在配准误差、辐射亮度差异大的时候，依靠单一的拼接方法无法取得满意的效果。

发明内容

本发明针对现有技术的不足，提供一种基于滤波分频的无人机影像拼接方法。通过该方法可以将加权平滑融合方法和基于最优拼接线方法结合起来，充分利用两类方法的优势，做到在克服鬼影的同时较好的消除拼接缝，实现无人机影像的无缝拼接。

为了达到上述目的，本发明提供的技术方案是一种无人机影像滤波分频拼接方法，包括以下步骤：

步骤1，利用高斯低通滤波将待拼接的无人机影像对分解成低频影像对和高频影像对；

步骤2，对低频影像对采用加权平滑融合方法进行拼接处理；

步骤3，利用改进的动态规划算法搜索最优拼接线完成高频影像对的拼接，其中改进的动态规划算法搜索最优拼接线包括以下子步骤，

步骤3.1，定义最优拼接线的能量函数值；

步骤3.2，定义最优拼接线的搜索方向；

步骤3.3，定义最优拼接线选取准则，确定最优拼接线；

步骤4，将拼接好的低频影像对和高频影像对进行线性合成得到平滑无缝的无人机拼接影像。

而且，所述步骤2中，对低频影像对采用加权平滑融合方法进行拼接处理的实现方式如下，

假设两幅低频影像在拼接影像中的重叠区域为Φ₀，非重叠区域分别为Φ₁和Φ₂，令I1表示区域Φ₁中影像的灰度，I₂表示区域Φ₂中影像的灰度，I_p表示拼接影像的灰度，则融合公式如下，

$I_p(x,y)=\left\{\begin{array}{cc}{I}_1(x,y)& (x,y)\∈{\mathrm{\Φ}}_1\\ (1-\mathrm{\λ})\×I_1(x,y)+\mathrm{\λ}\×I_2(x,y)& (x,y)\∈{\mathrm{\Φ}}_0\\ I_2(x,y)& (x,y)\∈{\mathrm{\Φ}}_2\end{array}\right.---\left(1\right)$

其中，(x,y)是像素点在拼接影像中的行列号，λ是权重因子，通过λ可以强调离重叠中心近的像素的贡献，减少图像边缘处像素的影响，以减小误差；

假设W和H分别表示重叠区域的宽度和高度，若重叠区域不规则，则利用其最小外接矩形进行计算，Δw和Δh分别为重叠区域中像素点到左下角点在水平、竖直方向上的距离；当两幅影像仅存在水平位移时，取λ＝(W-Δw)/W；仅存在竖直位移时，取λ＝(H-Δh)/H；当两幅影像存在双向位移时，此时通过下式计算，

$\left.\begin{array}{c}\mathrm{\λ}={\mathrm{\μ}}_1/({\mathrm{\μ}}_1+{\mathrm{\μ}}_2)\\ {\mathrm{\μ}}_1=(H-\mathrm{\Δ}h)/H,{\mathrm{\μ}}_2=(W-\mathrm{\Δ}w)/W\end{array}\right\}---\left(2\right)$

其中，μ₁为竖直方向的参数调整因子，μ₂为水平方向的参数调整因子。

而且，所述步骤3.1中，定义最优拼接线的能量函数值的实现方式如下，

定义能量函数为，

C(x,y)＝C_dif(x,y)+C_edge(x,y) (3)

$C_{dif}(x,y)=\max \left(\begin{array}{c}\frac{1}{7\×7}\left(\underset{i=-3}{\overset{3}{\Σ}}\underset{j=-3}{\overset{3}{\Σ}}\right|d_1(x+i,y+j)\left|\right)\\ \frac{1}{7\×7}\left(\underset{i=-3}{\overset{3}{\Σ}}\underset{j=-3}{\overset{3}{\Σ}}\right|d_2(x+i,y+j)\left|\right)\\ \frac{1}{7\×7}\left(\underset{i=-3}{\overset{3}{\Σ}}\underset{j=-3}{\overset{3}{\Σ}}\right|d_3(x+i,y+j)\left|\right)\end{array}\right)---\left(4\right)$

$C_{edge}(x,y)=max\left(\frac{1}{7\×7}\underset{i=-3}{\overset{3}{\Σ}}\underset{j=-3}{\overset{3}{\Σ}}{G}_m\right(x+i,y+j\left)\right),m\∈\[1,3\]---\left(5\right)$

G_m(x,y)＝max(|d_m(x,y)|*S_n),n∈[1,8] (6)

$\begin{array}{c}{S}_1=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right],S_2=\left[\begin{array}{ccc}2& 1& 0\\ 1& 0& -1\\ 0& -1& -2\end{array}\right],S_3=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right],S_4=\left[\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right]\\ S_5=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],S_6=\left[\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right],S_7=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],S_8=\left[\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right]\end{array}---\left(7\right)$

其中，d_m(x,y)表示像素点(x,y)在差值影像中三通道的灰度值；C_dif(x,y)是在差值影像中像素点(x,y)周围7×7邻域内三通道灰度均值的最大值；G_m(x,y)是在差值影像中像素点(x,y)的8方向梯度值的最大值，S_n表示8个方向的Sobel算子模板，n＝1对应0°，n＝2对应45°，n＝3对应90°，n＝4对应135°，n＝5对应180°，n＝6对应225°，n＝7对应270°，n＝8对应315°，C_edge(x,y)取像素点(x,y)周围7×7邻域内G_m(x,y)均值的最大值。

而且，所述步骤3.2中，定义重叠区域内像素对左或右各1个像素点和正上方各3个像素点共8个像素点为搜索方向。

而且，所述步骤3.3中，定义选取最长线为最优拼接线，拼接线的走向要适应重叠区域的形状，且尽量靠近重叠影像的中心线的准则，确定最优拼接线，实现方式如下，

假设重叠区域差值影像大小为m×n，若重叠区域不规则，可利用其最小外接矩形将其扩展为规则区域，能量矩阵为C，能量累积矩阵为Cum1和Cum2，方向矩阵为Dir1和Dir2，线长矩阵为Len1、Len2，四类矩阵的大小均等于重叠区域；能量矩阵C可由步骤3.1计算得到，方向矩阵和能量累积矩阵根据像素点的能量值和其搜索方向上像素点能量值计算并比较得到，Dir1、Cum1、Len1和Dir2、Cum2、Len2分别为从左向右和从右向左进行搜索时的方向矩阵、能量累积矩阵和线长矩阵；最优拼接线的搜索流程如下，

1)对于第1行的像素点(1,y)，令其能量累积值均等于其能量值，方向值为0，线长值为1，即

$\left.\begin{array}{c}Cum1(1,y)=Cum2(1,y)=C(1,y)\\ Dir1(1,y)=Dir2(1,y)=0\\ Len1(1,y)=Len2(1,y)=1\end{array}\right\}---\left(8\right)$

2)对于第1行以外的其他行依次处理，记当前处理第x行，假设当前像素点的坐标为(x,y)，首先从左至右进行搜索，设M为像素点(x,y)搜索方向像素点中最小能量累积值，

$M=Min\left(\begin{array}{c}Cum1(x-1,y-1),Cum1(x-1,y),Cum1(x-1,y+1),Cum1(x,y-1)\\ Cum2(x-1,y-1),Cum2(x-1,y),Cum2(x-1,y+1)\end{array}\right)---\left(9\right)$

则能量累积值和线长值计算如下，

$\begin{array}{c}Cum1(x,y)=C(x,y)+M\\ Len1(x,y)=l+1\end{array}---\left(10\right)$

从左向右进行搜索时，比较Cum1(x,y)左侧1个像素点及正上方3个像素点和对应的Cum2(x,y)正上方3个像素点共七个方向像素点的能量累积值，选取能量累积值最小的像素点为连接点，即M值最小的点，修改Dir1(x,y)为该点的方向值，并更新Cum1(x,y)为当前计算得到的和值；特殊的，对位于左边界的点，只比较Cum 1(x,y)正上方2个像素点和对应的Cum2(x,y)正上方2个像素点共四个方向像素点的能量累积值；而右边界上的点，需比较Cum2(x,y)正上方2个像素点和对应的Cum1(x,y)正上方2个像素点及左侧1个像素点共五个方向像素点的能量累积值，设l为能量累计值最小的像素点对应的拼接线长度，更新Len1(x,y)的值为l+1；

然后从右至左进行扫描，其过程与从左向右相似，但在逆向扫描的过程中，需要比较Cum2(x,y)右侧1个像素点及正上方3个像素点和对应的Cum1(x,y)正上方3个像素点共7个方向的像素点，找到能量累积值最小的像素点后，以该点作为连接点，修改Dir2(x,y)为该点的方向值，更新Cum2(x,y)为当前计算得到的和值，并更新Len2(x,y)的值为l+1；特殊的，对于右边界上的点，比较Cum2(x,y)正上方2个像素点和对应的Cum1(x,y)正上方2个像素点共四个方向像素点的能量累积值；而位于左边界的点，只比较Cum 1(x,y)正上方2个像素点和对应的Cum2(x,y)正上方2个像素点及右侧1个像素点共五个方向像素点能量累积值，当执行到最左侧的时候，该行结束，跳到下一行继续执行从左至右的扫描；

3)当最后一行扫描结束后，得到了最终的能量累积矩阵、方向矩阵和线长矩阵，统计Len1和Len2中最后一行线长值的大小，将最大线长值对应的点设置为终点；

4)根据方向矩阵由终止点开始进行逆向寻找，并标识找到的点，当执行到第一行时寻找结束，最优拼接线为所有被标识的点的连线。

与现有技术相比，本发明利用加权平滑融合方法对低频影像对进行拼接处理，可以很好的消除影像中的拼接缝，而基于最优拼接线对高频影像对的拼接则可避免拼接影像出现的鬼影现象，最大程度的保证拼接线两侧纹理结构的一致性。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例低频影像对的加权平滑融合规则图，其中图2a为仅具有水平位移的示意图，图2b为具有双向位移的示意图。

图3为本发明实施例最优拼接线搜索方法示意图，其中图3a为本发明实施例最优拼接线搜索方法从左到右搜索时Dir1的取值示意图，图3b为本发明实施例最优拼接线搜索方法从右到左搜索时Dir2的取值示意图。

具体实施方式

本发明提供一种滤波分频的无人机影像拼接方法，首先利用高斯低通滤波将待拼接的无人机影像对分解成低频影像对和高频影像对，然后对低频影像对采用加权平滑融合方法进行拼接，利用改进的动态规划算法搜索最优拼接线完成高频影像对的拼接，最后将拼接好的低频影像和高频影像进行线性合成得到平滑无缝的无人机拼接影像。

下面结合附图和实施例对本发明的技术方案作进一步说明。

如图1所示，本发明实施例的流程包括以下步骤：

步骤1，利用高斯低通滤波将待拼接的无人机影像对分解成低频影像对和高频影像对。

本发明利用高斯低通滤波^[1]对待拼接的无人机影像对进行分解，可以分别获得其高频、低频部分影像。低频部分影像主要反映无人机影像的色调、亮度信息，利用加权平滑融合方法可以很好的调整拼接影像的整体色调，消除拼接缝，实现重叠区域的自然过渡。高频部分影像主要包含无人机影像的轮廓、几何结构信息，直接利用加权平滑融合方法进行拼接容易出现鬼影、模糊现象，而通过动态规划算法搜索一条最优拼接线，使其两侧色调、亮度、几何结构差异最小，可以有效地减少鬼影、模糊现象的出现。

[1]Wang M,Pan J,Chen S Q,et al.A method of removing the unevenillumination phenomenon for optical remote sensing image[C].IEEEinternational geoscience remote sensing symposium(IGARSS),Seoul,SOUTH Korea,2005.

步骤2，对低频影像对采用加权平滑融合方法进行拼接处理，具体实施如下：

对分解得到的低频影像对，采用加权平滑融合方法进行拼接。如图2a和图2b所示，假设两幅低频影像在拼接影像中的重叠区域为Φ₀，非重叠区域分别为Φ₁和Φ₂，令I₁表示区域Φ₁中影像的灰度，I₂表示区域Φ₂中影像的灰度，I_p表示拼接影像的灰度，则融合公式为：

$I_p(x,y)=\left\{\begin{array}{cc}{I}_1(x,y)& (x,y)\∈{\mathrm{\Φ}}_1\\ (1-\mathrm{\λ})\×I_1(x,y)+\mathrm{\λ}\×I_2(x,y)& (x,y)\∈{\mathrm{\Φ}}_0\\ I_2(x,y)& (x,y)\∈{\mathrm{\Φ}}_2\end{array}\right.---\left(1\right)$

其中，(x,y)是像素点在拼接影像中的行列号，λ是权重因子，通过λ可以强调离重叠中心近的像素的贡献，减少图像边缘处像素的影响，以减小误差。

假设W和H分别表示重叠区域的宽度和高度(若重叠区域不规则，则利用其最小外接矩形进行计算)，Δw和Δh分别为重叠区域中像素点到左下角点在水平、竖直方向上的距离。当两幅影像仅存在水平位移时，取λ＝(W-Δw)/W；仅存在竖直位移时，取λ＝(H-Δh)/H；当两幅影像存在双向位移时，需要考虑水平、竖直两个方向的位移，设μ₁为竖直方向的参数调整因子，μ₂为水平方向的参数调整因子，此时通过下式计算：

$\left.\begin{array}{c}\mathrm{\λ}={\mathrm{\μ}}_1/({\mathrm{\μ}}_1+{\mathrm{\μ}}_2)\\ {\mathrm{\μ}}_1=(H-\mathrm{\Δ}h)/H,{\mathrm{\μ}}_2=(W-\mathrm{\Δ}w)/W\end{array}\right\}---\left(2\right)$

步骤3，利用改进的动态规划算法搜索最优拼接线完成高频影像对的拼接；

本发明在Duplaquet提出的拼接线搜索方法基础上，重新定义了最优拼接线的能量准则，并增加了最优拼接线的搜索方向，提出了新的最优拼接线选取准则，选取最优拼接线完成高频影像对的拼接。具体包括以下步骤：

步骤3.1，定义最优拼接线的能量函数值；

假设Img1和Img2是两幅待拼接的原始影像，本发明的定义能量函数为：

C(x,y)＝C_dif(x,y)+C_edge(x,y) (3)

其中：

$C_{dif}(x,y)=\max \left(\begin{array}{c}\frac{1}{7\×7}\left(\underset{i=-3}{\overset{3}{\Σ}}\underset{j=-3}{\overset{3}{\Σ}}\right|d_1(x+i,y+j)\left|\right)\\ \frac{1}{7\×7}\left(\underset{i=-3}{\overset{3}{\Σ}}\underset{j=-3}{\overset{3}{\Σ}}\right|d_2(x+i,y+j)\left|\right)\\ \frac{1}{7\×7}\left(\underset{i=-3}{\overset{3}{\Σ}}\underset{j=-3}{\overset{3}{\Σ}}\right|d_3(x+i,y+j)\left|\right)\end{array}\right)---\left(4\right)$

$C_{edge}(x,y)=max\left(\frac{1}{7\×7}\underset{i=-3}{\overset{3}{\Σ}}\underset{j=-3}{\overset{3}{\Σ}}{G}_m\right(x+i,y+j\left)\right),m\∈\[1,3\]---\left(5\right)$

G_m(x,y)＝max(|d_m(x,y)|*S_n),n∈[1,8] (6)

$\begin{array}{c}{S}_1=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right],S_2=\left[\begin{array}{ccc}2& 1& 0\\ 1& 0& -1\\ 0& -1& -2\end{array}\right],S_3=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right],S_4=\left[\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right]\\ S_5=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],S_6=\left[\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right],S_7=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],S_8=\left[\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right]\end{array}---\left(7\right)$

式中d_m(x,y)表示像素点(x,y)在差值影像中三通道的灰度值。C_dif(x,y)是在差值影像中像素点(x,y)周围7×7邻域内三通道灰度均值的最大值。G_m(x,y)是在差值影像中像素点(x,y)的8方向梯度值的最大值，如式(7)所示S_n表示8个方向的Sobel算子模板(n＝1对应0°，n＝2对应45°，n＝3对应90°，n＝4对应135°，n＝5对应180°，n＝6对应225°，n＝7对应270°，n＝8对应315°)，C_edge(x,y)取像素点(x,y)周围7×7邻域内G_m(x,y)均值的最大值。在计算C_edge(x,y)时加入邻域结构的变化信息，可提前预测是否靠近结构变化大的区域，为拼接线的下一步搜索提供转变的空间，提前避免出现穿越现象。

步骤3.2，定义最优拼接线的搜索方向；

Duplaquet提出的方法只检测当前点下方的3个相邻方向，当重叠区域有房屋、树木等高大建筑物时，由于房顶像点的变形与地面点的变形不一致，拼接线极有可能会穿过房屋，出现错位现象。为避免这种情况的发生，本发明提出一种双通道搜索拼接线的思路，检测重叠区域内像素对左或右各1个像素点和正上方各3个像素点共8个像素点为搜索方向。如图3a和图3b所示，设点P为当前点，重新定义八个比较方向，分别为1、2、3、4、11、22、33、66。

步骤3.3，定义最优拼接线选取准则，确定最优拼接线；

Duplaquet提出的拼接线搜索方法可以保证得到的备选拼接线长度均相等，并选取能量值最小的拼接线为最优拼接线。徐亚明改进了Duplaquet的搜索方法，且认为能量值与拼接线长度的比值，即平均强度值最小者最优。本发明认为刻意的追求拼接线的能量值最小，或者平均强度值最小并不能作为最优拼接线的选取准则，因为二者在寻线的过程中都会限制拼接线的长度，当遇到的障碍物面积较大或者分布密集的时候，不可避免会穿越而过。况且拼接线的搜索本就是一个能量最小值聚合的过程，每一条线都是由邻域中能量值最小的像素点组合而成。因此，本发明提出选择最长线为最优拼接线，此外拼接线的走向要适应重叠区域的形状，且尽量靠近重叠影像的中心线。

假设重叠区域差值影像大小为m×n(若重叠区域不规则，可利用其最小外接矩形将其扩展为规则区域)，能量矩阵为C，能量累积矩阵为Cum1和Cum2，方向矩阵为Dir1和Dir2，线长矩阵为Len1、Len2，四类矩阵的大小均等于重叠区域。能量矩阵C可由式(3)计算得到，方向矩阵和能量累积矩阵根据像素点的能量值和其搜索方向上像素点能量值计算并比较得到，方向矩阵与搜索方向对应，其元素取值只有8个数值，Dir1、Cum1、Len1和Dir2、Cum2、Len2分别为从左向右和从右向左进行搜索时的方向矩阵、能量累积矩阵和线长矩阵。本发明改进的最优拼接线的搜索流程如下：

1)对于第1行的像素点(1,y)，令其能量累积矩阵值均等于其能量值，方向值为0，线长值为1，即

$\left.\begin{array}{c}Cum1(1,y)=Cum2(1,y)=C(1,y)\\ Dir1(1,y)=Dir2(1,y)=0\\ Len1(1,y)=Len2(1,y)=1\end{array}\right\}---\left(8\right)$

2)以第x行为例，阐述其他行的执行过程。假设当前点的坐标为(x,y)，首先从左至右进行搜索，设M为像素点(x,y)搜索方向像素点中最小能量累积值，

$M=Min\left(\begin{array}{c}Cum1(x-1,y-1),Cum1(x-1,y),Cum1(x-1,y+1),Cum1(x,y-1)\\ Cum2(x-1,y-1),Cum2(x-1,y),Cum2(x-1,y+1)\end{array}\right)---\left(9\right)$

则能量累计值和线长值计算如下：

$\begin{array}{c}Cum1(x,y)=C(x,y)+M\\ Len1(x,y)=l+1\end{array}---\left(10\right)$

如图3a所示，从左向右进行搜索时，比较Cum1(x,y)左侧1个像素点及正上方3个像素点(1、2、3、4)和对应的Cum2(x,y)正上方3个像素点(11、22、33)共七个方向像素点的能量累积值，选取能量累积值最小的像素点为连接点，即M值最小的点，修改Dir1(x,y)为该点的方向值(这里的方向值指的是搜索方向1、2、3、4、11、22、33中的某一个值)，并更新Cum1(x,y)为当前计算得到的和值。特殊的，对位于左边界的点，只比较Cum 1(x,y)正上方2个像素点(2、3)和对应的Cum2(x,y)正上方2个像素点(22、33)共四个方向像素点能量累积值；而右边界上的点，需比较Cum2(x,y)正上方2个像素点(11、22)和对应的Cum1(x,y)正上方2个像素点及左侧1个像素点(1、2、4)共五个方向像素点的能量累积值。设l为能量累计值最小的像素点对应的拼接线长度，更新Len1(x,y)的值为l+1。

如图3b所示，然后从右至左进行扫描，其过程与从左向右相似，但在逆向扫描的过程中，需要比较Cum2(x,y)正上方3个像素点及右侧1个像素点(11、22、33、66)和对应的Cum1(x,y)正上方3个像素点(1、2、3)共七个方向的像素点，找到能量累积值最小的像素点后，以该点作为连接点，修改Dir2(x,y)为该点的方向值(这里的方向值指的是搜索方向1、2、3、11、22、33、66中的某一个值)，更新Cum2(x,y)为当前计算得到的和值，并更新Len2(x,y)的值为l+1。特殊的，对于右边界上的点，比较Cum2(x,y)正上方2个像素点(11、22)和对应的Cum1(x,y)正上方2个像素点(1、2)共个四方向像素点的能量累积值；而位于左边界的点，只比较Cum 1(x,y)正上方2个像素点(2、3)和对应的Cum2(x,y)正上方2个像素点及右侧1个像素点(22、33、66)共五个方向像素点能量累积值。当执行到最左侧的时候，该行结束，跳到下一行继续执行从左至右的扫描。

3)当最后一行扫描结束后，得到了最终的能量累积矩阵(由像素点的能量累积值按行列构成)、方向矩阵(由像素点的方向值按行列构成)和线长矩阵(由像素点的线长值按行列构成)。统计Len1和Len2中最后一行线长值的大小，将最大线长值对应的点设置为终点。

4)根据方向矩阵由终止点开始进行逆向寻找，并标识找到的点。当执行到第一行时寻找结束，最优拼接线为所有被标识的点的连线。

步骤4，线性合成

最后将拼接好的高频、低频影像对进行线性合成^[2]得到平滑无缝的无人机拼接影像。

[2]Ting Lu,Shutao Li,Wei Fu.Fusion Based Seamless Mosaic for RemoteSensing Images[J].Sensing and Imaging,2014,15(1):1-14.参见图1，无人机影像Img1和Img2分别进行高斯低通滤波后得到相应低频影像和高频影像，分别经加权平滑融合获取拼接影像低频部分，经改进的动态规划搜索拼接线方法获取拼接影像高频部分，最后线性合成拼接影像。

具体实施时，以上流程可采用计算机软件技术实现自动运行流程。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于滤波分频的无人机影像拼接方法，其特征在于，包括如下步骤：

步骤1，利用高斯低通滤波将待拼接的无人机影像对分解成低频影像对和高频影像对；

步骤2，对低频影像对采用加权平滑融合方法进行拼接处理；

步骤3，利用改进的动态规划算法搜索最优拼接线完成高频影像对的拼接，其中改进的动态规划算法搜索最优拼接线包括以下子步骤，

步骤3.1，定义最优拼接线的能量函数值；

步骤3.2，定义最优拼接线的搜索方向；

步骤3.3，定义最优拼接线选取准则，确定最优拼接线；

步骤4，将拼接好的低频影像对和高频影像对进行线性合成得到平滑无缝的无人机拼接影像。

2.如权利要求1所述的一种基于滤波分频的无人机影像拼接方法，其特征在于：所述步骤2中，对低频影像对采用加权平滑融合方法进行拼接处理的实现方式如下，

假设两幅低频影像在拼接影像中的重叠区域为Φ₀，非重叠区域分别为Φ₁和Φ₂，令I₁表示区域Φ₁中影像的灰度，I₂表示区域Φ₂中影像的灰度，I_p表示拼接影像的灰度，则融合公式如下，

$I_p(x,y)=\left\{\begin{array}{cc}{I}_1(x,y)& (x,y)\∈{\mathrm{\Φ}}_1\\ (1-\mathrm{\λ})\×I_1(x,y)+\mathrm{\λ}\×I_2(x,y)& (x,y)\∈{\mathrm{\Φ}}_0\\ I_2(x,y)& (x,y)\∈{\mathrm{\Φ}}_2\end{array}\right.---\left(1\right)$

其中，(x,y)是像素点在拼接影像中的行列号，λ是权重因子，通过λ可以强调离重叠中心近的像素的贡献，减少图像边缘处像素的影响，以减小误差；

假设W和H分别表示重叠区域的宽度和高度，若重叠区域不规则，则利用其最小外接矩形进行计算，Δw和Δh分别为重叠区域中像素点到左下角点在水平、竖直方向上的距离；当两幅影像仅存在水平位移时，取λ＝(W-Δw)/W；仅存在竖直位移时，取λ＝(H-Δh)/H；当两幅影像存在双向位移时，此时通过下式计算，

$\left.\begin{array}{c}\mathrm{\λ}={\mathrm{\μ}}_1/({\mathrm{\μ}}_1+{\mathrm{\μ}}_2)\\ {\mathrm{\μ}}_1=(H-\mathrm{\Δ}h)/H,{\mathrm{\μ}}_2=(W-\mathrm{\Δ}w)/W\end{array}\right\}---\left(2\right)$

其中，μ₁为竖直方向的参数调整因子，μ₂为水平方向的参数调整因子。

3.如权利要求2所述的一种基于滤波分频的无人机影像拼接方法，其特征在于：所述步骤3.1中，定义最优拼接线的能量函数值的实现方式如下，

定义能量函数为，

C(x,y)＝C_dif(x,y)+C_edge(x,y) (3)

$C_{dif}(x,y)=max\left(\begin{array}{c}\frac{1}{7\×7}\left(\underset{i=-3}{\overset{3}{\Σ}}\underset{j=-3}{\overset{3}{\Σ}}\right|d_1\left(x+i,y+j\right)\left|\right)\\ \frac{1}{7\×7}\left(\underset{i=-3}{\overset{3}{\Σ}}\underset{j=-3}{\overset{3}{\Σ}}\right|d_2\left(x+i,y+j\right)\left|\right)\\ \frac{1}{7\×7}\left(\underset{i=-3}{\overset{3}{\Σ}}\underset{j=-3}{\overset{3}{\Σ}}\right|d_3\left(x+i,y+j\right)\left|\right)\end{array}\right)---\left(4\right)$

$C_{edge}(x,y)=\max \left(\frac{1}{7\×7}\underset{i=-3}{\overset{3}{\Σ}}\underset{j=-3}{\overset{3}{\Σ}}{G}_m\right(x+i,y+j\left)\right),m\∈\[1,3\]---\left(5\right)$

G_m(x,y)＝max(|d_m(x,y)|*S_n),n∈[1,8] (6)

$\begin{array}{c}{S}_1=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right],S_2=\left[\begin{array}{ccc}2& 1& 0\\ 1& 0& -1\\ 0& -1& -2\end{array}\right],S_3=\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right],S_4=\left[\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right]\\ S_5=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],S_6=\left[\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right],S_7=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],S_8=\left[\begin{array}{ccc}0& 1& 2\\ -1& 0& 1\\ -2& -1& 0\end{array}\right]\end{array}---\left(7\right)$

其中，d_m(x,y)表示像素点(x,y)在差值影像中三通道的灰度值；C_dif(x,y)是在差值影像中像素点(x,y)周围7×7邻域内三通道灰度均值的最大值；G_m(x,y)是在差值影像中像素点(x,y)的8方向梯度值的最大值，S_n表示8个方向的Sobel算子模板，n＝1对应0°，n＝2对应45°，n＝3对应90°，n＝4对应135°，n＝5对应180°，n＝6对应225°，n＝7对应270°，n＝8对应315°，C_edge(x,y)取像素点(x,y)周围7×7邻域内G_m(x,y)均值的最大值。

4.如权利要求3所述的一种基于滤波分频的无人机影像拼接方法，其特征在于：所述步骤3.2中，定义重叠区域内像素对左或右各1个像素点和正上方各3个像素点共8个像素点为搜索方向。

5.如权利要求4所述的一种基于滤波分频的无人机影像拼接方法，其特征在于：所述步骤3.3中，定义选取最长线为最优拼接线，拼接线的走向要适应重叠区域的形状，且尽量靠近重叠影像的中心线的准则，确定最优拼接线，实现方式如下，

假设重叠区域差值影像大小为m×n，若重叠区域不规则，可利用其最小外接矩形将其扩展为规则区域，能量矩阵为C，能量累积矩阵为Cum1和Cum2，方向矩阵为Dir1和Dir2，线长矩阵为Len1、Len2，四类矩阵的大小均等于重叠区域；能量矩阵C可由步骤3.1计算得到，方向矩阵和能量累积矩阵根据像素点的能量值和其搜索方向上像素点能量值计算并比较得到，Dir1、Cum1、Len1和Dir2、Cum2、Len2分别为从左向右和从右向左进行搜索时的方向矩阵、能量累积矩阵和线长矩阵；最优拼接线的搜索流程如下，

1)对于第1行的像素点(1,y)，令其能量累积值均等于其能量值，方向值为0，线长值为1，即

$\left.\begin{array}{c}Cum1(1,y)=Cum2(1,y)=C(1,y)\\ Dir1(1,y)=Dir2(1,y)=0\\ Len1(1,y)=Len2(1,y)=1\end{array}\right\}---\left(8\right)$

2)对于第1行以外的其他行依次处理，记当前处理第x行，假设当前像素点的坐标为(x,y)，首先从左至右进行搜索，设M为像素点(x,y)搜索方向像素点中最小能量累积值，

$M=Min\left(\begin{array}{c}Cum1(x-1,y-1),Cum1(x-1,y),Cum1(x-1,y+1),Cum1(x,y-1)\\ Cum2(x-1,y-1),Cum2(x-1,y),Cum2(x-1,y+1)\end{array}\right)---\left(9\right)$

则能量累积值和线长值计算如下，

$\begin{array}{c}Cum1(x,y)=C(x,y)+M\\ Len1(x,y)=l+1\end{array}---\left(10\right)$

从左向右进行搜索时，比较Cum1(x,y)左侧1个像素点及正上方3个像素点和对应的Cum2(x,y)正上方3个像素点共七个方向像素点的能量累积值，选取能量累积值最小的像素点为连接点，即M值最小的点，修改Dir1(x,y)为该点的方向值，并更新Cum1(x,y)为当前计算得到的和值；特殊的，对位于左边界的点，只比较Cum 1(x,y)正上方2个像素点和对应的Cum2(x,y)正上方2个像素点共四个方向像素点的能量累积值；而右边界上的点，需比较Cum2(x,y)正上方2个像素点和对应的Cum1(x,y)正上方2个像素点及左侧1个像素点共五个方向像素点的能量累积值，设l为能量累计值最小的像素点对应的拼接线长度，更新Len1(x,y)的值为l+1；

然后从右至左进行扫描，其过程与从左向右相似，但在逆向扫描的过程中，需要比较Cum2(x,y)右侧1个像素点及正上方3个像素点和对应的Cum1(x,y)正上方3个像素点共7个方向的像素点，找到能量累积值最小的像素点后，以该点作为连接点，修改Dir2(x,y)为该点的方向值，更新Cum2(x,y)为当前计算得到的和值，并更新Len2(x,y)的值为l+1；特殊的，对于右边界上的点，比较Cum2(x,y)正上方2个像素点和对应的Cum1(x,y)正上方2个像素点共四个方向像素点的能量累积值；而位于左边界的点，只比较Cum 1(x,y)正上方2个像素点和对应的Cum2(x,y)正上方2个像素点及右侧1个像素点共五个方向像素点能量累积值，当执行到最左侧的时候，该行结束，跳到下一行继续执行从左至右的扫描；

3)当最后一行扫描结束后，得到了最终的能量累积矩阵、方向矩阵和线长矩阵，统计Len1和Len2中最后一行线长值的大小，将最大线长值对应的点设置为终点；

4)根据方向矩阵由终止点开始进行逆向寻找，并标识找到的点，当执行到第一行时寻找结束，最优拼接线为所有被标识的点的连线。