CN102088569A - 低空无人飞行器序列图像拼接方法和系统 - Google Patents

Abstract

低空无人飞行器序列图像拼接方法，包括步骤：序列图像获取与相机畸变校正；特征点提取与图像匹配；图像拼接次序；全局优化拼接，按照所述拼接策路拼接图像，并进行全局平差。低空无人飞行器序列图像拼接系统，包括：特征点提取模块，对所述序列图像提取SURF特征点和HARRIS-AFFINE特征点；图像匹配模块，根据所述特征点计算相邻图像之间的单应矩阵，并去除完全偏航的坏图像；拼接次序生成模块，确定序列图像的拼接次序；图像拼接模块，按照所述拼接次序进行拼接与全局平差。

Description

低空无人飞行器序列图像拼接方法和系统

技术领域

本发明属于计算机视觉图像处理技术领域，特别涉及一种基于无人飞行器的航空序列图像自动拼接方法和系统。 

背景技术

基于无人飞行器的数码航拍已经在遥感、测绘、计算机视觉和模式识别等领域广泛应用。航拍图像序列自动拼接是将具有一定重合区域的航拍图像自动的拼接为视野范围较大的地面全景图象的过程，能够弥补单幅航空图片视野范围小的缺陷，有助于人们对航拍序列图像内容有更全面和直观的了解。 

无人飞行器又称无人驾驶飞行器，主要包括无人驾驶飞艇、无人驾驶直升机和无人驾驶固定翼型飞机。由于无人飞行器很难携带大载荷，一般仅搭载低精度低价格的GPS/IMU、飞行控制系统和家用数码相机或摄像机，且在一些特殊的野外环境中很难布置地面控制点。基于无人飞行器获取的航片像幅小，数量多，特别是因风速影响造成航带漂移，旁向重叠度不规则，图像的倾角和旋角过大，传统需要已知相机位姿参数和地面控制点的拼接方法无法解决上述问题。因此，迫切需要一种快速拼接测区内几百几千张图像的技术。 

在申请号为200810237427.8，发明名称为“无控制点图像拼接方法”的专利申请文件中，通过提取序列图像中每幅图像的特征点集，搜索相邻两幅图像之间的特征点的同名点对，利用RANSAC容错算法计算相邻两图像之间的单应变换关系，再利用连乘公式和融合技术得到拼接结果，主要针对视频图像。其中，利用连乘公式进行图像拼接是从第1幅图像到第N幅图像依次进行，按照原有序列图像的次序逐幅拼接。 

上述拼接过程存在如下缺陷： 

存在误差累积的问题，当图像序列中的某一对图像的单应矩阵计算中出现较大的误差，这个误差将影响其后的每一幅图像，导致这个误差不断的累积，后续的图像拼接的效果较差，当拼接的图像数量较大时，误差更为严重； 

此外，上述方案针对一种普遍意义的图像拼接问题，不是一种无人飞行器序列图像专用拼接方法。故而，基于无人飞行器获取的序列图像中夹杂有完全偏航等坏图像，上述方案无法将坏图像去除。 

发明内容

本发明的目的在于，提供一种无人飞行器序列图像专用拼接方法和系统，无须已知相机位姿参数和地面控制点，便可无缝拼接来无人飞行器的大范围区域的图像，解决序列图像拼接中存在的误差累积和偏航等坏图像自动识别去除问题。 

为达到上述目的，本发明提供一种低空无人飞行器序列图像拼接方法，包括步骤： 

步骤a，相机畸变差校正； 

步骤b，无人飞行器序列图像获取； 

步骤c，特征点提取与图像匹配； 

步骤d，确定图像的拼接次序； 

步骤e，图像拼接，按照所述拼接次序拼接图像； 

步骤f，全局优化，整体平差，重新调整单映矩阵。 

本发明进一步提供一种低空无人飞行器序列图像拼接系统，包括： 

特征点提取模块，对所述序列图像提取SURF特征点和HARRIS-AFFINE特征点； 

图像匹配模块，根据所述特征点计算相邻图像之间的单应矩阵；根据概率模型，验证匹配结果； 

拼接次序生成模块，根据相邻图像匹配度，确定序列图像的拼接次序； 

图像拼接模块，按照所述拼接次序和所述相邻图像之间的单应矩阵进行拼接； 

全局优化模块，消除拼接过程中产生的累积误差。 

本发明的有益效果在于，采用SURF特征和HARRIS-AFFINE特征(Scale&Affine Invariant Interest Point Detectors)结合，互相补充，提取序列图像中每一幅图像的特征点，使特征点分布均匀；采用RANSAC容错算法和对极几何约束对特征点对进行准确匹配，精确计算单应矩阵；采用概率模型验证匹配图像，保留好图像，去除完全偏航等坏图像；根据最小生成树(Minimum Spanning Tree， MST)的全局拼接策略获得序列图像的连通次序，避免产生大的累计误差；并采用全局优化方法，调整单应矩阵，使测区内几百张甚至上千张图像无缝拼合在一起。 

附图说明

图1为实施例一的图像拼接方法流程图； 

图2为实施例二的图像拼接方法流程图； 

图3为实施例三的图像拼接方法流程图； 

图4为图像校正示意图； 

图5为对极几何约束示意图； 

图6为利用RANSAC和对极几何约束关系的双向匹配方法流程图； 

图7为最小生成树全局拼接策略示意图； 

图8为大面积图像拼接方法； 

图9为相邻两图像提取的特征点的分布图； 

图10为利用RANSAC和对极几何约束后的相邻图像的匹配特征点的分布图； 

图11为野鸭湖6平方公里测区，无人飞艇获取的352张航片进行拼接的结果； 

图12为实施例四的图像拼接系统示意图； 

图13为实施例四中图像匹配模块示意图； 

图14为实施例五的图像拼接系统示意图； 

图15为实施例六的图像拼接系统示意图。 

图16为重叠区域估算示意图。 

具体实施方式

本发明提出的低空无人飞行器序列图像拼接方法，通过相机内参数标定校正相机畸变差；通过相机参数估计自动校正图像，采用SURF(Speeded Up RobustFeature)特征和HARRIS-AFFINE特征(Scale&Affine Invariant Interest PointDetectors)结合，互相补充，提取序列图像中每一幅图像的特征点，使特征点分布均匀；采用RANSAC(Random Sample Consensus，随机抽样一致性算法)容错算法和对极几何约束对特征点对进行准确匹配，精确计算单应矩阵；采用概率模型验证匹配图像，保留好图像，去除完全偏航等坏图像；根据最小生成树 (Minimum Spanning Tree，MST)的全局拼接策略获得序列图像的连通次序，避免产生大的累计误差；并采用全局优化方法，调整单应矩阵，使测区内几百张甚至上千张图像无缝拼合在一起。 

本发明无需地面布设控制点，无需已知相机精确的位姿参数，适合并行，多线程等高性能计算，应用成本低，效率高，操作简单。 

下面结合具体的实施例对本发明进行详细说明。 

实施例一 

本实施例中应用SURF特征点和HARRIS-AFFINE特征点，以及RANSAC容错算法和对极几何约束求解单应矩阵，提高拼接质量。 

图1所示为本发明实施例一的低空无人飞行器序列图像拼接方法的流程图，包括： 

步骤11，相机畸变差校正。 

步骤12，无人飞行器序列图像获取。 

步骤13，图像校正，确定相邻图像间的单应矩阵，包括以下子步骤： 

步骤131，特征提取，对序列图像提取SURF特征点和HARRIS-AFFINE特征点； 

步骤132，图像匹配，包括以下子步骤： 

步骤1321，利用马氏距离计算相邻图像间特征点的相似度进行初匹配； 

步骤1322，计算相邻图像的重叠区域； 

步骤1323，利用RANSAC容错算法加对极几何约束，对相邻图像间特征点进行精确匹配； 

步骤1324，根据精确匹配的特征点对计算相邻图像对之间的单应矩阵H_ij。 

步骤14，确定图像的拼接次序，依照最小生成树策略确定拼接的次序。 

步骤15，图像拼接，按照最小生成树表明的次序拼接图像。 

步骤16，全局优化，消除图像拼接过程中产生的累计误差。 

以下对实施例一中的步骤作详细说明： 

步骤11，相机畸变差校正。 

在航飞前进行相机畸变差校正。无人飞行器采取低空拍摄，大地曲率误差可以忽略，但是由于相机物镜系统设计、制作、装配引起的点位误差和图像变形，包括径向畸变和切向畸变，不容忽视。畸变差改正模型如下公式(王之卓，摄影测量原理)： 

Δx＝(x-x₀)(k₁r²+k₂r⁴)+ρ₁[r²+2(x-x₀)²]+2ρ₂(x-x₀)(y-y₀)+α(x-x₀)+β(y-y₀) 

Δy＝(y-y₀)(k₁r²+k₂r⁴)+2ρ₁(x-x₀)(y-y₀)+ρ₂[r²+2(y-y₀)²]+α(y-y₀)+β(x-x₀) 

                                                                      (1) 

其中，Δx，Δy为像点点位误差， 

(x₀，y₀)像主点，k₁k₂径向畸变系数，ρ₁，ρ₂切向畸变系数，α像素非正方形比例因子，βCCD排列非正交性的畸变系数。 

(k₁，k₂，ρ₁，ρ₂，α，β)和(x₀，y₀，f)是相机的内参数，可通过相机标定方法得到。 

根据公式(1)计算畸变差校正后的图像中像素点位： 

x＝x′-x₀+Δx 

y＝y′-y₀+Δy 

这里，(x′，y′)为观测值。 

步骤12，无人飞行器序列图像获取。 

根据航高、相机焦距、测区面积、重叠率等信息确定航线，确定每条航线所拍图像数量及其基本位置。考虑到风速影响，本发明建议航向重叠60％-80％，旁向重叠40％-60％，平台为三轴稳定，减少旋片。 

步骤13，图像校正，确定相邻图像间的单应矩阵。 

当相机的光轴垂直于地面拍摄时，拍摄的图像称为标准图像。标准图像是没有因为相机的旋转而引起变形的图像，这也是图像校正步骤希望达到的效果。 

当相机的光轴与地面之间存在倾角时，导致相机拍摄的图像具有形变，可以通过图像校正，旋转相机坐标系，使相机与地面零倾角，则可消除图像的变形。 

因此，图像校正的目标是将相机倾斜拍摄的图像变换到相机光轴垂直于地面拍摄的图像。图4所示为图像校正的示意图。 

假设拍摄中行高不变，相机焦距不变，相机沿着预定的航线拍摄，那么，影响图像拼接最主要的因素是相机绕着光轴的旋转运动。图像间的转换关系可以表示为特殊的单应关系。设每一个相机的转动向量为θ＝[θ₁，θ₂θ₃]，相机焦距f，则两图像间的单应关系为x_i＝H_ijx_j，这里，H_ij称为单应矩阵， 

$H_{\mathrm{ij}}=K_i{R}_i{R}_j^T{K}_j^{-1}---\left(2\right)$

$K_i=\left[\begin{array}{ccc}{f}_i& 0& 0\\ 0& f_i& 0\\ 0& 0& 1\end{array}\right]---\left(3\right)$

$R_i=e^{{\left[{\mathrm{\θ}}_i\right]}_{\×}},$ ${\left[{\mathrm{\θ}}_i\right]}_{\×}=\left[\begin{array}{ccc}0& -{\mathrm{\θ}}_{i3}& {\mathrm{\θ}}_{i2}\\ {\mathrm{\θ}}_{i3}& 0& -{\mathrm{\θ}}_{i1}\\ -{\mathrm{\θ}}_{i2}& {\mathrm{\θ}}_{i1}& 0\end{array}\right]---\left(4\right)$

因此，理论上，在图像校正阶段，第i幅图像相对于第j幅图像的变换满足x_i＝H_ijx_j，即 

$\left[\begin{array}{c}{x}_i\\ y_i\\ 1\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_j\\ y_j\\ 1\end{array}\right]---\left(5\right)$

这里，x_i＝(x_i，y_i，1)和x_j＝(x_j，y_j，1)是第i幅图像和第j幅图像的齐次坐标。 

按照单应矩阵H_ij对第j幅图像进行几何变换，对于第j张图像上的每一点(x_j，y_j)，可以得到第i幅图像上的对应点(x_i，y_i)。 

上述变换属于仿射变换，只要在相邻图像间找到仿射不变的4对特征点对，便可解出上述的单应矩阵H_ij。本实施例利用相邻图像上零星均匀分布的特征点对，通过解算单应矩阵，校正图像。 

步骤13包括的步骤为： 

步骤131，特征提取。 

从图像中提取稳健的特征，是图像拼接的基础。特征点应当足够多，又不宜太多。特征点的点数太少则不能满足统计的需要，点数太多又会造成巨大的计算量，影响后续图像匹配算法的速度。并且，特征点不应该聚集在一个小的局部范围内，应当保持适当的距离。特征点之间距离太小会影响后续图像匹配算法的精度。 

本发明将SURF特征点和HARRIS-AFFINE特征点结合，互相补充。SURF 特征与SIFT(Scale Invariant Feature Transform，尺度不变特征变换)特征相似，同样具有对旋转、尺度缩放、亮度变化、对视角变化、仿射变换保持不变性，对噪声也保持一定程度的稳定性。但是经过RANSAC容错处理之后，可靠的SURF特征往往集中在一起，这对图像拼接十分不利，易引起拼接误差。HARRIS-AFFINE也是一种仿射不变特征，且对角点特征提取十分准确。因此，本发明将SURF特征和HARRIS-AFFINE特征结合，互相补充，提取均匀分布的特征点。 

因为小波算子降噪效果相对高斯算法较好，故本发明采用小波金字塔对原图像抽样，对每一层执行SURF算法提取SURF特征，执行HARRIS-AFFINE算法提取HARRIS角点。然后，每层提取的特征点针对原图像复位。SURF特征附加HARRIS-AFFINE特征，从而使提取的图像特征点分布均匀。 

步骤132，图像匹配。 

图像匹配的目的是获取匹配的SURF特征和HARRIS-AFFINE特征点对，用于解算单应矩阵。 

图像匹配步骤是对于第i幅图像中的像点，如何确定映射到该点的空间点在第j幅图像中的位置。 

在本实施例中，步骤132包括的步骤为： 

步骤1321，利用马氏距离计算相邻图像间特征点的相似度进行初匹配。 

对SURF特征描述向量和HARRIS-AFFINE特征描述向量采用马氏距离作为相似性准则进行度量，马氏距离定义为： 

$M(X,Y)={\left|\right|X-Y\left|\right|}_{\mathrm{\Σ}}^2={(X-Y)}^T{\mathrm{\Σ}}^{-1}(X-Y)---\left(6\right)$

X和Y分别是相邻两幅图像中的特征描述向量，∑是Y的协方差矩阵。M越小，表明特征点对距离越“近”，相似程度越高。对于待匹配图像i和j中的特征点集，采用最近邻法搜索图像j中的特征点集，找到与图像i的特征点(x_i，y_i)马氏距离最近的特征点(x_j1，y_j1)和次近的特征点(x_j2，y_j2)，如果最近距离和次近距离的比值小于设定的阈值，则(x_i，y_i)与(x_j1，y_j1)是匹配特征点对。 

步骤1322，计算相邻图像的重叠区域。 

在步骤1321所述匹配特征点对中，如果(x_i，y_i)和(x′_j，y′_j)的马氏距离最近， 则认为其是最佳匹配点对，那么，重叠区域就是根据(x_i，y_i)和(x′_j，y′_j)计算出来的，记为(L1+L2)×(H1+H2)，如附图16。重叠区域是近似的，没有考虑图像倾斜和旋转情况。 

步骤1323，利用RANSAC容错算法加对极几何约束进行精确匹配。 

相邻图像间存在着对极几何约束关系，基础矩阵是对这一约束关系的数学描述，如图5所示为对极几何约束的示意图。对极几何约束是一种局部约束条件，可以除去错误的匹配特征点，还可以减少匹配的搜索范围。 

M为三维空间中一点，在相邻两幅图像上的投影分别为m和m′；C和C′为两个位置相机的光心；CC′连线与两幅图像分别交于点e和e′，称为极点，其对应的齐次坐标分别为e＝[e_x，e_y，1]，e′＝[e′_x，e′_y，1]；直线l′＝<m′，e′>为点m在右图像上的极线，直线l＝<m，e>称为点m′在左图像上的极线。则相应的对极几何约束关系可以描述为：一幅图像上的点m，在另一幅图像上的匹配特征点m′位于该点的极线上；在代数上，这一几何关系可以表示为一个3×3的基础矩阵F，它将一幅图像上的点m映射到该点在另一幅图像上的极线l′上，因而有： 

l′＝Fm＝<m′，e′>，l＝F^Tm′＝<m，e>                (7) 

对于图像点m，其匹配特征点一定位于极线Fm上，对于图像点m′，其匹配特征点一定位于极线F^Tm′上，从而得出基础矩阵F的基本关系式： 

m′^TFm＝0，Fe＝0，rank(F)＝2                         (8) 

这样，特征点的搜索范围由2维变为沿对极线1维搜索，大大缩小了搜索范围，增加了匹配特征点的正确率。 

由于基础矩阵F中只有7个独立变量，因此只要给出7组匹配特征点对，就可以确定基础矩阵。给定n个匹配特征点，随机抽取k个样本，每个样本由7组匹配特征点对组成。如果一个样本由7组正确的匹配特征点对构成，那么它是一个好样本。假设整个匹配集中含错误匹配的分数是ε，那么k个样本中至少有一个好样本的概率为：p＝1-(1-(1-ε)^s)^k。 

这里取s＝7。要求p必须接近于1，这里取95％。对于给定的ε，采样次数为： 

$k=\frac{\log (1-p)}{\log [1-{(1-\mathrm{\&epsiv;})}^7]}---\left(9\right)$

这里仍然取匹配特征点对到它们对应极线的马氏距离作为匹配的准则函数，匹配特征点对到它们对应极线的马氏距离为： 

ms＝∑(M(m′_i，Fm_i)+M(m_i，F^Tm′_i)) 

                             (10) 

利用RANSAC和对极几何约束关系的双向匹配方法流程如图6所示： 

步骤61，给出n对匹配特征点(n≥8)： 

1≤i≤n 

步骤62，计算采样次数k 

$k=\frac{\log (1-p)}{\log [1-{(1-\mathrm{\&epsiv;})}^7]}$

步骤63，对于每次采样，确定基础矩阵F，执行以下子步骤： 

步骤631，随机选取7组匹配特征点，计算基础矩阵F； 

步骤632，计算每组匹配特征点对到它们对应极线的马氏距离ms； 

步骤633，确定n对匹配特征点中马氏距离ms小于阈值的数目t，并将ms小于阈值的匹配特征点划为内点，保留具有最多内点数的基础矩阵F； 

步骤64，由划为内点的所有匹配特征点对重新估计基础矩阵F； 

步骤65，根据求得的基础矩阵F，在外点中沿对应极线搜索更多的正确匹配特征点。 

步骤64和步骤65不断迭代进行，直到得到稳定的正确匹配特征点为止。 

步骤1324，计算相邻图像对之间的单应矩阵H_ij。根据精确确定的匹配特征点对，即内点点对解算单应矩阵H_ij。 

步骤14，确定图像拼接的次序，依照最小生成树的拼接策略确定图像拼接的次序。 

本发明不采用常规的先航带拼接，再航带与航带之间拼接的策略，而提出最小生成树的拼接策略，较少和避免累计误差。 

对于一个测区的图像，每张图像一般有四张相邻图像，按重叠区域内的特征点数与重叠区域内匹配特征点数的比值计算相邻图像匹配度，将匹配度最大的先拼接，匹配度小的后拼接，拼接策略示意图如附图7。具体算法如下： 

(1)计算相邻图像间的匹配度g(i，j)，构造一个无向带全图G(V，E)，V是节点，即待拼接的图像；E是连接节点的权值，即相邻图像匹配度的倒数1/g(i，j) 

(2)设e＝(v_i，v_j)是非环权值最小的边(若不止一个，就任选其一作为e)， 将v_i和v_j短接成超点e’，删除边e。 

(3)不断重复(2)直到所有的节点短接，成为一个超点。记录短接次序和过程，会形成树G_LR，称为最小生成树。 

这样避免拼接误差沿某一方向传递，使误差分散在拼接的各个环节中，不会产生较大累计误差。 

步骤15，按照最小生成树表明的次序拼接图像。 

结合步骤1324计算获得的相邻图像单映矩阵和步骤14确定的拼接次序，将序列图像拼接起来。 

步骤16，图像融合。 

相邻图像的拼接完成之后，会发现拼合起来图像中含有清晰的边界，拼接的痕迹非常明显。其中，图像拼接的缝隙是从一幅图像过渡到另一幅图像时，由于亮度和色彩的不连续而产生的。图像融合是消除图像亮度和色彩的不连续性，使图像在拼接处的光强平滑过渡，以消除光强突变。 

色彩融合可以采用平均值、加权平均、中值滤波、多分辨率等方法。 

实施例二 

与实施例一不同的是，实施例二增加了匹配验证的步骤，实施例一虽然计算了单应矩阵，匹配了图像，但匹配结果是否正确需要进一步验证。尤其对于飞行器获取的图像序列，里边夹杂完全偏航等坏图像，需要拼接中自动去除。 

图2所示为本发明实施例二的低空无人飞行器序列图像拼接方法的流程图，包括： 

步骤21，相机畸变差校正。 

步骤22，无人飞行器序列图像获取。 

步骤23，在序列图像中选择一幅图像。 

步骤24，图像校正，确定相邻图像间的单应矩阵，包括以下子步骤： 

步骤241，特征提取，对序列图像提取SURF特征和HARRIS-AFFINE特征； 

步骤242，图像匹配，包括以下子步骤： 

步骤2421，利用马氏距离计算相邻图像间特征点的相似度进行初匹配； 

步骤2422，计算相邻图像的重叠区域； 

步骤2423，利用RANSAC容错算法加对极几何约束，对相邻图像间特征点进行精确匹配； 

步骤2424，根据精确匹配的特征点对计算相邻图像对之间的单应矩阵H_ij； 

步骤25，匹配验证，判断当前图像是否是可匹配图像，如果是，则执行步骤26；如果不是，则执行步骤23，选择下一幅图像； 

步骤26，将当前图像保存在匹配序列中。 

步骤27，判断序列图像匹配验证是否完成，如果是，则执行步骤28，如果不是，则执行步骤23。 

步骤28，确定图像拼接的次序，依照最小生成树的拼接策略确定图像拼接的次序。 

步骤29，图像拼接，按照最小生成树表明的次序拼接匹配序列中的图像。 

步骤30，图像融合，消除图像亮度和色彩的不连续性，使图像在拼接处的光强平滑过渡，以消除光强突变。 

以下对匹配验证的步骤详细说明： 

步骤25，匹配验证，建立概率模型(参见Brown，Lowe.Automatic PanoramicImage Stitching using Invariant Features)。根据步骤242可得到，相邻图像的重叠区域的特征点可分为几何一致的匹配特征点(内点)和几何不一致的非匹配特征点(外点)。如果给定一幅图像，假设其重叠区域内的特征点的总数为n_f，匹配特征点数(内点)为n_i，则图像匹配记为事件m，m∈{0，1}，1表示正确匹配，0表示错误匹配。第i个特征点是匹配特征点/非匹配特征点服是贝努力事件f，f∈{0，1}，所以匹配情况可以描述为二项式： 

$p\left(f^{(1:n_f)}\right|m=1)=B(n_i;n_f,p_1)$

$p\left(f^{(1:n_f)}\right|m=0)=B(n_i;n_f,p_0)---\left(11\right)$

其中，p₁在正确匹配下第i点为匹配特征点的概率，p₀在错误匹配下第i点为匹配特征点的概率。特征匹配变量{f⁽ⁱ⁾，i＝1，2，Λ，n_f)记为 B(.)服从二项分布 

$B(x;n,p)=\frac{n!}{x!(n-x)!}{p}^x{(1-p)}^{n-x}---\left(12\right)$

则根据贝叶斯法则，可以推算出图像正确匹配概率为： 

$p(m=1|f^{(1:n_f)})=\frac{p\left(f^{(1:n_f)}\right|m=1)p(m=1)}{p\left(f^{(1:n_f)}\right)}=\frac{1}{1+\frac{p\left(f^{(1:n_f)}\right|m=0)p(m=0)}{p\left(f^{(1:n_f)}\right|m=1)p(m=1)}}---\left(13\right)$

如果 

则该图像作为可匹配图像接收，否则拒绝，可简化记为 

$\frac{B(n_i;n_f,p_1)}{B(n_i;n_f,p_0)}>\frac{1}{\frac{1}{p_{\min }-1}}---\left(14\right)$

如果p₁＝0.7，p₀＝0.01，p_min＝0.97，可以得出，对于正确图像匹配，重叠区域内匹配特征点数n_i与特征点数n_f应满足以下关系n_i＞5.9+0.22n_f。这样可以去除完全偏离航线等坏图像，仅保留可匹配的图像进行后续的拼接步骤，减少额外的运算量，提高运算速度，同时保证拼接质量。 

实施例三 

与实施例二不同的是，实施例三中进一步增加了全局优化，调整单应矩阵的步骤。 

图3所示为本发明实施例三的低空无人飞行器序列图像拼接方法的流程图，包括： 

步骤31，相机畸变差校正。 

步骤32，无人飞行器序列图像获取。 

步骤33，在序列图像中选择一幅图像。 

步骤34，图像校正，确定相邻图像间的单应矩阵，包括以下子步骤： 

步骤341，特征提取，对序列图像提取SURF特征和HARRIS-AFFINE特征； 

步骤342，图像匹配，包括以下子步骤： 

步骤3421，利用马氏距离计算相邻图像间特征点的相似度进行初匹配； 

步骤3422，计算相邻图像的重叠区域； 

步骤3423，利用RANSAC容错算法加对极几何约束，对相邻图像间特征点进行精确匹配； 

步骤3424，根据精确匹配的特征点对计算相邻图像对之间的单应矩阵H_ij； 

步骤35，匹配验证，判断当前图像是否是可匹配图像，如果是，则执行步骤36；如果不是，则执行步骤33，选择下一幅图像； 

步骤36，将当前图像保存在匹配序列中。 

步骤37，判断序列图像匹配验证是否完成，如果是，则执行步骤38，如果不是，则执行步骤33。 

步骤38，依照最小生成树策略确定拼接的次序。 

步骤39，图像拼接，全局优化，调整单应矩阵，再按照最小生成树表明的次序拼接匹配序列中的图像。 

步骤40，图像融合，消除图像亮度和色彩的不连续性，使图像在拼接处的光强平滑过渡，以消除光强突变。 

以下对全局优化的步骤详细说明： 

步骤39，全局优化，调整单应矩阵。 

采用双向投影残差平方和为目标函数，调整单应矩阵，使图像匹配误差在预定范围内。采用双投影残差平方和为目标函数的优化方法比Brown和Lowe全局优化方法更合理，优化效果更佳。假设点 

与 

分别是第i与j张影像中第k个对应匹配特征点， 

是点 

投影在图像i上的坐标，则残差 

同理， 

和点 

在图像j上投影 

的残差 

依次类推，求出所有匹配图像所有匹配特征点之间的双向残差平方和作为目标函数，记 

$e=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j\&Element;I\left(i\right)}{\mathrm{\&Sigma;}}\underset{k\&Element;F(i,j)}{\mathrm{\&Sigma;}}f(r_{\mathrm{ij}}^2+h_{\mathrm{ij}}^2)---\left(15\right)$

这里，n为参与拼接的图像总数，I(i)是与图像i匹配的图像数，F(i，j)是图像i和j之间匹配的特征点数。这是一个非线性求解问题，可通过Levenberg-Maquardt迭代求解H_ij，使得双向投影残差平方和e在预先设定的范围内。 

需要说明的是，当测区面积较小时，典型地，当测区面积小于3平方公里时，建议直接利用本发明实施例一、实施例二或实施例三的拼接策略和图像精匹配点计算每对图像的单应射矩阵H_i进行拼接。当测区面积较大时，典型地，当测区面积大于3平方公里时，建议将测区分为N块，每一块利用本发明实施 例一、实施例二或实施例三的拼接策略拼接；然后N块间再次利用本发明实施例一、实施例二或实施例三的拼接策略拼接。具体流程见附图8。 

以下参照实施例三，以无人飞艇在野鸭湖获取的航飞数据为例，说明本发明的序列图像拼接方法的效果。 

步骤31，相机畸变差校正。 

相机内参数标定。先将相机打到手动调焦档，再将光圈调至无穷远；并对着距离大约400米远的场景拍照，微调相机使400米远的场景成像清晰；加固定相机，使相机焦距和光圈在飞行过程中不变；如果精度要求高，可采用墨尔本大学的Australis软件标定，如果精度要求一般可采用张正友的标定方法(Aflexible new technique for camera calibration)；求出相机内参数(k₁，k₂，ρ₁，ρ₂，α，β)和(x₀，y₀，f)。 

校正相机畸变差：根据公式(1)计算畸变差校正后的图像中像素点位。 

x＝x′-x₀+Δx 

y＝y′-y₀+Δy 

这里，(x′，y′)为观测值。相机畸变差校正需要在航飞前进行。 

步骤32，无人飞行器序列图像获取。 

确定航线，获取图像。根据不同成图比例尺要求，确定相应的地面分辨率和航高，设计飞行路线与确定曝光点。 

航线的制定与航高H、相机焦距f、航向重叠度P_along，旁向重叠度P_across等因素有关。假设测区的长为L(m)，宽为W(m)，则： 

$\frac{f}{H}=\frac{a}{\mathrm{width}}=\frac{b}{\mathrm{height}}=\frac{n_1\&times;\mathrm{pix}}{n_2\&times;\mathrm{pix}}$

其中，f(mm)为相机焦距，H(m)为飞艇航高，a和b(mm)为CMOS的长和宽，width为单张相片所覆盖地面的长度，height为单张相片所覆盖地面的宽度，n₁为影像长方向上的像素个数，n₂为影像宽方向上的像素个数。 

航向方向上影像的基线长： ${\mathrm{bl}}_{\mathrm{along}}=\frac{H\&times;b}{f}(1-P_{\mathrm{along}});$

旁向方向上影像的基线长： ${\mathrm{bl}}_{\mathrm{across}}=\frac{H\&times;a}{f}(1-P_{\mathrm{across}});$

整个测区的所需航线数N₁满足：width+N₁×bl_across≥L； 

每条航线上的曝光数N₂满足：height+N₂×bl_along之W； 

曝光点的横坐标： $x_0+\frac{1}{2}\mathrm{width}+{\mathrm{bl}}_{\mathrm{across}}\&times;n$ 0≤n≤N₁

曝光点的纵坐标： $y_0+\frac{1}{2}\mathrm{height}+{\mathrm{bl}}_{\mathrm{along}}\&times;n$ 0≤n≤N₂

航带的弯曲度会影响航向重叠度、旁向重叠度的一致性，甚至可能会产生漏洞。因此，无风建议航向重叠60％，旁向重叠40％，有风建议航向重叠80％，旁向重叠60％。 

步骤33，在序列图像中选择一幅图像。 

步骤34，图像校正，确定相邻图像间的单应矩阵，包括以下子步骤： 

步骤341，特征提取，对序列图像提取SURF特征和HARRIS-AFFINE特征； 

本实施例不是逐层处理小波金字塔图像，而是抽取了(1∶2，1∶4，1∶8)分别执行SURF算法提取SURF特征，执行HARRIS-AFFINE算法提取HARRIS角点，并对源图像复位。图9所示为相邻两图像提取的特征点的分布图。从小波金字塔图像之抽取了(1∶2，1∶4，1∶8)四层子图像处理，原因在于子图像没有原图像分辨率高，分辨率越低，越影响特征点的精度，因此采取折中的办法仅抽取四层子图像处理。在不影响精度的前提下，提取不同尺度的特征点，既保证了均匀性又缩短了运算时间。 

步骤342，图像匹配，包括以下子步骤： 

步骤3421，利用马氏距离计算相邻图像间特征点的相似度进行初匹配； 

步骤3422，计算相邻图像的重叠区域； 

步骤3423，利用RANSAC容错算法加对极几何约束，对相邻图像间特征点进行精确匹配； 

用于图像拼接的特征点并不需要太多，只要特征点匹配准确，相对分散就好， 因此，步骤3423中增加了对极几何约束，严格限制对应点的搜索范围，大大提高了对应点的搜索速度和正确率。图10是相邻两幅图像特征点对应匹配结果。 

步骤3424，根据精确匹配的特征点对计算相邻图像对之间的单应矩阵H_ij； 

步骤35，匹配验证，判断当前图像是否是可匹配图像，如果是，则执行步骤36；如果不是，则执行步骤33，选择下一幅图像； 

在步骤35中，确定p1＝0.7，p0＝0.01，pmin＝0.97，利用n_i＞5.9+0.22n_f关系去除完全偏离航线等坏图像，使其不参加拼接。 

步骤36，将当前图像保存在匹配序列中。 

步骤37，判断序列图像匹配验证是否完成，如果是，则执行步骤38，如果不是，则执行步骤33。 

步骤38，图像拼接，依照最小生成树策略确定拼接的次序。 

步骤39，全局优化，调整单应矩阵，再按照最小生成树表明的次序拼接匹配序列中的图像。 

将所有匹配图像所有匹配点之间的投影残差平方和作为目标函数，通过Levenberg-Maquardt迭代求解，调整相机参数，更新单应矩阵H_i，优化拼接结果，消除累计误差。 

步骤40，图像融合，消除图像亮度和色彩的不连续性，使图像在拼接处的光强平滑过渡，以消除光强突变。 

图11是利用本发明对野鸭湖6平方公里测区，无人飞艇获取的352张航片进行拼接的结果。 

实施例四 

实施例四提供一种低空无人飞行器序列图像拼接系统。 

图12所示为实施例四的图像拼接系统示意图，包括： 

序列图像采集装置，固定在无人飞行器下方，在测区上空拍摄，获取序列图像； 

征点提取模块，对所述序列图像提取SURF特征点和HARRIS-AFFINE特征点，特征点的提取方法与实施例一中相同； 

图像匹配模块，根据所述特征点计算相邻图像之间的单应矩阵； 

拼接次序生成模块，根据所述特征点的确定序列图像的拼接次序；拼接次序生成模块是根据最小生成树策略确定序列图像的拼接次序，具体过程请参照实施例一中步骤14。 

图像拼接模块，按照所述拼接次序和所述相邻图像之间的单应矩阵进行拼接； 

全局优化模块，消除序列图像拼接过程中产生的累积误差。 

图13为图像匹配模块示意图，所述图像匹配模块模块包括： 

初匹配模块，利用马氏距离计算相邻图像间特征点的相似度进行初匹配，初匹配模块的匹配方法请参照实施一中步骤1321； 

重叠区域生成模块，计算相邻图像的重叠区域，计算方法参照步骤1322； 

精匹配模块，利用RANSAC容错算法加对极几何约束，对相邻图像间特征点进行精确匹配，将所述重叠区域内的特征点划分为内点和外点；精匹配模块的匹配方法请参照实施一中步骤1323； 

单应矩阵生成模块，根据精确匹配的所述内点点对计算相邻图像之间的单应矩阵。 

实施例五 

与实施例四不同的是，实施例五中增加了匹配验证模块。对于飞行器获取的图像序列，里边夹杂完全偏航等坏图像，匹配验证模块将坏图像自动去除。 

图14所示为实施例五的图像拼接系统示意图，在图像匹配模块和拼接次序生成模块之间加入匹配验证模块。 

所述匹配验证模块获取所述图像匹配模块确定的重叠区域内的特征点总数和所述内点，根据所述重叠区域内的特征点总数和所述内点的数量之间的关系，判断当前图像是否是可匹配的图像。所述匹配验证模块的验证方法与实施例二中的步骤25相同。 

所述拼接次序生成模块由所述匹配验证模块生成的可匹配图像，根据相邻图像匹配度，依照最小生成树策略确定拼接的次序。 

实施例五中引入匹配验证模块，去除坏图像，仅仅保留可匹配的图像，为后续的图像拼接保证计算速度和拼接质量。 

实施例六 

实施例六进一步增加了全局优化模块，无论是单带拼接还是航带间拼接，都会出现累计误差。为了减少和避免累计误差必须进行全局优化整体平差，全局优化模块重新调整单应矩阵。 

图15所示为实施例六的图像拼接系统示意图，在拼接次序生成模块和图像拼接模块之间增加全局优化模块。所述全局优化模块采用双向投影残差平方和为目标函数，调整相邻图像之间的单应矩阵，使图像匹配误差在预定范围内。所述全局优化模块的调整方法与实施例三的步骤39相同。 

以上对本发明的描述是说明性的，而非限制性的，本专业技术人员理解，在权利要求限定的精神与范围之内可对其进行许多修改、变化或等效，但是它们都将落入本发明的保护范围内。 

Claims (12)

1.低空无人飞行器序列图像拼接方法，其特征在于，包括步骤：

步骤a，相机畸变差校正；

步骤b，无人飞行器序列图像获取；

步骤c，特征点提取与图像匹配；

步骤d，确定图像的拼接次序；

步骤e，图像拼接，按照所述拼接次序拼接图像；

步骤f，全局优化，整体平差，重新调整单映矩阵。

2.如权利要求1所述的低空无人飞行器序列图像拼接方法，其特征在于，所述步骤c特征点提取与图像匹配中包括：

步骤c1，特征提取，对序列图像提取SURF特征点和HARRIS-AFFINE特征点；

步骤c2，图像匹配，根据匹配的特征点对计算相邻图像对之间的单应矩阵。

步骤c3，图像验证，根据概率模型验证匹配结果，去除完全偏航的坏图像。

3.如权利要求2所述的低空无人飞行器序列图像拼接方法，其特征在于，所述步骤c2图像匹配中包括：

步骤c21，利用马氏距离计算相邻图像间特征点的相似度进行初匹配；

步骤c22，计算相邻图像的重叠区域；

步骤c23，利用RANSAC容错算法加对极几何约束，对相邻图像间特征点进行精确匹配，将所述重叠区域内的特征点划分为内点和外点；

步骤c24，根据精确匹配的所述内点点对计算相邻图像对之间的单应矩阵。

4.如权利要求1所述的低空无人飞行器序列图像拼接方法，其特征在于，所述步骤c：特征为SURF特征点和HARRIS-AFFINE特征点；根据概率模型去除完全偏航坏图像。

5.如权利要求3或4所述的低空无人飞行器序列图像拼接方法，其特征在于，在于步骤d为：根据相邻图像匹配度，依照最小生成树策略确定拼接的次序。

6.如权利要求5所述的低空无人飞行器序列图像拼接方法，其特征在于，在于步骤f全局优化调整单应矩阵的步骤：采用双向投影残差平方和为目标函数，调整相邻图像之间的单应矩阵，使图像匹配误差在预定范围内。

7.低空无人飞行器序列图像拼接系统，其特征在于，包括：

特征点提取模块，对所述序列图像提取SURF特征点和HARRIS-AFFINE特征点；

图像匹配模块，根据所述特征点计算相邻图像之间的单应矩阵；根据概率模型，验证匹配结果；

拼接次序生成模块，根据相邻图像匹配度，确定序列图像的拼接次序；

图像拼接模块，按照所述拼接次序和所述相邻图像之间的单应矩阵进行拼接；

全局优化模块，消除拼接过程中产生的累积误差。

8.如权利要求7所述的低空无人飞行器序列图像拼接系统，其特征在于，所述拼接次序生成模块根据相邻图像匹配度，依照最小生成树策略确定拼接的次序。

9.如权利要求7所述的低空无人飞行器序列图像拼接系统，其特征在于，所述图像匹配模块包括：

初匹配模块，利用马氏距离计算相邻图像间特征点的相似度进行初匹配；

重叠区域生成模块，计算相邻图像的重叠区域；

精匹配模块，利用RANSAC容错算法加对极几何约束，对相邻图像间特征点进行精确匹配，将所述重叠区域内的特征点划分为内点和外点；

单应矩阵生成模块，根据精确匹配的所述内点点对计算相邻图像之间的单应矩阵。

10.如权利要求7所述的低空无人飞行器序列图像拼接系统，其特征在于，还包括匹配验证模块，获取所述图像匹配模块确定的重叠区域内的特征点总数和所述内点，根据所述重叠区域内的特征点总数和所述内点的数量之间的关系，判断当前图像是否是可匹配的图像。

11.如权利要求10所述的低空无人飞行器序列图像拼接系统，其特征在于，所述拼接次序生成模块由所述匹配验证模块生成的可匹配图像，根据相邻图像匹配度，依照最小生成树策略确定拼接的次序。

12.如权利要求9或11所述的低空无人飞行器序列图像拼接系统，其特征在于，还包括全局优化模块，采用双向投影残差平方和为目标函数，调整相邻图像之间的单应矩阵，使图像匹配误差在预定范围内。

Images