CN101339658A - 航拍交通视频的快速鲁棒配准方法 - Google Patents

Abstract

航拍交通视频的快速鲁棒配准方法，步骤为：(1)对输入图像，包括参考图像和当前帧图像，进行特征点提取；(2)根据特征点的描述算子，对特征点进行匹配，产生匹配点对儿的候选集合；(3)基于历史帧的变换参数和可获取到的空基平台运动参数，对相机的运动参数进行预测；(4)基于运动模型的估计，通过鲁棒估计器剔除匹配点对儿候选集合中的外点，从而获得用于计算当前帧变换模型的正确的匹配点对儿的集合；(5)通过匹配点对儿的位置对应关系，求解出当前帧的配准变换模型，同时把求解参数输入运动模型估计中；(6)根据求解出的当前帧的变换模型对当前帧进行变换，再做插值，从而获得当前帧的配准输出图像。本发明能够更快速有效地剔除特征点匹配中的外点，从而实现对航拍交通视频进行快速准确的配准。

Description

航拍交通视频的快速鲁棒配准方法

技术领域

本发明涉及一种适用于空基视频的配准方法，尤其涉及一种基于预测模型的快速鲁棒的视频配准方法，是视频稳定、图像拼接、地图匹配等应用的基础，属于交通监视、视频编码领域。

背景技术

图像配准是将从不同视角运用不同种传感器或在不同时刻获得同一场景的两幅或者多幅图像不断迭和的过程，其目的是使同一坐标下的象素对应同一场景点。在配准过程中，通常以其中的一幅图像作为参考图像(reference image)，其它图像相对于参考图像进行匹配，称之为测量图像(sensed image)。图像配准是许多应用问题的必要预处理步骤，比如：时序图像的变化检测或多模图像融合，这些问题遍及军事、遥感、医学、计算机视觉等多个领域。

空基视频从安装在飞艇、直升机或无人机上的摄像机获得，飞行器的运动使视频图像产生平移、旋转、尺度和视角等变化。只有消除全局运动，将图像配准到统一的坐标系下，才能检测出视频中的运动物体。空基视频配准是空基视频监控中图像稳定、地理坐标定位和全景拼接用的核心技术，是基于空基平台的各种视觉应用的关键技术之一。

配准的算法主要分为基于特征的配准和基于区域的配准。基于区域的配准通过比较对应区域的相关度、FFT变换和互信息等进行匹配。基于特征的配准方法，通过对反映图像结构信息的角点、边缘、闭合区域等特征进行特征提取、描述和匹配。在这个过程中，匹配错误和运动物体所引起的错误是不可避免的。因此要得到准确的空基视频配准图像，就必须尽量消除匹配错误和运动物体的影响。

经文献检索发现，Censi在《Image stabilization by features tracking》(ImageAnalysis and Processing，1999.)采用快速外点剔出规则χ84。Shastry在《Airbornevideo registration and traffic-flow parameter estimation》中挑出一半与平均值接近的点求最小二乘解。但在上述方法，外点也会对结果产生贡献，因此只能在一定范围内消除外点的影响。RANSAC方法是更为普遍的外点剔出算法，但是它的运算量大、效率不够高。许多学者都对RANSAC算法进行了改进，比如Chum的PROSAC算法，将候选点按照匹配相似度进行排序，然后从逐渐扩大的排序集合中产生随机样本。但是基于相似度的排序并不能消除运动物体和重复图案所引起的外点，而且运算速度也有待进一步提高。

由于航拍视频相机与地面间的距离大，视频图像中的几个像素的配准误差就会引起实际上几米的误差，所以提高航拍视频配准算法的匹配精度，排除匹配点对儿中的错误，是一个重要而不可或缺的步骤。但已有技术在这一部分的耗时较大，运算效率低。

发明内容

本发明的技术解决问题：针对现有配准算法得不足，提供一种适用于航拍视频，尤其是航拍交通视频的快速鲁棒配准方法，该方法利用相机运动的连续性构造出基于预测的鲁棒估计器，比其他方法更快速有效地剔除特征点匹配中的外点，从而实现对航拍交通视频进行快速准确的配准。

本发明的技术解决方案：航拍交通视频的快速鲁棒配准方法，其步骤如下：

步骤100、对输入图像，包括参考图像和当前帧图像，进行特征点提取；

步骤200、根据特征点的描述算子，对特征点进行匹配，产生匹配点对儿的候选集合；

步骤300、基于历史帧的变换参数和可获取到的空基平台运动参数，对相机的运动参数进行估计；

步骤400、基于运动模型的估计，通过鲁棒估计器剔除匹配点对儿候选集合中的外点，从而获得用于计算当前帧变换模型的正确的匹配点对儿的集合；

步骤500、通过匹配点对儿的位置对应关系，求解出当前帧的配准变换模型，同时把求解参数输入运动模型估计中；

步骤600、根据求解出的当前帧的变换模型对当前帧进行变换，再做插值，从而获得当前帧的配准输出图像。

本发明与现有技术相比的优点在于：

(1)本发明的匹配精度更高。由于航拍视频相机与地面间的距离大，视频图像中的几个像素的配准误差就会引起实际上几米的误差，所以提高航拍视频配准算法的匹配精度，排除匹配点对儿中的错误，是一个重要而不可或缺的步骤。本发明利用相机运动的连续性构造出基于预测的鲁棒估计器，从候选点集合中剔出了外点，进而排除了外点对配准结果的干扰，因此比其他方法更快速有效地剔除特征点匹配中的外点，从而实现对航拍交通视频进行快速准确的配准，配准结果更准确。

(2)与现有特征点提取和匹配算法完全兼容，可以应用各种成熟快速的特征点提取和匹配方法。由于算法的步骤100和步骤200与后续步骤相对独立，且后续步骤是基于鲁棒的方法进行设计的，对特征点提取和匹配结果的适应性很强，因此目前各种成熟的、快速的特征点提取和匹配技术都可以应用于步骤100和步骤200。

(3)该发明能很好的适用于运动空基平台上的航拍视频配准。本发明的步骤310至步骤360中，构造了一个动态求解得模型，因此保证了算法适用于空基平台运动不断变化的情况。

(4)该发明更快速地剔除特征点匹配中的外点。因为配准图像间的变换实际上是由相机的运动引起的，所以步骤410至步骤480的基于运动模型预测的排序方法，能够有效地提高求解速度，减少运算量。大量航拍真实数据的实验也证明的该方法的有效性和优越性。

(5)该发明有效避免由于运动目标和背景重复引起的特征点匹配错误，从而提高配准算法的准确度。尤其适用于对匹配算法精度要求高的应用，比如航拍交通视频。步骤411至413充分利用相机运动具有连续性这一特点，假设相机在充分小的时间段里满足匀变速运动规律，从而预测出相机当前帧的状态参数。利用状态参数将配准候选点儿集合进行排序，优先从排序在前面的点集合中抽样，从而更快的找到最优配准结果。本发明基于PROSAC的抽样思想，但与PROSAC不同的是：不是根据匹配点的相似度对候选集合进行排序的，而是根据匹配点与预测模型的符合度。由于受到运动车辆、背景图案重复等因素的影响，即使匹配点的相似度很高，仍有可能是匹配外点。

附图说明

图1为本发明方法的总体流程图；

图2为本发明的运动模型估计方法流程图；

图3为本发明的鲁棒估计器流程图；

图4为本发明的鲁棒估计器中候选点排序的流程图。

具体实施方式

如图1所示，本发明包括如下步骤：

步骤100、对输入图像，包括参考图像和当前帧图像，进行特征点提取在本发明中采用SIFT算子。SIFT算法经过尺度空间极值检测、精确位置和尺度空间的锁定、计算方向参数、最后构造出128维特征向量作为特征点的描述子。SIFT描述子是基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子，因此可以很好的适用于空基平台的旋转、平移和高度等变化；

步骤200、根据特征点的描述算子，对特征点进行匹配

在本发明中采用2NN匹配策略。当前帧图像中的一个特征点用一个SIFT向量X表示，参考帧图像中所有特征点的SIFT向量组成一个集合π(x)，其中与X距离最近的两个特征点的向量依次是π₁(x)，π₂(x)，当且仅当 $\frac{\left|\right|X-{\mathrm{\π}}_1\left(x\right)\left|\right|}{\left|\right|X-{\mathrm{\π}}_2\left(x\right)\left|\right|}\≤\mathrm{\ρ},$ 其中ρ∈(0，1)，本发明实施例中ρ＝0.6，X与π₁(x)是一对匹配点。所有匹配点对儿组成候选集合；

步骤300、基于历史帧的变换参数和可获取到的空基平台运动参数，对相机的运动参数进行估计；

图2为本发明运动模型估计方法的流程图，在图1所示的技术方案中，所述步骤300具体为：

步骤310、将估计窗口的长度设定为n，n的取值要根据实验设定，取值太大，不能反映运动突变的情况，取值太小，不易获得准确的估计，本实验中取n＝3；

步骤320、判断空基平台的飞行参数，如GPS数据，是否可获得，是则执行步骤330，否则执行步骤340；

步骤330、估计窗口长度加1，即为n+1；

步骤340、设X(i)为向量中的任意一个元素，把很短瞬间内相机的运动近似为运变速运动，从而每一个X(i)可以由一组线性方程估计得到，设线性参数为α，β，α，β∈R，则有：

$\left\{\begin{array}{c}{X\left(i\right)}_{k-n}=\mathrm{\α}+{\mathrm{\βt}}_1\\ {X\left(i\right)}_{k-n+1}=\mathrm{\α}+{\mathrm{\βt}}_2\\ ...\\ {X\left(i\right)}_{k-1}=\mathrm{\α}+{\mathrm{\βt}}_n\end{array}\right.$

如果能够获得惯性导航或GPS数据，就可以一个飞行数据状态向量X，并在方程组中添加一个等式：X(i)′_k＝α+βt_n+1；

步骤350、通过求解方程组，得到参数[α，β]^T的值；

步骤360、根据公式 $\hat{X}{\left(i\right)}_k=\mathrm{\α}+{\mathrm{\βt}}_{n+1},$ 获得当前帧的状态预测向量X_p＝(s，θ，Δx，Δy)，其中S为尺度因子，θ为旋转角度，Δx，Δy分别为x和y方向的平移量。

步骤400、基于运动模型的估计，通过鲁棒估计器剔除匹配点对儿候选集合中的外点，从而获得用于计算当前帧变换模型的正确的匹配点对儿的集合；

图3为本发明中鲁棒估计器的流程图，在图1所示的技术方案中，所述步骤400具体为：

定义具有最高符合度的n个点组成的集合为P_n，M是一次抽样， $M\⋐P_N\left|M\right|=m,$ 其中m是一次抽样的点数。假设RANSAC从N个点对应中抽取T_N个大小为m的样本。设为样本序列，其中 $M_i\⋐P_N$ 是由RANSAC均匀抽取的。定义T_n为样本序列

中只包含来自集合P_n点的样本数。

步骤410、按照符合度函数值的大小，将候选点集合进行降序排序，得到新的集合P_N；

步骤420、设定循环抽样的初始值，设t为验证的总次数，n为被抽样的有序集合的大小，n^*为n的抽样终止值，令初始值为：t:＝0，n:＝initial，n^*:＝N；

步骤430、更新抽样集合的大小，t:＝t+1，定义T_n为样本序列

中只包含来自集合P_n点的样本数： $T_{n+1}=\frac{n+1}{n+1-m}{T}_n,$ 因为T_n不一定为整数，所以定义T′_m＝1和

如果t＝T′_n且n＜n^*，那么n:＝n+1；

步骤440、在候选有序集合中进行半随机抽样，若T′_n＜t，则样本包含m-1个集合P_n-1中的随机点和p_n，否则，从P_n中随机采样m点；

步骤450、从抽样中计算齐次对应矩阵M_t；

步骤460、遍历候选点集合P_n，找出与M_t一致的所有匹配点对儿；

步骤470、判断一致的匹配点对儿数目是否满足终止条件，此处的终止条件可以是PROSAC的终止条件，也可以是其它根据实际情况提出的要求，判断为否，则重复执行步骤430，判断为是，则执行步骤480；

步骤480、用最小二乘法，采用与最优M_t一致的所有匹配点对儿，求出配准变换的齐次对应矩阵 $A=\left[\begin{array}{ccc}{a}_{00}& a_{01}& a_{02}\\ a_{10}& a_{11}& a_{12}\\ 0& 0& 1\end{array}\right].$

图4为本发明区域合并的流程图，在图3所示的技术方案中，所述步骤410具体为：

步骤411、从预测向量计算齐次对应预测矩阵，从预测向量X_p＝(s，θ，Δx，Δy)可以得到当前帧的预测模型的齐次变换矩阵，设为M_p有：

$M_p=\left[\begin{array}{ccc}s\cos \mathrm{\θ}& -s\sin \mathrm{\θ}& \mathrm{\Δx}\\ s\sin \mathrm{\θ}& s\cos \mathrm{\θ}& \mathrm{\Δy}\\ 0& 0& 1\end{array}\right];$

步骤412、计算候选点对儿与预测模型的符合度，如果对应点p_j＝[x_j，y_j，1]^T和点p₀＝[x₀，y₀，1]^T分别在当前帧和参考帧上，那么点p_j的符合度函数定义为：q(p_j)＝||p_j-M_pp₀||；

步骤413、按照符合度函数值的大小，将候选点集合进行降序排序，得到新的集合P_N.对于P_N有： $p_i,p_j\&Element;P_N:i<j\&DoubleRightArrow;q\left(p_i\right)\&GreaterEqual;q\left(p_j\right).$

步骤500、通过匹配点对儿的位置对应关系，求解出当前帧的配准变换模型，同时把求解参数输入运动模型估计中；

当相机垂直对地，与地面的距离远远大于相机焦距时，地面的起伏可以忽略可以近似成如下模型

$\left[\begin{array}{c}x\\ y\end{array}\right]=s\&CenterDot;R\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]+T=s\&CenterDot;\left[\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right]\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]+\left[\begin{array}{c}\mathrm{\&Delta;x}\\ \mathrm{\&Delta;y}\end{array}\right].$

其中(x₀，y₀)为参考帧中的坐标，(x，y)为当前帧的坐标，T＝[Δx，Δy]^T为平移向量， $R=\left[\begin{array}{cc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right]$ 为旋转矩阵，S为尺度因子。

在齐次坐标系下，从特征点匹配得到的模型表示成一个3×3的矩阵：

$A=\left[\begin{array}{ccc}{a}_{00}& a_{01}& a_{02}\\ a_{10}& a_{11}& a_{12}\\ 0& 0& 1\end{array}\right].$

由T＝[a₀₂，a₁₂]^T和 $\mathrm{sR}=\left[\begin{array}{cc}{a}_{00}& a_{01}\\ a_{10}& a_{11}\end{array}\right]$ 得到，

Δx＝a₀₂，Δy＝a₁₂

$s=\sqrt{{a_{00}}^2+{a_{01}}^2},$

θ＝arctan(a₁₀/a₀₀).

由此，可以得到一个状态向量X＝(s，θ，Δx，Δy)表示当前帧与参考帧之间的配准参数。由于相机运动存在连续性，所以可以从历史状态向量估计出一个预测向量。

步骤600、根据求解出的当前帧的变换模型对当前帧进行变换，即已知：

(x，y，1)^T＝H(x₀，y₀，1)^T，其中 $H=s\left(\begin{array}{ccc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& \mathrm{\&Delta;x}\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& \mathrm{\&Delta;y}\\ 0& 0& 1\end{array}\right),$ (x₀，y₀，1)为参考帧图像的齐次坐标，(x，y，1)为当前帧图像的齐次坐标。可得(x₀，y₀，1)^T＝H^-1(x，y，1)^T，从而把当前帧变换到参考帧的坐标下。由于得到的坐标值可能不是整数，所以要做插值，最后获得当前帧的配准输出图像。

Claims (4)

1、航拍交通视频的快速鲁棒配准方法，其特征在于步骤如下：

步骤100、对输入图像，包括参考图像和当前帧图像，进行特征点提取；

步骤200、根据特征点的描述算子，对特征点进行匹配，产生匹配点对儿的候选集合；

步骤300、基于历史帧的变换参数和可获取到的空基平台运动参数，对相机的运动参数进行估计，获得当前帧的状态预测向量X_p＝(s，θ，Δx，Δy)，其中S为尺度因子，θ为旋转角度，Δx，Δy分别为x和y方向的平移量；

步骤400、基于运动模型的估计，通过鲁棒估计器剔除匹配点对儿候选集合中的外点，从而获得用于计算当前帧变换模型的正确的匹配点对儿的集合；

步骤500、通过匹配点对儿的位置对应关系，求解出当前帧的配准变换模型，同时把求解参数输入运动模型估计中；

步骤600、根据求解出的当前帧的变换模型对当前帧进行变换，再做插值，从而获得当前帧的配准输出图像。

2、根据权利要求1所述的航拍交通视频的快速鲁棒配准方法，其特征在于：所述的步骤300具体为：

步骤310、将估计窗口的长度设定为n，n的取值要根据实验设定；

步骤320、判断空基平台的飞行参数，是否可获得，可获得则执行步骤330，否则执行步骤340；

步骤330、将估计窗口长度加1，即为n+1；

步骤340、设X(i)为向量中的任意一个元素，把很短瞬间内相机的运动近似为运变速运动，从而每一个X(i)可以由一组线性方程估计得到，设线性参数为α，β，α，β∈R，则有：

$\left\{\begin{array}{c}X{\left(i\right)}_{k-n}=\mathrm{\&alpha;}+\mathrm{\&beta;}{t}_1\\ X{\left(i\right)}_{k-n+1}=\mathrm{\&alpha;}+\mathrm{\&beta;}{t}_2\\ \&CenterDot;\&CenterDot;\&CenterDot;\\ X{\left(i\right)}_{k-1}=\mathrm{\&alpha;}+\mathrm{\&beta;}{t}_n\end{array}\right.$

如果能够获得惯性导航或GPS数据，就可以一个飞行数据状态向量X′，并在方程组中添加一个等式：X(i)′_k＝a+βt_n+1；

步骤350、通过求解方程组(1)，得到参数[α，β]^T的值；

步骤360、根据公式 $\hat{X}{\left(i\right)}_k=\mathrm{\&alpha;}+\mathrm{\&beta;}{t}_{n+1},$ 获得当前帧的状态预测向量X_p＝(s，θ，Δx，Δy)，其中S为尺度因子，θ为旋转角度，Δx，Δy分别为x和y方向的平移量。

3、根据权利要求1所述的航拍交通视频的快速鲁棒配准方法，其特征在于：所述的步骤400具体为：

步骤410、按照符合度函数值的大小，将候选点集合进行降序排序，得到新的集合P_N；

步骤420、设定循环抽样的初始值，设t为验证的总次数，n为被抽样的有序集合的大小，n^*为n的抽样终止值，令初始值为：t:＝0，n:＝initial，n^*:＝N；

步骤430、更新抽样集合的大小，t:＝t+1，定义T_n为样本序列

中只包含来自集合P_n点的样本数： $T_{n+1}=\frac{n+1}{n+1-m}{T}_n,$ 因为T_n不一定为整数，所以定义T′_m＝1和

如果t＝T′_n且n＜n^*，那么n:＝n+1；

步骤440、在候选有序集合中进行半随机抽样，若T′_n＜t，则样本包含m-1个集合P_n-1中的随机点和P_n，否则，从P_n中随机采样m点；

步骤450、从抽样中计算齐次对应矩阵M_t；

步骤460、遍历候选点集合P_n，找出与M_t一致的所有匹配点对儿；

步骤470、判断一致的匹配点对儿数目是否满足终止条件，此处的终止条件可以是PROSAC的终止条件，也可以是其它根据实际情况提出的要求，判断为否，则重复执行步骤430，判断为是，则执行步骤480；

步骤480、用最小二乘法，用与最优M_t一致的所有匹配点对儿，求出配准变换的齐次对应矩阵 $A=\left[\begin{array}{ccc}{a}_{00}& a_{01}& a_{02}\\ a_{10}& a_{11}& a_{12}\\ 0& 0& 1\end{array}\right].$

4、根据权利要求3所述的航拍交通视频的快速鲁棒配准方法，其特征在于：所述的步骤410具体为：

步骤411、从预测向量计算齐次对应预测矩阵，从预测向量X_p＝(s，θ，Δx，Δy)可以得到当前帧的预测模型的齐次变换矩阵，设为M_p有：

$M_p=\left[\begin{array}{ccc}s\cos \mathrm{\&theta;}& -s\sin \mathrm{\&theta;}& \mathrm{\&Delta;x}\\ s\sin \mathrm{\&theta;}& s\cos \mathrm{\&theta;}& \mathrm{\&Delta;y}\\ 0& 0& 1\end{array}\right];$

步骤412、计算候选点对儿与预测模型的符合度，

如果对应点p_j＝[x_j，y_j，1]^T和点p₀＝[x₀，y₀，1]^T分别在当前帧和参考帧上，那么点p_j的符合度函数定义为：q(p_j)＝‖p_j-M_pp₀‖‖；

步骤413、按照符合度函数值的大小，将候选点集合进行降序排序，得到新的集合P_N.对于P_N有： $p_i,p_j\&Element;P_N:i<j\&DoubleRightArrow;q\left(p_i\right)\&GreaterEqual;q\left(p_j\right).$

Images