CN105163004A - 一种消除误匹配点的视频补偿方法 - Google Patents

Abstract

本发明提供了一种消除误匹配点的视频补偿方法，该视频补偿方法包括如下步骤：A、视频帧输入；B、在当前帧及参考帧进行特征点提取，其中，参考帧为当前帧的前一帧图像；C、进行参考帧及当前帧图像特征点匹配；D、计算全局位移矢量；E、消除位移过大或过小的匹配点对；F、随机选择位于参考帧上三个特征点、以及在当前帧与其对应的匹配点，利用该三对匹配点的坐标求出变换矩阵；G、对当前帧图像中的每一点，利用所述变换矩阵，经过图像插值后得到补偿后图像。本发明利用了视频帧之间联系较为紧密的特点，消除位移过大、过小的匹配点提高了正确匹配点对的比例，使仿射变换矩阵的计算更加准确。

Description

一种消除误匹配点的视频补偿方法

技术领域

本发明涉及一种消除误匹配点的视频补偿方法。

背景技术

应用于车载、无人机、舰船等运动平台或野外监控系统的摄像系统往往会由于自身运动导致输出图像序列存在随机抖动，从而对视频监控及后续图像处理产生不利影响.消除这种图像抖动的技术叫做稳像技术，稳像技术已经从最初的机械稳像、光学稳像逐步过渡到电子稳像(ElectronicImageStabilization)阶段。电子稳像的视频帧补偿环节一般需要建立仿射变换模型，而仿射变换矩阵的计算需要使用参考帧与当前帧的图像匹配点，错误的匹配将得到错误的仿射变换矩阵，进而影响视频补偿的效果。

中国专利申请201410326103.7公开了公开了一种视频图像的稳像方法及装置，该方法包括如下步骤：使用SURF特征点检测算法提取第n-1帧和第n帧图像的特征点。将第n帧图像的特征点与第n-1帧图像的特征点进行匹配，形成多对匹配点对，确定第n帧图像与第n-1帧之间的仿射关系，通过匹配特征点解出仿射矩阵；将前n-1个仿射矩阵参考第1帧进行参数级联，通过滤波器对级联后的仿射参数进行kalman滤波，得到滤波后的级联仿射矩阵参数；根据所述滤波后的仿射参数对第n帧图像进行补偿得到滤波后的第n帧图像。

中国专利201110178881.2公开了一种基于特征匹配的电子稳像方法,其包括以下步骤:1、运动估计,估算出当前帧与前一帧间的运动参数,得到全局运动矢量和局部运动矢量；2、运动滤波,采用Kalman滤波器对全局运动参数进行滤波,得出有意扫描矢量,到需要补偿的抖动参数；3、运动补偿,利用滤波得到的补偿参数对视频序列进行逐帧补偿；4、视频修复,利用视频的时空冗余信息,采用运动修复的方法对局部运动矢量进行修复,并以此引导像素点的填充。

上述技术方案使用基于SIFT、SURF图像特征点匹配方法计算视频帧仿射变换矩阵时，仅使用了特征点特征值的大小进行特征点匹配，而没有针对视频帧之间运动的特殊性-相邻视频之间旋转平移运动较小、匹配特征点之间运动位移矢量相近的特点，从而产生了位移过大、过小的匹配点对，而这种误匹配点给仿射变换矩阵计算带来了误差。

发明内容

针对现有技术的缺点，本发明的目的是提供一种消除误匹配点的视频补偿方法。

为了实现上述目的，本发明提供了一种消除误匹配点的视频补偿方法，该视频补偿方法包括如下步骤：

A、视频帧输入；

B、在当前帧及参考帧进行特征点提取，其中，参考帧为当前帧的前一帧图像；

C、进行参考帧及当前帧图像特征点匹配；

D、计算全局位移矢量；

E、消除位移过大或过小的匹配点对；

F、随机选择位于参考帧上三个特征点、以及在当前帧与其对应的匹配点，利用该三对匹配点的坐标求出变换矩阵；

G、对当前帧图像中的每一点，利用所述变换矩阵，经过图像插值后得到补偿后图像。

全局运动估计给误匹配点的消除提供了参考量，消除了运动位移矢量过大或过小匹配点对。而传统技术确定匹配点的关系时仅使用了特征点的特征值没有考虑全局运动大小。本发明利用了视频帧之间联系较为紧密的特点，消除位移过大、过小的匹配点提高了正确匹配点对的比例，使仿射变换矩阵的计算更加准确。

根据本发明另一具体实施方式，步骤D采用灰度投影法计算全局位移矢量。

根据本发明另一具体实施方式，步骤D具体包括如下步骤：

D1、分别对参考帧和当前帧进行行投影；

D2、确定行投影和垂直方向位移矢量

D3、确定列投影和水平方向位移矢量

D4、确定平移矢量为

具体而言，分别对参考帧和当前帧进行行投影

$G_H\left(i\right)={\mathrm{\Σ}}_{j=1}^{j=W}G(i,j)/W$

式中视频帧宽度为W像素，高度为H像素，G_H(i)表示第i行的投影，G(i,j)表示图像的第i行第j列的图像灰度值。使用自相关函数确定垂直方向位移

$C\left(j\right)={\mathrm{\Σ}}_{i=1}^H{[G_k(j+i-1)-G_r(n+i)]}^2$

1≤j≤2n+1

式中，G_k(i)和G_r(i)分别为当前帧和参考帧的第i行投影值，然后用同样的方法求取列投影和水平方向位移矢量平移矢量为

根据本发明另一具体实施方式，步骤E中，位移过大或过小的匹配点对判断方法如下：

若某匹配点对的平移矢量与a之差的绝对值大于阈值，则该匹配点对位移过大或过小，其中

例如，假设参考帧和当前帧图像中的匹配点分别为A₁(x₁，y₁)和B₁(x′，y′)，模块一中计算的全局位移矢量大小为a，其中

$|\sqrt{{(x_1-x^{\′})}^2+{(y_1-y^{\′})}^2}-a|>m$

$m=\left\{\begin{array}{cc}5& 0\&le;a<25\\ a/5& 25\&le;a\end{array}\right.$

对于符合上述公式要求的匹配点对应消除。

根据本发明另一具体实施方式，步骤B提取图像ORB特征点。

根据本发明另一具体实施方式，ORB为带有方向的FAST算子和旋转的BRIEF算子。

根据本发明另一具体实施方式，步骤C使用RANSAC完成特征点匹配。

根据本发明另一具体实施方式，步骤E具体包括如下步骤：

E1、在参考帧上随机选择三个特征点B₁、C₁、D₁；

E2、在当前帧上选择与B₁、C₁、D₁对应的匹配点B₂、C₂、D₂；

E3、分别将B₂、C₂、D₂的X轴坐标和Y轴坐标代入以下公式右侧的(x₂、y₂)，将B₁、C₁、D₁的X轴坐标和Y轴坐标代入以下公式左侧的(x₁、y₁)：

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right);$

E4、求出变换矩阵 $\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right).$

与现有技术相比，本发明具备如下有益效果：

本发明利用了视频帧之间联系较为紧密的特点，消除位移过大、过小的匹配点提高了正确匹配点对的比例，使仿射变换矩阵的计算更加准确。

下面结合附图对本发明作进一步的详细说明。

附图说明

图1是实施例1中，当前帧与参考帧图像的匹配点；

图2是实施例2中，图像分区的结构示意图。

具体实施方式

实施例1

本实施例提供了一种消除误匹配点的视频补偿方法，该视频补偿方法包括如下步骤：

A、视频帧输入。

B、在当前帧及参考帧进行特征点提取，该步骤提取图像ORB(带有方向的FAST算子和旋转的BRIEF算子)特征点；其中，参考帧为当前帧的前一帧图像。

C、进行参考帧及当前帧图像特征点匹配；该步骤使用RANSAC(随机抽样一致)完成参考帧及当前帧图像特征点匹配。

D、采用灰度投影法计算全局位移矢量，分别对参考帧和当前帧进行行投影

$G_H\left(i\right)={\mathrm{\&Sigma;}}_{j=1}^{j=W}G(i,j)/W$

式中视频帧宽度为W像素，高度为H像素，G_H(i)表示第i行的投影，G(i,j)表示图像的第i行第j列的图像灰度值。使用自相关函数确定垂直方向位移

$C\left(j\right)={\mathrm{\&Sigma;}}_{i=1}^H{[G_k(j+i-1)-G_r(n+i)]}^2$

1≤j≤2n+1

式中，G_k(i)和G_r(i)分别为当前帧和参考帧的第i行投影值，然后用同样的方法求取列投影和水平方向位移矢量平移矢量为

根据本发明另一具体实施方式，步骤E中，位移过大或过小的匹配点对判断方法如下：

若某匹配点对的平移矢量与a之差的绝对值大于阈值，则该匹配点对位移过大或过小，其中

例如，假设参考帧和当前帧图像中的匹配点分别为A₁(x₁，y₁)和B₁(x′，y′)，模块一中计算的全局位移矢量大小为a，其中

$|\sqrt{{(x_1-x^{\&prime;})}^2+{(y_1-y^{\&prime;})}^2}-a|>m$

$m=\left\{\begin{array}{cc}5& 0\&le;a<25\\ a/5& 25\&le;a\end{array}\right.$

对于符合上述公式要求的匹配点对应消除。

F、随机选择位于参考帧上三个特征点、以及在当前帧与其对应的匹配点，利用该三对匹配点的坐标求出变换矩阵；其具体包括如下步骤：

E1、在参考帧上随机选择三个特征点B₁、C₁、D₁；

E2、在当前帧上选择与B₁、C₁、D₁对应的匹配点B₂、C₂、D₂；

E3、分别将B₂、C₂、D₂的X轴坐标和Y轴坐标代入以下公式右侧的(x₂、y₂)，将B₁、C₁、D₁的X轴坐标和Y轴坐标代入以下公式左侧的(x₁、y₁)：

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right);$

E4、求出变换矩阵 $\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right).$

G、对当前帧图像中的每一点，利用变换矩阵，经过图像插值后得到补偿后图像。

实施例2

本实施例与实施例1的区别在于，步骤E中，如图2所示、将参考帧图像均匀分成1、2、3、4四个区域，图像的左上、右上、右下、左下点分别为A、B、C、D，在2区内选择距离B点距离最近的可匹配点、3区内选择距离C点最近的匹配点、4区选择距离D点最近的点，选择的点分别为B₁、C₁、D₁，其坐标分别为(x_B1,y_B1)、(x_C1,y_C1)、(x_D1,y_D1)；在当前帧上选择与B₁、C₁、D₁对应的匹配点B₂、C₂、D₂，其坐标分别为(x_B2,y_B2)、(x_C2,y_C2)、(x_D2,y_D2)；分别将(x_B2,y_B2)、(x_C2,y_C2)、(x_D2,y_D2)代入以下公式右侧的(x₂、y₂)，将(x_B1,y_B1)、(x_C1,y_C1)、(x_D1,y_D1)代入以下公式左侧的(x₁、y₁)：

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right);$

求出变换矩阵 $\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right).$

虽然本发明以较佳实施例揭露如上，但并非用以限定本发明实施的范围。任何本领域的普通技术人员，在不脱离本发明的发明范围内，当可作些许的改进，即凡是依照本发明所做的同等改进，应为本发明的范围所涵盖。

Claims (8)

1.一种消除误匹配点的视频补偿方法，其特征在于，所述视频补偿方法包括如下步骤：

A、视频帧输入；

B、在当前帧及参考帧进行特征点提取，其中，所述参考帧为所述当前帧的前一帧图像；

C、进行参考帧及当前帧图像特征点匹配；

D、计算全局位移矢量；

E、消除位移过大或过小的匹配点对；

F、随机选择位于参考帧上三个特征点、以及在当前帧与其对应的匹配点，利用该三对匹配点的坐标求出变换矩阵；

G、对当前帧图像中的每一点，利用所述变换矩阵，经过图像插值后得到补偿后图像。

2.根据权利要求1所述的视频补偿方法，其特征在于，所述步骤D采用灰度投影法计算全局位移矢量。

3.根据权利要求1所述的视频补偿方法，其特征在于，所述步骤D具体包括如下步骤：

D1、分别对参考帧和当前帧进行行投影；

D2、确定行投影和垂直方向位移矢量

D3、确定列投影和水平方向位移矢量

D4、确定平移矢量为

4.根据权利要求3所述的视频补偿方法，其特征在于，所述步骤E中，位移过大或过小的匹配点对判断方法如下：

若某匹配点对的平移矢量与a之差的绝对值大于阈值，则该匹配点对位移过大或过小，其中

5.根据权利要求1所述的视频补偿方法，其特征在于，所述步骤B提取图像ORB特征点。

6.根据权利要求5所述的视频补偿方法，其特征在于，所述ORB为带有方向的FAST算子和旋转的BRIEF算子。

7.根据权利要求1所述的视频补偿方法，其特征在于，所述步骤C使用RANSAC完成特征点匹配。

8.根据权利要求1所述的视频补偿方法，其特征在于，所述步骤E具体包括如下步骤：

E1、在参考帧上随机选择三个特征点B₁、C₁、D₁；

E2、在当前帧上选择与B₁、C₁、D₁对应的匹配点B₂、C₂、D₂；

E3、分别将B₂、C₂、D₂的X轴坐标和Y轴坐标代入以下公式右侧的(x₂、y₂)，将B₁、C₁、D₁的X轴坐标和Y轴坐标代入以下公式左侧的(x₁、y₁)：

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\begin{array}{}\end{array}\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right);$

E4、求出变换矩阵 $\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right).$