CN105007397A - 一种消除线段交叉误匹配点的视频补偿方法 - Google Patents

Abstract

本发明提供了一种消除线段交叉误匹配点的视频补偿方法，该视频补偿方法包括如下步骤：A、视频帧输入；B、在当前帧及参考帧进行特征点提取，其中，参考帧为当前帧的前一帧图像；C、进行参考帧及当前帧图像特征点匹配；D、消除具有线段交叉的匹配点对；E、随机选择位于参考帧上三个特征点、以及在当前帧与其对应的匹配点，利用该三对匹配点的坐标求出变换矩阵；F、对当前帧图像中的每一点，利用所述变换矩阵，经过图像插值后得到补偿后图像。本发明利用了视频帧之间联系较为紧密的特点，消除有线段交叉的误匹配点，提高了正确匹配点对的比例，使仿射变换矩阵的计算更加准确。

Description

一种消除线段交叉误匹配点的视频补偿方法

技术领域

本发明涉及一种消除线段交叉误匹配点的视频补偿方法。

背景技术

应用于车载、无人机、舰船等运动平台或野外监控系统的摄像系统往往会由于自身运动导致输出图像序列存在随机抖动，从而对视频监控及后续图像处理产生不利影响.消除这种图像抖动的技术叫做稳像技术，稳像技术已经从最初的机械稳像、光学稳像逐步过渡到电子稳像(Electronic Image Stabilization)阶段。电子稳像的视频帧补偿环节一般需要建立仿射变换模型，而仿射变换矩阵的计算需要使用参考帧与当前帧的图像匹配点，错误的匹配将得到错误的仿射变换矩阵，进而影响视频补偿的效果。

中国专利申请201410326103.7公开了公开了一种视频图像的稳像方法及装置，该方法包括如下步骤：使用SURF特征点检测算法提取第n-1帧和第n帧图像的特征点。将第n帧图像的特征点与第n-1帧图像的特征点进行匹配，形成多对匹配点对，确定第n帧图像与第n-1帧之间的仿射关系，通过匹配特征点解出仿射矩阵；将前n-1个仿射矩阵参考第1帧进行参数级联，通过滤波器对级联后的仿射参数进行kalman滤波，得到滤波后的级联仿射矩阵参数；根据所述滤波后的仿射参数对第n帧图像进行补偿得到滤波后的第n帧图像。

中国专利201110178881.2公开了一种基于特征匹配的电子稳像方法,其包括以下步骤:1、运动估计,估算出当前帧与前一帧间的运动参数,得到全局运动矢量和局部运动矢量；2、运动滤波,采用Kalman滤波器对全局运动参数进行滤波,得出有意扫描矢量,到需要补偿的抖动参数；3、运动补偿,利用滤波得到的补偿参数对视频序列进行逐帧补偿；4、视频修复,利用视频的时空冗余信息,采用运动修复的方法对局部运动矢量进行修复,并以此引导像素点的填充。

上述技术方案使用基于SIFT、SURF图像特征点匹配方法计算视频帧仿射变换矩阵时，仅使用了特征点特征值的大小进行特征点匹配，而没有针对视频帧之间运动的特殊性-相邻视频之间旋转平移运动较小、匹配特征点之间运动位移矢量相近的特点，从而产生了有线段交叉的误匹配点，而这种误匹配点给仿射变换矩阵计算带来了误差。

发明内容

针对现有技术的缺点，本发明的目的是提供一种消除线段交叉误匹配点的视频补偿方法。

为了实现上述目的，本发明提供了一种消除线段交叉误匹配点的视频补偿方法，该视频补偿方法包括如下步骤：

A、视频帧输入；

B、在当前帧及参考帧进行特征点提取，其中参考帧为当前帧的前一帧图像；

C、进行参考帧及当前帧图像特征点匹配；

D、消除具有线段交叉的匹配点对；

E、随机选择位于参考帧上三个特征点、以及在当前帧与其对应的匹配点，利用该三对匹配点的坐标求出变换矩阵；

F、对当前帧图像中的每一点，利用所述变换矩阵，经过图像插值后得到补偿后图像。

本发明的方法特别适用于存在连续抖动且旋转幅度较小的视频稳像情况。

传统方法没有考虑到正确匹配点对之间的连接线段一般不会有交点的特点，传统方法基于特征点的特征值大小匹配特征点无法消除该类错误匹配点对。本发明利用了视频帧之间联系较为紧密的特点，消除有线段交叉的误匹配点，提高了正确匹配点对的比例，使仿射变换矩阵的计算更加准确。

根据本发明另一具体实施方式，步骤D具体包括如下步骤：

D1、求出n对匹配点连成直线后的斜率均值

D2、若位于当前帧上点P₁、Q₁、分别与参考帧上的点P₂、Q₂完成匹配，当满足以下关系时可确定线段P₁P₂和线段Q₁Q₂有交点:

D3、当线段P₁P₂和线段Q₁Q₂存在交点时，直线P₁P₂和直线Q₁Q₂对应的斜率分别为K_P、K_Q，若则消除匹配点对P₁、P₂；否则消除匹配点对Q₁、Q₂。

根据本发明另一具体实施方式，步骤B提取图像ORB特征点。

根据本发明另一具体实施方式，ORB为带有方向的FAST算子和旋转的BRIEF算子。

根据本发明另一具体实施方式，步骤C使用RANSAC(随机抽样一致)完成特征点匹配。

根据本发明另一具体实施方式，步骤E具体包括如下步骤：

E1、在参考帧上随机选择三个特征点B₁、C₁、D₁；

E2、在当前帧上选择与B₁、C₁、D₁对应的匹配点B₂、C₂、D₂；

E3、分别将B₂、C₂、D₂的X轴坐标和Y轴坐标代入以下公式右侧的(x₂、y₂)，将B₁、C₁、D₁的X轴坐标和Y轴坐标代入以下公式左侧的(x₁、y₁)：

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right);$

E4、求出变换矩阵 $\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right).$

与现有技术相比，本发明具备如下有益效果：

本发明利用了视频帧之间联系较为紧密的特点，消除有线段交叉的误匹配点，提高了正确匹配点对的比例，使仿射变换矩阵的计算更加准确。

下面结合附图对本发明作进一步的详细说明。

附图说明

图1是实施例1中，当前帧与参考帧图像的匹配点。

具体实施方式

实施例1

本实施例提供了一种消除线段交叉误匹配点的视频补偿方法，该视频补偿方法包括如下步骤：

A、视频帧输入。

B、在当前帧及参考帧进行特征点提取，其中参考帧为当前帧的前一帧图像；该步骤提取图像ORB(带有方向的FAST算子和旋转的BRIEF算子)特征点。

C、进行参考帧及当前帧图像特征点匹配(如图1所示)；该步骤使用RANSAC(随机抽样一致)完成参考帧及当前帧图像特征点匹配。

D、消除具有线段交叉的匹配点对；其具体包括如下步骤：

D1、求出n对匹配点连成直线后的斜率均值

D2、若位于当前帧上点P₁、Q₁、分别与参考帧上的点P₂、Q₂完成匹配，当满足以下关系时可确定线段P₁P₂和线段Q₁Q₂有交点:

D3、当线段P₁P₂和线段Q₁Q₂存在交点时，直线P₁P₂和直线Q₁Q₂对应的斜率分别为K_P、K_Q，若则消除匹配点对P₁、P₂；否则消除匹配点对Q₁、Q₂(图1中，消除线段1两端对应的错误匹配点)。

E、随机选择位于参考帧上三个特征点、以及在当前帧与其对应的匹配点，利用该三对匹配点的坐标求出变换矩阵；其具体包括如下步骤：

E1、在参考帧上随机选择三个特征点B₁、C₁、D₁，其坐标分别为(x_B1,y_B1)、(x_C1,y_C1)、(x_D1,y_D1)；

E2、在当前帧上选择与B₁、C₁、D₁对应的匹配点B₂、C₂、D₂，其坐标分别为(x_B2,y_B2)、(x_C2,y_C2)、(x_D2,y_D2)；

E3、分别将(x_B2,y_B2)、(x_C2,y_C2)、(x_D2,y_D2)代入以下公式右侧的(x₂、y₂)，将(x_B1,y_B1)、(x_C1,y_C1)、(x_D1,y_D1)代入以下公式左侧的(x₁、y₁)：

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right);$

E4、求出变换矩阵 $\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right).$

F、对当前帧图像中的每一点，利用变换矩阵，经过图像插值后得到补偿后图像。

虽然本发明以较佳实施例揭露如上，但并非用以限定本发明实施的范围。任何本领域的普通技术人员，在不脱离本发明的发明范围内，当可作些许的改进，即凡是依照本发明所做的同等改进，应为本发明的范围所涵盖。

Claims (6)

1.一种消除线段交叉误匹配点的视频补偿方法，其特征在于，所述视频补偿方法包括如下步骤：

A、视频帧输入；

B、在当前帧及参考帧进行特征点提取，其中，所述参考帧为所述当前帧的前一帧图像；

C、进行参考帧及当前帧图像特征点匹配；

D、消除具有线段交叉的匹配点对；

E、随机选择位于参考帧上三个特征点、以及在当前帧与其对应的匹配点，利用该三对匹配点的坐标求出变换矩阵；

F、对当前帧图像中的每一点，利用所述变换矩阵，经过图像插值后得到补偿后图像。

2.根据权利要求1所述的视频补偿方法，其特征在于，所述步骤D具体包括如下步骤：

D1、求出n对匹配点连成直线后的斜率均值

D2、若位于当前帧上点P₁、Q₁、分别与参考帧上的点P₂、Q₂完成匹配，当满足以下关系时可确定线段P₁P₂和线段Q₁Q₂有交点:

D3、当线段P₁P₂和线段Q₁Q₂存在交点时，直线P₁P₂和直线Q₁Q₂对应的斜率分别为K_P、K_Q，若|k_p-k|＞|k_Q-k|，则消除匹配点对P₁、P₂；否则消除匹配点对Q₁、Q₂。

3.根据权利要求1所述的视频补偿方法，其特征在于，所述步骤B提取图像ORB特征点。

4.根据权利要求3所述的视频补偿方法，其特征在于，所述，所述ORB为带有方向的FAST算子和旋转的BRIEF算子。

5.根据权利要求1所述的视频补偿方法，其特征在于，所述步骤C使用RANSAC完成特征点匹配。

6.根据权利要求1所述的视频补偿方法，其特征在于，所述步骤E具体包括如下步骤：

E1、在参考帧上随机选择三个特征点B₁、C₁、D₁；

E2、在当前帧上选择与B₁、C₁、D₁对应的匹配点B₂、C₂、D₂；

E3、分别将B₂、C₂、D₂的X轴坐标和Y轴坐标代入以下公式右侧的(x₂、y₂)，将B₁、C₁、D₁的X轴坐标和Y轴坐标代入以下公式左侧的(x₁、y₁)：

$\left(\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right)=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right);$

E4、求出变换矩阵 $\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ 0& 0& 1\end{array}\right).$