CN105872345A - 基于特征匹配的全帧电子稳像方法 - Google Patents

Abstract

本发明一种基于特征匹配的全帧电子稳像方法，属数字图像处理技术领域，旨在消除相机平移和旋转等抖动对视频序列造成的影响，生成稳定的全帧视频输出。该方法首先采用ORB特征描述符提取每一帧内的特征点，并运用最小次小汉明距离比判别结合坐标与方向角差值检验的两级匹配策略对相邻帧内的特征点进行匹配；然后，通过三角形面积相似检验和RANSAC结合的运动参数估计方法，估计帧间仿射变换参数并累积；最后，运用图像拼接技术得到一幅运动补偿的拼接图像，并通过Kalman滤波估计相机的主观运动参数，依此在拼接图像上设立与视频帧大小相同的显示窗口，得到完整的运动补偿帧输出。本发明可以有效去除原始视频序列中的平移和旋转抖动，得到稳定的全帧输出。

Description

基于特征匹配的全帧电子稳像方法

技术领域

本发明属于图像处理技术领域，涉及视频序列的稳定处理，特别涉及一种基于特征匹配的电子稳像方法。

背景技术

数字摄像机在被使用时，由于载体平台的震动，导致输出视频带有平移和旋转抖动，这极大影响了视频的观测效果，也降低了视频监控和编码性能。电子稳像技术作为一种有效的视频图像稳定方法，具有高精度，低功耗，低成本的特点，已经在军事和民用场合中得到了广泛的应用。

常用的电子稳像方法大体上可以分为基于块匹配和基于特征匹配两种。基于块匹配的稳像方法将图像分为许多块区域，通过相邻帧间块区域的匹配来估计局部运动参数，进而得到全局运动参数。这种方法效果良好，但大量的块区域匹配会带来繁重的数据运算。基于特征匹配的稳像方法通过在帧内提取特征点，并在相邻帧间进行匹配来估计运动参数。这种方法精度较高，进行运动参数估计时可以不受搜索区域的限制，能够进行大范围的运动补偿。

传统的基于特征匹配的电子稳像方法，主要存在以下问题：一、常用特征描述符如SIFT和SURF运算较为复杂，难以硬件实时实现；二、运动参数估计易受误匹配和前景运动物体的影响；三、由于运动补偿，在输出帧会出现未定义区域，影响观测效果。

发明内容

本发明是为了解决现有基于特征匹配的电子稳像方法特征提取过程复杂度较高，难于硬件实时实现，特征匹配过程容易出现误匹配，参数估计过程对误匹配和前景运动物体的鲁棒性较差，运动补偿在输出帧形成未定义区域，影响视觉效果的问题，而提出一种基于特征匹配的全帧电子稳像方法。

实现本发明的技术方案如下：

一种基于特征匹配的全帧电子稳像方法，具体的过程为：

步骤一，利用ORB特征描述符对视频序列中的每一帧进行特征点提取；

步骤二，采用最小与次小汉明距离比值判定和坐标与方向角差值检验的两级匹配策略，对相邻帧内的特征点进行匹配；

步骤三，针对匹配所获得的匹配点对集合，利用三角形面积相似检验与RANSAC结合的运动参数估计方法，估计帧间仿射变换参数；对帧间仿射变换参数进行累积，得到当前帧相对于参考帧的累积仿射变换参数；

步骤四，利用图像拼接方法创建一幅运动补偿的拼接图像，对累积仿射变换参数的平移分量进行Kalman滤波估计相机的主观运动参数，并将其作为拼接图像中显示窗口的位置，在拼接图像中设立与参考帧大小相同的显示窗口，获取完整的运动补偿帧。

进一步地，本发明所述步骤二的具体过程为：

第一级匹配：对于在当前帧内检测到的每一个特征点，依据汉明距离，在前一帧的特征点集合中找出汉明距离最小和次小的特征点，将最小与次小汉明距离的比值与预设阈值进行比较，如果所述比值小于预设阈值，则将具有最小汉明距离的特征点对记为候选匹配点对，进入第二级匹配；

第二级匹配：对候选匹配点对的空间坐标(X,Y)和(X’,Y’)，方向角R和R’，设立以下两种判别条件：

第一： $\sqrt{{(X-X^{\&prime;})}^2+{(Y-Y^{\&prime;})}^2}<\mathrm{Threshold}1$

第二：|R-R′|＜Threshold2

其中，Threshold1表示坐标阈值，Threshold2表示角度阈值；

若以上两个条件均满足，则认为当前的候选匹配点对为正确匹配，否则视为错误匹配予以删除。

进一步地，本发明步骤三的具体过程为：

301，在匹配点对集合中随机选取三个匹配点对；

302，判断三个匹配点对是否不落在一条直线上，且在相邻帧上形成的两个三角形面积差值小于预设面积阈值，若条件满足则进入303，否则回到301；

303，根据选取的三个匹配点对，计算帧间仿射变换模型参数；

304，对于根据所述仿射变换模型参数得到的仿射变换模型，统计匹配点对集合中的内点数；

305，重复执行301-304预设次数，选出内点数最多的仿射变换模型所对应参数作为最佳帧间运动参数估计，然后对帧间运动参数进行累积，得到当前帧相对于参考帧的累积仿射变换参数。

进一步地，本发明所述利用图像拼接方法创建一幅运动补偿的拼接图像为：将参考帧作为基准，根据计算出的累积仿射变换参数，将当前帧进行仿射变换与参考帧对齐，并利用双线性插值和图像融合技术创建一幅运动补偿的拼接图像。

进一步地，本发明针对步骤一提取的特征点，根据特征点邻域一阶矩的大小关系，对特征点的方向角进行2π/32量化，并建立快速查找表；针对步骤一提取的特征点，根据高斯分布在特征点邻域内取定生成二值特征描述所需的点对坐标集合，并计算其对应于每一个量化方向角的旋转形式，建立快速查找表。

本发明具有如下有益效果：

1)特征点匹配过程采用两级匹配策略，有效地抑制了误匹配的产生，减少了误匹配对后续参数估计过程的影响。

2)参数估计过程采用三角形面积相似检验结合RANSAC的方法，增强了算法对误匹配和前景运动物体的鲁棒性。

3)利用图像拼接方法创建一幅运动补偿的拼接图像，能够同时消除视频中的平移和旋转抖动，并通过图像拼接和Kalman滤波方法得到稳定的全帧输出，提高了观测效果。

4)通过建立查找表简化ORB算法，降低了特征提取过程的复杂度，便于硬件实时实现。

附图说明

图1为本发明电子稳像方法的流程图。

图2为利用图像拼接和Kalman滤波方法得到稳定全帧输出的示意图。

具体实施方式

下面对本发明做进一步详细地描述：

如图1所示，本发明一种基于特征匹配的全帧电子稳像方法，主要包括以下四个流程：特征点提取、特征点匹配、运动参数估计、稳定全帧输出。

(1)特征点提取

利用ORB特征描述符(Rublee,Ethan,et al."ORB:an efficient alternative to SIFTor SURF."Computer Vision(ICCV),2011IEEE International Conference on.IEEE,2011.)，对视频序列中的每一帧进提取特征点。

为了使该过程便于硬件实时实现，本发明根据特征点邻域一阶矩的大小关系，对特征点的方向角进行2π/32(11.25度)量化，并建立快速查找表。同时，依据高斯分布在特征点邻域内取定生成二值特征描述所需的点对坐标集合，并计算其对应于每一个量化方向角的旋转形式，建立快速查找表，以降低算法复杂度。

(2)特征匹配

采用最小与次小汉明距离比值判定和坐标与方向角差值检验的两级匹配策略，来减小误匹配；具体过程为：

第一级匹配：对于在当前帧内检测到的每一个特征点，依据汉明距离，在前一帧的特征点集合中找出汉明距离最小和次小的特征点，将最小与次小汉明距离的比值与预设阈值进行比较：

$\frac{\mathrm{Minimum\; Dis}\tan \mathrm{ce}}{\mathrm{Senond}-\mathrm{Minimum\; Dis}\tan \mathrm{ce}}<\mathrm{Threshold}$

其中，MinimumDistance表示最小汉明距离，Senond-MinimumDistance表示次小汉明距离，Threshold表示预设阈值；

如果条件满足，则认为具有最小汉明距离的特征点对为候选匹配点对，进入下一级误匹配删除过程，如果条件不满足，则认为具有最小汉明距离的特征点对不为候选匹配点对，因此不予考虑；

第二级匹配：利用相邻帧间的空间相关性信息进行误匹配删除；由于相邻两帧之间的时间间隔较短，只可能存在较小的平移和旋转运动，所以正确匹配的特征点对应该具有相似的空间位置和方向角。假设(X,Y)和(X’,Y’)为候选匹配点对的空间坐标，R和R’为方向角，设立以下两种判别条件：

根据空间位置相似性有：

$\sqrt{{(X-X^{\&prime;})}^2+{(Y-Y^{\&prime;})}^2}<\mathrm{Threshold}1$

根据方向角相似性有：

|R-R′|＜Threshold2

其中，Threshold1表示坐标阈值，Threshold2表示角度阈值；

若以上两个条件均满足，则认为当前的候选匹配点对为正确匹配，否则视为错误匹配予以删除。

(3)运动参数估计

在得到相邻帧间的匹配点对集合后，本发明基于六参数仿射变换模型，利用三角形面积相似检验结合RANSAC的方法进行帧间运动参数估计。

六参数仿射变换模型能够描述两帧之间的平移，旋转，缩放，错切等运动变化，需要三个匹配点对来估计全部参数值，若其中包含有误匹配或落在前景运动物体上的特征点对，则会导致错误的运动估计结果。为了增强算法的鲁棒性，本发明采用三角形面积相似检验结合RANSAC的方法。

假设A、B、C和A’、B’、C’为选取的用于参数估计的三个匹配点对，它们在各自帧内分别形成一个三角形，表示为△ABC和△A’B’C’。如果这三个匹配点对均为正确匹配，且落在场景背景中，根据相邻帧的空间相关性，两个三角形应该具有相似的面积即：

SΔABC≈SΔA'B'C'

结合RANSAC参数估计方法，有如下步骤：

301，在匹配点对集合中随机选取三个匹配点对；

302，判断三个匹配点对是否不落在一条直线上，且在相邻帧上形成的两个三角形面积差值小于预设面积阈值，若条件满足则进入303，否则回到301；

303，根据选取的三个匹配点对，计算帧间仿射变换模型参数；

304，对于根据所述仿射变换模型参数得到的仿射变换模型，统计匹配点对集合中的内点数；

305，重复执行301-304预设次数，选出内点数最多的仿射变换模型所对应参数作为最佳帧间运动参数估计，然后对帧间运动参数进行累积，得到当前帧相对于参考帧的累积仿射变换参数。

(4)稳定全帧输出

为得到稳定的全帧输出，本发明采用图像拼接技术结合Kalman滤波窗口输出的方法，如附图2所示。

首先，将参考帧作为基准，根据计算出的累积仿射变换参数，将当前帧进行仿射变换与参考帧对齐，并利用双线性插值和图像融合技术创建一幅运动补偿的拼接图像；然后，在拼接图像中设立与参考帧大小相同的显示窗口获取完整的运动补偿帧。

由于在实际应用中，相机的主观运动一般只包含平移运动。本发明将累积仿射变换参数的平移分量进行Kalman滤波，去除高频抖动来估计相机的主观运动参数，并将其作为拼接图像中显示窗口的位置，这样便得到了只包含有相机主观运动的稳定全帧输出。

综上所述，本发明的基于特征匹配的全帧电子稳像方法对误匹配和前景运动物体具有一定的鲁棒性，可以有效消除视频序列中的平移和旋转抖动，得到稳定的全帧输出，并易于硬件实时实现。

Claims (5)

1.一种基于特征匹配的全帧电子稳像方法，其特征在于，具体的过程为：

步骤一，利用ORB特征描述符对视频序列中的每一帧进行特征点提取；

步骤二，采用最小与次小汉明距离比值判定和坐标与方向角差值检验的两级匹配策略，对相邻帧内的特征点进行匹配；

步骤三，针对匹配所获得的匹配点对集合，利用三角形面积相似检验与RANSAC结合的运动参数估计方法，估计帧间仿射变换参数；对帧间仿射变换参数进行累积，得到当前帧相对于参考帧的累积仿射变换参数；

步骤四，利用图像拼接方法创建一幅运动补偿的拼接图像，对累积仿射变换参数的平移分量进行Kalman滤波估计相机的主观运动参数，并将其作为拼接图像中显示窗口的位置，在拼接图像中设立与参考帧大小相同的显示窗口，获取完整的运动补偿帧。

2.根据权利要求1所述基于特征匹配的全帧电子稳像方法，其特征在于，所述步骤二的具体过程为：

第一级匹配：对于在当前帧内检测到的每一个特征点，依据汉明距离，在前一帧的特征点集合中找出汉明距离最小和次小的特征点，将最小与次小汉明距离的比值与预设阈值进行比较，如果所述比值小于预设阈值，则将具有最小汉明距离的特征点对记为候选匹配点对，进入第二级匹配；

第二级匹配：对候选匹配点对的空间坐标(X,Y)和(X’,Y’)，方向角R和R’，设立以下两种判别条件：

第一： $\sqrt{{(X-X^{\&prime;})}^2+{(Y-Y^{\&prime;})}^2}<\mathrm{Threshold}1$

第二：|R-R′|＜Threshold2

其中，Threshold1表示坐标阈值，Threshold2表示角度阈值；

若以上两个条件均满足，则认为当前的候选匹配点对为正确匹配，否则视为错误匹配予以删除。

3.根据权利要求1所述基于特征匹配的全帧电子稳像方法，其特征在于，所述步骤三的具体过程为：

301，在匹配点对集合中随机选取三个匹配点对；

302，判断三个匹配点对是否不落在一条直线上，且在相邻帧上形成的两个三角形面积差值小于预设面积阈值，若条件满足则进入303，否则回到301；

303，根据选取的三个匹配点对，计算帧间仿射变换模型参数；

304，对于根据所述仿射变换模型参数得到的仿射变换模型，统计匹配点对集合中的内点数；

305，重复执行301-304预设次数，选出内点数最多的仿射变换模型所对应参数作为最佳帧间运动参数估计，然后对帧间运动参数进行累积，得到当前帧相对于参考帧的累积仿射变换参数。

4.根据权利要求1所述基于特征匹配的全帧电子稳像方法，其特征在于，所述利用图像拼接方法创建一幅运动补偿的拼接图像为：将参考帧作为基准，根据计算出的累积仿射变换参数，将当前帧进行仿射变换与参考帧对齐，并利用双线性插值和图像融合技术创建一幅运动补偿的拼接图像。

5.根据权利要求1所述基于特征匹配的全帧电子稳像方法，其特征在于，针对步骤一提取的特征点，根据特征点邻域一阶矩的大小关系，对特征点的方向角进行2π/32量化，并建立快速查找表；针对步骤一提取的特征点，根据高斯分布在特征点邻域内取定生成二值特征描述所需的点对坐标集合，并计算其对应于每一个量化方向角的旋转形式，建立快速查找表。