CN103227888A

CN103227888A - 一种基于经验模式分解和多种评价准则的视频去抖动方法

Info

Publication number: CN103227888A
Application number: CN2013101393094A
Authority: CN
Inventors: 汪增福; 於俊
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2013-04-21
Filing date: 2013-04-21
Publication date: 2013-07-31
Anticipated expiration: 2033-04-21
Also published as: CN103227888B

Abstract

本发明公开一种基于经验模式分解和多种评价准则的视频去抖动方法，涉及视频修复、图像处理技术领域，是一种能去除视频中不稳定、抖动效果的视频去抖动技术。本发明提出的方法首先利用Sift算法来提取参考帧和当前帧中的特征点，并对它们进行匹配，接着通过RANSAC算法来得到全局运动参数，然后基于经验模式分解以及多种评价准则(全局运动参数和特征点对位置误差)来确定抖动参数以实现对当前帧的运动补偿，最后结合图像纹理合成算法来修复运动补偿后的视频帧，从而得到稳定和完整的输出视频。客观实验结果表明，该方法在信噪比和耗时方面具有较好的综合优势。

Description

一种基于经验模式分解和多种评价准则的视频去抖动方法

技术领域

本发明涉及视频修复、图像处理技术领域，具体涉及一种基于经验模式分解和多种评价准则的视频去抖动方法，其是一种能去除视频中不稳定、抖动效果的视频去抖动技术。

背景技术

在实际摄影系统中，通过车辆、手持或者飞机等移动平台得到的视频不仅包含了成像系统的主动运动，同时也包含了移动平台的随机运动。而由此随机运动产生的不稳定视频会让人产生疲惫感，同时也给有用信息的提取带来困难。因此，如何将不稳定的视频转化为稳定的视频具有重要意义。

目前的方法分为像素法、块匹配法、相位相关法和特征匹配法等。像素法利用像素灰度值间的关系进行运动估计，但它对噪声敏感，且要求图像的信息较为丰富；块匹配法将块中的像素作为一个整体来进行运动估计，从而它比像素法更加鲁棒，但算法的精度和计算复杂度受块的数目、尺寸、搜索范围及搜索策略的影响很大；相位相关法通过计算相邻帧的互功率谱来估计运动的方向和速度，它的抗噪声性较强，但计算复杂度大且易受局部运动的干扰；特征匹配法基于人的视觉特性，通过提取并匹配相邻帧的特征进行运动估计，相比于其它算法，它更接近于人的视觉系统对运动信息进行处理的过程，但结果受到特征提取及匹配的鲁棒性和精度的制约。

发明内容

本发明从系统的角度研究视频去抖动问题，提出了一种基于经验模式分解和多种评价准则的视频去抖动方法。

本发明采用的技术方案为：一种基于经验模式分解和多种评价准则的视频去抖动方法，包括如下步骤：

步骤（1）、首先利用Sift算法提取参考帧和当前帧中的特征点，并对它们进行匹配；在当前帧和参考帧的Sift特征生成后，对于当前帧中的某个特征点，找出参考帧中与其欧式距离最近的前两个特征点，如果最近的距离除以次近的距离少于某个阈值，则接受该特征点与距离最近的特征点作为一对匹配点；

步骤（2）、接着基于RANSAC算法来得到全局运动参数；

步骤（3）、然后基于经验模式分解(EMD)以及多种评价准则来得到全局运动量中的平稳运动量，并对全局运动量与平稳运动量求差值，进而将得到的差值作为抖动参数以实现运动补偿；

步骤（4）、最后结合视频参考信息与图像纹理合成算法来修复运动补偿后出现的空白区域，从而获得稳定和完整的输出视频。

其中，步骤（2）基于RANSAC算法来得到全局运动参数具体为：得到的特征点对集P中随机取若干对对应点来构成它的子集合S₁，接着由S₁和全局运动参数的1个解M₁，然后由M₁和给定的误差范围T，得到P的子集

S_{1}^{*} = {({(x_{i}, y_{i})}^{T}; {(x_{j}, y_{j})}^{T}) |||\begin{matrix} x_{j} - (a_{1} x_{i} + a_{2} y_{i} + a_{3}) / (a_{7} x_{i} + a_{8} y_{i} + 1) \\ y_{j} - (a_{4} x_{i} + a_{5} y_{i} + a_{6}) / (a_{7} x_{i} + a_{8} y_{i} + 1) \end{matrix}|| \leq T},

最后将以上过程重复K次，并记下容量最大的

由

和全局运动参数的最终解M，重复次数K由经验公式给出。

其中，经验值T取为5。

其中，步骤（3）所述的多种评价准则为全局运动参数和特征点对位置误差。

其中，步骤（3）中基于经验模式分解(EMD)以及多种评价准则来得到全局运动量中的平稳运动量具体步骤如下：

步骤3.1、经验模式分解

经验模式分解(EMD)是对信号进行平稳化处理以及得到信号Hilbert谱的方法，具体做法是将信号中不同尺度的波动或趋势逐级分解开来，产生一系列具有不同特征尺度的信号，过程如下：

1)找出信号中的局部极大值点集和局部极小值点集，用样条函数将它们连接成上、下包络；

2)计算上包络和下包络的平均值；

3)求信号与均值的差值(IMF)，重复以上过程数次，直到IMF满足要求；

定义新的信号等于原始信号与第1个IMF的差值，重复上述过程，直到从中不能再筛选出IMF时停止，此时，信号分解为数个IMF和一个剩余分量之和，该剩余分量即代表了信号的趋势；

步骤3.2、基于第一个评价准则的运动决定

首先将第2步中得到的全局运动参数M作为评价抖动的准则之一，接着利用EMD得到M中各个分量的平稳运动量；

步骤3.3、基于第二个评价准则的运动决定

首先采用特征点对位置误差(ECFP)作为第二个评价准则，ECFP是特征点对的坐标差值，选取依据是：很小的帧间旋转角度对应的ECFP仍然会比较大，从而可将旋转角度很小时面对的困难通过转移到ECFP上来巧妙地解决，接着利用EMD得到ECFP中横坐标分量和纵坐标分量的平稳运动量。

其中，步骤（4）中融合多种评价准则进行运动补偿具体为：

步骤4.1根据第一个评价准则进行运动补偿

首先对M与运动决定后得到的M中平稳运动量求差，接着将差值作为抖动参数，然后逐帧进行运动补偿以消除抖动，即：

x_j＝(a_1cx_i+a_2cy_i+a_3c)(a_7cx_i+a_8cy_i+1)

y_j＝(a_4cx_i+a_5cy_i+a_6c)(a_7cx_i+a_8cy_i+1)

(a_1c,a_2c,a_3c,a_4c,a_5c,a_6c,a_7c,a_8c)是抖动参数，(x_i,y_i),(x_j,y_j)是像素点在运动补偿前后的位置；

步骤4.2根据第二个评价准则进行运动补偿

首先对ECFP与运动决定后得到的ECFP中平稳运动量求差，接着将差值作为抖动参数，然后逐帧进行运动补偿以消除抖动，即：

x_j＝x_i+x_c，y_j＝y_i+y_c

(x_c,y_c)是抖动量，(x_i,y_i),(x_j,y_j)定义同上；

步骤4.3对多种运动补偿结果的融合

设置像素在运动补偿后的位置为步骤4.1和步骤4.2作用结果的平均值；

步骤4.4控制误差传播

对于当前帧，分别计算原始视频和稳定视频的累积运动偏移，如果它们的差值在一定范围内，以稳定视频的前一帧作为参考帧来做运动补偿，否则以原始视频的前一帧作为参考帧来做补偿。

其中，步骤（5）中视频修复具体为：

结合丰富的视频参考信息与图像纹理合成算法进行视频修复，从而使得图像纹理合成的功能得到更好地发挥。过程如下：根据图像纹理合成算法在相邻帧中搜索最佳修复块，来代替待修复块中的未知部分。如果在所有相邻帧中都搜索不到完整的匹配块，则在当前帧中搜索最佳修复块，来代替待修复块中的未知部分。修复按照如下原则来进行：如果当前待修复块A在相邻帧中的最佳修复块为B，则与A相邻的待修复块A'在相邻帧中的修复块优先考虑B的相邻块B'。

其中，步骤（6）中进行达到实时性的处理具体为：

利用GPU加速来满足视频去抖动系统实时性的要求，并且采用GPU+CPU架构：计算量巨大的全局运动估计和运动补偿在GPU中实现，其它部分在CPU中实现。特别的，针对Sift提取特征计算量较大的问题，采用现有的Sift的GPU加速版本来解决该问题。

本发明与现有技术相比具有以下特点以及优势：

(1)、本发明基于Sift特征提取/匹配和RANSAC拟合的鲁棒全局运动参数提取；

(2)、本发明首次利用经验模式分解进行运动决定，取得了较好的结果；

(3)、本发明融合多种评价准则来增加运动补偿的精度；

(4)、本发明结合丰富的视频参考信息与图像纹理合成算法进行视频修复。

附图说明

图1为本发明的一种基于经验模式分解和多种评价准则的视频去抖动方法流程示意图；

图2为本发明（视频去抖动系统）的软件效果截图示意图；

图3为高斯尺度空间金字塔（a）、高斯差分尺度空间（b）的构建过程；

图4为DoG尺度空间局部极值检测；

图5为由梯度方向直方图确定主梯度方向；

图6为由关键点邻域梯度信息生成特征描述子。

具体实施方式

下面结合附图及具体实施方式进一步说明本发明。

图1所示为本发明一种基于经验模式分解和多种评价准则的视频去抖动方法的流程图。

（1）、首先利用Sift算法提取参考帧和当前帧中的特征点，并对它们进行匹配。

Sift特征具有如下优点：1)对旋转和尺度缩放的不变性；2)对视角、亮度和噪声的鲁棒性；3)优良的独特性；4)海量的丰富性。本发明利用Sift进行匹配的步骤为：

1.1、尺度空间和极值点的生成

定义一幅图像I(x,y)的尺度空间为：

L(x,y,σ)＝G(x,y,σ)·I(x,y) (1)

G(x,y,σ)是尺度可变高斯函数，σ是尺度坐标。

G (x, y, σ) = e^{(- (x^{2} + y^{2}) / {2 σ}^{2})} / {2 πσ}^{2} - - - (2)

进一步生成高斯差分尺度空间(DoG尺度空间)：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))·I(x,y) (3)

1.1.1、图像金字塔和高斯差分尺度空间的构建

图像金字塔中下一组的图像由上一组图像降采样得到。图3是高斯尺度空间金字塔和高斯差分尺度空间的构建过程。

1.1.2、空间极值点的检测

每一个采样点要和它所有的相邻点比较来寻找尺度空间的极值点(图4)。

1.2、关键点的确定

通过拟和多项式函数来精确确定关键点的位置和尺度，同时去除低对比度的关键点。

1.3、关键点方向的分配

用直方图来统计以关键点为中心的邻域像素的梯度方向，将它的峰值作为关键点的方向(图5)。

1.4、特征描述子的生成

首先将坐标轴旋转为关键点的方向。接着以关键点为中心取8×8的窗口，在每个像素计算梯度(图6左)。然后在每4×4的小块上计算8个方向的梯度方向直方图，统计每个梯度方向的累加值形成一个描述子(图6右)。最后将它的模归一化。

1.5、特征匹配

在当前帧和参考帧的Sift特征生成后，对于当前帧中的某个特征点，找出参考帧中与其欧式距离最近的前两个特征点，如果最近的距离除以次近的距离少于某个阈值，这里取为0.49，则接受该特征点与距离最近的特征点作为一对匹配点。

（2）、接着基于RANSAC算法来得到全局运动参数。

2.1、图像运动模型及求解

基于图像运动模型为透视投影变换模型的假设，将图像全局运动方程写为：

x_j＝(a₁x_i+a₂y_i+a₃)(a₇x_i+a₈y_i+1) (4)

y_j＝(a₄x_i+a₅y_i+a₆)(a₇x_i+a₈y_i+1) (5)

全局运动参数可通过1.5节得到的特征点对集P＝{((x_i,y_i)^T;(x_j,y_j)^T)},i,j＝1…n，利用LM算法来求解。

2.2、基于RANSAC的全局运动估计

虽然1.5节匹配的结果中大部分的特征点都有相同的运动趋势，但也有一些特征点(坏点)的运动与该运动趋势违背。当坏点较多时，会使图像运动模型的求解结果出错。

另一方面，随机采样一致(RANSAC)算法对坏点具有较好的鲁棒性，具体做法是：首先对数据进行多次随机采样。接着在每次采样中取出尽可能少但充分多的数据来拟合模型参数。然后根据已确定的模型对原始数据集进行划分。将以上过程重复多次后，找出落在误差范围内最多点的集合。最后以此集合来拟合确定最终的模型参数。

鉴于此，本文采用RANSAC求解全局运动参数：

首先在1.5得到的特征点对集P中随机取6对对应点来构成它的子集合S₁，接着由S₁和2.1得到全局运动参数的1个解M₁，然后由M₁和给定的误差范围T，得到P的子集

S_{1}^{*} = {({(x_{i}, y_{i})}^{T}; {(x_{j}, y_{j})}^{T}) |||\begin{matrix} x_{j} - (a_{1} x_{i} + a_{2} y_{i} + a_{3}) / (a_{7} x_{i} + a_{8} y_{i} + 1) \\ y_{j} - (a_{4} x_{i} + a_{5} y_{i} + a_{6}) / (a_{7} x_{i} + a_{8} y_{i} + 1) \end{matrix}|| \leq T},

经验值T取为5。

最后将以上过程重复K次，并记下容量最大的由

和4.1得到全局运动参数的最终解M，重复次数K由经验公式给出。

（3）、然后基于经验模式分解(EMD)以及多种评价准则(全局运动参数和特征点对位置误差)来进行运动决定。

3.1、经验模式分解

经验模式分解(EMD)是对信号进行平稳化处理以及得到信号Hilbert谱的方法，具体做法是将信号中不同尺度的波动或趋势逐级分解开来，产生一系列具有不同特征尺度的信号。它可以有效地提取信号的趋势或去除高频噪声。过程如下：

(1)找出信号中的局部极大值点集和局部极小值点集，用样条函数将它们连接成上、下包络。

(2)计算上包络和下包络的平均值。

(3)求信号与均值的差值(IMF)。重复以上过程数次，直到IMF满足要求。

定义新的信号等于原始信号与第1个IMF的差值。重复上述过程，直到从中不能再筛选出IMF时停止。此时，信号分解为数个IMF和一个剩余分量之和。该剩余分量即代表了信号的趋势。

3.2、基于第一个评价准则的运动决定

首先将第2步中得到的全局运动参数M作为评价抖动的准则之一。接着利用EMD得到M中各个分量的平稳运动量。

3.3、基于第二个评价准则的运动决定

实际中，我们发现采用现有的曲线拟合、统计滤波、低通滤波等运动决定方法对小旋转分量的稳像效果会变得很差，原因是：当帧间旋转角度很小时，比如0.01度左右，现有的方法得到的运动决定结果也就在0.01度左右，导致运动补偿近乎失效，从而在人的视觉上看来抖动依然很剧烈。

鉴于此，首先采用特征点对位置误差(ECFP)作为第二个评价准则。ECFP是由1.5得到的特征点对的坐标差值。选取依据是：很小的帧间旋转角度对应的ECFP仍然会比较大，从而可将旋转角度很小时面对的困难通过转移到ECFP上来巧妙地解决。接着利用EMD得到ECFP中横坐标分量和纵坐标分量的平稳运动量。

（4）、融合多种评价准则进行运动补偿。

4.1根据第一个评价准则进行运动补偿

首先对M与运动决定后得到的M中平稳运动量求差，接着将差值作为抖动参数，然后逐帧进行运动补偿以消除抖动。即：

x_j＝(a_1cx_i+a_2cy_i+a_3c)(a_7cx_i+a_8cy_i+1)

y_j＝(a_4cx_i+a_5cy_i+a_6c)(a_7cx_i+a_8cy_i+1)

(a_1c,a_2c,a_3c,a_4c,a_5c,a_6c,a_7c,a_8c)是抖动参数，(x_i,y_i),(x_j,y_j)是像素点在运动补偿前后的位置。

4.2根据第二个评价准则进行运动补偿

首先对ECFP与运动决定后得到的ECFP中平稳运动量求差，接着将差值作为抖动参数，然后逐帧进行运动补偿以消除抖动。即：

x_j＝x_i+x_c，y_j＝y_i+y_c

(x_c,y_c)是抖动量，(x_i,y_i),(x_j,y_j)定义同上。

4.3对多种运动补偿结果的融合

设置像素在运动补偿后的位置为4.1和4.2作用结果的平均值。

4.4控制误差传播

(5)、视频修复。

如前所述，图像纹理合成算法当参考信息不足的时候，并不能较好地修复运动补偿后出现的空白区域。而该情况恰恰在实际中经常会遇到。

鉴于此，本文结合丰富的视频参考信息与图像纹理合成算法进行视频修复，从而使得图像纹理合成的功能得到更好地发挥。过程如下：根据图像纹理合成算法在相邻帧中搜索最佳修复块，来代替待修复块中的未知部分。如果在所有相邻帧中都搜索不到完整的匹配块，则在当前帧中搜索最佳修复块，来代替待修复块中的未知部分。修复按照如下原则来进行：如果当前待修复块A在相邻帧中的最佳修复块为B，则与A相邻的待修复块A'在相邻帧中的修复块优先考虑B的相邻块B'。

（6）、进行达到实时性的处理。

作为图形处理器，一块高端GPU的单精度浮点处理性能可以达到同时期一块高端PC机中CPU的10倍。因此，对系统进行GPU加速，比如CPU+GPU异构模式、，是达到实时性的有效措施。

鉴于此，本文利用GPU加速来满足视频去抖动系统实时性的要求，并且采用GPU+CPU架构：计算量巨大的全局运动估计和运动补偿在GPU中实现，其它部分在CPU中实现。特别的，针对Sift提取特征计算量较大的问题，采用现有的Sift的GPU加速版本来解决该问题。

图2为本发明的软件效果截图。

综上，本发明提供了一种基于Sift特征提取/匹配和RANSAC拟合的鲁棒全局运动参数提取的视频防抖动方法，该方法首次利用经验模式分解进行运动决定，取得了较好的结果。该方法融合多种评价准则来增加运动补偿的精度。该方法结合丰富的视频参考信息与图像纹理合成算法进行视频修复。

本发明未详细阐述的部分属于本领域公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种基于经验模式分解和多种评价准则的视频去抖动方法，其特征在于，包括如下步骤：

步骤（2）、接着基于RANSAC算法来得到全局运动参数；

2.根据权利要求1所述的一种基于经验模式分解和多种评价准则的视频去抖动方法，其特征在于，步骤（2）基于RANSAC算法来得到全局运动参数具体为：得到的特征点对集P中随机取若干对对应点来构成它的子集合S₁，接着由S₁和全局运动参数的1个解M₁，然后由M₁和给定的误差范围T，得到P的子集

S_{1}^{*} = {({(x_{i}, y_{i})}^{T}; {(x_{j}, y_{j})}^{T}) |||\begin{matrix} x_{j} - (a_{1} x_{i} + a_{2} y_{i} + a_{3}) / (a_{7} x_{i} + a_{8} y_{i} + 1) \\ y_{j} - (a_{4} x_{i} + a_{5} y_{i} + a_{6}) / (a_{7} x_{i} + a_{8} y_{i} + 1) \end{matrix}|| \leq T},

最后将以上过程重复K次，并记下容量最大的

由

和全局运动参数的最终解M，重复次数K由经验公式给出。

3.根据权利要求2所述的一种基于经验模式分解和多种评价准则的视频去抖动方法，其特征在于，经验值T取为5。

4.根据权利要求1所述的一种基于经验模式分解和多种评价准则的视频去抖动方法，其特征在于，步骤（3）所述的多种评价准则为全局运动参数和特征点对位置误差。

5.根据权利要求1所述的一种基于经验模式分解和多种评价准则的视频去抖动方法，其特征在于，步骤（3）中基于经验模式分解(EMD)以及多种评价准则来得到全局运动量中的平稳运动量具体步骤如下：

步骤3.1、经验模式分解

2)计算上包络和下包络的平均值；

步骤3.2、基于第一个评价准则的运动决定

步骤3.3、基于第二个评价准则的运动决定

6.根据权利要求1所述的一种基于经验模式分解和多种评价准则的视频去抖动方法，其特征在于，步骤（4）中融合多种评价准则进行运动补偿具体为：

步骤4.1根据第一个评价准则进行运动补偿

x_j＝(a_1cx_i+a_2cy_i+a_3c)(a_7cx_i+a_8cy_i+1)

y_j＝(a_4cx_i+a_5cy_i+a_6c)(a_7cx_i+a_8cy_i+1)

步骤4.2根据第二个评价准则进行运动补偿

x_j＝x_i+x_c，y_j＝y_i+y_c

(x_c,y_c)是抖动量，(x_i,y_i),(x_j,y_j)定义同上；

步骤4.3对多种运动补偿结果的融合

步骤4.4控制误差传播

7.根据权利要求1所述的一种基于经验模式分解和多种评价准则的视频去抖动方法，其特征在于，步骤（5）中视频修复具体为：

结合丰富的视频参考信息与图像纹理合成算法进行视频修复，从而使得图像纹理合成的功能得到更好地发挥，过程如下：根据图像纹理合成算法在相邻帧中搜索最佳修复块，来代替待修复块中的未知部分，如果在所有相邻帧中都搜索不到完整的匹配块，则在当前帧中搜索最佳修复块，来代替待修复块中的未知部分，修复按照如下原则来进行：如果当前待修复块A在相邻帧中的最佳修复块为B，则与A相邻的待修复块A'在相邻帧中的修复块优先考虑B的相邻块B'。

8.根据权利要求1所述的一种基于经验模式分解和多种评价准则的视频去抖动方法，其特征在于，步骤（6）中进行达到实时性的处理具体为：

利用GPU加速来满足视频去抖动系统实时性的要求，并且采用GPU+CPU架构：计算量巨大的全局运动估计和运动补偿在GPU中实现，其它部分在CPU中实现，特别的，针对Sift提取特征计算量较大的问题，采用现有的Sift的GPU加速版本来解决该问题。