CN101238712A - 数字图像稳定方法和设备 - Google Patents

Abstract

本发明涉及一种从摄像机产生的原始图像序列(10)中消除抖动的数字图像稳定方法。对原始序列(10)采用了稳定算法(11)。估计摄像机的全局运动并且用缺省的运动滤波器对其滤波(110)。从原始图像序列(10)和稳定图像序列(12)中提取预定参数(13，140，141)。计算测量值，以评估(15)稳定质量，并将计算值与阈值相比较。根据评估的结果(O₁₅，O′₁₅)，稳定算法(11)使用备选滤波器以改善稳定质量，或者继续使用缺省滤波器。

Description

数字图像稳定方法和设备

技术领域

本发明涉及一种数字图像稳定方法和设备，用于从摄像机产生的原始图像序列中消除不希望的摄像机运动(称为抖动)并获得稳定的图像序列，其中对所述原始序列采用稳定运算以消除所述抖动。

这种方法和设备可以用于如低/中端数字电影摄像机或者移动电话。

背景技术

众所周知，数字图像稳定方法的目标是消除不希望的摄像机运动或抖动，从而提供更舒适的视觉体验，产生的序列只显示必要的摄像机运动。抖动定义为附加在摄像机的有意运动(特别是平移或者旋转)上的图像的所有不希望的位置波动。

稳定算法的处理有时是比较严格的。这些算法很难完全适合待稳定的各种输入序列：例如，单视点序列，全景镜头，使用者向前或向后移动是的序列等等。

因此，需要更加灵活并对于多种输入序列最优的方法以及相应的设备。

发明内容

因此本发明的目的是提出这样一种设备。

为了这个目的，本发明涉及说明书引言部分描述的设备，此外，该设备的特征在于包括：

-初始级，在其中构造具有第一预定特征集的第一运动滤波器、所述缺省滤波器以及具有第二预定特征集的至少一个备选运动滤波器，所述滤波器在所述稳定算法中实现；

-第一级，在其中估计所述摄像机的全局运动并且用所述缺省滤波器对所述全局运动进行滤波；

-第二级，在其中提取来自所述原始序列和稳定序列的预定参数，并产生被称为标志的测量值，以评估稳定质量；以及

-第三级，在其中将所述标志与预定阈值进行比较，如果所述标志超过所述阈值，则产生第一控制信号，否则产生第二控制信号，所述第一控制信号强制所述稳定算法使用备选滤波器，以提高稳定质量，所述第二控制信号强制稳定算法继续使用所述缺省滤波器。

本发明的另一目的是提供可由这种设备实施的方法。

为此，本发明涉及说明书引言部分描述的方法，此外，该方法的特征在于包括：

-初始步骤，包括构造具有第一预定特征集的第一运动滤波器、所述缺省滤波器以及具有第二预定特征集的至少一个备选运动滤波器，所述滤波器在所述稳定算法中实现；

-第一步骤，包括估计所述摄像机的全局运动并且用所述缺省滤波器对所述全局运动进行滤波；

-第二步骤，包括提取来自所述原始序列和稳定序列的预定参数，并产生被称为标志的测量值，以评估稳定质量；以及

-第三步骤，包括将所述标志与预定阈值进行比较，如果所述标志超过所述阈值，则产生第一控制信号，否则产生第二控制信号，所述第一控制信号强制所述稳定算法使用备选滤波器，以提高稳定质量，所述第二控制信号强制稳定算法继续使用所述缺省滤波器。

根据该方法最重要的特征，使用和评估序列的固有特性，以提高稳定效率。

实际上，为了实施该方法，使用“环内(in loop)策略”。根据该方法的重要特征，环路中的关键工具是评估序列固有的、对用户感知稳定性产生影响的一些相关参数。

为了达到这个目的，首先通过缺省的稳定算法稳定原始抖动序列(或其一部分)。然后考虑稳定序列的全局运动和频率特性，使调整算法中的阈值/参数值，从而获得更好的稳定性。

根据本发明的方法可以应用于高/低/中端的数字摄像机中作为动态视频稳定工具，还可以在移动电话、Key-ring、PC程序等中实现。

本发明的其他特征参见从属权利要求。

附图说明

下文将参考附图对本发明作详细说明，本发明的其他目的、特征和优点将显而易见，在附图中：

-图1示意性地示出了用于实现根据本发明优选实施例的数字图像稳定方法的系统的结构；

-图2示意性地详细示出了图1中的一个模块，称为“评估模块”；以及

-图3是示出了本发明中环路的最优使用的时间图。

具体实施方式

在以下的描述中，本领域技术人员熟知的结构和功能并没有作详细说明，因为不必要的细节会使本发明不清楚。

为了固定构思，而非限制本发明的范围，此后认为抖动图像是由电影摄像机(未示出)产生的。原始图像序列和稳定图像序列都可以存储在存储装置中，即模块10和12。

图1示意性地示出了用于实现根据本发明的数字图像稳定(DIS)方法的系统1的结构(为了达到简化的目的，数字图像稳定方法此后将称为“DIS”)。

模块11实现稳定算法，并处理稳定算法滤波器(模块110)的实现，之后将详细说明。

稳定算法模块11从原始(即由摄像机产生的抖动)序列10中创建稳定序列12，例如摄像机产生的抖动序列10。图像可以划分成大的像素区域，称为“宏块”。来自稳定算法模块11的一些相关序列参数，如全局运动矢量，此后称为“GMV”，或者每个宏块的运动矢量，此后称为“BMV”，被发送给并存储于序列参数模块13。然后，将它们发送给评估模块15(输出O₁₃)并进行评估(图2详细示出了评估模块15的不同电路)。根据该评估的结果，调整稳定算法的新阈值，从而更好地稳定原始序列。

评估模块15中执行的分析通过(对原始图像序列10和稳定图像序列12)使用如下不同特性的测量，得到视频稳定质量的客观测量：公知的称为连续信号的“峰值信噪比”或“PSNR”的参数、对沿序列的运动矢量的频率分析和对当前图像运动参数的分析。该操作是针对每一帧执行的，之后将详细说明。基于这个评估，对算法的稳定参数进行动态调整(针对每一帧或者由N个帧形成的组)。稳定算法的运动/抖动滤波部分的可能调整、以及所评估的参数与对稳定算法的交互作用之间的关系将在后面详细说明。

这里将根据详细的图2说明评估模块15。如上所述，评估模块15中执行的分析通过(对原始图像序列10和稳定图像序列12)使用如下不同特性的测量，得到视频稳定质量的客观测量：连续图像的“PSNR”和对沿序列的“GMV”的频率分析。

模块14(见图1)包括用于存储N个帧的存储装置。更具体的说，模块14包括：原始缓冲器140，用于存储来自原始图像序列10的帧；以及稳定缓冲器141，用于存储来自稳定图像序列12的N个帧。将所述N个帧的序列发送到评估模块15(分别是输出O₁₄₀和O₁₄₁)，具体是发送到所述模块15中提供的分析块16。

通过使用基于原始图像序列10和稳定图像序列12的运动-频率内容、感官考虑以及常规均值“帧间变换保真度测量”的参数组合，将多种测量组合起来形成“稳定质量度量”，此后称为“SQM”。

更具体的说，根据本发明方法的优选实施例，“客观视频稳定质量测量系统”，按照以下方法测量“SQM”。

基于连续的“GMV”值，运动频谱被划分为两个能量带，一个为高频，典型地高于1Hz，另一个为低频，低于1Hz(在该例中)。

因此稳定质量的估计称作Estimation_of_Stalibisation_Quality，由下面的等式给出：

Estimation_of_Stabilisation_Quality＝(α0+α1*A_Below+α2*A_Above)*ITF+(β0+β1*A_Below+β2*A_Above)*redHF    (1)+(γ0+γ1*A_Below+γ2*A_Above)*redLF

其中α1和α2分别表示在考虑到帧间变换保真度(ITF)的情况下A_below和A_above的相应重要性，α0表示在整体测量中ITF的整体重要性；β1和β2分别表示在考虑到高频衰减(redHF)的情况下A_below和A_above的相应重要性，β0表示在整体测量中redHF的整体重要性；γ1和γ2分别表示在考虑到低频衰减(redLF)的情况下A_below和A_above的相应重要性，γ0表示在整体测量中redLF的整体重要性。这些参数是用实验的方法确定的。

接下来会详细说明其他参数：

A_above和A_below表示两个频带(例如，分别高于/低于1Hz)的能量在总运动能量中所占的比例；HF_Energy和LF_Energy是高频和低频能量的绝对水平(level)。

所述参数由下面两个等式给出：

$A_{\mathrm{Above}}=\frac{\mathrm{HF}\_\mathrm{Energy}}{\mathrm{HF}\_\mathrm{Energy}+\mathrm{LF}\_\mathrm{Energy}}---\left(2\right),$

$A_{\mathrm{Below}}=\frac{\mathrm{LF}\_\mathrm{Energy}}{\mathrm{HF}\_\mathrm{Energy}+\mathrm{LF}\_\mathrm{Energy}}=1-A_{\mathrm{Above}}---\left(3\right)$

RedHF和RedLF表示在所考虑的两个频带上原始序列10和稳定序列12之间运动能量的衰减。这应该是抖动衰减的主要指示符，特别是在高频上。

ITF表示索引，其是对两个连续帧之间的亮度数据计算的标准“PSNR”。最终的索引是在整个滑动测试窗口上(或者，在逐序列测量的情况下，在整个序列上)平均得到的。

等式(4)给出了连续帧之间的“PNSR”：

$\mathrm{PSNR}=10.{\log }_{10}\frac{{255}^2}{\frac{1}{\#\mathrm{pixels}}{\mathrm{\Σ}}_{\mathrm{ij}}{(\mathrm{aij}-\mathrm{bij})}^2}---\left(4\right)$

其中a_ij和b_ij是当前和连续帧的对应像素。

“帧间变换保真度”或“ITF”测量是根据连续图像序列间的“PSNR”(PSNR(I_k，I_k+1)，k为任意等级(rank))而计算的。ITF索引由等式(5)给出：

$\mathrm{ITF}=\frac{1}{(\mathrm{nb}\_\mathrm{frame}-1)}\underset{K=1}{\overset{\mathrm{nb}\_\mathrm{frame}-1}{\mathrm{\Σ}}}\left(\mathrm{PSNR}(I_K,I_{K+1})\right)---\left(5\right)$

其中nb_frame表示序列中被测试部分的帧的数量。

考虑到从模块13接收的序列参数(图1：输出O₁₃)以及从原始缓冲器140(输出O₁₄₀)和稳定缓冲器(输出O₁₄₁)接收到的原始帧，在分析块16(图2)中计算上述参数。所述参数存储在存储装置160(ITF)，161(RedHF)，162(RedLF)，163(A_above)和164(A_below)中。上述存储装置的内容被发送到测量计算模块17。

接下来将详细说明图1模块11中实现的稳定算法。稳定算法通常首先估计摄像机从一帧到下一帧的全局运动，得到“全局运动矢量”或“GMV”。然后需要对这个运动进行滤波，以消除不希望的分量或抖动。必须将这种分量与有意运动相分离。基本上，通过获取序列上的绝对位移矢量值并使用低通滤波器，可以消除高频抖动，保留总体趋势。

根据本发明的特征，使用了两个第一滤波器，此后分别称为滤波器FILTER_A和FILTER_B。在低通“GMV”滤波级中，对“GMV”曲线进行滤波并且在n帧上对其进行时间上的累积。要应用的校正是原始累积曲线AMV(n)和修正后的累积曲线AMVmod(n)之间的差值，原始累积曲线AMV(n)：

AMV(n)＝SUM(k＝1 to n)*(GMV(k))    (6)

修正后的积累曲线AMVmod(n)：

AMVmod(n)＝SUM(k＝1 to n)(filter(GMV(k)))  (7)

也可能存在两种运动平均滤波模式。

使用滤波器FILTER_A在时刻t执行运动平均滤波。用M个在前“GMV”的平均值取代“GMV”，因此对“GMV”的高频分量进行如下滤波：

GMV_filt_t＝Average(GMV_t...GMV_t-M)    (8)

使用滤波器FILTER_B在时刻t执行双通带运动平均滤波：在相同的采样窗上对运动平均滤波后的“GMV”，GMV_folt_t，再次进行平均：

GMV_double_filt_t＝Average(GMV_filt_t...GMV_filt_t-M)  (9)

这个双滤波后的“GMV”提供了比简单的运动平均滤波更平滑的结果。

然后“运动矢量积分”提供了另外两个运动滤波器的基础，此后称为FILTER_C和FILTER_D。在这种情况下，使用阻尼因子对“GMV”进行积分，由此产生的积分运动矢量(“IMV”)指定了要应用到当前输入图像以建立稳定序列的最终运动矢量校正：

IMV_t＝α*IMV_t-1+GMV_t  (10)

其中α是阻尼因子＜1(在0到1之间取值，取决于期望的稳定度)。

根据本发明方法的特征，使用自适应阻尼系数α，以满足下列等式。

IMV_t＝α_{(GMVt+GMVt-1)}*IMV_t-1+GMV_t  (11)

阻尼因子α取决于最后两个“GMV”之和。这就允许跟踪有意运动的开始。α和(GMV_t+GMV_t-1)之间的对应关系表如下构造：

-较小值的“GMV”和意味着较大的阻尼因子值。较大的阻尼值更强地稳定序列，正如假设摄像机有意静止不动一样。

-较大值的“GMV”和意味着较小的阻尼因子值，因为较小的阻尼值使得序列更加遵循原始运动。

使用两个表：

-FILTER_C：在这种情况下，构建对应关系表，以使稳定序列尽可能地稳定原始运动。一般而言，表中填充的是较大的阻尼因子值。

-FILTER_D：在这种情况下，构建对应关系表，以使稳定序列更快地跟踪较大的有意运动(表中填充的是比滤波器C中的阻尼因子值略小的阻尼因子值)。

下面将详细说明环路交互(loop interaction)。

在稳定算法中使用的缺省“运动滤波”滤波器是FILTER_C。依据评估结果，稳定算法可以使用不同的运动滤波器。

首先，由评估模块15(更确切的说是由分析块模块(图2))给出稳定序列的测量或标志。所述测量是由测量计算模块17计算的，如上所述，测量计算模块17从模块160到164接收参数ITF等。测量计算模块17的输出发送到比较模块19，与预定的阈值THR进行比较。如果测量超过该界限阈值THR，这意味着稳定结果是令人满意的，无需任何改变：分支“YES”和第一输出O₁₅上的信号被发送到位于稳定算法模块11中的滤波器子模块110。

否则，将使用另一滤波器处理该序列：分支“NO”。比较模块19第二输出上的信号被发送回到滤波器动作分析模块18，该模块18也接收参数A_above和A_below。

条件处理(switching)过程如下：

如果A_below＞T1*A_above，那么使用滤波器FILTER_A或FILTER_B：

如果A_above＞T2，那么使用滤波器FILTER_B，否则使用滤波器FILTER_A

如果A_below＜T1*A_above，那么使用滤波器FILTER_C或FILTER_D：

如果A_above＞T3，那么使用滤波器FILTER_C，否则使用滤波器FILTER_D

其中T1、T2和T3是实验确定的阈值。

上述计算结果被发送到滤波器控制模块110：输出O′₁₅上具有预定格式的的信号，称为“Send_Filter_Action message”。

然后，稳定算法模块11考虑到从输出O₁₅接收的信号值、或者从评估模块15的输出O′₁₅接收的信号值，对摄像机全局运动进行滤波，并且消除不希望的抖动。

因此，根据本发明方法的最重要特征，通过使用图像序列的固有特性及对它们进行评估来完成所述消除，从而改善稳定性。

本发明的最佳应用是使用闭合环路来实现环路交互。图3是说明了所述最佳应用的时间图。环路交互是使用闭合环路而动态地完成的，即，使用基于预定数量的连续帧(在图3所示情况下是6个帧)的测量，预定数量的连续帧被称为“稳定效率测量滑动窗”W_i(i是任意等级)。上面的线表示原始图像序列的帧，下面的线表示稳定序图像列的帧。

初始化帧标记为IF(上面的线)，第一稳定帧标记为SF₁(下面的线)。第一窗标记为W₁。对该窗的任何帧，存在还未足够处理以实现正确的环内(in-loop)稳定控制的帧。从标记为W₂(图3中的虚线)的第二窗的最末帧F开始，分析窗被填满，因此环内稳定开始有效。

每个窗包含相同数量的时隙(每个时隙对应于两个连续帧之间的时间间隔)，也即相同数量的帧，但是随着时间从产生的一个帧产生到下一帧而移动。例如，窗W₁包括原始帧1(IF)到6，稳定帧1到6，窗W₂包括原始帧和稳定帧2-7(F)等。

上述机制允许实时地改变在在模块11(图1)中实现的稳定算法的运动滤波部分。从前面的描述中可以看出，本发明很好地实现了其设定的目标。本发明DIS方法特别适合应用于低/中端数字视频摄像机中作为动态视频稳定工具，但它也可以内置在移动电话、Key-ring、PC程序等等中。

但是，需要注意到是，本发明并不限于以上详细描述的实施例和各种变化，在不背离本发明精神和范围的前提下可以作改动。如果单个硬件或者软件可以实现多种功能，那么采用硬件或软件或者两者，存在很多实现根据本发明方法的功能的方式。本发明并不排除使用多个硬件或软件或者两者的组合来实现功能，因此可以在不改变根据本发明的DIS方法的同时形成一种单个功能。所述硬件或软件可以通过多种方式实现，例如分别利用有线电子电路或者利用适当编程的集成电路。

Claims (11)

1.一种数字图像稳定设备，用于从摄像机产生的原始图像序列中消除不希望的、被称为抖动的摄像机运动并获得稳定的图像序列，对所述原始序列采用稳定算法(11)以消除所述抖动，所述设备的特征在于包括：

-初始级，在其中构造具有第一预定特征集的第一运动滤波器、所述缺省滤波器以及具有第二预定特征集的至少一个备选运动滤波器，所述滤波器在所述稳定算法(11)中实现；

-第一级，在其中估计所述摄像机的全局运动并且用所述缺省滤波器对所述全局运动进行滤波；

-第二级，在其中提取来自所述原始序列(10)和稳定序列(12)的预定参数(13，14)，并产生被称为标志(17)的测量值，以评估稳定质量；以及

-第三级(19)，在其中将所述标志与预定阈值进行比较，如果所述标志超过所述阈值，则产生第一控制信号(O₁₅)，否则产生第二控制信号(O′₁₅)，所述第一控制信号(O₁₅)强制所述稳定算法(11)使用备选滤波器，以提高稳定质量，所述第二控制信号(O′₁₅)强制稳定算法(11)继续使用所述缺省滤波器。

2.一种数字图像稳定方法，用于从摄像机产生的原始图像序列中消除不希望的、被称为抖动的摄像机运动并获得稳定的图像序列，对所述原始序列采用稳定算法(11)以消除所述抖动，所述方法的特征在于包括：

-初始步骤，包括构造具有第一预定特征集的第一运动滤波器、所述缺省滤波器以及具有第二预定特征集的至少一个备选运动滤波器，

所述滤波器在所述稳定算法(11)中实现；

-第一步骤，包括估计所述摄像机的全局运动并且用所述缺省滤波器对所述全局运动进行滤波；

-第二步骤，包括提取来自所述原始序列(10)和稳定序列(12)的预定参数(13，14)，并产生被称为标志(17)的测量值，以评估稳定质量；以及

-第三步骤，包括将所述标志与预定阈值进行比较(19)，如果所述标志超过所述阈值，则产生第一控制信号(O₁₅)，否则产生第二控制信号(O′₁₅)，所述第一控制信号(O₁₅)强制所述稳定算法(11)使用备选滤波器，以提高稳定质量，所述第二控制信号(O′₁₅)强制稳定算法(11)继续使用所述缺省滤波器。

3.根据权利要求2所述的方法，其特征在于，所述图像被划分成预定的较大像素区域，即“宏块”，所述参数包括全局运动矢量和“宏块”矢量(13)。

4.根据权利要求3所述的方法，其特征在于，所述标志(17)包括基于对所述原始序列和稳定序列执行的测量的组合的稳定质量度量，所述测量至少包括连续图像的峰值信噪比和对沿预定数量图像的序列的所述全局运动矢量的频率分析，对所述图像原始序列和稳定序列均执行所述测量。

5.根据权利要求4所述的方法，其特征在于，所述方法包括另一步骤：将所述预定数量图像的序列的运动频谱划分成预定的两个能量带，即第一低频能量带和第二高频能量带；根据连续的全局运动矢量计算所述运动频谱；所述稳定质量度量基于第一和第二参数的计算和组合、第三和第四参数的计算和组合以及第五参数，第一和第二参数分别称为A_below和A_above，分别表示所述第一和第二能量带中的能量比例，第三和第四参数表示在所述第一和第二频带上所述图像原始序列和稳定图像序列之间的运动能量衰减，第五参数称作帧间变换保真度，表示所述预定数量图像的序列中连续图像之间的所述峰值信噪比。

6.根据权利要求5所述的方法，其特征在于，所述高频是高于1Hz的频率，所述低频是低于1Hz的频率。

7.根据权利要求5或6所述的方法，其特征在于，设计被称作FILTER_C的所述缺省运动滤波器的所述第一预定特征集，以获得所述摄像机运动的高稳定性，并且所述第一预定特征集包括填充有高阻尼因子值的对应关系表。

8.根据权利要求7所述的方法，其特征在于，设计被称作FILTE_D的至少一个备选滤波器的所述第二预定特征集，以允许更快地跟踪所述摄像机的较大有意运动，并且所述第二预定特征集包括填充有阻尼因子的对应关系表，该阻尼因子的值低于所述FILTER_C的阻尼因子的值。

9.根据权利要求5和6所述的方法，其特征在于，所述初始步骤包括构造分别具有第三和第四特征集的另外两个备选运动滤波器，所述另外两个备选运动滤波器分别称为FILTER_A和FILTER_B；设计所述第三特征集，以对所述原始图像序列执行运动平均滤波，由预定数量的在前全局运动矢量的平均值取代所述全局运动矢量，所述预定数量的在前全局运动矢量表示采样窗，对所述矢量的高频分量进行滤波；设计所述第四特征集，以对所述原始图像序列执行双通带运动平均滤波，由预定数量的在前全局运动矢量的平均值取代所述全局运动矢量，在第一通带中对所述矢量的高频分量进行滤波，在第二通带中在相同的采样窗上对上述滤波后的运动矢量再次进行滤波。

10.根据权利要求9所述的方法，其特征在于，所述初始步骤包括实验确定分别称为T1、T2和T3的另外三个阈值；如果所述第一阈值被超过，则所述初始步骤包括使用分别称为A_below和A_above的所述第一和第二参数来进行依次比较的步骤：

-如果A_below＞T1*A_above，则使用所述滤波器FILTER_A或FILTER_B，并且如果A_above＞T2，则使用所述滤波器FILTER_B，否则使用所述滤波器FILTER_A；以及

-如果A_eblow＜T1*A_above，则使用所述滤波器FILTER_C或FILTER_D，并且如果A_above＞T3，则使用所述滤波器FILTER_C，否则使用所述滤波器FILTER_D。

11.根据权利要求10所述的方法，其特征在于，所述采样窗是包括恒定数量的时隙的滑动窗(W₁，W₂，W_i)，每个时隙对应于将所述原始序列(10)和稳定序列(12)的两个连续帧隔开的时间间隔，所述滑动窗随时间从一帧移动到下一帧，以实时地执行所述运动滤波。

Images