CN102348046A - 一种视频去抖动方法和视频去抖动装置 - Google Patents

Abstract

本发明公开了一种视频去抖动方法和装置。所述视频去抖动方法包括：为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵；确定所述原始视频的裁剪尺寸；以及利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。

Description

一种视频去抖动方法和视频去抖动装置

技术领域

本发明涉及视频处理技术领域，更具体而言，涉及一种视频去抖动方法和视频去抖动装置。

背景技术

近年来，在消费市场中，用于消除不期望的相机运动(即，无意运动)的视频去抖动系统越来越流行。图1示出了去除一维方向上的抖动的方法的示意图。如图1所示，由圆圈连成的线表示摄像机的实际运动，由三角形连成的线表示摄像者期望的摄像机运动，即有意运动。有意运动是人的意图所引起的运动，例如，人为的摄像机移动。实际运动中包含摄像者的有意运动和无意运动。视频去抖动就是要从摄像机的实际运动中去除不期望的无意运动，得到期望的有意运动，如图1中的箭头所示。这样，处理后的视频在视觉上将变得平滑，减轻了由于无意运动引起的画面之间的跳动感。

视频去抖动系统通常包括三个部分：全局运动估计、有意运动估计和图像合成。

通过全局运动估计和有意运动估计，确定用于每个视频帧的变换矩阵。所述变换矩阵用于将视频中的每个帧变换成去除了无意运动的帧，即去除了抖动的帧。通常，变换矩阵中可以包括一个或更多个参数(也称为变换参数)，以在一个或更多个方向上对视频进行去抖动。

图像合成通常涉及利用变换矩阵对视频帧的变换、以一定裁剪尺寸对视频帧进行裁剪、以及对裁剪后的视频帧进行扩展以得到原始高宽比的视频帧等处理。由于对视频帧进行变换将留下未定义的区域(也称为黑区)，并因而导致视觉上的降级，因此必须消除黑区。通常通过裁剪和扩展剩余的图像部分、或者使用来自相邻帧的信息来构造图像拼接来消除黑区，如图2所示。

在传统视频去抖动技术中，在同一轮中处理运动估计和图像合成，如图3中的虚线框所示。也就是说，对于视频中的每个帧，在一轮中相继对该帧进行全局运动估计、有意运动估计和图像合成。作为一种实际应用示例，使用解码器对视频解码一次，边解码边对已解码出的帧进行运动估计和图像合成。然而，在这种情况下，在未定义区域的量与运动平滑程度之间存在折衷。平滑程度越大，视频帧中产生的黑区也会越大。处理这个问题的通用方法是牺牲平滑程度，以保证未定义的区域小于预定阈值。例如，当去除了抖动的帧具有比预定阈值大的黑区时，减小变换矩阵中的平滑参数，直到黑区低于预定阈值。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明旨在至少解决现有技术中的上述技术问题，提供一种视频去抖动方法和视频去抖动装置。

根据本发明的一个方面，提供了一种视频去抖动方法，包括：为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵；确定所述原始视频的裁剪尺寸；以及利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。

根据本发明的另一方面，提供了一种视频去抖动装置，包括：变换矩阵确定单元，配置用于为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵；裁剪尺寸确定单元，配置用于确定所述原始视频的裁剪尺寸；以及图像合成单元，配置用于利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。

根据本发明的又一方面，提供了一种视频去抖动方法，包括：为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵并利用该变换矩阵来对该帧进行变换；确定所述原始视频的裁剪尺寸；以及利用所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括裁剪和扩展的图像合成。

在根据本发明的上述方方面的视频去抖动方法和装置中，对于视频中的每个帧，分两轮分别进行运动估计和图像合成。在第一轮中，返回用于对每个帧进行去抖动的变换矩阵。在开始第二轮之前，确定视频的裁剪尺寸。在第二轮中，在视频中的每个帧变成去除了抖动的帧之后，根据修剪尺寸来裁剪所述帧，然后将裁剪后的剩余部分扩展到原始视频的分辨率。由于变换矩阵的确定和视频的裁剪是在两轮中进行的，并且根据确定了的变换矩阵进行变换，然后根据确定的裁剪尺寸进行裁剪，因此避免了平滑程度的牺牲，并能够保证最优的裁剪尺寸，使得在裁剪过程中尽可能多地保留视频帧的原始图像信息，并在裁剪之后使尽可能少的视频帧中产生黑区。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1示出了现有技术中的去除一维方向上的抖动的方法的示意图。

图2示出了现有技术中对视频帧进行裁剪以去除黑区的示例。

图3示出了现有技术中的视频去抖方法的示意性流程图。

图4示出了根据本发明的一个实施例的视频去抖动方法的示意性流程图。

图5A示出了根据本发明的一个实施例的生成变换矩阵的示意性流程图。

图5B示出了根据本发明的一个实施例的确定裁剪尺寸的示意性流程图。

图5C示出了根据本发明的一个实施例的进行图像合成的示意性流程图。

图6示出了根据本发明的一个实施例的全局运动估计的示意性流程。

图7示出了根据本发明的一个实施例的利用直方图确定裁剪尺寸的示例图。

图8示出了根据本发明的一个实施例的视频去抖动装置的示意性框图。

图9示出了可用于实施根据本发明实施例的方法和装置的计算机的示意性框图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚起见，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图4示出了根据本发明的一个实施例的视频去抖动方法的示意性流程图。如图4所示，在该实施例中，分两轮进行运动估计和图像合成。在步骤S410中，作为第一轮处理，为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵。在步骤S420中，确定原始视频的裁剪尺寸。在步骤S430中，作为第二轮处理，对原始视频中的每个帧进行图像合成。具体而言，对于原始视频中的每个帧，利用该帧的变换矩阵对该帧进行变换，利用所确定的裁剪尺寸对该帧进行裁剪，以及利用原始视频的分辨率对该帧进行扩展。

图5A示出了根据本发明的一个实施例的生成变换矩阵的示意性流程图。如图所示，对视频中的每个帧，在步骤S510中，对该帧进行全局运动估计。在步骤S520中，对该帧进行有意运动估计。在步骤S530中，基于全局运动估计和有意运动估计的结果来生成该帧的变换矩阵。变换矩阵中包含每个帧的变换参数。

为了方便说明，假定使用X_n表示原始视频中帧n的像素位置，其中X＝(x，y，1)^T。H_n是从帧n-1到帧n的3×3变换矩阵，即，X_n＝H_nX_n-1。Hin_n表示从帧n-1到帧n的有意运动。将累积的全局运动和累积的有意运动分别表示为CH_n和CHin_n。其中，

${\mathrm{CH}}_n={\mathrm{\Π}}_{k=1}^n{H}_k,---\left(1\right)$

${\mathrm{CHin}}_n={\mathrm{\Π}}_{k=1}^n{\mathrm{Hin}}_k.---\left(2\right)$

给定原始视频的帧n中的像素位置X_n，视频去抖动就是要获得没有不期望的摄像机运动的

因此，有以下等式：

X_n＝CH_nX₁，                            (3)

${\stackrel{\‾}{X}}_n={\mathrm{CHin}}_n{X}_1.---\left(4\right)$

组合以上两个等式(3)和(4)，得到：

${\stackrel{\‾}{X}}_n=\mathrm{CH}{\mathrm{in}}_n{\left[{\mathrm{CH}}_n\right]}^{-1}{X}_n={\stackrel{\‾}{H}}_n{X}_n,---\left(5\right)$

其中，是用于将原始帧n中的位置X_n转换成需要的位置

的变换矩阵。利用变换矩阵

可以将原始帧n变换成去除了无意运动的帧，即去除了抖动的帧。

在本说明书中，认为平移抖动是引起视频质量损失的主要原因。因此，作为示例，取H＝[1，0，δ_x；0，1，δ_y；0，0，1]，δ_x和δ_y分别是水平和垂直方向上的移动值。在该示例性H矩阵中有两个变量，即两个变换参数。然而，应当理解，本发明的方法并不限制运动模型，并且H矩阵中也可以有更多或更少的变量。

在根据本发明的实施例的视频去抖动方法中，可以使用各种现有技术的全局运动估计方法来进行全局运动估计。除A.Litvin、J.Konrad和W.Karl在“Probabilistic video stabilization using kalman filtering andmosaicking”，IS&T/SPIE symposium on Electronic Imaging，Image andVideo Communication and Processing，2003年中提出的基于配准的方法之外，也可以使用基于点匹配的方法。例如，可以应用F.Vella、A.Castorina、M.Mancuso和G.Messina在“Digital image stabilization by adaptiveblock motion vectors filtering”，IEEE Transactions on ConsumerElectronics，第48卷，no.3，2002年中提出的块匹配方法，H.-C.Chang、S.-H.Lai和K.-R.Lu在“A robust real-time video stabilization algorithm”，Journal of Visual Communication and Image Representation，第17卷，no.3，2006年中提出的光流量法，S.Battiato、G.Gallo、G.Puglisi和S.Scellato在“Sift features tracking for video stabilization”，International Conferenceon Image Analysis and Processing，2007年中提出的SIFT点跟踪法，以及C.Wang、J.-H.Kim、K.-Y.Byun、J.Ni和S.-J.Ko在“Digital imagestabilization by adaptive block motion vectors filtering”，IEEETransactions on Consumer Electronics，第55卷，no.1，2009年中提出的KLT跟踪器方法来得到一组像素匹配对。当给定匹配对时，可以利用S.Battiato、G.Gallo、G.Puglisi和S.Scellato在“Sift features tracking forvideo stabilization”，International Conference on Image Analysis andProcessing，2007年中提出的最小二乘估计法，RANSAC法，J.Yang、D.Schonfeld和M.Mohamed在“Robust video stabilization based on particlefiltering tracking of projected camera motion”，IEEE Transactions onCircuits and Systems for Video Technology，第19卷，no.7，2009年中提出的粒子滤波器，以及S.Battiato、G.Puglisi和A.R.Bruna在“A robustvideo stabilization system by adaptive motion vectors filtering”，IEEEInternational Conference on Multimedia and Expo，2008年中提出的滤波方法来估计视频中连续帧之间的全局运动。

对于全局运动估计而言，差的图像质量、拥挤的场景和在摄相机运动期间对象的不同运动是导致全局运动估计困难的主要原因。为了克服全局运动估计的困难，例如在摄像机运动期间对象的不同运动，以下描述根据本发明的实施例的全局运动估计方法。

图6示出了根据本发明的一个实施例的全局运动估计的示意性流程。在根据本发明的实施例的全局运动估计方法中，使用迭代运动估计方法。如图所示，对于原始视频中的特定帧，在步骤S620中，为该帧的每个选定局部运动矢量分配权重。在步骤S630中，通过该帧的所有选定局部运动矢量的加权平均来估计该帧的全局运动矢量。重复执行所述分配权重和估计全局运动矢量的步骤达预定次数N。另外，在步骤S610中，可以初始化该帧的全局运动矢量的估计值，即为该帧的全局运动矢量赋初始值。

以下结合具体示例来描述根据本发明的实施例的全局运动估计方法。

首先，可选地，预处理输入帧的图像以去除图像中的噪声。由于要选择在相邻图像中共有的图像块作为选择图像块，因此可以忽略图像的边界区域。在忽略该帧中的边界区域之后，在剩余图像中均匀地选择图像块，估计这些图像块的运动矢量(也称为局部运动矢量)作为输入帧的选定局部运动矢量。块尺寸优选地不太大也不太小，以便精确地描述局部区域的运动并避免可能的噪声。可以通过基于差的平方总和的块匹配算法来估计每个图像块的运动。

现在获得了一组n多个图像块的局部运动矢量，M_i＝(x_i，y_i)^T，i＝1，...，n，x_i是水平方向上的局部运动矢量，y_i是垂直方向上的局部运动矢量，并希望估计相邻帧之间的全局运动。为了融合这些运动矢量以得到准确的全局运动，向每个图像块的局部运动矢量M_i分配权重w_i，并通过所有局部运动矢量的加权平均来估计帧的全局运动矢量M_g，即，

其中

是归一化的权重。基于其值与真正的全局运动矢量的差、通过以下高斯函数来计算选定的图像块i的局部运动矢量的权重：

$w_i\∝\exp (-\frac{{(M_i-M_g)}^T(M_i-M_g)}{{\mathrm{\σ}}^2})---\left(6\right)$

$=\exp (-\frac{{(x_i-x_g)}^2+{(y_i-y_g)}^2}{{\mathrm{\σ}}^2})$

其中x_i是水平方向上的局部运动矢量，y_i是垂直方向上的局部运动矢量，x_g是水平方向上的全局运动矢量，并且y_g是垂直方向上的全局运动矢量，σ²是高斯分布的方差。

由于在(6)中，不能得到真正的全局运动矢量，因此使用迭代方法来进行估计。在初始时，使用帧中所有选定图像块的局部运动矢量的平均值作为该帧的全局运动矢量的初始估计值，然后迭代地进行估计。详细方法在表1中给出。

表1

迭代的全局运动估计

其中，Iter是预定的迭代次数，M_i是选定的图像块i的局部运动矢量(选定局部运动矢量)，w_i ^(r)是在第r次全局运动估计时该选定局部运动矢量的权重，i＝1，...，n，n是帧中的选定图像块的数目，也即帧中的选定局部运动矢量的数目，M_g ^(r-1)是第r-1次估计的该帧的全局运动矢量，σ²是高斯分布的方差。

是归一化的权重。

在表1中，在初始时，将全局运动矢量的初始估计值M_g ⁽⁰⁾设置为帧内所有选定图像块的局部运动矢量的平均值。然后，在第1到Iter次迭代中的第r次迭代中，计算该次全局运动估计时每个选定局部运动矢量i(i＝1，2，...，n)的权重w_i ^(r)并将其归一化，然后根据归一化的权重对该帧的所有选定局部运动矢量进行加权平均，以得到该次估计的全局运动矢量M_g ^(r)。

另外，在根据本发明的实施例的视频去抖动方法中，可以使用各种现有技术的有意运动估计方法来进行有意运动估计。例如，可以利用A.Litvin、J.Konrad和W.Karl在“Probabilistic video stabilization usingkalman filtering and mosaicking”，IS&T/SPIE symposium on ElectronicImaging，Image and Video Communication and Processing，2003年中提出的Kalman滤波器、C.Wang、J.-H.Kim、K.-Y.Byun、J.Ni和S.-J.Ko在“Digital image stabilization by adaptive block motion vectors filtering”，IEEE Transactions on Consumer Electronics，第55卷，no.1，2009年中提出的自适应Kalman滤波器、S.Battiato、G.Gallo、G.Puglisi和S.Scellato在“Sift features tracking for video stabilization”，International Conferenceon Image Analysis and Processing，2007年中提出的运动矢量集成方法等来从全局运动估计有意运动。

以下描述根据本发明的一个实施例的有意运动估计方法。

在这里，认为有意运动被估计为全局运动的窗口平滑输出。窗口的尺寸反映平滑程度。较大的窗口尺寸将提供更平滑的运动轨迹。然而，较大的窗口尺寸也可能使平滑结果远离摄像者的真实意图，并导致更大的未定义区域。此外，窗口平滑将使运动轨迹中的巨峰变得平坦。

由于帧间运动的方向在一定时间段内的改变的数目将反映摄像机晃动的程度，因此，在本实施例中，提出自适应窗口平滑算法。在该算法中，通过对以特定帧为中心的窗口内的原始视频的各个帧的全局运动估计的结果进行平滑来估计该帧的有意运动，并且窗口的尺寸利用窗口内的帧间运动的方向改变的数目而被自动调节。特别地，当窗口内的帧间运动的方向改变的数目低于预定数目时，减小窗口的尺寸。

因此，可以利用以下公式来进行帧t的有意运动估计：

其中，Cδin_t表示该帧t的累积有意移动，Cδ_j表示窗口内的帧j的累积全局移动。窗口的尺寸为2s+1，s的初始值被设为P。R是初始窗口尺寸2P+1内的帧间运动的方向改变的数目，T是窗口内帧间运动的方向改变数目的预定阈值。U_j是帧j的累积全局移动Cδ_j的权重函数。

如果R小于阈值T，例如T＝0.2P，则将s的值减小到P1，其中P1＜P。作为示例，可以设置U_j＝1/(2s+1)，即简单平均法。可以理解，在可能没有2s+1帧的一个视频的开始和结束时，可以对以上等式(7)进行相应修改，以使得所有帧都有效。

根据上述实施例的有意运动估计方法比较简单，并且提供了一种自适应平滑。

在第一轮中完成了全局运动估计和有意运动估计并得到了变换矩阵后，在第二轮开始之前，确定原始视频的裁剪尺寸。

图5B示出了根据本发明的一个实施例的确定裁剪尺寸的示意性流程图。如图所示，根据原始视频中各个帧的变换矩阵的变换参数来确定视频的裁剪尺寸。具体而言，可以在原始视频的帧的变换矩阵中的变换参数的值中，选择使得原始视频的帧被裁剪后至少有预定比例的帧不具有黑区的值作为所述原始视频的裁剪尺寸。

在本发明的一个实施例中，考虑以下两个准则来确定裁剪尺寸。首先，裁剪后的视频帧应当包含尽可能多的原始信息。其次，裁剪后的视频帧中尽可能少地产生黑区。因此，在该实施例中，可基于对变换矩阵中的参数频率的统计而获得最优的裁剪尺寸。

仍以变换矩阵H＝[1，0，δ_x；0，1，δ_y；0，0，1]为例进行说明，δ_x和δ_y分别是水平和垂直方向上的移动值，即原始视频的帧的长度和宽度方向上的两个变换参数。对原始视频的所有帧的变换矩阵中的变换参数δ_x的绝对值进行计数。选择所述绝对值之一作为裁剪尺寸在x方向上的分量，使得原始视频中至少预定比例的帧的变换矩阵中的变换参数δ_x的绝对值在所选择的绝对值以下。也可以对变换参数的绝对值区间进行统计。选择所述绝对值区间中的一个绝对值区间中的最大绝对值作为裁剪尺寸在x方向上的分量，使得原始视频中至少预定比例的帧的变换矩阵中的变换参数δ_x的绝对值在所选择的绝对值区间中的最大绝对值以下。对变换矩阵中的参数δ_y进行与δ_x相同的操作，以获得裁剪尺寸在y方向上的分量。

为了方便统计，例如，可以借助于直方图。可以为上述示例中的参数δ_x和δ_y中的每一个分别建立一维直方图，其中，x轴是由该参数的值确定的条(bin)数，y轴是bin出现在原始视频中的次数。Bin的宽度可以是1，也可以大于1。也就是说，可以以单个参数值的绝对值为单位进行频率统计，也可以以多个参数值的绝对值区间为单位进行频率统计。

包含m个bin的m-bin直方图h＝{h₁，h₂，...，h_m}被归一化到[0，1]的范围内，其中

最优的裁剪尺寸δ_opt被选择为使得：

$\underset{i=1}{\overset{\mathrm{\χ}\left({\mathrm{\δ}}_{\mathrm{opt}}\right)}{\mathrm{\Σ}}}{h}_i>1-\mathrm{\γ},---\left(8\right)$

其中χ(δ_opt)是bin的编号。优选地，δ_opt是与binχ(δ_opt)对应的移动的绝对值区间中的最大值。γ是非常小的值，可以预先设定。例如γ＝0.01，其表示该参数被选择为使得裁剪后的视频的至少99％不具有黑区。

图7示出了根据本发明的一个实施例的利用直方图确定裁剪尺寸的示例图。在图7所示的实施例中，当确定裁剪后的视频的至少99％不具有黑区时，确定最优裁剪尺寸为25。

在分别找到裁剪尺寸δ_opt的各个分量δ_xopt和δ_yopt之后，可以将这些值调整为使得裁剪后的剩余图像部分具有与原始帧相同的长宽比。

然后，在第二轮中，利用所得到的原始视频中的每个帧的变换矩阵、所确定的裁剪尺寸以及原始视频的分辨率对原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。

图5C示出了根据本发明的一个实施例的进行图像合成的示意性流程图。如图所示，在步骤S510中，利用所得到的原始视频中的帧的变换矩阵，对该帧进行变换。在步骤S520中，利用所确定的裁剪尺寸对该帧进行裁剪，并将裁剪后的该帧扩展到原始视频的分辨率。具体的裁剪和扩展方法可以参考现有技术中已有的方法，这里不再详述。

在上述视频去抖动方法中，对视频帧的变换与裁剪和扩展一起在第二轮中进行。然而，应当理解，在根据本发明的其它实施例的视频去抖动方法中，也可以在第一轮中进行对视频帧的变换，而在第二轮的图像合成中只进行裁剪和扩展。

下面结合附图来说明根据本发明的实施例的视频去抖动装置。

图8示出了根据本发明的一个实施例的视频去抖动装置的示意性框图。其中，视频去抖动装置800包括变换矩阵确定单元810、裁剪尺寸确定单元820以及图像合成单元830。根据本发明的实施例，变换矩阵确定单元810用于为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵。裁剪尺寸确定单元820用于确定所述原始视频的裁剪尺寸。图像合成单元830用于利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。

根据本发明的另一实施例，变换矩阵确定单元810进一步用于对原始视频中的帧进行全局运动估计和有意运动估计，并基于所述全局运动估计和所述有意运动估计的结果来生成该帧的变换矩阵。

根据本发明的另一实施例，变换矩阵确定单元810进一步配置用于：当对原始视频中的帧进行全局运动估计时，为该帧的每个选定局部运动矢量分配权重；通过该帧的所有选定局部运动矢量的加权平均来估计该帧的全局运动矢量；以及重复执行所述分配权重和估计全局运动矢量的步骤达预定次数。

根据本发明的另一实施例，变换矩阵确定单元810进一步配置用于：通过对以所述帧为中心的窗口内的所述原始视频的各个帧的全局运动估计的结果进行平滑来估计该帧的有意运动，其中，所述窗口的尺寸利用所述窗口内的帧间运动的方向改变的数目而被自动调节。

根据本发明的另一实施例，裁剪尺寸确定单元820进一步配置用于：在原始视频的帧的变换矩阵中的变换参数的值中，选择使得原始视频的帧被裁剪后至少有预定比例的帧不具有黑区的值作为所述原始视频的裁剪尺寸。

根据本发明的另一实施例，裁剪尺寸确定单元820进一步配置用于：当变换矩阵中包括原始视频的帧的长度和宽度方向上的两个变换参数时，对这两个变换参数中的每一个执行以下步骤：对所述原始视频的所有帧的变换矩阵中的该变换参数的绝对值或绝对值的区间进行计数；以及选择所述绝对值中的一个绝对值或所述绝对值区间中的一个绝对值区间中的最大绝对值作为所述裁剪尺寸在该方向上的分量，其中所述原始视频中至少预定比例的帧的变换矩阵中的该变换参数的绝对值在所选择的绝对值或绝对值区间中的最大绝对值以下。

在根据本发明的上述方方面的视频去抖动方法和装置中，对于视频中的每个帧，分两轮分别进行运动估计和图像合成。在第一轮中，返回用于对每个帧进行去抖动的变换矩阵。在开始第二轮之前，确定视频的裁剪尺寸。在第二轮中，在视频中的每个帧变成去除了抖动的帧之后，根据修剪尺寸来裁剪所述帧，然后将裁剪后的剩余部分扩展到原始视频的分辨率。

关于上述装置和单元的操作细节，可以参考以上相应方法的各个实施例，这里不再详细描述。

另外，上述装置中各个组成模块、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在根据本发明的上述方方面的视频去抖动方法和装置中，对于视频中的每个帧，分两轮分别进行运动估计和图像合成。在第一轮中，返回用于对每个帧进行去抖动的变换矩阵。在开始第二轮之前，确定视频的裁剪尺寸。在第二轮中，在视频中的每个帧变成去除了抖动的帧之后，根据修剪尺寸来裁剪所述帧，然后将裁剪后的剩余部分扩展到原始视频的分辨率。

作为一种实际应用示例，使用解码器对视频解码两次。在第一次解码过程中，对每个帧依次进行全局运动估计和有意运动估计，以获得该帧的变换矩阵。在第二次解码之前，确定视频的裁剪尺寸。在第二次解码过程中，对每个帧依次进行变换、裁剪和扩展。

作为另一种实际应用示例，使用解码器对视频解码一次。在第一轮处理中，将解码后的视频帧存储在存储装置中。这样，在后续的确定裁剪尺寸和第二轮处理时无需再进行解码，而是可以直接使用存储装置中已解码的视频帧。

由于变换矩阵的确定和视频的裁剪是在两轮中进行的，并且根据确定了的变换矩阵进行变换，然后根据确定的裁剪尺寸进行裁剪，因此避免了平滑程度的牺牲，并能够保证最优的裁剪尺寸，使得在裁剪过程中尽可能多地保留视频帧的原始图像信息，并在裁剪之后使尽可能少的视频帧中产生黑区。

图9示出了可用于实施根据本发明实施例的方法和装置的计算机的示意性框图。在图9中，中央处理单元(CPU)901根据只读存储器(ROM)902中存储的程序或从存储部分908加载到随机存取存储器(RAM)903的程序执行各种处理。在RAM 903中，还根据需要存储当CPU901执行各种处理等等时所需的数据。CPU 901、ROM 902和RAM 903经由总线504彼此连接。输入/输出接口905也连接到总线904。

下述部件连接到输入/输出接口905：输入部分906(包括键盘、鼠标等等)、输出部分907(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分908(包括硬盘等)、通信部分909(包括网络接口卡比如LAN卡、调制解调器等)。通信部分909经由网络比如因特网执行通信处理。根据需要，驱动器910也可连接到输入/输出接口905。可拆卸介质911比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质911安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。

附记

1.一种视频去抖动方法，包括：

为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵；

确定所述原始视频的裁剪尺寸；以及

利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。

2.如附记1的视频去抖动方法，其中，生成变换矩阵的步骤包括：

对该帧进行全局运动估计和有意运动估计；以及

基于所述全局运动估计和所述有意运动估计的结果来生成该帧的变换矩阵。

3.如附记2的视频去抖动方法，其中，对该帧进行全局运动估计的步骤包括：

为该帧的每个选定局部运动矢量分配权重；

通过该帧的所有选定局部运动矢量的加权平均来估计该帧的全局运动矢量；以及

重复执行所述分配权重和估计全局运动矢量的步骤达预定次数。

4.如附记3的视频去抖动方法，其中，为该帧的每个选定局部运动矢量分配权重的步骤包括：

通过以下高斯函数来计算该选定局部运动矢量的权重：

${w_i}^{\left(r\right)}\∝\exp (-\frac{{(M_i-{M_g}^{(r-1)})}^T(M_i-{M_g}^{(r-1)})}{{\mathrm{\σ}}^2}),$

其中w_i ^(r)是进行第r次全局运动估计时该选定局部运动矢量的权重，M_i是该选定局部运动矢量，i＝1，...，n，n是该帧的选定局部运动矢量的数目，M_g ^(r-1)是第r-1次估计的该帧的全局运动矢量，σ²是高斯分布的方差。

5.如附记3的视频去抖动方法，其中，对该帧进行全局运动估计的步骤还包括：

计算该帧的所有选定局部运动矢量的平均值作为该帧的全局运动矢量的初始估计值。

6.如附记3的视频去抖动方法，其中，对该帧进行全局运动估计的步骤还包括：

在该帧中的忽略边界区域之后的剩余区域中均匀地选择图像块；以及

估计所选择的图像块的局部运动矢量作为该帧的选定局部运动矢量。

7.如附记2的视频去抖动方法，其中，对该帧进行有意运动估计包括：

通过对以该帧为中心的窗口内的所述原始视频的各个帧的全局运动估计的结果进行平滑来估计该帧的有意运动，

其中，所述窗口的尺寸利用所述窗口内的帧间运动的方向改变的数目而被自动调节。

8.如附记7的视频去抖动方法，其中，当所述窗口内的帧间运动的方向改变的数目低于预定数目时，减小所述窗口的尺寸。

9.如附记7的视频去抖动方法，其中，利用以下公式来进行平滑：

其中Cδin_t表示该帧t的累积有意移动，Cδ_j表示所述窗口内的帧j的累积全局移动，所述窗口的尺寸为2s+1，s的初始值为P，R是初始窗口尺寸2P+1内的帧间运动的方向改变的数目，T是窗口内帧间运动的方向改变数目的预定阈值，U_j是帧j的累积全局移动Cδ_j的权重函数。

10.如附记9的视频去抖动方法，其中，U_j＝1/(2s+1)。

11.如附记1的视频去抖动方法，其中，确定所述原始视频的裁剪尺寸的步骤包括：

在所述原始视频的帧的变换矩阵中的变换参数的值中，选择使得所述原始视频的帧被裁剪后至少有预定比例的帧不具有黑区的值作为所述原始视频的裁剪尺寸。

12.如附记11的视频去抖动方法，其中，当所述变换矩阵中包括所述原始视频的帧的长度和宽度方向上的两个变换参数时，确定所述原始视频的裁剪尺寸的步骤包括对这两个方向中每个方向上的变换参数执行以下步骤：

对所述原始视频的所有帧的变换矩阵中的该变换参数的绝对值或绝对值的区间进行计数；以及

选择所述绝对值中的一个绝对值或所述绝对值区间中的一个绝对值区间中的最大绝对值作为所述裁剪尺寸在该方向上的分量，其中所述原始视频中至少预定比例的帧的变换矩阵中的该变换参数的绝对值在所选择的绝对值或绝对值区间中的最大绝对值以下。

13.如附记1的视频去抖动方法，还包括：

在进行图像合成之前，将所述裁剪尺寸调整为使得所述原始视频的帧被裁剪后，所述帧的剩余部分具有与原始帧相同的长宽比。

14.一种视频去抖动装置，包括：

变换矩阵确定单元，配置用于为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵；

裁剪尺寸确定单元，配置用于确定所述原始视频的裁剪尺寸；以及

图像合成单元，配置用于利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。

15.如附记14的视频去抖动装置，其中，所述变换矩阵确定单元进一步配置用于：

对原始视频中的帧进行全局运动估计和有意运动估计；以及

基于所述全局运动估计和所述有意运动估计的结果来生成该帧的变换矩阵。

16.如附记15的视频去抖动装置，其中，所述变换矩阵确定单元进一步配置用于当对原始视频中的帧进行全局运动估计时，

为该帧的每个选定局部运动矢量分配权重；

通过该帧的所有选定局部运动矢量的加权平均来估计该帧的全局运动矢量；以及

重复执行所述分配权重和估计全局运动矢量的步骤达预定次数。

17.如附记15的视频去抖动装置，其中，所述变换矩阵确定单元进一步配置用于：

通过对以所述帧为中心的窗口内的所述原始视频的各个帧的全局运动估计的结果进行平滑来估计该帧的有意运动，

其中，所述窗口的尺寸利用所述窗口内的帧间运动的方向改变的数目而被自动调节。

18.如附记14的视频去抖动装置，其中，所述裁剪尺寸确定单元进一步配置用于：

在所述原始视频的帧的变换矩阵中的变换参数的值中，选择使得所述原始视频的帧被裁剪后至少有预定比例的帧不具有黑区的值作为所述原始视频的裁剪尺寸。

19.如附记18的视频去抖动装置，其中，所述裁剪尺寸确定单元进一步配置用于：当所述变换矩阵中包括所述原始视频的帧的长度和宽度方向上的两个变换参数时，对这两个变换参数中的每一个执行以下步骤：

对所述原始视频的所有帧的变换矩阵中的该变换参数的绝对值或绝对值的区间进行计数；以及

选择所述绝对值中的一个绝对值或所述绝对值区间中的一个绝对值区间中的最大绝对值作为所述裁剪尺寸在该方向上的分量，其中所述原始视频中至少预定比例的帧的变换矩阵中的该变换参数的绝对值在所选择的绝对值或绝对值区间中的最大绝对值以下。

20.一种视频去抖动方法，包括：

为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵并利用该变换矩阵来对该帧进行变换；

确定所述原始视频的裁剪尺寸；以及利用所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括裁剪和扩展的图像合成。

Claims (10)

1.一种视频去抖动方法，包括：

为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵；

确定所述原始视频的裁剪尺寸；以及

利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。

2.如权利要求1的视频去抖动方法，其中，生成变换矩阵的步骤包括：

对该帧进行全局运动估计和有意运动估计；以及

基于所述全局运动估计和所述有意运动估计的结果来生成该帧的变换矩阵。

3.如权利要求2的视频去抖动方法，其中，对该帧进行全局运动估计的步骤包括：

为该帧的每个选定局部运动矢量分配权重；

通过该帧的所有选定局部运动矢量的加权平均来估计该帧的全局运动矢量；以及

重复执行所述分配权重和估计全局运动矢量的步骤达预定次数。

4.如权利要求3的视频去抖动方法，其中，为该帧的每个选定局部运动矢量分配权重的步骤包括：

通过以下高斯函数来计算该选定局部运动矢量的权重：

${w_i}^{\left(r\right)}\∝\exp (-\frac{{(M_i-{M_g}^{(r-1)})}^T(M_i-{M_g}^{(r-1)})}{{\mathrm{\σ}}^2}),$

其中w_i ^(r)是进行第r次全局运动估计时该选定局部运动矢量的权重，M_i是该选定局部运动矢量，i＝1，...，n，n是该帧的选定局部运动矢量的数目，M_g ^(r-1)是第r-1次估计的该帧的全局运动矢量，σ²是高斯分布的方差。

5.如权利要求3的视频去抖动方法，其中，对该帧进行全局运动估计的步骤还包括：

计算该帧的所有选定局部运动矢量的平均值作为该帧的全局运动矢量的初始估计值。

6.如权利要求2的视频去抖动方法，其中，对该帧进行有意运动估计包括：

通过对以该帧为中心的窗口内的所述原始视频的各个帧的全局运动估计的结果进行平滑来估计该帧的有意运动，

其中，所述窗口的尺寸利用所述窗口内的帧间运动的方向改变的数目而被自动调节。

7.如权利要求1的视频去抖动方法，其中，确定所述原始视频的裁剪尺寸的步骤包括：

在所述原始视频的帧的变换矩阵中的变换参数的值中，选择使得所述原始视频的帧被裁剪后至少有预定比例的帧不具有黑区的值作为所述原始视频的裁剪尺寸。

8.如权利要求7的视频去抖动方法，其中，当所述变换矩阵中包括所述原始视频的帧的长度和宽度方向上的两个变换参数时，确定所述原始视频的裁剪尺寸的步骤包括对这两个方向中每个方向上的变换参数执行以下步骤：

对所述原始视频的所有帧的变换矩阵中的该变换参数的绝对值或绝对值的区间进行计数；以及

选择所述绝对值中的一个绝对值或所述绝对值区间中的一个绝对值区间中的最大绝对值作为所述裁剪尺寸在该方向上的分量，其中所述原始视频中至少预定比例的帧的变换矩阵中的该变换参数的绝对值在所选择的绝对值或绝对值区间中的最大绝对值以下。

9.一种视频去抖动装置，包括：

变换矩阵确定单元，配置用于为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵；

裁剪尺寸确定单元，配置用于确定所述原始视频的裁剪尺寸；以及

图像合成单元，配置用于利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。

10.一种视频去抖动方法，包括：

为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵并利用该变换矩阵来对该帧进行变换；

确定所述原始视频的裁剪尺寸；以及

利用所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括裁剪和扩展的图像合成。

Images