CN104519239A - 用于视频防抖的方法和装置 - Google Patents

Abstract

本发明的实施例涉及用于视频防抖的方法和装置。公开了一种用于在视频防抖中使用的方法。该方法包括：将视频的当前帧的至少一部分划分为多个区域；针对所述多个区域中的每个区域，执行渐进式局部运动检测以确定用于所述区域的局部运动矢量；以及基于用于所述多个区域的所述局部运动矢量，确定用于所述当前帧的全局运动矢量。还公开了相应的装置和用户设备。根据本发明的实施例，视频防抖处理无需任何附加的硬件。而且，本发明的实施例可以快速、有效地确定运动矢量以及相应的补偿，并且能够处理各种复杂场景。

Description

用于视频防抖的方法和装置

技术领域

本发明的实施例涉及视频处理，更具体地，涉及用于视频防抖的方法和装置。

背景技术

随着视频获取和处理技术的发展，越来越多的设备具有视频捕获的功能。例如，目前的大多数手持移动设备(例如，移动电话、个人数字助理PDA、平板式计算机，等等)都配备有能够捕获视频的相机。在用户捕获视频的过程中，特别是在移动中捕获视频时，相机的抖动将导致所捕获视频中出现抖动现象，从而导致视频质量的下降。为此，通常采用视频防抖(anti-shaking)处理来改善视频质量。一般而言，视频防抖处理的目标是生成经过补偿的视频，以使得在经过补偿的视频中，视频帧之间不期望的抖动被减轻或消除。

某些视频防抖方案是基于硬件的。例如，可以借助于重力传感器、加速度传感计、陀螺仪、机械减震器、角速度传感器或者专用光学防抖器件来增强视频的稳定性。由于需要附加的硬件，此类视频防抖方案将会导致设备尺寸和／或成本的增加。基于软件的视频防抖方案可以在不增加额外硬件开销的情况下，通过视频／图像处理技术对所捕获视频中的抖动进行补偿和消除。然而，已知的基于软件的视频防抖方案中，帧间运动估计通常采用的是块匹配或者特征点匹配方法，这是相当耗时和低效的。而且，已知的软件视频防抖方案往往无法处理复杂的场景，例如场景中存在较大的移动物体、阴影、遮挡，等等。特别地，已知的软件防抖方案很难区分出视频中随机的物体运动和有意识的相机运动，从而影响防抖处理的准确性。

基于上述讨论，本领域中需要一种能够更为快速、有效、低成本的用于视频防抖的技术方案。

发明内容

为了克服现有技术中的上述问题，本发明提出一种用于视频防抖的方法和装置。

在本发明的一个方面，提供一种用于在视频防抖中使用的方法。所述方法包括：将视频的当前帧的至少一部分划分为多个区域；针对所述多个区域中的每个区域，执行渐进式局部运动检测以确定用于所述区域的局部运动矢量；以及基于用于所述多个区域的所述局部运动矢量，确定用于所述当前帧的全局运动矢量。

在本发明的另一方面，提供一种用于在视频防抖中使用的装置。所述装置包括：帧划分单元，被配置为将视频的当前帧的至少一部分划分为多个区域；局部运动检测单元，被配置为针对所述多个区域中的每个区域，执行渐进式局部运动检测以确定用于所述区域的局部运动矢量；以及全局运动估计单元，被配置为基于用于所述多个区域的所述局部运动矢量，确定用于所述当前帧的全局运动矢量。此方面的其他实施例还包括包含该装置的用户设备。

通过下文描述将会理解，根据本发明的实施例，视频防抖处理无需任何附加的硬件。而且，通过渐进式地确定局部运动矢量以及基于局部运动矢量来确定全局运动矢量，可以快速、有效地确定帧间运动矢量。特别地，视频的防抖处理可以实时地完成。另外，本发明的实施例能够处理各种复杂的情况，例如所捕获的场景中具有遮挡、阴影、特征缺失、移动物体、重复的图案、有意识的相机平移，等等。此外，本发明的实施例具有良好的兼容性和移植性，可以容易地与各种平台和设备结合使用。

附图说明

通过参考附图阅读下文的详细描述，本发明实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施例，其中：

图1示出了根据本发明的示例性实施例的用于视频防抖的方法的流程图；

图2示出了根据本发明的示例性实施例的用于各个区域的局部运动矢量的示意图；

图3示出了根据本发明的示例性实施例的用于在视频防抖中使用的方法的流程图；

图4A和图4B示出了根据本发明的示例性实施例的水平和垂直投影曲线的示意图；

图5示出了根据本发明的示例性实施例的运动滤波器的示意图；

图6示出了根据本发明的示例性实施例的用于在视频防抖中使用的装置的框图；以及

图7示出了本发明的示例性实施例可实现于其中的用户设备的框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

如已知的，视频防抖的关键是确定视频中的当前帧相对于参考帧的运动矢量(motion vector)。运动矢量表示视频的给定帧中的场景相对于参考帧的位移，它是视频防抖处理的基础。因此，为了实现有效的视频防抖，首先需要解决的一个问题是如何快速、准确地计算出帧间的运动矢量。为此，本发明的基本思想是：首先将待处理的视频帧(称为“当前帧”)的至少一部分划分为多个区域，并且采用“由粗到细”的渐进式局部检测来确定用于这些区域的局部运动矢量。然后，基于多个局部运动矢量，可以采用诸如聚类等技术手段来确定用于整帧的全局运动矢量。

下面将参考附图中示出的若干示例性实施例来描述本发明的原理和精神。应当理解，描述这些实施例仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

首先参考图1，其示出了本发明的示例性实施例的用于视频防抖的方法100的流程图。方法100开始之后，在步骤S101处，将视频中的当前帧(即，将要被处理的帧)的至少一部分划分为多个区域。根据本发明的某些实施例，例如可以将当前帧划分为大小相等的N*N个区域，其中N是大于1的自然数，例如等于3、4、5或其他任何适当的值。备选地，也可以将当前帧划分为大小不等的区域，本发明的范围在此方面不受限制。

特别地，在某些实施例中，可以将整个当前帧划分为多个区域。备选地，也可以仅将当前帧的一部分划分为多个区域。例如，在某些实施例中，可以仅将当前帧的中间部分(例如，中间70％或其他预定比例的部分)划分为多个区域。以此方式，可以将视频帧的边缘部分排除在局部运动检测和全局运动估计之外，从而避免由于镜头畸变、场景的进入或者退出等因素给运动矢量的估计精度带来的潜在影响。

另外，本领域技术人员可以理解：对当前帧的局部运动检测和全局运动估计都是相对于一个特定的参考帧(reference frame)而被确定的。根据本发明的实施例，参考帧将按照与当前帧相同的方式被划分成多个区域。例如，在将当前帧划分为N*N个区域的实施例中，参考帧也以一一对应的方式被划分为N*N个区域。在某些实施例中，可以选择视频中与当前帧紧邻的前一帧作为参考帧。备选地，参考帧也可以是视频中的特定帧，例如第一帧，等等。本发明的范围在此方面不受限制。

方法100继续进行到步骤S102，对步骤S101处获得的多个区域中的每个区域执行渐进式局部运动检测，以确定用于该区域的局部运动矢量。在本发明的上下文中，术语“渐进式局部运动检测”表示按照“从粗到细”(coarse-to-fine)的方式逐步确定用于特定区域的局部运动矢量。另外，术语“局部运动矢量”是与特定区域相关联的运动矢量，它表示该区域相对于参考帧中的对应区域的位移。

根据本发明的实施例，可以采用各种方式实现渐进式局部运动检测。例如，在某些实施例中，对于每个区域，可以首先基于投影匹配(projection matching)来确定用于该区域的粗略的初始局部运动矢量。然后，采用块匹配或者特征匹配的方法来细化该初始局部运动矢量，从而获得用于该区域的最终局部运动矢量。这方面的实施例还将在下文详述。备选地，在某些其他实施例中，也可以首先执行计算精度要求较低的特征匹配或者块匹配算法，以计算初始局部运动矢量。而后，采用精度要求较高的特征匹配和／或块匹配算法来细化初始局部运动矢量。其他渐进式局部运动检测也是可能的，本发明的范围在此方面不受限制。

接下来，在步骤S103处，基于获得的用于多个区域的多个局部运动矢量，确定用于当前帧的全局运动矢量。一般而言，全局运动矢量可以基于多个局部运动矢量中主导性(dominance)的运动矢量而被确定。换言之，如果这些局部运动矢量中超过预定数目的局部运动矢量都指向某个方向，则该方向可以被确定为全局运动矢量的方向。相应地，指向该方向的那些局部运动矢量的大小的平均值或者中值可以被确定为全局运动矢量的大小。备选地，为了提高全局运动估计的精度，可以对局部运动矢量执行聚类(clustering)算法，以确定局部运动矢量的主导性并且由此计算全局运动矢量。这方面的实施例将在下文详述。

通过执行步骤S101到S103，方法100已经完成了用于当前帧的全局运动矢量的确定。方法100可在步骤S103之后结束。

根据本发明的实施例，渐进式局部运动估计确保了用于区域的局部运动矢量可被快速、准确地确定。而且，通过基于局部运动矢量来确定全局运动矢量，能够有效地改善针对复杂视频场景的处理。作为示例，考虑图2所示的情况：在相机移动的同时，所拍摄的场景中存在较大的运动中的对象(在此例中是行走的人)。在这种情况下，现有技术中单纯基于特征匹配或者块匹配的传统运动矢量估计方法无法准确地区分相机的运动和物体的运动。由此，计算出的运动矢量不仅反映了相机运动引起的场景变化，也将反映场景中大型物体的移动。这样一来，基于这种运动矢量的后续防抖处理的效果将会受到影响。

与之相反，根据本发明的实施例，用于帧的全局运动矢量不是直接计算的，而是基于用于多个区域的局部运动矢量中主导性的运动矢量而被确定的。以此方式，能够有效地排除场景中的移动物体造成的潜在影响，使得全局运动矢量准确地表示由相机运动而引起的场景变化。例如，图2中的列201中的三个区域以及列203中的三个区域的局部运动矢量将被归入主导性的一类，其代表相机移动引起的场景变化，因此将被用于计算全局运动矢量。反之，列202中的三个区域的局部运动矢量受到运动对象的影响，因此将在计算全局运动矢量中被排除在外。以此方式，获得的全局运动矢量将更加准确。类似地，根据本发明的实施例，阴影、遮挡等其它因素的潜在干扰也可被消除。

下面参考图3，其示出了根据本发明的又一示例性实施例的用于视频防抖的方法300的流程图。方法300可以被认为是上文参考图1描述的方法100的一种特定实现。方法300开始之后，在步骤S301，将视频的当前帧的至少一部分划分为多个区域。步骤S301对应于方法100中的步骤S101，在此不再赘述。接下来，方法300进行到步骤S302和S303，在此执行渐进式的局部运动检测，以确定用于每个区域的局部运动矢量。可以理解，方法300中的步骤S302和S303对应于方法100中的步骤S102。

具体而言，在步骤S302，应用投影匹配来确定用于一个区域的初始局部运动矢量。如已知的，对帧中的一个区域的投影是将该区域中的像素值(例如，灰度值)在特定的方向上求和，从而将二维图像转换为一维数据。根据本发明的实施例，对于划分后的每个区域，可以将当前帧和参考帧分别向水平方向和垂直方向上进行投影。继而，可以基于当前帧和参考帧在水平方向／垂直方向上的投影的互相关性(cross-correlation)，来计算用于该区域的初始局部运动矢量。

在操作中，当前帧和参考帧分别被投影到水平方向上。在某些实施例中，投影可以针对区域中的所有像素执行，例如逐列进行。备选地，也可以仅针对区域中的部分像素执行投影，例如隔行逐列投影，从而提高处理速度。基于投影所得的一维数据集，可以获得投影曲线。参考图4A，曲线401表示当前帧在水平方向上的投影曲线，而曲线402表示参考帧在水平方向上的投影曲线。类似地，通过分别将当前帧和参考帧在垂直方向进行投影，可以获得当前帧的垂直投影曲线403和参考帧的垂直投影曲线404，如图4B所示。

可以基于水平投影曲线401和402，来计算当前帧与参考帧之间的水平互相关性，从而确定帧间的水平位移。具体而言，两条给定曲线之间的互相关系数可以表示两条曲线的相似性，从而反映当前帧与参考帧的水平投影的互相关性。互相关系数的计算方法是相关领域技术人员所知道的，在此不再赘述。以此方式，可以确定与水平投影曲线401和402之间的最大互相关性系数对应的水平偏移值d_x(例如，以像素为单位)。类似地，可以确定与垂直投影曲线403与404之间的最大互相关系数对应的垂直偏移值d_y。根据本发明的实施例，矢量(d_x，d_y)被确定为用于区域的初始局部运动矢量。

返回图3，在步骤S303，针对根据初始局部运动矢量确定的预定邻域执行块匹配，以便细化该初始局部运动矢量，从而得到用于该区域的最终的局部运动矢量。如已知的，对于一个给定的待匹配图像块，块匹配过程在一个给定的搜索范围内根据预定的匹配准则搜索与该图像块最相似的块，即匹配块。具体而言，给定的待匹配图像块在当前帧中的坐标位置被记为(x₀，y₀)。在参考帧中，沿初始局部运动矢量(d_x，d_y)进行移动，得到对应的匹配块初始位置，其坐标位置为(x₀+d_x，y₀+d_y)。然后，以(x₀+d_x，y₀+d_y)为中心点，在其周围的一个预定邻域确定匹配块的精确位置，该邻域即为匹配块的搜索区域。在某些实施例中，该邻域可以是正方形，其大小例如可以5×5像素、7×7像素，等等。备选地，邻域也可以是其他形状，例如矩形等。另外，图像块的大小可以根据所处理的区域的大小而确定，例如16×16像素、32×32像素、64×64像素，等等。

根据本发明的实施例，在步骤S303处的块匹配中，可以采用各种目前已知的或者将来开发的标准作为块匹配的搜索标准。例如，在某些实施例中，对于待匹配的图像块，可以计算该图像块与待搜索区域内的各个点相对应的图像块之间的最大互相关系数，并且据此调整初始局部运动矢量。作为示例，下面的表1示出了基于初始局部运动矢量的块匹配的结果。在表1所示的示例中，邻域(即，待搜索的区域)的大小被设置为5×5像素。在操作中，对于邻域内的25个像素中的每一个，计算与之对应的图像块与待匹配图像块的互相关系数。可以看到，邻域内的互相关系数最大的点恰好是该邻域的中心点(互相关系数的值为0.9917)。此时，初始局部运动矢量(d_x，d_y)无需调整即可被用作最终的局部运动矢量。

表1

0.9796	0.9839	0.9854	0.9845	0.9815
					0.9843	0.9887	0.9904	0.9895	0.9864
0.9855	0.9900	0.9917	0.9908	0.9878
					0.9823	0.9868	0.9886	0.9879	0.9850
0.9761	0.9807	0.9827	0.9821	0.9795

作为另一示例，下面的表2示出了另一块匹配的结果。在表2所示的匹配结果中，互相关系数最大的点是邻域中心点的右下方的点(互相关系数的值为0.9816)。由此，在步骤S303处确定初始局部运动矢量(d_x，d_y)在步骤S304处被调整为(d_x+1，d_y+1)，以作为用于该区域的局部运动矢量。注意，块匹配的搜索标准不限于互相关性。本发明的实施例，可以使用各种块匹配的搜索标准，包括但不限于绝对误差和、平均绝对误差、方差和、均方差，等等。

表2

0.9478

0.9600

0.9662

0.9670

0.9630

0.9540	0.9667	0.9735	0.9745	0.9706
					0.9581	0.9713	0.9786	0.9799	0.9762
0.9587	0.9723	0.9799	0.9816	0.9781
					0.9550	0.9688	0.9767	0.9787	0.9755

继续参考图3，方法300继而进行到步骤S304，在此判断是否还存在待处理的区域。如果是，则方法300返回步骤S302继续执行，否则方法300进行到步骤S305。在步骤S305，在此对用于多个区域的多个局部运动矢量执行聚类，从而确定用于当前帧的全局运动矢量。在步骤S305处，可以采用任何目前已知或者将来开发的聚类算法，将用于不同区域的局部运动矢量分为两类。数量上占优的那组局部运动矢量被认为是主导性的，即，代表了由相机运动引起的变化。

特别地，在某些实施例中，可以使用K均值(K-mean)聚类算法对局部运动矢量进行聚类。在这样的实施例中，最初可以选择两个局部运动矢量作为聚类中心，即，设置K＝2。聚类中心可以按照任何适当的方式来选择，例如随机选择、选择相距足够远的两个局部运动矢量，等等。此后，开始多次迭代的聚类过程。在本发明的某些实施例中，可以将聚类算法执行的次数设置为预定的阈值次数，例如3次，从而对上一次聚类结果中占主导性的运动矢量进一步聚类。以此方式，可以有效地估计全局运动矢量。与视频运动估计中经常使用的随机抽样一致(RANSAC)算法或者支持向量机(SVM)相比，这种多次迭代的K均值聚类算法能够在快速地完成对局部运动矢量聚类的同时，确保全局运动矢量估计的准确性。注意，K均值仅仅是聚类算法的一个示例，并非意在限制本发明的范围。任何目前已知或者将来开发的聚类算法均可与本发明的实施例结合使用。

在聚类算法完成之后，如果一个类中的局部运动矢量的数目明显大于另一个类，则可以计算数目占优的类中所有局部运动矢量的中值，并且将得到的矢量作为用于帧的全局运动矢量。另一方面，如果聚类得到的两个类中所包含的局部运动矢量的数目相当，可以分别计算两个类中的局部运动矢量的中值矢量。在得到的两个中值矢量中，大小更接近零的那个矢量被确定为用于帧的全局运动矢量。注意，这仅仅是示例性的，本发明的实施例也可以采用其他的平局决胜规则。例如，可以随机选择两个矢量中的一个作为全局运动矢量。本发明的范围在此方面不受限制。

继续参考图3，方法300继而进行到步骤S306，在此对步骤S305得到的全局运动矢量进行滤波，以移除该全局运动矢量的高频分量。对全局运动矢量的滤波有助于将有意识的相机移动与不期望的相机抖动区分开。一个合理的假设是：有意识的相机运动通常是比较平缓的，而不期望的相机抖动则往往是急促的。基于该假设，根据本发明的实施例，全局运动矢量中与相机抖动相对应的高频分量将在步骤S306被移除。

根据本发明的实施例，在步骤S306处，可以使用各种目前已知的或者将来开发的滤波器来对全局运动矢量进行滤波。可与本发明的实施例结合使用的滤波器的示例包括但不限于中值滤波器、均值滤波器、小波滤波器，等等。特别地，在本发明的某些实施例中，可以使用改进的小波滤波器来对全局运动矢量进行滤波。如已知的，小波滤波器包括小波硬阈值滤波器和小波软阈值滤波器。小波硬阈值滤波器可以表示为：

$c^{\′}=\left\{\begin{array}{cc}c,& \left|c\right|\≥T\\ 0& \left|c\right|\≤T\end{array}\right.$

其中c和c’分别代表滤波前后的小波系数值。小波软阈值滤波器可以表示为：

$c^{\′}=\left\{\begin{array}{cc}c-T& c\≥T\\ 0& \left|c\right|\≤T\\ c+T& c\≤-T\end{array}\right.$

根据本发明的实施例，小波软阈值滤波器被进一步改进。具体而言，根据本发明实施例的改进的小波软阈值滤波器可以表示如下：

$c^{\&prime;}=\left\{\begin{array}{cc}c-T+\mathrm{\&lambda;}{T}^2& c\&GreaterEqual;T\\ \mathrm{\&lambda;}{c}^2& 0<c<T\\ -\mathrm{\&lambda;}{c}^2& -T<c<0\\ c+T-\mathrm{\&lambda;}{T}^2& c\&le;-T\end{array}\right.$

其中λ是平滑系数，其取值范围例如为[-10，10]或其他任何适当的范围。该滤波器是连续且可导的，经过该滤波处理的全局运动矢量将会更加平滑。图5示出了硬阈值、软阈值和根据本发明实施例的软阈值连续小波滤波器的示意图。可以看到，与传统的硬阈值小波滤波器501和软阈值小波滤波器502相比，根据本发明实施例的平滑的小波软阈值滤波器503的滤波结果将会更加平滑。

接下来，在步骤S307，基于步骤S305处获取的全局运动矢量和步骤S306处获取的经滤波的全局运动矢量，确定用于当前帧的抖动矢量。基于该抖动矢量，在步骤S308处对当前帧进行补偿。作为示例，在本发明的某些实施例中，可以将抖动矢量沿水平方向和垂直方向分解，从而确定与当前帧相关联的水平抖动量和垂直抖动量。相应地，可以基于水平抖动量和垂直抖动量来移动或裁减当前帧，从而抵消当前帧中的抖动，增进视觉效果上的稳定性。

特别地，本发明的实施例能够支持实时的视频防抖。根据本发明的实施例，防抖处理的延迟与步骤S306处使用的滤波器的尺寸有关。假设滤波器的尺寸为m+1(m为一个偶数)，则针对当前帧的运动补偿将延迟m／2个帧。例如，在m=10的实施例中，用户在例如设备的取景器中看到的输出视频将延迟5帧。如果帧率为30fps，则输出视频将延迟0.167秒，这是人类肉眼很难察觉的。

现在参考图6，其示出了根据本发明的示例性实施例的用于在视频防抖中使用的装置600的框图。如图所示，装置600包括：帧划分单元601，其被配置为将视频的当前帧的至少一部分划分为多个区域；局部运动检测单元602，其被配置为针对所述多个区域中的每个区域，执行渐进式局部运动检测以确定用于所述区域的局部运动矢量；以及全局运动估计单元603，其被配置为基于用于所述多个区域的所述局部运动矢量，确定用于所述当前帧的全局运动矢量。

在本发明的某些实施例中，局部运动检测单元602包括：投影匹配单元，被配置为对所述区域执行投影匹配，以确定用于所述区域的初始局部运动矢量；以及块匹配单元，被配置为针对所述初始局部运动矢量的预定邻域执行块匹配，以将所述初始局部运动矢量细化为所述局部运动矢量。特别地，在本发明的某些实施例中，投影匹配单元可以包括：水平相关性确定单元，被配置为确定所述当前帧的水平投影与参考帧的水平投影之间的水平互相关性；以及垂直相关性确定单元，被配置为确定所述当前帧的垂直投影与参考帧的垂直投影之间的垂直互相关性。在这样的实施例中，投影匹配单元被配置为基于所述水平互相关性和所述垂直互相关性，确定所述初始局部运动矢量。

在本发明的某些实施例中，全局运动估计单元603可以包括聚类单元，被配置为对用于所述多个区域的所述局部运动矢量进行聚类。在本发明的某些实施例中，聚类单元可以包括K-均值聚类单元，被配置为利用K-均值聚类算法将用于所述多个区域的所述局部运动矢量分为两类，所述K-均值聚类算法的执行次数被设置为预定阈值次数。

在本发明的某些实施例中，装置600还可以包括滤波单元，被配置为对所述全局运动矢量进行滤波，以移除所述全局运动矢量的高频分量。在本发明的某些实施例中，滤波单元可以包括小波滤波单元，被配置为利用平滑的小波软阈值滤波器对所述全局运动矢量进行滤波。在本发明的某些实施例中，装置600还可以包括：抖动矢量确定单元，被配置为基于所述全局运动矢量和经滤波的全局运动矢量，确定用于所述当前帧的抖动矢量；以及补偿单元，被配置为基于所述抖动矢量对所述当前帧进行补偿。

应当理解，为清晰起见，在图6中没有示出装置600可选单元和子单元。然而，应当理解，上文参考图1-图5所描述的各个特征同样适用于装置600，因而没有赘述。而且，这里所用的术语“单元”既可以是硬件模块，也可以是软件单元模块。相应地，装置600可以通过各种方式实现。例如，在某些实施例中，装置600可以部分或者全部利用软件和／或固件来实现，例如被实现为包含在计算机可读介质上的计算机程序产品。备选地或附加地，装置600可以部分或者全部基于硬件来实现，例如被实现为集成电路(IC)、专用集成电路(ASIC)、片上系统(SOC)、现场可编程门阵列(FPGA)等。本发明的范围在此方面不受限制。

图7示出了本发明的实施例可实现于其中的用户设备700的示意性框图。设备700可以是具有无限通信能力的移动设备。然而，应当理解，这仅仅是示例性和非限制性的。其他的用户设备类型也可以容易地采取本发明的实施例，诸如便携式数字助手(PDA)、寻呼机、移动计算机、移动TV、游戏装置、膝上式计算机、照相机、视频照相机、GPS设备和其他类型的语音和文本通信系统。固定类型的用户设备可以同样简单地使用本发明的实施例。

设备700包括一个或多个可操作与发射器714和接收器716通信的天线712。设备700还包括至少一个处理器控制器720。应当理解，控制器720包括实现移动终端700的功能所需要的电路。例如，控制器720可以包括数字信号处理器设备、微处理器设备、A／D转换器、D／A转换器以及其他支持电路。设备700的控制和信号处理功能根据这些设备各自的能力分配。设备700还可以包括用户接口，例如可以包括振铃器722、扬声器724、扩音器726、显示器728以及小键盘730，所有以上设备都耦合至控制720。

特别地，设备700还可以包括用于捕捉静态图像和／或视频的视频捕获装置736，以及根据本发明实施例的用于视频防抖的装置600。另外，设备700还包括电池734，诸如振动电池组，用于向操作移动终端700所需要的各种电路供电，并且备选地提供机械振动作为可检测的输出。设备700还包括用户识别模块(UIM)738。UIM738通常是具有内置的处理器的存储器设备。UIM738可以例如包括订户识别模块(SIM)、通用集成电路卡(UICC)、通用用户识别模块(USIM)或可移动用户识别模块(R-UIM)等等。UIM738可以包括根据本发明的实施例的卡连接检测装置。

设备700还包括存储器。例如，移动终端700可以包括易失性存储器740，例如，包括高速缓存区域中的用于临时存储数据的易失性随机存取存储器(RAM)。设备700还可以包括其他的可以是嵌入的或可移动的非易失性存储器742。非易失性存储器742可以附加地或备选地例如包括EEPROM和闪存等。存储器可以存储多个信息片段中的任意项和设备700使用的数据，以便实现设备700的功能。应当理解，图7中的结构框图仅仅示出用于说明目的，并非旨在限制本发明的范围。在某些情况下，某些设备可以按需要被添加或减少。

仅出于说明目的，上文已经描述了本发明的若干示例性实施例。本发明的实施例可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的系统和方法可以使用计算机可执行指令和／或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明系统可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

应当注意，尽管在上文详细描述中提及了系统的若干装置或子装置，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施例，上文描述的两个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征和功能可以进一步划分为由多个装置来具体化。类似地，尽管在附图中以特定顺序描述了本发明方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和／或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施例描述了本发明，但是应该理解，本发明并不限于所公开的具体实施例。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

Claims (18)

1.一种用于在视频防抖中使用的方法，所述方法包括：

将视频的当前帧的至少一部分划分为多个区域；

针对所述多个区域中的每个区域，执行渐进式局部运动检测以确定用于所述区域的局部运动矢量；以及

基于用于所述多个区域的所述局部运动矢量，确定用于所述当前帧的全局运动矢量。

2.根据权利要求1所述的方法，其中执行渐进式局部运动检测包括：

对所述区域执行投影匹配，以确定用于所述区域的初始局部运动矢量；以及

针对所述初始局部运动矢量的预定邻域执行块匹配，以将所述初始局部运动矢量细化为所述局部运动矢量。

3.根据权利要求2所述的方法，其中对所述区域执行投影匹配包括：

确定所述当前帧的水平投影与参考帧的水平投影之间的水平互相关性；

确定所述当前帧的垂直投影与参考帧的垂直投影之间的垂直互相关性；以及

基于所述水平互相关性和所述垂直互相关性，确定用于所述区域的所述初始局部运动矢量。

4.根据权利要求1所述的方法，其中确定用于所述当前帧的全局运动矢量包括：

对用于所述多个区域的所述局部运动矢量进行聚类。

5.根据权利要求4所述的方法，其中对用于所述多个区域的所述局部运动矢量进行聚类包括：

利用K-均值聚类算法将用于所述多个区域的所述局部运动矢量分为两类，所述K-均值聚类算法的执行次数被设置为预定阈值次数。

6.根据权利要求1-5任一项所述的方法，还包括：

对所述全局运动矢量进行滤波，以移除所述全局运动矢量的高频分量。

7.根据权利要求6所述的方法，其中对所述全局运动矢量进行滤波包括：

利用平滑的小波软阈值滤波器对所述全局运动矢量进行滤波。

8.根据权利要求7所述的方法，还包括：

基于所述全局运动矢量和经滤波的全局运动矢量，计算用于所述当前帧的抖动矢量；以及

基于所述抖动矢量对所述当前帧进行补偿。

9.一种用于在视频防抖中使用的装置，所述装置包括：

帧划分单元，被配置为将视频的当前帧的至少一部分划分为多个区域；

局部运动检测单元，被配置为针对所述多个区域中的每个区域，执行渐进式局部运动检测以确定用于所述区域的局部运动矢量；以及

全局运动估计单元，被配置为基于用于所述多个区域的所述局部运动矢量，确定用于所述当前帧的全局运动矢量。

10.根据权利要求9所述的装置，其中所述局部运动检测单元包括：

投影匹配单元，被配置为对所述区域执行投影匹配，以确定用于所述区域的初始局部运动矢量；以及

块匹配单元，被配置为针对所述初始局部运动矢量的预定邻域执行块匹配，以将所述初始局部运动矢量细化为所述局部运动矢量。

11.根据权利要求10所述的装置，其中所述投影匹配单元包括：

水平相关性确定单元，被配置为确定所述当前帧的水平投影与参考帧的水平投影之间的水平互相关性；以及

垂直相关性确定单元，被配置为确定所述当前帧的垂直投影与参考帧的垂直投影之间的垂直互相关性，

其中所述投影匹配单元被配置为基于所述水平互相关性和所述垂直互相关性，确定用于所述区域的所述初始局部运动矢量。

12.根据权利要求9所述的装置，其中所述全局运动估计单元包括：

聚类单元，被配置为对用于所述多个区域的所述局部运动矢量进行聚类。

13.根据权利要求12所述的装置，其中所述聚类单元包括：

K-均值聚类单元，被配置为利用K-均值聚类算法将用于所述多个区域的所述局部运动矢量分为两类，所述K-均值聚类算法的执行次数被设置为预定阈值次数。

14.根据权利要求9-13任一项所述的装置，还包括：

滤波单元，被配置为对所述全局运动矢量进行滤波，以移除所述全局运动矢量的高频分量。

15.根据权利要求14所述的装置，其中所述滤波单元包括：

小波滤波单元，被配置为利用平滑的小波软阈值滤波器对所述全局运动矢量进行滤波。

16.根据权利要求15所述的装置，还包括：

抖动矢量确定单元，被配置为基于所述全局运动矢量和经滤波的全局运动矢量，确定用于所述当前帧的抖动矢量；以及

补偿单元，被配置为基于所述抖动矢量对所述当前帧进行补偿。

17.一种用户设备，包括：

控制器；

耦合至所述控制器的视频捕获装置；以及

根据权利要求9到16任一项所述的装置。

18.一种用于在视频防抖中使用的计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至8任一项所述的方法的步骤。