CN102656876A - 用于图像稳定的方法和装置 - Google Patents

Abstract

本发明提供了用于通过成像设备来稳定图像数据的方法和设备。在一个实施例中，方法包括检测第一帧和第二帧的图像数据，执行运动估计以确定与第一帧的图像数据的全局帧运动关联的一个或多个运动矢量，执行外点排除函数以选择一个或多个运动矢量中的至少一个运动矢量，以及至少部分地基于通过外点排除函数选择的运动矢量来确定用于第一帧的图像数据的全局变换。该方法还可以包括通过细化全局变换以校正无意的运动来确定用于第一帧的图像数据的稳定变换，以及对第一帧的图像数据应用该稳定变换以稳定第一帧的图像数据。

Description

用于图像稳定的方法和装置

相关申请的交叉引用

本申请要求享有2009年10月14日提交的美国临时申请号61/251,379的优先权，其全文通过引用结合于此。

技术领域

本发明总体上涉及视频数据的数字图像稳定，更具体地涉及在捕获期间对通过CMOS传感器检测到的图像数据进行的数字稳定。

背景技术

用户操作视频成像设备，尤其是手持录制设备，可能由于操作者在支撑成像设备时的小移动而产生模糊或移位的图像数据。然而，不希望有模糊的失真图像数据。因此，传统的方法和设备已经用于稳定通过视频成像设备捕获的图像数据。例如，一种传统方法包括采用一个或多个运动传感器来检测成像设备的运动，以校正图像数据。这些方法需要运动传感器，并且可能仍然导致数字失真，因为典型采用的运动传感装置通常不能检测旋转运动。使用成像设备的缩放功能可能额外增加了图像稳定的难度。

然而，传统的方法和设备没有考虑实时或近实时地对CMOS传感器，尤其是卷帘快门传感器所捕获的图像数据进行的数字视频稳定。之前的尝试旨在于执行离线后处理以补偿平移变换。但是，这些方法没有考虑局部对象运动所引入的外点(outlier)或者校正卷帘快门成像赝像。另一方法包括离线处理，其与在线处理的不同之处通常在于要求更高的功耗、更高的带宽、更高的处理延迟以及更高的算法复杂度。

因此，本领域中需要能够解决采用CMOS传感器的设备的一个或多个缺陷的系统和方法。

发明内容

本文公开和请求保护用于稳定图像数据的系统和方法。在一个实施例中，方法包括检测第一帧的图像数据，检测第二帧的图像数据，执行运动估计以确定与第一帧的图像数据的全局帧运动关联的一个或多个运动矢量，执行外点排除函数以选择一个或多个运动矢量中的至少一个运动矢量，以及至少部分地基于通过外点排除函数选择的运动矢量来确定用于第一帧的图像数据的全局变换。该方法还可以包括通过细化全局变换以校正无意的运动来确定用于第一帧的图像数据的稳定变换，以及对第一帧的图像数据应用该稳定变换以稳定第一帧的图像数据。

参见以下对本发明的详细描述，本发明的其他方面、特征和技术对相关领域技术人员将变得明显。

附图说明

结合附图从下文的详细描述中，本发明的特征、目的和优势将变得更加明显，附图中相同的附图标记贯穿各附图指代相同的部分，其中：

图1描绘了根据本发明一个实施例的视频成像设备的简化框图；

图2描绘了根据本发明一个实施例的用于稳定图像数据的过程；

图3A描绘了根据本发明一个实施例的帧的图像数据的图形化表示；

图3B描绘了根据本发明一个实施例的包括图像赝像的图3A的帧的图像数据的图形化表示；

图4描绘了根据本发明一个实施例的外点函数。

图5描绘了根据本发明一个实施例的一系列帧的图像数据的图形化表示；

图6描绘了根据本发明另一实施例的帧的图像数据的图形化表示；

图7描绘了根据本发明另一实施例的视频成像设备的简化框图。

具体实施方式

本发明的一个方面涉及稳定成像设备的图像数据，诸如视频数据。在一个实施例中，提供了一种用于稳定通过CMOS图像传感器，诸如卷帘快门传感器或全局快门传感器，检测到的图像数据的过程。图像稳定过程可以基于图像数据相对于图像数据的先前帧或连续帧的运动，来确定用于校正无意的运动的稳定变换，其中无意的运动诸如是被转换成所捕获图像数据中的不稳定的用户移动。无意的运动可以涉及成像设备的用户的不期望运动，诸如手抖动。过程可以包括响应于多个运动矢量的扭曲(warping)变换，以及提供用于选择一个或多个运动矢量的多级细化过程的外点函数。根据另一实施例，该过程可以附加地包括基于先前或连续帧数据来确定图像数据的全局变换，以及确定与全局变换关联的置信测度以减少全局变换中的错误估计。该过程还可以包括基于全局变换来确定稳定变换以校正影响图像数据的检测的一个或多个无意的移动。

根据另一实施例，提供了一种成像设备，该成像设备用于如本文描述的实时地或近实时地稳定视频图像数据。以此方式，可以检测和校正图像数据而无需对视频图像数据进行后处理。

示例性实施例的描述

图1描绘了根据一个实施例的配置用于提供图像数据的稳定的成像设备的简化框图。设备100涉及成像设备，诸如摄像机，或者通常包括视频成像设备的设备(例如，个人通信单元)。设备100的图像传感器105可以配置用于捕获一个或多个帧的图像数据。根据一个实施例，图像传感器105涉及互补金属氧化物半导体(CMOS)传感器。根据另一实施例，图像传感器105可以涉及卷帘快门传感器和全局快门传感器之一。如此处所使用的，卷帘快门传感器涉及通过在帧上垂直地或水平地扫描像素数据来扫描图像传感器的像素数据，从而进行检测的图像捕获设备。全局快门传感器涉及同时捕获帧的图像数据。

设备100包括耦合到图像传感器105的处理器110，其可以配置用于处理通过图像传感器105检测到的与一个或多个帧关联的图像数据。对系统的示例性输入包括但不限于标清(SD)和高清(HD)视频。处理器110可以配置用于处理图像数据以经由输入/输出接口115进行输出和/或存储在存储器120上。在一些实施例中，设备100可以配置用于向可选的存储器125输出图像数据以进行存储(例如，可移动介质，DVD-r，等等)和/或向可选的显示器130输出。

如下文结合图2将更详细描述的，设备100可以配置用于执行用于图像检测的过程，包括一个或多个运动估计计算，确定全局失真以及对图像数据应用复杂变换。处理器110可以配置用于基于通过图像传感器105检测到的图像数据来提供实时数字图像稳定。根据另一实施例，处理器110可以配置用于最小化用以稳定捕获的图像数据的运动估计计算。设备100可以进一步配置用于提供比仿射(affine)更复杂的复杂失真校正。

处理器110可以配置用于基于存储在存储器120中的一个或多个指令进行操作，其中存储器120涉及ROM和RAM存储器之一。设备100所接收的可执行指令和/或数据可以通过存储器120存储。尽管上面已经参考用于图像传感器105的卷帘快门配置描述了设备100，同样应当理解，设备100可以涉及全局图像传感器。尽管图1中的元件可以描述为硬件，但是应当理解，这些元件的功能可以以各种方式实现，包括硬件、固件、软件及其组合。

现在参考图2，描绘了根据本发明的一个实施例的对通过图1的设备检测到的图像数据进行稳定的过程。过程200可以通过在框205处检测第一帧的图像数据以及在框210处检测第二帧的图像数据来启动。根据一个实施例，在框205和210处检测到的图像数据可以是连续帧。帧的捕获之间的延迟可以基于SD和HD视频数据的视频标准，包括但不限于30帧/秒。在框215处，可以执行运动估计以确定与第一帧关联的一个或多个运动矢量。如下文结合图3更详细描述的，运动矢量可以针对全局运动而确定，诸如整个图像帧的运动。类似地，运动矢量可以针对局部运动，即帧内的对象的运动，来计算。运动矢量可以基于与第一帧和第二帧关联的图像数据的比较来确定。在一些实施例中，可以采用多个帧以用于运动估计，诸如先前检测到的和/或随后检测到的帧，以执行运动估计。在一个实施例中，运动估计可以是分层的，其中一个或多个运动矢量可以针对图像数据的粗分辨率和精分辨率而确定。然而，针对一帧内的所有块执行完整运动估计可能是非常苛刻的。因此，可以在框220处执行外点函数。如下文结合图4将更详细描述的，可以执行外点函数以选择一个或多个运动矢量。外点函数可以确定哪些运动矢量与图像帧内的全局运动不相关，并且由此选择与全局运动关联的运动矢量。以这种方式，可以移除可能导致次优稳定的外点。

基于在框220处执行的外点函数，过程200可以继续，其在框225处基于第一帧和第二帧的图像数据来确定全局变换。全局变换提供对全局帧运动的度量，其可以用于对图像数据进行变换以将帧对准。全局变换可进一步与置信测度相关联。在一个实施例中，处理器可以确定全局变换的置信测度。全局变换的置信测度可以基于若干度量，并且可以取决于有效运动矢量对帧的覆盖范围。当一帧的大部分经历全局运动时，更高的覆盖范围应当导致更高的置信。对所检测的全局变换的参数进行检查，并且参数与正常值的高偏差(例如，缩放应当接近统一)也将导致较低的置信。而且，对于相同的覆盖范围，更高的检测到的卷帘快门赝像将导致较低的置信值。

可以采用置信测度来减少一个或多个帧中存在三维(3D)和/或复杂运动(例如，场景)时全局变换的错误估计。当场景信息包括有限细节时，置信测度可以类似地减少错误估计。作为示例，当指向白墙的一个或多个图像帧可能导致降低的置信水平，因为一个或多个帧中的细节可能很难区分。全局变换的置信测度可以依赖于一个或多个图像之间的复杂度。根据另一实施例，置信测度可能涉及卷帘快门和/或全局变换中其他不期望的效果以及运动矢量对帧的覆盖范围。例如，对于复杂的全局变换，应当确定较大数目的运动矢量以在一系列帧之间获得相同的置信测度。通过减少运动矢量的覆盖范围，可减小置信测度。以此方式，置信测度可以用来通过将全局变换与单位变换进行混合来缓和全局变换，其中对于零置信水平，全局变换应当是单位变换。

基于在框225处确定的全局变换，设备继而可以在框230处确定稳定变换。稳定变换可以用来校正图像帧上的无意的运动，诸如用户的无意移动。稳定变换可进一步校正一个或多个卷帘快门赝像，诸如倾斜、摇晃、局部曝光和失真。在一个实施例中，通过临时平滑全局变换，从连续帧之间的全局变换提取有意运动。在一个实施例中，全局变换可以通过递归滤波，诸如使用卡尔曼滤波，来进行平滑。卷帘快门赝像可以认为是全局变换中不期望的部分，并且因此对全局变换的滤波不应当包括对卷帘快门赝像的滤波。这样，可以为剩余的无意运动确定稳定变换。在一个实施例中，校正稳定变换可以特征化为：

$x_{\mathrm{new}}=c_1{x}_{\mathrm{old}}+c_2{y}_{\mathrm{old}}+c_3\mathrm{xy}+c_4{y}_{\mathrm{old}}^2+c_5$

$y_{\mathrm{new}}=c_6{x}_{\mathrm{old}}+c_7{y}_{\mathrm{old}}+c_8\mathrm{xy}+c_9{y}_{\mathrm{old}}^2+c_{10}$

其中，x_old(x_旧)和y_old(y_旧)是被校正图像的像素坐标，x_new(x_新)和y_new(y_新)是所捕获帧的像素数据。

根据另一实施例，稳定可以特征化为：

$x_{\mathrm{new}}=c_1{x}_{\mathrm{old}}+c_2{y}_{\mathrm{old}}+c_2\mathrm{xy}+c_4{y}_{\mathrm{old}}^2+c_5{x}_{\mathrm{old}}^2+c_6$

$y_{\mathrm{new}}=c_7{x}_{\mathrm{old}}+c_8{y}_{\mathrm{old}}+c_9\mathrm{xy}+c_{10}{y}_{\mathrm{old}}^2+c_{11}{x}_{\mathrm{old}}^2+c_{12}$

在框235处，对第一帧的图像数据应用稳定变换。稳定变换的确定和应用可以实时或近实时地确定。在一个实施例中，通过处理器的扭曲单元来执行稳定变换，基于该稳定变换对像素数据进行变换。例如，扭曲处理可以基于该变换来替换一个或多个独立移动的像素。

尽管上面仅关于数字视频稳定描述了过程200，但是还应当理解，过程200可以校正成像传感器(例如，图像传感器105)的透镜变形效应。例如，过程200可以包括对在运动估计期间在框215处确定的运动矢量应用逆透镜变形函数。附加地，在框235处应用稳定变换可以执行对无意运动的校正和透镜变形校正。

图3A-图3B描绘了与帧关联的图像数据的图形化表示。首先参考图3A，图像帧305是未受无意运动或图像传感器的卷帘快门赝像影响的图像数据的简化图绘。根据本发明的一个实施例，可以提供图像数据的实时或近实时的稳定以考虑图像数据的全局运动。图像帧305可以包括一个或多个对象310_1-n，其示出为人物310₁和气球310_n。如图3A中所示，与对象3101关联的图像数据包括示出为315的细节。

现在参考图3B，描绘了用于帧的图像数据，其包括归因于成像设备在捕获期间的无意运动所导致的一个或多个不一致(例如，模糊、赝像，等等)。图像帧320涉及包括对象310_1-n的图像帧305。在一个实施例中，帧320的图像数据涉及通过成像设备(例如，设备100)的卷帘快门传感器检测到的图像数据。在捕获图像数据时影响成像设备的无意运动可以调整如方向325_x，325_y，330a和330b所示的像素数据，其可以包括图像数据的全局运动。基于帧320的图像数据以及第二帧的图像数据(图3B中未示出)，可以确定一个或多个运动矢量。作为示例，运动矢量340_1-2涉及用于对象310₁的图像数据的运动。附加地，归因于无意运动，对象310₁的细节(例如，细节315)可能如345所示地被模糊化或变形。运动矢量350涉及对象310_n的运动。可以为图像帧的图像数据附加地确定运动矢量，如360_1-n所示，并且运动矢量可以与帧的一个或多个区域相关联。根据提供实时图像稳定，图像帧的一个或多个运动矢量可以被选择以确定稳定变换。对运动矢量的选择可以通过外点函数来确定。根据另一实施例，一个或多个运动矢量可以被选择以使得运动估计的数量最小。

现在参考图4，其描绘了根据本发明的一个或多个实施例的用于通过外点函数来选择一个或多个运动矢量的过程。过程400允许选择一个或多个运动矢量以最小化运动估计计算。以此方式，图像数据的稳定可以考虑局部移动对象以及跟踪经历非全局运动的帧的区域的能力。过程400可以通过在框405处获取运动矢量来启动。外点函数可以配置用于基于一个或多个运动矢量权重来确定不是全局运动的一部分的运动矢量。运动矢量权重可以反映帧的每个区域被视为内点的关联性(例如，全局运动指示符)。当选择图像数据块的区域以确定全局变换时，可以采用运动矢量权重，并由此可以形成过程400的外点函数所使用的权重的基础。相应地，在框405处获取的运动矢量数据可以包括与每个运动矢量关联的运动矢量权重。可以对选定图像位置的导出的、近最优的稀疏集合执行运动矢量分析。使用图像位置的稀疏集合用于运动矢量分析降低了运动矢量分析时间以及处理要求。可以采用视频帧的区域中关于包含展示全局运动的面积或展示局部运动的对象的可能性的评级来选择一个或多个区域，以及用于随后在选择出现在未来的帧中的区域时使用。如下文将描述的，过程400可以执行一个或多个迭代，由此可以进一步包括在框405处将迭代次数设置为零。

在框410处，可以从所获取的运动矢量数据中选择一个或多个运动矢量。在一个实施例中，可以在框410处随机选择运动矢量。所选择的运动矢量的数目可以基于外点函数所采用的模型。基于所选择的运动矢量，可以在框415处估计模型。

为了仅校正平移运动，例如用于图像传感器的全局快门传感器，可以采用如下模型：

x_new＝x_old+d_x

y_new＝y_old+d_y

为了校正可能带有缩放的平移和旋转运动，例如用于全局快门传感器，可以采用如下模型：

x_new＝zx_old+ry_old+d_x

y_new＝-rx_old+zy_old+d_y

为了校正卷帘快门变换，假设简单的相机运动，可以采用如下模型：

$x_{\mathrm{new}}=z_x{x}_{\mathrm{old}}+(v_x+r)x_{\mathrm{old}}+v_r{y}_{\mathrm{old}}^2+d_x$

y_new＝-rx_old+(1+v_y)y_old-v_rx_oldy_old+d_y

为了校正卷帘快门变换，假设复杂的相机运动，可以采用如下模型：

$x_{\mathrm{new}}=c_1{x}_{\mathrm{old}}+c_2{y}_{\mathrm{old}}+c_3\mathrm{xy}+c_4{y}_{\mathrm{old}}^2+c_5{x}_{\mathrm{old}}^2+c_6$

$y_{\mathrm{new}}=c_7{x}_{\mathrm{old}}+c_8{y}_{\mathrm{old}}+c_9\mathrm{xy}+c_{10}{y}_{\mathrm{old}}^2+c_{11}{x}_{\mathrm{old}}^2+c_{12}$

相应地，可以在框415处基于选择的运动矢量来计算模型参数，并且过程400可以继续，在框420处，根据在框415处计算的模型参数，确定在400中获取的所有运动矢量的集合中的哪些运动矢量是内点(inlier)。如果运动矢量符合在框415处确定的选定模型直至预定的阈值，则该运动矢量被标记为内点。基于在框420处所确定的内点，具有最高标记的模型(例如，具有最大数目的内点运动矢量或者具有最高的内点运动矢量的总权重)可以在框425处进行存储，包括相关信息，以确定内点运动矢量。

基于选择的运动矢量数据，过程400可以检查是否在框430处要执行附加的迭代。根据一个实施例，可能需要多次迭代。当要执行附加的迭代时(例如，判决框430的“否”分支)，在框435处迭代次数可以增加，并且可以在框410处选择一个或多个运动矢量。可以在框415处更新针对选择的运动矢量而估计的模型。当满足迭代的次数时(例如，判决框430的“是”分支)，在框440处外点函数可以结束。外点函数的结果可以是减少确定全局变换的运动估计所需的运动矢量的数目和总体处理。

作为最后阶段，在将运动矢量分类成与全局帧运动关联的运动矢量(也即，内点)和与非全局运动关联的运动矢量(也即，外点)之后，外点函数可以包括内点跟踪，其负责跟踪具有帧之间的非全局运动的区域以及提供用于该帧的每个区域的权重。用于区域的权重反映了包含展示全局运动的面积(与展示局部运动的面积或对象相对)的可能性。这些权重继而如上所述地被对时间上紧密的帧进行操作的外点函数所使用。

现在参考图5，描绘了针对一系列帧的实时数字图像稳定的图形化表示。场景500涉及通过设备的图像传感器所检测到的一个或多个帧505_1-n，其包括归因于无意运动导致的一个或多个卷帘快门赝像。基于所检测的图像数据，本文所描述的设备和方法可以配置用于提供针对场景的图像稳定。帧510_1-n图示了如本文所描述的对帧505_1-n应用确定的稳定变换。根据一个实施例，与帧505₁和505₂关联的图像数据可以用来确定获得图像510₁的稳定变换。根据另一实施例，除了当前帧(诸如帧505₂)之外，先前的和随后的帧可以用来对帧数据(诸如帧505₁和505₂)应用图像稳定。备选地，或组合地，校正图像数据(诸如图像帧510₁)可以用来校正当前帧，诸如505₂。

根据另一实施例，场景500还描绘了校正归因于无意运动的图像数据的全局运动，并且还允许校正对象数据的局部运动。例如，在校正图像稳定时可以考虑对象515_1-n和520_1-n的局部运动。因此，帧510_1-n包括已校正对象525_1-n和530_1-n，其中在保留局部运动的同时已经为图像数据校正了无意运动。

图6描绘了根据本发明一个实施例的图像帧的图形化表示。根据一个实施例，图像传感器(例如，图像传感器105)可以提供与超出视频帧尺寸的像素区域关联的附加数据，诸如非可见检测区域或光暗区域，如605所示。根据一个实施例，除了帧的图像数据之外，如610所示，非可见检测区域605的像素数据可以确定全局变换。根据另一实施例，本文所描述的设备和方法可以进一步配置用于考虑对象的复杂运动。如图6中所绘，在校正无意运动期间可以考虑对象615的复杂运动，如方向箭头620和625所示。根据另一实施例，与区域相关的帧的像素数据，如630所示，可以附加地用来检测复杂运动。区域630涉及检测面积的垂直区域。第一图像中与区域630关联的像素数据可以与第二帧的区域630中的像素数据进行比较，以辅助校正无意运动。应当理解，可以类似地采用其他区域或面积。

现在参考图7，其描绘了根据本发明另一实施例的配置用于提供图像数据的实时稳定的设备的简化框图。设备700涉及图1的设备，包括稳定电路，其配置用于确定应用于图像数据的图像稳定变换。因此，设备700中的元件可以与上面结合图1描述的类似地进行操作。设备700包括图像传感器705和耦合到图像传感器105的处理器710。处理器710可以配置用于基于稳定电路715对图像数据应用图像稳定。稳定电路715可以配置用于如本文所描述地确定稳定变换。处理器710可以配置用于经由输出接口720输出稳定化图像数据至存储器725和/或在存储器725上进行存储。在一些实施例中，设备700可以配置用于输出图像数据至可选的存储器730(例如，可移动介质，DVD-r，等等)和/或可选的显示器735。

尽管在附图中描述和示出了某些示例性实施例，但是应当理解，这种实施例仅仅是示意性的，而不是限制宽广的发明，并且本发明不限于所示出和描述的特定结构和布置，因为对于本领域普通技术人员而言可以想到各种其他修改。本文所提及的商标和版权是他们各自所有者的所有权。

Claims (22)

1.一种用于通过成像设备来稳定图像数据的方法，所述方法包括动作：

检测第一帧的图像数据；

检测第二帧的图像数据；

基于所述第一帧和第二帧的图像数据，执行运动估计以确定与所述第一帧的图像数据的全局帧运动关联的一个或多个运动矢量；

执行外点排除函数以选择所述一个或多个运动矢量中的至少一个运动矢量；

至少部分地基于通过所述外点排除函数选择的运动矢量来确定用于所述第一帧的图像数据的全局变换；

通过细化所述全局变换以校正无意的运动来确定用于所述第一帧的图像数据的稳定变换；以及

对所述第一帧的图像数据应用所述稳定变换以稳定所述第一帧的图像数据。

2.如权利要求1所述的方法，其中所述第一帧涉及连续检测的图像帧，在其后检测所述第二帧的图像数据。

3.如权利要求1所述的方法，其中所检测的所述第一帧和第二帧的图像数据涉及通过卷帘快门传感器和全局快门传感器之一检测到的图像数据。

4.如权利要求1所述的方法，其中运动估计涉及图像数据的局部和全局运动的分层特征，其中图像数据针对若干图像数据规模而细化，以选择与所述图像数据的全局运动关联的一个或多个运动矢量。

5.如权利要求1所述的方法，还包括：限制所述运动估计以分析图像数据的选择区域，从而降低处理复杂度和时间。

6.如权利要求1所述的方法，其中所述外点排除函数还包括：执行对帧之间的非全局运动的外点跟踪，以生成指派给所述图像数据的各区域的权重值。

7.如权利要求1所述的方法，其中所述全局变换与用于对图像数据的运动进行分类的一个或多个模型相关联，其中权重被指派给第一图像帧中涉及为该帧的一个或多个区域确定的运动矢量的区域。

8.如权利要求1所述的方法，其中所述图像稳定变换被计算以减少对所述第一帧的不够详细的运动数据和复杂场景运动之一的错误全局变换估计。

9.如权利要求1所述的方法，其中应用所述图像稳定变换包括对像素数据的扭曲变换以独立地调整所述第一帧内的一个或多个像素位置。

10.如权利要求1所述的方法，其中当在所述图像稳定变换期间，确定所述全局变换以及应用前向透镜变形函数时，所述图像稳定变换通过对运动矢量应用逆透镜变形函数来校正透镜变形。

11.如权利要求1所述的方法，其中无意的运动涉及用户对视频成像设备施加的、不希望的运动。

12.一种配置用于稳定图像数据的设备，所述设备包括：

图像传感器，配置用于检测第一帧和第二帧的图像数据；

存储器；以及

耦合到所述存储器和图像传感器的处理器，其中所述处理器配置用于：

执行运动估计以确定与所述第一帧的图像数据的全局帧运动关联的一个或多个运动矢量；

执行外点排除函数以选择所述一个或多个运动矢量中的至少一个运动矢量；

至少部分地基于通过所述外点排除函数选择的运动矢量来确定用于所述第一帧的图像数据的全局变换；

通过细化所述全局变换以校正无意的运动来确定用于所述第一帧的图像数据的稳定变换；以及

对所述第一帧的图像数据应用所述稳定变换以稳定所述第一帧的图像数据。

13.如权利要求12所述的设备，其中所述第一帧涉及连续检测的图像帧，在其后检测所述第二帧的图像数据。

14.如权利要求12所述的设备，其中所述图像传感器涉及卷帘快门传感器和全局快门传感器之一。

15.如权利要求12所述的设备，其中运动估计涉及图像数据的局部和全局运动的分层特征，其中图像数据针对若干图像数据规模而细化以选择与所述图像数据的全局运动关联的一个或多个运动矢量。

16.如权利要求12所述的设备，其中所述处理器进一步配置用于限制所述运动估计以分析图像数据的选择区域，从而降低处理复杂度和时间。

17.如权利要求12所述的设备，其中所述处理器进一步配置用于执行对帧之间的非全局运动的外点跟踪，以生成指派给所述图像数据的各区域的、用于所述外点排除函数的权重值。

18.如权利要求12所述的设备，其中所述全局变换与用于对图像数据的运动进行分类的一个或多个模型相关联，其中权重被指派给第一图像帧中涉及为该帧的一个或多个区域确定的运动矢量的区域。

19.如权利要求12所述的设备，其中所述图像稳定变换被计算以减少对所述第一帧的不够详细的运动数据和复杂场景运动之一的错误全局变换估计。

20.如权利要求12所述的设备，其中所述处理器进一步配置用于通过对像素数据的扭曲变换来应用所述图像稳定变换以独立地调整所述第一帧内的一个或多个像素位置。

21.如权利要求12所述的设备，其中当在所述图像稳定变换期间，确定所述全局变换以及应用前向透镜变形函数时，所述图像稳定变换通过对运动矢量应用逆透镜变形函数来校正透镜变形。

22.如权利要求12所述的设备，其中无意的运动涉及用户对视频成像设备施加的、不希望的运动。

Images