CN104284059A - 用于稳定图像的设备和方法 - Google Patents

Abstract

本发明提供了一种用于稳定图像的设备和方法。一种用于即使当相机抖动时也输出稳定图像的设备和方法。所述方法包括：将第一补偿运动应用于图像，以获得第一稳定图像，其中，将第一运动的累加结果逆变换成第一补偿运动，其中，在从参考图像到任意图像的相邻图像之间估计出第一运动中的每一个；并且获得在参考图像和第一稳定图像之间估计出的第二运动，获得由第一运动的累加结果和第二运动的累加结果逆变换而成的第二补偿运动，将第二补偿运动应用于图像，以获得第二稳定图像。

Description

用于稳定图像的设备和方法

本申请要求于2013年7月12日提交到韩国知识产权局的第10-2013-0082470号韩国专利申请的利益，该申请的公开通过引用全部合并于此。

技术领域

与示例性实施例一致的设备和方法涉及提供一种用于即使当相机抖动时也稳定地输出图像的设备和方法。

背景技术

随着多媒体装置的使用已经增加，对针对在各种环境中捕捉到的数字图像的图像增强技术的需求也已经增加。图像增强技术的示例包括广泛应用于拍摄设备（诸如，数字相机、智能电话、家用相机或摄像机、工业监控相机、广播用相机、军用相机等）的图像稳定技术、图像模糊的消除和噪音消除。最初，拍摄设备将模拟信号数字化，以形成数字图像。然而，现有技术中最近使用的拍摄设备应用了各种类型的线性处理和后处理校正技术，以获得具有比模拟图像更好的图像质量的数字图像。

在数字图像校正技术之中，图像稳定技术是使用最普遍的技术。如果用户在拍摄设备移动时捕捉图像，则发生拍摄设备的抖动。此外，由于诸如机械振动、与地面的摩擦等的多个环境因素，因此安装在诸如汽车、飞机、直升机等的运输工具上的相机不由自主地抖动。在相机小幅移动的情况下，如果当捕捉图像时相机正使用高放大率，则屏幕的抖动变得更加严重。如上所述，如果当捕捉图像时拍摄设备抖动，则图像稳定技术通过消除捕捉到的图像中所发生的不受期望的抖动而获得清晰图像。

数字图像稳定技术用于通过输入图像信号的帧之间的运动估计来检测不受期望的抖动，并从帧存储器或电荷耦合器件（CCD）读取运动已经得到补偿的图像数据，以便校正抖动。数字图像稳定技术比机械方法更便宜、更准确，并且能够针对无法通过机械稳定技术补偿的各种运动进行补偿。因此，在现有技术中，数字图像稳定技术已经得到积极的研究。

发明内容

示例性实施例至少解决以上问题和/或缺点以及以上未描述的其它缺点。此外，示例性实施例不需要克服上述缺点，并且示例性实施例可不克服任何上述问题。

一个或更多个示例性实施例提供了一种用于消除在图像稳定处理后剩余的漂移误差的设备和方法，以减少图像劣化。

附加的方面部分将在下面的描述中被阐述，部分将从所述描述中变得清楚，或者可通过实践示例性实施例而学到。

根据示例性实施例的方面，提供了一种方法，所述方法包括：将第一补偿运动应用于图像，以获得第一稳定图像，其中，将第一运动的累加结果逆变换成第一补偿运动，其中，在从参考图像到任意图像的相邻图像之间估计出第一运动中的每一个；并且获得在参考图像和第一稳定图像之间估计出的第二运动，获得由第一运动的累加结果和第二运动的累加结果逆变换而成的第二补偿运动，将第二补偿运动应用于图像，以获得第二稳定图像。

第一稳定图像可包括针对第一运动的漂移误差。

第二稳定图像可以是已经由第二补偿运动从中消除了漂移误差的图像。

获得第一补偿运动的步骤可包括：从相邻图像的第一图像提取特性点；在相邻图像的第二图像内追踪特性点，以获得与特性点相应的相应点；通过使用相应点来估计第一运动中的一个第一运动作为第二图像针对第一图像的运动；并且获得由第一运动中的所述一个第一运动和其它第一运动逆变换而成的第一补偿运动。

提取特性点的步骤可包括：缩小第一图像，并且获得边缘图像；并且响应于在边缘图像的任意块中存在的边缘的数量超出阈值，提取所述任意块作为多个特性点中的一个特性点。

估计第一运动的步骤可包括：估计包括相应点的移动、旋转、大小改变的第一运动。

获得第二运动的步骤可包括：从参考图像提取特性点；在第一稳定图像内追踪特性点，以获得与特性点相应的相应点；并且通过使用相应点来估计第二运动作为第一稳定图像针对参考图像的运动。

提取特性点的步骤可包括：缩小参考图像，并且获得边缘图像；并且响应于在边缘图像的任意块内存在的边缘的数量超出阈值，提取所述任意块作为多个特性点中的一个特性点。

获得第二运动的步骤可包括：获得包括相应点的移动、旋转、大小改变的第二运动。

根据另一示例性实施例的方面，提供一种用于稳定图像的设备，所述设备包括：第一稳定图像获取器，被配置为累加第一运动，并且将累加结果作为第一补偿运动应用于图像，以获得第一稳定图像，其中，在从参考图像到任意图像的相邻图像之间估计出第一运动中的每一个；第二稳定图像获取器，被配置为获得在参考图像和第一稳定图像之间估计出的第二运动，并且将由第一运动的累加结果和第二运动的累加结果逆变换而成的第二补偿运动应用于图像，以获得第二稳定图像。

第一稳定图像可包括针对第一运动的漂移误差，并且第二稳定图像可以是已经由第二补偿运动从中消除了漂移误差的图像。

第一稳定图像获取器可包括：第一补偿运动获取器，被配置为获得由第一运动的累加结果逆变换而成的第一补偿运动；第一稳定图像输出器，被配置为将第一补偿运动应用于图像，以输出第一稳定图像。

第一补偿运动获取器还可被配置为：从相邻图像的第一图像提取特性点，在相邻图像的第二图像内追踪特性点，以获得与特性点相应的相应点，通过使用相应点来估计第一运动中的一个第一运动作为第二图像针对第一图像的运动，并且获得由第一运动中的所述一个第一运动和其它第一运动逆变换而成的第一补偿运动。

第二稳定图像获取器可包括：第二运动获取器，被配置为获得在参考图像和第一稳定图像之间估计出的第二运动；第二补偿运动获取器，被配置为获得由第一运动的累加结果和第二运动的累加结果逆变换而成的第二补偿运动；第二稳定图像输出器，被配置为将第二补偿运动应用于图像，以输出第二稳定图像。

第二运动获取器还可被配置为：从参考图像提取特性点，在第一稳定图像内追踪特性点，以获得与特性点相应的相应点，并且通过使用相应点来估计第二运动作为第一稳定图像针对参考图像的运动。

第二运动获取器还可被配置为：缩小参考图像，获得边缘图像，并且响应于在边缘图像的任意块内存在的边缘的数量超出阈值，提取所述任意块作为多个特性点中的一个特性点。

第二运动获取器还可被配置为：获得包括相应点的移动、旋转、大小改变的第二运动。

根据另一示例性实施例的方面，提供了一种非暂时性计算机可读记录介质，所述介质具有记录在其上的当由计算机运行时执行一种稳定图像的方法的程序，其中，所述方法包括：获得由第一运动的累计结果逆变换而成的第一补偿运动，其中，在从参考图像到任意图像的相邻图像之间估计出第一运动中的每一个；将第一补偿运动应用于图像，以获得第一稳定图像；获得在参考图像和第一稳定图像之间估计出的第二运动；获得由第一运动的累加结果和第二运动的累加结果逆变换而成的第二补偿运动；将第二补偿运动应用于图像，以获得第二稳定图像。

附图说明

通过下面结合附图的对示例性实施例的描述，本发明的以上和/或其它方面将变得更清楚和更容易理解，其中：

图1是示出根据示例性实施例的用于稳定图像的设备的结构的框图；

图2是示出根据示例性实施例的用于稳定图像的图像帧的示图；

图3（A）至（D）是示出提取特征点的处理的图像；

图4（A）和（B）是示出获得相应点的处理的图像；

图5（A）和（B）是示出估计运动的处理的示图；

图6是根据示例性实施例的稳定图像的方法的流程图。

具体实施方式

在下文中，将参照附图来详细描述特定示例性实施例。附图中的相似的标号始终指示相似的元件。

虽然示例性实施例能够具有各种修改和替代形式，但是示例性实施例以附图中的示例的方式示出，并且将在此被详细描述。然而，应该理解的是，并不意在将实施例限制为公开的特定形式，而是恰恰相反，实施例将涵盖落入本发明构思的范围内的所有修改、等同物和替代物。

将理解的是，尽管可在此使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或区间，但是这些元件、组件、区域、层和/或区间不应该受这些术语限制。仅使用这些术语来区分一个元件、组件、区域、层或区间与另一元件、组件、区域、层或区间。在此使用的术语的仅仅是为了描述特定示例性实施例的目的，而并非意在限制示例性实施例。除非上下文清楚地另有指示，否则在此使用的单数形式意在还包括复数形式。还将理解的是，当在此说明书中使用术语“包括”和/或“包括……的”时，所述术语指定声明的特征、整体、步骤、操作、元件和/或组件的存在，但并不排除存在或添加一个或更多个其它特征、整体、步骤、操作、元件、组件和/或上述项的组合。当在此使用时，术语“和/或”包括相关联的列表项中的一个或更多个的任何和所有组合。

示例性实施例可被实现为功能块结构和各种处理操作。这些功能块可被实现为各种数量的执行特定功能的硬件和/或软件结构。例如，示例性实施例可使用可通过控制一个或更多个微处理器或其它控制设备来执行各种功能的直接电路结构（诸如，存储器、处理、逻辑、查询表等）。示例性实施例的相似的元件可作为软件程序或软件元件被执行。示例性实施例可被实现为包括各种算法的程序或者脚本语言（诸如，C、C++、汇编语言等），其中，通过数据结构、处理、例程或其它编程结构的组合来实现所述各种算法。功能方面可被实现为由一个或更多个处理器执行的算法。此外，示例性实施例可使用现有技术来执行电子环境设置、信号处理和/或数据处理等。诸如机械结构、元件、部件或结构的术语可广泛使用，并且不限于机械或物理结构。所述术语可包括一系列与处理器相关的软件的例程等。

当稳定图像时，静态相机计算参考图像和当前抖动图像之间的运动，并且在与运动相反的方向上变换当前图像，以获得稳定的图像。在此，稳定图像的性能完全取决于计算参考图像和当前图像之间的运动的结果。此外，在变换图像后，还可执行图像增强。

稳定图像的性能取决于参考图像和当前图像之间的运动的计算的准确性。计算参考图像和当前图像之间的运动的方法被分类为两种方法。在第一方法中，直接计算参考图像和当前图像之间的运动。换言之，从参考图像中提取特性点，从当前图像追踪与特性点相应的相应点，或者通过匹配检测所述相应点，并且通过使用相应点来计算参考图像和当前图像之间的运动。在此，运动指平移、旋转、缩放等。

在第二方法中，计算并且如以下的等式1中那样累加相邻图像（第n-1图像和第n图像）之间的运动（帧间运动）以计算参考图像（第0图像）和当前图像（第n图像）之间的运动

$M_0^n=M_{n-1}^n\·M_0^{n-1}=\underset{1}{\overset{n}{\mathrm{\Π}}}{M}_{n-1}^n....\left(1\right)$

在此，通过使用与第一方法相同的方法来计算相邻图像之间的运动。从先前图像提取特性点，从当前图像追踪与特性点相应的相应点，或者通过匹配检测所述相应点，并且计算两个相邻图像之间的运动

根据第一方法，如果参考图像和当前图像之间发生大抖动，则特性点的追踪失败，并且因此运动估计失败。此外，由于参考图像和当前图像之间的图像信息差异（诸如，亮度）随时间推移而增加，因此难以成功追踪相应点。

为了解决这些问题，相关领域中的多个研究者使用一种计算相邻图像之间运动并且如以上的等式1中那样累加所述运动的方法。总体而言，相邻图像的运动小，并且相邻图像的图像信息相似。因此，易于从相邻图像追踪特性点。然而，由于在所有图像帧中累加相邻运动以计算参考图像和当前图像之间的运动因此可能无法从运动消除漂移误差，并且图像稳定失败的概率随时间推移而增加。所述问题发生在基于运动估计的图像稳定技术和所有类型的图像处理技术中。因此，在示例性实施例中，通过参照图1至图6描述的图像稳定来消除漂移误差，以减少图像劣化并且增加图像稳定成功率。

图1是示出根据示例性实施例的用于稳定图像的设备10的结构的框图。

参照图1，设备10包括相机100、图像处理器200、第一稳定图像获取器300和第二稳定图像获取器400。

相机100指通过使用互补金属氧化物半导体（CMOS）模块或电荷耦合器件（CCD）模块来捕捉对象的左相机或右相机。对象的第一图像和第二图像（或运动图像）通过镜头被提供给CMOS模块或CCD模块，并且CMOS模块或CCD模块将通过镜头的对象的光信号转换为电信号（拍摄信号），并且输出所述电信号。相机100可以是热成像相机。热成像相机是通过从对象发射出的辐射能来检测对象和对象的背景之间的温差，并且将所述温差转换为电信号以形成图像的相机。

图像处理器200减少从相机100输出的图像信号的噪声，并且针对图像信号执行诸如伽马校正、滤色阵列插值、色彩矩阵、色彩校正、色彩增强等的图像信号处理。

图像处理器200还可压缩通过用于图像增强的图像信号处理产生的图像数据以产生图像文件，并且可从图像文件恢复图像数据。图像的压缩格式可以是无损压缩格式或有损压缩格式。

图像处理器200可执行色彩处理、模糊处理、边缘增强处理、图像分析处理、图像识别处理、图像效果处理等。图像处理器200还可执行人脸识别、场景识别等作为图像识别处理。例如，图像处理器200可执行亮度水平调整、色彩校正、对比度调整、轮廓增强调整、屏幕分割处理、字符图像的产生、图像的合成等。

第一稳定图像获取器300通过使用从图像处理器200输出的图像（即，如图2中所示，从参考图像（第0图像）到当前图像（第n图像）的多个图像的相邻图像）来获得第一稳定图像。第一稳定图像获取器300累加在从参考图像（第0图像）到任意图像（第n图像，即，当前图像）的相邻图像之间估计出的第一运动，并且将累加结果应用于具有已经经历逆变换的第一补偿运动的任意图像（第n图像，即，当前图像），以获得针对参考图像（第0图像）的当前图像的第一稳定图像。

第一稳定图像获取器300包括第一补偿运动获取器310和第一稳定图像输出器320。

现在将详细描述第一补偿运动获取器310的操作。第一补偿运动获取器310从相邻图像的第一图像（图2的第n-1图像，即，先前图像）提取特性点，并且在相邻图像的第二图像（图2的第n图像，即，当前图像）内追踪特性点，以获得与特性点相应的相应点。第一补偿运动获取器310通过使用以上的等式1来估计第二图像针对第一图像的运动，也就是说，通过相应点针对特性点的运动来估计第一运动，并且获得其它第一运动的累加结果转换而成的第一补偿运动，其中，在从第一运动和参考图像（第0图像）到先前图像（第n-1图像）的相邻图像之间估计所述其它第一运动。

图3（A）至（D）是示出通过第一补偿运动获取器310从相邻图像的第一图像（第n-1图像，即，先前图像）提取特征点的处理的示图。图3（A）示出第一图像（第n-1图像，即，先前图像），图3（B）示出第一图像（第n-1图像，即，先前图像）的缩小图像，并且图3（C）示出缩小的第一图像（第n-1图像，即，先前图像）的边缘图像。如果在任意块（例如，3×3块的边缘图像）中存在的边缘的数量超出阈值，则第一补偿运动获取器310可提取相应块作为特性点。在此，第一补偿运动获取器310可调整块的宽度和高度来改变阈值，以便消除在具有追踪特性点的高失败概率的边缘上存在的特性点，并且选择位于边缘之间的交叉点上或位于角落上的特性点。图3（D）示出如果在边缘图像的块中存在的边缘的数量超出阈值则提取的特性点。

如果如上所述从边缘图像完全提取特性点，则第一补偿运动获取器310追踪在相邻图像的第二图像（第n图像，即，当前图像）中提取的特性点，以获得与特性点相应的相应点。这可被称为用于从第二图像（第n图像，即，当前图像）检测第一图像（第n-1图像，即，先前图像）的特性点的位置的操作。第一补偿运动获取器310可通过使用Kanade-Lucas-Tomasi（KLT）追踪算法、泰勒展开和海森矩阵来获得相应点。图4（A）和（B）是示出因在第二图像（第n图像，即，当前图像）中追踪第一图像（第n-1图像，即，先前图像）特性点的位置而产生的相应点。

如果完全获得相应点，则第一补偿运动获取器310追踪第一运动作为第二图像（第n图像，即，当前图像）针对第一图像（第n-1图像，即，先前图像）的运动，并且获得第一补偿运动作为累加第一运动和其它第一运动的结果，其中，在从参考图像（第0图像）到先前图像（第n-1图像）的相邻图像之间估计所述其它第一运动。

第一补偿运动获取器310使用运动模型来估计第一运动。根据图像或相机运动，图像稳定可被分类为二维（2D）图像稳定或三维（3D）图像稳定。如图5（A）中所示，2D图像稳定可基于参考方形模型a-1使用平移运动模型a-2、欧氏运动模型a-3、相似性运动模型a-4等。在2D图像稳定中，估计出的图像运动被立即用于图像转换，并且因此结构相对简单，并且处理速度快。用于2D图像稳定的运动模型可根据相机的抖动的类型而变化。

如果相机仅在x轴和y轴方向上抖动，则仅使用平移运动模型a-2。如果发生滚动旋转（z轴旋转），则平移运动模型a-2扩展至欧氏运动模型a-3。如果相机前后移动或者诸如缩放的图像大小改变，则运动模型a-2扩展至相似性运动模型a-4。在发生深度改变的环境中，仿射运动模型（未示出）或投影运动模型（未示出）具有高性能。然而，可发生可能不是因相机的真实运动而产生的诸如剪切现象的图像失真，并且因此性能会劣化。因此，在根据本示例性实施例的图像稳定中，如图5（B）中所示，相似性运动模型a-4用于处理在x轴和y轴方向上的抖动、滚动旋转、图像大小改变。

如图5（B）中所示，如果从第一图像（第n-1图像，即，先前图像）和第二图像（第n图像，即，当前图像）获得的相应点分别是X_n-1=(x_n-1,_yn-1)和X_n=(x_n,y_n)，则所述相应点之间的关系可如以下的等式2中那样被表示为相似性运动：

$s\left[\begin{array}{cc}\cos \mathrm{\θ}& -\sin \mathrm{\θ}\\ \sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}{x}_{n-1}\\ y_{n-1}\end{array}\right]+\left[\begin{array}{c}{T}_x\\ T_y\end{array}\right]=\left[\begin{array}{c}{x}_n\\ y_n\end{array}\right]...\left(2\right)$

其中，S、θ、T_x和T_y分别表示图像大小改变、滚动旋转以及在x轴和y轴方向上的移动。由第一补偿运动获取器310执行的运动估计可以是相应点之间的运动参数S、θ、T_x和T_y的计算。如果在以上的等式2中以Scosθ=a和Ssinθ=b替代S和θ，则获得以下的等式3：

$\left\{\begin{array}{c}{x_{n-1}}^{\′}a-{y_{n-1}}^{\′}b+T_x=x_n\\ {x_{n-1}}^{\′}a+{y_{n-1}}^{\′}b+T_y=y_n\end{array}\right.....\left(3\right)$

如以上的等式3中那样，两个等式形成一对相应点，其中，存在与相似性运动模型的运动参数相应的四个未知值。因此，如果两对相应点是未知的，则可如以下的等式4中那样计算运动参数。

$\begin{array}{c}\left[\begin{array}{cccc}{x}_{n-\mathrm{1,1}}& -y_{n-\mathrm{1,1}}& 1& 0\\ x_{n-\mathrm{1,1}}& y_{n-\mathrm{1,1}}& 0& 1\\ x_{n-\mathrm{1,2}}& -y_{n-\mathrm{1,2}}& 1& 0\\ x_{n-\mathrm{1,2}}& y_{n-\mathrm{1,2}}& 0& 1\end{array}\right]\left[\begin{array}{c}a\\ b\\ T_x\\ T_y\end{array}\right]=\left[\begin{array}{c}{x}_{n,1}\\ y_{n,1}\\ x_{n,2}\\ y_{n,2}\end{array}\right]\\ \left[\begin{array}{c}a\\ b\\ T_x\\ T_y\end{array}\right]={\left[\begin{array}{cccc}{x}_{n-\mathrm{1,1}}& -y_{n-\mathrm{1,1}}& 1& 0\\ x_{n-\mathrm{1,1}}& y_{n-\mathrm{1,1}}& 0& 1\\ x_{n-\mathrm{1,2}}& -y_{n-\mathrm{1,2}}& 1& 0\\ x_{n-\mathrm{1,2}}& y_{n-\mathrm{1,2}}& 0& 1\end{array}\right]}^{-1}\left[\begin{array}{c}{x}_{n,1}\\ y_{n,1}\\ x_{n,2}\\ y_{n,2}\end{array}\right]\end{array}....\left(4\right)$

在通过追踪或匹配特性点而检测出的相应点之中，可能存在与相应点准确匹配的内围层（inlier）点和与相应点匹配错误的外露层（outlier）点。如果外露层点被用于计算运动参数S、θ、T_x和T_y，则计算出不准确的运动参数S、θ、T_x和T_y。为了解决该问题，通常使用随机采样一致性（RANSAC）算法。即使外围点的比率高，为了稳定地计算S、θ、T_x和T_y，在本示例性实施例的图像稳定中，现有RANSAC算法被修改为自适应RANSAC算法，以自适应地改变区分内围层点和外露层点的阈值。例如，如果内围层点的比率低于预定比率，则可减小阈值。

根据上述方法，可如以下的等式5中那样获得第二图像（第n图像，即，当前图像）针对第一图像（第n-1图像，即，先前图像）的运动（即，第一运动）。

${\tilde{M}}_{n-1}^n=\left[\begin{array}{ccc}a& -b& T_x\\ b& a& T_y\\ 0& 0& 1\end{array}\right]....\left(5\right)$

如以下的等式6中那样，可通过使用在以上的等式5中计算出的第一运动来获得第二图像（第n图像，即，当前图像）针对第一图像（第n-1图像，即先前图像）的第一补偿运动

${\tilde{M}}_c={\left({\tilde{M}}_{n-1}^n\right)}^{-1}$

${\tilde{M}}_c=\left[\begin{array}{ccc}{a}_n& -b_n& T_{\mathrm{xn}}\\ b_n& a_n& T_{\mathrm{yn}}\\ 0& 0& 1\end{array}\right]....\left(6\right)$

以上已经描述了图像稳定的第一方法，所述第一方法用于计算第二图像（第n图像，即，当前图像）针对第一图像（第n-1图像，即，先前图像）的第一运动并且计算由第一运动逆变换而成的第一补偿运动在图像稳定的第二方法中，通过使用累加来计算从参考图像（第0图像）到第二图像（第n图像，即，当前图像）的第一运动和第一补偿运动在本示例性实施例中，使用以上的等式1来应用第二方法。

因此，第一补偿运动获取器310累加第二图像（第n图像，即，当前图像）针对第一图像（第n-1图像，即，先前图像）的第一运动和从参考图像（第0图像）到第一图像（第n-1图像，即，先前图像）的其它第一运动和以计算第一运动累加结果并且计算由第一运动结果逆变换而成的第一补偿运动

第一稳定图像输出器320将第一补偿运动应用于第二图像（第n图像，即，当前图像），以输出第一稳定图像。

从稳定图像获取器300输出的第一稳定图像可被称为包括漂移误差的伪稳定图像，这是因为累加从参考图像（第0图像）到第二图像（第n图像，即，当前图像）的相邻图像之间的运动，以计算第一运动累加结果因此，漂移误差可从在相邻图像之间估计出的运动消除并且还可被累加，这增加稳定图像的过程中的失败概率。在第一补偿运动获取器310和第一稳定图像输出器320中显示的所有的运动包括漂移误差。

通过第一稳定图像获取器300获得的第一稳定图像与参考图像（第0图像）非常相似。尽管在第一稳定图像和参考图像（第0图像）之间存在运动，但是所述运动是非常微小的运动。尽管由于漂移误差而在第一稳定图像和参考图像（第0图像）之间存在不匹配，但是运动是微小的。因此，可以简单地通过追踪来获得第一稳定图像和参考图像（第0图像）之间的相应点，并且可通过使用相应点来计算第一稳定图像和参考图像（第0图像）之间的运动。最终从所述步骤输出的第二稳定图像是已经消除了目前为止累加的漂移误差的稳定图像。

第二稳定图像获取器400获得在第一稳定图像和参考图像（第0图像）之间估计的第二运动，并且将已经由第一补偿运动的累加结果和第二运动的累加结果逆变换而成的第二补偿运动应用于第二图像（第n图像），以获得已经消除了漂移误差的第二稳定图像。

第二稳定图像获取器400包括第二运动获取器410、第二补偿运动获取器420和第二稳定图像输出器430。

第二运动获取器410获得在参考图像（第0图像）和从第一稳定图像获取器300输出的第一稳定图像之间估计出的第二运动M_refine。第二运动获取器410从参考图像（第0图像）提取特性点，并且在第一稳定图像内追踪特性点，以获得与特性点相应的相应点。以上已经公开了参考图像（第0图像）的特性点的估计和参考图像（第0图像）和第一稳定图像之间的相应点的获取的描述，并且因此可在此省略所述描述。

如果完全获得相应点，则第二运动获取器410估计第二运动作为第一稳定图像针对参考图像（第0图像）的运动。如上所述，第二运动获取器410通过使用相似性运动模型来估计其运动参数S、θ、T_x和T_y已经被计算出的第二运动M_refine。在此，估计出的第二运动M_refine等于漂移误差的量。

第二补偿运动获取器420获得已经由第一运动累加结果和第二运动M_refine累加结果逆变换而成的第二补偿运动

如果第一稳定图像（伪稳定图像）的像素坐标被表示为x_{psudo_stable(n)}，并且与像素坐标x_{psudo_stable(n)}相应的不稳定图像的像素坐标被表示为x_unstable(n)，则获得以下的等式7。

$x_{\mathrm{psudo}\_\mathrm{stable}\left(n\right)}={\tilde{M}}_0^n\·x_{\mathrm{unstable}\left(n\right)}....\left(7\right)$

为了消除在第一稳定图像中存在的漂移误差，可如以下的等式8中那样计算参考图像（第0图像）和第一稳定图像之间的第二运动。

x_reference(0)=M_refine·x_{psudo_stable(n)}   ....(8)

将等式7代入等式8，以获得不稳定图像x_unstable(n)针对参考图像（第0图像x_reference(0)）的运动，并且因此获得以下的等式9。

$x_{\mathrm{reference}\left(0\right)}=M_{\mathrm{refine}}\·{\tilde{M}}_0^n\·x_{\mathrm{unstable}\left(n\right)}....\left(9\right)$

如以下的等式10中那样计算不稳定图像x_unstable(n)针对参考图像（第0图像x_reference(0)）的运动

因此，获得由第一运动累加结果和第二运动累加结果M_refine逆变换而成的第二补偿运动在此，还未被逆变换的第二补偿运动是已经消除了第一稳定图像的漂移误差的针对参考图像的运动。

第二稳定图像输出器430将第二补偿运动M_c应用于第一稳定图像，以最终输出第二稳定图像。

可如上述那样执行第二图像稳定处理，以消除在第一图像稳定处理后剩余的漂移误差，以便减少稳定图像的过程中的失败，并且减少图像劣化。

现在将参照图6来描述根据示例性实施例的稳定图像的方法。可由图1中所示的设备10执行所述方法。在此省略与图1至图5的描述相同的描述。

参照图6，在操作S100中，设备10获得已经由第一运动累加结果逆变换而成的第一补偿运动其中，在从参考图像（第0图像）到任意图像（第n图像，即，当前图像）的相邻图像之间估计出所述第一运动累加结果。

设备10从相邻图像的第一图像（第n-1图像，即，先前图像）提取特性点，并且在相邻图像的第二图像（第n图像，即，当前图像）内追踪特性点，以获得与特性点相应的相应点。设备10估计第二图像（第n图像，即，当前图像）针对第一图像（第n-1图像，即，先前图像）的运动（即，第一运动）作为相应点针对特性点的运动。设备10还获得已经由第一运动的累加结果逆变换而成的第一补偿运动和另一第一运动其中，在从参考图像（第0图像）到第一图像（第n-1图像，即，先前图像）的相邻图像之间估计出所述另一第一运动。

在操作S200中，设备10将第一补偿运动应用于第二图像（第n图像，即，当前图像），以获得第一稳定图像。

由于下面的原因，第一稳定图像可被称为包括漂移误差的伪稳定图像：累加从参考图像（第0图像）到第二图像（第n图像，即，当前图像）的相邻图像之间的运动，以计算第一运动因此，漂移误差可从在相邻图像之间估计出的运动消除并且还可被累加，这增加稳定图像的过程中的失败概率。因此，执行用于消除这样的漂移误差的操作。

如果获得第一稳定图像，则在操作S300中，设备10获得在参考图像（第0图像）和第一稳定图像之间估计出的第二运动M_refine。

设备10从参考图像（第0图像）提取特性点，并且在第一稳定图像内追踪特性点，以获得与特性点相应的相应点。如果完全获得相应点，则设备10估计第二运动M_refine作为第一稳定图像针对参考图像（第0图像）的运动。如上所述，设备10通过使用相似性运动模型来估计其运动参数S、θ、T_x和T_y已经被计算出第二运动M_refine。在此，第二运动M_refine等于漂移误差的量。

如果完全获得第二运动M_refine，则在操作S400中，设备100获得已经由第一运动累加结果和第二运动M_refine累加结果逆变换而成的第二补偿运动在此，还未被逆变换的第二补偿运动是已经消除了第一稳定图像的漂移误差的针对参考图像的运动。

如果完成获得第二补偿运动M_c，则在操作S500中，设备10将第二补偿运动M_c应用于第一稳定图像，以最终输出已经消除了漂移误差的第二稳定图像。

如上所述，根据示例性实施例，通过第二图像稳定处理来消除在第一图像稳定处理后剩余的偏移误差，以减少稳定图像过程中的失败，并且减少图像劣化。

示例性实施例还可被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储随后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘、光数据存储装置等。计算机可读记录介质还可分布在网络连接的计算机系统上，以便以分布式方式存储和执行计算机可读代码。此外，用于实现示例性实施例的功能程序、代码和代码段可被示例性实施例所属领域的程序员容易地理解。

虽然已经具体地示出和描述了示例性实施例，但是本领域的普通技术人员将理解的是，在不脱离由权利要求所定义的本发明构思的精神和范围的情况下，可做出形式和细节上的各种改变。

Claims (17)

1.一种稳定图像的方法，所述方法包括：

将第一补偿运动应用于图像，以获得第一稳定图像，其中，将第一运动的累加结果逆变换成第一补偿运动，其中，在从参考图像到任意图像的相邻图像之间估计出第一运动中的每一个；

获得在参考图像和第一稳定图像之间估计出的第二运动，获得由第一运动的累加结果和第二运动的累加结果逆变换而成的第二补偿运动，将第二补偿运动应用于图像，以获得第二稳定图像。

2.如权利要求1所述的方法，其中，第一稳定图像包括针对第一运动的漂移误差。

3.如权利要求2所述的方法，其中，第二稳定图像是已经由第二补偿运动从中消除了漂移误差的图像。

4.如权利要求1所述的方法，其中，获得第一补偿运动的步骤包括：

从相邻图像的第一图像提取特性点；

在相邻图像的第二图像内追踪特性点，以获得与特性点相应的相应点；

通过使用相应点来估计第一运动中的一个第一运动作为第二图像针对第一图像的运动；

获得由第一运动中的所述一个第一运动和其它第一运动逆变换而成的第一补偿运动。

5.如权利要求4所述的方法，其中，提取特性点的步骤包括：

缩小第一图像，并且获得边缘图像；

响应于在边缘图像的任意块中存在的边缘的数量超出阈值，提取所述任意块作为多个特性点中的一个特性点。

6.如权利要求4所述的方法，其中，估计第一运动的步骤包括：估计包括相应点的移动、旋转、大小改变的第一运动。

7.如权利要求1所述的方法，其中，获得第二运动的步骤包括：

从参考图像提取特性点；

在第一稳定图像内追踪特性点，以获得与特性点相应的相应点；

通过使用相应点来估计第二运动作为第一稳定图像针对参考图像的运动。

8.如权利要求7所述的方法，其中，提取特性点的步骤包括：

缩小参考图像，并且获得边缘图像；

响应于在边缘图像的任意块内存在的边缘的数量超出阈值，提取所述任意块作为多个特性点中的一个特性点。

9.如权利要求7所述的方法，其中，获得第二运动的步骤包括：获得包括相应点的移动、旋转、大小改变的第二运动。

10.一种用于稳定图像的设备，所述设备包括：

第一稳定图像获取器，被配置为累加第一运动，并且将累加结果作为第一补偿运动应用于图像，以获得第一稳定图像，其中，在从参考图像到任意图像的相邻图像之间估计出第一运动中的每一个；

第二稳定图像获取器，被配置为获得在参考图像和第一稳定图像之间估计出的第二运动，并且将由第一运动的累加结果和第二运动的累加结果逆变换而成的第二补偿运动应用于图像，以获得第二稳定图像。

11.如权利要求10所述的设备，其中，第一稳定图像包括针对第一运动的漂移误差，并且第二稳定图像是已经由第二补偿运动从中消除了漂移误差的图像。

12.如权利要求10所述的设备，其中，第一稳定图像获取器包括：

第一补偿运动获取器，被配置为获得由第一运动的累加结果逆变换而成的第一补偿运动；

第一稳定图像输出器，被配置为将第一补偿运动应用于图像，以输出第一稳定图像。

13.如权利要求12所述的设备，其中，第一补偿运动获取器还被配置为：从相邻图像的第一图像提取特性点，在相邻图像的第二图像内追踪特性点，以获得与特性点相应的相应点，通过使用相应点来估计第一运动中的一个第一运动作为第二图像针对第一图像的运动，并且获得由第一运动中的所述一个第一运动和其它第一运动逆变换而成的第一补偿运动。

14.如权利要求10所述的设备，其中，第二稳定图像获取器包括：

第二运动获取器，被配置为获得在参考图像和第一稳定图像之间估计出的第二运动；

第二补偿运动获取器，被配置为获得由第一运动的累加结果和第二运动的累加结果逆变换而成的第二补偿运动；

第二稳定图像输出器，被配置为将第二补偿运动应用于图像，以输出第二稳定图像。

15.如权利要求14所述的方法，其中，第二运动获取器还被配置为：从参考图像提取特性点，在第一稳定图像内追踪特性点，以获得与特性点相应的相应点，并且通过使用相应点来估计第二运动作为第一稳定图像针对参考图像的运动。

16.如权利要求15所述的方法，其中，第二运动获取器还被配置为：缩小参考图像，获得边缘图像，并且响应于在边缘图像的任意块内存在的边缘的数量超出阈值，提取所述任意块作为多个特性点中的一个特性点。

17.如权利要求15所述的方法，其中，第二运动获取器还被配置为：获得包括相应点的移动、旋转、大小改变的第二运动。