CN101305396A

CN101305396A - 用于去除运动模糊效应的方法和装置

Info

Publication number: CN101305396A
Application number: CNA2006800253475A
Authority: CN
Inventors: 让·戈贝尔
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Top Top Technology Hongkong Co ltd
Priority date: 2005-07-12
Filing date: 2006-07-03
Publication date: 2008-11-12
Anticipated expiration: 2026-07-03
Also published as: JP2009501473A; US20100119171A1; CN101305396B; WO2007007225A2; WO2007007225A3; JP4500875B2; EP1991957A2; US8559751B2

Abstract

本发明提供一种用于通过使用从紧跟在要校正的图像被捕获之前所捕获的图像序列中提取的运动信息来去除数字图像的运动模糊效应的改进的方法和装置。具体地说，本发明包括估计(56)先前图像序列的运动信息并根据运动估计技术对它们进行分析然后根据所述运动估计外推(58)将要校正的图像的运动以便去除(62)所期望捕获的图像中的运动模糊效应。因此可以执行本发明的方法的各种类型的装置将能够显示(64)没有模糊的数字图像。

Description

用于去除运动模糊效应的方法和装置

技术领域

本发明涉及运动模糊的检测和去除，具体地说，本发明涉及一种用于运动校正和产生无运动模糊的图像的方法和装置。

背景技术

数字摄影已经越来越引人注意和流行。对于业余摄影师来说尤其如此。还发现数字摄影越来越多的用在商业和贸易中。能够将数字图像加入电子文件中的即时转变和简单性已经使数字图像技术成为记录图像的最理想的形式之一。

传统市场已经销售许多具有内置模糊校正功能的手持装置(例如数字式摄像机等)，其能够防止由模糊(例如在图像拍摄期间由用户所引起的相机震动)所引起的对拍摄图像的不利影响。同样，在快速移动物体的图像拍摄期间在手持装置上拍摄的图像可能会由于不必要的震动而引起″运动模糊″。对于曝光时间有可能相当长的静止图像以及对于难以稳定地进行图像拍摄的轻型手持装置(例如移动电话照相机)来说尤其如此。

典型地，已经应用各种模糊校正技术来抵消运动模糊对拍摄图像的不利影响。例如，US 2004/0130628 A1披露了这样一种方法，其中数字图像的拍摄被延迟，直到数字照相机的运动满足一种特定的运动标准。依据这种方法，分析所述运动因数并延迟图像的拍摄，直到通过跟踪方法和用来延迟图像拍摄的控制逻辑检测到没有进一步的运动。然而，一旦拍摄了图像，则不再对拍摄的图像执行进一步的运动处理或分析。

另外，其它模糊校正功能可被分成两类。第一，在机械和光学校正系统中，通过机械传感器(加速度计)来捕获像集(image set)的运动，并通过光学装置(例如形变棱镜)进行补偿以使得所述图像在所述传感器上保持稳定。例如，诸如振动陀螺仪的传感器对运动进行检测并根据检测结果改变可变顶角棱镜的顶角或者偏移图像感测透镜的一部分，由此防止图像感测表面上的捕获图像变得模糊。

其次，在数字图像处理校正系统中，通过对图像进行静态分析来估计导致模糊的运动、然后应用校正以对其进行补偿的方法，来对所述捕获的图像进行″脱机″处理。换句话说，根据相机震动来改变将在显示器上显示的通过图像感测器件(诸如CCD)感测的图像的部分，从而在显示器上显示没有模糊的图像。

然而，这些传统的模糊去除技术由于种种因素常常不令人满意。虽然机械和光学校正系统能给出优秀的结果，但由于将它们集成到手持装置中所需的高成本使得它们主要用在高端装置上。此外它们的尺寸使它们不适于装配到愈来愈小的手持装置中。另一个限制是它们只能补偿相机运动，而不能对图像去模糊以补偿运动物体的模糊效应。

类似地，数字图像处理校正方法的质量有限，因为图像恢复对于运动的精确模型是非常敏感的。首先，运动信息在处理时是不可用的，并且可以通过静态图像分析来执行的运动估计是困难且不稳定的。尤其是，该系统受限于对象运动涉及任意方向的全局平移的情况，即不必平行于所述图像的水平或者垂直轴之一的情况。此外，该系统在运动不是全局平移但是还包括旋转的情况下、以及运动不是均匀的而是图像的一些区域具有不同的特定运动的情形下也执行不好。

因此，期望实现一种主要用于对通过手持装置(例如摄像机、移动电话摄像头等)获得的运动图像的模糊进行校正的改进的数字运动模糊去除方法和一种相应的装置，其能避免上述的问题并且可以低廉简单地实现。

发明内容

因此，本发明的目的是提供一种通过使用从就在将要被校正的图像被捕获之前捕获图像序列所提取的运动信息中去除与图像或者画面的不稳定捕获有关的运动模糊来生成并显示没有模糊的数字图像的改进的方法和装置。具体地说，本发明包括估计先前图像序列的运动信息，使用运动估计技术对它们进行分析，然后根据所述运动估计信息外推将要被校正的图像的运动。

具体地说，本发明提供一种对进行运动校正的数字图像去除运动模糊效应的方法，其中所述方法包括步骤：(a)从在捕获所述数字图像之前捕获的图像序列中提取运动信息；(b)提取捕获数字图像的开始时间和结束时间的定时信息；(c)通过根据运动估计技术使用所述提取的运动信息和定时信息对图像执行图像分析来产生用于所述图像序列的估计运动信息；(d)使用所述估计的运动信息来外推在捕获所述数字图像的开始时间和结束时间之间的时间间隔中数字图像的运动信息；以及(e)使用所述外推的运动信息补偿数字图像的运动以去除数字图像的模糊效应。

还可以包括下面的一个或者多个特征。

在本发明的一个方面中，产生估计运动信息的步骤包括为所述图像的每个像素或者像素块提供估计运动矢量。

在另一个方面中，所述方法还包括使用全局运动估计模型来提供估计运动矢量。而且，从一个图像至下一个图像使用全局运动估计模型的步骤包括：将图像细分成块，对每个块应用块匹配算法，以及产生与块的数量相同的运动矢量。

在又一个方面中，所述方法还包括关于块运动矢量使用一个中值滤波器和导出一个全局运动矢量。

此外，所述方法还可以包括产生对应于水平(dx)运动平移和垂直(dy)运动平移的运动矢量，以及产生对应于运动的旋转平移的运动矢量。

此外，产生估计运动信息的步骤可以包括为每个运动矢量计算一个逼近时间函数，并且使得图像序列(n-1)的估计偏移的误差判据最小化。

本发明还涉及一种被配置用于对受到运动校正的数字图像去除模糊效应的装置，其中所述装置包括适于从在捕获所述数字图像之前捕获的图像序列中提取运动信息的图像传感器；适于提取图像捕获的开始时间和结束时间的定时信息的捕获模块；适于使用所提取的运动信息和定时信息根据运动估计技术执行逐图像分析来产生图像序列的估计运动信息的运动估计器；适于使用所述估计的运动信息估计所述数字图像在图像捕获的开始时间和结束时间之间的时间间隔中的运动信息的运动外推器；和被配置用于通过使用所述外推的运动信息补偿所述数字图像的运动以去除所述数字图像的模糊效应的运动去模糊模块。

所述方法和装置的其它特征还被列举在从属权利要求中。

本发明的更进一步的目的和优点对于读取和理解了下面的附图和优选实施例的详细说明的本领域普通技术人员来说将变得显而易见。本领域技术人员就会意识到，本发明可采用各种形式，并且可以包括各种部件和步骤及其布置。

因此，本发明的这些和其它方面通过在下面说明中所述的实施例、附图和从权利要求将变得显而易见并将参照所述实施例对其进行说明和所述附图是对于阐释本发明优选实施例的目的并不被理解为限制本发明。

附图说明

图1为根据本发明实施例的用于运动模糊去除的改进方法的实施方案的示意图；和

图2为使用图1的方法的装置的示意功能和方框图。

具体实施方式

本发明在于通过从就在将要被校正的图像被拍摄之前捕获的图像序列中提取的运动信息来帮助数字运动模糊去除。

图1表示拍摄图像的时序图10。在第一横轴14(时间T)上的预览格12中，捕获紧靠在将要对运动模糊进行校正的图像n之前的图像0至n-1(捕获步骤11)。换句话说，例如，当用户使用手持相机装置照相时，在用户按下″拍照片″动作按钮之前，所述装置连续地分析可以在所述手持相机装置的取景器屏幕上预览的图像序列。第一横轴14上的预览格12表示这些预览图像。

在所述预览格12图像序列期间，分析从每个图像到其下一个图像的运动，所述分析步骤13例如是基于对相机运动进行建模的全局运动估计技术。另一种方案是，可通过运动场技术来执行所述分析，所述运动场技术对图像的各种区域的运动能够进行更精确地建模。

在所述时序图10中，根据从图像至图像的全局平移对预览格12图像的运动进行分析。在横轴16和18中，平移矢量的水平和垂直分量HC和VC的渐进变化被分别表示为曲线20和22。所述平移矢量的水平和垂直分量的渐进变化被累加，并且相对于所述第一图像的最终偏移被画在所述图像的底部的两个曲线上。从一个图像至下一个图像的全局运动估计技术可以通过将所述图像细分成块并对每个像素块使用块匹配算法、产生与块同样多的运动矢量来执行。那么就能使用关于所有块运动矢量的中值滤波来得出全局运动矢量。

仍然参考图1，一旦用户捕获所述图像(周期11)并″拍摄所述图像″，有关图像捕获开始24和图像捕获结束26的定时信息将被系统提供给″运动外推器″27。″运动外推器″执行的外推27对在所述分析步骤13获得的信息以及所述图像捕获开始24和图像捕获结束26的定时信息进行处理，并且提供在所述最终图像的捕获开始24和结束26之间的时间间隔中的运动估计。这在横轴16和18中分别被表示为虚曲线28和30。

在所述时序图10上所示的特定实施例中，这将产生运动矢量分量dx 32和运动矢量分量dy 34，这提供了从图像捕获的开始24到结束26之间的平移。用于产生这种外推的技术可对所述矢量的每个坐标计算一个逼近函数，使得对所述预览序列的估计偏移的误差判据(一般为线性最小平方)最小化。在所述图像捕获的开始24和结束26处计算所述函数的值，并且它们的差将提供外推运动矢量分量dx32和dy 34。

然后将所述外推运动信息提供给能够通过图像分析选择性地消除所述运动的运动去模糊装置。这能产生比根据静态图片分析的常规方法所获得的模型更加可靠的运动模型。另外，该运动模型用于确定对捕获图像进行校正的参数，其可使用已知的去卷积技术。可实现的用于去卷积的典型参数集是点分布函数(PSF)，其表示图像上单一像素的模糊效果。

图2为表示本发明的运动模糊去除方法和装置的功能部件的示图。首先，图像传感器50将聚焦在所述传感器上的由手持装置捕获的光学图像转换成电信号。对先前的图像执行分析52并捕获期望的图像(54)。当今大多数成像系统和图像检测装置(例如摄像机和数码相机)使用电荷耦合器件(CCD)图像传感器。CCD图像传感器在现有技术中是公知的，此处将不对其进行说明。另外，CMOS技术提供了在相同的芯片上集成图像感测功能和数字信号处理功能的可能性，从而能够产生更快速的、较小的、价格低廉、和更低功耗的图像感测装置。

随后，运动估计器56接收预览图像的图像像素IP并提供用于每个像素的估计运动矢量。换句话说，运动估计器56估计在所捕获图像的捕获周期之前的n-1个画面/图像帧的运动。如上所述，可以使用运动估计技术的若干个改进变体：(1)全局运动模型，其给出了一个参数集，例如平移、缩放旋转值，它们对于整个图像是唯一的；所述全局运动模型可用来推导图像每个像素的运动矢量；(2)基于块的运动模型，其用于提供类似图像的每个块的平移等参数，所述基于块的运动模型可用来推导所述块中每个像素的运动矢量；或者(3)像素流技术，其明确地提供每个像素的估计运动。这些不同类型的运动估计技术之间的差别是它们从运动估计器56发送给用于对运动估计器56的结果进行处理的功能模块(即，运动外推器58)的信息(预览的运动MP)量不同。然而所得结果均是每个像素的运动矢量，这与在所述装置中执行何种运动估计技术无关。

而且，根据所使用的改进的运动估计技术，可以改进运动估计的品质。这种改进例如可包括除了上述一般方法之外的快速检索算法或者有效计算方案。这些方法在编码技术中是公知的。

因此，运动估计器56将预览图像的运动估计信息MP提供给运动外推器58。接着，所述运动外推器58对所述运动估计信息连同与图像捕获开始24和图像捕获结束26的定时信息(图1)相关的由捕获模块60提供的定时信息T一起处理。然后运动外推器58将所述外推的运动信息EMI提供给图像去模糊模块62，所述图像去模糊模块62使用所述外推的运动信息对捕获的图像信息(即，图像像素IMP)进行分析和处理以补偿所述捕获图像的运动并产生期望的去模糊图像或者画面(64)。可在所述显示模块64的输出端处获得所述去模糊的图像。

另外，例如可在PC上执行本发明以进行脱机运动补偿或者恢复。在脱机恢复情况中，运动估计信息或者数据必须附加于将要进行运动恢复或者校正的图像。另外，除了手提式照相机装置之外，还可将本发明集成到摄像机装置中。在手持视频设备的情况中，应注意的特定特征是：因为捕获时间受到帧周期的限制，所以可采用根据在所校正的帧之前捕获的若干个帧的滑动窗口进行分析所得到的运动来对每个帧应用运动去除和校正。同样，各式各样的手持或者小型便携式装置都能集成本发明的方法和装置。即，数字照相机、带有照相机传感器的USB钥、带有照相机传感器的移动式电话、录像摄像机，它们包括集成到这些类型的流行消费类装置中的各种用于图像处理的集成电路。

虽然已经图示和说明了目前被看作本发明优选实施例的内容，但本领域普通技术人员应该理解在不脱离本发明范围的情况下可以做出各种其它修改和可以代替等效内容。

另外，在不脱离此处说明的核心发明构思的情况下可以做出许多修改以使得特定的情形可以适用本发明。此外，本发明的实施例可以不包括上述的全部特征。因此，本发明并不局限于所披露的特定实施例，而是包括符合权利要求及其等同物范围的所有实施例。

Claims

1.一种对进行运动校正的数字图像(n)去除运动模糊效应的方法，其中所述方法包括步骤：

-从紧跟在数字图像(n)捕获之前所捕获的图像序列(n-1)中提取运动信息；

-提取捕获数字图像(n)的开始时间和结束时间的定时信息；

-通过根据运动估计技术使用所述提取的运动信息和定时信息对图像执行图像分析来产生所述图像序列(n-1)的估计运动信息；

-使用所述估计运动信息来外推在捕获所述数字图像的开始时间和结束时间之间的时间间隔中数字图像的运动信息；以及

-通过根据所述外推的运动信息补偿所述数字图像的运动来去除所述数字图像的运动模糊效应。

2.根据权利要求1所述的方法，其中产生估计运动信息的步骤包括为所述图像的每个像素或像素块提供估计运动矢量。

3.根据权利要求2所述的方法，其中产生估计运动信息的步骤包括使用全局运动估计模型来提供估计运动矢量。

4.根据权利要求3所述的方法，其中在所述图像序列中从一个图像至下一个图像使用所述全局运动估计模型的步骤包括：将图像细分成块，对每个块应用块匹配算法，以及产生与块的数量相同的运动矢量。

5.根据权利要求4所述的方法，还包括对块运动矢量应用中值滤波器，以及从所述中值滤波器导出全局运动矢量。

6.根据权利要求2所述的方法，其中产生估计运动信息的步骤包括使用基于块的运动模型来提供估计运动矢量。

7.根据权利要求2所述的方法，其中产生估计运动信息的步骤包括使用像素流模型来提供估计运动矢量。

8.根据前述任何一个权利要求所述的方法，其中产生估计运动信息的步骤包括产生对应于水平(dx)运动平移和垂直(dy)运动平移的运动矢量。

9.根据前述任何一个权利要求所述的方法，其中产生估计运动信息的步骤包括产生对应于旋转运动平移的运动矢量。

10.根据权利要求2到9中的任何一项所述的方法，其中产生估计运动信息的步骤包括为每个运动矢量计算一个逼近时间函数，并且使得图像序列(n-1)的估计偏差的误差判据最小化。

11.一种用于对进行运动校正的数字图像(n)去除运动模糊效应的装置，其中所述装置包括：

-适于从紧跟在数字图像(n)的捕获之前所捕获的图像序列(n-1)中提取运动信息的图像传感器；

-适于提取图像捕获的开始时间和结束时间的定时信息的捕获模块；

-适于使用所提取的运动信息和定时信息根据运动估计技术执行逐图像分析来产生图像序列(n-1)的估计运动信息的运动估计器；

-适于使用所述估计运动信息估计在图像捕获的开始时间和结束时间之间的时间间隔中所述数字图像的运动信息的运动外推器；以及

-被配置用于通过使用所述外推的运动信息补偿数字图像的运动以去除数字图像的模糊效应的运动去模糊模块。

12.根据权利要求11所述的装置，其中所述运动估计器使用全局运动估计模型来为图像的每个像素提供估计运动矢量。

13.根据权利要求11所述的装置，其中所述运动估计器使用基于块的运动模型来提供估计运动矢量。

14.根据权利要求11所述的装置，其中所述运动估计器使用像素流模型来提供估计运动矢量。

15.一种与权利要求10到13中的任何一项所述的装置相关的计算机可读介质，在其上存储有指令序列，当所述指令序列被所述装置的微处理器执行时，所述指令序列命令所述处理器：

从紧跟在数字图像(n)捕获之前所捕获的图像序列(n-1)提取运动信息；

提取图像捕获的开始时间和结束时间的定时信息；

通过使用所述提取的运动信息和定时信息根据运动估计技术执行逐图像分析来产生所述图像序列(n-1)的估计运动信息；

使用所估计的运动信息外推所述数字图像在捕获数字图像的开始时间和结束时间之间的时间间隔中的运动信息；以及

通过使用所述外推的运动信息补偿数字图像的运动来去除数字图像的模糊效应。