CN101175147A - 使用陀螺数据估计模糊数字图像的点扩散函数 - Google Patents

Abstract

本发明公开了一种用于估计模糊数字图像的点扩散函数的方法。一种示例性方法包括在图像曝光时间期间捕捉陀螺数据，在预定陀螺采样时间从陀螺数据得出陀螺样本，计算图像在每个陀螺采样时间的运动矢量场，通过对该图像中选定像素的运动路径求平均来近似整体图像景物运动路径，以及根据近似的整体图像景物运动路径来估计点扩散函数。

Description

使用陀螺数据估计模糊数字图像的点扩散函数

相关申请的交叉引用

本申请要求2006年11月1日提交的美国临时专利申请序列号60/863,875的优先权，在此将其全部引入本文作为参考。

技术领域

本发明涉及图像处理。更特别的是，本发明的实施例涉及用于减少数字图像中的模糊的方法和系统。

背景技术

诸如数字照相机之类的图像捕捉设备已非常普及，这在某种程度上是由于其制造成本降低、整体质量提高，并且特别是因为照相机功能被嵌入到其它电子消费设备(例如蜂窝电话和个人数字助理(PDA))中。

由于图像捕捉操作过程中出现的不稳定的手移动等而引起的图像模糊对于没有经验的摄影者或者手不稳的用户而言，通常难以避免。图像中的这种模糊由于其难以避免并且有损于图像的感染力，因此令人失望。利用图像捕捉设备中的标准自动曝光功能，通过降低照相机的快门速度来补偿低照度条件，从而延长了曝光时间以便捕捉足够亮的图像。曝光时间的延长增大了在曝光时间期间发生移动的可能性，从而增大了模糊出现的可能性。在图像捕捉过程中已经发生照相机的高速移动，且曝光时间正常的情况下，则会出现相同的状况。

通过测量模糊的程度并且对测得的模糊进行修正而对所捕捉的图像进行后置处理的方法是已知的。然而，在某些条件下-例如造成大范围模糊的低照度和/或超高速的条件-模糊的程度如此严重，以致已知的后置处理方法不能恢复图像。

发明内容

本发明的示例性实施例大体上涉及使用陀螺数据来估计模糊数字图像的点扩散函数(“point spread funcdtion PSF”)的方法。照相机在曝光过程中的移动可以包括复杂的运动。例如，由于照相机绕Z轴的旋转和失真(distortion)，图像景物(scene)的运动在空间上可能是不均匀的。这些复杂的运动会在所生成的数字图像中产生复杂的运动模糊。通过利用PSF卷积的过程能够对数字图像中的运动模糊建模。本文中公开的示例性方法能够比先前已知的方法更加准确地估计或计算PSF。通过提供一种更准确地计算PSF的方法，所生成图像-甚至是具有大范围模糊的图像中的运动模糊能够被更加完全地修正。在一个示例性实施例中，通过对陀螺数据采用高采样率或者使用内插陀螺样本，能够进一步提高PSF的准确性。

在所公开的示例性实施例中，一种用于估计模糊数字图像的点扩散函数的方法包括：在图像曝光时间期间捕捉陀螺数据。然后在预定陀螺采样时间从陀螺数据得出陀螺样本。然后计算图像在每个陀螺采样时间的运动矢量场，并且通过对图像中选定像素的运动路径求平均来近似整体图像景物运动路径。继而能够根据该近似的整体图像景物运动路径来估计/计算点扩散函数(PSF)，然后使用该函数来补偿或者另外修正所生成图像中的模糊。优点在于，即使在其它导致模糊图像的条件下，也能够获得更清楚、更加不模糊的图像。

这里提供此概述的目的是简单地介绍概念的选择，以下在具体实施方式中将对这些概念进行进一步描述。此概述意不在于标识所要求保护的主题的关键特征或者本质特性，也无意用来帮助确定所要求保护的主题的范围。

根据以下说明和所附权利要求，本发明示例性实施例的这些及其他方面将会更加充分明显。

附图说明

图1公开了使用陀螺数据估计模糊数字图像的点扩散函数(PSF)的示例性方法；

图2公开了使用线性内插的陀螺样本提取；

图3公开了投影在图像坐标系中的相对景物运动路径的实例；

图4公开了位于像素之间的运动点的实例。

具体实施方式

示例性实施例大体上涉及使用陀螺数据来估计模糊数字图像的点扩散函数(PSF)的方法。图1公开了用于估计模糊数字图像的PSF的示例性方法100。使用计算机可读媒体(所述计算机可读媒体携带或具有存储在其上的计算机可执行指令或者数据结构)能够实现该示例性方法100及其变体。这种计算机可读媒质可以是能够被通用或专用计算机存取的任何可获得的媒体。例如而非限定的是，这种计算机可读媒体可以包括RAM、ROM、EEPROM、CD-ROM或者其它光盘存储器、磁盘存储器或其它磁性存储设备，或者能够用于以计算机可执行指令或数据结构的形式携带或存储所需的程序代码装置并且能够被通用或专用计算机存取的任意其它媒体。以上所述媒体的组合也应当包含在计算机可读媒体的范围之内。

计算机可执行指令包括例如使得通用计算机、专用计算机或者专用处理设备执行某个功能或者功能组的指令和数据。尽管本文中所述的主题是以方法行为特有的语言描述的，但是应当理解的是所附权利要求中所限定的主题不必限制于本文中所述的行为。更确切地，本文中描述的行为是作为实现权利要求的示例性形式而公开的。

现在将结合图1论述用于估计模糊数字图像的PSF的示例性方法100。在执行方法100之前，使用基于陀螺的数字照相机捕捉模糊数字图像I。基于陀螺的数字照相机可以是配备有一个或多个陀螺(gyro)的数字照相机。

在102，在图像曝光时间期间捕捉陀螺数据。例如，可以使用以上所述的基于陀螺的数字照相机在模糊数字图像I的曝光时间期间捕捉陀螺数据。在一个示例性实施例中，模糊数字图像I的曝光时间被定义为数字照相机的快门打开与关闭(分别称作快门打开时间和快门关闭时间)之间的时间段。然而，还可以使用其它的曝光时间段。

在102捕捉的陀螺数据可以包括数字照相机在恒定时间间隔Δt的角速度。例如，陀螺数据可以包括绕X、Y和Z轴的角速度Gx、Gy和Gz以及每个陀螺样本的时标。每个陀螺样本的时标可以是相对于快门打开时间或者某一其它时间的时间。继而能够相对于快门打开时间或者相对于某一其它时间来计算每个陀螺采样时间的旋转角度。

为了提高PSF的准确度，一些示例性方法可以对在102捕捉的陀螺数据采用高采样率。例如，可以采用大于每秒100个陀螺样本的采样率。其它示例性方法可以采用内插的陀螺样本。例如，通过假设在两个陀螺采样时间之间数字照相机的运动是线性的，能够线性地内插额外的采样时间，以模拟例如每秒10000个陀螺样本的更高采样率。根据所需的准确度，可以采用不同的采样率和/或内插率。

在104，在预定陀螺采样时间从陀螺数据得出陀螺样本。例如，能够从陀螺数据提取快门打开与快门关闭之间的陀螺样本。可以采用线性内插来分别获得快门打开时间和快门关闭时间的陀螺样本。例如，如图2所公开的，陀螺样本的实际采样率会在快门打开时间之前和之后产生陀螺样本，而不在快门打开时间产生陀螺样本。因此，能够采用线性内插以使用紧挨在快门打开时间之前和之后的陀螺样本来计算快门打开时间的陀螺样本。类似的是，能够采用线性内插以使用紧挨在快门关闭时间之前和之后的陀螺样本来计算快门关闭时间的陀螺样本。

在106，计算图像在每个陀螺采样时间的运动矢量场。例如，能够使用在2005年9月25日提交的名称为“METHOD ANDAPPARATUS FOR LIMITING MOTION BLUR IN A DIGITALIMAGE”的共同待决的美国专利申请序列号11/239521中公开的照相机投影模型，根据陀螺数据计算这些运动矢量场，该申请的公开内容被全部引入本文作为参考。在一个示例性实施例中，计算每个陀螺采样时间的运动矢量场包括根据每个陀螺采样时间的角速度来计算自快门打开时间的旋转角度。通过跟踪从每个陀螺采样时间直到快门关闭时间的运动矢量，能够获得图像中选定像素的运动路径。

使用陀螺数据的角速度，能够计算数字照相机在现实坐标系中的位置的序列。继而能够将这些现实位置投影到数字图像I的坐标系上，以便获得由数字图像I表示的景物的相对运动路径。图3中公开了投影到数字图像的坐标系上的相对运动路径的例子。

在108，通过对图像中选定像素的运动路径求平均来近似整体图像景物的运动路径。例如，能够从如下9个选定像素的平均运动路径得出整体图像的近似运动路径，此处H和W分别是模糊数字图像I的高度和宽度：

左上(0，0)	上中(0，W/2)	右上(0，W)
			左中(H/2，0)	中心(H/2，W/2)	右中(H/2，W)
左下(H，0)	下中(H，W/2)	右下(H，W)

由于这9个像素相对于照相机主中心对称，因此在一个示例性实施例中，可以忽略Z轴旋转的影响。在一个示例性实施例中，能够使用这9个选定像素的运动路径的平均来求模糊数字图像I的整体运动模糊路径的近似。

选定像素的运动路径的加权平均能够用于估计整体运动模糊路径。例如，能够根据如下公式计算运动模糊路径：

$\stackrel{\‾}{p}(x,y)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{p}_i(x,y)*w_i$ (等式1)

此处p_i是第i个选定像素的运动路径，w_i是第i个选定像素的权重。就对9个像素的运动路径求平均的情况而言，能够按照如下公式选择权重：

w_i＝1/N，(i＝1…N)，并且N＝9(等式2)

一旦获得图像I的整体运动路径的平均路径，就能够对每个陀螺样本处的命中点(hit)进行计数。因为能够将运动路径计算到子像素的准确度，所以命中点能够按比例地分布到其最接近的4个相邻像素。图4公开了命中(i，j)、(j，j+1)、(i+1，j)和(i+1，j+1)之间的一采样时间的运动路径中的运动点(x，y)。能够根据这4个像素的距离将该命中点分布到这些像素，继而根据如下公式累积概率分布函数：

P(i，j)＝P(i，j)+(j+1-x)*(i+1-y)(等式3)

P(i，j+1)＝P(i，j+1)+(x-j)*(i+1-y)(等式4)

P(i+1，j)＝P(i+1，j)+(j+1-x)*(y-i)(等式5)

P(i+1，j+1)＝P(i+1，j)+(x-j)*(y-i)(等式6)

在110，根据近似的整体图像景物运动路径来估计PSF。例如，能够将图3所公开的离散运动样本转换成连续的PSF。为此，在一个实施例中，能够采用两个约束条件来估计PSF：

i)能量守恒约束：

∫∫h(x，y)＝1以及(等式7)

ii)恒定辐射度约束：

${\∫}_t^{t+\mathrm{\Δt}}h(x\left(t\right),y\left(t\right))\mathrm{dt}=\frac{\mathrm{\Δt}}{t_1-t_0},t\∈[t_0,t_1-\mathrm{\Δt}]$ (等式8)

此处t₀和t₁是曝光时间的开始和结束时间。第二约束条件表明在任意时间间隔积分的能量的量与该间隔的长度成正比。

PSF可以被解释为沿着运动路径行进的点的概率分布函数。以下的伪码公开了一种用于生成PSF的示例性实现方案：

输入：运动模糊路径样本序列，(x_i，y_i)，i＝1，……，N，每一个样本都描述了在内插或者采样的陀螺采样时间投影到图像坐标系中的运动路径上的点。这些点是以恒定时间间隔Δt内插或采样的。

输出：二维点扩散函数(PSF)h(x，y)。

算法：

1)根据内插的运动路径建立PSF，(xp，yp)。

2)得到运动路径的界限。

x_min＝round(min(xp))

x_max＝round(max(xp))

y_min＝round(min(yp))

y_max＝round(max(yp))

3)初始化阵列h(i，j)＝0，i＝[1，...，(xi_max-xi_min+1)]，j＝[1，...，(yi_max-yi_min+1)]。

4)从k＝1到N

xx＝min(max(xp(j)，xi_min)，xi_max)-xi_min+1；

xi＝floor(xx)；

xr＝xx-xi；

yy＝min(max(yp(j)，yi_min)，yi_max)-yi_min+1；

yi＝floor(yy)；

yr＝yy-yi；

h(xi，yi)＝h(xi，yi)+(1-xr)·(1-yr)；

h(xi+1，yi)＝h(xi+1，yi)+xr·(1-yr)；

h(xi，yi+1)＝h(xi，yi+1)+(1-xr)·yr；

h(xi+1，yi+1)＝h(xi+1，yi+1)+xr·yr；

结束该循环。

5)归一化：

$h=\frac{h}{{\mathrm{\Σ}}_x{\mathrm{\Σ}}_{y}h(x,y)}$

一旦清点了运动路径在每个位置的命中点的数量，就能够归一化PSF，从而使PSF的和等于1。

Claims (20)

1.一种用于估计模糊数字图像的点扩散函数的方法，所述方法包括：

在图像曝光时间期间捕捉陀螺数据；

在预定陀螺采样时间从所述陀螺数据得出陀螺样本；

计算图像在每个陀螺采样时间的运动矢量场；

通过对所述图像中选定像素的运动路径求平均来求整体图像景物运动路径的近似；以及

根据近似的整体图像景物运动路径来估计点扩散函数。

2.根据权利要求1所述的方法，其中计算运动矢量场包括在每个陀螺采样时间根据角速度来计算旋转角度。

3.根据权利要求1所述的方法，其中图像曝光时间包括快门打开时间与快门关闭时间之间的时间段。

4.根据权利要求3所述的方法，其中预定陀螺采样时间之一包括快门打开时间。

5.根据权利要求4所述的方法，其中计算图像在快门打开时间的运动矢量场包括对图像在快门打开时间的运动矢量场进行线性内插。

6.根据权利要求3所述的方法，其中预定陀螺采样时间之一包括快门关闭时间。

7.根据权利要求6所述的方法，其中计算图像在快门关闭时间的运动矢量场包括对图像在快门关闭时间的运动矢量场进行线性内插。

8.根据权利要求1所述的方法，其中在图像曝光时间期间捕捉陀螺数据包括捕捉每个陀螺样本的角速度和相对于快门打开时间的时标。

9.根据权利要求1所述的方法，其中计算图像在每个陀螺采样时间的运动矢量场包括：

获得每个陀螺样本的角速度和时标；

计算在相对于快门打开时间的每个陀螺采样时间时旋转的角度；以及

计算图像在每个陀螺采样时间的运动矢量场。

10.根据权利要求1所述的方法，其中通过对图像中选定像素的运动路径求平均来近似整体图像景物运动路径包括：通过对所述图像中以下9个选定像素的运动路径求平均来近似整体图像景物运动路径：左上、上中、右中、左中、中心、右中、左下、下中和右下。

11.其上具有计算机可读指令的一种或多种计算机可读媒体，当所述计算机可读指令被执行时实现用于估计模糊数字图像的点扩散函数的方法，所述方法包括：

在图像曝光时间期间捕捉陀螺数据；

在预定陀螺采样时间从所述陀螺数据得出陀螺样本；

计算图像在每个陀螺采样时间的运动矢量场；

通过对所述图像中选定像素的运动路径求平均来近似整体图像景物运动路径；以及

根据近似的整体图像景物运动路径来估计点扩散函数。

12.根据权利要求11所述的一种或多种计算机可读媒体，其中计算运动矢量场包括根据每个陀螺采样时间的角速度计算旋转角度。

13.根据权利要求11所述的一种或多种计算机可读媒体，其中图像曝光时间包括快门打开时间与快门关闭时间之间的时间段。

14.根据权利要求13所述的一种或多种计算机可读媒体，其中预定陀螺采样时间之一包括快门打开时间。

15.根据权利要求14所述的一种或多种计算机可读媒体，其中计算图像在快门打开时间的运动矢量场包括对图像在快门打开时间的运动矢量场进行线性内插。

16.根据权利要求13所述的一种或多种计算机可读媒体，其中预定陀螺采样时间之一包括快门关闭时间。

17.根据权利要求16所述的一种或多种计算机可读媒体，其中计算图像在快门关闭时间的运动矢量场包括对图像在快门关闭时间的运动矢量场进行线性内插。

18.根据权利要求11所述的一种或多种计算机可读媒体，其中在图像曝光时间期间捕捉陀螺数据包括捕捉每个陀螺样本的角速度和相对于快门打开时间的时标。

19.根据权利要求11所述的一种或多种计算机可读媒体，其中计算图像在每个陀螺采样时间的运动矢量场包括：

获得每个陀螺样本的角速度和时标；

计算在相对于快门打开时间的每个陀螺采样时间时旋转的角度；以及

计算图像在每个陀螺采样时间的运动矢量场。

20.根据权利要求11所述的一种或多种计算机可读媒体，其中通过对图像中选定像素的运动路径求平均来近似整体图像景物运动路径包括：通过对所述图像中以下9个选定像素的运动路径求平均来近似整体图像景物运动路径：左上、上中、右上、左中、中心、右中、左下、下中和右下。

Images