CN102082914A - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置及图像处理方法。输入当获得拍摄图像时的曝光条件。输入当获得所述拍摄图像时的抖动信息。基于所述曝光条件以及包括由所述抖动信息获得的非整数的权重值，生成要用来校正所述拍摄图像的模糊的滤波器。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置及图像处理方法。

背景技术

近年来，摄像设备的分辨率及变焦比的提高，带来了由图像拍摄时的摄像机抖动引起的拍摄图像模糊的问题，并且常规化地导致了具有摄像机抖动校正功能的摄像设备的广泛使用。这种具有摄像机抖动校正功能的摄像设备，通常使用这样的光学摄像机抖动校正方案，即使用被构造为检测由摄像机抖动生成的平移矢量的传感器，以及被构造为控制镜头和图像传感器的相对位置以抵消摄像机抖动的驱动设备，来对摄像机抖动进行光学校正。

另一方面，也已经研讨了通过图像处理来校正摄像机抖动的方法。为了对一个模糊图像校正摄像机抖动，已知有这样的方法，即将由摄像机抖动导致的图像劣化的过程解释为滤波器的卷积，基于摄像机抖动的速度来计算滤波器，并且通过解卷积来去除摄像机抖动(日本专利特开2006-279807及2004-205799号公报)。

一般来说，抖动滤波器的频率特性具有在一定频率降低为零的性质。这导致了频率特性变为零处的频率的信息被丢失的问题。为了防止这种情况，已经提出了这样的技术，即通过在获取图像时的曝光期间随机地开/闭快门，并且使用快门开/闭信息执行解卷积运算，来校正摄像机抖动或被摄体模糊(日本专利特开2008-310797号公报)。该技术称为“编码曝光(coded exposure)”。使用良好的编码曝光图案，能够防止抖动滤波器的频率特性降低为零，并且能够实现抖动校正。

然而，日本专利特开2006-279807及2004-205799号公报中公开的方法具有以下问题。首先，日本专利特开2006-279807及2004-205799号公报中公开的方法，未控制诸如快门开/闭等的曝光条件。由于这一原因，在特定频率，抖动滤波器的频率特性降低为零(以下将该现象称为“零功率频率”)，并且，无法进行简单的解卷积。为了避免该问题，日本专利特开2006-279807号公报使用了伪逆矩阵，日本专利特开2004-205799号公报使用了Wiener滤波器。然而，在上述两者之中的任一情况下，都无法恢复已出现零功率频率处的频率信息。

另一方面，如同日本专利特开2006-279807及2004-205799号公报中一样，日本专利特开2008-310797号公报的方法使用编码曝光来避免零功率频率的问题。然而，该方法不适用于非匀速运动的摄像机抖动。

发明内容

本发明是在考虑到上述各问题的情况下做出的，并且提供这样的技术：通过甚至由一个图像来校正模糊，并且更特别的是校正非匀速运动的摄像机抖动，也能够获得精确的图像。

根据本发明的第一方面，提供一种图像处理装置，该图像处理装置包括：曝光条件输入单元，其输入当获得拍摄图像时的曝光条件；抖动信息输入单元，其输入当获得所述拍摄图像时的抖动信息；以及滤波器生成单元，其基于所述曝光条件以及包括由所述抖动信息获得的非整数的权重值，生成要用来校正所述拍摄图像的模糊的滤波器。

根据本发明的第二方面，提供一种图像处理方法，该图像处理方法包括以下步骤：输入当获得拍摄图像时的曝光条件；输入当获得所述拍摄图像时的抖动信息；以及基于所述曝光条件以及包括由所述抖动信息获得的非整数的权重值，来生成要用来校正所述拍摄图像的模糊的滤波器。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出校正单元100的功能结构的示例的框图；

图2是要由校正单元100执行的处理的流程图；

图3A示出了周期插值核(kernel)的示例的图；

图3B是滤波器计算的概念图；

图4是例示滤波器系数计算单元105的操作的流程图；

图5A是示出普通曝光条件的示例的图；

图5B是示出滤波器频率特性的图；

图6A是示出曝光条件控制的示例的图；

图6B是示出滤波器频率特性的图；

图7A及图7B是示出第一实施例的效果的图；

图8是示出根据第二实施例的摄像系统的框图；

图9是示出根据第三实施例的摄像系统的框图；

图10是示出根据第四实施例的图像处理装置的框图；

图11是第四实施例的概念图；

图12A至图12C是第五实施例的概念图；以及

图13是示出根据第六实施例的图像文件格式的图。

具体实施方式

现在，将参照附图来描述本发明的实施例。请注意，下述实施例是本发明的具体实施的示例，并且是在所要求保护的范围中定义的结构的具体示例中的一者。

[第一实施例]

<实施例的图像处理装置的结构>

在该实施例中，将描述用于由一个图像来校正模糊的图像处理装置。请注意，在该实施例中，摄像机抖动局限于平移抖动。首先，将参照图1，来说明在根据本实施例的图像处理装置中配备的校正单元100的功能结构的示例。如上所述，校正单元100执行由一个图像来校正作为平移抖动的摄像机抖动的处理。

使用摄像设备来拍摄摄像数据(拍摄图像的数据)，以将拍摄的摄像数据输入至输入端子101。在随后的阶段，图像数据被输入至解卷积单元106。抖动矢量记录单元102经由输入端子107，来接收由根据实施例的图像处理装置的另一组件测量的抖动矢量信息，并且记录接收到的抖动矢量信息。

曝光条件记录单元103经由输入端子108，来接收由根据实施例的图像处理装置的另一组件获取到的“代表图像拍摄时的曝光条件的信息(曝光条件信息)”。“曝光条件”表示在各时刻相对于快门全开状态下的曝光量“1”的曝光量。曝光条件记录单元103记录接收到的曝光条件信息。

插值核DB(数据库)104存储(保持)计算非整数像素的像素值所必需的插值核函数的值。滤波器系数计算单元105使用记录在抖动矢量记录单元102中的抖动矢量信息、记录在曝光条件记录单元103中的曝光条件信息、以及存储在插值核DB 104中的值，来计算抖动滤波器系数。

解卷积单元106通过使用由滤波器系数计算单元105计算出的滤波器系数的滤波器，来对经由输入端子101输入的图像数据执行解卷积处理，从而生成模糊得到校正的图像数据。将模糊已被解卷积单元106校正的图像数据作为模糊校正后的数据，经由输出端子109输出到实施例的图像处理装置的存储器或显示设备。

<要由校正单元100执行的处理>

接下来，将参照图2，来描述要由校正单元100执行的处理。在步骤S201中，解卷积单元106经由输入端子101获取摄像数据。

在步骤S202中，曝光条件记录单元103在图像拍摄期间的各时刻，经由输入端子108来获取代表曝光条件的曝光条件信息，并且记录获取到的曝光条件信息。

在步骤S203中，抖动矢量记录单元102在图像拍摄期间的各时刻，经由输入端子107来获取抖动矢量信息，并且记录获取到的抖动矢量信息。

在步骤S204中，滤波器系数计算单元105使用记录在抖动矢量记录单元102中的抖动矢量信息、记录在曝光条件记录单元103中的曝光条件信息、以及存储在插值核DB 104中的值，来计算抖动滤波器系数。后面将详细描述滤波器系数计算单元105的操作。

在步骤S205中，解卷积单元106通过使用在步骤S204中由滤波器系数计算单元105计算出的滤波器系数的滤波器，来对在步骤S201中获取到的摄像数据执行解卷积处理。通过该处理，生成模糊得到校正的图像数据。

在步骤S206中，解卷积单元106将模糊得到校正的图像数据作为模糊校正后的数据，经由输出端子109输出到实施例的图像处理装置的存储器或显示设备。

<滤波器系数计算单元105的操作>

对于平移抖动运动，设t为时间，s(t)为图像在时刻t时的平移抖动矢量，x(t)为表示图像在时刻t时的位置的二维矢量。则下式成立：

x(t)＝x(0)+s(t)                        …(1)

将图像拍摄开始的时刻t定义为0。设I为时刻t＝0时的无模糊图像，I(m)为图像I中的坐标(坐标矢量)m处的像素值。“在时刻t位于图像中的坐标m处的像素”在时刻t＝0时的坐标矢量m(0)，基于等式(1)通过m(0)＝m-s(t)给出。假设坐标矢量m的x和y分量均具有整数值。也就是说，坐标矢量m代表格点的坐标值。通过对像素值I(m-s(t))进行从t＝0到曝光时间T的积分，来获得对由坐标矢量m代表的坐标位置有贡献的像素值。因此，平移抖动给出如下：

$I_{\mathrm{blur}}\left(m\right)=\frac{1}{T}{\&Integral;}_0^{T}h\left(t\right)I(m-s\left(t\right))\mathrm{dt}\&CenterDot;\&CenterDot;\&CenterDot;\left(2\right)$

其中，h(t)是用于确定曝光条件的函数，其中所述曝光条件代表编码曝光的曝光条件。后面将进行详细描述。Iblur是由于平移运动而变模糊的图像。为了应对非整数平移抖动，引入了周期插值核

以通过下式来定义非整数像素的像素值：

其中，Z是整数的集合，Z/NZ是集合[0，1，2，…，N-1]的符号表达式。在这种情况下，0和N被认为是同样的。等式(3)与普通插值表达式的区别仅在于条件“周期”。周期插值核的“周期”的意思是指满足以下条件：

其中，M和N是图像的水平和垂直大小。也就是说，一个图像中的各像素位置和各像素位置之间的插值核值是规定好的。后面将描述为什么插值核是周期的。下面，将参照图3A，来描述一维线性插值的周期插值核。在图3A中，横轴代表坐标，纵轴代表插值核值。由于插值核是周期的，因此，x＝N附近的图线与x＝0附近的相匹配。不仅可以使用线性插值的插值核，而且可以使用例如双三次插值(bicubic interpolation)的任意插值核。当将等式(3)代入等式(2)时，我们获得下式：

在等式(5)中，滤波器K的定义如下：

在这种情况下，等式(5)可以改写为：

$I_{\mathrm{blur}}\left(m\right)=\underset{n\&Element;Z/\mathrm{NZ}\&times;Z/\mathrm{MZ}}{\mathrm{\&Sigma;}}I\left(n\right)K(m-n)\&CenterDot;\&CenterDot;\&CenterDot;\left(7\right)$

也就是说，表达式返回到循环卷积的形式。周期插值核用来获得等式(7)中的循环卷积的形式。根据等式(6)，可以基于平移轨迹s(t)及曝光条件h(t)的信息，来获得滤波器K。因此，通过滤波器K进行解卷积，使得可以使用等式(7)来由Iblur获得I。在这种情况下，使用任意的现有算法作为解卷积算法。示例有频率空间上的相除、Lucy-Richardson算法、使用Wiener滤波器的算法，以及使用通过MAP进行的迭代的算法。也就是说，如果能够进行解卷积，则任何其他算法均是可用的。在这里，将特别描述通过频率空间上的相除进行的解卷积。

等式(7)的傅里叶(Fourier)变换产生下式：

F[I_blur](u)＝F[I](u)F[K](u)

其中，F[]代表Fourier变换，u是频率空间上的变量。当将等式的两边均除以F[K]来进行逆Fourier变换时，我们获得下式：

$I\left(m\right)=F^{-1}\left[\frac{F\left[I_{\mathrm{blur}}\right]\left(u\right)}{F\left[K\right]\left(u\right)}\right]$

其中，F^-1[]代表逆Fourier变换。由该等式可以获得模糊校正后的图像I。

以上描述了滤波器系数计算单元105的操作原理。

<滤波器系数计算单元105的处理过程>

这里，将描述等式(6)的计算过程。为方便描述，下面将考查一维处理。图3B是用于说明当插值核表示线性插值时等式(6)的意义的概念图。为方便描述，图3B假设不是摄像机而是被摄体移动的情况。然而，即使对于摄像机抖动而言，该概念也是相同的。假设被摄体表现为当0≤t≤2时s(t)＝0.3t、当2≤t≤4时s(t)＝0.5t-0.4的非匀速运动。用h(t)＝0来代表快门关闭状态，用h(t)＝1来代表快门打开状态。I(n)是无模糊图像，Iblur(n)是图像拍摄之后的获取到的图像，h(t)是曝光条件。参照图3B，在各I(n)下添加的数字，代表像素位置x＝0处的像素值I(0)对像素位置x＝n处的像素值Iblur(0)的贡献度。

首先，将考查像素位置x＝0处的I(0)对Iblur(0)的贡献。从图3B中可以看到，在t＝0处，I(0)和Iblur(0)处于相同位置，贡献度是1。在t＝1处，由于I(0)向右移动0.3个像素，因此，贡献度是0.7。类似地，贡献度在t＝2处改变为0.4，然后改变为0。考虑曝光条件，依照等式(6)通过下式计算像素位置x＝0处的滤波器值：

TK(0)＝h(0)φ(0-0.3×0)+h(1)φ(0-0.3×1)

      +h(2)φ(0-0.3×2)

      +h(3)φ(0-(0.5×3-0.4))

      +h(4)φ(0-(0.5×4-0.4))

     ＝1×1+0×0.7+1×0.4

      +1×0+0×0＝1.4            …(8)

也就是说，在等式(8)中，获得在曝光时间中的各时刻t时I(0)在Iblur(0)上的交叠比率，并且将获得的比率乘以h(t)。将在曝光时间中的各个时刻t获得的相乘结果(比率与h(t)的相乘结果)的和，定义为针对Iblur(0)的滤波器的滤波器值TK(0)。使用图3A中所示的周期插值核计算出值由等式(8)得到，滤波器K(0)＝1.4/T＝1.4/5。

接下来，将考查I(0)对Iblur(1)的贡献。从图3B中可以看到，由于I(0)和Iblur(1)完全不交叠，因此，在t＝0处贡献度是0。然后，I(0)的贡献度在t＝1处仅是0.3，在t＝2处是0.6，在t＝3处是0.9，在t＝4处是0.4。考虑曝光条件，依照等式(6)通过下式计算像素位置x＝1处的滤波器值：

TK(1)＝h(0)φ(1-0.3×0)+h(1)φ(1-0.3×1)

      +h(2)φ(1-0.3×2)

      +h(3)φ(1-(0.5×3-0.4))

      +h(4)φ(1-(0.5×4-0.4))

      ＝1×0+0×0.3+1×0.6

      +1×0.9×0×0.4＝1.5        …(9)

也就是说，在等式(9)中，获得在曝光时间中的各时刻t时I(0)在Iblur(1)上的交叠比率，并且将获得的比率乘以h(t)。将在曝光时间中的各个时刻t获得的相乘结果(比率与h(t)的相乘结果)的和，定义为针对Iblur(1)的滤波器的滤波器值TK(1)。因此，滤波器K(1)＝1.5/T＝1.5/5。

最后，将考查I(0)对Iblur(2)的贡献。从图3B中可以看到，在t＝0处贡献度是0。在t＝1及t＝2处，贡献度同样是0。然后，图像的贡献度在t＝3处为0.1，在t＝4处为0.6。考虑曝光条件，通过下式来计算像素位置x＝2处的滤波器值：

TK(2)＝h(0)φ(2-0.3×0)+h(1)φ(2-0.3×1)

      +h(2)φ(2-0.3×2)

      +h(3)φ(2-(0.5×3-0.4))

      +h(4)φ(2-(0.5×4-0.4))

      ＝1×0+0×0+1×0+1×0.1

      +0×0.6＝0.1                …(10)

也就是说，在等式(10)中，获得在曝光时间中的各时刻t时I(0)在Iblur(2)上的交叠比率，并且将获得的比率乘以h(t)。将在曝光时间中的各个时刻t获得的相乘结果(比率与h(t)的相乘结果)的和，定义为针对Iblur(2)的滤波器的滤波器值TK(2)。因此，滤波器K(2)＝0.1/T＝0.1/5。当n≥3时，I(0)对Iblur(n)无贡献。因此，K(n)＝0。在这种情况下，滤波器K可以通过滤波器K＝[1.4，1.5，0.1]/5获得。以上描述了计算滤波器K的过程。

下面，将参照图4的流程图，来描述要由滤波器系数计算单元105执行的处理。图4主要例示了计算等式(6)的过程。为简单起见，将说明向右(正)方向的一维平移的示例。在这种情况下，代表关注像素的坐标的坐标矢量m也是一维的，并且实际上可以作为标量来处理。滤波器系数计算单元105以预定时间间隔Δt，分别从曝光条件记录单元103和抖动矢量记录单元102来获取曝光条件信息和抖动矢量信息。

在步骤S501中，将关注像素的坐标m、K(m)及时刻t全部初始化为0。在步骤S502中，从抖动矢量记录单元102获取时刻t时的抖动矢量信息(抖动矢量)s(t)。在步骤S503中，计算m与s(t)之间的差值x。在步骤S504中，从插值核DB 104中，读出与差值x(＝m-s(t))相对应的插值核值φ(x)。

插值核DB 104存储(x，φ(x))的集合，φ(x)具体具有图3A中所示的形状。在步骤S505中，从曝光条件记录单元103，获取时刻t时的曝光条件信息(曝光条件)h(t)。用针对时刻t的诸如[1，0，1，1，0，…]等的数组，来代表曝光条件h(t)。

在步骤S506中，将在步骤S504中获取到的插值核值φ(x)，乘以在步骤S505中获取到的曝光条件信息h(t)。将乘积乘以时间间隔Δt，然后与K(m)相加。

在步骤S507中，通过加上Δt来更新时刻t。在步骤S508中，确定是否t＜T。如果t＜T，则处理返回到步骤S502。如果t≥T，则处理进入到步骤S509。

在步骤S509中，通过加上1来更新m，并且，将相应的滤波器值K(m)及时刻t初始化为0。在步骤S510中，确定是否m＜S。如果m＜S，则处理返回到步骤S502。如果m≥S，则处理结束。S是滤波器大小。

如果滤波器大小S与普通平移的像素数基本相同，则S通常就足够了。然而，作为防备措施，可以将滤波器大小S设置得更大。在上述示例中，因为仅考虑了向右(正)方向的平移，所以在步骤S501中，关注像素m的值从0开始。一般而言，如果向左(负)方向也发生平移，则m可以从负值开始。因为周期条件，负像素值m被解释为-1＝M-1，-2＝M-2，…，其中M是图像大小。

请注意，为方便描述，用一维矢量表示了关注像素的坐标。为了用二维矢量来表示关注像素的坐标，通过将m改变为(m，n)、将x改变为(x，y)并将s(t)改变为(s_x(t)，s_y(t))，来将上面与图4相关的描述中的各一维矢量替换为二维矢量。在这种情况下，插值核φ也是二维矢量(x，y)的函数。例如，将在步骤S504中作为一维矢量m-s(t)计算的值，替换为二维矢量(m-s_x(t)，m-s_y(t))。当滤波器大小是S_x×S_y时，在步骤S509中，通过与(m，n)、(m+1，n)、……、(m+Sx，n)、(1，n+1)类似地从左上到右下对二维区域进行排序，来更新关注像素。

<曝光条件>

曝光条件通过函数h(t)来设置。对该函数进行设置，以避免通过等式(6)确定的滤波器K的零功率频率。该现象会导致频率特性变为零处的频率的信息被丢失的问题。例如，考查水平方向上的匀速运动。

图5A示出了普通曝光条件。这表示打开快门预定时间然后关闭。横轴代表时间，纵轴代表值h(t)。图5B示出了在该曝光条件下计算滤波器K、并获得频率特性的示例。参照图5B，横轴代表频率，纵轴代表滤波器K的离散Fourier变换的绝对值。从图5B中可以看到，存在滤波器K的频率特性变为零的频率，所以产生了零功率频率。

图6A示出了使用编码曝光来控制曝光条件h(t)以避免零功率频率的示例。阅读图线的方式与图5A中相同。图6B示出了在该曝光条件下关于与图5A中相同的平移抖动的情况、获得滤波器K的频率特性的示例。阅读图线的方式与图5B中相同。这样来控制曝光条件h(t)，使得可以防止滤波器K的频率特性的值变为零。

由于仅控制快门的开/闭状态，因此，将值h(t)限制为0和1。然而，也可以使用另一方法，来将值h(t)改变为0与1之间的中间值。

图7A及图7B示出了第一实施例的效果。图7A例示了具有匀加速运动的水平平移抖动的图像。图7B例示了根据实施例已校正了平移抖动的图像。从图7A及图7B中可以看到，在非匀速运动的情形下，满意地校正了摄像机抖动。

如上所述，根据实施例，可以使用插值核、抖动矢量及曝光条件，来仅由一个图像校正平移抖动。这使得即使在非匀速运动的情形下，也可以满意地校正抖动。

总之，根据第一实施例，首先获取在图像拍摄期间以时间间隔Δt收集到的曝光条件信息及抖动矢量信息。获取与通过滤波器中的关注位置和抖动矢量之差确定的位置相对应的插值核值，其中所述抖动矢量用时刻Δt×n(n＝1、2、……、T/Δt)处的抖动矢量信息来代表。将时刻Δt×n时的曝光条件信息、插值核值和Δt的相乘结果，与滤波器中的关注位置的系数相加。针对n＝1、2、……、T/Δt，来执行“获取插值核值”的处理以及“将相乘结果与滤波器中的关注位置的系数相加”的处理，从而确定滤波器中的关注位置的系数(第一计算)。此外，针对滤波器的所有位置，来执行“获取插值核值”的处理、“将相乘结果与滤波器中的关注位置的系数相加”的处理以及第一计算，从而确定滤波器中的所有系数(第二计算)。最后，为了校正图像模糊，执行图像及通过第二计算确定的滤波器的解卷积。

[第二实施例]

在该实施例中，将说明并入有第一实施例中所述的图像处理装置的摄像系统。下面将参照图8，来描述在根据该实施例的摄像系统中配备的摄像单元1100的功能结构的示例。

被摄像目标对象反射的光经由输入端子1101、镜头1102及快门1103，而进入图像传感器1104。图像传感器1104输出与入射光相对应的模拟信号。A/D转换器1105将模拟信号转换为数字信号。将数字信号作为摄像数据，经由输出端子1109输入至校正单元100。

曝光条件设置单元1106设置曝光条件。代表所设置的曝光条件的信息作为曝光条件信息被输入至快门1103，并且还经由输出端子1108输入至校正单元100。

方位检测单元1107检测摄像单元1100的抖动。将代表检测到的抖动的信息作为抖动矢量信息，经由输出端子1110输入至校正单元100。

在该实施例中，方位检测单元1107检测摄像机抖动。方位检测单元1107可以是用于测量运动的设备，或者可以是用于获取多个图像并使用获取到的图像来估计运动的设备。当抖动矢量信息及曝光条件信息被发送到校正单元100时，校正单元100使用这些信息来执行第一实施例中所述的处理，从而校正摄像数据的模糊。如上所述，根据该实施例，可以在摄像系统中不包括光学防振机构的情况下，来校正摄像机抖动。

[第三实施例]

在第二实施例中，未将光学防振纳入考虑范围。然而，在第三实施例中，将描述组合有光学防振的摄像系统。下面，将参照图9，来描述在根据该实施例的摄像系统中配备的摄像单元1200的功能结构的示例。在图9中，与图8中相同的附图标记代表与图8中相同的部分，这里将不再重复其描述。

图像传感器移动检测单元1201检测图像传感器1104的移动，并且将检测结果作为图像传感器移动信息，经由输出端子1202输出到减法器1203。减法器1203从由方位检测单元1107检测到的抖动矢量信息中，减去由图像传感器移动检测单元1201检测到的图像传感器移动信息。相减结果被输入至校正单元100。

在该实施例中，将由方位检测单元1107检测到的抖动矢量信息作为图像传感器移动信息，发送到图像传感器1104。图像传感器1104依照图像传感器移动信息，在减轻平移抖动的方向上移动。由此校正了摄像机抖动。图像传感器移动检测单元1201检测图像传感器1104的运动矢量，并将检测结果经由输出端子1202发送到减法器1203。将由方位检测单元1107检测出的摄像系统自身的抖动矢量信息，经由输出端子1110发送到减法器1203。如上所述，减法器1203计算抖动矢量信息与图像传感器移动信息之差，并将其发送到校正单元100。校正单元100校正不能通过光学防振完全去除的摄像机抖动。

在该实施例中，描述了通过图像传感器1104来校正摄像机抖动的方法。然而，也可以通过镜头1102来校正摄像机抖动。在这种情况下，提供镜头移动检测单元来代替图像传感器移动检测单元1201，以测量镜头移动量，并将其作为图像传感器移动信息的替代输出到减法器1203。也就是说，该方法不受限制，只要能够通过摄像单元来校正摄像机抖动即可。

如上所述，根据该实施例，光学防振可以部分地校正摄像机抖动，校正单元100可以校正不能通过光学防振完全校正的摄像机抖动。这使得即使是大的摄像机抖动，也能够被准确地校正。

[第四实施例]

在第一实施例中，抖动局限于平移抖动。然而，在第四实施例中，将描述用于校正旋转抖动的图像处理装置。下面，将参照图10来说明根据该实施例的图像处理装置的抖动校正结构。

经由输入端子1301，将摄像数据输入到极坐标变换单元1302。极坐标变换单元1302使用经由输入端子1304输入的代表旋转中心的位置的旋转中心信息，将摄像数据由正交坐标数据转换为极坐标数据。校正单元100使用经由输入端子1305输入的抖动角度信息，以及经由输入端子1306输入的曝光条件信息，来对由极坐标转换单元1302转换后的摄像数据，执行与在第一实施例中相同的抖动校正处理。

正交坐标变换单元1303将经历了校正单元100的抖动校正的摄像数据，由极坐标数据转换为正交坐标数据。将由正交坐标变换单元1303转换后的摄像数据作为模糊校正后的数据，经由输出端子1307输出到显示设备或存储器。

下面，将参照图11来描述校正旋转抖动的处理。参照图11，可以通过极坐标变换，将旋转抖动转换为一维平移抖动。通过第一实施例中所述的抖动校正处理来校正平移抖动，并且将极坐标转换为正交坐标，从而校正旋转抖动。

如上所述，根据该实施例，能够校正旋转抖动。请注意，显而易见，当将该实施例与摄像系统相组合时，可以通过光学防振来部分地去除摄像机抖动，并且，可以通过该实施例的方法来校正余下的旋转抖动，如同第三实施例一样。

[第五实施例]

在该实施例中，将描述控制曝光条件h(t)的方法的示例。该实施例适用于第一至第四实施例。在该实施例中，不是通过开/闭快门，而是通过对连续拍摄获得的图像进行选择性地相加及合成，来控制曝光条件。下面，将参照图12A至图12C，来说明该系列处理。图12A示出了通过连续拍摄及时分曝光而获得的图像。图12B及图12C示出了时分曝光后的图像被适当地选择和相加合成的状态。参照图12B及图12C，将下面标有“0”的图像从相加目标中排除，将下面标有“1”的图像包括在相加目标中。从图12B及图12C中可以看到，能够通过选择时分图像的方式，来生成各种编码曝光图案。如上所述，根据该实施例，对通过连续拍摄获得的图像进行选择性地相加合成，从而获取到在各种曝光条件下拍摄到的图像。

[第六实施例]

在该实施例中，将描述这样的情况，即通过软件来实现第一至第四实施例中所述的处理。更具体地说，将校正单元100作为计算机程序存储在计算机中，并且计算机中配备的CPU执行所述计算机程序。

在该实施例中，将图13中所示的图像文件1600输入至执行软件的装置。图像文件1600包括存储抖动矢量信息的标签1601、存储曝光条件信息的标签1602，以及存储拍摄图像的标签1603。

当图像文件1600被输入至装置时，与校正单元100相对应的计算机程序使用存储在标签1601及1602中的信息，来执行校正存储在标签1603中的图像的模糊的处理。然后，将模糊校正后的图像输出至显示设备或存储器。如上所述，根据该实施例，可以在软件上读取上述格式的图像文件，并且自动校正模糊。

总之，根据上述各实施例，准备了插值核，以在利用编码曝光优势的同时，来应对一般非匀加速运动的摄像机抖动。基于摄像机抖动的轨迹以及曝光条件来计算滤波器，并且使用滤波器来执行抖动校正。对曝光条件进行控制，使得能够避免零功率频率的问题。使用插值核，使得能够轻松地应对任意运动的摄像机抖动。

也就是说，当能够应对任意运动的摄像机抖动时，即使在曝光时间很长的情况下，也能够确保上述各实施例。一般来说，摄像机抖动的运动不是匀速运动，而是非匀速运动。然而，在短的曝光时间内，摄像机抖动的运动可以被视为匀速运动。由于这一原因，无法应对非匀速运动的摄像机抖动的传统技术，能够应对摄像机抖动的运动可以被视为匀速运动的短曝光时间。然而，所述技术不能应对摄像机抖动的运动不能被视为匀速运动的长曝光时间。

从这一角度来看，上述各实施例中所述的图像处理装置能够应对非匀速运动的摄像机抖动，因此同样能够应对长曝光时间。也就是说，根据所述实施例，即使曝光时间较长，也能够校正摄像机抖动。

其他实施例

还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU等的设备)，来实现本发明的各方面；并且可以利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法，来实现本发明的各方面。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有的这类变型例及等同结构和功能。

Claims (7)

1.一种图像处理装置，该图像处理装置包括：

曝光条件输入单元，其输入当获得拍摄图像时的曝光条件；

抖动信息输入单元，其输入当获得所述拍摄图像时的抖动信息；以及

滤波器生成单元，其基于所述曝光条件以及包括由所述抖动信息获得的非整数的权重值，生成要用来校正所述拍摄图像的模糊的滤波器。

2.根据权利要求1所述的图像处理装置，其中，以比用于获得所述拍摄图像的摄像设备的像素单位更小的单位，来定义所述抖动信息。

3.根据权利要求1所述的图像处理装置，其中，所述滤波器要用来使无模糊图像劣化为所述拍摄图像。

4.根据权利要求1所述的图像处理装置，其中，所述滤波器生成单元基于所述曝光条件以及包括由插值核及所述抖动信息获得的非整数的所述权重值，生成要用来校正所述拍摄图像的模糊的所述滤波器。

5.根据权利要求1所述的图像处理装置，其中，所述抖动信息是摄像机抖动矢量信息和通过基于光学防振来校正所述摄像机抖动矢量信息而获得的抖动矢量信息中的一者。

6.根据权利要求1所述的图像处理装置，其中，

所述拍摄图像是已进行了极坐标变换的图像，并且，

所述图像处理装置还包括：对通过所述滤波器及所述拍摄图像的解卷积处理而获得的图像执行正交坐标变换的单元。

7.一种图像处理方法，该图像处理方法包括以下步骤：

输入当获得拍摄图像时的曝光条件；

输入当获得所述拍摄图像时的抖动信息；以及

基于所述曝光条件以及包括由所述抖动信息获得的非整数的权重值，生成要用来校正所述拍摄图像的模糊的滤波器。

Images