CN102694979A - 摄像设备和摄像设备的控制方法 - Google Patents

Abstract

本发明涉及一种摄像设备和摄像设备的控制方法。当使用由卷帘快门方法进行驱动的图像传感器拍摄图像时，检测摄像设备在图像传感器的曝光期间的抖动，并且获得所检测到的抖动的时间特性。针对抖动的时间特性，对由于抖动而在图像中所生成的被摄体图像的失真量的频率分布进行分析。至少针对中心频率，补偿抖动的时间特性，以消除获得抖动的时间特性时所生成的相位偏移。使用根据补偿后的抖动的时间特性所计算出的校正量，针对图像传感器的各行，校正由于抖动而产生的被摄体图像的失真。

Description

摄像设备和摄像设备的控制方法

技术领域

本发明涉及一种摄像设备和摄像设备的控制方法，尤其涉及一种用于校正所拍摄图像中包含的由手抖动所引起的图像失真的技术。

背景技术

近来，诸如数字摄像机等的摄像设备普遍地采用与CCD传感器相比功耗较低的CMOS传感器作为图像传感器。CCD传感器和CMOS传感器不仅功耗不同，而且拍摄时的曝光方法也不同。

在CCD传感器中，在拍摄一个图像时，针对图像传感器的所有像素，曝光时刻和曝光时间段都是相同的。相反，在CMOS传感器中，由于快门开/闭时刻在图像传感器的各行之间有所不同，因而曝光时间段改变。将CMOS传感器的驱动方法称为卷帘快门方法。

在利用卷帘快门型图像传感器进行拍摄时，由于曝光期间的被摄体的移动或曝光期间把持摄像设备的用户的手抖动，使得被摄体图像按照图像传感器的各行进行移动，因而所拍摄图像可能失真。将发生失真的现象称为“卷帘快门效应”或“焦平面效应”。特别地，与使用机械快门的静止图像拍摄时相比，在不使用机械快门的运动图像拍摄时，可能更显著地出现由卷帘快门效应所引起的失真。

日本特开2006-186481公开了用于对由卷帘快门效应所产生的失真中的由用户的手抖动所引起的失真进行校正的技术。在日本特开2006-186481中，通过对设置在摄像设备中的角速度传感器所检测到的手抖动速度进行积分来获得手抖动的时间特性。根据摄像设备在针对图像传感器的各行的拍摄时的位置变化来校正失真。

然而，角速度传感器的采样频率是几kHz至几十kHz，而手抖动频率约为0Hz至15Hz。这些频率在级别上显著不同。当使用日本特开2006-186481所述的FIR(有限脉冲响应)滤波器进行信号处理以从角速度传感器的输出信号中获得手抖动的时间特征时，需要许多接头，从而增大电路规模。

为了避免电路规模的增大，可以使用IIR(无限脉冲响应)滤波器而不使用FIR滤波器。然而，IIR滤波器不具有直线相位，并且在各频带中发生不同的相位延迟或相位超前。使用IIR滤波器所获得的手抖动的时间特性具有依赖于IIR滤波器的相位特性的相位偏移。针对某些手抖动频率，可能无法精确地计算出用于校正由卷帘快门效应所引起的失真的校正量。即，当使用根据使用IIR滤波器所获得的手抖动的时间特性所计算出的校正量来校正由卷帘快门效应所引起的失真时，在图像中可能发生欠校正或过校正。

发明内容

已经作出了本发明以解决传统的缺陷。本发明减少了校正由卷帘快门效应所引起的失真时的欠校正或过校正。

本发明的第一方面提供一种摄像设备，其包括由卷帘快门方法进行驱动的图像传感器，所述摄像设备还包括：检测部件，用于在使用所述图像传感器拍摄图像的情况下，检测所述摄像设备在所述图像传感器的曝光期间的抖动；获得部件，用于获得所述检测部件所检测到的所述抖动的时间特性；分析部件，用于针对所述抖动的时间特性，对由于所述抖动而在所述图像中所生成的被摄体图像的失真量的频率分布进行分析；确定部件，用于从所述失真量的频率分布中确定所述失真量相对最大的频率作为所述失真量的中心频率；补偿部件，用于补偿所述抖动的时间特性，以至少针对所述中心频率减少所述获得部件所生成的相位偏移；以及校正部件，用于通过使用根据所述补偿部件补偿后的所述抖动所计算出的校正量，针对所述图像传感器的各行，校正由于所述抖动而产生的被摄体图像的失真。

本发明的第二方面提供一种摄像设备，其包括由卷帘快门方法进行驱动的图像传感器，所述摄像设备还包括：检测部件，用于在使用所述图像传感器拍摄图像的情况下，检测所述摄像设备在所述图像传感器的曝光期间的抖动；获得部件，用于获得所述检测部件所检测到的所述抖动的时间特性；第一选择部件，用于基于所述摄像设备在拍摄所述图像时的参数来选择包括如下频带的多个频率作为检波频率，其中，所述频带被估计为包括由于所述抖动而在所述图像中所生成的被摄体图像的失真量的中心频率；分析部件，用于针对所述抖动的时间特性，对由于所述抖动中的所述检波频率而在所述图像中所生成的被摄体图像的失真量的频率分布进行分析；确定部件，用于从所述失真量的频率分布中确定所述失真量相对最大的频率作为所述失真量的中心频率；补偿部件，用于补偿所述抖动的时间特性，以至少针对所述中心频率减少所述获得部件所生成的相位偏移；以及校正部件，用于通过使用根据所述补偿部件补偿后的所述抖动所计算出的校正量，针对所述图像传感器的各行，校正由于所述抖动而产生的被摄体图像的失真。

本发明的第三方面提供一种摄像设备的控制方法，所述摄像设备包括由卷帘快门方法进行驱动的图像传感器，所述控制方法包括以下步骤：检测步骤，用于在使用所述图像传感器拍摄图像的情况下，检测所述摄像设备在所述图像传感器的曝光期间的抖动；获得步骤，用于获得在所述检测步骤中所检测到的所述抖动的时间特性；分析步骤，用于针对所述抖动的时间特性，对由于所述抖动而在所述图像中所生成的被摄体图像的失真量的频率分布进行分析；确定步骤，用于从所述失真量的频率分布中确定所述失真量相对最大的频率作为所述失真量的中心频率；补偿步骤，用于补偿所述抖动的时间特性，以至少针对所述中心频率减少在所述获得步骤中所生成的相位偏移；以及校正步骤，用于通过使用根据所述补偿步骤中补偿后的所述抖动所计算出的校正量，针对所述图像传感器的各行，校正由于所述抖动而产生的被摄体图像的失真。

本发明的第四方面提供一种摄像设备的控制方法，所述摄像设备包括由卷帘快门方法进行驱动的图像传感器，所述控制方法包括以下步骤：检测步骤，用于在使用所述图像传感器拍摄图像的情况下，检测所述摄像设备在所述图像传感器的曝光期间的抖动；获得步骤，用于获得在所述检测步骤中所检测到的所述抖动的时间特性；第一选择步骤，用于基于拍摄所述图像时的参数来选择包括如下频带的多个频率作为检波频率，其中，所述频带被估计为包括由于所述抖动而在所述图像中所生成的被摄体图像的失真量的中心频率；分析步骤，用于针对所述抖动的时间特性，对由于所述抖动中的所述检波频率而在所述图像中所生成的被摄体图像的失真量的频率分布进行分析；确定步骤，用于从所述失真量的频率分布中确定所述失真量相对最大的频率作为所述失真量的中心频率；补偿步骤，用于补偿所述抖动的时间特性，以至少针对所述中心频率减少在所述获得步骤中所生成的相位偏移；以及校正步骤，用于通过使用根据所述补偿步骤中补偿后的所述抖动所计算出的校正量，针对所述图像传感器的各行，校正由于所述抖动而产生的被摄体图像的失真。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明实施例的数字摄像机的功能结构的框图；

图2A、2B和2C是各自示出根据本发明实施例的失真校正量计算单元106的功能结构的框图；

图3是示出根据本发明实施例的照相机抖动量计算单元201的结构的框图；

图4是示出根据本发明第一实施例的照相机抖动量分析单元202的结构的框图；

图5A、5B、5C和5D是用于说明根据本发明第一实施例的中心频率确定方法的图；

图6是示出根据本发明实施例的相位补偿单元205的结构的电路图；

图7A和7B是用于说明根据本发明实施例的相位补偿的图；

图8是用于说明根据本发明实施例的拍摄图像校正量计算方法的图；

图9A和9B是分别用于说明根据本发明的第二实施例以及第一变形例和第二变形例的拍摄状况估计方法的图和表；

图10是举例说明根据本发明的第二实施例以及第一变形例和第二变形例的估计出的拍摄状况中的失真量的一般中心频率的图；

图11A、11B和11C是各自举例说明根据本发明的第二实施例和第二变形例的针对估计出的拍摄状况的检波频率集合的图；

图12A、12B和12C是用于说明根据本发明的第二实施例以及第一变形例和第二变形例的用于确定对手抖动的时间特性进行检波的检波频率集合的方法的图；

图13是示出根据本发明的第二实施例以及第一变形例和第二变形例的与手抖动的时间特性的照相机抖动量相对应的检波频率的频率分布的图；

图14是举例说明根据本发明第一变形例的针对各辅助信息参数所估计出的拍摄状况的可靠性的表；

图15A和15B是用于说明根据本发明第一变形例的用于选择与拍摄状况可靠性相对应的检波频率的方法的图；以及

图16A和16B是用于说明根据本发明第二变形例的检波频率确定方法的图。

具体实施方式

第一实施例

现在将参考附图详细说明本发明的优选实施例。在以下实施例中，将本发明应用于如下数字摄像机，其中该数字摄像机用作能够校正由卷帘快门效应所产生的失真中的由手抖动所引起的失真的摄像设备的例子。然而，还可以将本发明应用于能够校正由卷帘快门效应所产生的失真中的由手抖动所引起的失真的任意装置。在本说明书中，将“由卷帘快门效应所产生的失真”中的由手抖动所引起的失真称之为“卷帘失真”。

数字摄像机100的功能结构

图1是示出根据本发明实施例的数字摄像机100的功能结构的框图。

控制单元101例如是CPU，并控制数字摄像机100的各块的操作。例如，控制单元101读出ROM 102中所存储的拍摄处理等的处理程序，在易失性存储器(未示出)中展开该处理程序，并执行该处理程序。ROM 102是可重写非易失性存储器，并且除存储上述处理程序以外，还存储各块的操作所需的参数等。

在本实施例中，在数字摄像机100中被配置为硬件的各块中实现各处理。然而，本发明的实施不限于此，并且可以通过进行与各块的处理相同的处理的程序来实现各块的处理。

摄像单元103包括诸如CMOS传感器等的卷帘快门型图像传感器。摄像单元103对模拟图像信号应用A/D转换处理，从而输出数字图像信号(图像数据)，其中，该模拟图像信号是通过对经由光学系统(未示出)在图像传感器上所形成的光学图像进行光电转换而获得的。例如，图像存储器104临时存储从摄像单元103所输出的图像数据。

图像处理单元107对通过摄像单元103所获得的并存储在图像存储器104中的图像数据应用诸如增益调整和白平衡调整等的图像处理。通过使用(稍后所述的)失真校正量计算单元106所计算出的失真校正量，图像处理单元107针对各行校正存储在图像存储器104中的图像数据中所发生的卷帘失真。

在利用数字摄像机100进行运动图像拍摄时，图像处理单元107根据预定编码方法对已经过图像处理单元107的各种图像处理或卷帘失真校正处理的图像数据进行编码。将编码后的运动图像数据发送至记录介质108并记录在记录介质108上。

照相机抖动检测单元105例如是角速度传感器，并检测由施加至数字摄像机100的(由用户的手抖动所引起的)照相机抖动所生成的角速度。照相机抖动检测单元105将所检测到的数字摄像机100的三个轴的角速度例如输出至失真校正量计算单元106。作为此时的照相机抖动检测单元105的检测轴，将光轴定义为Z轴，并且将垂直于Z轴并且同时彼此垂直的方向定义为X轴和Y轴。

失真校正量计算单元106是计算用于校正由于手抖动所引起的图像数据内的图像中所生成的卷帘失真的校正量的块。失真校正量计算单元106将所计算出的校正量信息输出至图像处理单元107。

失真校正量计算单元106的内部结构

将参考附图详细说明失真校正量计算单元106的内部结构和要在失真校正量计算单元106内进行的处理。

图2A是示出根据第一实施例的失真校正量计算单元106的内部结构的框图。失真校正量计算单元106接收在一帧图像的摄像期间所发生的并由照相机抖动检测单元105所检测到的角速度变化的信息。

根据所输入的在一帧图像的摄像期间所发生的角速度变化的信息，照相机抖动量计算单元201获得由于角速度变化而产生的以图像传感器上的像素为单位的图像的照相机抖动量的时间特性。

照相机抖动量计算单元201具有如图3所示的结构。首先，IIR滤波器301根据手抖动频率对所输入的角速度变化信息进行信号处理。然后，积分器302对从IIR滤波器301所输出的角速度变化信息进行积分处理，从而输出该信息作为手抖动角移位信息θ。注意，例如针对可能发生卷帘失真的、相对于图像传感器的摄像面的俯仰方向和横摆方向上的角度，输出手抖动角移位信息θ。

照相机抖动量转换器303将从积分器302所输出的角移位信息θ转换成由于角移位而产生的以图像传感器上的像素为单位的图像的照相机抖动量。更具体地，照相机抖动量转换器303使用以下表达式将角移位信息θ转换成图像传感器上的图像的照相机抖动量：

fL·tanθ/p

其中，fL是焦距，以及p是图像传感器上的像素间距。

照相机抖动量计算单元201将所计算出的照相机抖动量的时间特性输出至相位补偿单元205和照相机抖动量分析单元202。

注意，照相机抖动量计算单元201生成IIR滤波器301中与手抖动频率相对应的相位偏移以及由积分器302的积分计算所引起的π/2的相位延迟。利用积分器302的积分计算所引起的相位延迟是与手抖动频率无关的固定的相位偏移，并且可以通过使相位提前π/2来消除其影响。在本实施例中，为了减少与手抖动频率相对应的相位偏移，从一帧的摄像期间所生成的手抖动的频率分布中指定手抖动的中心频率。在(稍后所述的)照相机抖动量分析单元202、中心频率确定单元203和相位补偿控制单元204的处理中，计算相位补偿参数，以使得至少在中心频率处，相位偏移仅变为由积分计算所引起的π/2。然后，将相位补偿参数输出至相位补偿单元205。

照相机抖动量分析单元202通过对所输入的手抖动的时间特性执行离散傅立叶变换来分析手抖动的频率分布。可以通过具有如图4所示的电路结构的硬件来执行照相机抖动量分析单元202中的离散傅立叶变换。

乘法器401和402将所输入的手抖动的时间特性分别与期望频率的正弦波和余弦波相乘。将乘法器401和402的乘法结果分别输入至加法器403和404。移位寄存器405使来自加法器403的输出延迟，并将该输出输出至乘法器407和加法器403。同样，移位寄存器406使来自加法器404的输出延迟，并将该输出输出至乘法器408和加法器404。乘法器407和408分别对来自移位寄存器405和406的输出进行平方。加法器409将乘法结果相加，并且平方根计算单元410计算平方根。以这种方式，可以通过硬件来执行离散傅立叶变换。

将由照相机抖动量分析单元202分析后的照相机抖动量的频率分布输出至中心频率确定单元203。通常，如图4所示，照相机抖动量的频率分布的范围为0～15Hz。频率越低，则照相机抖动量的频率分布所表示的照相机抖动量、即手抖动振幅(最大照相机抖动量)趋向于越大。

中心频率确定单元203根据所输入的照相机抖动量的频率分布来确定一帧的摄像期间所生成的手抖动的中心频率。

根据照相机抖动量分析单元202分析后的照相机抖动量的频率分布，可以按照如下所示使用用作手抖动的时间特性中的单个频率f处的最大照相机抖动量的振幅A(f)来表示该频率处的抖动。

A(f)·sin(ωt)    (ω＝2πf)

对手抖动的时间特性进行微分，由此生成如下所示的各频率处的抖动速度。

A(f)ω·cos(ωt)

例如，将图像传感器的连续的行之间的曝光开始时刻的差定义为Δt，以及将图5A的Δt内的中心时刻t₀处的速度认为是平均速度。然后，可以按照如下表达式来表示给定行的摄像开始之后直到下一行的摄像开始的时间段Δt中的图像移位量。

A(f)ω·cos(ωt₀)·Δt

从该表达式分离出照相机抖动量分析单元202已获得的A(f)(图5B)，并且在ωt₀为常数的情况下来近似该表达式。然后，可以将剩余项变形为如下表达式。

$\mathrm{\ω}\·\cos \left({\mathrm{\ωt}}_0\right)\·\mathrm{\Δt}$

$\⇒2\mathrm{\π}\·\cos \left({\mathrm{\ωt}}_0\right)\·\mathrm{\Δt}\×f=c\×f$ (c＝常数)

如图5C所示，可以通过相对于频率的线性函数来表示图像移位量。

更具体地，中心频率确定单元203将所输入的如图5B所示的照相机抖动量的频率分布与图5C所示的线性函数相乘，从而获得图5D所示的所拍摄图像中的失真量的频率分布。

在本实施例中，将所拍摄图像中的失真量的频率分布中照相机抖动量变成最大的频率fa确定为中心频率。在(稍后所述的)相位补偿控制单元204中设置相位补偿参数，以使得由IIR滤波器301所引起的相位延迟在中心频率处变为π/2。利用该设置，可以在如下频率(中心频率)处消除失真，其中，在该频率处，失真量最大，即相位偏移发生时由图像的欠校正或过校正所引起的失真容易引人注意。

相位补偿控制单元204计算相位补偿参数，以使得在相位补偿单元205对手抖动的时间特性的相位补偿处理中，由中心频率确定单元203所确定的中心频率附近的相位延迟变为π/2。相位补偿控制单元204将相位补偿参数输出至相位补偿单元205。注意，通过已知的方法确定相位补偿参数，以使得在中心频率附近的频带中，相位补偿后的照相机抖动量的相位变为目标相位-π/2。

相位补偿单元205是相位补偿滤波器，并且该相位补偿滤波器具有图7A所示的相位特性。相位补偿单元205对所输入的手抖动的时间特性的相位偏移进行补偿，其中，该相位偏移是IIR滤波器301在中心频率确定单元203确定出的中心频率处生成的。相位补偿单元205对相位进行补偿，以使得中心频率确定单元203所确定出的中心频率处的相位延迟变为积分器302中所生成的π/2。

相位补偿单元205具有图6所示的内部结构。加法器601将所输入的手抖动的时间特性(照相机抖动量)和来自(稍后所述的)放大器603的输出相加，并将相位补偿后的照相机抖动量输出至拍摄图像失真量计算单元206。移位寄存器602使所输入的相位补偿后的照相机抖动量延迟，并将该照相机抖动量输出至放大器603。放大器603将来自移位寄存器602的输出与用作从相位补偿控制单元204所输入的相位补偿参数的滤波系数K相乘。放大器603将乘积输出至加法器601。

利用该结构，可以通过使用相位补偿控制单元204适当设置的相位补偿参数，将从相位补偿单元205所输出的照相机抖动量的相位特性在图7B所示的中心频率处调整为-π/2。

通过使用所输入的相位补偿后的手抖动的时间特性，拍摄图像失真量计算单元206计算要补偿照相机抖动量计算单元201中生成的相位偏移的、针对图像传感器的各行的、由卷帘快门效应所引起的所拍摄图像的失真量。当举例说明第N行和第(N+1)行之间所生成的失真量时，如图8所示，可以根据曝光开始时刻的照相机抖动量的差来计算图像传感器的这两行之间的拍摄图像失真量。

图像处理单元107可以通过使用为了消除所计算出的失真量而确定的校正量，针对图像传感器的各行，来校正由卷帘快门效应所引起的拍摄图像失真。

第二实施例

第一实施例说明了用于通过分析照相机抖动量在手抖动的时间特性的所有频率处的频率分布来确定中心频率的方法。第二实施例将说明用于通过分析针对有限频率的照相机抖动量的频率分布来确定中心频率的方法。

失真校正量计算单元106的内部结构

图2B是示出根据第二实施例的失真校正量计算单元106的内部结构的框图。在第二实施例的失真校正量计算单元106中，与第一实施例中相同的附图标记表示相同的部件，并且将不重复对这些部件的说明。将仅说明第二实施例的特征结构或处理。

第二实施例中的失真校正量计算单元106接收一帧图像的摄像期间所发生的并由照相机抖动检测单元105所检测到的角速度变化的信息。另外，失真校正量计算单元106从控制单元101接收表示拍摄该图像时的数字摄像机100的状态的辅助信息。辅助信息是诸如陀螺仪传感器(未示出)的最大加速度(陀螺仪数据)、焦距、主被摄体信息或快门速度等的信息。在本实施例中，将辅助信息输入至辅助信息分析单元211。

基于所输入的辅助信息，辅助信息分析单元211估计双手把持拍摄、单手把持拍摄和步行拍摄中的哪一种是数字摄像机100的拍摄状况。通常，如图9A所示，数字摄像机100中所生成的手抖动的频率分布根据用户的把持或移动状态而在这些拍摄状况之间有所不同。更具体地，在用户边移动边拍摄的步行拍摄时，手抖动所产生的照相机抖动量被认为相对较大。相反，在用户在不移动的情况下双手把持数字摄像机100的双手把持拍摄时，手抖动所产生的照相机抖动量被认为相对较小。

关于陀螺仪数据，例如，对大约2～3Hz的一个较低频率进行检波，并且使用阈值将该频率处的照相机抖动量分类成“大”、“标准”和“小”的照相机抖动量。辅助信息分析单元211估计为：在照相机抖动量较大的情况下，拍摄状况是“步行拍摄”，而在照相机抖动量较小的情况下，拍摄状况是“双手把持拍摄”。

关于焦距，变焦位置越靠近远摄端，手抖动越容易表现为图像失真。因此，用户被认为将利用稳定固定的数字摄像机100进行拍摄。据此，辅助信息分析单元211估计为：在焦距较长的情况下，拍摄状况是“双手把持拍摄”，而在焦距较短的情况下，拍摄状况是“步行拍摄”。

关于主被摄体信息，在靠近广角端的变焦位置处所拍摄的图像中的主被摄体的大小较小或者与主被摄体的距离较长的情况下，被认为是在靠近远摄端的变焦位置处进行拍摄。辅助信息分析单元211估计为：在主被摄体大小较小或者与主被摄体的距离较长的情况下，拍摄状况是“双手把持拍摄”，而在主被摄体大小较大或者与主被摄体的距离较短的情况下，拍摄状况是“步行拍摄”。

关于快门速度，在曝光时间较长的情况下，所累积的照相机抖动的影响变得显著，并且由低频照相机抖动所引起的拍摄图像失真被认为几乎看不出来。辅助信息分析单元211估计为：在快门速度较低的情况下，拍摄状况是低频成分的照相机抖动量较小的“双手把持拍摄”。然后，将相位补偿频率调整为靠近高频侧。

更具体地，如图9B所示，辅助信息分析单元211使用预定状态和阈值对所输入的辅助信息的参数进行分类，并针对辅助信息的各参数估计拍摄状况。利用该设置，(稍后所述的)检波频率确定单元212可以确定要进行检波的频率，以根据一般照相机抖动量的频率分布来确定实际手抖动的时间特性的中心频率。

检波频率确定单元212根据辅助信息分析单元211所估计出的辅助信息的各参数的拍摄状况，确定用于对针对实际手抖动的时间特性的照相机抖动量的频率分布进行检波的频率(检波频率)(第一选择)。考虑所拍摄图像中的失真量的频率分布，中心频率针对各拍摄状况具有例如图10所示的趋势。基于该趋势，可以估计出实际手抖动的时间特性的中心频率。换句话说，可以认为：能够通过重点在所估计出的中心频率附近的频率处对针对实际手抖动的时间特性的照相机抖动量的频率分布进行检波来容易地指定实际的中心频率。

检波频率确定单元212离散地选择针对辅助信息的各参数的检波频率。更具体地，检波频率确定单元212与针对辅助信息的各参数所估计出的拍摄状况相对应地，针对各参数来选择如图11A、11B或11C所示基于一般照相机抖动量的频率分布的中心频率而预先设置的离散检波频率集合。

然后，检波频率确定单元212对针对辅助信息的各个参数所选择的离散检波频率集合进行组合，从而确定用于在(稍后所述的)照相机抖动量检波单元213中对实际手抖动的时间特性进行检波的最终检波频率集合。

例如，将考虑使用辅助信息的两个参数来确定最终检波频率集合的情况。当针对一个参数选择图12A中的检波频率集合并且针对另一参数选择图12B中的检波频率集合时，通过按照如下分别对第一频率至第五频率进行平均来获得最终检波频率集合。

第一频率：(2+2)/2＝2Hz

第二频率：(3+7)/2＝5Hz

第三频率：(4+8)/2＝6Hz

第四频率：(5+9)/2＝7Hz

第五频率：(12+12)/2＝12Hz

(图12C中示出最终检波频率集合)。

在离散确定出的频率处，根据实际手抖动的时间特性来检波照相机抖动量的频率分布。与在所有频率处对照相机抖动量的频率分布的分析(检波)相比，可以减少该处理的负荷。

关于所输入的手抖动的时间特性，照相机抖动量检波单元213对检波频率确定单元212所确定出的检波频率集合中所包含的频率进行离散傅立叶变换，从而获得各个频率处的照相机抖动量的频率分布。如图13所示，所获得的照相机抖动量的频率分布是离散的。中心频率确定单元203将该频率分布与2π·cos(ωt₀)·Δt相乘，从而将表示相对最大失真量的频率确定为中心频率。

如上所述，根据本实施例的摄像设备估计拍摄状况并确定检波频率，从而简化了用于计算手抖动的时间特性的中心频率的处理。通过使用所获得的中心频率，与第一实施例相同，可以在由欠校正或过校正所引起的失真容易引人注意的频率处补偿通过使用IIR滤波器所生成的相位偏移。

第一变形例

在第二实施例中，检波频率确定单元212对针对辅助信息的各个参数所选择出的固定检波频率集合进行平均，从而确定用于对实际手抖动的时间特性进行检波的检波频率集合。第一变形例将说明用于对针对辅助信息的各参数所估计出的拍摄状况设置可靠性并基于各拍摄状况的中心频率的可靠性来确定检波频率集合的方法。

例如，将考虑对针对辅助信息的各参数所估计出的拍摄状况设置图14所示的估计可靠性的情况。检波频率确定单元212针对辅助信息分析单元211通过针对辅助信息的各参数所估计出的拍摄状况来选择图10所示的预定中心频率，并选择以该中心频率为中心的检波频率集合。

进行如下假定：当所估计出的拍摄状况的可靠性为1时，如图15A所示，以6Hz的中心频率为中心的检波频率集合包括以1Hz为间隔的频率4Hz、5Hz、6Hz、7Hz和8Hz。当针对辅助信息的一个参数所估计出的拍摄状况的可靠性为0.5时，检波频率确定单元212选择检波频率集合，以使得该检波频率集合的间隔与可靠性为1的检波频率集合相比变为拍摄状况可靠性的倒数、即2倍。即，针对该参数，检波频率确定单元212选择图15B所示的检波频率集合，其中，在该检波频率集合中，使用所估计出的拍摄状况的中心频率6Hz作为中心，并且要进行检波的频率的间隔是作为2倍的2Hz。

检波频率确定单元212对针对辅助信息的各个参数基于拍摄状况的可靠性所选择出的检波频率集合进行平均，从而确定用于对实际手抖动的时间特性进行检波的最终检波频率集合。

以这种方式，当根据用作辅助信息的拍摄时的数字摄像机100的状态来估计拍摄状况时，使用估计可靠性。可以使用与拍摄状态灵活对应的检波频率来对手抖动的时间特性进行检波。

在该变形例的说明中，使用中心频率作为中心以频率间隔为可靠性的倒数的方式来选择检波频率集合。然而，本发明的实施不限于此。例如，可以预先针对各可靠性确定频率间隔或者频率间隔可以根据中心频率而改变。此外，检波频率集合中的频率间隔不需要为等间隔。

第二变形例

在第二实施例和第一变形例中，针对检波频率确定单元212所确定出的检波频率集合来进行检波。将表示检波频率集合中的相对最大失真量的频率确定为手抖动的时间特性的中心频率。第二变形例将说明用于通过对作为对检波频率处的手抖动的时间特性的检波结果的失真量的频率分布进行反馈、来确定更精确的中心频率的方法。

失真校正量计算单元106的内部结构

图2C是示出根据本变形例的失真校正量计算单元106的内部结构的框图。在本变形例的失真校正量计算单元106中，与第一实施例和第二实施例中相同的附图标记表示相同的部件，并且将不重复对这些部件的说明。将仅说明本变形例的特征结构或处理。

检波频率调整单元221是用于基于作为中心频率确定单元203所获得的手抖动的时间特性的检波结果的失真量的频率分布、来控制照相机抖动量检波单元213进行检波所使用的检波频率集合的块。

例如，将考虑如下情况：如图16A所示，中心频率确定单元203将包括检波频率的照相机抖动量的频率分布乘以2π·cos(ωt₀)·Δt，从而获得所拍摄图像中的失真量的频率分布。在该频率分布中，具有相对最大失真量的频率为4Hz，并且在频率4Hz夹在其中间的频率2Hz和频率6Hz处，失真量减小。因此，手抖动的时间特性的精确的中心频率被认为存在于2～6Hz的频带中。

在从中心频率确定单元203接收到频率分布结果时，检波频率调整单元221确定上述趋势，并对已从检波频率确定单元212输入且已向照相机抖动量检波单元213输出一次的检波频率集合进行改变。例如，当获得图16A所示的频率分布结果时，如图16B所示，检波频率调整单元221使检波频率中的中心频率偏移并设置新的检波频率集合(第二选择)。然后，检波频率调整单元221将新的检波频率集合输出至照相机抖动量检波单元213。

中心频率确定单元203可以使用多个检波结果来确定中心频率，从而进一步提高了IIR滤波器301所生成的相位偏移的补偿精度。

注意，将第一变形例和第二变形例作为单独变形例进行了说明，但对于本领域技术人员而言，容易想象，这些变形例是可以进行组合的。

其它实施例

还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。为此，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (8)

1.一种摄像设备，其包括由卷帘快门方法进行驱动的图像传感器，所述摄像设备还包括：

检测部件，用于在使用所述图像传感器拍摄图像的情况下，检测所述摄像设备在所述图像传感器的曝光期间的抖动；

获得部件，用于获得所述检测部件所检测到的所述抖动的时间特性；

分析部件，用于针对所述抖动的时间特性，对由于所述抖动而在所述图像中所生成的被摄体图像的失真量的频率分布进行分析；

确定部件，用于从所述失真量的频率分布中确定所述失真量相对最大的频率作为所述失真量的中心频率；

补偿部件，用于补偿所述抖动的时间特性，以至少针对所述中心频率减少所述获得部件所生成的相位偏移；以及

校正部件，用于通过使用根据所述补偿部件补偿后的所述抖动所计算出的校正量，针对所述图像传感器的各行，校正由于所述抖动而产生的被摄体图像的失真。

2.一种摄像设备，其包括由卷帘快门方法进行驱动的图像传感器，所述摄像设备还包括：

检测部件，用于在使用所述图像传感器拍摄图像的情况下，检测所述摄像设备在所述图像传感器的曝光期间的抖动；

获得部件，用于获得所述检测部件所检测到的所述抖动的时间特性；

第一选择部件，用于基于所述摄像设备在拍摄所述图像时的参数来选择包括如下频带的多个频率作为检波频率，其中，所述频带被估计为包括由于所述抖动而在所述图像中所生成的被摄体图像的失真量的中心频率；

分析部件，用于针对所述抖动的时间特性，对由于所述抖动中的所述检波频率而在所述图像中所生成的被摄体图像的失真量的频率分布进行分析；

确定部件，用于从所述失真量的频率分布中确定所述失真量相对最大的频率作为所述失真量的中心频率；

补偿部件，用于补偿所述抖动的时间特性，以至少针对所述中心频率减少所述获得部件所生成的相位偏移；以及

校正部件，用于通过使用根据所述补偿部件补偿后的所述抖动所计算出的校正量，针对所述图像传感器的各行，校正由于所述抖动而产生的被摄体图像的失真。

3.根据权利要求2所述的摄像设备，其特征在于，还包括第二选择部件，所述第二选择部件用于基于所述分析部件分析得到的所述失真量的频率分布来选择与所述检波频率不同的新的检波频率，其中，

所述分析部件针对所述抖动的时间特性，对由于所述抖动中的所述新的检波频率而在所述图像中所生成的被摄体图像的失真量的频率分布进行分析，以及

所述确定部件使用包括所述检波频率的失真量的频率分布和包括所述新的检波频率的失真量的频率分布来确定所述中心频率。

4.根据权利要求2所述的摄像设备，其特征在于，

拍摄所述图像时的参数是拍摄所述图像时的抖动、焦距、主被摄体信息和快门速度至少之一，以及

所述第一选择部件基于拍摄所述图像时的参数来估计拍摄所述图像时的所述摄像设备的拍摄状况，并且使用针对所估计出的各拍摄状况而预先确定的频率来选择所述检波频率。

5.根据权利要求4所述的摄像设备，其特征在于，所述第一选择部件基于针对所估计出的各拍摄状况而预先确定的频率和该拍摄状况的估计可靠性来选择所述检波频率。

6.根据权利要求1至5中任一项所述的摄像设备，其特征在于，所述分析部件对由于所述图像传感器的连续行之间从给定行的曝光开始之后直到下一行的曝光开始为止的时间段内的所述抖动而在所述图像中所生成的被摄体图像的失真量的频率分布进行分析。

7.一种摄像设备的控制方法，所述摄像设备包括由卷帘快门方法进行驱动的图像传感器，所述控制方法包括以下步骤：

检测步骤，用于在使用所述图像传感器拍摄图像的情况下，检测所述摄像设备在所述图像传感器的曝光期间的抖动；

获得步骤，用于获得在所述检测步骤中所检测到的所述抖动的时间特性；

分析步骤，用于针对所述抖动的时间特性，对由于所述抖动而在所述图像中所生成的被摄体图像的失真量的频率分布进行分析；

确定步骤，用于从所述失真量的频率分布中确定所述失真量相对最大的频率作为所述失真量的中心频率；

补偿步骤，用于补偿所述抖动的时间特性，以至少针对所述中心频率减少在所述获得步骤中所生成的相位偏移；以及

校正步骤，用于通过使用根据所述补偿步骤中补偿后的所述抖动所计算出的校正量，针对所述图像传感器的各行，校正由于所述抖动而产生的被摄体图像的失真。

8.一种摄像设备的控制方法，所述摄像设备包括由卷帘快门方法进行驱动的图像传感器，所述控制方法包括以下步骤：

检测步骤，用于在使用所述图像传感器拍摄图像的情况下，检测所述摄像设备在所述图像传感器的曝光期间的抖动；

获得步骤，用于获得在所述检测步骤中所检测到的所述抖动的时间特性；

第一选择步骤，用于基于拍摄所述图像时的参数来选择包括如下频带的多个频率作为检波频率，其中，所述频带被估计为包括由于所述抖动而在所述图像中所生成的被摄体图像的失真量的中心频率；

分析步骤，用于针对所述抖动的时间特性，对由于所述抖动中的所述检波频率而在所述图像中所生成的被摄体图像的失真量的频率分布进行分析；

确定步骤，用于从所述失真量的频率分布中确定所述失真量相对最大的频率作为所述失真量的中心频率；

补偿步骤，用于补偿所述抖动的时间特性，以至少针对所述中心频率减少在所述获得步骤中所生成的相位偏移；以及

校正步骤，用于通过使用根据所述补偿步骤中补偿后的所述抖动所计算出的校正量，针对所述图像传感器的各行，校正由于所述抖动而产生的被摄体图像的失真。

Images