CN103945111A - 信息处理装置、信息处理方法和成像装置 - Google Patents

Abstract

本公开涉及一种信息处理装置、信息处理方法和成像装置。在根据本公开的信息处理装置中，根据指示运动检测结果的运动信息和图像的帧速率，放大检测单元检测运动校正中的图像的运动相对于通过运动生成的图像的运动的放大。基于放大检测单元的检测结果，信息抑制单元抑制运动信息指示的运动，使得图像的运动在运动校正中不被放大，并且生成运动校正中使用的校正运动信息。

Description

信息处理装置、信息处理方法和成像装置

相关申请的交叉引用

本申请要求2013年1月23日申请的日本优先权专利申请JP2013-010244的权益，该专利申请的整体内容通过引用结合于此。

技术领域

本技术涉及可以提高运动校正性能的信息处理装置、信息处理方法和成像装置。

背景技术

在现有技术中的成像装置中，通过由诸如角速度传感器之类的运动检测单元检测成像时的摄影机抖动，并且基于检测结果，通过移动光学系统和成像元件使得检测到的摄影机抖动被取消，来执行成像元件的成像表面上形成的光学图像的抖动的校正。

另外，在日本待审专利申请公布第2007-074360号中，基于运动检测结果来计算由成像装置在按下快门按钮并获取捕捉图像时的运动引起的图像模糊，并且执行对计算的图像模糊的校正。

发明内容

顺便提及，在基于运动检测结果来校正捕捉图像的图像模糊的情况下，如果运动检测和捕捉图像的获取之间的时间差足够短，则运动检测结果更加正确地指示对图像进行捕捉的时间点的运动，这样一来就可以更加准确地校正图像模糊。然而，如果运动检测和捕捉图像的获取之间的时间差大，则运动检测结果和对图像进行捕捉的时间点的运动彼此不同，这样一来就存在如下担忧：运动校正亦即图像模糊校正的性能可能恶化。

因此，在本技术中，希望提供可以提高运动校正性能的信息处理装置、信息处理方法和成像装置。

根据本技术的实施例，提供了一种信息处理装置，该信息处理装置包括：放大检测单元，其根据指示运动检测结果的运动信息和图像的帧速率，检测运动校正中的所述图像的运动相对于通过运动生成的所述图像的运动的放大；以及信息抑制单元，其基于所述放大检测单元的检测结果抑制所述运动信息指示的运动，使得所述图像的运动在所述运动校正中不被放大，并且生成所述运动校正中使用的校正运动信息。

在这个技术中，根据指示运动检测结果的运动信息和图像的帧速率，检测运动校正中的图像的运动相对于通过运动生成的图像的运动的放大。例如，存在如下情况：通过计算指示对运动校正中的图像的运动进行放大的分量比例的稳定率，并且通过将稳定率转换成将要用作检测结果的运动信息的校正率，根据指示成像装置生成的图像的帧速率和成像装置的抖动的运动信息，来校正成像装置的抖动造成的图像的运动。例如，基于对应于预定帧数的运动信息以及从运动信息提取的对图像的运动进行放大的分量或者不对图像的运动进行放大的分量，来计算稳定率。另外，通过切换其中稳定率被转换成校正率的转换特性，可以切换运动校正的校正特性。例如，在其中在运动校正中强调图像的运动的放大抑制的情况下，转换特性被设置成使得与强调校正准确性的情况相比，在其中稳定率低的区间中，其中抖动校正未被执行的状态下的校正率区间更长。以这种方式获得基于校正率的运动信息的抑制，并且使用抑制的运动信息执行运动校正。

另外，使用运动信息执行运动预测，然后生成运动预测信息。在运动预测中，使用一个或多个不同的预测模型。在运动预测信息的预测误差小于预先设置的阈值的情况下，运动预测信息用作校正运动信息；而在预测误差等于或大于预先设置的阈值的情况下，抑制的运动信息用作校正运动信息。然后使用校正运动信息来执行运动校正。进而，在使用多个不同的预测模型的情况下，并且在最小预测误差小于预先设置的阈值的情况下，通过使用具有最小预测误差的预测模型而获得的运动预测信息用作校正运动信息。另外，在生成运动信息的运动检测单元中，通过使用图像的一部分生成运动信息，来减少其中执行运动校正的图像和运动检测之间的时间差。

根据本技术的另一个实施例，提供了一种信息处理方法，该方法包括：根据指示运动检测结果的运动信息和图像的帧速率，检测运动校正中的所述图像的运动相对于通过运动生成的所述图像的运动的放大；以及基于检测结果抑制所述运动信息指示的运动，使得所述图像的运动在所述运动校正中不被放大，并且生成所述运动校正中使用的校正运动信息。

根据本技术的还有另一个实施例，提供了一种成像装置，该成像装置包括：成像单元，其生成捕捉图像的图像信号；运动检测单元，其检测所述装置的运动并且生成运动信息；放大检测单元，其根据运动信息和图像的帧速率，检测运动校正中的所述图像的运动相对于通过所述装置的运动生成的所述图像的运动的放大；信息抑制单元，其基于所述放大检测单元的检测结果抑制所述运动信息指示的运动，使得所述图像的运动在所述运动校正中不被放大，并且生成所述运动校正中使用的校正运动信息；以及校正单元，其基于所述信息抑制单元生成的校正运动信息，执行对所述捕捉图像的运动校正。

根据本技术，根据指示图像的帧速率和运动检测结果的运动信息，检测运动校正中的图像的运动相对于通过运动生成的图像的运动的放大。另外，基于放大检测单元的检测结果而使得图像的运动在运动校正中不被放大的运动信息所指示的运动被抑制，然后生成运动校正中使用的校正运动信息。因此，例如通过基于校正运动信息执行运动校正，由于可以防止图像模糊在抖动校正中增加，所以可以提高运动校正的性能。

附图说明

图1是图示抖动频率和抖动校正之后的振幅放大率之间的关系的示图；

图2A和2B是图示（在抖动频率低的情况下）抖动校正之前和之后的抖动振幅的示图；

图3A和3B是图示（在抖动频率高的情况下）抖动校正之前和之后的抖动振幅的示图；

图4是图示使用根据本技术的信息处理装置的成像装置的配置的示图；

图5是图示第一实施例中的抖动校正控制单元的配置的示图；

图6是图示抖动校正操作的例子的流程图；

图7是图示抑制处理单元的第一配置的示图；

图8A至8C是图示将稳定率转换成校正率的情况下的转换特性的示图；

图9是图示放大检测单元的配置的示图；

图10是图示放大检测单元的修改例子的示图；

图11是图示放大检测单元的修改例子的示图；

图12是图示放大检测单元的修改例子的示图；

图13是图示在提供抑制处理单元的情况下抖动频率和抖动校正之后的振幅放大率之间的关系的示图；

图14是图示抑制处理单元的第二配置的示图；

图15是图示抑制处理单元的第三配置的示图；

图16是图示第二实施例中的抖动校正控制单元的配置的示图；

图17是图示第二实施例中的抖动校正操作的流程图；

图18是用于描述多项式逼近模型的示图；

图19是用于描述自回归模型的示图；

图20是图示预测确定单元的第一配置的示图；

图21是图示（在一帧时延的情况下）运动检测结果、运动预测结果和抖动校正的定时的示图；

图22是图示（在0.5帧时延的情况下）运动检测结果、运动预测结果和抖动校正的定时的示图；

图23是图示当使用运动预测结果执行抖动校正时抖动频率和抖动校正之后的振幅放大率之间的关系的示图；

图24是图示预测确定单元的第二配置的示图；

图25是图示使用多个运动预测的情况下的操作的流程图；

图26是图示在使用运动预测结果和抑制处理来执行抖动校正的情况下抖动频率和抖动校正之后的振幅放大率之间的关系的示图；

图27是图示使用运动检测传感器的成像装置的配置的示图；以及

图28是用于描述通过缩短延迟时间来抑制逆校正的情况的示图。

具体实施方式

在下文中描述用于实施本技术的实施例。按照以下顺序进行描述。

1.关于运动校正性能的恶化

2.成像装置的配置

3.第一实施例

3-1.第一实施例中的配置

3-2.第一实施例中的操作

3-3.抑制处理单元的第一配置和操作

3-3-1.放大检测单元的配置和操作

3-3-2.放大检测单元的修改例子

3-4.抑制处理单元的第二配置

3-5.抑制处理单元的第三配置

4.第二实施例

4-1.第二实施例中的配置

4-2.第二实施例中的操作

4-3.关于运动预测

4-4.预测确定单元的第一配置和操作

4-5.预测确定单元的第二配置和操作

5.其它实施例

1.关于运动校正性能的恶化

当运动检测和捕捉图像的获取之间的时间差大时，运动检测结果和对图像进行捕捉的时间点的运动之间的差异变大，存在运动校正的性能可能恶化的担忧。

通过运动检测在时间x检测的运动向量MVh（x）被模型化为如方程（1）中所示的正弦波。在方程（1）中，“Fi”是运动检测的采样频率，“Fh”是检测的运动的频率。在像这样模型化的情况下，运动校正的效果可以如方程（2）所示。此外，当针对每个帧执行运动校正时，方程（2）展示了如下情况：使用运动向量“VB”从帧“P0”至帧“P（t-1）”的累积量和一帧延迟的运动向量“VC”（=MVh（x-1））的累积量，运动向量“VA”从帧“P0”至帧“Pt”的累积量被校正为“VA-（VB+VC）”。另外，从方程（2）计算的值是运动校正之后的振幅放大率。

${\mathrm{MV}}_h\left(t\right)=\sin (2\mathrm{\π}\frac{F_h}{F_i}\·t)...\left(1\right)$

因此，例如在执行摄影机抖动等的校正的情况下，在抖动校正之后的振幅放大率小于“1”的条件下，可以通过执行抖动校正来降低图像模糊。然而，在抖动校正之后的振幅放大率大于“1”的情况下，通过执行抖动校正可能增加图像模糊。另外，方程（3）展示了边界条件，在所述边界条件下，通过执行抖动校正增加或降低图像模糊。

$4{\sin }^2(\mathrm{\π}\·\frac{F_h}{F_i})=1...\left(3\right)$

图1图示了其中捕捉图像的帧速率为30帧/秒并且运动检测和捕捉图像的获取之间的时间差为一个帧周期的情况下的抖动频率和抖动校正之后的振幅放大率之间的关系。在这种情况下，当抖动频率低于5Hz时，抖动校正之后的振幅放大率小于“1”。因此，通过基于指示运动检测结果如运动检测向量的运动信息来执行抖动校正，可以降低图像模糊。随同抖动频率接近至5Hz，抖动校正的效果下降。当抖动校正之后的振幅放大率在5Hz处变为“1”时，抖动校正的效果被消除。另外，抖动频率变得如此之高以至于超过5Hz，抖动校正之后的振幅放大率变得大于“1”，通过抖动校正增加了图像模糊，于是副作用增加。在下文的描述中，图像模糊通过抖动校正而增加的情况被称为“逆校正”。

图2A、2B和图3A、3B图示了校正之前和之后的抖动的振幅。如图2A和2B所示，在抖动频率低的情况下，通过基于相对于图2A所示的抖动的运动检测结果来执行抖动校正，可以如图2B所示降低振幅。然而，如图3A和3B所示，在抖动频率高的情况下，当基于相对于图3A所示的抖动的运动检测结果来执行抖动校正时，如图3B所示，与校正之前相比，振幅变得更大，亦即变成逆校正。

因此，在本技术中的信息处理装置和信息处理方法中，根据指示运动检测结果的运动信息和图像的帧速率，运动校正中的图像上的运动相对于由于运动而发生的图像上的运动的放大被检测。另外，根据检测结果，通过以运动在运动校正期间不被放大的方式来抑制运动信息中的运动而生成校正运动信息，然后通过使用这样的校正运动信息来执行运动校正，可以防止执行逆校正。

2.成像装置的配置

图4是图示使用根据本技术的信息处理装置的成像装置的配置的示图。成像装置10包括成像光学系统11、成像单元12、运动检测单元20、校正控制单元30和校正单元50。进而，成像装置10包括图像处理单元61、显示单元62、记录单元63、用户接口（I/F）单元64和控制单元65。

成像光学系统11配置成具有聚焦透镜或变焦透镜等。在成像光学系统11中，例如，通过在光轴方向上移动聚焦透镜来执行聚焦调整。另外，通过在光轴方向上移动变焦透镜可以改变焦距。

成像单元12配置成包括成像元件、预处理单元和成像驱动单元等。成像元件执行光电转换过程，以将成像光学系统11在成像表面上形成的光学图像转换成电信号。例如，电荷耦合器件（CCD）图像传感器或互补金属氧化物半导体（CMOS）图像传感器用作成像元件。预处理单元关于成像元件中生成的电信号执行噪声去除过程如相关双采样（CDS）。另外，预处理单元执行增益调整，以使电信号电平成为期望的信号电平。进而，预处理单元执行A/D转换过程，以将其中噪声被去除并且执行了增益调整的电信号转换成数字信号，并且将数字图像信号输出到运动检测单元20和校正单元50。基于来自稍后描述的控制单元65的控制信号，成像驱动单元执行驱动成像元件所必须的操作脉冲等的生成。例如，成像驱动单元执行用于读出电荷的电荷读出脉冲、用于执行垂直或水平方向上的传输的传输脉冲和用于执行电子快门操作的快门脉冲的生成。

运动检测单元20使用从成像单元12供应的图像信号执行运动检测，并且生成指示成像装置10的抖动的运动检测向量作为运动信息。运动检测单元20计算全局运动向量，并且将计算的全局运动向量输出到校正控制单元30作为运动检测向量。

根据生成的捕捉图像的帧速率和运动检测向量，校正控制单元30检测成像装置的抖动所造成的图像上的运动的抖动校正中的图像模糊的放大。另外，校正控制单元30基于检测结果以图像模糊在抖动校正中不被放大的方式抑制运动检测向量，并且生成校正的运动向量以用于运动校正。

通过以从校正控制单元30供应的校正运动向量中指示的运动被校正的方式执行捕捉图像的抖动校正，校正单元50生成其中图像模糊被校正使得逆校正未被执行的捕捉图像的图像信号，并且将图像信号输出到图像处理单元61。

图像处理单元61关于从校正单元50输出的图像信号例如执行非线性处理如伽马校正和拐点校正、颜色校正处理和轮廓强调处理。图像处理单元61将处理的图像信号输出到显示单元62和记录单元63。

显示单元62配置显示面板或电子取景器，并且基于从图像处理单元61输出的图像信号执行摄影机通过图像的显示。另外，显示单元62执行菜单显示或操作状态显示，以便执行成像装置10的操作设置。此外，在显示单元62的显示像素的数目小于捕捉图像的情况下，显示单元62执行将捕捉图像转换成具有显示像素数目的显示图像。

记录单元63将从图像处理单元61输出的图像信号记录到记录介质中。记录介质可以是可移动的记录介质如存储卡、光盘和磁带，或者可以是固定式硬盘驱动器（HDD）或半导体存储模块。另外，通过在记录单元63中提供编码器和解码器，并且对图像信号执行解压缩解码和压缩编码，然后编码的信号可以记录在记录介质中。此外，在记录单元63中，记录介质中记录的图像信号或编码信号被读出，然后记录的图像可以显示在显示单元62上。

用户接口（用户I/O）单元64配置成包括变焦杆和拍摄按钮。用户接口（用户I/O）单元64根据用户操作生成操作信号，并且将信号输出到控制单元65。

控制单元65例如包括中央处理单元（CPU）、只读存储器（ROM）、随机存取存储器（RAM）。CPU根据需要读出并执行ROM中存储的控制程序。在ROM中，预先存储CPU中执行的程序、各种过程所必须的各种数据。RAM是用作所谓工作区的存储器，在所述工作区中临时存储处理的中间结果。另外，在ROM或RAM中，存储各种控制信息或校正数据。控制单元65根据来自用户接口（用户I/O）单元64的操作信号执行对每个单元的控制，并且使根据用户操作的操作在成像装置10中执行。

3.第一实施例

3-1.第一实施例中的配置

图5图示了第一实施例中的抖动校正控制单元的配置。使用抑制处理单元31来配置抖动校正控制单元30。根据运动检测向量和捕捉图像的帧速率，抑制处理单元31检测抖动校正中的图像模糊的放大。抑制处理单元31例如提取以下两个分量中的任何一个：在基于运动检测向量执行抖动校正的情况下不对图像模糊进行放大的分量和对图像模糊进行放大的分量。在基于提取结果的运动检测向量中，抑制处理单元31计算指示在抖动校正中不对图像模糊进行放大的分量的比例的稳定率，并且在运动检测向量的抑制中将稳定率转换成校正率。抑制处理单元31基于校正率来抑制运动检测向量，并且生成作为校正运动信息的校正运动向量。抑制处理单元31将抑制处理单元31生成的校正运动向量输出到校正单元50。

3-2.第一实施例中的操作

图6是图示第一实施例中的抖动校正操作的例子的流程图。在步骤ST1中，运动检测单元20获取图像信号。运动检测单元20获取成像单元12中生成的图像信号，并且前进到步骤ST2。

在步骤ST2中，运动检测单元20执行运动检测。运动检测单元20使用获取的图像信号执行运动检测，并且生成指示成像装置的抖动的运动检测向量。运动检测单元20将生成的运动检测向量输出到校正控制单元30，并且前进到步骤ST3。

在步骤ST3中，校正控制单元30生成校正的运动向量。根据捕捉图像的帧速率和步骤ST2中生成的校正的运动检测向量，校正控制单元30的抑制处理单元31检测抖动校正中的图像模糊的放大。另外，抑制处理单元31根据检测结果以在抖动校正中不对图像模糊进行放大的方式抑制运动检测向量并生成校正的运动向量，并且前进到步骤ST4。

在步骤ST4中，校正单元50执行抖动校正。校正单元50基于校正的运动向量执行抖动校正，并且生成其中成像装置的抖动的影响被去除的捕捉图像的图像信号。此外，在抖动校正中，例如通过从读出区域读出每个像素信号，所述读出区域具有比来自成像单元12的期望尺寸的面积大的尺寸，并且根据校正的运动向量从读出区域的图像中切掉期望尺寸的面积的图像，然后生成其中成像装置的抖动的影响被去除的捕捉图像的图像信号。另外，根据校正的运动向量，通过改变来自成像单元12的图像的读出位置，可以生成其中执行了抖动校正的图像信号。

3-3.抑制处理单元的第一配置和操作

图7是图示抑制处理单元的第一配置的示图。校正控制单元30的抑制处理单元31包括放大检测单元32和作为信息抑制单元的乘法器38。

根据图像的帧速率和运动检测向量，放大检测单元32检测抖动校正中的图像模糊。例如，放大检测单元32提取在基于运动检测向量执行抖动校正的情况下不对图像模糊进行放大的分量，并且计算提取的分量对运动检测向量的比例作为稳定率。进而，放大检测单元32将稳定率转换成运动检测向量的校正率，并且将校正率输出到乘法器38。例如使用转换表或者通过执行计算，放大检测单元32将稳定率转换成运动检测向量的校正率。乘法器38通过将运动检测向量乘以校正率来执行运动检测向量的抑制，并且生成校正的运动向量，然后将校正的运动向量输出到校正单元50。

将稳定率转换成校正率中的转换特性可以预先确定，或者可以确定为可切换的。例如，放大检测单元32使用以下转换中的任何一个作为预先确定的特性：强调逆校正测量的转换（逆校正测量强调型），其为对抖动校正中的图像模糊的放大的抑制；强调校正的准确性的转换（校正准确性强调型）；以及既强调校正准确性又强调逆校正测量的转换（平衡型）。另外，放大检测单元32可以配置成选择任何类型的特性。

表1展示了转换特性的特征。在逆校正测量强调型中，低稳定率状态下的基于运动检测向量的抖动校正被设置为更加难以执行。特别地，在稳定率低的区间中，与校正准确性强调型中或平衡型中的相比，其中校正率为“0”（其中抖动校正未被执行的状态）的校正率区间被设置得更长。在校正准确性强调型中，高稳定率状态下的基于运动检测向量的抖动校正被设置为更加易于执行。特别地，在稳定率高的区间中，与逆校正测量强调型中或平衡型中的相比，其中校正率为“1”（其中运动检测向量未被抑制的状态）的校正率区间被设置得更长。在平衡型中，与逆校正测量强调型相比，高稳定率状态下的基于运动检测向量的抖动校正被设置得易于执行。另外，在平衡型中，与校正准确性强调型相比，低稳定率状态下的基于运动检测向量的抖动校正被设置得难以执行。特别地，其中校正率为“1”的校正率区间被设置为近似0.25（25%），其与校正准确性强调型中的相比更窄；并且其中校正率为“1”的校正率区间被设置为近似0.25（25%），其与逆校正测量强调型中的相比更窄。

表1

另外，关于其中校正率大于“0”并且小于“1”的过渡区间，如表2中指示的那样，在其中校正率根据稳定率迅速变化的第一特征的情况下，过渡区间设置为短。另外，在其中校正率根据稳定率缓慢变化的第三特征的情况下，与第一特性的情况下相比，过渡区间设置得较长。另外，在其中校正率与第一特征中相比变化得更慢并且与第三特征中相比变化得更快的情况下，过渡区间被设置为比第一特征中的长，而比第三特征中的短，例如设置为近似“0.5”（50%）的区间。

表2

图8A至8C图示了将稳定率转换成校正率的情况下的转换特性。图8A图示了强调逆校正测量的情况下的转换特性。例如，在稳定率低于0.5的情况下，校正率设置为“0”。另外，在稳定率高于0.5的情况下，校正率随同稳定率的增加一起增加，最终当稳定率为“1”时，校正率设置为“1”。

图8B图示了强调校正准确性的情况下的转换特性。例如，在稳定率等于或高于0.5的情况下，校正率设置为“1”。另外，在稳定率变得低于“0.5”的情况下，校正率随同稳定率的降低一起降低，最终当稳定率为“0”时，校正率设置为“0”。

图8C图示了既强调逆校正测量又强调校正准确性的情况下的转换特性。例如，在稳定率等于或低于0.25的情况下，校正率设置为“0”。在稳定率等于或高于0.75的情况下，校正率设置为“1”。进而，在稳定率高于0.25并且低于0.75的情况下，校正率随同稳定率的增加一起增加，值设置成处于“0”至“1”的范围内。

此外，在图8A至8C中，图示了这样一种情况：在高于“0”和低于“1”的校正率范围内，校正率相对于稳定率的变化是恒定的。然而，校正率相对于稳定率的变化可以不是恒定的。例如，在校正率接近于“0”和“1”的位置中，通过减少校正率的变化量，可以平滑地改变校正率。

3-3-1.放大检测单元的配置和操作

图9图示了放大检测单元的配置例子。放大检测单元32包括低通滤波器（LPF）321、绝对值平均计算单元323和324、除法计算单元331以及校正率确定单元336。

低通滤波器（LPF）321对运动检测向量执行滤波过程，并且提取在基于运动检测向量执行抖动校正的情况下不对图像模糊进行放大的分量。LPF321将提取的低频分量信号输出到绝对值平均计算单元323。此外，在滤波过程中，当处理端侧的像素时，回过来使用过去的像素。

使用与一直到多个以前帧的预定数目的帧相对应的低频分量信号，例如使用与从当前到过去方向的10个帧相对应的低频分量信号，绝对值平均计算单元323计算绝对值的平均值。绝对值平均计算单元323将计算的平均值输出到除法计算单元331。

使用与一直到多个以前帧的预定数目的帧相对应的运动检测向量，例如使用与从当前到过去方向的10个帧相对应的运动检测向量，绝对值平均计算单元324计算绝对值的平均值。绝对值平均计算单元324将计算的平均值输出到除法计算单元331。

通过使用与预定数目的帧相对应的低频分量信号和运动检测向量，绝对值平均计算单元323和324可以获得稳定的平均值。

通过将绝对值平均计算单元323计算的平均值除以绝对值平均计算单元324计算的平均值，除法计算单元331计算稳定率，所述稳定率是在运动检测向量中不对图像模糊进行放大的分量的比例。除法计算单元331将计算的稳定率输出到校正率确定单元336。

以这种方式，通过执行方程（4）中的运算的低通滤波器（LPF）321、绝对值平均计算单元323和324以及除法计算单元331，放大检测单元32计算稳定率，并且将计算的稳定率输出到校正率确定单元336。

基于除法计算单元331计算的稳定率，校正率确定单元336确定校正率。通过使用转换表，或者通过执行如上所述的计算操作，校正率确定单元336执行将稳定率转换成校正率的过程，然后基于稳定率确定校正率。

3-3-2.放大检测单元的修改例子

图10至12图示了放大检测单元的修改例子。图10中的放大检测单元图示了使用绝对值之和来计算稳定率的情况。放大检测单元32包括低通滤波器（LPF）321、绝对值求和计算单元325和326、除法计算单元332以及校正率确定单元336。

LPF321对运动检测向量执行滤波过程，并且提取在执行基于运动检测向量的抖动校正的情况下不对图像模糊进行放大的分量。LPF321将提取的低频分量信号输出到绝对值求和计算单元325。

使用与一直到多个以前帧的预定数目的帧相对应的低频分量信号，例如使用与从现在到过去方向的10个帧相对应的低频分量信号，绝对值求和计算单元325计算绝对值之和。绝对值之和计算单元325将计算的绝对值之和输出到除法计算单元332。

使用与一直到多个以前帧的预定数目的帧相对应的运动检测向量，例如使用与从现在到过去方向的10个帧相对应的运动检测向量，绝对值求和计算单元326计算绝对值之和。绝对值之和计算单元326将计算的绝对值之和输出到除法计算单元332。

通过将绝对值之和计算单元325计算的绝对值之和除以绝对值之和计算单元326计算的绝对值之和，除法计算单元332计算稳定率，所述稳定率是在运动检测向量中不对图像模糊进行放大的分量的比例。除法计算单元332将计算的稳定率输出到校正率确定单元336。

基于除法计算单元332计算的稳定率，校正率确定单元336确定校正率。通过使用转换表，或者通过执行如上所述的计算操作，校正率确定单元336执行将稳定率转换成校正率的过程，然后基于稳定率确定校正率。

图11中的放大检测单元图示了提取分量的情况，所述分量在执行抖动校正的情况下对图像模糊进行了放大。放大检测单元32包括高通滤波器（HPF）322、绝对值平均计算单元323和324、除法计算单元333、稳定率计算单元334以及校正率确定单元336。

HPF322对运动检测向量执行滤波过程，并且提取在基于运动检测向量执行抖动校正的情况下对图像模糊进行放大的分量。HPF322将提取的高频分量信号输出到绝对值平均计算单元323。

使用与一直到多个以前帧的预定数目的帧相对应的高频分量信号，例如使用与从现在到过去方向的10个帧相对应的高频分量信号，绝对值平均计算单元323计算绝对值的平均值。绝对值平均计算单元323将计算的平均值输出到除法计算单元333。

使用与一直到多个以前帧的预定数目的帧相对应的运动检测向量，例如使用与从现在到过去方向的10个帧相对应的运动检测向量，绝对值平均计算单元324计算绝对值的平均值。绝对值平均计算单元324将计算的平均值输出到除法计算单元333。

通过将绝对值平均计算单元323计算的平均值除以绝对值平均计算单元324计算的平均值，除法计算单元333计算稳定率，所述稳定率是在运动检测向量中对图像模糊进行放大的分量的比例。除法计算单元333将计算的比例输出到稳定率计算单元334。

使用除法计算单元333计算的比例，稳定率计算单元334执行稳定率的计算。除法计算单元333计算的比例是在运动检测向量中对图像模糊进行放大的分量的比例。因此，通过执行“1－（除法计算单元333计算的比例）”的运算，稳定率计算单元334计算稳定率。稳定率计算单元334将计算的稳定率输出到校正率确定单元336。

基于稳定率计算单元334计算的稳定率，校正率确定单元336确定校正率。通过使用转换表，或者通过执行如上所述的计算操作，校正率确定单元336执行将稳定率转换成校正率的过程，然后基于稳定率确定校正率。

图12中图示的放大检测单元图示了使用峰值来计算稳定率的情况。放大检测单元32包括低通滤波器（LPF）321、峰值检测单元327和328、除法计算单元335以及校正率确定单元336。

LPF321对运动检测向量执行滤波过程，并且提取在基于运动检测向量执行抖动校正的情况下不对图像模糊进行放大的分量。LPF321将提取的低频分量信号输出到峰值检测单元327。

从与一直到多个以前帧的预定数目的帧相对应的低频分量信号中，例如从与从现在到过去方向的10个帧相对应的低频分量信号中，峰值检测单元327检测峰值。峰值检测单元327将检测的峰值输出到除法计算单元335。

使用与一直到多个以前帧的预定数目的帧相对应的运动检测向量，例如使用与从现在到过去方向的10个帧相对应的运动检测向量，峰值检测单元328检测峰值。峰值检测单元328将检测的峰值输出到除法计算单元335。

通过将峰值检测单元327检测的峰值除以峰值检测单元328检测的峰值，除法计算单元335计算不对图像模糊进行放大的分量的峰值相对于运动检测向量的峰值的比例作为稳定率。除法计算单元335将计算的稳定率输出到校正率确定单元336。

基于除法计算单元335计算的稳定率，校正率确定单元336确定校正率。通过使用转换表，或者通过执行如上所述的计算操作，校正率确定单元336执行将稳定率转换成校正率的过程，然后基于稳定率确定校正率。

以这种方式，根据抑制处理单元的第一配置，例如在捕捉图像的帧速率为30帧/秒并且运动检测和捕捉图像的获取之间的时间差为一个帧周期的情况下，当抖动频率超过5Hz时，在抑制处理单元31中，运动检测向量的振幅被抑制，并且生成校正的运动向量。因此，上面的方程（2）中描述的抖动校正之后的振幅放大率可以被抑制到“1”，并且即使当抖动频率如图13所示变得如此之高以至于超过5Hz时，抖动校正之后的振幅放大率也被限制到“1”，并且可以抑制逆校正。

3-4.抑制处理单元的第二配置

顺便提及，在上面描述的抑制处理单元的第一配置中，描述了这样一种情况：抑制运动检测向量的振幅，并且以在执行抖动校正时图像模糊不由于逆校正而变大的方式生成校正的运动向量。然而，抑制处理单元可以关于运动检测向量执行滤波过程，并且生成校正的运动向量，其以不执行逆校正的方式控制抖动校正。接下来，执行关于运动检测向量的滤波过程和生成校正的运动向量的情况将会被描述为抑制处理单元的第二配置。

图14图示了抑制处理单元的第二配置。抑制处理单元31包括LPF35。在第二配置中，LPF35对应于第一配置中的放大检测单元32和乘法器38。LPF35执行运动检测向量的滤波过程，并且从运动检测向量中去除在基于运动检测向量执行抖动校正的情况下对图像模糊进行放大的分量。LPF35将滤波的运动检测向量输出到校正单元50作为校正的运动向量。

根据第二配置，由于使用低通滤波器执行运动检测向量的抑制，所以可以以低延迟执行运动检测向量的抑制处理，即使存在与第一配置中的相比抑制效果恶化的担忧。

3-5.抑制处理单元的第三配置

进而，抑制处理单元可以配置成第一配置和第二配置的组合。接下来，以第一配置和第二配置的组合的方式生成校正的运动向量的情况将会被描述为抑制处理单元31的第三配置。

图15图示了抑制处理单元的第三配置。抑制处理单元31包括放大检测单元32、低通滤波器（LPF）35和乘法器38。

放大检测单元32计算在基于运动检测向量执行抖动校正的情况下不对图像模糊进行放大的分量的比例作为稳定率。进而，放大检测单元32基于稳定率确定抖动校正的校正率，并且将确定的校正率输出到乘法器38。例如使用转换表或者执行操作，放大检测单元32将稳定率转换成校正率。

LPF35执行运动检测向量的滤波过程，并且去除在基于运动检测向量执行抖动校正的情况下对图像模糊进行放大的分量。LPF35将滤波的运动检测向量输出到乘法器38。

通过将滤波的运动检测向量乘以校正率，乘法器38生成校正的运动向量，并且将校正的运动向量输出到校正单元50。

根据第三配置，与第一和第二配置相比成本增加。然而，与第一配置中的相比可以以更低的延迟执行运动检测向量的抑制处理，并且与第二配置中的相比可以获得更高的抑制效果。

4.第二实施例

顺便提及，第一实施例中的校正控制单元具有防止逆校正的目标，在所述逆校正中，图像模糊被抖动校正放大。然而，校正控制单元可以配置成使得以高准确性执行抖动校正，同时防止逆校正。接下来在第二实施例中，将会描述其中以高准确性执行抖动校正同时防止逆校正的校正控制单元的配置和操作。

4-1.第二实施例中的配置

图16图示了第二实施例中的抖动校正控制单元的配置。使用抑制处理单元31、运动预测单元41和选择处理单元42来配置抖动校正控制单元30。

与第一实施例相类似，抑制处理单元31根据运动检测向量和捕捉图像的帧速率来检测抖动校正中的图像模糊的放大，并且基于检测结果执行运动检测向量的抑制，并且将抑制的运动检测向量输出到选择处理单元42。

运动预测单元41基于运动检测向量预测在获取捕捉图像时的运动。运动预测单元41生成指示运动预测结果的运动预测信息亦即运动预测向量，并且将运动预测向量输出到选择处理单元42。

选择处理单元42包括预测确定单元43和选择器45。预测确定单元43基于运动预测向量和运动检测向量来计算预测误差，并且确定预测误差是否小于预先确定的阈值。预测确定单元43在预测误差小于阈值时将预测确定为预测成功，并且在预测误差等于或大于阈值时将预测确定为预测失败，并且将确定结果输出到选择器45。

基于预测确定单元43的确定结果，选择器45选择从抑制处理单元31供应的抑制的运动向量或者从运动预测单元41供应的运动预测向量中的任何一个作为校正的运动向量。在确定结果被指示为预测成功的情况下，选择器45选择从运动预测单元41供应的运动预测向量，并且将运动预测向量输出到校正单元50作为校正的运动向量。另外，在确定结果被指示为预测失败的情况下，选择器45选择从抑制处理单元31供应的抑制的运动向量，并且将抑制的运动向量输出到校正单元50作为校正的运动向量。

校正单元50使用从选择处理单元42供应的校正的运动向量来执行抖动校正，并且生成其中图像模糊被校正的捕捉图像的图像信号，并且将图像信号输出到图像处理单元61。

4-2.第二实施例中的操作

图17是图示第二实施例中的抖动校正操作的流程图。运动检测单元20在步骤ST11中获取图像信号。运动检测单元20获取成像单元12生成的图像信号，并且前进到步骤ST12。

运动检测单元20在步骤ST12中执行运动检测。运动检测单元20使用获取的图像信号执行运动检测，并且生成指示成像装置的抖动的运动检测向量。运动检测单元20将生成的运动检测向量输出到校正控制单元30，并且前进到步骤ST13和ST14。

校正控制单元30在步骤ST13中执行抑制处理。根据捕捉图像的帧速率和步骤ST12中生成的运动检测向量，校正控制单元30的抑制处理单元31检测抖动校正中的图像模糊的放大。另外，抑制处理单元31根据检测结果抑制运动检测向量以便在抖动校正中不对图像模糊进行放大，并且前进到步骤ST15。

校正控制单元30在步骤ST14中执行运动预测。校正控制单元30使用在步骤ST12中生成的运动检测向量预测在获取捕捉图像时的运动，并且生成指示预测结果的运动预测向量，并且前进到步骤ST15。这里，图17图示了并行执行步骤ST13和ST14中的处理的情况。然而，可以首先执行步骤ST13和ST14中的处理中的任何一个，然后可以执行另一个处理。

校正控制单元30在步骤ST15中执行预测确定。校正控制单元30基于运动预测向量和运动检测向量来计算预测误差，并且比较计算的预测误差和预先设置的阈值。校正控制单元30在预测误差小于阈值时确定预测成功，在预测误差等于或大于阈值时确定预测失败，并且前进到步骤ST16。

校正控制单元30在步骤ST16中执行选择处理。在步骤ST15中的确定结果为预测成功的情况下，校正控制单元30选择在步骤ST14中生成的运动预测向量作为校正的运动向量。另外，在步骤ST15中的确定结果为预测失败的情况下，校正控制单元30选择在步骤ST13中生成的抑制的运动检测向量作为校正的运动向量，并且前进到步骤ST17。

校正单元50在步骤ST17中执行抖动校正。校正单元50使用在步骤ST16中的选择处理中获得的校正的运动向量来执行抖动校正，并且生成其中成像装置的抖动的影响被去除的捕捉图像的图像信号。此外，在抖动校正中，例如通过从读出区域读出每个像素信号，所述读出区域具有比来自成像单元12的期望尺寸的面积大的尺寸，并且根据校正的运动向量从读出区域的图像中切掉期望尺寸的面积的图像，然后生成其中成像装置的抖动的影响被去除的捕捉图像的图像信号。另外，根据校正的运动向量，通过改变来自成像单元12的图像的读出位置，可以生成其中执行了抖动校正的图像信号。

4-3.关于运动预测

作为运动预测中使用的预测方法，可以使用诸如动力学模型、多项式逼近模型和自回归模型等之类的预测模型。

在动力学模型中，根据成像装置的运动使用动力学模型来执行运动预测。作为动力学模型的例子，包括匀速运动、匀加速运动和振动运动。在匀速运动中满足方程（5）。另外，在匀加速运动中满足方程（6）。在振动运动中满足方程（7）。此外，在方程（7）中，可以使用最陡下降方法来计算参数“Aj、Bj和Cj”的值。

MV(t)=MV(t-1)…(5)

MV(t)=MV(t-1)+{MV(t-1)-MV(t-2)}…(6)

$\mathrm{MV}\left(t\right)=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}{C}_i{t}^i+\underset{j=0}{\overset{n}{\mathrm{\Σ}}}\{A_j\sin \left({\mathrm{\ω}}_{j}t\right)-B_j\cos \left({\mathrm{\ω}}_{j}t\right)\}...\left(7\right)$

在多项式逼近模型中，例如使用二次至四次逼近函数通过拟合来获得逼近运动的函数，然后通过该函数来执行运动预测。例如如图18所示，通过使用一直到时间（t－1）中的点的数据（黑点的运动）通过k阶函数逼近黑点的运动，然后通过使用逼近函数，可以如方程（8）中展示的那样计算时间t中的点处的运动向量MV（t）。此外，可以使用最小二乘法来计算逼近函数Di。

$\mathrm{MV}\left(t\right)=\underset{i=0}{\overset{m}{\mathrm{\Σ}}}{D}_i{t}^i...\left(8\right)$

在自回归模型中，例如如图19所示，使用一直到时间（t－1）中的点的p个黑点的参考数据来计算时间（t）中的点处的运动向量MV（t）。此外，在方程（9）中展示的自回归模型的方程中，可以使用yule-walker方法或burg方法等来计算自回归系数Gi。

$\mathrm{MV}\left(t\right)=\underset{i=1}{\overset{p}{\mathrm{\Σ}}}G\left(i\right)\mathrm{MV}(t-i)+e\left(t\right)...\left(9\right)$

4-4.预测确定单元的第一配置和操作

图20图示了预测确定单元的第一配置。运动预测单元41使用上面描述的预测模型中的任何一个来执行运动预测，并且将运动预测向量输出到选择处理单元42。

选择处理单元42包括预测确定单元43和选择器45，并且预测确定单元43包括延迟单元431、插值单元432、差计算单元433和阈值比较单元435。

延迟单元431使运动预测单元41获取的运动预测向量延迟，并且与运动检测单元20生成的运动检测向量同步。延迟单元431将延迟的运动预测向量输出到差计算单元433。

插值单元432例如在延迟单元431中的延迟量不是采样的整数周期的情况下针对每个帧执行运动检测向量的生成，或者在运动检测向量相对于运动预测向量的延迟不是采样的整数周期的情况下执行插值处理。通过使用运动检测向量执行插值，插值单元432生成与运动预测向量同步的运动检测向量。插值单元432将生成的运动检测向量输出到差计算单元433。

差计算单元433计算从延迟单元431供应的运动预测向量和从插值单元432供应的运动检测向量之间的差。向差计算单元433供应的运动预测向量和运动检测向量是具有同步定时的运动向量。因此，差计算单元433中计算的差指示预测误差。差计算单元433将计算的差亦即预测误差输出到阈值比较单元435。

阈值比较单元435将差计算单元433计算的预测误差与预先设置的阈值进行比较。阈值比较单元435在预测误差小于阈值时确定预测成功，并且在预测误差等于或大于阈值时确定预测失败。阈值比较单元435将指示确定结果的确定信号输出到选择器45。

基于预测确定单元43的确定结果，选择器45选择从抑制处理单元31供应的抑制的运动检测向量或者从运动预测单元41供应的运动预测向量中的任何一个作为校正的运动向量。在确定结果被指示为预测成功的情况下，选择器45选择从运动预测单元41供应的运动预测向量，并且将运动预测向量输出到校正单元50作为校正的运动向量。另外，在确定结果被指示为预测失败的情况下，选择器45选择从抑制处理单元31供应的抑制的运动检测向量，并且将选择的运动检测向量输出到校正单元50作为校正的运动向量。

校正单元50使用从选择处理单元42供应的校正的运动向量来执行抖动校正，并且生成其中图像模糊被校正的捕捉图像的图像信号，并且将图像信号输出到图像处理单元61。

图21图示了运动检测结果、运动预测结果和抖动校正的定时。图21图示了以从运动检测延迟一个帧周期的定时来执行抖动校正的情况。

例如，在时间（t＋1）中的点处，使用一直到以前帧的时间t中的点的运动检测结果来执行运动预测，并且生成关于时间（t＋1）中的点处的图像的运动预测结果。当在时间（t＋1）中的点处执行运动检测时，可以在下一个帧的时间（t＋2）中的点处获得关于时间（t＋1）中的点处的图像的运动检测结果。因此，通过使时间（t＋1）中的点的运动预测结果延迟一帧，可以计算运动预测结果相对于时间（t＋1）中的点处的图像中的运动检测结果的预测误差。在预测误差小于阈值的情况下，预测被确定为成功，并且使用运动预测结果来执行抖动校正。此外，作为抖动校正中使用的运动预测结果，使用在时间（t＋2）中的点处计算的运动预测结果、亦即通过从一直到时间（t＋1）中的点的运动检测向量来执行运动预测而生成的运动预测向量来执行抖动校正。另外，通过关于随后的帧执行类似的过程，可以随后执行捕捉图像的抖动校正。

图22图示了运动检测结果、运动预测结果和抖动校正的定时。图22图示了以从运动检测延迟0.5个帧周期的定时来执行抖动校正的情况。

例如，在时间（t＋0.5）中的点处，使用一直到以前一帧的时间t中的点的运动检测结果，生成关于时间（t＋0.5）中的点处的图像的运动预测结果。另外，获得作为时间（t＋0.5）中的点之后0.5个帧的时间（t＋1）中的点处的运动检测结果。因此，通过使用时间t和（t＋1）中的点处的运动预测结果来执行插值，可以生成关于时间（t＋0.5）中的点处的图像的运动预测结果。进而，通过使时间（t＋0.5）中的点的运动预测结果延迟一帧，可以计算运动预测结果相对于针对时间（t＋0.5）中的点处的图像进行插值而计算的运动检测结果的预测误差。在预测误差小于阈值的情况下，使用被确定为成功的运动预测结果来执行抖动校正。此外，作为抖动校正中使用的运动预测结果，使用在时间（t＋1.5）中的点处计算的运动预测结果、亦即通过从一直到时间（t＋1）中的点的运动检测向量来执行运动预测而生成的运动预测向量来执行抖动校正。另外，通过关于随后的帧执行类似的处理，可以随后执行捕捉图像的抖动校正。

以这种方式，校正控制单元执行运动预测，然后在预测成功的情况下，通过使用运动预测生成的校正的运动向量来执行校正，可以以高准确性执行校正。进而，在预测失败的情况下，使用抑制处理单元31生成的抑制处理的运动检测向量，通过校正单元50来执行校正。因此，可以防止逆校正在抖动校正中发生。因此，可以进一步提高抖动校正的性能。

图23图示了当使用运动预测结果执行抖动校正时抖动校正之后的振幅放大率。如图23所示，通过使用运动预测，可以以高准确性执行抖动校正，并且可以拓宽其中可以进行抖动校正的抖动频率的范围。

4-5.预测确定单元的第二配置和操作

顺便提及，在上面描述的预测确定单元的第一配置中，描述了这样一种情况，在所述情况下，使用了通过使用一个预测模型生成的运动预测向量。然而，多个预测模型可以用于运动预测。接下来，在预测确定单元的第二配置和操作中，将会描述使用多个预测模型来执行运动预测的情况。

图24图示了预测确定单元的第二配置。运动预测单元41使用多个、例如n个类型的预测模型来执行运动预测，并且针对每个预测模型生成运动预测向量，然后将运动预测向量输出到选择处理单元42。

类似于第一实施例，抑制处理单元31根据捕捉图像的帧速率检测抖动校正中的图像模糊的放大，并且基于检测结果执行运动检测向量的抑制，然后将抑制的运动向量输出到选择处理单元42。

基于运动检测向量，运动预测单元41预测在获取捕捉图像时的运动。运动预测单元41使用n个类型的预测模型执行运动预测，并且针对每个预测模型生成指示预测结果的运动预测信息、亦即运动预测向量，然后将运动预测向量输出到选择器45。另外，运动预测单元41将运动预测向量输出到选择处理单元42。

选择处理单元42包括预测确定单元43和选择器45。预测确定单元43包括延迟单元431-1至431-n、插值单元432-1至432-n、差计算单元433-1至433-n、最小值选择单元434和阈值比较单元435。

延迟单元431-1使运动预测单元41获取的并且使用第一预测模型情况下的运动预测向量延迟，并且与运动检测单元20生成的运动检测向量同步。延迟单元431-1将延迟的运动预测向量输出到差计算单元433-1。另外，其它延迟单元也执行如延迟单元431-1所做的类似处理，例如，延迟单元431-n使运动预测单元41获取的并且使用第n预测模型情况下的运动预测向量延迟，并且与运动检测单元20生成的运动检测向量同步。延迟单元431-n将延迟的运动预测向量输出到差计算单元433-n。

通过如上所述在延迟单元431-1中的延迟量不是采样的整数周期的情况下使用运动检测向量执行插值处理，插值单元432-1生成与运动预测向量同步的运动检测向量。插值单元432-1将生成的运动检测向量输出到差计算单元433-1。其它插值单元也执行如插值单元432-1所做的类似处理，例如，通过在延迟单元431-n中的延迟量不是采样的整数周期的情况下使用运动检测向量执行插值处理，插值单元432-n生成与运动预测向量同步的运动检测向量。插值单元432-n将生成的运动检测向量输出到差计算单元433-_n。

差计算单元433-1计算从延迟单元431-1供应的运动预测向量和从插值单元432-1供应的运动检测向量之间的差。这里，向差计算单元433-1供应的运动预测向量和运动检测向量是具有同步定时的运动向量。因此，差计算单元433-1中计算的差指示使用第一预测模型的情况下的预测误差。差计算单元433-1将计算的预测误差输出到最小值选择单元434。其它差计算单元也执行如差计算单元433-1所做的类似处理，例如，差计算单元433-n计算从延迟单元431-n供应的运动预测向量和从插值单元432-n供应的运动检测向量之间的预测误差，并且将预测误差输出到最小值选择单元434。

最小值选择单元434比较从差计算单元433-1至433-n供应的预测误差，并且选择最小预测误差。最小值选择单元434将最小预测误差连同指示从中导出最小预测误差的预测模型的最优预测模型信息一起输出到阈值比较单元435。

阈值比较单元435将最小值选择单元434选择的最小预测误差与预先设置的阈值进行比较。阈值比较单元435在预测误差小于阈值时将预测确定为预测成功，并且在预测误差等于或大于阈值时将预测确定为预测失败。阈值比较单元435将确定结果连同最优预测模型信息一起输出到选择器45。

基于预测确定单元43的确定结果，选择器45选择从抑制处理单元31供应的抑制的运动检测向量或者从运动预测单元41供应的运动预测向量中的任何一个。在确定结果被指示为预测成功的情况下，选择器45选择使用在最优预测模型信息中指示的预测模型而生成的运动预测向量，并且将选择的运动预测向量输出到校正单元50作为校正的运动向量。另外，在确定结果被指示为预测失败的情况下，选择器45选择从抑制处理单元31供应的抑制的运动检测向量，并且将选择的抑制的运动检测向量输出到校正单元50作为校正的运动向量。

校正单元50使用从选择处理单元42供应的校正的运动向量来执行抖动校正，并且生成其中图像模糊被校正的捕捉图像的图像信号，并且将图像信号输出到图像处理单元61。

另外，在使用多个预测模型来执行运动预测的情况下，执行图25中图示的流程图中的过程来代替图17中图示的步骤ST14中的过程。在步骤ST141-1中，校正控制单元30执行第一运动预测。使用运动检测向量，校正控制单元30通过第一预测模型从运动检测中预测在获取捕捉图像时的运动，并且生成指示预测结果的第一运动预测向量，然后前进到步骤ST142。

在步骤ST141-2中，校正控制单元30执行第二运动预测。校正控制单元30使用与第一预测模型不同的第二预测模型执行与步骤ST141-1中类似的运动预测，并且生成指示预测结果的第二运动预测向量，然后前进到步骤ST142。在步骤ST141-n中，校正控制单元30执行第n运动预测。校正控制单元30使用与第一至第（n－1）预测模型不同的第n预测模型执行与步骤ST141-1中类似的运动预测，并且生成指示预测结果的第n运动预测向量，然后前进到步骤ST142。这里，从步骤ST141-1至步骤ST141-n的处理可以并行执行，或者可以相继执行。

在步骤ST142中，校正控制单元30执行最小预测误差选择处理。使用第一至第n运动预测向量和运动检测向量，校正控制单元30计算各种预测向量的预测误差。另外，校正控制单元30选择最小预测误差和最小预测误差的运动预测向量，然后前进到步骤ST15，并且将最小预测误差与预先设置的阈值进行比较。

以这种方式，通过使用多个预测模型来执行运动预测，基于使用从中导出最小预测误差的预测模型而生成的运动预测向量来执行抖动校正。因此，与使用一个预测模型执行运动预测的情况相比较，可以以更高的准确性来执行抖动校正，这样一来就可以提高抖动校正的性能。

另外，在第二实施例中，通过针对每个预测模型预先通过实验等获得其中抖动校正之后的振幅放大率超过“1”的抖动频率，然后使用运动预测结果和抑制处理，可以执行抖动校正。例如，如图26所示，在抖动频率超过预先获得的频率的情况下，如果通过选择器选择抑制处理单元抑制的运动检测向量，则即使在使用预测模型的情况下也可以防止逆校正。

5.其它实施例

另外，成像装置并不限于如图2所示从图像信号中检测成像装置的抖动的情况。例如，本技术同样适用于使用运动检测传感器来检测成像装置的抖动的情况。图27图示了使用运动检测传感器的成像装置的配置的例子。

成像装置10a包括成像光学系统11、成像单元12、运动检测单元25、校正控制单元30和校正单元50。进一步，成像装置10a包括图像处理单元61、显示单元62、记录单元63、用户接口（I/F）单元64和控制单元65。

成像光学系统11配置成具有聚焦透镜或变焦透镜等。在成像光学系统11中，例如，通过在光轴方向上移动聚焦透镜来执行聚焦调整。另外，通过在光轴方向上移动变焦透镜可以改变焦距。

成像单元12配置成包括成像元件、预处理单元和成像驱动单元等。成像元件执行光电转换处理，以将成像光学系统11在成像表面上形成的光学图像转换成电信号。例如，电荷耦合器件（CCD）图像传感器或互补金属氧化物半导体（CMOS）图像传感器用作成像元件。预处理单元关于成像元件中生成的电信号执行噪声去除过程如相关双采样（CDS）。另外，预处理单元执行增益调整，以使电信号电平成为期望的信号电平。进而，预处理单元执行A/D转换处理，以将作为其中噪声被去除并且执行了增益调整的电信号的模拟成像信号转换成数字信号，并且将数字图像信号输出到运动检测单元20和校正单元50。基于来自稍后描述的控制单元65的控制信号，成像驱动单元执行驱动成像元件所必须的操作脉冲等的生成。例如，成像驱动单元执行用于读出电荷的电荷读出脉冲、用于执行垂直或水平方向上的传输的传输脉冲和用于执行电子快门操作的快门脉冲等的生成。

运动检测单元25配置成使用陀螺仪传感器等，并且检测成像装置10a的抖动。运动检测单元25基于来自陀螺仪传感器等的传感器输出来计算抖动量，然后将指示计算结果的运动检测向量输出到校正控制单元30。

根据捕捉图像的帧速率和作为指示在生成捕捉图像时发生的运动的运动信息的运动检测向量，校正控制单元30检测抖动校正中的图像模糊的放大。另外，校正控制单元30基于检测结果以图像模糊在抖动校正中不被放大的方式抑制运动检测向量，并且生成校正的运动向量以用于校正的运动信息。

通过以从校正控制单元30供应的校正运动向量中指示的运动被校正的方式执行捕捉图像的抖动校正，校正单元50生成其中图像模糊被校正使得逆校正未被执行的捕捉图像的图像信号，并且将图像信号输出到图像处理单元61。

图像处理单元61关于从校正单元50输出的数字图像信号例如执行非线性处理如伽马校正和拐点校正、颜色校正处理和轮廓强调处理。图像处理单元61将处理的图像信号输出到显示单元62和记录单元63。

显示单元62配置显示面板或电子取景器，并且基于从图像处理单元61输出的图像信号执行摄影机通过图像的显示。另外，显示单元62执行菜单显示或操作状态显示，以便执行成像装置10a的操作设置。此外，在显示单元62的显示像素的数目小于捕捉图像的情况下，显示单元62执行将捕捉图像转换成具有显示像素数目的显示图像。

记录单元63将从图像处理单元61输出的图像信号记录到记录介质中。记录介质可以是可移动的记录介质如存储卡、光盘和磁带，或者可以是固定式硬盘驱动器（HDD）或半导体存储模块。另外，通过在记录单元63中提供编码器和解码器，并且对图像信号执行解压缩解码和压缩编码，然后编码的信号可以记录在记录介质中。此外，在记录单元63中，记录介质中记录的图像信号或编码信号被读出，然后记录的图像可以显示在显示单元62上。

用户接口（用户I/O）单元64配置成包括变焦杆和拍摄按钮。用户接口（用户I/O）单元64根据用户操作生成操作信号，并且将信号输出到控制单元65。

控制单元65例如包括中央处理单元（CPU）、只读存储器（ROM）和随机存取存储器（RAM）。CPU根据需要读出并执行ROM中存储的控制程序。在ROM中，预先存储CPU中执行的程序、各种过程所必须的各种数据。RAM是用作所谓工作区的存储器，在所述工作区中临时存储处理的中间结果。另外，在ROM或RAM中，存储各种控制信息或校正数据。控制单元65根据来自用户接口（用户I/O）单元64的操作信号执行对每个单元的控制，并且使根据用户操作的操作在成像装置10a中执行。

在像这样配置的成像装置10a中，即使当由于通过运动检测单元25来计算抖动量所必须的时间而使运动信息延迟时，校正控制单元30也如上所述考虑到所述延迟来执行抖动校正。因此，即使在使用运动检测传感器的成像装置中，也可以提高抖动校正的性能。

进而，在第一实施例和第二实施例中，描述了其中运动检测和捕捉图像的获取之间的时间差为一帧的情况。然而，可以通过减少时间差来防止逆校正。

例如，通过针对一帧中的每个时间片获得运动向量（黑点），在从针对每个时间片的运动向量中获得一帧的图像的全局运动向量（白点）的情况下，重心处于一帧周期中的中间位置上，如图28所示。另外，由于获得了来自一帧中针对每个时间片的运动向量的一帧图像的全局运动向量，所以发生了一帧周期的延迟。然而，如果位于帧周期末端的时间片的运动向量用作运动检测向量，则其中执行运动校正的图像和运动检测之间的时间差可以减少，并且可以防止逆校正。

进而，在执行电子类型的抖动校正的情况下，成像装置使用来自成像元件的部分区域的图像作为捕捉图像。因此，如果来自其中读出顺序比捕捉图像的区域早的区域的图像的运动向量被计算并用作运动检测向量，则可以进一步减少时间差。

另外，在抑制逆校正中，可以增加采样频率。例如，如“1.关于运动校正性能的恶化”中描述的那样，当捕捉图像的帧速率为30帧/秒并且运动检测和捕捉图像的获取之间的时间差为一个帧周期时，如果抖动频率如此之高以至于超过了5Hz，则逆校正发生。然而，如果捕捉图像的帧速率（其对应于抖动频率）增加，则由于方程（2）中的抖动校正之后的校正的振幅放大率降低，所以即使抖动频率变得高于5Hz，也可以防止逆校正发生。因此，在成像装置中，在捕捉图像的帧速率（其对应于采样频率）可切换的情况下，通过增加帧速率，可以使得逆校正很难发生。

另外，在上面描述的实施例中，描述了其中执行捕捉图像的抖动校正作为运动校正的情况。然而，通过对其应用具有本技术的信息处理装置的成像装置可以执行焦平面畸变校正。

在焦平面快门型互补金属氧化物半导体（CMOS）图像传感器用作成像元件的情况下，可以在图像传感器中传递针对每个线的数据。因此，当由于帧中的成像定时的时间延迟而在帧中发生成像装置的摄影机抖动时，在对象上发生所谓的焦平面畸变。因此，在成像装置中，如果针对每个线执行上面描述的针对每个帧的抖动校正，则可以防止逆校正，并且可以以高准确性来校正焦平面畸变。

另外，本技术还适用于如下情况：执行显示位置的运动校正，使得通过识别期望的脸或对象，并且通过基于期望的脸和对象的运动检测结果而使显示区域移动，可以在图像的预定位置上显示期望的脸或对象。例如，在图4中使用对象检测单元而不是运动检测单元，执行期望的脸或对象的识别和运动检测。在对象检测单元中，时间是处理所必须的，并且在处理结果和对其执行运动校正的图像之间的时间差大的情况下，如上所述，生成执行抑制处理和运动预测的校正运动信息。进而，通过基于校正运动信息来执行运动校正，可以以高准确性来执行显示位置的运动校正，使得期望的脸或对象显示在图像上的预定位置上，同时防止逆校正。进而，即使没有不得不记住与识别脸或对象并且进行运动检测所必须的处理时间相对应的图像而使得处理结果与对其执行运动校正的图像相同步，由于可以以高准确性执行显示位置的校正同时防止逆校正，所以可以降低对存储器的使用。

另外，在根据人的移动或面对方向而移动头戴式显示器上显示的图像的情况下，可能存在如下问题：检测结果和对其执行运动校正的图像之间的时间差由于对移动或方向进行检测所必须的时间而变大。在这种情况下，生成执行抑制处理和运动预测的校正运动信息，然后基于校正运动信息来执行运动校正。以这种方式，可以在防止逆校正的情况下，以高准确性执行显示位置的运动校正，使得根据人的移动或面对方向来显示图像。另外，可以如上所述使存储器尺寸最小化。

进而，本说明书中描述的一系列处理可以通过硬件、软件或者通过两者的组合配置来执行。在通过软件来执行处理的情况下，其中记录有处理序列的程序安装在专用硬件中结合的计算机中的存储器中以待执行。代替地，程序可以安装在能够执行各种处理的通用计算机中以待执行。

例如，程序可以预先记录在记录介质如硬盘或只读存储器（ROM）中。程序可以临时或持久地存储（记录）在可移动记录介质如软盘、紧致盘只读存储器（CD-ROM）、磁光盘（MO）、数字通用盘（DVD）、磁盘或半导体存储卡中。像这样的可移动记录介质可以被供应作为所谓的套装软件。

另外，除了从可移动记录介质安装在计算机中之外，程序可以经由诸如局域网（LAN）或因特网之类的网络从下载网站通过线路或者无线地传输到计算机。在计算机中，以这种方式传输的程序被接收，可以安装到嵌入的记录介质如硬盘。

此外，本技术不被解释为限于上面描述的实施例。本技术的实施例以例子的形式公开了本技术，并且明显的是，本领域技术人员可以在不背离本技术的范围的情况下对实施例进行修改和替换。亦即，为了确定本技术的要旨，应当参见所附的权利要求书。

另外，本技术的信息处理装置可以具有如下配置。

（1）一种信息处理装置，包括：放大检测单元，其根据指示运动检测结果的运动信息和图像的帧速率，检测运动校正中的所述图像的运动相对于通过运动生成的所述图像的运动的放大；以及信息抑制单元，其基于所述放大检测单元的检测结果抑制所述运动信息指示的运动，使得所述图像的运动在所述运动校正中不被放大，并且生成所述运动校正中使用的校正运动信息。

（2）根据上述（1）所述的信息处理装置，进一步包括：滤波器，其执行通过所述运动信息在所述运动校正中对所述图像的运动进行放大的分量的去除，其中，所述信息抑制单元生成关于滤波处理过的运动信息执行运动抑制的校正运动信息。

（3）根据上述（1）或（2）所述的信息处理装置，其中，所述放大检测单元计算指示在所述运动校正中不对所述图像的运动进行放大的分量的比例的稳定率，并且将所述稳定率转换成所述运动信息的校正率，并且其中，所述信息抑制单元基于所述校正率来执行所述运动信息指示的运动的抑制。

（4）根据上述（3）所述的信息处理装置，其中，基于对应于预定帧数的所述运动信息以及从所述运动信息提取的对所述图像的运动进行放大的分量或者不对所述图像的运动进行放大的分量，所述放大检测单元计算所述稳定率。

（5）根据上述（3）或（4）所述的信息处理装置，其中，通过切换其中所述稳定率被转换成所述校正率的转换特性，所述放大检测单元切换所述运动校正的校正特性。

（6）根据上述（5）所述的信息处理装置，其中，在其中在所述运动校正中强调所述图像的运动的放大抑制的情况下，所述放大检测单元设置所述转换特性，使得与强调校正准确性的情况相比，在其中所述稳定率低的区间中，其中抖动校正未被执行的状态下的校正率区间更长。

（7）根据上述（1）至（6）所述的信息处理装置，进一步包括：运动预测单元，其使用所述运动信息执行运动预测以生成运动预测信息；以及选择处理单元，其在所述运动预测信息的预测误差小于预先设置的阈值的情况下使用所述运动预测信息作为所述校正运动信息，并且在所述运动预测信息的预测误差等于或大于预先设置的阈值的情况下使用所述运动的抑制的运动信息作为所述校正运动信息。

（8）根据上述（7）所述的信息处理装置，其中，所述运动预测单元针对多个不同预测模型中的每一个执行所述运动预测以生成所述运动预测信息，并且其中，在所述多个不同预测模型中的最小预测误差小于预先设置的阈值的情况下，所述选择处理单元使用通过使用具有所述最小预测误差的预测模型而获得的运动预测信息作为所述校正运动信息。

（9）根据上述（1）至（8）所述的信息处理装置，进一步包括：运动检测单元，其生成所述运动信息，其中，通过使用所述图像的一部分生成所述运动信息，所述运动检测单元减少其中执行所述运动校正的所述图像和运动检测之间的时间差。

本领域技术人员应当理解的是，取决于设计需要和其它因素，各种修改、组合、再组合和变更都可能发生，它们都处在所附权利要求或其等效涵义的范围之内。

Claims (15)

1.一种信息处理装置，包括：

放大检测单元，其根据指示运动检测结果的运动信息和图像的帧速率，检测运动校正中的所述图像的运动相对于通过运动生成的所述图像的运动的放大；以及

信息抑制单元，其基于所述放大检测单元的检测结果抑制所述运动信息指示的运动，使得所述图像的运动在所述运动校正中不被放大，并且生成所述运动校正中使用的校正运动信息。

2.根据权利要求1所述的信息处理装置，进一步包括：

滤波器，其执行通过所述运动信息在所述运动校正中对所述图像的运动进行放大的分量的去除，

其中，所述信息抑制单元生成关于滤波处理过的运动信息执行运动抑制的校正运动信息。

3.根据权利要求1所述的信息处理装置，其中，所述放大检测单元计算指示在所述运动校正中不对所述图像的运动进行放大的分量的比例的稳定率，并且将所述稳定率转换成所述运动信息的校正率，并且

其中，所述信息抑制单元基于所述校正率来执行所述运动信息指示的运动的抑制。

4.根据权利要求3所述的信息处理装置，其中，基于对应于预定帧数的所述运动信息以及从所述运动信息提取的对所述图像的运动进行放大的分量或者不对所述图像的运动进行放大的分量，所述放大检测单元计算所述稳定率。

5.根据权利要求3所述的信息处理装置，其中，通过切换其中所述稳定率被转换成所述校正率的转换特性，所述放大检测单元切换所述运动校正的校正特性。

6.根据权利要求5所述的信息处理装置，其中，在其中在所述运动校正中强调所述图像的运动的放大抑制的情况下，所述放大检测单元设置所述转换特性，使得与强调校正准确性的情况相比，在其中所述稳定率低的区间中，其中抖动校正未被执行的状态下的校正率区间更长。

7.根据权利要求1所述的信息处理装置，进一步包括：

运动预测单元，其使用所述运动信息执行运动预测以生成运动预测信息；以及

选择处理单元，其在所述运动预测信息的预测误差小于预先设置的阈值的情况下使用所述运动预测信息作为所述校正运动信息，并且在所述运动预测信息的预测误差等于或大于预先设置的阈值的情况下使用所述运动的抑制的运动信息作为所述校正运动信息。

8.根据权利要求7所述的信息处理装置，其中，所述运动预测单元针对多个不同预测模型中的每一个执行所述运动预测以生成所述运动预测信息，并且

其中，在所述多个不同预测模型中的最小预测误差小于预先设置的阈值的情况下，所述选择处理单元使用通过使用具有所述最小预测误差的预测模型而获得的运动预测信息作为所述校正运动信息。

9.根据权利要求1所述的信息处理装置，进一步包括：

运动检测单元，其生成所述运动信息，

其中，通过使用所述图像的一部分生成所述运动信息，所述运动检测单元减少其中执行所述运动校正的所述图像和运动检测之间的时间差。

10.根据权利要求3所述的信息处理装置，其中，所述放大检测单元包括：

低通滤波器，其对所述运动信息执行滤波过程，并且提取在所述运动校正中不对所述图像的运动进行放大的分量作为低频分量信号；

第一绝对值平均计算单元，其使用所述低通滤波器提取的与一直到多个以前帧的预定数目的帧相对应的低频分量信号来计算绝对值的平均值；

第二绝对值平均计算单元，其使用与一直到所述多个以前帧的预定数目的帧相对应的所述运动信息来计算绝对值的平均值；

除法计算单元，其通过将所述第一绝对值平均计算单元计算的平均值除以所述第二绝对值平均计算单元计算的平均值来计算所述稳定率；以及

校正率确定单元，其基于所述除法计算单元计算的稳定率来确定所述校正率。

11.根据权利要求3所述的信息处理装置，其中，所述放大检测单元包括：

低通滤波器，其对所述运动信息执行滤波过程，并且提取在所述运动校正中不对所述图像的运动进行放大的分量作为低频分量信号；

第一绝对值求和计算单元，其使用所述低通滤波器提取的与一直到多个以前帧的预定数目的帧相对应的低频分量信号来计算绝对值之和；

第二绝对值求和计算单元，其使用与一直到所述多个以前帧的预定数目的帧相对应的所述运动信息来计算绝对值之和；

除法计算单元，其通过将所述第一绝对值之和计算单元计算的绝对值之和除以所述第二绝对值之和计算单元计算的绝对值之和来计算所述稳定率；以及

校正率确定单元，其基于所述除法计算单元计算的稳定率来确定所述校正率。

12.根据权利要求3所述的信息处理装置，其中，所述放大检测单元包括：

高通滤波器，其对所述运动信息执行滤波过程，并且提取在所述运动校正中对所述图像的运动进行放大的分量作为高频分量信号；

第一绝对值平均计算单元，其使用所述高通滤波器提取的与一直到多个以前帧的预定数目的帧相对应的高频分量信号来计算绝对值的平均值；

第二绝对值平均计算单元，其使用与一直到所述多个以前帧的预定数目的帧相对应的所述运动信息来计算绝对值的平均值；

除法计算单元，其通过将所述第一绝对值平均计算单元计算的平均值除以所述第二绝对值平均计算单元计算的平均值来计算比例；

稳定率计算单元，其使用所述除法计算单元计算的比例来执行所述稳定率的计算；以及

校正率确定单元，其基于所述稳定率计算单元计算的稳定率来确定所述校正率。

13.根据权利要求3所述的信息处理装置，其中，所述放大检测单元包括：

低通滤波器，其对所述运动信息执行滤波过程，并且提取在所述运动校正中不对所述图像的运动进行放大的分量作为低频分量信号；

第一峰值检测单元，其从所述低通滤波器提取的与一直到多个以前帧的预定数目的帧相对应的低频分量信号中检测峰值；

第二峰值检测单元，其使用与一直到所述多个以前帧的预定数目的帧相对应的所述运动信息来检测峰值；

除法计算单元，其通过将所述第一峰值检测单元检测的峰值除以所述第二峰值检测单元检测的峰值来所述稳定率；以及

校正率确定单元，其基于所述除法计算单元计算的稳定率来确定所述校正率。

14.一种信息处理方法，包括：

根据指示运动检测结果的运动信息和图像的帧速率，检测运动校正中的所述图像的运动相对于通过运动生成的所述图像的运动的放大；以及

基于检测结果抑制所述运动信息指示的运动，使得所述图像的运动在所述运动校正中不被放大，并且生成所述运动校正中使用的校正运动信息。

15.一种成像装置，包括：

成像单元，其生成捕捉图像的图像信号；

运动检测单元，其检测所述装置的运动并且生成运动信息；

放大检测单元，其根据运动信息和图像的帧速率，检测运动校正中的所述图像的运动相对于通过所述装置的运动生成的所述图像的运动的放大；

信息抑制单元，其基于所述放大检测单元的检测结果抑制所述运动信息指示的运动，使得所述图像的运动在所述运动校正中不被放大，并且生成所述运动校正中使用的校正运动信息；以及

校正单元，其基于所述信息抑制单元生成的校正运动信息，执行对所述捕捉图像的运动校正。