CN104349082A - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法以及程序。图像处理装置包括：确定单元，其使用从配置运动图像内容的帧中的多个区所获得的特征量，确定在运动图像内容的成像操作时的成像元件的像素值的捕捉方案。

Description

图像处理装置、图像处理方法以及程序

相关申请的交叉引用

本申请要求2013年8月7日提交的日本在先专利申请JP2013-163789的权益，将其全部内容通过引用结合于此。

技术领域

本技术涉及图像处理装置。具体地，本技术涉及处理图像的图像处理装置、图像处理方法、以及使该方法在计算机中执行的程序。

背景技术

在现有技术中，图像处理装置(诸如通过使用图像传感器对目标(诸如人)进行成像来生成图像(图像数据)的成像装置)已变得很普遍。此外，作为图像传感器，例如具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。此外，诸如再现以这种方式生成的图像的再现装置的图像处理装置已经广泛普及。

例如，已经提出校正由于在CMOS图像传感器等中的焦平面现象而引起的成像图像的失真(焦平面失真)的校正装置(例如，参照日本待审专利申请公开No.2007-208580)。

发明内容

在上述现有技术中，由于在装置(诸如成像装置)中的校正是目标，并且CMOS图像传感器的垂直成像方向在装置中是已知的，因此可以基于垂直成像方向来适当地校正成像图像的焦平面失真。

在本文中，例如，将假设在未使用成像装置执行焦平面失真校正的情况下所记录的运动图像内容被移动到另一个再现装置并在该再现装置中再现图像的情况。在该情况下，假设再现装置对运动图像内容执行焦平面失真校正，并且再现经历焦平面失真校正的运动图像内容。

然而，还假设在对运动图像内容成像时CMOS图像传感器的垂直成像方向是不同的情况。在该情况下，当再现装置基于错误的垂直成像方向对运动图像内容执行焦平面失真校正时，不能适当地校正焦平面失真。

此外，例如，使用全局快门图像传感器(例如，CCD图像传感器)来成像的运动图像内容原则上不具有焦平面失真。为此，没有必要对使用全局快门图像传感器来成像的运动图像内容执行焦平面失真校正。

即，当处理运动图像内容时，重要的是适当地获得成像信息(诸如在成像操作时的垂直成像方向和快门系统)并使用该信息。

期望适当获得在成像操作时的成像信息。

根据本技术的实施方式，提供了一种图像处理装置、图像处理方法以及使该方法在计算机中执行的程序，该图像处理装置包括：确定单元，使用从配置运动图像内容的帧中的多个区获得的特征量，确定在运动图像内容的成像操作时的捕捉成像元件的像素值的方案。以这种方式，可以使用从配置运动图像内容的帧中的多个区所获得的特征量来确定当对运动图像内容成像时的成像元件的像素值的捕捉方案。

在图像处理装置中，确定单元可确定在成像操作时的成像元件的成像方向和快门系统中的至少一个作为捕捉方案。以这种方式，可以确定在成像操作时的成像元件的成像方向和快门系统中的至少一个作为捕捉方案。

在图像处理装置中，确定单元可通过获得多个区中的每一个中的局部运动矢量作为特征量，基于在配置运动图像内容的帧之中的时间顺序相邻的帧之间的局部运动矢量的连续性进行确定。以这种方式，可以基于在配置运动图像内容的帧之中的时间顺序相邻的帧之间的局部运动矢量的连续性来确定在运动图像内容的成像操作时的成像元件的像素值的捕捉方案。

在图像处理装置中，确定单元可获得多个区中的每一个的局部运动矢量作为特征量，可将在配置运动图像内容的帧之中的时间顺序相邻的帧设置为第一帧和第二帧，并且可基于从第一帧的特定方向中的一端侧上的区所获得的局部运动矢量与从第二帧的特定方向中的另一端侧上的区所获得的局部运动矢量的比较结果进行确定。以这种方式，可以基于从第一帧的特定方向中的一端侧上的区所获得的局部运动矢量以及从第二帧的特定方向中的另一端侧上的区所获得的局部运动矢量的比较结果来确定在运动图像内容的成像操作时的成像元件的像素值的捕捉方案。

在图像处理装置中，确定单元可使用基于第一运动矢量与第四运动矢量的比较结果以及第二运动矢量与第三运动矢量的比较结果所计算的值进行确定，第一运动矢量是从在第一帧的一端侧上的区所获得的局部运动矢量，第二运动矢量是从在第一帧另一端侧上的区所获得的局部运动矢量，第三运动矢量是从在第二帧的一端侧上的区所获得的局部运动矢量，以及第四运动矢量是从在第二帧的另一端侧上的区所获得的局部运动矢量。以这种方式，可以使用基于第一运动矢量与第四运动矢量的比较结果以及第二运动矢量与第三运动矢量的比较结果所计算的值来确定在运动图像内容的成像操作时的成像元件的像素值的捕捉方案。

在图像处理装置中，可进一步包括校正单元，该校正单元基于所确定的捕捉方案，对运动图像内容执行焦平面失真校正。以这种方式，可以基于所确定的捕捉方案来对运动图像内容执行焦平面失真校正。

在图像处理装置中，确定单元可确定在成像操作时的成像元件的成像方向和快门系统中的至少一个作为捕捉方案，并且当由确定单元确定快门系统是焦平面快门系统时，校正单元可基于所确定的成像方向，对运动图像内容执行焦平面失真校正，并且当由确定单元确定快门系统是全局快门系统时，可不对运动图像内容执行焦平面失真校正。以这种方式，当确定快门系统是焦平面快门系统时，基于所确定的成像方向对运动图像内容执行焦平面失真校正，并且当确定快门系统是全局快门系统时，不对运动图像内容执行焦平面失真校正。

在图像处理装置中，确定单元可基于在配置运动图像内容的目标帧与另一个帧中的多个区的比较结果，获得在多个区的每一个中的特征量。以这种方式，可以基于在配置运动图像内容的目标帧与另一个帧中的多个区的比较结果来获得多个区的每一个中的特征量。

根据本技术，可以适当地获得在成像操作时的成像信息。此外，并不一定限于在此所描述的效果，并且可以是在本公开中所描述的效果中的任意一个。

附图说明

图1是示出根据本技术的第一实施方式的图像处理装置的功能配置实例的框图；

图2是示出作为本技术的基础的CMOS图像传感器的配置实例的示图；

图3是示意性地示出在作为本技术的基础的CMOS图像传感器中的每个行与每个行的曝光周期之间的关系的示图；

图4A至图4C是示出使用包括作为本技术的基础的CMOS图像传感器成像装置所生成的图像及其校正实例的示图；

图5是示出作为本技术的基础的CMOS图像传感器的成像方向的示图；

图6是示出作为本技术的基础的CMOS图像传感器的运动、CMOS图像传感器的成像方向和焦平面失真的生成形式之间的关系的示图；

图7A至图7E是示出在使用作为本技术的基础的CMOS图像传感器所生成的图像中发生的焦平面失真形式的实例的示图；

图8A至图8C是示意性地示出配置变成使用根据本技术的第一实施方式的确定单元的确定目标的运动图像内容的帧的示图；

图9A和图9B是示出对应于通过根据本技术的第一实施方式的确定单元所检测的局部运动矢量的运动量与帧中的区之间的关系的示图；

图10是示出对应于通过根据本技术的第一实施方式的确定单元所检测到的局部运动矢量的运动量与帧中的区之间的关系的示图；

图11是示出根据本技术的第一实施方式的校正单元的功能配置实例的框图；

图12A至图12E是示出作为使用根据本技术的第一实施方式的校正单元的校正处理的目标的图像、校正图像与在校正处理中所使用的每条信息之间的关系的示图；

图13A至图13D是示出作为使用根据本技术的第一实施方式的校正单元的校正处理的目标的图像与在校正处理中所使用的每条信息之间的关系的示图；

图14A至图14C是示出作为使用根据本技术的第一实施方式的校正单元的校正处理的目标的图像与在校正处理中所使用的每条信息之间的关系的示图；

图15是示出在根据本技术的第一实施方式的图像处理装置中的校正处理的处理顺序的实例的流程图；以及

图16是示出根据本技术的实施方式的变形例的图像处理装置的功能配置实例的框图。

具体实施方式

在下文中，将描述用于执行本技术的实施方式(在下文中，称为“实施方式”)。按下列顺序进行描述。

1.第一实施方式(使用从帧中的多个区所获得的局部运动矢量来确定在运动图像内容的成像操作时的成像信息的实例)

2.变形例

1.第一实施方式

图像处理装置的配置实例

图1是示出根据本技术的第一实施方式的图像处理装置100的功能配置实例的框图。

图像处理装置100包括运动图像内容记录单元110，确定单元120，校正单元130以及输出单元140。图像处理装置100例如是诸如通过对目标成像来生成运动图像内容的成像装置或再现运动图像内容的再现装置的图像处理装置。再现装置例如是电视机，数字视频记录器，硬盘驱动(HDD)记录器，个人计算机，游戏机，投影仪以及移动信息处理装置(例如，智能电话和平板终端)。此外，成像装置例如是可通过对目标成像来生成运动图像内容的数字静物照相机或数码摄像机(例如，集成照相机的记录器)。

运动图像内容记录单元110记录运动图像内容(运动图像文件)，并将所记录的运动图像内容供应至确定单元120和校正单元130。例如，当图像处理装置100是成像装置时，通过成像单元(未示出)所生成的图像数据(运动图像数据)作为运动图像内容(运动图像文件)记录在运动图像内容记录单元110中。此外，成像单元例如由电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器来配置。此外，当图像处理装置100是不具有成像功能的再现装置时，通过另一个成像装置所生成的图像数据(运动图像数据)作为运动图像内容(运动图像文件)记录在运动图像内容记录单元110中。此外，类似地，当图像处理装置100是不具有成像功能的转换装置(或编辑装置)时，通过另一个成像装置所生成的图像数据(运动图像数据)作为运动图像内容(运动图像文件)记录在运动图像内容记录单元110中。此外，转换装置(或编辑装置)例如是使用用于编辑运动图像内容的软件、用于再现运动图像内容的软件等来对运动图像内容(其在成像操作时的成像信息是未知的)执行诸如焦平面失真校正的校正处理的装置。此外，对运动图像内容(其在成像操作时的成像信息是未知的)执行诸如焦平面失真校正的校正处理的装置可在云环境等中用作转换装置(或编辑装置)。

确定单元120确定关于记录在运动图像内容记录单元110中的运动图像内容的成像操作时的成像信息，并将其确定结果(成像信息)输出至校正单元130。在此，在运动图像内容的成像操作时的成像信息是在运动图像内容的成像操作时的图像传感器(成像元件)的捕捉像素值的方案。捕捉方案是在成像操作时的成像传感器的成像方向和图像传感器的快门系统中的至少一个。

例如，确定单元120从配置记录在运动图像内容记录单元110中的运动图像内容的帧中的多个区获得特征量(例如，局部运动矢量)。此外，确定单元120使用所获得的特征量来确定其捕捉方案。此外，将参照图8A至图8C详细地描述配置运动图像内容的帧中的多个区以及从该区获得的局部运动矢量。此外，将参照图8A至图10详细地描述使用确定单元120的确定方法。

校正单元130基于从确定单元120输出的确定结果(成像信息)来对记录在运动图像内容记录单元110中的运动图像内容执行焦平面失真校正。此外，校正单元130将经历校正处理的图像(校正后的图像)输出至输出单元140。

输出元140输出使用校正单号130经历校正处理的运动图像内容。输出单元140可被设置为例如显示运动图像内容的显示单元或者将运动图像内容输出至另一个装置的输出单元。

关于出现焦平面失真的原理

在此，将描述CMOS图像传感器的焦平面快门的操作以及出现焦平面失真的原理。CMOS图像传感器是通常用作成像装置(例如，数码摄像机(例如，集成照相机的记录器))的图像传感器(成像元件)的图像传感器。

CMOS图像传感器的配置实例

图2是示出作为本技术的基础的CMOS图像传感器200的配置实例的示图。此外，CMOS图像传感器200是常规CMOS图像传感器的实例。

CMOS图像传感器200包括像素211至219、模拟信号线(垂直信号线)221至223、A/D转换器231至233以及数字信号线240。此外，在图2中，使用矩形示意性地示出由光电二极管、放大器等配置的像素211至219。此外，在图2中，为便于描述，仅示出了九个像素211至219，而未示出其他像素。此外，仅示出了与像素211至219对应的模拟信号线221至223以及A/D转换器231至233，而未示出其他的。

像素211至219在CMOS图像传感器200的像素区201中被排布成格子(lattice)形。此外，像素211至213通过垂直方向上的模拟信号线221连接到A/D转换器231。类似的，像素214至216通过垂直方向上的模拟信号线222连接到A/D转换器232，并且像素217至219通过垂直方向上的模拟信号线223连接到A/D转换器233。

此外，在像素211至219中，光电二极管(光接收单元)接收光，并且通过将其转换为电荷来累积光。此外，所累积的电荷被转换为电压，并通过放大器放大。以这种方式被放大的电压由于像素选择开关的接通/断开而被传输到每个行(line，线)(每个排(row，行))上的模拟信号线221至223。

A/D转换器231至233是通过转换模拟信号将通过模拟信号线221至223输入的每个像素的模拟信号转换为数字信号并将所转换的数字信号输出至数字信号线240的A/D转换器。

以这种方式，CMOS图像传感器200包括与在水平方向上的像素的数量相同的A/D转换器231至233。为此，可以通过与在垂直方向上的像素共享转换器来使用A/D转换器231至233。以这种方式，可以降低电路面积和制造成本。可以对水平方向上的像素同时执行A/D转换，然而，不可以对垂直方向上的像素同时执行A/D转换。为此，需要将曝光周期的开始时刻延迟一段时间，在该一段时间内，至少对垂直方向上的像素执行A/D转换。将参照图3详细地描述曝光周期。

CMOS图像传感器的曝光周期的实例

图3是示意性地示出作为本技术的基础的CMOS图像传感器200中的每个行与每个行的曝光周期之间的关系的示图。在图3中，示出了其中水平轴被设置为时间轴并且垂直轴被设置为表示关于每个行上的像素(光接收单元)的曝光周期的轴的示图。例如，附接到垂直轴的行1被设置为与包括在图2中示出的像素211、214和217的行(在水平方向上的行)对应。类似地，附接到垂直轴的行2被设置为与包括在图2中示出的像素212、215和218的行对应，以及附接到垂直轴的行N被设置为与包括在图2中示出的像素213、216和219的行对应。

此外，在图3中，示出了在使用作为曝光方法的电子快门系统(在下文中，称为焦平面快门系统)来按下快门的情况下的曝光周期的实例。此外，焦平面快门系统也被称为滚动快门系统。

如上所述，由于与在垂直方向上的像素共享A/D转换器，因此需要在图3中示出的每个行中将A/D转换周期(A/D转换器执行A/D转换所必需的时间)CP的处理时序至少延迟该处理时序的量。此外，由于在常规成像模式中，在每个行(行1至N)中的曝光周期EP是恒定的，因此在垂直方向上的每个行中的曝光时序中出现时间差dt(A/D转换周期CP)。

因此，如图3所示，需要在行1的曝光开始时刻T1与行2的曝光开始时刻T2之间延迟dt。

此外，类似地，对于后续行2至N，需要在上一行中的曝光开始时刻与随后行中的曝光开始时刻之间将曝光时序延迟dt。

以这种方式，由于焦平面快门系统是快门在每个行中被依次按下的系统，因此在每个行中在一个帧的上部区和下部区中的曝光时序是不同的。由此，存在可能在运动目标中出现失真的问题。例如，当包括CMOS图像传感器200的成像装置的姿势在曝光周期期间改变时，或者当目标运动时，在从CMOS图像传感器200输出的图像中出现失真。输出图像的失真的实例在图4A至图4C中示出。

焦平面失真的实例

图4A至图4C是示出使用成像装置所生成的图像及其校正实例的示意图，其中，成像装置包括作为本技术的基础的CMOS图像传感器200。此外，在图4A和图4B中，相同物体被设定为成像目标，并且示出在改变成像装置的状态的情况下的图像的实例。

图4A示出了在停止成像装置的状态下来拍摄图像的情况下的图像250。

图4B示出了在沿水平方向移动成像装置时来拍摄图像的情况下的图像251。以这种方式，在沿水平方向移动成像装置时所拍摄的图像251中出现由于焦平面快门系统而引起的失真(称为焦平面失真)。

在此，可以通过校正以这种方式出现的焦平面失真来生成没有焦平面失真的图像。该校正称为焦平面失真校正。例如，可以从具有焦平面失真的图像251生成没有焦平面失真的图像(即，与图像250大致相同的图像)。

然而，由于在CMOS图像传感器200中具有多个成像方向，因此需要通过考虑成像方向来校正焦平面失真。成像方向在图5中示出。此外，图4C示出了基于错误的成像方向来校正的图像(图像252)的实例。

CMOS图像传感器的成像方向的实例

图5示出作为本技术的基础的CMOS图像传感器200的成像方向的示图。图5示出了作为CMOS图像传感器200的成像方向的四个成像方向1至4。此外，在图5中，每个像素使用矩形来表示，表示对应颜色的标记(红(R)，绿(G)和蓝(B))附加到矩形上。此外，在CMOS图像传感器200的像素区201中，仅表示了部分像素，而未示出其他像素。

成像方向1是如下的成像方向：图5中示出的CMOS图像传感器200的左上角被设定为读取的开始位置，并且在读取的开始位置之后，如虚线箭头261所表示的，在每一个排中顺序地执行每个行的读取，从而读取从上侧进行到下侧。

成像方向2是如下的成像方向：图5中示出的CMOS图像传感器200的右上角被设定为读取的开始位置，并且在读取的开始位置之后，如虚线箭头262所表示的，在每一个排中顺序地执行每个行的读取，从而读取从上侧进行到下侧。

成像方向3是如下的成像方向：图5中示出的CMOS图像传感器200的左下角被设定为读取的开始位置，并且在读取的开始位置之后，如虚线箭头263所表示的，在每一个排中顺序地执行每个行的读取，从而读取从下侧进行到上侧。

成像方向4是如下的成像方向：图5中示出的CMOS图像传感器200的右下角被设定为读取的开始位置，并且在读取的开始位置之后，如虚线箭头264所表示的，在每一排中顺序地执行每个行的读取，从而读取从下侧进行到上侧。

在此，常规图像传感器(例如，CMOS图像传感器或CCD图像传感器)需要与固定照相机的附接位置灵活对应或与手持照照相机的姿势对应。为此，常规图像传感器被设计成可改变沿水平方向的像素的读取方向(在下文中，称为水平成像方向)以及沿垂直方向的像素的读取方向(在下文中，称为垂直成像方向)。即，常规图像传感器的成像方向变成图5中示出的四个成像方向1至4。

在此，在常规CMOS图像传感器中，成像方向中的垂直成像方向影响焦平面失真的出现形式。如上所述，由于可以使用水平方向上的像素同时执行成像，因此当以任意方向进行拍摄时，不会影响焦平面失真的出现形式。将参照图6至图7E详细地描述焦平面失真的出现形式。

焦平面失真的出现形式

图6是示出作为本技术的基础的CMOS图像传感器200的运动、CMOS图像传感器200的成像方向以及焦平面失真的出现形式之间的关系的示图。

图7A至图7E是示出在通过作为本技术的基础的CMOS图像传感器200所生成的图像中出现的焦平面失真的形式的实例的示图。此外，图7A至图7E与图6中示出的成像图像273的标记对应。

在此，当在图6中示出的垂直成像方向是“正(forward)方向”时，则意味着在CMOS图像传感器200中的垂直成像方向是从顶部到底部的方向(例如，图5中示出的成像方向1和2的情况)。此外，当在图6中示出的垂直成像方向是“逆方向(backward)”时，则意味着在CMOS图像传感器200中的垂直成像方向是从底部到顶部的方向(例如，图5中示出的成像方向3和4的情况)。

如图6至图7E所示，焦平面失真的出现形式根据CMOS图像传感器200的运动和成像方向的组合而不同。

具体地，图7A示出了当CMOS图像传感器200未运动时的图像实例(即，在停止成像装置的状态下执行成像操作的情况)。即，当CMOS图像传感器200没有运动时，无论CMOS图像传感器200是什么成像方向，焦平面失真都不会出现。

此外，图7B和图7C示出了当CMOS图像传感器200在水平方向上存在运动时的图像实例(即，通过平移成像装置执行成像操作的情况)。如图7B和图7C所示，当CMOS图像传感器200在水平方向上存在运动时，由于每个行中的成像位置沿水平方向偏移，因此出现焦平面失真。

在此，当CMOS图像传感器200在水平方向上存在运动时，焦平面失真根据CMOS图像传感器200的运动方向而变得不同。具体地，假设CMOS图像传感器200沿水平方向的运动是在水平方向上从左到右的运动。以这种方式，当CMOS图像传感器200沿水平方向的运动是在水平方向从左到右的运动并且CMOS图像传感器200的垂直成像方向是正方向时，出现在图7B中示出的焦平面失真。另一方面，当CMOS图像传感器200沿水平方向的运动是在水平方向上从左到右的运动并且CMOS图像传感器200的垂直成像方向是逆方向时，出现在图7C中示出的焦平面失真。

此外，假设CMOS图像传感器200沿水平方向的运动是在水平方向上从右到左的运动的情况。以这种方式，当CMOS图像传感器200沿水平方向的运动是在水平方向上从右到左的运动并且CMOS图像传感器200的垂直成像方向是正方向时，出现在图7C中示出的焦平面失真。另一方面，当CMOS图像传感器200沿水平方向的运动是在水平方向上从右到左的运动并且CMOS图像传感器200的垂直成像方向是逆方向时，出现在图7B中示出的焦平面失真。

以这种方式，CMOS图像传感器200的运动与焦平面失真之间的关系根据垂直成像方向是正方向还是逆方向而颠倒。

此外，图7D和图7E示出了在CMOS图像传感器200在垂直方向上存在运动的情况下的图像实例(即，通过倾斜成像装置执行成像操作的情况)。如图7D和图7E所示，当CMOS图像传感器200在垂直方向上存在运动时，由于每个行中的成像位置沿垂直方向偏移，因此出现焦平面失真。

此外，与CMOS图像传感器200在垂直方向上存在运动的情况类似，CMOS图像传感器200的运动与焦平面失真之间的关系根据垂直成像方向是正方向还是逆方向而被颠倒，如图6所示。

在此，当通过CMOS图像传感器生成的运动图像内容记录在成像装置中时，不存在CMOS图像传感器在成像操作时的垂直成像方向通过与作为元信息的运动图像内容关联来进行记录的情况。为此，当运动图像内容在另一个再现装置中再现时，该再现装置不能确定在作为再现目标的运动图像内容的成像操作时的CMOS图像传感器的垂直成像方向。

以这种方式，当对CMOS图像传感器200在成像操作时的垂直成像方向是未知的运动图像内容执行焦平面失真校正时，如果通过采用错误的垂直成像方向执行校正处理，则会导致相反校正，并且失真增加。

例如，假设对图4B中示出的图像251(包括焦平面失真的图像)执行焦平面失真校正的情况。在此情况下，当通过采用错误的垂直成像方向执行焦平面失真校正时，如图4C所示的图像252一样，失真程度进一步增加，并且存在焦平面失真校正可能失效的问题。

因此，根据本技术的实施方式，将其中关于在成像操作时的成像信息是未知的运动图像内容适当地获得在成像操作时的成像信息的情况作为例子。此外，使用所获得的成像信息(例如，垂直成像方向或快门系统)以适当的方向执行焦平面失真校正。以这种方式，可以适当地执行焦平面失真校正。

成像信息的确定实例

图8A至图8C是示意性地示出根据本技术的第一实施方式的配置作为确定单元120的确定目标的运动图像内容300的帧的示图。

图8A示意性地示出了配置按时间顺序记录在运动图像内容记录单元110中的运动图像内容300的每个帧。在此，在图8A中，每个帧被示意性地示为大致的矩形，并且通过附有用于识别每个矩形中的帧的标记(序列号)来示出。例如，设定帧1是在配置运动图像内容300的每个帧中的顶部帧，并且设定帧2至N是在帧1后面的帧。

在图8B和图8C中，示出了在配置运动图像内容300的帧之中的两个连续帧。具体地，在图8B中，示出了配置运动图像内容300的帧n-1(310)，以及在图8C中，示出了配置运动图像内容300的帧n(320)。此外，在图8B中示出的帧n-1(310)与配置运动图像内容300的帧1至N-1对应。此外，在图8C中示出的帧n(320)于配置运动图像内容300的帧2至N对应。

此外，在图8B和图8C中，示出了每个帧(帧n-1(310)，帧n(320))被分为八个区(第0区至第七区)并且从每个区(第0区到第七区)中检测运动矢量的实例。此外，在图8B和图8C中，示出了作为划分方法的沿垂直方向划分为八个区(第0区到第七区)的实例。

在此，从每个帧的多个区(第0区到第七区)中检测出的运动矢量是每个帧中的局部运动矢量，并且也被称为局部运动矢量(LMV)。为此，在下文中，从每个帧的多个区(第0区到第七区)中检测出的运动矢量将被描述为局部运动矢量或LMV。

此外，作为检测局部运动矢量的方法，例如，可以使用如下方法：通过从前一帧的检索区中检索具有强相关性的位置，来获得关于变成局部运动矢量的检测目标的目标区的局部运动矢量。作为检测方法，例如，可以使用块匹配方法(例如，参照日本待审专利申请公开No.2007-208580)。块匹配法是如下一种方法：在作为比较目标的前一帧中检索与包括在目标区(其变成局部运动矢量的检测目标)中的图像类似的图像的位置，并且基于其检索结果，检测目标区的局部运动矢量。具体地，通过将搜索范围设定为相对于目标区中的多个区(块)所假设的最大运动量的大小，并在所设定的搜索范围中执行检索来检测局部运动矢量。

此外，可使用另一种检测方法。例如，可以使用如下检测方法：使用利用诸如光流(optical flow)的方法的数值计算来检测局部运动矢量。

此外，在帧n-1(310)中，在上侧的区(第0区到第三区)通过被矩形虚线环绕表示为上部区311，并且在下侧的区(第四区到第七区)通过被矩形虚线环绕表示为下部区312。类似地，在帧n(320)中，在上侧的区(第0区到第三区)通过被矩形虚线环绕表示为上部区321，并且在下侧的区(第四区到第七区)通过被矩形虚线环绕表示为下部区322。此外，将参照图9A和图9B详细描述上部区311、下部区312、上部区321和下部区322。

以这种方式，确定单元120基于在配置运动图像内容的目标帧(当前帧)与另一个帧(相对当前帧的前一帧)中的多个区之间的比较结果，获得在多个区的每一个中的特征量(局部运动矢量)。

此外，根据本技术的第一实施方式，已经描述了将一个帧划分为八个区并且检测局部运动矢量的实例，然而，可使用关于使用另一种划分方法来划分的区所检测的运动矢量。

图9A和图9B是示出与通过根据本技术的第一实施方式的确定单元120所检测的局部运动矢量对应的运动量与帧中的区之间关系的示图。此外，在图9A和图9B中，示出了在帧中不包括运动体(moving body)的情况的实例。

在图9A和图9B中，每个帧(例如，帧n-1到n+2)的相应区(用于检测局部运动矢量的八个区)在水平轴上的帧单元中并排地表示。此外，与在每个区中检测出的局部运动矢量对应的值(运动量)在垂直轴上表示。此外，设定帧n-1到n+2与在图8A中示出的帧n-1到n+2对应。

例如，假设使用生成记录在运动图像内容记录单元110中的运动图像内容的成像装置来执行成像操作的情况。在此，设定沿水平方向移动成像装置的同时执行成像操作。在此情况下，由于当在水平方向的运动速度不同时，在垂直方向的曝光时序变得不同，因此假设相同帧中的每个区的运动矢量变得不同。

例如，图9A示出了当通过沿水平方向移动成像装置同时改变运动速度来执行成像操作时的每个帧中的区与对应于从每个区中检测的局部运动矢量的运动量之间的关系。

如上所述，由于曝光时序在垂直方向偏移，因此与从每个区中检测的运动矢量对应的运动量根据运动速度的变化而改变。此外，与从对应于帧之间的边界的区中检测的运动矢量对应的运动量的变化根据CMOS图像传感器中的垂直成像方向而变得不同。

例如，假设CMOS图像传感器中的垂直成像方向是正方向的情况。在此情况下，当与从每个区中检测的局部运动矢量对应的运动量(速度，与前一帧的差分)排布在每个区中时，运动量的变化变得平滑，如图9A所示。此外，在每个帧的边界处的运动量的变化也变得平滑。即，可以使用曲线330表示运动的量的变化。

另一方面，假设CMOS图像传感器中的垂直成像方向是逆方向的情况。在此情况下，当与从每个区中检测的局部运动矢量对应的运动量(速度，与前一帧的差分)排布在每个区中时，每个帧中的运动量的变化变得平滑，如图9B所示，然而，在每个帧的边界处的运动量快速改变。此外，如图9B所示，每个帧之间的运动量的变化变得与在图9A中示出的实例相反。

以这种方式，每个帧中的运动量的变化在垂直成像方向是正方向的情况下与在垂直成像方向是逆方向的情况下变得相反，并且在每个帧的边界处的运动量的变化变得不同。因此，根据本技术的第一实施方式，描述了通过利用这些特性来确定垂直成像方向是正方向还是逆方向的实例。

局部运动矢量的计算实例

首先，确定单元120将配置运动图像内容300的帧之中的一个帧设定为当前帧(目标帧)。随后，确定单元120将当前帧划分为八个区，并检测每个区中的局部运动矢量。例如，假设配置运动图像内容300的帧之中第n帧n(图8C中示出的帧n(320))被设定为当前帧(目标帧)的情况被假设。在此情况下，确定单元120对帧n(320)中的区0到7检测局部运动矢量。

正方向帧边界的运动量和逆方向帧边界的运动量的计算实例

随后，确定单元120计算关于帧n(320)的正方向帧边界的运动量和逆方向帧边界的运动量。例如，确定单元120使用下列公式1计算正方向帧边界的运动量(NormalFrameDiff_n)并使用下列公式2计算逆方向帧边界的运动量(InverseFrameDiff_n)。此外，下标n是用于识别每个帧的序列号。

${\mathrm{NormalFrameDiff}}_n=|\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\mathrm{LMV}{\left[i\right]}_n-\underset{i=4}{\overset{7}{\mathrm{\Σ}}}\mathrm{LMV}{\left[i\right]}_{n-1}|...\left(1\right)$

${\mathrm{InverseFrameDiff}}_n=|\underset{i=4}{\overset{4}{\mathrm{\Σ}}}\mathrm{LMV}{\left[i\right]}_n-\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\mathrm{LMV}{\left[i\right]}_{n-1}|...\left(2\right)$

在此，公式1的第一部分表示在当前帧(目标帧)的图像中的上部区321的LMV的运动量的总和。即，第一部分表示图8C中示出的相应区0到3(用矩形环绕的区(上部区321))的LMV的运动量的总和。此外，公式1的第二部分表示在相对当前帧的前一帧(帧n-1)的图像中的下部区312的LMV的运动量的总和。即，第二部分表示在图8B中示出的相应区4到7(用矩形环绕的区(下部区312))的LMV的运动量的总和。

此外，使用公式1所计算的正方向帧边界的运动量(NormalFrameDiff_n)表示当垂直成像方向是正方向时的在帧边界部分处的运动矢量的变化量。

此外，公式2的第一部分表示在当前帧(目标帧)的图像中的下部区322的LMV的运动矢量的总和。即，第一部分表示在图8C中示出的相应区4到7(用矩形环绕的区(下部区322))的LMV的运动量的总和。此外，公式2的第二部分表示在相对当前帧的前一帧(帧n-1)的图像中的上部区311的LMV的运动量的总和。即，第二部分表示在图8B中示出的相应区0到3(用矩形环绕的区(上部区311))的LMV的运动量的总和。

此外，使用公式2所计算的逆方向帧边界的运动量(InverseFrameDiff_n)表示当垂直成像方向是逆方向时的在帧边界部分处的运动矢量的变化量。

随后，确定单元120类似地计算关于在第n+1个帧n+1之后的每个帧的正方向帧边界的运动量(NormalFrameDiff_n)和逆方向帧边界的运动量(InverseFrameDiff_n)。

此外，在该实例中，描述了使用每个帧的图像中的上部区的每个区中的所有LMV以及下部区的每个区中的所有LMV来计算正方向帧边界的运动量和逆方向帧边界的运动量的实例。然而，可仅使用每个帧的图像中的上部区的每个区中的LMV和下部区的每个区中的LMV的一部分来计算正方向帧边界的运动量和逆方向帧边界的运动量。例如，可使用每个帧的图像中的上部区的一部分区(例如，区0和1)的LMV以及下部区的一部分区(例如，区6和7)的LMV来计算正方向帧边界的运动量和逆方向帧边界的运动量。此外，可使用每个帧的图像中的上部区的一个区(例如，区0)的LMV以及下部区的一个区(例如，区7)的LMV来计算正方向帧边界的运动量和逆方向帧边界的运动量。

此外，到目前为止，为了便于说明，已经描述了使用从帧的垂直方向(y方向)的八个区(第0区到第七区)中检测的运动矢量的实例。然而，在上述块匹配方法中，通常，帧被划分为矩阵，并且从二维划分区中获得局部运动矢量。由此，可使用二维运动矢量。例如，假设一个帧被划分为在水平方向(x方向)上具有8个区并在垂直方向(y方向)上具有8个区的64个区并且使用从每个区中检测的运动矢量的情况。在此情况下，例如，在公式1的第一部分获得与当前帧(帧n)的图像中的上部区对应的32个区(8(x方向)×4(y方向))的LMV的运动量的总和。此外，类似地，在其他部分(公式1的第二部分，公式2的第一和第二部分)的每一个中获得32个区(8(x方向)×4(y方向))的LMV的运动量的总和。此外，使用这些值中的每一个来计算正方向帧边界的运动量和逆方向帧边界的运动量。

此外，公式1的第一部分可通过被限于有效的LMV来计算。即，可通过除以作为计算目标的LMV的数量(有效LMV的数量)来获得LMV的平均值，并且LMV的平均值可代替公式1的第一部分的值来使用。例如，当一个帧被划分为64个区(8(x方向)×8(y方向))时，通过将由公式1的第一部分获得的值除以有效LMV的数量(最大32(8(在x方向的LMV的数量)×4(在y方向的LMV的数量)))来获得LMV的平均值。此外，LMV的平均值代替公式1的第一部分的值来使用。在此，无效LMV服从值为0。此外，当在目标区中存在无效LMV时，公式1的第一部分的值被设定为0。此外，类似地，其他部分(公式1的第二部分，公式2的第一和第二部分)中的每个部分的值也通过被限于有效的LMV来计算。以这种方式，当计算正方向帧边界的运动量和逆方向帧边界的运动量时，这些量可通过被限于有效的LMV来计算。

以这种方式，通过将其限于有效的LMV来计算正方向帧边界的运动量和逆方向帧边界的运动量，可以提高成像信息的确定精度。

此外，在实例中，已经将在一个帧周期中获得和使用八个运动矢量的情况作为例子，然而，如上所述，在一个帧周期中可获得和使用两个或更多个运动矢量(例如，2到7个或者9个以上的运动矢量)。

正方向帧边界的运动量的积分值和逆方向帧边界的运动量的积分值的计算实例

在此，假设在使用常规CMOS图像传感器的成像操作中出现手抖动的情况。例如，当成像操作中CMOS图像传感器的垂直成像方向是正方向时，在每个帧中获得变成图9A中示出的曲线330的LMV(LMV索引(index)＝0到7)。另一方面，当成像操作中CMOS图像传感器的垂直成像方向是逆方向时，在每个帧中获得图9B中示出的LMV(LMV索引＝0到7)。

因此，计算运动矢量在帧边界部分处的变化量，以确定垂直成像方向是正方向的情况和垂直成像方向是逆方向的情况。

即，确定单元120将相应的所计算的正方向帧边界的运动量(NormalFrameDiff_n)和逆方向帧边界的运动量(InverseFrameDiff_n)进行积分(相加)。具体地，确定单元120通过使用下列公式3将正方向帧边界的运动量(NormalFrameDiff_n)进行积分(相加)，来计算正方向帧边界的运动量的积分值(NormalDiffSum)。此外，确定单元120通过使用下列公式4将逆方向帧边界的运动量(InverseFrameDiff_n)进行积分(相加)，来计算逆方向帧边界的运动量的积分值(InverseDiffSum)。

$\mathrm{NormalDiffSum}=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{NormalFrameDiff}}_n...\left(3\right)$

$\mathrm{InverseDiffSum}=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{InverseFrameDiff}}_n...\left(4\right)$

在此，N是表示配置运动图像内容的帧的数量的值(为1或1以上的整数)。

正方向帧边界的运动量的积分值和逆方向帧边界的运动量的积分值的另一种计算实例

公式3和4是当计算配置运动图像内容的所有帧(第一帧到最后的帧)的积分值时所使用的公式。然而，由于在配置运动图像内容的帧之中没有相对第一帧的前一帧，因此还假设在第一帧中未检测局部运动矢量。以这种方式，当在第一帧中未检测局部运动矢量时，不可以分别执行在公式1和公式2中的第二部分的计算。因此，可使用下列公式5来计算正方向帧边界的运动量的积分值(NormalDiffSum)，并且可使用下列公式6来计算逆方向帧边界的运动量的积分值(InverseDiffSum)。然而，在公式5和6中，N被设定为2或2以上的整数。

$\mathrm{NormalDiffSum}=\underset{n=2}{\overset{N}{\mathrm{\Σ}}}{\mathrm{NormalFrameDiff}}_n...\left(5\right)$

$\mathrm{InverseDiffSum}=\underset{n=2}{\overset{N}{\mathrm{\Σ}}}{\mathrm{InverseFrameDiff}}_n...\left(6\right)$

垂直成像方向的确定实例

随后，确定单元120通过将所计算的正方向帧边界的运动量的积分值(NormalDiffSum)与逆方向帧边界的运动量的积分值(InverseDiffSum)相互比较来确定垂直成像方向。

如上所述，其中帧边界部分的局部运动矢量的变化量是平滑连接的方向被认为是实际的成像方向。因此，通过将正方向帧边界的运动量的积分值(NormalDiffSum)与逆方向帧边界的运动量的积分值(InverseDiffSum)相互比较，可以确定平滑连接的方向是实际成像方向。

具体地，确定单元120确定正方向帧边界的运动量的积分值(NormalDiffSum)是否小于逆方向帧边界的运动量的积分值(InverseDiffSum)。此外，当正方向帧边界的运动量的积分值(NormalDiffSum)小于逆方向帧边界的运动量的积分值(InverseDiffSum)时，确定单元120确定垂直成像方向是正方向。另一方面，当正方向帧边界的运动量的积分值(NormalDiffSum)等于或大于逆方向帧边界的运动量的积分值(InverseDiffSum)时，确定单元120确定垂直成像方向是逆方向。

即，确定单元120使用下列确定条件(公式7)进行确定，并且能够获得作为成像信息的垂直成像方向。

以这种方式，当垂直成像方向是正方向时，以及当垂直成像方向是逆方向时，可以通过将在帧边界部分处的运动矢量的变化量进行积分并且通过将变化量相互比较来确定垂直成像方向。

全局快门系统的运动图像内容的确定实例

利用上述确定方法，可以确定图像传感器在关于运动图像内容(已知其出现焦平面失真)的成像操作时的垂直成像方向。此外，可以基于确定结果(垂直成像方向)适当地执行焦平面失真校正。

然而，例如，使用全局快门系统的图像传感器(例如，CCD图像传感器)来成像的运动图像内容原则上不具有焦平面失真。由此，不需要对通过使用全局快门图像传感器来成像的运动图像内容执行焦平面失真校正。

以这种方式，根据图像传感器的快门系统，存在需要焦平面失真校正的情况以及不需要焦平面失真校正的情况。因此，为了与通过全局快门图像传感器(例如，CCD图像传感器)生成的运动图像内容相对应，优选地确定快门系统是全局快门系统还是焦平面快门系统。

因此，在不知道运动图像内容的成像操作时的成像信息的情况下，与垂直成像方向(正方向，逆方向)的确定一起执行快门系统(全局快门系统，焦平面快门系统)的确定。此外，基于确定结果执行校正处理。

图10是示出在对应于通过根据本技术的第一实施方式的确定单元120检测的局部运动矢量的运动量与帧中的区之间的关系的示图。此外，图10中的曲线图与图9A和图9B中示出的曲线图对应。此外，图10示出了对应于关于由全局快门图像传感器(例如，CCD图像传感器)生成的运动图像内容所检测的局部运动矢量的运动量与帧中的区之间的关系的实例。此外，图10示出了与图9A和图9B类似的在帧中没有运动体的情况的实例。

如图9A和图9B所示，在使用常规CMOS图像传感器的成像操作中，在帧的每个区中检测的局部运动矢量(LMV索引＝0到7)根据垂直成像方向在相同的帧中颠倒。与此相反，在使用全局快门图像传感器的成像操作中，当在帧中不存在运动体时，在相同帧中的局部运动矢量是近似恒定的，如图10所示。

由此，通过全局快门图像传感器生成的运动图像内容在正方向帧边界的运动量的积分值(NormalDiffSum)与逆方向帧边界的运动量的积分值(InverseDiffSum)之间具有很小的差异。例如，该差异等于或小于阈值。因此，确定单元120使用下列条件表达式(公式8)来确定快门系统是全局快门系统还是焦平面快门系统(滚动快门系统)。

在此，“thresh”是阈值。作为阈值，例如，设定适于确定快门系统是全局快门系统还是焦平面快门系统的值。此外，阈值根据运动图像内容的成像信息的确定周期而改变。

此外，由于上述阈值被设定为不可改变的而不管运动图像内容的成像信息的确定周期，可基于在运动图像内容的成像信息的确定周期中被归一化的值来进行确定。即，可使用下列条件表达式(公式9)进行快门系统是全局快门系统还是焦平面快门系统的确定。

在此，NormalDiffAve是正方向帧边界的运动量的积分值(NormalDiffSum)在成像信息的确定周期中被归一化的值。此外，InverseDiffAve是逆方向帧边界的运动量的积分值(InverseDiffSum)在成像信息的确定周期中被归一化的值。

此外，这些归一化的值(NormalDiffAve，InverseDiffAve)可通过使用每个积分值(NormalDiffSum，InverseDiffSum)的相加的次数对每个积分值求平均来获得。即，归一化值可通过使用更新每个积分值(NormalDiffSum，InverseDiffSum)的次数对每个积分值求平均(例如，将每个积分值除以次数)来获得。

在此，当确定通过使用作为确定快门系统的结果的全局快门系统来执行拍摄时，校正单元130输出运动图像内容作为校正图像，而无需对运动图像内容执行校正处理。

以这种方式，可以精确确定在成像操作时的成像信息是未知的运动图像内容的快门系统。即，可以确定在成像操作时的成像信息是未知的运动图像内容是使用全局快门图像传感器来成像的运动图像内容。以这种方式，可以防止对使用全局快门图像传感器来成像的运动图像内容(在原则上没有焦平面失真的环境中执行成像操作的运动图像内容)执行焦平面失真校正。即，可以基于确定快门系统的确定结果来确定运动图像内容的校正是否是必要的。

以这种方式，确定单元120可基于在配置运动图像内容的帧之中的时间顺序相邻的帧之间的局部运动矢量的连续性，确定在运动图像内容的成像操作时的成像信息。

此外，例如，在配置运动图像内容的帧之中的时间顺序相邻的帧被设定为第一帧和第二帧。在此情况下，确定单元120基于从第一帧的特定方向上的一端侧上的区获得的局部运动矢量与从第二帧的特定方向上的另一端侧上的区获得的局部运动矢量的比较结果来执行确定。在此，每个帧的特定方向可被设定为例如每个帧的垂直方向。

此外，例如，从第一帧的一端侧上的区获得的局部运动矢量被设定为第一运动矢量，并且从第一帧的另一端侧上的区获得的局部运动矢量被设定为第二运动矢量。此外，例如，从第二帧的一端侧上的区获得的局部运动矢量被设定为第三运动矢量，并且从第二帧的另一端侧上的区获得的局部运动矢量被设定为第四运动矢量。在此情况下，确定单元120使用基于第一运动矢量与第四运动矢量的比较结果以及第二运动矢量与第三运动矢量的比较结果所计算的值(例如，使用公式3和4或者公式5和6计算的值)进行确定。

此外，在本技术的实施方式中，已经描述了从运动图像内容裁剪(cutout)的图像被设定为帧图像的实例，然而，可以将本技术的实施方式应用于从运动图像内容裁剪的图像被设定为字段(field)图像的情况。

焦平面失真校正实例

图11是示出根据本技术的第一实施方式的校正单元130的功能配置实例的框图。

校正单元130使用通过确定单元120确定的成像信息来执行焦平面失真的适当校正处理。具体地，校正单元130包括位移量估计单元131，校正量推导单元132以及校正处理单元133。

位移量估计单元131估计记录在运动图像内容记录单元110中的运动图像内容的位移量，并且将所估计的位移量输出至校正量推导单元132。此外，将参照图12A至图13D详细地描述估计位移量的方法。

校正量推导单元132基于由位移量估计单元131所估计的位移量(所估计的位移量)和使用确定单元120的确定结果(成像信息)，来推导用于校正记录在运动图像内容记录单元110中的运动图像内容的校正量。此外，校正量推导单元132将推导出的校正量输出至校正处理单元133。此外，将参照图14A至图14C详细地描述推导校正量的方法。

校正处理单元133基于从校正量推导单元132推导出的校正量，校正记录在运动图像内容记录单元110中的运动图像内容，并将校正后的运动图像内容输出至输出单元140。此外，将参照图12A到图14C详细地描述校正方法。

图12A至图14C是示出作为使用根据本技术的第一实施方式的校正单元130的校正处理的目标的图像、校正图像以及校正处理中所使用的每条信息之间的关系的示图。

图12A至图13D示出了其中垂直轴被设定为表示按时间顺序的每个帧的轴并且水平轴被设定为表示与每个帧相关的每个信息的轴的曲线图。此外，用于指定帧的标记(n-2到n+3)在相应的图12A至图13D的右侧表示。

在图12A中，示出了按时间顺序表示图像传感器在水平方向上的手抖动量的曲线图。在图12B中，示出了当存在如图12A中所示的手抖动量时所生成的图像的实例。

在图12C中，示出了对图12B中示出的图像所估计的位移量(图像传感器在成像操作时的位移量)的实例。

在图12D中，示出了基于图12C中示出的位移量(图像传感器在成像操作时的位移量)以及使用确定单元120的确定结果所推导出的校正量的实例。

在图12E中，示出了当图12B中示出图像基于图12D中示出的校正量来校正的校正图像的实例。

例如，假设存在如图12A所示的手抖动量的手抖动(在水平方向上的手抖动)并且生成图12B中示出的成像信息的情况。此外，CMOS图像传感器的运动、垂直成像方向与成像图像之间的关系与图6中所示的相同。

在此，在图12A中示出的手抖动是非线性运动。以这种方式，当手抖动是非线性运动时，在成像图像中也初中如图12B所示的非线性失真。

位移量的估计实例

在此，在图12A中，图像传感器在水平方向的手抖动量是按时间顺序表示的，然而，在实际系统中，通常难以从运动图像内容中获得每个行中的手抖动量的信息。为此，需要基于成像图像来估计在成像图像的成像操作时的图像传感器的位移量。

例如，位移量估计单元131基于图12B中示出的成像图像推导出图12C中示出的估计位移量(在成像操作时的图像传感器的估计位移量)。估计位移量是基于对图像传感器在一个帧周期中运动了多少的估计来计算的值。此外，推导在一个帧周期的一个估计位移量的实例在图12C中示出，然而，可在一个帧周期中推导出多个估计位移量。

在此，将参照图13A至13D描述使用位移量估计单元131的图像传感器在成像操作时的位移量的估计方法。此外，在图13A至图13D示出的实例中，为了便于描述，示出了从关于每个帧的四个区中计算LMV并基于LMV来计算估计位移量的实例。

在图13A中示出的成像图像与在图12B中示出的成像图像对应。此外，设定在图13B中示出的LMV(LMV索引＝0到3)是在关于图13A中所示的成像图像的每个帧中获得的。

在此，作为估计图像传感器的位移量的方法，例如，可以使用将基于LMV所计算的全局运动矢量(GMV)设定为估计量的方法。该估计方法是最简单的方法，并且可以如下列公式10所示的获得在水平方向(EDH)上的估计位移。此外，下标n是用于识别每个帧的序列号。

${\mathrm{EDH}}_n={\mathrm{GMV}}_n=\frac{\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\mathrm{LMV}{\left[i\right]}_n}{4}...\left(10\right)$

在图13C中，示出了使用公式10获得的估计位移量的实例。

在此，基于相对于特定参考图像的当前帧(例如，第n帧)的位置坐标与前一帧(例如，第n-1帧)的位置坐标之间的差异来计算LMV。由此，当前帧中的LMV是从前一帧到当前帧的周期内的位移量。与此相反，当前帧中的成像图像的失真基于当前帧的位移量而出现。

由此，如上所述，当GMV被设定为图像传感器的估计位移量时，存在如下情况：在LMV与手抖动的波形之间出现相移(phase shift)。

例如，在如图13A所示的第n帧的成像图像以及第n-1个帧的成像图像中，以从左上方到右下方的相同角度出现失真。然而，如图13C所示，在第n帧与第n-1帧之间的基于GMV获得的估计位移量存在很大的差异。

因此，为了减轻这种相移，估计位移量(EDH)可使用下列公式11获得。

${\mathrm{EDH}}_n=\frac{(\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\mathrm{LMV}{\left[i\right]}_n+\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\mathrm{LMV}{\left[i\right]}_{n+1})}{8}...\left(11\right)$

即，可以基于后续帧到当前帧(例如，第n+1帧)的所有LMV以及当前帧(例如，第n帧)的所有LMV，获得当前帧的估计位移量。以这种方式，可以减轻这种相移。

在图13D中，示出了使用公式11所获得的估计位移量的实例。

此外，可以使用差的中心、仅使用包括在目标帧周期中的LMV来获得估计量。例如，可使用下列公式12获得估计位移量(EDH)。

${\mathrm{EDH}}_n=\frac{(\underset{i=2}{\overset{3}{\mathrm{\Σ}}}\mathrm{LMV}{\left[i\right]}_n+\underset{i=0}{\overset{1}{\mathrm{\Σ}}}\mathrm{LMV}{\left[i\right]}_{n+1})}{4}...\left(12\right)$

推导校正量的实例

校正量推导单元132基于图12C中示出的图像传感器的估计位移量以及从确定单元120输出的成像信息来推导出图12D中示出的每个帧周期中的每个行的校正量。

在此，将详细描述使用校正量推导单元132推导校正量的方法。

此外，作为校正方法，例如，在校正目标的帧周期中，存在使用恒定校正量校正每个行的线性校正以及在校正目标的帧周期中使用非恒定校正量校正每个行的非线性校正。在此，将参照图14A至图14C描述当使用线性校正执行校正时的校正量的计算方法。

如图14A所示，在使用常规图像传感器进行成像时，在每个帧之间存在预定的时间间隔(由图14A中的垂直消隐间隔(VBI)表示)。因此，通过考虑时间间隔(VBI)，通过使用下列公式13，可以获得某一帧(例如，第n帧)的某一(例如，第k行)在水平方向上的位置校正量(针对水平位移的校正值(CVHD))。

${\mathrm{CVHD}}_{n,k}=\mathrm{CFSP}\·{\mathrm{EDH}}_n\·\frac{1/\mathrm{FrameRatio}-\mathrm{VBI}}{1/\mathrm{FrameRatio}}\·(\frac{k}{\mathrm{LineNum}-1}-A)...\left(13\right)$

在此，LineNum是表示一个帧中的成像行的数量的值。此外，FrameRatio是表示每秒成像张数的值。此外，传感器性能的校正因子(CFSP)是相对于成像图像的校正系数和基于下列条件表达式(公式14)来确定的值(校正系数)。即，基于与上述条件表达式(公式9)对应的成像信息确定CFSP。

此外，A是中心校正调整系数。例如，当设定A＝0.5时，A变成其中成像区的中心行被设定为中心的校正量。

例如，假设从位移量估计单元131推导出的估计位移量被设定为在图14B中示出的估计位移量的情况。在此情况下，校正量推导单元132使用公式13计算如图13C所示的校正量。

此外，校正处理单元133通过基于从校正量推导单元132推导出的校正量对成像图像执行校正来产生校正图像。例如，校正处理单元133基于图12D中示出的每个行中的校正量，创建关于图12B中示出的成像图像的校正图像(其在图12E中示出)。

以这种方式，当使用确定单元120确定快门系统是焦平面快门系统时，校正单元130基于由确定单元120确定的成像方向，对运动图像内容执行焦平面失真校正。另一方面，当使用确定单元120确定快门系统是全局快门系统时，校正单元130不对运动图像内容执行焦平面失真校正。

在图12A至图12E以及图14A至图14C中，已经示出了在一个帧周期中通过计算线性校正量来执行校正的实例，然而，可通过计算非线性校正量来执行校正。

此外，到目前为止，已经描述了在水平方向上的校正，然而，可以使用相同方法执行关于垂直方向的校正。即，在水平方向的校正中，在每个行中已经校正了在水平方向上的位移，然而，在垂直方向的校正中，在每个行中校正在垂直方向上的位移(扩张和收缩)。

以这种方式，可以对运动图像内容执行适当的校正处理并可以执行稳定的校正。

图像处理装置的操作实例

图15是示出使用根据本技术的第一实施方式的图像处理装置100的校正处理的处理顺序的实例的流程图。此外，在图15中，示出了垂直成像方向被确定为成像信息的实例。

首先，确定单元120初始化参考帧索引、正方向帧边界的运动量的积分值以及逆方向帧边界的运动量的积分值。在此，参考帧索引是用于指定作为处理目标的帧的索引。例如，确定单元120初始化参考帧索引，以便指示配置记录在运动图像内容记录单元110中的运动图像内容的顶部帧。此外，例如，确定单元120使用零初始化相应的正方向帧边界的运动量的积分值和逆方向帧边界的运动量的积分值。

随后，确定单元120从记录在运动图像内容记录单元110中的运动图像内容中获得由参考帧索引指示的帧，并且从该帧的每个区中获得局部运动矢量(步骤S902)。例如，如图8B和图8C所示，从帧的八个区中获得局部运动矢量。

随后，确定单元120使用所获得的局部运动矢量，计算正方向帧边界的运动量和逆方向帧边界的运动量(步骤S903)。即，确定单元120使用上述公式1计算正方向帧边界的运动量(NormalFrameDiff_n)，并且使用上述公式2计算逆方向帧边界的运动量(InverseFrameDiff_n)。

随后，确定单元120通过将相应的正方向帧边界的运动量和逆方向帧边界的运动量加到每个积分值，来计算正方向帧边界的运动量的积分值以及逆方向帧边界的运动量的积分值(步骤S904)。即，确定单元120使用上述公式3计算正方向帧边界的运动量的积分值(NormalDiffSum)，并使用上述公式4计算逆方向帧边界的运动量的积分值(InverseDiffSum)。此外，如上所述，当未对顶部帧检测局部运动矢量时，可使用上述公式5和6来计算每个积分值。

随后，确定单元120通过将参考帧索引更新达调节量的量，来更新参考帧索引(步骤S905)。例如，参考帧索引的值递增，并且加1。

随后，确定单元120检查参考帧索引，并确定参考帧的周期是否结束(步骤S906)。例如，确定单元120确定由参考帧索引所指示的帧是否是记录在运动图像内容记录单元110中的运动图像内容的后端帧。此外，当由参考帧索引所指示的帧是后端帧时，确定单元120确定参考帧的周期结束。

当参考帧的周期未结束时(步骤S906)，过程返回步骤S902。另一方面，当参考帧的周期结束时(步骤S906)，确定单元120使用正方向帧边界的运动量的积分值和逆方向帧边界的运动量的积分值，执行关于成像信息的确定(步骤S907)。即，确定单元120使用上述确定条件(公式7)进行确定，并且获得作为成像信息的垂直成像方向。此外，步骤S907是在权利要求中描述的确定步骤的实例。

随后，校正单元130基于使用确定单元120的确定结果，对记录在运动图像内容记录单元110中的运动图像内容执行焦平面失真校正处理(步骤S908)。

此外，当确定作为成像信息的图像传感器的快门系统(全局快门系统，焦平面快门系统)时，与垂直成像信息一起在步骤S907进行确定。在此情况下，当确定图像传感器的快门系统是全局快门系统时，省略步骤S908中的焦平面失真的校正处理。

2.变形例

在本技术的第一实施方式中，已经描述了使用位移量估计单元131来估计在成像操作时的图像传感器的位移量的实例。在此，存在一种安装有用于检测装置的姿势的传感器(例如，陀螺仪传感器)的成像装置。例如，当使用该成像装置执行成像操作时，认为使用传感器获得在成像操作时的每个行中的手抖动量，并且关于所获得的手抖动量的信息通过被包括在运动图像内容的元信息中进行记录。以这种方式，可以通过在运动图像内容的元信息中记录与在成像操作时的每个行中的手抖动量有关的信息来使用与在图像处理时的手抖动量有关的信息。在此情况下，可以省略位移量估计单元131。

因此，在根据本技术的实施方式的变形例中，示出了使用运动图像内容的元信息(关于在成像操作时的每个行中的手抖动量的信息)来推导校正量的实例。

校正单元的配置实例

图16示出在根据本技术的实施方式的变形例中的图像处理装置400的功能配置实例的框图。此外，在图像处理装置400中，修改了在图1中示出的图像处理装置100的一部分，并且只有在图1中示出的校正单元130不同。由此，在图16中，仅示出了图像处理装置400的部分配置(与图11对应的配置)，并且省略了其他配置的图示。此外，与图像处理装置100相同的部分被给予相同的参考标号，并且省略这部分的描述。

图像处理装置400包括运动图像内容记录单元110、确定单元120、校正单元410以及输出单元140。此外，校正单元410包括校正量推导单元411和校正处理单元133。即，在校正单元410中，省略了图11中示出的校正单元130中的位移量估计单元131。

此外，假设与成像操作时的每个行的手抖动量有关的信息通过被关联记录在作为元信息记录在运动图像内容记录单元110中的运动图像内容中。

校正量推导单元411基于记录在运动图像内容记录单元110中的运动图像内容的元信息(关于成像操作时的每个行的手抖动量的信息)以及使用确定单元120的确定结果(成像信息)来推导每个帧周期的每个行的校正量。除了使用成像操作时的每个行的手抖动量来取代估计位移量这点以外，应用与本技术的第一实施方式相同的校正量推导实例。

结论

以这种方式，根据本技术的实施方式，即使在运动图像内容在成像操作时的成像信息是未知的情况下，也可以通过适当地确定成像信息来获得在成像操作时的图像传感器的成像信息(垂直成像方向)。通过使用以这种方式获得的成像信息(垂直成像方向)来执行焦平面失真校正，可以防止由于使用错误的成像方向的校正而导致焦平面失真校正失效。以这种方式，可以获得高稳定性并且可以执行具有高精度的焦平面失真校正。即，可以执行其中在成像操作时的成像信息被适当反映的焦平面失真的适当校正。

即，根据本技术的实施方式，可以执行衰减手抖动以及由于在CMOS图像传感器中出现的焦平面现象等而引起的成像图像的失真的健壮(robust)校正(焦平面失真校正)。此外，可以适当地确定在成像操作时的图像传感器的成像方向(其在校正中是必需的)。

此外，根据本技术的实施方式，即使在运动图像内容在成像操作时的成像信息是未知的情况下，也可以通过适当地确定成像信息来获得在成像操作时的图像传感器的成像信息(图像传感器的快门系统)。以这种方式，即使当在成像操作时的成像信息是未知的运动图像内容通过使用原则上不会出现焦平面失真的CCD传感器进行成像时，也可以防止校正被错误地执行。

以这种方式，根据本技术的实施方式，可以在例如云环境等中对在成像操作时的成像信息是未知的运动图像内容适当地执行校正处理(诸如焦平面失真校正)。此外，可以在例如运动图像编辑软件、运动图像再现软件等中对在成像操作时的成像信息是未知的运动图像内容适当地执行校正处理(诸如焦平面失真校正)。

此外，在本技术的实施方式中，已经将整体配置的图像处理装置100和400作为实例进行了描述。然而，也可以将本技术的实施方式应用于其中图像处理装置100和400的每个功能通过使用多个装置来执行的图像处理系统。例如，可以将本技术的实施方式应用于其中与运动图像内容记录单元110、确定单元120、校正单元130和输出单元140对应的多个装置使用网络进行连接的图像处理系统。此外，该网络例如是诸如电话网、互联网(例如，公共线路网络)或有线网络或同轴电缆的网络。

此外，上述实施方式是体现本技术的实例，并且在实施方式中的事项和用于在权利要求中限定本技术的事项分别具有对应关系。同样，用于在权利要求中限定本技术的事项和本技术的实施方式中的被附于相同名称的事项分别具有对应关系。然而，本技术并不限于所实施方式，并且可通过对实施方式执行未偏离本技术的范围的各种修改来体现。

此外，在上述实施方式中描述的处理步骤可被视为具有一系列这些步骤的方法，并且可被视为在计算机中执行该一系列步骤的程序以及记录该程序的记录介质。作为记录介质，可以使用例如压缩光盘(CD)、迷你磁盘(MD)、数字通用光盘(DVD)、存储卡、蓝光(注册商标)光盘等。

此外，在本说明书中描述的效果仅仅是实例，而不是限制性的，或者可以是另一种效果。

此外，本技术还可配置如下。

(1)一种图像处理装置，包括：确定单元，使用从配置运动图像内容的帧中的多个区所获得的特征量，确定在运动图像内容的成像操作时的成像元件的捕捉像素值的方案。

(2)根据(1)所述的图像处理装置，其中，确定单元确定在成像操作时的成像元件的成像方向和快门系统中的至少一个作为捕捉方案。

(3)根据(1)或(2)所述的图像处理装置，其中，确定单元通过获得多个区的每一个中的局部运动矢量作为特征量，基于在配置运动图像内容的帧之中的时间顺序相邻的帧之间的局部运动矢量的连续性进行确定。

(4)根据(1)至(3)中任一项所述的图像处理装置，其中，确定单元获得多个区的每一个的局部运动矢量作为特征量，将在配置运动图像内容的帧之中的时间顺序相邻的帧设置为第一帧和第二帧，并且基于从在第一帧的特定方向中的一端侧上的区所获得的局部运动矢量与从在第二帧的特定方向中的一端侧上的区所获得的局部运动矢量的比较结果进行确定。

(5)根据(4)所述的图像处理装置，其中，确定单元使用基于第一运动矢量与第四运动矢量的比较结果以及第二运动矢量与第三运动矢量的比较结果所计算的值进行确定，第一运动矢量是从在第一帧的一端侧上的区所获得的局部运动矢量，第二运动矢量是从在第一帧的另一端侧上的区所获得的局部运动矢量，第三运动矢量是从在第二帧的一端侧上的区所获得的局部运动矢量，以及第四运动矢量是从在第二帧的另一端侧上的区所获得的局部运动矢量。

(6)根据(1)到(5)中任一项所述的图像处理装置，其中，进一步包括基于所确定的捕捉方案对运动图像内容执行焦平面失真校正的校正单元。

(7)根据(6)所述的图像处理装置，其中，确定单元确定在成像操作时的成像元件的成像方向和快门系统中的至少一个作为捕捉方案，并且当由确定单元确定快门系统是焦平面快门系统时，校正单元基于所确定的成像方向，对运动图像内容执行焦平面失真校正，并且当由确定单元确定快门系统是全局快门系统时，不对运动图像内容执行焦平面失真校正。

(8)根据(1)到(7)中任一项所述的图像处理装置，其中，确定单元基于配置运动图像内容的目标帧与另一个帧中的多个区的比较结果，获得多个区中的每一个的特征量。

(9)一种图像处理方法，其中，使用从配置运动图像内容的帧中的多个区所获得的特征量，确定在运动图像内容的成像操作时的成像元件的像素值的捕捉方案。

(10)一种使计算机执行确定步骤的程序，其中，确定步骤使用从配置运动图像内容的帧中的多个区所获得的特征量，确定在运动图像内容的成像操作时的成像元件的像素值的捕捉方案。

本领域的技术人员应当理解，根据设计要求和其他因素，可出现各种修改、组合、子组合和变化，只要它们在所附权利要求及其等价物的范围内。

Claims (11)

1.一种图像处理装置，包括：

确定单元，使用从配置运动图像内容的帧中的多个区所获得的特征量，确定在所述运动图像内容的成像操作时的成像元件的像素值的捕捉方案。

2.根据权利要求1所述的图像处理装置，

其中，所述确定单元确定在所述成像操作时的所述成像元件的成像方向和快门系统中的至少一个作为所述捕捉方案。

3.根据权利要求1所述的图像处理装置，

其中，所述确定单元通过获得在所述多个区的每一个中的局部运动矢量作为所述特征量，基于在配置所述运动图像内容的帧之中的时间顺序相邻的帧之间的所述局部运动矢量的连续性进行所述确定。

4.根据权利要求1所述的图像处理装置，

其中，所述确定单元获得所述多个区的每一个的局部运动矢量作为特征量，将在配置所述运动图像内容的帧之中的时间顺序相邻的帧设置为第一帧和第二帧，并且基于从在所述第一帧的特定方向中的一端侧上的区所获得的局部运动矢量与从在所述第二帧的特定方向中的另一端侧上的区所获得的局部运动矢量的比较结果进行所述确定。

5.根据权利要求4所述的图像处理装置，

其中，所述确定单元使用基于第一运动矢量与第四运动矢量的比较结果以及第二运动矢量与第三运动矢量的比较结果所计算的值进行所述确定，所述第一运动矢量是从在所述第一帧的所述一端侧上的区所获得的局部运动矢量，所述第二运动矢量是从在所述第一帧的所述另一端侧上的区所获得的局部运动矢量，所述第三运动矢量是从在所述第二帧的所述一端侧上的区所获得的局部运动矢量，以及所述第四运动矢量是从在所述第二帧的所述另一端侧上的区所获得的局部运动矢量。

6.根据权利要求1所述的图像处理装置，进一步包括：

校正单元，基于所确定的捕捉方案，对所述运动图像内容执行焦平面失真校正。

7.根据权利要求6所述的图像处理装置，

其中，所述确定单元确定在所述成像操作时的所述成像元件的所述成像方向和所述快门系统中的至少一个作为所述捕捉方案，并且

其中，当由所述确定单元确定所述快门系统是焦平面快门系统时，所述校正单元基于所确定的成像方向，对所述运动图像内容执行所述焦平面失真校正，并且当由所述确定单元确定所述快门系统是全局快门系统时，不对所述运动图像内容执行所述焦平面失真校正。

8.根据权利要求6所述的图像处理装置，进一步包括：

运动图像内容记录单元，记录所述运动图像内容，并将所记录的运动图像内容供应至所述确定单元和所述校正单元。

9.根据权利要求1所述的图像处理装置，

其中，所述确定单元基于配置所述运动图像内容的目标帧的多个区与另一个帧的比较结果，获得所述多个区的每一个中的特征量。

10.一种图像处理方法，包括：

使用从配置运动图像内容的帧中的多个区获得的特征量，确定在所述运动图像内容的成像操作时的成像元件的像素值的捕捉方案。

11.一种使计算机执行下列步骤的程序：

确定步骤，使用从配置运动图像内容的帧中的多个区获得的特征量，确定在所述运动图像内容的成像操作时的成像元件的像素值的捕捉方案。