CN105323465A - 图像处理装置及其控制方法 - Google Patents

Abstract

本发明提供了一种图像处理装置及其控制方法。所述图像处理装置包括：第一计算单元，用于通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；第二计算单元，用于通过使用从所述抖动检测单元输出的抖动信号，来计算静止图像的抖动校正量；生成单元，用于基于所述运动图像的抖动校正量与所述静止图像的抖动校正量之间的比较结果，生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及记录单元，用于将所述评价值与所述运动图像的帧图像相关联地记录。

Description

图像处理装置及其控制方法

技术领域

本发明涉及从拍摄的运动图像生成静止图像的技术。

背景技术

近年来，能够拍摄运动图像的摄像装置中的像素数迅速增加。能够拍摄全高清(FullHD)运动图像的摄像装置已经普及，并且能够拍摄4K或2K运动图像的摄像装置现在也开始出现在市场上。

由于这种高清运动图像的发展，近年来，运动图像的各帧图像具有足以用作静止图像的充足的像素数。因此，预计用于从运动图像的各帧生成静止图像的方法在将来会更普及。

在从运动图像生成静止图像时的一个问题是：用户难以确定哪个帧图像最适合作为静止图像。例如，由于在图像被视为运动图像的一部分的情况下的帧之间的连续转换而未注意到的照相机抖动或离焦图像，在图像被视为静止图像时常常超过可接受的程度。因此，对于用户来说逐一检查各帧是非常繁琐的。

为了解决这种问题，日本特开第2010-252078号公报公开了以下方法：首先，在运动图像的回放期间，读取在运动图像的记录期间已经记录的照相机图像状态信息。然后，从按下用于记录静止图像的开关时的时间前后拍摄的帧之中，选择最适合作为静止图像的图像。

然而，虽然上述传统的示例公开了如下概念：与运动图像的记录同步地记录AF、AE、AWB、抖动等的状态信息，使得状态信息能够用于在运动图像的回放期间选择静止图像，但是该示例不包含任何关于如何生成状态信息的具体披露。

发明内容

本发明是鉴于上述问题而作出的，并提供了一种使得用户能够容易地从构成已拍摄的运动图像的图像之中，选择最适合作为静止图像的图像的图像处理装置。

根据本发明的第一方面，提供了一种图像处理装置，所述图像处理装置包括：第一计算单元，其被构造为通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；第二计算单元，其被构造为通过使用从所述抖动检测单元输出的抖动信号，来计算静止图像的抖动校正量；生成单元，其被构造为基于所述运动图像的抖动校正量与所述静止图像的抖动校正量之间的比较结果，来生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及记录单元，其被构造为将所述评价值与所述运动图像的各帧图像相关联地记录。

根据本发明的第二方面，提供了一种图像处理装置，所述图像处理装置包括：第一计算单元，其被构造为通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；第二计算单元，其被构造为通过使用从所述抖动检测单元输出的抖动信号，来计算相比于所述运动图像的抖动校正量实现更高防振性能的抖动校正量；生成单元，其被构造为基于所述运动图像的抖动校正量与相比于所述运动图像的抖动校正量实现更高防振性能的抖动校正量之间的比较结果，生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及记录单元，其被构造为将所述评价值与所述运动图像的各帧图像相关联地记录。

根据本发明的第三方面，提供了一种图像处理装置的控制方法，所述控制方法包括：第一计算步骤，通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；第二计算步骤，通过使用从所述抖动检测单元输出的抖动信号，来计算静止图像的抖动校正量；生成步骤，基于所述运动图像的抖动校正量与所述静止图像的抖动校正量之间的比较结果，生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及记录步骤，将所述评价值与所述运动图像的帧图像相关联地记录。

根据本发明的第四方面，提供了一种图像处理装置的控制方法，所述控制方法包括：第一计算步骤，通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；第二计算步骤，通过使用从所述抖动检测单元输出的抖动信号，来计算相比于所述运动图像的抖动校正量实现更高防振性能的抖动校正量；生成步骤，基于所述运动图像的抖动校正量与相比于所述运动图像的抖动校正量实现更高防振性能的抖动校正量之间的比较结果，生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及记录步骤，将所述评价值与所述运动图像的帧图像相关联地记录。

根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出作为根据本发明的摄像装置的实施例的摄像机的结构的框图。

图2A和图2B是例示计算聚焦元数据的方法的示例的图。

图3A至图3C是例示计算曝光元数据的方法的示例的图。

图4A至图4C是例示计算白平衡元数据的方法的示例的图。

图5A和图5B是示出用于计算抖动元数据的结构的框图。

图6是例示来自抖动校正量计算单元和抖动量计算单元的输出的图。

图7A至图7C是例示计算抖动元数据的方法的示例的图。

图8A至图8C是例示计算抖动元数据的方法的另一示例的图。

图9A和图9B是例示计算平移(panning)速度的方法的图。

图10A至图10C是例示在考虑到平移速度的情况下，由抖动量计算单元进行的计算的图。

图11是用于通过使用元数据从运动图像生成静止图像的流程图。

图12是示出用于向用户通知帧作为静止图像的适合度的显示的示例的图。

具体实施方式

以下参照附图，来对本发明的实施例提供详细的描述。图1是示出作为根据本发明的摄像装置的实施例的、能够拍摄运动图像的摄像机的结构的框图。图1示出了用于运动图像的拍摄的摄像装置的各个功能块。参照图1，以下对摄像装置100的结构和在运动图像的拍摄期间摄像装置100的操作提供具体的描述。

在图1中，摄像装置100包括沿着光轴的方向布置的变倍透镜101、光学校正系统102、光圈103和聚焦透镜104。这些元件和附图中未示出的其他光学系统构成了摄像光学系统。

变倍透镜101是通过沿着光轴方向移动来改变倍率的透镜。聚焦透镜104是具有校正随着倍率变化的焦平面的移动的功能和聚焦功能的透镜。光圈103是例如用于调整入射光量的虹膜光圈。

图像传感器105被布置在聚焦透镜104的后面。图像传感器105通过光电转换来拍摄被摄体的图像。图像传感器105例如被构造为XY寻址方式的互补金属氧化物半导体(CMOS)图像传感器。将通过图像传感器105的光电转换得到的信号，在图像传感器105内转换为数字信号，然后将该信号提供给信号处理单元111。信号处理单元111对从图像传感器105输出的图像信息，进行诸如伽马校正和色彩校正等的各种信号处理。

系统控制单元121控制整个摄像装置100。例如，系统控制单元121响应于从信号处理单元111接收到亮度值、色彩等的信息，进行各种计算处理。稍后将描述由系统控制单元121进行的控制的详情。

变焦驱动单元106是用于移动变倍透镜101的驱动源，并且根据来自系统控制单元121的指令进行变焦操作。系统控制单元121根据用户对变焦操作单元(附图中未示出)进行的操作，将指令发送到变焦驱动单元106。

聚焦驱动单元109是用于移动聚焦透镜104的驱动源，并且根据来自系统控制单元121的指令进行驱动。系统控制单元121根据从距离信息生成单元117提供的信号，来确定聚焦透镜104的驱动位置。距离信息生成单元117通过使用由信号处理单元111对图像传感器105获取的图像信号进行的信号处理的结果，来生成指示摄像装置100与被摄体之间的距离的距离信息。可以通过诸如使用图像传感器105上的多个像素进行相位差AF的方法等的已知方法，来生成距离信息。作为另选方案，可以通过使用诸如专用于进行相位差AF的传感器或IR传感器等的距离信息获取装置，来生成距离信息。

光圈驱动单元108是用于驱动光圈103并调整入射到图像传感器105的光量的驱动源，并且根据来自系统控制单元121的指令进行驱动。图像传感器驱动单元110根据来自系统控制单元121的指令，向图像传感器105提供例如用于驱动图像传感器105的驱动脉冲，并且进行例如图像传感器105中累积的电荷的读取和曝光时间(即，快门速度)的调整。图像传感器105通常在被施加了快门脉冲时，进行移除像素中累积的信号电荷的电子快门操作，在直到下一次读取为止的期间在其中累积由光学图像的光电转换产生的电荷。累积期间的长度为前述快门速度。当由于被摄体的低亮度水平而不能设置适当的快门速度时，通过对从图像传感器105输出的图像信号的水平调整(即，增益调整)来校正由于光线不足引起的非最佳曝光。

AE信号生成单元118通过进行主要包括计算各像素的数字信号的累积总和的计算处理，来计算与被摄体的明度相对应的测光值，并且向系统控制单元121提供测光值。系统控制单元121根据由AE信号生成单元118生成的测光值，来驱动光圈驱动单元108和图像传感器驱动单元110，设定光圈103的孔径、快门速度和图像传感器105的增益，并且控制曝光。

AWB信号生成单元119将从图像传感器105提供给信号处理单元111的R/G/B像素信号中的各个转换成亮度信号Y和色差信号(R-Y，B-Y)。AWB信号生成单元119首先通过使用黑体辐射曲线作为基准来确定各像素的颜色是否为非彩色，然后计算被确定为具有非彩色的像素的所有像素的色差信号的总和的平均值，从而来生成AWB信号。信号处理单元111具有能够对RGR的各颜色应用不同增益的电路块，系统控制单元121为了要正确地显示从图像传感器105输出的图像数据的白色，基于前述的AWB信号来进行白平衡控制。

光学校正系统102是使得能够进行光学图像稳定化的校正系统，并且在垂直于光轴的方向上移动光学校正系统102以使光轴倾斜。光学校正系统驱动单元107是用于移动光学校正系统102的驱动源，并且根据来自系统控制单元121的指令来进行驱动。角速度传感器120检测摄像装置100的抖动，从而生成角速度信号，并且向系统控制单元121提供角速度信号。系统控制单元121根据上述角速度信号，来生成光学校正系统驱动单元107的控制信号，以便移动光学校正系统102并校正摄像面(imagingsensingplane)上的被摄体的像的移动。结果，在校正例如由装置的抖动而引起的摄像面上的被摄体的像的移动之后，成像在图像传感105上。可选地，可以用在垂直于光轴的方向上相对于摄像光学系统移动图像传感器105的结构来代替光学校正系统102。

元数据生成单元113基于从系统控制单元121提供的数据，生成指示拍摄图像的拍摄条件的预先定义的元数据，并且将该元数据与从信号处理单元111输出的运动图像数据相关联地记录在记录介质114上。稍后将描述由元数据生成单元113处理的该元数据的详情。记录介质114是诸如磁记录介质(例如，硬盘)或半导体存储器的信息记录介质。显示设备112使用例如液晶显示器(LCD)显示从信号处理单元111输出的图像。

接下来，对计算提供给元数据生成单元113的元数据的方法进行详细的描述。通过在系统控制单元121内部进行的计算来获得四种类型的元数据(即聚焦、曝光、白平衡(WB)和抖动)，并且将上述四种类型的元数据提供给元数据生成单元113。在拍摄静止图像的情况下，这些控制参数被设置为遵循曝光期间计算出的它们各自的控制目标值，同时保持误差最小。在拍摄运动图像的情况下，这些控制参数的急剧变化引起运动图像的突变，这会导致不自然的视图。为此，常见的是进行控制以朝着控制目标值逐渐改变参数。使用下述方法，元数据生成单元113计算关于发生在这种处理中的、针对静止图像的最佳控制目标值与用于实现运动图像的自然视图的实际设定值之间的差分的元数据，并且将该元数据与运动图像数据相关联地记录在记录介质114上。

以下参照图2A和图2B，对生成聚焦元数据的方法提供详细的描述。为了描述简便起见，如下定义各符号：

Dt…由距离信息生成单元117检测到的被摄体距离；

Dl…由聚焦透镜104的位置确定的拍摄被摄体距离；

Df…景深(在无限远侧)；

Dn…景深(在最近侧)。

图2A示出了横轴表示D1-Dt并且纵轴表示要生成的元数据Mdata_focus的坐标图的示例，其中D1-Dt是作为目标的被摄体距离与由聚焦透镜104的位置确定的拍摄被摄体距离之差。D1-Dt＝0表示完全对焦状态，在这种状态下满足Mdata_focus＝0。在图2A中，通过下式来计算Mdata_focus：

Mdata_focus＝|(Dl-Dt)/(Df-Dt)|，其中Dl-Dt≥0

Mdata_focus＝|(Dl-Dt)/(Dn-Dt)|，其中Dl-Dt<0

即，针对景深的范围，对拍摄被摄体距离自目标值的偏离进行正规化(normalized)。结果，Mdata_focus为具有以下特征的数据：聚焦精度随着Mdata_focus接近0而增加；而离焦程度随着Mdata_focus从1增加而增加。

图2B是示出横轴和纵轴与图2A中的相同的、计算Mdata_focus的另一方法的示例的坐标图。在图2B中，当满足Dx<(Dl-Dt)<Dy时，以与图2A中相同的方式来计算Mdata_focus，否则随着Dl-Dt的变化，Mdata_focus的变化量(增益)比图2A中的大。这是由于以下原因。例如，通过摄像装置100内部进行的图像处理或者使用PC上的图像处理软件进行的图像处理，能够容易地通过轮廓增强等来校正仅仅稍微离焦的图像。然而，当对显著离焦的图像进行轮廓增强时，伪轮廓等将是明显的，并且作为静止图像的图像质量的劣化程度变得显著。

以下参照图3A至图3C，对生成曝光元数据的方法提供详细的描述。在图3A至图3C示出的坐标图的各个中，以根据照相曝光量加算系统(APEX，AdditiveSystemofPhotographicExposure)的单位来表示横轴。如下定义各符号：

Ev_now…由当前孔径和快门速度确定的曝光；

Ev_target…由来自AE信号生成单元118的输出确定的最佳曝光；

图3A示出了横轴表示Ev_target-Ev_now并且纵轴表示要生成的Mdata_exposure的坐标图的示例，其中Ev_target-Ev_now是最佳曝光与当前曝光之间的差分。关于横轴，正值表示曝光过度，负值表示曝光不足，而0表示正确曝光。正确曝光对应于Mdata_exposure＝0。在图3A中，通过下式来计算Mdata_exposure：

Mdata_exposure＝|Ev_target-Ev_now|/(1/3)

即，针对预定Ev值(在本示例中为1/3Ev)，对当前曝光自最佳曝光的偏离进行正规化。注意，针对1/3Ev的正规化仅为示例。该值可以由用户任意设定，或者该值可以根据被摄体的亮度分布而变化。例如，当1/3Ev移位引起了高亮细节丢失或阴影细节丢失时，可以采用其他方法(例如针对1/5Ev的正规化)。作为该计算的结果，Mdata_exposure为具有以下特征的数据：曝光的正确度随着Mdata_exposure接近0而增加；曝光不足或曝光过度的程度随着Mdata_exposure从1增加而增加。

图3B是示出计算Mdata_exposure的另一方法的示例的坐标图，其中横轴和纵轴的表示与图3A中的相同。在图3B中，当满足-1<(Ev_target-Ev_now)<1时，以与图3A中相同的方式来计算Mdata_exposure，否则随着Ev_target-Ev_now的变化，Mdata_exposure的变化量(增益)比图3A中的大。这是由于以下原因。例如，通过在摄像装置100内部进行的图像处理或者使用PC上的图像处理软件进行的图像处理，可以容易地通过调整图像的亮度水平来校正稍微偏离最佳曝光的曝光。然而，当图像的曝光显著偏离最佳曝光时，作为静止图像的图像质量的劣化程度变得显著。例如，无法校正高亮细节丢失或阴影细节丢失，或者甚至在校正之后噪声仍显而易见。

图3C是示出计算Mdata_exposure的另一方法的示例的坐标图，其中横轴和纵轴的表示与图3A和图3B中的相同。在图3C中，通过下式来计算Mdata_exposure：

Mdata_exposure＝(2^{(|Ev_target-Ev_now|)-1)}/(2^(1/3)-1)

EV值是根据用于测量入射到图像传感器的光量的单位系统的值，它用针对底数2的对数形式来表示。换言之，当Ev值变化1时，光量将加倍或减半。在上式中，在将根据APEX系统的单位的值转换为用于实际光量的单位的值之后，来进行正规化，因此能够由元数据Mdata_exposure更精确地表示与最佳曝光的偏离量。

以下参照图4A至图4C，对生成白平衡元数据的方法提供详细的描述。图4A所示的坐标图具有表示色差R-Y和B-Y的坐标轴。如果上述AWB信号的坐标点接近于图4A中的原点O，则意味着RGB正好平衡(即，白平衡最优)。另一方面，坐标点离开原点O越远，白平衡偏离最佳值也越大。图4A所示的坐标系上的AWB信号的向量被定义为WB_Vector。

图4B和图4C示出了横轴表示WB_Vector的大小并且纵轴表示元数据Mdata_wb的各坐标图的示例。如上所述，横轴的值越大意味着偏离图像的最佳白平衡越大。在图4B中，通过下式来计算Mdata_wb：

Mdata_wb＝|WB_Vector|/WB_TH

即，针对预定阈值WB_TH，对自白平衡的最佳值的偏离量进行正规化。这里，WB_TH被定义为自最佳白平衡的偏离量的容许值。由于色彩偏离量的容许值在人与人之间有很大不同并且难以固定地确定容许值，因此，用户可以任意地设置容许值。另外，根据光源的性能，在某些情况下，无法收敛到原点，在这种情况下，可以增加阈值WB_TH，或者可以根据光源的性能，来使图4A中的原点移位。作为这种计算的结果，Mdata_wb为具有以下特征的数据：白平衡的正确度随着Mdata_wb接近0而增加；自最佳白平衡的偏离随着Mdata_wb从1增加而增加。

图4C是示出计算Mdata_wb的另一方法的示例的坐标图，其中横轴和纵轴的表示与图4B中的相同。在图4C中，当满足|WB_Vector|<WB_TH2时，以与图4B相同的方式来计算Mdata_wb，否则随着|WB_Vector|的变化，Mdata_wb的变化量(增益)比图4B中的大。这是由于以下原因。例如，通过在摄像装置100内部进行的图像处理或者使用PC上的图像处理软件进行的图像处理，可以容易地通过调整图像的色彩水平来校正小的色彩偏离。然而，当图像的色彩偏离大时，作为静止图像的图像质量的劣化程度变得显著。例如，噪声将显而易见。

以下参照图5A至图10C，对生成图像抖动元数据的方法提供详细的描述。图5A是用于生成图像抖动元数据的框图的示例。图5A是通过将系统控制单元121内部的处理添加到图1而形成的图，并且系统控制单元121外部的功能块与图1描述的功能块相同。因此，省略其描述。

抖动校正量计算单元201基于角速度传感器120进行的角速度检测的结果，来计算光学校正系统102的驱动位置，并将驱动指令发送给光学校正系统驱动单元107。抖动量计算单元202基于来自角速度传感器120的输出，计算在图像传感器105的电荷累积时间段期间施加到摄像装置100的抖动量。元数据计算单元203基于来自抖动校正量计算单元201和抖动量计算单元202的输出，计算要传递给元数据生成单元113的图像抖动元数据。

图6是例示元数据计算的定时的坐标图。图6是横轴表示时间、纵轴表示针对图像传感器105的各行的电荷累积和读取的定时的坐标图。图6示出了针对两帧图像的操作定时。为了便于描述，两帧图像被称为帧图像1和帧图像2，其中帧图像1在时间上先于帧图像2。

在图6中，时间点T10示出了在图像传感器105的帧1的一端的行中电荷累积开始的定时。电荷累积朝着另一端的行，随时间顺次地进行，如斜线阴影平行四边形的左侧所示。时间点T11示出了从在时间点T10开始的电荷累积的行读取电荷的开始定时，从时间点T11起开始的粗线示出了进行从各行读取电荷的定时。时间点T10与时间点T11之间的时间长度是快门速度。时间点T12示出了完成针对帧1的所有行的电荷累积和读取的定时。时间点T20、T21和T22分别示出了针对图像传感器105的帧2的电荷累积开始、电荷读取的开始(即，电荷累积的完成)、以及电荷读取的完成的定时。

图6是横轴表示时间、纵轴表示转换成摄像面上的运动像素数的来自抖动校正量计算单元201的输出、并且示出了运动像素数随时间变化的坐标图。图6的实线是横轴表示时间、纵轴表示转换成摄像面上的运动像素数的来自抖动量计算单元202的输出、并且示出了运动像素数随时间变化的坐标图。

图6示出了光学校正系统102进行的图像稳定化的程度。图6的实线示出了在针对帧1和帧2中的各个从电荷累积开始到电荷读取结束的时间中，施加到摄像装置100的抖动量。因此，帧1的抖动量从时间点T10开始改变并在时间点T12处结束改变，帧2的抖动量从时间点T20开始改变并在时间点T22处结束改变。为了评价运动图像的抖动量，必须计算帧1与帧2之间发生的抖动量(即，在从T10与T12之间的点到T20与T22之间的点的时间段期间发生的抖动量)。然而，由于本实施例涉及从运动图像的各帧中生成静止图像，因此计算在用于生成各帧图像的时间内发生的抖动量。

通过比较图6所示的坐标图，针对帧1和帧2，能够获得施加到摄像装置100的抖动校正的精度。对于帧1，从图6的点A到点C的抖动校正量的变化轨迹基本上与图6的帧1的抖动量的变化轨迹一致，帧1的末端的抖动量小。另一方面，对于帧2，从图6的点B到点D的抖动校正量的变化轨迹与图6的帧2的抖动量的变化轨迹由于以下原因不一致。

首先，点B的纵轴坐标值是与点A不同的、不为0的B0。因此，为了与从图6的时间点T20的抖动量的变化轨迹相比较，需要从图6所示的坐标图减去值B0。该减法的结果被描述为如图6的虚线所示。图6的虚线与实线之间存在差异。这是由于以下原因。在运动图像的抖动校正的情况下，将无法进行继续100％的抖动校正直到校正极限为止时的抖动校正，并且将重复进行了抖动校正的状态和未进行抖动校正的状态，这会导致图像质量的低劣。为了避免这种情况，常见是的在接近光学校正系统102的校正极限时，进行控制用于例如改变配设在抖动校正量计算单元201内部的低频带截止滤波器的截止频率，从而削弱抖动校正的效果使得光学校正系统102能够连续地保持操作。另一方面，对于静止图像的抖动校正，需要静止图像曝光期间尽可能接近100％的最大程度的抖动校正直到达到校正极限为止。运动图像和静止图像的抖动校正的概念的差异结果是如图6所示的差异。即，对于帧2，虽然期望在静止图像的抖动校正的情况下根据图6的实线轨迹来控制光学校正系统102，但是在运动图像的抖动校正的情况下根据虚线轨迹来控制光学校正系统102。上述两者之间的差为帧2的抖动量。

在图7A所示的坐标图中，横轴表示图像传感器105的横向抖动量，纵轴表示图像传感器105的纵向抖动量(以像素为单位测量)。当假定图6中所示的坐标图表示图像传感器105的横向和纵向两者中任一方向上的抖动校正量和抖动量时，帧2的轴中的一个的最终抖动量为图6所示的Shake_Amount。通过计算纵轴和横轴两者的抖动量，运动图像的各帧的抖动量可以表示在如图7A所示的二维坐标系上。二维坐标系上的抖动的向量被定义为Shake_Vector。当然，越接近Shake_Vector的坐标点的原点，抖动量越小。

图7B和图7C是横轴表示Shake_Vector的大小和纵轴表示要生成的元数据Mdata_shake的坐标图的示例。如上所述，对于横轴，值越大，图像的抖动量越大。在图7B中，通过下式来计算Mdata_shake：

Mdata_shake＝|Shake_Vector|/Shake_TH

即，针对预定阈值Shake_TH，对图像传感器105上的抖动量进行正规化。这里，Shake_TH被定义为抖动量的容许值。由于抖动量的容许值根据例如图像传感器105上的像素数和光学摄像系统的分辨率而巨大变化，因此难以固定地确定容许值。然而，容许值可以被定义为例如混乱的容许圆的直径的值。作为另选方案，用户可以任意地设置容许值。作为这种计算的结果，Mdata_shake为具有以下特征的数据：图像的抖动量随着Mdata_shake接近0而减小、而作为静止图像的图像的适合度随着Mdata_shake接近0而增加；并且图像的抖动量随着Mdata_shake从1增加而增加。

图7C是示出计算Mdata_shake的其他方法的示例的坐标图，其中横轴和纵轴与图7B中的相同。在图7C中，当|Shake_Vector|<Shake_TH2时，以与图7B相同的方式来计算Mdata_shake。然而，否则随着|Shake_Vector|的变化，Mdata_shake的变化量(增益)大于图7B中的变化量(增益)。这是由于以下原因。例如，通过摄像装置100内部进行的图像处理或者使用PC上的图像处理软件进行的图像处理，可以容易地通过已知的图像修复技术等来校正小抖动。然而，当图像的抖动大时，伪轮廓等将显而易见，作为静止图像的图像质量的劣化程度变得显著。

以下参照图8A至图8C所示的坐标图，对计算Mdata_shake的其他方法提供详细的描述。在图7A至图7C中，通过使用在完成读取所有电荷时抖动校正量计算单元201进行的抖动校正量与抖动量计算单元202检测出的抖动量之间的差分，来计算Mdata_shake。在大多数情况下，可以通过这种计算方法来表示运动图像的各帧的抖动量。然而，如图8A所示，在某些情况下，无法正确地表示该抖动量。图8A是示出从针对图像传感器105的电荷累积开始到电荷读取完成为止摄像面上的抖动量的变化轨迹的示例的坐标图，其中横轴和纵轴与图7B中的相同。在图8A所示的示例中，靠近原点O的点A0表示完成所有电荷的读取。变化轨迹通过比点A0离原点O更远的坐标点。虽然在快门速度高时这种变化轨迹的出现频率非常低，但是出现频率随着快门速度的减小而增加。当采取这种轨迹时，无法由指示完成所有电荷的读取的点A0来正确地表示运动图像的各帧的抖动量。

鉴于这种问题，接下来参照图8B描述使用对上述Shake_Amount的替代来计算抖动量的可选方法。图8B所示的坐标图是以预定间隔取点A1至点A7的图8A所示的抖动量的变化轨迹的标示。用于计算抖动量的公式如下：

|A1-O|+|A2-A1|+|A3-A2|+|A4-A3|+|A5-A4|+|A6-A5|+|A7-A6|…(式1)

式1表示在从电荷累积开始到完成所有电荷的读取的各预定间隔期间的摄像面上的抖动量的总和(即，积分值)。式1考虑到抖动量的变化轨迹的整个距离的计算，并且能够避免无法正确表示运动图像的各帧的抖动量的问题。注意，在图7B和图7C中，可以通过用|Shake_Vector|来替换式1的计算结果来计算Mdata_shake。

以下参照图8C，描述作为对上述Shake_Amount的替代，计算抖动量的方法的其他示例。图8C是放大从图8B的原点O到点A2的抖动量的变化轨迹的坐标图。如图中所示，θ0表示由横轴和向量A1-O形成的角度，θ1表示由横轴和向量A2-A1形成的角度，θ2表示向量A1-O与向量A2-1之间的相对角度，满足θ2＝θ0-θ1。当像平面上的抖动量的向量轨迹类似于直线时，例如，通过在摄像装置100内部进行的图像处理或者使用PC上的图像处理软件进行的图像处理，可以相对容易地修复无抖动的图像。然而，轨迹越复杂，修复越难。可以通过进行乘以增益的处理来形成在考虑到修复困难时的数据，该增益在计算每预定时间(即，每单位时间)摄像面上的抖动量的总和时随着差分向量的角度变化θ2的增加而增加。例如，在进行对|A1-O|增加|A2-A1|时，可以进行以下计算：

|A1-O|+|A2-A1|(1+sinθ2)

根据本式，当θ2为0度时sinθ2＝0，当θ2为90度时sinθ2＝1。因此，可以根据θ2的大小设置增益。能够通过进行从电荷累积开始到完成所有电荷的读取的计算并用这种计算结果来替代图7B或图7C中的|Shake_Vector|，获得考虑到修复抖动的容易度的Mdata_shake。

以下对计算Mdata_shake的方法的其他示例提供描述。图5B是用于生成抖动元数据的框图的示例。图5B是通过将功能块301至303添加到图5A而形成的图，因此省略对其他功能块的描述。

运动向量检测单元303基于信号处理单元111生成的当前图像信号中包含的亮度信号和运动向量检测单元303内部的图像存储器中存储的前一帧的图像信号中包含的亮度信号，来检测图像中的运动向量。将运动向量检测单元303检测到的运动向量输出到平移检测单元301和平移速度计算单元302。注意，运动向量检测单元303不是必不可少的组件。

平移检测单元301基于来自角速度传感器120或运动向量检测单元303的输出，来确定摄像装置100是否处于平移状态。平移速度计算单元302在平移检测单元301确定摄像装置100处于平移状态时，计算当前平移速度并向抖动量计算单元202输出平移速度。当确定摄像装置100未处于平移状态时，平移速度被设定为0。基于来自角速度传感器120的输出和来自运动向量检测单元303的输出两者之中任一者或两者，来进行平移速度的计算。抖动量计算单元202在考虑到平移速度计算单元302计算出的平移速度的情况下，进行抖动量的计算。

在运动图像拍摄期间，与静止图像拍摄期间不同，平移操作频繁发生。在主被摄体移动的情况下，常常进行拍摄使得主被摄体仍然接近于画面的中心点。在这种情况下，如果仅使用上述对摄像面上的抖动量进行正规化并且保持该结果作为元数据的方法，则在进行平移期间，该数据一直指示大抖动量。当与主被摄体的运动同步地在运动图像拍摄期间进行平移时，不期望的是在平移期间的所有帧图像都被确定为包含大抖动量，因为这种情形与在静止图像拍摄期间进行的平移相同。

为此，平移检测单元301首先确定摄像装置100是否处于平移状态。关于平移的确定，可以使用已知的技术。例如，当来自角速度传感器120的输出、或者来自运动向量检测单元303的输出、或者这些输出的总和(即，积分值)超出预定值时，存在确定正在进行平移的方法。

平移速度计算单元302计算平移速度。能够通过对来自角速度传感器120的输出求平均值来获得平移速度。作为另选方案，可以使用来自运动向量检测单元303的输出。以下参照图9A和图9B，描述使用来自运动向量检测单元303的输出的平移速度的计算。图9A示出了正在拍摄的、使得在画面中心处移动的车辆被保持在画面中心的图像。假定块匹配方法被用于运动向量检测，通过该方法将图像划分成多个块并且针对各块计算运动向量。虚线定义了进行运动向量检测的各个块。

在图9B中，各个块中进行的运动向量检测的结果由箭头的方向和大小表示。粗线框内的运动向量是车辆的运动向量，粗线框外的运动向量是车辆以外的背景区域的运动向量。当Vector_Back表示背景区域的运动向量的平均值，并且Vector_Car表示车辆区域的运动向量的平均值时，可以由Vector_Back-Vector_Car来计算平移速度。上式用于计算平移速度，在抵消了车辆区域的运动向量时上式为零。如果车辆区域的运动向量为零，是指拍摄以100％同步跟随车辆的运动，并且可以说正在进行近乎理想的平移。

参照图10A至图10C，以下描述由图5B中所示的抖动量计算单元202进行的考虑到平移速度的抖动量计算。图10A是来自角速度传感器120的输出(实线)和由平移速度计算单元302计算出的平移速度(虚线)的坐标图，其中横轴表示时间并且纵轴表示角速度。图10A示出了当摄像装置100正在被平移时、角速度传感器120的输出具有通过将具有高频的角速度信号叠加在平移速度上而形成的波形的坐标图。

这里，假定时间点T30指示图像传感器105开始电荷累积的定时，时间点T31指示完成所有电荷的读取的定时。在这种情况下，如果通过参照图6描述的、不考虑到平移速度时的方法来计算抖动量，则结果为图10B所示的坐标图。由于图10A是示出总是存在平移速度的情况的坐标图，当通过对该坐标图的积分计算抖动量时，也对摄像装置100的运动进行积分，所以结果为图10B所示的非常大的量。由于光学校正系统102通常进行不校正平移运动的控制，所以基于图10B所示的抖动量与来自抖动校正量计算单元201的输出之间的差分计算出的元数据Mdata_shake也将具有大值。

相比之下，图10C是示出通过对从来自角速度传感器120的输出减去平移速度的结果进行积分而计算出的抖动量的坐标图。图10C示出了排除了平移运动分量的抖动量。由于光学校正系统102通常进行不校正平移运动的控制，所以图10C所示的抖动量与来自抖动校正量计算单元201的输出类似，因此基于上述两者之间的差分计算出的元数据Mdata_shake具有小值。

结果，能够避免出现当用户进行平移时、Mdata_shake总是为大值并且抖动被确定为大的现象。注意，当不存在主被摄体并且仅通过平移来拍摄风景时，这种情况与上述静止图像拍摄的平移不同，各帧图像仅示出了具有模糊的风景。在这种情况下，平移检测单元301能够确定抖动不是平移的结果，从而避免出现图像中的大抖动被确定为小抖动的现象。可以通过使用图9A和图9B描述的运动向量实现该确定。例如，当画面内的全部运动向量指向同一方向时，图像能够被确定为不是通过为追踪主被摄体的运动而进行的平移拍摄的图像。

到目前为止，对存在用于驱动光学校正系统102和图像传感器105的机构的假定进行了描述。在不具有用于光学校正抖动的这种手段的摄像装置的情况下，抖动校正量计算单元201不包括在图5A和图5B所示的结构中。因此，在这种情况下，通过仅使用来自抖动量计算单元202的输出进行Mdata_shake的计算，其他的计算方法与在存在用于光学校正抖动的手段的情况下一样。

接着，对使用上述四种类型的元数据(即，Mdata_focus、Mdata_exposure、Mdata_wb和Mdata_shake)的方法的示例进行描述，通过该方法，使得用户能够从运动图像的各帧中选择最合适的静止图像。

图11示出了用户由运动图像数据生成静止图像的处理的流程图。步骤S100是用户操作，并且当用户操作摄像装置100的操作部件(附图中未示出)、设置用于由拍摄的运动图像生成静止图像的模式、并选择用于生成静止图像的运动图像时，开始本流程图所示的处理。在步骤S101中，系统控制单元121读取步骤S100中选择的运动图像的所有帧的元数据。在步骤S102中，通过使用步骤S101中读取的元数据，提供用于辅助用户选择最合适的静止图像的辅助功能。步骤S103是用户操作，并且用户通过使用步骤S102的功能来确定要用于生成静止图像的帧。在步骤S104中，进行用于由用户在步骤S103中确定的帧图像生成一个静止图像的解码，并通过JPEG技术进行用于压缩解码的图像的编码。在步骤S105中，将步骤S104中生成的静止图像记录在记录介质114上。在步骤S105的处理之后，本流程图的处理结束。

步骤S102中的辅助功能的示例如下所示。如图12所示，最简单的示例为在回放运动图像的同时在显示设备112上显示钻石型的坐标图中的值Mdata_focus、Mdata_exposure、Mdata_wb和Mdata_shake的方法。用户能够在运动图像的回放期间、通过选择所有数值被布置接近最内侧钻石的帧图像，来选择最适合作为静止图像的帧。

存在摄像装置100自动选择由元数据指示的评价分高的图像的其他方法。另外，能够在显示设备112上按照评价分的降序显示帧图像，使得用户能够优先选择具有高评价分的帧图像，或者对具有高评价分的帧图像添加有色轮廓以突出该帧图像。如果具有高评价分的帧图像连续出现，将提取相似图像。为了避免这种情形，可以使用用于场景切换检测的已知技术以针对每一场景选择一个帧图像。此外，通过使用已知的人脸识别技术，可以从拍摄特定人物的脸的图像当中自动选择具有元数据指示的高评价分的图像。

这里，对用于基于四个元数据确定最终评价分的方法的示例进行描述。最简单的示例是使用四个元数据(即，Mdata_focus、Mdata_exposure、Mdata_wb和Mdata_shake)值的和。越接近于0的值指示评价分越高，并且评价分随着值的增加而减小。作为另选方案，四个元数据的值可以互乘。值越小于1更多量，指示评价分越高，并且评价分根据值的增加而减小。作为另选方案，可以允许用户确定权重。例如，存在用户故意使曝光不同于最佳值，或者故意改变色彩的可能性。考虑到这种可能性，例如，可以从评价中排除偏离最佳曝光的曝光，并且例如可以使用乘以小于1的系数的Mdata_wb的值用于WB的评价。

这样，通过以各种方式使用四个元数据，能够提供使得用户能够容易地从运动图像的各帧当中选择最适合作为静止图像的图像。

如上所述，对于指示用作用于确定图像是否为适合作为静止图像的元数据的焦点偏离、曝光偏离、WB偏离和抖动的四种类型的照相机参数，本实施例示出了在考虑到各参数的特性的情况下的最优计算方法。此外，对于四种类型的照相机参数，针对运动图像拍摄期间的各帧的容许值，对偏离容许值的量进行正规化，并且与运动图像的各帧相关联地记录该结果。结果，能够通过相同的标准来评价这四种类型的参数并通知用户最适合作为静止图像的帧图像。因此，用户能够容易地由运动图像生成最适合的静止图像。

虽然基于本发明的优选实施例描述了本发明，但是本发明并不旨在限于特定实施例，并且不脱离本发明的本质精神的变型例也被包括在本发明的范围中。例如，不必需生成所有四种类型的参数，本发明可以是使用这些参数中的至少一者的系统。

其他实施例

本发明的实施例还可以通过读出并执行记录在存储介质(可以将其更完整地称为“非暂时性计算机可读存储介质”)上的用于执行上述一个或更多个实施例的功能的计算机可执行指令(例如，一个或更多个程序)、和/或包括用于执行上述一个或更多个实施例的功能的一个或更多个电路(例如专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质读出并执行用以执行上述一个或更多个实施例的功能的计算机可执行指令、和/或控制用以执行上述一个或更多个实施例的功能的一个或更多个电路来执行的方法来实现。计算机可以包括一个或更多个处理器(例如中央处理单元(CPU)、微处理单元(MPU))，并且可以包括用于读出并执行计算机可执行指令的单独的计算机或单独的处理器的网络。例如可以从网络或者存储介质向计算机提供计算机可执行指令。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩盘(CD)、数字通用光盘(DVD)、或蓝光盘(BD)^TM)、闪存设备、存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (9)

1.一种图像处理装置，所述图像处理装置包括：

第一计算单元，其被构造为通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；

第二计算单元，其被构造为通过使用从所述抖动检测单元输出的抖动信号，来计算静止图像的抖动校正量；

生成单元，其被构造为基于所述运动图像的抖动校正量与所述静止图像的抖动校正量之间的比较结果，生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及

记录单元，其被构造为将所述评价值与所述运动图像的帧图像相关联地记录。

2.根据权利要求1所述的图像处理装置，

其中，所述图像处理装置基于所述运动图像的抖动校正量与所述静止图像的抖动校正量之间的差分，来生成指示图像传感器的摄像面上的抖动量的评价值。

3.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

显示单元，其被构造为将关于所述评价值的信息与所述运动图像的帧图像相关联地进行显示。

4.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

控制单元，其被构造为通过使用所述运动图像的抖动校正量来控制光学抖动校正单元。

5.根据权利要求1所述的图像处理装置，

其中，所述生成单元将各帧图像的抖动量定义为，所述运动图像的抖动校正量与所述静止图像的抖动校正量之间的每单位时间的差分的积分值，并以使得所述积分值随着所述运动图像的抖动校正量与所述静止图像的抖动校正量之间的每单位时间的差分的向量的角度变化的增大而增加的方式，计算各帧图像的抖动量。

6.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

确定单元，其被构造为确定是否正在进行平移，

其中，在所述确定单元确定正在进行平移的情况下，所述生成单元基于来自所述抖动检测单元的输出来计算平移速度，并且通过从所述运动图像的抖动校正量和所述静止图像的抖动校正量中减去平移的运动量，来获得指示各帧图像的抖动量的数据。

7.一种图像处理装置，所述图像处理装置包括：

第一计算单元，其被构造为通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；

第二计算单元，其被构造为通过使用从所述抖动检测单元输出的抖动信号，来计算相比于所述运动图像的抖动校正量实现更高防振性能的抖动校正量；

生成单元，其被构造为基于所述运动图像的抖动校正量与相比于所述运动图像的抖动校正量实现更高防振性能的抖动校正量之间的比较结果，生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及

记录单元，其被构造为将所述评价值与所述运动图像的帧图像相关联地记录。

8.一种图像处理装置的控制方法，所述控制方法包括：

第一计算步骤，通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；

第二计算步骤，通过使用从所述抖动检测单元输出的抖动信号，来计算静止图像的抖动校正量；

生成步骤，基于所述运动图像的抖动校正量与所述静止图像的抖动校正量之间的比较结果，生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及

记录步骤，将所述评价值与所述运动图像的帧图像相关联地记录。

9.一种图像处理装置的控制方法，所述控制方法包括：

第一计算步骤，通过使用从抖动检测单元输出的抖动信号，来计算运动图像的抖动校正量；

第二计算步骤，通过使用从所述抖动检测单元输出的抖动信号，来计算相比于所述运动图像的抖动校正量实现更高防振性能的抖动校正量；

生成步骤，基于所述运动图像的抖动校正量与相比于所述运动图像的抖动校正量实现更高防振性能的抖动校正量之间的比较结果，生成作为用于从所述运动图像的帧图像当中提取静止图像的指标的评价值；以及

记录步骤，将所述评价值与所述运动图像的帧图像相关联地记录。