CN101547308A - 图像处理装置、图像处理方法和程序 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法和程序。一种图像处理装置，包括：组合前处理单元，被配置为执行组合前处理，使得在时间上具有连续性的图像数据的多个帧用作待组合的组合用图像数据；操作检测单元，被配置为检测用于组合处理的操作输入信息；以及组合处理单元，被配置为根据由操作检测单元检测的操作输入信息，对在组合前处理中获得的多个帧的组合用图像数据执行组合处理，以便生成表示静态图像的组合图像数据。

Description

图像处理装置、图像处理方法和程序

技术领域

本发明涉及图像处理装置、图像处理方法和用于图像处理的程序。

背景技术

日本未审专利申请公开No.2005-354166、No.2004-219765(对应于US7295232B2)、No.2006-86933(对应于US 2006062433A1)和No.2006-174069(对应于US 2006127084A1)是现有技术的示例。

长时间曝光技术通常用作摄影或图像捕获技术。在该技术中，连续执行曝光某个时间段，如几秒到几十秒或甚至几百秒以上。

长时间曝光技术还用于提供摄影表现以及调整被摄体的亮度。

例如，用长曝光时间来捕获夜景。因为光量低，所以增加曝光时间来收集足够的光量以获得夜景的照片(shot)。

长时间曝光技术还可用于其他目的。例如，故意将光圈设置为低，或降低图像捕获灵敏度以表现被摄体的运动或聚焦到运动物体当中的静止物体。

诸如在长时间曝光期间使用闪光(闪光灯器件)以便实现如先幕同步、后幕同步、以及多闪光的各种效果的图像捕获技术也是普遍的。

发明内容

然而，用户难以使用长时间曝光图像捕获来得到他们期望的图像。

一些最近的图像捕获装置(如数字照相机)被设计为使得相机在正常图像捕获处理中执行计量(meter)以确定适当的曝光设置(光圈和快门速度)。然而，在涉及长时间曝光的黑暗条件下，光级(light level)在相机确定的计量范围外，并且没有提供曝光设置。在此情况下，用户需要根据其经验和直觉确定如曝光时间和快门时间的设置，以便执行长时间曝光图像捕获。实践中，这对于没有经验的用户是困难的。

日本未审专利申请公开No.2005-354166公开了一种用于使用组合处理来实现长时间曝光的图像效果的技术。

该技术包括实时观测作为通过固态图像捕获元件在曝光期间接收的光的结果而产生的图像，在图像捕获之后选择和组合在曝光期间分开生成的多个图像，并且移除曝光期间不期望的图像。

该技术提供了在被摄体没有运动(很小运动，或甚至即使被摄体在运动，但是因为曝光时间足够长，所以不出现运动模糊)的图像捕获条件下使用长时间曝光拍摄的满意的图像。这对于使用长曝光时间捕获如夜景的非运动场景是有效的。

然而，当用户希望捕获运动被摄体的静止图像(例如，表示被摄体的运动的图像或聚焦到各运动物体当中的静止物体的图像)时，该方法难以获得满意的图像。

还难以通过移除曝光期间不期望的图像(如，当由经过的车辆的前灯照亮周围时捕获的夜景的图像)来获得提供运动的平滑表示的静止图像。

尽管上述先幕同步、后幕同步和多闪光效果用作拍摄或图像捕获表现技术，但是用户需要根据其经验和直觉确定如快门时间、曝光时间和闪光照明量的设置，以便获得其期望的图像。这对于没有经验的用户也是困难的。

因为实际上在如博物馆的公共场所存在“禁止闪光”的环境，所以不一定能够获得具有如先幕同步、后幕同步、和多闪光的效果的图像。

此外，因为激发(firing)闪光消耗电力，所以需要用于闪光的电池或电容器。这可能抑制了设备大小、功耗和成本的降低。

此外，在长时间曝光期间经常需要使用三脚架来支撑相机以防止相机移动。拍摄者或用户因此购买除了相机主体以外的附件如三脚架，并且还携带所述附件。相机和附件的搬运对于用户是一种负担，阻碍用户容易地捕获具有长曝光时间的图像。

此外，在长时间曝光期间，被摄体的运动、相机抖动等可能导致在捕获的图像中所有运动被摄体的模糊。因此，难以获得用于捕获期望图像的足够的图像捕获条件。

此外，在长时间曝光图像捕获期间，例如，另一拍摄者激发闪光或来自经过的车辆的前灯的瞬时照明将不能提供满意的组合图像。

因此期望允许不是专家的一般用户容易地实现各种图像效果，具体地，与长时间曝光效果或使用长时间曝光实现的如先幕同步、后幕同步和多闪光的图像效果类似的图像效果。还期望允许用户容易地获得其期望的图像。

在本发明的实施例中，一种图像处理装置，包括：组合前处理单元，被配置为执行组合前处理，使得在时间上具有连续性的多个帧的图像数据用作待组合的组合用图像数据；操作检测单元，被配置为检测用于组合处理的操作输入信息；以及组合处理单元，被配置为根据由操作检测单元检测的操作输入信息，对在组合前处理中获得的多个帧的组合用图像数据执行组合处理，以便生成表示静态图像的组合图像数据。

在组合前处理中，组合前处理单元可对用作要组合的组合用图像数据的、在时间上具有连续性的图像数据的多个帧的每帧的图像数据执行亮度调整处理。

在亮度调整处理中，组合前处理单元可执行对用作组合用图像数据的图像数据的至少一些帧的图像数据的平均亮度级进行均衡的处理。

在亮度调整处理中，组合前处理单元可执行下述处理：从用作组合用图像数据的多个帧的图像数据当中提取不使用闪光捕获的图像数据，并均衡所提取的图像数据的平均亮度级。

组合处理单元可对在时间上具有连续性的组合用图像数据当中由操作输入信息指定的时间轴上范围内的多个帧的组合图像数据执行组合处理，以便生成表示静态图像的组合图像数据。

组合处理单元可使用由操作输入信息指定的加权系数对多个帧的各个组合用图像数据执行组合处理，以便生成表示静态图像的组合图像数据。

组合处理单元可使用由操作输入信息指定的加权系数，对在时间上具有连续性的组合用图像数据当中由操作输入信息指定的时间轴上范围内的各帧的组合图像数据执行组合处理，以便生成表示静态图像的组合图像数据，所述组合处理基于加权平均。

组合处理单元可使用组合用图像数据和插补图像数据执行组合处理，以便生成表示静态图像的组合图像数据，所述插补图像数据由插补处理使用组合用图像数据生成。

组合处理单元可确定时间上具有连续性的组合用图像数据当中使用闪光捕获的闪光图像，并且通过改变至少闪光图像的加权系数对组合用图像数据执行组合处理，以便生成已经移除闪光效果的组合图像数据。

组合处理单元可确定时间上具有连续性的组合用图像数据当中使用闪光捕获的闪光图像，并且通过改变至少所确定的闪光图像的加权系数对组合用图像数据执行组合处理，以便生成已经校正了闪光效果的组合图像数据。

组合处理单元可对时间上具有连续性的组合用图像数据确定到被摄体的距离，根据所确定的距离分配加权系数，并且对组合用图像数据执行组合处理。

组合处理单元可对间上具有连续性的组合用图像数据当中的分配了关于闪光的使用的加权系数的帧的组合用图像数据确定到被摄体的距离，根据所确定的距离分配加权系数，并且对组合用图像数据执行组合处理。

所述图像处理装置还可包括显示控制单元，被配置为生成并输出组合工作图像数据，以显示表示要由组合处理单元执行的组合处理或组合处理的结果的组合工作图像。

所述显示控制单元可生成并输出组合工作图像数据，使得所述组合工作图像数据包括回放运动图像，所述回放运动图像包括在组合前处理中获得的多个帧的组合用图像数据。

显示控制单元可生成并输出组合工作图像数据，使得所述组合工作图像数据包括用于指定时间轴上的范围的图像，所述范围是在组合前处理中获得的多个帧的组合用图像数据当中的用于组合处理的组合用图像数据的范围。

显示控制单元可生成并输出组合工作图像数据，使得所述组合工作图像数据包括图像，所述图像包括其每个被分配到多个帧之一的组合用图像数据的加权系数的表示。

显示控制单元可生成并输出组合工作图像数据，使得所述组合工作图像数据包括在使用多个帧的组合用图像数据执行的组合处理中生成的组合结果图像。

当执行给定组合处理时，显示控制单元可生成并输出组合工作图像数据，使得所述组合工作图像数据包括在给定组合处理之后获得的图像和在给定组合处理之前获得的图像。

在本发明的另一实施例中，一种图像处理方法，包括如下步骤：执行组合前处理，使得在时间上具有连续性的多个帧的图像数据用作待组合的组合用图像数据；检测用于组合处理的操作输入信息；以及根据操作输入信息，对在组合前处理中获得的多个帧的组合用图像数据执行组合处理，以便生成表示静态图像的组合图像数据。

在本发明的另一实施例中，一种程序使得算术处理装置执行上述步骤。

在本发明的实施例中，组合时间上具有连续性的多个帧的图像数据，即，以电影方式捕获的图像数据序列，以便获得应用了长时间曝光效果的组合图像。

在此情况下，首先，在组合前处理中，获得多个帧的图像数据作为组合用图像数据。例如，通过图像捕获操作获得的图像数据、或使用用户的装置或任何其他装置捕获并记录在某个记录介质上的图像数据序列可用作组合用图像数据。此外，还可对每个帧的图像数据执行亮度调整，以便变为适于组合。

在组合处理中，根据操作来设置要组合的图像范围(时间轴上的范围)或要分配到各图像的加权系数。因此，可根据用户的意图实现图像组合。即，在捕获图像后，用户选择用于执行图像组合的帧，从而容易地实现与使用长时间曝光捕获的图像效果类似的图像效果。此外，通过将加权应用到要组合的每个帧，可以实现如先幕同步、后幕同步和多闪光的效果。

根据本发明实施例的图像处理装置和图像处理方法可以以各种装置来实现，包括如数字照相机的图像捕获装置、以及如个人计算机的信息处理装置。

因此，根据本发明实施例，一般的用户可以容易地实现与仅由本领域专家才可实现的长时间曝光和其他特效类似的图像效果、以及在本领域的图像捕获中还不可能实现的图像效果。例如，可促进增强的拍摄表现或更有创造性的拍摄表现。

此外，诸如组合前处理中的亮度调整、组合期间的插补处理、适于图像捕获期间闪光的使用的处理、防止背景图像的模糊的坐标变换、以及区域提取处理的各种处理提供了满足用户需求的改进质量的图像。

附图说明

图1是根据本发明实施例的图像捕获装置的框图；

图2A和2B分别是根据实施例的图像捕获装置的外部前视图和后视图；

图3是示出根据实施例的图像捕获装置中的中央处理单元(CPU)的功能结构的框图；

图4是示出根据实施例的图像捕获装置的模式操作的图；

图5是示出根据实施例的图像捕获装置的相机模式处理的流程图；

图6是示出使用根据实施例的图像捕获装置捕获的图像的图；

图7是示出根据实施例的组合准备处理的流程图；

图8是示出根据实施例的组合处理的流程图；

图9是示出根据实施例的调整处理的流程图；

图10是示出根据实施例、在回放开始时获得的组合工作图像的图；

图11是示出根据实施例、当指定组合开始位置时获得的组合工作图像的图；

图12是示出根据实施例、当指定组合结束位置时获得的组合工作图像的图；

图13是示出在根据实施例的调整处理中、在初始状态下获得的(具有长时间曝光效果的)组合工作图像的图；

图14是示出根据实施例、当改变加权系数以便实现先幕同步效果时获得的组合工作图像的图；

图15是示出根据实施例、当在图14所示的状态下改变组合范围时获得的组合工作图像的图；

图16是示出根据实施例、当改变加权系数以便实现后幕同步效果时获得的组合工作图像的图；

图17是示出根据实施例、当在图16所示的状态下改变组合范围时获得的组合工作图像的图；

图18是示出根据实施例、当改变加权系数以便实现多闪光效果时获得的组合工作图像的图；

图19是示出根据实施例的在调整处理中用于显示改变之前的组合图像的示意性处理的流程图；

图20是示出根据实施例的在调整处理中当显示改变之前的组合图像时获得的组合工作图像的图；

图21是示出根据实施例的系数模板(template)选择屏幕的图；

图22是示出根据实施例使用系数模板的示意性处理的流程图；

图23是示出根据实施例、在图像捕获期间的系数模板选择屏幕的图；

图24A到24D是示出根据实施例、使用电子快门和不使用电子快门获得的组合图像的图；

图25A到25D是示出根据实施例的曝光调整控制方法的示例的图；

图26A到26D是示出根据实施例、使用除了电子快门以外的优选功能的曝光调整控制方法的图；

图27是示出根据实施例、使用除了电子快门以外的优选功能的曝光调整控制的流程图；

图28A到28D是示出根据实施例、使用固定帧率的分开曝光(divisionalexposure)获得的组合图像的图；

图29A到29C是示出根据实施例、使用固定帧率的分开曝光的帧的产生的图；

图30A到30D是示出根据实施例、使用连续和不连续曝光时间获得的组合图像的图；

图31A到31C是示出根据实施例的可变帧率操作的图；

图32A到32D是示出根据实施例的使用可变帧率的曝光调整方法的图；

图33是示出根据实施例的使用可变帧率的曝光调整控制的流程图；

图34A到34D是示出根据实施例、使用帧间插补和不使用帧间插补获得的组合图像的图；

图35A和35B是示出根据实施例的帧间插补的图；

图36是示出根据实施例、包括帧插补的示例性处理；

图37是示出根据实施例、当执行闪光移除时获得的组合工作图像的图；

图38是示出根据实施例、包括闪光移除的示例性处理的流程图；

图39是示出根据实施例、当执行闪光校正时获得的组合工作图像的图；

图40是示出根据实施例、包括闪光校正的示例性处理的流程图；

图41是示出根据实施例的组合工作图像的图；

图42是示出根据实施例、当实现多闪光效果时获得的组合工作图像的图；

图43是示出根据实施例、当执行基于距离的闪光校正时获得的组合工作图像的图；

图44是示出根据实施例、包括基于距离的闪光校正的示例性处理的流程图；

图45是示出根据实施例、当对所有图像执行基于距离的校正时获得的组合工作图像的图；

图46是示出根据实施例、当组合闪光图像时获得的组合工作图像的图；

图47是示出根据实施例、当执行基于距离的闪光校正时获得的另一组合工作图像的图；

图48A到48C是示出根据实施例、其中出现模糊的组合图像的图；

图49是示出根据实施例、其中显示受相机抖动影响的组合图像的组合工作图像的图；

图50是示出根据实施例、其中显示相机抖动校正后的组合图像的组合工作图像的图；

图51是示出根据实施例、在显示在相机抖动校正后对其应用多闪光效果的组合图像的组合工作图像的图；

图52是示出根据实施例、包括相机抖动校正的示例性处理的流程图；

图53是示出根据实施例、其中显示受被摄体模糊影响的组合图像的组合工作图像的图；

图54是示出根据实施例、包括被摄体模糊校正的示例性处理的流程图；

图55是示出根据实施例、包括相机抖动校正和被摄体模糊校正的示例性处理的流程图；

图56是示出根据实施例、包括相机抖动校正和被摄体模糊校正的另一示例性处理的流程图；以及

图57是示出根据本发明实施例的信息处理装置的示例结构的示意图。

具体实施方式

以下，将以下面的顺序描述本发明的实施例。

1.图像捕获装置的结构

2.操作模式

3.相机模式处理

4.组合模式处理

4-1：组合准备处理

4-2：组合处理

4-3：使用改变前后的显示图像的示例性调整处理

5.基于模板的处理

6.固定帧率的图像捕获操作

7.可变帧率的图像捕获操作

8.示例性组合模式处理：帧插补

9.示例性组合模式处理：闪光移除/校正

10.示例性组合模式处理：基于距离的校正

11.示例性组合模式处理：模糊校正

12.信息处理装置

1.图像捕获装置的结构

现在将参照图1到3在数字照相机的结构的情境中描述根据本发明实施例的图像捕获装置的结构。

图2A和2B分别是根据本发明实施例的图像捕获装置1的外部前视图和后视图。如图2A和2B所示，图像捕获装置1可以是例如不是专家的一般用户通常使用的数字照相机。

图像捕获装置1包括其前侧的图像捕获镜头单元21a和闪光发射单元15、以及其后侧的显示面板6。显示面板6可以是液晶面板、有机电致发光(EL)面板等。图像捕获装置1还包括用户操作使用的、位于适当位置的操作器。例如，操作键5a、5b、5c、5d、5f和5g用作用于提供各种操作功能的键，包括快门操作键、模式操作键、广角/长焦操作键、菜单操作键、曝光校正指示键、以及回放键。还布置了包括转盘操作单元5h和十字键5i的其他操作器。转盘操作单元5h用于对例如图像捕获模式进行选择等。十字键5i用于如选择/设置在显示面板6上显示的操作菜单项目的各种操作。

将例如参照图1描述图像捕获装置1的示例结构。

如图1所示，图像捕获装置1包括图像捕获系统2、控制系统3、相机数字信号处理器(DSP)4、操作单元5、显示面板6、显示控制器7、外部接口(I/F)8、同步动态随机存取存储器(SDRAM)9、以及媒体接口10。

图像捕获系统2被配置为执行图像捕获操作。图像捕获系统2包括镜头机构单元21、光圈/中灰密度(neutral density，ND)滤光镜机构22、图像捕获元件单元23、模拟信号处理单元24、模-数(A/D)转换单元25、镜头驱动单元26、镜头位置检测单元27、定时发生电路28、模糊检测单元13、发光驱动单元14、闪光发射单元15、镜头驱动器17、光圈/ND驱动器18、以及图像捕获元件驱动器19。

来自被摄体的入射光通过镜头机构单元21和光圈/ND滤光镜机构22被引入图像捕获元件单元23。

镜头机构单元21合并在图2A所示的图像捕获镜头单元21内，并且具有包括封盖镜头(cover lens)、聚焦镜头、以及变焦镜头的多个光学镜头。镜头驱动单元26用作用于将聚焦镜头或变焦镜头沿光轴移动的镜头移动机构。当通过使用镜头驱动器17施加驱动动力时，镜头驱动单元26使聚焦镜头或变焦镜头移动。镜头驱动器17由下面将描述的中央处理单元(CPU)31控制来执行聚焦控制或变焦操作。

光圈/ND滤光镜机构22包括插入到镜头光学系统以衰减(调整)入射光量的光圈机构和ND滤光镜机构。光圈/ND滤光镜机构22被配置为调整光强度。

光圈/ND驱动器18通过打开和关闭光圈机构调整入射光量。光圈/ND驱动器18还通过沿入射光的光轴插入和移除ND滤光镜来调整入射光量。CPU31控制光圈/ND驱动器18以驱动光圈机构或ND滤光镜来控制入射光量(例如执行曝光调整控制)。

来自被摄体的光通量透射经过镜头机构单元21和光圈/ND滤光镜机构22，并且在图像捕获元件单元23上形成被摄体图像。

图像捕获元件单元23对形成的被摄体图像进行光电转换，并且输出与被摄体图像对应的捕获的图像信号。

图像捕获元件单元23具有由多个像素形成的矩形图像捕获区域，并且将各图像信号一个像素接一个像素地顺序输出到模拟信号处理单元24，每个所述图像信号是与一个像素中累积的电荷量对应的模拟信号。图像捕获元件单元23可以通过例如电荷耦合器件(CCD)传感器阵列、互补金属氧化物半导体(CMOS)传感器阵列等实现。

模拟信号处理单元24包括如相关双倍采样(CDS)电路和自动增益控制(AGC)电路的内部电路。模拟信号处理单元24对从图像捕获元件单元23输入的图像信号执行预定模拟处理。

A/D转换单元25将通过模拟信号处理单元24处理的模拟信号转换为数字信号，并且将数字信号提供到相机DSP 4。

定时发生电路28由CPU 31控制来对图像捕获元件单元23、模拟信号处理单元24和A/D转换单元25的操作定时进行控制。

具体地，定时发生电路28将用于控制图像捕获元件单元23的图像捕获操作的定时的信号通过图像捕获元件驱动器19提供到图像捕获元件单元23，如曝光/电荷读取定时信号、用于提供电子快门功能的定时信号、传送时钟信号、以及按照帧率的同步信号。定时发生电路28还将定时信号提供到模拟信号处理单元24，使得模拟信号处理单元24可以与来自图像捕获元件单元23的图像信号的传送同步地执行处理。

CPU 31可以控制由定时发生电路28生成的定时信号，以改变图像捕获的帧率或执行电子快门控制(帧内曝光时间可变控制)。此外，例如，CPU 31可以将增益控制信号通过定时发生电路28应用到模拟信号处理单元24，以执行对捕获的图像信号的可变增益控制。

模糊检测单元13被配置为检测相机抖动量。模糊检测单元13例如包括加速度传感器、振动传感器等，并且将检测的信息作为模糊量提供到CPU 31。

闪光发射单元15由发光驱动单元14驱动来发光。CPU 31指示发光驱动单元14以在用户操作等中指定的预定时间发射闪光，使得可以从闪光发射单元15发光。

相机DSP 4对从图像捕获系统2的A/D转换单元25输入的捕获的图像信号执行各种数字信号处理。

在相机DSP 4中，例如如图1所示，通过内部硬件或软件实现如图像信号处理单元41、压缩/解压缩处理单元42、SDRAM控制器43、以及信息生成单元44的处理功能。

图像信号处理单元41对输入的捕获图像信号执行处理。例如，图像信号处理单元41使用捕获的图像信号执行用于控制图像捕获系统2的驱动的算术处理，如自动聚焦(AF)处理、以及自动光圈(auto-iris)(自动曝光(AE))处理，并且还执行对于输入的捕获图像信号自身的处理，如自动白平衡(AWB)处理。

例如，在自动聚焦处理中，图像信号处理单元41执行对输入的捕获图像信号的对比度检测，并且将检测的信息发送到CPU 31。各种控制技术可用作自动聚焦控制方法。在称为对比度AF的技术中，在强制聚焦镜头移动的每个时间点执行对捕获图像信号的对比度检测，并且确定最佳对比度状态下的聚焦镜头的位置。具体地，在图像捕获操作之前，CPU 31执行控制以便在控制聚焦镜头移动的同时检查由图像信号处理单元41检测的对比度检测值，并且将在最佳对比度状态时的位置设置为最佳聚焦位置。

在图像捕获期间，CPU 31可以使用称为摆动(wobbling)AF的检测方法执行聚焦控制。在图像捕获操作期间，CPU 31在使得聚焦镜头恒定地前后轻微移动的同时检查由图像信号处理单元41检测的对比度检测值。尽管聚焦镜头的最佳位置可能依赖于被摄体的情况而变化，但是通过将聚焦镜头轻微前后变位来执行对比度检测，从而根据被摄体的变化确定聚焦控制方向的变化。因此，可以根据被摄体情况执行自动聚焦。

注意到，在镜头驱动单元26中的镜头移动机构被分配了各个移动位置的地址(address)，并且使用移动位置的地址来识别镜头位置。

镜头位置检测单元27识别聚焦镜头的当前镜头位置的地址，以计算到所聚焦(in-focus)的被摄体的距离，并且将关于计算的距离的距离信息提供到CPU 31。因此，CPU 31可以确定到所聚焦的主被摄体的距离。

在由相机DSP 4的图像信号处理单元41执行的自动光圈(auto-iris)处理中，例如计算被摄体亮度。例如，计算输入的捕获图像信号的平均亮度，并且将关于计算的平均亮度的被摄体亮度信息或曝光信息提供到CPU 31。可使用各种方法诸如计算捕获的图像数据的一帧的所有像素的亮度信号的平均值或计算当为图像的中心部分分配权重时各亮度信号的平均值来计算平均亮度。

CPU 31可以基于曝光信息执行自动曝光控制。具体地，使用光圈机构、ND滤光镜、图像捕获元件单元23中的电子快门控制、或用于模拟信号处理单元24的增益控制来执行曝光调整。

相机DSP 4的图像信号处理单元41除了执行用于生成自动聚焦操作和自动光圈操作使用的信号的处理外，还执行对捕获的图像信号自身的信号处理，如自动白平衡、伽玛(γ)校正、边缘增强、以及相机抖动校正。

相机DSP 4中的压缩/解压缩处理单元42对捕获的图像信号执行压缩处理，或对压缩的图像数据执行解压缩处理。例如，压缩/解压缩处理单元42根据如联合摄影专家组(JPEG)或运动图像专家组(MPEG)技术的技术执行压缩/解压缩处理。

SDRAM控制器43对SDRAM 9执行写入/读取。SDRAM 9用于例如暂时存储从图像捕获系统2输入的捕获图像信号，在由图像信号处理单元41或压缩/解压缩处理单元42执行的处理中存储数据或保留工作区域，或存储由信息生成单元44获得的信息。SDRAM控制器43对SDRAM 9执行这样的数据的写入/读取。

信息生成单元44生成用于下述组合处理中的各种操作的信息。例如，信息生成单元44生成在捕获图像信号屏幕中指示到各被摄体的距离的距离分布信息。距离分布信息可以是例如关于以像素为单位到各被摄体的距离以及到主被摄体的距离的信息。所述信息还称为景深图(depth map)。

可通过分析在上述摆动AF等期间的模糊量来执行用于生成距离分布信息的基于像素的距离信息的确定。替代地，可提供被配置为发出具有非可见光的指定波长的辅助光的发光单元(未示出)，并且可以测量在指定波长的光发出后其返回的时间段，以便一个像素接一个像素地确定到被摄体的距离。

控制系统3包括CPU 31、随机存取存储器(RAM)32、闪存只读存储器(ROM)33、以及时钟电路34。控制系统3中的每个单元、相机DSP 4中的每个单元、图像捕获系统2中的每个单元、显示控制器7、外部接口8和媒体接口10被配置为经由系统总线彼此传送图像数据或控制信息。

CPU 31控制图像捕获装置1的整体操作。具体地，CPU 31根据内部ROM等中存储的程序并根据利用操作单元5的用户操作，执行各种算术处理或与对应的单元交换控制信号等，以使得各单元执行必要操作。CPU 31还执行用于下述图像组合的另外的处理，如算术处理和图像分析处理。

RAM 32暂时存储由相机DSP 4处理的捕获的图像信号(每帧的图像数据)，或存储用于下述组合处理的图像数据、以及对应于CPU 31的各种处理的其他信息。

闪存ROM 33用于存储表示(已经由用户捕获为静态图像或运动图像的)捕获的图像的图像数据或要以非易失性方式保存的其他信息。闪存ROM 33还可以用于存储用于控制图像捕获装置1的软件程序、相机设置数据等。闪存ROM 33还用于存储下述组合处理使用的系数模板。

时钟电路34执行时间计数以确定当前时间信息(年、月、日、小时、分钟和秒)。

操作单元5包括图2A和2B所示的操作器和用于按照操作器的操作生成信号的信号生成单元。基于操作器的用户操作信息被从操作单元5发送到CPU 31。

操作单元5可以被配置为允许触摸面板操作以及使用操作器的操作。具体地，显示面板6可以被提供有触摸传感器，使得可以响应于用户对屏幕的触摸来执行操作输入。

显示控制器7在CPU 31的控制下使得显示面板6执行必要的显示操作。显示面板6上的显示操作的示例可包括监视器的显示(所谓的实时取景(liveview)显示或运动图像/静止图像捕获监视器的显示)、从记录介质90或闪存ROM 33读取的回放图像的显示、操作菜单的显示、各种图标的显示、时间和日期的显示、以及关于下述组合处理的显示。

媒体接口10在CPU 31的控制下，对置入图像捕获装置1中的如存储卡(卡形的可移除存储器)的记录介质90执行数据的读取/写入。例如，媒体接口10执行将作为图像捕获结果获得的静止图像数据或运动图像数据记录到记录介质90上的操作。媒体接口10还执行从记录介质90读取用于下述组合处理的图像数据的操作。

尽管作为示例将记录介质90实现为便携式存储卡，但是记录介质90可以是用于记录作为图像捕获结果要保存的静止图像或运动图像的图像数据的任何其他记录介质。例如，可使用如光盘的便携式记录介质，或可合并硬盘驱动器(HDD)并将其用于记录。

外部接口8根据如通用串行总线(USB)标准的信号标准，经由预定电缆发送各种数据到外部设备并从所述外部设备接收各种数据。外部接口8可以是符合除了USB标准以外的标准(如，电气电子工程师协会(IEEE)1394标准)的外部接口。

替代有线传输接口，外部接口8可以是如红外传输接口或近场通信接口的无线传输接口。

图像捕获装置1被配置为经由外部接口8发送数据到个人计算机或其他各种设备，并从所述个人计算机或其他各种设备接收数据。例如，图像捕获装置1可以将捕获的图像数据或作为组合处理结果获得的图像数据传送到外部设备。

在本实施例的图像捕获装置1中，CPU 31根据存储在其中的程序，执行图像捕获操作控制或用于下述各种操作的算术处理和控制。图3示出通过CPU 31的算术处理实现的操作功能。具体地，图像捕获控制单元51、组合前处理单元52、组合处理单元53、记录/回放/发送控制单元54、操作检测单元55、显示控制单元56、和模板管理单元57形成为软件功能块。

图像捕获控制单元51执行图像捕获操作控制。具体地，图像捕获控制单元51控制图像捕获系统2中的每个单元或相机DSP 4以捕获被摄体图像。图像捕获控制单元51执行如自动聚焦处理、自动曝光调整处理、以及闪光发射控制处理的其他处理。

组合前处理单元52可执行组合前处理，使得用于下述组合处理的、时间上具有连续性的多个帧的图像数据用作要组合的图像数据(以下称为“组合用图像数据”)。例如，组合前处理单元52可获得记录在记录介质90上的、时间上具有连续性的多个帧的图像数据，并且使用所获得的图像数据的各帧作为组合用图像数据。术语“时间上具有连续性的多个帧的图像数据”意味着可从通过一系列时间上连续的图像捕获动作获得的多个帧提取的多个连续或间断的帧的图像数据。组合前处理单元52可获得从外部设备提供的图像数据序列作为组合处理的目标。

组合前处理单元52还可对用作组合用图像数据的、时间上具有连续性的图像数据的多个帧的每帧的图像数据执行亮度调整处理。亮度调整处理可以是均衡用作组合用图像数据的图像数据的各帧中的全部或一些的图像数据的平均亮度级的处理。具体地，可以从用作组合用图像数据的多个帧的图像数据中提取没有使用闪光捕获的图像数据的帧，并且可以均衡提取的图像数据的平均亮度级。

组合处理单元53可根据操作输入信息，对由组合前处理单元52在组合前处理中获得的组合用图像数据执行组合处理，以便生成表示静止图像的组合图像数据。

例如，组合处理单元53可对时间上具有连续性的组合用图像数据当中的、由操作输入信息指定的时间轴上范围内的帧的组合用图像数据执行组合处理，以便生成表示静止图像的组合图像数据。

此外，组合处理单元53可使用由操作输入信息指定的加权系数，对多个帧的各个的组合用图像数据执行组合处理，以便生成表示静止图像的组合图像数据。

组合处理单元53还可使用加权平均对多个帧的组合用图像数据执行组合处理，以便生成表示静止图像的组合图像数据。

除了上述处理外，组合处理单元53可执行用于下述各种组合处理的算术操作。

记录/回放/发送控制单元54指示媒体接口10控制从记录介质90读取或写入到记录介质90。例如，记录/回放/发送控制单元54可指示媒体接口10：读取记录在记录介质90上的、时间上具有连续性的图像数据的多个帧，以便由组合前处理单元52获得。

记录/回放/发送控制单元54还可执行将由组合处理单元53生成的组合图像数据记录到记录介质90上或将组合图像数据经由外部接口8发送到外部设备的处理。

操作检测单元53检测由用户提供的操作输入信息。具体地，操作检测单元55检测来自操作单元5的输入信息。基于由操作检测单元55检测的操作输入信息，执行图像捕获控制单元51中的图像捕获操作控制、组合前处理单元52中的组合前处理、组合处理单元53中的组合处理、以及记录/回放/发送控制单元54中的控制处理。

显示控制单元56指示显示控制器7对显示面板6执行必要显示。例如，执行图像捕获期间的监视器显示或回放图像的显示。

在组合处理单元53的组合处理中，显示控制单元56生成组合工作图像数据，并将其输出到显示控制器7，以在显示面板6上显示组合工作图像。

组合工作图像数据可以是包括下述的显示数据：包括在组合前处理中获得的多个帧的组合用图像数据的回放运动图像；用于指定时间轴上的范围的图像，所述范围是在多个帧的组合用图像数据当中用于组合处理的组合用图像数据的范围；包括加权系数的表示的图像，所述加权系数的每个分配给多个帧之一的组合用图像数据；以及使用多个帧的组合用图像数据执行的组合处理中生成的组合图像(如作为组合处理结果获得的预览图像)。当执行给定组合处理时，显示控制单元56还可生成组合工作图像数据，以便包括给定组合处理之前和之后获得的图像，并且可以将生成的组合工作图像数据输出到显示控制器7，以在显示面板6上显示对应的图像。

显示控制单元56还可将在组合处理中最终生成的组合图像数据输出到显示控制器7，作为用于显示的图像数据，并且可以在显示面板6上显示对应的图像。

模板管理单元57被配置为管理为简化组合处理中的用户操作而准备的系数模板，并选择系数模板。

如下所述，可以将加权系数分配到要组合的图像数据的多个帧的每个。例如，创建用于实现如先幕同步效果、后幕同步效果、以及多闪光效果的图像效果的加权系数图样(pattem)，作为存储在例如闪存ROM 33等中的模板。在如当操作检测单元55检测到用户操作时或当供从模板选择的图像通过显示控制单元56显示时的情况下，模板管理单元57执行根据用户操作选择系数模板、并将所选择的系数模板发送到组合处理单元53使得所选择的系数模板可用于组合处理的处理。

2.操作模式

图4示出本实施例的图像捕获装置1的操作模式。在本实施例的图像捕获装置1中，操作模式根据用户操作而改变为相机模式、回放模式和组合模式。实践中，可提供如允许与外部设备通信的通信模式的其他模式，为说明方便省略了所述其他模式。

相机模式是图像捕获系统2执行图像捕获的模式。即，相机模式是其中用户使用相机正常地捕获图像的操作模式。在相机模式下，如图4所示的各种图像捕获模式可用。

组合模式图像捕获是其中捕获用于下述组合处理的图像的图像捕获模式，所述组合处理是本实施例的特性操作。捕获时间上具有连续性的多个帧，并且将图像数据的多个帧记录在记录介质90上。

在下面的描述中，在图像捕获操作中，作为图像捕获结果获得的图像数据存储到记录介质90上。图像数据可以存储到闪存ROM 33而不是记录介质90。可使用另一操作方法，其中图像数据正常地记录到记录介质90上、而当没有放置记录介质90时记录到闪存ROM 33上。

自动模式是其中使用图像捕获装置1自动执行如光圈值、快门速度、以及国际标准化组织(ISO)灵敏度的最佳设置的图像捕获模式。

肖像模式是其中以对提供人的照片(shot)最佳的设置执行图像捕获的图像捕获模式。

风景模式是其中以对提供风景的照片最佳的设置执行图像捕获的图像捕获模式。

宏模式是如下图像捕获模式，其中以对提供被摄体离相机比正常近的照片最佳的设置执行图像捕获。可提供特殊宏模式，即，用于提供花朵和昆虫的清晰和生动的宏照片的自然宏模式

体育模式是其中以对提供动作的照片最佳的设置执行图像捕获的图像捕获模式。

日落场景模式是其中以对提供日落场景的照片最佳的设置执行图像捕获的图像捕获模式。

夜景模式是其中以对提供夜景的照片最佳的设置执行图像捕获的图像捕获模式。

电影模式是其中捕获运动图像的图像捕获模式。

可提供其他模式，如适于提供夜景中人照片的夜间肖像模式、以及适于提供焰火照片的焰火模式。

在设置相机模式后，用户从上述各图像捕获模式中选择期望的图像捕获模式，从而执行图像捕获操作以获得适于被摄体类型或条件的捕获的图像。

为了获得具有如下述的长时间曝光效果、先幕同步效果(first-curtainsynchronization effect)、后幕同步效果、或多闪光效果的特效的图像，用户执行组合模式图像捕获以在随后的组合处理中创建具有期望效果的图像。

在相机模式下，CPU 31中的图像捕获控制单元51、操作检测单元55、显示控制单元56、以及记录/回放/发送控制单元54彼此合作以控制图像捕获系统2，并且控制记录操作和显示操作，以便捕获图像、显示捕获的图像数据的图像、并且记录捕获的图像数据。

回放模式是其中回放所捕获并记录在记录介质90或闪存ROM 33上的图像的操作模式。

根据用户操作，CPU 31执行控制以读取记录在记录介质90或闪存ROM33上的图像，并在显示面板6上回放和显示图像。

在回放模式下，CPU 31中的操作检测单元55、显示控制单元56、以及记录/回放/发送控制单元54彼此合作以控制回放操作和显示操作，从而执行图像数据的显示等。

组合模式是其中在时间上具有连续性的图像数据的多个帧用作执行组合处理的组合用图像数据的操作模式。CPU 31根据用户操作进行到组合处理。

在组合模式下，在步骤ST1和ST2中，CPU 31执行组合前处理。首先，在步骤ST1，CPU 31执行目标图像选择/获取处理。例如，选择并获取在组合模式图像捕获中捕获并且记录在记录介质90上的、在时间上具有连续性的图像数据序列，作为在组合处理中使用的组合用图像数据。

在步骤ST2，CPU 31执行组合准备处理。如下所述，组合准备处理是用于执行例如获取的图像数据序列的亮度调整(曝光调整)并且均衡图像数据序列的图像数据元素的亮度状态、使得所述图像数据变为适于组合处理的状态的处理。

在步骤ST1和ST2中的组合前处理完成后，在步骤ST3，CPU 31执行组合处理。在此情况下，CPU 31根据用户操作使用组合用图像数据序列进行组合处理。以下还将详细描述该组合处理。

当使用组合处理生成作为组合最终结果的组合图像数据时，在步骤ST4，CPU 31执行组合图像记录处理。

具体地，CPU 31通过媒体接口10将使用组合处理生成的组合图像数据记录到记录介质90上。替代地，组合图像数据可记录到闪存ROM 33上。因此，此后，用户可以回放期望的组合图像。

CPU 31还可以将组合图像数据发送到与外部接口8连接的外部设备。因此，例如，组合图像数据可以被记录到预定记录介质或可以利用外部设备显示并输出对应图像。

在组合模式下，在步骤ST1和ST2中，CPU 31中的组合前处理单元52、操作检测单元55、显示控制单元56、以及记录/回放/发送控制单元54彼此合作以执行必要的处理操作。

在步骤ST3，CPU 31中的组合处理单元53、操作检测单元55、以及显示控制单元56彼此合作以执行必要的处理操作。在使用系数模板的情况下，模板管理单元57工作。

在步骤ST4，CPU 31中的组合处理单元53、操作检测单元55、显示控制单元56、以及记录/回放/发送控制单元54彼此合作以执行必要的处理操作。

3.相机模式处理

首先，将参照图5描述相机模式下的CPU 31的处理。

在步骤F10、F11和F12，CPU 31监视用户操作。

在步骤F10，CPU 31监视图像捕获模式的操作。如上所述，如组合模式、自动模式、和肖像模式的各种模式可用作图像捕获模式，并且用户可以根据图像捕获目的选择期望的图像捕获模式。可通过例如操作如图2B所示的转盘操作单元5h或选择在显示面板6上的菜单显示中的模式来选择模式。

当用户选择图像捕获模式时，CPU 31进行到步骤F13，并且根据选择的图像捕获模式执行操作设置。例如，CPU 31控制图像捕获系统2中的每个单元以确定如曝光量、曝光方法、电子快门设置、帧率和增益的设置。具体地，当选择组合模式图像捕获时，还执行连续图像捕获的设置。

在步骤F11，CPU 31监视由用户执行的快门操作。当检测到由用户执行的快门操作时，在步骤F14，CPU 31使得处理依赖于当前图像捕获模式是否是组合模式图像捕获而分支。

如果当前图像捕获模式是组合模式图像捕获以外的模式，则在步骤F16，执行图像捕获处理。具体地，CPU 31控制相机DSP 4、媒体接口10、以及任何其他适当的单元，使得在快门操作时获得的一帧的图像存储为捕获的图像数据，即，静止图像数据。

组合模式图像捕获是用于获得之后的组合处理使用的图像数据的图像捕获模式。当在组合模式图像捕获下执行快门操作时，CPU 31进行到步骤F15，并且执行作为组合模式图像捕获的连续图像捕获处理。连续图像捕获处理可以是类似电影的捕获操作，其中通过图像捕获系统2连续获得的各个帧作为图像数据存储到记录介质90等上。依赖于例如帧率的设置，可以存储如每隔一帧的间断的帧。捕获的图像数据作为大量静止图像或运动图像而存储。

虽然在步骤F15，各帧作为捕获的图像数据连续地存储，但是可通过示例如下执行图像捕获一段时间：

(1)将从用户执行快门操作时到用户执行第二次快门操作时的时段的图像数据的帧存储为捕获的图像。

(2)将从用户执行快门操作到由CPU 31计数的时间已经达到预设计时器值的时段的图像数据的帧存储为捕获的图像。预设的计时器值可以是固定的或由用户选择的。

(3)将用户继续快门操作(继续按下快门释放按钮)期间的时段的图像数据的帧存储为捕获的图像。当用户释放快门释放按钮时，图像捕获结束。

通过在步骤F15中执行组合模式图像捕获，捕获并存储在时间上具有连续性的图像数据的多个帧。

图像数据的多个帧彼此关联地存储，以便被识别为在时间上具有连续性的图像数据序列。

例如，每个帧的图像数据可以被分配序列号并且可以被记录，并且可以添加关于包括序列号的范围的管理信息。替代地，可以通过添加指示由图像捕获动作序列获得的图像数据的元数据来将各帧的图像数据彼此关联。

这样的关联不一定在图像捕获期间执行。在下述组合处理中，可以提取以图像捕获时间顺序连续的各帧的图像数据以读取连续的帧的图像数据。在通过时钟电路34的时间计数中获得的时间和日期信息添加到要捕获并记录的每个帧的图像数据。因此，还可以执行读取操作中的这种关联。

此外，将元数据添加到要捕获的每个帧的图像数据。元数据可以是关于从闪光发射单元15发射闪光的信息。由CPU 31根据用户操作、设置等控制闪光发射。

在图像捕获操作中获得的信息如由镜头位置检测单元17测量的关于距主被摄体的距离的信息、以及由信息生成单元14生成的距离分布信息也可以作为元数据添加到每个帧的图像数据。

用户可以执行除了图像捕获模式操作和快门操作以外的各种操作。如果在步骤F12中检测到这种其他操作中的任何操作，则CPU 31进行到步骤F17，并且执行对应于检测的操作的处理。例如，当执行将模式改变到回放模式或组合模式的操作时，执行模式改变处理。CPU 31按照各种操作执行必要的处理，如图像捕获的各种设置，例如曝光量的手动设置、变焦操作、手动聚焦设置、以及使用闪光/不使用闪光/自动发光的设置。

在相机模式下，根据上述图5中示出的处理在各种图像捕获模式下执行图像捕获，并且将捕获的图像数据存储到记录介质90上。

图6示出其中存储在记录介质90上的各种类型的图像数据被回放并显示为图像的示例。将在由用户选择的组合模式图像捕获下捕获的图像数据集合(如图像PCT3的图像数据)与在正常图像捕获模式(如自动模式和肖像模式)下捕获的图像PCT1、PCT2和PCT4的图像数据一起存储在记录介质90上。用户执行回放模式下的操作，以将对应的图像回放并显示在显示面板6上，用于进行确认。

在组合模式图像捕获中捕获的图像PCT3的图像数据是由例如图像数据元素#0、#1和#2指示的、在时间上具有连续性而关联的一组图像数据元素。

当用户在回放模式下回放并观看捕获的图像时，顺序回放图像PCT1、PCT2、PCT3、PCT4等的图像数据。对于在组合模式图像捕获下获得的图像PCT3的图像数据，可以回放并显示在实际记录的图像数据元素#0、#1、#2等当中的代表性图像。例如，可显示顶部的图像数据元素#0。

此外，为了帮助用户理解在组合模式图像捕获中实际存储了大量图像数据元素(#0、#1、#2等)，如图6所示，在回放期间，将指示在组合模式图像捕获中捕获的图像数据的标记MK显示在显示屏幕上。

用户可以使用标记MK来理解图像PCT3的图像数据实际包括可用于组合处理的大量时间上连续的图像。

即，在执行组合模式图像捕获后，用户回放图像并且选择具有标记MK的图像以执行作为下述的组合模式下的操作的组合工作。

4.组合模式处理

4-1：组合准备处理

现在将描述组合模式下执行的处理。

如上参照图4所述，在组合模式下，CPU 31执行目标图像选择/获取处理(ST1)、组合准备处理(ST2)、组合处理(ST3)、以及组合图像记录处理(ST4)。

目标图像选择/获取处理(ST1)和组合准备处理(ST2)是在实际组合处理之前的组合前处理。首先，CPU 31(组合前处理单元52)在目标图像选择/获取处理(ST1)中捕获组合用图像数据。

例如，如图6所示，当用户执行回放捕获的图像、选择在组合模式图像捕获中捕获的图像(例如，图6所示的图像PCT3)、并且指示组合处理的操作时，CPU 31开始组合模式下的处理。在此情况下，CPU 31捕获由用户操作选择的图像作为组合用图像数据。具体地，当选择图6所示的图像PCT3时，CPU 31从记录介质90读取作为时间上具有连续性的、与图像PCT3相关联的图像数据元素序列#0、#1、#2等，并且将其获取为组合用图像数据。然后，将图像数据元素#0、#1、#2等设置为要组合的图像数据。

在组合准备处理(ST2)中，对捕获的组合用图像数据(图像数据元素#0、#1、#2等)执行亮度调整处理。在此处理中，均衡图像数据元素#0、#1、#2等的曝光量(屏幕强度)。

在此情况下，例如，CPU 31(组合前处理单元52)执行图7所示的处理。

首先，在步骤F101，CPU 31从作为组合目标捕获的图像数据元素#0、#1，#2，...，#n中提取非闪光图像。非闪光图像是未使用闪光捕获的图像数据。如上所述，因为关于在图像捕获期间的闪光的发射的信息作为元数据添加到图像数据，所以CPU 31可以通过检查捕获的图像数据元素#0，#1，#2，...，#n的元数据来提取非闪光图像。

注意到，非闪光图像基于关于已经执行图像捕获的设备(即，图像捕获装置1)是否已经使用闪光执行图像捕获(以下称为“自闪光图像捕获”)的信息，并且不包括由突然变得与闪光发射状态下的强度一样高的屏幕强度导致的图像。

例如，在图像捕获期间由另一拍摄者用闪光灯照亮的、或由经过的车辆的前灯照亮的被摄体的图像不是使用自闪光图像捕获获得的图像，并且被处理为非闪光图像。

如图7所示，如果在图像数据元素#0，#1，...，#n当中，在图像数据元素#2时执行自闪光图像捕获(即，如果闪光发射指示作为图像数据元素#2的元数据而给出)，则提取除了图像数据元素#2以外的图像数据元素#0，#1，#3，...，#n。

然后，在步骤F102，CPU 31对于提取的图像数据元素(例如，图像数据元素#0，#1，#3，...，#n)计算平均亮度值。

在此情况下，可以对每个图像数据元素计算所有像素的亮度信号值的平均值，或者对屏幕内的每个区域执行加权，并且可以计算加权的平均亮度值。在此情况下，可以使用与用于对所谓的自动曝光调整计算亮度级的技术类似的技术计算每个图像数据元素的平均亮度值。

在步骤F103，CPU 31按平均亮度值对图像数据元素进行分类，并且选择代表性的组。例如，如图7所示，组Yg0，Yg1，...，Yg5按亮度级的阶梯(step)从低亮度级侧开始到高亮度级侧设置，并且依赖于平均亮度值将图像数据元素分类到各组。例如，如图7所示，假设作为提取的图像数据元素#0，#1，#3，...，#n存在28个图像数据元素，并且25个图像数据元素被分类为组Yg1，两个图像数据元素被分类为组Yg4，并且一个图像数据元素被分类为Yg5。基于分类的结果选择代表性组。作为示例，组Yg1用作代表性组。

组合用图像数据序列是时间上连续的图像数据的多个帧，并且如图5所示在步骤F15中的图像捕获期间连续捕获。因此，通常不出现亮度级的剧烈变化。因此，不使用自闪光图像捕获获得的图像数据的帧通常分类为相同的组。然而，在一些情况下，在连续图像捕获期间，由于如另一拍摄者的闪光激发、使用经过的车辆的前灯对被摄体的瞬时照亮、以及突然穿过云朵的光束，被摄体亮度级可能突然极大地改变。作为图7所示的分类的结果，分类为组Yg4和Yg5的图像被认为是由于上述原因导致的这种在曝光量上的瞬时改变而获得的图像。

如果包括这种在被摄体亮度级上具有较大差异的图像，则在组合处理中可能仅有所述图像被突出等，这可能不能实现所期望的组合。

因此，在步骤F104和随后的步骤中对每个图像数据元素执行亮度调整。

首先，在步骤F104，CPU 31计算在代表性组(Yg1)中包括的图像数据元素的平均亮度值的平均值。计算的平均值设置为参考平均亮度级。

在步骤F105，CPU 31选择与在步骤F101提取的非闪光图像对应的图像数据元素#0，#1，#3，...，#n之一(例如，图像数据元素#0)作为校正的目标。在步骤F106，CPU 31确定被选择为目标的图像数据元素#0的平均亮度值和参考平均亮度级的比率，并且根据该比率计算校正系数。

然后，在步骤F107，CPU 31将图像数据元素#0的所有像素的亮度值乘以校正系数，以执行对图像数据元素#0的亮度校正。

在步骤F108，如果仍有未处理的图像数据元素，则CPU 31返回到步骤F105，并且对下一图像数据元素(例如，图像数据元素#1)执行类似处理。

具体地，在步骤F105、F106和F107，对被提取为非闪光图像的所有图像数据元素顺序执行亮度校正。当对所有图像数据元素完成该处理时，图7所示的处理结束。

根据图7所示的组合准备处理，对提取为非闪光图像的所有图像数据元素的亮度级进行均衡(equalize)，以产生适于下述组合处理的图像数据，所述非闪光图像被获取为组合用图像数据。

在该实施例中，对使用自闪光图像捕获获得的图像不执行校正，这是因为图像的拍摄者故意执行自闪光图像捕获。

在一些情况下，可以校正所有组合用图像数据，以均衡亮度级，而无论闪光发射与否。

在其他情况下，如果包括使用闪光捕获的图像数据的多个帧，则可校正该闪光图像数据的多个帧以均衡亮度级。

4-2：组合处理

现在将描述图4所示的步骤ST3中的组合处理。在本实施例的组合处理中，执行图像处理，使得替代将图像数据的多个帧的对应像素的值简单地相加，在生成组合图像前对对应像素的值求平均(或加权)。

在步骤ST3中的组合处理中，CPU 31中的组合处理单元53、显示控制单元56、以及操作检测单元55彼此合作以执行图8所示的处理。

首先，在步骤F201，CPU 31使用组合工作图像开始组合用图像数据的回放和显示。

图10到18示出在显示面板6上显示的组合工作图像70的示例。

在回放开始时，首先，显示图10所示的组合工作图像70。图10所示的组合工作图像70包括图像显示区域71和72、时间轴线(timeline)73、以及回放位置标记74。

图像显示区域71用于回放图像的显示等。

图像显示区域72用于组合图像的预览显示等。

时间轴线73表示多个时间上连续的帧的组合用图像数据的时间宽度。

回放位置标记74表示时间轴线73上的当前回放位置。

在回放开始时，首先，如图10所示，组合用图像数据中的各图像在图像显示区域71内以电影方式、从时间上的第一图像开始顺序回放和显示。例如，如果假设组合用图像数据包括图像数据元素#0，#1，#2，...，#n，则CPU 31在图像显示区域71中从图像数据元素#0开始、顺序显示与图像数据元素#1，#2，#3，...对应的图像，使得图像数据元素序列#0到#n可以以电影方式表示。随着回放的进展，回放位置标记74沿时间轴线73移动到左边。

用户在观看回放图像的同时在某个时间处指定组合开始位置。例如，用户可以通过按下快门操作键指定组合开始位置。

在步骤F201中开始回放和显示之后，在步骤F202，CPU 31根据用户执行的用于指定组合开始位置的操作，设置组合开始位置。

例如，如图11所示，在回放过程中的时间点，用户指定组合开始位置。然后，与在该时间点的回放图像对应的图像数据元素#x被设置为处于组合开始位置的图像(以下称为“组合开始图像”)。还显示组合开始标记75。

在图像显示区域71中连续执行图像的回放和显示。

在设置组合开始位置后，CPU 31继续步骤F203和F204的处理，直到在步骤F205检测到设置组合结束位置的操作。

在步骤F203的预览图像组合是对组合开始图像直到当前正在图像显示区域71中回放的图像进行组合的处理。

步骤F204的预览图像显示是将图像显示区域72中的组合图像显示为预览的处理。

具体地，组合从组合开始图像到当前正回放的帧的所有图像，并且将结果产生的组合图像以图12所示的方式作为预览显示在图像显示区域72中。

因为回放仍在进行中，所以随着回放的进行，组合范围的大小增加一帧。具体地，每当回放回放图像时，将对应的像素的值相加，并且结果产生的和除以所回放的回放图像的数量。执行这样的组合以产生预览图像。因此，获得与使用长时间曝光捕获的图像类似的未加权的图像，并且将其作为预览图像显示。

在图像数据元素序列#0到#n表示被摄体正从右运动到左的图像的情况下，如图12所示，根据图像显示区域71中的回放的进行，在图像显示区域72中显示被摄体正从右运动到左的长时间曝光图像，作为通过对从组合开始图像直到当前图像进行组合获得的组合图像。

用户在观看回放和预览图像的同时指定组合结束位置。

用户可以通过例如按下用于指定组合开始位置的快门操作键然后释放快门操作键来设置组合结束位置。

在按下快门操作键之后，CPU 31重复步骤F203和F204的处理。当释放快门操作键时，此时获得的回放图像被设置为组合结束位置处的图像(以下称为“组合结束图像”)。然后，如图12所示，显示指示组合结束位置的组合结束标记76。此后，CPU 31从步骤F205进行到步骤F206。

设置组合开始位置/组合结束位置的操作可通过但不限于按下快门操作键来执行。例如，可按下快门操作键一次以设置组合开始位置，并且可再次按下快门操作键以设置组合结束位置。

替代地，可从第一帧到最后一帧预先选择连续帧的组合用图像数据，或可通过用户操作设置组合开始位置，并且当用于预览图像或图像组合的缓冲存储器的容量变满时设置组合结束位置。

预览图像的生成和显示可在于步骤F207中执行以下将描述的最终图像组合处理之前用简单的设置(如加权设置)执行，或可用足以允许用户预先确认设置的效果的图像大小简单地执行。

当在直到步骤F205的处理中设置组合开始位置和组合结束位置时，CPU31进行到步骤F206，并且执行调整处理。图9示出调整处理的细节。

首先，在步骤F220，CPU 31在组合工作图像70中显示选择图像列表和权重条。

如图13所示，从组合开始图像到组合结束图像的组合范围内的各图像以选择图像列表视图显示在时间轴线73中。

例如，在该示例中，作为示例，图像数据元素#5用作组合开始图像，并且图像数据元素#11用作组合结束图像。图像数据元素#5，#6，#7，...，#11以选择图像列表视图显示在时间轴线73中。

实践中，尽管可能没有在时间轴线73中显示组合范围内的所有图像，但是选择图像列表自动调整大小以便被显示在时间轴线73中。关于可视性，例如，选择图像列表可以向左右滚动以示出各图像，从而避免尺寸上的过度减少。替代地，还可以在选择图像列表中一侧接一侧地显示要选择的图像的之前和之后的帧，使得用户可以在调整操作中容易地检查选择的帧。

当显示权重条时，显示分别与图像数据元素#5，#6，#7，...，#11对应的权重条w5，w6，w7，...，w11。例如，每个权重条具有表示加权系数的高度。

在步骤F220的初始状态下，不对特定图像数据元素分配权重。换句话说，各个图像数据元素相等地加权。

在本实施例中，在连续描述中，权重条适于表示加权系数。表示分配到每个图像数据元素的加权系数的图像不限于权重条。例如，可显示指示加权系数的任何其他形状(如圆形)或数值。

替代地，可以不必显示仅表示加权系数的独立图像。例如，可使用如根据加权系数改变与在选择图像列表中显示的图像数据元素#5，#6，#7，...，#11对应的图像的亮度级的技术，实现表示分配到每个图像数据的加权系数的图像。

在图9所示的处理中，CPU 31在步骤F221、F222和F223监视用户操作。

在图13所示的组合工作图像70中，用户可以执行改变图像数据元素的加权系数的操作、改变组合范围的操作、或任何其他适当的操作。

例如，用户可以执行如下操作：对图2B中所示的十字键5i执行左右操作以便选择选择图像列表中的期望图像的图像数据，然后对十字键5i执行上下操作以便改变所选择的图像数据的加权系数。

当用户执行选择某个图像并改变对应的加权系数的操作时，CPU 31从步骤F221进行到步骤F224。

在根据操作的显示处理中，CPU 31改变与所选择的图像数据元素#(x)对应的权重条w(x)的高度。

CPU 31还改变为选择的图像数据元素#(x)设置的加权系数。

CPU 31除了反映改变的加权系数外，还执行利用组合范围内的图像数据元素的加权平均的组合处理以产生预览图像，并且将预览图像显示在图像显示区域72中。

例如，用户执行选择在图13所示的状态下的图像数据元素#5并且增加对应加权系数的操作。然后，CPU 31执行步骤F224的处理，以便以图14所示方式增加权重条w5，将针对图像数据元素#5设置的加权系数改变到高的值，并且对组合范围内的图像数据元素(#5到#11)执行组合处理，以产生预览图像，该预览图像然后显示在图像显示区域72中。

用户还执行选择剩余图像数据元素#6到#11并且减少对应加权系数的操作。然后，CPU 31根据各个操作执行步骤F224的处理，以便以图14所示方式减少权重条w6到w11的高度，从而将针对图像数据元素#6到#11设置的加权系数改变为低的值，此后对组合范围内的图像数据元素(#5到#11)执行组合处理，以产生预览图像，该预览图像然后显示在图像显示区域72中。

当用户对图像数据元素#5到#11执行上述加权系数操作时，执行组合使得组合范围内的时间上的第一图像数据元素#5比剩余的图像数据元素#6到#11用更高的权重突出。如图14所示的预览图像所示，获得具有所谓先幕同步效果的组合图像。

先幕同步效果是其中通过仅在长时间曝光的开始激发闪光而提供时间上最初状态的清晰表示的图像捕获技术。在本实施例中，通过对组合范围中的连续帧的图像数据进行组合、使得对第一帧的图像数据分配高加权系数并且对随后剩余帧的图像数据分配低加权系数，获得先幕同步效果。

加权系数可以以例如8位(256级)的变化来改变，以便实现精细的调整。对于用户的更简单操作而言，可使用两级(即，亮和暗)或三级(即，上、中和下)。可在各级中添加权重为零的系数设置。

可以设置加权系数使得可以按期望调整曝光量或图像的亮度而不需要移除在连续图像捕获期间的不期望的图像(如当捕获夜景的拍摄者的环境被经过的车辆的前灯照亮时获得的图像)。在本实施例中，在上述组合准备处理中预先校正不适于组合的这样的图像。例如，可通过用户手动执行加权系数的调整。

在用户操作中，可改变由组合开始标记75和组合结束标记76定义的组合范围。

例如，当选择组合开始位置处的图像数据元素(#5)时，用户可以在按下特定键时对十字键5i执行左右操作，以将组合开始位置移到图像数据的时间上在前或在后的帧。类似地，当选择组合结束位置处的图像数据元素(#11)时，用户可以在按下特定键时对十字键5i执行左右操作，以将组合结束位置移到图像数据的时间上在前或在后的帧。

替代地，可执行用户操作以将组合开始标记75或组合结束标记76沿时间轴线73直接移到左边和右边。

当用户执行改变组合范围的操作时，CPU 31将处理从步骤F222前进到步骤F225。然后，CPU 31根据操作改变用于组合的目标的图像范围，执行在新组合范围内的图像数据元素的组合处理以生成预览图像，并且在图像显示区域72中显示预览图像。

例如，假设用户在图14所示的状态下执行将组合结束图像改变到图像数据元素#7的操作。然后，CPU 31执行步骤F225的处理，以便以图15所示的方式执行新组合范围内的图像数据元素(#5到#7)的组合处理，并且在图像显示区域72中显示预览图像。移动组合结束标记76以便指定图像数据元素#7。

在此情况下，如可以从图14和15所示的预览图像之间的比较看到的，在图15中，由于缩短的组合范围，实现了具有在先幕同步中减少的曝光时间的图像效果。

如上所述，用户对组合工作图像70执行各种操作，从而通过CPU 31执行的步骤F224和F225的处理相应地将各种组合图像显示为预览。

图16、17和18示出其他示例。

图16示出当例如用户执行在图13所示的状态下选择图像数据元素#11并且增加对应的加权系数的操作、还执行分别选择剩余的图像数据元素#5到#10并减小对应的加权系数的操作时获得的组合工作图像70的示例。

CPU 31根据对于图像数据元素#5到#11的各个加权系数操作执行步骤F224的处理。

在此情况下，执行组合使得在组合范围中时间上最后的图像数据元素#11通过比剩余图像数据元素#5到#10更高的权重而突出(highlight)。如图16所示的预览图像指示的，获得具有所谓后幕同步效果的组合图像。

后幕同步效果是其中通过仅在长时间曝光的结束激发闪光而提供时间上最后的状态的清晰表示的图像捕获技术。在本实施例中，通过将组合范围内的连续帧的图像数据进行组合、使得为最后帧的图像数据分配高加权系数而为剩余帧的图像数据分配低加权系数而获得后幕同步效果。

图17示出当用户在图16所示的状态下执行改变组合范围的操作时获得的组合工作图像70的示例。当用户执行将组合范围改变到图像数据元素#9到#11的范围的操作时，CPU 31执行步骤F225的处理，以执行新组合范围中的图像数据元素的组合处理，从而生成预览图像，该预览图像然后在图像显示区域72中显示。

在此情况下，如可以从图16和17所示的预览图像之间的比较看到的，在图17中，由于缩短的组合范围，实现了具有在后幕同步中减少的曝光时间的图像效果。

图18示出当例如用户执行在图13所示的状态下增加图像数据元素#5、#8和#11的加权系数、并且减小剩余图像数据元素#6、#7、#9和#10的加权系数的操作时获得的组合工作图像70的示例。

CPU 31根据对于图像数据元素#5到#11的各个加权系数操作执行步骤F224的处理。

在此情况下，执行组合使得周期性地突出组合范围内的图像。如由图18的预览图像所示的，获得具有所谓多闪光效果的组合图像。

多闪光效果是其中通过在长时间曝光期间周期性激发闪光而提供被摄体的状态的清晰表示的图像捕获技术。在本实施例中，通过将组合范围内的连续帧的图像数据组合使得为图像数据周期性地分配高和低加权系数来获得多闪光效果。

如上所述的示例性图示中，用户可以对组合工作图像70执行期望操作，以尝试各种组合图像的生成并且可以将它们确认为预览图像。即，用户可以通过尝试多个图像效果的视觉观测来容易地生成期望的图像。

当获得令人满意的组合图像作为预览图像时，用户可执行调整终止处理。用户可通过例如按下十字键5i的中心处的设置键执行调整终止操作。

当检测到调整终止操作时，CPU 31结束在图9中示出的、从步骤F223开始的处理，并且进行到图8所示的步骤F207。

在步骤F207，CPU 31执行最终组合处理。具体地，CPU 31使用在调整处理结束时获得的组合范围内的图像数据元素和为所述图像数据元素设置的加权系数执行组合。在此情况下，组合范围内的每个帧的图像数据的像素值乘以设置的加权系数。然后，将各个帧的图像数据的像素值相加，并且将结果产生的和除以帧的数量。即，执行加权平均处理。

注意到，在加法或除法处理中可以应用曝光校正，使得要生成的组合图像可具有指定的亮度。替代地，在计算后获得的组合图像数据可以被校正。

在利用上述图8中所示的处理执行图4所示的步骤ST3中的组合处理之后，在步骤ST4，CPU 31执行组合图像记录处理。具体地，CPU 31执行控制使得以上述方式生成的组合图像数据通过媒体接口10记录到记录介质90上。

因此结束组合模式下的一系列处理。

上述组合模式下的操作可实现下述优点：

首先，由于在捕获图像后使用所述图像执行的图像组合甚至无经验的拍摄者也可以容易地实现与使用长时间曝光图像捕获获得的效果相当的效果，这在现有技术中是困难的，这是因为需要利用拍摄者的经验和直觉确定曝光时间/快门定时等。此外，可以进行许多尝试或重试，直到获得令人满意的图像效果。

此外，由于要在图像捕获后组合的图像数据元素的加权系数可以按期望设置，所以可以容易地实现如先幕同步、后幕同步和多闪光效果的图像效果，而这在现有技术中不使用闪光是难以实现的。

此外，甚至在被摄体运动的图像条件下(如，旨在提供被摄体的运动的表现或聚焦到运动被摄体当中的静止被摄体的图像捕获条件)也可以实现满意的图像。

4-3：使用改变前后的显示图像的示例性调整处理

在上述示例性组合处理中，在图像显示区域72中显示当用户在工作图像70中改变组合加权系数等时获得的组合图像的预览图像。优选地，就在改变加权系数等之前获得的组合图像(之前的预览图像)也同时显示，以允许用户同时观看改变操作前后获得的组合图像。

因此，在图8所示的步骤F206中执行的调整处理可以以图19所示的方式、而不是利用图9所示的示例来执行。

图19示出由CPU 31执行的示例性调整处理。在图19中，与图9的处理步骤相同或相似的处理步骤被分配相同的标号，并且省略其描述。

图19与图9的不同在于，当用户执行改变加权系数的操作时执行的步骤F224的处理、以及当用户执行改变组合范围的操作时执行的步骤F225A的处理。

当用户执行改变加权系数的操作时，在步骤F224A，CPU 31改变与正选择的图像数据元素#(x)对应的权重条w(x)的高度。CPU 31还改变为正选择的图像数据元素#(x)设置的加权系数。CPU 31除了反映改变的加权系数外，还执行使用组合范围内的图像数据元素的加权平均以生成预览图像的组合处理，并且在图像显示区域72中显示预览图像。

CPU 31还在图像显示区域71中显示之前的组合图像，所述之前的组合图像曾经作为预览图像就在该处理之前显示在图像显示区域72中。

具体地，作为之前的预览图像显示的组合图像不被丢弃而是被存储，并且如图20所示，与作为当前预览图像获得的组合图像一起，分别在图像显示区域71和72中并排显示。

图20示出当例如用户执行增加图像数据元素#11的加权系数的操作时获得的组合工作图像70。在此情况下，将当前组合图像(具有后幕同步效果的图像)作为在加权改变之后获得的预览图像显示在图像显示区域72中，并且将之前的组合图像(移除了后幕同步效果的图像)显示在图像显示区域71中。

在改变加权系数前后获得的组合图像以图20所示的方式同时显示，因此允许用户容易地检查改变的加权系数的适当性。

此外，当用户执行改变组合范围的操作时，在步骤F225A，CPU 31根据操作改变要组合的图像范围，执行对新的组合范围中的图像数据元素的组合处理以便生成新预览图像，并且在图像显示区域72中显示预览图像。之前的组合图像还显示在图像显示区域71中，所述之前的组合图像曾经作为预览图像就在该处理之前显示在图像显示区域72中。

同样，在此情况下，用户可以比较原始的和改变的组合范围。

例如，以此方式，当选择要组合的图像范围或指定权重时通过比较来检查组合前后获得的图像。这对于用户尝试实现各种图像效果是有用的。

例如，当用户比较两个图像并且确定原始图像更好时，可以执行取消当前图像组合并且恢复原始组合状态的操作。

此外，可以允许用户按期望选择如图19所示的用于并排显示组合前后获得的图像的处理、或上述图9所示的处理。

5.基于模板的处理

在上述组合处理中，用户可以通过按期望执行改变各图像数据元素的加权系数的操作，创建具有如先幕同步效果、后幕同步效果、或多闪光效果的图像效果的组合图像。一些用户可能不能确定为获得期望图像效果的权重值。即使能够确定权重值的用户也可能感觉一个接一个选择图像数据元素并且改变加权系数的操作是耗时的。

因此，可以使用下述操作技术，其中准备其每个具有用于实现预定图像效果的加权系数模式的系数模板，使得用户可以选择系数模板之一。

在下面的描述中，假设准备了对于长时间曝光效果、先幕同步效果、后幕同步效果、以及多闪光效果的四个系数模板。

例如，将与长时间曝光效果、先幕同步效果、后幕同步效果、以及多闪光效果对应的加权系数模式(weighting coefficient pattern)作为系数模板存储在闪存ROM 33中。例如，先幕同步效果的系数模板表示其中为第一图像分配高权重、而为随后的图像分配低权重的加权系数模式。CPU 31的模板管理单元57管理这样的系数模板。

CPU 31以图22所示的方式、而不是使用图9所示的示例执行图8所示的步骤F206的调整处理。

在图8所示的步骤F206中，CPU 31执行图22所示的处理。首先，在步骤F301，CPU 31(模板管理单元57和显示控制单元56)在显示面板6上显示用于选择效果的系数模板。

图21示出显示的示例。显示与长时间曝光效果、先幕同步效果、后幕同步效果、以及多闪光效果的四个系数模板对应的图像。

此时，显示其每个指示使用对应系数模板获得的图像效果的效果建模图像。如图21所示，将具有长时间曝光效果的图像、具有先幕同步效果的图像、具有后幕同步效果的图像、以及具有多闪光效果的图像用作效果建模图像，因此允许用户识别图像效果的细节。这对于不熟悉各种图像效果的用户特别适用。

用于从系数模板进行选择的图像可以被显示为其每个具有表示一个系数模板的图像数据的预设效果建模图像的列表。

替代地，文本术语“长时间曝光效果”、“先幕同步效果”、“后幕同步效果”、以及“多闪光效果”可以呈现在菜单中，而不显示效果建模图像，并且可以选择其中之一。

响应于如图21所示的显示，例如，用户操作十字键5i以选择期望的效果建模图像，并且执行确定处理以选择一个系数模板。

根据用户的选择和确定操作，CPU 31将处理从步骤F302前进到步骤F303。在此情况下，CPU 31的模板管理单元57将选择的系数模板的加权系数模式应用到组合处理单元53，并且组合处理单元53将加权系数模式应用到组合范围内的各个图像。

如上所述，如图22所示，当如参照直到图12所述的，用户确定组合范围(组合开始位置和组合结束位置)时，即，当组合工作图像70从图12所示的状态改变到图13所示的状态时，CPU 31进行到图8所示的步骤F206中的调整处理。

当在显示选择图像列表和权重条的同时用户选择系数模板时，如图13所示，CPU 31的组合处理单元53将模板的加权系数模式应用为与图像数据元素对应的加权系数，并且将使用应用了加权系数的加权平均获得的组合图像显示为预览图像。

图22所示的步骤F220到F223的处理之后的处理与图9所示的处理类似，并且省略其冗余的描述。

以此方式，用户选择系数模板，从而最初实现期望图像效果的预览图像，而无需调整组合范围内的图像数据元素的加权系数。因此可以极大改进了用户操作的容易度或操作效率。

此外，即使不熟悉如先幕同步效果的效果的细节的用户也可以通过选择系数模板来实现各种图像效果。

在图22的步骤F220之后的处理中，与图9类似，可以依赖于图像数据元素按期望各个改变加权系数，或可以按期望改变组合范围。因此，用户可以基于通过选择系数模板获得的组合图像创建具有更大原创性的组合图像。

在选择系数模板后，可调整通过系数模板指定的系数模式。

例如，关于多闪光效果的加权系数模式，在选择模板后，可以调整发光间隔(权重高的帧的间隔)。该调整操作可通过将对应功能增加到一个操作按钮或通过从菜单选择对应的项目而实现。替代地，发光间隔(权重高的帧的间隔)可通过执行如在按下快门释放按钮的同时按下左右按钮的操作来按期望设置。

此外，可以准备适于如高尔夫挥杆检查的特定使用的系数模板。

还可以在除了组合处理以外的处理中(如在相机模式的图像捕获期间)选择系数模板。

例如，当在相机模式下选择图像捕获模式时，如图23所示的模式选择屏幕显示在显示面板6上。

在此情况下，除了如图4所示的自动模式图像捕获、肖像模式图像捕获、日落场景模式图像捕获、以及宏模式图像捕获的普通图像捕获模式外，还可选择如长时间曝光效果、先幕同步效果、后幕同步效果、以及多闪光效果的效果。

当选择长时间曝光效果、先幕同步效果、后幕同步效果、以及多闪光效果之一时，在图5所示的步骤F15中，在组合模式图像捕获中捕获多个帧的图像。在图像捕获期间，使用要记录的图像数据组的元数据等记录关于所选择效果的信息。

然后，此后，如当在图8所示的组合处理的步骤F203执行预览图像组合时、或当CPU 31进行到步骤F206时，可以使用所选择图像效果的系数模板执行加权组合。

例如，当用户希望在图像捕获期间实现先幕同步效果时，在图像捕获期间预先选择用于先幕同步效果的系数模板，从而使用先幕同步效果的加权系数模式执行预览图像组合。因此，可以改进组合效率。

此外，在于图像捕获阶段以此方式选择先幕同步效果、后幕同步效果、以及多闪光效果的情况下，CPU 31可以参照系数模板的加权系数模式来设置定时，并且可以在图5所示的步骤F15的连续帧图像捕获期间，在设置的定时处实际执行闪光发射控制。

6.固定帧率的图像捕获操作

在如数字摄像机或数字照相机的图像捕获装置中，控制进入图像捕获元件的入射光通量和电荷累积时段以调整曝光时间。

例如，在摄像机中，通常按照帧率以恒定曝光时段连续拍摄图像。然而，可使用电子快门捕获高亮度被摄体，所述电子快门提供比由帧率限定的曝光时间(例如，对于60帧/秒(fps)，大约为1/60秒)更短的曝光时间(例如，1/250秒)。

在此情况下，在与通过从由帧率限定的曝光时间中减去电子快门的实际曝光时间获得的时间相等的时间内不执行记录。这可能导致包括锯齿(jaggy)的运动图像。为了防止这样的运动图像的产生，通常使用曝光控制。然而，除非运动图像看起来“有锯齿”，否则通常在比由帧率限定的曝光时间短的电荷累积时间使用电子快门执行图像捕获。

这里，将考虑本实施例的图像捕获装置1中的图像数据的连续帧的捕获作为组合模式图像捕获。

图24B和24D示出在图像捕获期间以固定帧率对连续帧进行捕获，其中一帧的时段为FR。

图24B示出在帧时段FR中不使用电子快门功能、并且图像捕获元件的曝光时段为R1的情况，其中R1基本等于FR。即，在除了由曝光导致的电荷传输所需的最小时段以外的帧时段内连续曝光图像捕获元素。在下面的描述中，为了描述的简化，忽略由于电荷传输而导致图像捕获元件没有曝光的小量时段。

图24D示出当由于被摄体亮度的增加需要减少曝光量时、使用电子快门功能执行自动曝光调整的情况。在此情况下，帧时段FR内的曝光时间被缩短，如R2所示。阴影所指示的时段是不执行曝光的时段。

图24A和24C示出当例如使用上述组合处理执行如图24B和24D所示的连续帧捕获时获得的组合图像的示例。当通过为多个帧的图像数据分配相等的加权系数实现长时间曝光效果时获得图24A和24C所示的组合图像。

基于如图24B所示的不使用电子快门功能而捕获的图像数据的组合图像导致如图24A所示的平滑长时间曝光效果图像。

另一方面，基于如图24D所示的使用电子快门功能捕获的图像数据的组合图像导致如图24C所示的非平滑长时间曝光效果图像。

这是因为对于由阴影所示的非曝光时段没有获得关于被摄体图像的信息。

这里，将参照图25A到25D描述在如图24D所示使用电子快门功能执行自动曝光调整的情况下的曝光控制操作。

图像捕获装置1可以使用光圈/ND滤光镜机构22中的光圈机构和/或ND滤光镜机构、通过使用定时发生电路28控制图像捕获元件单元23的操作执行的电子快门功能、或要由模拟信号处理单元24应用到由图像捕获元件单元23获得的图像捕获信号的可变增益来执行曝光调整。

在图25A和25B中，横坐标表示被摄体亮度信号。图25A示出在图像捕获期间由帧率限定的一帧FR的时段。在此情况下，帧时段FR被设置为1/60秒，这是固定的而无论被摄体亮度级如何。

图25B示出电子快门SH(具有帧时段的曝光时间或“帧内曝光时间”)和增益级别G。图25D示意性示出光圈机构和ND滤光镜机构的操作状态。

图25C示出对应于被摄体亮度级的变化的曝光控制方法。

在具有最低被摄体亮度级的区域(区域A)，使用光圈机构执行曝光调整。具体地，通过改变光圈机构的开口量来调整入射光量。

在难以仅使用光圈机构调整入射光量的区域B，使用光圈机构和ND滤光镜机构两者。具体地，通过改变光圈机构的开口量和进入ND滤光镜机构的入射光通量来调整入射光量。

在具有过高被摄体亮度级以至于不能仅使用光圈机构和ND滤光镜机构来调整入射光量的区域C，使用电子快门功能。例如，使用电子快门功能执行控制，使得随着被摄体亮度级增加，初始设置为1/60秒的帧内曝光时间SH减少。例如，控制帧内曝光时间SH以便减小到1/500秒。

区域D是具有极高被摄体亮度级的亮度区域，其中即使使用电子快门功能也难以执行曝光调整。在区域D，改变增益级别G。

当固定帧率时，例如，图像捕获装置1可执行如上所述的曝光调整控制。然后，当被摄体亮度级在区域C中时使用电子快门功能。在此状态下，执行图像捕获，从而导致如上所述的图24C和24D所示的情况。因此，获得具有长时间曝光效果的非平滑的组合图像。

因此，本实施例的图像捕获装置被配置为在至少要执行组合模式图像捕获的情况下(即，在要执行图5所示的步骤F15中的连续帧捕获的情况下)执行如图26A到26D所示的曝光调整控制。

如图25A、25B、25C和25D中一样，图26A、26B、26C和26D示出帧时段FR(设置为1/60秒)、增益级别G、由电子快门限定的曝光时间SH、曝光控制方法、以及光圈机构和ND滤光镜机构的操作状态，其中横坐标轴表示被摄体亮度级。

在具有最低被摄体亮度级的区域A，使用光圈机构执行曝光调整。具体地，通过改变光圈机构的开口量来调整入射光量。

在难以仅使用光圈机构调整入射光量的区域B，使用光圈机构和ND滤光镜机构两者。具体地，通过改变光圈机构的开口量和进入ND滤光镜机构的入射光通量来调整入射光量。

在具有过高被摄体亮度级以至于不能仅使用光圈机构和ND滤光镜机构来执行调整的区域C，通过可变控制增益级别G来执行调整，而不使用电子快门。

由于增益调整可能引起电子噪声，从而导致缺乏梯度或精细度的捕获的图像，因此期望地，增益调整涉及如设置限度或执行噪声减少处理的方法。

仅在具有不能通过将增益级别改变到限度来处理的极高被摄体亮度级的区域D，才使用电子快门功能执行曝光调整。

为了执行如上所述的曝光调整，在上述图5所示的步骤F15中的图像捕获处理中，CPU 31(图像捕获控制单元51)执行图27所示的曝光调整处理。在连续捕获各帧的时间段期间继续执行图27所示的处理。

在步骤F301，CPU 31确定被摄体亮度级。例如，CPU 31获得关于当前正捕获并在相机DSP 4中处理的帧的曝光量信息(如，平均亮度信息)，所述曝光量信息由图像信号处理单元41计算，并且将其与关于之前帧的曝光量信息比较，以确定被摄体亮度级增加还是减少。

如果确定被摄体亮度级没有出现变化，则CPU 31返回到步骤F301至步骤F302和F306，并且确定下一帧的被摄体亮度级。

如果确定被摄体亮度级增加，则CPU 31从步骤F302进行到步骤F303，并且确定当前区域的曝光调整方法是否已经达到其控制限度。具体地，检查被摄体光强的当前增加是否对应于图26C所示的从区域A到区域B、从区域B到区域C、以及从区域C到区域D的增加之一。

如果当前区域的曝光调整方法还没有达到其控制限度，则CPU 31进行到步骤F310，并且使用当前曝光调整方法处理被摄体亮度级的增加。

具体地，如果当前区域是区域A，则减少光圈机构的开口量。如果当前区域是区域B，则使用光圈机构和ND滤光镜机构的组合减少入射光量。如果当前区域是区域C，则执行控制使得减少增益级别。如果当前区域是区域D，则执行控制使得利用电子快门功能缩短帧内曝光时间。

如果当前区域的曝光调整方法已经达到其控制限度，则处理在步骤F304和F305分支。

具体地，如果被摄体亮度级增加，其中从区域A转变到区域B，则CPU31进行到步骤F311。然后，CPU 31从仅使用光圈机构的曝光调整切换到使用光圈机构和ND滤光镜机构两者的曝光调整，并且执行控制以处理被摄体亮度级的增加。

如果被摄体亮度级增加，其中从区域B转变到区域C，则CPU 31进行到步骤F312。然后，CPU 31从使用光圈机构和ND滤光镜机构两者的曝光调整切换到使用可变增益级别的曝光调整，并且执行控制以处理被摄体亮度级的增加。

如果被摄体亮度级增加，其中从区域C转变到区域D，则CPU 31进行到步骤F313。然后，CPU 31从使用可变增益级别的曝光调整切换到使用电子快门功能的曝光调整，并且执行控制以处理被摄体亮度级的增加。

如果作为在步骤F301的确定结果被摄体亮度级减小，则CPU 31从步骤F302进行到步骤F306，并且确定当前区域的曝光调整方法是否达到其控制限度。具体地，检查被摄体光强的当前减小是否对应于图26C所示的从区域B到区域A、从区域C到区域B、以及从区域D到区域C的减小之一。

如果当前区域的曝光调整方法还没有达到其控制限度，则CPU 31进行到步骤F310，并且使用当前曝光调整方法处理被摄体亮度级的减小。

具体地，如果当前区域是区域A，则增加光圈机构的开口量。如果当前区域是区域B，则使用光圈机构和ND滤光镜机构的组合增加入射光量。如果当前区域是区域C，则执行控制使得增加增益级别。如果当前区域是区域D，则执行控制使得利用电子快门功能增加帧内曝光时间。

如果当前区域的曝光调整方法已经达到其控制限度，则处理在步骤F308和F309分支。

具体地，如果被摄体亮度级减小，其中从区域C转变到区域B，则CPU31进行到步骤F311。然后，CPU 31从使用可变增益级别的曝光调整切换到使用光圈机构和ND滤光镜机构两者的曝光调整，并且执行控制以处理被摄体亮度级的减小。

如果被摄体亮度级减小，其中从区域D转变到区域C，则CPU31进行到步骤F312。然后，CPU 31从使用电子快门功能的曝光调整切换到使用可变增益级别的曝光调整，并且执行控制以处理被摄体亮度级的减小。

如果被摄体亮度级减小，其中从区域B转变到区域A，则CPU 31进行到步骤F314。然后，CPU 31从使用光圈机构和ND滤光镜机构两者的曝光调整切换到仅使用光圈机构的曝光调整，并且执行控制以处理被摄体亮度级的减小。

CPU 31执行这样的处理以执行图26A到26D所示的曝光调整。

具体地，CPU 31使得图像捕获系统2以固定帧率捕获在时间上具有连续性的图像数据的多个帧，并且通过优先于电子快门功能执行利用曝光调整功能(光圈机构、ND滤光镜机构、以及增益级别控制)的曝光调整控制，来执行按照捕获期间的被摄体亮度级的曝光调整控制。

这种曝光调整控制在图5所述的步骤F15的图像捕获处理中执行，即，尽可能地不使用电子快门功能。因此，在多数情况下实现如图24B所示的图像捕获操作。

根据随后的组合处理，如图24A所示，可以获得可与使用长时间曝光实际捕获的图像相比的平滑图像。具体地，在捕获运动被摄体的图像的情况下，可以获得平滑的长时间曝光图像。

该操作特别基于固定帧率的图像捕获的假设而执行，其适于组合模式图像捕获和运动图像的捕获的组合的情况。

在例如从作为捕获结果记录的运动图像数据中提取多个帧并且将其用于组合处理的情况下，可以执行上述曝光调整操作以获得满足以固定帧率捕获的适当运动图像数据和适于组合处理的图像数据的两个条件的图像数据。

尽管在区域D中使用电子快门功能，但是区域D是在通常情况下很少出现的高亮度区域，并且在多数情况下将不使用电子快门功能。因此，作为组合的结果获得平滑的组合图像。

然而，如果在步骤F15中的组合模式图像捕获中执行连续帧捕获，则可以禁止电子快门功能的使用。即，在图26C所示的区域D中，可以不再执行曝光调整，或者可以进一步减小增益级以执行调整。

在步骤F16以及步骤F15的图像捕获中也可以执行上述曝光调整控制，或在步骤F16中可执行图25A到25D所示的曝光调整控制。

尽管在图26和27中使用除了电子快门功能以外的三个曝光调整因素(光圈机构、ND滤光镜机构、以及可变增益)，但是不一定使用所有三个因素。例如，可以不使用ND滤光镜机构。

在固定帧率的图像捕获中，还可以执行下述示例性图像捕获操作。

可通过使用电子快门功能、在由固定帧率限定的曝光时段内连续执行分开(divisional)的曝光、并且组合通过分开的曝光获得的多个帧的图像数据来产生一帧的图像数据，来以固定帧率捕获时间上具有连续性的图像数据的多个帧。

现在将参照图28A到29C来描述该操作。

如上所述，不使用电子快门情况下的曝光调整控制可能引起在如CCD元件的图像捕获元件中的电荷累积超过其限度，导致饱和。

在此情况下，以电荷溢出的方式出现电荷的饱和，并且可以形成处于“全白(whiteout)条件”下的过曝光图像。因此，将不能获得满意的图像。

因此难以将这样的电荷溢出的图像返回到原始状态从而获得满意的组合图像。

在此情况下，例如，可使用电子快门功能执行图像捕获，使得在如CCD元件的图像捕获元件中累积的电荷可以不超过限度(可以不出现饱和)。

然而，如果以通常方式使用电子快门功能，则可能获得如图28A和28B所示的以不连续曝光时间捕获的组合图像。例如，如图28B所示，在一帧FR1的时段中存在曝光时段R3和非曝光时段(阴影部分)。由于缺少关于非曝光时段中的被摄体的信息，所以可能获得如图28A所示的非平滑的组合图像(这类似于上述图24C和24C所示的情况)。

因此，如图28D所示，在特定帧率的帧时段FR1中，例如，以由曝光时段R4指示的方式执行分开曝光，使得可以不出现非曝光时段。

在此情况下，在图像捕获元件23中，例如，在每个曝光时段R4(把帧时段FRI划分成三个曝光时段R4)传送电荷，并且结果产生的捕获图像数据存储在例如相机DSP 4中。在图像捕获元件单元23中，在电荷的传送后立刻恢复曝光，并且以类似方式执行曝光时段R4的曝光。

然后，其每个对应于曝光时段R4的三个捕获的图像数据元素在相机DSP4中组合，以产生一帧的图像数据。

利用该操作，获得固定帧率的每个帧(#1，#2，...，)的捕获图像数据。此外，可以获得在图像捕获元件单元23中移除了饱和并且不存在由非曝光时段引起的信息缺乏的捕获的图像数据。

因此，当在组合处理中使用多个帧(#1，#2，...)的图像数据时，可以获得如图28C所示的平滑长时间效果图像。

在该操作中，可以以各种方式设置分开的曝光时段。每个帧时段FR1可被均等或不均等地划分。实践中，可考虑到固定帧率、在图像捕获期间获得的被摄体亮度级、图像捕获元件单元23中的电荷的饱和时间等来执行适应性控制。

例如，在相机DSP4将使用分开曝光获得的多个捕获的图像数据元素组合以生成一帧图像数据的情况下，期望根据分开的曝光时间执行加权组合。

图29A示出每个曝光时段R4中的分开曝光，其中将一帧的时段FR1相等地分为三个部分。

在此情况下，如图29A所示，形成一帧的三个捕获的图像数据元素以相同权重(1倍)组合，以生成各个帧(#0，#1，#2，...)的捕获图像数据。

图29B示出在曝光时段R5、R6和R7中的分开曝光的示例，其中一帧的时段FR1被不等地分为三个部分。如果时段R5、R6和R7具有3:2:1的比率，则执行组合使得将权重1/3应用到在曝光时段R5中获得的图像数据元素，将权重2/3应用到在曝光时段R6中获得的图像数据元素，并且将权重1应用到在曝光时段R7中获得的图像数据元素。

图29C示出在曝光时段R8和R9中的分开曝光的示例，其中一帧时段FR1被部分不等地分为三个部分，如果时段R8和R9具有比率3:1，则执行组合使得将权重1/3应用到在曝光时段R8中获得的两个图像数据元素，并且将权重1应用到在曝光时段R9中获得的图像数据元素。

7.可变帧率的图像捕获操作

现在将描述考虑可变帧率的示例性图像捕获操作。

例如，在图5所示的步骤F15的图像捕获中，如果根据被摄体亮度级使用电子快门功能进行自动曝光调整，则如上所述当使用通过图像捕获获得的图像数据的多个帧执行组合处理时获得非平滑的组合图像。图30A和30B示出以不连续曝光捕获的组合图像，其中例如一帧的时段是FR1，并且使用电子快门功能限定一帧内的曝光时段R3。当使用利用这种图像捕获获得的图像数据执行组合时，由于缺少如阴影指示的非曝光时段中的信息，因此获得如图30A所示的组合图像。

这里，假设在组合模式图像捕获下，不必使用固定帧率来获得在组合处理中使用的图像数据的多个连续帧。然后，图像捕获可以以图30D所示方式执行。具体地，不固定一帧的时段FR1，并且随着被摄体亮度级增加，一帧的时段缩短(即，可变帧率)，并且连续执行曝光一帧的时段。

在图30D中，改变帧率使得一帧的时段FR2可以等于曝光时段R3，并且基本实现与图30B所示的效果相等的曝光调整效果。然后，在图30D，由于在帧时段FR2中不存在非曝光时段，所以记录每帧的图像数据，而不缺少被摄体信息。通过这样的图像捕获获得的图像数据用于执行组合，得到如图30C所示的平滑的长时间曝光效果的组合图像。

具体地，CPU 31(图像捕获控制单元51)当使得图像捕获系统2在图5所示的步骤F15捕获在时间上具有连续性的图像数据的多个帧时，执行控制以根据在捕获期间被摄体亮度级的变化改变帧率。然后，通过图像捕获操作捕获的、在时间上具有连续性的图像数据的多个帧用作组合用图像数据以执行组合处理。因此，获得平滑的长时间曝光效果图像，作为生成作为静止图像的组合图像的结果。

图31A到31C示出在被摄体亮度级的变化和帧率之间的关系的示例。

现在假设，如图31A所示，被摄体亮度级从时间t0开始逐渐增加，并且在时间t1后变为基本恒定。在此情况下，通过以图31B所示的方式改变帧率以控制一帧的时段来执行自动曝光调整。具体地，对于被摄体亮度级逐渐增加的时间t0到时间t1的时段，执行曝光调整以便按FR1，FR2，FR3，...的顺序逐渐缩短一帧的时段。由于在一帧的时段内不存在非曝光时段，所以根据一帧时段的长度以R1，R2，R3，...的顺序缩短一帧曝光时段。

如果例如在时间t1后被摄体亮度级没有出现变化，则随后的时段可维持在帧时段FR8(曝光时段R8)。

图32A到32D示出在如上所述的可变帧率控制用于自动曝光调整的情况下的示例性操作。

在图32A、32B、32C和32D中，横坐标轴表示被摄体亮度级。图32A示出帧周期FR，图32B示出增益级别G，图32C示出曝光控制方法，并且图32D示出光圈机构和ND滤光镜机构的操作状态。

注意，没有示出电子快门功能，这是因为假设贯穿一个时段(除了电荷传送的短时段外)执行曝光，并且一帧的时段内的曝光时间不短于一帧的时间。

在具有最低被摄体亮度级的区域A中，利用光圈机构执行曝光调整。具体地，通过改变光圈机构的开口量调整入射光量。

在难以仅利用光圈机构调整入射光量的区域B中，使用光圈机构和ND滤光镜机构两者。具体地，通过改变光圈机构的开口量和进入ND滤光镜机构的入射光通量来调整入射光量。

在具有过高被摄体亮度级以至于不能仅利用光圈机构和ND滤光镜机构来执行调整的区域C中，通过可变地控制帧率来执行调整。具体地，随着被摄体亮度级增加而减少一帧的时段FR。例如，当被摄体亮度级低时将帧时段FR设置为1/60秒，并且随着被摄体亮度级增加，帧时段FR被控制为可变地减小到1/500秒。

仅在具有极高被摄体亮度级的区域D中，其中通过将帧时段FR改变为1/500秒也不能处理，才利用可变增益控制执行曝光调整。

为了执行如上所述的曝光调整，在上述图5所示的步骤F15中的图像捕获中，CPU 31(图像捕获控制单元51)执行图33所示的曝光调整处理。在连续捕获各帧的时段连续执行图33所示的处理。

步骤F301到F311和F314与上述图27中所示的步骤类似。执行步骤F320的处理以替代图27所示的F313，并且执行步骤F321的处理以替代图27所示的步骤F312。由于一部分特定处理步骤诸如步骤F310不同，因此将在下面描述所有处理步骤。

在步骤F301，CPU 31确定被摄体亮度级。例如，CPU 31获得关于当前正捕获并在相机DSP 4中处理的帧的曝光量信息(如，平均亮度信息)，所述曝光量信息由图像信号处理单元41计算，并且将其与关于之前帧的曝光量信息比较，以确定被摄体亮度级增加还是减少。

如果确定被摄体亮度级没有出现变化，则CPU 31返回到步骤F301至步骤F302和F306，并且确定下一帧的被摄体亮度级。

如果确定被摄体亮度级增加，则CPU 31从步骤F302进行到步骤F303，并且确定当前区域的曝光调整方法是否已经达到其控制限度。具体地，检查被摄体光亮度的当前增加是否对应于图32C中所示的从区域A到区域B、从区域B到区域C、以及从区域C到区域D的增加之一。

如果当前区域的曝光调整方法还没有达到其控制限度，则CPU 31进行到步骤F310，并且使用当前曝光调整方法处理被摄体亮度级的增加。

具体地，如果当前区域是区域A，则减少光圈机构的开口量。如果当前区域是区域B，则使用光圈机构和ND滤光镜机构的组合减少入射光量。如果当前区域是区域C，则执行控制使得改变帧率以缩短一帧的时段。如果当前区域是区域D，则执行控制使得减少增益级别

如果当前区域的曝光调整方法已经达到其控制限度，则处理在步骤F304和F305分支。

具体地，如果被摄体亮度级增加，其中从区域A转变到区域B，则CPU31进行到步骤F311。然后，CPU 31从仅使用光圈机构的曝光调整切换到使用光圈机构和ND滤光镜机构两者的曝光调整，并且执行控制以处理被摄体亮度级的增加。

如果被摄体亮度级增加，其中从区域B转变到区域C，则CPU 31进行到步骤F321。然后，CPU 31从使用光圈机构和ND滤光镜机构两者的曝光调整切换到使用可变帧率的曝光调整，并且执行控制以处理被摄体亮度级的增加。

如果被摄体亮度级增加，其中从区域C转变到区域D，则CPU 31进行到步骤F320。然后，CPU 31从使用可变帧率的曝光调整切换到使用可变增益级别的曝光调整，并且执行控制以处理被摄体亮度级的增加。

如果作为在步骤F301的确定结果被摄体亮度级减小，则CPU 31从步骤F302进行到步骤F306，并且确定当前区域的曝光调整方法是否达到其控制限度。具体地，检查被摄体光亮度的当前减小是否对应于图32C所示的从区域B到区域A、从区域C到区域B、以及从区域D到区域C的减小之一。

如果当前区域的曝光调整方法还没有达到其控制限度，则CPU 31进行到步骤F310，并且使用当前曝光调整方法处理被摄体亮度级的减小。

具体地，如果当前区域是区域A，则增加光圈机构的开口量。如果当前区域是区域B，则使用光圈机构和ND滤光镜机构的组合增加入射光量。如果当前区域是区域C，则通过改变帧率增加一帧的时段。如果当前区域是区域D，则执行控制使得增加增益级别。

如果当前区域的曝光调整方法已经达到其控制限度，则处理在步骤F308和F309分支。

具体地，如果被摄体亮度级减小，其中从区域C转变到区域B，则CPU31进行到步骤F311。然后，CPU 31从使用可变帧率的曝光调整切换到使用光圈机构和ND滤光镜机构两者的曝光调整，并且执行控制以处理被摄体亮度级的减小。

如果被摄体亮度级减小，其中从区域D转变到区域C，则CPU 31进行到步骤F321。然后，CPU 31从使用可变增益级别的曝光调整切换到使用可变帧率的曝光调整，并且执行控制以处理被摄体亮度级的减小。

如果被摄体亮度级减小，其中从区域B转变到区域A，则CPU 31进行到步骤F314。然后，CPU 31从使用光圈机构和ND滤光镜机构两者的曝光调整切换到仅使用光圈机构的曝光调整，并且执行控制以处理被摄体亮度级的减小。

CPU 31执行这样的处理以执行如图32A到32D所示的曝光调整。

具体地，CPU 31使得图像捕获系统2捕获在时间上具有连续性的图像数据的多个帧，并且通过可变地控制帧率以及利用光圈机构、ND滤光镜机构和增益级别控制以执行曝光调整控制，执行按照捕获期间的被摄体亮度级的曝光调整控制。

这种曝光调整控制在图5所示的步骤F15的图像捕获中执行，由此可根据被摄体亮度级执行适当的曝光调整，此外，捕获的图像数据的多个帧不存在由非曝光时段导致的信息缺乏。

因此，根据随后的组合处理，如30C所示，可以获得可与使用长时间曝光实际捕获的图像相比的平滑图像。具体地，在捕获运动被摄体的图像的情况下，可以获得平滑的长时间曝光图像。

在区域D中使用可变增益执行曝光调整。如上所述，增益调整可能导致电子噪声。然而，区域D是在通常情况下很少出现的高亮度区域，并且在多数情况下将不执行利用可变增益的曝光调整。因此，可以认为，如果不使用如噪声减少处理的特殊技术，实践中可变增益引起的噪声也基本没有影响。

在步骤F16以及步骤F15的图像捕获中也可以执行上述曝光调整控制。

尽管在图32和33中使用除了可变帧率以外的三个曝光调整因素(光圈机构、ND滤光镜机构和可变增益)，但是不必使用全部三个因素。例如，可以不使用ND滤光镜机构。

在如上所述利用可变控制帧率获得的图像数据元素的组合处理中，优选地，根据与图像数据元素对应的帧时段分配加权系数。具体地，被确定为在图像捕获期间的图像数据元素的帧时段长度的反比的加权系数被分配到在组合处理中使用的图像数据元素，以执行组合处理。

例如，如图31C所示，当利用可变帧率获得的图像数据元素#1到#22用作要组合来执行组合处理以产生组合图像数据的图像时，分配图31A到31C所示的加权系数。例如，如果要分配到帧时段FR8中的图像数据元素#8到#22的加权系数是1，则将加权系数1/5分配给图像数据元素#1，假设与图像数据元素#1对应的帧时段FR1是帧时段FR8的五倍长。将加权系数3/10分配给图像数据元素#2，假设与图像数据元素#2对应的帧时段FR2是帧时段FR8的(10/3)倍长。

以此方式，根据一帧的时段的长度，被确定为反比的加权系数被分配给图像数据元素，以产生组合图像数据，并且可以基于组合图像数据产生平滑的图像。

为了在组合处理中设置这样的加权系数，期望地，将关于帧率的信息包括在要在图像捕获期间添加到每个图像数据元素的元数据中。

8.示例性组合模式处理：帧插补

现在将描述可应用到上述组合模式处理中的各种示例。首先，将描述帧插补。

在组合模式图像捕获中，可利用用于曝光调整的电子快门功能等捕获在时间上具有连续性的多个帧的图像。

在如当使用图25A到25D所示的曝光调整方法时、当如图26C所示的曝光调整方法中获得区域D中的被摄体亮度级时、并且当用户执行电子快门功能的设置时的情况下可使用电子快门功能。在这样的情况下，如上所述，即使执行连续帧捕获在帧时段内也出现非曝光时段，导致缺乏关于非曝光时段中的被摄体信息。

此外，即使没有利用电子快门功能，例如，在不是对每帧执行、而是间断(如每隔一帧)地执行图5所示的步骤F15中的连续图像捕获的情况下，时间上具有连续性的图像数据的多个帧序列还是缺乏被摄体信息。

在此情况下，如果要组合的图像数据元素序列缺乏被摄体信息，则获得不平滑的组合图像。

然而，如果使用上述图26A到26D或32A到32D所示的曝光调整方法，并且如果对所有帧执行图5所示的步骤F15中的连续图像捕获，则捕获的图像数据元素序列不(或基本不)缺少被摄体信息。

图像数据元素序列可用于获得表示被摄体的平滑运动的组合图像。存在对于改进的平滑性的另一需求。

因此，优选地，利用帧插补处理执行组合处理。将参照图34A到35B描述帧插补处理。

图34C示出实际捕获并记录在记录介质90等上的图像数据元素#1、#2、#3和#4的序列。

组合图像数据元素#1、#2、#3和#4，从而获得图34A所示的组合图像。即，获得具有长时间曝光效果的非平滑图像。

这里，执行插补处理，以生成图34D所示的插补帧#h12、#h23、和#h34。

从图像数据元素#1和#2生成插补帧#h12。从图像数据元素#2和#3生成插补帧#h23。从图像数据元素#3和#4生成插补帧#h34。

可利用在如MPEG技术的编解码方案中通常使用的帧间(场间)插补技术，通过利用运动矢量的空间预测在两帧之间内插像素值而创建插补的帧。

图34B示出通过组合图像数据元素#1、#h12、#2、#h23、#3、#h34和#4获得的图像。可以通过除了利用所述各帧以外还利用各插补帧执行组合来实现更平滑的组合图像。

在除了利用所述各帧以外还利用各插补帧的组合处理中，可基于根据图像捕获间隔或曝光时间添加到图像数据元素#1、#2、#3和#4的每个的元数据(例如，可交换图像文件格式(Exif)数据)执行加权。

例如，图35A示出利用电子快门功能对于40毫秒的曝光时段和20msc的非曝光时段(阴影部分)的图像数据元素#1、#2、#3和#4的图像捕获，其中一帧的时段FR1固定。

在此情况下，插补帧#h12、#h23和#h34用于对20毫秒的时段插补未实际捕获的帧。已经用正确曝光在40毫秒的时段实际捕获的帧可用于创建插补帧的正确图像。

在利用图像数据元素#1、#2、#3和#4以及插补帧#h12、#h23和#h34的组合处理中，根据曝光时间比率分配系数。

例如，在时间轴上，图像数据元素#1、插补帧#h12、和图像数据元素#2具有2:1:2的关系。根据反比的计算，如图35A所示，分配0.5:1:0.5的权重。因此，可根据被摄体的实际运动再现曝光时间。

可利用多个图像的亮度信号的和或利用元数据中记录的曝光或快门速度计算权重。

图35B示出在一帧时段FR2内不使用非曝光时段的图像数据元素#1、#2、#3和#4的图像捕获。

由于不存在非曝光时段，因此为了获得更平滑的组合图像使用插补帧#h12、#h23和#h34。在此情况下，如图35B所示，通过为图像数据元素#1、#2、#3和#4和插补帧#h12、#h23和#h34分配相等权重执行组合处理。

图36示出包括上述帧插补处理的CPU 31的示例性处理。

例如，在图8所示的步骤F206的调整处理中，CPU 31执行图36所示的处理来替代图9所示的示例。

在图8所示的步骤F206中，CPU 31执行图36所示的处理。首先，在步骤F220，如图9中那样，CPU 31显示选择图像列表和权重条。例如，组合工作图像70从图12所示的状态改变到图13所示的状态。

此时，要作为预览图像显示在图像显示区域72中的组合图像是利用步骤F230和F231中的帧插补处理生成的图像。

具体地，在步骤F230中，CPU 31利用当前组合范围中的图像数据元素序列，创建参照图34D描述的插补帧。在步骤F231，CPU 31以参照图35A或35B所述的方式设置预定加权系数，以执行组合处理。因此，在图13中示出的组合工作图像70的图像显示区域72中显示的组合图像是例如通过执行连同帧插补处理的组合处理获得的组合图像。

图36所示的步骤F221到F225A的随后处理与图19中所示的处理类似，并且省略其冗余的描述。然而，当在步骤F224A和F225A中执行预览图像组合时，利用在步骤F230中生成的插补帧执行组合。

此外，当在执行图36所示的调整处理之后、在图8中所示的步骤F207中执行最终组合处理时，还使用在步骤F206中的调整处理的最终阶段使用的插补帧执行组合处理(图36)。

通过帧插补处理的额外使用，可获得可与利用长时间曝光实际捕获的图像相比的更平滑的图像作为组合图像。

特别地，当快速运动的被摄体是目标时，更有利地，利用上述帧插补处理可呈现组合图像中的平滑运动。

在上述示例中，在图8所示的步骤F206中的图36所示的处理中，把必须利用插补帧的组合图像显示为预览图像。然而，在该调整处理中，可以仅当用户操作需要时才执行涉及插补帧的生成和使用的图像组合。

此外，在图8所示的步骤F206中的调整处理中可以不必执行帧插补。替代地，在步骤F207的最终组合处理中，可生成插补帧并将其用于执行图像组合。

此外，在调整处理中，在组合工作图像70中，插补帧可与原始图像数据、以及相应的权重条一起显示在组合图像列表上以便用于以与原始图像数据的方式类似的方式改变加权系数，或设置组合开始位置/组合结束位置。

替代地，相反地，可向用户隐藏插补帧的存在。

9.示例性组合模式处理：闪光移除/校正

用户可使用闪光执行组合模式图像捕获(图5中所示的步骤F15中的图像捕获)。根据随后的组合处理，例如，可不使用闪光来实现先幕同步效果等。然而，在下述情况下，某些用户可能使用闪光来执行图像捕获：诸如当用户希望在组合工作中在不改变加权系数等的情况下最初实现先幕同步效果等、或希望获得使用闪光的图像表示时。

然而，在这样的情况下，需要根据拍摄者的经验和直觉确定设置，如闪光发射时间和曝光量。实践中，用户(拍摄者)可能不一定获得期望的图像。

此外，在用户使用闪光实际捕获图像之后，用户稍后可能改变他的或她的想法，并且希望使用未使用闪光灯捕获的图像来生成组合图像。

此外，由于图像捕获装置的性能或用户的设置，实际的闪光量可能是不足的。

因此用户期望能够在组合处理中移除或校正闪光图像捕获。

图38示出用于在图8所示的组合处理中的步骤F206中的调整处理中使能闪光移除的CPU 31的示例性处理。

图38所示的步骤F220到F225A类似于图19所示的步骤。在图38中，步骤F240到F245被添加到图19所示的处理。

当在调整处理中正显示组合工作图像70时，除了上述改变加权系数或改变组合范围的操作外，用户可以执行闪光移除操作。可通过例如操作预定操作键或选择菜单项目来执行闪光移除操作。

当检测到用户执行的闪光移除操作时，CPU 31将处理从步骤F240前进到步骤F241。

在步骤F241到F244中，对组合范围内的各个图像数据元素，改变用于移除闪光的加权系数。

在步骤F241，CPU 31提取组合范围内的图像数据元素之一作为处理目标。在步骤F242，CPU 31确定所提取的图像数据元素是使用闪光捕获的图像数据元素(以下称为“闪光图像”)还是未使用闪光捕获的图像数据元素(以下称为“非闪光图像”)。如上所述，可通过检查在图像捕获期间添加到图像数据元素的元数据来执行闪光图像或非闪光图像的确定。

在步骤F243，CPU 31根据闪光图像或非闪光图像改变加权系数。

具体地，如果当前图像数据元素是闪光图像，则减少加权系数以便移除或取消闪光效果。如果当前图像数据元素是非闪光图像，则增加加权系数。

加权系数用于消除闪光图像和非闪光图像之间的整体图像亮度级的差。从而，根据闪光图像和非闪光图像之间整体亮度级的相对差异，确定闪光图像的加权系数减少量和非闪光图像的加权系数增加量。在一些情况下，当闪光图像的加权系数减小而非闪光图像的加权系数保持不变时，闪光图像的整体亮度级可能等效于非闪光图像的整体亮度级。

在对一个图像数据元素完成处理后，CPU 31从步骤F244返回到步骤F241，并且对组合范围内的下一图像数据元素执行类似处理。

当对组合范围内的所有图像数据元素完成上述处理时，对各个图像数据元素设置的加权系数用于均衡各个图像数据元素之间的整体屏幕强度级的差异。即，为各个图像数据元素分配加权系数，使得闪光图像可变为与非闪光图像一样亮。

在此状态下，在步骤F245，CPU 31改变对应于图像数据元素的权重条的高度。CPU 31还利用对应于图像数据元素的加权系数执行组合处理，以生成移除了闪光的组合图像，并且将组合图像作为预览图像显示在图像显示区域72中。

已经在图像显示区域72中显示的图像(即，之前的组合图像)作为闪光移除前的组合图像的预览图像也显示在图像显示区域71中。

图37示出闪光移除处理后获得的组合工作图像70。

假设如图37所示，图像数据元素#11是在作为时间轴线73中的选择图像列表显示的组合范围中的图像数据元素#5到#11当中的闪光图像。

首先，当开始图38所示的调整处理时，即，当为图像数据元素#5到#11分配相等加权系数时(例如，如图13所示，在加权系数相等并且权重条具有相同高度的初始状态下)，在图37中示出的图像显示区域71中显示的具有后幕同步效果的组合图像作为组合图像的预览图像显示在图像显示区域72中。然后，当用户执行闪光移除操作以执行步骤F241到F245的处理时，获得图37所示的组合工作图像70。

具体地，作为非闪光图像的图像数据元素#5到#10的加权系数增加，这通过增加权重条w5到w10表示。此外，作为闪光图像的图像数据元素#11的加权系数减小，这通过减小权重条w11表示。

然后，闪光移除处理后获得的组合图像显示在图像显示区域72中，并且闪光移除前获得的组合图像显示在图像显示区域71中。

如图37所示，闪光移除处理后获得的组合图像是移除了后幕同步效果的长时间曝光效果图像。即，生成组合图像使得作为闪光图像的图像数据元素#11的整体亮度级也可以等于非闪光图像的整体亮度级。

以此方式，即使当用户利用闪光捕获图像时，用户也可以容易地在组合处理中按期望移除闪光效果。

例如，当作为闪光图像捕获的结果用户获得不期望的图像时，用户可仅执行闪光移除操作以为非闪光图像分配权重来获得组合的图像。

不过，可使用连续帧的之前和之后的帧的图像数据的亮度分布(亮度信号的和)等而非元数据执行步骤F242中的闪光图像或非闪光图像的确定。

例如，可检测、监视或监控连续捕获图像的亮度信号之和，以检测亮度信号的变化。

尽管间接地，但还可以通过检测曝光控制中的光控制功能(如光圈机构、ND滤光镜机构或液晶光圈)、快门速度、电子快门速度、增益等，执行用闪光激发捕获的帧的确定。

当通过检测亮度信号(或捕获图像的场景亮度)随时间变化的速率而发现快速变化时，确定已经激发闪光。例如，当发现在1/60秒的时段内从明亮条件到黑暗条件的改变时，则可以确定已经激发闪光。

以此方式，例如，利用基于各帧之间的亮度比较、各曝光控制条件或其他条件进行的确定，可在除了通过图像捕获装置1的闪光发射以外的情况下，如当从接近于图像捕获装置1的另一设备激发闪光时、或当由经过的车辆的前灯瞬时照射被摄体时，确定闪光的使用或未使用。

因此，例如，假设在组合处理中要移除或取消在大量拍摄者接近于用户的情况下、由用户不想要的事件导致的闪光发射，优选地，基于各帧之间的亮度比较、曝光控制条件等确定闪光图像或非闪光图像。即，无论图像捕获条件如何，都可以容易地获得取消了周围的图像捕获条件的组合图像。

现在将参照图39和40描述使能闪光校正的示例性处理。

在即使用户使用闪光捕获图像、闪光量也不足的情况下，可能在组合处理中获得不期望的图像效果的组合图像。

因此，期望在组合处理中校正闪光图像。

图40示出在图8所示的组合处理中、在步骤F206的调整处理中用于使能闪光校正的CPU 31的示例性处理。

图38所示的步骤F220到F225A类似于图19所示的步骤。在图38中，步骤F250到F255添加到图19所示的处理。

当在调整处理中正显示组合工作图像70时，除了上述改变加权系数或改变组合范围的操作外，用户可以执行闪光校正操作。可通过例如操作预定操作键或选择菜单项目来执行闪光校正操作。

当检测到通过用户执行的闪光校正操作时，CPU 31将处理从步骤F250前进到步骤F251。

在步骤F251到F255中，在组合范围内的各图像数据元素当中提取闪光图像，并且改变加权系数。

在步骤F251，CPU 31提取组合范围内的图像数据元素之一作为处理目标。在步骤F252，CPU 31确定所提取的图像数据元素是闪光图像还是非闪光图像。如上所述，可通过检查在图像捕获期间添加到图像数据元素的元数据来执行闪光图像或非闪光图像的确定。替代地，如上所述，确定可基于各帧之间的亮度比较、曝光控制条件等。

如果当前目标图像数据元素是闪光图像，则CPU 31进行到步骤F253，并且改变加权系数。在此情况下，闪光图像的帧被强加权以便执行校正，使得用适当的光量发射闪光。

如果当前目标图像数据元素是非闪光图像，则不特别改变加权系数。

在对一个图像数据元素完成处理后，CPU 31从步骤F254返回到步骤F251，并且对组合范围内的下一图像数据元素执行类似处理。

当对组合范围内的所有图像数据元素完成上述处理时，对各个图像数据元素设置的加权系数用于执行校正，使得可以改善闪光图像的亮度级。

在此示例中，不改变非闪光图像的加权系数。然而，可以改变非闪光图像的加权系数以便减小等，从而突出闪光图像。

在已经对组合范围内的所有图像数据元素完成步骤F251到F254的处理之后，在步骤F255，CPU 31改变对应于图像数据元素的权重条的高度。CPU31还利用改变的加权系数组合各个图像数据元素，以生成校正了闪光的组合图像，并且将组合图像作为预览图像显示在图像显示区域72中。

没有校正闪光效果的组合图像(即，在图像显示区域72中作为紧接在闪光校正处理前的组合图像的预览图像显示的图像)也显示在图像显示区域71中。

图39示出在闪光校正后获得的组合工作图像70。

假设如图39所示，在时间轴线73中作为选择图像列表显示的、组合范围内的图像数据元素#5到#11之中，图像数据元素#11是闪光图像。

首先，当开始图40所示的调整处理时，即，当为图像数据元素#5到#11分配相等加权系数时(例如，如图13所示，在各加权系数相等并且各权重条具有相同高度的初始状态下)，在图像显示区域72中显示在图39中示出的图像显示区域71中显示的具有后幕同步效果的组合图像作为组合图像的预览图像。在此情况下，由于图像捕获期间闪光量不足，因此图像数据元素#11的整体亮度级低，并且没有显著突出后幕同步效果。

然后，当用户执行闪光校正操作以执行步骤F251到F255的处理时，获得图39所示的组合工作图像70。

具体地，作为闪光图像的图像数据元素#11的加权系数增加，这通过增加权重条w11表示。

然后，闪光校正处理后获得的组合图像显示在图像显示区域72中，并且闪光校正前获得的组合图像显示在图像显示区域71中。

如图39所示，闪光校正处理后获得的组合图像是后幕同步效果显著的图像。

以此方式，即使当用户利用闪光捕获图像、但由于闪光的性能、距被摄体的距离等而导致图像的被摄体亮度级不足时，用户也可以容易地在组合处理中按期望校正闪光效果。

在该实施例中，在光量不足的情况下描述了实现足够的图像亮度级的情境下的闪光校正。相反，当闪光量过大时，可执行校正使得可以减小屏幕强度。

此外，可通过CPU 31自动计算或可由用户逐步调整闪光图像的加权系数的校正量。

在自动计算的情况下，例如，可预先设置闪光图像和非闪光图像的亮度级的总和之间的标准差，并且可以调整闪光和非闪光图像的加权系数使得可获得所述差。

在由用户调整的情况下，可对加权系数设置固定改变量，并且每当执行闪光校正操作时将闪光图像的加权系数改变固定量。用户仅重复闪光校正操作直到获得期望状态。

由于通过改变加权系数实现上述闪光移除和闪光校正处理，因此用户还可通过选择组合工作图像79中的图像数据元素并且手动改变加权系数来处理。然而，实际上，对用户来说，改变大量图像数据元素的各个加权系数是耗时的。通过根据闪光移除操作、闪光校正操作等执行上述处理，显著改进了组合工作的可操作性。

10.示例性组合模式处理：基于距离的校正

现在将参照图41到44描述在图像捕获期间根据到被摄体的距离来校正加权系数的示例性处理。

为了执行该处理，在图5所示的步骤F15的图像捕获中，将图像捕获期间距聚焦(in-focus)平面的距离(以下称为“图像捕获距离”)包括在添加到每帧图像数据的元数据(例如，Exif数据)中。如上所述，图像捕获期间，利用自动聚焦对主被摄体控制聚焦。此时，镜头位置检测单元27根据镜头地址执行相反的操作，以确定到主被摄体的距离。CPU 31将关于距离的信息添加为元数据。

现在，在组合处理中的图8所示步骤F206中的调整处理中，假设在图41所示的时间轴线73中作为选择图像列表显示的图像数据元素#5到#11在组合范围内。

假设，图像数据元素#5到#11示出被摄体在从屏幕的右上方运动到左下方的同时逐渐接近图像捕获装置1的场景。

用分配到图像数据元素#5到#11的相同加权系数生成的组合图像作为预览图像显示在图像显示区域72中。

这里，假设如图42所示，用户执行加权系数操作以增加图像数据元素#5、#8和#11的加权系数并减小剩余图像数据元素#6、#7、#9和#10的加权系数，以便应用多闪光效果来产生作为预览图像显示的图像。

由于未使用闪光捕获图像数据元素#5到#11，所以使用加权系数来实现多闪光效果。这里，将考虑在图像捕获期间闪光的实际激发。

在闪光图像捕获中，实际上，随着到被摄体的距离增加，到达被摄体的光量减少，如果光量不足导致出现暗点。为了避免该问题，需要较大的闪光，这可能阻碍尺寸和功耗的减小。

在本实施例中，相反，可通过执行如图42所示的图像组合克服现有技术中实际闪光激发导致的问题。即，可以不使用大闪光就获得与用充足光量捕获的图像类似的图像。

对于与用闪光的激发捕获的图像类似的图像，可能存在的另外需求：不使用闪光来更真实地再现。即，可能考虑下述需求，即对使用现有技术的闪光图像捕获实现的多闪光效果的更真实再现。

因此，期望校正闪光效果。图43示出具有多闪光效果的组合图像，其类似于用闪光激发实际捕获的图像，其中，根据关于在元数据(例如，Exif数据)中记录的图像捕获距离信息增加施加了闪光效果的图像数据元素(#5、#8和#11)的加权系数，同时根据图像捕获距离调整加权系数(以下称为“基于距离的闪光校正”)。具体地，在图43中，如权重条w5、w8和w11所示，调整加权系数以便随着图像捕获距离增加而减小。因此，如在基于距离的闪光校正后获得的图像显示区域72中的预览图像所示，产生组合图像，使得随着距离增加而消除闪光效果。基于距离的闪光校正之前获得的组合图像(即，在图42所示状态下获得的组合图像)显示在图像显示区域71中。如可以从两个组合图像之间的比较看到的，使用基于距离的闪光校正可实现组合图像的更真实表示。

图44示出用于实现上述基于距离的闪光校正的CPU 31的处理。图44示出在图8所示组合处理中的步骤F205中的调整处理中、用于使能基于距离的闪光校正的示例性处理。

图44所示的步骤F220到F225类似于图9所示的步骤。在图44中，将步骤F260到F266添加到图9所示的处理。

当在调整处理中正示出组合工作图像70时，如上所述，除了改变加权系数或改变组合范围的操作外，用户可执行基于距离的闪光校正操作。可通过例如操作预定操作键或选择菜单项目来执行闪光校正操作。

例如，用户可执行加权系数操作(或选择多闪光效果的系数模板)，以便以图42所示的方式将多闪光效果应用到组合图像。多闪光效果仅是示例，并且可以应用如先幕同步效果、后幕同步效果或其中为组合范围内的某个图像数据元素分配高加权系数的闪光效果的任何其他效果。

在此情况下，用户可通过执行基于距离的闪光校正操作而实现更真实的图像表示。

当检测到用户执行的基于距离的闪光校正操作时，CPU 31将处理从步骤F260前进到步骤F261。

在步骤F261到F264，在组合范围内的图像数据元素当中提取使用加权系数而应用了闪光效果的图像，并且改变加权系数。

在步骤F261，CPU 31提取组合范围内的图像数据元素之一作为处理目标。在步骤F262，CPU 31确定所提取的图像数据元素是否是利用加权系数应用了闪光效果的图像(以下称为“应用了闪光效果的图像”或“应用了闪光效果的图像数据元素”)。

如果当前目标图像数据元素是应用了闪光效果的图像，则CPU 31前进到步骤F263，并且基于图像数据元素的元数据确定图像数据元素相对于被摄体的图像捕获距离。然后，在步骤F264，CPU 31基于图像捕获距离计算加权系数的校正值，并且将其存储为图像数据元素的加权系数的校正值。

如果当前目标图像数据元素不是应用了闪光效果的图像，则不执行步骤F263或F264的处理。

在已经对一个图像数据元素完成处理后，CPU 31从步骤F265返回到步骤F261，并且对组合范围内的下一图像数据元素执行类似处理。

当对组合范围内的所有图像数据元素完成上述处理时，对组合范围内的所有应用了闪光效果的图像数据元素(在图42中，图像数据元素#5、#8和#11)计算了基于图像捕获距离的加权系数的校正值。

在对组合范围内的所有图像数据元素完成步骤F261到F265的处理后，在步骤F266，CPU 31根据基于图像捕获距离的加权系数的校正值，校正应用了闪光效果的图像数据元素的加权系数。

在校正后，CPU 31改变对应于图像数据元素的权重条的高度。CPU 31还利用校正的加权系数组合各个图像数据元素以生成组合图像，并且在图像显示区域72中显示组合图像。

在基于距离的闪光校正前获得的组合图像(即，已经在图像显示区域72中作为紧接在所述处理前的组合图像的预览图像显示的图像)也显示在图像显示区域71中。

利用上述处理，获得图43所示的组合工作图像70。因此，显示经历了基于距离的闪光校正的组合图像。

在步骤F266的组合中，为了防止在加权系数的校正后生成的组合图像的亮度完全改变，可以自动调整所有加权系数，以便获得适当亮度的组合图像。

在图44所示的处理中，根据距离仅仅校正应用了闪光效果的图像数据元素的加权系数。替代地，可根据图像捕获距离计算组合范围内的所有图像数据元素的加权系数的校正值并且可以校正加权系数。具体地，可以省略图44所示的步骤F262的处理，并且可以对组合范围内的所有图像数据元素执行步骤F263和F264的处理。

在此情况下，在基于距离的校正后获得图45所示的组合工作图像70。具体地，如权重条w5到w11所示，根据图像捕获距离校正图像数据元素#5到#11的加权系数，并且在图像显示区域72中显示基于校正的加权系数的组合图像。

实际上，所激发闪光的闪光到达距离具有如下关系：

闪光到达距离(m)＝闪光指数(guide number)(ISO 100)÷光圈设置值

一旦指定闪光指数，就可以基于闪光量与距离的平方成反比的事实设置加权系数的校正值。

在图像表现方面，优选地，根据用户操作给出的指令指定虚拟闪光指数。还可以根据被摄体的距离分布自动选择闪光指数。例如，当被摄体在短距离到中距离上分布时，减小闪光指数；当被摄体在短距离到长距离上分布时，增加闪光指数。

还可以预设闪光指数，如“闪光指数28”。“闪光指数”仅是示例，并且可指定暗示闪光量的任何其他值，如闪光到达距离。或者，可指定与在实际拍摄中使用的光圈值不同的光圈设置值。因此，实现虚拟闪光效果。

当以上述方式选择系数模板时，还可参照捕获的图像数据的元数据，基于图像捕获距离确定加权。

可自动设置多闪光效果，使得可在选择系数模板后调整发光间隔(权重高的帧的间隔)，并且使得可根据调整的发光间隔基于图像捕获距离确定加权。

可通过将对应操作功能添加到预定操作器或通过从菜单选择对应项目来实现调整操作。替代地，可通过执行如在按下快门操作键5a的同时按下十字键5i的左右按钮的操作来按期望设置发光间隔。

此外，区域提取可用于根据图像捕获距离来将加权仅应用到聚焦的被摄体，从而实现闪光效果的更真实再现。

可获得如所谓的景深图的距离分布信息(对于每个像素测量的到被摄体的距离)作为关于图像捕获距离的信息，从而根据下述关系分配权重到每个像素：

闪光到达距离(m)＝闪光指数(ISO 100)÷光圈设置值

具体地，除了在图像组合期间使用加权获得长时间曝光图像外，可以基于图像捕获距离的区域提取或如景深图的距离分布信息，根据一个组合图像内的距离改变权重，从而实现闪光效果的更真实再现。

如上所述，可在图像捕获期间通过相机DSP 4的信息生成单元44生成距离分布信息。

此外，可以强加权具有短图像捕获距离的帧，并且可以弱加权具有长图像捕获距离的帧，以减少图像处理负荷。因此，可通过对整个屏幕执行加权而不使用区域提取或景深图来减少处理负荷。

在为了表现运动被摄体的运动而使用长时间曝光捕获的图像中，在背景区域可能不包含运动，或甚至在背景区域中包含的运动可能在图像捕获方面不一定是重要的。因此，在捕获的一些场景中，如果通过对整个屏幕执行加权来执行图像组合，则不出现问题。

根据参照图41到45在上面描述的示例性处理，根据被摄体距离信息执行图像组合的加权。因此，可不使用闪光而获得与使用闪光实际捕获的图像类似的图像。因此，可实现具有多闪光效果、先幕同步效果、后幕同步效果、在期望时间处的发光效果等的组合图像的更真实再现。

现在将参照图46和47描述另一示例性处理。

例如，假设已经使用闪光实际捕获图46所示的组合范围内的图像数据元素#5到#11当中的图像数据元素#5、#8和#11。

此外，由于充足的闪光量，假设没有获得具有长图像捕获距离的帧的满意的、适当的曝光图像。在此示例中，假设其中被摄体接近图像捕获装置1的图像数据元素#11的闪光量充足，而其中被摄体远离的图像数据元素#8和#5的光量不足(图像数据元素#5的光量最小)。

在此情况下，当通过应用相等的加权系数执行组合时，如图46所示，获得具有多闪光效果的图像，其中当被摄体越接近于图像捕获装置1时所述被摄体越显著。

尽管该组合图像提供了多闪光效果的更真实的表现，但是一些用户可能期望无论图像捕获距离如何，都清楚而非真实的发光效果的表现。因此，可执行校正，使得与上述示例相反，可校正通过在闪光发射的情况下实际执行图像捕获获得的真实图像以增强闪光效果。

为了执行该处理，在图5所示的步骤F15的图像捕获中，把图像捕获距离(在图像捕获期间到聚焦平面的距离)包括在要添加到图像数据的每帧的元数据(例如，Exif数据)中。作为元数据还包括关于是否发射闪光的信息。

可通过修改上述图44所示的处理而实现CPU 31的实际示例性处理。

具体地，在步骤F262中，确定所提取的图像数据元素是否是通过实际激发闪光捕获的闪光图像。如果所提取的图像数据元素是闪光图像，则在步骤F263中，确定到被摄体的距离。在步骤F264，根据所述距离计算加权系数的校正值。此时，与上述示例相反，确定用于校正加权系数以便提供充足光量、而非根据距离减小闪光量的校正值。

然后，在计算所有闪光图像的加权系数的校正值后，在步骤F266，可使用校正值校正闪光图像的加权系数，并且在校正之后，可执行组合处理。

图47示出在校正后获得的组合工作图像70的示例。校正的组合图像显示在图像显示区域72中。在校正后获得的组合图像中，如可以从与校正前获得的组合图像的比较看到的，即使对于遥远的被摄体用不足的闪光量实际捕获的图像也可以获得闪光效果的更清楚表现。

如由权重条w5到w11所示，校正加权系数，使得将更高的加权系数分配给闪光图像#5、#8和#11当中的、被摄体更遥远的图像数据元素。即，执行校正以便提供具有大光量的闪光激发。

在步骤F266的组合中，为了防止在加权系数校正后生成的组合图像的亮度完全改变，可自动调整所有加权系数以便获得适当亮度的组合图像。

在此情况下，可如下执行闪光图像的加权系数的校正(步骤F264中的校正值的计算)。

根据下述关系确定是否需要校正使用闪光捕获的闪光图像(需要改变加权系数)：

闪光到达距离(m)＝闪光指数(ISO 100)÷光圈设置值

例如，如果图像捕获距离(m)小于闪光到达距离(m)，则确定闪光量不足，并且需要校正(加权)。

如果需要校正，则基于闪光量与距离的平方成反比的事实和“闪光到达距离(m)＝闪光指数(ISO 100)÷光圈设置值”的关系执行校正。

在该校正中，指定闪光指数以基于闪光量与距离的平方成反比的事实执行加权。

考虑到图像表现，优选地，根据用户操作给出的指令指定虚拟闪光指数。还可以根据被摄体的距离分布自动选择闪光指数。例如，当被摄体在短距离到中距离上分布时，减小闪光指数；当被摄体在短距离到长距离上分布时，增加闪光指数。

还可以预设闪光指数，如“闪光指数28”。

“闪光指数”仅是示例并且可指定意味闪光量的任何其他值，如闪光到达距离。或者，可指定与在实际图像捕获中使用的光圈值不同的光圈设置值。因此，实现虚拟闪光效果。

下面的处理可用作示例性加权系数校正处理。

可通过根据图像亮度分布确定校正系数并使用元数据和校正系数执行校正(加权)来确定用闪光激发捕获的帧(闪光图像)所需要的校正(加权)程度。

此外，可基于连续捕获并记录的连续图像的之前和之后的帧的亮度分布(亮度信号之和)等确定用闪光激发捕获的帧(闪光图像)。

此外，可通过参照添加到图像数据元素的元数据对用闪光激发捕获的帧(闪光图像)进行确定，并且可基于连续图像的之前和之后的帧的亮度分布(亮度信号之和)等对用不想要的发光(如(另一拍摄者等的)另一闪光的激发或经过车辆的灯的瞬时照明)捕获的帧进行确定。利用该确定，即使在如由另一拍摄者进行的闪光激发的意外照明条件下也可以获得满意的组合图像。

不仅可通过存储为元数据(例如，Exif数据)的图像捕获距离(在图像捕获期间到聚焦平面的距离)、还可以通过例如使用区域提取技术或所谓的距离分布信息(景深图)获得的到聚焦被摄体的图像捕获距离，实现关于图像捕获距离的信息。

可使用区域提取或基于距离分布信息的距离信息，并且使用“闪光到达距离(m)＝闪光指数(ISO 100)÷光圈设置值”的关系，对于用闪光激发捕获的帧的校正(加权)的必要性进行确定。如果“距离信息(m)<闪光到达距离(m)”成立，则确定闪光量不足并且需要校正加权系数。

如果需要加权，则基于闪光量与距离的平方成反比的事实确定校正值。而且在此情况下，可利用区域提取或基于距离分布信息的距离信息对区域或每个像素执行加权。

即，不仅通过执行加权，而且通过基于图像捕获距的区域提取或如距离分布信息的距离信息根据一个图像内的距离改变权重，来在图像组合中获得长时间曝光图像，从而实现闪光效果的更满意的再现。

此外，还可通过确定闪光发射是否已经到达并且对具有闪光发射已经到达的图像捕获距离的图像减少加权来执行上述闪光移除。

而且，在闪光移除中，可通过利用区域提取或基于距离分布信息的距离信息对区域或每个像素执行加权来获得更满意的图像。

闪光到达距离具有“闪光到达距离(m)＝闪光指数(ISO 100)÷光圈设置值”的关系并且闪光量与距离的平方成反比。这样，使用在元数据中记录的闪光量，可以计算对于每个距离的校正值。

在校正期间，可以基于闪光量与距离的平方成反比的事实指定闪光指数来执行加权。可通过参照元数据来显示实际闪光指数以便改变该实际闪光指数或通过输入期望的闪光指数(其与实际闪光的不同)来指定闪光指数。因此，实现各种图像表现。

11.示例性组合模式处理：模糊校正

现在将描述包括模糊校正的示例性组合模式处理。

图48A、48B和48C示出使用组合处理获得的组合图像的示例。这里，组合图像中的被摄体包括从屏幕的右上方移到到左下方的主被摄体(运动的动态被摄体)和其背景中的静态被摄体。这里所使用的术语“静态被摄体”意味着在图像捕获期间用户“不希望运动”的物体，而不是在背景中出现的物体或“不运动或静止”的物体(如建筑物或风景)。静态被摄体还可包括例如人类和动物。静态被摄体因此是这样的被摄体：在组合图像中其模糊是不期望的。

图48A示出用户期望的图像，其中对于动态被摄体实现长时间曝光效果，同时背景中的静态被摄体看来是静止的。

在图5中的步骤F15所示的连续图像捕获中，对于某个时间段执行图像捕获。因此，由于用户的手的抖动或被摄体的运动，结果产生的组合图像中静态被摄体可能模糊。

图48B示出在例如图像捕获装置1没有通过三脚架等固定的情况下由于相机抖动而造成的背景中静态被摄体的模糊。

图48C示出由于各个被摄体的任意运动而造成的静态被摄体的模糊(以下称为“被摄体模糊”)。例如，即使图像捕获装置1通过三脚架等固定，在组合图像中由于其运动静态被摄体也可能非故意地模糊。

在下面的示例性处理中，作为示例，校正这样的相机抖动或被摄体模糊的影响。

首先，当拍摄者抖动图像捕获装置1时产生相机抖动图像。在此情况下，背景中的静态被摄体在组合图像中类似地模糊。

通过根据在每个组合用图像数据元素中检测的静态被摄体的运动矢量对组合范围中的每个图像数据元素执行坐标变换，然后将各组合用图像数据元素组合来校正这样的相机抖动。

由于各个被摄体的任意运动造成被摄体模糊。即，静态被摄体不同地模糊。

通过从组合范围内的每个图像数据元素提取动态被摄体的图像区域，并且执行组合处理以将从组合用图像数据元素提取的动态被摄体的图像区域与一个组合用图像数据元素组合，来处理这样的被摄体模糊。

首先，将参照图49到52描述用于校正相机抖动的示例性处理。

图49示出组合工作图像70，其中通过将组合范围内的图像数据元素#5到#11进行组合获得的组合图像作为预览图像显示在图像显示区域72中。在此情况下，由于图像捕获期间的相机抖动造成背景被摄体模糊(用户的非故意模糊出现)。

尽管在此为了描述方便使用术语“相机抖动”，但是即使相机实际没有抖动，连续图像捕获中的帧成分移动(frame composition shift)也将导致组合图像中的类似模糊。

使用运动矢量执行相机抖动校正。图52示出包括用于校正这样的相机抖动的处理的示例性处理。在图52中，步骤F220到F225类似于图9所示的步骤。在图52中，步骤F270到F274添加到图9所示的处理。

例如，当在调整处理中显示图49所示的组合工作图像70时，如上所述，除了改变加权系数或改变组合范围的操作外，用户可执行模糊校正操作。可通过例如操作预定操作键或选择菜单项目来执行模糊校正操作。

当检测到由用户执行的模糊校正操作时，CPU 31将处理从步骤F270前进到步骤F271，并且首先执行参考图像选择处理。

参考图像选择处理可以是用于从组合范围中的图像数据元素#5到#11当中选择用于校正的参考图像数据元素的处理。

从由组合开始位置和组合结束位置限定的选择图像列表中选择顶部的帧作为参考图像。参考图像还可以是中间的帧。替代地，可允许用户选择参考图像使得可使用用户喜好的背景条件执行图像组合。

然后，在步骤F272，CPU 31执行特定点提取处理。在此处理中，CPU 31提取图像数据元素#5到#11的每个的特定点，并且检测参考图像以外的图像上的特定点相对于参考图像上的特定点的位移量。

特定点是静态被摄体中的特性部分，并且位移量对应于每个图像数据相对于参考图像数据上的特定点的运动矢量。

可通过从多个图像数据元素当中选择高亮度高对比度图像(边缘检测)提取特定点，或可通过用户使用触摸面板、光标等选择特定点。替代地，可自动提取多个坐标，并且可允许用户选择其中之一。

对于参考图像以外的图像，发现并提取参考图像或接近参考图像的图像(例如，相邻帧)中的特定点的位置坐标附近(在由图像捕获装置1的聚焦长度限定的、由相机抖动而造成的帧成分模糊范围内)的相同图像。

使用回放图像选择和检查帧。然后，可以检查提取的特定点。

可通过操作触摸面板、光标等修改参考图像以外的图像中提取的特定点。

此外，除了仅从参考图像提取/选择特定点外，还可从参考图像以外的图像提取可能的特定点并选择具有最小运动的特定点。还可以按运动的升序排列可能的特定点，并且允许用户选择其中之一。

此外，在参考图像和参考图像以外的图像之间可执行相关算术操作，以获得对应像素的变化作为特定点变化的运动矢量。

在自动或由用户设置特定点的情况下，可选择多个特定点而非一个特定点。

可选择多个点而非一个点作为特定点，并且可将各点处运动矢量的平均值或标量的最小值设置为特定点的变化。

可对多个选择的特定点加权以获得运动矢量的加权平均值。

在步骤F272中，CPU 31以上述方式提取图像数据元素#5到#11的每个的特定点，并且计算非参考图像数据元素相对于参考图像的特定点的位移量。例如，如果图像平面假定为XY坐标平面，则位移量可以是X轴和Y轴上的移动量。当以上述方式检测到特定点和位移量时，在步骤F273，CPU 31基于检测结果执行参考图像以外的图像的坐标变换。

例如，如果图像数据元素#5用作参考图像，则首先确定在图像数据元素#6中的特定点处的图像相对于在参考图像数据元素5中的特定点处的图像的位移量。因此，通过对应的位移量对图像数据元素#6执行坐标变换。具体地，执行坐标变换(图像在XY坐标上移动)使得图像数据元素#6中的特定点的位置(XY坐标值)可以匹配图像数据元素#5中的特定点的位置。对图像数据元素#7到#11也以类似方式执行坐标变换，使得图像数据元素#7到#11的每个的特定点的位置可以匹配参考图像数据元素#5中的特定点的位置。

然后，在步骤F274，对图像数据元素#5到#11的每个执行组合处理，并且将结果产生的图像作为预览图像显示在图像显示区域72中。

图50示出在此情况下获得的组合工作图像70。如图50所示，已经校正了相机抖动的影响的组合图像显示在图像显示区域72中。

相机抖动还可能影响运动的主被摄体。然而，在坐标变换后的组合中克服了相机抖动对主被摄体的影响。因此，可以实现平滑的长时间曝光效果图像。

对参考图像数据以外的图像数据进行坐标变换可能导致图像彼此不重叠的部分。为了防止这样的部分的出现，微调(trimming)处理可应用到图像数据。

在上述示例中，采用了用于检测来自图像数据自身的特定点的运动矢量的技术。替代地，可以传感器输出(例如，用于检测由模糊检测单元13检测的相机抖动的量和方向的传感器输出)包括在每个图像数据元素的元数据中，使得可以使用传感器输出的值确定每个图像数据元素相对于参考图像数据元素的位移量，以执行坐标变换。

图51示出在执行模糊校正后，根据由用户执行的加权系数操作生成的多闪光效果组合图像的示例。

利用图52所示的处理，用户可在以上述方式执行模糊校正后获得期望的图像效果。

现在将描述用于校正被摄体模糊的示例性处理。

通过从组合范围中的每个图像数据元素提取动态被摄体的图像区域、并且执行组合处理以将从组合用图像数据元素提取的动态被摄体的图像区域与一个组合用图像数据元素组合，来解决被摄体模糊。

图53示出其中通过将组合范围中的图像数据元素#5到#11进行组合获得的组合图像作为预览图像显示在图像显示区域72中的组合工作图像70。在此情况下，由于图像捕获期间的被摄体模糊，背景被摄体模糊。

因此，执行被摄体模糊校正。图54示出包括用于校正被摄体模糊的处理的示例性处理。在图54中，步骤F220到F225类似于图9中的步骤。在图54中，步骤F280到F284添加到图9中所示的处理。

例如，当在调整处理中显示图53所示的组合工作图像70时，如上所述，除了改变加权系数或改变组合范围的操作外，用户可通过操作预定操作键或选择菜单项目执行模糊校正操作。

当检测到由用户执行的模糊校正操作时，CPU 31将处理从步骤F280前进到步骤F281，并且首先执行参考图像选择处理。

参考图像选择处理可以类似于上面在相机抖动校正中描述的处理，并且可以是用于从组合范围中的图像数据元素#5到#11当中选择用于校正的参考图像数据元素的处理。

从由组合开始位置和组合结束位置限定的选择图像列表中选择顶部的帧作为参考图像。参考图像还可以是中间的帧。替代地，可允许用户选择参考图像使得可使用用户喜好的背景条件(即，在被摄体不运动的情况下在此状态下长时间曝光的帧)执行图像组合。

然后，在步骤F282，CPU 31执行运动图像选择处理。

可允许用户通过操作触摸面板、光标等，在例如参考图像或任何其他图像中选择要使用长时间曝光表现其运动的被摄体。根据用户操作，CPU 31确定运动图像。

然后，在步骤F283，CPU 31提取图像数据元素#5到#11的每个中的运动图像区域。即，CPU 31执行提取包括图像数据元素#5到#11的每个中的指定运动图像的坐标范围的处理。

可基于作为运动图像的轮廓的确定而执行区域提取。

还可在图像捕获期间获得距离分布信息作为元数据，并且距离信息中具有很大差异的部分可被确定为用于提取区域的轮廓部分。

替代地，可提取可被提取为区域的候选，并提示用户选择其中之一。

对于除了首先设置区域提取的图像以外的图像，发现并提取初始设置图像或接近初始设置图像的图像(例如，相邻帧)中的提取区域的位置坐标附近(在由基于分开曝光的曝光时间限定的被摄体模糊的范围内的)的相同图像。

使用回放图像选择和检查帧。即，可检查所提取的区域。还可通过操作触摸面板、光标等修改所提取的区域。

在自动设置或由用户选择运动图像区域的情况下，可选择多个区域而非一个区域。

如果捕获到用作运动图像的被摄体正在穿越屏幕(在视角内)的场景，则连续捕获的图像数据元素可以包括其中不出现要表现其运动的被摄体的图像数据元素。在此情况下，通过在显示屏幕上显示通知来通知用户，对于其中没有运动图像区域可提取的帧，在屏幕中没有发现可提取的候选。此外，由于用作运动图像的被摄体的快速运动，被摄体可能仅在一帧内出现。在此情况下，可通知用户，仅在一个图像数据元素中出现可提取的候选。

即，可以不必对所有帧执行区域提取，而仅对一个图像执行区域提取。

在执行区域提取后，在步骤F284，CPU 31执行组合处理。在此情况下，CPU 31执行将包括从图像数据元素#5到#11的每个提取的运动图像区域(即，要以长时间曝光效果表现其运动的被摄体)的数据与参考图像数据元素组合的处理。即，仅使用参考图像数据元素的整个屏幕和从剩余图像数据元素提取的区域执行组合。

在此处理中，仅仅该参考图像数据元素的背景用于产生除了所提取的运动图像以外的背景，并且将要表现其运动的主被摄体的图像(所提取的区域的图像)添加到参考图像数据元素的背景。

然后，在图像显示区域72中显示通过上述组合获得的预览图像。例如，如图50所示，获得背景被摄体不模糊的组合图像。因为仅使用参考图像数据元素形成背景图像(静态图像)，所以不出现模糊。

在以上述方式执行模糊校正后，根据用户操作，改变图像数据元素#5到#11的加权系数。因此，可实现各种拍摄表现。

注意到，根据用于组合的区域和其亮度级来自动调整组合图像的亮度或色彩，从而获得具有适当亮度/色彩的组合图像。例如，如果提取的区域是发白的或明亮的，则将获得整个组合图像的高亮度信息。基于亮度信息来计算用于执行曝光不足校正的值。

运动图像根据运动而变化。例如，当被摄体是人类或动物时，身体大小或姿势(如腿的方向或脖子的角度)根据图像数据元素#5到#11而不同。因此期望通过如下从每个图像数据元素执行区域提取：使用首先提取的运动图像作为参考，并在每个剩余图像数据元素中提取包括与所述运动图像类似的图像的区域。

所提取的区域可存储在图像捕获装置1的存储器(例如，闪存ROM 33)中，并且可用于随后的图像捕获或图像组合处理。

还可使用除上述以外的其他区域提取(区域划分)技术，如使用亮度信号的强度或阈值。例如，可使用亮度信号作为阈值来执行区域提取。这可提供与使用长时间曝光捕获的、夜景中移动的光束(例如，车辆的尾灯)的图像类似的组合图像。

接下来，将参照图55描述用于校正相机抖动和被摄体模糊两者的示例性处理。

这里，通过示例，将描述下述组合处理，其中从时间上连续的组合范围中的各个图像数据元素提取动态被摄体的图像区域；基于图像数据元素中的静态被摄体的所检测的运动矢量，对动态被摄体的各个提取图像区域执行坐标变换；然后将动态被摄体的图像区域与一个参考图像数据元素组合。

图55示出CPU 31的处理。步骤F290到F296示出在模糊校正操作中涉及的处理(剩余步骤，即，步骤F220到F225类似于图9示出的步骤)。

当检测到用户执行的模糊校正操作时，CPU 31将处理从步骤F290进行到步骤F291，并且首先以与图52和54所示示例中的方式类似的方式执行参考图像选择处理。

然后，在步骤F292，CPU 31以与图54所示示例中的方式类似的方式执行运动图像选择处理。然后，在步骤F293，CPU 31提取每个图像数据元素中的运动图像区域。

在步骤F294，如图52所示示例中那样，CPU 31对静态被摄体提取特定点，并检测该特定点的位移量。具体地，检测除了参考图像数据元素以外的每个图像数据元素中的静态被摄体的特定点的坐标位置相对于参考图像数据元素中的特定点的坐标位置的移动量。

在步骤F295，CPU 31利用该位移量，对从除参考图像数据元素以外的各个图像数据元素中作为运动图像提取的区域执行坐标变换。

例如，如果图像数据元素#5用作参考图像数据元素，则首先，使用检测的图像数据元素#6中的特定点相对于参考图像数据元素#5中的特定点的位移量，对从图像数据元素#6提取的运动图像区域执行坐标变换。还以类似方式对从图像数据元素#7到#11提取的运动图像区域执行坐标变换。

然后，在步骤F296，CPU 31执行组合处理。在此情况下，CPU 31执行将已经从图像数据元素#5到#11提取并且已经在步骤F295中进行坐标变换的运动图像区域(即，要用长时间曝光表现其运动的被摄体)的数据与参考图像数据元素组合的处理。即，使用参考图像数据元素的整个屏幕和从剩余图像数据元素提取的区域执行组合。

通过上述组合获得的预览图像显示在图像显示区域72中。例如，如图50所示，获得了背景被摄体不模糊的组合图像。由于仅通过参考图像数据元素形成背景图像(静态被摄体)，所以不出现相机抖动或被摄体模糊的影响。此外，在坐标变换之后组合用作运动图像的主被摄体的图像，从而不出现相机抖动的影响。

接下来，将参照图56描述用于校正相机抖动和被摄体模糊两者的另一示例性处理。

在此处理中，在对时间上连续的组合范围内的每个图像数据元素执行基于图像数据元素中的静态被摄体的所检测的运动矢量的坐标变换后，从每个图像数据元素提取动态被摄体的图像区域，并且执行组合处理使得从图像数据元素提取的动态被摄体的区域图像与一个参考图像数据元素组合。

图56示出CPU 31的处理。步骤F290、F291、F292、F297、F298、F299和F296示出在模糊校正操作中涉及的处理(剩余的步骤，即步骤F220到F225类似于图9中示出的步骤)。

当检测到用户执行的模糊校正操作时，CPU 31将处理从步骤F290前进到步骤F291，并且首先以与图52和54中示出示例的方式类似的方式执行参考图像选择处理。

然后，在步骤F292，CPU 31以与图54所示示例中的方式类似的方式执行运动图像选择处理。

然后，在步骤F297，如图52所示的示例，CPU 31提取静态被摄体的特定点，并且检测该特定点的位移量。具体地，检测除了参考图像数据元素以外的每个图像数据元素中的静态被摄体的特定点的坐标位置相对于参考图像数据元素中的特定点的坐标位置的移动量。

然后，在步骤F298，CPU 31使用位移量，对参考图像数据元素以外的各个图像数据元素执行坐标变换。

例如，如果图像数据元素#5用作参考图像数据元素，则首先，使用在图像数据元素#6中检测的特定点相对于参考图像数据元素#5的特定点的位移量对图像数据元素#6的整体执行坐标变换。还以类似方式对图像数据元素#7到#11执行坐标变换。

在对除了参考图像数据元素以外的各个图像数据元素执行坐标变换后，在步骤F299，CPU 31从图像数据元素#5到#11的每个提取运动图像区域。

然后，在步骤F296，CPU 31执行组合处理。在此情况下，CPU 31执行将从图像数据元素#5到#11提取的运动图像区域(即，要用长时间曝光效果表现其运动的被摄体)的数据与参考图像数据元素组合的处理。即，使用参考图像数据元素的整个屏幕和从剩余图像数据元素提取的区域执行组合。

通过上述组合获得的预览图像显示在图像显示区域72中。例如，如图50所示，获得了背景被摄体不模糊的组合图像。由于仅通过参考图像数据元素形成背景图像(静态被摄体)，所以不出现相机抖动或被摄体模糊的影响。此外，从已经进行坐标变换的图像数据元素#5到#11中提取主被摄体的图像用作运动图像，同样也克服了相机抖动的影响。

利用上述示例性处理，可以获得克服了相机抖动或被摄体模糊的影响的组合图像，并且用户可以更容易地获得他或她期望的组合图像。具体地，对图像捕获技术没有经验的用户可以获得组合图像，或可以校正在图像捕获期间背景被摄体的不期望的运动。

12.信息处理装置

在上述实施例中，使用图像捕获装置1执行图像捕获和组合处理。可使用除图像捕获装置1以外的设备执行组合处理。图57示出用作被配置为执行组合处理的装置的示例的信息处理装置，例如，个人计算机200。

图57示出个人计算机(以下称为“PC”)200的示例结构。

如图57所示，PC 200包括中央处理单元(CPU)211、存储器单元212、网络接口单元213、显示控制器214、输入设备接口单元215、硬盘驱动(HDD)接口单元216、键盘217、鼠标218、HDD 219、显示设备220、总线221、外部设备接口单元222、以及存储卡接口单元223。

可以是PC 200的主控制器的CPU 211根据存储器单元212中存储的程序执行各种控制处理。CPU 211经由总线221连接到其他单元。

总线221上的每个设备具有唯一的存储器地址或输入/输出(I/O)地址，并且CPU 211可使用所述地址来寻址各设备。总线221的示例可以是外围组件互连(PCI)总线。

存储器单元212被配置为包括易失性存储器和非易失性存储器两者。存储器单元212包括用于存储程序的如ROM的非易失性存储器、用作计算工作区域或各种数据的暂时存储的RAM、以及电可擦除和可编程只读存储器(EEPROM)。

存储器单元212用于存储由CPU 211执行的程序代码或如对PC 200唯一的标识信息的其他信息，或用作通信数据的缓冲区域或当其执行时用于工作数据的工作区域。

网络接口单元213根据如以太网(注册商标)的预定通信协议，将PC 200连接到如因特网或局域网(LAN)的网络。CPU 211可以经由网络接口单元213与连接到网络的装置通信。

显示控制器214是用于实际处理由CPU 211发出的渲染(rendering)命令的专用控制器。例如，显示控制器214支持对应于超级视频图形阵列(SVGA)或扩展图形阵列(XGA)标准的位图渲染功能。在显示控制器214中处理的渲染数据暂时写到例如帧缓冲器(未示出)，然后输出到显示设备220。显示设备220可以是例如有机EL显示器、阴极射线管(CRT)显示器、液晶显示器等。

输入设备接口单元215是用于将包括键盘217和鼠标218的用户输入设备连接到实现为PC 200的计算机系统的设备。

具体地，输入到PC 200的用户操作使用键盘217和鼠标218执行，并且将操作输入信息经由输入设备接口单元215提供到CPU 211。

HDD接口单元216执行用于对HDD 219执行写入/读取的接口处理。

HDD 219是这样的外部存储设备，其中如本领域所普遍的，用作存储介质的磁盘被固定地安装，并且比其他外部存储设备具有更大的存储容量和更高的数据传输率。将软件程序以可执行状态放置在HDD 219上被称为将程序“安装”到系统中。通常，HDD 219以非易失性状态存储由CPU 211执行的操作系统(OS)的程序代码、应用程序、设备驱动等。

例如当启动PC 200时或当启动用户层的应用程序时，存储到HDD 219中的程序展开(develop)到存储器单元212中。CPU 211基于存储器单元212中展开的程序执行处理。

外部设备接口单元222被配置为与根据如USB标准的标准连接的外部设备接口。

在本实施例中，外部设备的示例可包括例如数字照相机、摄像机、以及视频播放器。

PC 200可经由外部设备接口单元222，通过通信从数字照相机等获取图像数据。

外部设备接口单元222支持的标准不限于USB标准，而可以是如电气电子工程师协会(IEEE)1394的任何其他接口标准。

存储卡接口单元223被配置为从如存储卡的记录介质90读取数据/将数据写入如存储卡的记录介质90。

放置例如用于数字照相机例如上述图像捕获装置1、摄像机等的记录介质90。然后，可从记录介质90读取图像数据。

在具有上述结构的PC 200中，执行基于CPU 211中的软件配置(即，如应用程序、OS、和设备驱动的软件)的算术处理/控制操作以执行各种操作。

在本实施例中，可执行描述为图4所示的组合模式下的处理的步骤ST1到ST4的处理，即，目标图像选择/获取处理(ST1)、组合准备处理(ST2)、组合处理(ST3)和组合图像记录处理(ST4)。用于执行处理的程序安装到例如HDD 219中，并且当启动所述程序时展开到存储器单元212中。CPU 211根据在存储器单元212中展开的程序执行必要的算术处理或控制处理。

然后，在CPU 211中，当启动所述程序时，所述程序允许如图3所示的组合前处理单元52、组合处理单元53、记录/回放/发送控制单元54、操作检测单元55、显示控制单元56、和模板管理单元57被配置为功能块。

换句话说，参照图7、8和9描述的处理以及参照图19、22、36、38、40、44、52、54、55和56描述的处理在CPU 211中执行。

因此，用户可使用PC 200来执行用于获得如上所述各种图像效果的组合处理。

用于使得CPU 211执行上述处理的程序可以预先记录到用作合并在如PC 200的装置中的记录介质的HDD，或在具有CPU的微计算机中的ROM、闪存等。

替代地，所述程序可以暂时或永久存储(记录)到可移除记录介质，如软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光盘、磁盘、半导体存储器或存储卡。这种可移除记录介质可以作为所谓的封装软件而提供。

所述程序可经由如LAN或因特网的网络从下载站点下载，以及从可移除记录介质安装到个人计算机等中。

在具有上述结构的PC 200中，例如，HDD 219可存储各种类型的图像内容。例如，由用户使用数字照相机或摄像机捕获的图像内容可被获取并存储到HDD 219中。因此，用户可欣赏使用PC 200回放的捕获的图像。

例如，PC 200的外部接口单元222可连接到图像捕获装置1的外部接口8，使得使用图像捕获装置1捕获的图像数据可传送到PC 200并被获取。

在图像捕获装置1中使用的记录介质90(存储卡)还可放置在存储卡接口单元223中，使得PC 200可从记录介质90获取使用图像捕获装置1捕获的图像数据。

除了用户捕获的图像内容外，例如使用外部视频播放器等回放并从外部接口单元222获取的图像内容或使用网络接口单元213经由网络从外部服务器下载的图像内容也可存储到HDD 219中并被回放。

即，在PC 200中，例如已经使用数字照相机或摄像机捕获的、时间上具有连续性的图像数据的多个帧可加载到例如HDD 219中以用于使用。用户可使用PC 200来以与上述示例中的方式类似的方式对加载的图像数据执行组合处理。

例如，用户使用图像捕获装置1执行图5所示的步骤F15中的组合模式图像捕获，然后将图像数据的多个捕获的帧加载到PC 200中。然后，用户启动用于执行组合处理的软件以使得CPU 211执行描述为图4所示的组合模式下的处理的步骤ST1到ST4的处理。因此，可在更高可操作性环境中执行各种类型的图像组合，以创建具有各种图像效果的组合图像。

此外，不仅可对用户他或她自己捕获的图像执行组合处理，还可对PC 200上可用的各种类型的图像数据(运动图像内容)执行组合处理。

例如，可回放通过如下载的任何方式加载到HDD 219中的运动图像数据，或可连接图57中未示出的DVD驱动、蓝光盘驱动等，使得可回放如DVD或蓝光盘的光盘上记录的图像内容。在此情况下，对记录在光盘上的运动图像内容执行组合处理，从而生成具有如长时间曝光效果、先幕同步效果、后幕同步效果、或多闪光效果的期望的图像表示的组合图像。此外，合并或连接到电视广播调谐器等的装置可生成广播内容的组合图像。

在本实施例中，以示例方式将个人计算机用作信息处理装置。如移动电话、个人数字助理(PDA)、游戏单元、和视频编辑器的其他各种信息处理装置可以与上述方式类似的方式执行图像组合。

本领域技术人员应当理解，取决于设计需求和其他因素可出现各种修改、组合、子组合和更改，只要它们在所附权利要求或其等效物的范围内。

本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、子组合和更改，只要它们在权利要求或其等效物的范围内。

相关申请的交叉引用

本发明包含涉及于2008年3月25日向日本专利局提交的日本专利申请JP2008-078015的主题，在此通过引用合并其全部内容。

Claims (20)

1.一种图像处理装置，包括：

组合前处理单元，被配置为执行组合前处理，使得在时间上具有连续性的多个帧的图像数据用作待组合的组合用图像数据；

操作检测单元，被配置为检测用于组合处理的操作输入信息；以及

组合处理单元，被配置为根据由操作检测单元检测的操作输入信息，对在组合前处理中获得的多个帧的组合用图像数据执行组合处理，以便生成表示静态图像的组合图像数据。

2.如权利要求1所述的图像处理装置，其中，在组合前处理中，组合前处理单元对用作要组合的组合用图像数据的、在时间上具有连续性的多个帧的图像数据的每帧的图像数据执行亮度调整处理。

3.如权利要求2所述的图像处理装置，其中，在亮度调整处理中，组合前处理单元执行对用作组合用图像数据的图像数据的至少一些帧的图像数据的平均亮度级进行均衡的处理。

4.如权利要求3所述的图像处理装置，其中，在亮度调整处理中，组合前处理单元执行下述处理：从用作组合用图像数据的多个帧的图像数据之中提取不使用闪光而捕获的图像数据，并均衡所提取的图像数据的平均亮度级。

5.如权利要求1所述的图像处理装置，其中，组合处理单元对在时间上具有连续性的组合用图像数据当中由操作输入信息指定的时间轴上的范围内的多个帧的组合用图像数据执行组合处理，以便生成表示静态图像的组合图像数据。

6.如权利要求1所述的图像处理装置，其中，组合处理单元使用由操作输入信息指定的加权系数对所述多个帧的每个的组合用图像数据执行组合处理，以便生成表示静态图像的组合图像数据。

7.如权利要求1所述的图像处理装置，其中，组合处理单元使用由操作输入信息指定的加权系数，对在时间上具有连续性的组合用图像数据之中由操作输入信息指定的时间轴上的范围内的各帧的组合用图像数据执行组合处理，以便生成表示静态图像的组合图像数据，所述组合处理基于加权平均。

8.如权利要求1所述的图像处理装置，其中，组合处理单元使用组合用图像数据和插补图像数据执行组合处理，以便生成表示静态图像的组合图像数据，所述插补图像数据由插补处理使用组合用图像数据生成。

9.如权利要求1所述的图像处理装置，其中，组合处理单元在时间上具有连续性的组合用图像数据之中确定使用闪光而捕获的闪光图像，并且通过改变至少闪光图像的加权系数对组合用图像数据执行组合处理，以便生成移除了闪光效果的组合图像数据。

10.如权利要求1所述的图像处理装置，其中，组合处理单元在时间上具有连续性的组合用图像数据之中确定使用闪光而捕获的闪光图像，并且通过改变至少所确定的闪光图像的加权系数对组合用图像数据执行组合处理，以便生成校正了闪光效果的组合图像数据。

11.如权利要求1所述的图像处理装置，其中，组合处理单元对时间上具有连续性的组合用图像数据确定到被摄体的距离，根据所确定的距离分配加权系数，并且对组合用图像数据执行组合处理。

12.如权利要求1所述的图像处理装置，其中，组合处理单元对时间上具有连续性的组合用图像数据之中的分配了关于闪光的使用的加权系数的帧的组合用图像数据确定到被摄体的距离，根据所确定的距离分配加权系数，并且对组合用图像数据执行组合处理。

13.如权利要求1所述的图像处理装置，还包括显示控制单元，被配置为生成并输出组合工作图像数据，以显示表示要由组合处理单元执行的组合处理或组合处理的结果的组合工作图像。

14.如权利要求13所述的图像处理装置，其中所述显示控制单元生成并输出组合工作图像数据，使得所述组合工作图像数据包括回放运动图像，所述回放运动图像包括在组合前处理中获得的多个帧的组合用图像数据。

15.如权利要求13所述的图像处理装置，其中所述显示控制单元生成并输出组合工作图像数据，使得所述组合工作图像数据包括被用于指定时间轴上的范围的图像，所述范围是在组合前处理中获得的多个帧的组合用图像数据之中的用于组合处理的组合用图像数据的范围。

16.如权利要求13所述的图像处理装置，其中所述显示控制单元生成并输出组合工作图像数据，使得所述组合工作图像数据包括图像，所述图像包括其每个被分配到多个帧之一的组合用图像数据的加权系数的表示。

17.如权利要求13所述的图像处理装置，其中所述显示控制单元生成并输出组合工作图像数据，使得所述组合工作图像数据包括在使用多个帧的组合用图像数据执行的组合处理中生成的组合结果图像。

18.如权利要求13所述的图像处理装置，其中当执行给定组合处理时，显示控制单元生成并输出组合工作图像数据，使得所述组合工作图像数据包括在给定组合处理之后获得的图像和在给定组合处理之前获得的图像。

19.一种图像处理方法，包括如下步骤：

执行组合前处理，使得在时间上具有连续性的多个帧的图像数据用作待组合的组合用图像数据；

检测用于组合处理的操作输入信息；以及

根据操作输入信息，对在组合前处理中获得的多个帧的组合用图像数据执行组合处理，以便生成表示静态图像的组合图像数据。

20.一种用于使得计算机执行图像处理方法的程序，所述图像处理方法包括如下步骤：

执行组合前处理，使得在时间上具有连续性的多个帧的图像数据用作要组合的组合用图像数据；

检测用于组合处理的操作输入信息；以及

根据所检测的操作输入信息，对在组合前处理中获得的多个帧的组合用图像数据执行组合处理，以便生成表示静态图像的组合图像数据。

Images