CN101547309A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

公开了图像处理设备、图像处理方法和程序，该图像处理设备包括：预组合处理单元，其被配置为执行预组合处理，以便于将具有时间连续性的多帧图像数据用作待组合的组合使用图像数据；操作检测单元，其被配置为检测用于组合处理的操作输入信息；存储单元，其被配置为存储其每一个均具有分配给帧图像数据的加权系数的样式的系数模板；模板管理单元，其被配置为根据操作输入信息，选择存储单元中存储的系数模板之一；以及组合处理单元，其被配置为使用模板管理单元选择的系数模板，对预组合处理中获得的多帧的组合使用图像数据执行组合处理，以便于生成表示静止图像的经组合图像数据。

Description

图像处理设备、图像处理方法和程序

相关申请的交叉引用

本发明包含与2008年3月25日在日本专利局提交的日本专利申请JP2008-078018有关的主题，通过引用将其全部内容合并于此。

技术领域

本申请涉及图像处理设备、图像处理方法和用于图像处理的计算机程序。

背景技术

日本未审查专利申请公开2005-354166号、2004-219765号(对应于US7295232B2)、2006-86933号(对应于US 2006062433A1)以及2006-174069号(对应于US 2006127084A1)是现有技术的例子。

长时间曝光技术作为摄影或图像抓取技术是公知的。在此技术中，连续进行曝光达诸如几秒到几十秒或甚至超过几十分钟的某一段时间。

长时间曝光技术也被用于提供摄影表现(photographic representation)以及调整对象的亮度。

例如，通过长曝光时间抓取了夜景。由于光量低，增加曝光时间以收集足够的光量来获得夜景的拍摄。

长时间曝光技术也可以被用于其他目的。例如，有意地将光圈设置得低或者降低图像抓取灵敏度以表示对象的运动或者对焦多个运动物体之中的静止物体。

诸如在长时间曝光期间使用闪光(闪光设备)来实现诸如前帘(first-curtain)同步、后帘(second-curtain)同步和多闪光之类的各种效果的图像抓取技术也是公知的。

发明内容

然而，用户难以使用长时间曝光图像抓取来获得他们所期望的图像。

一些最新的图像抓取设备(比如数码相机)被设计使得照相机在正常图像抓取过程中进行测量以确定合适的曝光设置(光圈和快门速度)。然而，在包含长时间曝光的暗条件下，光线级别在由相机所确定的测量范围之外，并且未提供曝光设置。在这些情况下，用户需要根据其经验和直觉来确定诸如曝光时间和快门时间之类的设置。在实践中，这对于没经验的用户是很困难的。

日本未审查专利申请公开2005-354166号公开了一种用于使用组合处理来实现长时间曝光的图像效果的技术。

该技术包括在曝光期间作为由固态图像抓取元件接收到的光的结果而正在产生的图像的实时观察、在曝光期间分割地产生的图像抓取后的多个图像的选择和组合、以及在曝光期间不希望的图像的去除。

该技术使用在对象不运动(几乎不存在运动或者由于曝光时间足够长，因此即使对象运动，也没有运动模糊发生)的图像抓取条件下的长时间曝光摄影来提供满意的图像。这对于使用长时间曝光抓取诸如夜景的非运动场景是有效的。

然而，当用户希望抓取运动对象的静止图像，例如表示对象的运动的图像或者其中在多个运动的物体中对焦静止的物体的图像时，难以获得喜爱的图像。

也难以获得通过在曝光期间去除不希望的图像来提供运动的平滑表示的静止图像(比如当周围由经过的车辆的前灯照亮时所抓取的夜景的图像)。

尽管使用以上所述的前帘同步、后帘同步和多闪光效果作为摄影或者图像抓取呈现技术，但是用户需要根据其经验和直觉来确定诸如快门时间、曝光时间和闪光量的设置，以便获得他们希望的图像。这对于没有经验的用户也是很难的。

由于实际上在公共空间中存在诸如博物馆的“禁止闪光”的环境，因此可能不能获得具有诸如前帘同步、后帘同步和多闪光的效果的图像。

此外，由于闪光(firing a flash)消耗功率，因此需要用于闪光的电池或者电容器。这可能约束设备尺寸、功率消耗和成本的降低。

此外，在长时间曝光期间经常需要使用三脚架来支撑照相机以防止相机移动。因此拍摄者或用户除了照相机主体之外还要购买诸如三脚架之类的附件，并且还要携带这些附件。对于用户来说，照相机和附件的运送将成为负担，使得用户对准备长曝光时间的抓取图像感到气馁。

此外，在长时间曝光期间，对象的运动、相机抖动等可能引起抓取的图像中的所有运动图像的模糊。因此，难以获得用于抓取希望的图像的充分图像抓取条件。

此外，在长时间曝光图像抓取期间，例如，另一个拍摄者的闪光或者来自经过的车辆的瞬间照明将不能提供满意的合成图像。

因此希望允许不是专家的一般用户容易地实现各种图像效果，具体地，与长时间曝光效果类似的图像效果或者诸如前帘同步、后帘同步和多闪光之类的使用长时间曝光实现的图像效果。还希望允许用户容易地获得他们希望的图像。

在本发明的实施例中，图像处理设备包括：预组合处理单元，被配置以进行预组合处理，使得在时间上具有连续性的图像数据的多个帧被用作要组合的组合使用图像数据；操作检测单元，被配置以检测用于组合处理的操作输入信息；存储单元，被配置以存储每个具有被分配给帧的图像数据的加权系数的样式的系数模板；模板管理单元，被配置以根据由操作检测单元检测的操作输入信息来选择存储单元中所存储的系数模板中之一；以及组合处理单元，被配置以使用由模板管理单元选择的系数模板对预组合处理中获得的多个帧的组合使用图像数据进行组合处理，以生成表示静止图像的组合图像数据。

系数模板可以包括具有其中高的加权系数分配给连续帧中的起始帧并且其中低的加权系数分配给剩余帧的加权系数的样式的系数模板。即，获得了用于实现前帘同步效果的加权系数样式。

系数模板可以包含具有高的加权系数分配给连续帧中的末尾帧而低的加权系数分配给剩余帧的加权系数的样式的系数模板。即，获得了用于实现后帘同步效果的加权系数样式。

系数模板可以包含具有高加权系数和低加权系数被周期性地分配给连续帧的加权系数的样式的系数模板。即，获得了用于实现多闪光效果的加权系数样式。

在预组合处理中，预组合处理单元可以获得记录在记录介质上的、具有时间连续性的多帧图像数据，并且可以将所获得的多帧图像数据用作待组合的组合使用图像数据。

该图像处理设备还可以包括：图像抓取单元，其被配置为抓取对象的图像以获得图像数据；以及记录回放单元，其被配置为将图像抓取单元获得的图像数据记录到记录介质上，以及从该记录介质回放图像抓取单元获得的图像数据。在预组合处理中，预组合处理单元可以从记录在记录介质上的多帧图像数据检测多个连续或间断帧的图像数据，并且可以将检测到的多个连续或间断帧的图像数据用作待组合的组合使用图像数据。

该图像处理设备还可以包括显示控制单元，其被配置为生成用于从所述系数模板选择系数模板的显示数据并且将生成的显示数据输出为用于显示的图像数据。

该显示控制单元可以生成用于从所述系数模板选择系数模板的显示数据，以便于包含使用所示的系数模板而取得组合效果的图像，并且将生成的显示数据输出为用于显示的图像数据。

在本发明的另一实施例中，图像处理方法包括以下步骤：执行预组合处理，以便于将具有时间连续性的多帧图像数据用作待组合的组合使用图像数据；检测用于组合处理的操作输入信息；根据操作输入信息选择一个系数模板，其中，每一个系数模板均被存储为分配给帧图像数据的加权系数的样式；以及使用所选择的系数模板，对预组合处理中获得的多帧的组合使用图像数据执行组合处理，以便于生成表示静止图像的经组合图像数据。

在本发明的再另一实施例中，程序使得运算处理设备执行上述步骤。

在本发明的实施例中，组合具有时间连续性的多帧图像数据，即已经以影片方式抓取的图像数据的序列，以获得应用了长时间曝光效果的组合图像。

在此情况下，首先，在预组合处理中，获得多帧图像数据作为组合使用的图像数据。例如，通过图像抓取操作获得的图像数据、或者使用用户的设备或任意其他设备抓取的并被记录到某个记录介质上的图像数据的序列可以用作组合使用的图像数据。

在组合处理中，用户进行操作输入以选择系数模板。系数模板被存储为适合于诸如前帘同步效果、后帘同步效果、和多闪光效果之类的各种效果的加权系数的样式。

在组合处理中，使用所选择的系数模板进行组合处理。具体地，在系数模板中指定的加权系数被分配给多帧的组合使用图像数据，以便产生表示静止图像的组合图像数据。因此，用户可以仅通过选择系数模板就获得具有所希望的效果的图像。

可以在包括诸如数码相机之类的图像抓取设备和诸如个人计算机之类的信息处理设备的各种设备中实现根据本发明的实施例的图像处理设备和图像处理方法。

因此，根据本发明的实施例，一般用户可以容易地获得类似于长时间曝光和其他特定效果的、可能仅由相关技术中的专家实现的图像效果和在现有技术的图像抓取中还不能实现的图像效果。例如，可以促进增强的摄影表现或者更有创造性的摄影表现，具体地，在组合处理中，用户可以仅通过选择系数模板就获得具有希望的效果的图像。因此，与使用高性能图像抓取技术而获得的图像等效的图像。

另外，作为用于帮助选择系数模板的输出图像向用户显示其中示出了使用系数模板实现的组合效果的图像。因此，即使不熟悉各种高性能图像抓取技术的用户也能够容易地获得该技术的效果。

附图说明

图1是根据本发明的实施例的图像抓取设备的框图；

图2A和图2B分别是根据所述实施例的图像抓取设备的外部前视图和后视图；

图3是示出根据所述实施例的图像抓取设备中的中央处理单元(CPU)的功能性结构的框图；

图4是示出根据所述实施例的图像抓取设备的模式操作的图；

图5是示出根据所述实施例的图像抓取设备的相机模式处理的流程图；

图6是示出使用根据所述实施例的图像抓取设备抓取的图像的图；

图7是示出根据所述实施例的组合预备处理的流程图；

图8是示出根据所述实施例的组合处理的流程图；

图9是示出根据所述实施例的调节处理的流程图；

图10是示出根据所述实施例的、在回放开始时获得的组合工作图像的图；

图11是示出根据所述实施例的、当指定组合开始位置时获得的组合工作图像的图；

图12是示出根据所述实施例的、当指定组合结束位置时获得的组合工作图像的图；

图13是示出在根据所述实施例的调节处理中的初始状态下获得的组合工作图像(具有长时间曝光效果)的图；

图14是示出根据所述实施例的、当改变加权系数以便实现前帘同步效果时获得的组合工作图像的图；

图15是示出根据所述实施例的、当在图14中所示的状态中改变组合范围时获得的组合工作图像的图；

图16是示出根据所述实施例的、当改变加权系数以便实现后帘同步效果时获得的组合工作图像的图；

图17是示出根据所述实施例的、当在图16中所示的状态中改变组合范围时获得的组合工作图像的图；

图18是示出根据所述实施例的、当改变加权系数以便实现多闪光效果时获得的组合工作图像的图；

图19是示出根据所述实施例的、用于在调节处理中在改变之前显示所组合图像的示例性处理的流程图；

图20是示出根据所述实施例的、当在调节处理中显示改变之前的所组合图像时获得的组合工作图像的图；

图21是示出根据所述实施例的系数模板选择屏幕的图；

图22是示出根据所述实施例的、使用系数模板的示例性处理的流程图；

图23是示出根据所述实施例的、在图像抓取期间的系数模板选择屏幕的图；

图24A到图24D是示出根据所述实施例的、在使用电子快门和不使用电子快门的情况下获得的组合图像的图；

图25A到图25D是示出根据所述实施例的曝光调节控制方法的示例的图；

图26A到图26D是示出根据所述实施例的、优选地使用除了电子快门之外的功能的曝光调节控制方法的图；

图27是示出根据所述实施例的、优选地使用除了电子快门之外的功能的曝光调节控制的流程图；

图28A到图28D是示出根据所述实施例的、以固定帧速使用分开曝光而获得的组合图像的图；

图29A到图29C是示出根据所述实施例的、以固定帧速使用分开曝光的帧的产生的图；

图30A到图30D是示出根据所述实施例的、使用连续和不连续曝光时间获得的组合图像的图；

图31A到图31C是示出根据所述实施例的可变帧速操作的图；

图32A到图32D是示出根据所述实施例的、使用可变帧速的曝光调节方法的图；

图33是示出根据所述实施例的、使用可变帧速的曝光调节控制的流程图；

图34A到图34D是示出根据所述实施例的、在使用帧间内插和不使用帧间内插的情况下获得的组合图像的图；

图35A和图35B是示出根据所述实施例的帧间内插的图；

图36是示出根据所述实施例的、包括帧内插的示例性处理的流程图；

图37是示出根据所述实施例的、当执行闪光去除(flash removal)时获得的组合工作图像的图；

图38是示出根据所述实施例的、包括闪光去除的示例性处理的流程图；

图39是示出根据所述实施例的、当执行闪光校正(flash correction)时获得的组合工作图像的图；

图40是示出根据所述实施例的、包括闪光校正的示例性处理的流程图；

图41是示出根据所述实施例的组合工作图像的图；

图42是示出根据所述实施例的、当实现多闪光效果时获得的组合工作图像的图；

图43是示出根据所述实施例的、当执行基于距离的闪光校正时获得的组合工作图像的图；

图44是示出根据所述实施例的、包括基于距离的闪光校正的示例性处理的流程图；

图45是示出根据所述实施例的、对于全部图像执行基于距离的校正时获得的组合工作图像的图；

图46是示出根据所述实施例的、当组合闪光图像时获得的组合工作图像的图；

图47是示出根据所述实施例的、当执行基于距离的闪光校正时获得的组合工作图像的图；

图48A到图48C是示出根据所述实施例的、其中出现模糊的组合图像的图；

图49是示出根据所述实施例的、其中显示受相机抖动影响的组合图像的组合工作图像的图；

图50是示出根据所述实施例的、其中显示相机抖动校正之后的组合图像的组合工作图像的图；

图51是示出根据所述实施例的、其中显示相机抖动校正之后应用了多闪光效果的组合图像的组合工作图像的图；

图52是示出根据所述实施例的、包括相机抖动校正的示例性处理的流程图；

图53是示出根据所述实施例的、其中显示受对象模糊影响的组合图像的组合工作图像的图；

图54是示出根据所述实施例的、包括对象模糊校正的示例性处理的流程图；

图55是示出根据所述实施例的、包括相机抖动校正和对象模糊校正的示例性处理的流程图；

图56是示出根据所述实施例的、包括相机抖动校正和对象模糊校正的另一示例性处理的流程图；以及

图57是示出根据本发明的实施例的信息处理设备的示例结构的示意图；

具体实施方式

在下文中将以如下顺序描述本发明的实施例：

1、图像抓取设备的结构

2、操作模式

3、相机模式处理

4、组合模式处理

4-1：组合预备处理

4-2：组合处理

4-3：使用改变之前和之后的显示图像的示例性调节处理

5、基于模板的处理

6、以固定帧速的图像抓取操作

7、以可变帧速的图形抓取操作

8、示例性组合模式处理：帧内插

9、示例性组合模式处理：闪光去除/校正

10、示例性组合模式处理：基于距离的校正

11、示例性组合模式处理：模糊校正

12、信息处理设备

1、图像抓取设备的结构

现在将参照图1到图3，在数码相机的结构的情况下，描述根据本发明的实施例的图像抓取设备的结构。

图2A和2B分别是根据本发明的实施例的图像抓取设备1的外部前视图和后视图。如图2A和2B所示，图像抓取设备1可以是例如非专业的普通用户经常使用的数码相机。

图像抓取设备1包括位于其前侧的图像抓取镜头单元21a和闪光单元15以及位于其后侧的显示面板6。显示面板6可以是液晶面板、有机电致发光(EL)面板等。图像抓取设备1进一步包括用于用户操作的合适位置处的操作器(operator)。例如，操作键5a、5b、5c、5d、5f和5g用作提供多种操作功能的按键，包括快门操作键、模式操作键、广角/远距操作键、菜单操作键、曝光校正指示键和回放键。还放置了其他操作器，包括转盘操作单元5h和十字键(cross key)5i。转盘操作单元5h用于例如图像抓取模式的选择等。十字键5i用于诸如显示面板6上显示的操作菜单条目的选择/设置之类的多种操作。

将参照例如图1，描述图像抓取设备1的示例结构。

如图1所示，图像抓取设备1包括图像抓取系统2、控制系统3、相机数字信号处理器(DSP)4、操作单元5、显示面板6、显示控制器7、外部接口(I/F)8、同步动态随机存取存储器(SDRAM)9和介质接口10。

图像抓取系统2被配置为执行图像抓取操作。图像抓取系统2包括镜头机构单元21、光圈/中性密度(ND，neutral density)滤光片机构22、图像抓取元件单元23、模拟信号处理单元24、模拟数字(A/D)转换单元25、镜头驱动单元26、镜头位置检测单元27、定时产生电路28、模糊检测单元13、发光驱动单元14、闪光单元15、镜头驱动器17、光圈/ND驱动器18和图像抓取元件驱动器19。

通过镜头机构单元21和光圈/ND滤光片机构22将来自对象的入射光引至图像抓取元件单元23。

镜头机构单元21被集成到图2A中所示的图像抓取镜头单元21a中，并且具有多个光学透镜，包括保护镜头(coverlens)、对焦镜头和变焦镜头。镜头驱动单元26用作将对焦镜头或变焦镜头沿光轴移动的镜头移动机构。当通过使用镜头驱动器17来施加驱动功率时，镜头驱动单元26移动对焦镜头或变焦镜头。由中央处理单元(CPU)31(这将在下面描述)来控制镜头驱动器17以执行对焦控制或变焦操作。

光圈/ND滤光片机构22包括光圈机构和被插入到镜头光学系统中以减弱(调节)入射光量的ND滤光片机构。光圈/ND滤光片机构22被配置为调节光强。

光圈/ND驱动器18通过开启和关闭光圈机构来调节入射光量。光圈/ND驱动器18还通过插入和去除沿入射光的光轴的ND滤光片来调节入射光量。CPU 31控制光圈/ND驱动器18以驱动光圈机构或ND滤光片来控制入射光量(或执行曝光调节控制)。

通过镜头机构单元21和光圈/ND滤光片机构22来传送来自对象的光通量(light flux)，并且在图像抓取元件单元23上形成对象图像。

图像抓取元件单元23光电地转换所形成的对象图像，并输出与对象图像对应的所抓取的图像信号。

图像抓取元件单元23具有由多个像素形成的矩形图像抓取区域，并且在逐个像素的基础上，顺序地将图像信号输出到模拟信号处理单元24，所述图像信号的每一个均为与像素之一中累积的电荷量相对应的模拟信号。图像抓取元件单元23可以由例如电荷耦合装置(CCD)传感器阵列、互补金属氧化物半导体(CMOS)传感器阵列等实施。

模拟信号处理单元24包括诸如相关双采样(CDS)电路和自动增益控制(AGC)电路之类的内部电路。模拟信号处理单元24对从图像抓取元件单元23输入的图像信号执行预定的模拟处理。

A/D转换单元25将模拟信号处理单元24处理的模拟信号转换为数字信号，并将数字信号提供到相机DSP4。

由CPU 31控制定时产生电路28以控制图像抓取元件单元23、模拟信号处理单元24和A/D转换单元25的操作的定时。

具体地说，定时产生电路28通过图像抓取元件驱动器19将用于控制图像抓取元件单元23的图像抓取操作的定时的信号(如，曝光/电荷读定时信号、用于提供电子快门功能的定时信号、传送时钟信号和根据帧速的同步信号)提供到图像抓取元件单元23。定时产生电路28还将定时信号提供到模拟信号处理单元24以便模拟信号处理单元24可以与来自图像抓取元件单元23的图像信号的传送相同步地执行处理。

CPU 31可以控制由定时产生电路28产生的定时信号，以改变用于图像抓取的帧速或者执行电子快门控制(曝光时间的帧内可变控制)。此外，例如，CPU 31可以通过定时产生电路28将增益控制信号施加于模拟信号处理单元24，以执行所抓取图像信号的可变增益控制。

模糊检测单元13被配置为检测相机抖动的量。模糊检测单元23由例如加速传感器(acceleration sensor)、振动传感器等形成，并将检测到的信息作为模糊量提供到CPU 31。

闪光单元15由发光驱动单元14驱动以发光。CPU 31指示发光驱动单元14在用户操作等中指定的预定时间处闪光，以便可以从闪光单元15发出光。

相机DSP4对从图像抓取系统2的A/D转换单元25输入的所抓取的图像信号执行多种数字信号处理。

在相机DSP 4中，例如，如图1所示，诸如图像信号处理单元41、压缩/解压缩处理单元42、SDRAM控制器43和信息产生单元44之类的处理功能由内部硬件或软件实施。

图像信号处理单元41对输入的所抓取的图像信号执行处理。例如，图像信号处理单元41使用所抓取的图像信号执行用于控制图像抓取系统2的驱动的算术处理，如自动对焦处理和自动光圈(auto-iris)(自动曝光(AE))处理，并且还执行用于输入的所抓取图像信号本身的处理，如自动白平衡(AWB)处理。

例如，在自动对焦处理，图像信号处理单元41执行输入的所抓取图像信号的对比度检测，并将检测到的信息发送到CPU 31。作为自动对焦控制方法，多种控制技术都是可用的。在所谓的对比度AF技术中，在强行移动对焦镜头的情况下，在每一个时间点执行所抓取图像信号的对比度检测，并确定在最佳对比度状态中对焦镜头的位置。具体地说，在图像抓取操作之前，CPU 31执行控制以便检查图像信号处理单元41检测到的对比度检测值，同时控制对焦镜头的移动，并且将最佳对比度状态处的位置设置为最佳对焦位置。

在图像抓取期间，CPU 31可以使用所谓的摆动AF(wobblingAF)的检测方法来执行对焦控制。在图像抓取操作期间，CPU 31检查由图像信号处理单元41检测到的对比度检测值，同时使对焦镜头不断轻微地前后移动。尽管对焦镜头的最佳位置可能根据对象的状况而变化，但是通过轻微地前后移动对焦镜头的位置可以执行对比度检测，由此根据对象的改变来确定对焦控制方向中的改变。因此，可以根据对象情形来执行自动对焦。

注意，镜头驱动单元26中的镜头移动机构被分配用于各个移动位置的地址，并且使用移动位置的地址来识别镜头位置。

镜头位置检测单元27识别对焦镜头的当前镜头位置的地址，以计算到焦点对准对象(in-focus subject)的距离，并将关于计算出的距离的距离信息提供到CPU 31。因此，CPU 31可以确定到焦点对准的主要对象的距离。

在由相机DSP 4的图像信号处理单元41执行的自动光圈处理中，例如，计算对象亮度。例如，计算输入的所抓取的图像信号的平均亮度，并且将关于计算出的平均亮度的对象亮度信息或曝光信息提供到CPU 31。可以使用多种方法来计算平均亮度，如计算所抓取图像数据的一帧的所有像素的亮度信号的平均值，或者计算当一权重被分配到图像的中央部分时亮度信号的平均值。

CPU 31可以基于曝光信息来执行自动曝光控制。具体地说，使用光圈机构、ND滤光片、图像抓取单元23中的电子快门控制或用于模拟信号处理单元24的增益控制来执行曝光调节。

除了产生用于自动对焦操作和自动光圈操作的信号的处理之外，相机DSP 4的图像信号处理单元41还执行对所抓取图像信号本身的信号处理，如自动白平衡、伽玛(γ)校正、边缘增强和相机抖动校正。

相机DSP 4中的压缩/解压缩处理单元42对所抓取的图像信号执行压缩处理，或者对经压缩的图像数据执行解压缩处理。例如，压缩/解压缩处理单元42根据诸如联合图像专家组(JPEG)或运动图像专家组(MPEG)技术之类的技术来执行压缩处理/解压缩处理。

SDRAM控制器43执行对SDRAM 9的写/读。SDRAM 9用于例如临时存储从图像抓取系统2输入的所抓取的图像信号、在图像信号处理单元41或压缩/解压缩处理单元42执行的处理中存储数据或保留工作区域、或者存储由信息产生单元44获得的信息。SDRAM控制器43对SDRAM 9执行这种数据的写/读。

信息产生单元44在下面描述的组合处理中产生用于多种操作的信息。例如，信息产生单元44产生表示到所抓取的图像信号屏幕中的对象的距离的距离分布信息。距离分布信息可以是例如关于以像素为单位到该对象的距离以及到主要对象的距离的信息。所述信息还可以被称为深度图。

在上述摆动AF等期间，通过分析模糊量可以执行用于产生距离分布信息的基于像素的距离信息的确定。可替代地，可以提供被配置为发射具有非可见光的特定波长的辅助光的发光单元(未示出)，并且可以测量在其期间特定波长的光线在已经被发射之后返回的时间段以便在逐像素的基础上确定到对象的距离。

控制系统3包括CPU 31、随机存取存储器(RAM)32、闪速只读存储器(ROM)33和时钟电路34。控制系统3中的每一个单元、相机DSP 4中的每一个单元、图像抓取系统2中的每一个单元、显示控制器7、外部接口8和介质接口(media interface)10被配置为经由系统总线彼此传送图像数据或控制信息。

CPU 31控制图像抓取设备1的整体操作。具体地说，CPU 31根据内部ROM等中存储的程序以及根据使用操作单元5的用户操作来执行多种算术处理或与对应单元交换控制信号等，以便使所述单元执行必要的操作。CPU 31还执行用于下面描述的图像组合的进一步处理，如算术处理和图像分析处理。

RAM 32临时存储由相机DSP 4处理的所抓取的图像信号(每一帧的图像数据)，或者存储用于下面描述的组合处理的图像数据以及与CPU 31的多种处理对应的其他信息。

闪速ROM 33用于存储要以非易失性方式保存的、表示所抓取的图像(已经由用户作为静止图像或运动图像抓取)的图像数据或其他信息。闪速ROM33还可以用于存储控制图像抓取设备1的软件程序、相机设置数据等。闪速ROM 33还用于存储下面描述的组合处理所使用的系数模板。

时钟电路34执行时间计数，以确定当前时间信息(年、月、日、时、分和秒)。

操作单元5包括图2A和2B所示的操作器以及用于根据操作器的操作产生信号的信号产生单元。将基于操作器的用户操作信息从操作单元5传送到CPU 31。

操作单元5可以被配置为允许触摸面板操作以及使用操作器的操作。具体地说，可以向显示面板6提供触摸传感器，以便可以响应于用户对屏幕的触摸来执行操作输入。

在CPU 31的控制之下，显示控制器7使显示面板6执行必要的显示操作。显示面板6上的显示操作的示例可以包括监视器的显示(所谓的实况视图显示或运动图像/静止图像抓取监视器的显示)、从记录介质90或闪速ROM33读取的回放图像的显示、操作菜单的显示、多种图标的显示、时间和日期的显示以及关于下面描述的组合处理的显示。

在CPU 31的控制之下，介质接口10执行对记录介质90(如，置于图像抓取设备1中的存储卡(卡型可拆卸存储器))的数据的读/写。例如，介质接口10执行将作为图像抓取结果获得的静止图像数据或运动图像数据记录到记录介质90上的操作。介质接口10进一步执行从记录介质90读取用于下面描述的组合处理的图像数据的操作。

虽然作为示例，记录介质90作为便携式存储卡来实施，但是记录介质90也可以是记录要作为图像抓取的结果保存的静止图像或运动图像的图像数据的任何其他记录介质。例如，可以使用便携式盘介质(如光盘)，或者可以集成硬盘驱动器(HDD)并用于记录。

外部接口8根据一信号标准(如通用串行总线(USB)标准)、经由预定线缆向外部装置发送多种数据，或者从外部装置接收多种数据。外部接口8可以是遵从除了USB之外的标准(如电气和电子工程师协会(IEEE)1394标准)的外部接口。

代替有线传送接口，外部接口8可以是无线传送接口(如红外传送接口或近场通信接口)。

图像抓取设备1被配置为经由外部接口8向个人计算机或其他多种装置发送数据，或者从个人计算机或其他多种装置接收数据。例如，图像抓取设备1可以将所抓取的图像数据或作为组合处理的结果获得的图像数据传送到外部装置。

在本实施例的图像抓取设备1中，CPU 31根据在其中存储的程序，执行图像抓取操作控制或算术处理以及对于下面描述的多种操作的控制。图3示出了由CPU 31的算术处理实施的操作功能。具体地说，将图像抓取控制单元51、预组合处理单元52、组合处理单元53、记录/回放/传送控制单元54、操作检测单元55、显示控制单元56和模板管理单元57形成为软件功能块。

图像抓取控制单元51执行图像抓取操作控制。具体地说，图像抓取控制单元51控制图像抓取系统2中或相机DSP 4中的每一个单元以抓取对象图像。图像抓取控制单元51执行其他处理，如自动对焦处理、自动曝光调节处理和闪光控制处理。

预组合处理单元52可以执行预组合处理，以便将用于下面描述的组合处理的、具有时间连续性的多个帧的图像数据用作待组合的图像数据(在下文中，称为“组合使用图像数据”)。例如，预组合处理单元52可以获得在记录介质90上记录的、具有时间连续性的多个帧的图像数据，并使用所获得的多个帧的图像数据作为组合使用图像数据。术语“具有时间连续性的多个帧的图像数据”指的是可以从通过一系列时间连续图像抓取动作获得的多个帧中提取的图像数据的多个连续或间断的帧。预组合处理单元52可以获得从外部装置提供的图像数据的序列作为用于组合处理的目标。

预组合处理单元52可以对用作组合使用图像数据的、具有时间连续性的多个帧的图像数据中的每一个的图像数据进一步执行亮度调节处理。亮度调节处理可以是均衡用作组合使用图像数据的所有或部分帧的图像数据的图像数据的平均亮度级别的处理。特别地，在不使用闪光的情况下抓取的图像数据的帧可以从用作组合使用图像数据的多个帧的图像数据之中提取，并且可以均衡所提取的图像数据的平均亮度级别。

组合处理单元53根据操作输入信息，可以对由预组合处理单元52在预组合处理中获得的组合使用图像数据执行组合处理，以便产生表示静止图像的组合图像数据。

例如，组合处理单元53可以对具有时间连续性的组合使用图像数据之中，由操作输入信息指定的时间轴上的范围内的多个帧的组合使用图像数据执行组合处理，以便产生表示静止图像的组合图像数据。

此外，组合处理单元53可以使用由操作输入信息指定的加权系数、对多个帧中的每一个的组合使用图像数据执行组合处理，以便产生表示静止图像的组合图像数据。

组合处理单元53可以使用经加权的平均值、对多个帧中的每一个的组合使用图像数据进一步执行组合处理，以便产生表示静止图像的组合图像数据。

除了上述处理之外，组合处理单元53可以执行用于下面描述的多种组合处理的算术运算。

记录/回放/传送控制单元54指示介质接口10控制从记录介质90的读取或向记录介质90的写入。例如，记录/回放/传送控制单元54可以指示介质接口10：记录介质90上记录的、具有时间连续性的多个帧的图像数据被读取，以便被预组合处理单元52获得。

记录/回放/传送控制单元54可以进一步执行将组合处理单元53产生的组合图像数据记录在记录介质90上的处理或经由外部接口8将组合图像数据传送到外部装置的处理。

操作检测单元55检测由用户提供的操作输入信息。具体地说，操作检测单元55检测来自操作单元5的输入信息。基于操作检测单元55检测到的操作输入信息，执行图像抓取控制单元51中的图像抓取操作控制、预组合处理单元52中的预组合处理、组合处理单元53中的组合处理以及记录/回放/传送控制单元54中的控制处理。

显示控制单元56指示显示控制器7执行显示面板6上的必要显示。例如，执行图像抓取或回放图像的显示期间的监视器显示。

在组合处理单元53的组合处理中，显示控制单元56产生组合工作图像数据并将其输出到显示控制器7，以在显示面板6上显示组合工作图像。

组合工作图像数据可以是包括包含在预组合处理中获得的多个帧的组合使用图像数据的回放运动图像、用于指定时间轴上的范围的图像(所述范围是在多个帧的组合使用图像数据之中在组合处理中使用的组合使用图像数据的范围)、包括加权系数(其每一个被分配到多个帧中之一的组合使用图像数据)的表现的图像、以及在使用多个帧的组合使用图像数据执行的组合处理中产生的组合图像(如作为组合处理的结果获得的预览图像)的显示数据。当执行给定的组合处理时，显示控制单元56可以进一步产生组合工作图像数据，以便包括在给定组合处理之前和之后获得的图像二者，并且可以将产生的组合工作图像数据输出到显示控制器7以在显示面板6上显示对应的图像。

显示控制单元56可以进一步将组合处理中最终产生的组合图像数据输出到显示控制器7作为用于显示的图像数据，并且可以在显示面板6上显示对应的图像。

模板管理单元57被配置为管理准备的系数模板以简化组合处理中的用户操作，并且选择系数模板。

如下面描述的那样，可以将加权系数分配到待组合的多个帧的图像数据中的每一个。例如，创建用于实现诸如前帘同步效果、后帘同步效果和多闪光效果之类的图像效果的加权系数样式(pattern)作为在例如闪速ROM 33等中存储的模板。在诸如当操作检测单元55检测到用户操作时或者当通过使用显示控制单元56显示来自模板的用于选择的图像时之类的情况下，模板管理单元57根据用户操作执行选择系数模板的处理并将所选择的系数模板发送到组合处理单元53，以便所选择的系数模板可以用在组合处理中。

2、操作模式

图4示出了本实施例的图像抓取设备1的操作模式。在本实施例的图像抓取设备1中，根据用户操作，将操作模式改变到相机模式、回放模式和组合模式。在实践中，可以提供诸如允许与外部装置通信的通信模式之类的其他模式，为了说明的简化而将其省略。

相机模式是在其中图像抓取系统2执行图像抓取的模式。也就是说，相机模式是在其中用户使用相机正常抓取图像的操作模式。在相机模式中，如图4所示的多种图像抓取模式都是可用的。

组合模式图像抓取是在其中抓取用于在下面描述的组合处理的图像的图像抓取模式，这是本实施例特有的操作。抓取具有时间连续性的多个帧，并且将多个帧的图像数据记录在记录介质90上。

在下面的描述中，在图像抓取操作中，将作为图像抓取的结果获得的图像数据存储在记录介质90上。图像数据可以存储在闪速ROM 33中，而非记录介质90中。可以使用另一种操作方法，其中将图像数据正常地记录在记录介质90上，并且在没有放置记录介质90时将其记录在闪速ROM 33中。

自动模式是在其中使用图像抓取设备1自动地执行诸如光圈值、快门速度和国际标准化组织(ISO)灵敏度之类的最佳设置的图像抓取模式。

人像模式是在其中使用对于提供人的拍摄来说最佳的设置来执行图像抓取的图像抓取模式。

风景模式是在其中使用对于提供风景的拍摄来说最佳的设置来执行图像抓取的图像抓取模式。

微距模式(macro mode)是在其中使用对于提供比通常更接近于相机的对象的拍摄来说最佳的设置来执行图像抓取的图像抓取模式。可以提供特殊的微距模式，即用于提供花和昆虫的清楚且生动的微距拍摄的自然微距模式。

运动模式是在其中使用对于提供动作的拍摄来说最佳的设置来执行图像抓取的图像抓取模式。

日落景象模式是在其中使用对于提供日落景象的拍摄来说最佳的设置来执行图像抓取的图像抓取模式。

夜景模式是在其中使用对于提供夜景的拍摄来说最佳的设置来执行图像抓取的图像抓取模式。

影片模式是在其中抓取运动图像的图像抓取模式。

可以提供其他模式，如适用于在夜景中提供人的拍摄的夜间人像模式以及适用于提供焰火的拍摄的焰火模式。

在设置相机模式之后，用户从上述图像抓取模式之中选择期望的图像抓取模式，由此执行图像抓取操作以获得适用于对象类别或情形的所抓取的图像。

为了获得具有特殊效果(如下面描述的长时间曝光效果、前帘同步效果、后帘同步效果或多闪光效果)的图像，在后面的组合处理中，用户执行组合模式图像抓取以创建具有期望效果的图像。

在相机模式中，CPU 31中的图像抓取控制单元51、操作检测单元55、显示控制单元56和记录/回放/传送控制单元54彼此配合以控制图像抓取系统2，并控制记录操作和显示操作以抓取图像，显示所抓取的图像数据的图像，并记录所抓取的图像数据。

回放模式是在其中回放所抓取的、记录在记录介质90上或闪速ROM 33中的图像的操作模式。

根据用户操作，CPU 31执行控制以读取记录在记录介质90或闪速ROM33中的图像，回放并且在显示面板6上显示图像。

在回放模式中，CPU 31中的操作检测单元55、显示控制单元56和记录/回放/传送控制单元54彼此配合以控制回放操作和显示操作，以执行图像数据的显示等。

组合模式是在其中具有时间连续性的多个帧的图像数据用作组合使用图像数据以执行组合处理的操作模式。CPU 31根据用户操作前进到(advance)组合处理。

在组合模式中，在步骤ST1和ST2，CPU 31执行预组合处理。首先，在步骤ST1，CPU 31执行目标图像选择/获取处理。例如，选择在组合模式图像抓取中抓取的、具有时间连续性的图像数据的序列，并将其获取为组合处理中使用的组合使用图像数据。

在步骤ST2，CPU 31执行组合预备处理。如下面描述的那样，组合预备处理是用于执行例如所获取的图像数据的序列的亮度调节(曝光调节)并均衡图像数据的所述序列的图像数据元素的亮度状态，以便图像数据元素变为处于适于组合处理的状态的处理。

在步骤ST1和ST2中的预组合处理已经完成之后，在步骤ST3，CPU 31执行组合处理。在这种情况下，CPU 31根据用户操作、使用组合使用图像数据的序列，前进到组合处理。还将在下面详细地描述该组合处理。

当使用组合处理产生作为组合的最终结果的组合图像数据时，在步骤ST4，CPU 31执行组合图像记录处理。

具体地说，CPU 31通过介质接口10将使用组合处理产生的组合图像数据记录在记录介质90上。可替代地，可以将组合图像数据记录在闪速ROM 33中。因此，其后，用户可以如期望的那样回放组合图像。

CPU 31还可以将组合图像数据发送到与外部接口8连接的外部装置。因此，例如，可以将组合图像数据记录在预定的记录介质上，或者可以使用外部装置来显示和输出对应的图像。

在组合模式中，在步骤ST1和ST2，CPU 31中的预组合处理单元52、操作检测单元55、显示控制单元56和记录/回放/传送控制单元54彼此配合以执行必要的处理操作。

在步骤ST3，CPU 31中的组合处理单元53、操作检测单元55和显示控制单元56彼此配合以执行必要的处理操作。在使用系数模板的情况下，模板管理单元57工作。

在步骤ST4，CPU 31中的组合处理单元53、操作检测单元55、显示控制单元56和记录/回放/传送控制单元54彼此配合以执行必要的处理操作。

3、相机模式处理

首先，将参照图5描述相机模式中的CPU 31的处理。

在步骤F10、F11和F12，CPU 31监视用户操作。

在步骤F10，CPU 31监视图像抓取模式的操作。如上所述，诸如组合模式、自动模式和人像模式之类的多种模式可用作图像抓取模式，并且用户可以根据图像抓取目的来选择期望的图像抓取模式。可以通过例如操作图2B中所示的表盘操作单元5h或选择显示面板6上的菜单显示中的模式来选择模式。

当用户选择图像抓取模式时，CPU 31进行到步骤F13，并根据所选择的图像抓取模式来执行操作设置。例如，CPU 31控制图像抓取系统2中的每一个单元以确定诸如曝光量、曝光方法、电子快门设置、帧速和增益之类的设置。特别地，当选择组合模式图像抓取时，还执行连续图像抓取的设置。

在步骤F11，CPU 31监视用户执行的快门操作。当检测到用户执行的快门操作时，在步骤F14，CPU 31使处理根据当前图像抓取模式是否为组合模式图像抓取来转移(branch)。

如果当前图像抓取模式不是组合模式图像抓取，则在步骤F16，执行图像抓取处理。具体地说，CPU 31控制相机DSP4、介质接口10和任何其他合适的单元，以便将快门操作时获得的一帧图像存储为所抓取的图像数据(即，静止图像数据)。

组合模式图像抓取是获得用于之后的组合处理的图像数据的图像抓取模式。当在组合模式图像抓取中执行快门操作时，CPU 31进行到步骤F15，并执行连续的图像抓取处理作为组合模式图像抓取。连续的图像抓取处理可以是类似影片的抓取操作，其中将图像抓取系统2连续获得的每一帧存储为记录介质90等上的图像数据。根据帧速的设置，例如，可以存储诸如每隔一帧的间断帧。将所抓取的图像数据存储为大量静止图像或运动图像。

当，在步骤F15，连续地将帧存储为所抓取的图像数据时，作为示例，对于如下时间段执行图像抓取：

(1)从用户执行快门操作时到用户执行第二次快门操作时的时间段的图像数据的帧被存储为所抓取的图像。

(2)从用户执行快门操作时到CPU 31计数的时间已经达到预设的计时器值时的时间段的图像数据的帧被存储为所抓取的图像。预设的计时器值可以是固定的，也可以由用户选择。

(3)在其期间用户持续快门操作(持续按下快门释放键)的时间段的图像数据的帧被存储为所抓取的图像。当用户释放快门释放键(shutter releasebutton)时，结束图像抓取。

通过执行步骤F15中的组合模式图像抓取，抓取并存储了具有时间连续性的多个帧的图像数据。

将多个帧的图像数据彼此相关联地存储，以便将其识别为具有时间连续性的图像数据的序列。

例如，可以向每一帧的图像数据分配序列号，并且可以记录每一帧的图像数据，并且可以添加关于包括序列号的范围的管理信息。可替代地，通过添加指示一系列图像抓取动作所获得的图像数据的元数据，多个帧的图像数据可以彼此相关联。

在图像抓取期间，不是必须执行这样的关联。在下面描述的组合处理中，可以提取在图像抓取时间下顺序连续的帧的图像数据以读取连续帧的图像数据。在由时钟电路34进行的时间计数中获得的时间和日期信息被添加到待抓取和记录的每一帧的图像数据。因此，也可以执行读操作中的这样的关联。

此外，将元数据添加到待抓取的每一帧的图像数据。元数据可以是关于来自闪光单元15的闪光的信息。闪光由CPU 31根据用户操作、设置等来控制。

也可以将图像抓取操作中获得的信息作为元数据添加到每一帧的图像数据，例如，由镜头位置检测单元27测量的、关于到主要对象的距离的信息，以及由信息产生单元44产生的距离分布信息。

用户可以执行除了图像抓取模式操作和快门操作之外的多种操作。如果在步骤F12检测到这样的其他操作中的任意一种，则CPU 31进行到步骤F17，并执行与所检测到的操作对应的处理。例如，当执行将模式改变到回放模式或组合模式的操作时，执行模式改变处理。CPU 31根据多种操作执行必要的处理，例如，曝光量的手动设置、变焦操作、手动对焦设置和使用闪光/不使用闪光/自动照明的设置。

在相机模式中，根据上述图5中所示的处理，在多种图像抓取模式中执行图像抓取，并且将所抓取的图像数据存储在记录介质90上。

图6示出了其中将记录介质90上存储的多种类型的图像数据进行回放并将其显示为图像的示例。与在正常图像抓取模式(如自动模式和人像模式)中抓取的图像PCT1、PCT2和PCT4的图像数据一起，由用户选择的、在组合模式图像抓取中抓取的图像数据组(如图像PCT3的图像数据)被存储在记录介质90上。用户执行回放模式中的操作以回放并在显示面板6上显示对应的图像用于确认。

在组合模式图像抓取中抓取的图像PCT3的图像数据是作为具有时间连续性而相关联的一组图像数据元素，例如由图像数据元素#0、#1和#2指示。

当用户在回放模式中回放并观看所抓取的图像时，顺序地回放图像PCT1、PCT2、PCT3、PCT4等的图像数据。对于在组合模式图像抓取中获得的图像PCT3的图像数据来说，可以回放并显示实际记录的图像数据元素#0、#1、#2等之中的代表性图像。例如，可显示顶部图像数据元素#0。

此外，为了有助于用户理解在组合模式图像抓取中实际存储了大量的图像数据元素(#0、#1、#2等)，如图6所示，在回放期间，在显示屏幕上显示指示在组合模式图像抓取中抓取的图像数据的标记MK。

用户可以使用标记MK来理解图像PCT3的图像数据实际上包括可以用于组合处理的大量时间连续的图像。

也就是说，在执行组合模式图像抓取之后，用户回放图像并使用标记MK来选择图像以执行作为下面描述的组合模式中的一种操作的组合工作。

4、组合模式处理

4-1：组合预备处理

现在将描述组合模式中执行的处理。

如以上参照图4所述的那样，在组合模式中，CPU 31执行目标图像选择/获取处理(ST1)、组合预备处理(ST2)、组合处理(ST3)和组合图像记录处理(ST4)。

目标图像选择/获取处理(ST1)和组合预备处理(ST2)是先于实际组合处理的预组合处理。首先，在目标图像选择/获取处理(ST1)中，CPU31(预组合处理单元52)抓取组合使用图像数据。

例如，如图6所示，当用户通过选择在组合模式图像抓取中抓取的图像(例如，图6中所示的图像PCT3)，并指示组合处理来执行回放所抓取的图像的操作时，CPU 31开始组合模式中的处理。在这种情况下，CPU 31抓取由用户操作选择的图像作为组合使用图像数据。具体地说，当选择图6中所示的图像PCT3时，CPU 31从记录介质90读取与图像PCT3相关联的、作为具有时间连续性的图像数据元素#0、#1、#2等的序列，并将它们获取为组合使用图像数据。然后，将图像数据元素#0、#1、#2等设置为待组合的图像数据。

在组合预备处理(ST2)中，对所抓取的组合使用图像数据(图像数据元素#0、#1、#2等)执行亮度调节处理。在该处理中，均衡图像数据元素#0、#1、#2等的曝光量(屏幕强度)。

在这种情况下，例如，CPU 31(预组合处理单元52)执行图7所示的处理。

首先，在步骤F101，CPU 31从作为用于组合的目标抓取的图像数据元素#0、#1、#2、......、#n中提取非闪光(non-flash)图像。非闪光图像是在不使用闪光的情况下已经抓取的图像数据。如上所述，由于关于图像抓取期间闪光的信息被作为元数据添加到图像数据，因此CPU 31可以通过检查所抓取的图像数据元素#0、#1、#2、......、#n的元数据来提取非闪光图像。

注意，非闪光图像基于关于已经执行了图像抓取的装置(即，图像抓取设备1)是否已经使用闪光执行了图像抓取(在下文中，称为“自闪光图像抓取”)的信息，并且不包括由突然变为与闪光状态下一样高的屏幕强度引起的图像。

例如，在图像抓取期间，由另一个摄像者的闪光照亮或由经过的汽车前灯照亮的对象的图像不是使用自闪光图像抓取获得的图像，并且将其处理为非闪光图像。

如图7所示，如果在图像数据元素#0、#1、......、#n之中，在图像数据元素#2的时间处执行自闪光图像抓取(即，如果给出闪光指示作为图像数据元素#2的元数据)，则提取除了图像数据元素#2之外的图像数据元素#0、#1、#3、......、#n。

然后，在步骤F102，CPU 31对于所提取的图像数据元素(例如，图像数据元素#0、#1、#3、......、#n)计算平均亮度值。

在这种情况下，对于每一个图像数据元素可以计算所有像素的亮度信号值的平均值，或者可以对屏幕内的每一个区域执行加权，并且可以计算加权的平均亮度值。在这种情况下，使用与用于所谓的自动曝光调节的计算亮度级别的技术类似的技术，可以对于每一个图像数据元素计算平均亮度值。

在步骤F103，CPU 31通过平均亮度值分类图像数据元素，并选择代表性组。例如，如图7所示，在亮度级别的步骤中设置组Yg0、Yg1、......Yg5(从低亮度级别侧到高亮度级别侧)，并且根据平均亮度值将图像数据元素分类为多个组。例如，在图7中，假设呈现28个图像数据元素作为所提取的图像数据元素#0、#1、#3、......、#h，并且将25个图像数据元素分类为组Yg1，将两个图像数据元素分类为组Yg4，并且将一个图像数据元素分类为Yg5。基于分类的结果选择代表性的一组。作为示例，组Yg1用作代表性的一组。

组合使用图像数据的序列是时间上连续的多个帧的图像数据，并且在图5中所示的步骤F15中的图像抓取期间连续地抓取。因此，通常不会出现亮度级别的极大差异。因此，在不使用自闪光图像抓取的情况下获得的多个帧的图像数据通常被分为相同的组。然而，在某些情况下，由于偶然原因(如另一个拍摄者的闪光、使用经过的汽车前灯的对象的瞬时照明、以及突然穿过云层的光束)引起在图像抓取期间对象亮度级别可能突然大大改变。作为图7中所示的分类的结果，将被分类为组Yg4和Yg5的图像看作是由于上述原因所引起的曝光量中的这样的瞬时改变而获得的图像。

如果包括具有对象亮度级别中的很大差异的这样的图像，则在组合处理中可以仅对图像进行突出等，这可能不能如期望的那样实施组合。

因此，在步骤F104和后面的步骤中，对于每一个图像数据元素执行亮度调节。

首先，在步骤F104，CPU 31计算代表性组(Yg1)中包括的图像数据元素的平均亮度值的平均值。将计算出的平均值设置为基准平均亮度级别。

在步骤F105，CPU 31选择与步骤F101中提取的非闪光图像对应的图像数据元素#0、#1、#3、......、#n中之一(例如，图像数据元素#0)作为用于校正的目标。在步骤F106，CPU 31确定作为目标选择的图像数据元素#0的平均亮度值与基准平均亮度级别的比值，并根据该比值计算校正系数。

然后，在步骤F107，CPU 31将图像数据元素#0的所有像素的亮度值乘以校正系数以执行图像数据元素#0的亮度校正。

在步骤F108，如果仍然存在未处理的图像数据元素，则CPU 31返回到步骤F105，并对下一图像数据元素(例如，图像数据元素#1)执行类似的处理。

具体地说，在步骤F105、F106和F107，关于作为非闪光图像提取的所有图像数据元素顺序地执行亮度校正。当对于所有图像数据元素完成所述处理时，图7中所示的处理结束。

根据图7中所示的组合预备处理，均衡作为组合使用图像数据获取的、作为非闪光图像提取的所有图像数据元素的亮度级别，以产生适于下面描述的组合处理的图像数据。

在该实施例中，由于已经由图像的拍摄者有意地执行了自闪光图像抓取，因此不对使用自闪光图像抓取获得的图像执行校正。

在某些情况下，可以校正所有组合使用图像数据，以均衡亮度级别而不管闪光。

在其他情况下，如果包括使用闪光抓取的多个帧的图像数据，则可以校正多个帧的闪光图像数据，以均衡亮度级别。

4-2：组合处理

现在将描述图4中所示的步骤ST3中的组合处理。在本实施例的组合处理中，执行图像处理，以便在产生组合图像之前平均(或加权)对应像素的值，而不是简单地将多个帧的图像数据的对应像素的值相加。

在步骤ST3的组合处理中，CPU 31中的组合处理单元53、显示控制单元56和操作检测单元55彼此配合以执行图8中所示的处理。

首先，在步骤F201，CPU 31使用组合工作图像开始组合使用图像数据的回放和显示。

图10到图18示出了在显示面板6上显示的组合工作图像70的示例。

在回放开始时，最初，显示图10中所示的组合工作图像70。图10中所示的组合工作图像70包括图像显示区域71和72、时间线(time line)73和回放位置标记74。

图像显示区域71用于回放图像的显示等。

图像显示区域72用于组合图像的预览显示等。

时间线73表示多个时间连续帧的组合使用图像数据的时间宽度。

回放位置标记74表示时间线73上的当前回放位置。

在回放开始时，最初，如图10中所示，从时间上的第一帧开始，以影片的方式在图像显示区域71中顺序地回放并显示组合使用图像数据中的图像。例如，如果假设组合使用图像数据包括图像数据元素#0、#1、#2......、#n，则CPU 31从图像数据元素#0开始，顺次在图像显示区域71中顺序地显示与图像数据元素#1、#2、#3、......对应的图像，以便可以以影片的方式表示图像数据元素#0到#n的序列。随着回放的进程，回放位置标记74沿时间线73移动到左侧。

用户在观看回放图像的同时，在某一时间处指定组合开始位置。例如，用户可以通过按下快门操作键来指定组合开始位置。

在步骤F201中开始回放和显示之后，在步骤F202，CPU 31根据由用户执行的、用于指定组合开始位置的操作，设置组合开始位置。

例如，如图11所示，在回放过程中的一时间点处，用户指定组合开始位置。然后，将与该时间点处的回放图像对应的图像数据元素#x设置为组合开始位置处的图像(在下文中，称为“组合开始图像”)。进一步显示组合开始标记75。

连续地执行图像显示区域71中的图像的回放和显示。

在设置了组合开始位置之后，CPU 31继续步骤F203和F204的处理，直到在步骤F205检测到设置组合结束位置的操作为止。

在步骤F203中的预览图像组合是将组合开始图像直到当前在图像显示区域71中回放的图像进行组合的处理。

步骤F204中的预览图像显示是在图像显示区域72中将组合图像显示为预览的处理。

具体地说，组合从组合开始图像到当前正被回放的帧的所有图像，并且以图12中所示的方式在图像显示区域72中显示结果的组合图像作为预览。

由于回放仍然处于进程中，因此随着回放的进程，组合范围的大小增加一帧。具体地说，每次对回放图像进行回放时，增加对应像素的值，并且将产生的和除以所回放的回放图像的数量。执行这样的组合以产生预览图像。因此，获得了与使用长时间曝光抓取的图像类似的未加权的图像，并且将其显示为预览图像。

在图像数据元素#0到#n的序列表示其中对象从右移动到左的图像的情况下，如图12所示，根据图像显示区域71中回放的进程，在图像显示区域72中显示其中对象从右移动到左的长时间曝光图像作为通过将组合开始图像直到当前图像进行组合而获得的组合图像。

在观看回放和预览图像的同时，用户指定组合结束位置。

用户可以通过例如按下快门操作键以指定组合开始位置然后释放快门操作键来设置组合结束位置。

在按下快门操作键之后，CPU 31重复步骤F203和F204的处理。当释放快门操作键时，将此时获得的回放图像设置为组合结束位置处的图像(在下文中，称为“组合结束图像”)。然后，如图12所示，显示指示组合结束位置的组合结束标记76。此后，CPU 31从步骤F205进行到步骤F206。

可以通过(但不限于)按下快门操作键来执行设置组合开始位置/组合结束位置的操作。例如，可以按下快门操作键一次以设置组合开始位置，并且可以再次按下快门操作键以设置组合结束位置。

可替代地，可以从第一帧到最后一帧中预先选择连续帧的组合使用图像数据，或者可以通过用户操作来设置组合开始位置，并且可以当用于预览图像或图像组合的缓冲存储器的容量变满时设置组合结束位置。

在步骤F207中执行最终图像组合处理之前，通过简单的设置(如加权设置)可以执行预览图像的产生和显示，这将在下面描述，或者可以通过足以允许用户预先确认设置的效果的图像尺寸来简单地执行。

当在直到步骤F205的处理中设置组合开始位置和组合结束位置时，CPU31进行到步骤F206，并执行调节处理。图9示出了调节处理的细节。

首先，在步骤F220，CPU 31显示组合工作图像70中的选择图像列表和权重条。

如图13所示，在时间线73中的选择图像列表视图中显示从组合开始图像到组合结束图像的组合范围中的图像。

例如，在该示例中，作为示例，将图像数据元素#5用作组合开始图像，而将图像数据元素#11用作组合结束图像。在时间线73中的选择图像列表视图中显示图像数据元素#5、#6、#7、......、#11。

在实践中，尽管在时间线13中可能不显示组合范围中的所有图像，但是对选择图像列表自动地调节大小，以便在时间线73中显示。在可视性方面，例如，选择图像列表是可以左右滚动以示出图像，以便防止尺寸的过度减小。可替代地，待选择的图像的之前帧和之后帧也可以在选择图像列表中并排显示，以便用户可以在调节操作中容易地检查待选择的帧。

当显示权重条时，显示分别与图像数据元素#5、#6、#7、......、#11相对应的权重条w5、w6、w7、......、w11。例如，每一个权重条具有表示加权系数的高度。

在步骤F220的初始状态下，不向特定图像数据元素分配权重。换句话说，均等地加权各个图像数据元素。

在本实施例中，在连续描述中，权重条适于表示加权系数。表示分配到每一个图像数据元素的加权系数的图像不限于权重条。例如，可以显示指示加权系数的任何其他形状(如圆图形状)或数值。

可替代地，不是必须显示仅表示加权系数的独立图像。例如，通过使用诸如根据加权系数来改变与选择图像列表中显示的图像数据元素#5、#6、#7、......、#11对应的图像的光亮度级别(lighting level)之类的技术，可以实施表示分配到每一个图像数据元素的加权系数的图像。

在图9中所示的处理中，CPU 31在步骤F221、F222和F223中监视用户操作。

在图13中所示的组合工作图像70中，用户可以执行改变图像数据元素的加权系数的操作、改变组合范围的操作或任何其他合适的操作。

例如，用户可以执行这样的操作：执行图2B中所示的十字键5i的左右操作，以在选择图像列表中选择期望图像的图像数据，然后执行十字键5i的上下操作，以改变所选择的图像数据的加权系数。

当用户执行选择某一图像并改变对应的加权系数的操作时，CPU 31将处理从步骤F221前进到步骤F224。

在根据操作的显示处理中，CPU 31改变与所选择的图像数据元素#(x)对应的权重条w(x)的高度。

CPU 31进一步改变为所选择的图像数据元素#(x)设置的加权系数。

除了反映改变的加权系数之外，CPU 31还使用组合范围内的图像数据元素的加权平均来进一步执行组合处理，以产生预览图像，并在图像显示区域72中显示预览图像。

例如，用户在图13中所示的状态下执行选择图像数据元素#5并增大对应的加权系数的操作。然后，CPU31执行步骤F224的处理，以便以图14中所示的方式增大权重条w5，将为图像数据元素#5设置的加权系数改变到高值，并执行组合范围内图像数据元素(#5到#11)的组合处理，以产生预览图像，然后将所述预览图像显示在图像显示区域72中。

用户进一步执行选择剩余图像数据元素#6到#11，并减小对应的加权系数的操作。然后，CPU 31根据单独的操作来执行步骤F224的处理，以便以图14中所示的方式减小权重条w6到w11的高度，以便将为图像数据元素#6到#11设置的加权系数改变为低值，并且此后执行组合范围内的图像数据元素(#5到#11)的组合处理，以产生预览图像，然后将所述预览图像显示在图像显示区域72中。

当用户对于图像数据元素#5到#11执行上述加权系数运算时，执行组合以便由高于剩余图像数据元素#6到#11的权重来突出组合范围中时间上的第一个图像数据元素#5。如图14中的预览图像所示，获得了具有所谓的前帘同步效果的组合图像。

前帘同步效果是其中仅在长时间曝光开始时通过闪光来提供时间上第一个状态的清晰表现的图像抓取技术。在本实施例中，通过将组合范围内的连续帧的图像数据进行组合以便将高加权系数分配到第一帧的图像数据而将低加权系数分配到后面的剩余帧的图像数据来获得前帘同步效果。

可以通过例如8位变化(256个级别)来改变加权系数，以实现精细调节。为了用户操作的更加简便，可以使用两个级别(即，亮和暗)或三个级别(即，高、中和低)。可以在级别中添加零的权重的系数设置。

可以设置加权系数，以便在不去除连续图像抓取期间的不期望图像(如当正在抓取夜景的拍摄者的周围被经过的汽车前灯照亮时获得的图像)的情况下，如期望地那样调节图像的曝光量或光亮度。在本实施例中，在上述组合预备处理中预先校正不适于组合的图像。例如，可以由用户手动地执行加权系数的调节。

在用户操作中，可以改变由组合开始标记75和组合结束标记76限定的组合范围。

例如，当选择组合开始位置处的图像数据元素(#5)时，用户可以执行十字键5i的左右操作，同时按下特定键，以将组合开始位置移动到图像数据的时间上之前或之后的帧。同样地，当选择组合结束位置处的图像数据元素(#11)时，用户可以执行十字键5i的左右操作，同时按下特定键，以将组合结束位置移动到图像数据的时间上之前或之后的帧。

可替代地，可以执行用户操作以直接将组合开始标记75或组合结束标记76沿时间线73左右移动。

当用户执行改变组合范围的操作时，CPU 31将处理从步骤F222前进到步骤F225。然后，根据操作，CPU 31改变用于组合的目标的图像范围，在新的组合范围中执行图像数据元素的组合处理，以产生预览图像，并在图像显示区域72中显示预览图像。

例如，假设用户在图14中所示的状态下，执行将组合结束图像改变到图像数据元素#7的操作。然后，CPU 31执行步骤F225的操作以便以图15中所示的方式、在新的组合范围中执行图像数据元素(#5到#7)的组合处理，并在图像显示区域72中显示预览图像。移动组合结束标记76，以便指定图像数据元素#7。

在这种情况下，如从图14和图15中所示的预览图像之间的比较可以看出的那样，在图15中，由于缩短了组合范围，因此实现了在前帘同步中减小曝光时间的图像效果。

如上所述，用户对组合工作图像70执行多种操作，由此通过CPU执行的步骤F224和F225的处理，相应地将多个组合图像显示为预览。

图16、图17和图18示出其他示例。

图16示出了当例如用户在图13中所示的状态下执行选择图像数据元素#11并增大对应的加权系数的操作，并且还执行单独地选择剩余图像数据元素#5到#10并减小对应的加权系数的操作时获得的组合工作图像70的示例。

CPU 31根据用于图像数据元素#5到#11的单独加权系数运算，执行步骤F224的处理。

在这种情况下，执行组合以便由高于剩余图像数据元素#5到#10的权重突出组合范围中时间上的最后一个图像数据元素#11。如图16中所示的预览图像所示，获得了具有所谓的后帘同步效果的组合图像。

后帘同步效果是其中仅在长时间曝光结束时通过闪光来提供时间上最后状态的清晰表现的图像抓取技术。在本实施例中，通过在组合范围中组合连续帧的图像数据以便高加权系数被分配到最后一帧的图像数据而低加权系数被分配到剩余帧的图像数据，来获得后帘同步效果。

图17示出了当用户在图16中所示的状态下执行改变组合范围的操作时获得的组合工作图像70的示例。当用户执行将组合范围改变到图像数据元素#9到#11的范围的操作时，CPU 31执行步骤F225的处理，以执行新组合范围中的图像数据元素的组合处理，以产生预览图像，然后将所述预览图像显示在图像显示区域72中。

在这种情况下，如从图16和图17中所示的预览图像之间的比较可以看出的那样，在图17中，由于缩短了组合范围，因此实现了在后帘同步中减小曝光时间的图像效果。

图18示出了当例如用户在图13中所示的状态下执行增大图像数据元素#5、#8和#11的加权系数并减小剩余的图像数据元素#6、#7、#9和#10的加权系数的操作时获得的组合工作图像70的示例。

CPU 31根据用于图像数据元素#5到#11的单独加权系数运算，执行步骤F224的处理。

在这种情况下，执行组合以便周期性地突出组合范围中的图像。如图18中所示的预览图像所示，获得了具有所谓的多闪光效果的组合图像。

多闪光效果是其中在长时间曝光期间通过周期性地闪光来提供对象的状态的清晰表现的图像抓取技术。在本实施例中，通过在组合范围中组合连续帧的图像数据以便将高和低加权系数周期性地分配到图像数据，来获得多闪光效果。

如上述示例性说明中那样，用户可以对组合工作图像70执行期望的操作以尝试多种组合图像的产生，并可以将它们确认为预览图像。也就是说，通过尝试多种图像效果的视觉观察，用户可以容易地产生期望的图像。

当获得作为预览图像的满意的组合图像时，用户可以执行调节终止处理。用户可以通过例如按下十字键5i的中心处的设置键来执行调节终止操作。

当检测到调节终止操作时，CPU 31结束从步骤F223的图9中所示的处理，并进行到图8中所示的步骤F207。

在步骤F207，CPU 31执行最终组合处理。具体地说，CPU 31使用调节处理结束时获得的组合范围中的图像数据元素以及为所述图像数据元素设置的加权系数来执行组合。在这种情况下，将组合范围中每一帧的图像数据的像素值乘以所设置的加权系数。然后，相加每一帧的图像数据的像素值，并将产生的和除以帧的数量。也就是说，执行加权的平均处理。

注意，在加法或除法处理中可以应用曝光校正，以便待产生的组合图像具有指定的光亮度。可替代地，可以校正计算之后获得的组合图像数据。

在使用上述图8中所示的处理执行图4中所示的步骤ST3中的组合处理之后，在步骤ST4，CPU 31执行组合图像记录处理。具体地说，CPU 31执行控制，以便将以上述方式产生的组合图像数据通过介质接口10记录在记录介质90上。

由此结束组合模式中的一系列处理。

上述组合模式中的操作可以实现如下优点：

首先，即使通过缺乏经验的拍摄者，也能够容易地实现与使用长时间曝光图像抓取获得的效果等效的效果(在现有技术中是很难的，因为由于通过使用抓取之后的图像执行图像组合，所以必须通过使用拍摄者的经验和直觉来确定曝光时间/快门定时等)。另外，可以进行许多尝试或再试，直到获得满意的图像效果为止。

此外，由于可以如期望的那样设置图像抓取之后、待组合的图像数据元素的加权系数，因此可以容易地实现诸如前帘同步效果、后帘同步效果和多闪光效果之类的图像效果，这在现有技术中，在不使用闪光的情况下是很难实现的。

此外，即使在具有对象的运动的图像情形(如旨在提供对象的运动的表现或在运动对象之中对焦静止对象的图像抓取情形)下，也可以实现满意的图像。

4-3：使用改变之前和之后所显示的图像的示例性调节处理

在上述示例性组合处理中，当用户改变组合工作图像70中的加权系数等时获得的预览图像被显示在图像显示区域72中。最好还同时显示紧接在已经改变加权系数等之前获得的组合图像(之前预览图像)，以允许用户同时观看在改变操作之前和之后获得的组合图像。

因此，可以以图19中所示的方式而非使用图9中所示的示例来执行图8中所示的步骤F206中执行的调节处理。

图19示出了由CPU 31执行的示例性调节处理。在图19中，向与图9相同或类似的处理步骤指定相同的标记，并且省略其描述。

图19与图9的区别在于当用户执行改变加权系数的操作时执行的步骤F224A的处理以及当用户执行改变组合范围的操作时执行的步骤F225A的处理。

当用户执行改变加权系数的操作时，在步骤F224A，CPU 31改变与所选择的图像数据元素#(x)对应的权重条w(x)的高度。CPU 31还改变为所选择的图像数据元素#(x)设置的加权系数。除了反映改变的加权系数之外，CPU 31使用组合范围中图像数据元素的加权平均来进一步执行组合处理，以产生预览图像，并且在图像显示区域72中显示预览图像。

CPU 31进一步在图像显示区域71中显示之前组合图像，其已经紧接在该处理之前在图像显示区域72中被显示为预览图像。

具体地说，不丢弃而是存储显示为之前预览图像的组合图像，并且与作为当前预览图像获得的组合图像一起，分别并排显示在图像显示区域71和72中，如图20所示。

图20示出了当例如用户执行增大图像数据元素#11的加权系数的操作时获得的组合工作图像70。在这种情况下，在图像显示区域72中显示当前组合图像(具有后帘同步效果的图像)作为加权改变之后获得的预览图像，并且在图像显示区域71中显示之前组合图像(具有去除了后帘同步效果的图像)。

以图20中所示的方式，同时显示加权系数的改变之前和之后获得的组合图像，由此允许用户容易地检查所改变的加权系数的合适性。

此外，当用户执行改变组合范围的操作时，在步骤F225A，CPU 31根据操作改变待组合的图像的范围，并且执行用于新组合范围中的图像数据元素的组合处理，以产生预览图像，并在图像显示区域72中显示预览图像。在图像显示区域71中进一步显示之前组合图像，其已经紧接在该处理之前在图像显示区域72中被显示为预览图像。

此外，在这种情况下，用户可以比较最初的和改变后的组合范围。

例如，以这种方式，当选择待组合的图像的范围或分配权重时，通过比较检查组合之前和之后获得的图像。对于用户尝试多种图像效果的实施来说，这是很有用的。

例如，当用户比较两个图像，并确定最初的图像更好时，可以执行取消当前图像组合并恢复最初组合状态的操作。

此外，可以允许用户如期望的那样，选择用于并排显示组合之前和之后获得的图像的图19中所示的处理或上述图9中所示的处理。

5、基于模板的处理

在上述组合处理中，通过如期望的那样执行改变每一个图像数据元素的加权系数的操作，用户可以创建具有诸如前帘同步效果、后帘同步效果或多闪光效果之类的图像效果的组合图像。一些用户可能不能确定用以获得期望的图像效果的权重值。即使能够确定权重的值的用户也可能觉得逐个选择图像数据元素并改变加权系数的操作太耗时。

因此，可以使用这样的操作技术：准备每个都具有用于实现预定图像效果的加权系数的样式的系数模板，以便用户可以选择系数模板中之一。

在下面的描述中，假设准备了用于长时间曝光效果、前帘同步效果、后帘同步效果和多闪光效果的四个系数模板。

例如，将与长时间曝光效果、前帘同步效果、后帘同步效果和多闪光效果对应的加权系数样式作为系数模板存储在闪速ROM 33中。例如，用于前帘同步效果的系数模板表示其中将高权重分配到第一个图像而将低权重分配到后面的图像的加权系数样式。CPU 31的模板管理单元57管理这样的系数模板。

CPU 31以图22中所示的方式而不是使用图9中所示的示例，来执行图8中所示的步骤F206中的调节处理。

在图8中所示的步骤F206，CPU 31执行图22中所示的处理。首先，在步骤F301，CPU 31(模板管理单元57和显示控制单元56)在显示面板6上显示用于选择效果的系数模板。

图21示出了显示的示例。显示与用于长时间曝光效果、前帘同步效果、后帘同步效果和多闪光效果的四个系数模板对应的图像。

此时，显示每一个均指示使用对应的系数模板获得的图像效果的效果建模图像。如图21所示，将具有长时间曝光效果的图像、具有前帘同步效果的图像、具有后帘同步效果的图像和具有多闪光效果的图像用作效果建模图像，由此允许用户识别图像效果的细节。特别地，这适用于不熟悉多种图像效果的用户。

可以将用于从系数模板中选择的图像显示为预设的效果建模图像的列表，所述预设的效果建模图像中的每一个均具有表示系数模板之一的图像数据。

可替代地，文本术语“长时间曝光效果”、“前帘同步效果”、“后帘同步效果”，和“多闪光效果”可以出现在菜单中，而不显示效果建模图像，并且可以选择它们中之一。

响应于图21中所示的显示，例如，用户操作十字键5i以选择期望的效果建模图像，并执行确定操作以选择一个系数模板。

根据用户的选择和确定操作，CPU 31将处理从步骤F302前进到步骤F303。在这种情况下，CPU 31的模板管理单元57将所选择的系数模板的加权系数样式应用于组合处理单元53，并且组合处理单元53将加权系数样式应用于组合范围中的各个图像。

如上所述，如参照直到图12所述的那样，当用户确定组合范围(组合开始位置和组合结束位置)时，即：在将组合工作图像70从图12中所示的状态改变到图13中所示的状态的时候，CPU 31进行到图8中所示的步骤F206中的调节处理，这在图22中示出。

当用户选择系数模板时，如图13所示，在显示选择图像列表和权重条的同时，CPU 31的组合处理单元53将模板的加权系数样式应用为与图像数据元素对应的加权系数，并且将应用了加权系数的、使用加权平均获得的组合图像显示为预览图像。

图22中所示的步骤F220到F223的处理之后的处理与图9中所示的处理类似，并且省略其冗余描述。

以这种方式，用户选择系数模板，由此在不调节组合范围中的图像数据元素的加权系数的情况下，初步实现了期望图像效果的预览图像。因此可以大大地改善用户操作的方便性或操作效率。

此外，即使不熟悉诸如前帘同步效果之类的图像效果的细节的用户也可以通过选择系数模板来实施多种图像效果。

在图22中所示的步骤F220之后的处理中，类似于图9，根据图像数据元素可以单独地如期望地那样改变加权系数，或者可以如期望地那样改变组合范围。由此，用户可以基于通过选择系数模板获得的组合图像更加独创性地创建组合图像。

在选择系数模板之后，可以调节由系数模板指定的系数样式。

例如，关于用于多闪光效果的加权系数模板，在模板的选择之后，发光间隔(高加权的帧的间隔)是可调节的。该调节操作可以通过将对应功能添加到操作按钮之一或通过从菜单选择对应条目来实施。可替代地，通过执行诸如在按下快门释放按钮的同时按下左右按钮之类的操作，可以如期望的那样设置发光间隔(高加权的帧的间隔)。

此外，可以准备用于特定用途(如高尔夫挥杆检查)的系数模板。

还可以在除了组合处理之外的处理中(如相机模式下的图像抓取期间)选择系数模板。

例如，当在相机模式下选择图像抓取模式时，在显示面板6上显示如图23中所示的模式选择屏幕。

在这种情况下，除了诸如图4中所示的自动模式图像抓取、人像模式图像抓取、日落景象模式图像抓取和微距模式图像抓取之类的正常图像抓取模式之外，诸如长时间曝光效果、前帘同步效果、后帘同步效果和多闪光效果也是可选择的。

当选择了长时间曝光效果、前帘同步效果、后帘同步效果和多闪光效果之一时，在图5中所示的步骤F15，在组合模式图像抓取中抓取多个帧的图像。在图像抓取期间，对于要记录的图像数据组，使用元数据等记录关于所选择的效果的信息。

然后，此后，诸如当在图8所示的组合处理中的步骤F203执行预览图像组合时或者当CPU 31进行到步骤F206时，使用所选择的图像效果的系数模板可以执行加权的组合。

例如，当在图像抓取期间用户期望实现前帘同步效果时，在图像抓取期间预先选择用于前帘同步效果的系数模板，由此使用用于前帘同步效果的加权系数样式来执行预览图像组合。由此，可以改善操作效率。

此外，在图像抓取阶段以这种方式选择前帘同步效果、后帘同步效果或多闪光效果的情况下，CPU 31可以参照系数模板的加权系数样式以设置定时，并且可以在图5中所示的步骤F15中的连续帧图像抓取期间在所设置的定时实际地执行闪光控制。

6、固定帧速的图像抓取操作

在诸如数码摄像机或数码相机之类的图像抓取设备中，控制进入图像抓取元件的入射光通量和电荷累积时间段以调节曝光时间。

例如，在摄像机中，一般而言，根据帧速以恒定的曝光时间段来连续地拍摄图像。然而，使用提供比帧速限定的曝光时间(例如，对于60帧每秒(fps)来说，约1/60秒)更短的曝光时间(例如，1/250秒)的电子快门可以抓取高亮度的对象。

在这种情况下，不执行记录长达等于通过从帧速限定的曝光时间中减去电子快门的实际曝光时间而获得的时间的时间。这可能导致包括凹凸不平(jaggy)的运动图像。为了防止这样的运动图像的产生，通常执行曝光控制。然而，除非运动图像看起来“凹凸不平”，否则通常使用电子快门执行图像抓取长达短于帧速限定的曝光时间的电荷累积时间。

这里，作为组合模式图像抓取，将考虑本实施例的图像抓取设备1中图像数据的连续帧的抓取。

图24B和图24D示出了在图像抓取期间以固定帧速的连续帧的抓取，其中一帧时间段是FR。

图24B示出了在帧时间段FR中不使用电子快门功能并且图像抓取元素的曝光时间段为R1(其中R1基本上等于FR)的情况。也就是说，除了由于曝光引起的电荷传送所必需的最小时间段之外，在帧时间段内连续地曝光图像抓取元件以发光。在下面的描述中，为了描述的简便，省略在其期间由于电荷传送而使得不曝光图像抓取元素以发光的少量时间段。

图24D示出了当由于对象亮度的增大而必须减少曝光量时使用电子快门功能执行自动曝光调节的情况。在这种情况下，如R2所示的那样，缩短帧时间段FR内的曝光时间。由阴影指示的时间段是在其期间不执行曝光的时间段。

图24A和图24C示出了当例如使用上述组合处理执行如图24B和图24D中所示的连续帧抓取时获得的组合图像的示例。当通过将相等的加权系数分配到多个帧的图像数据来实现长时间曝光效果时获得图24A和图24C中所示的组合图像。

基于在不使用电子快门功能的情况下抓取的图像数据的组合图像(如图24B所示)导致平滑的长时间曝光效果图像(如图24A所示)。

另一方面，基于使用电子快门功能的情况下抓取的图像数据的组合图像(如图24D所示)导致非平滑的长时间曝光效果图像(如图24C所示)。

这是因为对于由阴影指示的非曝光时间段，没有获得关于对象图像的信息。

这里，将参照图25A到图25D描述在其中使用电子快门功能执行自动曝光调节(如图24D所示)的情况下的曝光控制操作。

图像抓取设备1可以使用光圈/ND滤光片机构22中的光圈机构和/或ND滤光片机构、通过使用定时产生电路28来控制图像抓取元件单元23的操作而执行的电子快门功能、或者要由模拟信号处理单元24施加到图像抓取元件单元23获得的图像抓取信号的可变增益来执行曝光调节。

在图25A和图25B中，横坐标轴表示对象亮度级别。图25A示出了在图像抓取期间由帧速限定的一帧FR的时间段。在这种情况下，将帧时间段FR设置为1/60秒，不论对象亮度级别如何，其都是固定的。

图25B示出了电子快门SH(具有帧时间段的曝光时间或“帧内曝光时间”)和增益级别G。图25D示意性地示出了光圈机构和ND滤光片机构的操作状态。

图25C示出了与对象亮度级别中的变化对应的曝光控制方法。

在具有最低对象亮度级别的区域(区域A)中，使用光圈机构来执行曝光调节。具体地说，通过改变光圈机构的开口量来调节入射光的量。

在仅使用光圈机构难以调节入射光的量的区域B中，使用光圈机构和ND滤光片机构二者。具体地说，通过改变光圈机构的开口量和进入ND滤光片机构的入射光通量的量来调节入射光的量。

在具有太高的对象亮度级别以至于不能仅使用光圈机构和ND滤光片机构来调节入射光的量的区域C中，使用电子快门功能。例如，使用电子快门功能来执行控制，以便当对象亮度级别增大时，减小帧内曝光时间SH(其最初被设置为1/60秒)。例如，控制帧内曝光时间SH以便使其降低到1/500秒。

区域D是具有格外高的对象亮度级别的亮度区域，其中即使使用电子快门功能也难以执行曝光调节。在区域D中，改变增益级别G。

当帧速固定时，例如，图像抓取设备1可以执行如上所述的曝光调节控制。然后，当对象亮度级别在区域C内时使用电子快门功能。在这种状态下，执行图像抓取，由此引起上述图24C和图24D中所示的情形。由此，获得了具有长时间曝光效果的非平滑组合图像。

因此，本实施例的图像抓取设备被配置为在至少要执行组合模式图像抓取的情况下(即，在要执行图5中所示的步骤F15中的连续帧抓取的情况下)执行如图26A到图26D中所示的曝光调节控制。

如图25A、图25B、图25C和图25D中那样，图26A、图26B、图26C和图26D示出了帧时间段FR(其被设置为1/60秒)、增益级别G、由电子快门限定的曝光时间SH、曝光控制方法和光圈机构和ND滤光片机构的操作状态，其中横坐标轴表示对象亮度级别。

在具有最低对象亮度级别的区域A中，使用光圈机构执行曝光调节。具体地说，通过改变光圈机构的开口量来调节入射光的量。

在仅使用光圈机构难以调节入射光的量的区域B中，使用光圈机构和ND滤光片机构二者。具体地说，通过改变光圈机构的开口量和进入ND滤光片机构的入射光通量的量来调节入射光的量。

在具有太高的对象亮度级别以至于不能仅使用光圈机构和ND滤光片机构来执行调节的区域C中，在不使用电子快门功能的情况下，通过可变地控制增益级别G来执行调节。

由于增益调节可能引起电子噪声以导致缺乏灰度(gradation)和精细度的所抓取的图像，期望的是，增益调节包括诸如设置极限或执行降噪处理之类的方法。

仅在具有格外高的对象亮度级别的区域D中(通过改变增益级别直到极限也将不能解决)，使用电子快门功能执行曝光调节。

为了执行如上所述的曝光调节，在上述图5中所示的步骤F15中的图像抓取处理中，CPU 31(图像抓取控制单元51)执行图27中所示的曝光调节处理。图27中所示的处理在连续地抓取帧的时间段期间连续地执行。

在步骤F301，CPU 31确定对象亮度级别。例如，CPU 31获得关于在相机DSP 4中当前正被抓取和处理的帧的、由图像信号处理单元41计算的曝光量信息(如平均亮度信息)，并且将其与关于之前帧的曝光量信息进行比较，以确定对象亮度级别是已经增大了还是已经减小了。

如果确定对象亮度级别没有发生改变，则CPU 31通过步骤F302和F306返回到步骤F301，并确定下一帧的对象亮度级别。

如果确定对象亮度级别已经增大，则CPU 31从步骤F302进行到步骤F303，并确定当前区域的曝光调节方法是否已经达到其控制极限。具体地说，检查对象光强度的当前增大是否对应于如图26C所示的、从区域A到区域B、从区域B到区域C和从区域C到区域D的增大中之一。

如果当前区域的曝光调节方法还没有达到其控制极限，则CPU 31进行到步骤F310，并使用当前曝光调节方法来解决对象亮度级别的增大。

具体地说，如果当前区域是区域A，则减小光圈机构的开口量。如果当前区域是区域B，则使用光圈机构和ND滤光片机构的组合来减小入射光的量。如果当前区域是区域C，则执行控制以便减小增益级别。如果当前区域是区域D，则执行控制以便使用电子快门功能来缩短帧内曝光时间。

如果当前区域的曝光调节方法已经达到其控制极限，则处理在步骤F304和F305转移。

具体地说，如果在从区域A到区域B的转换的情况下对象亮度级别已经增大，则CPU 31进行到步骤F311。然后，CPU 31从仅使用光圈机构的曝光调节切换到使用光圈机构和ND滤光片机构二者的曝光调节，并执行控制以解决对象亮度级别的增大。

如果在从区域B到区域C的转换的情况下对象亮度级别已经增大，则CPU 31进行到步骤F312。然后，CPU 31从使用光圈机构和ND滤光片机构二者的曝光调节切换到使用可变增益级别的曝光调节，并执行控制以解决对象亮度级别的增大。

如果在从区域C到区域D的转换的情况下对象亮度级别已经增大，则CPU 31进行到步骤F313。然后，CPU 31从使用可变增益级别的曝光调节切换到使用电子快门功能的曝光调节，并执行控制以解决对象亮度级别的增大。

如果作为步骤F301的确定结果而确定对象亮度级别已经减小，则CPU从步骤F302进行到步骤F306，并确定当前区域的曝光调节方法是否已经达到其控制极限。具体地说，检查对象光强度的当前减小是否对应于从区域B到区域A、从区域C到区域B和从区域D到区域C(如图26C中所示)的减小中之一。

如果当前区域的曝光调节方法还没有达到其控制极限，则CPU 31进行到步骤F310，并使用当前曝光调节方法解决对象亮度级别的减小。

具体地说，如果当前区域是区域A，则增大光圈机构的开口量。如果当前区域是区域B，则使用光圈机构和ND滤光片机构的组合来增大入射光的量。如果当前区域是区域C，则执行控制以便增大增益级别。如果当前区域是区域D，则执行控制以便使用电子快门功能来增大帧内曝光时间。

如果当前区域的曝光调节方法已经达到其控制极限，则处理在步骤F308和F309转移。

具体地说，如果在从区域C到区域B的转换的情况下对象亮度级别已经减小，则CPU 31进行到步骤F311。然后，CPU 31从使用可变增益级别的曝光调节切换到使用光圈机构和ND滤光片机构二者的曝光调节，并执行控制以解决对象亮度级别的减小。

如果在从区域D到区域C的转换的情况下对象亮度级别已经减小，则CPU 31进行到步骤F312。然后，CPU 31从使用电子快门功能的曝光调节切换到使用可变增益级别的曝光调节，并执行控制以解决对象亮度级别的减小。

如果在从区域B到区域A的转换的情况下对象亮度级别已经减小，则CPU 31进行到步骤F314。然后，CPU 31从使用光圈机构和ND滤光片机构二者的曝光调节切换到仅使用光圈机构的曝光调节，并执行控制以解决对象亮度级别的减小。

CPU 31执行这样的处理以执行图26A到图26D中所示的曝光调节。

具体地说，CPU 31使图像抓取系统2以固定帧速抓取具有时间连续性的多个帧的图像数据，并通过使用优先于电子快门功能的曝光调节功能(光圈机构、ND滤光片机构和增益级别控制)以执行曝光调节控制来在抓取期间根据对象亮度级别执行曝光调节控制。

在图5中所示的步骤F15中的图像抓取处理中执行这样的曝光调节控制，即尽可能不使用电子快门功能。由此，在大多数情况下实现了如图24B中所示的图像抓取操作。

根据后面的组合处理，如图24A所示，可以获得与使用长时间曝光而实际抓取的图像可比较的平滑图像。特别地，在抓取运动对象的图像的情况下，可以获得平滑的长时间曝光图像。

特别地，在假设固定帧速的图像抓取时执行该操作，所述固定帧速的图像抓取适于组合模式图像抓取和运动图像的抓取的组合。

在例如从作为抓取的结果而记录的运动图像数据中提取多个帧，并将其用在组合处理中的情况下，可以执行上述曝光调节控制以获得满足以固定帧速抓取的合适的运动图像数据和适于组合处理的图像数据这两个条件的图像数据。

虽然在区域D中使用电子快门功能，但区域D是在通常情况下几乎不出现的高亮度区域，并且在多数情况下将不使用电子快门功能。由此，作为组合的结果获得平滑的组合图像。

然而，如果在步骤F15中的组合模式图像抓取中执行连续帧抓取，则可以禁止电子快门功能的使用。也就是说，在图26C所示的区域D中，可以不再执行曝光调节，或者可以进一步减小增益级别以执行调节。

还可以在步骤F16中以及步骤F15中的图像抓取中执行上述曝光调节控制，或者可以在步骤F16中执行图25A到图25D所示的曝光调节控制。

虽然在图26和图27中使用除了电子快门功能之外的三种曝光调节因素(光圈机构、ND滤光片机构和可变增益)，但是不是必须使用所有三种因素，例如，可不使用ND滤光片机构。

在固定帧速的图像抓取中，还可以执行下面示例性的图像抓取操作。

通过使用电子快门功能、在固定帧速限定的曝光时间段内连续地执行分开曝光和组合通过分开曝光获得的多个帧的图像数据以产生一帧的图像数据，可以以固定帧速抓取具有时间连续性的多个帧的图像数据。

现在将参照图28A到图29C来描述该操作。

如上所述，在不使用电子快门的情况下的曝光调节控制可能导致图像抓取元件(如CCD元件)中的超过其极限的电荷累积，从而导致饱和。

在这种情况下，电荷的饱和以这样一种形式出现：电荷溢出，并且可能形成处于“乳白情形(whiteout condition)”的过曝光图像。由此，将不能获得满意的图像。

因此难以将这样的电荷溢出图像还原到原始状态，以获得满意的组合图像。

在这种情况下，例如，可以执行电子快门功能来执行图像抓取，以便在图像抓取元件(如CCD元件)中的电荷可以不超过极限(不会发生饱和)。

然而，如果以通常的方式使用电子快门功能，则可能获得如图28A和图28B中所示的、使用不连续曝光时间抓取的组合图像。例如，如图28B所示，曝光时间段R3和非曝光时间段(阴影部分)存在于一帧FR1的时间段中。由于缺少关于非曝光时间段中的对象的信息，因此可能获得如图28A中所示的不平滑组合图像(与上述图24C和图24D中所示的情况类似)。

因此，如图28D所示，在以特定帧速的帧时间段FR1中，例如，以曝光时间段R4指示的方式执行分开曝光，使得可以不出现非曝光时间段。

在这种情况下，在图像抓取元件单元23中，例如，每三个曝光时间段R4(将帧时间段FR1分为三个曝光时间段R4)传送电荷，并且将结果的所抓取的图像数据存储在例如相机DSP 4中。在图像抓取元件单元23中，紧接在电荷传送之后曝光继续，并且以类似的方式执行曝光时间段R4中的曝光。

然后，在相机DSP 4中组合每一个均与曝光时间段R4对应的三个所抓取的图像数据元素，以产生一帧的图像数据。

通过该操作，获得了以固定帧速的每一帧(#1、#2、......)的所抓取的图像数据。此外，可以获得在图像抓取元件单元23中去除了饱和的、不缺少非曝光时间段引起的信息的所抓取的图像数据。

因此，当在组合处理中使用多个帧(#1、#2、......)的图像数据时，可以获得图28C所示的平滑长时间曝光效果图像。

在该操作中，可以以多种方式设置分开曝光时间段。可以等分或不等分每一个帧时间段FR1。在实践中，通过考虑固定帧速、在图像抓取期间获得的对象亮度级别、图像抓取元件单元23中电荷的饱和时间等，可以执行适应性控制。

例如，在相机DSP 4组合通过使用分开曝光获得的多个所抓取的图像数据元素以产生一帧图像数据的情况下，期望根据分开曝光时间来执行加权组合。

图29A示出了在每一个曝光时间段R4中的分开曝光，其中将一帧时间段FR1等分为三个部分。

在这种情况下，如图29A所示，使用相同的权重(一次幂)来组合形成一帧的三个所抓取的图像数据元素，以产生各个帧(#0、#1、#2、......)的所抓取的图像数据。

图29B示出了在曝光时间段R5、R6和R7中的分开曝光的示例，其中将一帧时间段FR1不等分为三个部分。如果时间段R5、R6和R7具有3∶2∶1的比例，则执行组合以便将1/3的权重施加到在曝光时间段R5中获得的图像数据元素，将2/3的权重施加到在曝光时间段R6中获得的图像数据元素，并将1的权重施加到在曝光时间段R7中获得的图像数据元素。

图29C示出了在曝光时间段R8和R9中的分开曝光的示例，其中将一帧时间段FR1部分地不等分为三个部分。如果时间段R8和R9具有3∶1的比例，则执行组合，以便将1/3的权重施加到在曝光时间段R8中获得的两个图像数据元素，而将1的权重施加到在曝光时间段R9中获得的图像数据元素。

7、可变帧速的图像抓取操作

现在将描述考虑可变帧速的示例性图像抓取操作。

例如，在图5所示的步骤F15中的图像抓取中，如果根据对象亮度级别将电子快门功能用于自动曝光调节，则如上所述，当使用通过图像抓取获得的多个帧的图像数据来执行组合处理时获得不平滑的组合图像。图30A和图30B示出了使用不连续曝光抓取的组合图像，在所述不连续曝光中，例如，一帧时间段是FR1，并且使用电子快门功能限定一帧内的曝光时间段R3。当使用通过利用这样的图像抓取获得的图像数据来执行组合时，由于缺少由阴影指示的非曝光时间段的信息，因此获得了如图30A所示的组合图像。

这里，假设在组合模式图像抓取中，不是必须使用固定帧速来获得在组合处理中使用的多个连续帧的图像数据。然后，可以以图30D所示的方式执行图像抓取。具体地说，一帧时间段FR1是不固定的，并且当对象亮度级别增大时缩短一帧时间段(即，可变帧速)，并且对于一帧时间段连续地执行曝光。

在图30D中，改变帧速以便一帧时间段FR2可以等于曝光时间段R3，并且基本上实现了等效于图30B中所示的效果的曝光调节效果。然后，在图30D中，由于在帧时间段FR2中不存在非曝光时间段，因此在不缺少对象信息的情况下记录每一帧的图像数据。将通过这样的图像抓取获得的图像数据用于执行组合，导致图30C中所示的平滑长时间曝光效果组合图像。

具体地说，当使图像抓取系统2在图5所示的步骤F15中抓取具有时间连续性的多个帧的图像数据时，CPU 31(图像抓取控制单元51)执行控制以根据抓取期间对象亮度级别的变化来改变帧速。然后，将通过图像抓取操作抓取的、具有时间连续性的多个帧的图像数据用作组合使用图像数据以执行组合处理。由此，作为产生组合图像为静止图像的结果，获得了平滑长时间曝光效果图像。

图31A到图31C示出了对象亮度级别变化与帧速之间的关系的示例。

现在假设，如图31A所示，从时间t0开始对象亮度级别逐渐增大，并且在时间t1之后变为基本恒定。在这种情况下，通过以图31B所示的方式改变帧速以控制一帧时间段，来执行自动曝光调节。具体地说，执行曝光调节，以便对于从时间t0到时间t1的时间段(在其期间对象亮度级别逐渐增大)，以FR1、FR2、FR3、......的顺序逐渐缩短一帧时间段。由于在一帧时间段中不存在非曝光时间段，因此根据一帧时间段的长度，以R1、R2、R3、......的顺序来缩短一帧曝光时间段。

例如，如果在时间t1之后对象亮度级别没有变化，则可以以帧时间段FR8(曝光时间段R8)来维持后面的时间段。

图32A到图32D示出了在将如上所述的可变帧速控制用于自动曝光调节的情况下的示例性操作。

在图32A、图32B、图32C和图32D中，横坐标轴表示对象亮度级别。图32A示出了帧周期FR，图32B示出了增益级别G，图32C示出了曝光控制方法，而图32D示出了光圈机构和ND滤光片机构的操作状态。

注意，没有示出电子快门功能，这是因为假设在一个时间段从头至尾(除了电荷传送的短时间段之外)执行曝光，并且一帧时间段内的曝光时间不短于一帧时间段。

在具有最低对象亮度级别的区域A中，使用光圈机构执行曝光调节。具体地说，通过改变光圈机构的开口量来调节入射光的量。

在仅使用光圈机构难以调节入射光的量的区域B中，使用光圈机构和ND滤光片机构二者。具体地说，通过改变光圈机构的开口量以及进入ND滤光片机构的入射光通量的量来调节入射光的量。

在具有太高对象亮度级别以至于不能仅使用光圈机构和ND滤光片机构来执行调节的区域C中，也通过可变地控制帧速来执行调节。具体地说，当对象亮度级别增大时，减小一帧时间段FR。例如，当对象亮度级别很低时，将帧时间段FR设置到1/60秒，并且随着对象亮度级别增大，控制帧时间段FR以将其可变地减小到1/500秒。

仅在具有格外高的对象亮度级别的区域D中(这将不能通过改变帧时间段FR到1/500秒来解决)，使用可变增益控制来执行曝光调节。

为了执行如上所述的曝光调节，在上述图5所示的步骤F15中的图像抓取中，CPU 31(图像抓取控制单元51)执行图33所示的曝光调节处理。图33所示的处理连续地执行一时间段，在所述时间段期间连续地抓取帧。

步骤F301到F311以及F314与上述图27所示的步骤类似。执行步骤F320的处理而非图27中所示的F313，执行步骤F321的处理而非图27中所示的步骤F312。由于特定处理步骤的部分是不同的(如步骤F310)，因此在下文中将描述所有处理步骤。

在步骤F301，CPU 31确定对象亮度级别。例如，CPU 31获取关于在相机DSP4中当前被抓取和处理的帧的、由图像信号处理单元41计算的曝光量信息(如平均亮度信息)，并且将其与关于之前帧的曝光量信息进行比较，以确定对象亮度级别是已经增大了还是已经减小了。

如果确定对象亮度级别没有发生改变，则CPU 31通过步骤F302和F306返回到步骤F301，并确定下一帧的对象亮度级别。

如果确定对象亮度级别已经增大，则CPU 31从步骤F302进行到步骤F303，并确定当前区域的曝光调节方法是否已经达到其控制极限。具体地说，检查对象光强度的当前增大是否对应于如图32C所示的、从区域A到区域B、从区域B到区域C和从区域C到区域D的增大中之一。

如果当前区域的曝光调节方法还没有达到其控制极限，则CPU 31进行到步骤F310，并使用当前曝光调节方法来解决(address)对象亮度级别的增大。

具体地说，如果当前区域是区域A，则减小光圈机构的开口量。如果当前区域是区域B，则使用光圈机构和ND滤光片机构的组合来减小入射光的量。如果当前区域是区域C，则执行控制以便改变帧速以缩短一帧时间段。如果当前区域是区域D，则执行控制以减小增益级别。

如果当前区域的曝光调节方法已经达到其控制极限，则处理在步骤F304和F305转移。

具体地说，如果在从区域A到区域B的转换的情况下对象亮度级别已经增大，则CPU 31进行到步骤F311。然后，CPU 31从仅使用光圈机构的曝光调节切换到使用光圈机构和ND滤光片机构二者的曝光调节，并执行控制以解决对象亮度级别的增大。

如果在从区域B到区域C的转换的情况下对象亮度级别已经增大，则CPU 31进行到步骤F321。然后，CPU 31从使用光圈机构和ND滤光片机构二者的曝光调节切换到使用可变帧速的曝光调节，并执行控制以解决对象亮度级别的增大。如果在从区域C到区域D的转换的情况下对象亮度级别已经增大，则CPU 31进行到步骤F320。然后，CPU 31从使用可变帧速的曝光调节切换到使用可变增益级别的曝光调节，并执行控制以解决对象亮度级别的增大。

如果作为步骤F301的确定结果而确定对象亮度级别已经减小，则CPU从步骤F302进行到步骤F306，并确定当前区域的曝光调节方法是否已经达到其控制极限。具体地说，检查对象光强度的当前减小是否对应于从区域B到区域A、从区域C到区域B和从区域D到区域C(如图32C中所示)的减小中之一。

如果当前区域的曝光调节方法还没有达到其控制极限，则CPU 31进行到步骤F310，并使用当前曝光调节方法解决对象亮度级别的减小。

具体地说，如果当前区域是区域A，则增大光圈机构的开口量。如果当前区域是区域B，则使用光圈机构和ND滤光片机构的组合来增大入射光的量。如果当前区域是区域C，则通过改变帧速来增大一帧时间段。如果当前区域是区域D，则执行控制以便增大增益级别。

如果当前区域的曝光调节方法已经达到其控制极限，则处理在步骤F308和F309转移。

具体地说，如果在从区域C到区域B的转换的情况下对象亮度级别已经减小，则CPU 31进行到步骤F311。然后，CPU 31从使用可变帧速的曝光调节切换到使用光圈机构和ND滤光片机构二者的曝光调节，并执行控制以解决对象亮度级别的减小。

如果在从区域D到区域C的转换的情况下对象亮度级别已经减小，则CPU 31进行到步骤F321。然后，CPU 31从使用可变增益级别的曝光调节切换到使用可变帧速的曝光调节，并执行控制以解决对象亮度级别的减小。

如果在从区域B到区域A的转换的情况下对象亮度级别已经减小，则CPU 31进行到步骤F314。然后，CPU 31从使用光圈机构和ND滤光片机构二者的曝光调节切换到仅使用光圈机构的曝光调节，并执行控制以解决对象亮度级别的减小。

CPU 31执行这样的处理以执行图32A到图32D所示的曝光调节。

具体地说，CPU 31使图像抓取系统2抓取具有时间连续性的多个帧的图像数据，并通过可变地控制帧速，以及使用光圈机构、ND滤光片机构和增益级别控制以执行曝光调节控制来在抓取期间根据对象亮度级别执行曝光调节控制。

在图5中所示的步骤F15中的图像抓取处理中执行这样的曝光调节控制，由此根据对象亮度级别可以执行合适的曝光调节，另外，所抓取的多个帧的图像数据不缺少由于非曝光时间段引起的信息。

因此，根据后面的组合处理，如图30C所示，可以获得与使用长时间曝光而实际抓取的图像可比较的平滑图像。特别地，在抓取运动对象的图像的情况下，可以获得平滑的长时间曝光图像。

在区域D中，使用可变增益执行曝光调节。如上所述，增益调节可能导致电子噪声。然而，区域D是在通常情况下几乎不出现的高亮度区域，并且在多数情况下将不执行使用可变增益的曝光调节。由此，可以认为，如果不使用诸如降噪处理之类的特殊技术，则在实践中基本上不存在由于可变增益引起的噪声的影响。

还可以在步骤F16中以及步骤F15中的图像抓取中执行上述曝光调节控制。

虽然在图32和图33中使用除了可变帧速之外的三种曝光调节因素(光圈机构、ND滤光片机构和可变增益)，但是不是必须使用所有三种因素，例如，可以不使用ND滤光片机构。

在使用通过如上所述可变地控制帧速而获得的图像数据元素的组合处理中，最好根据与图像数据元素对应的帧时间段来分配加权系数。具体地说，将被确定为图像抓取期间图像数据元素的帧时间段长度的比例的倒数的加权系数分配到组合处理中使用的图像数据元素，以执行组合处理。

例如，如图31C所示，当使用可变帧速获得的图像数据元素#1到#22被用作待组合的图像来执行组合处理，以产生组合图像数据时，分配图31A到图31C所示的加权系数。例如，假设与图像数据元素#1对应的帧时间段FR1是帧时间段FR8的五倍，如果要分配到帧时间段FR8中的图像数据元素#8到#22的加权系数是1，则将加权系数1/5分配到图像数据元素#1。假设与图像数据元素#2对应的帧时间段FR2是帧时间段FR8的(10/3)倍，将加权系数3/10分配到图像数据元素#2。

以这种方式，根据一帧的时间段的长度，将被确定为反比(inverse ratio)的加权系数分配到图像数据元素以产生组合图像数据，并且基于组合图像数据可以产生平滑图像。

为了在组合处理中设置这样的加权系数，期望的是，在图像抓取期间要添加到每一个图像数据元素的元数据中包括关于帧速的信息。

8、示例性组合模式处理：帧内插

现在将描述在上述组合模式处理中可应用的多种示例。首先，将描述帧内插。

在组合模式图像抓取中，可以使用用于曝光调节等的电子快门功能来抓取具有时间连续性的多个帧的图像。

电子快门功能可以用在诸如当使用图25A到图25D所示的曝光调节方法时、当在图26C所示的曝光调节方法中获得区域D中的对象亮度级别时、以及当用户执行电子快门功能的设置时之类的情况下。在这样的情况下，如上所述，即使执行连续帧抓取，也会在帧时间段中出现非曝光时间段，导致缺少关于非曝光时间段的对象信息。

此外，即使在不使用电子快门功能的情况下，例如，在不是每帧执行而是间断地(如每隔一帧)执行图5所示的步骤F15中的连续图像抓取的情况下，具有时间连续性的多个帧的图像数据的序列也缺少对象信息。

在这种情况下，如果待组合的图像数据元素的序列缺少对象信息，则获得具有不平滑性的组合图像。

然而，如果使用上述图26A到图26D或图32A到图32D中所示的曝光调节方法，并且如果对于所有帧执行图5所示的步骤F15中的连续图像抓取，则所抓取的图像数据元素的序列不缺少(或基本上不缺少)对象信息。

图像数据元素的序列可以用于获取表示对象的平滑运动的组合图像。对于改善的平滑性存在另一要求。

因此，最好使用帧内插处理来执行组合处理。将参照图34A到35B来描述帧内插处理。

图34C示出了已经实际地抓取并记录在记录介质90等之上的图像数据元素#1、#2、#3和#4的序列。

组合图像数据元素#1、#2、#3和#4，由此获得了图34A所示的组合图像。也就是说，获得了具有长时间曝光效果的不平滑图像。

这里，执行内插处理以产生图34D所示的内插帧#h12、#h23和#h34。

从图像数据元素#1和#2产生内插帧#h12。从图像数据元素#2和#3产生内插帧#h23。从图像数据元素#3和#4产生内插帧#h34。

使用通常用在诸如MPEG技术之类的编解码方案中的帧间(场间)内插技术，通过使用利用运动矢量的空间预测在两个帧之间内插像素值，可以创建内插帧。

图34B示出了通过将图像数据元素#1、#h12、#2、#h23、#3、#h34和#4进行组合而获得的图像。通过除了帧之外还使用内插帧来执行组合，可以实现更平滑的组合图像。

在除了帧之外还使用内插帧的组合处理中，根据图像抓取间隔或曝光时间，基于添加到图像数据元素#1、#2、#3和#4中的每一个的元数据(例如，可交换图像文件格式(exchangeable image file format，Exif)数据)，可以执行加权。

例如，图35A示出了使用电子快门功能对于40msec的曝光时间段R和20msec的非曝光时间段(阴影部分)的图像数据元素#1、#2、#3和#4的图像抓取，其中一帧时间段FR1是固定的。

在这种情况下，内插帧#h12、#h23和#h34用于内插对于20msec的时间段的帧，这些帧还没有被实际抓取。可以使用具有正确的曝光的、对于40msec的时间段已经实际抓取的帧，以创建内插帧的正确图像。

在使用图像数据元素#1、#2、#3和#4以及内插帧#h12、#h23和#h34的组合处理中，根据曝光时间的比例来分配系数。

例如，图像数据元素#1、内插帧#h12和图像数据元素#2在时间轴上具有2∶1∶2的关系。根据比例倒数的计算，如图35A所示，分配0.5∶1∶0.5的权重。由此，根据对象的实际运动可以重现曝光时间。

使用多个图像的亮度信号之和或者使用元数据中记录的曝光或快门速度，可以计算权重。

图35B示出了在一帧时间段FR2中不使用非曝光时间段的情况下图像数据元素#1、#2、#3和#4的图像抓取。

由于不存在非曝光时间段，因此为了获得更平滑的组合图像的目的而使用内插帧#h12、#h23和#h34。在这种情况下，如图35B所示，通过向图像数据元素#1、#2、#3和#4以及内插帧#h12、#h23和#h34分配相等的权重来执行组合处理。

图36示出了CPU 31的示例性处理，包括上述帧内插处理。

例如，在图8所示的步骤F206中的调节处理中，CPU 31执行图36中所示的处理而非图9中所示的示例。

在图8所示的步骤F206，CPU 31执行图36中所示的处理。首先，在步骤F220，如图9中那样，CPU 31显示选择图像列表和权重条。例如，组合工作图像70从图12中所示的状态改变到图13中所示的状态。

此时，在图像显示区域72中待显示为预览图像的组合图像是使用步骤F230和F231中的帧内插处理而产生的图像。

具体地说，在步骤F230中，CPU 31使用当前组合范围中的图像数据元素的序列来创建参照图34D描述的内插帧。在步骤F231，CPU 31以参照图35A或图35B描述的方式设置预定的加权系数，以执行组合处理。由此，在图13中所示的组合工作图像70的图像显示区域72中显示的组合图像是例如通过与帧内插处理一起执行组合处理而获得的组合图像。

图36中所示的步骤F221到F225A的后续处理与图19中所示的处理类似，省略其冗余描述。然而，当在步骤F224A和F225A中执行预览图像组合时，使用在步骤F230中产生的内插帧来执行组合。

此外，当在执行图36中所示的调节处理之后在图8中所示的步骤F207中执行最终组合处理时，也使用用在步骤F206(图36)中的调节处理的最终阶段中的内插帧来执行组合处理。

通过帧内插处理的额外使用，可以获得与使用长时间曝光而实际抓取的图像可比较的、更平滑的图像作为组合图像。

特别地，当快速运动对象是目标时，更有利的是，使用上述帧内插处理可以表示组合图像中的平滑运动。

在上述示例中，在图8中所示的步骤F206中的图36所示的处理中，将必须使用内插帧的组合图像显示为预览图像。然而，在该调节处理中，包括内插帧的产生和使用的图像组合可以仅在用户操作期望时执行。

此外，在图8中所示的步骤F206中的调节处理中不是必须执行帧内插。作为替代，在步骤F207的最终组合处理中，可以产生并使用内插帧来执行图像组合。

此外，在调节处理中，在组合工作图像70中，可以与原始图像数据一起，在组合图像列表上显示内插帧，以及对应的权重条，以便使用其以与原始图像数据中类似的方式改变加权系数，或者设置组合开始位置/组合结束位置。

可替代地，相反，可以隐藏用户内插帧的存在。

9、示例性组合模式处理：闪光去除/校正

用户可以使用闪光来执行组合模式图像抓取(图5中所示的步骤F15中的图像抓取)。根据后面的组合处理，例如，在不使用闪光的情况下可以实现前帘同步效果等。然而，在诸如当一些用户希望最初实现前帘同步效果等而不在组合工作中改变加权系数等或者想要获得通过使用闪光的图像表现时之类的情况下，他们可能使用闪光来执行图像抓取。

然而，在这样的情况下，必须根据拍摄者的经验和直觉来确定设置，如闪光时间和曝光量。在实践中，用户(拍摄者)可能不一定获得所期望的图像。

此外，在用户使用闪光实际地抓取图像之后，用户可能随后改变他或她的主意，并想要使用在不利用闪光的情况下抓取的图像来产生组合图像。

此外，由于图像抓取设备的性能或用户设置可能使得闪光的实际量不够。

因此，对于用户来说，期望在组合处理中能够去除或校正闪光图像抓取。

图38示出了用于在图8所示的组合处理中的步骤F206中的调节处理中使能闪光去除的、CPU 31的示例性处理。

图38中所示的步骤F220到F225A与图19中的相应步骤类似。在图38中，将步骤F240到F245添加到图19中所示的处理。

当正在调节处理中显示组合工作图像70时，除了上述改变加权系数或改变组合范围的操作之外，用户可以执行闪光去除操作。可以通过例如操作预定操作键或选择菜单条目来执行闪光去除操作。

当检测到用户执行的闪光去除操作时，CPU将处理从步骤F240前进到步骤F241。

在步骤F241到F244，对于组合范围内的每一个图像数据元素，改变用于去除闪光的加权系数。

在步骤F241，CPU 31提取组合范围中的图像数据元素之一作为处理目标。在步骤F242，CPU 31确定所提取的图像数据元素是使用闪光抓取的图像数据元素(在下文中，称为“闪光图像”)还是不使用闪光抓取的图像数据元素(在下文中，称为“非闪光图像”)。如上所述，可以通过检查在图像抓取期间添加到图像数据元素的元数据来执行闪光图像或非闪光图像的确定。

在步骤F243，CPU 31根据闪光图像或非闪光图像来改变加权系数。

具体地说，如果当前图像数据元素是闪光图像，则减小加权系数以便去除或忽略闪光效果。如果当前图像数据元素是非闪光图像，则增大加权系数。

为了在闪光图像与非闪光图像之间消除整体图像亮度级别上的差异的目的而使用加权系数。由此，根据闪光图像与非闪光图像之间整体图像亮度级别的相对差异，确定闪光图像的加权系数的减小量和非闪光图像的加权系数的增大量。在某些情况下，当闪光图像的加权系数减小同时非闪光图像的加权系数保持不变时，闪光图像的整体亮度级别可能等效于非闪光图像的整体亮度级别。

在对于一个图像数据元素已经完成所述处理之后，CPU 31从步骤F244返回到步骤F241，并对于组合范围中的下一个图像数据元素执行类似的处理。

当对于组合范围中的所有图像数据元素完成了上述处理时，为各个图像数据元素设置的加权系数用于均衡各个图像数据元素之间整体屏幕亮度级别上的差异。也就是说，向各个图像数据元素分配加权系数，以便闪光图像变得与非闪光图像一样亮。

在这种状态下，在步骤F245，CPU 31改变与图像数据元素对应的权重条的高度。CPU 31使用与图像数据元素对应的加权系数进一步执行组合处理，以产生闪光去除的组合图像，并在图像显示区域72中显示组合图像作为预览图像。

进一步在图像显示区域71中显示已经在图像显示区域72中显示的图像(即，之前组合图像)作为闪光去除之前的组合图像的预览图像。

图37示出了在闪光去除处理之后获得的组合工作图像70。

如图37所示，假设，在时间线73中作为选择图像列表显示的、组合范围中的图像数据元素#5到#11之中，图像数据元素#11是闪光图像。

首先，当开始图38中所示的调节处理时，即：当向图像数据元素#5到#11分配相等的加权系数(例如，如图13所示，在加权系数相等并且权重条具有相同高度的最初状态下)时，在图37所示的图像显示区域71中显示的、具有后帘同步效果的组合图像被显示在图像显示区域72中作为组合图像的预览图像。

然后，当用户执行闪光去除操作以执行步骤F241到F245的处理时，获得图37中所示的组合工作图像70。

具体地说，增大作为非闪光图像的图像数据元素#5到#10的加权系数，这通过增大权重条w5到w10来表示。此外，减小作为闪光图像的图像数据元素#11的加权系数，这通过减小权重条w11来表示。

然后，在图像显示区域72中显示在闪光去除处理之后获得的组合图像，并且在图像显示区域71中显示闪光去除之前获得的组合图像。

如图37所示，闪光去除处理之后获得的组合图像是去除了后帘同步效果的长时间曝光效果图像。也就是说，产生组合图像，以便作为闪光图像的图像数据元素#11的整体亮度级别也可以等于非闪光图像的整体亮度级别。

以这种方式，即使当用户使用闪光抓取图像时，用户也可以如期望地那样在组合处理中容易地去除闪光效果。

例如，当作为闪光图像抓取的结果，用户获得了不期望的图像时，用户可以仅执行闪光去除操作以分配非闪光图像的权重来获得组合图像。

可以使用连续帧中之前和之后帧的图像数据的亮度分布(亮度信号之和)等而非元数据来执行步骤F242中的闪光图像或非闪光图像的确定。

例如，可以检测、监视或观察连续抓取的图像的亮度信号之和，以检测亮度信号中的变化。

尽管间接地，但是也可以通过检测曝光控制中的光控制功能(如光圈机构、ND滤光片机构或液晶光圈)、快门速度、电子快门速度、增益等来执行通过闪光而抓取的帧的确定。

当通过检测亮度信号的超时的变化率(the rate of overtime changes)(或所抓取图像的景象的光亮度)而发现快速变化时，确定已经闪光。例如，当发现在1/60时间段内从明亮条件到黑暗条件的改变时，可以确定已经闪光。

以这种方式，例如，在除了由图像抓取设备1进行的闪光之外的情况下，例如当从靠近图像抓取设备1的另一装置闪光时，或者当由经过的汽车前灯瞬间照亮了对象时，通过基于帧之间的亮度比较、曝光控制条件或其他条件的确定，可以确定闪光的使用或未使用。

因此，例如，假设在组合处理中去除或忽略在大量拍摄者靠近用户的情况下，由于用户的非故意事件引起的闪光，则最好基于帧之间的亮度比较、曝光控制条件等来确定闪光图像或非闪光图像。也就是说，不论图像抓取条件如何，可以容易地获得取消了周围图像抓取条件的组合图像。

现在将参照图39和图40描述用于使能闪光校正的示例性处理。

在即使用户使用闪光抓取图像但闪光量仍不足的情况下，在组合处理中可能获得不期望的图像效果组合图像。

因此，期望在组合处理中校正闪光图像。

图40示出了用于在图8所示的组合处理中在步骤F206中的调节处理中使能闪光校正的CPU 31的示例性处理。

图38中所示的步骤F220到F225A与图19中的类似。在图38中，将步骤F250到F255添加到图19中所示的处理。

当在调节处理中显示组合工作图像70时，除了上述改变加权系数或改变组合范围之外，用户可以执行闪光校正操作。例如，可以通过操作预定的操作键或选择菜单条目来执行闪光校正操作。

当检测到用户执行的闪光校正操作时，CPU 31将处理从步骤F250前进到步骤F251。

在步骤F251到F255，从组合范围中的图像数据元素之中提取闪光图像，并且改变加权系数。

在步骤F251，CPU 31提取组合范围中的图像数据元素中之一作为处理目标。在步骤F252，CPU 31确定所提取的图像数据元素是闪光图像还是非闪光图像。如上所述，通过检查在图像抓取期间添加到图像数据元素的元数据来执行闪光图像或非闪光图像的确定。可替代地，如上所述，确定可以基于帧之间的亮度比较、曝光控制条件或其他条件等。

如果当前目标图像数据元素是闪光图像，则CPU 31进行到步骤F253，并改变加权系数。在这种情况下，强加权闪光图像的帧以执行校正，使得以合适的光量来闪光。

如果当前目标图像数据元素是非闪光图像，则不具体地改变加权系数。

在已经对于一个图像数据元素完成了所述处理之后，CPU 31从步骤F254返回到步骤F251，并对组合范围中的下一个图像数据元素执行类似的处理。

当已经对于组合范围中的所有图像数据元素完成了上述处理时，使用为各个图像数据元素设置的加权系数来执行校正，以便可以改善闪光图像的亮度级别。

在该示例中，不改变非闪光图像的加权系数。然而，可以改变非闪光图像的加权系数以便对其进行减小等来突出闪光图像。

在已经对与组合范围中的所有图像数据元素完成了步骤F251到F254的处理之后，在步骤F255，CPU 31改变与图像数据元素对应的权重条的高度。CPU 31进一步使用改变的加权系数来组合各个图像数据元素，以产生校正了闪光的组合图像，并在图像显示区域72中将组合图像显示为预览图像。

进一步在图像显示区域71中显示没有校正闪光效果的组合图像(即，紧接在闪光校正处理之前已经在图像显示区域72中显示为组合图像的预览图像的图像)。

图39示出了在闪光校正之后获得的组合工作图像70。

如图39所示，假设在时间线73中显示为选择图像列表的、组合范围中的图像数据元素#5到#11之中，图像数据元素#11是闪光图像。

首先，当开始图40中所示的调节处理，即：当向图像数据元素#5到#11分配相等的加权系数(例如，如图13所示，在加权系数相等并且权重条具有相同高度的初始状态下)时，在图像显示区域72中显示图39所示的图像显示区域71中显示的、具有后帘同步效果的组合图像作为组合图像的预览图像。在这种情况下，由于图像抓取期间闪光量不足，因此图像数据元素#11的整体亮度级别很低，并且没有显著地突出后帘同步效果。

然后，当用户执行闪光校正操作以执行步骤F251到F255的处理时，获得图39中所示的组合工作图像70。

具体地说，增大作为闪光图像的图像数据元素#11的加权系数，这通过增大权重条w11来表示。

然后，在图像显示区域72中显示闪光校正处理之后获得的组合图像，并且在图像显示区域71中显示闪光校正之前获得的组合图像。

如图39所示，在闪光校正处理之后获得的组合图像是其中后帘同步效果显而易见的图像。

以这种方式，即使当用户使用闪光抓取图像时，由于闪光的性能、到对象的距离等而引起图像的对象亮度级别不足，用户也可以在组合处理中容易地、如期望的那样校正闪光效果。

在该实施例中，在光量不足的情况下，已经介绍了在实现了充足的图像亮度级别的情况下的闪光校正。相反，当闪光量太大时，可以执行校正以便可以减小屏幕强度。

此外，可以由CPU 31自动地计算闪光图像的加权系数的校正量，或者可以由用户逐步地调节闪光图像的加权系数的校正量。

在自动计算的情况下，例如，可以预先设置闪光图像和非闪光图像的亮度级别的总和之间的标准差，并且可以调节闪光和非闪光图像的加权系数以便可以获得所述差。

在由用户调节的情况下，可以对于加权系数设置固定变化量，并且每次执行闪光校正操作时，可以将闪光图像的加权系数改变所述固定量。用户仅重复闪光校正操作，直到已经获得期望的状态为止。

由于通过改变加权系数来实施上述闪光去除和闪光校正处理，因此用户还可以通过在组合工作图像70中选择图像数据元素并手动地改变加权系数来执行所述处理。然而，实际上，对于用户来说，改变大量图像数据元素的各个加权系数是耗时的。通过根据闪光去除操作、闪光校正操作等来执行上述处理，显著地改善了组合工作的操作性。

10、示例性组合模式处理：基于距离的校正

现在将参照图41到44，描述图像抓取期间根据到对象的距离来校正加权系数的示例性处理。

为了执行该处理，在图5所示的步骤F15中的图像抓取中，在添加到每一帧的图像数据的元数据(例如，Exif数据)中包括图像抓取期间到焦点对准平面的距离(在下文中，称为“图像抓取距离”)。如上所述，在图像抓取期间，使用自动对焦控制来对焦主要对象。此时，镜头位置检测单元27从镜头地址执行反向操作，以确定到主要对象的距离。CPU 31添加关于距离的信息作为元数据。

现在，在组合处理中图8所示的步骤F206中的调节处理中，假设在图41所示的时间线73中显示为选择图像列表的图像数据元素#5到#11在组合范围中。

假设图像数据元素#5到#11示出了对象正逐渐接近图像抓取设备1同时从屏幕的右上方运动到左下方的景象。

在图像显示区域72中显示通过向图像数据元素#5到#11分配相同的加权系数而产生的组合图像作为预览图像。

这里，如图42所示，假设用户执行加权系数运算以增大图像数据元素#5、#8和#11的加权系数并减小剩余的图像数据元素#6、#7、#9和#10的加权系数来应用多闪光效果，以便产生显示为预览图像的图像。

由于在不使用闪光的情况下已经抓取了图像数据元素#5到#11，因此使用加权系数来实现多闪光效果。这里，将考虑在图像抓取期间实际闪光。

在闪光图像抓取中，实际上，随着到对象的距离增大，到达对象的光量减小，如果光量不足则导致黑暗拍摄。为了避免这样的问题，需要更大的闪光，这可能抑制尺寸和功耗的降低。

在本实施例中，相反，通过执行如图42所示的图像组合可以克服现有技术中由于实际闪光引起的问题。也就是说，在不使用大闪光的情况下，可以获得与在充足光量情况下抓取的图像类似的图像。

可能存在对于与在闪光的情况下抓取的图像类似的图像来说的另一要求：在不使用闪光的情况下更真实地再现。也就是说，可以考虑这样的要求：使用现有技术的闪光图像抓取而实现的多闪光效果的更真实的再现。

因此，期望校正闪光效果。图43示出了具有多闪光效果的组合图像，这与在闪光的情况下实际抓取的图像类似，其中根据元数据(例如，Exif数据)中记载的关于图像抓取距离的信息增大施加了闪光效果的图像数据元素(#5、#8和#11)的加权系数，同时根据图像抓取距离调节加权系数(在下文中，称为“基于距离的闪光校正”)。具体地说，在图43中，如权重条w5、w8和w11所示，调节加权系数以便当图像抓取距离增大时将其减小。由此，如图像显示区域72中的预览图像(其在基于距离的闪光校正之后获得)中所示，产生组合图像，以便当距离增大时，减小闪光效果。将基于距离的闪光校正之前获得的组合图像(即，图42中所示的状态下获得的组合图像)显示在图像显示区域71中。如从两个组合图像之间的比较可以看到的那样，使用基于距离的闪光校正，可以实现组合图像的更真实的表现。

图44示出了用于实施上述基于距离的闪光校正的CPU 31的处理。图44示出了用于在图8所示的组合处理中的步骤F206中的调节处理中使能基于距离的闪光校正的示例性处理。

图44中所示的步骤F220和F225与图9中所示的步骤类似。在图44中，将步骤F260到F266添加到图9中所示的处理。

当正在调节处理中示出组合工作图像70时，如上所述，除了改变加权系数或改变组合范围的操作之外，用户可以执行基于距离的闪光校正操作。例如，可以通过操作预定的操作键或者选择菜单条目来执行闪光校正操作。

例如，用户可以执行加权校正操作(或选择多闪光效果的系数模板)以便以图42所示的方式将多闪光效果施加到组合图像。多闪光效果仅仅是个示例，并且通过分配到组合范围中的某一图像数据元素的高加权系数，可以施加诸如前帘同步效果、后帘同步效果或闪光效果之类的任何其他效果。

在这种情况下，通过执行基于距离的闪光校正操作，用户可以实现更真实的图像表现。

当检测到用户执行的基于距离的闪光校正操作时，CPU 31将处理从步骤F260前进到步骤F261。

在步骤F261到F264，从组合范围中的图像数据元素之中提取具有使用加权系数而施加的闪光效果的图像，并且改变加权系数。

在步骤F261，CPU 31提取组合范围中的图像数据元素中之一作为处理目标。在步骤F262，CPU 31确定所提取的图像数据元素是否为具有使用加权系数而施加的闪光效果的图像(在下文中，称为“施加了闪光效果的图像”或“施加了闪光效果的图像数据元素”)。

如果当前目标图像数据元素是施加了闪光效果的图像，则CPU 31进行到步骤F263，并且根据图像数据元素的元数据来确定关于对象的图像数据元素的图像抓取距离。然后，在步骤F264，CPU 31根据图像抓取距离来计算加权系数的校正值，并将其存储为图像数据元素的加权系数的校正值。

如果当前目标图像数据不是施加了闪光效果的图像，则不执行步骤F263或F264的处理。

在已经对于一个图像数据元素完成了所述处理之后，CPU 31从步骤F265返回到步骤F261，并且关于组合范围中的下一个图像数据元素执行类似的处理。

当对于组合范围中的所有图像数据元素完成了上述处理时，就已经对于组合范围中的所有施加了闪光效果的图像数据元素(在图42中，图像数据元素#5、#8和#11)计算了基于图像抓取距离的加权系数的校正值。

在已经对于组合范围中的所有图像数据元素完成了步骤F261到F265的处理之后，在步骤F266，CPU 31根据基于图像抓取距离的加权系数的校正值，校正施加了闪光效果的图像数据元素的加权系数。

在校正之后，CPU 31改变与图像数据元素对应的权重条的高度。CPU31进一步使用经校正的加权系数来组合各个图像数据元素以产生组合图像，并在图像显示区域72中显示组合图像。

进一步在图像显示区域71中显示基于距离的闪光校正之前获得的组合图像(即，紧接在所述处理之前，已经在图像显示区域72中显示为组合图像的预览图像的图像)。

通过上述处理，获得了图43中所示的组合工作图像70。由此，显示经历了基于距离的闪光校正的组合图像。

在步骤F266中的组合中，为了防止加权系数校正之后产生的组合图像的光亮度整体改变，可以自动地调节所有加权系数，以便获得合适的明亮的组合图像。

在图44中所示的处理中，根据距离仅校正施加了闪光效果的图像数据元素的加权系数。可替代地，根据图像抓取距离，可以计算组合范围中的所有图像数据元素的加权系数的校正值，并且可以校正加权系数。具体地说，可以省略图44中所示的步骤F262的处理，并且可以对于组合范围中的所有图像数据元素执行步骤F263和F264的处理。

在这种情况下，在基于距离的校正之后获得图45中所示的组合工作图像70。具体地说，如权重条w5到w11所示，根据图像抓取距离校正图像数据元素#5到#11的加权系数，并且在图像显示区域72中显示基于经校正的加权系数的组合图像。

在实际中，所发射闪光的闪光到达距离具有如下的关系：

闪光到达距离(m)＝闪光指数(guide number)(ISO 100)÷光圈设置值

一旦指定了闪光指数，则基于闪光量与距离的平方成反比的事实，可以设置加权系数的校正值。

考虑到图像表现，最好根据用户操作给出的指示来指定虚拟(virtual)闪光指数。闪光指数还可以根据对象的距离分布而自动地选择。例如，当对象分布于短距离到中距离时，减小闪光指数；当对象分布于短距离到长距离时，增大闪光指数。

也可以预设闪光指数，如“闪光指数28”。“闪光指数”仅仅是个示例，并且也可以指定暗示闪光量的任意其他值，如闪光到达距离。或者，可以指定与实际拍摄中使用的光圈值不同的光圈设置值。由此，实现了虚拟闪光效果。

当以上述方式选择系数模板时，通过参照所抓取的图像数据的元数据根据图像抓取距离也可以确定加权。

可以自动地设置多闪光效果，以便在选择系数模板之后可以调节发光间隔(高加权帧的间隔)，并且根据调节的发光间隔、基于图像抓取距离可以确定加权。

通过将对应的操作功能添加到预定的操作器或者通过从菜单中选择对应的条目，可以实施调节操作。可替代地，通过执行诸如按下十字键5i的左右按钮同时按下快门操作键5a之类的操作，可以如期望地那样设置发光时间段。

此外，区域提取可以用于根据图像抓取距离仅对焦点对准对象应用加权，由此实现了闪光效果的更真实再现。

可以获得诸如所谓的深度图(对于每一个像素来说的到对象的测量距离)之类的距离分布信息作为关于图像抓取距离的信息，由此根据如下关系将加权分配到每一个像素：

闪光到达距离(m)＝闪光指数(ISO 100)÷光圈设置值

具体地说，除了在图像组合期间使用加权来获取长时间曝光图像之外，使用基于图像抓取距离的区域提取或诸如深度图之类的距离分布信息，根据一个组合图像内的距离可以改变权重，由此实现闪光效果的更真实再现。

如上所述，在图像抓取期间由相机DSP 4的信息产生单元44可以产生距离分布信息。

此外，可以强加权具有短图像抓取距离的帧，而弱加权具有长图像抓取距离的帧，以减小图像处理负荷。在不使用区域提取或深度图的情况下，通过对整个屏幕执行加权可以减小处理负荷。

在用于表示运动对象的运动的、使用长时间曝光抓取的图像中，在图像抓取方面，背景区域中可能不包含运动，或者甚至背景区域中包含的运动可能不一定重要。由此，在所抓取的一些景象中，如果通过对整个屏幕来执行加权以执行图像组合，则不会出现问题。

根据参照图41到图45的上述示例性处理，根据对象距离信息执行图像组合的加权。由此，与使用闪光而实际抓取的图像类似的图像可以在不使用闪光的情况下获得。因此，可以实现具有多闪光效果、前帘同步效果、后帘同步效果、期望时刻处的发光效果等的组合图像的更真实的表现。

现在将参照图46和图47描述另一个示例性处理。

例如，假设在图46中所示的组合范围中的图像数据元素#5到#11之中，图像数据元素#5、#8和#11已经使用闪光实际地抓取。

此外，由于充足的闪光量，因此假设没有获得具有长图像抓取距离的帧的满意的、合适的曝光图像。在该示例中，假设图像数据元素#11(其中对象接近图像抓取设备1)的闪光量是充足的，而图像数据元素#8和#5(其中对象很遥远)的光量是不充足的(图像数据元素#5的光量最小)。

在这种情况下，当通过应用相等的加权系数以执行组合时，如图46所示，获得了具有闪光效果的图像，其中当对象更接近于图像抓取设备1时对象更明显。

尽管该组合图像提供了多闪光效果的更真实的表现，但是一些用户可能期望无论图像抓取距离如何都清晰而不是真实的发光效果的表现。因此，可以执行校正，以便与上述示例相反，可以校正通过闪光实际地执行图像抓取而获得的真实图像，以提高闪光效果。

为了执行该处理，在图5所示的步骤F15中的图像抓取中，图像抓取距离(在图像抓取期间，到焦点对准平面的距离)被包括在添加到每一帧图像数据的元数据中。也可以包括关于是否已经闪光的信息作为元数据。

通过修改上述图44中所示的处理，可以实施CPU 31的实际示例性处理。

具体地说，在步骤F262，确定所提取的图像数据元素是否为已经通过实际地闪光而抓取的闪光图像。如果所提取的图像数据元素是闪光图像，则在步骤F263，确定到对象的距离。在步骤F264，根据所述距离计算加权系数的校正值。此时，与上述示例相反，确定用于校正加权系数以便提供充足光量而不是根据距离减小闪光量的校正值。

然后，在计算了所有闪光图像的加权系数的校正值之后，在步骤F266，使用校正值可以校正闪光图像的加权系数，并且在校正之后，可以执行组合处理。

图47示出了校正之后获得的组合工作图像70的示例。在图像显示区域72中显示经校正的组合图像。在校正之后获得的组合图像中，如从与校正之前获得的组合图像的比较可以看出的那样，即使对于针对遥远的对象、通过不足的闪光量实际抓取的图像来说，也可以获得闪光效果的更清晰表示。

如权重条w5到w11所示，校正加权系数，以便将更高的加权系数分配到其中在闪光图像#5、#8和#11之中对象更遥远的图像数据元素。也就是说，执行校正，以便提供具有大量光的闪光。

在步骤F266中的组合中，为了防止加权系数校正之后产生的组合图像的光亮度整体变化，可以自动地调节所有的加权系数，以便获得合适的明亮的组合图像。

在这种情况下，可以如下执行闪光图像的加权系数的校正(步骤F264中校正值的计算)。

根据以下关系，确定是否需要校正使用闪光抓取的闪光图像(是否需要改变加权系数)：

闪光到达距离(m)＝闪光指数(ISO 100)÷光圈设置值

例如，如果图像抓取距离(m)小于闪光到达距离(m)，则确定闪光量不足并且需要校正(加权)。

如果需要校正，则基于闪光量反比于距离的平方的事实以及关系“闪光到达距离(m)＝闪光指数(ISO 100)÷光圈设置值”来执行校正。

在该校正中，指定闪光指数以基于闪光量反比于距离的平方的事实来执行加权。

考虑到图像表示，最好根据用户操作给出的指示来指定虚拟闪光指数。也可以根据对象的距离分布来自动地选择闪光指数。例如，当对象分布于短距离到中距离时，减小闪光指数；而当对象分布于短距离到长距离时，增大闪光指数。

也可以预设闪光指数，如“闪光指数28”。

“闪光指数”仅仅是个示例，也可以指定暗示闪光量的任意其他值，如闪光到达距离。或者，可以指定与实际拍摄中使用的光圈值不同的光圈设置值。由此，实现了虚拟闪光效果。

可以使用以下处理作为示例性加权系数校正处理。

通过根据图像的亮度分布来确定校正系数、使用元数据和校正系数来执行校正(加权)，可以确定通过闪光而抓取的帧(闪光图像)所需的校正(加权)的程度。

此外，通过闪光而抓取的帧的确定是基于连续抓取并记录的连续图像的之前和之后帧的亮度分布(亮度信号之和)等的。

此外，通过参照添加到图像数据元素的元数据，可以执行通过闪光而抓取的帧(闪光图像)的确定，并且基于连续图像的之前和之后帧的亮度分布(亮度信号之和)等，可以执行通过不想要的发光(如，(由另一个摄像者等进行的)另一个闪光，或者由经过的汽车灯的瞬时照明)而抓取的帧的确定。通过该确定，即使在意外照明条件下(如由另一个拍摄者进行的闪光)，也可以获得满意的组合图像。

不仅可以由存储为元数据(例如，Exif数据)的图像抓取距离(在图像抓取期间到焦点对准平面的距离)来实施关于图像抓取距离的信息，而且可以由例如，使用区域提取技术或所谓的距离分布信息(深度图)获得的、到焦点对准对象的图像抓取距离来实施关于图像抓取距离的信息。

使用区域提取或基于距离分布信息的距离信息，并使用关系“闪光到达距离(m)＝闪光指数(ISO 100)÷光圈设置值”，可以执行通过闪光而抓取的帧的校正必要性的确定。如果保持“距离信息(m)<闪光到达距离(m)”，则确定闪光量不足，并且必须校正加权系数。

如果校正是必需的，则基于闪光量反比于距离的平方的事实来确定校正值。此外，在这种情况下，使用区域提取或基于距离分布信息的距离信息，可以对一区域或每一个像素执行加权。

也就是说，不仅通过执行加权，而且通过根据基于图像抓取距离的区域提取或距离信息(如距离分布信息)，根据一个图像内的距离来改变权重，来在图像组合中获得长时间曝光图像，由此实现闪光效果的更满意再现。

此外，通过确定闪光是否已经到达，并且减小关于具有图像抓取距离(在其之内，闪光已经到达)的图像的加权，也可以执行上述闪光去除。

此外，在闪光去除中，通过使用区域提取或基于距离分布信息的距离信息，对一区域或每一个像素执行加权，可以获得更满意的图像。

闪光到达距离具有这样的关系：“闪光到达距离(m)＝闪光指数(ISO 100)÷光圈设置值”，并且闪光量反比于距离的平方。由此，使用元数据中记录的闪光量可以计算每一个距离的校正值。

在校正期间，根据闪光量反比于距离的平方的事实，通过指定闪光指数，可以执行加权。通过参照显示实际的闪光指数以便将其改变的元数据，或者通过键入一期望的闪光指数(不同于实际闪光的闪光指数)可以指定闪光指数。由此，实现了多种图像表示。

11、示例性组合模式处理：模糊校正

现在将描述包括模糊校正的示例性组合模式处理。

图48A、图48B和图48C示出了使用组合处理获得的组合图像的示例。这里，组合图像中的对象包括从屏幕的右上方运动到左下方的主要对象(具有运动的动态对象)以及在其背景中的静态对象。这里所使用的术语“静态对象”意味着在图像抓取期间用户“不希望运动”的物体，而不是在背景中出现的物体或“不运动或静止的”物体(如建筑物或风景)。静止对象还可以包括例如，人和动物。因此，静止对象是这样的对象：在组合图像中其模糊是不期望的。

图48A示出了用户期望的图像，其中对于动态对象实现了长时间曝光，而对于背景中的静态对象看来是静止的。

在图5所示的步骤F15中的连续图像抓取中，对于某一时间段执行图像抓取。由此，由于用户手的抖动或对象的运动，使得在产生的组合图像中静态对象可能会模糊。

图48B示出了在例如其中图像抓取设备1没有被三脚架等固定的情况下，由于相机抖动引起的背景中静态对象的模糊。

图48C示出了由于各个对象的任意运动引起的静态对象的模糊(在下文中称为“对象模糊”)。例如，即使图像抓取设备1被三脚架等固定，在组合图像中也可能由于其运动引起静态对象非故意地模糊。

在下面的示例性处理中，作为示例，校正这样的相机抖动或对象模糊的影响。

首先，当拍摄者抖动图像抓取设备1时产生相机抖动图像。在这种情况下，在组合图像中，背景中的静态对象类似地模糊。

通过根据在每一个组合使用图像数据元素中检测到的静态对象的运动矢量，对组合范围中的每一个图像数据元素执行坐标变换，然后将组合使用图像数据元素进行组合来校正这样的相机抖动。

由于各个对象的任意运动引起对象模糊。也就是说，静态对象不同地模糊。

通过从组合范围中的每一个图像数据元素中提取动态对象的区域，并执行组合处理以将从组合使用图像数据元素中提取的动态对象的图像区域与一个组合使用图像数据元素进行组合来解决这样的对象模糊。

首先，将参照图49到图52来描述校正相机抖动的示例性处理。

图49示出了在图像显示区域72中显示通过将组合范围中的图像数据元素#5到#11进行组合而获得的组合图像作为预览图像的组合工作图像70。在这种情况下，在图像抓取期间由于相机抖动引起背景对象模糊(出现用户的非故意模糊)。

虽然为了描述的方便在此使用术语“相机抖动”，但是即使实际上相机不抖动，连续图像抓取中的帧成分移动(frame composition shift)也将引起组合图像中类似的模糊。

使用运动矢量来执行相机抖动校正。图52示出了包括用于校正这样的相机抖动的处理的示例性处理。在图52中，步骤F220到F225类似于图9中的步骤。在图52中，步骤F270到F274被添加到图9中所示的处理。

例如，当在调节处理中正在显示图49所示的组合工作图像70时，如上所述，除了改变加权系数或改变组合范围的操作之外，用户还可以执行模糊校正操作。可以通过例如，操作预定操作键或选择菜单条目来执行模糊校正操作。

当检测到用户执行的模糊校正操作时，CPU 31将处理从步骤F270前进到步骤F271，并首先执行基准图像选择处理。

基准图像选择处理可以是用于从组合范围中的图像数据元素#5到#11之中选择用于校正的基准图像数据元素的处理。

作为基准图像，从组合开始位置和组合结束位置限定的选择图像列表中选择顶部帧(top frame)。基准图像也可以是中心帧。可替代地，可以允许用户选择基准图像，以便可以使用用户喜欢的背景条件执行图像组合。

然后，在步骤F272，CPU 31执行特定点提取处理。在该处理中，CPU 31在每一个图像数据元素#5到#11中提取特定点，并关于基准图像上的特定点，检测在非基准图像的图像上特定点的位移量。

特定点是静态对象中的特征部分，并且位移量与关于基准图像数据的、每一个图像数据上特定点的运动矢量相对应。

可以通过从多个图像数据元素中选择高亮度高对比度图像(边缘检测)来提取特定点，或可以通过用户使用触摸板、光标等来选择。可替代地，可以自动地提取多个坐标，并且可以允许用户选择它们中之一。

对于非基准图像的图像，发现并提取基准图像或靠近基准图像的图像(例如，相邻帧)中特定点的位置坐标附近(由图像抓取设备1的焦距限定的、由于相机抖动引起的帧成分模糊的范围内)的相同图像。

使用回放图像选择并检查帧。由此，可以检查所提取的特定点。

通过操作触摸板、光标等可以修改非基准图像的图像中的所提取的特定点。

此外，代替仅仅从基准图像中提取/选择特定点，也可以从非基准图像的图像中提取可能的特定点，并且可以选择具有最小运动的特定点。也可以以运动的升序来排列可能的特定点，并且可以允许用户选择它们中之一。

此外，可以在基准图像与非基准图像的图像之间执行相关性算术运算，以获得作为运动矢量的对应像素中的变化作为特定点的变化。

在自动地设置或由用户设置特定点的情况下，可以选择多个特定点，而不是一个特定点。

可以选择多个点而不是一个点作为特定点，并且可以将所述点处的运动矢量的平均值或标量的最小值设置为特定点的变化。

可以加权多个所选择的特定点，以获得运动矢量的加权平均值。

在步骤F272，CPU 31以上述方式提取每一个图像数据元素#5到#11的特定点，并计算关于基准图像的、非基准图像数据元素中特定点的位移量。例如，如果假设图像平面是XY坐标平面，则位移量可以是X和Y轴上的移动量。当以上述方式检测到特定点和位移量时，在步骤F273，CPU 31根据检测结果执行非基准图像的图像的坐标变换。

例如，首先，如果将图像数据元素#5用作基准图像，则已经确定关于基准图像数据元素#5中特定点处图像的、在图像数据元素#6中特定点处图像的位移量。由此，通过对应的位移量，对图像数据元素#6执行坐标变换。具体地说，执行坐标变换(在XY坐标上移动图像)，以便图像数据元素#6中特定点的位置(XY坐标值)可以匹配图像数据元素#5中特定点的位置。还对于图像数据元素#7到#11以类似的方式执行坐标变换，以便在每一个图像数据元素#7到#11中的特定点的位置可以匹配图像数据元素#5中特定点的位置。

然后，在步骤F274，对于每一个图像数据元素#5到#11执行组合处理，并且在图像显示区域72上显示产生的图像作为预览图像。

图50示出了在这种情况下获得的组合工作图像70。如图50所示，在图像显示区域72中显示已经校正了相机抖动的影响的组合图像。

相机抖动也可能影响具有运动的主要对象。然而，在坐标变换之后的组合中克服了相机抖动关于主要对象的影响。由此，可以实现平滑的长时间曝光效果图像。

关于非基准图像数据的图像数据的坐标变换可能导致其中图像彼此不重叠的部分。为了防止这样的部分的出现，可以向图像数据应用修正处理(trimming process)。

在上述示例中，描述了从图像数据本身检测特定点的运动矢量的技术。可替代地，传感器输出(例如，用于检测模糊检测单元13检测到的相机抖动的量和方向的传感器输出)可以被包括在每一个图像数据元素的元数据中，以便使用传感器输出的值可以确定关于基准图像数据元素的、每一个图像数据元素的位移量以执行坐标变换。

图51示出了在已经执行了模糊校正之后，根据由用户执行的加权系数运算产生的多闪光效果组合图像的示例。

通过图52所示的处理，在以上述方式执行模糊校正之后，用户可以获得期望的图像效果。

现在将描述用于校正对象模糊的示例性处理。

通过从组合范围中的每一个图像数据元素提取动态对象的图像区域并且执行组合处理以将从组合使用图像数据元素中提取的动态对象的图像区域与一个组合使用图像数据元素进行组合来解决对象模糊。

图53示出了在图像显示区域72中显示通过将组合范围中的图像数据元素#5到#11进行组合而获得的组合图像作为预览图像的组合工作图像70。在这种情况下，在图像抓取期间，由于对象模糊引起背景对象模糊。

因此，执行对象模糊校正。图54示出了包括用于校正对象模糊的处理的示例性处理。在图54中，步骤F220到F225类似于图9中的步骤。在图54中，步骤F280到F284被添加到图9中所示的处理。

例如，当在调节处理中正在显示图53中所示的组合工作图像70时，如上所述，除了改变加权系数或改变组合范围的操作之外，用户可以通过操作预定操作键或选择菜单条目来执行模糊校正操作。

当检测到由用户执行的模糊校正操作时，CPU 31将处理从步骤F280前进到步骤F281，并首先执行基准图像选择处理。

基准图像选择处理可以与相机抖动校正中的上述处理类似，并且可以是从组合范围中的图像数据元素#5到#11中选择用于校正的基准图像数据元素的处理。

作为基准图像，从组合开始位置和组合结束位置限定的选择图像列表中选择顶部帧。基准图像也可以是中心帧。可替代地，可以允许用户选择基准图像，以便可以使用用户喜欢的背景条件(即，在对象不运动的情况下，在该状态下长时间曝光的帧)执行图像组合。

然后，在步骤F282，CPU 31执行运动图像选择处理。

在例如基准图像或任何其他图像中，可以允许用户通过操作触摸板、光标等来选择一对象，所述对象的运动要通过使用长时间曝光来表示。根据用户操作，CPU 31确定运动图像。

然后，在步骤F283，CPU 31在每一个图像数据元素#5到#11中提取运动图像区域。也就是说，CPU 31执行在每一个图像数据元素#5到#11内提取包括指定的运动图像的坐标范围的处理。

可以基于作为运动图像的轮廓(outline)的确定来执行区域提取。

在图像抓取期间，也可以获得距离分布信息作为元数据，并且可以确定在距离信息中具有很大差异的部分作为轮廓部分以提取区域。

可替代地，可以提取可作为区域提取的候选者，并且可以提示用户选择它们中之一。

对于除了首先设置区域提取的图像之外的图像，发现并提取最初设置的图像或靠近最初设置的图像的图像(例如，相邻帧)中所提取的区域的位置坐标附近(由图像抓取设备1的焦距限定的、对象模糊的范围内)的相同图像。

使用回放图像选择并检查帧。由此，可以检查所提取的区域。也可以通过操作触摸板、光标等来修改所提取的区域。

在自动设置或由用户选择运动图像区域的情况下，可以选择多个区域而不是一个区域。

如果抓取到了其中用作运动图像的对象正在横穿屏幕(在视角内)的景象，则连续抓取的图像数据元素可以包括其中要表示其运动的对象没有出现的图像数据元素。在这种情况下，对于其中没有运动图像区域可提取的帧来说，通过在显示屏幕上显示通知来向用户通知，在屏幕上没有发现可提取的候选者。此外，由于用作运动图像的对象的快速运动，对象可能仅出现在一帧中。在这种情况下，可以向用户通知，可提取的候选者仅出现在一个图像数据元素中。

也就是说，不是必须对于所有帧执行区域提取，而是可能仅对一个图像执行区域提取。

在执行了区域提取之后，在步骤F284，CPU 31执行组合处理。在这种情况下，CPU 31执行将包括从每一个图像数据元素#5到#11中提取的运动图像区域的数据(即，其运动要通过长时间曝光效果来表示的对象)与基准图像数据元素进行组合的处理。也就是说，仅使用基准图像数据元素的整个屏幕和从剩余图像数据元素中提取的区域执行组合。

在该处理中，仅使用基准图像数据元素的背景以产生除了所提取的运动图像之外的背景，并且将要表示其运动的主要对象的图像(所提取的区域的图像)添加到基准图像数据元素的背景。

然后，在图像显示区域72中显示通过上述组合获得的预览图像。例如，如图50所示，获得了没有背景对象的模糊的组合图像。由于仅使用基准图像数据元素来形成背景图像(静态对象)，因此不出现模糊。

在以上述方式执行模糊校正之后，根据用户操作，改变图像数据元素#5到#11的加权系数。由此，可以实现多种摄影表现。

注意，根据用于组合的区域及其亮度级别，自动地调节组合图像的光亮度或色彩，由此获得具有合适的光亮度/色彩的组合图像。例如，如果所提取的区域发白或很亮，则将获得整体组合图像的高亮度信息。基于亮度信息计算用于执行曝光不足校正的值。

运动图像根据运动而改变。例如，当对象是人或动物时，身体大小或姿势根据图像数据元素#5到#11而不同。因此期望通过使用首先作为基准提取的运动图像，并提取包括与每一个剩余图像数据元素中的运动图像类似的图像的区域来从每一个图像数据元素执行区域提取。

可以将所提取的区域存储在图像抓取设备1的存储器(例如，闪速ROM33)中，并且可以用于后续的图像抓取或图像组合处理。

也可以使用除了上述技术之外的其他区域提取技术(区域分割)，如使用亮度信号的强度或阈值。例如，可以使用亮度信号作为阈值来执行区域提取。这可以提供与使用长时间曝光抓取的、在夜景中运动的光束的图像(例如，汽车前灯)类似的组合图像。

接下来，将参照图55描述用于校正相机抖动和对象模糊二者的示例性处理。

这里，作为示例，将描述这样的组合处理：从具有时间连续性的组合范围中的每一个图像数据元素提取动态对象的图像区域；根据图像数据元素中静态对象的所检测到的运动矢量，对于动态对象的每一个所提取的图像区域执行坐标变换；然后将动态对象的图像区域与一个基准图像数据元素组合。

图55示出了CPU 31的处理。步骤F290到F296示出了在模糊校正操作中包含的处理(剩余步骤，即步骤F220到F225，与图9中所示的步骤类似)。

当检测到由用户执行的模糊校正操作时，CPU 31将处理从步骤F290前进到步骤F291，并首先以与图52和图54中所示的示例类似的方式执行基准图像选择处理。

然后，在步骤F292，CPU 31以与图54中所示的示例类似的方式执行运动对象选择处理。然后，在步骤F293，CPU 31在每一个图像数据元素中提取运动图像区域。

在步骤F294，如图52中的示例那样，CPU 31提取静态对象的特定点，并检测特定点的位移量。具体地说，检测关于基准图像数据元素中特定点的坐标位置的、在除了基准图像数据元素之外的每一个图像数据元素中静态对象的特定点的坐标位置的移动量。

在步骤F295，CPU 31通过使用位移量，来执行从除了基准图像数据元素之外的各个图像数据元素作为运动图像提取的区域的坐标变换。

例如，首先，如果图像数据元素#5被用作基准图像数据元素，则使用关于基准图像数据元素#5中特定点的、所检测到的图像数据元素#6中特定点的位移量，对从图像数据元素#6提取的运动图像区域执行坐标变换。还以类似的方式对从图像数据元素#7到#11提取的运动图像区域执行坐标变换。

然后，在步骤F296，CPU 31执行组合处理。在这种情况下，CPU 31执行将已经从图像数据元素#5到#11提取的、并且已经在步骤F295进行了坐标变换的运动图像区域的数据(即，要通过长时间曝光效果来表示其运动的对象)与基准图像数据元素进行组合的处理。也就是说，使用基准图像数据元素的整个屏幕和从剩余图像数据元素提取的区域来执行组合。

在图像显示区域72中显示通过上述组合获得的预览图像。例如，如图50所示，获得了没有背景对象的模糊的组合图像。由于仅通过基准图像数据元素来形成背景图像(静态图像)，因此不会出现相机抖动或对象模糊的影响。此外，在坐标变换之后组合用作运动图像的主要对象的图像，并且不会出现相机抖动的影响。

接下来，将参照图56描述用于校正相机抖动和对象模糊二者的另一个示例性处理。

在该处理中，在对具有时间连续性的组合范围中的每一个图像数据元素执行基于图像数据元素内的静态对象的运动矢量的坐标变换之后，从每一个图像数据元素中提取动态对象的图像区域，并且执行组合处理，以便从图像数据元素提取的动态对象的区域图像与一个基准图像数据元素组合。

图56示出了CPU 31的处理。步骤F290、F291、F292、F297、F298、F299和F296示出了在模糊校正操作中包含的处理(剩余步骤，即步骤F220到F225，与图9中所示的步骤类似)。

当检测到由用户执行的模糊校正操作时，CPU 31将处理从步骤F290前进到步骤F291，并首先以与图52和图54所示的示例中类似的方式执行基准图像选择处理。

然后，在步骤F292，CPU 31以与图54所示的示例中类似的方式执行运动图像选择处理。

然后，在步骤F297，如图52中所示的示例那样，CPU 31提取静态对象的特定点，并检测所述特定点的位移量。具体地说，检测关于基准图像数据元素中特定点的坐标位置的、在除了基准图像数据元素之外的每一个图像数据元素中静态对象的特定点的坐标位置的移动量。

然后，在步骤F298，CPU 31使用位移量，对除了基准图像数据元素之外的各个图像数据元素执行坐标变换。

例如，如果图像数据元素#5被用作基准图像数据元素，则首先使用关于基准图像数据元素#5中特定点的、所检测到的图像数据元素#6中特定点的位移量，来对于整个图像数据元素#6执行坐标变换。还以类似的方式对于图像数据元素#7到#11执行坐标变换。

在对于除了基准图像数据元素之外的各个图像数据元素执行坐标变换之后，在步骤F299，CPU 31从每一个图像数据元素#5到#11中提取运动图像区域。

然后，在步骤F296，CPU 31执行组合处理。在这种情况下，CPU 31执行将从图像数据元素#5到#11中提取的、运动图像区域的数据(即，要通过长时间曝光效果来表示其运动的对象)与基准图像数据元素进行组合的处理。也就是说，使用基准图像数据元素的整个屏幕和从剩余图像数据元素提取的区域来执行组合。

在图像显示区域72中显示通过上述组合获得的预览图像。例如，如图50所示，获得了没有背景对象的模糊的组合图像。由于仅通过基准图像数据元素来形成背景图像(静态对象)，因此不会出现相机抖动或对象模糊的影响。此外，从已经进行了坐标变换的图像数据元素#5到#11中提取用作运动图像的主要对象的图像，也已经克服了相机抖动的影响。

通过上述示例性处理，可以获得已经克服了相机抖动或对象模糊的影响的组合图像，并且用户可以更容易地获得他/她期望的组合图像。特别地，在图像抓取技术中缺乏经验的用户可以获得组合图像，或者可以校正图像抓取期间背景对象的不期望的运动。

12、信息处理设备

在前述实施例中，使用图像抓取设备1来执行图像抓取和组合处理。可以使用除了图像抓取设备1之外的装置来执行组合处理。图57示出了用作被配置为执行组合处理的设备的示例的信息处理设备，例如，个人计算机200。

图57示出了个人计算机(在下文中称为“PC”)200的示例结构。

如图57所示，PC 200包括中央处理单元(CPU)211、存储器单元212、网络接口单元213、显示控制器214、输入装置接口单元215、硬盘驱动器(HDD)接口单元216、键盘217、鼠标218、HDD 219、显示装置220、总线221、外部装置接口单元222和存储卡接口单元223。

可以作为PC 200的主控制器的CPU 211根据存储器单元212中存储的程序来执行多种控制处理。CPU 211经由总线221连接到其它单元。

总线221上的每一台装置具有唯一的存储地址或输入/输出(I/O)地址，并且CPU 211可以使用所述地址以存取所述装置。总线221的示例可以是外围组件互连标准(peripheral component interconnect，PCI)总线。

存储器单元212被配置为包括易失性存储器和非易失性存储器二者。存储器单元212包括非易失性存储器，如，用于存储程序的ROM、用作多种数据的计算工作区域或临时存储的RAM、以及电可擦除可编程只读存储器(EEPROM)。

存储器单元212用于存储CPU 211执行的程序代码或其他信息(如PC200唯一的标识信息)，或者用作通信数据的缓冲区域或用作当执行工作数据时工作数据的工作区域。

网络接口单元213根据诸如以太网(注册商标)之类的预定通信协议将PC 200连接到诸如因特网或局域网(LAN)之类的网络。CPU 211可以与经由网络接口单元213连接到网络的设备通信。

显示控制器214是用于实际地处理CPU 211发布的呈现命令(renderingcommand)的专用控制器。例如，显示控制器214支持与高级视频图形阵列(super video graphic array，SVGA)或扩展图形阵列(extended graphic array，XGA)标准对应的位图呈现功能。将显示控制器214中处理的呈现数据临时地写入例如帧缓冲器(未示出)，然后将其输出到显示装置220。显示装置220可以是例如有机EL显示器、阴极射线管(CRT)显示器、液晶显示器等。

输入装置接口单元215是用于将包括键盘217和鼠标218的用户输入装置连接到实施为PC 200的计算机系统的装置。

具体地说，使用键盘217和鼠标218来执行输入到PC 200的用户操作，并且经由输入装置接口单元215将操作输入信息提供到CPU 211。

HDD接口单元216执行用于在HDD 219上执行写/读的接口处理。

作为本领域的公知常识，HDD 219是其中固定地安装用作存储介质的磁盘的外部存储装置，并且具有比其它外部存储装置更大的存储容量和更快的数据传输速率。将软件程序以可执行状态放置在HDD 219上被称为“安装”程序到系统。一般而言，HDD 219以非易失状态存储由CPU 211执行的操作系统(OS)的程序代码、应用程序、装置驱动器等。

例如，当PC 200启动时或者当启动用户层的应用程序时，在存储器单元212中展开(develop)在HDD 219中存储的程序。CPU 211基于在存储器单元212中展开的程序执行处理。

外部装置接口单元222被配置为与根据诸如USB标准之类的标准连接的外部装置接口连接。

在本实施例中，外部装置的示例可以包括例如，数码相机、摄像机和视频播放器。

PC 200可以通过经由外部装置接口单元222的通信，从数码相机等获取图像数据。

外部装置接口单元222支持的标准不限于USB标准，而是可以是任何其它接口标准，如电气和电子工程师协会(IEEE)1394。

存储卡接口单元223被配置为从记录介质90(如存储卡)读数据，或者向记录介质90写数据。

例如，放置用于数码相机(例如，上述图像抓取设备1)、摄像机等的记录介质90。然后，可以从记录介质90读图像数据。

在具有上述结构的PC 200中，执行基于CPU 211中的软件配置(即诸如应用程序、OS和装置驱动器之类的软件)的算术处理/控制操作，以执行多种操作。

在本实施例中，作为图4所示的组合模式中的处理描述的步骤ST1到ST4的处理(即，目标图像选择/获取处理(ST1)、组合预备处理(ST2)、组合处理(ST3)和组合图像记录处理(ST4))是可执行的。将用于执行所述处理的程序安装到例如HDD 219，并且当启动所述程序时在存储器单元212中进行展开。CPU 211根据在存储器单元212中展开的程序执行必要的算术处理或控制处理。

然后，在CPU 211中，当启动程序时，程序允许图3所示的预组合处理单元52、组合处理单元53、记录/回放/传送控制单元54、操作检测单元55、显示控制单元56和模板管理单元57被配置为功能块。

换句话说，在CPU 211中执行参照图7、8和9描述的处理以及参照图19、22、36、38、40、44、52、54、55和56描述的处理。

因此，用户可以使用PC 200以执行用于获得如上所述的多种图像效果的组合处理。

用于使CPU 211执行上述处理的程序可以预先记录在用作集成在诸如PC 200之类的设备中的记录介质的HDD、或具有CPU的微处理器中的ROM、闪存等上。

可替代地，可以将程序临时地或永久地存储(记录)在可拆卸记录介质上，如软盘、压缩盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、蓝光盘、磁盘、半导体存储器或存储卡。可以提供这样的可拆卸记录介质作为所谓的封装软件。

也可以经由网络(如LAN或因特网)从下载站点下载程序并且将其从可拆卸记录介质安装到个人计算机等。

在具有上述结构的PC 200中，例如，HDD 219可以存储多种类型的图像内容。例如，可以获取由用户使用数码相机或摄像机抓取的图像内容，并将其记录在HDD 219中。由此，用户可以使用PC 200欣赏回放的所抓取的图像。

例如，PC 200的外部接口单元222可以连接到图像抓取设备1的外部接口8，以便可以将使用图像抓取设备1抓取的图像数据传送到PC200，并且获取所述图像数据。

也可以在存储卡接口单元223中放置用在图像抓取设备1中的记录介质90(存储卡)，以便PC 200可以从记录介质90获取使用图像抓取设备1抓取的图像数据。

除了由用户抓取的图像内容之外，例如，使用外部视频播放器等回放的、并且从外部接口单元222获取的图像内容或者使用网络接口单元213经由网络从外部服务器下载的图像内容也可以存储在HDD 219中，并对其进行回放。

也就是说，在PC 200中，例如，已经使用数码相机或摄像机抓取的、具有时间连续性的多个帧的图像数据可以被加载到例如HDD 219以供使用。用户可以使用PC 200以与上述示例中类似的方式对所加载的图像数据执行组合处理。

例如，用户使用图像抓取设备1执行图5所示的步骤F15中的组合模式图像抓取，然后将多个所抓取的帧的图像加载到PC 200。然后，用户启动用于执行组合处理的软件，以使得CPU 211执行作为图4所示的组合模式中的处理描述的步骤ST1到ST4的处理。因此，可以在更高操作性环境中执行多种类型的图像组合，以创建具有多种图像效果的组合图像。

此外，不仅可以对用户自己抓取的图像，而且可以对PC 200上可获取的多种类型的图像数据(运动图像内容)执行组合处理。

例如，可以回放通过任何方式(如下载)加载到HDD 219的运动图像数据，或者可以连接DVD驱动器、蓝光盘驱动器等(在图57中未示出)以便可以回放在光盘(如DVD或蓝光盘)上记录的图像内容。在这种情况下，对光盘上记录的运动图像内容执行组合处理，由此产生具有期望的图像表示(如长时间曝光效果、前帘同步效果、后帘同步效果或多闪光效果)的组合图像。此外，集成了或连接到电视广播调谐器等的设备可以产生广播内容的组合图像。

在本实施例中，作为示例，将个人计算机用作信息处理设备。使用图像数据的其他多种信息处理设备(如移动电话、个人数字助理(PDA)、游戏单元和视频编辑器)可以以与上述类似的方式执行图像组合。

本领域的技术人员应该理解，根据设计要求和其他因素，可以出现多种修改、组合、子组合和变更，只要它们落在所附权利要求及其等效物的范围内即可。

Claims (10)

1.一种图像处理设备，包括：

预组合处理单元，其被配置为执行预组合处理，以便于将具有时间连续性的多帧图像数据用作待组合的组合使用图像数据；

操作检测单元，其被配置为检测用于组合处理的操作输入信息；

存储单元，其被配置为存储其每一个均具有分配给帧图像数据的加权系数的样式的系数模板；

模板管理单元，其被配置为根据操作输入信息，选择存储单元中存储的系数模板之一；以及

组合处理单元，其被配置为使用模板管理单元选择的系数模板，对预组合处理中获得的多帧的组合使用图像数据执行组合处理，以便于生成表示静止图像的组合图像数据。

2.如权利要求1所述的图像处理设备，其中，系数模板包含具有高的加权系数被分配给连续帧中的起始帧而低的加权系数被分配给剩余帧的加权系数的样式的系数模板。

3.如权利要求1所述的图像处理设备，其中，系数模板包含具有高加权系数被分配给连续帧中的末尾帧而低加权系数被分配给剩余帧的加权系数的样式的系数模板。

4.如权利要求1所述的图像处理设备，其中，系数模板包含具有高加权系数和低加权系数被周期性地分配给连续帧的加权系数的样式的系数模板。

5.如权利要求1所述的图像处理设备，其中，在预组合处理中，预组合处理单元获得记录在记录介质上的、具有时间连续性的多帧图像数据，并且将所获得的多帧图像数据用作待组合的组合使用图像数据。

6.如权利要求1所述的图像处理设备，进一步包括：

图像抓取单元，其被配置为抓取对象的图像以获得图像数据；以及

记录回放单元，其被配置为将图像抓取单元获得的图像数据记录到记录介质上，以及从该记录介质回放图像抓取单元获得的图像数据，

其中，在预组合处理中，预组合处理单元从记录在该记录介质上的多帧图像数据检测多个连续或间断帧的图像数据，并且将检测到的多个连续或间断帧的图像数据用作待组合的组合使用图像数据。

7.如权利要求1所述的图像处理设备，进一步包括显示控制单元，其被配置为生成用于从所述系数模板选择系数模板的显示数据并且将生成的显示数据输出为用于显示的图像数据。

8.如权利要求7所述的图像处理设备，其中，显示控制单元生成用于从所述系数模板选择系数模板的显示数据，以便于包含示出使用系数模板而取得的组合效果的图像，并且将生成的显示数据输出为用于显示的图像数据。

9.一种图像处理方法，包括以下步骤：

执行预组合处理，以便于将具有时间连续性的多帧图像数据用作待组合的组合使用图像数据；

检测用于组合处理的操作输入信息；

根据操作输入信息选择一个系数模板，其中，每一个系数模板均被存储为分配给帧图像数据的加权系数的样式；以及

使用所选择的系数模板，对预组合处理中获得的多帧的组合使用图像数据执行组合处理，以便于生成表示静止图像的组合图像数据。

10.一种用于促使计算机执行图像处理方法的程序，该图像处理方法包括以下步骤：

执行预组合处理，以便于将具有时间连续性的多帧图像数据用作待组合的组合使用图像数据；

检测用于组合处理的操作输入信息；

根据操作输入信息选择一个系数模板，其中，每一个系数模板均被存储为分配给帧图像数据的加权系数的样式；以及

使用所选择的系数模板，对预组合处理中获得的多帧的组合使用图像数据执行组合处理，以便于生成表示静止图像的组合图像数据。

Images