CN104159041B - 摄像装置及其控制方法 - Google Patents

Abstract

本发明提供一种摄像装置及控制方法。该摄像装置包括：拍摄单元，其通过拍摄被摄体来输出图像；光量调节单元，其驱动光量调节部件以调节进入到该拍摄单元的光量；控制单元，其控制该拍摄单元，使得在该拍摄单元输出第一图像之后，输出具有与所述第一图像的曝光量不同的曝光量的第二图像；以及设置单元，其设置该第一图像与该第二图像之间的曝光量的差。该第一图像和该第二图像是用于合成的图像。该设置单元设置所述第一图像与所述第二图像之间的曝光量的差，使得当该光量调节单元正在操作时拍摄的所述第一图像与所述第二图像之间的曝光量的相对关系与当该光量调节单元不操作时拍摄的所述第一图像与所述第二图像之间的曝光量的相对关系相同。

Description

摄像装置及其控制方法

技术领域

本发明涉及用于获得具有不同曝光量的多个图像的摄像装置及其控制方法、以及程序。

背景技术

根据现有技术，存在已知作为摄像装置中的高动态范围(HDR)合成处理的公知技术，该技术是以不同曝光量获得同一场景的多个图像、并且对这些多个图像进行合成的动态范围扩大技术。

HDR合成处理首先获得具有与被摄体的测光结果相对应的曝光量(正确曝光量)的图像。接下来，获得以比正确曝光量较少的曝光量(曝光不足量)拍摄的图像以及以比正确曝光量较多的曝光量(曝光过度量)拍摄的图像的任意一者或两者。由此，可以通过将具有这些不同曝光量的这些图像进行合成来获得具有宽动态范围的合成图像。

作为将前述结构应用于运动图像的运动图像HDR技术，US2002/0071044提出一种摄像装置：能够定期以不同曝光获得(拍摄)图像，在该摄像装置内合成这些图像，并连续输出图像。

发明内容

本发明的一方面提供了一种摄像装置。该摄像装置包括：拍摄单元，其被构造为通过拍摄被摄体来输出图像；光量调节单元，其被构造为驱动光量调节部件以调节进入到所述拍摄单元的光量；控制单元，其被构造为控制所述拍摄单元，使得在所述拍摄单元输出第一图像之后，输出具有与所述第一图像的曝光量不同的曝光量的第二图像；以及设置单元，其被构造为设置所述第一图像与所述第二图像之间的曝光量的差。所述第一图像和所述第二图像是用于合成的图像。所述设置单元以使得当所述光量调节单元正在操作时拍摄的所述第一图像与所述第二图像之间的曝光量的相对关系、与当所述光量调节单元不操作时拍摄的所述第一图像与所述第二图像之间的曝光量的相对关系相同的方式，设置所述第一图像与所述第二图像之间的曝光量的差。根据本发明，在正确获得用于合成的具有不同曝光量的多个图像的同时进行跟随被摄体亮度变化的曝光控制。

根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示根据本发明的第一实施例的摄像装置的示例结构的图。

图2是例示根据本发明的第一实施例的视频信号处理单元的示例结构的图。

图3A至图3C是例示根据本发明的第一实施例的摄像装置中的曝光控制的示例定时的时序图。

图4是描述根据本发明的第一实施例的摄像装置的操作处理的示例的流程图。

图5是描述与根据本发明的第一实施例的摄像装置中的曝光控制相关的示例程序的程序图。

图6是例示用于确定根据本发明的第一实施例的针对摄像装置的光圈驱动参数的处理的示例的流程图。

图7是例示根据本发明的第二实施例的摄像装置中的曝光控制的示例定时的时序图。

图8是描述根据本发明的第二实施例的摄像装置的操作处理的示例的流程图。

图9是例示用于确定根据本发明的第二实施例的针对摄像装置的曝光校正量的处理的示例的流程图。

图10是描述根据本发明的第三实施例的摄像装置的操作处理的示例的流程图。

图11A和图11B是例示根据本发明的第三实施例的摄像装置的曝光控制的示例定时的时序图。

图12A和图12B是例示根据本发明的另一实施例的摄像装置中的曝光控制的示例定时的时序图。

图13A和图13B是例示能够由根据另一实施例的摄像装置表现的示例色调范围的图。

具体实施方式

第一实施例

设备的基本结构

在下文中，将参照图1和图2描述本发明的实施例。图1是例示作为根据本实施例的摄像装置的数字照相机100(在下文中，简称为相机)的示例结构的图。在下文中，将参照图1描述照相机100的基本结构。

镜头101是将入射到镜头101的光学图像导向至稍后描述的摄像设备105的镜头组。此外，镜头101是由包括聚焦镜头、变焦镜头、以及位移镜头(shift lens)的多个镜头组成的镜头组。

光圈102是调节经由镜头101入射到照相机100(具体地，摄像设备105)的光量的光量调节部件。

镜头驱动单元141是根据来自稍后描述的中央处理单元(CPU)131(光量调节单元)的指令来控制镜头101和光圈102的驱动的光量调节单元。通过操作镜头驱动单元141来驱动镜头101以使得能够控制关于被摄体的变焦操作和聚焦操作。通过操作镜头驱动单元141来控制光圈102的驱动以调节输入到摄像设备105的光量。根据本实施例，将利用光圈102描述光量调节部件，但是结构也可以使用中性密度(ND)滤光器作为光量调节部件。在这种情况下，镜头驱动单元141控制ND滤光器的驱动和操作。

镜头卡口103是用于将镜头101连接到照相机100主体的连接单元。根据本实施例的照相机100是所谓的可更换镜头数字照相机，其中镜头101可以被安装在照相机主体上并且可以从照相机主体移除。照相机100还可以是镜头101和照相机主体是集成单元的数字照相机。

快门104是由快门驱动单元142驱动的遮光部件以在曝光状态与遮光状态之间切换摄像设备105的状态。

摄像设备105是配置有诸如电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)的电荷累积摄像传感器的拍摄单元。在由镜头101导向的被摄体的光学图像在摄像设备105上成像后，摄像设备105输出与该光学图像相对应的的模拟图像数据。摄像设备105可以通过改变累积电荷的重置定时来调节累积时间。

模拟前端(AFE)106对从摄像设备105输出的模拟图像数据进行增益调节、采样以及A/D转换，然后将图像数据作为数字图像数据输出到视频信号处理单元121。

接下来，将参照图2来描述根据本实施例的视频信号处理单元121。图2是例示视频信号处理单元121的示例结构的框图。视频信号处理单元121对从AFE 106输出的数字图像数据执行各种类型的图像处理。在下文中，将描述视频信号处理单元121的内部结构以及各单元的操作。

视频信号处理单元121内部配设有测光计算单元201、显影处理单元202、存储器接口203、合成单元204、以及运动图像编码处理单元205。

测光计算单元201是基于从AFE 106输出的数字图像数据来测量被摄体并且获得被摄体的亮度的测光计算单元。

显影处理单元202是对由AFE 106数字转换的图像数据执行诸如白平衡、颜色插值、颜色校正、γ转换、边缘增强(edge emphasis)以及分辨率转换的处理的处理单元。显影处理单元的处理结果经由存储器接口203和总线150被输出到外部连接到视频信号处理单元121的存储器132。

根据本实施例，关于稍后描述的相关HDR合成处理，以不同曝光量多次拍摄被摄体，并且将具有与图像相对应的不同曝光量的多个图像的数据输出到摄像设备105(由摄像设备105获得)。显影处理单元202对从摄像设备105输出的具有不同曝光量的多个图像中的各个的数据应用前述的各种处理。处理后的图像数据被存储在存储器132中。作为稍后描述的控制单元的CPU 131对具有不同曝光量的多个图像到摄像设备105的输出进行控制。稍后将描述关于获得具有不同曝光量的多个图像的方法的详情。

存储器接口203是经由总线150连接到存储器132、获得视频信号处理单元121内部使用的数据并将其输出的接口。

合成单元204是从存储器132读取从显影处理单元202输出的具有不同曝光量的多个图像的数据，并将该具有不同曝光量的多个图像进行合成的合成单元。将合成后的图像数据(下文中，简称为合成图像)作为合成数据从合成单元204输出到存储器132。

运动图像编码处理单元205是从存储器132读取合成图像并进行编码处理的处理单元。通过对合成图像进行编码处理能够在运动图像编码处理单元205中生成运动图像数据。生成的运动图像数据被存储在存储器132中。以上是根据本实施例的视频信号处理单元121的结构。

接下来，图1所示的存储器132是由前述的视频信号处理单元121以及其他单元内部处理的各种数据存储到相机100的存储单元。例如，存储器132存储由照相机100获得的各种图像的数据以及关于测光计算、聚焦控制、曝光控制等的各种计算结果。

存储器132还包含之前存储的信息，例如由照相机100执行的程序、操作常量、曝光条件、计算方法、以及程序图。由照相机100执行的程序是提供与图3和图5所示的流程类似的操作指令的程序。

定时生成单元143是向照相机100的各单元输出操作定时的定时生成单元。定时生成单元143被经由总线150连接的CPU 131控制，并且控制针对摄像设备105、AFE 106、以及视频信号处理单元121的各操作定时。

除了之前描述的结构单元外，镜头驱动单元141、快门驱动单元142、电源110、存储器132、显示控制单元151、卡输入/输出单元171、以及各种开关连接到总线150。

前述的各种开关包括主开关161、第一释放开关162、第二释放开关163、实时取景开始/停止按钮164、运动图像记录开始/停止按钮165、上下左右选择按钮166、以及设置(Set)按钮167。

电源110经由总线150向照相机100内部配设的各电路供电。

CPU 131是集中控制照相机100中的各单元的控制单元(设置单元)。例如，CPU 131读取由摄像设备105拍摄的图像数据，控制视频信号处理单元121内的操作，控制存储器132的操作定时，进行镜头驱动单元141和快门驱动单元142的驱动控制等。CPU 131还执行读取并执行存储器132中存储的预定程序的上述控制。

显示控制单元151是控制在由液晶显示元件构成的诸如薄膜晶体管(TFT)显示器的显示单元153以及未例示的其他外部显示单元上的可显示的模拟图像数据的显示的显示控制单元。显示控制单元151在CPU 131的控制下，将存储器132中存储的可显示的图像数据经由D/A转换单元152从数字图像数据转换为可显示的模拟图像数据。显示控制单元151经由线缆以及视频输出端子154或HDMI输出端子155将转换后的模拟图像数据显示给显示单元153或外部显示单元(未例示)。

由摄像设备105获得的图像数据在被临时存储在存储器132的视频随机存取存储器(VRAM)之前被AFE和视频信号处理单元121各自进行处理。显示控制单元151根据来自CPU131的指令从存储器132的VRAM中读取可显示的数字图像数据。显示控制单元151能够通过执行之前描述的处理并向显示单元153持续更新可显示的图像来显示记录的运动图像以及实时取景。

诸如SD卡的可移除记录介质173例如能够被插入到卡槽172中。当记录介质173被插入到卡槽172中时，记录介质173电连接到卡输入/输出单元171。

记录到存储器132的图像数据然后能够被记录到记录介质173。记录在记录介质173内的数据还能够被照相机100读取。

设备的基本操作

在下文中，将参照图1描述与使用根据本实施例的照相机100拍摄被摄体相关的操作。在用户接通主开关161之后，CPU 131执行存储器132中存储的预定程序，并向构成照相机100的各单元供电。

在对构成照相机100的各单元供电之后，例如，来自CPU 131的指令被发送到快门驱动单元142以打开快门104，然后由镜头101导向的被摄体的光学图像被形成在摄像设备105上。此外，用于设置各种参数的图形用户界面(下文中，称为GUI)被显示在显示单元153上。

第一释放开关162通过释放按钮(未例示)的第一敲击(stroke)(半按下)接通。根据本实施例，当用户首次接通释放按钮(未例示)的第一释放开关162时开始被摄体的拍摄准备。

更具体地，镜头驱动单元141根据经由总线150来自CPU 131的指令，根据需要执行诸如用于镜头101的聚焦操作和变焦操作、以及用于驱动光圈102的控制。

第二释放开关163通过释放按钮(未例示)的第二敲击(全按下)接通。随着第二释放开关接通，CPU 131基于由定时生成单元143预先确定的累积的开始定时来控制快门驱动单元142的驱动。然后，通过快门驱动单元142打开和关闭快门104来拍摄被摄体。

能够通过上下左右选择按钮166以及确定按钮167的后续用户操作来选择和设置在GUI上显示的各种参数。此外，能够在不进行HDR合成处理的运动图像摄影模式(第一模式)与进行HDR合成处理的运动图像摄影模式(第二模式)之间切换模式。在下文的描述中，第一模式将被称为正常运动图像模式，第二模式将被称为运动图像HDR模式。

当用户按下实时取景开始/停止按钮164时，CPU 131定期从摄像设备105获得图像数据(例如，每秒60次)，执行各种处理，并且将其布置在存储器132的VRAM中。

结果，能够在显示单元153上查看从摄像设备105获得的图像的顺序显示(实时取景)。替代经由按钮等指示实时取景的开始，当主开关161被接通时，结构可以同时开始实时取景。

当用户在实时取景期间按下运动图像记录开始/停止按钮165时，运动图像记录开始或停止。根据本实施例，在实时取景期间，通过用户对运动图像记录开始/停止按钮165的操作，运动图像记录开始或停止，但是本发明不限于此。例如，当实时取景没有操作时，结构可以通过操作运动图像记录开始/停止按钮165来同时开始显示单元153上的实时取景以及运动图像的记录。

HDR合成操作

下文中，将描述根据本实施例的HDR合成处理。通常，当在运动图像摄影期间对被摄体摄像时，曝光量跟随亮度变化而变化。在这种情况下，诸如光阑值、增益量、累积时间等的曝光条件根据摄像装置中被摄体的亮度变化而更新。也就是说，跟随被摄体的亮度变化来执行曝光控制。该曝光控制是跟随亮度变化的曝光控制的示例。

当进行HDR合成处理时，拍摄曝光量对应于被摄体的平均亮度的正确曝光图像以及曝光量比正确曝光相对较少的曝光不足图像。该曝光控制是HDR曝光控制的示例。

根据本实施例，用于合成(HDR合成处理)的图像被称为合成图像。例如，根据本实施例，以正确曝光拍摄的正确曝光图像(第二图像)与以曝光不足拍摄的曝光不足图像(第一图像)变为合成图像。也就是说，曝光不足图像(第一图像)与正确曝光图像(第二图像)是用于合成的图像，曝光不足图像与正确曝光图像是一组用于合成的图像。

正确曝光图像(第二图像)具有比曝光不足图像(第一图像)更大(更多)的曝光量。这些合成图像被CPU(控制单元)131控制，使得由摄像设备105从曝光不足图像起按顺序连续且定期地拍摄。也就是说，作为控制单元的CPU 131控制摄像设备105，使得在输出曝光不足图像(第一图像)之后输出正确曝光图像(第二图像)。

以这种方式，能够通过将拍摄的(输出的)正确曝光图像与曝光不足图像进行合成来获得仅与正确曝光图像(正常模式)的输出相比具有扩大的动态范围的图像(合成图像)。

HDR模式是曝光不足图像与正确曝光图像被连续输出作为用于合成的图像的模式，运动图像摄影模式是正确曝光图像被连续输出作为不用于合成的图像的模式。

当在运动图像的记录期间(也就是说，在运动图像HDR模式期间)进行HDR合成处理时，优选地，同时进行如之前描述的跟随亮度变化的曝光控制以及针对HDR的曝光控制。因此，当在运动图像HDR模式期间进行HDR合成处理时，在发生这种被摄体的亮度变化的情况下，必须进行跟随亮度变化的曝光控制。

利用当光圈102被改变(驱动)时特别进行跟随亮度变化的曝光控制的情况来描述本实施例。

例如，当被摄体的亮度从暗到亮变化时，光圈102从所谓的打开侧向闭合侧变化。在这种情况下，当光圈102被改变(驱动)时，连续输出的曝光不足图像与正确曝光图像之间的曝光量的相对关系不再能够维持。具体地，当光圈102被驱动时拍摄的曝光不足图像与正确曝光图像之间的曝光量的相对关系以及当光圈102不被驱动时拍摄的曝光不足图像与正确曝光图像之间的曝光量的相对关系不再能够维持。也就是说，发生合成图像之间的曝光量的相对关系(大小)切换的问题。

在下文中，将参照图3A到图3C来描述上述问题。图3A至图3C是例示根据本实施例的曝光量的连续变化以及各种曝光定时的时序图。在图3A到图3C中，<1>代表跟随亮度变化的曝光控制的曝光量的变化。<2>代表HDR的曝光控制的曝光量的变化。<3>代表在运动图像HDR模式期间摄像装置的总曝光量的变化。

图3A是例示当如之前所述切换相对曝光量时的情况的时序图。图3B和图3C是例示根据稍后描述的条件的变化的时序图。

从图3A来看，能够观察到点A的曝光量小于(少于)点B的曝光量，该点A的曝光量代表在光圈驱动期间曝光不足图像的平均曝光量，该点B的曝光量代表在光圈驱动期间正确曝光图像的平均曝光量。也就是说，合成图像之间的相对曝光量已从初始期望的曝光量切换。

根据这些合成图像进行在获得合成图像之后进行的伽马校正、采样、以及其他处理，所以存在当在该状态下不正确地进行HDR合成处理的问题。

因此，根据本实施例，通过微驱动光圈来解决上述问题。通过按阶段控制流向步进式电机的线圈的电力，并且使用能够进行微阶光圈驱动以精细控制光圈直径的镜头，来实现光圈的微驱动。

具体地，设置曝光不足图像与正确曝光图像的曝光量之间的差，使得用于合成的一组的针对曝光不足图像的曝光量(下文中，称为曝光不足)与针对正确曝光图像的曝光量(下文中，称为正确曝光)的相对关系被校正。通过控制光圈驱动(导致曝光量变化)来设置曝光不足图像与正确曝光图像之间的曝光量的差，来解决上述问题。也就是说，通过作为设置单元的CPU 131控制快门驱动单元14的操作来设置曝光不足图像与正确曝光图像的曝光量的差，该快门驱动单元14控制作为光量调节部件的光圈102的驱动。曝光不足图像与正确曝光图像的曝光量的差代表曝光不足图像和正确曝光图像的摄像期间曝光量的变化量。

下文中，将参照图4所示的流程来描述根据本实施例的摄像装置的操作。通过配设在照相机100内的CPU 131执行存储器132内存储的程序来实现关于图4所示的流程的操作的各步骤。

在摄影处理开始之前，通过操作构成之前描述的照相机100的单元来完成与摄影相关的准备(诸如对被摄体聚焦)。

现在将描述图4中所示的流程。首先，在步骤S100中，CPU 131检测实时取景开始/停止按钮164已被按下并且开始摄影处理。

接下来，在步骤S101中，CPU 131确定由用户选择的运动图像模式是否是运动图像HDR模式。当该模式不是运动图像HDR模式(第二模式)时，该模式被确定为正常运动图像模式(第一模式)，并且处理进行到步骤S102。当该模式是运动图像HDR模式时，处理进行到步骤S111。

下文中，将描述关于正常运动图像模式(第一模式)的操作的流程。在步骤S102中，CPU 131指示摄像设备105和显示控制单元151开始操作，然后开始针对正常运动图像模式的控制。

接下来，在步骤S103中，CPU 131以存储器132内存储的预先确定的曝光条件来拍摄预备图像(preliminary image)。预备图像摄影条件可以是任意通常使用的条件。根据本实施例，预备图像仅用于稍后描述的测光计算，因此其不被记录到存储器132或其他存储介质，但是该结构也可以进行这种记录。

接下来，在步骤S104中，CPU 131指示测光计算单元201对预先获得的预备图像进行测光计算，然后由结果计算目标曝光。

根据本实施例的目标曝光是根据由测光计算结果计算出的被摄体的亮度的正确曝光。根据本实施例，基于图5中所示的程序图来计算目标曝光。

图5中的程序图是例示根据本实施例的在运动图像的摄影期间光圈、累积时间以及增益量之间的关系的示例程序图。上侧的横轴和左侧的纵轴代表摄影曝光，下侧的横轴代表累积时间和增益量，右侧的纵轴代表光阑值。

该结构可以允许根据用户期望配置目标曝光。在这种情况下，该结构不进行步骤S103和S104中的处理以确定期望的曝光。

接下来，在步骤S105中，CPU 131确定之前计算的目标曝光是否在稍后描述的预定范围内。当目标曝光在预定范围内时，处理进行到步骤S107。当目标曝光在预定范围外时，处理进行到步骤S106。

通常，进行曝光控制，使得摄影中实际使用的曝光(摄影曝光)跟随目标曝光。然而，如果摄影曝光过度地跟随目标曝光，则曝光频繁变化。该状态产生使得难以确定摄影曝光的负面效果。

根据本实施例，建立了用作摄影曝光基准(盲区)的预定范围以防止之前描述的负面效果。关于是否改变曝光条件的确定基于目标曝光是否在用作摄影曝光基准的预定范围内。

根据本实施例，由摄像设备105的动态范围、从测光计算单元201输出的计算精度、来自显影处理单元202的γ转换参数等来确定预定范围，但是本发明不限于此。

当目标曝光在设置的预定范围外时，在步骤S106中，CPU 131改变摄影曝光，然后处理在曝光改变完成之后进行到步骤S107。根据本实施例，通过基于图5所示的程序图适当地改变光阑、累积时间以及增益量(ISO感光度)来实现摄影曝光的改变。

接下来，在步骤S107中，CPU 131经由摄像设备105拍摄针对显示单元153上显示的图像(显示图像)的被摄体，并获得该显示图像。在步骤S108中，在显示图像摄影完成之后，更新获得的显示图像的实时取景。针对摄影处理开始之后的首次处理，开始实时取景。

接下来，在步骤S109中，CPU 131确定摄影处理是否已经结束。如果已经结束，则处理进行到步骤S110，其中摄影操作结束，并且实时取景终止。

如果摄影处理没有结束，则处理返回到步骤S104以开始针对下一图像的摄影操作。以上是针对正常运动图像模式的操作流程的描述。

下文中，将描述关于运动图像HDR模式(第二模式)的操作的流程。在步骤S101中，当用户选择的运动图像模式被确定为运动图像HDR模式时，处理进行到步骤S111，并且CPU131指示摄像设备105和显示控制单元151开始操作，然后开始针对运动图像HDR模式的控制。

接下来，在步骤S112中，CPU 131利用存储器132内存储的之前确定的曝光条件来拍摄预备图像。预备图像的摄像类似于之前描述的针对正常运动图像模式的摄像，因此省略其描述。

接下来，在步骤S113中，CPU 131指示测光计算单元201进行关于之前获得的预备图像的测光计算，然后由该结果计算出目标曝光。

以与针对正常运动图像模式的相同方式(根据图5所示的程序图)来针对运动图像HDR模式确定目标曝光。这里的针对运动图像HDR模式的目标曝光是稍后将描述的正确曝光。因此，基于图5所示的程序图通过设置正确曝光的预定曝光差来获得稍后描述的曝光不足图像。

接下来，在步骤S114中，CPU 131根据测光计算的结果来设置正确曝光与曝光不足之间的固定曝光差。根据本实施例，曝光不足被设置为使得曝光量(Ev)比正确曝光低两个水平(2Ev)，但是本发明不限于此。这里设置的固定曝光差是由HDR曝光控制产生的曝光差，因此存在通过驱动光圈102该固定曝光差改变的情况。本实施例的特征在于设置当驱动光圈102时曝光不足图像与正确曝光图像之间的曝光量的差，使得曝光不足图像与正确曝光图像之间的曝光量的相对关系关于该固定曝光差相同。稍后将描述详情。

根据本实施例，可以通过改变增益量和累积时间中的任意一者或两者来针对各拍摄设置正确曝光与曝光不足之间的固定曝光差。具体地，CPU(控制单元和设置单元)131通过控制累积时间或增益量中的至少任意一者来设置曝光不足图像与正确曝光图像之间的固定曝光差。也就是说，图3A至图3C中的<2>所示的曝光控制不是通过改变光阑来实现，而是通过来自CPU 131的指令控制增益量和累积时间来实现。该结构可以使用2Ev以外的用于正确曝光与曝光不足之间的固定曝光差的值，或者可以根据预定表达式来计算曝光差。

接下来，在步骤S115中，CPU 131确定之前计算的目标曝光是否在预定范围内。当目标曝光在预定范围内时，处理进行到步骤S119。

当在步骤S115中确定目标曝光在预定范围外时，处理进行到步骤S116，并且CPU131开始曝光控制以驱动光圈。针对运动图像HDR模式的预定范围类似于针对正常运动图像模式的预定范围。

接下来，在步骤S117中，CPU(设置单元)131设置光圈驱动参数。稍后将描述作为设置光圈驱动参数的处理的光圈驱动处理。

根据本实施例，光圈驱动参数是用于设置当镜头101经由镜头驱动单元141进行微阶光圈驱动时每单位图像的曝光变化量的参数。

接下来，在步骤S118，CPU 131基于在步骤S117中设置的光圈驱动参数来开始驱动光圈，然后处理进行到步骤S119。

接下来，在步骤S119中，CPU 131基于在步骤S114获得的曝光不足与正确曝光之间的曝光差来进行曝光控制。此时，由CPU 131初始设置的曝光量为曝光不足。在这种状态下，通过摄像设备105根据来自CPU 131的指令对被摄体摄像，然后，CPU 131获得曝光不足图像。

接下来，在步骤S120中，CPU 131以与当获得曝光不足图像时相同的方式来拍摄被摄体用于正确曝光图像。

根据本实施例，在获得(拍摄)曝光不足图像之后获得(拍摄)正确曝光图像。这是因为从摄像设备105读取电荷的定时是周期性的，并且开始电荷累积的定时被设置为从读出定时逆计算。

例如，由于曝光不足图像的累积时间短于正确曝光图像的累积时间，所以当开始正确曝光图像的摄像时，在正确曝光图像与曝光不足图像之间没有累积电荷的间隔增加(更长时间段)。在这种情况下，当进行HDR合成处理时正确曝光图像与曝光不足图像之间的被摄体的偏差量增加，这可能导致合成后的图像的实例模糊。

因此，根据本实施例，按照从曝光不足图像到正确曝光图像的顺序来拍摄被摄体。然而，结构还可以按照从正确曝光图像到曝光不足图像的顺序进行拍摄。具体地，当被摄体移动不超过预定量时不需要限制拍摄顺序。

接下来，在步骤S121中，CPU 131在合成单元(合成单元)204中将曝光不足图像与正确曝光图像进行合成并进行HDR合成处理。具体地，各合成图像被划分为多个块，并且针对块内的预定像素，通过将正确曝光图像与曝光不足图像进行比较来确定合成图像的定位。接下来，对合成图像中的各预定像素的亮度值进行相加以计算平均亮度值。然后，扫描图像中的黑色缺陷亮度区域和晕光亮度区域以确定相加的平均亮度值是否超过预定阈值。然后，从合成图像的像素中排除任何检测到的黑色缺陷区域和晕光缺陷区域(排除处理)。对作为合成图像的正确曝光图像和曝光不足图像二者进行这些操作。最后，利用正确曝光图像的亮度水平作为基准，调节合成图像的亮度水平，然后根据预定合成比率来执行正确曝光图像与曝光不足图像的合成以生成合成图像。合成图像具有比曝光不足图像或正确曝光图像中的任意一者更宽的动态范围。

通过CPU 131执行存储器132中存储的预定程序来在合成单元204中实现这些操作。关于根据本实施例的摄像装置，合成处理不限于之前描述的操作，并且可以例如通过对合成图像相加平均来进行。

在步骤S122中，CPU 131进行通过合成获得的合成图像的实时取景。

接下来，在步骤S123中，CPU 131确定摄影处理是否结束。当摄影处理结束时，处理进行到步骤S124，终止摄影处理和实时取景。如果摄影处理没有结束，处理进行到步骤S113，并且CPU 131进行针对下一帧的摄影处理操作。以上是针对运动图像HDR模式的操作流程的描述。

确定光圈驱动参数的过程

下文中，将参照图3A至图3C以及图6来描述当CPU 131在上述步骤S115中确定目标曝光在预定范围(盲区)外时进行的光圈驱动处理。

图6是例示设置用于根据被摄体的亮度变化来驱动光圈的光圈驱动参数的流程的图。通过配设在照相机100内的CPU 131执行存储器132内存储的程序来实现关于图6所示的流程的操作的各步骤。

根据本实施例的光圈驱动参数指定光阑变化曝光量ΔF、最大单位光阑ΔFmax、用于光圈驱动的图像的数量、光圈驱动期间合成图像之间的曝光差ΔG1、单位光阑变化曝光量ΔF1以及光圈驱动开始定时。稍后将描述关于这些参数的详情。

这里的光阑变化曝光量ΔF是根据当驱动光圈时的光圈驱动变化的曝光量。最大单位光阑ΔFmax是每单位图像根据驱动光圈变化的最大曝光量。单位光阑变化曝光量ΔF1是每单位图像根据驱动光圈实际变化的曝光量。

如图6所示，在步骤S200中，开始确定光圈驱动参数的处理。在步骤S201中，CPU301根据目标曝光与当前摄影曝光的差来设置必要的光阑变化曝光量ΔF。

接下来，在步骤S202中，CPU 131基于作为合成曝光的正确曝光与曝光不足的曝光差ΔE1来设置最大单位光阑ΔFmax。具体地，最大单位光阑ΔFmax被设置为小于ΔE1(ΔFmax<ΔE1)。曝光差ΔE1是之前描述的固定曝光差。根据本实施例，曝光差ΔE1是被连续且定期输出作为用于合成的一组的曝光不足与正确曝光输出的曝光量的差的绝对值。也就是说，当操作镜头驱动单元141时拍摄的曝光不足图像与正确曝光图像之间的曝光量的差被设置在当不操作驱动单元141时拍摄的曝光不足图像与正确曝光图像之间的曝光量的差的绝对值的范围内。镜头驱动单元141根据设置的曝光不足图像与正确曝光图像之间的曝光量的差来驱动光圈102。

根据本实施例，确立光圈驱动的上限(最大单位光阑)以防止在光圈驱动期间曝光不足与正确曝光之间的曝光量的相对关系反转。也就是说，设置光圈驱动，使得当不驱动光圈时曝光不足图像与正确曝光图像的图像之间的曝光量的相对关系与驱动光圈时保持相同(被维持)。

因此，与针对正常运动图像模式的相比，针对运动图像HDR模式的通过驱动光圈的每单位图像的曝光的变化量被减少。也就是说，CPU 131能够通过将之前描述的最大曝光量ΔFmax设置为小于ΔE1来控制运动图像HDR模式期间的光圈驱动改变得比正常运动图像模式期间的光圈驱动更慢。

还可以从镜头驱动单元141的操作水平的角度来观察该结构。作为前提，在运动图像摄影模式期间当驱动光圈102时镜头驱动单元141的操作水平(光量调节水平)是第一水平，在运动图像HDR模式期间的光量调节水平是第二水平。能够由作为设置单元的CPU 131适当地设置光量调节水平。

如之前描述的以及根据本实施例，CPU 131对此进行设置，使得针对运动图像HDR模式的每单位时间的光圈102的驱动量小于运动图像摄影模式。也就是说，通过将光量调节水平设置为使得第二水平低于第一水平，CPU 131即使在驱动光圈时也能够维持当不驱动光圈时曝光不足图像与正确曝光图像之间的曝光量的相对关系。第二水平是具有与第一水平相比每单位时间曝光量变化更小的镜头驱动单元141的操作水平(光量调节水平)。

利用之前描述的处理，针对当不驱动光圈时合成图像之间的曝光量(点C与点D间的相对关系)维持如图3B所示的当驱动光圈时合成图像之间的曝光量的相对关系(点E与点F间的相对关系)。也就是说，合成图像之间的曝光量的相对关系不切换。

图3B是例示当关于根据本实施例的摄像装置控制光圈的驱动时的曝光量的连续变化以及各种类型的曝光控制定时的时序图。点C至点F代表定位的合成图像的平均曝光量。之前描述的曝光量的相对关系代表关于曝光量是多大或多小的关系。通常不维持针对当驱动光圈时的状态以及当不驱动光圈时的状态二者的曝光量的差。关于本实施例，例如，图3B中的从点C到点D的曝光差以及从点E到点F的曝光差不必相同。在这种情况下，图3B中的点E到点F之间的曝光量的相对关系与图3B中的点C到点D之间的曝光量的相对关系相同。

根据本实施例的曝光量的相对关系是当将被定期且连续输出作为用于合成的一组的曝光不足图像与正确曝光图像进行比较时的关系。也就是说，这是当将针对诸如由图3B中的点C和点D代表的一组合成图像的曝光量进行比较时合成图像之间的曝光量的相对关系。

返回到图6，在步骤S203中，CPU 131计算出进行光圈驱动的合成图像的数量(用于光圈驱动的图像的数量)为ΔF/ΔFmax。

接下来，在步骤S204中，CPU 131设置光圈驱动期间合成图像之间的曝光差ΔG1。根据本实施例，合成图像之间的曝光差被确立，使得即使在驱动光圈时也维持一定的最小HDR合成处理效果。

例如，通常在通过光圈驱动减少具有2Ev的曝光差的合成图像之间的曝光差时，合成图像之间的曝光量几乎相同。如果在该状态下对合成图像进行HDR合成处理，则扩大的动态范围的效果变弱。

因此，根据本实施例以及如之前所描述的，进行曝光控制，使得合成图像之间的曝光差至少为定值。具体地，控制光圈驱动，使得在光圈驱动期间合成图像之间的曝光差ΔG1至少是正常状态的一半(ΔG1＝ΔE1/2)。利用该结构，能够获得在光圈驱动期间维持一定的最小HDR合成处理效果的合成图像。

返回到图6中的流程，在步骤S205中，CPU 131确定在步骤S203中计算出的用于光圈驱动的图像的数量是否是偶数。

当在步骤S205中确定在步骤S203中计算出的用于光圈驱动的图像的数量不是偶数时，在步骤S206中，CPU 131将进行光圈驱动的图像增加到计算出的用于光圈驱动的图像的数量。也就是说，当用于光圈驱动的图像的数量是奇数时，通过增加进行光圈驱动的一个图像来将用于光圈驱动的图像的数量校正为偶数。

通过使用于光圈驱动的图像的数量为偶数，这防止仅针对该组合中的曝光不足图像或正确曝光图像中的任意一者进行光圈驱动(导致不正确地进行HDR合成处理)。也就是说，设置曝光不足图像与正确曝光图像之间的曝光差，使得在驱动光圈时从摄像设备105输出的图像的数量(用于光圈驱动的图像的数量)是用于合成的图像的数量(合成图像的数量)的倍数。

接下来，在步骤S207中，根据之前确定的光阑变化曝光量ΔF以及用于驱动的图像的数量，CPU 131设置每单位光阑变化曝光量ΔF1，ΔF1是在合成图像中每实际图像通过光圈驱动改变的曝光量。

接下来，在步骤S208中，CPU 131设置光圈驱动开始定时(开始光圈驱动的定时)，使得从用于合成的一组合成图像中的曝光不足图像开始光圈驱动。根据本实施例以及如图3B中所示，例如，按照从曝光不足图像到正确曝光图像的顺序进行合成，因此由图3B中的点Y代表的位置是光圈驱动开始定时。

如之前描述的，在步骤S205和S206中，用于光圈驱动的图像的数量被设置为偶数，因此结束光圈驱动的定时(光圈驱动结束定时)是图3B中的点Z的位置。

图3C是例示当光圈驱动开始定时不与图像(作为合成图像的图像)匹配时曝光量的连续变化以及各种类型的曝光定时的时序图。图3C中的点G和点H代表合成图像的平均曝光量。这里，存在通过将点G处的图像(没有光圈驱动的曝光不足图像)与点H处的图像(有光圈驱动的正确曝光图像)进行合成来不正确进行HDR合成的问题。例如，如果用于合成的图像之一是有光圈驱动的图像，则在合成图像之间曝光量作为定量而不改变，出现不正确进行诸如合成图像之间的定位或者亮度水平的调节的问题。

因此，根据本实施例以及如之前描述的，合成图像被组合为一组，并且设置光圈驱动定时以对该组进行光圈驱动。具体地，CPU 131开始获得首次获得的曝光不足图像，同时开始光圈驱动，并且停止获得之后获得的正确曝光图像，同时停止光圈驱动。也就是说，CPU131控制光圈102的驱动，使得光圈102的驱动与曝光不足图像的拍摄的开始定时一起开始，并且光圈102的驱动与正确曝光图像的拍摄的结束定时一起结束。

在步骤S208中设置光圈驱动定时之后，在步骤S209中，CPU 131停止设置光圈驱动参数的处理。以上是构成光圈驱动参数的流程的描述。

在设置光圈驱动参数之后，根据在图4中的步骤S118中确定的光圈驱动参数开始光圈102的驱动。因此，在后续步骤中能够利用使得HDR合成处理能够在运动图像摄影模式期间正确进行的条件来依次获得合成图像。

如之前描述的，根据关于本实施例的摄像装置，即使在运动图像HDR模式下对运动图像摄影时进行HDR合成处理的情况下，也能够在进行跟随被摄体亮度变化的曝光控制的同时正确进行HDR合成处理。

根据本实施例的光圈驱动的控制基于计算出的光圈驱动量以及用于光圈驱动的图像的数量来计算单位光圈驱动量，因此单位光圈驱动量在一个光圈的驱动期间通常为恒定。然而，本实施例不限于此，该结构可以在光圈驱动期间进行测光计算并不断地将其结果反映在光圈驱动中。

根据本实施例，描述了合成图像之间的曝光差ΔG1被设置的结构，但是本发明并限于此。例如，可以作出该结构不进行图6中的步骤S204的处理的布置。

根据本实施例，该结构对如之前描述的具有不同曝光的图像进行合成，但是本发明并限于此。例如，该结构可以利用外部配设到照相机100的外部设备(未例示)来进行合成。

第二实施例

根据之前描述的第一实施例，描述的结构通过控制光圈驱动在进行跟随被摄体的亮度变化的曝光控制的同时正确地进行HDR合成处理。根据本实施例，将参照图7来描述替代控制光圈驱动、控制累积时间和增益量的结构。

图7是例示当在光圈驱动期间控制累积时间和增益量时曝光量的连续变化以及曝光控制定时的时序图。图7中的点I和点J代表相应曝光不足图像以及正确曝光图像的平均曝光量。

根据本实施例，在光圈驱动期间，作为控制单元的CPU 131控制在驱动光圈时的累积时间和增益量，从而维持在不驱动光圈时合成图像之间的曝光量的相对关系。

具体地，由控制累积时间和增益量的曝光量通过与不驱动光圈时相比在光圈驱动期间减少针对曝光不足的曝光量并且增加针对正确曝光的曝光量而对应。也就是说，图7中的在光圈驱动期间的点I的曝光量从不驱动光圈时的曝光量减少，并且点J的曝光量在不驱动光圈时的曝光量增加。根据该结构，点I与点J之间的曝光量可以维持当不驱动光圈时合成图像之间的曝光量的相对关系。下文中，将参照图8中的流程来描述关于该结构的操作。

图8是例示根据本实施例的摄像装置的操作的流程图。通过配设在照相机100内的CPU 131执行存储器132内存储的程序来实现关于图8所示的流程的操作的各步骤。

关于图8，在摄影处理开始之前，通过操作构成之前描述的照相机100的单元来完成与摄影相关的准备。在步骤S300中，CPU 131检测到实时取景开始/停止按钮164已被按下并开始摄影处理。

接下来，在步骤S301，CPU 131确定用户选择的运动图像模式是否是运动图像HDR模式。当该模式被确定为不是运动图像HDR模式时，与之前描述的第一实施例类似地选择正常运动图像模式。根据本实施例的正常运动图像模式与之前描述的第一实施例类似，因此省略其描述。

当在步骤S301中确定运动图像HDR模式被设置时，处理进行到步骤S311，并且CPU131开始与HDR运动图像摄影模式相关的处理。下文中，直到步骤S315的操作与之前描述的第一实施例的操作类似，因此省略其描述。

当在步骤S315中CPU 131确定目标曝光在预定范围外时，在步骤S316中，CPU 131进行确定作为改变累积时间和增益量的校正的曝光量的曝光校正量的处理，使得目标曝光在预定范围内。

根据本实施例，与正常运动图像模式类似，曝光控制跟随被摄体的亮度改变。在这种情况下，与第一实施例不同，当跟随亮度变化驱动光圈时不存在对通过驱动光圈改变的每单位图像的曝光量来确立的上限(ΔFmax)。因此，以与针对正常运动图像模式相同的方式，针对运动图像HDR模式驱动光圈。

根据本实施例，替代控制根据驱动光圈改变的曝光量，通过改变累积时间和增益量来控制曝光量。也就是说，通过在驱动光圈102时控制累积时间和增益量来控制合成图像之间的曝光量的相对关系的切换并且正确维持合成图像之间的曝光差。根据该结构，当不驱动光圈102时拍摄的曝光不足图像与正确曝光图像之间的曝光量的相对关系与驱动光圈102时的相同。

根据本实施例，除了针对HDR的曝光控制外，控制累积时间和增益量以正确维持之前描述的合成图像之间的曝光差被例示称为曝光校正处理。

在步骤S316中，CPU 131确定曝光校正控制处理期间的曝光校正量。将参照图9来描述确定该曝光校正量的处理。图9是例示根据本实施例的确定曝光校正量的处理的操作的流程图。通过配设在照相机100内的CPU 131执行存储器132内存储的程序来实现关于图9所示的流程的操作的各步骤。

在图9的步骤S400中，CPU 131开始确定曝光校正量的处理。在步骤S401中，CPU131设置跟随被摄体的亮度变化所需的光阑变化曝光量ΔF。

接下来，在步骤S402中，CPU 131计算单位光阑变化曝光量ΔF1。该ΔF1的计算方法不被构造为如同之前描述的第一实施例计算最大单位曝光量ΔFmax，而是将单位光阑变化曝光量ΔF1调节在该范围内。

接下来，在步骤S403中，CPU 131由之前计算出的光阑变化曝光量ΔF和单位光阑变化曝光量ΔF1来计算用于光圈驱动的图像的数量。具体地，用于光圈驱动的图像的数量被计算为ΔF/ΔF1。

在步骤S403中计算出用于光圈驱动的图像的数量之后，在步骤S404中，CPU 131确定用于光圈驱动的图像的数量是否为偶数。如果用于光圈驱动的图像的数量是偶数，则处理进行到步骤S406，如果用于光圈驱动的图像的数量不是偶数，则处理进行到步骤S405。

当在步骤S404中确定用于光圈驱动的图像的数量不是偶数时，在步骤S405中，CPU131进行校正处理，使得用于光圈驱动的图像的数量变为偶数。

当在步骤S405用于光圈驱动的图像的数量的校正完成时，或当在步骤S404中CPU131已确定用于光圈驱动的图像的数量是偶数时，处理进行到步骤S406。然后，CPU 131确定光圈驱动期间合成图像之间的曝光量。

根据本实施例，当不进行光圈驱动时曝光不足与正确曝光之间的曝光差被固定为2Ev。通过改变累积时间和增益量来确定用于校正曝光量的曝光校正量，使得光圈驱动期间合成图像之间的曝光差ΔG至少为1Ev并且小于2Ev。

在步骤S406中确定光圈驱动期间的曝光校正量之后，在步骤S407中，CPU 131通过基于之前确定的曝光校正量改变增益量来确定曝光校正量。在这种情况下，每张图像的增益量的变化条件被限制为允许增益量改变不多于最初设置的增益量的上下两个水平、保持在照相机100中可设置的增益量水平的总数内的范围。这将使由于增益量的变化的噪声的影响最小化。可以改变增益量的水平数量的允许范围的结构不限于此，并且可以根据用户期望来确定。

接下来，在步骤S408中，CPU 131确定是否必须改变累积时间。如之前描述的，根据本实施例，能够改变增益量的水平的数量被预先确定。当在能够改变增益量的水平的数量在允许范围之外的情况下必须进一步进行曝光校正控制处理时，除了通过改变增益量外，还通过改变累积时间来进行该曝光校正控制处理。

当在步骤S408中CPU 131确定不需要改变累积时间时，处理进行到步骤S410。

当在步骤S408中CPU 131确定需要改变累积时间时，处理进行到步骤S409。在这种情况下，CPU 131通过基于之前设置的曝光校正量改变累积时间来设置曝光校正量。也就是说，当确定曝光校正处理无法在能够改变增益量的允许范围内完成时，改变累积时间。

具体地，从在步骤S406中确定的曝光校正量中减去在步骤S407的根据增益量变化的曝光量以得出根据累积时间变化的曝光校正量。在根据累积时间的曝光校正量被设置之后，处理进行到步骤S410。

接下来，在步骤S410中，CPU 131设置光圈驱动开始定时。光圈驱动定时的设置方法类似于之前描述的第一实施例的方法，因此省略其描述。

接下来，在步骤S411中，CPU 131结束确定曝光校正量的处理。以上是根据本实施例的设置曝光校正量的操作流程的描述。

返回到图8，在步骤S317中，CPU 131利用在步骤S316确定的曝光校正量来执行曝光校正控制处理。也就是说，设置根据增益量和累积时间的曝光校正量以匹配针对首次拍摄的曝光不足图像的曝光校正量。

接下来，在步骤S318中，CPU 131根据之前确定的光圈驱动开始定时以曝光不足拍摄被摄体，然后获得曝光不足图像。

接下来，在步骤S319，CPU 131基于之前确定的曝光校正量来设置针对正确曝光图像的曝光校正量，并以正确曝光拍摄被摄体。然后，CPU 131获得正确曝光图像。

从步骤S320起的后续步骤的操作类似于之前描述的第一实施例的操作。也就是说，拍摄的曝光不足图像与正确曝光图像被合成，并且合成图像用作更新实时取景的显示图像。

当摄影处理操作继续时，处理返回到步骤S313，并且重复摄影处理操作。当摄影处理操作结束时，实时取景终止，并且与摄影处理相关的全部操作结束。以上是根据本实施例的摄像装置的描述。

如之前描述的，根据关于本实施例的摄像装置，即使在运动图像HDR模式下对运动图像摄影时进行HDR合成处理的情况下，能够在进行跟随被摄体亮度变化的曝光控制的同时正确进行HDR合成处理。正确进行HDR合成处理的处理对应于在光圈驱动期间进行利用累积时间和增益量来校正曝光量的曝光控制。

根据该结构，在光圈驱动期间能够维持当不驱动光圈时的相对关系。在光圈驱动期间合成图像之间的曝光差通常被维持至少恒定水平，这使得能够针对合成后的图像获得HDR合成处理效果。

根据本实施例，替代控制光圈的驱动，通过改变增益量和累积时间来在光圈驱动期间进行曝光控制，所以与第一实施例相比，进行光圈驱动的时间段能够被减少。

根据本实施例的曝光校正控制处理，该结构首先根据增益量来设置曝光校正量，但是本发明不限于此。例如，该结构可以首先根据累积时间来设置曝光校正量。该结构还可以通过仅改变增益量或累积时间中的一者来进行曝光校正控制处理。根据本实施例，该结构不限于计算用于光圈驱动的图像的数量，并且光圈驱动数量可以按照用户期望来设置，只要曝光变化量不过度即可。

根据本实施例，该结构将曝光差ΔG1设置为使得合成图像之间的曝光差在1Ev到2Ev之间，但是本发明不限于此。例如，该结构可以利用1Ev到3Ev之间的范围作为其他曝光差的基准。

第三实施例

根据之前描述的第一和第二实施例，用于HDR合成处理的合成图像包括两种类型的图像：曝光不足图像和正确曝光图像。如果被摄体的最大亮度与最小亮度的差较大，例如，仅利用这两种类型的合成图像进行HDR合成处理，则存在不能获得具有用户期望的亮度水平的图像的情况。

因此，关于根据本实施例的运动图像HDR模式，将描述用于HDR合成处理的能够通过利用三种类型的合成图像而具有比之前描述的第一和第二实施例更宽的动态范围的照相机。

具体地，将参照图10至图11B来描述关于摄像装置的结构和操作，其中除了之前描述的实施例中使用的曝光不足图像和正确曝光图像以外，还使用具有比正确曝光图像更大曝光量的曝光过度图像(第三图像)。

根据本实施例的摄像装置的基本结构与图1和图2所示的第一实施例类似，因此省略其描述。

图10是例示根据本实施例的摄像装置的操作的流程图。通过配设在照相机100内的CPU 131执行存储器132内存储的程序来实现关于图10所示的流程的操作的各步骤。

图11A和图11B是例示光圈驱动期间曝光量的连续变化以及曝光控制定时的时序图。图11A是例示与第一实施例类似的、当利用能够驱动微阶光圈的镜头来控制光圈的驱动时的情况的时序图。图11B是例示与第二实施例类似的、当在光圈驱动期间控制累积时间和增益量时的情况的时序图。下文中，将参照图10中的流程来描述根据本实施例的照相机100的操作。图10中的流程描述了与具有图11A所示的结构的摄像装置相关的操作。

关于图10，在摄影处理开始之前，首先通过操作构成之前描述的照相机100的单元来完成与摄影相关的准备。在步骤S500中，CPU 131检测到实时取景开始/停止按钮164已被按下并且开始摄影处理。

接下来，在步骤S501中，CPU 131确定用户选择的运动图像模式是否是运动图像HDR模式。当该模式被确定为不是运动图像HDR模式时，选择正常运动图像模式。正常运动图像模式类似于之前描述的第一实施例的模式，因此省略其描述。

当在步骤S501中确定运动图像HDR模式已被设置时，处理进行到步骤S511，并且开始与HDR运动图像模式相关的处理。步骤S512和S513的操作与之前描述的第一实施例中的操作类似，因此省略其描述。

在步骤S514中，CPU 131基于步骤S513的测光计算的结果来设置HDR合成处理中使用的曝光不足图像、正确曝光图像以及曝光过度图像的曝光量之间的固定曝光差。根据本实施例，各合成图像之间的固定曝光差使用正确曝光作为基准，针对曝光不足将曝光量减少两个水平(-2Ev)，针对曝光过度将曝光量增加两个水平(+2Ev)。除了以上描述的按照用户期望要设置的曝光差以外，该结构还可以允许固定曝光差。

接下来，在步骤S515中，CPU 131确定在步骤S513中计算出的目标曝光是否在预定范围(盲区)内。当目标曝光在预定范围内时，处理进行到步骤S519。当目标曝光在预定范围外时，处理进行到步骤S516。根据本实施例的预定范围(盲区)类似于之前描述的第一实施例的预定范围。

接下来，当在步骤S515中确定目标曝光在预定范围外时，处理进行到步骤S516，CPU 131开始光圈驱动控制。

接下来，在步骤S517中，CPU 131设置光圈驱动参数。除了关于曝光过度图像的详情之外，根据本实施例的光圈驱动参数的决定方法与之前描述的第一实施例的方法类似。从步骤S518起的后续步骤的操作与之前描述的第一实施例的从步骤S118起的操作类似。

如之前描述的以及如关于本实施例的图11A中所示的，进行曝光控制，使得当驱动光圈时这三个合成图像之间的曝光量维持当不驱动光圈时这三个合成图像之间的曝光量的相对关系。

也就是说，通过驱动光圈进行曝光控制，使得针对图11A中的点L的曝光量大于点K的曝光量，点M的曝光量大于点L的曝光量。

点K代表根据本实施例的光圈驱动期间曝光不足的平均曝光量。在下文中，点L类似地代表正确曝光的平均曝光量，点M代表曝光过度的平均曝光量。

如图11A中所示，根据本实施例，与之前描述的第一实施例类似地，进行光圈驱动，使得单位光阑变化曝光量ΔF1不超过最大单位光阑ΔFmax。

也就是说，通过控制光圈的驱动使得光圈驱动期间的曝光变化量不超过当不驱动光圈时合成图像之间的曝光差，能够在跟随被摄体亮度变化的同时正确进行HDR合成处理。

根据本实施例的获得用于HDR合成处理的合成图像的顺序是从曝光不足图像到正确曝光图像，然后到曝光过度图像。这是因为如之前描述的，从摄像设备105读取电荷的定时是周期性的，并且开始累积的定时被设置为由读出定时逆计算。根据本实施例并且与之前描述的第一实施例类似，通过确立合成图像之间的曝光差ΔG1，能够在光圈驱动期间将HDR合成处理效果维持至少恒定水平。

根据之前描述的结构，在光圈驱动参数的设置完成之后，在步骤S518中针对首次获得的曝光不足图像设置曝光不足。处理然后进行到步骤S519，并且CPU 131开始驱动光圈102，同时获得曝光不足图像。

之后，在步骤S520中，CPU 131在根据之前获得的光圈驱动参数继续驱动光圈102的同时获得正确曝光图像。

类似地，在步骤S521中，CPU 131在根据之前获得的光圈驱动参数继续驱动光圈102的同时获得曝光过度图像。从步骤S522到S525的后续步骤与之前描述的第一实施例的步骤S121到S124类似，因此省略其描述。这完成了当在利用曝光不足图像、正确曝光图像以及曝光过度图像作为三种合成图像的情况下控制光圈的驱动时的操作的描述。

关于除了光圈驱动之外的控制的其他情况，接下来将参照图11B中的时序图来描述与之前描述的第二实施例类似地控制增益量和累积时间的情况。图11B中的点N代表在图中相应位置处曝光不足的平均曝光量。类似地，点O和点P分别代表在图中的相应位置处正确曝光和曝光过度的平均曝光量。

如图11B中所示，改变增益量和累积时间，使得点O的曝光量被调节为大于点N的曝光量，点P的曝光量被调节为大于点O的曝光量。也就是说，根据累积时间和增益量进行曝光控制，使得在光圈驱动期间针对用作一个合成组的合成图像的曝光量维持当不驱动光圈时合成图像之间的曝光量的相对关系。进行图11B中所示的操作的摄像装置的结构和操作与之前描述的第二实施例的结构和操作类似，因此省略其描述。

本实施例与第二实施例之间的差异在于除了曝光不足图像和正确曝光图像之外，还向合成图像增加了曝光过度图像。因此，根据本实施例，与曝光不足图像与正确曝光图像之间的单位光阑变化曝光量ΔF1类似，正确曝光图像与曝光过度图像之间的单位光阑变化曝光量也被指定为ΔF1。

根据第二实施例，已经获得根据增益量和累积时间的曝光校正量，使得光圈驱动期间合成图像之间的曝光差ΔG1至少为1Ev并且小于2Ev。此外，根据曝光校正量获得了两个合成图像。然而，根据本实施例，存在三个合成图像。如图11B中所示，基于之前确定的光圈驱动期间的曝光校正量仅校正针对曝光不足和曝光过度的曝光量。也就是说，不校正针对正确曝光图像的曝光量。

根据该结构，通过仅在获得曝光不足图像和曝光过度图像时进行曝光校正控制处理，针对合成图像的曝光量使得HDR合成处理能够被正确地进行。该结构的其他详情与之前描述的第二实施例的详情类似。

如之前描述的，根据关于本实施例结构的摄像装置，能够在针对使用三个合成图像的情况进行跟随被摄体亮度的曝光控制的同时正确进行HDR合成处理。

通过利用曝光不足图像、正确曝光图像以及曝光过度图像作为合成图像，能够获得具有比之前描述的第一实施例和第二实施例更宽的动态范围的图像。

根据本实施例，描述了利用三个合成图像的情况，但是该实施例不限于此。例如，该结构还可以增加合成图像的数量。此外，该结构可以根据测光结果依次改变合成图像的数量。

在该情况下的结构可以通过按照用户期望进行的设置来实现，或者通过CPU 131基于测光结果执行存储器132中存储的预定程序来实现。

描述了曝光不足与正确曝光之间的固定曝光差和正确曝光与曝光过度之间的固定曝光差(根据本实施例示例性地设置为±2Ev)相同的本实施例，但是本发明不限于此。

例如，该结构可以将曝光不足与正确曝光之间的固定曝光差设置为不同于正确曝光与曝光过度之间的固定曝光差。优选地，该结构将该情况下的单位光阑变化曝光量ΔF1设置为与较小的曝光差匹配。

其他实施例

之前描述的第一、第二以及第三实施例描述了从所谓的打开侧向闭合侧驱动了光圈驱动的情况。

根据本实施例，在不改变关于之前描述的第一、第二和第三实施例获得合成图像的顺序的情况下，针对从闭合侧向打开侧驱动光圈的情况，参照图12A和图12B描述了摄像装置。

根据本实施例的摄像装置的基本结构和操作与第一实施例的结构和操作类似，因此省略其描述。本实施例将示例性地描述两个图像(曝光不足图像以及正确曝光图像)被用作用于HDR合成处理的合成图像的情况。

图12A是例示利用与之前描述的第一实施例类似的方法当不控制光圈的驱动时的曝光量的连续变化以及曝光控制定时的时序图。点Q和点R代表针对相应合成图像的平均曝光量。

图12B是例示当以比关于之前描述的第一实施例的摄像装置的驱动量更大的驱动量将光圈102从闭合侧向打开侧驱动时曝光量的连续变化以及曝光控制定时的时序图。点S和点T代表针对相应合成图像的平均曝光量。

如图12B所示，当从闭合侧向打开侧驱动光圈时，即使光圈驱动量增加，光圈驱动期间合成图像之间的曝光量的相对关系维持当不驱动光圈时合成图像之间的曝光量的相对关系。也就是说，当操作镜头驱动单元141以驱动光圈102时拍摄的曝光不足图像与正确曝光图像之间的曝光量的相对关系与当不操作镜头驱动单元141驱动光圈102时的相同。然而，光圈驱动期间曝光不足图像与正确曝光图像之间的曝光量的差由于光圈驱动量的增加而增加。

通常，当进行HDR合成处理时，如果合成图像之间的差增加，所得的合成图像显得不自然并且不是用户想要的。在下文中，将参照图13A和图13B来描述该情况。图13A例示了关于曝光不足图像与正确曝光图像之间的曝光差被设置为2Ev的摄像装置、在通过HDR合成处理获得的合成后的图像的动态范围。点Q和点R对应于图12A所示的点Q和点R。当光圈不被驱动时，也就是说，当不存在被摄体的亮度变化时，合成图像之间的曝光量的差维持在2Ev，因为仅进行合成图像之间的曝光控制(针对HDR的曝光控制)。也就是说，点Q和点R之间的曝光量的差为2Ev。

图13B例示了关于利用与图13A中相同条件的摄像装置、当驱动光圈时在通过HDR合成处理获得的合成后的图像的动态范围。点S和点T对应于图12B所示的点S和点T。图13B例示了当曝光不足与正确曝光之间的曝光量的差由于光圈的驱动变为5Ev时的情况。也就是说，点S与点T之间的曝光量为5Ev。

如图13B中所示，这可以被理解为合成图像之间的曝光量的差由于光圈的驱动变化。因此，当驱动光圈时，存在如图13B中的斜线部分所示的不可以以正确曝光获得图像的可能性。

因此，通过给予根据本实施例的摄像装置与之前描述的第一实施例相同的结构并进行相同操作来防止合成图像之间的曝光量的差的过度变化。

此外，根据本实施例，针对之前实施例描述的光圈驱动期间合成图像之间的曝光差ΔG1没有被确立。这是因为在从闭合侧到打开侧驱动光圈的光圈驱动期间的曝光量的差对于获得HDR合成处理效果是足够的。

如图12A中所示并且根据本实施例，以与之前描述的第一实施例相同的方式来控制光圈驱动。也就是说，最大单位光阑ΔFmax被设置为当不驱动光圈时合成图像之间的曝光差ΔE1。除了刚描述的这些点以外，根据本实施例的摄像装置的操作与第一实施例类似，因此省略其描述。因此，每张图像变化的实际曝光量不大于ΔE1，因此合成图像之间的曝光量的差即使在驱动光圈时也不过度增加。

因此，根据本实施例的摄像装置能够控制合成图像之间的曝光量的差在从闭合侧向打开侧驱动光圈的光圈驱动期间不过度增加。也就是说，根据本实施例的摄像装置能够在进行跟随被摄体亮度变化的曝光控制的同时正确获得用于合成的具有不同曝光量的多个图像。

根据本实施例，光圈驱动期间合成图像之间的曝光差ΔG1没有被确立，但是可以作出ΔG1被确立的结构。在这种情况下，优选地，ΔG1被设置为小于当不驱动光圈时合成图像之间的差ΔE1(2Ev)，从而防止曝光量的差在光圈驱动期间过度增加。

由此描述了本发明的优选实施例，但是本发明不限于这些实施例，应当理解，可以进行各种修改，只要这些修改在本发明的范围和构思之内即可。

通过驱动光圈来实现根据之前描述的实施例的跟随被摄体亮度变化进行的曝光控制，但是本发明不限于此。

例如，该结构还可以包括在关于之前描述的实施例的摄像装置中配设的ND滤光器，并且CPU(ND滤光器控制单元)131可以根据被摄体的亮度变化逐渐改变透过ND滤光器的光量。该结构还可以同时驱动诸如光圈驱动器和ND滤光器的多个用于调节光量的部件(光量调节部件)，并且控制这些光量调节部件的驱动。

关于本发明的照相机100的操作被视频信号处理单元121、CPU 131、镜头驱动单元141、快门驱动单元142、定时生成单元143以及显示控制单元151控制，但是本发明不限于此。例如，该结构可以将按照之前描述的图4、图6、图8、图9以及图10中所示的流程的程序存储到存储器132中，在该存储器132中CPU 131执行控制照相机100中的各单元的驱动的程序。

此外，利用数字照相机100作为实现本发明的摄像装置的示例描述了之前描述的实施例，但是本发明不限于此。例如，本发明可以应用于本发明的范围内的各种摄像装置，例如包括数字摄像机和智能电话的便携设备。

其他实施例

本发明的实施例还可以通过读出并执行记录在存储介质(例如，非暂时性计算机可读存储介质)上的用于执行本发明上述实施例的一个或多个的功能的计算机可执行指令的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质读出并执行用以执行上述实施例的一个或多个的功能的计算机可执行指令来执行的方法来实现。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)、或其他电路的一个或多个，并且可以包括单独的计算机或单独的计算机处理器的网络。例如可以从网络或者存储介质向计算机提供计算机可执行指令。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩盘(CD)、数字通用光盘(DVD)、或蓝光盘(BD)^TM)、闪存设备、存储卡等中的一个或多个。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (17)

1.一种摄像装置，其能够输出第一图像并且能够在所述第一图像之后输出具有与所述第一图像的曝光量不同的曝光量的第二图像，该摄像装置包括：

拍摄单元，其被构造为通过拍摄被摄体来输出图像；

光量调节单元，其被构造为驱动光量调节部件以调节进入所述拍摄单元的光量；

控制单元，其被构造为控制所述拍摄单元；以及

设置单元，其被构造为基于由所述光量调节单元所驱动的所述光量调节部件对光量的调节和由所述控制单元对所述拍摄单元的控制二者中的至少一者，来设置所述第一图像与所述第二图像之间的曝光量的预定差，

其中，所述第一图像和所述第二图像是用于合成的图像，

其中所述预定差是维持所述第一图像的曝光量和所述第二图像的曝光量之间的相对关系的差，并且

其中，所述设置单元以使得当所述光量调节部件根据被摄体亮度变化而被驱动时输出的所述第一图像与所述第二图像之间的曝光量的相对关系、与当所述光量调节部件未被驱动时输出的所述第一图像与所述第二图像之间的曝光量的相对关系相同的方式，设置所述曝光量的预定差。

2.根据权利要求1所述的摄像装置，其中，所述设置单元以使得当所述光量调节部件根据所述被摄体亮度变化而被驱动时输出的所述第一图像与所述第二图像之间的曝光量的差在当所述光量调节部件未被驱动时输出的所述第一图像与所述第二图像之间的曝光量的差的绝对值的范围内的方式，来设置所述预定差。

3.根据权利要求1所述的摄像装置，其中，所述设置单元基于由所述光量调节单元对所述光量调节部件的驱动来设置所述预定差。

4.根据权利要求3所述的摄像装置，其中，所述设置单元以使得在所述光量调节部件被驱动的同时从由所述控制单元控制的所述拍摄单元输出的图像的数量是用于合成的图像的数量的倍数的方式，设置所述预定差。

5.根据权利要求4所述的摄像装置，其中，所述光量调节单元以使得所述光量调节部件的驱动与对所述第二图像的拍摄结束的定时同时结束的方式，根据所述被摄体亮度变化来控制所述光量调节部件的驱动。

6.根据权利要求5所述的摄像装置，其中，所述光量调节单元以使得所述光量调节部件的驱动与对所述第一图像的拍摄开始的定时同时开始的方式，根据所述被摄体亮度变化来控制所述光量调节部件的所述驱动。

7.根据权利要求1所述的摄像装置，其中，所述光量调节部件是光圈或中性密度滤光器。

8.根据权利要求4至6中任一项所述的摄像装置，其中，所述第二图像的曝光量大于所述第一图像的曝光量。

9.根据权利要求8所述的摄像装置，所述摄像装置还包括：

合成单元，其被构造为将所述第一图像和所述第二图像进行合成以生成合成图像，

其中，所述合成图像具有比所述第一图像或所述第二图像更宽的动态范围。

10.根据权利要求1所述的摄像装置，其中，所述控制单元控制所述拍摄单元拍摄所述被摄体时的累积时间和增益量二者中的至少一者，并且

其中，当所述光量调节部件根据所述被摄体亮度变化而被驱动时，所述设置单元基于所述控制单元对所述累积时间和所述增益量二者中的至少一者的控制，来设置所述预定差。

11.根据权利要求1所述的摄像装置，其中，所述控制单元控制所述拍摄单元拍摄所述被摄体时的累积时间和增益量二者中的至少一者，而不考虑所述被摄体亮度变化，来设置所述第一图像和所述第二图像之间的固定曝光差，

其中，所述光量调节部件是光圈，并且

其中，在输出所述第一图像和所述第二图像时，所述光量调节单元根据所述被摄体亮度变化而不考虑所述固定曝光差来驱动所述光量调节部件。

12.根据权利要求3所述的摄像装置，其中，所述设置单元根据所述被摄体亮度变化，基于每单元时间驱动所述光量调节部件的预定量，来设置所述预定差，并且，

其中，所述预定量是等于在所述光量调节部件未被驱动时所述第一图像和所述第二图像之间的曝光差的绝对值的一半的量。

13.根据权利要求10所述的摄像装置，其中，所述设置单元以使得当所述光量调节部件被驱动时所述第一图像和所述第二图像之间的曝光量的差等于或大于当所述光量调节部件未被驱动时所述第一图像和所述第二图像之间的曝光量的差的绝对值的一半的方式，基于当所述光量调节部件根据所述被摄体亮度变化而被驱动时由所述控制单元对所述累积时间和增益量二者中的至少一者的控制，来设置所述预定差。

14.一种摄像装置，该摄像装置包括：

拍摄单元，其被构造为通过拍摄被摄体来输出图像；

光量调节单元，其被构造为驱动光量调节部件以调节进入到所述拍摄单元的光量；

控制单元，其被构造为以第一模式或第二模式控制所述拍摄单元；以及

设置单元，其被构造为设置与在所述第一模式下所述光量调节单元的每单位时间的驱动量相对应的光量调节的第一水平，以及设置与在所述第二模式下所述光量调节单元的每单位时间的驱动量相对应的光量调节的第二水平；

其中，在所述第一模式下，所述拍摄单元连续输出不用于合成的图像，

其中，在所述第二模式下，所述拍摄单元连续输出用于合成的图像，

其中，所述设置单元以使得当根据所述被摄体亮度变化来在所述第二模式下驱动所述光量调节部件时所述光量调节部件的每单位时间的光量调节的水平，低于当根据所述被摄体亮度变化来在所述第一模式下驱动所述光量调节部件时所述光量调节部件的每单位时间的光量调节的水平的方式，设置所述第一水平和所述第二水平，并且

其中，所述光量调节部件是光圈和中性密度滤光器二者中的至少一个。

15.根据权利要求14所述的摄像装置，其中，所述第二水平是使得与所述第一水平相比每张图像的曝光量的变化被减少更多的、与所述光量调节单元的驱动量相对应的光量调节的水平。

16.一种摄像装置的控制方法，所述摄像装置能够输出第一图像并且能够在所述第一图像之后输出具有与所述第一图像的曝光量不同的曝光量的第二图像，该摄像装置包括用于通过拍摄被摄体来输出图像的拍摄单元、以及用于驱动光量调节部件以调节进入到所述拍摄单元的光量的光量调节单元，所述控制方法包括：

控制步骤，控制所述拍摄单元；以及

设置步骤，基于由所述光量调节单元所驱动的所述光量调节部件对光量的调节和在所述控制步骤中对所述拍摄单元的控制二者中的至少一者，来设置所述第一图像与所述第二图像之间的曝光量的预定差，并且

其中，所述第一图像和所述第二图像是用于合成的图像，

其中所述预定差是维持所述第一图像的曝光量和所述第二图像的曝光量之间的相对关系的差，并且

其中，所述设置步骤以使得当所述光量调节部件根据被摄体亮度变化而被驱动时输出的所述第一图像与所述第二图像之间的曝光量的相对关系、与当所述光量调节部件未被驱动时输出的所述第一图像与所述第二图像之间的曝光量的相对关系相同的方式，设置所述曝光量的预定差。

17.一种摄像装置的控制方法，该摄像装置包括用于通过拍摄被摄体来输出图像的拍摄单元、以及用于驱动光量调节部件以调节进入到所述拍摄单元的光量的光量调节单元，所述控制方法包括：

控制步骤，以第一模式或第二模式控制所述拍摄单元；以及

设置步骤，设置与在所述第一模式下所述光量调节单元的每单位时间的驱动量相对应的光量调节的第一水平，以及设置与在所述第二模式下所述光量调节单元的每单位时间的驱动量相对应的光量调节的第二水平；

其中，在所述第一模式下，所述拍摄单元连续输出不用于合成的图像，

其中，在所述第二模式下，所述拍摄单元连续输出用于合成的图像，

其中，所述设置步骤以使得当根据所述被摄体亮度变化来在所述第二模式下驱动所述光量调节部件时所述光量调节部件的每单位时间的光量调节的水平，低于当根据所述被摄体亮度变化来在所述第一模式下驱动所述光量调节部件时所述光量调节部件的每单位时间的光量调节的水平的方式，设置所述第一水平和所述第二水平，并且

其中，所述光量调节部件是光圈和中性密度滤光器二者中的至少一个。