CN101729789A - 成像装置、成像方法以及程序 - Google Patents

Abstract

在能够有选择地执行通常成像模式下的成像操作和合成成像模式下的成像操作的成像处理单元中，在合成成像模式下，在暂时完成了针对长时间曝光图像信号和短时间曝光图像信号的自动曝光控制之后，停止自动曝光控制，以及如果在停止了自动曝光控制之后，基于从自合成图像信号所获得的图像所检测到的亮度值持续检测到图像中预定亮度变化一段预定时间或者更长一些时间，则把成像装置的成像模式从合成成像模式切换至通常成像模式。

Description

成像装置、成像方法以及程序

技术领域

本发明涉及一种成像装置、一种成像方法、以及一种程序。

背景技术

在使用诸如CCD(电荷耦合器件)的固态图像拾取器件的相关技术中的成像装置中，根据光圈或者电子快门速度调整输入于图像拾取器件的光量(曝光量)。即，当对一个明亮景象进行成像时，进行减少曝光量的调整，以致不会因图像拾取器件输出信号的饱和出现所谓的“曝光过度”。反过来，在暗景象中，进行增加曝光量的调整，以致不会出现所谓的“曝光不足”。

然而，当对一个高对比度景象进行成像(例如，暗光成像或者室内/室外同时成像)时，引发了以下所描述的一个问题。由于将加以使用的固态图像拾取器件的不充分的动态范围，仅通过调整曝光量，亮部分的饱和会导致其中曝光量不充分的暗部分中出现“曝光过度”和“曝光不足”，因此，难以适当地再现这样的两个部分。

为了解决这一问题，已开发出一种在一场中使用两种不同电子快门速度的方法(例如，参见序号为6-141229的日本专利申请公开物)。根据这一方法，针对每一场改变电子快门速度，以分别获得亮区域的图像信息和暗区域的图像信息，然后把每段所获得的信息组合成一个图像。作为上述方法的一个应用，一种能够在宽动态范围内拾取图像的成像装置(宽动态范围摄像机)已广为人知。

人们普遍所熟悉的宽动态范围摄像机的两种操作状态：一种是其中执行宽动态范围成像的合成成像模式，一种是其中不执行宽动态范围成像的通常成像模式。然而，通过在合成成像模式获得的图像中，高对比度通常会丢失，如人们所知，如果在小亮度差情况(景象)下切换至合成成像模式，会得到一个降低了图像对比度的不自然的图像。为了改进这种情况，已开发出了一种在小亮度差情况下自动地切换至通常成像模式、以及在大亮度差情况下自动切换至合成成像模式的方法(例如，参见序号为2002-84449的日本专利申请公开物)。

根据序号为2002-84449的日本专利申请公开物，把通常成像模式下所检测到的拾取图像的亮部分和暗部分之间的亮度差用作从通常成像模式至合成成像模式的切换条件。于是，为了减小合成成像模式下的亮度差，通过长时间曝光图像信号和短时间曝光图像信号的自动曝光控制，进行曝光不足校正和曝光过度校正，扩展动态范围。

发明内容

然而，在进行合成成像模式下的涉及动态范围扩展的自动曝光控制(曝光不足和曝光过度校正)期间，与通常成像模式相比，亮度波动更大。因此，在完成自动曝光控制之前，与通常成像模式相比，存在着输出不自然图像的问题。

在合成成像模式下的自动曝光控制中，同时或者顺序地执行通过调整曝光量对长时间曝光图像信号的曝光不足部分的校正处理和通过调整曝光量对短时间曝光图像信号的曝光过度部分的校正处理。另外，还依据情况，通过考虑所成像对象的亮度分布(例如，亮度直方图)来实施自动曝光控制。因此，与通常成像模式相比，在合成成像模式下自动曝光控制所需的时间变长，而且合成图像的亮度波动更大，于是，用户可能会感觉从成像装置所输出的视频不自然。

而且，如果在合成成像模式下根据对象变化(景象变化)而反复地实施自动曝光控制，则如序号为2002-84449的日本专利申请公开物中所描述的，因对象的瞬间亮度变化，以上所提到的不自然视频将会更频繁地输出，从而导致作为动态图像的质量劣化。即，如果在合成成像模式下不间断地实施自动曝光控制，则由于对对象的瞬间亮度变化(例如，因某人穿过成像范围所导致的亮度变化)的敏感反应，将频繁地进行曝光不足校正和曝光过度校正。另外，合成成像模式下的自动曝光控制在收敛之前花费较长时间。因此，合成成像模式下的输出图像频繁地变得较亮或者较暗，从而导致对于用户的劣质可视性和不自然视频。

鉴于上述问题以及人们对提供一种能够抑制合成成像模式下伴随动态范围扩展频繁出现的不自然亮度变化，并且能够输出稳定合成图像的新型、改进的成像装置、成像方法以及程序的期望，进行了本发明。

根据本发明的一个实施例，提供了一种成像装置，包括：成像处理单元，能够选择性地执行通常成像模式下的成像操作和合成成像模式下的成像操作，该通常成像模式下的成像操作在一个单位时段中生成一个通常曝光图像信号，合成成像模式下的成像操作通过在一个单位时段中生成相对长曝光时间的长时间曝光图像信号和相对短曝光时间的短时间曝光图像信号，以及把长时间曝光图像信号和短时间曝光图像信号加以组合，而生成合成图像信号，所述合成图像信号具有比长时间曝光图像信号和短时间曝光图像信号的至少任何之一的动态范围宽的动态范围；亮度检测单元，其检测从通常曝光图像信号或者合成图像信号所获得的图像的亮度值；以及控制单元，其执行自动曝光控制，以根据亮度检测单元所检测的亮度值来控制通常曝光图像信号的曝光量或者长时间曝光图像信号和短时间曝光图像信号的曝光量，并且根据亮度检测单元所检测的亮度值在通常成像模式和合成成像模式之间切换成像处理单元的成像模式，其中，在合成成像模式下，在暂时完成了针对长时间曝光图像信号和短时间曝光图像信号的自动曝光控制之后，控制单元停止自动曝光控制，以及如果在停止了自动曝光控制之后，在预定时间或者更长时间，根据亮度检测单元所检测到的亮度值持续检测到从合成图像信号所获得的图像的预定亮度变化，则控制单元把成像处理单元的成像模式从合成成像模式切换至通常成像模式。

合成成像模式下的自动曝光控制可以包括：长时间曝光控制，用于通过对成像处理单元的光阑、增益、或者快门速度至少任何之一进行控制，而对长时间曝光图像信号的曝光量进行控制的长时间曝光控制，以把从合成图像信号所获得的图像的暗部分的亮度值调整至第一目标亮度值；以及短时间曝光控制，用于通过对成像处理单元的快门速度的控制，而对短时间曝光图像信号的曝光量进行控制，以把从合成图像信号所获得的图像的亮部分的亮度值调整至第二目标亮度值。

合成成像模式下的自动曝光控制还可以包括这样的处理：根据从合成图像信号所获得的图像的亮度分布，校正第一目标亮度值和第二目标亮度值至少任何之一。

如果在停止自动曝光控制之后，在预定时间或更长时间，控制单元持续检测到所述预定亮度变化，则控制单元可以把成像处理单元的成像模式从合成成像模式切换至通常成像模式，而且还启动对通常曝光模式中通常曝光图像信号的自动曝光控制。

所述控制单元可以把在合成成像模式下、停止自动曝光控制之后亮度检测单元所检测到的亮度值作为基准亮度值加以存储，而且，如果在所述存储之后亮度检测单元所检测到的亮度值和该基准亮度值之间的差在预定时间或者更长时间内持续地等于或者大于预定阈值，则控制单元把成像处理单元的成像模式从合成成像模式切换至通常成像模式。

根据本发明的另一个实施例，提供了一种成像装置的成像方法，能够选择性地执行通常成像模式下的成像操作和合成成像模式下的成像操作，该通常成像模式下的成像操作在一个单位时段中生成通常曝光图像信号，合成成像模式下的成像操作通过在一个单位时段中生成相对长曝光时间的长时间曝光图像信号和相对短曝光时间的短时间曝光图像信号，以及把长时间曝光图像信号和短时间曝光图像信号加以组合，而生成合成图像信号，所述合成图像信号具有比长时间曝光图像信号和短时间曝光图像信号的至少任何之一的动态范围宽的动态范围，该方法包括下列步骤：根据从通常曝光图像信号所获得的图像中的亮度差，把成像装置的成像模式从通常成像模式切换至合成成像模式，执行自动曝光控制，以控制合成成像模式下的长时间曝光图像信号和短时间曝光图像信号的曝光量，并且在暂时完成了自动曝光控制之后，停止自动曝光控制；以及在停止了自动曝光控制之后，检测从合成图像信号所获得的图像的亮度值，以及如果根据所检测到的亮度值，在预定时间或者更长时间持续检测到从合成图像信号所获得的图像中的预定亮度变化，则把成像装置的成像模式从合成成像模式切换至通常成像模式。

根据本发明的另一个实施例，提供了一种程序，其致使作为成像装置的计算机能够选择性地执行通常成像模式下的成像操作和合成成像模式下的成像操作，该通常成像模式下的成像操作在一个单位时段中生成一个通常曝光图像信号，合成成像模式下的成像操作通过在一个单位时段中生成相对长曝光时间的长时间曝光图像信号和相对短曝光时间的短时间曝光图像信号，以及把长时间曝光图像信号和短时间曝光图像信号加以组合，而生成合成图像信号，所述合成图像信号具有比长时间曝光图像信号和短时间曝光图像信号的至少任何之一的动态范围宽的动态范围，该方法包括下列步骤：根据从通常曝光图像信号所获得的图像中的亮度差，把成像装置的成像模式从通常成像模式切换至合成成像模式，执行自动曝光控制，以控制合成成像模式下的长时间曝光图像信号和短时间曝光图像信号的曝光量，并且在暂时完成了自动曝光控制之后，停止自动曝光控制；以及在停止了自动曝光控制之后，检测从合成图像信号所获得的图像的亮度值，以及如果根据所检测到的亮度值，在预定时间或者更长时间持续检测到从合成图像信号所获得的图像中的预定亮度变化，则把成像装置的成像模式从合成成像模式切换至通常成像模式。

根据上述配置，在能够有选择地执行通常成像模式下的成像操作和合成成像模式下的成像操作的成像装置中，在合成成像模式下暂时完成针对长时间曝光图像信号和短时间曝光图像信号的自动曝光控制之后停止自动曝光控制，而且，在停止自动曝光控制之后，如果根据从合成图像信号所获得的图像所检测到的亮度值，持续检测到图像中预定亮度变化一段预定时间或者更长一些时间，则把成像装置的成像模式从合成成像模式切换至通常成像模式。

根据本发明，如上述，可以抑制合成成像模式下伴随动态范围扩展的频繁的不自然亮度变化，从而能够输出稳定的合成图像。

附图说明

图1是解释性视图，例示了根据本发明的一个实施例的通常成像模式的曝光；

图2是解释性视图，例示了根据所述实施例的合成成像模式的曝光；

图3是根据所述实施例的合成处理的是解释性视图；

图4为一个框图，示出了根据所述实施例的成像装置的配置；

图5为一个流程图，示出了根据所述实施例的成像装置的成像操作的全体处理；

图6A是解释性视图，示出了根据所述实施例的通常成像模式下逆光对象的拾取图像；

图6B是解释性视图，示出了当合成成像模式下拾取与图6A中图像相同的图像时的合成图像；

图6C是解释性视图，示出了从图6B中的状态发生亮度变化时的合成图像；

图7是一个流程图，描述了根据所述实施例的合成成像模式下的自动曝光控制；

图8是一个流程图，示出了图7中长时间曝光控制的细节；

图9是一个流程图，示出了图7中短时间曝光控制的细节；

图10是一个流程图，示出了图7中目标亮度值的校正处理的细节；以及

图11是解释性视图，图示根据所述实施例的亮度直方图。

具体实施方式

以下，将参照附图详细描述本发明的优选实施例。注意，在本说明书和附图中，使用相同的参照数字表示具有基本相同功能与结构的结构元素，并且省略了对这些结构元素的重复解释。

将按以下所示的次序进行这一描述：

1.成像模式概述

2.成像模式切换与自动曝光控制概述

3.成像装置的配置

4.成像操作的处理流程

以下，将描述根据本发明实施例的一种成像装置和一种成像方法。在以下的描述中，把能够拾取动态图像的监视摄像机作为成像装置的实例。然而，根据本发明的成像装置并不局限于这样的一个实例，也可以把本发明应用于诸如拾取静态图像的数字静态摄像机、拾取动态图像的数字摄像机、以及具有摄像机功能的移动电话的任何成像设备。

[1.成像模式概述]

首先，将参照图1～图3给出根据本发明实施例的成像装置中的成像模式的概述。

根据所述实施例的成像装置为作为宽动态范围的摄像机的、能够执行合成成像模式下成像操作的摄像机，以及例如，将其用作设置在室内或者室外的监视摄像机。该成像装置能够执行至少两种成像模式，即，通常成像模式和合成成像模式下的成像操作。

通常成像模式为一般成像装置中的通常成像操作。在此通常成像模式下，由图像拾取器件对对象进行成像，以在单位时间内生成曝光图像信号(通常曝光图像信号)，并且通过信号处理电路、对曝光图像信号进行预定信号处理，以生成拾取图像数据。通常成像模式适用于对在图像中的亮部分和暗部分之间亮度差相对小的对象进行成像。

然而，在这一通常成像模式下，难以处理对象中从极暗部分到极亮部分的宽动态范围。例如，在晴朗的白日时间期间，在室外的景色可以从窗户看到的状态，在室内成像，如果把室内对象用作曝光基准，则室外部分将失去灰度级并且曝光过度。相反，如果把室外部分用作曝光基准，则室内对象将曝光不足。即，如果对象中的亮度差过大，则难以获得相应于其亮度动态范围的拾取图像。

相比之下，在合成成像模式下，例如，可以通过由电子快门改变快门速度以及对多个具有不同曝光时间的曝光图像信号进行合成处理，获得具有宽动态范围、而且无曝光过度和曝光不足的拾取图像。在这一合成成像模式下，由图像拾取器件对对象成像，以在单位时间内生成两个曝光图像信号(长时间曝光图像信号和短时间曝光图像信号)，并且通过利用信号处理电路把长时间曝光图像信号和短时间曝光图像信号加以组合，而生成合成图像信号。此处，合成图像信号的动态范围宽于长时间曝光图像信号或者短时间曝光图像信号的动态范围。

获得了这样宽动态范围的合成成像模式适合于对高对比度下的对象进行成像(例如，逆光成像或者室内/室外同时成像)，并且可有利地防止上述图像中亮部分中的曝光过度和暗部分中的曝光不足。然而，合成成像模式下所获得的图像具有较低的对比度，因此，有时候会引发视觉上的不舒适感，所以通常成像模式适合于对具有小亮度差的对象进行成像。于是，最好能够通过根据用户的偏好或者成像目的对通常成像模式和合成成像模式进行切换来拾取图像。

图1和图2描述了配备有根据本实施例的成像装置的固态图像拾取器件中一场中的曝光时间和累积的曝光量(电荷量)。例如，固态图像拾取器件为CCD或者CMOS(互补金属氧化物半导体)传感器阵列。

图1示出了通常成像模式和在作为成像的单位时段的一场时段(例如1/60秒)中进行曝光的情况。尽管在图1中按1/60秒设置曝光时间(电子快门速度)，然而曝光时间自然并不局限于1/60秒，而可以为少于一场时段的任何时间。曝光时间相应于电子快门速度。曝光时间(电子快门速度)可以可选地由用户设置为任何所希望的值，以调整拾取图像的曝光量(快门速度优先曝光)。于是，在图像拾取器件中在一场时段执行预定曝光时间的曝光以获取一场的曝光图像信号。对曝光图像信号进行预定信号处理，以生成一场的拾取图像数据。

图2示出了与图1中通常成像模式对应的合成成像模式的情况。图2为这样一种情况：其中，在1/60秒的一场中执行1/64秒的长时间曝光和1/1200秒的短时间曝光。把图2中合成成像模式下的长时间曝光时间(1/64秒)设置为与图1中通常成像模式下的曝光时间(1/60秒)对应的值。长时间曝光时间和短时间曝光时间是可变地可控的。通过在图像拾取器件中执行长时间曝光和短时间曝光，在一场时段中获得具有不同曝光时间的长时间曝光图像信号和短时间曝光图像信号。然后，通过组合这两个图像信号以获得合成图像信号，来生成一场的拾取图像数据。长时间曝光和短时间曝光不必在一场时段中执行，也可以考虑其中在某一场时段中执行长时间曝光，而在下一场时段中执行一个短时间曝光，以组合各曝光图像信号的处理。

从图1和图2之间的关系可以明显看出，通常成像模式下的曝光时间和合成成像模式下的长时间曝光时间是连动的。即，当从通常成像模式切换至合成成像模式时，按这样的方式设置合成成像模式下的长时间曝光时间：尽可能地维持通常成像模式下所设置的曝光时间。在图1和图2的例子中，例如，如果把通常成像模式下的曝光时间设置为“1/60秒”，则把从通常成像模式转移之后的合成成像模式下的长时间曝光时间设置为“1/64秒”，这几乎是相同的。另一方面，尽管未在图中加以显示，但如果把通常成像模式下的曝光时间设置为“1/120秒”，则也把从通常成像模式转移的长时间成像模式下的曝光时间设置为“1/120秒”。在这一方式下，在把通常成像模式切换至合成成像模式前后，可以维持用户所希望的快门速度，并且通过抑制模式切换前后曝光量的变化，可以减轻拾取图像的视觉上的不适感。

此处，将参照图3描述合成成像模式下长时间曝光图像信号和短时间曝光图像信号的合成处理。图3示出了长时间曝光图像信号的输入/输出亮度特性L和短时间曝光图像信号的输入/输出亮度特性S。

如图3中所示，例如，在合成处理过程中，把预定亮度值用作切换点SP。于是，亮度低于切换点SP的亮度的像素采用长时间曝光图像信号的像素信号。另一方面，亮度高于切换点SP的亮度的像素采用短时间曝光图像信号的像素信号。此时，通过把短时间曝光图像乘以增益K，调整两个图像的电平，其中，增益K为长时间曝光图像和短时间曝光图像的曝光比(曝光比率)。

如果长时间曝光图像和短时间曝光图像的曝光比为10∶1，则短时间曝光图像的曝光为长时间曝光图像的曝光的1/10。然而，就存在的光量而言，长时间曝光图像信号10倍于短时间曝光图像的亮度信号电平的光量。因此，通过把短时间曝光图像信号乘以10，调整短时间曝光图像信号的电平和长时间曝光图像信号的电平。在这一方式下，把短时间曝光图像信号乘以增益，如图3中所示，以获得把其电平调整至长时间曝光图像信号的电平的特性KS。

因此，生成特性L-KS的合成图像。即，作为合成图像，获得其中对象的相对暗的区域中因长时间曝光图像信号而不存在曝光不足以及相对亮的区域中因短时间曝光图像信号而不存在曝光过度的图像。

根据其中采用了上述技术的合成成像模式，可以获得远宽于通常成像模式下成像动态范围的动态范围。因此，可能对输出图像中含有亮部分和暗部分的宽动态范围的对象进行成像，例如，当对自然光照入其中的房间的内部或者具有明显照度差的地方进行成像时，这使得合成成像模式更为合适。更具体地讲，合成成像模式适合于对其中动态范围随成像的时间段(例如白天和夜间)的不同而明显不同的银行支行的出入口、捕获其中交通状况的道路等进行成像。

在以下的描述中，为了便于描述，将把图1中所示的通常成像模式下的曝光操作称为“通常曝光”，以与图2中所示的合成成像模式下的“长时间曝光”和“短时间曝光”相区别。将把通常成像模式下所获得的曝光图像信号称为“通常曝光图像信号”，以与合成成像模式下的“长时间曝光图像信号”和“短时间曝光图像信号”相区别。另外，还将把通常成像模式下的曝光时间称为“通常曝光时间”，以与合成成像模式下的“长时间曝光时间”和“短时间曝光时间”相区别。

[2.成像模式切换和自动曝光控制概述]

以下，将描述根据本实施例的通常成像模式和合成成像模式的切换方法的概要。

如同相关技术中通常成像模式和合成成像模式的切换方法，如上述，在小亮度差情况下自动把成像模式切换至通常成像模式，以及在大亮度差情况下自动把成像模式切换至合成成像模式的方法已为人们所熟悉(参见序号为2002-84449的日本专利申请公开物)。序号为2002-84449的日本专利申请公开物把通常成像模式下所获得的拾取图像的亮度差是否等于或者大于预定阈值设置为从通常成像模式切换至合成成像模式的切换条件。另外，还把合成成像模式下长时间曝光的快门速度(或者光圈)和短时间曝光的快门速度(或者光圈)之间的差是否等于或者小于恒定值设置为从合成成像模式切换至通常成像模式的切换条件。

装备有自动曝光功能的成像装置在成像期间通常使用自动曝光控制。自动曝光(auto exposure，AE)是一种自动确定安装于成像装置中的曝光(f值、快门速度、以及增益的组合)的功能，也将其称为自动曝光。具有AE功能的成像装置通过调整背景和对象的亮度来自动地拍摄适当的照片。AE的代表性模式包括程序(program)AE、光圈优先AE、以及快门速度优先AE。

根据序号为2002-84449的日本专利申请公开物的成像系统在通常成像模式和合成成像模式下典型地实施自动曝光控制。从把长时间曝光的快门速度(或者光圈)和短时间曝光的快门速度(或者光圈)之间的差用作从合成成像模式切换至通常成像模式的切换条件这一事实，也可以清楚地看出这一点。

然而，如上述，当在合成成像模式下实施涉及动态范围扩展的自动曝光控制(曝光不足/曝光过度校正)时，与通常成像模式相比，亮度波动较大，而且曝光时间变得较长。因此，存在着这样的问题：在完成自动曝光控制之前，与通常成像模式相比，输出了不自然视频。于是，如序号为2002-84449的日本专利申请公开物所描述的，存在着频繁输出上述不自然视频的问题，因为如果根据合成成像模式下成像期间对象的改变，反复地实施自动曝光控制，则会对对象的瞬间改变敏感地做出反应。

因此，在从通常成像模式切换至合成成像模式之后，根据本实施例的成像装置(1)在暂时完成了自动曝光控制之后停止自动曝光控制。然后，(2)如果在停止了自动曝光控制之后，成像装置检测到：一段预定时间或者更长一些时间，持续检测到对合成成像模式下所获得的拾取图像中的预定亮度变化，则把成像模式从合成成像模式切换至通常成像模式。

使用上述配置，当切换至合成成像模式时，自动曝光控制仅实施一次，于是，甚至是在拾取图像中出现亮度变化的情况下也可以防止实施重复的自动曝光控制。因此，在合成成像模式下成像所获得的合成图像中可以防止伴随动态范围扩展的频繁的不自然亮度变化，从而可以提供稳定的合成图像作为输出图像。

另外，在停止了合成成像模式下的自动曝光控制之后，通过检测拾取图像中预定亮度变化一段预定时间或者更长一些时间，可以检测到非瞬间的对象改变(景象改变)。即，例如，当待成像的对象从合成成像模式转移期间所成像的对象改变为比该对象暗得多或者亮得多的对象时。因此，当待成像的对象在合成成像模式下成像期间改变时，亮度分布不同于就在向合成成像模式转移之后的对象的亮度分布。所以很可能必须再次执行自动曝光控制，或不必执行合成成像模式。因此，当成像装置一段预定时间或者更长一些时间检测到合成成像模式下预定亮度变化时，则在重新启动自动曝光控制之前，成像装置从合成成像模式切换至通常成像模式。

以下，将详细描述执行上述模式切换和自动曝光控制的成像装置和成像方法。

[3.成像装置的配置]

接下来，将参照图4描述根据本实施例的成像装置的配置。图4是一框图，示出了根据本实施例的成像装置的概要配置。

如图4中所示，成像装置包括成像光学系统10、图像拾取器件20、前处理单元30、信号处理单元40、输出单元50、检测单元60、时序生成器70、光学部件驱动单元80、控制单元100、操作单元110、以及显示单元120。在这些单元中，成像光学系统10、图像拾取器件20、前处理单元30、信号处理单元40、时序生成器70、以及光学部件驱动单元80为本发明的成像处理单元的具体实例。检测单元60为本发明的亮度检测单元的具体实例。控制单元100为本发明的控制单元的具体实例。

成像光学系统10包括诸如透镜11、去除不必要波长的滤光器、以及光阑12的光学部件。经由成像光学系统10中的光学部件，把从对象所入射的光引导至图像拾取器件20。

图像拾取器件20例如由诸如CCD和CMOS的固态图像拾取器件构成，并且通过拾取入射对象图像生成拾取图像信号。图像拾取器件20对经由成像光学系统10传导的光(对象图像)进行光电变换，以输出作为曝光图像信号的电子信号。在本实施例中，图像拾取器件20在通常成像模式和合成成像模式执行不同的曝光处理。即，在通常成像模式下，如图1中所示，图像拾取器件20执行通常曝光：其中在一场时段中、在预定曝光时间内对对象图像进行曝光，并且输出作为通常曝光图像信号的电子信号。另一方面，在合成成像模式下，如图2中所示，图像拾取器件20在一场时段中，执行长时间曝光和短时间曝光，并且按时分方式输出作为长时间曝光图像信号和短时间曝光图像信号的电子信号。

图像拾取器件20并不局限于使用固态图像拾取器件的配置。例如，图像拾取器件20也可以具有使用诸如拾取管的非固态图像拾取器件的配置。对于非固态图像拾取器件而言，可以使用机械快门或者液晶快门进行长时间曝光和短时间曝光，或者可以改变通常曝光、长时间曝光以及短时间曝光的曝光时间。

前处理单元30为所谓的模拟前端，其对曝光图像信号进行前处理。例如，对从图像拾取器件20输出的作为曝光图像信号的电子信号，前处理单元30执行CDS(correlated double sampling，相关复式取样)处理、通过可编程增益放大器(PGA)的增益处理、或者A/D变换处理。然后，前处理单元30向信号处理单元40提供已对其进行了前处理的曝光图像信号。即，前处理单元30在通常成像模式下向信号处理单元40提供通常曝光图像信号，在合成成像模式下向信号处理单元40提供长时间曝光图像信号和短时间曝光图像信号。

信号处理单元40针对通常成像模式和合成成像模式的每个执行预定信号处理，以生成拾取图像数据的视频信号。更具体地，在通常成像模式下，例如，信号处理单元40对所输入的通常曝光图像信号进行伽马(gamma)校正处理或者白平衡处理，以生成拾取图像数据的视频信号。另一方面，在合成成像模式下，信号处理单元40对所输入的长时间曝光图像信号和短时间曝光图像信号进行参照图3所描述的合成处理，以生成合成图像信号。即，信号处理单元40对按时分方式提供的长时间曝光图像信号和短时间曝光图像信号进行时序调整、颜色平衡校正处理、使得短时间曝光图像信号的亮度水平与长时间曝光图像信号的亮度水平相匹配的增益处理、以及合成处理。信号处理单元40还对合成图像信号进行伽马校正处理或者白平衡处理，以生成拾取图像数据的视频信号。信号处理单元40向输出单元50和检测单元60输出以上述各模式生成的拾取图像数据的视频信号。

输出单元50对从信号处理单元40输入的拾取图像数据的视频信号进行用于在监视显示器中显示的处理和向外部设备传输的处理。

检测单元60检测通常成像模式下通常曝光图像信号所代表的拾取图像的亮度值和合成成像模式下合成图像信号所代表的拾取图像的亮度值。把控制单元100所设置的预定检测帧中的亮度累计值用作亮度值，然而，也可以使用任何区域中的亮度平均值等。更具体地，检测单元60，对于从信号处理单元40输入的拾取图像数据的视频信号，根据预定的测光方法，计算亮度累计值，并且把亮度累计值提供给控制单元100。在这一情况下，检测单元60根据来自控制单元100的指令，选择将加以执行的测光方法。可以把诸如中心加权测定方法、评估测定方法、平均测定方法、以及选择区域测定方法的任何测光方法用作测光方法。尽管图像区域内的检测帧随测光方法的不同而不同，但检测单元60把由待执行的测光方法设置的每一检测帧的亮度累计值提供给控制单元100。

例如，控制单元100由宏控制器构成，该宏控制器具有CPU(中央处理器)、ROM(只读存储器)、RAM(随机存取存储器)、以及闪存，并且控制上述成像装置的各单元的操作。

特别地，根据本实施例的控制单元100实施控制，以致使作为成像处理单元的图像拾取器件20、前处理单元30、信号处理单元40、时序生成器70、以及光学部件驱动单元80执行针对通常成像模式和合成成像模式每个的成像操作。此时，控制单元100判断是否满足预定的切换条件，以控制通常成像模式和合成成像模式的切换。

控制单元100还为检测单元60设置亮度累计帧(检测帧)。另外，控制单元100还实施通过调整光阑12、图像拾取器件20的电子快门速度设置、以及前处理单元30的AGC基准增益设置来自动调整拾取图像的曝光量的自动曝光控制。控制单元100中的ROM中存储有致使控制单元100执行上述各种控制处理的程序，控制单元100根据这些程序执行上述控制所需的运算/控制处理。

根据本实施例的程序为致使作为微处理器的控制单元100执行上述控制单元100的处理的程序。可以把这些程序预先存储在包含在成像装置中的存储装置(HDD、ROM或者闪存等)中。这样的程序，在提供于成像装置之前可以存储在诸如CD、DVD、蓝射线盘、以及存储卡的可拆卸记录媒体中，或者经由诸如LAN和Internet的网络卸载于成像装置。

时序生成器70(以下，将其称为“TG70”)根据来自控制单元100的指令控制图像拾取器件20的电子快门速度。TG70生成诸如CCD的图像拾取器件20所需的操作脉冲。例如，TG70生成诸如用于垂直传送的四相脉冲、场位移(shift)脉冲、用于水平传送的两相脉冲、以及快门脉冲的各种类型的脉冲，这些脉冲被提供给图像拾取器件20。可以由TG70驱动图像拾取器件20(电子快门功能)。TG70根据来自控制单元100的指令控制图像拾取器件20的电子快门速度(曝光时间)。

例如，当从控制单元100指示通常成像模式时，如图1中所示，TG70致使图像拾取器件20执行其曝光时间相对长的通常曝光。当指示合成成像模式时，如图2中所示，TG70致使图像拾取器件20在一场时段中执行其曝光时间相对长的长时间曝光和其曝光时间相对短的短时间曝光。可以把通常成像模式下的通常曝光时间以及合成成像模式下的长时间曝光时间和短时间曝光时间的图示值改变为其它值。

光学部件驱动单元80根据来自控制单元100的指令驱动成像光学系统10中的光学部件。在本实施例中，光学部件驱动单元80用作驱动电路单元，其至少驱动光阑12以调整入射光的光量。

操作单元110和显示单元120用作用户接口。操作单元110根据用户操作向控制单元100输出操作信息。显示单元120根据来自控制单元100的指令显示要呈现给用户的信息，例如操作状态、时间信息、模式信息、以及消息。可以把操作单元110和显示单元120构造成为独立于成像装置的设备。在令监视显示器输出和显示拾取图像之前，可以把要在显示单元120中显示的信息作为字符图像或者字母图像叠置于输出单元50中拾取图像数据的视频信号上。

在根据本实施例的成像装置中，如上述，构成成像处理单元的单元10、20、30、40、70、以及80在控制单元100的控制下执行通常成像模式或者合成成像模式下的成像操作。在合成成像模式下，从前处理单元30向信号处理单元40发送长时间曝光图像信号和短时间曝光图像信号，以及由信号处理单元40把这两者图像信号组合。另一方面，在通常成像模式下，仅从前处理单元30向信号处理单元40发送通常曝光图像信号(相应于合成成像模式下的长时间曝光图像信号)，而且信号处理单元40不执行合成处理。

[4.成像操作的处理流程]

以下，将参照图5描述根据本实施例的成像装置的一种成像方法。图5为一个流程图，示出了根据本实施例的成像装置的成像操作的整体处理。

如图5中所示，当开始成像时，成像装置通过执行通常成像模式下的成像操作对对象进行成像(S10)。在通常成像模式下，控制单元100向TG70提供有关预设的预定曝光时间(电子快门速度)的指令，然后TG70根据曝光时间按时序驱动图像拾取器件20。图像拾取器件20通过在以上所提到的所设曝光时间(即，通常曝光时间)对对象进行成像，并且执行对象图像的光电变换，而生成通常曝光图像信号。图1的下方示出了这样一种情况：其中，在一场中设置通常曝光时间(1/60秒)，并且在1/60秒的曝光时间内拾取通常曝光图像。

通常成像模式下的曝光时间(电子快门速度)并不局限于1/60秒，而可以将其改变为任何值。成像装置的控制单元100可以根据来自用户的指令，按用户所希望的值设置曝光时间(电子快门速度)，例如，1/120秒、1/250秒、以及1/500秒等。因此，用户可以通过指定所希望的曝光时间(快门速度优先曝光)调整拾取图像的曝光量。如果曝光时间变得较长(电子快门速度变得较慢)，则图像信号的曝光量增加，以致可更适当地对暗对象进行成像。另一方面，如果曝光时间变得较短(电子快门速度变得较快)，则图像信号的曝光量减少，以致能够更适当地对亮对象或者快速移动的对象进行成像。

在通常成像模式下，如上述，前处理单元30对图像拾取器件20所生成的通常曝光图像信号进行预定的前处理(例如，CDS处理、通过PGA的增益处理、以及A/D变换处理)。另外，信号处理单元40对前处理单元30所数字化的通常曝光图像信号进行信号处理，然后，把信号处理后的视频信号(代表拾取图像数据的信号)输出于输出单元50和检测单元60。

在通常成像模式下，成像装置还恒定地实施自动曝光(AE)控制(S20)。成像装置的控制单元100通过执行自动曝光控制，控制光阑12、图像拾取器件20、以及前处理单元30，以把从通常曝光图像信号所获得的拾取图像的曝光(曝光量)控制至适当值。

更具体地，在通常成像模式下，检测单元60通过检测从信号处理单元40输入的拾取图像的视频信号，累加预定检测帧(亮度累计帧)中像素的亮度值，并且把亮度累计值输出于控制单元100。控制单元100使用从检测单元60接收的亮度累计值来执行拾取图像的测光处理，以确定当前拾取图像的亮度值和目标亮度值之间的差(亮度差)。可以把诸如中心加权测定方法、评估测定方法、平均测定方法、以及选择区域测定方法的任何测光方法用作测光方法。然后，控制单元100根据所确定的亮度差，计算光阑12、TG70、以及前处理单元30的PGA所需的控制量(例如，f值、电子快门速度以及基准增益值)，并且向各单元提供指令。如上述，执行通常曝光模式下的一般自动曝光处理，以把通常曝光图像信号所代表的拾取图像控制在适当曝光量。

主要通过控制光阑12的f值和PGA的基准增益值，来实施通常成像模式下的自动曝光控制。然而，也可以通过TG70所控制的电子快门速度来控制曝光。例如，如果在最大程度地缩小了光阑12的光圈之后拾取图像依然很亮，则可以对控制单元100进行控制以加快快门速度(即，使通常曝光时间较短)，从而进行了曝光调整。另外，在普通的数字摄像机或者监视摄像机中，不仅可以使用光阑12和增益，而且可以使用图像拾取器件20的电子快门速度来控制曝光量。

而且，在通常成像模式下的成像期间，控制单元100恒定地或者周期性地根据待成像的对象的亮部分和暗部分之间的亮度差，来判断是否把成像模式从通常成像模式切换至合成成像模式(S30～S40)。

更具体地，控制单元100首先根据检测单元60所获得的各检测帧的亮度累计值，检测拾取图像中对象的亮部分和暗部分的亮度比(S30)。亮度比为对象的亮部分和暗部分之间的亮度差的一个例子。此处，将参照图6A说明亮部分和暗部分的检测处理。图6A是解释性示图，示出了如何对其中逆光拾取对象的拾取图像1进行划分，以及如何对其进行测光测量。通过对逆光对象进行成像，获得图6A中的拾取图像1，其中，所述对象含有具有高亮度的亮的上部分和具有低亮度的暗的中间部分、以及具有中间(intermediate)亮度的其它部分。

如图6A中所示，例如，控制单元100把拾取图像1划分成4(水平)×3(垂直)的12个区域，并且设定针对检测单元60的各区域的检测帧。检测单元60检测从信号处理单元40输入的视频信号，并且累加各检测帧的亮度值，然后把各检测帧的亮度累计值输出于控制单元100。控制单元100根据各检测帧的亮度累计值，确定拾取图像1中的最暗区域(暗部分)2和最亮区域(亮部分)3。然后，如以下所描述的公式所示，控制单元100通过把最亮区域的亮度累计值(YH)除以最暗区域的亮度累计值(YL)，确定亮度比(YM)。

亮度比(YM)＝[最亮区域的亮度累计值(YH)]/[最暗区域的亮度累计值(YL)]

亮度比(YM)为通常成像模式下所成像的对象的亮部分的亮度与暗部分的亮度的比率，并且相应于拾取图像1的亮度差。亮度比的计算方法并不局限于上述例子，而是可以按需改变。例如，检测帧的设置并不局限于图6A中的例子，而可以按任何配置设置或多或少的检测帧。而且，取代确定各个检测帧的亮度累计值，也可以各每一检测帧的平均亮度值。

接下来，控制单元100使用以上所计算的亮度比(YM)来判断是否把成像模式从通常成像模式切换到合成成像模式(S40)。此处，控制单元100把S30处所获得的亮度比(YM)与预定阈值(C1)进行比较，以判断亮度比是否等于或大于预定阈值(C1)。此处，阈值(C1)为表示需要从通常成像模式切换至合成成像模式的亮度比下限的值。根据成像装置的性能，把阈值(C1)设置为需要合成成像模式的最小亮度比值。例如，如果亮度比大约为5，成像装置即使在通常成像模式下也具有防止拾取图像中出现曝光过度或者曝光不足的性能，则，例如，把阈值(C1)设置为6。

如果作为S40处的判断结果，亮度比(YM)等于或大于预定阈值(C1)，则控制单元100确定有必要从通常成像模式切换至合成成像模式，并且前进至步骤S50。在这一情况下，加以成像的对象具有使得合成成像模式成为必要的亮度比，因此，在S50处，把成像处理单元的成像模式从通常成像模式切换至合成成像模式。另一方面，如果亮度比(YM)小于预定阈值(C1)，则控制单元100确定不需切换至合成成像模式，并且返回至步骤S10，继续通常曝光模式下的成像。

于是，可由步骤S40判断正在通常成像模式下成像的对象的亮度比(YM)是否等于或大于使得采用合成成像模式成为必要的亮度比的阈值。因此，当对低亮度比的、使得不必采用合成成像模式的对象进行成像时向合成成像模式的错误切换可以被避免。

如上述，在根据通常成像模式下所检测的亮度比(YM)从通常成像模式切换至合成成像模式之后，成像装置执行合成成像模式下的成像操作，以对对象进行成像(S50)。如上述，由于TG70可以设置两种不同的电子快门速度，所以成像装置在合成成像模式下能够生成具有不同曝光量的两种曝光图像信号(即，长时间曝光图像信号和短时间曝光图像信号)。

在合成成像模式下，控制单元100向TG70提供有关相应于通常曝光时间(电子快门速度)的长时间曝光时间和预定短时间曝光时间的指令，TG70根据这些曝光时间、依时序驱动图像拾取器件20。图像拾取器件20在一场中在长时间曝光时间和短时间曝光时间内对对象进行成像，以生成长时间曝光图像信号和短时间曝光图像信号。如图3中所示，信号处理单元40在具体切换点SP处把前处理单元30所数字化的长时间曝光图像信号和短时间曝光图像信号加以组合，以生成具有扩展动态范围的合成图像信号。然后，信号处理单元40对合成图像信号进行预定信号处理，以生成拾取图像数据的视频信号，把该视频信号输出于输出单元50和检测单元60。

例如，上述图2为这样一种情况：其中，在合成成像模式下，在一场中设置两个不同的曝光时间(1/64秒和1/1200秒)，图像拾取器件20生成两个具有不同曝光量的曝光图像信号。即，拾取其曝光时间为1/64秒的长时间曝光图像信号和其曝光时间为1/1200秒的短时间曝光图像信号。把与图1中通常成像模式下的通常曝光时间(1/60秒)相应的值用作图2中的长时间曝光时间。于是，当采用快门速度优先曝光等时，把通常成像模式下的通常曝光时间反映于合成成像模式下的长时间曝光时间中，从而可以减小当切换成像模式时的画质变化。

在合成成像模式下，紧接在从通常成像模式切换至合成成像模式(S60)之后，成像装置仅实施一次自动曝光(AE)，并且在完成了自动曝光控制(即，自动曝光收敛)(S70)之后，停止自动曝光控制(S80)。

即，当出现向合成成像模式的转移时，成像装置实施自动曝光控制，以自动控制长时间曝光图像信号和短时间曝光图像信号的曝光量，从而可以调整合成图像信号所代表的拾取图像的曝光(S60)。成像装置的控制单元100通过执行自动曝光控制，控制光阑12、图像拾取器件20、以及前处理单元30，以把通过组合长时间曝光图像信号和短时间曝光图像信号而获得的拾取图像的曝光(曝光量)控制到适当的值。合成成像模式下的自动曝光控制包括控制长时间曝光图像信号的曝光量以校正拾取图像中曝光不足的长时间曝光控制，以及控制短时间曝光图像信号的曝光量以校正拾取图像中曝光过度的短时间曝光控制。另外，除了长时间曝光控制和短时间曝光控制之外，根据本实施例的合成成像模式下的自动曝光控制还包括根据由曝光控制所获得的合成图像的亮度分布来校正长时间曝光控制和短时间曝光控制的目标亮度值的处理。

此处，将参照图7～图11描述根据本实施例的合成成像模式下的自动曝光控制(S60)。图7是一个流程图，示出了根据本实施例的合成成像模式下的自动曝光控制。

如图7中所示，在合成成像模式下在自动曝光控制中，执行长时间曝光控制(S62)和短时间曝光控制(S64)。首先，为了校正合成图像中低亮度部分(暗部分)的曝光不足，成像装置的控制单元100执行长时间曝光控制，以把通过检测合成图像的暗部分所获得的当前亮度值调整至第一目标亮度值(Yb)(S62)。此处，合成图像意指从通过组合长时间曝光图像信号和短时间曝光图像信号所获得的合成图像信号所获得的拾取图像。接下来，为了校正合成图像中高亮度部分(亮部分)的曝光过度，控制单元100执行短时间曝光控制，以把通过检测合成图像的亮部分所获得的当前亮度值调整至第二目标亮度值(Yw)(S64)。

然后，控制单元100检查通过长时间曝光控制和短时间曝光控制所获得的合成图像的亮度分布(例如，亮度直方图)，以判断亮度分布是否适当(S66)。如果亮度分布偏向低亮度区域或者高亮度区域，则确定亮度分布为不适当的。如果确定亮度分布为不适当的，则控制单元100校正用于S62处的长时间曝光控制的目标亮度值(Yb)和用于S64处的短时间曝光控制的目标亮度值(Yw)(S68)。接下来，控制单元100使用校正后的目标亮度值(Yb，Yw)重复上述S62处的长时间曝光控制和短时间曝光控制(S62～S64)。

如上述长时间曝光控制(S62)、短时间曝光控制(S64)、以及亮度分布的检查(S66)的完成，意味着已经完成了针对合成图像的自动曝光控制。

以下，将参照图8～图11详细描述图7中S62～S68处的处理。图8～图10为流程图，分别示出了图7中的长时间曝光控制(S62)、短时间曝光控制(S64)、以及目标亮度值的校正处理(S68)的细节。图11是解释性示图，图示了根据本实施例的亮度直方图。

首先，将参照图8描述图7中的长时间曝光控制(S62)。如图8中所示，控制单元100通过使用从检测单元60所获得的亮度累计值控制长时间曝光图像信号的曝光量(S622)，来把合成图像暗部分的亮度值(YL)调整至适当的亮度值(第一目标亮度值Yb)(S624)。在长时间曝光控制中，控制单元100控制成像处理单元的光阑12的f值、前处理单元30的AGC的增益值、以及图像拾取器件20的长时间曝光的电子快门速度中的至少任何之一。

更具体地，在检测合成成像模式下，检测单元60通过从信号处理单元40输入的合成图像的视频信号，累加在预定检测帧中的像素的亮度值，并且把亮度累计值输出于控制单元100。控制单元100使用从检测单元60所接收的亮度累计值来执行合成图像的测光处理，以确定如图6A中所示的合成图像中最暗部分(暗部分)的当前亮度值(YL)和用于长时间曝光的第一目标亮度值(Yb)之间的亮度差(S622)。把第一目标亮度值(Yb)预设置为这样的亮度值：合成图像中的暗部分显示出适当的亮度。然后，控制单元100根据所确定的亮度差计算光阑12、TG70、以及前处理单元30的PGA所需的控制量(例如，f值、长时间曝光的电子快门速度以及基准增益值)，并且把指令提供于各单元(S622)。因此，光阑12更宽地打开、PGA的增益增大、或者长时间曝光的电子快门速度加长，从而长时间曝光图像信号的曝光量增加以及合成图像的暗部分变亮。

然后，控制单元100把通过检测校正之后的合成图像所获得的当前亮度值(YL)与第一目标亮度值(Yb)加以比较(S624)。于是，如果暗部分的当前亮度值(YL)达到第一目标亮度值(Yb)，则消除了曝光不足，从而控制单元100结束长时间曝光控制。另一方面，如果暗部分的当前亮度值(YL)没有达到第一目标亮度值(Yb)，则控制单元100返回至S622，以控制各单元，以便进一步增加长时间曝光图像信号的曝光量。

在长时间曝光控制中，如上述，成像装置执行通常自动曝光(AE)处理，直至合成图像的暗部分的亮度达到适当的目标亮度。在这一情况下，控制单元100检测曝光不足的暗部分的亮度，并且增加长时间曝光图像信号的曝光量(感光度)，直至该暗部分的亮度达到适当的目标亮度。在上述长时间曝光控制中，通常通过宽打开光阑12和增加PGA的增益，来实现曝光不足校正。然而，如果即使在最大程度地打开光阑12的情况下暗部分的亮度也没有达到目标亮度，则可以通过加长用于长时间曝光的电子快门速度，来实施曝光控制。

接下来，将参照图9描述图7中的短时间曝光控制(S64)。如图9中所示，控制单元100使用从检测单元60所获得的亮度累计值，通过控制短时间曝光图像信号的曝光量(S642)，把合成图像的亮部分的亮度值(YH)调整至适当的亮度值(第二目标亮度值Yw)(S644)。在短时间曝光控制中，控制单元100控制针对成像处理单元的图像拾取器件20的短时间曝光的电子快门速度。

更具体地，在合成成像模式下，检测单元60通过检测从信号处理单元40输入的合成图像的视频信号，累加预定检测帧中像素的亮度值，并且把亮度累计值输出于控制单元100。控制单元100使用从检测单元60接收的亮度累计值执行合成图像的测光处理，以确定如图6A中所示的合成图像中最亮部分(亮部分)的当前亮度值(YH)和用于短时间曝光的第二目标亮度值(Yw)之间的亮度差(S622)。把第二目标亮度值(Yw)预设置为这样的亮度值：合成图像中的亮部分显现出适当的亮度。然后，控制单元100根据所确定的亮度差计算TG70所需的控制量(短时间曝光的电子快门速度)，并且把指令提供于TG70(S622)。因此，图像拾取器件20中短时间曝光的电子快门速度缩短，以致短时间曝光图像信号的曝光量降低以及合成图像的亮部分变暗。

然后，控制单元100把通过检测校正之后的合成图像所获得的亮部分的当前亮度值(YH)与第二目标亮度值(Yw)加以比较(S644)。于是，如果亮部分的当前亮度值(YH)达到第二目标亮度值(Yw)，则消除了曝光过度，从而控制单元100结束短时间曝光控制。另一方面，如果亮部分的当前亮度值(YH)没有达到第二目标亮度值(Yw)，则控制单元100返回至S642，以控制各单元，以便进一步减少短时间曝光图像信号的曝光量。

在短时间曝光控制中，如上述，成像装置执行短时间曝光控制，直至合成图像的亮部分的亮度达到适当的目标亮度。在这一情况下，控制单元100检测曝光过度的亮部分的亮度，并且通过使短时间曝光的电子快门速度短于初始值(例如，1/1200秒)，来减少短时间曝光图像信号的曝光量，直至该亮部分的亮度达到适当的目标亮度。在上述短时间曝光控制中，通常仅控制短时间曝光的电子快门速度，而不控制光阑12和PGA的增益。这是因为光阑12和增益用于具有宽控制宽度的长时间曝光控制，而且，如果在短时间曝光控制中改变f值和PGA的增益，则可能会影响先前所执行的长时间曝光控制。因此，在短时间曝光控制中把光阑12的f值和PGA的增益固定为长时间曝光控制中所设置的值，而仅控制短时间曝光控制电子快门速度。

以下，将参照图10和图11描述图7中亮度直方图的检查处理(S66)和目标亮度值的校正处理(S68)。

上述检测单元60可以通过检测从信号处理单元40输入的合成图像的亮度，生成合成图像的各检测帧的亮度累计值以及亮度直方图，并且针对每一场把亮度累计值和亮度直方图传输于控制单元100。控制单元100检查亮度直方图(S66)，以根据亮度直方图所代表的亮度分布来校正针对长时间曝光控制的第一目标亮度值(Yb)或者针对短时间曝光控制的第二目标亮度值(Yw)(S68)。

图11描述了根据本实施例的亮度直方图的一个实例。在这一例子中，把从黑水平B到白水平W的亮度划分成8个亮度范围：“B”、“mb1”、“mb2”、“mw3”、“mw2”、“mw1”、以及“W”，并且针对这8个亮度范围中的每一个，示出了一场图像中全部像素的亮度的比率(％)。

当实施图7中所示的自动曝光控制时，控制单元100把用于长时间曝光控制(曝光不足校正)的第一目标亮度值(Yb)的初始值设置为能够创建不存在曝光不足的合成图像的预定亮度值。控制单元100还把用于短时间曝光控制(曝光过度校正)的第二目标亮度值(Yw)的初始值设置为能够创建不存在曝光过度的合成图像的预定亮度值。

接下来，在从检测单元60接收到当前合成图像的亮度直方图之后，控制单元100检查该亮度直方图，以判断亮度直方图的黑部分(B)和白部分(W)是否小于预定的比率(例如，5％或10％)(S66)。如果作为结果黑部分(B)和白部分(W)等于或者大于预定的比率，则控制单元100校正第一目标亮度值(Yb)和第二目标亮度值(Yw)，以便可以消除曝光不足和曝光过度(S68)。

更具体地，控制单元100通过检查亮度直方图中的黑部分(B)的比率，检测曝光不足。然后，如果黑部分(B)等于或者大于预定比率(例如，5％或10％)，则如图10中所示，控制单元100根据所述比率增大/减小长时间曝光控制的目标亮度值(Yb)(S682)。例如，控制单元100把目标亮度值(Yb)更新为通过把固定值(Cb)加到当前目标亮度值(Yb)所获得的值(Yb+Cb)。即，沿增加长时间曝光量的方向更新目标亮度值(Yb)。

控制单元100还通过检查亮度直方图中的白部分(W)的比率，检测曝光过度况。然后，如果白部分(W)等于或者大于预定的比率(例如，5％或10％)，则如图10中所示，控制单元100根据所述比率增大/减小短时间曝光控制的目标亮度值(Yw)(S684)。例如，控制单元100把目标亮度值(Yw)更新为通过从当前目标亮度值(Yw)减去固定值(Cw)所获得的值(Yw-Cw)。即，沿减小短时间曝光量的方向更新目标亮度值(Yw)。

然后，控制单元100使用如上述校正的第一目标亮度值(Yb)和第二目标亮度值(Yw)来重复图7中所示的长时间曝光控制(S62)和短时间曝光控制(S64)。通过重复目标亮度值的这种校正处理(S66～S68)和曝光控制处理(S62和S64)，例如，针对每一场时段，合成图像的曝光收敛于一种其中既无曝光不足也无曝光过度出现的曝光状态。

如果作为结果在S66处黑部分(B)和白部分(W)小于预定的比率，则控制单元100确定通过实施适当的长时间曝光控制和短时间曝光控制，已经消除了曝光不足和曝光过度，从而完成了图7中的自动曝光控制。因此，通过使用代表合成图像的亮度分布的亮度直方图，控制单元100可以正确地判断合成图像中是否存在任何曝光不足或者曝光过度，并且如果需要的话，可以适当地执行合成图像的自动曝光控制。

在以上的描述中，已经参照图7～图11描述了合成成像模式下的自动曝光控制(图5中的S60)。通过执行合成成像模式下的自动曝光控制，如图6B中所示，可以输出已从中消除了曝光不足和曝光过度的合成图像5。因此，例如，图6A中通常成像模式下的拾取图像1的暗部分3中的人的曝光不足的脸，在图6B的合成成像模式下的合成图像5的中间亮度的区域6中可识别地显示。另外，图6A中拾取图像1的亮部分2中的曝光过度的背景在图6B的合成图像5的比中间亮度亮的区域7中可识别地显示。

然而，如上述，由于在上述合成成像模式下的自动曝光控制中既执行了长时间曝光控制也执行了短时间曝光控制，所以与通常成像模式比较，花费较长的时间才能实现曝光收敛。而且，如图7中所示，除了曝光控制之外，对于某些成像装置，还需要检查合成图像的亮度分布(亮度直方图)，以在校正目标亮度值同时进行曝光控制，以达到适当的亮度分布。在这一情况下，将耗费更长的时间才能实现曝光收敛。从而，在组合成像模式下，实施自动曝光控制将花费较长的时间(例如，5～10秒)。因此，存在着这样的一个问题：如果像过去那样，每次出现对象的瞬间亮度变化或者细微的亮度变化，都实施自动曝光控制，则在自动曝光控制期间会频繁地输出不自然的合成图像。于是，如果在合成成像模式下频繁地输出伴随AE处理的不自然的图像，则所述成像装置将不能用作监视摄像机。

因此，在本实施例中，如图5中所示，在暂时完成了合成成像模式下的自动曝光控制(S70)之后，停止自动曝光控制(S80)。以下，将返回至图5描述合成成像模式下自动曝光控制之后的处理。

如图5中所示，当出现从通常成像模式向合成成像模式的转移时，控制单元100在上述S60处执行自动曝光控制(S60)，然后等待，直至暂时(temporarily)完成了自动曝光控制(S70)。此处，暂时完成了自动曝光控制时的时刻指的是当在向合成成像模式转移之后最初执行的自动曝光控制(长时间曝光控制和短时间曝光控制两者)收敛时的时刻，以及如果执行了使用亮度直方图的检查，则是当完成了检查时的时刻。

接下来，在完成了合成成像模式下的最初自动曝光控制之后(S70)，控制单元100停止自动曝光控制功能(S80)，并且在后继的合成成像模式下将不执行自动曝光。通过停止自动曝光控制功能，固定了光阑12的f值、PGA的增益、以及长时间曝光和短时间曝光的快门速度。因此，防止追随对象的亮度变化发生曝光控制，从而不会发生合成成像模式下成像期间出现的伴随动态范围扩展的合成图像中不自然的亮度变化。

然而，如果停止了自动曝光控制功能，当在合成成像模式下待成像的对象改变(景象改变)时，将不能够通过自动曝光对改变之后的景象加以成像。于是，在本实施例中，如果在停止了合成成像模式下的自动曝光控制之后，控制单元100根据来自检测单元60的亮度累计值持续检测到合成图像中的预定亮度变化一段预定时间或者更长一些时间，则控制单元100确定发生了景象改变。于是，控制单元100根据景象改变的检出，把成像装置的成像模式从合成成像模式切换至通常成像模式。

更具体地，控制单元100根据从检测单元60所接收的亮度累计值获取在完成了自动曝光控制之后的合成图像的亮度值(Y1)，并且把亮度值(Y1)作为基准亮度值存储在存储器中。此处，假设可以通过诸如中心加权测定方法、评估测定方法、平均测定方法、以及选择区域测定方法的任何测光方法获得所存储的基准亮度值(Y1)。当在以下所描述的S120处判断亮度变化时，把基准亮度值(Y1)用作基准。

检测合成图像中间亮度变化的测光方法可以为上述任一方法，但最好是测量整个合成图像，原因如下。即，如果在合成成像模式下适用宽动态范围，则如图6B中所示，合成图像5具有许多中间亮度前后的区域6、7，导致合成图像5中的低对比度图像和小亮度差。因此，例如，通过使用在整个合成图像5中设置检测帧，以及测量检测帧中的亮度的测光方法，能够适当地检测合成图像5的亮度变化。如果有意选择部分测光，则可以测量用户频繁观看的合成图像5的中心部分，以检测中心部分的亮度变化。

接下来，控制单元100对计时器(T)进行初始化(复位(reset)加以计数的计时器值)(S100)。计时器用于检测在停止了自动曝光控制之后对象的亮度变化。

另外，在存储基准亮度值(Y1)之后的合成成像模式下的成像期间，控制单元100根据从检测单元60所接收的亮度累计值，获取当前所成像的合成图像的亮度值(Y2)(S110)。假设已通过类似于基准亮度值(Y1)的测光方法的测光方法获得当前亮度值(Y2)。

接下来，控制单元100判断当前亮度值(Y2)和基准亮度值(Y1)之间的差是否等于或者大于预定阈值(C2)(S120)。作为结果，如果所述差小于预定阈值(C2)，则控制单元100返回到S100，以初始化计时器(T)(S100)。另一方面，如果所述差等于或者大于预定阈值(C2)，则控制单元100启动计时器(T)的计数(S130)，并且继续到S140。

然后，在S130处启动计时器(T)的计数之后，控制单元100判断预定时间是否已过，即，设置于计时器(T)的时间是否已过(S140)。预定时间为用作判断亮度是否存在任何波动的基准的时间，并且例如，将其设置为5～10秒。作为S140处的判断结果，如果预定时间未过，而且设置于计时器(T)的时间未过，则控制单元100返回至S110，并且再次获取当前亮度值(Y2)(S110)，然后，把亮度值(Y2)和基准亮度值(Y1)之间的差与阈值(C2)进行比较。

另一方面，如果在S140处，预定时间已过，而且设置于计时器(T)的时间已过，则可以确定合成成像模式下成像期间对象的状态已改变(景象已改变)，因为上述判断结果意味着合成图像中发生了预定亮度变化。

例如，如果待成像的景象从向合成成像模式转移期间所成像的对象改变至比该对象暗得多或者亮得多的新对象，如图6C中所示，则在合成图像5中出现其亮度已经改变的区域8。图6C中的例子描述了这样一种情况：其中，成像范围的上方包含非常暗的对象，在合成图像5的上方的其中间亮度已经改变的区域8中，亮度是低的。因此，控制单元100可以根据检测单元60所检测的亮度累计值而检测到区域8中的亮度变化，从而可以确定已经发生了景象改变。，

当检测到这样的一个亮度变化时，如果预定或更大的亮度变化持续了预定时间或者更长的时间，则确定出现了景象改变。因此，不把诸如一个人穿越成像范围的瞬间亮度变化确定为景象改变，而如果这样的亮度变化持续了一段预定时间或者更长一些时间，则确定景象已改变。

使用上述合成成像模式下的处理S90～S140，在合成成像模式下，在停止了自动曝光控制之后，可以检测到对象的景象改变。然后，控制单元100根据对景象改变的检出，把成像装置的成像模式从合成成像模式切换至通常成像模式，以重新启动通常成像模式下的成像操作和通常自动曝光控制(S10和S20)。其原因如下。

如上述，如果在合成成像模式下的成像期间发生景象改变，则当前加以成像的合成图像的亮度分布不同于紧接在向合成成像模式转移之后对对象进行成像时的亮度分布。于是，必须再次执行自动曝光控制。而且，由于发生景象改变，按适合于过去的对象的亮度控制的状态继续合成成像模式是不合适的，而从合成成像模式返回至通常成像模式很可能更合适。

因此，如果在合成成像模式下控制单元100持续检测到大亮度变化——其产生相对于基准亮度值(Y1)等于或者大于预定阈值(C2)的亮度差一段预定时间或者更长一些时间，则控制单元100确定已经发生景象改变。然后，控制单元100根据亮度变化的检出，把成像模式从合成成像模式切换至通常成像模式(S10)，以重新启动自动曝光控制(S20)。因此，可以获得其曝光自动得以控制以适合景象改变之后的对象的拾取图像。

然而，如果即使在执行通常成像模式下的自动曝光控制之后，在拾取图像中亮部分和暗部分之间仍存在等于或者大于预定阈值(C1)的亮度差(S40)，则控制单元100把成像模式再次从通常成像模式切换至合成成像模式(S50)。然后，控制单元100在再次切换后的合成成像模式下对于具有所述亮度差的合成图像执行自动曝光控制(S60)，并且在暂时完成了自动曝光控制之后停止自动曝光控制(S80)。

于是，通过切换合成成像模式和通常成像模式，以及接通/关闭自动曝光控制，即使在上述合成图像模式中出现景象改变的情况下，也可以通过重新启动自动曝光控制，稳定地输出具有适当曝光、自然的图像。

在以上的描述中，已经详细地描述了根据本实施例的成像装置和成像方法。根据本实施例，当具有自动切换合成成像模式和通常成像模式两种成像模式功能的成像装置经历从通常成像模式至合成成像模式的转移时，在暂时完成了针对合成图像的曝光控制之后，停止自动曝光控制功能。另外，如果在后继的合成成像模式下持续检测到合成图像的预定亮度变化一段预定时间或者更长一些时间，则在从合成成像模式切换至通常成像模式之后，重新启动自动曝光控制。

即，根据本实施例，当在宽动态范围摄像机中自动地把成像模式从通常成像模式切换至合成成像模式之后，完成了伴随动态范围扩展的自动曝光处理时(1)停止自动曝光，以及(2)如果在合成图像中预定亮度变化持续了一段预定时间或者更长一些时间，则在从合成成像模式切换至通常成像模式之后重新启动自动曝光。因此，可以防止因合成成像模式下对象的瞬间改变所导致的伴随动态范围扩展的不自然的亮度变化的出现，从而能够提供作为动态图像的稳定的合成图像。

根据上述序号为2002-84449的日本专利申请公开物中所描述的模式切换技术，在合成成像模式下，如果长时间曝光的快门速度和短时间曝光的快门速度之间差为降至固定值以下，则把成像模式从合成成像模式切换至通常成像模式。然而，在本实施例中，在合成成像模式下停止自动曝光控制，从而难以使用序号为2002-84449的日本专利申请公开物中的技术，因为长时间曝光和短时间曝光的快门速度为固定的。而且，根据序号为2002-84449的日本专利申请公开物中所描述的模式切换技术，仅比较长时间曝光的快门速度和短时间曝光的快门速度，所以可能由于同样对瞬间亮度变化的敏感反应而把成像模式切换至通常成像模式。相比之下，在根据本实施例转换技术中，当亮度变化持续了一段预定时间或者更长一些时间时，把成像模式从合成成像模式切换至通常成像模式。从而，可以防止由于对瞬间亮度变化的反应所导致的模式切换，而当完全的景象改变出现时，可以把成像模式从合成成像模式切换至通常成像模式。因此，在本实施例中，仅因为在合成成像模式下停止了与亮度波动相关的自动曝光控制，所以能够通过适当地把握合成图像的亮度变化，按适当的时序把成像模式从合成成像模式切换至通常成像模式。

这一技术领域中的熟练技术人员将会意识到，可以依据设计要求和其它因素，对本发明进行多方面的修改、组合、局部组合以及变动，只要这些修改、组合、局部组合以及变动处于所附权利要求或者其等效要求的范围内即可。

例如，可以把本发明应用于拾取动态图像的摄像机系统，而且还可以将其应用于拾取静态图像的摄像机系统。例如，可以把本发明应用于任何诸如拾取动态图像的数字摄像机、拾取静态图像的数字静态摄像机、以及具有摄像机功能的移动电话的成像设备。甚至是当按所设置的曝光模式拾取静态图像时，例如在至成像定时(release，释放)的监视期间也可以实施成像模式的切换控制。

例如，当执行非隔行扫描模式下的成像时，可以把以上所提到的场时段中的处理视为帧时段中的处理。即，获得曝光图像信号的单位时段可以为成像装置所使用的任何单位时段，例如，场时段、帧时段、多个场的时段、以及多个帧的时段。例如，可以考虑这样一个操作实例：其中，在多个帧的每一个时段中仅执行检测处理、曝光校正处理、以及曝光控制处理一次。

在以上的实施例中，在图7中所示的合成成像模式下的自动曝光控制中，除了长时间曝光控制(S62)和短时间曝光控制(S64)之外，还检查了亮度直方图(S66)，并且执行了目标亮度值的校正处理(S68)。然而，本发明并不局限于这样的一个实例，例如，也可以在不检查亮度直方图(S66)和进行目标亮度值校正处理(S68)的情况下，执行长时间曝光控制(S62)和短时间曝光控制(S64)。而且，在以上的实施例中，在执行了长时间曝光控制(S62)之后执行短时间曝光控制(S64)，但本发明并不局限于此，例如，也可以在执行了短时间曝光控制之后执行长时间曝光控制，并且还可以同时执行长时间曝光控制和短时间曝光控制。

在以上的实施例中，描述了一种装备有光阑12、图像拾取器件20的电子快门、以及PGA作为曝光控制机制的成像装置，然而，本发明并不局限于这样的一个实例。例如，可以把本发明应用于不具有光阑12的成像装置或者不具有PGA的成像装置。

在以上的实施例中，当检测作为用于从合成成像模式切换至通常成像模式的基准的亮度变化时，假设计时器所设定的预定时间为固定值，然而，本发明并不局限于这样的一个实例。例如，可以通过按若干阶段提供多个计时器值，把预定时间(计时器值)设置为可变的，以致用户能够手工地设置计数器值。

本发明包含与2009年10月21日向日本专利局提出的日本优先专利申请JP 2008-271152中所公开的主题相关的主题，特将其全部内容并入此处，以作参考。

Claims (7)

1.一种成像装置，包含：

成像处理单元，能够选择性地执行通常成像模式下的成像操作和合成成像模式下的成像操作，该通常成像模式下的成像操作在一个单位时段中生成一个通常曝光图像信号，合成成像模式下的成像操作通过在一个单位时段中生成相对长曝光时间的长时间曝光图像信号和相对短曝光时间的短时间曝光图像信号，以及把长时间曝光图像信号和短时间曝光图像信号加以组合，而生成合成图像信号，所述合成图像信号具有比长时间曝光图像信号和短时间曝光图像信号的至少任何之一的动态范围宽的动态范围；

亮度检测单元，其检测从通常曝光图像信号或者合成图像信号所获得的图像的亮度值；以及

控制单元，其执行自动曝光控制，以根据亮度检测单元所检测的亮度值来控制通常曝光图像信号的曝光量或者长时间曝光图像信号和短时间曝光图像信号的曝光量，并且根据亮度检测单元所检测的亮度值在通常成像模式和合成成像模式之间切换成像处理单元的成像模式，其中，

在合成成像模式下，在暂时完成了针对长时间曝光图像信号和短时间曝光图像信号的自动曝光控制之后，控制单元停止自动曝光控制，以及

如果在停止了自动曝光控制之后，在预定时间或者更长时间，根据亮度检测单元所检测到的亮度值持续检测到从合成图像信号所获得的图像的预定亮度变化，则控制单元把成像处理单元的成像模式从合成成像模式切换至通常成像模式。

2.根据权利要求1的成像装置，其中，合成成像模式下的自动曝光控制包括：

长时间曝光控制，用于通过对成像处理单元的光阑、增益、或者快门速度的至少任何之一进行控制，而对长时间曝光图像信号的曝光量进行控制，以把从合成图像信号所获得的图像的暗部分的亮度值调整至第一目标亮度值；以及

短时间曝光控制，用于通过对成像处理单元的快门速度的控制，而对短时间曝光图像信号的曝光量进行控制，以把从合成图像信号所获得的图像的亮部分的亮度值调整至第二目标亮度值。

3.根据权利要求2的成像装置，其中，合成成像模式下的自动曝光控制还包括：

根据从合成图像信号所获得的图像的亮度分布，校正第一目标亮度值和第二目标亮度值至少任何之一的处理。

4.根据权利要求1的成像装置，其中，如果在停止自动曝光控制之后，在预定时间或更长时间，控制单元持续检测到所述预定亮度变化，则控制单元把成像处理单元的成像模式从合成成像模式切换至通常成像模式，而且还启动对通常曝光模式中通常曝光图像信号的自动曝光控制。

5.根据权利要求1的成像装置，其中，所述控制单元把在合成成像模式下、停止自动曝光控制之后亮度检测单元所检测到的亮度值作为基准亮度值加以存储，而且，如果在所述存储之后亮度检测单元所检测到的亮度值和该基准亮度值之间的差在预定时间或者更长时间内持续地等于或者大于预定阈值，则控制单元把成像处理单元的成像模式从合成成像模式切换至通常成像模式。

6.一种成像装置的成像方法，能够选择性地执行通常成像模式下的成像操作和合成成像模式下的成像操作，该通常成像模式下的成像操作在一个单位时段中生成通常曝光图像信号，合成成像模式下的成像操作通过在一个单位时段中生成相对长曝光时间的长时间曝光图像信号和相对短曝光时间的短时间曝光图像信号，以及把长时间曝光图像信号和短时间曝光图像信号加以组合，而生成合成图像信号，所述合成图像信号具有比长时间曝光图像信号和短时间曝光图像信号的至少任何之一的动态范围宽的动态范围，该方法包括下列步骤：

根据从通常曝光图像信号所获得的图像中的亮度差，把成像装置的成像模式从通常成像模式切换至合成成像模式，

执行自动曝光控制，以控制合成成像模式下的长时间曝光图像信号和短时间曝光图像信号的曝光量，并且在暂时完成了自动曝光控制之后，停止自动曝光控制；以及

在停止了自动曝光控制之后，检测从合成图像信号所获得的图像的亮度值，以及如果根据所检测到的亮度值，在预定时间或者更长时间持续检测到从合成图像信号所获得的图像中的预定亮度变化，则把成像装置的成像模式从合成成像模式切换至通常成像模式。

7.一种程序，其致使作为成像装置的计算机能够选择性地执行通常成像模式下的成像操作和合成成像模式下的成像操作，该通常成像模式下的成像操作在一个单位时段中生成一个通常曝光图像信号，合成成像模式下的成像操作通过在一个单位时段中生成相对长曝光时间的长时间曝光图像信号和相对短曝光时间的短时间曝光图像信号，以及把长时间曝光图像信号和短时间曝光图像信号加以组合，而生成合成图像信号，所述合成图像信号具有比长时间曝光图像信号和短时间曝光图像信号的至少任何之一的动态范围宽的动态范围，该方法包括下列步骤：

根据从通常曝光图像信号所获得的图像中的亮度差，把成像装置的成像模式从通常成像模式切换至合成成像模式，

执行自动曝光控制，以控制合成成像模式下的长时间曝光图像信号和短时间曝光图像信号的曝光量，并且在暂时完成了自动曝光控制之后，停止自动曝光控制；以及

在停止了自动曝光控制之后，检测从合成图像信号所获得的图像的亮度值，以及如果根据所检测到的亮度值，在预定时间或者更长时间持续检测到从合成图像信号所获得的图像中的预定亮度变化，则把成像装置的成像模式从合成成像模式切换至通常成像模式。

Images