CN101674417B - 成像设备和成像模式控制方法 - Google Patents

Abstract

成像设备和成像模式控制方法。在一种能够选择性地执行正常成像模式下的成像操作和合成成像模式下的成像操作的成像设备中，通过执行正常成像模式下的成像操作对被摄体进行成像以产生曝光图像信号，通过检测该曝光图像信号计算被摄体的亮部分和暗部分的亮度倍率，计算作为合成成像模式下的长时间曝光时间和短时间曝光时间的比的曝光倍率，基于亮度倍率和曝光倍率的比较结果把成像设备的成像模式从正常成像模式切换到合成成像模式。

Description

成像设备和成像模式控制方法

技术领域

本发明涉及一种成像设备和成像模式控制方法。

背景技术

在使用诸如CCD(电荷耦合器件)的固体图像拾取器件的现有技术成像设备中，输入到图像拾取器件的光的量(曝光量)通过孔径或电子快门速度来调节。也就是说，当对明亮的场景成像时，进行调节以减少曝光量，从而通过使图像拾取器件的输出信号饱和而不会发生所谓的“过度曝光”。相反，在暗场景中，进行调节以增加曝光量，从而不会发生所谓的“曝光不足”。

然而，当对高对比度的场景成像(例如，逆光成像或者室内/室外同时成像)时，会出现下述的问题。也就是说，由于使用的固体图像拾取器件的动态范围不足，通过仅调节曝光量，亮部分饱和而导致“过度曝光”，并且在曝光量不足的暗部分中导致“曝光不足”，从而难以正确地再现这两个部分。

为了解决这个问题，开发了一种在场内使用两个不同的电子快门速度的方法(例如，见日本专利申请公报No.6-141229)。根据这种方法，电子快门速度针对每个场改变以分别对亮区域中的信息和暗区域中的信息成像，并且各条获得的信息被组合成一个图像。作为以上方法的应用，已知一种能够以宽动态范围拍摄图像的成像设备(宽动态范围照相机)。

已公知宽动态范围照相机的两种工作状态：合成成像模式，其中执行宽动态范围成像；和正常成像模式，其中不执行宽动态范围成像。然而，从合成成像模式获得的图像中的高对比度常常丢失，并且已知如果在亮度差小的情况下切换到合成成像模式，则获得图像对比度降低的不自然的图像。为了改善这种情况，开发了一种在亮度差小的情况下自动切换到正常成像模式并且在亮度差大的情况下自动切换到合成成像模式的方法(例如，见日本专利申请公报No.2002-84449(US5,455,621))。

发明内容

如果正常成像模式下的曝光时间通常是固定的，例如如以上专利文献2中所示为“1/60秒”，则在亮区域和暗区域之间的亮度差大于等于预定值的情况下成像模式能够切换到合成成像模式。然而，在能够使用快门速度优先曝光的成像设备中，用户能够把正常成像模式下的曝光时间(对应于电子快门速度)设置为希望的时间，例如“1/60秒”和“1/120秒”。这里，快门速度优先曝光指的是在固定到所设置的电子快门速度(曝光时间)的同时控制曝光。如果在这种成像设备中像专利文献2中一样仅使用固定的亮度差，则作为从正常成像模式切换到合成成像模式的条件，从获得最佳合成图像的观点来看，这种条件未必是合适的。例如，即使在应该应用宽动态范围的场景中，成像模式也可能没有切换到合成成像模式，或者相反，在不应该应用宽动态范围的场景中，成像模式可能切换到合成成像模式。

这个问题出现在如下的成像系统中，当使用两个不同的电子快门速度产生合成图像时，该成像系统对长时间曝光时间和短时间曝光时间有时间限制。这是因为，在这种系统中，分割一个场(1/60秒)以分配长时间曝光时间和短时间曝光时间，因此，分配给每个场的最大曝光时间受到限制，由此预先决定了曝光倍率(exposure rate)。

例如，如图1和图2所示，采样如下的示例：正常成像模式下的曝光时间被设置为1/60秒，合成成像模式下的最大曝光时间被设置为长时间曝光时间1/64秒以及短时间曝光时间1/1200秒。在这种成像系统中，考虑如下的情况：通过把正常成像模式下的电子快门速度(曝光时间)设置为1/60秒来拍摄图像的状态(见图1)被切换到合成成像模式(见图2)。在这种情况下，通过把长时间曝光时间设置为1/64秒并把短时间曝光时间设置为1/1200秒以保持正常成像模式下的曝光时间(1/60秒)，从而开始合成成像模式。此时，长时间曝光时间和短时间曝光时间的曝光倍率为大约19倍 $[\≅(1/64)\÷(1/1200)]$ ，这表示能够应用合成成像模式下的合适曝光的被摄体是那些亮部分和暗部分之间的亮度差(亮度倍率)为大约19倍以上的被摄体。

另一方面，考虑如下的情况：通过把正常成像模式下的电子快门速度设置为1/120秒来拍摄图像的状态(见图3)被切换到合成成像模式(见图4)。在这种情况下，通过把长时间曝光时间设置为1/120秒并把短时间曝光时间设置为1/1200秒以保持正常成像模式下的曝光时间(1/120秒)，从而开始合成成像模式。此时，长时间曝光时间和短时间曝光时间的曝光倍率为大约10倍 $[\≅(1/120)\÷(1/1200)]$ ，这表示能够应用合成成像模式下的合适曝光的被摄体是那些亮部分和暗部分之间的亮度差(亮度倍率)为大约10倍以上的被摄体。

因此，在正常成像模式下的快门速度由于快门速度优先曝光等而能够改变为任何值的成像设备中，使得在合成成像模式下获得合适图像的最小亮度差(亮度倍率)根据设置的快门速度而改变。因此，根据如专利文献2中一样的仅使用亮度差(亮度倍率)作为从正常成像模式向合成成像模式进行切换的条件的方法，难以适当地从正常成像模式切换到合成成像模式，从而几乎不能获得合适的合成图像。

鉴于以上问题而做出本发明，希望提供一种能够在与正常成像模式下可变地设置的快门速度(曝光时间)对应的适当切换条件下从正常成像模式切换到合成成像模式的新的改进的成像设备和成像模式控制方法。

根据本发明的实施例，提供了一种成像设备，包括：成像处理单元，能够选择性地执行在一个单位时段中产生一个曝光图像信号的正常成像模式下的成像操作、以及合成成像模式下的成像操作，在合成成像模式下，在单位时段中产生曝光时间相对较长的长时间曝光图像信号和曝光时间相对较短的短时间曝光图像信号，并且通过将长时间曝光图像信号和短时间曝光图像信号进行合成来产生动态范围比至少长时间曝光图像信号或短时间曝光图像信号的动态范围宽的合成图像信号；和控制单元，基于在正常成像模式下由成像处理单元成像的被摄体的亮部分和暗部分的亮度倍率与作为合成成像模式下的长时间曝光时间和短时间曝光时间的比的曝光倍率的比较结果，把成像处理单元的成像模式从正常成像模式切换到合成成像模式。

所述控制单元可以对通过把曝光倍率乘以根据短时间曝光图像信号的灵敏度(sensitivity)或S/N特性设置的增益而获得的值与亮度倍率进行比较，并且如果亮度倍率大于等于通过把曝光倍率乘以所述增益而获得的值，则所述控制单元把成像模式从正常成像模式切换到合成成像模式。

所述控制单元可以对亮度倍率和一阈值进行比较，该阈值代表需要从正常成像模式切换到合成成像模式的亮度倍率的下限，如果亮度倍率大于等于所述阈值，则所述控制单元比较亮度倍率和曝光倍率，并且如果亮度倍率大于等于曝光倍率，则所述控制单元把成像模式从正常成像模式切换到合成成像模式。

当从正常成像模式切换到合成成像模式时，所述控制单元可以根据在正常成像模式下设置的曝光时间设置合成成像模式下的长时间曝光时间。

根据本发明的另一实施例，提供了一种成像设备的成像模式控制方法，该成像设备能够选择性地执行在一个单位时段中产生一个曝光图像信号的正常成像模式下的成像操作、以及合成成像模式下的成像操作，在合成成像模式下，在单位时段中产生曝光时间相对较长的长时间曝光图像信号和曝光时间相对较短的短时间曝光图像信号，并且通过将长时间曝光图像信号和短时间曝光图像信号进行合成来产生动态范围比至少长时间曝光图像信号或短时间曝光图像信号的动态范围宽的合成图像信号，该方法包括下述步骤：通过检测正常成像模式下的曝光图像信号计算被摄体的亮部分和暗部分的亮度倍率；计算曝光倍率，该曝光倍率是合成成像模式下的长时间曝光时间和短时间曝光时间的比；和基于亮度倍率和曝光倍率的比较结果，把成像设备的成像模式从正常成像模式切换到合成成像模式。

根据以上结构，在一种能够选择性地执行正常成像模式下的成像操作和合成成像模式下的成像操作的成像设备中，通过执行正常成像模式下的成像操作对被摄体进行成像以产生曝光图像信号，通过检测该曝光图像信号计算被摄体的亮部分和暗部分的亮度倍率，计算作为合成成像模式下的长时间曝光时间和短时间曝光时间的比的曝光倍率，比较亮度倍率和曝光倍率，基于比较结果把成像设备的成像模式从正常成像模式切换到合成成像模式。因此，通过不仅使用亮度倍率还使用根据在正常成像模式下可变地设置的快门速度(曝光时间)而改变的曝光倍率作为模式切换的确定标准，能够控制从正常成像模式向合成成像模式的切换。

根据上述本发明的实施例，能够根据在正常成像模式下可变地设置的快门速度(曝光时间)在适当的切换条件下将成像模式从正常成像模式切换到合成成像模式。

附图说明

图1是示出根据本发明的第一实施例的正常成像模式下的曝光的示例的说明图；

图2是示出根据该实施例的合成成像模式下的曝光的示例的说明图；

图3是示出根据该实施例的正常成像模式下的曝光的另一示例的说明图；

图4是示出根据该实施例的合成成像模式下的曝光的另一示例的说明图；

图5是根据该实施例的合成处理的说明图；

图6是示出根据该实施例的成像设备的结构的框图；

图7是示出根据该实施例的成像设备的成像操作的整体处理的流程图；

图8是示出根据该实施例的成像模式的自动切换确定处理的具体示例的流程图；

图9是根据该实施例的亮部分和暗部分的检测处理的说明图；以及

图10是示出根据本发明的第二实施例的成像模式的自动切换确定处理的具体示例的流程图。

具体实施方式

在下文中，参照附图详细描述本发明的优选实施例。要注意，在本说明书和附图中，具有基本相同的功能和结构的构成要素由相同的附图标记表示，并省略对这些构成要素的重复解释。

将按照下面所示的次序进行说明：

1、第一实施例(使用曝光倍率的切换模式)

2、第二实施例(使用通过把曝光倍率乘以增益而获得的值的切换模式)

<第一实施例>

首先，将描述根据本发明第一实施例的成像设备和成像方法。在下面的描述中，采用能够拍摄动态图像的监视摄像机作为成像设备的示例。然而，根据本发明第一实施例的成像设备不限于这样的示例，本发明可以应用于任何成像装置，诸如拍摄静止图像的数字静止照相机、拍摄动态图像的数字视频摄像机和具有照相机功能的移动电话。

[1、成像模式的概要]

首先，将参照图1至图5提供根据本发明的第一实施例的成像设备中的成像模式的概要。

本实施例中的成像设备是作为宽动态范围照相机的能够在合成成像模式下执行成像操作的照相机，并且例如应用为在室内或室外安装的监视摄像机。该成像设备能够执行至少两种成像模式，即正常成像模式和合成成像模式。

正常成像模式是一般成像设备中的正常成像操作。在这种正常成像模式下，由图像拾取器件对被摄体成像以在单位时间产生一个曝光图像信号，并由信号处理电路对该曝光图像信号执行预定信号处理以产生拍摄图像数据。正常成像模式适合于对图像内的亮部分和暗部分之间的亮度差相对较小的被摄体进行成像。

然而，在该正常成像模式下，难以处理被摄体中从非常暗的部分到非常亮的部分的宽动态范围。例如，当在天气良好的白天外部景色可见的同时在室内成像时，如果将室内被摄体用作曝光的基准，则室外部分会丢失灰阶次并过度曝光。相反，如果将室外部分用作曝光的基准，则室内被摄体会曝光不足。也就是说，如果被摄体间的亮度差极大，则难以获得与它的亮度的动态范围对应的拍摄图像。

与之相对，在合成成像模式下，通过例如通过电子快门改变快门速度并执行具有不同曝光时间的多个图像信号的合成处理，能够获得无过度曝光和曝光不足的具有宽动态范围的拍摄图像。在该合成成像模式下，由图像拾取器件对被摄体成像以在单位时间产生两个曝光图像信号(长时间曝光图像信号和短时间曝光图像信号)，并且通过由信号处理电路将长时间曝光图像信号和短时间曝光图像信号合成而产生合成图像信号。这里，合成图像信号的动态范围比长时间曝光图像信号或短时间曝光图像信号的动态范围宽。

获得这种宽动态范围的合成成像模式适合于对高对比度的被摄体进行成像(例如，逆光成像或室内/室外同时成像)，并能够有利地防止上述图像内的亮部分的过度曝光和暗部分的曝光不足。然而，在合成成像模式下获得的图像具有较低的对比度，因此可能导致视觉上的不适感，从而正常成像模式适合于对亮度差小的被摄体进行成像。因此，优选地，可以通过根据用户喜好或成像目的切换正常成像模式和合成成像模式来拍摄图像。

图1至图4示出根据本实施例的成像设备设置的固体图像拾取器件中的一个场中的曝光时间和累计曝光量(电荷量)。固体图像拾取器件是例如CCD或CMOS(互补金属氧化物半导体)传感器阵列。

图1示出正常成像模式的情况，并且在作为成像的单位时段的一个场时段(例如，1/60秒)中执行曝光。虽然在图1中曝光时间(电子快门速度)设置为1/60秒，但曝光时间当然不限于1/60秒。曝光时间对应于电子快门速度。因此，在图像拾取器件的一个场时段中执行预定曝光时间的曝光以获得一个场的曝光图像信号。对曝光图像信号执行预定信号处理以产生一个场的拍摄图像数据。

图2示出与图1中的正常成像模式对应的合成成像模式的情况，并且图2示出在1/60秒的一个场时段中执行1/64秒的长时间曝光和1/1200秒的短时间曝光的情况。图2的合成成像模式下的长时间曝光时间(1/64秒)是与图1的正常成像模式下的曝光时间(1/60秒)对应的值。长时间曝光时间和短时间曝光时间可以可变地控制。通过在图像拾取器件中执行长时间曝光和短时间曝光，在一个场时段中获得长时间曝光图像信号和短时间曝光图像信号。然后，通过合成这两个图像信号来获得合成图像信号，从而产生一个场的拍摄图像数据。不是必须在一个场时段中执行长时间曝光和短时间曝光，也可以考虑下面的处理：在某个场时段中执行长时间曝光并在下一场时段中执行短时间曝光，以合成每个曝光图像信号。

图3示出正常成像模式的情况，但是曝光时间(电子快门速度)被设置为比图1的正常成像模式下的曝光时间(1/60秒)短的1/120秒。因此，曝光时间(电子快门速度)可以设置为用户希望的任何值，用以调节图像的曝光量(快门速度优先曝光)。

图4示出与图3中的正常成像模式对应的合成成像模式的情况。在图4中，在1/60秒的一个场时段中执行1/120秒的长时间曝光和1/1200秒的短时间曝光。图4的合成成像模式下的长时间曝光时间(1/120秒)与图3的正常成像模式下的曝光时间(1/120秒)相同。

从图1和图2以及图3和图4之间的关系显而易见的是，正常成像模式下的曝光时间和合成成像模式下的长时间曝光时间联动。也就是说，当从正常成像模式切换到合成成像模式时，以尽可能保持正常成像模式下设置的曝光时间的方式来设置合成成像模式下的长时间曝光时间。在图1和图2的示例中，例如，如果正常成像模式下的曝光时间设置为“1/60秒”，则在从正常成像模式转变后的合成成像模式下的长时间曝光时间被设置为几乎相同的“1/64秒”。另一方面，在图3和图4的示例中，如果正常成像模式下的曝光时间设置为“1/120秒”，则在从正常成像模式转变后的合成成像模式下的长时间曝光时间也被设置为“1/120秒”。以这种方式，在切换正常成像模式和合成成像模式前后能够保持用户希望的快门速度，并且也能够通过抑制切换模式前后曝光量的变化而减少拍摄图像的视觉不适感。

这里，将参照图5来描述在合成成像模式下的长时间曝光图像信号和短时间曝光图像信号的合成处理。图5示出长时间曝光图像信号的输入/输出亮度特性L和短时间曝光图像信号的输入/输出亮度特性S。

如图5所示，例如，将预定亮度值用作合成处理中的切换点SP。然后，亮度低于切换点SP的像素采用长时间曝光图像信号的图像信号。另一方面，亮度高于切换点SP的像素采用短时间曝光图像信号的图像信号。此时，通过把短时间曝光图像乘以增益K来调节这两个图像的电平，该增益K是长时间曝光图像和短时间曝光图像的曝光倍率(曝光比)。

如果长时间曝光图像和短时间曝光图像的曝光倍率是10∶1，则短时间曝光图像的曝光是长时间曝光图像的曝光的1/10。然而，在存在的光的量方面，长时间曝光图像具有短时间曝光图像的亮度信号电平的10倍的光量。因此，通过把短时间曝光图像信号乘以10来调节短时间曝光图像信号的电平和长时间曝光图像信号的电平。以这种方式把短时间曝光图像信号乘以增益以获得如图5所示的特性KS，特性KS的电平被调节至长时间曝光图像信号特性的电平。

结果，产生特性L-KS的合成图像。也就是说，作为合成图像获得了这样的图像：在被摄体的相对较暗区域中由于长时间曝光图像信号而不存在曝光不足，并且在相对较亮区域中由于短时间曝光图像信号而不存在过度曝光。

根据采用了以上技术的合成成像模式，能够获得比在正常成像模式下进行成像的动态范围宽得多的动态范围。因此，能够对在输出图像中具有包含亮部分和暗部分的宽动态范围的被摄体进行成像，这使得合成成像模式适合于例如对自然光照射的房间的内部或具有显著亮度差的场所进行成像的情况。更具体地讲，合成成像模式适合于对动态范围根据诸如白天和夜间的时间带而显著不同的银行支行的门口、用于拍摄交通状况的道路等进行成像。

在下面的描述中，为了便于描述，如图1或图3中所示的正常成像模式下的曝光操作将被称为“正常曝光”以区别于如图2或图4中所示的合成成像模式下的“长时间曝光”和“短时间曝光”。在正常曝光模式下获得的曝光图像信号将被称为“正常曝光图像信号”以区别于合成成像模式下的“长时间曝光图像信号”和“短时间曝光图像信号”。另外，正常成像模式下的曝光时间将被称为“正常曝光时间”以区别于合成成像模式下的“长时间曝光时间”和“短时间曝光时间”。

[2、成像模式切换的概要]

接下来，将提供根据本实施例的正常成像模式和合成成像模式的切换方法的概要。

作为现有技术的正常成像模式和合成成像模式的切换方法，如上所述，一般应用如下的方法(见专利文献2)，通过该方法，成像模式在亮度差小的条件下被切换到正常成像模式并且在亮度差大的条件下被切换到合成成像模式。根据这种方法，从正常成像模式向合成成像模式切换的条件被设置为亮度差是否大于等于阈值。然而，在由于快门速度优先曝光等而能够将电子快门速度改变为任何值的成像设备中，不适合像专利文献2中一样仅使用亮度差作为切换到合成成像模式的条件。原因如下。

当在成像设备中成像模式从正常成像模式切换到合成成像模式时，以尽可能保持在正常成像模式下设置的快门速度(正常曝光时间)的方式设置合成成像模式下的快门速度(长时间曝光时间)。

因此，例如，在合成成像模式下获得适当图像的最小亮度倍率在图1和图2的示例中为大约19倍并且在图3和图4的示例中为大约10倍，这表明最小亮度倍率根据在正常成像模式下设置的电子快门速度而改变。也就是说，在合成成像模式下获得适当图像的最小亮度倍率根据在合成成像模式下的长时间曝光时间和短时间曝光时间的比(曝光倍率)而改变。因此，如果像专利文献2中一样仅使用亮度差(亮度倍率)作为从正常成像模式向合成成像模式进行切换的条件，则难以在适当的定时从正常成像模式切换到合成成像模式。其原因在于，切换条件没有适应于在正常成像模式下设置的电子快门速度(正常曝光时间)的变化，即在合成成像模式下的曝光倍率的变化。

因此，在本实施例中，将下面示出的两个参数用作从正常成像模式向合成成像模式进行切换的条件：

(1)在正常成像模式下成像的被摄体的亮部分和暗部分的亮度比(亮度倍率)

(2)在合成成像模式下长时间曝光时间和短时间曝光时间的比(曝光倍率)

因此，在切换条件下使用亮度倍率和曝光倍率能够控制从正常成像模式向合成成像模式的切换，以获得最佳图像。因此，成像模式能够在最佳条件下自动切换到合成成像模式而不依赖于在正常成像模式下由于快门速度优先曝光等而设置的快门速度(曝光时间)的变化，从而能够获得最佳合成图像。以下，将详细描述执行这种模式切换的成像设备和成像方法。

[3、成像设备的结构]

接下来，将参照图6来描述根据本实施例的成像设备的结构。图6是示出根据本实施例的成像设备的概要结构的框图。

如图6所示，该成像设备包括：成像光学系统10、图像拾取器件20、预处理单元30、信号处理单元40、输出单元50、检测单元60、定时发生器70、光学部件驱动单元80、控制单元100、操作单元110和显示单元120。在这些单元之中，成像光学系统10、图像拾取器件20、预处理单元30、信号处理单元40、定时发生器70和光学部件驱动单元80是本实施例的成像处理单元的具体示例。控制单元100是本实施例的控制单元的具体示例。

成像光学系统10包括诸如透镜11、用于去除不必要的波长的光学滤波器和光阑12的光学部件。从被摄体入射的光经由成像光学系统10中的光学部件被引导至图像拾取器件20。

图像拾取器件20例如由固体图像拾取器件(诸如CCD和CMOS)构成。图像拾取器件20对经过成像光学系统10的光执行光电转换以输出电信号作为拍摄图像。在本实施例中，图像拾取器件20在正常成像模式和合成成像模式下执行不同的曝光处理。也就是说，在正常成像模式下，如图1和图3所示，图像拾取器件20执行在一个场时段中以预定曝光时间执行被摄体图像的曝光的正常曝光，并输出电信号作为正常曝光图像信号。另一方面，在合成成像模式下，如图2和图4所示，图像拾取器件20在一个场时段中执行长时间曝光和短时间曝光以分时方式输出长时间曝光图像信号和短时间曝光图像信号。

图像拾取器件20不限于使用固体图像拾取器件的构成。例如，图像拾取器件20可以由诸如摄像管的非固体图像拾取器件构成。对于非固体图像拾取器件，能够使用机械快门或液晶快门执行长时间曝光和短时间曝光，或者可以改变正常曝光、长时间曝光和短时间曝光的曝光时间。

预处理单元30是对曝光图像信号进行预处理的所谓模拟前端。例如，预处理单元30对作为从图像拾取器件20输出的拍摄图像的电信号执行CDS(相关双采样)处理、可编程增益放大器(PGA)的增益处理或A/D转换处理。然后，预处理单元30把已被执行了预处理的曝光图像信号提供给信号处理单元40。也就是说，预处理单元30在正常成像模式下把正常曝光图像信号提供给信号处理单元40，并在合成成像模式下把长时间曝光图像信号和短时间曝光图像信号提供给信号处理单元40。

信号处理单元40针对正常成像模式和合成成像模式中的每一个执行预定信号处理以产生拍摄图像数据的视频信号。更具体地讲，在正常成像模式下，信号处理单元40对输入的正常曝光图像信号执行例如伽马校正处理或白平衡处理，以产生拍摄图像数据的视频信号。另一方面，在合成成像模式下，信号处理单元40对输入的长时间曝光图像信号和短时间曝光图像信号执行参照图5描述的合成处理以产生合成图像信号。也就是说，信号处理单元40对以分时方式提供的长时间曝光图像信号和短时间曝光图像信号，执行定时调节、色彩平衡校正处理、使短时间曝光图像信号的亮度电平与长时间曝光图像信号的亮度电平匹配的增益处理、以及合成处理。信号处理单元40还对合成图像信号执行伽马校正处理或白平衡处理以产生拍摄图像数据的视频信号。信号处理单元40把在上述每个模式下产生的拍摄图像数据的视频信号输出给输出单元50和检测单元60。

输出单元50对从信号处理单元40输入的拍摄图像数据的视频信号执行在监视显示器中进行显示的处理或传输到外部装置的处理。

检测单元60对从信号处理单元40输入的拍摄图像数据的视频信号执行测光处理以计算要提供给控制单元100的亮度累积值。在这种情况下，检测单元60根据来自控制单元100的指令选择将要执行的测光方法。作为测光方法，例如，可以使用中央重点测光法、评价测光法、平均测光法或选择区域测光法。虽然图像区域内的检测框根据测光方法而不同，但检测单元60把针对通过要执行的测光方法设置的每个检测框的亮度累积值提供给控制单元100。

控制单元100例如由微控制器构成并控制成像设备的全部操作，所述微控制器具有CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)和闪存。

具体地，根据本实施例的控制单元100进行控制以使作为成像处理单元的图像拾取器件20、预处理单元30、信号处理单元40、定时发生器70和光学部件驱动单元80执行正常成像模式和合成成像模式中的每一种模式的成像操作。此时，控制单元100确定是否满足切换条件以控制正常切换模式和合成成像模式的切换。

控制单元100还为检测单元60设置亮度累积框(检测框)。另外，控制单元100通过光阑12的调节和图像拾取器件20的电子快门速度的设置以及预处理单元30的AGC的基准增益的设置，执行自动曝光控制。控制单元100的ROM中存储有使控制单元100执行上述的各种控制处理的程序，并且控制单元100基于这些程序执行上述控制所需的运算/控制处理。

根据本实施例的程序是使作为微型计算机的控制单元100执行上述控制单元100的处理(例如，以下描述的图7和图8中的处理)的程序。这些程序可以预先存储在成像设备中包含的存储装置(HDD、ROM、闪存等)中。这些程序也可以在诸如CD、DVD、蓝光盘和存储卡的可移动记录介质被提供给程序设备之前存储在该可移动记录介质中，或者可以经由诸如LAN和互联网的网络下载到成像设备。

定时发生器70(以下，称为“TG70”)产生图像拾取器件20(诸如CCD)所需的操作脉冲。例如，TG70产生要提供给图像拾取器件20的用于垂直传送的四相脉冲或场移位脉冲、或者用于水平传送的二相脉冲或快门脉冲。图像拾取器件20能够由TG70驱动(电子快门功能)。

具体地，当从控制单元100指示正常成像模式时，如图1和图3所示，TG70使图像拾取器件20在一个场时段中执行预定时间的正常曝光。如果指示了合成成像模式，则如图2和图4所示，TG70使图像拾取器件20执行曝光时间相对较长的长时间曝光和曝光时间相对较短的短时间曝光。例示的正常成像模式下的正常曝光时间和合成成像模式下的长时间曝光时间和短时间曝光时间的值可以改变为其它值。

光学部件驱动单元80基于来自控制单元100的指令，驱动成像光学系统10中的光学部件。在本实施例中，光学部件驱动单元80至少驱动光阑12并用作用于调节入射光的量的驱动电路单元。

操作单元110和显示单元120均用作用户接口。操作单元110根据用户操作把操作信息输出给控制单元100。显示单元120根据来自控制单元100的指令显示提供给用户的信息，诸如操作状态、时间信息、模式信息和消息。可将操作单元110和显示单元120构造为与成像设备分开的装置。在使监视显示器输出并显示拍摄图像前，可将要在显示单元120中显示的信息作为字符图像或文字图像叠加在输出单元50中的拍摄图像数据的视频信号上。

在根据本实施例的成像设备中，如上所述，构成成像处理单元的单元10、20、30、40、70和80在控制单元100的控制下执行正常成像模式或合成成像模式下的成像操作。在合成成像模式下，从预处理单元30向信号处理单元40发送长时间曝光图像信号和短时间曝光图像信号，并由信号处理单元40将这两个图像信号合成。另一方面，在正常成像模式下，仅从预处理单元30向信号处理单元40发送(与合成成像模式下的长时间曝光图像信号对应的)正常曝光图像信号，并且信号处理单元40不执行合成处理。

[4、成像操作的整体处理流程]

接下来，将参照图7描述根据本实施例的成像设备的成像操作的整体处理流程。图7是示出根据本实施例的成像设备的成像操作的整体处理的流程图。

如图7所示，当在正常成像模式下对被摄体进行成像时，成像设备的控制单元100设置图像拾取器件20中的曝光时间(S10)。控制单元100能够根据来自用户的指令改变曝光时间(电子快门速度)的设置。用户能够通过指定希望的曝光时间(电子快门速度)来调节拍摄图像的曝光量。如果曝光时间变长(电子快门速度变慢)，则拍摄图像的曝光量增加从而能够更适当地对暗被摄体进行成像。另一方面，如果曝光时间变短(电子快门速度变快)，则拍摄图像的曝光量降低从而能够更适当地对亮被摄体或快速被摄体进行成像。

以上的快门速度优先曝光是已知的根据来自用户的指令设置曝光时间的示例。曝光时间(电子快门速度)在初始状态下被设置为默认值(例如，1/60秒)。当使用快门速度优先曝光时，控制单元100能够根据被摄体的亮度或移动把曝光时间(电子快门速度)设置为用户希望的值，诸如1/120秒、1/250秒和1/500秒。

这里，描述了用户根据被摄体的移动等手动改变曝光时间(电子快门速度)的设置以进行曝光调节的示例，但控制单元100可以自动调节曝光时间(电子快门速度)。如果例如在最大程度地减小了光阑12的孔径之后拍摄图像仍然较亮，则控制单元100可以自动切换到更快的快门速度以进行曝光调节。此外，在监视摄像机中，通过不仅使用光阑12还使用图像拾取器件20的快门速度，能够控制曝光量。

接下来，成像设备执行正常成像模式下的成像操作以对被摄体进行成像(S20)。在正常成像模式下，控制单元100把在S10设置的曝光时间(电子快门速度)给予TG70，TG70在对应于该曝光时间的定时，驱动图像拾取器件20。图像拾取器件20以上面设置的曝光时间(即，正常曝光时间)对被摄体进行成像以产生正常曝光图像信号。在以上示出的图1中，在一个场中设置一个曝光时间(1/60秒)，并且以1/60秒的曝光时间拍摄正常曝光图像。在图3中，设置一个曝光时间(1/120秒)，并以1/60秒的曝光时间拍摄正常曝光图像。

在正常成像模式下，信号处理单元40对由预处理单元30数字化了的正常曝光图像信号执行信号处理，然后把被执行了信号处理之后的视频信号输出给输出单元50和检测单元60。检测单元60检测来自信号处理单元40的视频信号以累加检测框(亮度累积框)中的像素的亮度值，并把亮度累积值输出给控制单元100。控制单元100使用从检测单元60接收的亮度累积值确定当前亮度和目标亮度之间的差。然后，基于亮度差，控制单元100计算光阑12、TG70和预处理单元30的PGA(可编程增益放大器)所需的控制量，以进行用于适当曝光的控制(一般自动曝光处理)。如果此时成像设备被设置为快门速度优先曝光，则TG70保持在S10设置的曝光时间的值。

另外，在正常成像模式下进行成像期间，控制单元100通常或定期地确定是否把成像模式从正常成像模式切换到合成成像模式(S30至S60)。

更具体地，控制单元100首先基于由检测单元60获得的每个检测框的亮度累积值，检测被摄体的亮部分和暗部分的亮度倍率(S30)。这里，将参照图9例示亮部分和暗部分的检测处理。图9是示出如何将逆光拍摄被摄体得到的图像1进行分割并进行测光的说明图。通过对在上部具有高亮度并在中间具有暗部分的被摄体进行成像来获得图9中的图像1(逆光状态)。

如图9所示，控制单元100把成像画面分割成例如4(水平)×3(垂直)的12个区域，并为检测单元60设置每个区域的检测框。检测单元60累加每个设置的检测框的亮度值，并把每个检测框的亮度累积值输出给控制单元100。控制单元100基于每个检测框的亮度累积值确定拍摄图像1中的最暗区域(暗部分)2和最亮区域(亮部分)3。然后，控制单元100通过如下面示出的公式所示把最亮区域的亮度累积值(YH)除以最暗区域的亮度累积值(YL)，来确定亮度倍率(YM)。

亮度倍率(YM)＝[最亮区域的亮度累积值(YH)]/[最暗区域的亮度累积值(YL)]

亮度倍率(YM)是在正常成像模式下成像的被摄体的亮部分的亮度与暗部分的亮度的比。亮度倍率的计算方法不限于以上示例，并且可以在必要时改变。例如，检测框的设置不限于图9中的示例，可以按任何配置设置更多或更少的检测框。此外，替代于确定每个检测框的亮度累积值，可以确定每个检测框的平均亮度值。

接下来，控制单元100在对被摄体进行成像的当前状态下，预先确定当成像模式从正常成像模式向合成成像模式进行切换时的曝光倍率(S40)。如上所述，曝光倍率是在合成成像模式下的长时间曝光时间(TL)和短时间曝光时间(TS)的比(曝光比)。控制单元100使用下面示出的公式预先确定当在保持当前正常成像模式下的曝光时间(快门速度)的同时切换到合成成像模式时的曝光倍率(EM)。

曝光倍率(EM)＝长时间曝光时间(TL)/短时间曝光时间(TS)

例如，将考虑在正常成像模式下的正常曝光时间(快门速度)被设置为1/60秒的情况(见图1)。如果在这种情况下通过保持该设置状态把成像模式从正常成像模式切换到合成成像模式，则合成成像模式下的长时间曝光时间保持为与正常曝光时间(1/60秒)接近的1/64秒，并且短时间曝光时间被设置为1/1200秒(见图2)。因此，这种情况下的曝光倍率为大约19倍。

此外，将考虑在正常成像模式下的正常曝光时间(快门速度)被设置为1/120秒的情况(见图3)。如果在这种情况下通过保持该设置状态把成像模式从正常成像模式切换到合成成像模式，则合成成像模式下的长时间曝光时间保持为与正常曝光时间(1/120秒)相同的1/120秒，并且短时间曝光时间被设置为1/1200秒(见图4)。因此，这种情况下的曝光倍率为10倍。

如果将正常曝光时间(快门速度)设置为另一值，例如1/250秒、1/500秒等，则能够预先以相同的方式计算当切换到合成成像模式时的曝光倍率。曝光倍率不是必须在步骤S40中计算。例如，可以预先(例如，当制造/发货、电源打开、或者正常曝光时间改变时)计算与每个正常曝光时间的设置值对应的曝光倍率并将其存储在存储器(未示出)中，将曝光倍率从该存储器中读取并用于下一成像模式的切换确定。

接下来，控制单元100使用以上计算的亮度倍率(YM)和曝光倍率(EM)来确定是否将成像模式从正常成像模式切换到合成成像模式(S50)。这里，如果亮度倍率(YM)大于等于曝光倍率(EM)，则控制单元100确定把成像模式切换到合成成像模式，并把合成成像模式切换标记设置为ON。如果另一方面亮度倍率(YM)小于曝光倍率(EM)，则控制单元100确定不把成像模式切换到合成成像模式，并保持合成成像模式切换标记为OFF。下面将描述步骤S50的自动切换确定处理的细节(见图8)。

接下来，控制单元100根据步骤S50的确定结果来确定成像模式(S60)。也就是说，如果合成成像模式切换标记为OFF，则控制单元100返回到S10而不把成像模式切换到合成成像模式，继续正常成像模式下的成像处理(S10至S50)。另一方面，如果合成成像模式切换标记为ON(S60)，则控制单元100把成像模式从正常成像模式切换到合成成像模式，并前进至S70以开始合成成像模式下的成像处理。

在S70，成像设备在合成成像模式下执行成像操作以对被摄体成像(S70)。如上所述，TG70能够设置两种不同的电子快门速度，因此，成像设备能够产生具有不同曝光量的两个曝光图像信号(即，长时间曝光图像信号和短时间曝光图像信号)。

在合成成像模式下，控制单元100把与在S10设置的正常曝光时间(电子快门速度)对应的长时间曝光时间和预定的短时间曝光时间给予TG70，TG70以与这些曝光时间对应的定时驱动图像拾取器件20。图像拾取器件20以长时间曝光时间和短时间曝光时间对被摄体进行成像以产生长时间曝光图像信号和短时间曝光图像信号。信号处理单元40如图5中所示在特定切换点SP合成由预处理单元30数字化了的长时间曝光图像信号和短时间曝光图像信号，以产生扩展了动态范围的合成图像信号。然后，信号处理单元40对合成图像信号执行预定信号处理，以产生要输出给输出单元50和检测单元60的拍摄图像数据的视频信号。

检测单元60检测来自信号处理单元40的视频信号以累加检测框(亮度累积框)中的像素的亮度值，并把亮度累积值输出给控制单元100。控制单元100使用从检测单元60接收的亮度累积值确定当前亮度和目标亮度之间的差。然后，基于亮度差，控制单元100计算光阑12、TG70和预处理单元30的PGA(可编程增益放大器)所需的控制量，以进行用于适当曝光的控制(一般自动曝光处理)。如果此时成像设备被设置为快门速度优先曝光，则TG70设置合成成像模式下的长时间曝光时间，使得保持在S10设置的正常成像模式下的正常曝光时间的值。

以上示出的图2是如下的情况：在合成成像模式下在一个场中设置两个不同的曝光时间(1/64秒和1/1200秒)，并且图像拾取器件20产生具有不同曝光量的两个曝光图像信号。也就是说，对曝光时间为1/64秒的长时间曝光图像和曝光时间为1/1200秒的短时间曝光图像进行拍摄。在以上示出的图4中，在合成成像模式下拍摄曝光时间为1/120秒的长时间曝光图像和曝光时间为1/1200秒的短时间曝光图像。与在S10设置的正常曝光模式下的正常曝光时间对应的值被用作图2和图4中的长时间曝光时间。因此，当应用快门速度优先曝光等时，正常曝光模式下的正常曝光时间被反映在合成成像模式下的长时间曝光时间中，从而能够减小切换成像模式时的质量变化。

然后，在S80，控制单元100基于由检测单元60检测的亮度值确定是否继续合成成像模式，即，是否从合成成像模式切换到正常成像模式(S80)。更具体地讲，如果例如在完成S70的合成成像模式下的自动曝光处理之后检测到一定的亮度变化，则控制单元100终止合成成像模式以转变至正常成像模式。如果应该继续合成成像模式，则重复上述的S70和S80，并且如果应该将成像模式切换到正常成像模式，则重复上述的S10至S60。

[5、模式切换确定处理的流程]

接下来，将参照图8详细描述根据本实施例的从正常成像模式至合成成像模式的自动切换确定处理。图8是示出图7中的成像模式的自动切换确定处理(S50)的具体示例的流程图。

如图8所示，控制单元100首先对在S30获得的亮度倍率(YM)和阈值(X1)进行比较以确定亮度倍率(YM)是否大于等于阈值(X1)(S52：模式切换的一次确定)。这里，阈值(X1)是表示需要从正常成像模式切换到合成成像模式的亮度倍率的下限的值。根据成像设备的性能，阈值(X1)被设置为需要使用合成成像模式的最低亮度倍率值。如果例如当亮度倍率为大约5倍时成像设备的性能即使在正常成像模式下在拍摄图像中也既不引起过度曝光又不引起曝光不足，则将阈值(X1)设置为例如6。

因此，在步骤S52能够确定正常成像模式下正被成像的被摄体的亮度倍率是否是使得需要应用合成成像模式的亮度倍率。因此，当在正常成像模式下对具有使得不必应用合成成像模式的低亮度倍率的被摄体进行成像时，能够防止错误地切换到合成成像模式。

如果作为S52的一次确定的结果亮度倍率(YM)小于阈值(X1)，则不必切换到合成成像模式，并且控制单元100前进至S58并将合成成像模式切换标记保持为OFF(S58)。该切换标记是代表从正常成像模式向合成成像模式进行切换的标记，并存储在例如控制单元100的RAM中。另一方面，如果亮度倍率(YM)大于等于阈值(X1)，则这意味着正被成像的被摄体具有需要应用合成成像模式的最低亮度倍率，因此，控制单元100前进至S54。

接下来，在S54，控制单元100对亮度倍率(YM)和在S40获得的曝光倍率(EM)进行比较以确定亮度倍率(YM)是否大于等于曝光倍率(EM)(S54：模式切换的二次确定)。

如果作为S54的二次确定的结果亮度倍率(YM)大于等于曝光倍率(EM)，则成像模式应该切换到合成成像模式，并且控制单元100前进至S56并把合成成像模式切换标记的设置从OFF变为ON(S56)。结果，成像模式从正常成像模式切换到合成成像模式。另一方面，如果亮度倍率(YM)小于曝光倍率(EM)，则成像模式不应该切换到合成成像模式，并且控制单元100前进至S58并将合成成像模式切换标记保持为OFF(S58)。结果，成像模式不切换到合成成像模式，并且保持正常成像模式。

因此，在本实施例中，如果亮度倍率(YM)大于等于曝光倍率(EM)，则将成像模式从正常成像模式切换到合成成像模式。这是因为在合成成像模式下获得最佳图像的亮度倍率(YM)相对于曝光倍率(EM)而改变。也就是说，在合成成像模式下的长时间曝光时间依赖于在正常成像模式下设置的正常曝光时间(电子快门速度)，因此，合成成像模式下的曝光倍率(EM)根据正常曝光时间而改变。如果曝光倍率(EM)高，则在合成成像模式下获得最佳图像的亮度倍率(YM)也高，相反，如果曝光倍率(EM)低，则在合成成像模式下获得最佳图像的亮度倍率(YM)也低。因此，亮度倍率(YM)大于等于曝光倍率(EM)被优选地设置为向合成成像模式进行切换的条件。

如果例如如图1和图2所示正常成像模式下的正常曝光时间(电子快门速度)被设置为1/60秒，则在发生到合成成像模式的转变之后，长时间曝光时间为1/64秒并且短时间曝光时间为1/1200秒。在这种情况下，获得曝光倍率(EM)为“长时间曝光时间/短时间曝光时间＝约19倍”。因此，当在正常成像模式下正被成像的被摄体的亮度倍率(YM)变为约19倍以上时，因为在合成成像模式下获得最佳图像，所以优选地从正常成像模式切换到合成成像模式。

另一方面，如果如图3和图4所示正常成像模式下的正常曝光时间(电子快门速度)被设置为1/120秒，则在发生到合成成像模式的转换之后，长时间曝光时间为1/120秒并且短时间曝光时间为1/1200秒。在这种情况下，获得曝光倍率(EM)为“长时间曝光时间/短时间曝光时间＝10倍”。因此，当在正常成像模式下正被成像的被摄体的亮度倍率(YM)变为10倍以上时，因为在合成成像模式下获得最佳图像所以优选地从正常成像模式切换到合成成像模式。

因此，在本实施例中，不仅使用正被成像的被摄体的亮部分和暗部分的亮度倍率的阈值(X1)还使用合成成像模式下的曝光倍率(EM)作为从正常成像模式向合成成像模式进行切换的条件。当在正常成像模式下实际测量的亮度倍率(YM)变得大于等于曝光倍率(EM)时，将成像模式从正常成像模式切换到合成成像模式。因此，即使由于上述快门速度优先曝光等导致快门速度(曝光时间)根据用户设置而改变，也能够以与任意设置的快门速度(曝光时间)对应的适当定时将成像模式切换到合成成像模式。

<第二实施例>

接下来，将描述根据本发明的第二实施例的成像设备和成像方法。当与上述第一实施例进行比较时，第二实施例在模式切换确定处理的切换条件方面不同，其它的功能结构基本上与第一实施例的功能结构相同，因此省略对它们的详细描述。

[6、模式切换确定处理的流程]

接下来，将参照图10详细描述根据本发明第二实施例的从正常成像模式至合成成像模式的自动切换确定处理。图10是示出根据第二实施例的成像模式的自动切换确定处理的流程图。图10中的处理流程对应于根据第一实施例的图7中的成像模式的自动切换确定处理(S50)。

在第二实施例中，如图10所示，不是像在第一实施例中一样把曝光倍率(EM)直接与亮度倍率(YM)进行比较，而是把通过将曝光倍率(EM)乘以增益(G)获得的阈值(X2)与亮度倍率(YM)进行比较。如同第一实施例的当亮度倍率(YM)大于等于曝光倍率(EM)时将成像模式自动切换到合成成像模式的方法更为简单。然而，在实际的成像设备中，需要根据从图像拾取器件20输出的短时间曝光图像信号的灵敏度和S/N特性来调节模式切换的确定标准。因此，在第二实施例中，在S153把曝光倍率(EM)乘以增益(G)以确定用于切换确定的阈值(X2)，并且在S154比较阈值(X2)和亮度倍率(YM)。以下，将详细描述图10中的流程。

首先，控制单元100把在图7的S30获得的亮度倍率(YM)与阈值(X1)进行比较以确定亮度倍率是否大于等于阈值(X1)(S152：模式切换的一次确定)。S152基本上与S52相同，因此省略详细描述。如果亮度倍率大于等于阈值(X1)，则控制单元100前进至S153。

接下来，在S153，通过把在图7的S40获得的曝光倍率(EM)乘以增益(G)来计算阈值(X2)(S153)。根据在合成成像模式下从图像拾取器件20输出的短时间曝光图像信号的灵敏度或S/N特性，将增益(G)设置为适当的值。通过调节增益(G)，能够控制从正常成像模式向合成成像模式进行切换的条件。

如果例如由于图像拾取器件20的特性而使短时间曝光图像信号的灵敏度和S/N良好(例如，降噪功能有效)，则即使亮度倍率(YM)小于曝光倍率(EM)，在合成成像模式下也获得适当的合成图像。因此，通过把增益(G)设置得较低(即，必须设置为小于1的值(例如0.8))，可以使阈值(X2)小于曝光倍率(EM)。因此，当对亮度倍率(YM)逐渐增加的被摄体进行成像时，通过将从正常成像模式向合成成像模式进行切换的定时提前，能够获得具有宽动态范围的合适的合成图像。

另一方面，如果短时间曝光图像信号的灵敏度和S/N特性不好，则难以在合成成像模式下获得适当的合成图像，除非亮度倍率(YM)大于曝光倍率(EM)。因此，必须把增益(G)设置得较高(即，必须设置为大于1的值(例如，1.2))以使阈值(X2)大于曝光倍率(EM)。因此，当对亮度倍率(YM)逐渐增加的被摄体进行成像时，通过延迟从正常成像模式向合成成像模式进行切换的定时，在达到用于获得适当的合成图像的适当亮度倍率之后，才能将成像模式切换到合成成像模式。

增益(G)也可以用作自动切换确定的等级。例如，可以准备多个切换确定等级，诸如低灵敏度(G＝1.2)、普通灵敏度(G＝1)和高灵敏度(G＝0.8)，以便用户能够根据成像环境选择和设置这些确定等级。因此，用户能够选择从正常成像模式至合成成像模式的自动切换的条件，以便能够优化从正常成像模式至合成成像模式的自动切换的定时。

接下来，在S154，控制单元100比较亮度倍率(YM)和在S153获得的阈值(X2)以确定亮度倍率(YM)是否大于等于阈值(X2)(S154：模式切换的二次确定)。

如果作为S154的二次确定的结果亮度倍率(YM)小于阈值(X2)，则成像模式不应该切换到合成成像模式，并且控制单元100前进至S158并使合成成像模式切换标记保持为OFF(S158)。另一方面，如果亮度倍率(YM)大于等于阈值(X2)，则应该将成像模式切换到合成成像模式，并且控制单元100前进至S156并把合成成像模式切换标记的设置从OFF改为ON(S156)。

因此，在本实施例中，如果亮度倍率(YM)大于等于通过把曝光倍率(EM)乘以增益(G)获得的阈值(X2)，则成像模式从正常成像模式切换到合成成像模式。

如果例如如图1和图2所示正常成像模式下的正常曝光时间(电子快门速度)被设置为1/60秒，则获得曝光倍率(EM)为“长时间曝光时间/短时间曝光时间＝18.75倍”。这里，如果增益(G)是0.8，则计算阈值(X2)为18.75×0.8＝15。因此，当在正常成像模式下正被成像的被摄体的亮度倍率(YM)变为15倍以上时，在合成成像模式下获得最佳图像，优选地从正常成像模式切换到合成成像模式。

另一方面，如果如图3和图4所示正常成像模式下的正常曝光时间(快门速度)被设置为1/120秒，则获得曝光倍率(EM)为“长时间曝光时间/短时间曝光时间＝10倍”。因此，计算阈值(X2)为10×0.8＝8。因此，当在正常成像模式下正被成像的被摄体的亮度倍率(YM)变为8倍以上时，在合成成像模式下获得最佳图像，优选地从正常成像模式切换到合成成像模式。

因此，在第二实施例中，通过把曝光倍率(EM)乘以增益(G)而获得的阈值(X2)被用作从正常成像模式向合成成像模式进行切换的条件。当在正常成像模式下实际测量的亮度倍率(YM)变得大于等于阈值(X2)时，成像模式从正常成像模式切换到合成成像模式。因此，即使由于上述快门速度优先曝光等导致快门速度(曝光时间)根据用户设置而改变，也能够在与任意设置的快门速度(曝光时间)对应的适当定时切换成像模式。

短时间曝光图像信号的灵敏度或S/N特性根据成像设备的成像处理单元(例如，图像拾取器件20)的特性而改变，此外，能够在合成成像模式下获得最佳合成图像的亮度倍率(YM)根据所述灵敏度或S/N特性而改变。因此，在第二实施例中，根据短时间曝光图像信号的灵敏度或S/N特性设置增益(G)，并且将通过把曝光倍率(EM)乘以增益(G)获得的阈值(X2)与亮度倍率(YM)进行比较。然后，亮度倍率(YM)变得大于等于阈值(X2)可被用作切换到合成成像模式的条件。因此，根据成像处理单元的特性(例如，图像拾取器件20)或产生的短时间曝光图像信号的灵敏度或S/N特性，能够适当地调节到合成成像模式的自动切换定时。如果例如灵敏度或S/N特性良好，则通过把增益(G)设置为小于1的值，能够在相对较低的亮度倍率(YM)把成像模式从正常成像模式切换到合成成像模式。另一方面，如果灵敏度或S/N特性不好，则通过把增益(G)设置为大于1的值，能够在相对较高的亮度倍率(YM)把成像模式从正常成像模式切换到合成成像模式。因此，不管灵敏度或S/N特性如何，都能够在合成成像模式下获得最佳合成图像。

在前面，描述了根据第一实施例和第二实施例的成像设备和成像方法。如果由现有技术的具有宽动态范围的成像设备在合成成像模式下对不需要应用宽动态范围的亮度差的被摄体进行成像，则获得由于拍摄图像的对比度降低而导致的不自然的图像。因此，希望对从正常成像模式至合成成像模式的切换定时进行适当控制。

根据本实施例，(1)被摄体的亮度倍率(YM)和(2)由成像系统定义的在合成成像模式下的曝光倍率(EM)被用作从正常成像模式自动切换至合成成像模式的确定条件。因此，即使成像设备的曝光设置是快门速度优先曝光，也能够根据任意设置的快门速度在适当的定时将成像模式从正常成像模式切换到合成成像模式。因此，能够在合成成像模式下获得最佳合成图像。

本领域技术人员应该理解，在不脱离权利要求或其等同物的范围的情况下，可以根据设计需要和其它因素做出各种变型、组成、子组合和替换。

本发明能够应用于例如拍摄动态图像的摄像机系统，也能够应用于拍摄静止图像的照相机系统。例如，本发明能够应用于任何成像装置，诸如对动态图像进行成像的数字视频摄像机、对静止图像进行成像的数字静止照相机和带有照相机功能的移动电话。即使在设置的曝光模式下拍摄静止图像，也可以例如在成像定时之前的监视期间执行成像模式的切换控制。

如果例如执行非隔行扫描的成像，则可将上述场时段中的处理视为帧时段中的处理。也就是说，获得曝光图像信号的单位时段可以是成像设备使用的任何单位时段，诸如场时段、帧时段、多个场的时段或多个帧的时段。例如，可以考虑如下的操作示例：在多个帧时段构成的时段中一次执行检测处理、曝光补正处理和曝光控制处理。

本申请包含与2008年9月12日提交给日本专利局的日本在先专利申请JP 2008-234510公开的主题相关的主题，通过引用将该专利申请的全部内容包含于此。

Claims (5)

1.一种成像设备，包括：

成像处理单元，能够选择性地执行正常成像模式下的成像操作、以及合成成像模式下的成像操作，其中，在正常成像模式下，在一个单位时段中产生一个曝光图像信号，在合成成像模式下，在单位时段中产生曝光时间相对较长的长时间曝光图像信号和曝光时间相对较短的短时间曝光图像信号，并且通过将长时间曝光图像信号和短时间曝光图像信号进行合成来产生动态范围至少比长时间曝光图像信号或短时间曝光图像信号的动态范围宽的合成图像信号；和

控制单元，如果在正常成像模式下由成像处理单元成像的被摄体的亮部分和暗部分的亮度倍率大于或等于作为合成成像模式下的长时间曝光时间和短时间曝光时间的比的曝光倍率，则把成像处理单元的成像模式从正常成像模式切换到合成成像模式。

2.如权利要求1所述的成像设备，其中，所述控制单元对通过把曝光倍率乘以根据短时间曝光图像信号的灵敏度或信噪比特性设置的增益而获得的值和亮度倍率进行比较，并且

如果亮度倍率大于或等于通过把曝光倍率乘以所述增益而获得的值，则所述控制单元把成像模式从正常成像模式切换到合成成像模式。

3.如权利要求1所述的成像设备，其中，所述控制单元对亮度倍率和一阈值进行比较，所述阈值代表需要从正常成像模式切换到合成成像模式的亮度倍率的下限，

如果亮度倍率大于或等于所述阈值，则所述控制单元比较亮度倍率和曝光倍率。

4.如权利要求1所述的成像设备，其中，当从正常成像模式切换到合成成像模式时，所述控制单元根据在正常成像模式下设置的曝光时间设置合成成像模式下的长时间曝光时间。

5.一种成像设备的成像模式控制方法，该成像设备能够选择性地执行正常成像模式下的成像操作、以及合成成像模式下的成像操作，其中，在正常成像模式下，在一个单位时段中产生一个曝光图像信号，在合成成像模式下，在单位时段中产生曝光时间相对较长的长时间曝光图像信号和曝光时间相对较短的短时间曝光图像信号，并且通过将长时间曝光图像信号和短时间曝光图像信号进行合成来产生动态范围至少比长时间曝光图像信号或短时间曝光图像信号的动态范围宽的合成图像信号，该方法包括下述步骤：

通过检测正常成像模式下的曝光图像信号计算被摄体的亮部分和暗部分的亮度倍率；

计算曝光倍率，该曝光倍率是合成成像模式下的长时间曝光时间和短时间曝光时间的比；和

如果亮度倍率大于或等于曝光倍率，则把成像设备的成像模式从正常成像模式切换到合成成像模式。

Images