CN101267504A - 图像拾取装置、图像拾取方法、曝光控制方法和程序 - Google Patents

Abstract

一种图像拾取装置，包括：图像拾取单元，配置为根据入射光产生长曝光图像信号和短曝光图像信号，并且作为图像拾取信号输出产生的信号，通过相对长时间的曝光产生长曝光图像信号，并且通过相对短时间的曝光产生短曝光图像信号；信号处理单元，配置为通过组合长曝光图像信号和短曝光图像信号产生组合图像信号，组合图像信号具有比长曝光图像信号和短曝光图像信号中的至少任意一个相对宽的动态范围；检测单元，配置为获得组合图像信号的辉度累积值和辉度直方图；以及控制单元，配置为使用辉度累积值和辉度直方图执行曝光校正控制。

Description

图像拾取装置、图像拾取方法、曝光控制方法和程序

对相关申请的交叉引用

本发明包含与2007年3月14日提交于日本专利局的日本专利申请JP 2007-065230有关的主题，通过引用将其整个内容结合在此。

技术领域

本发明涉及图像拾取装置、图像拾取方法、曝光控制方法和程序，并且更具体地涉及曝光校正，其中图像拾取装置通过组合长曝光图像信号和短曝光图像信号产生具有宽动态范围的组合图像信号。

背景技术

在许多使用诸如CCD(电荷耦合器件)的固态图像拾取设备的图像拾取装置中，通过控制光圈和电子快门速度控制输入图像拾取设备的光量(曝光的光量)。即，当拍摄明亮的场景时，减少曝光的光量，从而防止由从图像拾取装置输出的信号的饱和引起的过度曝光的发生。相反，当拍摄黑暗场景时，增加曝光的光量，从而防止曝光不足的发生。

然而，当希望使用具有不足的动态范围的固态图像拾取设备，拍摄具有强对比度的场景时(带背光的对象的图像拍摄或室内场景和室外场景的同时图像拍摄)，即使控制曝光的光量，由于明亮部分的饱和，可能在场景的明亮部分出现过度曝光，并且在场景的黑暗部分出现曝光不足。结果，可能不能适当地再现这两部分。

作为克服这种难点的方法，日本待审专利申请公开号6-141229(相应的专利号US 5455621)公开了一种通过在一场中使用不同的电子快门速度或为每场改变电子快门速度，分别获得明亮区域的信息和黑暗区域的信息，并且将获得的信息片段组合为单个图像的方法。由能够拍摄具有宽动态范围的图像的装置(宽动态范围照相机)采用该方法。另外，日本待审专利申请公开号2004-120205(相应的专利号US 2006/033823A1)和2002-84449公开了用于改进上述组合图像的质量的装置和方法。

发明内容

然而在这些通过改进以两种明显不同的曝光光量拍摄的组合图像的方法，改进宽动态范围照相机的图像质量的方法的情况中，不检查通过组合这些图像而获得的图像是否是不包括过度曝光部分或不包括曝光不足部分的图像。因此，如果在组合图像中包括过度曝光部分或曝光不足部分，则不校正该部分，并且因此产生质量不可接受的组合图像。希望提供能够更有效地校正包括在组合图像内的过度曝光部分或曝光不足部分的方法。

根据本发明的实施例的图像拾取装置包括：图像拾取单元，其配置为根据入射光产生长曝光图像信号和短曝光图像信号，并且作为图像拾取信号输出长曝光图像信号和短曝光图像信号，通过相对长时间的曝光产生长曝光图像信号，并且通过相对短时间的曝光产生短曝光图像信号；信号处理单元，其配置为通过组合长曝光图像信号和短曝光图像信号产生组合图像信号，该组合图像信号具有比长曝光图像信号和短曝光图像信号中的至少任意一个相对宽的动态范围；检测单元，其配置为获得组合图像信号的辉度累积值，并且产生组合图像信号的辉度直方图；以及控制单元，其配置为使用辉度累积值和辉度直方图，对图像拾取单元执行曝光校正控制。

控制单元使用辉度直方图检测组合图像信号中曝光不足的出现，基于检测结果设置目标辉度累积值，并且使用目标辉度累积值对图像拾取单元执行曝光校正控制。具体地，控制单元使用目标辉度累积值对由图像拾取单元产生的长曝光图像信号执行曝光校正控制。另外，作为对长曝光图像信号的曝光校正控制，控制单元对长曝光图像信号执行光圈控制、长曝光时段校正、或增益校正。控制单元使用辉度直方图检测组合图像信号中过度曝光的出现，基于检测结果设置短曝光时段，并且使用短曝光时段对由图像拾取单元产生的短曝光图像信号执行曝光校正控制。

控制单元在每个图像信号单位时段内(例如，一场的时段或一帧的时段)，执行用于消除曝光不足部分的曝光校正控制和用于消除过度曝光部分的曝光校正控制两者。可替换地，控制单元在每个图像信号单位时段内执行用于消除曝光不足部分的曝光校正控制和用于消除过度曝光部分的曝光校正控制中的任意一个。在该情况下，控制单元确定是否在每个图像信号单位时段内稳定地执行了消除曝光不足部分的曝光校正操作，当确定未稳定地执行该曝光校正操作时，执行用于消除曝光不足部分的曝光校正控制，并且当确定已经稳定地执行了该曝光校正操作时，执行用于消除过度曝光部分的曝光校正控制。控制单元对执行消除曝光不足部分的曝光校正控制的次数进行计数，并且当计数的次数超过预定数目时，执行用于消除过度曝光部分的曝光校正控制。

控制单元通过使用当前目标辉度累积值和一个固定值执行计算设置新的目标辉度累积值。可替换地，控制单元计算获得目标辉度累积值的会聚目标值所需的差值，并且通过使用当前目标辉度累积值和该差值执行计算设置新的目标辉度累积值。检测单元将辉度直方图的每个辉度等级分类为黑等级、中间等级或白等级，并且产生关于这些等级中的每一个的辉度分布信息，并且控制单元使用关于中间等级的辉度分布信息设置目标辉度累积值。控制单元通过使用当前短曝光时段和一个固定值执行计算设置新的短曝光时段。可替换地，控制单元计算获得短曝光时段的会聚目标值所需的差值，并且通过使用当前短曝光时段和该差值执行计算设置新的短曝光时段。检测单元将辉度直方图的每个辉度等级分类为黑等级、中间等级或白等级，并且产生关于这些等级中的每一个的辉度分布信息，并且控制单元使用关于中间等级的辉度分布信息设置短曝光时段。

根据本发明的实施例的图像拾取方法包括步骤：根据传输自对象的入射光，通过相对长时段的曝光产生长曝光图像信号，并且通过相对短时段的曝光产生短曝光图像信号，以便输出长曝光图像信号和短曝光图像信号作为图像拾取信号；通过组合长曝光图像信号和短曝光图像信号产生组合图像信号，组合图像信号具有比长曝光图像信号和短曝光图像信号中的至少任意一个相对宽的动态范围；获得组合图像信号的辉度累积值，并且产生组合图像信号的辉度直方图；和使用辉度累积值和辉度直方图执行曝光校正控制。

根据本发明的实施例的曝光校正方法是用于图像拾取装置的方法，该方法通过相对长时段的曝光获得长曝光图像信号，并且通过相对短时段的曝光获得短曝光图像信号，通过组合长曝光图像信号和短曝光图像信号，产生具有比长曝光图像信号和短曝光图像信号中的至少任意一个相对宽的动态范围的组合图像信号，以及输出产生的组合图像信号。该曝光校正方法包括步骤：获得组合图像信号的辉度累积值，并且产生组合图像信号的辉度直方图；根据辉度直方图检测组合图像信号中曝光不足的出现；基于出现曝光不足的检测结果设置目标辉度累积值；根据辉度直方图检测组合图像信号中过度曝光的出现；基于出现过度曝光的检测结果设置短曝光时段；以及使用目标辉度累积值和该短曝光时段执行曝光校正控制。根据本发明的实施例的程序使得图像拾取装置执行曝光校正。该图像拾取装置配置为通过相对长时段的曝光获得长曝光图像信号，并且通过相对短时段的曝光获得短曝光图像信号，通过组合长曝光图像信号和短曝光图像信号，产生具有比长曝光图像信号和短曝光图像信号中的至少任意一个相对宽的动态范围的组合图像信号，以及输出产生的组合图像信号。该曝光校正包括步骤：获得组合图像信号的辉度累积值，并且产生组合图像信号的辉度直方图；根据辉度直方图检测组合图像信号中曝光不足的出现；基于出现曝光不足的检测结果设置目标辉度累积值；根据辉度直方图检测组合图像信号中过度曝光的出现；基于出现过度曝光的检测结果设置短曝光时段；以及使用目标辉度累积值和该短曝光时段执行曝光校正控制。

在本发明的实施例中，在单位时段例如一场的时段中获得长曝光图像信号和短曝光图像信号。通过组合这些图像信号产生组合图像信号。获得组合图像信号的辉度累积值，并且分析组合图像信号的辉度直方图(频率分布)。使用获得的辉度累积值和该分析结果，作为反馈控制执行自动曝光控制(光圈控制、电子快门速度控制和增益控制)。从而可以改进宽动态范围照相机的图像质量。

根据本发明的实施例，获得通过组合长曝光图像信号和短曝光图像信号产生的组合图像信号的辉度累积值，并且分析组合图像信号的辉度直方图(频率分布)，并且然后使用获得的辉度累积值和该分析结果执行曝光校正。即，确定被作为由用户进行视觉检查的最终图像而输出的组合图像信号中是否出现曝光不足或过度曝光。将确定结果作为反馈信息用于曝光校正。因此，可以有效地执行曝光校正以便消除最终输出图像上的曝光不足或过度曝光部分。即，根据本发明的实施例，可以必然地改进组合图像的质量。另外，使用组合图像信号执行曝光校正，并且因此不会受在对图像信号进行组合之前，对长曝光或短曝光图像信号执行的处理的影响。在各种宽动态范围照相机系统中，图像信号组合之前执行的处理是不同的。然而，本发明的实施例可以适用于各种宽动态范围照相机系统，而不论这种差异如何。

附图说明

图1是根据本发明的实施例的图像拾取装置的方框图；

图2是描述根据本发明的实施例的长曝光和根据本发明的实施例的短曝光的图；

图3是描述根据本发明的实施例的信号组合处理的图；

图4是示出了根据本发明的实施例的图像拾取装置的操作的流程图；

图5是示出了根据本发明的实施例的检测处理的流程图；

图6A和6B是描述根据本发明的实施例的辉度直方图的图；

图7是示出了根据本发明的实施例的曝光校正处理的流程图；

图8是示出了根据本发明的实施例的曝光不足校正处理的流程图；

图9是示出了根据本发明的实施例的过度曝光校正处理的流程图；

图10是示出了根据本发明的实施例的曝光校正处理的另一个例子的流程图；

图11是示出了根据本发明的实施例的曝光校正处理的再一个例子的流程图；

图12是示出了根据本发明的实施例的曝光不足校正处理的另一个例子的流程图；

图13是示出了根据本发明的实施例的曝光不足校正处理的再一个例子的流程图；

图14是示出了根据本发明的实施例的过度曝光校正处理的另一个例子的流程图；和

图15是示出了根据本发明的实施例的过度曝光校正处理的再一个例子的流程图。

具体实施方式

下面将以如下顺序描述本发明的实施例：

1.宽动态范围照相机的概述；

2.图像拾取装置的配置；

3.图像拾取装置的整个操作；

4.曝光校正处理；

5.曝光校正处理的另一个例子；

6.曝光不足校正的另一个例子；

7.过度曝光校正的另一个例子；和

8实施例和程序的效果。

1.宽动态范围照相机的概述

根据本发明的实施例的图像拾取装置1是适合于例如用作监视照相机的宽动态范围照相机。然而，动态范围照相机可以被用作通用目的的数字静态照相机或数字摄像机。首先将对宽动态范围照相机进行描述。

通常使用的图像拾取装置难以处理场景中极暗部分和极亮部分之间的宽动态范围。例如，考虑在阳光充足日子的白天当中在室内对一个场景执行图像拍摄的情况。此时，如果在将室内的对象设置为曝光参考点之后执行曝光，则房间外部的室外部分失去颜色层次并且被过度曝光。相反，如果在将室外部分设置为曝光参考点之后执行曝光，则室内对象曝光不足。即，如果场景中存在辉度等级间的大的差异，则难以获得相应于该辉度动态范围的拍摄图像。

在另一方面，根据本发明的实施例的宽动态范围照相机通过每次拍摄图像时改变电子快门速度以便改变曝光时段，并且组合以不同曝光时段获得的图像，获得不包括过度曝光或曝光不足部分的拍摄图像。图2示出了一场内的曝光时段和图像拾取设备单元诸如CCD或CMOS(互补金属氧化物半导体)传感器阵列内的曝光存储光量(电荷数量)间的关系。在这个实施例中，例如，在1/60秒的一场的时段中执行1/64秒的长曝光和1/2000秒的短曝光。长曝光和短曝光的曝光时段可以改变。通过执行长曝光和短曝光，在一场的时段内获得长曝光图像信号和短曝光图像信号。将获得的图像信号组合在一起。

图3示出了长曝光图像信号的输入输出辉度特性A和短曝光图像信号的输入输出辉度特性B。在信号组合处理中，例如，将一个预定的辉度值设置为转换点SP。具有低于转换点SP的辉度等级的像素使用长曝光图像信号作为像素信号。在另一方面，具有高于转换点SP的辉度等级的像素使用短曝光图像信号作为像素信号。此时，将短曝光图像信号乘以长曝光图像信号和短曝光图像信号的曝光比例，从而执行这些图像信号的等级调整。假设长曝光图像信号和短曝光图像信号的曝光比例是10∶1。在该情况下，短曝光图像信号的曝光等级是长曝光图像信号的十分之一。然而，现有的光量至少是短曝光图像信号的辉度等级的10倍。因此，将短曝光图像信号乘以数值10以便进行等级调整。因此，通过执行短曝光图像信号的增益乘法，如图所示，可以获得其等级被调整为长曝光图像信号的特性的特性KB。从而，产生具有A-KB特性的组合图像。即，在场景中的相对暗的部分内使用长曝光图像信号，以便防止曝光不足的发生，并且在相对亮的部分内使用短曝光图像信号，以便防止过度曝光的发生。从而，产生不包括过度曝光部分也不包括曝光不足部分的组合图像。

作为拍摄具有亮部分和暗部分之间的宽动态范围的对象的图像的方法，除了上述组合通过改变曝光时段而获得的亮图像和暗图像的方法外，还存在各种方法。例如，所述各种方法包括以像素为基础改变灵敏性、仅提取具有相同曝光条件的信号、使用提取的信号再现图像、并且组合具有不同曝光条件的一个或多个图像的方法，以及使用棱镜分离入射光、并且组合从被附于具有光衰减功能的滤波器，诸如用于减少从中穿过的所有波长的光的量，即，等同地减少入射光的量的ND滤波器(中性密度滤波器：光量控制滤波器)的图像拾取设备输出的信号的方法。

使用上述方法之一的宽动态范围照相机具有比通常使用的摄像机更宽的动态范围，并且可以拍摄具有宽动态范围的对象的图像。具有宽动态范围的对象意味着对象的输出图像包括亮的部分和暗的部分。因此，这种宽动态范围照相机适合于强光从外部进入的在室内执行的图像拍摄，或在辉度等级间存在大的差异的位置执行的图像拍摄。例如，这种宽动态范围照相机适合用作在动态范围根据白天或夜晚中的图像拍摄时间而明显不同的位置，例如，在银行的入口或监视交通状况的道路上执行图像拍摄所需的照相机。实际上，它们适合用作监视照相机。

2.图像拾取装置的配置

图1示出了根据本发明的实施例的图像拾取装置的配置。根据本发明的实施例的图像拾取装置包括图像拾取光学系统1、图像拾取设备单元2、预处理单元3、信号处理单元4、输出单元5、检测单元6、定时产生器7、光学部件驱动单元8和控制单元10。

图像拾取光学系统1包括光学部件诸如透镜、用于去除不需要的波长的成分的光学滤波器、以及光圈1a。光通过包括在图像拾取光学系统1中的每个光学部件从对象传输到图像拾取设备单元2。图像拾取设备单元2是固态图像拾取设备单元诸如CCD传感器阵列或CMOS传感器阵列。图像拾取设备单元2将通过图像拾取光学系统1传输的光光电转换为电信号，并且输出该电信号以便产生拍摄图像。在该实施例中，图像拾取设备单元2在一场的时段内执行上述的长曝光和上述的短曝光，并且输出分时电信号作为长曝光图像信号和短曝光图像信号。图像拾取设备单元2可以不是固态图像拾取设备单元，并且可以是非固态图像拾取设备单元诸如图像拾取管。通过使用机械快门或液晶快门，非固态图像拾取设备单元也可以执行长曝光和短曝光。被称为模拟前端的预处理单元3执行CDS(相关双采样)处理、使用可编程增益放大器进行增益处理、以及对用于产生拍摄图像的电信号进行A/D转换处理，并且将处理后的长曝光图像信号和处理后的短曝光图像信号提供给信号处理单元4。

信号处理单元4对收到的长曝光图像信号和收到的短曝光图像信号执行参考图3描述的信号组合处理。即，信号处理单元4对根据分时方法提供的长曝光图像信号和短曝光图像信号执行定时控制和颜色均衡校正、执行增益处理以便使得短曝光图像信号的辉度等级与长曝光图像信号的相一致、并且执行这些图像信号的信号组合。另外，信号处理单元4还对组合图像信号执行伽马校正和白平衡控制，并且将处理后的组合图像信号输出到输出单元5和检测单元6。

输出单元5执行处理，以便使用传输自信号处理单元4的组合图像信号在监视显示器上显示图像，或将组合图像信号传输到外部装置。检测单元6分析传输自信号处理单元4的组合图像信号的辉度等级，产生关于辉度累积值的信息和关于辉度直方图的信息，并且将这些信息片段提供给控制单元10。

控制单元10是包括例如CPU(中央处理单元)、ROM(只读存储器)、RAM(随机访问存储器)和闪存的微型计算机，并且控制图像拾取装置的整个操作。在本实施例中，控制单元10在图像拍摄时执行曝光校正处理。包括在控制单元10内的ROM存储使得控制单元10执行稍后描述的曝光校正所需的控制处理的程序。控制单元10使用从检测单元6提供的关于辉度累积值和辉度直方图的信息片段，执行必需的计算和控制处理。

定时产生器7为图像拾取设备单元2例如CCD产生操作脉冲。例如，定时产生器7产生各种脉冲诸如用于纵向转移的四相脉冲、场转移脉冲、用于水平转移的两相脉冲、以及快门脉冲，并且将它们提供给图像拾取设备单元2。定时产生器7可以驱动图像拾取设备单元2(电子快门功能)。通过控制图像拾取设备单元2的驱动，如图2中所示，可以输出通过相对长时段的曝光获得的长曝光图像信号和通过相对短时段的曝光获得的短曝光图像信号。产生长曝光图像信号和短曝光图像信号所需的这些曝光时段可以改变。光学部件驱动单元8确定图像拾取光学系统1中包括的光学部件。在本实施例中，光学部件驱动单元8是用于至少驱动光圈1a并且控制入射光的驱动电路。

3.图像拾取装置的整个操作

下面，将描述在根据本发明的实施例的图像拾取装置中执行的曝光校正处理。首先，描述包括曝光校正处理在内的，在图像拾取装置中执行的整个图像拍摄处理。图4示出了图像拍摄处理。以规则的间隔重复图4所示的图像拍摄处理，从而使用输出视频信号产生的图像逐渐逼近不包括曝光不足部分和过度曝光部分的图像。从而，改进了宽动态范围照相机的图像质量。

步骤ST1：图像拾取处理

定时产生器7可以设置两个不同的电子快门速度，并且使得图像拾取设备单元2在一场的时段内执行参考图2描述的长曝光和短曝光。从而，获得具有不同的曝光光量的两个图像拾取信号(通过1/64秒的曝光时段的曝光而获得的长曝光图像信号和通过1/2000秒的曝光时段的曝光而获得的短曝光图像信号)。如前所述，由预处理单元3处理长曝光图像信号和短曝光图像信号，并且然后将其提供给信号处理单元4。

步骤ST2：信号组合处理

信号处理单元4使用参考图3描述的方法组合由预处理单元3数字化的长曝光图像信号和短曝光图像信号，以便产生具有更宽动态范围的组合图像信号。从输出单元5输出这种组合图像信号，以便在例如监视显示器上显示。

步骤ST3：检测处理

还将组合图像信号提供给检测单元6。检测单元6获得组合图像信号的辉度累积值，产生组合图像信号的辉度直方图，并且一场一场地将它们传输到控制单元10。图5示出了由检测单元6执行的检测处理。在步骤ST31，检测单元6计算一场的组合图像信号的辉度累积值。在步骤ST32，检测单元6产生辉度直方图。图6A和6B示出了辉度直方图的例子。在这些例子中，将辉度等级分为8个辉度等级：黑等级(B)、等级(mb1)、(mb2)、(mb3)、(mw3)、(mw2)和(mw1)以及白等级(W)。这些示例辉度直方图中的每一个示出了一场图像中8个辉度等级的百分比(％)。例如，图6A示出了根据组合图像信号获得的相对黑的一场图像的辉度直方图的例子，并且图6B示出了相对亮的一场图像的辉度直方图的例子。

步骤ST4：曝光校正处理

控制单元10检查辉度直方图，并且确定目标辉度累积值和短曝光曝光时段，从而可以产生不包括曝光不足部分和过度曝光部分的图像。在曝光不足校正中，通过检查辉度直方图中黑等级(B)的百分比检测曝光不足部分，并且设置目标辉度累积值，从而可以将黑等级(B)的百分比设置为预定值。在过度曝光校正中，通过检查辉度直方图中白等级(W)的百分比检测过度曝光部分，并且设置短曝光曝光时段，从而可以将白等级(W)的百分比设置为预定值。

步骤ST5：曝光控制处理

控制单元10使用在上述的曝光校正处理中确定的目标辉度累积值和短曝光曝光时段执行曝光控制处理。如下设置用于曝光不足校正的长曝光光量。首先，基于初始值检测单元6的当前辉度累积值和在上述的曝光校正处理中设置的目标辉度累积值之间的差，计算设置包括在预处理单元3内的光圈1a的光圈比例、图像拾取设备单元2的长曝光曝光时段和PGA(可编程增益放大器)的增益所需的控制量。随后，控制单元10使得光学部件驱动单元8驱动光圈1a，将关于长曝光曝光时段的信息传输到定时产生器7，并且将关于PGA的增益的信息传输到预处理单元3。可以不执行所有这三种控制处理操作。可以执行它们中的一个或两个。在用于过度曝光校正的短曝光光量的情况下，控制单元10将关于在上述曝光校正处理中设置的短曝光时段的信息传输到定时产生器7，以便改变图像拾取设备单元2的短曝光时段，从而可以获得必需的曝光光量。光圈1a的光圈比例和PGA的增益也影响短曝光光量。然而，长曝光图像信号是组合图像信号中的主导成分。因此，将光圈1a的光圈比例和PGA的增益用于长曝光光量的校正。应当注意，可以将光圈1a的光圈比例和PGA的增益用于短曝光光量的校正。

4.曝光校正处理

将参考图7、8和9详细描述在图4中所示的步骤ST4中执行的曝光校正处理。在步骤ST4的曝光校正处理中，在一场的时段内执行图7所示的处理。即，在步骤F10，控制单元10检查辉度直方图，以便检测是否发生曝光不足。在步骤F20，控制单元10确定目标辉度累积值Yt。从而在步骤F10和F20执行曝光不足校正。在步骤F50，控制单元10检查辉度直方图，以便检测是否发生过度曝光。在步骤F60，控制单元10确定短曝光时段Tt。从而在步骤F50和F60执行过度曝光校正。

图8示出了在步骤F10和F20中执行的曝光不足校正。作为步骤F10中的从辉度直方图中检测是否发生曝光不足的处理，执行步骤F101和F102的处理操作。作为步骤F20中的确定目标辉度累积值Yt的处理，执行步骤F201、202和203的处理操作。即，首先在步骤F101中，控制单元10确定辉度直方图中的黑等级(B)的百分比是否等于或大于10％。如果黑等级(B)的百分比等于或大于10％，控制单元10确定组合图像信号中发生曝光不足。随后，处理进入步骤F201，其中控制单元10通过将固定值Cy增加到当前目标辉度累积值Yt以便增加曝光光量，更新目标辉度累积值Yt。在另一方面，如果黑等级(B)的百分比小于10％，在步骤F102，控制单元10确定黑等级(B)的百分比是否等于或小于5％。如果黑等级(B)的百分比等于或小于5％，处理进入步骤F202，其中控制单元10通过从当前目标辉度累积值Yt中减去固定值Cy以便减少曝光光量，更新目标辉度累积值Yt。在另一方面，如果黑等级(B)的百分比不等于或小于5％，即，在5％到10％的范围内，确定设置了适合的曝光光量。随后，处理进入步骤F203，其中保持当前目标辉度累积值Yt。

图9示出了在图7所示的步骤F50和F60中执行的过度曝光校正。作为步骤F50中的从辉度直方图检测是否发生过度曝光的处理，执行步骤F501和F502的处理操作。作为步骤F60中的确定短曝光时段Tt的处理，执行步骤F601、F602和F603的处理操作。即，首先在步骤F501，控制单元10确定白等级(W)的百分比是否等于或大于10％。如果白等级(W)的百分比等于或大于10％，控制单元10确定组合图像信号中发生过度曝光。随后，处理进入步骤F601，其中控制单元10以通过从当前短曝光时段Tt中减去固定值Ct以便减少曝光光量而获得的值，更新短曝光时段Tt。在另一方面，如果白等级(W)的百分比低于10％，在步骤F502中，控制单元10确定白等级(W)的百分比是否等于或低于5％。如果白等级(W)的百分比等于或低于5％，处理进入步骤F602，其中控制单元10以通过将固定值Ct增加到当前短曝光时段Tt以便增加曝光光量而获得的值更新短曝光时段Tt。在另一方面，如果在步骤F502确定白等级(W)的百分比不等于或不低于5％，即，在5％到10％的范围内，确定设置了适合的曝光光量。随后，处理进入步骤F603，其中保持当前短曝光时段Tt。

因此，确定目标辉度累积值Yt和短曝光时段Tt。如前所述，使用目标辉度累积值Yt和短曝光时段Tt，在图4所示的步骤ST5中执行曝光控制处理。在每个场时段内重复图4所示的包括曝光校正处理(ST4)和曝光控制处理(ST5)的处理。从而，设置防止组合图像信号中出现曝光不足和过度曝光的曝光条件。如图8和9中所示，使用当前目标辉度累积值和一个固定值计算并且然后设置新的目标累积值，并且使用当前短曝光时段和一个固定值计算并且然后设置新的短曝光时段。从而，在逐渐改变曝光光量的同时控制组合图像信号的辉度等级。

5.曝光校正处理的另一个例子

在参考图7所述的曝光校正处理中，在每个场时段内执行用于消除曝光不足部分的曝光校正和用于消除过度曝光部分的曝光校正两者。然而，可以在每个场时段内仅执行它们中的一个。即，可以不在一场时段内同时执行用于消除曝光不足部分的曝光校正和用于消除过度曝光部分的曝光校正两者。图10和11中示出了这种情况。

图10示出了确定是否已经稳定地执行了用于消除曝光不足部分的曝光校正，当未稳定地执行时，执行消除曝光不足部分的曝光校正，并且当已经稳定地执行时，执行消除过度曝光部分的曝光校正的曝光校正处理(在图4所示的步骤ST4中执行的处理)。在图4所示的步骤ST4中，开始曝光校正处理。随后，在图10所示的步骤F00中，控制单元10存储当前目标辉度累积值。即，控制单元10存储在前一场时段内设置的目标辉度累积值Yt作为前一个目标辉度累积值Yo。在步骤F10和F20，执行参考图8所述的曝光不足校正，从而确定目标辉度累积值Yt。

在步骤F30，控制单元10确定目标辉度累积值Yt是否与前一个目标辉度累积值Yo相同。例如，在步骤F20，如果处理进入图8所示的步骤F203，目标辉度累积值Yt与前一个目标辉度累积值Yo相同。在另一方面，在步骤F20，如果处理进入图8所示的步骤F201或F202，目标辉度累积值Yt不同于前一个目标辉度累积值Yo。如果在步骤F30确定目标辉度累积值Yt不同于前一个目标辉度累积值Yo，控制单元10终止曝光校正处理。即，处理进入图4所示的步骤ST5，其中执行曝光控制处理而不执行曝光校正处理。在该情况下，在步骤ST5的曝光控制处理中，控制单元10使用目标辉度累积值Yt和当前辉度累积值控制长曝光光量，并且不控制短曝光光量。

在另一方面，在图10所示的步骤F30中，如果确定目标辉度累积值Yt与前一个目标辉度累积值Yo相同，控制单元10在步骤F50和F60执行，例如，参考图9所述的过度曝光校正处理，从而确定短曝光时段Tt。随后，处理进入图4所示的步骤ST5，其中执行曝光控制处理。在该情况下，在步骤ST5中的曝光控制处理中，控制单元10使用短曝光时段Tt控制短曝光光量，并且不控制长曝光光量。

因此，如果在图4所示的步骤ST4中执行图10所示的处理，首先，在每场时段内执行长曝光光量的校正。在适当地校正长曝光光量之后，执行短曝光光量的校正。如果未适合地校正长曝光光量，执行长曝光光量的校正，直到长曝光光量会聚到适合的长曝光光量为止。在该情况下，不同时执行曝光不足校正和过度曝光校正(在同一场时段内)。从而，逐渐地改变输出图像的辉度等级。

图11示出了从图10所示的处理发展而来的处理，即，使用计数器执行计数曝光不足校正次数，并且基于计数结果每N(正数)次执行过度曝光校正，以便更快地获得不包括曝光不足部分和过度曝光部分的输出图像的处理。参考图11，已经参考图10描述了步骤F00、F10、F20、F30、F50和F60，并且步骤F40、F41和F42是新增加的。如果控制单元10在步骤F30确定当前目标辉度累积值Yt不同于前一个目标辉度累积值Yo，控制单元10在步骤F40增加一个内部计数器。在步骤F41，控制单元10确定计数值是否超过预定值N。如果在步骤F41确定计数值未超过预定值N，控制单元10终止曝光校正处理。在另一方面，如果在步骤F41确定计数值超过了预定值N，控制单元10在步骤F42将计数器重置为0，并且在步骤F50和F60执行过度曝光校正。通过执行图11中所示的这个处理，即使长曝光光量不稳定，在N场时段中连续地执行长曝光光量的校正，并且然后执行短曝光光量的校正。即，在经过N场时段之后自动地执行过度曝光校正。因此，即使花费长的时间完成曝光不足校正，也可以防止不能开始过度曝光校正的情况。

6.曝光不足校正的另一个例子

作为在图4所示的步骤ST4中执行的曝光校正处理中所包括的曝光不足校正(图7、10或11所示的步骤F10和F20)的例子，已经描述了图8所示的处理。将参考图12和13描述曝光不足校正的另一个例子。

在图12所示的曝光不足校正中，还将辉度直方图的中间辉度等级用于设置目标辉度累积值Yt。参考图12，在步骤F100，控制单元10确定在辉度直方图中M1等级的百分比是否等于或低于40％。M1等级相应于mb1、mb2和mb3等级(即，中间辉度等级的较低辉度侧)。即，确定mb1、mb2和mb3等级的总百分比是否超过40％。如果当拍摄的图像中的M1等级-它是中间辉度等级-的百分比高时执行曝光不足校正，可能会重新发生过度曝光。因此，在该情况下，不执行校正。即，如果M1等级的百分比超过40％，处理进入步骤F203，其中保持目标辉度累积值Yt。在另一方面，如果M1等级的百分比等于或低于40％，处理进入步骤F101。已经参考图8描述了步骤F101、F102、F201、F202和F203。通过执行图12所示的这个处理，可以防止由于曝光不足校正重新出现过度曝光的情况。

图13示出了曝光不足校正的再一个例子。在图13所示的这个例子中，首先在步骤F110，控制单元10获得辉度直方图中黑等级(B)的百分比(X％)。在步骤F111，控制单元10计算将黑等级(B)的百分比从X％改变为7％所需的辉度累积差值ΔS。辉度累积差值ΔS是将黑等级(B)的百分比从X％改变为7％所需的用于目标辉度累积值Yt的校正值，并且被使用函数F根据黑等级(B)的百分比(X％)获得。百分比7％是黑等级(B)的适合的百分比的示例设置值。随后，在步骤F112，控制单元10以通过将辉度累积差值ΔS增加到当前目标辉度累积值Yt而获得的值更新目标辉度累积值Yt。

如前所述，通过作为用于目标辉度累积值Yt的会聚的差值计算辉度累积差值ΔS，并且设置通过使用当前目标辉度累积值Yt和辉度累积差值ΔS执行计算而获得的新目标辉度累积值Yt，可以获得以单个处理操作会聚的目标辉度累积值Yt。从而，可以加速曝光不足校正。

7.过度曝光校正的另一个例子

作为在图4所示的步骤ST4执行的曝光校正处理中所包括的过度曝光校正(图7、10或11中所示的步骤F50和F60)的例子，已经描述了图9所示的处理。将参考图14和15描述曝光不足校正的另一个例子。

在图14所示的过度曝光校正中，还将辉度直方图的中间辉度等级用于设置短曝光时段Tt。参考图14，在步骤F500中，控制单元10确定在辉度直方图中M2等级的百分比是否等于或低于40％。M2等级相应于mw1、mw2和mw3等级(即，中间辉度等级的较高辉度侧)。即，确定mw1、mw2和mw3等级的总百分比是否超过40％。如果当拍摄的图像中的M2等级-它是中间辉度等级-的百分比高时执行过度曝光校正，可能会重新发生曝光不足。因此，在该情况下，不执行校正。即，如果M2等级的百分比超过40％，处理进入步骤F603，其中保持短曝光时段Tt。在另一方面，如果M2等级的百分比等于或低于40％，处理进入步骤F501。已经参考图9描述了步骤F501、F502、F601、F602和F603。通过执行图14所示的这个处理，可以防止由于过度曝光校正重新出现曝光不足的情况。

图15示出了过度曝光校正的再一个例子。在图15所示的这个例子中，首先在步骤F510，控制单元10获得辉度直方图中白等级(W)的百分比(X％)。在步骤F511，控制单元10计算将白等级(W)的百分比从X％改变为7％所需的短曝光时段差值ΔT。短曝光时段差值ΔT是将白等级(W)的百分比从X％改变为7％所需的用于短曝光时段Tt的校正值，并且被使用函数F根据白等级(W)的百分比(X％)获得。百分比7％是白等级(W)的适合的百分比的示例设置值。随后，在步骤F512，控制单元10以通过将短曝光时段差值ΔT增加到当前短曝光时段Tt而获得的值更新短曝光时段Tt。

如前所述，通过作为用于短曝光时段Tt的会聚的差值计算短曝光时段差值ΔT，并且设置通过使用当前短曝光时段Tt和短曝光时段差值ΔT执行计算而获得的新短曝光时段Tt，可以获得以单个处理操作会聚的短曝光时段Tt。从而，可以加速过度曝光校正。

8.实施例和程序的效果

根据本发明的实施例，使用组合图像的辉度累积值和辉度直方图确定组合图像中是否包括过度曝光部分和曝光不足部分。如果确定组合图像中包括过度曝光部分和曝光不足部分，执行自动曝光控制以便消除这些部分。因此，可以改进组合图像的图像质量。即，可以改进输出到监视显示器的图像的质量。用户可以感觉到显示在监视显示器上的图像的质量的改进。选择宽动态范围照相机的重要因素不仅在于动态范围的数值，而且在于最终图像的质量。因此，优化最终图像的能力对于宽动态范围照相机来说是一大优势。

另外，在根据本发明的实施例的曝光校正控制方法的情况下，对宽动态范围照相机中所包括的由信号处理单元4执行的用于产生组合图像的信号组合方法的依赖性极弱，并且因此可以使用各种类型的信号处理单元。另外，对信号组合时间(每一场或两场获得具有两个不同曝光光量的图像)的依赖性也是弱的。因此，减小了对整个装置的依赖性，并且因此可以将根据本发明的实施例的曝光校正控制方法应用于更多的宽动态范围照相机系统。另外，检测单元6处理组合图像信号。即，仅需要一个检测单元，并且不必为长曝光图像信号和短曝光图像信号中的每一个有一个检测单元。结果，可以实现装置的简化。

本发明的实施例可以应用于用于拍摄运动图像的照相机系统。然而，本发明的实施例可以应用于用于拍摄静止图像的照相机系统。即使在拍摄静止图像的情况下，可以在执行图像拍摄之前的监视过程中，在每场时段内执行上述的曝光校正控制。例如，如果使用逐行扫描方法执行图像拍摄，可以认为在每场时段内执行的上述处理是在每帧时段内执行的处理。不管使用的扫描方法如何，不言而喻的是图像信号的单位时段可以被不同地认为是一场时段、一帧时段、多场时段和多帧时段。例如，可以考虑一种示例的情况，其中每几帧时段执行检测处理、曝光校正处理和曝光控制处理。

根据本发明的实施例的程序是相应于由控制单元10执行的处理的程序。即，根据本发明的实施例的程序是使得控制单元10-它是微型计算机(处理器)-执行图7到15所示的各种处理的程序。这种程序可以事先记录在作为包括在例如个人计算机或图像拾取装置内的记录介质的HDD上，或事先记录在包括在具有CPU的微型计算机内的ROM或闪存内。可替换地，该程序可以临时或永久地存储(记录)在可移动记录介质上，诸如柔性盘、CD-ROM(压缩盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、蓝光盘、磁盘、半导体存储器或存储器卡。这种可移动记录介质可以作为打包软件获得。可以将根据本发明的实施例的程序从可移动记录介质安装到个人计算机上，或可以通过网络诸如LAN(局域网)或Internet从下载站点传输到个人计算机。

本领域的技术人员应当理解，根据设计需要和其它因素，可以出现各种修改、组合、子组合和替换，只要它们落在所附权利要求或其等同物的范围内。

Claims (18)

1.一种图像拾取装置，包括：

图像拾取单元，其配置为根据入射光产生长曝光图像信号和短曝光图像信号，并且作为图像拾取信号输出该长曝光图像信号和短曝光图像信号，通过相对长时间的曝光产生所述长曝光图像信号，并且通过相对短时间的曝光产生所述短曝光图像信号；

信号处理单元，其配置为通过组合所述长曝光图像信号和所述短曝光图像信号产生组合图像信号，该组合图像信号具有比所述长曝光图像信号和所述短曝光图像信号中的至少任意一个的动态范围相对宽的动态范围；

检测单元，其配置为获得所述组合图像信号的辉度累积值，并且产生所述组合图像信号的辉度直方图；以及

控制单元，其配置为使用所述辉度累积值和所述辉度直方图，为所述图像拾取单元执行曝光校正控制。

2.如权利要求1的图像拾取装置，其中所述控制单元使用所述辉度直方图检测所述组合图像信号中曝光不足的出现，基于该检测结果设置目标辉度累积值，并且使用该目标辉度累积值为所述图像拾取单元执行曝光校正控制。

3.如权利要求2的图像拾取装置，其中所述控制单元使用所述目标辉度累积值，对由所述图像拾取单元产生的长曝光图像信号执行曝光校正控制。

4.如权利要求3的图像拾取装置，其中所述控制单元对所述长曝光图像信号执行光圈校正、长曝光时段校正、或增益校正，作为对所述长曝光图像信号的曝光校正控制。

5.如权利要求1的图像拾取装置，其中控制单元使用所述辉度直方图检测所述组合图像信号中过度曝光的出现，基于该检测结果设置短曝光时段，并且使用该短曝光时段对由所述图像拾取单元产生的短曝光图像信号执行曝光校正控制。

6.如权利要求1的图像拾取装置，其中所述控制单元在每个图像信号单位时段内执行用于消除曝光不足部分的曝光校正控制和用于消除过度曝光部分的曝光校正控制两者。

7.如权利要求1的图像拾取装置，所述控制单元在每个图像信号单位时段内执行用于消除曝光不足部分的曝光校正控制和用于消除过度曝光部分的曝光校正控制中的任意一个。

8.如权利要求7的图像拾取装置，其中所述控制单元确定是否在每个图像信号单位时段内稳定地执行了用于消除曝光不足部分的曝光校正操作，当确定未稳定地执行所述曝光校正操作时，执行用于消除曝光不足部分的曝光校正控制，并且当确定已经稳定地执行了所述曝光校正操作时，执行所述用于消除过度曝光部分的曝光校正控制。

9.如权利要求7的图像拾取装置，其中所述控制单元计数执行用于消除曝光不足部分的曝光校正控制的次数，并且当所述计数的次数超过预定数目时，执行所述用于消除过度曝光部分的曝光校正控制。

10.如权利要求2的图像拾取装置，其中所述控制单元通过使用当前目标辉度累积值和固定值执行计算，设置新的目标辉度累积值。

11.如权利要求2的图像拾取装置，其中所述控制单元计算与目标辉度累积值的会聚目标值的差值，并且通过使用所述当前目标辉度累积值和该差值执行计算，设置新的目标辉度累积值。

12.如权利要求2的图像拾取装置，

其中所述检测单元生成通过至少将辉度等级分类为黑等级、中间等级或白等级来表示辉度分布的信息，作为所述辉度直方图，并且

所述控制单元使用关于所述中间等级的辉度分布信息设置所述目标辉度累积值。

13.如权利要求5的图像拾取装置，其中所述控制单元通过使用当前短曝光时段和固定值执行计算，设置新的短曝光时段。

14.如权利要求5的图像拾取装置，其中所述控制单元计算与所述短曝光时段的会聚目标值的差值，并且通过使用所述当前短曝光时段和该差值执行计算，设置新的短曝光时段。

15.如权利要求5的图像拾取装置，

其中所述检测单元生成通过至少将辉度等级分类为黑等级、中间等级或白等级来表示辉度分布的信息，作为所述辉度直方图，并且

其中所述控制单元使用关于所述中间等级的辉度分布信息设置所述短曝光时段。

16.一种图像拾取方法，包括步骤：

根据传输自对象的入射光，通过相对长时段的曝光产生长曝光图像信号，并且通过相对短时段的曝光产生短曝光图像信号，以便输出所述长曝光图像信号和所述短曝光图像信号作为图像拾取信号；

通过组合所述长曝光图像信号和所述短曝光图像信号产生组合图像信号，所述组合图像信号具有比所述长曝光图像信号和所述短曝光图像信号中的至少任意一个的动态范围相对宽的动态范围；

获得所述组合图像信号的辉度累积值，并且产生所述组合图像信号的辉度直方图；和

使用所述辉度累积值和所述辉度直方图执行曝光校正控制。

17.一种用于图像拾取装置的曝光校正方法，所述图像拾取装置通过相对长时段的曝光获得长曝光图像信号，并且通过相对短时段的曝光获得短曝光图像信号，通过组合所述长曝光图像信号和所述短曝光图像信号，产生具有比所述长曝光图像信号和所述短曝光图像信号中的至少任意一个的动态范围相对宽的动态范围的组合图像信号，以及输出产生的组合图像信号，该曝光校正方法包括步骤：

获得所述组合图像信号的辉度累积值，并且产生所述组合图像信号的辉度直方图；

根据所述辉度直方图检测所述组合图像信号中曝光不足的出现；

基于出现曝光不足的检测结果，设置目标辉度累积值；

根据所述辉度直方图，检测所述组合图像信号中过度曝光的出现；

基于出现过度曝光的检测结果，设置短曝光时段；以及

使用所述目标辉度累积值和所述短曝光时段，执行曝光校正控制。

18.一种使得图像拾取装置执行曝光校正的程序，所述图像拾取装置配置为通过相对长时段的曝光获得长曝光图像信号，并且通过相对短时段的曝光获得短曝光图像信号，通过组合所述长曝光图像信号和所述短曝光图像信号，产生具有比所述长曝光图像信号和所述短曝光图像信号中的至少任意一个的动态范围相对宽的动态范围的组合图像信号，以及输出产生的组合图像信号，该曝光校正包括步骤：

获得所述组合图像信号的辉度累积值，并且产生所述组合图像信号的辉度直方图；

根据所述辉度直方图，检测所述组合图像信号中曝光不足的出现；

基于出现曝光不足的检测结果，设置目标辉度累积值；

根据所述辉度直方图，检测所述组合图像信号中过度曝光的出现；

基于出现过度曝光的检测结果，设置短曝光时段；以及

使用所述目标辉度累积值和所述短曝光时段，执行曝光校正控制。

Images