CN115484418A - 信息处理装置、信息处理方法、图像传感器和存储介质 - Google Patents

Abstract

本发明提供信息处理装置、信息处理方法、图像传感器和存储介质。在预定曝光条件下从OB像素区域中读出像素值，并对该像素值进行预定处理以导出暗电流分量值。通过考虑OB像素区域与分割像素区域的曝光条件之间的差异，根据OB暗电流分量值估计分割像素区域的暗电流分量值。具体地，基于两个像素区域的曝光条件中的曝光时间与增益之比，导出用于根据OB暗电流分量值来计算暗电流分量值的转换率。该转换率被应用于OB像素区域的像素值，或者被应用于根据它们计算的OB暗电流分量值，从而计算针对分割像素区域的曝光条件所估计的暗电流分量值。

Description

信息处理装置、信息处理方法、图像传感器和存储介质

技术领域

本公开涉及用于控制摄像期间曝光量的技术。

背景技术

图像传感器在即使没有接收到光的状态下也被通电，这种状态下流过图像传感器的电流被称为暗电流(“dark current”)。如果在没接收到光的状态下从图像传感器读出像素值，则该像素值表示一定程度的值。源自暗电流的该值也包含在从正常像素读取操作中读出的像素值的一部分中。因此，读取的像素值中源自暗电流的分量也称为暗电流分量。暗电流分量通常会提高整个图像的像素值。然后，在该分量没有被去除的情况下，整个图像会显得更亮(lighter)。此外，已知该暗电流分量的值随曝光条件和传感器温度而变化。因此，优选的是，在摄像时自适应地检测该暗电流分量，并基于检测结果去除该暗电流分量。

为了检测该暗电流分量，已知一种方法，该方法在图像传感器的外围部分提供作为遮光像素区域的光学黑(OB)像素区域，在摄像时，从OB像素区域中的像素以及摄像区域(有效像素区域)中的像素读出像素值，并根据OB像素区域的像素值来估计暗电流分量的大小和分布。

近年来，高动态范围(在下文中称为HDR)摄像作为用于扩宽图像传感器的摄像动态范围的摄像方法而广为人知。虽然进行HDR摄像的方法有若干种，但是已知的一种方法是使用图像传感器，该图像传感器将其摄像区域分割成多个子区域，并且可以使用为各子区域单独设置的曝光条件(曝光时间和增益)来进行摄像(参见日本特开第2010-136205号公报)。在下文中，这种摄像方法将被称为“特定区域曝光摄像”，并且为了方便，能够进行特定区域曝光摄像的图像传感器将被称为“特定区域曝光传感器”。

然而，特定区域曝光传感器的问题在于，如在常规实践中一样，基于在单一曝光条件下读出的像素值而估计的暗电流分量值与在不同曝光条件下估计的区域的暗电流分量值不同。这导致无法精确地估计各区域的暗电流分量值。

发明内容

本公开的技术提供了信息处理装置，用于估计要从图像传感器输出的像素值中包含的暗电流分量值，其中，图像传感器的摄像表面包括可以单独设置曝光条件的多个有效像素区域和遮光区域，并且所述信息处理装置包括估计单元，该估计单元被构造为基于从遮光区域的曝光条件和多个有效像素区域中的各有效像素区域的曝光条件导出的转换率，来估计各有效像素区域的暗电流分量值。

根据下面参照附图对示例性实施例的描述，本发明的另外的特征将变得显而易见。

附图说明

图1是示出根据本公开技术的用于实现信息处理装置的示例硬件构造的图，该信息处理装置确定多个像素区域的曝光条件；

图2是示出普通图像传感器中的OB像素区域和有效像素区域的示例的图；

图3是示出能够逐个区域地改变曝光条件的图像传感器的示例的图；

图4是示出基于模型的图像传感器中的暗电流分量的温度特性的图；

图5是示出根据第一实施例的曝光条件确定处理的流程的流程图；

图6是示出采用本公开的图像处理方法的图像传感器的示例构造的图；以及

图7是示出根据第三实施例的曝光条件确定处理的流程的流程图。

具体实施方式

[第一实施例]

图1是示出根据本公开技术的用于实现信息处理装置的示例硬件构造的图，该信息处理装置确定多个像素区域的曝光条件。

在图1所示的示例构造中，连接到进行摄像的数据输入单元101的信息处理装置确定数据输入单元101中包括的多个像素区域中的各像素区域的曝光条件。在图1中，信息处理装置是指包括数据存储单元102、显示单元103、输入单元104、CPU 105、RAM 106、ROM107、通信单元108和图像处理单元121的部分。

数据输入单元101包括传统图像传感器等，其输出通过在具有多个光电转换元件的光电转换传感器单元的摄像表面处拍摄图像而获得的图像数据。数据输入单元101在摄像表面处具有多个像素区域，并且能够使用针对多个像素区域中的各像素区域单独设置的独立曝光条件(曝光时间(存储时间)或快门速度和增益)进行摄像。简单来说，数据输入单元101只需要被构造为能够接收指定各像素区域的曝光条件的数据，并单独设置各像素区域的曝光条件即可。在本文中，对于各像素中包括的光电转换元件和存储电容器，曝光时间是信号电荷从光电转换元件存储到存储电容器中的存储时间。此外，对于各像素中包括的光电转换元件、存储电容器和放大单元，增益是表示放大单元的放大程度的模拟增益，该放大单元放大并输出来自光电转换元件的存储在存储电容器中的信号电荷。

例如，指定该曝光条件的数据可以通过在具有稍后描述的CPU 105的信息处理装置上运行的软件来生成。或者，该构造可以使得指定曝光条件的数据预先存储在RAM 106等特定存储区域中，并且数据输入单元101参考该数据。

数据存储单元102是存储图像数据、参数等的存储设备，并且通常是HDD、SSD、软盘等。或者，数据存储单元102可以是CD-ROM、CD-R、DVD、蓝光(注册商标)、存储卡、CompactFlash(CF)卡、SmartMedia卡、SD卡、记忆棒卡、xD-Picture卡、USB存储器等。除了图像数据之外，数据存储单元102还能够存储在CPU 105上运行的程序和其他数据。或者，可以将稍后描述的RAM 106的一部分用作数据存储单元102。又或者，可以通过利用经由稍后描述的通信单元108连接的外部装置中的存储设备来虚拟地构建数据存储单元102。

显示单元103例如是这样的设备，该设备基于从数据输入单元101输出的图像数据和GUI的图像等来显示图像处理前后的图像。通常，采用使用CRT、液晶或有机LED等的显示器。显示单元103可以是经由输入输出接口通过电缆等连接的外部装置的显示设备。

输入单元104是输入用户指令和数据的设备，并且包括键盘和指向设备。指向设备通常是鼠标、轨迹球、触控板、平板电脑等。或者，例如，在将本实施例应用于诸如传统数字照相机装置或打印机的装置的情况下，输入单元104可以是按钮、拨盘等。此外，可以通过软件(软件键盘)来构造键盘，以使得可以通过操作按钮、拨盘或上述指向设备来输入字符。或者，显示单元103和输入单元104可以是单个设备，例如公知的触摸屏设备。在这种情况下，经由触摸屏的输入作为来自输入单元104的输入被处理。此外，输入单元104可以被构造为经由传统的手势识别处理来接收用户指令。在这种情况下，输入单元104包括输入具有可见光或红外线的图像的输入设备和根据该图像识别用户的动作并将其转换为命令的设备。对于前种设备，数据输入单元101也可以充当输入单元104。可以通过将专用硬件添加到图1的构造中或者通过使用在稍后描述的CPU 105等上运行的软件来构造将用户的动作转换为命令的后种设备。动作识别方法可以是公知的方法。

类似地，输入单元104可以被构造为经由公知的语音识别处理来获得用户指令。在这种情况下，输入单元104包括传统的麦克风设备和根据语音数据识别用户的语音并将其转换为命令的设备。识别用户的语音并将其转换为命令的设备可以通过将专用硬件添加到图1的构造中或者通过使用在CPU 105等上运行的软件来构造。语音识别方法可以是传统方法。

对于手势识别和语音识别，该构造可以使得在图1装置的外部执行识别处理。在这种情况下，图1中的装置被构造为经由通信单元108连接到网络上的另一装置或服务器，并将图像数据或语音数据发送到该外部装置或服务器。外部装置或服务器可以被构造为通过遵循通信过程来接收图像数据或语音数据，并将表示识别结果的数据返回到图1所示的装置。

CPU 105参与上述组件的所有处理。RAM 106和ROM 107向CPU105提供要由CPU 105进行的处理所必需的程序、数据、工作区等。此外，在稍后描述的处理所需的控制程序被存储在数据存储单元102或ROM 107中的情况下，它们被读入到RAM 106中，然后由CPU 105执行。在经由通信单元108从外部装置接收程序的情况下，由通信单元108接收的程序被存储在数据存储单元102或RAM 106中，然后由CPU 105执行。

请注意，图1示出了仅具有一个CPU(CPU 105)的构造，但是具有多个这些CPU的构造也是可以的。

通信单元108是用于与(一个或多个)装置进行通信的接口(I/F)。通信单元108要使用的通信方法可以是使用传统有线网络、RS-232C、USB、IEEE1284或IEEE1394或电话线等的有线通信方法。或者，该方法可以是诸如红外通信方法(IrDA)、IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11n、IEEE802.11ac或IEEE802.11ax的无线通信方法。又或者，诸如蓝牙、超宽带(UWB)、无线电话线或近场通信(NFC)的另一种无线通信方法。

图像处理单元121包括传统的数字信号处理器(DSP)、逻辑电路等。或者，图像处理单元121可以是公知的图形处理单元(GPU)等。图像处理单元121对从数据输入单元101输入的图像数据或保存在RAM 106、数据存储单元102等中的图像数据进行算术处理。由图像处理单元121处理的结果被输出到RAM 106、数据存储单元102、显示单元103等，或者经由通信单元108输出到外部装置。

该构造可以使得，在要通过图1中的构造进行的算术处理的量较小的情况下(不需要高计算速度或要计算的数据的数量较小)，CPU 105充当图像处理单元121。

虽然在图1中未示出，但是可以根据需要添加传统的寄存器电路等。寄存器适用于保存CPU 105和图像处理单元121的操作参数以及其他类似用途。寄存器可以被构造为使得它们的值不仅可以由CPU 105和图像处理单元121设置，而且可以由外部装置经由通信单元108设置。

请注意，图1所示的硬件构造仅仅是示例。并非所有组件都是必不可少的，并且不具有某些组件的修改也是可以的。例如，在装置被构建为传统的照相机装置的情况下，其通常被构造为使得可以在显示单元103上显示被摄体的预览并且可以在显示单元103上检查所拍摄的图像。这里，该装置可以被构造为在经由通信单元108连接的装置(例如，传统的智能电话)上显示这样的图像。在这种情况下，可以省略显示单元103。类似地，该构造可以使得在经由通信单元108连接的装置上进行输入，经由通信单元108接收与该输入相对应的命令，以及根据该接收到的命令进行操作。该命令可以由CPU 105或图像处理单元121解释。在这种情况下，也可以省略输入单元104。在不需要基于软件的处理和控制的情况下(例如，所有处理被形成为逻辑电路并在图像处理单元121内实现的情况等)，也可以省略CPU 105、ROM 107等。

图2是描述在本实施例中使用的图像传感器的示例的图。数据输入单元101在其摄像表面201处包括作为遮光区域的光学黑(OB)像素区域211和212，以及不被遮光的有效像素区域221。OB像素区域211也称为垂直OB区域，而OB像素区域212也称为水平OB像素区域。代替图2所示的构造，摄像表面201可以被进一步分割以设置各种像素区域。尽管如此，这些区域不是本公开的主要重点，并且下面将假定如上所述的简单构造。

现在，要从数据输入单元101获得的每个像素的像素值都包含暗电流分量。因此，对于有效像素区域221，期望获得与摄像表面201上的入射光相对应的像素值，但实际上，该像素值还包含暗电流分量。在获得的每个像素值都包含暗电流分量的情况下，应该为黑色的各像素的信号值不可能是理想值(例如，信号值为0或非常小的值)，并且整体的像素值被提升。因此，图像看起来更亮。

为了解决这个问题，从OB像素区域211和212读出的像素值被用于估计随后从各像素的信号值中去除的上述暗电流分量。请注意，从摄像表面201读出的每个像素的像素值都包含随机噪声分量。为此，在本实施例中，为了估计暗电流分量，对从OB像素区域211和212读出的像素值进行统计处理，以去除其中的随机噪声分量。为了使该统计处理达到所需精度，需要与所需精度相对应的多个像素值。也就是说，要求各OB像素区域具有与期望精度相对应的大小。在许多情况下，OB像素区域211和212的大小需要是例如几十到几百个像素的宽度，尽管其根据图像传感器的特性而变化。

请注意，所估计的暗电流分量值优选地是针对有效像素区域221内的各像素位置获得的二维信息，但在简化要应用的所估计的暗电流分量值的情况下，可以是针对各曝光条件的单值一维信息。

图3是示出能够进行特定区域曝光的传感器的摄像表面的图。与图2中所示的一样，摄像表面201具有OB像素区域211和212以及有效像素区域221。在图3中，有效像素区域221被分割为45个分割像素区域301至309、311至319、321至329、331至339以及341至349，并且可以针对各分割像素区域单独设置曝光条件(曝光时间和增益)。在下文中，45个分割像素区域301至309、311至319、321至329、331至339和341至349也将被称为分割像素区域301至349。由于能够进行特定区域曝光的传感器可以针对45个分割像素区域301到349中的各分割像素区域独立地设置曝光条件，因此在单次摄像操作中，可以在最多45个曝光条件下曝光传感器。

现在，将描述由能够进行图3所示的特定区域曝光的传感器进行的曝光量控制的示例。该构造使得例如图像处理单元121处理从数据输入单元101获得的图像数据。在图像处理单元121处，对于图3所示的分割像素区域301至349中的各分割像素区域，收集分割像素区域包括的多个像素的像素值，并计算表示该区域亮度的信息(在下文中称为“区域亮度信息”)。该区域亮度信息由图像处理单元121生成并且针对各分割像素区域输出到RAM106。

区域亮度信息存在多种可能的选项。其中，例如，可以使用区域中的像素值的平均值或直方图。在数据输入单元101是颜色传感器的情况下，可以将来自多个信道的信号转换为一个信号(例如，辉度信息等)并进行收集，并且可以用其来创建区域亮度信息。由于被转换为一个信号，因此可以使用加权平均等，其中对各信道进行加权。或者，该构造可以使得从各信道收集的值被用于区域亮度信息，在这种情况下，可以使用来自各信道的区域中的多个像素的像素值的平均值或直方图。

接下来，基于区域亮度信息来确定分割像素区域301至349中各分割像素区域的曝光条件。例如，可以使用传统的程序图(program diagram)来确定曝光条件。基于分割像素区域的曝光时间(快门速度)和分割像素区域所包含的各像素的增益(ISO感光度)，来确定分割像素区域301至349中各分割像素区域的曝光条件。在使用程序图的情况下，根据区域亮度信息确定曝光值(EV)，并且基于如此确定的各区域的EV以及与使用数据输入单元101进行的摄像相关联的曝光条件信息，按照程序图来确定曝光条件。对各分割像素区域进行该处理以确定各分割像素区域的曝光条件。

例如，可以使用在CPU 105上运行的程序来实现上述曝光条件确定处理。或者，可以通过形成与该程序等效的逻辑电路并使图像处理单元121使用它们来实现该处理。

接下来，将描述针对能够进行如图3所示的特定区域曝光的传感器的暗电流分量去除处理。

如前所述，估计暗电流分量需要具有与所期望的估计精度相对应的大小的OB像素区域。这里，暗电流分量根据曝光条件而变化。因此，在如图3所示的能够进行特定区域曝光的传感器的情况下，需要准备大小为OB像素区域211和212的45倍的OB像素区域，或者在改变OB像素区域211和212的曝光条件的同时进行45次摄像操作。

在前一种情况下，OB像素区域211和212大到使得摄像表面201中的有效像素区域221的比例相对较小，这对于传感器来说不是优选的。在后一种情况下，OB像素区域211和212可以具有常规尺寸(如图2示例性所示)，但必须经历45次曝光操作，这使得长时间曝光变得困难。此外，需要保存通过45次曝光操作获得的多个OB像素数据或由此计算出的暗电流分量估计值，这需要诸如存储器之类的额外组件。因此，后一种情况也不是优选的。

由于上述原因，在本公开中，在预定曝光条件下从OB像素区域211和212中读出像素值，并对读取的像素值进行预定处理以导出暗电流分量值。其后，通过考虑OB像素区域211和212的曝光条件与分割像素区域的曝光条件之间的差异，即曝光时间和增益的差异，来根据OB暗电流分量值估计分割像素区域301至349中的各分割像素区域的暗电流分量值。

可以针对少量不同的曝光条件导出多个OB暗电流分量值。此外，OB像素区域211和212的曝光条件优选地具有比分割像素区域301至349的曝光条件更长的曝光时间和更高的增益。

暗电流分量被认为与曝光条件中的曝光时间和增益成比例。因此，基于OB像素区域211和212的曝光条件与分割像素区域301至349中的各分割像素区域的曝光条件之间的曝光时间比率和增益比率，导出用于根据OB暗电流分量值计算分割像素区域301至349中的各分割像素区域的暗电流分量值的转换率。其后，该转换率被应用于OB像素区域211和212的像素值，或者被应用于根据OB像素区域211和212的像素值计算的OB暗电流分量值，从而计算针对分割像素区域301至349中的各分割像素区域的曝光条件所估计的暗电流分量值。

请注意，从OB像素区域211和212读出的像素值还包含随机噪声分量等。因此，将基于曝光条件的差异导出的转换率被优选地应用于OB暗电流分量值，该OB暗电流分量值通过对OB像素区域211和212的像素值进行统计处理(例如，计算平均值、加权平均或中值的处理)而获得。

由于上述原因，通过下式导出第i块区域的转换率Rconv(i)。

式(1)中使用的参数定义如下。

Rtime(i)：第i块区域的曝光时间与OB像素区域的曝光时间的比率

Rgain(i)：第i块区域的增益与OB像素区域的增益的比率

ExpTob：OB像素区域的曝光时间

ExpGob：用于从OB像素区域读出像素值的增益

ExpTblock(i)：第i块区域的曝光时间

ExpGblock(i)：用于从第i块区域读出像素值的增益

通过将OB暗电流分量值乘以Rconv(i)，来计算针对分割像素区域301至349中的各分割像素区域的曝光条件的暗电流分量的估计值，该OB暗电流分量值由对OB像素区域211和212的像素值进行统计处理而计算出。这样，由于以这种方式预计估计值中的误差较小，因此Rconv(i)的值是1或小于1的构造是优选的。因此，优选地，将应用于OB像素区域211和212的曝光条件设置为等于或大于分割像素区域301至349的曝光条件当中的最大曝光条件。最大曝光条件是指分割像素区域301至349的曝光条件当中这样的曝光条件，该曝光条件具有最长曝光时间和最高增益，或者具有由摄影曝光系统的常规加法系统(APEX)提供的方程转换的最大总值。

例如，可以使用在CPU 105上运行的程序来实现估计曝光条件不同的各像素区域中的暗电流分量的该处理。或者，可以通过形成与该程序等效的逻辑电路并使图像处理单元121使用它们来实现该处理。

第i分割像素区域的暗电流分量值可以通过减去所估计的暗电流分量值来去除，该所估计的暗电流分量值是通过将根据OB像素区域211和212的像素值计算出的OB暗电流分量值乘以Rconv(i)计算出的，Rconv(i)是根据该分割像素区域的曝光条件导出的。例如，可以通过图1的构造中的图像处理单元121等来实现去除暗电流分量值的该处理。

接下来，将考虑暗电流分量的特性。如前所述，暗电流分量与曝光时间和读出增益成比例，但也与温度有关。然而，暗电流分量与温度不成比例，而是随温度升高呈指数增加。已经发现，当温度升高8摄氏度时，暗电流分量会增加一倍，这个模型可以用下式表示。

式(2)中使用的参数定义如下。

d(k)：温度k下的暗电流分量值

k₀：参考温度

d₀：温度k₀下的暗电流分量值

图4是在上述模型中的参考温度k₀为60℃并且暗电流分量值d₀在该状态下处于水平1(k₀＝60，d₀＝1)的情况下，绘制在大约-20℃至100℃的温度下的暗电流分量值的曲线图。如图4所示，在参考温度k₀以上的范围内，暗电流分量值急剧增加。

顺便提及，上述模型包含误差。例如，存在一种情况以及其他类似情况，在该情况中，在与式(1)中描述的曝光条件相对应的暗电流分量转换中，各增益的实测值与设计值之间存在误差。

假设一种情况，其中传感器的温度为等于或低于预定温度且足够低，并且在最大曝光条件下曝光的OB像素区域211和212的像素值处于足够低的水平。在这种情况下，即使暗电流分量的估计值包含误差，该值例如也低于水平1并且小到足以忽略。然而，如图4所示，在传感器温度较高的情况下，该误差可能太大而无法忽略。如果误差较大并且使用针对图3所示的能够进行特定区域曝光的传感器中的各区域设置的不同曝光条件拍摄图像，则由于上述暗电流分量的估计值的误差而在区域之间的边界(块之间的台阶)处会出现图像质量问题。

为了解决这个问题，在本公开中，可以应用的曝光条件的上限值根据传感器的温度而改变，从而在高温状态期间对曝光量控制设置约束。

图5是示出根据本实施例的确定针对各分割像素区域的曝光条件的处理的示例的流程图。将在CPU 105处理图5所示的处理流程的假设下，给出以下描述。尽管如此，如前所述，可以容易地实现对诸如执行处理流程的图像处理单元121的修改。

在S501中，CPU 105读取有关图像传感器的温度信息。例如，温度信息仅需要保存在诸如RAM 106或图1中未示出的寄存器等的存储设备中。在这种情况下，该构造使得CPU105访问RAM 106或寄存器并读取温度信息。这里使用的温度信息可以是任何数值，只要其与温度具有高相关性即可。例如，温度可以是数值(整数或浮点数形式)数据或传统温度传感器等的读数。

RAM 106或寄存器中保存的温度信息可以是诸如测量摄像表面201的温度的温度传感器的读数等的测量结果，其可以可选地添加到图1的构造中，或者从经由图1所示的通信单元108连接的外部装置获得。或者，可以根据从OB像素区域211和212读出的像素值的统计来生成温度信息。在这种情况下，为了生成温度信息，可以构造为使得从数据输入单元101获得图像数据并由图像处理单元121处理该图像数据。图像处理单元121可以计算OB像素区域211和212的全部或部分像素值的统计数据，并将该统计数据保存在RAM 106或寄存器中。

统计可以简单地是OB像素区域211和212的像素值的平均、加权平均等。作为替代，可以采用另一种统计，只要其是OB像素区域211和212中像素的代表值即可，例如，模式等。

此外，在数据输入单元101是彩色图像传感器并且包括多个信道的像素的情况下，该构造可以使得根据整个OB像素区域211和212计算统计量，而不将信道纳入考虑。相反，OB像素区域211和212的像素值的统计可以基于逐个信道来计算。

此外，像素值分类的标准不必限于信道。例如，在数据输入单元101中存在多个A/D电路并且这些A/D电路的特性不同的情况下，可以针对各信道并且另外针对各A/D电路来计算统计。此外，例如，在存在多种类型的像素布局的情况下，例如在像素之间的浮置扩散(FD)共享的情况下，可以在考虑像素布局对称性的情况下计算统计。

请注意，OB像素区域211和212的像素值可能包含固定模式噪声。因此，优选地包括作为上述统计计算的预处理的去除固定模式噪声的处理。要使用的去除固定模式噪声的方法可以是传统方法。

现在描述返回到图5中的流程图。

在S502中，CPU 105基于在S501中读取的温度信息来确定摄像表面201的温度是否高于预定温度。例如，可以通过预先准备阈值并将该阈值与温度信息进行比较来做出该确定。如果确定摄像表面201的温度更高，则处理前进到S504。如果确定摄像表面201的温度不是更高，则处理前进到S503。

在S503和S504中，选择用于确定要在后续处理中使用的曝光条件的程序图。

在本实施例中，在S503或S504之后的S505至S507中，如前所述，通过使用程序图，参考前一帧(多帧)中对应区域的曝光条件和区域亮度信息，来确定当前帧中各分割像素区域的曝光条件。在本实施例中，至少准备两个程序图。一个是普通程序图，用于在可以与图像传感器一起使用的所有曝光条件当中确定最适合的曝光条件(也称为“无约束程序图”)。另一个是用于在具有这样的上限值的曝光条件当中确定最适合的曝光条件的程序图(也称为“约束程序图”)，该上限值被设置为低于可以与图像传感器一起使用的曝光条件的上限值。通过将曝光条件的上限值设置得更低，使得在无约束程序图中可选曝光条件当中具有最高增益(例如，8或16)的曝光条件变得不可选择。上述两个程序图被存储在RAM 106或ROM107中，CPU 105在通过软件确定曝光条件的情况下参考一个程序图，而图像处理单元121在通过逻辑电路确定曝光条件的情况下参考一个程序图。在本实施例中，该构造使得CPU 105确定曝光条件。

CPU 105在S503中选择无约束程序图，而在S504中选择约束程序图。例如，可以通过提供指示要启用哪个程序图的开关变量、图1未示出的寄存器等来选择程序图，并根据S502中的确定结果切换其值。该构造使得用通过参考开关变量选择的适合的程序图来进行稍后描述的S506中的处理。

在S503或S504之后的S505至S507中，CPU 105确定分割像素区域301至349的其中之一的曝光条件。可以如已经描述的那样进行曝光条件确定处理。

在S505中，CPU 105从RAM 106等中读取区域亮度信息。

在S506中，CPU 105基于读取的关于该区域的区域亮度信息，通过遵循在S503或S504中选择的程序图来确定关注区域的曝光条件。

在S507中，CPU 105输出如此确定的关注区域的曝光条件。在本实施例中，该构造使得各区域的曝光条件被顺序地输出到数据输入单元101。也可以采用不同的构造，其中，在准备好所有区域的曝光条件的情况下，将各自表示一个分割像素区域的曝光条件的数据临时存储在RAM106等中，并输出到数据输入单元101。

在S508中，CPU 105确定是否已经针对当前帧中的所有区域进行了S505至S507中的处理。可以通过计算分割区域的数量，即执行S505至S507的次数，来进行该确定。因此，提供了计数器变量等。计数器可以被构造为在S505之前的处理中复位为0，在S507中输出曝光条件后加1，并在S508中比较计数的数量和分割像素区域的数量。

如果在S508中确定已经对所有区域进行了处理，则终止图5中的流程图所示的处理。如果确定尚未对当前帧中的所有区域进行处理，则处理返回S505。

图5中示例性地示出的流程图是基于这样的构造，其中每次拍摄图像时进行S501至S508中的处理。然而，例如，该构造可以使得对于预定数量的帧进行一次S501到S504中的图切换处理。这是基于这样的思路，即，被摄体在若干帧内仅发生较小程度的变化，并且前一帧(多个帧)中相对应的区域(多个区域)的曝光条件和区域亮度信息也仅发生较小程度的变化。

在本实施例中，已经示出了示例，其中，如图3所示，摄像表面201被分割为OB像素区域211和212以及具有相同矩形形状的分割像素区域301至349。然而，在本公开的技术中，分割像素区域的形状不限于该形状。例如，可以采用使用具有不同尺寸和/或形状的分割像素区域的构造，例如在传感器中心部分处的小块和在外围部分处的大块。

此外，在本实施例中，作为优选示例，采用这样的构造，其中基于摄像表面201的温度在两个程序图之间切换程序图。可以采用不同的构造，其中首先根据一个程序图临时确定曝光条件，然后，如果摄像表面201的温度较高并且为临时确定的曝光条件选择的增益高于预定增益，则将曝光条件更改为其增益小于或等于预定增益的那个曝光条件。

此外，在本实施例中，描述了基于针对温度信息的一个阈值在两个程序图之间切换程序图的示例，但是也可以设置多个阈值并且程序图可以在三个或更多的程序图当中切换。

如上所述，根据本公开，通过遵循图5中示例性示出的处理流程，估计图像传感器的温度，并且如果温度高于预定温度，则在可设置的曝光条件中的增益的上限值被限制为这样的值，该值低于在温度为低于或等于预定温度的状态下的上限值。以这种方式，使用能够进行特定区域曝光控制的图像传感器的系统可以抑制高温状态下的图像劣化。

此外，可以使用将增益限制在任何预定范围内的约束程序图。要使用的增益的数值越大，引入的误差就越大。因此，限制要使用的增益可以抑制高温状态下的图像劣化。

更优选的是，将要为分割像素区域301至349中的各分割像素区域设置的曝光条件中的增益限制为接近用于OB像素区域211和212的增益的值。这是因为应用于OB像素区域211和212的曝光条件的转换率越大，所估计的暗电流分量值中的误差越大。特别地，优选地，将分割像素区域的曝光条件中的增益设置为等于应用于OB像素区域211和212的增益，因为以这种方式，由于实际测量值与增益设计值之间的误差，在所估计的暗电流分量值中将没有误差。

另外，在本实施例中，已经描述了这样的构造，其中在高温状态下降低可设置曝光条件中的增益上限值。然而，可设置曝光条件中的曝光时间的上限值在高温状态下可能会降低。具体地，在温度高于预定温度的情况下，可设置曝光条件中的曝光时间的上限值可以被限制为低于在温度低于或等于预定温度的状态下的上限值的值。也是使用这样的构造，使用能够进行特定区域曝光控制的图像传感器的系统可以抑制高温状态下的图像劣化。

[第二实施例]

在本实施例中，将仅描述与第一实施例的不同之处。

图6是示出在图像传感器内采用本公开的曝光条件确定方法或电路的示例的图。请注意，图6中与图1中相同的组件由与图1中相同的附图标记表示，并且省略其描述。

图6中的附图标记600表示作为装置的图像传感器的整体。图6示出了图像传感器600中包括与第一实施例和图1中描述的组件基本相同的组件的示例。然而，图6中的数据输入单元601是这样的单元，其包括传统光电二极管以及进行从这些光电二极管读出数据并对该数据进行A/D转换的处理的组件，并且与数据输入单元101一样，具有如图3所示的摄像表面201。与第一实施例中的数据输入单元101一样，数据输入单元601能够从摄像表面中的各像素中读取像素值并将该像素值输出到RAM 106、图像处理单元121或通信单元108。数据输入单元601还被构造为能够在不同曝光条件下对各分割像素区域进行摄像，接收指定各分割像素区域和OB像素区域的曝光条件的数据，并设置各像素区域的曝光条件。

在许多情况下，传感器本身不太需要设置有用户I/F。因此，在图6所示的示例构造中省略了图1所示的显示单元103和输入单元104。类似地，在许多情况下，传感器本身不太需要具有数据存储单元102。因此，在图6所示的构造中也省略了图1所示的数据存储单元102。在这种情况下，由数据输入单元601读出的像素值可以直接保存到RAM 106中，或者发送到图像处理单元121并由其处理，然后保存到RAM 106中。此外，由数据输入单元601读出的像素值可以经由通信单元108传送到外部。

尽管在图6中未示出，但是与第一实施例一样，图像传感器600可以根据需要设置有数据存储单元102、显示单元103和输入单元104等。

此外，通信单元108可以是如第一实施例中示例性描述的I/F，但也可以是诸如高速串行接口、PCI Express、MIPI或SLVS的另一传统I/F。

从本实施例可以明显看出，本公开的技术也适用于传感器设备。根据本实施例的构造优选地使用传统的堆叠传感器等来实现。

[第三实施例]

在本实施例中，将仅描述与第一实施例和第二实施例的不同之处。

如第一实施例所述，暗电流分量值通常根据摄像表面上的位置而变化。更具体地，越接近摄像表面的上边缘、下边缘、左边缘或右边缘，暗电流分量趋向于越大。

为此，在第一实施例和图5的描述中，根据S502中关于温度是否更高的确定来切换用于确定曝光条件的程序图。在本实施例中，除此之外，根据像素区域的位置切换程序图。

图7是示出根据第三实施例的确定针对各分割像素区域的曝光条件的处理的示例的流程图。图7中与图5中相同的处理由与图5中相同的附图标记表示，并且省略其描述。

在本实施例中，首先在S701中，针对各分割像素区域确定其是否为预定的特定区域。然后在S502中，确定温度是否高于预定温度。在本实施例中，“特定区域”是指图3中的有效像素区域221的周边部分处的区域，即分割像素区域301至309、311、319、321、329、331、339和341至349中的任一者。根据分割像素区域的处理顺序等可以容易地识别这些分割像素区域。

在本实施例中，为了确定曝光条件，如果可以确定关注的分割像素区域是特定区域(有效像素区域的外围部分)并且温度高于预定温度，则使用约束程序图。否则，使用无约束程序图。

请注意，出于说明性目的，有效像素区域221的边缘部分被用作特定区域。本实施例的原理是根据分割像素区域的位置和温度来切换用于确定曝光条件的程序图。

例如，在传感器是包括像素基板和电路基板的所谓层叠图像传感器的情况下，由于电路基板侧的温度分布，摄像表面上的温度可能变得不均匀。如前所述，温度越高，暗电流越大。因此，该构造可以使得接近电路基板侧的高温区域的分割像素区域被确定为特定区域。

在暗电流分量依赖于空间位置的情况下，根据本实施例的方法是优选方法。在本实施例中，对于暗电流分量相对较大的位置处的各分割像素区域，曝光条件受到限制，从而保持较低的暗电流分量值。对于暗电流分量相对较小的位置处的各分割像素区域，曝光条件具有一定的自由度。因此，可以同时实现抑制图像劣化并确保曝光条件具有一定的自由度。

[第四实施例]

在本实施例中，将仅描述与第一实施例至第三实施例的不同之处。

在第三实施例中，已经示出了除了温度之外还根据分割像素区域的位置来确定程序图的情况。将给出通过使用另一条件进行确定的示例的描述。

例如，被摄体照度越低，图像的S/N(信噪比)越低，因此暗电流分量的估计误差越大，图像质量劣化也越大。在本实施例中，着眼于这一事实，基于被摄体照度切换程序图。具体地，该构造使得，在被摄体照度为特定阈值或更小的情况下，将曝光条件的上限值设置得更低的约束程序图被用作用于确定曝光条件的程序图。要使用的被摄体照度可以是根据从有效像素区域221的像素读出的像素值或外部照度传感器的读数所计算的值。

此外，图像处理单元121可以对读取的像素值应用数字增益或伽马校正。在这种情况下，数字增益的值或伽马校正的校正量越大，由于暗电流的估计误差导致的图像质量劣化越大。为了解决这个问题，该构造可以使得基于要使用的数字增益或伽马曲线来切换用于确定曝光条件的程序图。具体地，该构造可以使得在数字增益为预定阈值或更大的情况下或者在伽马校正的校正量为预定阈值或更大的情况下，曝光条件受到限制。

此外，该构造可以使得基于参考曝光时间的长度来切换程序图，该参考曝光时间的长度是根据有效像素区域221中的分割像素区域301至349的曝光时间确定的。如前所述，暗电流分量的值通常取决于摄像表面201上的位置而变化，越接近摄像表面201的上边缘、下边缘、左边缘或右边缘，暗电流分量趋向于越大。此外，曝光时间越长，在摄像表面201的边缘部分的暗电流分量比在摄像表面201的中心部分的暗电流分量越大。因此，曝光时间越长，由于暗电流的估计误差，特别是在摄像表面201的边缘部分，图像质量劣化越大。因此，该构造使得在根据分割像素区域301至349的曝光时间确定的参考曝光时间比特定阈值长的情况下，要使用的增益受到限制。

参考曝光时间可以根据针对有效像素区域221中的各个分割像素区域单独设置的曝光时间来确定。例如，参考曝光时间可以是分割像素区域的曝光时间当中最长的时间，或者是曝光时间的平均值或模式。或者，可以预先为各区域设置权重，并且可以使用各个权重计算曝光时间的加权平均值。

[其它实施例]

也可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多程序)以执行上述实施例中的一个或更多的功能、并且/或者包括用于执行上述实施例中的一个或更多的功能的一个或更多电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本公开的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多的功能、并且/或者控制所述一个或更多电路执行上述实施例中的一个或更多的功能的方法，来实现本发明的实施例。该计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一者或更多。

本公开可以精确地估计图像传感器中的暗电流分量。然后，可以使用该估计来修改图像或图像部分，以改善图像质量。例如，可以从相关像素值中减去所估计的暗电流分量。

虽然针对示例性实施例描述了本发明，但是，应该理解，本发明不限于公开的示例性实施例。下述权利要求的范围被赋予最宽的解释，以便涵盖所有这样的修改以及等同的结构和功能。

Claims (10)

1.一种信息处理装置，所述信息处理装置用于估计要从图像传感器输出的像素值中包含的暗电流分量值，其中

图像传感器的摄像表面包括能够单独设置曝光条件的多个有效像素区域和遮光区域，并且

所述信息处理装置包括估计单元，所述估计单元被构造为基于从所述遮光区域的曝光条件和所述多个有效像素区域中的各有效像素区域的曝光条件导出的转换率，来估计各有效像素区域的暗电流分量值。

2.根据权利要求1所述的信息处理装置，其中，估计单元被构造为通过将基于从遮光区域读出的像素值导出的暗电流分量值乘以转换率，导出所述多个有效像素区域中的各有效像素区域的暗电流分量值。

3.根据权利要求1所述的信息处理装置，其中，曝光条件包括曝光时间和增益。

4.根据权利要求3所述的信息处理装置，其中，对于图像传感器中的各像素包括的光电转换元件和存储电容器，曝光时间是信号电荷从光电转换元件存储到存储电容器中的存储时间。

5.根据权利要求3所述的信息处理装置，其中，对于图像传感器中的各像素包括的光电转换元件、存储电容器和放大单元，增益是表示放大单元的放大程度的模拟增益，所述放大单元放大并输出来自光电转换元件的存储在存储电容器中的信号电荷。

6.根据权利要求3至5中任一项所述的信息处理装置，其中，转换率是曝光时间比率和增益比率的乘积，曝光时间比率是遮光区域的曝光时间与有效像素区域的曝光时间之间的比值，增益比率为遮光区域的增益与有效像素区域的增益的比值。

7.根据权利要求1所述的信息处理装置，所述信息处理装置还包括设置单元，所述设置单元被构造为单独设置所述多个有效像素区域和遮光区域的曝光条件，其中

所述设置单元被构造为设置遮光区域的曝光条件和所述多个有效像素区域中的各有效像素区域的曝光条件，使得转换率为1或小于1。

8.一种信息处理方法，所述信息处理方法估计要从图像传感器输出的像素值中包含的暗电流分量值，其中

图像传感器的摄像表面包括能够单独设置曝光条件的多个有效像素区域和遮光区域，并且

所述信息处理方法包括基于从遮光区域的曝光条件和所述多个有效像素区域中的各有效像素区域的曝光条件导出的转换率，来估计各有效像素区域的暗电流分量值。

9.一种图像传感器，所述图像传感器包括：

光电转换传感器单元，所述光电转换传感器单元具有由多个光电转换元件形成的摄像表面，所述摄像表面包括能够单独设置曝光条件的多个有效像素区域和遮光区域；以及

估计单元，所述估计单元被构造为基于从遮光区域的曝光条件和所述多个有效像素区域中的各有效像素区域的曝光条件导出的转换率，来估计各有效像素区域的暗电流分量值。

10.一种非暂态计算机可读存储介质，其存储使计算机执行信息处理方法的程序，

所述信息处理方法估计要从图像传感器输出的像素值中包含的暗电流分量值，其中

图像传感器的摄像表面包括能够单独设置曝光条件的多个有效像素区域和遮光区域，并且

所述信息处理方法包括基于从遮光区域的曝光条件和所述多个有效像素区域中的各有效像素区域的曝光条件导出的转换率，来估计各有效像素区域的暗电流分量值。

Images