CN107205147A - 检测超过传感器饱和的量 - Google Patents

Abstract

本公开涉及检测超过传感器饱和的量。捕获图像包括：接收图像传感器的曝光时间；测量图像传感器的多个感测器中的每一个感测器的饱和时间；以及使用饱和时间、曝光时间和每一个感测器的存储单元的电子收集容量，计算将会由具有无限存储容量的每一个感测器收集到的电子的数量。关键词包括传感器饱和以及高动态范围。

Description

检测超过传感器饱和的量

技术领域

本公开涉及传感器，并且更具体地，涉及高动态范围传感器。

背景技术

成像系统依赖于图像传感器以生成视觉图像的电子表示。图像传感器的示例包括电荷耦合器件(CCD)图像传感器和有源像素传感器(APS)器件。通常，这些图像传感器包括以行和列的规则图案布置的多个光敏元件(感测器)。由每一个感测器生成的信号表示入射到与该感测器对应的区域上的光的量。

这些图像传感器的动态范围通常由给定感测器可以收集和保持的电荷量限制。因此，如果入射光非常亮并且产生比可以由该感测器保持的更多的电子，那么丢失了由这些过剩电子所代表的光。例如，受诸如电子容量和电子读出噪声之类的特性限制的现代图像传感器可以检测到每一个感测器的大约14档(stop)的动态范围(即，需要最小可记录值的14次翻倍(doubling)来达到饱和)。

因此，能够提供比常规图像传感器所提供的动态范围更宽的动态范围的图像传感器是所期望的。例如，当捕获包括亮度剧烈变化的场景时，如果使曝光确保在暗区中有足够的信号，那么具有较强光的区域将使感测器饱和，并且不能获得用于那些饱和的元件的实际光辐射。因此，需要具有更高动态范围的传感器来捕获这样的场景。

发明内容

本公开提供用于使得图像传感器能够测量大于该传感器的典型性能的光量。

在一种实现中，公开了一种捕获图像的方法。该方法包括：接收图像传感器的曝光时间；测量图像传感器的多个感测器中的每一个感测器的饱和时间；以及使用饱和时间、曝光时间和每一个感测器的存储单元的电子收集容量计算将会由具有无限存储容量的每一个感测器收集到的电子的数量。

在另一实现中，公开了一种传感器系统。该传感器系统包括：感测图像的图像传感器，所述图像传感器包括多个感测器；定时器，其包括多个定时元件，每一个定时元件耦合到所述多个感测器中的对应的感测器，其中每一个定时元件测量所述对应的感测器的饱和时间以预测将会由所述对应的感测器收集到的电子的数量。

在另一实现中，公开了一种图像捕获器件。该图像捕获器件包括：成像台；耦合到成像台的图像传感器，该图像传感器包括多个感测器；定时器，其包括多个定时元件，每一个定时元件耦合到所述多个感测器中的对应的感测器；以及耦合到所述定时器的处理器，所述处理器被配置成从每一个定时元件接收信号以测量所述对应的感测器的饱和时间并且计算由所述对应的感测器收集到的电子的数量。

从通过示例的方式说明本公开的各方面的本描述中，本公开的其它特征和优点应当是显而易见的。

附图说明

本公开的细节，无论其结构还是操作，都可以通过研究附图部分地收集，其中，相同的标号指代相同的部分，并且其中：

图1是图示出根据本公开的一种实现的图像捕获器件的功能框图；

图2是作为耦合到图1中所示的图像传感器的定时器的一种实现的传感器系统的功能图；以及

图3是图示出根据本公开的一种实现的用于捕获图像的过程的流程图。

具体实施方式

为了获得用于图像传感器的高动态范围，如本文所公开的几种实现使得图像传感器能够测量大于该传感器的典型性能的量。在阅读本描述之后，在各种实现和应用中如何实现本公开将变得显而易见。但是，虽然本文将描述本公开的各种实现，但是应当理解的是，这些实现仅通过示例的方式呈现并不是限制。因此，各种实现的这种详细描述不应当被解释为限制本公开的范围或宽度。

图1是图示出根据本公开的一种实现的图像捕获器件100的功能框图。在一种实现中，图像捕获器件100被配置成数字相机。虽然本公开不限于图像传感器或器件，但是关于图像传感器做出实现的描述。

在图1所图示的实现中，图像捕获器件100包括透镜110、成像台120、图像传感器130、定时器140和处理器150。透镜110接收并聚焦来自对象场景的光102以在图像传感器130上形成图像。图像传感器130将入射光转换成每一个像素的电信号。在一种实现中，图像传感器130是电荷耦合器件(CCD)类型。在另一实现中，图像传感器130是有源像素传感器(APS)类型，其通常被称为互补金属氧化物半导体(CMOS)传感器，因为能够使用CMOS制造工艺制造它们。

成像台120可以包括元件，诸如中性密度(ND)滤光器、光圈、快门、曝光控制器、亮度传感器和/或配置成调节到达图像传感器130的光量的其它单元。光圈和快门可以被配置成通过控制孔径以及快门打开的持续时间来调节到达图像传感器130的光量。曝光控制器可以响应于由亮度传感器计量的场景中可用的光量，并且控制包括中性密度(ND)滤光器、光圈和/或快门的其它元件。在一种实现中，图像传感器130配置有多个感测元件。处理器150处理从图像传感器130的感测元件接收到的信号以形成输出图像152。在一些实现中，成像台120包括透镜110。

在一个示例中，图像传感器(例如，APS)的操作在三个步骤中执行：复位步骤，其中传感器从先前的整合(integration)周期复位；图像整合步骤，其中光能被收集并转换成电信号；以及信号读出步骤，其中信号被读出。

可以选择图像捕获器件100以在两种操作模式(正常操作模式和饱和操作模式)中的一种操作。如果当图像传感器的感测器中的任何一个饱和到其最大值时的时间长度预计长于当图像传感器被曝光时的时间长度(即，整合时段或曝光时间)，那么可以选择正常操作模式。如果任何感测器的饱和时间预计短于曝光时间，那么可以选择饱和操作模式。在一种实现中，操作模式由处理器150设置。

在正常操作模式中的图像整合步骤的一种实现中，以光子形式的光能敲击感测器中的光电二极管，从而产生许多电子-空穴对。光电二极管被设计成限制新形成的电子-空穴对之间的复合(recombination)。因此，空穴被吸引到光电二极管的接地端子，而电子被吸引到光电二极管的正端子，其中每一个额外的电子降低光电二极管上的电压。在整合时段结束时，在图像整合时段期间由光电二极管吸收的光子的数量可以通过从整合时段开始时的电压中减去整合时段结束时的电压来确定。因此，感测器通过计数经由光电效应移位并存储在电容器中的电子的数量来测量进入的光子的数量。在曝光结束时测量电容器上的电荷，以推断入射光子的原始数量。

通过在整合时段期间传感器可以收集的光子的最大数量以及可以在本底噪声上检测到的在整合时段期间传感器可以收集的光子的最小数量来确定在正常操作模式中的传感器的动态范围。如上所述，处理具有剧烈照明变化的图像对于具有有限动态范围的图像捕获器件是挑战。例如，如果传感器的整合时段被缩短到没有亮光信息丢失(即，收集到的光子的数量将不超过在整合时段期间传感器的容量)的程度，那么大多数(如果不是全部)的低光(low-light)信息将丢失(导致“遭到挤压”的图像的区域成黑色)，因为将有如此少收集到的光子以致不能在噪声水平上区分光子。相反，如果传感器的整合时段被增加以捕获低光信息(即，收集到的光子的数量在本底噪声上是可检测到的)，那么丢失相当一部分亮光(bright-light)信息(导致“被吹出”的图像的区域)，因为收集到的光子的数量将超过传感器的容量。因此，动态范围由存储器件(例如，电容器)的容量部分地限制。

在一种实现中，饱和操作模式中的图像整合步骤包括执行正常模式中所涉及的所有任务。但是，在执行正常模式的任务的同时，饱和操作模式还包括测量图像传感器130中每一个感测器的饱和时间。由定时器140测量和记录图像传感器130中每一个感测器的饱和时间。

在一种实现中，在正常操作模式中，开关160由处理器150闭合以接收由图像传感器130的感测器在整合步骤期间收集到的光子值。在饱和操作模式中，开关160和162两者都由处理器150闭合。因此，在这种配置中(即，开关160、162两者都闭合)，处理器150通过开关160接收由图像传感器130的感测器电容器为在曝光时间结束时还没有饱和的那些感测器收集到的光子值。在从图像传感器130接收光子值之外，处理器150还指示定时器140从图像传感器130的每一个感测器的整合步骤的开始时开始计数。用于每一个感测器的计时器140在感测器已经饱和时停止计数以生成饱和时间。因此，定时器140为图像传感器130的每一个感测器保留饱和时间，并将它们发送到处理器150。一旦已经接收所有感测器的饱和时间，处理器150就替换已经饱和的那些感测器的光子值。下面详细描述用于计算已经饱和的那些感测器的收集到的光子值的方法。

在一种实现中，定时器140包括多个探测器，其中每一个探测器被配置成测量图像传感器130的每一个感测器的饱和时间的计数器。因此，在这种实现中，定时器140可以被配置成放置在图像传感器130上方的探测器层。

在一种实现中，处理器150处理从定时器140接收到的数据以计算将在图像传感器130的曝光时间(即，整合步骤)期间入射的光子的数量。这个计算依赖于传感器的特性。例如，在其中电子的累积与入射光子的数量成线性比例的图像传感器的情况中，被推断为由给定感测器的存储单元(假定无限的存储容量)捕获的电子的数量E将通过E＝C*t_e/t_s计算，其中C是感测元件的电子容量，t_e是曝光时间，以及t_s是该感测器的饱和时间。计算需要模拟传感器在全曝光时段中将捕获的量。因此，在非线性传感器的情况中，函数将考虑非线性。在一些实现中，使用数的查找表模拟非线性函数。

如上面提到的，可以根据测量的饱和时间计算将会累积的电子的数量(假定电子的累积与入射光子的数量成线性比例)。例如，假定1/8000秒的典型的最快快门速度(即，曝光时间)，并且测量的感测器的饱和时间为1/16000秒，那么应该已经被存储的电子的数量(与入射光子的数量成比例)等于C*(1/8000)/(1/16000)＝2C，其等于该感测器的存储容量的两倍。在另一个示例中，如果测量的感测器的饱和时间为1/32000秒，那么应该已经被存储的电子的数量等于C*(1/8000)/(1/32000)＝4C，其等于该感测器的存储容量的四倍。

不饱和的感测器将以与正常传感器相同的方式对待。即，那个感测器中的电子的数量被简单地计数。

如上面提到的，由诸如电子容量和电子读出噪声的特性限制的现代图像传感器可以检测到大约14档的动态范围(即，需要最小可记录值的14次翻倍来达到饱和)。如果通过使用图像传感器的感测器的测量的饱和时间可以足够准确地测量时间，那么理论上可以记录超过饱和的更多档的信息。例如，如果(例如，通过能够测量1/(1024×8000)秒)可以有意义地记录超过饱和的10个附加档的信息(给定由(一个或多个)定时器测量的时间分辨率)，那么这种类型的图像捕获器件可以提供线性信息的1024倍(＝2¹⁰)的量。

图2是作为耦合到图1中所示的图像传感器130的定时器140的一种实现的传感器系统200的功能图。在图2所图示的实现中，传感器系统200包括具有多个感测器的图像传感器220和具有多个定时元件的定时器210。图2还图示出插入件230，其示出放置在感测器250上方的定时元件240的详细视图。

在一种实现中，定时元件240被配置成测量感测器250的饱和时间。在这种实现中，定时元件240耦合到感测器250并且被配置成测量感测器的饱和时间的探测器。在另一实现中，定时元件240的定时部分被构建在感测器250中，而定时元件240的接口部分耦合到定时部分并且充当用于输出从定时部分接收到的感测器250的饱和时间的装置。

在另一实现中，定时元件240被配置成测量从感测器250的饱和到曝光时间结束的时间。在这种实现中，捕获的电子的数量将被计算为E＝C*t_e/(t_e-t_se)，其中t_se是从感测器的饱和到曝光时间结束的时间。

在还有的另一实现中，每一个定时元件简单地从公共主定时元件取回时间或一些计数并且记录该值用于以后使用，避免每一个感测器需要具有其自己的专用定时器。

图3是图示出根据本公开的一种实现的用于捕获图像的过程300的流程图。在捕获图像的过程中，如果任何感测器的饱和时间预计短于曝光时间，那么可以选择饱和操作模式。在图3所图示的实现中，在块310处，使用在图像传感器的曝光开始时开始并且当感测器饱和时或当曝光时间已过去时停止的定时器来测量图像传感器的每一个感测器的饱和时间。如果在块320处确定饱和时间出现在曝光时间结束之前，那么在块330处计算收集到的电子的理论数量为C*t_e/t_s，其中C是感测器的电子容量，t_e是曝光时间，以及t_s是该感测器达到饱和所花费的时间。否则，如果在块320处确定曝光时间短于饱和时间(即，感测器从未饱和)，那么在块340处通过测量感测器的电容器上的电荷来计算收集到的电子的数量。在这种情况中，在曝光时间结束时测量电容器上的电荷。

前述方法和装置易于进行许多变化。此外，为了清楚和简要描述，方法和装置的许多描述已被简化。许多描述使用特定标准的术语和结构。但是，所公开的方法和装置是更广泛适用的。

本领域技术人员将理解的是，结合本文所公开的实现而描述的各种说明性逻辑块、模块、单元和算法步骤常常可以实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经在上面在其功能性方面一般性地描述了各种说明性组件、块、模块和步骤。这种功能性实现为硬件还是软件取决于整个系统上施加的具体约束。本领域技术人员可以对于每一个具体的系统以不同方式实现所描述的功能性，但是这种实现决策不应当被解释为导致脱离本公开的范围。此外，在单元、模块、块或步骤内功能的分组是为了便于描述。在不脱离本公开的情况下，可以从一个单元、模块或块中移走特定功能或步骤。

提供所公开实现的以上描述是为了使任何本领域技术人员能够实现或使用本公开。对这些实现的各种修改对本领域技术人员将是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文描述的一般原理可以应用到其它实现。因此，技术不限于上述特定示例。因此，应当理解的是，本文呈现的描述和附图表示本公开的当前可能的实现，并且因此代表由本公开广泛预期的主题。还应当理解的是，本公开的范围完全包括对于本领域技术人员可能变得显而易见的其它实现，并且本公开的范围因此仅由所附权利要求限定。

Claims (23)

1.一种捕获图像的方法，包括：

接收图像传感器的曝光时间；

测量所述图像传感器的多个感测器中的每一个感测器的饱和时间；以及

使用所述饱和时间、所述曝光时间和每一个感测器的存储单元的电子收集容量计算将会由具有无限存储容量的每一个感测器收集到的电子的数量。

2.如权利要求1所述的方法，其中计算所述将会由具有无限存储容量的每一个感测器收集到的电子的数量包括：

将所述电子收集容量乘以所述曝光时间并且除以所述饱和时间。

3.如权利要求1所述的方法，其中计算所述将会由具有无限存储容量的每一个感测器收集到的电子的数量包括：

使用在给定所述饱和时间下返回预测的电子数量的函数。

4.如权利要求1所述的方法，还包括：

使用由每一个感测器收集到的所述电子的数量生成所述图像。

5.如权利要求1所述的方法，其中测量每一个感测器的所述饱和时间包括：

使用当所述图像传感器开始曝光时开始并且当每一个感测器饱和或所述图像传感器不再曝光时停止的定时器。

6.如权利要求5所述的方法，其中所述定时器包括多个定时元件。

7.如权利要求6所述的方法，还包括：

将每一个定时元件嵌入到所述多个感测器的每一个感测器中。

8.如权利要求6所述的方法，其中所述定时器还包括多个接口元件，所述方法还包括：

将每一个接口元件耦合到每一个感测器。

9.如权利要求8所述的方法，还包括：

在每一个接口元件处从每一个定时元件接收信号以记录所述饱和时间。

10.一种传感器系统，包括：

感测图像的图像传感器，所述图像传感器包括多个感测器；

包括多个定时元件的定时器，每一个定时元件耦合到所述多个感测器中的对应的感测器，

其中每一个定时元件测量所述对应的感测器的饱和时间以预测将会由所述对应的感测器收集到的电子的数量。

11.如权利要求10所述的系统，其中每一个定时元件被配置成计算所述对应的感测器的所述饱和时间的探测器。

12.如权利要求10所述的系统，其中所述定时器还包括多个接口元件，每一个接口元件耦合到每一个感测器。

13.如权利要求12所述的系统，其中每一个定时元件被构建到所述对应的感测器中。

14.如权利要求13所述的系统，其中每一个接口元件被配置成从每一个定时元件接收信号以计算所述饱和时间。

15.如权利要求10所述的系统，其中根据当所述对应的感测器最初曝光时开始并且当所述对应的感测器饱和时停止的计数计算所述饱和时间。

16.如权利要求15所述的系统，其中预计由所述对应的感测器收集到的电子的数量被计算为所述对应的感测器中的存储单元的电子收集容量乘以所述图像的曝光时间并且除以所述对应的感测器的所述饱和时间。

17.如权利要求15所述的系统，其中使用在给定所述饱和时间下返回预测的电子数量的函数来计算预计由所述对应的感测器收集到的电子的数量。

18.如权利要求10所述的系统，其中根据当所述对应的感测器饱和时开始直到所述对应的感测器不再曝光为止的计数计算所述饱和时间。

19.如权利要求18所述的系统，其中由所述对应的感测器收集到的电子的数量被计算为所述对应的感测器中的存储单元的电子收集容量乘以所述图像的曝光时间并且除以所述对应的感测器的所述饱和时间。

20.一种图像捕获器件，包括：

成像台；

耦合到所述成像台的图像传感器，所述图像传感器包括多个感测器；

包括多个定时元件的定时器，每一个定时元件耦合到所述多个感测器中的对应的感测器；以及

耦合到所述定时器的处理器，所述处理器被配置成从每一个定时元件接收信号以测量所述对应的感测器的饱和时间并且计算由所述对应的感测器收集到的电子的预计数量。

21.如权利要求20所述的图像捕获器件，其中所述成像台包括：

透镜、中性密度滤光器、光圈、快门、曝光控制器和亮度传感器中的至少一个。

22.如权利要求20所述的图像捕获器件，其中每一个定时元件被配置成计算所述对应的感测器的所述饱和时间的探测器。

23.如权利要求20所述的图像捕获器件，其中根据当所述对应的感测器最初曝光时开始并且当所述对应的感测器饱和时停止的计数计算所述饱和时间。