CN110611773B - 图像传感器及其操作方法 - Google Patents

Abstract

本发明题为“具有多重曝光的高动态范围成像像素”。本发明公开了图像传感器，所述图像传感器可具有高动态范围(HDR)功能。为了实现所述高动态范围功能，所述图像传感器可使用多重曝光成像。在多重曝光成像中，用图像传感器在不同的曝光时间捕获多个图像，并且之后将这些图像组合成单个高动态范围图像。来自多重曝光成像方案中的一重或多重曝光的图像数据可用于确定后续曝光将不会产生有用信息。为了节省所述图像传感器中的功率，可在确定不会产生有用信息的所述曝光的读出期间禁用某些读出电路，诸如模数转换器电路和列存储器。

Description

图像传感器及其操作方法

技术领域

本发明整体涉及成像设备，并且更具体地讲，涉及高动态范围成像传感器像素。

背景技术

图像传感器常在电子设备，诸如移动电话、相机和计算机中用来捕获图像。在典型布置中，电子设备设置有被布置成像素行和像素列的图像像素阵列。阵列中的每个图像像素包括经由转移栅极耦接到浮动扩散区的光电二极管。将列电路耦接到每个像素列以用于读出来自图像像素的像素信号。列电路通常实现相关双采样(CDS)过程，该过程涉及通过计算在重置操作期间采样的重置信号与在电荷转移操作之后采样的图像信号之间的差异来获得像素信号。

图像传感器具有相关联的动态范围，该动态范围被表示为图像传感器的最大可能亮度值和最小可能亮度值的比率。图像传感器通常配备有高动态范围(HDR)功能，其中图像传感器以超出本来使用没有HDR功能的图像传感器的情况下可实现的动态范围的扩展动态范围捕获图像。最常见的HDR技术之一是多重曝光成像。在多重曝光成像中，用图像传感器在不同的曝光时间捕获多个图像，并且之后将这些图像组合成单个高动态范围图像。然而，如果不注意，执行HDR成像可不期望地消耗大量功率，并且可由于来自高功耗的暗电流增加而导致增加的传感器噪声水平。

因此期望为图像传感器提供改善的高动态范围成像技术。

发明内容

根据本公开一个方面，提供了一种图像传感器，包括：像素阵列，所述像素阵列包括成像像素的行和列，其中所述成像像素被配置成使用至少第一曝光和第二曝光来捕获图像帧中的图像数据；读出电路，所述读出电路耦接到所述像素阵列，其中所述读出电路被配置成对于每一曝光，从所述像素阵列读取模拟图像数据，将所述模拟图像数据转换成数字图像数据，并输出所述数字图像数据；和控制电路，所述控制电路被配置成接收与所述第一曝光相关联的数字图像数据，并基于与所述第一曝光相关联的所述数字图像数据在所述第二曝光的读出期间选择性地禁用所述读出电路。

根据本公开另一方面，提供了一种操作具有多个成像像素的图像传感器的方法，包括：获得曝光中所述多个成像像素中的至少一个成像像素的图像数据；将所述至少一个成像像素的所述图像数据与阈值进行比较；以及基于所述至少一个成像像素的所述图像数据与所述阈值之间的所述比较，针对至少一重后续曝光禁用与所述至少一个成像像素相关联的读出电路。

根据本公开另一方面，提供了一种操作图像传感器的方法，所述图像传感器包括成像像素阵列、耦接到所述成像像素阵列的读出电路和控制电路，所述方法包括：使用所述成像像素阵列中的至少一个成像像素在第一图像帧的第一曝光时间期间捕获第一图像数据；使用所述读出电路从所述至少一个成像像素读出所述第一图像数据；使用所述至少一个成像像素在所述第一图像帧的第二曝光时间期间捕获第二图像数据，其中所述第二曝光时间不同于所述第一曝光时间；使用所述读出电路从所述至少一个成像像素读出所述第二图像数据；以及使用所述控制电路，基于所述第一图像数据，在所述读出电路从所述至少一个成像像素读出所述第二图像数据的同时，选择性地禁用所述读出电路。

附图说明

图1是根据一个实施方案的具有图像传感器的示例性电子设备的示意图。

图2是根据一个实施方案的用于读出图像传感器中的图像信号的示例性像素阵列以及相关联的读出电路的示意图。

图3是根据一个实施方案的具有用于选择性地禁用读出电路的功率控制电路的示例性图像传感器的示意图。

图4是示出根据一个实施方案的操作图像传感器以选择性地禁用读出电路的示例性方法的流程图。

具体实施方式

本发明的实施方案涉及图像传感器。本领域的技术人员应当理解，本发明的示例性实施方案可在缺少一些或所有这些具体细节的情况下实践。在其他情况下，为了避免不必要地模糊本发明的实施方案，未详细描述众所周知的操作。

电子设备，诸如数字相机、计算机、移动电话和其他电子设备可包括图像传感器，该图像传感器收集入射光以捕获图像。图像传感器可包括像素阵列。图像传感器中的像素可包括光敏元件，诸如，将入射光转换为图像信号的光电二极管。图像传感器可具有任何数量(如，数百或数千或更多)的像素。典型的图像传感器可例如具有数十万或数百万像素(例如，数兆像素)。图像传感器可包括控制电路(诸如，用于操作像素的电路)和用于读出图像信号的读出电路，该图像信号与光敏元件所生成的电荷相对应。

图1是示例性成像和响应系统的示意图，该系统包括使用图像传感器捕获图像的成像系统。图1的系统100可以是电子设备，诸如相机、蜂窝电话、视频摄像机或捕获数字图像数据的其他电子设备，可以是车辆安全系统(例如，主动制动系统或其他车辆安全系统)，或者可以是监视系统。

如图1所示，系统100可包括成像系统(诸如成像系统10)和主机子系统(诸如主机子系统20)。成像系统10可包括相机模块12。相机模块12可包括一个或多个图像传感器14以及一个或多个镜头。

相机模块12中的每个图像传感器可相同，或者，在给定图像传感器阵列集成电路中可以有不同类型的图像传感器。在图像捕捉操作期间，每个镜头可将光聚集到相关联的图像传感器14上。图像传感器14可包括将光转换成数字数据的光敏元件(即，像素)。图像传感器可具有任何数量(例如，数百、数千、数百万或更多)的像素。典型的图像传感器可例如具有数百万的像素(例如，数兆像素)。例如，图像传感器14可包括偏置电路(例如，源极跟随器负载电路)、采样和保持电路、相关双采样(CDS)电路、放大器电路、模拟-数字转换器电路、数据输出电路、存储器(例如，缓冲电路)、寻址电路等。

可以将来自相机传感器14的静态图像数据和视频图像数据经由路径28提供给图像处理和数据格式化电路16。图像处理和数据格式化电路16可用于执行图像处理功能，诸如数据格式化、调节白平衡和曝光、实现视频图像稳定、脸部检测等。图像处理和数据格式化电路16也可用于根据需要压缩原始相机图像文件(例如，压缩成联合图象专家组格式或JPEG格式)。在典型的布置(有时称为片上系统(SOC)布置)中，相机传感器14以及图像处理和数据格式化电路16在共用半导体衬底(例如，共用硅图像传感器集成电路管芯)上实现。如果需要，相机传感器14和图像处理电路16可形成在单独的半导体衬底上。例如，相机传感器14和图像处理电路16可形成在已堆叠的单独衬底上。

成像系统10(例如，图像处理和数据格式化电路16)可通过路径18将采集的图像数据传送到主机子系统20。主机子系统20可包括处理软件，该处理软件用于检测图像中的物体、检测物体在图像帧之间的运动、确定图像中物体的距离、过滤或以其他方式处理成像系统10提供的图像。

如果需要，系统100可向用户提供许多高级功能。例如，在计算机或高级移动电话中，可为用户提供运行用户应用程序的能力。为实现这些功能，系统100的主机子系统20可具有输入-输出设备22(诸如小键盘、输入-输出端口、操纵杆和显示器)以及存储和处理电路24。存储和处理电路24可包括易失性和非易失性的存储器(例如，随机存取存储器、闪存存储器、硬盘驱动器、固态驱动器，等等)。存储和处理电路24还可包括微处理器、微控制器、数字信号处理器、专用集成电路等。

系统100可为车辆安全系统。在车辆安全系统中，由图像传感器捕获的图像可供车辆安全系统使用以确定车辆周围的环境状况。例如，车辆安全系统可包括诸如停车辅助系统、自动或半自动巡航控制系统、自动制动系统、防撞系统、车道保持系统(有时称为车道漂移避免系统)、行人检测系统等的系统。在至少一些情况下，图像传感器可形成半自动或自动无人驾驶车辆的一部分。车辆安全标准可能需要在车辆操作之前、期间和/或之后验证车辆安全系统的任何部件(包括图像传感器)操作正常。图像传感器的验证操作可在车辆操作之前和/或之后(如，在启动和/或关闭成像系统时)由成像系统执行。

图2中示出了图1的相机模块12的布置的示例。如图2所示，相机模块12包括图像传感器14以及控制和处理电路44。控制和处理电路44可对应于图1中的图像处理和数据格式化电路16。图像传感器14可包括像素阵列，诸如像素34(在本文中有时称为图像传感器像素、成像像素或图像像素34)的阵列32。控制和处理电路44可耦接到行控制电路40，并且可经由数据路径26耦接到列控制和读出电路42。行控制电路40可从控制和处理电路44接收行地址，并可通过控制路径36向图像像素34供应对应的行控制信号(例如，双重转换增益控制信号、像素重置控制信号、电荷转移控制信号、光晕控制信号、行选择控制信号或任何其他所需像素控制信号)。列控制和读出电路42可经由一条或多条导线(诸如列线38)耦接到像素阵列32的列。列线38可耦接到图像像素阵列32中的每列图像像素34(例如，每列像素可耦接到对应列线38)。列线38可用于从图像像素34读出图像信号，并向图像像素34供应偏置信号(例如，偏置电流或偏置电压)。在图像像素读出操作期间，可使用行控制电路40来选择图像像素阵列32中的像素行，并且与该像素行的图像像素34相关联的图像数据可由列控制和读出电路42在列线38上读出。

列控制和读出电路42可包括列电路，诸如用于放大从阵列32读出的信号的列放大器、用于对从阵列32读出的信号进行采样和存储的采样和保持电路、用于将读出的模拟信号转换成对应数字信号的模拟-数字转换器电路、以及用于存储读出信号和任何其他所需数据的列存储器。列控制和读出电路42可通过线26将数字像素值输出到控制和处理电路44。

阵列32可以具有任何数量的行和列。一般来讲，阵列32的大小以及阵列32中的行和列的数量将取决于图像传感器14的具体实施。虽然行和列在本文中一般相应被描述为水平和竖直的，但是行和列可以指任何网格状的结构(如，本文中描述为行的特征可竖直地布置，并且本文中描述为列的特征可水平地布置)。

如果需要，阵列32可以是堆叠管芯布置的一部分，其中阵列32的像素34被划分在两个或更多个堆叠衬底之间。在此类布置中，阵列32中的每个像素34可在像素内的任何所需节点处被划分在两个管芯之间。举例来说，节点诸如浮动扩散节点可形成在两个管芯之上。包括光电二极管和耦接在光电二极管与所需节点(在本示例中，诸如浮动扩散节点)之间的电路的像素电路可以形成在第一管芯上，并且其余像素电路可以形成在第二管芯上。所需节点可形成在连接两个管芯的耦接结构(诸如导电衬垫、微型衬垫、导电互连结构或导电通孔)上(即，作为其一部分)。在两个管芯结合前，耦接结构可以在第一管芯上具有第一部分，并且可以在第二管芯上具有第二部分。第一管芯和第二管芯可彼此结合，使得该耦接结构的第一部分和该耦接结构的第二部分被结合在一起并且电耦接。如果需要，耦接结构的第一部分和第二部分可彼此压缩结合。然而，这仅仅是示例性的。如果需要，可以使用任何已知的金属对金属接合技术诸如软焊或焊接，来将形成在相应的第一管芯和第二管芯上的耦接结构的第一部分和第二部分接合在一起。

如上所述，像素电路中被划分到两个管芯中的所需节点可为浮动扩散节点。另选地，像素电路中被划分到两个管芯中的所需节点可为在浮动扩散区与源极跟随器晶体管栅极之间的节点(即，浮动扩散节点可以形成在形成有光电二极管的第一管芯上，同时耦接结构可以将浮动扩散节点连接至第二管芯上的源极跟随器晶体管)、在浮动扩散区与转移晶体管的源极-漏极节点之间的节点(即，浮动扩散节点可以形成在未设有光电二极管的第二管芯上)、在源极跟随器晶体管的源极-漏极节点与行选择晶体管之间的节点、或像素电路的任何其他所需节点。

一般来讲，阵列32、行控制电路40、列控制和读出电路42以及控制和处理电路44可被划分在两个或更多个堆叠衬底之间。在一个示例中，阵列32可形成在第一衬底中，并且行控制电路40、列控制和读出电路42以及控制和处理电路44可形成在第二衬底中。在另一个示例中，阵列32可被划分在第一衬底和第二衬底之间(使用上述像素划分方案中的一者)，并且行控制电路40、列控制和读出电路42以及控制和处理电路44可形成在第三衬底中。

图2的图像传感器可具有高动态范围(HDR)功能。为了实现高动态范围功能，图像传感器可使用多重曝光成像。在多重曝光成像中，用图像传感器在不同的曝光时间捕获多个图像，并且之后将这些图像组合成单个高动态范围图像。例如，每个成像像素可具有三重不同的曝光，每一曝光具有独特的曝光时间。较长的曝光时间对于从场景收集低光度信息可能是有用的，而较短的曝光时间对于从场景中收集高光度信息可能是有用的。

在一个实施方案中，曝光时间可逐渐变短。例如，第二曝光时间可大于第三曝光时间(例如，比第三曝光时间大三倍以上，大六倍以上，大十倍以上，大十五倍以上等)。第一曝光时间可大于第二曝光时间(例如，比第二曝光时间大三倍以上，大六倍以上，大十倍以上，大十五倍以上等)。该方案仅为示例性的，并且如果需要，可使用其他曝光顺序。例如，曝光时间可逐渐变长。例如，第二曝光时间可大于第一曝光时间(例如，比第一曝光时间大三倍以上，大六倍以上，大十倍以上，大十五倍以上等)。第三曝光时间可大于第二曝光时间(例如，比第二曝光时间大三倍以上，大六倍以上，大十倍以上，大十五倍以上等)。

用于每个像素的多重曝光可用于增加图像传感器的动态范围。多重曝光使得能够为任何给定场景获得更有用的图像数据。然而，从第一曝光获得的图像数据可指示来自后续曝光的图像数据将不提供有用数据。例如，考虑给定像素具有逐渐变短的三重曝光时间的示例。第一曝光(其为最长曝光)旨在从场景获得低光度信息。如果由来自第一曝光的给定像素产生的图像数据低于预定阈值(表明该场景确实对该像素具有低光度)，则可推断后续曝光(其旨在获得更高光度信息)将不会产生任何有用信息。换句话说，在第一曝光中确定光度低，使得不必再进行第二曝光和第三曝光(因为在第二曝光和第三曝光中获得的图像数据将低到无法与噪声区分)。

考虑给定像素具有逐渐变长的三重曝光时间的另一个示例。第一曝光(其为最短曝光)旨在从场景获得高光度信息。如果由来自第一曝光的给定像素产生的图像数据高于预定阈值(表明该场景确实对该像素具有高光度)，则可推断后续曝光(其旨在获得更低光度信息)将不会产生任何有用信息。换句话说，在第一曝光中确定光度高，使得不必再进行第二曝光和第三曝光(因为在第二曝光和第三曝光中获得的图像数据将饱和)。

总而言之，来自多重曝光成像方案的一重或多重曝光的图像数据可用于确定后续曝光将不会产生有用信息。为了节省图像传感器中的功率，可在确定不会产生有用信息的曝光的读出期间禁用某些读出电路(例如，列电路)，诸如模数转换器电路和列存储器。

图3示出了包括功率控制电路的图像传感器，该功率控制电路用于基于来自多重曝光成像方案中的一重或多重初始曝光的信息来选择性地禁用读出电路。如图3所示，像素阵列32可将模拟图像数据输出到模数转换器(ADC)62。模数转换器可将模拟图像数据转换成数字图像数据。数字图像数据可被输出到存储器64。存储器64可用于存储数字图像数据。

可使用多个列线(例如，图2中的列线38)将模拟图像数据提供给ADC62。每个列线可耦接到ADC 62中的模数转换器。对于阵列中的每个列线可存在一个模数转换器，或者对于阵列中的每个列线，可存在小于一个模数转换器(例如，如果需要，每个ADC可耦接到两个或更多个列线)。类似地，每个ADC的输出可耦接到一个或多个存储器电路。对于每个ADC输出可存在一个存储器电路，或者对于每个ADC输出可存在少于一个存储器电路(例如，如果需要，每个存储器电路可耦接到两个或更多个ADC输出)。ADC 62和存储器64可被认为是列控制和读出电路42的一部分。

数字图像数据可从存储器64输出到缓冲器66(有时称为缓冲器电路66)。从存储器64传送到缓冲器66的数字图像数据可以是12位数字图像数据。数字图像数据可以是相关双采样减法运算的结果。数据可通过缓冲器66传递到处理电路68。处理电路68可线性化图像数据并将来自每一曝光的图像数据组合成单个代表性输出值(例如，高动态范围图像值)。每个线性化输出可以是20位数字数据。如果是三重曝光的组合，则输出可以是20位数字输出。如果是两重曝光的组合，则输出可以是16位数字输出。如果是四重曝光的组合，则输出可以是24位数字输出。这些示例仅为示例性的，并且输出可具有任何期望的位数。

还可将来自存储器64的数字图像数据提供给功率控制电路70。功率控制电路70可处理数字图像数据以确定后续曝光是否会产生有用数据。在确定后续曝光是否会产生有用数据(例如，通过将数字图像数据与一个或多个阈值进行比较)之后，功率控制电路可向ADC62和存储器64提供功率控制信号。ADC 62中的每个ADC可从功率控制电路70接收相应的控制信号，该控制信号启用或禁用ADC。类似地，存储器64中的每个存储器电路可从功率控制电路70接收相应的控制信号，该控制信号启用或禁用存储器电路。以这种方式，功率控制电路选择性地启用和禁用ADC 62和存储器64，以在不预期产生有用数据的曝光期间节省功率。缓冲器66、处理电路68和功率控制电路70可被认为是控制和处理电路44的一部分。

可逐行从像素阵列32读出图像数据。这意味着给定行的图像数据同时被读出(例如，使用ADC 62和存储器64)。在一个示例中，功率控制电路70可单独检查每个像素以确定应该禁用ADC 62和存储器64的哪些部分。例如，功率控制电路70可确定后续曝光是否将基于每个像素提供有用信息。然而，该示例仅为示例性的。如果需要，功率控制电路70可将像素分组在一起并确定后续曝光是否将基于每个像素组提供有用信息。

当一起分析像素组时，功率控制电路70可确定是否不禁用ADC 62和存储器64的与像素组相关联的部分。功率控制电路70可通过许多可能的方式来分析像素组。如果像素组中的所有像素输出都低于阈值，则功率控制电路可禁用ADC 62和存储器64的对应部分。作为另外一种选择，如果平均值(或中值)低于阈值，则功率控制电路可取像素组中所有像素输出的平均值(或中值)，并禁用ADC 62和存储器64的对应部分。每组像素可包括来自一行或多行和一列或多列的像素。像素组可包括来自一行、两行、四行、多于两行、多于十行、多于二十五行、多于一百行、多于五百行等的像素。像素组可包括来自一列、两列、四列、多于两列、多于十列、多于二十五列、多于一百列、多于五百列等的像素。

功率控制电路可具有值阵列，其指示将启用和禁用ADC和存储器的哪些部分。例如，功率控制电路可具有值阵列，并且每个值可与对应的ADC和存储器电路相关联。每个值可为“1”，以指示即将到来的曝光预期具有有用数据并因此应在读出来自该曝光的数据期间启用ADC/存储器电路，或者为“0”，以指示即将到来的曝光预期不具有有用数据并因此应在读出来自该曝光的数据期间禁用ADC/存储器电路。

如果功率控制电路70因为即将到来的曝光将不会产生有用数据而确定可禁用ADC，则可选择性地禁用ADC以尽可能地降低功率并同时保持模拟信号链上的一致负载。

当被禁用时，存储器64中对应的存储器电路(有时称为存储器块)将恢复为输出默认值(例如，0)。这样，已禁用ADC和存储器的像素将具有相关联的数字数据(实际使用ADC将模拟图像数据转换成数字图像数据，而不使用功率)。处理电路68将接收默认值并照常进行(处理电路68可通过相同的方式处理输入的数字图像数据，而不需要单独通知哪些ADC和存储器部分被禁用)。

0作为默认值的示例仅仅是示例性的。如果需要，可使用不同的默认值(例如，取决于第一曝光是最长曝光还是最短曝光)。另外，处理电路68可以可选地识别默认值并采取附加处理步骤以将默认值恢复为任何所需的数字值。例如，在最短曝光为第一曝光的情况下，来自第一曝光的数据可高于阈值(指示后续曝光将饱和并且不提供有用信息)。可针对后续曝光禁用存储器电路，并且存储器电路可具有与饱和水平相关联的默认输出。作为另外一种选择，可针对后续曝光禁用存储器电路，并且存储器电路可具有默认输出“0”。然后，处理电路68可明确默认输出“0”实际上指示曝光已经饱和并相应地处理数据。

图4是用于操作图3所示类型的图像传感器以确定是否预期多重曝光成像方案中的后续曝光产生有用数据的示例性步骤的流程图。该方法开始于步骤102，其中n(曝光数)被设置为1。接下来，在步骤104处，获得第n重曝光(例如，第一曝光)中给定像素(或像素组)的图像数据。图像数据可由像素阵列32中的像素获得并输出到模数转换器。接下来，在步骤106处，将获得的图像数据(对于第n重曝光中的给定像素)与对应的阈值进行比较(例如，通过功率控制电路70)。如果图像数据不低于(例如，高于)对应的阈值，则功率控制电路可前进到步骤110。在步骤110处，功率控制电路可确定对于给定像素是否存在任何剩余曝光。如果不存在，该方法在步骤114处结束(并将针对下一个像素或像素组重复)。然而，如果存在剩余曝光，则该方法可循环回到步骤104(在步骤112处，将n加1)。然后可针对给定像素的每个剩余曝光重复该过程。

如果在步骤106处，功率控制电路70确定图像数据低于对应的阈值，则功率控制电路可在步骤108处实现功率节省措施。在步骤108中，功率控制电路可禁用与给定像素相关联的电路(例如，读出电路，诸如ADC 62和存储器64)。然后，该过程可在步骤114处结束(并将针对下一个像素或像素组重复)。

在步骤110中考虑图像数据是否低于阈值的示例仅仅是示例性的。如上文所讨论，如果第一曝光是最长曝光时间，则如果图像数据小于阈值就实现功率节省措施。然而，如果第一曝光是最短曝光时间，则如果图像数据高于阈值就实现功率节省措施。所以，在可供选择的实施方案中，图4中的步骤110可相反地用于确定图像数据是否超过对应的阈值。尽管本文讨论了这些示例，但第一曝光时间不需要是最长或最短曝光时间。例如，第一曝光时间可以是中间曝光时间。例如，可将来自中间曝光时间的数据与两个阈值进行比较，以确定在后续曝光期间可能的功率节省。

任何期望的阈值可用于通过功率控制电路70与图像数据进行比较。对于每一曝光，可存在对应的阈值。例如，在三重曝光成像方案中，将存在三个相应的阈值。图像传感器还可具有不同的转换增益设置。一般来讲，像素转换增益与像素的浮动扩散节点FD处的负载电容量成反比。因此，可选择耦接到浮动扩散节点的电容，以控制像素的转换增益。当浮动扩散节点耦接到更高的电容时，像素将具有更低的转换增益。当浮动扩散节点耦接到更低的电容时，像素将具有更高的转换增益。功率控制电路70所用的阈值可取决于像素的转换增益以及曝光。例如，如果像素具有四种不同的增益设置和四重不同的曝光，则可使用十六个预定阈值进行比较。

禁用ADC 62和存储器64的部分的示例仅仅是示例性的。在步骤108处，可禁用图像传感器内的其他部件。例如，用于放大从阵列32读出的信号的列放大器和/或用于采样和存储从阵列32读出的信号的采样和保持电路可选择性地被禁用以节省功率(例如，在步骤108中)。在又一个实施方案中，可在步骤108中禁用像素的部分。

在一些情况下，尤其是汽车应用中，可能需要注意避免由闪烁的灯光而导致的错误。图像帧中具有变化照明(例如，闪烁的灯光)的物体的示例包括发光二极管(LED)交通标志(其可每秒闪烁几百次)以及现代汽车的LED刹车灯或车头灯。

在诸如此类的情况下，功率控制电路70可采取附加步骤以避免由闪烁的灯光而导致的错误。例如，如果来自第一曝光的图像数据指示后续曝光中预期没有有用数据，这可能是由于在第一曝光期间“关闭”但将在第二曝光期间重新开启的闪烁的灯光。然而，如果功率控制电路70实际上没有从第二曝光读出数据，则可能在最终的输出图像中错误地不存在该闪烁的灯光。为了帮助避免这些错误，功率控制电路可采取任何期望的步骤。在一个示例性示例中，如果图像数据不满足连续两重曝光(不仅仅是一重曝光)的阈值要求，则功率控制电路70可仅禁用像素或像素组。例如，功率控制电路可使用来自第一曝光和第二曝光的图像数据以确定第三曝光中是否预期存在有用数据。

在另一个可能的实施方案中，当确定是否禁用读出电路时，可考虑来自先前帧的图像数据。例如，对于给定帧中的给定像素，功率控制电路可确定来自第一曝光的图像数据指示在第二曝光中不预期存在有用数据。功率控制电路可查看来自给定帧之前的一个或多个帧的第一曝光和第二曝光的图像数据。如果对于一个或多个先前帧在第二曝光中没有获得有用数据，则功率控制电路可在第二曝光期间禁用读出电路。如果对于一个或多个先前帧在第二曝光中获得有用数据，则功率控制电路可对于第二曝光不禁用读出电路。

这些示例仅仅是示例性的，并且可执行任何所需分析，以确定是否禁用读出电路的部分。一般来讲，功率控制电路可从给定帧的一个或多个像素接收图像数据。基于来自给定帧和/或先前帧中像素的一重或多重曝光的像素数据，功率控制电路可禁用图像传感器中的任何期望电路(例如，与像素相关联的读出电路)，用于给定帧中像素的后续曝光。

在各种实施方案中，图像传感器可包括像素阵列，该像素阵列包括成像像素的行和列，其中成像像素被配置成使用至少第一曝光和第二曝光来捕获图像帧中的图像数据；读出电路，该读出电路耦接到像素阵列，其中读出电路被配置成对于每一曝光，从像素阵列读取模拟图像数据，将模拟图像数据转换成数字图像数据并输出数字图像数据；以及控制电路，该控制电路被配置成接收与第一曝光相关联的数字图像数据，并基于与第一曝光相关联的数字图像数据在第二曝光的读出期间选择性地禁用读出电路。

读出电路可包括多个模数转换器和存储器。读出电路可被配置成基于与第一曝光相关联的数字图像数据在第二曝光的读出期间选择性地禁用多个模数转换器和存储器。图像传感器还可包括缓冲器，该缓冲器被配置成从存储器接收数字图像数据。存储器的被禁用的部分可向缓冲器输出默认值。图像传感器还可包括处理电路，该处理电路被配置成从缓冲器接收数字图像数据。处理电路可被配置成将来自每一曝光的数字图像数据组合成单个高动态范围图像值。

控制电路可被配置成将与第一曝光相关联的数字图像数据与至少一个阈值进行比较，并且控制电路可被配置成基于与第一曝光相关联的数字图像数据和至少一个阈值的比较在第二曝光的读出期间选择性地禁用读出电路。与第一曝光相关联的数字图像数据可包括多个数字图像数据值，每个数字图像数据值与相应的成像像素相关联，并且控制电路可被配置成将每个数字图像数据值与阈值进行比较，并且如果数字图像数据值小于阈值，则该控制电路禁用与成像像素相关联的读出电路，该成像像素与相应的数字图像数据值相关联。与第一曝光相关联的数字图像数据可包括多个数字图像数据值，每个数字图像数据值与相应的成像像素相关联，并且控制电路可被配置成将每个数字图像数据值与阈值进行比较，并且如果数字图像数据值大于阈值，则该控制电路禁用与成像像素相关联的读出电路，该成像像素与相应的数字图像数据值相关联。与第一曝光相关联的数字图像数据可包括多组数字图像数据值，每组数字图像数据值与成像像素的相应子集相关联，并且控制电路可被配置成将每组数字图像数据值与至少一个阈值进行比较并基于该比较禁用与成像像素的子集相关联的读出电路，该成像像素的子集与相应组数字图像数据值相关联。

在各种实施方案中，操作具有多个成像像素的图像传感器的方法包括：获得曝光中多个成像像素的至少一个成像像素的图像数据，将至少一个成像像素的图像数据与阈值进行比较，以及基于至少一个成像像素的图像数据和阈值之间的比较针对至少一重后续曝光禁用与至少一个成像像素相关联的读出电路。

该曝光可比至少一重后续曝光更长，将至少一个成像像素的图像数据与阈值进行比较可包括确定至少一个成像像素的图像数据是否低于阈值，并且基于至少一个成像像素的图像数据和阈值之间的比较针对至少一重后续曝光禁用与至少一个成像像素相关联的读出电路可包括响应于确定至少一个成像像素的图像数据低于阈值，针对至少一重后续曝光禁用与至少一个成像像素相关联的读出电路。

该方法还可包括：获得曝光中多个成像像素的至少一个附加成像像素的附加图像数据，将至少一个附加成像像素的附加图像数据与阈值进行比较，以及基于至少一个附加成像像素的附加图像数据和阈值之间的比较针对至少一重后续曝光启用与至少一个附加成像像素相关联的读出电路。将至少一个附加成像像素的附加图像数据与阈值进行比较可包括确定至少一个附加成像像素的附加图像数据是否低于阈值，并且基于至少一个附加成像像素的附加图像数据与阈值之间的比较针对至少一重后续曝光启用与至少一个附加成像像素相关联的读出电路可包括响应于确定至少一个成像像素的附加图像数据不低于阈值，针对至少一重后续曝光启用与至少一个附加成像像素相关联的读出电路。该曝光可以是第一曝光，并且至少一重后续曝光可包括第二曝光和第三曝光。该方法还可包括：获得第二曝光中多个成像像素的至少一个附加成像像素的第二附加图像数据，将至少一个附加成像像素的第二附加图像数据与第二阈值进行比较，以及基于至少一个附加成像像素的第二图像数据和第二阈值之间的比较针对第三曝光禁用与至少一个附加成像像素相关联的读出电路。

该曝光可比至少一重后续曝光更短，将至少一个成像像素的图像数据与阈值进行比较可包括确定至少一个成像像素的图像数据是否超过阈值，并且基于至少一个成像像素的图像数据和阈值之间的比较针对至少一重后续曝光禁用与至少一个成像像素相关联的读出电路可包括响应于确定至少一个成像像素的图像数据超过阈值，针对至少一重后续曝光禁用与至少一个成像像素相关联的读出电路。

操作包括成像像素阵列、耦接到成像像素阵列的读出电路和控制电路的图像传感器的方法可包括：使用成像像素阵列中的至少一个成像像素在第一图像帧的第一曝光时间期间捕获第一图像数据，使用读出电路从至少一个成像像素读出第一图像数据，使用至少一个成像像素在不同于第一图像帧的第一曝光时间的第二曝光时间期间捕获第二图像数据，使用读出电路从至少一个成像像素读出第二图像数据，以及在读出电路基于第一图像数据从至少一个成像像素读出第二图像数据的同时，使用控制电路选择性地禁用读出电路。

该方法还可包括使用控制电路将第一图像数据的值与阈值进行比较，以确定在读出电路从至少一个成像像素读出第二图像数据的同时禁用读出电路的哪些部分。至少一个成像像素可包括成像像素阵列的至少第一行和第二行以及第一列和第二列中的成像像素。

根据一个实施方案，图像传感器可包括像素阵列，该像素阵列包括成像像素的行和列，该成像像素被配置成使用至少第一曝光和第二曝光来捕获图像帧中的图像数据；读出电路，该读出电路耦接到像素阵列，该读出电路被配置成对于每一曝光，从像素阵列读取模拟图像数据，将模拟图像数据转换成数字图像数据并输出数字图像数据；以及控制电路，该控制电路被配置成接收与第一曝光相关联的数字图像数据，并基于与第一曝光相关联的数字图像数据在第二曝光的读出期间选择性地禁用读出电路。

根据另一个实施方案，读出电路可包括多个模数转换器和存储器。

根据另一个实施方案，读出电路被配置成基于与第一曝光相关联的数字图像数据在第二曝光的读出期间选择性地禁用多个模数转换器和存储器。

根据另一个实施方案，图像传感器还可包括缓冲器，该缓冲器被配置成从存储器接收数字图像数据。

根据另一个实施方案，存储器的被禁用的部分向缓冲器输出默认值。

根据另一个实施方案，图像传感器还可包括处理电路，该处理电路被配置成从缓冲器接收数字图像数据。

根据另一个实施方案，处理电路被配置成将来自每一曝光的数字图像数据组合成单个高动态范围图像值。

根据另一个实施方案，控制电路被配置成将与第一曝光相关联的数字图像数据与至少一个阈值进行比较，并且控制电路被配置成基于与第一曝光相关联的数字图像数据和至少一个阈值的比较在第二曝光的读出期间选择性地禁用读出电路。

根据另一个实施方案，与第一曝光相关联的数字图像数据可包括多个数字图像数据值，每个数字图像数据值与相应的成像像素相关联，并且控制电路被配置成将每个数字图像数据值与阈值进行比较，并且如果数字图像数据值小于阈值，则该控制电路禁用与成像像素相关联的读出电路，该成像像素与相应的数字图像数据值相关联。

根据另一个实施方案，与第一曝光相关联的数字图像数据可包括多个数字图像数据值，每个数字图像数据值与相应的成像像素相关联，并且控制电路被配置成将每个数字图像数据值与阈值进行比较，并且如果数字图像数据值大于阈值，则该控制电路禁用与成像像素相关联的读出电路，该成像像素与相应的数字图像数据值相关联。

根据另一个实施方案，与第一曝光相关联的数字图像数据可包括多组数字图像数据值，每组数字图像数据值与成像像素的相应子集相关联，并且控制电路被配置成将每组数字图像数据值与至少一个阈值进行比较并基于该比较禁用与成像像素的子集相关联的读出电路，该成像像素的子集与相应组数字图像数据值相关联。

根据一个实施方案，操作具有多个成像像素的图像传感器的方法可包括：获得曝光中多个成像像素的至少一个成像像素的图像数据，将至少一个成像像素的图像数据与阈值进行比较，以及基于至少一个成像像素的图像数据和阈值之间的比较针对至少一重后续曝光禁用与至少一个成像像素相关联的读出电路。

根据另一个实施方案，该曝光比至少一重后续曝光更长，将至少一个成像像素的图像数据与阈值进行比较可包括确定至少一个成像像素的图像数据是否低于阈值，并且基于至少一个成像像素的图像数据和阈值之间的比较针对至少一重后续曝光禁用与至少一个成像像素相关联的读出电路可包括响应于确定至少一个成像像素的图像数据低于阈值，针对至少一重后续曝光禁用与至少一个成像像素相关联的读出电路。

根据另一个实施方案，该方法还可包括：获得曝光中多个成像像素的至少一个附加成像像素的附加图像数据，将至少一个附加成像像素的附加图像数据与阈值进行比较，以及基于至少一个附加成像像素的附加图像数据和阈值之间的比较针对至少一重后续曝光启用与至少一个附加成像像素相关联的读出电路。

根据另一个实施方案，将至少一个附加成像像素的附加图像数据与阈值进行比较可包括确定至少一个附加成像像素的附加图像数据是否低于阈值，并且基于至少一个附加成像像素的附加图像数据与阈值之间的比较针对至少一重后续曝光启用与至少一个附加成像像素相关联的读出电路可包括响应于确定至少一个成像像素的附加图像数据不低于阈值，针对至少一重后续曝光启用与至少一个附加成像像素相关联的读出电路。

根据另一个实施方案，该曝光是第一曝光，并且至少一重后续曝光包括第二曝光和第三曝光。该方法还可包括：获得第二曝光中多个成像像素的至少一个附加成像像素的第二附加图像数据，将至少一个附加成像像素的第二附加图像数据与第二阈值进行比较，以及基于至少一个附加成像像素的第二图像数据和第二阈值之间的比较针对第三曝光禁用与至少一个附加成像像素相关联的读出电路。

根据另一个实施方案，该曝光比至少一重后续曝光更短，将至少一个成像像素的图像数据与阈值进行比较可包括确定至少一个成像像素的图像数据是否超过阈值，并且基于至少一个成像像素的图像数据和阈值之间的比较针对至少一重后续曝光禁用与至少一个成像像素相关联的读出电路可包括响应于确定至少一个成像像素的图像数据超过阈值，针对至少一重后续曝光禁用与至少一个成像像素相关联的读出电路。

根据一个实施方案，操作包括成像像素阵列、耦接到成像像素阵列的读出电路和控制电路的图像传感器的方法可包括：使用成像像素阵列中的至少一个成像像素在第一图像帧的第一曝光时间期间捕获第一图像数据，使用读出电路从至少一个成像像素读出第一图像数据，使用至少一个成像像素在不同于第一图像帧的第一曝光时间的第二曝光时间期间捕获第二图像数据，使用读出电路从至少一个成像像素读出第二图像数据，以及在读出电路基于第一图像数据从至少一个成像像素读出第二图像数据的同时，使用控制电路选择性地禁用读出电路。

根据另一个实施方案，该方法还可包括使用控制电路将第一图像数据的值与阈值进行比较，以确定在读出电路从至少一个成像像素读出第二图像数据的同时禁用读出电路的哪些部分。

根据另一个实施方案，至少一个成像像素包括成像像素阵列的至少第一行和第二行以及第一列和第二列中的成像像素。

前述内容仅是对本发明原理的示例性说明，因此本领域技术人员可以在不脱离本发明的实质和范围的前提下进行多种修改。上述实施方案可单独实施或以任意组合方式实施。

Claims (10)

1.一种图像传感器，包括：

像素阵列，所述像素阵列包括成像像素的行和列，其中所述成像像素被配置成使用至少第一曝光和第二曝光来捕获图像帧中的图像数据；

读出电路，所述读出电路耦接到所述像素阵列，其中所述读出电路被配置成对于每一曝光，从所述像素阵列读取模拟图像数据，将所述模拟图像数据转换成数字图像数据，并输出所述数字图像数据；和

控制电路，所述控制电路被配置成接收与所述第一曝光相关联的数字图像数据，并基于与所述第一曝光相关联的所述数字图像数据在所述第二曝光的读出期间选择性地禁用所述读出电路。

2.根据权利要求1所述的图像传感器，其中所述读出电路包括多个模数转换器和存储器，并且其中所述读出电路被配置成基于与所述第一曝光相关联的数字图像数据在所述第二曝光的读出期间选择性地禁用所述多个模数转换器和所述存储器。

3.根据权利要求2所述的图像传感器，还包括缓冲器，所述缓冲器被配置成从所述存储器接收所述数字图像数据，其中所述存储器的被禁用的部分向所述缓冲器输出默认值。

4.根据权利要求3所述的图像传感器，还包括处理电路，所述处理电路被配置成从所述缓冲器接收所述数字图像数据，其中所述处理电路被配置成将来自每一曝光的数字图像数据组合成单个高动态范围图像值。

5.根据权利要求1所述的图像传感器，其中所述控制电路被配置成将与所述第一曝光相关联的数字图像数据与至少一个阈值进行比较，并且其中所述控制电路被配置成基于与所述第一曝光相关联的数字图像数据与所述至少一个阈值的比较在所述第二曝光的所述读出期间选择性地禁用所述读出电路。

6.根据权利要求5所述的图像传感器，其中与所述第一曝光相关联的数字图像数据包括多个数字图像数据值，每个数字图像数据值与相应的成像像素相关联，并且其中所述控制电路被配置成将每个数字图像数据值与阈值进行比较，并且根据所述数字图像数据值与所述阈值的比较，禁用与和相应数字图像数据值相关联的成像像素相关联的所述读出电路。

7.根据权利要求5所述的图像传感器，其中与所述第一曝光相关联的所述数字图像数据包括多组数字图像数据值，每组数字图像数据值与成像像素的相应子集相关联，并且其中所述控制电路被配置成将每组数字图像数据值与所述至少一个阈值进行比较，并基于所述比较禁用与和相应组数字图像数据值相关联的成像像素的子集相关联的所述读出电路。

8.一种操作具有多个成像像素的图像传感器的方法，包括：

获得曝光中所述多个成像像素中的至少一个成像像素的图像数据；

将所述至少一个成像像素的所述图像数据与阈值进行比较；以及

基于所述至少一个成像像素的所述图像数据与所述阈值之间的所述比较，针对至少一重后续曝光禁用与所述至少一个成像像素相关联的读出电路。

9.根据权利要求8所述的方法，其中所述曝光比所述至少一重后续曝光更长，其中将所述至少一个成像像素的所述图像数据与所述阈值进行比较包括确定所述至少一个成像像素的所述图像数据是否低于所述阈值，并且

其中基于所述至少一个成像像素的所述图像数据与所述阈值之间的所述比较针对所述至少一重后续曝光禁用与所述至少一个成像像素相关联的所述读出电路包括：响应于确定所述至少一个成像像素的所述图像数据低于所述阈值，针对所述至少一重后续曝光禁用与所述至少一个成像像素相关联的所述读出电路，

所述方法还包括：

获得所述曝光中所述多个成像像素中的至少一个附加成像像素的附加图像数据；

将所述至少一个附加成像像素的所述附加图像数据与所述阈值进行比较；以及

基于所述至少一个附加成像像素的所述附加图像数据与所述阈值的所述比较，针对所述至少一重后续曝光启用与所述至少一个附加成像像素相关联的读出电路，

其中将所述至少一个附加成像像素的所述附加图像数据与所述阈值进行比较包括：确定所述至少一个附加成像像素的所述附加图像数据是否低于所述阈值，并且

其中基于所述至少一个附加成像像素的所述附加图像数据与所述阈值之间的所述比较针对所述至少一重曝光启用与所述至少一个附加成像像素相关联的所述读出电路包括：响应于确定所述至少一个成像像素的所述附加图像数据不低于所述阈值，针对所述至少一重后续曝光启用与所述至少一个附加成像像素相关联的所述读出电路，并且其中所述曝光是第一曝光，并且所述至少一重后续曝光包括第二曝光和第三曝光；

获得所述第二曝光中所述多个成像像素中的所述至少一个附加成像像素的第二附加图像数据；

将所述至少一个附加成像像素的所述第二附加图像数据与第二阈值进行比较；以及

基于所述至少一个附加成像像素的所述第二附加图像数据与所述第二阈值的所述比较，针对所述第三曝光禁用与所述至少一个附加成像像素相关联的读出电路。

10.一种操作图像传感器的方法，所述图像传感器包括成像像素阵列、耦接到所述成像像素阵列的读出电路和控制电路，所述方法包括：

使用所述成像像素阵列中的至少一个成像像素在第一图像帧的第一曝光时间期间捕获第一图像数据；

使用所述读出电路从所述至少一个成像像素读出所述第一图像数据；

使用所述至少一个成像像素在所述第一图像帧的第二曝光时间期间捕获第二图像数据，其中所述第二曝光时间不同于所述第一曝光时间；

使用所述读出电路从所述至少一个成像像素读出所述第二图像数据；以及

使用所述控制电路，基于所述第一图像数据，在所述读出电路从所述至少一个成像像素读出所述第二图像数据的同时，选择性地禁用所述读出电路。

Images