CN116057941A - 敏感度偏置像素 - Google Patents

Abstract

提供了用于自动曝光控制的系统、方法和非暂时性介质。一种示例方法可以包括：接收由图像传感器的光电传感器像素阵列(PPA)捕获的像素值，其中，像素值中的一个或多个像素值对应于PPA中的一个或多个敏感度偏置光电传感器(SBP)像素，并且像素值中的一个或多个饱和像素值对应于PPA中的一个或多个其他光电传感器像素；基于一个或多个像素值，确定一个或多个像素值和/或一个或多个饱和像素值的实际像素值；基于实际像素值和目标曝光值来确定像素值中的至少一个像素值的调整因子；以及基于调整因子，校正与图像传感器相关联的曝光设置和/或像素值中的至少一个像素值。

Description

敏感度偏置像素

技术领域

本公开总体上涉及自动曝光会聚和高动态范围成像。

背景技术

具有图像传感器的相机设备通常集成到各种各样的电子设备中，诸如移动电话、自主系统(例如，自主无人机、汽车、机器人等)、计算机、智能可穿戴设备、相机和许多其他设备。相机设备允许用户从各种电子设备捕获视频和图像。视频和图像可以被捕获用于娱乐用途、专业摄影、监控和自动化以及其他应用。视频或图像的质量可能取决于用于捕获视频或图像的相机设备的能力以及诸如曝光的各种因素。曝光与到达图像传感器的光量有关，其由快门速度或曝光时间、透镜光圈和场景亮度确定。

场景中的照明条件(诸如场景的亮度和暗度)可能会快速变化。在许多情况下，相机设备的曝光设置可能不适合不同的照明条件，这可能导致过曝光的图像、欠曝光的图像、所捕获图像的质量和/或后续图像处理算法的性能下降等。为了限制这样的问题，可以调整相机设备的曝光设置，以考虑照明条件的变化。然而，曝光校正机制可能具有较大的处理成本、有限的适应性、增加的会聚时间，并且通常需要浪费和低效地使用多次曝光来计算场景的新曝光设置。

发明内容

公开了用于使用敏感度偏置光电传感器(SBP)像素进行自动曝光控制的系统、方法和计算机可读介质。根据至少一个示例，提供了一种用于使用SBP像素进行自动曝光控制的方法。该方法可以包括：接收由图像传感器的光电传感器像素阵列捕获的图像的多个像素值，其中，多个像素值中的一个或多个像素值对应于光电传感器像素阵列中的一个或多个敏感度偏置光电传感器(SBP)像素，并且其中，多个像素值中的一个或多个饱和像素值对应于光电传感器像素阵列中的一个或多个其他光电传感器像素；基于对应于一个或多个SBP像素的一个或多个像素值，确定多个像素值中的一个或多个像素值和/或一个或多个饱和像素值的估计的实际像素值；基于所估计的实际像素值和目标曝光值来确定针对多个像素值中的至少一个像素值的调整因子；以及基于调整因子，校正与图像传感器相关联的曝光设置和/或多个像素值中的至少一个像素值。

根据至少一个示例，提供了一种用于使用SBP像素进行自动曝光控制的装置。该装置可以包括存储器和耦合到存储器的一个或多个处理器，该一个或多个处理器被配置为：接收由图像传感器的光电传感器像素阵列捕获的图像的多个像素值，其中，多个像素值中的一个或多个像素值对应于光电传感器像素阵列中的一个或多个敏感度偏置光电传感器(SBP)像素，并且其中，多个像素值中的一个或多个饱和像素值对应于光电传感器像素阵列中的一个或多个其他光电传感器像素；基于对应于一个或多个SBP像素的一个或多个像素值，确定多个像素值中的一个或多个像素值和/或一个或多个饱和像素值的估计的实际像素值；基于所估计的实际像素值和目标曝光值来确定针对多个像素值中的至少一个像素值的调整因子；以及基于调整因子，校正与图像传感器相关联的曝光设置和/或多个像素值中的至少一个像素值。

根据至少一个示例，提供了另一种用于使用SBP像素进行自动曝光控制的装置。该装置可以包括用于执行以下操作的部件：接收由图像传感器的光电传感器像素阵列捕获的图像的多个像素值，其中，多个像素值中的一个或多个像素值对应于光电传感器像素阵列中的一个或多个敏感度偏置光电传感器(SBP)像素，并且其中，多个像素值中的一个或多个饱和像素值对应于光电传感器像素阵列中的一个或多个其他光电传感器像素；基于对应于一个或多个SBP像素的一个或多个像素值，确定多个像素值中的一个或多个像素值和/或一个或多个饱和像素值的估计的实际像素值；基于所估计的实际像素值和目标曝光值来确定针对多个像素值中的至少一个像素值的调整因子；以及基于调整因子，校正与图像传感器相关联的曝光设置和/或多个像素值中的至少一个像素值。

根据至少一个示例，提供了一种用于使用SBP像素进行自动曝光控制的非暂时性计算机可读介质。该非暂时性计算机可读介质可以包括指令，该指令在由一个或多个处理器执行时使一个或多个处理器：接收由图像传感器的光电传感器像素阵列捕获的图像的多个像素值，其中，多个像素值中的一个或多个像素值对应于光电传感器像素阵列中的一个或多个敏感度偏置光电传感器(SBP)像素，并且其中，多个像素值中的一个或多个饱和像素值对应于光电传感器像素阵列中的一个或多个其他光电传感器像素；基于对应于一个或多个SBP像素的一个或多个像素值，确定多个像素值中的一个或多个像素值和/或一个或多个饱和像素值的估计的实际像素值；基于所估计的实际像素值和目标曝光值来确定针对多个像素值中的至少一个像素值的调整因子；以及基于调整因子，校正与图像传感器相关联的曝光设置和/或多个像素值中的至少一个像素值。

在一些方面，以上所描述的方法、装置和非暂时性计算机可读介质可以基于所估计的实际像素值、一个或多个饱和像素值和/或基于调整因子修改的多个像素值的至少一部分像素值来生成图像。

在一些方面，以上所描述的方法、装置和非暂时性计算机可读介质可以识别对应于一个或多个SBP像素的一个或多个像素值。在一些示例中，一个或多个像素值可以基于一个或多个像素值与一个或多个饱和像素值之间的差、一个或多个SBP像素的位置、和/或一个或多个像素值在包括多个像素值的图像阵列内的位置来识别。

在一些示例中，确定估计的实际像素值可以包括：将对应于一个或多个SBP像素的一个或多个像素值乘以SBP光敏感度因子，该SBP光敏感度因子是基于一个或多个SBP像素被配置为过滤的光的百分比计算的。在一些情况下，确定调整因子可以包括将目标曝光值除以所估计的实际像素值。

在一些情况下，一个或多个SBP像素中的每个SBP像素可以包括具有被配置为在一部分光到达光电传感器像素之前过滤该一部分光的掩模的光电传感器像素、具有与光电传感器像素阵列中的一个或多个其他光电传感器像素不同的孔径的光电传感器像素、和/或以修改的比率将光子转换成电荷的光电传感器像素。

在一些情况下，一个或多个SBP像素位于光电传感器像素阵列的一个或多个边界处，该一个或多个边界包括底行、顶行、左列和/或右列。在一些情况下，一个或多个SBP像素位于光电传感器像素阵列的一个或多个非边界区域。

在一些示例中，一个或多个饱和像素值可以包括过饱和像素值，并且一个或多个SBP像素可以具有降低的光敏感度。在一些示例中，一个或多个SBP像素可以包括没有光过滤器的SBP光电传感器像素、比光电传感器像素阵列中的其他光电传感器像素具有更大孔径的SBP像素、和/或被配置为以增加的比率将光子转换成电荷的SBP光电传感器像素；并且一个或多个饱和像素值可以包括一个或多个欠饱和像素值。在一些情况下，一个或多个SBP像素可以包括第一组像素和第二组像素，其中，第一组像素具有降低的光敏感度，并且第二组像素具有增加的光敏感度。

在一些方面，以上所描述的任何装置可以包括一个或多个图像传感器。在一些示例中，以上所描述的任何装置可以是相机(例如，IP相机)、移动设备(例如，移动电话或所谓的“智能手机”，或其他移动设备)、可穿戴设备、扩展现实设备(例如，虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、个人计算机、膝上型计算机、服务器计算机或其他设备，或可以是其一部分。在一些方面，以上所描述的任何装置可以包括用于捕获一个或多个图像的一个或多个相机。在一些方面，以上所描述的任何装置还可以包括用于显示一个或多个图像、通知和/或其他可显示数据的显示器。在一些方面，以上所描述的任何装置可以包括一个或多个传感器。

此概述既不旨在识别所要求保护的主题的关键或必要特征，也不旨在孤立地用于确定所要求保护的主题的范围。本主题应通过参考本专利的整个说明书的适当部分、任何或所有附图以及每项权利要求来理解。

参考以下说明书、权利要求书和附图，前述内容以及其他特征和实施例将变得更加明显。

附图说明

为了描述可以获得本公开的上述和其他优点和特征的方式，对以上所描述的原理的更具体描述将通过参考附图中示出的其具体实施例来呈现。应理解，这些附图仅描绘了本公开的示例实施例，并且不应被视为限制其范围，通过使用附图，以附加的具体内容和细节来描述和解释本文的原理，在附图中：

图1是示出根据本公开的一些示例的示例图像捕获和处理系统的架构的框图。

图2A示出了根据本公开的一些示例的图像传感器中的光电传感器像素阵列的示例光电传感器像素的侧视图。

图2B和图2C示出了根据本公开的一些示例的示例敏感度偏置光电传感器像素的侧视图。

图3A至图3E是示出根据本公开的一些示例的包括光电传感器像素和敏感度偏置光电传感器像素的光电传感器像素阵列的示例配置的框图。

图4示出了根据本公开的一些示例的光电传感器像素的各种示例配置。

图5是示出根据本公开的一些示例的使用敏感度偏置光电传感器像素进行曝光控制的系统流程的图。

图6是示出根据本公开的一些示例的使用敏感度偏置光电传感器像素进行自动曝光控制的示例方法的流程图。

图7示出了根据本公开的一些示例的示例计算设备架构。

具体实施方式

下面提供了本公开的某些方面和实施例。这些方面和实施例中的一些可以独立应用，并且它们中的一些可以组合应用，这对于本领域技术人员来说是显而易见的。在以下描述中，出于解释的目的，阐述了具体细节，以便提供对本申请的实施例的全面理解。然而，显而易见的是，可以在没有这些具体细节的情况下实施各种实施例。附图和描述不旨在为限制性的。

接下来的描述仅提供示例实施例，并且不旨在限制本公开的范围、适用性或配置。相反，接下来对示例性实施例的描述将为本领域技术人员提供实施示例性实施例的使能描述。应理解，在不脱离所附权利要求中阐述的本申请的精神和范围的情况下，可以对元件的功能和布置进行各种改变。

在视频和成像中，曝光指的是到达图像传感器的每单位面积的光量，光量例如由快门速度、透镜光圈、增益和亮度确定。在给定曝光内，图像传感器提供一定量的动态范围，诸如从0到255的像素值，如下文进一步描述的。通常，图像传感器具有有限的曝光范围和有限的动态范围，这限制了可以表示的像素值的范围。例如，如果图像传感器可以表示最大255(8比特)像素值，则亮度超过曝光和传感器动态范围的组合的任何场景元素将导致像素值上限为255，并且被记录为白色(过曝光)，而不是准确的颜色和亮度细节或值。类似地，亮度小于曝光和传感器动态范围的组合的任何场景元素将导致最小像素值为0，并且将被记录为黑色(欠曝光)，而不是准确的细节或值。因此，在像素值可能超过图像传感器的最大范围的非常亮的场景中，场景的该部分的像素可以被记录为白色，而在像素值可能为0的非常暗的场景中，场景的该部分的像素可以被记录为黑色。

此外，当图像具有高亮细节的损失时，由图像传感器捕获的图像可以被认为是过饱和的，在这种情况下，图像的明亮部分(或图像整体)可能是白色的(例如，褪色)或被裁剪，并且当图像具有阴影细节的损失时，图像可以被认为是欠饱和的，在这种情况下，暗的可能无法与黑的区分或被压缩。当图像的一个或多个部分超过图像传感器支持的最大像素值范围时(例如，当图像的一个或多个部分过饱和/过曝光或欠饱和/欠曝光时)，图像传感器可能无法确定图像的这些部分的实际像素值，或无法在不裁剪像素值的情况下适当地渲染由图像捕获的场景，因此裁剪值不会超过最大像素值范围。在不太准确的像素值的情况下，为图像传感器计算的曝光设置的准确度和图像质量会降低。

此外，由相机设备捕获的场景中的照明条件(诸如场景的亮度水平和暗度水平)可以快速改变。在许多情况下，相机设备的曝光设置可能不适合不同的照明条件。相机设备的不合适的曝光设置会导致过曝光/过饱和图像、欠曝光/欠饱和图像、所捕获的图像的质量和/或后续图像处理算法的性能下降等。如先前提到的，在许多情况下，场景的亮度水平可能超过相机设备的动态范围，并且相机设备可能需要多次曝光来渲染场景并用于从黑暗场景到明亮场景的曝光会聚，反之亦然。在一些情况下，相机设备可以执行高动态范围的曝光会聚。然而，裁剪操作会对用于计算曝光设置的度量产生负面影响，并因此对曝光会聚产生负面影响。

例如，欠曝光和过曝光会导致视频预览曝光会聚的问题。自动曝光(AE)涉及当场景从亮变暗或从暗变亮时的会聚曝光。然而，如果所捕获的图像中的像素值被裁剪(例如，因为场景突然从暗变亮时、图像变白或太亮)或压缩(例如，因为当场景突然从亮变暗时、图像变黑或太暗)，则用于计算曝光设置的统计数据受到影响，并且AE可能反而需要通过增加或减少曝光来对适当的曝光设置进行一般或有根据的猜测，而不知道更确切或更准确的目标。因此，为了计算图像传感器的曝光设置，图像传感器可能需要更准确的统计数据，该统计数据不是基于已经被裁剪(例如，太亮)或压缩(例如，太暗)的像素值。

在一些示例中，本文所描述的技术可以实施敏感度偏置光电传感器(SBP)像素来解决这些和其他挑战。SBP像素可以在图像传感器用来捕获场景的图像数据的光电传感器像素阵列中实施。SBP像素可以包括光电二极管以捕获和测量场景中的光，并且可以被配置为具有降低或增加的光敏感度，这可以允许SBP像素在黑暗场景(和/或欠曝光的图像)中捕获更高的亮度水平，而在明亮场景(和/或过曝光的图像)中捕获更低的亮度水平。SBP像素的这种特性可以防止由具有降低的光敏感度的SBP像素测量的像素值在明亮场景中变得过饱和/过曝光，并且还可以防止由具有增加的光敏感度的SBP像素测量的像素值在黑暗场景中变得欠饱和/欠曝光。如本文所使用的，术语“饱和”可以包括过饱和/过曝光和/或欠饱和/欠曝光。

由SBP像素计算的像素值也可以用于计算场景中更准确的亮度水平，在这些场景中，其他光电传感器像素由于各种原因不能捕获实际的亮度水平。例如，当场景中的亮度水平超过图像传感器的最大饱和/曝光水平时、当其他光电传感器像素的光敏感度太低而无法在黑暗场景中捕获更高亮度水平时、和/或在其他情况下，其他光电传感器像素可能无法捕获实际亮度水平。

由SBP像素计算的更准确的像素值可以用于计算图像传感器的更准确的曝光设置，因为它们可考虑其他光电传感器像素可能不考虑的亮度水平。更准确的曝光设置不仅可以提高图像质量，还可以减少曝光会聚时间。此外，SBP像素可以提供这样的曝光设置和减少的曝光会聚时间，而不需要裁剪操作或多次曝光，裁剪操作或多次曝光会降低效率并且浪费原本可以用于其他成像任务和益处的图像数据。因此，来自SBP像素的像素值可以用于改善所生成的图像的质量和曝光，以及后续图像处理算法的性能。

在一些示例中，为了增加或降低SBP像素的光敏感度并且获得场景的更准确的像素值，SBP像素可以实施被配置为过滤一定量的光的掩模或过滤器、更大或更小的孔径，和/或用于将光子转换成电荷的修改的比率。例如，通过在SBP像素上应用阻挡一定量的光的掩模或过滤器，可以使SBP像素对光不太敏感，并且通过不在SBP像素上应用阻挡光的掩模或过滤器、增加其孔径，以增加的比率将光子转换成电荷、和/或组合多个光电二极管以创建超二极管(如图2C所示)，可以使其对光更敏感。

在涉及明亮场景的说明性示例中，一个或多个SBP像素可以实施掩膜或过滤器来阻挡一定量的光。因此，虽然明亮场景中的其他光电传感器像素可能因场景中的光而变得过饱和/过曝光，但较不敏感的SBP像素可以过滤一定量的光，并且提供不过饱和/过曝光的较低像素值。在说明性示例中，为了计算较不敏感的SBP像素的准确像素值，由较不敏感的SBP像素捕获的像素值可以乘以这样的SBP像素被配置为过滤的光量。为了说明，如果SBP像素被配置为捕获一半的光并且过滤所接收的另一半光，并且SBP像素捕获像素值500，则像素值500可以乘以2(例如，基于SBP像素被配置为过滤一半光)来估计实际像素值为1000。像素值1000可以是更准确的像素值，并且可以用于推断图像中过饱和/过曝光像素值的实际像素值。

此外，为了确定可以用于确定更准确曝光的调整因子(也称为调整值)，目标曝光值可以除以为与SBP像素相关联的像素值计算的实际像素值(例如，在先前的示例中为1000)。为了说明，基于先前的示例，如果目标值是50，则目标值50可以除以实际像素值1000，以得到调整因子0.05。然后，调整因子0.05可以用于调整图像传感器的曝光设置和/或校正过饱和/过曝光像素的像素值。

在涉及黑暗场景的说明性示例中，一个或多个SBP像素可以在没有过滤器、具有较大的孔径、和/或具有将光子转换成电荷的增加的比率的情况下实施，以便在黑暗场景中捕获更多的光和亮度水平。因此，虽然暗场景中的其他光电传感器像素可能由于黑暗场景中的光的缺乏或有限而变得欠饱和/欠曝光，但更敏感的SBP像素可以捕获更多的光和亮度水平，并且提供不是欠饱和/欠曝光的较高像素值。较高的像素值可以用于推断欠饱和/欠曝光像素的更准确的像素值。在一些情况下，如先前所解释的，较高的像素值可以基于SBP像素的光感敏度来调整(例如，通过与SBP像素的光感敏度的增加成比例地减少像素值)。在其他情况下，可以使用较高的像素值而无需进一步调整。此外，为了确定用于曝光设置的调整因子，目标曝光值可以除以或乘以SBP像素的像素值。

在一些情况下，光电传感器像素阵列中的SBP像素可以在光电传感器像素阵列的一个或多个边界中实施。例如，一个或多个SBP可以在光电传感器像素阵列的顶行和/或底行上、和/或光电传感器像素阵列的左列和/或右列上实施。边界之外的光电传感器像素阵列的部分可以被称为非边界区域。通常，相机系统逐行读取像素值。因此，通过将SBP像素放置在光电传感器像素阵列的(一个或多个)边界上，当逐行读取像素值时，相机系统可以快速识别来自SBP像素的像素值，并且可以将来自SBP像素的像素值放置在缓冲器中以如先前描述的那样使用，而不是执行更昂贵的计算来检测或索引这样的SBP(如果这样的SBP位于光电传感器像素阵列的其他区域中)。

本文所描述的技术将在以下公开中更详细地描述。如图1至图5所示，讨论从描述用于实施敏感度偏置光电传感器像素并且使用敏感度偏置光电传感器执行自动曝光控制的示例系统、技术和应用开始。随后将描述如图6所示的使用敏感度偏置光电传感器像素进行自动曝光控制的示例方法。讨论以示例计算设备架构的描述结束，该示例计算设备架构包括适用于使用敏感度偏置光电传感器像素的自动曝光控制的示例硬件组件，如图7所示。本公开现在转向图1。

图1是示出示例图像捕获和处理系统100的架构的框图。图像捕获和处理系统100可以包括用于捕获和处理场景的图像的各种组件，诸如场景110的一个或多个图像。图像捕获和处理系统100可以捕获独立的图像(或照片)和/或可以捕获包括处于特定序列的多个图像(或视频帧)的视频。系统100可以包括面向场景110并且接收来自场景110的光的透镜115。透镜115可以使光向图像传感器130弯曲。由透镜115接收的光可以穿过由一个或多个控制机构120控制的孔径，并且随后由图像传感器130接收。

一个或多个控制机构120可以控制一个或多个特征、机构、组件和/或设置，诸如例如曝光、聚焦、变焦等。例如，控制机构120可以包括一个或多个曝光控制机构125A、一个或多个聚焦控制机构125B和/或一个或多个变焦控制机构125C。一个或多个控制机构120还可以包括其他控制机构，诸如用于控制模拟增益、闪光、高动态范围(HDR)、景深和/或其他图像捕获属性的控制机构。一个或多个控制机构120可以基于来自图像传感器130的信息、来自图像处理器150的信息和/或其他信息来控制特征、机构、组件和/或设置。

聚焦控制机构125B可以获得聚焦设置。在一些示例中，聚焦控制机构125B可以将聚焦设置存储在存储器寄存器中。基于聚焦设置，聚焦控制机构125B可以相对于图像传感器130的位置调整透镜115的位置。例如，基于聚焦设置，聚焦控制机构125B可以通过致动马达或伺服机构(或其他透镜机构)来移动透镜115靠近图像传感器130或远离图像传感器130，从而调整聚焦。在一些情况下，系统100中可以包括附加的透镜，诸如图像传感器130的每个光电二极管上的一个或多个微透镜。在光到达光电二极管之前，每个微透镜可以将从透镜115接收的光朝向对应的光电二极管弯曲。聚焦设置可以被称为图像捕获设置和/或图像处理设置。

曝光控制机构125A可以获得、确定和/或调整一个或多个曝光设置。在一些情况下，曝光控制机构125A可以将一个或多个曝光设置存储在存储器寄存器中。基于一个或多个曝光设置，曝光控制机构125A可以控制孔径的大小(例如，孔径大小)、孔径打开的持续时间(例如，曝光时间或快门速度)、图像传感器130的敏感度(例如，ISO速度或胶片速度)、由图像传感器130应用的模拟增益，和/或任何其他曝光设置。一个或多个曝光设置可以被称为图像捕获设置和/或图像处理设置。

变焦控制机构125C可以获得变焦设置。在一些示例中，变焦控制机构125C可以将变焦设置存储在存储器寄存器中。基于变焦设置，变焦控制机构125C可以控制包括透镜115和一个或多个附加的透镜的透镜元件的组装件(透镜组装件)的焦距。例如，变焦控制机构125C可以通过致动一个或多个马达或伺服机构(或其他透镜机构)来相对于彼此移动一个或多个透镜，从而控制透镜组装件的焦距。变焦设置可以被称为图像捕获设置和/或图像处理设置。

图像传感器130可以包括光电二极管或其他光敏元件的一个或多个阵列。每个光电二极管测量最终对应于由图像传感器130产生的图像中的特定像素的光量。在一些情况下，不同的光电二极管可以被不同的颜色过滤器覆盖，并且因此可以测量与覆盖光电二极管的过滤器的颜色相匹配的光。例如，Bayer颜色过滤器包括红色过滤器、蓝色过滤器和绿色过滤器，图像的每个像素是基于来自覆盖在红色过滤器中的至少一个光电二极管的红光数据、来自覆盖在蓝色过滤器中的至少一个光电二极管的蓝光数据、以及来自覆盖在绿色过滤器中的至少一个光电二极管的绿光数据而生成的。其他类型的颜色过滤器可以使用黄色、品红色和/或青色(也称为“祖母绿”)过滤器来代替或补充红色、蓝色和/或绿色过滤器。一些图像传感器可能完全没有颜色过滤器，和/或可能在整个阵列中使用不同的光电二极管(在一些情况下是垂直堆叠的)。在一些情况下，阵列中的不同光电二极管可能具有不同的光谱敏感度曲线，因此响应不同波长的光。

在一些情况下，图像传感器130可以替代地或附加地包括阻挡或防止一定量的光到达某些光电二极管或某些光电二极管的部分的掩模。在一些示例中，可以实施掩模来增加或减少相关联的光电二极管对光的敏感度。例如，更不透明的掩模可以用来降低光电二极管对光的敏感度，而不太不透明的掩模(或没有掩模)可以用来增加光电二极管对光的敏感度。此外，在一些示例中，掩模可以用于相位检测自动聚焦(PDAF)。此外，在一些示例中，掩模可以包括过滤器、层、膜、材料和/或可以应用来过滤一定量的光并且防止过滤后的光到达相关联的光电二极管的其他元件或属性。

在一些情况下，图像传感器130可以包括增益放大器以放大由光电二极管输出的模拟信号，和/或模数转换器(ADC)以将光电二极管输出(和/或由模拟增益放大器放大的)的模拟信号转换成数字信号。在一些情况下，关于控制机构120中的一个或多个讨论的某些组件或功能可以替代地或附加地包括在图像传感器130中。在一些示例中，图像传感器130可以包括电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、有源像素传感器(APS)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)、混合CCD/CMOS传感器(例如，sCMOS)和/或任何其他组合。

图像处理器150可以包括一个或多个处理器，诸如一个或多个图像信号处理器(ISP)154、一个或多个处理器152和/或关于图7所描述的计算设备700所讨论的任何其他类型的处理器中的一个或多个。主处理器152可以是数字信号处理器(DSP)和/或其他类型的处理器。在一些实施方式中，图像处理器150可以包括集成电路或芯片(例如，被称为片上系统或SoC)，或由该集成电路或芯片实施，该集成电路或芯片包括处理器152和图像信号处理器154。在一些情况下，芯片还可以包括一个或多个输入/输出端口(例如，输入/输出(I/O)端口156)、中央处理单元(CPU)、图形处理单元(GPU)、调制解调器(例如，3G、4G或LTE、5G等)、存储器、连接组件(例如，蓝牙^TM、全球定位系统(GPS)等)、和/或其他组件和/或其组合。

I/O端口156可以包括根据一个或多个协议或规范的任何合适的输入/输出端口或接口，诸如集成电路间2(I2C)接口、集成电路间3(I3C)接口、串行外围接口(SPI)接口、串行通用输入/输出(GPIO)接口、移动工业处理器接口(MIPI)(诸如MIPI CSI-2物理(PHY)层端口或接口)、高级高性能总线(AHB)、其任何组合和/或其他输入/输出端口。在一个说明性示例中，处理器152可以使用I2C端口与图像传感器130通信，并且图像信号处理器154可以使用MIPI端口与图像传感器130通信。

图像处理器150可以执行多个任务，诸如去马赛克、颜色空间转换、图像帧下采样、像素插值、自动曝光(AE)控制、自动增益控制(AGC)、CDAF、PDAF、自动白平衡、图像帧的合并以形成HDR图像、图像识别、对象识别、特征识别、图像处理、图像增强、计算机视觉、照明、输入接收、管理输出、管理存储器、HDR处理和/或其任何组合。图像处理器150可以将图像帧和/或处理后的图像存储在存储器140(例如，随机存取存储器(RAM)、只读存储器(ROM)等)、高速缓存、另一存储设备和/或任何其他存储器或存储组件中。

一个或多个输入/输出(I/O)设备160可以连接到图像处理器150。I/O设备160可以包括显示屏、键盘、小键盘、触摸屏、轨迹板、触敏表面、打印机和/或任何其他输出设备、任何其他输入设备、通信接口、外围设备和/或其任何组合。

在一些情况下，图像捕获和处理系统100可以是单个设备的一部分或可以由单个设备实施。在其他情况下，图像捕获和处理系统100可以是两个或更多个分离的设备的一部分，或可以由两个或更多个分离的设备实施。在图1所示的示例中，图像捕获和处理系统100包括图像捕获设备105A(例如，相机设备)和图像处理设备105B。在一些示例中，图像捕获设备105A和图像处理设备105B可以是同一系统或设备的一部分或由同一系统或设备实施。在其他示例中，图像捕获设备105A和图像处理设备105B可以是分离的系统或设备的一部分或由分离的系统或设备实施。例如，在一些实施方式中，图像捕获设备105A可以包括相机设备，并且图像处理设备105B可以包括计算设备，诸如移动手持机、膝上型计算机或其他计算设备。

在一些实施方式中，图像捕获设备105A和图像处理设备105B可以例如经由一个或多个电线、电缆或其他电连接器耦合在一起，和/或经由一个或多个无线收发器无线地耦合在一起。在一些实施方式中，图像捕获设备105A和图像处理设备105B可以彼此断开连接。

在图1所示的说明性示例中，垂直虚线将图1的图像捕获和处理系统100分成两部分，分别表示图像捕获设备105A和图像处理设备105B。图像捕获设备105A包括透镜115、控制机构120和图像传感器130。图像处理设备105B包括图像处理器150(包括图像信号处理器154和处理器152)、存储器140和I/O 160。在一些情况下，图像捕获设备105A中示出的某些组件，诸如图像信号处理器154和/或处理器152，可以被包括在图像捕获设备105A中，反之亦然。

图像捕获和处理系统100可以包括电子设备，诸如移动或固定电话(例如，智能电话、蜂窝电话等)、台式计算机、膝上型或笔记本计算机、平板计算机、机顶盒、电视机、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备、互联网协议(IP)相机、物联网(IoT)物、智能可穿戴设备(例如，智能手表、智能眼镜、头戴式显示器(HMD)等)和/或任何其他合适的电子设备。在一些示例中，图像捕获和处理系统100可以包括用于无线通信的一个或多个无线收发器，诸如蜂窝网络通信、802.11WIFI通信和/或任何其他无线通信。

虽然图像捕获和处理系统100被示为包括某些组件，但是普通技术人员将会理解，图像捕获和处理系统100可以包括除图1所示之外其他组件。图像捕获和处理系统100的组件可以包括软件、硬件或软件和硬件的一种或多种组合。例如，在一些实施方式中，图像捕获和处理系统100的组件可以包括电子电路或其他电子硬件和/或可以使用其来实施，电子电路或其他电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、GPU、DSP、CPU和/或其他合适的电子电路)；和/或可以包括计算机软件、固件或其任何组合和/或使用其来实施，以执行本文所描述的各种操作。软件和/或固件可以包括存储在计算机可读存储介质中、并且可由实施图像捕获和处理系统100的电子设备的一个或多个处理器执行的一个或多个指令。

图2A示出了图像传感器(例如，130)中的光电传感器像素阵列的示例光电传感器像素的侧视图。光电传感器像素可以包括由图像传感器实施的光电二极管/光电探测器，以捕获光子和相关联的像素值。在该示例中，光电传感器像素200包括位于颜色过滤器204(例如，Bayer过滤器或下文讨论的其他类型的颜色过滤器)和光电二极管202上方的微透镜206。光210在到达光电二极管202之前可以穿过微透镜206和颜色过滤器204。

颜色过滤器204可以表示用于特定颜色的过滤器，诸如红色、蓝色或绿色，用于反射一定量的该颜色。红色、绿色和蓝色颜色过滤器通常用于图像传感器中，并且通常被称为Bayer颜色过滤器。Bayer过滤器阵列通常包括比红色或蓝色Bayer过滤器更多的Bayer拜耳过滤器，例如以50％绿色、25％红色、25％蓝色的比例，以模拟人眼生理对绿光的敏感性。一些颜色过滤器阵列(CFA)可以使用交替的颜色方案，并且甚至可以包括更多或更少的颜色。例如，一些CFA可以使用青色、黄色和品红色颜色过滤器，而不是红色、绿色和蓝色Bayer颜色过滤器方案。在一些情况下，可以省略配色方案中一种或多种颜色的颜色过滤器，只留下两种颜色或甚至一种颜色。

此外，在一些情况下，一个或多个光电传感器像素或整个光电传感器像素阵列可能缺少颜色过滤器，因此不会降低光电传感器像素或整个光电传感器像素阵列对颜色的敏感度。例如，在一些情况下，光电传感器像素200可以包括微透镜206和光电二极管202，而没有颜色过滤器204。

图2B示出了示例敏感度偏置光电传感器像素215的侧视图。在该示例中，光电传感器像素215包括微透镜206，和覆盖光电二极管202以降低光电二极管202的光敏感度的掩模220。光210在到达光电二极管202之前可以穿过微透镜206和掩模220。掩模220可以被配置为过滤一定量的光210，以减少到达光电二极管202的光210的量，从而降低光电二极管202的光敏感度。

例如，为了防止像素在明亮场景中变得过饱和，掩模220可以阻挡场景中一定量的光到达光电二极管202或过滤一定量的光。因此，掩模220可以降低光电二极管202对光的敏感度，以允许光电二极管202更好地捕获明亮场景中的亮度水平。如本文进一步描述的，由光电二极管202基于穿过掩模220的光捕获的亮度水平可以用于为由图像传感器中的光电二极管(包括图像传感器中可能不包括用于过滤场景中的光的掩模的其他光电二极管)测量的过饱和像素计算像素值，和/或用于计算像素值的归一化值。为光电二极管阵列捕获的图像计算的像素值可以用于调整曝光水平、提高会聚、渲染具有超过光电二极管阵列的动态范围的亮度水平的场景而无需裁剪和/或需要多次曝光、提高后续(一个或多个)图像处理算法的性能等。

在一些情况下，光电传感器像素阵列可以实施具有掩模的多个光电传感器像素，诸如光电传感器像素215。在一些示例中，具有掩模的光电传感器像素可以在光电传感器像素阵列的一个或多个区域中实施。例如，具有掩模的光电传感器像素可以分散在光电传感器像素阵列上。在其他示例中，具有掩模的光电传感器像素可以在光电传感器像素阵列的一个或多个边界中实施。

为了说明，在一些情况下，具有掩模的光电传感器像素可以在光电传感器像素阵列的顶部和/或底部边界上、和/或光电传感器像素阵列的左侧和/或右侧边界上实施。相机系统通常逐行读取像素。因此，在一些示例中，通过将具有掩模的光电传感器像素放置在光电传感器像素阵列的边界上，相机系统可以在读取像素时快速识别出来自具有掩模的光电传感器像素的像素，并且如本文中进一步描述的，使用它们来计算图像的像素值，而不是在具有掩模的光电传感器像素分散在整个图像中、或与不具有掩模的光电传感器像素中的其他像素混合的情况下执行更昂贵的计算来检测或索引这样的像素。

在不同的实施方式中，掩模220被配置为过滤的光量可以不同。例如，在一些情况下，掩模220可以被配置为阻挡更多的光(例如，经由增加的变暗或使用具有更高的光过滤能力的材料)，以便进一步降低光电二极管202的光敏感度。这可以允许光电二极管202在较亮场景中更好地捕获亮度水平。在其他情况下，掩模220可以被配置为阻挡较少的光，以限制光电二极管202的光敏感度被降低的量。在又一其他情况下，光电传感器像素可以不包括掩模，因此光电二极管202的光敏感度不会降低。

在一些实施方式中，为了增加光电二极管202的光敏感度并且更好地捕获较暗场景中的亮度水平，可以增加光电传感器像素的孔径。例如，参考图2C，光电传感器像素230可以包括多个光电二极管202(或单个较大的光电二极管)和在多个光电二极管202(或单个较大的光电二极管)上延伸的较大的微透镜232。这种配置可以允许光电传感器像素230捕获更多的光210，并从而增加光电传感器像素230的光敏感度。由于较高的光敏感度，光电传感器像素230可以更好地捕获较暗场景中的亮度水平。

光电传感器像素230可以可选地包括掩模220，以过滤一定量的光。例如，在一些情况下，光电传感器像素230可以不包括掩模以避免降低光电传感器像素230的光敏感度。在其他情况下，光电传感器像素230可以包括覆盖多个光电二极管202的更大的掩模，以阻挡一定量的光并且将光电传感器像素230的光敏感度降低一定量。

虽然在图2B和图2C中示出了没有颜色过滤器的光电传感器像素215和230，但是应理解，在一些示例中，光电传感器像素215和/或230可以包括如先前参考图2A所描述的颜色过滤器。此外，应理解，光电传感器像素阵列中的光电传感器像素可以具有不同于图2A至图2C中所示的其他孔径和/或掩模配置。例如，图3A到图4示出可以被实施为增加和/或降低图像传感器中的一个或多个光电传感器像素的光敏感度的光电传感器像素阵列的各种示例配置。

图3A是示出光电传感器像素阵列300的示例配置的图，光电传感器像素阵列300包括光电传感器像素310(以白色示出)和敏感度偏置光电传感器(SBP)像素320(以灰色示出)。光电传感器像素310不包括用于过过滤光的掩模，诸如掩模220，但可以包括或不包括颜色过滤器，例如颜色过滤器204。如先前所描述的，SBP像素320可以包括用于过滤一定量的光的掩模，并从而降低SBP像素320中的光电二极管的光敏感度。

在一些示例中，光电传感器像素阵列300可以包括位于光电传感器像素阵列300的顶部边界302、光电传感器像素阵列300的底部边界304、光电传感器像素阵列300的右边界306和/或光电传感器像素阵列300的左边界308上的SBP像素320。光电传感器像素阵列的顶部边界302、底部边界304、右边界306和左边界308之外的部分可以被称为光电传感器像素阵列300的非边界区域。在图3A所示的示例中，光电传感器像素阵列300包括在光电传感器像素阵列300的顶部边界302和右边界306上的SBP像素320。

在一些示例中，SBP像素320可以用于确定由光电传感器像素阵列中的光电二极管捕获的欠饱和/欠曝光和/或过饱和/过曝光图像的更准确的像素值。例如，SBP像素320可以测量过饱和/过曝光图像中的欠饱和像素值，并且可以用于计算更准确的像素值，否则这些像素值会超过图像传感器的动态范围。即使SBP像素320也是饱和的，SBP像素320仍然可以导致更准确的预测。例如，假设该说明性示例中的SBP像素320对光的敏感度比光电传感器像素310低10倍，并且场景变化导致所有光电传感器像素饱和，包括光电传感器像素310和SBP像素320两者。SBP像素320比光电传感器像素310敏感度低10倍并且仍然饱和的事实意味着将光电传感器像素310(其不具有敏感度偏置)的曝光减少10倍将不会提供足够或足够大的调整。在该示例中，SBP像素320对光的敏感度低10倍但仍饱和的事实指示光电传感器像素310的曝光应降低甚至超过10倍。因此，SBP像素320可以用于确定光电传感器像素310的曝光应降低10倍以上，并且因此将导致比光电传感器像素阵列300不包括SBP像素320时可能的预测更准确的预测，因为没有SBP像素310的光电传感器像素310将不会提供足够的信息来推断曝光应减少10倍以上。

在一些情况下，更准确的像素值可以用来计算调整因子。在一些示例中，调整因子可以用于确定和/或实施由光电传感器像素阵列300捕获的场景的调整后的(例如，更正确/准确的)曝光。在一些示例中，调整因子可以用于校正欠饱和/过饱和、和/或过饱和/过曝光的像素值。在一些示例中，调整因子可以用于调整场景的曝光，并且还可以用于校正欠饱和/过饱和、和/或过饱和/过曝光的像素值。

在一些示例中，当场景突然从亮变暗或从暗变亮时，更准确的像素值和/或计算的调整因子可以用于会聚曝光。例如，当场景的亮度水平突然增加到使得所捕获的像素值变得过饱和和/或呈现白色的水平时，调整因子可以用于将曝光和/或过饱和像素值归一化或调整到特定亮度水平，这可以允许图像捕获和处理系统(例如，系统100)渲染场景和/或减少曝光会聚时间。

如先前指出的，在不同的示例中，SBP像素320的敏感度可以不同，以更好地捕获较暗场景和/或较亮场景中的亮度水平。例如，通过增加其孔径，配置没有任何掩模的SBP像素320、和/或增加将光子转换成电荷的比率，可以使SBP像素320对光更敏感。此外，在一些示例中，通过在SBP像素320上应用阻挡一定量的光的掩模、减小其孔径、和/或降低将光子转换成电荷的比率，可以使SBP像素320对光不太敏感。在涉及明亮场景的说明性示例中，SBP像素320可以实施掩膜来阻挡一定量的光。因此，虽然不包括掩模的光电传感器像素310可能因较亮场景中的光而变得过饱和/过曝光，但较不敏感的SBP像素320可以过滤一定量的光，并且提供不过饱和/过曝光的较低像素值。

在一些情况下，为了计算较不敏感的SBP像素320的准确像素值，由较不敏感的SBP像素320捕获的像素值可以乘以由这样的SBP像素320提供的过滤量。例如，如果SBP像素320被配置为捕获其接收的光的一半，并且过滤另一半的光，并且SBP像素320捕获像素值500，则像素值500可以乘以2(在该示例中，这对应于SBP像素的光敏感度被降低1/2)，以估计实际像素值为1000。在一些示例中，像素值1000可以用于推断由光电传感器像素阵列300中的其他光电传感器像素310捕获的像素的实际像素值和/或调整所捕获的像素值。此外，像素值1000可以用于计算用于调整图像传感器的曝光设置的调整因子。

例如，在一些情况下，为了确定用于调整曝光设置的调整因子，目标曝光值可以被选择并且除以使用SBP像素320计算的像素值(例如，先前的示例中的1000)。为了说明，在先前的示例中，如果目标曝光值是50，则目标曝光值50可以除以使用SBP像素320计算的实际像素值1000，以得到调整因子0.05。然后，调整因子0.05可以用于调整曝光设置和/或校正饱和像素的像素值。

此外，通过在光电传感器像素阵列300的边界区域(例如，302、304、306、308)中实施SBP像素320，SBP像素320可以被更高效地检测到和/或具有更低成本的计算。例如，相机系统通常逐行读取由光电传感器像素阵列测量的像素值。因此，在一些示例中，通过将SBP像素320放置在光电传感器像素阵列300的(一个或多个)边界区域上，相机系统可以基于来自SBP像素320的像素值与其他像素值之间的亮度水平差、SBP像素320的位置、像素值流中的行、和/或对应于边界区域的行中的像素值与对应于其他光电传感器像素的像素值之间的差，来快速识别由边界区域中的SBP像素320测量的像素值。这样，相机系统可以检测对应于边界区域中的SBP像素320的像素，而无需执行更昂贵的计算，否则可能需要更昂贵的计算来检测来自位于光电传感器像素阵列300的其他区域中的SBP像素320的像素值。在一些情况下，相机系统可以将被识别为对应于SBP像素320的像素值放置在缓冲器或存储器中以供使用，如本文所描述的。

在一些示例中，光电传感器像素阵列300可以包括在光电传感器像素阵列300的其他区域中的一个或多个SBP像素320。例如，光电传感器像素阵列300可以包括分散在光电传感器像素阵列300的内部区域或非边界区域的一个或多个SBP像素320。在一些示例中，在光电传感器像素阵列300的其他区域(例如，内部或非边界区域)上的SBP像素320可以用于PDAF。在其他示例中，这样的SBP像素320可以用于确定更准确的像素值，如本文所描述的。在一些情况下，如先前所描述的，更准确的像素值可以用于计算调整因子，以确定和/或实施由光电传感器像素阵列300捕获的场景的调整后的曝光和/或校正过饱和像素值。

图3B是示出具有SBP像素320的光电传感器像素阵列340的另一配置的框图。在该示例中，SBP像素320被配置为跨光电传感器像素阵列340的顶部边界302，并且光电传感器像素阵列340的剩余区域(包括底部边界304、右边界306和左边界308)被配置有不具有敏感度偏置(例如，不包括掩膜)的光电传感器像素310。在一些情况下，由于像素值可以由相机系统逐行读取，所以当相机系统读取与顶部边界302对应的行和/或像素值(和/或与顶部边界302相关联的行)时，可以检测到来自跨顶部边界302的SBP像素320的像素值。在一些示例中，相机系统可以基于与顶部边界302(和/或与顶部边界302相关联的行)相关联的像素值与对应于光电传感器像素阵列340中的一个或多个其他区域(和/或图像中的其他行)的像素值之间的差来检测SBP像素320的像素值。

图3C是示出具有SBP像素320的光电传感器像素阵列350的另一配置的框图。在该示例中，SBP像素320被配置为跨光电传感器像素阵列340的顶部边界302、底部边界304、右边界306和左边界308。换句话说，SBP像素320被放置在光电传感器像素阵列350的所有边界上。光电传感器像素阵列350的剩余区域被配置有不具有敏感度偏置(例如，不包括掩模)的光电传感器像素310。在一些情况下，由于像素值可以由相机系统逐行读取，所以当相机系统读取对应于边界的行和/或像素值(和/或与边界相关联的行)时，和/或基于与边界(和/或与边界相关联的行)相关联的像素值与对应于光传感器像素阵列340中的一个或多个其他区域(和/或图像中的其他行)的像素值之间的差，可以检测到跨边界302、304、306和308的SBP像素320的像素值。

图3D是示出具有SBP像素320的光电传感器像素阵列360的另一配置的框图。在该示例中，SBP像素320被配置为跨光电传感器像素阵列340的顶部边界302和底部边界304，并且光电传感器像素阵列340的剩余区域(包括右边界306和左边界308)被配置有不具有敏感度偏置(例如，不包括掩膜)的光电传感器像素310。由于像素值可以由相机系统逐行读取，所以当相机系统读取对应于顶部边界302和底部边界304的行和/或像素值(和/或与顶部边界302和底部边界304相关联的行)时，和/或基于与顶部边界302和底部边界304相关联的像素值(和/或与顶部边界302和底部边界304相关联的行)与对应于光传感器像素阵列340中的一个或多个其他区域(和/或图像中的其他行)的像素值之间的差，可以容易地检测到跨顶部边界302和底部边界304的SBP像素320中的像素。

图3E是示出具有SBP像素320的光电传感器像素阵列370的另一配置的框图。在该示例中，SBP像素320被配置为跨光电传感器像素阵列370的右边界306和左边界308，并且光电传感器像素阵列370的剩余区域(包括顶部边界302和底部边界304)被配置有不具有敏感度偏置(例如，不包括掩膜)的光电传感器像素310。由于像素值可以由相机系统逐行读取，所以当相机系统读取对应于右边界306和左边界308的行和/或像素值(和/或与右边界306和左边界308相关联的行)时，和/或基于与右边界306和左边界308相关联的像素值(和/或与右边界306和左边界308相关联的行)与对应于光传感器像素阵列370中的一个或多个其他区域(和/或图像中的其他行)的像素值之间的差，可以容易地检测到跨右边界306和左边界308的SBP像素320的像素值。

虽然图3A至图3E中的光电传感器像素310和SBP像素320被示为具有相同的大小和形状，但是需要指出的是，在其他示例中，同一光电传感器像素阵列中的光电传感器像素310和/或SBP像素320的大小和/或形状可以不同。例如，在一些情况下，SBP像素320可以具有与同一光电传感器像素阵列中的光电传感器像素310不同的大小和/或形状。此外，在一些情况下，一些SBP像素320的大小和/或形状可以不同于同一光电传感器像素阵列中的其他SBP像素320的大小和/或形状。

图4示出了光电传感器像素的各种示例配置。这里，光电传感器像素310表示没有敏感度偏置的光电传感器像素。光电传感器像素310不具有用于过滤一定量的光的掩模，并且不具有被调整的孔径以允许光电传感器像素310捕获更多的光并从而增加光电传感器像素310的光敏感度。另一方面，SBP像素320A至320H具有不同的掩模和/或孔径配置。

在该示例中，SBP像素320A至320F具有与光电传感器像素310相同的孔径，但包括被配置为阻挡不同光量和/或光图案的不同掩模图案。例如，SBP像素320A具有覆盖其相关联的光电二极管的固体掩模，并且SBP像素320B具有覆盖其相关联的光电二极管的图案化掩模。SBP像素320C具有覆盖其相关联的光电二极管的右部的掩模，但是其相关联的光电二极管的左部402未被掩模掩蔽或覆盖。类似地，SBP像素320D具有覆盖其相关联的光电二极管的顶部的掩模，但是其相关联的光电二极管的底部404未被掩模掩蔽或覆盖。另一方面，SBP像素320E具有覆盖其相关联的光电二极管的一部分的掩模，但是留下其相关联的光电二极管的内部区域406(例如，中心区域)未被覆盖。

像SBP像素320A一样，SBP像素320F具有与光电传感器像素310相同的孔径和覆盖其相关联的光电二极管的固体掩模。然而，SBP像素320F中的固体掩膜比SBP像素320A中的固体掩膜更暗，并且可以过滤更多的光。因此，SBP像素320F比SBP像素320A对光更不敏感。

此外，像SBP像素320A一样，SBP像素320G具有覆盖其相关联的光电二极管的固体掩模，但是在其他方面具有与SBP像素320A不同的孔径。因此，SBP像素320G可以比SBP像素320A捕获更多的光，并且可以比SBP像素320A对光更敏感。因此，SBP像素320G可以比SBP像素320A更好地捕获较暗场景中的亮度水平。

像光电传感器像素310一样，SBP像素320H不具有覆盖其相关联的光电二极管的掩模。然而，SBP像素320H具有比光电传感器像素310大的孔径。因此，SBP像素320H可以比光电传感器像素310捕获更多的光，并且可以比光电传感器像素310对光更敏感。因此，SBP像素320H可以比光电传感器像素310更好地捕获较暗场景中的亮度水平。

如上所述，SBP像素的大小和/或为SBP像素实施的掩模(及其特性)可以用于改变、调制和/或影响SBP像素的光敏感度。然而，用于改变、调制和/或影响SBP像素的光敏感度的其他策略在本文也是可以预期的。例如，在一些情况下，通过降低由SBP像素接收的光子被转换成电荷的比率或量，可以降低SBP像素的光感敏度，以计算明亮场景中的像素值和/或饱和度水平(例如，当像素值是饱和的时)。类似地，通过增加由SBP像素接收的光子被转换成电荷的比率或量，可以增加SBP像素的光感敏度，以计算黑暗场景中的像素值(例如，当像素值是欠饱和的时)。

图4所示的SBP像素的各种配置仅仅是出于解释目的而提供的说明性示例。本领域技术人员将认识到，其他SBP像素配置，诸如其他形状、大小、掩模、掩模图案等，可以用于改变、调制和/或影响SBP像素的光感敏度。

图5是示出使用SBP像素进行曝光控制的系统流程500的图。如图所示，图像传感器130包括光电传感器像素阵列502，诸如先前所描述的光电传感器像素阵列中的任一个。光电传感器像素阵列502包括光电传感器像素(例如200、310)和SBP像素(例如215、230、320)。光电传感器像素阵列502中的SBP像素可以包括光敏感度降低的光电传感器像素和/或光敏感度增加的光电传感器像素。此外，光电传感器像素阵列502可以包括在一个或多个边界位置和/或一个或多个内部位置处的一个或多个SBP像素。

图像传感器130可以生成对应于由图像传感器130捕获的场景的图像的像素值504。像素值504可以包括由光电传感器像素阵列502计算/测量的像素值和/或图像像素值流。像素值504可以包括由未被敏感度偏置的光电传感器像素计算/测量的一个或多个像素值，以及由SBP像素计算/测量的一个或多个像素值。

在一些情况下，如果场景是明亮的，则来自未被敏感度偏置的光电传感器像素的像素值可能是过饱和/过曝光(例如，白色或过度白色)的、和/或可能超过图像传感器130可以计算/测量的最大饱和度值。然而，光电传感器像素阵列502可以包括一个或多个具有降低的光敏感度的SBP像素。由于一个或多个SBP像素具有降低的光敏感度，所以一个或多个SBP像素能够计算/测量欠饱和的和/或不超过与图像传感器130相关联的最大饱和度/曝光值的像素值。换句话说，由于一个或多个SBP像素的光敏感度较低，来自一个或多个SBP像素的像素值可以具有较低的亮度水平，并且可以不是过饱和/过曝光的。如先前所解释的，即使SBP像素也是饱和的，SBP像素也可以提供允许更准确预测的附加信息。例如，如果SBP像素的光敏感度降低了X量，并且场景改变仍导致SBP像素饱和，则SBP像素饱和的事实将指示正常光电传感器像素(例如，未被敏感度偏置的光电传感器像素)的曝光应减少超过X量(例如，对应于SBP像素的光敏感度已被降低多少的量)。

一个或多个SBP像素的像素值可以用于估计图像的实际像素值，包括否则将超过与图像传感器130相关联的最大饱和度/曝光值的像素值，以便更准确和高效地计算和调整图像传感器130的曝光设置，并且改善曝光会聚，如本文中进一步描述的。在一些示例中，来自一个或多个SBP像素的像素值可以用于调整和/或校正来自未被敏感度偏置的光电传感器像素的像素值。

另一方面，在一些情况下，如果场景是暗的，则来自未被敏感度偏置的光电传感器像素的像素值可能是欠饱和/欠曝光的(例如，黑色或过暗)。然而，光电传感器像素阵列502可以包括具有增加的光敏感度的一个或多个SBP像素，并且因此可以测量不是欠饱和/欠曝光的、具有增加的亮度水平的和/或在黑暗场景中更好地捕获光的像素值。这样的来自SBP像素的像素值可以用于估计图像的实际像素值，包括不是欠饱和/欠曝光的像素值，以便更准确并且高效地计算和调整图像传感器130的曝光设置并且改善曝光会聚，如本文进一步描述的。在一些示例中，一个或多个SBP像素的像素值可以用于调整和/或校正来自未被敏感度偏置的光电传感器像素的像素值。

图像传感器130可以向像素解析器506提供像素值504。在一些示例中，像素解析器506可以是图像传感器130的一部分或由图像传感器130实施。在一些示例中，像素解析器506和图像传感器130可以是同一设备的一部分或由同一设备实施，诸如图像捕获设备105A或图像捕获和处理系统100。在其他示例中，像素解析器506可以是与图像传感器130不同的设备或组件的一部分，或由不同的设备或组件实施。例如，在一些情况下，像素解析器506可以由图像处理器150或与图像捕获和处理系统100分离的设备实施。

像素解析器506可以解析像素值504，并且识别来自光电传感器像素阵列502中的SBP像素的像素值。例如，像素解析器506可以解析像素值504以识别欠饱和(例如，欠饱和和/或过饱和)的和/或具有与其他饱和的像素值不同的亮度水平的像素值。在一些示例中，像素解析器506可以基于像素值504中的像素值之间的差来识别来自SBP像素的像素值。例如，如先前所解释的，如果场景较亮，则来自未被敏感度偏置的光电传感器像素的像素值可能是过饱和的和/或可能超过与图像传感器130相关联的最大饱和值，但来自具有降低的光敏感度的SBP像素的像素值可能不是饱和的(例如，过饱和的)和/或可能不超过与图像传感器130相关联的最大饱和值。因此，在一些情况下，像素解析器506可以基于其饱和度/亮度水平和/或像素值的差，来区分来自未被敏感度偏置的光电传感器像素的像素值和来自具有降低的光敏感度的SBP像素的像素值。

相反，如果场景是暗的，则来自未被敏感度偏置的光电传感器像素的像素值可能是欠饱和的，但是来自具有增加的光敏感度的SBP像素的像素值可能不是欠饱和的、可能具有更高的亮度水平、和/或可能更好地捕获光强度。因此，在一些情况下，像素解析器506可以基于其饱和度/亮度水平和/或像素值的差，来区分来自未被敏感度偏置的光电传感器像素的像素值和来自具有增加的光敏感度的SBP像素的像素值。

在一些示例中，像素解析器506可以逐行读取和/或接收像素值504，并且基于图像像素阵列内的读出行的位置(例如，图像像素阵列的顶行中的读出可以对应于在光电传感器像素阵列的顶部边界中的SBP像素等)、SBP像素的位置、具有像素值流的读出行的位置，和/或读出行中的像素值与一个或多个其他读出行中的像素值之间的差，来检测来自光电传感器像素阵列502的边界中的SBP像素的像素值。例如，在一些情况下，像素解析器506可以基于对应于SBP像素的边界位置的读出行、SBP像素相对于其他光电传感器像素的位置的位置、与读出行相关联的序列/次序和/或位置、和/或读出行对应于与像素值504相关联的图像阵列中的边界的确定，来检测来自光电传感器像素阵列502的边界中的SBP像素的像素值。

在一些示例中，像素解析器506可以检测来自SBP像素的像素值与其他像素值之间的饱和度/亮度水平的差。例如，如果像素解析器506识别过饱和/过曝光的像素值和非过饱和/过曝光的像素值，则像素解析器506可以确定非过饱和/过曝光的像素值对应于具有降低的光敏感度的SBP像素。类似地，如果像素解析器506识别欠饱和/欠曝光的像素值和具有较高亮度水平的像素值，则像素解析器506可以确定具有较高亮度水平的像素值对应于具有增加的光敏感度的SBP像素。

在解析像素值504之后，像素解析器506可以向曝光控制510发送SBP像素数据508。在一些示例中，曝光控制510可以是图像传感器130的一部分或由图像传感器130实施。然而，在其他示例中，曝光控制510可以是由不同设备实施的控制机构，不同设备诸如图像信号处理器154、处理器152、图像处理器150、图像捕获设备105A、图像处理设备105B或分离的设备。

在一些情况下，在解析像素值504之后，像素解析器506还可以向图像信号处理器154发送像素数据514。发送到图像信号处理器154的像素数据514可以包括来自未被敏感度偏置的光电传感器像素的像素值。在一些情况下，图像信号处理器154可以使用像素数据514来生成图像数据输出518。在一些示例中，图像数据输出518可以是由图像信号处理器154生成的图像和/或图像像素阵列。

在一些情况下，发送到图像信号处理器154的像素数据514还可以包括由SBP像素测量的像素值。例如，像素解析器506可以向图像信号处理器154提供来自未被敏感度偏置的光电传感器像素的像素值，并且将这些像素值提供给图像信号处理器154。在一些情况下，像素解析器506或图像信号处理器154可以将由SBP像素测量的像素值存储在缓冲器516中。缓冲器516可以是图像信号处理器154或分离的设备的一部分或由其实施。在一些情况下，图像信号处理器154可以使用由SBP像素测量的像素值来调整图像数据输出518的亮度水平。例如，如果图像传感器130具有10比特限制，并且只能提供1023的最大像素值，则图像传感器130的像素值将在1023处饱和，并且将不能捕获更高的亮度水平。

然而，如果SBP像素的光敏感度降低一半(例如，如果SBP像素被配置为捕获其接收的光的一半并且过滤另一半的光)，并且SBP像素在场景中捕获像素值600，则图像信号处理器154可以将像素值600乘以2(其反映了被配置为从用于计算像素值600的光中过滤的光量)，以生成场景的估计像素值1200。因此，在该示例中，所估计的像素值1200可以考虑SBP像素的敏感度水平(例如，1/2)。由于图像信号处理器154可能不具有图像传感器130的10比特限制，并且可能能够超过1023像素值，所以当生成图像数据输出518时，图像信号处理器154可以使用该1200估计像素值。需要指出的是，该示例中的像素值、10比特限制和光敏感度仅仅是出于解释目的而提供的说明性示例，并且其他示例可以包括其他像素值、比特限制和/或光敏感度。

由像素解析器506发送到曝光控制510的SBP像素数据508可以包括被识别为对应于SBP像素的像素值。例如，SBP像素数据508可以包括具有比过饱和/过曝光的其他像素值更低的亮度水平的像素值，和/或具有比欠饱和/欠曝光的其他像素值更高的亮度水平的像素值。在一些示例中，除了包括被识别为对应于SBP像素的像素值之外，SBP像素数据508可以包括来自光电传感器像素的一个或多个过饱和/过曝光、和/或欠饱和/欠曝光的像素值。

曝光控制510可以使用SBP像素数据508来计算曝光控制数据512，并且将曝光控制数据512提供给图像传感器130。在一些示例中，曝光控制数据512可以包括用于图像传感器130的自动曝光控制设置，诸如曝光调整因子和/或曝光设置。在一些示例中，曝光控制510可以使用SBP像素数据508来计算用于图像传感器130的调整因子和/或曝光设置。在一些情况下，图像传感器130可以用于曝光会聚期间的自动曝光控制。

在一些示例中，曝光控制510可以基于SBP像素的敏感度水平来调整SBP像素的像素值。例如，如果SBP像素的光敏感度被降低一半(例如，如果SBP像素被配置为捕获其接收的光的一半并且过滤另一半的光)，并且SBP像素在场景中捕获像素值500，则曝光控制510可以将像素值500乘以2，以生成场景的估计或实际像素值1000。在该示例中，所估计的或实际的像素值1000可以是调整后的SBP像素值，其可以考虑SBP像素的敏感度水平(例如，1/2)。由于调整后的SBP像素值可以考虑其他光电传感器像素可能无法捕获的亮度水平，所以调整后的SBP像素值可以提供比其他光电传感器像素的像素值更准确的方式来计算用于图像传感器130的曝光设置。

在一些情况下，然后，曝光控制510可以将为图像传感器130计算的目标曝光值(和/或由图像传感器130捕获的图像像素值)除以调整后的SBP像素值(例如，先前的示例中的像素值1000)，以确定调整因子或曝光设置。例如，如果目标值为50，则曝光控制510可以将目标值50除以调整后的SBP像素值1000，以得到调整因子0.05。曝光控制510可以向图像传感器130提供调整因子0.05，用于图像传感器130调整其曝光设置(例如，曝光时间、快门速度、增益等)和/或改善曝光会聚。

已经公开了示例系统、组件和概念，本公开现在转向使用SBP像素的自动曝光控制的示例方法600，如图6所示。本文所概述的步骤是出于说明目的而提供的非限制性示例，并且可以以其任何组合来实施，包括排除、添加或修改某些步骤的组合。

在框602处，方法600可以包括接收由图像传感器(例如，130)的光电传感器像素阵列(例如，300、340、350、360、370、502)捕获的图像的多个像素值(例如，504)。多个像素值可以包括对应于光电传感器像素阵列中的一个或多个SBP像素(例如215、230、300)的一个或多个像素值，以及对应于光电传感器像素阵列中的一个或多个其他光电传感器像素(例如200、310)的一个或多个饱和(例如欠饱和、过饱和)像素值。一个或多个其他光电传感器像素可以包括未被敏感度偏置的光电传感器像素(例如，不具有掩模或过滤器、不具有修改后的孔径、不具有修改后的光子到电荷转换率等)。

在一些情况下，一个或多个SBP像素中的SBP像素可以包括具有被配置为在一部分光到达光电传感器像素之前过滤该部分光的掩模的光电传感器像素、具有与光电传感器像素阵列中的一个或多个其他光电传感器像素(例如，与未被敏感度偏置的光电传感器像素相比)不同的孔径(例如，更大或更小的孔径)的光电传感器像素、和/或被配置为以修改的比率(例如，以减小或增大的比率)将光子转换成电荷的光电传感器像素。此外，在一些示例中，一个或多个饱和像素值可以包括一个或多个欠饱和像素值。

在一些示例中，一个或多个SBP像素中的至少一些SBP像素可以位于光电传感器像素阵列的一个或多个边界处。一个或多个边界可以包括底行(例如，底边界)、顶行(例如，顶边界)、左列(例如，左边界)和/或右列(例如，右边界)。在一些示例中，一个或多个SBP像素中的至少一些SBP像素可以位于光电传感器像素阵列的一个或多个非边界区域(例如，内部区域)。

在一些情况下，一个或多个饱和像素值可以包括过饱和像素值，并且一个或多个SBP像素可以具有降低的光敏感度。在一些情况下，一个或多个饱和像素值可以包括欠饱和像素值，并且一个或多个SBP像素可以具有增加的光敏感度。

在一些情况下，一个或多个SBP像素可以包括第一组像素和第二组像素。第一组像素可以具有降低的光感敏度，并且第二组像素可以具有增加的光感敏度。

在框604处，方法600可以包括基于对应于一个或多个SBP像素的一个或多个像素值，确定多个像素值中的一个或多个像素值和/或一个或多个饱和像素值的估计的实际像素值。在一些示例中，确定所估计的实际像素值可以包括将对应于一个或多个SBP像素的一个或多个像素值乘以SBP光敏感度因子，SBP光敏感度因子是基于一个或多个SBP像素被配置为过滤的光的百分比计算的。在一些情况下，SBP光敏感度因子可以是借由其调整一个或多个SBP像素的光敏感度的因子。

例如，如果一个或多个SBP像素的光敏感度被降低1/n，其中，n是大于1的正数，则光敏感度因子可以是n，并且所估计的实际像素值可以通过将对应于一个或多个SBP像素的一个或多个像素值乘以n来计算。如果一个或多个SBP像素的光敏感度被增加n，其中，n是大于1的正数，则光感敏度因子可以是1/n，并且所估计的实际像素值可以通过将对应于一个或多个SBP像素的一个或多个像素值乘以1/n来计算。

在框606处，方法600可以包括基于所估计的实际像素值和目标曝光值，来确定针对多个像素值中的至少一个像素值的调整因子(也称为调整值)。在一些示例中，确定调整因子可以包括将目标曝光值除以所估计的实际像素值。

在框608处，方法600可以包括基于调整因子来校正与图像传感器相关联的曝光设置和/或多个像素值中的至少一个像素值。例如，在一些情况下，方法600可以使用调整因子来校正与图像传感器相关联的曝光设置。在一些示例中，曝光设置可以包括曝光时间、快门速度、增益、透镜孔径、亮度、其任何组合和/或其他曝光设置。在一些情况下，方法600可以使用调整因子来校正多个像素值中的至少一些像素值。例如，如以上所描述，调整因子可以用于校正欠饱和/过饱和、和/或过饱和/过曝光的像素值。在一些情况下，方法600可以使用调整因子来校正与图像传感器相关联的曝光设置，并且还用来校正多个像素值中的至少一些像素值。

在一些方面中，方法600可以包括基于所估计的实际像素值、一个或多个饱和像素值和/或基于调整因子修改的多个像素值中的至少一部分像素值来生成图像。

在一些方面中，方法600可以包括：接收由图像传感器的光电传感器像素阵列捕获的附加图像的第二多个像素值，其中，一个或多个附加像素值对应于光电传感器像素阵列中的一个或多个附加SBP像素，并且一个或多个附加SBP像素中的每个SBP像素包括没有光过滤器(例如，掩膜、颜色过滤器)的SBP光电传感器像素、比光电传感器像素阵列中的其他光电传感器像素具有更大孔径的SBP像素、和/或被配置为以增加的比率将光子转换成电荷的SBP光电传感器像素；基于一个或多个附加像素值，确定第二多个像素值中的一个或多个附加像素值和/或一个或多个不同像素值的第二估计实际像素值；以及基于第二估计实际像素值和一个或多个欠饱和像素值的第二目标曝光值，确定针对第二多个像素值中的一个或多个欠饱和像素值的附加调整因子。

在一些情况下，方法600还可以包括基于附加调整因子，校正与图像传感器相关联的第二曝光设置和/或第二多个像素值中的至少一部分像素值。

在一些方面，方法600可以包括识别对应于一个或多个SBP像素的一个或多个像素值。在一些方面，方法600可以包括基于所识别的对应于一个或多个SBP像素的一个或多个像素值，来确定所估计的实际像素值和调整因子。在一些示例中，基于一个或多个像素值与一个或多个饱和像素值之间的差、一个或多个SBP像素的位置，和/或一个或多个像素值在包括多个像素值的图像阵列内的位置来识别一个或多个像素值。

在一些示例中，方法600可以由一个或多个计算设备或装置来执行。在一个说明性示例中，方法600可以由图1所示的图像捕获和处理系统100、和/或具有图7所示的计算设备700的架构的一个或多个计算设备执行。在一些情况下，这样的计算设备或装置可以包括处理器、微处理器、微型计算机或被配置为执行方法600的步骤的设备的其他组件。在一些示例中，这样的计算设备或装置可以包括被配置为捕获图像数据的一个或多个传感器。例如，计算设备可以包括智能手机、头戴式显示器、移动设备或其他合适的设备。在一些示例中，这样的计算设备或装置可以包括被配置为捕获一个或多个图像或视频的相机。在一些情况下，这样的计算设备可以包括用于显示图像的显示器。在一些示例中，一个或多个传感器和/或相机与计算设备分离，在这种情况下，计算设备接收所感测的数据。这样的计算设备还可以包括被配置为通信数据的网络接口。

计算设备的组件可以在电路中实施。例如，组件可以包括电子电路或其他电子硬件和/或可以使用其来实施，电子电路或其他电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)和/或其他合适的电子电路)；和/或可以包括计算机软件、固件或其任何组合和/或使用其来实施，以执行本文所描述的各种操作。计算设备还可以包括显示器(作为输出设备的示例或除了输出设备之外)、被配置为通信和/或接收数据的网络接口、其任何组合和/或(一个或多个)其他组件。网络接口可以被配置为通信和/或接收基于互联网协议(IP)的数据或其他类型的数据。

方法600被示为逻辑流程图，其操作表示可以用硬件、计算机指令或其组合来实施的操作序列。在计算机指令的上下文中，操作表示存储在一个或多个计算机可读存储介质中的计算机可执行指令，其在由一个或多个处理器执行时，执行所记载的操作。通常，计算机可执行指令包括执行特定功能或实施特定数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被解释为限制，并且任何数量的所描述的操作可以以任何顺序和/或并行组合来实施这些过程。

附加地，方法600可以在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可以通过硬件或其组合实施为在一个或多个处理器上共同执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用程序)。如上面指出的，代码可以存储在计算机可读或机器可读存储介质中，例如，以包括可由一个或多个处理器执行的多个指令的计算机程序的形式。计算机可读或机器可读存储介质可以是非暂时性的。

图7示出了可以实施本文所描述的各种技术的示例计算设备的示例计算设备架构700。例如，计算设备架构700可以实施图1所示的图像捕获和处理系统100的至少一些部分，并且执行如本文所描述的sHDR操作。计算设备架构700的组件被示为使用诸如总线的连接705彼此电通信。示例计算设备架构700包括处理单元(CPU或处理器)710和计算设备连接705，计算设备连接605将包括计算设备存储器715(诸如只读存储器(ROM)720和随机存取存储器(RAM)725)的各种计算设备组件耦合到处理器710。

计算设备架构700可以包括与处理器710直接连接、紧邻处理器710或集成为处理器710的一部分的高速存储器的高速缓存。计算设备架构700可以将数据从存储器715和/或存储设备730复制到高速缓存712，以供处理器710快速访问。这样，高速缓存可以提供性能提升，这避免了处理器710在等待数据时的延迟。这些和其他模块可以控制或被配置为控制处理器710执行各种动作。其他计算设备存储器715也可以使用。存储器715可以包括具有不同性能特征的多种不同类型的存储器。处理器710可以包括任何通用处理器，和存储在存储设备730中并且被配置为控制处理器710以及其中软件指令被结合到处理器设计中的专用处理器的硬件或软件服务。处理器710可以是包含多个核或处理器、总线、存储器控制器、高速缓存等的自包含系统。多核处理器可以是对称的或非对称的。

为了使用户能够与计算设备架构700交互，输入设备745可以表示任何数量的输入机制，诸如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、语音等。输出设备735也可以是本领域技术人员已知的多种输出机制中的一种或多种，诸如显示器、投影仪、电视、扬声器设备。在一些实例中，多模计算设备可以使用户能够提供多种类型的输入来与计算设备架构700通信。通信接口740通常可以支配和管理用户输入和计算设备输出。对于在任何特定硬件布置上的操作没有限制，并且因此本文的基本特征可以很容易地被改进的硬件或固件布置(在其被开发时)所替代。

存储设备730是非易失性存储器，并且可以是硬盘或能够存储计算机可访问的数据的其他类型的计算机可读介质，诸如磁带盒、闪存卡、固态存储设备、数字多功能盘、盒式磁带、随机存取存储器(RAM)725、只读存储器(ROM)720及其混合。存储设备730可以包括用于控制处理器710的软件、代码、固件等。也考虑了其他硬件模块或软件模块。存储设备730可以连接到计算设备连接705。在一些方面，执行特定功能的硬件模块可以包括存储在计算机可读介质中的软件组件，以及必要的硬件组件，诸如处理器710、连接705、输出设备735等，以实行该功能。

术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备以及能够存储、包含或承载(一个或多个)指令和/或数据的各种其他介质。计算机可读介质可以包括非暂时性介质，其中可以存储数据，并且不包括无线地或通过有线连接传播的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于磁盘或磁带、诸如光盘(CD)或数字多功能盘(DVD)的光学存储介质、闪存、存储器或存储设备。计算机可读介质中可以存储代码和/或机器可执行指令，这些指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任何组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容，代码段可以耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可以经由包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的手段来传递、转发或发送。

在一些实施例中，计算机可读存储设备、介质和存储器可以包括包含比特流等的有线或无线信号。然而，当提及时，非暂时性计算机可读存储介质明确地不包括诸如能量、载波信号、电磁波和信号本身的介质。

在上面的描述中提供了具体的细节，以提供对本文所提供的实施例和示例的全面理解。然而，本领域普通技术人员将理解，可以在没有这些具体细节的情况下实践这些实施例。为了解释清楚，在一些情况下，本技术可以被呈现为包括单独的功能块，这些功能块包括设备、设备组件、以软件或硬件和软件的组合体现的方法中的步骤或例程。可以使用除了图中所示和/或本文所描述的组件之外的附加的组件。例如，电路、系统、网络、过程和其他组件可以以框图形式示出为组件，以便不在不必要的细节中使实施例模糊。在其他情况下，为了避免使实施例模糊，众所周知的电路、过程、算法、结构和技术可以在没有不必要的细节的情况下示出。

各个实施例可以在上面被描述为过程或方法，该过程或方法被描绘为流程图、流式图、数据流图、结构图或框图。尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。此外，操作的次序可以被重新安排。当过程的操作完成时，该过程被终止，但是可能具有图中没有包括的附加的步骤。过程可以对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时，其终止可以对应于函数返回到调用函数或主函数。

根据以上所描述的示例的过程和方法可以使用存储在计算机可读介质中或以其他方式从计算机可读介质中获得的计算机可执行指令来实施。例如，这样的指令可以包括指令和数据，这些指令和数据使得或以其他方式配置通用计算机、专用计算机或处理设备来执行特定功能或功能组。所使用的计算机资源中的部分可以通过网络访问。例如，计算机可执行指令可以是二进制、诸如汇编语言的中间格式指令、固件、源代码。可以用于存储指令、所使用的信息和/或在根据所描述的示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、配备有非易失性存储器的USB设备、网络存储设备等。

实施根据这些公开的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合，并且可以采用各种形式因素中的任何一种。当以软件、固件、中间件或微代码实施时，执行必要任务的程序代码或代码段(例如，计算机程序产品)可以存储在计算机可读或机器可读介质中。(一个或多个)处理器可以执行必要的任务。形式因素的典型示例包括膝上型计算机、智能手机、移动电话、平板设备或其他小形式因素个人计算机、个人数字助理、机架安装设备、独立设备等。本文所描述的功能也可以在外围设备或附加卡中体现。作为进一步的示例，这样的功能也可以在电路板上在单个设备中执行的不同芯片或不同过程中实施。

指令、用于传送这样的指令的介质、用于执行它们的计算资源以及用于支持这样的计算资源的其他结构是用于提供本公开中所描述的功能的示例部件。

在前面的描述中，参考本申请的特定实施例描述了本申请的各方面，但是本领域技术人员将认识到本申请不限于此。因此，对然本文已经详细描述了本申请的说明性实施例，但是应理解，除了由现有技术限制的以外，本发明构思可以以不同的方式体现和使用，并且所附权利要求旨在被解释为包括这样的变化。以上所描述的应用的各种特征和方面可以单独使用或联合使用。进一步地，在不脱离本说明书的更广泛的精神和范围的情况下，实施例可以用于本文所描述的环境和应用之外的任何数量的环境和应用中。因此，说明书和附图应被视为说明性的而非限制性的。为了说明的目的，以特定的次序描述了方法。应理解，在替代实施例中，这些方法可以以不同于所描述的次序来执行。

普通技术人员将理解，在不脱离本描述的范围的情况下，本文使用的小于(“<”)和大于(“>”)符号或术语可以分别用小于或等于(“≤”)和大于或等于(“≥”)符号来替换。

在组件被描述为“被配置为”执行某些操作的情况下，这样的配置可以例如通过设计电子电路或其他硬件来执行该操作、通过对可编程电子电路(例如，微处理器或其他合适的电子电路)进行编程来执行该操作或其任何组合来实现。

短语“耦合到”是指直接或间接地物理地连接到另一组件的任何组件，和/或直接或间接与另一组件通信(例如，通过有线或无线连接和/或其他合适的通信接口连接到另一组件)的任何组件。

记载集合“中的至少一个”和/或集合“中的一个或多个”的权利要求语言或其他语言表示该集合中的一个成员或该集合中的多个成员(以任何组合)满足该权利要求。例如，记载“A和B中的至少一个”或“A或B中的至少一个”的权利要求语言意为A、B、或A和B。在另一示例中，记载“A、B和C中的至少一个”或“A、B或C中的至少一个”的权利要求语言意为A、B、C，或A和B，或A和C，或B和C，或A和B和C。语言集合“中的至少一个”和/或集合“中的一个或多个”并不将该集合限制为该集合中列出的项目。例如，记载“A和B中的至少一个”或“A或B中的至少一个”的权利要求语言可以意为A、B、或A和B，并且可以附加地包括没有在A和B的集合中列出的项目。

结合本文所公开的示例所描述的各种说明性逻辑块、模块、电路和算法步骤可以实施为电子硬件、计算机软件、固件或其组合。为了清楚地说明硬件和软件的这种可互换性，各种说明性的组件、块、模块、电路和步骤已经在上面关于它们的功能进行了一般描述。这样的功能实施为硬件还是软件取决于特定的应用和施加于整个系统的设计约束。技术人员可以针对每个特定应用以不同的方式实施所描述的功能，但是这样的实施方式决策不应被解释为导致脱离本申请的范围。

本文所描述的技术也可以通过电子硬件、计算机软件、固件或其任何组合来实施。这样的技术可以在多种设备中的任何一种中实施，诸如通用计算机、无线通信设备手持机或具有多种用途(包括在无线通信设备手持机和其他设备中的应用)的集成电路设备。被描述为模块或组件的任何特征可以在集成逻辑设备中一起实施，或作为分立但可互操作的逻辑设备单独实施。如果以软件实施，则该技术可以至少部分地由包括程序代码的计算机可读数据存储介质来实施，该程序代码包括在被执行时执行一个或多个以上所描述的方法、算法，和/或操作的指令。计算机可读数据存储介质可以形成计算机程序产品的一部分，该计算机程序产品可以包括封装材料。计算机可读介质可以包括存储器或数据存储介质，例如，诸如同步动态随机存取存储器(SDRAM)的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁或光学数据存储介质等。附加地或可替代地，这些技术可以至少部分地由计算机可读通信介质来实现，该计算机可读通信介质承载或通信以指令或数据结构形式的程序代码，并且可以由计算机访问、读取和/或执行，诸如传播的信号或波。

程序代码可以由处理器执行，该处理器可以包括一个或多个处理器，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或分立逻辑电路。这样的处理器可以被配置为执行本公开中所描述的任何技术。通用处理器可以是微处理器，但是可替代地，处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合，或任何其他这样的配置。因此，本文所使用的术语“处理器”可以指前述结构中的任一种、前述结构的任何组合，或适于实施本文所描述的技术的任何其他结构或装置。

本公开的说明性方面包括：

方面1：一种处理图像数据的方法，该方法包括：接收由图像传感器的光电传感器像素阵列捕获的图像的多个像素值，其中，多个像素值中的一个或多个像素值对应于光电传感器像素阵列中的一个或多个敏感度偏置光电传感器(SBP)像素，并且其中，多个像素值中的一个或多个饱和像素值对应于光电传感器像素阵列中的一个或多个其他光电传感器像素；基于对应于一个或多个SBP像素的一个或多个像素值，确定多个像素值中的一个或多个像素值和一个或多个饱和像素值中的至少一个的估计的实际像素值；基于所估计的实际像素值和目标曝光值来确定针对多个像素值中的至少一个像素值的调整因子；以及基于调整因子，校正与图像传感器相关联的曝光设置和多个像素值中的至少一个像素值中的至少一个。

方面2：根据方面1的方法，其中，确定估计的实际像素值包括：将对应于一个或多个SBP像素的一个或多个像素值乘以SBP光敏感度因子，该SBP光敏感度因子是基于一个或多个SBP像素被配置为过滤的光的百分比计算的。

方面3：根据方面1或2中任一方面的方法，其中，确定调整因子包括将目标曝光值除以所估计的实际像素值。

方面4：根据方面1至3中任一方面的方法，其中，一个或多个SBP像素中的每个SBP像素包括具有被配置为在一部分光到达光电传感器像素之前过滤该一部分光的掩模的光电传感器像素、具有与光电传感器像素阵列中的一个或多个其他光电传感器像素不同的孔径的光电传感器像素、以及被配置为以修改的比率将光子转换成电荷的光电传感器像素中的至少一个。

方面5：根据方面1至4中任一方面的方法，其中，一个或多个SBP像素位于光电传感器像素阵列的一个或多个边界处，一个或多个边界包括底行、顶行、左列和右列中的至少一个。

方面6：根据方面1至5中任一方面的方法，其中，一个或多个SBP像素位于光电传感器像素阵列的一个或多个非边界区域。

方面7：根据方面1至6中任一方面的方法，还包括基于所估计的实际像素值、一个或多个饱和像素值和基于调整因子修改的多个像素值中的至少一部分像素值中的至少一个来生成图像。

方面8：根据方面1至7中任一方面的方法，其中，一个或多个饱和像素值包括过饱和像素值，并且其中，一个或多个SBP像素具有降低的光敏感度。

方面9：根据方面1至8中任一方面的方法，其中，一个或多个SBP像素包括没有光过滤器的SBP光电传感器像素、比光电传感器像素阵列中的其他光电传感器像素具有更大孔径的SBP像素、以及被配置成以增加的比率将光子转换成电荷的SBP光电传感器像素中的至少一个，并且其中，一个或多个饱和像素值包括一个或多个欠饱和像素值。

方面10：根据方面1至9中任一方面的方法，其中，一个或多个SBP像素包括第一组像素和第二组像素，其中，第一组像素具有降低的光敏感度，并且其中，第二组像素具有增加的光敏感度。

方面11：根据方面1至10中任一方面的方法，还包括：识别对应于一个或多个SBP像素的一个或多个像素值，其中，一个或多个像素值基于一个或多个像素值与一个或多个饱和像素值之间的差、一个或多个SBP像素的位置、以及一个或多个像素值在包括多个像素值的图像阵列内的位置中的至少一个来识别。

方面12：一种用于处理图像数据的装置，该装置包括：存储器；以及耦合到存储器的一个或多个处理器，该一个或多个处理器被配置为：接收由图像传感器的光电传感器像素阵列捕获的图像的多个像素值，其中，多个像素值中的一个或多个像素值对应于光电传感器像素阵列中的一个或多个敏感度偏置光电传感器(SBP)像素，并且其中，多个像素值中的一个或多个饱和像素值对应于光电传感器像素阵列中的一个或多个其他光电传感器像素；基于对应于一个或多个SBP像素的一个或多个像素值，确定多个像素值中的一个或多个像素值和一个或多个饱和像素值中的至少一个的估计的实际像素值；基于所估计的实际像素值和目标曝光值来确定针对多个像素值中的至少一个像素值的调整因子；以及基于调整因子，校正与图像传感器相关联的曝光设置和多个像素值中的至少一个像素值中的至少一个。

方面13：根据方面12的装置，其中，确定估计的实际像素值包括将对应于一个或多个SBP像素的一个或多个像素值乘以SBP光敏感度因子，该SBP光敏感度因子是基于一个或多个SBP像素被配置为过滤的光的百分比计算的。

方面14：根据方面12或13中任一方面的装置，其中，确定调整因子包括将目标曝光值除以所估计的实际像素值。

方面15：根据方面12至14中任一方面的装置，其中，一个或多个SBP像素中的每个SBP像素包括具有被配置为在一部分光到达光电传感器像素之前过滤该一部分光的掩模的光电传感器像素、与光电传感器像素阵列中的一个或多个其他光电传感器像素具有不同的孔径的光电传感器像素、以及被配置为以修改的比率将光子转换成电荷的光电传感器像素中的至少一个。

方面16：根据方面12至15中任一方面的装置，其中，一个或多个SBP像素位于光电传感器像素阵列的一个或多个边界处，一个或多个边界包括底行、顶行、左列和右列中的至少一个。

方面17：根据方面12至16中任一方面的装置，其中，一个或多个SBP像素位于光电传感器像素阵列的一个或多个非边界区域。

方面18：根据方面12至17中任一方面的装置，其中，一个或多个处理器被配置为：基于所估计的实际像素值、一个或多个饱和像素值和基于调整因子修改的多个像素值中的至少一部分像素值中的至少一个来生成图像。

方面19：根据方面12至18中任一方面的装置，其中，一个或多个饱和像素值包括过饱和像素值，并且其中，一个或多个SBP像素具有降低的光敏感度。

方面20：根据方面12至19中任一方面的装置，其中，一个或多个SBP像素包括没有光过滤器的SBP光电传感器像素、比光电传感器像素阵列中的其他光电传感器像素具有更大孔径的SBP像素、以及被配置成以增加的比率将光子转换成电荷的SBP光电传感器像素中的至少一个，并且其中，一个或多个饱和像素值包括一个或多个欠饱和像素值。

方面21：根据方面12至20中任一方面的装置，其中，一个或多个SBP像素包括第一组像素和第二组像素，其中，第一组像素具有降低的光敏感度，并且其中，第二组像素具有增加的光敏感度。

方面22：根据方面12至21中任一方面的装置，其中，该一个或多个处理器被配置为：识别对应于一个或多个SBP像素的一个或多个像素值，其中，一个或多个像素值基于一个或多个像素值与一个或多个饱和像素值之间的差、一个或多个SBP像素的位置、以及一个或多个像素值在包括多个像素值的图像阵列内的位置中的至少一个来识别；以及至少部分地基于对应于一个或多个SBP像素的一个或多个像素值来确定估计的实际像素值和调整因子。

方面23：根据方面12至方面22中任一方面的装置，其中，该装置是移动设备。

方面24：根据方面12至方面23中任一方面的装置，其中，该装置是相机设备。

方面25：根据方面12至24中任一方面的装置，还包括显示器和图像传感器中的至少一个。

方面26：一种非暂时性计算机可读介质，其中存储有指令，该指令在由一个或多个处理器执行时使一个或多个处理器执行根据方面1至方面24中任一方面的方法。

方面27：一种装置，包括用于执行根据方面1至24中任一方面的操作的一个或多个部件。

Claims (30)

1.一种处理图像数据的方法，所述方法包括：

接收由图像传感器的光电传感器像素阵列捕获的图像的多个像素值，其中，所述多个像素值中的一个或多个像素值对应于所述光电传感器像素阵列中的一个或多个敏感度偏置光电传感器SBP像素，并且其中，所述多个像素值中的一个或多个饱和像素值对应于所述光电传感器像素阵列中的一个或多个其他光电传感器像素；

基于对应于所述一个或多个SBP像素的所述一个或多个像素值，确定所述多个像素值的所述一个或多个像素值和所述一个或多个饱和像素值中的至少一个的估计的实际像素值；

基于估计的实际像素值和目标曝光值来确定针对所述多个像素值中的至少一个像素值的调整因子；以及

基于所述调整因子，校正与所述图像传感器相关联的曝光设置和所述多个像素值中的所述至少一个像素值中的至少一个。

2.根据权利要求1所述的方法，其中，确定估计的实际像素值包括：将对应于所述一个或多个SBP像素的所述一个或多个像素值乘以SBP光敏感度因子，所述SBP光敏感度因子是基于所述一个或多个SBP像素被配置为过滤的光的百分比计算的。

3.根据权利要求2所述的方法，其中，确定所述调整因子包括：将所述目标曝光值除以估计的实际像素值。

4.根据权利要求1所述的方法，其中，所述一个或多个SBP像素中的每个SBP像素包括具有被配置为在一部分光到达光电传感器像素之前过滤所述一部分光的掩模的所述光电传感器像素、具有与所述光电传感器像素阵列中的所述一个或多个其他光电传感器像素不同的孔径的光电传感器像素、以及被配置为以修改的比率将光子转换成电荷的光电传感器像素中的至少一个。

5.根据权利要求1所述的方法，其中，所述一个或多个SBP像素位于所述光电传感器像素阵列的一个或多个边界处，所述一个或多个边界包括底行、顶行、左列和右列中的至少一个。

6.根据权利要求1所述的方法，其中，所述一个或多个SBP像素位于所述光电传感器像素阵列的一个或多个非边界区域。

7.根据权利要求1所述的方法，还包括基于估计的实际像素值、所述一个或多个饱和像素值和基于所述调整因子修改的所述多个像素值的至少一部分像素值中的至少一个来生成所述图像。

8.根据权利要求1所述的方法，其中，所述一个或多个饱和像素值包括过饱和像素值，并且其中，所述一个或多个SBP像素具有降低的光敏感度。

9.根据权利要求1所述的方法，其中，所述一个或多个SBP像素包括没有光过滤器的SBP光电传感器像素、比所述光电传感器像素阵列中的其他光电传感器像素具有更大孔径的SBP像素，以及被配置成以增加的比率将光子转换成电荷的SBP光电传感器像素中的至少一个，并且其中，所述一个或多个饱和像素值包括一个或多个欠饱和像素值。

10.根据权利要求1所述的方法，其中，所述一个或多个SBP像素包括第一组像素和第二组像素，其中，所述第一组像素具有降低的光敏感度，并且其中，所述第二组像素具有增加的光敏感度。

11.根据权利要求1所述的方法，还包括：

识别对应于所述一个或多个SBP像素的所述一个或多个像素值，其中，所述一个或多个像素值基于所述一个或多个像素值与所述一个或多个饱和像素值之间的差、所述一个或多个SBP像素的位置、以及所述一个或多个像素值在包括所述多个像素值的图像阵列内的位置中的至少一个来识别。

12.一种用于处理图像数据的装置，所述装置包括：

存储器；以及

耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：

接收由图像传感器的光电传感器像素阵列捕获的图像的多个像素值，其中，所述多个像素值中的一个或多个像素值对应于所述光电传感器像素阵列中的一个或多个敏感度偏置光电传感器SBP像素，并且其中，所述多个像素值中的一个或多个饱和像素值对应于所述光电传感器像素阵列中的一个或多个其他光电传感器像素；

基于对应于所述一个或多个SBP像素的所述一个或多个像素值，确定所述多个像素值中的所述一个或多个像素值和所述一个或多个饱和像素值中的至少一个的估计的实际像素值；

基于估计的实际像素值和目标曝光值来确定针对所述多个像素值中的至少一个像素值的调整因子；以及

基于所述调整因子，校正与所述图像传感器相关联的曝光设置和所述多个像素值中的所述至少一个像素值中的至少一个。

13.根据权利要求12所述的装置，其中，为了确定估计的实际像素值，所述一个或多个处理器被配置为：将对应于所述一个或多个SBP像素的所述一个或多个像素值乘以SBP光敏感度因子，所述SBP光敏感度因子是基于所述一个或多个SBP像素被配置为过滤的光的百分比计算的。

14.根据权利要求13所述的装置，其中，为了确定所述调整因子，所述一个或多个处理器被配置为将所述目标曝光值除以估计的实际像素值。

15.根据权利要求12所述的装置，其中，所述一个或多个SBP像素中的每个SBP像素包括具有被配置为在一部分光到达光电传感器像素之前过滤所述一部分光的掩模的所述光电传感器像素、具有与所述光电传感器像素阵列中的所述一个或多个其他光电传感器像素不同的孔径的光电传感器像素、以及被配置为以修改的比率将光子转换成电荷的光电传感器像素中的至少一个。

16.根据权利要求12所述的装置，其中，所述一个或多个SBP像素位于所述光电传感器像素阵列的一个或多个边界处，所述一个或多个边界包括底行、顶行、左列和右列中的至少一个。

17.根据权利要求12所述的装置，其中，所述一个或多个SBP像素位于所述光电传感器像素阵列的一个或多个非边界区域。

18.根据权利要求12所述的装置，其中，所述一个或多个处理器被配置为：

基于估计的实际像素值、所述一个或多个饱和像素值和基于所述调整因子修改的所述多个像素值的至少一部分像素值中的至少一个来生成所述图像。

19.根据权利要求12所述的装置，其中，所述一个或多个饱和像素值包括过饱和像素值，并且其中，所述一个或多个SBP像素具有降低的光敏感度。

20.根据权利要求12所述的装置，其中，所述一个或多个SBP像素包括没有光过滤器的SBP光电传感器像素、比所述光电传感器像素阵列中的其他光电传感器像素具有更大孔径的SBP像素、以及被配置成以增加的比率将光子转换成电荷的SBP光电传感器像素中的至少一个，并且其中，所述一个或多个饱和像素值包括一个或多个欠饱和像素值。

21.根据权利要求12所述的装置，其中，所述一个或多个SBP像素包括第一组像素和第二组像素，其中，所述第一组像素具有降低的光敏感度，并且其中，所述第二组像素具有增加的光敏感度。

22.根据权利要求12所述的装置，其中，所述一个或多个处理器被配置为：

识别对应于所述一个或多个SBP像素的所述一个或多个像素值，其中，所述一个或多个像素值基于所述一个或多个像素值与所述一个或多个饱和像素值之间的差、所述一个或多个SBP像素的位置、以及所述一个或多个像素值在包括所述多个像素值的图像阵列内的位置中的至少一个来识别；以及

至少部分地基于对应于所述一个或多个SBP像素的所述一个或多个像素值来确定估计的实际像素值和所述调整因子。

23.根据权利要求12所述的装置，其中，所述装置是移动设备。

24.根据权利要求12所述的装置，其中，所述装置是相机设备。

25.根据权利要求12所述的装置，还包括显示器和图像传感器中的至少一个。

26.一种其上存储有指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：

接收由图像传感器的光电传感器像素阵列捕获的图像的多个像素值，其中，所述多个像素值中的一个或多个像素值对应于所述光电传感器像素阵列中的一个或多个敏感度偏置光电传感器SBP像素，并且其中，所述多个像素值中的一个或多个饱和像素值对应于所述光电传感器像素阵列中的一个或多个其他光电传感器像素；

基于对应于所述一个或多个SBP像素的所述一个或多个像素值，确定所述多个像素值中的所述一个或多个像素值和所述一个或多个饱和像素值中的至少一个的估计的实际像素值；

基于估计的实际像素值和目标曝光值来确定针对所述多个像素值中的至少一个像素值的调整因子；以及

基于所述调整因子，校正与所述图像传感器相关联的曝光设置和所述多个像素值中的所述至少一个像素值中的至少一个。

27.根据权利要求26所述的非暂时性计算机可读介质，其中，为了确定估计的实际像素值，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：将对应于所述一个或多个SBP像素的所述一个或多个像素值乘以SBP光敏感度因子，所述SBP光敏感度因子是基于所述一个或多个SBP像素被配置为过滤的光的百分比计算的。

28.根据权利要求27所述的非暂时性计算机可读介质，其中，为了确定所述调整因子，所述指令在由一个或多个处理器执行时使所述一个或多个处理器将所述目标曝光值除以估计的实际像素值。

29.根据权利要求26所述的非暂时性计算机可读介质，其中，所述一个或多个SBP像素中的每个SBP像素包括具有被配置为在一部分光到达光电传感器像素之前过滤所述一部分光的掩模的所述光电传感器像素、具有与所述光电传感器像素阵列中的所述一个或多个其他光电传感器像素不同的孔径的光电传感器像素、以及被配置为以修改的比率将光子转换成电荷的光电传感器像素中的至少一个。

30.根据权利要求26所述的非暂时性计算机可读介质，其中，所述指令在由一个或多个处理器执行时使所述一个或多个处理器：

基于估计的实际像素值、所述一个或多个饱和像素值和基于所述调整因子修改的所述多个像素值的至少一部分像素值中的至少一个来生成所述图像。

Images