CN115023944A - 显示器下相机系统和方法 - Google Patents

Abstract

示例图像捕获设备包括：显示器，其被配置为显示捕获的图像；相机传感器，该相机传感器被设置为通过显示器的至少一部分接收光；存储器，其被配置为存储捕获的图像；以及一个或多个处理器，其耦合到相机传感器、显示器和存储器。一个或多个处理器被配置为从传感器接收信号。一个或多个处理器被配置为至少部分地基于信号来确定用户界面模式。用户界面模式包括具有第一数量的黑色像素的第一模式或具有第二数量的黑色像素的第二模式。第一数量大于该第二数量。一个或多个处理器还被配置为从相机传感器接收图像数据。

Description

显示器下相机系统和方法

相关申请的交叉引用

本申请要求享有于2019年11月15日提交的PCT申请PCT/CN2019/118746和于2020年6月1日提交的PCT申请PCT/CN2020/093726的优先权，这两个PCT申请的完整内容通过引用并入。

技术领域

本公开总体上涉及图像和相机处理。

背景技术

图像捕获设备(例如，数码相机)通常被整合到各种各样的设备中。在本公开中，图像捕获设备指代可以捕获一个或多个数字图像的任何设备，包括可以捕获静态图像的设备和可以捕获图像序列以记录视频的设备。通过示例的方式，图像捕获设备可以包括独立的数码相机或数字视频摄像机、配备有相机的无线通信设备手机(例如，移动电话(包括蜂窝或卫星无线电电话))、配备有相机的平板计算机或个人数字助理(PDA)、包括相机(例如，所谓的“网络相机”)的计算机设备，或具有数字成像或视频能力的任何设备。

图像捕获设备可以在各种照明条件(例如，光源)下产生图像。例如，图像捕获设备可以在包括大量反射光或饱和光的环境中，以及在包括高对比度的环境中操作。一些示例图像捕获设备包括用于自动曝光控制、自动白平衡和自动对焦的调整模块，以及用于调整由成像信号处理器硬件执行的处理的其他模块(例如，色调调整模块)。

发明内容

通常，本公开描述了一种用于图像处理的技术，包括针对显示器下相机传感器(例如，用于前置相机的那些传感器)执行显示阴影补偿。在图像捕获设备上使显示器大小最大化的一种方式是将一个或多个相机传感器放置在显示器下方。当相机传感器被放置在显示器(例如，液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管(AMOLED，其可以是OLED显示器的具体示例)或其他显示器)下时，显示器的层对相机传感器造成阴影(shade)，因此，与相机传感器不在显示器下方的情况相比，相机传感器接收到的图像信息强度和准确度较低。例如，显示器的层可能使到达相机传感器的环境光衰减，并且相机传感器上方的子像素可能会造成阴影，例如，空间跨步(spatialstride)和阴影。

子像素包括构成像素的元素，例如，RGB像素的红元素、蓝元素和绿元素。此外，如果相机传感器上方的像素正在显示内容，则相机传感器可以捕获被显示的内容散射的光。此外，子像素区域内的显示器透明度(例如，OLED透明度)可能受到子像素值或当前强度的影响。自然光行进通过显示器到相机传感器上。显示器透明度(例如，OLED透明度)和子像素物理区域的透明度可能受到显示的内容像素值的影响。像素值(其成为子像素的驱动电流)将影响自然光吸收和通过显示器的光量。自然光通过的显示器的区域可能有具有带有物理像素元素的区域和没有物理像素元素的区域。对于带有物理像素元素的区域和没有物理像素元素的区域，透明率(或通过显示器的光量)可能不同。在显示器活动地显示内容的同时，像素的透明度可能会受到像素值的影响。此外，随着显示器的老化，显示器透明度可能会由于驱动像素的电流和时间而降低。

在一些示例中，将相机传感器部分地定位在显示器的至少一部分下方或与显示器邻近可能会导致显示器阴影，并且相机传感器还可能捕获被显示的内容散射的光。本公开描述了一种用于解决和/或补偿关于显示器下相机的这些问题的技术，这些显示器下相机例如为被设置在显示器下方、部分地在显示器下方或与显示器邻近的相机传感器，使得光在由相机传感器接收之前通过显示器层。

另外地或可替代地，在一些示例中，与显示器中的子像素的大小、形状和位置相关的预设参数可以存储在图像捕获设备中。图像捕获设备还可以确定与相机传感器上方的显示器中的像素的老化状态相关的老化因子。可以捕获显示内容的一部分或全部，并且可以基于老化因子、预设参数和/或要显示的内容的至少一部分来创建调整矩阵，例如，二维增益矩阵。如本文所使用的，要显示的内容的一部分是指一个或多个帧的一部分、一个或多个整个帧、或两者的组合。帧的一部分是指帧的一部分或整个帧。调整矩阵可以应用于由相机传感器捕获的图像，以补偿显示阴影。

本公开还描述了一种用于改进显示器中的透射率的技术。这些用于改进透光率的技术是对本公开的图像处理技术的补充或替代，并且可以与本文公开的图像处理技术一起使用，或者可以单独使用。在一个示例中，可以自动选择与图像捕获应用一起使用的第一用户界面(UI)模式，当图像捕获应用在低环境光情况下使用时，该第一UI模式与可以显示内容的第二UI模式相比，可以改进显示器透明度，其中内容的一部分或全部显示在相机传感器之上。在一些示例中，例如，在中等环境光情况下，可以使用第三UI模式。在一些示例中，对UI模式的选择可以至少部分地基于传感器信号。

在本公开的一个示例中，一种图像处理方法包括：在图像捕获设备处，接收由相机传感器捕获的第一图像数据，其中，所述相机传感器被设置为通过所述图像捕获设备上的显示器的至少一部分接收光；在所述图像捕获设备处，接收显示内容的至少一部分；在所述图像捕获设备处，基于所述显示内容的至少一部分来确定调整矩阵；将所述调整矩阵应用于所述第一图像数据以创建第二图像数据；以及输出所述第二图像数据。

在另一示例中，本公开描述了一种图像捕获装置，包括：存储器；以及一个或多个处理器，其耦合到相机传感器和存储器并且被配置为：从所述相机传感器接收第一图像数据，所述相机传感器被设置为通过显示器的至少一部分接收光；接收显示内容的至少一部分；基于所述显示内容的至少一部分来确定调整矩阵；将所述调整矩阵应用于所述第一图像数据以创建第二图像数据；以及输出所述第二图像数据。

在另一示例中，本公开描述了一种图像捕获装置，包括：用于从所述相机传感器接收第一图像数据的单元，所述相机传感器被设置为通过显示器的至少一部分接收光；用于接收显示内容的至少一部分的单元；用于基于所述显示内容的至少一部分来确定调整矩阵的单元；用于将所述调整矩阵应用于所述第一图像数据以创建第二图像数据的单元；以及用于输出所述第二图像数据的单元。

在另一示例中，本公开描述了一种存储指令的非暂时性计算机可读存储介质，该指令当被执行时，使得一个或多个处理器进行以下操作：从所述相机传感器接收第一图像数据，所述相机传感器被设置为通过显示器的至少一部分接收光；接收显示内容的至少一部分；基于所述显示内容的至少一部分来确定调整矩阵；将所述调整矩阵应用于所述第一图像数据以创建第二图像数据；以及输出所述第二图像数据。

在本公开的一个示例中，一种方法包括：由图像捕获设备从传感器接收信号；由图像捕获设备并且至少部分地基于所述信号来确定用户界面模式，所述用户界面模式包括第一模式或第二模式，其中，所述第一模式包括在显示器的区域中的第一数量的黑色像素，并且所述第二模式包括在所述显示器的所述区域中的第二数量的黑色像素，所述第一数量大于所述第二数量；以及由所述图像捕获设备从相机传感器接收图像数据，其中，所述相机传感器被设置为通过所述显示器的至少一部分接收光。

在另一示例中，本公开描述了一种图像捕获装置，包括：显示器，其被配置为显示捕获的图像；显示器下相机传感器，所述显示器下相机传感器被设置为通过所述显示器的至少一部分接收光；存储器，其被配置为存储捕获的图像；以及一个或多个处理器，其耦合到所述相机传感器、所述显示器和所述存储器并且被配置为：从传感器接收信号；至少部分地基于所述信号来确定用户界面模式，所述用户界面模式包括第一模式或第二模式，其中，所述第一模式包括在所述显示器的区域中的第一数量的黑色像素，并且所述第二模式包括在所述显示器的所述区域中的第二数量的黑色像素，所述第一数量大于所述第二数量；以及从所述相机传感器接收图像数据。

在另一示例中，本公开描述了一种图像捕获装置，包括：用于从传感器接收信号的单元；用于至少部分地基于所述信号来确定用户界面模式的单元，所述用户界面模式包括第一模式或第二模式，其中，所述第一模式包括在显示器的区域中的第一数量的黑色像素，并且所述第二模式包括在所述显示器的所述区域中的第二数量的黑色像素，所述第一数量大于所述第二数量；以及用于从相机传感器接收图像数据的单元，其中，所述相机传感器被设置为通过所述显示器的至少一部分接收光。

在另一示例中，本公开描述了一种存储指令的非暂时性计算机可读存储介质，该指令当被执行时，使得一个或多个处理器进行以下操作：从传感器接收信号；至少部分地基于所述信号来确定用户界面模式，所述用户界面模式包括第一模式或第二模式，其中，所述第一模式包括在显示器的区域中的第一数量的黑色像素，并且所述第二模式包括在所述显示器的所述区域中的第二数量的黑色像素，所述第一数量大于所述第二数量；以及从相机传感器接收图像数据，其中，所述相机传感器被设置为通过所述显示器的至少一部分接收光。

本公开的一个或多个方面的细节在附图和下面的描述中阐述。本公开所描述的技术的其他特征、目的和优点将从说明书、附图和权利要求中显而易见。

附图说明

图1是示例性图像捕获设备的框图，该示例性图像捕获设备被配置为实现本公开的技术。

图2A-2D是示出具有前置相机传感器和显示器的图像捕获设备的示例的框图。

图3是示出被配置为实现本公开的技术的示例图像捕获设备的剖视图的框图。

图4A-4B是示出根据本公开的技术的不同示例的OLED显示器的属性的框图。

图5是示出可以与本公开的技术一起使用的分区控制(zoning control)的示例的概念图。

图6A-6C是示出显示器中RGB子像素的可能物理布局的概念图。

图7是可以实现本公开的技术的示例图像捕获设备的框图。

图8A-8C是示出根据本公开的技术的在显示器下相机传感器之上的显示器的区域中的不同示例UI模式的概念图。

图9A-9C是示出根据本公开的技术的第一模式的进一步示例的概念图。

图10是示出根据本公开的技术的示例图像信号处理(ISP)流水线的框图。

图11A-11C是代表根据本公开的技术的确定预设参数的概念图。

图12是示出用于同步显示阴影补偿的技术的概念图。

图13是示出根据本公开的示例显示阴影补偿技术的流程图。

图14是示出根据本公开的示例显示阴影补偿技术的流程图。

图15是示出根据本公开的示例同步技术的流程图。

图16是示出根据本公开的技术的确定用户界面的示例的流程图。

图17是示出根据本公开的技术的确定用户界面的另一示例的流程图。

具体实施方式

本公开描述了一种图像处理技术，该图像处理技术对由相机传感器被设置在显示器的至少一部分下方而导致的显示阴影进行了负责和/或补偿。显示器可以使用透明材料，其像素结构被设计为使光可以穿透显示器到达相机传感器。以这种方式使用的相机传感器可能比其他前置“自拍”相机更大，并且可能具有较宽的光圈镜头。例如，相机传感器大小不需要受显示器周围的聚光圈(bezel)或边界空间的限制或约束。通过将相机传感器定位在设备上的显示器下使得相机传感器可以通过显示器的至少一部分来接收光，与类似大小的设备具有在设备正面的专用于相机传感器的空间相比，可用的显示空间的大小可能会扩大。可替代地，可以使用较小的外形规格来提供相同的可用显示大小。此外，通过将相机传感器定位在显示器下，相机传感器可以被放置在显示器下的任何地方。例如，相机传感器可以位于当拍摄“自拍”时用户的眼睛可能指向的地方。以这种方式，由相机传感器捕获的图像中眼睛的注视可能看起来看向相机而不是相机下方，如在相机传感器位于显示器上方或靠近图像捕获设备的顶部时可能发生的。

在许多图像捕获设备中，可能期望使图像捕获设备上的显示器的大小最大化。对于较小的图像捕获设备(例如，移动电话和其他移动设备)尤其如此。许多图像捕获设备(例如，移动设备)包括面向移动设备的用户的前置相机(“自拍”相机)。使具有前置相机的图像捕获设备上的显示器大小最大化并非没有限制。前置相机已经位于图像捕获设备的正面，在设备的边缘与显示器的边缘之间。为了使具有前置相机的图像捕获设备上的显示器大小最大化，一些制造商已经扩大了显示器，并在显示器上引入了凹口(notch)，以避免显示器覆盖相机传感器。其他制造商已经扩大了显示器，使其实质上覆盖了图像捕获设备的正面并增加了弹出式相机，而不是将相机传感器放置在图像捕获设备的主体上。

使显示器大小最大化的一种方式是将相机传感器定位在显示器下。然而，通过将相机传感器定位在显示器下，显示器可能会导致衰减、空间跨步和阴影、光散射或漫射，和/或在由相机传感器捕获的图像信号中的其他不期望的效果。例如，雾(haze)、眩光(glare)和/或偏色(color cast)可能会影响被捕获的图像的质量。这些问题可能随着显示器的老化而恶化。例如，用于驱动子像素的电流可能导致子像素失去亮度(例如，变暗)。在相机传感器上方的显示器的区域用于显示内容的情况下，对图像质量的影响可能更加严重。例如，在相机传感器正上方的子像素中的一些或全部子像素可能正在活动地显示内容，而相机传感器在捕获图像时可能捕获从显示内容散射的光。通常，使用显示器下相机的前述不期望的效果可以被称为显示阴影。

本公开内容描述了一种用于显示阴影补偿的技术。本公开的显示阴影补偿技术可以使用透明显示器的物理布局的特征、在相机传感器上方显示的内容的特性、以及在相机传感器上方的像素的老化状态，来补偿在任何捕获的图像中经历的显示阴影。

本公开还描述了一种用于在低光照的情况下管理显示器的UI技术。例如，在低光照情况下，与高光照情况相比，通过显示器到达显示器下的相机传感器的光可能较少。本公开描述了用于改进通过显示器的透光率的技术，使得相机传感器可以接收足够的光来捕获在美学上令人愉悦的图像。

图1是示出可以被配置为执行本公开的技术的设备2的框图。设备2可以构成图像捕获设备的一部分，或构成能够编码和发送和/或接收静态图像和/或视频序列的数字视频设备的一部分。通过示例的方式，设备2可以构成无线移动通信设备的一部分，该无线移动通信设备例如蜂窝电话或卫星无线电电话、智能电话、独立的数码相机或视频摄像机、个人数字助理(PDA)、平板计算机、膝上型计算机或具有成像或视频能力的任何设备，其中图像处理是期望的。

如图1中示出的，设备2包括图像处理装置4，其用于存储原始图像数据并对这种数据执行各种处理技术。图像处理装置4可以包括一个或多个集成电路，其包括数字信号处理器(DSP)、片上存储器以及可能的硬件逻辑或电路。更一般地，图像处理装置4可以包括处理器、硬件、软件或固件的任何组合，并且图像处理装置4的各种组件可以这样实现。而且，如果需要的话，图像处理装置4可以包括单个集成芯片或编码器/解码器(CODEC)。

在图1所示的示例中，图像处理装置4包括本地存储器8、存储器控制器10和图像信号处理器6。图像信号处理器6可以是通用处理单元，或者可以是专门被设计用于成像应用(例如，用于手持电子设备)的处理器。如所示的，图像信号处理器6经由存储器控制器10耦合到本地存储器8和外部存储器14。在一些示例中，本地存储器8可以例如作为高速缓冲存储器并入图像信号处理器6中。

如图1中示出的，图像信号处理器6可以被配置为执行自动曝光控制(AEC)过程20、自动白平衡(AWB)过程22、自动对焦(AF)过程24、显示阴影补偿(DSC)过程26、镜头阴影补偿(LSC)过程28和/或固定模式噪音补偿(FPNC)过程30。在一些示例中，图像信号处理器6可以包括特定于硬件的电路(例如，专用集成电路(ASIC))，其被配置为执行AEC过程20、AWB过程22、AF过程24、DSC过程26、LSC过程28和/或FPNC过程30。在其他示例中，图像信号处理器6可以被配置为执行软件和/或固件，以执行AEC过程20、AWB过程22、AF过程24、DSC过程26、LSC过程28和/或FPNC过程30。当以软件配置时，用于AEC过程20、AWB过程22、AF过程24、DSC过程26、LSC过程28和/或FPNC过程30的代码可以存储在本地存储器8和/或外部存储器14。在其他示例中，图像信号处理器6可以使用硬件、固件和/或软件的组合来执行AEC过程20、AWB过程22、AF过程24、DSC过程26、LSC过程28和/或FPNC过程30。当被配置为软件时，AEC过程20、AWB过程22、AF过程24、DSC过程26、LSC过程28和/或FPNC过程30可以包括配置图像信号处理器6以执行各种图像处理和设备管理任务(包括本公开的DSC技术)的指令。

AEC过程20可以包括用于配置、计算、存储和/或应用相机模块12的曝光设置的指令。曝光设置可以包括用于捕获图像的快门速度和光圈设置。根据本公开的技术，图像信号处理器6可以使用由相机模块12捕获的深度信息来更好地识别图像的主体，并基于识别出的主体进行曝光设置。AF过程24可以包括用于配置、计算、存储和/或应用相机模块12的自动对焦设置的指令。

AWB过程22可以包括用于配置、计算、存储和/或应用AWB设置(例如，AWB增益)的指令，该AWB设置可以应用于由相机模块12捕获的一个或多个图像。在一些示例中，由AWB过程22确定出的AWB增益可以应用于从其确定出AWB增益的图像。在其他示例中，由AWB过程22确定出的AWB增益可以应用于在从其确定出AWB增益的图像之后捕获的一个或多个图像。因此，AWB增益可以应用于在从其确定出AWB增益的第一图像之后捕获的第二图像。在一个示例中，第二图像可以是紧跟在从其确定出AWB增益的第一图像之后捕获的图像。即，如果第一图像是帧N，则应用AWB增益的第二图像是帧N+1。在其他示例中，第二图像可以是在从其确定出AWB增益的第一图像之后两个图像捕获的图像。即，如果第一图像是帧N，则应用AWB增益的第二图像是帧N+2。在其他示例中，AWB增益可以应用于距第一图像在时间上更晚被捕获的图像(例如，帧N+3、帧N+4等)。在其他示例中，AWB增益可以应用于从其确定出AWB增益的第一图像。

DSC过程26可以包括配置、计算、存储和/或应用显示阴影补偿增益的指令。例如，DSC过程26可以接收由相机传感器捕获的第一图像数据。相机传感器可以被设置在显示器的至少一部分下方。DSC过程26可以进行以下操作：接收显示内容的至少一部分；基于预设参数、显示的内容的至少一部分和/或相机传感器上方的像素的老化状态，来确定调整矩阵，例如，二维增益矩阵；以及将调整矩阵应用于第一图像数据以创建第二图像数据；以及输出第二图像数据。预设参数可以指示显示器中子像素的形状、大小或位置，并且可以表示用于补偿诸如由显示器子像素布局(例如，显示器中子像素的大小、形状和位置)导致的阴影或着色之类的问题的补偿参数。在一些示例中，预设参数还可以指示显示器中活动像素的位置，并且可以表示基于分区控制的补偿(例如，其中在给定区域中的所有像素的像素子集可以活动地显示内容)。在一些示例中，预设参数可以使用下面关于图8A-8C所描述的灰度颜色检查卡来确定，以生成多个调整矩阵，并且DSC过程26可以通过计算子像素值之和的平均(例如，(R+G+B)/像素数*3)，来补偿显示的内容至少一部分(例如，相机传感器上方的那些内容)，并使用所述平均作为索引来对调整矩阵中的一个调整矩阵进行选择或调整。如本文所使用的，平均是统计测量的示例。

LSC过程28可以包括用于配置、计算、存储和/或应用镜头阴影补偿增益的指令。例如，LSC过程28可以补偿由于相机镜头导致的朝向图像边缘的光脱落。

FPNC程序30可以包括阴影配置、计算、存储和/或应用FPN补偿过程的指令。例如，FPNC过程30可以从捕获的图像中减去主暗帧以补偿FPN。

本地存储器8可以存储原始图像数据，并且还可以存储在由图像信号处理器6执行的任何处理之后的经处理的图像数据。本地存储器8可以由各种非暂时性存储器装置中的任何一种形成，例如，动态随机存取存储器(DRAM)，其包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其他类型的存储器装置。存储器控制器10可以控制本地存储器8内的存储器组织。存储器控制器10还可以控制从本地存储器8到图像信号处理器6的存储器加载和从图像信号处理器6到本地存储器8的回写。要由图像信号处理器6处理的图像可以在图像捕获之后从相机模块12直接加载到图像信号处理器6中，也可以在图像处理期间存储在本地存储器8中。

如先前所指出的，设备2可以包括相机模块12以捕获要处理的图像，尽管本公开不一定在这方面受到限制。相机模块12可以包括固态传感器元件的阵列，例如，互补金属氧化物半导体(CMOS)传感器元件、电荷耦合器件(CCD)传感器元件等。可替代地或另外地，相机模块12可以包括一组图像传感器，其包括布置在相应的传感器表面上的滤色器阵列(CFA)。相机模块12可以直接与图像信号处理器6耦合，以避免图像处理的延迟。相机模块12可以被配置为捕获静态图像或全运动视频序列，在这种情况下，可以对视频序列的一个或多个图像帧执行图像处理。

相机模块12可以将描述捕获的图像的像素值(例如，以Bayer或RGB格式)和/或原始统计信息发送到图像信号处理器6。从相机模块12获得的信息可以用于DSC过程26，这将在下文中详细描述。通常，图像信号处理器6可以被配置为分析原始统计信息和深度信息，以计算和/或确定成像参数，例如，传感器增益、R/G/B增益、AWB增益、快门速度、光圈大小等。计算和/或确定出的成像参数可以应用于捕获的图像、应用于一个或多个随后捕获的图像、和/或发送回相机模块12以调整曝光和/或焦点设置。

设备2可以包括显示器16，其在本公开所描述的图像处理之后显示图像。在这种图像处理之后，图像可以被写入本地存储器8或外部存储器14。然后，经处理的图像可以被发送到显示器16，以供向用户呈现。显示器16可以显示其他信息，包括存储在存储器位置(例如，外部存储器14)中的文件、安装在图像信号处理器6中的软件应用、用户界面、网络可访问的内容对象和其他信息的视觉表示。

在一些示例中，设备2可以包括多个存储器。例如，设备2可以包括外部存储器14，该外部存储器14典型地包括相对大的存储器空间。例如，外部存储器14可以包括DRAM或闪速存储器。在其他示例中，外部存储器14可以包括非易失性存储器或任何其他类型的数据存储单元。与外部存储器14相比，本地存储器8可以包括更小和更快的存储器空间，尽管本公开不一定在这方面受到限制。通过示例的方式，本地存储器8可以包括SDRAM。在任何情况下，外部存储器14和本地存储器8仅仅是示例性的，并且可以结合到同一个存储器部分中，或者可以以任何数量的其他配置来实现。在一些示例中，外部存储器14可以存储第一UI和第二UI。例如，第一UI可以在显示器下相机传感器上方的区域中显示黑色像素，并且第二UI可以在显示器下相机传感器上方的区域中显示非黑色像素。

设备2还可以包括发射机(未示出)，以将经处理的图像或经编码的图像序列发送到另一设备。事实上，本公开的技术可以用于包括数码相机功能或数字视频能力的手持无线通信设备(例如，智能电话)。在这种情况下，该设备还将包括调制器-解调器(MODEM)，以促进将基带信号无线调制到载波波形上，从而促进经调制的信息的无线通信。

本地存储器8、显示器16和外部存储器14(如果需要，还有其他组件)可以经由通信总线15耦合。设备2中还可以包括数个其他元素，但为了简单和容易说明，图1中没有具体示出。图1中示出的架构只是示例性的，因为本文描述的技术可以利用各种其他架构来实现。

图2A-2D是示出图像捕获设备(例如，智能电话)的示例的框图。每个图像捕获设备被描绘为具有显示器和前置相机传感器。在该上下文中，前置相机传感器在典型操作中面对图像捕获设备用户的相机传感器。例如，前置相机传感器典型地与主显示器在设备的同一侧。每个前置相机传感器可以是相机模块(例如，相机模块12)的一部分。例如，在图2A中，图像捕获设备200包括显示器202、相机传感器204和按钮206。按钮206可以服务于多种用途，例如，唤醒图像捕获设备200、改变显示器202上显示的内容等。可以看出，按钮206和相机传感器204占据图像捕获设备200的前面的空间。通过将相机传感器204和按钮206定位在图像捕获设备200的前面，可用于显示器202的面积更小。

在图2B的示例中，在另一方面，图像捕获设备210没有在前面的按钮。在这种情况下，按钮可以在侧面，或者按钮的功能可以包括在显示器212中(例如，通过触摸显示界面)。图像捕获设备210被描绘为具有相机传感器214和凹口216。凹口216可以是在组装图像捕获设备210之前从显示器上移除的区域。在该示例中，由凹口216覆盖的区域因此不是显示器212的一部分，并且不显示内容。凹口216可以被采用，以便与图2A的图像捕获设备200相比，增加图像捕获设备210的前侧被显示器212占据的比率。

在图2C的示例中，图像捕获设备220具有显示器222和弹出式相机226。相机传感器224可以被包含在弹出式相机226中。在图像捕获设备220的示例中，整个显示器222可以显示内容并且没有例如图2B的图像捕获设备210中的凹口。

在图2D的示例中，图像捕获设备230具有显示器232和相机传感器234。在一些示例中，图像捕获设备230可以具有多于一个相机传感器。例如，图像捕获设备230可以具有相机传感器234和相机传感器238。图像捕获设备230可以包括设备2或作为设备2的示例，并且显示器232可以是显示器16的示例。在图2D的图像捕获设备230的示例中，与图2A-2C的示例不同，相机传感器234和相机传感器238被设置在显示器232的下方。在一些示例中，相机传感器234或相机传感器238的一部分而不是全部可以被设置在显示器232的下方。显示器232可以包括透明层。显示器232的区域232A、显示器232的区域232B和显示器232的区域232C将结合图5、图7和图9进一步讨论。虽然本公开的技术总体上是参考具有被设置在显示器下方的相机传感器的图像捕获设备(例如，图像捕获设备230)来描述的，但本公开的技术可以与其他图像捕获设备(例如，图像捕获设备200、210和220或具有部分被设置在显示器下的相机传感器的图像捕获设备)一起使用。

现在参考图2A-2D中的每一个，图像捕获设备200具有比图像捕获设备210、220和230更大的外形规格，但具有与图像捕获设备220的显示器222和图像捕获设备230的显示器232相同的大小的显示器202，并且由于凹口216，其显示器202比图像捕获设备210的显示器212稍大。图像捕获设备210具有与图像捕获设备220和230相同的外形规格，但由于凹口216，图像捕获设备210在显示器212上的可用显示空间较少。此外，凹口216可能使一些用户分心。图像捕获设备220具有与图像捕获设备230相同的外形规格和可用的显示空间，但是图像捕获设备220在弹出式相机226中具有可移动的部件。这些可移动的部件在反复使用或用户将图像捕获设备220掉落到坚硬的表面上的情况下，可能被损坏或卡住。因此，可能期望将相机传感器定位在显示器的下方，因为将相机传感器定位在显示器下可以使显示空间最大化，同时避免凹口和移动的机械部件。

此外，对于图2D的图像捕获设备230，相机传感器234可以被定位在显示器232下方的任何地方。在该示例中，相机传感器被示为位于显示器232的中间。这样的位置可能比图像捕获设备200、图像捕获设备210和图像捕获设备220中的前置相机传感器的位置是更期望的。例如，试图拍摄“自拍”的用户可以看向图像捕获设备的显示器上的自己的实时图像。相机传感器距用户的眼睛指向的地方越远，将捕获的图像就越可能描绘眼睛注视远离相机传感器。这种眼睛注视的现象可能会导致美学上不美观的图像，其中用户的注视看起来在可能期望他们注视的地方的下方(或上方)(例如，不是朝向图像的观看者的眼睛，而是从图像的观看者的眼睛向下(或向上)，例如，在图像的观看者的头部之下或之上)。

图3是图2D中示出的图像捕获设备230的示例的侧面剖视图的框图。为简单起见，相机传感器238没有在图3或其余图中示出，并且可以与本文所述的相机传感器234类似地起作用。在图3的示例中，图像捕获设备230包括显示器232、相机传感器(CS)234和外壳236。外壳236可以包括电子电路板、处理器、存储器、电池、射频电路、天线和其他组件。如所示的，显示器232被设置在相机传感器234的上方，并且相机传感器234被设置在显示器232下方或下面。在该示例中，如图2D中，相机传感器234是前置相机。相机传感器234被配置为通过捕获穿过显示器232的环境光来捕获图像。即，相机传感器234可以接收在入射到相机传感器234之前穿过显示器232的至少一部分的环境光。如本文所使用的，相机传感器在显示器下、下方或下面或显示器在相机传感器之上，旨在描述相机传感器被这样配置和定位，使得通过捕获穿过显示器(如显示器232)的环境光来捕获图像。显示器232在显示内容时，可以朝向用户并总体上远离相机传感器234发射光。相机传感器234可以在显示器232活动地显示内容时或在此情况下活动地捕获图像。换言之，相机传感器234可以在显示器232可以朝向用户发射光的同时，接收穿过显示器232的至少一部分的环境光。

图4A和图4B是可以根据本公开的技术使用的示例OLED显示器的简化图。虽然图4A和图4B的显示器被描述为OLED显示器，但本公开的技术可以与被配置为允许光穿过显示器到达位于显示器下方的相机传感器的任何显示器(例如，LCD、LED、AMOLED或其他显示器)一起使用。在图4A和图4B中，虽然示例OLED显示器被描绘为具有三层，但OLED显示器可以由更多层组成。

在图4A的示例中，OLED显示器250包括阴极层252、有机发光材料层254和阳极层256。例如，当电流通过有机发光材料层254在阴极层252与阳极层256之间流动时，OLED显示器250可以发射光，从而导致在OLED显示器250上出现(多个)图像。以这种方式，有机发光材料层254可以通过阴极层252朝向用户发射光。在一些示例中，相机传感器234可以在有机发光材料层254可以发射光的同时接收环境光。在图4A的示例中，环境光可以照射到阴极层252的表面。该环境光的一部分可以穿过阴极层252、有机发光材料层254和阳极层256。在该示例中，阴极层252和阳极层256可能不是透明的。此外，有机发光材料层254可以具有RGB、RGBW、WRGB(其中W为白色)、RGBG或其他子像素，这些像素可以阻挡、衰减或扭曲来自穿过有机发光材料层254的环境光。因此，穿过OLED显示器250的环境光量可能相对较小(示为透射光)。因此，在OLED显示器250下面用于接收透射光的相机传感器234可能不会收到非常多的透射光，如细箭头所表示的。这可能导致由相机传感器捕获的图像的图像质量差。

在图4B的示例中，OLED显示器260包括透明阴极层262、有机发光材料层264和透明阳极层266。如在图4A的示例中，当电流通过有机发光材料层264在透明阴极层262与透明阳极层266之间流动时，OLED显示器260可以发射光，从而导致在OLED显示器250上出现(多个)图像。以这种方式，有机发光材料层264可以通过透明阴极层262朝向用户发射光。在图4B的示例中，由于透明阴极层262和透明阳极层266都是透明的，因此更多的环境光可以通过OLED显示器260透射到相机传感器234。相机传感器234可以在入射到相机传感器234之前接收穿过OLED显示器260的至少一部分的环境光(示为透射光，如粗箭头所表示的)。在一些示例中，在与有机发光材料层264可以发射光的同时，相机传感器234可以接收环境光。在图4B的示例中，与图4A的示例一样，有机发光材料层264可以包含RGB、RGBW或WRGB子像素，这些子像素可以阻挡、衰减或扭曲穿过有机发光材料层264的环境光。总之，图4B的示例中的衰减或扭曲可能比图4A的衰减或扭曲更小，例如，由于透明阴极层262和透明阳极层266是透明的。然而，通过使电流在阴极层252与阳极层256之间流动，OLED显示器250可能会老化，这可能会导致透明度随时间的推移而降低。

图5是描绘了可以根据本公开的技术使用的分区(zoning)控制的示例的概念图。利用分区控制，显示器的一个区域(region)或分区(zone)活动地使用该一个区域或分区的所有像素来显示内容，同时显示器的另一个区域或分区可能只活动地使用该另一个区域或分区的像素中的一些像素来显示内容。图5描绘了可以显示的图像的两个不同视图，其中每个视图中的每个框代表显示器中的像素。视图270描绘了可以在显示器(例如，显示器232)的区域中显示的图像，该显示器可能不位于相机传感器(例如，相机传感器234)的上方。在图2D中，显示器的该区域被示为区域232A。区域232A中的所有像素可以用于显示内容，例如，视图270中示出的。

视图272描绘了可以在相机传感器的上方的显示器的区域(例如，图2D的区域232B或区域232C)中显示的图像。在视图272中，像素的子集活动地地显示内容。在一些示例中，区域232B可以具有与相机传感器234相同的大小。在其他示例中，区域232B可以具有与相机传感器234不同的大小。在一些示例中，区域232C可以具有与相机传感器238相同的大小。在其他示例中，区域232C可以具有与相机传感器238不同的大小。在一些示例中，区域232B或区域232C可以在实验室中确定。在一些示例中，区域232B或区域232C可以由影响相机传感器(例如，相机传感器234或相机传感器238)的光学路径确定。例如，科学家或工程师可以测试区域232B或区域232C的各种布局，并选择用于平衡显示器的美学和光穿过显示器到相机传感器234或相机传感器238的能力的布局。

在视图272的示例中，显示器232利用的活动像素的位置是每四个像素的组(例如，由白色虚线与其他四个像素的组分隔开的组274)中的左上角像素(例如，像素271)来显示内容，并且没有利用每四个像素的组中的其他像素。该特定配置是非限制性示例。根据本公开的技术，可以利用其他配置。

在一些示例中，只有当相机传感器234被活动地用于捕获(多个)图像时，视图272才可以显示在相机传感器234上方的区域232B中，并且视图270(例如，使用所有像素)可以显示在区域232A中。在一些示例中，只有当相机传感器238被活动地用于捕获(多个)图像时，视图272才可以显示在相机传感器238上方的区域232C中，并且视图270(例如，使用所有像素)可以显示在区域232A中。在一些示例中，当相机传感器234没有被活动地用于捕获(多个)图像时，视图270(例如，使用所有像素)可以用于区域232A、区域232B和区域232C中。例如，当设备2正在执行图像捕获应用(例如，相机应用或视频应用)时，视图272可以显示在区域232B中。

当相机传感器234被活动地用于捕获(多个)图像时，可能期望视图272在区域232B中显示，以减少可能由显示内容引起并由相机传感器234捕获的环境光的光散射和扭曲。因此，当相机传感器234活动地捕获(多个)图像时，区域232B中的像素子集可以是活动的，或者当相机传感器238活动地捕获(多个)图像时，区域232C中的像素子集可以是活动的。通过减少在相机传感器234(或相机传感器238)上方的在图像捕获期间显示内容的像素的数量，可以减少捕获的图像中的光散射和扭曲。

在一些示例中，当相机传感器234被活动地用于捕获(多个)图像时，视图272可能不会显示在区域232B中，或者当相机传感器238被活动地用于捕获(多个)图像时，视图272可能不会显示在区域232C中。例如，可能更期望在整个显示器232(区域232A、区域232B和区域232C)上显示所有像素(视图270)。

图6A-6C是描绘根据本公开的技术的在显示器中的子像素的示例布局的概念图。如上面所提及的，子像素是像素的元素，例如，RGB像素的红色元素、蓝色元素或绿色元素。虽然图6A-6C的示例示出了RGB子像素，但显示器可以包含RGBW、WRGB或其他子像素布局。在图6A的示例中，布局276包括三列蓝色(B)子像素，如所示的。在蓝色子像素的每一列之间存在交替的绿色(G)子像素和红色(R)子像素。在这些子像素之间存在空间277。在图6B的示例中，布局278包括两列绿色(G)子像素，如所示的。在绿色子像素列的任一侧是交替的蓝色(B)子像素和红色(R)子像素列。在这些子像素之间存在空间279。在图6C的示例中，布局280包括数行圆形的子像素。这些子像素中的每一个子像素可以是绿色(G)子像素。在绿色子像素的行之间存在菱形的交替的红色(R)子像素和蓝色(B)子像素。在这些子像素之间存在空间281。图6A-6C只是显示器中子像素的潜在布局的几个示例。子像素的形状、大小和位置是显示器制造商的设计选择问题。因此，子像素的布局可能因不同的制造商或不同类型的显示器而不同。与子像素的布局(例如，形状、大小和位置)相关的信息可以从显示器的制造商获得。

当相机传感器(例如，相机传感器234)位于显示器(例如，显示器232)的下方时，相机传感器234可以通过在子像素之间的空间(例如空间277、空间279、或空间281)接收环境光。例如，一个或多个相机传感器可以被设置在显示器层的至少一部分的下方或下面，使得光在由一个或多个传感器接收之前就会穿过显示器层。尽管光在由一个或多个相机传感器(例如，相机传感器234)接收之前可以穿过显示器层，但子像素可能会对相机传感器234的部分造成阴影，并可能导致所捕获的(多个)图像中的如雾霾、眩光和/或偏色等问题。此外，如上面所讨论的，在相机传感器(例如，相机传感器234)上方显示内容也可能由于可能由相机传感器234捕获的显示内容的光散射而影响图像质量。本公开的显示阴影补偿技术可以补偿由子像素引起的阴影和由显示内容引起的光散射，由此改进由具有在显示器下方的相机传感器的图像捕获设备捕获的图像的图像质量。

图7是可以实现本公开的技术的示例图像捕获设备的框图。图像捕获设备102可以是图1的设备2的示例。通过示例的方式，图像捕获设备102可以包括无线移动通信设备，例如，蜂窝电话或卫星无线电电话、智能电话、独立的数码相机或视频摄像机、个人数字助理(PDA)、平板计算机、膝上型计算机或具有成像或视频能力的任何设备，其中图像处理是期望的。

图像捕获设备102可以包括一个或多个处理器110、相机传感器112、图像信号处理器106、存储器114、显示器116、通信电路118和环境光传感器122。显示器116可以包括位于相机传感器112之上的区域120(其可以是图2D的区域232B或区域232C的示例)，使得相机传感器通过区域120接收光。在一些示例中，图像信号处理器106可以是一个或多个处理器110中的一个处理器。在一些示例中，图像信号处理器106可以是一个或多个处理器中的多于一个处理器。在一些示例中，图像信号处理器106可以与一个或多个处理器110分开，如所描绘的。

存储器114可以包括图像捕获应用104。图像捕获应用104可以是由用户用于打开图像捕获设备102的相机功能的应用。存储器114还可以存储第一相机UI(第一UI 105)、第二相机UI(第二UI 108)以及预定的阈值(阈值107)。在一些示例中，存储器114还可以是第三相机UI(第三UI 111)。存储器114还可以被配置为存储与由相机传感器112捕获的图像相关的像素值。存储器114还可以存储用于使一个或多个处理器110执行本公开的技术的指令。

相机传感器112在被激活时可以捕获图像的像素值。例如，当一个或多个处理器110正在执行图像捕获应用104时，相机传感器112可以捕获像素值。图像信号处理器106可以处理由相机传感器112捕获的像素值。

一个或多个处理器110可以从图像信号处理器106获得像素值，并且可以将像素值提供给存储器114用于存储、提供给通信电路118用于传输到另一设备、或者将像素值提供给显示器116用于显示给用户。当相机关闭时(例如，当一个或多个处理器110没有执行图像捕获应用104时)，一个或多个处理器110可以从存储器114获得像素值，并且例如将像素值提供给显示器116用于显示。

在一些示例中，根据本公开的技术，图像捕获设备102包括被配置为显示捕获的图像的显示器116。图像捕获设备102包括相机传感器112。相机传感器112被设置为通过显示器的至少一部分接收光。图像捕获设备102包括被配置为存储捕获的图像的存储器114。图像捕获设备102包括一个或多个处理器110，该一个或多个处理器110耦合到显示器下相机传感器112、显示器116和存储器114。一个或多个处理器110被配置为从传感器接收信号。一个或多个处理器110被配置为至少部分地基于该信号来确定用户界面模式，该用户界面模式包括第一模式(例如，第一UI 105)和第二模式(例如，第二UI 108)，其中第一模式包括显示器的区域中的第一数量的黑色像素，并且第二模式包括显示器的区域中的第二数量的黑色像素，第一数量大于第二数量。一个或多个处理器110还被配置为从相机传感器112接收图像数据。

环境照度(例如，环境光)可能对显示器下相机传感器(例如，相机传感器112)很重要，因为环境照度可能影响图像捕获设备102中的自动曝光控制、自动对焦和自动白平衡。例如，在黑暗、低勒克斯(lux)的环境中，由相机传感器112捕获的图像可能相对较差。例如，如果环境勒克斯是8000勒克斯，则相机传感器112在适当的校准下可能运行良好。如果环境的勒克斯是20勒克斯，则由相机传感器234捕获的图像可能较差，并且可能需要复杂的调整来改进图像。如果环境勒克斯是0.2勒克斯，并且没有使用闪光灯，则由相机传感器234捕获的图像可能会很差，以至于图像可能无法修复。

根据本公开的技术，图像捕获设备102在第一模式下可以在相机传感器112上方的区域120中显示黑色像素，例如，在低勒克斯环境中。如本文所使用的，“黑色像素”包括灰度值为0的像素、空白像素或未寻址的像素。通过在相机传感器112上方的区域120中显示黑色像素，区域120中的显示器116的透射率可以改进，由此有利于图像捕获设备102的自动曝光控制、自动对焦和自动白平衡(其可以是图像信号处理器106的一部分)。然而，在区域120中总是显示黑色像素可能会干扰正常的显示UI，并且可能对图像捕获设备102的用户来说在美学上不令人愉快。因此，可能期望提供一种用于仅在低勒克斯环境期间在相机传感器112上方的区域120中显示黑色像素的技术。

控制对UI的选择的一种技术可以是基于自动曝光控制(AEC)的技术。AEC可以使用连续帧的直方图统计和输入像素动态范围分析来控制相机传感器的增益和曝光时间。AEC可以利用数据的5-15个帧来确定适当的增益-曝光时间平衡设置。此外，AEC过程还受到相机传感器之上的显示器的区域中的像素值的影响。

在一些示例中，一旦启动图像捕获应用104，一个或多个处理器110通过例如图像捕获应用104、系统相机服务或相机硬件抽象层(HAL)就可以使用环境光传感器122来检查环境勒克斯值。如果环境勒克斯值大于预定的阈值，则环境光可以被视为高。在这种情况下，显示器透射率不一定是关键的。因此，一个或多个处理器110可以启动第二UI 108。

如果环境勒克斯值小于预定的阈值，则环境光可以被视为低。在这种情况下，显示器透射率可能对适当的图像获取更为重要。因此，一个或多个处理器110可以启动第一UI105。这意味着相机传感器上方的显示器的区域中的像素可以具有0像素值，以增加相机传感器上方的显示器的区域的透射率。

例如，当相机打开时(例如，当一个或多个处理器110正在执行图像捕获应用104时)，一个或多个处理器110可以确定环境光水平。例如，一个或多个处理器可以查询环境光传感器122以确定环境光水平。环境光传感器122可以被配置为感测环境光水平。一个或多个处理器110可以确定环境光水平是否低于阈值。在一些示例中，该阈值可以是预定的。在其他示例中，阈值可以是动态的，并基于除了环境光水平之外的因素，例如，闪光灯是否处于自动模式或打开、传感器信号等。例如，一个或多个处理器110可以将确定出的环境光水平与阈值107进行比较。基于环境光水平低于预定的阈值，一个或多个处理器110可以控制显示器以在第一模式下显示第一UI 105。当一个或多个处理器110控制显示器以显示第一UI 105时，在显示器下相机传感器(例如，相机传感器112)之上的区域120中的像素被设置为黑色(例如，像素值被设置为0)。以这种方式，当环境光为低时，图像捕获设备102可以改进区域120中的透射率。

在一些示例中，一个或多个处理器110可以确定第二环境光水平。一个或多个处理器110可以确定第二环境光水平是否低于阈值。基于第二环境光水平不低于阈值，一个或多个处理器110可以控制显示器以在第二模式下显示第二UI 108。当一个或多个处理器110控制显示器以显示第二UI 108时，在显示器下相机传感器(例如，相机传感器112)之上的区域120中的像素可以是非黑色的(例如，像素值不被设置为0)。以这种方式，当环境光不低时，区域120可以显示内容(例如，图像、图像的一部分、图标、图标的一部分或其他内容)，由此提供比第一UI 105更令人愉悦的外观。

在一些示例中，用户可以选择UI的模式。例如，当图像捕获应用104被启动时，可以显示图标，该图标可以在UI的不同模式之中切换，或者可以显示针对每个模式的分别图标。当用户点击该图标时，触摸传感器109可以向一个或多个处理器110发送信号，并且至少部分地基于该信号，一个或多个处理器110可以确定UI的模式。

在一些示例中，一个或多个处理器可以对正在由相机传感器112捕获的图像执行场景分析，并可以基于场景分析选择UI模式。例如，如果图像的主体的脸被很好地照亮，但背景是黑暗的，则一个或多个处理器可以选择第二模式而不是第一模式。在一些示例中，一个或多个处理器110可以确定UI模式可以至少部分地基于闪光灯是否处于自动模式、设置为打开或设置为关闭。例如，如果闪光灯是关闭的，则一个或多个处理器110可以确定UI模式为第一模式。如果闪光灯打开或设置为自动，则一个或多个处理器110可以确定UI模式为第二模式。在一些示例中，一个或多个处理器可以进一步基于其他传感器信号(例如，相机传感器信号、深度传感器信号等)来确定UI模式。

在一些示例中，可以存在第三UI 111。第三UI 111可以比第二UI 108在相机传感器112之上具有更多数量的黑色像素，但比第一UI 105在相机传感器112之上具有更少数量的黑色像素。在一些示例中，一个或多个处理器110可以基于环境光水平高于第一阈值但低于第二阈值(例如，在阴天)，来确定UI的模式为第三UI模式。在一些示例中，一个或多个处理器110可以至少部分地基于其他传感器信号(例如，触摸传感器109、相机传感器112等)来确定UI为第三模式(第三UI 111)。

在一些示例中，对于第一UI 105，设备2可以可选地使相机传感器(例如，相机传感器234)上方的显示器区域(例如，区域232B)中的黑色像素淡入和/或淡出，以提供在美学上更加令人愉悦的视觉效果。例如，当显示第一UI时，图像捕获设备102可以使显示器下相机之上的区域中的黑色像素淡入。换言之，图像捕获设备102可以在一段时间内使相机传感器112之上的区域120中的像素的像素值从现有的非零值转换为零值。例如，图像捕获设备可以通过在一段时间内将值从现有的非零像素值减少到零像素值，来从现有的非零像素值转换为零像素值。在一些示例中，例如，当从显示第一相机用户界面转换为显示其他东西时，图像捕获设备102可以使显示器下相机传感器之上的区域中的黑色像素淡出。换言之，图像捕获设备102可以在一段时间内将像素值从现有的零像素值转换为非零像素值。例如，图像捕获设备可以通过在一段时间内将值从现有的零像素值增加到非零像素值，来从现有的零像素值转换为非零像素值。例如，图像捕获设备102可以基于图像捕获应用正在关闭，而使黑色像素淡出。在一些示例中，图像捕获设备102可以基于由环境光传感器122感测到的新的环境光水平不低于预定的阈值，而使黑色像素淡出。

图8A-8C是示出根据本公开的技术的在显示器下相机传感器之上的显示器的区域中的不同示例UI模式的概念图。图8A描绘了第一模式(第一UI 105)的示例。图像捕获设备502显示由图像捕获设备502捕获的场景。图像捕获设备502还显示快门控制506。在图像捕获设备502的显示器下方的白色点状线中示出了相机传感器。区域504在相机传感器上方显示第一数量的黑色像素。在一些示例中，区域504中的所有像素在第一模式下为黑色的。以这种方式，图像捕获设备502可以改进在相机传感器之上的区域504的透射率。例如，图像捕获设备502可以在低环境光情况下在相机传感器上方显示黑色像素。虽然区域504被示为正方形，但区域504可以是任何形状。

图8B描绘了第二模式的示例。例如，图像捕获设备512显示由图像捕获设备512捕获的场景。图像捕获设备512还显示快门控制516。在图像捕获设备512的显示器下方的点状线中示出了相机传感器。区域514可以在相机传感器上方显示第二数量的黑色像素。在一些示例中，第二数量比第一模式中使用的第一数量更小。在一些示例中，第二数量为零。以这种方式，图像捕获设备502可以在相机传感器之上的区域514中显示图像内容。例如，图像捕获设备502在高环境光情况下可以不在相机传感器上方显示黑色像素。虽然区域514被示为正方形，但区域514可以是任何形状。

图8C描绘了第三种模式的示例。例如，图像捕获设备522显示由图像捕获设备522捕获的场景。图像捕获设备522还显示快门控制526。在图像捕获设备522的显示器下方的点状线中示出了相机传感器。区域524在相机传感器上方显示第三数量的黑色像素。黑色像素的数量可以大于第二模式中使用的第二数量，并且小于第三模式中使用的第三数量。以这种方式，图像捕获设备522可以在相机传感器之上的区域524中显示一些图像内容。该第三模式可以用于环境光小于第一预定阈值但小于第二预定阈值的情况。例如，图像捕获设备502可以在中等环境光的情况下在相机传感器上方显示一些黑色像素。

图9A-9C是示出根据本公开的技术的第一模式的进一步示例的概念图。在图9A中，图像捕获设备532被描绘为具有在相机传感器(用白色虚线示出)之上显示黑色像素的椭圆形区域534。在图9B中，图像捕获设备542被描绘为在相机传感器(用白色虚线示出)之上显示圆形区域。在图9C中，图像捕获设备552被描绘为在相机传感器(用白色虚线示出)之上显示一般的矩形区域。这些只是相机传感器上方区域的几个形状，当图像捕获设备处于第一模式时，这些区域可以在相机传感器上方显示黑色像素。如上面所讨论的，在第一模式下显示黑色像素的区域可以是任何形状的。

图10是示出根据本公开的技术的图像信号处理(ISP)流水线50的框图。ISP流水线50可以被包含在图像信号处理器6内，并且可以如上面关于图1所讨论的来实现。ISP流水线50可以被包含在图2D的图像捕获设备230内。虽然ISP流水线50的操作以特定次序示出，但该特定次序是示例性的，并且操作的次序可以根据本公开的技术而改变。

FPN补偿器(FPN comp)126可以从相机传感器234接收数据。在一些示例中，子像素的至少一部分被设置在相机传感器234之上。在其他示例中，显示器的子像素被设置在相机传感器234的上方并且与相机传感器234邻近，而没有被显示器的子像素遮挡相机传感器。例如，小的相机传感器可以被设置在显示器下面在子像素之间。FPN补偿器126可以补偿固定模式的噪声，例如，黑暗或黑色模式噪声。FPN补偿器126的输出可以提供给自动对焦统计单元138，该自动对焦统计单元138可以确定关于自动对焦操作的统计，该统计例如可以用于改进针对随后捕获的图像的自动对焦功能。FPN补偿器126的输出还可以被提供给显示阴影补偿器128。

显示捕获器140可以捕获例如显示在显示器232上的内容。在一些示例中，显示捕获器140可以捕获显示内容的至少一部分。在一些示例中，显示捕获器140可以捕获显示在显示器232的区域232B中的显示内容的一部分。在一些示例中，显示捕获器140可以捕获在位于至少部分地在相机传感器234之上的区域中显示的内容的一部分。在一些示例中，显示捕获器140可以捕获位于相机传感器234正上方的区域中显示的内容的一部分。在其他示例中，显示捕获器140可以捕获显示在显示器232上的所有内容。显示捕获器140可以被实现为在运行时捕获显示内容的高速缓存缓冲器。在一些示例中，显示捕获器140可以位于ISP流水线50的外部。在一些示例中，显示捕获器140可以在本地存储器8中、在外部存储器14中、在显示处理流水线中或在图像捕获设备2内的其他地方实现。

ISP流水线50可以访问存储的预设参数144组。在一些示例中，预设参数144可以存储在图像处理装置4的本地存储器8内。在其他示例中，预设参数144可以存储在其他地方，例如，存储在外部存储器14中。预设参数可以代表用于补偿诸如由显示器子像素布局(例如，关于图6A-6C所描述的)导致的阴影或着色之类的问题的补偿参数。在一些示例中，预设参数可以包括多个存储的调整矩阵。由于关于给定制造商的显示器中的子像素的大小、形状和位置的信息是制造商已知的，并且可以从制造商那里轻易获得，因此该信息可以用于确定针对预设参数的初始值。在一些示例中，预设参数还可以包括分区控制信息，例如，当相机传感器234活动地捕获(多个)图像时，哪些特定的像素可以在区域(例如，区域232B)中是活动的，例如，上面关于图5所讨论的。在一些示例中，然后，预设参数在输入到图像捕获设备之前，可以在实验室或工厂中使用具有不同显示内容的样本相机传感器和样本显示器进行微调。在其他示例中，预设参数可以基于实验室中的微调，无线地更新到图像捕获设备。

图11A-11C是表示对预设参数的确定的概念图。图11A表示显示器中子像素的布局，例如，图6C中的布局280。可以通过将灰度颜色检查卡放置在相机调谐箱中，并且利用在显示器下方的相机传感器来捕获灰度颜色检查卡的图像，来确定预设参数。在一些示例中，可以在没有任何图像显示在显示器上的情况下，捕获该图像。在其他示例中，可以在显示器上显示不同灰度水平的图像的情况下反复捕获该图像。由于相机传感器位于显示器下方，因此图11A的子像素可能会阻挡被捕获的图像的部分。当捕获灰度颜色检查卡的图像时，它可能看起来更像图11B的图像400，而不是纯灰色的图像。可以选择预设参数，使得在应用包括预设参数的调整矩阵之后，显示阴影补偿器128的输出图像可以类似于纯灰色图像，例如，图11C中示出的图像402。

例如，工程师或技术人员可以找到捕获的图像中的最大像素值。然后他们可以将最大值除以每个像素，以确定要应用于每个像素的增益。可以生成调整矩阵(例如，二维增益矩阵)，使得在应用增益之后，每个像素的输出与每个其他像素的输出相等，以便生成图11C的纯灰色图像，作为对调整矩阵的应用的输出。可以例如在显示器上显示具有不同颜色和亮度水平的不同内容时通过利用相机传感器捕获图像，来微调预设参数。然后，可以调整预设参数，使得在应用调整矩阵后捕获的图像与图像本身非常相似。在一些示例中，预设参数可以包括至少一个调整矩阵。

在一些示例中，工程师或技术人员可以使用17级灰度测试图案(或其他灰度测试图案)的显示内容和不同的亮度水平，来确定用于预设参数的调整矩阵。调整矩阵的大小可以为m乘n，这可以根据捕获18％灰度水平测试图案(或其他灰度水平测试图案)来确定。如图11A和11B中示出的，子像素可以具有重复的形状。m乘n的矩形形状可以在实验室调试中确定。例如，如果重复形状可以全部被捕获在2像素乘2像素的块中，则调整矩阵可以为2像素乘2像素。在一些示例中，m乘n的形状可以与相机传感器的形状和大小匹配。在其他示例中，m乘n的形状可能与相机传感器的形状和大小不匹配。

在m乘n的区域中，显示阴影补偿器128可以对每个子像素模式(例如，R子像素、G子像素和B子像素)应用不同的增益。换言之，在一些示例中，每个颜色通道具有其自己的调整矩阵组。

在应用增益之后，所有的子像素可以是相等的，例如，图11C中示出的。针对每个显示灰度水平并且针对每个颜色通道的m乘n大小的调整矩阵可以分别存储在例如预设参数144中。例如，可以存储17个或33个或其他数量的不同灰度水平(0-N)。该过程可针对不同的亮度水平重复进行，并且用以确定不同的调整矩阵，例如，二维增益矩阵。这些不同的调整矩阵可以存储在预设参数144中，如下面的表1所示。虽然表1中示出了具体的亮度水平，但根据本公开的技术，可以使用任何亮度水平。

亮度0％	亮度10％	亮度15％	亮度20％	亮度50％	亮度100％
						灰度0	2D矩阵A	2D矩阵D	2D矩阵G	2D矩阵J	2D矩阵M
灰度1	2D矩阵B	2D矩阵E	2D矩阵H	2D矩阵K	2D矩阵N
						灰度N	2D矩阵C	2D矩阵F	2D矩阵I	2D矩阵L	2D矩阵O

表1

在一些示例中，显示阴影补偿器128可以重复m乘n的调整矩阵来调整整个相机传感器图像。例如，整个相机传感器图像可以被分为p乘q个组。例如，如果相机传感器是5000微米乘5000微米，并且调整矩阵是500微米乘500微米，则在整个相机传感器图像中存在10乘10个组。在一些示例中，显示阴影补偿器128可以对10乘10个组应用相同的调整矩阵。在其他示例中，调整矩阵可以仅应用于相机传感器234正上方的显示器的区域。在进一步的示例中，调整矩阵可以应用于区域232B。在一些示例中，不同的调整矩阵可以应用于不同的区域。例如，不同的调整矩阵可以应用于区域232A、232B和232C，或者应用于(多个)图像传感器上方和不在图像传感器上方的显示器的区域。在一些示例中，如表2中示出的，矩阵1可以应用于不在相机传感器上方的区域，矩阵2可以应用于相机传感器234上方的区域，并且矩阵3可以应用于相机传感器238上方的区域。

矩阵1	矩阵1	矩阵1
			矩阵1	矩阵2	矩阵1
矩阵1	矩阵1	矩阵3

表2

在一些示例中，如果在不同的调整矩阵之间的差异小于预定的阈值，则可以不存储所有的调整矩阵。在一些示例中，该差异可以是调整矩阵的所有元素的累积差异。在一些示例中，该差异可以是调整矩阵的所有元素的平均差异。在一些示例中，预定的阈值可以是0.0001的量级。例如，如果在两个调整矩阵之间的差异小于预定的阈值，则与存储两个调整矩阵相反，可以存储一个调整矩阵并在两种情况下使用。例如，如果在表1中的2D矩阵D与2D矩阵A之间的差异小于预定的阈值，则两个矩阵中的一个可以被存储并用于亮度为10％或15％的情况。在一些示例中，如果特定的调整矩阵大于与另一调整矩阵的差异的阈值的三倍，则该调整矩阵可以直接被存储。例如，如果在2D矩阵D与2D矩阵A之间的差异超过阈值的三倍，则2D矩阵D可以被存储在预设参数144中。在一些示例中，只有与其他调整矩阵具有相对大的差异(例如，3倍阈值)的调整矩阵可以被保存在预设参数144中。

返回图10，显示阴影补偿发生器142可以计算区域中的子像素值(例如，RGB)的区域显示平均。在一些示例中，该区域是相机传感器234正上方的显示器的区域。在其他示例中，该区域是区域232B。在又一示例中，该区域是整个显示器。例如，显示阴影补偿发生器142可以将该区域中的子像素(例如，在0(黑色)和255(白色)之间的每个子像素)的值加在一起，并除以像素的数量乘以每个像素的子像素的数量。该平均可以提供对正在显示的图像的亮度的指示。显示阴影补偿发生器142可以使用平均作为索引，以基于预设参数选择或调整给定的调整矩阵。例如，如果子像素值的平均为低，则显示阴影补偿发生器142可以选择2D矩阵A、2D矩阵B或2D矩阵C中的一者。如果子像素值的平均为高，则显示阴影补偿发生器142可以选择2D矩阵M、2D矩阵N或2D矩阵O中的一个。如果子像素值的平均为中等，则显示阴影补偿发生器142可以选择2D矩阵J、2D矩阵K或2D矩阵L中的一个。在一些示例中，显示阴影补偿发生器142可以通过选择最接近子像素的平均灰度或亮度的灰度级别(例如，10％)，来选择通过索引指示的矩阵中的一个(例如，在子像素值的平均是10％的亮度的情况下，为2D矩阵A、2D矩阵B或2D矩阵C)。在其他示例中，显示阴影补偿发生器可以使用其他方法，以从通过索引指示的组中选择调整矩阵。

在表1的示例中，如果子像素值的平均与表条目中的任一个都不匹配，则显示阴影补偿发生器142可以利用表条目中的一个或多个并相应地向上或向下调整矩阵。例如，如果子像素值的平均指示亮度在40％的量级上，则显示阴影补偿发生器142可以选择具有相同索引的灰度级别的两个调整矩阵(例如，2D矩阵K和2D矩阵)并在它们之间进行插值。在其他示例中，显示阴影补偿发生器可以选择一个调整矩阵并相应地调整矩阵，例如，增加或减少增益。

对于四个颜色通道(例如，RGBG)，示例3x3调整矩阵可以是

[(1.01358,1.02586,1.13256,1.7465),(1.01358,1.02486,1.13256,1.7265),(1.01358,1.02586,1.13256,1.7463),

(1.01358,1.02586,1.13256,1.2465),(1.01358,1.02586,1.13256,1.7449),(1.01358,1.02586,1.13256,1.7464),

(1.01358,1.02586,1.13256,1.2465),(1.01358,1.02586,1.13256,1.2468),(1.01358,1.02586,1.13256,1.7462),]。该示例矩阵可以由显示阴影补偿器128应用于图像数据，以补偿显示阴影。

在一些示例中，显示阴影补偿发生器142可以从存储器(例如，本地存储器8或外部存储器14)中，从可以存储在预设参数144中的调整矩阵中选择调整矩阵(例如，二维增益矩阵)，以基于在显示捕获器140中捕获的内容的至少一部分(例如，显示的内容的至少一部分)和预设参数144来应用于FPN补偿器126的输出。在其他示例中，显示阴影补偿发生器142可以基于在显示捕获器140中捕获的内容的至少一部分和预设参数144来生成调整矩阵，例如，二维增益矩阵。例如，显示阴影补偿发生器142可以通过计算针对在显示捕获器140中的显示的内容的R、G和B(或R、G、B和W)的平均值来确定调整矩阵。然后，显示阴影补偿发生器142可以使用该平均值作为索引，以确定要使用基于预设参数的哪个调整矩阵或要对调整矩阵进行哪些调整。在一些示例中，显示阴影补偿发生器142针对每个颜色分量(例如，R、G和B)确定调整矩阵。然后，显示阴影补偿发生器142可以将二维增益矩阵提供给显示阴影补偿器(显示阴影补偿)128。

如上面所提到的，显示器中的子像素随时间推移而老化。这种子像素随时间推移的老化可能包括由显示内容像素的驱动电流引起的子像素的阴极和阳极材料的老化。子像素老化可能会随着时间的推移降低子像素的透射率。对于显示器下相机，显示阴影可能具有较强的老化成分。换言之，由于显示器中子像素的老化，显示阴影可能随着时间的推移而变得更糟。随着时间的推移和使用，显示阴影可能会变得更加普遍，因为显示器变得不那么透明。这种子像素老化可能会影响整个ISP流水线50，包括自动曝光控制、自动对焦和自动白平衡。

在一些示例中，根据本公开的技术，透射率老化模型可以与显示内容和/或预定参数一起使用，以生成或选择调整矩阵。例如，调整矩阵可以进一步基于老化因子146。例如，老化因子146可以由显示阴影补偿发生器142使用以生成调整矩阵。在一些示例中，显示阴影补偿发生器142可以将所选择或生成的调整矩阵乘以老化因子146。ISP 50可以基于与显示器232的区域(例如，在相机传感器234或相机传感器238之上的区域，例如，分别为区域232B或区域232C)中的显示像素值和时间相关的统计，来确定该老化因子。例如，ISP 50可以监测区域中每个子像素为开启的时间量以及在子像素为开启的时间期间区域中每个子像素的显示像素值，并且使用监测的时间和显示像素值来确定老化因子。在一些示例中，老化因子可以基于实验室环境中的老化实验的测量来确定。这种实验可以测量相对于显示器232的区域(例如，区域232B或区域232C)的显示像素值和时间。在一些示例中，ISP 50可以生成老化因子的系数曲线，或者老化因子的系数曲线可以由另一设备(例如，实验室中的计算设备)生成。在一些示例中，老化因子可以通过检查色彩空间或光谱中的统计来确定。

在一些示例中，ISP流水线50可以将老化因子确定为对显示器的区域(例如，区域232B或区域232C)中的像素的透射率衰落比较的统计测量，例如，透射率衰落比率的平均。如本文所使用的，比率是比较属的种类。例如，for(该区域中的每个像素，其由形状掩码定义)

在一些示例中，不是通过将2D矩阵乘以老化因子来修改2D矩阵，而是可以使用老化因子来修改ISP流水线50或图像信号处理器6中的其他算法。例如，老化因子可以用于修改AEC过程20、AF过程24和/或AWB过程22(图1的每一个)。在一些示例中，老化因子可以与颜色适应一起使用。

然后，显示阴影补偿器128可以将二维增益矩阵应用于FPN补偿器126的输出。在一些示例中，显示阴影补偿器128可以将二维增益矩阵以分段双线性的方式应用于FPN补偿器126的输出。显示阴影补偿器128可以具有多个可编程的部分，并可以在每个维度(例如，x方向和y方向)应用增益。显示阴影补偿器128可以针对每个颜色通道分别执行对FPN补偿器126的输出的补偿。例如，显示阴影补偿器128可以针对红色应用与针对蓝色和针对绿色不同的增益(例如，通过分别的二维增益矩阵)。

显示阴影补偿器128的输出可以提供给镜头阴影补偿器130，该镜头阴影补偿器130可以补偿由相机镜头引起的阴影。在一些示例中，显示阴影补偿器128可以与镜头阴影补偿器(LENS SHADING COMP)130相结合。镜头阴影补偿器130可以向自动白平衡单元(WHITE BALANCE)132提供镜头阴影补偿的输出，该自动白平衡单元132可以对镜头阴影补偿的信号执行自动白平衡处理。自动白平衡单元132可以向不良像素校正器(BAD PIXELCORR)134提供自动白平衡信号。不良像素校正器134可以校正不良像素并输出经图像处理的信号。例如，不良像素校正器134可以确定图像中的像素是异常值，并试图用与邻近像素的值更相似的值来替换该像素值。自动曝光和自动白平衡统计单元(AE、AWB STATS)136可以接收经图像信号处理的信号，并使用其中的信息来调整图像捕获设备(例如，图像捕获设备230)的自动曝光和/或自动白平衡，以用于随后捕获的图像。经图像信号处理的信号可以提供给显示器处理器，以在例如显示器232上显示，和/或作为视频文件或快照存储在存储器(例如，本地存储器8或外部存储器14)中，。

在一些示例中，在相机传感器234可能正在捕获(多个)图像的同时，内容可以在显示器232上显示。在一些示例中，在显示器232上显示的内容可以以不同于相机传感器234的快门速度的帧速率来显示。如上面所讨论的，显示阴影补偿发生器142可以选择或生成调整矩阵(例如，二维增益矩阵)，以应用于FPN补偿器126的输出。为了使对适当的调整矩阵的应用与由相机传感器234捕获的(多个)图像同步，可以应用本公开的进一步技术。

在一些示例中，显示捕获器140可以包括环形缓冲器(RB)148，以在适当的时间向显示阴影补偿发生器提供适当的时间显示内容像素(其可以是一个或多个帧的至少一部分)。环形缓冲器148可以在本地存储器8中、在外部存储器14中、在显示器处理器中或在图像捕获设备2中的其他地方实现。

图12是示出用于同步显示阴影补偿的技术的概念图。在图12的示例中，倾入环形缓冲器中的每一个显示帧内容可以用时间戳标记。例如，显示捕获器140可以在任何数量的显示帧电流写入缓冲器(例如，显示帧电流写入缓冲器0 288A、显示帧电流写入缓冲器1288B、显示帧电流写入缓冲器2 288C到显示帧电流写入缓冲器N(其中N可以是任何正整数)288N，其可以被实现为环形缓冲器148并且可以被称为显示帧电流写入缓冲器288)中捕获显示内容的一个或多个帧的一部分。

使用用于设备2的全局时钟源282(例如，片上系统(SOC)全局时钟源)的数据处理单元硬件中断服务请求(DPU HW ISR)284可以将时间戳应用于显示内容的一个或多个帧的部分中的每个部分。如上面所提到的，如本文所使用的，帧的一部分是指帧的一部分或整个帧。该时间戳可以指示该帧显示在显示器232上的时间。在相机传感器曝光期间(例如，在捕获图像时)，曝光的开始时间和结束时间可以使用全局时钟源282。例如，全局时钟源282可以将时间提供给DPU HW ISR 284和相机图像信号处理硬件中断服务请求(ISP HW ISR)286。DPU HW ISR 284可以对存储在显示帧电流写入缓冲器288中的显示内容的一个或多个帧的部分中的每个部分应用时间戳。ISP HW ISR 286可以确定相机传感器的曝光时间296(例如，曝光的开始时间和结束时间)。

显示阴影补偿发生器142可以基于所应用的时间戳和相机传感器的曝光时间296，从显示帧电流写入缓冲器288中的任一个取回显示内容的一个或多个帧的适当部分。例如，显示阴影补偿发生器142可以根据需要，基于来自显示帧电流写入缓冲器288的其时间戳和相机传感器曝光时间296，来取回帧-n的至少一部分，或帧-p至帧-q的至少一部分。对应的显示内容可以用于选择或生成适当的调整矩阵。在显示阴影补偿发生器142生成调整矩阵的示例中，帧-n的至少一部分可以用于生成矩阵-n，并且(帧-p的一部分，帧-q的一部分)可以用于生成(矩阵-p，矩阵-q)。

显示阴影补偿发生器142可以基于这些先前提到的矩阵，生成要由显示阴影补偿器128应用的调整矩阵。例如，显示阴影补偿发生器142可以通过计算(矩阵-p，矩阵-q)的时间和，来生成要由显示阴影补偿器128应用的调整矩阵。如果相机曝光时间完全落在一个帧时段(例如，帧-n)内，则显示阴影补偿发生器142可以通过简单地使用矩阵本身(例如，矩阵-n)，来生成要由显示阴影补偿器128应用的调整矩阵。

例如，在120Hz的显示器的情况下，显示帧时间为8.33ms。如果相机传感器的曝光时间是1/30秒(33.33ms)，则可以使用总共八个(或大于四个的某种其他数字，以允许工程余量并避免缓冲器溢出)显示帧电流写入缓冲器。显示捕获器140可以使用显示帧电流写入缓冲器288中的四个显示帧电流写入缓冲器来捕获四个帧(帧0、1、2和3)或其部分。显示阴影补偿发生器142可以使用这四个帧或其部分来生成4个矩阵(矩阵0、1、2和3)。在帧0、1、2和3中的每一个帧期间，相机传感器可以在帧中的每一个帧的整个持续时间内曝光。在该示例中，显示阴影补偿发生器142可以如下计算要由显示阴影补偿器应用的调整矩阵：调整矩阵＝(8.33/33.33*矩阵0)+(8.33/33.33*矩阵1)+(8.33/33.33*矩阵2)+(8.33/33.33*矩阵3)。在一些示例中，相机传感器可能仅针对一个或多个帧的一部分曝光。以上面的示例为例，并改变示例，使相机传感器只在帧0中曝光7.5微秒，但在帧1、2和3的整个帧期间曝光，显示阴影补偿发生器142可以如下计算要由显示阴影补偿器应用的调整矩阵：调整矩阵＝(7.5/33.33*矩阵0)+(8.33/33.33*矩阵1)+(8.33/33.33*矩阵2)+(8.33/33.33*矩阵3)。

在另一示例中，在60Hz的显示器的情况下，显示帧时间为16.66ms。如果相机传感器的曝光时间是1/125秒(4ms)，则可以使用总共两个(或大于一的某种其他数字，以允许工程余量并避免缓冲器溢出)显示帧电流写入缓冲器288。显示捕获器140可以使用显示帧电流写入缓冲器288中的一个显示帧电流写入缓冲器来捕获帧(例如，帧1)或其中发生相机曝光的一部分。在该示例中，相机传感器的曝光完全在帧1中发生，所以显示阴影补偿发生器142可以根据帧1来生成矩阵1，然后将矩阵1提供给显示阴影补偿器128，作为应用于FPN补偿器126的输出的调整矩阵。

图13是示出本公开的示例显示阴影补偿技术的流程图。ISP流水线50可以接收由相机传感器234捕获的第一图像数据(300)。例如，第一图像数据可以代表当用户正在进行“自拍”时的用户的脸和在用户的脸周围的背景。ISP流水线50可以接收显示的内容的至少一部分(302)。例如，ISP流水线50可以接收位于显示器232的区域232B中的显示的内容的一部分。在其他示例中，ISP流水线50可以接收在相机传感器234正上方的显示的内容的一部分。在另一些示例中，ISP流水线50可以接收所有显示的内容。

在一些示例中，ISP流水线50(例如，FPN补偿器126)可以针对FPN来补偿第一图像数据(304)。可以利用任何已知的技术来补偿FPN。ISP流水线50(例如，显示阴影补偿发生器142)可以确定调整矩阵(306)，例如，二维增益矩阵。该调整矩阵可以基于显示捕获器140中的显示的内容的一部分。在一些示例中，调整矩阵还基于预设参数144。在一些示例中，调整矩阵还基于老化因子。在一些示例中，确定调整矩阵可以包括将基于显示内容的至少一部分和预设参数的二维补偿矩阵乘以老化因子。老化因子可以基于相机传感器上方的像素的老化状态。例如，老化因子可以基于对显示器下相机传感器(例如，相机传感器234)上方区域(例如，区域232B)中的像素的透射率衰落比较的统计测量(例如，透射率衰落比率的平均)。

如上面所讨论的，预设参数可以是补偿参数，以补偿由显示器232中的子像素大小、形状和位置(例如，图6A-6C中的那些)导致的影响。在一些示例中，ISP流水线50(例如，显示阴影补偿发生器142)可以通过从存储在预设参数144中的调整矩阵中选择一个调整矩阵，来确定调整矩阵，例如，二维增益矩阵。在一些示例中，预设参数144可以在本地存储器8或外部存储器14中。在其他示例中，预设参数144可以在ISP流水线50中。在ISP流水线50选择调整矩阵的情况下，ISP流水线50可以尝试选择可能最好地补偿显示阴影的调整矩阵。在一些示例中，ISP流水线50确定区域中子像素的平均和，并使用该平均作为索引，以确定要选择哪个调整矩阵，如上面所讨论的。在一些示例中，ISP流水线50可以在两个调整矩阵之间进行插值，或以其他方式调整给定的所选择的调整矩阵。在其他示例中，ISP流水线50可以基于显示捕获器140中的显示的内容的至少一部分来计算调整矩阵，例如，二维增益矩阵。在一些示例中，ISP流水线50可以基于显示捕获器140中的显示的内容的至少一部分和预设参数144来计算调整矩阵。

ISP流水线50(例如，显示阴影补偿器128)可以将调整矩阵应用于第一图像数据(无论是否在FPN补偿之后)，以创建第二图像数据(308)。例如，可以对第二图像数据进行显示阴影补偿，以便减少或消除由显示器232中的子像素引起的阴影和由显示内容引起的光散射的影响。

在一些示例中，ISP流水线50(例如，镜头阴影补偿器130)可以针对镜头阴影来补偿第二图像数据(310)。在其他示例中，ISP流水线50(例如，自动白平衡单元132)可以对第二图像数据进行自动白平衡(310)。ISP流水线50可以输出第二图像数据(312)。例如，ISP流水线50可以将第二图像数据输出到存储器(例如，外部存储器14)以进行永久存储(或存储直到被用户删除)。在另一个示例中，ISP流水线50可以将第二图像数据输出到显示器232，例如以向用户提供预览图像。在又一示例中，ISP流水线50可以将第二图像数据输出到零快门滞后(ZSL)缓冲器。在另一示例中，ISP流水线50可以将第二图像数据输出到外部显示器。虽然图13描绘了以特定次序发生的步骤，但该次序只是示例性的。所描绘的次序不应该被视为限制性的。

图14是示出本公开的示例显示阴影补偿技术的流程图。图14的技术可以与图13的技术一起使用。在一些示例中，图像捕获设备可以在显示器下方具有多于一个相机传感器。就图14的示例而言，图13的相机传感器是第一相机传感器，图13的显示器的至少一部分是显示器的至少第一部分，图13的显示内容的至少一部分是显示内容的至少第一部分，并且图13的调整矩阵是第一调整矩阵。

在图14的示例中，图像捕获设备ISP流水线50可以接收由第二相机传感器238捕获的第三图像数据(314)。例如，第三图像数据可能与第一图像数据不同，因为第二相机传感器238可能是与第一相机传感器相比具有更广或更窄角度的传感器。ISP流水线50可以接收显示的内容的至少第二部分(315)。例如，ISP流水线50可以接收位于显示器232的区域232C中的显示的内容的一部分。在其他示例中，ISP流水线50可以接收在第二相机传感器238正上方的显示的内容的一部分。在又一示例中，ISP流水线50可以接收所有显示的内容。在一些示例中，第一区域和第二区域可以是相同的。在其他示例中，第一区域和第二区域可能不相同。在一些示例中，第一区域和第二区域可以包括相同的像素中的至少一些像素。

ISP流水线50(例如，显示阴影补偿发生器142)可以确定第二调整矩阵(316)，例如，二维增益矩阵。该调整矩阵可基于显示捕获器140中的显示的内容的一部分。在一些示例中，调整矩阵还基于预设参数144。在其他示例中，调整矩阵还基于相机传感器上方的像素的老化状态。如上面所讨论的，预设参数可以是补偿参数，以补偿由显示器232中的子像素大小、形状和位置(例如，图6A-6C中的那些)导致的影响。在图2D的示例中，相机传感器234和第二相机传感器238位于显示器232下方的不同位置。因此，与在第二相机传感器238上方相比，不同的显示的内容可以在相机传感器234上方显示。此外，位于相机传感器234上方的子像素(或其部分)可能与位于相机传感器238上方的子像素(或其部分)不同。区域232B和区域232C中的像素的老化状态也可能不同。因此，第二调整矩阵可能与图13的示例的调整矩阵不同。

在一些示例中，ISP流水线50可以通过从可以存储在预设参数144中的调整矩阵中选择一个调整矩阵，来确定第二调整矩阵，例如，二维增益矩阵。在一些示例中，预设参数可以在本地存储器8中、在外部存储器14中、或在ISP流水线50中。在这样的示例中，ISP流水线50可以尝试选择可能最好地补偿显示阴影的调整矩阵。在一些示例中，ISP流水线50确定第二区域中子像素的平均和，并使用该平均作为索引，以确定要选择哪个调整矩阵。在一些示例中，ISP流水线50可以在两个调整矩阵之间进行插值，或以其他方式调整给定的所选择的调整矩阵。在其他示例中，ISP流水线50可以基于显示捕获器140中的显示的内容的至少第二部分，来计算第二调整矩阵，例如，二维增益矩阵。在一些示例中，ISP流水线50可以基于显示捕获器140中的显示的内容的至少一部分和预设参数144，来计算第二调整矩阵。

ISP流水线50(例如，显示阴影补偿器128)可以将第二调整矩阵应用于第三图像数据以创建第四图像数据(317)。例如，可以对第四图像数据进行显示阴影补偿，以便减少或消除由显示器232中的子像素引起的阴影、由显示内容引起的光散射和在相机传感器上方的像素的老化的影响。

ISP流水线50可以输出第四图像数据(318)。例如，ISP流水线50可以将第四图像数据输出到存储器(例如，外部存储器14)以进行永久存储(或存储直到被用户删除)。在另一个示例中，ISP流水线50可以将第四图像数据输出到显示器232，以例如向用户提供预览图像。在又一示例中，ISP流水线50可以将第二图像数据输出到零快门滞后(ZSL)缓冲器。在另一示例中，ISP流水线50可以将第二图像数据输出到外部显示器。虽然图14描绘了以特定次序发生的步骤，但该次序只是示例性的。所描绘的次序不应该被视为限制性的。

图15是示出根据本公开的同步技术的流程图。图15的技术可以与图13和/或图14的技术一起使用。例如，ISP流水线50可以通过图15的技术确定调整矩阵(图13的306)。

ISP流水线50(例如，显示捕获器140)可以将显示内容的一个或多个帧的一部分存储(320)在例如显示帧当前写入缓冲器288中。DPU HW ISR 284可以对显示内容的一个或多个帧的每个部分应用时间戳，该时间戳指示该帧被显示的时间(322)。例如，DPU HW ISR284可以应用时间戳，该时间戳基于全局时钟源282指示由显示器232显示帧的开始。在其他示例中，DPU HW ISR 284可以应用时间戳，该时间戳基于全局时钟源282指示由显示器232显示帧的结束。在另一些示例中，DPU HW ISR 284可以应用时间戳，该时间戳基于全局时钟源282指示由显示器232显示帧期间的任何其他时间。

相机ISP HW ISR 286可以确定相机传感器的曝光时间(324)。例如，相机ISP HWISR可以基于全局时钟源282确定相机传感器曝光的开始时间和相机传感器曝光的结束时间。ISP流水线50(例如，显示阴影补偿发生器142)可以确定哪个(哪些)帧与相机传感器曝光时间相关联(326)。例如，显示阴影补偿发生器142可以基于所应用的时间戳，来确定哪个(哪些)帧与相机传感器曝光时间相关联。例如，显示阴影补偿发生器142可以将相机传感器曝光时间与时间戳进行比较。ISP流水线50(例如，显示阴影补偿发生器142)可以基于作为关联帧的一个或多个帧的部分，来确定调整矩阵(328)。在一些示例中，显示阴影补偿发生器142可以通过基于作为关联帧的一个或多个帧的部分来选择一个或多个最佳匹配调整矩阵，来确定调整矩阵。在存在多于一个关联帧的情况下，显示阴影补偿发生器142可以针对每个关联帧的部分来选择最佳匹配的调整矩阵，并且可以执行计算(例如，时间和)，以确定要由显示阴影补偿器128应用的调整矩阵。在一些示例中，该调整矩阵还可以基于预设参数144。

在其他示例中，显示阴影补偿发生器142可以通过基于作为关联帧的一个或多个帧的部分生成一个或多个矩阵，来确定调整矩阵。在存在多于一个关联帧的情况下，显示阴影补偿发生器142可以针对每个关联帧的部分来生成矩阵，并且执行计算(例如，时间和)，以确定要由显示阴影补偿器128应用的调整矩阵。在一些示例中，该调整矩阵还可以基于预设参数144。虽然图15描绘了以特定次序发生的步骤，但该次序只是示例性的。所描绘的次序不应该被视为限制性的。

图16是示出根据本公开的技术的确定用户界面的示例的流程图。图16的示例的技术可以与图13-15中任何技术一起使用。图像捕获设备102可以确定环境光水平(330)。例如，一个或多个处理器110可以查询环境光传感器122以确定环境光水平，并且环境光传感器122可以感测环境光水平。图像捕获设备102可以确定环境光水平是否低于预定的阈值(334)。例如，图像捕获设备102的一个或多个处理器110可以将确定出的环境光水平与存储在存储器114中的预定的阈值(例如，阈值107)进行比较，以确定环境光水平是否低于预定的阈值。基于环境光水平低于预定的阈值(图16中的“是”路径)，图像捕获设备102可以显示第一相机用户界面(336)。例如，图像捕获设备102可以在显示器116上显示第一UI 105，该第一UI 105在相机传感器112之上的区域120中具有黑色像素。

在一些示例中，环境光水平可能不低于预定的阈值。在这些情况下，基于环境光水平不低于预定的阈值(图16中的“否”路径)，图像捕获设备102可以显示第二相机用户界面(338)。例如，图像捕获设备102可以在显示器116上显示第二UI 108，该第二UI 108在相机传感器112之上的区域120中具有非黑色像素。例如，图像捕获设备102可以在相机传感器112之上的区域120中显示内容，例如，图像、图像的一部分、图标、图标的一部分、其他内容。

在一些示例中，图像捕获设备102可以启动图像捕获应用。在一些示例中，图像捕获设备102基于启动图像捕获应用来确定环境光水平。

在一些示例中，当显示第一UI 105时，图像捕获设备102可以使显示器下相机之上的区域中的黑色像素淡入。换言之，图像捕获设备102可以在一段时间内使相机传感器112上方的区域120中的像素的像素值从现有的非零值转换为零值。例如，图像捕获设备可以通过在一段时间内将值从现有的非零像素值减少到零像素值，来从现有的非零像素值转换为零像素值。在一些示例中，例如，当从显示第一相机用户界面转换为显示其他东西时，图像捕获设备102可以使显示器下相机传感器之上的区域中的黑色像素淡出。换言之，图像捕获设备102可以在一段时间内将像素值从现有的零像素值转换为非零像素值。例如，图像捕获设备可以通过在一段时间内将值从现有的零像素值增加到非零像素值，来从现有的零像素值转换为非零像素值。例如，图像捕获设备102可以基于图像捕获应用正在关闭而使黑色像素淡出。在一些示例中，图像捕获设备102可以基于由环境光传感器122感测到的新的环境光水平不低于预定的阈值，而使黑色像素淡出。虽然图15描绘了以特定次序发生的步骤，但该次序只是示例性的。所描绘的次序不应该被视为限制性的。

因此，以这种方式通过提供在低环境光情况下使用的第一UI以及通过提供显示阴影补偿器，相机传感器可以位于显示器下，以便在图像捕获设备上尝试使显示器大小最大化，而不会以其他方式出现图像质量问题。通过将相机传感器定位在屏幕下，图像捕获设备的屏幕大小可能比使用具有凹口的屏幕的相同大小的图像捕获设备更大，并且图像捕获设备的可靠性可以被改进为优于使用具有可移动机械部件的弹出式相机的图像捕获设备的可靠性。

图17是示出根据本公开的技术的确定用户界面的另一示例的流程图。图17的示例的技术可以与图13-16中任何一个的技术一起使用。图像捕获设备102可以从传感器接收信号(350)。例如，一个或多个处理器110可以从环境光传感器122接收信号。在另一个示例中，一个或多个处理器110可以从触摸传感器109接收信号。在又一示例中，图像捕获设备可以从相机传感器112接收信号。

图像捕获设备102可以至少部分地基于该信号来确定用户界面模式(352)。用户界面模式可以包括第一模式或第二模式。第一模式(例如，第一UI 105)可以包括在显示器的区域中的第一数量的黑色像素，并且第二模式可以包括在显示器的区域中的第二数量的黑色像素。第一数量可以大于第二数量。例如，第一模式可以包括区域(例如，图8A的区域504)中的所有黑色像素。例如，第二模式可以包括区域(例如，图8B的区域514)中的零个黑色像素。

图像捕获设备102可以从相机传感器112接收图像数据(354)。例如，用户可以点击显示器116上的图标，以使一个或多个处理器110启动图像捕获应用104，并且相机传感器112可以捕获图像数据并将图像数据发送到一个或多个处理器110。

在一些示例中，一个或多个处理器110可以确定该信号是否低于阈值，并且基于该信号低于阈值，一个或多个处理器可以控制显示器116以显示第一模式(例如，第一UI105)。在一些示例中，一个或多个处理器110可以从传感器接收第二信号。一个或多个处理器110可以确定该第二信号是否低于阈值。基于该第二信号不低于阈值，一个或多个处理器110可以控制显示器以显示第二模式(例如，第二UI 108)。

在一些示例中，一个或多个处理器110可以启动图像捕获应用104。在一些示例中，一个或多个处理器110可以基于启动图像捕获应用来确定用户界面模式。在一些示例中，UI模式可以包括具有第三数量的黑色像素的第三模式。在一些示例中，黑色像素的第三数量大于第二数量并且小于第一数量。

在一些示例中，一个或多个处理器110可以控制显示器116以使相机传感器之上的区域120中的黑色像素淡入。在一些示例中，一个或多个处理器110可以控制显示器116以使相机传感器之上的区域120中的黑色像素淡出。在一些示例中，一个或多个处理器110可以基于图像捕获应用正在关闭来控制显示器116，以使区域120中的黑色像素淡出。在一些示例中，一个或多个处理器110可以基于新的环境光水平不低于阈值，来控制显示器以使黑色像素淡出。

本公开的技术包括以下示例。

示例1。一种图像捕获装置，包括：存储器；以及一个或多个处理器，其耦合到相机传感器和所述存储器并且被配置为：从所述相机传感器接收第一图像数据，所述相机传感器被设置为通过显示器的至少一部分接收光；接收显示内容的至少一部分；基于所述显示内容的至少一部分来确定调整矩阵；将所述调整矩阵应用于所述第一图像数据以创建第二图像数据；以及输出所述第二图像数据。

示例2。根据示例1所述的装置，其中，所述调整矩阵包括二维增益矩阵。

示例3。根据示例1或示例2所述的装置，其中，所述调整矩阵还是基于预设参数的。

示例4。根据示例3所述的装置，其中，所述预设参数指示以下各项中的至少一项：显示器中子像素的形状、大小或位置，或所述显示器中活动像素的位置。

示例5。根据示例1-4的任何组合所述的图像捕获设备，其中，所述调整矩阵还是基于老化因子的。

示例6。根据示例1-4的任何组合所述的图像捕获设备，其中，所述一个或多个处理器还被配置为在应用所述调整矩阵之前，将所述调整矩阵乘以老化因子。

示例7。根据示例5或示例6所述的图像捕获设备，其中，所述老化因子是基于对所述显示器下相机传感器上方的所述区域中的像素的透射率衰落比较的统计测量的。

示例8。根据示例1-7的任何组合所述的装置，其中，所述显示内容的至少一部分被显示在位于至少部分地在所述相机传感器之上的区域中。

示例9。根据示例1-8的任何组合所述的装置，其中，所述一个或多个处理器被配置为通过以分段双线性方式应用所述调整矩阵，来应用所述调整矩阵。

示例10。根据示例1-9的任何组合所述的装置，其中，所述显示器中的子像素的至少一部分被设置在所述相机传感器之上。

示例11。根据示例1-10的任何组合所述的装置，其中，所述显示器的子像素被设置在所述相机传感器的上方并且与所述相机传感器邻近，而没有遮挡所述相机传感器。

示例12。根据示例1-11的任何组合所述的装置，其中，所述相机传感器是第一相机传感器，所述显示器的至少一部分是所述显示器的至少第一部分，所述显示内容的至少一部分是显示内容的至少第一部分，并且所述调整矩阵是第一调整矩阵，所述一个或多个处理器还被配置为：从第二相机传感器接收第三图像数据，所述第二相机传感器被设置在显示器的至少一部分下方并且耦合到所述一个或多个处理器；接收显示内容的至少第二部分；基于所述显示内容的至少第二部分来确定第二调整矩阵；将所述第二调整矩阵应用于所述第三图像数据以创建第四图像数据；以及输出所述第四图像数据。

示例13。根据示例1-12的任何组合所述的装置，其中，所述一个或多个处理器被配置为通过针对每个颜色通道分别应用调整矩阵，来应用所述调整矩阵。

示例14。根据示例1-13的任何组合所述的装置，还包括：所述显示器，所述显示器被配置为显示内容。

示例15。根据示例1-14的任何组合所述的装置，其中，所述显示内容是基于由所述相机传感器捕获的图像的。

示例16。根据示例1-15的任何组合所述的装置，其中，所述显示器包括有机发光二极管(OLED)显示器。

示例17。根据示例16所述的装置，其中，所述OLED显示器包括透明阳极和透明阴极中的至少一者。

示例18。根据示例16或示例17所述的装置，其中，所述一个或多个处理器还被配置为：在接收到所述第一图像数据时，至少由形成所述OLED显示器的区域的像素子集来显示内容。

示例19。根据示例1-18的任何组合所述的装置，其中，所述装置包括移动电话。

示例20。根据示例1-19的任何组合所述的装置，其中，所述一个或多个处理器被配置为：通过从存储在存储器中的多个调整矩阵中选择所述调整矩阵，来确定所述调整矩阵。

示例21。根据示例20所述的装置，其中，所述一个或多个处理器被配置为：通过计算区域中的子像素值的平均和，以及使用所述平均和作为用于选择所述调整矩阵的索引，来选择所述调整矩阵。

示例22。根据示例20所述的装置，其中，所述一个或多个处理器还被配置为：调整所选择的调整矩阵。

示例23。根据示例1-22的任何组合所述的装置，其中，所述一个或多个处理器被配置为：通过在两个调整矩阵之间进行插值，来选择所述调整矩阵。

示例24。根据示例1-19所述的任何组合所述的装置，其中，所述一个或多个处理器被配置为：通过计算所述调整矩阵，来确定所述调整矩阵。

示例25。根据示例1-24的任何组合所述的装置，其中，所述一个或多个处理器被配置为通过以下操作来确定所述调整矩阵：存储所述显示内容的一个或多个帧的一部分；将时间戳应用于所述显示内容的一个或多个帧的每个部分；确定相机传感器曝光时间；基于所应用的时间戳，来确定哪些帧与所述相机传感器曝光时间相关联；以及基于作为关联帧的一个或多个帧的部分，来确定所述调整矩阵。

示例26。一种图像处理的方法，包括：在图像捕获设备处，接收由相机传感器捕获的第一图像数据，其中，所述相机传感器被设置为通过所述图像捕获设备上的显示器的至少一部分接收光；在所述图像捕获设备处，接收显示内容的至少一部分；在所述图像捕获设备处，基于所述显示内容的至少一部分来确定调整矩阵；将所述调整矩阵应用于所述第一图像数据以创建第二图像数据；以及输出所述第二图像数据。

示例27。根据示例26所述的方法，其中，所述调整矩阵包括二维增益矩阵。

示例28。根据示例26或示例27所述的方法，其中，所述调整矩阵还是基于预设参数的。

示例29。根据示例28所述的方法，其中，所述预设参数指示以下各项中的至少一项：所述显示器中子像素的形状、大小或位置，或所述显示器中活动像素的位置。

示例30。根据示例26-29的任何组合所述的方法，其中，所述调整矩阵还是基于老化因子的。

示例31。根据示例26-29的任何组合所述的方法，还包括：在应用所述调整矩阵之前，将所述调整矩阵乘以老化因子。

示例32。根据示例30或示例31所述的方法，其中，所述老化因子是基于对所述相机传感器上方区域中的像素的透射率衰落比较的统计测量的。

示例33。根据示例26-32的任何组合所述的方法，其中，所述显示内容的至少一部分被显示在位于至少部分地在所述相机传感器之上的区域中。

示例34。根据示例26-33的任何组合所述的方法，其中，应用所述调整矩阵包括以分段双线性方式应用所述调整矩阵。

示例35。根据示例26-34的任何组合所述的方法，其中，所述显示器中的子像素的至少一部分被设置在所述相机传感器之上。

示例36。根据示例26-35的任何组合所述的方法，其中，所述显示器的子像素被设置在所述相机传感器的上方并且与所述相机传感器邻近，而没有遮挡所述相机传感器。

示例37。根据示例26-36的任何组合所述的方法，其中，所述相机传感器是第一相机传感器，所述显示器的至少一部分是所述显示器的至少第一部分，所述显示内容的至少一部分是显示内容的至少第一部分，并且所述调整矩阵是第一调整矩阵，所述方法还包括：在图像捕获设备处，接收由第二相机传感器捕获的第三图像数据，其中，所述第二相机传感器被设置在所述图像捕获设备上的显示器的至少第二部分下方；在所述图像捕获设备处，接收显示内容的至少第二部分；在所述图像捕获设备处，基于所述显示内容的至少第二部分来确定第二调整矩阵；将所述第二调整矩阵应用于所述第三图像数据以创建第四图像数据；以及输出所述第四图像数据。

示例38。根据示例26-37的任何组合所述的方法，其中，应用所述调整矩阵包括针对每个颜色通道分别应用调整矩阵。

示例39。根据示例26-38的任何组合所述的方法，其中，所述显示内容是基于由所述相机传感器捕获的图像的。

示例40。根据示例26-39的任何组合所述的方法，其中，所述显示器包括有机发光二极管(OLED)显示器。

示例41。根据示例40所述的方法，其中，所述OLED显示器包括透明阳极和透明阴极中的至少一者。

示例42。根据示例40或示例41所述的方法，还包括：在接收到所述第一图像数据时，至少由形成所述OLED显示器的区域的像素子集来活动地显示内容。

示例43。根据示例26-42的任何组合所述的方法，其中，所述图像捕获设备包括移动电话。

示例44。根据示例26-43的任何组合所述的方法，其中，确定所述调整矩阵包括：从存储在存储器中的多个调整矩阵中选择所述调整矩阵。

示例45。根据示例44所述的方法，其中，选择所述调整矩阵包括：计算区域中的子像素值的平均和，以及使用所述平均和作为用于选择所述调整矩阵的索引。

示例46。根据示例44所述的方法，其中，选择所述调整矩阵包括：调整所述调整矩阵。

示例47。根据示例26-46的任何组合所述的方法，其中，确定所述调整矩阵还包括：在两个调整矩阵之间进行插值。

示例48。根据示例26-43的任何组合所述的方法，其中，确定所述调整矩阵包括：计算所述调整矩阵。

示例49。根据示例26-48的任何组合所述的方法，其中，确定所述调整矩阵包括：存储所述显示内容的一个或多个帧的一部分；将时间戳应用于所述显示内容的一个或多个帧的每个部分；确定相机传感器曝光时间；基于所应用的时间戳，来确定哪些帧与所述相机传感器曝光时间相关联；以及基于作为关联帧的一个或多个帧的部分来确定所述调整矩阵。

示例50。一种存储指令的非暂时性计算机可读存储介质，所述指令当被执行时，使得一个或多个处理器进行以下操作：从相机传感器接收第一图像数据，所述相机传感器被设置为通过显示器的至少一部分接收光；接收显示内容的至少一部分；基于所述显示内容的至少一部分来确定调整矩阵；将所述调整矩阵应用于所述第一图像数据以创建第二图像数据；以及输出所述第二图像数据。

示例51。一种图像捕获设备，包括：显示器，其被配置为显示捕获的图像；相机传感器，所述相机传感器被设置为通过所述显示器的至少一部分接收光；存储器，其被配置为存储捕获的图像；以及一个或多个处理器，其耦合到所述相机传感器、所述显示器和所述存储器并且被配置为：从传感器接收信号；至少部分地基于所述信号来确定用户界面模式，所述用户界面模式包括第一模式或第二模式，其中，所述第一模式包括在所述显示器的区域中的第一数量的黑色像素，并且所述第二模式包括在所述显示器的所述区域中的第二数量的黑色像素，所述第一数量大于所述第二数量；以及从所述相机传感器接收图像数据。

示例52。根据示例51所述的图像捕获设备，其中，所述传感器是环境光传感器。

示例53。根据示例51或示例52所述的图像捕获设备，其中，所述一个或多个处理器还被配置为：确定所述信号是否低于阈值；以及基于所述信号低于所述阈值，控制所述显示器以显示所述第一模式。

示例54。根据示例51-53的任何组合所述的图像捕获设备，其中，所述信号是第一信号，并且所述一个或多个处理器还被配置为：从所述传感器接收第二信号；确定所述第二信号是否低于所述阈值；以及基于所述第二信号不低于所述阈值，控制所述显示器以显示所述第二模式。

示例55。根据示例51-54的任何组合所述的图像捕获设备，其中，所述一个或多个处理器还被配置为：启动图像捕获应用，其中，所述一个或多个处理器基于启动所述图像捕获应用来确定所述用户界面模式。

示例56。根据示例52-55的任何组合所述的图像捕获设备，还包括：环境光传感器，其被配置为感测环境光水平。

示例57。根据示例51所述的图像捕获设备，其中，所述传感器是所述相机传感器。

示例58。根据示例51所述的图像捕获设备，其中，所述传感器是触摸传感器。

示例59。根据示例51所述的图像捕获设备，其中，所述第二数量为零。

示例60。根据示例51-59的任何组合所述的图像捕获设备，其中，所述用户界面模式还包括：第三模式，其包括第三数量的黑色像素。

示例61。根据示例60所述的图像捕获设备，其中，黑色像素的所述第三数量大于所述第二数量，并且小于所述第一数量。

示例62。根据示例51-61的任何组合所述的图像捕获设备，其中，所述一个或多个处理器还被配置为：控制所述显示器以在所述相机传感器之上的所述区域中使所述黑色像素淡入。

示例63。根据示例51-62的任何组合所述的图像捕获设备，其中，所述一个或多个处理器还被配置为：控制所述显示器以在所述相机传感器之上的所述区域中使所述黑色像素淡出。

示例64。根据示例63所述的图像捕获设备，其中，所述一个或多个处理器还被配置为：基于图像捕获应用正在关闭，来控制所述显示器以使所述黑色像素淡出。

示例65。根据示例63所述的图像捕获设备，其中，所述一个或多个处理器基于新的环境光水平不低于所述阈值，来控制所述显示器以使所述黑色像素淡出。

示例66。一种方法，包括：由图像捕获设备从传感器接收信号；由图像捕获设备并且至少部分地基于所述信号来确定用户界面模式，所述用户界面模式包括第一模式或第二模式，其中，所述第一模式包括在显示器的区域中的第一数量的黑色像素，并且所述第二模式包括在所述显示器的所述区域中的第二数量的黑色像素，所述第一数量大于所述第二数量；以及由所述图像捕获设备从相机传感器接收图像数据，其中，所述相机传感器被设置为通过所述显示器的至少一部分接收光。

示例67。根据示例66所述的方法，其中，所述传感器是环境光传感器。

示例68。根据示例66或示例67所述的方法，还包括：由所述图像捕获设备确定所述信号是否低于阈值；以及基于所述信号低于所述阈值，由所述图像捕获设备控制所述显示器以显示所述第一模式。

示例69。根据示例66-68的任何组合所述的方法，还包括：从所述传感器接收第二信号；确定所述第二信号是否低于所述阈值；以及基于所述第二信号不低于所述阈值，控制所述显示器以显示所述第二模式。

示例70。根据示例66-69的任何组合所述的方法，还包括：由所述图像捕获设备启动图像捕获应用，其中，所述图像捕获设备基于启动所述图像捕获应用来确定所述用户界面模式。

示例71。根据示例66所述的方法，其中，所述传感器是所述相机传感器。

示例72。根据示例66所述的方法，其中，所述传感器是触摸传感器。

示例73。根据示例66所述的方法，其中，所述第二数量为零。

示例74。根据示例66-73的任何组合所述的方法，其中，所述用户界面模式还包括：第三模式，其包括第三数量的黑色像素。

示例75。根据示例74所述的方法，其中，黑色像素的所述第三数量大于所述第二数量，并且小于所述第一数量。

示例76。根据示例66-75的任何组合所述的方法，还包括：控制所述显示器以在所述相机传感器之上的所述区域中使所述黑色像素淡入。

示例77。根据示例66-76的任何组合所述的方法，还包括：控制所述显示器以在所述相机传感器之上的所述区域中使所述黑色像素淡出。

示例78。根据示例66-77的任何组合所述的方法，还包括：基于图像捕获应用正在关闭，来控制所述显示器以使所述黑色像素淡出。

示例79。根据示例66-78的任何组合所述的方法，还包括：基于新的环境光水平不低于所述阈值，来控制所述显示器以使所述黑色像素淡出。

示例80。一种存储指令的非暂时性计算机可读存储介质，所述指令当被执行时，使得一个或多个处理器进行以下操作：从传感器接收信号；至少部分地基于所述信号来确定用户界面模式，所述用户界面模式包括第一模式或第二模式，其中，所述第一模式包括在显示器的区域中的第一数量的黑色像素，并且所述第二模式包括在所述显示器的所述区域中的第二数量的黑色像素，所述第一数量大于所述第二数量；以及从相机传感器接收图像数据，其中，所述相机传感器被设置为通过所述显示器的至少一部分接收光。

示例81。一种图像捕获设备，包括：用于从传感器接收信号的单元；用于至少部分地基于所述信号来确定用户界面模式的单元，所述用户界面模式包括第一模式或第二模式，其中，所述第一模式包括在显示器的区域中的第一数量的黑色像素，并且所述第二模式包括在所述显示器的所述区域中的第二数量的黑色像素，所述第一数量大于所述第二数量；以及用于由所述图像捕获设备从相机传感器接收图像数据的单元，其中，所述相机传感器被设置为通过所述显示器的至少一部分接收光。

在一个或多个示例中，所描述的功能可以以硬件、软件、固件或其任何组合来实现。如果以软件实现，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或者通过其进行发送，并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于有形介质(例如，数据存储介质，或通信介质)，包括促进例如根据通信协议将计算机程序从一个地方传送到另一个地方的任何介质。以装置方式，计算机可读介质通常可以对应于：(1)有形计算机可读存储介质，其是非暂时性的；或者(2)通信介质，例如，信号或载波。数据存储介质可以是任何可用的介质，其可以由一台或多台计算机或一个或多个处理器访问，以取回指令、代码和/或数据结构以实现本公开内容中所描述的技术。计算机程序产品可以包括计算机可读介质。

通过示例而非限制的方式，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储装置、磁盘存储装置、或其他磁性存储设备、闪速存储器、或可以用于以指令或数据结构形式存储所需程序代码并且可以由计算机访问的任何其他介质。而且，可以将任何连接适当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外、无线电和微波之类的无线技术从网站、服务器或其他远程源发送的，则同轴电缆、光纤光缆、双绞线、DSL或者诸如红外、无线电和微波之类的无线技术是包括在介质的定义中的。然而，应该理解的是，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬时介质，而是针对非瞬时的、有形的存储介质。如本文所使用的磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式重现数据，而光盘利用激光以光学方式重现数据。上述各项的组合也应包括在计算机可读介质的范围内。

指令可以由一个或多个处理器(例如，一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其他等效的集成或分立逻辑电路)执行。因此，本文所使用的术语“处理器”可以指代前述结构中的任一种或适合实现本文所描述的技术的任何其他结构。而且，这些技术可以在一个或多个电路或逻辑元件中完全实现。

本公开的技术可以在各种设备或装置中实现，这些设备或装置包括无线手机、集成电路(IC)或一组IC(例如，芯片组)。本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但不一定要求由不同的硬件单元实现。而是，如上面所描述的，各种单元可以由互操作的硬件单元的集合提供，该集合包括如上面所描述的一个或多个处理器结合合适的软件和/或固件。

已经描述了各种示例。这些和其他示例都在所附权利要求书的范围内。

Claims (81)

1.一种图像捕获设备，包括：

存储器；以及

一个或多个处理器，其耦合到相机传感器和所述存储器并且被配置为：

从所述相机传感器接收第一图像数据，所述相机传感器被设置为通过显示器的至少一部分接收光；

接收显示内容的至少一部分；

基于所述显示内容的至少一部分来确定调整矩阵；

将所述调整矩阵应用于所述第一图像数据以创建第二图像数据；以及

输出所述第二图像数据。

2.根据权利要求1所述的图像捕获设备，其中，所述调整矩阵包括二维增益矩阵。

3.根据权利要求1或2所述的图像捕获设备，其中，所述调整矩阵还是基于预设参数的。

4.根据权利要求3所述的图像捕获设备，其中，所述预设参数指示以下各项中的至少一项：显示器中子像素的形状、大小或位置，或所述显示器中活动像素的位置。

5.根据权利要求1-4的任何组合所述的图像捕获设备，其中，所述调整矩阵还是基于老化因子的。

6.根据权利要求1-4的任何组合所述的图像捕获设备，其中，所述一个或多个处理器还被配置为在应用所述调整矩阵之前，将所述调整矩阵乘以老化因子。

7.根据权利要求5或6所述的图像捕获设备，其中，所述老化因子是基于对所述相机传感器上方区域中的像素的透射率衰落比较的统计测量的。

8.根据权利要求1-7的任何组合所述的图像捕获设备，其中，所述显示内容的至少一部分被显示在位于至少部分地在所述相机传感器之上的区域中。

9.根据权利要求1-8的任何组合所述的图像捕获设备，其中，所述一个或多个处理器被配置为通过以分段双线性方式应用所述调整矩阵，来应用所述调整矩阵。

10.根据权利要求1-9的任何组合所述的图像捕获设备，其中，所述显示器中的子像素的至少一部分被设置在所述相机传感器之上。

11.根据权利要求1-10的任何组合所述的图像捕获设备，其中，所述显示器的子像素被设置在所述相机传感器的上方并且与所述相机传感器邻近，而没有遮挡所述相机传感器。

12.根据权利要求1-11的任何组合所述的图像捕获设备，其中，所述相机传感器是第一相机传感器，所述显示器的至少一部分是所述显示器的至少第一部分，所述显示内容的至少一部分是显示内容的至少第一部分，并且所述调整矩阵是第一调整矩阵，所述一个或多个处理器还被配置为：

从第二相机传感器接收第三图像数据，所述第二相机传感器被设置在显示器的至少一部分下方并且耦合到所述一个或多个处理器；

接收显示内容的至少第二部分；

基于所述显示内容的至少第二部分来确定第二调整矩阵；

将所述第二调整矩阵应用于所述第三图像数据以创建第四图像数据；以及

输出所述第四图像数据。

13.根据权利要求1-12的任何组合所述的图像捕获设备，其中，所述一个或多个处理器被配置为通过针对每个颜色通道分别应用调整矩阵，来应用所述调整矩阵。

14.根据权利要求1-13的任何组合所述的图像捕获设备，还包括：

所述显示器，所述显示器被配置为显示内容。

15.根据权利要求1-14的任何组合所述的图像捕获设备，其中，所述显示内容是基于由所述相机传感器捕获的图像的。

16.根据权利要求1-15的任何组合所述的图像捕获设备，其中，所述显示器包括有机发光二极管(OLED)显示器。

17.根据权利要求16所述的图像捕获设备，其中，所述OLED显示器包括透明阳极和透明阴极中的至少一者。

18.根据权利要求16或17所述的图像捕获设备，其中，所述一个或多个处理器还被配置为：在接收到所述第一图像数据时，至少由形成所述OLED显示器的区域的像素子集来显示内容。

19.根据权利要求1-18的任何组合所述的图像捕获设备，其中，所述装置包括移动电话。

20.根据权利要求1-19的任何组合所述的图像捕获设备，其中，所述一个或多个处理器被配置为：通过从存储在存储器中的多个调整矩阵中选择所述调整矩阵，来确定所述调整矩阵。

21.根据权利要求20所述的图像捕获设备，其中，所述一个或多个处理器被配置为：通过计算区域中的子像素值的平均和，以及使用所述平均和作为用于选择所述调整矩阵的索引，来选择所述调整矩阵。

22.根据权利要求20所述的图像捕获设备，其中，所述一个或多个处理器还被配置为：调整所选择的调整矩阵。

23.根据权利要求1-22的任何组合所述的图像捕获设备，其中，所述一个或多个处理器被配置为：通过在两个调整矩阵之间进行插值，来选择所述调整矩阵。

24.根据权利要求1-19的任何组合所述的图像捕获设备，其中，所述一个或多个处理器被配置为：通过计算所述调整矩阵，来确定所述调整矩阵。

25.根据权利要求1-24的任何组合所述的图像捕获设备，其中，所述一个或多个处理器被配置为通过以下操作来确定所述调整矩阵：

存储所述显示内容的一个或多个帧的一部分；

将时间戳应用于所述显示内容的一个或多个帧的每个部分；

确定相机传感器曝光时间；

基于所应用的时间戳，来确定哪些帧与所述相机传感器曝光时间相关联；以及

基于作为关联帧的一个或多个帧的部分，来确定所述调整矩阵。

26.一种图像处理的方法，包括：

在图像捕获设备处，接收由相机传感器捕获的第一图像数据，其中，所述相机传感器被设置为通过所述图像捕获设备上的显示器的至少一部分接收光；

在所述图像捕获设备处，接收显示内容的至少一部分；

在所述图像捕获设备处，基于所述显示内容的至少一部分来确定调整矩阵；

将所述调整矩阵应用于所述第一图像数据以创建第二图像数据；以及

输出所述第二图像数据。

27.根据权利要求26所述的方法，其中，所述调整矩阵包括二维增益矩阵。

28.根据权利要求26或27所述的方法，其中，所述调整矩阵还是基于预设参数的。

29.根据权利要求28所述的方法，其中，所述预设参数指示以下各项中的至少一项：所述显示器中子像素的形状、大小或位置，或所述显示器中活动像素的位置。

30.根据权利要求26-29的任何组合所述的方法，其中，所述调整矩阵还是基于老化因子的。

31.根据权利要求26-29的任何组合所述的方法，还包括：在应用所述调整矩阵之前，将所述调整矩阵乘以老化因子。

32.根据权利要求30或31所述的方法，其中，所述老化因子是基于对所述相机传感器上方区域中的像素的透射率衰落比较的统计测量的。

33.根据权利要求26-32的任何组合所述的方法，其中，所述显示内容的至少一部分被显示在位于至少部分地在所述相机传感器之上的区域中。

34.根据权利要求26-33的任何组合所述的方法，其中，应用所述调整矩阵包括以分段双线性方式应用所述调整矩阵。

35.根据权利要求26-34的任何组合所述的方法，其中，所述显示器中的子像素的至少一部分被设置在所述相机传感器之上。

36.根据权利要求26-35的任何组合所述的方法，其中，所述显示器的子像素被设置在所述相机传感器的上方并且与所述相机传感器邻近，而没有遮挡所述相机传感器。

37.根据权利要求26-36的任何组合所述的方法，其中，所述相机传感器是第一相机传感器，所述显示器的至少一部分是所述显示器的至少第一部分，所述显示内容的至少一部分是显示内容的至少第一部分，并且所述调整矩阵是第一调整矩阵，所述方法还包括：

在图像捕获设备处，接收由第二相机传感器捕获的第三图像数据，其中，所述第二相机传感器被设置在所述图像捕获设备上的显示器的至少第二部分下方；

在所述图像捕获设备处，接收显示内容的至少第二部分；

在所述图像捕获设备处，基于所述显示内容的至少第二部分来确定第二调整矩阵；

将所述第二调整矩阵应用于所述第三图像数据以创建第四图像数据；以及

输出所述第四图像数据。

38.根据权利要求26-37的任何组合所述的方法，其中，应用所述调整矩阵包括针对每个颜色通道分别应用调整矩阵。

39.根据权利要求26-38的任何组合所述的方法，其中，所述显示内容是基于由所述相机传感器捕获的图像的。

40.根据权利要求26-39的任何组合所述的方法，其中，所述显示器包括有机发光二极管(OLED)显示器。

41.根据权利要求40所述的方法，其中，所述OLED显示器包括透明阳极和透明阴极中的至少一者。

42.根据权利要求40或41所述的方法，还包括：在接收到所述第一图像数据时，至少由形成所述OLED显示器的区域的像素子集来活动地显示内容。

43.根据权利要求26-42的任何组合所述的方法，其中，所述图像捕获设备包括移动电话。

44.根据权利要求26-43的任何组合所述的方法，其中，确定所述调整矩阵包括：从存储在存储器中的多个调整矩阵中选择所述调整矩阵。

45.根据权利要求44所述的方法，其中，选择所述调整矩阵包括：计算区域中的子像素值的平均和，以及使用所述平均和作为用于选择所述调整矩阵的索引。

46.根据权利要求44所述的方法，其中，选择所述调整矩阵包括：调整所述调整矩阵。

47.根据权利要求26-46的任何组合所述的方法，其中，确定所述调整矩阵还包括：在两个调整矩阵之间进行插值。

48.根据权利要求26-43的任何组合所述的方法，其中，确定所述调整矩阵包括：计算所述调整矩阵。

49.根据权利要求26-48的任何组合所述的方法，其中，确定所述调整矩阵包括：

存储所述显示内容的一个或多个帧的一部分；

将时间戳应用于所述显示内容的一个或多个帧的每个部分；

确定相机传感器曝光时间；

基于所应用的时间戳，来确定哪些帧与所述相机传感器曝光时间相关联；以及

基于作为关联帧的一个或多个帧的部分来确定所述调整矩阵。

50.一种存储指令的非暂时性计算机可读存储介质，所述指令当被执行时，使得一个或多个处理器进行以下操作：

从相机传感器接收第一图像数据，所述相机传感器被设置为通过显示器的至少一部分接收光；

接收显示内容的至少一部分；

基于所述显示内容的至少一部分来确定调整矩阵；

将所述调整矩阵应用于所述第一图像数据以创建第二图像数据；以及

输出所述第二图像数据。

51.一种图像捕获设备，包括：

显示器，其被配置为显示捕获的图像；

相机传感器，所述相机传感器被设置为通过所述显示器的至少一部分接收光；

存储器，其被配置为存储捕获的图像；以及

一个或多个处理器，其耦合到所述相机传感器、所述显示器和所述存储器并且被配置为：

从传感器接收信号；

至少部分地基于所述信号来确定用户界面模式，所述用户界面模式包括第一模式或第二模式，其中，所述第一模式包括在所述显示器的区域中的第一数量的黑色像素，并且所述第二模式包括在所述显示器的所述区域中的第二数量的黑色像素，所述第一数量大于所述第二数量；以及

从所述相机传感器接收图像数据。

52.根据权利要求51所述的图像捕获设备，其中，所述传感器是环境光传感器。

53.根据权利要求51或52所述的图像捕获设备，其中，所述一个或多个处理器还被配置为：

确定所述信号是否低于阈值；以及

基于所述信号低于所述阈值，控制所述显示器以显示所述第一模式。

54.根据权利要求51-53的任何组合所述的图像捕获设备，其中，所述信号是第一信号，并且所述一个或多个处理器还被配置为：

从所述传感器接收第二信号；

确定所述第二信号是否低于所述阈值；以及

基于所述第二信号不低于所述阈值，控制所述显示器以显示所述第二模式。

55.根据权利要求51-54的任何组合所述的图像捕获设备，其中，所述一个或多个处理器还被配置为：

启动图像捕获应用，

其中，所述一个或多个处理器基于启动所述图像捕获应用来确定所述用户界面模式。

56.根据权利要求52-55的任何组合所述的图像捕获设备，还包括：环境光传感器，其被配置为感测环境光水平。

57.根据权利要求51所述的图像捕获设备，其中，所述传感器是所述相机传感器。

58.根据权利要求51所述的图像捕获设备，其中，所述传感器是触摸传感器。

59.根据权利要求51所述的图像捕获设备，其中，所述第二数量为零。

60.根据权利要求51-59的任何组合所述的图像捕获设备，其中，所述用户界面模式还包括：第三模式，其包括第三数量的黑色像素。

61.根据权利要求60所述的图像捕获设备，其中，黑色像素的所述第三数量大于所述第二数量，并且小于所述第一数量。

62.根据权利要求51-61的任何组合所述的图像捕获设备，其中，所述一个或多个处理器还被配置为：控制所述显示器以在所述相机传感器之上的所述区域中使所述黑色像素淡入。

63.根据权利要求51-62的任何组合所述的图像捕获设备，其中，所述一个或多个处理器还被配置为：控制所述显示器以在所述相机传感器之上的所述区域中使所述黑色像素淡出。

64.根据权利要求63所述的图像捕获设备，其中，所述一个或多个处理器还被配置为：基于图像捕获应用正在关闭，来控制所述显示器以使所述黑色像素淡出。

65.根据权利要求63所述的图像捕获设备，其中，所述一个或多个处理器基于新的环境光水平不低于所述阈值，来控制所述显示器以使所述黑色像素淡出。

66.一种方法，包括：

由图像捕获设备从传感器接收信号；

由图像捕获设备并且至少部分地基于所述信号来确定用户界面模式，所述用户界面模式包括第一模式或第二模式，其中，所述第一模式包括在显示器的区域中的第一数量的黑色像素，并且所述第二模式包括在所述显示器的所述区域中的第二数量的黑色像素，所述第一数量大于所述第二数量；以及

由所述图像捕获设备从相机传感器接收图像数据，其中，所述相机传感器被设置为通过所述显示器的至少一部分接收光。

67.根据权利要求66所述的方法，其中，所述传感器是环境光传感器。

68.根据权利要求66或67所述的方法，还包括：

由所述图像捕获设备确定所述信号是否低于阈值；以及

基于所述信号低于所述阈值，由所述图像捕获设备控制所述显示器以显示所述第一模式。

69.根据权利要求66-68的任何组合所述的方法，还包括：

从所述传感器接收第二信号；

确定所述第二信号是否低于所述阈值；以及

基于所述第二信号不低于所述阈值，控制所述显示器以显示所述第二模式。

70.根据权利要求66-69的任何组合所述的方法，还包括：

由所述图像捕获设备启动图像捕获应用，

其中，所述图像捕获设备基于启动所述图像捕获应用来确定所述用户界面模式。

71.根据权利要求66所述的方法，其中，所述传感器是所述相机传感器。

72.根据权利要求66所述的方法，其中，所述传感器是触摸传感器。

73.根据权利要求66所述的方法，其中，所述第二数量为零。

74.根据权利要求66-73的任何组合所述的方法，其中，所述用户界面模式还包括：第三模式，其包括第三数量的黑色像素。

75.根据权利要求74所述的方法，其中，黑色像素的所述第三数量大于所述第二数量，并且小于所述第一数量。

76.根据权利要求66-75的任何组合所述的方法，还包括：控制所述显示器以在所述相机传感器之上的所述区域中使所述黑色像素淡入。

77.根据权利要求66-76的任何组合所述的方法，还包括：控制所述显示器以在所述相机传感器之上的所述区域中使所述黑色像素淡出。

78.根据权利要求66-77的任何组合所述的方法，还包括：基于图像捕获应用正在关闭，来控制所述显示器以使所述黑色像素淡出。

79.根据权利要求66-78的任何组合所述的方法，还包括：基于新的环境光水平不低于所述阈值，来控制所述显示器以使所述黑色像素淡出。

80.一种存储指令的非暂时性计算机可读存储介质，所述指令当被执行时，使得一个或多个处理器进行以下操作：

从传感器接收信号；

至少部分地基于所述信号来确定用户界面模式，所述用户界面模式包括第一模式或第二模式，其中，所述第一模式包括在显示器的区域中的第一数量的黑色像素，并且所述第二模式包括在所述显示器的所述区域中的第二数量的黑色像素，所述第一数量大于所述第二数量；以及

从相机传感器接收图像数据，其中，所述相机传感器被设置为通过所述显示器的至少一部分接收光。

81.一种图像捕获设备，包括：

用于从传感器接收信号的单元；

用于至少部分地基于所述信号来确定用户界面模式的单元，所述用户界面模式包括第一模式或第二模式，其中，所述第一模式包括在显示器的区域中的第一数量的黑色像素，并且所述第二模式包括在所述显示器的所述区域中的第二数量的黑色像素，所述第一数量大于所述第二数量；以及

用于由所述图像捕获设备从相机传感器接收图像数据的单元，其中，所述相机传感器被设置为通过所述显示器的至少一部分接收光。

Images