CN117396734A - 用于提高由具有图像平面相位差像素的图像传感器采集的图像的质量的方法、电子设备、计算机可读存储介质和终端设备 - Google Patents

Abstract

公开了一种用于提高由具有图像平面相位差像素的图像传感器采集的图像的质量的方法。该方法包括：当图像传感器曝光时，获取图像的图像信号和相位差信号；基于相位差信号确定图像的光源的类型；以及基于光源的类型对图像执行颜色再现处理。

Description

用于提高由具有图像平面相位差像素的图像传感器采集的图 像的质量的方法、电子设备、计算机可读存储介质和终端设备

技术领域

本公开涉及一种用于提高由具有图像平面相位差像素的图像传感器采集的图像的质量的方法、一种执行该方法的电子设备、一种存储实现该方法的程序的计算机可读存储介质以及一种执行该方法的终端设备。

背景技术

诸如智能手机的电子设备具有包括镜头和图像传感器的相机模块。图像传感器通过使用附接到像素的光电二极管的滤色器将通过镜头透射的光转换成彩色光。光电二极管接收彩色光以输出相应的彩色信号。红色信号、绿色信号和蓝色信号构成由相机模块采集的图像的图像信号或图像数据。

近年来，已经开发了一种具有新像素的图像传感器，该像素能够检测用于自动聚焦操作的相位差。该像素被称为“图像平面相位差像素”。

要成像的对象通常由诸如阳光之类的光源或诸如荧光灯或LED灯之类的室内光照射。对象本身可以包括光源。存在各种类型的光源。在本申请中，术语光源的“类型”不仅包括诸如阳光、荧光灯、LED灯或OLED灯之类的光源的类型，还包括光源的色温。

常规而言，通过使用图像信号来估计光源的类型。具体而言，根据每种颜色的积分值来估计光源的类型。通过对红色的像素的输出值进行积分来获得第一积分值。通过对绿色的像素的输出值进行积分来获得第二积分值。通过对蓝色的像素的输出值进行积分来获得第三积分值。基于第一积分值、第二积分值和第三积分值来估计光源的类型。

在估计光源的类型之后，基于所估计的光源的类型对采集的图像执行颜色再现处理(例如，白平衡处理、颜色矩阵处理)。

然而，颜色再现处理可能无法被正确执行。原因之一在于由于滤色器的非理想特性，难以准确估计光源的类型。如图15所示，滤色器的透射特性实际上使得波长不同于所需波长的光能够被透射(参见区域A1和A2)。因此，图像信号并不指示每种颜色的确切强度。

发明内容

本公开旨在解决上述技术问题中的至少一个。因此，本公开需要提供一种用于提高由具有图像平面相位差像素的图像传感器采集的图像的质量的方法、一种执行该方法的电子设备以及一种存储实现该方法的程序的计算机可读存储介质。

根据本公开，提供了一种用于提高由具有图像平面相位差像素的图像传感器采集的图像的质量的方法。该方法包括：当图像传感器曝光时，获取图像的图像信号和相位差信号；基于相位差信号确定图像的光源的类型；以及基于光源的类型对图像执行颜色再现处理。

在一些实施例中，基于相位差信号确定图像的光源的类型可以包括：基于相位差信号获得第一颜色的第一焦点位置；基于相位差信号获得第二颜色的第二焦点位置；以及基于第一焦点位置和第二焦点位置估计光源的第一类型。

在一些实施例中，基于第一焦点位置和第二焦点位置估计光源的第一类型可以包括：计算第一焦点位置与第二焦点位置的比率；以及基于该比率估计光源的类型。

在一些实施例中，第一颜色可以为红色，第二颜色为绿色。

在一些实施例中，第一颜色可以为蓝色，第二颜色为绿色。

在一些实施例中，该方法还可以包括：基于图像信号估计光源的第二类型。基于相位差信号确定图像的光源的类型可以包括：当第一类型和第二类型彼此不同并且第一类型为预定类型时，将光源的类型确定为第一类型。

在一些实施例中，预定类型可以为白光LED。

在一些实施例中，基于相位差信号确定图像的光源的类型可以包括：基于相位差信号获得图像传感器的第一颜色的第一焦点位置；基于相位差信号获得图像传感器的第二颜色的第二焦点位置；基于相位差信号获得图像传感器的第三颜色的第三焦点位置；计算第一焦点位置与第二焦点位置的第一比率；计算第三焦点位置与第二焦点位置的第二比率；以及基于第一比率和第二比率估计光源的第一类型。

在一些实施例中，基于光源的类型对图像执行颜色再现处理可以包括：基于光源的类型的光谱对图像执行白平衡处理。

在一些实施例中，基于光源的类型对图像执行颜色再现处理可以包括：选择与光源的类型对应的线性矩阵；以及基于线性矩阵转换图像中的颜色。

根据本公开，提供了一种电子设备，包括处理器和用于存储指令的存储器。所述指令在由处理器执行时使该处理器执行根据本公开的方法。

根据本公开，提供了一种计算机可读存储介质，其上存储有计算机程序。计算机程序由计算机执行以实现根据本公开的方法。

根据本公开，提供了一种终端设备。该终端设备包括：一个或多个处理器；存储器；以及一个或多个程序。所述一个或多个程序包括指令并存储在存储器中。所述一个或多个程序被配置成由所述一个或多个处理器执行以用于下述操作：

当图像传感器曝光时，获取图像的图像信号和相位差信号；

基于相位差信号确定图像的光源的类型；以及

基于光源的类型对图像执行颜色再现处理。

附图说明

根据参照以下附图做出的下述描述，本公开的实施例的这些方面和优点以及/或者其他方面和优点将变得明显并且更容易理解。

图1是示出根据本公开的实施例的电子设备的配置的功能框图。

图2是示出电子设备中的图像传感器的一部分的平面图。

图3是沿着图2的线I-I截取的横截面图。

图4是根据本公开的实施例的电子设备中的图像信号处理器的功能框图。

图5是根据本公开的实施例的用于提高由图像传感器获取的图像的颜色再现的流程图。

图6是根据本公开的实施例的用于确定图像的光源的类型的流程图。

图7是根据本公开的实施例的用于基于相位差信号估计光源的类型的流程图。

图8是根据本公开的实施例的用于解释如何计算焦点位置的图。

图9是根据本公开的实施例的用于计算焦点位置的图的示例。

图10是示出当光源为DL5000时由每个滤色器的光电二极管接收的光的波长的平均值的图的示例。

图11是示出当光源为LED5000K时由每个滤色器的光电二极管接收的光的波长的平均值的图的示例。

图12是示出对于色度图的角度的焦点位置的比率(R/G)的图的示例。

图13是示出对于色度图的角度的焦点位置的比率(B/G)的图的示例。

图14是在常规情况(左)和本公开的情况(右)下经过颜色再现处理的图像的示例。

图15是示出实际滤色器特性的图的示例。

图16是示出不同的光源类型的光谱的图的示例。

具体实施方式

将详细描述本公开的实施例，并且将在附图中示出实施例的示例。相同或相似的元件以及具有相同功能或相似功能的元件在整个描述中由相同的附图标记表示。本文中参照附图描述的实施例是解释性的，旨在说明本公开，但不应被解释为限制本公开。

<电子设备100>

将参照图1描述电子设备100。图1是示出根据本公开的实施例的电子设备100的配置的示例的功能框图。

电子设备100是诸如智能手机、平板终端或移动电话之类的移动设备，也可以是配备有相机模块的其他类型的电子设备。

如图1所示，电子设备100包括相机模块10、距离传感器模块20、图像信号处理器(ISP)30、全球导航卫星系统(GNSS)模块40、无线通信模块41、编解码器(CODEC)42、扬声器43、麦克风44、显示模块45、输入模块46、惯性测量单元(IMU)47、主处理器48和存储器49。

相机模块10被配置成采集图像。相机模块10也可以拍摄视频。

相机模块10包括能够聚焦于对象的透镜单元11、对经由透镜单元11输入的图像进行检测的图像传感器12和驱动图像传感器12的图像传感器驱动器13。透镜单元11可以包括多个透镜。这些透镜中的至少一个透镜可以沿着光轴方向移动以进行聚焦操作。

可选地，相机模块10可以是用于双目立体观看的立体相机模块。该立体相机模块包括主相机模块和从相机模块。

参照图2和图3详细描述图像传感器12的示例。图2是示出图像传感器12的一部分的平面图。图3是沿着图2的线I-I截取的横截面图。

图像传感器12具有以网格图案排列的多个像素。图像传感器12具有三种类型的像素，即，用于红色的像素12R、用于绿色的像素12G和用于蓝色的像素12B。如图2所示，像素12R、12G和12B根据拜耳布局(Bayer layout)排列。图像传感器12不限于根据拜耳布局排列的RGB像素，但是图像传感器12可以包含用于白色的像素，即，图像传感器12可以由RGBW像素组成。

像素12R、12G和12B是图像平面相位差像素，使得可以执行相位检测自动聚焦操作。如图3所示，像素12R具有片上透镜(微透镜)121、滤色器122R以及两个光电二极管123L和123R。片上透镜121有效地收集光电二极管123L和123R上的入射光。滤色器122R被配置成透射红光，并且被设置成覆盖光电二极管123L和123R。

光电二极管123L和123R分别位于像素12R中的左侧和右侧。光电二极管123L接收通过透镜单元11的右侧透射的光。光电二极管123R接收通过透镜单元11的左侧透射的光。

像素12G和12B具有与像素12R相同的配置。也就是说，像素12G具有片上透镜121、透射绿光的滤色器122G以及两个光电二极管123L和123R。像素12B具有片上透镜121、透射蓝光的滤色器以及两个光电二极管123L和123R。

像素的光电二极管不限于将该像素分成两侧(左和右)的光电二极管，像素的光电二极管还可以是将该像素分成四侧(上、下、左和右)的光电二极管。

滤色器不限于RGB，滤色器也可以是CMY(青色、品红色、黄色)。

像素12R、12G和12B可以连续地或以预定间隔排列在图像传感器12的整个表面上，或者可以排列在该表面的一部分上。

对于每种颜色的每个像素，可以通过将光电二极管123L的输出和光电二极管123R的输出相加来获得图像信号。可以对整个图像或图像的一部分进行输出的积分。

可以通过将预定像素块中的相同颜色像素的光电二极管123L的输出或光电二极管123R的输出相加来获得相位差信号。例如，像素块包含四个相同颜色的像素。如图2所示，像素块PG1、PG2和PG3中的每一个均具有四个像素12R。通过使用四个像素的输出的累加值或平均值，可以减少噪声的影响。像素块可以包含多个相同颜色的像素，该多个不是四个(例如为两个、六个或九个)。

距离传感器模块20包括透镜单元21、距离传感器22、距离传感器驱动器23以及向对象发射脉冲光的投影仪24。距离传感器模块20可以测量电子设备100与对象之间的距离。例如，距离传感器模块20是ToF相机，并且通过向对象发射脉冲光并检测从对象反射的光来采集飞行时间深度图或ToF深度图。可以省略距离传感器模块20。

图像信号处理器30向图像传感器驱动器13和距离传感器驱动器23发送指令，以分别控制相机模块10和距离传感器模块20。

ISP 30获取由相机模块10采集的图像的数据。该数据包括图像信号和相位差信号。替代性地，该数据可以是原始(RAW)信号。可以从原始信号中获得图像信号和相位差信号。

参照图4详细描述ISP 30的功能。ISP 30包括获取单元31、确定单元32和执行单元33。

获取单元31被配置成在相机模块10采集图像时获取该图像的数据。具体地，获取单元31在图像传感器12曝光时获取该图像的图像信号和相位差信号。例如，获取单元31获取存储在存储器49中的图像信号和相位差信号。

替代性地，获取单元31可以获取图像的原始信号，并从该原始信号中获得图像信号和相位差信号。

确定单元32被配置成基于相位差信号来确定所采集的图像的光源的类型。稍后将参照图7至图9说明如何确定光源的类型的细节。

执行单元33被配置成基于光源的类型对图像执行颜色再现处理。该颜色再现处理是白平衡处理和/或颜色矩阵处理。

下面描述电子设备100的其他部件。

GNSS模块40测量电子设备100的当前位置。无线通信模块41执行与因特网的无线通信。CODEC 42使用预定的编码/解码方法双向地执行编码和解码。扬声器43根据由CODEC42解码的声音数据输出声音。麦克风44基于输入的声音向CODEC 42输出声音数据。

显示模块45显示各种信息，例如由相机模块10实时采集的图像、用户界面(UI)和由ISP 30创建的颜色再现图像。

输入模块46经由用户的操作输入信息。输入模块46是触摸面板或键盘等。例如，输入模块46输入指令以采集并存储显示模块45上显示的图像。

IMU 47检测电子设备100的角速度和加速度。例如，可以通过IMU 47的测量结果来掌握电子设备100的姿态。

主处理器48对GNSS模块40、无线通信模块41、CODEC 42、扬声器43、麦克风44、显示模块45、输入模块46和IMU 47进行控制。

存储器49对图像的数据、深度图的数据、要用于图像处理的各种相机参数以及在图像信号处理器30和/或主处理器48上运行的程序进行存储。

<提高所采集的图像的质量的方法>

将参照图5所示的流程图描述根据本公开的实施例的用于提高由包括像素12R、12G和12B的图像传感器12采集的图像的质量的方法。

在步骤S1中，相机模块10采集图像。该图像的数据存储在存储器49中。该数据可以是图像信号和相位差信号，也可以是原始信号。获取单元31获取该图像的数据。

在步骤S2中，确定单元32确定在步骤S1中采集的图像的光源的类型。例如，光源的类型为日光或白光LED。光源的类型可以是诸如蓝色、绿色或红色的其他颜色的LED、荧光灯或夕阳。

在步骤S3中，执行单元33基于在步骤S2中确定的光源的类型对图像执行白平衡处理。具体地，执行单元33根据各种已知方法基于光源的类型的光谱对图像执行白平衡处理。

在步骤S4中，执行单元33基于在步骤S2中确定的光源的类型对图像执行颜色矩阵处理。具体地，执行单元33选择与光源的类型对应的颜色矩阵或线性矩阵。光源的类型与颜色矩阵之间的对应关系表可以存储在存储器49中。执行单元33可以通过参考该对应关系表来选择线性矩阵。之后，执行单元33基于所选择的线性矩阵来转换图像的颜色。

可选地，步骤S3和步骤S4可以以相反的顺序或并行地执行。

可选地，在步骤S1中采集的图像可以被分成多个区域，并且可以针对每个区域执行步骤S2到S4。

可选地，可以由诸如主处理器48的其他处理器执行步骤S1至S4中的至少一个步骤。

接下来，将参照图6的流程图描述步骤S2的细节。

在步骤S21中，确定单元32基于图像信号估计光源的类型。所估计的类型被称为第一类型。通过根据已知的方法对每种颜色(例如，红色、绿色、蓝色)的光电二极管123L和123R的输出进行积分来估计该类型。也就是说，可以通过对每种颜色的图像信号进行积分来获得这些值。

在步骤S22中，确定单元32基于相位差信号估计光源的类型。所估计的类型被称为第二类型。稍后将详细说明这一步的细节。

在步骤S23中，确定单元32确定第一类型和第二类型是否彼此不同。如果结果为“否”，则处理进行到步骤S24；如果结果为“是”，则处理进行到步骤S25。

在步骤S24中，确定单元32将第一类型确定为光源的类型。

在步骤S25中，确定单元32确定第二类型是否是特定的。如果结果为“是”，则处理进行到步骤S26；如果结果为“否”，则处理进行到步骤S24。

在步骤S26中，确定单元32将第二类型确定为光源的类型。

可以如上所述确定光源的类型。

当图像包含多个光源时，可以将该图像分成多个区域，每个区域包括上述光源之一，并且可以针对每个区域执行上述处理流程。结果是，可以获得每个区域的光源的类型。可以机械地执行图像的划分，使得每个区域具有相同的大小。可以基于属性的差异来执行图像的划分。例如，图像被分成两个区域，一个区域为主体，另一个区域为背景。

接下来，将参照图7的流程图描述步骤S22的细节。

在步骤S221中，确定单元32基于相位差信号获得图像传感器12的第一颜色的焦点位置(第一焦点位置)。该焦点位置也可以理解为焦距。

例如，当第一颜色为红色时，确定单元32基于相位差信号来计算第一焦点位置，该相位差信号是从接收通过红色滤色器122R透射的光的光电二极管的输出获得的。

将详细说明焦点位置的计算方法。

首先，确定单元32计算图像平面相位差像素之间具有不同间距的多个位置关系的相位差。例如，如图8所示，计算与光电二极管对123L和123R相关的位置关系中每个位置关系的相位差(即，-2、-1、±0、+1、+2)。由图8中的光电二极管对123L和123R组成的像素对应于图3中的像素12R。图8中，在每个位置关系中，对输出值被采样的光电二极管进行阴影处理。

通过计算光电二极管对123L和123R的输出之间的差来获得相位差。在位置关系为“-2”的情况下，计算左起第二个红色像素的光电二极管123R的输出与中间的红色像素的光电二极管123L的输出之间的差。请注意，作为输出，可以计算像素块中多个光电二极管的输出之和(或平均值)，并使用该和(或平均值)来获得差。

图9是绘制了点P1、P2、P3、P4和P5的图。每个点的x坐标值表示位置关系。也就是说，点P1、P2、P3、P4和P5的x坐标值分别为-2、-1、±0、+1或+2。每个点的y坐标值表示如上所述计算的相位差。

确定单元32找到基于点P1、P2、P3、P4和P5的直线与x轴相交的点。该交点表示红色(第一颜色)的焦点位置。如图9所示，该直线是由点P1、P2、P3、P4和P5组成的折线。在该示例中，找到了x轴与连接点P2和P3的直线的交点。替代性地，该直线可以是通过点P1、P2、P3、P4和P5的线性插值获得的线。当然，点数不限于5，而是任意的。

在步骤S222中，确定单元32基于相位差信号获得图像传感器12的第二颜色的焦点位置(第二焦点位置)。例如，第一颜色为绿色。通过与步骤S221中描述的相同的方法，确定单元32基于相位差信号来计算第二焦点位置，该相位差信号是从接收通过绿色滤色器122G透射的光的光电二极管的输出获得的。由于透镜单元11的色差，第一焦点位置和第二焦点位置彼此不同。

在步骤S223中，确定单元32基于第一焦点位置和第二焦点位置来估计光源的类型。

首先，确定单元32计算第一焦点位置与第二焦点位置的比率。在本实施例中，由于在本公开中第一颜色为红色而第二颜色为绿色，因此计算比率R/G。

接下来，确定单元32基于该比率来估计光源的类型。确定单元32可以参考对应关系表来估计光源的类型。该对应关系表示出了光源的类型与焦点位置比率之间的对应关系，并且该对应关系表可以存储在存储器49中。

在下文中，将描述为什么可以基于焦点位置估计光源的类型的原因。第一焦点位置反映已经通过红色滤光器122R的光的波长的平均值。第二焦点位置反映已经通过绿色滤色器122G的光的波长的平均值。由于透镜单元11的透镜的色差，第一焦点位置与第二焦点位置之间存在一点点偏差。

如图10所示，当光源为DL5000时，由蓝色滤色器、绿色滤色器和红色滤色器接收的光的波长的平均值W1、W2和W3接近每个滤色器的透射率的峰值。另一方面，如图11所示，当光源为LED5000K时，由红色滤色器和绿色滤色器接收的光的波长的平均值W2’和W3’偏离每个滤色器的透射率的峰值。实际上，这些偏差表明了光源的类型。

如上所述，执行步骤S22以基于相位差信号估计光源的类型。

图12是将针对两种光源的类型(即，DL5000和LED5000K)获得的比率R/G与YIQ色度图的角度关联绘制的图。从该图可以看出，在色度图的各个角度，两个比率之间的差大到足以确定光源的类型。

这同样适用于比率B/G。图13示出了将针对两种光源的类型(即，DL5000和LED5000K)获得的比率B/G与YIQ色度图的角度关联绘制的图。从该图可以看出，在色度图的各个角度，两个比率之间的差大到足以确定光源的类型。

请注意，第一颜色不限于红色，第二颜色不限于绿色。作为一个示例，第一颜色可以为蓝色，第二颜色可以为绿色。在这种情况下，比率可以为B/G或G/B。作为另一示例，第一颜色可以为红色，第二颜色可以为蓝色。在这种情况下，比率可以为B/R或R/B。

替代性地，可以根据与焦点位置相关的多个比率来估计光源的类型。例如，可以计算第一比率R/G和第二比率B/G两者来估计光源的类型。这可以进一步提高估计光源的类型的精度。

更具体地，确定单元32基于相位差信号获得图像传感器12的第一颜色(例如，红色)的第一焦点位置。接下来，确定单元32基于相位差信号获得图像传感器12的第二颜色(例如，绿色)的第二焦点位置。确定单元32基于相位差信号获得图像传感器的第三颜色(例如，蓝色)的第三焦点位置。确定单元32计算第一比率R/G和第二比率B/G。之后，确定单元32基于第一比率和第二比率来估计光源的类型。

可选地，为了增加在步骤S221和S222中计算的焦点位置的差，可以通过基于透镜单元11的设计信息执行色差校正的逆计算来对焦点位置进行转换。

如上所述，通过基于从图像平面相位差像素读取的相位差信号来估计光源的类型，可以准确地区分具有不同光谱形状的光源的类型，因此可以提高估计光源的类型的精度。

因此，通过使用根据本公开估计的光源的类型，可以提高所采集的图像的颜色再现性。也就是说，由于提高了估计光源的类型的精度，因此可以提高白平衡处理和/或颜色矩阵处理的性能。

此外，根据本公开的方法，可以在不需要新的硬件的情况下高精度地估计光源的类型，并且可以提高颜色再现处理的性能。

图14示出了颜色再现处理之后的图像的示例。图14的左侧示出了当仅通过图像信号估计光源的类型时(即，步骤S2仅包括步骤S21的情况)，被执行颜色再现处理的图像I1的示例。图14的右侧示出了当执行本公开的上述方法时，被执行颜色再现处理的图像I2的示例。图像I1和I2包含两个光源LS1和LS2，两个光源都是LED。

通过比较图像I1和图像I2可以看出，由于正确估计了光源LS1和光源LS2的类型，因此在桌子上的报纸中(由区域A指示)图像I2的颜色再现已经得到提高。

在根据图像信号估计光源的类型的常规方法中，因为图像信号仅为穿过滤色器的光的强度之和，所以难以辨别具有不同光谱形状的光源。实际上，有些光源具有不同的光谱形状。图16示出了色温为5000K的光源的光谱的示例。DL5000是模拟阳光的光源，具有宽光谱。LED5000K是白光LED，由蓝光LED和吸收蓝光并发出黄光的荧光材料组成。白光LED具有有着多个峰值的复杂光谱。如上所述，根据本公开的方法，通过基于从图像平面相位差像素读取的相位差信号来估计光源的类型，可以辨别具有不同光谱形状的光源。

如上所述，电子设备100执行根据本公开的方法。可以理解的是，该方法可以由不具有相机模块的终端设备执行。该终端设备具有一个或多个处理器、存储器以及一个或多个程序，所述一个或多个程序包括指令并存储在存储器中。所述一个或多个程序被配置为由所述一个或多个处理器执行以用于执行根据本公开的方法。例如，终端设备可以是图像处理终端。

在本公开的实施例的描述中，应当理解的是，诸如“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前部”、“后部(rear)”、“后(back)”、“左”、“右”、“垂直”、“水平”、“顶部”、“底部”、“内部”、“外部”、“顺时针”和“逆时针”之类的术语应当被解释为是指如所讨论的附图中所描述或所示出的定向或位置。这些相关术语仅用于简化本公开的描述，并不指示或暗示所提及的装置或元件必须具有特定的定向，或者必须以特定的定向构造或操作。因此，这些术语不能被构造成限制本公开。

此外，诸如“第一”和“第二”之类的术语在本文中用于描述目的，并不旨在指示或暗示相对重要性或意义，也不暗示所指示的技术特征的数量。因此，定义为“第一”和“第二”的特征可以包括该特征中的一个或多个。在本公开的描述中，除非另有说明，否则“多个”是指“两个或多于两个”。

在本公开的实施例的描述中，除非另有规定或限制，否则术语“安装”、“连接”、“耦接”等被广泛使用，并且可以是例如固定连接、可拆卸连接或整体连接；也可以是机械连接或电气连接；也可以是直接连接或经由中间结构的间接连接；也可以是本领域技术人员根据特定情况可以理解的两个元件的内部联通。

在本公开的实施例中，除非另有规定或限制，否则第一特征位于第二特征“之上(on)”或“之下(below)”的结构可以包括第一特征与第二特征直接接触的实施例，也可以包括第一特征和第二特征不彼此直接接触，而是经由形成在它们之间的附加特征接触的实施例。此外，第一特征在第二特征“之上”、“上方(above)”或“顶部(on top of)”可以包括第一特征正交地或倾斜地在第二特征“之上”、“上方”或“顶部”的实施例，或者仅仅意味着第一特征的高度高于第二特征的高度；而第一特征在第二特征“之下”、“下方(under)”或“底部(on bottom of)”可以包括第一特征正交地或倾斜地在第二特征“之下”、“下方”或“底部”的实施例，或者仅仅意味着第一特征的高度低于第二特征的高度。

在上述描述中提供了各种实施例和示例，以实现本公开的不同结构。为了简化本公开，在上面描述了某些元素和设置。然而，这些元素和设置仅作为示例，并不旨在限制本公开。此外，附图标记和/或附图字母可以在本公开的不同示例中重复。这种重复是为了简化和清楚，并不涉及不同实施例和/或设置之间的关系。此外，本公开中提供了不同工艺和材料的示例。然而，本领域技术人员将理解的是，也可以应用其他工艺和/或材料。

在本说明书中对“实施例”、“一些实施例”、“示例性实施例”、“示例”、“特定示例”或“一些示例”的引用意味着结合实施例或示例描述的特定特征、结构、材料或特性包括在本公开的至少一个实施例或示例中。因此，本说明书中出现上述短语不一定是指本公开的相同实施例或示例。此外，在一个或多个实施例或者一个或多个示例中，特定特征、结构、材料或特性可以以任何合适的方式进行组合。

流程图中描述的或本文中以其他方式描述的任何过程或方法可以被理解为包括用于实现过程中的特定逻辑功能或步骤的可执行指令的代码的一个或多个模块、片段或部分，并且本公开的优选实施例的范围包括其他实现方式，在这些实现方式中，本领域技术人员应当理解的是，可以以与所示出或所讨论的序列不同的序列(包括以基本相同的序列或相反的序列)来实现功能。

本文中以其他方式描述的或在流程图中示出的逻辑和/或步骤(例如，用于实现逻辑功能的可执行指令的特定序列表)可以在将由指令执行系统、装置或设备(例如基于计算机的系统，包括处理器的系统，或者能够从执行指令的指令执行系统、装置或设备获得指令的其他系统)使用的任何计算机可读介质中具体地实现，或者与指令执行系统、装置或设备结合使用。就本说明书而言，“计算机可读介质”可以是任何适于包括、存储、通信、传播或传输将由指令执行系统、装置或设备使用的或者与指令执行系统、装置或设备结合使用的程序的设备。计算机可读介质的更具体的示例包括但不限于：具有一根或多根导线的电子连接(电子设备)、便携式计算机外壳(磁性设备)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤器件和便携式光盘只读存储器(CDROM)。此外，计算机可读介质甚至可以是能够在其上打印程序的纸张或其他适当的介质，这是因为，例如，纸张或其他适当的介质可以被光学扫描，然后在必要时通过其他适当的方法进行编辑、解密或处理，从而以电子方式获得程序，然后程序可以被存储在计算机存储器中。

应当理解的是，本公开的每个部分均可以通过硬件、软件、固件或它们的组合来实现。在上述实施例中，多个步骤或方法可以由存储在存储器中的软件或固件实现，并由适当的指令执行系统执行。例如，如果通过硬件实现，同样在另一个实施例中，步骤或方法可以通过本领域中已知的以下技术中的一种或组合来实现：具有用于实现数据信号的逻辑功能的逻辑门电路的分立逻辑电路、具有适当的组合逻辑门电路的专用集成电路、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等。

本领域技术人员应当理解的是，可以通过用程序命令相关硬件来实现本公开的上述例证法中的全部步骤或部分步骤。程序可以存储在计算机可读存储介质中，并且当在计算机上运行时，程序包括本公开的方法实施例中的步骤中的一个或组合。

此外，本公开的实施例的每个功能单元可以集成在一个处理模块中，或者这些单元可以是单独的物理存在，或者两个或多个单元集成在一个处理模块中。集成的模块可以以硬件的形式实现或以软件功能模块的形式实现。当集成模块以软件功能模块的形式实现并作为独立产品出售或使用时，集成模块可以存储在计算机可读存储介质中。

上述存储介质可以是只读存储器、磁盘、CD等。存储介质可以是暂时性的或非暂时性的。

尽管已经示出和描述了本公开的实施例，但是本领域技术人员将理解的是，实施例是解释性的，不能被解释为限制本公开，并且在不脱离本公开的范围的情况下，可以在实施例中进行改变、修改、替代和变化。

Claims (20)

1.一种用于提高由具有图像平面相位差像素的图像传感器采集的图像的质量的方法，所述方法包括：

当所述图像传感器曝光时，获取所述图像的图像信号和相位差信号；

基于所述相位差信号确定所述图像的光源的类型；以及

基于所述光源的所述类型对所述图像执行颜色再现处理。

2.根据权利要求1所述的方法，其中，所述基于所述相位差信号确定所述图像的光源的类型包括：

基于所述相位差信号获得第一颜色的第一焦点位置；

基于所述相位差信号获得第二颜色的第二焦点位置；以及

基于所述第一焦点位置和所述第二焦点位置估计所述光源的第一类型。

3.根据权利要求2所述的方法，其中，所述基于所述第一焦点位置和所述第二焦点位置估计所述光源的第一类型包括：

计算所述第一焦点位置与所述第二焦点位置的比率；以及

基于所述比率估计所述光源的所述类型。

4.根据权利要求2或3所述的方法，其中，所述第一颜色为红色，所述第二颜色为绿色。

5.根据权利要求2或3所述的方法，其中，所述第一颜色为蓝色，所述第二颜色为绿色。

6.根据权利要求2至5中任一项的方法，还包括：基于所述图像信号估计所述光源的第二类型，

其中，所述基于所述相位差信号确定所述图像的光源的类型包括：当所述第一类型和所述第二类型彼此不同并且所述第一类型为预定类型时，将所述光源的所述类型确定为所述第一类型。

7.根据权利要求6所述的方法，其中，所述预定类型为白光LED。

8.根据权利要求1所述的方法，其中，所述基于所述相位差信号确定所述图像的光源的类型包括：

基于所述相位差信号获得所述图像传感器的第一颜色的第一焦点位置；

基于所述相位差信号获得所述图像传感器的第二颜色的第二焦点位置；

基于所述相位差信号获得所述图像传感器的第三颜色的第三焦点位置；

计算所述第一焦点位置与所述第二焦点位置的第一比率；

计算所述第三焦点位置与所述第二焦点位置的第二比率；以及

基于所述第一比率和所述第二比率估计所述光源的第一类型。

9.根据权利要求1至8中任一项所述的方法，其中，所述基于所述光源的所述类型对所述图像执行颜色再现处理包括：

基于所述光源的所述类型的光谱对所述图像执行白平衡处理。

10.根据权利要求1至9中任一项所述的方法，其中，所述基于所述光源的所述类型对所述图像执行颜色再现处理包括：

选择与所述光源的所述类型对应的线性矩阵；以及

基于所述线性矩阵转换所述图像中的颜色。

11.一种用于提高由具有图像平面相位差像素的图像传感器采集的图像的颜色再现的电子设备，所述电子设备包括：

获取单元，所述获取单元配置成获取图像信号和相位差信号；

确定单元，所述确定单元配置成基于所述相位差信号确定所述图像的光源的类型；以及

执行单元，所述执行单元配置成基于所述光源的所述类型对所述图像执行颜色再现处理。

12.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序由计算机执行，以实现根据权利要求1至10中任一项所述的方法。

13.一种终端设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中，包括指令的所述一个或多个程序存储在所述存储器中并且配置成由所述一个或多个处理器执行以用于下述操作：

当所述图像传感器曝光时，获取所述图像的图像信号和相位差信号；

基于所述相位差信号确定所述图像的光源的类型；以及

基于所述光源的所述类型对所述图像执行颜色再现处理。

14.根据权利要求13所述的终端设备，其中，所述基于所述相位差信号确定所述图像的光源的类型包括：

基于所述相位差信号获得第一颜色的第一焦点位置；

基于所述相位差信号获得第二颜色的第二焦点位置；以及

基于所述第一焦点位置和所述第二焦点位置估计所述光源的第一类型。

15.根据权利要求14所述的终端设备，其中，所述基于所述第一焦点位置和所述第二焦点位置估计所述光源的第一类型包括：

计算所述第一焦点位置与所述第二焦点位置的比率；以及

基于所述比率估计所述光源的所述类型。

16.根据权利要求14或15所述的终端设备，还包括：基于所述图像信号估计所述光源的第二类型，

其中，所述基于所述相位差信号确定所述图像的光源的类型包括：当所述第一类型和所述第二类型彼此不同并且所述第一类型为预定类型时，将所述光源的所述类型确定为所述第一类型。

17.根据权利要求16所述的终端设备，其中，所述预定类型为白光LED。

18.根据权利要求13所述的终端设备，其中，所述基于所述相位差信号确定所述图像的光源的类型包括：

基于所述相位差信号获得所述图像传感器的第一颜色的第一焦点位置；

基于所述相位差信号获得所述图像传感器的第二颜色的第二焦点位置；

基于所述相位差信号获得所述图像传感器的第三颜色的第三焦点位置；

计算所述第一焦点位置与所述第二焦点位置的第一比率；

计算所述第三焦点位置与所述第二焦点位置的第二比率；以及

基于所述第一比率和所述第二比率估计所述光源的第一类型。

19.根据权利要求13至18中任一项所述的终端设备，其中，所述基于所述光源的所述类型对所述图像执行颜色再现处理包括：

基于所述光源的所述类型的光谱对所述图像执行白平衡处理。

20.根据权利要求13至19中任一项所述的终端设备，其中，所述基于所述光源的所述类型对所述图像执行颜色再现处理包括：

选择与所述光源的所述类型对应的线性矩阵；以及

基于所述线性矩阵转换所述图像中的颜色。