CN105306786A - 用于具有相位检测像素的图像传感器的图像处理方法 - Google Patents

Abstract

本发明涉及用于具有相位检测像素的图像传感器的图像处理方法。图像传感器可包括具有用于捕捉图像数据的图像像素和用于在自动聚焦操作期间搜集相位信息的相位检测像素的像素阵列。相位检测像素可形成具有有着不同角度响应的第一和第二像素的相位检测像素对。第一和第二像素可具有相同颜色的滤色器，或者可具有不同颜色的滤色器。相位检测像素对可与该阵列中的其它相位检测像素对隔离，或者可被连续地布置成线。相位检测像素可例如具有滤色器以与像素阵列的滤色器模式匹配。处理电路可调整来自具有红色和绿色滤色器的相位检测像素对的红色和绿色像素信号，并且可随后使用调整的像素信号确定相差。

Description

用于具有相位检测像素的图像传感器的图像处理方法

技术领域

本申请一般地涉及成像系统，并且更具体地讲，涉及具有相位检测能力的成像系统。

背景技术

现代电子装置(诸如，蜂窝电话、照相机和计算机)经常使用数字图像传感器。成像器传感器(有时被称为成像器)可由图像感测像素的二维阵列形成。每个像素接收入射光子(光)并且将光子转换成电信号。图像传感器有时被设计为使用联合图像专家组(JPEG)格式将图像提供给电子装置。

一些应用(诸如，自动聚焦和三维(3D)成像)可能需要电子装置提供立体和/或深度感测能力。例如，为了使感兴趣的物体聚焦以用于图像捕捉，电子装置可能需要识别电子装置和感兴趣的物体之间的距离。为了识别距离，传统电子装置使用复杂布置。一些布置需要使用从各种视点捕捉图像的多个图像传感器和照相机透镜。其它布置需要添加将入射光聚焦在二维像素阵列的子区域上的双凸透镜阵列。由于诸如另外的图像传感器或复杂透镜阵列的部件的添加，这些布置导致减小的空间分辨率、增加的成本和增加的复杂性。

一些电子装置在单个图像传感器中既包括图像像素又包括相位检测像素。利用这种类型的布置，照相机能够使用片上相位检测像素聚焦图像，而不需要单独的相位检测传感器。在典型布置中，相位检测像素全都具有相同颜色并且在像素阵列中连续地布置成线。当相位检测像素被以这种方式布置时，光学串扰变成问题。例如，与绿色图像像素和红色图像像素之间的光学串扰相比，绿色图像像素和绿色相位检测像素之间的光学串扰可能更加难以校正。

因此，将会希望能够提供用于图像传感器的改进的相位检测像素布置和相位检测信号处理方法。

发明内容

本公开的一个目的是提供具有改进的相位检测像素布置和相位检测信号处理的图像传感器。

根据一个实施例，提供了一种用于处理来自包括图像像素和相位检测像素的像素阵列中的相位检测像素对的像素信号的方法，其中所述相位检测像素对包括具有不同角度响应的第一像素和第二像素。所述方法包括：利用第一和第二像素，产生各自的第一和第二像素信号；利用处理电路，调整第一和第二像素信号以减小第一和第二像素信号之间的偏差；以及利用处理电路，使用调整的第一和第二像素信号确定与第一和第二像素信号关联的相差。

根据另一个实施例，提供了一种用于处理来自包括图像像素和相位检测像素的像素阵列中的相位检测像素对的像素信号的方法，其中所述相位检测像素对包括具有不同角度响应的第一像素和第二像素。所述方法包括：利用第一和第二像素，产生各自的第一和第二像素信号；利用处理电路，基于来自邻近图像像素的图像像素信号确定亮度梯度，其中所述邻近图像像素位于第一和第二像素附近；以及使用亮度梯度以内插的图像像素信号替换第一和第二像素信号。

根据又一个实施例，提供了一种用于处理来自包括图像像素和相位检测像素的像素阵列中的相位检测像素对的像素信号的方法，其中所述相位检测像素对包括具有不同角度响应的第一像素和第二像素，其中第一像素位于该像素阵列中的第一列和第一行中，并且第二像素位于该像素阵列中的第二列和第二行中。所述方法包括：利用第一和第二像素，产生各自的第一和第二像素信号；利用处理电路，基于来自至少一个邻近相位检测像素对的像素信号调整第一和第二像素信号，其中所述至少一个邻近相位检测像素对位于所述相位检测像素对附近；以及利用处理电路，使用调整的第一和第二像素信号确定与第一和第二像素信号关联的相差。

根据本公开，可以减小相位检测像素信号之间的任何偏差。

附图说明

图1是根据本发明的实施例的具有可包括相位检测像素的图像传感器的说明性电子装置的示意图。

图2A是根据本发明的实施例的具有有着不同的不对称角度响应的光敏区域的说明性相位检测像素的剖视图。

图2B和2C是根据本发明的实施例的图2A的相位检测像素的剖视图。

图3是根据本发明的实施例的针对以不同入射角撞击相位检测像素的入射光的相位检测像素的说明性信号输出的示图。

图4A是根据本发明的实施例的沿水平方向布置的说明性相位检测像素对的顶视图。

图4B是根据本发明的实施例的沿垂直方向布置的说明性相位检测像素对的顶视图。

图4C是根据本发明的实施例的沿垂直方向布置并且被构造为沿着水平方向检测相差的说明性相位检测像素对的顶视图。

图5是具有连续地布置线并且全都具有相同颜色的相位检测像素的传统像素阵列的顶视图。

图6是根据本发明的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器的隔离的相位检测像素对的说明性像素阵列的顶视图。

图7是根据本发明的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器的连续地布置成线的相位检测像素对的说明性像素阵列的顶视图。

图8是根据本发明的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器的隔离的堆叠相位检测像素对的说明性像素阵列的顶视图。

图9是根据本发明的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器的连续地布置成线的堆叠相位检测像素对的说明性像素阵列的顶视图。

图10是根据本发明的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器的非连续地布置成线的隔离的相位检测像素对的说明性像素阵列的顶视图。

图11是根据本发明的实施例的具有有着与像素阵列的滤色器模式匹配的滤色器的隔离的沿对角线方向布置的相位检测像素对的说明性像素阵列的顶视图。

图12是根据本发明的实施例的具有布置成线的交替的红色相位检测像素对和绿色相位检测像素对的说明性像素阵列的顶视图。

图13是根据本发明的实施例的具有沿着两个或更多像素行分布的绿色相位检测像素对的说明性像素阵列的顶视图。

图14是根据本发明的实施例的操作具有图像像素和相位检测像素的图像传感器所涉及的说明性步骤的流程图。

图15是根据本发明的实施例的在自动聚焦操作期间处理相位检测像素信号所涉及的说明性步骤的流程图。

具体实施方式

本发明的实施例涉及具有自动聚焦和深度感测能力的图像传感器。具有照相机模块的电子装置被示出在图1中。电子装置10可以是数字照相机、计算机、蜂窝电话、医学装置或其它电子装置。照相机模块12(有时被称为成像装置)可包括一个或多个图像传感器14和一个或多个透镜28。在操作期间，透镜28(有时被称为光学器件28)将光聚焦在图像传感器14上。图像传感器14包括将光转换成数字数据的光敏元件(例如，像素)。图像传感器可具有任何数量的像素(例如，数百、数千、数百万或更多)。典型图像传感器可例如具有数百万的像素(例如，兆像素)。作为例子，图像传感器14可包括偏置电路(例如，源极跟随器负载电路)、采样和保持电路、相关双采样(CDS)电路、放大器电路、模数(ADC)转换器电路、数据输出电路、存储器(例如，缓冲器电路)、地址电路等。

来自图像传感器14的静止和视频图像数据可被提供给图像处理和数据格式化电路16。图像处理和数据格式化电路16可被用于执行图像处理功能(诸如，自动聚焦功能、深度感测、数据格式化、调整白平衡和曝光、实现视频图像稳定、脸检测等)。例如，在自动聚焦操作期间，图像处理和数据格式化电路16可处理由图像传感器14中的相位检测像素搜集的数据以确定使感兴趣的物体聚焦所需的透镜移动(例如，透镜28的移动)的大小和方向。

图像处理和数据格式化电路16还可被用于根据需要压缩原始照相机图像文件(例如，压缩成联合图像专家组或JPEG格式)。在有时被称为片上系统(SOC)布置的典型布置中，照相机传感器14以及图像处理和数据格式化电路16被实现在公共集成电路上。使用单个集成电路实现照相机传感器14以及图像处理和数据格式化电路16能够帮助减少成本。然而，这仅是说明性的。根据需要，照相机传感器14以及图像处理和数据格式化电路16可被使用分开的集成电路实现。

照相机模块12可经路径18将获取的图像数据传送给主机子系统20(例如，图像处理和数据格式化电路16可将图像数据传送给子系统20)。电子装置10通常为用户提供许多高级功能。在计算机或高级蜂窝电话中，例如，用户可被提供运行用户应用的能力。为了实现这些功能，电子装置10的主机子系统20可包括存储和处理电路24以及输入输出装置22(诸如，小键盘、输入输出端口、控制杆和显示器)。存储和处理电路24可包括易失性和非易失性存储器(例如，随机存取存储器、闪存、硬盘驱动器、固态驱动器等)。存储和处理电路24还可包括微处理器、微控制器、数字信号处理器、专用集成电路或其它处理电路。

可能希望提供具有深度感测能力的图像传感器，例如，用于自动聚焦应用、3D成像应用(诸如，机器视觉应用等)。为了提供深度感测能力，图像传感器14可包括相位检测像素组(诸如，图2A中示出的像素对100)。

图2A是像素对100的说明性剖视图。像素对100可包括第一和第二像素，诸如像素1和像素2。像素1和像素2可包括形成在基底(诸如，硅基底108)中的光敏区域110。例如，像素1可包括关联的光敏区域(诸如，光电二极管PD1)，并且像素2可包括关联的光敏区域(诸如，光电二极管PD2)。微透镜可被形成在光电二极管PD1和PD2上方，并且可被用于朝着光电二极管PD1和PD2引导入射光。微透镜102覆盖两个像素区域的图2A的布置有时可被称为2×1或1×2布置，因为存在连续地布置成线的两个相位检测像素。

滤色器(诸如，滤色器元件104)可位于微透镜102和基底108之间。滤色器元件104可通过仅允许预定波长穿过滤色器元件104来过滤入射光(例如，滤色器104可仅对于某些范围的波长而言是透明的)。光电二极管PD1和PD2可用于吸收由微透镜102聚焦的入射光，并且产生与吸收的入射光的量对应的像素信号。

光电二极管PD1和PD2中的每一个可覆盖在微透镜102下方的基底区域的大约一半(作为例子)。通过仅覆盖基底区域的一半，每个光敏区域可具有不对称角度响应(例如，光电二极管PD1可基于入射光到达像素对100的角度产生不同图像信号)。相对于法向轴线116的入射光到达像素对100的角度(即，相对于透镜102的光轴116的入射光撞击微透镜102的角度)可在这里被称为入射角或入射的角度。

能够使用前侧照明成像器布置(例如，当诸如金属互连电路的电路位于微透镜和光敏区域之间时)或背面照明成像器布置(例如，当光敏区域位于微透镜和金属互连电路之间时)形成图像传感器。像素1和2是背面照射图像传感器像素的图2A、2B和2C的例子仅是说明性的。根据需要，像素1和2可以是前侧照射图像传感器像素。像素是背面照射图像传感器像素的布置在本文中有时被描述为例子。

在图2B的例子中，入射光113可来自法向轴线116的左侧，并且可相对于法向轴线116以角度114到达像素对100。角度114可以是入射光的负角。以负角(诸如，角度114)到达微透镜102的入射光113可被朝着光电二极管PD2聚焦。在这个方案中，光电二极管PD2可产生相对较高的图像信号，而光电二极管PD1可产生相对较低的图像信号(例如，因为入射光113未被朝着光电二极管PD1聚焦)。

在图2C的例子中，入射光113可来自法向轴线116的右侧，并且相对于法向轴线116以角度118到达像素对100。角度118可以是入射光的正角。以正角(诸如，角度118)到达微透镜102的入射光可被朝着光电二极管PD1聚焦(例如，该光未被朝着光电二极管PD2聚焦)。在这个方案中，光电二极管PD2可产生相对较低的图像信号输出，而光电二极管PD1可产生相对较高的图像信号输出。

光电二极管PD1和PD2的位置有时可被称为不对称位置，因为每个光敏区域110的中心相对于微透镜102的光轴116偏移(即，不与微透镜102的光轴116对准)。由于基底108中的各光电二极管PD1和PD2的不对称形成，每个光敏区域110可具有不对称角度响应(例如，由每个光电二极管110响应于具有给定强度的入射光产生的信号输出可基于入射角而不同)。在图3的示图中，示出响应于入射光的不同角度的像素对100的光电二极管PD1和PD2的像素信号输出的例子。

线160可代表光电二极管PD2的输出图像信号，而线162可代表光电二极管PD1的输出图像信号。对于负入射角，光电二极管PD2的输出图像信号可增加(例如，因为入射光被聚焦在光电二极管PD2上)，并且光电二极管PD1的输出图像信号可减小(例如，因为入射光被聚焦在远离光电二极管PD1的地方)。对于正入射角，光电二极管PD2的输出图像信号可相对较小，并且光电二极管PD1的输出图像信号可相对较大。

图2A、2B和2C的像素对100的光电二极管PD1和PD2的尺寸和位置仅是说明性的。根据需要，光电二极管PD1和PD2的边缘可位于像素对100的中心或者可沿任何方向稍微离开像素对100的中心。根据需要，光电二极管110可在尺寸方面被减小以覆盖小于像素区域的一半的区域。

来自像素对(诸如，像素对100)的输出信号可被用于在自动聚焦操作期间调整图像传感器14中的光学器件，例如一个或多个透镜(诸如，图1的透镜28)。可基于来自像素对100的输出信号确定使感兴趣的物体聚焦所需的透镜移动的方向和大小。

例如，通过创建对来自透镜的一侧或另一侧的光灵敏的像素的对，能够确定相差。这个相差可被用于确定图像传感器光学器件应该被调整多远以及应该沿哪个方向调整图像传感器光学器件以使感兴趣的物体聚焦。

当物体聚焦时，来自图像传感器光学器件的两侧的光会聚创建以创建聚焦图像。当物体离焦时，由光学器件的两侧投射的图像不交叠，因为它们彼此不同相。通过创建每个像素对来自透镜的一侧或另一侧的光灵敏的像素的对，能够确定相差。这个相差能够被用于确定使图像同相并且由此聚焦感兴趣的物体所需的光学器件移动的方向和大小。用于确定相差信息的像素组(诸如，像素对100)在本文中有时被称为相位检测像素或深度感测像素。

可通过将PD1的输出像素信号与PD2的输出像素信号进行比较来计算相差信号。例如，可通过从PD2的像素信号输出减去PD1的像素信号输出(例如，通过从线160减去线162)来确定像素对100的相差信号。对于位于小于聚焦物体距离的距离的物体，相差信号可以是负的。对于位于大于聚焦物体距离的距离的物体，相差信号可以是正的。这种信息可被用于自动地调整图像传感器光学器件以使感兴趣的物体聚焦(例如，通过使像素信号彼此同相)。

像素对100可按照各种方式布置。例如，如图4A中所示，像素对100的像素1(在这里被称为P1)和像素2(在这里被称为P2)可被沿水平方向布置，平行于图4A的X轴(例如，可位于像素阵列的同一行中)。在图4B的例子中，P1和P2被沿垂直方向布置，平行于图4B的Y轴(例如，位于像素阵列的同一列中)。在图4C的例子中，P1和P2被沿垂直方向布置并且被构造为沿水平方向检测相差(例如，使用不透明光遮蔽层(诸如，金属掩模30))。

相位检测像素的典型布置被示出在图5中。图5的传统像素阵列500包括图像像素502的阵列。像素阵列500中的相位检测像素对504被连续地布置成线。像素阵列500包括滤色器阵列。标记为R的像素包括红色滤色器，标记为G的像素包括绿色滤色器，并且标记为B的像素包括蓝色滤色器。图像像素502中的滤色器的模式是拜耳(Bayer)马赛克模式，该模式包括二乘二图像像素502的重复单位基元，该单位基元具有布置在一个对角线上的两个绿色图像像素以及布置在另一对角线上的一个红色图像像素和一个蓝色图像像素。如图5中所示，相位检测像素对504全都形成有绿色滤色器元件，这破坏像素阵列500的拜耳马赛克模式。

当滤色器模式被以这种方式破坏时，以内插的图像像素值替换相位检测像素信号可能比较有挑战性。图像像素502和504之间的光学串扰也可能变成问题，因为校正具有特定类型的滤色器模式的像素阵列中的光学串扰的算法在校正当该滤色器模式被破坏时的光学串扰方面不那么有效。

为了克服这些挑战，可布置相位检测像素以使像素阵列中的滤色器模式的破坏最小化。使滤色器模式改变的量最小化的说明性相位检测像素布置被示出在图6-11中。在图6-13的例子中，标记为R的像素包括红色滤色器，标记为G的像素包括绿色滤色器，并且标记为B的像素包括蓝色滤色器。虚线(诸如，虚线102M)可指示由单个微透镜(诸如，图2A的微透镜102)覆盖的区域。

图6-13中对红色、绿色和蓝色滤色器的使用仅是说明性的。根据需要，滤色器模式可包括宽带滤波器。例如，像素的每个二乘二单位可包括具有宽带滤波器的一个像素。通常，任何合适滤色器模式和任何合适类型的滤色器可被用在图像传感器14中。图6-13的例子仅是说明性的。

如图6中所示，像素阵列32可包括图像像素34和相位检测像素36。像素阵列32可包括滤色器元件的阵列，诸如红色滤色器元件(例如，在反射和/或吸收其它颜色的光的同时使红光通过的滤色器材料)、蓝色滤色器元件(例如，在反射和/或吸收其它颜色的光的同时使蓝光通过的滤色器材料)、绿色滤色器元件(例如，在反射和/或吸收其它颜色的光的同时使绿光通过的滤色器材料)、黄色滤色器元件(例如，使红光和绿光通过的黄色滤色器材料)、清晰滤色器元件(例如，使红光、蓝光和绿光通过的透明材料)、宽带滤波器元件(例如，使从包括红光、蓝光和绿光的组选择的两个或更多颜色的光通过的滤波器材料)和/或其它颜色(例如，青色、品红色等)的滤色器元件。

在图6的例子中，按照分散的布置形成相位检测像素对100，其中每个相位检测像素对与其它相位检测像素对隔离。例如，每个相位检测像素对100可基本上或完全由图像像素34包围。通过利用图像像素34包围相位检测像素对100，可通过在每个相位检测像素对100附近的更大数量的邻近图像像素34来方便在图像重构处理期间以内插的图像像素值替换相位检测像素值。分散的相位检测像素对100可被沿水平方向布置在像素阵列32的行中(如图6的例子中所示)，或者可被沿垂直方向布置在像素阵列32的列中。像素阵列32可包括一个、两个、三个、十个、小于十个或超过十个相位检测像素对100，并且像素对100可位于阵列32中的任何合适位置。

像素对100可包括滤色器元件以与图像像素34的滤色器模式匹配。在图6的例子中，图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括不破坏拜耳模式的滤色器元件。例如，相位检测像素对100的P1可包括绿色滤色器元件，并且相位检测像素对100的P2可包括红色滤色器元件。然而，这仅是说明性的。根据需要，P1可包括红色滤色器元件并且P2可包括绿色滤色器元件或者P1可包括蓝色滤色器元件并且P2可包括绿色滤色器元件(作为例子)。选择P1和P2的滤色器元件以与整个像素阵列32的滤色器模式匹配。

像素阵列32的滤色器模式是拜耳滤色器模式的图6的例子仅是说明性的。根据需要，可使用其它合适的滤色器的模式，例如，以不同类型的滤波器(诸如，宽带滤波器)替换每个二乘二单位中的绿色滤色器之一或二者的伪拜耳滤色器模式、其它合适的滤色器模式等。形成在相位检测像素对36中的滤色器元件可以是任何合适颜色，只要像素阵列32的滤色器模式不变即可。像素阵列32的滤色器模式是拜耳滤色器模式的布置在本文中有时被描述为例子。

在图7的例子中，相位检测像素对100被连续地布置成线(例如，包括两个或更多连续像素对100的线段)。相位检测像素对100可被沿水平方向布置在像素阵列32的行中(如图7的例子中所示)，或者可被沿垂直方向布置在像素阵列32的列中。与图6的例子一样，图7的图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括使拜耳模式保持完整的滤色器元件。例如，每个像素对100的P1可包括绿色滤色器元件，并且每个像素对100的P2可包括红色滤色器元件。通常，形成在相位检测像素对36中的滤色器元件可以是任何合适颜色，只要像素阵列32的滤色器模式不变即可。

在图8的例子中，每个相位检测像素对100的P1和P2相对于彼此沿对角线方向位于像素阵列32的不同行和不同列中。这有时被称为堆叠相位检测像素布置，因为覆盖像素对100的P1的微透镜102被形成在覆盖像素对100的P2的微透镜102上方或下方。

与图6的例子一样，图8的相位检测像素对100与阵列32中的其它相位检测像素对隔离。例如，每个相位检测像素对100可基本上或完全由图像像素34包围。通过利用图像像素34包围相位检测像素对100，可通过在每个相位检测像素对100附近的更大数量的邻近图像像素34来方便在图像重构处理期间以内插的图像像素值替换相位检测像素值。

图8的图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括使拜耳模式保持完整的滤色器元件。然而，图8的堆叠布置允许每个相位检测像素对的P1和P2是相同颜色。例如，在滤色器模式是拜耳滤色器模式的情况下，每个像素对100的P1可包括绿色滤色器元件并且每个像素对100的P2(相对于P1沿对角线方向布置)也可包括绿色滤色器元件。通常，形成在相位检测像素对36中的滤色器元件可以是任何合适颜色，只要像素阵列32的滤色器模式不变即可。

在图9的例子中，具有图8中示出的类型的堆叠布置的相位检测像素对100被连续地布置成线(例如，包括两个或更多相邻像素对100的线段)。相位检测像素对100可被布置在像素阵列32的两个连续行中(如图9的例子中所示)，或者可被布置在像素阵列32的两个连续列中。与图8的例子一样，图9的图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括使拜耳模式保持完整的滤色器元件。例如，每个像素对100的P1可包括绿色滤色器元件，并且每个像素对100的P2(相对于P1沿对角线方向布置)也可包括绿色滤色器元件。通常，形成在相位检测像素对36中的滤色器元件可以是任何合适颜色，只要像素阵列32的滤色器模式不变即可。

在图10的例子中，像素对100被非连续地布置成线(例如，位于公共行中)并且通过图像像素34而彼此隔离。这种类型的布置类似于图6的布置，因为每个相位检测像素对100可基本上或完全由图像像素34包围。通过利用图像像素34包围相位检测像素对100，可通过在每个相位检测像素对100附近的更大数量的邻近图像像素34来方便在图像重构处理期间以内插的图像像素值替换相位检测像素值。

图11是图8的例子的变型，其中每个相位检测像素对100的P1和P2相对于彼此沿对角线方向位于像素阵列32的不同行和不同列中。然而，在图11的例子中，形成在P1上方的微透镜102M和形成在P2上方的微透镜相对于彼此偏移(例如，相对于彼此沿对角线方向布置，而非如图8的例子中一样堆叠)。

图11中示出的类型的相位检测像素对100可与其它相位检测像素对100隔离。例如，每个相位检测像素对100可基本上或完全由图像像素34包围。通过利用图像像素34包围相位检测像素对100，可通过在每个相位检测像素对100附近的更大数量的邻近图像像素34来方便在图像重构处理期间以内插的图像像素值替换相位检测像素值。然而，这仅是说明性的。根据需要，图11中示出的类型的相位检测像素对100可被布置成线(例如，可存在沿着线彼此相邻地布置的两个或更多像素对100)。

图11的图像像素34包括形成拜耳模式的滤色器元件，并且相位检测像素36包括使拜耳模式保持完整的滤色器元件。然而，图11的布置允许每个相位检测像素对的P1和P2是相同颜色。例如，在滤色器模式是拜耳滤色器模式的情况下，每个像素对100的P1可包括绿色滤色器元件并且每个像素对100的P2(相对于P1沿对角线方向布置)也可包括绿色滤色器元件。通常，形成在相位检测像素对36中的滤色器元件可以是任何合适颜色，只要像素阵列32的滤色器模式不变即可。

图12和13是这样的例子：由相位检测像素36的滤色器稍微改变像素阵列32的滤色器模式。在图12的例子中，相位检测像素对100的P1和P2具有相同颜色(例如，红色或绿色)，并且像素对100被连续地布置成线(例如，包括两个或更多相邻像素对100的线段)。然而，与图5的传统布置不同，该线中的像素对100的颜色从一对到下一对改变。例如，一对绿色相位检测像素36可位于第一对红色相位检测像素36和第二对红色相位检测像素36之间。以这种方式使绿色相位检测像素对与红色相位检测像素对交替可方便当以内插的图像像素值替换相位检测像素值时的图像重构处理。例如，可至少部分地基于来自邻近红色相位检测像素的红色像素值确定用于一对绿色相位检测像素的红色图像像素值。

在图13的例子中，相位检测像素36全都是相同颜色，但分离到像素阵列32的不同行中。例如，第一行像素可包括布置成非连续线的一个或多个相位检测像素对100，而第二行像素可包括布置成非连续线的一个或多个相位检测像素对100。每个像素对100的P1和P2可以是相同颜色，诸如绿色(作为例子)。如图13中所示，一行中的像素对100可相对于另一行中的像素对100错开(stagger)。

像素对100被形成在像素阵列32的两行中的图13的例子仅是说明性的。根据需要，像素对100可被形成在超过两行(例如，四行、六行等)中。每行中的像素对100可相对于相邻行中的像素对100错开。

根据需要，可在重构处理期间使用来自P1和P2的相位检测像素值，重构处理期间以内插的图像像素值替换来自P1和P2的相位检测像素值。例如，考虑图13的P1’和P2’。为了以绿色像素值G替换来自像素P1’的相位检测像素值P1并且以红色像素值R替换来自像素P2’的相位检测像素值P2，可首先使用下面的公式确定绿色估计值G’：

G'＝k(x,y)*(P1+P2)(1)

其中k(x,y)是使预定函数最小化的空间相关系数或增益函数(例如，在校准过程期间确定)。例如，可使下面的函数最小化：

${\mathrm{\Σ}}_{x,y}{(\frac{G_1+G_2}{2}-G^{\′})}^2---\left(2\right)$

其中G₁和G₂是固定内核M×M里面的平均绿色像素值，并且其中M是常数(例如，M＝9)。(2)中示出的以上函数是可被最小化以获得系数k(x,y)的特定函数的说明性例子。根据需要，可使用其它函数。

可基于附近绿色像素的加权和确定平均绿色像素值。在确定绿色估计值G’之后，局部梯度可被计算如下：

|G_A-G'|,|G_B-G'|,|G_R-G'|,|G_L-G'|(3)

其中G_A、G_B、G_R和G_L分别是在像素P1’和P2’上方、在像素P1’和P2’下方、在像素P1’和P2’的右侧以及在像素P1’和P2’的左侧的附近位置的平均绿色像素值。

随后基于与邻近像素的相似性对缺失的像素值R和G进行内插。例如，缺失的G值能够被设置为等于具有最小关联局部梯度(smallestassociatedlocalgradient)的邻近绿色像素的像素值。以与在色差亮度去马赛克算法中采用的方式类似的方式，这个值可随后被用于重构缺失的红色值R。根据需要，可通过修剪(clip)绿色估计值G’来确定输出像素值G：

G＝clip(G',min(G_A,G_B,G_R,G_L),max(G_A,G_B,G_R,G_L))(4)

图14是操作具有图像像素34和相位检测像素36的图像传感器(诸如，图1的图像传感器14)所涉及的说明性步骤的流程图。

在步骤200，图像像素阵列32可搜集来自聚焦在像素阵列32上的光的数据。例如，图像像素34可搜集图像数据，并且相位检测像素36可从搜集来自输入光的相位信息。相位检测像素36可例如产生图3中示出的类型的像素信号。来自图像像素和相位检测像素的图像数据和相位信息可被提供给图像处理电路16。

在步骤204，处理电路16可处理搜集的相位信息和图像数据以确定图像中的一个或多个物体是否聚焦。在一个合适的布置中，电子装置10的用户可在成像的场景中选择感兴趣的物体(有时被称为兴趣点)，并且处理电路16可确定感兴趣的物体是否聚焦。在另一合适的布置中，处理电路16可独立地(autonomously)使用由图像像素34捕捉的图像数据和由相位检测像素36捕捉的相位信息在成像的场景中识别感兴趣的物体(兴趣点)，诸如脸、人、移动物体或任何其它预期物体。例如，处理电路16可实现脸检测算法以自动地在成像的场景中检测脸并且识别这些脸作为兴趣点。处理电路16可确定识别的感兴趣的物体是否聚焦(例如，使用由相位检测像素36搜集的相位数据)。

例如，处理电路16可通过比较来自相位检测像素对的P1和P2的角度像素输出(诸如，图3中示出的类型的输出)来确定成像的场景中的物体是否聚焦。由处理电路16用于确定与相位检测像素信号关联的相差的算法取决于相位检测像素如何被布置在该阵列中。对于相位检测像素全都是相同颜色并且被连续地布置成线的图5中示出的类型的传统布置，互相关(cross-correlation)算法被用于确定相差。类似的互相关算法可被用于处理来自具有图9中示出的类型的布置的相位检测像素的相位检测像素信号。

在相位检测像素对100被非连续地布置在行中并且包括不同颜色的P1和P2的图10中示出的类型的布置中，可使用修改的互相关算法。例如，处理电路16可使用来自该行中的红色相位检测像素的像素信号执行第一互相关算法，并且使用来自该行中的绿色相位检测像素的像素信号执行第二互相关算法。红色数据互相关结果可被与绿色数据互相关结果合并以确定相差。

在相位检测像素对100被连续地布置成线(例如，包括两个或更多相邻像素对100的线段)的图7中示出的类型的布置中，也可使用修改的互相关算法。然而，可在颜色之间执行互相关操作，而非对于每个颜色通道执行单独的互相关操作(如上所述)。这可包括例如：使来自像素对100的像素数据的线标准化，并且随后调整标准化的像素信号以减小来自红色相位检测像素的像素信号和来自绿色相位检测像素的像素信号之间的任何偏差(bias)。例如，可使用预定校正因子或使用来自基本上均匀的区域中的附近相位检测像素的像素信号调整来自红色相位检测像素的像素数据，以使得红色像素数据变为可与绿色像素数据相当。在使来自红色和绿色相位检测像素的信号电平的差异最小化之后，可执行互相关算法以确定相差。

在图6、8、11、12和13中示出的类型的布置中，可使用不同算法，由此基于来自附近像素(例如，附近图像像素34和/或附近相位检测像素36)的像素信号推断与图像中的边缘关联的亮度梯度(有时被称为边缘极性)。这种类型的算法有时被称为边缘极性推断，并且以下结合图15更详细地描述该算法。

如果处理电路16确定图像未聚焦(例如，成像的场景中的感兴趣的物体未聚焦)，则处理可前进至步骤206以调整透镜28(图1)的焦点。这可包括例如：确定使图像聚焦所需的透镜移动的方向(以及根据需要确定透镜移动的大小)。处理可随后返回到步骤200，以使得处理电路16能够确定当使用新的焦距捕捉时场景或感兴趣的物体是否聚焦。

如果处理电路16在步骤204中确定图像聚焦，则处理可前进至步骤208。

在步骤208，处理电路16可使用由成像像素34捕捉的图像数据产生聚焦图像。这可包括例如：使用来自附近图像像素34(例如，位于相位检测像素36附近的图像像素34)的像素值以内插的图像像素值替换相位检测像素值。根据需要，相位检测像素值可被使用其它相位检测像素内插的像素值替换(例如，对于图12中示出的类型的布置)。图像重构处理可包括例如：使用如以上结合图13所述的公式1、2、3和4对相位检测像素36的缺失的像素值进行内插。

处理电路16可在步骤208中对聚焦图像执行另外的图像处理操作(例如，白平衡操作、噪声校正操作、伽马校正操作等)。根据需要，处理电路16可将聚焦图像存储在存储器中和/或将聚焦图像传送给另外的处理电路或显示装备。以这种方式，相位检测像素36可产生用于自动地调整透镜28的位置以使一个或多个感兴趣的物体聚焦的数据。根据需要，相位检测像素36可被用于产生关于成像的场景的范围信息(诸如，一个或多个深度图或其它三维信息)。

图15是当相位检测像素被隔离(例如，未连续地布置以形成基本上线段)时在自动聚焦操作期间处理相位检测像素信号所涉及的说明性步骤的流程图。相位检测像素对100的像素P1和P2可以是不同颜色或者可以是相同颜色。

在步骤300，相位检测像素36(例如，图6、8、11、12或13的P1和P2)可搜集来自场景的相位信息。来自P1和P2的相位检测像素信号可被提供给处理电路16。

在步骤302，处理电路16可以可选地使用空间相关校准因子(例如，方程1的k(x,y))调整来自P1和P2的像素值。如果P1和P2是正常图像像素(而非具有不对称角度响应的像素)，则空间相关校准因子可被用于将来自相位检测像素P1和P2的相位检测像素值映射到与将会由P1和P2产生的像素值对应的调整的像素值。

在步骤304，处理电路16可以可选地确定和应用颜色调整以补偿P1和P2之间的颜色的差异。例如，处理电路16可基于白平衡增益和/或基于其它信息调整来自P1和P2的像素值。

在步骤306，处理电路16可确定与来自相位检测像素P1和P2的像素值关联的相差。例如，处理电路可通过从P2减去P1来确定相差P_D，其中P1和P2是来自相位检测像素P1和P2的像素信号。

步骤306可以可选地包括补偿操作，由此相差P_D＝P1-P2被校正以补偿P1和P2之间的固有信号差异。例如，当相位检测像素对100的P1和P2是不同颜色时，像素P1和P2可产生不同信号。即使当P1和P2是相同颜色时，作为制造变化、滤色器材料不匹配和/或量子效率差异(例如，由于从图像像素34到相位检测像素36的光学串扰所导致)的结果，P1和P2也可产生不同信号。

为了执行可选的补偿操作，处理电路16可在附近“平坦”区域中寻找相位检测像素。例如，平坦区域(例如，没有边缘的区域)中的像素对100可包括相位检测像素P1_f和P2_f。由于该区域是平坦的，所以处理电路16假设P1_f＝P2_f而不管焦点如何。处理电路16可随后使用平坦区域中的P1_f和P2_f确定偏差值bias(x,y)：

$\mathrm{bias}(x,y)=\frac{{P1}_f-{P2}_f}{{P1}_f+{P2}_f},$ 当时(5)

其中是梯度并且th_bias是成像系统的固定值特征并且P1_f和P2_f分别是来自P1_f和P2_f的像素信号。校正的相差P_D’能够随后被以下面的方式计算：

P_D'＝(P1-P2)-bias(x,y)*(P1+P2)(6)

在步骤308，处理电路16可确定与在相位检测像素36的边缘(例如，垂直于穿过P1和P2的轴线的边缘)关联的亮度梯度。可使用来自附近图像像素34的像素值确定边缘的亮度梯度。例如，当且仅当下面为真时，梯度可被确定为

$\begin{array}{c}{\&dtri;}_x>{\mathrm{th}}_1,{\&dtri;}_y<{\mathrm{th}}_2*{\&dtri;}_x\\ P1-P2>{\&dtri;}_x*({\mathrm{th}}_3+{\mathrm{th}}_4)\end{array}---\left(7\right)$

其中th₁、th₂、th₃和th₄是成像系统的固定值特征，是在像素阵列中沿着水平方向的亮度梯度，是在像素阵列中沿着垂直方向的亮度梯度，并且P1和P2是来自相位检测像素P1和P2的像素信号。

在步骤310，处理电路16可使用在步骤308中确定的边缘亮度梯度确定使感兴趣的物体聚焦所需的透镜移动的方向以及根据需要确定透镜移动的大小。例如，下面的自动聚焦(AF)逻辑可被用于确定需要的移动的方向(如果需要任何移动的话)：

可使用下面的公式近似透镜位移：

$\mathrm{lens}\_\mathrm{displacement}\&cong;f\left(\frac{P1-P2}{{\&dtri;}_x}\right)---\left(9\right)$

其中f是透镜系统的函数。

已描述表示具有用于捕捉图像数据的图像像素和用于在自动聚焦操作期间搜集相位信息的相位检测像素的图像传感器像素阵列的各种实施例。相位检测像素可形成具有有着不同角度响应(例如，反向、近似反向或互补角度响应)的第一和第二像素的相位检测像素对。第一和第二像素可具有相同颜色的滤色器，或者可具有不同颜色的滤色器。相位检测像素对可彼此隔离(例如，可部分地或完全由图像像素包围)，或者可被连续地布置成线。

相位检测像素对可被布置在具有多个图像像素的图像像素阵列中。图像像素阵列可包括具有特定滤色器模式的滤色器阵列。相位检测像素可具有滤色器以与图像像素阵列的滤色器模式匹配。在其它实施例中，相位检测像素可具有稍微改变滤色器模式但被图案化以方便以像素信号替换相位检测像素信号的图像重构处理的滤色器。

处理电路可被用于确定与来自相位检测像素对的像素信号关联的相差。处理电路可调整像素信号以减小相位检测像素信号之间的任何偏差。例如，处理电路可使用空间相关预定校正因子调整相位检测像素信号。在另一合适的实施例中，处理电路可使用在图像捕捉操作期间确定的偏差值调整相位检测像素信号。可使用附近相位检测像素确定该偏差值。例如，处理电路可使用图像的平坦区域中的相位检测像素确定偏差值，该偏差值随后被用于减小用于自动聚焦操作的相位检测像素信号之间的任何偏差。

处理电路可在图像重构处理期间以内插的图像像素值替换相位检测像素值。可基于亮度梯度确定内插的图像像素值。可使用附近图像像素确定亮度梯度。例如，为了以绿色图像像素值替换绿色相位检测像素值，可使用附近绿色图像像素确定局部亮度梯度。

前面的描述仅说明本发明的原理，并且在不脱离本发明的范围和精神的情况下能够由本领域技术人员做出各种变型。

Claims (20)

1.一种用于处理来自包括图像像素和相位检测像素的像素阵列中的相位检测像素对的像素信号的方法，其中所述相位检测像素对包括具有不同角度响应的第一像素和第二像素，所述方法包括：

利用第一和第二像素，产生各自的第一和第二像素信号；

利用处理电路，调整第一和第二像素信号以减小第一和第二像素信号之间的偏差；以及

利用处理电路，使用调整的第一和第二像素信号确定与第一和第二像素信号关联的相差。

2.如权利要求1所述的方法，其中调整第一和第二像素信号包括使用预定校正因子调整第一和第二像素信号。

3.如权利要求2所述的方法，其中所述预定校正因子是空间相关的。

4.如权利要求1所述的方法，其中调整第一和第二像素信号包括：

在图像捕捉操作期间，使用至少一个邻近相位检测像素对确定偏差值，其中所述至少一个邻近相位检测像素对位于所述相位检测像素对附近；以及

使用该偏差值调整第一和第二像素信号。

5.如权利要求4所述的方法，其中确定偏差值包括：

利用处理电路，识别图像的平坦区域，其中所述至少一个邻近相位检测像素对位于该平坦区域中。

6.如权利要求1所述的方法，其中所述第一和第二像素是不同颜色。

7.如权利要求1所述的方法，还包括：

基于相差自动地调整形成在像素阵列上方的透镜的位置。

8.如权利要求7所述的方法，其中调整透镜的位置包括：

利用处理电路，基于相差确定需要的透镜移动的方向。

9.如权利要求8所述的方法，其中调整透镜的位置包括：

利用处理电路，基于相差确定透镜位移值。

10.一种用于处理来自包括图像像素和相位检测像素的像素阵列中的相位检测像素对的像素信号的方法，其中所述相位检测像素对包括具有不同角度响应的第一像素和第二像素，所述方法包括：

利用第一和第二像素，产生各自的第一和第二像素信号；

利用处理电路，基于来自邻近图像像素的图像像素信号确定亮度梯度，其中所述邻近图像像素位于第一和第二像素附近；以及

使用亮度梯度以内插的图像像素信号替换第一和第二像素信号。

11.如权利要求10所述的方法，其中第一和第二像素中的每一个包括第一滤色器，其中基于来自邻近图像像素的图像像素信号确定亮度梯度包括基于来自邻近图像像素的图像像素信号确定亮度梯度，每个邻近图像像素具有第二滤色器，并且其中从包括绿色滤波器和宽带滤波器的组选择第一和第二滤色器。

12.如权利要求10所述的方法，还包括：

利用处理电路，调整第一和第二像素信号以减小第一和第二像素信号之间的偏差；以及

利用处理电路，使用调整的第一和第二像素信号确定与第一和第二像素信号关联的相差。

13.如权利要求12所述的方法，其中调整第一和第二像素信号包括使用预定校正因子调整第一和第二像素信号。

14.如权利要求13所述的方法，其中所述预定校正因子是空间相关的。

15.如权利要求12所述的方法，其中调整第一和第二像素信号包括：

在图像捕捉操作期间，使用至少一个邻近相位检测像素对确定偏差值，其中所述至少一个邻近相位检测像素对位于所述相位检测像素对附近；以及

使用该偏差值调整第一和第二像素信号。

16.如权利要求15所述的方法，其中确定偏差值包括：

利用处理电路，识别图像的平坦区域，其中所述至少一个邻近相位检测像素对位于该平坦区域中。

17.如权利要求15所述的方法，其中确定偏差值包括至少部分地基于亮度梯度确定偏差值。

18.一种用于处理来自包括图像像素和相位检测像素的像素阵列中的相位检测像素对的像素信号的方法，其中所述相位检测像素对包括具有不同角度响应的第一像素和第二像素，其中第一像素位于该像素阵列中的第一列和第一行中，并且第二像素位于该像素阵列中的第二列和第二行中，所述方法包括：

利用第一和第二像素，产生各自的第一和第二像素信号；

利用处理电路，基于来自至少一个邻近相位检测像素对的像素信号调整第一和第二像素信号，其中所述至少一个邻近相位检测像素对位于所述相位检测像素对附近；以及

利用处理电路，使用调整的第一和第二像素信号确定与第一和第二像素信号关联的相差。

19.如权利要求18所述的方法，还包括：

使用邻近图像像素确定与边缘关联的亮度梯度，其中所述邻近图像像素位于所述相位检测像素对附近；以及

至少部分地基于亮度梯度确定偏差值。

20.如权利要求19所述的方法，其中确定与第一和第二像素信号关联的相差包括应用该偏差值以补偿第一和第二像素信号的差异。