CN110784634A - 图像传感器、控制方法、摄像头组件及移动终端 - Google Patents

Abstract

本申请公开了一种图像传感器、控制方法、摄像头组件及移动终端。图像传感器包括形成二维像素阵列的多个彩色像素及多个全色像素。多个彩色像素包括接收一个波段的光线的单颜色像素和接收多个波段的光线的多颜色像素。单颜色像素接收的光线的波段与多颜色像素接收的光线的波段不同，且多颜色像素接收的光线对应的多个波段中任意两个波段不相邻。二维像素阵列包括最小重复单元，每个最小重复单元均包括至少一个单颜色像素、至少一个多颜色像素、及至少一个全色像素。本申请的图像传感器，叠层结构的多颜色像素吸收的光线对应的多个波段中任意两个波段是不相邻的，由此可避免不同颜色的吸收区之间产生光串扰，避免最终生成的图像出现伪色。

Description

图像传感器、控制方法、摄像头组件及移动终端

技术领域

本申请涉及影像技术领域，特别涉及一种图像传感器、控制方法、摄像头组件及移动终端。

背景技术

相关技术中，基于不同波长的光在硅中的吸收长度不同的原理，可以设计叠层结构的像素来实现在一个像素上捕捉全部的色彩的目的。但现有的具有叠层结构的像素的图像传感器存在光谱串扰较为严重的问题。

发明内容

本申请实施方式提供了一种图像传感器、控制方法、摄像头组件及移动终端。

本申请实施方式的图像传感器包括二维像素阵列，所述二维像素阵列包括多个彩色像素及多个全色像素。多个所述彩色像素包括单颜色像素和多颜色像素。所述单颜色像素接收一个波段的光线，所述多颜色像素接收多个波段的光线。所述单颜色像素接收的光线的波段与所述多颜色像素接收的光线的波段不同，且所述多颜色像素接收的光线对应的多个波段中，任意两个波段不相邻。所述二维像素阵列包括最小重复单元，每个所述最小重复单元均包括至少一个所述单颜色像素、至少一个所述多颜色像素、及至少一个所述全色像素。

本申请实施方式的控制方法用于图像传感器。所述图像传感器包括二维像素阵列排布的多个彩色像素及多个全色像素。多个所述彩色像素包括单颜色像素和多颜色像素。所述单颜色像素接收一个波段的光线，所述多颜色像素接收多个波段的光线。所述单颜色像素接收的光线的波段与所述多颜色像素接收的光线的波段不同，且所述多颜色像素接收的光线对应的多个波段中，任意两个波段不相邻。所述二维像素阵列包括最小重复单元，每个所述最小重复单元均包括至少一个所述单颜色像素、至少一个所述多颜色像素、及至少一个所述全色像素。所述控制方法包括：所述二维像素阵列曝光以获取全色原始图像和彩色原始图像；处理所述彩色原始图像以获取单颜色原始图像和多颜色原始图像；处理所述单颜色原始图像、所述多颜色原始图像、及所述全色原始图像以得到多帧单颜色中间图像及一帧全色中间图像；及处理多帧所述单颜色中间图像及一帧所述全色中间图像以获取目标图像。

本申请实施方式的摄像头组件包括镜头及图像传感器。所述图像传感器能够接收穿过所述镜头的光线。所述图像传感器包括二维像素阵列，所述二维像素阵列包括多个彩色像素及多个全色像素。多个所述彩色像素包括单颜色像素和多颜色像素。所述单颜色像素接收一个波段的光线，所述多颜色像素接收多个波段的光线。所述单颜色像素接收的光线的波段与所述多颜色像素接收的光线的波段不同，且所述多颜色像素接收的光线对应的多个波段中，任意两个波段不相邻。所述二维像素阵列包括最小重复单元，每个所述最小重复单元均包括至少一个所述单颜色像素、至少一个所述多颜色像素、及至少一个所述全色像素。

本申请实施方式的移动终端包括壳体及摄像头组件。所述摄像头组件与所述壳体结合。所述摄像头组件包括镜头及图像传感器。所述图像传感器能够接收穿过所述镜头的光线。所述图像传感器包括二维像素阵列，所述二维像素阵列包括多个彩色像素及多个全色像素。多个所述彩色像素包括单颜色像素和多颜色像素。所述单颜色像素接收一个波段的光线，所述多颜色像素接收多个波段的光线。所述单颜色像素接收的光线的波段与所述多颜色像素接收的光线的波段不同，且所述多颜色像素接收的光线对应的多个波段中，任意两个波段不相邻。所述二维像素阵列包括最小重复单元，每个所述最小重复单元均包括至少一个所述单颜色像素、至少一个所述多颜色像素、及至少一个所述全色像素。

本申请实施方式的图像传感器、控制方法、摄像头组件及移动终端设置了叠层结构的多颜色像素，叠层结构的多颜色像素吸收的光线对应的多个波段中，任意两个波段是不相邻的，由此可以避免不同颜色的吸收区之间产生光串扰，避免最终生成的图像出现伪色，改善成像质量。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是不同色彩通道饱和时间示意图；

图2是本申请某些实施方式的图像传感器的示意图；

图3是本申请一个实施例的图像传感器中部分像素的截面示意图；

图4是本申请一个实施例的图像传感器中另一部分像素的截面示意图；

图5是图4所示的像素中第一吸收区与第二吸收区的相对位置关系图。

图6是本申请另一个实施例的图像传感器中另一部分像素的截面示意图；

图7是图6所示的像素中第一吸收区与第二吸收区的相对位置关系图；

图8本申请某些实施方式的像素电路示意图；

图9至图12是本申请某些实施方式的图像传感器的像素阵列的排布示意图；

图13是本申请某些实施方式的控制方法的流程示意图；

图14是本申请某些实施方式的摄像头组件的示意图；

图15和图16是本申请某些实施方式的控制方法的原理示意；

图17是本申请某些实施方式的控制方法的流程示意图；

图18和图19是本申请某些实施方式的控制方法的原理示意；

图20是本申请某些实施方式的控制方法的流程示意图；

图21至图23是本申请某些实施方式的控制方法的原理示意；

图24是本申请某些实施方式的移动终端的示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图2、图3、图4和图9，本申请提供一种图像传感器10。图像传感器10包括二维像素阵列，二维像素阵列包括多个彩色像素及多个全色像素。多个彩色像素包括单颜色像素和多颜色像素。单颜色像素接收一个波段的光线，多颜色像素接收多个波段的光线。单颜色像素接收的光线的波段与多颜色像素接收的光线的波段不同，且多颜色像素接收的光线对应的多个波段中，任意两个波段不相邻。二维像素阵列包括最小重复单元，每个最小重复单元均包括至少一个单颜色像素、至少一个多颜色像素、及至少一个全色像素。

下面结合附图对本申请的实施例作进一步说明。

相关技术中，基于不同波长的光在硅中的吸收长度不同的原理，可以设计叠层结构的像素来实现在一个像素上捕捉全部的色彩的目的。目前叠层结构的像素中，像素可以同时捕捉红色光线、绿色光线及蓝色光线。然而，红色光线的波段与绿色光线的波段是存在重叠部分的，且绿色光线的波段与蓝色光线的波段也是存在重叠部分的。那么，像素中红光吸收区会同时吸收红色光线和部分绿色光线，蓝光吸收区会同时吸收蓝色光线和部分绿色光线，绿光吸收区会同时吸收绿色光线、部分红外光线、及部分蓝色光线。如此，不同颜色的光谱交叠会导致不同颜色的吸收区之间的光串扰，最终生成的图像会出现伪色。

基于上述原因，本申请的一方面提供了一种图像传感器10。本申请实施方式的图像传感器10中，叠层结构的多颜色像素吸收的光线对应的多个波段中，任意两个波段是不相邻的，由此可以避免不同颜色的吸收区之间产生光串扰，避免最终生成的图像出现伪色，改善成像质量。

另外，在彩色图像传感器中，不同色彩的像素单位时间接收的曝光量不同，在某些色彩饱和后，某些色彩还未曝光到理想的状态。例如，曝光到饱和曝光量的60％-90％可以具有比较好的信噪比和精确度，但本申请的实施例不限于此。

图1以RGBW(红、绿、蓝、全色)四种像素为例说明。参见图1，图1中横轴为曝光时间、纵轴为曝光量，Q为饱和的曝光量，LW为全色像素W的曝光曲线，LG为绿色像素G的曝光曲线，LR为红色像素R的曝光曲线，LB为蓝色像素的曝光曲线。

从图1中可以看出，全色像素W的曝光曲线LW的斜率最大，也就是说在单位时间内全色像素W可以获得更多的曝光量，在t1时刻即达到饱和。绿色像素G的曝光曲线LG的斜率次之，绿色像素在t2时刻饱和。红色像素R的曝光曲线LR的斜率再次之，红色像素在t3时刻饱和。蓝色像素B的曝光曲线LB的斜率最小，蓝色像素在t4时刻饱和。在t1时刻，全色像素W已经饱和，而R、G、B三种像素曝光还未达到理想状态。

基于全色像素在单位时间内能够接收更多光线的特性，即全色像素的灵敏度比彩色像素的灵敏度更高的特性，本申请实施方式的图像传感器10除了设置单颜色像素及叠层结构的多颜色像素，还设置了全色像素。全色像素在低亮环境下也能够接收到较为充足的光线，如此，图像传感器10在低亮环境下获取的图像的信噪比能够得到提升，图像可以具有足够的亮度，有利于改善图像传感器10的成像质量。

接下来首先介绍一下图像传感器10的基本结构。请参阅图2，图2是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。

例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。

例如，像素阵列11包括以阵列形式二维排列的多个像素(图2未示出)，每个像素均包括光电转换元件(图2未示出)。每个像素根据入射在其上的光的强度将光转换为电荷。

例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位像素，从这些单位像素逐行地读取信号。例如，被选择并被扫描的像素行中的每一像素输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件的光电荷被丢弃，从而可以开始新的光电荷的积累。

例如，由列处理单元14执行的信号处理的是相关双采样(CDS)处理。在CDS处理中，取出从所选像素行中的每一像素输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的像素的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。

例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一像素列被列处理单元14顺序地处理，并且被顺序输出。

例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元13、列处理单元14和水平驱动单元15协同工作。

图3是本申请一个实施例的部分像素1101(可以是单颜色像素，也可以是全色像素)的截面示意图。如图3所示，像素1101包括光电转换元件111、曝光控制电路113、浮动扩散单元FD、及读出电路118。光电转换元件111包括吸收区1120及衬底1123。吸收区1120形成在衬底1113内的靠近像素1101的感光面1100的位置。吸收区1120可以接收光线并将光线转换为电荷。曝光控制电路113设置在衬底1123的靠近感光面1100的表面上。曝光控制电路113与光电转换元件111的吸收区1120电连接，同时也与浮动扩散单元FD电连接，以将吸收区1120中的电荷转移到浮动扩散单元FD内。浮动扩散单元FD与读出电路118电连接。读出电路118用于读取浮动扩散单元FD中的电荷并输出至列处理单元14(图2所示)，以供列处理单元14做模数转换处理。

图4是本申请一个实施例的另一部分像素1102(即多颜色像素)的截面示意图。图6是本申请另一个实施例的另一部分像素1102(即多颜色像素)的截面示意图。如图4和图6所示，像素1102包括光电转换元件111、第一曝光控制电路1131、第二曝光控制电路1132、第一浮动扩散单元FD1、第二浮动扩散单元FD2、第一读出电路1181、及第二读出电路1182。光电转换元件111包括第一吸收区1121、第二吸收区1122、及衬底1123。第一吸收区1121及第二吸收区1122均形成在衬底1123内。沿图像传感器10的收光方向，第一吸收区1121和第二吸收区1122依次排列。第一曝光控制电路1131及第二曝光控制电路1132均设置在衬底1113的靠近感光面1100的表面上。第一曝光控制电路1131与第一吸收区1121及第一浮动扩散单元FD1均连接，以将第一吸收区1121接收光线后生成的电荷转移至第一浮动扩散单元FD1。第一浮动扩散单元FD1与第一读出电路1181连接，第一读出电路1181读取第一浮动扩散单元FD1中的电荷并输出至列处理单元14(图2所示)。第二曝光控制电路1132与第二吸收区1122及第二浮动扩散单元FD2均连接，以将第二吸收区1122接收光线后生成的电荷转移至第二浮动扩散单元FD2。第二浮动扩散单元FD2与第二读出电路1182连接，第二读出电路1182读取第二浮动扩散单元FD2中的电荷并输出至列处理单元14。

图5是图4的像素1102的第一吸收区1121与第二吸收区1122之间的相对位置关系图(从入光方向看)。如图4和图5所示，第一吸收区1121位于第二吸收区1122内，且第一吸收区1121在感光面1100上的边缘与第二吸收区1122在感光面1100上的边缘部分重叠。第一曝光控制电路1131设置在两个吸收区的边缘重叠的位置(图5所示左侧边缘位置)，从而使得第一曝光控制电路1131的一端仅与第一吸收区1121连接，不会与第二吸收区1122连接，第一曝光控制电路1131仅能转移第一吸收区1121内的电荷。第二曝光控制电路1132设置在两个吸收区的边缘不重叠的位置(图5所示右侧边缘位置)，从而使得第二曝光控制电路1132的一端仅与第二吸收区1122连接，而不会与第一吸收区1121，第二曝光控制电路1132仅能够转移第二吸收区1122内的电荷。

图7是图6的像素1102的第一吸收区1121与第二吸收区1122之间的相对位置关系图(从入光方向看)。如图6和图7所示，第一吸收区1121位于第二吸收区1122内，且第一吸收区1121在感光面1100上的边缘与第二吸收区1122在感光面1100上的边缘不重叠。第一曝光控制电路1131设置在衬底1123的靠近感光面1100的表面上时，第一曝光控制电路1131与第一吸收区1121及第二吸收区1122之间均有接触。为避免第一曝光控制电路1131与第二吸收区1122连接，图像传感器10还包括绝缘层16，该绝缘层16设置在衬底1123的靠近感光面1100的表面上，且置于第一曝光控制电路1131与第二吸收区1122之间。绝缘层16用于隔开第一曝光控制电路1131与第二吸收区1122，从而使得第一曝光控制电路1131与第二吸收区1122之间不会产生电荷转移。

图8是本申请实施方式中一种像素的像素电路110的示意图。图8的像素电路110可以应用在每一个单颜色像素及每一个全色像素中。即，每一个单颜色像素及每一个多颜色像素均包括一个图8所示的像素电路110。图8的像素电路110还可以应用在多颜色像素中，但需要说明的是，由于多颜色像素一次可以接收多个波段的光线，则多颜色像素可以看作是包括多个图8所示的像素电路110。以图4的多颜色像素为例，该多颜色像素包括两个像素电路110，一个像素电路110输出第一吸收区1121的电荷，另一个像素电路110输出第二吸收区1122的电荷。

下面结合图2和图8对像素电路110的工作原理进行说明。

如图8所示，像素电路110包括光电转换元件111(例如，光电二极管)、曝光控制电路113(例如，转移晶体管)、复位电路114(例如，复位晶体管)、放大电路115(例如，放大晶体管)和选择电路116(例如，选择晶体管)。在本申请的实施例中，转移晶体管、复位晶体管、放大晶体管和选择晶体管例如是MOS管，但不限于此。

例如，参见图2和图8，转移晶体管的栅极TG通过曝光控制线(图中未示出)连接垂直驱动单元12；复位晶体管的栅极RG通过复位控制线(图中未示出)连接垂直驱动单元12；选择晶体管的栅极SEL通过选择线(图中未示出)连接垂直驱动单元。每个像素电路110中的曝光控制电路113与光电转换元件111电连接，用于转移光电转换元件111经光照后积累的电势。例如，光电转换元件111包括光电二极管，光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路112连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管的栅极、复位晶体管的源极连接。

例如，曝光控制电路113为转移晶体管，曝光控制电路113的控制端TG为转移晶体管的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线(图中未示出)传输到转移晶体管的栅极时，转移晶体管导通。转移晶体管将光电二极管光电转换的电荷传输到浮动扩散单元FD。

例如，复位晶体管的漏极连接到像素电源VPIX。复位晶体管的源极连接到浮动扩散单元FD。在电荷被从光电二极管PD转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位线传输到复位晶体管的栅极，复位晶体管导通。复位晶体管将浮动扩散单元FD复位到像素电源VPIX。

例如，放大晶体管的栅极连接到浮动扩散单元FD。放大晶体管的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管复位之后，放大晶体管经由选择晶体管通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管转移之后，放大晶体管经由选择晶体管通过输出端OUT输出信号电平。

例如，选择晶体管的漏极连接到放大晶体管的源极。选择晶体管的源极通过输出端OUT连接到图2中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管的栅极时，选择晶体管导通。放大晶体管输出的信号通过选择晶体管传输到列处理单元14。

需要说明的是，本申请实施例中像素电路110的像素结构并不限于图8所示的结构。例如，像素电路110可以具有三晶体管像素结构，其中放大晶体管和选择晶体管的功能由一个晶体管完成。例如，曝光控制电路113也不局限于单个转移晶体管的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路113，单个转移晶体管的实施方式简单、成本低、易于控制。

图9至图12示出了多种图2的图像传感器10中像素排布的示例。参见图2、及图9至图12，图像传感器10包括由多个彩色像素(例如单颜色像素B、多颜色像素A,C)和多个全色像素组成的二维像素阵列。其中，彩色像素具有比全色像素更窄的光谱响应。二维像素阵列包括多个最小重复单元(图9至图12示出了多种图像传感器10中像素阵列11包括四个最小重复单元的示例)，最小重复单元在行和列上复制并排列。每个最小重复单元均包括至少一个多颜色像素、至少一个全色像素、及至少一个单颜色像素。作为一个示例，每个最小重复单元包括一个多颜色像素、一个全色像素、及两个单颜色像素。在每个最小重复单元中，多颜色像素和全色像素设置在第一对角线方向D1，单颜色像素设置在第二对角线方向D2，第一对角线方向D1与第二对角线方向D2不同，多颜色像素及全色像素在第一对角线方向上交替排布。

例如，最小重复单元行和列的像素数量相等。这种设置有助于均衡行和列方向图像的分辨率和均衡色彩表现，提高显示效果。

例如，图9是本申请实施方式中一种图像传感器10的像素排布示意图。排布方式为：

W表示全色像素；A,C表示多个彩色像素中的多颜色像素；B表示多个彩色像素中的单颜色像素。

例如，如图9所示，多颜色像素A,C和全色像素W设置在第一对角线方向D1(即图9中左上角和右下角连接的方向)，单颜色像素B设置在第二对角线方向D2(例如图9中左下角和右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同。

需要说明的是，第一对角线方向D1和第二对角线方向D2并不局限于对角线，还包括平行于对角线的方向。下文图10至图12中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。

例如，图10是本申请实施方式中一种图像传感器10的像素排布示意图。排布方式为：

W表示全色像素；A,C表示多个彩色像素中的多颜色像素；B表示多个彩色像素中的单颜色像素。

例如，如图10所示，多颜色像素A,C和全色像素W设置在第一对角线方向D1(即图10中右上角和左下角连接的方向)，单颜色像素B设置在第二对角线方向D2(例如图10中右下角和左上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同。

例如，图11是本申请实施方式中又一种图像传感器10的像素排布的示意图。图12是本申请实施方式中又一种图像传感器10的像素排布的示意图。在图11和图12的实施例中，分别对应图9和图10的排布方式，多颜色像素A,C为红色及蓝色像素R,Bu，单颜色像素为绿色像素G。如此，绿色像素G能够吸收绿色光线，红色及蓝色像素R,Bu能够吸收红色光线及蓝色光线。由于红色光线的波段和蓝色光线的波段不存在重叠的部分，因而可以解决光叠层结构的像素的光串扰问题。

需要说明的是，在一些实施例中，全色像素W的响应波段为可见光波段(例如，400nm-760nm)。例如，全色像素W上设置有红外滤光片，以实现红外光的滤除。在一些实施例中，全色像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10中的光电转换元件(例如光电二极管)响应波段相匹配。例如，全色像素W可以不设置滤光片，全色像素W的响应波段由光电二极管的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。

在某些实施方式中，多颜色像素A,C可以为红色及蓝色像素R,Bu，单颜色像素可以为黄色像素Y。如此，黄色像素Y能够吸收黄色光线，红色及蓝色像素R,Bu能够吸收红色光线及蓝色光线。由于红色光线的波段和蓝色光线的波段不存在重叠的部分，因而可以解决光叠层结构的像素的光串扰问题。

请参阅图13，本申请还提供一种可用于图2的图像传感器10的控制方法。控制方法包括：

01：二维像素阵列曝光以获取全色原始图像和彩色原始图像；

02：处理彩色原始图像以获取单颜色原始图像和多颜色原始图像；

03：处理单颜色原始图像、多颜色原始图像、及全色原始图像以得到多帧单颜色中间图像及一帧全色中间图像；及

04：处理多帧单颜色中间图像及一帧全色中间图像以获取目标图像。

请参阅图14，本申请还提供一种摄像头组件40。摄像头组件40包括镜头30、处理芯片20、及上述任意一项实施方式所述的图像传感器10。图像传感器10与处理芯片20电连接。图像传感器10能够接收穿过镜头30的光线。本申请实施方式的控制方法可以由本申请实施方式的摄像头组件40实现。其中，步骤01可以由图像传感器10实现。步骤02、步骤03及步骤04均可以由处理芯片20实现。也即是说，图像传感器10中的二维像素阵列曝光以获取全色原始图像和彩色原始图像。处理芯片20可以用于处理彩色原始图像以获取单颜色原始图像和多颜色原始图像。处理芯片20还可以用于处理单颜色原始图像、多颜色原始图像、及全色原始图像以得到多帧单颜色中间图像及一帧全色中间图像。处理芯片20还可以用于处理多帧单颜色中间图像及一帧全色中间图像以获取目标图像。

具体地，请结合图2和图15，在用户请求拍照时，图像传感器10中的垂直驱动单元12会控制二维像素阵列中的多个全色像素和多个彩色像素均曝光。列处理单元14会读出每一个全色像素的像素值以及每一个彩色像素的像素值。图像传感器10输出一帧全色原始图像和一帧彩色原始图像。

如图15所示，全色原始图像包括一个全色像素W及多个空像素N(NULL)。其中，空像素既不为全色像素W，也不为彩色像素，全色原始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较二维像素阵列与全色原始图像可知，对于二维像素阵列中的每一个最小重复单元，该最小重复单元包括一个全色像素W和三个彩色像素(单颜色像素B、多颜色像素A,C)。全色原始图像中也具有与二维像素阵列中的每一个最小重复单元对应的一个最小重复单元。全色原始图像的最小重复单元包括一个全色像素W和三个空像素N，三个空像素N所处位置对应二维像素阵列最小重复单元中的三个彩色像素所处的位置。

同样地，彩色原始图像包括多个彩色像素及多个空像素N。其中，空像素既不为全色像素W，也不为彩色像素，彩色原始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较二维像素阵列与彩色原始图像可知，对于二维像素阵列中的每一个最小重复单元，该最小重复单元包括一个全色像素W和三个彩色像素。彩色原始图像中也具有与二维像素阵列中的每一个最小重复单元对应的一个最小重复单元，彩色原始图像的最小重复单元包括三个彩色像素和一个空像素N，一个空像素N所处位置对应二维像素阵列最小重复单元中的一个全色像素W所处的位置。

处理芯片20获取到全色原始图像和彩色原始图像后，即可处理彩色原始图像以获取单颜色原始图像及多颜色原始图像。具体地，处理芯片20可以对彩色原始图像中的单颜色像素输出的像素值和多颜色像素输出的像素值进行分离以获取单颜色原始图像及多颜色原始图像。

如图16所示，彩色原始图像分离后得到的单颜色原始图像B包括多个单颜色像素B和多个空像素N。其中，空像素既不为全色像素W，也不为单颜色像素B，也不为多颜色像素A,C，单颜色原始图像B中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较彩色原始图像与单颜色原始图像B可知，对于彩色原始图像中的每一个最小重复单元，该最小重复单元包括两个单颜色像素B、一个多颜色像素A,C、及一个空像素N。单颜色原始图像B中也具有与彩色原始图像中的每一个最小重复单元对应的一个最小重复单元，单颜色原始图像B的最小重复单元包括两个单颜色像素B及两个空像素N，两个空像素N中的一个空像素N所处位置对应彩色原始图像中的最小重复单元中的一个多颜色像素A,C所处的位置，剩余一个空像素N所处位置对应彩色原始图像中的最小重复单元的一个空像素N所处位置。

彩色原始图像分离后得到的多颜色原始图像包括多个多颜色像素A,C和多个空像素N。其中，空像素既不为全色像素W，也不为单颜色像素B，也不为多颜色像素A,C，多颜色原始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较彩色原始图像与多颜色原始图像可知，对于彩色原始图像中的每一个最小重复单元，该最小重复单元包括两个单颜色像素B、一个多颜色像素A,C、及一个空像素N。多颜色原始图像中也具有与彩色原始图像中的每一个最小重复单元对应的一个最小重复单元，多颜色原始图像的最小重复单元包括一个多颜色像素A,C及三个空像素N，三个空像素N中的两个空像素N所处位置对应彩色原始图像中的最小重复单元中的两个单颜色像素B所处的位置，剩余一个空像素N所处位置对应彩色原始图像中的最小重复单元的一个空像素N所处位置。

处理芯片20获取到多颜色原始图像、单颜色原始图像B及全色原始图像后，即可对多颜色原始图像、单颜色原始图像B及全色原始图像作进一步处理以获取目标图像。

本申请实施方式的控制方法和摄像头组件40使用了具有叠层结构的多颜色像素来获取图像。由于叠层结构的多颜色像素吸收的光线对应的多个波段中，任意两个波段是不相邻的，由此可以避免不同颜色的吸收区之间产生光串扰，避免最终生成的图像出现伪色，改善成像质量。

此外，本申请实施方式的控制方法和摄像头组件40中，图像传感器10中设置了全色像素。全色像素的灵敏度较高，在低亮环境下也能获取到下也能够接收到较为充足的光线，如此，图像传感器10在低亮环境下获取的图像的信噪比能够得到提升，图像可以具有足够的亮度，有利于改善摄像头组件40的成像质量。

请参阅图17，在某些实施方式中，步骤03处理单颜色原始图像、多颜色原始图像、及全色原始图像以得到多帧单颜色中间图像及一帧全色中间图像，包括：

031：插补处理单颜色原始图像，获取每个最小重复单元中的所有像素的像素值以得到单颜色中间图像；

032：分离多颜色原始图像以得到多帧单颜色原始图像；

033：插补处理分离后的每帧单颜色原始图像，获取每个最小重复单元中的所有像素的像素值以得到单颜色中间图像；及

034：插补处理全色原始图像，获取每个最小重复单元中的所有像素的像素值以得到全色中间图像。

请再参阅图14，在某些实施方式中，步骤031、步骤032、步骤033、及步骤034均可以由处理芯片20实现。也即是说，处理芯片20可以用于插补处理单颜色原始图像，获取每个最小重复单元中的所有像素的像素值以得到单颜色中间图像。处理芯片20可以用于分离多颜色原始图像以得到多帧单颜色原始图像。处理芯片20还可以用于插补处理分离后的每帧单颜色原始图像，获取每个最小重复单元中的所有像素的像素值以得到单颜色中间图像。处理芯片20还可以用于插补处理全色原始图像，获取每个最小重复单元中的所有像素的像素值以得到全色中间图像。

具体地，处理芯片20可以先分离多颜色原始图像以得到多帧单颜色原始图像。如图18所示，多颜色原始图像分离后可以得到两帧单颜色原始图像，分别为单颜色原始图像A和单颜色原始图像C。

单颜色原始图像A包括一个单颜色像素A和多个空像素N。其中，空像素既不为全色像素W，也不为单颜色像素A，也不为单颜色像素B，也不为单颜色像素C。单颜色原始图像A中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较多颜色原始图像与单颜色原始图像A可知，对于多颜色原始图像中的每一个最小重复单元，该最小重复单元包括一个多颜色像素A,C及三个空像素N。单颜色原始图像A中也具有与多颜色原始图像中的每一个最小重复单元对应的一个最小重复单元，单颜色原始图像A的最小重复单元包括一个单颜色像素A和三个空像素N，三个空像素N中的两个空像素N所处位置对应多颜色原始图像中的最小重复单元中的两个单颜色像素B所处的位置，剩余一个空像素N所处位置对应多颜色原始图像中的最小重复单元的一个空像素N所处位置。

单颜色原始图像C包括一个单颜色像素C和多个空像素N。其中，空像素既不为全色像素W，也不为单颜色像素A，也不为单颜色像素B，也不为单颜色像素C。单颜色原始图像C中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较多颜色原始图像与单颜色原始图像C可知，对于多颜色原始图像中的每一个最小重复单元，该最小重复单元包括一个多颜色像素A,C及三个空像素N。单颜色原始图像C中也具有与多颜色原始图像中的每一个最小重复单元对应的一个最小重复单元，单颜色原始图像C的最小重复单元包括一个单颜色像素C和三个空像素N，三个空像素N中的两个空像素N所处位置对应多颜色原始图像中的最小重复单元中的两个单颜色像素B所处的位置，剩余一个空像素N所处位置对应多颜色原始图像中的最小重复单元的一个空像素N所处位置。

处理芯片20获取到多帧单颜色原始图像后，即可对多帧单颜色原始图像及一帧全色原始图像作进一步处理以得到多帧单颜色中间图像及一帧全色中间图像。如图19所示，处理芯片20对三帧单颜色原始图像及一帧全色原始图像进行插补处理。

对于包含单颜色像素A的单颜色原始图像A，处理芯片20对单颜色原始图像A中每个最小重复单元内的三个空像素N做插补，插补出三个空像素N的像素值。如此，三个空像素N可视为被替换为三个单颜色像素A，则每个最小重单元中的所有像素均具有相应的像素值。多个单颜色像素A即形成单颜色中间图像A。

对于包含单颜色像素B的单颜色原始图像B，处理芯片20对单颜色原始图像B中每个最小重复单元内的两个空像素N做插补，插补出两个空像素N的像素值。如此，两个空像素N可视为被替换为两个单颜色像素B，则每个最小重单元中的所有像素均具有相应的像素值。多个单颜色像素B即形成单颜色中间图像B。

对于包含单颜色像素C的单颜色原始图像C，处理芯片20对单颜色原始图像C中每个最小重复单元内的三个空像素N做插补，插补出三个空像素N的像素值。如此，三个空像素N可视为被替换为三个单颜色像素C，则每个最小重单元中的所有像素均具有相应的像素值。多个单颜色像素C即形成单颜色中间图像C。

对于包含全色像素W的全色原始图像，处理芯片20对全色原始图像中每个最小重复单元内的三个空像素N做插补，插补出三个空像素N的像素值。如此，三个空像素N可视为被替换为三个全色像素W，则每个最小重单元中的所有像素均具有相应的像素值。多个全色像素W即形成全色中间图像。

通过对多帧单颜色原始图像及一帧全色原始图像的插补处理，可以增大单颜色原始图像及全色原始图像的分辨率，有利于提升图像的清晰度。

请参阅图20，在某些实施方式中，步骤04处理多帧单颜色中间图像及一帧全色中间图像以获取目标图像包括：

041：分离每帧单颜色中间图像的色彩和亮度以得到色亮分离图像；

042：将每帧色亮分离图像的亮度与全色中间图像的亮度融合得到多帧亮度校正图像；及

043：融合多帧亮度校正图像以得到目标图像。

请参阅图14，在某些实施方式中，步骤041、步骤042、及步骤043均可以由处理芯片20实现。也即是说，处理芯片20可以用于分离每帧单颜色中间图像的色彩和亮度以得到色亮分离图像、将每帧色亮分离图像的亮度与全色中间图像的亮度融合得到多帧亮度校正图像、以及融合多帧亮度校正图像以得到目标图像。

具体地，处理芯片20对每帧单颜色中间图像(包括单颜色中间图像A、单颜色中间图像B、及单颜色中间图像C)做色彩空间的转换以实现色彩和亮度的分离。如图21所示，图21中色亮分离图像(包括色亮分离图像A、色亮分离图像B、及色亮分离图像C)中的L表示亮度，CLR表示色彩。具体地，假设单颜色像素A为红色像素R，单颜色像素B为绿色像素G，单颜色像素C为蓝色像素Bu，则：(1)处理芯片20可以将RGB空间的单颜色中间图像转换为YCrCb空间的色亮分离图像，此时YCrCb中的Y即为色亮分离图像中的亮度L，YCrCb中的Cr和Cb即为色亮分离图像中的色彩CLR；(2)处理芯片20也可以将RGB的单颜色中间图像转换为Lab空间的色亮分离图像，此时Lab中的L即为色亮分离图像中的亮度L，Lab中的a和b即为色亮分离图像中的色彩CLR。需要说明的是，图21所示色亮分离图像中L+CLR并不表示每个像素的像素值由L和CLR相加而成，仅表示每个像素的像素值是由L和CLR组成。

随后，处理芯片20融合每一帧色亮分离图像的亮度以及全色中间图像的亮度。如图22所示，每个全色像素W的像素值即为每个全色像素W的亮度值。处理芯片20可以将色亮分离图像中每个像素的L与全色中间图像中对应位置的全色像素的W相加，即可得到亮度修正后的像素值。处理芯片20根据一帧色亮分离图像中的多个亮度修正后的像素值形成一帧亮度修正后的色亮分离图像，再利用色彩空间转换将一帧亮度修正后的色亮分离图像转换为一帧亮度校正图像。如此，处理芯片即可获得多帧亮度校正图像(包括亮度校正图像A、亮度校正图像B、及亮度校正图像C)。

随后，如图23所示，处理芯片20对多帧亮度校正图像进行融合处理。具体地，处理芯片20可以根据三帧亮度校正图像相同位置处的像素的像素值来计算该像素的目标像素值，多个目标像素值即可形成目标图像。例如，处理器可以根据亮度校正图像A的第一行第一列的像素的像素值、亮度校正图像B的第一行第一列的像素的像素值、及亮度校正图像C的第一行第一列的像素的像素值来计算目标图像第一行第一列的像素的目标相似值等。目标图像中其余像素的目标像素值也可采用上述方式进行计算。如此，处理芯片20可以获得多个目标像素值。处理芯片20可以根据多个目标像素值来形成一帧目标图像。

在某些实施方式中，全色像素W的第一曝光时间与彩色像素的第二曝光时间可以独立控制。全色像素W的第一曝光时间可以与彩色像素(包括单颜色像素B及多颜色像素A,C)的第二曝光时间相同或不同。第一曝光时间可以小于或等于第二曝光时间。示例地，第一曝光时间与第二曝光时间的比值可为1:2、1:3、1:4等。

在某些实施方式中，处理芯片20可以根据环境亮度来确定全色像素的第一曝光时间与第二曝光时间的相对关系。示例地，图像传感器10可以先控制全色像素曝光并输出一张全色原始图像，处理芯片20分析全色原始图像中多个全色像素的像素值来确定环境亮度。在环境亮度小于或等于亮度阈值时，图像传感器10控制全色像素以等于第二曝光时间的第一曝光时间来曝光；在环境亮度大于亮度阈值时，图像传感器10控制全色像素以小于第二曝光时间的第一曝光时间来曝光。在环境亮度大于亮度阈值时，可以根据环境亮度与亮度阈值之间的亮度差值来确定第一曝光时间与第二曝光时间的相对关系，例如，亮度差值越大，第一曝光时间与第二曝光时间的比例越小。示例地，在亮度差值位于第一范围[a,b)内时，第一曝光时间与第二曝光时间的比例为1:2；在亮度差值位于第二范围[b,c)内时，第一曝光时间与第二曝光时间的比例为1:3；在亮度差值大于或等于c时，第一曝光时间与第二曝光时间的比例为1:4。如此，可以避免全色像素过曝导致全色原始图像无法被用于亮度校正的问题。

请参阅图24，本申请还提供一种移动终端60。移动终端60可以是手机、平板电脑、笔记本电脑、智能穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、头显设备、虚拟现实设备等等，在此不做限制。

移动终端60包括壳体50和摄像头组件40。壳体50和摄像头组件40结合。示例地，摄像头组件40可以安装在壳体50上。移动终端60中还可以包括处理器(图未示)。摄像头组件40中的处理芯片20与处理器可为同一个处理器，也可为两个独立的处理器，在此不作限制。

本申请实施方式的移动终端60设置了具有叠层结构的像素的图像传感器10。叠层结构的多颜色像素吸收的光线对应的多个波段中，任意两个波段是不相邻的，由此可以避免不同颜色的吸收区之间产生光串扰，避免最终生成的图像出现伪色，改善成像质量。

另外，移动终端60的图像传感器10除了设置单颜色像素及叠层结构的多颜色像素，还设置了全色像素。全色像素在低亮环境下也能够接收到较为充足的光线，如此，图像传感器10在低亮环境下获取的图像的信噪比能够得到提升，图像可以具有足够的亮度，有利于改善移动终端60获取的图像的质量。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (15)

1.一种图像传感器，其特征在于，包括二维像素阵列，所述二维像素阵列包括多个彩色像素及多个全色像素，多个所述彩色像素包括单颜色像素和多颜色像素，所述单颜色像素接收一个波段的光线，所述多颜色像素接收多个波段的光线，所述单颜色像素接收的光线的波段与所述多颜色像素接收的光线的波段不同，且所述多颜色像素接收的光线对应的多个波段中，任意两个波段不相邻；

所述二维像素阵列包括最小重复单元，每个所述最小重复单元均包括至少一个所述单颜色像素、至少一个所述多颜色像素、及至少一个所述全色像素。

2.根据权利要求1所述的图像传感器，其特征在于，每个所述多颜色像素均包括第一吸收区、第二吸收区、及衬底，所述第一吸收区及所述第二吸收区形成在所述衬底内，沿所述图像传感器的收光方向，所述第一吸收区和所述第二吸收区依次排列。

3.根据权利要求2所述的图像传感器，其特征在于，每个所述多颜色像素还包括第一曝光控制电路及第二曝光控制电路，所述第一曝光控制电路及所述第二曝光控制电路均设置在所述衬底的靠近所述多颜色像素的感光面的表面上；

所述第一曝光控制电路与所述第一吸收区连接，以将所述第一吸收区接收光线后生成的电荷转移至所述多颜色像素的第一浮动扩散单元；

所述第二曝光控制电路与所述第二吸收区连接，以将所述第二吸收区接收光线后生成的电荷转移至所述多颜色像素的第二浮动扩散单元。

4.根据权利要求3所述的图像传感器，其特征在于，所述第一吸收区位于所述第二吸收区内，且所述第一吸收区在所述感光面上的边缘与所述第二吸收区在所述感光面上的边缘部分重叠。

5.根据权利要求3所述的图像传感器，其特征在于，所述第一吸收区位于所述第二吸收区内，且所述第一吸收区在所述感光面上的边缘与所述第二吸收区在所述感光面上的边缘不重叠；

所述图像传感器还包括绝缘层，所述绝缘层设置在所述衬底的靠近所述感光面的表面上，且置于所述第一曝光控制电路与所述第二吸收区之间，以间隔所述第一曝光控制电路与所述第二吸收区。

6.根据权利要求1所述的图像传感器，其特征在于，所述多颜色像素及所述全色像素设置在第一对角线方向，所述单颜色像素设置在第二对角线方向，所述第一对角线方向与所述第二对角线方向不同，所述多颜色像素及所述全色像素在所述第一对角线方向上交替排布。

7.根据权利要求6所述的图像传感器，其特征在于，所述单颜色像素能够吸收绿色光线，所述多颜色像素能够吸收红色光线及蓝色光线。

8.一种控制方法，用于图像传感器，其特征在于，所述图像传感器包括二维像素阵列排布的多个彩色像素及多个全色像素，多个所述彩色像素包括单颜色像素和多颜色像素，所述单颜色像素接收一个波段的光线，所述多颜色像素接收多个波段的光线，所述单颜色像素接收的光线的波段与所述多颜色像素接收的光线的波段不同，且所述多颜色像素接收的光线对应的多个波段中，任意两个波段不相邻；所述二维像素阵列包括最小重复单元，每个所述最小重复单元均包括至少一个所述单颜色像素、至少一个所述多颜色像素、及至少一个所述全色像素；所述控制方法包括：

所述二维像素阵列曝光以获取全色原始图像和彩色原始图像；

处理所述彩色原始图像以获取单颜色原始图像和多颜色原始图像；

处理所述单颜色原始图像、所述多颜色原始图像、及所述全色原始图像以得到多帧单颜色中间图像及一帧全色中间图像；及

处理多帧所述单颜色中间图像及一帧所述全色中间图像以获取目标图像。

9.根据权利要求8所述的控制方法，其特征在于，所述处理所述单颜色原始图像、所述多颜色原始图像、及所述全色原始图像以得到多帧单颜色中间图像及一帧全色中间图像，包括：

插补处理所述单颜色原始图像，获取每个所述最小重复单元中的所有像素的像素值以得到所述单颜色中间图像；

分离所述多颜色原始图像以得到多帧单颜色原始图像；

插补处理分离后的每帧所述单颜色原始图像，获取每个所述最小重复单元中的所有像素的像素值以得到所述单颜色中间图像；及

插补处理所述全色原始图像，获取每个所述最小重复单元中的所有像素的像素值以得到所述全色中间图像。

10.根据权利要求8所述的控制方法，其特征在于，所述处理多帧所述单颜色中间图像及一帧所述全色中间图像以获取目标图像，包括：

分离每帧所述单颜色中间图像的色彩和亮度以得到色亮分离图像；

将每帧所述色亮分离图像的亮度与所述全色中间图像的亮度融合得到多帧亮度校正图像；及

融合多帧所述亮度校正图像以得到所述目标图像。

11.一种摄像头组件，其特征在于，包括：

镜头；及

权利要求1-7任意一项所述的图像传感器，所述图像传感器能够接收穿过所述镜头的光线。

12.根据权利要求11所述的摄像头组件，其特征在于，所述图像传感器中的二维像素阵列曝光以获取全色原始图像和彩色原始图像；

所述摄像头组件还包括处理芯片，所述处理芯片用于：

处理所述彩色原始图像以获取单颜色原始图像和多颜色原始图像；

处理所述单颜色原始图像、所述多颜色原始图像、及所述全色原始图像以得到多帧单颜色中间图像及一帧全色中间图像；及

处理多帧所述单颜色中间图像及一帧所述全色中间图像以获取目标图像。

13.根据权利要求12所述的摄像头组件，其特征在于，所述处理芯片还用于：

插补处理所述单颜色原始图像，获取每个所述最小重复单元中的所有像素的像素值以得到所述单颜色中间图像；

分离所述多颜色原始图像以得到多帧单颜色原始图像；

插补处理分离后的每帧所述单颜色原始图像，获取每个所述最小重复单元中的所有像素的像素值以得到所述单颜色中间图像；及

插补处理所述全色原始图像，获取每个所述最小重复单元中的所有像素的像素值以得到所述全色中间图像。

14.根据权利要求12所述的摄像头组件，其特征在于，所述处理芯片还用于：

分离每帧所述单颜色中间图像的色彩和亮度以得到色亮分离图像；

将每帧所述色亮分离图像的亮度与所述全色中间图像的亮度融合得到多帧亮度校正图像；及

融合多帧所述亮度校正图像以得到所述目标图像。

15.一种移动终端，其特征在于，所述移动终端包括：

壳体；及

权利要求11-14任意一项所述的摄像头组件，所述摄像头组件与所述壳体结合。

Images