CN111314592A - 图像处理方法、摄像头组件及移动终端 - Google Patents

Abstract

本申请公开了一种图像处理方法、摄像头组件及移动终端。图像处理方法用于图像传感器。图像传感器中的像素阵列包括最小重复单元。每个最小重复单元包括多个彩色感光像素及至少一个全色感光像素。多个彩色感光像素中的至少一个第一颜色感光像素与至少一个第三颜色感光像素设置在第一对角线方向。多个彩色感光像素中的至少一个第二颜色感光像素设置在第二对角线方向。图像处理方法包括：控制像素阵列曝光以获取原始图像；处理原始图像以得到全色原始图像及彩色原始图像，全色原始图像由全色感光像素生成的像素值组成，彩色原始图像由彩色感光像素生成的像素值组成；及利用全色原始图像修正彩色原始图像的亮度以得到目标图像。

Description

图像处理方法、摄像头组件及移动终端

技术领域

本申请涉及影像技术领域，特别涉及一种图像处理方法、摄像头组件及移动终端。

背景技术

手机等移动终端通常安装有摄像头组件来实现图像的采集。目前，摄像头组件中通常使用拜尔阵列排布的滤光片来实现光线过滤，从而使得光电转换元件可以接收不同颜色的光线并输出不同颜色通道的像素值，并根据这些像素值计算出彩色图像。然而，拜尔阵列排布的滤光片中，R、G、B三个颜色的滤光片都会过滤掉一部分光线，这会导致部分亮度信息的损失，最终影响到彩色图像的成像质量。

发明内容

本申请实施方式提供了一种图像处理方法、摄像头组件及移动终端。

本申请实施方式的图像处理方法用于图像传感器。所述图像传感器包括像素阵列。所述像素阵列包括最小重复单元。每个所述最小重复单元包括多个彩色感光像素及至少一个全色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。多个所述彩色感光像素包括至少一个第一颜色感光像素、至少一个第二颜色感光像素、及至少一个第三颜色感光像素，至少一个所述第一颜色感光像素与至少一个所述第三颜色感光像素设置在第一对角线方向。至少一个所述第二颜色感光像素设置在第二对角线方向，所述第一对角线方向与所述第二对角线方向不同。所述图像处理方法包括：控制所述像素阵列曝光以获取原始图像；处理所述原始图像以得到全色原始图像及彩色原始图像，所述全色原始图像由所述全色感光像素生成的像素值组成，所述彩色原始图像由所述彩色感光像素生成的像素值组成；及利用所述全色原始图像修正所述彩色原始图像的亮度以得到目标图像。

本申请实施方式的摄像头组件包括图像传感器及处理器。所述图像传感器包括像素阵列。所述像素阵列包括最小重复单元。每个所述最小重复单元包括多个彩色感光像素及至少一个全色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。多个所述彩色感光像素包括至少一个第一颜色感光像素、至少一个第二颜色感光像素、及至少一个第三颜色感光像素，至少一个所述第一颜色感光像素与至少一个所述第三颜色感光像素设置在第一对角线方向。至少一个所述第二颜色感光像素设置在第二对角线方向，所述第一对角线方向与所述第二对角线方向不同。所述像素阵列曝光以获取原始图像。所述处理器用于：处理所述原始图像以得到全色原始图像及彩色原始图像，所述全色原始图像由所述全色感光像素生成的像素值组成，所述彩色原始图像由所述彩色感光像素生成的像素值组成；及利用所述全色原始图像修正所述彩色原始图像的亮度以得到目标图像。

本申请实施方式的移动终端包括壳体及摄像头组件。所述摄像头组件与所述壳体结合。所述图像传感器包括像素阵列。所述像素阵列包括最小重复单元。每个所述最小重复单元包括多个彩色感光像素及至少一个全色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。多个所述彩色感光像素包括至少一个第一颜色感光像素、至少一个第二颜色感光像素、及至少一个第三颜色感光像素，至少一个所述第一颜色感光像素与至少一个所述第三颜色感光像素设置在第一对角线方向。至少一个所述第二颜色感光像素设置在第二对角线方向，所述第一对角线方向与所述第二对角线方向不同。所述像素阵列曝光以获取原始图像。所述处理器用于：处理所述原始图像以得到全色原始图像及彩色原始图像，所述全色原始图像由所述全色感光像素生成的像素值组成，所述彩色原始图像由所述彩色感光像素生成的像素值组成；及利用所述全色原始图像修正所述彩色原始图像的亮度以得到目标图像。

本申请实施方式的图像处理方法、摄像头组件及移动终端在图像传感器中同时布置全色感光像素和彩色感光像素，由于全色感光像素的光谱响应要宽于彩色感光像素的光谱响应，即全色感光像素单位时间的曝光量会大于彩色感光像素单位时间的曝光量，因此，由全色感光像素生成的像素值组成的全色原始图像可以视为长曝光图像，由彩色感光像素生成的像素值组成的彩色原始图像可以视为短曝光图像，利用全色感光图像对彩色原始图像的亮度进行修正，可以补偿彩色原始图像中曝光较少的区域的亮度，如此，最终获得的目标图像可以具有更高的动态范围，图像质量更好。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图；

图2是本申请某些实施方式的摄像头组件的示意图；

图3是本申请某些实施方式的图像传感器的示意图；

图4是本申请某些实施方式的图像传感器中像素电路的示意图；

图5是本申请某些实施方式的图像传感器中像素阵列的示意图；

图6至图8是本申请某些实施方式的图像传感器中一个最小重复单元内感光像素的排布示意图；

图9是本申请某些实施方式的图像处理方法的原理示意图；

图10是本申请某些实施方式的图像处理方法的流程示意图；

图11是本申请某些实施方式的图像处理方法的原理示意图；

图12是本申请某些实施方式的图像处理方法的流程示意图；

图13和图14是本申请某些实施方式的图像处理方法的原理示意图；

图15是本申请某些实施方式的图像处理方法的流程示意图；

图16和图17是本申请某些实施方式的图像处理方法的原理示意图；

图18是本申请某些实施方式的移动终端的示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1、图3及图6，本申请提供一种图像处理方法。图像处理方法可以用于图像传感器10。图像传感器10包括像素阵列11。像素阵列11包括最小重复单元。每个最小重复单元包括多个彩色感光像素及至少一个全色感光像素W，彩色感光像素具有比全色感光像素W更窄的光谱响应。多个彩色感光像素包括至少一个第一颜色感光像素A、至少一个第二颜色感光像素B、及至少一个第三颜色感光像素C。至少一个第一颜色感光像素A与至少一个第三颜色感光像素C设置在第一对角线方向D1，至少一个第二颜色感光像素B设置在第二对角线方向D2，第一对角线方向D1与第二对角线方向D2不同。图像处理方法包括：

01：控制像素阵列11曝光以获取原始图像；

02：处理原始图像以得到全色原始图像及彩色原始图像，全色原始图像由全色感光像素W生成的像素值组成，彩色原始图像由彩色感光像素生成的像素值组成；及

03：利用全色原始图像修正彩色原始图像的亮度以得到目标图像。

请参阅图2、图3及图6，本申请还提供一种摄像头组件100。本申请实施方式的图像处理方法可以由本申请实施方式的摄像头组件100实现。摄像头组件100包括图像传感器10及处理器20。步骤01可以由图像传感器10实现。步骤02和步骤03均可以由处理器20实现。也即是说，图像传感器10中的像素阵列11可以曝光以获取原始图像。处理器20可以用于处理原始图像以得到全色原始图像及彩色原始图像，其中，全色原始图像由全色感光像素W生成的像素值组成，彩色原始图像由彩色感光像素生成的像素值组成。处理器20还可以用于利用全色原始图像修正彩色原始图像的亮度以得到目标图像。

相关技术中可以采用包含红色感光像素、绿色感光像素及蓝色感光像素的图像传感器来实现彩色图像的获取。然而，红色感光像素、绿色感光像素及蓝色感光像素均会滤除掉一部分光线，导致部分亮度信息的损失，如此，会影响到最终获得的彩色图像的成像质量。

本申请实施方式的图像处理方法及摄像头组件100在图像传感器10中同时布置全色感光像素W和彩色感光像素，由于全色感光像素W的光谱响应要宽于彩色感光像素的光谱响应，即全色感光像素W单位时间的曝光量会大于彩色感光像素单位时间的曝光量，因此，由全色感光像素W生成的像素值组成的全色原始图像可以视为长曝光图像，由彩色感光像素生成的像素值组成的彩色原始图像可以视为短曝光图像，利用全色感光图像对彩色原始图像的亮度进行修正，可以补偿彩色原始图像中曝光较少的区域的亮度，如此，最终获得的目标图像可以具有更高的动态范围，图像质量更好。

下面结合附图对图像传感器10作进一步说明。

图3是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。

例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。

例如，像素阵列11包括以阵列形式二维排列的多个感光像素(图中未示出)，每个感光像素均包括光电转换元件111(图4所示)。每个感光像素根据入射在其上的光的强度将光转换为电荷。

例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指扫描各行及各列的感光像素，从这些感光像素读取信号。例如，被选择并被扫描的感光像素行中的感光像素输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件111的光电荷被丢弃，从而可以开始新的光电荷的积累。

例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选感光像素行中的每一感光像素输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的感光像素的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。

例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15按预定规则扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一感光像素列被列处理单元14处理，并且被输出。

例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。

图4是本申请实施方式中一种像素电路110的示意图。图4中像素电路110可以应用在图3所示像素阵列11内的每个感光像素中。下面结合图3和图4对像素电路110的工作原理进行说明。

如图4所示，像素电路110包括光电转换元件111(例如，光电二极管)、曝光控制电路(例如，转移晶体管112)、复位电路(例如，复位晶体管113)、放大电路(例如，放大晶体管114)和选择电路(例如，选择晶体管115)。在本申请的实施例中，转移晶体管112、复位晶体管113、放大晶体管114和选择晶体管115例如是MOS管，但不限于此。

例如，参见图3和图4，转移晶体管112的栅极TG通过曝光控制线(图中未示出)连接垂直驱动单元12；复位晶体管113的栅极RG通过复位控制线(图中未示出)连接垂直驱动单元12；选择晶体管115的栅极SEL通过选择线(图中未示出)连接垂直驱动单元12。每个像素电路110中的曝光控制电路(例如，转移晶体管112)与光电转换元件111电连接，用于转移光电转换元件111经光照后积累的电势。例如，光电转换元件111包括光电二极管，光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路(例如，转移晶体管112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管114的栅极、复位晶体管113的源极连接。

例如，曝光控制电路为转移晶体管112，曝光控制电路的控制端TG为转移晶体管112的栅极。例如，复位晶体管113的漏极连接到像素电源当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管112的栅极时，转移晶体管112导通。转移晶体管112将光电二极管光电转换的电荷传输到浮动扩散单元FD。

例如，复位晶体管113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位控制线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。

例如，放大晶体管114的栅极连接到浮动扩散单元FD。放大晶体管114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管113复位之后，放大晶体管114经由选择晶体管115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管112转移之后，放大晶体管114经由选择晶体管115通过输出端OUT输出信号电平。

例如，选择晶体管115的漏极连接到放大晶体管114的源极。选择晶体管115的源极通过输出端OUT连接到图1中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管115的栅极时，选择晶体管115导通。放大晶体管114输出的信号通过选择晶体管115传输到列处理单元14。

需要说明的是，本申请实施例中像素电路110的像素结构并不限于图4所示的结构。例如，像素电路110可以具有三晶体管像素结构，其中放大晶体管114和选择晶体管115的功能由一个晶体管完成。例如，曝光控制电路也不局限于单个转移晶体管112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，单个转移晶体管112的实施方式简单、成本低、易于控制。

图5是本申请实施方式中一种感光像素的结构示意图。图5所示的感光像素结构可以应用在图3所示像素阵列11内的每个感光像素中。如图3、图4及图5所示，感光像素包括微透镜119、滤光片118及像素电路110(图5中仅示出像素电路110中的光电转换元件111)。沿图像传感器10的收光方向，微透镜119、滤光片118、及光电转换元件111依次设置。微透镜119用于汇聚光线。滤光片118用于通过特定波段的光线并过滤掉其余波段的光线。光电转换元件111用于接收依次穿过微透镜119及滤光片118的光线，并将接收到的光线转换为电信号。一个感光像素能够响应的光线的颜色由该感光像素中的滤光片118决定。

图6至图8示出了多种图像传感器10(图1所示)中一个最小重复单元内感光像素排布的示例，该最小重复单元在行和列上多次复制并排列即可形成像素阵列11(图1所示)。图像传感器10包括像素阵列11。像素阵列11包括多个最小重复单元。每个最小重复单元包括多个彩色感光像素W及至少一个全色感光像素。彩色感光像素具有比全色感光像素W更窄的光谱响应。多个彩色感光像素W包括至少一个第一颜色感光像素A、至少一个第二颜色感光像素B、及至少一个第三颜色感光像素C。至少一个第一颜色感光像素A和至少一个第三颜色感光像素C设置在第一对角线方向D1，至少一个第二颜色感光像素B设置在第二对角线方向D2，第一对角线方向D1和第二对角线方向D2不同。

例如，图6是本申请实施方式中一种最小重复单元内感光像素排布的示意图；最小重复单元为2行2列4个感光像素，排布方式为：

A W

B C

W表示全色感光像素；A表示多个彩色像素中的第一颜色感光像素；B表示多个彩色像素中的第二颜色感光像素；C表示多个彩色像素中的第三颜色感光像素。

如图6所示，一个第一颜色感光像素A与一个第三颜色感光像素C设置在第一对角线方向D1(即图6中左上角和右下角连接的方向)，一个第二颜色感光像素B与一个全色感光像素W设置在第二对角线D2方向(例如图6中左下角和右上角连接的方向)。第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。

需要说明的是，第一对角线方向D1也可以是左下角和右上角连接的方向，此时，第二对角线方向D2可以是左上角和右下角连接的方向，在此不作限制。下文图6至图8中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。

需要理解的是，此处以及下文中的术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

例如，图7是本申请实施方式中另一种最小重复单元内感光像素排布的示意图。最小重复单元为3行2列6个感光像素，排布方式为：

A B

W W

B C

W表示全色感光像素；A表示多个彩色像素中的第一颜色感光像素；B表示多个彩色像素中的第二颜色感光像素；C表示多个彩色像素中的第三颜色感光像素。

如图7所示，一个第一颜色感光像素A与一个第三颜色感光像素C设置在第一对角线方向D1(即图7中左上角和右下角连接的方向)，两个第二颜色感光像素B设置在第二对角线D2方向(例如图7中左下角和右上角连接的方向)，一个全色感光像素W设置在第一颜色感光像素A与一个第二颜色感光像素B之间，另一个全色感光像素W设置在第三颜色感光像素C与另一个第二颜色感光像素B之间。第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。

例如，图8是本申请实施方式中又一种最小重复单元内感光像素排布的示意图。最小重复单元包括9个感光像素，排布方式为：

A B B

A W C

B B C

W表示全色感光像素；A表示多个彩色像素中的第一颜色感光像素；B表示多个彩色像素中的第二颜色感光像素；C表示多个彩色像素中的第三颜色感光像素。

如图8所示，两个第一颜色感光像素A与两个第三颜色感光像素C设置在第一对角线方向D1(即图8中左上角和右下角连接的方向)，四个第二颜色感光像素B设置在第二对角线D2方向(例如图8中左下角和右上角连接的方向)。第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。两个第一颜色感光像素A、四个第二颜色感光像素B、及两个第三颜色感光像素C环绕一个全色感光像素W布置。

如图8所示，两个第一颜色感光像素A组成第一颜色感光像素组，第一颜色感光像素组中的两个第一颜色感光像素A的像素面积不同。两个第三颜色感光像素C组成第三颜色感光像素组，第三颜色感光像素组中的两个第三颜色感光像素C的像素面积不同。四个第二颜色感光像素B中的两个第二颜色感光像素B组成一个第二颜色感光像素组，另外两个第二颜色感光像素B组成另一个第二颜色感光像素组，每个第二颜色感光像素组中的两个第二颜色感光像素B的像素面积不同。

例如，图6至图8所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为绿色感光像素G；第三颜色感光像素C可以为蓝色感光像素Bu。

例如，图6至图8所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为黄色感光像素Y；第三颜色像素C可以为蓝色感光像素Bu。

例如，图6至图8所示的最小重复单元中，第一颜色感光像素A可以为品红色感光像素M；第二颜色像素B可以为青色感光像素Cy；第三颜色像素C可以为黄色感光像素Y。

需要说明的是，在一些实施例中，图6至图8所示的最小重复单元中的全色感光像素W的响应波段为可见光波段(例如，400nm-760nm)。例如，全色感光像素W上设置有红外滤光片，以实现红外光的滤除。在一些实施例中，图4至图7所示的最小重复单元中的全色感光像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10中的光电转换元件111(例如光电二极管)响应波段相匹配。例如，全色感光像素W可以不设置滤光片118或设置有能够透过所有波段的光的滤光片118，此时，全色感光像素W的响应波段由光电二极管的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。

本申请实施方式的图像处理方法可以应用于具有图6至图8所示任意一种感光像素排布的图像传感器10中。

具体地，以图像处理方法应用于具有图6所示的感光像素排布的图像传感器10中为例，像素阵列11曝光后输出原始图像至处理器20。处理器20对原始图像进行处理以得到全色原始图像和彩色原始图像。如图3、图6和图9所示，全色原始图像包括全色图像像素W和空图像像素N(即NULL，表示该图像像素处没有像素值)。全色原始图像内的每个最小重复单元包括一个全色图像像素W和三个空图像像素N，该一个全色图像像素W所处位置对应于像素阵列11中对应的最小重复单元内的一个全色感光像素W所处位置，该三个空图像像素N所处位置对应于像素阵列11中对应的最小重复单元内的多个彩色感光像素所处位置，如此，全色原始图像由全色感光像素W的像素值组成。如图3、图6和图9所示，彩色原始图像包括彩色感光像素和空图像像素N。彩色原始图像内的每个最小重复单元包括三个彩色图像像素和一个空图像像素N，该三个彩色图像像素所处位置对应于像素阵列11中对应的最小重复单元内的三个彩色感光像素所处位置，该一个空图像像素N对应于像素阵列11中对应的最小重复单元内的一个全色感光像素W所处位置，如此，彩色原始图像由彩色感光像素生成的像素值组成。处理器20获得全色原始图像和彩色原始图像后，即可利用全色原始图像对彩色原始图像进行亮度修正以得到目标图像。

请参阅图3及图10，在某些实施方式中，图像处理方法包括：

04：处理全色原始图像以得到分辨率小于像素阵列11的分辨率的全色中间图像，全色中间图像中的每个全色图像像素W的像素值由对应的最小重复单元中的一个或多个全色感光像素的像素值组成；及

05：处理彩色原始图像以得到分辨率小于像素阵列11的分辨率的彩色中间图像，彩色中间图像中的每个彩色图像像素的像素值由对应的最小重复单元中的多个彩色感光像素的像素值组成；

步骤03利用全色原始图像修正彩色原始图像的亮度以得到目标图像，包括：

031：利用全色中间图像修正彩色中间图像的亮度以得到分辨率小于像素阵列11的分辨率的第一目标图像。

请参阅图2和图3，在某些实施方式中，步骤04、步骤05、及步骤031均可以由处理器20实现。也即是说，处理器20可以用于处理全色原始图像以得到分辨率小于像素阵列11的分辨率的全色中间图像，全色中间图像中的每个全色图像像素的像素值由对应的最小重复单元中的一个或多个全色感光像素W的像素值组成。处理器20还可以用于处理彩色原始图像以得到分辨率小于像素阵列11的分辨率的彩色中间图像，彩色中间图像中的每个彩色图像像素的像素值由对应的最小重复单元中的多个彩色感光像素的像素值组成。处理器20还可以用于利用全色中间图像修正彩色中间图像的亮度以得到分辨率小于像素阵列11的分辨率的第一目标图像。

示例地，请结合图2、图3和图11，处理器20得到全色原始图像及彩色原始图像后，处理器20可以对全色原始图像和彩色图像做进一步处理。具体地，对于全色原始图像，处理器20将同一最小重复单元内的一个全色图像像素W的像素值作为全色中间图像中的一个大的全色图像像素W的像素值。如此，多个大的全色图像像素W的像素值即组成了全色中间图像，全色中间图像的分辨率小于像素阵列11的分辨率。需要说明的是，当全色原始图像的最小重复单元内有多个全色图像像素W时，则处理器20将该多个全色图像像素W的像素值之和作为全色中间图像中的一个大的全色图像像素W的像素值。对于彩色原始图像，处理器20将同一最小重复单元内的多个彩色图像像素的像素值加权之和作为彩色中间图像中一个大的彩色图像像素的像素值。如此，多个大的彩色图像像素的像素值即组成了彩色中间图像，且彩色中间图像中的每个彩色图像像素均具有三个颜色通道的像素值。处理器20获取到全色中间图像及彩色中间图像后，即可利用全色中间图像修正彩色中间图像的亮度以得到第一目标图像，第一目标图像的分辨率小于像素阵列11的分辨率。图10所示的图像处理方式无需对全色原始图像和彩色原始图像进行插值处理，虽然第一目标图像的分辨率有所降低，但处理器20所需处理的数据量得到了减少。当用户对目标图像的清晰度要求较低时，即可采用图10所示的图像处理方式来获取目标图像。例如，当摄像头组件100应用在动态模式，例如，摄像头组件100应用在预览、录像等动态模式下时，处理器20可以选择利用图10所示的图像处理方式来获取第一目标图像。

请参阅图3和图12，在某些实施方式中，图像处理方法包括：

06：插补处理全色原始图像，获取每个最小重复单元中的所有全色图像像素的像素值以得到分辨率与像素阵列11的分辨率相等的全色中间图像；及

07：插补处理彩色原始图像以得到分辨率与像素阵列11的分辨率相等的彩色中间图像，彩色中间图像中的每个彩色图像像素均具有三个颜色通道的像素值；

步骤03利用全色原始图像修正彩色原始图像的亮度以得到目标图像，包括：

032：利用全色中间图像修正彩色中间图像的亮度以得到分辨率与像素阵列11的分辨率相等的第二目标图像。

请参阅图2和图3，在某些实施方式中，步骤06、步骤07、及步骤032均可以由处理器20实现。也即是说，处理器20可以用于插补处理全色原始图像，获取每个最小重复单元中的所有全色图像像素的像素值以得到分辨率与像素阵列11的分辨率相等的全色中间图像。处理器20还可以用于插补处理彩色原始图像以得到分辨率与像素阵列11的分辨率相等的彩色中间图像，彩色中间图像中的每个彩色图像像素均具有三个颜色通道的像素值。处理器20还可以用于利用全色中间图像修正彩色中间图像的亮度以得到分辨率与像素阵列11的分辨率相等的第二目标图像。

示例地，请结合图3和图13，处理器20得到全色原始图像及彩色原始图像后，处理器20可以对全色原始图像和彩色图像做进一步处理。具体地，对于全色原始图像，处理器20对每个最小重复单元进行插补，以计算出空图像像素N的全色通道的像素值。如此，全色中间图像即由多个具有全色通道的像素值的全色图像像素W组成，且全色中间图像的分辨率等于像素阵列11的分辨率。对于彩色原始图像，处理器20对每个最小重复单元内的彩色图像像素及空图像像素N进行插补，以计算出每个彩色图像像素缺乏的颜色通道的像素值，以及每个空图像像素N的三个颜色通道的像素值。如此，彩色中间图像即由多个同时具有三个颜色通道的像素值的彩色图像像素组成，且彩色中间图像的分辨率等于像素阵列11的分辨率。

下面结合图14对彩色原始图像的插补过程作说明。如图14所示，像素P11仅具有第三颜色通道的像素值C11，则像素P11的第一颜色通道的像素值A11＝(A00+A02+A20+A22)/4，像素P11的第二颜色通道的像素值B11＝(B10+B12)/2。如图14所示，像素P21为空图像像素N，像素P12不具有任何一个颜色通道的像素值，则像素P21的第一颜色通道的像素值A21＝(A20+A22)/2，像素P21的第二颜色通道的像素值B21＝(B10+B12+B30+B32)/4，像素P21的第三颜色通道的像素值C21＝(C11+C31)/2。如此，彩色初始图像中，每个仅具有一个颜色通道的像素值的彩色图像像素均可以采用如像素P11的插补方式来计算出缺乏的颜色通道的像素值，每个空图像像素N均可以采用如像素P21的插补方式来计算出所有颜色通道的像素值。处理器20获取到全色中间图像及彩色中间图像后，即可利用全色中间图像修正彩色中间图像的亮度以得到第二目标图像，第二目标图像的分辨率等于像素阵列11的分辨率。图12所示的图像处理方式需要对全色原始图像和彩色原始图像进行插值处理，从而可以提高目标图像的分辨率，使得目标图像更加清晰。当用户对目标图像的清晰度要求较高时，即可采用图12所示的图像处理方式来获取目标图像。例如，当摄像头组件100应用在静态模式，例如，摄像头组件100应用静态图像拍摄等静态模式下时，处理器20可以选择利用图12所示的图像处理方式来获取第二目标图像。

请参阅图15，在某些实施方式中，步骤利用全色中间图像修正彩色中间图像的亮度，包括：

033：获取彩色中间图像的第一亮度分量，并根据第一亮度分量将彩色中间图像划分为多个第一亮度区域；

034：根据多个第一亮度区域将全色中间图像划分为多个第二亮度区域，并获取每个第二亮度区域的第二亮度分量，多个第一亮度区域与多个第二亮度区域对应；

035：对第一亮度分量及与第一亮度分量对应的第二亮度分量加权融合以得到目标图像，其中，同一第一亮度区域中的第一亮度分量具有相同的权值，同一第二亮度区域中的第二亮度分量具有相同的权值，至少部分不同的第一亮度区域中的第一亮度分量的权值不同，至少部分不同的第二亮度区域中的第二亮度分量的权值不同。

请参阅图2，在某些实施方式中，步骤033、步骤034、步骤035均可以由处理器20实现。也即是说，处理器20可以用于获取彩色中间图像的第一亮度分量，并根据第一亮度分量将彩色中间图像划分为多个第一亮度区域。处理器20还可以用于根据多个第一亮度区域将全色中间图像划分为多个第二亮度区域，并获取每个第二亮度区域的第二亮度分量，多个第一亮度区域与多个第二亮度区域对应。处理器20还可以用于对第一亮度分量及与第一亮度分量对应的第二亮度分量加权融合以得到目标图像，其中，同一第一亮度区域中的第一亮度分量具有相同的权值，同一第二亮度区域中的第二亮度分量具有相同的权值，至少部分不同的第一亮度区域中的第一亮度分量的权值不同，至少部分不同的第二亮度区域中的第二亮度分量的权值不同。

示例地，请结合图16和图17，首先，处理器20对彩色中间图像进行色彩空间转换以分离亮度和色彩，从而得到色亮分离图像。例如，将RGB色彩空间的彩色中间图像进行色彩空间转换，得到YUV色彩空间的色亮分离图像，其中，色亮分离图像中每个彩色图像像素的Y值即为彩色中间图像的第一亮度分量。而对于全色中间图像而言，每个全色图像像素W的像素值即为全色中间图像的第二亮度分量。在获取到第一亮度分量及第二亮度分量后，处理器20可以根据第一亮度分量将彩色中间图像划分为多个第一亮度区域，例如，设置多个亮度区间，将第一亮度分量与各个亮度区间作匹配，位于同一亮度区间内的第一亮度分量对应的彩色图像像素被划分到同一个第一亮度区域中。随后，处理器20可以根据全色中间图像与彩色中间图像的匹配关系，以多个第一亮度区域为依据将全色中间图像划分为多个第二亮度区域，其中，一个第二亮度区域对应一个第一亮度区域。随后，处理器20利用第二亮度区域的第二亮度分量对与该第二亮度区域对应的第一亮度区域的第一亮度分量进行修正。例如，假设彩色中间图像被划分成三个第一亮度区域，分别为第一亮度区域S11、第一亮度区域S12、第一亮度区域S13，全色中间图像被划分成三个第二亮度区域，分别为第二亮度区域S21、第二亮度区域S22、第二亮度区域S23，则对于第一亮度区域S11内的每个第一亮度分量Y11，其修正方式为：Y11’＝m1*Y11+m2*Y21，其中，m1和m2为权值，Y21为与第一亮度区域S11对应的第二亮度区域S21的第二亮度分量，Y11’为第一亮度区域S11修正后的第一亮度分量。同样地，对于第一亮度区域S12内的每个第一亮度分量Y12，其修正方式为：Y12’＝m3*Y12+m4*Y22，其中，m3和m4为权值，Y22为与第二亮度区域S12对应的第二亮度区域S22的第二亮度分量，Y12’为第一亮度区域S12修正后的第一亮度分量。对于第一亮度区域S13内的每个第一亮度分量Y13，其修正方式为：Y13’＝m5*Y13+m6*Y23，其中，m5和m6为权值，Y23为与第一亮度区域S13对应的第二亮度区域S23的第二亮度分量，Y13’为第一亮度区域S13修正后的第一亮度分量。其中，m1、m3、m5中的至少两个不相等，m2、m4、m6中的至少两个不相等。随后，处理器20将修正了第一亮度分量的色亮分离图像进行色彩空间的转换，即从YUV色彩空间转换为RGB色彩空间，从而得到目标图像。

可以理解，全色感光像素W单位时间内的曝光量要大于彩色感光像素W单位时间内的曝光量，如此，全色中间图像可以较好地表现出拍摄场景的暗部的细节，彩色中间图像可以较好地表现出拍摄场景的亮部的细节。那么，将彩色中间图像划分为多个第一亮度区域，也即是将彩色中间图像划分为多个具有不同曝光程度的区域，并且，在使用全色中间图像的第二亮度分量对每个区域的第一亮度分量进行修正时，不同区域的中两个亮度分量的融合权重不同，可以有效地保留彩色中间图像的曝光较多区域的细节，并对彩色中间图像的曝光较少的区域的细节进行补偿，从而使得最终获得的目标图像能够具有较高的动态范围，图像质量更高。

在某些实施方式中，全色中间图像与彩色中间图像的匹配关系可以直接根据全色图像像素所处位置及彩色图像像素所处位置来得到。当然，处理器20还可以基于角点、边缘、图像内容等信息进行较高精度的匹配，从而得到更为准确的匹配关系。

请参阅图5，在某些实施方式中，像素阵列11还包括隔离层116，任意两个相邻的感光像素的光电转换元件111之间均设置有隔离层116。隔离层116可以防止入射到某一个光电转换元件111中的光线入射到与该光电转换元件111相邻的其他光电转换元件111中，从而避免光串扰。每个感光像素的光电转换元件111内还形成有沟槽117，沟槽117的深度H1小于隔离层116的深度H2。沟槽117可以将光电转换元件111内原有的一个传播通道分隔为多个传播通道。如此，传播通道的宽度变窄，光线在较窄的传播通道内传播时，反射次数较多，光线的传播距离增长，有利于光电转换元件111对光线的吸收，从而使得光电转换元件111的量子效率得以提高。光电转换元件111的量子效率提高，说明大部分入射到光电转换元件111内的光线都能够被吸收，光线的利用率提高，图像传感器10获得的图像质量也会更好。沟槽117例如仅形成在光电转换元件111的P型区1111内，而不深入到N型区1112中，如此，可以简化沟槽117的设置工艺。

在某些实施方式中，图7所示的两个全色感光像素W内的光电转换元件111可以共用一个微透镜119(图5所示)，如此，两个全色感光像素W既可以用于成像，又能够构成相位检测像素对以用于相位对焦。

在某些实施方式中，图8所示的每个彩色感光像素组中的两个彩色感光像素具有不同的像素面积，那么，像素面积较小的彩色感光像素生成的像素值可以组成第一彩色原始图像，像素面积较大的彩色感光像素生成的像素值可以组成第二彩色原始图像，全色感光像素W生成的像素值可以组成全色原始图像。其中，第一彩色原始图像可以视为短曝光图像，第二彩色原始图像可以视为中曝光图像，全色原始图像可以视为长曝光图像。处理器20可以融合短曝光图像、中曝光图像和长曝光图像来获取目标图像。如此，可以进一步提高目标图像的动态范围，改善图像质量。

请参阅图2和图18，本申请还提供一种移动终端300。移动终端300可以是手机、平板电脑、笔记本电脑、智能穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、头显设备、虚拟现实设备等等，在此不做限制。移动终端300包括壳体200和摄像头组件100。壳体200和摄像头组件100结合。示例地，摄像头组件100可以安装在壳体200上。摄像头组件100中的处理器20可以安装在摄像头组件100内，此时摄像头组件100的处理器20与移动终端300的处理器分别为两个独立的处理器。摄像头组件100中的处理器20也可以安装在摄像头组件100外，且安装在移动终端100内，此时，摄像头组件100的处理器20与移动终端300的处理器可以为同一个处理器。

本申请实施方式的移动终端300在图像传感器10中同时布置全色感光像素W和彩色感光像素，由于全色感光像素W的光谱响应要宽于彩色感光像素的光谱响应，即全色感光像素W单位时间的曝光量会大于彩色感光像素单位时间的曝光量，因此，由全色感光像素W生成的像素值组成的全色原始图像可以视为长曝光图像，由彩色感光像素生成的像素值组成的彩色原始图像可以视为短曝光图像，利用全色感光图像对彩色原始图像的亮度进行修正，可以补偿彩色原始图像中曝光较少的区域的亮度，如此，最终获得的目标图像可以具有更高的动态范围，图像质量更好。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (11)

1.一种图像处理方法，用于图像传感器，其特征在于，所述图像传感器包括像素阵列，所述像素阵列包括最小重复单元，每个所述最小重复单元包括多个彩色感光像素及至少一个全色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应；多个所述彩色感光像素包括至少一个第一颜色感光像素、至少一个第二颜色感光像素、及至少一个第三颜色感光像素，至少一个所述第一颜色感光像素与至少一个所述第三颜色感光像素设置在第一对角线方向，至少一个所述第二颜色感光像素设置在第二对角线方向，所述第一对角线方向与所述第二对角线方向不同；所述图像处理方法包括：

控制所述像素阵列曝光以获取原始图像；

处理所述原始图像以得到全色原始图像及彩色原始图像，所述全色原始图像由所述全色感光像素生成的像素值组成，所述彩色原始图像由所述彩色感光像素生成的像素值组成；及

利用所述全色原始图像修正所述彩色原始图像的亮度以得到目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

处理所述全色原始图像以得到分辨率小于所述像素阵列的分辨率的全色中间图像，所述全色中间图像中的每个全色图像像素的像素值由对应的所述最小重复单元中的一个或多个所述全色感光像素的像素值组成；及

处理所述彩色原始图像以得到分辨率小于所述像素阵列的分辨率的彩色中间图像，所述彩色中间图像中的每个彩色图像像素的像素值由对应的最小重复单元中的多个所述彩色感光像素的像素值组成；

所述利用所述全色原始图像修正所述彩色原始图像的亮度以得到目标图像，包括：

利用所述全色中间图像修正所述彩色中间图像的亮度以得到分辨率小于所述像素阵列的分辨率的第一目标图像。

3.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

插补处理所述全色原始图像，获取每个所述最小重复单元中的所有全色图像像素的像素值以得到分辨率与所述像素阵列的分辨率相等的全色中间图像；及

插补处理所述彩色原始图像以得到分辨率与所述像素阵列的分辨率相等的彩色中间图像，所述彩色中间图像中的每个所述彩色图像像素均具有三个颜色通道的像素值；

所述利用所述全色原始图像修正所述彩色原始图像的亮度以得到目标图像，包括：

利用所述全色中间图像修正所述彩色中间图像的亮度以得到分辨率与所述像素阵列的分辨率相等的第二目标图像。

4.根据权利要求2或3所述的图像处理方法，其特征在于，所述利用所述全色中间图像修正所述彩色中间图像的亮度，包括：

获取所述彩色中间图像的第一亮度分量，并根据所述第一亮度分量将所述彩色中间图像划分为多个第一亮度区域；

根据多个所述第一亮度区域将所述全色中间图像划分为多个第二亮度区域，并获取每个所述第二亮度区域的第二亮度分量，多个所述第一亮度区域与多个所述第二亮度区域对应；

对所述第一亮度分量及与所述第一亮度分量对应的所述第二亮度分量加权融合以得到所述目标图像，其中，同一所述第一亮度区域中的所述第一亮度分量具有相同的权值，同一所述第二亮度区域中的所述第二亮度分量具有相同的权值，至少部分不同的所述第一亮度区域中的所述第一亮度分量的权值不同，至少部分不同的所述第二亮度区域中的所述第二亮度分量的权值不同。

5.根据权利要求2或3所述的图像处理方法，其特征在于，所述图像传感器应用于摄像头组件，在所述摄像头组件工作在静态模式时，所述目标图像为所述第二目标图像；

在所述摄像头组件工作在动态模式时，所述目标图像为所述第一目标图像。

6.一种摄像头组件，其特征在于，包括：

图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括最小重复单元，每个所述最小重复单元包括多个彩色感光像素及至少一个全色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应；多个所述彩色感光像素包括至少一个第一颜色感光像素、至少一个第二颜色感光像素、及至少一个第三颜色感光像素，至少一个所述第一颜色感光像素与至少一个所述第三颜色感光像素设置在第一对角线方向，至少一个所述第二颜色感光像素设置在第二对角线方向，所述第一对角线方向与所述第二对角线方向不同，所述像素阵列曝光以获取原始图像；及

处理器，所述处理器用于：

处理所述原始图像以得到全色原始图像及彩色原始图像，所述全色原始图像由所述全色感光像素生成的像素值组成，所述彩色原始图像由所述彩色感光像素生成的像素值组成；及

利用所述全色原始图像修正所述彩色原始图像的亮度以得到目标图像。

7.根据权利要求6所述的摄像头组件，其特征在于，所述处理器还用于：

处理所述全色原始图像以得到分辨率小于所述像素阵列的分辨率的全色中间图像，所述全色中间图像中的每个全色图像像素的像素值由对应的所述最小重复单元中的一个或多个所述全色感光像素的像素值组成；

处理所述彩色原始图像以得到分辨率小于所述像素阵列的分辨率的彩色中间图像，所述彩色中间图像中的每个彩色图像像素的像素值由对应的最小重复单元中的多个所述彩色感光像素的像素值组成；及

利用所述全色中间图像修正所述彩色中间图像的亮度以得到分辨率小于所述像素阵列的分辨率的第一目标图像。

8.根据权利要求6所述的摄像头组件，其特征在于，所述处理器还用于：

插补处理所述全色原始图像，获取每个所述最小重复单元中的所有全色图像像素的像素值以得到分辨率与所述像素阵列的分辨率相等的全色中间图像；

插补处理所述彩色原始图像以得到分辨率与所述像素阵列的分辨率相等的彩色中间图像，所述彩色中间图像中的每个所述彩色图像像素均具有三个颜色通道的像素值；及

利用所述全色中间图像修正所述彩色中间图像的亮度以得到分辨率与所述像素阵列的分辨率相等的第二目标图像。

9.根据权利要求7或8所述的摄像头组件，其特征在于，所述处理器还用于：

获取所述彩色中间图像的第一亮度分量，并根据所述第一亮度分量将所述彩色中间图像划分为多个第一亮度区域；

根据多个所述第一亮度区域将所述全色中间图像划分为多个第二亮度区域，并获取每个所述第二亮度区域的第二亮度分量，多个所述第一亮度区域与多个所述第二亮度区域对应；

对所述第一亮度分量及与所述第一亮度分量对应的所述第二亮度分量加权融合以得到所述目标图像，其中，同一所述第一亮度区域中的所述第一亮度分量具有相同的权值，同一所述第二亮度区域中的所述第二亮度分量具有相同的权值，至少部分不同的所述第一亮度区域中的所述第一亮度分量的权值不同，至少部分不同的所述第二亮度区域中的所述第二亮度分量的权值不同。

10.根据权利要求7或8所述的摄像头组件，其特征在于，在所述摄像头组件工作在静态模式时，所述目标图像为所述第二目标图像；

在所述摄像头组件工作在动态模式时，所述目标图像为所述第一目标图像。

11.一种移动终端，其特征在于，包括：

壳体；及

权利要求6至10任意一项所述的摄像头组件，所述摄像头组件与所述壳体结合。

Images