CN111835971B - 图像处理方法、图像处理系统、电子设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、图像处理系统、电子设备和非易失性计算机可读存储介质。图像处理方法包括获取像素阵列曝光得到的第一图像，第一图像包括单颜色感光像素生成的第一彩色数据和全色感光像素生成的第一全色数据；将同一个子单元内的第一彩色数据融合获得第二彩色数据，多个第二彩色数据排列形成第二图像；将同一个子单元内的第一彩色数据及第一全色数据融合获得第三数据，多个第三数据排列形成第三图像；对第二图像及第三图像进行盒子滤波处理以获得多个第四图像及多个第五图像；将同一颜色的第四图像与第五图像融合以形成多个第六图像；将同一颜色的第六图像与第三图像融合以形成多个单色图像；及融合多个单色图像以获得彩色图像。

Description

图像处理方法、图像处理系统、电子设备及可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理系统、电子设备及计算机可读存储介质。

背景技术

手机等电子设备中可以设置有摄像头以实现拍照功能。摄像头内可以设置用于接收光线的图像传感器。图像传感器中可以设置有滤光片阵列。为了提高手机等电子设备获取图像的清晰度及信噪比，会将滤光片阵列设置呈四轮拜耳(Quad bayer)阵列的形式排布，虽然进光量变为原来的4倍，但是在暗光下的信噪比和清晰度仍然不够高。

发明内容

本申请实施方式提供了一种图像处理方法、图像处理系统、电子设备及计算机可读存储介质。

本申请实施方式提供一种用于图像传感器的图像处理方法。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个单颜色感光像素，所述单颜色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素。所述图像处理方法包括：获取所述像素阵列曝光得到的第一图像，所述第一图像包括所述单颜色感光像素生成的第一彩色数据和所述全色感光像素生成的第一全色数据；将同一个所述子单元内的所有所述第一彩色数据融合以获得第二彩色数据，多个所述第二彩色数据排列形成第二图像，所述第二图像的像素呈拜耳阵列排布；将同一个所述子单元内的所有所述第一彩色数据及所述第一全色数据融合以获得第三数据，多个第三数据排列形成第三图像，所述第三图像像素呈拜耳阵列排布；对所述第二图像进行盒子滤波处理以获得与多个不同颜色的所述第二彩色数据对应的多个第四图像，对所述第三图像进行盒子滤波处理以获得与多个不同颜色的所述第三数据对应的多个第五图像；将同一颜色的所述第四图像与所述第五图像融合以形成不同颜色的多个第六图像；将同一颜色的所述第六图像与所述第三图像融合以形成多个单色图像；及融合多个所述单色图像以获得高信噪比的彩色图像。

本申请实施方式提供一种图像处理系统。所述图像处理系统包括图像传感器进和图像融合模块。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个单颜色感光像素，所述单颜色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素。所述图像融合模块用于：获取所述像素阵列曝光得到的第一图像，所述第一图像包括所述单颜色感光像素生成的第一彩色数据和所述全色感光像素生成的第一全色数据；对同一个所述子单元内的所有所述第一彩色数据融合以获得第二彩色数据，多个所述第二彩色数据排列形成第二图像，所述第二图像的像素呈拜耳阵列排布；对同一个所述子单元内的所有所述第一彩色数据及所述第一全色数据融合以获得第三数据，多个第三数据排列形成第三图像，所述第三图像像素呈拜耳阵列排布；对所述第二图像进行盒子滤波处理以获得与多个不同颜色的所述第二彩色数据对应的多个第四图像，对所述第三图像进行盒子滤波处理以获得与多个不同颜色的所述第三数据对应的多个第五图像；对同一颜色的所述第四图像与所述第五图像融合以形成不同颜色的多个第六图像；对同一颜色的所述第六图像与所述第三图像融合以形成多个单色图像；及对多个所述单色图像进行融合以获得高信噪比的彩色图像。

本申请实施方式提供一种电子设备。所述电子设备包括镜头、壳体及上述的图像处理系统。所述镜头、所述图像处理系统与所述壳体结合，所述镜头与所述图像处理系统的图像传感器配合成像。

本申请实施方式提供一种包含计算机程序的非易失性计算机可读存储介质。所述计算机程序被处理器执行时，使得所述处理器执行上述的图像处理方法。

本申请实施方式的图像处理方法、图像处理系统、电子设备及计算机可读存储介质通过在像素阵列中增加全色感光像素，并结合盒子滤波处理将单颜色感光像素与全色感光像素的融合，以提高获取图像的清晰度和信噪比，从而可以提升夜晚下的拍照效果，同时极大提高了图像处理的速率。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请实施方式的一种图像处理方法的流程示意图；

图2是本申请实施方式的一种图像处理系统的结构示意图；

图3是本申请实施方式的一种像素阵列的示意图；

图4是本申请实施方式的一种感光像素的截面示意图；

图5是本申请实施方式的一种感光像素的像素电路图；

图6是本申请实施方式的一种像素阵列中最小重复单元的排布示意图；

图7是本申请实施方式的又像素阵列中最小重复单元的排布示意图；

图8是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；

图9是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；

图10是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；

图11是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；

图12是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；

图13是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；

图14是本申请实施方式的又一种图像处理方法的流程示意图；

图15是本申请实施方式的又一种图像处理方法的流程示意图；

图16是本申请实施方式的一种第一彩色数据融合的示意图；

图17是本申请实施方式的又一种图像处理方法的流程示意图；

图18是本申请实施方式的又一种图像处理方法的流程示意图；

图19是本申请实施方式的又一种图像处理方法的流程示意图；

图20是本申请实施方式的又一种图像处理方法的流程示意图；

图21是本申请实施方式的又一种图像处理方法的流程示意图；

图22是本申请实施方式的一种第三数据融合的示意图；

图23是本申请实施方式的一种对第二图像进行盒子滤波的示意图；

图24是本申请实施方式的一种对第三图像进行盒子滤波的示意图；

图25是本申请实施方式的一种对红色第一中间图像进行盒子滤波的示意图；

图26是本申请实施方式的又一种对红色第一中间图像进行盒子滤波的示意图；

图27是本申请实施方式的又一种对红色第一中间图像进行盒子滤波的示意图；

图28至图31是本申请实施方式的一种对第四图像及第五图像融合的示意图；

图32是本申请实施方式的又一种图像处理方法的流程示意图；

图33是本申请实施方式的一种对第三图像及第六图像融合的示意图；

图34是本申请实施方式的又一种图像处理方法的流程示意图；

图35是本申请实施方式的一种对红色第二中间图像及红色第六图像融合的示意图；

图36是本申请实施方式的一种对多个单色图像融合的示意图；

图37本申请实施方式的一种电子设备的结构示意图；

图38是本申请实施方式的一种非易失性计算机可读存储介质与处理器的交互示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1，本申请提供一种用于图像传感器10(图2所示)的图像处理方法。图像传感器10包括像素阵列11，像素阵列11包括多个全色感光像素和多个彩色感光像素，彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元，每个最小重复单元包含多个子单元，每个子单元包括多个单颜色感光像素及多个全色感光像素。图像处理方法包括：

01：获取像素阵列曝光得到的第一图像，第一图像包括单颜色感光像素生成的第一彩色数据和全色感光像素生成的第一全色数据；

02：将同一个子单元内的所有第一彩色数据融合以获得第二彩色数据，多个第二彩色数据排列形成第二图像，第二图像的像素呈拜耳阵列排布；

03：将同一个子单元内的所有第一彩色数据及第一全色数据融合以获得第三数据，多个第三数据排列形成第三图像，第三图像像素呈拜耳阵列排布；

04：对第二图像进行盒子滤波处理以获得与多个不同颜色的第二彩色数据对应的多个第四图像，对第三图像进行盒子滤波处理以获得与多个不同颜色的第三数据对应的多个第五图像；

05：将同一颜色的第四图像与第五图像融合以形成不同颜色的多个第六图像；

06：将同一颜色的第六图像与第三图像融合以多个单色图像；及

07：融合多个单色图像以获得高信噪比的彩色图像。

请结合图1及图2，本申请还提供一种图像处理系统100。图像处理系统100包括图像传感器10及图像融合模块20。图像传感器10包括像素阵列11，像素阵列11包括多个全色感光像素和多个彩色感光像素，彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元，每个最小重复单元包含多个子单元，每个子单元包括多个单颜色感光像素及多个全色感光像素。像素阵列11曝光得到第一图像，第一图像包括单颜色感光像素生成的第一彩色数据和全色感光像素生成的第一全色数据。步骤01、步骤02、步骤03、步骤04、步骤05、步骤06及步骤07均可以由图像融合模块20实现。也即是说，图像融合模块20可用于获取像素阵列11曝光得到的第一图像；对同一个子单元内的所有第一彩色数据融合以获得第二彩色数据，多个第二彩色数据排列形成第二图像，第二图像的像素呈拜耳阵列排布；对同一个子单元内的所有第一彩色数据及第一全色数据融合以获得第三数据，多个第三数据排列形成第三图像，第三图像像素呈拜耳阵列排布；对第二图像进行盒子滤波处理以获得与多个不同颜色的第二彩色数据对应的多个第四图像，对第三图像进行盒子滤波处理以获得与多个不同颜色的第三数据对应的多个第五图像；对同一颜色的第四图像与第五图像融合以形成不同颜色的多个第六图像；对同一颜色的第六图像与第三图像融合以多个单色图像；及对多个单色图像进行融合以获得高信噪比的彩色图像。

本申请实施方式的图像处理方法、图像处理系统100、电子设备200和计算机可读存储介质通过在像素阵列11中增加全色感光像素W，并结合盒子滤波处理将单颜色像素与全色感光像素W的融合，以提高获取图像的清晰度和信噪比，从而可以提升夜晚下的拍照效果，同时极大提高了图像处理的速率。

图3是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。

例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。

例如，像素阵列11包括以阵列形式二维排列(即二维矩阵形式排布)的多个感光像素110(图4所示)，每个感光像素110包括光电转换元件1111(图5所示)。每个感光像素110根据入射在其上的光的强度将光转换为电荷。

例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位感光像素110，从这些单位感光像素110逐行地读取信号。例如，被选择并被扫描的感光像素行中的每一感光像素110输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件的光电荷被丢弃，从而可以开始新的光电荷的积累。

例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选感光像素行中的每一感光像素110输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的感光像素110的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。

例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一感光像素列被列处理单元14顺序地处理，并且被顺序输出。

例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。

图4是本申请实施方式中一种感光像素110的示意图。感光像素110包括像素电路111、滤光片112、及微透镜113。沿感光像素110的收光方向，微透镜113、滤光片112、及像素电路111依次设置。微透镜113用于汇聚光线，滤光片112用于供某一波段的光线通过并过滤掉其余波段的光线。像素电路111用于将接收到的光线转换为电信号，并将生成的电信号提供给图3所示的列处理单元14。

图5是本申请实施方式中一种感光像素110的像素电路111的示意图。图5中像素电路111可应用在图3所示的像素阵列11内的每个感光像素110(图4所示)中。下面结合图3至图5对像素电路111的工作原理进行说明。

如图5所示，像素电路111包括光电转换元件1111(例如，光电二极管)、曝光控制电路(例如，转移晶体管1112)、复位电路(例如，复位晶体管1113)、放大电路(例如，放大晶体管1114)和选择电路(例如，选择晶体管1115)。在本申请的实施例中，转移晶体管1112、复位晶体管1113、放大晶体管1114和选择晶体管1115例如是MOS管，但不限于此。

例如，光电转换元件1111包括光电二极管，光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路(例如，转移晶体管1112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管1114的栅极、复位晶体管1113的源极连接。

例如，曝光控制电路为转移晶体管1112，曝光控制电路的控制端TG为转移晶体管1112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管1112的栅极时，转移晶体管1112导通。转移晶体管1112将光电二极管光电转换的电荷传输到浮动扩散单元FD。

例如，复位晶体管1113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。

例如，放大晶体管1114的栅极连接到浮动扩散单元FD。放大晶体管1114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管1113复位之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管1112转移之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出信号电平。

例如，选择晶体管1115的漏极连接到放大晶体管1114的源极。选择晶体管1115的源极通过输出端OUT连接到图3中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管1115的栅极时，选择晶体管1115导通。放大晶体管1114输出的信号通过选择晶体管1115传输到列处理单元14。

需要说明的是，本申请实施例中像素电路111的像素结构并不限于图5所示的结构。例如，像素电路111也可以具有三晶体管像素结构，其中放大晶体管1114和选择晶体管1115的功能由一个晶体管完成。例如，曝光控制电路也不局限于单个转移晶体管1112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，本申请实施方式中的单个转移晶体管1112的实施方式简单、成本低、易于控制。

具体地，例如，图6为本申请一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。

其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W A W B

A W B W

W B W C

B W C W

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图6所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图6所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1(例如图6中左上角和右下角连接的方向)，两个第二类子单元UB设置在第二对角线方向D2(例如图6中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

需要说明的是，在其他实施方式中，第一对角线方向D1也可以是右上角和左下角连接的方向，第二对角线方向D2也可以是左上角和右下角连接的方向。另外，这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。下文图7至图11中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。

再例如，图7为本申请另一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中，最小重复单元为6行6列36个感光像素110，子单元为3行3列9个感光像素110。排布方式为：

W A W B W B

A W A W B W

W A W B W B

B W B W C W

W B W C W C

B W B W C W

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图7所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图7所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

再例如，图8为本申请又一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中，最小重复单元为8行8列64个感光像素110，子单元为4行4列16个感光像素110。排布方式为：

W A W A W B W B

A W A W B W B W

W A W A W B W B

A W A W B W B W

W B W B W C W C

B W B W C W C W

W B W B W C W C

B W B W C W C W

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图8所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图8所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

具体地，例如，图9为本申请再一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W A W B

A W B W

B W C W

W B W C

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

图9所示的最小重复单元中感光像素110的排布与图6所示的最小重复单元中感光像素110的排布大致相同，其不同之处在于，图9中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序与图6中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序不一致，并且，图9中的第三类子单元UC中的全色感光像素W与单颜色感光像素的交替顺序与图6中位于右下角的第三类子单元UC中的全色感光像素W与单颜色感光像素的交替顺序也不一致。具体地，图6中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第二颜色感光像素B)，第二行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W；而图9中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第二颜色感光像素B)。图6中位于右下角的第三类子单元UC中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)，第二行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W；而图9中位于右下角的第三类子单元UC中，第一行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)。

如图9所示，图9中的第一类子单元UA中的全色感光像素W与单颜色感光像素的交替顺序与第三类子单元UC中的全色感光像W素与单颜色感光像素的交替顺序不一致。具体地，图9所示的第一类子单元UA中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第一颜色感光像素A)，第二行的感光像素110的交替顺序为单颜色感光像素(即第一颜色感光像素A)、全色感光像素W；而图9所示的第三类子单元UC中，第一行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)。也即是说，同一最小重复单元中，不同子单元内的全色感光像素W与彩色感光像素的交替顺序可以是一致的(如图6所示)，也可以是不一致的(如图9所示)。

例如，图10为本申请还一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W W W W

A A B B

W W W W

B B C C

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图10所示，对于每个子单元，同一行的多个感光像素110为同一类别的感光像素110。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。

例如，如图10所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，图11为本申请还一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

A W B W

A W B W

B W C W

B W C W

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图11所示，对于每个子单元，同一列的多个感光像素110为同一类别的感光像素110。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。

例如，如图11所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，在其他实施方式中，同一最小重复单元中，也可以是部分子单元内的同一行的多个感光像素110为同一类别的感光像素110，其余部分子单元内的同一列的多个感光像素110为同一类别的感光像素110。

再例如，图12为本申请还一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。

其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

A W B W

A A B B

B W C W

B B C C

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图12所示，在每个子单元内只包括一个全色感光像素W，其他的感光像素110均为单颜色感光像素。

例如，如图12所示，子单元的类别包括三类。其中，第一类子单元UA包括一个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括一个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括一个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

再例如，图13为本申请还一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。

其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

R W B W

W W W W

B W C W

W W W W

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图13所示，在每个子单元内只包括一个单颜色感光像素，其他的感光像素110均为全色感光像素W。

例如，如图13所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和一个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和一个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和一个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，如图6至图13所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为绿色感光像素G；第三颜色感光像素C可以为蓝色感光像素Bu。

例如，如图6至图13所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为黄色感光像素Y；第三颜色感光像素C可以为蓝色感光像素Bu。

例如，如图6至图13所示的最小重复单元中，第一颜色感光像素A可以为品红色感光像素M；第二颜色感光像素B可以为青色感光像素Cy；第三颜色感光像素C可以为黄色感光像素Y。

需要说明的是，在一些实施例中，全色感光像素W的响应波段可为可见光波段(例如，400nm-760nm)。例如，全色感光像素W上设置有红外滤光片，以实现红外光的滤除。在另一些实施例中，全色感光像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10(图2所示)中的光电转换元件1111(图5所示)的响应波段相匹配。例如，全色感光像素W可以不设置滤光片或者设置可供所有波段的光线通过的滤光片，全色感光像素W的响应波段由光电转换元件1111的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。

为了方便说明，以下实施例均以第一单颜色感光像素A为红色感光像素R，第二单颜色感光B为绿色感光像素G，第三单颜色感光像素为蓝色感光像素Bu进行说明。

请参阅图1、图2及图3，在某些实施方式中，控制单元13控制像素阵列11曝光，以获得第一图像。其中第一图像包括单颜色感光像素生成的第一彩色数据和全色感光像素生成的第一全色数据。在像素阵列11曝光后，图像融合模块20获取其曝光后获得的第一图像，并对第一图像中包含的第一彩色数据及第一全色数据进行后续处理，以获得高信噪比的彩色图像。

具体地，请参阅图14，在一些实施例中，步骤02：将同一个子单元内的所有第一彩色数据融合以获得第二彩色数据，多个第二彩色数据排列形成第二图像包括：

021：将同一个子单元内的所有第一彩色数据的和作为第二彩色数据，多个第二彩色数据排列形成第二图像。

请结合图2及图14，步骤021可以由图像融合模块20实现。也即是说，图像融合模块20还用于将同一个子单元内的所有第一彩色数据的和作为第二彩色数据，多个第二彩色数据排列形成第二图像。

示例地，如图16所示，假设像素阵列11(图3所示)曝光后生成的第一图像包括8*8个像素数据，其中第一彩色数据P1-00、第一彩色数据P1-11、第一全色数据P1-01及第一全色数据P1-10构成子单元U1；第一彩色数据P1-02、第一彩色数据P1-13、第一全色数据P1-03及第一全色数据P1-12构成子单元U2；第一彩色数据P1-04、第一彩色数据P1-15、第一全色数据P1-05及第一全色数据P1-14构成子单元U3；第一彩色数据P1-06、第一彩色数据P1-17、第一全色数据P1-07及第一全色数据P1-16构成子单元U4，子单元U1、子单元U2、子单元U3及子单元U4位于同一行。图像融合模块20将子单元U1中的第一彩色数据P1-00及第一彩色数据P1-11相加以获得第二彩色数据，该第二彩色数据对应的第二图像像素P2-00位于第二图像的第0行第0列；随后，图像融合模块20将子单元U2中的第一彩色数据P1-02及第一彩色数据P1-13相加以获得第二彩色数据，该第二彩色数据对应的第二图像像素P2-01位于第二图像的第0行第1列；随后，图像融合模块20将子单元U3中的第一彩色数据P1-04及第一彩色数据P1-15相加以获得第二彩色数据，该第二彩色数据对应的第二图像像素P2-02位于第二图像的第0行第2列；随后，图像融合模块20将子单元U4中的第一彩色数据P1-06及第一彩色数据P1-17相加以获得第二彩色数据，该第二彩色数据对应的第二图像像素P2-03位于第二图像的第0行第3列。至此，图像融合模块20已经将第一图像中处于第一行的多个子单元的第一彩色数据融合完毕。随后，图像融合模块20再对处于第二行的多个子单元对应的多个第一彩色数据融合以获得对应的第二彩色数据，处于第二行的多个子单元对应的多个第一彩色数据融合以获得对应的第二彩色数据的具体方式与处于第一行的多个子单元对应的多个第一彩色数据融合以获得对应的第二彩色数据的具体方式相同，在此不再赘述。以此类推，直至图像融合模块20将第一图像中处于第四行的多个子单元的第一彩色数据融合完毕。如此，同一个子单元内的所有第一彩色数据融合以获得第二彩色数据，多个第二彩色数据排列形成第二图像。当然，图像融合模块20也可以同时将多个子单元中的彩色数据求和以获得多个第二彩色数据，再将多个第二彩色数据排列生成第二图像，在此不作限制。

由于第二图像中的第二彩色数据是由第一图像中同一个子单元内的所有第一彩色数据相加获得的，即第一图像中同一个子单元内的所有第一彩色数据的和作为第二图像中的第二彩色数据，如此，获得的第二图像具有比第一图像更高的信噪比，从而能够提高利用第二图像做后续处理后获得的彩色图像的信噪比及清晰度。

请参阅图15，在一些实施例中，步骤02：将同一个子单元内的所有第一彩色数据融合以获得第二彩色数据，多个第二彩色数据排列形成第二图像还包括：

022：将同一个子单元内的所有第一彩色数据的均值作为述第二彩色数据，多个第二彩色数据排列形成第二图像。

请结合图2及图15，步骤022可以由图像融合模块20实现。也即是说，图像融合模块20还用于将同一个子单元内的所有第一彩色数据的均值作为述第二彩色数据，多个第二彩色数据排列形成第二图像。

示例地，如图16所示，假设像素阵列11(图2所示)曝光后生成的第一图像包括8*8个像素数据，其中第一彩色数据P1-00、第一彩色数据P1-11、第一全色数据P1-01及第一全色数据P1-10构成子单元U1；第一彩色数据P1-02、第一彩色数据P1-13、第一全色数据P1-03及第一全色数据P1-12构成子单元U2；第一彩色数据P1-04、第一彩色数据P1-15、第一全色数据P1-05及第一全色数据P1-14构成子单元U3；第一彩色数据P1-06、第一彩色数据P1-17、第一全色数据P1-07及第一全色数据P1-16构成子单元U4，子单元U1、子单元U2、子单元U3及子单元U4位于同一行。图像融合模块20将子单元U1中的第一彩色数据P1-00及第一彩色数据P1-11相加后除以子单元U1中第一彩色数据的个数，即图像融合模块20将子单元U1中的第一彩色数据P1-00及第一彩色数据P1-11相加后除以2，以获得第二彩色数据，该第二彩色数据对应的第二图像像素P2-01位于第二图像的第0行第0列；随后，图像融合模块20将子单元U2中的第一彩色数据P1-02及第一彩色数据P1-13相加后除以子单元U2中第一彩色数据的个数，即图像融合模块20将子单元U2中的第一彩色数据P1-02及第一彩色数据P1-13相加后除以2，以获得第二彩色数据，该第二彩色数据对应的第二图像像素P2-01位于第二图像的第0行第1列；随后，图像融合模块20将子单元U3中的第一彩色数据P1-04及第一彩色数据P1-15相加后除以子单元U3中第一彩色数据的个数，即图像融合模块20将子单元U3中的第一彩色数据P1-04及第一彩色数据P1-15相加后除以2，以获得第二彩色数据，该第二彩色数据对应的第二图像像素P2-02位于第二图像的第0行第2列；随后，图像融合模块20将子单元U4中的第一彩色数据P1-06及第一彩色数据P1-17相加后除以子单元U4中第一彩色数据的个数，即图像融合模块20将子单元U4中的第一彩色数据P1-06及第一彩色数据P1-17相加后除以2，以获得第二彩色数据，该第二彩色数据对应的第二图像像素P2-03位于第二图像的第0行第3列。至此，图像融合模块20已经将第一图像中处于第一行的多个子单元的第一彩色数据融合完毕。随后，图像融合模块20再对处于第二行的多个子单元对应的多个第一彩色数据融合以获得对应的第二彩色数据，处于第二行的多个子单元对应的多个第一彩色数据融合以获得对应的第二彩色数据的具体方式与处于第一行的多个子单元对应的多个第一彩色数据融合以获得对应的第二彩色数据的具体方式相同，在此不再赘述。以此类推，直至图像融合模块20将第一图像中处于第四行的多个子单元的第一彩色数据融合完毕。如此，同一个子单元内的所有第一彩色数据融合以获得第二彩色数据，多个第二彩色数据排列形成第二图像。当然，图像融合模块20也可以同时将多个子单元中的彩色数据求均值以获得多个第二彩色数据，再将多个第二彩色数据排列生成第二图像，在此不作限制。

由于第二图像中的第二彩色数据是由第一图像中同一个子单元内的所有第一彩色数据求均值获得的，即第一图像中同一个子单元内的所有第一彩色数据的均值作为第二图像中的第二彩色数据，如此，获得的第二图像具有比第一图像更大的动态范围，从而能够扩展利用第二图像做后续处理后获得的彩色图像的动态范围。

请参阅图1及图17，在一些实施例中，步骤03：将同一个子单元内的所有第一彩色数据及第一全色数据融合以获得第三数据，多个第三数据排列形成第三图像包括：

031：将同一个子单元内的所有第一彩色数据融合，以获得第二彩色数据；

032：将同一个子单元内的所有第一全色数据融合，以获得第二全色数据；

033：将第二彩色数据与第二全色数据融合，以获得第三数据，多个第三锁紧排列形成第三图像。

请结合图2及图17，步骤031、步骤032及步骤033均可以由图像融合模块20实现。也即是说，图像融合模块20还用于将同一个子单元内的所有第一彩色数据融合，以获得第二彩色数据；将同一个子单元内的所有第一全色数据融合，以获得第二全色数据；及将第二彩色数据与第二全色数据融合，以获得第三数据，多个第三锁紧排列形成第三图像。

其中，步骤031中由第一彩色数据获得第二彩色数据的具体实施方法与步骤02中由第一彩色数据获得第二彩色数据的具体实施方法相同，在此不作赘述。

请参阅图18，在一些实施例中，步骤032：将同一个子单元内的所有第一全色数据融合，以获得第二全色数据包括：

0321：将同一个子单元内的所有第一全色数据的和作为第二全色数据；

请结合图2及图18，步骤0321可以由图像融合模块20实现。也即是说，图像融合模块20还用于将同一个子单元内的所有第一全色数据的和作为第二全色数据。

示例地，请参阅图22，假设像素阵列11(图2所示)曝光后生成的第一图像包括8*8个像素数据，其中第一彩色数据P1-00、第一彩色数据P1-11、第一全色数据P1-01及第一全色数据P1-10构成子单元U1；第一彩色数据P1-02、第一彩色数据P1-13、第一全色数据P1-03及第一全色数据P1-12构成子单元U2；第一彩色数据P1-04、第一彩色数据P1-15、第一全色数据P1-05及第一全色数据P1-14构成子单元U3；第一彩色数据P1-06、第一彩色数据P1-17、第一全色数据P1-07及第一全色数据P1-16构成子单元U4，子单元U1、子单元U2、子单元U3及子单元U4位于同一行。图像融合模块20将子单元U1中的第一全色数据P1-01及第一全色数据P1-10相加以获得第二全色数据p’00；随后，图像融合模块20将子单元U2中的第一全色数据P1-03及第一全色数据P1-12相加以获得第二全色数据p’01；随后，图像融合模块20将子单元U3中的第一全色数据P1-05及第一全色数据P1-14相加以获得第二全色数据p’02；随后，图像融合模块20将子单元U4中的第一全色数据P1-07及第一全色数据P1-16相加以获得第二全色数据p’03。至此，图像融合模块20已经将第一图像中处于第一行的多个子单元的第一全色数据融合完毕。随后，图像融合模块20再对处于第二行的多个子单元对应的多个第一全色数据融合以获得对应的第二全色数据，处于第二行的多个子单元对应的多个第一全色数据融合以获得对应的第二全色数据的具体方式与处于第一行的多个子单元对应的多个第一全色数据融合以获得对应的第二全色数据的具体方式相同，在此不再赘述。以此类推，直至图像融合模块20将第一图像中处于第四行的多个子单元的第一全色数据融合完毕。如此，同一个子单元内的所有第一全色数据融合以获得第二全色数据，多个第二彩色数据排列形成第二图像。当然，图像融合模块20也可以同时将多个子单元中的全色数据求和以获得多个第二全色数据，在此不作限制。

请参阅图19，在一些实施例中，步骤032：将同一个子单元内的所有第一全色数据融合，以获得第二全色数据包括：

0322：将同一个子单元内的所有第一全色数据的均值作为第二全色数据。

请结合图2及图19，步骤0322可以由图像融合模块20实现。也即是说，图像融合模块20还用于将同一个子单元内的所有第一全色数据的均值作为第二全色数据。

示例地，如图22所示，假设像素阵列11(图2所示)曝光后生成的第一图像包括8*8个像素数据，其中第一彩色数据P1-00、第一彩色数据P1-11、第一全色数据P1-01及第一全色数据P1-10构成子单元U1；第一彩色数据P1-02、第一彩色数据P1-13、第一全色数据P1-03及第一全色数据P1-12构成子单元U2；第一彩色数据P1-04、第一彩色数据P1-15、第一全色数据P1-05及第一全色数据P1-14构成子单元U3；第一彩色数据P1-06、第一彩色数据P1-17、第一全色数据P1-07及第一全色数据P1-16构成子单元U4，子单元U1、子单元U2、子单元U3及子单元U4位于同一行。图像融合模块20将子单元U1中的第一全色数据P1-01及第一全色数据P1-01相加后除以子单元U1中第一全色数据的个数，即图像融合模块20将子单元U1中的第一全色数据P1-01及第一全色数据P1-10相加后除以2，以获得第二全色数据p’00；随后，图像融合模块20将子单元U2中的第一全色数据P1-03及第一全色数据P1-12相加后除以子单元U2中第一全色数据的个数，即图像融合模块20将子单元U2中的第一全色数据P1-03及第一全色数据P1-12相加后除以2，以获得第二彩色数据p’01；随后，图像融合模块20将子单元U3中的第一全色数据P1-05及第一全色数据P1-14相加后除以子单元U3中第一全色数据的个数，即图像融合模块20将子单元U3中的第一全色数据P1-05及第一全色数据P1-14相加后除以2，以获得第二全色数据p’02；随后，图像融合模块20将子单元U4中的第一全色数据P1-07及第一全色数据P1-16相加后除以子单元U4中第一全色数据的个数，即图像融合模块20将子单元U4中的第一全色数据P1-07及第一全色数据P1-18相加后除以2，以获得第二彩色数据p’03。至此，图像融合模块20已经将第一图像中处于第一行的多个子单元的第一全色数据融合完毕。随后，图像融合模块20再对处于第二行的多个子单元对应的多个第一全色数据融合以获得对应的第二全色数据，处于第二行的多个子单元对应的多个第一全色数据融合以获得对应的第二全色数据的具体方式与处于第一行的多个子单元对应的多个第一全色数据融合以获得对应的第二全色数据的具体方式相同，在此不再赘述。以此类推，直至图像融合模块20将第一图像中处于第四行的多个子单元的第一全色数据融合完毕。如此，同一个子单元内的所有第一全色数据融合以获得第二全色数据。当然，图像融合模块20也可以同时将多个子单元中的全色数据求均值以获得多个第二全色数据，在此不作限制。

需要说明的是，第二全色数据的获取方式需要与第二彩色数据的获取方式相同。例如，若第二彩色数据是由同一子单元内的所有第一彩色数据求和获得的，那么第二全色数据也是由同一子单元内的所有第一全色数据求和获得；若第二彩色数据是由同一子单元内的所有第一彩色数据求均值获得的，那么第二全色数据也是由同一子单元内的所有第一全色数据求均值获得。

请参阅图20，在一些实施例中，步骤033：将第二彩色数据与第二全色数据融合，以获得第三数据包括：

0331：将同一个子单元内的所有第一彩色数据及第一全色数据的和作为第三数据。

请结合图2及图20，步骤0331也可以由图像融合模块20实现。也即是说，图像融合模块20还用于将同一个子单元内的所有第一彩色数据及第一全色数据的和作为第三数据。

示例地，请继续参阅图22，图像融合模块20将第二彩色数据p00及第二全色数据p’00求和以获得第三数据，该第三数据对应第三图像像素P3-00位于第三图像的第0行第0列，其中第二彩色数据p00是由子单元U1中的第一彩色数据P1-00及第一彩色数据P1-11融合而成，第二全色数据p’00是由子单元U1中的第一全色数据P1-01及第一全色像素P1-10融合而成；随后，图像融合模块20将第二彩色数据p01及第二全色数据p’01求和以获得第三数据，该第三数据对应第三图像像素P3-01位于第三图像的第0行第1列，其中第二彩色数据p01是由子单元U2中的第一彩色数据P1-02及第一彩色数据P1-13融合而成，第二全色数据p’01是由子单元U2中的第一全色数据P1-03及第一全色像素P1-12融合而成；随后，图像融合模块20将第二彩色数据p02及第二全色数据p’02求和以获得第三数据，该第三数据对应第三图像像素P3-02位于第三图像的第0行第2列，其中第二彩色数据p02是由子单元U3中的第一彩色数据P1-04及第一彩色数据P1-15融合而成，第二全色数据p’02是由子单元U3中的第一全色数据P1-07及第一全色像素P1-16融合而成。随后，图像融合模块20再对处于第二行的多个子单元对应的多个第二彩色数据及多个第二全色数据融合以获得对应的第三数据，处于第二行的多个子单元对应的多个第二彩色数据及多个第二全色数据融合以获得对应的第三数据的具体方式与处于第一行的多个子单元对应的多个第二彩色数据及多个第二全色数据融合以获得对应的第三数据的具体方式相同，在此不再赘述。以此类推，直至图像融合模块20将第一图像中处于第四行的多个子单元的多个第二彩色数据及多个第二全色数据融合完毕。

请参阅图,21，在一些实施例中，步骤033：将第二彩色数据与第二全色数据融合，以获得第三数据包括：

0332：将同一个子单元内的所有第一彩色数据及第一全色数据的均值作为第三数据。

请结合图2及图21，步骤0321可以由图像融合模块20实现。也即是说，图像融合模块20还用于将同一个子单元内的所有第一彩色数据及第一全色数据的均值作为第三数据。

示例地，如图22所示，图像融合模块20将第二彩色数据p00及第二全色数据p’00求均值以获得第三数据，该第三数据对应第三图像像素P3-00位于第三图像的第0行第0列，其中第二彩色数据p00是由子单元U1中的第一彩色数据P1-00及第一彩色数据P1-11融合而成，第二全色数据p’00是由子单元U1中的第一全色数据P1-01及第一全色像素P1-10融合而成；随后，图像融合模块20将第二彩色数据p01及第二全色数据p’01求均值以获得第三数据，该第三数据对应第三图像像素P3-01位于第三图像的第0行第1列，其中第二彩色数据p01是由子单元U2中的第一彩色数据P1-02及第一彩色数据P1-13融合而成，第二全色数据p’01是由子单元U2中的第一全色数据P1-03及第一全色像素P1-12融合而成；随后，图像融合模块20将第二彩色数据p02及第二全色数据p’02求均值以获得第三数据，该第三数据对应第三图像像素P3-02位于第三图像的第0行第2列，其中第二彩色数据p02是由子单元U3中的第一彩色数据P1-04及第一彩色数据P1-15融合而成，第二全色数据p’02是由子单元U3中的第一全色数据P1-07及第一全色像素P1-16融合而成。随后，图像融合模块20再对处于第二行的多个子单元对应的多个第二彩色数据及多个第二全色数据融合以获得对应的第三数据，处于第二行的多个子单元对应的多个第二彩色数据及多个第二全色数据融合以获得对应的第三数据的具体方式与处于第一行的多个子单元对应的多个第二彩色数据及多个第二全色数据融合以获得对应的第三数据的具体方式相同，在此不再赘述。以此类推，直至图像融合模块20将第一图像中处于第四行的多个子单元的多个第二彩色数据及多个第二全色数据融合完毕。

请一并参阅图2、图23及图24，图像融合模块20在获到到第二图像及第三图像后，图像融合模块20将分别对第二图像及第三图像进行盒子滤波处理，以获得更加平滑及清晰度更高的第四图像及第五图像，从而能够提高利用第四图像及第五图像做后续处理后获得的彩色图像的清晰度。

如图23所示，对第二图像进行盒子滤波处理以获得与多个不同颜色的第二彩色数据对应的多个第四图像包括如下步骤：(1)将第二图像分解成红色第一中间图像、第一绿色第一中间图像、第二绿色第一中间图像及蓝色第一中间图像；(2)分别对红色第一中间图像、第一绿色第一中间图像、第二绿色第一中间图像及蓝色第一中间图像进行盒子滤波处理，以获得对应的第四图像。以下以对红色第一中间图像进行盒子滤波处理以获得红色第四图像为例进行说明，对第一绿色第一中间图像、第二绿色第一中间图像及蓝色第一中间图像进行盒子滤波处理获得对应的第四图像的具体处理方式相同，在此不作赘述。请参阅图,25，对红色第一中间图像进行盒子滤波处理包括：在红色中间图相设置可滑动的滑动窗口C1，并将该滑动窗口C1置于红色第一中间图像的左上角(0,0)，将此时滑动窗口C1内所有红色像素R的像素值相加，以获得新的红色像素R_S的像素值；继续将滑动窗口C1逐渐向右滑动，并且每次滑动至新位置时都将此时滑动窗口C1内所有红色像素R的像素值相加，以获得多个新的红色像素R_S的像素值；若滑动窗口C1移动至图像边缘，此时可以复制图像边界像素，再进行计算；当滑动窗口C1滑动至红色第一中间图像的行末时，再将滑动窗口C1移动至下一行的开头，如此反复直至滑动窗口C1历遍红色第一中间图像内所有红色像素R。获得的多个新红色像素R_S排列形成红色第四图像。

如图25所示，在一些实施例中，滑动窗口C1内所有红色像素R的像素值相加，获得的新红色像素R_S排列在红色第四图像中与滑动窗口C1左上角对应的位置。具体地，假设滑动窗口C1为3*3的矩形框，首先将滑动窗口C1的左上角与红色第一中间图像的第一个红色像素R1对齐，即将滑动窗口C1的左上角置于红色第一中间图像的(0,0)位置，此时滑动窗口C1内包括红色像素R1、红色像素R2、红色像素R5及红色像素R6。将滑动窗口C1内红色像素R1、红色像素R2、红色像素R5及红色像素R6求和以获得新的红色像素R_S1，该红色像素R_S1排列在对应的红色第四图像的第0行第0列，也即是说，新的红色像素R_S1＝红色像素R1+红色像素R2+红色像素R5+红色像素R6；随后，滑动窗口C1向右移动，直至滑动窗口的左上角与下一个红色像素R对齐，即滑动窗口C1移动至其左上角置于红色第一中间图像的(0,2)位置，此时滑动窗口C1内包括红色像素R2、红色像素R3、红色像素R6及红色像素R7。将滑动窗口C1内红色像素R2、红色像素R3、红色像素R6及红色像素R7求和以获得新的红色像素R_S2，该红色像素R_S2排列在对应的红色第四图像的第0行第2列，也即是说，新的红色像素R_S2＝红色像素R2+红色像素R3+红色像素R6+红色像素R7；随后，滑动窗口C1向右移动，直至滑动窗口的左上角与下一个红色像素R对齐，即滑动窗口C1移动至其左上角置于红色第一中间图像的(0,4)位置，此时滑动窗口C1内包括红色像素R3、红色像素R4、红色像素R7及红色像素R8。将滑动窗口C1内红色像素R3、红色像素R4、红色像素R7及红色像素R8求和以获得新的红色像素R_S3，该红色像素R_S3排列在对应的红色第四图像的第0行第4列，也即是说，新的红色像素R_S3＝红色像素R3+红色像素R4+红色像素R7+红色像素R8；随后，滑动窗口C1向右移动，直至滑动窗口的左上角与下一个红色像素R对齐，即滑动窗口C1移动至其左上角置于红色第一中间图像的(0,6)位置，由于此时滑动窗口C1将会移出红色第一中间图像外，如图26所示，此时可以复制红色第一中间图像边界的两列像素，即复制第6列至第8列、复制第7列至第9列，使红色第一中间图像由原来的8列变为10列，如此当滑动窗口C1移动至其左上角置于红色第一中间图像的(0,6)位置时，滑动窗口C1也能够完全置于红色第一中间图像内。此时，滑动窗口C1包括两个红色像素R4及两个红色像素R8，将滑动窗口C1内两个红色像素R4及两个红色像素R8求和以获得新的红色像素R_S4，该红色像素R_S4排列在对应的红色第四图像的第0行第6列。至此滑动窗口C1已经历遍完红色第一中间图像第0行内所有红色像素，随后滑动窗口C1回到红色第一中间图像(0，0)的位置，并向下移动直至滑动窗口C1的左上角与下一个红色像素R对齐，即滑动窗口C1的左上角置于红色第一中间图像的(0,2)位置后重复以上步骤，如此反复直至滑动窗口C1将红色第一中间图像内所有红色像素R历遍完毕，即可获得红色第四图像。

如图27所示，在一些实施例中，滑动窗口C2内所有红色像素R的像素值相加，获得的新红色像素R_S排列在红色第四图像中与滑动窗口C2中间对应的位置。具体地，假设滑动窗口C1为5*5的矩形框，首先将滑动窗口C2的左上角与红色第一中间图像的第一个红色像素R1对齐，即将滑动窗口C2的左上角置于红色第一中间图像的(0,0)位置，此时滑动窗口C2内包括红色像素R1、红色像素R2、红色像素R3、红色像素R5、红色像素R6、红色像素R9、红色像素R10及红色像素R11。将滑动窗口C1内红色像素R1、红色像素R2、红色像素R3、红色像素R5、红色像素R6、红色像素R9、红色像素R10及红色像素R11求和以获得新的红色像素R_S6，该红色像素R_S6排列在对应的红色第四图像的第2行第2列，也即是说，新的红色像素R_S1＝红色像素R1+红色像素R2+红色像素R3+红色像素R5+红色像素R6+红色像素R9+红色像素R10+红色像素R11。后续计算过程与图25及图26所示的计算过程相似，在此不再赘述。

需要说明的是，滑动窗口C1及滑动窗口C2是虚拟的，并不是实际存在的。滑动窗口的大小可以根据实际需求进行选择，例如滑动窗口的大小还可以是4*4、6*4、7*7、8*8、9*9等方形窗口。由于滑动窗口是方形窗口，在进行盒子滤波时滑动窗口内各个方向的权重都差不多，不会出现偏重某个方向的现象，如此能够提高最后获得的彩色图像的质量。当然滑动窗口也可以是非方框，例如滑动窗口的大小还可以是2*3、3*2、4*5、4*6等，在此不作限制。

如图24所示，对第三图像进行盒子滤波处理以获得与多个不同颜色的第三数据对应的多个第五图像包括如下步骤：(1)将第三图像分解成红色第二中间图像、第一绿色第二中间图像、第二绿色第二中间图像及蓝色第二中间图像；(2)分别对红色第二中间图像、第一绿色第二中间图像、第二绿色第二中间图像及蓝色第二中间图像进行盒子滤波处理，以获得对应的第五图像。具体实施方式与图23所示的具体实施方式相同，在此不作赘述。

请参阅图2及图28至图31，图像融合模块20再获得多个第四图像及多个第五图像后，将同一颜色的第四图像与第五图像融合以形成不同颜色的多个第六图像。具体地，将红色第四图像与红色第五融合以形成红色第六图像；将第一绿色第四图像与第一绿色第五图像融合以形成第一绿色第六图像；将第二绿色第四图像与第二绿色第五图像融合以形成第二绿色第六图像；将蓝色第四图像及蓝色第五图像融合以形成蓝色第六图像。

请参阅32，在一些实施例中，步骤05将同一颜色的第四图像与第五图像融合以形成不同颜色的多个第六图像还包括：

051：将第四图像内每一个彩色像素的像素值除以对应颜色的第五图像对应位置的彩色像素的像素值，以获得第四数据，多个相同颜色的第四数据排列形成多个第六图像。

请结合图2及图32，步骤051可以由图像融合模块20来实现。也即是说，图像融合模块20还用于将第四图像内每一个彩色像素的像素值除以对应颜色的第五图像对应位置的彩色像素的像素值，以获得第四数据，多个相同颜色的第四数据排列形成多个第六图像。

具体地，下面以将红色第四图像与红色第五融合以形成红色第六图像为例进行说明，请参阅图28，图像融合模块20首先选取红色第四图像内任意一位置的新红色像素R_s的像素值；再获取红色第五图像与选取的新红色像素R_s对应位置上的新红色像素R’_s的像素值，利用新红色像素R_s的像素值除以新红色像素R’_s的像素值以获得红色第四数据R·s，并将该红色第四数据R·s置于红色第六图像内与选取的新红色像素R_s对应位置，如此便完成对一个红色第四数据R·s的获取，图像融合模块20再选取红色第四图像中下一位置内的新红色像素R_s重复以上步骤，直至红色第四图像内所有新红色像素R_s均被选取后，便能获得由多个红色第四数据R·s排列形成的红色第六图像。示例地，假设图像融合模块20选取红色第四图像的第0行第0列的新红色像素R_s，则将位于红色第四图像的第0行第0列的新红色像素R_s的像素值除以位于红色第五图像的第0行第0列的新红色像素R’_s的像素值，以获得红色第四数据R·s，并将该红色第四数据R·s排列在红色第六图像的对应位置，即该红色第四数据R·s排列在红色第六图像的的第0行第0列。

需要说明的是，以上只是示例其中一种图像融合模块20处理过程，并不能理解为图像融合模块20仅能够采用上述过程对红色第四图像与红色第五图像融合的限定。例如，在一些实施例中，图像融合模块20也可以是先从红色第五图像内选取任意一个新红色像素R’_s，再在红色第四图像内找寻对应位置的新红色像素R_s后进行融合，具体融合方式与图28所示实施例中所述新红色像素R’_s及新红色像素R_s融合方式相同，在此不作赘述。当然，在一些实施例中，图像融合模块20可以同时融合多个新红色像素R’_s及新红色像素R_s，如此能够提高图像处理的速度，在此不作限制。

在图像融合模块20获取到多个第六图像时，图像融合模块20将同一颜色的第六图像与第三图像融合以多个单色图像。具体地，请参阅图24及图33，图像融合模块20将第三图像将第三图像分解成红色第二中间图像、第一绿色第二中间图像、第二绿色第二中间图像及蓝色第二中间图像，分别将红色第二中间图像与红色第六图像融合，以形成红色图像；将第一绿色第二中间图像与第一绿色第六图像融合，以形成第一绿色图像；将第二绿色第二中间图像图像与第二绿色第六图像融合，以形成第二绿色图像；将蓝色第二中间图像与蓝色第六中间图像融合，以形成蓝色图像。

请参阅图34，在一些实施例中，步骤06：将同一颜色的第六图像与第三图像融合以多个单色图像包括：

061：将第六图像内每一个第四数据乘以对应颜色的第三图像对应位置的第三数据，以获得第五数据，多个相同颜色的第五数据排列形成多个单色图像。

请结合图2及图34，步骤061可以由图像融合模块20实现。也即是说，图像融合模块20还用于将第六图像内每一个第四数据乘以对应颜色的第三图像对应位置的第三数据，以获得第五数据，多个相同颜色的第五数据排列形成多个单色图像。

请参阅图35，下面以将红色第二中间图像与红色第六图像融合，以形成红色图像为例进行说明，图像融合模块20首先选取红色第二中间图像内任意一位置的红色第二数据R’；再获取红色第六图像中与选取的红色第二数据R’对应位置上的对应位置上的红色第四数据R·S，利用红色第二数据R’乘以红色第四数据R·s以获得红色第五数据R”，并将该红色第五数据R”置于红色图像内与选取的红色第二数据R’对应位置，如此便完成对一个红色第五数据R”的获取，图像融合模块20再选取红色第二中间图像中下一位置内的红色第二数据R’后重复以上步骤，直至红色第二中间图像内所有红色第二数据R’均被选取后，便能获得由多个红色第五数据R”排列形成的红色图像。示例地，假设图像融合模块20选取红色第二中间图像的第0行第0列的红色第二数据R’，则将位于红色第六图像的第0行第0列的红色第二数据R’乘以位于红色第六图像的第0行第0列的红色第四数据R·s，以获得红色第五数据R”，并将该红色第五数据R”排列在红色图像的对应位置，即该红色第五数据R”排列在红色图像的的第0行第0列。

需要说明的是，以上只是示例其中一种图像融合模块20处理过程，并不能限制图像融合模块20仅采用该过程对红色第二中间图像与红色第六图像的融合。例如，在一些实施例中，图像融合模块20也可以是先从红色第六图像内选取任意一个红色第四数据R·S，再在红色第二中间图像内找寻对应位置的红色第二数据R’s后进行融合。当然，在一些实施例中，图像融合模块20可以同时融合多个红色第二数据R’s及红色第四数据R·S，如此能够提高图像处理的速度，在此不作限制。

请参阅图2及图36，图像融合模块20在获得多个单色图像后，将多个单色图像融合以获得彩色图像。具体地，图像融合模块20将红色图像、第一绿色图像、第二绿色图像及蓝色图像拼接融合，以形成拜耳阵列排布的彩色图像。

由于在像素阵列11(图2)中增加全色感光像素W，并结合盒子滤波处理将单颜色感光像素与全色感光像素W的融合，能够提高最后获取的彩色图像的清晰度和信噪比，从而可以提升夜晚下的拍照效果，同时极大提高了图像处理的速率。

请参阅图37，本申请还提供一种电子设备1000。本申请实施方式的电子设备1000包括镜头300、壳体200及上述任意一项实施方式的图像处理系统100。镜头300、图像处理系统100与壳体200结合。镜头300与图像处理系统100的图像传感器10配合成像。

电子设备1000可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能眼镜、智能头盔)、无人机、头显设备等，在此不作限制。

本申请实施方式的电子设备1000通过在图像处理系统100内的像素阵列11(图2所示)中增加全色感光像素W，并结合盒子滤波处理将单颜色感光像素与全色感光像素W的融合，能够提高最后获取的彩色图像的清晰度和信噪比，从而可以提升夜晚下的拍照效果，同时极大提高了图像处理的速率。

请参阅38，本申请还提供一种包含计算机程序的非易失性计算机可读存储介质400。该计算机程序被处理器60执行时，使得处理器60执行上述任意一个实施方式的高动态范围图像处理方法。

例如，请参阅1及图38，计算机程序被处理器60执行时，使得处理器60执行以下步骤：

01：获取像素阵列曝光得到的第一图像，第一图像包括单颜色感光像素生成的第一彩色数据和全色感光像素生成的第一全色数据；

02：将同一个子单元内的所有第一彩色数据融合以获得第二彩色数据，多个第二彩色数据排列形成第二图像，第二图像的像素呈拜耳阵列排布；

03：将同一个子单元内的所有第一彩色数据及第一全色数据融合以获得第三数据，多个第三数据排列形成第三图像，第三图像像素呈拜耳阵列排布；

04：对第二图像进行盒子滤波处理以获得与多个不同颜色的第二彩色数据对应的多个第四图像，对第三图像进行盒子滤波处理以获得与多个不同颜色的第三数据对应的多个第五图像；

05：将同一颜色的第四图像与第五图像融合以形成不同颜色的多个第六图像；

06：将同一颜色的第六图像与第三图像融合以多个单色图像；及

07：融合多个单色图像以获得高信噪比的彩色图像。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (14)

1.一种图像处理方法，其特征在于，用于图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个单颜色感光像素，所述单颜色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素；所述图像处理方法包括：

获取所述像素阵列曝光得到的第一图像，所述第一图像包括所述单颜色感光像素生成的第一彩色数据和所述全色感光像素生成的第一全色数据；

将同一个所述子单元内的所有所述第一彩色数据融合以获得第二彩色数据，多个所述第二彩色数据排列形成第二图像，所述第二图像的像素呈拜耳阵列排布；

将同一个所述子单元内的所有所述第一彩色数据及所述第一全色数据融合以获得第三数据，多个第三数据排列形成第三图像，所述第三图像像素呈拜耳阵列排布；

对所述第二图像进行盒子滤波处理以获得与多个不同颜色的所述第二彩色数据对应的多个第四图像，对所述第三图像进行盒子滤波处理以获得与多个不同颜色的所述第三数据对应的多个第五图像；

将同一颜色的所述第四图像与所述第五图像融合以形成不同颜色的多个第六图像；

将同一颜色的所述第六图像与所述第三图像融合以形成多个单色图像；及

融合多个所述单色图像以获得高信噪比的彩色图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述同一个所述子单元内的所有所述第一彩色数据及所述第一全色数据融合，以获得第三数据包括：

将同一个所述子单元内的所有所述第一彩色数据融合，以获得第二彩色数据；

将同一个所述子单元内的所有所述第一全色数据融合，以获得第二全色数据；

将所述第二彩色数据与所述第二全色数据融合，以获得所述第三数据。

3.根据权利要求1或2所述的图像处理方法，其特征在于，所述将同一个子单元内的所有所述第一彩色数据融合，以获得第二彩色数据包括：

将同一个所述子单元内的所有所述第一彩色数据的和作为所述第二彩色数据；或

将同一个所述子单元内的所有所述第一彩色数据的均值作为所述第二彩色数据。

4.根据权利要求2所述的图像处理方法，其特征在于，将同一子单元内所有所述第一全色数据融合，以获得第二全色数据包括：

将同一个所述子单元内的所有所述第一全色数据的和作为第二全色数据；或

将同一个所述子单元内的所有所述第一全色数据的均值作为第二全色数据；

所述将所述第二彩色数据与所述第二全色数据融合，以获得所述第三数据包括：

将同一个所述子单元内的所有所述第一彩色数据及所述第一全色数据的和作为第三数据；或

将同一个所述子单元内的所有所述第一彩色数据及所述第一全色数据的均值作为第三数据。

5.根据权利要求1所述的图像处理方法，其特征在于，所述将用一颜色的所述第四图像与所述第五图像融合以形成不同颜色的多个第六图像包括：

将所述第四图像内每一个彩色像素的像素值除以对应颜色的所述第五图像对应位置的所述彩色像素的像素值，以获得第四数据，多个相同颜色的所述第四数据排列形成多个所述第六图像。

6.根据权利要求5所述的图像处理方法，其特征在于，所述将同一颜色的所述第六图像与所述第三图像融合以多个单色图像包括：

将所述第六图像内每一个所述第四数据乘以对应颜色的所述第三图像对应位置的所述第三数据，以获得第五数据，多个相同颜色的所述第五数据排列形成多个所述单色图像。

7.一种图像处理系统，其特征在于，所述图像处理系统包括图像传感器进和图像融合模块；所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个单颜色感光像素，所述单颜色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素；

所述图像融合模块用于：

获取所述像素阵列曝光得到的第一图像，所述第一图像包括所述单颜色感光像素生成的第一彩色数据和所述全色感光像素生成的第一全色数据；

对同一个所述子单元内的所有所述第一彩色数据融合以获得第二彩色数据，多个所述第二彩色数据排列形成第二图像，所述第二图像的像素呈拜耳阵列排布；

对同一个所述子单元内的所有所述第一彩色数据及所述第一全色数据融合以获得第三数据，多个第三数据排列形成第三图像，所述第三图像像素呈拜耳阵列排布；

对所述第二图像进行盒子滤波处理以获得与多个不同颜色的所述第二彩色数据对应的多个第四图像，对所述第三图像进行盒子滤波处理以获得与多个不同颜色的所述第三数据对应的多个第五图像；

对同一颜色的所述第四图像与所述第五图像融合以形成不同颜色的多个第六图像；

对同一颜色的所述第六图像与所述第三图像融合以形成多个单色图像；及

对多个所述单色图像进行融合以获得高信噪比的彩色图像。

8.根据权利要求7所述的图像处理系统，其特征在于，所述图像融合模块还用于：

将同一个所述子单元内的所有所述第一彩色数据融合，以获得第二彩色数据；

将同一个所述子单元内的所有所述第一全色数据融合，以获得第二全色数据；

将所述第二彩色数据与所述第二全色数据融合，以获得所述第三数据。

9.根据权利要求7或8所述的图像处理系统，其特征在于，所述图像融合模块还用于：

将同一个所述子单元内的所有所述第一彩色数据的和作为所述第二彩色数据；或

将同一个所述子单元内的所有所述第一彩色数据的均值作为所述第二彩色数据。

10.根据权利要求8所述的图像处理系统，其特征在于，所述图像融合模块还用于：

将同一个所述子单元内的所有所述第一全色数据的和作为第二全色数据；或

将同一个所述子单元内的所有所述第一全色数据的均值作为第二全色数据；

所述将所述第二彩色数据与所述第二全色数据融合，以获得所述第三数据包括：

将同一个所述子单元内的所有所述第一彩色数据及所述第一全色数据的和作为第三数据；或

将同一个所述子单元内的所有所述第一彩色数据及所述第一全色数据的均值作为第三数据。

11.根据权利要求7所述的图像处理系统，其特征在于，所述图像融合模块还用于：

将所述第四图像内每一个彩色像素的像素值除以对应颜色的所述第五图像对应位置的所述彩色像素的像素值，以获得第四数据，多个相同颜色的所述第四数据排列形成多个所述第六图像。

12.根据权利要求11所述的图像处理系统，其特征在于，所述图像融合模块还用于：

将所述第六图像内每一个所述第四数据乘以对应颜色的所述第三图像对应位置的所述第三数据，以获得第五数据，多个相同颜色的所述第五数据排列形成多个所述单色图像。

13.一种电子设备，其特征在于，所述电子设备包括：

镜头；

壳体；及

权利要求7至12任意一项所述的图像处理系统，所述镜头、所述图像处理系统与所述壳体结合，所述镜头与所述图像处理系统的图像传感器配合成像。

14.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至6任意一项所述的图像处理方法。

Images