CN111491111A - 高动态范围图像处理系统及方法、电子设备和可读存储介质 - Google Patents

Abstract

本申请公开了一种高动态范围图像处理系统、高动态范围图像处理方法、电子设备和非易失性计算机可读存储介质。高动态范围图像处理系统包括图像传感器、图像融合模块、高动态范围图像处理模块及图像处理器。图像传感器中的像素阵列以第一曝光时间曝光得到第一原始图像，以第二曝光时间曝光得到第二原始图像。图像融合模块用于分别对第一原始图像第二原始图像进行融合算法处理，以获得第一彩色中间图像及第二彩色中间图像。图像处理器对第一彩色中间图像及第二彩色中间图像进行色彩转换处理，以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像。高动态范围图像处理模块对这两帧图像进行高动态范围处理以获得彩色高动态范围图像。

Description

高动态范围图像处理系统及方法、电子设备和可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种高动态范围图像处理系统、高动态范围图像处理方法、电子设备及计算机可读存储介质。

背景技术

手机等电子设备中可以设置有摄像头以实现拍照功能。摄像头内可以设置用于接收光线的图像传感器。图像传感器中可以设置有滤光片阵列。其中，滤光片阵列可以呈拜耳阵列的形式排布，也可以呈非拜耳阵列的形式排布。但当滤光片阵列呈非拜耳阵列排布时，图像传感器输出的图像信号不能直接被处理器处理。

发明内容

本申请实施方式提供了一种高动态范围图像处理系统、高动态范围图像处理方法、电子设备及计算机可读存储介质。

本申请实施方式提供一种高动态范围图像处理系统。高动态范围图像处理系统包括图像传感器、图像融合模块、高动态范围图像处理模块及图像处理器。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素。所述像素阵列以第一曝光时间曝光得到第一原始图像，所述第一原始图像包括以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以所述第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据。所述像素阵列以第二曝光时间曝光得到第二原始图像，所述第二原始图像包括以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以所述第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据。其中，所述第一曝光时间不等于所述第二曝光时间。所述图像融合模块用于将所述第一彩色原始图像数据与所述第一全色原始图像数据融合为仅包含第一彩色中间图像数据的第一彩色中间图像，将所述第二彩色原始图像数据与所述第二全色原始图像数据融合为仅包含第二彩色中间图像数据的第二彩色中间图像，，所述第一彩色中间图像和所述第二彩色中间图像均包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布。所述图像处理器用于对所述第一彩色中间图像及所述第二彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像。所述高动态范围图像处理模块用于对所述色彩转换后的第一彩色中间图像及所述色彩转换后的第二彩色中间图像进行高动态范围处理以获得彩色高动态范围图像。

本申请实施方式提供一种高动态范围图像处理方法。所述高动态范围图像处理方法用于高动态范围图像处理系统。所述高动态范围图像处理系统包括图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；所述高动态范围图像处理方法包括：所述像素阵列曝光，其中，所述像素阵列以第一曝光时间曝光得到第一原始图像，所述第一原始图像包括以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以所述第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据。所述像素阵列以第二曝光时间曝光得到第二原始图像，所述第二原始图像包括以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以所述第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据。其中，所述第一曝光时间不等于所述第二曝光时间。将所述第一彩色原始图像数据与所述第一全色原始图像数据融合为仅包含第一彩色中间图像数据的第一彩色中间图像；将所述第二彩色原始图像数据与所述第二全色原始图像数据融合为仅包含第二彩色中间图像数据的第二彩色中间图像，所述第一彩色中间图像和所述第二彩色中间图像均包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布；对所述第一彩色中间图像及所述第二彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像；对所述色彩转换后的第一彩色中间图像及所述色彩转换后的第二彩色中间图像进行高动态范围处理以获得彩色高动态范围图像。

本申请实施方式提供一种电子设备。所述电子设备包括镜头、壳体及上述的高动态范围图像处理系统。所述镜头、所述高动态范围图像处理系统与所述壳体结合，所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。

本申请实施方式提供一种包含计算机程序的非易失性计算机可读存储介质。所述计算机程序被处理器执行时，使得所述处理器执行上述的高动态范围图像处理方法。

本申请实施方式的高动态范围图像处理系统、高动态范围图像处理方法、电子设备及非易失性计算机可读存储介质通过图像融合模块对图像传感器输出的多帧原始图像事先进行融合算法处理，以得到图像像素呈拜耳阵列排布的多帧彩色中间图像。如此，多帧彩色中间图像可以被图像处理器处理，解决了图像处理器不能直接对图像像素呈非拜耳阵列排布的图像进行处理的问题。

本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请实施方式的一种高动态范围图像处理系统的示意图；

图2是本申请实施方式的一种像素阵列的示意图；

图3是本申请实施方式的一种感光像素的截面示意图；

图4是本申请实施方式的一种感光像素的像素电路图；

图5是本申请实施方式的一种像素阵列中最小重复单元的排布示意图；

图6是本申请实施方式的又像素阵列中最小重复单元的排布示意图；

图7是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；

图8是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；

图9是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；

图10是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；

图11是本申请实施方式的一种图像传感器输出的原始图像的示意图；

图12是本申请实施方式的一种图像传感器输出原始图像数据的方式的示意图；

图13是本申请实施方式的又一种图像传感器输出原始图像数据的方式的示意图；

图14是本申请实施方式的一种彩色中间图像的示意图；

图15是本申请实施方式的又一种彩色中间图像的示意图；

图16是本申请实施方式的又一种高动态范围图像处理系统的示意图；

图17是本申请实施方式的一种黑电平校正的示意图；

图18是本申请实施方式的一种镜头阴影校正的示意图；

图19是本申请实施方式的一种坏点补偿处理的示意图；

图20至图23是本申请实施方式的一种去马赛克的示意图；

图24是本申请实施方式的一种色调映射处理的Vout和Vin之间的映射关系示意图；

图25是本申请实施方式的一种亮度对齐处理的示意图；

图26是本申请实施方式的又一种图像传感器输出的原始图像的示意图；

图27本申请实施方式的一种电子设备的结构示意图；

图28是本申请实施方式的一种高动态范围图像处理方法的流程示意图；

图29是本申请实施方式的一种非易失性计算机可读存储介质与处理器的交互示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1及图2，本申请实施方式提供一种高动态范围图像处理系统100。高动态范围图像处理系统100包括图像传感器10、图像融合模块20及高动态范围图像处理模块30。图像传感器10包括像素阵列11，像素阵列11包括多个全色感光像素和多个彩色感光像素，彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元，每个最小重复单元包含多个子单元，每个子单元包括多个单颜色感光像素及多个全色感光像素。像素阵列11以第一曝光时间曝光得到第一原始图像，第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据。像素阵列11以第二曝光时间曝光得到第二原始图像，第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据。其中，第一曝光时间不等于第二曝光时间。图像融合模块10用于将第一彩色原始图像数据与第一全色原始图像数据融合为仅包含第一彩色中间图像数据的第一彩色中间图像；将第二彩色原始图像数据与第二全色原始图像数据融合为仅包含第二彩色中间图像数据的第二彩色中间图像，第一彩色中间图像和第二彩色中间图像均包含多个彩色图像像素，多个彩色图像像素呈拜耳阵列排布。图像处理器40用于对第一彩色中间图像及第二彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像。高动态范围图像处理模块30用于对色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像进行高动态范围处理以获得彩色高动态范围图像。

本申请实施方式的高动态范围图像处理系统100通过图像融合模块20对图像传感器10输出的多帧原始图像事先进行融合算法处理，以得到图像像素呈拜耳阵列排布的多帧彩色中间图像。如此，多帧彩色中间图像可以被图像处理器40处理，解决了图像处理器不能直接对图像像素呈非拜耳阵列排布的图像进行处理的问题。

图2是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。

例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。

例如，像素阵列11包括以阵列形式二维排列(即二维矩阵形式排布)的多个感光像素110(图3所示)，每个感光像素110包括光电转换元件1111(图4所示)。每个感光像素110根据入射在其上的光的强度将光转换为电荷。

例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位感光像素110，从这些单位感光像素110逐行地读取信号。例如，被选择并被扫描的感光像素行中的每一感光像素110输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件的光电荷被丢弃，从而可以开始新的光电荷的积累。

例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选感光像素行中的每一感光像素110输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的感光像素110的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。

例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一感光像素列被列处理单元14顺序地处理，并且被顺序输出。

例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。

图3是本申请实施方式中一种感光像素110的示意图。感光像素110包括像素电路111、滤光片112、及微透镜113。沿感光像素110的收光方向，微透镜113、滤光片112、及像素电路111依次设置。微透镜113用于汇聚光线，滤光片112用于供某一波段的光线通过并过滤掉其余波段的光线。像素电路111用于将接收到的光线转换为电信号，并将生成的电信号提供给图2所示的列处理单元14。

图4是本申请实施方式中一种感光像素110的像素电路111的示意图。图4中像素电路111可应用在图2所示的像素阵列11内的每个感光像素110(图3所示)中。下面结合图2至图4对像素电路111的工作原理进行说明。

如图4所示，像素电路111包括光电转换元件1111(例如，光电二极管)、曝光控制电路(例如，转移晶体管1112)、复位电路(例如，复位晶体管1113)、放大电路(例如，放大晶体管1114)和选择电路(例如，选择晶体管1115)。在本申请的实施例中，转移晶体管1112、复位晶体管1113、放大晶体管1114和选择晶体管1115例如是MOS管，但不限于此。

例如，光电转换元件1111包括光电二极管，光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路(例如，转移晶体管1112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管1114的栅极、复位晶体管1113的源极连接。

例如，曝光控制电路为转移晶体管1112，曝光控制电路的控制端TG为转移晶体管1112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管1112的栅极时，转移晶体管1112导通。转移晶体管1112将光电二极管光电转换的电荷传输到浮动扩散单元FD。

例如，复位晶体管1113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。

例如，放大晶体管1114的栅极连接到浮动扩散单元FD。放大晶体管1114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管1113复位之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管1112转移之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出信号电平。

例如，选择晶体管1115的漏极连接到放大晶体管1114的源极。选择晶体管1115的源极通过输出端OUT连接到图2中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管1115的栅极时，选择晶体管1115导通。放大晶体管1114输出的信号通过选择晶体管1115传输到列处理单元14。

需要说明的是，本申请实施例中像素电路111的像素结构并不限于图4所示的结构。例如，像素电路111也可以具有三晶体管像素结构，其中放大晶体管1114和选择晶体管1115的功能由一个晶体管完成。例如，曝光控制电路也不局限于单个转移晶体管1112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，本申请实施方式中的单个转移晶体管1112的实施方式简单、成本低、易于控制。

图5至图10是本申请某些实施方式的像素阵列11(图2所示)中的感光像素110(图3所示)的排布示意图。感光像素110包括两类，一类为全色感光像素W，另一类为彩色感光像素。图5至图10仅示出了一个最小重复单元中的多个感光像素110的排布。对图5至图10所示的最小重复单元在行和列上多次复制，即可形成像素阵列11。每个最小重复单元均由多个全色感光像素W和多个彩色感光像素组成。每个最小重复单元包括多个子单元。每个子单元内包括多个单颜色感光像素和多个全色感光像素W。其中，图5至图8所示的最小重复单元中，每个子单元中的全色感光像素W和彩色感光像素交替设置。图9和图10所示的最小重复单元中，每个子单元中，同一行的多个感光像素110为同一类别的感光像素110；或者，同一列的多个感光像素110为同一类别的感光像素110。

具体地，例如，图5为本申请一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W A W B

A W B W

W B W C

B W C W

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图5所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图5所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1(例如图5中左上角和右下角连接的方向)，两个第二类子单元UB设置在第二对角线方向D2(例如图5中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

需要说明的是，在其他实施方式中，第一对角线方向D1也可以是右上角和左下角连接的方向，第二对角线方向D2也可以是左上角和右下角连接的方向。另外，这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。下文图6至图10中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。

再例如，图6为本申请另一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为6行6列36个感光像素110，子单元为3行3列9个感光像素110。排布方式为：

W A W B W B

A W A W B W

W A W B W B

B W B W C W

W B W C W C

B W B W C W

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图6所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图6所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

再例如，图7为本申请又一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为8行8列64个感光像素110，子单元为4行4列16个感光像素110。排布方式为：

W A W A W B W B

A W A W B W B W

W A W A W B W B

A W A W B W B W

W B W B W C W C

B W B W C W C W

W B W B W C W C

B W B W C W C W

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图7所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图7所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

具体地，例如，图8为本申请再一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W A W B

A W B W

B W C W

W B W C

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

图8所示的最小重复单元中感光像素110的排布与图5所示的最小重复单元中感光像素110的排布大致相同，其不同之处在于，图8中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序与图5中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序不一致，并且，图8中的第三类子单元UC中的全色感光像素W与单颜色感光像素的交替顺序与图5中位于右下角的第三类子单元UC中的全色感光像素W与单颜色感光像素的交替顺序也不一致。具体地，图5中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第二颜色感光像素B)，第二行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W；而图8中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第二颜色感光像素B)。图5中位于右下角的第三类子单元UC中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)，第二行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W；而图8中位于右下角的第三类子单元UC中，第一行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)。

如图8所示，图8中的第一类子单元UA中的全色感光像素W与单颜色感光像素的交替顺序与第三类子单元UC中的全色感光像W素与单颜色感光像素的交替顺序不一致。具体地，图8所示的第一类子单元CA中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第一颜色感光像素A)，第二行的感光像素110的交替顺序为单颜色感光像素(即第一颜色感光像素A)、全色感光像素W；而图8所示的第三类子单元CC中，第一行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)。也即是说，同一最小重复单元中，不同子单元内的全色感光像素W与彩色感光像素的交替顺序可以是一致的(如图5所示)，也可以是不一致的(如图8所示)。

再例如，图9为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W W W W

A A B B

W W W W

B B C C

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图9所示，对于每个子单元，同一行的多个感光像素110为同一类别的感光像素110。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。

例如，如图9所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

再例如，图10为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W W W W

A A B B

W W W W

B B C C

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图10所示，对于每个子单元，同一列的多个感光像素110为同一类别的感光像素110。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。

例如，如图10所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，在其他实施方式中，同一最小重复单元中，也可以是部分子单元内的同一行的多个感光像素110为同一类别的感光像素110，其余部分子单元内的同一列的多个感光像素110为同一类别的感光像素110。

例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为绿色感光像素G；第三颜色感光像素C可以为蓝色感光像素Bu。

例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为黄色感光像素Y；第三颜色感光像素C可以为蓝色感光像素Bu。

例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为品红色感光像素M；第二颜色感光像素B可以为青色感光像素Cy；第三颜色感光像素C可以为黄色感光像素Y。

需要说明的是，在一些实施例中，全色感光像素W的响应波段可为可见光波段(例如，400nm-760nm)。例如，全色感光像素W上设置有红外滤光片，以实现红外光的滤除。在另一些实施例中，全色感光像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10(图1所示)中的光电转换元件1111(图4所示)的响应波段相匹配。例如，全色感光像素W可以不设置滤光片或者设置可供所有波段的光线通过的滤光片，全色感光像素W的响应波段由光电转换元件1111的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。

为了方便说明，以下实施例均以第一单颜色感光像素A为红色感光像素R，第二单颜色感光B为绿色感光像素G，第三单颜色感光像素为蓝色感光像素Bu进行说明。

请参阅图1、图2、图3、图4及图11，在某些实施方式中，控制单元13控制像素阵列11曝光。其中，像素阵列11以第一曝光时间曝光得到第一原始图像。第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素W生成的第一全色原始图像数据。像素阵列11以第二曝光时间曝光得到第二原始图像。第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素W生成的第二全色原始图像数据；其中，第一曝光时间不等于第二曝光时间。

具体地，像素阵列11进行两次曝光。例如，如图11所示，在第一次曝光中，像素阵列11以第一曝光时间L(例如表示长曝光时间)曝光得到第一原始图像。第一原始图像包括以第一曝光时间L曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间L曝光的全色感光像素W生成的第一全色原始图像数据。在第二次曝光中，像素阵列11以第二曝光时间S(例如表示短曝光时间)曝光得到第二原始图像。第二原始图像包括以第二曝光时间S曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间S曝光的全色感光像素W生成的第二全色原始图像数据。需要说明的是，像素阵列11也可以先进行短曝光，再进行长曝光，在此不作限制。

像素阵列11曝光完毕后，图像传感器10可以输出像素阵列11生成的多个原始图像数据，多个原始图像数据形成原始图像。

在一个例子中，每帧原始图像(第一原始图像、第二原始图像及下文的第三原始图像)中的每个彩色原始图像数据均由单个单颜色感光像素生成，每个全色原始图像数据均由单个全色感光像素W生成，图像传感器10输出多个原始图像数据的输出方式可以为一个彩色原始图像数据与一个全色原始图像数据交替输出。

具体地，像素阵列11曝光后，每一个单颜色感光像素生成一个与该单颜色感光像素对应的彩色原始图像数据，每一个全色感光像素W生成一个与该全色感光像素W对应的全色原始图像数据。并且，对于处于同一行的多个感光像素110而言，该多个感光像素110生成的原始图像数据的输出方式为：一个彩色原始图像数据与一个全色原始图像数据交替输出。在同一行的多个原始图像数据输出完毕后，再输出下一行的多个原始图像数据，每一行的多个原始图像数据的输出方式均为一个彩色原始图像数据与一个全色原始图像数据输出。如此，图像传感器10依次输出多个原始图像数据，多个原始图像数据形成一张原始图像。需要说明的是，一个彩色原始图像数据和一个全色原始图像数据交替输出可以包括以下两种：(1)先输出一个彩色原始图像数据，再输出一个全色原始图像数据；(2)先输出一个全色原始图像数据，再输出一个彩色原始图像数据。具体的交替顺序与像素阵列11中的全色感光像素W与彩色感光像素的排布相关。当处于像素阵列11的0行0列的感光像素110为彩色感光像素时，则交替顺序为(1)；当处于像素阵列11的0行0列的感光像素110为全色感光像素W时，则交替顺序为(2)。

下面以图12为例对原始图像数据的输出方式做说明。请结合图1、图2、图3及图12，假设像素阵列11包括8*8个感光像素110，且像素阵列11的第0行第0列的感光像素110为全色感光像素W，则当像素阵列11曝光完成后，图像传感器10先输出第0行第0列的全色感光像素p00生成的全色原始图像数据，该全色原始图像数据对应的图像像素P00位于原始图像的第0行第0列；随后，图像传感器10再输出第0行第1列的彩色感光像素p01生成的彩色原始图像数据，该彩色原始图像数据对应的图像像素P01位于原始图像的第0行第1列；…；图像传感器10输出第0行第7列的彩色感光像素p07生成的彩色原始图像数据，该彩色原始图像数据对应的图像像素P07位于原始图像的第0行第7列。至此，像素阵列11第1行内8个感光像素110生成的原始图像数据均被输出。随后，图像传感器10再依次输出像素阵列11第2行内8个感光像素110生成的原始图像数据；随后，图像传感器10再依次输出像素阵列11第3行内8个感光像素110生成的原始图像数据；以此类推，直至图像传感器10输出第7行第7列的全色感光像素p77生成的全色原始图像数据为止。如此，多个感光像素110生成的原始图像数据形成一帧原始图像，其中，每个感光像素110生成的原始图像数据对应的图像像素在原始图像中的位置与该感光像素110在像素阵列11中的位置相对应。

在另一个例子中，每帧原始图像(第一原始图像、第二原始图像及下文的第三原始图像)中的每个彩色原始图像数据由同一子单元中的多个单颜色感光像素共同生成，每个全色原始图像数据由同一子单元中的多个全色感光像素W共同生成，图像传感器10输出多个原始图像数据的输出方式包括多个彩色原始图像数据与多个全色原始图像数据交替输出。

具体地，像素阵列11曝光后，同一个子单元中的多个单颜色感光像素共同生成一个与该子单元对应的彩色原始图像数据，同一个子单元中的多个全色感光像素W共同生成一个与该子单元对应的全色原始图像数据，也即，一个子单元对应有一个彩色原始图像数据及一个全色原始图像数据。并且，对于处于同一行的多个子单元而言，该多个子单元对应的原始图像数据的输出方式为：同一行的多个子单元对应的多个彩色原始图像数据与多个全色原始图像数据交替输出，其中，多个彩色原始图像数据的输出方式为多个彩色原始图像依次接连输出；多个全色原始图像数据的输出方式为多个全色原始图像数据依次接连输出。在同一行的多个原始图像数据输出完毕后，再输出下一行的多个原始图像数据，每一行的多个原始图像数据的输出方式均为多个彩色原始图像数据与多个全色原始图像数据交替输出。如此，图像传感器10依次输出多个原始图像数据，多个原始图像数据形成一张原始图像。需要说明的是，多个彩色原始图像数据和多个全色原始图像数据交替输出可以包括以下两种：(1)先依次接连输出多个彩色原始图像数据，再依次接连输出多个全色原始图像数据；(2)先依次接连输出多个全色原始图像数据，再依次接连输出多个彩色原始图像数据。具体的交替顺序与像素阵列11中的全色感光像素W与彩色感光像素的排布相关。当处于像素阵列11的0行0列的感光像素110为彩色感光像素时，则交替顺序为(1)；当处于像素阵列11的0行0列的感光像素110为全色感光像素W时，则交替顺序为(2)。

下面以图13为例对原始图像数据的输出方式做说明。请结合图1、图2、图3及图13，假设像素阵列11包括8*8个感光像素110。像素阵列11中的全色感光像素p00、全色感光像素p11、彩色感光像素p01及彩色感光像素p10构成子单元U1；全色感光像素p02、全色感光像素p13、彩色感光像素p03及彩色感光像素p12构成子单元U2；全色感光像素p04、全色感光像素p15、彩色感光像素p05及彩色感光像素p14构成子单元U3；全色感光像素p06、全色感光像素p17、彩色感光像素p07及彩色感光像素p16构成子单元U4，其中，子单元U1、子单元U2、子单元U3及子单元U4位于同一行。由于像素阵列11的第0行0列的感光像素110为全色感光像素W，则当像素阵列11曝光完成后，图像传感器10先输出子单元U1中全色感光像素p00和全色感光像素p11共同生成的全色原始图像数据，该全色原始图像数据对应的图像像素P00位于原始图像的第0行第0列；随后，图像传感器10再输出子单元U2中全色感光像素p02和全色感光像素p13共同生成的全色原始图像数据，该全色原始图像数据对应的图像像素P01位于原始图像的第0行第1列；随后，图像传感器10再输出子单元U3中全色感光像素p04和全色感光像素p15共同生成的全色原始图像数据，该全色原始图像数据对应的图像像素P02位于原始图像的第0行第2列；随后，图像传感器10再输出子单元U4中全色感光像素p06和全色感光像素p17共同生成的全色原始图像数据，该全色原始图像数据对应的图像像素P03位于原始图像的第0行第3列。至此，处于第一行的多个子单元对应的多个全色原始图像数据均已输出。随后，图像传感器10先输出子单元U1中彩色感光像素p01和全色感光像素p10共同生成的彩色原始图像数据，该彩色原始图像数据对应的图像像素P10位于原始图像的第1行第0列；随后，图像传感器10再输出子单元U2中彩色感光像素p03和彩色感光像素p12共同生成的彩色原始图像数据，该彩色原始图像数据对应的图像像素P11位于原始图像的第1行第1列；随后，图像传感器10再输出子单元U3中彩色感光像素p05和彩色感光像素p14共同生成的彩色原始图像数据，该彩色原始图像数据对应的图像像素P12位于原始图像的第1行第2列；随后，图像传感器10再输出子单元U4中彩色感光像素p07和彩色感光像素p16共同生成的彩色原始图像数据，该彩色原始图像数据对应的图像像素P13位于原始图像的第1行第3列。至此，处于第一行的多个子单元对应的多个彩色原始图像数据也均已输出。随后，图像传感器10再对处于第二行的多个子单元对应的多个全色原始图像数据及多个彩色原始图像数据进行输出，处于第二行的多个子单元对应的多个全色原始图像数据及多个彩色原始图像数据的输出方式与处于第一行的多个子单元对应的多个全色原始图像数据及多个彩色原始图像数据的输出方式相同，在此不再赘述。以此类推，直至图像传感器10输出完处于第四行的多个子单元对应的多个全色原始图像数据及多个彩色原始图像数据为止。如此，多个感光像素110生成的原始图像数据形成一帧原始图像。

请参阅图1、图2及图11，图像传感器10输出第一原始图像及第二原始图像后，将第一原始图像及第二原始图像传输至图像融合模块20进行图像融合处理以获得第一彩色中间图像及第二彩色中间图像。具体地，图像融合模块20对第一原始图像中的第一彩色原始图像数据及第一全色原始图像数据进行融合，以获得仅包含第一彩色中间图像数据的第一彩色中间图像，并对第二原始图像中的第二彩色原始图像数据及第二全色原始图像数据进行融合，以获得仅包含第二彩色中间图像数据的第二彩色中间图像，第一彩色中间图像和第二彩色中间图像均包含多个彩色图像像素，多个彩色图像像素呈拜耳阵列排布。

具体地，当图像传感器10输出多个原始图像数据的输出方式为一个彩色原始图像数据与一个全色原始图像数据交替输出时，如图14所示，图像融合模块20融合彩色原始图像数据及全色原始图像数据后得到的彩色中间图像包括多个彩色图像像素，多个彩色图像像素呈拜耳阵列排布。并且，该彩色中间图像的分辨率与像素阵列11的分辨率相同。

当图像传感器10输出多个原始图像数据的输出方式包括多个彩色原始图像数据与多个全色原始图像数据交替输出时，如图15所示，图像融合模块20融合彩色原始图像数据及全色原始图像数据后得到的彩色中间图像包括多个彩色图像像素，多个彩色图像像素呈拜耳阵列排布。并且，该彩色中间图像的分辨率与像素阵列11的分辨率相同。

在某些实施方式中，在图像传感器10工作在高分辨率模式下时，可以采用一个彩色原始图像数据与一个全色原始图像数据交替输出的方式进行原始图像数据的输出。在图像传感器10工作在低分辨率模式下时，可以采用多个彩色原始图像数据与多个全色原始图像数据交替输出的方式进行原始图像数据的输出。示例地，在环境亮度较高时图像传感器10可以工作在高分辨率模式，有利于提升最终获取的图像的清晰度；在环境亮度较低时图像传感器10可以工作在低分辨率模式，有利于提升最终获取的图像的亮度。

需要说明的是，图像融合模块20可以集成在图像传感器10中，也可以集成在图像处理器40中，还可以单独设置在图像传感器10及图像处理器40之外。

高动态范围图像处理系统100还包括图像处理器40。请参阅图16，图像处理器40包括图像预处理模块41，图像融合模块20获得第一彩色中间图像及第二彩色中间图像后，将这两张图像传输至图像预处理模块41进行图像预处理。图像预处理模块41对第一彩色中间图像进行图像预处理以获得预处理后的第一彩色中间图像，对第二彩色中间图像进行预处理以获得预处理后的第二彩色中间图像。

需要说明的是，图像预处理包括黑电平校正、镜头阴影校正、坏点补偿中的至少一种。例如，图像预处理仅包括黑电平校正；或者，图像预处理包括镜头阴影校正和坏点补偿；或者，图像预处理包括黑电平校正处理和镜头阴影校正；或者，图像预处理包括黑电平校正、镜头阴影校正和坏点补偿。

由于图像传感器10采集的信息经过一系列转换生成原始图像。以8bit数据为例，单个图像像素的有效值是0～255，但是实际图像传感器10中的模数转换芯片的精度可能无法将电压值很小的一部分转换出来，便容易造成生成图像的暗部细节的损失。黑电平校正的过程可以是，图像预处理模块41在获得图像融合模块20融合后的彩色中间图像的基础上，将每个像素值(即每个彩色中间图像数据)减去一个固定值。各颜色通道的像素值对应的固定值可以是一样，也可以是不一样。以图像预处理模块41对第一彩色中间图像进行黑电平校正为例，第一彩色中间图像中具有红色通道的像素值、绿色通道的像素值和蓝色通道的像素值。请参阅图17，图像预处理模块41对第一彩色中间图像进行黑电平校正，第一彩色中间图像中所有的像素值均减去固定值5，从而得到经过黑电平校正的第一彩色中间图像。同时图像传感器10在ADC的输入之前加上一个固定的偏移量5(或者其他数值)，使输出的像素值在5(或者其他数值)～255之间，配合黑电平校正，能使得本申请实施方式的图像传感器10和高动态范围图像处理系统100得到的图像的暗部的细节完全保留的同时，不增大或减小图像的像素值，有利于提高成像质量。

镜头阴影是由于镜头对于光学折射不均匀导致的镜头周围出现阴影的情况，即影像区的中心和四周的接收到的光强程度不一致的现象。镜头阴影校正的过程可以是，图像预处理模块41可以在经过黑电平校正的第一彩色中间图像及及经过黑电平校正的第二彩色中间图像基础上，将被处理图像进行网格划分，再通过各网格区域邻近的或者自身及邻近周的补偿系效,采用双线性插值方法对图像进行镜头阴影矫正。镜头阴影处理矫正处理的过程也可以是，图像预处理模块41直接对第一彩色中间图像及第二彩色中间图像，将被处理图像进行网格划分，再通过各网格区域邻近的或者自身及邻近周的补偿系效,采用双线性插值方法对图像进行镜头阴影矫正。下文以对第一彩色中间图像进行镜头阴影校正为例进行说明，如图18所示，图像预处理模块41将第一彩色中间图像(即被处理图像)进行划分，均等地分为十六个网格，十六个网格中每个网格具有一预设好的补偿系数。然后，图像预处理模块41根据各网格区域邻近的或者自身及其邻近的补偿系效通过双线性插值方法对图像进行阴影矫正。R2为图示的经过镜头阴影校正的第一彩色中间图像中虚线框内的像素值，R1为图示的第一彩色中间图像中的虚线框内像素值。R2＝R1*k1，k1由R1像素邻近的的网格的补偿系数1.10、1.04、1.105和1.09进行双线性插值获得。设图像的坐标记为(x,y)，x从左第一个图像像素开始往右计数，y从上第一个图像像素开始往下计数，x和y均为自然数，如图像边上的标识所示。例如，R1的坐标为(3,3)，则R1在各网格补偿系数图中的坐标应为(0.75,0.75)。f(x,y)表示各网格补偿系数图中坐标为(x，y)的补偿值。则f(0.75,j0.75)为R1在各网格补偿系数图中对应的补偿系数值。双线性插值的插值公式可以为f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)，其中，x＝i+u，i为x的整数部分，u为x的小数部分，j为y的整数部分，v为y的小数部分。则有f(0.75,j0.75)＝(0.25)*(0.25)*f(0,0)+0.25*0.75*f(0,1)+0.75*0.25*f(1,0)+0.75*0.75f(1,1)＝0.0625*1.11+0.1875*1.10+0.1875*1.09+0.5625*1.03。各网格的补偿系数在图像预处理模块41进行镜头阴影校正之前已经预先设置。各网格的补偿系数可由如下方法确定：(1)将镜头300置于光线强度和色温恒定且均一的密闭装置内，并使镜头300在该密闭装置内正对亮度分布均匀的纯灰色的目标对象拍摄得到灰度图像；(2)将灰度图像进行网格划分(例如划分为16个网格),得到划分为不同网格区域的灰度图像；(3)计算灰度图像的不同网格区域的补偿系数。确定了镜头300的补偿系数之后，本申请的高动态范围图像处理系统100将该补偿系数预先设置在图像预处理模块41中，当高动态范围图像处理系统100中的图像预处理模块41对图像进行镜头阴影校正时，该补偿系数被获取，图像预处理模块41再根据各网格区域的补偿系效，采用双线性插值方法对图像进行镜头阴影校正。

图像传感器40的像素阵列11上的感光像素110可能存在工艺上的缺陷，或光信号进行转化为电信号的过程中出现错误，从而造成图像上像素信息错误，导致图像中的像素值不准确，这些有缺陷的像素表现在输出的图像上即为图像坏点。图像坏点可能存在，因此需要对图像进行坏点补偿。坏点补偿可以包括如下步骤：(1)以待检测像素点为中心像素点建立相同颜色的感光像素的像素点的3×3像素矩阵；(2)以所述中心像素点的周围像素点为参考点，判断所述中心像素点的色值与所述周围像素点的差值是否均大于第一阈值，如果是，则该中心像素点为坏点，如果否，则该中心像素点为正常点；(3)对判定为坏点的中心像素点进行双线性插值得到校正后的像素值。请参阅图19，下面以对第一彩色中间图像(可以是未校正过的第一彩色中间图像，或者经过校正的第一彩色中间等)进行坏点补偿进行说明，图19中的第一张图中的R1为待检测像素点，图像预处理模块41以R1为中心像素点建立与R1的感光像素相同颜色的像素点的3×3像素矩阵，得到图19中的第二张图。并以中心像素点R1的所述周围像素点为参考点，判断中心像素点R1的色值与所述周围像素点的差值是否均大于第一阈值Q(Q在彩色处理模块2021中预设)。如果是，则该中心像素点R1为坏点，如果否，则该中心像素点R1为正常点。如果R1是坏点，则对R1进行双线性插值得到校正后的像素值R1’(图中展示的为R1是坏点的情况)得到图19中的第三张图。本申请实施方式的图像预处理模块41可以对图像进行坏点补偿，有利于高动态范围图像处理系统100消除高动态范围图像处理系统100的成像过程中，由于感光像素110存在工艺上的缺陷，或光信号进行转化为电信号的过程中出现错误而产生的图像坏点，进而提高高动态范围图像处理系统100形成的目标图像的像素值的准确性，从而使得本申请实施方式具有更好的成像效果。

请参阅图16，图像处理器40还包括图像后处理模块42，图像后处理模块42对预处理后的第一彩色中间图像及预处理后的第二彩色中间图像进行色彩转换处理，以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像。色彩转换处理是将图像由一个色彩空间(例如RGB色彩空间)转换成另一个色彩空间(例如YUV色彩空间)从而具有更广泛的应用场景或者具有更高效率的传输格式。在具体的实施例中，色彩转换处理的步骤可以为对图像中的所有像素值的R、G和B通道像素值进行如下公式转换得到Y、U和V通道像素值：(1)Y＝0.30R+0.59G+0.11B；(2)U＝0.493(B－Y)；(3)V＝0.877(R－Y)；从而将该图像由RGB色彩空间转换为YUV色彩空间。由于YUV色彩空间中的亮度信号Y和色度信号U和V是分离的，并且人眼对亮度的敏感超过色度，色彩转换处理将图像由RGB色彩空间转换为YUV色彩空间有利于本申请实施方式的高动态范围图像处理系统100后续的其他图像处理对图像进行色度信息的压缩，在不影响图像观看效果的同时，能减小图像的信息量，从而提高图像的传输效率。

在一些实施例中，图像后处理模块42可以先对预处理后的第一彩色中间图像及预处理后的第二彩色中间图像进行第一类图像后处理，以获得第一类图像后处理之后的第一彩色中间图像和第一类图像后处理之后的第二彩色中间图像。图像后处理模块42再对第一类图像后处理之后的第一彩色中间图像及第一类图像后处理之后的第二彩色中间图像进行第二类图像后处理，如色彩转换，以获得第二类图像后处理之后的第一彩色中间图像及第二类图像后处理之后的第二彩色中间图像，如获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像。

需要说明的是，第一类图像后处理包括去马赛克、色彩校正和全局色调映射中的至少一种。例如，第一类图像后处理只包括去马赛克；或者，第一类图像后处理包括去马赛克和色彩校正；或者，第一类图像后处理包括去马赛克、色彩校正和全局色调映射。

由于本申请实施方式的第一彩色中间图像及第二彩色中间图像的每个图像像素格中均为单颜色图像像素，没有其他颜色的光学信息，因此需要对第一彩色中间图像及第二彩色中间图像进行去马赛克。图像后处理模块42可以直接对第一中间彩色中间图像及第二彩色中间图像进行去马赛克；或者，图像后处理模块42可以在经过坏点处理后的第一彩色中间图像及第二彩色中间图像的基础上进行去马赛克。以下以对第一彩色中间图像进行去马赛克为例进行说明。去马赛克的步骤包括如下步骤：(1)将第一彩色中间图像分解成第一红色中间图像、第一绿色中间图像和第一蓝色中间图像，如图20所示，所得的第一红色中间图像、第一绿色中间图像和第一蓝色中间图像中部分图像像素格没有像素值。(2)采用双线性插值方法分别对第一红色中间图像、第一绿色中间图像和第一蓝色中间图像进行插值处理。如图21所示，图像后处理模块42采用双线性插值方法对第一蓝色中间图像进行插值处理。图21的待插值图像像素Bu1根据Bu1周围的四个图像像素B2u、Bu3、Bu4和Bu5进行双线性插值，得到Bu1的插值像素Bu1’。图21的第一张图中的所有空白处的待插值图像像素均遍历地采用该双线性插值的方式补全像素值，得到插值后的第一蓝色中间图像。如图22所示，图像后处理模块42采用双线性插值方法对第一绿色中间图像进行插值处理。图22的待插值图像像素G1根据G1周围的四个图像像素G2、G3、G4和G5进行双线性插值，得到G1的插值图像像素G1’。图22的第一张图中的所有空白处的待插值图像像素均遍历地采用该双线性插值的方式补全像素值，得到插值后的第一绿色中间图像。与之类似地，图像后处理模块42可以采用双线性插值方法对第一红色中间图像进行插值处理，得到插值后的第一红色中间图像。(3)将插值后的第一红色中间图像、插值后的第一绿色中间图像和插值后的第一蓝色中间图像重新合成为一张图像，该图像中每个图像像素均具有3个颜色通道的值。如图23所示。图像后处理模块42对彩色图像进行去马赛克，有利于本申请实施方式将具有单颜色通道的像素值的彩色图像补全为具有多个颜色通道的彩色图像，从而在单颜色的感光像素的硬件基础上保持图像色彩的完整呈现。

色彩校正具体可以为利用一个色彩校正矩阵对第一彩色中间图像及第二彩色中间图像(可以为经过去马赛克的第一彩色中间图像及经过去马赛克的第二彩色中间图像)的各图像像素的各颜色通道值进行一次校正，从而实现了对图像色彩的矫正。如下所示：

其中，色彩矫正矩阵(Color Correction Matrix,CCM)在图像后处理模块42中预设。例如，色彩矫正矩阵具体可以为：

图像后处理模块42通过对图像中的所有像素遍历地通过以上色彩矫正矩阵进行色彩校正，可以得到经过色彩校正的图像。本申请实施方式中色彩校正有利于消除图像或视频帧中因为有色光源等造成的颜色严重偏差、图像中人或物体颜色失真的问题，使得本申请实施方式的高动态范围图像处理系统100能够恢复图像原始色彩，提高了图像的视觉效果。

色调映射处理可以包括如下步骤：(1)把第一彩色中间图像及第二彩色中间图像(可以为经过色彩校正的第一彩色中间图像及经过色彩校正的第二彩色中间图像)的灰度值归一化到区间[0,1]内，记归一化后的灰度值为Vin；(2)设Vout＝Y(Vin)，Vout和Vin之间的映射关系可以为如图24所示；(3)把Vout乘上255(当设定输出图像的灰度值为256阶时，乘上255，在其他设定时，可以为其他数值)后再四舍五入取整数，得到了色调映射处理后的图像。本申请实施方式的高动态范围图像处理系统100对图像的色调映射处理并非线性的映射，而是在灰度值较低的区间的映射关系的斜率大于在灰度值较高的区间的映射关系的斜率，如图24所示，有利灰度值较低的区间内不同灰度值的像素点的区分度，而大部分像素都分布在灰度值较低的区间，因而使得本申请实施方式的高动态图像处理系统100具有更好的成像效果。

需要说明的是，在一些实施例中，图像融合模块20获得第一彩色中间图像及第二彩色中间图像后，可以不需要经过图像预处理直接传输至图像后处理模块42进行色彩转换处理，以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像；或者，图像融合模块20获得第一彩色中间图像及第二彩色中间图像后，直接传输至图像后处理模块42，图像后处理模块42也可以对第一彩色中间图像及第二彩色中间图像进行第一类图像后处理之后再进行色彩转换，以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像，在此不作限制。

请参阅图16，高动态范围图像处理系统100还包括存储模块50，存储模块50用于存储图像处理器40中的图像后处理模块42色彩转换后的图像，并将色彩转换后的图像传输至高动态范围图像处理模块30进行高动态范围图像处理，以获得彩色高动态范围图像。具体地，图像处理器40中的图像后处理模块42依次对第一彩色中间图像及第二彩色中间图像进行色彩转换处理，图像后处理模块42对第一彩色中间图像完成色彩转换处理后，将获得的色彩转换后的第一彩色中间图像传输至存储模块50进行存储，图像后处理模块42对第二彩色中间图像完成色彩转换处理后，将获得的色彩转换后的第二彩色中间图像传输至存储模块50进行存储，当存储模块50内存储有图像后处理模块42进行色彩转换处理后的所有图像后(即当存储模块50内存储有色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像)，存储模块50将存储的所有图像(即预处理色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像)传输至高动态范围图像处理模块30。

需要说明的是，图像后处理模块42也可以先对第二彩色中间图像进行色彩转换处理后，再对第一彩色中间图像进行色彩转换处理；图像后处理模块42也可同时对第一彩色中间图像及第二彩色中间图像进行色彩转换处理，在此不作限制。无论图像后处理模块42采用何种方式对第一彩色中间图像及第二彩色中间图像进行色彩转换处理，存储模块50只有在存储有色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像后，才将这两张图像传输至高动态范围图像处理模块30。

高动态范围图像处理模块30在获取到色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像后对这两张图像进行高动态融合处理以获得高动态范围图像。具体地，请结合图25，假设图像像素P12(图25中色彩转换后的第一彩色中间图像内标记有虚线圆圈的图像像素)的像素值V1大于第一预设阈值V0，即图像像素P12为过曝图像像素P12，则高动态范围图像处理单元31以过曝图像像素P12为中心扩展一个预定区域，例如，图25所示的3*3区域。当然，在其他实施例中，也可以是4*4区域、5*5区域、10*10区域等，在此不作限制。随后，高动态范围图像处理单元31在3*3的预定区域内寻找像素值小于第一预设阈值V0的中间图像像素，例如图25中的图像像素P21(图25中色彩转换后的第一彩色中间图像内标记有点画线圆圈的图像像素)的像素值V2小于第一预设阈值V0，则图像像素P21即为中间图像像素P21。随后，高动态范围图像处理单元31在色彩转换后的第二彩色中间图像中寻找与过曝图像像素P12及中间图像像素P21分别对应的图像像素，即图像像素P1’2’(图25中色彩转换后的第二彩色中间图像内标记有虚线圆圈的图像像素)和图像像素P2’1’(图25中色彩转换后的第二彩色中间图像内标记有点画线圆圈的图像像素)，其中，图像像素P1’2’与过曝图像像素P12对应，图像像素P2’1’与中间图像像素P21对应，图像像素P1’2’的像素值为V3，图像像素P2’1’的像素值为V4。随后，根据V1’/V3＝V2/V4来计算出V1’，并利用V1’的值来替换掉V1的值。由此，即可计算出过曝图像像素P12的实际像素值。高动态范围图像处理单元31对色彩转换且亮度对齐的第一彩色中间图像中的每一个过曝图像像素均执行这一亮度对齐的处理过程，即可得到色彩转换且亮度对齐后的第一彩色中间图像。由于色彩转换且亮度对齐后的第一彩色中间图像中的过曝图像像素的像素值经过了修正，色彩转换且亮度对齐后的第一彩色中间图像中的每个图像像素的像素值均较为准确。高动态范围处理过程中，在获取到色彩转换且亮度对齐后的色彩转换后的第一彩色中间图像后，高动态范围图像处理模块30可以对色彩转换且亮度对齐后的图像和同类图像进行融合以得到高动态的图像。具体地，高动态范围图像处理模块30首先对色彩转换且亮度对齐后的第一彩色中间图像进行运动检测，以识别色彩转换且亮度对齐后的第一彩色中间图像中是否存在运动模糊区域。若色彩转换且亮度对齐后的第一彩色中间图像中不存在运动模糊区域，则直接融合色彩转换且亮度对齐后的第一彩色中间图像及色彩转换后的第二彩色中间图像以得到彩色高动态范围图像。若色彩转换且亮度对齐后的第一彩色中间图像中存在运动模糊区域，则将色彩转换且亮度对齐后的第一彩色中间图像中的运动模糊区域剔除，只融合色彩转换后的第二彩色中间图像和色彩转换且亮度对齐后的第一彩色中间图像中除运动模糊区域以外的区域以得到彩色高动态范围图像。具体地，在融合色彩转换且亮度对齐后的第一彩色中间图像及色彩转换后的第二彩色中间图像时，若色彩转换且亮度对齐后的第一彩色中间图像中不存在运动模糊区域，则此时两张中间图像的融合遵循以下原则：(1)色彩转换且亮度对齐后的第一彩色中间图像中，过曝区域的图像像素的像素值直接替换为色彩转换后的第二彩色中间图像中对应于该过曝区域的图像像素的像素值；(2)色彩转换且亮度对齐后的第一彩色中间图像中，欠曝区域的图像像素的像素值为：长曝光像素值除以系数K1，系数K1为K2和K3的平均数；K2为长曝光像素值和中曝光像素值的比例，K3为长曝光像素值和短曝光像素值的比例；(3)色彩转换且亮度对齐后的第一彩色中间图像中，未欠曝也未过曝区域的图像像素的像素值为：长曝光像素值除以系数K1。若色彩转换且亮度对齐后的第一彩色中间图像中存在运动模糊区域，则此时两张中间图像的融合除了遵循上述三个原则外，还需要遵循第(4)个原则：色彩转换且亮度对齐后的第一彩色中间图像中，运动模糊区域的图像像素的像素值直接替换为色彩转换后的第二彩色中间图像中对应于该运动模糊区域的图像像素的像素值。本申请实施方式的高动态范围图像处理系统100通过高动态范围图像处理模块30对图像进行高动态范围处理，先对图像进行亮度对齐处理，再对亮度对齐后的图像与其他图像进行融合，得到高动态的图像，使得高动态范围图像处理系统100形成的目标图像具有更大的动态范围，进而具有更好的成像效果。

在某些实施方式中，像素阵列11还可以以第三曝光时间曝光得到第三原始图像。第三原始图像包括以第三曝光时间曝光的单颜色感光像素生成的第三彩色原始图像数据和以第三曝光时间曝光的全色感光像素W生成的第三全色原始图像数据。其中，第三曝光时间不等于第一曝光时间，第三曝光时间不等于第二曝光时间。

具体地，请参阅图26，像素阵列11进行三次曝光，以分别得到第一原始图像、第二原始图像和第三原始图像。其中，第一原始图像包括以第一曝光时间L曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间L曝光的全色感光像素W生成的第一全色原始图像数据。第二原始图像包括以第二曝光时间M曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间M曝光的全色感光像素W生成的第二全色原始图像数据。第三原始图像包括以第三曝光时间S曝光的单颜色感光像素生成的第三彩色原始图像数据和以第三曝光时间S曝光的全色感光像素W生成的第三全色原始图像数据。

图像融合模块20可以将第一彩色原始图像数据与第一全色原始图像数据融合为仅包含第一彩色中间图像数据的第一彩色中间图像，并将第二彩色原始图像数据与第二全色原始图像数据融合为仅包含第二彩色中间图像数据的第二彩色中间图像，并将第三彩色原始图像数据与第三全色原始图像数据融合为仅包含第三彩色中间图像数据的第三彩色中间图像。具体实施方式与图14及图15所述实施例中具体实施方式相同，在此不作赘述。

图像预处理模块41可以对第一彩色中间图像进行图像预处理以获得预处理后的第一彩色中间图像；对第二彩色中间图像进行预处理以获得预处理后的第二彩色中间图像，并对第三彩色中间图像进行预处理以获得预处理后的第三彩色中间图像。具体实施方式与图17至图19任一所述实施例中的图像预处理的实施方式相同，在此不作赘述。

图像后处理模块42对预处理后的第一彩色中间图像、预处理后的第二彩色中间图像及预处理后的第三彩色中间图像进行色彩转换处理，以获得色彩转换后的第一彩色中间图像、色彩转换后的第二彩色中间图像及色彩转换后的第三彩色中间图像；或者，图像后处理模块42对预处理后的第一彩色中间图像、预处理后的第二彩色中间图像及预处理后的第三彩色中间图像进行图像后处理，以获得图像后处理之后的第一彩色中间图像、图像后处理之后的第二彩色中间图像及图像后处理之后的第三彩色中间图像；或者，图像后处理模块42直接对第一彩色中间图像、第二彩色中间图像及第三彩色中间图像进行色彩转换处理，以获得色彩转换后的第一彩色中间图像、色彩转换后的第二彩色中间图像及色彩转换后的第三彩色中间图像。具体的色彩转换处理过程与上述实施例中色彩转换处理过程相同，在此不作赘述。

高动态范围图像处理模块30对色彩转换后的第一彩色中间图像、色彩转换后的第二彩色中间图像及色彩转换后的第三彩色中间图像进行高动态范围处理，以获得彩色高动态范围图像。具体的高动态融合处理的实施方法与图25所述的实施例中将预处理后的第一彩色中间图像及预处理后的第二彩色中间图像融合为彩色高动态范围图像的具体实施方式相同，在此不作赘述。

请参阅图27，本申请还提供一种电子设备1000。本申请实施方式的电子设备1000包括镜头300、壳体200及上述任意一项实施方式的高动态范围图像处理系统100。镜头300、高动态范围图像处理系统100与壳体200结合。镜头300与高动态范围图像处理系统100的图像传感器10配合成像。

电子设备1000可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能眼镜、智能头盔)、无人机、头显设备等，在此不作限制。

本申请实施方式的电子设备1000通过在高动态范围图像处理系统100中设置的图像融合模块20对图像传感器10输出的多帧原始图像事先进行融合算法处理，以得到图像像素呈拜耳阵列排布的多帧彩色中间图像。如此，多帧彩色中间图像可以被图像处理器40处理，解决了图像处理器不能直接对图像像素呈非拜耳阵列排布的图像进行处理的问题。

请参阅图2及图28，本申请提供一种高动态范围图像处理方法。本申请实施方式的高动态范围图像处理方法用于高动态范围图像处理系统100。高动态范围图像处理系统100可以包括图像传感器10。图像传感器10包括像素阵列11。像素阵列11包括多个全色感光像素和多个彩色感光像素。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元。每个最小重复单元包含多个子单元。每个子单元包括多个单颜色感光像素及多个全色感光像素。高动态范围图像处理方法包括：

01：像素阵11曝光，其中，像素阵列11以第一曝光时间曝光得到第一原始图像，第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据；像素阵列以第二曝光时间曝光得到第二原始图像，第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据；其中，第一曝光时间不等于第二曝光时间；

02：将第一彩色原始图像数据与第一全色原始图像数据融合为仅包含第一彩色中间图像数据的第一彩色中间图像，将第二彩色原始图像数据与第二全色原始图像数据融合为仅包含第二彩色中间图像数据的第二彩色中间图像，第一彩色中间图像和第二彩色中间图像均包含多个彩色图像像素，多个彩色图像像素呈拜耳阵列排布；

03：对第一彩色中间图像及第二彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像；

04：对色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像进行高动态范围处理以获得彩色高动态范围图像。

在某些实施方式中，高动态范围图像处理方法还包括：像素阵列以第三曝光时间曝光得到第三原始图像，第三原始图像包括以第三曝光时间曝光的单颜色感光像素生成的第三彩色原始图像数据和以第三曝光时间曝光的全色感光像素生成的第三全色原始图像数据，其中，第三曝光时间不等于第一曝光时间，第三曝光时间不等于第二曝光时间。第三彩色原始图像数据与第三全色原始图像数据融合为仅包含第三彩色中间图像数据的第三彩色中间图像，第三彩色中间图像均包含多个彩色图像像素，多个彩色图像像素呈拜耳阵列排布。第三彩色中间图像进行色彩转换处理以获得色彩转换后的第三彩色中间图像；步骤对色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像进行高动态范围处理以获得彩色高动态范围图像，包括：对色彩转换后的第一彩色中间图像、色彩转换后的第二彩色中间图像及色彩转换后的第三彩色中间图像进行高动态范围处理以获得彩色高动态范围图像。

在某些实施方式中，高动态范围图像处理方法还包括：每个彩色原始图像数据由单个单颜色感光像素生成，每个全色原始图像数据由单个全色感光像素生成，图像传感器输出多个原始图像数据的输出方式包括一个彩色原始图像数据与一个全色原始图像数据交替输出。

在某些实施方式中，每个彩色原始图像数据由同一子单元中的多个单颜色感光像素共同生成，每个全色原始图像数据由同一子单元中的多个全色感光像素共同生成。图像传感器输出多个原始图像数据的输出方式包括多个彩色原始图像数据与多个全色原始图像数据交替输出。

在某些实施方式中，高动态范围图像处理方法还包括：对第一彩色中间图像进行图像预处理以获得预处理后的第一彩色中间图像；对第二彩色中间图像进行图像预处理以获得预处理后的第二彩色中间图像。步骤对第一彩色中间图像及第二彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像，包括：对预处理后的第一彩色中间图像及预处理后的第二彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像。

在某些实施方式中，高动态范围图像处理方法还包括：对第一彩色中间图像进行图像预处理以获得预处理后的第一彩色中间图像；对第二彩色中间图像进行图像预处理以获得预处理后的第二彩色中间图像；对第三彩色中间图像进行图像预处理以获得预处理后的第三彩色中间图像。步骤对第一彩色中间图像、第二彩色中间图像及第三彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像、色彩转换后的第二彩色中间图像及色彩转换后的第三彩色中间图像，包括：对预处理后的第一彩色中间图像、预处理后的第二彩色中间图像及预处理后的第三彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像、色彩转换后的第二彩色中间图像及色彩转换后的第三彩色中间图像。

在某些实施方式中，图像预处理包括黑电平校正、镜头阴影校正、坏点补偿、去马赛克、色彩校正和全局色调映射中的至少一种。

在某些实施方式中，高动态范围图像处理系统包括存储模块，将色彩转换后的图像存储至存储模块。并从存储模块获取色彩转换后的图像并对色彩转换后的图像进行高动态范围图像处理，以获得彩色高动态范围图像。

请参阅29，本申请还提供一种包含计算机程序的非易失性计算机可读存储介质400。该计算机程序被处理器60执行时，使得处理器60执行上述任意一个实施方式的高动态范围图像处理方法。

例如，请参阅图1、图2、图28及图29，计算机程序被处理器60执行时，使得处理器60执行以下步骤：

像素阵11曝光，其中，像素阵列11以第一曝光时间曝光得到第一原始图像，第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据；像素阵列以第二曝光时间曝光得到第二原始图像，第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据；其中，第一曝光时间不等于第二曝光时间；

将第一彩色原始图像数据与第一全色原始图像数据融合为仅包含第一彩色中间图像数据的第一彩色中间图像，将第二彩色原始图像数据与第二全色原始图像数据融合为仅包含第二彩色中间图像数据的第二彩色中间图像，第一彩色中间图像和第二彩色中间图像均包含多个彩色图像像素，多个彩色图像像素呈拜耳阵列排布；

对第一彩色中间图像及第二彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像；

对色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像进行高动态范围处理以获得彩色高动态范围图像。

再例如，请参阅图29，计算机程序被处理器60执行时，使得处理器60执行以下步骤：

对第一彩色中间图像进行图像预处理以获得预处理后的第一彩色中间图像；

对第二彩色中间图像进行图像预处理以获得预处理后的第二彩色中间图像；

对预处理后的第一彩色中间图像及预处理后的第二彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (17)

1.一种高动态范围图像处理系统，其特征在于，包括图像传感器、图像融合模块、高动态范围图像处理模块及图像处理器；

所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；

所述像素阵列以第一曝光时间曝光得到第一原始图像，所述第一原始图像包括以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以所述第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据；所述像素阵列以第二曝光时间曝光得到第二原始图像，所述第二原始图像包括以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以所述第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据；其中，所述第一曝光时间不等于所述第二曝光时间；

所述图像融合模块用于将所述第一彩色原始图像数据与所述第一全色原始图像数据融合为仅包含第一彩色中间图像数据的第一彩色中间图像，将所述第二彩色原始图像数据与所述第二全色原始图像数据融合为仅包含第二彩色中间图像数据的第二彩色中间图像，所述第一彩色中间图像和所述第二彩色中间图像均包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布；

所述图像处理器用于对所述第一彩色中间图像及所述第二彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像；

所述高动态范围图像处理模块用于对所述色彩转换后的第一彩色中间图像及所述色彩转换后的第二彩色中间图像进行高动态范围处理以获得彩色高动态范围图像。

2.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述像素阵列以第三曝光时间曝光得到第三原始图像，所述第三原始图像包括以所述第三曝光时间曝光的所述单颜色感光像素生成的第三彩色原始图像数据和以所述第三曝光时间曝光的所述全色感光像素生成的第三全色原始图像数据；其中，所述第三曝光时间不等于所述第一曝光时间，所述第三曝光时间不等于所述第二曝光时间；

所述图像融合模块还用于将所述第三彩色原始图像数据与所述第三全色原始图像数据融合为仅包含第三彩色中间图像数据的第三彩色中间图像；

所述图像处理器用于对所述第三彩色中间图像进行色彩转换处理以获得色彩转换后的第三彩色中间图像；

所述高动态范围图像处理模块用于对所述色彩转换后的第一彩色中间图像、所述色彩转换后的第二彩色中间图像及所述色彩转换后的第三彩色中间图像进行高动态范围处理以获得所述彩色高动态范围图像。

3.根据权利要求1或2所述的高动态范围图像处理系统，其特征在于，每个彩色原始图像数据由单个所述单颜色感光像素生成，每个全色原始图像数据由单个所述全色感光像素生成，所述图像传感器输出多个原始图像数据的输出方式包括一个所述彩色原始图像数据与一个所述全色原始图像数据交替输出；或

每个彩色原始图像数据由同一所述子单元中的多个所述单颜色感光像素共同生成，每个全色原始图像数据由同一所述子单元中的多个所述全色感光像素共同生成，所述图像传感器输出多个原始图像数据的输出方式包括多个所述彩色原始图像数据与多个所述全色原始图像数据交替输出。

4.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述图像处理器包括图像预处理模块，所述图像预处理模块用于：

对所述第一彩色中间图像进行图像预处理以获得预处理后的第一彩色中间图像；及

对所述第二彩色中间图像进行图像预处理以获得预处理后的第二彩色中间图像；及

图像后处理模块，所述图像后处理模块用于对所述预处理后的第一彩色中间图像及所述预处理后的第二彩色中间图像进行色彩转换处理以获得所述色彩转换后的第一彩色中间图像及所述色彩转换后的第二彩色中间图像。

5.根据权利要求2所述的高动态范围图像处理系统，其特征在于，所述图像处理器包括：

图像预处理模块，所述图像预处理模块用于：

对所述第一彩色中间图像进行图像预处理以获得预处理后的第一彩色中间图像；

对所述第二彩色中间图像进行图像预处理以获得预处理后的第二彩色中间图像；及

对所述第三彩色中间图像进行图像预处理以获得预处理后的第三彩色中间图像；及

图像后处理模块，所述图像后处理模块用于对所述预处理后的第一彩色中间图像、所述预处理后的第二彩色中间图像及所述预处理后的第三彩色中间图像进行色彩转换处理以获得所述色彩转换后的第一彩色中间图像、所述色彩转换后的第二彩色中间图像及所述色彩转换后的第三彩色中间图像。

6.根据权利要求4或5所述的高动态范围图像处理系统，其特征在于，所述图像预处理包括黑电平校正、镜头阴影校正、坏点补偿中的至少一种。

7.根据权利要求4或5所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理系统还包括存储模块，所述存储模块用于存储色彩转换后的图像，并将色彩转换后的所述图像传输至所述高动态范围图像处理模块进行高动态范围图像处理，以获得所述彩色高动态范围图像。

8.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述图像融合模块集成在所述图像传感器中。

9.一种高动态范围图像处理方法，用于高动态范围图像处理系统，其特征在于，所述高动态范围图像处理系统包括图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；所述高动态范围图像处理方法包括：

所述像素阵列曝光，其中，所述像素阵列以第一曝光时间曝光得到第一原始图像，所述第一原始图像包括以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以所述第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据；所述像素阵列以第二曝光时间曝光得到第二原始图像，所述第二原始图像包括以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以所述第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据；其中，所述第一曝光时间不等于所述第二曝光时间；

将所述第一彩色原始图像数据与所述第一全色原始图像数据融合为仅包含第一彩色中间图像数据的第一彩色中间图像，将所述第二彩色原始图像数据与所述第二全色原始图像数据融合为仅包含第二彩色中间图像数据的第二彩色中间图像，所述第一彩色中间图像和所述第二彩色中间图像均包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布；

对所述第一彩色中间图像及所述第二彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像；及

对所述色彩转换后的第一彩色中间图像及所述色彩转换后的第二彩色中间图像进行高动态范围处理以获得彩色高动态范围图像。

10.根据权利要求9所述的高动态范围图像处理方法，其特征在于，所述高动态范围图像处理方法还包括：

所述像素阵列以第三曝光时间曝光得到第三原始图像，所述第三原始图像包括以所述第三曝光时间曝光的所述单颜色感光像素生成的第三彩色原始图像数据和以所述第三曝光时间曝光的所述全色感光像素生成的第三全色原始图像数据；其中，所述第三曝光时间不等于所述第一曝光时间，所述第三曝光时间不等于所述第二曝光时间；

将所述第三彩色原始图像数据与所述第三全色原始图像数据融合为仅包含第三彩色中间图像数据的第三彩色中间图像，所述第三彩色中间图像包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布；

对所述第三彩色中间图像进行色彩转换处理以获得色彩转换后的第三彩色中间图像；及

所述对所述色彩转换后的第一彩色中间图像及所述色彩转换后的第二彩色中间图像进行高动态范围处理以获得彩色高动态范围图像，包括：

对所述色彩转换后的第一彩色中间图像、所述色彩转换后的第二彩色中间图像及所述色彩转换后的第三彩色中间图像进行高动态范围处理以获得所述彩色高动态范围图像。

11.根据权利要求9或10所述的高动态范围图像处理方法，其特征在于，每个彩色原始图像数据由单个所述单颜色感光像素生成，每个全色原始图像数据由单个所述全色感光像素生成，所述图像传感器输出多个原始图像数据的输出方式包括一个所述彩色原始图像数据与一个所述全色原始图像数据交替输出；或

每个彩色原始图像数据由同一所述子单元中的多个所述单颜色感光像素共同生成，每个全色原始图像数据由同一所述子单元中的多个所述全色感光像素共同生成，所述图像传感器输出多个原始图像数据的输出方式包括多个所述彩色原始图像数据与多个所述全色原始图像数据交替输出。

12.根据权利要求9所述的高动态范围图像处理方法，其特征在于，所述高动态范围图像处理方法还包括：

对所述第一彩色中间图像进行图像预处理以获得预处理后的第一彩色中间图像；及

对所述第二彩色中间图像进行图像预处理以获得预处理后的第二彩色中间图像；

所述对所述第一彩色中间图像及所述第二彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像，包括：

对所述预处理后的第一彩色中间图像及所述预处理后的第二彩色中间图像进行色彩转换处理以获得所述色彩转换后的第一彩色中间图像及所述色彩转换后的第二彩色中间图像。

13.根据权利要求10所述所述的高动态范围图像处理方法，其特征在于，所述高动态范围图像处理方法还包括：

对所述第一彩色中间图像进行图像预处理以获得预处理后的第一彩色中间图像；

对所述第二彩色中间图像进行图像预处理以获得预处理后的第二彩色中间图像；及

对所述第三彩色中间图像进行图像预处理以获得预处理后的第三彩色中间图像；

所述对所述第一彩色中间图像、所述第二彩色中间图像及所述第三彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色中间图像、色彩转换后的第二彩色中间图像及色彩转换后的第三彩色中间图像，包括：

对所述预处理后的第一彩色中间图像、所述预处理后的第二彩色中间图像及所述预处理后的第三彩色中间图像进行色彩转换处理以获得所述色彩转换后的第一彩色中间图像、所述色彩转换后的第二彩色中间图像及所述色彩转换后的第三彩色中间图像。

14.根据权利要求12或13所述的高动态范围图像处理方法，其特征在于，所述图像预处理包括黑电平校正、镜头阴影校正、坏点补偿中的至少一种。

15.根据权利要求12或13所述的高动态范围图像处理方法，其特征在于，所述高动态范围图像处理系统包括存储模块，所述高动态范围图像处理方法还包括：

将色彩转换后的所述图像存储至所述存储模块；及

从所述存储模块获取色彩转换后的所述图像并对色彩转换后的所述图像进行高动态范围图像处理，以获得所述彩色高动态范围图像。

16.一种电子设备，其特征在于，包括：

镜头；

壳体；及

权利要求1至8任意一项所述的高动态范围图像处理系统，所述镜头、所述高动态范围图像处理系统与所述壳体结合，所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。

17.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行权利要求9至15任意一项所述的高动态范围图像处理方法。

Images