CN111491110A - 高动态范围图像处理系统及方法、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种高动态范围图像处理系统及方法、电子设备和计算机可读存储介质。高动态范围图像处理系统包括图像传感器、高动态融合单元和图像处理器。像素阵列以第一曝光时间曝光得到第一原始图像、以第二曝光时间曝光得到第二原始图像。图像处理器和高动态融合单元用于对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。本申请实施方式的高动态范围图像处理系统及方法、电子设备和计算机可读存储介质通过控制像素阵列进行至少两次曝光，并根据不同的曝光时间和不同的感光像素生成多张图像，再对图像进行图像预处理、高动态范围处理、图像处理和融合算法处理，从而得到高动态范围的目标图像。

Description

高动态范围图像处理系统及方法、电子设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种高动态范围图像处理系统及方法、电子设备和计算机可读存储介质。

背景技术

普通相机因受到动态范围的限制，不能记录极端亮或者暗的细节。尤其在拍摄场景的光比较大的时候，很容易出现过曝或者欠曝的情况。具有高动态范围(High-DynamicRange,HDR)功能的相机，在大光比情况下拍摄图像，无论是高光、暗位都能够具有比普通相机更佳的表现。具有高动态范围功能的一些高动态相机采用较高感光度的像素阵列，同时提高快门速度来减少曝光，以保存更多高光部分的细节；或者选取感光响应曲线呈对数形式的感光像素，致使感光像素达到光饱和的速度减慢，这对高动态相机的图像传感器的硬件参数提出较高要求，使得成本增加，设计难度增大，不利于产品的批量生产。

发明内容

本申请实施方式提供一种高动态范围图像处理系统及方法、电子设备和计算机可读存储介质。

本申请实施方式提供的高动态范围图像处理系统包括图像传感器、高动态融合单元和图像处理器。所述图像传感器包括像素阵列。所述像素阵列包括多个全色感光像素和多个彩色感光像素。所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元。每个所述子单元包括多个单颜色感光像素及多个全色感光像素。所述像素阵列以第一曝光时间曝光得到第一原始图像。第一原始图像包括以第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据。所述像素阵列以第二曝光时间曝光得到第二原始图像。第二原始图像包括以第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据。其中，第一曝光时间不等于第二曝光时间。所述图像处理器和所述高动态融合单元用于对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

本申请实施方式提供的高动态范围图像处理方法用于高动态范围图像处理系统。所述高动态范围图像处理系统包括图像传感器。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素。所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元。每个所述子单元包括多个单颜色感光像素及多个全色感光像素。高动态范围图像处理方法包括：控制像素阵列进行至少两次曝光，其中，所述像素阵列以第一曝光时间曝光得到第一原始图像，第一原始图像包括以第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据；所述像素阵列以第二曝光时间曝光得到第二原始图像，第二原始图像包括以第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据；其中，第一曝光时间不等于第二曝光时间；和对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

本申请实施方式提供的电子设备包括镜头、壳体及高动态范围图像处理系统。所述镜头、高动态范围图像处理系统与所述壳体结合。所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。所述高动态范围图像处理系统包括图像传感器、高动态融合单元和图像处理器。图像传感器包括像素阵列。像素阵列包括多个全色感光像素和多个彩色感光像素。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列包括最小重复单元，每个最小重复单元包含多个子单元。每个子单元包括多个单颜色感光像素及多个全色感光像素。像素阵列以第一曝光时间曝光得到第一原始图像。第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据。像素阵列以第二曝光时间曝光得到第二原始图像。第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据。其中，第一曝光时间不等于第二曝光时间。图像处理器、高动态融合单元用于对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

本申请实施方式提供的包含计算机程序的非易失性计算机可读存储介质中，所述计算机程序被处理器执行时，使得所述处理器执行高动态范围图像处理方法。所述高动态范围图像处理方法用于高动态范围图像处理系统。所述高动态范围图像处理系统包括图像传感器、彩色高动态融合单元、全色高动态融合单元和图像处理器。图像传感器包括像素阵列，像素阵列包括多个全色感光像素和多个彩色感光像素。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列包括最小重复单元，每个最小重复单元包含多个子单元。每个子单元包括多个单颜色感光像素及多个全色感光像素。像素阵列以第一曝光时间曝光得到第一原始图像。第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据。像素阵列以第二曝光时间曝光得到第二原始图像。第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据。其中，第一曝光时间不等于第二曝光时间。图像处理器、彩色高动态融合单元和全色高动态融合单元用于对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

本申请实施方式的高动态范围图像处理系统及方法、电子设备和计算机可读存储介质通过控制像素阵列至少分别以第一曝光时间和第二曝光时间进行两次曝光，并且根据不同的曝光时间和不同的感光像素生成多张图像，以便后续对此多张图像进行图像预处理、高动态范围处理、图像处理和融合算法处理，从而得到具有高动态范围的目标图像。本申请实施方式的高动态范围图像处理系统及方法、电子设备和计算机可读存储介质在无需提高图像传感器的感光像素硬件参数的情况下，就能实现高动态范围功能，使得目标图像的亮处、暗位都能够具有更佳的表现，有利于提高成像性能的同时，有助于降低成本。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请实施方式的高动态范围图像处理系统的示意图；

图2是本申请实施方式的像素阵列的示意图；

图3是本申请实施方式的感光像素的截面示意图；

图4是本申请实施方式的感光像素的像素电路图；

图5至图10是本申请实施方式的像素阵列中最小重复单元的排布示意图；

图11至图13是本申请某些实施方式的图像传感器输出的原始图像的示意图；

图14是本申请实施方式的像素阵列的示意图；

图15至图17是本申请实施方式的像素补全处理的示意图；

图18至图20是本申请实施方式的高动态范围图像处理系统的示意图；

图21是本申请实施方式的黑电平矫正处理的示意图；

图22是本申请实施方式的镜头阴影矫正处理的示意图；

图23和图24是本申请实施方式的坏点补偿处理处理的示意图；

图25至图28是本申请实施方式的去马赛克处理的示意图；

图29是本申请实施方式的色调映射处理的Vout和Vin之间的映射关系示意图；

图30是本申请实施方式的亮度对齐处理的示意图；

图31是本申请实施方式的像素相加处理的示意图；

图32是本申请实施方式的像素求平均处理的示意图；

图33是本申请实施方式的电子设备的结构示意图；

图34是本申请某些实施方式的图像获取方法的流程示意图；

图35是本申请某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。

具体实施方式

下面详细描述本申请的实施方式，实施方式的示例在附图中示出，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

下文的公开提供了许多不同的实施方式或例子用来实现本申请的实施方式的不同结构。为了简化本申请的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。

请参阅图1和图2，本申请实施方式的高动态范围图像处理系统100包括图像传感器10、高动态融合单元50和图像处理器20。图像传感器10包括像素阵列11，像素阵列11包括多个全色感光像素和多个彩色感光像素。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元，每个最小重复单元包含多个子单元。每个子单元包括多个单颜色感光像素及多个全色感光像素。像素阵列11以第一曝光时间曝光得到第一原始图像。第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据。像素阵列11以第二曝光时间曝光得到第二原始图像。第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据。其中，第一曝光时间不等于第二曝光时间。图像处理器20和高动态融合单元50用于对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

本申请实施方式的高动态范围图像处理系统100通过控制像素阵列11至少分别以第一曝光时间和第二曝光时间进行两次曝光，并且根据不同的曝光时间和不同的感光像素生成多张图像，以便后续对此多张图像进行图像预处理、高动态范围处理、图像处理和融合算法处理，从而得到具有高动态范围的目标图像。本申请实施方式的高动态范围图像处理系统100在无需提高图像传感器10的感光像素硬件参数的情况下，就能实现高动态范围功能，使得目标图像的亮处、暗位都能够具有更佳的表现，有利于提高成像性能的同时，有助于降低成本。

图2是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。

例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。

例如，像素阵列11包括以阵列形式二维排列(即二维矩阵形式排布)的多个感光像素110(图3所示)，每个感光像素110包括光电转换元件1111(图4所示)。每个感光像素110根据入射在其上的光的强度将光转换为电荷。

例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位感光像素110，从这些单位感光像素110逐行地读取信号。例如，被选择并被扫描的感光像素行中的每一感光像素110输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件的光电荷被丢弃，从而可以开始新的光电荷的积累。

例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选感光像素行中的每一感光像素110输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的感光像素110的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。

例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一感光像素列被列处理单元14顺序地处理，并且被顺序输出。

例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。

图3是本申请实施方式中一种感光像素110的示意图。感光像素110包括像素电路111、滤光片112、及微透镜113。沿感光像素110的收光方向，微透镜113、滤光片112、及像素电路111依次设置。微透镜113用于汇聚光线，滤光片112用于供某一波段的光线通过并过滤掉其余波段的光线。像素电路111用于将接收到的光线转换为电信号，并将生成的电信号提供给图2所示的列处理单元14。

图4是本申请实施方式中一种感光像素110的像素电路111的示意图。图4中像素电路111可应用在图2所示的像素阵列11内的每个感光像素110(图3所示)中。下面结合图2至图4对像素电路111的工作原理进行说明。

如图4所示，像素电路111包括光电转换元件1111(例如，光电二极管)、曝光控制电路(例如，转移晶体管1112)、复位电路(例如，复位晶体管1113)、放大电路(例如，放大晶体管1114)和选择电路(例如，选择晶体管1115)。在本申请的实施例中，转移晶体管1112、复位晶体管1113、放大晶体管1114和选择晶体管1115例如是MOS管，但不限于此。

例如，光电转换元件1111包括光电二极管，光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路(例如，转移晶体管1112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管1114的栅极、复位晶体管1113的源极连接。

例如，曝光控制电路为转移晶体管1112，曝光控制电路的控制端TG为转移晶体管1112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管1112的栅极时，转移晶体管1112导通。转移晶体管1112将光电二极管光电转换的电荷传输到浮动扩散单元FD。

例如，复位晶体管1113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。

例如，放大晶体管1114的栅极连接到浮动扩散单元FD。放大晶体管1114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管1113复位之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管1112转移之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出信号电平。

例如，选择晶体管1115的漏极连接到放大晶体管1114的源极。选择晶体管1115的源极通过输出端OUT连接到图2中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管1115的栅极时，选择晶体管1115导通。放大晶体管1114输出的信号通过选择晶体管1115传输到列处理单元14。

需要说明的是，本申请实施例中像素电路111的像素结构并不限于图4所示的结构。例如，像素电路111也可以具有三晶体管像素结构，其中放大晶体管1114和选择晶体管1115的功能由一个晶体管完成。例如，曝光控制电路也不局限于单个转移晶体管1112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，本申请实施方式中的单个转移晶体管1112的实施方式简单、成本低、易于控制。

图5至图10是本申请某些实施方式的像素阵列11(图2所示)中的感光像素110(图3所示)的排布示意图。感光像素110包括两类，一类为全色感光像素W，另一类为彩色感光像素。图5至图10仅示出了一个最小重复单元中的多个感光像素110的排布。对图5至图10所示的最小重复单元在行和列上多次复制，即可形成像素阵列11。每个最小重复单元均由多个全色感光像素W和多个彩色感光像素组成。每个最小重复单元包括多个子单元。每个子单元内包括多个单颜色感光像素和多个全色感光像素W。其中，图5至图8所示的最小重复单元中，每个子单元中的全色感光像素W和彩色感光像素交替设置。图9和图10所示的最小重复单元中，每个子单元中，同一行的多个感光像素110为同一类别的感光像素110；或者，同一列的多个感光像素110为同一类别的感光像素110。

具体地，例如，图5为本申请一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。

排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图5所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图5所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1(例如图5中左上角和右下角连接的方向)，两个第二类子单元UB设置在第二对角线方向D2(例如图5中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

需要说明的是，在其他实施方式中，第一对角线方向D1也可以是右上角和左下角连接的方向，第二对角线方向D2也可以是左上角和右下角连接的方向。另外，这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。下文图6至图10中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。

再例如，图6为本申请另一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为6行6列36个感光像素110，子单元为3行3列9个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图6所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图6所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

再例如，图7为本申请又一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为8行8列64个感光像素110，子单元为4行4列16个感光像素110。

排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图7所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图7所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

具体地，例如，图8为本申请再一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

图8所示的最小重复单元中感光像素110的排布与图5所示的最小重复单元中感光像素110的排布大致相同，其不同之处在于，图8中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序与图5中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序不一致，并且，图8中的第三类子单元UC中的全色感光像素W与单颜色感光像素的交替顺序与图5中位于右下角的第三类子单元UC中的全色感光像素W与单颜色感光像素的交替顺序也不一致。具体地，图5中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第二颜色感光像素B)，第二行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W；而图8中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第二颜色感光像素B)。图5中位于右下角的第三类子单元UC中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)，第二行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W；而图8中位于右下角的第三类子单元UC中，第一行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)。

如图8所示，图8中的第一类子单元UA中的全色感光像素W与单颜色感光像素的交替顺序与第三类子单元UC中的全色感光像W素与单颜色感光像素的交替顺序不一致。具体地，图8所示的第一类子单元CA中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第一颜色感光像素A)，第二行的感光像素110的交替顺序为单颜色感光像素(即第一颜色感光像素A)、全色感光像素W；而图8所示的第三类子单元CC中，第一行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)。也即是说，同一最小重复单元中，不同子单元内的全色感光像素W与彩色感光像素的交替顺序可以是一致的(如图5所示)，也可以是不一致的(如图8所示)。

再例如，图9为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图9所示，对于每个子单元，同一行的多个感光像素110为同一类别的感光像素110。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。

例如，如图9所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

再例如，图10为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图10所示，对于每个子单元，同一列的多个感光像素110为同一类别的感光像素110。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。

例如，如图10所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，在其他实施方式中，同一最小重复单元中，也可以是部分子单元内的同一行的多个感光像素110为同一类别的感光像素110，其余部分子单元内的同一列的多个感光像素110为同一类别的感光像素110。

例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为绿色感光像素G；第三颜色感光像素C可以为蓝色感光像素Bu。

例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为黄色感光像素Y；第三颜色感光像素C可以为蓝色感光像素Bu。

例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为品红色感光像素M；第二颜色感光像素B可以为青色感光像素Cy；第三颜色感光像素C可以为黄色感光像素Y。

需要说明的是，在一些实施例中，全色感光像素W的响应波段可为可见光波段(例如，400nm-760nm)。例如，全色感光像素W上设置有红外滤光片，以实现红外光的滤除。在另一些实施例中，全色感光像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10(图1所示)中的光电转换元件1111(图4所示)的响应波段相匹配。例如，全色感光像素W可以不设置滤光片或者设置可供所有波段的光线通过的滤光片，全色感光像素W的响应波段由光电转换元件1111的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。

请结合图1至图3、图5、图11及图12，在某些实施方式中，控制单元13控制像素阵列11曝光。其中，像素阵列11以第一曝光时间曝光得到第一原始图像。第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据。像素阵列11以第二曝光时间曝光得到第二原始图像。第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据；其中，第一曝光时间不等于第二曝光时间。

具体地，图像处理器20可以控制像素阵列11进行两次曝光。例如，如图11所示，在第一次曝光中，像素阵列11以第一曝光时间L曝光得到第一原始图像。第一原始图像包括以第一曝光时间L曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间L曝光的全色感光像素生成的第一全色原始图像数据。在第二次曝光中，像素阵列11以第二曝光时间S曝光得到第二原始图像。第二原始图像包括以第二曝光时间S曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间S曝光的全色感光像素生成的第二全色原始图像数据。

在某些实施方式中，像素阵列11还可以以第三曝光时间曝光得到第三原始图像。第三原始图像包括以第三曝光时间曝光的单颜色感光像素生成的第三彩色原始图像数据和以第三曝光时间曝光的全色感光像素生成的第三全色原始图像数据。其中，第三曝光时间不等于第一曝光时间，第三曝光时间不等于第二曝光时间。图像处理器20、高动态融合单元50(可以包括彩色高动态融合单元30和全色高动态融合单元40)用于对第一原始图像、第二原始图像和第三原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

具体地，请参阅图13，图像处理器20可以控制像素阵列11进行三次曝光。分别得到第一原始图像、第二原始图像和第三原始图像。其中，第一原始图像包括以第一曝光时间L曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间L曝光的全色感光像素生成的第一全色原始图像数据。第二原始图像包括以第二曝光时间M曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间M曝光的全色感光像素生成的第二全色原始图像数据。第三原始图像包括以第三曝光时间S曝光的单颜色感光像素生成的第三彩色原始图像数据和以第三曝光时间S曝光的全色感光像素生成的第三全色原始图像数据。

在其他实施方式中，图像处理器20还可以控制像素阵列11进行例如四次、五次、六次、十次或二十次的更多次数的曝光，从而得到更多的原始图像。图像处理器20、彩色高动态融合单元30和全色高动态融合单元40再对所有原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

需要说明的是，在某些实施例中，像素阵列11的曝光过程可以是：(1)像素阵列11以至少两次曝光时间(例如第一曝光时间L和第二曝光时间S，或者第一曝光时间L、第二曝光时间M和第三曝光时间S)依次曝光(其中不同曝光时间的曝光先后顺序不作限制)，且至少两次曝光的曝光进行时间在时间轴上不重叠；(2)像素阵列11以至少两次曝光时间(例如第一曝光时间L和第二曝光时间S，或者第一曝光时间L、第二曝光时间M和第三曝光时间S)曝光(其中不同曝光时间的曝光先后顺序不作限制)，且至少两次曝光的曝光进行时间在时间轴上存在部分重叠；(3)所有较短的曝光时间的曝光进行时间均位于最长的曝光时间的曝光进行时间内；例如，第二曝光时间S的曝光进行时间位于第一曝光时间L的曝光进行时间内；又例如，第二曝光时间M和第三曝光时间S均位于第一曝光时间L的曝光进行时间内。(4)所有曝光可以在同一时刻开始，在不同时刻结束，或者所有曝光可以在同一时刻结束，在不同时刻开始。本申请实施方式的高动态范围处理系统100可采用第(3)或第(4)种曝光方式，使用该曝光方式可以缩短像素阵列11在一次拍摄中所需要的曝光时间，有利于提升图像的帧率，同时有利于最小化至少两次曝光的曝光时间之间的间隔，以使得多帧图像的曝光时间更为接近，从而提升由多张曝光时间不同的图像融合成的高动态图像的图像质量。

具体地，至少两次曝光的曝光进行时间具有重叠的曝光方式(例如上述的第(2)、第(3)和第(4)种曝光方式)，如图14所示，可以由在图像传感器10中设置缓冲处理器16，缓冲处理器16配合控制单元和像素阵列11工作实现。以第(4)种曝光方式为例，请参阅12，图像传感器10控制像素阵列11进行三次曝光，分别为第一曝光时间1s，第二曝光时间1/8s，第三曝光时间1/64s。图像传感器10的控制单元控制像素阵列11每隔1/512s输出一次曝光时长为1/512的曝光图像数据，并存入缓冲处理器16中。缓冲处理器16接收曝光图像数据后，将接收到的曝光图像数据存储到缓冲处理器16内部的缓冲内存区中，并在一次拍摄开始后，累计收到8个图像曝光数据后将累计的8个曝光图像数据进行相加处理后，作为第三原始图像传输到图像传感器10中，并且累计收到64个图像曝光数据后将累计的64个曝光图像数据进行相加处理后，作为第二原始图像传输到图像传感器10中，累计收到512个图像曝光数据后将累计的512个曝光图像数据进行相加处理后，作为第一原始图像传输到图像传感器10中，累计接收到512个曝光数据后，图像传感器10控制此次拍摄的曝光结束。本申请实施方式通过设置缓冲处理器16配合控制单元和像素阵列11工作，从而以简单的器件和工作逻辑完成本申请实施方式中至少两次曝光的曝光进行时间具有重叠的曝光方式(例如上述的第(2)、第(3)和第(4)种曝光方式)，有助于提高系统工作可靠性的同时，有利于缩短像素阵列11在一次拍摄中所需要的曝光时间，提升图像的帧率，同时有利于缩小至少两次曝光的曝光时间之间的间隔，以使得多帧图像的曝光时间更为接近，从而提升由多张曝光时间不同的图像融合成的高动态图像的图像质量。

请参阅图1，图像处理器20可以包括彩色预处理模块2023、全色预处理模块2024、彩色处理模块2021、全色处理模块2022和融合模块204。图像预处理可以包括像素补全处理和去马赛克处理。图像处理包括第一图像处理和第二图像处理。其中，彩色预处理模块2023可以用于对彩色原始图像数据进行像素补全处理，得到彩色原始图像。全色预处理模块2024可以用于对全色原始图像数据进行去马赛克处理，得到全色原始图像。彩色处理模块2021可以用于对彩色原始图像进行第一图像处理，得到彩色中间图像。全色处理模块2022可以用于对全色原始图像进行第二图像处理，得到全色中间图像。融合模块204可以用于对彩色中间图像和全色中间图像进行融合算法处理得到目标图像。在某些实施方式中，图像处理器20还包括图像前端处理单元202。彩色预处理模块2023、全色预处理模块2024、彩色处理模块2021和全色处理模块2022可以集成在图像前端处理单元202中。

全色预处理模块2024对全色原始图像数据进行去马赛克处理的具体操作过程与后文中本申请实施方式对第一彩色原始图像和第二彩色原始图像进行去马赛克处理的具体操作过程类似，将在后文统一进行详细阐述。

请参阅图15、图16和图17，彩色预处理模块2023对彩色原始图像数据进行像素补全处理的具体操作过程可以包括如下步骤：(1)将彩色原始图像数据分解成第一颜色原始图像数据(由上文所述的第一颜色感光像素A生成的原始图像数据)、第二颜色原始图像数据(由上文所述的第二颜色感光像素B生成的原始图像数据)和第三颜色原始图像数据(由上文所述的第三颜色感光像素C生成的原始图像数据)。(2)将第一颜色原始图像数据中子单元的多个第一颜色感光像素A生成的像素值进行求平均值运算，求得平均值后将子单元范围的像素格融合成一个像素格，并将该平均值填入该像素格中，得到第一颜色中间图像数据。(3)对第一颜色中间图像数据利用双线性插值方法进行插值，得到第一颜色插值图像数据。双线性插值的具体操作方式下文中会详细阐述。(4)将第一颜色插值图像数据和第一颜色原始图像数据融合得到第一颜色原始图像。(5)将第一颜色原始图像数据、第二颜色原始图像数据和第三颜色原始图像数据，均进行以上(2)、(3)和(4)步骤后，将所得的具有一个颜色通道的第一颜色原始图像、第二颜色原始图像和第三颜色原始图像合成为具有三个颜色通道的分辨率和彩色原始图像的分辨率相同的彩色原始图像。彩色预处理模块2023可以对至少两次曝光对应的所有彩色原始图像数据均进行以上步骤的像素补全处理，从而完成对所有彩色原始图像数据的像素补全处理，得到至少两次曝光对应的彩色原始图像。具体地，请结合图15、图16和图17，下面以彩色预处理模块2023对第一彩色原始图像数据中的第一红色原始图像数据进行像素补全处理为例进行说明。如图15所示，彩色预处理模块2023先将彩色原始图像(可以为第一彩色原始图像、第二彩色原始图像或第三彩色原始图像等)数据分解成红色原始图像数据、绿色原始图像数据和蓝色原始图像数据。如图16所示，彩色预处理模块2023再将红色原始图像数据中子单元的多个红颜色感光像素R生成的像素值(例如L1和L2)进行求平均值运算，求得平均值L1’＝(L1+L2)/2后将子单元范围的像素格融合成一个像素格，并将该平均值填入该像素格中，得到红色中间图像数据。然后，彩色预处理模块2023对红色中间图像数据利用双线性插值方法进行插值，得到红色插值图像数据。接着，彩色预处理模块2023将红色插值图像数据和红色原始图像数据融合得到红色原始图像。融合过程中，首先，彩色预处理模块2023生成一张分辨率与红色原始图像数据相同，最小重复单元中的像素颜色排列方式与红色插值图像数据的空值图像，然后根据以下原则进行融合：(1)若在第一红色原始图像数据的相同坐标中具有像素值，并且颜色通道相同，则直接将第一红色原始图像数据的相同坐标中的像素值填入空值图像；(2)若在第一红色原始图像数据的相同坐标中具有像素值，但颜色通道不同，则将第一红色插值图像数据的相应坐标中的像素值填入空值图像；(3)若在第一红色原始图像数据的相同坐标中不具有像素值，则将第一红色插值图像数据的相应坐标中的像素值填入空值图像。根据以上融合原则，如图16所示，将得到红色原始图像。与此相似地，如图17所示，彩色预处理模块2023可以得到红色原始图像、绿色原始图像和蓝色原始图像，并将所得的具有一个颜色通道的红色原始图像、绿色原始图像和蓝色原始图像合成为具有3个颜色通道的彩色原始图像。彩色预处理模块2023可以对第一彩色原始图像数据和第二彩色原始图像数据(或者第一彩色原始图数据、第二彩色原始图像数据和第三彩色原始图像数据)均进行以上步骤的像素补全处理，从而完成对彩色原始图像数据的像素补全处理，得到第一彩色原始图像和第二彩色原始图像(或者第一彩色原始图、第二彩色原始图像和第三彩色原始图像)。本申请实施方式的高动态范围图像处理系统100对部分像素格中的彩色信息缺失并且具有彩色信息的像素格仅具有单颜色通道信息的彩色原始图像数据进行像素补全处理，能在不损失分辨率的情况下，得到具有完整的像素格的完整通道的彩色信息，进而得到彩色原始图像，以便后续对图像继续进行其他图像处理，提高成像质量。

请参阅图1，在某些实施方式中，在融合模块204对彩色中间图像和全色中间图像进行融合算法处理得到目标图像之后，高动态融合单元50可以将至少两次曝光对应的目标图像(可以包括第一目标图像和第二目标图像)融合得到高动态的目标图像。

请参阅图18，在另一些实施方式中，高动态融合单元50可以包括彩色高动态融合单元30和全色高动态融合单元40。在彩色预处理模块2023对彩色原始图像数据进行像素补全处理，得到彩色原始图像之前，彩色高动态融合单元30可以将至少两次曝光对应的彩色原始图像数据融合得到高动态的彩色原始图像数据。在全色预处理模块2024对全色原始图像数据进行去马赛克处理，得到全色原始图像之前，全色高动态融合单元40用于将至少两次曝光对应的全色原始图像数据融合得到高动态的全色原始图像数据。

请参阅图19，在又一些实施方式中，高动态融合单元50可以包括彩色高动态融合单元30和全色高动态融合单元40。在彩色处理模块2021对彩色原始图像进行第一图像处理得到彩色中间图像之前，彩色高动态融合单元30可以将至少两次曝光对应的彩色原始图像融合得到高动态的彩色原始图像。在全色处理模块2022对全色原始图像进行第二图像处理得到全色中间图像之前，全色高动态融合单元40可以将至少两次曝光对应的全色原始图像融合得到高动态的全色原始图像。

请参阅图20，在再一些实施方式中，高动态融合单元50可以包括彩色高动态融合单元30和全色高动态融合单元40。在融合模块204用于对彩色中间图像和全色中间图像进行融合算法处理得到目标图像之前，彩色高动态融合单元30可以将至少两次曝光对应的彩色中间图像融合得到高动态的彩色中间图像，全色高动态融合单元40可以将至少两次曝光对应的全色中间图像融合得到高动态的全色中间图像。

彩色处理模块2021中，第一图像处理可以包括：黑电平矫正处理、镜头阴影矫正处理、去马赛克处理、坏点补偿处理、色彩矫正处理、全局色调映射处理、色彩转换处理中的一个或多个；全色处理模块2022中，第二图像处理可以包括：黑电平矫正处理、镜头阴影矫正处理、坏点补偿处理、全局色调映射处理中的一个或多个。

具体地，第一图像处理可以包括第一图像子处理和第二图像子处理。彩色处理模块2021可以对彩色原始图像先进行第一图像子处理，再进行第二图像子处理。其中，第一图像子处理可以包括黑电平矫正处理、镜头阴影矫正处理和坏点补偿处理中的一个或多个。第二图像子处理可以包括去马赛克处理、色彩矫正处理、全局色调映射处理和色彩转换处理中的一个或多个。

由于图像传感器采集的信息经过一系列转换生成原始图像。以8bit数据为例，单个像素的有效值是0～255，但是实际图像传感器中的模数转换芯片的精度可能无法将电压值很小的一部分转换出来，便容易造成生成图像的暗部细节的损失。黑电平矫正处理的过程可以是，彩色处理模块2021或全色处理模块2022在图像传感器10输出的原始图像数据的基础上，将每个像素值减去一个固定值。各颜色通道(例如红色通道、绿色通道、蓝色通道和全色通道，在某些实施例中，红色通道指的是图像传感器10输出的图像中由红色感光像素生成的红色信息，绿色通道指的是图像传感器10输出的图像中由绿色感光像素生成的绿色信息，红色通道指的是图像传感器10输出的图像中由蓝色感光像素生成的蓝色信息，全色通道指的是图像传感器10输出的图像中由全色感光像素生成的全色信息)对应的固定值可以是一样，也可以是不一样。具体地，请参阅图20，以图形传感器控制像素阵列11进行两次曝光(可以为两次或两次以上的次数)为例进行说明，图像传感器10可以输出第一彩色原始图像数据、第二彩色原始图像数据、第一全色原始图像数据和第二全色原始图像数据，图像处理器20接收第一彩色原始图像数据、第二彩色原始图像数据、第一全色原始图像数据和第二全色原始图像数据后，彩色预处理模块2023对第一彩色原始图像数据和第二彩色原始图像数据进行像素补全处理得到第一彩色原始图像和第二彩色原始图像，彩色处理模块2021对第一彩色原始图像和第二彩色原始图像进行第一图像处理中的黑电平矫正处理；全色预处理模块2024对第一全色原始图像数据和第二全色原始图像数据进行去马赛克处理得到第一全色原始图像和第二全色原始图像，全色处理模块2022对第一全色原始图像和第二全色原始图像进行第二图像处理中的黑电平矫正处理。以彩色处理模块2021对第一彩色原始图像进行黑电平矫正处理为例，第一彩色原始图像中具有红色通道、绿色通道和蓝色通道。请参阅图21，彩色处理模块2021对第一彩色原始图像进行黑电平矫正处理，第一彩色原始图像中所有的像素值均减去固定值5，从而得到经过黑电平矫正处理的第一彩色原始图像。同时图像传感器10在AD的输入之前加上一个固定的偏移量5(或者其他数值)，使输出的像素值在5(或者其他数值)～255之间，配合黑电平矫正处理，能使得本申请实施方式的图像传感器10和高动态范围图像处理系统100得到的图像的暗部的细节完全保留的同时，不增大或减小图像的像素值，有利于提高成像质量。

镜头阴影是由于镜头对于光学折射不均匀导致的镜头周围出现阴影的情况，即影像区的中心和四周的接收到的光强程度不一致的现象。镜头阴影矫正处理的过程可以是，彩色处理模块2021或全色处理模块2022可以在经过黑电平矫正处理的彩色原始图像和全色原始图像的基础上，将被处理图像进行网格划分，再通过各网格区域邻近的或者自身及邻近周的补偿系数,采用双线性插值方法对图像进行镜头阴影矫正。下文以对第一彩色原始图像进行镜头阴影矫正处理为例进行说明，如图22所示，彩色处理模块2021将第一彩色原始图像(即被处理图像)进行划分，均等地分为十六个网格，十六个网格中每个网格具有一预设好的补偿系数。然后，彩色处理模块2021根据各网格区域邻近的或者自身及其邻近的补偿系数通过双线性插值方法对图像进行阴影矫正。R2为图示的经过镜头阴影矫正处理的第一彩色中间图像中虚线框内的像素值，R1为图示的第一彩色原始图像中的虚线框内的像素值。R2＝R1*k1，k1由R1像素邻近的网格的补偿系数1.10、1.04、1.105和1.09进行双线性插值获得。设图像的坐标记为(x,y)，x从左第一个像素开始往右计数，y从上第一个像素开始往下计数，x和y均为自然数，如图像边上的标识所示。例如，R1的坐标为(3,3)，则R1在各网格补偿系数图中的坐标应为(0.75,0.75)。f(x,y)表示各网格补偿系数图中坐标为(x，y)的补偿值。则f(0.75,j0.75)为R1在各网格补偿系数图中对应的补偿系数值。双线性插值的插值公式可以为f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)，其中，x＝i+u，i为x的整数部分，u为x的小数部分，j为y的整数部分，v为y的小数部分。则有f(0.75,j0.75)＝(0.25)*(0.25)*f(0,0)+0.25*0.75*f(0,1)+0.75*0.25*f(1,0)+0.75*0.75f(1,1)＝0.0625*1.11+0.1875*1.10+0.1875*1.09+0.5625*1.03。各网格的补偿系数在彩色处理模块2021或全色处理模块2022进行镜头阴影矫正处理之前已经预先设置。各网格的补偿系数可由如下方法确定：(1)将镜头300置于光线强度和色温恒定且均一的密闭装置内，并使镜头300在该密闭装置内正对亮度分布均匀的纯灰色的目标对象拍摄得到灰度图像；(2)将灰度图像进行网格划分(例如划分为16个网格),得到划分为不同网格区域的灰度图像；(3)计算灰度图像的不同网格区域的补偿系数。确定了镜头300的补偿系数之后，本申请的高动态范围图像处理系统100将该补偿系数预先设置在彩色处理模块2021或全色处理模块2022中，当高动态范围图像处理系统100中的彩色处理模块2021或全色处理模块2022对图像进行镜头阴影矫正处理时，该补偿系数被获取，彩色处理模块2021或全色处理模块2022再根据各网格区域的补偿系数，采用双线性插值方法对图像进行镜头阴影矫正处理。

图像传感器的像素阵列上的感光像素可能存在工艺上的缺陷，或光信号进行转化为电信号的过程中出现错误，从而造成图像上像素信息错误，导致图像中的像素值不准确，这些有缺陷的像素表现在输出的图像上即为图像坏点。图像坏点可能存在，因此需要对图像进行坏点补偿处理。坏点补偿处理可以包括如下步骤：(1)以待检测像素点为中心像素点建立相同颜色的感光像素的像素点的3×3像素矩阵；(2)以所述中心像素点的周围像素点为参考点，判断所述中心像素点的色值与所述周围像素点的差值是否均大于第一阈值，如果是，则该中心像素点为坏点，如果否，则该中心像素点为正常点；(3)对判定为坏点的中心像素点进行双线性插值得到校正后的像素值。请参阅图23，下面以对第一全色原始图像进行坏点补偿处理进行说明，图23中的第一张图中的R1为待检测像素点，彩色处理模块2021以R1为中心像素点建立与R1的感光像素相同颜色的像素点的3×3像素矩阵，得到图23中的第二张图。并以中心像素点R1的所述周围像素点为参考点，判断中心像素点R1的色值与所述周围像素点的差值是否均大于第一阈值Q(Q在彩色处理模块2021中预设)。如果是，则该中心像素点R1为坏点，如果否，则该中心像素点R1为正常点。如果R1是坏点，则对R1进行双线性插值得到校正后的像素值R1’(图中展示的为R1是坏点的情况)得到图23中的第三张图。请参阅图24，以全色处理模块2022对经过镜头阴影矫正处理的第一全色原始图像进行坏点补偿处理进行说明。图24中的第一张图中的W1为待检测像素点，全色处理模块2022以W1为中心像素点建立与W1的感光像素相同颜色的像素点的3×3像素矩阵，得到图24中的第二张图。并以中心像素点W1的周围像素点为参考点，判断中心像素点W1的色值与所述周围像素点的差值是否均大于第一阈值K(K在全色处理模块2022中预设)。如果是，则该中心像素点W1为坏点，如果否，则该中心像素点W1为正常点。如果W1是坏点，则对W1进行双线性插值得到校正后的像素值W1’(图中展示的为W1是坏点的情况)得到图24中的第三张图。本申请实施方式的彩色处理模块2021和全色处理模块2022可以对图像进行坏点补偿处理，有利于高动态范围图像处理系统100消除高动态范围图像处理系统100的成像过程中，由于感光像素存在工艺上的缺陷，或光信号进行转化为电信号的过程中出现错误而产生的图像坏点，进而提高高动态范围图像处理系统100形成的目标图像的像素值的准确性，从而使得本申请实施方式具有更好的成像效果。

由于本申请实施方式的彩色原始图像(例如第一彩色原始图像和第二彩色原始图像)的每个像素格中均为单颜色像素，没有其他颜色的光学信息，因此需要对第一彩色原始图像和第二彩色原始图像进行去马赛克处理。另外，全色预处理模块2024也可以对全色原始图像数据进行去马赛克处理得到全色原始图像。下面以彩色处理模块2021对第一彩色原始图像(例如包括红色通道、绿色通道和蓝色通道)进行去马赛克处理为例进行说明，去马赛克处理的步骤包括如下步骤：(1)将第一彩色原始图像分解成第一红色原始图像、第一绿色原始图像和第一蓝色原始图像，如图25所示，所得的第一红色原始图像、第一绿色原始图像和第一蓝色原始图像中部分像素格没有像素值。(2)采用双线性插值方法分别对第一红色原始图像、第一绿色原始图像和第一蓝色原始图像进行插值处理。如图26所示，彩色处理模块2021采用双线性插值方法对第一蓝色原始图像进行插值处理。图26的待插值像素B1根据B1周围的四个像素B2、B3、B4和B5进行双线性插值，得到B1的插值像素B1’。图26的第一张图中的所有空白处的待插值像素均遍历地采用该双线性插值的方式补全像素值，得到插值后的第一蓝色原始图像。如图27所示，彩色处理模块2021采用双线性插值方法对第一绿色原始图像进行插值处理。图27的待插值像素G1根据G1周围的四个像素G2、G3、G4和G5进行双线性插值，得到G1的插值像素G1’。图27的第一张图中的所有空白处的待插值像素均遍历地采用该双线性插值的方式补全像素值，得到插值后的第一绿色原始图像。与之类似地，彩色处理模块2021可以采用双线性插值方法对第一红色原始图像进行插值处理，得到插值后的第一红色原始图像。(3)将插值后的第一红色原始图像、插值后的第一绿色原始图像和插值后的第一蓝色原始图像重新合成为具有3个颜色通道的一张图像，如图28所示。色彩处理模块2021对彩色图像进行去马赛克处理，有利于本申请实施方式将具有单颜色通道的像素值的彩色图像补全为具有多个颜色通道的彩色图像，从而在单颜色的感光像素的硬件基础上保持图像色彩的完整呈现。

色彩矫正处理具体可以为利用一个色彩校正矩阵对彩色原始图像(可以为经过去马赛克处理的第一彩色原始图像和第二彩色原始图像)的各像素的各颜色通道值进行一次校正，从而实现了对图像色彩的矫正。如下所示：

其中，色彩矫正矩阵(Color Correction Matrix,CCM)在色彩处理模块中预设。例如，色彩矫正矩阵具体可以为：

色彩处理模块通过对图像中的所有像素遍历地通过以上色彩矫正矩阵进行色彩矫正处理，可以得到经过色彩矫正处理的图像。本申请实施方式中色彩矫正处理有利于消除图像或视频帧中因为有色光源等造成的颜色严重偏差、图像中人或物体颜色失真的问题，使得本申请实施方式的高动态范围图像处理系统100能够恢复图像原始色彩，提高了图像的视觉效果。

色调映射处理可以包括如下步骤：(1)把彩色原始图像(可以为经过色彩矫正处理的第一彩色原始图像和第二彩色原始图像)的灰度值归一化到区间[0,1]内，记归一化后的灰度值为Vin；(2)设Vout＝Y(Vin)，Vout和Vin之间的映射关系可以为如图29所示；(3)把Vout乘上255(当设定输出图像的灰度值为256阶时，乘上255，在其他设定时，可以为其他数值)后再四舍五入取整数，得到了色调映射处理后的图像。对于高动态范围的图像而言，其灰度值的二进制位数往往高于8位(普通的灰度图像灰度值的二进制位数一般是8位)，而许多显示器的灰度只有8位，因此对高动态范围的图像的颜色进行变换，有利于高动态范围的图像具有更高的兼容性，能在常规的显示器上显示。另外，由于高动态范围图像一般灰度值分布得很不均匀，只有少数的像素点较亮，大部分像素都分布在灰度值较低的区间，本申请实施方式的高动态范围图像处理系统100对图像的色调映射处理并非线性的映射，而是在灰度值较低的区间的映射关系的斜率大于在灰度值较高的区间的映射关系的斜率，如图29所示，有利灰度值较低的区间内不同灰度值的像素点的区分度，而大部分像素都分布在灰度值较低的区间，因而使得本申请实施方式的高动态范围图像处理系统100具有更好的成像效果。

为了图像具有更广泛的应用场景或者具有更高效率的传输格式，本申请实施方式的高动态范围图像处理系统100可以对彩色原始图像(可以为经过色调映射处理的第一彩色原始图像和第二彩色原始图像)进行色彩转换处理，将图像由一个色彩空间(例如RGB色彩空间)转换成另一个色彩空间(例如YUV色彩空间)从而具有更广泛的应用场景或者具有更高效率的传输格式。在具体的实施例中，色彩转换处理的步骤可以为对图像中的所有像素值的R、G和B通道像素值进行如下公式转换得到Y、U和V通道像素值：(1)Y＝0.30R+0.59G+0.11B；(2)U＝0.493(B－Y)；(3)V＝0.877(R－Y)；从而将该图像由RGB色彩空间转换为YUV色彩空间。由于YUV色彩空间中的亮度信号Y和色度信号U和V是分离的，并且人眼对亮度的敏感超过色度，色彩转换处理将图像由RGB色彩空间转换为YUV色彩空间有利于本申请实施方式的高动态范围图像处理系统100后续的其他图像处理对图像进行色度信息的压缩，在不影响图像观看效果的同时，能减小图像的信息量，从而提高图像的传输效率。

在某些实施方式中，高动态融合单元50可以将至少两次曝光对应的目标图像(可以包括第一目标图像和第二目标图像)进行亮度对齐处理，以得到亮度对齐的目标图像，再融合亮度对齐的目标图像及一张或多张目标图像以得到高动态的目标图像。

在另一些实施方式中，彩色高动态融合单元30可以将至少两次曝光对应的彩色原始图像数据(例如第一彩色原始图像数据和第二彩色原始图像数据)进行亮度对齐处理，以得到亮度对齐的彩色原始图像数据，再融合亮度对齐的彩色原始图像数据及一张或多张彩色原始图像数据以得到高动态的彩色原始图像数据。全色高动态融合单元40可以将至少两次曝光对应的全色原始图像数据(例如第一全色原始图像数据和第二全色原始图像数据)进行亮度对齐处理，以得到亮度对齐的全色原始图像数据，再融合亮度对齐的全色原始图像数据及一张或多张全色原始图像数据以得到高动态的全色原始图像数据。

在又一些实施方式中，彩色高动态融合单元30可以将至少两次曝光对应的彩色原始图像(例如第一彩色原始图像和第二彩色原始图像)进行亮度对齐处理，以得到亮度对齐的彩色原始图像，再融合亮度对齐的彩色原始图像及一张或多张彩色原始图像以得到高动态的彩色原始图像。全色高动态融合单元40可以将至少两次曝光对应的全色原始图像(例如第一全色原始图像和第二全色原始图像)进行亮度对齐处理，以得到亮度对齐的全色原始图像，再融合亮度对齐的全色原始图像及一张或多张全色原始图像以得到高动态的全色原始图像。

在再一些实施方式中，彩色高动态融合单元30可以将至少两次曝光对应的彩色中间图像(例如第一彩色中间图像和第二彩色中间图像)进行亮度对齐处理，以得到亮度对齐的彩色中间图像，再融合亮度对齐的彩色中间图像及一张或多张彩色中间图像以得到高动态的彩色中间图像。全色高动态融合单元40可以将至少两次曝光对应的全色中间图像进行亮度对齐处理，以得到亮度对齐的全色中间图像(例如第一全色中间图像和第二全色中间图像)，再融合亮度对齐的全色中间图像及一张或多张全色中间图像以得到高动态的全色中间图像。

具体地，高动态融合单元50对图像进行的高动态范围处理可以包括亮度对齐处理。高动态融合单元50(可以包括彩色高动态融合单元30或全色高动态融合单元40)对图像进行亮度对齐处理包括如下步骤(该图像的张数可以等于图像传感器10控制像素阵列11进行的曝光次数，该图像可以为第一彩色原始图像数据和第二彩色原始图像数据，第一彩色原始图像数据、第二彩色原始图像数据和第三彩色原始图像数据，第一目标图像和第二目标图像，第一彩色原始图像和第二彩色原始图像，第一彩色中间图像和第二彩色中间图像，第一全色原始图像和第二全色原始图像，第一全色中间图像和第二全色中间图像，第一彩色原始图像、第二彩色原始图像和第三彩色原始图像，第一全色原始图像、第二全色原始图像和第三全色原始图像，第一彩色中间图像、第二彩色中间图像和第三彩色中间图像，第一全色中间图像、第二全色中间图像和第三全色中间图像中的其中一组，下文中以彩色高动态融合单元30对第一彩色中间图像(由长时间L曝光对应得到)、第二彩色中间图像(由中时间M曝光对应得到)和第三彩色中间图像(由短时间S曝光对应得到)进行亮度对齐处理为例进行说明)：(1)识别第一彩色中间图像中像素值大于第一预设阈值的过曝图像像素；(2)对于每一个过曝图像像素，以该过曝图像像素为中心扩展预定区域；(3)在预定区域内寻找像素值小于第一预设阈值的中间图像像素；(4)利用中间图像像素及第二彩色中间图像、第三彩色中间曝光图像对过曝图像像素的像素值进行修正；(5)利用过曝图像像素的修正后的像素值更新第一彩色中间图像以得到亮度对齐后的第一彩色中间图像。具体地，请结合图30，假设图像像素P12(图30中第一彩色中间图像内标记有虚线圆圈的图像像素)的像素值V1大于第一预设阈值V0，即图像像素P12为过曝图像像素P12，则彩色高动态融合单元30或全色高动态融合单元40以过曝图像像素P12为中心扩展一个预定区域，例如，图30所示的3*3区域。当然，在其他实施例中，也可以是4*4区域、5*5区域、10*10区域等，在此不作限制。随后，彩色高动态融合单元30或全色高动态融合单元40在3*3的预定区域内寻找像素值小于第一预设阈值V0的中间图像像素，例如图30中的图像像素P21(图30中第一彩色中间图像内标记有点画线圆圈的图像像素)的像素值V2小于第一预设阈值V0，则图像像素P21即为中间图像像素P21。随后，彩色高动态融合单元30在第二彩色中间图像中寻找与过曝图像像素P12及中间图像像素P21分别对应的图像像素，即图像像素P1'2'(图30中第二彩色中间图像内标记有虚线圆圈的图像像素)和图像像素P2'1'(图30中第二彩色中间图像内标记有点画线圆圈的图像像素)，其中，图像像素P1'2'与过曝图像像素P12对应，图像像素P2'1'与中间图像像素P21对应，图像像素P1'2'的像素值为V3，图像像素P2'1'的像素值为V4。随后，彩色高动态融合单元30根据V1'/V3＝V2/V4计算出V1'。当V1'小于第一预设阈值V0，彩色高动态融合单元30利用V1'的值来替换掉V1的值，当V1'大于第一预设阈值V0时，彩色高动态融合单元30在第三彩色中间图像中寻找与过曝图像像素P12及中间图像像素P21分别对应的图像像素，即图像像素P1”2”和P2”1”，图像像素P1”'2”的像素值为V5，图像像素P2”1”的像素值为V6，同理最终根据V1”/V5＝V2/V6计算出V1”，并利用V1”的值来替换掉V1的值。由此，即可计算出过曝图像像素P12的实际像素值。彩色高动态融合单元30或全色高动态融合单元40对第一彩色中间图像中的每一个过曝图像像素均执行这一亮度对齐的处理过程，即可得到亮度对齐后的第一彩色中间图像。由于亮度对齐后的第一彩色中间图像中的过曝图像像素的像素值经过了修正，亮度对齐后的第一彩色中间图像中的每个图像像素的像素值均较为准确。

高动态范围处理过程中，在获取到亮度对齐后的第一彩色中间图像(或者经过了上述亮度对齐处理的其他图像)后，彩色高动态融合单元30或全色高动态融合单元40可以对亮度对齐后的图像和同类图像进行融合以得到高动态的图像。具体地，下面以彩色高动态融合单元30或全色高动态融合单元40对亮度对齐后的第一彩色中间图像(由长时间L曝光对应得到)及第二彩色中间图像(由中时间M曝光对应得到)和第三彩色中间图像(由短时间S曝光对应得到)进行融合得到高动态的彩色中间图像进行说明。彩色高动态融合单元30或全色高动态融合单元40首先对亮度对齐后的第一彩色中间图像进行运动检测，以识别亮度对齐后的第一彩色中间图像中是否存在运动模糊区域。若亮度对齐后的第一彩色中间图像中不存在运动模糊区域，则直接融合亮度对齐后的第一彩色中间图像及第二彩色中间图像和第三彩色中间图像以得到高动态的彩色中间图像。若亮度对齐后的第一彩色中间图像中存在运动模糊区域，则将第一彩色中间图像中的运动模糊区域剔除，只融合第二彩色中间图像和第三彩色中间图像的所有区域以及亮度对齐后的第一彩色中间图像中除运动模糊区域以外的区域以得到高动态的彩色中间图像。其中，该高动态的彩色中间图像的分辨率可以等于像素阵列11的分辨率。具体地，在融合亮度对齐后的第一彩色中间图像及第二彩色中间图像和第三彩色中间图像时，若亮度对齐后的第一彩色中间图像中不存在运动模糊区域，则此时两张中间图像的融合遵循以下原则：(1)亮度对齐后的第一彩色中间图像中，过曝区域的图像像素的像素值直接替换为第二彩色中间图像中对应于该过曝区域的图像像素的像素值；若第二彩色中间图像中对应于该过曝区域的图像像素的像素值也过曝，则将亮度对齐后的第一彩色中间图像中过曝区域的图像像素的像素值直接替换为第三彩色中间图像中对应于该过曝区域的图像像素的像素值；(2)亮度对齐后的第一彩色中间图像中，欠曝区域的图像像素的像素值为：长曝光像素值除以系数K1，系数K1为K2和K3的平均数；K2为长曝光像素值和中曝光像素值的比例，K3为长曝光像素值和短曝光像素值的比例；(3)亮度对齐后的第一彩色中间图像中，未欠曝也未过曝区域的图像像素的像素值为：长曝光像素值除以系数K1。若亮度对齐后的第一彩色中间图像中存在运动模糊区域，则此时三张中间图像的融合除了遵循上述三个原则外，还需要遵循第(4)个原则：亮度对齐后的第一彩色中间图像中，运动模糊区域的图像像素的像素值直接替换为第二彩色中间图像中对应于该运动模糊区域的图像像素的像素值和第三彩色中间图像中对应于该运动模糊区域的图像像素的像素值的平均值。本申请实施方式的高动态范围图像处理系统100通过彩色高动态融合单元30或全色高动态融合单元40对图像进行高动态范围处理，先对图像进行亮度对齐处理，再对亮度对齐后的图像与其他图像进行融合，得到高动态的图像，使得高动态范围图像处理系统100形成的目标图像具有更大的动态范围，进而具有更好的成像效果。

融合模块204可以对彩色中间图像和全色中间图像进行融合算法处理。融合算法处理的具体过程可以为如下，以彩色中间图像具有R(即红色)、G(即绿色)和B(即蓝色)三个颜色通道的彩色信息、全色中间图像具有全色信息为例进行说明，全色信息可以为亮度信息，融合算法处理的具体过程可以包括：(1)根据彩色中间图像，计算各个像素对应的辅助值Y，其中，Y＝(R*w1+B*w2+G*w3)/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；(2)计算彩色中间图像中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1＝R/Y，K2＝G/Y，K3＝B/Y；(3)对所述参考通道值K1、K2和K3进行色彩降噪处理；(4)将对应像素上的全色信息Y’与色彩降噪后的参考通道值K1-K3进行融合，生成融合后的RGB三通道值R’、G’和B’，得到目标图像；其中，R’＝K1*Y’；G’＝K2*Y’；B’＝K3*Y’。本申请实施方式的融合模块204对彩色图像和全色图像进行融合算法处理，使得最终形成的目标图像的来源同时具有彩色信息和亮度信息，由于人眼对亮度的敏感超过色度，因而对于人眼视觉特性而言，本申请实施方式的高动态范围图像处理系统100具有更好的成像效果，最终得到的目标图像也更贴近人眼视觉。

高动态融合单元50集成在图像传感器10中；或高动态融合单元50集成在图像处理器20中。具体地，请参阅图18，在某些实施方式中，彩色高动态融合单元30和全色高动态融合单元40可以集成在图像传感器10中；请参阅图1、图19和图20，在另外的实施方式中，彩色高动态融合单元30和全色高动态融合单元40可以集成在图像处理器20中。彩色高动态融合单元30和全色高动态融合单元40集成在图像传感器10或图像处理器20中使得本申请实施方式的高动态范围图像处理系统100在无需提高图像传感器10的硬件性能的情况下实现高动态范围处理，同时彩色高动态融合单元30和全色高动态融合单元40将高动态范围处理的功能独立地封装起来，有利于降低产品设计过程中的设计难度，提高设计更改的便捷性。

在某些实施方式中，图像预处理可以包括像素相加处理和去马赛克处理。在某些实施方式中，请参阅图1，彩色预处理模块2023可以对彩色原始图像数据进行像素相加处理，得到彩色原始图像，全色预处理模块2024可以对全色原始图像数据进行去马赛克处理，得到全色原始图像。在另外的实施方式中，请参阅图1，彩色预处理模块2023可以对彩色原始图像数据进行像素相加处理，得到彩色原始图像；全色预处理模块2024可以对全色原始图像数据进行去马赛克处理，得到全色原始图像。其中，去马赛克处理与前述全色预处理模块2024对全色原始图像数据进行的去马赛克处理的具体实施过程相同，在此不再展开说明。本申请实施方式的高动态范围图像处理系统100对部分像素格中的彩色信息缺失并且具有彩色信息的像素格仅具有单颜色通道信息的彩色原始图像数据进行像素相加处理，能以一种简单的、计算量较小的方式，得到完整通道的彩色信息，进而得到彩色原始图像，以便后续对图像继续进行其他图像处理，提高成像质量。

在另一些实施方式中，图像预处理可以包括像素求平均处理和去马赛克处理。在某些实施方式中，请参阅图1，彩色预处理模块2023可以对彩色原始图像数据进行像素求平均处理，得到彩色原始图像，全色预处理模块2024可以对全色原始图像数据进行去马赛克处理，得到全色原始图像。在另外的实施方式中，请参阅图1，彩色预处理模块2023可以对彩色原始图像数据进行像素求平均处理，得到彩色原始图像；全色预处理模块2024可以对全色原始图像数据进行去马赛克处理，得到全色原始图像。其中，去马赛克处理与前述全色预处理模块2024对全色原始图像数据进行地去马赛克处理的具体实施过程相同，在此不再展开说明。本申请实施方式的高动态范围图像处理系统100对部分像素格中的彩色信息缺失并且具有彩色信息的像素格仅具有单颜色通道信息的彩色原始图像数据进行像素求平均处理，能以一种简单的、计算量较小的方式，得到完整通道的彩色信息，进而得到彩色原始图像，以便后续对图像继续进行其他图像处理，提高成像质量。

下面以对彩色原始图像数据进行像素相加处理为例进行说明，像素相加处理的具体步骤如下：(1)将彩色原始图像数据分解成第一颜色原始图像数据(由上文所述的第一颜色感光像素A生成的原始图像数据)、第二颜色原始图像数据(由上文所述的第二颜色感光像素B生成的原始图像数据)和第三颜色原始图像数据(由上文所述的第三颜色感光像素C生成原始图像数据)。(2)将第一颜色原始图像数据中子单元的多个第一颜色感光像素A生成的像素值进行相加运算，求得加和值后将每个子单元范围的像素格融合成一个像素格，并将该平均值填入该像素格中，得到第一颜色中间图像数据。(3)对第一颜色中间图像数据利用双线性插值方法进行插值，得到分辨率为彩色原始图像数据的四分之一的彩色原始图像。双线性插值的具体操作方式下文中会详细阐述。(4)将第一颜色原始图像数据、第二颜色原始图像数据和第三颜色原始图像数据，均进行以上(2)和(3)步骤后，将所得的具有一个颜色通道的第一颜色原始图像、第二颜色原始图像和第三颜色原始图像合成为具有三个颜色通道的彩色原始图像。彩色预处理模块2023可以对至少两次曝光对应的所有彩色原始图像数据均进行以上步骤的像素相加处理，从而完成对所有彩色原始图像数据的像素球相加处理，得到至少两张彩色原始图像。具体地，请结合图31，下面以彩色预处理模块2023对第一彩色原始图像数据中的第一红色原始图像数据进行像素相加处理为例进行说明。如图31所示，彩色预处理模块2023先将彩色原始图像(可以为第一彩色原始图像、第二彩色原始图像或第三彩色原始图像等)数据分解成红色原始图像数据、绿色原始图像数据和蓝色原始图像数据。如图16所示，彩色预处理模块2023再将红色原始图像数据中子单元的多个红颜色感光像素R生成的像素值(例如L1和L2)进行求相加运算，求得加和值L1’＝L1+L2后将子单元范围的像素格融合成一个像素格，并将该加和值填入该像素格中，得到红色中间图像数据。然后，红色预处理模块对红色中间图像数据利用双线性插值方法进行插值，得到分辨率为红色原始图像数据的四分之一的红色原始图像。与此相似地，彩色预处理模块2023可以得到红色原始图像、绿色原始图像和蓝色原始图像，并将所得的具有一个颜色通道的红色原始图像、绿色原始图像和蓝色原始图像合成为具有3个颜色通道的彩色原始图像。彩色预处理模块2023可以对第一彩色原始图像数据和第二原始图像数据(或者第一彩色原始图数据、第二彩色原始图像数据和第三彩色原始图像数据)均进行以上步骤的像素相加处理，从而完成对彩色原始图像数据的像素相加处理，得到第一彩色原始图像和第二彩色原始图像(或者第一彩色原始图、第二彩色原始图像和第三彩色原始图像)。

下面以对彩色原始图像数据进行像素求平均处理为例进行说明，像素求平均处理的具体步骤如下：(1)将彩色原始图像数据分解成第一颜色原始图像数据(由上文所述的第一颜色感光像素A生成的原始图像数据)、第二颜色原始图像数据(由上文所述的第二颜色感光像素B生成的原始图像数据)和第三颜色原始图像数据(由上文所述的第三颜色感光像素C生成原始图像数据)。(2)将第一颜色原始图像数据中子单元的多个第一颜色感光像素A生成的像素值进行求平均值运算，求得平均值后将子单元范围的像素格融合成一个像素格，并将该平均值填入该像素格中，得到第一颜色中间图像数据。(3)对第一颜色中间图像数据利用双线性插值方法进行插值，得到分辨率为彩色原始图像数据的四分之一的彩色原始图像。双线性插值的具体操作方式下文中会详细阐述。(4)将第一颜色原始图像数据、第二颜色原始图像数据和第三颜色原始图像数据，均进行以上(2)和(3)步骤后，将所得的具有一个颜色通道的第一颜色原始图像、第二颜色原始图像和第三颜色原始图像合成为具有三个颜色通道的彩色原始图像。彩色预处理模块2023可以对至少两次曝光对应的所有彩色原始图像数据均进行以上步骤的像素求平均处理，从而完成对所有彩色原始图像数据的像素求平均处理，得到至少两张彩色原始图像。具体地，请结合图32，下面以彩色预处理模块2023对第一彩色原始图像数据中的第一红色原始图像数据进行像素求平均处理为例进行说明。如图32所示，彩色预处理模块2023先将彩色原始图像(可以为第一彩色原始图像、第二彩色原始图像或第三彩色原始图像等)数据分解成红色原始图像数据、绿色原始图像数据和蓝色原始图像数据。如图16所示，彩色预处理模块2023再将红色原始图像数据中子单元的多个红颜色感光像素R生成的像素值(例如L1和L2)进行求平均值运算，求得平均值L1’＝(L1+L2)/2后将子单元范围的像素格融合成一个像素格，并将该平均值填入该像素格中，得到红色中间图像数据。然后，红色预处理模块对红色中间图像数据利用双线性插值方法进行插值，得到分辨率为红色原始图像数据的四分之一的红色原始图像。与此相似地，彩色预处理模块2023可以得到红色原始图像、绿色原始图像和蓝色原始图像，并将所得的具有一个颜色通道的红色原始图像、绿色原始图像和蓝色原始图像合成为具有3个颜色通道的彩色原始图像。彩色预处理模块2023可以对第一彩色原始图像数据和第二原始图像数据(或者第一彩色原始图数据、第二彩色原始图像数据和第三彩色原始图像数据)均进行以上步骤的像素求平均处理，从而完成对彩色原始图像数据的像素求平均处理，得到第一彩色原始图像和第二彩色原始图像(或者第一彩色原始图、第二彩色原始图像和第三彩色原始图像)。

图像处理器20还可以包括接收单元201和内存单元203。接收单元201用于接收彩色原始图像数据和全色原始图像数据；内存单元203用于暂存彩色原始图像数据、全色原始图像数据、彩色原始图像、全色原始图像、彩色中间图像、全色中间图像和目标图像中的一个或多个。图像处理器20设置接收单元201和内存单元203将图像的接收、处理和存储分开，有利于高动态范围图像处理系统100的各模块具有更加独立的封装，从而使得高动态范围图像处理系统100具有更高的执行效率和更好的防干扰效果，此外，还有利于降低高动态范围图像处理系统100的重新设计过程的设计难度，从而降低成本。

请参阅图33，本申请还提供一种电子设备1000。本申请实施方式的电子设备1000包括镜头300、壳体200及上述任意一项实施方式的高动态范围图像处理系统100。镜头300、高动态范围图像处理系统100与壳体200结合。镜头300与高动态范围图像处理系统100的图像传感器10配合成像。

电子设备1000可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能眼镜、智能头盔)、无人机、头显设备等，在此不作限制。

本申请实施方式的电子设备1000通过控制像素阵列11至少分别以第一曝光时间和第二曝光时间进行两次曝光，并且根据不同的曝光时间和不同的感光像素生成多张图像，以便后续对此多张图像进行图像预处理、高动态范围处理、图像处理和融合算法处理，从而得到具有高动态范围的目标图像。本申请实施方式的电子设备1000在无需提高图像传感器10的感光像素硬件参数的情况下，就能实现高动态范围功能，使得目标图像的亮处、暗位都能够具有更佳的表现，有利于提高成像性能的同时，有助于降低成本。

请参阅图34，本申请提供一种高动态范围图像处理方法。本申请实施方式的高动态范围图像处理方法用于高动态范围图像处理系统100。高动态范围图像处理系统100可以包括图像传感器10。图像传感器10包括像素阵列11。像素阵列11包括多个全色感光像素和多个彩色感光像素。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元。每个最小重复单元包含多个子单元。每个子单元包括多个单颜色感光像素及多个全色感光像素。高动态范围图像处理方法包括：

01：控制像素阵列11曝光。其中，像素阵列11以第一曝光时间曝光得到第一原始图像。第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据。像素阵列11以第二曝光时间曝光得到第二原始图像。第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据。其中，第一曝光时间不等于第二曝光时间。和

02：对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

本申请实施方式的高动态范围图像处理方法通过控制像素阵列11至少分别以第一曝光时间和第二曝光时间进行两次曝光，并且根据不同的曝光时间和不同的感光像素生成多张图像，以便后续对此多张图像进行图像预处理、高动态范围处理、图像处理和融合算法处理，从而得到具有高动态范围的目标图像。本申请实施方式的高动态范围图像处理方法在无需提高图像传感器10的感光像素硬件参数的情况下，就能实现高动态范围功能，使得目标图像的亮处、暗位都能够具有更佳的表现，有利于提高成像性能的同时，有助于降低成本。

在某些实施方式中，像素阵列11还可以以第三曝光时间曝光得到第三原始图像。第三原始图像包括以第三曝光时间曝光的单颜色感光像素生成的第三彩色原始图像数据和以第三曝光时间曝光的全色感光像素生成的第三全色原始图像数据。其中，第三曝光时间不等于第一曝光时间，第三曝光时间不等于第二曝光时间。对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像可以包括：

对第一原始图像、第二原始图像和第三原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

在某些实施方式中，图像预处理包括像素补全处理和去马赛克处理，图像处理包括第一图像处理和第二图像处理；对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像还可以包括：

对彩色原始图像数据进行像素补全处理，得到彩色原始图像；

对全色原始图像数据进行去马赛克处理，得到全色原始图像；

对彩色原始图像进行第一图像处理，得到彩色中间图像；

对全色原始图像进行第二图像处理，得到全色中间图像；

对彩色中间图像和全色中间图像进行融合算法处理得到目标图像。

在某些实施方式中，在对彩色中间图像和全色中间图像进行融合算法处理得到目标图像之后，对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像还包括：

将至少两次曝光对应的目标图像融合得到高动态的目标图像。

在某些实施方式中，在对彩色原始图像数据进行像素补全处理，得到彩色原始图像之前，对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像还包括：

将至少两次曝光对应的彩色原始图像数据融合得到高动态的彩色原始图像数据；

在对全色原始图像数据进行去马赛克处理，得到全色原始图像之前，对第一原始图像和第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像还包括：

将至少两次曝光对应的全色原始图像数据融合得到高动态的全色原始图像数据。

在某些实施方式中，第一图像处理包括：

黑电平矫正处理、镜头阴影矫正处理、坏点补偿处理、去马赛克处理、色彩矫正处理、全局色调映射处理和色彩转换处理中的一个或多个；

第二图像处理包括：

黑电平矫正处理、镜头阴影矫正处理、坏点补偿处理和全局色调映射处理中的一个或多个。

在某些实施方式中，第一图像处理包括第一图像子处理和第二图像子处理，彩色处理模块2021用于对彩色原始图像先进行第一图像子处理，再进行第二图像子处理，第一图像子处理包括：

黑电平矫正处理、镜头阴影矫正处理和坏点补偿处理中的一个或多个；

第二图像子处理包括：

去马赛克处理、色彩矫正处理、全局色调映射处理和色彩转换处理中的一个或多个。

在某些实施方式中，将至少两次曝光对应的目标图像融合得到高动态的目标图像包括：

将至少两次曝光对应的目标图像进行亮度对齐处理，以得到亮度对齐的目标图像，再融合亮度对齐的目标图像及一张或多张目标图像以得到高动态的目标图像。

在某些实施方式中，将至少两次曝光对应的彩色原始图像数据融合得到高动态的彩色原始图像数据包括：

将至少两次曝光对应的彩色原始图像数据进行亮度对齐处理，以得到亮度对齐的彩色原始图像数据，再融合亮度对齐的彩色原始图像数据及一张或多张彩色原始图像数据以得到高动态的彩色原始图像数据；

将至少两次曝光对应的全色原始图像数据融合得到高动态的全色原始图像数据包括：

将至少两次曝光对应的全色原始图像数据进行亮度对齐处理，以得到亮度对齐的全色原始图像数据，再融合亮度对齐的全色原始图像数据及一张或多张全色原始图像数据以得到高动态的全色原始图像数据。

在某些实施方式中，高动态范围像处理方法还包括：

接收彩色原始图像数据和全色原始图像数据；和

暂存彩色原始图像数据、全色原始图像数据、彩色原始图像、全色原始图像、彩色中间图像、全色中间图像和目标图像中的一个或多个。

在某些实施方式中，图像预处理包括像素相加处理和去马赛克处理，对第一原始图像、第二原始图像和第三原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像包括：

对彩色原始图像数据进行像素相加处理，得到彩色原始图像；和

对全色原始图像数据进行去马赛克处理，得到全色原始图像；或者

图像预处理包括像素求平均处理和去马赛克处理，对第一原始图像、第二原始图像和第三原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像包括：

对彩色原始图像数据进行像素求平均处理，得到彩色原始图像；和

对全色原始图像数据进行去马赛克处理，得到全色原始图像。

上述任意一项实施方式的高动态范围图像处理方法的具体实施过程与前述高动态范围图像处理系统100获得目标图像的具体实施过程相同，在此不再展开说明。

请参阅29，本申请还提供一种包含计算机程序的非易失性计算机可读存储介质400。该计算机程序被处理器60执行时，使得处理器60执行上述任意一项实施方式所述的高动态范围图像处理方法。

综上，本申请实施方式的高动态范围图像处理系统100及方法、电子设备1000和计算机可读存储介质400通过控制像素阵列11至少分别以第一曝光时间和第二曝光时间进行两次曝光，并且根据不同的曝光时间和不同的感光像素生成多张图像，以便后续对此多张图像进行图像预处理、高动态范围处理、图像处理和融合算法处理，从而得到具有高动态范围的目标图像。本申请实施方式的高动态范围图像处理系统100及方法、电子设备1000和计算机可读存储介质400在无需提高图像传感器10的感光像素硬件参数的情况下，就能实现高动态范围功能，使得目标图像的亮处、暗位都能够具有更佳的表现，有利于提高成像性能的同时，有助于降低成本。

此外，相关技术中，图像处理器仅能对传统的由彩色感光像素组成的像素阵列形成的图像进行处理，不适用同时具有彩色感光像素和全色感光像素的像素阵列产生的图像。本申请实施方式的高动态范围图像处理系统100及方法、电子设备1000和计算机可读存储介质400适用于具有彩色感光像素和全色感光像素的像素阵列11产生的图像。在同样的光环境和其他辅助硬件下，全色感光像素能接收比彩色感光像素更多的光线，从而能提高最终形成的图像的亮度，并且人眼对亮度的敏感超过色度，从而使得本申请实施方式的高动态范围图像处理系统100及方法、电子设备1000和计算机可读存储介质400具有更好的成像效果。

相关技术中采用例如提高快门速度或选取感光响应曲线呈对数形式的感光像素的方式，对高动态相机的图像传感器的硬件参数提出较高要求。本申请实施方式的高动态范围图像处理系统100及方法、电子设备1000和计算机可读存储介质400在无需提高图像传感器10的硬件参数要求的情况下，通过在图像传感器10中设置高动态融合单元50和融合模块204，配合相应的曝光方式，就能实现高动态范围处理功能，进而得到成像效果更好的图像。

在本申请的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请的实施方式中的具体含义。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(控制方法)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“某些实施方式”等的描述意指结合所述实施方式或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施方式中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施方式中以合适的方式结合。

尽管上面已经示出和描述了本申请实施方式，可以理解，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (25)

1.一种高动态范围图像处理系统，其特征在于，包括图像传感器、高动态融合单元和图像处理器；

所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；

所述像素阵列以第一曝光时间曝光得到第一原始图像，所述第一原始图像包括以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以所述第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据；所述像素阵列以第二曝光时间曝光得到第二原始图像，所述第二原始图像包括以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以所述第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据；其中，所述第一曝光时间不等于所述第二曝光时间；

所述图像处理器和所述高动态融合单元用于对所述第一原始图像和所述第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

2.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述像素阵列以第三曝光时间曝光得到第三原始图像，所述第三原始图像包括以所述第三曝光时间曝光的所述单颜色感光像素生成的第三彩色原始图像数据和以所述第三曝光时间曝光的所述全色感光像素生成的第三全色原始图像数据；其中，所述第三曝光时间不等于所述第一曝光时间，所述第三曝光时间不等于所述第二曝光时间；

所述图像处理器、所述高动态融合单元用于对所述第一原始图像、所述第二原始图像和所述第三原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

3.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述图像处理器包括彩色预处理模块、全色预处理模块、彩色处理模块、全色处理模块和融合模块，所述图像预处理包括像素补全处理和去马赛克处理，所述图像处理包括第一图像处理和第二图像处理；其中：

所述彩色预处理模块用于对彩色原始图像数据进行像素补全处理，得到彩色原始图像；

所述全色预处理模块用于对全色原始图像数据进行去马赛克处理，得到全色原始图像；

所述彩色处理模块用于对所述彩色原始图像进行第一图像处理，得到彩色中间图像；

所述全色处理模块用于对所述全色原始图像进行第二图像处理，得到全色中间图像；

所述融合模块用于对所述彩色中间图像和所述全色中间图像进行融合算法处理得到所述目标图像。

4.根据权利要求3所述的高动态范围图像处理系统，其特征在于，在所述融合模块对所述彩色中间图像和所述全色中间图像进行融合算法处理得到所述目标图像之后：

所述高动态融合单元用于将至少两次曝光对应的所述目标图像融合得到高动态的所述目标图像。

5.根据权利要求3所述的高动态范围图像处理系统，其特征在于，所述高动态融合单元包括彩色高动态融合单元和全色高动态融合单元，在所述彩色预处理模块对彩色原始图像数据进行像素补全处理，得到彩色原始图像之前：

所述彩色高动态融合单元用于将至少两次曝光对应的所述彩色原始图像数据融合得到高动态的所述彩色原始图像数据；

在所述全色预处理模块对全色原始图像数据进行去马赛克处理，得到全色原始图像之前：

所述全色高动态融合单元用于将至少两次曝光对应的所述全色原始图像数据融合得到高动态的所述全色原始图像数据。

6.根据权利要求3所述的高动态范围图像处理系统，其特征在于，所述第一图像处理包括：

黑电平矫正处理、镜头阴影矫正处理、坏点补偿处理、去马赛克处理、色彩矫正处理、全局色调映射处理和色彩转换处理中的一个或多个；

所述第二图像处理包括：

所述黑电平矫正处理、所述镜头阴影矫正处理、所述坏点补偿处理和所述全局色调映射处理中的一个或多个。

7.根据权利要求6所述的高动态范围图像处理系统，其特征在于，所述第一图像处理包括第一图像子处理和第二图像子处理，所述彩色处理模块用于对所述彩色原始图像先进行第一图像子处理，再进行第二图像子处理，所述第一图像子处理包括：

黑电平矫正处理、镜头阴影矫正处理和坏点补偿处理中的一个或多个；

所述第二图像子处理包括：

去马赛克处理、色彩矫正处理、全局色调映射处理和色彩转换处理中的一个或多个。

8.根据权利要求4所述的高动态范围图像处理系统，其特征在于，所述高动态融合单元用于：

将至少两次曝光对应的所述目标图像进行亮度对齐处理，以得到亮度对齐的所述目标图像，再融合亮度对齐的所述目标图像及一张或多张所述目标图像以得到所述高动态的所述目标图像。

9.根据权利要求5所述的高动态范围图像处理系统，其特征在于，所述彩色高动态融合单元用于：

将至少两次曝光对应的所述彩色原始图像数据进行亮度对齐处理，以得到亮度对齐的所述彩色原始图像数据，再融合亮度对齐的所述彩色原始图像数据及一张或多张所述彩色原始图像数据以得到高动态的所述彩色原始图像数据；

所述全色高动态融合单元用于：

将至少两次曝光对应的所述全色原始图像数据进行亮度对齐处理，以得到亮度对齐的所述全色原始图像数据，再融合亮度对齐的所述全色原始图像数据及一张或多张所述全色原始图像数据以得到高动态的所述全色原始图像数据。

10.根据权利要求4或5所述的高动态范围图像处理系统，其特征在于，所述图像处理器还包括：

接收单元，所述接收单元用于接收所述彩色原始图像数据和所述全色原始图像数据；和

内存单元，所述内存单元用于暂存所述彩色原始图像数据、所述全色原始图像数据、所述彩色原始图像、所述全色原始图像、所述彩色中间图像、所述全色中间图像和所述目标图像中的一个或多个。

11.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述图像处理器包括彩色预处理模块和全色预处理模块，

所述图像预处理包括像素相加处理和去马赛克处理，所述彩色预处理模块用于对彩色原始图像数据进行像素相加处理，得到彩色原始图像，所述全色预处理模块用于对全色原始图像数据进行去马赛克处理，得到全色原始图像；或者

所述图像预处理包括像素求平均处理和去马赛克处理，所述彩色预处理模块用于对彩色原始图像数据进行像素求平均处理，得到彩色原始图像，所述全色预处理模块用于对全色原始图像数据进行去马赛克处理，得到全色原始图像。

12.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述高动态融合单元集成在所述图像传感器中；或所述高动态融合单元集成在所述图像处理器中。

13.一种高动态范围图像处理方法，用于高动态范围图像处理系统，其特征在于，所述高动态范围图像处理系统包括图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；所述高动态范围图像处理方法包括：

控制所述像素阵列曝光，其中，所述像素阵列以第一曝光时间曝光得到第一原始图像，所述第一原始图像包括以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以所述第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据；所述像素阵列以第二曝光时间曝光得到第二原始图像，所述第二原始图像包括以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以所述第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据；其中，所述第一曝光时间不等于所述第二曝光时间；和

对所述第一原始图像和所述第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

14.根据权利要求13所述的高动态范围图像处理方法，其特征在于，所述像素阵列以第三曝光时间曝光得到第三原始图像，所述第三原始图像包括以所述第三曝光时间曝光的所述单颜色感光像素生成的第三彩色原始图像数据和以所述第三曝光时间曝光的所述全色感光像素生成的第三全色原始图像数据；其中，所述第三曝光时间不等于所述第一曝光时间，所述第三曝光时间不等于所述第二曝光时间；所述对所述第一原始图像和所述第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像包括：

对所述第一原始图像、所述第二原始图像和所述第三原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像。

15.根据权利要求13所述的高动态范围图像处理方法，其特征在于，所述图像预处理包括像素补全处理和去马赛克处理，所述图像处理包括第一图像处理和第二图像处理；所述对所述第一原始图像和所述第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像包括：

对彩色原始图像数据进行像素补全处理，得到彩色原始图像；

对全色原始图像数据进行去马赛克处理，得到全色原始图像；

对所述彩色原始图像进行第一图像处理，得到彩色中间图像；

对所述全色原始图像进行第二图像处理，得到全色中间图像；

对所述彩色中间图像和所述全色中间图像进行融合算法处理得到所述目标图像。

16.根据权利要求15所述的高动态范围图像处理方法，其特征在于，在所述对所述彩色中间图像和所述全色中间图像进行融合算法处理得到所述目标图像之后，所述对所述第一原始图像和所述第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像还包括：

将至少两次曝光对应的所述目标图像融合得到高动态的所述目标图像。

17.根据权利要求15所述的高动态范围图像处理方法，其特征在于，在对彩色原始图像数据进行像素补全处理，得到彩色原始图像之前，所述对所述第一原始图像和所述第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像还包括：

将至少两次曝光对应的所述彩色原始图像数据融合得到高动态的所述彩色原始图像数据；

在对全色原始图像数据进行去马赛克处理，得到全色原始图像之前，所述对所述第一原始图像和所述第二原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像还包括：

将至少两次曝光对应的所述全色原始图像数据融合得到高动态的所述全色原始图像数据。

18.根据权利要求15所述的高动态范围像处理方法，其特征在于，所述第一图像处理包括：

黑电平矫正处理、镜头阴影矫正处理、坏点补偿处理、去马赛克处理、色彩矫正处理、全局色调映射处理和色彩转换处理中的一个或多个；

所述第二图像处理包括：

所述黑电平矫正处理、所述镜头阴影矫正处理、所述坏点补偿处理和所述全局色调映射处理中的一个或多个。

19.根据权利要求18所述的高动态范围图像处理方法，其特征在于，所述第一图像处理包括第一图像子处理和第二图像子处理，所述彩色处理模块用于对所述彩色原始图像先进行第一图像子处理，再进行第二图像子处理，所述第一图像子处理包括：

黑电平矫正处理、镜头阴影矫正处理和坏点补偿处理中的一个或多个；

所述第二图像子处理包括：

去马赛克处理、色彩矫正处理、全局色调映射处理和色彩转换处理中的一个或多个。

20.根据权利要求16所述的高动态范围像处理方法，其特征在于，所述将至少两次曝光对应的所述目标图像融合得到高动态的所述目标图像包括：

将至少两次曝光对应的所述目标图像进行亮度对齐处理，以得到亮度对齐的所述目标图像，再融合亮度对齐的所述目标图像及一张或多张所述目标图像以得到所述高动态的所述目标图像。

21.根据权利要求17任意一项所述的高动态范围像处理方法，其特征在于，所述将至少两次曝光对应的所述彩色原始图像数据融合得到高动态的所述彩色原始图像数据包括：

将至少两次曝光对应的所述彩色原始图像数据进行亮度对齐处理，以得到亮度对齐的所述彩色原始图像数据，再融合亮度对齐的所述彩色原始图像数据及一张或多张所述彩色原始图像数据以得到高动态的所述彩色原始图像数据；

所述将至少两次曝光对应的所述全色原始图像数据融合得到高动态的所述全色原始图像数据包括：

将至少两次曝光对应的所述全色原始图像数据进行亮度对齐处理，以得到亮度对齐的所述全色原始图像数据，再融合亮度对齐的所述全色原始图像数据及一张或多张所述全色原始图像数据以得到高动态的所述全色原始图像数据。

22.根据权利要求16或17所述的高动态范围像处理方法，其特征在于，所述高动态范围像处理方法还包括：

接收所述彩色原始图像数据和所述全色原始图像数据；和

暂存所述彩色原始图像数据、所述全色原始图像数据、所述彩色原始图像、所述全色原始图像、所述彩色中间图像、所述全色中间图像和所述目标图像中的一个或多个。

23.根据权利要求13所述的高动态范围像处理方法，其特征在于，所述图像预处理包括像素相加处理和去马赛克处理，所述对所述第一原始图像、所述第二原始图像和所述第三原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像包括：

对彩色原始图像数据进行像素相加处理，得到彩色原始图像；和

对全色原始图像数据进行去马赛克处理，得到全色原始图像；或者

所述图像预处理包括像素求平均处理和去马赛克处理，所述对所述第一原始图像、所述第二原始图像和所述第三原始图像进行图像预处理、高动态范围处理、图像处理和融合算法处理得到目标图像包括：

对彩色原始图像数据进行像素求平均处理，得到彩色原始图像；和

对全色原始图像数据进行去马赛克处理，得到全色原始图像。

24.一种电子设备，其特征在于，包括：

镜头；

壳体；及

权利要求1至12任意一项所述的高动态范围图像处理系统，所述镜头、所述高动态范围图像处理系统与所述壳体结合，所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。

25.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行权利要求13至23任意一项所述的高动态范围图像处理方法。

Images