CN111432099A - 图像传感器、处理系统及方法、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种图像传感器、高动态范围图像处理系统及方法、电子设备和计算机可读存储介质。高动态范围图像处理系统包括图像传感器、彩色高动态融合单元和图像处理器。当图像传感器中的像素阵列曝光时，同一子单元中至少一个单颜色感光像素以第一曝光时间曝光，至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光，至少一个全色感光像素以小于或等于第一曝光时间的第三曝光时间曝光，至少一个全色感光像素以小于第一曝光时间的第四曝光时间曝光。彩色高动态融合单元和图像处理器用于对第一彩色原始图像、第二彩色原始图像和全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

Description

图像传感器、处理系统及方法、电子设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像传感器、高动态范围图像处理系统及方法、电子设备和计算机可读存储介质。

背景技术

普通相机因受到动态范围的限制，不能记录极端亮或者暗的细节。尤其在拍摄场景的光比较大的时候，很容易出现过曝或者欠曝的情况。具有高动态范围(High-DynamicRange,HDR)功能的相机，在大光比情况下拍摄图像，无论是高光、暗位都能够具有比普通相机更佳的表现。具有高动态范围功能的一些高动态相机采用较高感光度的像素阵列，同时提高快门速度来减少曝光，以保存更多高光部分的细节；或者选取感光响应曲线呈对数形式的感光像素，致使感光像素达到光饱和的速度减慢，这对高动态相机的图像传感器的硬件参数提出较高要求，使得成本增加，设计难度增大，不利于产品的批量生产。

发明内容

本申请实施方式提供一种图像传感器、高动态范围图像处理系统及方法、电子设备和计算机可读存储介质。

本申请实施方式提供的图像传感器包括像素阵列。所述像素阵列包括多个全色感光像素和多个彩色感光像素。所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元。每个所述子单元包括多个单颜色感光像素及多个全色感光像素。当所述图像传感器中的像素阵列曝光时，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于或等于所述第一曝光时间的第三曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第四曝光时间曝光。其中，以所述第一曝光时间曝光的所述单颜色感光像素生成第一彩色信息得到第一彩色原始图像。以所述第二曝光时间曝光的所述单颜色感光像素生成第二彩色信息得到第二彩色原始图像。以所述第三曝光时间曝光的所述全色感光像素生成第一全色信息、以所述第四曝光时间曝光的所述全色感光像素生成第二全色信息，以得到全色原始图像。

本申请实施方式提供的高动态范围图像处理系统包括图像传感器、彩色高动态融合单元和图像处理器。所述图像传感器包括像素阵列。所述像素阵列包括多个全色感光像素和多个彩色感光像素。所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元。每个所述子单元包括多个单颜色感光像素及多个全色感光像素。当所述图像传感器中的像素阵列曝光时，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于或等于所述第一曝光时间的第三曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第四曝光时间曝光。其中，以所述第一曝光时间曝光的所述单颜色感光像素生成第一彩色信息得到第一彩色原始图像。以所述第二曝光时间曝光的所述单颜色感光像素生成第二彩色信息得到第二彩色原始图像。以所述第三曝光时间曝光的所述全色感光像素生成第一全色信息、以所述第四曝光时间曝光的所述全色感光像素生成第二全色信息，以得到全色原始图像。所述彩色高动态融合单元和所述图像处理器用于对所述第一彩色原始图像、所述第二彩色原始图像和所述全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

本申请实施方式提供的高动态范围图像处理方法用于高动态范围图像处理系统。所述高动态范围图像处理系统包括图像传感器。所述图像传感器包括像素阵列。所述像素阵列包括多个全色感光像素和多个彩色感光像素。所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元。每个所述子单元包括多个单颜色感光像素及多个全色感光像素。所述高动态范围图像处理方法包括：控制所述像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于或等于所述第一曝光时间的第三曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第四曝光时间曝光，其中，以所述第一曝光时间曝光的所述单颜色感光像素生成第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色信息、以所述第四曝光时间曝光的所述全色感光像素生成第二全色信息，以得到全色原始图像；和对所述第一彩色原始图像、所述第二彩色原始图像和所述全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

本申请实施方式提供的电子设备包括镜头、壳体及高动态范围图像处理系统。所述镜头、高动态范围图像处理系统与所述壳体结合。所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。所述高动态范围图像处理系统包括图像传感器、彩色高动态融合单元和图像处理器。所述图像传感器包括像素阵列。所述像素阵列包括多个全色感光像素和多个彩色感光像素。所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元。每个所述子单元包括多个单颜色感光像素及多个全色感光像素。当所述图像传感器中的像素阵列曝光时，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于或等于所述第一曝光时间的第三曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第四曝光时间曝光。其中，以所述第一曝光时间曝光的所述单颜色感光像素生成第一彩色信息得到第一彩色原始图像。以所述第二曝光时间曝光的所述单颜色感光像素生成第二彩色信息得到第二彩色原始图像。以所述第三曝光时间曝光的所述全色感光像素生成第一全色信息、以所述第四曝光时间曝光的所述全色感光像素生成第二全色信息，以得到全色原始图像。所述彩色高动态融合单元和所述图像处理器用于对所述第一彩色原始图像、所述第二彩色原始图像和所述全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

本申请实施方式提供的包含计算机程序的非易失性计算机可读存储介质中，所述计算机程序被处理器执行时，使得所述处理器执行高动态范围图像处理方法。所述高动态范围图像处理方法用于高动态范围图像处理系统。所述高动态范围图像处理系统包括图像传感器、彩色高动态融合单元和图像处理器。所述图像传感器包括像素阵列。所述像素阵列包括多个全色感光像素和多个彩色感光像素。所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元。每个所述子单元包括多个单颜色感光像素及多个全色感光像素。所述高动态范围图像处理方法包括：控制所述像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于或等于所述第一曝光时间的第三曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第四曝光时间曝光，其中，以所述第一曝光时间曝光的所述单颜色感光像素生成第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色信息、以所述第四曝光时间曝光的所述全色感光像素生成第二全色信息，以得到全色原始图像；和对所述第一彩色原始图像、所述第二彩色原始图像和所述全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

本申请实施方式的图像传感器、高动态范围图像处理系统及方法、电子设备和计算机可读存储介质通过控制像素阵列中每个子单元内的多个感光像素以不同的曝光时间曝光，并且根据不同曝光时间的感光像素将生成多张图像，以便后续对此多张图像进行高动态范围处理，从而得到具有高动态范围的目标图像，使得在无需提高图像传感器的感光像素硬件参数的情况下，就能实现高动态范围功能，使得目标图像的亮处、暗位都能够具有更佳的表现，有利于提高成像性能的同时，有助于降低成本。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请实施方式的高动态图像处理系统的示意图；

图2是本申请实施方式的像素阵列的示意图；

图3是本申请实施方式的感光像素的截面示意图；

图4是本申请实施方式的感光像素的像素电路图；

图5至图10是本申请实施方式的像素阵列中最小重复单元的排布示意图；

图11和图12是本申请某些实施方式的图像传感器输出的原始图像的示意图；

图13是本申请实施方式的高动态图像处理系统的示意图；

图14是本申请实施方式的像素相加处理的示意图；

图15是本申请实施方式的像素求平均处理的示意图；

图16和图17是本申请实施方式的高动态图像处理系统的示意图；

图18是本申请实施方式的黑电平矫正处理的示意图；

图19是本申请实施方式的镜头阴影矫正处理的示意图；

图20和图21是本申请实施方式的坏点补偿处理处理的示意图；

图22至图25是本申请实施方式的去马赛克处理的示意图；

图26是本申请实施方式的色调映射处理的Vout和Vin之间的映射关系示意图；

图27是本申请实施方式的亮度对齐处理的示意图；

图28是本申请实施方式的电子设备的结构示意图；

图29是本申请某些实施方式的图像获取方法的流程示意图；

图30是本申请某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。

具体实施方式

下面详细描述本申请的实施方式，实施方式的示例在附图中示出，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

下文的公开提供了许多不同的实施方式或例子用来实现本申请的实施方式的不同结构。为了简化本申请的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。

请参阅图1和图2，本申请实施方式的图像传感器10包括像素阵列11。像素阵列11包括多个全色感光像素和多个彩色感光像素。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元，每个最小重复单元包含多个子单元。每个子单元包括多个单颜色感光像素及多个全色感光像素。当所述图像传感器10中的像素阵列11曝光时，对于同一子单元中的多个感光像素，至少一个单颜色感光像素以第一曝光时间曝光，至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光，至少一个全色感光像素以小于或等于第一曝光时间的第三曝光时间曝光，至少一个全色感光像素以小于第一曝光时间的第四曝光时间曝光。其中，以第一曝光时间曝光的单颜色感光像素生成第一彩色信息得到第一彩色原始图像。以第二曝光时间曝光的单颜色感光像素生成第二彩色信息得到第二彩色原始图像。以第三曝光时间曝光的全色感光像素生成第一全色信息、以第四曝光时间曝光的全色感光像素生成第二全色信息，以得到全色原始图像。

请参阅图1和图2，本申请实施方式的高动态范围图像处理系统100包括图像传感器10、彩色高动态融合单元30和图像处理器20。图像传感器10包括像素阵列11。像素阵列11包括多个全色感光像素和多个彩色感光像素。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元，每个最小重复单元包含多个子单元。每个子单元包括多个单颜色感光像素及多个全色感光像素。当所述图像传感器10中的像素阵列11曝光时，对于同一子单元中的多个感光像素，至少一个单颜色感光像素以第一曝光时间曝光，至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光，至少一个全色感光像素以小于或等于第一曝光时间的第三曝光时间曝光，至少一个全色感光像素以小于第一曝光时间的第四曝光时间曝光。其中，以第一曝光时间曝光的单颜色感光像素生成第一彩色信息得到第一彩色原始图像。以第二曝光时间曝光的单颜色感光像素生成第二彩色信息得到第二彩色原始图像。以第三曝光时间曝光的全色感光像素生成第一全色信息、以第四曝光时间曝光的全色感光像素生成第二全色信息，以得到全色原始图像。彩色高动态融合单元30和图像处理器20用于对第一彩色原始图像、第二彩色原始图像和全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

本申请实施方式的图像传感器10和高动态范围图像处理系统100通过控制像素阵列11中每个子单元内的多个感光像素以不同的曝光时间曝光，并且根据不同曝光时间的感光像素将生成多张图像，以便后续处理单元对此多张图像进行高动态范围处理，从而得到具有高动态范围的目标图像，使得在无需提高图像传感器10的感光像素硬件参数的情况下，就能实现高动态范围功能，使得目标图像的亮处、暗位都能够具有更佳的表现，有利于提高成像性能的同时，有助于降低成本。

图2是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。

例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。

例如，像素阵列11包括以阵列形式二维排列(即二维矩阵形式排布)的多个感光像素110(图3所示)，每个感光像素110包括光电转换元件1111(图4所示)。每个感光像素110根据入射在其上的光的强度将光转换为电荷。

例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位感光像素110，从这些单位感光像素110逐行地读取信号。例如，被选择并被扫描的感光像素行中的每一感光像素110输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件的光电荷被丢弃，从而可以开始新的光电荷的积累。

例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选感光像素行中的每一感光像素110输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的感光像素110的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。

例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一感光像素列被列处理单元14顺序地处理，并且被顺序输出。

例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。

图3是本申请实施方式中一种感光像素110的示意图。感光像素110包括像素电路111、滤光片112、及微透镜113。沿感光像素110的收光方向，微透镜113、滤光片112、及像素电路111依次设置。微透镜113用于汇聚光线，滤光片112用于供某一波段的光线通过并过滤掉其余波段的光线。像素电路111用于将接收到的光线转换为电信号，并将生成的电信号提供给图2所示的列处理单元14。

图4是本申请实施方式中一种感光像素110的像素电路111的示意图。图4中像素电路111可应用在图2所示的像素阵列11内的每个感光像素110(图3所示)中。下面结合图2至图4对像素电路111的工作原理进行说明。

如图4所示，像素电路111包括光电转换元件1111(例如，光电二极管)、曝光控制电路(例如，转移晶体管1112)、复位电路(例如，复位晶体管1113)、放大电路(例如，放大晶体管1114)和选择电路(例如，选择晶体管1115)。在本申请的实施例中，转移晶体管1112、复位晶体管1113、放大晶体管1114和选择晶体管1115例如是MOS管，但不限于此。

例如，光电转换元件1111包括光电二极管，光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路(例如，转移晶体管1112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管1114的栅极、复位晶体管1113的源极连接。

例如，曝光控制电路为转移晶体管1112，曝光控制电路的控制端TG为转移晶体管1112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线(例如图18所示的TX)传输到转移晶体管1112的栅极时，转移晶体管1112导通。转移晶体管1112将光电二极管光电转换的电荷传输到浮动扩散单元FD。

例如，复位晶体管1113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位线(例如图18所示的RX)传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。

例如，放大晶体管1114的栅极连接到浮动扩散单元FD。放大晶体管1114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管1113复位之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管1112转移之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出信号电平。

例如，选择晶体管1115的漏极连接到放大晶体管1114的源极。选择晶体管1115的源极通过输出端OUT连接到图2中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管1115的栅极时，选择晶体管1115导通。放大晶体管1114输出的信号通过选择晶体管1115传输到列处理单元14。

需要说明的是，本申请实施例中像素电路111的像素结构并不限于图4所示的结构。例如，像素电路111也可以具有三晶体管像素结构，其中放大晶体管1114和选择晶体管1115的功能由一个晶体管完成。例如，曝光控制电路也不局限于单个转移晶体管1112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，本申请实施方式中的单个转移晶体管1112的实施方式简单、成本低、易于控制。

图5至图10是本申请某些实施方式的像素阵列11(图2所示)中的感光像素110(图3所示)的排布示意图。感光像素110包括两类，一类为全色感光像素W，另一类为彩色感光像素。图5至图10仅示出了一个最小重复单元中的多个感光像素110的排布。对图5至图10所示的最小重复单元在行和列上多次复制，即可形成像素阵列11。每个最小重复单元均由多个全色感光像素W和多个彩色感光像素组成。每个最小重复单元包括多个子单元。每个子单元内包括多个单颜色感光像素和多个全色感光像素W。其中，图5至图8所示的最小重复单元中，每个子单元中的全色感光像素W和彩色感光像素交替设置。图9和图10所示的最小重复单元中，每个子单元中，同一行的多个感光像素110为同一类别的感光像素110；或者，同一列的多个感光像素110为同一类别的感光像素110。

具体地，例如，图5为本申请一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图5所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图5所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1(例如图5中左上角和右下角连接的方向)，两个第二类子单元UB设置在第二对角线方向D2(例如图5中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

需要说明的是，在其他实施方式中，第一对角线方向D1也可以是右上角和左下角连接的方向，第二对角线方向D2也可以是左上角和右下角连接的方向。另外，这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。下文图6至图10中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。

再例如，图6为本申请另一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为6行6列36个感光像素110，子单元为3行3列9个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图6所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图6所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

再例如，图7为本申请又一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为8行8列64个感光像素110，子单元为4行4列16个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图7所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。

例如，如图7所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

具体地，例如，图8为本申请再一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

图8所示的最小重复单元中感光像素110的排布与图5所示的最小重复单元中感光像素110的排布大致相同，其不同之处在于，图8中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序与图5中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序不一致，并且，图8中的第三类子单元UC中的全色感光像素W与单颜色感光像素的交替顺序与图5中位于右下角的第三类子单元UC中的全色感光像素W与单颜色感光像素的交替顺序也不一致。具体地，图5中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第二颜色感光像素B)，第二行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W；而图8中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第二颜色感光像素B)。图5中位于右下角的第三类子单元UC中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)，第二行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W；而图8中位于右下角的第三类子单元UC中，第一行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)。

如图8所示，图8中的第一类子单元UA中的全色感光像素W与单颜色感光像素的交替顺序与第三类子单元UC中的全色感光像W素与单颜色感光像素的交替顺序不一致。具体地，图8所示的第一类子单元CA中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第一颜色感光像素A)，第二行的感光像素110的交替顺序为单颜色感光像素(即第一颜色感光像素A)、全色感光像素W；而图8所示的第三类子单元CC中，第一行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)。也即是说，同一最小重复单元中，不同子单元内的全色感光像素W与彩色感光像素的交替顺序可以是一致的(如图5所示)，也可以是不一致的(如图8所示)。

再例如，图9为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图9所示，对于每个子单元，同一行的多个感光像素110为同一类别的感光像素110。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。

例如，如图9所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

再例如，图10为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：

W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。

例如，如图10所示，对于每个子单元，同一列的多个感光像素110为同一类别的感光像素110。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。

例如，如图10所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。

例如，在其他实施方式中，同一最小重复单元中，也可以是部分子单元内的同一行的多个感光像素110为同一类别的感光像素110，其余部分子单元内的同一列的多个感光像素110为同一类别的感光像素110。

例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为绿色感光像素G；第三颜色感光像素C可以为蓝色感光像素Bu。

例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为黄色感光像素Y；第三颜色感光像素C可以为蓝色感光像素Bu。

例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为品红色感光像素M；第二颜色感光像素B可以为青色感光像素Cy；第三颜色感光像素C可以为黄色感光像素Y。

需要说明的是，在一些实施例中，全色感光像素W的响应波段可为可见光波段(例如，400nm-760nm)。例如，全色感光像素W上设置有红外滤光片，以实现红外光的滤除。在另一些实施例中，全色感光像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10(图1所示)中的光电转换元件1111(图4所示)的响应波段相匹配。例如，全色感光像素W可以不设置滤光片或者设置可供所有波段的光线通过的滤光片，全色感光像素W的响应波段由光电转换元件1111的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。

请结合图1至图3、图5及图11，在某些实施方式中，控制单元13用以控制像素阵列11曝光。其中，对于同一子单元中的多个感光像素110，至少一个单颜色感光像素以第一曝光时间曝光，至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光，至少一个全色感光像素W以小于或等于第一曝光时间的第三曝光时间曝光，至少一个全色感光像素W以小于第一曝光时间的第四曝光时间曝光。像素阵列11中以第一曝光时间曝光的多个单颜色感光像素可以生成第一彩色信息，以第二曝光时间曝光的多个单颜色感光像素可以生成第二彩色信息，以第三曝光时间曝光的多个全色感光像素W可以生成第一全色信息，以第四曝光时间曝光的多个全色感光像素W可以生成第二全色信息。第一彩色信息可以形成第一彩色原始图像。第二彩色信息可以形成第二彩色原始图像。第一全色信息和第二全色信息可以生成全色原始图像。高动态范围图像处理系统100中的彩色高动态融合单元30和图像处理器20可以对第一彩色原始图像、第二彩色原始图像和全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

需要说明的是，在某些实施例中，像素阵列11的曝光过程可以是：(1)以第一曝光时间曝光的感光像素110、以第二曝光时间曝光的感光像素110、以第三曝光时间曝光的感光像素110及以第四曝光时间曝光的感光像素110依次序曝光(其中四者的曝光顺序不作限制)，且四者的曝光进行时间均不重叠；(2)以第一曝光时间曝光的感光像素110、以第二曝光时间曝光的感光像素110、以第三曝光时间曝光的感光像素110及以第四曝光时间曝光的感光像素110依次序曝光(其中四者的曝光顺序不作限制)，且四者的曝光进行时间存在部分重叠；(3)所有以较短的曝光时间曝光的感光像素110的曝光进行时间均位于以最长的曝光时间曝光的感光像素110的曝光进行时间内，例如，以第二曝光时间曝光的所有单颜色感光像素的曝光进行时间均位于以第一曝光时间曝光的所有单颜色感光像素的曝光进行时间内，以第三曝光时间曝光的所有全色感光像素W的曝光进行时间均位于以第一曝光时间曝光的所有单颜色感光像素的曝光进行时间内，以第四曝光时间曝光的所有全色感光像素W的曝光进行时间均位于以第一曝光时间曝光的所有单颜色感光像素的曝光进行时间内。本申请实施方式的高动态范围处理系统100可采用第(3)种曝光方式，使用该种曝光方式可以缩短像素阵列11所需要的整体曝光时间，有利于提升图像的帧率。

例如，如图1至图3、及图11所示，像素阵列11中的所有全色感光像素W的曝光时间相同(即第三曝光时间等于第四曝光时间)。具体地，对于每个子单元中的多个(图11所示为4个)感光像素110，一个单颜色感光像素以第一曝光时间(例如图11所示的长曝光时间L)曝光，一个单颜色感光像素以第二曝光时间(例如图11所示的短曝光时间S)曝光，两个全色感光像素W分别以第三曝光时间和第四曝光时间(例如第三曝光时间和第四曝光时间均为图11所示的中曝光时间M)曝光。像素阵列11曝光结束后，图像传感器10可以输出三张原始图像，分别为：(1)第一彩色原始图像，由以长曝光时间L曝光的多个单颜色感光像素生成的第一彩色信息组成；(2)第二彩色原始图像，由以短曝光时间S曝光的多个单颜色感光像素生成的第二彩色信息组成；(3)全色原始图像，由以中曝光时间M曝光的多个全色感光像素W生成的第一全色信息和第二全色信息组成。全色原始图像可以包括第一全色原始图像和第二全色原始图像。在某些实施例中，图像传感器10可以输出四张原始图像，分别为：(1)第一彩色原始图像，由以长曝光时间L曝光的多个单颜色感光像素生成的第一彩色信息组成；(2)第二彩色原始图像，由以短曝光时间S曝光的多个单颜色感光像素生成的第二彩色信息组成；(3)第一全色原始图像，由以第三曝光时间M曝光的多个全色感光像素生成的第一全色信息生成；(4)第二全色原始图像，由以第四曝光时间M曝光的多个全色感光像素生成的第二全色信息生成。图11所示为图像传感器10输出三张原始图像的情况。

又例如，如图1至图3、及图12所示，同一所述子单元中的部分全色感光像素W以第四曝光时间曝光，其余全色感光像素W以第三曝光时间曝光，其中第三曝光时间和第四曝光时间不同。全色原始图像可以包括第一全色原始图像和第二全色原始图像。具体地，对于每个子单元中的(图12所示为4个)感光像素110，一个单颜色感光像素以第一曝光时间(例如图12所示的长曝光时间L)曝光，一个单颜色感光像素以第二曝光时间(例如图12所示的短曝光时间S)曝光，一个全色感光像素W以第三曝光时间(例如图12所示的长曝光时间L曝光)，一个全色感光像素W以第四曝光时间(例如图12所示的短曝光时间S)曝光。像素阵列11曝光结束后，图像传感器10可以输出四张原始图像，分别为：(1)第一彩色原始图像，由以长曝光时间L曝光的多个单颜色感光像素生成的第一彩色信息生成；(2)第二彩色原始图像，由以短曝光时间S曝光的多个单颜色感光像素生成的第二彩色信息生成；(3)第一全色原始图像，由以长曝光时间L曝光的多个全色感光像素生成的第一全色信息生成；(4)第二全色原始图像，由以短曝光时间S曝光的多个全色感光像素生成的第二全色信息生成。在某些实施例中，图像传感器10可以输出三张原始图像，分别为：(1)第一彩色原始图像，由以长曝光时间L曝光的多个单颜色感光像素生成的第一彩色信息生成；(2)第二彩色原始图像，由以短曝光时间S曝光的多个单颜色感光像素生成的第二彩色信息生成；(3)全色原始图像，由第一全色信息和第二全色信息组成，第一全色信息由以长曝光时间L曝光的多个全色感光像素W生成，第二全色信息以短曝光时间S曝光的多个全色感光像素W生成。图12所示为图像传感器10输出四张原始图像的情况。

请参阅图13，在某些实施方式中，高动态范围图像处理系统100还可以包括全色信息融合单元50。高动态范围图像处理系统100中，第三曝光时间可以等于第四曝光时间，第三曝光时间可以大于第二曝光时间，并且小于第一曝光时间。例如，第三曝光时间可以等于第四曝光时间，均为中时间M曝光；第二曝光时间可以为短时间S曝光；第一曝光时间可以为长时间L曝光。在某些实施例中，全色信息融合单元50用于将每个子单元中以第三曝光时间曝光的全色感光像素W生成的第一全色信息和以第四曝光时间曝光的全色感光像素W生成的第二全色信息进行像素相加处理或像素求平均处理，以得到全色原始图像。在另一些实施例中，全色原始图像包括第一全色原始图像和第二全色原始图像。以第三曝光时间曝光的全色感光像素W生成第一全色信息得到第一全色原始图像，以第四曝光时间曝光的全色感光像素W生成第二全色信息得到第二全色原始图像。全色信息融合单元50用于将第一全色原始图像的每个子单元中以第三曝光时间曝光的全色感光像素生成的第一全色信息与第二全色原始图像的对应子单元中以第四曝光时间曝光的全色感光像素生成的第二全色信息进行像素相加处理或像素求平均处理，以得到全色原始图像。本申请实施方式的全色信息融合单元50对图像进行像素相加处理或像素求平均处理，将两个相同或相应坐标的像素通过像素相加处理或像素求平均处理合成为一个像素值，有利于减轻原始图像数据中的像素坏点或者环境光干扰对图像的成像质量的影响，有助于提高动态范围图像处理系统100的成像质量。

本申请实施方式中的像素相加处理的过程可以是，第一全色信息中的每个像素值和第二全色信息中对应位置的每个像素值进行像素相加，而得到一个新像素值，将得到的新像素值置于全色原始图像的对应位置的像素格中，从而得到全色原始图像。具体地，请参阅图14，此处以全色信息融合单元50对第一全色原始图像和第二全色原始图像进行像素相加处理得到全色原始图像，第三曝光时间为长时间L曝光，第四曝光时间为短时间S曝光为例进行说明。第一全色原始图像中的第一全色信息中的左上角像素值L1和对应位置的第二全色原始图像中的第二全色信息中的左上角像素值S1进行相加，将所得的像素值(L1+S1)作为对应位置的新的像素值，将所有的像素格都进行上述步骤的像素相加处理之后，得到如图14所示的全色原始图像。此时，全色原始图像的像素个数与第一全色原始图像和第二全色原始图像的像素个数相同。

本申请实施方式中的像素求平均处理的过程可以是，第一全色信息中的每个像素值和第二全色信息中对应位置的每个像素值进行对应的像素相加，将所得结果除以2，而得到一个新像素值，将得到的新像素值置于全色原始图像的对应位置的像素格中，从而得到全色原始图像。请参阅图15，此处以全色信息融合单元50对第一全色原始图像和第二全色原始图像进行像素求平均处理得到全色原始图像，第三曝光时间与第四曝光时间相等，均为中等时间M曝光为例进行说明。第一全色原始图像中的第一全色信息中的左上角像素值M1和对应位置的第二全色原始图像中的第二全色信息中的左上角像素值M1’进行相加，将所得的像素值(M1+M1’)/2作为对应位置的新的像素值，并将新的像素值置于全色原始图像的对应位置的像素格中。将第一全色原始图像和第二全色原始图像所有的像素格都进行上述步骤的像素相加之后，得到如图15所示的全色原始图像。

请参阅图1，在另一些实施方式中，高动态范围图像处理系统100还可以包括全色高动态融合单元40(此时，高动态范围图像处理系统100无需包括全色信息融合单元50)。全色原始图像包括第一全色原始图像和第二全色原始图像。以第三曝光时间曝光的全色感光像素生成第一全色信息得到第一全色原始图像，以第四曝光时间曝光的全色感光像素生成第二全色信息得到第二全色原始图像。彩色高动态融合单元30、全色高动态融合单元40和图像处理器20用于对第一彩色原始图像、第二彩色原始图像、第一全色原始图像和第二全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

请参阅图1，在某些实施方式中，图像处理器20包括图像前端处理单元202和融合模块204。图像前端处理单元202包括彩色处理模块2021和全色处理模块2022。图像处理包括第一图像处理和第二图像处理。彩色高动态融合单元30可以将第一彩色原始图像和第二彩色原始图像融合得到高动态彩色图像。全色高动态融合单元40可以将第一全色原始图像和第二全色原始图像融合得到高动态全色图像。彩色处理模块2021可以对高动态彩色图像进行第一图像处理，得到彩色中间图像。全色处理模块2022可以对高动态全色图像进行第二图像处理，得到全色中间图像。融合模块204可以对彩色中间图像和全色中间图像进行融合算法处理得到目标图像。

请参阅图16，在另一些实施方式中，图像处理器20包括图像前端处理单元202和融合模块204。图像前端处理单元202包括彩色处理模块2021和全色处理模块2022。彩色处理模块2021包括第一子处理单元20211和第二子处理单元20212。图像处理包括第一图像处理和第二图像处理，第一图像处理包括第一图像子处理和第二图像子处理。彩色处理模块2021(中的第一子处理单元20211)可以对第一彩色原始图像进行第一图像子处理，得到第一彩色中间图像，对第二彩色原始图像进行第一图像子处理，得到第二彩色中间图像。全色处理模块2022可以对第一全色原始图像进行第二图像处理，得到第一全色中间图像，对第二全色原始图像进行第二图像处理，得到第二全色中间图像。彩色高动态融合单元30可以将第一彩色中间图像和第二彩色中间图像融合得到高动态彩色图像。全色高动态融合单元40可以将第一全色中间图像和第二全色中间图像融合得到高动态全色图像。彩色处理模块2021(中的第二子处理单元20212)可以对高动态彩色图像进行第二图像子处理，得到彩色中间图像。融合模块204可以对彩色中间图像和高动态全色图像进行融合算法处理得到目标图像。彩色高动态融合单元30和全色高动态融合单元40可以集成在图像前端处理单元202中，也可以集成在图像处理器20中。

请参阅图17，在又一些实施方式中，图像处理器20包括图像前端处理单元202和融合模块204。图像前端处理单元202包括彩色处理模块2021和全色处理模块2022。图像处理包括第一图像处理和第二图像处理。彩色处理模块2021可以对第一彩色原始图像进行第一图像处理，得到第一彩色中间图像，对第二彩色原始图像进行第一图像处理，得到第二彩色中间图像。全色处理模块2022可以对第一全色原始图像进行第二图像处理，得到第一全色中间图像，对第二全色原始图像进行第二图像处理，得到第二全色中间图像。彩色高动态融合单元30可以将第一彩色中间图像和第二彩色中间图像融合得到高动态彩色图像。全色高动态融合单元40可以将第一全色中间图像和第二全色中间图像融合得到高动态全色图像。融合模块204可以对高动态彩色图像和高动态全色图像进行融合算法处理得到目标图像。

彩色处理模块2021中，第一图像处理包括：黑电平矫正处理、镜头阴影矫正处理、去马赛克处理、坏点补偿处理、色彩矫正处理、全局色调映射处理、色彩转换处理中的一个或多个；全色处理模块2022中，第二图像处理包括：黑电平矫正处理、镜头阴影矫正处理、坏点补偿处理、全局色调映射处理中的一个或多个。

由于图像传感器10采集的信息经过一系列转换生成原始图像数据。以8bit数据为例，单个像素的有效值是0～255，但是实际图像传感器10中的模数转换芯片的精度可能无法将电压值很小的一部分转换出来，便容易造成生成图像的暗部细节的损失。黑电平矫正处理的过程可以是，彩色处理模块2021或全色处理模块2022在图像传感器10输出的原始图像数据的基础上，将每个像素值减去一个固定值。各颜色通道(例如红色通道、绿色通道、蓝色通道和全色通道，在某些实施例中，红色通道指的是图像传感器10输出的图像中由红色感光像素生成的红色信息，绿色通道指的是图像传感器10输出的图像中由绿色感光像素生成的绿色信息，红色通道指的是图像传感器10输出的图像中由蓝色感光像素生成的蓝色信息，全色通道指的是图像传感器10输出的图像中由全色感光像素生成的全色信息)对应的固定值可以是一样，也可以是不一样。例如，请参阅图17，图像传感器10输出第一彩色原始图像、第二彩色原始图像、第一全色原始图像和第二全色原始图像，图像处理器20接收第一彩色原始图像、第二彩色原始图像、第一全色原始图像和第二全色原始图像后，彩色处理模块2021对第一彩色原始图像和第二彩色原始图像进行第一图像处理中的黑电平矫正处理；全色处理模块2022对第一全色原始图像和第二全色原始图像进行第二图像处理中的黑电平矫正处理。以彩色处理模块2021对第一彩色原始图像进行黑电平矫正处理为例，第一彩色原始图像中具有红色通道、绿色通道和蓝色通道。请参阅图18，彩色处理模块2021对第一彩色原始图像进行黑电平矫正处理，第一彩色原始图像中所有的像素值均减去固定值5，从而得到经过黑电平矫正处理的第一彩色原始图像。同时图像传感器10在AD的输入之前加上一个固定的偏移量5(或者其他数值)，使输出的像素值在5(或者其他数值)～255之间，配合黑电平矫正处理，能使得本申请实施方式的图像传感器10和高动态范围图像处理系统100得到的图像的暗部的细节完全保留的同时，不增大或减小图像的像素值，有利于提高成像质量。

镜头阴影是由于镜头对于光学折射不均匀导致的镜头周围出现阴影的情况，即影像区的中心和四周的接收到的光强程度不一致的现象。镜头阴影矫正处理的过程可以是，彩色处理模块2021或全色处理模块2022在图像传感器10输出的原始图像数据或经过黑电平矫正处理的图像数据的基础上，将被处理图像进行网格划分，再通过各网格区域邻近的或者自身及邻近周的补偿系效,采用双线性插值方法对图像进行镜头阴影矫正。下文以对第一彩色原始图像进行镜头阴影矫正处理为例进行说明，如图19所示，彩色处理模块2021将第一彩色原始图像(即被处理图像)进行划分，均等地分为十六个网格，十六个网格中每个网格具有一预设好的补偿系数。然后，彩色处理模块2021根据各网格区域邻近的或者自身及其邻近的补偿系效通过双线性插值方法对图像进行阴影矫正。R2为图示的经过镜头阴影矫正处理的第一彩色中间图像中虚线框内的像素值，R1为图示的第一彩色原始图像中的虚线框内的像素值。R2＝R1*k1，k1由R1像素邻近的的网格的补偿系数1.10、1.04、1.105和1.09进行双线性插值获得。设图像的坐标记为(x,y)，x从左第一个像素开始往右计数，y从上第一个像素开始往下计数，x和y均为自然数，如图像边上的标识所示。例如，R1的坐标为(3,3)，则R1在各网格补偿系数图中的坐标应为(0.75,0.75)。f(x,y)表示各网格补偿系数图中坐标为(x，y)的补偿值。则f(0.75,j0.75)为R1在各网格补偿系数图中对应的补偿系数值，则有f(0.75,j0.75)＝(0.25)*(0.25)*f(0,0)+0.25*0.75*f(0,1)+0.75*0.25*f(1,0)+0.75*0.75f(1,1)＝0.0625*1.11+0.1875*1.10+0.1875*1.09+0.5625*1.03。各网格的补偿系数在彩色处理模块2021或全色处理模块2022进行镜头阴影矫正处理之前已经预先设置。各网格的补偿系数可由如下方法确定：(1)将镜头300置于光线强度和色温恒定且均一的密闭装置内，并使镜头300在该密闭装置内正对亮度分布均匀的纯灰色的目标对象拍摄得到灰度图像；(2)将灰度图像进行网格划分(例如划分为16个网格),得到划分为不同网格区域的灰度图像；(3)计算灰度图像的不同网格区域的补偿系数。确定了镜头300的补偿系数之后，本申请的高动态范围图像处理系统100将该补偿系数预先设置在彩色处理模块2021或全色处理模块2022中，当高动态范围图像处理系统100中的彩色处理模块2021或全色处理模块2022对图像进行镜头阴影矫正处理时，该补偿系数被获取，彩色处理模块2021或全色处理模块2022再根据各网格区域的补偿系效，采用双线性插值方法对图像进行镜头阴影矫正处理。

图像传感器10的像素阵列11上的感光像素110存在工艺上的缺陷，或光信号进行转化为电信号的过程中出现错误，从而造成图像上像素信息错误，导致图像中的像素值不准确，这些有缺陷的像素表现在输出的图像上即为图像坏点。图像坏点可能存在，因此需要对图像进行坏点补偿处理。坏点补偿处理可以包括如下步骤：(1)以待检测像素点为中心像素点建立相同颜色的感光像素的像素点的3×3像素矩阵；(2)以所述中心像素点的周围像素点为参考点，判断所述中心像素点的色值与所述周围像素点的差值是否均大于第一阈值，如果是，则该中心像素点为坏点，如果否，则该中心像素点为正常点；(3)对判定为坏点的中心像素点进行双线性插值得到校正后的像素值。请参阅图20，以彩色处理模块2021对经过镜头阴影矫正处理的第一彩色原始图像进行坏点补偿处理进行说明。图20中的第一张图中的R1为待检测像素点，彩色处理模块2021以R1为中心像素点建立与R1的感光像素相同颜色的像素点的3×3像素矩阵，得到图20中的第二张图。并以中心像素点R1的所述周围像素点为参考点，判断中心像素点R1的色值与所述周围像素点的差值是否均大于第一阈值Q(Q在彩色处理模块2021中预设)。如果是，则该中心像素点R1为坏点，如果否，则该中心像素点R1为正常点。如果R1是坏点，则对R1进行双线性插值得到校正后的像素值R1’(图中展示的为R1是坏点的情况)得到图20中的第三张图。请参阅图21，以全色处理模块2022对经过镜头阴影矫正处理的第一全色原始图像进行坏点补偿处理进行说明。图21中的第一张图中的W1为待检测像素点，全色处理模块2022以W1为中心像素点建立与W1的感光像素相同颜色的像素点的3×3像素矩阵，得到图21中的第二张图。并以中心像素点W1的周围像素点为参考点，判断中心像素点W1的色值与所述周围像素点的差值是否均大于第一阈值K(K在全色处理模块2022中预设)。如果是，则该中心像素点W1为坏点，如果否，则该中心像素点W1为正常点。如果W1是坏点，则对W1进行双线性插值得到校正后的像素值W1’(图中展示的为W1是坏点的情况)得到图21中的第三张图。本申请实施方式的彩色处理模块2021和全色处理模块2022可以对图像进行坏点补偿处理，有利于高动态范围图像处理系统100消除高动态范围图像处理系统100的成像过程中，由于感光像素存在工艺上的缺陷，或光信号进行转化为电信号的过程中出现错误而产生的图像坏点，进而提高高动态范围图像处理系统100形成的目标图像的像素值的准确性，从而使得本申请实施方式具有更好的成像效果。

由于本申请实施方式所得的第一彩色原始图像和第二彩色原始图像(或第一彩色中间图像、第二彩色中间图像、高动态彩色图像)的每个像素格中均为单颜色像素，没有其他颜色的光学信息，因此需要对第一彩色原始图像和第二彩色原始图像(或第一彩色中间图像、第二彩色中间图像、高动态彩色图像)进行去马赛克处理。以彩色处理模块2021对第一彩色原始图像(例如包括红色通道、绿色通道和蓝色通道)进行去马赛克处理为例进行说明，去马赛克处理的步骤包括如下步骤：(1)将第一彩色原始图像分解成第一红色原始图像、第一绿色原始图像和第一蓝色原始图像，如图22所示，所得的第一红色原始图像、第一绿色原始图像和第一蓝色原始图像中部分像素格没有像素值。(2)采用双线性插值方法分别对第一红色原始图像、第一绿色原始图像和第一蓝色原始图像进行插值处理。如图23所示，彩色处理模块2021采用双线性插值方法对第一蓝色原始图像进行插值处理。图23的待插值像素B1根据B1周围的四个像素B2、B3、B4和B5进行双线性插值，得到B1的插值像素B1’。图23的第一张图中的所有空白处的待插值像素均遍历地采用该双线性插值的方式补全像素值，得到插值后的第一蓝色原始图像。如图24所示，彩色处理模块2021采用双线性插值方法对第一绿色原始图像进行插值处理。图24的待插值像素G1根据G1周围的四个像素G2、G3、G4和G5进行双线性插值，得到G1的插值像素G1’。图24的第一张图中的所有空白处的待插值像素均遍历地采用该双线性插值的方式补全像素值，得到插值后的第一绿色原始图像。与之类似地，彩色处理模块2021可以采用双线性插值方法对第一红色原始图像进行插值处理，得到插值后的第一红色原始图像。(3)将插值后的第一红色原始图像、插值后的第一绿色原始图像和插值后的第一蓝色原始图像重新合成为具有3个颜色通道的一张图像，如图25所示。色彩处理模块2021对彩色图像进行去马赛克处理，有利于本申请实施方式将具有单颜色通道的像素值的彩色图像补全为具有多个颜色通道的彩色图像，从而在单颜色的感光像素的硬件基础上保持图像色彩的完整呈现。

色彩矫正处理具体可以为利用一个色彩校正矩阵对图像(该图像可以为经过去马赛克处理的第一彩色原始图像、第二彩色原始图像、第一彩色中间图像或第二彩色中间图像)的各像素的各颜色通道值进行一次校正，从而实现了对图像色彩的矫正。如下所示：

其中，色彩矫正矩阵(Color Correction Matrix,CCM)在色彩处理模块中预设。例如，色彩矫正矩阵具体可以为：

色彩处理模块通过对图像中的所有像素遍历地通过以上色彩矫正矩阵进行色彩矫正处理，可以得到经过色彩矫正处理的图像。本申请实施方式中色彩矫正处理有利于消除图像或视频帧中因为有色光源等造成的颜色严重偏差、图像中人或物体颜色失真的问题，使得本申请实施方式的高动态范围图像处理系统100能够恢复图像原始色彩，提高了图像的视觉效果。

色调映射处理可以包括如下步骤：(1)把图像(该图像可以为经过色彩矫正处理的第一彩色原始图像、第二彩色原始图像、第一彩色中间图像或第二彩色中间图像)的灰度值归一化到区间[0,1]内，记归一化后的灰度值为Vin；(2)设Vout＝Y(Vin)，Vout和Vin之间的映射关系可以为如图26所示；(3)把Vout乘上255(当设定输出图像的灰度值为256阶时，乘上255，在其他设定时，可以为其他数值)后再四舍五入取整数，得到了色调映射处理后的图像。对于高动态范围的图像而言，其灰度值的二进制位数往往高于8位(普通的灰度图像灰度值的二进制位数一般是8位)，而许多显示器的灰度只有8位，因此对高动态范围的图像的颜色进行变换，有利于高动态范围的图像具有更高的兼容性，能在常规的显示器上显示。另外，由于高动态范围图像一般灰度值分布得很不均匀，只有少数的像素点较亮，大部分像素都分布在灰度值较低的区间，本申请实施方式的高动态范围图像处理系统100对图像的色调映射处理并非线性的映射，而是在灰度值较低的区间的映射关系的斜率大于在灰度值较高的区间的映射关系的斜率，如图26所示，有利灰度值较低的区间内不同灰度值的像素点的区分度，而大部分像素都分布在灰度值较低的区间，因而使得本申请实施方式的高动态图像处理系统100具有更好的成像效果。

为了图像具有更广泛的应用场景或者具有更高效率的传输格式，本申请实施方式的高动态范围图像处理系统100可以对图像(可以为经过色调映射处理的第一彩色原始图像、第二彩色原始图像、第一彩色中间图像或第二彩色中间图像)进行色彩转换处理，将图像由一个色彩空间(例如RGB色彩空间)转换成另一个色彩空间(例如YUV色彩空间)从而具有更广泛的应用场景或者具有更高效率的传输格式。在具体的实施例中，色彩转换处理的步骤可以为对图像中的所有像素值的R、G和B通道像素值进行如下公式转换得到Y、U和V通道像素值：(1)Y＝0.30R+0.59G+0.11B；(2)U＝0.493(B－Y)；(3)V＝0.877(R－Y)；从而将该图像由RGB色彩空间转换为YUV色彩空间。由于YUV色彩空间中的亮度信号Y和色度信号U和V是分离的，并且人眼对亮度的敏感超过色度，色彩转换处理将图像由RGB色彩空间转换为YUV色彩空间有利于本申请实施方式的高动态范围图像处理系统100后续的其他图像处理对图像进行色度信息的压缩，在不影响图像观看效果的同时，能减小图像的信息量，从而提高图像的传输效率。

在某些实施方式中，第三曝光时间等于第二曝光时间，第四曝光时间等于第一曝光时间。彩色高动态融合单元30可以将第一彩色原始图像和第二彩色原始图像进行亮度对齐处理，以得到亮度对齐后的第一彩色原始图像，再融合亮度对齐后的第一彩色原始图像及第二彩色原始图像以得到高动态彩色图像。全色高动态融合单元40可以将第一全色原始图像和第二全色原始图像进行亮度对齐处理，以得到亮度对齐后的第一全色原始图像，再融合亮度对齐后的第一全色原始图像及第二全色原始图像以得到高动态全色图像。

具体地，彩色高动态融合单元30或全色高动态融合单元40对图像进行的高动态范围处理可以包括亮度对齐处理。彩色高动态融合单元30或全色高动态融合单元40对图像(该图像可以为第一彩色原始图像和所述第二彩色原始图像、第一彩色中间图像和所述第二彩色中间图像、第一全色原始图像和所述第二全色原始图像或者第一全色中间图像和所述第二全色中间图像中的其中一组，下文中以第一彩色中间图像和所述第二彩色中间图像为例进行说明)进行亮度对齐处理包括如下步骤：(1)识别第一彩色中间图像中像素值大于第一预设阈值的过曝图像像素；(2)对于每一个过曝图像像素，以该过曝图像像素为中心扩展预定区域；(3)在预定区域内寻找像素值小于第一预设阈值的中间图像像素；(4)利用中间图像像素及第二彩色中间图像对过曝图像像素的像素值进行修正；(5)利用过曝图像像素的修正后的像素值更新第一彩色中间图像以得到亮度对齐后的第一彩色中间图像。具体地，请结合图27，假设图像像素P12(图27中第一彩色中间图像内标记有虚线圆圈的图像像素)的像素值V1大于第一预设阈值V0，即图像像素P12为过曝图像像素P12，则彩色高动态融合单元30或全色高动态融合单元40以过曝图像像素P12为中心扩展一个预定区域，例如，图27所示的3*3区域。当然，在其他实施例中，也可以是4*4区域、5*5区域、10*10区域等，在此不作限制。随后，彩色高动态融合单元30或全色高动态融合单元40在3*3的预定区域内寻找像素值小于第一预设阈值V0的中间图像像素，例如图27中的图像像素P21(图27中第一彩色中间图像内标记有点画线圆圈的图像像素)的像素值V2小于第一预设阈值V0，则图像像素P21即为中间图像像素P21。随后，彩色高动态融合单元30或全色高动态融合单元40在第二彩色中间图像中寻找与过曝图像像素P12及中间图像像素P21分别对应的图像像素，即图像像素P1’2’(图27中第二彩色中间图像内标记有虚线圆圈的图像像素)和图像像素P2’1’(图27中第二彩色中间图像内标记有点画线圆圈的图像像素)，其中，图像像素P1’2’与过曝图像像素P12对应，图像像素P2’1’与中间图像像素P21对应，图像像素P1’2’的像素值为V3，图像像素P2’1’的像素值为V4。随后，处理器根据V1’/V3＝V2/V4来计算出V1’，并利用V1’的值来替换掉V1的值。由此，即可计算出过曝图像像素P12的实际像素值。彩色高动态融合单元30或全色高动态融合单元40对第一彩色中间图像中的每一个过曝图像像素均执行这一亮度对齐的处理过程，即可得到亮度对齐后的第一彩色中间图像。由于亮度对齐后的第一彩色中间图像中的过曝图像像素的像素值经过了修正，亮度对齐后的第一彩色中间图像中的每个图像像素的像素值均较为准确。

高动态范围处理过程中，在获取到亮度对齐后的第一彩色中间图像及第二彩色中间图像后，彩色高动态融合单元30或全色高动态融合单元40可以对亮度对齐后的第一彩色中间图像及第二彩色中间图像进行融合以得到高动态彩色图像。具体地，彩色高动态融合单元30或全色高动态融合单元40首先对亮度对齐后的第一彩色中间图像进行运动检测，以识别亮度对齐后的第一彩色中间图像中是否存在运动模糊区域。若亮度对齐后的第一彩色中间图像中不存在运动模糊区域，则直接融合亮度对齐后的第一彩色中间图像及第二彩色中间图像以得到高动态彩色图像。若亮度对齐后的第一彩色中间图像中存在运动模糊区域，则将第一彩色中间图像中的运动模糊区域剔除，只融合第二彩色中间图像的所有区域以及亮度对齐后的第一彩色中间图像中除运动模糊区域以外的区域以得到高动态彩色图像。其中，高动态彩色图像的分辨率小于像素阵列11的分辨率。具体地，在融合亮度对齐后的第一彩色中间图像及第二彩色中间图像时，若亮度对齐后的第一彩色中间图像中不存在运动模糊区域，则此时两张中间图像的融合遵循以下原则：(1)亮度对齐后的第一彩色中间图像中，过曝区域的图像像素的像素值直接替换为第二彩色中间图像中对应于该过曝区域的图像像素的像素值；(2)亮度对齐后的第一彩色中间图像中，欠曝区域的图像像素的像素值为：长曝光像素值除以长短像素值比例；(3)亮度对齐后的第一彩色中间图像中，未欠曝也未过曝区域的图像像素的像素值为：长曝光像素值除以长短像素值比例。若亮度对齐后的第一彩色中间图像中存在运动模糊区域，则此时两张中间图像的融合除了遵循上述三个原则外，还需要遵循第(4)个原则：亮度对齐后的第一彩色中间图像中，运动模糊区域的图像像素的像素值直接替换为第二彩色中间图像中对应于该运动模糊区域的图像像素的像素值。需要说明的是，对于欠曝区域以及未欠曝也未过曝区域而言，这些区域内的图像像素的像素值为长曝光像素值除以长短像素值比例，即VL/(VL/VS)＝VS’，其中，VL表示长曝光像素值，VS表示段曝光像素值，VS’表示计算出来的欠曝区域以及未欠曝也未过曝区域中图像像素的像素值。VS’的信噪比会大于VS的信噪比。本申请实施方式的高动态范围图像处理系统100通过彩色高动态融合单元30或全色高动态融合单元40对图像进行高动态范围处理，先对图像进行亮度对齐处理，再对亮度对齐后的图像与另一图像进行融合进行融合，得到高动态彩色图像或高动态全色图像，使得高动态范围图像处理系统100形成的目标图像具有更大的动态范围，进而具有更好的成像效果。

在另一些实施方式中，第三曝光时间等于第一曝光时间，第四曝光时间等于第二曝光时间。彩色高动态融合单元30用于：将第一彩色中间图像和第二彩色中间图像进行亮度对齐处理，以得到亮度对齐后的第一彩色中间图像，再融合亮度对齐后的第一彩色中间图像及第二彩色中间图像以得到高动态彩色图像。全色高动态融合单元40用于：将第一全色中间图像和第二全色中间图像进行亮度对齐处理，以得到亮度对齐后的第一全色中间图像，再融合亮度对齐后的第一全色中间图像及第二全色中间图像以得到高动态全色图像。其中彩色高动态融合单元30或全色高动态融合单元40对图像进行亮度对齐处理的具体过程和上文一致，此处不重复。

融合模块204对彩色图像和全色图像(彩色图像可以为上文所述的彩色中间图像或高动态彩色图像，全色图像可以为上文所述的全色中间图像和高动态全色图像)进行融合算法处理。若以融合模块204对彩色中间图像和全色中间图像进行融合算法处理为例进行说明，彩色中间图像具有R(即红色)、G(即绿色)和B(即蓝色)三个颜色通道的彩色信息，全色中间图像具有全色信息，全色信息又可称为亮度信息，融合算法处理的具体过程可以为如下：(1)根据彩色中间图像，计算各个像素对应的辅助值Y，其中，Y＝(R*w1+B*w2+G*w3)/(w1+w2+w3)，R为像素对应的R通道的值，G为像素对应的G通道的值，B为像素对应的B通道的值，w1、w2和w3为权重值；(2)计算彩色中间图像中各个通道值与辅助值Y的比例，得到各个像素对应的参考通道值K1、K2和K3，其中，K1＝R/Y，K2＝G/Y，K3＝B/Y；(3)对所述参考通道值K1、K2和K3进行色彩降噪处理；(4)将对应像素上的全色信息Y’与色彩降噪后的参考通道值K1-K3进行融合，生成融合后的RGB三通道值R’、G’和B’，得到目标图像；其中，R’＝K1*Y’；G’＝K2*Y’；B’＝K3*Y’。本申请实施方式的融合模块204对彩色图像和全色图像进行融合算法处理，使得最终形成的目标图像的来源同时具有彩色信息和亮度信息，由于人眼对亮度的敏感超过色度，因而对于人眼视觉特性而言，本申请实施方式的高动态范围图像处理系统100具有更好的成像效果，最终得到的目标图像也更贴近人眼视觉。

请参阅图1，在某些实施方式中，彩色高动态融合单元30和全色高动态融合单元40集成在图像传感器10中；请参阅图16，在另外的实施方式中，彩色高动态融合单元30和全色高动态融合单元40集成在图像处理器20中。彩色高动态融合单元30和全色高动态融合单元40集成在图像传感器10或图像处理器20中使得本申请实施方式的高动态范围图像处理系统100在无需提高图像传感器的硬件性能的情况下实现高动态范围处理，同时彩色高动态融合单元30和全色高动态融合单元40将高动态范围处理的功能独立地封装起来，有利于降低产品设计过程中的设计难度，提高设计更改的便捷性。

图像处理器20还可以包括接收单元201和内存单元203。接收单元201用于接收第一彩色原始图像、第二彩色原始图像、全色原始图像、第一全色原始图像、第二全色原始图像、高动态彩色图像和高动态全色图像中的一个或多个；内存单元203用于暂存第一彩色原始图像、第二彩色原始图像、全色原始图像、第一全色原始图像、第二全色原始图像、高动态彩色图像、高动态全色图像和全色中间图像中的一个或多个。图像处理器20设置接收单元201和内存单元203将图像的接收、处理和存储分开，有利于高动态范围图像处理系统100的各模块具有更加独立的封装，从而使得高动态范围图像处理系统100具有更高的执行效率和更好的防干扰效果，此外，还有利于降低高动态范围图像处理系统100的重新设计过程的设计难度，从而降低成本。

请参阅图28，本申请还提供一种电子设备1000。本申请实施方式的电子设备1000包括镜头300、壳体200及上述任意一项实施方式的高动态范围图像处理系统100。镜头300、高动态范围图像处理系统100与壳体200结合。镜头300与高动态范围图像处理系统100的图像传感器10配合成像。

电子设备1000可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能眼镜、智能头盔)、无人机、头显设备等，在此不作限制。

本申请实施方式的电子设备1000通过控制像素阵列11中每个子单元内的多个感光像素以不同的曝光时间曝光，并且根据不同曝光时间的感光像素将生成多张图像，以便后续处理单元对此多张图像进行高动态范围处理，从而得到具有高动态范围的目标图像，使得在无需提高图像传感器10的感光像素硬件参数的情况下，就能实现高动态范围功能，使得目标图像的亮处、暗位都能够具有更佳的表现，有利于提高成像性能的同时，有助于降低成本。

请参阅图21，本申请还提供一种高动态范围图像处理方法。本申请实施方式的高动态范围图像处理方法用于高动态范围图像处理系统100。高动态范围图像处理系统100包括图像传感器10。图像传感器10包括像素阵列11。像素阵列11包括多个全色感光像素和多个彩色感光像素。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元，每个最小重复单元包含多个子单元。每个子单元包括多个单颜色感光像素及多个全色感光像素。高动态范围图像处理方法包括：

01：控制像素阵列11曝光。其中，对于同一子单元中的多个感光像素，至少一个单颜色感光像素以第一曝光时间曝光，至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光，至少一个全色感光像素以小于或等于第一曝光时间的第三曝光时间曝光，至少一个全色感光像素以小于第一曝光时间的第四曝光时间曝光。其中，以第一曝光时间曝光的单颜色感光像素生成第一彩色信息得到第一彩色原始图像，以第二曝光时间曝光的单颜色感光像素生成第二彩色信息得到第二彩色原始图像，以第三曝光时间曝光的全色感光像素生成第一全色信息、以第四曝光时间曝光的全色感光像素生成第二全色信息，以得到全色原始图像；和

02：对第一彩色原始图像、第二彩色原始图像和全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

本申请实施方式的高动态范围图像处理方法通过控制像素阵列11中每个子单元内的多个感光像素以不同的曝光时间曝光，并且根据不同曝光时间的感光像素将生成多张图像，以便后续处理单元对此多张图像进行高动态范围处理，从而得到具有高动态范围的目标图像，使得在无需提高图像传感器10的感光像素硬件参数的情况下，就能实现高动态范围功能，使得目标图像的亮处、暗位都能够具有更佳的表现，有利于提高成像性能的同时，有助于降低成本。

在某些实施方式中，全色原始图像包括第一全色原始图像和第二全色原始图像。其中，以第三曝光时间曝光的全色感光像素生成第一全色信息得到第一全色原始图像，以第四曝光时间曝光的全色感光像素生成第二全色信息得到第二全色原始图像。对第一彩色原始图像、第二彩色原始图像和全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像包括(即02)：

对第一彩色原始图像、第二彩色原始图像、第一全色原始图像和第二全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

在某些实施方式中，图像处理包括第一图像处理和第二图像处理。对第一彩色原始图像、第二彩色原始图像、第一全色原始图像和第二全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像包括：

将第一彩色原始图像和第二彩色原始图像融合得到高动态彩色图像；

将第一全色原始图像和第二全色原始图像融合得到高动态全色图像；

对高动态彩色图像进行第一图像处理，得到彩色中间图像；

对高动态全色图像进行第二图像处理，得到全色中间图像；和

对彩色中间图像和全色中间图像进行融合算法处理得到目标图像。

在某些实施方式中，图像处理包括第一图像处理和第二图像处理。第一图像处理包括第一图像子处理和第二图像子处理。对第一彩色原始图像、第二彩色原始图像、第一全色原始图像和第二全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像包括：

对第一彩色原始图像进行第一图像子处理，得到第一彩色中间图像，对第二彩色原始图像进行第一图像子处理，得到第二彩色中间图像；

对第一全色原始图像进行第二图像处理，得到第一全色中间图像，对第二全色原始图像进行第二图像处理，得到第二全色中间图像；

将第一彩色中间图像和第二彩色中间图像融合得到高动态彩色图像；

将第一全色中间图像和第二全色中间图像融合得到高动态全色图像；

对高动态彩色图像进行第二图像子处理，得到彩色中间图像；和

对彩色中间图像和高动态全色图像进行融合算法处理得到目标图像。

在某些实施方式中，图像处理包括第一图像处理和第二图像处理。对第一彩色原始图像、第二彩色原始图像、第一全色原始图像和第二全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像包括：

对第一彩色原始图像进行第一图像子处理，得到第一彩色中间图像，对第二彩色原始图像进行第一图像子处理，得到第二彩色中间图像；

对第一全色原始图像进行第二图像处理，得到第一全色中间图像，对第二全色原始图像进行第二图像处理，得到第二全色中间图像；

将第一彩色中间图像和第二彩色中间图像融合得到高动态彩色图像；

将第一全色中间图像和第二全色中间图像融合得到高动态全色图像；和

对高动态彩色图像和高动态全色图像进行融合算法处理得到目标图像。

在某些实施方式中，第一图像处理包括：黑电平矫正处理、镜头阴影矫正处理、去马赛克处理、坏点补偿处理、色彩矫正处理、全局色调映射处理、色彩转换处理中的一个或多个。第二图像处理包括：黑电平矫正处理、镜头阴影矫正处理、坏点补偿处理、全局色调映射处理中的一个或多个。

在某些实施方式中，第三曝光时间等于第一曝光时间，第四曝光时间等于第二曝光时间。将第一彩色原始图像和第二彩色原始图像融合得到高动态彩色图像包括：

将第一彩色原始图像和第二彩色原始图像进行亮度对齐处理，以得到亮度对齐后的第一彩色原始图像，再融合亮度对齐后的第一彩色原始图像及第二彩色原始图像以得到高动态彩色图像。

将第一全色原始图像和第二全色原始图像融合得到高动态全色图像包括：

将第一全色原始图像和第二全色原始图像进行亮度对齐处理，以得到亮度对齐后的第一全色原始图像，再融合亮度对齐后的第一全色原始图像及第二全色原始图像以得到高动态全色图像。

在某些实施方式中，第三曝光时间等于第一曝光时间，第四曝光时间等于第二曝光时间。将第一彩色中间图像和第二彩色中间图像融合得到高动态彩色图像包括：

将第一彩色中间图像和第二彩色中间图像进行亮度对齐处理，以得到亮度对齐后的第一彩色中间图像，再融合亮度对齐后的第一彩色中间图像及第二彩色中间图像以得到高动态彩色图像。

将第一全色中间图像和第二全色中间图像融合得到高动态全色图像包括：

将第一全色中间图像和第二全色中间图像进行亮度对齐处理，以得到亮度对齐后的第一全色中间图像，再融合亮度对齐后的第一全色中间图像及第二全色中间图像以得到高动态全色图像。

在某些实施方式中，第三曝光时间等于第四曝光时间，第三曝光时间大于第二曝光时间，并且小于第一曝光时间。高动态范围图像处理方法还包括：

将每个子单元中以第三曝光时间曝光的全色感光像素生成的第一全色信息和以第四曝光时间曝光的全色感光像素生成的第二全色信息进行像素相加处理或像素求平均处理，以得到全色原始图像；或者

全色原始图像包括第一全色原始图像和第二全色原始图像。图像传感器10以第三曝光时间曝光的全色感光像素生成第一全色信息得到第一全色原始图像，以第四曝光时间曝光的全色感光像素生成第二全色信息得到第二全色原始图像。高动态范围图像处理方法还包括：

将第一全色原始图像的每个子单元中以第三曝光时间曝光的全色感光像素生成的第一全色信息与第二全色原始图像的对应子单元中以第四曝光时间曝光的全色感光像素生成的第二全色信息进行像素相加处理或像素求平均处理，以得到全色原始图像。

在某些实施方式中，高动态范围图像处理方法还包括：

接收第一彩色原始图像、第二彩色原始图像、全色原始图像、第一全色原始图像、第二全色原始图像、高动态彩色图像和高动态全色图像中的一个或多个；和

暂存第一彩色原始图像、第二彩色原始图像、全色原始图像、第一全色原始图像、第二全色原始图像、高动态彩色图像、高动态全色图像、彩色中间图像和全色中间图像中的一个或多个。

上述任意一项实施方式的高动态范围图像处理方法的具体实施过程与前述高动态范围图像处理系统100获得目标图像的具体实施过程相同，在此不再展开说明。

请参阅29，本申请还提供一种包含计算机程序的非易失性计算机可读存储介质400。该计算机程序被处理器60执行时，使得处理器60执行上述任意一项实施方式所述的高动态范围图像处理方法。

综上，本申请实施方式的图像传感器10、高动态范围图像处理系统100及方法、电子设备1000和计算机可读存储介质400通过控制像素阵列11中每个子单元内的多个感光像素以不同的曝光时间曝光，并且根据不同曝光时间的感光像素将生成多张图像，以便后续处理单元对此多张图像进行高动态范围处理，从而得到具有高动态范围的目标图像，使得在无需提高图像传感器10的感光像素硬件参数的情况下，就能实现高动态范围功能，使得目标图像的亮处、暗位都能够具有更佳的表现，有利于提高成像性能的同时，有助于降低成本。

此外，相关技术中，图像处理器仅能对传统的由彩色感光像素组成的像素阵列形成的图像进行处理，不适用同时具有彩色感光像素和全色感光像素的像素阵列产生的图像。本申请实施方式的图像传感器10、高动态范围图像处理系统100及方法、电子设备1000和计算机可读存储介质400适用于具有彩色感光像素和全色感光像素的像素阵列产生的图像。在同样的光环境和其他辅助硬件下，全色感光像素能接收比彩色感光像素更多的光线，从而能提高最终形成的图像的亮度，并且人眼对亮度的敏感超过色度，从而使得本申请实施方式的图像传感器10、高动态范围图像处理系统100及方法、电子设备1000和计算机可读存储介质400具有更好的成像效果。

相关技术中采用例如提高快门速度或选取感光响应曲线呈对数形式的感光像素的方式，对高动态相机的图像传感器的硬件参数提出较高要求。本申请实施方式的图像传感器10、高动态范围图像处理系统100及方法、电子设备1000和计算机可读存储介质400在无需提高图像传感器的硬件参数要求的情况下，通过在图像传感器中设置彩色高动态融合单元30、全色高动态融合单元40和融合模块204，就能实现高动态范围处理功能，进而得到成像效果更好的图像。

在本申请的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请的实施方式中的具体含义。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(控制方法)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“某些实施方式”等的描述意指结合所述实施方式或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施方式中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施方式中以合适的方式结合。

尽管上面已经示出和描述了本申请实施方式，可以理解，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (24)

1.一种图像传感器，其特征在于，包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素，当所述图像传感器中的像素阵列曝光时，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于或等于所述第一曝光时间的第三曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第四曝光时间曝光；其中，以所述第一曝光时间曝光的所述单颜色感光像素生成第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色信息、以所述第四曝光时间曝光的所述全色感光像素生成第二全色信息，以得到全色原始图像。

2.一种高动态范围图像处理系统，其特征在于，包括图像传感器、彩色高动态融合单元和图像处理器；

所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素，当所述图像传感器中的像素阵列曝光时，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于或等于所述第一曝光时间的第三曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第四曝光时间曝光；其中，以所述第一曝光时间曝光的所述单颜色感光像素生成第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色信息、以所述第四曝光时间曝光的所述全色感光像素生成第二全色信息，以得到全色原始图像；

所述彩色高动态融合单元和所述图像处理器用于对所述第一彩色原始图像、所述第二彩色原始图像和所述全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

3.根据权利要求2所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理系统还包括全色高动态融合单元，所述全色原始图像包括第一全色原始图像和第二全色原始图像；

以所述第三曝光时间曝光的所述全色感光像素生成所述第一全色信息得到所述第一全色原始图像，以所述第四曝光时间曝光的所述全色感光像素生成所述第二全色信息得到所述第二全色原始图像；

所述彩色高动态融合单元、所述全色高动态融合单元和所述图像处理器用于对所述第一彩色原始图像、所述第二彩色原始图像、所述第一全色原始图像和所述第二全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

4.根据权利要求3所述的高动态范围图像处理系统，其特征在于，所述图像处理器包括彩色处理模块、全色处理模块和融合模块，所述图像处理包括第一图像处理和第二图像处理；

所述彩色高动态融合单元用于将所述第一彩色原始图像和所述第二彩色原始图像融合得到高动态彩色图像；

所述全色高动态融合单元用于将所述第一全色原始图像和所述第二全色原始图像融合得到高动态全色图像；

所述彩色处理模块用于对所述高动态彩色图像进行第一图像处理，得到彩色中间图像；

所述全色处理模块用于对所述高动态全色图像进行第二图像处理，得到全色中间图像；

所述融合模块用于对所述彩色中间图像和所述全色中间图像进行融合算法处理得到所述目标图像。

5.根据权利要求3所述的高动态范围图像处理系统，其特征在于，所述图像处理器包括彩色处理模块、全色处理模块和融合模块，所述图像处理包括第一图像处理和第二图像处理，所述第一图像处理包括第一图像子处理和第二图像子处理；

所述彩色处理模块用于对所述第一彩色原始图像进行第一图像子处理，得到第一彩色中间图像，对所述第二彩色原始图像进行第一图像子处理，得到第二彩色中间图像；

所述全色处理模块用于对所述第一全色原始图像进行第二图像处理，得到第一全色中间图像，对所述第二全色原始图像进行第二图像处理，得到第二全色中间图像；

所述彩色高动态融合单元用于将所述第一彩色中间图像和所述第二彩色中间图像融合得到高动态彩色图像；

所述全色高动态融合单元用于将所述第一全色中间图像和所述第二全色中间图像融合得到高动态全色图像；

所述彩色处理模块还用于对所述高动态彩色图像进行第二图像子处理，得到彩色中间图像；

所述融合模块用于对所述彩色中间图像和所述高动态全色图像进行融合算法处理得到所述目标图像。

6.根据权利要求3所述的高动态范围图像处理系统，其特征在于，所述图像处理器包括彩色处理模块、全色处理模块和融合模块，所述图像处理包括第一图像处理和第二图像处理；

所述彩色处理模块用于对所述第一彩色原始图像进行第一图像处理，得到第一彩色中间图像，对所述第二彩色原始图像进行第一图像处理，得到第二彩色中间图像；

所述全色处理模块用于对所述第一全色原始图像进行第二图像处理，得到第一全色中间图像，对所述第二全色原始图像进行第二图像处理，得到第二全色中间图像；

所述彩色高动态融合单元用于将所述第一彩色中间图像和所述第二彩色中间图像融合得到高动态彩色图像；

所述全色高动态融合单元用于将所述第一全色中间图像和所述第二全色中间图像融合得到高动态全色图像；

所述融合模块用于对所述高动态彩色图像和所述高动态全色图像进行融合算法处理得到所述目标图像。

7.根据权利要求4至6任意一项所述的高动态范围图像处理系统，其特征在于，所述第一图像处理包括：

黑电平矫正处理、镜头阴影矫正处理、去马赛克处理、坏点补偿处理、色彩矫正处理、全局色调映射处理、色彩转换处理中的一个或多个；

所述第二图像处理包括：

所述黑电平矫正处理、所述镜头阴影矫正处理、所述坏点补偿处理、所述全局色调映射处理中的一个或多个。

8.根据权利要求4所述的高动态范围图像处理系统，其特征在于，所述第三曝光时间等于所述第一曝光时间，所述第四曝光时间等于所述第二曝光时间，所述彩色高动态融合单元用于：

将所述第一彩色原始图像和所述第二彩色原始图像进行亮度对齐处理，以得到亮度对齐后的所述第一彩色原始图像，再融合亮度对齐后的所述第一彩色原始图像及所述第二彩色原始图像以得到高动态彩色图像；

所述全色高动态融合单元用于：

将所述第一全色原始图像和所述第二全色原始图像进行亮度对齐处理，以得到亮度对齐后的所述第一全色原始图像，再融合亮度对齐后的所述第一全色原始图像及所述第二全色原始图像以得到高动态全色图像。

9.根据权利要求5或6所述的高动态范围图像处理系统，其特征在于，所述第三曝光时间等于所述第一曝光时间，所述第四曝光时间等于所述第二曝光时间，所述彩色高动态融合单元用于：

将所述第一彩色中间图像和所述第二彩色中间图像进行亮度对齐处理，以得到亮度对齐后的所述第一彩色中间图像，再融合亮度对齐后的所述第一彩色中间图像及所述第二彩色中间图像以得到高动态彩色图像；

所述全色高动态融合单元用于：

将所述第一全色中间图像和所述第二全色中间图像进行亮度对齐处理，以得到亮度对齐后的所述第一全色中间图像，再融合亮度对齐后的所述第一全色中间图像及所述第二全色中间图像以得到高动态全色图像。

10.根据权利要求2所述的高动态范围图像处理系统，其特征在于，所述第三曝光时间等于所述第四曝光时间，所述第三曝光时间大于所述第二曝光时间，并且小于所述第一曝光时间，所述高动态范围图像处理系统还包括全色信息融合单元；

所述全色信息融合单元用于：

将每个所述子单元中以所述第三曝光时间曝光的所述全色感光像素生成的所述第一全色信息和以所述第四曝光时间曝光的所述全色感光像素生成的所述第二全色信息进行像素相加处理或像素求平均处理，以得到所述全色原始图像；或者

所述全色原始图像包括第一全色原始图像和第二全色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成所述第一全色信息得到所述第一全色原始图像，以所述第四曝光时间曝光的所述全色感光像素生成所述第二全色信息得到所述第二全色原始图像，所述全色信息融合单元用于：

将所述第一全色原始图像的每个所述子单元中以所述第三曝光时间曝光的所述全色感光像素生成的所述第一全色信息与所述第二全色原始图像的对应所述子单元中以所述第四曝光时间曝光的所述全色感光像素生成的所述第二全色信息进行像素相加处理或像素求平均处理，以得到所述全色原始图像。

11.根据权利要求4至6任意一项所述的高动态范围图像处理系统，其特征在于，所述图像处理器还包括：

接收单元，所述接收单元用于接收所述第一彩色原始图像、所述第二彩色原始图像、所述全色原始图像、所述第一全色原始图像、所述第二全色原始图像、所述高动态彩色图像和所述高动态全色图像中的一个或多个；和

内存单元，所述内存单元用于暂存所述第一彩色原始图像、所述第二彩色原始图像、所述全色原始图像、所述第一全色原始图像、所述第二全色原始图像、所述高动态彩色图像、所述高动态全色图像和所述全色中间图像中的一个或多个。

12.根据权利要求3所述的高动态范围图像处理系统，其特征在于，所述彩色高动态融合单元和所述全色高动态融合单元集成在所述图像传感器中；或所述彩色高动态融合单元和所述全色高动态融合单元集成在所述图像处理器中。

13.一种高动态范围图像处理方法，用于高动态范围图像处理系统，其特征在于，所述高动态范围图像处理系统包括图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；所述高动态范围图像处理方法包括：

控制所述像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于或等于所述第一曝光时间的第三曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第四曝光时间曝光，其中，以所述第一曝光时间曝光的所述单颜色感光像素生成第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色信息、以所述第四曝光时间曝光的所述全色感光像素生成第二全色信息，以得到全色原始图像；和

对所述第一彩色原始图像、所述第二彩色原始图像和所述全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

14.根据权利要求13所述的高动态范围图像处理方法，其特征在于，所述全色原始图像包括第一全色原始图像和第二全色原始图像；以所述第三曝光时间曝光的所述全色感光像素生成所述第一全色信息得到所述第一全色原始图像，以所述第四曝光时间曝光的所述全色感光像素生成所述第二全色信息得到所述第二全色原始图像；所述对所述第一彩色原始图像、所述第二彩色原始图像和所述全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像包括：

对所述第一彩色原始图像、所述第二彩色原始图像、所述第一全色原始图像和所述第二全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像。

15.根据权利要求14所述的高动态范围图像处理方法，其特征在于，所述图像处理包括第一图像处理和第二图像处理，所述对所述第一彩色原始图像、所述第二彩色原始图像、所述第一全色原始图像和所述第二全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像包括：

将所述第一彩色原始图像和所述第二彩色原始图像融合得到高动态彩色图像；

将所述第一全色原始图像和所述第二全色原始图像融合得到高动态全色图像；

对所述高动态彩色图像进行第一图像处理，得到彩色中间图像；

对所述高动态全色图像进行第二图像处理，得到全色中间图像；和

对所述彩色中间图像和所述全色中间图像进行融合算法处理得到所述目标图像。

16.根据权利要求14所述的高动态范围图像处理方法，其特征在于，所述图像处理包括第一图像处理和第二图像处理，所述第一图像处理包括第一图像子处理和第二图像子处理；所述对所述第一彩色原始图像、所述第二彩色原始图像、所述第一全色原始图像和所述第二全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像包括：

对所述第一彩色原始图像进行第一图像子处理，得到第一彩色中间图像，对所述第二彩色原始图像进行第一图像子处理，得到第二彩色中间图像；

对所述第一全色原始图像进行第二图像处理，得到第一全色中间图像，对所述第二全色原始图像进行第二图像处理，得到第二全色中间图像；

将所述第一彩色中间图像和所述第二彩色中间图像融合得到高动态彩色图像；

将所述第一全色中间图像和所述第二全色中间图像融合得到高动态全色图像；

对所述高动态彩色图像进行第二图像子处理，得到彩色中间图像；和

对所述彩色中间图像和所述高动态全色图像进行融合算法处理得到所述目标图像。

17.根据权利要求14所述的高动态范围图像处理方法，其特征在于，所述图像处理包括第一图像处理和第二图像处理；所述对所述第一彩色原始图像、所述第二彩色原始图像、所述第一全色原始图像和所述第二全色原始图像进行高动态范围处理、图像处理和融合算法处理得到目标图像包括：

对所述第一彩色原始图像进行第一图像子处理，得到第一彩色中间图像，对所述第二彩色原始图像进行第一图像子处理，得到第二彩色中间图像；

对所述第一全色原始图像进行第二图像处理，得到第一全色中间图像，对所述第二全色原始图像进行第二图像处理，得到第二全色中间图像；

将所述第一彩色中间图像和所述第二彩色中间图像融合得到高动态彩色图像；

将所述第一全色中间图像和所述第二全色中间图像融合得到高动态全色图像；和

对所述高动态彩色图像和所述高动态全色图像进行融合算法处理得到所述目标图像。

18.根据权利要求15至17任意一项所述的高动态范围图像处理方法，其特征在于，所述第一图像处理包括：

黑电平矫正处理、镜头阴影矫正处理、去马赛克处理、坏点补偿处理、色彩矫正处理、全局色调映射处理、色彩转换处理中的一个或多个；

所述第二图像处理包括：

所述黑电平矫正处理、所述镜头阴影矫正处理、所述坏点补偿处理、所述全局色调映射处理中的一个或多个。

19.根据权利要求15所述的高动态范围图像处理方法，其特征在于，所述第三曝光时间等于所述第一曝光时间，所述第四曝光时间等于所述第二曝光时间；所述将所述第一彩色原始图像和所述第二彩色原始图像融合得到高动态彩色图像包括：

将所述第一彩色原始图像和所述第二彩色原始图像进行亮度对齐处理，以得到亮度对齐后的所述第一彩色原始图像，再融合亮度对齐后的所述第一彩色原始图像及所述第二彩色原始图像以得到高动态彩色图像；

所述将所述第一全色原始图像和所述第二全色原始图像融合得到高动态全色图像包括：

将所述第一全色原始图像和所述第二全色原始图像进行亮度对齐处理，以得到亮度对齐后的所述第一全色原始图像，再融合亮度对齐后的所述第一全色原始图像及所述第二全色原始图像以得到高动态全色图像。

20.根据权利要求16或17所述的高动态范围图像处理方法，其特征在于，所述第三曝光时间等于所述第一曝光时间，所述第四曝光时间等于所述第二曝光时间；所述将所述第一彩色中间图像和所述第二彩色中间图像融合得到高动态彩色图像包括：

将所述第一彩色中间图像和所述第二彩色中间图像进行亮度对齐处理，以得到亮度对齐后的所述第一彩色中间图像，再融合亮度对齐后的所述第一彩色中间图像及所述第二彩色中间图像以得到高动态彩色图像；

所述将所述第一全色中间图像和所述第二全色中间图像融合得到高动态全色图像包括：

将所述第一全色中间图像和所述第二全色中间图像进行亮度对齐处理，以得到亮度对齐后的所述第一全色中间图像，再融合亮度对齐后的所述第一全色中间图像及所述第二全色中间图像以得到高动态全色图像。

21.根据权利要求13所述的高动态范围图像处理方法，其特征在于，所述第三曝光时间等于所述第四曝光时间，所述第三曝光时间大于所述第二曝光时间，并且小于所述第一曝光时间，所述高动态范围图像处理方法还包括：

将每个所述子单元中以所述第三曝光时间曝光的所述全色感光像素生成的所述第一全色信息和以所述第四曝光时间曝光的所述全色感光像素生成的所述第二全色信息进行像素相加处理或像素求平均处理，以得到所述全色原始图像；或者

所述全色原始图像包括第一全色原始图像和第二全色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成所述第一全色信息得到所述第一全色原始图像，以所述第四曝光时间曝光的所述全色感光像素生成所述第二全色信息得到所述第二全色原始图像，所述高动态范围图像处理方法还包括：

将所述第一全色原始图像的每个所述子单元中以所述第三曝光时间曝光的所述全色感光像素生成的所述第一全色信息与所述第二全色原始图像的对应所述子单元中以所述第四曝光时间曝光的所述全色感光像素生成的所述第二全色信息进行像素相加处理或像素求平均处理，以得到所述全色原始图像。

22.根据权利要求15至17任意一项所述的高动态范围图像处理方法，其特征在于，所述高动态范围图像处理方法还包括：

接收所述第一彩色原始图像、所述第二彩色原始图像、所述全色原始图像、所述第一全色原始图像、所述第二全色原始图像、所述高动态彩色图像和所述高动态全色图像中的一个或多个；和

暂存所述第一彩色原始图像、所述第二彩色原始图像、所述全色原始图像、所述第一全色原始图像、所述第二全色原始图像、所述高动态彩色图像、所述高动态全色图像、所述彩色中间图像和所述全色中间图像中的一个或多个。

23.一种电子设备，其特征在于，包括：

镜头；

壳体；及

权利要求2至12任意一项所述的高动态范围图像处理系统，所述镜头、所述高动态范围图像处理系统与所述壳体结合，所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。

24.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行权利要求13至22任意一项所述的高动态范围图像处理方法。

Images