CN111479071A - 高动态范围图像处理系统及方法、电子设备和可读存储介质 - Google Patents
高动态范围图像处理系统及方法、电子设备和可读存储介质 Download PDFInfo
- Publication number
- CN111479071A CN111479071A CN202010259292.6A CN202010259292A CN111479071A CN 111479071 A CN111479071 A CN 111479071A CN 202010259292 A CN202010259292 A CN 202010259292A CN 111479071 A CN111479071 A CN 111479071A
- Authority
- CN
- China
- Prior art keywords
- image
- high dynamic
- color
- dynamic range
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种高动态范围图像处理系统、高动态范围图像处理方法、电子设备和非易失性计算机可读存储介质。高动态范围图像处理系统包括图像传感器、图像融合模块和高动态范围图像处理模块。图像传感器中的像素阵列曝光。其中，同一子单元中至少一个单颜色感光像素以第一曝光时间曝光，至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光，至少一个全色感光像素以小于或等于第一曝光时间的第三曝光时间曝光。图像融合模块和高动态范围图像处理模块用于对第一彩色原始图像、第二彩色原始图像和全色原始图像进行高动态范围处理及融合算法处理以得到第一高动态范围图像。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种高动态范围图像处理系统、高动态范围图像处理方法、电子设备及非易失性计算机可读存储介质。
背景技术
手机等电子设备中可以设置有摄像头以实现拍照功能。摄像头内可以设置用于接收光线的图像传感器。图像传感器中可以设置有滤光片阵列。其中，滤光片阵列可以呈拜耳阵列的形式排布，也可以呈非拜耳阵列的形式排布。但当滤光片阵列呈非拜耳阵列排布时，图像传感器输出的图像信号不能直接被处理器处理。
发明内容
本申请实施方式提供了一种高动态范围图像处理系统、高动态范围图像处理方法、电子设备及非易失性计算机可读存储介质。
本申请实施方式提供一种高动态范围图像处理系统。高动态范围图像处理系统包括图像传感器、图像融合模块及高动态范围图像处理模块。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素，所述图像传感器中的像素阵列曝光。其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光。其中，以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色原始图像。所述图像融合模块及所述高动态范围图像处理模块用于对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像。所述第一高动态范围图像包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布。所述第一高动态范围图像由图像处理器处理以得到第二高动态范围图像。
本申请实施方式提供一种高动态范围图像处理方法。所述高动态范围图像处理方法用于高动态范围图像处理系统。所述高动态范围图像处理系统包括图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素。所述高动态范围图像处理方法包括：控制所述像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光。其中，以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色原始图像。及对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像。所述第一高动态范围图像包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布。所述第一高动态范围图像由图像处理器处理以得到第二高动态范围图像。
本申请实施方式提供一种电子设备。所述电子设备包括镜头、壳体及上述的高动态范围图像处理系统。所述镜头、所述高动态范围图像处理系统与所述壳体结合，所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。
本申请实施方式提供一种包含计算机程序的非易失性计算机可读存储介质。所述计算机程序被处理器执行时，使得所述处理器执行上述的高动态范围图像处理方法。
本申请实施方式的高动态范围图像处理系统、高动态范围图像处理方法、电子设备及非易失性计算机可读存储介质通过图像融合模块及高动态范围图像处理模块对图像传感器输出的全色原始图像和彩色原始图像事先进行融合算法处理及高动态范围处理，以得到图像像素呈拜耳阵列排布的第一高动态范围图像，再把第一高动态范围图像输入图像处理器中完成后续处理，从而解决图像处理器不能直接对图像像素呈非拜耳阵列排布的图像进行处理的问题。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的一种高动态范围图像处理系统的示意图；
图2是本申请实施方式的一种像素阵列的示意图；
图3是本申请实施方式的一种感光像素的截面示意图；
图4是本申请实施方式的一种感光像素的像素电路图；
图5是本申请实施方式的一种像素阵列中最小重复单元的排布示意图；
图6是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；
图7是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；
图8是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；
图9是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；
图10是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；
图11是本申请实施方式的一种图像传感器输出的原始图像的示意图；
图12是本申请实施方式的一种图像融合处理原理的示意图；
图13是本申请实施方式的又一种图像融合处理原理的示意图；
图14是本申请实施方式的一种亮度对齐处理的示意图；
图15是本申请实施方式的一种高动态范围处理原理的示意图；
图16是本申请实施方式的又一种高动态范围图像处理系统的示意图；
图17是本申请实施方式的一种镜头阴影矫正处理的示意图；
图18是本申请实施方式的又一种高动态范围图像处理系统的示意图；
图19是本申请实施方式的又一种高动态范围处理原理的示意图；
图20是本申请实施方式的又一种图像传感器输出的原始图像的示意图；
图21是本申请实施方式的又一种高动态范围处理原理的示意图；
图22是本申请实施方式的又一种图像融合处理原理的示意图；
图23本申请实施方式的一种电子设备的结构示意图；
图24是本申请实施方式的一种高动态范围图像获取方法的流程示意图；
图25是本申请实施方式的一种非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请参阅图1，本申请实施方式提供一种高动态范围图像处理系统100。高动态范围图像处理系统100包括图像传感器10、图像融合模块20及高动态范围图像处理模块30。图像传感器10包括像素阵列11。像素阵列11包括多个全色感光像素和多个彩色感光像素，彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元，每个最小重复单元包含多个子单元，每个子单元包括多个单颜色感光像素及多个全色感光像素。图像传感器10中的像素阵列11曝光，其中，对于同一子单元中的多个感光像素，至少一个单颜色感光像素以第一曝光时间曝光，至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光，至少一个全色感光像素以小于第一曝光时间的第三曝光时间曝光。其中，以第一曝光时间曝光的单颜色感光像素生成的第一彩色信息得到第一彩色原始图像，以第二曝光时间曝光的单颜色感光像素生成的第二彩色信息得到第二彩色原始图像，以第三曝光时间曝光的全色感光像素生成第一全色原始图像。图像融合模块20及高动态范围图像处理模块30用于对第一彩色原始图像、第二彩色原始图像及第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像。第一高动态范围图像包含多个彩色图像像素，多个彩色图像像素呈拜耳阵列排布。第一高动态范围图像由图像处理器40处理以得到第二高动态范围图像。
本申请实施方式的高动态范围图像处理系统100通过图像融合模块20及高动态范围图像处理模块30对图像传感器10输出的全色原始图像和彩色原始图像事先进行融合算法处理及高动态范围处理，以得到图像像素呈拜耳阵列排布的第一高动态范围图像，再把第一高动态范围图像输入图像处理器中完成后续处理，从而解决图像处理器40不能直接对图像像素呈非拜耳阵列排布的图像进行处理的问题。
下面结合附图对本申请作进一步说明。
图2是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。
例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。
例如，像素阵列11包括以阵列形式二维排列(即二维矩阵形式排布)的多个感光像素110(图3所示)，每个感光像素110包括光电转换元件1111(图4所示)。每个感光像素110根据入射在其上的光的强度将光转换为电荷。
例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位感光像素110，从这些单位感光像素110逐行地读取信号。例如，被选择并被扫描的感光像素行中的每一感光像素110输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件的光电荷被丢弃，从而可以开始新的光电荷的积累。
例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选感光像素行中的每一感光像素110输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的感光像素110的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。
例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一感光像素列被列处理单元14顺序地处理，并且被顺序输出。
例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。
图3是本申请实施方式中一种感光像素110的示意图。感光像素110包括像素电路111、滤光片112、及微透镜113。沿感光像素110的收光方向，微透镜113、滤光片112、及像素电路111依次设置。微透镜113用于汇聚光线，滤光片112用于供某一波段的光线通过并过滤掉其余波段的光线。像素电路111用于将接收到的光线转换为电信号，并将生成的电信号提供给图2所示的列处理单元14。
图4是本申请实施方式中一种感光像素110的像素电路111的示意图。图4中像素电路111可应用在图2所示的像素阵列11内的每个感光像素110(图3所示)中。下面结合图2至图4对像素电路111的工作原理进行说明。
如图4所示，像素电路111包括光电转换元件1111(例如，光电二极管)、曝光控制电路(例如，转移晶体管1112)、复位电路(例如，复位晶体管1113)、放大电路(例如，放大晶体管1114)和选择电路(例如，选择晶体管1115)。在本申请的实施例中，转移晶体管1112、复位晶体管1113、放大晶体管1114和选择晶体管1115例如是MOS管，但不限于此。
例如，光电转换元件1111包括光电二极管，光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路(例如，转移晶体管1112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管1114的栅极、复位晶体管1113的源极连接。
例如，曝光控制电路为转移晶体管1112，曝光控制电路的控制端TG为转移晶体管1112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管1112的栅极时，转移晶体管1112导通。转移晶体管1112将光电二极管光电转换的电荷传输到浮动扩散单元FD。
例如，复位晶体管1113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。
例如，放大晶体管1114的栅极连接到浮动扩散单元FD。放大晶体管1114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管1113复位之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管1112转移之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出信号电平。
例如，选择晶体管1115的漏极连接到放大晶体管1114的源极。选择晶体管1115的源极通过输出端OUT连接到图2中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管1115的栅极时，选择晶体管1115导通。放大晶体管1114输出的信号通过选择晶体管1115传输到列处理单元14。
需要说明的是，本申请实施例中像素电路111的像素结构并不限于图4所示的结构。例如，像素电路111也可以具有三晶体管像素结构，其中放大晶体管1114和选择晶体管1115的功能由一个晶体管完成。例如，曝光控制电路也不局限于单个转移晶体管1112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，本申请实施方式中的单个转移晶体管1112的实施方式简单、成本低、易于控制。
图5至图10是本申请某些实施方式的像素阵列11(图2所示)中的感光像素110(图3所示)的排布示意图。感光像素110包括两类，一类为全色感光像素W，另一类为彩色感光像素。图5至图10仅示出了一个最小重复单元中的多个感光像素110的排布。对图5至图10所示的最小重复单元在行和列上多次复制，即可形成像素阵列11。每个最小重复单元均由多个全色感光像素W和多个彩色感光像素组成。每个最小重复单元包括多个子单元。每个子单元内包括多个单颜色感光像素和多个全色感光像素W。其中，图5至图8所示的最小重复单元中，每个子单元中的全色感光像素W和彩色感光像素交替设置。图9和图10所示的最小重复单元中，每个子单元中，同一行的多个感光像素110为同一类别的感光像素110；或者，同一列的多个感光像素110为同一类别的感光像素110。
具体地，例如，图5为本申请一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：
W A W B
A W B W
W B W C
B W C W
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图5所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。
例如，如图5所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1(例如图5中左上角和右下角连接的方向)，两个第二类子单元UB设置在第二对角线方向D2(例如图5中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
需要说明的是，在其他实施方式中，第一对角线方向D1也可以是右上角和左下角连接的方向，第二对角线方向D2也可以是左上角和右下角连接的方向。另外，这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。下文图6至图10中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。
再例如，图6为本申请另一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为6行6列36个感光像素110，子单元为3行3列9个感光像素110。排布方式为：
W A W B W B
A W A W B W
W A W B W B
B W B W C W
W B W C W C
B W B W C W
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图6所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。
例如，如图6所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，图7为本申请又一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为8行8列64个感光像素110，子单元为4行4列16个感光像素110。排布方式为：
W A W A W B W B
A W A W B W B W
W A W A W B W B
A W A W B W B W
W B W B W C W C
B W B W C W C W
W B W B W C W C
B W B W C W C W
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图7所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。
例如，如图7所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
具体地，例如，图8为本申请再一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：
W A W B
A W B W
B W C W
W B W C
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
图8所示的最小重复单元中感光像素110的排布与图5所示的最小重复单元中感光像素110的排布大致相同，其不同之处在于，图8中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序与图5中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序不一致，并且，图8中的第三类子单元UC中的全色感光像素W与单颜色感光像素的交替顺序与图5中位于右下角的第三类子单元UC中的全色感光像素W与单颜色感光像素的交替顺序也不一致。具体地，图5中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第二颜色感光像素B)，第二行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W；而图8中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第二颜色感光像素B)。图5中位于右下角的第三类子单元UC中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)，第二行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W；而图8中位于右下角的第三类子单元UC中，第一行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)。
如图8所示，图8中的第一类子单元UA中的全色感光像素W与单颜色感光像素的交替顺序与第三类子单元UC中的全色感光像W素与单颜色感光像素的交替顺序不一致。具体地，图8所示的第一类子单元CA中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第一颜色感光像素A)，第二行的感光像素110的交替顺序为单颜色感光像素(即第一颜色感光像素A)、全色感光像素W；而图8所示的第三类子单元CC中，第一行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)。也即是说，同一最小重复单元中，不同子单元内的全色感光像素W与彩色感光像素的交替顺序可以是一致的(如图5所示)，也可以是不一致的(如图8所示)。
再例如，图9为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：
W W W W
A A B B
W W W W
B B C C
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图9所示，对于每个子单元，同一行的多个感光像素110为同一类别的感光像素110。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。
例如，如图9所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，图10为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：
W W W W
A A B B
W W W W
B B C C
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图10所示，对于每个子单元，同一列的多个感光像素110为同一类别的感光像素110。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。
例如，如图10所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
例如，在其他实施方式中，同一最小重复单元中，也可以是部分子单元内的同一行的多个感光像素110为同一类别的感光像素110，其余部分子单元内的同一列的多个感光像素110为同一类别的感光像素110。
例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为绿色感光像素G；第三颜色感光像素C可以为蓝色感光像素Bu。
例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为黄色感光像素Y；第三颜色感光像素C可以为蓝色感光像素Bu。
例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为品红色感光像素M；第二颜色感光像素B可以为青色感光像素Cy；第三颜色感光像素C可以为黄色感光像素Y。
需要说明的是，在一些实施例中，全色感光像素W的响应波段可为可见光波段(例如，400nm-760nm)。例如，全色感光像素W上设置有红外滤光片，以实现红外光的滤除。在另一些实施例中，全色感光像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10(图1所示)中的光电转换元件1111(图4所示)的响应波段相匹配。例如，全色感光像素W可以不设置滤光片或者设置可供所有波段的光线通过的滤光片，全色感光像素W的响应波段由光电转换元件1111的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
请结合图1至图3、图5及图11，在某些实施方式中，控制单元13控制像素阵列11曝光。其中，对于同一子单元中的多个感光像素110，至少一个单颜色感光像素以第一曝光时间曝光，至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光，至少一个全色感光像素W以小于或等于第一曝光时间的第三曝光时间曝光。像素阵列11中以第一曝光时间曝光的多个单颜色感光像素可以生成第一彩色信息，以第二曝光时间曝光的多个单颜色感光像素可以生成第二彩色信息，以第三曝光时间曝光的多个全色感光像素W可以生成全色信息。第一彩色信息可以形成第一彩色原始图像。第二彩色信息可以形成第二彩色原始图像。全色信息可以生成全色原始图像。
在一些实施例中，同一子单元中的部分全色感光像素W以第四曝光时间曝光，其余全色感光像素W以第三曝光时间曝光。其中，第四曝光时间小于或等于第一曝光时间，且大于第三曝光时间。
其中，第四曝光时间小于或等于第一曝光时间，且大于第三曝光时间。具体地，对于每个子单元中的(图11所示为4个)感光像素110(图3所示)，一个单颜色感光像素以第一曝光时间(例如图11所示的长曝光时间L)曝光，一个单颜色感光像素以第二曝光时间(例如图11所示的短曝光时间S)曝光，一个全色感光像素W以第三曝光时间(例如图11所示的短曝光时间S)曝光，一个全色感光像素W以第四曝光时间(例如图11所示的长曝光时间L曝光)。
需要说明的是，在某些实施例中，像素阵列11的曝光过程可以是：(1)以第一曝光时间曝光的感光像素110、以第二曝光时间曝光的感光像素110、以第三曝光时间曝光的感光像素110及以第四曝光时间曝光的感光像素110依次序曝光(其中四者的曝光顺序不作限制)，且四者的曝光进行时间均不重叠；(2)以第一曝光时间曝光的感光像素110、以第二曝光时间曝光的感光像素110、以第三曝光时间曝光的感光像素110及以第四曝光时间曝光的感光像素110依次序曝光(其中四者的曝光顺序不作限制)，且四者的曝光进行时间存在部分重叠；(3)所有以较短的曝光时间曝光的感光像素110的曝光进行时间均位于以最长的曝光时间曝光的感光像素110的曝光进行时间内，例如，以第二曝光时间曝光的所有单颜色感光像素的曝光进行时间均位于以第一曝光时间曝光的所有单颜色感光像素的曝光进行时间内，以第三曝光时间曝光的所有全色感光像素W的曝光进行时间均位于以第一曝光时间曝光的所有单颜色感光像素的曝光进行时间内，以第四曝光时间曝光的所有全色感光像素W的曝光进行时间均位于以第一曝光时间曝光的所有单颜色感光像素的曝光进行时间内。在本申请的具体实施例中，图像传感器10采用第(3)种曝光方式，使用该种曝光方式可以缩短像素阵列11所需要的整体曝光时间，有利于提升图像的帧率。
像素阵列11曝光结束后，图像传感器10可以输出四张原始图像，分别为：(1)第一彩色原始图像，由以长曝光时间L(第一曝光时间)曝光的多个单颜色感光像素生成的第一彩色信息组成；(2)第二彩色原始图像，由以短曝光时间S(第二曝光时间)曝光的多个单颜色感光像素生成的第二彩色信息组成；(3)第一全色原始图像，由以短曝光时间S曝光的多个全色感光像素W(第三曝光时间)生成的第一全色信息组成；(4)第二全色原始图像，由以长曝光时间L(第四曝光时间)曝光的多个全色感光像素W生成的第二全色信息组成。
请参阅图11和图16，图像传感器10获得第一彩色原始图像、第二彩色原始图像、第一全色原始图像、及第二全色原始图像之后，会将这四张图像传输至图像融合模块20，图像融合模块20对第一彩色原始图像及第二全色原始图像进行融合处理以获得第一中间图像，并且对第二彩色原始图像及第一全色原始图像进行融合处理以获得第二中间图像。
以第一彩色原始图像为例，如图12及图16所示，图像融合模块20首先分离第一彩色原始图像的色彩和亮度以获取色亮分离图像，图12中的色亮分离图像中的LIT表示亮度，CLR表示色彩。具体地，假设单颜色感光像素A为红色感光像素R，单颜色感光像素B为绿色感光像素G，单颜色感光像素C为蓝色感光像素Bu，则：(1)图像融合模块20可以将RGB空间的第一彩色原始图像转换为YCrCb空间的色亮分离图像，此时YCrCb中的Y即为色亮分离图像中的亮度LIT，YCrCb中的Cr和Cb即为色亮分离图像中的色彩CLR；(2)图像融合模块20也可以将RGB的第一彩色原始图像转换为Lab空间的色亮分离图像，此时Lab中的L即为色亮分离图像中的亮度LIT，Lab中的a和b即为色亮分离图像中的色彩CLR。需要说明的是，图12所示色亮分离图像中LIT+CLR并不表示每个像素的像素值由L和CLR相加而成，仅表示每个像素的像素值是由LIT和CLR组成。
随后，图像融合模块20融合色亮分离图像的亮度以及第二全色原始图像的亮度。示例地，第二全色原始图像中每个全色像素W的像素值即为每个全色像素的亮度值，图像融合模块20可以将将色亮分离图像中每个像素的LIT与全色中间图像中对应位置的全色像素的W相加，即可得到亮度修正后的像素值。图像融合模块20根据多个亮度修正后的像素值形成一张亮度修正后的色亮分离图像，再利用色彩空间转换将亮度修正后的色亮分离图像转换为第一中间图像。
同样地，请参阅图13和图16，图像融合模块20对第二彩色原始图像与第一全色原始图像进行融合处理以获得第二中间图像。第二中间图像的获取过程与第一中间图像的获取过程相同，在此不作赘述。当然，图像融合模块20也可以利用其它方式进行融合处理，在此不作限制。通过图像融合模块20对彩色原始图像和全色原始图像的融合处理，可以使得提升融合后得到的中间图像的亮度。
需要说明的是，由于第一彩色原始图像是由以长曝光时间L曝光的多个单颜色感光像素生成的第一彩色信息组成，并且第二全色原始图像也是由以长曝光时间L曝光的多个全色感光像素W生成的第二全色信息组成，所以由第一彩色原始图像与第二全色原始图像经过融合处理获得的第一中间图像中的所有图像像素对应的曝光时间均为长曝光时间L。同样地，由于第二彩色原始图像是由以短曝光时间S曝光的多个单颜色感光像素生成的第二彩色信息组成，并且第一全色原始图像也是由以短曝光时间S曝光的多个全色感光像素W生成的第一全色信息组成，所以由第二彩色原始图像与第一全色原始图像经过融合处理获得的第二中间图像中的所有图像像素对应的曝光时间均为短曝光时间S。
图像融合模块20获得第一中间图像及第二中间图像后，会将这两张图像传输至高动态范围图像处理模块30进行高动态融合处理以获得第一高动态范围图像。示例地，请参阅图16，高动态范围图像处理模块30包括高动态范围图像处理单元31及亮度映射单元33。高动态范围图像处理单元31用于将第一中间图像及第二中间图像融合为第三高动态范围图像；亮度映射单元33用于对第三高动态范围图像进行亮度映射以得到第一高动态范围图像。
具体地，请参阅图16，高动态范围图像处理单元31对第一中间图像及第二中图像进行融合的过程可以包括亮度对齐处理。高动态范围图像处理单元31对第一中间图像及第二中间图像进行亮度对齐处理包括如下步骤：(1)识别第一中间图像中像素值大于第一预设阈值的过曝图像像素；(2)对于每一个过曝图像像素，以该过曝图像像素为中心扩展预定区域；(3)在预定区域内寻找像素值小于第一预设阈值的第三中间图像像素；(4)利用第三中间图像像素及第二中间图像对过曝图像像素的像素值进行修正；(5)利用过曝图像像素的修正后的像素值更新第一中间图像以得到亮度对齐后的第一中间图像。具体地，请结合图14，假设图像像素P12(图14中第一中间图像内标记有虚线圆圈的图像像素)的像素值V1大于第一预设阈值V0，即图像像素P12为过曝图像像素P12，则高动态范围图像处理单元31以过曝图像像素P12为中心扩展一个预定区域，例如，图14所示的3*3区域。当然，在其他实施例中，也可以是4*4区域、5*5区域、10*10区域等，在此不作限制。随后，高动态范围图像处理单元31在3*3的预定区域内寻找像素值小于第一预设阈值V0的中间图像像素，例如图14中的图像像素P21(图14中第一中间图像内标记有点画线圆圈的图像像素)的像素值V2小于第一预设阈值V0，则图像像素P21即为第三中间图像像素P21。随后，高动态范围图像处理单元31在第二中间图像中寻找与过曝图像像素P12及第三中间图像像素P21分别对应的图像像素，即图像像素P1’2’(图14中第二中间图像内标记有虚线圆圈的图像像素)和图像像素P2’1’(图14中第二中间图像内标记有点画线圆圈的图像像素)，其中，图像像素P1’2’与过曝图像像素P12对应，图像像素P2’1’与第三中间图像像素P21对应，图像像素P1’2’的像素值为V3，图像像素P2’1’的像素值为V4。随后，根据V1’/V3＝V2/V4来计算出V1’，并利用V1’的值来替换掉V1的值。由此，即可计算出过曝图像像素P12的实际像素值。高动态范围图像处理单元31对第一中间图像中的每一个过曝图像像素均执行这一亮度对齐的处理过程，即可得到亮度对齐后的第一中间图像。由于亮度对齐后的第一中间图像中的过曝图像像素的像素值经过了修正，亮度对齐后的第一中间图像中的每个图像像素的像素值均较为准确。
高动态范围处理过程中，在获取到亮度对齐的第一中间图像及第二中间图像后，高动态范围图像处理单元31可以对亮度对齐后的第一中间图像及第二中间图像进行融合以得到第三高动态彩色图像。请参阅图15，具体地，高动态范围图像处理单元31首先对亮度对齐后的第一中间图像进行运动检测，以识别亮度对齐后的第一中间图像中是否存在运动模糊区域。若亮度对齐后的第一中间图像中不存在运动模糊区域，则直接融合亮度对齐后的第一中间图像及第二中间图像以得到第一高动态范围图像。若亮度对齐后的第一中间图像中存在运动模糊区域，则将第一中间图像中的运动模糊区域剔除，只融合第二中间图像的所有区域以及亮度对齐后的第一中间图像中除运动模糊区域以外的区域以得到第一高动态范围图像。具体地，在融合亮度对齐后的第一中间图像及第二中间图像时，若亮度对齐后的第一中间图像中不存在运动模糊区域，则此时两张中间图像的融合遵循以下原则：(1)亮度对齐后的第一中间图像中，过曝区域的图像像素的像素值直接替换为第二中间图像中对应于该过曝区域的图像像素的像素值；(2)亮度对齐后的第一中间图像中，欠曝区域的图像像素的像素值为：长曝光像素值除以长短像素值比例；(3)亮度对齐后的第一中间图像中，未欠曝也未过曝区域的图像像素的像素值为：长曝光像素值除以长短像素值比例。若亮度对齐后的第一中间图像中存在运动模糊区域，则此时两张中间图像的融合除了遵循上述三个原则外，还需要遵循第(4)个原则：亮度对齐后的第一中间图像中，运动模糊区域的图像像素的像素值直接替换为第二中间图像中对应于该运动模糊区域的图像像素的像素值。需要说明的是，对于欠曝区域以及未欠曝也未过曝区域而言，这些区域内的图像像素的像素值为长曝光像素值除以长短像素值比例，即VL/(VL/VS)＝VS’，其中，VL表示长曝光像素值，VS表示短曝光像素值，VS’表示计算出来的欠曝区域以及未欠曝也未过曝区域中图像像素的像素值。VS’的信噪比会大于VS的信噪比。
通过高动态范围图像处理单元31对中间图像进行高动态范围处理，可以提升获得的图像的动态范围，提升该图像的成像效果。
当然，高动态范围图像处理单元31也可以采用其他的方法将亮度对齐后的第一中间图像及第二中间图像进行融合以得到第三高动态彩色图像。例如，高动态范围图像处理单元31还可以对亮度对齐后的第一中间图像及第二中间图像进行运动模糊检测，并对检测到的第一中间图像及第二中间图像上存在的运动模糊区域进行运动模糊的消除，以获得消除运动模糊后的第一中间图像及消除运动模糊的第二中间图像。高动态范围图像处理单元31在获取到消除运动模糊后的第一中间图像及消除运动模糊后的第二中间图像后，再对消除运动模糊后的第一中间图像及消除运动模糊后的第二中间图像进行融合，以获得具有高动态范围的第三高动态范围图像，在此不作限制。
高动态范围图像处理单元31在获得第三高动态范围图像后，将第三高动态范围图像传输至亮度映射单元33。亮度映射单元33将第三高动态范围图像进行亮度映射处理以获得第一高动态范围图像。其中，第一高动态范围图像内每个图像像素的数据的位宽要小于第三高动态范围图像内每个图像像素的数据的位宽。
示例地，数据的位宽为10bit的第一中间图像和第二中间图像经过高动态范围图像处理单元31的高动态范围处理后，可获得位宽为16bit的第三高动态范围图像。亮度映射单元33可对位宽为16bit的第三高动态范围图像进行亮度映射处理，以获得位宽为10bit的第一高动态范围图像。当然，在一些实施例中，也可以将位宽为16bit的第三高动态范围图像进行亮度映射处理，以获得位宽为12bit的第一高动态范围图像，在此不作限制。如此，通过亮度映射处理来减小高动态范围图像的数据量，从而避免图像处理器40无法处理数据量过大的高动态范围图像的问题，有利于提升图像处理器40处理高动态范围图像的速度。
高动态范围图像处理单元31可以将第一高动态范围图像传输至图像处理器40进行黑电平、去马赛克、色彩转换、镜头阴影校正、坏点补偿、全局色调映射等后续处理，以获得第二高动态范围图像。第一高动态范围图像中的多个彩色图像像素均呈拜耳阵列排布，每个图像像素的像素值仅包含一个颜色通道的信息，而第二高动态范围图像中的每一个图像像素的像素值均包含各个颜色通道的信息。
请参阅图16，高动态范围图像处理模块30还包括统计单元35，统计单元35用于处理第一中间图像及第二中间图像以获得统计数据。统计单元35获取到统计数据后，将该统计数据提供给图像处理器40以进行自动曝光处理和/或自动白平衡处理。也即是说，该图像处理器40接收到统计数据后，可以根据统计数据进行自动曝光处理和自动白平衡处理中至少一种。例如，图像处理器40根据统计数据进行自动曝光处理；或者，图像处理器40根据统计数据进行自动白平衡处理；或者，图像处理器40根据统计数据进行自动曝光处理及自动白平衡处理。如此，图像处理器40可以根据统计数据进行自动曝光及自动白平衡处理，有利于提升图像处理器40最终输出的图像的质量。
请参阅图16，高动态范围图像处理模块30还包括镜头阴影校正单元37，镜头阴影校正单元37用于校正第三高动态范围图像以得到高动态范围校正图像。具体地，高动态范围图像处理单元31将第一中间图像及第二中间图像融合为第三高动态范围图像后，镜头阴影校正单元37对第三高动态范围图像进行镜头阴影校正处理以获得高动态范围校正图像。镜头阴影校正处理的具体过程如图17所示，镜头阴影校正单元37将第三高动态范围图像进行划分，均等地分为十六个网格，十六个网格中每个网格具有一预设好的补偿系数。然后，镜头阴影校正单元37根据各网格区域邻近的或者自身及其邻近的补偿系效通过双线性插值方法对图像进行阴影矫正。R2为图示的经过镜头阴影矫正处理的第三高动态范围图像中虚线框内的像素值，R1为图示的第一彩色原始图像中的虚线框内的像素值。R2＝R1*k1，k1由R1像素邻近的的网格的补偿系数1.10、1.04、1.105和1.09进行双线性插值获得。设图像的坐标记为(x,y)，x从左第一个像素开始往右计数，y从上第一个像素开始往下计数，x和y均为自然数，如图像边上的标识所示。例如，R1的坐标为(3,3)，则R1在各网格补偿系数图中的坐标应为(0.75,0.75)。f(x,y)表示各网格补偿系数图中坐标为(x，y)的补偿值。则f(0.75,j0.75)为R1在各网格补偿系数图中对应的补偿系数值，则有f(0.75,j0.75)＝(0.25)*(0.25)*f(0,0)+0.25*0.75*f(0,1)+0.75*0.25*f(1,0)+0.75*0.75f(1,1)＝0.0625*1.11+0.1875*1.10+0.1875*1.09+0.5625*1.03。各网格的补偿系数在镜头阴影校正单元37进行镜头阴影矫正处理之前已经预先设置。
镜头阴影校正单元37在获得高动态范围校正图像后，将该高动态范围校正图像传输至统计单元35。统计单元35用于处理高动态范围校正图像以获得统计数据，并将该统计数据提供给图像处理器40以进行自动曝光处理和/或自动白平衡处理，即该统计数据提供给图像处理器40以进行自动曝光处理和自动白平衡处理中至少一种。
由于先对第三高动态范围图像进行镜头阴影校正，再处理阴影校正后的高动态范围校正图像以得到统计数据，避免了镜头阴影的影响，从而使图像处理器40根据统计数据进行的自动曝光处理和/或自动白平衡处理获得的图像的品质更高。需要说明的是，图像融合模块20及高动态范围处理模块30均集成在图像传感器10中。
综上，图16所示的高动态范围图像处理系统100先通过图像融合模块20对彩色原始图像和全色原始图像进行融合以得到第一中间图像和第二中间图像，再通过高动态范围图像处理模块30对第一中间图像和第二中间图像进行高动态范围处理以得到第一高动态范围图像。由于第一高动态范围图像中的多个彩色图像像素呈拜耳阵列排布，因此，第一高动态范围图像可以直接被图像处理器40处理。
在另一些实施例中，请结合图18，当图像传感器10获得第一彩色原始图像、第二彩色原始图像、第一全色原始图像、及第二全色原始图像之后，会将这四张图像传输至高动态范围图像处理模块30，高动态范围图像处理模块30将第一彩色原始图像与第二彩色原始图像融合为第一高动态彩色原始图像，将第一全色原始图像与第二全色原始图像融合为第一高动态全色原始图像。随后，高动态范围图像处理模块30再将第一高动态全色原始图像及第一高动态彩色原始图像传输至图像融合模块20进行融合处理最终获得第一高动态范围图像。
具体地，请参阅图1、图11、图18及图19，图像传感器10获得第一彩色原始图像、第二彩色原始图像、第一全色原始图像、及第二全色原始图像之后，会将这四张图像传输至高动态范围图像处理模块30，高动态范围图像处理模块30中的高动态范围图像处理单元31将第一彩色原始图像与第二彩色原始图像融合为第二高动态彩色原始图像，将第一全色原始图像与第二全色原始图像融合为第二高动态全色原始图像。具体融合过程与如图16所示实施例中将第一中间图像及第二中间图像融合为第三高动态范围图像具体过程相同，在此不作赘述。
亮度映射单元33用于对第二高动态彩色原始图像进行亮度映射以得到数据量较小的第一高动态彩色原始图像，对第二高动态全色原始图像进行亮度映射以得到数据量较小的第一高动态全色原始图像。具体的亮度映射过程与图16所示实施例中将第三高动态范围图像亮度映射成第一高动态范围图像的具体过程相同，在此不作赘述。
镜头阴影校正单元37用于校正第二高动态彩色原始图像以得到高动态彩色校正图像，校正第二高动态全色原始图像以得到高动态全色校正图像。具体校正过程与图16及图17所示实施例中对第三高动态范围图像进行镜头阴影校正的过程相同，在此不作赘述。
统计单元35用于处理高动态彩色校正图像及高动态全色校正图像以获得统计数据，并将该统计数据传输至图像处理器40，使图像处理器40可根据该统计信息进行自动曝光及自动白平衡处理中的至少一种处理。当然，统计单元35也可以直接处理第一彩色原始图像、第二彩色原始图像、第一全色原始图像及第二全色原始图像以获得统计数据，并将该统计数据传输至图像处理器40，使图像处理器40可根据该统计信息进行自动曝光及自动白平衡处理中的至少一种处理。
高动态范围图像处理模块30获得第一高动态彩色原始图像与第一高动态全色原始图像后，将这两张图像传输至图像融合模块20进行融合处理以获得第一高动态范围图像。图像融合模块20将第一高动态彩色原始图像与第一高动态全色原始图像融合为第一高动态范围图像的具体过程与图12所示实施例中，将第一彩色原始图像及第二全色原始图像融合为第一中间图像的具体融合过程相同，在此不作赘述。
综上，图18所示的高动态范围图像处理系统100先通过高动态范围图像处理模块30对彩色原始图像和全色原始图像进行融合以得到第一高动态彩色原始图像及第一高动态全色原始图像，再通过图像融合模块20对第一高动态彩色原始图像及第一高动态全色原始图像进行融合以得到第一高动态范围图像。由于第一高动态范围图像中的多个彩色图像像素呈拜耳阵列排布，因此，第一高动态范围图像可以直接被图像处理器40处理。
在又一些实施例中，如图20所示，像素阵列11中的所有全色感光像素W均以第三曝光时间曝光，第三曝光时间可以大于第二曝光时间，使所有全色感光像素W均以中曝光时间M曝光；或者，第三曝光时间等于第一曝光时间，使所有全色感光像素W均以长曝光时间L曝光，当然第三曝光时间也可以等于或小于第二曝光时间，使全色感光像素W以短曝光时间曝光，在此不作限制。以下以第三曝光时间大于第二曝光时间，即所有全色感光像素W均以中曝光时间M曝光为例进行说明。具体地，对于每个子单元中的多个(图20所示为4个)感光像素110(图3所示)，一个单颜色感光像素以第一曝光时间(例如图20所示的长曝光时间L)曝光，一个单颜色感光像素以第二曝光时间(例如图20所示的短曝光时间S)曝光，两个全色感光像素W均以第三曝光时间(例如图20所示的中曝光时间M)曝光。
需要说明的是，在某些实施例中，像素阵列11的曝光过程可以是：(1)以第一曝光时间曝光的感光像素110、以第二曝光时间曝光的感光像素110及以第三曝光时间曝光的感光像素110依次序曝光(其中三者的曝光顺序不作限制)，且三者的曝光进行时间均不重叠；(2)以第一曝光时间曝光的感光像素110、以第二曝光时间曝光的感光像素110及以第三曝光时间曝光的感光像素110依次序曝光(其中三者的曝光顺序不作限制)，且三者的曝光进行时间存在部分重叠；(3)所有以较短的曝光时间曝光的感光像素110的曝光进行时间均位于以最长的曝光时间曝光的感光像素110的曝光进行时间内，例如，以第二曝光时间曝光的所有单颜色感光像素的曝光进行时间均位于以第一曝光时间曝光的所有单颜色感光像素的曝光进行时间内，以第三曝光时间曝光的所有全色感光像素W的曝光进行时间均位于以第一曝光时间曝光的所有单颜色感光像素的曝光进行时间内。在本申请的具体实施例中，像素阵列11采用第(3)种曝光方式，使用该种曝光方式可以缩短像素阵列11所需要的整体曝光时间，有利于提升图像的帧率。
像素阵列11曝光结束后，图像传感器10可以输出三张原始图像，分别为：(1)第一彩色原始图像，由以长曝光时间L(第一曝光时间)曝光的多个单颜色感光像素生成的第一彩色信息组成；(2)第二彩色原始图像，由以短曝光时间S(第二曝光时间)曝光的多个单颜色感光像素生成的第二彩色信息组成；(3)第一全色原始图像，由以中曝光时间M(第三曝光时间)曝光的多个全色感光像素W生成的第一全色信息组成。
请参阅图18及图20，图像传感器10首先将第一彩色原始图像及第二彩色原始图像传输至高动态范围图像处理模块30进行高动态范围处理以获得第一高动态彩色原始图像，再将第一高动态彩色原始图像及第一全色原始图像传输至图像融合模块20进行融合算法处理以得到第一高动态范围图像。
具体地，请参阅图21，图像传感器10将第一彩色原始图像、第二彩色原始图像及第一全色传输至高动态范围图像处理模块30，高动态范围图像处理模块30中的高动态范围图像处理单元31将第一彩色原始图像及第二彩色原始图像融合为第二高动态彩色原始图像，具体融合过程与如图15所示实施例中将第一中间图像及第二中间图像融合为第三高动态范围图像具体过程相同，在此不作赘述。
亮度映射单元33用于对第二高动态彩色原始图像进行亮度映射以得到数据量较小的第一高动态彩色原始图像。具体过程与图16所示实施例中将第三高动态范围图像亮度映射成第一高动态范围图像的具体过程相同，在此不作赘述。
镜头阴影校正单元37用于校正第二高动态彩色原始图像以得到高动态彩色校正图像。具体校正过程与图16及17所示实施例中对第三高动态范围图像进行镜头阴影校正的过程相同。在此不作赘述。
统计单元35用于处理高动态彩色校正图像及高动态全色校正图像以获得统计数据，并将该统计数据传输至图像处理器40，使图像处理器40可根据该统计信息进行自动曝光及自动白平衡处理中的至少一种处理。当然，统计单元35也可以直接处理第一彩色原始图像、第二彩色原始图像及第一全色原始图像以获得统计数据，并将该统计数据传输至图像处理器40，使图像处理器40可根据该统计信息进行自动曝光及自动白平衡处理中的至少一种处理。
高动态范围图像处理模块30获得第一高动态彩色原始图像后，将第一高动态彩色原始图像及第一全色原始图像传输至图像融合模块20进行融合处理以获得第一高动态范围图像。具体地，请参阅图20及图22，图像传感器10获得的第一全色原始图像包括多个全色图像像素W及多个空图像像素N(NULL)，其中，空图像像素既不为全色图像像素，也不为彩色图像像素，第一全色原始图像中空图像像素N所处位置可视为该位置没有图像像素，或者可以将空图像像素的像素值视为零。比较像素阵列11与全色原始图像可知，对于像素阵列11中的每一个子单元，该子单元包括两个全色图像像素W和两个彩色图像像素(彩色图像像素A、彩色图像像素B、或彩色图像像素C)。第一全色原始图像中也具有与像素阵列11中的每一个子单元对应的一个子单元，第一全色原始图像的子单元包括两个全色图像像素W和两个空图像像素N，两个空图像像素N所处位置对应像素阵列11的子单元中的两个彩色图像像素所处的位置。
图像融合模块20可以对第一全色原始图像作进一步处理得到全色中间图像。示例地，每个子单元都包括多个空图像像素N和多个全色图像像素。具体地，某些子单元包括两个空图像像素N和两个全色图像像素W。图像融合模块20可以将包括空图像像素N和全色图像像素W的子单元中的所有全色图像像素的像素值作为与该子单元中全色大像素W，以获得全色中间图像。此时的全色中间图像的分辨率与第一高动态彩色原始图像的分辨率相同，以方便全色中间图像与第一高动态彩色原始图像融合。全色中间图像与第一高动态彩色原始图像的具体融合过程与图12所示实施例中，将第一彩色原始图像及第二全色原始图像融合为第一中间图像的具体融合过程相同，在此不作赘述。
综上，图18所示的高动态范围图像处理系统100先通过高动态范围图像处理模块30对彩色原始图像和全色原始图像进行融合以得到第一高动态彩色原始图像，再通过图像融合模块20对第一高动态彩色原始图像及第一全色原始图像进行融合以得到第一高动态范围图像。由于第一高动态范围图像中的多个彩色图像像素呈拜耳阵列排布，因此，第一高动态范围图像可以直接被图像处理器40处理。
请参阅图1及图23，本申请还提供一种电子设备1000。本申请实施方式的电子设备1000包括镜头300、壳体200及上述任意一个实施方式所述的高动态范围图像处理系统100。镜头300、高动态范围图像处理系统100与壳体200结合。镜头300与高动态范围图像处理系统100的图像传感器10配合成像。
电子设备1000可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能眼镜、智能头盔)、无人机、头显设备等，在此不作限制。
本申请实施方式的电子设备1000通过图像融合模块20及高动态范围图像处理模块30对图像传感器10输出的全色原始图像和彩色原始图像事先进行融合算法处理及高动态范围处理，以得到图像像素呈拜耳阵列排布的第一高动态范围图像，再把第一高动态范围图像输入图像处理器中完成后续处理，从而解决图像处理器40不能直接对图像像素呈非拜耳阵列排布的图像进行处理的问题。
请参阅图24，本申请还提供一种高动态范围图像处理方法。本申请实施方式的高动态范围图像处理方法用于高动态范围图像处理系统100。高动态范围图像处理系统100包括图像传感器10。图像传感器10包括像素阵列11。像素阵列11包括多个全色感光像素和多个彩色感光像素。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元，每个最小重复单元包含多个子单元。每个子单元包括多个单颜色感光像素及多个全色感光像素。高动态范围图像处理方法包括：
01：像素阵列11曝光，其中，对于同一子单元中的多个感光像素，至少一个单颜色感光像素以第一曝光时间曝光，至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光，至少一个全色感光像素以小于第一曝光时间的第三曝光时间曝光；其中，以第一曝光时间曝光的单颜色感光像素生成的第一彩色信息得到第一彩色原始图像，以第二曝光时间曝光的单颜色感光像素生成的第二彩色信息得到第二彩色原始图像，以第三曝光时间曝光的全色感光像素生成第一全色原始图像；及
02：对第一彩色原始图像、第二彩色原始图像及第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像，第一高动态范围图像包含多个彩色图像像素，多个彩色图像像素呈拜耳阵列排布，第一高动态范围图像由图像处理器处理以得到第二高动态范围图像。
在某些实施方式中，同一子单元中的部分全色感光像素以第四曝光时间曝光，其余全色感光像素以第三曝光时间曝光，第四曝光时间小于或等于第一曝光时间，且大于第三曝光时间，并且以第四曝光时间曝光的单颜色感光像素生成的第二全色信息得到第二全色原始图像；对第一彩色原始图像、第二彩色原始图像及第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像包括：对第一彩色原始图像与第二全色原始图像融合为第一中间图像，将第二彩色原始图像与第一全色原始图像融合为第二中间图像；及将第一中间图像与第二中间图像融合为第一高动态范围图像。
在某些实施方式中，将第一中间图像与第二中间图像融合为第一高动态范围图像包括：将第一中间图像及第二中间图像融合为第三高动态范围图像；及对所第三高动态范围图像进行亮度映射以得到第一高动态范围图像。
在某些实施方式中，高动态范围图像处理方法还包括：将第一中间图像及第二中间图像融合为第三高动态范围图像；对第三高动态范围图像以得到高动态范围校正图像；及处理高动态范围校正图像以获得统计数据，统计数据提供给图像处理器以进行自动曝光处理和/或自动白平衡处理。
在某些实施方式中，高动态范围图像处理方法还包括：处理第一中间图像及第二中间图像以获得统计数据，统计数据提供给图像处理器以进行自动曝光处理和/或自动白平衡处理。
在某些实施方式中，同一子单元中的部分全色感光像素以第四曝光时间曝光，其余全色感光像素以第三曝光时间曝光，第四曝光时间小于或等于第一曝光时间，且大于第三曝光时间，并且以第四曝光时间曝光的单颜色感光像素生成的第二全色信息得到第二全色原始图像。对第一彩色原始图像、第二彩色原始图像及第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像包括：将第一彩色原始图像与第二彩色原始图像融合为第一高动态彩色原始图像，将第一全色原始图像与第二全色原始图像融合为第一高动态全色原始图像；及将第一高动态彩色原始图像与第一高动态全色原始图像融合为第一高动态范围图像。
在某些实施方式中，将第一彩色原始图像与第二彩色原始图像融合为第一高动态彩色原始图像，将第一全色原始图像与第二全色原始图像融合为第一高动态全色原始图像包括：将第一彩色原始图像与第二彩色原始图像融合为第二高动态彩色原始图像，将第一全色原始图像与第二全色原始图像融合为第二高动态全色原始图像；及对第二高动态彩色原始图像进行亮度映射以得到第一高动态彩色原始图像，对第二高动态全色原始图像进行亮度映射以得到第一高动态全色原始图像。
在某些实施方式中，高动态范围图像处理方法包括：将第一彩色原始图像与第二彩色原始图像融合为第二高动态彩色原始图像，将第一全色原始图像与第二全色原始图像融合为第二高动态全色原始图像；校正第二高动态彩色原始图像以得到高动态彩色校正图像，校正第二高动态全色原始图像以得到高动态全色校正图像；及处理高动态彩色校正图像及高动态全色校正图像以获得统计数据，统计数据提供给图像处理器40以进行自动曝光处理和/或自动白平衡处理。
在某些实施方式中，同一子单元中的全部全色感光像素以第三曝光时间曝光；对第一彩色原始图像、第二彩色原始图像及第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像包括：将第一彩色原始图像与第二彩色原始图像融合为第一高动态彩色原始图像；及将第一高动态彩色原始图像与第一全色原始图像融合为第一高动态范围图像。
在某些实施方式中，第一彩色原始图像与第二彩色原始图像融合为第一高动态彩色原始图像包括：将第一彩色原始图像与第二彩色原始图像融合为第二高动态彩色原始图像；及对第二高动态彩色原始图像进行亮度映射以得到第一高动态彩色原始图像。
在某些实施方式中，高动态范围图像处理方法包括：将第一彩色原始图像与第二彩色原始图像融合为第二高动态彩色原始图像；校正第二高动态彩色原始图像以得到高动态彩色校正图像；及处理高动态彩色校正图像及第一全色原始图像以获得统计数据，统计数据提供给图像处理器40以进行自动曝光处理和/或自动白平衡处理。
上述任意一项实施方式的高动态范围图像处理方法的具体实施过程与前述高动态范围图像处理系统100获得高动态范围图像的具体实施过程相同，在此不再展开说明。
请参阅27，本申请还提供一种包含计算机程序的非易失性计算机可读存储介质400。该计算机程序被处理器60执行时，使得处理器60执行上述任意一个实施方式所述的高动态范围图像处理方法。
例如，请参阅图1、图3、图11及图25，计算机程序被处理器60执行时，使得处理器60执行以下步骤：
像素阵列11曝光，其中，对于同一子单元中的多个感光像素，至少一个单颜色感光像素以第一曝光时间曝光，至少一个单颜色感光像素以小于第一曝光时间的第二曝光时间曝光，至少一个全色感光像素以小于第一曝光时间的第三曝光时间曝光；其中，以第一曝光时间曝光的单颜色感光像素生成的第一彩色信息得到第一彩色原始图像，以第二曝光时间曝光的单颜色感光像素生成的第二彩色信息得到第二彩色原始图像，以第三曝光时间曝光的全色感光像素生成第一全色原始图像；及
对第一彩色原始图像、第二彩色原始图像及第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像，第一高动态范围图像包含多个彩色图像像素，多个彩色图像像素呈拜耳阵列排布，第一高动态范围图像由图像处理器处理以得到第二高动态范围图像。
再例如，请参阅图25，计算机程序被处理器60执行时，使得处理器60执行以下步骤：
将第一彩色原始图像与第二彩色原始图像融合为第一高动态彩色原始图像；及
将第一高动态彩色原始图像与第一全色原始图像融合为第一高动态范围图像。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (25)
1.一种高动态范围图像处理系统，其特征在于，包括图像传感器、图像融合模块及高动态范围图像处理模块；
所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素，所述图像传感器中的像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光；其中，以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色原始图像；
所述图像融合模块及所述高动态范围图像处理模块用于对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像，所述第一高动态范围图像包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布，所述第一高动态范围图像由图像处理器处理以得到第二高动态范围图像。
2.根据权利要求1所述的高动态范围图像处理系统，其特征在于，同一所述子单元中的部分所述全色感光像素以第四曝光时间曝光，其余所述全色感光像素以所述第三曝光时间曝光，所述第四曝光时间小于或等于所述第一曝光时间，且大于所述第三曝光时间；
所述图像融合模块用于将所述第一彩色原始图像与第二全色原始图像融合为第一中间图像，将所述第二彩色原始图像与所述第一全色原始图像融合为第二中间图像，以所述第四曝光时间曝光的所述单颜色感光像素生成的第二全色信息得到所述第二全色原始图像；
所述高动态范围图像处理模块用于将所述第一中间图像与所述第二中间图像融合为所述第一高动态范围图像。
3.根据权利要求2所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块包括高动态范围图像处理单元及亮度映射单元；
所述高动态范围图像处理单元用于将所述第一中间图像及所述第二中间图像融合为第三高动态范围图像；
所述亮度映射单元用于对所述第三高动态范围图像进行亮度映射以得到所述第一高动态范围图像。
4.根据权利要求2所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块包括高动态范围图像处理单元、镜头阴影校正单元及统计单元；
所述高动态范围图像处理单元用于将所述第一中间图像及所述第二中间图像融合为第三高动态范围图像；
所述镜头阴影校正单元用于校正所述第三高动态范围图像以得到高动态范围校正图像；
所述统计单元用于处理所述高动态范围校正图像以获得统计数据，所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。
5.根据权利要求2所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块包括统计单元，所述统计单元用于处理所述第一中间图像及所述第二中间图像以获得统计数据，所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。
6.根据权利要求1所述的高动态范围图像处理系统，其特征在于，同一所述子单元中的部分所述全色感光像素以第四曝光时间曝光，其余所述全色感光像素以所述第三曝光时间曝光，所述第四曝光时间小于或等于所述第一曝光时间，且大于所述第三曝光时间；
所述高动态范围图像处理模块用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像，将所述第一全色原始图像与所述第二全色原始图像融合为第一高动态全色原始图像；
所述图像融合模块用于将所述第一高动态彩色原始图像与所述第一高动态全色原始图像融合为所述第一高动态范围图像。
7.根据权利要求6所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块还包括高动态范围图像处理单元及亮度映射单元；
所述高动态范围图像处理单元用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像，将所述第一全色原始图像与所述第二全色原始图像融合为第二高动态全色原始图像；
所述亮度映射单元用于对所述第二高动态彩色原始图像进行亮度映射以得到所述第一高动态彩色原始图像，对所述第二高动态全色原始图像进行亮度映射以得到所述第一高动态全色原始图像。
8.根据权利要求6所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块还包括高动态范围图像处理单元、镜头阴影校正单元及统计单元；
所述高动态范围图像处理单元用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像，将所述第一全色原始图像与所述第二全色原始图像融合为第二高动态全色原始图像；
所述镜头阴影校正单元用于校正所述第二高动态彩色原始图像以得到高动态彩色校正图像，校正所述第二高动态全色原始图像以得到高动态全色校正图像；
所述统计单元用于处理所述高动态彩色校正图像及所述高动态全色校正图像以获得统计数据，所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。
9.根据权利要求1所述的高动态范围图像处理系统，其特征在于，同一所述子单元中的全部所述全色感光像素以第三曝光时间曝光；
所述高动态范围图像处理模块用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像；
所述图像融合模块用于将所述第一高动态彩色原始图像与所述第一全色原始图像融合为所述第一高动态范围图像。
10.根据权利要求9所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块还包括高动态范围图像处理单元及亮度映射单元；
所述高动态范围图像处理单元用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像；
所述亮度映射单元用于对所述第二高动态彩色原始图像进行亮度映射以得到所述第一高动态彩色原始图像。
11.根据权利要求9所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理模块还包括高动态范围图像处理单元、镜头阴影校正单元及统计单元；
所述高动态范围图像处理单元用于将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像；
所述镜头阴影校正单元用于校正所述第二高动态彩色原始图像以得到高动态彩色校正图像；
所述统计单元用于处理所述高动态彩色校正图像及所述第一全色原始图像以获得统计数据，所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。
12.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述图像融合模块及所述高动态范围图像处理模块均集成在所述图像传感器中。
13.一种高动态范围图像处理方法，用于高动态范围图像处理系统，其特征在于，所述高动态范围图像处理系统包括图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；所述高动态范围图像处理方法包括：
所述像素阵列曝光，其中，对于同一所述子单元中的多个感光像素，至少一个所述单颜色感光像素以第一曝光时间曝光，至少一个所述单颜色感光像素以小于所述第一曝光时间的第二曝光时间曝光，至少一个所述全色感光像素以小于所述第一曝光时间的第三曝光时间曝光；其中，以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色信息得到第一彩色原始图像，以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色信息得到第二彩色原始图像，以所述第三曝光时间曝光的所述全色感光像素生成第一全色原始图像；及
对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像，所述第一高动态范围图像包含多个彩色图像像素，多个所述彩色图像像素呈拜耳阵列排布，所述第一高动态范围图像由图像处理器处理以得到第二高动态范围图像。
14.根据权利要求13所述的高动态范围图像处理方法，其特征在于，同一所述子单元中的部分所述全色感光像素以第四曝光时间曝光，其余所述全色感光像素以所述第三曝光时间曝光，所述第四曝光时间小于或等于所述第一曝光时间，且大于所述第三曝光时间，并且以所述第四曝光时间曝光的所述单颜色感光像素生成的第二全色信息得到所述第二全色原始图像；所述对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像，包括：
对所述第一彩色原始图像与第二全色原始图像融合为第一中间图像，将所述第二彩色原始图像与所述第一全色原始图像融合为第二中间图像；及
将所述第一中间图像与所述第二中间图像融合为所述第一高动态范围图像。
15.根据权利要求14所述的高动态范围图像处理方法，其特征在于，所述将所述第一中间图像与所述第二中间图像融合为所述第一高动态范围图像包括：
将所述第一中间图像及所述第二中间图像融合为第三高动态范围图像；及
对所述第三高动态范围图像进行亮度映射以得到所述第一高动态范围图像。
16.根据权利要求14所述的高动态范围图像处理方法，其特征在于，所述高动态范围图像处理方法，还包括：
将所述第一中间图像及所述第二中间图像融合为第三高动态范围图像；
对所述第三高动态范围图像以得到高动态范围校正图像；及
处理所述高动态范围校正图像以获得统计数据，所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。
17.根据权利要求14所述的高动态范围图像处理方法，其特征在于，所述高动态范围图像处理方法，还包括：
处理所述第一中间图像及所述第二中间图像以获得统计数据，所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。
18.根据权利要求13所述的高动态范围图像处理方法，其特征在于，同一所述子单元中的部分所述全色感光像素以第四曝光时间曝光，其余所述全色感光像素以所述第三曝光时间曝光，所述第四曝光时间小于或等于所述第一曝光时间，且大于所述第三曝光时间，并且以所述第四曝光时间曝光的所述单颜色感光像素生成的第二全色信息得到所述第二全色原始图像；所述对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像，包括：
将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像，将所述第一全色原始图像与所述第二全色原始图像融合为第一高动态全色原始图像；及
将所述第一高动态彩色原始图像与所述第一高动态全色原始图像融合为所述第一高动态范围图像。
19.根据权利要求18所述的高动态范围图像处理方法，其特征在于，所述将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像，将所述第一全色原始图像与所述第二全色原始图像融合为第一高动态全色原始图像，包括：
将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像，将所述第一全色原始图像与所述第二全色原始图像融合为第二高动态全色原始图像；及
对所述第二高动态彩色原始图像进行亮度映射以得到所述第一高动态彩色原始图像，对所述第二高动态全色原始图像进行亮度映射以得到所述第一高动态全色原始图像。
20.根据权利要求18所述的高动态范围图像处理方法，其特征在于，所述将高动态范围图像处理方法，还包括：
将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像，将所述第一全色原始图像与所述第二全色原始图像融合为第二高动态全色原始图像；
校正所述第二高动态彩色原始图像以得到高动态彩色校正图像，校正所述第二高动态全色原始图像以得到高动态全色校正图像；及
处理所述高动态彩色校正图像及所述高动态全色校正图像以获得统计数据，所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。
21.根据权利要求13所述的高动态范围图像处理方法，其特征在于，同一所述子单元中的全部所述全色感光像素以第三曝光时间曝光；所述对所述第一彩色原始图像、所述第二彩色原始图像及所述第一全色原始图像进行融合算法处理及高动态范围处理以得到第一高动态范围图像，包括：
将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像；及
将所述第一高动态彩色原始图像与所述第一全色原始图像融合为所述第一高动态范围图像。
22.根据权利要求21所述的高动态范围图像处理方法，其特征在于，所述将所述第一彩色原始图像与所述第二彩色原始图像融合为第一高动态彩色原始图像，包括：
将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像；及
对所述第二高动态彩色原始图像进行亮度映射以得到所述第一高动态彩色原始图像。
23.根据权利要求21所述的高动态范围图像处理方法，其特征在于，所述高动态范围图像处理方法，还包括：
将所述第一彩色原始图像与所述第二彩色原始图像融合为第二高动态彩色原始图像；
校正所述第二高动态彩色原始图像以得到高动态彩色校正图像；及
处理所述高动态彩色校正图像及所述第一全色原始图像以获得统计数据，所述统计数据提供给所述图像处理器以进行自动曝光处理和/或自动白平衡处理。
24.一种电子设备，其特征在于，包括：
镜头；
壳体；及
权利要求1至12任意一项所述的高动态范围图像处理系统，所述镜头、所述高动态范围图像处理系统与所述壳体结合，所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。
25.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行权利要求13至23任意一项所述的高动态范围图像处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010259292.6A CN111479071B (zh) | 2020-04-03 | 2020-04-03 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| PCT/CN2020/119959 WO2021196553A1 (zh) | 2020-04-03 | 2020-10-09 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010259292.6A CN111479071B (zh) | 2020-04-03 | 2020-04-03 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111479071A true CN111479071A (zh) | 2020-07-31 |
| CN111479071B CN111479071B (zh) | 2021-05-07 |
Family
ID=71749629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010259292.6A Active CN111479071B (zh) | 2020-04-03 | 2020-04-03 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111479071B (zh) |
| WO (1) | WO2021196553A1 (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111970461A (zh) * | 2020-08-17 | 2020-11-20 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| CN111970459A (zh) * | 2020-08-12 | 2020-11-20 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| CN111970460A (zh) * | 2020-08-17 | 2020-11-20 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| CN112887571A (zh) * | 2021-01-27 | 2021-06-01 | 维沃移动通信有限公司 | 图像传感器、摄像模组和电子设备 |
| WO2021196553A1 (zh) * | 2020-04-03 | 2021-10-07 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| CN113676635A (zh) * | 2021-08-16 | 2021-11-19 | Oppo广东移动通信有限公司 | 高动态范围图像的生成方法、装置、电子设备和存储介质 |
| WO2022109802A1 (en) * | 2020-11-24 | 2022-06-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Color imaging system |
| CN114630010A (zh) * | 2020-12-14 | 2022-06-14 | 爱思开海力士有限公司 | 图像感测装置及图像处理装置 |
| CN114697537A (zh) * | 2020-12-31 | 2022-07-01 | 浙江清华柔性电子技术研究院 | 图像获取方法、图像传感器及计算机可读存储介质 |
| CN115883974A (zh) * | 2023-03-08 | 2023-03-31 | 淄博凝眸智能科技有限公司 | 基于分块曝光的hdr图像生成方法、系统及可读介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101371591A (zh) * | 2006-01-27 | 2009-02-18 | 伊斯曼柯达公司 | 具有改进感光度的图像传感器 |
| US20100302418A1 (en) * | 2009-05-28 | 2010-12-02 | Adams Jr James E | Four-channel color filter array interpolation |
| US20110090378A1 (en) * | 2009-10-16 | 2011-04-21 | Sen Wang | Image deblurring using panchromatic pixels |
| CN102396235A (zh) * | 2009-04-15 | 2012-03-28 | 美商豪威科技股份有限公司 | 产生具有减轻的移动模糊的全色图像 |
| CN105578065A (zh) * | 2015-12-18 | 2016-05-11 | 广东欧珀移动通信有限公司 | 高动态范围图像的生成方法、拍照装置和终端 |
| CN110740272A (zh) * | 2019-10-31 | 2020-01-31 | Oppo广东移动通信有限公司 | 图像采集方法、摄像头组件及移动终端 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9479745B2 (en) * | 2014-09-19 | 2016-10-25 | Omnivision Technologies, Inc. | Color filter array with reference pixel to reduce spectral crosstalk |
| US10652497B2 (en) * | 2017-04-21 | 2020-05-12 | Trustees Of Dartmouth College | Quanta image sensor with polarization-sensitive jots |
| CN111479071B (zh) * | 2020-04-03 | 2021-05-07 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
-
2020
- 2020-04-03 CN CN202010259292.6A patent/CN111479071B/zh active Active
- 2020-10-09 WO PCT/CN2020/119959 patent/WO2021196553A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101371591A (zh) * | 2006-01-27 | 2009-02-18 | 伊斯曼柯达公司 | 具有改进感光度的图像传感器 |
| CN102396235A (zh) * | 2009-04-15 | 2012-03-28 | 美商豪威科技股份有限公司 | 产生具有减轻的移动模糊的全色图像 |
| US20100302418A1 (en) * | 2009-05-28 | 2010-12-02 | Adams Jr James E | Four-channel color filter array interpolation |
| US20110090378A1 (en) * | 2009-10-16 | 2011-04-21 | Sen Wang | Image deblurring using panchromatic pixels |
| CN105578065A (zh) * | 2015-12-18 | 2016-05-11 | 广东欧珀移动通信有限公司 | 高动态范围图像的生成方法、拍照装置和终端 |
| CN110740272A (zh) * | 2019-10-31 | 2020-01-31 | Oppo广东移动通信有限公司 | 图像采集方法、摄像头组件及移动终端 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021196553A1 (zh) * | 2020-04-03 | 2021-10-07 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| CN111970459A (zh) * | 2020-08-12 | 2020-11-20 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| CN111970460A (zh) * | 2020-08-17 | 2020-11-20 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| CN111970461A (zh) * | 2020-08-17 | 2020-11-20 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| CN111970461B (zh) * | 2020-08-17 | 2022-03-22 | Oppo广东移动通信有限公司 | 高动态范围图像处理系统及方法、电子设备和可读存储介质 |
| WO2022109802A1 (en) * | 2020-11-24 | 2022-06-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Color imaging system |
| CN116349239A (zh) * | 2020-11-24 | 2023-06-27 | Oppo广东移动通信有限公司 | 彩色成像系统 |
| CN114630010A (zh) * | 2020-12-14 | 2022-06-14 | 爱思开海力士有限公司 | 图像感测装置及图像处理装置 |
| CN114697537A (zh) * | 2020-12-31 | 2022-07-01 | 浙江清华柔性电子技术研究院 | 图像获取方法、图像传感器及计算机可读存储介质 |
| CN114697537B (zh) * | 2020-12-31 | 2024-05-10 | 浙江清华柔性电子技术研究院 | 图像获取方法、图像传感器及计算机可读存储介质 |
| CN112887571B (zh) * | 2021-01-27 | 2022-06-10 | 维沃移动通信有限公司 | 图像传感器、摄像模组和电子设备 |
| CN112887571A (zh) * | 2021-01-27 | 2021-06-01 | 维沃移动通信有限公司 | 图像传感器、摄像模组和电子设备 |
| CN113676635A (zh) * | 2021-08-16 | 2021-11-19 | Oppo广东移动通信有限公司 | 高动态范围图像的生成方法、装置、电子设备和存储介质 |
| CN113676635B (zh) * | 2021-08-16 | 2023-05-05 | Oppo广东移动通信有限公司 | 高动态范围图像的生成方法、装置、电子设备和存储介质 |
| CN115883974A (zh) * | 2023-03-08 | 2023-03-31 | 淄博凝眸智能科技有限公司 | 基于分块曝光的hdr图像生成方法、系统及可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111479071B (zh) | 2021-05-07 |
| WO2021196553A1 (zh) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111479071B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| CN111405204B (zh) | 图像获取方法、成像装置、电子设备及可读存储介质 | |
| CN111432099B (zh) | 图像传感器、处理系统及方法、电子设备和存储介质 | |
| CN111491111B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| CN111491110B (zh) | 高动态范围图像处理系统及方法、电子设备和存储介质 | |
| CN112261391B (zh) | 图像处理方法、摄像头组件及移动终端 | |
| CN111757006B (zh) | 图像获取方法、摄像头组件及移动终端 | |
| CN111586375B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| CN111314592B (zh) | 图像处理方法、摄像头组件及移动终端 | |
| CN110740272B (zh) | 图像采集方法、摄像头组件及移动终端 | |
| CN111385543B (zh) | 图像传感器、摄像头组件、移动终端及图像获取方法 | |
| CN111970460B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| CN112738493B (zh) | 图像处理方法、图像处理装置、电子设备及可读存储介质 | |
| CN114073068B (zh) | 图像采集方法、摄像头组件及移动终端 | |
| CN111970459B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| CN111970461B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| CN111835971B (zh) | 图像处理方法、图像处理系统、电子设备及可读存储介质 | |
| CN112822475B (zh) | 图像处理方法、图像处理装置、终端及可读存储介质 | |
| CN112351172B (zh) | 图像处理方法、摄像头组件及移动终端 | |
| CN112738494B (zh) | 图像处理方法、图像处理系统、终端设备及可读存储介质 | |
| CN112702543B (zh) | 图像处理方法、图像处理系统、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |