CN111970460A - 高动态范围图像处理系统及方法、电子设备和可读存储介质 - Google Patents

高动态范围图像处理系统及方法、电子设备和可读存储介质 Download PDF

Info

Publication number
CN111970460A
CN111970460A CN202010823776.9A CN202010823776A CN111970460A CN 111970460 A CN111970460 A CN 111970460A CN 202010823776 A CN202010823776 A CN 202010823776A CN 111970460 A CN111970460 A CN 111970460A
Authority
CN
China
Prior art keywords
color
image
original image
high dynamic
panchromatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010823776.9A
Other languages
English (en)
Other versions
CN111970460B (zh
Inventor
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010823776.9A priority Critical patent/CN111970460B/zh
Publication of CN111970460A publication Critical patent/CN111970460A/zh
Application granted granted Critical
Publication of CN111970460B publication Critical patent/CN111970460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种高动态范围图像处理系统及方法、电子设备和可读存储介质。高动态范围图像处理系统包括图像传感器、图像处理器、高动态范围图像处理模块及图像融合模块。图像传感器中的像素阵列以第一曝光时间曝光得包括第一彩色原始图像数据和第一全色原始图像数据的第一原始图像，以第二曝光时间曝光得包括第二彩色原始图像数据和第二全色原始图像数据的第一原始图像。图像处理器用于根据原始图像数据获得原始图像、及对彩色原始图像进行色彩转换处理以获得色彩转换后的彩色原始图像。图像融合模块及高动态范围图像处理模块用于对色彩转换后的彩色原始图像及全色原始图像进行融合算法处理及高动态融合处理，以获得目标图像。

Description

高动态范围图像处理系统及方法、电子设备和可读存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种高动态范围图像处理系统、高动态范围图像处理方法、电子设备及非易失性计算机可读存储介质。
背景技术
手机等电子设备中可以设置有摄像头以实现拍照功能。摄像头内可以设置用于接收光线的图像传感器。图像传感器中可以设置有滤光片阵列。为了提高获得图像的品质，通常会在滤光片阵列中增加全色感光像素，如此需要更改图像处理器的参数才能对图像传感器输出的图像信号进行处理，使得成本增加，设计难度增大，不利于产品的批量生产。
发明内容
本申请实施方式提供了一种高动态范围图像处理系统、高动态范围图像处理方法、电子设备及非易失性计算机可读存储介质。
本申请实施方式提供一种高动态范围图像处理系统。高动态范围图像处理系统包括图像传感器、图像处理器、图像融合模块及高动态范围图像处理模块。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素。所述像素阵列以第一曝光时间曝光得到第一原始图像，所述第一原始图像包括以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以所述第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据；所述像素阵列以第二曝光时间曝光得到第二原始图像，所述第二原始图像包括以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以所述第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据；其中，所述第一曝光时间不等于所述第二曝光时间。所述图像处理器用于根据所述第一彩色原始图像数据以获得的第一彩色原始图像，根据所述第一全色原始图像数据以获得第一全色原始图像，根据所述第二彩色原始图像数据以获得第二彩色原始图像，根据所述第二原始图像数据以获得第二全色原始图像；及对所述第一彩色原始及所述第二色彩转换单元进行色彩转换处理以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像。所述图像融合模块及所述高动态范围图像处理模块用于对所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像、所述第一全色原始图像、及所述第二全色原始图像进行融合算法处理及高动态融合处理，以获得目标图像。
本申请实施方式提供一种高动态范围图像处理方法，所述高动态范围图像处理方法用于高动态范围图像处理系统。所述高动态范围图像处理系统包括图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素。所述高动态范围图像处理方法包括：所述像素阵列以第一曝光时间曝光得到第一原始图像，所述第一原始图像包括以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以所述第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据；所述像素阵列以第二曝光时间曝光得到第二原始图像，所述第二原始图像包括以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以所述第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据；其中，所述第一曝光时间不等于所述第二曝光时间；根据所述第一彩色原始图像数据以获得的第一彩色原始图像，根据所述第一全色原始图像数据以获得第一全色原始图像，根据所述第二彩色原始图像数据以获得第二彩色原始图像，根据所述第二原始图像数据以获得第二全色原始图像；对所述第一彩色原始及所述第二色彩转换单元进行色彩转换处理以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像；对所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像、所述第一全色原始图像、及所述第二全色原始图像进行融合算法处理及高动态融合处理，以获得目标图像。
本申请实施方式提供一种电子设备。所述电子设备包括镜头、壳体及上述的高动态范围图像处理系统。所述镜头、所述高动态范围图像处理系统与所述壳体结合，所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。
本申请实施方式提供一种包含计算机程序的非易失性计算机可读存储介质。所述计算机程序被处理器执行时，使得所述处理器执行上述的高动态范围图像处理方法。
本申请实施方式的高动态范围图像处理系统、高动态范围图像处理方法、电子设备及非易失性计算机可读存储介质通过图像处理器根据原始图像数据获得彩色原始图像及全色原始图像，并且彩色原始图像内的多个彩色图像像素呈拜耳阵列排布。再对彩色原始图像经过色彩转换处理后，通过高动态范围图像处理模块及图像融合模块对色彩转换后的彩色原始图像及全色原始图像进行高动态融合处理及图像融合算法处理，从而得到具有高动态范围的目标图像，使得在获得高动态范围图像的同时，无需更改图像处理器的参数也能够对图像进行处理。如此有利于提高成像性能的同时，有助于降低成本。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的一种高动态范围图像处理系统的示意图；
图2是本申请实施方式的一种像素阵列的示意图；
图3是本申请实施方式的一种感光像素的截面示意图；
图4是本申请实施方式的一种感光像素的像素电路图；
图5是本申请实施方式的一种像素阵列中最小重复单元的排布示意图；
图6是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；
图7是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；
图8是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；
图9是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；
图10是本申请实施方式的又一种像素阵列中最小重复单元的排布示意图；
图11是本申请实施方式的一种图像传感器输出的原始图像的原理示意图；
图12是本申请实施方式的一种图像传感器输出方式的示意图；
图13是本申请实施方式的又一种图像传感器输出方式的示意图；
图14是本申请实施方式的又一种高动态范围图像处理系统的示意图；
图15是本申请实施方式的一种获取彩色原始图像及全色原始图像的原理示意图；
图16至图18是本申请实施方式的像素补全处理的示意图；
图19是本申请实施方式的又一种获取彩色原始图像及全色原始图像的原理示意图；
图20是本申请实施方式的又一种高动态范围图像处理系统的示意图；
图21是本申请实施方式的又一种高动态范围图像处理系统的示意图；
图22是本申请实施方式的一种黑电平校正的示意图；
图23是本申请实施方式的色调映射处理的Vout和Vin之间的映射关系示意图；
图24是本申请实施方式的又一种高动态范围图像处理系统的示意图；
图25是本申请实施方式的又一种高动态范围图像处理系统的示意图；
图26是本申请实施方式的一种获取彩色高动态范围图像的原理示意图；
图27是本申请实施方式的一种获取全色高动态范围图像的原理示意图；
图28是本申请实施方式的一种获取目标图像的原理示意图；
图29是本申请实施方式的又一种高动态范围图像处理系统的示意图；
图30是本申请实施方式的又一种高动态范围图像处理系统的示意图；
图31是本申请实施方式的一种获取第一彩色中间图像的原理示意图；
图32是本申请实施方式的一种获取第二彩色中间图像的原理示意图；
图33是本申请实施方式的一种获取目标图像的原理示意图；
图34是本申请实施方式的又一种图像传感器输出的原始图像的原理示意图
图35本申请实施方式的一种电子设备的结构示意图；
图36是本申请实施方式的一种高动态范围图像获取方法的流程示意图；
图37是本申请实施方式的一种非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请参阅图1，本申请实施方式提供一种高动态范围图像处理系统100。高动态范围图像处理系统100包括图像传感器10、图像处理器20、高动态范围图像处理模块30及图像融合模块40。图像传感器10包括像素阵列11，像素阵列11包括多个全色感光像素和多个彩色感光像素，彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元，每个最小重复单元包含多个子单元，每个子单元包括多个单颜色感光像素及多个全色感光像素。像素阵列11以第一曝光时间曝光得到第一原始图像，第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据。像素阵列11以第二曝光时间曝光得到第二原始图像，第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据。其中，第一曝光时间不等于第二曝光时间。图像处理器20用于根据第一彩色原始图像数据以获得的第一彩色原始图像，根据第一全色原始图像数据以获得第一全色原始图像，根据第二彩色原始图像数据以获得第二彩色原始图像，根据第二原始图像数据以获得第二全色原始图像。图像处理器20还用于对第一彩色原始及第二色彩转换单元进行色彩转换处理以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像。高动态范围图像处理模块30和图像融合模块40用于对色彩转换后的第一彩色原始图像、色彩转换后的第二彩色原始图像、第一全色原始图像、及第二全色原始图像进行高动态融合处理及融合算法处理，以获得目标图像。
本申请实施方式的高动态范围图像处理系统100通过图像处理器20根据原始图像数据获得彩色原始图像及全色原始图像，并且彩色原始图像内的多个彩色图像像素呈拜耳阵列排布。再对彩色原始图像经过色彩转换处理后，通过高动态范围图像处理模块30及图像融合模块40对色彩转换后的彩色原始图像及全色原始图像进行高动态融合处理及图像融合算法处理，从而得到具有高动态范围的目标图像，使得在获得高动态范围图像的同时，无需更改图像处理器20的参数也能够对图像进行处理。如此有利于提高成像性能的同时，有助于降低成本。
下面结合附图对本申请作进一步说明。
图2是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。
例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。
例如，像素阵列11包括以阵列形式二维排列(即二维矩阵形式排布)的多个感光像素110(图3所示)，每个感光像素110包括光电转换元件1111(图4所示)。每个感光像素110根据入射在其上的光的强度将光转换为电荷。
例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位感光像素110，从这些单位感光像素110逐行地读取信号。例如，被选择并被扫描的感光像素行中的每一感光像素110输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件的光电荷被丢弃，从而可以开始新的光电荷的积累。
例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选感光像素行中的每一感光像素110输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的感光像素110的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。
例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一感光像素列被列处理单元14顺序地处理，并且被顺序输出。
例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。
图3是本申请实施方式中一种感光像素110的示意图。感光像素110包括像素电路111、滤光片112、及微透镜113。沿感光像素110的收光方向，微透镜113、滤光片112、及像素电路111依次设置。微透镜113用于汇聚光线，滤光片112用于供某一波段的光线通过并过滤掉其余波段的光线。像素电路111用于将接收到的光线转换为电信号，并将生成的电信号提供给图2所示的列处理单元14。
图4是本申请实施方式中一种感光像素110的像素电路111的示意图。图4中像素电路111可应用在图2所示的像素阵列11内的每个感光像素110(图3所示)中。下面结合图2至图4对像素电路111的工作原理进行说明。
如图4所示，像素电路111包括光电转换元件1111(例如，光电二极管)、曝光控制电路(例如，转移晶体管1112)、复位电路(例如，复位晶体管1113)、放大电路(例如，放大晶体管1114)和选择电路(例如，选择晶体管1115)。在本申请的实施例中，转移晶体管1112、复位晶体管1113、放大晶体管1114和选择晶体管1115例如是MOS管，但不限于此。
例如，光电转换元件1111包括光电二极管，光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路(例如，转移晶体管1112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管1114的栅极、复位晶体管1113的源极连接。
例如，曝光控制电路为转移晶体管1112，曝光控制电路的控制端TG为转移晶体管1112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管1112的栅极时，转移晶体管1112导通。转移晶体管1112将光电二极管光电转换的电荷传输到浮动扩散单元FD。
例如，复位晶体管1113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。
例如，放大晶体管1114的栅极连接到浮动扩散单元FD。放大晶体管1114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管1113复位之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管1112转移之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出信号电平。
例如，选择晶体管1115的漏极连接到放大晶体管1114的源极。选择晶体管1115的源极通过输出端OUT连接到图2中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管1115的栅极时，选择晶体管1115导通。放大晶体管1114输出的信号通过选择晶体管1115传输到列处理单元14。
需要说明的是，本申请实施例中像素电路111的像素结构并不限于图4所示的结构。例如，像素电路111也可以具有三晶体管像素结构，其中放大晶体管1114和选择晶体管1115的功能由一个晶体管完成。例如，曝光控制电路也不局限于单个转移晶体管1112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，本申请实施方式中的单个转移晶体管1112的实施方式简单、成本低、易于控制。
图5至图10是本申请某些实施方式的像素阵列11(图2所示)中的感光像素110(图3所示)的排布示意图。感光像素110包括两类，一类为全色感光像素W，另一类为彩色感光像素。图5至图10仅示出了一个最小重复单元中的多个感光像素110的排布。对图5至图10所示的最小重复单元在行和列上多次复制，即可形成像素阵列11。每个最小重复单元均由多个全色感光像素W和多个彩色感光像素组成。每个最小重复单元包括多个子单元。每个子单元内包括多个单颜色感光像素和多个全色感光像素W。其中，图5至图8所示的最小重复单元中，每个子单元中的全色感光像素W和彩色感光像素交替设置。图9和图10所示的最小重复单元中，每个子单元中，同一行的多个感光像素110可为同一类别的感光像素110；或者，同一列的多个感光像素110可为同一类别的感光像素110。需要说明的是，彩色感光像素包括多种类别的单颜色感光像素；在同一子单元中的彩色感光像素为同一类别的单颜色感光像素。
具体地，例如，图5为本申请一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。
其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：
Figure BDA0002635419450000041
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图5所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。
例如，如图5所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1(例如图5中左上角和右下角连接的方向)，两个第二类子单元UB设置在第二对角线方向D2(例如图5中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线相交，如二者垂直。
需要说明的是，在其他实施方式中，第一对角线方向D1也可以是右上角和左下角连接的方向，第二对角线方向D2也可以是左上角和右下角连接的方向。另外，这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。下文图6至图10中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。
再例如，图6为本申请另一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为6行6列36个感光像素110，子单元为3行3列9个感光像素110。排布方式为：
Figure BDA0002635419450000051
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图6所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。
例如，如图6所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线相交，如二者垂直。
再例如，图7为本申请又一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为8行8列64个感光像素110，子单元为4行4列16个感光像素110。排布方式为：
Figure BDA0002635419450000052
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图7所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。
例如，如图7所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线相交，如二者垂直。
具体地，例如，图8为本申请再一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：
Figure BDA0002635419450000061
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
图8所示的最小重复单元中感光像素110的排布与图5所示的最小重复单元中感光像素110的排布大致相同，其不同之处在于，图8中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序与图5中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序不一致，并且，图8中的第三类子单元UC中的全色感光像素W与单颜色感光像素的交替顺序与图5中位于右下角的第三类子单元UC中的全色感光像素W与单颜色感光像素的交替顺序也不一致。具体地，图5中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第二颜色感光像素B)，第二行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W；而图8中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第二颜色感光像素B)。图5中位于右下角的第三类子单元UC中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)，第二行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W；而图8中位于右下角的第三类子单元UC中，第一行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)。
如图8所示，图8中的第一类子单元UA中的全色感光像素W与单颜色感光像素的交替顺序与第三类子单元UC中的全色感光像W素与单颜色感光像素的交替顺序不一致。具体地，图8所示的第一类子单元UA中，第一行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第一颜色感光像素A)，第二行的感光像素110的交替顺序为单颜色感光像素(即第一颜色感光像素A)、全色感光像素W；而图8所示的第三类子单元UC中，第一行的感光像素110的交替顺序为单颜色感光像素(即第三颜色感光像素C)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、单颜色感光像素(即第三颜色感光像素C)。也即是说，同一最小重复单元中，不同子单元内的全色感光像素W与彩色感光像素的交替顺序可以是一致的(如图5所示)，也可以是不一致的(如图8所示)。
再例如，图9为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：
Figure BDA0002635419450000062
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图9所示，对于每个子单元，同一行的多个感光像素110为同一类别的感光像素110。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。
例如，如图9所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线相交，如二者垂直。
再例如，图10为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。
其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：
Figure BDA0002635419450000071
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图10所示，对于每个子单元，同一列的多个感光像素110为同一类别的感光像素110。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。
例如，如图10所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线相交，如二者垂直。
例如，在其他实施方式中，同一最小重复单元中，也可以是部分子单元内的同一行的多个感光像素110为同一类别的感光像素110，其余部分子单元内的同一列的多个感光像素110为同一类别的感光像素110。
例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为绿色感光像素G；第三颜色感光像素C可以为蓝色感光像素Bu。
例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为黄色感光像素Y；第三颜色感光像素C可以为蓝色感光像素Bu。
例如，如图5至图10所示的最小重复单元中，第一颜色感光像素A可以为品红色感光像素M；第二颜色感光像素B可以为青色感光像素Cy；第三颜色感光像素C可以为黄色感光像素Y。
需要说明的是，在一些实施例中，全色感光像素W的响应波段可为可见光波段(例如，400nm-760nm)。例如，全色感光像素W上设置有红外滤光片，以实现红外光的滤除。在另一些实施例中，全色感光像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10(图1所示)中的光电转换元件1111(图4所示)的响应波段相匹配。例如，全色感光像素W可以不设置滤光片或者设置可供所有波段的光线通过的滤光片，全色感光像素W的响应波段由光电转换元件1111的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
为了方便说明，以下实施例均以第一单颜色感光像素A为红色感光像素R，第二单颜色感光像素B为绿色感光像素G，第三单颜色感光像素为蓝色感光像素Bu进行说明。
请参阅图1、图2、图4及图11，在某些实施方式中，控制单元13控制像素阵列11曝光。其中，像素阵列11以第一曝光时间曝光得到第一原始图像。第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素W生成的第一全色原始图像数据。像素阵列11以第二曝光时间曝光得到第二原始图像。第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素W生成的第二全色原始图像数据。其中，第一曝光时间不等于第二曝光时间。
具体地，像素阵列11进行两次曝光。例如，如图11所示，在第一次曝光中，像素阵列11以第一曝光时间L(例如表示长曝光时间)曝光得到第一原始图像。第一原始图像包括以第一曝光时间L曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间L曝光的全色感光像素生成的第一全色原始图像数据。在第二次曝光中，像素阵列11以第二曝光时间S(例如表示短曝光时间)曝光得到第二原始图像。第二原始图像包括以第二曝光时间S曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间S曝光的全色感光像素生成的第二全色原始图像数据。需要说明的是，像素阵列11也可以先进行短曝光，再进行长曝光，在此不作限制。
像素阵列11曝光完毕后，图像传感器10可以输出像素阵列11生成的多个原始图像数据，多个原始图像数据形成原始图像。
在一个例子中，每帧原始图像(第一原始图像和第二原始图像；或第一原始图像、第二原始图像和第三原始图像)中的每个彩色原始图像数据均由单个单颜色感光像素生成，每个全色原始图像数据均由单个全色感光像素W生成，图像传感器10输出多个原始图像数据的输出方式可以为一个彩色原始图像数据与一个全色原始图像数据交替输出。
具体地，像素阵列11曝光后，每一个单颜色感光像素生成一个与该单颜色感光像素对应的彩色原始图像数据，每一个全色感光像素W生成一个与该全色感光像素W对应的全色原始图像数据。并且，对于处于同一行的多个感光像素110而言，该多个感光像素生成的原始图像数据的输出方式为：一个彩色原始图像数据与一个全色原始图像数据交替输出。在同一行的多个原始图像数据输出完毕后，再输出下一行的多个原始图像数据，每一行的多个原始图像数据的输出方式均为一个彩色原始图像数据与一个全色原始图像数据输出。如此，图像传感器10依次输出多个原始图像数据，多个原始图像数据形成一张原始图像。需要说明的是，一个彩色原始图像数据和一个全色原始图像数据交替输出可以包括以下两种：(1)先输出一个彩色原始图像数据，再输出一个全色原始图像数据；(2)先输出一个全色原始图像数据，再输出一个彩色原始图像数据。具体的交替顺序与像素阵列11中的全色感光像素W与彩色感光像素的排布相关。当处于像素阵列11的0行0列的感光像素110为彩色感光像素时，则交替顺序为(1)；当处于像素阵列11的0行0列的感光像素110为全色感光像素W时，则交替顺序为(2)。
下面以图12为例对原始图像数据的输出方式做说明。请结合图1、图3及图12，假设像素阵列11包括8*8个感光像素110，且像素阵列11的第0行第0列的感光像素110为全色感光像素W，则当像素阵列11曝光完成后，图像传感器10先输出第0行第0列的全色感光像素p00生成的全色原始图像数据，该全色原始图像数据对应的图像像素P00位于原始图像的第0行第0列；随后，图像传感器10再输出第0行第1列的彩色感光像素p01生成的彩色原始图像数据，该彩色原始图像数据对应的图像像素P01位于原始图像的第0行第1列；…；图像传感器10输出第0行第7列的彩色感光像素p07生成的彩色原始图像数据，该彩色原始图像数据对应的图像像素P07位于原始图像的第0行第7列。至此，像素阵列11第0行内8个感光像素110生成的原始图像数据均被输出。随后，图像传感器10再依次输出素阵列11第1行内8个感光像素110生成的原始图像数据；随后，图像传感器10再依次输出素阵列11第2行内8个感光像素110生成的原始图像数据；以此类推，直至图像传感器10输出第7行第7列的全色感光像素p77生成的全色原始图像数据为止。如此，多个感光像素110生成的原始图像数据形成一帧原始图像，其中，每个感光像素110生成的原始图像数据对应的图像像素在原始图像中的位置与该感光像素110在像素阵列11中的位置相对应。
在另一个例子中，每帧原始图像(第一原始图像和第二原始图像；或第一原始图像、第二原始图像和第三原始图像)中的每个彩色原始图像数据由同一子单元中的多个单颜色感光像素共同生成，每个全色原始图像数据由同一子单元中的多个全色感光像素W共同生成，图像传感器10输出多个原始图像数据的输出方式包括多个彩色原始图像数据与多个全色原始图像数据交替输出。
具体地，像素阵列11曝光后，同一个子单元中的多个单颜色感光像素共同生成一个与该子单元对应的彩色原始图像数据，同一个子单元中的多个全色感光像素W共同生成一个与该子单元对应的全色原始图像数据，也即，一个子单元对应有一个彩色原始图像数据及一个全色原始图像数据。并且，对于处于同一行的多个子单元而言，该多个子单元对应的原始图像数据的输出方式为：同一行的多个子单元对应的多个彩色原始图像数据与多个全色原始图像数据交替输出，其中，多个彩色原始图像数据的输出方式为多个彩色原始图像依次接连输出；多个全色原始图像数据的输出方式为多个全色原始图像数据依次接连输出。在同一行的多个原始图像数据输出完毕后，再输出下一行的多个原始图像数据，每一行的多个原始图像数据的输出方式均为多个彩色原始图像数据与多个全色原始图像数据交替输出。如此，图像传感器10依次输出多个原始图像数据，多个原始图像数据形成一张原始图像。需要说明的是，多个彩色原始图像数据和多个全色原始图像数据交替输出可以包括以下两种：(1)先依次接连输出多个彩色原始图像数据，再依次接连输出多个全色原始图像数据；(2)先依次接连输出多个全色原始图像数据，再依次接连输出多个彩色原始图像数据。具体的交替顺序与像素阵列11中的全色感光像素W与彩色感光像素的排布相关。当处于像素阵列11的0行0列的感光像素110为彩色感光像素时，则交替顺序为(1)；当处于像素阵列11的0行0列的感光像素110为全色感光像素W时，则交替顺序为(2)。
下面以图13为例对原始图像数据的输出方式做说明。请结合图1、图3及图13，假设像素阵列11包括8*8个感光像素110。像素阵列11中的全色感光像素p00、全色感光像素p11、彩色感光像素p01及彩色感光像素p10构成子单元U1；全色感光像素p02、全色感光像素p13、彩色感光像素p03及彩色感光像素p12构成子单元U2；全色感光像素p04、全色感光像素p15、彩色感光像素p05及彩色感光像素p14构成子单元U3；全色感光像素p06、全色感光像素p17、彩色感光像素p07及彩色感光像素p16构成子单元U4，其中，子单元U1、子单元U2、子单元U3及子单元U4位于同一行。由于像素阵列11的第0行0列的感光像素110为全色感光像素W，则当像素阵列11曝光完成后，图像传感器10先输出子单元U1中全色感光像素p00和全色感光像素p11共同生成的全色原始图像数据，该全色原始图像数据对应的图像像素P00位于原始图像的第0行第0列；随后，图像传感器10再输出子单元U2中全色感光像素p02和全色感光像素p13共同生成的全色原始图像数据，该全色原始图像数据对应的图像像素P01位于原始图像的第0行第1列；随后，图像传感器10再输出子单元U3中全色感光像素p04和全色感光像素p15共同生成的全色原始图像数据，该全色原始图像数据对应的图像像素P02位于原始图像的第0行第2列；随后，图像传感器10再输出子单元U4中全色感光像素p06和全色感光像素p17共同生成的全色原始图像数据，该全色原始图像数据对应的图像像素P03位于原始图像的第0行第3列。至此，处于第一行的多个子单元对应的多个全色原始图像数据均已输出。随后，图像传感器10先输出子单元U1中彩色感光像素p01和彩色感光像素p10共同生成的彩色原始图像数据，该彩色原始图像数据对应的图像像素P10位于原始图像的第1行第0列；随后，图像传感器10再输出子单元U2中彩色感光像素p03和彩色感光像素p12共同生成的彩色原始图像数据，该彩色原始图像数据对应的图像像素P11位于原始图像的第1行第1列；随后，图像传感器10再输出子单元U3中彩色感光像素p05和彩色感光像素p14共同生成的彩色原始图像数据，该彩色原始图像数据对应的图像像素P12位于原始图像的第1行第2列；随后，图像传感器10再输出子单元U4中彩色感光像素p07和彩色感光像素p16共同生成的彩色原始图像数据，该彩色原始图像数据对应的图像像素P13位于原始图像的第1行第3列。至此，处于第一行的多个子单元对应的多个彩色原始图像数据也均已输出。随后，图像传感器10再对处于第二行的多个子单元对应的多个全色原始图像数据及多个彩色原始图像数据进行输出，处于第二行的多个子单元对应的多个全色原始图像数据及多个彩色原始图像数据的输出方式与处于第一行的多个子单元对应的多个全色原始图像数据及多个彩色原始图像数据的输出方式相同，在此不再赘述。以此类推，直至图像传感器10输出完处于第四行的多个子单元对应的多个全色原始图像数据及多个彩色原始图像数据为止。如此，多个感光像素110生成的原始图像数据形成一帧原始图像。
请参阅图1、图11及图15，图像传感器10输出第一原始图像及第二原始图像后，将第一原始图像及第二原始图像传入图像处理器20，图像处理器20根据第一原始图像中的第一彩色原始数据以获得第一彩色原始图像，根据第一原始图像中的第一全色原始图像数据以获得第一全色原始图像，根据第二原始图像中的第二彩色原始图像数据以获得第二彩色原始图像，根据第二原始图像中的第二原始图像数据以获得第二全色原始图像。
请参阅图14，在一些实施例中，图像处理器20包括接收单元201、彩色图像处理模块202及全色图像处理模块203。接收单元201用于接收图像传感器10传输的彩色原始图像数据及全色原始图像数据，并将彩色原始图像数据及全色原始图像数据分别传输至彩色图像处理模块202及全色图像处理模块203。彩色图像处理模块202用于根据接收到的彩色原始图像数据获取彩色原始图像，全色图像处理模块203用于根据接收到的全色原始数据获取全色原始图像。例如，彩色图像处理模块202根据第一原始图像中的第一彩色原始数据以获得第一彩色原始图像，根据第二原始图像中的第二彩色原始图像数据以获得第二彩色原始图像；全色图像处理模块203根据第一原始图像中的第一全色原始图像数据以获得第一全色原始图像，根据第二原始图像中的第二原始图像数据以获得第二全色原始图像。
具体地，当图像传感器10输出多个原始图像数据的输出方式为一个彩色原始图像数据与一个全色原始图像数据交替输出时，如图15所示，彩色图像处理模块202根据接收到的彩色原始图像数据获取彩色原始图像包括多个彩色图像像素，多个彩色图像像素呈拜耳阵列排布；全色图像处理模块203根据接收到的全色原始数据获取全色原始图像中仅包含多个全色图像像素。并且，该彩色原始图像及全色原始图像的分辨率与像素阵列11的分辨率相同。
需要说明的是，在一些实施例中，彩色图像处理模块202可以通过对彩色原始图像格中的彩色信息缺失并且具有彩色信息的像素格仅具有单颜色通道信息的彩色原始图像数据进行像素补全处理，如此能在不损失分辨率的情况下，得到具有完整的像素格的完整通道的彩色信息，进而得到彩色原始图像，以便后续对图像继续进行其他图像处理，提高成像质量。具体地，请参阅图16、图17及图18，彩色图像处理模块202对彩色原始图像数据进行像素补全处理的具体操作过程可以包括如下步骤：(1)将彩色原始图像数据分解成第一颜色原始图像数据(由上文所述的第一颜色感光像素A生成的原始图像数据，如图16所示的红色原始图像数据)、第二颜色原始图像数据(由上文所述的第二颜色感光像素B生成的原始图像数据，如图16所示的绿色原始图像数据)和第三颜色原始图像数据(由上文所述的第三颜色感光像素C生成原始图像数据，如图16所示的蓝色原始图像数据)。(2)将第一颜色原始图像数据中子单元的多个第一颜色感光像素A生成的像素值进行求平均值运算，求得平均值后将子单元范围的像素格融合成一个像素格，并将该平均值填入该像素格中，得到第一颜色中间图像数据(如，图17所示的红色中间图像数据)。(3)对第一颜色中间图像数据利用双线性插值方法进行插值，得到第一颜色插值图像数据。(4)将第一颜色插值图像数据和第一颜色原始图像数据融合得到第一颜色原始图像(红色原始图像)。(5)将第一颜色原始图像数据、第二颜色原始图像数据和第三颜色原始图像数据，均进行以上(2)、(3)和(4)步骤后，将所得的具有一个颜色通道的第一颜色原始图像(如图16所示的红色原始图像)、第二颜色原始图像(如图16所示的绿色原始图像)和第三颜色原始图像(如图16所示的蓝色原始图像)合成为具有三个颜色通道的分辨率和彩色原始图像的分辨率相同的彩色原始图像。彩色图像处理模块202可以对至少两次曝光对应的所有彩色原始图像数据均进行以上步骤的像素补全处理，从而完成对所有彩色原始图像数据的像素补全处理，得到至少两次曝光对应的彩色原始图像，如图15所示的第一彩色原始图像和第二彩色原始图像。
下面以彩色图像处理模块202对第一彩色原始图像数据中的第一红色原始图像数据进行像素补全处理为例进行说明。如图16所示，彩色图像处理模块202先将彩色原始图像(可以为第一彩色原始图像、第二彩色原始图像或第三彩色原始图像等)数据分解成红色原始图像数据、绿色原始图像数据和蓝色原始图像数据。如图17所示，彩色图像处理模块202再将红色原始图像数据中子单元的多个红颜色感光像素R生成的像素值(例如L1和L2)进行求平均值运算，求得平均值L1’＝(L1+L2)/2后将子单元范围的像素格融合成一个像素格，并将该平均值填入该像素格中，得到红色中间图像数据。然后，彩色图像处理模块202对红色中间图像数据利用双线性插值方法进行插值，得到红色插值图像数据。接着，彩色图像处理模块202将红色插值图像数据和红色原始图像数据融合得到红色原始图像。融合过程中，首先，彩色图像处理模块202生成一张分辨率与红色原始图像数据相同，最小重复单元中的像素颜色排列方式与红色插值图像数据的空值图像，然后根据以下原则进行融合：(1)若在第一红色原始图像数据的相同坐标中具有像素值，并且颜色通道相同，则直接将第一红色原始图像数据的相同坐标中的像素值填入空值图像；(2)若在第一红色原始图像数据的相同坐标中具有像素值，但颜色通道不同，则将第一红色插值图像数据的相应坐标中的像素值填入空值图像；(3)若在第一红色原始图像数据的相同坐标中不具有像素值，则将第一红色插值图像数据的相应坐标中的像素值填入空值图像。根据以上融合原则，如图18所示，将得到红色原始图像。与此相似地，如图18所示，彩色图像处理模块202可以得到红色原始图像、绿色原始图像和蓝色原始图像，并将所得的具有一个颜色通道的红色原始图像、绿色原始图像和蓝色原始图像合成为具有3个颜色通道的彩色原始图像。彩色图像处理模块202可以对第一彩色原始图像数据和第二彩色原始图像数据(或者第一彩色原始图数据、第二彩色原始图像数据和第三彩色原始图像数据)均进行以上步骤的像素补全处理，从而完成对彩色原始图像数据的像素补全处理，得到第一彩色原始图像和第二彩色原始图像(或者第一彩色原始图、第二彩色原始图像和第三彩色原始图像)。本申请实施方式的高动态范围图像处理系统100对部分像素格中的彩色信息缺失并且具有彩色信息的像素格仅具有单颜色通道信息的彩色原始图像数据进行像素补全处理，能在不损失分辨率的情况下，得到具有完整的像素格的完整通道的彩色信息，进而得到彩色原始图像，以便后续对图像继续进行其他图像处理，提高成像质量。
在一些实施例中，全色图像处理模块203可以通过对全色原始图像进行去马赛克处理，得到全色原始图像。当然，也可以采用其他方式根据彩色原始图像数据获取彩色原始图像，根据全色原始图像数据获取全色原始图像，在此不作限制。
当图像传感器10输出多个原始图像数据的输出方式包括多个彩色原始图像数据与多个全色原始图像数据交替输出时，如图19所示，彩色图像处理模块202根据接收到的彩色原始图像数据获取彩色原始图像包括多个彩色图像像素，多个彩色图像像素呈拜耳阵列排布；全色图像处理模块203根据接收到的全色原始数据获取全色原始图像中仅包含多个全色图像像素。并且，该彩色原始图像及全色原始图像的分辨率与像素阵列11的分辨率不相同。
需要说明的是，在一些实施例中，彩色图像处理模块202将彩色原始图像数据作为生成该彩色图像数据的子单元的对应彩色大原始图像数据，根据多个彩色大原始数据以获得彩色原始图像。示例的，请结合图13及图19，由于排列在第一原始图像的第0行第0列的全色原始图像数据、及排列在第一原始图像的第1行第0列的彩色原始图像数据均是由在像素阵列11的子单元U1内的图像像素曝光生成的，所以彩色图像处理模块202将排列在第一原始图像的第1行第0列的彩色原始图像数据作为与子单元U1对应的彩色大原始数据，该彩色大原始数据排列在第一彩色原始图像的第0列第0行。同样的，由于排列在第一原始图像第0行第1列的全色原始图像数据、及排列在第一原始图像的第1行第1列的彩色原始图像数据均是由在像素阵列11的子单元U2内的图像像素曝光生成的，所以彩色图像处理模块202将排列在第一原始图像的第1行第1列的彩色原始图像数据作为与子单元U2对应的彩色大原始数据，该彩色大原始数据排列在第一彩色原始图像的第0行第1列。当然，在一些实施例中，彩色图像处理模块202可直接将获取的多个彩色原始图像数据排列以获得彩色原始图像，在此不作限制。全色图像处理模块203根据全色原始数据以获得全色原始图像的具体实施方法，与上述实施例中彩色图像处理模块202根据彩色原始数据获得彩色原始图像的具体实施方法相同，在此不作赘述。
在某些实施方式中，在图像传感器10工作在高分辨率模式下时，可以采用一个彩色原始图像数据与一个全色原始图像数据交替输出的方式进行原始图像数据的输出。在图像传感器10工作在低分辨率模式下时，可以采用多个彩色原始图像数据与多个全色原始图像数据交替输出的方式进行原始图像数据的输出。示例地，在环境亮度较高时图像传感器10可以工作在高分辨率模式，有利于提升最终获取的图像的清晰度；在环境亮度较低时图像传感器10可以工作在低分辨率模式，有利于提升最终获取的图像的亮度。
请参阅图20，图像处理器20还包括图像预处理模块21，图像预处理模块21用于对第一彩色原始图像进行第一图像预处理，以获取预处理后的第一彩色原始图像；对第二彩色原始图像进行第一图像预处理，以获取预处理后的第二彩色原始图像；对第一全色原始图像进行第二图像预处理，以获取预处理后的第一全色原始图像；对第二全色原始图像进行第二图像预处理，以获取预处理后的第二全色原始图像。请参阅图21，在一些实施例中，图像预处理模块21还包括第一图像预处理模块211及第二图像预处理模块212第一图像预处理模块211用于对获取到的彩色原始图像做第一图像预处理，以获得对应的预处理后的彩色原始图像；第二图像预处理模块212用于对获取到的全色原始图像做第二图像预处理，以获得对应的预处理后的全色原始图像。
具体地，第一图像预处理包括黑电平校正、镜头阴影校正和坏点补偿中的至少一种。例如，第一图像预处理仅包括黑电平校正处理；或者，第一图像预处理包括镜头阴影校正和坏点补偿；或者，第一图像预处理包括黑电平校正处理和镜头阴影校正；或者，第一图像预处理包括黑电平校正、镜头阴影校正和坏点补偿。
由于图像传感器10采集的信息经过一系列转换生成原始图像。以8bit数据为例，单个图像像素的有效值是0～255，但是实际图像传感器10中的模数转换芯片的精度可能无法将电压值很小的一部分转换出来，便容易造成生成图像的暗部细节的损失。黑电平校正的过程可以是，图像预处理模块21的第一图像预处理单元211在获得第一彩色原始图像及第二彩色原始图像的基础上，将每个像素值(即每个彩色中间图像数据)减去一个固定值。各颜色通道的像素值对应的固定值可以是一样，也可以是不一样。请参阅图22，第一图像预处理单元211对第一彩色原始图像进行黑电平校正，第一原始中间图像中所有的像素值均减去固定值5，从而得到经过黑电平校正的第一彩色原始图像。同时图像传感器10在ADC的输入之前加上一个固定的偏移量5(或者其他数值)，使输出的像素值在5(或者其他数值)～255之间，配合黑电平校正，能使得本申请实施方式的图像传感器10和高动态范围图像处理系统100得到的图像的暗部的细节完全保留的同时，不增大或减小图像的像素值，有利于提高成像质量。
镜头阴影是由于镜头对于光学折射不均匀导致的镜头周围出现阴影的情况，即影像区的中心和四周的接收到的光强程度不一致的现象。镜头阴影校正的过程可以是，图像预处理模块21的第一图像预处理单元211可以在经过黑电平校正的第一彩色原始图像及经过黑电平校正的第二彩色原始图像基础上，将被处理图像进行网格划分，再通过各网格区域邻近的或者自身及邻近周的补偿系效，采用双线性插值方法对图像进行镜头阴影校正，以获得镜头阴影校正后的第一彩色原始图像及镜头阴影校正后的第二彩色原始图像。当然，在一些实施例中，第一图像预处理单元211也可以直接对没有经过黑电平校正的彩色原始图像进行镜头阴影校正，即，第一图像预处理单元211在获得第一彩色原始图像及第二彩色原始图像的基础上，对其进行镜头阴影校正。
图像传感器10的像素阵列11上的感光像素110可能存在工艺上的缺陷，或光信号进行转化为电信号的过程中出现错误，从而造成图像上图像像素信息错误，导致图像中的像素值不准确，这些有缺陷的图像像素表现在输出的图像上即为图像坏点。图像坏点可能存在，因此需要对图像进行坏点补偿。坏点补偿可以包括如下步骤：(1)以待检测像素点为中心像素点建立相同颜色的感光像素的像素点的3×3像素矩阵；(2)以所述中心像素点的周围像素点为参考点，判断所述中心像素点的色值与所述周围像素点的色值之间的差值是否均大于第一阈值，如果是，则该中心像素点为坏点，如果否，则该中心像素点为正常点；(3)对判定为坏点的中心像素点进行双线性插值得到校正后的像素值。本申请实施方式的第一图像预处理模块211可以对图像进行坏点补偿，有利于高动态范围图像处理系统100消除在图像传感器10的成像过程中，由于感光像素110存在工艺上的缺陷，或光信号进行转化为电信号的过程中出现错误而产生的图像坏点，进而提高高动态范围图像处理系统100形成的目标图像的像素值的准确性，从而使得本申请实施方式具有更好的成像效果。
第二图像预处理包括黑电平校正、镜头阴影校正、坏点补偿和全局色调映射中的至少一种。例如，第二图像预处理仅包括黑电平校正处理；或者，第二图像预处理包括镜头阴影校正和坏点补偿；或者，第二图像预处理包括黑电平校正处理和镜头阴影校正；或者，第二图像预处理包括黑电平校正、镜头阴影校正和坏点补偿，或者，第二图像预处理包括黑电平校正、镜头阴影校正、坏点补偿和全局色调映射。
需要说明的是，图像预处理模块21的第二图像预处理单元212对全色原始图像的黑电平校正、镜头阴影校正及坏点补偿的具体实施方式与上文中第一图像预处理单元211对彩色原始图像的黑电平校正、镜头阴影校正及坏点补偿的具体实施方式相同，在此不作赘述。
全局色调映射处理可以包括如下步骤：(1)把第一全色原始图像及第二全色原始图像(可以为经过坏点补偿后的第一全色原始图像及经过坏点补偿后的第二全色原始图像)的灰度值归一化到区间[0,1]内，记归一化后的灰度值为Vin；(2)设Vout＝Y(Vin)，Vout和Vin之间的映射关系可以为如图23所示；(3)把Vout乘上255(当设定输出图像的灰度值为256阶时，乘上255，在其他设定时，可以为其他数值)后再四舍五入取整数，得到了全局色调映射处理后的第一全色原始图像及全局色调映射处理后的第二全色原始图像。
请参阅图24，图像处理器20还包括图像后处理模块22，图像后处理模块22对预处理后的第一彩色原始图像及与预处理的第二彩色原始图像进行色彩转换处理，以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像。色彩转换处理是将图像由一个色彩空间(例如RGB色彩空间)转换成另一个色彩空间(例如YUV色彩空间)从而具有更广泛的应用场景或者具有更高效率的传输格式。在具体的实施例中，色彩转换处理的步骤可以为对图像中的所有像素值的R、G和B通道像素值进行如下公式转换得到Y、U和V通道像素值：(1)Y＝0.30R+0.59G+0.11B；(2)U＝0.493(B－Y)；(3)V＝0.877(R－Y)；从而将该图像由RGB色彩空间转换为YUV色彩空间。由于YUV色彩空间中的亮度信号Y和色度信号U和V是分离的，并且人眼对亮度的敏感超过色度，色彩转换处理将图像由RGB色彩空间转换为YUV色彩空间有利于本申请实施方式的高动态范围图像处理系统100后续的其他图像处理对图像进行色度信息的压缩，在不影响图像观看效果的同时，能减小图像的信息量，从而提高图像的传输效率。需要说明的是，图像后处理模块22仅对预处理后的彩色原始图像(也可以是没有经过预处理后的彩色原始图像)进行色彩转换处理，而不对预处理后的全色原始图像进行色彩转换。
在一些实施例中，图像后处理模块22可以先对预处理后的第一彩色原始图像及预处理后的第二彩色原始图像进行第一类图像后处理，以获得第一类图像后处理之后的第一彩色原始图像和第一类图像后处理之后的第二彩色原始图像。图像后处理模块22再对第一类图像后处理之后的第一彩色原始图像及第一类图像后处理之后的第二彩色原始图像进行第二类图像后处理，如色彩转换，以获得第二类图像后处理之后的第一彩色原始图像及第二类图像后处理之后的第二彩色原始图像，如获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像。
需要说明的是，第一类图像后处理包括去马赛克、色彩校正和全局色调映射中的至少一种。例如，第一类图像后处理只包括去马赛克；或者，第一类图像后处理包括去马赛克和色彩校正；或者，第一类图像后处理包括去马赛克、色彩校正和全局色调映射。在一些实施例中，第一彩色原始图像及第二彩色原始图像可以无需进行图像预处理，直接进行色彩转换处理。示例地，图像处理器20在获取到第一彩色原始图像及第二彩色原始图像后，直接将第一彩色原始图像及第二彩色原始图像传输至图像后处理模块22，图像后处理模块22对第一彩色原始图像及第二彩色原始图像进行色彩转换处理，以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像。如此，能够缩短图像的处理时间。
请参阅图24，在一些实施例中，高动态范围图像处理系统100在获取到预处理后的第一全色原始图像、预处理后的第一全色原始图像、色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像后，先将图像传输至高动态范围图像处理模块30进行高动态融合处理后，再将高动态融合处理后的图像传输至图像融合模块进行融合算法处理，以获得目标图像。
请参阅图25，高动态范围图像处理系统100还包括存储模块50，存储模块50用于储存图像处理器20预处理后的全色原始图像及色彩转换后的彩色原始图像，并将预处理后的全色原始图像及色彩转换后的彩色原始图像传输至高动态范围图像处理模块30进行高动态融合处理，以获得彩色高动态范围图像及全色高动态范围图像。
具体地，图像预处理模块21的第二图像预处理单元212依次对第一全色原始图像及第二全色原始图像进行第二图像预处理，第二图像预处理单元212对第一全色原始图像完成第二图像预处理后，将获得的预处理后的第一全色原始图像传输至存储模块50进行存储，第二图像预处理单元212对第二全色原始图像完成第二图像预处理后，将获得的预处理后的第二全色原始图像传输至存储模块50进行存储，当存储模块50内存储有第二图像预处理单元212进行第二图像预处理后的所有图像后(即当存储模块50内存储有预处理后的第一全色原始图像及预处理后的第二全色原始图像)，存储模块50将存储的所有图像(即预处理后的第一全色原始图像及预处理后的第二全色原始图像)传输至高动态融合处理图像模块30。
图像后处理模块22依次对预处理后的第一彩色原始图像及预处理后的第二彩色原始图像(也可以是未经过预处理的第一彩色原始图像及未经过预处理的第二彩色原始图像)进行色彩转换处理，图像后处理模块22对预处理后的第一彩色原始图像完成色彩转换处理后，将获得的色彩转换后的第一彩色原始图像传输至存储模块50进行存储，图像后处理模块22对预处理后的第二彩色原始图像完成色彩转换处理后，将获得的色彩转换后的第二彩色原始图像传输至存储模块50进行存储，当存储模块50内存储有图像后处理模块22进行色彩转换后的所有图像后(即当存储模块50内存储有色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像)，存储模块50将存储的所有图像(即色彩转换后的的第一彩色原始图像及色彩转换后的第二彩色原始图像)传输至高动态融合处理图像模块30。
需要说明的是，图像预处理模块21的第二图像预处理单元212也可以先对第二全色原始图像进行第二图像预处理后，再对第一全色原始图像进行第二图像预处理；第二图像预处理单元212也可同时对第一全色原始图像及第二全色原始图像进行第二图像预处理，在此不作限制。无论第二图像预处理单元212采用何种方式对第一全色原始图像及第二全色原始图像进行第二图像预处理，存储模块50只有在存储有预处理后的第一全色原始图像及预处理后的第二全色原始图像后，才将这两张图像传输至高动态范围图像处理模块30。同样地，图图像后处理模块22也可以先对预处理后的第二彩色原始图像进行色彩转换后，再对预处理后的第一彩色原始图像进行色彩转换处理；图像后处理模块22也可同时对预处理后的第一彩色原始图像及预处理后的第二彩色原始图像进行色彩转换处理，在此不作限制。无论图像后处理模块22采用何种方式对预处理后的第一彩色原始图像及预处理后的第二彩色原始图像进行第色彩转换处理，存储模块50只有在存储有色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像后，才将这两张图像传输至高动态范围图像处理模块30。
请结合图26，具体地，高动态范围图像处理模块30包括彩色融合单元31及全色融合单元32。当预处理后的第一全色原始图像、预处理后的第一全色原始图像、色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像后，彩色高动态融合单元31对色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像进行高动态融合处理以获得彩色高动态范围图像。在一些实施例中，彩色高动态融合单元31先对获取到的图像进行亮度对齐，再对亮度对齐后的图像与其他图像进行融合，得到高动态的图像。如此，能够使得高动态范围图像处理系统100形成的目标图像具有更大的动态范围，进而具有更好的成像效果。
同样地，请参阅图27，高动态范围图像处理模块30的全色高动态融合单元32在获取到预处理后的第一全色原始图像及预处理后的第二全色原始图像后，对这两张图像进行高动态融合处理以获得全色高动态范围图像。获取全色高动态范围图像的具体方法与获取彩色高动态范围图像的具体方法相同，在此不作赘述。
需要说明的是，在一些实施例中，高动态范围图像处理系统100也可以无需对彩色原始图像及全色原始图像进行预处理，直接对全色原始图像进行高动态融合处理以获得全色高动态范围图像。也即是说，图像处理器10在获取到第一彩色原始图像、第二彩色原始图像、第一全色原始图像及第二全色原始图像后，对第一彩色原始图像及第二彩色原始图像进行色彩转换处理，以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像后，将第一全色原始图像、第二全色原始图像、色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像传输至高动态范围图像处理模块30。高动态范围图像处理模块30的彩色高动态融合单元31对色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像进行高动态融合处理以获得彩色高动态范围图像；高动态范围图像处理模块30的全色高动态融合单元32对第一全色原始图像及第二全色原始图像进行高动态融合处理以获得全色高动态范围图像。
请参阅图25及图28，在一些实施例中，存储模块50还用于存储全色高动态范围图像及彩色高动态范围图像，并将全色高动态范围图像及彩色高动态范围图像传输至图像融合模块40进行图像融合算法，以获得目标图像。具体地，全色高动态融合单元32获得全色高动态范围图像后，直接将全色高动态范围图像传输至存储模块50，彩色高动态融合单元31获得彩色高动态范围图像后，直接将彩色高动态范围图像传输至存储模块50，当存储模块50内存储有全色高动态范围图像及彩色高动态范围图像后，存储模块50将存储的全色高动态范围图像及彩色高动态范围图像传输至图像融合模块40进行图像融合算法处理，以获得目标图像。
请参阅图29，在一些实施例中，高动态范围图像处理系统100在获取到预处理后的第一全色原始图像、预处理后的第一全色原始图像、色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像后，先将图像传输至图像融合模块40进行融合算法处理，再将经过融合算法处理后的图像传输至高动态范围图像处理模块30进行高动态融合处理，以获得目标图像。
请参阅图30，此时存储模块50用于储存图像处理器20预处理后的全色原始图像及色彩转换后的彩色原始图像，并将预处理后的全色原始图像及色彩转换后的彩色原始图像传输至图像融合模块40进行融合算法。存储模块50用于储存图像处理器20预处理后的全色原始图像及色彩转换后的彩色原始图像的具体实施方法与图25所述实施例中存储模块50用于储存图像处理器20预处理后的全色原始图像及色彩转换后的彩色原始图像的具体实施方法相同，在此不作赘述。
请参阅图31及图32，图像融合模块40在获取到预处理后的第一全色原始图像、预处理后的第二全色原始图像、色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像后，图像融合模块40将曝光时间相同的图像进行融合，以获得彩色中间图像。具体地，图像融合模块40对预处理后的第一全色原始图像及色彩转换后的第一彩色原始图像进行融合算法处理以获得第一彩色中间图像，第一彩色中间图像仅包括第一彩色中间数据。图像融合模块40对预处理后的第二全色原始图像及色彩转换后的第二彩色原始图像进行融合算法处理以获得第二彩色中间图像，第二彩色中间图像仅包括第二彩色中间数据。
需要说明的是，在一些实施例中，高动态范围图像处理系统100也可以无需对彩色原始图像及全色原始图像进行预处理，直接对第一全色原始图像、第二全色原始图像、色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像进行融合算法处理，以获得第一彩色中间图像及第二彩色中间图像。也即是说，图像处理器10在获取到第一彩色原始图像、第二彩色原始图像、第一全色原始图像及第二全色原始图像后，对第一彩色原始图像及第二彩色原始图像进行色彩转换处理，以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像后，将第一全色原始图像、第二全色原始图像、色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像传输至图像融合模块40。图像融合模块40对第一全色原始图像及第一彩色原始图像进行融合算法处理，以获得第一彩色中间图像；对第二全色原始图像及第二彩色原始图像进行融合算法处理，以获得第二彩色中间图像。
请参阅图30及图33，在一些实施例中，存储模块50还用于存储第一彩色中间图像及第二彩色中间图像，并将第一彩色中间图像及第二彩色中间图像传输至高动态范围图像处理模块30进行高动态融合处理，以获得目标图像。高动态范围图像处理模块30对第一彩色中间图像及第二彩色中间图像进行高动态融合处理获取目标图像的具体实施方式，与图26所述实施例中。高动态范围图像处理模块30对色彩转换后的第一彩色中间图像及色彩转换后的第二彩色中间图像进行高动态融合处理获取第一高动态范围图像的具体实施方式相同，在此不作赘述。
在某些实施方式中，像素阵列11还可以以第三曝光时间曝光得到第三原始图像。第三原始图像包括以第三曝光时间曝光的单颜色感光像素生成的第三彩色原始图像数据和以第三曝光时间曝光的全色感光像素W生成的第三全色原始图像数据。其中，第三曝光时间不等于第一曝光时间，第三曝光时间不等于第二曝光时间。
具体地，请参阅图1和图34，像素阵列11进行三次曝光，以分别得到第一原始图像、第二原始图像和第三原始图像。其中，第一原始图像包括以第一曝光时间L曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间L曝光的全色感光像素W生成的第一全色原始图像数据。第二原始图像包括以第二曝光时间M曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间M曝光的全色感光像素W生成的第二全色原始图像数据。第三原始图像包括以第三曝光时间S曝光的单颜色感光像素生成的第三彩色原始图像数据和以第三曝光时间S曝光的全色感光像素W生成的第三全色原始图像数据。其中，第一曝光时间L>第二曝光时间M>第三曝光时间S。
图像处理器20根据第一原始图像中的第一彩色原始数据以获得第一彩色原始图像；根据第一原始图像中的第一全色原始图像数据以获得第一全色原始图像；根据第二原始图像中的第二彩色原始图像数据以获得第二彩色原始图像；根据第二原始图像中的第二原始图像数据以获得第二全色原始图像；根据第三原始图像中的第三彩色原始数据以获得第三彩色原始图像；根据第三原始图像中的第一全色原始图像数据以获得第三全色原始图像。具体实施方式与图15及图19任一所述实施例中根据第一原始图像中的第一彩色原始数据以获得第一彩色原始图像；根据第一原始图像中的第一全色原始图像数据以获得第一全色原始图像的具体实施方式相同在此不作赘述。
图像预处理模块21可以对第一彩色原始图像进行第一图像预处理以获得预处理后的第一彩色原始图像；对第二彩色原始图像进行第一图像预处理以获得预处理后的第二彩色原始图像；对第三彩色原始图像进行第一图像预处理以获得预处理后的第三彩色原始图像。具体实施方式与上述任意一个实施例中所述的第一图像预处理的实施方式相同，在此不作赘述。同样地，图像预处理模块21可以对第一全色原始图像进行第二图像预处理以获得预处理后的第一全色原始图像；对第二全色原始图像进行第二图像预处理以获得预处理后的第二全色原始图像；对第三全色原始图像进行第二图像预处理以获得预处理后的第三全色原始图像。具体实施方式与上述任意一个实施例中的第二图像预处理的实施方式相同，在此不作赘述。
图像处理器20还用于对预处理后的第三彩色原始图像(也可以是未经过预处理的第三彩色原始图像)进行色彩转换处理，以获得色彩转换后的第三彩色原始图像。对预处理后的第三彩色原始图像的色彩转换处理的具体实施方式与上述实施例中对预处理后的第一彩色原始图像的色彩转换处理的具体实施方式相同，在此不作赘述。
在一些实施例中，高动态范围图像处理模块30包括彩色高动态融合单元31及全色高动态融合单元31。的彩色高动态融合单元31可以对色彩转换后的第一彩色原始图像、色彩转换后的第二彩色原始图像及色彩转换后的第三彩色原始图像进行高动态融合处理，以获得彩色高动态范围图像；高动态范围图像处理模块30的全色高动态融合单元32可以对预处理后的第一全色原始图像、预处理后的第二全色原始图像及预处理后的第三全色原始图像进行高动态融合处理，以获得全色高动态范围图像。或者，全色高动态融合单元32也可以直接对第一全色原始图像、第二全色原始图像及第二全色原始图像进行高动态融合处理，以获得全色高动态范围图像。具体的高动态融合处理的具体实施方法与前文所述的高动态融合处理的具体实施方式相同，在此不作赘述。
图像融合模块40对彩色高动态范围图像及全色高动态范围图像进行融合算法处理以获得目标图像，对彩色高动态范围图像及全色高动态范围图像进行融合的具体实施方式与上文所述对彩色高动态范围图像及全色高动态范围图像进行融合的具体实施方式相同，在此不作赘述。
在一些实施例中，图像融合模块40对预处理后的第一全色原始图像及色彩转换后的第一彩色原始图像进行融合算法处理，以获得第一彩色中间图像；对预处理后的第二全色原始图像及色彩转换后的第二彩色原始图像进行融合算法处理，以获得第二彩色中间图像；对预处理后的第三全色原始图像及色彩转换后的第三彩色原始图像进行融合算法处理，以获得第三彩色中间图像，第三彩色中间图像仅包括第三彩色中间数据。或者，图像融合模块40也可以对第一全色原始图像及色彩转换后的第一彩色原始图像进行融合算法处理，以获得第一彩色中间图像；对第二全色原始图像及色彩转换后的第二彩色原始图像进行融合算法处理，以获得第二彩色中间图像；对第三全色原始图像及色彩转换后的第三彩色原始图像进行融合算法处理，以获得第三彩色中间图像，第三彩色中间图像仅包括第三彩色中间数据。融合的具体方式与前文中所述的融合方式相同，在此不作赘述。
高动态范围图像处理模块30对第一彩色中间图像、第二彩色中间图像及第三彩色中间图像进行高动态融合处理以获得目标图像。高动态融合处理的具体的实施方式与前文中所述的高动态融合处理的具体的实施方式相同，在此不作赘述。
在其他实施方式中，像素阵列11还可以进行例如四次、五次、六次、十次或二十次的更多次数的曝光，从而得到更多的原始图像。图像融合模块10及高动态范围图像处理系统30再对所有原始图像进行融合算法处理及高动态融合处理得到彩色高动态范围图像。
请参阅图35，本申请还提供一种电子设备1000。本申请实施方式的电子设备1000包括镜头300、壳体200及上述任意一项实施方式的高动态范围图像处理系统100。镜头300、高动态范围图像处理系统100与壳体200结合。镜头300与高动态范围图像处理系统100的图像传感器10配合成像。
电子设备1000可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能眼镜、智能头盔)、无人机、头显设备等，在此不作限制。
本申请实施方式的电子设备100通过图像处理器20根据原始图像数据获得彩色原始图像及全色原始图像，并且彩色原始图像内的多个彩色图像像素呈拜耳阵列排布。再对彩色原始图像经过色彩转换处理后，通过高动态范围图像处理模块30及图像融合模块40对色彩转换后的彩色原始图像及全色原始图像进行高动态融合处理及图像融合算法处理，从而得到具有高动态范围的目标图像，使得在获得高动态范围图像的同时，无需更改图像处理器20的参数也能够对图像进行处理。如此有利于提高成像性能的同时，有助于降低成本。
请参阅图1和图36，本申请提供一种高动态范围图像处理方法。本申请实施方式的高动态范围图像处理方法用于高动态范围图像处理系统100。高动态范围图像处理系统100可以包括图像传感器10。图像传感器10包括像素阵列11。像素阵列11包括多个全色感光像素和多个彩色感光像素。彩色感光像素具有比全色感光像素更窄的光谱响应。像素阵列11包括最小重复单元。每个最小重复单元包含多个子单元。每个子单元包括多个单颜色感光像素及多个全色感光像素。高动态范围图像处理方法包括：
01：像素阵列以第一曝光时间曝光得到第一原始图像，第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据；像素阵列以第二曝光时间曝光得到第二原始图像，第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据；其中，第一曝光时间不等于第二曝光时间；
02：根据第一彩色原始图像数据以获得的第一彩色原始图像，根据第一全色原始图像数据以获得第一全色原始图像，根据第二彩色原始图像数据以获得第二彩色原始图像，根据第二原始图像数据以获得第二全色原始图像；
03：对第一彩色原始及第二色彩转换单元进行色彩转换处理以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像；
04：对色彩转换后的第一彩色原始图像、色彩转换后的第二彩色原始图像、第一全色原始图像、及第二全色原始图像进行融合算法处理及高动态融合处理，以获得目标图像。
在某些实施方式中，像素阵列以第三曝光时间曝光得到第三原始图像，第三原始图像包括以第三曝光时间曝光的单颜色感光像素生成的第三彩色原始图像数据和以第三曝光时间曝光的全色感光像素生成的第三全色原始图像数据；其中，第三曝光时间不等于第一曝光时间，第三曝光时间不等于第二曝光时间。高动态范围图像处理方法还包括：根据第三彩色原始图像数据以获得的第三彩色原始图像，根据第三全色原始图像数据以获得第三全色原始图像；对第三彩色原始图像进行色彩转换处理以获得色彩转换后的第三彩色原始图像；对色彩转换后的第一彩色原始图像、色彩转换后的第二彩色原始图像、色彩转换后的第三彩色原始图像、第一全色原始图像、第二全色原始图像及第三全色原始图像进行融合算法处理及高动态融合处理，以获得目标图像。
在某些实施方式中，每个彩色原始图像数据由单个单颜色感光像素生成，每个全色原始图像数据由单个全色感光像素生成，图像传感器输出多个原始图像数据的输出方式包括一个彩色原始图像数据与一个全色原始图像数据交替输出。
在某些实施方式中，每个彩色原始图像数据由同一子单元中的多个单颜色感光像素共同生成，每个全色原始图像数据由同一子单元中的多个全色感光像素共同生成，图像传感器输出多个原始图像数据的输出方式包括多个彩色原始图像数据与多个全色原始图像数据交替输出。
在某些实施方式中，步骤对色彩转换后的第一彩色原始图像、色彩转换后的第二彩色原始图像、第一全色原始图像、及第二全色原始图像进行融合算法处理及高动态融合处理以获得目标图像，包括：对色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像进行高动态融合处理以获得彩色高动态范围图像，对第一全色原始图像及第二全色原始图像进行高动态融合处理以获得全色高动态范围图像；及对彩色高动态范围图像及全色高动态范围图像进行高动态融合处理以获得目标图像。
在某些实施方式中，步骤对色彩转换后的第一彩色原始图像、色彩转换后的第二彩色原始图像、色彩转换后的第三彩色原始图像、第一全色原始图像、第二全色原始图像及第三全色原始图像进行融合算法处理及高动态融合处理，以获得目标图像包括：对色彩转换后的第一彩色原始图像、色彩转换后的第二彩色原始图像、及色彩转换后的第三彩色原始图像进行高动态融合处理以获得彩色高动态范围图像，对第一全色原始图像、第二全色原始图像及第三全色原始图像进行高动态融合处理以获得全色高动态范围图像；及对彩色高动态范围图像及全色高动态范围图像进行高动态融合处理以获得目标图像。
在某些实施方式中，高动态范围图像处理系统包括存储模块。高动态范围图像处理方法还包括：将色彩转换后的彩色原始图像及全色原始图像存储至存储模块；从存储模块获取色彩转换后的彩色原始图像及全色原始图像，并对色彩转换后的彩色原始图像及全色原始图像进行高动态范围图像处理，以获得彩色高动态范围图像及全色高动态范围图像。
在某些实施方式中，，高动态范围图像处理系统包括存储模块。高动态范围图像处理方法还包括：将高动态融合处理后的彩色高动态范围图像及全色高动态范围图像存储至存储模块；从存储模块获取彩色高动态范围图像及全色高动态范围图像，并对彩色高动态范围图像及全色高动态范围图像传输至图像融合模块进行融合算法处理，以获得目标图像。
在某些实施方式中，步骤对色彩转换后的第一彩色原始图像、色彩转换后的第二彩色原始图像、第一全色原始图像、及第二全色原始图像进行融合算法处理及高动态融合处理以获得目标图像，包括：色彩转换后的第一彩色原始图像及第一全色原始图像进行融合算法处理，以获得仅包含第一彩色中间图像数据的第一彩色中间图像，对色彩转换后的第二彩色原始图像及第二全色原始图像进行融合算法处理，以获得仅包含第二彩色中间图像数据的第二彩色中间图像；及对第一彩色中间图像及第二彩色中间图像进行高动态融合处理，以获得目标图像。
在某些实施方式中，步骤对色彩转换后的第一彩色原始图像、色彩转换后的第二彩色原始图像、色彩转换后的第三彩色原始图像、第一全色原始图像、第二全色原始图像及第三全色原始图像进行融合算法处理及高动态融合处理以获得目标图像，包括：对色彩转换后的第一彩色原始图像及第一全色原始图像进行融合算法处理，以获得仅包含第一彩色中间图像数据的第一彩色中间图像，对色彩转换后的第二彩色原始图像及第二全色原始图像进行融合算法处理，以获得仅包含第二彩色中间图像数据的第二彩色中间图像，对色彩转换后的第三彩色原始图像及第三全色原始图像进行融合算法处理，以获得仅包含第三彩色中间图像数据的第三彩色中间图像；及对第一彩色中间图像、第二彩色中间图像及第三中间图像进行高动态融合处理，以获得目标图像。
在某些实施方式中，高动态范围图像处理系统包括存储模块。高动态范围图像处理方法还包括：将色彩转换后的图像及全色原始图像存储至存储模块；从存储模块获取色彩转换后的图像及全色原始图像，并将色彩转换后的图像及全色原始图像进行融合算法处理，以获得融合后的彩色中间图像。
在某些实施方式中，高动态范围图像处理系统包括存储模块。高动态范围图像处理方法还包括：将融合后的彩色中间图像存储至存储模块；从存储模块获取融合后的彩色中间图像，并对彩色中间图像进行高动态范围图像处理，以获得目标图像。
在某些实施方式中，高动态范围图像处理方法还包括：对第一彩色原始图像进行第一图像预处理以获取预处理后的第一彩色原始图像；对第二彩色原始图像进行第一图像预处理以获取预处理后的第二彩色原始图像；对第一全色原始图像进行第二图像预处理以获取预处理后的第一全色原始图像；及对第二全色原始图像进行第二图像预处理以获取预处理后的第二全色原始图像。步骤对多个第一彩色原始图像数据排列形成的第一彩色原始图像、及多个第二彩色原始图像数据排列形成的第二彩色原始图像进行色彩转换处理以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像，包括：对预处理后的第一彩色原始图像及预处理后的第二彩色原始图像进行色彩转换处理以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像。
在某些实施方式中，高动态范围图像处理方法还包括：对第一彩色原始图像进行第一图像预处理以获取预处理后的第一彩色原始图像；对第二彩色原始图像进行第一图像预处理以获取预处理后的第二彩色原始图像；对第三彩色原始图像进行第一图像预处理以获取预处理后的第三彩色原始图像；对第一全色原始图像进行第二图像预处理以获取预处理后的第一全色原始图像；对第二全色原始图像进行第二图像预处理以获取预处理后的第二全色原始图像；及对第三全色原始图像进行第二图像预处理以获取预处理后的第三全色原始图像。步骤对多个第三彩色原始图像数据排列形成的第三彩色原始图像行色彩转换处理以获得色彩转换后的第一彩色原始图像及色彩转换后的第三彩色原始图像，包括：对预处理后的第一彩色原始图像、预处理后的第二彩色原始图像及预处理后的第三彩色中间图像进行色彩转换处理以获得色彩转换后的第一彩色原始图像、色彩转换后的第二彩色原始图像及色彩转换后的第三彩色原始图像。
在某些实施方式中，第一图像预处理包括黑电平校正、镜头阴影校正和坏点补偿中的至少一种。第二图像预处理包括黑电平校正、镜头阴影校正、坏点补偿和全局色调映射中的至少一种。
本申请实施方式的高动态范围图像处理方法处理图像的具体过程与图1所示的高动态范围图像处理系统100处理图像的过程相同，在此不再赘述。
请参阅37，本申请还提供一种包含计算机程序的非易失性计算机可读存储介质400。该计算机程序被处理器60执行时，使得处理器60执行上述任意一个实施方式的高动态范围图像处理方法。
例如，请参阅图1、图36及图37，计算机程序被处理器60执行时，使得处理器60执行以下步骤：
01：像素阵列以第一曝光时间曝光得到第一原始图像，第一原始图像包括以第一曝光时间曝光的单颜色感光像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色感光像素生成的第一全色原始图像数据；像素阵列以第二曝光时间曝光得到第二原始图像，第二原始图像包括以第二曝光时间曝光的单颜色感光像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色感光像素生成的第二全色原始图像数据；其中，第一曝光时间不等于第二曝光时间；
02：根据第一彩色原始图像数据以获得的第一彩色原始图像，根据第一全色原始图像数据以获得第一全色原始图像，根据第二彩色原始图像数据以获得第二彩色原始图像，根据第二原始图像数据以获得第二全色原始图像；
03：对第一彩色原始及第二色彩转换单元进行色彩转换处理以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像；
04：对色彩转换后的第一彩色原始图像、色彩转换后的第二彩色原始图像、第一全色原始图像、及第二全色原始图像进行融合算法处理及高动态融合处理，以获得目标图像。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (26)

1.一种高动态范围图像处理系统，其特征在于，包括图像传感器、图像处理器、图像融合模块及高动态范围图像处理模块；
所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；
所述像素阵列以第一曝光时间曝光得到第一原始图像，所述第一原始图像包括以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以所述第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据；所述像素阵列以第二曝光时间曝光得到第二原始图像，所述第二原始图像包括以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以所述第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据；其中，所述第一曝光时间不等于所述第二曝光时间；
所述图像处理器用于根据所述第一彩色原始图像数据以获得的第一彩色原始图像，根据所述第一全色原始图像数据以获得第一全色原始图像，根据所述第二彩色原始图像数据以获得第二彩色原始图像，根据所述第二原始图像数据以获得第二全色原始图像；及
对所述第一彩色原始及所述第二色彩转换单元进行色彩转换处理以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像；
所述图像融合模块及所述高动态范围图像处理模块用于对所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像、所述第一全色原始图像、及所述第二全色原始图像进行融合算法处理及高动态融合处理，以获得目标图像。
2.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述像素阵列以第三曝光时间曝光得到第三原始图像，所述第三原始图像包括以所述第三曝光时间曝光的所述单颜色感光像素生成的第三彩色原始图像数据和以所述第三曝光时间曝光的所述全色感光像素生成的第三全色原始图像数据；其中，所述第三曝光时间不等于所述第一曝光时间，所述第三曝光时间不等于所述第二曝光时间；
所述图像处理器还用于根据所述第三彩色原始图像数据以获得的第三彩色原始图像，根据所述第三全色原始图像数据以获得第三全色原始图像；及
对所述第三彩色原始图像进行色彩转换处理以获得色彩转换后的第三彩色原始图像；
所述图像融合模块及所述高动态范围图像处理模块用于对所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像、所述色彩转换后的第三彩色原始图像、所述第一全色原始图像、所述第二全色原始图像及所述第三全色原始图像进行融合算法处理及高动态融合处理，以获得所述目标图像。
3.根据权利要求1或2所述的高动态范围图像处理系统，其特征在于，每个彩色原始图像数据由单个所述单颜色感光像素生成，每个全色原始图像数据由单个所述全色感光像素生成，所述图像传感器输出多个原始图像数据的输出方式包括一个所述彩色原始图像数据与一个所述全色原始图像数据交替输出；或
每个彩色原始图像数据由同一所述子单元中的多个所述单颜色感光像素共同生成，每个全色原始图像数据由同一所述子单元中的多个所述全色感光像素共同生成，所述图像传感器输出多个原始图像数据的输出方式包括多个所述彩色原始图像数据与多个所述全色原始图像数据交替输出。
4.根据权利要求1所述的高动态范围图像处理系统，其特征在于，
所述高动态范围图像处理模块包括彩色高动态融合单元及全色高动态融合单元，所述彩色高动态单元用于对所述色彩转换后的第一彩色原始图像及所述色彩转换后的第二彩色原始图像进行高动态融合处理以获得彩色高动态范围图像，所述全色高动态融合单元用于对所述第一全色原始图像及所述第二全色原始图像进行高动态融合处理以获得全色高动态范围图像；
所述图像融合模块用于对所述彩色高动态范围图像及全色高动态范围图像进行高动态融合处理以获得目标图像。
5.根据权利要求2所述的高动态范围图像处理系统，其特征在于，
所述高动态范围图像处理模块包括彩色高动态融合单元及全色高动态融合单元，所述彩色高动态单元用于对所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像、及所述色彩转换后的第三彩色原始图像进行高动态融合处理以获得彩色高动态范围图像，所述全色高动态融合单元用于对所述第一全色原始图像、所述第二全色原始图像及所述第三全色原始图像进行高动态融合处理以获得全色高动态范围图像；
所述图像融合模块用于对所述彩色高动态范围图像及全色高动态范围图像进行高动态融合处理以获得所述目标图像。
6.根据权利要求4或5所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理系统还包括存储模块，
所述存储模块用于存储所述色彩转换后的彩色原始图像及所述全色原始图像，并将所述色彩转换后的彩色原始图像及所述全色原始图像传输至所述高动态范围图像处理模块进行高动态范围图像处理，以获得所述彩色高动态范围图像及所述全色高动态范围图像；和/或
所述存储模块用于存储进行高动态融合处理后的所述彩色高动态范围图像及所述全色高动态范围图像，并对所述彩色高动态范围图像及所述全色高动态范围图像传输至所述图像融合模块进行融合算法处理，以获得所述目标图像。
7.根据权利要求1所述的高动态范围图像处理系统，其特征在于，
所述图像融合模块用于对所述色彩转换后的第一彩色原始图像及所述第一全色原始图像进行融合算法处理，以获得仅包含第一彩色中间图像数据的第一彩色中间图像，对所述色彩转换后的第二彩色原始图像及所述第二全色原始图像进行融合算法处理，以获得仅包含第二彩色中间图像数据的第二彩色中间图像；
所述高动态范围图像处理模块用于对所述第一彩色中间图像及所述第二彩色中间图像进行高动态融合处理，以获得所述目标图像。
8.根据权利要求2所述的高动态范围图像处理系统，其特征在于，
所述图像融合模块用于对所述色彩转换后的第一彩色原始图像及所述第一全色原始图像进行融合算法处理，以获得仅包含第一彩色中间图像数据的第一彩色中间图像，对所述色彩转换后的第二彩色原始图像及所述第二全色原始图像进行融合算法处理，以获得仅包含第二彩色中间图像数据的第二彩色中间图像，对所述色彩转换后的第三彩色原始图像及所述第三全色原始图像进行融合算法处理，以获得仅包含第三彩色中间图像数据的第三彩色中间图像；
所述高动态范围图像处理模块用于对所述第一彩色中间图像、所述第二彩色中间图像及所述第三中间图像进行高动态融合处理，以获得所述目标图像。
9.根据权利要求7或8所述的高动态范围图像处理系统，其特征在于，所述高动态范围图像处理系统还包括存储模块，
所述存储模块用于存储色彩转换后的图像及全色原始图像，并将色彩转换后的所述图像及所述全色原始图像传输至所述图像融合模块进行融合算法处理，以获得融合后的彩色中间图像；和/或
所述存储模块用于存储融合后的所述彩色中间图像并将所述彩色中间图像传输至所述高动态范围图像处理模块进行高动态范围图像处理，以获得所述目标图像。
10.根据权利要求1所述的高动态范围图像处理系统，其特征在于，所述图像处理器包括图像预处理模块图像后处理模块，，所述图像预处理模块用于：
对所述第一彩色原始图像进行第一图像预处理以获取预处理后的第一彩色原始图像；
对所述第二彩色原始图像进行第一图像预处理以获取预处理后的第二彩色原始图像；
对所述第一全色原始图像进行第二图像预处理以获取预处理后的第一全色原始图像；及
对所述第二全色原始图像进行第二图像预处理以获取预处理后的第二全色原始图像；
所述图像后处理模块用于对所述预处理后的第一彩色原始图像及所述预处理后的第二彩色原始图像进行色彩转换处理以获得所述色彩转换后的第一彩色原始图像及所述色彩转换后的第二彩色原始图像。
11.根据权利要求2所述的高动态范围图像处理系统，其特征在于，所述图像处理器包括图像预处理模块及图像后处理模块，所述图像预处理模块用于：
对所述第一彩色原始图像进行第一图像预处理以获取预处理后的第一彩色原始图像；
对所述第二彩色原始图像进行第一图像预处理以获取预处理后的第二彩色原始图像；
对所述第三彩色原始图像进行第一图像预处理以获取预处理后的第三彩色原始图像；
对所述第一全色原始图像进行第二图像预处理以获取预处理后的第一全色原始图像；
对所述第二全色原始图像进行第二图像预处理以获取预处理后的第二全色原始图像；及
对所述第三全色原始图像进行第二图像预处理以获取预处理后的第三全色原始图像；
所述图像后处理模块用于对所述预处理后的第一彩色原始图像、所述预处理后的第二彩色原始图像及所述预处理后的第三彩色中间图像进行色彩转换处理以获得所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像及所述色彩转换后的第三彩色原始图像。
12.根据权利要求10或11所述的高动态范围图像处理系统，其特征在于，
所述第一图像预处理包括黑电平校正、镜头阴影校正和坏点补偿中的至少一种；
所述第二图像预处理包括黑电平校正、镜头阴影校正、坏点补偿和全局色调映射中的至少一种。
13.一种高动态范围图像处理方法，用于高动态范围图像处理系统，其特征在于，所述高动态范围图像处理系统包括图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素和多个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色感光像素及多个全色感光像素；所述高动态范围图像处理方法包括：
所述像素阵列以第一曝光时间曝光得到第一原始图像，所述第一原始图像包括以所述第一曝光时间曝光的所述单颜色感光像素生成的第一彩色原始图像数据和以所述第一曝光时间曝光的所述全色感光像素生成的第一全色原始图像数据；所述像素阵列以第二曝光时间曝光得到第二原始图像，所述第二原始图像包括以所述第二曝光时间曝光的所述单颜色感光像素生成的第二彩色原始图像数据和以所述第二曝光时间曝光的所述全色感光像素生成的第二全色原始图像数据；其中，所述第一曝光时间不等于所述第二曝光时间；
根据所述第一彩色原始图像数据以获得的第一彩色原始图像，根据所述第一全色原始图像数据以获得第一全色原始图像，根据所述第二彩色原始图像数据以获得第二彩色原始图像，根据所述第二原始图像数据以获得第二全色原始图像
对所述第一彩色原始及所述第二色彩转换单元进行色彩转换处理以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像；
对所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像、所述第一全色原始图像、及所述第二全色原始图像进行融合算法处理及高动态融合处理，以获得目标图像。
14.根据权利要求13所述的一种高动态范围图像处理方法，其特征在于，所述像素阵列以第三曝光时间曝光得到第三原始图像，所述第三原始图像包括以所述第三曝光时间曝光的所述单颜色感光像素生成的第三彩色原始图像数据和以所述第三曝光时间曝光的所述全色感光像素生成的第三全色原始图像数据；其中，所述第三曝光时间不等于所述第一曝光时间，所述第三曝光时间不等于所述第二曝光时间；所述高动态范围图像处理方法还包括：
根据所述第三彩色原始图像数据以获得的第三彩色原始图像，根据所述第三全色原始图像数据以获得第三全色原始图像；
对所述第三彩色原始图像进行色彩转换处理以获得色彩转换后的第三彩色原始图像；
对所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像、所述色彩转换后的第三彩色原始图像、所述第一全色原始图像、所述第二全色原始图像及所述第三全色原始图像进行融合算法处理及高动态融合处理，以获得所述目标图像。
15.根据权利要求13或14所述的高动态范围图像处理方法，其特征在于，每个彩色原始图像数据由单个所述单颜色感光像素生成，每个全色原始图像数据由单个所述全色感光像素生成，所述图像传感器输出多个原始图像数据的输出方式包括一个所述彩色原始图像数据与一个所述全色原始图像数据交替输出；或
每个彩色原始图像数据由同一所述子单元中的多个所述单颜色感光像素共同生成，每个全色原始图像数据由同一所述子单元中的多个所述全色感光像素共同生成，所述图像传感器输出多个原始图像数据的输出方式包括多个所述彩色原始图像数据与多个所述全色原始图像数据交替输出。
16.根据权利要求13所述的高动态范围图像处理方法，其特征在于，所述对所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像、所述第一全色原始图像、及所述第二全色原始图像进行融合算法处理及高动态融合处理，以获得目标图像，包括：
对所述色彩转换后的第一彩色原始图像及所述色彩转换后的第二彩色原始图像进行高动态融合处理以获得彩色高动态范围图像，对所述第一全色原始图像及所述第二全色原始图像进行高动态融合处理以获得全色高动态范围图像；及
对所述彩色高动态范围图像及全色高动态范围图像进行高动态融合处理以获得目标图像。
17.根据权利要求14所述的高动态范围图像处理方法，其特征在于，所述对所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像、所述色彩转换后的第三彩色原始图像、所述第一全色原始图像、所述第二全色原始图像及所述第三全色原始图像进行融合算法处理及高动态融合处理，以获得所述目标图像，包括：
对所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像、及所述色彩转换后的第三彩色原始图像进行高动态融合处理以获得彩色高动态范围图像，对所述第一全色原始图像、所述第二全色原始图像及所述第三全色原始图像进行高动态融合处理以获得全色高动态范围图像；及
对所述彩色高动态范围图像及全色高动态范围图像进行高动态融合处理以获得所述目标图像。
18.根据权利要求16或17所述的高动态范围图像处理方法，其特征在于，所述高动态范围图像处理系统包括存储模块，所述高动态范围图像处理方法还包括：
将所述色彩转换后的彩色原始图像及所述全色原始图像存储至所述存储模块；
从所述存储模块获取色彩转换后的彩色原始图像及所述全色原始图像，并对所述色彩转换后的彩色原始图像及所述全色原始图像进行高动态范围图像处理，以获得所述彩色高动态范围图像及所述全色高动态范围图像；和/或
将高动态融合处理后的所述彩色高动态范围图像及所述全色高动态范围图像存储至所述存储模块；
从所述存储模块获取彩色高动态范围图像及所述全色高动态范围图像，并对所述彩色高动态范围图像及所述全色高动态范围图像传输至所述图像融合模块进行融合算法处理，以获得所述目标图像。
19.根据权利要求13所述的高动态范围图像处理方法，其特征在于，所述对所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像、所述第一全色原始图像、及所述第二全色原始图像进行融合算法处理及高动态融合处理，以获得目标图像，包括：
所述色彩转换后的第一彩色原始图像及所述第一全色原始图像进行融合算法处理，以获得仅包含第一彩色中间图像数据的第一彩色中间图像，对所述色彩转换后的第二彩色原始图像及所述第二全色原始图像进行融合算法处理，以获得仅包含第二彩色中间图像数据的第二彩色中间图像；及
对所述第一彩色中间图像及所述第二彩色中间图像进行高动态融合处理，以获得所述目标图像。
20.根据权利要求14所述的高动态范围图像处理方法，其特征在于，所述对所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像、所述色彩转换后的第三彩色原始图像、所述第一全色原始图像、所述第二全色原始图像及所述第三全色原始图像进行融合算法处理及高动态融合处理，以获得所述目标图像，包括：
对所述色彩转换后的第一彩色原始图像及所述第一全色原始图像进行融合算法处理，以获得仅包含第一彩色中间图像数据的第一彩色中间图像，对所述色彩转换后的第二彩色原始图像及所述第二全色原始图像进行融合算法处理，以获得仅包含第二彩色中间图像数据的第二彩色中间图像，对所述色彩转换后的第三彩色原始图像及所述第三全色原始图像进行融合算法处理，以获得仅包含第三彩色中间图像数据的第三彩色中间图像；及
对所述第一彩色中间图像、所述第二彩色中间图像及所述第三中间图像进行高动态融合处理，以获得所述目标图像。
21.根据权利要求19或20所述的高动态范围图像处理方法，其特征在于，所述高动态范围图像处理系统包括存储模块，所述高动态范围图像处理方法还包括：
将色彩转换后的图像及全色原始图像存储至所述存储模块；
从所述存储模块获取色彩转换后的图像及全色原始图像，并将色彩转换后的所述图像及所述全色原始图像进行融合算法处理，以获得融合后的彩色中间图像；和/或
将融合后的所述彩色中间图像存储至所述存储模块；
从所述存储模块获取融合后的所述彩色中间图像，并对所述彩色中间图像进行高动态范围图像处理，以获得所述目标图像。
22.根据权利要求13所述的高动态范围图像处理方法，其特征在于，所述高动态范围图像处理方法还包括：
对所述第一彩色原始图像进行第一图像预处理以获取预处理后的第一彩色原始图像；
对所述第二彩色原始图像进行第一图像预处理以获取预处理后的第二彩色原始图像；
对所述第一全色原始图像进行第二图像预处理以获取预处理后的第一全色原始图像；及
对所述第二全色原始图像进行第二图像预处理以获取预处理后的第二全色原始图像；
所述对多个所述第一彩色原始图像数据排列形成的第一彩色原始图像、及多个所述第二彩色原始图像数据排列形成的第二彩色原始图像进行色彩转换处理以获得色彩转换后的第一彩色原始图像及色彩转换后的第二彩色原始图像，包括：
对所述预处理后的第一彩色原始图像及所述预处理后的第二彩色原始图像进行色彩转换处理以获得所述色彩转换后的第一彩色原始图像及所述色彩转换后的第二彩色原始图像。
23.根据权利要求14所述的高动态范围图像处理方法，其特征在于，所述高动态范围图像处理方法还包括：
对所述第一彩色原始图像进行第一图像预处理以获取预处理后的第一彩色原始图像；
对所述第二彩色原始图像进行第一图像预处理以获取预处理后的第二彩色原始图像；
对所述第三彩色原始图像进行第一图像预处理以获取预处理后的第三彩色原始图像；
对所述第一全色原始图像进行第二图像预处理以获取预处理后的第一全色原始图像；
对所述第二全色原始图像进行第二图像预处理以获取预处理后的第二全色原始图像；及
对所述第三全色原始图像进行第二图像预处理以获取预处理后的第三全色原始图像；
所述对多个所述第三彩色原始图像数据排列形成的第三彩色原始图像行色彩转换处理以获得色彩转换后的第一彩色原始图像及色彩转换后的第三彩色原始图像，包括：
对所述预处理后的第一彩色原始图像、所述预处理后的第二彩色原始图像及所述预处理后的第三彩色中间图像进行色彩转换处理以获得所述色彩转换后的第一彩色原始图像、所述色彩转换后的第二彩色原始图像及所述色彩转换后的第三彩色原始图像。
24.根据权利要求20或21所述的高动态范围图像处理方法，其特征在于，
所述第一图像预处理包括黑电平校正、镜头阴影校正和坏点补偿中的至少一种；
所述第二图像预处理包括黑电平校正、镜头阴影校正、坏点补偿和全局色调映射中的至少一种。
25.一种电子设备其特征在于，包括：
镜头；
壳体；及
权利要求1至12任意一项所述的高动态范围图像处理系统，所述镜头、所述高动态范围图像处理系统与所述壳体结合，所述镜头与所述高动态范围图像处理系统的图像传感器配合成像。
26.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行权利要求13至24任意一项所述的高动态范围图像处理方法。
CN202010823776.9A 2020-08-17 2020-08-17 高动态范围图像处理系统及方法、电子设备和可读存储介质 Active CN111970460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010823776.9A CN111970460B (zh) 2020-08-17 2020-08-17 高动态范围图像处理系统及方法、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010823776.9A CN111970460B (zh) 2020-08-17 2020-08-17 高动态范围图像处理系统及方法、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111970460A true CN111970460A (zh) 2020-11-20
CN111970460B CN111970460B (zh) 2022-05-20

Family

ID=73388117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010823776.9A Active CN111970460B (zh) 2020-08-17 2020-08-17 高动态范围图像处理系统及方法、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111970460B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822475A (zh) * 2020-12-28 2021-05-18 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端及可读存储介质
CN115442536A (zh) * 2022-08-09 2022-12-06 荣耀终端有限公司 一种曝光参数的确定方法、装置、影像系统和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431691A (zh) * 2008-12-04 2009-05-13 浙江大学 高动态范围图像的快速并行压缩方法
CN107071233A (zh) * 2015-12-15 2017-08-18 汤姆逊许可公司 校正光场照相机捕获的图像上引起的渐晕效应的方法和设备
CN111432099A (zh) * 2020-03-30 2020-07-17 Oppo广东移动通信有限公司 图像传感器、处理系统及方法、电子设备和存储介质
CN111479071A (zh) * 2020-04-03 2020-07-31 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111491110A (zh) * 2020-04-17 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质
CN111491111A (zh) * 2020-04-20 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431691A (zh) * 2008-12-04 2009-05-13 浙江大学 高动态范围图像的快速并行压缩方法
CN107071233A (zh) * 2015-12-15 2017-08-18 汤姆逊许可公司 校正光场照相机捕获的图像上引起的渐晕效应的方法和设备
CN111432099A (zh) * 2020-03-30 2020-07-17 Oppo广东移动通信有限公司 图像传感器、处理系统及方法、电子设备和存储介质
CN111479071A (zh) * 2020-04-03 2020-07-31 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111491110A (zh) * 2020-04-17 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质
CN111491111A (zh) * 2020-04-20 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822475A (zh) * 2020-12-28 2021-05-18 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端及可读存储介质
CN112822475B (zh) * 2020-12-28 2023-03-14 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端及可读存储介质
CN115442536A (zh) * 2022-08-09 2022-12-06 荣耀终端有限公司 一种曝光参数的确定方法、装置、影像系统和电子设备

Also Published As

Publication number Publication date
CN111970460B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN111432099B (zh) 图像传感器、处理系统及方法、电子设备和存储介质
CN111491111B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111491110B (zh) 高动态范围图像处理系统及方法、电子设备和存储介质
CN111405204B (zh) 图像获取方法、成像装置、电子设备及可读存储介质
CN111479071B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111586375B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111757006B (zh) 图像获取方法、摄像头组件及移动终端
CN111314592B (zh) 图像处理方法、摄像头组件及移动终端
CN111385543B (zh) 图像传感器、摄像头组件、移动终端及图像获取方法
CN112261391A (zh) 图像处理方法、摄像头组件及移动终端
CN111741221B (zh) 图像获取方法、摄像头组件及移动终端
CN111970460B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN112738493B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN111970461B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111970459B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111835971B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN112822475B (zh) 图像处理方法、图像处理装置、终端及可读存储介质
CN114073068B (zh) 图像采集方法、摄像头组件及移动终端
CN112351172B (zh) 图像处理方法、摄像头组件及移动终端
CN112738494B (zh) 图像处理方法、图像处理系统、终端设备及可读存储介质
US20220279108A1 (en) Image sensor and mobile terminal
CN112235485B (zh) 图像传感器、图像处理方法、成像装置、终端及可读存储介质
CN114342362A (zh) 图像传感器、摄像头模组、移动终端及图像采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant