CN112702543B - 图像处理方法、图像处理系统、电子设备及可读存储介质 - Google Patents

图像处理方法、图像处理系统、电子设备及可读存储介质 Download PDF

Info

Publication number
CN112702543B
CN112702543B CN202011582503.6A CN202011582503A CN112702543B CN 112702543 B CN112702543 B CN 112702543B CN 202011582503 A CN202011582503 A CN 202011582503A CN 112702543 B CN112702543 B CN 112702543B
Authority
CN
China
Prior art keywords
image
color
pixel
pixels
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011582503.6A
Other languages
English (en)
Other versions
CN112702543A (zh
Inventor
杨鑫
李小涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011582503.6A priority Critical patent/CN112702543B/zh
Priority to EP21912521.8A priority patent/EP4270931A4/en
Priority to PCT/CN2021/075315 priority patent/WO2022141743A1/zh
Publication of CN112702543A publication Critical patent/CN112702543A/zh
Application granted granted Critical
Publication of CN112702543B publication Critical patent/CN112702543B/zh
Priority to US18/341,509 priority patent/US20230334818A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开了一种图像处理方法、图像处理系统、电子设备及可读存储介质。图像传感器包括像素阵列，像素阵列包括多个全色感光像素及多个彩色感光像素；图像处理方法包括：获取像素阵列曝光得到的原始图像；根据同一个子单元内的所有彩色图像像素获取彩色图像，并根据同一个子单元内的所有全色图像像素获取全色图像，彩色图像中的图像像素呈拜耳阵列排布；及根据全色图像对彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，其中，第一颜色目标图像中的所有图像像素均为第一颜色图像像素，第二颜色目标图像中的所有图像像素均为第二颜色图像像素，第三颜色目标图像中的所有图像像素均为第三颜色图像像素。

Description

图像处理方法、图像处理系统、电子设备及可读存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理系统、电子设备及可读存储介质。
背景技术
手机等电子设备中可以设置有摄像头以实现拍照功能。摄像头内可以设置用于接收光线的图像传感器。图像传感器中可以设置有滤光片阵列。为了提高手机等电子设备获取图像的信噪比，会采用四合一像素排列的图像传感器。然而采用四合一像素排列的图像传感器曝光以binning模式输出获得以拜耳阵列排布的图像后，需要插值获得全排列图像后才能传输至图像处理器进行后续处理，如此会导致解析力下降，影响最终获得的图像效果。
发明内容
本申请实施方式提供了一种图像处理方法、图像处理系统、电子设备及计算机可读存储介质。
本申请实施方式提供一种用于图像传感器的图像处理方法。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素及多个彩色感光像素，所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，且所述第一颜色感光像素及所述第三颜色感光像素均具有比所述第二颜色感光像素更窄的光谱响应，所述像素阵列包括多个最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素；所述图像处理方法包括：获取所述像素阵列曝光得到的原始图像，所述原始图像中的图像像素包括彩色图像像素及全色图像像素；根据同一个所述子单元内的所有所述彩色图像像素获取彩色图像，并根据同一个所述子单元内的所有全色图像像素获取全色图像，所述彩色图像中的图像像素呈拜耳阵列排布；及根据所述全色图像对所述彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，其中，第一颜色目标图像中的所有图像像素均为第一颜色图像像素，第二颜色目标图像中的所有图像像素均为第二颜色图像像素，第三颜色目标图像中的所有图像像素均为第三颜色图像像素。
本申请实施方式提供一种图像处理系统。所述图像处理系统包括图像传感器及处理器。所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素及多个彩色感光像素，所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，且所述第一颜色感光像素及所述第三颜色感光像素均具有比所述第二颜色感光像素更窄的光谱响应，所述像素阵列包括多个最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素。所述处理器用于：获取所述像素阵列曝光得到的原始图像，所述原始图像中的图像像素包括彩色图像像素及全色图像像素；根据同一个所述子单元内的所有所述彩色图像像素获取彩色图像，并根据同一个所述子单元内的所有全色图像像素获取全色图像，所述彩色图像中的图像像素呈拜耳阵列排布；及根据所述全色图像对所述彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，其中，第一颜色目标图像中的所有图像像素均为第一颜色图像像素，第二颜色目标图像中的所有图像像素均为第二颜色图像像素，第三颜色目标图像中的所有图像像素均为第三颜色图像像素。
本申请实施方式提供一种电子设备。所述电子设备包括镜头、壳体及上述的图像处理系统。所述镜头、所述图像处理系统与所述壳体结合，所述镜头与所述图像处理系统的图像传感器配合成像。
本申请实施方式提供一种包含计算机程序的非易失性计算机可读存储介质。所述计算机程序被处理器执行时，使得所述处理器执行上述的图像处理方法。
本申请实施方式中的图像处理方法、图像处理系统、电子设备及计算机可读存储介质，通过对同一子单元内的所有彩色图像像素融合为呈拜耳阵列排布的彩色图像；对同一子单元内的所有全色图像像素融合为全色图像，并且直接利用全色图像与彩色图像进行融合，无需经过多次插值即可直接输出含有全色图像信息且全排列的第一颜色目标图像、第二颜色目标图像及第三颜色目标图像。如此能够提高图像的解析力和信噪比，提升了整体拍照效果。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的图像处理方法的流程示意图；
图2是本申请某些实施方式的图像处理系统的结构示意图；
图3是本申请某些实施方式的像素阵列的示意图；
图4是本申请某些实施方式的感光像素的截面示意图；
图5是本申请某些实施方式的感光像素的像素电路图；
图6至图8是本申请某些实施方式像素阵列中最小重复单元的排布示意图；
图9是本申请某些实施方式的获取彩色图像及全色图像的原理示意图；
图10是本申请某些实施方式的图像处理方法的流程示意图；
图11是本申请某些实施方式的彩色图像分离的原理示意图；
图12是本申请某些实施方式的获取第二颜色目标像素的原理示意图；
图13是本申请某些实施方式的图像处理方法的流程示意图；
图14是本申请某些实施方式的第二颜色初始图像边界复制的原理示意图；
图15是本申请某些实施方式的图像处理方法的流程示意图；
图16是本申请某些实施方式的根据第二颜色初始图像中第一窗口获取第一矩阵的原理示意图；
图17是本申请某些实施方式的图像处理方法的流程示意图；
图18是本申请某些实施方式的根据全色图像中第二窗口获取第二矩阵的原理示意图；
图19至图20是本申请某些实施方式的图像处理方法的流程示意图；
图21至图22是本申请某些实施方式的获取第二颜色目标像素的原理示意图；
图23是本申请某些实施方式的图像处理方法的流程示意图；
图24是本申请某些实施方式的获取第二颜色目标像素的原理示意图；
图25是本申请某些实施方式的图像处理方法的流程示意图；
图26是本申请某些实施方式的根据第二颜色目标图像对第一颜色初始图像进行处理以获得第一颜色目标图像的原理示意图；
图27是本申请某些实施方式的根据第二颜色目标图像对第三颜色初始图像进行处理以获得第三颜色目标图像的原理示意图；
图28至图29是本申请某些实施方式的图像处理方法的流程示意图；
图30本申请实施方式的一种电子设备的结构示意图；
图31是本申请实施方式的一种非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请参阅图1、图2及图3，本申请提供一种用于图像传感器10的图像处理方法。图像传感器10包括像素阵列11，像素阵列11包括多个全色感光像素W和多个彩色感光像素。彩色感光像素包括具有不同光谱响应的第一颜色感光像素A、第二颜色感光像素B及第三颜色光感像素C，其中彩色感光像素具有比全色光感像素W更窄的光谱响应，且第一颜色感光像素A及第三颜色感光像素C具有比第二颜色感光像素B更窄的光谱响应。像素阵列11包括多个最小重复单元，每个最小重复单元包含多个子单元，每个子单元包括至少一个单颜色感光像素及至少一个全色感光像素W。图像处理方法包括：
01：获取像素阵列11曝光得到的原始图像，原始图像中的图像像素包括彩色图像像素及全色图像像素；
02：根据同一个子单元内的所有彩色图像像素获取彩色图像，并根据同一个子单元内的所有全色图像像素获取全色图像，彩色图像中的图像像素呈拜耳阵列排布；及
03：根据全色图像对彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，其中，第一颜色目标图像中的所有图像像素均为第一颜色图像像素，第二颜色目标图像中的所有图像像素均为第二颜色图像像素，第三颜色目标图像中的所有图像像素均为第三颜色图像像素。
请结合图1及图2，本申请还提供一种图像处理系统100。图像处理系统100包括图像传感器10及处理器20。图像传感器10包括像素阵列11(图3所示)，像素阵列11包括多个全色感光像素W和多个彩色感光像素。彩色感光像素包括具有不同光谱响应的第一颜色感光像素A、第二颜色感光像素B及第三颜色感光像素C，彩色感光像素具有比全色感光像素W更窄的光谱响应，且第一颜色感光像素A及第三颜色感光像素C均具有比第二颜色感光像素B更窄的光谱响应。像素阵列11包括多个最小重复单元，每个最小重复单元包含多个子单元，每个子单元包括至少一个单颜色感光像素及至少一个全色感光像素W。步骤01、步骤02及步骤03均由处理器20实现。也即是说，处理器20用于获取像素阵列曝光得到的原始图像，原始图像中的图像像素包括彩色图像像素及全色图像像素；根据同一个子单元内的所有彩色图像像素获取彩色图像，并根据同一个子单元内的所有全色图像像素W获取全色图像，彩色图像中的图像像素呈拜耳阵列排布；及根据全色图像对彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，其中，第一颜色目标图像中的所有图像像素均为第一颜色图像像素A，第二颜色目标图像中的所有图像像素均为第二颜色图像像素B，第三颜色目标图像中的所有图像像素均为第三颜色图像像素C。
本申请实施方式中的图像处理方法及图像处理系统100通过对同一子单元内的所有彩色图像像素融合为呈拜耳阵列排布的彩色图像；对同一子单元内的所有全色图像像素W融合为全色图像，并且直接利用全色图像与彩色图像进行融合，能够直接输出含有全色图像信息且全排列的第一颜色目标图像、第二颜色目标图像及第三颜色目标图像。如此能够提高图像的解析力和信噪比，提升了整体拍照效果。
图3是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。
例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。
例如，像素阵列11包括以阵列形式二维排列(即二维矩阵形式排布)的多个感光像素110(图4所示)，每个感光像素110包括光电转换元件1111(图5所示)。每个感光像素110根据入射在其上的光的强度将光转换为电荷。
例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位感光像素110，从这些单位感光像素110逐行地读取信号。例如，被选择并被扫描的感光像素行中的每一感光像素110输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件的光电荷被丢弃，从而可以开始新的光电荷的积累。
例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选感光像素行中的每一感光像素110输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的感光像素110的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。
例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一感光像素列被列处理单元14顺序地处理，并且被顺序输出。
例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。
图4是本申请实施方式中一种感光像素110的示意图。感光像素110包括像素电路111、滤光片112、及微透镜113。沿感光像素110的收光方向，微透镜113、滤光片112、及像素电路111依次设置。微透镜113用于汇聚光线，滤光片112用于供某一波段的光线通过并过滤掉其余波段的光线。像素电路111用于将接收到的光线转换为电信号，并将生成的电信号提供给图3所示的列处理单元14。
图5是本申请实施方式中一种感光像素110的像素电路111的示意图。图5中像素电路111可应用在图3所示的像素阵列11内的每个感光像素110(图4所示)中。下面结合图3至图5对像素电路111的工作原理进行说明。
如图5所示，像素电路111包括光电转换元件1111(例如，光电二极管)、曝光控制电路(例如，转移晶体管1112)、复位电路(例如，复位晶体管1113)、放大电路(例如，放大晶体管1114)和选择电路(例如，选择晶体管1115)。在本申请的实施例中，转移晶体管1112、复位晶体管1113、放大晶体管1114和选择晶体管1115例如是MOS管，但不限于此。
例如，光电转换元件1111包括光电二极管，光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路(例如，转移晶体管1112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管1114的栅极、复位晶体管1113的源极连接。
例如，曝光控制电路为转移晶体管1112，曝光控制电路的控制端TG为转移晶体管1112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管1112的栅极时，转移晶体管1112导通。转移晶体管1112将光电二极管光电转换的电荷传输到浮动扩散单元FD。
例如，复位晶体管1113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。
例如，放大晶体管1114的栅极连接到浮动扩散单元FD。放大晶体管1114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管1113复位之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管1112转移之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出信号电平。
例如，选择晶体管1115的漏极连接到放大晶体管1114的源极。选择晶体管1115的源极通过输出端OUT连接到图3中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管1115的栅极时，选择晶体管1115导通。放大晶体管1114输出的信号通过选择晶体管1115传输到列处理单元14。
需要说明的是，本申请实施例中像素电路111的像素结构并不限于图5所示的结构。例如，像素电路111也可以具有三晶体管像素结构，其中放大晶体管1114和选择晶体管1115的功能由一个晶体管完成。例如，曝光控制电路也不局限于单个转移晶体管1112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，本申请实施方式中的单个转移晶体管1112的实施方式简单、成本低、易于控制。
图6至图8是本申请某些实施方式的像素阵列11(图3所示)中的感光像素110(图4所示)的排布示意图。感光像素110包括两类，一类为全色感光像素W，另一类为彩色感光像素。对图6至图8所示的最小重复单元在行和列上多次复制，即可形成像素阵列11。每个最小重复单元均由多个全色感光像素W和多个彩色感光像素组成。每个最小重复单元包括多个子单元。每个子单元内包括多个单颜色感光像素和多个全色感光像素W。
具体地，例如，图6为本申请一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。
其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。排布方式为：
Figure BDA0002866212910000041
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图6所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。
例如，如图6所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1(例如图6中左上角和右下角连接的方向)，两个第二类子单元UB设置在第二对角线方向D2(例如图6中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
需要说明的是，在其他实施方式中，第一对角线方向D1也可以是右上角和左下角连接的方向，第二对角线方向D2也可以是左上角和右下角连接的方向。另外，这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。下文图7及图8中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。
再例如，图7为本申请另一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中，最小重复单元为6行6列36个感光像素110，子单元为3行3列9个感光像素110。排布方式为：
Figure BDA0002866212910000051
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图7所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。
例如，如图7所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，图8为本申请又一个实施例的最小重复单元中感光像素110(图4所示)的排布示意图。其中，最小重复单元为8行8列64个感光像素110，子单元为4行4列16个感光像素110。排布方式为：
Figure BDA0002866212910000052
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
例如，如图8所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。
例如，如图8所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
例如，如图6至图8所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为绿色感光像素G；第三颜色感光像素C可以为蓝色感光像素Bu。
例如，如图6至图8所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为黄色感光像素Y；第三颜色感光像素C可以为蓝色感光像素Bu。
例如，如图6至图8所示的最小重复单元中，第一颜色感光像素A可以为品红色感光像素M；第二颜色感光像素B可以为青色感光像素Cy；第三颜色感光像素C可以为黄色感光像素Y。
需要说明的是，在一些实施例中，全色感光像素W的响应波段可为可见光波段(例如，400nm-760nm)。例如，全色感光像素W上设置有红外滤光片，以实现红外光的滤除。在另一些实施例中，全色感光像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10(图3所示)中的光电转换元件1111(图5所示)的响应波段相匹配。例如，全色感光像素W可以不设置滤光片或者设置可供所有波段的光线通过的滤光片，全色感光像素W的响应波段由光电转换元件1111的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
为了方便说明，以下实施例均以第一颜色感光像素为红色感光像素R；第二颜色感光像素B为绿色感光像素G；第三颜色感光像素C为蓝色感光像素Bu进行说明。
请参阅图9，在某些实施方式中，处理器20获取像素阵列11曝光得到原始图像，原始图像中包括彩色图像像素及全色图像像素W。在某些实施方式中，处理器20根据同一子单元内的所有彩色图像像素获取彩色图像，根据同一子单元内的所有的全色图像像素获取全色图像。
示例地，请参阅图9，假设像素阵列11(图3所示)曝光后生成的原始图像包括16*16个图像像素，其中彩色图像像素P1(1，1)、彩色图像像素P1(2，2)、全色图像像素P1(1，2)及全色图像像素P1(2，1)构成子单元U1；彩色图像像素P1(1，3)、彩色图像像素P1(2，4)、全色图像像素P1(1，4)及全色图像像素P1(2，3)构成子单元U2；彩色图像像素P1(1，5)、彩色图像像素P1(2，6)、全色图像像素P1(1，6)及全色图像像素P1(2，5)构成子单元U3；彩色图像像素P1(1，7)、彩色图像像素P1(2，8)、全色图像像素P1(1，8)及全色图像像素P1(2，7)构成子单元U4，彩色图像像素P1(1，9)、彩色图像像素P1(2，10)、全色图像像素P1(1，10)及全色图像像素P1(2，11)构成子单元U5；彩色图像像素P1(1，11)、彩色图像像素P1(2，12)、全色图像像素P1(1，12)及全色图像像素P1(2，11)构成子单元U6；彩色图像像素P1(1，13)、彩色图像像素P1(2，14)、全色图像像素P1(1，14)及全色图像像素P1(2，13)构成子单元U7；彩色图像像素P1(1，15)、彩色图像像素P1(2，16)、全色图像像素P1(1，16)及全色图像像素P1(2，15)构成子单元U8，子单元U1、子单元U2、子单元U3、子单元U4、子单元U5、子单元U6、子单元U7、子单元U8位于同一行。
处理器20将子单元U1中的彩色图像像素P1(1，1)及彩色图像像素P1(2，2)的像素值的均值作为融合后的彩色图像像素P2(1，1)的像素值，该融合后的彩色图像像素P2(1，1)位于彩色图像的第1行第1列；随后，处理器20将子单元U2中的彩色图像像素P1(1，3)及彩色图像像素P1(2，4)的像素值的均值作为融合后的彩色图像像素P2(1，2)的像素值，该融合后的彩色图像像素P2(1，2)位于彩色图像的第1行第2列；随后，处理器20将子单元U3中的彩色图像像素P1(1，5)及彩色图像像素P1(2，6)的像素值的均值作为融合后的彩色图像像素P2(1，3)的像素值，该融合后的彩色图像像素P2(1，3)位于彩色图像的第1行第3列；随后，处理器20将子单元U4中的彩色图像像素P1(1，7)及彩色图像像素P1(2，8)的像素值的均值作为融合后的彩色图像像素P2(1，4)的像素值，该融合后的彩色图像像素P2(1，4)位于彩色图像的第1行第4列；随后，处理器20将子单元U5中的彩色图像像素P1(1，9)及彩色图像像素P1(2，10)的像素值的均值作为融合后的彩色图像像素P2(1，5)的像素值，该融合后的彩色图像像素P2(1，5)位于彩色图像的第1行第5列；随后，处理器20将子单元U6中的彩色图像像素P1(1，11)及彩色图像像素P1(2，12)的像素值的均值作为融合后的彩色图像像素P2(1，6)的像素值，该融合后的彩色图像像素P2(1，6)位于彩色图像的第1行第6列；随后，处理器20将子单元U7中的彩色图像像素P1(1，13)及彩色图像像素P1(2，14)的像素值的均值作为融合后的彩色图像像素P2(1，7)的像素值，该融合后的彩色图像像素P2(1，7)位于彩色图像的第1行第7列；随后，处理器20将子单元U8中的彩色图像像素P1(1，15)、彩色图像像素P1(2，16)的像素值的均值作为融合后的彩色图像像素P2(1，8)的像素值，该融合后的彩色图像像素P2(1，8)位于彩色图像的第1行第8列。至此，处理器20已经将原始图像中处于第一行的多个子单元的彩色图像像素融合完毕。随后，处理器20再对处于第二行的多个子单元对应的多个彩色图像像素融合以获得对应的融合后的彩色图像像素，处于第二行的多个子单元对应的多个彩色图像像素融合以获得对应的融合后的彩色图像像素的具体方式与处于第一行的多个子单元对应的多个彩色图像像素融合以获得对应的融合后的彩色图像像素的具体方式相同，在此不再赘述。以此类推，直至处理器20将原始图像中处于第八行的多个子单元的彩色图像像素融合完毕。如此，同一个子单元内的所有彩色图像像素融合以获得融合后的彩色图像像素，多个融合后的彩色图像像素排列形成彩色图像。在彩色图像中的彩色图像像素呈拜耳阵列排布。当然，处理器20也可以同时将多个子单元中的彩色图像像素求均值以获得多个融合后的彩色图像像素，再将多个融合后的彩色图像像素排列生成彩色图像，在此不作限制。
由于彩色图像中的融合后的彩色图像像素是由原始图像中同一个子单元内的所有彩色图像像素求均值获得的，即原始图像中同一个子单元内的所有彩色图像像素的均值作为彩色图像中的融合后的彩色图像像素，如此，获得的彩色图像具有比原始图像更大的动态范围，从而能够扩展利用彩色图像做后续处理后获得的彩色图像的动态范围。
同样地，请参阅图9，处理器20根据同一子单元内的所有的全色图像像素获取全色图像。处理器20根据同一子单元内的所有的全色图像像素获取全色图像的具体实施方式，与处理器20根据同一子单元内的所有彩色图像像素获取彩色图像的具体实施方式相同，在此不作赘述。
请参阅图10，在某些实施方式中，图像处理方法还包括：
04：对彩色图像中的第一颜色图像像素A、第二颜色图像像素B、及第三颜色图像像素C进行分离处理以获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像。
请结合图2及图10，步骤04可以由处理器20实现。也即是说，处理器20还用于对彩色图像中的第一颜色图像像素A、第二颜色图像像素B、及第三颜色图像像素C进行分离处理以获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像。
具体地，请参阅图11，处理器20在获取到彩色图像后，处理器20对彩色图像中的第一颜色图像像素A、第二颜色图像像素B及第三颜色图像像素C进行分离处理，获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像。其中，第一颜色初始图像中的图像像素包括第一颜色图像像素A及空像素N；第二颜色初始图像中的图像像素包括第二颜色图像像素B及空像素N；第三颜色初始图像中的图像像素包括第三颜色图像像素C及空像素N。
以下以获取第一颜色初始图像为例进行说明，处理器20再获取到彩色图像后，处理器20抽取彩色图像中的第一颜色图像像素A并将抽取的第一颜色图像像素A设置在第一颜色初始图像的对应位置。例如，处理器20抽取第一颜色图像像素A位于彩色图像的第1行第1列，则处理器20将该第一颜色图像像素A设置在第一颜色初始图像的第1行第1列，随后处理器20再在彩色图像中抽取下一个第一颜色图像像素A，并重复以上步骤直至彩色图像中的所有第一颜色图像像素A均被抽取过一次。处理器20再在第一颜色初始图像中没有设置第一颜色图像像素A的位置上均为空像素N。需要说明的是，空像素N(NULL)既不为全色像素，也不为彩色像素，第一颜色初始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素N的像素值视为零。处理器20获取第二颜色初始图像及第三颜色初始图像的具体实施方式与获取第一颜色初始图像的具体实施方式相同，就不再一一举例说明。
处理器20在获取到第一颜色初始图像、第二颜色初始图像及第三颜色初始图像后，请参阅图1及图10，在某些实施例中，步骤03：根据全色图像对彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，包括：
031：若全色图像中与第二颜色初始图像中待更新的图像像素D0对应的全色图像像素W0未过曝，则根据全色图像及第二颜色初始图像计算待更新的图像像素D0更新后的像素值并作为第二颜色像素目标像素值；及若全色图像中与第二颜色初始图像中待更新的图像像素D0对应的全色图像像素W0过曝，则根据第一颜色初始图像与第二颜色初始图像、或根据第三颜色初始图像与第二颜色初始图像计算待更新的图像像素D0更新后的像素值并作为第二颜色像素目标像素值；直至获取到第二颜色初始图像中所有图像像素B对应的第二颜色像素目标像素值，以获取第二颜色目标图像；
032：处理第二颜色目标图像及第一颜色初始图像以获取第一颜色目标图像，及处理第二颜色目标图像及第三颜色初始图像以获取第三颜色目标图像。
请结合图2及图10，步骤031及步骤031均由处理器20实现。也即是说，处理器20还用于若全色图像中与第二颜色初始图像中待更新的图像像素D0对应的全色图像像素W未过曝，则根据全色图像及第二颜色初始图像计算待更新的图像像素D0更新后的像素值并作为第二颜色像素目标像素值；及若全色图像中与第二颜色初始图像中待更新的图像像素D0对应的全色图像像W素过曝，则根据第一颜色初始图像与第二颜色初始图像、或根据第三颜色初始图像与第二颜色初始图像计算待更新的图像像素D0更新后的像素值并作为第二颜色像素目标像素值；直至获取到第二颜色初始图像中所有图像像素对应的第二颜色像素目标像素值，以获取第二颜色目标图像；和处理第二颜色目标图像及第一颜色初始图像以获取第一颜色目标图像，及处理第二颜色目标图像及第三颜色初始图像以获取第三颜色目标图像。
处理器20在获取到第一颜色初始图像、第二颜色初始图像及第三颜色初始图像后，处理器20根据全色图像或第一颜色初始图像及第三颜色初始图像对第二颜色初始图像中的每个图像像素进行处理以获取每个图像像素对应的第二颜色像素目标像素值，多个第二颜色像素目标像素值排列形成第二颜色目标图像。
在一些实施例中，处理器20任意抽取第二颜色初始图像中任意一个图像像素作为待更新的图像像素D0，处理器20首先判断全色图像中与第二颜色初始图像中待更新的图像像素D0对应的全色图像像素W0是否过曝，若对应的全色图像像素W0是未过曝，则根据全色图像对第二颜色初始图像进行处理以获得待更新的图像像素D0对应的第二颜色像素目标像素值；若对应的全色图像像素W0是过曝，则根据第一颜色初始图像及第三颜色初始图像对第二颜色初始图像进行处理以获得待更新的图像像素D0对应的第二颜色像素目标像素值。随后，处理器20在第二颜色初始图像中抽取下一个图像像素作为待更新的图像像素D0进行处理，循环上述步骤直至对第二颜色初始图像中所有图像像素都被进行处理。此时，处理器20能够获得第二颜色初始图像中每个图像像素对应的第二颜色像素目标像素值，多个第二颜色像素目标像素值排列形成第二颜色目标图像。当然，处理器20也可以按照一定循序抽取第二颜色初始图像中的图像像素，例如处理器20先抽取位于第二颜色初始图像左上角的第一个图像像素进行处理后，再抽取下一个图像像素进行处理，直至处理完该行图像像素后再对第二颜色初始图像下一行的图像像素进行处理，在此不作限制。
具体地，处理器20首先判断全色图像中与第二颜色初始图像中待更新的图像像素D0对应的全色图像像素W0是否过曝。例如，请参阅图12，待更新的图像像素D0位于第二颜色初始图像的第3行第4列，则判断位于全色图像的第3行第4列的全色像素W0的像素值是否大预设值，若该全色像素W0的像素值大于预设值则可以认为该全色像素W0过曝；若该全色像素W0的像素值小于预设值则可以认为该全色像素W0未过曝，若该全色像素W0的像素值等于预设值则既可以认为该全色像素W0过曝也可以认为该全色像素W0未过曝。当然，在其他实施例中也可以采用其他方式判断与第二颜色初始图像中待更新的图像像素D0对应的全色图像像素W0是否过曝，在此不再一一例举。
若全色图像中与第二颜色初始图像中待更新的图像像素D0对应的全色图像像素W0未过曝，则根据全色图像及第二颜色初始图像计算待更新的图像像素D0更新后的像素值并作为第二颜色像素目标像素值。示例地，请参阅图10及图13，在某些实施例中，第二颜色初始图像中的图像像素包括第二颜色图像像素B及空像素N，空像素N的像素值为零。根据全色图像及第二颜色初始图像计算待更新的图像像素D0更新后的像素并作为第二颜色像素目标像素值，包括：
0311：在第二颜色初始图像中选取以待更新的图像像素D0为中心的第一窗口C1，并在全色图像中选取与第一窗口C1对应的第二窗口C2，第二窗口C2中心处的全色图像像素W0与待更新的图像像素D0对应并定义为映射的全色图像像素W0；
0312：根据第一窗口C1中所有图像像素的像素信息获取第一矩阵I1；
0313：根据映射的全色图像像素W0的像素值、第二窗口C2中所有全色图像像素W的像素值、第一矩阵I1及预设的权重函数F(x)获取第二矩阵I2；及
0314：根据映射的全色图像像素W0的像素值、第一窗口C1中所有图像像素的像素值、第二窗口C2中所有全色图像像素W的像素值、第二矩阵I2，获取待更新的图像像素D0更新后的第二颜色像素目标像素值。
请结合图2、图10及图13，步骤0311、步骤0312、步骤0313及步骤0314均可以由处理器20实现。也即是说，处理器20还用于在第二颜色初始图像中选取以待更新的图像像素D0为中心的第一窗口C1，并在全色图像中选取与第一窗口C1对应的第二窗口C2，第二窗口C2中心处的全色图像像素W0与待更新的图像像素D0对应并定义为映射的全色图像像素W0；根据第一窗口C1中所有图像像素的像素信息获取第一矩阵I1；根据映射的全色图像像素W0的像素值、第二窗口C2中所有全色图像像素W的像素值、第一矩阵I1及预设的权重函数F(x)获取第二矩阵I2；及根据映射的全色图像像素W0的像素值、第一窗口C1中所有图像像素的像素值、第二窗口C2中所有全色图像像素W的像素值、第二矩阵I2，获取待更新的图像像素D0更新后的第二颜色像素目标像素值。
请参阅图12，若全色图像中与第二颜色初始图像中待更新的图像像素D0对应的全色图像像素W0未过曝，处理器20在第二颜色初始图像中选取一待更新的图像像素D0为中心的第一窗口C1，并在全色图像中选取与第一窗口C1对应的第二窗口C2，第二窗口C2中心处的全色图像像素W与待更新的图像像素D0对应并定义为映射的全色图像像素W0。例如，待更新的图像像素D0在第二颜色初始图像中位于第3行第4列，则与待更新的图像像素D0对应的全色图像像素W位于全色图像的第3行第4列，即映射的全色图像像素W0位于全色图像的第3行第4列，且待更新的图像像素D0位于第一窗口C1的中心位置，映射的全色图像像素W0位于第二窗口C2的中心位置。
需要说明的是，第一窗口C1及第二窗口C2是虚拟的计算窗口，并不是实际存在的结构；并且第一窗口C1及第二窗口C2的大小可以根据实际需要任意更改，在一些实施例中，第一窗口C1与第二窗口C2中的图像像素均呈M*M排列，M为奇数，例如M可以是3、5、7、9等，对应的第一窗口C1及第二窗口C2可以是3*3、5*5、7*7或9*9等，在此不做限制。为了方便说明，以下实施例均以第一窗口C1及第二窗口C2均为5*5大小进行说明。
在一些实施例中，若待更新的图像像素D0位于第二颜色初始图像的边缘位置，即以待更新的图像像素D0为中心设置第一窗口C1时，第一窗口C1会有部分设置在第二颜色初始图像之外。此时，可以通过复制图像边界像素，以使以待更新的图像像素D0为中心设置的第一窗口C1内均设置有第二颜色初始图像中的图像像素。例如，如图14所示，待更新的图像像素D0位于第二颜色初始图像的第3行第2列，此时若以该待更新的图像像素D0为中心设置第一窗口C1，第一窗口C1会有部分设置在第二颜色初始图像之外。可以通过复制图像边界像素，即复制图像第1列的图像像素，从而使以该待更新的图像像素D0为中心设置第一窗口C1内均设置有第二颜色初始图像中的图像像素。同样地，若待更新的图像像素D0位于第二颜色初始图像的边缘位置，即映射的全像图像像素W0也位于全色图像的边缘位置，此时也需要复制边缘像素后再设置第二窗口C2，具体实施方式与复制第二颜色初始图像边缘像素后再设置第一窗口C1的具体实施方式相同，在此不做赘述。
处理器20在第二颜色初始图像中设置第一窗口C1及在全色图像中设置第二窗口C2后，处理器20根据第一窗口C1中所有图像像素的像素信息获取第一矩阵I1。具体地，请参阅图13及图15，在某些实施例中，步骤0312：根据第一窗口中所有图像像素的像素信息获取第一矩阵，包括：
03121：将第一窗口C1中图像像素的阵列排布映射为第一矩阵I1的阵列排布；
03122：将第一矩阵I1中与第一窗口C1中空像素N对应位置的取值记为第一数值；及
03123：将第一矩阵I1中与第一窗口C1中第二颜色图像像素B对应位置的取值记为第二数值。
请结合图2及图15，步骤03121、步骤03122及步骤03123均可以由处理器20实现。也即是说，处理器20还用于将第一窗口C1中图像像素的阵列排布映射为第一矩阵I1的阵列排布；将第一矩阵I1中与第一窗口C1中空像素N对应位置的取值记为第一数值；及将第一矩阵I1中与第一窗口C1中第二颜色图像像素B对应位置的取值记为第二数值。
请参阅图16，处理器20将第一窗口C1中的图像像素的阵列排布映射为第一矩阵I1的阵列排布，即第一矩阵I1中元素的行数与第一窗口C1中图像像素的行数相同，且第一矩阵I1中元素的列数与第一窗口C1中图像像素的列数相同，第一窗口C1中任意一个图像像素在第一矩阵I1中都有一个元素与其对应。处理器20在获得第一矩阵I1后，将第一矩阵11中与第一窗口C1中与空N对应位置的取值记为第一数值，将第一矩阵I1中与第一窗口C1中第二颜色图像像素B对应位置的取值记为第二数值。在一些实施例中，第一数值为0、第二数值为1。也即是说，处理器20将第一矩阵11中与第一窗口C1中与空N对应位置的取值记为0，将第一矩阵I1中与第一窗口C1中第二颜色图像像素B对应位置的取值记为1。例如，第一窗口C1内有5*5的图像像素，则第一矩阵I1也为5*5的矩阵阵列。其中，在第一矩阵I1中，元素X11、X13、X15、X22、X24、X31、X33、X35、X42、X44、X51、X53、X55是与第一窗口C1中空像素N对应的位置，元素X12、X14、X21、X23、X25、X32、X34、X41、X43、X45、X52、X54是与第一窗口C1中空像素N对应的位置；则处理器20将X11、X13、X15、X22、X24、X31、X33、X35、X42、X44、X51、X53、X55的取值均记为0，将X12、X14、X21、X23、X25、X32、X34、X41、X43、X45、X52、X54的取值记为1，以此获得第一矩阵I1。
请参阅图13及图17，在一些实施例中，步骤0313：根据映射的全色图像像素W0的像素值、第二窗口C2中所有全色图像像素W的像素值、第一矩阵I1及预设的权重函数F(x)获取第二矩阵I2，包括：
03131：将第二窗口C2中图像像素的阵列排布映射为第二矩阵I2的阵列排布；
03132：根据第二窗口C2中每个全色图像像素W的像素值及映射的全色图像像素W0的像素值获取第二矩阵I2中与该全色图像像素W对应位置的偏差值L1；及
03133：根据偏差值L1、预设函数F(x)及第一矩阵I1中相同位置的取值，获取第二矩阵I2中对应位置的取值。
请结合图2及图17，步骤03131、步骤03132及步骤03133均可以由处理器20实现。也即是说，处理器20还用于将第二窗口C2中图像像素的阵列排布映射为第二矩阵I2的阵列排布；根据第二窗口C2中每个全色图像像素W的像素值及映射的全色图像像素W0的像素值获取第二矩阵I2中与该全色图像像素W对应位置的偏差值L1；及根据偏差值L1、预设函数F(x)及第一矩阵I1中相同位置的取值，获取第二矩阵I2中该对应位置的取值。
处理器20在获取到第一矩阵I1后，处理器20将第二窗口C2中图像像素的阵列排布映射为第二矩阵I2的阵列排布。也即是说，第二矩阵I2中元素的行数与第二窗口C2中图像像素的行数相同，且第二矩阵I2中元素的列数与第二窗口C2中图像像素的列数相同，第二窗口C2中任意一个图像像素在第二矩阵I2中都有一个元素与其对应。
处理器20根据第二窗口C2中每个全色图像像素W的像素值及映射的全色图像像素W0的像素值获取第二矩阵I2中与该全色图像像素W对应位置的偏差值L1。具体地，第二矩阵I2中与第二窗口C2中的全色图像像素W对应位置的偏差值L1，等于该全色图像像素W的像素值减去映射的全色图像像素W0的像素值。例如第二矩阵I2的第1行第2列对应的偏差值L1(1，2)，等于排列在全色图像的第1行第2列的全色图像像素W(1，2)的像素值与映射的全色图像像素W0的像素值之间差的绝对值。
处理器20在获取到第二矩阵I2中所有位置对应的偏差值L1后，处理器20根据偏差值L1、预设函数F(x)及第一矩阵I1中相同位置的取值，获取第二矩阵I2中对应位置的取值。具体地，将第二矩阵I2待计算位置对应的偏差值L1代入预设函数F(x)中进行计算得到第一结果F(L1)后，再将第一结果F(L1)乘以第一矩阵I1中相同位置的取值，以获得第二矩阵I2中对应位置的取值。例如，请参阅图18，假设要计算第二矩阵I2的第1行第2列位置Y12的取值，首先将与第二矩阵I2的第1行第2列位置对应的偏差值L1(1，2)代入预设函数F(x)中进行计算得到第一结果F(L1(1，2))，再获取第一矩阵I1中与Y12对应位置的取值，即获取位于第一矩阵I1第1行第2列的X12的取值。第二矩阵I2的第1行第2列位置Y12的取值等于第一结果F(L1(1，2))乘以第一矩阵I1中X12的取值。需要说明的是，预设函数F(x)可以是指数函数、对数函数或者幂函数，只需要满足输入值越小，输出的权重越大即可，在此不作限制。
请参阅图13及图19，在某些实施例中，步骤0314：根据映射的全色图像像素的像素值、第一窗口中所有图像像素的像素值、第二窗口中所有全色图像像素的像素值、第二矩阵，获取待更新的图像像素D0更新后的第二颜色像素目标像素值，包括：
03141：根据第一窗口C1中所有图像像素的像素值形成的第一窗口矩阵N1及第二矩阵I2计算第一加权值M1，根据第二窗口C2中所有图像像素的像素值形成的第二窗口矩阵N2及第二矩阵I2计算第二加权值M2；及
03142：根据映射的全色图像像素W0的像素值、第一加权值M1及第二加权值M2获取待更新的图像像素D0更新后的第二颜色像素目标像素值。
请结合图2及图19，步骤03141及步骤03142均可以由处理器20实现。也即是说，处理器20还用于根据第一窗口C1中所有图像像素的像素值形成的第一窗口矩阵N1及第二矩阵I2计算第一加权值M1，根据第二窗口C2中所有图像像素的像素值形成的第二窗口矩阵N2及第二矩阵I2计算第二加权值M2；及根据映射的全色图像像素W0的像素值、第一加权值M1及第二加权值M2获取待更新的图像像素D0更新后的第二颜色像素目标像素值。
处理器20在获取到第二矩阵I2后，处理器根据第一窗口C1中所有图像像素的像素值形成第一窗口矩阵N1，根据第二窗口C2中所有全色图像像素W的像素值形成第二窗口矩阵N2。需要说明的是，第一窗口矩阵N1中任意一个位置的取值都与第一窗口C1中对应位置的图像像素的像素值相同，第二窗口矩阵N2中任意一个位置的取值都与第二窗口C2中对应位置的图像像素的像素值相同。
处理器20根据第一窗口矩阵N1及第二矩阵12计算第一加权值M1。示例地，第一加权值M1可以通过计算公式M1＝sum(sum(H1×12))获得。也即是说，第一窗口C1内每个图像像素的像素值乘以第二矩阵I2内对应位置的数值后获得多个新像素值，将多个新像素相加以获得第一加权值M1。第二加权值M2可以通过计算公式M2＝sum(sum(H2×I2))获得。也即是说，第二窗口C1内每个全色图像像素W的像素值乘以第二矩阵I2内对应位置的数值后获得多个新像素值，将多个新像素相加以获得第二加权值M2。
处理器20在获取到第一加权值M1及第二加权值M2后，处理器20根据映射的全色图像像素W0的像素值、第一加权值M1及第二加权值M2获取待更新的图像像素D0更新后的第二颜色像素目标像素值。示例地，第二颜色像素目标像素值可以通过计算公式B0’＝W0’×M1/M2，其中B0’为第二颜色像素目标像素值、及W0’为映射的全色图像像素W0的像素值。也即是说，映射的全色图像像素W0的像素值乘以第一加权值M1后，再除第二加权值M2，以获得待更新的图像像素D0更新后的第二颜色像素目标像素值。
若全色图像中与第二颜色初始图像中待更新的图像像素D0对应的全色图像像素W0过曝，则根据第一颜色初始图像与第二颜色初始图像、或根据第三颜色初始图像与第二颜色初始图像计算待更新的图像像素D0更新后的像素值并作为第二颜色像素目标像素值。示例地，请参阅图10及图20，在在某些实施例中，第一颜色初始图像中的图像像素包括第一颜色图像像素A及空像素N；第三颜色初始图像中的图像像素包括第三颜色图像像素C及空像素N，空像素N的像素值为零。根据第一颜色初始图像与第二颜色初始图像、或根据第三颜色初始图像与第二颜色初始图像计算待更新的图像像素D0更新后的像素值并作为第二颜色像素目标像素值，包括：
0315：若待更新的图像像素D0为第二颜色图像像素B，则将第二颜色图像像素B的原像素值作为待更新的图像像素D0更新后的第二颜色像素目标像素值D1；
0316：若第一颜色初始图像中与待更新的图像像素D0对应的位置为第一颜色图像像素A，则根据第一颜色初始图像对第二颜色初始图像进行插值处理，以获取待更新的图像像素D0更新后的第二颜色像素目标像素值D1；
0317：若第三颜色初始图像中与待更新的图像像素D0对应的位置为第三颜色图像像素C，则根据第三颜色初始图像对第二颜色初始图像进行插值处理，以获取待更新的所图像像素D0更新后的第二颜色像素目标像素值D1。
请结合图2及图20，步骤0315、步骤0316及步骤0317均可以由处理器20实现。也即是说，处理器20还用于若待更新的图像像素D0为第二颜色图像像素B，则将第二颜色图像像素B的原像素值作为待更新的图像像素D0更新后的第二颜色像素目标像素值D1；若第一颜色初始图像中与待更新的图像像素D0对应的位置为第一颜色图像像素，则根据第一颜色初始图像对第二颜色初始图像进行插值处理，以获取待更新的图像像素D0更新后的第二颜色像素目标像素值D1；及若第三颜色初始图像中与待更新的图像像素D0对应的位置为第三颜色图像像素，则根据第三颜色初始图像对第二颜色初始图像进行插值处理，以获取待更新的所图像像素D0更新后的第二颜色像素目标像素值D1。
处理器20首先判断待更新的图像像素D0是否为第二颜色图像像素B，若待更新的图像像素D0是第二颜色图像像素B时，则将第二颜色图像像素B的原像素值作为待更新的图像像素D0更新后的第二颜色像素目标像素值D1。例如，如图21所示，位于第二颜色初始图像的第3行第2列的待更新的图像像素D0为第二颜色图像像素B，则该待更新的图像像素D0更新后的第二颜色像素目标像素值D1等于该第二颜色图像像素B的原像素值。
若待更新的图像像素D0不是第二颜色图像像素B时，即待更新的图像像素D0是空像素N时，判断第一颜色初始图像中与待更新的图像像素D0对应的位置的图像像素是否为第一颜色图像像素A，若第一颜色初始图像中与待更新的图像像素D0对应的位置的图像像素为第一颜色图像像素A，则根据第一颜色初始图像对第二颜色初始图像进行插值处理，以获取待更新的图像像素D0更新后的第二颜色像素目标像素值D1。例如，如图22所示，位于第二颜色初始图像的第5行第5列的待更新的图像像素D0为空像素N，且位于第一颜色初始图像的第5行第5列的图像像素为第一颜色图像像素A，则根据第一颜色初始图像对第二颜色初始图像进行插值处理，以获取待更新的图像像素D0更新后的第二颜色像素目标像素值D1。
在某些实施方式中，可以采用色差恒定理论利用第一颜色初始图像对待更新的图像像素D0更新后的第二颜色像素目标像素值D1。示例地，请参阅图20及图23，将第一颜色初始图像中与待更新的图像像素D0对应位置的第一颜色图像像素A定义为映射的第一颜色图像像素A0。根据第一颜色初始图像对第二颜色初始图像进行插值处理，以获取待更新的图像像素D0更新后的第二颜色像素目标像素值D1，包括：
03161：根据第二颜色初始图像中图像像素的像素值、及第一颜色初始图像中图像像素的像素值，以计算第二颜色初始图像中每一个图像像素对应的在第一方向H1的第一差值E1及在第二方向H2的第二差值E2；
03162：根据第二颜色初始图像中每一个的图像像素在第一方向H1上相邻的两个图像像素对应的第一差值E1计算与该图像像素对应的第一方向差值V1，根据第二颜色初始图像中每一个的图像像素在第二方向H2上相邻的两个图像像素对应的第二差值E2计算与该图像像素对应的第二方向差值V2；
03163：根据待更新的图像像素D0的第一方向差值V1、待更新的图像像素D0的第二方向差值V2、及其周围的图像像素的第一方向差值V1及第二方向差值V2，计算第一权重值g1、第二权重值g2、第三权重值g3及第四权重值g4；
03164：根据待更新的图像像素D0的第一方向差值V1、待更新的图像像素D0的第二方向差值V2、与待更新的图像像素D0在第一方向H1上的第一侧相邻的四个图像像素的第一方向差值V1、与待更新的图像像素D0在第一方向H1上的第二侧相邻的四个图像像素的第一方向差值V1、与待更新的图像像素D0在第二方向H2上的第一侧相邻的四个图像像素的第二方向差值V2、与待更新的图像像素D0在第二方向H2上的第二侧相邻的四个图像像素的第二方向差值V2、第一权值g1、第二权值g2、第三权值g3及第四权值g4，计算以获取总差值K；及
03165：根据映射的第一颜色图像像素A0、及与待更新的图像像素D0对应的总差值K，以获取待更新的图像像素D0对应的第二颜色像素目标像素值D1。
请结合图2及图23，步骤03161、步骤03162、步骤03163、步骤03164及步骤03165均可以由处理器20实现。也即是说，处理器20还用于根据第二颜色初始图像中图像像素的像素值、及第一颜色初始图像中图像像素的像素值，以计算第二颜色初始图像中每一个图像像素对应的在第一方向H1的第一差值E1及在第二方向H2的第二差值E2；根据第二颜色初始图像中每一个的图像像素在第一方向H1上相邻的两个图像像素对应的第一差值E1计算与该图像像素对应的第一方向差值V1，根据第二颜色初始图像中每一个的图像像素在第二方向H2上相邻的两个图像像素对应的第二差值E2计算与该图像像素对应的第二方向差值V2；根据待更新的图像像素D0的第一方向差值V1、待更新的图像像素D0的第二方向差值V2、及其周围的图像像素的第一方向差值V1及第二方向差值V2，计算第一权重值g1、第二权重值g2、第三权重值g3及第四权重值g4；根据待更新的图像像素D0的第一方向差值V1、待更新的图像像素D0的第二方向差值V2、与待更新的图像像素D0在第一方向H1上的第一侧相邻的四个图像像素的第一方向差值V1、与待更新的图像像素D0在第一方向H1上的第二侧相邻的四个图像像素的第一方向差值V1、与待更新的图像像素D0在第二方向H2上的第一侧相邻的四个图像像素的第二方向差值V2、与待更新的图像像素D0在第二方向H2上的第二侧相邻的四个图像像素的第二方向差值V2、第一权值g1、第二权值g2、第三权值g3及第四权值g4，计算以获取总差值K；及根据映射的第一颜色图像像素A0、及与待更新的图像像素D0对应的总差值K，以获取待更新的图像像素D0对应的第二颜色像素目标像素值D1。
处理器20根据第二颜色初始图像中图像像素的像素值、及第一颜色初始图像中图像像素的像素值，以计算第二颜色初始图像中每一个图像像素对应的在第一方向H1的第一差值E1及在第二方向H2的第二差值E2。需要说明的是第一方向H1和第二方向H2垂直，为了方面说明，以下实施例中均以第一方向H1为与图像像素的列平行的方向、第二方向H2为与图像像素的行平行的方向进行说明。示例地，假设待计算的图像像素位于第二颜色初始图像的第i行第j列，其对应的第一差值E1可以通过计算公式E1(i，j)＝(B(i，j-1)+B(i，j+1))/2+(2×A(i，j)-A(i，j-2)-A(i，j+2))/4-A(i，j)]获得。其中，B(i，j-1)表示位于第二颜色初始图像第i行第j-1列的图像像素的像素值、B(i，j+1)表示位于第二颜色初始图像第i行第j+1列的图像像素的像素值、A(i，j)表示位于第一颜色初始图像第i行第j列的图像像素的像素值、A(i，j-2)表示位于第一颜色初始图像第i行第j-2列的图像像素的像素值、及A(i，j+2)表示位于第一颜色初始图像第i行第j+2列的图像像素的像素值。也即是说，第一颜色初始图像上与待计算的图像像素对应的图像像素的像素值的两倍与其在第一方向H1两侧间隔的图像像素的像素值差的均值，加上待计算的图像像素在第一方向H1两侧的图像像素的像素值和的均值，减去第一颜色初始图像上与待计算的图像像素对应图像像素的像素值，以获得第一差值E1。待计算的图像像素的第二差值E2可以通过计算公式E2(i，j)＝(B(i-1，j)+B(i+1，j))/2+(2×A(i，j)-A(i-2，j)-A(i+2，j))/4-A(i，j)]获得。其中，B(i-1，j)表示位于第二颜色初始图像第i-1行第j列的图像像素的像素值、B(i+1，j)表示位于第二颜色初始图像第i+1行第j列的图像像素的像素值、A(i，j)表示位于第一颜色初始图像第i行第j列的图像像素的像素值、A(i-2，j)表示位于第一颜色初始图像第i-2行第j列的图像像素的像素值、及A(i+2，j)表示位于第一颜色初始图像第i+2行第j列的图像像素的像素值。也即是说，第一颜色初始图像上与待计算的图像像素对应的图像像素的像素值的两倍与其在第二方向H2两侧间隔的图像像素的像素值差的均值，加上待计算的图像像素在第二方向H2两侧的图像像素的像素值和的均值，减去第一颜色初始图像上与待计算的图像像素对应图像像素的像素值，以获得第二差值E2。例如，请参阅图22，待计算的图像像素位于第二颜色初始图像的第5行第5列，即需要计算位于第5行第5列图像像素的第一差值E1及第二差值E2。待计算的图像像素对应的第一差值E1可以通过计算公式E1(5，5)＝[(B(5，4)+B(5，6))/2+(2×A(5，5)-A(5，3)-A(5，7))/4-A(5，5)]获得。第二差值E2可以通过计算公式E2(5，5)＝[(B(4，5)+B(6，5))/2+(2×A(5，5)-A(3，5)-A(7，5))/4-A(5，5)]获得。
处理器20在获得第二颜色初始图像上每个图像像素对应的第一差值E1及第二差值E2后，根据第二颜色初始图像中每一个的图像像素在第一方向H1上相邻的两个图像像素对应的第一差值E1计算与该图像像素对应的第一方向差值V1，根据第二颜色初始图像中每一个的图像像素在第二方向H2上相邻的两个图像像素对应的第二差值E2计算与该图像像素对应的第二方向差值V2。示例地，假设待计算的图像像素位于第二颜色初始图像的第i行第j列，其对应的第一方向差值V1可以通过计算公式V1(i，j)＝|E1(i，j-1)-E1(i，j+1)|，其中E1(i，j-1)表示位于第二颜色初始图像上第i行第j-1列的图像像素对应的第一差值E1、及E1(i，j+1)表示位于第二颜色初始图像上第i行第j+1列的图像像素对应的第一差值E1。也即是说，待计算的图像像素的第一方向差值V1等于待计算的图像像素在第一方向H1上相邻的两个图像像素对应的第一差值E1差的绝对值。待计算的图像像素对应的第二方向差值V2可以通过计算公式V2(i，j)＝|E2(i-1，j)-E2(i+1，j)|，其中E2(i+l，j)表示位于第二颜色初始图像上第i+1行第j列的图像像素对应的第二差值E2、及E1(i，j+1)表示位于第二颜色初始图像上第i行第j+1列的图像像素对应的第二差值E2。也即是说，待计算的图像像素的第二方向差值V2等于待计算的图像像素在第二方向H2上相邻的两个图像像素对应的第二差值E2差的绝对值。
处理器20在获取到第二颜色初始图像中图像像素的第一方向差值V1及第二方向差值V2后，根据待更新的图像像素D0的第一方向差值V1、待更新的图像像素D0的第二方向差值V2、及其周围的图像像素的第一方向差值V1及第二方向差值V2，计算第一权重值g1、第二权重值g2、第三权重值g3及第四权重值g4。示例地，第一权重值g1可以通过计算公式
Figure BDA0002866212910000141
即将位于待更新的图像像素D0左侧四列且位于待更新的图像像素D0上侧两行、及位于待更新的图像像素D0上侧两行范围内的图像像素对应的第二方向差值V2求和，再用1除于该结果的平方，以获得第一权重值g1；第二权重值g2可以通过计算公式
Figure BDA0002866212910000142
即将位于待更新的图像像素D0右侧四列且位于待更新的图像像素D0上侧两行、及位于待更新的图像像素D0上侧两行范围内的图像像素对应的第二方向差值V2求和，再用1除于该结果的平方，以获得第二权重值g2；第三权重值g3可以通过计算公式
Figure BDA0002866212910000143
即将位于待更新的图像像素D0下侧四行且位于待更新的图像像素D0左侧两列、及位于待更新的图像像素D0右侧两例范围内的图像像素对应的第一方向差值V1求和，再用1除于该结果的平方，以获得第三权重值g3；及第四权重值g4可以通过计算公式
Figure BDA0002866212910000144
即将位于待更新的图像像素D0上侧四行且位于待更新的图像像素D0左侧两列、及位于待更新的图像像素D0右侧两例范围内的图像像素对应的第一方向差值V1求和，再用1除于该结果的平方，以获得第四权重值g4。
处理器20在获取到待更新图像的第一权重值g1、第二权重值g2、第三权重值g3及第四权重值g4后，处理器20根据待更新的图像像素D0的第一方向差值V1、待更新的图像像素D0的第二方向差值V2、与待更新的图像像素D0在第一方向H1上的第一侧相邻的四个图像像素的第一方向差值V1、与待更新的图像像素D0在第一方向H1上的第二侧相邻的四个图像像素的第一方向差值V1、与待更新的图像像素D0在第二方向H2上的第一侧相邻的四个图像像素的第二方向差值V2、与待更新的图像像素D0在第二方向H2上的第二侧相邻的四个图像像素的第二方向差值V2、第一权值g1、第二权值g2、第三权值g3及第四权值g4，计算以获取总差值K。示例地，根据待更新图像像素D0及其下侧相邻的4个图像像素的第二差值E2排列形成第一权重矩阵S1、根据待更新图像像素D0及其上侧相邻的4个图像像素的第二差值E2排列形成第二权重矩阵S2、根据待更新图像像素D0及其左侧相邻的4个图像像素的第一差值E1排列形成第三权重矩阵S3、根据待更新图像像素D0及其右侧相邻的4个图像像素的第一差值E1排列形成第四权重矩阵S4，总差值K可以通过计算公式K＝(g1×f×S1+g2×f×S2+g3×f’×S3+g4×f’×S4)/(g1+g+g3+g4)，其中f表示预设矩阵，f’表示预设矩阵的转置，在一些实施例中，预设矩阵f＝[11111]/5。例如，请参阅图22，假设待更新的图像像素D0位于第二颜色初始图像的第5行第5列，则第一权重矩阵
Figure BDA0002866212910000145
第二权重矩阵
Figure BDA0002866212910000151
第三权重矩阵S3＝[E1(5，1)E1(5，2)E1(5，3)E1(5，4)E1(5，5)]；第四权重矩阵S4＝[E1(5，5)E1(5，6)E1(5，7)E1(5，8)E1(5，9)]总差值
Figure BDA0002866212910000152
Figure BDA0002866212910000153
处理器20获得总差值K后，根据映射的第一颜色图像像素A0、及与待更新的图像像素D0对应的总差值K，以获取待更新的图像像素D0对应的第二颜色像素目标像素值D1。示例地，待更新的图像像素D0对应的第二颜色像素目标像素值D1等于根据映射的第一颜色图像像素A0及与待更新的图像像素D0对应的总差值K的和。当然，在一些实施例中也可以采用其他插值方式，以获得待处理图像像素D0对应的第二颜色像素目标像素值D1，在此不再一一举例。
若待更新的图像像素D0不是第二颜色图像像素B时，即待更新的图像像素D0是空像素N时，且第三颜色初始图像中与待更新的图像像素D0对应的位置的图像像素是第三图像像素C时，则根据第三颜色初始图像对第二颜色初始图像进行插值处理，以获取待更新的图像像素D0更新后的第二颜色像素目标像素值D1。例如，如图24所示，位于第二颜色初始图像的第2行第2列的待更新的图像像素D0为空像素N，且位于第三颜色初始图像的第2行第2列的图像像素为第三颜色图像像素C，则根据第三颜色初始图像对第二颜色初始图像进行插值处理，以获取待更新的图像像素D0更新后的第二颜色像素目标像素值D1。根据第三颜色初始图像对第二颜色初始图像进行插值处理的具体实施方法，与上述实施例中根据第一颜色初始图像对第二颜色初始图像进行插值处理的具体实施方法相同，在此不再赘述。
处理器20获得第二颜色初始图像中所有第二颜色图像像素对应的第二颜色像素目标像素值后，多个第二颜色像素目标像素值排列形成第二颜色目标图像。其中第二颜色像素目标像素值在第二颜色目标图像中设置的位置，与其对应的图像像素在第二颜色初始图像中设置的位置相同。
请参阅图25，处理器20在获得第二颜色目标图像后，在某些实施例中，处理第二颜色目标图像及第一颜色初始图像以获取所述第一颜色目标图像，及处理第二颜色目标图像及第三颜色初始图像以获取所述第三颜色目标图像，包括：
0321：根据第二颜色目标图像对第一颜色初始图像进行双边滤波处理以获取第一颜色目标图像，根据第二颜色目标图像对第三颜色初始图像进行双边滤波处理以获取第三颜色目标图像。
请结合图2及图25，步骤0321也可以由处理器20执行，即处理器20还用于根据第二颜色目标图像对第一颜色初始图像进行双边滤波处理以获取第一颜色目标图像，根据第二颜色目标图像对第三颜色初始图像进行双边滤波处理以获取第三颜色目标图像。
下面以第二颜色目标图像对第一颜色初始图像进行双边滤波处理以获得第一颜色目标图像为例进行说明。在一些实施例中，请参阅图26，联合双边滤波算法为
Figure BDA0002866212910000161
Figure BDA0002866212910000162
其中kp＝∑q∈Ωf(||p-q||)g(|lIp′*Iq′||)，Jp为输出像素值，kp为权重总和，Ω为滤波窗口，p为待滤波像素点在第一颜色初始图像中的坐标，q为滤波窗口内的像素点在第一颜色初始图像中的坐标，Iq为q点对应的像素值，Ip′为第二颜色目标图像中与待滤波像素点对应的像素值，Iq′为第二颜色目标图像中与q点对应的像素值，f、g均为权重分布函数，权重分布函数包括高斯函数。
具体地，联合双边滤波算法通过待滤波像素点p的坐标与滤波窗口内的一个像素点q的坐标的差值确定第一距离权重(f(||p-q||))，图中示例的p点和q点的坐标差值可以为2，通过第二颜色目标图像中与p点对应的像素值Ip′和与q点对应的像素值Iq′的差值确定第二距离权重(g(||Ip′-Iq′||))，根据滤波窗口内的每个像素点的第一距离权重、第二距离权重、第一颜色初始图像中q点对应的像素值Iq以及权重总和kp确定输出像素值Jp。
需要说明的是，在第一颜色初始图像中，没有设置第一颜色图像像素A的位置，即空像素N，其像素值为0。输出的像素值Jp设置的第二颜色中间图像的与待滤波像素点p对应的位置，并且完成一次输出后，滤波窗口移动至下一个图像像素位置，直至第一颜色初始图像内所有图像像素均完成滤波，如此便获得仅包含第一颜色图像像素A的第一颜色目标图像。请参阅图27，第二颜色目标图像对第三颜色初始图像进行双边滤波处理以获得第三颜色目标图像的具体方法，与第二颜色目标图像对第一颜色初始图像进行双边滤波处理以获得第一颜色初始图像的具体方法相同，在此不作赘述。
本申请实施方式图像处理系统100对同一子单元内的所有彩色图像像素融合为呈拜耳阵列排布的彩色图像；对同一子单元内的所有全色图像像素融合为全色图像，并且直接利用全色图像与彩色图像进行融合，能够直接输出含有全色图像信息且全排列的第一颜色目标图像、第二颜色目标图像及第三颜色目标图像。如此能够提高图像的解析力和信噪比，提升了整体拍照效果。
请参阅图28，在一些实施例中，图像处理方法还包括：
05：对彩色图像做彩色图像处理以获取处理后的彩色图像，对全色图像做全色图像处理以获取处理后的全色图像；及
033：根据处理后的全色图像对处理后的彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像。
请结合图2及图28，步骤05及步骤033均可以由处理器20执行，即处理器20还用于对彩色图像做彩色图像处理以获取处理后的彩色图像，对全色图像做全色图像处理以获取处理后的全色图像；及根据处理后的全色图像对处理后的彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像。
处理器20在获得彩色图像及全色图像后，处理器20对彩色图像进行彩色图像处理以获得处理后的彩色图像，对全色图像进行全色图像处理以获得处理后的全色图像。需要说明的是，在一些实施例中，彩色图像处理包括坏点补偿处理、暗角补偿处理、白平衡处理中至少一种；全色图像处理包括坏点补偿处理。
处理器20获得处理后的全色图像及处理后的彩色图像后，再根据处理后的全色图像对处理后的彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像。处理后的全色图像对处理后的彩色图像进行处理的具体实施方式，与上述实施例中全色图像对彩色图像进行处理的具体实施方式相同，在此不再赘述。
由于彩色图像进行彩色图像处理及全色图像进行全色图像处理后，能够提升其图像品质，此时根据处理后的全色图像对处理后的彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，能够提升第一颜色目标图像、第二颜色目标图像及第三颜色目标图像的图像品质。
请参阅图29，在某些实施例中，图像处理方法还包括：
06：根据第一颜色目标图像、第二颜色目标图像及第三颜色目标图像进行色彩转换，以获取色彩转换后的目标图像。
请参阅图2及图29，步骤06也可以由处理器20执行，即处理器20还用于根据第一颜色目标图像、第二颜色目标图像及第三颜色目标图像进行色彩转换，以获取色彩转换后的目标图像。
处理器20在获取到第一颜色目标图像、第二颜色目标图像及第三颜色目标图像进行色彩转换处理，以获取色彩转换后的目标图像。色彩转换处理是将图像由一个色彩空间(例如RGB色彩空间)转换成另一个色彩空间(例如YUV色彩空间)从而具有更广泛的应用场景或者具有更高效率的传输格式。在具体的实施例中，色彩转换处理的步骤可以为对图像中的所有像素值的R、G和B通道像素值进行如下公式转换得到Y、U和V通道像素值：(1)Y＝0.30R+0.59G+0.11B；(2)U＝0.493(B-Y)；(3)V＝0.877(R-Y)；从而将该图像由RGB色彩空间转换为YUV色彩空间。由于YUV色彩空间中的亮度信号Y和色度信号U和V是分离的，并且人眼对亮度的敏感超过色度，本申请将第一颜色目标图像、第二颜色目标图像及第三颜色目标图像进行色彩转换，以获取色彩转换后再传输至图像处理器(图未示)进行后续处理，能够在不影响图像观看效果的同时，能减小图像的信息量，从而提高图像的传输效率。
请参阅图30，本申请还提供一种电子设备1000。本申请实施方式的电子设备1000包括镜头300、壳体200及上述任意一项实施方式的图像处理系统100。镜头300、图像处理系统100与壳体200结合。镜头300与图像处理系统100的图像传感器10配合成像。
电子设备1000可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能眼镜、智能头盔)、无人机、头显设备等，在此不作限制。
本申请实施方式的电子设备1000通过在图像处理系统100对同一子单元内的所有彩色图像像素融合为呈拜耳阵列排布的彩色图像；对同一子单元内的所有全色图像像素融合为全色图像，并且直接利用全色图像与彩色图像进行融合，能够直接输出含有全色图像信息且全排列的第一颜色目标图像、第二颜色目标图像及第三颜色目标图像。如此能够提高图像的解析力和信噪比，提升了整体拍照效果。
请参阅31，本申请还提供一种包含计算机程序的非易失性计算机可读存储介质400。该计算机程序被处理器60执行时，使得处理器60执行上述任意一个实施方式的图像处理方法。
例如，请参阅图1及图31，计算机程序被处理器60执行时，使得处理器60执行以下步骤：
01：获取像素阵列11曝光得到的原始图像，原始图像中的图像像素包括彩色图像像素及全色图像像素；
02：根据同一个子单元内的所有彩色图像像素获取彩色图像，并根据同一个子单元内的所有全色图像像素获取全色图像，彩色图像中的图像像素呈拜耳阵列排布；及
03：根据全色图像对彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，其中，第一颜色目标图像中的所有图像像素均为第一颜色图像像素，第二颜色目标图像中的所有图像像素均为第二颜色图像像素，第三颜色目标图像中的所有图像像素均为第三颜色图像像素。
需要说明的是，处理器60可以与设置在图像处理系统100内的处理器20为同一个处理器，处理器60也可以设置在电子设备1000内，即处理器60也可以与设置在图像处理系统100内的处理器20不为同一个处理器，在此不作限制。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。
在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (22)

1.一种图像处理方法，用于图像传感器，其特征在于，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素及多个彩色感光像素，所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，且所述第一颜色感光像素及所述第三颜色感光像素均具有比所述第二颜色感光像素更窄的光谱响应，所述像素阵列包括多个最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素；所述图像处理方法包括：
获取所述像素阵列曝光得到的原始图像，所述原始图像中的图像像素包括彩色图像像素及全色图像像素；
根据同一个所述子单元内的所有所述彩色图像像素获取彩色图像，并根据同一个所述子单元内的所有全色图像像素获取全色图像，所述彩色图像中的图像像素呈拜耳阵列排布；及
根据所述全色图像对所述彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，其中，第一颜色目标图像中的所有图像像素均为第一颜色图像像素，第二颜色目标图像中的所有图像像素均为第二颜色图像像素，第三颜色目标图像中的所有图像像素均为第三颜色图像像素；
所述图像处理方法还包括：
对所述彩色图像中的第一颜色图像像素、第二颜色图像像素、及第三颜色图像像素进行分离处理以获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像；
其中，所述根据所述全色图像对所述彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，包括：
若所述全色图像中与所述第二颜色初始图像中待更新的图像像素对应的全色图像像素未过曝，则根据所述全色图像及所述第二颜色初始图像计算待更新的图像像素更新后的像素值并作为第二颜色像素目标像素值；及若所述全色图像中与所述第二颜色初始图像中待更新的图像像素对应的全色图像像素过曝，则根据所述第一颜色初始图像与所述第二颜色初始图像、或根据所述第三颜色初始图像与所述第二颜色初始图像计算待更新的图像像素更新后的像素值并作为第二颜色像素目标像素值；直至获取到所述第二颜色初始图像中所有图像像素对应的第二颜色像素目标像素值，以获取所述第二颜色目标图像；
处理所述第二颜色目标图像及所述第一颜色初始图像以获取所述第一颜色目标图像，及处理所述第二颜色目标图像及所述第三颜色初始图像以获取所述第三颜色目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述第二颜色初始图像中的图像像素包括第二颜色图像像素及空像素，所述空像素的像素值为零；根据所述全色图像及所述第二颜色初始图像计算待更新的图像像素更新后的像素值并作为第二颜色像素目标像素值，包括：
在所述第二颜色初始图像中选取以待更新的所述图像像素为中心的第一窗口，并在所述全色图像中选取与所述第一窗口对应的第二窗口，所述第二窗口中心处的所述全色图像像素与待更新的图像像素对应并定义为映射的全色图像像素；
根据所述第一窗口中所有图像像素的像素信息获取第一矩阵；
根据映射的全色图像像素的像素值、第二窗口中所有全色图像像素的像素值、所述第一矩阵及预设的权重函数获取第二矩阵；及
根据映射的全色图像像素的像素值、所述第一窗口中所有图像像素的像素值、所述第二窗口中所有全色图像像素的像素值、所述第二矩阵，获取待更新的所述图像像素更新后的所述第二颜色像素目标像素值。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据所述第一窗口中所有图像像素的像素信息获取第一矩阵，包括：
将所述第一窗口中图像像素的阵列排布映射为第一矩阵的阵列排布；
将所述第一矩阵中与所述第一窗口中空像素对应位置的取值记为第一数值；及
将所述第一矩阵中与所述第一窗口中第二颜色图像像素对应位置的取值记为第二数值。
4.根据权利要求2所述的图像处理方法，其特征在于，所述第一窗口与所述第二窗口中的图像像素均呈M*M排列，M为奇数，所述第一矩阵呈M*M排列。
5.根据权利要求2所述的图像处理方法，其特征在于，所述根据映射的全色图像像素的像素值、第二窗口中所有全色图像像素的像素值、所述第一矩阵及预设的权重函数获取第二矩阵，包括：
将所述第二窗口中图像像素的矩阵排布映射为所述第二矩阵的阵列排布；
根据所述第二窗口中每个全色图像像素的像素值及映射的全色图像像素的像素值获取所述第二矩阵中与该全色图像像素对应位置的偏差值；
根据所述偏差值、预设函数及第一矩阵中相同位置的取值，获取所述第二矩阵中该对应位置的取值。
6.根据权利要求2所述的图像处理方法，其特征在于，所述根据映射的全色图像像素的像素值、所述第一窗口中所有图像像素的像素值、所述第二窗口中所有全色图像像素的像素值、所述第二矩阵，获取待更新的所述图像像素更新后的所述第二颜色像素目标像素值，包括：
根据所述第一窗口中所有图像像素的像素值形成的第一窗口矩阵及所述第二矩阵计算第一加权值，根据所述第二窗口中所有图像像素的像素值形成的第二窗口矩阵及所述第二矩阵计算第二加权值；
根据映射的全色图像像素的像素值、所述第一加权值及所述第二加权值获取待更新的所述图像像素更新后的所述第二颜色像素目标像素值。
7.根据权利要求1所述的图像处理方法，其特征在于，所述第一颜色初始图像中的图像像素包括第一颜色图像像素及空像素，所述第三颜色初始图像中的图像像素包括第三颜色图像像素及空像素；所述根据所述第一颜色初始图像与所述第二颜色初始图像、或根据所述第三颜色初始图像与所述第二颜色初始图像计算待更新的图像像素更新后的像素值并作为第二颜色像素目标像素值，包括：
若待更新的所述图像像素为所述第二颜色图像像素，则将所述第二颜色图像像素的原像素值作为待更新的所述图像像素更新后的所述第二颜色像素目标像素值；
若所述第一颜色初始图像中与待更新的所述图像像素对应的位置为所述第一颜色图像像素，则根据所述第一颜色初始图像对所述第二颜色初始图像进行插值处理，以获取待更新的所述图像像素更新后的所述第二颜色像素目标像素值；
若所述第三颜色初始图像中与待更新的所述图像像素对应的位置为所述第三颜色图像像素，则根据所述第三颜色初始图像对所述第二颜色初始图像进行插值处理，以获取待更新的所述图像像素更新后的所述第二颜色像素目标像素值。
8.根据权利要求1所述的图像处理方法，其特征在于，处理所述第二颜色目标图像及所述第一颜色初始图像以获取所述第一颜色目标图像，及处理所述第二颜色目标图像及所述第三颜色初始图像以获取所述第三颜色目标图像，包括：
根据所述第二颜色目标图像对所述第一颜色初始图像进行双边滤波处理以获取所述第一颜色目标图像，根据所述第二颜色目标图像对所述第三颜色初始图像进行双边滤波处理以获取所述第三颜色目标图像。
9.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括:
对所述彩色图像做彩色图像处理以获取处理后的彩色图像，对所述全色图像做全色图像处理以获取处理后的全色图像；
所述根据所述全色图像对所述彩色图像进行处理，以获取全排列的第一颜色目标图像、全排列的第二颜色目标图像及全排列的第三颜色目标图像，包括：
根据处理后的所述全色图像对处理后的所述彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像；
所述图像处理方法还包括：
对处理后的所述彩色图像中的第一颜色图像像素、第二颜色图像像素、及第三颜色图像像素进行分离处理以获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像；
其中，根据处理后的所述全色图像对处理后的所述彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，包括：
若处理后的所述全色图像中与所述第二颜色初始图像中待更新的图像像素对应的全色图像像素未过曝，则根据处理后的所述全色图像及所述第二颜色初始图像计算待更新的图像像素更新后的像素值并作为第二颜色像素目标像素值；及若处理后的所述全色图像中与所述第二颜色初始图像中待更新的图像像素对应的全色图像像素过曝，则根据所述第一颜色初始图像与所述第二颜色初始图像、或根据所述第三颜色初始图像与所述第二颜色初始图像计算待更新的图像像素更新后的像素值并作为第二颜色像素目标像素值；直至获取到所述第二颜色初始图像中所有图像像素对应的第二颜色像素目标像素值，以获取所述第二颜色目标图像；
处理所述第二颜色目标图像及所述第一颜色初始图像以获取所述第一颜色目标图像，及处理所述第二颜色目标图像及所述第三颜色初始图像以获取所述第三颜色目标图像。
10.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括:
根据所述第一颜色目标图像、所述第二颜色目标图像及所述第三颜色目标图像进行色彩转换，以获取色彩转换后的目标图像。
11.一种图像处理系统，其特征在于，包括
图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个全色感光像素及多个彩色感光像素，所述彩色感光像素包括具有不同光谱响应的第一颜色感光像素、第二颜色感光像素及第三颜色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，且所述第一颜色感光像素及所述第三颜色感光像素均具有比所述第二颜色感光像素更窄的光谱响应，所述像素阵列包括多个最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括至少一个单颜色感光像素及至少一个全色感光像素；及
处理器，所述处理器用于：
获取所述像素阵列曝光得到的原始图像，所述原始图像中的图像像素包括彩色图像像素及全色图像像素；
根据同一个所述子单元内的所有所述彩色图像像素获取彩色图像，并根据同一个所述子单元内的所有全色图像像素获取全色图像，所述彩色图像中的图像像素呈拜耳阵列排布；及
根据所述全色图像对所述彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像，其中，第一颜色目标图像中的所有图像像素均为第一颜色图像像素，第二颜色目标图像中的所有图像像素均为第二颜色图像像素，第三颜色目标图像中的所有图像像素均为第三颜色图像像素；
所述处理器还用于：
对所述彩色图像中的第一颜色图像像素、第二颜色图像像素、及第三颜色图像像素进行分离处理以获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像；
若所述全色图像中与所述第二颜色初始图像中待更新的图像像素对应的全色图像像素未过曝，则根据所述全色图像及所述第二颜色初始图像计算待更新的图像像素更新后的像素值并作为第二颜色像素目标像素值；及若所述全色图像中与所述第二颜色初始图像中待更新的图像像素对应的全色图像像素过曝，则根据所述第一颜色初始图像与所述第二颜色初始图像、或根据所述第三颜色初始图像与所述第二颜色初始图像计算待更新的图像像素更新后的像素值并作为第二颜色像素目标像素值；直至获取到所述第二颜色初始图像中所有第图像像素对应的第二颜色像素目标像素值，以获取所述第二颜色目标图像；
处理所述第二颜色目标图像及所述第一颜色初始图像以获取所述第一颜色目标图像，及处理所述第二颜色目标图像及所述第三颜色初始图像以获取所述第三颜色目标图像。
12.根据权利要求11所述的图像处理系统，其特征在于，所述第二颜色初始图像中的图像像素包括第二颜色图像像素及空像素，所述空像素的像素值为零；所述处理器还用于：
在所述第二颜色初始图像中选取以待更新的所述图像像素为中心的第一窗口，并在所述全色图像中选取与所述第一窗口对应的第二窗口，所述第二窗口中心处的所述全色图像像素与待更新的图像像素对应并定义为映射的全色图像像素；
根据所述第一窗口中所有图像像素的像素信息获取第一矩阵；
根据映射的全色图像像素的像素值、第二窗口中所有全色图像像素的像素值、所述第一矩阵及预设的权重函数获取第二矩阵；及
根据映射的全色图像像素的像素值、所述第一窗口中所有图像像素的像素值、所述第二窗口中所有全色图像像素的像素值、所述第二矩阵，获取待更新的所述图像像素更新后的所述第二颜色像素目标像素值。
13.根据权利要求12所述的图像处理系统，其特征在于，所述处理器还用于：
将所述第一窗口中图像像素的矩阵排布映射为第一矩阵的阵列排布；
将所述第一矩阵中与所述第一窗口中空像素对应位置的取值记为第一数值；及
将所述第一矩阵中与所述第一窗口中第二颜色图像像素对应位置的取值记为第二数值。
14.根据权利要求12所述的图像处理系统，其特征在于，所述第一窗口与所述第二窗口中的图像像素均呈M*M排列，M为奇数，所述第一矩阵呈M*M排列。
15.根据权利要求12所述的图像处理系统，其特征在于，所述处理器还用于：
将所述第二窗口中图像像素的阵列排布映射为所述第二矩阵的阵列排布；
根据所述第二窗口中每个全色图像像素的像素值及映射的全色图像像素的像素值获取所述第二矩阵中与该全色图像像素对应位置的偏差值；
根据所述偏差值、预设函数及第一矩阵中相同位置的取值，获取所述第二矩阵中该对应位置的取值。
16.根据权利要求12所述的图像处理系统，其特征在于，所述处理器还用于：
根据所述第一窗口中所有图像像素的像素值形成的第一窗口矩阵及所述第二矩阵计算第一加权值，根据所述第二窗口中所有图像像素的像素值形成的第二窗口矩阵及所述第二矩阵计算第二加权值；
根据映射的全色图像像素的像素值、所述第一加权值及所述第二加权值获取待更新的所述图像像素更新后的所述第二颜色像素目标像素值。
17.根据权利要求11所述的图像处理系统，其特征在于，所述第一颜色初始图像中的图像像素包括第一颜色图像像素及空像素，所述第三颜色初始图像中的图像像素包括第三颜色图像像素及空像素；所述处理器还用于：
若待更新的所述图像像素为所述第二颜色图像像素，则将所述第二颜色图像像素的原像素值作为待更新的所述图像像素更新后的所述第二颜色像素目标像素值；
若所述第一颜色初始图像中与待更新的所述图像像素对应的位置为所述第一颜色图像像素，则根据所述第一颜色初始图像对所述第二颜色初始图像进行插值处理，以获取待更新的所述图像像素更新后的所述第二颜色像素目标像素值；
若所述第三颜色初始图像中与待更新的所述图像像素对应的位置为所述第三颜色图像像素，则根据所述第三颜色初始图像对所述第二颜色初始图像进行插值处理，以获取待更新的所述图像像素更新后的所述第二颜色像素目标像素值。
18.根据权利要求11所述的图像处理系统，其特征在于，所述处理器还用于：
根据所述第二颜色目标图像对所述第一颜色初始图像进行双边滤波处理以获取所述第一颜色目标图像，根据所述第二颜色目标图像对所述第三颜色初始图像进行双边滤波处理以获取所述第三颜色目标图像。
19.根据权利要求11所述的图像处理系统，其特征在于，所述处理器还用于：
对所述彩色图像做彩色图像处理以获取处理后的彩色图像，对所述全色图像做全色图像处理以获取处理后的全色图像；
根据处理后的所述全色图像对处理后的所述彩色图像进行处理，以获取第一颜色目标图像、第二颜色目标图像及第三颜色目标图像；
其中，所述处理器还用于：
对处理后的所述彩色图像中的第一颜色图像像素、第二颜色图像像素、及第三颜色图像像素进行分离处理以获取第一颜色初始图像、第二颜色初始图像及第三颜色初始图像；
若处理后的所述全色图像中与所述第二颜色初始图像中待更新的图像像素对应的全色图像像素未过曝，则根据处理后的所述全色图像及所述第二颜色初始图像计算待更新的图像像素更新后的像素值并作为第二颜色像素目标像素值；及若处理后的所述全色图像中与所述第二颜色初始图像中待更新的图像像素对应的全色图像像素过曝，则根据所述第一颜色初始图像与所述第二颜色初始图像、或根据所述第三颜色初始图像与所述第二颜色初始图像计算待更新的图像像素更新后的像素值并作为第二颜色像素目标像素值；直至获取到所述第二颜色初始图像中所有图像像素对应的第二颜色像素目标像素值，以获取所述第二颜色目标图像；
处理所述第二颜色目标图像及所述第一颜色初始图像以获取所述第一颜色目标图像，及处理所述第二颜色目标图像及所述第三颜色初始图像以获取所述第三颜色目标图像。
20.根据权利要求11所述的图像处理系统，其特征在于，所述处理器还用于：
根据所述第一颜色目标图像、所述第二颜色目标图像及所述第三颜色目标图像进行色彩转换，以获取色彩转换后的目标图像。
21.一种电子设备，其特征在于，包括：
镜头；
壳体；及
权利要求11至20任意一项所述的图像处理系统，所述镜头、所述图像处理系统与所述壳体结合，所述镜头与所述图像处理系统的图像传感器配合成像。
22.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至10任意一项所述的图像处理方法。
CN202011582503.6A 2020-12-28 2020-12-28 图像处理方法、图像处理系统、电子设备及可读存储介质 Active CN112702543B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011582503.6A CN112702543B (zh) 2020-12-28 2020-12-28 图像处理方法、图像处理系统、电子设备及可读存储介质
EP21912521.8A EP4270931A4 (en) 2020-12-28 2021-02-04 IMAGE PROCESSING METHOD, IMAGE PROCESSING SYSTEM, ELECTRONIC DEVICE AND READABLE STORAGE MEDIUM
PCT/CN2021/075315 WO2022141743A1 (zh) 2020-12-28 2021-02-04 图像处理方法、图像处理系统、电子设备及可读存储介质
US18/341,509 US20230334818A1 (en) 2020-12-28 2023-06-26 Method and system for image processing, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011582503.6A CN112702543B (zh) 2020-12-28 2020-12-28 图像处理方法、图像处理系统、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112702543A CN112702543A (zh) 2021-04-23
CN112702543B true CN112702543B (zh) 2021-09-17

Family

ID=75511216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011582503.6A Active CN112702543B (zh) 2020-12-28 2020-12-28 图像处理方法、图像处理系统、电子设备及可读存储介质

Country Status (4)

Country Link
US (1) US20230334818A1 (zh)
EP (1) EP4270931A4 (zh)
CN (1) CN112702543B (zh)
WO (1) WO2022141743A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
CN111447376A (zh) * 2020-05-06 2020-07-24 Oppo广东移动通信有限公司 图像处理方法、摄像头组件、移动终端及计算机可读存储介质
CN111491111A (zh) * 2020-04-20 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111899178A (zh) * 2020-08-18 2020-11-06 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
JP2008078922A (ja) * 2006-09-20 2008-04-03 Toshiba Corp 固体撮像装置
KR101980931B1 (ko) * 2012-01-24 2019-05-21 소니 주식회사 화상 처리 장치 및 화상 처리 방법과 기록 매체
US9866764B2 (en) * 2014-11-21 2018-01-09 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
US10148926B2 (en) * 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof
CN111246064B (zh) * 2020-02-19 2021-07-09 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN113766231A (zh) * 2020-07-08 2021-12-07 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN111835971B (zh) * 2020-07-20 2021-09-24 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
CN111491111A (zh) * 2020-04-20 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111447376A (zh) * 2020-05-06 2020-07-24 Oppo广东移动通信有限公司 图像处理方法、摄像头组件、移动终端及计算机可读存储介质
CN111899178A (zh) * 2020-08-18 2020-11-06 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN112702543A (zh) 2021-04-23
EP4270931A1 (en) 2023-11-01
EP4270931A4 (en) 2024-04-17
WO2022141743A1 (zh) 2022-07-07
US20230334818A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
CN111757006B (zh) 图像获取方法、摄像头组件及移动终端
CN112261391B (zh) 图像处理方法、摄像头组件及移动终端
CN111479071B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
WO2021196554A1 (zh) 图像传感器、处理系统及方法、电子设备和存储介质
CN111491111B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111314592B (zh) 图像处理方法、摄像头组件及移动终端
CN111899178B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN111586375B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
WO2021179805A1 (zh) 图像传感器、摄像头组件、移动终端及图像获取方法
CN111741221B (zh) 图像获取方法、摄像头组件及移动终端
CN112738493B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN112822475B (zh) 图像处理方法、图像处理装置、终端及可读存储介质
CN112702543B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN111835971B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN112351172B (zh) 图像处理方法、摄像头组件及移动终端
CN111970459B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN112738494B (zh) 图像处理方法、图像处理系统、终端设备及可读存储介质
CN111970461A (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN112235485B (zh) 图像传感器、图像处理方法、成像装置、终端及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant