CN113766231A - 图像获取方法、摄像头组件及移动终端 - Google Patents

图像获取方法、摄像头组件及移动终端 Download PDF

Info

Publication number
CN113766231A
CN113766231A CN202111181293.4A CN202111181293A CN113766231A CN 113766231 A CN113766231 A CN 113766231A CN 202111181293 A CN202111181293 A CN 202111181293A CN 113766231 A CN113766231 A CN 113766231A
Authority
CN
China
Prior art keywords
image
color
pixel
filtered
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111181293.4A
Other languages
English (en)
Inventor
杨鑫
李小涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111181293.4A priority Critical patent/CN113766231A/zh
Publication of CN113766231A publication Critical patent/CN113766231A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开了一种图像获取方法、摄像头组件及移动终端。像素阵列曝光获得第一彩色原始图像及第二彩色原始图像，第一彩色原始图像的数据由子单元中至少一个彩色感光像素生成，第二彩色原始图像的数据由子单元中至少一个全色感光像素及至少一个彩色感光像素生成。图像获取方法包括：对第一彩色原始图像插值得到各个颜色通道的第一插值图像，对第二彩色原始图像插值得到至少一个颜色通道的第二插值图像；将第二插值图像与各个颜色通道的第一插值图像融合得到各个颜色通道的融合图像；根据各个颜色通道的融合图像得到目标图像。本申请实施方式对第一插值图像及第二插值图像进行融合，提高图像的信噪比和清晰度，从而提升暗环境下拍摄的图像质量。

Description

图像获取方法、摄像头组件及移动终端
技术领域
本申请涉及影像技术领域，特别涉及一种图像获取方法、摄像头组件及移动终端。
背景技术
摄像头可以被安装在手机等电子设备中以使得电子设备具有图像获取功能。摄像头内可以装配有彩色滤光片阵列，以实现彩色图像的获取。目前，摄像头内的彩色滤光片阵列通常呈拜耳阵列形式，呈拜耳阵列形式的彩色滤光片阵列中，每个彩色滤光片都仅能通过单一颜色的光线，如此，大部分光线会被过滤掉，影响摄像头获取的图像的质量。
发明内容
本申请实施方式提供了一种图像获取方法、摄像头组件及移动终端。
本申请实施方式的图像获取方法用于图像传感器。所述图像传感器包括像素阵列，所述像素阵列包括多个子单元，每个所述子单元包括至少一个全色感光像素及至少一个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应。所述像素阵列曝光以获得第一彩色原始图像及第二彩色原始图像，所述第一彩色原始图像由多个第一彩色原始图像数据组成，每个所述第一彩色原始图像数据由一个所述子单元中的所述至少一个彩色感光像素生成，所述第二彩色原始图像由多个第二彩色原始图像数据组成，每个所述第二彩色原始图像数据由一个所述子单元中的所述至少一个全色感光像素及所述至少一个彩色感光像素生成；所述图像获取方法包括：对所述第一彩色原始图像进行插值处理以得到多个第一插值图像，每个所述第一插值图像分别对应一个颜色通道，对所述第二彩色原始图像进行插值处理以得到至少一个颜色通道的第二插值图像；将所述第二插值图像分别与各个颜色通道的所述第一插值图像融合以得到各个颜色通道的融合图像；及根据各个颜色通道的融合图像得到目标图像。
本申请实施方式的摄像头组件包括图像传感器及处理器。所述图像传感器包括像素阵列，所述像素阵列包括多个子单元，每个所述子单元包括至少一个全色感光像素及至少一个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列曝光以获得第一彩色原始图像及第二彩色原始图像，所述第一彩色原始图像由多个第一彩色原始图像数据组成，每个所述第一彩色原始图像数据由一个所述子单元中的所述至少一个彩色感光像素生成，所述第二彩色原始图像由多个第二彩色原始图像数据组成，每个所述第二彩色原始图像数据由一个所述子单元中的所述至少一个全色感光像素及所述至少一个彩色感光像素生成。所述处理器用于对所述第一彩色原始图像进行插值处理以分别得到各个颜色通道的第一插值图像，对所述第二彩色原始图像进行插值处理以得到至少一个颜色通道的第二插值图像；将所述第二插值图像分别与各个颜色通道的所述第一插值图像融合以得到各个颜色通道的融合图像；根据各个颜色通道的融合图像得到目标图像。
本申请实施方式的移动终端包括壳体及摄像头组件。所述摄像头组件与所述壳体结合。所述摄像头组件包括图像传感器及处理器。所述图像传感器包括像素阵列，所述像素阵列包括多个子单元，每个所述子单元包括至少一个全色感光像素及至少一个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应，所述像素阵列曝光以获得第一彩色原始图像及第二彩色原始图像，所述第一彩色原始图像由多个第一彩色原始图像数据组成，每个所述第一彩色原始图像数据由一个所述子单元中的所述至少一个彩色感光像素生成，所述第二彩色原始图像由多个第二彩色原始图像数据组成，每个所述第二彩色原始图像数据由一个所述子单元中的所述至少一个全色感光像素及所述至少一个彩色感光像素生成。所述处理器用于对所述第一彩色原始图像进行插值处理以得到多个第一插值图像，每个所述第一插值图像分别对应一个颜色通道，对所述第二彩色原始图像进行插值处理以得到至少一个颜色通道的第二插值图像；将所述第二插值图像分别与各个颜色通道的所述第一插值图像融合以得到各个颜色通道的融合图像；根据各个颜色通道的融合图像得到目标图像。
本申请实施方式的图像获取方法、摄像头组件及移动终端通过像素阵列曝光以获得仅包括彩色颜色通道的图像数据的第一彩色原始图像及同时包括彩色颜色通道和全色颜色通道的图像数据的第二彩色原始图像，并对第一彩色原始图像及第二彩色原始图像进行插值处理和融合处理，以借助全色颜色通道的图像数据来提高图像的信噪比和清晰度，从而可以提升暗环境下拍摄的图像的质量。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的摄像头组件的示意图；
图2是本申请某些实施方式的像素阵列的示意图；
图3是本申请某些实施方式的感光像素的截面示意图；
图4是本申请某些实施方式的感光像素的像素电路图；
图5至图15是本申请某些实施方式的像素阵列中最小重复单元的排布示意图；
图16是本申请某些实施方式的摄像头组件中的图像传感器获取原始图像的原理示意图；
图17和18是本申请某些实施方式的第一彩色原始图像进行插值处理的原理示意图；
图19至图22是是本申请某些实施方式的第一插值图像进行滤波处理的原理示意图；
图23是本申请某些实施方式的第二插值图像进行滤波处理的原理示意图；
图24是本申请实施方式的移动终端的结构示意图；
图25是本申请某些实施方式的图像获取方法的流程示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
相关技术中，摄像头内的彩色滤光片阵列通常呈拜耳阵列形式，然而拜耳阵列形式排布的彩色滤光片阵列中，每个彩色滤光片都仅能通过单一颜色的光线，如此，大部分光线会被过滤掉，影响摄像头获取的图像的质量。
基于上述原因，请参阅图1、图2和图5，本申请提供一种摄像头组件100。摄像头组件100包括图像传感器10及处理器20。图像传感器10包括像素阵列11，像素阵列11包括多个子单元，每个子单元包括至少一个全色感光像素W及至少一个彩色感光像素，彩色感光像素具有比全色感光像素W更窄的光谱响应。像素阵列11曝光以获得第一彩色原始图像及第二彩色原始图像，第一彩色原始图像由多个第一彩色原始图像数据组成，每个第一彩色原始图像数据由一个子单元中的至少一个彩色感光像素生成，第二彩色原始图像由多个第二彩色原始图像数据组成，每个第二彩色原始图像数据由一个子单元中的至少一个全色感光像素W及至少一个彩色感光像素生成。处理器20与图像传感器10电连接。处理器20用于对第一彩色原始图像进行插值处理以分别得到各个颜色通道的第一插值图像，对第二彩色原始图像进行插值处理以得到至少一个颜色通道的第二插值图像，将第二插值图像分别与各个颜色通道的第一插值图像融合以得到各个颜色通道的融合图像，融合各个颜色通道的融合图像得到目标图像。
本申请实施方式的摄像头组件100通过像素阵列11曝光以获得仅包括彩色颜色通道的图像数据的第一彩色原始图像及同时包括彩色颜色通道和全色颜色通道的图像数据的第二彩色原始图像，对第一彩色原始图像插值得到各个颜色通道的第一插值图像，对第二彩色原始图像插值得到至少一个颜色通道的第二插值图像，并对第一插值图像及第二插值图像进行融合，以提高图像的信噪比和清晰度，从而可以提升暗环境下拍摄的图像的质量。
下面结合附图对本申请实施方式的摄像头组件100作详尽描述。
请参阅图2，图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。
例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。
例如，像素阵列11包括以阵列形式二维排列(即二维矩阵形式排布)的多个感光像素110(图3所示)，每个感光像素110包括光电转换元件1111(图4所示)。每个感光像素110根据入射在其上的光的强度将光转换为电荷。
例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位感光像素110，从这些单位感光像素110逐行地读取信号。例如，被选择并被扫描的感光像素行中的每一感光像素110输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件1111的光电荷被丢弃，从而可以开始新的光电荷的积累。
例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选感光像素行中的每一感光像素110输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的感光像素110的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。
例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一感光像素列被列处理单元14顺序地处理，并且被顺序输出。
例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元12、列处理单元14和水平驱动单元15协同工作。
请参阅图3，感光像素110包括像素电路111、滤光片112、及微透镜113。沿感光像素110的收光方向，微透镜113、滤光片112、及像素电路111依次设置。微透镜113用于汇聚光线，滤光片112用于供某一波段的光线通过并过滤掉其余波段的光线。像素电路111用于将接收到的光线转换为电信号，并将生成的电信号提供给图2所示的列处理单元14。
请参阅图4，像素电路111可应用在图2所示的像素阵列11内的每个感光像素110(图3所示)中。下面结合图2至图4对像素电路111的工作原理进行说明。
如图4所示，像素电路111包括光电转换元件1111(例如，光电二极管)、曝光控制电路(例如，转移晶体管1112)、复位电路(例如，复位晶体管1113)、放大电路(例如，放大晶体管1114)和选择电路(例如，选择晶体管1115)。在本申请的实施例中，转移晶体管1112、复位晶体管1113、放大晶体管1114和选择晶体管1115例如是MOS管，但不限于此。
例如，光电转换元件1111包括光电二极管，光电二极管的阳极例如连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路(例如，转移晶体管1112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管1114的栅极、复位晶体管1113的源极连接。
例如，曝光控制电路为转移晶体管1112，曝光控制电路的控制端TG为转移晶体管1112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管1112的栅极时，转移晶体管1112导通。转移晶体管1112将光电二极管光电转换的电荷传输到浮动扩散单元FD。
例如，复位晶体管1113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。
例如，放大晶体管1114的栅极连接到浮动扩散单元FD。放大晶体管1114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管1113复位之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管1112转移之后，放大晶体管1114经由选择晶体管1115通过输出端OUT输出信号电平。
例如，选择晶体管1115的漏极连接到放大晶体管1114的源极。选择晶体管1115的源极通过输出端OUT连接到图2中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管1115的栅极时，选择晶体管1115导通。放大晶体管1114输出的信号通过选择晶体管1115传输到列处理单元14。
需要说明的是，本申请实施例中像素电路111的像素结构并不限于图4所示的结构。例如，像素电路111也可以具有三晶体管像素结构，其中放大晶体管1114和选择晶体管1115的功能由一个晶体管完成。例如，曝光控制电路也不局限于单个转移晶体管1112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，本申请实施方式中的单个转移晶体管1112的实施方式简单、成本低、易于控制。
请参阅图5至图15，本申请某些实施方式的像素阵列11(图2所示)中的感光像素110(图3所示)的排布示意图。感光像素110包括两类，一类为全色感光像素W，另一类为彩色感光像素。像素阵列11包括多个最小重复单元，每个最小重复单元包括多个子单元，图5至图15仅示出了由四个子单元所组成的一个最小重复单元中的多个感光像素110的排布，在其他例子中，每个最小重复单元中的子单元的数量还可以是两个、三个、五个、十个等，在此不作限制。对图5至图17所示的四个子单元所组成的最小重复单元在行和列上多次复制，即可形成像素阵列11。每个子单元内包括至少一个全色感光像素W及至少一个彩色感光像素。其中，在每个子单元中，全色感光像素W与彩色感光像素可以交替设置；或者，在每个子单元中，处于同一行的多个感光像素110可以具有相同的颜色通道；或者，在每个子单元中，处于同一列的多个感光像素110可以具有相同的颜色通道；或者，在每个最小重复单元中，处于同一行且具有相同的颜色通道的多个感光像素110与处于同一列且具有相同的颜色通道多个感光像素110可以交替设置；或者，在每个子单元中，当全色感光像素W的数量为一个，彩色感光像素的数量为多个时，全色感光像素W可以位于该子单元中的任意位置；或者，在每个子单元中，当全色感光像素W的数量为多个，彩色感光像素的数量为一个时，彩色感光像素可以位于该子单元中的任意位置。
具体地，例如，请参阅图5，图5为本申请一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，每个子单元为2行2列4个感光像素110。排布方式为：
W A W B
A W B W
W B W C
B W C W
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图5所示，对于每个子单元，全色感光像素W和彩色感光像素交替设置。
如图5所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1(例如图5中左上角和右下角连接的方向)，两个第二类子单元UB设置在第二对角线方向D2(例如图5中右上角和左下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
需要说明的是，在其他实施方式中，第一对角线方向D1也可以是右上角和左下角连接的方向，第二对角线方向D2也可以是左上角和右下角连接的方向。另外，这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。下文图6至图10中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。
再例如，请参阅图6，图6为本申请另一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，每个子单元为2行2列4个感光像素110。排布方式为：
W A W B
A W B W
B W W C
W B C W
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
图6所示的最小重复单元中感光像素110的排布与图5所示的最小重复单元中感光像素110的排布大致相同，其不同之处在于，图6中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序与图5中位于左下角的第二类子单元UB中的全色感光像素W与单颜色感光像素的交替顺序不一致。具体地，图5中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为全色感光像素W、彩色感光像素(即第二颜色感光像素B)，第二行的感光像素110的交替顺序为单颜色感光像素(即第二颜色感光像素B)、全色感光像素W；而图6中位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为彩色感光像素(即第二颜色感光像素B)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、彩色感光像素(即第二颜色感光像素B)。
如图6所示，图6中的第一类子单元UA及第三子单元UC中的全色感光像素W与单颜色感光像素的交替顺序与位于左下角的第二类子单元UB中的全色感光像W素与彩色感光像素的交替顺序不一致。具体地，图6所示的第一类子单元UA及第三子单元UC中，第一行的感光像素110的交替顺序为全色感光像素W、彩色感光像素，第二行的感光像素110的交替顺序为彩色感光像素、全色感光像素W；而图6所示的位于左下角的第二类子单元UB中，第一行的感光像素110的交替顺序为彩色感光像素(即第三颜色感光像素B)、全色感光像素W，第二行的感光像素110的交替顺序为全色感光像素W、彩色感光像素(即第三颜色感光像素B)。
因此，根据图5及图6所示，同一最小重复单元中，不同子单元内的全色感光像素W与彩色感光像素的交替顺序可以是一致的(如图5所示)，也可以是不一致的(如图6所示)。
再例如，请参阅图7，图7为本申请又一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为6行6列36个感光像素110，子单元为3行3列9个感光像素110。
排布方式为：
W A W B W B
A W A W B W
W A W B W B
B W B W C W
W B W C W C
B W B W C W
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图7所示，对于每个子单元，全色感光像素W和彩色感光像素交替设置。
如图7所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图8，图8为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为8行8列64个感光像素110，子单元为4行4列16个感光像素110。排布方式为：
W A W A W B W B
A W A W B W B W
W A W A W B W B
A W A W B W B W
W B W B W C W C
B W B W C W C W
W B W B W C W C
B W B W C W C W
W表示全色感光像素；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图8所示，对于每个子单元，全色感光像素W和单颜色感光像素交替设置。
如图8所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图9，图9为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。
排布方式为：
W W W W
A A B B
W W W W
B B C C
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图9所示，在每个子单元中，处于同一行的多个感光像素110具有相同的颜色通道(即同一行的多个感光像素110为同一类别的感光像素110)。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。
如图9所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。其中，具有相同的颜色通道的多个感光像素110既可以位于子单元的第一行，也可以位于子单元的第二行，在此不作限制。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图10，图10为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。
排布方式为：
A W B W
A W B W
B W C W
B W C W
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图10所示，在每个子单元中，处于同一列的多个感光像素110具有相同的颜色通道(即同一列的多个感光像素110为同一类别的感光像素110)。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。
如图10所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C。其中，具有相同的颜色通道的多个感光像素110既可以位于子单元的第一列，也可以位于子单元的第二列，在此不作限制。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图11，图11为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，子单元为2行2列4个感光像素110。
排布方式为：
A W W W
A W B B
W W C W
B B C W
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图11所示，在每个子单元中，处于同一列或同一行的多个感光像素110具有相同的颜色通道(即同一列或同一行的多个感光像素110为同一类别的感光像素110)。其中，同一类别的感光像素110包括：(1)均为全色感光像素W；(2)均为第一颜色感光像素A；(3)均为第二颜色感光像素B；(4)均为第三颜色感光像素C。
如图11所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和多个第一颜色感光像素A，多个全色感光像素W处于同一列，多个第一颜色感光像素A处于同一列；第二类子单元UB包括多个全色感光像素W和多个第二颜色感光像素B，多个全色感光像素W处于同一行，多个第一颜色感光像素A处于同一行；第三类子单元UC包括多个全色感光像素W和多个第三颜色感光像素C，多个全色感光像素W处于同一列，多个第一颜色感光像素A处于同一列。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
因此，如图11所示，在同一最小重复单元中，可以是部分子单元内处于同一行的多个感光像素110为同一类别的感光像素110，其余部分子单元内处于同一列的多个感光像素110为同一类别的感光像素110。
再例如，请参阅图12，图12为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，每个子单元为2行2列4个感光像素110。排布方式为：
A W B W
W W W W
B W C W
W W W W
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图12所示，每个子单元的4个感光像素110中仅包含一个彩色感光像素。在每个最小重复单元中，彩色感光像素可以位于子单元的任何位置(例如为图12所示的位于子单元的左上角位置)。
如图12所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和一个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和一个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和一个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图13，图13为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，每个子单元为2行2列4个感光像素110。排布方式为：
A W W B
W W W W
W W W W
B W W C
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图13所示，每个子单元的4个感光像素110中仅包含一个彩色感光像素。在每个最小重复单元中，彩色感光像素可以位于子单元的任何位置(例如为图12所示的位于子单元的左上角位置、左下角位置、右上角位置或右下角位置)。
如图13所示，子单元的类别包括三类。其中，第一类子单元UA包括多个全色感光像素W和一个第一颜色感光像素A；第二类子单元UB包括多个全色感光像素W和一个第二颜色感光像素B；第三类子单元UC包括多个全色感光像素W和一个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图14，图14为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，每个子单元为2行2列4个感光像素110。排布方式为：
W A W B
A A B B
W B W C
B B C C
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图14所示，每个子单元的4个感光像素110中仅包含一个全色感光像素W。在每个最小重复单元中，全色感光像素W可以位于子单元的任何位置(例如为图14所示的位于子单元的左上角位置)。
如图14所示，子单元的类别包括三类。其中，第一类子单元UA包括一个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括一个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括一个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
再例如，请参阅图15，图15为本申请还一个实施例的最小重复单元中感光像素110(图3所示)的排布示意图。其中，最小重复单元为4行4列16个感光像素110，每个子单元为2行2列4个感光像素110。排布方式为：
W A B W
A A B B
B B C C
W B C W
W表示全色感光像素W；A表示多个彩色感光像素中的第一颜色感光像素；B表示多个彩色感光像素中的第二颜色感光像素；C表示多个彩色感光像素中的第三颜色感光像素。
如图15所示，每个子单元的4个感光像素110中仅包含一个全色感光像素W。在每个最小重复单元中，全色感光像素W可以位于子单元的任何位置(例如为图15所示的位于子单元的左上角位置、左下角位置、右上角位置或右下角位置)。
如图15所示，子单元的类别包括三类。其中，第一类子单元UA包括一个全色感光像素W和多个第一颜色感光像素A；第二类子单元UB包括一个全色感光像素W和多个第二颜色感光像素B；第三类子单元UC包括一个全色感光像素W和多个第三颜色感光像素C。每个最小重复单元包括四个子单元，分别为一个第一类子单元UA、两个第二类子单元UB及一个第三类子单元UC。其中，一个第一类子单元UA与一个第三类子单元UC设置在第一对角线方向D1，两个第二类子单元UB设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
在某些实施方式中，如图5至图15所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为绿色感光像素G；第三颜色感光像素C可以为蓝色感光像素Bu。
在某些实施方式中，如图5至图15所示的最小重复单元中，第一颜色感光像素A可以为红色感光像素R；第二颜色感光像素B可以为黄色感光像素Y；第三颜色感光像素C可以为蓝色感光像素Bu。
在某些实施方式中，如图5至图15所示的最小重复单元中，第一颜色感光像素A可以为品红色感光像素M；第二颜色感光像素B可以为青色感光像素Cy；第三颜色感光像素C可以为黄色感光像素Y。
需要说明的是，在一些实施例中，全色感光像素W的响应波段可为可见光波段(例如，400nm-760nm)。例如，全色感光像素W上设置有红外滤光片，以实现红外光的滤除。在另一些实施例中，全色感光像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10(图1所示)中的光电转换元件1111(图4所示)的响应波段相匹配。例如，全色感光像素W可以不设置滤光片或者设置可供所有波段的光线通过的滤光片，全色感光像素W的响应波段由光电转换元件1111的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
请参阅图1、图2及图16，在某些实施方式中，控制单元13控制像素阵列11曝光以获得第一彩色原始图像及第二彩色原始图像。其中，第一彩色原始图像由多个第一彩色原始图像数据组成，每个第一彩色原始图像数据由一个子单元中的至少一个彩色感光像素生成；第二彩色原始图像由多个第二彩色原始图像数据组成，每个第二彩色原始图像数据由一个子单元中的至少一个全色感光像素W及至少一个彩色感光像素生成。
请参阅图2，在一个例子中，像素阵列11的每个子单元包含多个全色感光像素W及多个彩色感光像素(如图5至图11所示)。控制单元13控制像素阵列11曝光后，一个子单元中的多个彩色感光像素接收光线后生成的多个电信号的和值或均值作为一个第一彩色原始图像数据，该像素阵列11中所有子单元的第一彩色原始图像数据组成第一色彩原始图像；一个子单元中的多个全色感光像素W接收光线后生成的多个电信号与该子单元中的所有彩色感光像素接收光线后生成的所有电信号的和值或均值作为一个第二彩色原始图像数据，该像素阵列11中所有子单元的第二彩色原始图像数据组成第二色彩原始图像。
请参阅图16，示例地，对第一类子单元UA中的两个第一颜色感光像素A接收光线后生成的两个电信号进行求和值或均值以获得一个第一彩色原始图像数据；分别对两个第二类子单元UB中的两个第二颜色感光像素B接收光线后生成的两个电信号求和值或均值以获得两个第一彩色原始图像数据；对第三类子单元UC中的两个第三颜色感光像素C接收光线后生成的两个电信号求和值或均值以获得一个第一彩色原始图像数据。这四个第一彩色原始图像数据共同组成第一彩色原始图像中的一个第一图像单元，该第一图像单元中的多个图像像素以ABBC的形式排布。对第一类子单元UA中的两个全色感光像素W接收光线后生成的两个电信号与该子单元中的两个第一颜色感光像素A接收光线后生成的两个电信号求和值或均值以获得一个第二彩色原始图像数据；分别对两个第二类子单元UB中的两个全色感光像素W接收光线后生成的两个电信号与该子单元中的两个第二颜色感光像素B接收光线后生成的两个电信号求和值或均值以获得两个第二彩色原始图像数据；对第三类子单元UC中的两个全色感光像素W接收光线后生成的两个电信号与该子单元中的两个第三颜色感光像素C接收光线后生成的两个电信号求和值或均值获得以一个第二彩色原始图像数据；这四个第二原始图像数据共同组成第二彩色原始图像中的一个第二图像单元，该第二图像单元中的多个图像像素以ABBC的形式排布。
需要说明的是，在另一个例子中，当每个子单元包括一个彩色感光像素时，该一个彩色感光像素接收光线后生成的一个电信号作为一个第一彩色原始图像数据，该一个彩色感光像素接收光线后生成的一个电信号与所有全色感光像素接收光线后生成的电信号的和值或均值作为一个第二彩色原始图像数据。在又一个例子中，当每个子单元包括一个全色感光像素W时，该一个全色感光像素W接收光线后生成的一个电信号与该子单元中的所有彩色感光像素接收光线后生成的所有电信号的和值或均值作为一个第二彩色原始图像数据。
请参阅图1及图17，图像传感器10获得第一彩色原始图像及第二彩色原始图像之后，对第一彩色原始图像进行插值处理以分别得到各个颜色通道的第一插值图像，对第二彩色原始图像进行插值处理以得到至少一个颜色通道的第二插值图像。
在一个例子中，第一彩色原始图像进行插值处理的参考区域112大小可以是7x7的区域(图17所示)，A表示第一彩色原始图像中的第一颜色感光像素；B表示第一彩色原始图像中的第二颜色感光像素；C表示第一彩色原始图像中的第三颜色感光像素。基于局部色差恒常和沿插值方向的相邻像素插值恒常的原理，可以使用去马赛克算法对第一彩色原始图像进行插值处理以得到第二颜色通道的第一插值图像。若第一彩色原始图像中的像素点具有第二颜色通道的图像数据时，则第一彩色原始图像中的像素点的第二颜色通道的图像数据即为第二颜色通道的第一插值图像中对应的像素点的图像数据，例如B12'＝B12。若第一彩色原始图像中的像素点具有第一颜色通道或第三颜色通道的图像数据时，则需要进行插值处理，例如：对第一彩色原始图像中具有第三颜色通道的图像数据的像素C44进行插值处理，通过如下两个关系式可以得出C44处缺失的第二颜色感光像素B44'，通过插值方式补齐得到第二颜色通道的第一插值图像。
Figure BDA0003297322060000101
Figure BDA0003297322060000102
Figure BDA0003297322060000103
Figure BDA0003297322060000104
以及：
Figure BDA0003297322060000105
Figure BDA0003297322060000106
Figure BDA0003297322060000111
Figure BDA0003297322060000112
通过两个关系式可以得到C44处缺失的第二颜色感光像素B44'：
Figure BDA0003297322060000113
对第一彩色原始图像中具有第一颜色通道的图像数据的像素进行插值处理以获得第二颜色通道的第一插值图像，与对具有第三颜色通道的图像数据的像素进行插值处理以获得第二颜色通道的第一插值图像类似，在此不做赘述。
在另一个例子中，第一彩色原始图像进行插值处理的参考区域113大小为7x7的区域(图18所示)，A表示第一彩色原始图像中的第一颜色感光像素；B表示第一彩色原始图像中的第二颜色感光像素；C表示第一彩色原始图像中的第三颜色感光像素。基于局部色差恒常和沿插值方向的相邻像素插值恒常的原理，可以使用去马赛克算法对第一彩色原始图像进行插值处理以得到第一颜色通道的第一插值图像。若第一彩色原始图像中的像素点具有第一颜色通道的图像数据时，则第一彩色原始图像中的像素点的第一颜色通道的图像数据即为第一颜色通道的第一插值图像中对应的像素点的图像数据，例如A11'＝A11。若第一彩色原始图像中的像素点具有第三颜色通道的图像数据时，则需要进行插值处理，例如：对像素C44进行插值处理，通过如下两个关系式可以得出C44处缺失的第二颜色感光像素A44'，通过插值方式补齐得到第一颜色通道的第一插值图像。其中，像素B33'、B35'、B44'、B53'、B55'的图像数据可以通过图17所示的计算方式得到。
Figure BDA0003297322060000114
Figure BDA0003297322060000115
Figure BDA0003297322060000116
Figure BDA0003297322060000117
以及：
Figure BDA0003297322060000118
Figure BDA0003297322060000119
Figure BDA0003297322060000121
Figure BDA0003297322060000122
通过两个关系式可以得到C44处缺失的第二颜色感光像素A44'：
Figure BDA0003297322060000123
请再次参阅图18，对第一彩色原始图像进行插值处理以得到第一颜色通道的第一插值图像，若第一彩色原始图像中的像素点具有第二颜色通道的图像数据时，则需要进行插值处理，例如：对像素B34进行插值处理，通过如下两个关系式可以得出B34处缺失的第一颜色感光像素A34'，通过插值方式补齐得到第一颜色通道的第一插值图像。
Figure BDA0003297322060000124
Figure BDA0003297322060000125
Figure BDA0003297322060000126
Figure BDA0003297322060000127
Figure BDA0003297322060000128
上述例子中，对第一彩色原始图像中具有第二颜色通道的图像数据的像素进行插值处理以获得第一颜色通道的插值图像的加权方向为左右两方向加权，例如：计算B34处缺失的第一颜色感光像素A34'的加权方向为左右两方向加权；第一彩色原始图像中具有第二颜色通道的图像数据的像素进行插值处理以获得第一颜色通道的插值图像的加权方向还可以为上下两方向加权，例如：计算B45处缺失的第一颜色感光像素A45'的加权方向为上下两方向加权。左右两方向加权的计算方式与上下两方向加权的计算方式类似，在此不做赘述。
基于局部色差恒常和沿插值方向的相邻像素插值恒常的原理，还可以使用去马赛克算法对第一彩色原始图像进行插值处理以得到第三颜色通道的第一插值图像，若第一彩色原始图像中的像素点具有第三颜色通道的图像数据时，则第一彩色原始图像中的像素点的第三颜色通道的图像数据即为第三颜色通道的第一插值图像中对应的像素点的图像数据。若第一彩色原始图像中的像素点具有第一颜色通道或第二颜色通道的图像数据时，则需要进行插值处理。对第一彩色原始图像中具有第一颜色通道的图像数据的像素进行插值处理以获得第三颜色通道的第一插值图像，与对具有第三颜色通道的图像数据的像素进行插值处理以获得第一颜色通道的插值图像类似，在此不做赘述。对第一彩色原始图像中具有第二颜色通道的图像数据的像素进行插值处理以获得第三颜色通道的第一插值图像，与对具有第二颜色通道的图像数据的像素进行插值处理以获得第一颜色通道的插值图像类似，在此不做赘述。
在本申请实施方式中，处理器20也可以使用去马赛克算法对第二彩色原始图像进行插值处理以得到至少一个颜色通道的第二插值图像。处理器20可以通过与图17及图18所示实施例类似的方式对二彩色原始图像进行插值处理可以得到第一颜色通道的第二插值图像、第二颜色通道的第二插值图像及第三颜色通道的第二插值图像，在此不再详细说明。
在某些实施方式中，第一彩色原始图像和第二彩色原始图像进行插值处理的参考区域构成的窗口的形状既可以为方形，也可以为矩形等其他形状，在此不作限制；第一彩色原始图像和第二彩色原始图像进行插值处理的参考区域大小可以为3x3、4x4、5x5、3x5、5x7、7x7、9x5等在此也不作限制。在某些实施方式中，第一彩色原始图像和第二彩色原始图像的插值方式还可以是其他常用的去马赛克算法，例如：近邻内插法、线性插值法、三次插值法、高质量线性插值法、平滑色调过渡插值、图案识别插值、自适应彩色平面插值、基于方向加权梯度的插值算法等。
在某些实施方式中，图像传感器10获得第一插值图像及第二插值图像之后，将第二插值图像分别与各个颜色通道的第一插值图像融合以得到各个颜色通道的融合图像。在一个例子中，可以使用第二颜色通道的第二插值图像分别与各个颜色通道的第一插值图像融合以得到各个颜色通道的融合图像：第二颜色通道的第二插值图像与第一颜色通道的第一插值图像进行融合得到第一颜色通道的融合图像；第二颜色通道的第二插值图像与第二颜色通道的第一插值图像进行融合得到第二颜色通道的融合图像；第二颜色通道的第二插值图像与第三颜色通道的第一插值图像进行融合得到第三颜色通道的融合图像，然后根据各个颜色通道的融合图像得到目标图像。
在某些实施方式中，在获得的各个颜色通道的第一插值图像和至少一个颜色通道的第二插值图像之后，可以对各个颜色通道的第一插值图像和至少一个颜色通道的第二插值图像执行后续处理。具体地，处理器20可以对各个颜色通道的第一插值图像进行滤波处理以得到各个颜色通道的第一滤波图像，第一滤波图像由多个第一滤波图像数据组成。处理器20还可以对至少一个颜色通道的第二插值图像进行滤波处理以得到第二滤波图像，第二滤波图像由多个第二滤波图像数据组成。
在某些实施方式中，处理器20可以通过以下方式对各个颜色通道的第一插值图像进行滤波处理以得到各个颜色通道的第一滤波图像。具体地，处理器20可以确定第一颜色通道的第一插值图像中的第一待滤波图像像素和第一待滤波区域，第一待滤波图像像素位于第一待滤波区域内。处理器20可以确定第二插值图像中的第一参考图像像素和第一参考区域，第一参考图像像素与第一待滤波图像像素对应，第一参考区域与第一待滤波区域对应。例如：处理器20对第一颜色通道的第一插值图像进行滤波处理(如图19所示)，处理器20确定像素A44'为第一待滤波图像像素，随后，处理器20可以根据第一待滤波图像像素A44'确定第一待滤波区域116。处理器20可以确定第二插值图像中的第一参考图像像素B'44'和第一参考区域119，第一参考图像像素B'44'与第一颜色通道的第一待滤波图像像素A44'对应；第一参考区域119与第一颜色通道的第一待滤波区域116对应。需要说明的是，第一颜色通道的第一待滤波图像像素A44'可以位于第一颜色通道的第一待滤波区域116内的任意位置；第一参考区域119构成的窗口的形状既可以为方形，也可以为矩形等其他形状，在此不作限制；第一参考区域119的大小可以为3x3、4x4、5x5、3x5、5x7、7x7、9x5等，在此也不作限制。在本实施例中，第一参考区域119为3x3的区域。第一参考区域119中的多个第一图像像素包括：B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'，随后，处理器20计算第一参考区域119中的多个第一图像像素即B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'相对于第一参考图像像素B'44'的权重，权重包括空间域的权重及像素范围域的权重，再根据多个第一图像像素即B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'的权重及第一颜色通道的第一待滤波区域116对应的像素点的像素值对第一颜色通道的第一待滤波图像像素的像素值进行修正以得到第一颜色通道的第一滤波图像数据。
请再次参阅图21，处理器20可以根据权重函数f(||p-q||)来计算多个第一图像像素：B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'相对于第一参考图像像素B'44'的空间域权重，其中，p为第一参考图像像素B'44'在第一参考区域119中的坐标，q为第一参考区域119内多个第一图像像素B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'的坐标，f为空间域的权重函数。其中，第一参考图像像素B'44'与多个第一图像像素的坐标差异越小(即第一参考图像像素B'44'越靠近多个第一图像像素)，第一参考图像像素B'44'相对于多个第一图像像素的空间域权重越高。处理器20可以根据权重函数
Figure BDA0003297322060000131
计算多个第一图像像素：B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'相对于第一参考图像像素B'44'的范围域权重，其中，
Figure BDA0003297322060000132
为第一参考图像像素B'44'的第一插值图像数据(也可理解为像素值)，
Figure BDA0003297322060000141
为多个第一图像像素：B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'的第一插值图像数据(也可理解为像素值)，g为像素范围域的权重函数。其中，第一参考图像像素B'44'的第一插值图像数据与多个第一图像像素的第一插值图像数据之间的差异越大，则范围域权重越小。
在获得多个第一图像像素的权重后，处理器20可以根据多个第一图像像素的权重及第一颜色通道的第一待滤波区域对应的像素点的像素值对第一颜色通道的第一待滤波图像像素的像素值进行修正以得到第一颜色通道的第一滤波图像数据。请一并参阅图19和图20，处理器20可以根据公式
Figure BDA0003297322060000142
进行计算，其中，
Figure BDA0003297322060000143
Jp为第一颜色通道的第一滤波图像数据(也即输出像素值)，kp为第一参考区域119权重总和，Ω为滤波窗口，Iq为第一待滤波区域116对应的像素点：A33'、A34'、A35'、A43'、A44'、A45'、A53'、A54'、A55'的像素值。如此，处理器20即可计算出第一待滤波区域116内第一待滤波图像像素A33'、A34'、A35'、A43'、A44'、A45'、A53'、A54'、A55'的第一滤波图像数据：A33”、A34”、A35”、A43”、A44”、A45”、A53”、A54”、A55”。处理器20可以遍历第一颜色通道的第一插值图像中的每一个图像像素以得到多个第一颜色通道的第一滤波图像数据，也即是说，处理器20可以将第一颜色通道的第一插值图像中的每一个图像像素均确定为第一待滤波图像像素，并对每一个图像像素执行图20所示的实施例的滤波处理，从而得到对应该图像像素的第一颜色通道的第一滤波图像数据。在获得多个第一颜色通道的第一滤波图像数据后，多个第一颜色通道的第一滤波图像数据即可组成第一颜色通道的第一滤波图像。
可以理解，对各个颜色通道的第一插值图像进行滤波处理以得到各个颜色通道的第一滤波图像。其中，第一滤波图像由多个第一滤波图像数据组成，可以通过第二插值图像中的第一图像像素的权重及第一待滤波区域对应的像素点的像素值进行修正以得到所述第一滤波图像数据。第二插值图像是对具有全色感光像素W和至少一个颜色通道第二彩色原始图像插值得到的，因此使用第二插值图像中的第一图像像素的权重对各个颜色通道的第一插值图像进行滤波处理可以使各个颜色通道的第一滤波图像拥有更高的进光量和清晰度，同时计算得出的第一滤波图像数据更加精确。
同样地，处理器20也可以对第二颜色通道的第一插值图像进行滤波处理。例如：处理器20确定像素B44'为第一待滤波图像像素，处理器20可以根据第一待滤波图像像素B44'确定第二颜色通道的第一待滤波区域117(如图21所示)。处理器20可以确定第二插值图像中的第一参考图像像素B'44'和第一参考区域119，第一参考图像像素B'44'与第二颜色通道的第一待滤波图像像素B44'对应；第一参考区域119与第二颜色通道的第一待滤波区域117对应。处理器20计算第一参考区域119中的多个第一图像像素即B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'相对于第一参考图像像素B'44'的权重，权重包括空间域的权重及像素范围域的权重，再根据多个第一图像像素的权重及第二颜色通道的第一待滤波区域117对应的像素点的像素值对第二颜色通道的第一待滤波图像像素的像素值进行修正以得到第二颜色通道的第一滤波图像数据。处理器20可以通过与图20所示实施例类似的方式来对第二颜色通道的第一插值图像进行滤波处理，以得到第二颜色通道的第一滤波图像，在此不再详述。
同样地，处理器20也可以对第三颜色通道的第一插值图像进行滤波处理。例如：处理器20确定像素C44'为第一待滤波图像像素，处理器20可以根据第一待滤波图像像素C44'确定第三颜色通道的第一待滤波区域118(如图22所示)。处理器20可以确定第二插值图像中的第一参考图像像素B'44'和第一参考区域119，第一参考图像像素B'44'与第三颜色通道的第一待滤波图像像素C44'对应；第一参考区域119与第三颜色通道的第一待滤波区域118对应。处理器20计算第一参考区域119中的多个第一图像像素即B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'相对于第一参考图像像素B'44'的权重，权重包括空间域的权重及像素范围域的权重，再根据多个第一图像像素的权重及第三颜色通道的第一待滤波区域118对应的像素点的像素值对第三颜色通道的第一待滤波图像像素的像素值进行修正以得到第三颜色通道的第一滤波图像数据。处理器20可以通过与图20所示实施例类似的方式来对第三颜色通道的第一插值图像进行滤波处理，以得到第三颜色通道的第一滤波图像，在此不再详述。
第二滤波图像由多个第二滤波图像数据组成，对第二插值图像进行滤波处理以得到第二滤波图像。具体地，处理器20可以确定第二插值图像中的第二待滤波图像像素和第二待滤波区域，第二待滤波图像像素位于第二待滤波区域内，处理器20可以计算第二待滤波区域中的多个第二图像像素相对于第二待滤波图像像素的权重，权重包括空间域的权重及像素范围域的权重。随后，处理器20可以根据多个第二图像像素的像素值及权重对第二待滤波图像像素的像素值进行修正以得到第二滤波图像数据，处理器20可以遍历第二插值图像中的每一个图像像素以得到多个第二滤波图像数据。例如：处理器20对第二颜色通道的第二插值图像进行滤波处理(如图23所示)，处理器20可以确定第二颜色通道的第二插值图像中的像素B'44'为第二颜色通道的第二待滤波图像像素，随后，处理器可以根据第二颜色通道的第二待滤波图像像素B'44'确定第二颜色通道的第二待滤波区域119，需要说明的是，第二颜色通道的第二待滤波图像像素B'44'可以位于第二颜色通道的第二待滤波区域119内的任意位置；第二颜色通道的第二待滤波区域119构成的窗口的形状既可以为方形，也可以为矩形等其他形状，在此不作限制；第二颜色通道的第二待滤波区域119大小可以为3x3、4x4、5x5、3x5、5x7、7x7、9x5等，在此也不作限制。在本实施例中，第二颜色通道的第二待滤波区域119为3x3的区域。第二颜色通道的第二待滤波区域119中的多个第二颜色通道的第二参考图像像素还包括：B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'，随后，处理器20计算多个第二颜色通道的第二参考图像像素：B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'相对于第二颜色通道的第二待滤波图像像素B'44'的权重，权重包括空间域的权重及像素范围域的权重。具体地，处理器20可以根据权重函数f(||p-q||)来计算多个第二颜色通道的第二参考图像像素：B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'相对于第二颜色通道的第二待滤波图像像素B'44'的空间域权重，其中，p为第二颜色通道的第二待滤波图像像素B'44'在第二颜色通道的第二待滤波区域119中的坐标，q为第二颜色通道的第二待滤波区域119内多个第二颜色通道的第二参考图像像素：B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'的坐标，f为空间域的权重函数。其中，第二颜色通道的第二待滤波图像像素B'44'与多个第二颜色通道的第二参考图像像素的坐标差异越小(即第二颜色通道的第二待滤波图像像素B'44'越靠近多个第二颜色通道的第二参考图像像素)，第二颜色通道的第二待滤波图像像素B'44'相对于多个第二颜色通道的第二参考图像像素的空间域权重越高。处理器20可以根据权重函数
Figure BDA0003297322060000151
计算多个第二颜色通道的第二参考图像像素：B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'相对于第二颜色通道的第二待滤波图像像素B'44'的范围域权重，其中，
Figure BDA0003297322060000152
为第二颜色通道的第二待滤波图像像素B'44'的第二插值图像数据(也可理解为像素值)，
Figure BDA0003297322060000153
为多个第二颜色通道的第二参考图像像素：B'33'、B'34'、B'35'、B'43'、B'44'、B'45'、B'53'、B'54'、B'55'的第二插值图像数据(也可理解为像素值)，g为像素范围域的权重函数。其中，第二颜色通道的第二待滤波图像像素B'44'的第二插值图像数据与多个第二颜色通道的第二参考图像像素的第二插值图像数据之间的差异越大，则范围域权重越小。随后，处理器20可以根据多个第二颜色通道的第二参考图像像素的像素值及权重对第二颜色通道的第二待滤波图像像素的像素值进行修正以得到第二颜色通道的第二滤波图像数据，具体地：处理器20可以根据公式
Figure BDA0003297322060000154
进行计算，其中，
Figure BDA0003297322060000155
Jp为第二颜色通道的第二滤波图像数据(也即输出像素值)，kp为第二颜色通道的第二待滤波区域119权重总和，Ω为滤波窗口，Iq为第二颜色通道的第二待滤波图像像素点的像素值。处理器20可以遍历第二颜色通道的第二插值图像中的每一个图像像素以得到多个第二颜色通道的第二滤波图像数据，处理器20可以将多个第二颜色通道的第二滤波图像数据组成第二颜色通道的第二滤波图像。
处理器20也可以通过与图23所示实施例类似的方式来对第一颜色通道的第二插值图像及第三颜色通道的第二插值图像进行滤波处理以得到第一颜色通道的第二滤波图像及第三颜色通道的第二滤波图像，在此不再详述。
本申请实施方式中，通过对第一插值图像及第二插值图像进行滤波处理，使滤波后的图像中平坦的区域更平滑，同时又保护了图像边缘区域不被模糊从而更加凸显，更有利于提升摄像头组件100(图1所示)的成像质量。
处理器20在对各个颜色通道的第一插值图像进行滤波处理以得到各个颜色通道的第一滤波图像；对至少一个颜色通道的第二插值图像进行滤波处理以得到至少一个颜色通道的第二滤波图像之后，处理器20还可以使第二滤波图像分别与各个颜色通道的第一滤波图像融合以得到各个颜色通道的融合图像，融合图像由多个融合图像数据组成。例如：
处理器20可以根据第一滤波图像数据、第二滤波图像数据和插值图像数据计算获得融合图像数据。其中，融合图像数据与第一滤波图像数据呈正相关，融合图像数据与第二滤波图像数据呈负相关，融合图像数据与插值图像数据呈正相关。随后，处理器20可以遍历第一滤波图像中的每一个图像像素以得到多个融合图像数据。例如：第二颜色通道的第二插值图像中预设像素点的图像数据为b1、第一颜色通道的第一滤波图像中与预设像素点对应的像素点的图像数据为a、第二颜色通道的第一滤波图像中与预设像素点对应的像素点的图像数据为b、第三颜色通道的第一滤波图像中与预设像素点对应的像素点的图像数据为c、第二颜色通道的第二滤波图像数据为b2，可以得出：第一颜色通道的融合图像数据为ab1/b2、第二颜色通道的融合图像数据为bb1/b2、第三颜色通道的融合图像数据为cb1/b2。
在另一个实施例中，第一颜色通道的第二插值图像中预设像素点的图像数据为a1、第二颜色通道的第二插值图像中预设像素点的图像数据为b1、第三颜色通道的第二插值图像中预设像素点的图像数据为c1，第一颜色通道的第一滤波图像中与预设像素点对应的像素点的图像数据为a、第二颜色通道的第一滤波图像中与预设像素点对应的像素点的图像数据为b，第三颜色通道的第一滤波图像中与预设像素点对应的像素点的图像数据为c、第一颜色通道的第二滤波图像数据为a2、第二颜色通道的第二滤波图像数据为b2、第三颜色通道的第二滤波图像数据为c2，可以得出：第一颜色通道的融合图像数据为aa1/a2、第二颜色通道的融合图像数据为bb1/b2、第三颜色通道的融合图像数据为cc1/c2。
在某些实施方式中，第一滤波图像数据大于预设像素值时，处理器20可以将第一滤波图像数据确定为融合图像数据。在第一滤波图像数据小于所述预设像素值时，处理器20可以根据第一滤波图像数据、第二滤波图像数据和插值图像数据计算获得融合图像数据。其中，融合图像数据与第一滤波图像数据呈正相关，融合图像数据与第二滤波图像数据呈负相关，融合图像数据与插值图像数据呈正相关。例如：图像传感器10为10bit图像传感器，处理器20可以设置预设像素值为959，若第一滤波图像数据大于预设像素值959，则认为第一滤波图像数据处于过曝状态，处理器20对第一滤波图像数据不进行融合处理，处理器20直接将第一滤波图像数据确定为融合图像数据。若第一滤波图像数据小于预设像素值959，处理器20则根据第一滤波图像数据、第二滤波图像数据和插值图像数据计算获得融合图像数据。
在获得各个颜色通道的融合图像后，可以将各个颜色通道的融合图像直接转换成YUV图像以作为目标图像，也可以取各个颜色通道的融合图像中的像素点以形成拜耳阵列的目标图像，再将目标图像传输至图像处理器(ISP)中进行处理。在一个实施例中，处理器20可以包括处理电路及ISP，处理电路集成于图像传感器10中并用于实现本申请实施方式的图像获取方法，在获得目标图像后，再将目标图像传输至ISP中，ISP执行后续的图像处理。
可以理解，各个颜色通道的融合图像得到的目标图像可以通过第一彩色原始图像及第二彩色原始图像的插值处理、滤波处理、融合处理后得到的，目标图像借助全色感光像素W来进行融合处理，全色感光像素W拥有更高的进光量，因此使得目标图像的信噪比更高，清晰度也更好；在本实施例中第一彩色原始图像通过融合的方式继承了第二彩色原始图像较高的的信噪比和清晰度，从而可以提升夜晚下的拍照效果及图像的质量。
综上，本申请实施方式的摄像头组件100通过像素阵列11曝光以获得仅包括彩色颜色通道的图像数据的第一彩色原始图像及同时包括彩色颜色通道和全色颜色通道的图像数据的第二彩色原始图像，并对第一彩色原始图像及第二彩色原始图像进行插值处理、滤波处理及融合处理，以借助全色颜色通道的图像数据来提高图像的信噪比和清晰度，从而可以提升暗环境下拍摄的图像的质量，还可以使图像中平坦的区域更平滑，边缘区域更加凸显从而进步提升图像的质量。
请参阅图24，本申请还提供一种移动终端300。移动终端300包括上述任意一项实施方式所述的摄像头组件100及壳体200。摄像头组件100与壳体200结合。
移动终端300可以是手机、平板电脑、笔记本电脑、智能穿戴设备(例如智能手表、智能手环、智能眼镜、智能头盔)、无人机、头显设备等，在此不作限制。
本申请实施方式的移动终端300通过像素阵列11曝光以获得仅包括彩色颜色通道的图像数据的第一彩色原始图像及同时包括彩色颜色通道和全色颜色通道的图像数据的第二彩色原始图像，并对第一彩色原始图像及第二彩色原始图像进行融合，以借助全色颜色通道的图像数据来提高图像的信噪比和清晰度，从而可以提升暗环境下拍摄的图像的质量。
请参阅图1、图2、图5及图25，本申请还提供一种可以用于上述任意一项实施方式所述的图像传感器10的图像获取方法。图像获取方法包括：
01：像素阵列11曝光以获得第一彩色原始图像及第二彩色原始图像，第一彩色原始图像由多个第一彩色原始图像数据组成，每个第一彩色原始图像数据由一个子单元中的至少一个彩色感光像素生成，第二彩色原始图像由多个第二彩色原始图像数据组成，每个第二彩色原始图像数据由一个子单元中的至少一个全色感光像素W及至少一个彩色感光像素生成；及
02：对第一彩色原始图像进行插值处理以分别得到各个颜色通道的第一插值图像，对第二彩色原始图像进行插值处理以得到至少一个颜色通道的第二插值图像；
03：将第二插值图像分别与各个颜色通道的第一插值图像融合以得到各个颜色通道的融合图像；及
04：根据各个颜色通道的融合图像得到目标图像。
在某些实施方式中，图像获取方法还包括：
对各个颜色通道的第一插值图像进行滤波处理以得到各个颜色通道的第一滤波图像；及
对第二插值图像进行滤波处理以得到第二滤波图像；
将第二插值图像分别与各个颜色通道的第一插值图像融合以得到各个颜色通道的融合图像。
步骤04根据各个颜色通道的融合图像得到目标图像，包括：
将第二滤波图像分别与各个颜色通道的第一滤波图像融合以得到各个颜色通道的融合图像。
请参阅图18，在某些实施方式中，步骤对各个颜色通道的第一插值图像进行滤波处理以得到各个颜色通道的第一滤波图像，包括：
确定第一插值图像中的第一待滤波图像像素和第一待滤波区域，第一待滤波图像像素位于第一待滤波区域内；
确定第二插值图像中的第一参考图像像素和第一参考区域，第一参考图像像素与第一待滤波图像像素对应，第一参考区域与第一待滤波区域对应；
计算第一参考区域中的多个第一图像像素相对于第一参考图像像素的权重，权重包括空间域的权重及像素范围域的权重；
根据多个第一图像像素的权重及第一待滤波区域对应的像素点的像素值对所第一待滤波图像像素的像素值进行修正以得到第一滤波图像数据；及
遍历第一插值图像中的每一个图像像素以得到多个第一滤波图像数据。
在某些实施方式中，步骤对第二插值图像进行滤波处理以得到第二滤波图像包括：
确定第二插值图像中的第二待滤波图像像素；
确定第二插值图像中的第二待滤波区域，第二待滤波图像像素位于第二待滤波区域内；
计算第二待滤波区域中的多个第二图像像素相对于第二待滤波图像像素的权重，权重包括空间域的权重及像素范围域的权重；
根据多个第二图像像素的像素值及权重对第二待滤波图像像素的像素值进行修正以得到第二滤波图像数据；及
遍历第二插值图像中的每一个图像像素以得到多个第二滤波图像数据。
在某些实施方式中，步骤将第二滤波图像分别与各个颜色通道的第一滤波图像融合以得到各个颜色通道的融合图像，包括：
根据述第一滤波图像数据、第二滤波图像数据和插值图像数据计算获得融合图像数据，融合图像数据与第一滤波图像数据呈正相关，融合图像数据与第二滤波图像数据呈负相关，融合图像数据与插值图像数据呈正相关；
遍历第一滤波图像中的每一个图像像素以得到多个融合图像数据。
在某些实施方式中，步骤将第二滤波图像分别与各个颜色通道的第一滤波图像融合以得到各个颜色通道的融合图像，还包括：
在第一滤波图像数据大于预设像素值时，将第一滤波图像数据确定为融合图像数据；
在第一滤波图像数据大于预设像素值时，根据第一滤波图像数据、第二滤波图像数据和插值图像数据计算获得所述融合图像数据，融合图像数据与第一滤波图像数据呈正相关，融合图像数据与第二滤波图像数据呈负相关，融合图像数据与插值图像数据呈正相关。
请参阅图13，在某些实施方式中，每个子单元包括多个彩色感光像素时，该多个彩色感光像素接收光线后生成的多个电信号的和值或均值作为一个第一彩色原始图像数据。
请参阅图14，在某些实施方式中，每个子单元包括一个全色感光像素W时，该一个全色感光像素W接收光线后生成的一个电信号与该子单元中的所有彩色感光像素接收光线后生成的所有电信号的和值或均值作为一个第二彩色原始图像数据。
请参阅图5，每个子单元包括多个全色感光像素时，该多个全色感光像素接收光线后生成的多个电信号与该子单元中的所有彩色感光像素接收光线后生成的所有电信号的和值或均值作为一个第二彩色原始图像数据。
上述任意一项实施方式所述的图像获取方法的具体实施过程与前述描写摄像头组件100(图1所示)获取第一彩色原始图像及第二彩色原始图像并进行插值处理以分别得到各个颜色通道的第一插值图像和至少一个颜色通道的第二插值图像，将第二插值图像分别与各个颜色通道的第一插值图像融合以得到各个颜色通道的融合图像，根据各个颜色通道的融合图像得到目标图像的具体实施过程相同，在此不再展开说明。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (14)

1.一种图像获取方法，用于图像传感器，其特征在于，所述图像传感器包括像素阵列，所述像素阵列包括多个子单元，每个所述子单元包括至少一个全色感光像素及至少一个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应；所述像素阵列曝光以获得第一彩色原始图像及第二彩色原始图像，所述第一彩色原始图像由多个第一彩色原始图像数据组成，每个所述第一彩色原始图像数据由一个所述子单元中的所述至少一个彩色感光像素生成，所述第二彩色原始图像由多个第二彩色原始图像数据组成，每个所述第二彩色原始图像数据由一个所述子单元中的所述至少一个全色感光像素及所述至少一个彩色感光像素生成；所述图像获取方法包括：
对所述第一彩色原始图像进行插值处理以得到多个第一插值图像，每个所述第一插值图像分别对应一个颜色通道，对所述第二彩色原始图像进行插值处理以得到至少一个颜色通道的第二插值图像；
将所述第二插值图像分别与各个颜色通道的所述第一插值图像融合以得到各个颜色通道的融合图像；及
根据各个颜色通道的融合图像得到目标图像。
2.根据权利要求1所述的图像获取方法，其特征在于，所述图像获取方法还包括：
对各个颜色通道的所述第一插值图像进行滤波处理以得到各个颜色通道的第一滤波图像；及
对所述第二插值图像进行滤波处理以得到第二滤波图像；
所述将所述第二插值图像分别与各个颜色通道的所述第一插值图像融合以得到各个颜色通道的融合图像，包括：
将所述第二滤波图像分别与各个颜色通道的所述第一滤波图像融合以得到各个颜色通道的融合图像。
3.根据权利要求2所述的图像获取方法，其特征在于，所述第一滤波图像由多个第一滤波图像数据组成，所述对各个颜色通道的所述第一插值图像进行滤波处理以得到各个颜色通道的第一滤波图像，包括：
确定所述第一插值图像中的第一待滤波图像像素和第一待滤波区域，所述第一待滤波图像像素位于所述第一待滤波区域内；
确定所述第二插值图像中的第一参考图像像素和第一参考区域，所述第一参考图像像素与所述第一待滤波图像像素对应，所述第一参考区域与所述第一待滤波区域对应；
计算所述第一参考区域中的多个第一图像像素相对于所述第一参考图像像素的权重，所述权重包括空间域的权重及像素范围域的权重；
根据所述多个第一图像像素的所述权重及所述第一待滤波区域对应的像素点的像素值对所述第一待滤波图像像素的像素值进行修正以得到所述第一滤波图像数据；及
将所述第一插值图像中的每一个图像像素均确定为所述第一待滤波图像像素，并执行上述滤波处理以得到多个所述第一滤波图像数据。
4.根据权利要求2所述的图像获取方法，其特征在于，所述第二滤波图像由多个第二滤波图像数据组成，对所述第二插值图像进行滤波处理以得到第二滤波图像，包括：
确定所述第二插值图像中的第二待滤波图像像素；
确定所述第二插值图像中的第二待滤波区域，所述第二待滤波图像像素位于所述第二待滤波区域内；
计算所述第二待滤波区域中的多个第二图像像素相对于所述第二待滤波图像像素的权重，所述权重包括空间域的权重及像素范围域的权重；
根据所述多个第二图像像素的像素值及所述权重对所述第二待滤波图像像素的像素值进行修正以得到所述第二滤波图像数据；及
将所述第二插值图像中的每一个图像像素均确定为所述第二待滤波图像像素，并执行上述滤波处理以得到多个所述第二滤波图像数据。
5.根据权利要求2所述的图像获取方法，其特征在于，所述第一滤波图像由多个第一滤波图像数据组成，所述第二滤波图像由多个第二滤波图像数据组成，所述第二插值图像由多个插值图像数据组成，所述融合图像由多个融合图像数据组成，所述将所述第二滤波图像分别与各个颜色通道的所述第一滤波图像融合以得到各个颜色通道的融合图像，包括：
根据所述第一滤波图像数据、所述第二滤波图像数据和所述插值图像数据计算获得所述融合图像数据，所述融合图像数据与所述第一滤波图像数据呈正相关，所述融合图像数据与第二滤波图像数据呈负相关，所述融合图像数据与所述插值图像数据呈正相关；
处理所述第一滤波图像中的每一个图像像素以得到多个所述融合图像数据。
6.根据权利要求1所述的图像获取方法，其特征在于，每个所述子单元包括一个所述彩色感光像素时，该一个所述彩色感光像素接收光线后生成的一个电信号作为一个所述第一彩色原始图像数据；
每个所述子单元包括多个所述彩色感光像素时，该多个所述彩色感光像素接收光线后生成的多个电信号的和值或均值作为一个所述第一彩色原始图像数据；
每个所述子单元包括一个所述全色感光像素时，该一个所述全色感光像素接收光线后生成的一个电信号与该子单元中的所有所述彩色感光像素接收光线后生成的所有电信号的和值或均值作为一个所述第二彩色原始图像数据；
每个所述子单元包括多个所述全色感光像素时，该多个所述全色感光像素接收光线后生成的多个电信号与该子单元中的所有所述彩色感光像素接收光线后生成的所有电信号的和值或均值作为一个所述第二彩色原始图像数据。
7.一种摄像头组件，其特征在于，包括：
图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括多个子单元，每个所述子单元包括至少一个全色感光像素及至少一个彩色感光像素，所述彩色感光像素具有比所述全色感光像素更窄的光谱响应；所述像素阵列曝光以获得第一彩色原始图像及第二彩色原始图像，所述第一彩色原始图像由多个第一彩色原始图像数据组成，每个所述第一彩色原始图像数据由一个所述子单元中的所述至少一个彩色感光像素生成，所述第二彩色原始图像由多个第二彩色原始图像数据组成，每个所述第二彩色原始图像数据由一个所述子单元中的所述至少一个全色感光像素及所述至少一个彩色感光像素生成；及
处理器，所述处理器用于对所述第一彩色原始图像进行插值处理以得到多个第一插值图像，每个所述第一插值图像分别对应一个颜色通道，对所述第二彩色原始图像进行插值处理以得到至少一个颜色通道的第二插值图像；将所述第二插值图像分别与各个颜色通道的所述第一插值图像融合以得到各个颜色通道的融合图像；根据各个颜色通道的融合图像得到目标图像。
8.根据权利要求7所述的摄像头组件，其特征在于，所述处理器还用于：
对各个颜色通道的所述第一插值图像进行滤波处理以得到各个颜色通道的第一滤波图像；
对所述第二插值图像进行滤波处理以得到第二滤波图像；及
将所述第二滤波图像分别与各个颜色通道的所述第一滤波图像融合以得到各个颜色通道的融合图像。
9.根据权利要求8所述的摄像头组件，其特征在于，所述第一滤波图像由多个第一滤波图像数据组成，所述处理器还用于：
确定所述第一插值图像中的第一待滤波图像像素和第一待滤波区域，所述第一待滤波图像像素位于所述第一待滤波区域内；
确定所述第二插值图像中的第一参考图像像素和第一参考区域，所述第一参考图像像素与所述第一待滤波图像像素对应，所述第一参考区域与所述第一待滤波区域对应；
计算所述第一参考区域中的多个第一图像像素相对于所述第一参考图像像素的权重，所述权重包括空间域的权重及像素范围域的权重；
根据所述多个第一图像像素的所述权重及所述第一待滤波区域对应的像素点的像素值对所述第一待滤波图像像素的像素值进行修正以得到所述第一滤波图像数据；及
将所述第一插值图像中的每一个图像像素均确定为所述第一待滤波图像像素，并执行上述滤波处理以得到多个所述第一滤波图像数据。
10.根据权利要求8所述的摄像头组件，其特征在于，所述第二滤波图像由多个第二滤波图像数据组成，所述处理器还用于：
确定所述第二插值图像中的第二待滤波图像像素；
确定所述第二插值图像中的第二待滤波区域，所述第二待滤波图像像素位于所述第二待滤波区域内；
计算所述第二待滤波区域中的多个第二图像像素相对于所述第二待滤波图像像素的权重，所述权重包括空间域的权重及像素范围域的权重；
根据所述多个第二图像像素的像素值及所述权重对所述第二待滤波图像像素的像素值进行修正以得到所述第二滤波图像数据；及
将所述第二插值图像中的每一个图像像素均确定为所述第二待滤波图像像素，并执行上述滤波处理以得到多个所述第二滤波图像数据。
11.根据权利要求8所述的摄像头组件，其特征在于，所述第一滤波图像由多个第一滤波图像数据组成，所述第二滤波图像由多个第二滤波图像数据组成，所述第二插值图像由多个插值图像数据组成，所述融合图像由多个融合图像数据组成，所述处理器还用于：
根据所述第一滤波图像数据、所述第二滤波图像数据和所述插值图像数据计算获得所述融合图像数据，所述融合图像数据与所述第一滤波图像数据呈正相关，所述融合图像数据与第二滤波图像数据呈负相关，所述融合图像数据与所述插值图像数据呈正相关；
处理所述第一滤波图像中的每一个图像像素以得到多个所述融合图像数据。
12.根据权利要求7所述的摄像头组件，其特征在于，每个所述子单元包括一个所述彩色感光像素时，该一个所述彩色感光像素接收光线后生成的一个电信号作为一个所述第一彩色原始图像数据；
每个所述子单元包括多个所述彩色感光像素时，该多个所述彩色感光像素接收光线后生成的多个电信号的和值或均值作为一个所述第一彩色原始图像数据；
每个所述子单元包括一个所述全色感光像素时，该一个所述全色感光像素接收光线后生成的一个电信号与该子单元中的所有所述彩色感光像素接收光线后生成的所有电信号的和值或均值作为一个所述第二彩色原始图像数据；
每个所述子单元包括多个所述全色感光像素时，该多个所述全色感光像素接收光线后生成的多个电信号与该子单元中的所有所述彩色感光像素接收光线后生成的所有电信号的和值或均值作为一个所述第二彩色原始图像数据。
13.根据权利要求7所述的摄像头组件，其特征在于，在每个所述子单元中，所述全色感光像素与所述彩色感光像素交替设置；或
在每个所述子单元中，处于同一行的多个感光像素具有相同的颜色通道；或
在每个所述子单元中，处于同一列的多个感光像素具有相同的颜色通道。
14.一种移动终端，其特征在于，包括：
壳体；及
权利要求7至13任意一项所述的摄像头组件，所述摄像头组件与所述壳体结合。
CN202111181293.4A 2020-07-08 2020-07-08 图像获取方法、摄像头组件及移动终端 Pending CN113766231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111181293.4A CN113766231A (zh) 2020-07-08 2020-07-08 图像获取方法、摄像头组件及移动终端

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111181293.4A CN113766231A (zh) 2020-07-08 2020-07-08 图像获取方法、摄像头组件及移动终端
CN202010651195.1A CN111757006B (zh) 2020-07-08 2020-07-08 图像获取方法、摄像头组件及移动终端

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010651195.1A Division CN111757006B (zh) 2020-07-08 2020-07-08 图像获取方法、摄像头组件及移动终端

Publications (1)

Publication Number Publication Date
CN113766231A true CN113766231A (zh) 2021-12-07

Family

ID=72709999

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111181293.4A Pending CN113766231A (zh) 2020-07-08 2020-07-08 图像获取方法、摄像头组件及移动终端
CN202010651195.1A Active CN111757006B (zh) 2020-07-08 2020-07-08 图像获取方法、摄像头组件及移动终端

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010651195.1A Active CN111757006B (zh) 2020-07-08 2020-07-08 图像获取方法、摄像头组件及移动终端

Country Status (4)

Country Link
US (1) US11812164B2 (zh)
EP (1) EP4161061A4 (zh)
CN (2) CN113766231A (zh)
WO (1) WO2022007469A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113766231A (zh) * 2020-07-08 2021-12-07 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN112261264B (zh) * 2020-10-22 2022-09-02 Oppo广东移动通信有限公司 图像传感器、摄像头组件和电子设备
CN112261391B (zh) * 2020-10-26 2022-01-04 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN112351172B (zh) * 2020-10-26 2021-09-17 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN114584725A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 一种图像传感器及成像装置
CN112702543B (zh) * 2020-12-28 2021-09-17 Oppo广东移动通信有限公司 图像处理方法、图像处理系统、电子设备及可读存储介质
CN113573030B (zh) * 2021-07-01 2023-11-10 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统
CN113840067B (zh) * 2021-09-10 2023-08-18 Oppo广东移动通信有限公司 图像传感器、图像生成方法、装置和电子设备
CN114500850B (zh) * 2022-02-22 2024-01-19 锐芯微电子股份有限公司 图像处理方法及装置、系统、可读存储介质
US11818474B1 (en) * 2022-08-25 2023-11-14 Meta Platforms Technologies, Llc Sparse RGB cameras for image capture

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233763A (zh) * 2005-07-28 2008-07-30 伊斯曼柯达公司 处理彩色和全色像素
CN101652798A (zh) * 2007-03-30 2010-02-17 伊斯曼柯达公司 使用全色像素的边缘映射
US20160344956A1 (en) * 2015-05-19 2016-11-24 Canon Kabushiki Kaisha Imaging apparatus, imaging system, and image processing method
CN111246064A (zh) * 2020-02-19 2020-06-05 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
US20200213564A1 (en) * 2018-12-28 2020-07-02 Canon Kabushiki Kaisha Imaging device and imaging system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2238745A4 (en) * 2007-12-27 2012-02-22 Google Inc IMAGE DEVICE WITH HIGH RESOLUTION AND DIFFICULT FOKUSTIEFE
JP4484944B2 (ja) * 2008-04-01 2010-06-16 富士フイルム株式会社 撮像装置及び撮像装置の駆動方法
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2013066146A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2013150706A1 (ja) * 2012-04-06 2013-10-10 コニカミノルタ株式会社 撮像光学系、撮像装置およびデジタル機器
US9911177B2 (en) * 2015-08-31 2018-03-06 Apple Inc. Applying chroma suppression to image data in a scaler of an image processing pipeline
CN106878605B (zh) * 2015-12-10 2021-01-29 北京奇虎科技有限公司 一种基于电子设备的图像生成的方法和电子设备
JP6758859B2 (ja) * 2016-03-01 2020-09-23 キヤノン株式会社 撮像装置、撮像システム、および画像処理方法
CN111050041B (zh) * 2019-11-25 2021-03-26 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件及移动终端
CN111385543B (zh) * 2020-03-13 2022-02-18 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端及图像获取方法
CN111314592B (zh) * 2020-03-17 2021-08-27 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN111711755B (zh) * 2020-06-28 2022-01-04 Oppo广东移动通信有限公司 图像处理方法及装置、终端和计算机可读存储介质
CN113766231A (zh) * 2020-07-08 2021-12-07 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233763A (zh) * 2005-07-28 2008-07-30 伊斯曼柯达公司 处理彩色和全色像素
CN101652798A (zh) * 2007-03-30 2010-02-17 伊斯曼柯达公司 使用全色像素的边缘映射
US20160344956A1 (en) * 2015-05-19 2016-11-24 Canon Kabushiki Kaisha Imaging apparatus, imaging system, and image processing method
US20200213564A1 (en) * 2018-12-28 2020-07-02 Canon Kabushiki Kaisha Imaging device and imaging system
CN111246064A (zh) * 2020-02-19 2020-06-05 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端

Also Published As

Publication number Publication date
EP4161061A1 (en) 2023-04-05
CN111757006A (zh) 2020-10-09
EP4161061A4 (en) 2023-11-01
CN111757006B (zh) 2021-10-29
WO2022007469A1 (zh) 2022-01-13
US11812164B2 (en) 2023-11-07
US20230138657A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
CN111757006B (zh) 图像获取方法、摄像头组件及移动终端
CN111405204B (zh) 图像获取方法、成像装置、电子设备及可读存储介质
CN112261391B (zh) 图像处理方法、摄像头组件及移动终端
CN111314592B (zh) 图像处理方法、摄像头组件及移动终端
CN111479071B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN110740272B (zh) 图像采集方法、摄像头组件及移动终端
CN111385543B (zh) 图像传感器、摄像头组件、移动终端及图像获取方法
CN111899178B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN111741221B (zh) 图像获取方法、摄像头组件及移动终端
CN112738493B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN112822475B (zh) 图像处理方法、图像处理装置、终端及可读存储介质
CN112351172B (zh) 图像处理方法、摄像头组件及移动终端
CN111835971B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN111970459B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111970461B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111031297B (zh) 图像传感器、控制方法、摄像头组件和移动终端
CN112702543B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN112738494B (zh) 图像处理方法、图像处理系统、终端设备及可读存储介质
US20220279108A1 (en) Image sensor and mobile terminal
CN114424517B (zh) 图像传感器、控制方法、摄像头组件及移动终端
CN112235485A (zh) 图像传感器、图像处理方法、成像装置、终端及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination