CN113973184A - 图像传感器、摄像头组件、移动终端 - Google Patents

图像传感器、摄像头组件、移动终端 Download PDF

Info

Publication number
CN113973184A
CN113973184A CN202111355951.7A CN202111355951A CN113973184A CN 113973184 A CN113973184 A CN 113973184A CN 202111355951 A CN202111355951 A CN 202111355951A CN 113973184 A CN113973184 A CN 113973184A
Authority
CN
China
Prior art keywords
image data
color
pixel
pixels
panchromatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111355951.7A
Other languages
English (en)
Inventor
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111355951.7A priority Critical patent/CN113973184A/zh
Publication of CN113973184A publication Critical patent/CN113973184A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Abstract

本申请公开了一种控制方法、摄像头组件和移动终端。控制方法用于图像传感器。图像传感器包括二维像素阵列。二维像素阵列包括多个彩色像素和多个全色像素。彩色像素具有比全色像素更窄的光谱响应。控制方法包括：控制二维像素阵列曝光得到原始图像数据，原始图像数据包括彩色像素曝光生成的彩色原始图像数据和全色像素曝光生成的全色原始图像数据；和根据原始图像数据输出目标图像数据。本申请实施方式的控制方法、摄像头组件和移动终端控制二维像素阵列曝光得到原始图像数据，并根据原始图像数据输出目标图像数据，可以使得输出的目标图像数据的数据输出结构与后端的算法和硬件功能相匹配。

Description

图像传感器、摄像头组件、移动终端
技术领域
本申请涉及成像技术领域，更具体而言，涉及一种控制方法、摄像头组件和移动终端。
背景技术
随着电子技术的发展，具有照相功能的终端在人们的生活中已经得到了普及。目前手机拍摄输出的数据类型主要是基于Bayer像素排列的图像传感器或者是QuadBayer像素排列的图像传感器，而对于其他像素排列的图像传感器，数据的输出需要做一些改进。
发明内容
本申请实施方式提供一种控制方法、摄像头组件和移动终端。
本申请实施方式的控制方法用于图像传感器。所述图像传感器包括二维像素阵列。所述二维像素阵列包括多个彩色像素和多个全色像素。所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括最小重复单元。每个所述最小重复单元包含多个子单元。每个所述子单元包括多个所述彩色像素和多个所述全色像素。所述第一对角线方向与所述第二对角线方向不同。所述控制方法包括：控制所述二维像素阵列曝光得到原始图像数据，所述原始图像数据包括所述彩色像素曝光生成的彩色原始图像数据和所述全色像素曝光生成的全色原始图像数据；和根据所述原始图像数据输出目标图像数据。
本申请实施方式的摄像头组件包括图像传感器和处理器。所述图像传感器包括二维像素阵列。所述二维像素阵列包括多个彩色像素和多个全色像素。所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括最小重复单元。每个所述最小重复单元包含多个子单元。每个所述子单元包括多个所述彩色像素和多个所述全色像素。所述处理器用于：控制所述二维像素阵列曝光得到原始图像数据，所述原始图像数据包括所述彩色像素曝光生成的彩色原始图像数据和所述全色像素曝光生成的全色原始图像数据；和根据所述原始图像数据输出目标图像数据。
本申请实施方式的移动终端包括机壳和摄像头组件。所述摄像头组件安装在所述机壳上。所述摄像头组件包括图像传感器和处理器。所述图像传感器包括二维像素阵列。所述二维像素阵列包括多个彩色像素和多个全色像素。所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括最小重复单元。每个所述最小重复单元包含多个子单元。每个所述子单元包括多个所述彩色像素和多个所述全色像素。所述处理器用于：控制所述二维像素阵列曝光得到原始图像数据，所述原始图像数据包括所述彩色像素曝光生成的彩色原始图像数据和所述全色像素曝光生成的全色原始图像数据；和根据所述原始图像数据输出目标图像数据。
本申请实施方式的控制方法、摄像头组件和移动终端在二维像素阵列中增加了多个全色像素，相较于一般的基于Bayer像素排列的图像传感器或者是QuadBayer像素排列的图像传感器而言，增加了通光量，具有更好的信噪比。本申请实施方式的控制方法、摄像头组件和移动终端还控制二维像素阵列曝光得到原始图像数据，并根据原始图像数据输出目标图像数据，可以使得输出的目标图像数据的数据输出结构与后端的算法和硬件功能相匹配。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的图像传感器的示意图；
图2是本申请某些实施方式的像素电路的示意图；
图3是不同色彩通道曝光饱和时间的示意图；
图4至图15是本申请某些实施方式的最小重复单元的像素排布的示意图；
图16是本申请某些实施方式的控制方法的流程示意图；
图17是本申请某些实施方式的摄像头组件的示意图；
图18是本申请某些实施方式的控制方法的流程示意图；
图19和图20是本申请某些实施方式的控制方法的原理示意图；
图21是本申请某些实施方式的控制方法的流程示意图；
图22是本申请某些实施方式的控制方法的原理示意图；
图23和图24是本申请某些实施方式的控制方法的流程示意图；
图25是本申请某些实施方式的控制方法的原理示意图；
图26是本申请某些实施方式的控制方法的流程示意图；
图27是本申请某些实施方式的控制方法的原理示意图；
图28是本申请某些实施方式的控制方法的流程示意图；
图29是本申请某些实施方式的控制方法的原理示意图；
图30是本申请某些实施方式的控制方法的流程示意图；
图31是本申请某些实施方式的移动终端的示意图。
具体实施方式
下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
随着电子技术的发展，具有照相功能的终端在人们的生活中已经得到了普及。目前手机拍摄输出的数据类型主要是基于Bayer像素排列的图像传感器或者是QuadBayer像素排列的图像传感器，而对于其他像素排列的图像传感器，数据的输出需要做一些改进。
基于上述原因，请参阅图1、图16、图17和图31，本申请实施方式提供一种控制方法、摄像头组件40和移动终端90。
请参阅图1和图16，本申请实施方式的控制方法用于图像传感器10。图像传感器10包括二维像素阵列11。二维像素阵列11包括多个彩色像素和多个全色像素。彩色像素具有比全色像素更窄的光谱响应。二维像素阵列11包括最小重复单元。每个最小重复单元包含多个子单元102。每个子单元102包括多个彩色像素和多个全色像素。控制方法包括：
01：控制二维像素阵列11曝光得到原始图像数据，原始图像数据包括彩色像素曝光生成的彩色原始图像数据和全色像素曝光生成的全色原始图像数据；和
02：根据原始图像数据输出目标图像数据。
请参阅图1和图17，本申请实施方式的摄像头组件40包括图像传感器10和处理器20。图像传感器10包括二维像素阵列11。二维像素阵列11包括多个彩色像素和多个全色像素。彩色像素具有比全色像素更窄的光谱响应。二维像素阵列11包括最小重复单元。每个最小重复单元包含多个子单元102。每个子单元102包括多个彩色像素和多个全色像素。处理器20用于：控制二维像素阵列11曝光得到原始图像数据，原始图像数据包括彩色像素曝光生成的彩色原始图像数据和全色像素曝光生成的全色原始图像数据；和根据原始图像数据输出目标图像数据。
请参阅图1、图17和图31，本申请实施方式的移动终端90包括机壳80和摄像头组件40。摄像头组件40安装在机壳80上。摄像头组件40包括图像传感器10和处理器20。图像传感器10包括二维像素阵列11。二维像素阵列11包括多个彩色像素和多个全色像素。彩色像素具有比全色像素更窄的光谱响应。二维像素阵列11包括最小重复单元。每个最小重复单元包含多个子单元102。每个子单元102包括多个彩色像素和多个全色像素。处理器20用于：控制二维像素阵列11曝光得到原始图像数据，原始图像数据包括彩色像素曝光生成的彩色原始图像数据和全色像素曝光生成的全色原始图像数据；和根据原始图像数据输出目标图像数据。
本申请实施方式的控制方法、摄像头组件40和移动终端90在二维像素阵列11中增加了多个全色像素，相较于一般的基于Bayer像素排列的图像传感器或者是QuadBayer像素排列的图像传感器而言，增加了通光量，具有更好的信噪比。本申请实施方式的控制方法、摄像头组件40和移动终端90还控制二维像素阵列11曝光得到原始图像数据，并根据原始图像数据输出目标图像数据，可以使得输出的目标图像数据的数据输出结构与后端的算法和硬件功能相匹配。
接下来介绍一下图像传感器10的基本结构。请参阅图1，图1是本申请实施方式的图像传感器10的示意图。图像传感器10包括二维像素阵列11、滤光片阵列16、及透镜阵列17。沿图像传感器10的收光方向，透镜阵列17、滤光片16、及二维像素阵列11依次设置。
图像传感器10可以采用互补金属氧化物半导体(CMOS，Complementary MetalOxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。
二维像素阵列11包括以阵列形式二维排列的多个像素101。二维像素阵列11包括最小重复单元，每个最小重复单元包含多个子单元102。
滤光片阵列16包括多个滤光片160，每个滤光片160覆盖对应的一个像素101。每个像素101的光谱响应(即像素101能够接收的光线的颜色)由对应该像素102的滤光片160的颜色决定。
透镜阵列17包括多个透镜170，每个透镜170覆盖对应的一个子单元102(如图1所示)，或者每个透镜170也可以覆盖对应的一个像素101。
图2是本申请实施方式中一种像素电路110的示意图。下面结合图1和图2对像素电路110的工作原理进行说明。
如图1和图2所示，像素电路110包括光电转换元件117(例如，光电二极管PD)、曝光控制电路116(例如，转移晶体管112)、复位电路(例如，复位晶体管113)、放大电路(例如，放大晶体管114)和选择电路(例如，选择晶体管115)。在本申请的实施例中，转移晶体管112、复位晶体管113、放大晶体管114和选择晶体管115例如是MOS管，但不限于此。
例如，参见图1和图2，转移晶体管112的栅极TG通过曝光控制线(图中未示出)连接图像传感器10的垂直驱动单元(图中未示出)；复位晶体管113的栅极RG通过复位控制线(图中未示出)连接垂直驱动单元；选择晶体管115的栅极SEL通过选择线(图中未示出)连接垂直驱动单元。每个像素电路110中的曝光控制电路116(例如，转移晶体管112)与光电转换元件117电连接，用于转移光电转换元件117经光照后积累的电势。例如，光电转换元件117包括光电二极管PD，光电二极管PD的阳极例如连接到地。光电二极管PD将所接收的光转换为电荷。光电二极管PD的阴极经由曝光控制电路116(例如，转移晶体管112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管114的栅极、复位晶体管113的源极连接。
例如，曝光控制电路116为转移晶体管112，曝光控制电路116的控制端TG为转移晶体管112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管112的栅极时，转移晶体管112导通。转移晶体管112将光电二极管PD光电转换的电荷传输到浮动扩散单元FD。
例如，复位晶体管113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管PD转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。
例如，放大晶体管114的栅极连接到浮动扩散单元FD。放大晶体管114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管113复位之后，放大晶体管114经由选择晶体管115通过输出端OUT输出复位电平。在光电二极管PD的电荷被转移晶体管112转移之后，放大晶体管114经由选择晶体管115通过输出端OUT输出信号电平。
例如，选择晶体管115的漏极连接到放大晶体管114的源极。选择晶体管115的源极通过输出端OUT连接到图像传感器10中的列处理单元(图中未示出)。当有效电平的脉冲通过选择线被传输到选择晶体管115的栅极时，选择晶体管115导通。放大晶体管114输出的信号通过选择晶体管115传输到列处理单元。
需要说明的是，本申请实施例中像素电路110的像素结构并不限于图2所示的结构。例如，像素电路110可以具有三晶体管像素结构，其中放大晶体管114和选择晶体管115的功能由一个晶体管完成。例如，曝光控制电路116也不局限于单个转移晶体管112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，单个转移晶体管112的实施方式简单、成本低、易于控制。
在包含多种色彩的像素的图像传感器中，不同色彩的像素单位时间内接收的曝光量不同。在某些色彩饱和后，某些色彩还未曝光到理想的状态。例如，曝光到饱和曝光量的60％-90％可以具有比较好的信噪比和精确度，但本申请的实施例不限于此。
图3中以RGBW(红、绿、蓝、全色)为例说明。参见图3，图3中横轴为曝光时间、纵轴为曝光量，Q为饱和的曝光量，LW为全色像素W的曝光曲线，LG为绿色像素G的曝光曲线，LR为红色像素R的曝光曲线，LB为蓝色像素的曝光曲线。
从图3可以看出，全色像素W的曝光曲线LW的斜率最大，也就是说在单位时间内全色像素W可以获得更多的曝光量，在t1时刻即达到饱和。绿色像素G的曝光曲线LG的斜率次之，绿色像素在t2时刻饱和。红色像素R的曝光曲线LR的斜率再次之，红色像素在t3时刻饱和。蓝色像素B的曝光曲线LB的斜率最小，蓝色像素在t4时刻饱和。由图3可知，全色像素W单位时间内接收的曝光量是大于彩色像素单位时间内接收的曝光量的，也即全色像素W的灵敏度要高于彩色像素的灵敏度。
基于上述原因，本申请实施方式的图像传感器10在二维像素阵列11中增加了多个全色像素，相较于一般的基于Bayer像素排列的图像传感器或者是QuadBayer像素排列的图像传感器而言，增加了通光量，具有更好的信噪比。
需要说明的是，每个像素101的光谱响应(即像素101能够接收的光线的颜色)由对应该像素101的滤光片160的颜色决定。本申请全文的彩色像素和全色像素指的是能够响应颜色与对应的滤光片160颜色相同的光线的像素101。
图4至图15示出了多种图像传感器10(图1所示)中像素101排布的示例。请参见图4至图15，二维像素阵列11中的多个像素101可以同时包括多个全色像素W及多个彩色像素(例如多个第一颜色像素A、多个第二颜色像素B和多个第三颜色像素C)，其中，彩色像素和全色像素通过其上覆盖的滤光片160(图1所示)能够通过的光线的波段来区分，彩色像素具有比全色像素更窄的光谱响应，彩色像素的响应光谱例如为全色像素W响应光谱中的部分。二维像素阵列11由多个最小重复单元组成(图4至图15示出了多种图像传感器10中的最小重复单元的示例)，最小重复单元在行和列上复制并排列。每个最小重复单元均包括多个子单元102，每个子单元102包括多个单颜色像素及多个全色像素。例如，每个最小重复单元包括四个子单元102，其中，一个子单元102包括多个单颜色像素A(即第一颜色像素A)和多个全色像素W，两个子单元102包括多个单颜色像素B(即第二颜色像素B)和多个全色像素W，剩余一个子单元102包括多个单颜色像素C(即第三颜色像素C)和多个全色像素W。
例如，最小重复单元的行和列的像素101的数量相等。例如最小重复单元包括但不限于，4行4列、6行6列、8行8列、10行10列的最小重复单元。例如，子单元102的行和列的像素101的数量相等。例如子单元102包括但不限于，2行2列、3行3列、4行4列、5行5列的子单元102。这种设置有助于均衡行和列方向图像的分辨率和均衡色彩表现，提高显示效果。
在一个例子中，在最小重复单元中，全色像素W设置在第一对角线方向D1，彩色像素设置在第二对角线方向D2，第一对角线方向D1与第二对角线方向D2不同。
例如，图4是本申请实施方式中一种最小重复单元的像素101排布的示意图。最小重复单元为4行4列16个像素，子单元102为2行2列4个像素，排布方式为：
Figure BDA0003357079400000041
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
如图4所示，全色像素W设置在第一对角线方向D1(即图4中左上角和右下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图4中左下角和右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
需要说明的是，第一对角线方向D1和第二对角线方向D2并不局限于对角线，还包括平行于对角线的方向。这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。
例如，图5是本申请实施方式中又一种最小重复单元的像素101排布的示意图。最小重复单元为4行4列16个像素101，子单元102为2行2列4个像素101，排布方式为：
Figure BDA0003357079400000042
Figure BDA0003357079400000051
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
如图5所示，全色像素W设置在第一对角线方向D1(即图5中右上角和左下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图5中左上角和右下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
例如，图6是本申请实施方式中又一种最小重复单元的像素101排布的示意图。图7是本申请实施方式中又一种最小重复单元的像素101排布的示意图。在图6和图7的实施例中，分别对应图4和图5的像素101排布，第一颜色像素A为红色像素R；第二颜色像素B为绿色像素G；第三颜色像素C为蓝色像素Bu。
需要说明的是，在一些实施例中，全色像素W的响应波段为可见光波段(例如，400nm-760nm)。例如，全色像素W上设置有红外滤光片，以实现红外光的滤除。在一些实施例中，全色像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10中的光电转换元件(例如光电二极管PD)响应波段相匹配。例如，全色像素W可以不设置滤光片，全色像素W的响应波段由光电二极管的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
在一些实施例中，图4及图5所示的最小重复单元中，第一颜色像素A也可以为红色像素R，第二颜色像素B也可以为黄色像素Y；第三颜色像素C可以为蓝色像素Bu。
在一些实施例中，图4及图5所示的最小重复单元中，第一颜色像素A也可以为品红色像素M，第二颜色像素B也可以为青色像素Cy，第三颜色像素C也可以为黄色像素Y。
例如，图8是本申请实施方式中又一种最小重复单元的像素101排布的示意图。最小重复单元为6行6列36个像素101，子单元102为3行3列9个像素101，排布方式为：
Figure BDA0003357079400000052
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
如图8所示，全色像素W设置在第一对角线方向D1(即图8中左上角和右下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图8中左下角和右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
例如，图9是本申请实施方式中又一种最小重复单元的像素101排布的示意图。最小重复单元为6行6列36个像素101，子单元102为3行3列9个像素101，排布方式为：
Figure BDA0003357079400000053
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
如图9所示，全色像素W设置在第一对角线方向D1(即图9中右上角和左下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图9中左上角和右下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
示例地，图8及图9所示的最小重复单元中的第一颜色像素A可以为红色像素R，第二颜色像素B可以为绿色像素G，第三颜色像素C可以为蓝色像素Bu。或者；图8及图9所示的最小重复单元中的第一颜色像素A可以为红色像素R，第二颜色像素B可以为黄色像素Y，第三颜色像素C可以为蓝色像素Bu。或者；图8及图9所示的最小重复单元中的第一颜色像素A可以为品红色像素M，第二颜色像素B可以为青色像素Cy，第三颜色像素C可以为黄色像素Y。
例如，图10是本申请实施方式中又一种最小重复单元的像素101排布的示意图。最小重复单元为8行8列64个像素101，子单元102为4行4列16个像素101，排布方式为：
Figure BDA0003357079400000061
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
如图10所示，全色像素W设置在第一对角线方向D1(即图10中左上角和右下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图10中左下角和右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
例如，图11是本申请实施方式中又一种最小重复单元的像素101排布的示意图。最小重复单元为8行8列64个像素101，子单元102为4行4列16个像素101，排布方式为：
Figure BDA0003357079400000062
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
如图11所示，全色像素W设置在第一对角线方向D1(即图11中右上角和左下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图11中左上角和右下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。
图4至图11所示例子中，每一个子单元102内，相邻的全色像素W呈对角线设置，相邻的彩色像素也呈对角线设置。在另一个例子中，每一个子单元102内，相邻的全色像素沿水平方向设置，相邻的彩色像素也沿水平方向设置；或者，相邻的全色像素沿垂直方向设置，相邻的彩色像素也沿垂直方向设置。相邻子单元102中的全色像素可以呈水平方向设置或呈垂直方向设置，相邻子单元102的中的彩色像素也可以呈水平方向设置或呈垂直方向设置。
例如，图12是本申请实施方式中又一种最小重复单元的像素101排布的示意图。最小重复单元为4行4列16个像素101，子单元102为2行2列4个像素101，排布方式为：
Figure BDA0003357079400000063
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
如图12所示，在每一个子单元102内，相邻的全色像素W沿垂直方向设置，相邻的彩色像素也沿垂直方向设置。
例如，图13是本申请实施方式中又一种最小重复单元的像素101排布的示意图。最小重复单元为4行4列16个像素101，子单元102为2行2列4个像素101，排布方式为：
Figure BDA0003357079400000071
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
如图13所示，在每一个子单元102内，相邻的全色像素W沿水平方向设置，相邻的彩色像素也沿水平方向设置。
例如，图14是本申请实施方式中又一种最小重复单元的像素101排布的示意图。图15是本申请实施方式中又一种最小重复单元的像素101排布的示意图。在图14和图15的实施例中，分别对应图12和图13的像素101排布，第一颜色像素A为红色像素R；第二颜色像素B为绿色像素G；第三颜色像素C为蓝色像素Bu。
在一些实施例中，图12及图13所示的最小重复单元中，第一颜色像素A也可以为红色像素R，第二颜色像素B也可以为黄色像素Y；第三颜色像素C可以为蓝色像素Bu。
在一些实施例中，图12及图13所示的最小重复单元中，第一颜色像素A也可以为品红色像素M，第二颜色像素B也可以为青色像素Cy，第三颜色像素C也可以为黄色像素Y。
图4至图15所示的任意一种排布的二维像素阵列11中的多个全色像素和多个彩色像素均可以分别由不同的曝光控制线控制，从而实现全色像素的曝光时间和彩色像素的曝光时间的独立控制。其中，第一对角线方向相邻的至少两个全色像素的曝光控制电路的控制端与第一曝光控制线电连接，第二对角线方向相邻的至少两个彩色像素的曝光控制电路的控制端与第二曝光控制线电连接。第一曝光控制线可以传输第一曝光信号以控制全色像素的第一曝光时间，第二曝光控制线可以传输第二曝光信号以控制彩色像素的第二曝光时间。
全色像素的曝光时间与彩色像素的曝光时间独立控制时，全色像素的第一曝光时间可以小于彩色像素的第二曝光时间。例如，第一曝光时间与第二曝光时间的比例可以为1：2、1：3或1：4中的一种。例如，在光线比较暗的环境下，彩色像素更容易曝光不足，可以根据环境亮度调整第一曝光时间与第二曝光时间的比例为1：2，1：3或1：4。其中，曝光比例为上述整数比或接近整数比的情况下，有利于时序的设置信号的设置和控制。
在某些实施方式中，可以根据环境亮度来确定第一曝光时间与第二曝光时间的相对关系。例如，在环境亮度小于或等于亮度阈值时，全色像素以等于第二曝光时间的第一曝光时间来曝光；在环境亮度大于亮度阈值时，全色像素以小于第二曝光时间的第一曝光时间来曝光。在环境亮度大于亮度阈值时，可以根据环境亮度与亮度阈值之间的亮度差值来确定第一曝光时间与第二曝光时间的相对关系，例如，亮度差值越大，第一曝光时间与第二曝光时间的比例越小。示例地，在亮度差值位于第一范围[a,b)内时，第一曝光时间与第二曝光时间的比例为1:2；在亮度差值位于第二范围[b,c)内时，第一曝光时间与第二曝光时间的比例为1:3；在亮度差值大于或等于c时，第一曝光时间与第二曝光时间的比例为1:4。
请参阅图1和图16，本申请实施方式的控制方法可以用于上述任一实施方式的图像传感器10。控制方法包括：
01：控制二维像素阵列11曝光得到原始图像数据，原始图像数据包括彩色像素曝光生成的彩色原始图像数据和全色像素曝光生成的全色原始图像数据；和
02：根据原始图像数据输出目标图像数据。
请参阅图1和图17，本申请实施方式的控制方法可以由本申请实施方式的摄像头组件40实现。摄像头组件40包括上述任一实施方式的图像传感器10和处理器20。处理器20可集成在图像传感器10内，或者独立设置于图像传感器10外。步骤01和步骤02可由处理器20实现。也即是说，处理器20可以用于：控制二维像素阵列11曝光得到原始图像数据，原始图像数据包括彩色像素曝光生成的彩色原始图像数据和全色像素曝光生成的全色原始图像数据；和根据原始图像数据输出目标图像数据。
本申请实施方式的控制方法和摄像头组件40在二维像素阵列11中增加了多个全色像素，相较于一般的基于Bayer像素排列的图像传感器或者是QuadBayer像素排列的图像传感器而言，增加了通光量，具有更好的信噪比。本申请实施方式的控制方法和摄像头组件40还控制二维像素阵列11曝光得到原始图像数据，并根据原始图像数据输出目标图像数据，可以使得输出的目标图像数据的数据输出结构与后端的算法和硬件功能相匹配。
其中，二维像素阵列11曝光得到的原始图像数据可以是与二维像素阵列11中的像素101排布完全对应的图像数据。也即是说，二维像素阵列11中的彩色像素曝光得到彩色原始图像数据，二维像素阵列11中的全色像素曝光得到全色原始图像数据。
请参阅图17和图18，在某些实施方式中，根据原始图像数据输出目标图像数据(即步骤02)，包括：
021：在第一数据读出模式下，逐行读出原始图像数据以输出目标图像数据。
请参阅图17，在某些实施方式中，步骤021可由处理器20实现。也即是说，处理器20可以用于：在第一数据读出模式下，逐行读出原始图像数据以输出目标图像数据。
具体地，第一数据读出模式适用于需要全尺寸分辨率或高分辨率的场景，或者是环境亮度较高的场景。当处理器20逐行读出原始图像数据以输出目标图像数据时，目标图像数据的数据输出结构与二维像素阵列11中的像素101排布完全对应。本申请实施方式的数据读出方式具有计算量小、速度快等优点。
请参阅图19，在一个例子中，最小重复单元包含四个子单元102，从左至右、从上之下分别记为：子单元U1、子单元U2、子单元U3、子单元U4。最小重复单元包括16个像素101，从左至右、从上之下分别记为：彩色像素R11、全色像素W12、彩色像素G13、全色像素W14、全色像素W21、彩色像素R22、全色像素W23、彩色像素G24、彩色像素G31、全色像素W32、彩色像素B33、全色像素W34、全色像素W41、彩色像素G42、全色像素W43、彩色像素B44。也即是说，子单元U1包括彩色像素R11、全色像素W12、全色像素W21、彩色像素R22，子单元U2包括彩色像素G13、全色像素W14、全色像素W23、彩色像素G24，子单元U3包括彩色像素G31、全色像素W32、全色像素W41、彩色像素G42，子单元U4包括彩色像素B33、全色像素W34、全色像素W43、彩色像素B44。
在第一数据读出模式下，处理器20逐行读出原始图像数据以输出目标图像数据。例如，当二维像素阵列11包括4个最小重复单元且4个最小重复单元横向排列时，处理器20逐行读出原始图像数据输出的目标图像数据为：彩色像素R11的彩色原始图像数据、全色像素W12的全色原始图像数据、彩色像素G13的彩色原始图像数据、全色像素W14的全色原始图像数据……全色像素W21的全色原始图像数据、彩色像素R22的彩色原始图像数据、全色像素W23的全色原始图像数据、彩色像素G24的彩色原始图像数据……彩色像素G31的彩色原始图像数据、全色像素W32的全色原始图像数据、彩色像素B33的彩色原始图像数据、全色像素W34的全色原始图像数据……全色像素W41的全色原始图像数据、彩色像素G42的彩色原始图像数据、全色像素W43的全色原始图像数据、彩色像素B44的彩色原始图像数据……。本申请实施方式中，每一个子单元102内，相邻的全色像素呈对角线设置，相邻的彩色像素也呈对角线设置。
请参阅图20，在一个例子中，最小重复单元包含四个子单元102，从左至右、从上之下分别记为：子单元U1、子单元U2、子单元U3、子单元U4。最小重复单元包括16个像素101，从左至右、从上之下分别记为：彩色像素R11、彩色像素R12、彩色像素G13、彩色像素G14、全色像素W21、全色像素W22、全色像素W23、全色像素W24、彩色像素G31、彩色像素G32、彩色像素B33、彩色像素B34、全色像素W41、全色像素W42、全色像素W43、全色像素W44。也即是说，子单元U1包括彩色像素R11、彩色像素R12、全色像素W21、全色像素W22，子单元U2包括彩色像素G13、彩色像素G14、全色像素W23、全色像素W24，子单元U3包括彩色像素G31、彩色像素G32、全色像素W41、全色像素W42，子单元U4包括彩色像素B33、彩色像素B34、全色像素W43、全色像素W44。
在第一数据读出模式下，处理器20逐行读出原始图像数据以输出目标图像数据。例如，当二维像素阵列11包括4个最小重复单元且4个最小重复单元横向排列时，处理器20逐行读出原始图像数据输出的目标图像数据为：彩色像素R11的彩色原始图像数据、彩色像素R12的彩色原始图像数据、彩色像素G13的彩色原始图像数据、彩色像素G14的彩色原始图像数据……全色像素W21的全色原始图像数据、全色像素W22的全色原始图像数据、全色像素W23的全色原始图像数据、全色像素W24的全色原始图像数据……彩色像素G31的彩色原始图像数据、彩色像素G32的彩色原始图像数据、彩色像素B33的彩色原始图像数据、彩色像素B34的彩色原始图像数据……全色像素W41的全色原始图像数据、全色像素W42的全色原始图像数据、全色像素W43的全色原始图像数据、全色像素W44的全色原始图像数据……。本申请实施方式中，每一个子单元102内，每一个子单元102内，相邻的全色像素沿水平方向设置，相邻的彩色像素也沿水平方向设置(或者说，二维像素阵列11中，彩色像素和全色像素逐行排列：即一行彩色像素、一行全色像素如此往复；或一行全色像素、一行彩色像素如此往复)。
在其他例子中，最小重复单元的像素101排布还可以是：相邻的全色像素可以沿垂直方向设置，相邻的彩色像素也沿垂直方向设置(或者说，二维像素阵列11中，彩色像素和全色像素逐列排列：即一列彩色像素、一列全色像素如此往复；或一列全色像素、一列彩色像素如此往复)等，此时，在第一数据读出模式下，处理器20仍可以逐行读出原始图像数据以输出目标图像数据，在此不一一展开说明。
需要说明的是，由于图19和图20所示的例子中，二维像素阵列11曝光得到的原始图像数据与二维像素阵列11中的像素101排布完全对应，因此图19和图20省略了原始图像数据的画出。
请参阅图17和图21，在某些实施方式中，目标图像数据包括第一目标图像数据和第二目标图像数据。根据原始图像数据输出目标图像数据(即步骤02)，包括：
022：在第二数据读出模式下，根据每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据得到第一目标图像数据，根据每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据和多个全色像素曝光生成的全色原始图像数据得到第二目标图像数据。
请参阅图17，在某些实施方式中，目标图像数据包括第一目标图像数据和第二目标图像数据。步骤022可由处理器20实现。也即是说，处理器20可以用于：在第二数据读出模式下，根据每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据得到第一目标图像数据，根据每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据和多个全色像素曝光生成的全色原始图像数据得到第二目标图像数据。
具体地，第二数据读出模式适用于大部分的场景，特别适用于环境亮度较低的场景。
请参阅图22，在一个例子中，最小重复单元包含四个子单元102，最小重复单元包括16个像素101。其中，图22中四个子单元102和16个像素101的标记与图19中四个子单元102和16个像素101的标记相同，在此不再详细展开说明。
在第二数据读出模式下，处理器20根据每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据得到第一目标图像数据，根据每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据和多个全色像素曝光生成的全色原始图像数据得到第二目标图像数据。具体地，在图22的示例中，处理器20可以根据每个子单元102中呈对角线设置的多个彩色像素曝光生成的彩色原始图像数据得到第一目标图像数据，根据每个子单元102中呈对角线设置的多个彩色像素曝光生成的彩色原始图像数据和呈对角线设置的多个全色像素曝光生成的全色原始图像数据得到第二目标图像数据(在其他像素101排布的例子中，处理器20还可以根据每个子单元102中沿水平方向设置的多个彩色像素曝光生成的彩色原始图像数据得到第一目标图像数据，根据每个子单元102中沿水平方向设置的多个彩色像素曝光生成的彩色原始图像数据和沿水平方向设置的多个全色像素曝光生成的全色原始图像数据得到第二目标图像数据。或者，处理器20可以根据每个子单元102中沿垂直方向设置的多个彩色像素曝光生成的彩色原始图像数据得到第一目标图像数据，根据每个子单元102中沿垂直方向设置的多个彩色像素曝光生成的彩色原始图像数据和沿垂直方向设置的多个全色像素曝光生成的全色原始图像数据得到第二目标图像数据)。
例如，当二维像素阵列11包括4个最小重复单元且4个最小重复单元横向排列时，处理器20根据原始图像数据输出的目标图像数据为：根据彩色像素R11的彩色原始图像数据和彩色像素R22的彩色原始图像数据得到的第一目标图像数据，根据彩色像素G13的彩色原始图像数据和彩色像素G24的彩色原始图像数据得到的第一目标图像数据……根据彩色像素R11的彩色原始图像数据、彩色像素R22的彩色原始图像数据、全色像素W12的全色原始图像数据和全色像素W21的全色原始图像数据得到的第二目标图像数据，根据彩色像素G13的彩色原始图像数据、彩色像素G24的彩色原始图像数据、全色像素W14的全色原始图像数据和全色像素W23的全色原始图像数据得到的第二目标图像数据……根据彩色像素G31的彩色原始图像数据和彩色像素G42的彩色原始图像数据得到的第一目标图像数据，根据彩色像素B33的彩色原始图像数据和彩色像素B44的彩色原始图像数据得到的第一目标图像数据……根据彩色像素G31的彩色原始图像数据、彩色像素G42的彩色原始图像数据、全色像素W32的全色原始图像数据和全色像素W41的全色原始图像数据得到的第二目标图像数据，根据彩色像素B33的彩色原始图像数据、彩色像素B44的彩色原始图像数据、全色像素W34的全色原始图像数据和全色像素W43的全色原始图像数据得到的第二目标图像数据……。本申请实施方式中，一行目标图像数据为根据多个彩色像素的彩色原始图像数据得到的第一目标图像数据，一行目标图像数据为根据多个彩色像素的彩色原始图像数据和多个全色像素的全色原始图像数据得到的第二目标图像数据，由于第二目标图像数据中融合了多个全色像素的全色原始图像数据，因此可以提高图像传感器10的信噪比。
在其他例子中，当环境亮度极低时，得到第二目标图像数据的方式还可以替换为：处理器20根据每个子单元102中的多个全色像素曝光生成的全色原始图像数据得到第二目标图像数据。例如，处理器20对每个子单元102中的多个全色像素曝光生成的全色原始图像数据进行像素相加处理得到第二目标图像数据。
需要说明的是，由于图22所示的例子中，二维像素阵列11曝光得到的原始图像数据与二维像素阵列11中的像素101排布完全对应，因此图22省略了原始图像数据的画出。
请参阅图17和图23，在某些实施方式中，根据每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据得到第一目标图像数据，包括：
0221：对每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据进行像素相加处理得到第一目标图像数据；
根据每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据和多个全色像素曝光生成的全色原始图像数据得到第二目标图像数据，包括：
0222：对每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据进行像素相加处理，对每个子单元102中的多个全色像素曝光生成的全色原始图像数据进行像素相加处理；和
0223：对像素相加处理后的彩色原始图像数据和像素相加处理后的全色原始图像数据进行像素求平均处理得到第二目标图像数据。
请参阅图17，在某些实施方式中，步骤0221、步骤0222和步骤0223可由处理器20实现。也即是说，处理器20可以用于：对每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据进行像素相加处理得到第一目标图像数据；对每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据进行像素相加处理，对每个子单元102中的多个全色像素曝光生成的全色原始图像数据进行像素相加处理；和对像素相加处理后的彩色原始图像数据和像素相加处理后的全色原始图像数据进行像素求平均处理得到第二目标图像数据。
具体地，仍以图22为例，第一目标图像数据可包括图22的右图中彩色像素R处的第一目标图像数据、彩色像素G处的第一目标图像数据、彩色像素B处的第一目标图像数据。第二目标图像数据可包括图22的右图中彩色像素R’处的第二目标图像数据、彩色像素G’处的第二目标图像数据、彩色像素B’处的第二目标图像数据。
针对子单元U1，处理器20对图22的左图中彩色像素R11的彩色原始图像数据和彩色像素R22的彩色原始图像数据进行像素相加处理(Analog sum，后同)得到图22的右图中彩色像素R11处的第一目标图像数据。处理器20对图22的左图中彩色像素R11的彩色原始图像数据和彩色像素R22的彩色原始图像数据进行像素相加处理(Analog sum，后同)，对图22的左图中全色像素W12的全色原始图像数据和全色像素W21的全色原始图像数据进行像素相加处理(Analog sum，后同)，再对像素相加处理后的彩色原始图像数据和像素相加处理后的全色原始图像数据进行像素求平均处理(Digital avg，后同)得到图22的右图中彩色像素R’21处的第二目标图像数据。
针对子单元U2，处理器20对图22的左图中彩色像素G13的彩色原始图像数据和彩色像素G24的彩色原始图像数据进行像素相加处理得到图22的右图中彩色像素G12处的第一目标图像数据。处理器20对图22的左图中彩色像素G13的彩色原始图像数据和彩色像素G24的彩色原始图像数据进行像素相加处理，对图22的左图中全色像素W14的全色原始图像数据和全色像素W23的全色原始图像数据进行像素相加处理，再对像素相加处理后的彩色原始图像数据和像素相加处理后的全色原始图像数据进行像素求平均处理得到图22的右图中彩色像素G’22处的第二目标图像数据。
针对子单元U3，处理器20对图22的左图中彩色像素G31的彩色原始图像数据和彩色像素G42的彩色原始图像数据进行像素相加处理得到图22的右图中彩色像素G31处的第一目标图像数据。处理器20对图22的左图中彩色像素G31的彩色原始图像数据和彩色像素G42的彩色原始图像数据进行像素相加处理，对图22的左图中全色像素W32的全色原始图像数据和全色像素W41的全色原始图像数据进行像素相加处理，再对像素相加处理后的彩色原始图像数据和像素相加处理后的全色原始图像数据进行像素求平均处理得到图22的右图中彩色像素G’41处的第二目标图像数据。
针对子单元U4，处理器20对图22的左图中彩色像素B33的彩色原始图像数据和彩色像素B44的彩色原始图像数据进行像素相加处理得到图22的右图中彩色像素B32处的第一目标图像数据。处理器20对图22的左图中彩色像素B33的彩色原始图像数据和彩色像素B44的彩色原始图像数据进行像素相加处理，对图22的左图中全色像素W34的全色原始图像数据和全色像素W43的全色原始图像数据进行像素相加处理，再对像素相加处理后的彩色原始图像数据和像素相加处理后的全色原始图像数据进行像素求平均处理得到图22的右图中彩色像素B’42处的第二目标图像数据。
请参阅图17和图24，在某些实施方式中，根据每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据得到第一目标图像数据，包括：
0224：对每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据进行像素求平均处理得到第一目标图像数据；
根据每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据和多个全色像素曝光生成的全色原始图像数据得到第二目标图像数据，包括：
0225：对每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据和多个全色像素曝光生成的全色原始图像数据进行像素求平均处理得到第二目标图像数据。
请参阅图17，在某些实施方式中，步骤0224和步骤0225可由处理器20实现。也即是说，处理器20可以用于：对每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据进行像素求平均处理得到第一目标图像数据；和对每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据和多个全色像素曝光生成的全色原始图像数据进行像素求平均处理得到第二目标图像数据。
请参阅图25，在一个例子中，最小重复单元包含四个子单元102，最小重复单元包括16个像素101。其中，图25中四个子单元102和16个像素101的标记与图19中四个子单元102和16个像素101的标记相同，在此不再详细展开说明。
第一目标图像数据可包括图25的右图中彩色像素R处的第一目标图像数据、彩色像素G处的第一目标图像数据、彩色像素B处的第一目标图像数据。第二目标图像数据可包括图25的右图中彩色像素R’处的第二目标图像数据、彩色像素G’处的第二目标图像数据、彩色像素B’处的第二目标图像数据。
针对子单元U1，处理器20对图25的左图中彩色像素R11的彩色原始图像数据和彩色像素R22的彩色原始图像数据进行像素求平均处理(Digital avg，后同)得到图25的右图中彩色像素R11处的第一目标图像数据。处理器20对图25的左图中彩色像素R11的彩色原始图像数据、彩色像素R22的彩色原始图像数据、全色像素W12的全色原始图像数据和全色像素W21的全色原始图像数据进行像素求平均处理(Digital avg，后同)得到图25的右图中彩色像素R’21处的第二目标图像数据。
针对子单元U2，处理器20对图25的左图中彩色像素G13的彩色原始图像数据和彩色像素G24的彩色原始图像数据进行像素求平均处理得到图25的右图中彩色像素G12处的第一目标图像数据。处理器20对图25的左图中彩色像素G13的彩色原始图像数据、彩色像素G24的彩色原始图像数据、全色像素W14的全色原始图像数据和全色像素W23的全色原始图像数据进行像素求平均处理得到图25的右图中彩色像素G’22处的第二目标图像数据。
针对子单元U3，处理器20对图25的左图中彩色像素G31的彩色原始图像数据和彩色像素G42的彩色原始图像数据进行像素求平均处理得到图25的右图中彩色像素G31处的第一目标图像数据。处理器20对图25的左图中彩色像素G31的彩色原始图像数据、彩色像素G42的彩色原始图像数据、全色像素W32的全色原始图像数据和全色像素W41的全色原始图像数据进行像素求平均处理得到图25的右图中彩色像素G’41处的第二目标图像数据。
针对子单元U4，处理器20对图25的左图中彩色像素B33的彩色原始图像数据和彩色像素B44的彩色原始图像数据进行像素求平均处理得到图25的右图中彩色像素B32处的第一目标图像数据。处理器20对图25的左图中彩色像素B33的彩色原始图像数据、彩色像素B44的彩色原始图像数据进行像素相加处理、全色像素W34的全色原始图像数据和全色像素W43的全色原始图像数据进行像素求平均处理得到图25的右图中彩色像素B’42处的第二目标图像数据。
请参阅图17和图26，在某些实施方式中，根据每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据得到第一目标图像数据，包括：
0226：对每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据进行像素相加处理得到第一目标图像数据；
根据每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据和多个全色像素曝光生成的全色原始图像数据得到第二目标图像数据，包括：
0227：对每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据和多个全色像素曝光生成的全色原始图像数据进行像素相加处理得到第二目标图像数据。
请参阅图17，在某些实施方式中，步骤0226和步骤0227可由处理器20实现。也即是说，处理器20可以用于：对每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据进行像素相加处理得到第一目标图像数据；和对每个子单元102中的多个彩色像素曝光生成的彩色原始图像数据和多个全色像素曝光生成的全色原始图像数据进行像素相加处理得到第二目标图像数据。
请参阅图27，在一个例子中，最小重复单元包含四个子单元102，最小重复单元包括16个像素101。其中，图27中四个子单元102和16个像素101的标记与图19中四个子单元102和16个像素101的标记相同，在此不再详细展开说明。
第一目标图像数据包括图27的右图中彩色像素R处的第一目标图像数据、彩色像素G处的第一目标图像数据、彩色像素B处的第一目标图像数据，第二目标图像数据包括图27的右图中彩色像素R’处的第二目标图像数据、彩色像素G’处的第二目标图像数据、彩色像素B’处的第二目标图像数据。
针对子单元U1，处理器20对图27的左图中彩色像素R11的彩色原始图像数据和彩色像素R22的彩色原始图像数据进行像素相加处理(Analog sum，后同)得到图27的右图中彩色像素R11处的第一目标图像数据。处理器20对图27的左图中彩色像素R11的彩色原始图像数据、彩色像素R22的彩色原始图像数据、全色像素W12的全色原始图像数据和全色像素W21的全色原始图像数据进行像素相加处理(Analog sum，后同)得到图27的右图中彩色像素R’21处的第二目标图像数据。
针对子单元U2，处理器20对图27的左图中彩色像素G13的彩色原始图像数据和彩色像素G24的彩色原始图像数据进行像素相加处理得到图27的右图中彩色像素G12处的第一目标图像数据。处理器20对图27的左图中彩色像素G13的彩色原始图像数据、彩色像素G24的彩色原始图像数据、全色像素W14的全色原始图像数据和全色像素W23的全色原始图像数据进行像素相加处理得到图27的右图中彩色像素G’22处的第二目标图像数据。
针对子单元U3，处理器20对图27的左图中彩色像素G31的彩色原始图像数据和彩色像素G42的彩色原始图像数据进行像素相加处理得到图27的右图中彩色像素G31处的第一目标图像数据。处理器20对图27的左图中彩色像素G31的彩色原始图像数据、彩色像素G42的彩色原始图像数据、全色像素W32的全色原始图像数据和全色像素W41的全色原始图像数据进行像素相加处理得到图27的右图中彩色像素G’41处的第二目标图像数据。
针对子单元U4，处理器20对图27的左图中彩色像素B33的彩色原始图像数据和彩色像素B44的彩色原始图像数据进行像素相加处理得到图27的右图中彩色像素B32处的第一目标图像数据。处理器20对图27的左图中彩色像素B33的彩色原始图像数据、彩色像素B44的彩色原始图像数据、全色像素W34的全色原始图像数据和全色像素W43的全色原始图像数据进行像素相加处理得到图27的右图中彩色像素B’42处的第二目标图像数据。
请参阅图17和图28，在某些实施方式中，控制二维像素阵列11曝光得到原始图像数据(即步骤01)，包括：
011：控制第2n-1行的多个彩色像素和多个全色像素以第一曝光时间曝光得到第一原始图像数据，控制第2n行的多个彩色像素和多个全色像素以第二曝光时间曝光得到第二原始图像数据，其中，n为大于或等于1的自然数，第一曝光时间不等于第二曝光时间，第一原始图像数据包括彩色像素曝光生成的第一彩色原始图像数据和全色像素曝光生成的第一全色原始图像数据，第二原始图像数据包括彩色像素曝光生成的第二彩色原始图像数据和全色像素曝光生成的第二全色原始图像数据；
目标图像数据包括第一目标图像数据、第二目标图像数据、第三目标图像数据和第四目标图像数据。根据原始图像数据输出目标图像数据(即步骤02)，包括：
023：在第三数据读出模式下，根据每个子单元102中以第一曝光时间曝光的彩色像素生成的第一彩色原始图像数据得到第一目标图像数据，根据每个子单元102中以第二曝光时间曝光的彩色像素生成的第二彩色原始图像数据得到第二目标图像数据，根据每个子单元102中以第一曝光时间曝光的彩色像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色像素生成的第一全色原始图像数据得到第三目标图像数据，根据每个子单元102中以第二曝光时间曝光的彩色像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色像素生成的第二全色原始图像数据得到第四目标图像数据。
请参阅图17，在某些实施方式中，步骤011和步骤023可由处理器20实现。也即是说，处理器20可以用于：控制第2n-1行的多个彩色像素和多个全色像素以第一曝光时间曝光得到第一原始图像数据，控制第2n行的多个彩色像素和多个全色像素以第二曝光时间曝光得到第二原始图像数据。其中，n为大于或等于1的自然数。第一曝光时间不等于第二曝光时间。第一原始图像数据包括彩色像素曝光生成的第一彩色原始图像数据和全色像素曝光生成的第一全色原始图像数据。第二原始图像数据包括彩色像素曝光生成的第二彩色原始图像数据和全色像素曝光生成的第二全色原始图像数据。目标图像数据包括第一目标图像数据、第二目标图像数据、第三目标图像数据和第四目标图像数据。处理器20还可以用于：在第三数据读出模式下，根据每个子单元102中以第一曝光时间曝光的彩色像素生成的第一彩色原始图像数据得到第一目标图像数据，根据每个子单元102中以第二曝光时间曝光的彩色像素生成的第二彩色原始图像数据得到第二目标图像数据，根据每个子单元102中以第一曝光时间曝光的彩色像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色像素生成的第一全色原始图像数据得到第三目标图像数据，根据每个子单元102中以第二曝光时间曝光的彩色像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色像素生成的第二全色原始图像数据得到第四目标图像数据。
具体地，第一曝光时间可以大于第二曝光时间，或者第一曝光时间小于第二曝光时间。第三数据读出模式适用于高动态范围的场景。
请参阅图29，在一个例子中，最小重复单元包含四个子单元102，最小重复单元包括16个像素101。其中，图29中四个子单元102和16个像素101的标记与图19中四个子单元102和16个像素101的标记相同，在此不再详细展开说明。
彩色像素R11、全色像素W12、彩色像素G13、全色像素W14以第一曝光时间曝光，全色像素W21、彩色像素R22、全色像素W23、彩色像素G24以第二曝光时间曝光，彩色像素G31、全色像素W32、彩色像素B33、全色像素W34以第一曝光时间曝光，全色像素W41、彩色像素G42、全色像素W43、彩色像素B44以第二曝光时间曝光。
在第三数据读出模式下，处理器20根据每个子单元102中以第一曝光时间曝光的彩色像素生成的第一彩色原始图像数据得到第一目标图像数据，根据每个子单元102中以第二曝光时间曝光的彩色像素生成的第二彩色原始图像数据得到第二目标图像数据，根据每个子单元102中以第一曝光时间曝光的彩色像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色像素生成的第一全色原始图像数据得到第三目标图像数据，根据每个子单元102中以第二曝光时间曝光的彩色像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色像素生成的第二全色原始图像数据得到第四目标图像数据。其中，在图29的示例中，处理器20可以根据每个子单元102中沿水平方向设置的以第一曝光时间曝光的彩色像素和以第一曝光时间曝光的全色像素分别生成的第一彩色原始图像数据和生成的第一全色原始图像数据得到第三目标图像数据，根据每个子单元102中沿水平方向设置的以第二曝光时间曝光的彩色像素和以第二曝光时间曝光的全色像素分别生成的第二彩色原始图像数据和生成的第二全色原始图像数据得到第四目标图像数据(在其他像素101排布的例子中，处理器20还可以根据每个子单元102中沿垂直方向设置的以第一曝光时间曝光的彩色像素和以第一曝光时间曝光的全色像素分别生成的第一彩色原始图像数据和生成的第一全色原始图像数据得到第三目标图像数据，根据每个子单元102中沿垂直方向设置的以第二曝光时间曝光的彩色像素和以第二曝光时间曝光的全色像素分别生成的第二彩色原始图像数据和生成的第二全色原始图像数据得到第四目标图像数据)。
例如，当二维像素阵列11包括2个最小重复单元且2个最小重复单元横向排列时，处理器20根据原始图像数据输出的目标图像数据为：根据以第一曝光时间曝光的彩色像素R11的第一彩色原始图像数据得到的第一目标图像数据，根据以第一曝光时间曝光的彩色像素R11的第一彩色原始图像数据和以第一曝光时间曝光的全色像素W12的第一全色原始图像数据得到的第三目标图像数据，根据以第一曝光时间曝光的彩色像素G13的第一彩色原始图像数据得到的第一目标图像数据，根据以第一曝光时间曝光的彩色像素G13的第一彩色原始图像数据和以第一曝光时间曝光的全色像素W14的第一全色原始图像数据得到的第三目标图像数据……根据以第二曝光时间曝光的彩色像素R22的第二彩色原始图像数据得到的第二目标图像数据，根据以第二曝光时间曝光的彩色像素R22的第二彩色原始图像数据和以第二曝光时间曝光的全色像素W21的第二全色原始图像数据得到的第四目标图像数据，根据以第二曝光时间曝光的彩色像素G24的第二彩色原始图像数据得到的第二目标图像数据，根据以第二曝光时间曝光的彩色像素G24的第二彩色原始图像数据和以第二曝光时间曝光的全色像素W23的第二全色原始图像数据得到的第四目标图像数据……根据以第一曝光时间曝光的彩色像素G31的第一彩色原始图像数据得到的第一目标图像数据，根据以第一曝光时间曝光的彩色像素G31的第一彩色原始图像数据和以第一曝光时间曝光的全色像素W32的第一全色原始图像数据得到的第三目标图像数据，根据以第一曝光时间曝光的彩色像素B33的第一彩色原始图像数据得到的第一目标图像数据，根据以第一曝光时间曝光的彩色像素B33的第一彩色原始图像数据和以第一曝光时间曝光的全色像素W34的第一全色原始图像数据得到的第三目标图像数据……根据以第二曝光时间曝光的彩色像素G42的第二彩色原始图像数据得到的第二目标图像数据，根据以第二曝光时间曝光的彩色像素G42的第二彩色原始图像数据和以第二曝光时间曝光的全色像素W41的第二全色原始图像数据得到的第四目标图像数据，根据以第二曝光时间曝光的彩色像素B44的第二彩色原始图像数据得到的第二目标图像数据，根据以第二曝光时间曝光的彩色像素B44的第二彩色原始图像数据和以第二曝光时间曝光的全色像素W43的第二全色原始图像数据得到的第四目标图像数据……本申请实施方式中，第一目标图像数据、第三目标图像数据、第二目标图像数据、第四目标图像数据组成数据子单元，一个数据子单元与一个子单元102对应。一列目标图像数据为根据以第一曝光时间曝光的彩色像素的第一彩色原始图像数据得到的第一目标图像数据、及根据以第二曝光时间曝光的彩色像素的第二彩色原始图像数据得到的第二目标图像数据，一列目标图像数据为根据以第一曝光时间曝光的彩色像素的第一彩色原始图像数据和以第一曝光时间曝光的全色像素的第一全色原始图像数据得到的第三目标图像数据、及根据以第二曝光时间曝光的彩色像素的第二彩色原始图像数据和以第二曝光时间曝光的全色像素的第二全色原始图像数据得到的第四目标图像数据，由于第二目标图像数据和第四目标图像数据中融合了以第一曝光时间曝光的全色像素或以第二曝光时间曝光的全色像素的全色原始图像数据，因此可以提高图像传感器10的信噪比。
需要说明的是，由于图29所示的例子中，二维像素阵列11曝光得到的原始图像数据与二维像素阵列11中的像素101排布完全对应，因此图29省略了原始图像数据的画出。
请参阅图17和图30，在某些实施方式中，根据每个子单元102中以第一曝光时间曝光的彩色像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色像素生成的第一全色原始图像数据得到第三目标图像数据，包括：
0231：对每个子单元102中以第一曝光时间曝光的彩色像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色像素生成的第一全色原始图像数据进行像素相加处理得到第三目标图像数据；
根据每个子单元102中以第二曝光时间曝光的彩色像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色像素生成的第二全色原始图像数据得到第四目标图像数据，包括：
0232：对每个子单元102中以第二曝光时间曝光的彩色像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色像素生成的第二全色原始图像数据进行像素相加处理得到第四目标图像数据。
请参阅图17，在某些实施方式中，步骤0231和步骤0232可由处理器20实现。也即是说，处理器20可以用于：对每个子单元102中以第一曝光时间曝光的彩色像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色像素生成的第一全色原始图像数据进行像素相加处理得到第三目标图像数据；和对每个子单元102中以第二曝光时间曝光的彩色像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色像素生成的第二全色原始图像数据进行像素相加处理得到第四目标图像数据。
具体地，仍以图29为例，第一目标图像数据可包括图29的右图中彩色像素R且对应S处的第一目标图像数据、彩色像素G且对应S处的第一目标图像数据、彩色像素B且对应S处的第一目标图像数据。第二目标图像数据可包括图29的右图中彩色像素R且对应L处的第二目标图像数据、彩色像素G且对应L处的第二目标图像数据、彩色像素B且对应L处的第二目标图像数据。第三目标图像数据可包括图29的右图中彩色像素R且对应S’处的第三目标图像数据、彩色像素G且对应S’处的第三目标图像数据、彩色像素B且对应S’处的第三目标图像数据。第四目标图像数据可包括图29的右图中彩色像素R且对应L’处的第四目标图像数据、彩色像素G且对应L’处的第四目标图像数据、彩色像素B且对应L’处的第四目标图像数据。
对于第一目标图像数据和第二目标图像数据，处理器20可直接读取以第一曝光时间曝光的彩色像素生成的第一彩色原始图像数据以输出第一目标图像数据，直接读取以第二曝光时间曝光的彩色像素生成的第二彩色原始图像数据以输出第二目标图像数据。
例如，针对子单元U1，处理器20直接读取以第一曝光时间曝光的彩色像素R11的第一彩色原始图像数据以输出第一目标图像数据，直接读取以第二曝光时间曝光的彩色像素R22的第二彩色原始图像数据以输出第二目标图像数据。针对子单元U2，处理器20直接读取以第一曝光时间曝光的彩色像素G13的第一彩色原始图像数据以输出第一目标图像数据，直接读取以第二曝光时间曝光的彩色像素G24的第二彩色原始图像数据以输出第二目标图像数据。针对子单元U3，处理器20直接读取以第一曝光时间曝光的彩色像素G31的第一彩色原始图像数据以输出第一目标图像数据，直接读取以第二曝光时间曝光的彩色像素G42的第二彩色原始图像数据以输出第二目标图像数据。针对子单元U4，处理器20直接读取以第一曝光时间曝光的彩色像素B33的第一彩色原始图像数据以输出第一目标图像数据，直接读取以第二曝光时间曝光的彩色像素B44的第二彩色原始图像数据以输出第二目标图像数据。
本申请实施方式中，对于第三目标图像数据和第四目标图像数据，处理器20可以对以第一曝光时间曝光的彩色像素生成的第一彩色原始图像数据和以第一曝光时间曝光的全色像素生成的第一全色原始图像数据进行像素相加处理得到第三目标图像数据，对以第二曝光时间曝光的彩色像素生成的第二彩色原始图像数据和以第二曝光时间曝光的全色像素生成的第二全色原始图像数据进行像素相加处理得到第四目标图像数据。
例如，针对子单元U1，处理器20对以第一曝光时间曝光的彩色像素R11的第一彩色原始图像数据和以第一曝光时间曝光的全色像素W12的第一全色原始图像数据进行像素相加处理(Analog sum，后同)得到的第三目标图像数据，对以第二曝光时间曝光的彩色像素R22的第二彩色原始图像数据和以第二曝光时间曝光的全色像素W21的第二全色原始图像数据进行像素相加处理得到的第四目标图像数据。
针对子单元U2，处理器20对以第一曝光时间曝光的彩色像素G13的第一彩色原始图像数据和以第一曝光时间曝光的全色像素W14的第一全色原始图像数据进行像素相加处理得到的第三目标图像数据，对以第二曝光时间曝光的彩色像素G24的第二彩色原始图像数据和以第二曝光时间曝光的全色像素W23的第二全色原始图像数据进行像素相加处理得到的第四目标图像数据。
针对子单元U3，处理器20对以第一曝光时间曝光的彩色像素G31的第一彩色原始图像数据和以第一曝光时间曝光的全色像素W32的第一全色原始图像数据进行像素相加处理得到的第三目标图像数据，对以第二曝光时间曝光的彩色像素G42的第二彩色原始图像数据和以第二曝光时间曝光的全色像素W41的第二全色原始图像数据进行像素相加处理得到的第四目标图像数据。
针对子单元U4，处理器20对以第一曝光时间曝光的彩色像素B33的第一彩色原始图像数据和以第一曝光时间曝光的全色像素W34的第一全色原始图像数据进行像素相加处理得到的第三目标图像数据，对以第二曝光时间曝光的彩色像素B44的第二彩色原始图像数据和以第二曝光时间曝光的全色像素W43的第二全色原始图像数据进行像素相加处理得到的第四目标图像数据。
在某些实施方式中，在通过上述任一实施方式得到目标图像数据后，摄像头组件40的后端算法还可以根据目标图像数据的数据输出结构适配选择对应的算法对目标图像数据进行处理(后端算法可以兼容这些数据输出结构)，经过算法处理后的目标图像数据可以与后端图像处理器等硬件相匹配。
请参阅图31，本申请实施方式的移动终端90包括机壳80和上述任一实施方式的摄像头组件40。摄像头组件40安装在机壳80上。具体地，摄像头组件40可以安装在机壳80的正面以作为前置摄像头组件使用；或摄像头组件40可以安装在机壳80的背面以作为后置摄像头组件使用。移动终端90可以是手机、平板电脑、笔记本电脑、智能穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、头显设备、虚拟现实设备等等，在此不作限制。
本申请实施方式的移动终端90在二维像素阵列11中增加了多个全色像素，相较于一般的基于Bayer像素排列的图像传感器或者是QuadBayer像素排列的图像传感器而言，增加了通光量，具有更好的信噪比。本申请实施方式的移动终端90还控制二维像素阵列11曝光得到原始图像数据，并根据原始图像数据输出目标图像数据，可以使得输出的目标图像数据的数据输出结构与后端的算法和硬件功能相匹配。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (12)

1.一种图像传感器，其特征在于，所述图像传感器包括二维像素阵列、滤光片阵列和透镜阵列，沿所述图像传感器的收光方向，所述透镜阵列、所述滤光片阵列、及所述二维像素阵列依次设置，
所述二维像素阵列包括最小重复单元，所述最小重复单元包括多个子单元，每个所述子单元包括多个像素，所述像素包括彩色像素和全色像素，所述彩色像素具有比所述全色像素更窄的光谱响应，所述全色像素位于所述子单元的第一对角线方向，所述彩色像素位于所述子单元的第二对角线方向，所述第一对角线方向与所述第二对角线方向不同，
所述滤光片阵列包括多个滤光片，每个所述滤光片覆盖对应一个所述像素，
所述透镜阵列包括多个透镜，每个所述透镜覆盖对应一个或多个所述像素。
2.根据权利要求1所述的一种图像传感器，其特征在于，所述第一对角线和所述第二对角线垂直。
3.根据权利要求1所述的一种图像传感器，其特征在于，所述最小重复单元的行和列的所述像素的数量相等，且所述最小重复单元包括4个所述子单元。
4.根据权利要求1所述的一种图像传感器，其特征在于，所述子单元的行和列的所述像素的数量相等，且所述子单元包括8个所述彩色像素和8个所述全色像素。
5.根据权利要求3或4所述的一种图像传感器，其特征在于，所述最小重复单元为8行8列64个像素，子单元为4行4列16个像素，排布方式为：
Figure FDA0003357079390000011
其中，W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
6.根据权利要求3或4所述的一种图像传感器，其特征在于，所述最小重复单元为8行8列64个像素，子单元为4行4列16个像素，排布方式为：
Figure FDA0003357079390000012
其中，W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
7.根据权利要求1所述的一种图像传感器，其特征在于，所述每个所述透镜覆盖对应一个或多个所述像素，包括：每个所述透镜覆盖对应一个所述像素。
8.根据权利要求1所述的一种图像传感器，其特征在于，所述每个所述透镜覆盖对应一个或多个所述像素，包括：每个所述透镜覆盖对应一个所述子单元中的全部像素。
9.根据权利要求1所述的一种图像传感器，其特征在于，所述每个所述透镜覆盖对应一个或多个所述像素，包括：每个所述透镜覆盖对应一个所述子单元中的部分像素。
10.根据权利要求9所述的一种图像传感器，其特征在于，所述部分像素为所述子单元全部像素的四分之一，4个所述透镜覆盖对应一个所述子单元中的全部像素。
11.一种摄像头组件，其特征在于，所述摄像头组件包括处理器和权利要求1-10中任一项所述的图像传感器；所述处理器用于控制所述图像传感器获得图像数据。
12.一种移动终端，其特征在于，所述电子设备包括权利要求11所述的摄像头组件和机壳，所述摄像头组件安装在所述机壳上。
CN202111355951.7A 2020-05-22 2020-05-22 图像传感器、摄像头组件、移动终端 Pending CN113973184A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111355951.7A CN113973184A (zh) 2020-05-22 2020-05-22 图像传感器、摄像头组件、移动终端

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111355951.7A CN113973184A (zh) 2020-05-22 2020-05-22 图像传感器、摄像头组件、移动终端
CN202010441506.1A CN111447380B (zh) 2020-05-22 2020-05-22 控制方法、摄像头组件和移动终端

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010441506.1A Division CN111447380B (zh) 2020-05-22 2020-05-22 控制方法、摄像头组件和移动终端

Publications (1)

Publication Number Publication Date
CN113973184A true CN113973184A (zh) 2022-01-25

Family

ID=71657048

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111355951.7A Pending CN113973184A (zh) 2020-05-22 2020-05-22 图像传感器、摄像头组件、移动终端
CN202010441506.1A Active CN111447380B (zh) 2020-05-22 2020-05-22 控制方法、摄像头组件和移动终端

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010441506.1A Active CN111447380B (zh) 2020-05-22 2020-05-22 控制方法、摄像头组件和移动终端

Country Status (4)

Country Link
US (1) US20230046521A1 (zh)
EP (1) EP4142279A4 (zh)
CN (2) CN113973184A (zh)
WO (1) WO2021233040A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113973184A (zh) * 2020-05-22 2022-01-25 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端
CN112261391B (zh) * 2020-10-26 2022-01-04 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN114697474B (zh) * 2020-12-25 2023-07-21 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及计算机可读存储介质
CN114793262A (zh) * 2021-01-26 2022-07-26 华为技术有限公司 一种图像传感器、摄像头、电子设备及控制方法
CN113676651B (zh) * 2021-08-25 2023-05-26 维沃移动通信有限公司 图像传感器、控制方法、控制装置、电子设备和存储介质
CN113674685B (zh) * 2021-08-25 2023-02-24 维沃移动通信有限公司 像素阵列的控制方法、装置、电子设备和可读存储介质
US11818474B1 (en) * 2022-08-25 2023-11-14 Meta Platforms Technologies, Llc Sparse RGB cameras for image capture

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130073A1 (en) * 2006-12-01 2008-06-05 Compton John T Light sensitivity in image sensors
CN101854488A (zh) * 2009-03-31 2010-10-06 索尼公司 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置
CN105516698A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN107040724A (zh) * 2017-04-28 2017-08-11 广东欧珀移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置
CN109474771A (zh) * 2017-09-08 2019-03-15 苹果公司 图像捕获设备、像素和改善相位检测自动聚焦性能的方法
CN110649056A (zh) * 2019-09-30 2020-01-03 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN110740272A (zh) * 2019-10-31 2020-01-31 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
CN110996077A (zh) * 2019-11-25 2020-04-10 Oppo广东移动通信有限公司 图像传感器、摄像头组件和移动终端

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7769229B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels
JP2009026808A (ja) * 2007-07-17 2009-02-05 Fujifilm Corp 固体撮像装置
US8164651B2 (en) * 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
JP6099009B2 (ja) * 2012-02-16 2017-03-22 パナソニックＩｐマネジメント株式会社 撮像素子および撮像装置
US9293500B2 (en) * 2013-03-01 2016-03-22 Apple Inc. Exposure control for image sensors
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
US9711553B2 (en) * 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US9866764B2 (en) * 2014-11-21 2018-01-09 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
CN105611257B (zh) * 2015-12-18 2018-09-11 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN106341617B (zh) * 2016-11-16 2019-08-02 信利光电股份有限公司 一种摄像头串扰补偿的方法及装置
US10841488B2 (en) * 2018-08-03 2020-11-17 Qualcomm Incorporated Combined monochrome and chromatic camera sensor
CN111050041B (zh) * 2019-11-25 2021-03-26 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件及移动终端
CN110913152B (zh) * 2019-11-25 2022-02-15 Oppo广东移动通信有限公司 图像传感器、摄像头组件和移动终端
CN110971799B (zh) * 2019-12-09 2021-05-07 Oppo广东移动通信有限公司 控制方法、摄像头组件及移动终端
CN113973184A (zh) * 2020-05-22 2022-01-25 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130073A1 (en) * 2006-12-01 2008-06-05 Compton John T Light sensitivity in image sensors
CN101854488A (zh) * 2009-03-31 2010-10-06 索尼公司 固体摄像装置、固体摄像装置的信号处理方法以及摄像装置
CN105516698A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN107040724A (zh) * 2017-04-28 2017-08-11 广东欧珀移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置
CN109474771A (zh) * 2017-09-08 2019-03-15 苹果公司 图像捕获设备、像素和改善相位检测自动聚焦性能的方法
CN110649056A (zh) * 2019-09-30 2020-01-03 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN110740272A (zh) * 2019-10-31 2020-01-31 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
CN110996077A (zh) * 2019-11-25 2020-04-10 Oppo广东移动通信有限公司 图像传感器、摄像头组件和移动终端

Also Published As

Publication number Publication date
CN111447380B (zh) 2022-03-22
EP4142279A4 (en) 2023-08-16
US20230046521A1 (en) 2023-02-16
CN111447380A (zh) 2020-07-24
WO2021233040A1 (zh) 2021-11-25
EP4142279A1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
CN111447380B (zh) 控制方法、摄像头组件和移动终端
CN110649056B (zh) 图像传感器、摄像头组件及移动终端
CN111405204B (zh) 图像获取方法、成像装置、电子设备及可读存储介质
WO2021223590A1 (zh) 图像传感器、控制方法、摄像头组件和移动终端
CN111314592B (zh) 图像处理方法、摄像头组件及移动终端
CN110740272B (zh) 图像采集方法、摄像头组件及移动终端
CN111464733B (zh) 控制方法、摄像头组件和移动终端
CN111050041B (zh) 图像传感器、控制方法、摄像头组件及移动终端
CN110649057B (zh) 图像传感器、摄像头组件及移动终端
CN111385543B (zh) 图像传感器、摄像头组件、移动终端及图像获取方法
CN110784634B (zh) 图像传感器、控制方法、摄像头组件及移动终端
CN110913152B (zh) 图像传感器、摄像头组件和移动终端
CN111491111A (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN110971799B (zh) 控制方法、摄像头组件及移动终端
WO2021159944A1 (zh) 图像传感器、摄像头组件及移动终端
CN114041208A (zh) 图像传感器、摄像头组件及移动终端
CN114008782A (zh) 图像传感器、摄像头组件及移动终端
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
CN111031297B (zh) 图像传感器、控制方法、摄像头组件和移动终端
CN111212212A (zh) 摄像头组件、移动终端及控制方法
US20220279108A1 (en) Image sensor and mobile terminal
CN114424517B (zh) 图像传感器、控制方法、摄像头组件及移动终端
WO2021046690A1 (zh) 图像传感器、摄像头模组、移动终端及图像采集方法
CN112235485A (zh) 图像传感器、图像处理方法、成像装置、终端及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination