CN111031297A - 图像传感器、控制方法、摄像头组件和移动终端 - Google Patents

图像传感器、控制方法、摄像头组件和移动终端 Download PDF

Info

Publication number
CN111031297A
CN111031297A CN201911216143.5A CN201911216143A CN111031297A CN 111031297 A CN111031297 A CN 111031297A CN 201911216143 A CN201911216143 A CN 201911216143A CN 111031297 A CN111031297 A CN 111031297A
Authority
CN
China
Prior art keywords
image data
pixel
pixels
intermediate image
absorption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911216143.5A
Other languages
English (en)
Other versions
CN111031297B (zh
Inventor
杨鑫
蓝和
唐城
张海裕
徐锐
李小涛
孙剑波
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911216143.5A priority Critical patent/CN111031297B/zh
Publication of CN111031297A publication Critical patent/CN111031297A/zh
Application granted granted Critical
Publication of CN111031297B publication Critical patent/CN111031297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本申请公开了一种图像传感器、控制方法、摄像头组件和移动终端。图像传感器包括二维像素阵列。二维像素阵列包括多个第一像素和多个第二像素。第一像素包括具有不同光谱吸收特性的多个吸收区,多个吸收区中的每个吸收区用于接收一个波段的光线。第二像素包括一个吸收区,一个吸收区用于接收预定波段的光线。二维像素阵列包括最小重复单元。在最小重复单元中,第二像素设置在第一对角线方向,第一像素设置在第二对角线方向。第一对角线方向与第二对角线方向不同。本申请实施方式的图像传感器、控制方法、摄像头组件和移动终端中,第一像素包括多个吸收区,多个吸收区中的每个吸收区用于接收一个波段的光线,可以提高图像传感器的解析力。

Description

图像传感器、控制方法、摄像头组件和移动终端
技术领域
本申请涉及影像技术领域,特别涉及一种图像传感器、控制方法、摄像头组件和移动终端。
背景技术
手机等电子装置当中往往装配有摄像头,以实现拍照功能。摄像头中设置有图像传感器。为了实现彩色图像的采集,图像传感器中通常会设置有彩色像素,彩色像素以拜耳(Bayer)阵列形式排布。然而,采用拜耳阵列排布的图像传感器解析力较低。
发明内容
本申请实施方式提供一种图像传感器、控制方法、摄像头组件和移动终端。
本申请实施方式的图像传感器包括二维像素阵列,所述二维像素阵列包括多个第一像素和多个第二像素,所述第一像素包括多个具有不同光谱吸收特性的吸收区,所述多个吸收区中的每个吸收区用于接收一个波段的光线,所述第二像素包括一个吸收区,所述一个吸收区用于接收预定波段的光线;所述二维像素阵列包括最小重复单元,在所述最小重复单元中,所述第二像素设置在第一对角线方向,所述第一像素设置在第二对角线方向,所述第一对角线方向与所述第二对角线方向不同。
本申请实施方式的控制方法用于图像传感器,所述图像传感器包括二维像素阵列,所述二维像素阵列包括多个第一像素和多个第二像素,所述第一像素包括多个具有不同光谱吸收特性的吸收区,所述多个吸收区中的每个吸收区用于接收一个波段的光线,所述第二像素包括一个吸收区,所述一个吸收区用于接收预定波段的光线;所述二维像素阵列包括最小重复单元,在所述最小重复单元中,所述第二像素设置在第一对角线方向,所述第一像素设置在第二对角线方向,所述第一对角线方向与所述第二对角线方向不同;所述控制方法包括:所述二维像素阵列曝光以获取与所述第一像素对应的第一原始图像数据和与所述第二像素对应的第二原始图像数据;处理所述第一原始图像数据以得到多帧第一中间图像数据,处理所述第二原始图像数据以得到一帧第二中间图像数据;和处理多帧所述第一中间图像数据和一帧所述第二中间图像数据以获取目标图像。
本申请实施方式的摄像头组件包括镜头和图像传感器,所述图像传感器能够接收穿过所述镜头的光线;所述图像传感器包括二维像素阵列,所述二维像素阵列包括多个第一像素和多个第二像素,所述第一像素包括多个具有不同光谱吸收特性的吸收区,所述多个吸收区中的每个吸收区用于接收一个波段的光线,所述第二像素包括一个吸收区,所述一个吸收区用于接收预定波段的光线;所述二维像素阵列包括最小重复单元,在所述最小重复单元中,所述第二像素设置在第一对角线方向,所述第一像素设置在第二对角线方向,所述第一对角线方向与所述第二对角线方向不同。
本申请实施方式的移动终端包括壳体和摄像头组件,所述摄像头组件与所述壳体结合;所述摄像头组件包括镜头和图像传感器,所述图像传感器能够接收穿过所述镜头的光线;所述图像传感器包括二维像素阵列,所述二维像素阵列包括多个第一像素和多个第二像素,所述第一像素包括多个具有不同光谱吸收特性的吸收区,所述多个吸收区中的每个吸收区用于接收一个波段的光线,所述第二像素包括一个吸收区,所述一个吸收区用于接收预定波段的光线;所述二维像素阵列包括最小重复单元,在所述最小重复单元中,所述第二像素设置在第一对角线方向,所述第一像素设置在第二对角线方向,所述第一对角线方向与所述第二对角线方向不同。
本申请实施方式的图像传感器、控制方法、摄像头组件和移动终端中,第一像素包括多个具有不同光谱吸收特性的吸收区,多个吸收区中的每个吸收区用于接收一个波段的光线,可以提高图像传感器的解析力。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的图像传感器的示意图;
图2至图5是本申请某些实施方式的图像传感器的像素阵列的排布示意图;
图6是本申请某些实施方式的图像传感器的像素阵列的结构示意图;
图7是本申请某些实施方式的图像传感器的像素阵列的俯视图;
图8是不同色彩通道饱和时间示意图;
图9是本申请某些实施方式的控制方法的流程示意图;
图10是本申请某些实施方式的摄像头组件的模块示意图;
图11和图12是本申请某些实施方式的控制方法的原理示意图;
图13是本申请某些实施方式的控制方法的流程示意图;
图14和图15是本申请某些实施方式的控制方法的原理示意图;
图16是本申请某些实施方式的控制方法的流程示意图;
图17至图19是本申请某些实施方式的控制方法的原理示意图;
图20是本申请某些实施方式的控制方法的流程示意图;
图21和图22是本申请某些实施方式的控制方法的原理示意图;
图23是本申请某些实施方式的控制方法的流程示意图;
图24和图25是本申请某些实施方式的控制方法的原理示意图;
图26是本申请某些实施方式的移动终端的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
请参阅图1、图2和图6,本申请实施方式提供一种图像传感器10。图像传感器10包括二维像素阵列101。二维像素阵列101包括多个第一像素11和多个第二像素12。第一像素11包括多个具有不同光谱吸收特性的吸收区112,多个吸收区112中的每个吸收区112用于接收一个波段的光线。第二像素12包括一个吸收区122,一个吸收区122用于接收预定波段的光线。二维像素阵列101包括最小重复单元。在最小重复单元中,第二像素12设置在第一对角线方向D1,第一像素11设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。
本申请实施方式的图像传感器10中,请参见图6,第一像素11包括多个具有不同光谱吸收特性的吸收区112,多个吸收区112中的每个吸收区112用于接收一个波段的光线,可以提高图像传感器10的解析力。
请参阅图1,在本申请的实施例中,图像传感器10包括二维像素阵列101、垂直驱动单元102、控制单元103、列处理单元104和水平驱动单元105。
图像传感器10可以采用互补金属氧化物半导体(CMOS,Complementary MetalOxide Semiconductor)感光元件或者电荷耦合元件(CCD,Charge-coupled Device)感光元件。
二维像素阵列101包括以阵列形式二维排列的多个像素,每个像素包括光电转换元件。像素根据入射在其上的光的强度将光转换为电荷。
垂直驱动单元102包括移位寄存器和地址译码器。垂直驱动单元102包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位像素,从这些单位像素逐行地读取信号。被选择并扫描的像素行中的每一像素输出的信号被传输到列处理单元104。复位扫描用于复位电荷,光电转换元件的光电荷被丢弃,从而可以开始新的光电荷的积累。
由列处理单元104执行的信号处理的是相关双采样(CDS)处理。在CDS处理中,取出从所选行中的每一像素输出的复位电平和信号电平,并且计算电平差。因而,获得了一行中的像素的信号。列处理单元104可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。
水平驱动单元105包括移位寄存器和地址译码器。水平驱动单元105顺序逐列扫描像素阵列101。通过水平驱动单元105执行的选择扫描操作,每一像素列被列处理单元104顺序地处理,并且被顺序输出。
控制单元103根据操作模式配置时序信号,利用多种时序信号来控制垂直驱动单元102、列处理单元104和水平驱动单元105协同工作。
请结合图2,二维像素阵列101包括多个第一像素11和多个第二像素12。第一像素11可以是彩色像素,例如由R像素(红色像素)、G像素(绿色像素)和B像素(蓝色像素)组合形成的叠层像素。第二像素12可以是W像素(全色像素)、G像素或Y像素(黄色像素)中的任意一种。当然,在其他实施方式中,第二像素12也可以是R像素或B像素等其他颜色的像素,在此不作限制。
二维像素阵列101包括最小重复单元。在最小重复单元中,第二像素12设置在第一对角线方向D1,第一像素11设置在第二对角线方向D2。第一对角线方向D1与第二对角线方向D2不同。例如,第一对角线方向D1与第二对角线方向D2垂直。需要说明的是,第一对角线方向D1和第二对角线方向D2并不局限于对角线,还包括平行于对角线的方向。这里的“方向”并非单一指向,可以理解为指示排布的“直线”的概念,可以有直线两端的双向指向。
最小重复单元行和列的像素数量相等。最小重复单元包括但不限于,2行2列、4行4列、6行6列、8行8列、10行10列的最小重复单元。这种设置有助于均衡行和列方向图像的分辨率和均衡色彩表现,提高显示效果。
请参阅图2,在一个实施例中,以二维像素阵列101中的部分像素为例进行说明,像素排布为如下方式:
A+B+C D A+B+C D
D A+B+C D A+B+C
A+B+C D A+B+C D
D A+B+C D A+B+C
其中,A+B+C表示第一像素,D表示第二像素。第二像素D设置在第一对角线方向D1(即图2中左下角和右上角连接的方向),第一像素A+B+C设置在第二对角线方向D2(即图2中左上角和右下角连接的方向)。
请参阅图3,在一个实施例中,以二维像素阵列101中的部分像素为例进行说明,像素排布为如下方式:
D A+B+C D A+B+C
A+B+C D A+B+C D
D A+B+C D A+B+C
A+B+C D A+B+C D
其中,A+B+C表示第一像素,D表示第二像素。第二像素D设置在第一对角线方向D1(即图3中左上角和右下角连接的方向),第一像素A+B+C设置在第二对角线方向D2(即图3中左下角和右上角连接的方向)。
在图2和图3的示例中,A可以为R像素、B可以为G像素,C可以为B像素,D可以为W像素、G像素、Y像素、R像素或B像素。R像素能够接收红色光线,G像素能够接收绿色光线,B像素能够接收蓝色光线,Y像素能够接收黄色光线。在一个实施例中,W像素的响应波段为可见光波段(例如400nm-760nm)。此时,W像素上可设置有红外滤光片,以实现红外光的滤除。在一个实施例中,W像素的响应波段为可见光波段和近红外波段(例如400nm-1000nm),与图像传感器10中的光电转换元件(例如光电二极管)响应波段相匹配。此时,W像素可以不设置滤光片,W像素的响应波段由光电二极管的响应波段确定,即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
请参阅图4和图5,图4和图5分别对应图2和图3的排布方式,其中,A为R像素、B为G像素,C为B像素,D为W像素。
请参阅图6,第一像素11包括衬底111和具有不同光谱吸收特性的多个吸收区112。每个吸收区112都形成有光电转换元件(如光电二极管),每个吸收区112用于接收一个波段的光线。第一像素11上可设置有红外滤光片13,以实现红外光的滤除。
具体地,多个吸收区112可包括第一吸收区113、第二吸收区114和第三吸收区115。第一吸收区113对应B像素,用于接收蓝色光线。第二吸收区114对应G像素,用于接收绿色光线。第三吸收区115对应R像素,用于接收红色光线。第一吸收区113、第二吸收区114和第三吸收区115均位于衬底111内。沿图像传感器10的收光方向,第一吸收区113、第二吸收区114和第三吸收区115依次排列,同时,衬底111的设置使得第一吸收区113、第二吸收区114和第三吸收区115两两间隔。
第一吸收区113包括第一水平部1131和自第一水平部1131向收光方向延伸的第一垂直部1132。第二吸收区114包括第二水平部1141和自第二水平部1141向收光方向延伸的第二垂直部1142。第三吸收区115包括第三水平部1151。沿收光方向,第一水平部1131、第二水平部1141和第三水平部1151依次排列。
请结合图7,从收光方向来看,第三吸收区115可位于第二吸收区114内,第二吸收区114可位于第一吸收区113内,即:第一吸收区113在第一像素11的底面(第一像素11的与第一像素11的感光面相背的表面)的正投影覆盖第二吸收区114在第一像素11的底面的正投影,第二吸收区114在第一像素11的底面的正投影覆盖第三吸收区115在第一像素11的底面的正投影。
请参阅图6,第一像素11还可包括三个读出电路116,图6中示例性地画出了一个读出电路16的连接示意图。三个读出电路116可分别与第一吸收区113、第二吸收区114和第三吸收区115连接。具体地,第一个读出电路116与第一垂直部1132连接,以用于转移并传输第一吸收区113接收光线后生成的电荷。在其他实施例中,第二个读出电路116(图未示)可与第二垂直部1142连接,以用于转移并传输第二吸收区114接收光线后生成的电荷。第三个读出电路116(图未示)可与第三水平部1151连接,以用于转移并传输第三吸收区115接收光线后生成的电荷。需要指出的是,本申请实施方式的三个读出电路116的电路结构可以是相同的,图6中仅画出了与第一垂直部1132连接的第一个读出电路116的结构,并以该读出电路116为例进行说明。
读出电路116包括曝光控制电路1161、复位电路1162、放大电路1163和选择电路1164。曝光控制电路1161可以是转移晶体管,复位电路1162可以是复位晶体管,放大电路1163可以是放大晶体管,选择电路1164可以是选择晶体管。在本申请的实施例中,转移晶体管、复位晶体管、放大晶体管和选择晶体管可以是MOS管,但不限于此。
请参阅图1和图6,转移晶体管的栅极TG通过曝光控制线(图中未示出)连接垂直驱动单元102;复位晶体管的栅极RG通过复位控制线(图中未示出)连接垂直驱动单元102;选择晶体管的栅极SEL通过选择线(图中未示出)连接垂直驱动单元102。曝光控制电路1161与第一垂直部1132电连接,用于转移第一吸收区113的光电二极管经光照后积累的电势。光电二极管的阳极可以连接到地。光电二极管将所接收的光转换为电荷。光电二极管的阴极经由曝光控制电路1161连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管的栅极、复位晶体管的源极连接。
转移晶体管的控制端TG为转移晶体管的栅极。当有效电平(例如,VPIX电平)的脉冲通过曝光控制线(图中未示出)传输到转移晶体管的栅极时,转移晶体管导通。转移晶体管将光电二极管光电转换的电荷传输到浮动扩散单元FD。
复位晶体管的漏极连接到像素电源VPIX。复位晶体管的源极连接到浮动扩散单元FD。在电荷被从光电二极管PD转移到浮动扩散单元FD之前,有效复位电平的脉冲经由复位线传输到复位晶体管的栅极,复位晶体管导通。复位晶体管将浮动扩散单元FD复位到像素电源VPIX。
放大晶体管的栅极连接到浮动扩散单元FD。放大晶体管的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管复位之后,放大晶体管经由选择晶体管通过输出端OUT输出复位电平。在光电二极管的电荷被转移晶体管转移之后,放大晶体管经由选择晶体管通过输出端OUT输出信号电平。
选择晶体管的漏极连接到放大晶体管的源极。选择晶体管的源极通过输出端OUT连接到图1中的列处理单元104。当有效电平的脉冲通过选择线被传输到选择晶体管的栅极时,选择晶体管导通。放大晶体管输出的信号通过选择晶体管传输到列处理单元104。
需要说明的是,本申请实施例中的读出电路116的结构并不限于图6所示的结构。例如,读出电路116可以具有三晶体管像素结构,其中放大晶体管和选择晶体管的功能由一个晶体管完成。曝光控制电路1161也可以不局限于单个转移晶体管的方式,其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路1161,单个转移晶体管的实施方式简单、成本低、易于控制。
请参阅图6和图7,第二像素12包括衬底121和一个吸收区122。吸收区122位于衬底122内。吸收区122形成有光电转换元件(如光电二极管),吸收区122用于接收预定波段的光线。
在一个实施例中,第二像素12为W像素,吸收区122用于接收可见光波段(例如400nm-760nm)的光线。此时,第二像素12上可设置有红外滤光片13,以实现红外光的滤除。在一个实施例中,第二像素12为W像素,吸收区122用于接收可见光波段和近红外波段(例如400nm-1000nm)的光线,与图像传感器10中的光电转换元件(例如光电二极管)响应波段相匹配。此时,第二像素12上可以不设置滤光片,第二像素12的响应波段由光电二极管的响应波段确定,即两者相匹配。在一个实施例中,第二像素12为G像素,吸收区122用于接收绿色光线。在一个实施例中,第二像素12为Y像素,吸收区122用于接收黄色光线。
与第一像素11类似地,第二像素12也可包括读出电路(图未示),读出电路的数量为一个,读出电路与吸收区122连接,以用于转移并传输吸收区122接收光线后生成的电荷。第二像素12的读出电路同样可以包括曝光控制电路、复位电路、放大电路和选择电路等,在此不详细展开说明。
请参阅图8,在图像传感器10中,不同色彩的像素单位时间接收的曝光量不同,在某些色彩饱和后,某些色彩还未曝光到理想的状态。图8中以RGBW(红色、绿色、蓝色、全色)为例说明。图8中横轴为曝光时间、纵轴为曝光量,Q为饱和的曝光量,LW为全色像素W的曝光曲线,LG为绿色像素G的曝光曲线,LR为红色像素R的曝光曲线,LB为蓝色像素的曝光曲线。
从图8中可以看出,全色像素W的曝光曲线LW的斜率最大,也就是说在单位时间内全色像素W可以获得更多的曝光量,在t1时刻即达到饱和。绿色像素G的曝光曲线LG的斜率次之,绿色像素在t2时刻饱和。红色像素R的曝光曲线LR的斜率再次之,红色像素在t3时刻饱和。蓝色像素B的曝光曲线LB的斜率最小,蓝色像素在t4时刻饱和。在t1时刻,全色像素W已经饱和,而R、G、B三种像素曝光还未达到理想状态。
相关技术中,RGBW四种像素的曝光时间是共同控制的。例如,每行像素的曝光时间是相同的,连接于同一曝光控制线,受同一曝光控制信号的控制。例如,请继续参阅图8,在0-t1时间段,RGBW四种像素都可以正常工作,但在此区间RGB由于曝光时间较短、曝光量较少,在图像显示时会造成亮度较低、信噪比较低、甚至色彩不够鲜艳的现象。在t1-t4时段,W像素由于饱和造成过度曝光,无法工作,曝光量数据已经无法真实反映目标。
本申请实施方式中,请结合图2,第一对角线方向D1相邻的至少两个第二像素12(例如,第二像素12为W像素)的第一曝光时间由第一曝光信号控制,第二对角线方向D2相邻的至少两个第一像素11(例如,第一像素11为由R像素、G像素和B像素组合形成的叠层像素)的第二曝光时间由第二曝光信号控制,以实现第二像素12曝光时间和第一像素11曝光时间的独立控制。本申请实施方式通过独立控制第二像素12的曝光时间和第一像素11的曝光时间,可以减少第二像素12对曝光时间的限制,均衡第二像素12与第一像素11的曝光,从而提高图像拍摄质量。
需要说明的是,图8中的曝光曲线仅为一个示例,根据像素响应波段的不同,曲线的斜率和相对关系会有所变化,本申请不限于图8中所示的情形。例如,当红色像素R响应的波段比较窄时,红色像素R的曝光曲线斜率可能比蓝色像素B曝光曲线的斜率更低。
在第二像素12的曝光时间和第一像素11的曝光时间可以独立控制的基础上,第二像素12的第一曝光时间和第一像素11的第二曝光时间可以相同或不同。较佳地,第一曝光时间可以小于或等于第二曝光时间。示例地,第一曝光时间与第二曝光时间的比值可为1:2、1:3、1:4等。
第一曝光时间与第二曝光时间的相对关系可以根据环境亮度来确定。在环境亮度小于或等于亮度阈值时,图像传感器10控制第二像素12以等于第二曝光时间的第一曝光时间来曝光;在环境亮度大于亮度阈值时,图像传感器10控制第二像素12以小于第二曝光时间的第一曝光时间来曝光。在环境亮度大于亮度阈值时,可以根据环境亮度与亮度阈值之间的亮度差值来确定第一曝光时间与第二曝光时间的相对关系,例如,亮度差值越大,第一曝光时间与第二曝光时间的比例越小。示例地,在亮度差值位于第一范围[a,b)内时,第一曝光时间与第二曝光时间的比例为1:2;在亮度差值位于第二范围[b,c)内时,第一曝光时间与第二曝光时间的比例为1:3;在亮度差值大于或等于c时,第一曝光时间与第二曝光时间的比例为1:4。其中,a<b<c。如此,可以避免第二像素12过曝导致图像无法使用。
请参阅图1、图2和图9,本申请实施方式还提供一种可用于上述图像传感器10的控制方法。
控制方法包括:
01:二维像素阵列101曝光以获取与第一像素11对应的第一原始图像数据和与第二像素12对应的第二原始图像数据;
02:处理第一原始图像数据以得到多帧第一中间图像数据,处理第二原始图像数据以得到一帧第二中间图像数据;和
03:处理多帧第一中间图像数据和一帧第二中间图像数据以获取目标图像。
请参阅图10,本申请实施方式还提供一种摄像头组件40。摄像头组件40包括镜头30和上述任意一项实施方式所述的图像传感器10。图像传感器10能够接收穿过镜头30的光线。进一步地,摄像头组件40还可包括处理芯片20。处理芯片20与图像传感器10电连接。本申请实施方式的控制方法可由本申请实施方式的摄像头组件40实现。例如,图像传感器10可用于执行01中的方法,处理芯片20可用于执行02和03中的方法。
也即是说,图像传感器10中的二维像素阵列101曝光以获取与第一像素11对应的第一原始图像数据和与第二像素12对应的第二原始图像数据。处理芯片20可以用于处理第一原始图像数据以得到多帧第一中间图像数据,处理第二原始图像数据以得到一帧第二中间图像数据;和处理多帧第一中间图像数据和一帧第二中间图像数据以获取目标图像。
具体地,请结合图11,在用户请求拍照时,图像传感器10中的垂直驱动单元102会控制二维像素阵列101中的多个第一像素11和多个第二像素12均曝光。列处理单元104会读出每一个第一像素11的像素值以及每一个第二像素12的像素值。图像传感器10输出一帧与第一像素11对应的第一原始图像数据和一帧与第二像素12对应的第二原始图像数据。
以第一像素11是由R像素、G像素和B像素组合形成的叠层像素、第二像素12是W像素(如图11所示)或G像素(如图12所示)为例,第一原始图像数据包括多个第一像素11及多个空像素N(NULL)。其中,空像素N既不为第一像素11,也不为第二像素12,第一原始图像数据中空像素N所处位置可视为该位置没有像素,或者可以将空像素的像素值视为零。比较二维像素阵列101与第一原始图像数据可知,对于二维像素阵列101中的每一个最小重复单元,该最小重复单元可包括两个第一像素11和两个第二像素12。第一原始图像数据中也具有与二维像素阵列101中的每一个最小重复单元对应的一个最小重复单元,第一原始图像数据的最小重复单元包括两个第一像素11和两个空像素N,两个空像素N所处位置对应二维像素阵列101最小重复单元中的两个第二像素12所处的位置。
同样地,第二原始图像数据包括多个第二像素12及多个空像素N。其中,空像素N既不为第一像素11,也不为第二像素12,第二原始图像数据中空像素N所处位置可视为该位置没有像素,或者可以将空像素的像素值视为零。比较二维像素阵列101与第二原始图像数据可知,对于二维像素阵列101中的每一个最小重复单元,该最小重复单元可包括两个第一像素11和两个第二像素12。第二原始图像数据中也具有与二维像素阵列101中的每一个最小重复单元对应的一个最小重复单元。第二原始图像数据的最小重复单元包括两个第二像素12和两个空像素N,两个空像素N所处位置对应二维像素阵列101最小重复单元中的两个第一像素101所处的位置。
处理芯片20获取到第一原始图像数据和第二原始图像数据后,即可处理第一原始图像数据以得到多帧第一中间图像数据,处理第二原始图像数据以得到一帧第二中间图像数据,然后处理多帧第一中间图像数据和一帧第二中间图像数据以获取目标图像。
本申请实施方式的控制方法和摄像头组件40中,仅第一像素11采用了叠层像素,也即是说,二维像素阵列101中仅一半的像素为叠层像素,相较于二维像素阵列101中的所有像素均为叠层像素而言,降低了功耗,从而降低了图像传感器10的发热,而且还减少了图像数据量,可以提高帧率。
此外,当第二像素12采用W像素时,第二像素12的灵敏度较高,在低亮环境下也能够接收到较为充足的光线,如此,图像传感器10在低亮环境下获取的图像的信噪比能够得到提升,图像可以具有足够的亮度,有利于改善摄像头组件40的成像质量。
请参阅图13,在某些实施方式中,处理第一原始图像数据以得到多帧第一中间图像数据,处理第二原始图像数据以得到一帧第二中间图像数据(即02),包括:
021:分离第一原始图像数据以得到多帧单颜色原始图像数据;
022:插补处理分离后的每帧单颜色原始图像数据,获取每个最小重复单元中的所有像素的像素值以得到第一中间图像数据;和
023:插补处理第二原始图像数据,获取每个最小重复单元中的所有像素的像素值以得到第二中间图像数据。
在某些实施方式中,处理芯片20可用于执行021、022和023中的方法。
也即是说,处理芯片20可以用于:分离第一原始图像数据以得到多帧单颜色原始图像数据;插补处理分离后的每帧单颜色原始图像数据,获取每个最小重复单元中的所有像素的像素值以得到第一中间图像数据;和插补处理第二原始图像数据,获取每个最小重复单元中的所有像素的像素值以得到第二中间图像数据。
具体地,处理芯片20可以先分离第一原始图像数据以得到多帧单颜色原始图像数据。如图14所示,第一原始图像数据分离后可以得到三帧单颜色原始图像数据,分别为单颜色原始图像数据R、单颜色原始图像数据B和单颜色原始图像数据B。
单颜色原始图像数据R包括多个像素R和多个空像素N。比较第一原始图像数据与单颜色原始图像数据R可知,对于第一原始图像数据中的每一个最小重复单元,该最小重复单元包括两个第一像素11及两个空像素N。单颜色原始图像数据R中也具有与第一原始图像数据中的每一个最小重复单元对应的一个最小重复单元,单颜色原始图像数据R的最小重复单元包括两个像素R和两个空像素N,两个像素R所处位置对应第一原始图像数据中的最小重复单元中的两个第一像素11所处的位置,两个空像素N所处位置对应第一原始图像数据中的最小重复单元中的两个空像素N所处的位置。
单颜色原始图像数据G包括多个像素G和多个空像素N。比较第一原始图像数据与单颜色原始图像数据G可知,对于第一原始图像数据中的每一个最小重复单元,该最小重复单元包括两个第一像素11及两个空像素N。单颜色原始图像数据G中也具有与第一原始图像数据中的每一个最小重复单元对应的一个最小重复单元,单颜色原始图像数据G的最小重复单元包括两个像素G和两个空像素N,两个像素G所处位置对应第一原始图像数据中的最小重复单元中的两个第一像素11所处的位置,两个空像素N所处位置对应第一原始图像数据中的最小重复单元中的两个空像素N所处的位置。
单颜色原始图像数据B包括多个像素B和多个空像素N。比较第一原始图像数据与单颜色原始图像数据B可知,对于第一原始图像数据中的每一个最小重复单元,该最小重复单元包括两个第一像素11及两个空像素N。单颜色原始图像数据B中也具有与第一原始图像数据中的每一个最小重复单元对应的一个最小重复单元,单颜色原始图像数据B的最小重复单元包括两个像素B和两个空像素N,两个像素B所处位置对应第一原始图像数据中的最小重复单元中的两个第一像素11所处的位置,两个空像素N所处位置对应第一原始图像数据中的最小重复单元中的两个空像素N所处的位置。
处理芯片20获取到单颜色原始图像数据R、单颜色原始图像数据G、单颜色原始图像数据B后,即可分别对单颜色原始图像数据R、单颜色原始图像数据G、单颜色原始图像数据B进行插补处理。例如,对单颜色原始图像数据R进行插补处理得到第一中间图像数据R,对单颜色原始图像数据G进行插补处理得到第一中间图像数据G,对单颜色原始图像数据B进行插补处理得到第一中间图像数据B。
对于包含像素R的单颜色原始图像数据R,处理芯片20对单颜色原始图像数据R中每个最小重复单元内的两个空像素N做插补,插补出两个空像素N的像素值。如此,两个空像素N可视为被替换为两个像素R,则每个最小重单元中的所有像素均具有相应的像素值。多个像素R即形成第一中间图像数据R。
对于包含像素G的单颜色原始图像数据G,处理芯片20对单颜色原始图像数据G中每个最小重复单元内的两个空像素N做插补,插补出两个空像素N的像素值。如此,两个空像素N可视为被替换为两个像素G,则每个最小重单元中的所有像素均具有相应的像素值。多个像素G即形成第一中间图像数据G。
对于包含像素B的单颜色原始图像数据B,处理芯片20对单颜色原始图像数据B中每个最小重复单元内的两个空像素N做插补,插补出两个空像素N的像素值。如此,两个空像素N可视为被替换为两个像素B,则每个最小重单元中的所有像素均具有相应的像素值。多个像素B即形成第一中间图像数据B。
如图15所示,处理芯片20还对第二原始图像数据进行插补处理,得到第二中间图像数据。本申请实施方式以第二像素12是W像素为例进行说明,对于包含像素W的第二原始图像数据,处理芯片20对第二原始图像数据中每个最小重复单元内的两个空像素N做插补,插补出两个空像素N的像素值。如此,两个空像素N可视为被替换为两个像素W,则每个最小重单元中的所有像素均具有相应的像素值。多个像素W即形成第二中间图像数据。其中,在采用两个像素W替换两个空像素N时,可以采用单颜色原始图像数据R、单颜色原始图像数据G和单颜色原始图像数据B中对应位置像素R的像素值、像素G的像素值和像素B的像素值相加得到像素W的像素值,并采用该像素值替换空像素N。如此,第二中间图像数据中的像素W的像素值不是根据周围像素W的像素值计算得到,第二中间图像数据中的像素W的像素值较为准确,使得后续亮度修正的过程也较为准确。
通过对多帧单颜色原始图像数据及一帧第二原始图像数据进行插补处理,可以增大单颜色原始图像数据及第二原始图像数据的分辨率,有利于提升图像的清晰度。
请参阅图16,在某些实施方式中,处理多帧第一中间图像数据和一帧第二中间图像数据以获取目标图像(即03),包括:
031:分离每帧第一中间图像数据的色彩和亮度以得到色亮分离图像数据;
032:将每帧色亮分离图像数据的亮度与第二中间图像数据的亮度融合得到多帧亮度校正图像数据;和
033:融合多帧亮度校正图像数据以得到目标图像。
在某些实施方式中,处理芯片20可用于执行031、032和033中的方法。
也即是说,处理芯片20可以用于:分离每帧第一中间图像数据的色彩和亮度以得到色亮分离图像数据;将每帧色亮分离图像数据的亮度与第二中间图像数据的亮度融合得到多帧亮度校正图像数据;和融合多帧亮度校正图像数据以得到目标图像。
具体地,处理芯片20对每帧第一中间图像数据(包括第一中间图像数据R、第一中间图像数据G、及第一中间图像数据B)做色彩空间的转换以实现色彩和亮度的分离。如图17所示,图17中色亮分离图像数据(包括色亮分离图像数据R、色亮分离图像数据G、及色亮分离图像数据B)中的L表示亮度,CLR表示色彩。具体地,(1)处理芯片20可以将RGB空间的第一中间图像数据转换为YCrCb空间的色亮分离图像数据,此时YCrCb中的Y即为色亮分离图像数据中的亮度L,YCrCb中的Cr和Cb即为色亮分离图像数据中的色彩CLR;(2)处理芯片20也可以将RGB的第一中间图像数据转换为Lab空间的色亮分离图像数据,此时Lab中的L即为色亮分离图像数据中的亮度L,Lab中的a和b即为色亮分离图像数据中的色彩CLR。需要说明的是,图17所示色亮分离图像数据中L+CLR并不表示每个像素的像素值由L和CLR相加而成,仅表示每个像素的像素值是由L和CLR组成。
随后,处理芯片20融合每一帧色亮分离图像数据的亮度以及第二中间图像数据的亮度。如图18所示,每个像素W的像素值即为每个像素W的亮度值。色亮分离图像数据中每个像素的L可以通过第二中间图像数据中对应位置的像素W的像素值进行修正或替换,即可得到亮度修正后的像素值。处理芯片20根据一帧色亮分离图像数据中的多个亮度修正后的像素值形成一帧亮度修正后的色亮分离图像数据,再利用色彩空间转换将一帧亮度修正后的色亮分离图像数据转换为一帧亮度校正图像数据。如此,处理芯片20即可获得多帧亮度校正图像数据(包括亮度校正图像数据R、亮度校正图像数据G、及亮度校正图像数据B)。
随后,如图19所示,处理芯片20对多帧亮度校正图像数据进行融合处理。具体地,处理芯片20可以根据三帧亮度校正图像数据相同位置处的像素的像素值来计算该像素的目标像素值,多个目标像素值即可形成目标图像。例如,处理器可以根据亮度校正图像数据R的第一行第一列的像素的像素值、亮度校正图像数据G的第一行第一列的像素的像素值、及亮度校正图像数据B的第一行第一列的像素的像素值来计算目标图像第一行第一列的像素的目标相似值等。目标图像中其余像素的目标像素值也可采用上述方式进行计算。如此,处理芯片20可以获得多个目标像素值。处理芯片20可以根据多个目标像素值来形成一帧目标图像。
请参阅图20,在某些实施方式中,处理第一原始图像数据以得到多帧第一中间图像数据,处理第二原始图像数据以得到一帧第二中间图像数据(即02),包括:
024:分离第一原始图像数据以得到多帧第一中间图像数据,多帧第一中间图像数据包括第一子中间图像数据、第二子中间图像数据和第三子中间图像数据;和
025:融合第二子中间图像数据和第二原始图像数据以得到第二中间图像数据。
在某些实施方式中,处理芯片20可用于执行024和025中的方法。
也即是说,处理芯片20可以用于:分离第一原始图像数据以得到多帧第一中间图像数据,多帧第一中间图像数据包括第一子中间图像数据、第二子中间图像数据和第三子中间图像数据;和融合第二子中间图像数据和第二原始图像数据以得到第二中间图像数据。
具体地,处理芯片20可以先分离第一原始图像数据以得到多帧第一中间图像数据。如图21所示,第一原始图像数据分离后可以得到三帧第一中间图像数据,分别为第一子中间图像数据R、第二子中间图像数据G和第三子中间图像数据B。
第一子中间图像数据R包括多个像素R和多个空像素N。比较第一原始图像数据与第一子中间图像数据R可知,对于第一原始图像数据中的每一个最小重复单元,该最小重复单元包括两个第一像素11及两个空像素N。第一子中间图像数据R中也具有与第一原始图像数据中的每一个最小重复单元对应的一个最小重复单元,第一子中间图像数据R的最小重复单元包括两个像素R和两个空像素N,两个像素R所处位置对应第一原始图像数据中的最小重复单元中的两个第一像素11所处的位置,两个空像素N所处位置对应第一原始图像数据中的最小重复单元中的两个空像素N所处的位置。
第二子中间图像数据G包括多个像素G和多个空像素N。比较第一原始图像数据与第二子中间图像数据G可知,对于第一原始图像数据中的每一个最小重复单元,该最小重复单元包括两个第一像素11及两个空像素N。第二子中间图像数据G中也具有与第一原始图像数据中的每一个最小重复单元对应的一个最小重复单元,第二子中间图像数据G的最小重复单元包括两个像素G和两个空像素N,两个像素G所处位置对应第一原始图像数据中的最小重复单元中的两个第一像素11所处的位置,两个空像素N所处位置对应第一原始图像数据中的最小重复单元中的两个空像素N所处的位置。
第三子中间图像数据B包括多个像素B和多个空像素N。比较第一原始图像数据与第三子中间图像数据B可知,对于第一原始图像数据中的每一个最小重复单元,该最小重复单元包括两个第一像素11及两个空像素N。第三子中间图像数据B中也具有与第一原始图像数据中的每一个最小重复单元对应的一个最小重复单元,第三子中间图像数据B的最小重复单元包括两个像素B和两个空像素N,两个像素B所处位置对应第一原始图像数据中的最小重复单元中的两个第一像素11所处的位置,两个空像素N所处位置对应第一原始图像数据中的最小重复单元中的两个空像素N所处的位置。
处理芯片20还融合第二子中间图像数据G和第二原始图像数据以得到第二中间图像数据。本申请实施方式以第二像素12是G像素为例进行说明,如图22所示,处理芯片20将第二原始图像数据的最小重复单元中的两个空像素N替换为第二子中间图像数据G的最小重复单元中对应位置处的两个像素G,多个像素G即形成第二中间图像数据。如此,第二中间图像数据中的像素G的像素值不是根据周围像素G的像素值计算得到,第二中间图像数据中的像素G的像素值较为准确。
请参阅图23,在某些实施方式中,处理多帧第一中间图像数据和一帧第二中间图像数据以获取目标图像(即03),包括:
034:根据第二中间图像数据插补处理第一子中间图像数据和第三子中间图像数据以得到第一插补图像数据和第三插补图像数据;和
035:融合第一插补图像数据、第二中间图像数据和第三插补图像数据以得到目标图像。
在某些实施方式中,处理芯片20可用于执行034和035中的方法。
也即是说,处理芯片20可以用于:根据第二中间图像数据插补处理第一子中间图像数据和第三子中间图像数据以得到第一插补图像数据和第三插补图像数据;和融合第一插补图像数据、第二中间图像数据和第三插补图像数据以得到目标图像。
具体地,如图24所示,处理芯片20获取到第一子中间图像数据R、第三子中间图像数据B和第二中间图像数据后,可根据第二中间图像数据分别对第一子中间图像数据R和第三子中间图像数据B进行插补处理。例如,根据第二中间图像数据对第一子中间图像数据R进行插补处理得到第一插补图像数据R,根据第二中间图像数据对第三子中间图像数据B进行插补处理得到第三插补图像数据B。
对于包含像素R的第一子中间图像数据R,处理芯片20对第一子中间图像数据R中每个最小重复单元内的两个空像素N做插补,插补出两个空像素N的像素值。如此,两个空像素N可视为被替换为两个像素R,则每个最小重单元中的所有像素均具有相应的像素值。多个像素R即形成第一中间图像数据R。其中,该插补处理的过程可以是基于色比定律进行的,即在图像的小块局部邻域内,不同颜色分量的像素值的比值为常量,符合自然图像色彩亮度均匀过渡的特性。例如,第一子中间图像数据R的第一行第一列的像素的像素值R(1,1)与第二中间图像数据的第一行第一列的像素的像素值G(1,1)的比值等于第一子中间图像数据R的第一行第二列的像素的像素值R(1,2)与第二中间图像数据的第一行第二列的像素的像素值G(1,2)的比值。由于R(1,1)、G(1,1)、G(1,2)都是已知的,因此可以根据该等式求出R(1,2)的值。依此类推,可以插补出第一子中间图像数据R中所有空像素N的像素值。
对于包含像素B的第三子中间图像数据B,处理芯片20对第三子中间图像数据B中每个最小重复单元内的两个空像素N做插补,插补出两个空像素N的像素值。如此,两个空像素N可视为被替换为两个像素B,则每个最小重单元中的所有像素均具有相应的像素值。多个像素B即形成第一中间图像数据B。同样地,该插补处理的过程可以是基于色比定律进行的。例如,第三子中间图像数据B的第一行第一列的像素的像素值B(1,1)与第二中间图像数据的第一行第一列的像素的像素值G(1,1)的比值等于第三子中间图像数据B的第一行第二列的像素的像素值B(1,2)与第二中间图像数据的第一行第二列的像素的像素值G(1,2)的比值。由于B(1,1)、G(1,1)、G(1,2)都是已知的,因此可以根据该等式求出B(1,2)的值。依此类推,可以插补出第三子中间图像数据B中所有空像素N的像素值。
通过对第一子中间图像数据R和第三子中间图像数据B进行插补处理,可以增大第一子中间图像数据R和第三子中间图像数据B的分辨率,有利于提升图像的清晰度,另外,根据根据第二中间图像数据分别对第一子中间图像数据R和第三子中间图像数据B进行插补处理,插补的像素值较为准确,图像的还原度较高。
如图25所示,处理芯片20还对第一插补图像数据R、第二中间图像数据和第三插补图像数据B进行融合处理。具体地,处理芯片20可以根据第一插补图像数据R、第二中间图像数据和第三插补图像数据B相同位置处的像素的像素值来计算该像素的目标像素值,多个目标像素值即可形成目标图像。例如,处理器可以根据第一插补图像数据R的第一行第一列的像素的像素值、第二中间图像数据的第一行第一列的像素的像素值、及第三插补图像数据B的第一行第一列的像素的像素值来计算目标图像第一行第一列的像素的目标相似值等。目标图像中其余像素的目标像素值也可采用上述方式进行计算。如此,处理芯片20可以获得多个目标像素值。处理芯片20可以根据多个目标像素值来形成一帧目标图像。
需要指出的是,上述实施方式分别以第二像素12是W像素、第二像素12是G像素为例进行了说明,第二像素12同样可以是Y像素、R像素或B像素等其他颜色的像素,此时,处理芯片20可以采用相同或类似的方式进行图像处理,在此不一一举例说明。
请参阅图26,本申请还提供一种移动终端60。移动终端60可以是手机、平板电脑、笔记本电脑、智能穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、头显设备、虚拟现实设备等等,在此不做限制。
移动终端60包括壳体50和摄像头组件40。壳体50和摄像头组件40结合。示例地,摄像头组件40可以安装在壳体50上。移动终端60中还可以包括处理器(图未示)。摄像头组件40中的处理芯片20与处理器可为同一个处理器,也可为两个独立的处理器,在此不作限制。
本申请实施方式的移动终端60中,第一像素11包括多个具有不同光谱吸收特性的吸收区112,多个吸收区112中的每个吸收区112用于接收一个波段的光线,可以提高图像传感器10的解析力。
在本说明书的描述中,参考术语“某些实施方式”、“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“一个实施例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
尽管上面已经示出和描述了本申请实施方式,可以理解,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型,本申请的范围由权利要求及其等同物限定。

Claims (16)

1.一种图像传感器,其特征在于,包括二维像素阵列,所述二维像素阵列包括多个第一像素和多个第二像素,所述第一像素包括具有不同光谱吸收特性的多个吸收区,所述多个吸收区中的每个吸收区用于接收一个波段的光线,所述第二像素包括一个吸收区,所述一个吸收区用于接收预定波段的光线;
所述二维像素阵列包括最小重复单元,在所述最小重复单元中,所述第二像素设置在第一对角线方向,所述第一像素设置在第二对角线方向,所述第一对角线方向与所述第二对角线方向不同。
2.根据权利要求1所述的图像传感器,其特征在于,所述多个吸收区包括第一吸收区、第二吸收区和第三吸收区,所述第一像素还包括衬底,所述第一吸收区、所述第二吸收区和所述第三吸收区均位于所述衬底内,沿所述图像传感器的收光方向,所述第一吸收区、所述第二吸收区和所述第二吸收区依次排列。
3.根据权利要求2所述的图像传感器,其特征在于,所述第一吸收区用于接收蓝色光线,所述第二吸收区用于接收绿色光线,所述第三吸收区用于接收红色光线。
4.根据权利要求2所述的图像传感器,其特征在于,所述第一吸收区包括第一水平部和自所述第一水平部向所述收光方向延伸的第一垂直部,
所述第二吸收区包括第二水平部和自所述第二水平部向所述收光方向延伸的第二垂直部;
所述第三吸收区包括第三水平部;
沿所述收光方向,所述第一水平部、所述第二水平部和所述第三水平部依次排列。
5.根据权利要求4所述的图像传感器,其特征在于,所述第一像素还包括三个读出电路,其中:
第一个所述读出电路与所述第一垂直部连接,以用于转移并传输所述第一吸收区接收光线后生成的电荷;
第二个所述读出电路与所述第二垂直部连接,以用于转移并传输所述第二吸收区接收光线后生成的电荷;
第三个所述读出电路与所述第三水平部连接,以用于转移并传输所述第三吸收区接收光线后生成的电荷。
6.根据权利要求1所述的图像传感器,其特征在于,
所述第二像素为全色像素,所述第二像素的一个吸收区用于接收可见光波段的光线;或
所述第二像素为全色像素,所述第二像素的一个吸收区用于接收可见光波段和近红外波段的光线;或
所述第二像素为绿色像素,所述第二像素的一个吸收区用于接收绿色光线;或
所述第二像素为黄色像素,所述第二像素的一个吸收区用于接收黄色光线。
7.根据权利要求1所述的图像传感器,其特征在于,所述第一对角线方向相邻的至少两个所述第二像素的第一曝光时间由第一曝光信号控制,所述第二对角线方向相邻的至少两个所述第一像素的第二曝光时间由第二曝光信号控制,以实现所述第二像素曝光时间和所述第一像素曝光时间的独立控制。
8.根据权利要求7所述的图像传感器,其特征在于,所述第一曝光时间小于所述第二曝光时间。
9.一种控制方法,用于图像传感器,其特征在于,所述图像传感器包括二维像素阵列,所述二维像素阵列包括多个第一像素和多个第二像素,所述第一像素包括具有不同光谱吸收特性的多个吸收区,所述多个吸收区中的每个吸收区用于接收一个波段的光线,所述第二像素包括一个吸收区,所述一个吸收区用于接收预定波段的光线;所述二维像素阵列包括最小重复单元,在所述最小重复单元中,所述第二像素设置在第一对角线方向,所述第一像素设置在第二对角线方向,所述第一对角线方向与所述第二对角线方向不同;所述控制方法包括:
所述二维像素阵列曝光以获取与所述第一像素对应的第一原始图像数据和与所述第二像素对应的第二原始图像数据;
处理所述第一原始图像数据以得到多帧第一中间图像数据,处理所述第二原始图像数据以得到一帧第二中间图像数据;和
处理多帧所述第一中间图像数据和一帧所述第二中间图像数据以获取目标图像。
10.根据权利要求9所述的控制方法,其特征在于,所述处理所述第一原始图像数据以得到多帧第一中间图像数据,处理所述第二原始图像数据以得到一帧第二中间图像数据,包括:
分离所述第一原始图像数据以得到多帧单颜色原始图像数据;
插补处理分离后的每帧所述单颜色原始图像数据,获取每个所述最小重复单元中的所有像素的像素值以得到所述第一中间图像数据;和
插补处理所述第二原始图像数据,获取每个所述最小重复单元中的所有像素的像素值以得到所述第二中间图像数据。
11.根据权利要求9所述的控制方法,其特征在于,所述处理多帧所述第一中间图像数据和一帧所述第二中间图像数据以获取目标图像,包括:
分离每帧所述第一中间图像数据的色彩和亮度以得到色亮分离图像数据;
将每帧所述色亮分离图像数据的亮度与所述第二中间图像数据的亮度融合得到多帧亮度校正图像数据;和
融合多帧所述亮度校正图像数据以得到所述目标图像。
12.根据权利要求9所述的控制方法,其特征在于,所述处理所述第一原始图像数据以得到多帧第一中间图像数据,处理所述第二原始图像数据以得到一帧第二中间图像数据,包括:
分离所述第一原始图像数据以得到多帧所述第一中间图像数据,多帧所述第一中间图像数据包括第一子中间图像数据、第二子中间图像数据和第三子中间图像数据;和
融合所述第二子中间图像数据和所述第二原始图像数据以得到所述第二中间图像数据。
13.根据权利要求12所述的控制方法,其特征在于,所述处理多帧所述第一中间图像数据和一帧所述第二中间图像数据以获取目标图像,包括:
根据所述第二中间图像数据插补处理所述第一子中间图像数据和所述第三子中间图像数据以得到第一插补图像数据和第三插补图像数据;和
融合所述第一插补图像数据、所述第二中间图像数据和所述第三插补图像数据以得到所述目标图像。
14.一种摄像头组件,其特征在于,包括:
镜头;和
权利要求1至8任意一项所述的图像传感器,所述图像传感器能够接收穿过所述镜头的光线。
15.根据权利要求14所述的摄像头组件,其特征在于,所述摄像头组件还包括处理芯片,所述处理芯片用于执行权利要求9至13任意一项所述的控制方法。
16.一种移动终端,其特征在于,包括:
壳体;和
权利要求14或15所述的摄像头组件,所述摄像头组件与所述壳体结合。
CN201911216143.5A 2019-12-02 2019-12-02 图像传感器、控制方法、摄像头组件和移动终端 Active CN111031297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911216143.5A CN111031297B (zh) 2019-12-02 2019-12-02 图像传感器、控制方法、摄像头组件和移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911216143.5A CN111031297B (zh) 2019-12-02 2019-12-02 图像传感器、控制方法、摄像头组件和移动终端

Publications (2)

Publication Number Publication Date
CN111031297A true CN111031297A (zh) 2020-04-17
CN111031297B CN111031297B (zh) 2021-08-13

Family

ID=70207743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911216143.5A Active CN111031297B (zh) 2019-12-02 2019-12-02 图像传感器、控制方法、摄像头组件和移动终端

Country Status (1)

Country Link
CN (1) CN111031297B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586323A (zh) * 2020-05-07 2020-08-25 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件和移动终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06204444A (ja) * 1993-01-01 1994-07-22 Canon Inc イメージセンサ
JP2007281785A (ja) * 2006-04-05 2007-10-25 Toppan Printing Co Ltd 撮像素子
JP2008047608A (ja) * 2006-08-11 2008-02-28 Fujifilm Corp 単板式カラー固体撮像素子
CN101577287A (zh) * 2008-05-09 2009-11-11 三星电子株式会社 多层图像传感器
US20090302360A1 (en) * 2006-07-21 2009-12-10 Kohji Shinomiya Photoelectric conversion device and imaging device
CN103067673A (zh) * 2012-12-17 2013-04-24 上海集成电路研发中心有限公司 模拟抖动采样的像素阵列
CN104272727A (zh) * 2012-05-14 2015-01-07 索尼公司 成像装置、成像方法、电子设备和程序
CN107360348A (zh) * 2016-05-09 2017-11-17 三星电机株式会社 图像传感器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06204444A (ja) * 1993-01-01 1994-07-22 Canon Inc イメージセンサ
JP2007281785A (ja) * 2006-04-05 2007-10-25 Toppan Printing Co Ltd 撮像素子
US20090302360A1 (en) * 2006-07-21 2009-12-10 Kohji Shinomiya Photoelectric conversion device and imaging device
JP2008047608A (ja) * 2006-08-11 2008-02-28 Fujifilm Corp 単板式カラー固体撮像素子
CN101577287A (zh) * 2008-05-09 2009-11-11 三星电子株式会社 多层图像传感器
CN104272727A (zh) * 2012-05-14 2015-01-07 索尼公司 成像装置、成像方法、电子设备和程序
CN103067673A (zh) * 2012-12-17 2013-04-24 上海集成电路研发中心有限公司 模拟抖动采样的像素阵列
CN107360348A (zh) * 2016-05-09 2017-11-17 三星电机株式会社 图像传感器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586323A (zh) * 2020-05-07 2020-08-25 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件和移动终端

Also Published As

Publication number Publication date
CN111031297B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110649056B (zh) 图像传感器、摄像头组件及移动终端
CN111314592B (zh) 图像处理方法、摄像头组件及移动终端
CN111405204B (zh) 图像获取方法、成像装置、电子设备及可读存储介质
CN110740272B (zh) 图像采集方法、摄像头组件及移动终端
US11812164B2 (en) Pixel-interpolation based image acquisition method, camera assembly, and mobile terminal
CN110784634B (zh) 图像传感器、控制方法、摄像头组件及移动终端
WO2021196553A1 (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
WO2021212763A1 (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN110649057B (zh) 图像传感器、摄像头组件及移动终端
CN111385543B (zh) 图像传感器、摄像头组件、移动终端及图像获取方法
CN111899178B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN111741221B (zh) 图像获取方法、摄像头组件及移动终端
WO2021062663A1 (zh) 图像传感器、摄像头组件及移动终端
CN112738493B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN111031297B (zh) 图像传感器、控制方法、摄像头组件和移动终端
WO2021062661A1 (zh) 图像传感器、摄像头组件及移动终端
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
WO2021062662A1 (zh) 图像传感器、摄像头组件及移动终端
CN111212212A (zh) 摄像头组件、移动终端及控制方法
CN112235485B (zh) 图像传感器、图像处理方法、成像装置、终端及可读存储介质
US20220279108A1 (en) Image sensor and mobile terminal
WO2021046690A1 (zh) 图像传感器、摄像头模组、移动终端及图像采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant