CN111050041B - 图像传感器、控制方法、摄像头组件及移动终端 - Google Patents

图像传感器、控制方法、摄像头组件及移动终端 Download PDF

Info

Publication number
CN111050041B
CN111050041B CN201911167206.2A CN201911167206A CN111050041B CN 111050041 B CN111050041 B CN 111050041B CN 201911167206 A CN201911167206 A CN 201911167206A CN 111050041 B CN111050041 B CN 111050041B
Authority
CN
China
Prior art keywords
color
pixels
panchromatic
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911167206.2A
Other languages
English (en)
Other versions
CN111050041A (zh
Inventor
唐城
蓝和
杨鑫
李小涛
徐锐
张弓
张海裕
王文涛
孙剑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911167206.2A priority Critical patent/CN111050041B/zh
Publication of CN111050041A publication Critical patent/CN111050041A/zh
Priority to PCT/CN2020/119387 priority patent/WO2021103818A1/zh
Application granted granted Critical
Publication of CN111050041B publication Critical patent/CN111050041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/74—Circuitry for scanning or addressing the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本申请公开了一种图像传感器、控制方法、摄像头组件及移动终端。图像传感器包括全色像素及彩色像素，彩色像素具有比全色像素更窄的光谱响应。彩色像素能够曝光以输出至少一帧彩色原始图像；在彩色像素曝光一次以获取一帧彩色原始图像的时间内，至少部分全色像素能够曝光多次以获取多帧全色原始图像。多帧全色原始图像能够用于校正至少一帧彩色原始图像以获取目标图像。本申请的图像传感器同时布置有全色像素和彩色像素，利用全色像素在彩色像素曝光一次的期间内多次曝光获取的多帧全色原始图像校正彩色原始图像以实现目标图像的去运动模糊效果。如此，利用一个图像传感器即实现了目标图像的运动模糊的消除，硬件系统的复杂度和算法复杂度均较低。

Description

图像传感器、控制方法、摄像头组件及移动终端
技术领域
本申请涉及影像技术领域，特别涉及一种图像传感器、控制方法、摄像头组件及移动终端。
背景技术
运动模糊(Motion blur)是由于影像系统与拍摄对象的相对位移引起场景之间的错位，特别是在曝光时间较长或拍摄对象的运动速度较快等应用场景中，运动模糊的问题尤为突出。消除运动模糊最常用的技术手段是在一帧图像的采集过程中将拍摄对象的运动信息采样并存储起来，作为后端数据处理的信息源，利用不同的算法还原图像信息。现有消除运动模糊的方案需要用到较为复杂的硬件系统，且后端处理过程需要校准及补偿，算法复杂度较高。
发明内容
本申请实施方式提供了一种图像传感器、控制方法、摄像头组件及移动终端。
本申请一个方面提供一种图像传感器。图像传感器包括全色像素和彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应。所述彩色像素能够曝光以输出至少一帧彩色原始图像；在所述彩色像素曝光一次以获取一帧彩色原始图像的时间内，至少部分所述全色像素能够曝光多次以获取多帧全色原始图像，多帧所述全色原始图像能够用于校正至少一帧所述彩色原始图像以获取目标图像。
在另一个方面，本申请还提供一种用于图像传感器的控制方法。图像传感器包括全色像素及彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应。控制方法包括：所述彩色像素曝光并输出至少一帧彩色原始图像；至少部分所述全色像素在所述彩色像素曝光一次以获取一帧所述彩色原始图像的时间内曝光多次以获取多帧全色原始图像；及利用多帧所述全色原始图像校正至少一帧所述彩色原始图像以获取目标图像。
在又一个方面，本申请还提供一种摄像头组件。摄像头组件包括镜头及图像传感器。所述图像传感器能够接收穿过镜头的光线。所述图像传感器包括全色像素和彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应。所述彩色像素能够曝光以输出至少一帧彩色原始图像；在所述彩色像素曝光一次以获取一帧彩色原始图像的时间内，至少部分所述全色像素能够曝光多次以获取多帧全色原始图像，多帧所述全色原始图像能够用于校正至少一帧所述彩色原始图像以获取目标图像。
在再一个方面，本申请还提供一种移动终端。移动终端包括壳体及摄像头组件。所述摄像头组件与所述壳体结合。所述摄像头组件包括镜头及图像传感器。所述图像传感器能够接收穿过镜头的光线。所述图像传感器包括全色像素和彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应。所述彩色像素能够曝光以输出至少一帧彩色原始图像；在所述彩色像素曝光一次以获取一帧彩色原始图像的时间内，至少部分所述全色像素能够曝光多次以获取多帧全色原始图像，多帧所述全色原始图像能够用于校正至少一帧所述彩色原始图像以获取目标图像。
本申请实施方式的图像传感器、控制方法、摄像头组件及移动终端，利用至少部分灵敏度较高的全色像素在一段时间内以较高帧率曝光以获得多帧图像，其余像素在该段时间内以较低帧率曝光以获得至少一帧图像，高帧率曝光后获得的多帧图像可以用来校正低帧率曝光获得图像，以实现对低帧率曝光获得的图像的运动模糊的消除。在本申请实施方式中无需设置多个图像传感器即可实现图像的运动模糊的消除，硬件系统的复杂度较低。并且，运动模糊的图像和起校正作用的图像是由同一个图像传感器获取的，后续处理过程无需进行补偿及校准，算法复杂度也较低。另外，起校正作用的图像是通过灵敏度较高的全色像素来获取的，该图像具有较高的信噪比，利用信噪比较高的图像来校正运动模糊的图像可以提升运动模糊的消除效果。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是不同色彩通道饱和时间示意图；
图2是本申请实施方式中图像传感器的示意图；
图3是本申请一个实施例的部分像素的像素电路与转换电路连接的示意图；
图4是本申请一个实施例的部分像素的像素电路与转换电路连接的示意图；
图5是本申请又一个实施例的部分像素的像素电路与转换电路连接的示意图；
图6是本申请实施方式中一种像素电路的复位方式的示意图；
图7是本申请实施方式中又一种像素电路的复位方式的示意图；
图8是本申请实施方式中一种像素阵列及曝光控制线连接方式的示意图；
图9是本申请实施方式中一种像素阵列及选择线连接方式的示意图；
图10是本申请实施方式中一种像素阵列的示意图；
图11是本申请实施方式中一种最小重复单元像素排布的示意图；
图12是本申请实施方式中又一种最小重复单元像素排布的示意图；
图13是本申请实施方式中又一种最小重复单元像素排布的示意图；
图14是本申请实施方式中又一种最小重复单元像素排布的示意图；
图15是本申请实施方式中又一种最小重复单元像素排布的示意图；
图16是本申请实施方式中又一种最小重复单元像素排布的示意图；
图17是本申请实施方式中又一种最小重复单元像素排布的示意图；
图18是本申请实施方式中又一种最小重复单元像素排布的示意图；
图19是本申请实施方式中又一种最小重复单元像素排布的示意图；
图20是本申请实施方式中又一种最小重复单元像素排布的示意图；
图21是本申请实施方式中又一种最小重复单元像素排布的示意图；
图22是本申请实施方式中又一种最小重复单元像素排布的示意图；
图23是本申请实施方式中又一种最小重复单元像素排布的示意图；
图24是本申请实施方式中又一种最小重复单元像素排布的示意图；
图25是本申请实施方式中又一种最小重复单元像素排布的示意图；
图26是本申请实施方式中又一种最小重复单元像素排布的示意图；
图27是本申请某些实施方式的摄像头组件的示意图；
图28是本申请某些实施方式的控制方法的流程示意图；
图29是本申请实施方式的控制方法的一个原理图；
图30是本申请实施方式的控制方法的又一个原理图；
图31是本申请实施方式的控制方法的又一个原理图；
图32是本申请某些实施方式的控制方法的流程示意图；
图33是本申请某些实施方式的控制方法的流程示意图；
图34是本申请实施方式的控制方法的又一个原理图；
图35是本申请实施方式的控制方法的又一个原理图；
图36是本申请某些实施方式的移动终端的示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
请参阅图2和图8，本申请提供一种图像传感器10。图像传感器10包括全色像素和彩色像素，彩色像素具有比全色像素更窄的光谱响应。彩色像素能够曝光以输出至少一帧彩色原始图像。在彩色像素曝光一次以获取一帧彩色原始图像的时间内，至少部分全色像素能够曝光多次以获取多帧全色原始图像。多帧全色原始图像能够用于校正至少一帧彩色原始图像以获取目标图像。
请参阅图2、图8和图28，本申请提供一种用于图像传感器10的控制方法。图像传感器10包括全色像素和彩色像素，彩色像素具有比全色像素更窄的光谱响应。控制方法包括：
01：控制彩色像素曝光并输出至少一帧彩色原始图像；
02：控制至少部分全色像素在彩色像素曝光一次以获取一帧彩色原始图像的时间内曝光多次以获取多帧全色原始图像；及
03：利用多帧全色原始图像校正至少一帧彩色原始图像以获取目标图像。
请参阅图2、图8和图27，本申请还提供一种摄像头组件40。摄像头组件40包括镜头30及图像传感器10。图像传感器10能够接收穿过镜头30的光线。图像传感器10包括全色像素和彩色像素，彩色像素具有比全色像素更窄的光谱响应。彩色像素能够曝光以输出至少一帧彩色原始图像。在彩色像素曝光一次以获取一帧彩色原始图像的时间内，至少部分全色像素能够曝光多次以获取多帧全色原始图像。多帧全色原始图像能够用于校正至少一帧彩色原始图像以获取目标图像。
请参阅图2、图8、图27和图36，本申请还提供一种移动终端60。移动终端60包括壳体50及摄像头组件40。摄像头组件40与壳体50结合。摄像头组件40包括镜头30及图像传感器10。图像传感器10能够接收穿过镜头30的光线。图像传感器10包括全色像素和彩色像素，彩色像素具有比全色像素更窄的光谱响应。彩色像素能够曝光以输出至少一帧彩色原始图像。在彩色像素曝光一次以获取一帧彩色原始图像的时间内，至少部分全色像素能够曝光多次以获取多帧全色原始图像。多帧全色原始图像能够用于校正至少一帧彩色原始图像以获取目标图像。
下面结合附图对本申请作进一步说明。
运动模糊是由于摄像头组件与拍摄对象之间的相对位移导致的。为消除运动模糊，相关技术中通常采用两个独立的摄像头，其中一个摄像头获取一帧图像，另一个摄像头在该摄像头获取一帧图像的时间内获取多帧图像，再根据该多帧图像校正该一帧图像。但这种消除运动模糊的方法的硬件系统较为复杂，成本较高，而且在后端处理过程中还需要进行校准及补偿等操作，算法复杂度较高。
另外，在包含多种色彩的像素的图像传感器中，不同色彩的像素单位时间接收的曝光量不同(即灵敏度不同，单位时间内接收的曝光量更多的像素的灵敏度更高)，在某些色彩饱和后，某些色彩还未曝光到理想的状态。
图1中以RGBW(红、绿、蓝、全色)为例说明。参见图1，图1中横轴为曝光时间、纵轴为曝光量，Q为饱和的曝光量，LW为全色像素W的曝光曲线，LG为绿色像素G的曝光曲线，LR为红色像素R的曝光曲线，LB为蓝色像素的曝光曲线。
从图1中可以看出，全色像素W的曝光曲线LW的斜率最大，也就是说在单位时间内全色像素W可以获得更多的曝光量，在t1时刻即达到饱和。绿色像素G的曝光曲线LG的斜率次之，绿色像素在t2时刻饱和。红色像素R的曝光曲线LR的斜率再次之，红色像素在t3时刻饱和。蓝色像素B的曝光曲线LB的斜率最小，蓝色像素在t4时刻饱和。在t1时刻，全色像素W已经饱和，而R、G、B三种像素曝光还未达到理想状态。
本申请提供了一种图像传感器10(图2所示)。图像传感器10同时布置有灵敏度较高的全色像素及灵敏度比全色像素的灵敏度低的彩色像素，从而可以利用至少部分灵敏度较高的全色像素在一段时间内以较高帧率曝光以获得多帧图像，其余像素在该段时间内以较低帧率曝光以获得至少一帧图像，高帧率曝光后获得的多帧图像可以用来校正低帧率曝光获得图像，以实现对低帧率曝光获得的图像的运动模糊的消除。本申请实施方式的图像传感器10无需设置多个图像传感器10即可实现图像的运动模糊的消除，硬件系统的复杂度较低。并且，运动模糊的图像和起校正作用的图像是由同一个图像传感器10获取的，后续处理过程无需进行补偿及校准，算法复杂度也较低。另外，起校正作用的图像是通过灵敏度较高的全色像素来获取的，该图像具有较高的信噪比，利用信噪比较高的图像来校正运动模糊的图像可以提升运动模糊的消除效果。
接下来，首先介绍一下图像传感器10的基本结构。请参阅图2，图2是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。
例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。
例如，像素阵列11包括以阵列形式二维排列的多个像素(图中未示出)，每个像素均包括光电转换元件117(图3所示)。每个像素根据入射在其上的光的强度将光转换为电荷。
例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指扫描各行及各列的像素，从这些像素读取信号。例如，被选择并被扫描的像素行中的像素输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件117的光电荷被丢弃，从而可以开始新的光电荷的积累。
例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选像素行中的每一像素输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的像素的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。
例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15按预定规则扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一像素列被列处理单元14处理，并且被输出。
例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元13、列处理单元14和水平驱动单元15协同工作。
图像传感器10还包括设置在像素阵列11上的滤光片(图未示)。像素阵列11中的每一个像素的光谱响应(即像素能够接收的光线的颜色)由对应该像素的滤光片的颜色决定。本申请全文的彩色像素和全色像素指的是能够响应颜色与对应的滤光片颜色相同的光线的像素。
图3是本申请一个实施例的彩色像素的像素电路110与转换电路16连接的示意图。图4是本申请一个实施例的至少部分全色像素的像素电路110与转换电路16连接的示意图。其中，当所有全色像素均能够在彩色像素获取一帧彩色原始图像的时间内获取多帧全色原始图像时，图4是一个实施例的所有全色像素的像素电路110与转换电路16连接的示意图，图3是一个实施例的所有彩色像素的像素电路110与转换电路16连接的示意图。当仅部分全色像素能够在彩色像素获取一帧彩色原始图像的时间内获取多帧全色原始图像时，图4是一个实施例的该部分全色像素的像素电路110与转换电路16连接的示意图，图3是一个实施例的所有彩色像素的像素电路110与转换电路16连接及剩余的全色像素的像素电路110与转换电路16连接的示意图。
如图3和图4所示，每个像素的像素电路110均包括光电转换元件117(例如，光电二极管PD)、曝光控制电路116(例如，转移晶体管112)、复位电路(例如，复位晶体管113)、放大电路(例如，放大晶体管114)、及选择电路(例如，选择晶体管115)。在本申请的实施例中，转移晶体管112、复位晶体管113、放大晶体管114和选择晶体管115例如是MOS管，但不限于此。每个像素的像素电路110均与图2的列处理单元14连接。列处理单元14中设置有转换电路16。
例如，参见图2、图3和图4，转移晶体管112的栅极TG通过曝光控制线(图8所示)连接垂直驱动单元12；复位晶体管113的栅极RG通过复位控制线(图中未示出)连接垂直驱动单元12；选择晶体管115的栅极SEL通过选择线(图9所示)连接垂直驱动单元12。每个像素电路110中的曝光控制电路116(例如，转移晶体管112)与光电转换元件117电连接，用于转移光电转换元件117经光照后积累的电势。例如，光电转换元件117包括光电二极管PD，光电二极管PD的阳极例如连接到地。光电二极管PD将所接收的光转换为电荷。光电二极管PD的阴极经由曝光控制电路116(例如，转移晶体管112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管114的栅极、复位晶体管113的源极连接。
例如，曝光控制电路116为转移晶体管112，曝光控制电路116的控制端TG为转移晶体管112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管112的栅极时，转移晶体管112导通。转移晶体管112将光电二极管PD光电转换的电荷传输到浮动扩散单元FD。转移晶体管112每转移一次电荷至浮动扩散单元FD表示完成一次曝光。
例如，复位晶体管113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管PD转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位控制线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。
例如，放大晶体管114的栅极连接到浮动扩散单元FD。放大晶体管114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管113复位之后，放大晶体管114经由选择晶体管115通过输出端OUT输出复位电平。在光电二极管PD的电荷被转移晶体管112转移之后，放大晶体管114经由选择晶体管115输出信号电平。
例如，选择晶体管115的漏极连接到放大晶体管114的源极。选择晶体管115的源极连接到图2中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管115的栅极时，选择晶体管115导通。放大晶体管114输出的信号通过选择晶体管115传输到设置于列处理单元14内的转换电路16中。
例如，转换电路16包括开关161及模数转换模块162。开关161的一端与选择电路电连接，即与选择晶体管115的源极电连接。开关161的另一端与模数转换模块162电连接。开关161用于供来自选择电路的信号电平(该信号电平为模拟信号)通过。模数转换模块162用于将该模拟信号转换为数字信号。
图3所示的像素电路11与一条转换电路16电连接。图3所示的电路的工作过程为：复位晶体管113复位浮动扩散单元FD，光电转换元件117接收光线并将接收到的光线转换为电荷。转移晶体管112接收到由曝光控制线传输过来的有效电平的脉冲时，转移晶体管112将光电转换元件117经光照后累积的电荷转移至浮动扩散单元FD。放大晶体管114读取并放大浮动扩散单元FD中的电荷对应的模拟信号，再将模拟信号输出至选择晶体管115。选择晶体管115输出模拟信号至转换电路16，转换电路16将模拟信号转换为数字信号。如此，多个彩色像素输出的多个数字信号即形成彩色原始图像。
图4所示的像素电路110与多条转换电路16电连接。图4所示的电路的工作过程为：在图3的光电转换元件117接收光线并将接收到的光线转换为电荷，图3的转移晶体管112将光电转换元件117经光照后累积的电荷转移至浮动扩散单元FD的这一段时间(下称第一曝光时间)内，图4的光电转换元件117持续接收光线并将接收到的光线转换为电荷，图4的转移晶体管112多次转移光电转换元件117经光照后累积的电荷至浮动扩散单元FD。每次转移晶体管112转移完电荷后，放大晶体管114均会读取并放大浮动扩散单元FD中的电荷对应的模拟信号，并将该次获取的模拟信号输出至选择晶体管115。选择晶体管115再将模拟信号输出至对应的一条转换电路16。在第一曝光时间内，当有效电平的脉冲第N次通过选择线被传输到选择晶体管115的栅极时，选择晶体管115导通，第N条转换电路16的开关161闭合，其余转换电路16的开关161断开。放大晶体管114输出的模拟信号通过选择晶体管115传输到第N条转换电路16，第N条转换电路16的模数转换模块162将模拟信号转换为数字信号，其中N为大于或等于1的自然数。例如，在第一曝光时间内，当有效电平的脉冲第一次通过选择线被传输到选择晶体管115的栅极时，选择晶体管115导通，第一条选择电路中的开关161闭合，其余选择电路中的开关161断开，放大晶体管114输出的模拟信号通过选择晶体管115传输到第一条转换电路16，第一条转换电路16的模数转换模块162将模拟信号转换为数字信号。再例如，在第一曝光时间内，当有效电平的脉冲第六次通过选择线被传输到选择晶体管115的栅极时，选择晶体管115导通，第六条转换电路16中的开关161闭合，其余转换电路16中的开关161断开，放大晶体管114输出的模拟信号通过选择晶体管115传输到第六条转换电路16，第六条转换电路16的模数转换模块162将模拟信号转换为数字信号。
图4的转换电路16在接收到选择晶体管115传输过来的模拟信号后会即刻执行模数转换的操作。
图5是本申请另一个实施例的至少部分全色像素的像素电路110与转换电路16连接的示意图。其中，当所有全色像素均能够在彩色像素获取一帧彩色原始图像的时间内获取多帧全色原始图像时，图5是一个实施例的所有全色像素的像素电路110与转换电路16连接的示意图，图3是一个实施例的所有彩色像素的像素电路110与转换电路16连接的示意图。当仅部分全色像素能够在彩色像素获取一帧彩色原始图像的时间内获取多帧全色原始图像时，图5是一个实施例的该部分全色像素的像素电路110与转换电路16连接的示意图，图3是一个实施例的图像传感器10内剩余像素(包括剩余的全色像素及所有彩色像素)的像素电路110与转换电路16连接的示意图。
图5所示转换电路16与图4所示转换电路16的区别在于，图4的转换电路16仅包括开关161和模数转换模块162，而图5的转换电路16包括开关161、电容163和模数转换模块162。图5的转换电路16中，开关161的一端与选择晶体管115的源极电连接，开关161的另一端与电容163的一端电连接，且与模数转换模块162电连接。电容163的一端与模数转换模块162连接，电容163的另一端接地。开关161用于供来自选择电路的模拟信号通过。电容163用来存储经过开关161传输过来的模拟信号。模数转换模块162用于将模拟信号转换为数字信号。图5所示的转换电路16有多条。图5所示的电路的工作过程与图4所示的电路的工作过程大致相同，区别在于图5的转换电路16在接收到选择晶体管115传输过来的模拟信号后可以不用立即执行模数转换的操作，而是先将模拟信号存储在电容163内，当全色像素在第一曝光时间内完成N次曝光，N条转换电路16的电容163中均存储了模拟信号时，N条转换电路16中的模数转换模块162同时读取存储在对应电容163内的模拟信号，且N条转换电路16中的模数转换模块162同时执行模数转换的操作。
在本申请的一个实施例中，在彩色像素曝光一次的时间(即第一曝光时间)内，至少部分全色像素的浮动扩散单元FD在每次曝光控制电路116转移电荷前，复位浮动扩散单元FD。具体地，请结合图2、图3及图6，图3的光电转换元件117的第一曝光时间为T，图4的光电转换元件从t0时刻开始曝光。在第一曝光时间T内，图4的曝光控制电路116依次在t1、t2、t3、t4、t5时刻转移图4的光电转换元件117累积的电荷，图4的复位晶体管113在每一次曝光控制电路116转移电荷前复位浮动扩散单元FD，如此，第N条转换电路16接收到的模拟信号对应的电荷为光电转换元件117在曝光控制电路第N-1次转移电荷的时刻至第N次转移电荷的时刻的期间累积的电荷。例如，第1条转换电路16接收到的模拟信号对应的电荷为光电转换元件117在t0时刻至t1时刻累积的电荷，第2条转换电路16接收到的模拟信号对应的电荷为光电转换元件117在t1时刻至t2时刻累积的电荷等，依此类推。此种复位方式下，多条转换电路16接收的模拟信号对应的电荷均是相互独立的。换言之，将至少部分全色像素在第一曝光时间内执行多次曝光时，每一次曝光所用时间称为第二曝光时间，多个第二曝光时间是不重叠的。
在本申请的一个实施例中，在彩色像素曝光一次的时间(即第一曝光时间)内，至少部分全色像素的浮动扩散单元FD在曝光控制电路116第一次转移电荷前，复位浮动扩散单元FD。具体地，请结合图2、图3及图7，图3的光电转换元件117的第一曝光时间为T，图4的光电转换元件从t0时刻开始曝光。在第一曝光时间T内，图4的曝光控制电路116依次在t1、t2、t3、t4、t5时刻转移图4的光电转换元件117累积的电荷，图4的复位晶体管113在曝光控制电路116第一次转移电荷(即t1时刻)前复位浮动扩散单元FD，如此，第N条转换电路16接收到的模拟信号对应的电荷为光电转换元件117开始曝光的时刻至曝光控制电路116第N次转移电荷的时刻的期间累积的电荷。例如，第1条转换电路16接收到的模拟信号对应的电荷为光电转换元件117在t0时刻至t1时刻累积的电荷，第2条转换电路16接收到的模拟信号对应的电荷为光电转换元件117在t0时刻至t2时刻的电荷等，依此类推。此种复位方式下，多条转换电路16接收的模拟信号对应的电荷均不是相互独立的。换言之，将至少部分全色像素在第一曝光时间内执行多次曝光时，每一次曝光所用时间称为第二曝光时间，多个第二曝光时间是重叠的。此种复位方式可以避免第二曝光时间较短，浮动扩散单元FD来不及复位的问题。
图8是本申请一个实施例的像素阵列11(图2所示)、转换电路16(图3和图5所示)及曝光控制线连接方式的示意图，其中，所有全色像素均连接多个转换电路16。像素阵列11为二维像素阵列。二维像素阵列包括多个全色像素和多个彩色像素，其中，彩色像素具有比全色像素更窄的光谱响应。像素阵列11中的像素排布为如下方式：
Figure BDA0002287767980000061
需要说明的是，为了方便图示说明，图6中仅示出了像素阵列11中的部分像素，周边其它像素及连线以省略号“……”代替。
如图8所示，像素1101、1103、1106、1108、1111、1113、1116、及1118为全色像素W，像素1102、1105为第一颜色像素A(例如红色像素R)，像素1104、1107、1112、1115为第二颜色像素B(例如绿色像素G)，像素1114、1117为第三颜色像素C(例如蓝色像素Bu)。全部全色像素W，即像素1101、1103、1106、1108、1111、1113、1116及1118采用图5所示的电路结构；全部彩色像素，即像素1102、1105、1104、1107、1112、1115、1114、1117均采用如图3所示的像电路结构。
从图8可以看出，全色像素W(像素1101、1103、1106和1108)中曝光控制电路的控制端TG与一条第一曝光控制线TX1连接，全色像素W(1111、1113、1116、和1118)中曝光控制电路的控制端TG与另一条第一曝光控制线TX1连接；第一颜色像素A(像素1102和1105)中曝光控制电路的控制端TG、第二颜色像素B(像素1104、1107)中曝光控制电路的控制端TG与一条第二曝光控制线TX2连接，第二颜色像素B(像素1112、1115)中曝光控制电路的控制端TG、第三颜色像素C(像素1114、1117)中曝光控制电路的控制端TG与另一条第二曝光控制线TX2连接。每条第一曝光控制线TX1可通过第一曝光控制信号控制全色像素曝光；每条第二曝光控制线TX2可通过第二曝光控制信号控制彩色像素曝光。以实现在彩色像素曝光一次获取一帧彩色原始图像的时间内，全色像素能够曝光多次获取多帧全色原始图像。
请参考图2和图8，第一曝光控制线TX1和第二曝光控制线TX2均与图2中的垂直驱动单元12连接。垂直驱动单元12中将第一曝光控制信号传输给与第一曝光控制线TX1连接的曝光控制电路的控制端TG，将第二曝光控制信号传输给与第二曝光控制线TX2连接的曝光控制电路的控制端TG。
可以理解的是，由于像素阵列11中有多个像素行组，垂直驱动单元12连接多条第一曝光控制线TX1和多条第二曝光控制线TX2。多条第一曝光控制线TX1和多条第二曝光控制线TX2对应于相应的像素行组。
例如，第一条第一曝光控制线TX1对应第一行和第二行中的全色像素；第二条第一曝光控制线TX1对应第三行和第四行中的全色像素，以此类推，第三条第一曝光控制线TX1对应第五行和第六行中的全色像素；第四条第一曝光控制线TX1对应第七行和第八行中的全色像素，再往下的第一曝光控制线TX1与再往下行的全色像素的对应关系不再赘述。不同第一曝光控制线TX1传输的信号时序也会有所不同，该信号时序由垂直驱动单元12配置。
例如，第一条第二曝光控制线TX2对应第一行和第二行中的彩色像素；第二条第二曝光控制线TX2对应第三行和第四行中的彩色像素，以此类推，第三条第二曝光控制线TX2对应第五行和第六行中的彩色像素；第四条第二曝光控制线TX2对应第七行和第八行中的彩色像素，再往下的第二曝光控制线TX2与再往下行的彩色像素的对应关系不再赘述。不同第二曝光控制线TX2传输的信号时序也会有所不同，该信号时序也由垂直驱动单元12配置。
图9是本申请一个实施例的像素阵列11(图2所示)、转换电路16(图3和图5所示)、及选择线连接方式的示意图。图9的像素阵列11的排布与图8的像素阵列11的排布类似，在此不再赘述。从图9可以看出，全色像素W(像素1101、1103、1106和1108)中选择电路的选择端SEL与一条第一选择线SEL1连接，全色像素W(1111、1113、1116、和1118)中选择电路的选择端SEL与另一条第一选择线SEL1连接；第一颜色像素A(像素1102和1105)中选择电路的选择端SEL、第二颜色像素B(像素1104、1107)中选择电路的选择端SEL与一条第二选择线SEL2连接，第二颜色像素B(像素1112、1115)中选择电路的选择端SEL、第三颜色像素C(像素1114、1117)中选择电路的选择端SEL与另一条第二选择线SEL2连接。每条第一选择线SEL1可通过第一选择信号控制全色像素的选择电路将模拟信号输出至转换电路16以获取多帧全色原始图像；每条第二选择线SEL2可控制彩色像素(例如第一颜色像素A和第二颜色像素B、第二颜色像素B和第三颜色像素C)的选择电路将模拟信号输出至转换电路16以获取彩色原始图像。由此可实现全色像素和彩色像素输出模拟信号的独立控制，全色像素能够输出多帧全色原始图像，彩色像素能够输出彩色原始图像。
图10是本申请一个实施例的像素阵列11(图2所示)和转换电路16(图3和图5所示)连接的示意图。其中，仅部分全色像素(即全色像素W’)的像素电路110与多个转换电路16电连接，剩余的全色像素(即全色像素W)的像素电路110仅与一个转换电路16电连接。此时，全色像素W在第一曝光时间内仅曝光一次，全色像素W曝光一次输出的模拟信号由该一条转换电路16执行模数转换；全色像素W’在第一曝光时间内可以曝光多次，全色像素W’曝光多次输出的多个模拟信号分别由多条转换电路16执行模数转换。图10所示的全色像素W和全色像素W’在行上交替排布，此时同一行的全色像素W由一条第一曝光控制线控制，同一行的全色像素W’由另一条第一曝光控制线控制。在其他实施例中，全色像素W和全色像素W’也可以在列上交替排布，此时同一列的全色像素W由一条第一曝光控制线控制，同一列的全色像素W’由另一条第一曝光控制线控制。
图11至图26示出了多种图像传感器10(图2所示)中像素排布的示例。其中，每个全色像素的像素电路110(图4或图5所示)均与多个转换电路16(图4或图5所示)连接。参见图2、及图8至图24，图像传感器10包括由多个彩色像素(例如多个第一颜色像素A、多个第二颜色像素B和多个第三颜色像素C)和多个全色像素W组成的二维像素阵列(也即图2所示的像素阵列11)。其中，彩色像素具有比全色像素更窄的光谱响应。彩色像素的响应光谱例如为全色像素W响应光谱中的部分。二维像素阵列包括最小重复单元(图11至图26示出了多种图像传感器10中像素的最小重复单元的示例，二维像素阵列由多个最小重复单元组成，最小重复单元在行和列上复制并排列。在最小重复单元中，全色像素W设置在第一对角线方向D1，彩色像素设置在第二对角线方向D2，第一对角线方向D1与第二对角线方向D2不同。第一对角线方向D1相邻的至少两个全色像素的第一曝光时间由第一曝光信号控制，第二对角线方向D2相邻的至少两个彩色像素的第二曝光时间由第二曝光信号控制，从而实现全色像素曝光时间和彩色像素曝光时间的独立控制。第一对角线方向D1相邻的至少两个全色像素的输出由第一选择信号控制，第二对角线方向D2相邻的至少两个彩色像素的输出由第二选择信号控制，从而实现全色像素输出模拟信号和彩色像素输出模拟信号的独立控制。每个最小重复单元均包括多个子单元，每个子单元包括多个单颜色像素(例如多个第一颜色像素A、多个第二颜色像素B或多个第三颜色像素C)和多个全色像素W。例如，请结合图8，像素1101-1108及像素1111-1118组成一个最小重复单元，其中，像素1101、1103、1106、1108、1111、1113、1116、1118为全色像素，像素1102、1104、1105、1107、1112、1114、1115、1117为彩色像素。像素1101、1102、1105、1106组成一个子单元，其中，像素1101、1106为全色像素，像素1102、1105为单颜色像素(例如为第一颜色像素A)；像素1103、1104、1107、1108组成一个子单元，其中，像素1103、1108为全色像素，像素1104、1107为单颜色像素(例如为第二颜色像素B)；像素1111、1112、1115、1116组成一个子单元，其中，像素1111、1116为全色像素，像素1112、1115为单颜色像素(例如为第二颜色像素B)；像素1113、1114、1117、1118组成一个子单元，其中，像素1113、1118为全色像素，像素1114、1117为单颜色像素(例如为第三颜色像素C)。
例如，最小重复单元行和列的像素数量相等。例如最小重复单元包括但不限于，4行4列、6行6列、8行8列、10行10列的最小重复单元。例如，最小重复单元中的子单元行和列的像素数量相等。例如，子单元包括但不限于，2行2列、3行3列、4行4列、5行5列的子单元。这种设置有助于均衡行和列方向图像的分辨率和均衡色彩表现，提高显示效果。
例如，图11本申请实施方式中一种最小重复单元1181像素排布的示意图；最小重复单元为4行4列16个像素，子单元为2行2列4个像素，排布方式为：
Figure BDA0002287767980000081
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
例如，如图11所示，全色像素W设置在第一对角线方向D1(即图11中左上角和右下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图11中左下角和右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。第一对角线方向D1相邻的至少两个全色像素W(例如，从左上方起第一行第一列和第二行第二列的两个全色像素)的第一曝光时间由第一曝光信号控制，第二对角线方向D2相邻的至少两个彩色像素(例如，从左上方起第四行第一列和第三行第二列的两个彩色像素B)的第二曝光时间由第二曝光信号控制。第一对角线方向D1相邻的至少两个全色像素W的输出由第一选择信号控制，第二对角线方向D2相邻的至少两个彩色像素的输出由第二选择信号控制。
需要说明的是，第一对角线方向D1和第二对角线方向D2并不局限于对角线，还包括平行于对角线的方向，例如图8中，全色像素1101、1106、1113、及1118设置在第一对角线方向D1，全色像素1103及1108也设置在第一对角线方向D1，全色像素1111及1116也设置在第一对角线方向D1；第二颜色像素1104、1107、1112、及1115设置在第二对角线方向D2，第一颜色像素1102及1105也设置在第二对角线方向D2，第三颜色像素1114及1117也设置在第二对角线方向D2，下文图12至图26中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。
需要理解的是，此处以及下文中的术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
例如，如图11所示，第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。例如，第一曝光信号经由第一曝光控制线TX1传输，第二曝光信号经由第二曝光控制线TX2传输。例如，第一曝光控制线TX1呈“W”型，与相邻两行的全色像素中曝光控制电路的控制端电连接；第二曝光控制线TX2呈“W”型，与相邻两行的彩色像素中曝光控制电路的控制端电连接。具体连接方式可参见前述图3至图5、及图8相关部分关于连接和像素电路的描述。
需要说明的是，第一曝光控制线TX1和第二曝光控制线TX2呈“W”型并不是指物理上走线必须严格按照“W”型设置，只需连接方式对应于全色像素和彩色像素的排布即可。例如，“W”型曝光控制线的设置对应“W”型的像素排布方式，这种设置方式走线简单，像素排布的解像力、色彩都有较好的效果，以低成本实现全色像素曝光时间和彩色像素曝光时间的独立控制。
同样地，如图11所示，第一行和第二行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素的输出的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素的输出的单独控制。第三行和第四行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素的输出的单独控制。第三行和第四行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素的输出的单独控制。例如，第一选择信号经由第一选择线SEL1传输，第二曝光信号经由第二选择线SEL2传输。例如，第一选择线SEL1呈“W”型，与相邻两行的全色像素中选择电路的选择端电连接；第二选择线SEL2呈“W”型，与相邻两行的彩色像素中选择电路的选择端电连接。具体连接方式可参见前述图3至图5、及图9相关部分关于连接和像素电路的描述。
需要说明的是，第一选择线SEL1和第二选择线SEL2呈“W”型并不是指物理上走线必须严格按照“W”型设置，只需连接方式对应于全色像素和彩色像素的排布即可。例如，“W”型选择线的设置对应“W”型的像素排布方式，这种设置方式走线简单，像素排布的解像力、色彩都有较好的效果，以低成本实现全色像素的输出和彩色像素的输出的独立控制。
例如，图12是本申请实施方式中又一种最小重复单元1182像素排布的示意图。最小重复单元为4行4列16个像素，子单元为2行2列4个像素，排布方式为：
Figure BDA0002287767980000091
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
例如，如图12所示，全色像素W设置在第一对角线方向D1(即图12中右上角和左下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图12中左上角和右下角连接的方向)。例如，第一对角线和第二对角线垂直。第一对角线方向D1相邻的至少两个全色像素W(例如，从左上方起第一行第二列和第二行第一列的两个全色像素)的第一曝光时间由第一曝光信号控制，第二对角线方向相邻的至少两个彩色像素(例如，从左上方起第一行第一列和第二行第二列的两个彩色像素A)的第二曝光时间由第二曝光信号控制。第一对角线方向D1相邻的至少两个全色像素W的输出由第一选择信号控制，第二对角线方向D2相邻的至少两个彩色像素的输出由第二选择信号控制。
例如，如图12所示，第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。
同样地，如图12所示，第一行和第二行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素的输出的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素的输出的单独控制。第三行和第四行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素的输出的单独控制。第三行和第四行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素的输出的单独控制。
例如，图13是本申请实施方式中又一种最小重复单元1183像素排布的示意图。图14是本申请实施方式中又一种最小重复单元1184像素排布的示意图。在图13和图14的实施例中，分别对应图11和图12的排布方式，第一颜色像素A为红色像素R；第二颜色像素B为绿色像素G；第三颜色像素C为蓝色像素Bu。
需要说明的是，在一些实施例中，全色像素W的响应波段为可见光波段(例如，400nm-760nm)。例如，全色像素W上设置有红外滤光片，以实现红外光的滤除。在一些实施例中，全色像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10中的光电转换元件117(例如光电二极管PD)响应波段相匹配。例如，全色像素W可以不设置滤光片，全色像素W的响应波段由光电二极管的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
例如，图15是本申请实施方式中又一种最小重复单元1185像素排布的示意图。图16是本申请实施方式中又一种最小重复单元1186像素排布的示意图。在图15和图16的实施例中，分别对应图11和图12的排布方式，第一颜色像素A为红色像素R；第二颜色像素B为黄色像素Y；第三颜色像素C为蓝色像素Bu。
例如，图17是本申请实施方式中又一种最小重复单元1187像素排布的示意图。图18是本申请实施方式中又一种最小重复单元1188像素排布的示意图。在图17和图18的实施例中，分别对应图11和图12的排布方式，第一颜色像素A为品红色像素M；第二颜色像素B为青色像素Cy；第三颜色像素C为黄色像素Y。
例如，图19是本申请实施方式中又一种最小重复单元1191像素排布的示意图。最小重复单元为6行6列36个像素，子单元为3行3列9个像素，排布方式为：
Figure BDA0002287767980000101
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
例如，如图19所示，第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(A、B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第五行和第六行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。
同样地，如图19所示，第一行和第二行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第三行和第四行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第三行和第四行的彩色像素(A、B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第五行和第六行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。
例如，图20是本申请实施方式中又一种最小重复单元1192像素排布的示意图。最小重复单元为6行6列36个像素，子单元为3行3列9个像素，排布方式为：
Figure BDA0002287767980000111
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
例如，如图20所示，第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(A、B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第五行和第六行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。
同样地，如20所示，第一行和第二行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第三行和第四行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第三行和第四行的彩色像素(A、B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第五行和第六行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。
例如，图21是本申请实施方式中又一种最小重复单元1193像素排布的示意图。图22是本申请实施方式中又一种最小重复单元1194像素排布的示意图。在图21和图22的实施例中，分别对应图19和图20的排布方式，第一颜色像素A为红色像素R；第二颜色像素B为绿色像素G；第三颜色像素C为蓝色像素Bu。
例如，在其它实施方式中，第一颜色像素A为红色像素R；第二颜色像素B为黄色像素Y；第三颜色像素C为蓝色像素Bu。例如，在其它实施方式中，第一颜色像素A为品红色像素M；第二颜色像素B为青色像素Cy；第三颜色像素C为黄色像素Y。本申请的实施例包括但不局限于此。电路具体连接方式参见上文说明，在此不再赘述。
例如，图23是本申请实施方式中又一种最小重复单元1195像素排布的示意图。最小重复单元为8行8列64个像素，子单元为4行4列16个像素，排布方式为：
Figure BDA0002287767980000112
Figure BDA0002287767980000121
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
例如，如图23所示，第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第五行和第六行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第七行和第八行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第七行和第八行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。
同样地，如图23所示，第一行和第二行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第三行和第四行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第三行和第四行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第五行和第六行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第七行和第八行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第七行和第八行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。
例如，图24是本申请实施方式中又一种最小重复单元1196像素排布的示意图。最小重复单元为8行8列64个像素，子单元为4行4列16个像素，排布方式为：
Figure BDA0002287767980000122
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
例如，如图24所示，第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第五行和第六行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第七行和第八行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第七行和第八行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。
同样地，如图24所示，第一行和第二行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第三行和第四行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第三行和第四行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第五行和第六行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第七行和第八行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第七行和第八行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。
例如，图26是本申请实施方式中又一种最小重复单元1197像素排布的示意图。图27是本申请实施方式中又一种最小重复单元1198像素排布的示意图。在图26和图27的实施例中，分别对应图23和图24的排布方式，第一颜色像素A为红色像素R；第二颜色像素B为绿色像素G；第三颜色像素C为蓝色像素Bu。
例如，在其它实施方式中，第一颜色像素A为红色像素R；第二颜色像素B为黄色像素Y；第三颜色像素C为蓝色像素Bu。例如，第一颜色像素A为品红色像素M；第二颜色像素B为青色像素Cy；第三颜色像素C为黄色像素Y。本申请的实施例包括但不局限于此。电路具体连接方式参见上文说明，在此不再赘述。
从上述实施例中可以看出，如图11至图26所示，图像传感器10(图2所示)包括矩阵排布的多个彩色像素和多个全色像素W，彩色像素和全色像素在行和列的方向上均间隔排布。
例如，在行的方向上依次交替设置全色像素、彩色像素、全色像素、彩色像素……
例如，在列的方向上依次交替设置全色像素、彩色像素、全色像素、彩色像素……
请结合图3至图8，第一曝光控制线TX1与第2n-1行和第2n行的全色像素W中曝光控制电路116的控制端TG(例如，转移晶体管112的栅极)电连接；第二曝光控制线TX2与第2n-1行和第2n行的彩色像素中曝光控制电路116的控制端TG(例如，转移晶体管112的栅极)电连接；n为大于等于1的自然数。
例如，当n＝1时，第一曝光控制线TX1与第1行和第2行的全色像素W中曝光控制电路116的控制端TG电连接；第二曝光控制线TX2与第1行和第2行的彩色像素中曝光控制电路116的控制端TG电连接。当n＝2时，第一曝光控制线TX1与第3行和第4行的全色像素W中曝光控制电路116的控制端TG电连接；第二曝光控制线TX2与第3行和第4行的彩色像素中曝光控制电路116的控制端TG电连接。以此类推，在此不再赘述。
同样地，请结合图3、图4、图5、及图9，第一选择线SEL1与第2n-1行和第2n行的全色像素W中选择电路的选择端SEL(例如，选择晶体管115的栅极)电连接；第二选择线SEL2与第2n-1行和第2n行的彩色像素中选择电路的控制端SEL(例如，选择晶体管115的栅极)电连接；n为大于等于1的自然数。
例如，当n＝1时，第一选择线SEL1与第1行和第2行的全色像素W中选择电路的选择端SEL电连接；第二选择线SEL2与第1行和第2行的彩色像素中选择电路的选择端SEL电连接。当n＝2时，第一选择线SEL1与第3行和第4行的全色像素W中选择电路的选择端SEL电连接；第二选择线SEL2与第3行和第4行的彩色像素中选择电路的选择端SEL电连接。以此类推，在此不再赘述。
本申请实施方式的图像传感器10通过控制全色像素在第一曝光时间内多次曝光以获取多帧原始图像，多帧原始图像可以用于计算场景中的物体的运动信息。根据该运动信息对彩色原始图像进行模糊校正即可获得去除了运动模糊的目标图像。
请参阅图27，本申请提供一种摄像头组件40。摄像头组件40包括处理芯片20、镜头30、及上述任意一项实施方式所述的图像传感器10。图像传感器10与处理芯片20电连接。镜头30设置在图像传感器10的光路上。图像传感器10可以接收穿过镜头30的光线以获取原始图像。处理芯片20可以接收图像传感器10输出的原始图像，并对原始图像做后续处理。
本申请还提供一种可以用于图27的摄像头组件40的控制方法。如图28所示，控制方法包括：
01：彩色像素曝光并输出至少一帧彩色原始图像；
02：至少部分全色像素在彩色像素曝光一次以获取一帧彩色原始图像的时间内曝光多次以获取多帧全色原始图像；及
03：利用多帧全色原始图像校正至少一帧彩色原始图像以获取目标图像。
请参阅图27和图28，本申请的控制方法可以由摄像头组件40实现。其中，步骤01及步骤02可以由图像传感器10实现。步骤03可以由处理芯片20实现。也即是说，图像传感10中的彩色像素曝光并输出至少一帧彩色原始图像；至少部分全色像素在彩色像素曝光一次以获取一帧彩色原始图像的时间内曝光多次以获取多帧全色原始图像。处理芯片20可以利用多帧全色原始图像校正至少一帧彩色原始图像以获取目标图像。
具体地，请结合图2、图8、图9、及图29，在用户请求拍照时，图像传感器10中的垂直驱动单元12会通过第一曝光控制线TX1和第二曝光控制线TX2分别控制二维像素阵列中的多个全色像素和多个彩色像素的曝光，垂直驱动单元12会通过第一选择线SEL1及第二选择线SEL2分别控制全色像素及彩色像素的输出模拟信号至列处理单元14，列处理单元14中的转换电路16会将全色像素及彩色像素输出的模拟信号转换为数字信号。多个全色像素对应的数字信号形成全色原始图像，多个彩色像素对应的彩色信号形成彩色原始图像。用户每请求一次拍照时，图像传感器10均会输出一帧彩色原始图像和多帧全色原始图像。
如图29所示，每帧全色原始图像均包括多个全色像素W及多个空像素N(NULL)，其中，空像素既不为全色像素，也不为彩色像素，全色原始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较二维像素阵列与全色原始图像可知，对于二维像素阵列中的每一个子单元，该子单元包括两个全色像素W和两个彩色像素(彩色像素A、彩色像素B、或彩色像素C)。全色原始图像中也具有与二维像素阵列中的每一个子单元对应的一个子单元，全色原始图像的子单元包括两个全色像素W和两个空像素N，两个空像素N所处位置对应二维像素阵列子单元中的两个彩色像素所处的位置。
同样地，彩色原始图像包括多个彩色像素及多个空像素N，其中，空像素既不为全色像素，也不为彩色像素，彩色原始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较二维像素阵列与彩色原始图像可知，对于二维像素阵列中的每一个子单元，该子单元包括两个全色像素W和两个彩色像素。彩色原始图像中也具有与二维像素阵列中的每一个子单元对应的一个子单元，彩色原始图像的子单元包括两个彩色像素和两个空像素N，两个空像素N所处位置对应二维像素阵列子单元中的两个全色像素W所处的位置。
处理芯片20接收到全色原始图像及彩色原始图像之后，可以对多帧全色原始图像作进一步处理得到多帧全色中间图像，并对至少一帧彩色原始图像作进一步处理得到至少一帧彩色中间图像。
示例地，如图30所示，对于全色原始图像，全色原始图像包括多个子单元，每个子单元都包括多个空像素N和多个全色像素。具体地，每个子单元包括两个空像素N和两个全色像素W，处理芯片20可以将包括空像素N和全色像素W的子单元中的所有像素作为与该子单元对应的全色大像素W，处理芯片20可以将包括空像素N和全色像素W的子单元中的所有像素的像素值相加，并将相加的结果作为对应该子单元的全色大像素A的像素值，其中，空像素N的像素值可以视为零。由此，处理芯片20即可获得全色中间图像。
示例地，对于彩色原始图像，处理芯片20将每个子单元的所有像素作为与该子单元中单颜色对应的单色大像素，并输出单色大像素的像素值以得到彩色中间图像。具体地，彩色原始图像可通过图31所示的方式变换为彩色中间图像。如图31所示，彩色原始图像包括多个子单元，每个子单元都包括多个空像素N和多个单颜色的彩色像素(也称单颜色像素)。具体地，某些子单元包括两个空像素N和两个单颜色像素A，某些子单元包括两个空像素N和两个单颜色像素B，某些子单元包括两个空像素N及两个单颜色像素C。处理芯片20可以将包括空像素N和单颜色像素A的子单元中的所有像素作为与该子单元中的单颜色A对应的单色大像素A，将包括空像素N和单颜色像素B的子单元中的所有像素作为与该子单元中的单颜色B对应的单色大像素B，将包括空像素N和单颜色像素C的子单元中的所有像素作为与该子单元中的单颜色C对应的单色大像素C。对于单色大像素A，处理芯片20可以将包括空像素N和单颜色像素A的子单元中的所有像素的像素值相加，并将相加的结果作为对应该子单元的单色大像素A的像素值，其中，空像素N的像素值可以视为零，下同；处理芯片20可以将包括空像素N和单颜色像素B的子单元中的所有像素的像素值相加，并将相加的结果作为对应该子单元的单色大像素B的像素值；处理芯片20可以将包括空像素N和单颜色像素C的子单元中的所有像素的像素值相加，并将相加的结果作为对应该子单元的单色大像素C的像素值。由此，处理芯片20即可获得多个单个大像素A的像素值、多个单色大像素B的像素值、以及多个单色大像素C的像素值。处理芯片20再根据多个单色大象素A的像素值、多个单色大像素B的像素值、以及多个单色大像素C的像素值形成一张分辨率低于二维像素阵列的分辨率的彩色中间图像。
处理芯片20得到全色中间图像以及彩色中间图像后，处理芯片20可以利用多帧全色中间图像来校正至少一帧彩色中间图像以得到目标图像。
本申请实施方式的控制方法，通过控制全色像素在彩色像素曝光一次的时间内多次曝光以获取多帧全色原始图像，并利用多帧全色原始图像校正彩色原始图像，可以得到去除了运动模糊的目标图像。
此外，本申请实施方式的控制方法中使用多帧全色原始图像来校正彩色原始图像，由于全色原始图像是由灵敏度较高的全色像素获取的，全色原始图像具有较高的信噪比，利用信噪比较高的图像来校正运动模糊的图像可以提升运动模糊的消除效果。
请参阅图32，在某些实施方式中，可以使用点扩散函数来实现对彩色原始图像的校正。步骤03利用多帧全色原始图像校正至少一帧彩色原始图像以获取目标图像包括：
031：根据多帧全色原始图像计算校正数据；及
032：利用校正数据校正至少一帧彩色原始图像以获取目标图像。
请参阅图27，在某些实施方式中，步骤031和步骤032均可以由处理芯片20实现。也即是说，处理芯片20可以用于根据多帧全色原始图像计算校正数据、及利用校正数据校正至少一帧彩色原始图像以获取目标图像。
具体地，处理芯片20可以先根据多帧全色原始图像计算出任意两帧相邻的全色原始图像之间的位移向量，获得离散的位移点信息，并拟合位移信息以获得位移曲线。随后，处理芯片20根据位移曲线计算速度曲线，再根据速度曲线及第一曝光时间计算出点扩散函数(即校正数据)。随后，处理芯片20再根据点扩散函数来校正彩色原始图像，以获得清晰的目标图像。
当然，在其他实施方式中，还可以利用如盲图像算法等方法来校正彩色原始图像，在此不做限制。
请参阅图33，在某些实施方式中，当仅有部分全色像素在彩色像素曝光一次以获取一帧彩色原始图像的时间内曝光多次以获取多帧全色原始图像时，控制方法还包括：
04：剩余的全色像素曝光以输出全色原始图像；及
05：根据剩余的全色像素输出的全色原始图像修正目标图像的亮度。
请参阅图27，在某些实施方式中，步骤04可以由图像传感器10实现，步骤05可以由处理芯片20实现。也即是说，图像传感器10剩余的全色像素曝光以输出全色原始图像。处理芯片可以用于根据剩余的全色像素输出的全色原始图像修正目标图像的亮度。
具体地，请结合图34，彩色像素以第一曝光时间曝光输出一帧彩色原始图像，部分全色像素在第一曝光时间内多次曝光输出多帧第一全色原始图像，剩余的全色像素在第一曝光时间内曝光一次输出一帧第二全色原始图像。
如图34所示，每一帧第一全色原始图像均包括多个全色像素W及多个空像素N(NULL)，其中，空像素既不为全色像素，也不为彩色像素，全色原始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较二维像素阵列与第一全色原始图像可知，对于二维像素阵列中的每一个子单元，该子单元包括两个全色像素W和两个彩色像素(彩色像素A、彩色像素B、或彩色像素C)。第一全色原始图像中也具有与二维像素阵列中的每一个子单元对应的一个子单元，第一全色原始图像的子单元包括一个用于在第一曝光时间内多次曝光的全色像素W’和三个空像素N，三个空像素N所处位置对应二维像素阵列子单元中的两个彩色像素及用于在第一曝光时间内曝光一次的全色像素W所处的位置。
同样地，第二全色原始图像包括多个全色像素W及多个空像素N，其中，空像素既不为全色像素，也不为彩色像素，第二全色原始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较二维像素阵列与第二全色原始图像可知，对于二维像素阵列中的每一个子单元，该子单元包括两个全色像素W和两个彩色像素。第二全色原始图像中也具有与二维像素阵列中的每一个子单元对应的一个子单元，第二全色原始图像的子单元包括一个用于在第一曝光时间内曝光一次的全色像素W和三个空像素N，三个空像素N所处位置对应二维像素阵列子单元中的两个彩色像素及一个用于在第一曝光时间内曝光多次的全色像素W’所处的位置。
彩色原始图像与图29所示的实施例中的彩色原始图像相同，在此不作赘述。
处理芯片20获取到第一全色原始图像、第二全色原始及彩色原始图像之后，可以对多帧第一全色原始图像及第二全色原始图像作进一步处理得到多帧第一全色中间图像及一帧第二全色原始图像，并对至少一帧彩色原始图像作进一步处理得到至少一帧彩色中间图像。示例地，处理芯片20可以采用图30所示的方式实现第一全色原始图像至第一全色中间图像的转换、以及实现第二全色原始图像至第二全色中间图像的转换。示例地，处理芯片20可以采用图31所示的方式实现彩色原始图像至彩色中间图像的转换。
处理芯片20得到第一全色中间图像以及彩色中间图像后，处理芯片20可以利用多帧第一全色中间图像来校正至少一帧彩色中间图像以得到目标图像。校正方法与图32所示实施例的方法相同，在此不作赘述。
处理芯片20得到去运动模糊的目标图像后，可以利用第二全色中间图像对去运动模糊的目标图像进行亮度修正。具体地，如图35所示，处理芯片20首先分离去除运动模糊的目标图像的色彩及亮度以获取色亮分离图像，图35中色亮分离图像中的L表示亮度，CLR表示色彩。具体地，假设单颜色像素A为红色像素R，单颜色像素B为绿色像素G，单颜色像素C为蓝色像素Bu，则：(1)处理芯片20可以将RGB空间的去运动模糊的目标图像转换为YCrCb空间的色亮分离图像，此时YCrCb中的Y即为色亮分离图像中的亮度L，YCrCb中的Cr和Cb即为色亮分离图像中的色彩CLR；(2)处理芯片20也可以将RGB的去运动模糊的目标图像转换为Lab空间的色亮分离图像，此时Lab中的L即为色亮分离图像中的亮度L，Lab中的a和b即为色亮分离图像中的色彩CLR。需要说明的是，图35所示色亮分离图像中L+CLR并不表示每个像素的像素值由L和CLR相加而成，仅表示每个像素的像素值是由L和CLR组成。
随后，处理芯片20融合色亮分离图像的亮度以及第二全色中间图像的亮度。示例地，第二全色中间图像中每个全色像素W的像素值即为每个全色像素的亮度值，处理芯片20可以将色亮分离图像中每个像素的L与第二全色中间图像中对应位置的全色像素的W相加，即可得到亮度修正后的像素值。处理芯片20根据多个亮度修正后的像素值形成一张亮度修正后的色亮分离图像，再利用色彩空间转换将亮度修正后的色亮分离图像转换为亮度修正目标图像。
在单色大像素A为红色像素R，单色大像素B为绿色像素G，单色大像素C为蓝色像素Bu时，亮度修正彩色图像为拜耳阵列排布的图像，处理芯片20需要对亮度修正彩色图像做插值处理，以使得每个修正了亮度后的单色大像素的像素值都同时具有R、G、B三个分量。处理芯片20可以对亮度修正彩色图像做插值处理以得到最终目标图像。
在某些实施例中，如果连续两帧彩色原始图像的获取时间之间的间隔小于预定值，则可仅在获取其中一帧彩色原始图像的过程中，控制至少部分全色像素多次曝光以输出多帧全色原始图像，在获取另一帧彩色原始图像的过程中，则不需要执行控制至少部分全色像素多次曝光的动作。随后，处理芯片20可以利用获取的多帧全色原始图像校正两帧彩色原始图像。例如，图像传感器10同时获取两帧彩色原始图像，其中获取两帧彩色原始图像的时间间隔为1ms，其中1ms仅为示例，时间间隔还可以是2ms、2.5ms、3ms、5ms、8ms、10ms、15ms、20ms等，在此不作限制。处理芯片20可利用在彩色像素曝光一次获取第一帧彩色原始图像的时间内，至少部分全色像素曝光获取的多帧全色原始图像校正第一帧彩色原始图像及第二帧彩色原始图像，以获取两帧去除运动模糊的目标图像。可以理解，当连续两帧彩色原始图像的获取时间之间的间隔较小时，场景中的运动物体的运动速度不会发生较大改变，两帧彩色原始图像所需的校正数据基本相同。由此，直接根据其中一帧彩色原始图像所需的校正数据来校正两帧彩色原始图像，同样可以实现目标图像的去运动模糊效果。同时，由于至少部分全色像素在另一帧彩色原始图像的获取期间内不需要曝光，图像传感器10的功耗得到降低。并且，处理芯片20仅需要执行一次计算校正数据的动作，简化了图像处理的复杂度，加快了图像处理的速度。
请参阅图36，本申请还提供一种动终端60。移动终端60可以是手机、平板电脑、笔记本电脑、智能穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、头显设备、虚拟现实设备等等，在此不做限制。
移动终端60包括壳体50和摄像头组件40。壳体50和摄像头组件40结合。示例地，摄像头组件40可以安装在壳体50上。移动终端60中还可以包括处理器(图未示)。摄像头组件40中的处理芯片20与处理器可为同一个处理器，也可为两个独立的处理器，在此不作限制。
本申请实施方式的移动终端60中，图像传感器10同时布置有灵敏度较高的全色像素及灵敏度比全色像素的灵敏度低的彩色像素，从而可以利用至少部分灵敏度较高的全色像素在一段时间内以较高帧率曝光以获得多帧图像，其余像素在该段时间内以较低帧率曝光以获得至少一帧图像，高帧率曝光后获得的多帧图像可以用来校正低帧率曝光获得图像，以实现对低帧率曝光获得的图像的运动模糊的消除。本申请实施方式的移动终端60无需设置多个图像传感器10即可实现图像的运动模糊的消除，硬件系统的复杂度较低。并且，运动模糊的图像和起校正作用的图像是由同一个图像传感器10获取的，后续处理过程无需进行补偿及校准，算法复杂度也较低。另外，起校正作用的图像是通过灵敏度较高的全色像素来获取的，该图像具有较高的信噪比，利用信噪比较高的图像来校正运动模糊的图像可以提升运动模糊的消除效果。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (13)

1.一种图像传感器，其特征在于，所述图像传感器包括：
全色像素；及
彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应；
所述彩色像素能够曝光以输出至少一帧彩色原始图像，所述彩色像素曝光一次的时间为第一曝光时间；
在所述彩色像素曝光一次以获取一帧彩色原始图像的时间内，至少部分所述全色像素能够曝光多次以获取多帧第一全色原始图像，多帧所述第一全色原始图像能够用于校正至少一帧所述彩色原始图像以获取目标图像；
当仅有部分所述全色像素在所述彩色像素曝光一次以获取一帧彩色原始图像的时间内曝光多次以获取多帧所述第一全色原始图像时，剩余的所述全色像素在所述第一曝光时间内曝光一次以输出一帧第二全色原始图像；
根据所述第二全色原始图像修正所述目标图像的亮度。
2.根据权利要求1所述的图像传感器，其特征在于，至少部分所述全色像素的像素电路包括：
光电转换元件；
曝光控制电路，所述曝光控制电路与所述光电转换元件电连接，所述曝光控制电路用于在所述彩色像素曝光一次的时间内，多次将所述光电转换元件经光照后累积的电荷转移至浮动扩散单元；
选择电路，所述选择电路用于多次输出所述浮动扩散单元中的电荷对应的模拟信号；及
所述图像传感器还包括转换电路，至少部分所述全色像素中的每个所述全色像素对应多个所述转换电路，多个所述转换电路均与每个所述全色像素的所述选择电路电连接，所述选择电路输出的一个所述模拟信号对应输出至一个所述转换电路，每个所述转换电路均用于将所述模拟信号转换为数字信号。
3.根据权利要求2所述的图像传感器，其特征在于，至少部分所述全色像素的像素电路还包括：
复位电路，所述复位电路与所述浮动扩散单元电连接，所述复位电路用于在所述彩色像素曝光一次的时间内，在每次所述曝光控制电路转移电荷前，复位所述浮动扩散单元。
4.根据权利要求2所述的图像传感器，其特征在于，至少部分所述全色像素的像素电路还包括：
复位电路，所述复位电路与所述浮动扩散单元电连接，所述复位电路用于在所述彩色像素曝光一次的时间内，在所述曝光控制电路第一次转移所述电荷前，复位所述浮动扩散单元。
5.根据权利要求2-4任意一项所述的图像传感器，其特征在于，每个所述转换电路均包括：
开关，所述开关与所述选择电路电连接，所述开关用于供来自所述选择电路的模拟信号通过；及
模数转换模块，所述模数转换模块与所述开关电连接，所述模数转换模块用于将所述模拟信号转换为所述数字信号。
6.根据权利要求2-4任意一项所述的图像传感器，其特征在于，所述每个所述转换电路均包括：
开关，所述开关与所述选择电路电连接，所述开关用于供来自所述选择电路的所述模拟信号通过；
电容，所述电容与所述开关连接，所述电容用于存储经所述开关传输过来的所述模拟信号；
模数转换模块，所述模数转换模块与所述开关及所述电容均电连接，所述模数转换模块用于将所述模拟信号转换为所述数字信号。
7.一种控制方法，用于图像传感器，其特征在于，所述图像传感器包括全色像素及彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应；所述控制方法包括：
所述彩色像素曝光并输出至少一帧彩色原始图像，所述彩色像素曝光一次的时间为第一曝光时间；
至少部分所述全色像素在所述彩色像素曝光一次以获取一帧所述彩色原始图像的时间内曝光多次以获取多帧第一全色原始图像；及
利用多帧所述第一全色原始图像校正至少一帧所述彩色原始图像以获取目标图像；
当仅有部分所述全色像素在所述彩色像素曝光一次以获取一帧彩色原始图像的时间内曝光多次以获取多帧所述第一全色原始图像时，所述控制方法还包括：
剩余的所述全色像素在所述第一曝光时间内曝光一次以输出一帧第二全色原始图像；
根据所述第二全色原始图像修正所述目标图像的亮度。
8.根据权利要求7所述的控制方法，其特征在于，所述利用多帧所述第一全色原始图像校正至少一帧所述彩色原始图像以获取目标图像，包括：
根据多帧所述第一全色原始图像计算校正数据；及
利用所述校正数据校正至少一帧所述彩色原始图像以获取所述目标图像。
9.一种摄像头组件，其特征在于，包括：
镜头；及
权利要求1-6任意一项所述的图像传感器，所述图像传感器能够接收穿过所述镜头的光线。
10.根据权利要求9所述的摄像头组件，其特征在于，所述摄像头组件还包括处理器，所述处理器用于利用多帧所述第一全色原始图像校正至少一帧所述彩色原始图像以获取目标图像。
11.根据权利要求10所述的摄像头组件，其特征在于，所述处理器还用于：
根据多帧所述第一全色原始图像计算校正数据；及
利用所述校正数据校正至少一帧所述彩色原始图像以获取所述目标图像。
12.根据权利要求10所述的摄像头组件，其特征在于，当仅有部分所述全色像素在所述彩色像素曝光一次以获取一帧彩色原始图像的时间内曝光多次以获取多帧所述第一全色原始图像时，剩余的所述全色像素曝光以输出第二全色原始图像；
所述处理器还用于根据剩余的所述全色像素输出的所述第二全色原始图像修正所述目标图像的亮度。
13.一种移动终端，其特征在于，包括：
壳体；及
权利要求9至12任意一项所述的摄像头组件，所述摄像头组件与所述壳体结合。
CN201911167206.2A 2019-11-25 2019-11-25 图像传感器、控制方法、摄像头组件及移动终端 Active CN111050041B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911167206.2A CN111050041B (zh) 2019-11-25 2019-11-25 图像传感器、控制方法、摄像头组件及移动终端
PCT/CN2020/119387 WO2021103818A1 (zh) 2019-11-25 2020-09-30 图像传感器、控制方法、摄像头组件及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911167206.2A CN111050041B (zh) 2019-11-25 2019-11-25 图像传感器、控制方法、摄像头组件及移动终端

Publications (2)

Publication Number Publication Date
CN111050041A CN111050041A (zh) 2020-04-21
CN111050041B true CN111050041B (zh) 2021-03-26

Family

ID=70233295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911167206.2A Active CN111050041B (zh) 2019-11-25 2019-11-25 图像传感器、控制方法、摄像头组件及移动终端

Country Status (2)

Country Link
CN (1) CN111050041B (zh)
WO (1) WO2021103818A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050041B (zh) * 2019-11-25 2021-03-26 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件及移动终端
CN111447380B (zh) * 2020-05-22 2022-03-22 Oppo广东移动通信有限公司 控制方法、摄像头组件和移动终端
CN111757006B (zh) * 2020-07-08 2021-10-29 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN114114317B (zh) * 2020-08-28 2023-11-17 上海禾赛科技有限公司 激光雷达、数据处理方法及数据处理模块、介质
CN114697474B (zh) * 2020-12-25 2023-07-21 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及计算机可读存储介质
CN112702490A (zh) * 2020-12-25 2021-04-23 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及存储介质
CN113676617B (zh) * 2021-08-12 2023-08-18 Oppo广东移动通信有限公司 运动检测方法、装置、电子设备和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233763A (zh) * 2005-07-28 2008-07-30 伊斯曼柯达公司 处理彩色和全色像素
CN101233762A (zh) * 2005-07-28 2008-07-30 伊斯曼柯达公司 具有改善的光敏感度的图像传感器
CN102891969A (zh) * 2011-07-21 2013-01-23 三星电子株式会社 图像感测设备和操作其的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4484944B2 (ja) * 2008-04-01 2010-06-16 富士フイルム株式会社 撮像装置及び撮像装置の駆動方法
JP6938352B2 (ja) * 2017-12-08 2021-09-22 キヤノン株式会社 撮像装置及び撮像システム
CN111050041B (zh) * 2019-11-25 2021-03-26 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件及移动终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101233763A (zh) * 2005-07-28 2008-07-30 伊斯曼柯达公司 处理彩色和全色像素
CN101233762A (zh) * 2005-07-28 2008-07-30 伊斯曼柯达公司 具有改善的光敏感度的图像传感器
CN102891969A (zh) * 2011-07-21 2013-01-23 三星电子株式会社 图像感测设备和操作其的方法

Also Published As

Publication number Publication date
WO2021103818A1 (zh) 2021-06-03
CN111050041A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111050041B (zh) 图像传感器、控制方法、摄像头组件及移动终端
CN110740272B (zh) 图像采集方法、摄像头组件及移动终端
CN110649056B (zh) 图像传感器、摄像头组件及移动终端
CN111405204B (zh) 图像获取方法、成像装置、电子设备及可读存储介质
CN111757006B (zh) 图像获取方法、摄像头组件及移动终端
CN111314592B (zh) 图像处理方法、摄像头组件及移动终端
CN111479071B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN110649057B (zh) 图像传感器、摄像头组件及移动终端
CN111491111B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN110971799B (zh) 控制方法、摄像头组件及移动终端
CN111246064B (zh) 图像处理方法、摄像头组件及移动终端
CN111447380B (zh) 控制方法、摄像头组件和移动终端
CN111385543B (zh) 图像传感器、摄像头组件、移动终端及图像获取方法
CN110784634B (zh) 图像传感器、控制方法、摄像头组件及移动终端
CN114041208A (zh) 图像传感器、摄像头组件及移动终端
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
CN114008782A (zh) 图像传感器、摄像头组件及移动终端
CN114008781A (zh) 图像传感器、摄像头组件及移动终端
CN111970459B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111835971B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN111031297B (zh) 图像传感器、控制方法、摄像头组件和移动终端
CN112235485B (zh) 图像传感器、图像处理方法、成像装置、终端及可读存储介质
US20220279108A1 (en) Image sensor and mobile terminal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant