CN113411525B - 图像传感器和用于在图像传感器中对像素进行合并的方法 - Google Patents

图像传感器和用于在图像传感器中对像素进行合并的方法 Download PDF

Info

Publication number
CN113411525B
CN113411525B CN202110707821.9A CN202110707821A CN113411525B CN 113411525 B CN113411525 B CN 113411525B CN 202110707821 A CN202110707821 A CN 202110707821A CN 113411525 B CN113411525 B CN 113411525B
Authority
CN
China
Prior art keywords
pixels
color filter
image sensor
pixel
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110707821.9A
Other languages
English (en)
Other versions
CN113411525A (zh
Inventor
马修·鲍威尔
斯科特·D·威林厄姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Publication of CN113411525A publication Critical patent/CN113411525A/zh
Application granted granted Critical
Publication of CN113411525B publication Critical patent/CN113411525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种图像传感器和用于在图像传感器中对像素进行合并的方法，所述图像传感器包括：像素阵列，包括多个像素；色彩过滤器阵列，包括覆盖在所述像素阵列上的多个色彩过滤器簇；和读出电路，被配置为将共享公共色彩过滤器簇并且具有第一曝光时间的像素同时提供至读出线，用于数字数据转换。每个色彩过滤器簇包括一组相同色彩过滤器，并且共享公共色彩过滤器簇的像素具有不同的曝光时间。

Description

图像传感器和用于在图像传感器中对像素进行合并的方法
技术领域
本发明涉及图像传感器设备，并且更具体地，涉及具有快速读出、高动态范围(high dynamic range,HDR)和低读出噪声的图像传感器，以及用于在图像传感器中对像素进行合并的方法。
背景技术
具有高像素计数的现代图像传感器试图以最小功率消耗来实现高帧率、低读取噪声和高动态范围。现代CMOS图像传感器(CMOS image sensor,CIS)的基本功能是捕获在光电二极管阵列中转换为电子的光子。这些捕获的电子由作为图像传感器的一部分而包括的一系列模数转换器(analog-to-digital converter,ADC)读出。帧率由使用的ADC的数量、要读出的总像素数量和在一个ADC上读出一个像素的时间决定。增加ADC的数量或降低读出一个像素的时间通常会增加由图像传感器消耗的总功率。
发明内容
本发明的实施例提供了用于在与传统CIS相同的功率消耗下更快读出和更低读出噪声的新颖技术方案。本发明概念的示例性实施例利用新颖的像素合并方案。本发明概念与其中多个光电二极管共享相同的读出结构的图像传感器相关。
在本发明的一个方面中，一种图像传感器，包括：像素阵列，包括多个像素；色彩过滤器阵列，包括覆盖在像素阵列上的多个色彩过滤器簇；和读出电路，被配置为将共享公共过滤器簇并且具有第一曝光时间的像素同时提供至读出线，用于数字数据转换。每个色彩过滤器簇包括一组相同色彩过滤器，并且共享公共色彩过滤器簇的像素具有不同的曝光时间。
在本发明的另一方面中，一种图像传感器，包括：像素阵列，包括多个像素；色彩过滤器阵列，包括覆盖在像素阵列上的多个色彩过滤器簇；和读出电路，被配置为在第一时间间隔将相应数量的像素的一半像素的像素信号同时提供至读出线，用于数字数据转换，以获得相应的第一数字数据。每个色彩过滤器簇包括覆盖在相应数量的像素上的多个相同色彩过滤器。
在一个实施例中，读出电路还被配置为在不同于第一时间间隔的第二时间间隔，将相应数量的像素的剩余一半像素的像素信号同时提供至读出线，用于数字数据转换，以获得相应的第二数字数据。
在一个实施例中，读出电路通过执行两次读出操作来使用常规转换增益读出与色彩过滤器簇相关联的所有像素的像素信号，以获得读出噪声的sqrt(2)的改善。
在本发明的又一方面中，一种图像传感器可以包括：像素阵列，包括多个像素；色彩过滤器阵列，包括设置在像素阵列上的多个过滤器簇；和读出电路，被配置为在相同时间间隔内将相应第一数量的像素的像素信号或相应第二数量的像素的像素信号同时提供至读出线，用于数字数据转换，以获得相应的第一数字数据，但不在该相同时间间隔内将相应第一数量的像素的像素信号和相应第二数量的像素的像素信号同时提供至读出线。每个过滤器簇包括覆盖在相应第一数量的像素上的第一数量的第一过滤器和覆盖在相应第二数量的像素上的第二数量的第二过滤器，第一过滤器不同于第二过滤器。
在本发明的再一种实施例中，一种用于在图像传感器中对像素进行合并的方法可以包括：由读出电路将色彩过滤器簇中具有第一曝光时间的第一像素集合的第一像素信号集合提供至读出线，将第一像素信号集合转换为第一数字数据，由读出电路将色彩过滤器簇中具有第二曝光时间的第二像素集合的第二像素信号集合提供至读出线，第二曝光时间不同于第一曝光时间，将第二像素信号集合转换为第二数字数据，并且通过以第一曝光时间和第二曝光时间的比率对第二数字码进行缩放并且通过合适的算法来从第一数字码和缩放的第二数字码生成复合像素数据值来生成高动态范围复合像素数据值。在一个实施例中，具有第一曝光时间的像素和具有第二曝光时间的像素在第一像素集合中对角地布置。通过对色彩过滤器簇中具有不同曝光时间的像素进行曝光，并且将色彩过滤器簇中具有相同曝光时间的像素进行合并，以及由公共ADC测量合并电荷，可以实现实时高动态范围(HDR)。
在一个实施例中，一种方法包括：提供包括覆盖在多个像素上的多个色彩过滤器簇的色彩过滤器阵列。色彩过滤器簇都包括多个相同色彩过滤器。方法还包括在第一时间间隔内对色彩过滤器簇中一半数量的像素进行合并，并且将合并的一半数量的像素提供至读出线，用于数据转换，以获得代表与该一半数量的像素相关联的像素信号的第一数字数据。方法还包括在不同于第一时间间隔的第二时间间隔内，对色彩过滤器簇中剩余一半数量的像素进行合并，并且将合并的剩余一半数量的像素提供至读出线，用于数据转换，以获得代表与色彩过滤器簇中的剩余一半数量的像素相关联的像素信号的第二数字数据。可以对色彩过滤器簇中的一半数量的像素进行水平合并或竖向合并。方法还包括对第一数字数据和第二数字数据进行组合，以获得与色彩过滤器簇的像素相关联的数字数据。通过对一半数量的像素进行合并来使用传统转换增益执行两次读出，实现了降低读出噪声。
在另一种实施例中，一种方法包括：提供具有多个像素的像素阵列，以及提供具有覆盖在像素阵列上的多个过滤器簇的色彩过滤器阵列。每个过滤器簇包括覆盖在相应第一数量的像素上的第一数量的第一过滤器和覆盖在相应第二数量的像素上的第二数量的第二过滤器。方法还包括在相同时间间隔内对过滤器簇中的第一数量的像素的像素信号或第二数量的像素的像素信号进行合并，但不在该相同时间间隔内对过滤器簇中的第一数量的像素的像素信号和第二数量像素的像素信号进行合并。方法还包括对尚未进行合并的第一数量的像素的像素信号或第二数量的像素的像素信号进行合并，用于读出。在一个实施例中，色彩过滤器阵列可以具有非拜耳色彩图案，色彩过滤器簇可以包括使红色分量、绿色分量、蓝色分量通过的色彩过滤器和使白光通过的照明过滤器。
通过阅读以下详细描述和附图，本领域技术人员将明了附加特征和优点。
附图说明
附图构成本公开的描述本发明的示例性实施例的一部分。附图连同说明书将解释本发明的原理。
图1是示出可以用于解释本公开的包括像素和读出电路的图像传感器的一部分的示意图。
图2是示出根据本公开的实施例的包括四个像素和读出电路的图像传感器的一部分的示意图。
图3A是示出用于读出图2的各个像素的读出周期的时序图。
图3B是示出在传统合并模式下用于读出图2的像素的读出周期的时序图。
图4是示出根据本公开的实施例的用于图像传感器的四重拜耳色彩图案的色彩过滤器阵列的图。
图5是示出根据本发明的实施例的使用不同曝光时间的HDR的概念的色彩过滤器阵列50的图。
图6是示出根据本公开的实施例的用于向图5的像素提供不同曝光时间的操作的曲线图。
图7是示出根据本发明实施例的有高级色彩图案的色彩过滤器阵列的框图。
图8是示出根据本发明的实施例的在具有实时HDR的图像传感器中对像素进行合并的方法的简化流程图。
图9是示出根据本发明的实施例的用于获得降低的读出噪声的对像素进行合并的方法的简化流程图。
图10是示出根据本发明的实施例的在具有带有非拜耳色彩图案的色彩过滤器阵列的图像传感器中对像素进行合并的方法100的简化流程图。
具体实施方式
本发明的实施例提供了用于在与传统CIS相同的功率消耗下更快读出和更低读出噪声的新颖技术方案。本发明概念的示例性实施例利用新颖的像素合并信号用于读出。本发明概念与其中多个光电二极管共享相同的读出结构的图像传感器相关。2个、4个或8个光电二极管共享公共读出结构是常见的，不过原则上任何数量的像素是可能的。读出结构因图像传感器而异，但是通常包括至少一个复位器件、一个源跟随器器件和一个选择器件。像素合并概念是在共享浮动扩散节点上一次提供来自所有光电二极管的电子电荷。在这种情况下，所有共享像素的总和可以通过一次模数(ADC)操作读出。这降低了读出整个阵列的总能量，并且降低了应用于共享像素簇的电路噪声。主要缺点是光学分辨率降低，这在许多情况下被认为是可接受的折衷。在其中一个2x2组应用了一个色彩过滤器透镜(例如，红)并且其他2x2组应用了第二个色彩过滤器透镜(例如，绿)的八个共享光电二极管的情况下，发生另外的合并像素读出模式。
本公开的发明概念在更多情况下而非仅仅在2x2共享色彩图案下，引入了部分合并读出。这涉及在2x2或2x4像素共享场景下读出像素的子集合。替代在仅仅单次ADC读取操作中读出共享像素的集合，现在执行两次或更多次ADC读取操作，但是ADC读取操作的数量仍然比如果单独读取每个像素时更少。本公开提供了针对这种类型的操作的三个示例性实施例，它们针对实时高动态范围(HDR)、不使用双转换增益的合并像素读出和具有像素共享的非四重拜耳色彩方案。
图1是示出可以用于解释本公开的包括像素和读出电路的图像传感器的一部分的示意图。参考图1，像素包括光电二极管(或光敏元件)PD和耦接至光电二极管PD的转移晶体管TX。读出电路包括具有耦接至转移晶体管TX的栅极的源跟随器SF、耦接至设置在转移晶体管TX与源跟随器SF的栅极之间的浮动扩散节点FD的复位晶体管RST。复位晶体管RST被配置为当复位晶体管RST导通时将浮动扩散节点FD充电至复位电压VDD_RST，从而对浮动扩散节点FD进行复位。通过使转移晶体管TX导通，光电二极管PD可以与浮动扩散节点FD一起进行复位。源跟随器SF的一端部耦接至源跟随器电压VDD_SF，并且另一端部耦接至选择晶体管SEL。选择晶体管SEL具有耦接至行选择线的栅极，并且设置在源跟随器SF与向模数转换器ADC提供模拟输出像素信号VOUT的电压读出线之间。选择晶体管SEL耦接至电流源IBIAS。模拟输出像素信号VOUT连接至读出线并且被提供给ADC用于数据转换。在一个实施例中，转移晶体管TX、复位晶体管RST、源跟随器SF和选择晶体管SEL均是NMOS晶体管。图像传感器还可以包括控制器，该控制器被配置为为像素、读出电路和ADC提供时钟和控制信号。图像传感器还可以包括数据存储器，该数据存储器被配置为存储代表像素信号的数字数据。
图2是示出根据本公开的实施例的包括四个像素和读出电路的图像传感器的一部分的示意图。参考图2，四个不同行或四个不同列中的四个像素，像素1、像素2、像素3和像素4共享相同的浮动扩散节点、复位晶体管RST、源跟随器SF、选择晶体管SEL。每行或每列上的像素具有其自己的转移晶体管TX。在一个实施例中，四个像素分组在像素簇中，并且四个像素中的每个像素的电荷可以通过激活相应的转移晶体管TX1至TX4而单独地或共同地转移至浮动扩散节点FD。浮动扩散节点FD的电荷水平可以提供至读出线，并且提供给ADC用于数据转换，以获得数字数据，该数字数据然后存储在数据存储器中。对像素信号进行合并、读出和存储数字数据均由控制器进行控制。在一个实施例中，控制器可以包括处理电路、逻辑状态机、锁相环等，以向图像传感器提供时钟和控制信号。
图3A是示出用于读出图2的各个像素的读出周期的时序图。参考图3A，像素1至像素4的像素信号以时间顺序方式独立并且单独地提供至读出线。
图3B是示出在传统合并模式下用于读出图2的像素的读出周期的时序图，其中像素1至像素4的像素信号合并在一起，并且同时提供至读出线，用于由ADC进行数字数据转换。
实施例1
该示例性实施例公开了一种提供实时HDR的图像传感器。在实时HDR中，一组2x2像素共享相同的色彩，但是以重叠的不同曝光时间进行控制。本发明概念的目的是实现更高的动态范围。长曝光时间能够准确地测量低光水平。通过较短曝光时间准确地测量在长曝光时间下会使像素饱和的较高光水平。以这种方式，可以基于复合读出为2x2像素位置构建对光强度的更大动态范围线性测量。对于这种类型的HDR，可能有2种、3种或4种不同的曝光时间。通常，这种类型的HDR是通过单独地读出所有四个像素来完成的。但是，对于具有相同曝光时间的像素，单独地读出它们几乎没有什么好处。替代地，可以将具有相同曝光时间的像素合并在一起，进行公共ADC测量。在具有两种曝光时间的基本情况下，这对应于每2x2像素进行两次ADC测量，而不是四种曝光时间。
图4是示出根据本公开的实施例的示出用于图像传感器的四重拜耳色彩图案的色彩过滤器阵列40的图。参考图4，色彩过滤器阵列40包括设置在像素阵列上的多个色彩过滤器簇(401、402、403)，该像素阵列包括以行和列布置的多个像素。在一个实施例中，每个色彩过滤器簇包括一组相同色彩过滤器。在所示的示例中，色彩过滤器簇401包括四个红色色彩过滤器R，色彩过滤器簇402包括四个绿色色彩过滤器G，并且色彩过滤器簇403包括四个蓝色色彩过滤器B。在该实施例中，四重拜耳色彩图案包括在第一行中交替布置的两个红色色彩过滤器簇和两个绿色色彩过滤器簇，在第二行中交替布置的两个绿色色彩过滤器簇和两个蓝色色彩过滤器簇。该图案在色彩过滤器阵列40中重复，使得绿色色彩过滤器簇的数量是蓝色色彩过滤器簇的数量的两倍(2倍)和红色色彩过滤器簇的数量的两倍。换言之，绿色色彩过滤器簇的数量代表色彩过滤器阵列中的总色彩过滤器簇的50％，而蓝色色彩过滤器簇的数量和红色色彩过滤器簇的数量各自代表色彩过滤器阵列中的总色彩过滤器簇的25％。
图像传感器可以通过同时读出布置在相同色彩过滤器簇中的像素的像素信号来执行像素合并。同时读出图像传感器的像素的时序图在图3B中示出。
图5是示出根据本发明的实施例的使用不同曝光时间的HDR的概念的色彩过滤器阵列50的图。参考图5，色彩过滤器阵列50包括具有多个红色色彩过滤器和相应像素具有不同曝光时间的第一色彩过滤器簇501、具有多个绿色色彩过滤器和相应像素具有不同曝光时间的第二色彩过滤器簇502和具有多个蓝色色彩过滤器和相应像素具有不同曝光时间的第三色彩过滤器簇503。在一个实施例中，对应于第一色彩过滤器簇、第二色彩过滤器簇和第三色彩过滤器簇的像素可以具有第一曝光时间L和比第一曝光时间L更短的第二曝光时间S。在图5所示的示例中，在每个色彩过滤器簇中使用四个像素和两种曝光时间。但是应理解，数量为任意选择用于描述示例实施例，并且不应是限制性的。例如，像素的数量可以是任意偶整数(例如，6、8、10)，并且曝光时间的数量可以是任意整数，例如，3或4。
参考图5，与红色色彩过滤器簇相关联并且具有长曝光时间的像素用R(L)表示，并且与红色色彩过滤器簇相关联并且具有短曝光时间的像素用R(S)表示。类似地，与绿色色彩过滤器簇相关联并且具有长曝光时间的像素用G(L)表示，并且与绿色色彩过滤器簇相关联并且具有短曝光时间的像素用G(S)表示。与蓝色色彩过滤器簇相关联并且具有长曝光时间的像素用B(L)表示，并且与蓝色色彩过滤器簇相关联并且具有短曝光时间的像素用B(S)表示。
图6是示出根据本公开的实施例的用于向图5的像素提供不同曝光时间的操作的曲线图。例如，可以在以下多个阶段中读出像素：复位阶段、电子转移阶段和读出阶段。在复位阶段期间，通过复位晶体管RST将光电二极管PD充电至复位电压VDD-RST水平。在整合阶段期间，光电二极管PD暴露于光源以接收光子。光子导致电荷通过光电二极管PD泄漏，并且剩余电荷与撞击光电二极管PD的光子的数量成正比，即在整合阶段期间，源跟随器SF的栅极的电压水平将随接收光子的数量或光源强度变化而下降。通过改变读出时序(即用于激活转移晶体管TX的时序)，像素可以具有短曝光时间t2或长曝光时间t3，如图6所示。应注意，不同的曝光时间重叠。将像素的电荷总和提供至浮动扩散节点FD，并且通过激活行选择晶体管SEL而将其读出。
获得高动态范围的传统方法针对不同照明水平利用不同转换增益。例如，在明亮光状况下使用低转换增益来实现宽动态范围，但是低转换增益致使读出噪声增加。因此，在低光状况下使用高转换增益来降低读出噪声。相应地，传统方法利用不同转换增益来解决在不增加读出噪声的情况下改善动态范围的问题。例如，传统方法在高照明水平下利用低转换增益，并且在低光水平下利用高转换增益。相比较，根据本公开的实施例，根据具有多个色彩过滤器簇的拜耳过滤器阵列的图案将像素合并在一起，并且与色彩过滤器簇相关联的像素的子集合可以具有不同的曝光时间。对具有不同的曝光时间的像素的子集合进行分组的目的是实现更高的动态范围。长曝光时间可以准确地测量低光水平，电子读出噪声降低。短曝光时间可以准确地测量高照明水平，而不会使像素饱和。以这种方式，可以获得高光强度的更大动态范围线性测量。
在一个实施例中，将具有与具有相同色彩过滤器的色彩过滤器簇相关联的相同曝光时间的像素合并在一起并且进行读出，用于公共ADC测量。参考图5，将与长曝光时间相关联的像素(例如，在红色色彩过滤器簇501中对角地布置的两个像素R(L))合并在一起并且提供给公共ADC，用于获得第一数字数据。此后，将与短曝光时间相关联的像素(例如，在红色色彩过滤器簇501中对角地布置的两个像素R(S))合并在一起并且由读出电路提供给公共ADC，用于获得第二数字数据。将第一数字数据和第二数字数据存储在数据存储器中，并且相加在一起以提供平均数据，用于在显示设备上进行显示。
相应地，本公开的实施例提供了一种图像传感器。该图像传感器包括具有多个像素的像素阵列、具有覆盖在像素上的多个色彩过滤器簇的色彩过滤器阵列和被配置为将共享色彩过滤器簇并且具有相同曝光时间的像素同时提供给ADC用于数据转换的读出电路。例如，色彩过滤器阵列可以是图4和图5的四重拜尔色彩过滤器阵列。共享相同色彩过滤器簇并且具有相同曝光时间的像素可以是与色彩过滤器簇501至色彩过滤器簇503中任一者中的具有长曝光时间或短曝光时间的像素相关联的像素。
在一个实施例中，在第一时间间隔内，将相同行上的色彩过滤器簇501和色彩过滤器簇502中有第一曝光时间(长曝光时间或短曝光时间)的像素合并在一起，并且由相应的第一ADC(未示出)和第二ADC(未示出)测量色彩过滤器簇501和色彩过滤器簇502的第一合并电荷，以获得相应的第一数字数据，该第一数字数据被存储在数据存储器中。在不同于第一时间间隔的第二时间间隔内，将相同行上的色彩过滤器簇501和色彩过滤器簇502中有不同于第一曝光时间的第二曝光时间的像素合并在一起，并且分别由第一ADC和第二ADC测量色彩过滤器簇501和色彩过滤器簇502的第二合并电荷，以获得相应的第二数字数据，该第二数字数据被存储在数据存储器中。然后，可以将存储在数据存储器中的第一数字数据和第二数字数据相加在一起，其中高动态范围和读出噪声，用于显示。
应注意，图5示出一种示例性实施例。本领域普通技术人员会认识到许多变化、代替和修改。例如，示例性色彩过滤器阵列和相关联的像素布局可以具有3x2或4x2组，其中色彩过滤器簇中的两个像素的三个子集合或四个子集合可以分别具有三种不同的曝光时间或四种不同的曝光时间。
实施例2
该示例性实施例涉及正常曝光时间控制，但是由于既不需要分辨率、分辨率也不是优先项，或者传感器的某些区域具有低光使得要求较低的读取噪声，所以其中期望进行合并。在合并模式下，四个光电二极管的组合总和理想地能够在一次操作中读出。然而，大量的最大电子意味着：在像素浮动扩散或源跟随器输出处允许的电压摆动下，这可能是不可能的。这有时可以通过以下来管理：引入额外的晶体管或电路元件，以当期望合并像素读出时提供可编程的较低转换增益的选项。但是，这以以下为代价：额外的区域，而该额外的区域在小像素布局中非常重要，和当提到电子计数时，增加的电路噪声。通过一次仅读出两个像素，可以降低对双转换增益的需要，并且可以从电路噪声降低获得更多好处。例如，如果需要引入常规转换增益一半的转换增益以便读出四个完整光电二极管，与4个单独的像素读出相比较，可以获得组合像素读出的电压的因子为2的电路读取噪声降低(2＝sqrt(4))，但是由于转换增益的损失，当提到电子时没有获得好处。该实施例使用正常转换增益，一次仅合并2个像素，则可以实现电压和电子在噪声上的sqrt(2)的改善。并且，在该实施例中，由于需要对于4个完整光电二极管读出将转换增益降低2x，所以可以获得具有常规转换增益的两个完整光电二极管读出。
在一个实施例中，将与相同色彩过滤器簇相关联的像素的集合合并为多个子集合，并且然后由ADC对每个子集合的总和电荷进行读出并且进行测量。参考图2和图4，在第一时间间隔内，将与行1上的红色色彩过滤器簇401相关联的两个上部像素合并在一起，在第一浮动扩散节点中将这两个上部像素的电荷合并或相加(通过激活相应的转移晶体管)并且由读出电路通过第一读出线提供给第一ADC，如图2所示。并且，将与行1上的绿色色彩过滤器簇402相关联的两个上部像素合并在一起，在第二浮动扩散节点中将这两个上部像素的电荷相加(通过激活相应的转移晶体管)并且由读出电路通过第二读出线提供给第二ADC。此后，在第二时间间隔内，将与行1上的红色色彩过滤器簇401相关联的两个下部像素合并在一起，在第一浮动扩散节点中将这两个下部像素的电荷相加(通过激活相应的转移晶体管)并且由读出电路通过第一读出线提供给第一ADC。并且，将与行1上的绿色色彩过滤器簇402相关联的两个下部像素合并在一起，在第二浮动扩散节点中将这两个下部像素的电荷相加(通过激活相应的转移晶体管)并且由读出电路通过第二读出线提供给第二ADC。相应地，使用降低的转换增益将与相同色彩过滤器簇相关联的总数量的像素的像素信号读出两次，该降低的转换增益是同时读出与该相同色彩过滤器簇相关联的所有像素的像素信号所需的传统转换增益的一半。当然，许多代替和变化均是可能的。
例如，在另一种实施例中，参考图4，将与相同列(例如，列1)的左侧上的红色色彩过滤器簇401相关联的两个像素合并在一起，在第一浮动扩散节点中将这两个左侧像素的电荷合并(通过激活相应的转移晶体管)并且由读出电路通过第一读出线提供给第一ADC，如图2所示。并且，将与相同列(例如，列2)的左侧上的绿色色彩过滤器簇402相关联的两个像素合并在一起，在第二浮动扩散节点中将这两个左侧像素的电荷合并(通过激活相应的转移晶体管)并且由读出电路通过第二读出线提供给第二ADC。此后，在第二时间间隔内，将与列1中的红色色彩过滤器簇401相关联的两个右侧像素合并在一起，在第一浮动扩散节点中将这两个右侧像素的电荷相加(通过激活相应的转移晶体管)并且由读出电路通过第一读出线提供给第一ADC。并且，将与列1中的绿色色彩过滤器簇402相关联的两个右侧像素合并在一起，在第二浮动扩散节点中将这两个右侧像素的电荷相加(通过激活相应的转移晶体管)并且由读出电路通过第二读出线提供至第二ADC。本领域普通技术人员会认识到读出顺序的许多变化、修改和代替。
根据本公开的一些实施例，图像传感器可以包括具有多个像素的像素阵列和具有覆盖在像素阵列上的多个色彩过滤器簇的色彩过滤器阵列。每个色彩过滤器簇包括覆盖在相应数量的像素上的多个相同色彩过滤器。该图像传感器还包括读出电路，该读出电路被配置为使用常规转换增益对在色彩过滤器簇下的一半数量的像素的像素信号进行合并(求和)，并且以两次读出来读出总数量的像素，以实现电压和电子在读出噪声上的sqrt(2)的改善。
实施例3
该实施例涉及共享像素包括多种色彩但不是四重拜耳色彩图案的情况。色彩可以单独地进行混合，诸如RWRW。在这种情况下，一次读出所有红像素，或一次读出所有白像素，但是不在同一读出中混合色彩。在这种情况下，当色彩布置不支持标准方案时，可以获得合并像素读出的典型好处。
图7是示出根据本发明的实施例的具有高级色彩图案的色彩过滤器阵列70的框图。参考图7，色彩过滤器阵列70包括多个色彩过滤器R、G、B和照明过滤器W。色彩过滤器R、G、B与相应的色彩像素相关联，并且照明过滤器W与白像素相关联。如本文所用的，色彩过滤器R使红光波长(或红色分量)通过，色彩过滤器G使绿光波长(或绿色分量)通过，色彩过滤器B使蓝光波长(或蓝色分量)通过，并且照明过滤器W使可见光波长(或白光)通过。
应注意，色彩过滤器阵列70不是四重拜耳色彩过滤器阵列，四重拜耳色彩过滤器阵列具有(RGRG...)、(GBGB...)、(RGRG...)的传统色彩图案，如图4所示。在一个实施例中，色彩过滤器阵列70的过滤器以如下图案按行进行布置：(RWRWGWGW...)、(WRWRWRWGWG...)、(RWRWGWGW...)、(WRWRWRWGWG...)、(GWGWBWBW...)、(WGWGWBWB...)、(GWGWBWBW...)、(WGWGWBWB...)、(RWRWGWGW...)、(WRWRWRWGWG...)、...。
在所示的示例中，白像素与其他色彩像素R、G、B的数量比率为1:1。然而，应理解，该比率为任意选择用于描述示例实施例，并且不应是限制性的。例如，该比率可以是2:1或1:2或其他分数或百分比。
在本公开的一方面中，图像传感器包括具有多个像素的像素阵列和包括覆盖在像素阵列上的多个过滤器簇的色彩过滤器阵列。例如，色彩过滤器阵列70包括第一色彩过滤器簇701、第二色彩过滤器簇702和第三色彩过滤器簇703。每个第一色彩过滤器簇701包括第一数量的红色色彩过滤器R和第二数量的照明过滤器W。每个第二色彩过滤器簇702包括第三数量的绿色色彩过滤器G和第二数量的照明过滤器W，并且每个第三色彩过滤器组703包括第四数量的蓝色色彩过滤器B和第二数量的照明过滤器W。在一个实施例中，在相同时间间隔内，读出电路将与过滤器簇中的相同过滤器相关联的像素的像素信号同时提供至读出线，用于数据转换，但是读出电路不将与相同过滤器簇中的不同过滤器相关联的像素的像素信号同时提供至读出线。例如，读出电路在第一时间间隔内将与过滤器簇701中的红色色彩过滤器R相关联的像素的合并的像素信号提供至读出线，用于数据转换，并且在不同于第一时间间隔的第二时间间隔内将与过滤器簇701中的照明过滤器W相关联的像素的合并的像素信号提供至读出线。
在一个实施例中，每个过滤器簇具有相同数量的色彩过滤器和照明过滤器，即色彩过滤器与照明过滤器的比率为1:1。在一个实施例中，色彩过滤器和照明过滤器以棋盘图案布置。在一个实施例中，色彩过滤器包括红色色彩过滤器、绿色色彩过滤器和蓝色色彩过滤器。
图8是示出根据本发明的实施例的在具有实时HDR的图像传感器中对像素进行合并的方法80的简化流程图。方法80是参考图5描述的，图5带有具有色彩过滤器阵列的图像传感器，该色彩过滤器阵列包括具有多个色彩过滤器和相应像素具有不同曝光时间(R(L)、R(S)、G(L)、G(S)、B(L)、B(S))的多个色彩过滤器簇(501、502、503)。在框801中，将色彩过滤器簇中具有第一曝光时间的第一像素集合的第一像素信号集合合并在一起，并且提供至读出线，用于数据转换。在框803中，由模数转换器(ADC)将第一像素信号集合转换为代表第一像素信号集合的第一数字数据。在框805中，将色彩过滤器簇中具有不同于第一曝光时间的第二曝光时间的第二像素集合的第二像素信号集合合并在一起，并且提供至读出线，用于数据转换。在框807中，由ADC将第二像素信号集合转换为代表第二像素信号集合的第二数字数据。在框809中，将第一数字数据和第二数字数据相加在一起，以提供平均数据值。参考图5，在一个实施例中，将红色色彩过滤器501中的像素R(S)的第一像素信号集合合并，并且提供至连接到ADC的读出线，ADC将第一像素信号集合转换为第一数字数据。此后，将红色色彩过滤器501中的像素R(L)的第二像素信号集合合并，并且提供至连接到ADC的读出线，ADC将第二像素信号集合转换为第二数字数据。可以通过适当的算法对第一数字数据和第二数字数据进行组合，以获得复合HDR像素数据值。应注意，第一集合可以是带有长曝光时间的像素，并且第二集合可以是带有短曝光时间的像素。在一个实施例中，具有第一曝光时间的像素和具有第二曝光时间的像素在第一像素集合中对角地布置。通过对色彩过滤器簇中具有不同曝光时间的像素进行曝光，并且将色彩过滤器簇中具有相同曝光时间的像素进行合并，以及由公共ADC测量合并电荷，可以实现实时HDR。
本公开的实施例还提供了一种在图像传感器中使用正常或传统转换增益对像素进行合并以获得降低的读出噪声的方法。图9是示出根据本发明的实施例的用于获得降低的读出噪声的对像素进行合并的方法90的简化流程图。方法90包括在框901处提供包括覆盖在多个像素上的多个色彩过滤器簇的色彩过滤器阵列。色彩过滤器簇都包括多个相同色彩过滤器。参考图4，色彩过滤器阵列包括多个色彩过滤器簇(401、402、403)，每个色彩过滤器簇包括多个相同色彩过滤器。例如，色彩过滤器簇401具有4个红色色彩过滤器。方法90还包括在框903处在第一时间间隔内对色彩过滤器簇中一半数量的像素进行合并，并且将合并的一半数量的像素提供至读出线，用于数据转换，以获得代表与一半数量的像素相关联的像素信号的第一数字数据。方法90还包括在框905中在不同于第一时间间隔的第二时间间隔内，对色彩过滤器簇中的剩余一半数量的像素进行合并，并且将合并的剩余一半数量的像素提供至读出线，用于数据转换，以获得代表与色彩过滤器簇中的剩余一半数量的像素相关联的像素信号的第二数字数据。可以对色彩过滤器簇中的一半数量的像素进行水平合并或竖向合并。在框907中，对第一数字数据和第二数字数据进行组合，以获得与色彩过滤器簇的像素相关联的数字数据。通过对一半数量的像素进行合并用于数据转换，并且使用传统转换增益执行两次读出，实现了降低读出噪声。
图10是示出根据本发明的实施例的在具有带有非拜耳色彩图案的色彩过滤器阵列的图像传感器中对像素进行合并的方法100的简化流程图。方法100包括在框1001中提供具有多个像素的像素阵列，并且在框1003中提供具有覆盖在像素阵列上的多个过滤器簇的色彩过滤器阵列。过滤器簇都包括覆盖在相应第一数量的像素上的第一数量的第一过滤器和覆盖在相应第二数量的像素上的第二数量的第二过滤器。在框1005中，方法100包括在相同时间间隔内对过滤器簇中的第一数量的像素的像素信号或第二数量的像素的像素信号进行合并，但不在该相同时间间隔内对过滤器簇中的第一数量的像素的像素信号和第二数量的像素的像素信号进行合并。在框1007中，方法100还包括对在框1005中尚未进行合并的第一数量的像素的像素信号或第二数量的像素的像素信号进行合并，用于读出。在一个实施例中，色彩过滤器阵列可以是图7所示的色彩过滤器阵列，过滤器簇可以是簇701、702和703中的一者，第一过滤器可以是红色色彩过滤器、绿色色彩过滤器或蓝色色彩过滤器，并且第二过滤器可以是使白光通过的照明过滤器。
应理解，所附权利要求不限于附图中所示的精确配置。本领域普通技术人员会认识到，在不脱离本发明的范围的情况下，可以对上述方法和设备的布置和步骤做出各种修改、代替和变化。

Claims (9)

1.一种图像传感器，包括：
像素阵列，包括多个像素；
色彩过滤器阵列，包括设置在所述像素阵列上的多个色彩过滤器簇，每个色彩过滤器簇包括一组相同色彩过滤器，其中共享公共色彩过滤器簇的像素包括具有第二曝光时间的像素和至少两个具有第一曝光时间的像素，所述第一曝光时间不同于所述第二曝光时间，并且，共享所述公共色彩过滤器簇的像素具有相同的复位时间点，其中所述复位时间点是在复位阶段对像素进行复位的时间点；和
读出电路，被配置为将共享所述公共色彩过滤器簇的所述至少两个具有第一曝光时间的像素同时提供至读出线，用于数字数据转换。
2.根据权利要求1所述的图像传感器，其中，所述色彩过滤器簇都包括以正方形布置的四个相同色彩过滤器。
3.根据权利要求1所述的图像传感器，其中，所述色彩过滤器阵列包括50％的绿色色彩过滤器簇、25％的红色色彩过滤器簇和25％的蓝色色彩过滤器簇。
4.根据权利要求1所述的图像传感器，其中，相对于水平方向或竖向方向对角地设置的像素具有相同的曝光时间。
5.根据权利要求1所述的图像传感器，还包括耦接至所述读出电路的多个模数转换器ADC，每个所述ADC被配置为将共享所述公共色彩过滤器簇的所述至少两个具有第一曝光时间的像素的像素信号转换为第一数字数据，并且顺序地将共享所述公共色彩过滤器簇的所述具有第二曝光时间的像素的像素信号转换为第二数字数据。
6.根据权利要求5所述的图像传感器，还包括数据存储器，被配置为存储所述第一数字数据和所述第二数字数据。
7.根据权利要求1所述的图像传感器，其中，所述不同的曝光时间重叠。
8.一种用于在图像传感器中对像素进行合并的方法，所述方法包括：
由读出电路将色彩过滤器簇中具有第一曝光时间的第一像素集合的第一像素信号集合同时提供至读出线，其中，所述第一像素集合包括至少两个像素；
将所述第一像素信号集合转换为第一数字数据；
由所述读出电路将所述色彩过滤器簇中具有第二曝光时间的第二像素集合的第二像素信号集合提供至所述读出线，所述第二曝光时间不同于所述第一曝光时间，且所述色彩过滤器簇的像素具有相同的复位时间点，其中所述复位时间点是在复位阶段对像素进行复位的时间点；
将所述第二像素信号集合转换为第二数字数据；以及
通过合适的算法对所述第一数字数据和所述第二数字数据进行组合，以获得单个复合高动态范围HDR数字值。
9.根据权利要求8所述的方法，其中，转换所述第一像素信号集合和所述第二像素信号集合由相同的模数转换器顺序地执行。
CN202110707821.9A 2020-06-28 2021-06-24 图像传感器和用于在图像传感器中对像素进行合并的方法 Active CN113411525B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/914,369 US11381789B2 (en) 2020-06-28 2020-06-28 Partial pixel binning for CIS
US16/914,369 2020-06-28

Publications (2)

Publication Number Publication Date
CN113411525A CN113411525A (zh) 2021-09-17
CN113411525B true CN113411525B (zh) 2023-04-18

Family

ID=77683113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110707821.9A Active CN113411525B (zh) 2020-06-28 2021-06-24 图像传感器和用于在图像传感器中对像素进行合并的方法

Country Status (2)

Country Link
US (1) US11381789B2 (zh)
CN (1) CN113411525B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220165407A (ko) * 2021-06-08 2022-12-15 삼성전자주식회사 이미지 장치, 이미지 센서, 및 이미지 센서의 동작 방법
CN118368538A (zh) * 2023-01-19 2024-07-19 华为技术有限公司 一种图像传感器、成像方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350890A (zh) * 2007-08-31 2009-01-21 豪威科技有限公司 在向下采样模式中具有高动态范围的图像传感器
US10334189B1 (en) * 2018-06-06 2019-06-25 Smartsens Technology (Cayman) Co., Ltd. HDR pixel array with double diagonal binning

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
US9040892B2 (en) 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels
US10362255B2 (en) 2017-02-09 2019-07-23 Semiconductor Components Industries, Llc Multi-conversion gain pixel configurations
US11075234B2 (en) * 2018-04-02 2021-07-27 Microsoft Technology Licensing, Llc Multiplexed exposure sensor for HDR imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350890A (zh) * 2007-08-31 2009-01-21 豪威科技有限公司 在向下采样模式中具有高动态范围的图像传感器
US10334189B1 (en) * 2018-06-06 2019-06-25 Smartsens Technology (Cayman) Co., Ltd. HDR pixel array with double diagonal binning

Also Published As

Publication number Publication date
US11381789B2 (en) 2022-07-05
US20210409659A1 (en) 2021-12-30
CN113411525A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
US11082655B2 (en) Solid state imaging device, method of controlling solid state imaging device, and program for controlling solid state imaging device
US7859581B2 (en) Image sensor with charge binning and dual channel readout
US8427551B2 (en) Solid-state imaging device, imaging apparatus, and ad conversion gain adjusting method
US7193258B2 (en) Image pickup element performing image detection of high resolution and high image quality and image pickup apparatus including the same
JP6239975B2 (ja) 固体撮像装置及びそれを用いた撮像システム
US20160323494A1 (en) Image sensor, imaging apparatus, electronic device, and imaging method
CN113411525B (zh) 图像传感器和用于在图像传感器中对像素进行合并的方法
KR20050075375A (ko) 고체촬상장치
US8462241B2 (en) Image sensing apparatus and image capturing system
US7760959B2 (en) Imaging apparatus and imaging system
US11350047B2 (en) Pixel binning for hexa-deca RGBW color filter arrays
JP2014175832A (ja) 固体撮像装置
JP2004007471A (ja) 固体撮像素子及びこれを用いた固体撮像装置
JP2011259485A (ja) 固体撮像装置、撮像装置、ａｄ変換ゲイン調整方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant