CN111466030A - 强度标准化的图像传感器 - Google Patents

强度标准化的图像传感器 Download PDF

Info

Publication number
CN111466030A
CN111466030A CN201880082262.3A CN201880082262A CN111466030A CN 111466030 A CN111466030 A CN 111466030A CN 201880082262 A CN201880082262 A CN 201880082262A CN 111466030 A CN111466030 A CN 111466030A
Authority
CN
China
Prior art keywords
pixel
signal
image sensor
band pass
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880082262.3A
Other languages
English (en)
Other versions
CN111466030B (zh
Inventor
K·沃伊切霍夫斯基
P·拉耶瓦迪
B·贝鲁兹普尔
K·J·巴克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN111466030A publication Critical patent/CN111466030A/zh
Application granted granted Critical
Publication of CN111466030B publication Critical patent/CN111466030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14685—Process for coatings or optical elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

图像传感器被提供有多行和多列像素，像素包括以预定图案的RGB和带通I滤波器，即在每一列中，图案“RIG”和“BIG”沿着该列交替。两个图案的预定义序列在相邻列之间偏移，使得没有特定类型的RGBI滤波器与相同类型的滤波器相邻。图像传感器的每个像素包括光电二极管（PDR、PDI、PDG）、传递门（TGR、TGI、TGG）和浮置扩散部（CFDR、CFDI、CFDG）。用于图案（RIG和BIG）中所有像素的传递门由同一信号控制，该信号可以是单独的同步控制信号（C）或带通滤波器I在内部生成的异步信号（S）。基于预定义的积分时段来控制单独的同步信号，而将内部生成的异步信号与指示滤波器I处的预定强度的预定义电压电平进行比较（CP）。在任一信号的激活时，用于像素的积分时段结束，并且使用比率数字转换器相对于带通像素I来数字化对于R、G和B像素的在浮置扩散部上的电荷。可选地，对于带通像素I的在浮置扩散部上的电荷也可以被数字化，以提供有关传感器检测到的光信号的附加信息。

Description

强度标准化的图像传感器
优先权要求
本申请是来自于2017年12月21日提交的共同待决的美国临时申请No.62/608759的发明申请提交，并要求该临时申请的优先权，该临时申请全部公开内容通过引用结合于本文中。
背景技术
图像传感器的设计中的挑战之一是要求传感器处置的大动态范围。例如，在黑暗环境中的光强度与在明亮阳光下的光强度对比相差八个数量级。这种变化转化为恒定积分时间情况下的基于光电二极管的像素中所收集电荷量的160 dB动态范围。当必须通过并行操作的数百万个像素来支持该大动态范围时，问题就变得突出。能够处置此动态范围的精密电子电路必定每像素都具有大的片上占位面积，这消除了这种电路在图像传感器的设计中作为可行选项。
近年来开发的用以增加图像传感器的有效动态范围的技术之一是要每次图像捕获使用多个（例如，两个）积分时间。通过将积分间隔的持续时间选择为不同数量级（例如，100 μs vs. 10 ms），可以人为地增加成像设备的有效动态范围。然而，以不同的时间间隔捕获具有不同亮度的像素可能引起有害的次要效果，诸如在对动态场景进行成像时出现运动模糊。在图像传感器领域中需要解决动态范围问题而又没有这些次要的倒退。
图1示出了常规的RGB CMOS图像传感器的结构及其像素架构。芯片区域由所谓的拜耳滤色器图案化，该滤色器在授予拜耳的题为“Color Imaging Array”的美国专利No.3,971,065中进行了描述，其全部公开内容通过引用结合于本文中。如'065专利中所述，在芯片的每一行中，每隔一个像素就被绿色滤光器覆盖，并且其余像素对于不同的行在红色和蓝色滤光器之间交替。在每个镶嵌图的下面，都有一个小的电子电路，其由用以将光转换为电荷的感光部分和用于读出的晶体管组成。这种电子电路的一个示例在E. R. Fossum的“CMOS image sensors: electronic camera-on-a-chip”（IEEE Transactions on Electron Devices，第1689-1698页，1997年）中公开，其全部内容通过引用结合于本文中。当将传递门MTG设置为打开状态（即，没有来自光电二极管PD的电荷传递）时，每个转换周期开始。此时，光电二极管开始累积光生电荷，或者换句话说，将光电流积分在结电容器上。当将MTG设置为关闭状态时，累积的电荷传递到浮置扩散部（FD）CFD。将MTG设置回打开状态标记积分时段的结束。因此，这种情况下的总积分时间是在传递门MTG打开时的两个实例之间的时间间隔。然后，由FD CFD中的电荷引起的电压被源极跟随器M3缓冲，并且通过列总线读出。然后将电压转换为数字代码以表示该特定像素。每次读出之后，浮置扩散部CFD都会重置，并且准备进行下一次测量。对于每个像素都发生类似的过程。电路的部分可以在像素当中共享，以减少电路所需的片上面积，并且改进光电二极管的填充因子。例如，通常为一个列中的像素共享模数转换器（ADC）块（图1中未示出）。
虽然此架构在正常照明条件下工作，但它不能够提供必要的动态范围来在低光条件下（诸如，在夜间）或在明亮的日光下捕获图像。在这种架构的固定积分时间的情况下，光的亮度转化为光电流量值，并因此转化为恒定时间窗口中的累积电荷量。为了解决这个问题，可以使用多个积分时段来累积电荷，并然后可以对具有最合适电荷水平的时段的结果进行量化。这可以通过向传递门MTG施加适当的定时信号来实现，该定时信号可以根据期望标记积分时段的开始和停止点。例如，在双积分时间的情况下，光电二极管PD可以在读出之前10 ms重置一次，并且在读出之前100 μs重置一次，如美国专利No.6,115,065中所述，其全部内容通过引用结合于本文中。在相同的光强度下，这两个时间窗口中的累积电荷量将相差100倍。在10 ms积分之后将饱和的亮像素可能在积分100 μs时没有饱和，并且在积分100 μs时将被掩埋在噪声中的暗像素将在积分10 ms时具有较大的值。这可以将前端以及ADC的动态范围要求放松40 dB。
尽管这是重要的改进，但确实伴随一些问题和局限。首先，为了捕获完整的帧，所有像素应该发挥两次作用，并且基于每个像素处的光强度，挑选来自第一或第二窗口的累积电荷作为其输出。因此，在移动对象的情况下，这可能会导致图像模糊，因为可能会基于其位置中的光强度在不同的时刻捕获不同的像素。第二，光强度可以变化8个数量级或160dB，即使使用多积分时间技术放松了几十dB时，这也不可容易实现。从理论上讲，可以使用具有更大差异的积分窗口，或甚至使用更多个积分窗口来进一步放松动态范围，但这一切都将会以额外的模糊和其他可能使图像质量降级的伪像为代价。
发明内容
在本公开的一个方面，一种图像传感器被提供有多行和多列像素。每个像素包括：对应的滤波器，该滤波器包括以预定图案的RGB滤波器。此外，某些像素的对应滤波器包括全通或强度滤光器（I），通过该全通或强度滤光器（I），可以探明由像素接收到的光信号的强度。在一个方面，以预定义的序列提供用于像素的滤波器，即，在每一列中，图案“RIG”（用于红色、全通和绿色滤波器）和“BIG”（用于蓝色、全通和绿色滤波器）沿着该列交替。两个图案的预定义序列在相邻列之间偏移，使得没有特定类型的RGBI滤波器与相同类型的滤波器相邻。
在本公开的另一个特征中，图像传感器的每个像素包括光电二极管、传递门和浮置扩散部。用于图案（RIG或BIG）中所有像素的传递门由同一信号控制，该信号可以是单独的同步控制信号，或者是由全通滤波器I在内部生成的异步信号。基于预定义的积分时段来控制单独的同步信号，而将内部生成的异步信号与指示滤波器I处的预定强度的预定义电压电平进行比较。在任一信号的激活时，用于像素的积分时段结束，并且使用比率数字转换器相对于强度像素I来数字化对于R、G和B像素的在浮置扩散部上的电荷。可选地，对于强度像素I的在浮置扩散部上的电荷也可以被数字化，以提供有关传感器检测到的光信号的附加信息。
附图说明
图1是现有技术的CMOS图像传感器结构和像素架构的示意图。
图2a是根据本公开的一个方面的像素架构的示图。
图2b是根据本公开的一个方面的CMOS图像传感器和像素架构的示意图。
具体实施方式
出于促进对本公开的原理的理解的目的，现在将参照在附图中图示且在以下书面说明书中描述的实施例。要理解的是，并不由此意图有对本公开的范围的限制。要进一步理解的是，本公开包括对所说明的实施例的任何变更和修改，并且包括如本公开所属领域的技术人员通常将会想到的、本文中所公开的原理的进一步应用。
本公开提供了用以解决上面讨论的现有技术图像传感器的问题的不同方法。在大多数情况下，在有亮像素时，知道像素的精确亮度不一定有用。代替地，将其标识为亮像素并测量到达该像素的光的RGB含量是有用的。特别地，本文中所述的传感器和方法确定光的R、G和B含量之间的比率。本文中所述的图像传感器通过基于那些像素中的累积电荷水平来约束亮像素的总积分时间来解决动态范围问题。利用这种方法，前端电子设备和数据转换器的动态范围不需要大，但是仍然可以从场景中捕获所有必要的信息。
在图2a、2b中示出了根据本公开的具有对应像素架构的示例性图像传感器。除了传统的RGB滤波器之外，此架构中的某些像素还被带通滤光器覆盖（或留空），用“I”标示，其代表强度（Intensity）。校准对于这些强度像素I的带通滤光器的带宽，以使得强度像素将始终比其他（RGB）像素接收更多光子，并累积更多电荷，因为强度像素比其他像素对较大的光谱敏感。选择图2a中所示的像素的布置，以使得当查看每一列时，图案“RIG”和“BIG”是交替的或每列前进一个像素。换句话说，以预定义的序列提供用于像素的滤波器，即，在每一列中，图案“RIG”（用于红色、强度和绿色滤波器）和“BIG”（用于蓝色强度和绿色滤波器）沿着该列交替。这两个图案的预定义序列在相邻的列之间偏移，使得没有特定类型的RGBI滤波器与相同类型的RGBI滤波器相邻。利用这种预定义的图案序列，绿色G和强度I像素的密度是阵列中的红色R和蓝色B像素的两倍。额外的绿色像素在人眼最敏感的绿色光谱中提供更好的空间分辨率。带有全通滤光器的强度像素的额外密度允许在整个成像器中收集更多光子，从而改进其低光灵敏度。给定的滤波器分布图案为所有滤波器类型提供均匀的密度，并且在后置处理步骤中使得能够实现更简单且更可靠的插值算法。
用于这三个像素段中的每一个段的电路图是相似的。作为示例在图2b中示出了“RIG”段的电路示意图。该段中的每个像素包括光电二极管PDX、传递门TGX和浮置扩散部CFD，X，其中“x”在本示例中对应于R、I或G，或者对于“BIG”三像素段对应于B、I和G。所有像素的传递门TGR、TGI、TGQ由相同的信号控制，该信号可以在“或”门G处激活，该激活通过同步控制信号“C”或通过比较器CP处本地生成的异步信号“S”进行。可以按图像传感器系统为控制信号“C”计时。
在测量时间开始时，所有像素都通过激活其对应的传递门TGR、TGI、TGQ来重置。然后，积分开始并且继续进行，直到在两个条件之一发生时再次激活传递门为止。在第一条件下，像素“I”饱和到预定义电平“v 0”，从而在比较器CP处生成本地标志或异步信号“S”。在第二条件下，如果像素“I”的强度不足够高以导致饱和，则积分持续进行，直到预定义积分时段结束为止，这时门G处的同步控制信号“C”停止积分。一旦积分停止，相应地在像素“R”和“G”的浮置扩散部CFD,R、CFD,G上的电荷分别通过比率数字转换器（RDC）RDC关于“I”像素中的电荷而被数字化。换句话说，代替使用外部参考电荷或电压用于模数转换，来自“I”像素的电荷可以被用作本地参考。特别地，“R”和“G”电荷与强度像素“I”的电荷的比率被提供为作为“R”和“G”值传到图像传感器的总线的数字值。如上所指出的，从图2b的电路输出的信号R和G不是红色和绿色这两种颜色的绝对强度值。代替地，借助于使用RDC用于数字转换，这些值是相对值或比率。接收这些输出R和G（以及来自其他传感器图案的输出B和G）的成像设备可以被配置成并可操作以使用这些颜色强度比率来生成彩色图像。每次转换之后，将用于来自先前测量的每个像素的浮置扩散部中的电荷重置为零，并且开始另一个积分周期，直到像素“I”中的电压饱和并且升高本地标志或全局异步信号“S”停止该积分，使得另一个数字化周期接着进行为止。
一般而言，RDC可以被视为模数转换器（ADC），其中用于转换的参考信号不是外部提供的，而是本地生成的。图像传感器中使用的RDC的细节在“Towards Always-On MobileObject Detection: Energy vs. Performance Tradeoffs for Embedded HOG FeatureExtraction”（斯坦福大学的A. Omid-Zohoor，在http://web.stanford.edu/group/murmann_group/cgi-bin/mediawiki/index.php/Alex_Omid-Zohoor可在线获得）中公开，其全部公开内容通过引用结合于本文中。在Rashid等人的“A Ratio-to-DigitalConverter (RDC) with Time-Resolution Doubler for a Position Sensing System”（KEK Proceedings 93-8（1993年6月），Radiation Detectors and Their Uses，第60-65页）中有RDC的结构和操作原理的进一步细节，其全部公开内容通过引用结合于本文中；以及在Matoba等人的“Realization of the concept of the ratio-to-digital converter(RDC)”（Nuclear Instr. and Methods in Physics Res, 第224卷，第1期（1984年），第173-180页）中有RDC的结构和操作原理的进一步细节，其全部公开内容通过引用结合于本文中。
可以使用单独的模数转换器ADC将来自像素“I”的电荷可选地数字化。如果最终应用没有使用强度信息而是代替地仅使用颜色数据，则可能没必要在所有图像传感器中都对来自“I”像素的电荷进行数字化。在某些情况下，还可以记录被用来停止积分时间（电荷饱和或达到最大时间）的机制，以将像素加标签为“亮”或“正常”。特别地，异步控制信号“S”可以被用作强度像素“I”为亮的标志。这可以为被用于对象或事件识别或其他图像和视频处理任务的图像或视频处理软件给予额外的信息。
上面关于图2b描述的架构的特定实现方式可以取决于技术。在常规的平面电路技术中，通常优选将数字化电路保持在像素区域外面以使填充因子最大化。在这些类型的成像器中，在相邻像素当中或来自整列的像素当中共享数据转换器和其他具有大占位面积的精密电路。在背面照明或3D集成可用的更先进的技术中，可以在检测器区域的下方放置更多电路，这可以通过对像素内信息的本地（预）处理来帮助改进性能。这些技术对于本公开中设想的图像传感器特别有用，因为比率数字转换器RDC可以具有与逐次求近寄存器（SAR）转换器一样简单的架构，该架构易于适应先进技术节点中的像素区域。用于强度像素的ADC也可以在本地实现（因为每三个像素只需要一个ADC），或者可以类似于传统成像器，在一个列的像素当中共享它。
本文中公开的图像传感器的其他实现方式可以包括像素段的不同布置和不同的电路架构。例如，RDC块可以在“R”与“G”像素之间（或者对于BIG段为在“B”与“G”之间）被时分多路复用，以减小所需电路面积。也可以使用像素滤波器的其他组合，诸如RGI或R I。在另外的替代方案中，可以在模拟域中将R、G和B输出加和，以创建被用来将输出（R、G和B）标准化的复合“I”。
利用本公开的特定实现方式，有必要直接访问“I”区中的光电检测器，以将其累积电荷与参考饱和水平进行动态比较。考虑到具有钉扎光电二极管的成像器的制造过程，这可能会给设计添加一些复杂化。解决这些复杂化的一个实施例是修改生成信号“S”的方式。在一个特定实施例中，控制信号“C”以小的时间步长（例如，100 μs）继续传递来自光电二极管的电荷。然后，比较器可以连接到“I”像素的浮置扩散部CFD,I，以确定在这些步骤中的任何一个步骤处，所传递的电荷是否超过预定义的饱和极限，在超过的情况下，积分和电荷传递过程停止。只要“I”像素的所传递的电荷在饱和极限之内，积分和传递步骤就会继续进行，直到总积分时间达到预定义极限（例如，10 ms）为止。该技术的另一个优点是，对于亮像素而言，达到预定义的饱和极限所花费的短累积时段数可以被用作其强度的度量。例如，以2x100 μs达到饱和极限的亮像素的亮度是以10x100 μs达到此极限的像素的亮度的5倍。
在另外的实施例中，代替在滤波器图案中包括“I”全通滤光器，类似于常规成像器的“RGB”图案的“G”滤波器的输出可以被用作将“R”和“B”段的输出进行数字化的参考。要理解的是，在“G”段中收集的电荷量可以不必大于“R”和“B”段，这可能导致测量精度降低。然而，该实施例可以非常适合于供常规CMOS成像器技术使用，并因此对于成本至关重要的应用而言，它可以是有吸引力的。
本公开在特性方面应该被认为是说明性的而非限制性的。要理解的是，仅呈现了某些实施例，并且期望保护落入本公开的精神之内的所有改变、修改和进一步的应用。
例如，在所说明的实施例中，连同具有全通滤波器或光电检测器的像素I提供了具有红色、绿色和蓝色滤波器或光电检测器的像素的预定图案，该全通滤波器或光电检测器控制积分周期的持续时间，和/或为RDC提供内部参考信号。替换地，可以将具有特定N波长滤波器的一个或多个像素与具有比一个或多个其他像素更宽的波段滤波器的“控制”像素I一起提供。校准“控制”像素I的波段，以确保“控制”像素从特定场景收集的光子比一个或多个其他像素中的任何一个更多，因此确保了用于“控制”像素I的传递门TGI收集的电荷多于用于其他像素的传递门。其他非“控制”像素可以具有波段滤波器，而不是具有以离散波长的滤波器，前提是非“控制”像素的光谱小于“控制”像素I所检测的光谱。
要进一步理解的是，尽管本文中描述的示例涉及针对滤波器的可见光谱，但是滤波器可以被校准为包括红外光和紫外光的全部光谱。因此，在某些应用中，全部的像素和滤波器都可以被配置成检测红外或紫外波段中的波长。无论如何，用于强度像素I的滤波器必须与其他像素处于相同的光谱内（即，全部处于可见光内、全部处于IR内或全部处于UV内），并且强度像素必须被配置成比任何其他滤波器接收更多光能。如上面讨论的，这可以通过为强度像素滤波器提供比其他滤波器更宽的带宽来实现。

Claims (23)

1.一种图像传感器，包括：
多行和多列像素，每个像素包括对应滤波器，所述对应滤波器被适配成响应于检测到入射在所述像素上的红色、绿色、蓝色或可见光频带中的一个来生成信号，所述像素包括红色（R）、绿色（G）、蓝色（B）和带通（I）滤波器，所述带通（I）滤波器可在已校准的频带下工作，以使得相关联的像素将比与红色、绿色或蓝色滤波器相关联的像素接受更多的光，所述像素以预定义的序列布置，使得在每一列中，图案RIG（用于红色、带通和绿色滤波器）和图案BIG（用于蓝色、带通和绿色滤波器）沿着给定的列交替，并且使得RIG和BIG图案的预定义序列在相邻列之间偏移，从而没有特定类型的R、G、B和I滤波器与相同类型的滤波器相邻；以及
电路，以用于检测由每个像素的对应滤波器生成的信号，并且生成用于进一步视频处理的数字输出信号。
2.根据权利要求1所述的图像传感器，其中：
所述对应滤波器是响应于R、G、B或可见光频带的光电二极管；以及
所述电路包括与RIG图案和BIG图案的每个光电二极管相对应的传递门和浮置扩散部，所述电路被配置和适配成将在积分时段期间从图案中的每个光电二极管接收到的信号积分为在对应浮置扩散部中累积的电荷，传递门响应于控制信号以准许或阻止来自每个光电二极管的信号传到对应浮置扩散部。
3.根据权利要求2所述的图像传感器，其中，所述控制信号是以预定间隔提供的外部生成的同步控制信号，以产生预定义的积分时段。
4.根据权利要求2所述的图像传感器，其中，所述控制信号是由带通滤波器（I）针对图案中的对应像素生成的异步信号。
5.根据权利要求4所述的图像传感器，其中，所述电路包括比较器，所述比较器将由带通滤波器（I）生成的异步信号与指示在滤波器（I）处的预定强度的预定义电压电平进行比较，比较器基于所述比较来生成控制信号。
6.根据权利要求5所述的图像传感器，其中，由带通滤波器（I）生成的异步信号是与带通滤波器（I）相关联的传递门的累积电荷。
7.根据权利要求2所述的图像传感器，其中，使用比率数字转换器、相对于带通像素（I）对针对所有RIG图案的每一个（R）和（G）像素以及所有RIG图案的每一个（B）和（G）像素在浮置扩散部上的累积电荷进行数字化，以产生与（R）、（B）和（G）像素的相对强度相对应的数字化信号，所述数字化信号被组合以形成用于进一步视频处理的数字输出信号。
8.根据权利要求7所述的图像传感器，其中，针对RIG图案和BIG图案中的每一个在用于带通像素（I）的浮置扩散部上的累积电荷被数字化，以提供与在所述带通像素处接收到的光的强度相对应的数字化信号，以与来自（R）、（G）和（B）像素的数字化信号组合，从而形成用于进一步视频处理的数字输出信号。
9.根据权利要求8所述的图像传感器，其中，用于带通像素（I）的浮置扩散部上的累积电荷被模数转换器数字化。
10.根据权利要求1所述的图像传感器，其中，用于带通像素（I）的带通滤波器被配置成使所有可见光频率通过。
11.一种图像传感器，包括：
至少一个像素，其包括对应的光电二极管，所述光电二极管被适配成响应于检测到入射在所述像素上的光的预定频率来生成信号；
至少一个带通像素，其与所述至少一个像素不同，并且包括对应的带通光电二极管，所述带通光电二极管被适配成响应于检测到入射在所述控制像素上的光的预定频带来生成信号，所述频带被校准以使得控制像素将接受比所述至少一个像素中的每个像素更多的光；以及
电路，以用于检测由所述至少一个像素和所述至少一个带通像素的每个对应的光电二极管生成的信号，并且以用于生成用于进一步视频处理的数字输出信号，所述电路包括与所述至少一个像素和所述至少一个带通像素的每个光电二极管相对应的传递门和浮置扩散部，所述电路被配置并适配成将在积分时段期间从每个光电二极管接收到的信号积分为在对应的浮置扩散部中累积的电荷，传递门响应于控制信号以准许或阻止来自每个光电二极管的信号传到对应的浮置扩散部。
12.根据权利要求11所述的图像传感器，其中，所述控制信号是以预定间隔提供的外部生成的同步控制信号，以产生预定义的积分时段。
13.根据权利要求11所述的图像传感器，其中，所述控制信号是由与所述至少一个像素中一个或多个像素的光电二极管相对应的至少一个带通像素之一的带通光电二极管生成的异步信号。
14.根据权利要求13所述的图像传感器，其中，所述电路包括比较器，所述比较器将由至少一个带通像素之一的带通光电二极管生成的异步信号与指示在至少一个带通像素所述之一的带通光电二极管处的预定强度的预定义电压电平进行比较，比较器基于所述比较来生成控制信号。
15.根据权利要求14所述的图像传感器，其中，由至少一个带通像素所述之一的带通光电二极管生成的异步信号是与至少一个带通像素所述之一的带通光电二极管相关联的传递门的累积电荷。
16.根据权利要求11所述的图像传感器，其中，使用比率数字转换器、相对于至少一个带通像素之一对针对所述至少一个像素中的一个或多个像素在浮置扩散部上的累积电荷进行数字化，以产生与所述至少一个像素中的一个或多个像素的相对强度相对应的数字化信号，所述至少一个像素中的所述一个或多个像素中每个像素的所述数字化信号被组合以形成用于进一步视频处理的数字输出信号。
17.根据权利要求16所述的图像传感器，其中，针对至少一个带通像素所述之一在浮置扩散部上的累积电荷被数字化，以提供与在至少一个带通像素所述之一处接收到的光的强度相对应的数字化信号，以与所述至少一个像素中的所述一个或多个像素中每一个的数字化信号组合，从而形成用于进一步视频处理的数字输出信号。
18.根据权利要求17所述的图像传感器，其中，针对至少一个带通像素所述之一在浮置扩散部上的累积电荷被模数转换器数字化。
19.根据权利要求11所述的图像传感器，其中，用于至少一个像素的光电二极管和带通光电二极管都被配置成检测相同可见光谱、红外光谱或紫外光谱中的光。
20.一种图像传感器，包括：
至少一个像素，其包括对应的滤波器，所述滤波器被适配成响应于检测到入射在所述像素上的光的预定频率来生成信号；
至少一个带通像素，其与所述至少一个像素不同，并且包括对应的带通滤波器，所述带通滤波器被适配成响应于检测到入射在所述控制像素上的光的预定频带来生成信号，所述频带被校准以使得至少一个带通像素将接受比所述至少一个像素中的每个像素更多的光；以及
电路，以用于检测由至少一个像素中每个像素和至少一个带通像素中每个带通像素的对应的滤波器生成的信号，并且以用于生成用于进一步视频处理的数字输出信号，其中，使用比率数字转换器、相对于由至少一个带通像素中对应一个带通像素生成的信号对由所述至少一个像素中至少一个像素生成的信号进行数字化，以产生与所述至少一个像素中至少一个像素的相对强度相对应的数字化信号，针对所述至少一个像素中至少一个像素中的每个像素的所述数字化信号被组合以形成用于进一步视频处理的数字输出信号。
21.根据权利要求20所述的图像传感器，其中，针对至少一个带通像素中对应一个带通像素的信号被模数转换器数字化，并且与针对所述至少一个像素中至少一个像素中的每个像素的所述数字化信号组合，从而形成用于进一步处理的数字输出信号。
22.根据权利要求20所述的图像传感器，其中，所述至少一个像素包括多行和多列像素，每个像素包括对应的滤波器，所述滤波器被适配成响应于检测到入射在所述像素上的红（R）光、绿（G）光或蓝（B）光来生成信号，所述多个像素以预定义的序列被布置有多个带通像素，使得在每一列中，图案RIG（用于红色、带通和绿色像素）和图案BIG（用于蓝色、带通和绿色像素）沿着给定的列交替。
23.根据权利要求20所述的图像传感器，其中，所述至少一个像素包括多行和多列像素，每个像素包括对应的滤波器，所述滤波器被适配成响应于检测到相同的可见、红外或紫外光谱中的光来生成信号。
CN201880082262.3A 2017-12-21 2018-12-07 强度标准化的图像传感器 Active CN111466030B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762608759P 2017-12-21 2017-12-21
US62/608,759 2017-12-21
PCT/EP2018/083992 WO2019121070A1 (en) 2017-12-21 2018-12-07 Intensity-normalized image sensor

Publications (2)

Publication Number Publication Date
CN111466030A true CN111466030A (zh) 2020-07-28
CN111466030B CN111466030B (zh) 2024-02-06

Family

ID=64870410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880082262.3A Active CN111466030B (zh) 2017-12-21 2018-12-07 强度标准化的图像传感器

Country Status (4)

Country Link
US (1) US11616922B2 (zh)
CN (1) CN111466030B (zh)
DE (1) DE112018005773B4 (zh)
WO (1) WO2019121070A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114727041A (zh) * 2021-01-05 2022-07-08 脸谱科技有限责任公司 利用彩色网格阵列的图像子采样

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366674B1 (en) * 2016-12-27 2019-07-30 Facebook Technologies, Llc Display calibration in electronic displays
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
US12075175B1 (en) 2020-09-08 2024-08-27 Meta Platforms Technologies, Llc Programmable smart sensor with adaptive readout
JP2022047685A (ja) * 2020-09-14 2022-03-25 日亜化学工業株式会社 発光装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
US20140009647A1 (en) * 2012-07-06 2014-01-09 Fujifilm Corporation Color imaging element and imaging apparatus
US9741761B2 (en) * 2010-04-21 2017-08-22 Sionyx, Llc Photosensitive imaging devices and associated methods

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
AU1159397A (en) 1995-11-07 1997-05-29 California Institute Of Technology An image sensor with high dynamic range linear output
CN104081528B (zh) 2012-01-10 2017-03-01 软动力学传感器公司 多光谱传感器
JP6333523B2 (ja) 2013-06-12 2018-05-30 ソニーセミコンダクタソリューションズ株式会社 表示装置
US9912896B2 (en) 2015-10-07 2018-03-06 Sony Semiconductor Solutions Corporation Latch based parallel-to-serial readout circuitry and image sensor utilizing the circuitry

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
US9741761B2 (en) * 2010-04-21 2017-08-22 Sionyx, Llc Photosensitive imaging devices and associated methods
US20140009647A1 (en) * 2012-07-06 2014-01-09 Fujifilm Corporation Color imaging element and imaging apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114727041A (zh) * 2021-01-05 2022-07-08 脸谱科技有限责任公司 利用彩色网格阵列的图像子采样

Also Published As

Publication number Publication date
CN111466030B (zh) 2024-02-06
US20210075982A1 (en) 2021-03-11
DE112018005773T5 (de) 2020-07-30
US11616922B2 (en) 2023-03-28
DE112018005773B4 (de) 2024-08-14
WO2019121070A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
CN111466030B (zh) 强度标准化的图像传感器
EP2832090B1 (en) Cmos image sensors implementing full frame digital correlated double sampling with global shutter
US10594973B2 (en) Conditional-reset, multi-bit read-out image sensor
US9083905B2 (en) Structured light imaging system
KR102212100B1 (ko) 분할-게이트 조건부-재설정 이미지 센서
TWI272839B (en) Rod and cone response sensor
US20160028985A1 (en) Threshold-monitoring, conditional-reset image sensor
US6661457B1 (en) Pixel read-out architecture
US9749565B2 (en) Interline charge-coupled devices
US8890986B2 (en) Method and apparatus for capturing high dynamic range images using multi-frame interlaced exposure images
KR20010067339A (ko) Ｘ－ｙ 어드레스가능 ｍｏｓ 이미저 시스템과 그 사용방법, 및 이미지 감지 방법
KR20090023549A (ko) 높은 동적 범위 판독을 위한 혼합된 아날로그 및 디지털 픽셀
CN212012776U (zh) 用于生成颜色信息和脉冲光信息的成像系统和图像传感器
CN114449188A (zh) 暗电流校准方法及相关联像素电路系统
JP7163416B2 (ja) ローリングサブフレームパルスバイアスマイクロボロメータインテグレーション
US10880500B2 (en) Pixel apparatus and CMOS image sensor using the same
US20230051657A1 (en) Self calibrating barrier modulation pixel
CN106303311B (zh) 像素感光值的输出方法
CN115442548B (zh) 支持具有相位检测自动聚焦及图像感测光电二极管的像素阵列的合并模式的位线控制
Kim et al. A Wide dynamic range CMOS image senor with dual capture using floating diffusion capacitor
JP2006109262A (ja) 撮像素子およびそれを用いた撮像装置
JP2011229040A (ja) 固体撮像装置および電子カメラ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant