CN206993236U - 一种图像传感器及系统 - Google Patents

一种图像传感器及系统 Download PDF

Info

Publication number
CN206993236U
CN206993236U CN201720510855.8U CN201720510855U CN206993236U CN 206993236 U CN206993236 U CN 206993236U CN 201720510855 U CN201720510855 U CN 201720510855U CN 206993236 U CN206993236 U CN 206993236U
Authority
CN
China
Prior art keywords
circuit
pixel
pixel value
signal
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201720510855.8U
Other languages
English (en)
Inventor
R·潘尼卡西
M·米利纳尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Components Industries LLC
Original Assignee
Semiconductor Components Industries LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Components Industries LLC filed Critical Semiconductor Components Industries LLC
Application granted granted Critical
Publication of CN206993236U publication Critical patent/CN206993236U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H04N25/622Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by controlling anti-blooming drains
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本实用新型提供了一种图像传感器及系统。所述图像传感器可包括图像传感器像素阵列。每个图像传感器像素可具有通过回写电源线和用于所述电源线的控制晶体管实现的信号存储能力。每个图像传感器像素可通过列线将像素值输出到开关电路。所述开关电路可将所述像素值路由到信号处理电路。所述信号处理电路可以利用模拟电路或钉扎二极管器件执行模拟和/或数字处理操作以对所述像素值进行图像信号处理,从而输出经处理的像素值。所述处理电路可以将所述经处理像素值发送回所述阵列。这允许所述阵列充当存储器电路,以支持紧邻所述阵列的处理电路上的处理操作。以这种方式配置,可以紧邻所述阵列执行信号处理,而不必将像素信号移动到外围处理电路。

Description

一种图像传感器及系统
技术领域
本实用新型整体涉及图像传感器,并且更具体地讲,涉及具有能够存储经处理信号的图像像素的图像传感器。
背景技术
图像传感器常在电子设备,例如,移动电话、相机和计算机中用来捕获图像。常规图像传感器是通过使用互补金属氧化物半导体(CMOS)技术或电荷耦接器件(CCD)技术在半导体衬底上制造而成。图像传感器可包括图像传感器像素阵列,每个像素包括光电二极管和其他运行电路,诸如衬底中形成的晶体管。图像传感器像素响应于图像光而生成图像信号。读出电路从图像传感器像素读出图像信号。
图像传感器通常包括耦接至读出电路的处理电路。处理电路位于图像传感器像素阵列的外围。处理电路对读出的图像信号执行图像处理操作。处理电路包括用于存储经处理图像信号的存储器。经处理图像信号被传输到图像传感器外部的帧存储器以进行存储。存储在帧存储器上的经处理图像信号被图像传感器上的处理电路或其他处理电路进一步处理。
将经处理图像数据存储在外部帧存储器上可导致不期望的缓慢处理时间,可消耗过多的功率,并且可增加成像系统的制造成本和复杂度。
因此能够提供图像信号处理和存储能力改善的图像传感器将是值得拥有的。
实用新型内容
由此本实用新型提供一种图像传感器,包括:多个图像传感器像素,其生成像素值,其中所述图像传感器像素中的一个给定的图像传感器像素包括电荷存储区;以及处理电路,其基于所生成的像素值生成经处理像素 值,其中所述给定的图像传感器像素被配置为将所述经处理像素值存储在所述电荷存储区上。
根据上述图像传感器的一个实施例,还包括:回写输入线;以及控制门,其中所述电荷存储区包括光电二极管,其中所述回写输入线耦接至所述控制门的第一端子,并且所述光电二极管耦接至所述控制门的第二端子,并且,其中所述控制门包括抗晕光晶体管。
根据上述图像传感器的一个实施例,还包括:回写输入线;以及控制门,其中所述电荷存储区包括浮动扩散节点,并且其中所述回写输入线耦接至所述控制门的第一端子,并且所述浮动扩散节点耦接至所述控制门的第二端子。
根据上述图像传感器的一个实施例,其中响应于光而生成所述像素值,所述图像传感器还包括:覆盖所述电荷存储区的遮光结构。
根据上述图像传感器的一个实施例,其中所述多个图像传感器像素和所述处理电路都形成在共享集成电路衬底上。
根据上述图像传感器的一个实施例,其中所述处理电路包括累加器,其中所述累加器包括钉扎电荷存储元件,并且其中所述累加器存储所述像素值并基于所存储的像素值生成累加像素值。
根据上述图像传感器的一个实施例,其中所述处理电路还包括补偿电路,所述补偿电路被配置为补偿所述累加器上的电荷存储阱中的电压和电容之间的非线性关系。
根据上述图像传感器的一个实施例,其中所述处理电路还包括:模数转换电路,其中所述模数转换电路接收所述累加像素值并生成对应的经处理数字信号;以及数模转换电路,其中所述数模转换电路接收所述经处理数字信号并基于所述经处理数字信号生成所述经处理像素值。
本实用新型还提供一种系统,包括:中央处理单元;存储器;透镜;输入-输出电路;以及成像设备,其中所述成像设备包括:图像传感器像素阵列,其生成像素信号;电路,其接收所述像素信号并对所述像素信号执行处理操作以生成经处理像素信号;以及通信路径,其中所述电路通过所述通信路径将所述经处理像素信号传输到所述图像传感器像素阵列以存储在所述阵列中的至少一个图像传感器像素上。
根据上述系统的一个实施例,其中所述成像设备还包括:读出电路,其与所述电路分离,其中所述读出电路接收所生成的像素信号的一部分;开关电路,其耦接至所述通信路径、所述读出电路和所述阵列;以及移位寄存器电路,其中所述移位寄存器电路被配置为控制所述开关电路,以将所生成的像素信号路由到所述电路和所述读出电路中的一者或两者。
附图说明
图1是根据一个实施方案的具有能够存储经处理信号的图像像素的例示性成像系统的示意图。
图2是根据一个实施方案的可由图像传感器执行以将经处理像素信号存储在图像像素上的例示性步骤的流程图。
图3是根据一个实施方案的用于沿列线读出来自图像像素的像素值的例示性像素阵列和相关控制电路的示图。
图4是根据一个实施方案的接收经处理像素信号以进行存储的例示性像素的电路图。
图5是根据一个实施方案的生成经处理像素值的片上信号处理电路的例示性电路图。
图6是根据一个实施方案的用于将经处理像素值发送到图像像素以进行存储的例示性回写电路的框图。
图7是根据一个实施方案的在图6所示类型的回写电路中的例示性数模转换器电路的电路图。
图8是根据一个实施方案的图5所示类型的例示性像素累加器电路的电路图。
图9是根据一个实施方案的例示性像素信号补偿电路的电路图。
图10是根据一个实施方案的可以耦接至图9所示类型的补偿电路的像素累加器电路的电路图。
图11为根据一个实施方案的用于操作具有图9所示类型的补偿电路和图10所示类型的像素累加器电路的图像传感器的例示性时序图。
图12为根据本实用新型的实施方案的处理器系统的框图,该处理器系统可采用图1-11的实施方案。
具体实施方式
本实用新型的实施方案涉及图像传感器,并且更具体地讲,涉及具有带存储能力的图像像素和片上处理电路的图像传感器。本领域技术人员应该认识到,本实用新型的示例性实施方案可在缺少一些或所有这些具体细节的情况下实施。在其他情况下,为了避免不必要地模糊本实用新型的实施方案,未详细描述熟知的操作。
电子设备(诸如数字相机、计算机、蜂窝电话和其他电子设备)包括图像传感器,该图像传感器收集入射光以捕获图像。图像传感器可包括成像像素的阵列。图像传感器中的像素可包括光敏元件,例如,将入射光转换为图像信号的光电二极管。图像传感器可具有任何数量的像素(如,几百或几千像素或更多)。典型的图像传感器可(例如)具有数十万或数百万像素(如,数兆像素)。图像传感器可包括控制电路(诸如用于操作成像像素的电路)以及用于读出与光敏元件生成的电荷对应的图像信号的读出电路。
图1为示例性成像系统(例如,电子设备)的示意图,该成像系统使用图像传感器捕获图像。图1的成像系统10可为便捷式电子设备,诸如相机、移动电话、平板计算机、网络相机、摄像机、视频监控系统、汽车成像系统、具有成像能力的视频游戏系统或者捕获数字图像数据的任何其他所需成像系统或设备。相机模块可用于将入射光转换成数字图像数据。相机模块可包括一个或多个透镜以及一个或多个对应的图像传感器16。镜头可包括固定透镜和/或可调透镜,并且可包括形成于图像传感器16的成像表面上的微透镜。在图像捕获操作期间,来自某个场景的光可通过透镜聚焦到图像传感器16上。图像传感器16可包括用于将模拟像素值转换成要提供给存储和处理电路18的对应数字图像数据的电路。如果需要,相机模块可设置有透镜阵列和对应的图像传感器16的阵列。
存储和处理电路18可包括一个或多个集成电路(例如,图像处理电路、微处理器、诸如随机存取存储器和非易失性存储器的存储设备等),并且可使用与相机模块分开和/或形成相机模块的一部分的组件(例如,形成包括图像传感器16的集成电路或者与图像传感器16相关的模块内的集成电路的一部分的电路)来实施。当存储和处理电路18被包括在与图像传感器16的集成电路不同的集成电路(例如,芯片)上时,具有电路18的集成电路可相对于具有图像传感器16的集成电路垂直堆叠或封装。可使用处理电路18处 理和存储已被相机模块采集的图像数据(例如,使用处理电路18上的图像处理引擎、使用处理电路18上的成像模式选择引擎等)。可根据需要使用耦接到处理电路18的有线和/或无线通信路径将经过处理的图像数据提供给外部设备(如,计算机、外部显示器或其他设备)。
图像传感器16可包括含有被布置成行和列的图像传感器像素22(有时在本文称为图像像素或像素)的像素阵列20以及信号处理电路24。信号处理电路24可包含例如模拟和/或数字电路(例如,积分器、比较器、寄存器)。阵列20可包含例如几百或几千行以及几百或几千列图像传感器像素22。行控制电路26可从控制电路(未示出)接收行地址,并且可通过行控制路径30将对应的行控制信号(诸如,重置控制信号、行选择控制信号、电荷转移控制信号、双转换增益控制信号和读出控制信号)提供给像素22。可将一根或多根导线(例如,列线32)耦接至阵列20中的像素22的每一列。列线32可用于读出来自像素22的图像信号以及用于将偏置信号(如,偏置电流或偏置电压)提供给像素22。如果需要,在像素读出操作期间,可使用行控制电路26选择阵列20中的像素行,并且可沿列线32读出由该像素行中的图像像素22生成的图像信号。图1中列线和行线耦接至像素22的例子仅仅是示例性的。如果需要,线30和/或线32可以耦接至阵列20中的任何期望的像素块22。
图像读出电路28可通过列线32接收图像信号(如,由像素22生成的模拟像素值)。图像读出电路28可包括用于对从阵列20读出的图像信号进行采样和暂时存储的采样保持电路、放大器电路、模拟/数字转换(ADC)电路、偏置电路、列存储器、用于选择性启用或禁用列电路的闩锁电路或者耦接至阵列20中的一个或多个像素列以用于操作像素22以及用于读出来自像素22的图像信号的其他电路。读出电路28中的ADC电路可将从阵列20接收的模拟像素值转换成对应的数字像素值(有时称为数字图像数据或数字像素数据)。图像读出电路28可针对一个或多个像素列中的像素将数字像素数据提供给控制电路和/或处理器18。
图像传感器16上的信号处理电路24可通过通信路径50耦接至开关电路34和阵列20中的像素22。开关电路34可插置在列读出电路28(有时称为列控制电路、读出电路、处理电路或列解码器电路)和阵列20之间的列线32上。每个列线32可以耦接至阵列20中的对应列的像素22。开关电路 34可包括用于每个列线32的相应开关,以将从像素22读出的信号传输到列读出电路28和信号处理电路24中的选定的一者。如果需要,开关电路34可选择性地将阵列20的列的子集耦接至信号处理电路24,同时将阵列20的剩余列耦接至读出电路28。
行控制电路26、阵列20、开关电路34、列读出电路28和/或信号处理电路24均可以形成在同一集成电路(芯片)上。因此,处理电路24在本文有时可被称为片上处理电路24。如果需要,图像传感器16可包括集成电路封装或其中多个集成电路衬底层或芯片相对于彼此垂直堆叠的其他结构。在这种情况下,电路34、电路26、电路28和电路24中的一个或多个可以垂直地堆叠在图像传感器16内的阵列20下方。如果需要,线32、线30和/或线50在这种情况下可由垂直导电通孔结构和/或水平互连线路形成。
如果需要,图像像素22可包括一个或多个光敏区,以响应于图像光而生成电荷。图像像素22内的光敏区可成行成列地布置在阵列20上。图像阵列20可设置有滤色器阵列,该滤色器阵列具有多个滤色器元件以允许单个图像传感器对不同颜色的光进行采样。例如,诸如阵列20中的图像像素的图像传感器像素可设置有滤色器阵列,该滤色器阵列允许单个图像传感器使用被布置成拜耳马赛克图案的对应的红色、绿色和蓝色图像传感器像素对红光、绿光和蓝光(RGB)进行采样。拜耳马赛克图案由重复的2×2个图像像素的单元格组成,其中两个绿色图像像素沿对角线彼此相对,并且邻近与蓝色图像像素沿对角线相对的红色图像像素。在另一个合适的实例中,拜耳图案中的绿色像素被替换为具有宽带滤色器元件(例如,透明滤色器元件、黄色滤色器元件等)的宽带图像像素。
图像像素22可具有存储经处理信号的能力。如果需要,信号处理电路24可从像素22接收像素值(如,图像电平信号或重置电平信号)。信号处理电路24可以对所接收的像素值执行模拟和/或数字处理操作以生成模拟和/或数字经处理像素值。为了执行图像处理操作,信号处理电路24可将像素值和/或经处理像素值存储在存储电路(存储器)上。在某些情况下,将经处理的像素值发送到片外存储器(例如存储和处理电路18上的帧存储器)以进行存储。在该例子中,经处理像素值可以从电路18上的存储器发送回处理电路24以进行进一步处理。在其他情况下,经处理像素值可以在电路18上被进一步处理或发送到其他电路。
将经处理像素值发送到电路18上的片外存储器可占用过大量的时间并且可增加系统10的制造成本和复杂度。对于需要相对快速处理时间的处理操作(诸如,对象检测操作),这可能是特别不希望的。另外,与在同一集成电路芯片内的发送和处理相比,经过接口(例如,跨不同集成电路芯片之间的连接)发送经处理像素值消耗更多的功率。因此,使用信号处理电路24处理像素值以减小带宽和降低功耗可以是有益的。
如果需要,信号处理电路24可利用像素22的电荷存储能力来存储经处理像素值。例如,信号处理电路24可以通过通信路径50(有时称为通信总线50、通信线路50或像素处理总线50)将经处理像素值发送到阵列20。通信路径50可包括一个或多个通信线路。路径50中的通信线路可包括导电迹线、导线、接触结构、垂直导电通孔、传输线结构或其他期望的通信路径。如果需要,开关电路34可选择性地将来自不同列的像素22的像素值路由到电路28和电路24。例如,针对每列像素22,开关电路34可选择性地启动和停用耦接至列线32的开关以将像素值路由到电路28或电路24。
如果需要,处理电路24可将经处理像素值通过路径50发送到阵列20中的图像的未被使用像素22或暗区域以进行存储。在一种合适的布置方式中,相同的像素值可以存储在跨阵列20的多个不同像素22上(例如,用于冗余)。阵列20的有源部分(例如,未被用于存储由处理电路24生成的经处理像素值的像素)可生成图像并且重置电平像素值。以这种方式,例如,阵列20可存储经处理像素值并且同时生成新的像素值。在另一种合适的布置方式中,经处理像素值可以存储在已经被用于存储经处理像素值的像素22上(例如,叠加这两个像素值),或者可存储在生成新像素值的像素22上。
像素值可以存储在像素22的任何所需部分(例如,光敏区、浮动扩散节点等)中。处理、存储和导出步骤可以足够快,以便不允许照明条件破坏存储的数据。然而,在一些情况下,可使用遮光结构(例如,机械快门、内置遮光罩等)暂时或永久地防止入射光信号破坏存储的经处理像素值。
图2是可由图像传感器16执行以在像素22上存储经处理像素值的示例性步骤的流程图。例如,可在像素22已经生成像素值(例如,响应于图像光生成的重置电平像素值或图像电平像素值)之后执行图2的步骤。
在步骤21,可以通过列线32从像素22读出像素值。像素值可以从阵列20的列中的每列或者列的子集中读出。读出的像素值可以被路由到信号处理电路24和/或读出电路28(例如,基于开关电路34的配置)。
在步骤23,开关电路34可以通过路径50将来自选定数目的列线32(例如,列线32的一些或全部)的像素值路由到信号处理电路24。例如,在低帧速率操作期间或当图像传感器处于待机模式并且不接收光信号时,阵列20中的一些像素能够存储电荷。这些像素22通常可用于存储经处理像素值。
在步骤25,信号处理电路24可对像素值执行模拟和/或数字处理操作。由信号处理电路24执行的处理操作可包括积分运算、加权相减运算、加权相加运算、比较操作、模数转换操作、数模转换操作、存储操作、累加操作、乘法运算、除法运算、转换操作或任何其他所需的处理操作。由电路24执行的处理操作可形成诸如对象检测操作、边缘检测操作、运动检测操作、颜色变换操作、白平衡操作、伽马校正操作、高动态范围(HDR)成像操作、噪声校正操作、聚焦操作、脸部检测操作、光源闪烁缓解操作或任何其他所需的更高级别处理操作的更高级别处理功能的一部分。处理电路24可通过执行所需的图像处理操作来生成对应的经处理像素值。经处理像素值可以被输出到其他处理电路,或者可以作为最终图像输出。
当执行许多处理操作时,需要存储经处理像素值以用于稍后的附加处理。例如,当执行运动检测操作时,可以存储像素值以与随后采集的像素值进行比较,以识别成像场景中的移动对象。
在步骤27,处理电路24可以通过路径50将经处理像素发送(注入)到阵列20中的一个或多个像素22上以进行存储。
在步骤29,信号处理电路24可对存储在像素22上的经处理像素值执行适宜动作。例如,存储的经处理像素值可从上面存储该像素值的像素22读出,并且可被传输到电路24和/或电路28以进行附加处理。在另一合适的布置方式中,附加的经处理像素值可代替在像素22上存储的经处理像素值,或者可被增加至在像素22上存储的经处理像素值(例如,通过叠加像素22上的像素值)。在又一个合适的布置方式中,可周期性地刷新存储的经处理像素值。图2的例子仅仅是示例性的。如果需要,可以省略或用附带硬件的替代方法来替代一些步骤以实现图2所示的目的(例如,来自多个阵列的像素值、跳过存储前的处理、将像素值注入到多个阵列中)。
图3是示出开关电路34如何可选择性地将像素22路由到信号处理电路24的示图。如图3所示,列线32可形成阵列20的列和列读出电路28之间的连接。开关电路34可包括多个开关38,每个开关38插置在相应的列线32上。开关可选择性地将列线32耦接至对应的交叉导线50(例如,耦接至总线50的对应导线)。双向移位寄存器36可包括具有输入din的输入控制信号44,具有输入left/right的控制信号46,具有输入out_enable_pix和out_enable_AB的输入控制信号48,以及具有输入shift_clk_column的时钟信号42。输入44、输入46、输入48和输入42可具有对应于每一列的单独输入。移位寄存器36可基于控制信号44、46、48和42来控制开关38(例如,控制列线32中的哪一个通过总线50耦接至信号处理电路24而非耦接至读出电路28)。在图3的例子中,开关38可以被启动(闭合)以将像素22耦接至电路24。在另一合适的布置方式中,当开关38被启动时,像素22可耦接至电路28。如果需要,开关电路34还可包括控制像素值流向读出电路28的附加开关(未示出)。以这种方式,如果需要,像素值可被发送到读出电路28和处理电路24中的一者或两者。
在另一个合适的布置方式中,开关电路34可选择性地将列线从阵列20中的专用行耦接至信号处理电路24。阵列20内的行区域可通过总线线路(未示出,但起到总线50的功能)形成与行读出电路(未示出)和信号处理电路24的连接。双向移位寄存器36还可控制对行线进行控制的开关电路34中的开关。在这种情况下,开关电路可从阵列20的像素的矩形子阵列中读出图像信号。可将读出图像信号发送至处理电路24以进行像素子阵列处理。由于可读出整个子阵列,所以可用基于整个子阵列的更多处理选项(例如,通过比较来自同一子阵列的先前图像信号来检测运动、将子阵列作为整体进行分析以找到所关注点、识别指定对象等)。对于阵列20的像素的矩形子阵列的读出和处理的例子仅仅是例示性的,由任何多个像素组成的2-D子阵列可作为子阵列组被读出并被处理。例如,如果需要,子阵列可以是非矩形的(例如,六边形)。六边形子阵列可能需要与开关电路或处理电路的较短连接。
如果需要,可以在阵列20中的像素(例如,单个和/或多个像素行和/或单个和/或多个像素列)和处理电路24之间使用连接电路(即,开关电路、总线和移位寄存器)形成任何连接。如果需要,多个像素行和/或像素列可以 共享总线。如果需要,阵列20内的子阵列可使用以堆叠芯片配置形成的连接电路来连接到处理电路24。在这样的配置中,一组光电二极管(例如,钉扎光电二极管)可被用于以时间多路复用模式执行图像感测操作或被用于信号处理操作。由于堆叠芯片之间形成的通孔的数目可能受限制,因此开关电路34也可以以时分多路复用模式操作,从而允许来自期望像素的像素值通过连接电路传递到处理电路24,反之亦然。开关电路34可以对经处理像素值和未经处理像素值均以时分多路复用模式操作。
图4是能够存储经处理像素值的像素22的电路图。如图4所示,像素22可具有电源58(例如,以2.5V的电源电压或任何其他期望电平提供),光敏元件74(例如,光电二极管)和浮动扩散节点66。光敏元件74可以是当输入具有在两个阈值(例如,0V和引脚电压)之间的电压时存储电荷的钉扎电荷存储元件(例如,钉扎光电二极管或PPD)。当输入电压刚好低于引脚电压时,钉扎电荷存储元件可以存储电荷。当输入电压为0V时,钉扎电荷存储元件可以存储最大量的电荷。浮动扩散节点66可表现出电荷存储容量,如由具有电容Cfd的电容器68所示。像素22可包括重置晶体管62、电荷转移晶体管64、源极跟随器晶体管70、行选择晶体管72和像素读出线32。
在获取图像之前,可使重置控制信号RST生效。这使重置晶体管62接通并将浮动扩散节点66重置至电源电压。然后重置控制信号RST可被解除生效,使重置晶体管28截止。在重置过程完成之后,可使转移控制信号TX生效以接通电荷转移晶体管64。当转移晶体管64接通时,由光电二极管74响应于入射光所生成的电荷被转移至浮动扩散节点66。浮动扩散节点66可使用掺杂半导体区域(例如,通过离子注入、杂质扩散或其他掺杂技术形成于硅衬底中的掺杂硅区域)实施。掺杂半导体区域(即,浮动扩散FD)表现出可用于存储从光电二极管74转移来的电荷的电容器68中所示的电容Cfd。源极跟随器晶体管70将与节点66上的所存储电荷相关的信号传输至行选择晶体管72。
当需要读出所存储电荷的值(即,由晶体管70的源极S处的信号表示的所存储电荷的值)时,可使行选择控制信号RS生效。当使信号RS生效时,晶体管72接通并且在像素读出线32上生成对应的像素值,该像素值表示浮动扩散节点66上的电荷的大小。在典型配置中,存在多行和多列像素 (诸如,阵列20中的像素22)。垂直导电路径(诸如,像素读出线32)可与每列像素相关联。当在给定行中使信号RS生效时,线32可用于将像素值(例如,pixel_out)从该行路由至开关电路34(参见图1)。
像素22可包括耦接在光电二极管74和输入线76(有时称为回写输入线、数模转换输出线)之间的抗晕光门60(有时称为回写控制门)。抗晕光门60和信号线76可执行抗晕光操作,以防止电荷阱74的晕光或过饱和。抗晕光门60和输入线76可形成用于将经处理的像素值从总线50传输到像素22以进行存储的输入路径(例如,在图2的处理步骤27时)。例如,经处理像素值可通过门60传递到光电二极管74以进行存储。这个例子仅为示例性的。如果需要,经处理像素值可经由电荷转移晶体管64传输到浮动扩散节点66以进行存储,或者转移到像素22的任何其他部分以进行存储。耦接在像素22和总线50之间的其他输入线可用于将经处理像素值传输到像素22以进行存储。例如,输入线可通过附加的晶体管(未示出)直接耦接至浮动扩散66或耦接至结点66。该存储的经处理像素值可通过线32读出(例如,在图2的处理步骤29时)。在另一个合适的布置方式中,经处理像素值可通过线76读出。
图3和4仅为例示性的。如果需要,图3的电路和像素配置可以用其他形式的开关和寄存器电路来替代,以将像素值选择性地移动到读出电路28或处理电路24或允许回写控制(例如,提供数据线和控制门)的其他像素配置。
图5是示出信号处理电路24如何可以包括用于对由阵列20生成的像素值执行处理操作的累加器电路的电路图。信号处理电路24可包括多个累加器电路80,这些累加器电路80通过像素阵列连接总线50从开关电路34接收像素值。累加器80的列82可通过总线50的共享线路(例如,来自阵列20中的同一列像素22)接收像素值(例如,对于所有所需列,Pixel_array_out)。相应的下拉开关86和输入上拉开关87可耦接至总线50的每个导线(例如,耦接至累加器80的对应列82的输入)。当下拉开关86闭合(例如,启用)时,对应的累加器列82(例如,pix_acc0,pix_acc1,...,pix_accN)可耦接至地,以通过像素值输入90将接地电压或其他电压注入累加器列82上。由像素值输入90接收的输入信号可以是信号Pixel in。当输入上拉开关87闭合时,对应的累加器列82可耦接至预定电压源(例如,电源电压或其他 电压),该预定电压源通过像素值输入90禁止附加信号被添加到累加器列82中。如果需要,可以省略开关86和87。
每个像素累加器80可具有像素值输入90(例如,Pixelin)、累加器输出92(例如,Pix_acc_out1,2)、填充控制信号输入94(例如,Fill)和转移控制信号输入96(例如,TX)。每个累加器80可接收对应的信号输入(例如,输入94处的Fill0、Fill1、...和输入96处的Tx1、Tx2、...)。在每个列82中的累加器80可以共享填充和转移控制信号94和96,以将每个累加器中的像素值累加同步(进行预处理或后处理)(例如,当一个累加器达到数据容量时,控制信号可以控制像素值移动到下一个累加器,等等)。更具体地,当累加器80被填充达到容量时,可以以逻辑低电平提供控制信号输入94以停止向累加器80输入像素值。在整个累加器列82停止接收输入像素值之前,输出上拉开关88可以闭合(例如,启用)。当输出上拉开关88闭合时,对应的累加器列82可以耦接至预定电压源(例如,电源电压或其他电压),以将预定电压注入到累加器列82中的累加器上,从而阻止附加电荷进入累加器80。
一些处理可伴随累加器80纳入的像素值的配置出现。由于一个累加器80可以累加来自多个像素22的像素值,所以累加的像素值被有效地装入一个累加器80内部。作为可以由累加器80执行的处理操作的例子,可以将100像素乘100像素的阵列完全转移到信号处理电路24以进行处理。在该处理中,来自100像素乘100像素阵列的像素值耦接至多个像素累加器的输入。利用以上讨论的方法,来自正方形像素阵列的像素值可以被累加为5乘5像素阵列的像素值容器(bin),从而装入输入像素值。5乘5像素阵列可以最终被存储回阵列20中,而仅在阵列上占据5乘5像素区域。这允许像素阵列读出更大的有效视场,因为5乘5像素区域包含来自原始100乘100像素阵列的像素值信息。利用上述处理来存储较低分辨率或窗口化图像可以在高速成像应用期间或后续图像分析期间使用。
作为另一个例子,累加器80可以调节从每个特定像素22获取的像素值的取样数目(例如,将不同的权重应用于来自不同像素22的像素值)。该技术可用于实现滤波器功能(例如,高斯滤波器)。作为另一个例子,还可以实现方框滤波器。对于5×5像素阵列方框,累加器80可以累加来自阵列20的五行中的五个相邻列。随后,累加器80然后可以以相同的方式累加下 一个对应的5×5像素阵列方框。以这种方式,累加器80允许在不必使用有源电路(例如,开关电容器电路)的情况下将像素值相加。
另外,累加器80也可以取两个值之差(例如,信号电平值和重置信号值之差)。通过该操作,当滤波时,累加器80也可以赋予像素值负权重。通过选择施加负权重,累加器80可以执行微分运算(例如,边缘检测,拉普拉斯运算等)。累加器80可以比较来自两组像素的图像值(例如,存储的先前像素图像值和当前像素图像值)。
当累加器80正在接收像素值时(例如,当将控制信号输入94设置成逻辑高电平以填充累加器80的光电二极管时,然后将信号输入94被设置成逻辑低电平同时将累加期控制信号96设置成逻辑高电平以将电荷转移到累加器输出,在接收操作期间重复该操作)的时间长度可以被称为。处理操作可以在累加时间段期间或累加时间段后进行。例如,在累加器80中将信号相加或相减之后,可以使用附加的模拟处理电路来实现诸如高斯差分运算和拉普拉斯滤波操作之类的模拟处理。当所需的处理完成时,经处理像素值可以被发送到模数转换器(ADC)84,以转换成用于后续数字处理的数字信号。
作为另一个例子,在不同类型的操作(例如,回写操作)中,当经处理像素值可以通过总线50发送回(例如,注入)像素阵列20时,可以将转移控制信号输入96设置成逻辑高电平。累加器80可以具有附加控制信号输入,该附加控制信号输入用于回写操作中以确定经处理像素值通过累加器80到路由到像素阵列20的路径。每个附加控制信号输入可以控制对应的开关。可以使每个附加信号输入生效,以闭合该开关并使用通过该开关启用的对应路由路径将经处理像素值路由通过累加器80。经处理像素值可被施加到累加器输出92,并通过累加器输入90直接通过共享线路或通过像素累加器电路被发送到阵列20。当将转移控制信号输入96设置成逻辑低电平时,回写操作(例如,将经处理后的数据存储到阵列20上)可以停止并且处理操作(处理经处理前的数据)可以开始。
图5中的ADC 84可以将从输出线89接收的经模拟处理(累加)像素值转换为数字信号DOUT(本文有时称为数字输出DOUT或信号DOUT)。所累加的模拟像素值可以在进入ADC 84之前耦接至电流源91以进行适宜的源极跟随器操作。例如,电流源91可以均提供5μA或任何其他期望的电流电平。每个ADC 84例如可包括比较器93和数字触发器95。模拟累加像素 值可以耦接至比较器93的第一输入,而第二信号被提供给比较器93的第二输入。比较器93可以通过比较两个输入来生成要施加到触发器95的En输入的比较器输出。触发器95可具有施加到端子Din的数字输入信号97以及施加到触发器的时钟信号以生成数字输出DOUT。如果需要,数字输出DOUT可被提供给其他数字处理电路(图5中未示出)。除了在累加器80处执行模拟操作之外,电路24中的数字处理电路可包括例如高斯差分(DoG)电路、拉普拉斯滤波器电路、用于计算两个图像差异的电路或任何其他所需电路。如果需要,数字输出DOUT还可作为数字信号被直接存储在阵列20中而不进行后续处理。
图5中所示的累加器和ADC仅仅是例示性的。一般地,可以使用具有任何期望配置的任何期望类型的累加器和/或ADC来代替图5中的配置。具体地,图8所示类型的可电子地控制电子流的任何期望类型的没有有源组件的累加器可用于执行可以不同于和/或包括由具有有源组件的累加器执行的那些操作的上述操作。
图6是信号处理电路24中的数模转换器(DAC)回写电路102的框图。数模转换回写电路102包括耦接至对应ADC 84的多个DAC电路104(有时称为DAC_write_back)(例如,每个DAC可处理由像素累加器80的对应列82操作并由对应列的像素22采集的像素值)。每个DAC回写电路104可以接收数字输入DOUT′和从比较器93发送到触发器95的使能信号EN。信号DOUT′可以是与图5的数字信号DOUT相同的信号,或者可以是对图5的信号DOUT执行数字处理操作的数字处理电路的输出。DAC回写电路104可以将输入值DOUT′转换成对应的模拟信号DACOUT。信号DACOUT可被提供给像素22以进行存储(例如,DACOUT可以是适合存储在像素22上的经处理像素值的模拟形式)。
例如,最终存储在阵列20中的模拟信号DACOUT可以属于中间图像。在这种情况下,阵列20可以用作帧缓冲器。中间图像可以是滤波后图像或包含所识别图像信息(例如,边缘信息或所关注点)的图像。可用所识别图像信息生成元数据。后续处理步骤可包括基于收集的信息(例如,计算与所关注点相关联的对应描述符、基于边缘信息和所关注点的对象匹配或对象识别等)进行处理。将阵列20用作帧缓冲器也可用于LED闪烁缓解应用。阵 列20中的全部或一些像素22可被周期性刷新以重置阵列。刷新之后,在阵列20中可存储新的经处理的像素值或者收集新的光信号。
图7示出了图6所示的DAC回写电路104的可能配置的电路图。DAC回写电路104可以接收数字输入DOUT′并且可以使用与从比较器93发送到触发器95的使能信号EN对应的使能信号En来生成对应的输出DACOUT。DAC回写电路104可包括电荷阱(存储)元件106(例如,光电二极管)、DAC回写电容器108(例如,具有电容500fF)、预充电晶体管110、电荷转移晶体管112、填充晶体管114、源极跟随器晶体管116、行选择晶体管118、求和节点120、电源122(例如,提供2.5V的电源电压)。这些组件类似于图4所示的像素22的组件。另外,DAC回写电路104可具有回写开关124以控制输出DACOUT并在需要时禁用DAC回写电路(例如,像素值正在累加器80中累加而没有数据回写到阵列20)。
最初,电源122的电源电压可通过预充电晶体管110施加到求和节点120。来自数字输入DOUT′的单个或多个位然后可分别分段地通过晶体管114和晶体管112输入信号,从而允许光电二极管106将表示单个位值(例如,0或1)或多个位值(例如,00、01、10、11等)的电荷转移至求和节点120。求和节点120处的位值由源极跟随器晶体管116缓冲并用于生成输出DACOUT。输出DACOUT值被回写到与数字输入DOUT′相对应的像素阵列中。数字输入DOUT′可包括多个位。可能需要像素阵列中的多个回写来表示数字输入DOUT′的所有位。作为Dac控制逻辑127的输入,使能信号En可以确定控制信号Fill_dac和TX_dac何时生效以将电荷转移到求和节点120。存储在累加器80处的模拟值的模数转换开始时,使能信号En可生效并允许通过晶体管114和晶体管112在存储元件106处累加电荷。发生模数信号转换以将模拟值转换成对应数字值的一段持续时间可被称为模数信号转换时间。模数信号转换时间在使能信号En截止之前表示数字值。求和节点120包含表示在使能信号En截止时生成的ADC输出的对应模拟值。在通过晶体管116的栅极端子将求和节点120的对应值传输到晶体管118之后,DACOUT可以与所述对应值相互关联。然后,将模拟值回写(例如,再次存储在阵列20中)作为DACOUT,从而允许求和节点120再次预充电以转换下一个数字输入DOUT′。开关124可控制多个模拟数据转变到累加器81和后续的阵列20的过程。
图8示出了图5所示的像素累加器80的可能配置的电路图。在累加操作期间,通过像素阵列连接总线50的线路接收的像素值可以用作累加器80的输入信号,而累加器输出ACCOUT1和ACCOUT2可被提供作为将发送到ADC 84中的比较器93(例如,通过输出线89)的输出信号。对应的DAC 104的输出可耦接至累加器80,如输入129所示。通过断开(例如,禁用)图5中的开关124或断开(例如,禁用)回写开关126和128,可以暂时禁用耦接至DAC 104的输出的累加器80的输入129。回写开关126和128可由累加器80的控制信号输入来控制。
与DAC回写操作类似,可通过启用预充电晶体管134来将求和节点130预充电到电源132的电源电压(例如,2.5V)。像素阵列连接总线50可将输入像素值输入到累加器80中。可通过启用填充门140将输入像素值(例如,电荷)存储在电荷存储元件142(例如,光电二极管)中。电荷存储元件142可以是当输入具有在两个阈值(例如,0V和引脚电压)之间的电压时存储电荷的钉扎电荷存储元件(例如,钉扎光电二极管或PPD)。当输入电压刚好低于引脚电压时,钉扎电荷存储元件可以存储电荷。当输入电压为0V时,钉扎电荷存储元件可以存储最大量的电荷。钉扎存储元件可使用电子或空穴作为具有相反极性要求的载流子来存储这两种类型的载流子并将它们转移到其他存储区域。钉扎存储元件可执行操作(例如,收集与输入电压成比例的电荷并将该收集的电荷转移到处理或存储节点),这些操作原本将需要有源组件(诸如,开关电容器电路和有可能区域密集逻辑门)。
可以通过启用传输门144将存储在电荷阱142中的电荷转移到求和节点130。通过分别启用取样像素晶体管154或取样参考晶体管156,求和节点130可以连接到电容器136(例如,具有50fF的电容)或电容器138(例如,具有50fF的电容)。包含电容器136的电路的一部分可以通过源极跟随器晶体管146和行选择晶体管148提供累加器输出ACCOUT1。包含电容器138的电路的另一部分可以通过源极跟随器晶体管150和行选择晶体管152提供累加器输出ACCOUT2。电容器136和138可具有相同或不同的电容。基于电容器的电容,可能需要多个取样来采集所需的像素值。例如,使用50fF的电容、5000电子满阱、0V附近的像素输入信号,可能需要25个取样在电容器上生成0.4V的信号。
作为处理的例子,可以在电容器136处收集所有输入像素值并将其转移到ACCOUT1。ACCOUT2可以针对设定数量的样本使用电源132的电源电压对电容器138进行充电的参考。可替换地,可以由外部源(例如,图像数据、标量或向量信息)提供参考。作为处理的另一个例子,交替的像素值段可被交替地发送到电容器136和138,并且稍后在图5的比较器93中相互比较。多个像素值段也可通过对期望的像素值容器进行取样而装在一起。
在回写操作期间,通过启用回写开关124、126和128,信号DACOUT、ACCOUT1和ACCOUT2可分别用作累加器80的输入。回写开关124、126和128可控制经处理像素值通过累加器80并返回到像素阵列20的路由路径。像素阵列连接总线50的线路可在回写期间将累加器80的输出信号传输到像素阵列20。作为操作的例子,可以通过一个或多个累加器来处理像素信号(例如,装入容器),然后作为将要存储在阵列20中的ACCOUT1或ACCOUT2直接输出。如果需要后续进行数字或模拟处理,累加器输出ACCOUT1和ACCOU2可以不被存储,并且可以发送到ADC 84和DAC回写102,其中处理步骤在任何中间步骤中发生。最终,经处理信号可被转换成模拟DACOUT并被回写并存储在阵列20中。然而,如果需要,经处理信号也可以作为数字信号被存储,而不经过DAC回写102。
图8中所示的累加器配置和操作仅仅是例示性的。一般地,可以使用任何期望的操作集合中的任何期望类型的累加器来代替图8中所讨论的那些。具体地,图8所示类型的可电子地控制电子流的任何期望类型的没有有源组件的累加器可用于执行可以不同于和/或包括由具有有源组件的累加器执行的那些操作的上述操作。
通常,当存储输入信号(例如,输入像素值)时,电荷存储阱可能遭受非线性特性问题。非线性特性涉及不同输入信号电压电平下的电荷存储阱中的电压和电荷之间的非线性关系。由于非线性系统可能更难以表征,因此可能希望避免它们。可通过实现补偿电路来解决这个问题。补偿电路可包括与电荷存储电路并联的反馈系统,以通过反馈回路补偿非线性关系。
图9示出了这种类型的补偿电路(例如,预加重或影子电路)。如果需要反馈控制,则补偿电路除了如图8所示的累加器80的一部分或任何类似配置的系统(例如,图7所示的DAC回写102)之外还包括控制系统(例如,反馈系统)。部分DAC回写被示于部分158中。部分158可包括电源162 (例如,具有2.5V的电源电压)、预充电晶体管164、填充晶体管166、转移晶体管168、电荷存储阱170、感测电容器172(例如,具有25fF的电容)和感测节点174,它们都具有图8中的类似对应物。反馈系统被示于部分160中的为反馈部分。部分160可接收作为第一输入的像素值输入176和作为第二输入的感测节点174的电压。部分160可将经补偿的输出信号VOUTP输出到累加器80并且继续先前已讨论的操作。
部分160可包含具有电源电压(例如,1.5V)的电源178、自动调零晶体管180、辅自动调零晶体管182、取样晶体管188、运算放大器(OPAMP)186和输入电容器190。通过启用取样晶体管188,像素值输入176可耦接至OPAMP 186的第二(正)端子。通过启用自动调零晶体管180,电源178的电源电压可耦接至运算放大器186的任一端子。通过这样做,可通过电源电压重置耦接至第一端子的像素值输入176。对于OPAMP 186的第一(负)端子跨电容器184(例如,具有2.5fF的电容)传输的感测节点174的电压可发生类似的操作,其中负端子处的电压可被重置为供电电压。作为操作的例子,当像素值输入176和感测节点信号分别处于OPAMP 186的正和负端子时,OPAMP 186可输出对应于像素值输入176的补偿信号VOUTP。通过启用自动调零晶体管180和辅自动调零晶体管182,VOUTP也可被重置为电源电压。
例如,在补偿电路中实现的反馈系统可用于在给定电容的情况下将输入电压线性化转换成电荷。图9中所示的补偿电路和操作仅仅是示例性的。通常,可使用任何期望类型的控制系统或针对任何类似系统中的任何非理想行为的任何类型的反馈系统来代替图9中所讨论的那些。
图10示出了可以耦接至图9所示的补偿电路的累加器电路的例子。累加器电路可具有多个电荷存储阱192,可以通过启用对应的填充门194将电荷存储阱192耦接至经补偿的输出VOUTP。可以通过启用传输门198将存储在电荷存储阱192中的电荷转移到求和节点196。可以通过启用重置晶体管202将求和节点196与电源200的电源电压(例如,2.5V)耦接来重置求和节点196。求和节点196耦接至公共电容器204以控制到节点上的电荷流。可以通过启用/禁用对应的一组控制信号以受控的方式启用每组电荷存储阱192、填充门194和传输门198。
图10中所示的累加器电路和操作仅仅是示例性的。总体上,可以使用任何期望类型的累加器及其对应操作来代替图10中所讨论的那些。
图11示出了使用图9和10中讨论的电路来展示可能操作模式的时序图。前七个信号分别对应于控制对应的晶体管164、180、188、166、168、194和198的晶体管栅极的控制信号。Pixel_out信号对应于像素值输入176。V+和V-对应于OPAMP 186的正和负端子。信号VOUTP和感测节点174也在底部示出。图11中所示的时序图仅仅是例示性的。总体上,可以使用任何其他对应的操作模式来代替图11中所讨论的那些。
图12为包括成像设备1008(例如,相机模块)的例示性处理器系统1000(例如,相机模块)的简化图,该成像设备采用的成像器具有如上结合图1-11所述的图像像素。在不进行限制的前提下,这种系统可包括计算机系统、静态或视频摄像机系统、扫描仪、机器视觉系统、车辆导航系统、视频电话、监控系统、自动对焦系统、星体跟踪器系统、运动检测系统、图像稳定系统,以及其他采用成像设备的系统。
处理器系统1000例如数字静态或视频摄像机系统一般包括镜头1114,该镜头用于在快门释放按钮1116被按下时,将图像聚焦到成像设备1008中的一个或多个像素阵列上;以及中央处理单元(CPU)1002,诸如微处理器,其控制相机功能和一个或多个图像流功能。处理单元1102可通过系统总线1006与一个或多个输入-输出(I/O)设备1110通信。成像设备1008还可通过总线1006与CPU 1002通信。系统1000还可包括随机存取存储器(RAM)1004并且可任选地包括可移动存储器1112,诸如闪存存储器,该存储器也可通过总线1006与CPU1002通信。成像设备1008可在单个集成电路或不同芯片上与CPU相组合,无论是否具有存储器。尽管总线1006被示为单总线,但该总线也可以是一个或多个总线、桥接器或其他用于互连系统1000的系统组件的通信路径。
已经描述了示出用于具有能够存储经处理信号的图像像素的图像传感器的系统和方法的各种实施方案。能够存储信号的图像像素和伴随的支持电路可以比在具有不能存储经处理信号的图像像素的系统中更快且更有效地执行信号处理和存储。
图像传感器可包括图像传感器像素的阵列,图像传感器像素其中的一些或全部能够存储经处理像素值。图像传感器可包括开关电路、信号处理电路 和通信路径。像素内的光电二极管响应于图像光可生成像素值。在像素值读出期间,列线可将像素值从阵列携载到开关电路。开关电路可通过通信路径将像素值路由到信号处理电路。信号处理电路可处理像素值以生成经处理像素值。信号处理电路可将经处理像素值发送回像素阵列,以存储在阵列内的一些或全部像素中。像素可具有控制门和回写输入线,以允许将经处理像素值发送回阵列并存储在像素中。
信号处理电路可包括累加器、补偿电路、模数转换器、数模转换器以及其他信号模拟和/或数字处理电路。生成的像素值可通过通信路径被从开关电路发送到累加器。累加器可使用补偿电路来补偿电荷存储阱的非线性特性。累加器可以累加像素值并将累加后的值(例如,经处理模拟像素值)发送到模数转换器。模数转换器可将经处理模拟像素值转换成经处理数字像素值。如果需要,经处理数字像素值可被发送到其他数字处理电路。在可选的数字处理之后,经处理数字像素值可被发送到数模转换器以被转换回模拟信号。信号处理电路可输出最终经处理模拟信号,并最终将信号发送回阵列以进行存储。
在一种合适的布置方式中,由累加器执行的信号累加操作可包括包含加权求和运算的滤波操作(例如,高斯滤波器、方框滤波器)。在另一种合适的布置方式中,累加器可应用包括加权减法运算的其他处理操作(例如,拉普拉斯运算、边缘检测操作等)。最终,可以执行更高级别的处理(例如,对象识别)。
根据上述布置的任何一种,具有存储能力的像素可在像素的任何部分(例如,光敏区、浮动扩散节点等)中存储经处理信号。这些像素可被遮光结构(例如,机械快门、内置遮光罩等)覆盖,以暂时或永久地防止入射光破坏存储的经处理像素值。
根据一个实施方案,图像传感器可包括:多个图像传感器像素,其生成像素值,其中图像传感器像素中的给定一个可包括电荷存储区;以及处理电路,其基于生成的像素值生成经处理像素值,其中给定的图像传感器像素被配置为将经处理像素值存储在电荷存储区上。
根据另一个实施方案,电荷存储区可包括光电二极管。
根据另一个实施方案,图像传感器还可包括回写输入线和控制门,其中回写输入线耦接至控制门的第一端子,并且光电二极管耦接至控制门的第二端子。
根据另一个实施方案,控制门可包括抗晕光晶体管。
根据另一个实施方案,电荷存储区可包括浮动扩散节点。
根据一个实施方案,图像传感器还可包括回写输入线和控制门,其中回写输入线耦接至控制门的第一端子,并且浮动扩散节点耦接至控制门的第二端子。
根据另一个实施方案,响应于光生成像素值,并且图像传感器还可包括覆盖电荷存储区的遮光结构。
根据另一个实施方案,多个图像传感器像素和处理电路都形成在共享集成电路衬底上。
根据另一个实施方案,处理电路可包括累加器,其中累加器可包括钉扎电荷存储元件,并且其中累加器存储像素值并基于存储的像素值生成累加像素值。
根据另一个实施方案,处理电路还可包括补偿电路,补偿电路被配置为补偿累加器上的电荷存储阱中的电压和电容之间的非线性关系。
根据另一个实施方案,处理电路还可包括:模数转换电路,其中模数转换电路接收累加像素值并生成对应的经处理数字信号;以及数模转换电路,其中数模转换电路接收经处理数字信号并基于经处理数字信号生成经处理像素值。
根据一个实施方案,一种操作包括图像传感器像素阵列和处理电路的图像传感器的方法可包括:利用图像传感器像素阵列生成像素值,基于由该图像传感器像素阵列生成的像素值利用信号处理电路生成经处理像素值,以及在图像传感器像素阵列处存储经处理像素值。
根据另一个实施方案,图像传感器还可包括开关电路,并且该方法还可包括:利用该开关电路,将所生成的像素值从图像传感器像素阵列路由到处理电路。
根据另一个实施方案,处理电路可包括钉扎光电二极管,像素值可包括第一组和第二组像素值,并且该方法还可包括:利用处理电路和钉扎光电二极管,对第一组像素值执行加权加法操作,以及
利用处理电路和钉扎光电二极管,对第二组像素值执行加权减法操作。
根据另一个实施方案,该方法还可包括:利用处理电路,用所生成的像素值生成识别成像场景中的所关注点的元数据,并且利用处理电路,使用所生成的元数据执行对象识别操作。
根据另一个实施方案,该方法还可包括:利用处理电路,从图像传感器像素阵列内的多个图像传感器像素读出多个像素值,其中多个图像传感器像素在图像传感器像素阵列内部形成子阵列。
根据另一个实施方案,该方法还可包括:利用处理电路,将来自图像传感器像素阵列内的第一多个图像传感器像素的第一多个像素值与来自图像传感器像素阵列内的第二多个图像传感器像素的第二多个像素值进行比较,其中第二多个像素值是存储在图像传感器像素阵列处的先前处理的像素值。
根据另一个实施方案,该方法还可包括刷新存储在图像传感器像素阵列处的经处理像素值。
根据一个实施方案,一种系统可包括中央处理单元、存储器、透镜、输入-输出电路和成像设备,其中成像设备可包括:生成像素信号的图像传感器像素阵列,接收像素信号并对像素信号执行处理操作以生成经处理的像素信号的电路,以及通信路径,其中电路通过通信路径将经处理像素信号传输到图像传感器像素阵列以存储在阵列中的至少一个图像传感器像素上。
根据另一个实施方案,成像设备还可包括:与电路分离的读出电路,其中读出电路接收生成的像素信号的一部分;耦接至通信路径、读出电路和阵列的开关电路;以及移位寄存器电路,其中移位寄存器电路被配置为控制开关电路以将所生成的像素信号路由到该电路和读出电路中的一者或两者。
前述内容仅是对本实用新型原理的示例性说明,因此本领域技术人员可以在不脱离本实用新型的精神和范围的前提下进行多种修改。上述实施方案可单独地或以任意组合方式实施。

Claims (10)

1.一种图像传感器,包括:
多个图像传感器像素,其生成像素值,其中所述图像传感器像素中的一个给定的图像传感器像素包括电荷存储区;以及
处理电路,其基于所生成的像素值生成经处理像素值,
其中所述给定的图像传感器像素被配置为将所述经处理像素值存储在所述电荷存储区上。
2.根据权利要求1所述的图像传感器,还包括:
回写输入线;以及
控制门,其中所述电荷存储区包括光电二极管,其中所述回写输入线耦接至所述控制门的第一端子,并且所述光电二极管耦接至所述控制门的第二端子,并且,其中所述控制门包括抗晕光晶体管。
3.根据权利要求1所述的图像传感器,还包括:
回写输入线;以及
控制门,其中所述电荷存储区包括浮动扩散节点,并且其中所述回写输入线耦接至所述控制门的第一端子,并且所述浮动扩散节点耦接至所述控制门的第二端子。
4.根据权利要求1所述的图像传感器,其中所述像素值响应于光而生成,所述图像传感器还包括:
覆盖所述电荷存储区的遮光结构。
5.根据权利要求1所述的图像传感器,其中所述多个图像传感器像素和所述处理电路都形成在共享集成电路衬底上。
6.根据权利要求1所述的图像传感器,其中所述处理电路包括累加器,其中所述累加器包括钉扎电荷存储元件,并且其中所述累加器存储所述像素值并基于所存储的像素值生成累加像素值。
7.根据权利要求6所述的图像传感器,其中所述处理电路还包括补偿电路,所述补偿电路被配置为补偿所述累加器上的电荷存储阱中的电压和电容之间的非线性关系。
8.根据权利要求7所述的图像传感器,其中所述处理电路还包括:
模数转换电路,其中所述模数转换电路接收所述累加像素值并生成对应的经处理数字信号;以及
数模转换电路,其中所述数模转换电路接收所述经处理数字信号并基于所述经处理数字信号生成所述经处理像素值。
9.一种成像系统,包括:
中央处理单元;
存储器;
透镜;
输入-输出电路;以及
成像设备,其中所述成像设备包括:
图像传感器像素阵列,其生成像素信号;
电路,其接收所述像素信号并对所述像素信号执行处理操作以生成经处理像素信号;以及
通信路径,其中所述电路通过所述通信路径将所述经处理像素信号传输到所述图像传感器像素阵列以存储在所述阵列中的至少一个图像传感器像素上。
10.根据权利要求9所述的成像系统,其中所述成像设备还包括:
读出电路,其与所述电路分离,其中所述读出电路接收所生成的像素信号的一部分;
开关电路,其耦接至所述通信路径、所述读出电路和所述阵列;以及
移位寄存器电路,其中所述移位寄存器电路被配置为控制所述开关电路,以将所生成的像素信号路由到所述电路和所述读出电路中的一者或两者。
CN201720510855.8U 2016-05-10 2017-05-10 一种图像传感器及系统 Active CN206993236U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/151,078 US9848141B2 (en) 2016-05-10 2016-05-10 Image pixels having processed signal storage capabilities
US15/151,078 2016-05-10

Publications (1)

Publication Number Publication Date
CN206993236U true CN206993236U (zh) 2018-02-09

Family

ID=60297182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201720510855.8U Active CN206993236U (zh) 2016-05-10 2017-05-10 一种图像传感器及系统

Country Status (2)

Country Link
US (1) US9848141B2 (zh)
CN (1) CN206993236U (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262300A (zh) * 2018-03-12 2019-09-20 半导体元件工业有限责任公司 图像传感器及操作图像传感器中的升压器电路的方法
CN110557587A (zh) * 2018-05-30 2019-12-10 半导体元件工业有限责任公司 图像传感器和操作该图像传感器的方法
CN111262572A (zh) * 2020-02-25 2020-06-09 成都世纪天知科技有限公司 一种能够增强背景一致性的电路
CN112399048A (zh) * 2019-08-16 2021-02-23 半导体元件工业有限责任公司 用于执行像素合并和可变积分以进行模拟域区域特征提取的成像系统和方法
CN112565643A (zh) * 2020-11-24 2021-03-26 武汉微智芯科技有限公司 一种图像读出系统及方法
CN113508576A (zh) * 2019-02-12 2021-10-15 Ams传感器比利时有限公司 图像传感器系统、电子设备和用于操作图像传感器的方法
CN113938626A (zh) * 2021-09-30 2022-01-14 中国科学院长春光学精密机械与物理研究所 一种tdi-cmos探测器及应用其的压缩感知成像方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9961279B1 (en) * 2016-12-20 2018-05-01 Omnivision Technologies, Inc. Blooming free high dynamic range image sensor read out architecture using in-frame multi-bit exposure control
US11443176B2 (en) 2018-05-17 2022-09-13 International Business Machines Corporation Acceleration of convolutional neural networks on analog arrays
US10701294B1 (en) * 2019-01-02 2020-06-30 Semiconductor Components Industries, Llc Local pixel driver circuitry
US10841525B1 (en) * 2019-08-23 2020-11-17 Omnivision Technologies, Inc. Image data readout circuit with shared data bus
US11468146B2 (en) 2019-12-06 2022-10-11 Globalfoundries U.S. Inc. Array of integrated pixel and memory cells for deep in-sensor, in-memory computing
CN111126295A (zh) * 2019-12-25 2020-05-08 北京集创北方科技股份有限公司 生物特征图像的采集装置及采集方法、智能设备
KR20210102644A (ko) * 2020-02-12 2021-08-20 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 장치
US11195580B2 (en) * 2020-02-26 2021-12-07 Globalfoundries U.S. Inc. Integrated pixel and two-terminal non-volatile memory cell and an array of cells for deep in-sensor, in-memory computing
EP3930312B8 (en) * 2020-06-26 2023-10-25 Alpsentek GmbH Delta image sensor with digital pixel storage

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6326230B1 (en) * 1999-01-06 2001-12-04 California Institute Of Technology High speed CMOS imager with motion artifact supression and anti-blooming
US6977685B1 (en) * 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range
US7936388B2 (en) 2003-12-11 2011-05-03 Advasense Technologies (2004) Ltd. Apparatus and a method for low noise sensing
US8013900B2 (en) * 2003-12-11 2011-09-06 Advasense Technologies Ltd. Method and apparatus for camera shake compensation
US7514716B2 (en) 2006-08-29 2009-04-07 Aptina Imaging Corporation In-pixel analog memory with non-destructive read sense circuit for high dynamic range global shutter pixel operation
JP2010505158A (ja) * 2006-09-26 2010-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複数のメモリーバンクを有するデータ処理
US8184173B1 (en) * 2007-04-30 2012-05-22 Pixim Israel Ltd. Method and device for reading a pixel
US8736726B2 (en) 2007-06-27 2014-05-27 Micron Technology, Inc. Pixel to pixel charge copier circuit apparatus, systems, and methods
US8063350B2 (en) * 2007-08-03 2011-11-22 Cognex Corporation Circuits and methods allowing for pixel array exposure pattern control
JP4420101B2 (ja) * 2007-10-30 2010-02-24 ソニー株式会社 固体撮像装置およびその駆動方法、並びにカメラシステム
US9153010B2 (en) * 2011-03-28 2015-10-06 Panasonic Intellectual Property Corporation Of America Image processing device and image processing method generating a high-resolution image from a low-resolution image
GB2525666B (en) * 2014-05-02 2020-12-23 Advanced Risc Mach Ltd Graphics processing systems
JP6458570B2 (ja) * 2015-03-12 2019-01-30 オムロン株式会社 画像処理装置および画像処理方法
US9639920B2 (en) * 2015-09-14 2017-05-02 Qualcomm Incorporated Dither directed LUT output value interpolation

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262300A (zh) * 2018-03-12 2019-09-20 半导体元件工业有限责任公司 图像传感器及操作图像传感器中的升压器电路的方法
CN110262300B (zh) * 2018-03-12 2022-07-19 半导体元件工业有限责任公司 图像传感器及操作图像传感器中的升压器电路的方法
CN110557587A (zh) * 2018-05-30 2019-12-10 半导体元件工业有限责任公司 图像传感器和操作该图像传感器的方法
CN113508576A (zh) * 2019-02-12 2021-10-15 Ams传感器比利时有限公司 图像传感器系统、电子设备和用于操作图像传感器的方法
CN113508576B (zh) * 2019-02-12 2023-12-22 Ams传感器比利时有限公司 图像传感器系统、电子设备和用于操作图像传感器的方法
CN112399048A (zh) * 2019-08-16 2021-02-23 半导体元件工业有限责任公司 用于执行像素合并和可变积分以进行模拟域区域特征提取的成像系统和方法
CN112399048B (zh) * 2019-08-16 2024-04-09 半导体元件工业有限责任公司 用于进行模拟域区域特征提取的成像系统和方法
CN111262572A (zh) * 2020-02-25 2020-06-09 成都世纪天知科技有限公司 一种能够增强背景一致性的电路
CN111262572B (zh) * 2020-02-25 2023-04-07 成都高迈微电子有限公司 一种能够增强背景一致性的电路
CN112565643A (zh) * 2020-11-24 2021-03-26 武汉微智芯科技有限公司 一种图像读出系统及方法
CN113938626A (zh) * 2021-09-30 2022-01-14 中国科学院长春光学精密机械与物理研究所 一种tdi-cmos探测器及应用其的压缩感知成像方法

Also Published As

Publication number Publication date
US20170332023A1 (en) 2017-11-16
US9848141B2 (en) 2017-12-19

Similar Documents

Publication Publication Date Title
CN206993236U (zh) 一种图像传感器及系统
US10750097B2 (en) Varying exposure time of pixels in photo sensor using motion prediction
US11552115B2 (en) Imaging device including photoelectric converters and capacitive element
CN112911173B (zh) 图像传感器
CN207184624U (zh) 图像传感器像素单元和成像系统
US10904467B2 (en) Imaging systems having dual storage gate overflow capabilities
US9319611B2 (en) Image sensor with flexible pixel summing
US11303857B2 (en) Imaging device including pixel array and addition circuit
CN102089882B (zh) 具有多个感测层的图像传感器
US9343492B2 (en) CMOS image sensor based on thin-film on asic and operating method thereof
KR20190069557A (ko) 오버플로우 능력을 갖는 이미지 센서 픽셀
US20120189293A1 (en) Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
CN111430388A (zh) 成像像素
CN105308747A (zh) 分离栅极有条件重置的图像传感器
US10818710B2 (en) Image sensor including an extra transfer gate and an extra floating diffusion region
TW201519421A (zh) 影像感測器之大-小像素方案
CN102209206A (zh) 固体摄像器件、固体摄像器件的驱动方法以及电子装置
CN108270981A (zh) 像素单元及其成像方法和成像装置
CN103248834B (zh) 固态成像设备、驱动方法及电子设备
US20150029355A1 (en) Image sensors and imaging devices including the same
CN114125237A (zh) 图像传感器、摄像模组、电子设备、图像获取方法及介质
US20200296336A1 (en) Imaging systems and methods for generating color information and pulsed light information
EP3445037B1 (en) Varying exposure time of pixels in photo sensor using motion prediction
US11818478B2 (en) Image pixels with coupled-gates structures
CN206042182U (zh) 成像装置

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant