CN113923386A - 动态视觉传感器 - Google Patents

动态视觉传感器 Download PDF

Info

Publication number
CN113923386A
CN113923386A CN202110196584.4A CN202110196584A CN113923386A CN 113923386 A CN113923386 A CN 113923386A CN 202110196584 A CN202110196584 A CN 202110196584A CN 113923386 A CN113923386 A CN 113923386A
Authority
CN
China
Prior art keywords
pixel
pixels
sensing
another
sensing sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110196584.4A
Other languages
English (en)
Other versions
CN113923386B (zh
Inventor
印秉宏
王佳祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Original Assignee
Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Tyrafos Semiconductor Technologies Co Ltd filed Critical Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Publication of CN113923386A publication Critical patent/CN113923386A/zh
Application granted granted Critical
Publication of CN113923386B publication Critical patent/CN113923386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种动态视觉传感器包括第一感测像素、另一第一感测像素、存储电容及另一存储电容。第一感测像素包括多个颜色光感测子像素、第一像素电路、红外光感测子像素、第二像素电路及斜坡电容。斜坡电容耦接上斜坡信号。第二像素电路输出红外光感测子像素的感测结果至存储电容。另一第一感测像素包括另多个颜色光感测子像素、另一第一像素电路、另一红外光感测子像素、另一第二像素电路及另一斜坡电容。另一斜坡电容耦接下斜坡信号。另一第二像素电路输出另一红外光感测子像素的感测结果至另一存储电容。

Description

动态视觉传感器
技术领域
本发明涉及一种传感器，尤其涉及一种动态视觉传感器。
背景技术
目前动态视觉传感器(Dynamic Vision Sensor；DVS)被广泛地应用在各技术领域中，例如是自驾车技术。然而，目前的动态视觉传感器需搭配设计以复杂的电路。并且，由于目前的动态视觉传感器无法与RGB图像传感器有效地整合，而导致动态感测操作与图像感测操作无法同时进行，而实现在发生动态事件时可有效地取得的对应的感测图像信息。有鉴于此，以下将提出几个实施例的解决方案。
发明内容
本发明提供一种动态视觉传感器可具有良好的动态感测功能。
根据本发明的实施例，本发明的动态视觉传感器包括第一感测像素、另一第一感测像素、存储电容以及另一存储电容。第一感测像素包括多个颜色光感测子像素、第一像素电路、红外光感测子像素、第二像素电路以及斜坡电容。斜坡电容耦接在上斜坡信号以及第一节点之间。多个颜色光感测子像素耦接至第一节点。第一像素电路耦接至第一节点，并且用以依序输出多个颜色光感测子像素的感测结果。红外光感测子像素耦接至第一节点。第二像素电路耦接至第一节点，并且用以输出红外光感测子像素的感测结果。另一第一感测像素包括另多个颜色光感测子像素、另一第一像素电路、另一红外光感测子像素、另一第二像素电路以及另一斜坡电容。另多个颜色光感测子像素耦接至另一第一节点。另一第一像素电路耦接至另一第一节点，并且用以依序输出另多个颜色光感测子像素的感测结果。另一红外光感测子像素耦接至另一第一节点。另一第二像素电路耦接至另一第一节点，并且用以输出另一红外光感测子像素的感测结果。另一斜坡电容耦接在下斜坡信号以及另一第一节点之间。存储电容经由开关晶体管耦接至第一节点，并且用以存储红外光感测子像素的感测结果。另一存储电容经由另一开关晶体管耦接至另一第一节点，并且用以存储另一红外光感测子像素的感测结果。
基于上述，本发明的动态视觉传感器可通过感测像素中的多个颜色光感测子像素来取得感测图像，并且可通过感测像素中的多个红外光感测子像素在拍摄一张感测图像的过程中同时地感测当前感测对象是否对应于一动态事件。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。
附图说明
图1是本发明的一实施例的动态视觉传感器的像素阵列的示意图；
图2是本发明的一实施例的感测像素的电路示意图；
图3是本发明的一实施例的形成差动对的第一感测像素以及第二感测像素的示意图；
图4是本发明的一实施例的动态视觉传感器的操作时序图。
附图标记说明
100、300:动态视觉传感器；
110:像素阵列；
120_1～120_N、200、320_1～320_8:感测像素；
121_1～121_N、122_1～122_N、123_1～123_N、221_1、222_1、223_1:颜色光感测子像素；
124_1～124_N、224_1:红外光感测子像素；
310_1、310_2:感测像素组；
T1～T8:晶体管；
PD1～PD4:光电二极管；
N1～N3、N3_1～N3_8:节点；
Cr:斜坡电容；
Cs1、Cs2:存储电容；
Rs:重置信号；
Rout1、Rout2:选择信号；
VDD:工作电压；
Vramp、Vramp_P、Vramp_N:斜坡信号；
Tx1～Tx4:切换电压；
R1～R8:红色光感测子像素；
G1～G8:绿色光感测子像素；
B1～B8:蓝色光感测子像素；
I1～I8:红外光感测子像素；
RR_1～RR_3、RG_1～RG_3、RB_1～RB_3、RI_1～RI_8:重置时序；
SR_1～SR_3、SG_1～SG_3、SB_1～SB_3、SI_1～SI_8:读取时序；
t0～t21:时间；
ER1、ER2、EC1:曝光期间。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。
图1是本发明的一实施例的动态视觉传感器的像素阵列的示意图。参考图1，动态视觉传感器100包括像素阵列(array)110，并且像素阵列包括阵列排列的多个感测像素120_1～120_N，其中N为大于1的正整数。在本实施例中，感测像素120_1包括多个颜色光感测子像素121_1、122_1、123_1以及红外光感测子像素124_1。以此类推，感测像素120_2～120_N包括有多个颜色光感测子像素121_2～121_N、122_2～122_N、123_2～123_N以及红外光感测子像素124_2～124_N。在本实施例中，颜色光感测子像素121_1～121_N可例如是红色光感测子像素。颜色光感测子像素122_1～122_N可例如是绿色光感测子像素。颜色光感测子像素123_1～123_N可例如是蓝色光感测子像素。红外光感测子像素124_2～124_N可用于感测红外光。然而，本发明的每一个感测像素的多个颜色光感测子像素以及红外光感测子像素的排列方式以及排列顺序并不限于图1。
在本实施例中，感测像素120_1～120_N各别包括第一像素电路以及第二像素电路，并且第一像素电路以及第二像素电路可分别设置(或制作)于像素阵列110中形成多个感测子像素的像素区域的主动区当中，以有效节省用于设置动态视觉传感器100的相关功能电路的像素阵列110以外的周边区的面积。在本实施例中，动态视觉传感器100的像素阵列110以外的周边区可例如设置有模拟前端(Analog front end；AFE)电路、模拟至数字转换器(Analog to Digital Converter；ADC)电路以及数字信号处理器电路(DigitalSignal Processor；DSP)等，本发明并不加以限制。
在本实施例中，动态视觉传感器100可为互补性氧化金属半导体图像传感器(Complementary Metal-Oxide Semiconductor Image Sensor；CIS)。在本实施例中，每一个感测像素的所述第一像素电路可用以依序输出每一个感测像素中的多个颜色光感测子像素的感测结果。每一个感测像素的所述第二像素电路可用以依序输出每一个感测像素中的红外光感测子像素的感测结果。因此，本实施例的动态视觉传感器100可用于实现图像感测功能以及视觉动态感测功能。
值得注意的是，本实施例的颜色光感测子像素121_1～121_N、122_1～122_N、123_1～123_N适于被执行以滚动式快门(Rolling Shutter)的曝光操作，并且本实施例的红外光感测子像素124_1～124_N适于被执行以全域快门(Global Shutter)的曝光操作。在本实施例中，在动态视觉传感器100通过颜色光感测子像素121_1～121_N、122_1～122_N、123_1～123_N进行一个图框(frame)的图像感测操作中，动态视觉传感器100可包括通过红外光感测子像素124_1～124_N进行视觉动态感测操作。在本实施例中，在一个图框期间中，动态视觉传感器100可依据整体的颜色光感测子像素的感测结果来输出一张彩色图像的图像数据，并且可依据整体的红外光感测子像素的感测结果来输出红外光动态图像。
图2是本发明的一实施例的感测像素的电路示意图。参考图2，图1的感测像素120_1～120_N的每一个可具有如图2所示的感测像素200的像素电路配置。在本实施例中，感测像素200包括颜色光感测子像素221_1、222_1、223_1以及红外光感测子像素224_1，其中颜色光感测子像素221_1、222_1、223_1以及红外光感测子像素224_1分别包括光电二极管PD1～PD4。在本实施例中，感测像素200还包括斜坡电容Cr、重置晶体管T5、源极随耦器(SourceFollower)晶体管T6、选择晶体管T7以及开关晶体管T8。值得注意的是，本实施例的重置晶体管T5、源极随耦器晶体管T6以及选择晶体管T7可被操作如主动式像素感测(ActivePixel Sensor；APS)操作。值得注意的是，上述的第一像素电路包括重置晶体管T5、源极随耦器晶体管T6以及选择晶体管T7，并且上述的第二像素电路包括开关晶体管T8。
在本实施例中，光电二极管PD1的第一端(阴极)耦接至晶体管T1的第一端，并且光电二极管PD1的第二端(阳极)耦接至接地电压。晶体管T1的控制端接收至切换信号Tx1，并且晶体管T1的第二端耦接至节点N1。在本实施例中，光电二极管PD2的第一端(阴极)耦接至晶体管T2的第一端，并且光电二极管PD2的第二端(阳极)耦接至接地电压。晶体管T2的控制端接收切换信号Tx2，并且晶体管T2的第二端耦接至节点N1。在本实施例中，光电二极管PD3的第一端(阴极)耦接至晶体管T3的第一端，并且光电二极管PD3的第二端(阳极)耦接至接地电压。晶体管T3的控制端接收至切换信号Tx3，并且晶体管T3的第二端耦接至节点N1。在本实施例中，光电二极管PD4的第一端(阴极)耦接至晶体管T4的第一端，并且光电二极管PD4的第二端(阳极)耦接至接地电压。晶体管T4的控制端接收至切换信号Tx4，并且晶体管T4的第二端耦接至节点N1。
在本实施例中，斜坡电容Cr的一端耦接至斜坡信号Vramp，并且斜坡电容Cr的另一端耦接至节点N1。在本实施例中，重置晶体管T5的第一端耦接至工作电压VDD，并且重置晶体管T5的第二端耦接至节点N1(电路节点)。重置晶体管T5的控制端接收重置信号Rs。在本实施例中，源极随耦器晶体管T6的第一端耦接至工作电压VDD，并且源极随耦器晶体管T6的第二端耦接至选择晶体管T7的第一端。源极随耦器晶体管T6的控制端耦接至节点N1。在本实施例中，选择晶体管T7的第二端耦接至节点N2，并且选择晶体管T7的控制端接收选择信号Rout1。在本实施例中，开关晶体管T8的第一端耦接至节点N1，并且开关晶体管T8的第二端耦接至节点N3。开关晶体管T8的控制端接收选择信号Rout2。
在本实施例中，节点N2可耦接至动态视觉传感器的信号输出线，并且信号输出线还可耦接至动态视觉传感器的相关信号处理电路，例如上述的模拟前端电路、模拟至数字转换器电路以及数字信号处理器电路。以颜色光感测子像素221_1的操作为例，在颜色光感测子像素221_1的重置期间，重置晶体管T5以及晶体管T1为导通，并且其他的晶体管为未导通，以使光电二极管PD1以及节点N1的电位被重置。在颜色光感测子像素221_1的曝光期间，全部的晶体管为未导通。在颜色光感测子像素221_1的读取期间，选择晶体管T7以及晶体管T1为导通，并且其他的晶体管为未导通，以使源极随耦器晶体管T6操作在源极随耦器状态，以将节点N1所存储的光电二极管PD1的感测结果(曝光结果)的电压从选择晶体管T7以及节点N2提供至动态视觉传感器的相关信号处理电路。以此类推，感测像素200进行颜色光感测子像素222_1、颜色光感测子像素223_1以及颜色光感测子像素224_1的重置、曝光以及读取期间可依序执行类似的操作，以使动态视觉传感器的相关信号处理电路可依据节点N2所提供的各颜色像素感测结果来产生感测图像。
在本实施例中，节点N3可耦接至存储电容，其中所述存储电容可例如是金属绝缘层金属(Metal-Insulator-Metal；MIM)电容。在本实施例中，在红外光感测子像素224_1的重置期间，重置晶体管T5以及晶体管T4为导通，并且其他的晶体管为未导通，以使光电二极管PD4以及节点N1的电位被重置。在红外光感测子像素224_1的曝光期间，全部的晶体管为未导通。在红外光感测子像素224_1的读取期间，开关晶体管T8以及晶体管T4为导通，并且其他的晶体管为未导通，以使开关晶体管T8将光电二极管PD4的感测结果(曝光结果)的电压提供至所述存储电容。在本实施例中，所述存储电容还可耦接动态视觉传感器的相关信号处理电路。
图3是本发明的一实施例的形成差动对的第一感测像素以及第二感测像素的示意图。参考图3，动态视觉传感器300包括第一感测像素组310_1以及第二感测像素组310_2。第一感测像素组310_1包括感测像素320_1～320_4，并且第二感测像素组310_2包括感测像素320_5～320_8。值得注意的是，感测像素320_1～320_8可例如对应于图1的感测像素120_1～120_8。图1的像素阵列110可包括多个感测像素组。在本实施例中，感测像素120_1～120_8的每一个包括一个红色光感测子像素R1～R8、一个绿色光感测子像素G1～G8、一个蓝色光感测子像素B1～B8以及一个红外光感测子像素I1～I2。在本实施例中，第一感测像素组310_1的各感测像素的像素电路依序输出的多个颜色光感测子像素的感测结果与第二感测像素组310_2的各感测像素的像素电路依序输出的对应的另多个颜色光感测子像素的感测结果可形成差动输出，以有效降低感测图像(彩色图像)受到电源噪声(power noise)的影响。
具体而言，第一感测像素组310_1的感测像素320_1～320_4的每一个的斜坡电容在感测像素320_1～320_4各别进行读取期间可接收相同的上斜坡信号(ramp up signal)Vramp_P，并且第二感测像素组310_2的感测像素320_5～320_8的每一个的斜坡电容在感测像素320_5～320_8各别进行读取期间可接收相同的下斜坡信号(ramp down signal)Vramp_N，以形成差动输出。对此，上斜坡信号Vramp_P与下斜坡信号Vramp_N形成一差动信号对，其中上斜坡信号Vramp_P具有三角形的顶角朝向上(例如电压增加趋势的方向)的波形，而下斜坡信号Vramp_N具有三角形的顶角向下(例如电压减少趋势的方向)的波形。
举例而言，感测像素320_1的红色光感测子像素R1以及感测像素320_5的红色光感测子像素R5可的感测结果(曝光结果)可被同时读出，而形成差动输出。在本实施例中，动态视觉传感器300可基于双重三角采样(Double Delta Sampling)的操作方式来读出红色光感测子像素R1、R5分别的感测结果，以有效减少噪声(电源噪声)，且可有效地读出真实的亮度值(real digital number(DN)value)。另外，本实施例的动态视觉传感器300所读出的颜色光感测子像素的模拟至数字转换器解析度(ADC resolution)可例如是对应于10比特(bit)的数据量。
以此类推，感测像素320_1与感测像素320_5各别的多个颜色光感测子像素形成差动输出。感测像素320_2与感测像素320_6各别的多个颜色光感测子像素形成差动输出。感测像素320_3与感测像素320_7各别的多个颜色光感测子像素形成差动输出。感测像素320_4与感测像素320_8各别的多个颜色光感测子像素形成差动输出。值得注意的是，感测像素320_1～320_4的多个颜色光感测子像素是采用滚动式快门的操作方式进行运作。因此，感测像素320_1～320_4的多个颜色光感测子像素的操作时序彼此不同步，但是感测像素320_1～320_4的多个颜色光感测子像素与感测像素320_5～320_8的对应的多个颜色光感测子像素的操作时序同步。
在本实施例中，第一感测像素组310_1的红外光感测子像素I1～I4以及第二感测像素组310_2分别的红外光感测子像素I5～I8可以在部分重叠或不重叠的期间进行重置操作、曝光操作及读取操作。具体而言，感测像素320_1～320_8的多个红外光感测子像素I1～I8是采用全域快门的操作方式进行运作。值得注的意是，为了有效进行动态感测，本实施例的动态视觉传感器300是通过红外光感测子像素I1～I4以及红外光感测子像素I5～I8分别在两个极短的曝光期间内进行感测，因此其图像强度较低。因此，为了增加感测结果的图像强度，本实施例是分将四个红外光感测子像素为一组来存储其加总的感测结果。对此，感测像素320_1～320_4的多个红外光感测子像素I1～I4可同时执行重置、曝光以及读取操作，以取得一张红外光图像，并且感测像素320_5～320_8的多个红外光感测子像素I5～I8可同时执行重置、曝光以及读取操作，以取得另一张红外光图像。
在本实施例中，感测像素320_1～320_4的多个红外光感测子像素I1～I4的曝光期间与感测像素320_5～320_8的多个红外光感测子像素I5～I8的曝光期间可为部分重叠或不重叠。举例而言，感测像素320_1～320_4的多个红外光感测子像素I1～I4可在第一读取期间同时将感测像素320_1～320_4的曝光结果经由节点N3_1～N3_4(类似于图2实施例所述的N3)存储至存储电容Cs1。存储电容Cs1的一端耦接节点N3_1～N3_4，并且存储电容Cs1的另一端接地。感测像素320_5～320_8的多个红外光感测子像素I5～I8可在第二读取期间同时将感测像素320_5～320_8的曝光结果经由节点N3_5～N3_8(类似于图2实施例所述的N3)存储至存储电容Cs2。存储电容Cs2的一端耦接节点N3_5～N3_8，并且存储电容Cs1的另一端接地。另外，本实施例的动态视觉传感器300所读出的红外光感测子像素的模拟至数字转换器解析度(红外光感测子像素I1～I4或红外光感测子像素I5～I8的加总结果)可例如是对应于4比特的数据量。
在本实施例中，动态视觉传感器300的信号处理电路可分别读出存储电容Cs1以及存储电容Cs2的存储结果(电荷值)，并且可通过比较存储电容Cs1的存储结果以及存储电容Cs2的存储结果来产生红外光动态图像，有效地判断动态视觉传感器300于当前感测的感测图像是否为对应于动态事件。
换言之，为了判断动态视觉传感器300于当前感测的感测图像是否为对应于动态事件，本实施例的动态视觉传感器300可在执行彩色图像感测的过程(曝光时间较长)中同时以曝光时间较短的方式快速感测两张红外光图像，并且可通过比较此两张红外光图像是否存在差异(例如通过像素值比较)来有效地判断动态视觉传感器300的当前感测对象是否有移动或动作变化等动态事件。
图4是本发明的一实施例的动态视觉传感器的操作时序图。参考图3以及图4，动态视觉传感器300可进行如图4的操作时序。在本实施例中，如重置时序RR_1所示，红色光感测子像素R1、R5可在时间t0进行重置操作。如重置时序RG_1所示，绿色光感测子像素G1、G5可在时间t1进行重置操作。如重置时序RB_1所示，蓝色光感测子像素B1、B5可在时间t2进行重置操作。如重置时序RI_1～RI_4所示，红外光感测子像素I1～I4可在时间t3进行重置操作。如重置时序RI_5～RI_8所示，红外光感测子像素I5～I8可在时间t4进行重置操作。值得注意的是，红外光感测子像素I1～I4的第一重置期间与红外光感测子像素I5～I8的第二重置期间可为部分重叠或不重叠。接着，如重置时序RR_2所示，红色光感测子像素R2、R6可在时间t7进行重置操作。如重置时序RG_2所示，绿色光感测子像素G2、G6可在时间t8进行重置操作。如重置时序RB_2所示，蓝色光感测子像素B2、B6可在时间t9进行重置操作。接着，如重置时序RR_3所示，红色光感测子像素R3、R7可在时间t10进行重置操作。如重置时序RG_3所示，绿色光感测子像素G3、G7可在时间t11进行重置操作。如重置时序RB_3所示，蓝色光感测子像素B3、B7可在时间t12进行重置操作。以此类推，感测像素320_4、320_8分别的多个颜色光感测子像素可依序进行重置操作。
在本实施例中，如读取时序SR_1所示，红色光感测子像素R1、R5可在时间t13进行读取操作。如读取时序SG_1所示，绿色光感测子像素G1、G5可在时间t14进行读取操作。如读取时序SB_1所示，蓝色光感测子像素B1、B5可在时间t15进行读取操作。如读取时序SR_2所示，红色光感测子像素R2、R6可在时间t16进行读取操作。如读取时序SG_2所示，绿色光感测子像素G2、G6可在时间t17进行读取操作。如读取时序SB_2所示，蓝色光感测子像素B2、B6可在时间t18进行读取操作。接着，如读取时序SR_3所示，红色光感测子像素R3、R7可在时间t19进行读取操作。如读取时序SG_3所示，绿色光感测子像素G3、G7可在时间t20进行读取操作。如读取时序SB_3所示，蓝色光感测子像素B3、B7可在时间t21进行读取操作。以此类推，感测像素320_4、320_8分别的多个颜色光感测子像素可依序进行读取操作。值得注意的是，这里的读取操作是指各颜色光感测子像素基于晶体管(类似于图2实施例的晶体管T1～T3)的切换结果使得光电二极管经感光后所产生的电荷由光电二极管转移至浮动扩散结点(Floating diffusion node)(类似于图2实施例的节点N1)的操作。
在本实施例中，比对重置时序RI_1～RI_4与读取时序SI_1～SI_4，在时间t3至时间t5之间，在红外光感测子像素I1～I4结束重置期间后，红外光感测子像素I1～I4接着进行曝光期间ER1，并且红外光感测子像素I1～I4在时间t5开始读取操作。比对重置时序RI_5～RI_8与读取时序SI_5～SI_8，在时间t4至时间t6之间，在红外光感测子像素I5～I8结束重置期间后，红外光感测子像素I5～I8接着进行曝光期间ER2，并且红外光感测子像素I5～I8在时间t6开始读取操作。值得注意的是，这里的读取操作是指各红外光感测子像素基于晶体管(类似于图2实施例的晶体管T4、T8)的切换结果使得光电二极管经感光后所产生的电荷由光电二极管转移至存储电容(类似于图3实施例的存储电容Cs1、Cs2)的操作。曝光期间ER1与曝光期间ER2可为部分重叠或不同重叠。
如图4所示，红外光感测子像素I1～I4的曝光期间ER1以及红外光感测子像素I5～I8的曝光期间ER2较颜色光感测子像素的曝光期间为短(例如红色光感测子像素R1、R5的曝光期间EC1)。因此，本实施例的动态视觉传感器300可在取得一张感测图像(彩色图像)的过程中，同时快速地感测两张红外光图像，并且可通过比较此两张红外光图像是否存在差异(例如通过像素值比较)来有效地判断动态视觉传感器300的当前感测对象是否有移动或动作变化等动态事件。另外，本发明的红外光感测子像素的重置、曝光、读取期间的时序不限于图4。本发明的红外光感测子像素的重置、曝光、读取期间的时序可安排在颜色光感测子像素取得一张感测图像的过程中的任一时间区间。
综上所述，本发明的动态视觉传感器可包括多个颜色光感测子像素以及多个红外光感测子像素，并且本发明的感测子像素可利用在取得一张感测图像的过程中，同时地进行动态感测，以有效地判断此一张感测图像中的感测对象是否有移动或动作变化等动态事件发生。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (13)

1.一种动态视觉传感器，其特征在于，包括：
第一感测像素，包括：
多个颜色光感测子像素，耦接至第一节点；
第一像素电路，耦接至所述第一节点，并且用以依序输出所述多个颜色光感测子像素的感测结果；
红外光感测子像素，耦接至所述第一节点；
第二像素电路，耦接至所述第一节点，并且用以输出所述红外光感测子像素的感测结果；以及
斜坡电容，耦接在上斜坡信号以及所述第一节点之间；
另一第一感测像素，包括：
另多个颜色光感测子像素，耦接至另一第一节点；
另一第一像素电路，耦接至所述另一第一节点，并且用以依序输出另所述多个颜色光感测子像素的感测结果；
另一红外光感测子像素，耦接至所述另一第一节点；
另一第二像素电路，耦接至所述另一第一节点，并且用以输出所述另一红外光感测子像素的感测结果；以及
另一斜坡电容，耦接在下斜坡信号以及所述另一第一节点之间；
存储电容，经由所述第二像素电路的开关晶体管耦接至所述第一节点，并且用以存储所述红外光感测子像素的感测结果；以及
另一存储电容，经由所述另一第二像素电路的另一开关晶体管耦接至所述另一第一节点，并且用以存储所述另一红外光感测子像素的感测结果。
2.根据权利要求1所述的动态视觉传感器，其特征在于，所述存储电容的存储结果与所述另一存储电容的存储结果的比较结果用于决定当前通过所述多个红外光感测子像素以及另所述多个红外光感测子像素所产生的感测图像是否为对应于动态事件。
3.根据权利要求2所述的动态视觉传感器，其特征在于，还包括：
至少一第二感测像素，耦接至所述存储电容；以及
至少另一第二感测像素，耦接至所述另一存储电容。
4.根据权利要求3所述的动态视觉传感器，其特征在于，所述第一感测像素以及所述至少一第二感测像素的全部红外光感测子像素在曝光期间同时进行曝光，并且所述另一第一感测像素以及所述至少另一第二感测像素的全部红外光感测子像素在另一曝光期间同时进行曝光。
5.根据权利要求4所述的动态视觉传感器，其特征在于，所述曝光期间与所述另一曝光期间为部分重叠或不重叠。
6.根据权利要求1所述的动态视觉传感器，其特征在于，所述存储电容以及所述另一存储电容分别为金属绝缘层金属电容。
7.根据权利要求1所述的动态视觉传感器，其特征在于，在一个图框期间中，所述动态视觉传感器依据整体的颜色光感测子像素的感测结果来输出彩色图像，并且依据整体的红外光感测子像素的感测结果来输出红外光动态图像。
8.根据权利要求1所述的动态视觉传感器，其特征在于，所述第一像素电路的所述多个颜色光感测子像素所依序输出的感测结果与所述另一第一像素电路的另所述多个颜色光感测子像素所依序输出的感测结果形成差动输出。
9.根据权利要求1所述的动态视觉传感器，其特征在于，所述多个颜色光感测子像素以及另所述多个颜色光感测子像素分别包括红光感测子像素、绿光感测子像素以及蓝光感测子像素。
10.根据权利要求1所述的动态视觉传感器，其特征在于，所述多个颜色光感测子像素、另所述多个颜色光感测子像素、所述红外光感测子像素以及所述另一红外光感测子像素各别包括光电二极管。
11.根据权利要求1所述的动态视觉传感器，其特征在于，所述第一像素电路以及所述另一第一像素电路各别包括：
重置晶体管，所述重置晶体管的第一端耦接至重置电压；
源极随耦器晶体管，所述源极随耦器晶体管的第一端耦接至工作电压，并且所述源极随耦器晶体管的控制端耦接至所述重置晶体管的第二端；以及
选择晶体管，所述选择晶体管的第一端耦接至所述源极随耦器晶体管的第二端。
12.根据权利要求1所述的动态视觉传感器，其特征在于，所述动态视觉传感器的整体颜色光感测子像素适于被执行以滚动式快门的曝光操作，并且所述动态视觉传感器的整体红外光感测子像素适于被执行以全域快门的曝光操作。
13.根据权利要求1所述的动态视觉传感器，其特征在于，还包括像素阵列，其中所述像素阵列由多个第一感测像素以及另多个第一感测像素所组成。
CN202110196584.4A 2020-07-10 2021-02-22 动态视觉传感器 Active CN113923386B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063050120P 2020-07-10 2020-07-10
US63/050,120 2020-07-10

Publications (2)

Publication Number Publication Date
CN113923386A true CN113923386A (zh) 2022-01-11
CN113923386B CN113923386B (zh) 2023-10-27

Family

ID=79173267

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110176362.6A Pending CN113985425A (zh) 2020-07-10 2021-02-09 测距装置以及测距方法
CN202110196584.4A Active CN113923386B (zh) 2020-07-10 2021-02-22 动态视觉传感器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110176362.6A Pending CN113985425A (zh) 2020-07-10 2021-02-09 测距装置以及测距方法

Country Status (3)

Country Link
US (2) US11343456B2 (zh)
CN (2) CN113985425A (zh)
TW (2) TWI773133B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11622092B2 (en) * 2017-12-26 2023-04-04 Pixart Imaging Inc. Image sensing scheme capable of saving more power as well as avoiding image lost and also simplifying complex image recursive calculation
US11405581B2 (en) 2017-12-26 2022-08-02 Pixart Imaging Inc. Motion detection methods and image sensor devices capable of generating ranking list of regions of interest and pre-recording monitoring images
US20230175836A1 (en) * 2021-12-03 2023-06-08 Pixart Imaging Inc. Distance determining system and proximity sensor

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020209A1 (en) * 2008-07-25 2010-01-28 Samsung Electronics Co., Ltd. Imaging method and apparatus
US20100289885A1 (en) * 2007-10-04 2010-11-18 Yuesheng Lu Combined RGB and IR Imaging Sensor
WO2013027340A1 (ja) * 2011-08-24 2013-02-28 パナソニック株式会社 撮像装置
DE102011053219A1 (de) * 2011-09-02 2013-03-07 Pmdtechnologies Gmbh Kombiniertes Pixel mit phasensensitivem und farbselektivem Subpixel
US20140375820A1 (en) * 2013-06-20 2014-12-25 Microsoft Corporation Multimodal Image Sensing for Region of Interest Capture
US20150054919A1 (en) * 2013-08-22 2015-02-26 SK Hynix Inc. Three-dimensional image sensor module and method of generating three-dimensional image using the same
US20170163914A1 (en) * 2014-08-20 2017-06-08 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device and camera
US20180209842A1 (en) * 2017-01-25 2018-07-26 Cista System Corp. System and method for visible and infrared high dynamic range sensing
US20180352183A1 (en) * 2017-06-01 2018-12-06 Fiery Phoenix Inc. Image sensor
US20190378864A1 (en) * 2018-06-07 2019-12-12 Semiconductor Components Industries, Llc Image sensors with multi-photodiode image pixels and vertical transfer gates

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3884321B2 (ja) * 2001-06-26 2007-02-21 オリンパス株式会社 ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
US8279418B2 (en) * 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
JP5132832B1 (ja) * 2011-07-11 2013-01-30 キヤノン株式会社 計測装置および情報処理装置
KR101854188B1 (ko) * 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
US8946613B2 (en) * 2012-11-07 2015-02-03 Himax Imaging, Inc. Ultra low readout noise architecture having a pixel sensor with dual active pixel sensor pixel and dual ramp line
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
TWI485361B (zh) * 2013-09-11 2015-05-21 Univ Nat Taiwan 三維形貌輪廓量測裝置及其方法
US11176655B2 (en) * 2014-01-27 2021-11-16 Cognex Corporation System and method for determining 3D surface features and irregularities on an object
US10368056B2 (en) * 2015-06-19 2019-07-30 Shanghai Percipio Technology Limited Depth data detection and monitoring apparatus
KR102618850B1 (ko) * 2015-09-10 2023-12-27 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 모듈, 전자 기기, 및 촬상 장치의 동작 방법
CN105303572B (zh) * 2015-10-26 2018-05-25 西安电子科技大学 基于主被动结合的深度信息获取方法
WO2017159394A1 (ja) * 2016-03-17 2017-09-21 ソニー株式会社 撮像素子および電子機器
US20170323429A1 (en) * 2016-05-09 2017-11-09 John Peter Godbaz Multiple patterns in time-of-flight camera apparatus
KR102527110B1 (ko) * 2016-05-23 2023-05-03 에스케이하이닉스 주식회사 아날로그-디지털 변환 장치 및 그 동작 방법
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
CN107370951B (zh) * 2017-08-09 2019-12-27 Oppo广东移动通信有限公司 图像处理系统及方法
EP3477251B1 (en) * 2017-08-29 2020-05-13 Shenzhen Goodix Technology Co., Ltd. Optical ranging method and optical ranging apparatus
WO2020045770A1 (en) * 2018-08-31 2020-03-05 Samsung Electronics Co., Ltd. Method and device for obtaining 3d images
TWI837163B (zh) * 2018-09-13 2024-04-01 日商索尼半導體解決方案公司 固態攝像元件及電子機器
US11158074B1 (en) * 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
US10977775B2 (en) * 2018-12-07 2021-04-13 Himax Technologies Limited Depth decoding system and method for ground truth image rectification
JP7565282B2 (ja) * 2019-01-20 2024-10-10 マジック アイ インコーポレイテッド 複数個の通過域を有するバンドパスフィルタを備える三次元センサ
KR102693894B1 (ko) * 2019-03-29 2024-08-12 삼성전자주식회사 광각 고해상도 거리 측정 장치
US11418274B2 (en) * 2019-05-02 2022-08-16 Guangzhou Tyrafos Semiconductor Technologies Co., Ltd Multimedia system applying time of flight ranging and operating method thereof
TWI748460B (zh) * 2019-06-21 2021-12-01 大陸商廣州印芯半導體技術有限公司 飛時測距裝置及飛時測距方法
EP4065929A4 (en) * 2019-12-01 2023-12-06 Magik Eye Inc. IMPROVEMENT OF TRIANGULATION-BASED THREE-DIMENSIONAL DISTANCE MEASUREMENTS WITH TIME OF FLIGHT INFORMATION
US11132804B2 (en) * 2020-01-07 2021-09-28 Himax Technologies Limited Hybrid depth estimation system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100289885A1 (en) * 2007-10-04 2010-11-18 Yuesheng Lu Combined RGB and IR Imaging Sensor
US20100020209A1 (en) * 2008-07-25 2010-01-28 Samsung Electronics Co., Ltd. Imaging method and apparatus
WO2013027340A1 (ja) * 2011-08-24 2013-02-28 パナソニック株式会社 撮像装置
DE102011053219A1 (de) * 2011-09-02 2013-03-07 Pmdtechnologies Gmbh Kombiniertes Pixel mit phasensensitivem und farbselektivem Subpixel
US20140375820A1 (en) * 2013-06-20 2014-12-25 Microsoft Corporation Multimodal Image Sensing for Region of Interest Capture
US20150054919A1 (en) * 2013-08-22 2015-02-26 SK Hynix Inc. Three-dimensional image sensor module and method of generating three-dimensional image using the same
US20170163914A1 (en) * 2014-08-20 2017-06-08 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device and camera
US20180209842A1 (en) * 2017-01-25 2018-07-26 Cista System Corp. System and method for visible and infrared high dynamic range sensing
US20180352183A1 (en) * 2017-06-01 2018-12-06 Fiery Phoenix Inc. Image sensor
US20190378864A1 (en) * 2018-06-07 2019-12-12 Semiconductor Components Industries, Llc Image sensors with multi-photodiode image pixels and vertical transfer gates

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龙勇志: "红外与可见光图像配准与融合算法研究", 《优秀硕士论文》 *

Also Published As

Publication number Publication date
TWI773133B (zh) 2022-08-01
US11343456B2 (en) 2022-05-24
CN113985425A (zh) 2022-01-28
TW202203443A (zh) 2022-01-16
US20220254044A1 (en) 2022-08-11
CN113923386B (zh) 2023-10-27
TW202202871A (zh) 2022-01-16
US20220014702A1 (en) 2022-01-13
TWI793531B (zh) 2023-02-21
US11638073B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
US11606520B2 (en) Image sensor
CN113923386B (zh) 动态视觉传感器
US10170514B2 (en) Image sensor
KR102612718B1 (ko) 복수의 슈퍼-픽셀(super-pixel)들을 포함하는 이미지 센서
KR20200075962A (ko) 피드백 루프를 통해 픽셀들의 각각의 변환 이득들을 결정하는 이미지 센서
JP2014222863A (ja) 撮像装置
KR20080095176A (ko) 고체 촬상장치, 고체 촬상장치의 신호 처리 방법, 및촬상장치
US20210266477A1 (en) Image sensor and imaging device including the same
WO2017212075A2 (en) Cmos image sensors with reduced power consumption
KR20210066048A (ko) 이미지 센서, 그것을 포함하는 이미지 장치, 및 그것의 동작 방법
US12022221B2 (en) Image sensor
CN111095915A (zh) 暗电流相关双采样器、图像传感器和暗电流补偿方法
KR101585978B1 (ko) 이미지 센서
CN210694150U (zh) 图像传感器
CN106973245A (zh) 影像感测器及使用其的影像撷取装置
US11244976B2 (en) Photoelectric conversion device, photoelectric conversion system, and signal processing device
US20210006761A1 (en) Image sensor and driving method thereof
US10880500B2 (en) Pixel apparatus and CMOS image sensor using the same
US20130221201A1 (en) Image sensor for minimizing variation of control signal level
US7250592B2 (en) Image sensor with improved sensitivity and method for driving the same
CN112040159A (zh) 图像感测设备
WO2016171544A1 (en) Shifted binning in x-ray sensors
KR20230068826A (ko) 이미지 센싱 시스템
CN118233771A (zh) 图像传感器及操作图像传感器的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant