CN113454683A - 事件驱动的摄像机中的全局运动抑制 - Google Patents
事件驱动的摄像机中的全局运动抑制 Download PDFInfo
- Publication number
- CN113454683A CN113454683A CN201980093260.9A CN201980093260A CN113454683A CN 113454683 A CN113454683 A CN 113454683A CN 201980093260 A CN201980093260 A CN 201980093260A CN 113454683 A CN113454683 A CN 113454683A
- Authority
- CN
- China
- Prior art keywords
- event
- pixel
- global motion
- pixels
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001629 suppression Effects 0.000 title claims abstract description 33
- 230000004044 response Effects 0.000 claims abstract description 8
- 230000004913 activation Effects 0.000 claims description 55
- 230000010354 integration Effects 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 22
- 238000010304 firing Methods 0.000 claims description 13
- 230000005284 excitation Effects 0.000 claims description 12
- 239000003990 capacitor Substances 0.000 description 22
- 230000008569 process Effects 0.000 description 10
- 238000004091 panning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 239000000872 buffer Substances 0.000 description 3
- 230000002028 premature Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000011143 downstream manufacturing Methods 0.000 description 2
- 238000010893 electron trap Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000003071 parasitic effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本文描述了事件驱动的摄像机中的全局运动抑制的示例。在一些示例中,基于事件驱动的图像传感器的多个像素检测到事件而检测到事件驱动的摄像机的全局运动。响应于检测到全局运动,可以由事件驱动的图像传感器电路抑制全局运动。
Description
背景技术
计算设备用于执行各种任务,包括工作活动、银行业务、研究、运输和娱乐。在一些示例中,计算设备可以用于捕获和处理感测数据。例如,摄像机可以捕获图像数据。在一些示例中,摄像机可以是检测场景中的改变的事件驱动的摄像机。
附图说明
下面将通过参考以下附图来描述各种示例。
图1是其中可以执行全局运动抑制的事件驱动的摄像机的一个示例框图;
图2是示出用于事件驱动的摄像机中的全局运动抑制的方法的一个示例流程图;
图3是用于事件驱动的摄像机中的全局运动抑制的四像素模块的示例;
图4是用于事件驱动的摄像机中的全局运动抑制的16像素阵列模块的一个示例;以及
图5是示出像素阵列的复位信号及全局激活信号的一个示例。
贯穿附图,相同的附图标记表示相似的但不必相同的要素。附图不一定按比例绘制,并且一些部件的尺寸可能被放大以更清楚地示出所示的示例。此外,附图提供了与本描述一致的示例和/或实现方式;然而,本描述不限于附图中提供的示例和/或实现方式。
具体实施方式
本文描述了事件驱动的摄像机中的全局运动抑制的示例。在一些示例中,事件驱动的摄像机记录了不属于摄像机视场中对象的运动。这种运动本质上是全局的,并且可能是由摄像机自身的运动相对于对象的运动而引起的。这种全局运动可能是由于摇摄、抖晃和其他形式的摄像机运动引起的。在全局运动期间读取和处理像素数据可能是低效的。本文描述了事件驱动的摄像机中的全局运动抑制的示例。
图1是其中可以执行全局运动抑制的事件驱动的摄像机102的一个示例框图。事件驱动的摄像机102可以是独立的设备或者可以整合到其他电子设备(例如,台式计算机、膝上型计算机、平板设备、智能电话、蜂窝电话、游戏控制台、服务器设备、摄像机和/或智能电器等)中。可以使用事件驱动的摄像机102的应用的示例包括3D打印机中的热成像、打印质量评估、虚拟现实、自主车辆导航和机器人技术。
计算中的新兴范例是事件驱动的处理,其是大脑启发计算(也称为神经形态计算)的更大范围内的一个方面。事件驱动的处理与人脑内的刺突和刺突传播具有相似性。由于处理是由事件触发的,所以当与非事件驱动的系统相比时,事件驱动的摄像机102所消耗的能量可以明显更少。例如,在基于帧的摄像机中,周期性地读出整个图像帧,即使当图像帧之间的变化很微小时也是如此。例如,可以读出整个图像帧,并且即使在大多数像素保持不变时,仍可以处理图像帧内的像素。相比之下,在事件驱动的图像传感器104中,代替周期性地读取图像帧,可以在检测到变化时读取各个像素。在图像数据的背景下,摄像机中的能量效率可有益于在边缘条件下且在摄像机可由电池供电的情况下进行连续感测。
虽然事件驱动的图像传感器104可以提高摄像机捕获侧的效率,但是也可以针对图像处理实现类似的事件驱动方法。通过模仿生物学,并且特别是人脑,有机会在计算效率方面极大地改进这些系统。
事件驱动的摄像机102提供了优于基于帧的摄像机的若干益处。事件驱动的摄像机102实质上更加能量有效,这导致功耗的数量级减少。事件是存储、计算和带宽效率的稀疏结果。另外,事件驱动的摄像机102使得能够显著增加动态范围,这使得能够实现可能受到包括对象背光的困难照明条件挑战的细微图像质量缺陷的检测或面部和/或对象识别。然而,事件驱动的摄像机102可能会遇到损害能量存储、计算和带宽效率以及高动态范围的场景。
事件驱动的摄像机102根据在有明显运动的情况下捕获光的原理工作。在事件驱动的摄像机102中,当像素106被运动触发时,像素106可以报告事件。例如,当人通过视场(FOV)时,其上记录有运动的那些像素106可以被读出以便处理,而没有运动的背景像素106将不被处理。
事件驱动的摄像机102可以通过像素积分的过程来检测运动。当光(例如,光子)接触像素106时,像素106将电子存储在像素阱中。存储在像素阱中的电子的量与由像素106感测的光的量成比例。如本文所使用,像素积分是对由像素106在一段时间(例如,曝光时间)内感测到的光(例如,光子)的量的测量。换句话说,像素积分是在指定时间间隔期间在像素106内累积的所存储电荷的测量。在一些示例中,像素106可输出指示像素积分值的像素积分信号(本文中称为像素积分输出)。
在像素积分期间,当达到事件阈值时,记录运动的像素106就将这样做。当检测到高频运动时,像素106快速积分,直到其达到事件阈值。这可以被称为像素激发(firing)。当像素106激发时,像素输出可作为事件而被读出。在一个示例中,当像素积分达到事件阈值时,像素106可以输出像素激发信号。换句话说,当达到像素阱阈值(称为事件阈值)时,可以断言像素激发信号。
这些事件可以在事件驱动的图像传感器104内以及通过下游处理(例如,刺突神经网络(SNN))来处理。例如,下游处理可被用于识别通过FOV的人。这对于诸如行人检测、对象识别和各种其它应用的应用是有用的。当为事件驱动的图像传感器104供电的设备具有小电池时,基于事件的处理也是有用的。另外,当所观察的主题经历宽动态范围时,基于事件的处理可能是有用的,这可能超出了基于帧的摄像机传感器检测的能力。
虽然事件驱动的摄像机102非常有用,但是存在当它们的特征可能不提供所描述的益处时的常见场景。这些场景可能在事件驱动的摄像机102记录不属于对象的运动时出现。这种运动本质上是全局的,因为运动是由摄像机自身的运动而不是对象的运动引起的。该全局运动可以由于事件驱动的摄像机102的摇摄、抖晃(例如,手抖晃)、抖动和其他形式的摄像机运动。
当发生这种全局运动时,事件驱动的图像传感器104内的所有像素106都记录了运动。然后所有像素都被读出、处理和存储。然而,在这种情况下,像素读出、处理和存储是不必要的。换句话说,在全局运动事件期间的像素读出、处理和存储没有提供益处,因为没有检测到对象运动。当这种情况发生时,事件驱动的摄像机102可能变得与基于帧的摄像机一样低效。
在不抑制全局运动的情况下,事件驱动的摄像机102可能会经历以下问题。功耗可能会急剧增加。由于在处理像素106时由于全局运动而引起的功耗是不必要的,所以在否则非常高效的摄像机系统中的效率受到了影响。这种不必要的像素处理还会导致事件驱动的图像传感器104下游的其他数据路径、存储器访问和处理网络中的浪费的功率。另外,浪费的像素处理可能会导致不利地影响存储效率,损害由事件的稀疏性引起的压缩效率。此外,像素106具有最大电子阱(称为像素阱)容量。通过不必要地积分,像素阱更容易饱和,这影响了高动态范围的益处。
在一些方法中,可执行后处理以在稍后阶段检测全局运动,以帮助用于事件检测的处理。然而,利用这些方法,还不能克服上述问题。事实上,后处理将会导致进一步的功耗。
本文描述了事件驱动的摄像机102的示例,其包括事件驱动的图像传感器104内的电路以检测和抑制像素阵列中的全局运动。这可以使事件驱动的摄像机102的下游阶段免于必须携带、存储和处理与全局运动相关联的额外像素数据。这种方法还可以防止无论何时发生全局运动时像素阱的过早饱和。
事件驱动的图像传感器104包括多个像素106。在一个示例中,像素106被布置成阵列,其中,多个像素106形成了像素的行,并且多个像素106形成了像素的列。
应当注意,事件驱动的摄像机102可以检测事件驱动的图像传感器104的视场内的变化。给定像素106可以输出像素积分输出信号和像素激发信号。像素积分输出信号是当像素106积分时被断言的输出信号。如本文所使用的,像素积分输出指示了在一段时间(例如,曝光时间)内由像素106感测到的光(例如,光子)的量。像素积分输出可以用于检测低频全局运动。
像素激发信号是当像素阱达到事件阈值时被断言的信号。像素激发信号可被用于检测高频事件。
在一些示例中,像素106还可接收像素复位信号。像素复位信号可以与像素106相关,使得每当断言该复位信号时,该像素106就得到复位。像素复位信号可致使像素106对像素阱放电,这导致像素积分输出复位。
事件驱动的图像传感器104可以包括全局运动检测电路108,以基于事件驱动的图像传感器104的多个像素106检测到事件而检测到事件驱动的摄像机102的全局运动。在一些示例中,全局运动可以包括事件驱动的摄像机102的摇摄或抖晃。
当预定百分比的像素106检测到事件时,可检测到全局运动。在一些示例中,如果某一预定数目或百分比的像素106是活动的,那么可检测到全局运动。例如,当所有像素106是活动的时,可以检测到全局运动。在另一示例中,当预定百分比(例如,小于100%)的像素106是活动的时,可检测到全局运动。
在其它示例中,像素106的预定子集可被用于检测全局运动。例如,所有边缘像素106、每隔一个像素106、每三个像素106等可以用于检测全局运动。在此示例中,其它像素106可不连接到全局运动检测电路108。
全局运动检测电路108可接收来自多个像素106中的每一个的像素积分输出。全局运动检测电路108可检测多个像素106中的每一个的像素积分输出何时达到事件指示值。这可以指示像素106已经检测到低频事件(例如,全局运动)。事件指示值可以是像素积分输出的某个值,其指示在像素阱中已经发生了足够的变化以表示事件驱动的图像传感器104视场中的变化。
应当注意,事件指示值可以小于用于断言像素激发信号的事件阈值。例如,像素积分输出可以小于将触发像素激发的事件阈值。然而,像素积分输出可被用于检测否则可能不触发高频事件的低频运动(例如,全局运动)。
全局运动检测电路108还可包含像素积分延迟组件,其在像素积分输出达到事件指示值时进行延迟。例如,像素积分延迟组件可以具有第一时间常数,该第一时间常数是检测低频全局运动(例如,摇摄)的大时间常数。因为低频全局运动可以在较长的时间段内是可检测的(与将触发像素激发信号的高频事件相比),所以像素积分延迟组件的大时间常数可以用于在由像素106检测到全局运动时进行延迟。这可以确保不会过早地断言全局运动检测。
在一个示例中,像素积分延迟组件可实施为耦合到像素106的像素积分输出的电容器。图3中描述了这种方法的一个示例。
事件驱动的图像传感器104还可以包括全局运动抑制电路110。全局运动抑制电路110可响应于检测到全局运动而抑制全局运动。由全局运动抑制电路110抑制全局运动可以包括生成全局激活信号,该全局激活信号防止了存储和处理包含在多个像素106中的数据。当所有像素106被触发时(例如,像素106基于像素积分输出而检测到事件),那么全局运动抑制电路110可以产生全局激活信号。当输出全局激活信号时,这指示所有像素106已激活。例如,当事件驱动的摄像机102由于摇摄或抖晃而经历了全局运动时,可以断言全局激活信号。在这种情况下,像素值可能是无用的,因此可能会导致额外的功耗。
在一些示例中,全局激活信号可以用作事件驱动的图像传感器104内的像素阵列读出和处理的选择器。例如,当断言全局激活信号(例如,ON(接通))时,那么检测到全局运动并且不读出和/或处理像素数据。这将抑制像素数据的不必要和浪费的读出和处理。当全局激活信号被解断言(例如,OFF(关断))时,那么全局运动不被检测,且像素数据可被读出和/或处理。
在一些示例中,抑制全局运动可以包括响应于检测到全局运动而复位多个像素106。例如,在生成全局激活信号时,像素复位信号可被发送到多个像素106中的每一者。当发生全局运动时,像素106可能不必要地整合。这种全局运动可以使像素阱更快地填满,并且使像素106更快地饱和。这种场景对事件驱动的图像传感器104的动态范围会产生负面影响。
为了保持动态范围,全局激活信号可被用于断言复位信号,该复位信号被反馈到事件驱动的图像传感器104中的所有像素106。复位信号将使像素106清空像素阱。在一些实施方案中,可在复位信号断言上包括延迟元件以防止像素积分和像素复位之间的竞争情况。复位信号提供了一种机制,通过该机制,无论何时存在全局运动,事件驱动的图像传感器104中的所有像素106都可以被复位。这可以防止像素106的过早饱和,这提高了事件驱动的图像传感器104的动态范围。
事件驱动的图像传感器104还可以包括像素激发检测电路。如上所述,高频事件可以引起像素106激发。高频事件可能是由于事件驱动的图像传感器104视场中的可观察到的运动造成的。换句话说,高频事件可以是事件驱动的摄像机102要检测的有意义的信息。当检测到高频事件时,像素106快速积分,直到其达到事件阈值。当像素积分达到事件阈值时,像素106可以输出像素激发信号。当像素106激发时,这应该被记录。正在进行的任何全局运动抑制可以被中断。
像素激发检测电路可以检测给定像素106的像素激发信号何时达到事件阈值。像素激发检测电路可复位给定像素106的像素积分输出,其中断了全局运动抑制。换句话说,一旦多个像素106中的一个不再输出等于或大于事件指示值的像素积分输出,全局运动抑制电路110就可以停止断言全局激活信号。当全局激活信号被解断言(例如,关断)时,那么全局运动就不被检测,且像素数据可被读出和/或处理。
在一个示例中,像素激发检测电路可包括具有第二时间常数的像素激发延迟组件,该第二时间常数小于像素积分延迟组件的第一时间常数。如上文所描述,像素积分延迟组件可具有大时间常数以避免过早地断言全局运动检测。然而,为了避免错过有意义的事件,与全局运动检测相比,可以快速地检测像素激发事件。换句话说,可以快速地检测触发事件的高频运动以避免错过事件。因此,当与像素积分延迟组件的第一时间常数相比时,像素激发延迟组件的时间常数可以非常小。在一个示例中,像素激发延迟组件可以被实现为耦合到像素106的像素激发信号的电容器。图3中描述了这种方法的一个示例。
本文描述了事件驱动的摄像机102中的全局运动抑制的一些附加方面。结合图3和图4描述了检测和抑制全局运动的电路的示例。结合图5描述了响应于检测到全局运动而断言的全局像素复位信号的一个示例。
图2是示出用于事件驱动的摄像机102中的全局运动抑制的方法200的一个示例流程图。事件驱动的摄像机102可以包括具有多个像素106的事件驱动的图像传感器104。像素106可各自提供像素积分输出。
事件驱动的图像传感器104可以基于事件驱动的图像传感器104的多个像素106检测到事件而检测到202事件驱动的摄像机102的全局运动。例如,事件驱动的图像传感器104可以包括全局运动检测电路108,以检测多个像素106的预定百分比的像素积分输出何时达到事件指示值。在一些实施方式中,全局运动检测电路108可在所有像素106的像素积分输出达到事件指示值时检测到202全局运动。
在一些示例中,全局运动检测电路108还可包括具有用于多个像素106中的每一个的第一时间常数的像素积分延迟组件。像素积分延迟组件的第一时间常数可以是大的时间常数。当像素积分输出达到事件指示值时,像素积分延迟组件可延迟。该延迟可以使事件驱动的图像传感器104能够检测低频全局运动(例如,摇摄和/或抖晃)。
事件驱动的图像传感器104可以响应于检测到全局运动而抑制全局运动。例如,事件驱动的图像传感器104可以包括全局运动抑制电路110,以在多个像素106中的每一个的像素积分输出达到事件指示值时生成全局激活信号。全局激活信号可以防止存储和处理包含在多个像素106中的数据。全局运动抑制电路110也可以复位多个像素106。例如,在检测到全局运动时,全局运动抑制电路110可将复位信号发送到多个像素106。
图3是用于事件驱动的摄像机中的全局运动抑制的四像素模块311的一个示例。四像素模块311是结合图1描述的全局运动检测电路和全局运动抑制电路的一个示例。
在该示例中,四个像素306a-d被组装成一个阵列以形成四像素模块311。每个像素306输出在像素306积分时被断言的像素积分输出信号312。如上所述,像素积分是在一段时间内由像素306感测到的光的量的度量。因此,像素积分可以是在指定时间间隔期间在像素306内累积的存储电荷的测量。像素积分输出信号312a-d可被称为像素激活信号。在一些示例中,像素积分输出信号312a-d可包括对应于像素积分值的电压,其中,所述电压随着像素积分值增加而增加。
像素306a-d还输出像素激发信号318。当像素积分达到事件阈值时,像素306可以输出像素激发信号。换句话说,当达到像素阱阈值(称为事件阈值)时,可以断言像素激发信号318。
像素306a-d可以接收复位信号330。在接收到复位信号330时,像素306a-d可复位。例如,可以使在电子阱内累积的电荷放电。
在该四像素模块311中,来自每个像素306的像素积分输出信号312控制负沟道金属氧化物(NMOS)晶体管314的栅极输入。四个NMOS晶体管314a-d串联连接以形成与非(非-与)门。换句话说,全局运动检测电路可包括与非门。与非门的输入可耦合到多个像素306a-d的像素积分输出312a-d。
当NMOS晶体管314a-d未接通时,可使用正沟道金属氧化物(PMOS)晶体管326a-d来上拉所述线(即,四像素激活信号328)。因此,像素积分输出信号312a-d可被耦合到并联连接的PMOS晶体管326a-d的栅极。在一个示例中,全电路可以构成互补MOS(CMOS)与非门。
来自该门的反相输出可以是四像素激活信号328。当四像素激活信号328被断言(例如,接通)时,这指示到NMOS晶体管314a-d的栅极的所有输入均接通。换句话说,当四像素激活信号328被断言时,事件驱动像素306a-d中的每一个已经被激活。如果四像素激活信号328为关断,那么这意味着(一个或多个)像素306还没有感测到事件。当到与非门的所有输入达到事件指示值时,与非门的反相输出为接通。当与非门的反相输出为接通时,全局运动抑制电路生成四像素激活信号328。
在一个示例中,NMOS晶体管314a-d是连接到四像素306a-d的像素积分输出信号312a-d的下拉晶体管。NMOS晶体管314a-d的栅极由电容器316a-d来控制。当跨输入电容器316的电压超过相应NMOS晶体管314的阈值电压时,NMOS晶体管314的栅极接通。
电容器316a-d可以是具有大时间常数的涓流充电电容器。电容器316a-d可用于检测低频全局运动(例如,摇摄)。这些电容器316a-d在无论何时它们相应像素306a-d积分时充电。例如,电容器316a-d可基于与像素积分输出信号312a-d相关联的电压而充电。
在一些示例中,四像素阵列的输出四像素激活信号328可横跨较大距离,且因此可具有较高寄生效应。PMOS晶体管326a-d可以是P型上拉晶体管,其确保四像素激活信号328的输出状态被保持且不易于受到由寄生效应引起的泄漏的影响。
高频事件可以使像素306激发。这在像素306快速积分直到它达到事件阈值时发生。这被称为像素激发。当该像素306激发时,这可能是有意义的并且应当被记录。正在进行的任何全局运动抑制可以被中断。在一个示例中,这可以通过对耦合到像素激发信号318a-d的电容器320a-d充电来实现。当NMOS晶体管322a-d的栅极处的电压达到NMOS晶体管322a-d的阈值时,NMOS晶体管322a-d接通。这导致到地的路径以对像素积分输出312a-d上的相应电容器316a-d进行放电,从而去除由于先前全局运动事件而引起的任何电荷累积。与全局运动事件相比,像素激发事件可以被快速地检测。因此,当与像素积分电容器316a-d的时间常数相比时,像素激发电容器320a-d的时间常数可以非常小。
当所有四个像素306a-d均已检测到全局运动时(即,当所有四个NMOS晶体管314a-d均接通时),这导致4像素全局运动检测逻辑接通。在这种情况下,输出信号电容器329可以被充电,并且四像素激活信号328被断言。在4像素模块的情况下,该四像素激活信号328是结合图1所描述的全局激活信号的一个示例。四像素激活信号328也可称为四像素激活输出。
在一些示例中,4像素模块还可以包括复位信号330。复位信号330的值可以存储在缓冲器328a-b中。复位信号330可以耦合到像素306a-d的复位输入。当复位信号330被断言(例如,接通)时,像素306a-d可以被复位。
复位信号330也可耦合到NMOS晶体管324a-d的栅极。当NMOS晶体管324a-d的栅极处的电压达到NMOS晶体管324a-d的阈值时,NMOS晶体管324a-d接通。这导致到地的路径以对像素积分输出312a-d上的相应电容器316a-d进行放电,从而去除由于复位了全局运动检测的先前全局运动事件而引起的任何电荷累积。
应当注意,即使图3示出了四个像素306a-d的分组,也可以根据设计需要选择不同的组大小。例如,像素模块可以包括2个像素、3个像素、5个像素等等。这可以被称为n像素分组,其中,“n”是像素306的可变数量。
图4是用于事件驱动的摄像机中的全局运动抑制的16像素阵列模块432的一个示例。如上所述,n像素分组可被用于构建像素的宏分组。在此示例中,4个四像素阵列模块411a-d分组在一起以形成16像素阵列模块432。图4的四像素阵列模块411a-d可以实现为图3中描述的四像素阵列模块311a-d。16像素阵列模块432的功能可以类似于图3中描述的四像素阵列模块311。
在此示例中,每个四像素阵列模块411可包括四个像素和用以输出四像素激活信号428的电路。在该示例中,将四像素阵列模块411a-d组装成阵列以形成16像素阵列。每个四像素阵列模块411输出在每个像素积分时被断言的四像素激活信号428。
在该示例中,来自每个四像素阵列模块411的四像素激活信号428a-d控制NMOS晶体管414a-d的栅极输入。四个NMOS晶体管414a-d串联连接以形成与非门。PMOS晶体管426a-d可用于在NMOS晶体管414a-d未接通时上拉所述线(即,16像素激活信号434)。因此,四像素激活信号428a-d可耦合到并联连接的PMOS晶体管426a-d的栅极。
来自PMOS晶体管426a-d的栅极的反相输出可以是16像素激活信号434。当16像素激活信号434被断言(例如,接通)时,这指示NMOS晶体管414a-d的栅极的所有输入接通。换句话说,当16像素激活信号434被断言时,16像素阵列模块432内的16个事件驱动像素中的每一个已被激活。如果16像素激活信号434为关断,则这意味着(一个或多个)像素还没有感测到事件。
在一个示例中,NMOS晶体管414a-d是连接到四个像素406a-d的像素积分输出信号412a-d的下拉晶体管。NMOS晶体管414a-d的栅极由电容器416a-d来控制。当跨输入电容器416的电压超过相应NMOS晶体管414的阈值电压时,NMOS晶体管414的栅极接通。电容器416a-d可以是具有大时间常数的涓流充电电容器。电容器416a-d可用于检测低频全局运动(例如,摇摄)。每当四像素激活信号428被断言时,这些电容器416a-d就充电。
当四像素阵列模块411a-d中的每一个已检测到全局运动时(即,当所有四个NMOS晶体管414a-d均为接通时),这会导致16像素全局运动检测逻辑接通。在这种情况下,输出信号电容器429可以被充电,并且16像素激活信号434被断言。
在一些示例中,16像素阵列模块432可用于构建64像素阵列模块。64像素阵列模块可用于构建256像素阵列模块,等等。在每个阶段,当断言N像素激活输出时,这意味着模块内的所有像素已经感测到事件。
事件驱动的摄像机中的像素的输出将在激活时激发。利用本文所述的像素阵列模块,每个模块可检测何时激活模块内的所有像素。利用这种分层安排,在每个模块的激活被传播到更大的模块。因此,可检测到整个像素阵列激活。当整个像素阵列激活时所断言的信号是全局激活信号。
图5是示出像素阵列540的全局激活信号542及复位信号530的一个示例。像素阵列540可以包括如结合图3和图4所描述的多个像素阵列模块。当像素阵列540中的所有像素检测到事件时,像素阵列540可以输出全局激活信号542。
在一个示例中,全局激活信号542的值可被存储在缓冲器544中。全局激活信号542可以被提供给与门552。与门552的输入处的反相器556可使全局激活信号542反相。与门552还可接收读取/处理信号550,其指示事件驱动的摄像机读出并处理像素数据。
当全局激活信号542为关断时(即,未检测到全局运动),则与门552输出与输入读取/处理信号550的状态匹配的读取/处理信号554。当全局激活信号542为接通(即,检测到全局运动)时,则即使输入读取/处理信号550为接通,与门552也将读取/处理信号554输出为关断。
全局激活信号542可被用于激活复位信号530。在一个示例中,全局激活信号542可被提供给存储全局激活信号542的状态的缓冲器546。复位信号530可反馈到像素阵列540中的所有像素。当全局激活信号542被断言(例如,接通)时,复位信号530可以被断言(例如,接通)。复位信号530可使像素清空其像素阱。这提供了一种机制,通过该机制,每当存在全局运动时,像素阵列540中的所有像素可以被复位。这可以防止像素阱的过早饱和,这可以提高事件驱动的图像传感器的动态范围。
在一些示例中,复位信号556可以由其他源来提供。例如,复位信号556可以由事件驱动的图像传感器或事件驱动的摄像机的其他组件来断言。
在一些实施方式中,在复位信号断言上可以包括延迟组件548。延迟组件548可在复位信号530被断言时延迟。换句话说,延迟组件548可在复位信号530发送到像素阵列540时延迟。这可以防止像素积分和像素复位之间的竞争。
只要存在全局运动,就可以维持复位。当检测到非全局运动事件时(例如,当发生像素激发时),(一个或多个)像素将解断言像素激活信号(例如,像素集成输出信号312),其传播通过门的层级以解断言全局激活信号542。这允许进一步的像素读取/处理任务。全局激活信号542的解断言还使复位信号530解断言,从而使像素累积电荷。
Claims (15)
1.一种方法,包括:
基于事件驱动的图像传感器的多个像素检测到事件而检测到事件驱动的摄像机的全局运动;以及
响应于检测到所述全局运动,由事件驱动的图像传感器电路抑制所述全局运动。
2.根据权利要求1所述的方法,其中,由事件驱动的图像传感器电路抑制所述全局运动包括由事件驱动的图像传感器电路生成全局激活信号,所述全局激活信号防止存储和处理包含在所述多个像素中的数据。
3.根据权利要求2所述的方法,其中,所述全局激活信号被用作用于事件驱动的图像传感器内的像素阵列读出和处理的选择器。
4.根据权利要求1所述的方法,其中,由事件驱动的图像传感器电路抑制所述全局运动包括响应于检测到所述全局运动而复位所述多个像素。
5.根据权利要求1所述的方法,其中,所述全局运动包括事件驱动的摄像机的摇摄或抖晃。
6.根据权利要求1所述的方法,其中,当预定百分比的像素检测到事件时检测到全局运动。
7.根据权利要求1所述的方法,还包括:
在抑制所述全局运动的同时检测高频事件;以及
中断全局运动抑制。
8.一种事件驱动的图像传感器,包括:
全局运动检测电路,用于基于事件驱动的图像传感器的多个像素检测到事件而检测到事件驱动的摄像机的全局运动;以及
全局运动抑制电路,用于响应于检测到所述全局运动而抑制所述全局运动。
9.根据权利要求8所述的事件驱动的图像传感器,其中,所述全局运动检测电路包括用于检测事件驱动的图像传感器中的所有像素的像素积分输出何时达到事件指示值的电路。
10.根据权利要求9所述的事件驱动的图像传感器,其中,所述全局运动检测电路还包括像素积分延迟组件,所述像素积分延迟组件具有用于所述多个像素中的每个像素的第一时间常数,以在像素积分输出达到事件指示值时进行延迟。
11.根据权利要求10所述的事件驱动的图像传感器,其中,所述事件驱动的图像传感器还包括像素激发检测电路,用于:
检测给定像素的像素激发信号何时达到事件阈值,以及
复位给定像素的像素积分输出,从而中断全局运动抑制,
其中,所述像素激发检测电路包括具有第二时间常数的像素激发延迟组件,所述第二时间常数小于像素积分延迟组件的第一时间常数。
12.根据权利要求9所述的事件驱动的图像传感器,其中,所述全局运动抑制电路包括用于以下操作的电路:
当预定百分比的像素的像素积分输出达到事件指示值时,生成全局激活信号,其中,所述全局激活信号防止存储和处理包含在所述多个像素中的数据,以及
复位所述多个像素。
13.一种事件驱动的图像传感器,包括:
多个像素,每个像素包括像素积分输出;
全局运动检测电路,用于检测所述多个像素中的每一个的像素积分输出何时达到事件指示值;以及
全局运动抑制电路,用于在所述多个像素中的每一个的像素积分输出达到事件指示值时生成全局激活信号,其中,所述全局激活信号防止存储和处理包含在所述多个像素中的数据,以及用于复位所述多个像素。
14.根据权利要求13所述的事件驱动的图像传感器,其中,所述全局运动检测电路包括与非门,其中,所述与非门的输入耦合到所述多个像素的像素积分输出。
15.根据权利要求14所述的事件驱动的图像传感器,其中,当到所述与非门的所有输入达到事件指示值时,所述与非门的反相输出是接通,并且其中,当所述与非门的反相输出是接通时,所述全局运动抑制电路生成全局激活信号。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2019/038963 WO2020263230A1 (en) | 2019-06-25 | 2019-06-25 | Global motion suppression in an event-driven camera |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113454683A true CN113454683A (zh) | 2021-09-28 |
Family
ID=74059785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980093260.9A Pending CN113454683A (zh) | 2019-06-25 | 2019-06-25 | 事件驱动的摄像机中的全局运动抑制 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220108551A1 (zh) |
EP (1) | EP3912131A4 (zh) |
CN (1) | CN113454683A (zh) |
WO (1) | WO2020263230A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220054592A (ko) * | 2019-09-04 | 2022-05-03 | 소니 어드밴스드 비주얼 센싱 아게 | 이벤트 기반 비전 센서들에서의 지연 균등화 |
WO2023181092A1 (ja) * | 2022-03-22 | 2023-09-28 | 株式会社ソニー・インタラクティブエンタテインメント | 電子機器、電子機器の制御方法およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101193208A (zh) * | 2006-11-30 | 2008-06-04 | 索尼株式会社 | 图像拍摄装置、图像处理装置、方法以及程序 |
US20090231449A1 (en) * | 2008-03-11 | 2009-09-17 | Zoran Corporation | Image enhancement based on multiple frames and motion estimation |
CN102656876A (zh) * | 2009-10-14 | 2012-09-05 | Csr技术公司 | 用于图像稳定的方法和装置 |
WO2017131343A1 (en) * | 2016-01-30 | 2017-08-03 | Samsung Electronics Co., Ltd. | A device for and method of enhancing quality of an image |
CN108574809A (zh) * | 2017-03-08 | 2018-09-25 | 三星电子株式会社 | 像素、像素驱动电路以及包括其的视觉传感器 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60143330A (ja) * | 1983-12-29 | 1985-07-29 | Matsushita Electric Ind Co Ltd | 撮影装置 |
US20040119829A1 (en) * | 1997-07-15 | 2004-06-24 | Silverbrook Research Pty Ltd | Printhead assembly for a print on demand digital camera system |
US7526103B2 (en) * | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
WO2017205597A1 (en) * | 2016-05-25 | 2017-11-30 | Gopro, Inc. | Image signal processing-based encoding hints for motion estimation |
US11514587B2 (en) * | 2019-03-13 | 2022-11-29 | Microsoft Technology Licensing, Llc | Selectively identifying data based on motion data from a digital video to provide as input to an image processing model |
-
2019
- 2019-06-25 CN CN201980093260.9A patent/CN113454683A/zh active Pending
- 2019-06-25 EP EP19935255.0A patent/EP3912131A4/en active Pending
- 2019-06-25 US US17/429,960 patent/US20220108551A1/en active Pending
- 2019-06-25 WO PCT/US2019/038963 patent/WO2020263230A1/en unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101193208A (zh) * | 2006-11-30 | 2008-06-04 | 索尼株式会社 | 图像拍摄装置、图像处理装置、方法以及程序 |
US20090231449A1 (en) * | 2008-03-11 | 2009-09-17 | Zoran Corporation | Image enhancement based on multiple frames and motion estimation |
CN102656876A (zh) * | 2009-10-14 | 2012-09-05 | Csr技术公司 | 用于图像稳定的方法和装置 |
WO2017131343A1 (en) * | 2016-01-30 | 2017-08-03 | Samsung Electronics Co., Ltd. | A device for and method of enhancing quality of an image |
CN108574809A (zh) * | 2017-03-08 | 2018-09-25 | 三星电子株式会社 | 像素、像素驱动电路以及包括其的视觉传感器 |
Also Published As
Publication number | Publication date |
---|---|
US20220108551A1 (en) | 2022-04-07 |
WO2020263230A1 (en) | 2020-12-30 |
EP3912131A4 (en) | 2022-08-31 |
EP3912131A1 (en) | 2021-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102627794B1 (ko) | 이벤트 기반 센서로부터 신호를 출력하는 방법 및 이러한 방법을 사용하는 이벤트 기반 센서 | |
US10072974B2 (en) | Image sensors with LED flicker mitigaton global shutter pixles | |
US8426797B2 (en) | CMOS readout architecture and method for photon-counting arrays | |
US9854192B2 (en) | Digital unit cell with analog counter element | |
US20150229889A1 (en) | Adaptive image sensor systems and methods | |
US20080112651A1 (en) | High dynamic range image sensor and method and medium for measuring charges in pixel | |
US20060197664A1 (en) | Method, system and apparatus for a time stamped visual motion sensor | |
TW201523843A (zh) | 具有單光子崩潰二極體、光子計數器及鬼影減量之低功率成像系統 | |
CN105144699A (zh) | 阈值监测的有条件重置的图像传感器 | |
JP2007110741A (ja) | 光ダイオードベースのcmos画像形成部を使用する高速オンチップウィンドウ化セントロイディング | |
CN113454683A (zh) | 事件驱动的摄像机中的全局运动抑制 | |
JP7393152B2 (ja) | 光電変換装置、撮像システム、移動体及び露光制御装置 | |
JP5944387B2 (ja) | 画像センサーおよび検知方法 | |
KR101949625B1 (ko) | 픽셀 감도 및 동적 범위를 증가시키는 방법 및 장치 | |
KR20220079972A (ko) | 저전력 동기식 판독을 이용하는 센서 | |
US12028636B2 (en) | Image sensor with controlled SPAD avalanche | |
JPH11205689A (ja) | 固体撮像装置 | |
US20210051284A1 (en) | Imaging systems and methods for performing analog domain regional pixel level feature extraction | |
Eibensteiner et al. | Stereo-vision algorithm based on bio-inspired silicon retinas for implementation in hardware | |
Cottini et al. | A 33μW 42 GOPS/W 64x64 pixel vision sensor with dynamic background subtraction for scene interpretation | |
JP2017194280A (ja) | 撮像回路、信号読出回路、赤外線撮像装置、赤外線検出回路および撮像回路の動作方法 | |
JP7492338B2 (ja) | 光電変換装置、光電変換システム及び移動体 | |
Zuccarello et al. | A 32× 32 pixels vision sensor for selective change driven readout strategy | |
Atkin et al. | Current Starved Ring Oscillator Image Sensor | |
JP2003347533A (ja) | イメージセンサ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |