CN111757028A - 被配置校准事件信号的动态视觉传感器及操作其的方法 - Google Patents

被配置校准事件信号的动态视觉传感器及操作其的方法 Download PDF

Info

Publication number
CN111757028A
CN111757028A CN202010173243.0A CN202010173243A CN111757028A CN 111757028 A CN111757028 A CN 111757028A CN 202010173243 A CN202010173243 A CN 202010173243A CN 111757028 A CN111757028 A CN 111757028A
Authority
CN
China
Prior art keywords
event
events
signals
signal
vision sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010173243.0A
Other languages
English (en)
Inventor
徐宗奭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111757028A publication Critical patent/CN111757028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14632—Wafer-level processed structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14687—Wafer level processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种动态视觉传感器，包括：动态视觉传感器像素阵列，该动态视觉传感器像素阵列包括活动区域和光学黑色区域，该活动区域被配置为输出与指示光强的改变的多个第一事件相对应的多个第一信号，该光学黑色区域被配置为输出与不指示光强的改变的多个第二事件相对应的多个第二信号；以及处理电路，该处理电路被配置为基于多个第一信号来生成多个事件信号，基于多个第二信号来生成多个噪声信号，基于多个事件信号和多个噪声信号来计算表示多个第一事件当中的真实事件的值以及基于表示真实事件的值和阈值来选择性地输出多个事件信号。

Description

被配置校准事件信号的动态视觉传感器及操作其的方法
对相关申请的交叉引用
本申请要求于2019年3月28日在韩国知识产权局提交的第10-2019-0036151号韩国专利申请的优先权，该韩国专利申请的公开内容通过引用整体合并于此。
背景技术
在本文描述的一些示例实施例涉及动态视觉传感器，并且更具体地，涉及被配置为通过使用光学黑色区来校准事件信号的动态视觉传感器。
通常，可以将图像传感器分类为异步地操作的图像传感器或同步地操作的图像传感器。互补型金属氧化物半导体(CMOS)图像传感器是同步地操作的图像传感器的典型示例。动态视觉传感器是异步地操作的图像传感器的典型示例。
动态视觉传感器检测由于对象的移动引起的光强的改变并且生成事件。因此，与通用CMOS图像传感器不同，当对象不移动时(例如，当光强不改变时)，不向用户提供信息。相比之下，当对象移动时，因为光强主要地在对象的边界或轮廓处改变，所以向用户提供与对象的廓影(silhouette)相关联的图像。
然而，在某些情况下，除与对象的移动相对应的光强的改变之外，由于各种因素，可以从动态视觉传感器的像素输出非预期事件。该非预期事件误报(distort)将向用户提供的信息。另外，非预期事件可以增大对事件信号进行处理的处理器的工作负荷。因此，高效地去除非预期事件，将是期望的。
发明内容
一些示例实施例提供能够确定发生在活动区域(active region)中的事件是否来自噪声的设备和方法。
根据一些示例实施例，一种动态视觉传感器包括：动态视觉传感器像素阵列，该动态视觉传感器像素阵列包括活动区域和光学黑色区域，该活动区域被配置为输出与指示光强的改变的多个第一事件相对应的多个第一信号，并且该光学黑色区域被配置为输出与不指示光强的改变的多个第二事件相对应的多个第二信号；以及处理电路，该处理电路被配置为基于多个第一信号来生成多个事件信号，基于多个第二信号来生成多个噪声信号，基于多个事件信号和多个噪声信号来计算表示多个第一事件当中的真实事件的值以及基于表示真实事件的值和阈值来选择性地输出多个事件信号。
根据一些示例实施例，一种动态视觉传感器包括：动态视觉传感器像素阵列，该动态视觉传感器像素阵列包括多个活动区域和多个光学黑色区域，该多个活动区域当中的每个活动区域包括多个第一像素，并且该多个光学黑色区域当中的每个光学黑色区域包括多个第二像素；以及处理电路，该处理电路被配置为基于由多个活动区域当中的第一活动区域的多个第一像素检测到的多个第一事件来生成多个事件信号，基于由多个光学黑色区域当中的第一光学黑色区域的多个第二像素检测到的多个第二事件来生成多个噪声信号，基于多个事件信号来确定多个第一事件中所包括的第一事件的数量，基于多个噪声信号来确定多个第二事件中所包括的第二事件的数量，对第一事件的数量与第二事件的数量或参考减小值之一执行减法运算以生成表示多个第一事件当中的真实事件的值，以及基于表示真实事件的值和阈值选择性地输出多个事件信号。
根据一些示例实施例，一种操作包括活动区域和光学黑色区域的动态视觉传感器的方法。该方法包括：由活动区域检测指示光强的改变的多个第一事件，由光学黑色区域检测不指示光强的改变的多个第二事件，基于多个第一事件来生成多个事件信号，基于多个第二事件来生成多个噪声信号，通过基于多个事件信号和多个噪声信号执行减法运算来确定多个第一事件当中的真实事件，以及基于确定的结果和阈值来选择性地输出多个事件信号。
附图说明
通过参考附图详细地描述一些示例实施例的详细示例，一些示例实施例的以上以及其他对象和特征将变得明显。
图1图示出根据一些示例实施例的电子设备。
图2A是图示出随着时间的推移、从图1的第二区域输出的事件的累积的图。
图2B是图示出随着时间的推移由图1的第一区域检测到的事件的累积的图。
图3概念地图示出根据一些示例实施例的校准事件信号的方法。
图4是概念地图示出根据一些示例实施例的校准事件信号的处理的图。
图5图示出图1中图示出的动态视觉传感器的示例配置。
图6是图示出图5的DVS像素阵列的DVS像素的示例配置的电路图。
图7图示出图6的DVS像素后端电路的示例配置。
图8图示出从本公开的动态视觉传感器输出的信号的示例格式。
图9是图示出根据一些示例实施例的动态视觉传感器的操作方法的流程图。
图10图示出图5中所图示出的事件信号校准器的示例配置。
图11图示出图10中所图示的噪声值确定器的示例配置。
图12图示出图5中所图示出的事件信号校准器的示例配置。
图13是图示出根据一些示例实施例的电子设备的操作方法的流程图。
图14图示出根据一些示例实施例的包括动态视觉传感器的电子系统的示例配置。
具体实施方式
下面，可以详细地并且清楚地描述一些示例实施例以达到本领域普通技术人员可以容易地实施其的程度。
将采用处理电路来实施参考术语“单元”、“模块”、“块”、“～器或～件”等在具体实施方式中描述的组件和图中图示出的功能块。如在本公开中使用的，术语‘处理电路’可以指的是例如硬件(诸如逻辑电路)、硬件/软件组合(诸如执行软件的处理器)或其组合。在一些示例实施例中，软件可以是机器代码、固件、嵌入代码和/或应用软件。例如，处理电路更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)、处理器、计算机等。可以用于实施组件以及功能块的附加的硬件包括电气电路、电子电路、集成电路、集成电路核、压力传感器、惯性传感器、微型机电系统(MEMS)、无源元件或其组合。
图1图示出根据一些示例实施例的电子设备100。
电子设备100包括动态视觉传感器(DVS)10和/或事件信号处理器20。例如，可以采用诸如桌面型计算机、膝上型计算机、平板式计算机、智能电话、可穿戴设备、智能扬声器、住家安全物联网(IoT)、视频游戏控制台、工作站、服务器和/或自动驾驶车辆的一个或多个电子设备来实施电子设备100。
动态视觉传感器10可以感测光强的改变。例如，动态视觉传感器10可以检测光强增大的事件和/或光强减小的事件。动态视觉传感器10可以基于检测到的强度改变来生成信号，可以处理所生成的信号，以及可以向用户提供处理的结果。在一些示例实施例中，动态视觉传感器10可以包括DVS像素阵列110、事件检测电路120和/或事件信号校准器130。根据一些示例实施例，可以通过处理电路来执行在本文被描述为通过动态视觉传感器10、事件信号处理器20、事件检测电路120和/或事件信号校准器130所执行的操作。
DVS像素阵列110可以包括第一区域112和第二区域114。第一区域112可以检测光强的增大或减小作为事件并且可以输出与检测到的事件相对应的信号。第二区域114可以不受光强的改变影响。因此，第二区域114不可以输出与光强的改变相对应的信号。替代地，第二区域114可以基于由于入射在第一区域112上的光、根据电子设备100的操作所生成的热电子、来自外部的任何其他因素等的干扰而发生的噪声(在下文被统称为噪声)来输出信号。例如，第一区域112可以是活动区域，并且第二区域114可以是光学黑色区域。例如，第一区域112的像素和第二区域114的像素可以具有相同的或基本上相同的结构。
事件检测电路120可以基于来自DVS像素阵列110的信号来生成事件信号和/或噪声信号。在一些示例实施例中，事件信号可以基于从第一区域112输出的信号。例如，事件信号可以包括与当对象移动时由于光的改变而发生的真实事件的属性(例如，光强的增大或减小)相关联的信息，以及事件发生时的时间。相比之下，噪声信号可以基于从第二区域114输出的信号。例如，噪声信号可以包括与噪声的属性相关联的信息和噪声发生时的时间。
事件信号校准器130可以接收事件信号ES和噪声信号NS。事件信号校准器130可以将基于由第一区域112的像素检测到的事件的事件信号的数量与基于噪声信号NS的特定阈值进行比较。事件信号校准器130可以基于比较的结果来阻挡由第一区域112的像素检测到的事件当中的、被确定为噪声比例相对地大的事件信号。可以将从事件信号校准器130输出的信号作为校准的事件信号CES提供给事件信号处理器20。
可以通过由事件信号校准器130执行的以上操作对从第一区域112输出的噪声进行高效地滤波。照此，将由事件信号处理器20处理的数据量可以减小。因此，可以改进电子设备100的性能(例如，事件处理速度可以增大)和/或功率消耗可以减小。以下将详细地描述事件信号校准器130的操作。
事件信号处理器20可以基于从事件信号校准器130输出的信号来生成将向用户提供的图像。事件信号处理器20可以对从事件信号校准器130输出的信号执行各种处理。例如，如熟知地，事件信号处理器20可以通过使用动态视觉传感器10的相邻的像素的时间戳值之间的时间相关来校准噪声像素、热像素和/或死像素的时间戳值。
图2A是图示出随着时间的推移、从图1的第二区域114输出的事件的累积的图。
如上所述，第二区域114(参考图1)被配置为使得从外部入射的光被阻挡。因而，第二区域114不可以直接地检测光强的改变。替代地，第二区域114可以由于入射在第一区域112上的光(参考图1)、根据电子设备100的操作所生成的热电子、噪声等(例如，事件)的干扰而输出信号。也就是说，与第一区域112有关的事件和与第二区域114有关的事件可以彼此不同。在图2A中将示例图示为从0至t0输出的“n0”个事件。在一些示例实施例中，参考图201，从第一区域112输出的事件的数量可以随着时间的推移而线性地增大。
图2B是图示出随着时间的推移由图1的第一区域112检测到的事件的累积的图。
在图2B中将示例图示为从0至t1检测到“n1”个事件并且从t1至t2另外地检测到(n2 n1)个事件。图202可以与由于噪声的事件、而不是根据对象的移动发生的真实事件相关联。相比之下，图203可以与被检测为光强变化的真实事件相关联。也就是说，从0至t1的时段可以是其中未检测到对象的移动的时段，并且从t1至t2的时段可以是其中检测到对象的移动的时段。
随着基于从第二区域114输出的信号来阻挡从第一区域112输出的并且被确定为噪声的信号，来参考图1简要地描述一些示例实施例。这基于第一区域112和第二区域114具有相同的或类似的特性的假设。也就是说，假定每单位时间从第一区域112的像素输出的噪声的数量(例如，输出检测到的噪声的指示的次数)与每单位时间从第二区域114的像素输出的噪声的数量相同或类似。另外，假定图2A的图201的分布(profile)与图2B的图202的分布相同或几乎相同。
图3概念地图示出根据一些示例实施例的校准事件信号的方法。为了更好的理解，将参考图1一起给出描述。
DVS像素阵列310可以包括第一区域312和第二区域314。DVS像素阵列310对应于图1的DVS像素阵列110。第一区域312可以被划分为每个包括多个像素的多个活动区域。例如，第一区域312可以被划分为第一活动区域AR1至第九活动区域AR9(例如，第一活动区域AR1、第二活动区域AR2、第三活动区域AR3、第四活动区域AR4、第五活动区域AR5、第六活动区域AR6、第七活动区域AR7、第八活动区域AR8和第九活动区域AR9)。如在以上描述中，第二区域314可以被划分为第一光学黑色区域OB1至第三光学黑色区域OB3。
第一活动区域AR1可以包括九个像素。在一些示例实施例中，第一活动区域AR1包括在第一行和第一列处的像素PX[1，1]以及八个周围的(例如，相关联的)像素。如在以上描述中，第三光学黑色区域OB3包括在第九行和第十二列处的像素PX[9，12]以及八个周围的像素。然而，每个活动区域包括的像素的数量可以不同于以上示例。另外，第二区域314被图示为与第一区域312的右侧相邻，但是可以被放置在DVS像素阵列310的各种位置。
事件检测电路120可以基于由第一区域312的每个像素输出的与事件相对应的信号(例如，事件指示)来生成事件信号。事件检测电路120可以基于由第二区域314的每个像素输出的与事件相对应的信号(例如，事件指示)来生成噪声信号。事件信号可以包括关于发生的事件的属性和事件发生时的时间的信息。
事件信号校准器130可以对在单位时间(例如，时长)期间由每个活动区域的像素所检测到的事件的数量进行计数。在一些示例实施例中，事件信号校准器130可以基于从第一活动区域AR1的九个像素输出的信号对事件信号进行计数以生成计数信号AR ACC[1]。可以对其余活动区域AR2至AR9同等地或类似地执行该计数。
另外，事件信号校准器130可以基于在单位时间期间从每个光学黑色区域的像素输出的信号(例如，事件指示符)对噪声信号的数量进行计数。在一些示例实施例中，事件信号校准器130可以对从第一光学黑色区域OB1的九个像素输出的事件(例如，事件指示符)进行计数以生成计数信号OB ACC[1]。可以对其余光学黑色区域OB2和OB3同等地或类似地执行该计数。替换地，可以不对其余光学黑色区域OB2和OB3执行该计数。
无论光强的改变如何，可以基于从光学黑色区域OB1至OB3输出的信号来生成计数信号OB ACC[1]至OB ACC[3]；因为第一区域312和第二区域314的像素具有相同的或基本上相同的结构，所以与计数信号OB ACC[1]至OB ACC[3]相对应的噪声可以被认为已经被应用于计数信号AR ACC[1]至AR ACC[9]。换句话说，从每个光学黑色区域输出的信号对应于噪声，并且从每个活动区域输出的信号对应于噪声和真实事件。根据一些示例实施例，每个第一活动区域可以具有与每个光学黑色区域相等数量的像素或类似数量的像素。
根据一些示例实施例，事件信号校准器130可以从计数信号OB ACC[1]至OB ACC[3]生成参考减小值。参考减小值可以对应于从每个活动区域的像素输出的信号当中的来自噪声的信号的数量。在一些示例实施例中，参考减小值可以是计数信号OB ACC[1]至OBACC[3]的平均值。替换地，参考减小值可以是计数信号OB ACC[1]至OB ACC[3]的最大(例如，最高)值或最小(例如，最低)值。
事件信号校准器130可以从计数信号AR ACC[1]至AR ACC[9]中的每个中减去参考减小值。事件信号校准器130可以将减法的结果值与阈值相比较。当减法的结果值大于阈值时，可以认为从活动区域输出的事件是真实事件(例如，真事件)。相比之下，当减法的结果值小于阈值时，可以认为从活动区域输出的事件是主要地来自噪声的事件(例如，假事件)。在该情况下，事件信号校准器130可以阻挡从活动区域输出的与假事件(即，基于噪声的事件)有关的信号。也就是说，因为不向事件信号处理器20提供阻挡的事件(参考图1)，所以可以改进(例如，增大)事件信号处理器20处理事件的速度。
图4是概念地图示出根据一些示例实施例的校准事件信号的处理的图。
为了描述的方便，假定在从0至t1的时段内缺少对象的移动、在从t1至t2的时段内对象的移动相对地大，以及在从t2至t3的时段内对象的移动相对地小。
在从0至t1的时段内，即使未检测到对象的移动，可以从活动区域(例如，图3的AR1至AR9中的任何一个)输出与由于噪声等的“n”个事件相对应的信号。图401示出随着时间的推移来累积输出事件。
在从t1至t2的时段期间，因为检测到对象的相对地大的移动，所以事件的数量可以急剧地增大，并且可以从每个活动区域输出(n2 n1)个事件。在从t1至t2的时段内从活动区域输出的事件包括来自对象的移动的真实事件和来自噪声的事件。图402示出随着时间的推移来累积输出事件。
在从t2至t3的时段内，因为检测到对象的相对地小的移动，所以事件的数量可以平滑地增大，并且可以从活动区域输出(n3 n2)个事件。在从t1至t3的时段内从活动区域输出的事件包括来自对象的移动的真实事件和来自噪声的事件。图403示出随着时间的推移来累积输出事件。
因为噪声连续地发生在其中与对象的移动相对应的真实事件发生的时段中以及其中真实事件不发生的时段中，可以随着时间的推移线性地累积来自噪声的事件，并且图404示出来自噪声的事件的该累积。也就是说，图401的斜率可以与图404的斜率相同或类似。
事件信号校准器130可以计算发生在每个活动区域中的真实事件的数量(例如，n3)与假事件的数量(例如，n4)之间的差，并且将所计算的差与阈值TH相比较。例如，当所计算的差大于阈值TH时，认为从活动区域输出的事件信号是来自对象的移动的真实事件。相比之下，当所计算的差小于阈值TH时，认为从活动区域输出的事件信号是来自与对象的移动不相关联的噪声的事件。
在一些示例实施例中，阈值TH可以是预先指定的值。在一些示例实施例中，阈值TH可以是实时测量的值。在这种情况下，阈值TH可以是发生在单位时间(例如，0至t3)期间的假事件的数量(例如，n4)。在一些示例实施例中，阈值TH可以是由用户可变的值。例如，在电子设备(例如，图1的电子设备100)在低功率模式中操作的情况下，阈值TH的量值(magnitude)可以变得相对地高。在这种情况下，因为将被处理的事件的数量减小，所以电子设备处理事件的速度可以进一步增大，并且功率消耗可以进一步减小。
图5图示出图1中图示出的动态视觉传感器10的示例配置。
动态视觉传感器500可以包括DVS像素阵列510、事件检测电路520和/或事件信号校准器530。事件检测电路520可以包括列地址事件表示(AER)电路522、行AER电路524和/或输入/输出电路526。根据一些示例实施例，可以通过处理电路来执行在本文被描述为通过列AER电路522、行AER电路524和/或输入/输出电路526所执行的操作。
DVS像素阵列510可以包括以矩阵形式沿着多个行和多个列布置的多个像素。如上所述，DVS像素阵列510可以包括第一区域512(其包括多个活动区域)和第二区域514(其包括多个光学黑色区域)。DVS像素阵列510的多个像素当中的检测事件的像素可以向列AER电路522输出指示光强增大或减小的事件发生的信号(例如，列请求)CR。在这里，列请求CR可以与在第一区域512中检测的真实事件相关联或者可以与发生在第一区域512或第二区域514中的噪声相关联。
列AER电路522可以响应于从像素接收到的列请求CR向进行事件输出的像素来输出肯定信号ACK。接收到肯定信号ACK的像素可以向行AER电路524输出事件的极性信息(polarity information)PI。极性信息PI可以包括用于识别光强增大或减小的事件的信息。列AER电路522可以基于从检测到事件的像素接收到的列请求CR来生成检测到事件的像素的列地址C_ADDR。
行AER电路524可以从检测到事件的像素接收极性信息PI。行AER电路524可以基于极性信息PI来生成包括关于事件发生时的时间的信息的时间戳TS。在一些示例实施例中，可以通过在行AER电路524中提供的打时机(time stamper)来生成时间戳TS。例如，可以通过使用以若干微秒至数十微秒为单位生成的时钟节拍(timetick)来实施打时机。行AER电路524可以响应于极性信息PI来向其中事件发生的像素输出复位信号RST。可以通过复位信号RST来将其中事件发生的像素复位。另外，行AER电路524可以生成其中事件发生的像素的行地址R_ADDR。
行AER电路524可以控制其中生成复位信号RST的时段。例如，为了防止工作负荷由于许多事件的发生而增大，或为了减小增大的量，行AER电路524可以控制其中生成复位信号RST的时段，使得事件在特定时段期间不发生。也就是说，行AER电路524可以控制事件的发生的不应时段(refractory period)。
输入/输出电路526可以基于时间戳TS、列地址C_ADDR、行地址R_ADDR和/或极性信息PI来生成事件信号ES或噪声信号NS。输入/输出电路526可以在事件信号ES或噪声信号NS的前面添加指示信号的传输开始的报头或者在其后面添加指示信号的传输结束的尾部(tail)。
图6是图示出图5的DVS像素阵列的DVS像素的示例配置的电路图。
DVS像素600被配置为检测光强的改变并且输出与检测到的强度改变相对应的信号。DVS像素600可以包括光感受器610和DVS像素后端电路620。第二区域514的光学黑色区域的DVS像素(参考图5)可以具有与第一区域512的活动区域的DVS像素(参考图5)相同的结构或类似的结构。然而，可以将光学黑色区域的DVS像素实施为不接收光。
光感受器610可以包括光电转换元件PSD、对数放大器LA和/或反馈晶体管FB。光电转换元件PSD可以响应于入射光来生成光电子。也就是说，光电转换元件PSD可以将光信号转换为电信号以生成光电流IP。例如，光电转换元件PSD可以包括光电二极管、光电晶体管、针形(pinned)光电管和/或任何其他类似的元件。对数放大器LA可以放大与由DVS像素600的光电转换元件PSD生成的光电流IP相对应的电压。对数放大器LA可以输出对数刻度(scale)的对数电压VLOG。反馈晶体管FB可以将光感受器610从DVS像素后端电路620分离。
DVS像素后端电路620可以对于对数电压VLOG执行各种处理。在一些示例实施例中，DVS像素后端电路620可以放大对数电压VLOG，可以通过将放大的电压和参考电压进行比较来确定入射在光电转换元件PSD上的光强的改变，以及可以输出与确定的结果相对应的事件信号(例如，开启事件或关闭事件)。在DVS像素后端电路620输出开启事件或关闭事件之后，可以通过复位信号RST来复位DVS像素后端电路620。根据一些示例实施例，参考电压可以是通过实证研究所确定的设计参数。
图7图示出图6的DVS像素后端电路的示例配置。
DVS像素后端电路700可以包括微分器710、比较器720和/或读出电路730。根据一些示例实施例，可以通过处理电路来执行在本文被描述为通过DVS像素后端电路700、比较器720和/或读出电路730所执行的操作。
微分器710可以被配置为放大电压VLOG以生成电压VDIFF。例如，微分器710可以包括电容器C1和C2、差分放大器DA以及开关SW，并且开关SW可以响应于复位信号RST来进行操作。例如，电容器C1和C2可以存储由至少一个光电转换元件PSD所生成的电能。例如，可以考虑连续地发生在一个像素的两个事件之间的最短时间(例如，不应时段)来适当地选择电容器C1和C2的电容。当通过复位信号RST接通开关SW时，可以对像素进行初始化(或复位)。可以从行AER电路524(参考图5)接收复位信号RST。
比较器720可以将差分放大器DA的输出电压VDIFF的电平与参考电压Vref的电平进行比较，并且可以确定发生在像素的事件是开启事件还是关闭事件。当检测到光强增大的事件时，比较器720可以输出指示检测到的事件是开启事件的信号ON；当检测到光强减小的事件时，比较器720可以输出指示检测到的事件是关闭事件的信号OFF。根据一些示例实施例，参考电压Vref可以是通过实证研究所确定的设计参数。
读出电路730可以输出关于发生在像素的事件的信息。关于从读出电路730输出的事件的信息可以包括关于发生的事件是开启事件还是关闭事件的信息(例如，比特)。从读出电路730输出的关于事件的信息可以被叫作极性信息PI(参考图5)。可以向行AER电路524提供极性信息PI。
在图7中图示出的像素的配置是示例，并且一些示例实施例可以被应用于被配置为基于检测光强的结果来确定事件的类型的DVS像素的各种配置。
图8图示出从本公开的动态视觉传感器输出的信号的示例格式。
输出电路800可以对应于图5的输入/输出电路526。输出电路800可以基于从第一区域512(参考图5)输出的信号、从列AER电路522(参考图5)输出的列地址C_ADDR和/或从行AER电路524(参考图5)输出的行地址R_ADDR来生成事件信号ES。输出电路800可以基于从第二区域514(参考图5)输出的信号、从列AER电路522(参考图5)输出的列地址C_ADDR和/或从行AER电路524(参考图5)输出的行地址R_ADDR来生成噪声信号NS。例如，事件信号ES和噪声信号NS可以具有相同的格式或类似的格式。
继续参考图8，从输出电路800输出的信号可以包括时间戳TS、列地址C_ADDR、行地址R_ADDR和/或极性信息PI。信号输出也可以包括指示信号的传输开始的报头H和指示信号的传输结束的尾部T。
时间戳TS可以包括关于事件发生时的时间的信息。例如，时间戳TS可以由32比特构成，但是不限于32比特。
列地址C_ADDR和行地址R_ADDR中的每个可以由8比特构成。因此，可以支持包括布置在28行和28列中的多个像素的动态视觉传感器。然而，这仅是示例，并且可以根据像素的数量来不同地确定列地址C_ADDR的比特的数量和行地址R_ADDR的比特的数量。
极性信息PI可以包括关于开启事件和/或关闭事件的信息。在一些示例实施例中，极性信息PI可以由包括关于开启事件是否发生的信息的比特以及包括关于关闭事件是否发生的信息的比特构成。例如，比特“1”可以指示事件发生，而比特“0”可以指示事件不发生。因此，指示开启事件的比特和指示关闭事件的比特两者都是“0”的事件可能发生，但是指示开启事件的比特和指示关闭事件的比特两者都是“1”的事件不可能发生。
图9是图示出根据一些示例实施例的、动态视觉传感器的操作方法的流程图。
为了便于描述，在本示例中，假定噪声信号NS意指基于从一个光学黑色区域输出的事件的信号，并且事件信号ES意指基于从一个活动区域输出的事件的信号。在下面，将共同参考图5来给出描述。
在操作910中，事件信号校准器530可以对每单位时间从事件检测电路520输出的噪声信号NS的数量进行计数。事件信号ES和噪声信号NS具有相同的格式或类似的格式，但是事件信号校准器530可以参考行地址R_ADDR和/或列地址C_ADDR将事件信号ES与噪声信号NS进行区分。
在操作920中，事件信号校准器530可以对每单位时间从事件检测电路520输出的事件信号ES的数量进行计数。同样地，事件信号校准器530可以参考行地址R_ADDR和/或列地址C_ADDR将事件信号ES与噪声信号NS进行区分。
在本示例中，将描述给出为在对事件信号进行计数的操作之前执行对噪声信号进行计数的操作，但是一些示例实施例不限于此。例如，可以并行地、同时刻地或同时段地执行对事件信号和噪声信号进行计数的操作，或可以在对噪声信号进行计数的操作之前执行对事件信号进行计数的操作。
在操作930中，可以基于噪声信号NS的数量和事件信号ES的数量来计算实际上发生的事件(即，真实事件)的数量。如上所述，因为来自噪声的信号被包括在事件信号ES中，所以基于发生在光学黑色区域中的事件的噪声信号NS的数量被认为已经适用于基于发生在活动区域中的事件的事件信号ES。
在操作940中，可以将真实事件的数量与阈值TH进行比较。真实事件的数量可以是通过从事件信号ES的数量中减去噪声信号NS的数量所获得的值。当真实事件的数量大于阈值TH时，执行操作950；当真实事件的数量小于阈值TH时，执行操作960。
在操作950中，事件信号校准器530可以将从事件检测电路520输出的事件信号ES输出为校准的事件信号CES。在事件信号校准器530的处理之前，校准的事件信号CES可以与事件信号ES相同或类似。
在操作960中，事件信号校准器530可以对从事件检测电路520输出的事件信号ES进行过滤(或阻挡)。也就是说，在事件信号校准器530的处理之前，校准的事件信号CES可以不同于事件信号ES。详细地，因为校准的事件信号CES被认为事件不发生(例如，反映事件不发生)，所以极性信息PI的所有比特(参考图8)可以是“0”。
图10图示出图5中所图示出的事件信号校准器530的示例配置。
为了便于描述，在本示例中，假定噪声信号NS[1]至NS[m]意指基于从一个光学黑色区域输出的事件的信号，并且事件信号ES[1]至ES[n]意指基于从一个活动区域输出的事件的信号。
事件信号校准器1000可以包括噪声信号累积器1010、事件信号累积器1020、噪声值确定器1030、校准器1040、比较器1050和/或选择器1060。根据一些示例实施例，可以通过处理电路来执行在本文被描述为通过噪声信号累积器1010、事件信号累积器1020、噪声值确定器1030、校准器1040、比较器1050和/或选择器1060所执行的操作。
噪声信号累积器1010可以累积(例如，接收和/或存储)从事件检测电路520(参考图5)输出的噪声信号当中的噪声信号NS[1]至NS[m](例如噪声信号NS[1]、噪声信号NS[2]、噪声信号NS[3]…噪声信号NS[m])并且可以对因此累积的噪声信号NS[1]至NS[m]的数量进行计数。为此目的，噪声信号累积器1010可以包括缓冲器和/或存储器，和/或可以采用缓冲器和/或存储器来实施。噪声信号累积器1010可以输出计数信号OB ACC作为计数结果(例如，噪声信号累积器1010可以确定所接收的噪声信号NS[1]至NS[m]中所包括的噪声信号的数量)。
事件信号累积器1020可以累积(例如，接收和/或存储)从事件检测电路520输出的事件信号当中的事件信号ES[1]至ES[n](例如事件信号ES[1]、事件信号ES[2]、事件信号ES[3]…事件信号ES[n])并且可以对因此累积的事件信号ES[1]至ES[n]的数量进行计数。同样地，事件信号累积器1020可以包括缓冲器和/或存储器，和/或可以采用缓冲器和/或存储器来实施。事件信号累积器1020可以输出计数信号AR ACC作为计数结果(例如，事件信号累积器1020可以确定所接收的事件信号ES[1]至ES[n]中所包括的事件信号的数量)。
在一些示例实施例中，事件信号校准器1000还可以包括被配置为在噪声信号累积器1010和事件信号累积器1020处理信号之前对信号进行分类的组件。例如，该组件可以参考在噪声信号和/或事件信号中的每个中所包括的列地址和/或行地址来确定每个事件来自第一区域512(参考图5)还是第二区域514(参考图5)。依赖于确定的结果，可以向噪声信号累积器1010提供噪声信号NS[1]至NS[m]，和/或可以向事件信号累积器1020提供事件信号ES[1]至ES[n]。根据一些示例实施例，可以通过处理电路来执行在本文被描述为通过组件所执行的操作。
噪声值确定器1030可以选择计数信号OB ACC和/或参考减小值中的一个。信号OBACC和参考减小值可以对应于从每个活动区域输出的噪声。在一些示例实施例中，噪声值确定器1030可以在第一模式中输出参考减小值。例如，参考减小值可以是被预先确定的值。在一些示例实施例中，寄存器、存储器等可以存储参考减小值。在一些示例实施例中，噪声值确定器1030可以在第二模式中输出计数信号OB ACC。在一些示例实施例中，模式控制信号MOD可以被用来改变采用本公开的事件信号校准器1000的电子设备的操作模式。
噪声值确定器1030可以确定校准器1040的校准时段。在一些示例实施例中，校准器1040的校准时段可以与其中生成时间戳的时段相同或不同。以下将详细地描述确定校准器1040的校准时段的操作。
校准器1040可以基于计数信号AR ACC和OB ACC来计算发生在活动区域中的事件当中的、假事件之外的其余真实事件。换句话说，校准器1040可以计算事件信号ES[1]至ES[n]当中的与真实事件有关的值。在一些示例实施例中，校准器1040可以包括减法器，用于对计数信号AR ACC和OB ACC执行减法运算(例如，校准器1040可以通过从事件信号的数量中减去噪声信号的数量来计算其余真实事件)。校准器1040可以输出信号AR ACC’作为减法运算的结果(例如，校准器1040可以输出表示其余真实事件的值)。根据一些示例实施例，所述校准器1040可以计算事件当中的、假事件之外的其余真实事件，其发生在每个活动区域(例如，图3的活动区域AR1至活动区域AR9)中。
比较器1050可以将信号AR ACC’与阈值TH进行比较(例如，校准器1040可以确定表示其余真实事件的值是大于还是小于阈值)。比较器1050可以输出用于控制选择器1060的信号作为比较结果。当信号AR ACC’小于阈值TH时，可以认为事件信号ES[1]至ES[n]是噪声(即使事件可能实际上发生)。在该情况下，比较器1050可以输出允许选择器1060选择“0”的信号。相比之下，当信号AR ACC’大于阈值TH时，信号AR ACC’可以输出允许选择器1060选择事件信号ES[1]至ES[n]的信号。换句话说，比较器1050的比较结果可以指向事件信号ES[1]至ES[n]或“0”。
选择器1060可以基于来自比较器1050的比较结果来选择事件信号ES[1]至ES[n]或“0”并且可以输出校准的事件信号CES作为选择结果。当校准的事件信号CES是“0”时，可以向用户提供指示在从其输出与事件信号ES[1]至ES[n]相对应的事件的活动区域中没有对象的移动的信息。
尽管在附图中未图示，噪声值确定器1030还可以包括乘法器，该乘法器使容易地执行校准器1040的减法运算成为可能。例如，假定计数信号OB ACC是0.25。在这种情况下，因为校准器1040使用小数点(decimal point)来执行减法运算，所以运算可能是复杂的。为了防止复杂的运算，或为了降低运算的复杂度，可以对于乘法运算另外提供乘法器用于将计数信号OB ACC转换为整数。例如，可以分别将乘法器设置在通过其将计数信号OB ACC和AR ACC传递到校准器1040的路径上。根据一些示例实施例，可以通过处理电路来执行在本文被描述为通过乘法器所执行的操作。
图11图示出图10中所图示的噪声值确定器1030的示例配置。
噪声值确定器1030可以包括第一复用器1110、计数器1120和/或第二复用器1130。
第一复用器1110可以响应于模式控制信号MOD来输出计数信号OB ACC和参考减小值中的一个。参考减小值可以是固定值，并且计数信号OB ACC可以是随着来自光学黑色区域(例如，图3的OB1至OB3)的输出信号实时变化的值。根据一些示例实施例，噪声值确定器1030可以从在电子设备100外部的源和/或从电子设备100的处理电路接收模式控制信号MOD。
计数器1120可以确定校准器1040的减小时段。例如，计数器1120可以对时间戳TS进行计数如通过减小时间间隔所设置的次数那么多，并且可以在对时间戳TS进行计数如因此设置的次数那么多之后将计数值复位为“0”。例如，当减小时间间隔是3时，无论何时时间戳TS被接收，计数器1120可以从0至2反复地执行计数操作。计数值可以被输入到第二复用器1130。根据一些示例实施例，可以通过处理电路来执行在本文被描述为通过第一复用器1110、第二复用器1130和/或计数器1120所执行的操作。
第二复用器1130可以基于从计数器1120接收到的计数值来选择第一复用器1110的输出值或“0”。例如，第二复用器1130可以在从计数器1120接收到的计数值不是“0”时输出“0”并且可以在从计数器1120接收到的计数值是“0”时选择第一复用器1110的输出值。
第二复用器1130的输出值可以确定校准器1040的减小时段。详细地，当计数器1120的计数值不是“0”时，因为通过第二复用器1130选择的“0”被输入到校准器1040，所以可以基本上不执行校准器1040的减法运算。因此，校准器1040的输入值AR ACC和输出值ARACC’可以相同或类似。相比之下，当计数器1120的计数值是“0”时，因为通过第一复用器1110选择的计数信号OB ACC或参考减小值通过第二复用器1130被输入到校准器1040，所以执行校准器1040的减法运算。因此，校准器1040的输入值AR ACC和输出值AR ACC’可以不同。根据一些示例实施例，减小时间间隔可以是通过实证研究所确定的设计参数。
图12图示出图5中所图示出的事件信号校准器530的示例配置。
图10的示例配置主要地类似于图12的示例配置。然而，事件信号校准器1200可以在以下方面不同于事件信号校准器1000：事件信号校准器1200包括分类器1201、多个噪声信号累积器(NSA)1210_1至1210_3(例如，NSA 1210_1、NSA 1210_2和NSA 1210_3)和/或多个层1205_1至1205_9(例如，层1205_1、层1205_2、…层1205_9)，其每个包括事件信号累积器(例如，事件信号累积器1220_1)、校准器(例如，校准器1240_1)、比较器(例如，比较器1250_1)和/或选择器(例如，选择器1260_1)。根据一些示例实施例，多个噪声信号累积器1210_1至1210_3中的每个噪声信号累积器可以和与图10相关联地描述的噪声信号累积器1010相同或类似。根据一些示例实施例，多个层1205_1至1205_9的每个事件信号累积器(例如，事件信号累积器1220_1)、校准器(例如，校准器1240_1)、比较器(例如，比较器1250_1)和/或选择器(例如，选择器1260_1)可以和与图10相关联地描述的事件信号累积器1020、校准器1040、比较器1050和/或选择器1060相同或类似。根据一些示例实施例，可以通过处理电路来执行在本文被描述为通过分类器1201所执行的操作。
分类器1201可以从事件检测电路520(参考图5)(详细地从输入/输出电路526(参考图5))接收事件信号ES和噪声信号NS。分类器1201可以参考事件信号ES和/或噪声信号NS的行地址和/或列地址来确定每个事件是否属于活动区域AR1至AR9(参考图3)和/或光学黑色区域OB1至OB3(参考图3)中的任何。可以向有关的噪声信号累积器提供根据确定结果所分类的噪声信号。例如，可以向第一噪声信号累积器1210_1提供与分类为在第一光学黑色区域OB1中生成的事件相对应的噪声信号NS[1]至NS[m]。如在以上描述中，可以向有关的事件信号累积器提供根据确定结果所分类的事件信号。例如，可以向第一事件信号累积器1220_1提供与被分类为在第一活动区域AR1中生成的事件相对应的事件信号ES[1]至ES[n]。层1205_1至1205_9可以分别地处理从活动区域AR1至AR9接收到的事件信号ES[1]至ES[n]。
噪声信号累积器1210_1至1210_3可以通过处理来自发生在光学黑色区域OB1至OB3中的事件的噪声信号来生成计数信号OB ACC。计数信号OB ACC可以是噪声信号累积器1210_1至1210_3的输出的平均值、最大值(例如，最高值)或最小值(例如，最低值)。
可以分别地向层1205_1至1205_9输入噪声值确定器1230的输出值和阈值TH。通过层1205_1至1205_9分别地处理的输出值可以被输出为校准的事件信号CES[1]至CES[9](例如，校准的事件信号CES[1]、校准的事件信号CES[2]、…校准的事件信号CES[9])。
图13是图示出根据一些示例实施例的电子设备1300的操作方法的流程图。
在操作1351中，其强度根据活动对象而变化的光可以入射在第一区域1312上。然而，其强度变化的光可以不入射在第二区域1314上。
即使第二区域1314没有检测到其强度变化的光，第二区域1314也可以检测基于噪声的事件，并且检测到的事件可以被提供给事件检测电路1320(操作1352)。事件检测电路1320可以基于从第二区域1314接收到的事件来生成噪声信号NS(操作1353)。每个噪声信号可以包括发生的事件的属性、关于事件发生时的时间的信息(例如，时间戳)、其中检测到事件的像素的地址等。事件检测电路1320可以向事件信号校准器1330提供所生成的噪声信号NS。
也可以向事件检测电路1320提供在第一区域1312中检测到的事件(操作1354)。事件检测电路1320可以基于从第一区域1312接收到的事件来生成事件信号ES(操作1355)。每个事件信号可以包括极性信息、时间戳、其中发生事件的像素的地址等。事件检测电路1320可以向事件信号校准器1330提供所生成的事件信号ES。
事件信号校准器1330可以基于噪声信号NS来生成计数信号OB ACC(操作1356)。计数信号OB ACC可以指示每单位时间发生在每个光学黑色区域中的事件的数量。事件信号校准器1330可以基于事件信号ES来生成计数信号AR ACC(操作1357)。计数信号AR ACC可以指示每单位时间发生在每个活动区域中的事件的数量。
事件信号校准器1330可以通过对于计数信号OB ACC和AR ACC执行减法运算来执行校准(操作1358)。这符合以下假定：与发生在每个光学黑色区域中的假事件的数量一样多的假事件发生在每个活动区域中。
事件信号校准器1330可以将根据校准的结果所获取的真实事件的数量与阈值TH进行比较(操作1359)。当真实事件的数量小于阈值TH(否)时，因为真实事件的数量相对地小，可以将有关的活动区域考虑为其中事件没有发生的区域。因此，事件信号校准器1330可以输出“0”作为校准的事件信号(操作1360)。当真实事件的数量大于阈值TH(是)时，事件信号校准器1330可以在没有修改的情况下输出从事件检测电路1320接收到的事件信号ES作为校准的事件信号(操作1361)。
事件信号处理器1340可以基于从事件信号校准器1330接收的信号来执行事件信号处理(操作1363)。
根据一些示例实施例，可以高效地去除在DVS像素阵列中检测到的事件当中的被确定为噪声的事件。因此，事件信号处理器所处理的事件(例如，假事件)的数量可以减小，因此提高事件信号处理器处理事件(例如，真事件)的速度。此外，采用本公开的电子设备的功率消耗可以减小。
图14图示出根据一些示例实施例的包括动态视觉传感器的电子系统的示例配置。
可以采用能够使用或支持由移动行业处理器接口(MIPI)联盟所提出的接口的数据处理设备来实施电子系统2000。例如，可以采用诸如数字相机、视频录像摄像机、智能电话、平板式设备和/或可穿戴设备(例如，智能手表或智能手环)的电子设备中的一个来实施电子系统2000。
电子系统2000可以包括应用处理器2100、显示器2220、图像传感器2230，和/或动态视觉传感器2290。应用处理器2100可以包括DigRF主设备2110、显示串行接口(DSI)主机2120、相机串行接口(CSI)主机2130和/或物理层2140。
DSI主机2120可以通过DSI与显示器2220的DSI设备2225进行通信。例如，可以在DSI主机2120中实施光学串行器SER。例如，可以在DSI设备2225中实施光学解串器DES。
CSI主机2130可以通过CSI与图像传感器2230的CSI设备2235进行通信。例如，可以在CSI主机2130中实施光学解串器DES。例如，可以在CSI设备2235中实施光学串行器SER。
电子系统2000还可以包括射频(RF)芯片2240用于与应用处理器2100进行通信。RF芯片2240可以包括物理层2242、DigRF从设备2244和/或天线2246。例如，RF芯片2240的物理层2242和应用处理器2100的物理层2140可以依照由MIPI联盟所支持的DigRF接口来与彼此交换数据。
电子系统2000还可以包括工作存储器2250和/或嵌入式/卡存储装置2255。工作存储器2250和/或嵌入/卡存储装置2255可以存储从应用处理器2100提供的数据。另外，工作存储器2250和/或嵌入/卡存储装置2255可以向应用处理器2100提供存储于其中的数据。例如，工作存储器2250和/或嵌入/卡存储装置2255可以存储图像数据。
工作存储器2250可以暂时地存储由应用处理器2100处理的或将由其处理的数据。工作存储器2250可以包括诸如静态随机存取存储器(SRAM)、动态RAM(DRAM)和/或同步DRAM(SDRAM)的易失性存储器，和/或诸如闪速存储器、相变RAM(PRAM)、磁发电机-电阻的RAM(MRAM)、电阻式RAM(ReRAM)和/或铁电RAM(FRAM)的非易失性存储器。
无论是否被供应电力，嵌入/卡存储装置2255都可以存储数据。嵌入/卡存储装置2255可以包括一个或多个非易失性存储器、存储器控制器和/或缓冲器。例如，嵌入/卡存储装置2255可以包括诸如闪速存储器、PRAM、MRAM、ReRAM和/或FRAM的非易失性存储器中的至少一个。例如，嵌入/卡存储装置2255可以是诸如安全数字(SD)卡和/或嵌入多媒体卡(eMMC)的设备。
电子系统2000可以通过诸如全球微波接入互操作性(WiMAX)2260、无线局域网(WLAN)2262和/或超宽频带(UWB)2264的通信模块与外部系统进行通信。即使提及WiMAX2260、WLAN 2262和UWB 2264，电子系统2000还可以包括各种通信模块。根据一些示例实施例，电子系统2000的通信模块可以传送和/或接收信息信号和/或图像信号。
电子系统2000还可以包括扬声器2270和/或麦克风2275(例如，用于处理语音信息)。电子系统2000还可以包括全球定位系统(GPS)设备2280以用于处理位置信息。电子系统2000可以包括本公开的动态视觉传感器2290。动态视觉传感器2290可以被配置为通过使用从光学黑色区域输出的事件来校准基于从活动区域输出的事件的事件信号。
可以使用各种各样的半导体封装来安装根据一些示例实施例的电路、芯片和设备。例如，可以使用以下封装来安装根据一些示例实施例的电路、芯片和设备：层叠式封装(PoP)、球栅阵列(BGA)、芯片级封装(CSP)、塑性引线芯片载体(PLCC)、塑造双列直插式封装(PDIP)、窝伏尔组件中的管芯、晶圆形式中的管芯、板上芯片(COB)、陶瓷双列直插式封装(CERDIP)、公制四方扁平封装(MQFP)、薄型四方扁平封装(TQFP)、小型集成电路(SOIC)、收缩型小外形封装(SSOP)、薄型小外形封装(TSOP)、系统级封装(SIP)、多芯片封装(MCP)、晶圆级制造封装(WFP)和/或晶圆级处理的堆栈封装(WSP)。
根据一些示例实施例，可以提供能够确定发生在包括多个DVS像素的活动区域中的事件是否来自噪声的设备和方法。
详细地，根据一些示例实施，当确定发生在活动区域中的事件来自噪声时，可以不输出因此确定的事件，因此改进处理事件信号的处理器的性能。
此外，通过阻止假事件信号被输出或减小其输出，处理事件信号的处理器的功率消耗可以减小。
尽管描述了一些示例实施例，但对于那些本领域普通技术人员将明显的是，在不背离如在所附权利要求中所阐述的其精神和范围的情况下，可以对其做出各种改变和修改。

Claims (20)

1.一种动态视觉传感器，包括：
动态视觉传感器像素阵列，包括活动区域和光学黑色区域，所述活动区域被配置为输出与指示光强的改变的多个第一事件相对应的多个第一信号，并且所述光学黑色区域被配置为输出与不指示光强的改变的多个第二事件相对应的多个第二信号；以及
处理电路，被配置为，
基于所述多个第一信号来生成多个事件信号，
基于所述多个第二信号来生成多个噪声信号，
基于所述多个事件信号和所述多个噪声信号来计算表示所述多个第一事件当中的真实事件的值，以及
基于表示真实事件的所述值和阈值来选择性地输出所述多个事件信号。
2.根据权利要求1所述的动态视觉传感器，其中
所述多个事件信号当中的每个相应事件信号包括与所述多个第一事件当中的相应第一事件的属性有关的极性信息、指示所述相应第一事件何时发生的时间戳以及构成所述活动区域的多个第一像素当中的在其中检测到所述相应第一事件的像素的地址；以及
所述多个噪声信号当中的每个相应噪声信号包括与所述多个第二事件当中的相应第二事件的属性有关的极性信息、指示所述相应第二事件何时发生的时间戳以及构成所述光学黑色区域的多个第二像素当中的在其中检测到所述相应第二事件的像素的地址。
3.根据权利要求1所述的动态视觉传感器，其中，所述处理电路被配置为：
基于所述多个事件信号来确定所述多个第一事件中所包括的第一事件的数量；
基于所述多个噪声信号来确定所述多个第二事件中所包括的第二事件的数量；以及
通过对所述第一事件的数量与所述第二事件的数量或参考减小值之一执行减法运算来计算表示真实事件的所述值。
4.根据权利要求3所述的动态视觉传感器，其中，所述处理电路被配置为响应于模式控制信号来选择所述第二事件的数量或所述参考减小值之一。
5.根据权利要求3所述的动态视觉传感器，其中，所述处理电路被配置为：
参考所述多个第一事件所发生的所述活动区域的多个第一地址来对所述多个事件信号进行分类；以及
参考所述多个第二事件所发生的所述光学黑色区域的多个第二地址来对所述多个噪声信号进行分类。
6.根据权利要求3所述的动态视觉传感器，其中，所述处理电路被配置为：
响应于表示真实事件的所述值大于所述阈值来输出所述多个事件信号；以及
响应于表示真实事件的所述值小于所述阈值来阻挡输出所述多个事件信号。
7.根据权利要求6所述的动态视觉传感器，其中，所述阈值是预先确定的值。
8.根据权利要求6所述的动态视觉传感器，其中，所述阈值是所述第二事件的数量的值。
9.根据权利要求1所述的动态视觉传感器，其中，构成所述活动区域的多个第一像素和构成所述光学黑色区域的多个第二像素具有相同的结构。
10.根据权利要求9所述的动态视觉传感器，其中
所述多个第一像素当中的每个第一像素和所述多个第二像素当中的每个第二像素包括，
光电转换元件，被配置为响应于光来生成光电子，
对数放大器，被配置为放大与由所述光电子生成的光电流相对应的电压以生成放大的电压；以及
所述处理电路被配置为基于所述放大的电压来生成关于所述光强的改变的信息。
11.一种动态视觉传感器，包括：
动态视觉传感器像素阵列，包括多个活动区域和多个光学黑色区域，所述多个活动区域当中的每个活动区域包括多个第一像素，并且所述多个光学黑色区域当中的每个光学黑色区域包括多个第二像素；以及
处理电路，被配置为，
基于由所述多个活动区域当中的第一活动区域的所述多个第一像素检测到的多个第一事件来生成多个事件信号，
基于由所述多个光学黑色区域当中的第一光学黑色区域的所述多个第二像素检测到的多个第二事件来生成多个噪声信号，
基于所述多个事件信号来确定所述多个第一事件中所包括的第一事件的数量，
基于所述多个噪声信号来确定所述多个第二事件中所包括的第二事件的数量，
对所述第一事件的数量与所述第二事件的数量或参考减小值之一执行减法运算以生成表示所述多个第一事件当中的真实事件的值，以及
基于表示真实事件的所述值和阈值来选择性地输出所述多个事件信号。
12.根据权利要求11所述的动态视觉传感器，其中，所述处理电路被配置为：
响应于表示真实事件的所述值大于所述阈值来输出所述多个事件信号；以及
响应于表示真实事件的所述值小于所述阈值来阻挡输出所述多个事件信号。
13.根据权利要求11所述的动态视觉传感器，其中，所述处理电路被配置为响应于模式控制信号来选择所述第二事件的数量或所述参考减小值之一。
14.根据权利要求11所述的动态视觉传感器，其中，所述第一活动区域的所述多个第一像素的数量与所述第一光学黑色区域的所述多个第二像素的数量相同。
15.根据权利要求11所述的动态视觉传感器，其中，所述阈值是所述第二事件的数量的值。
16.一种操作包括活动区域和光学黑色区域的动态视觉传感器的方法，所述方法包括：
由所述活动区域来检测指示光强的改变的多个第一事件；
由所述光学黑色区域来检测不指示光强的改变的多个第二事件；
基于所述多个第一事件来生成多个事件信号；
基于所述多个第二事件来生成多个噪声信号；
通过基于所述多个事件信号和所述多个噪声信号执行减法运算来确定所述多个第一事件当中的真实事件；以及
基于进行确定的结果和阈值来选择性地输出所述多个事件信号。
17.根据权利要求16所述的方法，其中，进行确定包括：
基于所述多个事件信号来确定所述多个第一事件中所包括的第一事件的数量；
基于所述多个噪声信号来确定所述多个第二事件中所包括的第二事件的数量；
对所述第一事件的数量与所述第二事件的数量执行减法运算以生成表示真实事件的值；以及
基于表示真实事件的所述值和所述阈值来选择性地输出所述多个事件信号。
18.根据权利要求17所述的方法，进一步包括：
参考所述第一事件所发生的所述活动区域的多个第一地址来对所述多个事件信号进行分类；以及
参考所述第二事件所发生的所述光学黑色区域的多个第二地址来对所述噪声信号进行分类。
19.根据权利要求17所述的方法，其中，选择性地输出包括：
响应于表示真实事件的所述值大于所述阈值来输出所述多个事件信号；以及
响应于表示真实事件的所述值小于所述阈值来阻挡输出所述多个事件信号。
20.根据权利要求17所述的方法，其中，所述阈值是所述第二事件的数量的值。
CN202010173243.0A 2019-03-28 2020-03-13 被配置校准事件信号的动态视觉传感器及操作其的方法 Pending CN111757028A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0036151 2019-03-28
KR1020190036151A KR20200115881A (ko) 2019-03-28 2019-03-28 옵티컬 블랙 영역을 이용하여 이벤트 신호들을 보정하도록 구성되는 다이나믹 비전 센서 및 그 동작 방법

Publications (1)

Publication Number Publication Date
CN111757028A true CN111757028A (zh) 2020-10-09

Family

ID=72604842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010173243.0A Pending CN111757028A (zh) 2019-03-28 2020-03-13 被配置校准事件信号的动态视觉传感器及操作其的方法

Country Status (3)

Country Link
US (1) US11405567B2 (zh)
KR (1) KR20200115881A (zh)
CN (1) CN111757028A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012200A (zh) * 2021-03-23 2021-06-22 北京灵汐科技有限公司 一种运动物体的定位方法、装置、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116530092A (zh) * 2020-12-31 2023-08-01 华为技术有限公司 一种视觉传感器芯片、操作视觉传感器芯片的方法以及设备
CN114285962B (zh) * 2021-12-14 2023-04-07 成都时识科技有限公司 噪声处理装置、方法、芯片、事件成像装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070023614A1 (en) * 2005-08-01 2007-02-01 Samsung Electro-Mechanics Co., Ltd. Cmos image sensor having dark current compensation function
US20080218615A1 (en) * 2007-03-07 2008-09-11 Altasens, Inc. Apparatus and method for stabilizing image sensor black level
US20080239124A1 (en) * 2007-03-30 2008-10-02 Sony Corporation Solid-state imaging device, signal processing method of solid-state imaging device and imaging apparatus
US20110032394A1 (en) * 2009-08-10 2011-02-10 Altek Corporation Method for reducing smear effect of dynamic image
US20150069218A1 (en) * 2013-09-10 2015-03-12 Samson Electronics Co., Ltd. Image device including dynamic vision sensor, ambient light sensor and proximity sensor function
US20160094787A1 (en) * 2014-09-30 2016-03-31 Qualcomm Incorporated Event based computer vision computation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3571924B2 (ja) 1998-07-09 2004-09-29 株式会社東芝 固体撮像装置
US20080192130A1 (en) 2000-03-28 2008-08-14 Mtekvision Co., Ltd. Method And Apparatus For Compensating Black Level By Dark Current Of Image Sensor
ES2396816B1 (es) 2011-05-26 2014-01-21 Consejo Superior De Investigaciones Científcas (Csic) Circuito de ganancia de transimpedancia de bajo consumo y bajo desapareamiento para sistemas de fotosensado diferenciador temporal en sensores dinámicos de visión
US9124829B2 (en) 2012-07-26 2015-09-01 Altasens, Inc. Optical black pixel readout for image sensor data correction
EP2887009A1 (en) 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
US20160093273A1 (en) 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
KR102612194B1 (ko) * 2016-12-14 2023-12-11 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센싱 방법
EP3869791A1 (en) 2016-12-30 2021-08-25 Sony Advanced Visual Sensing AG Data rate control for event-based vision sensor
GB2569371B (en) * 2017-12-15 2022-01-12 Lightpoint Medical Ltd Direct detection and imaging of charged particles from a radiopharmaceutical

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070023614A1 (en) * 2005-08-01 2007-02-01 Samsung Electro-Mechanics Co., Ltd. Cmos image sensor having dark current compensation function
US20080218615A1 (en) * 2007-03-07 2008-09-11 Altasens, Inc. Apparatus and method for stabilizing image sensor black level
US20080239124A1 (en) * 2007-03-30 2008-10-02 Sony Corporation Solid-state imaging device, signal processing method of solid-state imaging device and imaging apparatus
US20110032394A1 (en) * 2009-08-10 2011-02-10 Altek Corporation Method for reducing smear effect of dynamic image
US20150069218A1 (en) * 2013-09-10 2015-03-12 Samson Electronics Co., Ltd. Image device including dynamic vision sensor, ambient light sensor and proximity sensor function
US20160094787A1 (en) * 2014-09-30 2016-03-31 Qualcomm Incorporated Event based computer vision computation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012200A (zh) * 2021-03-23 2021-06-22 北京灵汐科技有限公司 一种运动物体的定位方法、装置、电子设备及存储介质
CN113012200B (zh) * 2021-03-23 2023-01-13 北京灵汐科技有限公司 一种运动物体的定位方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11405567B2 (en) 2022-08-02
US20200312899A1 (en) 2020-10-01
KR20200115881A (ko) 2020-10-08

Similar Documents

Publication Publication Date Title
CN116170702A (zh) 视觉传感器、图像处理设备以及视觉传感器的操作方法
EP3324611B1 (en) Event-based sensor, user device including the same, and operation method of the same
CN111757028A (zh) 被配置校准事件信号的动态视觉传感器及操作其的方法
US10337861B2 (en) Image generating device for generating depth map with phase detection pixel
KR102578417B1 (ko) 직접 메모리 제어를 갖는 이벤트-기반 비전 센서
US11363220B2 (en) Image sensor having a time calculator and image processing device including the same
KR102503543B1 (ko) 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법
KR20140056986A (ko) 모션 센서 어레이 장치, 상기 모선 센서 어레이를 이용한 거리 센싱 시스템, 및 거리 센싱 방법
US9024245B2 (en) Image sensor apparatus using shaded photodetector for time of flight determination
KR102316448B1 (ko) 이미지 장치 및 그것의 뎁쓰 계산 방법
CN113727079A (zh) 一种图像信号处理方法及装置、电子设备
KR20220076944A (ko) 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
US20220264003A1 (en) Solid-state imaging apparatus and electronic device
US11616916B2 (en) Processing circuit analyzing image data and generating final image data
US20230164457A1 (en) Sensor for accumulation signal
WO2018180660A1 (ja) 固体撮像装置
JPWO2019050024A1 (ja) 距離測定方法および距離測定装置
EP1182865A2 (en) Circuit and method for pixel rearrangement in a digital pixel sensor readout
CN111246129A (zh) 光学传感器以及影像感测方法
KR20230017129A (ko) 광 감지 및 거리 측정(LiDAR) 시스템
WO2022188120A1 (en) Event-based vision sensor and method of event filtering
US20140368710A1 (en) Pixel signal processing apparatus and cmos image sensor using the same
CN109218634B (zh) 包括图像信号处理器的电子设备
JP2023540051A (ja) イベントセンサ、およびイベントデータを含む信号ストリームを生成するための方法
KR102261595B1 (ko) 이미지 센서, 및 이를 포함하는 이미지 처리 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination