CN117768802A - 视觉传感器和包括视觉传感器的图像处理装置 - Google Patents

视觉传感器和包括视觉传感器的图像处理装置 Download PDF

Info

Publication number
CN117768802A
CN117768802A CN202310813178.7A CN202310813178A CN117768802A CN 117768802 A CN117768802 A CN 117768802A CN 202310813178 A CN202310813178 A CN 202310813178A CN 117768802 A CN117768802 A CN 117768802A
Authority
CN
China
Prior art keywords
event
pixel
signal
count value
comparator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310813178.7A
Other languages
English (en)
Inventor
金俊奭
金来泳
朴根柱
朴宰河
朴俊赫
林志原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117768802A publication Critical patent/CN117768802A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

公开了视觉传感器和包括视觉传感器的图像处理装置。视觉传感器的像素包括：光电转换器，被配置为将光信号转换为电流；电流‑电压转换器，被配置为将所述电流转换为第一电压；放大器，被配置为通过放大第一电压的电压电平来生成输出电压；至少一个比较器，被配置为基于将输出电压与至少一个阈值电压进行比较来识别是否发生事件，并且基于识别到发生事件来生成事件信号；以及至少一个计数器，被配置为从至少一个比较器接收事件信号，通过对事件信号进行计数来获得计数值作为关于照度变化量的信息，并且发送包括计数值的输出数据。

Description

视觉传感器和包括视觉传感器的图像处理装置
本申请基于并要求于2022年9月23日在韩国知识产权局提交的第10-2022-0121005号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
公开的示例实施例涉及视觉传感器，更具体地，涉及包括重置电路和事件计数器的视觉传感器以及包括视觉传感器的图像处理装置。
背景技术
人机交互(HCI)以用户接口来表现。识别用户输入的各种用户接口可提供人与计算机之间的自然交互。可使用各种传感器来识别用户输入。
视觉传感器(例如，动态视觉传感器)可感测环境光的强度变化或照度(illumination)变化，可在光的强度或照度的变化量大于阈值时生成关于事件的信息(即，事件信号)，并且可将生成的事件信号传送到处理器。
在现有技术中，动态视觉传感器可仅通过在每个像素处将输出电压与阈值电压电平进行比较来识别是否发生事件，并且可能无法识别事件的发生的照度变化量。
本背景技术部分中公开的信息在实现本申请的实施例的处理之前或期间已经被发明人所知或由发明人得出，或者是在实现实施例的处理中获取的技术信息。因此，它可包括不构成公众已知的现有技术的信息。
发明内容
一个或多个示例实施例提供了能够基于关于获取的事件的照度变化量信息来有效地处理图像的视觉传感器。
另外的方面将部分地在下面的描述中阐述，并且部分地将根据描述而清楚，或者可通过实践所呈现的实施例而得知。
根据示例实施例的一个方面，一种视觉传感器的像素可包括：光电转换器，被配置为将光信号转换为电流；电流-电压转换器，被配置为将所述电流转换为第一电压；放大器，被配置为通过放大第一电压的电压电平来生成输出电压；至少一个比较器，被配置为基于将输出电压与至少一个阈值电压进行比较来识别是否发生事件，并且基于识别到发生事件来生成事件信号；以及至少一个计数器，被配置为从至少一个比较器接收事件信号，通过对事件信号进行计数来获得计数值作为关于照度变化量的信息，并且发送包括计数值的输出数据。
根据示例实施例的一个方面，一种图像处理装置可包括视觉传感器和图像传感器。视觉传感器可包括：光电转换器，被配置为将光信号转换为电信号；放大器，被配置为通过放大电信号来生成输出电压；至少一个比较器，被配置为基于将输出电压与至少一个阈值电压进行比较来识别是否发生事件，并且基于识别到发生事件来生成事件信号；以及至少一个计数器，被配置为从所述至少一个比较器接收事件信号，通过对事件信号进行计数来获得计数值作为关于照度变化量的信息，并且发送包括计数值的输出数据。
根据示例实施例的一个方面，一种视觉传感器的像素可包括：光电转换器，被配置为将光信号转换为电流；比较器，被配置为基于将与所述电流对应的输出电压与至少一个阈值电压电平进行比较来识别是否发生事件，并且基于识别到发生事件来生成事件信号；以及重置电路，被配置为基于事件信号被生成来对输出电压进行重置，其中，事件信号包括正事件信号和负事件信号。
附图说明
根据以下结合附图的描述，本公开的特定示例实施例的以上和其他方面、特征和优点将更加清楚，在附图中：
图1是示出根据实施例的图像处理装置的示图；
图2是示出根据实施例的视觉传感器的示图；
图3A是示出根据实施例的像素的示图；
图3B是示出根据实施例的用于像素组的输出数据的包格式的示图；
图4是示出根据实施例的操作像素的方法的流程图；
图5是示出根据实施例的识别事件的照度变化的操作的示图；
图6是示出根据实施例的包括升降计数器的像素的示图；
图7是示出根据实施例的每个像素的事件检测性能比较结果的示图；
图8A是示出根据实施例的两堆叠像素的结构的示图；
图8B是示出根据实施例的三堆叠像素的结构的示图；以及
图9是示出根据实施例的视觉传感器所实现到的电子装置的框图。
具体实施方式
在下文中，将参照附图详细描述公开的示例实施例。相同的附图标记用于附图中的相同组件，并且将省略其冗余描述。在此描述的实施例是示例实施例，因此，公开不限于此，并且可以以各种其他形式实现。
如在此使用的，诸如“……中的至少一个”的表述在一列元素之后时修饰整列元素，而不是修饰列中的单个元素。例如，表述“a、b和c中的至少一个”应理解为仅包括a、仅包括b、仅包括c、包括a和b两者、包括a和c两者、包括b和c两者，或包括a、b和c中的全部。
图1是示出根据实施例的图像处理装置10的示图。
参照图1，图像处理装置10可包括视觉传感器100、图像传感器200和处理器300。根据实施例的图像处理装置10可安装在具有图像或光感测功能的电子装置中。例如，图像处理装置10可安装在电子装置(诸如，相机、智能电话、可穿戴装置、物联网(IoT)装置、平板个人计算机(PC)、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、无人机和高级驾驶员辅助系统(ADAS))中。此外，图像处理装置10可设置为车辆、家具、制造设施、门和各种测量装置中的组件。
视觉传感器100可检测入射光的强度变化并输出事件信号。视觉传感器100可以是动态视觉传感器，该动态视觉传感器输出针对在其中光的强度变化被感测到的像素(即，发生事件的像素)的事件信号。光的强度变化可通过由视觉传感器100成像的对象的移动、视觉传感器100的移动和/或图像处理装置10本身的移动引起。视觉传感器100可周期性地或非周期性地将包括事件信号的视觉传感器数据VDT发送到处理器300。
视觉传感器100可基于从图像传感器200接收的同步信号SYNC，生成将“由图像传感器200生成的图像帧”与“由视觉传感器100生成的事件信号”匹配的时间戳。视觉传感器100还可将包括生成的时间戳的视觉传感器数据VDT发送到处理器300。时间戳可包括关于图像传感器200被曝光的时间点、图像帧被生成的时间点、或视觉传感器100的事件信号被生成的时间点的信息。
例如，视觉传感器100可使用包括在视觉传感器100的每个像素中的自重置电路和计数器，将包括关于是否发生事件和由事件引起的照度变化量的信息的视觉传感器数据VDT发送到处理器300。
另外，视觉传感器100可使用从图像传感器200接收的同步信号SYNC或视觉传感器100的内部信号，输出用于将包括图像传感器200的外部装置与视觉传感器100同步的装置同步信号。视觉传感器100可输出多个装置同步信号并且单独地控制装置同步信号。
图像传感器200可将通过光学透镜入射的对象的光信号转换为电信号，基于电信号生成图像数据IDT，并输出图像数据IDT。图像传感器200可包括例如像素阵列和读出电路，并且像素阵列可将接收到的光信号转换为电信号，像素阵列包括多个二维布置的像素。像素阵列可被实现为光电转换元件(诸如，电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))，并且还可被实现为各种其他类型的光电转换元件。读出电路可基于从像素阵列提供的电信号生成原始数据，并且可输出原始数据或已经经历预处理的其他原始数据(诸如，移除了坏像素的原始数据)作为图像数据IDT。图像传感器200可被实现为包括像素阵列和读出电路的半导体芯片或封装件。
图像传感器200可生成将要发送到视觉传感器100的同步信号SYNC以便使视觉传感器100与图像传感器200同步。可考虑(例如，基于)图像传感器200的快门信号信息、读出信号信息或图像帧信息来生成同步信号SYNC。
处理器300可对从图像传感器200提供的图像数据IDT执行图像处理。例如，处理器300可执行改变图像数据IDT的数据格式的图像处理(例如，将拜耳模式的图像数据改变为YUV或RGB格式)、用于改善图像质量的图像处理(诸如，去噪、调整亮度和调整锐度)等。处理器300可处理从视觉传感器100接收的视觉传感器数据VDT，并且可基于视觉传感器数据VDT中的事件信号来检测对象的移动(或由图像处理装置10识别的图像上的对象的移动)。
另外，处理器300可使用时间戳和多条同步信号信息，将从图像传感器200提供的图像数据IDT中包括的图像帧与从视觉传感器100接收的视觉传感器数据VDT匹配。
例如，处理器300可有效地应用“用于通过使用时间戳和同步信号信息将视觉传感器数据VDT与图像传感器数据IDT匹配来从图像数据去除由于对象的移动而引起的运动模糊”的算法(例如，CMOS图像传感器(CIS)去模糊算法)，视觉传感器数据VDT包括关于是否发生事件和由事件引起的照度变化量的信息。
处理器300可包括专用集成电路(ASIC)、现场可编程门阵列(FPGA)、专用微处理器、微处理器、通用处理器等。在一个实施例中，处理器300可以是应用处理器或图像信号处理器。
视觉传感器100、图像传感器200和处理器300中的每个可被实现为集成电路(IC)。例如，视觉传感器100、图像传感器200和处理器300可被实现为单独的半导体芯片。可选地，视觉传感器100、图像传感器200和处理器300可被实现为单个芯片。例如，视觉传感器100、图像传感器200和处理器300可被实现为片上系统(SoC)。
图像处理装置10可控制外部装置400收集数据。图像处理装置10可使用时间戳来匹配从外部装置400收集的数据。外部装置400可包括加速度传感器、惯性测量单元(IMU)、陀螺仪传感器、红外(IR)LED和闪光灯。
图2是示出根据实施例的视觉传感器的示图。
参照图1和图2，视觉传感器100可包括像素阵列110、事件处理电路120和接口电路130。
像素阵列110可包括以矩阵形式布置的多个像素PX(例如，110-1至110-n)。图2中示出的像素PX可对应于稍后关于图3A至图9描述的像素。每个像素PX可检测接收到的光的强度增大或减小的事件。例如，每个像素PX可通过沿列方向延伸的列线和沿行方向延伸的行线连接到事件处理电路120。指示发生事件的信号和事件的极性信息(即，事件是光强度增大的正(ON)事件还是光强度减小的负(OFF)事件)可从发生事件的像素输出到事件处理电路120。
事件处理电路120可从像素阵列110读取事件并处理事件。事件处理电路120可生成包括发生的事件的极性信息、发生事件的像素的地址和时间戳的事件数据EDT。事件处理电路120可以以像素为单位、以包括多个像素的像素组为单位、以列为单位、或以帧为单位来处理在像素阵列110中发生的事件。
事件处理电路120可包括列扫描器电路、行事件读出电路、地址事件表示(AER)、事件信号处理器(ESP)和偏置生成器。
事件处理电路120的列扫描器电路可以以列为单位扫描构成像素阵列的像素PX。列扫描器电路可将选择信号发送到像素阵列的多个列中的列，以扫描包括在该列中的像素PX。
包括在被扫描的列中的像素PX可响应于选择信号向行事件读出电路发送极性信息，该极性信息指示发生光强度增大还是减小的事件。
事件处理电路120的行事件读出电路可从包括在被扫描的列中的像素PX接收极性信息。行事件读出电路可响应于极性信息将重置信号RST发送到发生事件(例如，ON事件或OFF事件)的像素PX。发生事件的像素PX可响应于重置信号RST而被重置。
事件处理电路120的ESP可基于从AER接收的地址ADDR、极性信息和时间戳TS来生成事件数据EDT。
接口电路130可接收事件数据EDT和时间戳，并且可根据设置的协议将视觉传感器数据VDT发送到处理器300。接口电路130可通过根据设置的协议将事件数据EDT和时间戳打包在单独的信号单元、包(packet)单元或帧单元中来生成视觉传感器数据VDT，并且可将视觉传感器数据VDT发送到处理器300。例如，接口电路130可包括AER接口、移动工业处理器接口(MIPI)接口和并行接口中的一个。
包括至少一个事件数据EDT和时间戳的包可作为视觉传感器数据VDT从接口电路130输出。包可包括时间戳以及事件数据EDT的地址和极性信息，并且排列顺序不受限制。指示包开始的头可被添加到包的前端，并且指示包结束的尾可被添加到包的后端。包可包括至少一个事件信号。
如上所述，当发生事件时，视觉传感器的像素PX可需要像素重置以检测下一事件。然而，因为像素PX可仅在从外部装置(例如，事件处理电路120)接收到重置信号时被重置，所以重置可能由于重置信号的延迟而延迟，因此，事件发生时间点或输出电压可能失真。
根据实施例的视觉传感器的像素由于在每个像素本身中包括计数器和重置电路的结构特点而通过自重置来实时执行事件感测，并且对引起事件的照度变化量以及是否发生事件进行计数作为计数值，并发送计数值作为视觉传感器的输出数据。下面参照图3A描述根据实施例的像素的结构。在公开中，事件的照度变化量可指已经引起事件的照度变化量。
图3A是示出根据实施例的像素303的示图。
参照图3A，像素303可包括：包括光电转换元件的电流-电压转换器电路312、放大器电路313、比较器电路314、计数器315和重置电路316。
包括在电流-电压转换器电路312中的光电转换元件(例如，光电二极管PD)可将入射光(即，光信号)转换为电信号(例如，电流IPD)。光电转换元件可包括例如光电二极管、光电晶体管、光电门或钉扎光电二极管。随着入射光的强度增大，光电转换元件可生成具有更高电平的电信号。
电流-电压转换器电路312可将由光电转换元件生成的电流IPD转换为电压VPD，并且可放大电压的电压电平以生成对数尺度(scale)的对数电压VLOG。电流-电压转换器电路312可包括对数放大器(LogAMP)和反馈晶体管。对数放大器可被实现为具有负增益(例如，“-A1”)，但是本公开不限于此。对数放大器可被实现为具有正增益。
另外，像素303还可在放大器电路313中包括源极跟随器SF。源极跟随器SF可用于防止从放大器电路313到电流-电压转换器电路312的回馈噪声(kick-back noise)，并且驱动放大器电路313的第一电容器C1或第二电容器C2。当源极跟随器SF被设置时，对数电压VLOG可被输入到源极跟随器SF，并且源极跟随器电压VSF可被生成。
放大器电路313可放大对数电压VLOG(或源极跟随器电压VSF)以生成输出电压VOUT。放大器电路(CapAMP)313可包括第一电容器C1、第二电容器C2、微分放大器和开关SW。第一电容器C1和第二电容器C2可存储与光电转换元件生成的输出对应的电荷。微分放大器可放大对数电压VLOG(或源极跟随器电压VSF)在特定时间段期间的变化量以生成输出电压VOUT，并且反馈电路可连接在微分放大器的输入端子与输出端子之间。
开关SW可位于反馈电路上，并且基于重置信号RST而被接通或断开。当事件信号(例如，ON事件信号或OFF事件信号)被生成时，开关SW可响应于从像素303中的重置电路316接收到重置信号而被接通。
例如，当开关SW接通时，输出电压VOUT可随着微分放大器两端的电压变得相同而被重置。也就是说，微分放大器可放大在从根据重置信号RST对输出电压VOUT进行重置的时间点起的时间发生的事件的对数电压VLOG(或源极跟随器电压VSF)的变化量，以生成输出电压VOUT。
放大器电路313可被实现为具有负增益(例如，“-A2”)，使得当对数电压VLOG(或源极跟随器电压VSF)增大时(即，当光强度增大时)，输出电压VOUT可减小，并且当对数电压VLOG(或源极跟随器电压VSF)减小时(即，当光强度减小时)，输出电压VOUT增大。然而，公开不限于此，并且放大器电路313可被实现为具有正增益。
当入射在光电转换元件上的光的变化量大于或等于预定变化水平时，比较器电路314可生成指示事件的发生的事件信号。比较器电路314可将来自放大器电路313的输出电压VOUT与阈值电压进行比较，并且根据比较结果生成具有激活电平(active level)的事件信号(ON、OFF)。
例如，比较器电路314可包括第一比较器314_1，第一比较器314_1将输出电压VOUT与第一阈值电压电平VTH1进行比较，并根据比较结果生成指示是否发生ON事件的ON事件信号。比较器电路314可包括第二比较器314_2，第二比较器314_2将输出电压VOUT与第二阈值电压电平VTH2进行比较，并根据比较结果生成指示是否发生OFF事件的OFF事件信号。第一阈值电压电平VTH1可与第二阈值电压电平VTH2相同或不同。
当输出电压VOUT达到第一阈值电压电平VTH1时，第一比较器314_1可生成指示发生ON事件的ON事件信号；当输出电压VOUT达到第二阈值电压电平VTH2时，第二比较器314_2可生成指示发生OFF事件的OFF事件信号。例如，当放大器电路313被实现为具有负增益(例如，“-A2”)并且输出电压VOUT低于第一阈值电压VTH1时，第一比较器314_1可生成指示发生ON事件的ON事件信号。此外，当输出电压VOUT高于第二阈值电压VTH2时，第二比较器314_2可生成指示发生OFF事件的OFF事件信号。在该示例中，第一阈值电压VTH1的大小可小于第二阈值电压VTH2的大小。
计数器315可对从比较器电路314输出的ON事件信号和OFF事件信号进行保持和计数，并将计数结果(例如，计数值)输出到外部装置。
例如，计数器315可包括接收从第一比较器314_1输出的ON事件信号作为输入信号的第一事件计数器(例如，ON事件计数器)315_1和接收从第二比较器314_2输出的OFF事件信号作为输入信号的第二事件计数器(例如，OFF事件计数器)315_2。
例如，每当接收到ON事件信号时，第一事件计数器315_1可增大第一计数值。在这种情况下，第一计数值可指：用于表示ON事件的照度变化量的值。ON事件的照度变化量可指：已经引起ON事件的照度变化量。
例如，每当接收到OFF事件信号时，第二事件计数器315_2可增大第二计数值。在这种情况下，第二计数值可指：指示OFF事件的照度变化量的值。OFF事件的照度变化量可指引起OFF事件的照度变化量。
例如，当达到最大计数值MAX时，计数器315可不增大计数值，并且即使在接收到ON事件信号或OFF事件信号时也可保持先前的计数值。
当像素303被扫描时，计数器315可输出基于ON事件信号和OFF事件信号的计数结果数据(例如，计数值)。例如，计数器315可将包括ON事件的第一计数值的第一输出数据(ONN位)和包括OFF事件的第二计数值的第二输出数据(OFF N位)发送到外部装置(例如，读出电路)。当计数器315从外部装置接收到扫描信号(例如，SEL)时，计数器315可输出计数值并将计数值重置为“0”。
重置电路316可位于像素303内部，并且可被称为自重置电路。当发生ON事件信号或OFF事件信号时，重置电路316可生成重置信号RST并且可将重置信号RST发送到放大器电路313，使得像素303可被重置。
重置电路316可包括或(OR)门和重置信号生成器。例如，或门可与第一比较器314_1、第二比较器314_2和放大器电路313电连接。或门可从第一比较器314_1和第二比较器314_2接收输入信号，并且可将重置信号RST作为输出信号发送到放大器电路313。在这种情况下，输入信号可指ON事件信号和OFF事件信号中的任何一个。
例如，重置信号RST可被生成为具有不应期(refractory period)的信号。为了防止开关SW的不必要的重置，重置信号RST可具有一定时段的不应期，直到在开关SW重置之后再次断开开关SW为止。然而，公开不限于此，并且重置信号RST可在没有不应期的情况下被发送到放大器电路313。
例如，放大器电路313可响应于接收到重置信号RST而接通设置在放大器电路313的反馈电路上的开关SW。当开关SW接通时，随着放大器电路313的微分放大器两端的电压变得相同，输出电压VOUT可被重置。也就是说，微分放大器可放大从根据重置信号RST对输出电压VOUT进行重置的时间点起的对数电压VLOG(或源极跟随器电压VSF)的变化量，以生成用于下一事件的输出电压VOUT。
当事件发生时，根据实施例的动态视觉传感器(DVS)的像素可将对应事件的照度变化量作为计数值存储在用于每个事件(例如，ON事件或OFF事件)的计数器中，从而基于每个事件的照度变化量精确地分析对象的移动以执行图像处理。
另外，根据实施例的视觉传感器可检测在一个帧周期内发生的ON事件和OFF事件两者，并且将关于每个事件的照度变化量的数据输出到外部装置。例如，当重复且快速发生ON事件和OFF事件的闪烁(flicker)事件发生时，根据实施例的包括DVS像素的图像处理装置可通过像素的ON事件计数器和OFF事件计数器的计数值来过滤闪烁事件，从而在图像处理过程期间有效地去除闪烁事件。
图3B是示出根据实施例的用于像素组的输出数据的包格式的示图。第一包格式350是根据比较示例的包格式，并且第二包格式370是根据实施例的包格式的示例。
第一包格式350可以是用于包括在像素内部不包括重置电路和计数器的像素的视觉传感器的输出数据的包格式，并且第二包格式370可以是用于包括在像素内部包括重置电路和计数器的像素的视觉传感器的输出数据的包格式。
第一包格式350可包括ON事件字段351、OFF事件字段353、组地址值字段355、多DVS情况的通道ID 357和组包的指示符359。
在第一包格式350中，每个像素组可包括8个像素(例如，第一像素至第八像素)。在这种情况下，ON事件字段351可通过每像素分配1位来指示在八个像素(例如，第一像素至第八像素)中的每个中是否发生ON事件。OFF事件字段353可通过每像素分配1位来指示在八个像素(例如，第一像素至第八像素)中的每个中是否发生OFF事件。例如，第一包格式350的字段#0(即，图3B中示出标号为0的位)可指示在目标像素组的第一像素中是否发生ON事件，并且第一包格式350的字段#8(即，图3B中示出标号为8的位)可指示在目标像素组的第一像素中是否发生OFF事件。
例如，第一包格式350的字段#0可具有值0和1，并且可指示在目标像素组的第一像素中是否发生ON事件。
例如，第一包格式350的字段#8可具有值0和1，并且可指示在目标像素组的第一像素中是否发生OFF事件。
组地址值字段355可指示所有像素组中的目标像素组的地址。例如，在视觉传感器包括总共720个像素的情况下，每个像素组可包括8个像素，因此，总共有90个像素组，并且用于指示每个像素组的组地址值字段355可包括7位。
第二包格式370可包括ON事件字段371、OFF事件字段373、组地址值字段375、多DVS情况的通道ID 377和组包的指示符379。
在第二包格式370中，每个像素组可包括4个像素(例如，第一像素至第四像素)。在这种情况下，可通过将每像素2位分配给四个像素(例如，第一像素至第四像素)中的每个来指示ON事件字段371。可通过将每像素2位分配给四个像素(例如，第一像素至第四像素)中的每个来指示OFF事件字段373。
例如，第二包格式370的字段#0和#1可指示目标像素组的第一像素中是否发生ON事件以及ON事件的照度变化量，并且第二包格式370的字段#8和#9可指示目标像素组的第一像素中是否发生OFF事件以及OFF事件的照度变化量。
例如，第二包格式370的字段#0和#1可具有“00”、“01”、“10”和“11”中的任何一个的值，并且可基于四种类型的值来指示目标像素组的第一像素中是否发生ON事件以及目标像素组的第一像素的ON事件的照度变化量。ON事件计数器的最大计数值MAX可以是“11”。
例如，第二包格式370的字段#8和#9可具有“00”、“01”、“10”和“11”中的任何一个的值，并且可指示目标像素组的第一像素中是否发生OFF事件以及目标像素组的第一像素的OFF事件的照度变化量。OFF事件计数器的最大计数值MAX可以是“11”。
组地址值字段375可指示所有像素组中的目标像素组的地址。例如，在视觉传感器包括总共720个像素的情况下，每个像素组可包括4个像素，使得总共有180个像素组，并且用于表示每个像素组的组地址值字段375可包括8位。
因为根据实施例的视觉传感器的像素在其中包括重置电路和计数器，所以像素可生成输出数据，并且可使用对应的包格式(例如，第二包格式)，该输出数据包括关于已经引起事件的照度变化量以及在一个帧周期内是否发生对应的事件的事件信息。
图4是示出根据实施例的操作像素的方法的流程图401。
图4是示出在图3A的像素303中执行的识别是否发生事件的操作以及对由事件引起的照度变化量进行计数的操作的示图。
参照图4，事件识别操作和对生成的照度变化量的计数操作可包括操作S10、S20、S30、S40和S50。
在操作S10中，像素可将光信号转换为电信号。
例如，像素的光电转换元件可根据光的强度将光信号转换为电信号(诸如，电流IPD)。像素的电流-电压转换器电路312可将生成的电流IPD转换为电压并放大电压电平以生成对数尺度的对数电压VLOG。
在操作S20中，像素可生成输出电压。
例如，像素的放大器电路可放大对数电压VLOG(或已经通过源极跟随器的源极跟随器电压VSF)在特定时间段内的变化量，以生成输出电压VOUT。像素的放大器电路可被实现为具有负增益，使得当对数电压VLOG(或已经通过源极跟随器的源极跟随器电压VSF)增大时(即，当光强度增大时)，输出电压VOUT减小，并且当对数电压VLOG(或已经通过源极跟随器的源极跟随器电压VSF)减小时(即，当光强度减小时)，输出电压VOUT增大。
在操作S30中，像素可识别是否发生事件。像素的比较器电路可包括用于检测像素的ON事件的第一比较器电路和用于检测像素的OFF事件的第二比较器电路。
例如，当识别出在一个帧中的像素中发生事件(例如，ON事件或OFF事件)时，像素可执行操作S40。
例如，当识别出在一个帧中的像素中尚未发生事件(例如，ON事件或OFF事件)时，像素可返回到操作S10。
例如，当输出电压VOUT低于第一阈值电压VTH1时，第一比较器电路可识别出在像素中发生ON事件，并且可生成ON事件信号。当输出电压VOUT高于第二阈值电压VTH2时，第二比较器电路可识别出在像素中发生OFF事件，并且可生成OFF事件信号。第一阈值电压电平VTH1可与第二阈值电压电平VTH2相同或不同。
在操作S40中，像素可对事件的照度变化量进行计数并执行自重置。像素的计数器可包括第一事件计数器和第二事件计数器，第一事件计数器对ON事件的照度变化量进行计数，第二事件计数器对OFF事件的照度变化量进行计数。
例如，每当接收到ON事件信号时，第一事件计数器可增大第一计数值。在这种情况下，第一计数值可指：用于表示ON事件的照度变化量的值。
例如，每当接收到OFF事件信号时，第二事件计数器可增大第二计数值。在这种情况下，第二计数值可指：表示OFF事件的照度变化量的值。
例如，当计数值达到最大计数值MAX时，即使接收到ON事件信号或OFF事件信号，第一事件计数器和第二事件计数器也可不增大计数值而是保持先前的计数值。下面参照图5描述对已经引起事件的照度变化量进行计数的实施例。
像素可执行自重置。
例如，像素的重置电路(例如，自重置电路)可位于像素内部和/或被配置为像素的一部分。当ON事件或OFF事件发生时，重置电路可在不从外部装置接收控制信号(例如，重置信号)的情况下，通过响应于事件信号的发生而自身生成重置信号RST来对像素进行重置。
例如，当发生ON事件信号或OFF事件信号时，重置电路可将重置信号RST发送到放大器电路以激活放大器电路的开关，从而通过自身对像素进行重置。
例如，当像素的放大器电路的开关被激活时，输出电压VOUT可随着放大器电路的微分放大器两端的电压变得相同而被重置。放大器电路的微分放大器可放大对数电压VLOG(或源极跟随器电压VSF)的变化量，以用于从根据重置信号RST对输出电压VOUT进行重置的时间点开始发生的下一事件。像素可切换到待命状态，在待命状态下可识别是否发生下一事件。
像素可被配置为检测是否发生事件直到从外部装置接收到扫描信号SEL为止，并且可在发生事件时重复地执行照度变化量的计数。
在操作S50中，像素可将包括关于事件的照度变化量的信息的输出数据发送到外部装置。
例如，响应于从外部装置(例如，读出电路)接收的扫描信号SEL，像素可将包括关于已经引起每个事件的照度变化量的信息(例如，计数值)的输出数据发送到外部装置。输出数据可包括具有N位(N：正整数)大小的数据，以便表示事件的照度变化量以及事件的发生。
根据实施例的视觉传感器的像素可以以在像素内部包括重置电路和计数器的形式实现。在一个实施例中，像素可使用像素内部的重置电路来执行立即像素重置，并且对在一个帧周期期间发生的事件(例如，ON事件或OFF事件)的照度变化量进行计数。
图5是示出根据实施例的识别事件的照度变化的操作500的示图。
图5示出由图3A的像素303的计数器执行的对已经引起事件的照度变化量的计数操作。
参照图3A和图5，在曲线图(a)中，横轴可表示时域，并且纵轴可表示由像素303的光电变换元件生成的电流IPD的对数尺度。在曲线图(b)中，横轴可表示时域，并且纵轴可表示放大器电路313的输出电压VOUT区域。
曲线图(a)和(b)中的由实线指示的曲线图(例如，510-1和510-2)可表示针对第一事件的电流IPD和输出电压VOUT的曲线图，并且由虚线指示的曲线图(例如，520-1和520-2)可表示针对第二事件的电流IPD和输出电压VOUT的曲线图。在一个帧周期X 540期间发生的第一事件和第二事件可以是OFF事件，并且事件计数器可以是2位计数器(例如，假设像素的放大器电路被实现为具有负增益)。每个事件的照度变化量可以是已经引起每个事件的照度变化量，并且可由电流IPD或输出电压VOUT的变化量指示。
如图5的曲线图(a)所示，在第一事件的情况下，第一事件的照度变化量可由第一IPD的变化量530-1表示。另外，在第二事件的情况下，第二事件的照度变化量可由第二IPD的变化量530-2表示。
例如，像素可基于电流-电压转换器和放大器电路将曲线图(a)的电流IPD转换为曲线图(b)的输出电压VOUT。
例如，基于比较器电路和计数器，每当转换后的输出电压VOUT的变化量(例如，510-2和520-2)达到阈值计数电平550时，像素可增大计数值。另外，基于重置电路，像素可在达到阈值计数电平之后在没有外部信号的情况下对输出电压VOUT进行自重置。也就是说，基于事件的输出电压VOUT与阈值计数电平之间的比较结果，像素可将已经引起事件的照度变化量表示为计数值。
如图5的曲线图(b)所示，在第一事件的情况下，由于第一事件引起的输出电压VOUT510-2的变化量可在一个帧周期540期间达到阈值计数电平总共四次，因此，第一事件的照度变化量可通过将第一事件的计数值增大4次而由第一计数值(例如，11(在2位计数器的情况下))表示。
在第二事件的情况下，由于第二事件引起的输出电压VOUT 520-2的变化量可在一个帧周期540期间达到阈值计数电平总共一次，因此，第二事件的照度变化量可通过将第二事件的计数值增大一次而由第二计数值(例如，01(在2位计数器的情况下))表示。
如上所述，根据实施例的像素不仅可指示事件的发生，而且可通过相对数值(例如，计数值)指示每个事件的照度变化量。因此，根据实施例的像素可提供视觉传感器，该视觉传感器能够通过比较在帧周期内检测到的事件的照度变化量来有效地处理在图像处理中检测到的事件。
图6是示出根据实施例的包括升降计数器(或称为升/降计数器)的像素600的电路图。
参照图6，像素600可包括：包括光电转换元件的电流-电压转换器电路612、放大器电路613、比较器电路614、计数器615和重置电路616。
图6的电流-电压转换器电路612、放大器电路613、比较器电路614和重置电路616可分别类似于在图3A所描述的电流-电压转换器电路312、放大器电路313、比较器电路314和重置电路316，因此可省略重复描述。
计数器615可对从比较器电路614输出的ON事件信号和OFF事件信号进行保持和计数，并且可将计数结果(例如，计数值)输出到外部装置。与图3A不同，图6的计数器615可被配置为增大和减小ON/OFF事件的计数值的单个升/降计数器。
例如，计数器615可接收从第一比较器614_1输出的ON事件信号作为用于增大计数值的信号，并且接收从第二比较器614_2输出的OFF事件信号作为用于减小计数值的信号。
例如，计数器615可在每次接收到ON事件信号ON时对计数器615的计数值进行计数(例如，增加计数值)，并且可在每次接收到OFF事件信号OFF时对计数值进行倒计数(例如，减小计数值)。
例如，在达到最大计数值MAX的情况下，即使当接收到ON事件信号或OFF事件信号时，计数器615也可不增大或减小计数值并保持先前的计数值。
当像素600被扫描时，计数器615可基于ON事件信号和OFF事件信号输出计数结果数据(例如，最终计数值)。在这种情况下，存储在计数器615中的第一计数值(重置值)与最终计数值之间的差可指：在一个帧周期期间已经引起ON事件和OFF事件的照度变化量。
计数器615可将包括ON事件和OFF事件的最终计数值的输出数据(N位)发送到外部装置(例如，读出电路)。
例如，当计数器615从外部装置接收到控制信号(例如，SEL)时，计数器615可将包括ON事件和OFF事件的最终计数值的输出数据(N位)发送到外部装置(例如，读出电路)，然后计数器615可被重置。在这种情况下，计数器615的重置值可指：计数值的最大值与最小值之间的中间值和平均值中的任何一个。
根据实施例的像素600可使用像素600中的重置电路616(例如，自重置电路)在发生事件时立即重置像素，因此，可防止由于重置信号的延迟引起的事件发生时间点和输出电压的失真，并且可由计数值表示基于重置状态的事件的照度变化量。
根据实施例的视觉传感器的像素600可以以在像素内部包括重置电路和升/降计数器的形式实现。由于像素600可通过单个升/降计数器对事件的照度变化量(例如，已经引起事件的照度变化量)进行计数，因此与包括图3A的计数器(例如，ON事件计数器315-1和OFF事件计数器315-2)的像素相比，像素600的总尺寸可被减小，从而节省硬件资源。
图7是示出根据实施例的每个像素的事件检测性能比较结果的示图。
在图7中，为了比较被实现为具有不同结构的每个像素的事件检测性能，横轴表示时域，并且纵轴表示指示事件的光亮度变化的电流IPD(对数尺度)、作为电流IPD的转换数据的源极跟随器电压VSF(线性尺度)和输出电压VOUT。
图7示出第一像素A与第二像素B的事件检测性能之间的比较，在第一像素A中，输出电压VOUT基于像素内部的重置电路(例如，自重置电路)被重置，在第二像素B中，输出电压VOUT基于像素外部的重置电路被重置。
第一像素A和第二像素B中的实际事件发生时间可以是第一事件发生时间点741-1至第四事件发生时间点741-4，并且从第二像素B的外部装置接收到重置信号RST的时间点可以是第一RST时间点751-1至第四RST时间点751-4。
图7中描绘的结果基于以下假设：第一像素A和第二像素B的放大器电路被实现为具有负增益，并且在第一像素A和第二像素B的输出电压VOUT的曲线图中，第一阈值电压电平710可指示ON事件的阈值电压电平，第二阈值电压电平720可指示OFF事件的阈值电压电平，第三阈值电压电平730可指示重置电压电平。
例如，参照图7中示出针对每个像素检测到的事件发生时间点的箭头图760，由第一像素A检测到的事件发生时间点742-1至742-4与实际事件发生时间点(分别为第一事件发生时间点741-1至第四事件发生时间点741-4)一致。由第二像素B检测到的事件发生时间点752-1至752-2仅与从外部装置接收到重置信号的时间点(第一RST时间点751-1和第二RST时间点751-2)一致，但与实际事件发生时间点(第一事件发生时间点741-1至第四事件发生时间点741-4)不匹配。
具体地，在第二像素B的情况下，如果在从外部装置(例如，读出电路)接收到重置信号RST时发生延迟，则输出电压VOUT中可能发生失真，并且由于失真的影响，可能发生在下一事件的发生时间点(例如，第三事件发生时间点741-3和第四事件发生时间点741-4)未检测到事件的严重错误。
因此，根据实施例的像素(例如，第一像素A)可在像素内部包括重置电路，并且通过重置电路执行自重置，从而提供“能够防止由于从外部装置接收的重置信号RST的延迟引起的事件发生时间点和输出电压VOUT的失真，并且能够准确地测量事件发生时间点和事件的照度变化量(输出电压VOUT的变化量)”的视觉传感器。
图8A是示出根据实施例的2堆叠(2-stack)像素的结构810的示图。图8B是示出根据实施例的3堆叠(3-stack)像素的结构850的示图。
作为用于降低像素的尺寸的一个实施例，图8A示出2堆叠像素的结构810，图8B示出3堆叠像素的结构850。
参照图8A，根据实施例，像素803可包括：包括光电变换元件的电流-电压转换器电路812、放大器电路813、包括检测ON事件的第一比较器814-1和检测OFF事件的第二比较器814-2的比较器电路814、包括对ON事件的照度变化量进行计数的第一计数器815-1和对OFF事件的照度变化量进行计数的第二计数器815-2的计数器815、以及重置电路816。
根据实施例，像素803可以以包括第一板820和第二板830的两堆叠结构来实现。第一板820可包括包含光电转换元件的电流-电压转换器电路812，并且第二板830可包括放大器电路813、比较器电路814(例如，第一比较器814-1和第二比较器814-2)、计数器815(例如，第一计数器815-1和第二计数器815-2)和重置电路816。在这种情况下，可根据像素803和各个组件电路的尺寸来确定第一板820与第二板830之间的两堆叠的布置顺序。例如，在像素803中，第一板820可设置在第二板830上方，或者第一板820可设置在第二板830下方。
参照图8B，根据实施例，像素804可包括：包括光电变换元件的电流-电压转换器电路852、放大器电路853、包括检测ON事件的第一比较器854-1和检测OFF事件的第二比较器854-2的比较器电路854、包括对ON事件的照度变化进行计数的第一计数器855-1和对OFF事件的照度变化量进行计数的第二计数器855-2的计数器855、以及重置电路856。
根据实施例，像素804可以以包括第一板860、第二板870和第三板880的3堆叠结构实现。第一板860可包括包含光电转换元件的电流-电压转换器电路852，第二板870可包括放大器电路853，并且第三板880可包括比较器电路854(例如，第一比较器854-1和第二比较器854-2)、计数器855(例如，第一计数器855-1和第二计数器855-2)和重置电路856。在这种情况下，可根据像素804和各个组件电路的尺寸来确定第一板860、第二板870和第三板880之中的3堆叠像素的布置顺序。例如，在像素804中，第一板860可设置在第二板870上方，并且第二板870可设置在第三板880上方；或者第一板860可设置在第二板870下方，并且第二板870可设置在第三板880下方。
图9是示出根据实施例的应用了视觉传感器的电子装置1000的示图。
参照图9，电子装置1000可包括视觉传感器1100、图像传感器1200、主处理器1300、存储器1400、存储装置1500、显示装置1600、用户接口1700和通信单元1800。公开不限于此，并且电子装置1000可被实现使得上述组件中的至少一些被省略或者附加组件被添加。
以上参照图1至图8B描述的视觉传感器100可应用为视觉传感器1100，并且以上描述的图像传感器200可应用为图像传感器1200。
视觉传感器1100可感测对象以生成事件信号并将生成的事件信号发送到主处理器1300。在图1至图8B中，视觉传感器1100可以是包括在图像传感器1200中的组件，但是公开不限于此，并且根据实施例的视觉传感器1100可单独作为电子装置1000中的独立传感器起作用或操作。
图像传感器1200可基于接收到的光学信号生成图像数据(例如，原始图像数据)，并将图像数据提供给主处理器1300。
主处理器1300可控制电子装置1000的整体操作，并且可通过处理从视觉传感器1100接收的事件数据(即，事件信号)来检测对象的移动。也就是说，主处理器1300可基于是否发生事件和从视觉传感器1100接收的关于事件的照度变化量的数据(例如，计数值)来对对象的移动执行图像处理。在公开中，事件的照度变化量可指已经引起事件的照度变化量。
存储器1400可存储用于电子装置1000的操作的数据。例如，存储器1400可临时存储由主处理器1300处理的包或帧。存储器1400可临时存储包括从视觉传感器1100接收的输出数据(例如，关于是否发生事件和通过对事件的照度变化进行计数而获得的数据的信息)的帧。
例如，存储器1400可包括易失性存储器(诸如，动态随机存取存储器(DRAM)、同步动态RAM(SDRAM))和/或非易失性存储器(诸如，相变RAM(PRAM)、磁阻RAM(MRAM)和电阻RAM(ReRAM)、铁电RAM(FRAM)等)。
存储装置1500可存储由主处理器1300或其他组件请求存储的数据。存储装置1500可包括非易失性存储器(诸如，闪存、PRAM、MRAM、ReRAM、FRAM等)。
显示装置1600可包括显示面板、显示驱动电路和显示串行接口(DSI)。例如，显示面板可被实现为各种装置(诸如，液晶显示器(LCD)装置、发光二极管(LED)显示装置、有机LED(OLED)显示装置和有源矩阵OLED(AMOLED)显示装置)。显示驱动电路可包括驱动显示面板所需的时序控制器和源极驱动器。内置在主处理器1300中的DSI主机可通过DSI与显示面板执行串行通信。
用户接口1700可包括诸如键盘、鼠标、键区、按钮、触摸面板、触摸屏、触摸板、触摸球、陀螺仪传感器、振动传感器和加速度传感器的输入接口中的至少一个。
通信单元1800可通过天线1830与外部装置/系统交换信号。通信单元1800的收发器1810和调制器/解调器(调制解调器)1820可根据无线通信协议(诸如，长期演进(LTE)、全球微波接入互操作性(WIMAX)、全球移动通信系统(GSM)、码分多址(CDMA)、蓝牙、近场通信(NFC)、无线保真(Wi-Fi)、射频识别(RFID)等)处理与外部装置/系统交换的信号。
电子装置1000的组件(例如，视觉传感器1100、图像传感器1200、主处理器1300、存储器1400、存储装置1500、显示装置1600、用户接口1700和通信单元1800)可基于诸如以下各种接口协议中的一种或多种与外部装置交换数据：通用串行总线(USB)、小型计算机系统接口(SCSI)、MIPI、I2C、外围组件互连快速(PCIe)、移动PCIe(M-PCIe)、高级技术附件(ATA)、并行ATA(PATA)、串行ATA(SATA)、串行附接SCSI(SAS)、集成驱动电子器件(IDE)、增强型IDE(EIDE)、非易失性存储器快速(NVMe)、通用闪存(UFS)等。
以上描述中提供的每个实施例不排除与也在此提供或在此未提供但与公开一致的另一示例或另一实施例的一个或多个特征相关联。
虽然已经参照公开的实施例具体示出和描述了公开，但是将理解，在不脱离所附权利要求的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (20)

1.一种视觉传感器的像素，所述像素包括：
光电转换器，被配置为将光信号转换为电流；
电流-电压转换器，被配置为将所述电流转换为第一电压；
放大器，被配置为通过放大第一电压的电压电平来生成输出电压；
至少一个比较器，被配置为：基于将输出电压与至少一个阈值电压进行比较来识别是否发生事件，并且基于识别到发生事件来生成事件信号；以及
至少一个计数器，被配置为：从所述至少一个比较器接收事件信号，通过对事件信号进行计数来获得计数值作为关于照度变化量的信息，并且发送包括计数值的输出数据。
2.根据权利要求1所述的像素，还包括：
重置电路，连接到所述至少一个比较器和放大器，
其中，重置电路被配置为基于由所述至少一个比较器生成的事件信号向放大器发送重置信号，重置信号对输出电压进行重置。
3.根据权利要求2所述的像素，其中，所述至少一个比较器包括：
第一比较器，被配置为识别是否发生所述像素的正事件；以及
第二比较器，被配置为识别是否发生所述像素的负事件。
4.根据权利要求3所述的像素，其中，所述至少一个计数器包括：
第一计数器，被配置为：通过对正事件的第一照度变化量进行计数来获得第一计数值，输出包括第一计数值的第一输出数据；以及
第二计数器，被配置为：通过对负事件的第二照度变化量进行计数来获得第二计数值，并且输出包括第二计数值的第二输出数据。
5.根据权利要求4所述的像素，其中，第一比较器还被配置为基于输出电压达到第一电压电平而将第一事件信号发送到第一计数器，
其中，第二比较器还被配置为基于输出电压达到第二电压电平而将第二事件信号发送到第二计数器，
其中，第一电压电平与正事件的第一阈值电压电平对应，并且
其中，第二电压电平与负事件的第二阈值电压电平对应。
6.根据权利要求1所述的像素，其中，所述至少一个计数器还被配置为：
基于来自外部装置的扫描信号来输出输出数据，以及
在输出输出数据之后被重置。
7.根据权利要求1至6中的任一项所述的像素，其中，所述像素包括沿垂直方向堆叠的上板和下板，
其中，光电转换器和电流-电压转换器设置在上板上，并且
其中，放大器、所述至少一个比较器和所述至少一个计数器设置在下板上。
8.根据权利要求1至6中的任一项所述的像素，其中，所述像素包括沿垂直方向堆叠的上板、中间板和下板，
其中，光电转换器和电流-电压转换器设置在上板上，
其中，放大器设置在中间板上，并且
其中，所述至少一个比较器和所述至少一个计数器设置在下板上。
9.一种图像处理装置，包括：
视觉传感器；以及
图像传感器，
其中，视觉传感器包括：
光电转换器，被配置为将光信号转换为电信号；
放大器，被配置为通过放大电信号来生成输出电压；
至少一个比较器，被配置为：基于将输出电压与至少一个阈值电压进行比较来识别是否发生事件，并且基于识别到发生事件来生成事件信号；以及
至少一个计数器，被配置为：从所述至少一个比较器接收事件信号，通过对事件信号进行计数来获得计数值作为关于照度变化量的信息，并且发送包括计数值的输出数据。
10.根据权利要求9所述的图像处理装置，其中，视觉传感器还包括：重置电路，被配置为基于生成的事件信号将重置信号发送到放大器，重置信号对输出电压进行重置。
11.根据权利要求10所述的图像处理装置，其中，事件包括正事件和负事件，其中，正事件指示光强度增大，负事件指示光强度减小，并且
其中，所述至少一个比较器包括：
第一比较器，被配置为识别是否发生正事件；以及
第二比较器，被配置为识别是否发生负事件。
12.根据权利要求11所述的图像处理装置，其中，所述至少一个计数器包括：
第一计数器，被配置为：通过对正事件的第一照度变化量进行计数来获得第一计数值，并且输出包括第一计数值的第一输出数据；以及
第二计数器，被配置为：通过对负事件的第二照度变化量进行计数来获得第二计数值，并且输出包括第二计数值的第二输出数据。
13.根据权利要求12所述的图像处理装置，其中，第一比较器被配置为基于输出电压达到第一电压电平而将第一事件信号发送到第一计数器，
其中，第二比较器被配置为基于输出电压达到第二电压电平而将第二事件信号发送到第二计数器，
其中，第一电压电平与正事件的第一阈值电压电平对应，并且
其中，第二电压电平与负事件的第二阈值电压电平对应。
14.根据权利要求9所述的图像处理装置，其中，所述至少一个计数器还被配置为基于来自外部装置的扫描信号来输出输出数据，并且在输出输出数据之后被重置。
15.根据权利要求9至14中的任一项所述的图像处理装置，其中，视觉传感器包括像素，
其中，视觉传感器的像素包括沿垂直方向堆叠的上板和下板，
其中，光电转换器设置在上板上，并且
其中，放大器、所述至少一个比较器和所述至少一个计数器设置在下板上。
16.根据权利要求9至14中的任一项所述的图像处理装置，其中，视觉传感器还包括像素，
其中，视觉传感器的像素包括沿垂直方向堆叠的上板、中间板和下板，
其中，光电转换器设置在上板上，
其中，放大器设置在中间板上，并且
其中，所述至少一个比较器和所述至少一个计数器设置在下板上。
17.一种视觉传感器的像素，所述像素包括：
光电转换器，被配置为将光信号转换为电流；
比较器，被配置为：基于将与所述电流对应的输出电压与至少一个阈值电压电平进行比较来识别是否发生事件，并且基于识别到发生事件来生成事件信号；以及
重置电路，被配置为基于事件信号被生成来对输出电压进行重置，
其中，事件信号包括正事件信号和负事件信号。
18.根据权利要求17所述的像素，还包括：
升降计数器，被配置为：
基于正事件信号被接收到而增大计数值，
基于负事件信号被接收到而减小计数值，并且
输出最终计数值作为与照度变化量对应的数据。
19.根据权利要求17所述的像素，还包括：
多个计数器，被配置为：
基于正事件信号被接收到而增大第一计数值，
基于负事件信号被接收到而增大第二计数值，并且
输出包括第一计数值和第二计数值的数据，
其中，第一计数值包括关于正事件的第一照度变化量的信息，以及
其中，第二计数值包括关于负事件的第二照度变化量的信息。
20.根据权利要求17至19中的任一项所述的像素，其中，所述像素包括沿垂直方向堆叠的上板和下板，
其中，光电转换器设置在上板上，并且
其中，比较器和重置电路设置在下板上。
CN202310813178.7A 2022-09-23 2023-07-04 视觉传感器和包括视觉传感器的图像处理装置 Pending CN117768802A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220121005A KR20240041671A (ko) 2022-09-23 2022-09-23 비전 센서 및 이를 포함하는 이미지 처리 장치
KR10-2022-0121005 2022-09-23

Publications (1)

Publication Number Publication Date
CN117768802A true CN117768802A (zh) 2024-03-26

Family

ID=90322606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310813178.7A Pending CN117768802A (zh) 2022-09-23 2023-07-04 视觉传感器和包括视觉传感器的图像处理装置

Country Status (3)

Country Link
US (1) US20240107188A1 (zh)
KR (1) KR20240041671A (zh)
CN (1) CN117768802A (zh)

Also Published As

Publication number Publication date
KR20240041671A (ko) 2024-04-01
US20240107188A1 (en) 2024-03-28

Similar Documents

Publication Publication Date Title
US20230334811A1 (en) Vision sensors, image processing devices including the vision sensors, and operating methods of the vision sensors
JP7374242B2 (ja) 動的ビジョンセンサアーキテクチャ
EP3443741B1 (en) Digital unit cell with analog counter element
US10834349B2 (en) Solid-state image sensor, image capturing apparatus and image capturing method
KR102025935B1 (ko) 이미지 생성 장치 및 이미지 생성 방법
CN114697577A (zh) 动态视觉传感器和包括动态视觉传感器的图像处理设备
KR20220076944A (ko) 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
CN114785973A (zh) 事件驱动像素的数字时间戳设计
US11765486B2 (en) Vision sensor and image processing device including the same
US11950003B2 (en) Vision sensor and operating method of the same
CN117768802A (zh) 视觉传感器和包括视觉传感器的图像处理装置
US11418735B2 (en) Image processing device including vision sensor and operating method thereof
EP4398595A1 (en) Vision sensor and image processing device including the same
US20240236517A1 (en) Vision sensor and image processing device including the same
US20230300282A1 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
CN118317217A (zh) 视觉传感器以及包括该视觉传感器的图像处理设备
JP2016100898A (ja) ピクセルイメージに含まれる不良画素の処理方法とその方法を用いたイメージセンサー及びアプリケーションプロセッサ
EP4093021A1 (en) Vision sensor and operating method thereof
US20230064794A1 (en) Photoelectric conversion device, image pickup apparatus, control method, and storage medium
JP2007173914A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication