CN112153309A - 视觉传感器、图像处理设备以及视觉传感器的操作方法 - Google Patents

视觉传感器、图像处理设备以及视觉传感器的操作方法 Download PDF

Info

Publication number
CN112153309A
CN112153309A CN202010526059.XA CN202010526059A CN112153309A CN 112153309 A CN112153309 A CN 112153309A CN 202010526059 A CN202010526059 A CN 202010526059A CN 112153309 A CN112153309 A CN 112153309A
Authority
CN
China
Prior art keywords
event
vision sensor
event signals
amount
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010526059.XA
Other languages
English (en)
Inventor
徐宗奭
李贤九
丁喜宰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202310117246.6A priority Critical patent/CN116170702A/zh
Publication of CN112153309A publication Critical patent/CN112153309A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

一种视觉传感器包括：像素阵列，其包含以矩阵布置的像素；事件检测电路；事件率控制器；以及接口电路。每个像素被配置为响应于检测到入射光强度的变化而生成电信号。事件检测电路基于对从一个或多个像素接收的电信号进行处理，来检测在任何像素处是否已经发生入射光强度的变化，并且生成与确定入射光的强度已经发生变化的一个或多个像素相对应的一个或多个事件信号。事件率控制器选择与像素阵列上的感兴趣区域相对应的一个或多个事件信号，作为一个或多个输出事件信号。接口电路与外部处理器进行通信并将一个或多个输出事件信号传送给外部处理器。

Description

视觉传感器、图像处理设备以及视觉传感器的操作方法
相关申请的交叉引用
本申请要求于2019年6月26日在韩国知识产权局提交的韩国专利申请No.10-2019-0076347的权益，该申请的公开内容通过引用全部并入本文中。
技术领域
本发明构思涉及视觉传感器，更具体地，涉及被配置为调整所传送的事件数据的量的视觉传感器、包括视觉传感器的图像处理设备以及视觉传感器的操作方法。
背景技术
当事件(例如，入射在视觉传感器上的光的强度变化)发生时，视觉传感器(例如，动态视觉传感器)生成关于该事件(例如，与事件相关联)的信息，即事件信号，并将事件信号提供给处理器。由于光(例如，入射光)的强度变化主要发生在由视觉传感器正在检测的对象的轮廓处，因此视觉传感器不生成关于背景的不必要的信息，并且要由处理器处理的数据量可以快速减少。另外，当在长时间段期间发生大量(例如，数量、计数等)事件并且要传送给处理器的事件数据(例如，指示所述事件的发生的事件信号)的量超过系统的传送限制时，在传送事件数据的过程中可能发生数据损失。
发明内容
本发明构思的一些示例实施例提供了一个或多个视觉传感器、包括一个或多个视觉传感器的一个或多个图像处理设备、以及一个或多个视觉传感器的一种或多种操作方法，其中所述一个或多个视觉传感器均被配置为在通过所述一个或多个视觉传感器传送事件数据的过程中减少或防止数据损失。
根据一些示例实施例，视觉传感器可以包括像素阵列，所述像素阵列包括以矩阵布置的多个像素，每个像素被配置为响应于检测到入射光的强度变化而生成单独的电信号。视觉传感器可以包括事件检测电路，所述事件检测电路被配置为基于对从多个像素中的一个或多个像素接收的电信号进行处理，来检测在多个像素中的任何像素处是否已经发生入射光的强度变化，并且生成与多个像素中确定已经发生入射光的强度变化的一个或多个像素分别对应的一个或多个事件信号。视觉传感器可以包括事件率控制器，所述事件率控制器被配置为从一个或多个事件信号中选择与像素阵列上的感兴趣区域相对应的一个或多个事件信号，作为一个或多个输出事件信号。视觉传感器可以包括接口电路，所述接口电路被配置为与外部处理器进行通信并将所述一个或多个输出事件信号传送给外部处理器。
根据一些示例实施例，一种图像处理设备可以包括视觉传感器，视觉传感器被配置为：捕获对象的图像，生成与包括在像素阵列中的多个像素相对应的多个事件信号，每个事件信号是基于对象相对于视觉传感器的移动而生成的，以及响应于视觉传感器以第一操作模式或第二操作模式中的选定操作模式进行操作，选择性地将所有所述多个事件信号或所述多个事件信号中的事件信号的有限选择作为一个或多个输出事件信号分别进行传送，所述事件信号的有限选择与多个像素中的包括在像素阵列的感兴趣区域中的一个或多个像素相对应。图像处理设备还可以包括处理器，所述处理器被配置为处理一个或多个输出事件信号以检测对象的移动。
根据一些示例实施例，一种操作视觉传感器的方法可以包括在包括多个像素的像素阵列上定义至少一个感兴趣区域，多个像素中的每个像素被配置为响应于由该像素接收的光的强度变化而生成事件信号。所述方法可以包括通过对在特定的第一时间段期间生成的多个事件信号进行计数，来检测在特定的第一时间段中生成的事件信号的量。所述方法可以包括基于确定在特定的第一时间段中生成的事件信号的量等于或大于阈值，来选择性地控制视觉传感器以选定操作模式进行操作。所述方法可以包括基于视觉传感器以选定操作模式进行操作，将多个事件信号中的事件信号的有限选择传送给外部处理器，事件信号的有限选择与至少一个感兴趣区域相对应。
附图说明
根据以下结合附图的描述，将更清楚地理解本发明构思的示例实施例，在附图中：
图1是示出根据本发明构思的示例实施例的图像处理设备的框图；
图2是示出发生事件信号损失的情况的曲线图；
图3是示出根据本发明构思的一些示例实施例的视觉传感器的框图；
图4A和图4B均示出根据本发明构思的一些示例实施例的从视觉传感器输出的事件数据的格式；
图5A和图5B均是用于描述根据本发明构思的一些示例实施例的从视觉传感器输出与感兴趣区域相对应的事件信号的方法的图；
图6是示出根据本发明构思的示例实施例的视觉传感器的框图；
图7是示出像素的一些示例实施例的电路图；
图8A、图8B、图8C和图8D是分别示出指示图7所示的光电转换元件与放大器之间的连接关系的示例实施例的电路图；
图9是示出根据本发明构思的一些示例实施例的视觉传感器的操作方法的流程图；
图10是示出根据本发明构思的一些示例实施例的视觉传感器的操作方法的流程图；
图11是用于描述根据本发明构思的一些示例实施例的确定视觉传感器的操作模式的方法的图；
图12A和图12B是示出图3所示的事件率控制器的实施例的框图；
图13示出根据本发明构思的一些示例实施例的设置视觉传感器的感兴趣区域的方法的示例；
图14示出根据本发明构思的一些示例实施例的估计视觉传感器的感兴趣区域的位置的方法；
图15A、图15B和图15C示出根据一些示例实施例的对从视觉传感器输出的事件数据的速率进行调整的方法；
图16是示出根据本发明构思的一些示例实施例的图像处理设备的框图；
图17是示出根据一些示例实施例的视觉传感器的操作方法的流程图；
图18是示出根据一些示例实施例的视觉传感器的操作方法的流程图；以及
图19是示出根据本发明构思的一些示例实施例的采用视觉传感器的电子设备的示例的框图。
具体实施方式
图1是示出根据本发明构思的一些示例实施例的图像处理设备的框图。
根据本发明构思的一些示例实施例的图像处理设备10可以安装在(例如，可以包括在)具有(例如，被配置为执行)图像感测功能和/或光感测功能的电子设备中。例如，图像处理设备10可以安装在诸如相机、智能电话、物联网(IoT)设备、平板个人计算机(PC)、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、无人机和高级驾驶员辅助系统(ADAS)等的电子设备中。另外，图像处理设备10可以提供作为交通工具、家具、制造设备、门、各种测量设备等中的元件。
参考图1，图像处理设备10可以包括视觉传感器100和处理器200。
视觉传感器100(可以互换地称为图像传感器和/或光传感器)可以响应于检测和/或吸收入射到视觉传感器100的至少一部分上的光的至少一部分而生成电信号。视觉传感器100可以包括像素的阵列(例如，像素阵列)，其中阵列中的每个像素被配置为单独地接收和感测(例如，检测、吸收等)入射光。为了感测入射光，像素可以被配置为响应于接收、吸收等所述入射光而输出(例如，生成、传送等)电信号。在一些示例实施例中，可以处理由视觉传感器100的像素阵列的像素输出的电信号，以生成外部场景的图像，该图像包括所述场景内的对象的图像，其中，从视觉传感器100的像素阵列的每个像素输出的电信号用于生成所生成的图像的对应像素。用于生成图像的所述处理可以由视觉传感器100执行、由处理器200基于由视觉传感器100的像素生成的所述信号被传送给处理器200而执行、或由其任意组合等来执行。以这种方式，场景和/或场景中的对象可以由视觉传感器100和/或图像处理设备10“成像”。
在一些示例实施例中，图像处理设备10和/或其中包括图像处理设备10的电子设备可以包括单独的视觉传感器100，该视觉传感器100用于与操作为动态视觉传感器的视觉传感器100相分离地生成场景和/或对象的一个或多个图像。例如，图1的图像处理设备10的视觉传感器100可以仅将事件信号EVS传送给处理器200，而单独的视觉传感器101可以包括单独的像素阵列，并且可以生成和/或传送可以被处理以生成外部场景和/或对象的图像的信号。
视觉传感器100可以感测入射光的强度变化，并且可以响应于感测到所述变化而输出(例如，生成、传送等)一个或多个事件信号(EVS)。视觉传感器100可以包括动态传感器，该动态传感器输出(例如，生成、传送等)与检测到其上的入射光变化的视觉传感器100的像素(即，其中发生事件的像素)(例如，视觉传感器100的像素阵列中像素上的入射光的强度已经改变的所述像素)相对应的事件信号EVS。像素处的入射光的强度变化可以由视觉传感器100的像素阵列捕获(例如，成像)的对象的移动、视觉传感器100的移动、和/或图像处理设备10的移动而引起。重申，这种变化可以由被成像的对象相对于视觉传感器100的移动而引起。视觉传感器100可以周期性地或非周期性地将事件信号EVS传送给处理器200。视觉传感器100可以以分组单元或帧单元将事件信号EVS传送给处理器200。例如，视觉传感器100的像素阵列可以基于像素阵列的像素PX来捕获对象的图像(例如，可以对对象进行成像)，其中像素PX响应于在像素PX处接收和/或吸收入射光而生成一个或多个电信号。当被成像的对象相对于视觉传感器100移动时，在一个或多个像素PX上的入射光的强度可以由于该移动而改变，并且所述一个或多个像素PX可以响应于所述改变而生成一个或多个电信号，所述一个或多个电信号可以使视觉传感器100生成与入射光强度已经改变的像素PX相对应的一个或多个事件信号EVS。因此，视觉传感器100可以生成与由于被成像的对象的移动而入射光强度改变的像素PX相对应的多个事件信号，因此可以基于被成像的对象相对于视觉传感器100的移动来生成事件信号EVS。
视觉传感器100可以将事件信号EVS选择性地传送给处理器200。在与视觉传感器100的像素阵列(图3的110)相对应地生成的事件信号EVS之中，视觉传感器100可以向处理器200传送根据与设置在像素阵列110上的感兴趣区域相对应的像素PX的有限选择而生成的事件信号EVS，因此视觉传感器100可以将事件信号EVS的有限选择传送给处理器200。重申，视觉传感器100可以在以某些操作模式进行操作时将任何或所有生成的事件信号EVS传送给处理器200，并且在以一种或多种其他单独的操作模式进行操作时，仅将所生成的事件信号EVS中的一些(或一个)传送给处理器200，而避免传送(例如，从传送中排除)所生成的事件信号EVS中的剩余的一个或多个事件信号EVS。
在一些示例实施例中，当(例如，在特定时间段内)发生过量(例如，数量、计数等)事件时，或在(例如，在特定时间段内)预期过量事件要发生的情况下，视觉传感器100可以选择性地将事件信号EVS传送给处理器200(例如，仅将所生成的事件信号EVS中的一些传送给处理器200，并排除将所生成的事件信号EVS的其他一些传送给处理器200)。另外，视觉传感器100可以调整事件发生条件和/或检测条件(例如，阈值)以减少在任何给定的时间点生成和/或传送的事件信号EVS的量(例如，数量、计数等)。在一些示例实施例中，视觉传感器100可以将相对于视觉传感器100的像素阵列的感兴趣区域而设置的事件发生条件或检测条件设置为与相对于视觉传感器100的像素阵列的其他区域而设置的事件发生条件或检测条件不同。在一些示例实施例中，视觉传感器100可以相对于视觉传感器100的像素阵列的多个感兴趣区域来不同地设置事件发生条件或检测条件。
处理器200可以处理从视觉传感器100接收的事件信号EVS，并且基于所述处理来检测正在由视觉传感器100进行成像的对象的移动(或者例如基于由视觉传感器100和/或视觉传感器101生成的信号，由图像处理设备10识别的图像(例如，被生成、捕获等的图像)上对象的移动)。处理器200可以包括专用集成电路(ASIC)、现场可编程门阵列(FPGA)、专用微处理器、微处理器、通用处理器等。在一些示例实施例中，处理器200可以包括应用处理器或图像处理器。
视觉传感器100和/或处理器200中的一些或全部可以被包括在处理电路的一个或多个实例中(例如，包括逻辑电路的硬件；硬件/软件组合，诸如执行软件的处理器；或其组合)，可以包括处理电路的一个或多个实例，和/或可以由处理电路的一个或多个实例实现。例如，处理电路更具体地可以包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。在一些示例实施例中，处理电路可以包括：存储指令程序的非暂时性计算机可读存储设备(例如，存储器)，例如，固态驱动器(SSD)；处理器，被配置为执行指令程序以实施视觉传感器100和/或处理器200的某些或全部的功能。
另外，视觉传感器100和处理器200可以分别被实现为集成电路(IC)。例如，视觉传感器100和处理器200可以包括单独的半导体芯片。备选地，视觉传感器100和处理器200可以被实现在单个芯片中。例如，视觉传感器100和处理器200可以被实现为单个片上系统(SoC)。
图2是示出发生事件信号EVS的数据损失的情况的曲线图。
参考图2，水平轴表示逝去的时间，垂直轴表示在任何给定的时间点处从视觉传感器100传送给处理器200的事件信号EVS的量(例如，数量、计数等)。在将事件信号EVS传送给处理器200的过程中，可能发生事件信号EVS的损失，即，数据损失。当长时间段上发生大量事件(例如，在视觉传感器的像素阵列的一个或多个像素上的入射光的强度变化)并且从视觉传感器100传送给处理器200的事件信号EVS的量(即该时间段上传送数据的量、数据传输速率等)超过系统限制(也称为可以在任何给定时间从视觉传感器传送给处理器的传送数据的阈值量)(例如，视觉传感器100和处理器200之间的通信通道的传输速度限制)时，可能发生数据损失。因此，图像处理设备10的性能(例如，图像处理设备10检测对象的移动的精确度)可能降低。
然而，在根据一些示例实施例的图像处理设备10中，如以上参考图1所述，视觉传感器100可以将在视觉传感器100处生成的一个或多个事件信号EVS选择性地传送给处理器200，这可以包括选择性地传送在一个或多个特定时间段期间在视觉传感器100处生成的事件信号EVS的有限选择(例如，仅一些或一个)，并且与在一个或多个特定时间段期间所生成的所有事件信号EVS从视觉传感器100传送给处理器200的情况下所传送的事件信号EVS的量相比，可以减少所传送的事件信号EVS的量。因此，可以减少或防止在视觉传感器100和处理器200之间传送事件信号EVS的过程中的数据损失。因此，可以提高图像处理设备10的性能，例如，通过图像处理设备10检测对象的移动的精确度。
图3是示出根据本发明构思的示例性实施例的视觉传感器100的框图。
参考图3，视觉传感器100可以包括像素阵列110、事件检测电路120、事件率控制器130和接口电路140。像素阵列110、事件检测电路120、事件率控制器130和接口电路140可以分别被实现为集成电路(IC)。例如，像素阵列110、事件检测电路120、事件率控制器130和接口电路140可以包括单独的半导体芯片。备选地，像素阵列110、事件检测电路120、事件率控制器130或接口电路140中的两个或更多个可以在单个芯片中实现。例如，事件检测电路120、事件率控制器130和接口电路140可以被实现为单个片上系统(SoC)。
像素阵列110、事件检测电路120、事件率控制器130和接口电路140中的一些或全部可以被包括在处理电路的一个或多个实例(例如，包括逻辑电路的硬件；硬件/软件组合，诸如执行软件的处理器；或其组合)中，可以包括处理电路的一个或多个实例，和/或可以由处理电路的一个或多个实例实现。例如，处理电路可以更具体地包括但不限于中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理器、微型计算机、现场可编程门阵列(FPGA)、片上系统(SoC)、可编程逻辑单元、微处理器、专用集成电路(ASIC)等。在一些示例实施例中，处理电路可以包括：存储指令程序的非暂时性计算机可读存储设备(例如，存储器)，例如，固态驱动器(SSD)；以及处理器，被配置为执行指令程序以实现像素阵列110、事件检测电路120、事件率控制器130和接口电路140中的一些或全部的功能。
像素阵列110可以包括以矩阵布置的多个像素。多个像素PX均可以感测入射光。在一些示例实施例中，多个像素PX均可以响应于在各像素PX处接收的入射光而生成一个或多个电信号，并且可以基于(例如，在处理器200处)处理由像素PX响应于接收到入射光而生成的信号来生成包括对象的图像在内的外部场景的图像。所述图像可以由单独的像素阵列110生成，该单独的像素阵列110可以包括在单独的视觉传感器(例如，在图1中所示的视觉传感器101)中。多个像素PX均可以感测事件，在事件中，接收的光的强度(例如，各像素PX上的入射光的强度)增大或减小。例如，多个像素PX中的每一个可以通过在列方向上延伸的列线和在行方向上的延伸的行线而连接到事件检测电路120。用于通知(例如，指示)事件的发生和事件的极性信息(即，事件是光强度增大的开启事件还是光强度减小的关闭事件)的电信号可以响应于所述事件的发生(例如，响应于在所述像素PX处接收和/或吸收的入射光的强度变化)从其中发送所述事件的像素PX输出(例如，在像素PX处生成并从像素PX传送)到事件检测电路120。
事件检测电路120可以从像素阵列110读出事件并处理事件。例如，像素阵列110的像素PX可以响应于像素PX上的入射光的强度变化而输出电信号，并且事件检测电路120可以接收并处理由像素PX输出的所述电信号，以确定在像素PX处的事件的发生。响应于这样的确定，事件检测电路120可以生成与像素PX相对应的事件信号EVS(也称为与像素PX处的事件发生相对应和/或与事件本身相对应的事件信号EVS)，其中事件信号EVS包括(例如，指示)发生的事件的极性(例如，入射光强度在像素PX处是增大还是减小)、其中发生事件的像素PX的地址、以及指示事件何时发生的时间戳。重申，事件检测电路120可以被配置为基于对从多个像素PX中的一个或多个像素PX接收的一个或多个电信号进行处理，来检测在多个像素PX的任何像素PX处是否已经发生入射光的强度改变，并且事件检测电路120可以生成与多个像素PX中的确定已发生入射光的强度变化的一个或多个像素PX分别对应的一个或多个事件信号EVS。
事件检测电路120可以以像素单元、包括多个像素的像素组单元、列单元、或帧单元来处理像素阵列110中发生的事件(例如，处理从像素阵列110的各个像素PX输出的电信号)。
事件率控制器130可以调整要传送给处理器200的(在事件检测电路120处生成的)事件信号EVS的量。在一些示例实施例中，事件率控制器130可以从在给定时间段中在事件检测电路120处生成的全部事件信号EVS(在给定时间段期间生成的、与包括在像素阵列110的整个区域110-E中的任何像素PX相对应的全部事件信号EVS)中，仅选择在该给定时间段中生成的、基于包括在像素阵列110的ROI 110-R中的特定像素PX处发生的事件的事件信号EVS(例如，仅与包括在像素阵列110的ROI 110-R中的特定像素PX相对应的事件信号EVS)。例如，事件率控制器130可以选择事件信号EVS的有限选择，其仅包括在给定时间段期间生成的、与包括在像素阵列110的ROI 110-R中的像素阵列110的像素PX的有限选择相对应的事件信号EVS，其中在给定时间段中生成的事件信号EVS的有限选择可以比在给定时间段中生成的所有事件信号EVS少，因此事件信号EVS中的至少一个可以不被选择(例如，可以将其从事件信号EVS的有限选择中排除)。事件率控制器130可以将选择的事件信号(在下文中称为输出事件信号EVS_O)输出到接口电路140，或者控制事件检测电路120将输出事件信号EVS_O输出到接口电路140，从而可以避免输出未被选择的任何事件信号EVS(例如，排除所述未被选择的事件信号EVS被传送给接口电路140)。重申，事件率控制器130可以被配置为从在事件检测电路120处生成的一个或多个事件信号EVS中选择与像素阵列上的感兴趣区域(ROI)相对应的一个或多个事件信号EVS的选择，作为一个或多个输出事件信号EVS_O，所述一个或多个输出事件信号EVS_O可以包括事件信号EVS的有限选择，因此可以排除在事件检测电路120处生成的事件信号EVS中的一个或多个。
在一些示例实施例中，事件率控制器130可以减少在事件检测电路120处生成的事件信号EVS的量。事件率控制器130可以调整事件发生条件或事件检测条件(例如，事件发生阈值或事件检测阈值)，并且因此可以对事件检测电路120响应于从像素阵列110接收到一个或多个电信号来选择性地生成一个或多个事件信号时所依据的阈值。例如，事件发生条件可以包括像素PX的灵敏度，并且事件检测条件可以包括事件检测时段、去噪条件(例如，去噪阈值)等。
在一些示例实施例中，当在给定时间段(例如，一段时间)内发生过量事件或预期发生过量事件(例如，至少满足阈值量的事件量)时，事件率控制器130可以减少要传送的事件信号EVS的量或者减少在事件检测电路120处生成的事件信号EVS的量。例如，事件率控制器130可以对特定的(或备选地，预定的)时间单元(一段时间、时间段等)中的事件信号EVS的数量(量)进行计数，并且当所计数的事件信号EVS的量等于或大于特定(或备选地，预定的)参考值(在本文中也称为阈值或阈值量)时，事件率控制器130可以响应地确定在特定时间单元期间发生了过量的事件。例如，事件率控制器130可以基于被捕获的对象的亮度、对象周围的照度、由像素阵列110(参见图1)接收的光的量(例如，强度)等来确定是否发生了预期有过量事件的条件。因此，事件率控制器130可以控制一个或多个事件信号EVS的生成和/或传送，使得输出事件信号EVS_O的量不满足或不超过阈值量(例如，如图2所示的系统限制)。
接口电路140可以接收由事件率控制器130传送的输出事件信号EVS_O，并且根据特定的(或者，备选地，预定的)协议将输出事件信号EVS_O传送给处理器200(参见图1)。因此，接口电路140可以被配置为与相对于视觉传感器100的外部处理器(例如，处理器200)进行通信，并且将一个或多个输出事件信号EVS_O传送给外部处理器。接口电路140可以根据特定的(或者，备选地，预定的)协议将输出事件信号EVS_O打包在单独的信号单元、分组单元或帧单元中以生成事件数据EDT，并且将事件数据EDT传送给处理器200。例如，接口电路140可以包括AER接口、移动工业处理器接口(MIPI)和并行接口中的一种。处理器200可以处理所传送的输出事件信号EVS_O或接口电路140所传送的事件信号EVS，以检测由视觉传感器100的像素阵列110成像的对象的移动。
在下文中，根据本发明构思，对事件信号EVS或输出事件信号EVS_O进行输出，这样的表述指示了事件信号EVS或输出事件信号EVS_O通过接口电路140被转换为事件数据EDT，并且事件数据EDT被传送给处理器200。
图4A和图4B各自示出了根据本发明构思的一些示例实施例的从视觉传感器100输出的事件数据的格式。
参考图4A，可以将包括至少一个事件信号EVS的分组PK输出作为事件数据(EDT)。分组PK可以包括事件信号EVS的时间戳TS、列地址C_ADDR、行地址R_ADDR、以及极性信息POL，并且上述布置顺序不限于图4A所示的顺序。指示分组PK的开始的首部H和指示分组PK的结束的尾部T可以分别添加到分组PK的前端和分组PK的后端。尽管图4A示出了分组PK仅包括事件信号EVS，但是分组PK不限于此，并且可以包括多个事件信号EVS。
时间戳TS可以包括关于事件发生的时间的信息。例如，时间戳TS可以包括32比特，但是不限于此。
列地址C_ADDR和行地址R_ADDR可以分别包括多个比特，例如8比特。在这种情况下，可以提供包括以最多八个列和八个行布置的多个像素的视觉传感器。然而，这仅是示例，并且列地址C_ADDR和行地址R_ADDR的比特率可以根据像素PX的数量而变化。
极性信息POL可以包括与开启(on)事件和关闭(off)事件有关的信息。例如，极性信息(POL)可以包括：包含与是否发生开启事件有关的信息的一个比特；和包含与是否发生关闭事件有关的信息的一个比特。例如，指示开启事件的比特和指示关闭事件的比特可以不都为“1”，但是可以都为“0”。
参考图4B，可以输出包括多个分组PK(例如，第一分组PK1至第m分组PKm)(m是等于或大于2的整数)的帧数据作为事件数据。在一些示例实施例中，帧数据可以包括当像素阵列110(见图3)被扫描一次时所生成的事件信号EVS，因此，对于每个帧数据，分组PK的数量可以变化。在一些示例实施例中，帧数据可以包括固定数量的分组PK。
图5A和图5B均是用于描述根据本发明构思的一些示例实施例的从视觉传感器100输出与ROI相对应的事件信号EVS的方法的图。
参考图5A，可以相对于像素阵列110来设置(例如，建立、定义等)至少一个ROI，例如，第一ROI ROI1和第二ROI ROI2。在图5A中，示出了设置两个ROI(例如，第一ROI ROI1和第二ROI ROI2)，然而，ROI的数量不限于此，并且可以设置一个或多个ROI。
在相对于像素阵列110设置的多个区域中，可以将其中发生多个事件的区域设置为ROI，或者将与在特定的(或者，备选地，预定的)时间段期间发生多个事件的像素PX相对应的任意区域设置为ROI。备选地，用户可以任意地设置ROI，或者可以将与感测特定对象的像素PX相对应的任意区域设置为ROI。然而，ROI不限于此，并且可以根据各种方法来设置。
基于像素阵列110中发生的事件来生成事件信号EVS，并且由于事件信号EVS包括地址，因此事件信号EVS可以根据像素阵列110上的对应像素PX的位置来构造虚拟事件图EVM。如图5A所示，事件信号EVS可以被分类为与ROI相对应的事件信号EVS_I和与ROI外部的区域相对应的事件信号EVS_NI。与ROI相对应的事件信号EVS_I可以被生成作为事件数据EDT并被传送给处理器200(参见图1)，而事件信号EVS_NI可以被选择性地排除而不包括在事件数据EDT中，从而被排除而不向处理器200传送。
参考图3，事件率控制器130可以从事件检测电路120接收事件信号EVS，并且可以从接收到的事件信号EVS中仅选择与ROI相对应的事件信号EVS_I，作为输出事件信号EVS_O。接口电路140可以将包括了与ROI相对应的事件信号EVS_I并且排除了与ROI外部的区域相对应的事件信号EVS_NI的输出事件信号EVS_O作为事件数据EDT输出到处理器200(参见图6)。
参考图5B，事件可以发生在像素阵列110中的多个像素PX中的一些像素PX中。从发生事件(例如，入射光强度改变)的像素PX中，可以生成与对应于ROI的像素PX_I相对应的一个或多个事件信号EVS，并且可以忽略与对应于ROI外部的区域的像素PX_NI相对应的事件信号EVS_NI(例如，选择性地排除而不向处理器200传送)。
参考图3，事件率控制器130可以向事件检测电路120提供与ROI有关的信息，即与ROI有关的地址，并且事件检测电路120可以基于与ROI有关的信息选择性地对像素阵列110中的多个像素PX中与ROI相对应的像素PX_I进行感测。通过这样做，可以读出与ROI相对应的像素PX_I的事件(例如，在事件检测电路120处从像素PX_I接收到的电信号)，并且事件检测电路120可以基于所读出的事件来选择性地生成事件信号EVS(例如，仅响应于从像素PX_I接收的电信号而生成事件信号EVS，并且选择性地避免响应于从像素PX_NI接收的电信号而生成事件信号EVS)。基于在与ROI相对应的像素PX_I处发生的事件(例如，与像素PX_I相对应的事件信号EVS)而生成的事件信号EVS可以被提供给接口电路140。接口电路140可以将接收到的事件信号EVS输出(例如，传送)给处理器200(参见图1)作为事件数据EDT。
图6是示出根据本发明构思的一些示例实施例的视觉传感器100的框图。
参考图6，视觉传感器100包括像素阵列110、事件检测电路120、事件率控制器130和接口电路140，并且事件检测电路120可以包括行地址事件表示(AER)121、列AER 122、电压发生器123和事件信号处理(ESP)单元。
由于参考图3描述了像素阵列110、事件率控制器130和接口电路140，因此将省略重复的描述。
行AER 121可以从像素阵列110的一个或多个像素PX之中，从发生事件的像素PX接收通知(例如，指示)事件发生的电信号(即，行请求)，并且产生发生事件的像素PX的行地址R_ADDR。
列AER 122可以从像素阵列110的一个或多个像素PX之中，从发生事件的像素PX接收通知(例如，指示)事件发生的电信号(即，列请求)，并且产生发生事件的像素PX的列地址C_ADDR。
在一些示例实施例中，可以按列单元来扫描像素阵列110，并且当列AER 122从特定列(例如，第一列)接收到请求时，列AER 122可以将响应信号传送给第一列。接收到响应信号的像素PX(其中发生了事件)可以向行AER 121传送极性信息POL(例如，指示开启事件或关闭事件发生的信号)。当接收到极性信息POL时，行AER 121可以将复位信号传送给发生了事件的像素PX。可以响应于复位信号来对发生了事件的像素PX进行复位。行AER 121可以控制生成复位信号的周期。行AER 121可以生成与事件发生的时间有关的信息，即时间戳TS。
在一些示例实施例中，如以上参考图3所述，当调整所生成的事件信号的量时，行AER 121可以扩展生成复位信号的周期。当扩展发生复位信号的周期时，像素阵列110被扫描的时段(即，时间段)增大，因此，可以减少在单位时间段期间发生的事件的量。因此，可以提高包括视觉传感器100的图像处理设备10的性能，例如，通过图像处理设备10检测对象的移动的精确度。
假设按列单元扫描像素阵列110的情况，描述行AER 121和列AER 122的操作。然而，行AER 121和列AER 122的操作不限于此，并且行AER 121和列AER 122可以以各种方式从发生事件的像素PX中读出事件的发生和极性信息POL。例如，可以按行单元扫描像素阵列110，可以改变行AER 121和列AER 122的操作，也就是说，列AER 122可以接收极性信息POL并且将复位信号传送给像素阵列110。另外，行AER 121和列AER 122还可以单独地访问发生事件的像素PX。
电压产生器123可以产生提供给像素阵列110的电压。例如，电压产生器123可以产生用于从像素PX检测开启事件和关闭事件的阈值电压或偏置电压。在一些示例实施例中，如以上参考图3所述，当调整像素PX的灵敏度时，电压产生器123可以在事件率控制器130的控制下改变参考电压线的电平(或偏置电压)。电压产生器123可以改变提供给ROI中的像素PX的阈值电压的电压电平，并且分别相对于多个ROI来多样地改变阈值电压的电压电平。
ESP单元124可以基于从行AER 121和列AER 122接收的行地址R_ADDR、列地址C_ADDR、极性信号POL和时间戳TS来生成事件信号EVS。在一些示例实施例中，ESP单元124可以去除噪声事件并针对有效事件生成事件信号EVS。例如，当在一段时间期间发生的事件量(例如，由一个或多个像素PX生成并在事件检测电路120处接收到的信号量)小于特定的(或者，备选地，预定的)阈值(例如，去噪阈值)时，ESP单元124可以将事件确定为噪声，并且响应于噪声事件而不生成(例如，避免生成)事件信号EVS，这可以称为“去除”和/或“排除”所述噪声事件。重申，事件检测电路120可以基于去噪阈值来确定由一个或多个像素PX生成的一个或多个电信号是噪声事件，并且可以响应地避免生成与噪声事件相对应的事件信号EVS。
在一些示例实施例中，如参考图3所述，当调整发生的事件信号EVS的量时，事件率控制器130可以增大用于确定噪声的阈值电压，即，去噪阈值(例如，经由至事件检测电路120的信号CON)，并且ESP单元124可以基于增大的阈值来识别噪声事件。例如，当阈值被设置为10并且单位时间段上(例如，单位时间段期间)发生的事件的量是12时，ESP单元124可以将这些事件确定为有效事件，并针对事件(例如，对应于事件)生成事件信号EVS。当阈值增加到20并且在单位时间段期间发生的事件的量是12时，ESP单元124可以将事件确定为噪声事件，忽略事件，并且不生成(例如，避免生成)针对事件的事件信号EVS。
图7是示出像素PX的一些示例实施例的电路图。
参考图7，像素PX可以包括光电转换元件PD、放大器111、第一比较器112、第二比较器113、开启事件保持器114、关闭事件保持器115和复位开关SW。另外，像素PX还可以包括：电容器，用于去除在像素中出现的或从外部进入的噪声；各种开关；以及反馈电路。
光电转换器件PD可以将入射光(即光信号)转换成电信号(例如，电流)。光电转换设备PD可以包括例如光电二极管、光电晶体管、光电门、钉扎光电二极管等。当入射光的强度增大时，光电转换器件PD可以生成具有高电平的电信号。
放大器111可以将接收到的电流转换成电压并放大电压电平。放大器111的输出电压可以被提供给第一比较器112和第二比较器113。在一些示例实施例中，反馈电路可以连接在放大器111的输入端子与输出端子之间。
第一比较器112可以将放大器111的输出电压Vout与开启阈值电压TH1进行比较，并且根据比较结果来生成开启信号E_ON。第二比较器113可以将放大器111的输出电压与关闭阈值电压TH2进行比较，并且根据比较的结果来生成关闭信号E_OFF。当光电转换器件PD接收的光的变化量等于或大于特定的变化程度时，第一比较器112和第二比较器113可以生成开启信号E_ON或关闭信号E_OFF。
例如，当由光电转换器件PD接收的光的量增加到特定程度或更高时，开启信号E_ON为高电平，并且当由光电转换器件接收的光的量减少到特定程度或更低时，关闭信号E_OFF可以为高电平。开启事件保持器114和关闭事件保持器115可以分别保持并输出开启信号E_ON和关闭信号E_OFF。当像素PX被扫描时，可以输出开启信号E_ON和关闭信号E_OFF。另外，如上所述，当调整灵敏度时，可以改变开启阈值电压TH1和关闭阈值电压TH2的电平。也就是说，灵敏度可以降低。因此，开启阈值电压TH1的电平可以增加，关闭阈值电压TH2的电平可以减小。因此，当光电转换器件PD接收的光的变化量大于之前(即，在改变开启阈值电压TH1和关闭阈值电压TH2的电平之前)时，第一比较器112和第二比较器113可以生成开启信号E_ON或关闭信号E_OFF。
图8A、图8B、图8C和图8D是分别示出指示图7所示的光电转换器件PD与放大器111之间的连接关系的示例实施例的电路图。
参考图8A，放大器111a可以包括输出电路12和反馈电路11a，并且反馈电路11a可以包括转换器电路21和升压电路22a。放大器111a还可以包括向输出电路12提供偏置电流的电流源13。
输出电路12的一端可以与光电转换器件PD的一端和反馈电路11a的一端接触。输出电路12的另一端可以连接到反馈电路11a的另一端以及输出节点，通过该输出节点对输出电压Vout进行输出。
输出电路12可以基于从光电转换器件PD接收的输入信号和从反馈电路11a接收的反馈信号来产生输出电压Vout，即，输出信号。如图所示，输出电路12可以包括放大晶体管MAMP，该放大晶体管MAMP包括与反馈电路11a的一端接触的栅极节点、被施加接地电压的源极节点、以及产生输出电压Vout的漏极节点。输出电路12可以通过使用设置的增益(正增益或负增益)放大反馈信号来生成输出电压Vout。
反馈电路11a可以将输出电压Vout反馈到输出电路12的前端，即，放大晶体管MAMP的栅极节点。例如，反馈电路11a可以生成与输出电压Vout的变化量的指数成比例的反馈信号，并将该反馈信号反馈到输出电路12的前端。
转换器电路21可以基于输出电压Vout生成转换信号。在一些示例实施例中，转换信号可以是与输出电压Vout的变化量的指数成比例的电流。转换器电路21可以包括晶体管MLOGN，该晶体管MLOGN包括用于接收输出电压Vout的栅极节点和用于基于输出电压Vout而输出转换信号的源极节点。图8A示出了晶体管MLOGN是NMOS晶体管的情况，但是晶体管MLOGN不限于此，并且可以是PMOS晶体管。
升压电路22a可以输出与输入电流的自然对数值成比例的升压电压。升压电路22a可以包括晶体管M1，其中漏极节点和栅极节点彼此接触。包括在升压电路22a中的晶体管M1可以在亚阈值区域中操作，并且基于输入电流产生升压电压。升压电压可以指示施加到晶体管M1的栅极节点和源极节点的电压。图8A示出了包括NMOS晶体管的升压电路22a，但是升压电路22a不限于此，并且可以包括PMOS晶体管。
在一些示例实施例中，图8A所示的根据时间的输出电压Vout的变化ΔVout可以表示为2×β×ln(Iin2/Iin1)。在这种情况下，Iin1是在第一时间点从光电转换器件PD提供的电流，Iin2是在第一时间点之后的第二时间点从光电转换器件PD提供的电流。β是根据晶体管的特性或工作温度而确定的系数。
图8B至图8D所示的光电转换器件PD与放大器的连接关系、放大器的组件、以及放大器的操作与图8A所示的光电转换设备PD与放大器111之间的连接关系、放大器111a的组件、以及放大器的操作类似。因此，在下文中将主要描述不同之处。
参考图8B，在放大器111b中，输出电路12的一端可以与光电转换器件PD以及反馈电路1ib的一端接触。输出电路12的另一端可以连接到反馈电路11b的另一端。在图8B中，反馈电路11b包括三个端，并且三个端中的最后一端可以连接到输出节点，从该输出节点输出输出电压Vout。
包括在反馈电路11b中的升压电路22b可以包括第一晶体管T1和第二晶体管M2。第一晶体管M1可以包括与第二晶体管M2的源极节点接触的栅极节点以及与第二晶体管M2的栅极节点接触的漏极节点。第二晶体管M2可以包括与第一晶体管M1的栅极节点接触的源极节点以及与第一晶体管M1的漏极节点接触的栅极节点。第二晶体管M2可以基于从电流源13提供的偏置电流来操作，并且第一晶体管M1可以基于接收到的输入电流来操作。尽管在图8B中将第一晶体管M1和第二晶体管M2示出为NMOS晶体管，但是第一晶体管M1和第二晶体管M2不限于此，并且可以是PMOS晶体管。
参考图8C，放大器111c还可以包括电流源14，该电流源14对来自反馈电路11c的偏置电流进行同步。
反馈电路11c的组件和操作与图8B的反馈电路11b的组件和操作类似。包括在反馈电路11c中的升压电路22c可以包括第一晶体管M1和第二晶体管M2。与图8C不同，第二晶体管M2的漏极节点可以接收电源电压，并且源极节点可以连接到电流源14和第一晶体管M1的栅极节点。
参考图8D，放大器111d可以包括输出电路12d和反馈电路11d，并且反馈电路11d可以包括转换器电路21d和升压电路22d。放大器111d还可以包括：电流源13，其将偏置电流提供给输出电路12d；以及电流源15，其对来自输出电路12d的偏置电流进行同步。
输出电路12d的一端可以连接到光电转换器件PD以及反馈电路11d的一端。输出电路12d的另一端可以连接到反馈电路11d的另一端。输出电路12d可以基于从光电转换器件PD接收的输入信号和从反馈电路11d接收的反馈信号来产生输出电压Vout，即输出信号。输出电路12d可以包括：放大晶体管MAMP，其接收输入电流并且包括与一端相对应的栅极节点；以及输出晶体管MSF，其包括与另一端相对应的栅极节点以及生成输出电压Vout的源极节点。这里，输入电流可以由光电转换器件PD产生。
反馈电路11d可以包括其中源极跟随器的升压电路22d以级联方式连接到转换器电路21d的电路结构。转换器电路21d可以包括NMOS晶体管MLOGN和PMOS晶体管MLOGP。包括在转换器电路21d中的NMOS晶体管MLOGN可以包括与升压电路22d的第一晶体管M1的漏极节点和第二晶体管M2的栅极节点接触的源极节点、以及与输出电路12d的另一端接触的栅极节点。包括在转换器电路21d中的PMOS晶体管MLOGP可以包括与升压电路22d的第一晶体管M1的源极节点接触的源极节点、以及与输出电路12d的一端和光电转换器件PD的一端接触的漏极节点。另外，可以将偏置功率VBIAS施加到PMOS晶体管MLOGP的栅极节点。
图9示出根据本发明构思的一些示例实施例的视觉传感器100的操作方法的流程图。图9的操作方法可以在图3的视觉传感器100中执行，更具体地，在事件率控制器130中执行。因此，与视觉传感器100及其操作有关的描述可以应用于图9所示的示例实施例。在下文中，将参考图3来提供描述图9。
参考图3至图9，视觉传感器100可以设置(例如，定义)ROI(S110)。如参考图5A所描述的，事件率控制器130可以基于发生的事件的量来设置ROI。备选地，事件率控制器130可以根据用户的设置来设置ROI，或者将感测对象的像素PX设置为ROI。
视觉传感器100可以测量发生的事件信号的量(例如，在特定时间段内响应于一个或多个像素PX对入射光强度的变化进行响应而生成电信号，从而生成的事件信号EVS的量)(S120)。例如，当事件率控制器130对在特定的(或者，备选地，预定的)时间段单元期间生成的事件信号EVS进行计数时，可以测量发生的事件信号的量。在一些示例实施例中，操作S110可以与操作S120同时地执行或者在操作S120之后执行。
视觉传感器100可以将发生的(例如，在特定时间段期间生成的)事件信号EVS的量(例如，数量、计数等)与参考值进行比较(S130)。当发生的事件信号EVS的量小于参考值时，视觉传感器100可以输出与整个区域相对应的事件信号EVS(例如，可以输出在特定时间段期间生成的任何事件信号EVS)(S140)，当发生的事件信号的量等于或大于参考值时，视觉传感器100可以选择性地输出与ROI相对应的事件信号EVS(例如，可以仅输出在特定时间段期间生成的与ROI相对应的事件信号EVS，并且排除在该特定时间段期间生成的任何或所有其他事件信号EVS)(S150)。例如，事件率控制器130可以将发生的事件信号EVS的量与参考值进行比较。当发生的事件信号EVS的量小于参考值时，事件率控制器130可以输出与整个区域相对应的事件信号EVS，并且可以输出与ROI相对应的事件信号EVS。
换句话说，在图9所示的方法中，视觉传感器100可以基于给定时间段内发生的事件信号EVS的量来确定操作模式(在本文中也称为视觉传感器100的操作模式)，并且因此选择性地使视觉传感器100以确定的(例如，选择的)特定操作模式操作。当(例如，响应于确定)发生的事件信号的数量小于参考值时，视觉传感器100可以响应地并且选择性地以输出与整个区域相对应的事件信号EVS的第一操作模式来操作，使得事件率控制器130可以响应于视觉传感器100以第一操作模式进行操作，来选择与像素阵列110的整个区域相对应的一个或多个事件信号EVS(例如，如图3所示，与包括像素阵列110中的所有像素PX在内的区域110-E中的任何像素PX输出的信号相对应的事件信号EVS)，作为输出事件信号EVS_O。当(例如，响应于确定)发生的事件信号EVS的量等于或大于参考值时，视觉传感器100可以响应地并且选择性地以输出与ROI相对应的事件信号EVS的第二操作模式来操作，使得事件率控制器130可以响应于视觉传感器100以第二操作模式进行操作，来选择与ROI相对应的事件信号EVS(例如，仅与区域110-R中的任何像素PX输出的信号相对应的事件信号EVS，如图3所示，区域110-R是包括像素阵列110中的有限部分像素PX在内的ROI)，作为输出事件信号EVS_O。
因此，将理解，事件率控制器130可以：1)基于对特定的(例如，预定的)时间段上在事件检测电路120处生成的事件信号EVS进行计数，来测量事件检测电路120处生成的事件信号EVS的量(例如，数量)；以及2)基于所测量的在特定时间段内生成的事件信号EVS的量是否小于参考值，来选择性地将视觉传感器100的操作模式(在本文中也简称为操作模式)设置为第一操作模式或第二操作模式中的一个。
因此，视觉传感器100可以分别响应于视觉传感器100以第一操作模式或第二操作模式操作，选择性地将根据以被成像的对象的移动为依据而在像素阵列110的任何像素PX处发生的事件来生成的所有事件信号EVS或者事件信号EVS的有限选择，作为一个或多个输出事件信号EVS_O进行传送，其中事件信号的有限选择与包括在像素阵列110的感兴趣区域(ROI)中的多个像素中的一个或多个像素PX相对应，并且视觉传感器100可以基于将在特定时间段期间生成的事件信号EVS的量与阈值的比较，选择性地以第一操作模式或第二操作模式中的选定操作模式进行操作。
在一些示例实施例中，事件率控制器130可以响应于视觉传感器100以第二操作模式进行操作，例如，基于对电压产生器123进行控制以改变(例如，增加)提供给ROI中的像素PX的阈值电压的电压电平，将ROI设置为具有低灵敏度(例如，可以将ROI中的像素PX的灵敏度调整为具有降低的灵敏度)，并且相对于多个ROI分别不同地改变(例如，增加)阈值电压的电压电平。在一些示例实施例中，响应于视觉传感器100以第二操作模式进行操作，事件率控制器130可以增加一个或多个ROI中的一个或多个像素PX的去噪阈值，以使事件检测电路在特定时间段期间响应于从一个或多个像素PX接收的信号而生成减减少量的事件信号EVS。因此，在以第二操作模式进行操作时，视觉传感器100可以设置多个ROI并且在不同ROI中设置像素的不同灵敏度(例如，第一ROI中的像素PX可以被设置为均具有相同的第一灵敏度，第二ROI中的像素PX可以被设置为均具有与第一灵敏度不同的相同的第二灵敏度)，并且可以在不同ROI中设置像素的不同去噪阈值(例如，第一ROI中的像素PX可以被设置为均与相同的第一去噪阈值相关联，第二ROI中的像素PX可以被设置为均与相同的第二去噪阈值相关联，该第二去噪阈值不同于第一去噪阈值)。
图10示出根据本发明构思的一些示例实施例的视觉传感器100的操作方法的流程图。图10的操作方法可以在图3的视觉传感器100中执行，更具体地，在事件率控制器130中执行。因此，与视觉传感器100及其操作有关的描述可以应用于图10所示的示例实施例。在下文中，将参考图3来描述图10。
参考图3和图10，视觉传感器100可以设置第一ROI ROI1和第二ROI ROI2(8210)。换句话说，视觉传感器100可以设置多个ROI，使得像素阵列110包括多个ROI。第一ROI ROI1可以被设置为具有比第二ROI ROI2的重要性低的重要性(或优先级)。
视觉传感器100可以测量(例如，计数)发生(例如，在特定时间段期间在事件检测电路120处生成)的事件信号EVS的量(S220)，并且将所测量的发生事件信号EVS的量与第一参考值进行比较(S230)。当发生的事件信号EVS的量小于第一参考值时，视觉传感器100可以输出与像素阵列110的整个区域相对应的事件信号EVS(S240)。
当发生的事件信号EVS的量等于或大于第一参考值时，视觉传感器100可以将发生的事件信号EVS的量与第二参考值进行比较(S250)。第二参考值可以大于第一参考值。
当发生的事件信号EVS的量小于第二参考值时，视觉传感器100可以输出与第一ROI ROI1和第二ROI ROI2相对应的事件信号EVS(S260)。换句话说，视觉传感器100可以输出与任何或所有ROI相对应的事件信号EVS。重申，事件率控制器130可以响应于所测量的在特定时间段期间生成的事件信号的量等于或大于第一参考值且小于第二参考值，将操作模式设置为第二操作模式，并且选择与任何ROI相对应的一个或多个事件信号EVS作为一个或多个输出事件信号EVS_O。当发生的事件信号EVS的量等于或大于第二参考值时，视觉传感器100可以输出与第二ROI ROI2相对应的事件信号EVS(S270)。换句话说，基于发生的事件信号EVS的量，视觉传感器100可以输出与确定为相对重要区域的区域相对应的事件信号EVS。每个单独的ROI可以与单独的重要性值相关联，并且与ROI中的一个(例如，ROI1)相关联的重要性值可以大于与剩余的ROI(例如，ROI2)相关联的重要性值。因此，事件率控制器130可以响应于所测量的在特定时间段期间生成的事件信号的量等于或大于第二参考值，来将操作模式设置为第三操作模式，并且选择与至少一个ROI相对应的一个或多个事件信号EVS作为一个或多个输出事件信号EVS_O，所述至少一个ROI的相关联的重要性值大于剩余ROI相关联的重要性值。虽然没有传送与整个区域有关的事件信号EVS，但是将与具有高重要性的区域相对应的事件信号EVS选择性地传送给处理器200(参见图1)，因此，可以减少或防止视觉传感器100的性能下降，因此可以改善包括图像处理设备10的电子设备(例如，计算设备)的性能，并且可以改善视觉传感器100的性能，尤其是在跟踪对象的移动的精确性方面。
另外，基于发生的事件信号EVS的量来确定视觉传感器100的操作模式，并且可以以特定的(或者，备选地，预定的)单位时间段单元来改变操作模式。将参考图11描述确定(例如，选择性地设置)视觉传感器100的操作模式。
图11是用于描述根据本发明构思的一些示例实施例的确定视觉传感器100的操作模式的方法的图。
参考图11，对于每个确定的单位时间段，例如，第一时间段TP1至第四时间段TP4中的每一个，可以测量发生(例如，响应于从视觉传感器100的像素阵列110中的一个或多个像素PX接收的电信号而生成)的事件信号EVS的量，并且可以基于发生的事件信号EVS的量来确定视觉传感器100的操作模式。
首先，视觉传感器100可以在作为第一时间段TP1的初始时间段上以默认模式(即第一模式MD1)操作。视觉传感器100可以输出在第一时间段TP1期间生成的所有事件信号EVS。当事件信号EVS的输出被延迟特定的(或者，备选地，预定的)单位时间段或更长时间时，视觉传感器100可以输出在第一时间段TP1之前生成的所有事件信号EVS。
当在第一时间段TP1上计数的事件信号EVS的量(即发生的事件信号EVS的量)等于或大于第一参考值时，视觉传感器100可以被设置为第二操作模式MD2，并且因此可以在第二时间段TP2上以第二操作模式MD2操作。视觉传感器100可以从在第二时间段TP2或第一时间段TP1期间生成的事件信号EVS中选择性地输出与ROI相对应的事件信号EVS。在一些示例实施例中，可以调整事件的发生条件或检测条件，使得减少发生的事件信号EVS的量。
当在第二时间段TP2期间计数的事件信号EVS的量(即发生的事件信号EVS的量)小于第一参考值时，视觉传感器100可以被再次设置为第一操作模式MD1，并且因此可以在第三时间段TP3期间以第一操作模式MD1操作。视觉传感器100可以输出在第三时间段TP3或第二时间段TP2期间生成的所有事件信号EVS。另外，可以在第三时间段TP3期间初始化事件的发生条件或检测条件。例如，可以根据内部设置的寄存器设置值或由处理器200(参见图1)设置的寄存器设置值，来初始化事件的发生条件或检测条件。
当在第三时间段TP3期间计数的事件信号EVS的量(即发生的事件信号EVS的量)等于或大于第二参考值时，视觉传感器100可以被设置为第三操作模式MD3，并且因此可以在第四时间段TP4期间以第三操作模式MD3操作。视觉传感器100可以从在第四时间段TP4或第三时间段TP3期间生成的事件信号EVS中选择性地输出与具有高重要性的ROI相对应的事件信号。在一些示例实施例中，可以调整事件的发生条件或检测条件，使得减少发生的事件信号EVS的量。在这种情况下，可以将事件的发生条件或检测条件调整为高于第二时间段TP2(即，发生的事件或事件信号EVS的量进一步减少的方向)。
如所描述的，视觉传感器100的操作模式可以基于发生的事件信号EVS的量而动态地改变。例如，事件率控制器130可以测量在一系列特定时间段中的每个特定时间段期间在事件检测电路120处生成的事件信号EVS的量，并且基于在特定时间段期间在事件率控制器处计数的事件信号的量来在每个特定时间段处动态地设置操作模式。
图12A和图12B是示出图3所示的事件率控制器130的实施例的框图。
参考图12A，事件率控制器130可以包括事件计数器131、模拟参数控制器132、去噪(DNS)控制器133和ROI控制器134。事件率控制器130(即，事件计数器131、模拟参数控制器132、DNS控制器133和ROI控制器134)的配置可以被实现为硬件或软件。例如，事件率控制器130的配置可以被实现为逻辑电路。备选地，事件率控制器130的配置可以被实现为被编程为执行功能的指令和用于执行指令的处理器。
事件计数器131可以对从ESP单元124输出的事件信号EVS进行计数，并且输出所计数的事件信号的量，即发生的事件信号EVS的量。
当发生的事件信号EVS的量等于或大于参考值时，模拟参数控制器132可以调整来自模拟电路(即，行AER 121、列AER 122、电压产生器123)的至少一个设置参数。例如，模拟参数控制器132可以控制电压产生器123(参见图6)，使得提供给比较器(例如，第一比较器112和第二比较器113)(参见图7)的第一阈值电压TH1和第二阈值电压TH2的电压电平用于从像素PX检测开启事件和关闭事件。模拟参数控制器132可以改变与第一阈值电压TH1和第二阈值电压TH2有关的在电压产生器123(参见图6)的寄存器中设置的寄存器值，使得第一阈值电压TH1增加并且第二阈值电压TH2降低。
在一些示例实施例中，第一阈值电压TH1和第二阈值电压TH2可以针对像素阵列110上的ROI和ROI之外的区域(参见图3)而不同地设置。另外，当设置多个ROI时，可以在ROI之间不同地设置第一阈值电压TH1和第二阈值电压TH2。
当发生的事件信号EVS的量等于或大于参考值时，DNS控制器133可以增大去噪阈值。因此，针对确定为噪声的事件而不生成事件信号EVS。因此，发生的事件信号EVS的量可以减少。
在一些示例实施例中，可以以像素块单元来执行噪声确定，并且ROI控制器134可以针对像素阵列110上的ROI和ROI之外的区域(参见图3)来不同地设置去噪阈值。另外，当设置多个ROI时，ROI控制器134可以在ROI之间不同地设置第一阈值TH1和第二阈值TH2。
当发生的事件信号EVS的量等于或大于参考值时，ROI控制器134可以在从ESP单元124接收的事件信号EVS之中输出与ROI相对应的事件信号EVS作为输出事件信号EVS_O。在一些示例实施例中，设置多个ROI，并且当发生的事件信号EVS的量等于或大于第一参考值且小于第二参考值时，ROI控制器134可以输出与多个ROI相对应的事件信号EVS。当发生的事件信号的量等于或大于第二参考值时，ROI控制器134可以输出与较小区域相对应的事件信号EVS，即，与具有较高重要性的ROI相对应的事件信号EVS。
参考图12B，事件率控制器130a可以包括第一事件计数器131a、第二事件计数器132a、第一滤波器133a、第二滤波器134a、模拟参数控制器135a、DNS控制器136a、以及ROI控制器137a。
第一事件计数器131a可以对使用ESP单元124之前的事件进行计数，即，对去噪之前的事件信号EVS进行计数，以输出发生的事件信号EVS的第一量。第二事件计数器132a可以对使用ESP单元124之后的事件进行计数，即，对去噪之后的事件信号EVS进行计数，以输出发生的事件信号EVS的第二量。
第一滤波器133a可以对在特定的(或者，备选地，预定的)时间段单元中(例如，在其期间)发生(例如，在事件检测电路120处生成)的事件信号EVS的第一量求平均或进行计算。例如，第一滤波器133a可以对在时间点t1计算出的发生的事件信号EVS的第一量和在较早时间点(例如，时间点t-1、时间点t-2、时间点t-3等)计算出的发生的事件信号EVS的第一量求平均或进行计算。例如，将权重乘以在各个时间点计算出的发生的事件信号EVS的第一量中的每个，并且可以输出乘以了权重的值的平均点作为滤波后的发生(例如，在特定时间段单元期间在事件检测电路120处生成)的事件信号的量。在这种情况下，当在距当前较远的时间点计算发生的事件信号EVS的量时，可以设置较小的权重。因此，可以去除所发生的事件信号EVS的第一量的快速变化。
因此，将理解，事件率控制器130可以将根据事件检测电路120处生成事件信号的时间点而指派的权重分别施加(例如，乘以)至特定时间段单元中生成并测量的事件信号EVS的量。然后，事件率控制器130可以通过对施加了权重的值求平均来产生在特定时间段单元期间生成的滤波后的事件信号的量。然后，事件率控制器130可以基于所产生的滤波后的在特定时间段单元期间在事件检测电路120处生成的事件信号的量来设置视觉传感器100的操作模式。
当从第一滤波器133a输出的滤波后的发生的事件信号的第一量等于或大于参考值时，模拟参数控制器135a可以调整来自模拟电路(即，行AER 121、列AER 122和电压发生器123)的至少一个设置参数。
第二滤波器134a对从ESP单元124接收的所发生的事件信号的量(即，第一事件信号发生的量)和指示在使用ESP单元124之前的事件(即去除噪声之前的事件)的发生的事件信号的量进行求平均并计算，以生成发生的事件信号EVS的第三量。可以通过对在特定的(或者，备选地，预定的)时间段单元中发生的事件信号的第三量进行求平均或计算，来去除发生的事件信号EVS的第三量的快速变化。
当从第二滤波器134a输出的所发生的事件信号的第三量等于或大于参考值时，DNS控制器136a可以增大去噪阈值，并且ROI控制器137a可以在从ESP单元124接收的事件信号EVS之中输出与ROI相对应的事件信号EVS作为输出事件信号EVS_O。备选地，当发生的事件信号的第三量等于或大于第一参考值且小于第二参考值时，ROI控制器137a可以输出与多个ROI相对应的事件信号EVS，并且当发生的事件信号的第三量等于或大于第二参考值时，ROI控制器137a可以输出与较小区域相对应的事件信号EVS，即与具有高重要性的ROI相对应的事件信号EVS。
如上所述，由于基于时间对在事件率控制器130a中计算出的所发生的事件信号的量进行滤波，因此即使当所发生的事件信号的量增加或减少时，也可以在调整事件信号的输出和所发生的事件信号的量时以延迟方式施加所发生的事件信号的量的改变。
图13示出根据本发明构思的一些示例实施例的设置视觉传感器100的ROI的方法的示例。
参考图13，ROI控制器137a(参见图12B)可以将像素阵列110(参见图3)分类为多个块(patch)，每个单独的块包括多个像素中的一个或多个像素的单独集合，并且ROI控制器137a对与每个块相对应的事件信号EVS进行计数(例如，对于每个块，对基于从该块中的任何像素PX输出的信号(例如，在该块中的任何像素PX处发生的事件)而生成的事件信号EVS进行计数，以作为与该块相对应的事件信号EVS的量)。当在特定块中发生(例如，在特定块中的任何像素PX处发生)的多个事件至少满足阈值时，ROI控制器137可以将该块或包括该块的区域设置为ROI。
例如，当在时间点t处计数的第一块P1的发生的事件信号的量O(t)与在先前时间点(例如，时间点t-1)处计数的第一块P1的发生的事件信号的量O1(t-1)之差等于或大于用于区分ROI而设置的阈值时，可以将第一块P1设置为ROI。当在时间点t处计数的第一块P1的发生的事件信号的量O(t)与在先前时间点(例如，时间点t-1)处计数的第一块P1的发生的事件信号的量O(t-1)之差小于用于区分ROI而设置的阈值时，可以不将第一块P1设置为ROI。
当在时间点t处计数的第二块P2的发生的事件信号O2的量O(t)与在作为先前时间点的时间点t-1处计数的第二块的发生的事件信号的量O2(t-1)之差等于或大于用于区分ROI而设置的阈值时，可以将第二块P2或特定的(或者，备选地，预定的)区域之中包括第二块P2的区域设置为ROI。
因此，事件率控制器130可以对与多个块中的每个块相对应的事件信号EVS的各单独的量进行计数，并且事件率控制器130还可以将与一段时间上的量(例如，计数的值)的变化等于或大于阈值的事件信号EVS的量相对应的块识别为ROI。
图14示出根据本发明构思的一些示例实施例的估计视觉传感器100的ROI的位置的方法。
参考图14，可以根据时间(即，帧)来改变ROI的位置。每个帧可以是包括与像素阵列110中的像素PX的阵列相对应的像素阵列的图像，其中，帧中的每个像素的信号(例如，阴影)与在对应于该帧的时间段期间由像素阵列110的对应像素PX输出的信号(或者，无信号)相对应。视觉传感器100(参见图3)可以执行运动估计以确定ROI的移动，即，ROI在X方向和/或Y方向上的移动。例如，视觉传感器100可以基于第一帧的ROI ROI_F1来执行用于估计第二帧的ROI ROI_F2的运动估计。在一些示例实施例中，视觉传感器100可以基于所生成的事件发生信号来执行运动估计。因此，事件率控制器130可以基于第一帧ROI_F1中的ROI的位置在第一帧上执行运动估计，并且可以基于运动估计的结果来确定在第二帧ROI_F2上该ROI的位置的移动。作为另一示例，在安装有图像处理设备10(参见图1)的电子产品中，邻近视觉传感器100安装的另一传感器(例如，陀螺仪传感器)可以将位置感测信号传送给视觉传感器100，并且视觉传感器100可以基于位置感测信号来执行运动估计。
当ROI在特定的(或者，备选地，预定的)范围内或更远处移动时，视觉传感器100可以复位ROI。例如，可以基于第一帧的ROI_F1的位置来设置范围RG，并且当确定所估计的第二帧的ROI_F2′超过范围RG时，视觉传感器100可以复位ROI。
例如，视觉传感器100可以通知用户ROI已移出特定的(或者，备选地，预定的)范围，使得用户复位ROI。在一些示例实施例中，如上所述，视觉传感器100可以基于发生的事件的量来复位ROI。
图15A、图15B和图15C示出调整从视觉传感器100输出的事件数据的速率的方法。
参考图15A和图15B，将多个帧FRM1至FRM4作为事件数据输出到处理器200，并且空白区段(section)BLK1至BLK3可以在传送多个帧FRM1至FRM4的区段之间。当发生的事件信号EVS的量过多时，即，当所测量的发生的事件信号EVS的量等于或大于参考值时，视觉传感器100可以增加空白区段以减少传送的事件信号的量。因此，视觉传感器100可以将多个帧FRM1至FRM4传送给处理器200，并且响应于以第二操作模式进行操作(其中，多个事件信号EVS中的事件信号的有限选择作为一个或多个输出事件信号EVS_O被输出，其中事件信号的有限选择与包括在像素阵列110的ROI中的一个或多个像素PX相对应)，视觉传感器100可以增加传送多个帧FRM1至FRM4的区段之间的空白区段的长度，以比当视觉传感器以第一操作模式进行操作时传送多个帧FRM1至FRM4的区段之间的空白区段的长度长。换句话说，当视觉传感器100以第二操作模式进行操作时，视觉传感器100可以降低传送的事件数据的速率(例如，降低处理器200中的数据传输速率)。
参考图15A，当发生的事件信号EVS的量小于参考值时，即，在第三帧FRM3之前，可以将第一空白区段BLK1和第二空白区段BLK2设置为T1。当确定在第三帧FRM3中发生的事件信号EVS的量过多时，视觉传感器100可以将第三空白区段BLK3设置为比T1长的T2。因此，发生的事件信号EVS的量可以减少。
参考图15B，空白区段可以被分类为两种类型，例如，第一空白类型BLK_1和第二空白类型BLK_2。处理器200(参见图1)可以以交叠的方式使用从视觉传感器100接收的多个帧。例如，视觉传感器100可以合并多个帧。可以将以交叠方式使用的帧之间的空白区段设置为第一空白类型BLK_1，并且可以将不重叠的帧之间的空白区段设置为第二空白类型BLK_2。
当发生的事件信号EVS的量小于参考值时，第二空白类型BLK_2的时间段可以被设置为与第一空白类型BLK_1的时间段相同或类似。当发生的事件信号EVS的量等于或大于参考值时，第二空白类型BLK_2的时间段可以被设置为比第一空白类型BLK1的时间段相比相对较长。
例如，第一帧FRM1至第三帧FRM3可以交叠，并且第四帧FRM4至第六帧FRM6可以以交叠方式使用。视觉传感器100可以将第一帧FRM1至FRM3之间以及第四帧FRM4至第六帧FRM6之间的空白区段设置为第一空白类型BLK_1；视觉传感器100可以将第三帧FRM3和第四帧FRM4之间的空白区段以及第六帧FRM6和第七帧FRM7之间的空白区段设置为第二空白类型BLK_2。第三帧FRM3和第四帧FRM4之间的空白区段被设置为T1，并且T1可以与第一空白类型BLK_1的时间段相同或类似。接下来，当确定发生的事件信号EVS的量等于或大于参考值时，视觉传感器100可以增大第二空白类型BLK_2的时间段，而不改变第一空白类型BLK_1的时间段。如图所示，视觉传感器100可以将第二空白类型BLK_2(即，第六帧FRM6和第七帧FRM7之间的空白区段的时间段)设置为相比于T1相对较长的T2。
同时，可以基于像素阵列110(图6)的分辨率来设置图15A和图15B中的空白区段的最大长度。例如，可以将空白区段的最大长度设置为在传送帧的区段的约10％到25％之内。
参考图15C，可以以分组单元传送数据，并且当发生的事件信号EVS的量过多时，视觉传感器100可以减少在特定的(或者，备选地，预定的)时间段期间传送的分组数据的量。例如，当发生的事件信号EVS的量不过多时，视觉传感器100不限制传送的分组的量，如在第一时间段T1和第二时间段T2中那样。可以在第一时间段T1期间传送第一分组PKD1至第三分组PKD3，并且可以在第二时间段T2期间传送第四分组PKD4至第七分组PKD7。
然而，当确定在一个时间段(例如，第三时间段T3)期间传送的分组的量过多时，可以调整传送的分组的量(或者被浪费而未传送的分组的量)。视觉传感器100可以选择所生成的分组并输出有限数量的分组。例如，可以在第三时间段T3期间将传送的分组的数量限制为三个，并且因此，可以在第三时间段T3期间传送第八分组PKD8至第十分组PKD10。
当传送的分组的量被限制时，可以基于像素阵列110的分辨率来设置所浪费的分组的最大量，例如，将其设置在特定的(或者，备选地，预定的)时间段期间所生成的分组数据的量的约10％至约25％的范围内。
将理解的是，当在本说明书中结合数值使用术语“约”或“基本上”时，其意指的是相关联的数值包括所述数值附近的±10％的公差。当指定范围时，所述范围包括其间的所有值，诸如0.1％的增量。
图16是示出根据本发明构思的示例性实施例的图像处理设备10a的框图。
参考图16，图像处理设备10a可以包括第一传感器(即视觉传感器100)、处理器200和第二传感器300。例如，当图像处理设备10a操作时，第二传感器300可以检测外部环境，例如，对象周围的照度或对象的亮度、或图像处理设备10a的位置。例如，第二传感器300可以是陀螺仪传感器或照度传感器。
第二传感器300可以通过处理器200或直接地将感测到的信号提供给视觉传感器100的事件率控制器130。视觉传感器100可以基于从第二传感器300接收的信号来确定视觉传感器100的操作模式。例如，第二传感器300可以是照度传感器，并且可以将从第二传感器300生成的照度信息提供给事件率控制器130，所述照度信息为指示与视觉传感器100成像的对象或包括该对象的外部区域相关联的照度的照度信息。事件率控制器130可以基于照度信息来确定是否发生了预期有过量事件的条件。例如，当接收到的照度信息可以指示等于或大于参考照度的照度时，事件率控制器130可以预期周围的光量为高并且可能发生过量的事件。
如上所述，当预期要发生过量的事件时，事件率控制器130可以输出与感兴趣区域ROI相对应的事件信号EVS，以减少事件信号输出的量。另外，事件率控制器130可以改变事件发生条件或检测条件以减少事件的生成量。在一些示例实施例中，事件率控制器130可以将针对ROI设置的事件发生条件或检测条件设置为与针对其他区域设置的事件发生条件或检测条件不同。
事件率控制器130可以基于由照度信息指示的照度来不同地改变操作模式。例如，当照度信息指示等于或大于参考照度的照度时，事件率控制器130可以将操作模式从第一操作模式(其是设置为默认的操作模式)改变为第二操作模式。可以在第二操作模式下输出与ROI相对应的事件信号EVS。另外，事件率控制器130可以改变在第二操作模式下的事件发生条件或检测条件以减少发生的事件量。因此，视觉传感器100可以基于从照度传感器接收到的照度信息所表示的照度是否等于或大于参考照度，来选择性地以第一操作模式或第二操作模式中的选定操作模式进行操作。
同时，当第二传感器300是陀螺仪传感器时，事件率控制器130可以基于从陀螺仪传感器提供的位置信号来执行运动估计，如参考图14所描述的。
图17是示出根据本发明构思的一些示例实施例的视觉传感器100的操作方法的流程图。图17的操作方法可以在图3的视觉传感器100中执行，更具体地，在事件率控制器130中执行。
参考图3和图17，视觉传感器100可以设置ROI(S310)。视觉传感器100可以接收关于感测环境(例如周围环境)的信息(S320)。例如，如参考图16所描述的，视觉传感器100可以从照度传感器接收周围照度信息。
视觉传感器100可以基于接收到的感测环境信息来确定感测环境是否与参考条件相对应(S330)。视觉传感器100可以确定感测环境是否是预期有过量事件的情况。例如，当接收到的照度信息等于或大于参考照度时，视觉传感器100可以预期视觉传感器100周围的光量为高并且可能发生过量事件。
当感测环境不与参考条件相对应时，例如，照度信息小于参考照度，视觉传感器100可以输出与整个区域相对应的事件信号EVS(S340)。当感测环境与参考条件相对应时，视觉传感器100可以输出与ROI相对应的事件信号EVS(S350)。
视觉传感器100可以基于感测环境来设置操作模式。例如，当感测环境不对应于参考条件时，视觉传感器100可以以第一操作模式进行操作，其中输出与整个区域相对应的事件信号EVS；并且当感测环境与参考条件相对应时，视觉传感器100可以以第二操作模式进行操作，其中可以输出与整个区域中的ROI相对应的事件信号。
图18示出根据本发明构思的一些示例实施例的视觉传感器100的操作方法的流程图。图18的操作方法可以在图3的视觉传感器100中执行，更具体地，在事件率控制器130中执行。
参考图3和图18，视觉传感器100可以设置ROI(S410)。视觉传感器100可以接收关于感测环境(例如周围环境)的信息(S420)。视觉传感器100可以基于接收到的感测环境信息来确定感测环境是否与参考条件相对应(S430)。例如，参考条件是可能发生过量事件的条件。当感测环境不与参考条件相对应时，视觉传感器100可以输出与整个区域相对应的事件信号EVS(S440)。
当感测环境与参考条件相对应时，视觉传感器100可以测量发生的事件信号EVS的量(S450)。例如，视觉传感器100将发生的事件信号EVS的量与参考值进行比较(S460)。当发生的事件信号EVS的量小于参考值时，输出与整个区域相对应的事件信号EVS(S440)，当发生的事件信号的量等于或大于参考值时，视觉传感器100可以输出与ROI相对应的事件信号EVS(S470)。
如上所述，当预期有过量的事件信号EVS时，例如，当周围照度为高或对象的亮度为高的情况时，视觉传感器100可以测量所发生的事件信号EVS的量，并且当发生了等于或大于参考值的事件信号EVS时，视觉传感器100输出与ROI相对应的事件信号EVS，以减少传递给处理器200的事件数据的量(参见图1)。
图19是示出根据本发明构思的一些示例实施例的采用视觉传感器100的电子设备的示例的框图。
参考图19，电子设备1000可以包括视觉传感器1100、主处理器1200、工作存储器1300、存储设备1400、显示装置1500、通信单元1600和用户接口电路1700。
可以采用参考图1至图18描述的视觉传感器100作为视觉传感器1100。视觉传感器1100可以感测对象以生成事件信号EVS，并且将生成的事件信号EVS传送给主处理器1200。当感测环境(例如，包括对象的周围环境)与预期将发生过量的事件信号的条件相对应时或当所测量的发生的事件信号EVS的量等于或大于参考值时，视觉传感器1100可以选择性地将所生成的事件信号中的与ROI相对应的事件信号传送给主处理器1200。因此，可以减少所传送的事件信号的量(即事件数据的量)或将其维持在特定水平或特定水平之下。因此，可以减少或防止在传送事件信号EVS的过程期间的数据损失。
另外，当确定发生的事件信号EVS的量等于或大于参考值时，可以调整事件发生条件和/或检测条件以减少生成的事件信号EVS的量。在一些示例实施例中，事件发生条件和/或检测条件可以在ROI和除ROI之外的区域中不同地进行设置，并且还可以在多个ROI中不同地进行设置。
主处理器1200可以控制电子设备1000的所有操作，并且处理从视觉传感器1100接收到的事件数据(即事件信号EVS)，以检测对象的移动。
工作存储器1300可以存储用于电子设备1000的操作的数据。例如，工作存储器1300可以临时存储由主处理器1200处理的分组或帧。例如，工作存储器1300可以包括易失性存储器(例如，动态RAM(DRAM)、同步RAM(SDRAM))和非易失性存储器(例如，相变RAM(PRAM)、磁阻RAM(MRAM)、电阻RAM(ReRAM)和铁电RAM(FRAM))。
存储器1400可以存储从主处理器1200或其他配置请求存储的数据。存储设备1400可以包括闪存和非易失性存储器，例如，PRAM、MRAM、ReRAM和FRAM。
显示装置1500可以包括显示面板、显示驱动电路、以及显示串行接口(DSI)。例如，显示面板可以被实现为各种设备，例如液晶显示(LCD)装置、发光二极管(LED)显示装置、有机LED(OLED)装置和有源矩阵OLED装置。显示驱动电路可以包括用于驱动显示面板的定时控制器、源极驱动器等。主处理器1200中嵌入的DSI主机可以通过DSI与显示面板执行串行通信。
通信单元1600可以通过天线1630与外部装置/系统交换信号。收发器1610和调制解调器1620(调制器/解调器)可以根据无线通信协议来处理在通信单元1600与外部装置/系统之间交换的信号，例如长期演进(LTE)、WIMAX(微波接入全球互操作性)、GSM(全球移动通信系统)、CDMA(码分多址)、蓝牙、NFC(近场通信)、Wi-Fi(无线保真)和RFID(射频识别)。
用户接口1700可以包括诸如键盘、鼠标、键区、按钮、触摸面板、触摸屏、触摸板、触摸球、陀螺仪传感器、振动传感器、加速度传感器等的输入接口中的至少一个。
电子设备1000的组件(例如，视觉传感器1100、主处理器1200、工作存储器1300、存储设备1400、显示装置1500、通信单元1600和用户接口1700)可以基于诸如以下项的各种接口协议中的一个或多个来交互数据：通用串行总线(USB)、小型计算机系统接口(SCSI)、MIPI、I2C、外围组件互连Express(PCIe)、移动PCIe(M-PCIe)、高级技术附件(ATA)、并行ATA(PATA)、串行ATA(SATA)、串行连接的SCSI(SAS)、集成驱动电子(IDE)、增强型IDE(EIDE)、非易失性存储器Express(NVMe)、通用闪存(UFS)等。
尽管已经参考本发明构思的实施例具体示出和描述了本发明构思，但是将理解，在不脱离所附权利要求的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (20)

1.一种视觉传感器，包括：
像素阵列，包括以矩阵布置的多个像素，每个像素被配置为响应于检测到入射光的强度变化而生成单独的电信号；
事件检测电路，被配置为基于对从所述多个像素中的一个或多个像素接收的电信号进行处理，来检测在所述多个像素的任何像素处是否已经发生入射光的强度变化，并且生成与所述多个像素中确定已经发生入射光的强度变化的一个或多个像素分别对应的一个或多个事件信号；
事件率控制器，被配置为从所述一个或多个事件信号中选择与所述像素阵列上的感兴趣区域相对应的一个或多个事件信号，作为一个或多个输出事件信号；以及
接口电路，被配置为与外部处理器进行通信并将所述一个或多个输出事件信号传送给所述外部处理器。
2.根据权利要求1所述的视觉传感器，其中，
所述事件率控制器被配置为：
响应于所述视觉传感器以第一操作模式进行操作，选择与所述像素阵列的整个区域中的任何像素相对应的任何事件信号作为所述一个或多个输出事件信号；以及
响应于所述视觉传感器以第二操作模式进行操作，选择仅与所述感兴趣区域中的任何像素相对应的任何事件信号作为所述一个或多个输出事件信号。
3.根据权利要求2所述的视觉传感器，其中，
所述事件率控制器还被配置为：
基于对在特定时间段期间在所述事件检测电路处生成的事件信号进行计数，测量在所述事件检测电路处生成的事件信号的量，以及
基于在所述特定时间段内生成的事件信号的量是否小于参考值，将所述视觉传感器的操作模式选择性地设置为所述第一操作模式或所述第二操作模式中的一个。
4.根据权利要求3所述的视觉传感器，其中，
所述事件率控制器还被配置为：测量在每个特定时间段期间在所述事件检测电路处生成的事件信号的量，并且基于在每个特定时间段期间所计数的事件信号的量，来动态地设置在该特定时间段处所述视觉传感器的操作模式。
5.根据权利要求4所述的视觉传感器，其中，
所述事件率控制器还被配置为：
将根据所述事件检测电路处生成事件信号的时间点而指派的权重分别施加到在特定时间段单元中生成并测量的事件信号的量，
通过对施加了所述权重的值求平均来生成在所述特定时间段单元期间生成的滤波后事件信号的量，以及
基于在所述特定时间段单元期间在所述事件检测电路处生成的滤波后事件信号的量来设置所述操作模式。
6.根据权利要求3所述的视觉传感器，其中，
所述像素阵列包括多个感兴趣区域，并且
所述事件率控制器还被配置为：
响应于在所述特定时间段期间生成的事件信号的量等于或大于第一参考值且小于第二参考值，将所述视觉传感器的操作模式设置为所述第二操作模式，并且选择与所述多个感兴趣区域中的任何感兴趣区域相对应的一个或多个事件信号作为所述一个或多个输出事件信号，以及
响应于在所述特定时间段期间生成的事件信号的量等于或大于所述第二参考值，将所述视觉传感器的操作模式设置为第三操作模式，并且选择与所述多个感兴趣区域中的至少一个感兴趣区域相对应的一个或多个事件信号作为所述一个或多个输出事件信号，其中与所述至少一个感兴趣区域相关联的重要性值比与所述多个感兴趣区域中的剩余感兴趣区域相关联的重要性值大。
7.根据权利要求2所述的视觉传感器，其中，
所述事件率控制器还被配置为：响应于所述视觉传感器以所述第二操作模式进行操作，降低所述感兴趣区域中的一个或多个像素的灵敏度。
8.根据权利要求2所述的视觉传感器，其中，
所述事件检测电路被配置为：基于去噪阈值来确定由所述多个像素生成的一个或多个信号是噪声事件，并且避免生成与所述噪声事件相对应的事件信号，以及
所述事件率控制器还被配置为：响应于所述视觉传感器以所述第二操作模式进行操作，增加所述去噪阈值，使得所生成的事件信号的量减少。
9.根据权利要求1所述的视觉传感器，其中，
所述事件率控制器还被配置为：
将所述像素阵列分类为多个块，每个单独的块包括所述多个像素中的一个或多个像素的单独集合，
对与所述多个块中的每个块相对应的事件信号的各单独的量进行计数，以及
将与一段时间上量的变化等于或大于阈值的事件信号的量相对应的块识别为所述感兴趣区域。
10.根据权利要求9所述的视觉传感器，其中，
所述事件率控制器还被配置为：
基于所述感兴趣区域的位置在第一帧上执行运动估计，以及
基于所述运动估计的结果，确定在第二帧上所述感兴趣区域的位置的移动。
11.一种图像处理设备，包括：
视觉传感器，被配置为：
捕获对象的图像，
生成与包括在像素阵列中的多个像素相对应的多个事件信号，每个事件信号是基于所述对象相对于所述视觉传感器的移动而生成的，以及
响应于所述视觉传感器以第一操作模式或第二操作模式中的选定操作模式进行操作，分别选择性地传送所有的所述多个事件信号或所述多个事件信号中的事件信号的有限选择，作为一个或多个输出事件信号，所述事件信号的有限选择与所述多个像素之中包括在所述像素阵列的感兴趣区域中的一个或多个像素相对应；和
处理器，被配置为处理所述一个或多个输出事件信号以检测所述对象的移动。
12.根据权利要求11所述的图像处理设备，其中，
所述视觉传感器被配置为：基于将在特定时间段期间生成的事件信号的量与阈值进行比较，来选择性地以所述第一操作模式或所述第二操作模式中的选定操作模式进行操作。
13.根据权利要求11所述的图像处理设备，还包括：
照度传感器，
其中，所述视觉传感器被配置为：基于由从所述照度传感器接收到的信息所表示的照度是否等于或大于参考照度，来选择性地以第一操作模式或第二操作模式中的选定操作模式进行操作。
14.根据权利要求11所述的图像处理设备，其中，
所述视觉传感器被配置为将包括所述一个或多个输出事件信号的多个帧传送给所述处理器，并且
所述视觉传感器被配置为：当以所述第二操作模式进行操作时，增加当所述视觉传感器在以所述第二操作模式进行操作时所述多个帧被传送的区段之间的空白区段的长度，以比当所述视觉传感器以所述第一操作模式进行操作时所述多个帧被传送的区段之间的空白区段的长度长。
15.根据权利要求11所述的图像处理设备，其中，
所述视觉传感器被配置为：当以所述第二操作模式进行操作时，设置多个感兴趣区域，设置不同感兴趣区域中的像素的不同灵敏度，并且设置与不同感兴趣区域中的像素相关联的不同去噪阈值。
16.一种操作视觉传感器的方法，所述方法包括：
在包括多个像素的像素阵列上定义至少一个感兴趣区域，所述多个像素中的每个像素被配置为响应于由该像素接收的光的强度变化而生成事件信号；
通过对在特定的第一时间段期间生成的多个事件信号进行计数，来检测在所述特定的第一时间段中生成的事件信号的量；
基于确定在所述特定的第一时间段中生成的事件信号的量等于或大于阈值，来选择性地控制所述视觉传感器以选定操作模式进行操作；以及
基于所述视觉传感器以所述选定操作模式进行操作，将所述多个事件信号中的事件信号的有限选择传送给外部处理器，所述事件信号的有限选择与所述至少一个感兴趣区域相对应。
17.根据权利要求16所述的方法，还包括：
基于确定在所述特定的第一时间段中生成的事件信号的量小于阈值，来选择性地控制所述视觉传感器以单独的选定操作模式进行操作；以及
基于所述视觉传感器以所述单独的选定操作模式进行操作，将所述多个事件信号中的所有事件信号传送给所述外部处理器。
18.根据权利要求16所述的方法，还包括：
当所述视觉传感器在以选定操作模式进行操作时，增加与关于所述至少一个感兴趣区域发生噪声事件的确定相关联的参考值；以及
在特定的第二时间段期间，基于去噪阈值来确定由所述多个像素生成的一个或多个信号是噪声事件，并且避免传送与所述噪声事件相对应的事件信号。
19.根据权利要求16所述的方法，还包括：
基于所述视觉传感器以选定操作模式进行操作，降低与所述至少一个感兴趣区域相对应的一个或多个像素的灵敏度。
20.根据权利要求16所述的方法，还包括：
基于所述视觉传感器以选定操作模式进行操作，降低所述外部处理器中的数据传输速率。
CN202010526059.XA 2019-06-26 2020-06-10 视觉传感器、图像处理设备以及视觉传感器的操作方法 Pending CN112153309A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310117246.6A CN116170702A (zh) 2019-06-26 2020-06-10 视觉传感器、图像处理设备以及视觉传感器的操作方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0076347 2019-06-26
KR1020190076347A KR20210000985A (ko) 2019-06-26 2019-06-26 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310117246.6A Division CN116170702A (zh) 2019-06-26 2020-06-10 视觉传感器、图像处理设备以及视觉传感器的操作方法

Publications (1)

Publication Number Publication Date
CN112153309A true CN112153309A (zh) 2020-12-29

Family

ID=73747681

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310117246.6A Pending CN116170702A (zh) 2019-06-26 2020-06-10 视觉传感器、图像处理设备以及视觉传感器的操作方法
CN202010526059.XA Pending CN112153309A (zh) 2019-06-26 2020-06-10 视觉传感器、图像处理设备以及视觉传感器的操作方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310117246.6A Pending CN116170702A (zh) 2019-06-26 2020-06-10 视觉传感器、图像处理设备以及视觉传感器的操作方法

Country Status (4)

Country Link
US (3) US11532143B2 (zh)
KR (1) KR20210000985A (zh)
CN (2) CN116170702A (zh)
DE (1) DE102020107275A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747090A (zh) * 2021-09-01 2021-12-03 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN114095673A (zh) * 2021-11-09 2022-02-25 深圳锐视智芯科技有限公司 一种图像输出方法、装置及计算机可读存储介质
WO2022199360A1 (zh) * 2021-03-23 2022-09-29 北京灵汐科技有限公司 运动物体的定位方法、装置、电子设备及存储介质
WO2022222170A1 (zh) * 2021-04-20 2022-10-27 豪威芯仑传感器(上海)有限公司 一种图像传感器及图像处理系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020261491A1 (ja) * 2019-06-27 2020-12-30 株式会社ソニー・インタラクティブエンタテインメント センサ制御装置、センサ制御方法およびプログラム
US11825218B2 (en) * 2019-07-01 2023-11-21 Sony Advanced Visual Sensing Ag Dynamic region of interest (ROI) for event-based vision sensors
US11303811B2 (en) * 2019-11-05 2022-04-12 Fotonation Limited Event-sensor camera
US11270137B2 (en) * 2020-06-17 2022-03-08 Fotonation Limited Event detector and method of generating textural image based on event count decay factor and net polarity
KR20220085619A (ko) * 2020-12-15 2022-06-22 삼성전자주식회사 비전 센서 및 이의 동작 방법
JP7457878B2 (ja) 2021-01-14 2024-03-28 プロフェシー イベントベースのイメージセンサを動作させるためのデジタルイベント符号化
DE102021100947B4 (de) * 2021-01-19 2022-07-28 Sick Ag Kameravorrichtung und Verfahren zur Erfassung eines Objekts
WO2022174881A1 (en) * 2021-02-16 2022-08-25 Huawei Technologies Co., Ltd. Event sensor illuminance variation compensation
WO2022188120A1 (en) * 2021-03-12 2022-09-15 Huawei Technologies Co., Ltd. Event-based vision sensor and method of event filtering
KR20220156327A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 비전 센서 및 이의 동작 방법
BE1029563B1 (nl) * 2021-07-05 2023-02-06 Voxelsensors Srl Pixel array met dynamische laterale en temporele resolutie
BE1029775B9 (nl) * 2021-09-21 2023-10-09 Voxelsensors Srl Persistentiefiltering bij spd arrays
CN113923319B (zh) * 2021-12-14 2022-03-08 成都时识科技有限公司 降噪装置、方法、芯片、事件成像装置及电子设备
WO2023117315A1 (en) * 2021-12-20 2023-06-29 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device
US11558542B1 (en) * 2022-01-03 2023-01-17 Omnivision Technologies, Inc. Event-assisted autofocus methods and apparatus implementing the same
WO2023189279A1 (ja) * 2022-03-29 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、撮像装置および信号処理方法
WO2023186529A1 (en) * 2022-03-31 2023-10-05 Sony Group Corporation Sensor device and method for operating a sensor device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140313320A1 (en) * 2013-04-19 2014-10-23 Canon Kabushiki Kaisha Image pickup apparatus
US20160274643A1 (en) * 2015-03-18 2016-09-22 Universitaet Zuerich Event-based sensor and operating method of processor
US20180191972A1 (en) * 2016-12-30 2018-07-05 Insightness Ag Dynamic vision sensor architecture
US20180262705A1 (en) * 2017-03-08 2018-09-13 Samsung Electronics Co., Ltd. Image processing device configured to regenerate timestamp and electronic device including the same
KR20180102988A (ko) * 2017-03-08 2018-09-18 삼성전자주식회사 이벤트 감지 장치
CN108697314A (zh) * 2016-01-28 2018-10-23 基文影像公司 控制体内装置中的图像捕获和传输速率的方法及系统
US20190014258A1 (en) * 2017-07-05 2019-01-10 Intel Corporation Micro-saccadic actuation for an event camera

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06195441A (ja) 1992-12-22 1994-07-15 Fanuc Ltd 視覚センサの画像データの保存方法及び転送方法
US8542878B2 (en) * 2009-03-06 2013-09-24 Koninklijke Philips N.V. Method of controlling a function of a device and system for detecting the presence of a living being
US20140022158A1 (en) * 2012-07-18 2014-01-23 Samsung Electronics Co., Ltd. Apparatus and method for controlling operation mode of device using gesture recognition
ES2476115B1 (es) * 2012-12-11 2015-04-20 Consejo Superior De Investigaciones Científicas (Csic) Metodo y dispositivo para la deteccion de la variacion temporal de la intensidad luminosa en una matriz de fotosensores
IL224896A (en) * 2013-02-25 2017-09-28 Agent Video Intelligence Ltd Method for extracting objects
US9078013B2 (en) * 2013-06-28 2015-07-07 Verizon Patent And Licensing Inc. Content verification using luminance mapping
US9628732B2 (en) * 2013-08-23 2017-04-18 Semiconductor Components Industries, Llc Imaging systems and methods for performing column-based image sensor pixel gain adjustments
CN105519089A (zh) * 2013-09-06 2016-04-20 夏普株式会社 图像处理装置
KR101530851B1 (ko) 2013-11-06 2015-06-23 재단법인 다차원 스마트 아이티 융합시스템 연구단 차량용 블랙박스 카메라의 감시방법 및 이를 구현한 차량용 블랙박스 카메라
JP6348758B2 (ja) * 2014-04-15 2018-06-27 本田技研工業株式会社 画像処理装置
US9471969B2 (en) * 2014-06-23 2016-10-18 Exxonmobil Upstream Research Company Methods for differential image quality enhancement for a multiple detector system, systems and use thereof
CN104301624B (zh) * 2014-10-30 2018-04-03 青岛海信移动通信技术股份有限公司 一种图像拍摄亮度控制方法及装置
KR20160109586A (ko) * 2015-03-12 2016-09-21 삼성전자주식회사 이미지 처리 시스템, 및 이를 포함하는 모바일 컴퓨팅 장치
CA2981779C (en) * 2015-04-08 2018-05-01 Nissan Motor Co., Ltd. Traffic light detection device and traffic light detection method
KR102433931B1 (ko) * 2015-07-30 2022-08-19 삼성전자주식회사 움직임 인식 방법 및 움직임 인식 장치
KR102523136B1 (ko) * 2015-09-01 2023-04-19 삼성전자주식회사 이벤트 기반 센서 및 이벤트 기반 센서의 픽셀
US10855971B2 (en) * 2015-09-16 2020-12-01 HashD, Inc. Systems and methods of creating a three-dimensional virtual image
US10198660B2 (en) * 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation
US9934557B2 (en) 2016-03-22 2018-04-03 Samsung Electronics Co., Ltd Method and apparatus of image representation and processing for dynamic vision sensor
KR102662029B1 (ko) * 2016-08-01 2024-05-03 삼성전자주식회사 이벤트 신호 처리 방법 및 그 방법을 수행하는 이벤트 기반 센서
KR20180014992A (ko) * 2016-08-02 2018-02-12 삼성전자주식회사 이벤트 신호 처리 방법 및 장치
KR20180056962A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 전원 제어 회로를 포함하는 이벤트 기반 센서
US10855927B2 (en) * 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
US10395124B2 (en) * 2017-03-31 2019-08-27 Osram Sylvania Inc. Thermal image occupant detection
JP6970743B2 (ja) * 2017-04-12 2021-11-24 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US10582196B2 (en) 2017-06-30 2020-03-03 Intel Corporation Generating heat maps using dynamic vision sensor events
EP3451288A1 (en) * 2017-09-04 2019-03-06 Universität Zürich Visual-inertial odometry with an event camera
EP4293484A3 (en) * 2017-09-28 2024-03-13 Apple Inc. Method and device for eye tracking using event camera data
EP3725068B1 (en) * 2017-12-11 2021-07-14 Prophesee Event-based image sensor and operating method thereof
JP7062430B2 (ja) * 2017-12-15 2022-05-06 キヤノン株式会社 撮像素子、撮像装置および画像処理方法
CN108827461B (zh) * 2018-04-25 2019-05-03 上海芯仑光电科技有限公司 像素采集电路及光流传感器
CN108961318B (zh) * 2018-05-04 2020-05-15 上海芯仑光电科技有限公司 一种数据处理方法及计算设备
WO2019225071A1 (ja) * 2018-05-23 2019-11-28 ソニー株式会社 信号処理装置及び信号処理方法、並びに撮像装置
EP3806451B1 (en) * 2018-06-01 2022-06-01 Sony Semiconductor Solutions Corporation Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
US11818475B2 (en) * 2018-09-28 2023-11-14 Sony Corporation Data processing device, data processing method, and program
CN110971792B (zh) * 2018-09-29 2021-08-13 华为技术有限公司 一种动态视觉传感器
IL262372B (en) * 2018-10-14 2020-05-31 Semi Conductor Devices An Elbit Systems Rafael Partnership Pixel reading circuit and imaging method
JP2022028982A (ja) * 2018-12-05 2022-02-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理チップ、および、電子機器
GB201900034D0 (en) * 2019-01-02 2019-02-13 Oxehealth Ltd Method and apparatus for monitoring of a human or animal subject
AU2019423379B2 (en) * 2019-01-17 2021-10-21 Mitsubishi Electric Corporation Information processing device, information processing method, and information processing program
US10805579B2 (en) * 2019-01-30 2020-10-13 Primesensor Technology Inc. Motion detection methods and motion sensors capable of more accurately detecting true motion event
US11558565B2 (en) * 2019-01-31 2023-01-17 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus and imaging apparatus
KR102646902B1 (ko) * 2019-02-12 2024-03-12 삼성전자주식회사 거리 측정을 위한 이미지 센서
WO2020178920A1 (ja) * 2019-03-01 2020-09-10 株式会社ブルックマンテクノロジ 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法
WO2020261491A1 (ja) * 2019-06-27 2020-12-30 株式会社ソニー・インタラクティブエンタテインメント センサ制御装置、センサ制御方法およびプログラム
JP2021048456A (ja) * 2019-09-17 2021-03-25 株式会社東芝 画像処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140313320A1 (en) * 2013-04-19 2014-10-23 Canon Kabushiki Kaisha Image pickup apparatus
US20160274643A1 (en) * 2015-03-18 2016-09-22 Universitaet Zuerich Event-based sensor and operating method of processor
CN108697314A (zh) * 2016-01-28 2018-10-23 基文影像公司 控制体内装置中的图像捕获和传输速率的方法及系统
US20180191972A1 (en) * 2016-12-30 2018-07-05 Insightness Ag Dynamic vision sensor architecture
US20180262705A1 (en) * 2017-03-08 2018-09-13 Samsung Electronics Co., Ltd. Image processing device configured to regenerate timestamp and electronic device including the same
KR20180102988A (ko) * 2017-03-08 2018-09-18 삼성전자주식회사 이벤트 감지 장치
US20190014258A1 (en) * 2017-07-05 2019-01-10 Intel Corporation Micro-saccadic actuation for an event camera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李田泽;王生德;申晋;王淑云;: "二维数字阵列光电位置敏感器件新式结构研究", 光电工程, no. 01, 28 January 2007 (2007-01-28) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022199360A1 (zh) * 2021-03-23 2022-09-29 北京灵汐科技有限公司 运动物体的定位方法、装置、电子设备及存储介质
WO2022222170A1 (zh) * 2021-04-20 2022-10-27 豪威芯仑传感器(上海)有限公司 一种图像传感器及图像处理系统
CN113747090A (zh) * 2021-09-01 2021-12-03 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN113747090B (zh) * 2021-09-01 2022-09-30 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN114095673A (zh) * 2021-11-09 2022-02-25 深圳锐视智芯科技有限公司 一种图像输出方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
US20230334811A1 (en) 2023-10-19
US11727662B2 (en) 2023-08-15
KR20210000985A (ko) 2021-01-06
US20200410272A1 (en) 2020-12-31
CN116170702A (zh) 2023-05-26
US11532143B2 (en) 2022-12-20
US20230085974A1 (en) 2023-03-23
DE102020107275A1 (de) 2020-12-31

Similar Documents

Publication Publication Date Title
CN112153309A (zh) 视觉传感器、图像处理设备以及视觉传感器的操作方法
EP3563563B1 (en) Data rate control for event-based vision sensor
US20230217123A1 (en) Vision sensor, image processing device including the same, and operating method of the vision sensor
US11582410B2 (en) Dynamic vision sensor and image processing device including the same
US20220264035A1 (en) Dynamic Region of Interest (ROI) for Event-Based Vision Sensors
US11405567B2 (en) Dynamic vision sensors configured to calibrate event signals using optical black region and methods of operating the same
US11815394B2 (en) Photoelectric conversion device, method of controlling photoelectric conversion device, and information processing apparatus
US20150172570A1 (en) Image sensor capable of adjusting number of oversamplings, method of operating the same, and image data processing system including the same
US20240107194A1 (en) Delay Equalization in Event-Based Vision Sensors
US11950003B2 (en) Vision sensor and operating method of the same
US20230164457A1 (en) Sensor for accumulation signal
US11765486B2 (en) Vision sensor and image processing device including the same
KR20220085619A (ko) 비전 센서 및 이의 동작 방법
US20240107188A1 (en) Vision sensor and image processing device including the same
EP4093021A1 (en) Vision sensor and operating method thereof
WO2023093986A1 (en) A monolithic image sensor, a camera module, an electronic device and a method for operating a camera module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination