CN107018357A - 关于图像形成的动态视觉传感器的事件采样的方法和设备 - Google Patents

关于图像形成的动态视觉传感器的事件采样的方法和设备 Download PDF

Info

Publication number
CN107018357A
CN107018357A CN201710056416.9A CN201710056416A CN107018357A CN 107018357 A CN107018357 A CN 107018357A CN 201710056416 A CN201710056416 A CN 201710056416A CN 107018357 A CN107018357 A CN 107018357A
Authority
CN
China
Prior art keywords
event
image
sampling
unit
dvs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710056416.9A
Other languages
English (en)
Other versions
CN107018357B (zh
Inventor
冀正平
张强
李圭彬
王兵
王一兵
柳贤锡
伊利亚·奥维先尼科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107018357A publication Critical patent/CN107018357A/zh
Application granted granted Critical
Publication of CN107018357B publication Critical patent/CN107018357B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

提供一种关于图像形成的动态视觉传感器的事件采样的方法和设备。所述设备包括：动态视觉传感器(DVS)，被构造为生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；采样单元，连接到DVS并被构造为对事件流进行采样；图像形成单元，连接到采样单元并被构造为针对事件流的每一个样本形成图像，其中，调整采样单元的采样的方式来减少通过图像形成单元形成的图像之间的变化。

Description

关于图像形成的动态视觉传感器的事件采样的方法和设备
本申请要求于2016年1月27日提交到美国专利商标局的第62/287,706号美国临时专利申请和于2016年3月21日提交到美国专利商标局的第15/076,203号美国临时专利申请的优先权，所述申请的全部内容通过引用合并于此。
技术领域
本公开总体涉及一种动态视觉传感器(DVS)的事件采样的设备和方法，更具体地讲，涉及一种用于产生在图像之间具有减少的变化的图像的DVS的事件采样的设备和方法。
背景技术
传统的视觉传感器捕捉场景作为以一定的速率(例如，帧率)拍摄的一系列图片或帧，其中，在帧的边界内的每一个图片元素(例如，像素)被捕捉到帧中。从一帧到另一帧不发生改变的像素信息是冗余信息。存储和处理冗余信息浪费存储空间、处理时间和电池电力。
DVS不以帧的形式捕捉场景，而是与人的视网膜功能相似。即，DVS在发生事件时仅发送在场景内的特定位置的像素亮度的变化(例如，事件)。
DVS的输出是事件流，其中，每一个事件与特定的状态(即，相机阵列内的事件的位置以及指示与关联的位置的前一状态相比关联的事件的亮度的正变化或负变化的二进制状态)关联。
发明内容
根据一个实施例，一种设备包括：DVS，被构造为生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；采样单元，连接到DVS并被构造为对事件流进行采样；以及图像形成单元，连接到采样单元并被构造为针对事件流的每一个样本形成图像。
根据一个实施例，一种方法包括：通过DVS来生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；通过连接到DVS的采样单元来对事件流进行采样；通过连接到采样单元的图像形成单元，针对事件流的每一个样本形成图像。
根据一个实施例，一种设备包括：DVS，被构造为生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；采样单元，连接到DVS并被构造为对事件流进行采样；惯性测量单元(IMU)，位于与DVS相同的位置并被构造为测量DVS在x轴、y轴和z轴上的加速度，并且包括连接到采样单元的输出端；以及图像形成单元，连接到采样单元并被构造为针对事件流的每一个样本形成图像，其中，调整采样单元的采样方式来减少通过图像形成单元形成的图像之间的变化。
根据一个实施例，一种方法包括：通过DVS来生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；通过连接到DVS的采样单元来对事件流进行采样；通过位于与DVS相同位置的IMU，来确定DVS在x轴、y轴和z轴方向上的加速度；以及通过连接到采样单元的图像形成单元，针对事件流的每一个样本形成图像，其中，基于预定的采样条件来调整采样单元的采样方式。
根据一个实施例，一种设备包括：动态视觉传感器(DVS)，被构造为生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；采样单元，连接到DVS并被构造为对事件流进行采样；图像形成单元，连接到采样单元并被构造为从事件流的两个样本形成第一图像和第二图像；图像对齐单元，连接到图像形成单元并被构造为将第一图像和第二图像对齐；以及图像比较单元，包括连接到图像对齐单元的输入端和连接到采样单元的输出端，其中，基于通过图像比较单元进行的第一图像和第二图像的比较调整采样单元的采样方式，以减少图像之间的变化。
根据一个实施例，一种方法包括：通过动态视觉传感器(DVS)来生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；通过连接到DVS的采样单元来对事件流进行采样；通过连接到采样单元的图像形成单元，从事件流的两个样本形成第一图像和第二图像；通过连接到图像形成单元的图像对齐单元，将第一图像和第二图像对齐；以及通过连接到图像对齐单元和采样单元的图像比较单元，将第一图像和第二图像进行比较，其中，基于比较的结果调整采样单元的采样方式，以减少图像之间的变化。
附图说明
从下面结合附图的详细描述，本公开的特定实施例的上面的和其他的方面、特征和优点将更清楚，其中：
图1是根据本公开的实施例的用于减少从DVS事件形成的图像中的变化的设备的框图；
图2是根据本公开的实施例的用于从DVS事件形成图像的采样周期的图示；
图3是根据本公开的实施例的用于从DVS事件形成图像的相等的时间周期的相邻的样本的图示；
图4是根据本公开的实施例的用于从DVS事件形成图像的相等的时间周期的重叠的样本的图示；
图5是根据本公开的实施例的用于从DVS事件形成图像的相等的时间周期的不相邻的样本的图示；
图6是根据本公开的实施例的用于从DVS事件形成图像的事件的数量的样本的图示；
图7是根据本公开的实施例的用于从DVS事件形成图像的相等数量的事件的相邻的样本的图示；
图8是根据本公开的实施例的用于从DVS事件形成图像的相等数量的事件的重叠的样本的图示；
图9是根据本公开的实施例的用于从DVS事件形成图像的相等数量的事件的不相邻的样本的图示；
图10是根据本公开的实施例的基于用于从DVS事件形成图像的采样周期和事件的数量的组合的样本的图示；
图11是根据本公开的实施例的减少从DVS事件形成的图像中的变化的方法的流程图；
图12是根据本公开的实施例的通过DVS生成的第一图像、通过快速移动的DVS生成的第二图像以及DVS生成的包括新的对象的第三图像的图示；
图13是根据本公开的实施例的用于通过确定DVS的速度减少从DVS事件形成的图像中的变化的设备的框图；
图14是根据本公开的实施例的通过确定DVS的速度减少从DVS事件形成的图像中的变化的方法的流程图；
图15是根据本公开的实施例的用于通过比较从DVS事件形成的图像来减少形成的图像中的变化的设备的框图；
图16是根据本公开的实施例的通过比较从DVS事件形成的图像来减少形成的图像中的变化的方法的流程图。
具体实施方式
以下，参照附图对本公开的实施例进行详细描述。应注意，虽然相同的元件被示出在不同的图中，但它们将由相同的参考标号指示。在下面的描述中，具体细节(诸如，详细的配置和组件)仅被提供用于帮助全面理解本公开的实施例。因此，本领域的技术人员将清楚，在不脱离本公开的范围和精神的情况下，可对在此描述的实施例进行各种改变和修改。另外，为了清楚和简洁，省略公知的功能和结构的描述。下面描述的术语是考虑到本公开的功能而定义的术语，并且可根据用户、用户的意图或惯例而不同。因此，术语的定义应基于贯穿说明书的内容而确定。
本公开可具有各种修改和各种实施例，在本公开之中，以下参照附图详细描述实施例。然而，应理解，本公开不受限于实施例，而是包括在本公开的精神和范围内的各种修改、等同物以及替换物。
虽然包括序数的术语(诸如，第一、第二等)可被用于描述各种元件，但是结构元件不被这些术语限制。这些术语仅用于将一个元件与另一个元件进行区分。例如，在不脱离本公开的范围的情况下，第一结构元件可被称为第二结构元件。同样地，第二结构元件也可被称为第一结构元件。如在此使用的，术语“和/或”包括一个或多个相关项的任意组合和全部组合。
在此使用的术语仅用于描述本公开的各种实施例，但不意在限制本公开。除非上下文明确地另有指示，否则单数形式意在包括复数形式。在本公开中，应理解，术语“包括”或“具有”表示特征、数量、步骤、操作、结构元件、部件或它们的组合的存在，而不排除一个或多个其他特征、数量、步骤、操作、结构元件、部件或它们的组合的存在或添加的可能性。
除非不同地定义，否则在此使用的所有术语具有与本公开所属的领域的技术人员理解的含义相同的含义。术语(诸如在通用字典中定义的术语)将被解释为具有与相关领域中的上下文含义相同的含义，并且除非在本公开中明确定义，否则术语不被解释为具有理想的或过于正式的含义。
在本公开的实施例中，提供了DVS的事件采样的设备和方法。为了针对特定的任务(例如，视觉识别、即时定位与地图构建(SLAM)、模式识别、场景理解、用于基于姿势的用户装置交互(例如，电视(TV)、游戏)的姿势识别、用户识别(例如，针对TV、移动装置)和机器人学)使用DVS，必须将DVS流转换为反映在环境中的结构模式的图像。按照一种方式对DVS事件流(例如，事件流)进行采样来生成图像间的变化减少的图像。减少从事件流生成的图像中的变化有益于基于图像的任务。
通过DVS生成的事件流的采样可以基于预定的时间间隔、事件的预定数量或两者的组合。然而，因为运动表示对局部的变化、偏差和噪声敏感，所以如果DVS和/或对象在场景内的移动存在动态变化，则这样的采样方法可能无法很好地执行。另外，从事件流估计运动可能无法准确地表示DVS的移动。此外，将局部的运动转换成全局的DVS的移动在实践中是困难的。例如，与用于进行长期调整相比，两个相邻的图像可能更适用于进行短期调整。
本公开涉及对通过DVS产生的事件流进行采样来减少图像之间产生的变化并有益于基于图像的任务的设备和方法。
图1是根据本公开的实施例的用于减少从DVS事件形成的图像中的变化的设备的框图。
参照图1，设备100包括DVS 101、采样单元103和图像形成单元105。
DVS 101捕捉在场景内的像素亮度的变化(例如，事件)并输出事件流，其中，每一个事件具有一个状态。事件的状态包括事件在相机阵列内的位置和指示与关联的位置的前一状态比较关联的事件的亮度的正变化或负变化的二进制值。
采样单元103包括连接到DVS 101的输出端的、用于从DVS 101接收事件流的输入端和用于输出事件流的样本的输出端。采样单元103可基于时间周期、事件的数量或两者的组合对事件流进行采样。采样单元103包括用于将事件流的样本输出到图像形成单元105的输出端。
图像形成单元105包括连接到采样单元103的输出端的、用于接收事件流的样本的输入端。图像形成单元105从事件流的每一个样本形成图像并输出针对事件流的每一个样本的图像。通过图像形成单元105输出的图像可被用于需要图像的应用或应用单元(例如，视觉识别、即时定位与地图构建(SLAM)、模式识别、场景理解、用于基于姿势的用户装置交互(例如，电视(TV)、游戏)的姿势识别、用户识别(例如，针对TV、移动装置)和机器人学)。
DVS 101可移动。DVS 101移动越迅速，可捕捉越多的事件并且事件流中可包括越多的事件。事件流中包括越多的事件，事件流的样本中可包括越多的事件。事件流的样本中包括越多的事件，在从事件流的样本形成的图像之间可发生越多的变化。使用包括图像间更多变化的图像的应用或应用单元可经受性能的劣化。因此，需要减少从事件流的样本形成的图像中的变化的设备和方法。
图2是根据本公开的实施例的用于从DVS事件形成图像的采样时间周期的图示。采样周期可以是相邻的、重叠的或不相邻的(disjointed)。
参照图2，使用预定的时间周期对事件流进行采样。发生在预定的时间周期之内的所有事件被包括在事件流的一个样本中。然而，存在与用于对事件流进行采样的预定的时间周期相关联的一些问题。第一问题是何时DVS 101移动迅速。如果DVS 101移动迅速，则更多变化可在从事件流的样本形成的图像之间发生，这会降低使用图像的应用或应用单元的性能。第二问题是何时DVS 101移动缓慢或根本不移动。如果DVS 101移动缓慢或根本不移动，则可能不存在包括在事件流的样本中的用于形成适当的图像的足够数量的事件。
图3是根据本公开的实施例的用于从DVS事件形成图像的相等的时间周期的相邻的样本的图示。
图4是根据本公开的实施例的用于从DVS事件形成图像的相等的时间周期的重叠的样本的图示。
图5是根据本公开的实施例的用于从DVS事件形成图像的相等的时间周期的不相邻的样本的图示。
在本公开的实施例中，事件流可被采样为包括预定数量的事件。
图6是根据本公开的实施例的用于从DVS事件形成图像的事件的数量的样本的图示。预定数量的事件的样本可以是相邻的、重叠的或不相邻的。不管发生所述数量的事件耗费多少时间，事件流的每一个样本都包括预定数量的事件。
图7是根据本公开的实施例的用于从DVS事件形成图像的相等数量的事件的相邻的样本的图示。
图8是根据本公开的实施例的用于从DVS事件形成图像的相等数量的事件的重叠的样本的图示。
图9是根据本公开的实施例的用于从DVS事件形成图像的相等数量的事件的不相邻的样本的图示。
在本公开的实施例中，按照时间周期和事件的数量二者的组合来对事件流进行采样(例如，事件可以是在特定的时间周期之内发生的至少n个事件)。
图10是根据本公开的实施例的基于用于从DVS事件形成图像的采样周期和事件的数量的组合的样本的图示。
参照图10，仅当在预定的时间周期内事件流中存在至少预定数量的事件时，才对事件流进行采样。如果在预定的时间周期内不存在至少预定数量的事件，则在该时间周期期间不对事件流进行采样。基于样本中的事件的密度(例如，每个经过时间的事件的数量)，每个样本的事件的数量可被用于估计DVS 101的速度。可根据事件密度调整用于采样的时间周期，以减少从事件流的样本形成的图像中的变化。采样周期和事件的数量的组合的样本可以是相邻的、重叠的或不相邻的。
图11是根据本公开的实施例的减少从DVS事件形成的图像中的变化的方法的流程图。
参照图11，在1101中，通过DVS(例如，图1的DVS 101)生成事件流。
在1103中，通过采样单元(例如，图1的采样单元103)以一种方式对事件流进行采样。可使用预定的时间周期、事件的预定数量或两者的组合对事件流进行采样。可按照各种方式对时间周期和事件的数量进行组合(例如，预定的时间周期和事件的预定数量的最小值、事件的预定数量除以预定的时间周期等)来提供适应性并减少形成的图像之间的变化。样本可以是相邻的、重叠的或不相邻的。
在1105中，针对每一个样本生成图像。
图12是根据本公开的实施例的通过DVS生成的第一图像1201、通过快速移动的DVS生成的第二图像1203以及DVS生成的包括新的对象的第三图像1205的图示。
参照图12，第一图像1201可以是不会降低需要图像的应用或应用单元的性能的图像。第二图像1203示出基于包括DVS快速移动时捕捉的事件的事件流的样本而生成的图像，如图所示，看上去就像第一图像1201中的事件的图案的两个副本，这两个副本时间上紧密间隔并且具有与第一图像1201中的事件的图案相同的方向。由于第一图像1201与第二图像1203之间的变化的数量会降低使用第一图像1201和第二图像1203的应用和应用单元的性能，所以需要识别何时DVS快速移动并相应地调整采样方式以减少图像之间的变化的设备和方法。
另外，第三图像1205包括事件的两个图案，其中，事件的一个图案与第一图像1201的事件的图案相同，事件的另一个图案具有与第一图像1201的事件的图案不同的方向并且与所述事件的一个图案间隔很远。这可以指示第三图像1205包括不在第一图像1201中的边缘/对象。因此，因为与快速移动的DVS关联的事件可被用于调整采样方式，而与新的边缘/对象关联的事件不可被用于调整采样方式，所以需要在指示快速移动的DVS和在图像中引入新的边缘/对象的图像之间进行区别的设备和方法。
图13是根据本公开的实施例的用于通过确定DVS的速度减少从DVS事件形成的图像中的变化的设备1300的框图。
参照图13，设备1300包括DVS 1301、惯性测量单元(IMU)1303、采样单元1305以及图像形成单元1307。
DVS 1301捕捉在场景内的像素亮度的变化(例如，事件)并输出事件流，其中，每一个事件具有一个状态。事件的状态包括事件在相机阵列内的的位置和指示与关联的位置的前一状态相比的关联的事件的亮度的正变化或负变化的二进制值。
IMU 1303位于与DVS 1301相同的位置(例如，彼此相邻、彼此不相邻但在使得IMU和DVS以相同的速度移动的相同的装置上)，从而通过IMU 1303测量的x轴、y轴和z轴上的加速度表示DVS 1301的x轴、y轴和z轴上的加速度。IMU 1303包括用于输出表示DVS 1301的x轴、y轴和z轴上的加速度的输出端。
采样单元1305包括连接到DVS 1301的输出端的用于从DVS 1301接收事件流的第一输入端、连接到IMU 1303的输出端的用于接收表示DVS 1301的x轴、y轴和z轴上的加速度的第二输入端以及用于输出事件流的样本的输出端。采样单元1305可基于时间周期、事件的数量或两者的组合来对事件流进行采样，其中，根据IMU 1303的输出来调整采样单元1305的采样方式。采样单元1305包括用于输出事件流的样本的输出端。
图像形成单元1307包括连接到采样单元1305的输出端的用于接收事件流的样本的输入端。图像形成单元1307从事件流的每一个样本形成图像并输出针对事件流的每一个样本的图像。通过图像形成单元1307输出的图像可用于需要图像的应用或应用单元(例如，视觉识别、SLAM、模式识别、场景理解、用于基于姿势的用户装置交互的姿势识别(例如，电视(TV)、游戏)、用户识别(例如，针对TV、移动装置)和机器人学)。
图14是根据本公开的实施例的通过确定DVS的速度减少从DVS事件形成的图像中的变化的方法的流程图。
参照图14，在1401中，通过DVS(例如，图13的DVS 1301)生成事件流。
在1403中，通过采样单元(例如，图13的采样单元1305)以一种方式对事件流进行采样。可使用预定的时间周期、事件的预定数量或两者的组合对事件流进行采样。样本可以是相邻的、重叠的或不相邻的。
在1405中，针对每一个样本生成图像。
在1407中，通过惯性测量单元确定DVS的速度。
在1409中，根据DVS的速度调整采样的方式来减少图像之间的变化。可在时间上接近或在时间上远离的时间确定DVS的速度。时间上接近而确定的DVS的速度可被用于提供短期的鲁棒性，而时间上远离而确定的DVS的速度可被用于提供长期的鲁棒性。
图15是根据本公开的实施例的用于通过比较从DVS事件形成的图像来减少形成的图像中的变化的设备1500的框图。
参照图15，设备1500包括DVS 1501、采样单元1503、图像形成单元1505、图像对齐单元1507以及图像比较单元1509。
DVS 1501捕捉在场景内的像素亮度的变化(例如，事件)并输出事件流，其中，每一个事件具有一个状态。事件的状态包括事件在相机阵列内的位置和指示与关联的位置的前一状态相比关联的事件的亮度的正变化或负变化的二进制值。
采样单元1503包括连接到DVS 1501的输出端的用于从DVS 1501接收事件流的第一输入端、用于调整采样单元1503的采样方式的第二输入端以及用于输出事件流的样本的输出端。采样单元1503可基于时间周期、事件的数量或两者的组合来对事件流进行采样。采样单元1503包括用于输出事件流的样本的输出端。因为在对采样方式进行调整之前可能需要至少两个图像，所以针对前两个样本，采样方式可以是相同的。之后，针对下一个样本，采样方式可以不同。
图像形成单元1505包括连接到采样单元1503的输出端的用于接收事件流的样本的输入端。图像形成单元1505从事件流的每一个样本形成图像并输出针对事件流的每一个样本的图像。因为在对采样的方式进行调整之前可能需要至少两个图像，所以基于相同的采样方式形成针对前两个样本而形成的图像。此后，可基于与前一采样方式不同的采样方式形成每个后续的图像。通过图像形成单元1505输出的图像可用于需要图像的应用或应用单元(例如，视觉识别、即时定位与地图构建(SLAM)、模式识别、场景理解、用于基于姿势的用户装置交互(例如，电视(TV)、游戏)的姿势识别、用户识别(例如，针对TV、移动装置)和机器人学)。
图像对齐单元1507包括连接到图像形成单元1505的输出端的输入端和用于输出为了比较的目的而对齐或登记的通过图像形成单元1505形成的两个图像(例如，第一图像和第二图像)的输出端。这两个图像可以是通过图像形成单元1505产生的相邻的图像或者可以是通过图像形成单元1505生成的时间上不相邻的图像，其中，相邻的图像提供短期的鲁棒性，不相邻的图像提供长期的鲁棒性。
图像比较单元1509包括连接到图像对齐单元1507的输出端的输入端和连接到采样单元1503的第二输入端的输出端。图像比较单元1509将通过图像对齐单元1507输出的两个图像进行比较并确定这两个图像中的事件是否匹配(例如，共享相同的位置)。匹配的事件被称为参考事件，并确定匹配的事件的数量R。
针对第一图像，图像比较单元1509确定在参考事件的预定邻域内的第一图像中的事件的数量N1。然后，针对第二图像，图像比较单元1509确定在参考事件的预定邻域内的第二图像中的事件的数量N2。
随后，图像比较单元1509计算(R+N1)/(R+N2)。如果(R+N1)/(R+N2)大于预定阈值T或小于1/T，则图像比较单元1509向采样单元1503输出信号来相应地调整采样方式。即，如果(R+N1)/(R+N2)>T，则指示在第一图像中参考事件的邻域内的事件比第二图像中参考事件的邻域内的事件多(即，邻近的事件的数量减少，这指示DVS的速度减小)以及采样方式可被减小(例如，减小采样周期、减小样本中的事件的预定数量或减小采样周期和事件的数量的组合)。如果(R+N1)/(R+N2)<1/T，则指示在第二图像中参考事件的邻域内的事件比第一图像中参考事件的邻域内的事件多(即，邻近的事件的数量增加，这指示DVS的速度增加)以及采样方式可被增加(例如，增加采样周期、增加样本中的事件的预定数量或增加采样周期和事件的数量组合)。注意，由于图像中的新的边界/对象而产生的事件不被用于确定采样的方式的调整，这是因为它们不会出现在参考事件的预定邻域内。如果1/T<(R+N1)/(R+N2)<T，则图像比较单元1509不向采样单元1503输出信号来相应地调整采样方式(即，保持当前的采样的方式)。
图16是根据本公开的实施例的通过比较从DVS事件形成的图像来减少形成的图像中的变化的方法的流程图。
参照图16，在1601中，通过DVS(例如，图15的DVS 1501)生成事件流。
在1603中，通过采样单元(例如，图15的采样单元1503)以一种方式对事件流进行第一次采样。可使用预定的时间周期、事件的预定数量或两者的组合对事件流进行采样。样本可以是相邻的、重叠的或不相邻的。
在1605中，通过图像形成单元(例如，图15的图像形成单元1505)针对第一样本生成第一图像。
在1607中，通过采样单元以一种方式对事件流进行第二次采样。如果第二样本恰好在第一样本之后发生，则采样的方式与针对第一样本的采样的方式相同。之后，采样的方式可与前一采样的方式不同。可使用预定的时间周期、事件的预定数量或两者的组合对事件流进行采样。样本可以是相邻的、重叠的或不相邻的。
在1609中，通过图像形成单元针对第二样本生成第二图像。
在1611中，通过图像对齐单元(例如，图15的图像对齐单元1507)对第一图像和第二图像进行对齐或登记。这两个图像可以是通过图像形成单元产生的相邻的图像或者可以是通过图像形成单元生成的时间上不相邻的图像，其中，相邻的图像可提供短期的鲁棒性，不相邻的图像可提供长期的鲁棒性。
在1613中，通过图像比较单元(例如，图15的图像比较单元1509)将第一图像和第二图像进行比较来确定这两个图像中的事件是否匹配(例如，共享相同的位置)，如果这两个图像中的事件匹配，则确定匹配的事件的数量R。匹配的事件被称为参考事件。
在1615中，图像比较单元针对第一图像确定在参考事件的预定邻域内的与第二图像中的事件不匹配的第一图像中的事件的数量N1。
在1617中，图像比较单元针对第二图像确定在参考事件的预定邻域内的与第一图像中的事件不匹配的第二图像中的事件的数量N2。
在1619中，图像比较单元计算(R+N1)/(R+N2)。
在1621中，如果(R+N1)/(R+N2)大于预定阈值T或小于1/T，则图像比较单元向采样单元输出信号来相应地调整采样方式。即，如果(R+N1)/(R+N2)>T，则指示在第一图像中参考事件的邻域内的事件比第二图像中参考事件的邻域内的事件多(即，邻近的事件的数量减少，这指示DVS的速度减小)以及采样方式可被减小(例如，减小采样周期、减小样本中的事件的预定数量或减小采样周期和事件的数量的组合)。如果(R+N1)/(R+N2)<1/T，则指示在第二图像中参考事件的邻域内的事件比第一图像中参考事件的邻域内的事件多(即，邻近的事件的数量增加，这指示DVS的速度增加)以及采样方式可被增加(例如，增加采样周期、增加样本中的事件的预定数量或增加采样周期和事件的数量组合)。注意，由于图像中的新的边界/对象而产生的事件不被用于确定采样的方式的调整，这是因为它们不会出现在参考事件的预定邻域内。
在1623中，如果1/T<(R+N1)/(R+N2)<T，则图像比较单元保持采样单元的采样方式。
虽然在本公开的具体实施方式中已经描述了本公开的特定实施例，但是可在不脱离本公开的范围的情况下对本公开进行各种形式的修改。因此，本公开的范围不应仅基于描述的实施例来确定，而是基于权利要求及其等同物来确定。

Claims (20)

1.一种用于动态视觉传感器的事件采样的设备，包括：
动态视觉传感器(DVS)，被构造为生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；
采样单元，连接到DVS并被构造为对事件流进行采样；以及
图像形成单元，连接到采样单元并被构造为针对事件流的每一个样本形成图像。
2.根据权利要求1所述的设备，其中，采样的方式是以下各项中的一项：预定的时间周期、事件的预定数量或两者的组合。
3.根据权利要求2所述的设备，其中，预定的时间周期、事件的预定数量或两者的组合均为相邻的、重叠的或不相邻的。
4.一种动态视觉传感器的事件采样的方法，包括：
通过动态视觉传感器(DVS)来生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；
通过连接到DVS的采样单元来对事件流进行采样；
通过连接到采样单元的图像形成单元，针对事件流的每一个样本形成图像。
5.根据权利要求4所述的方法，其中，采样的方式是以下各项中的一项：预定的时间周期、事件的预定数量或两者的组合。
6.根据权利要求5所述的方法，其中，预定的时间周期、事件的预定数量或两者的组合均为相邻的、重叠的或不相邻的。
7.一种用于动态视觉传感器的事件采样的设备，包括：
动态视觉传感器(DVS)，被构造为生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；
采样单元，连接到DVS并被构造为对事件流进行采样；
惯性测量单元(IMU)，位于与DVS相同的位置并被构造为测量DVS在x轴、y轴和z轴上的加速度，并且包括连接到采样单元的输出端；以及
图像形成单元，连接到采样单元并被构造为针对事件流的每一个样本形成图像，其中，调整采样单元的采样的方式来减少通过图像形成单元形成的图像之间的变化。
8.根据权利要求7所述的设备，其中，采样的方式是预定的时间周期、事件的预定数量或两者的组合中的一个，其中，预定的时间周期、事件的预定数量或两者的组合均为相邻的、重叠的或不相邻的。
9.根据权利要求7所述的设备，其中，如果通过图像形成单元形成的图像之间的变化的数量增加，则减小采样的方式，如果通过图像形成单元形成的图像之间的变化的数量减小，则增加采样的方式。
10.一种动态视觉传感器的事件采样的方法，包括：
通过动态视觉传感器(DVS)来生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；
通过连接到DVS的采样单元来对事件流进行采样；
通过位于与DVS相同位置的惯性测量单元(IMU)，来确定DVS在x轴、y轴和z轴方向上的加速度；以及
通过连接到采样单元的图像形成单元，针对事件流的每一个样本形成图像，其中，基于预定的采样条件来调整采样单元的采样的方式。
11.根据权利要求10所述的方法，其中，采样的方式是预定的时间周期、事件的预定数量或两者的组合中的一个，其中，预定的时间周期、时间的预定数量或两者的组合均为相邻的、重叠的或不相邻的。
12.根据权利要求10所述的方法，还包括：如果通过图像形成单元形成的图像之间的变化的数量增加，则减小采样的方式，如果通过图像形成单元形成的图像之间的变化的数量减小，则增加采样的方式。
13.一种用于动态视觉传感器的事件采样的设备，包括：
动态视觉传感器(DVS)，被构造为生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；
采样单元，连接到DVS并被构造为对事件流进行采样；
图像形成单元，连接到采样单元并被构造为从事件流的两个样本形成第一图像和第二图像；
图像对齐单元，连接到图像形成单元并被构造为将第一图像和第二图像对齐；以及
图像比较单元，包括连接到图像对齐单元的输入端和连接到采样单元的输出端，其中，基于通过图像比较单元进行的第一图像和第二图像的比较来调整采样单元的采样的方式，以减少图像之间的变化。
14.根据权利要求13所述的设备，其中，采样的方式是以下各项中的一项：预定的时间周期、事件的预定数量或两者的组合。
15.根据权利要求14所述的设备，其中，预定的时间周期、事件的预定数量或两者的组合均为相邻的、重叠的或不相邻的。
16.根据权利要求13所述的设备，其中，图像比较单元被构造为：
将第一图像和第二图像进行比较；
确定第一图像中的事件是否与第二图像中的事件匹配，如果匹配，则确定匹配的事件的数量R；
针对第一图像，确定在匹配的事件的预定邻域之内的第一图像的事件的数量N1；
针对第二图像，确定在匹配的事件的预定邻域之内的第二图像的事件的数量N2；
计算(R+N1)/(R+N2)；以及
如果(R+N1)/(R+N2)大于预定的阈值T或小于1/T，则向采样单元输出信号来调整采样的方式，否则保持采样的方式。
17.根据权利要求13所述的设备，还包括：应用单元，被构造为将通过图像形成单元形成的图像用于视觉识别、即时定位与地图构建(SLAM)、姿势识别、模式识别、场景理解、用户识别和机器人学中的至少一个。
18.一种动态视觉传感器的事件采样的方法，包括：
通过动态视觉传感器(DVS)来生成事件流，其中，事件包括位置和指示亮度的正变化或负变化的二进制值；
通过连接到DVS的采样单元对事件流进行采样；
通过连接到采样单元的图像形成单元，从事件流的两个样本形成第一图像和第二图像；
通过连接到图像形成单元的图像对齐单元，将第一图像和第二图像对齐；以及
通过连接到图像对齐单元和采样单元的图像比较单元，将第一图像和第二图像进行比较，其中，基于比较的结果调整采样单元的采样的方式，以减少图像之间的变化。
19.根据权利要求18所述的方法，其中，采样的方式是预定的时间周期、事件的预定数量或两者的组合中的一个，其中，预定的时间周期、事件的预定数量或两者的组合均为相邻的、重叠的或不相邻的。
20.根据权利要求18所述的方法，还包括，图像比较单元被构造为：
将第一图像和第二图像进行比较；
确定第一图像中的事件是否与第二图像中的事件匹配，如果匹配，确定匹配的事件的数量R；
针对第一图像，确定在匹配的事件的预定邻域之内的第一图像的事件的数量N1；
针对第二图像，确定在匹配的事件的预定邻域之内的第二图像的事件的数量N2；
计算(R+N1)/(R+N2)；以及
如果(R+N1)/(R+N2)大于预定的阈值T或小于1/T，则向采样单元输出信号来调整采样的方式，否则保持采样的方式。
CN201710056416.9A 2016-01-27 2017-01-25 关于图像形成的动态视觉传感器的事件采样的方法和设备 Expired - Fee Related CN107018357B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662287706P 2016-01-27 2016-01-27
US62/287,706 2016-01-27
US15/076,203 US10198660B2 (en) 2016-01-27 2016-03-21 Method and apparatus for event sampling of dynamic vision sensor on image formation
US15/076,203 2016-03-21

Publications (2)

Publication Number Publication Date
CN107018357A true CN107018357A (zh) 2017-08-04
CN107018357B CN107018357B (zh) 2020-07-14

Family

ID=59360524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710056416.9A Expired - Fee Related CN107018357B (zh) 2016-01-27 2017-01-25 关于图像形成的动态视觉传感器的事件采样的方法和设备

Country Status (3)

Country Link
US (1) US10198660B2 (zh)
KR (1) KR20170090347A (zh)
CN (1) CN107018357B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109039980A (zh) * 2018-07-12 2018-12-18 北京大学 一种时空脉冲阵列信号进行量化的方法
WO2019218388A1 (zh) * 2018-05-15 2019-11-21 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备
CN110536050A (zh) * 2018-05-24 2019-12-03 三星电子株式会社 动态视觉传感器、电子设备及其数据传输方法
CN111866398A (zh) * 2019-04-25 2020-10-30 丰田自动车株式会社 事件相机
WO2020252806A1 (zh) * 2019-06-21 2020-12-24 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备
CN112153301A (zh) * 2020-09-27 2020-12-29 维沃移动通信有限公司 拍摄方法和电子设备
CN113155032A (zh) * 2020-12-16 2021-07-23 重庆邮电大学 一种基于动态视觉传感器dvs的建筑物结构位移测量方法
CN113660455A (zh) * 2021-07-08 2021-11-16 深圳宇晰科技有限公司 一种基于dvs数据的跌倒检测方法、系统、终端

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3451288A1 (en) * 2017-09-04 2019-03-06 Universität Zürich Visual-inertial odometry with an event camera
US10257456B2 (en) * 2017-09-07 2019-04-09 Samsung Electronics Co., Ltd. Hardware friendly virtual frame buffer
US10839547B2 (en) * 2017-09-28 2020-11-17 Samsung Electronics Co., Ltd. Camera pose determination and tracking
KR102373261B1 (ko) 2017-09-28 2022-03-10 애플 인크. 이벤트 카메라 데이터 프로세싱을 위한 시스템 및 방법
US10529074B2 (en) 2017-09-28 2020-01-07 Samsung Electronics Co., Ltd. Camera pose and plane estimation using active markers and a dynamic vision sensor
EP3506622A1 (en) 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
US11202006B2 (en) * 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
KR102539947B1 (ko) * 2018-07-03 2023-06-07 삼성전자주식회사 사용자를 인식하는 전자 장치 및 그 전자 장치를 제어하는 방법
US10795435B2 (en) 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
US11818475B2 (en) * 2018-09-28 2023-11-14 Sony Corporation Data processing device, data processing method, and program
KR102444360B1 (ko) * 2018-12-28 2022-09-15 주식회사 미래오토스 비전 센서를 갖는 차량 정보 장치
KR102238760B1 (ko) * 2018-12-28 2021-05-06 에이치엔티 일렉트로닉스(주) 비전 센서를 갖는 차량 정보 장치
EP3693698A1 (de) * 2019-02-05 2020-08-12 Leica Geosystems AG Vermessungsgerät mit ereignisbasierter kamera
CN109922372B (zh) * 2019-02-26 2021-10-12 深圳市商汤科技有限公司 视频数据处理方法及装置、电子设备和存储介质
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
US11871156B2 (en) 2020-04-02 2024-01-09 Samsung Electronics Co., Ltd. Dynamic vision filtering for event detection
CN112200757A (zh) * 2020-09-29 2021-01-08 北京灵汐科技有限公司 图像处理方法、装置、计算机设备及存储介质
KR20220076944A (ko) * 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
US11430828B2 (en) * 2020-12-17 2022-08-30 Omnivision Technologies, Inc. Event driven pixel for spatial information extraction
EP4060983A1 (en) * 2021-01-22 2022-09-21 Toyota Jidosha Kabushiki Kaisha A method for accumulating events using an event-based vision sensor and overlapping time windows
JP2024513298A (ja) * 2021-03-29 2024-03-25 ハーマン インターナショナル インダストリーズ インコーポレイテッド Ｄｖｓフレームを生成する方法及びシステム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070122001A1 (en) * 2005-11-30 2007-05-31 Microsoft Corporation Real-time Bayesian 3D pose tracking
US20100079340A1 (en) * 2008-09-29 2010-04-01 Astrium Gmbh Method and device method for detecting frequency jumps of a navigation satellite's master clock
US20100182468A1 (en) * 2006-11-23 2010-07-22 Austrian Research Centers Gmbh-Arc Method for the generation of an image in electronic form, picture element (pixel) for an image sensor for the generation of an image as well as image sensor
CN103533263A (zh) * 2012-07-03 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
US20140050360A1 (en) * 2010-05-06 2014-02-20 Aptina Imaging Corporation Systems and methods for presence detection
CN103813156A (zh) * 2012-11-02 2014-05-21 三星电子株式会社 运动传感器阵列装置和深度感测系统及使用其的方法
CN103858075A (zh) * 2011-10-14 2014-06-11 三星电子株式会社 利用基于事件的视觉传感器识别动作的设备和方法
US20140354537A1 (en) * 2013-05-29 2014-12-04 Samsung Electronics Co., Ltd. Apparatus and method for processing user input using motion of object
CN104346427A (zh) * 2013-07-29 2015-02-11 三星电子株式会社 用于分析包括事件信息的图像的设备和方法
EP2887009A1 (en) * 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
CN104766342A (zh) * 2015-03-30 2015-07-08 天津师范大学 基于时域视觉传感器的运动目标跟踪系统及测速方法
US20150302710A1 (en) * 2014-04-17 2015-10-22 Samsung Electronics Co., Ltd. Dynamic vision sensors and motion recognition devices including the same

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6667769B2 (en) 2001-12-10 2003-12-23 Motorola, Inc. Time integrating pixel sensor
EP2093996A1 (fr) 2008-02-22 2009-08-26 CSEM Centre Suisse d'Electronique et de Microtechnique SA Recherche et Développement Capteur de vision pour la mésure d'invariants tels les contrastes et méthode pour effecture une telle mésure
US9631974B2 (en) 2011-12-19 2017-04-25 Universität Zürich Photoarray, particularly for combining sampled brightness sensing with asynchronous detection of time-dependent image data
KR102022970B1 (ko) 2013-04-30 2019-11-04 삼성전자주식회사 시각 센서에 기반하여 공간 정보를 감지하는 장치 및 방법
US10147024B2 (en) * 2014-09-16 2018-12-04 Qualcomm Incorporated Interfacing an event based system with a frame based processing system
US9846677B2 (en) * 2014-09-16 2017-12-19 Qualcomm Incorporated Event-based spatial transformation
US20160093273A1 (en) * 2014-09-30 2016-03-31 Samsung Electronics Co., Ltd. Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070122001A1 (en) * 2005-11-30 2007-05-31 Microsoft Corporation Real-time Bayesian 3D pose tracking
US20100182468A1 (en) * 2006-11-23 2010-07-22 Austrian Research Centers Gmbh-Arc Method for the generation of an image in electronic form, picture element (pixel) for an image sensor for the generation of an image as well as image sensor
US20100079340A1 (en) * 2008-09-29 2010-04-01 Astrium Gmbh Method and device method for detecting frequency jumps of a navigation satellite's master clock
US20140050360A1 (en) * 2010-05-06 2014-02-20 Aptina Imaging Corporation Systems and methods for presence detection
CN103858075A (zh) * 2011-10-14 2014-06-11 三星电子株式会社 利用基于事件的视觉传感器识别动作的设备和方法
CN103533263A (zh) * 2012-07-03 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN103813156A (zh) * 2012-11-02 2014-05-21 三星电子株式会社 运动传感器阵列装置和深度感测系统及使用其的方法
US20140354537A1 (en) * 2013-05-29 2014-12-04 Samsung Electronics Co., Ltd. Apparatus and method for processing user input using motion of object
CN104346427A (zh) * 2013-07-29 2015-02-11 三星电子株式会社 用于分析包括事件信息的图像的设备和方法
EP2887009A1 (en) * 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
US20150302710A1 (en) * 2014-04-17 2015-10-22 Samsung Electronics Co., Ltd. Dynamic vision sensors and motion recognition devices including the same
CN104766342A (zh) * 2015-03-30 2015-07-08 天津师范大学 基于时域视觉传感器的运动目标跟踪系统及测速方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTOPH POSCH,ET AL.: "A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS", 《IEEE JOURNAL OF SOLID-STATE CIRCUITS》 *
PATRICK LICHTSTEINER ,ET AL.: "A 128×128 120 dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor", 《IEEE JOURNAL OF SOLID-STATE CIRCUITS》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019218388A1 (zh) * 2018-05-15 2019-11-21 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备
US11508069B2 (en) 2018-05-15 2022-11-22 Celepixel Technology Co. Ltd Method for processing event data flow and computing device
CN110536050A (zh) * 2018-05-24 2019-12-03 三星电子株式会社 动态视觉传感器、电子设备及其数据传输方法
CN110536050B (zh) * 2018-05-24 2022-04-12 三星电子株式会社 动态视觉传感器、电子设备及其数据传输方法
CN109039980A (zh) * 2018-07-12 2018-12-18 北京大学 一种时空脉冲阵列信号进行量化的方法
CN109039980B (zh) * 2018-07-12 2020-09-25 北京大学 一种时空脉冲阵列信号进行量化的方法
CN111866398A (zh) * 2019-04-25 2020-10-30 丰田自动车株式会社 事件相机
WO2020252806A1 (zh) * 2019-06-21 2020-12-24 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备
CN112153301A (zh) * 2020-09-27 2020-12-29 维沃移动通信有限公司 拍摄方法和电子设备
CN112153301B (zh) * 2020-09-27 2021-07-27 维沃移动通信有限公司 拍摄方法和电子设备
CN113155032A (zh) * 2020-12-16 2021-07-23 重庆邮电大学 一种基于动态视觉传感器dvs的建筑物结构位移测量方法
CN113660455A (zh) * 2021-07-08 2021-11-16 深圳宇晰科技有限公司 一种基于dvs数据的跌倒检测方法、系统、终端

Also Published As

Publication number Publication date
US20170213105A1 (en) 2017-07-27
CN107018357B (zh) 2020-07-14
KR20170090347A (ko) 2017-08-07
US10198660B2 (en) 2019-02-05

Similar Documents

Publication Publication Date Title
CN107018357A (zh) 关于图像形成的动态视觉传感器的事件采样的方法和设备
US10755425B2 (en) Automatic tuning of image signal processors using reference images in image processing environments
US9095977B2 (en) Object gripping apparatus, control method for object gripping apparatus, and storage medium
JP7268076B2 (ja) 車両再識別の方法、装置、機器及び記憶媒体
KR20190062171A (ko) 자율 머신에서의 오작동 센서의 딥 러닝 기반의 실시간 검출 및 수정
CN110084299B (zh) 基于多头融合注意力的目标检测方法和装置
CN103345644B (zh) 在线训练的目标检测方法及装置
CN103339655B (zh) 图像捕捉装置、图像捕捉方法及计算机程序产品
US10218913B2 (en) HDR/WDR image time stamps for sensor fusion
CN110796640A (zh) 一种小目标缺陷的检测方法、装置、电子设备及存储介质
CN110555838A (zh) 基于图像的零件故障检测方法及装置
CN110033481A (zh) 用于进行图像处理的方法和设备
CN109313805A (zh) 图像处理装置、图像处理系统、图像处理方法和程序
CN105989608A (zh) 一种面向智能机器人的视觉捕捉方法及装置
US10733739B2 (en) Method and system for displaying target image based on robot
JP2020071875A (ja) 画像認識に用いる深層学習モデル及び該モデルの訓練装置と方法
KR20190051175A (ko) 지능형 협업 서버, 시스템 및 이의 협업 기반 분석 방법
CN111738036A (zh) 图像处理方法、装置、设备及存储介质
CN110490115A (zh) 人脸检测模型的训练方法、装置、电子设备及存储介质
CN105049706A (zh) 一种图像处理方法及终端
CN112809668A (zh) 一种机械臂自动手眼标定的方法及系统、终端
CN112385208B (zh) 图像识别装置以及图像识别方法
KR102557572B1 (ko) 인공 신경망 장치 및 그 동작 방법
Dyrstad et al. Bin picking of reflective steel parts using a dual-resolution convolutional neural network trained in a simulated environment
CN104618698A (zh) 一种终端操控方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200714

Termination date: 20220125

CF01 Termination of patent right due to non-payment of annual fee