JP2017530467A5 - - Google Patents

Download PDF

Info

Publication number
JP2017530467A5
JP2017530467A5 JP2017514427A JP2017514427A JP2017530467A5 JP 2017530467 A5 JP2017530467 A5 JP 2017530467A5 JP 2017514427 A JP2017514427 A JP 2017514427A JP 2017514427 A JP2017514427 A JP 2017514427A JP 2017530467 A5 JP2017530467 A5 JP 2017530467A5
Authority
JP
Japan
Prior art keywords
events
event
frame
processing system
aggregating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017514427A
Other languages
English (en)
Other versions
JP6602851B2 (ja
JP2017530467A (ja
Filing date
Publication date
Priority claimed from US14/622,736 external-priority patent/US10147024B2/en
Application filed filed Critical
Publication of JP2017530467A publication Critical patent/JP2017530467A/ja
Publication of JP2017530467A5 publication Critical patent/JP2017530467A5/ja
Application granted granted Critical
Publication of JP6602851B2 publication Critical patent/JP6602851B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

[0038]追加的または代替的に、一構成では、事象ベースのオブジェクト検出システムの出力とインターフェースへの入力との間にフィルタが定義され得る。フィルタは、重要ではない特定のエリアからの事象、増加したノイズ量を生成するエリアからの事象、および/または他の条件を満たす事象などの特定の事象をフィルタリング(すなわち、ドロップ)するように指定され得る。一構成では、下流処理ブロック(downstream processing block)は、特定の領域からの事象の数がしきい値を超えたことを決定する。したがって、特定の領域からの後続の事象をドロップするための事象のフィルタリングは、下流処理ブロックによって指定され得る。この領域は、事象を生成する空間エリアおよび/または事象を生成する特定の車両などの特定の事象ジェネレータを参照し得る。
[0040]たとえば、特定のエリアがしきい値を超える事象を生成した可能性がある。したがって、システムはすでに特定の数の事象を受信しているため、システムはもはや特定の地域から追加の事象を受信することを望んでいない可能性がある。したがって、特定の領域からの事象をフィルタリングするためにフィルタが指定され得る。別の例として、フレームベースの分類器などの下流処理ブロックは、1つまたは複数の特定の領域からの事象のみを分類することを望む場合がある。したがって、フィルタは、所望の領域とは異なるすべてまたは一部の事象をフィルタリングし得る。

Claims (23)

  1. 事象ベースの処理システムとフレームベースの処理システムとをインターフェースする方法であって、
    事象センサから生成された事象ストリームを受信するフィルタにおいて、前記事象センサのピクセルに対応するセンサアレイ中の事象の空間領域、前記事象ストリームの別の事象のタイミングに関連する前記事象のタイミング、またはそれらの組合せのうちの少なくとも1つに基づいて、前記事象ストリームから前記事象を取り除くことと、
    前記フィルタから出力された前記事象ストリームから受信された複数の事象を集約することと、
    前記集約された複数の事象を、前記集約された複数の事象によって表される物理オブジェクトを分類する前記フレームベースの処理システムと互換性があるフレームに変換することと、
    前記フレームを、前記フレームから抽出された特徴に基づく前記物理オブジェクトの分類のための前記フレームベースの処理システムに入力することと、前記特徴が、前記集約された複数の事象に対応する、
    を備える、方法。
  2. 前記複数の事象を集約することが、特定の時間期間にわたって前記複数の事象を集約することを備える、請求項1に記載の方法。
  3. 記複数の事象を前記フレームに変換することの所望の結果、処理負荷、またはそれらの組合せに少なくとも部分的に基づいて前記特定の時間期間を動的に変更することをさらに備える、請求項2に記載の方法。
  4. 前記複数の事象を集約することが、前記複数の事象のうちの特定の数の事象集約することを備える、請求項1に記載の方法。
  5. 記複数の事象を前記フレームに変換することの所望の結果、処理負荷、またはそれらの組合せに少なくとも部分的に基づいて前記特定の数の事象を動的に変更することをさらに備える、請求項4に記載の方法。
  6. 特定の時間期間にわたって事象を集約することによって前記複数の事象を前記フレームに変換するための第1のインターフェースと、特定の数の事象を集約することによって前記複数の事象を前記フレームに変換するための第2のインターフェースとの間で動的に切り替えることをさらに備える、請求項1に記載の方法。
  7. 前記複数の事象のうちの少なくとも1つの事象が、輝度が特定の場所で変化したことの視覚センサからの表示である、請求項1に記載の方法。
  8. 事象ベースの処理システムとフレームベースの処理システムとをインターフェースするための装置であって、
    メモリユニットと、
    前記メモリユニットに結合された少なくとも1つのプロセッサと
    を備え、前記少なくとも1つのプロセッサが、
    事象センサから生成された事象ストリームを受信するフィルタにおいて、前記事象センサのピクセルに対応するセンサアレイ中の事象の空間領域、前記事象ストリームの別の事象のタイミングに関連する前記事象のタイミング、またはそれらの組合せのうちの少なくとも1つに基づいて、前記事象ストリームから前記事象を取り除くことと、
    前記フィルタから出力された前記事象ストリームから受信された複数の事象を集約することと、
    前記集約された複数の事象を、前記集約された複数の事象によって表される物理オブジェクトを分類する前記フレームベースの処理システムと互換性があるフレームに変換することと、
    前記フレームを、前記フレームから抽出された特徴に基づく前記物理オブジェクトの分類のための前記フレームベースの処理システムに入力することと、前記特徴が、前記集約された複数の事象に対応する、
    を行うように構成される、装置。
  9. 前記少なくとも1つのプロセッサが、特定の時間期間にわたって前記複数の事象を集約するようにさらに構成される、請求項8に記載の装置。
  10. 前記特定の時間期間が、前記複数の事象を前記フレームに変換することの所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項9に記載の装置。
  11. 前記少なくとも1つのプロセッサが、前記複数の事象のうちの特定の数の事象集約するようにさらに構成される、請求項8に記載の装置。
  12. 前記特定の数の事象が、前記複数の事象を前記フレームに変換することの所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項11に記載の装置。
  13. 前記少なくとも1つのプロセッサが、特定の時間期間にわたって事象を集約することによって前記複数の事象を前記フレームに変換するための第1のインターフェースと、特定の数の事象を集約することによって前記複数の事象を前記フレームに変換するための第2のインターフェースとの間で動的に切り替えるようにさらに構成される、請求項8に記載の装置。
  14. 前記複数の事象のうちの少なくとも1つの事象が、輝度が特定の場所で変化したことの視覚センサからの表示である、請求項8に記載の装置。
  15. 事象ベースの処理システムとフレームベースの処理システムとをインターフェースするための装置であって、
    事象センサのピクセルに対応するセンサアレイ中の事象の空間領域、事象ストリームの別の事象のタイミングに関連する前記事象のタイミング、またはそれらの組合せのうちの少なくとも1つに基づいて、前記事象センサによって生成された前記事象ストリームから前記事象をフィルタリングするための手段と、
    前記フィルタリングするための手段から出力された前記事象ストリームから受信された複数の事象を集約するための手段と、
    前記集約された複数の事象を、前記集約された複数の事象によって表される物理オブジェクトを分類する前記フレームベースの処理システムと互換性があるフレームに変換するための手段と、
    前記フレームを、前記フレームから抽出された特徴に基づく前記物理オブジェクトの分類のための前記フレームベースの処理システムに入力するための手段と、前記特徴が、前記集約された複数の事象に対応する、
    を備える、装置。
  16. 前記複数の事象を前記集約するための手段が、特定の時間期間にわたって前記複数の事象を集約するための手段を備える、請求項15に記載の装置。
  17. 前記特定の時間期間が、前記複数の事象を前記フレームに変換することの所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項16に記載の装置。
  18. 前記複数の事象を前記集約するための手段が、前記複数の事象のうちの特定の数の事象を集約するための手段を備える、請求項15に記載の装置。
  19. 前記特定の数の事象が、前記複数の事象を前記フレームに変換することの所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項18に記載の装置。
  20. 特定の時間期間にわたって事象を集約することによって前記複数の事象を前記フレームに変換するための第1のインターフェースと、特定の数の事象を集約することによって前記複数の事象を前記フレームに変換するための第2のインターフェースとの間で動的に切り替えるための手段をさらに備える、請求項15に記載の装置。
  21. 前記複数の事象のうちの少なくとも1つの事象が、輝度が特定の場所で変化したことの視覚センサからの表示である、請求項15に記載の装置。
  22. 事象ベースの処理システムとフレームベースの処理システムとをインターフェースするためのプログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードがプロセッサによって実行され、
    事象センサから生成された事象ストリームを受信するフィルタにおいて、前記事象センサのピクセルに対応するセンサアレイ中の事象の空間領域、前記事象ストリームの別の事象のタイミングに関連する前記事象のタイミング、またはそれらの組合せのうちの少なくとも1つに基づいて、前記事象ストリームから前記事象を取り除くためのプログラムコードと、
    前記フィルタから出力された前記事象ストリームから受信された複数の事象を集約するためのプログラムコードと、
    前記集約された複数の事象を、前記集約された複数の事象によって表される物理オブジェクトを分類する前記フレームベースの処理システムと互換性があるフレームに変換するためのプログラムコードと、
    前記フレームを、前記フレームから抽出された特徴に基づく前記物理オブジェクトの分類のための前記フレームベースの処理システムに入力するためのプログラムコードと、前記特徴が、前記集約された複数の事象に対応する、
    を備える、非一時的コンピュータ可読媒体。
  23. 前記事象の前記空間領域に基づいて前記事象を取り除くことは、前記事象の前記空間領域における事象の数がしきい値を超えるときに前記事象を取り除くことを備える、請求項1に記載の方法。
JP2017514427A 2014-09-16 2015-08-20 事象ベースのシステムとフレームベースの処理システムとをインターフェースすること Active JP6602851B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462051145P 2014-09-16 2014-09-16
US62/051,145 2014-09-16
US14/622,736 US10147024B2 (en) 2014-09-16 2015-02-13 Interfacing an event based system with a frame based processing system
US14/622,736 2015-02-13
PCT/US2015/046066 WO2016043918A1 (en) 2014-09-16 2015-08-20 Interfacing an event based system with a frame based processing system

Publications (3)

Publication Number Publication Date
JP2017530467A JP2017530467A (ja) 2017-10-12
JP2017530467A5 true JP2017530467A5 (ja) 2019-02-21
JP6602851B2 JP6602851B2 (ja) 2019-11-06

Family

ID=55455050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017514427A Active JP6602851B2 (ja) 2014-09-16 2015-08-20 事象ベースのシステムとフレームベースの処理システムとをインターフェースすること

Country Status (5)

Country Link
US (1) US10147024B2 (ja)
EP (1) EP3195199B1 (ja)
JP (1) JP6602851B2 (ja)
CN (1) CN106716449B (ja)
WO (1) WO2016043918A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3020699A1 (fr) * 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US10062151B2 (en) * 2016-01-21 2018-08-28 Samsung Electronics Co., Ltd. Image deblurring method and apparatus
US10198660B2 (en) * 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation
GB201612528D0 (en) * 2016-07-19 2016-08-31 Machines With Vision Ltd Vehicle localisation using the ground or road surface
US10855927B2 (en) 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
CN115052141B (zh) 2017-09-28 2023-10-03 苹果公司 用于事件相机数据处理的系统和方法
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
JP7034837B2 (ja) * 2018-06-01 2022-03-14 株式会社デンソーアイティーラボラトリ 3次元畳込み演算装置、ビジュアルオドメトリシステム、及び3次元畳込みプログラム
DE102018215952B3 (de) * 2018-09-19 2020-01-30 Volkswagen Aktiengesellschaft Erzeugung neuromorpher und rahmenbasierter Videobilder
CN112740275A (zh) * 2018-09-28 2021-04-30 索尼半导体解决方案公司 数据处理装置、数据处理方法和程序
EP3694202A1 (en) * 2019-02-11 2020-08-12 Prophesee Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor
KR102656177B1 (ko) 2019-02-11 2024-04-12 삼성전자주식회사 신호를 축적하기 위한 센서
CN109948725B (zh) * 2019-03-28 2021-09-10 清华大学 基于地址-事件表达的神经网络目标检测装置
CN110427823B (zh) * 2019-06-28 2021-12-21 北京大学 基于视频帧与脉冲阵列信号的联合目标检测方法与装置
US11694304B2 (en) * 2019-11-26 2023-07-04 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
KR20220076944A (ko) * 2020-12-01 2022-06-08 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
US12003894B1 (en) 2020-12-29 2024-06-04 Waymo Llc Systems, methods, and apparatus for event detection
JPWO2022254836A1 (ja) * 2021-06-03 2022-12-08

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7426301B2 (en) 2004-06-28 2008-09-16 Mitsubishi Electric Research Laboratories, Inc. Usual event detection in a video using object and frame features
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
DE102007050568A1 (de) 2007-08-04 2009-02-05 Continental Teves Ag & Co. Ohg Verfahren und Einrichtung zur Objekterkennung in einem Bild
US8200595B1 (en) 2008-06-11 2012-06-12 Fair Isaac Corporation Determing a disposition of sensor-based events using decision trees with splits performed on decision keys
US9569531B2 (en) 2008-06-23 2017-02-14 Sri International System and method for multi-agent event detection and recognition
US20120106854A1 (en) 2010-10-28 2012-05-03 Feng Tang Event classification of images from fusion of classifier classifications
FR2975251B1 (fr) * 2011-05-12 2015-12-04 Univ Pierre Et Marie Curie Paris 6 Procede et dispositif de commande d'un dispositif d'aide a la vision
EP2748765B1 (en) * 2011-08-25 2022-12-14 Cornell University Retinal encoder for machine vision
EP2574511B1 (en) * 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
FR2985065B1 (fr) * 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
CN103258427B (zh) * 2013-04-24 2015-03-11 北京工业大学 基于信息物理网络的城市快速路交通实时监控方法
EP2887009A1 (en) * 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
FR3020699A1 (fr) * 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
CN104021378B (zh) * 2014-06-07 2017-06-30 北京联合大学 基于时空关联与先验知识的交通信号灯实时识别方法

Similar Documents

Publication Publication Date Title
JP2017530467A5 (ja)
CN106716449B (zh) 将基于事件的系统与基于帧的处理系统对接
JP2018107759A5 (ja)
JP2018520531A5 (ja)
JP2012217102A5 (ja) 画像処理装置及びその制御方法
JP2015534776A5 (ja)
CN109740589B (zh) 视频模式中的异步对象roi检测方法及系统
JP2010271987A5 (ja)
WO2017185772A1 (zh) 一种视频图像增强的方法、装置和计算机存储介质
CN111767888A (zh) 对象状态检测方法、计算机设备、存储介质和电子设备
JP2014120122A5 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
TW201537516A (zh) 基於小腦模型網路的移動物體偵測方法及其裝置
RU2017144798A (ru) Способ определения карты глубин для изображения и устройство для его осуществления
JP2015154454A5 (ja)
JP2017108428A5 (ja)
US20190340785A1 (en) Image processing for object detection
JP2015002368A5 (ja)
JP2010186272A5 (ja)
JP2020504383A (ja) 画像前景の検出装置、検出方法及び電子機器
US20170148183A1 (en) Image driver that samples high-resolution image data
JP5006479B1 (ja) 動き画像領域判定装置またはその方法
US20190188514A1 (en) Information processing apparatus, information processing system, control method, and program
JP2012014627A5 (ja)
KR101272645B1 (ko) 시공간 가우시안 혼합 배경모델을 이용한 영상내 물체 탐지 장치 및 방법
JP2019049961A5 (ja)