JP2017530467A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2017530467A5 JP2017530467A5 JP2017514427A JP2017514427A JP2017530467A5 JP 2017530467 A5 JP2017530467 A5 JP 2017530467A5 JP 2017514427 A JP2017514427 A JP 2017514427A JP 2017514427 A JP2017514427 A JP 2017514427A JP 2017530467 A5 JP2017530467 A5 JP 2017530467A5
- Authority
- JP
- Japan
- Prior art keywords
- events
- event
- frame
- processing system
- aggregating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 claims description 4
- 230000004931 aggregating Effects 0.000 claims 14
- 230000000875 corresponding Effects 0.000 claims 4
- 230000002776 aggregation Effects 0.000 claims 3
- 238000004220 aggregation Methods 0.000 claims 3
- 230000000007 visual effect Effects 0.000 claims 3
- 238000011143 downstream manufacturing Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 1
Description
[0038]追加的または代替的に、一構成では、事象ベースのオブジェクト検出システムの出力とインターフェースへの入力との間にフィルタが定義され得る。フィルタは、重要ではない特定のエリアからの事象、増加したノイズ量を生成するエリアからの事象、および/または他の条件を満たす事象などの特定の事象をフィルタリング(すなわち、ドロップ)するように指定され得る。一構成では、下流処理ブロック(downstream processing block)は、特定の領域からの事象の数がしきい値を超えたことを決定する。したがって、特定の領域からの後続の事象をドロップするための事象のフィルタリングは、下流処理ブロックによって指定され得る。この領域は、事象を生成する空間エリアおよび/または事象を生成する特定の車両などの特定の事象ジェネレータを参照し得る。
[0040]たとえば、特定のエリアがしきい値を超える事象を生成した可能性がある。したがって、システムはすでに特定の数の事象を受信しているため、システムはもはや特定の地域から追加の事象を受信することを望んでいない可能性がある。したがって、特定の領域からの事象をフィルタリングするためにフィルタが指定され得る。別の例として、フレームベースの分類器などの下流処理ブロックは、1つまたは複数の特定の領域からの事象のみを分類することを望む場合がある。したがって、フィルタは、所望の領域とは異なるすべてまたは一部の事象をフィルタリングし得る。
Claims (23)
- 事象ベースの処理システムとフレームベースの処理システムとをインターフェースする方法であって、
事象センサから生成された事象ストリームを受信するフィルタにおいて、前記事象センサのピクセルに対応するセンサアレイ中の事象の空間領域、前記事象ストリームの別の事象のタイミングに関連する前記事象のタイミング、またはそれらの組合せのうちの少なくとも1つに基づいて、前記事象ストリームから前記事象を取り除くことと、
前記フィルタから出力された前記事象ストリームから受信された複数の事象を集約することと、
前記集約された複数の事象を、前記集約された複数の事象によって表される物理オブジェクトを分類する前記フレームベースの処理システムと互換性があるフレームに変換することと、
前記フレームを、前記フレームから抽出された特徴に基づく前記物理オブジェクトの分類のための前記フレームベースの処理システムに入力することと、前記特徴が、前記集約された複数の事象に対応する、
を備える、方法。 - 前記複数の事象を集約することが、特定の時間期間にわたって前記複数の事象を集約することを備える、請求項1に記載の方法。
- 前記複数の事象を前記フレームに変換することの所望の結果、処理負荷、またはそれらの組合せに少なくとも部分的に基づいて前記特定の時間期間を動的に変更することをさらに備える、請求項2に記載の方法。
- 前記複数の事象を集約することが、前記複数の事象のうちの特定の数の事象を集約することを備える、請求項1に記載の方法。
- 前記複数の事象を前記フレームに変換することの所望の結果、処理負荷、またはそれらの組合せに少なくとも部分的に基づいて前記特定の数の事象を動的に変更することをさらに備える、請求項4に記載の方法。
- 特定の時間期間にわたって事象を集約することによって前記複数の事象を前記フレームに変換するための第1のインターフェースと、特定の数の事象を集約することによって前記複数の事象を前記フレームに変換するための第2のインターフェースとの間で動的に切り替えることをさらに備える、請求項1に記載の方法。
- 前記複数の事象のうちの少なくとも1つの事象が、輝度が特定の場所で変化したことの視覚センサからの表示である、請求項1に記載の方法。
- 事象ベースの処理システムとフレームベースの処理システムとをインターフェースするための装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも1つのプロセッサと
を備え、前記少なくとも1つのプロセッサが、
事象センサから生成された事象ストリームを受信するフィルタにおいて、前記事象センサのピクセルに対応するセンサアレイ中の事象の空間領域、前記事象ストリームの別の事象のタイミングに関連する前記事象のタイミング、またはそれらの組合せのうちの少なくとも1つに基づいて、前記事象ストリームから前記事象を取り除くことと、
前記フィルタから出力された前記事象ストリームから受信された複数の事象を集約することと、
前記集約された複数の事象を、前記集約された複数の事象によって表される物理オブジェクトを分類する前記フレームベースの処理システムと互換性があるフレームに変換することと、
前記フレームを、前記フレームから抽出された特徴に基づく前記物理オブジェクトの分類のための前記フレームベースの処理システムに入力することと、前記特徴が、前記集約された複数の事象に対応する、
を行うように構成される、装置。 - 前記少なくとも1つのプロセッサが、特定の時間期間にわたって前記複数の事象を集約するようにさらに構成される、請求項8に記載の装置。
- 前記特定の時間期間が、前記複数の事象を前記フレームに変換することの所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項9に記載の装置。
- 前記少なくとも1つのプロセッサが、前記複数の事象のうちの特定の数の事象を集約するようにさらに構成される、請求項8に記載の装置。
- 前記特定の数の事象が、前記複数の事象を前記フレームに変換することの所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項11に記載の装置。
- 前記少なくとも1つのプロセッサが、特定の時間期間にわたって事象を集約することによって前記複数の事象を前記フレームに変換するための第1のインターフェースと、特定の数の事象を集約することによって前記複数の事象を前記フレームに変換するための第2のインターフェースとの間で動的に切り替えるようにさらに構成される、請求項8に記載の装置。
- 前記複数の事象のうちの少なくとも1つの事象が、輝度が特定の場所で変化したことの視覚センサからの表示である、請求項8に記載の装置。
- 事象ベースの処理システムとフレームベースの処理システムとをインターフェースするための装置であって、
事象センサのピクセルに対応するセンサアレイ中の事象の空間領域、事象ストリームの別の事象のタイミングに関連する前記事象のタイミング、またはそれらの組合せのうちの少なくとも1つに基づいて、前記事象センサによって生成された前記事象ストリームから前記事象をフィルタリングするための手段と、
前記フィルタリングするための手段から出力された前記事象ストリームから受信された複数の事象を集約するための手段と、
前記集約された複数の事象を、前記集約された複数の事象によって表される物理オブジェクトを分類する前記フレームベースの処理システムと互換性があるフレームに変換するための手段と、
前記フレームを、前記フレームから抽出された特徴に基づく前記物理オブジェクトの分類のための前記フレームベースの処理システムに入力するための手段と、前記特徴が、前記集約された複数の事象に対応する、
を備える、装置。 - 前記複数の事象を前記集約するための手段が、特定の時間期間にわたって前記複数の事象を集約するための手段を備える、請求項15に記載の装置。
- 前記特定の時間期間が、前記複数の事象を前記フレームに変換することの所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項16に記載の装置。
- 前記複数の事象を前記集約するための手段が、前記複数の事象のうちの特定の数の事象を集約するための手段を備える、請求項15に記載の装置。
- 前記特定の数の事象が、前記複数の事象を前記フレームに変換することの所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項18に記載の装置。
- 特定の時間期間にわたって事象を集約することによって前記複数の事象を前記フレームに変換するための第1のインターフェースと、特定の数の事象を集約することによって前記複数の事象を前記フレームに変換するための第2のインターフェースとの間で動的に切り替えるための手段をさらに備える、請求項15に記載の装置。
- 前記複数の事象のうちの少なくとも1つの事象が、輝度が特定の場所で変化したことの視覚センサからの表示である、請求項15に記載の装置。
- 事象ベースの処理システムとフレームベースの処理システムとをインターフェースするためのプログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードがプロセッサによって実行され、
事象センサから生成された事象ストリームを受信するフィルタにおいて、前記事象センサのピクセルに対応するセンサアレイ中の事象の空間領域、前記事象ストリームの別の事象のタイミングに関連する前記事象のタイミング、またはそれらの組合せのうちの少なくとも1つに基づいて、前記事象ストリームから前記事象を取り除くためのプログラムコードと、
前記フィルタから出力された前記事象ストリームから受信された複数の事象を集約するためのプログラムコードと、
前記集約された複数の事象を、前記集約された複数の事象によって表される物理オブジェクトを分類する前記フレームベースの処理システムと互換性があるフレームに変換するためのプログラムコードと、
前記フレームを、前記フレームから抽出された特徴に基づく前記物理オブジェクトの分類のための前記フレームベースの処理システムに入力するためのプログラムコードと、前記特徴が、前記集約された複数の事象に対応する、
を備える、非一時的コンピュータ可読媒体。 - 前記事象の前記空間領域に基づいて前記事象を取り除くことは、前記事象の前記空間領域における事象の数がしきい値を超えるときに前記事象を取り除くことを備える、請求項1に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462051145P | 2014-09-16 | 2014-09-16 | |
US62/051,145 | 2014-09-16 | ||
US14/622,736 US10147024B2 (en) | 2014-09-16 | 2015-02-13 | Interfacing an event based system with a frame based processing system |
US14/622,736 | 2015-02-13 | ||
PCT/US2015/046066 WO2016043918A1 (en) | 2014-09-16 | 2015-08-20 | Interfacing an event based system with a frame based processing system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017530467A JP2017530467A (ja) | 2017-10-12 |
JP2017530467A5 true JP2017530467A5 (ja) | 2019-02-21 |
JP6602851B2 JP6602851B2 (ja) | 2019-11-06 |
Family
ID=55455050
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017514427A Active JP6602851B2 (ja) | 2014-09-16 | 2015-08-20 | 事象ベースのシステムとフレームベースの処理システムとをインターフェースすること |
Country Status (5)
Country | Link |
---|---|
US (1) | US10147024B2 (ja) |
EP (1) | EP3195199B1 (ja) |
JP (1) | JP6602851B2 (ja) |
CN (1) | CN106716449B (ja) |
WO (1) | WO2016043918A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3020699A1 (fr) * | 2014-04-30 | 2015-11-06 | Centre Nat Rech Scient | Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere |
US10062151B2 (en) * | 2016-01-21 | 2018-08-28 | Samsung Electronics Co., Ltd. | Image deblurring method and apparatus |
US10198660B2 (en) * | 2016-01-27 | 2019-02-05 | Samsung Electronics Co. Ltd. | Method and apparatus for event sampling of dynamic vision sensor on image formation |
GB201612528D0 (en) * | 2016-07-19 | 2016-08-31 | Machines With Vision Ltd | Vehicle localisation using the ground or road surface |
US10855927B2 (en) | 2017-03-08 | 2020-12-01 | Samsung Electronics Co., Ltd. | Event detecting device including an event signal generator and an output signal generator |
US10516841B2 (en) | 2017-03-08 | 2019-12-24 | Samsung Electronics Co., Ltd. | Pixel, pixel driving circuit, and vision sensor including the same |
CN115052141B (zh) | 2017-09-28 | 2023-10-03 | 苹果公司 | 用于事件相机数据处理的系统和方法 |
EP3506622A1 (en) * | 2017-12-26 | 2019-07-03 | Prophesee | Method for outputting a signal from an event based sensor, and event-based sensor using such method |
JP7034837B2 (ja) * | 2018-06-01 | 2022-03-14 | 株式会社デンソーアイティーラボラトリ | 3次元畳込み演算装置、ビジュアルオドメトリシステム、及び3次元畳込みプログラム |
DE102018215952B3 (de) * | 2018-09-19 | 2020-01-30 | Volkswagen Aktiengesellschaft | Erzeugung neuromorpher und rahmenbasierter Videobilder |
CN112740275A (zh) * | 2018-09-28 | 2021-04-30 | 索尼半导体解决方案公司 | 数据处理装置、数据处理方法和程序 |
EP3694202A1 (en) * | 2019-02-11 | 2020-08-12 | Prophesee | Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor |
KR102656177B1 (ko) | 2019-02-11 | 2024-04-12 | 삼성전자주식회사 | 신호를 축적하기 위한 센서 |
CN109948725B (zh) * | 2019-03-28 | 2021-09-10 | 清华大学 | 基于地址-事件表达的神经网络目标检测装置 |
CN110427823B (zh) * | 2019-06-28 | 2021-12-21 | 北京大学 | 基于视频帧与脉冲阵列信号的联合目标检测方法与装置 |
US11694304B2 (en) * | 2019-11-26 | 2023-07-04 | Samsung Electronics Co., Ltd. | Jointly learning visual motion and confidence from local patches in event cameras |
KR20220076944A (ko) * | 2020-12-01 | 2022-06-08 | 삼성전자주식회사 | 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법 |
US12003894B1 (en) | 2020-12-29 | 2024-06-04 | Waymo Llc | Systems, methods, and apparatus for event detection |
JPWO2022254836A1 (ja) * | 2021-06-03 | 2022-12-08 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7426301B2 (en) | 2004-06-28 | 2008-09-16 | Mitsubishi Electric Research Laboratories, Inc. | Usual event detection in a video using object and frame features |
AT504582B1 (de) * | 2006-11-23 | 2008-12-15 | Arc Austrian Res Centers Gmbh | Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor |
DE102007050568A1 (de) | 2007-08-04 | 2009-02-05 | Continental Teves Ag & Co. Ohg | Verfahren und Einrichtung zur Objekterkennung in einem Bild |
US8200595B1 (en) | 2008-06-11 | 2012-06-12 | Fair Isaac Corporation | Determing a disposition of sensor-based events using decision trees with splits performed on decision keys |
US9569531B2 (en) | 2008-06-23 | 2017-02-14 | Sri International | System and method for multi-agent event detection and recognition |
US20120106854A1 (en) | 2010-10-28 | 2012-05-03 | Feng Tang | Event classification of images from fusion of classifier classifications |
FR2975251B1 (fr) * | 2011-05-12 | 2015-12-04 | Univ Pierre Et Marie Curie Paris 6 | Procede et dispositif de commande d'un dispositif d'aide a la vision |
EP2748765B1 (en) * | 2011-08-25 | 2022-12-14 | Cornell University | Retinal encoder for machine vision |
EP2574511B1 (en) * | 2011-09-30 | 2016-03-16 | Honda Research Institute Europe GmbH | Analyzing road surfaces |
FR2985065B1 (fr) * | 2011-12-21 | 2014-01-10 | Univ Paris Curie | Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere |
CN103258427B (zh) * | 2013-04-24 | 2015-03-11 | 北京工业大学 | 基于信息物理网络的城市快速路交通实时监控方法 |
EP2887009A1 (en) * | 2013-12-23 | 2015-06-24 | Universität Zürich | Method for reconstructing a surface using spatially structured light and a dynamic vision sensor |
FR3020699A1 (fr) * | 2014-04-30 | 2015-11-06 | Centre Nat Rech Scient | Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere |
CN104021378B (zh) * | 2014-06-07 | 2017-06-30 | 北京联合大学 | 基于时空关联与先验知识的交通信号灯实时识别方法 |
-
2015
- 2015-02-13 US US14/622,736 patent/US10147024B2/en active Active
- 2015-08-20 WO PCT/US2015/046066 patent/WO2016043918A1/en active Application Filing
- 2015-08-20 JP JP2017514427A patent/JP6602851B2/ja active Active
- 2015-08-20 CN CN201580049482.2A patent/CN106716449B/zh active Active
- 2015-08-20 EP EP15763134.2A patent/EP3195199B1/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017530467A5 (ja) | ||
CN106716449B (zh) | 将基于事件的系统与基于帧的处理系统对接 | |
JP2018107759A5 (ja) | ||
JP2018520531A5 (ja) | ||
JP2012217102A5 (ja) | 画像処理装置及びその制御方法 | |
JP2015534776A5 (ja) | ||
CN109740589B (zh) | 视频模式中的异步对象roi检测方法及系统 | |
JP2010271987A5 (ja) | ||
WO2017185772A1 (zh) | 一种视频图像增强的方法、装置和计算机存储介质 | |
CN111767888A (zh) | 对象状态检测方法、计算机设备、存储介质和电子设备 | |
JP2014120122A5 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
TW201537516A (zh) | 基於小腦模型網路的移動物體偵測方法及其裝置 | |
RU2017144798A (ru) | Способ определения карты глубин для изображения и устройство для его осуществления | |
JP2015154454A5 (ja) | ||
JP2017108428A5 (ja) | ||
US20190340785A1 (en) | Image processing for object detection | |
JP2015002368A5 (ja) | ||
JP2010186272A5 (ja) | ||
JP2020504383A (ja) | 画像前景の検出装置、検出方法及び電子機器 | |
US20170148183A1 (en) | Image driver that samples high-resolution image data | |
JP5006479B1 (ja) | 動き画像領域判定装置またはその方法 | |
US20190188514A1 (en) | Information processing apparatus, information processing system, control method, and program | |
JP2012014627A5 (ja) | ||
KR101272645B1 (ko) | 시공간 가우시안 혼합 배경모델을 이용한 영상내 물체 탐지 장치 및 방법 | |
JP2019049961A5 (ja) |