JP2021508975A - イベントベースセンサから信号を出力するための方法、およびそのような方法を使用するイベントベースセンサ - Google Patents

イベントベースセンサから信号を出力するための方法、およびそのような方法を使用するイベントベースセンサ Download PDF

Info

Publication number
JP2021508975A
JP2021508975A JP2020535562A JP2020535562A JP2021508975A JP 2021508975 A JP2021508975 A JP 2021508975A JP 2020535562 A JP2020535562 A JP 2020535562A JP 2020535562 A JP2020535562 A JP 2020535562A JP 2021508975 A JP2021508975 A JP 2021508975A
Authority
JP
Japan
Prior art keywords
event
rate
filter
events
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020535562A
Other languages
English (en)
Other versions
JP7383616B2 (ja
Inventor
ステファーヌ・ラヴォー
グザヴィエ・ラゴルス
Original Assignee
プロフジー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by プロフジー filed Critical プロフジー
Publication of JP2021508975A publication Critical patent/JP2021508975A/ja
Application granted granted Critical
Publication of JP7383616B2 publication Critical patent/JP7383616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Image Analysis (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

イベントベースセンサが、イベントを非同期に生成するセンシング部(12)を有する。出力信号は、生成されたイベントのうちの少なくとも一部に関する情報を含む。方法は、センシング部(12)によってイベントの生成レートを推定すること、推定レートがしきい値未満である間、可変レートを有する信号を送信すること、および推定レートがしきい値を超えるとき、情報が信号内に含まれるイベントのレートがしきい値以内にとどまるように、生成されたイベントのうちの一部のみに関する情報を含む信号を送信することを含む。

Description

本発明は、非同期のイベントベースセンサによって生成された信号の処理に関する。
連続するイメージを規則的なサンプリング瞬間に記録する従来型カメラとは逆に、生物学的網膜は、視覚化されるべきシーンに関する冗長な情報を送信せず、非同期に送信する。生物学的網膜に関するその観察から、非同期イベントベース視覚センサが開発されている。
非同期イベントベース視覚センサは、イベントの形で圧縮デジタルデータを送達する。そのようなセンサの提示を「Activity-Driven, Event-Based Vision Sensors」、T. Delbruck他、Proceedings of 2010 IEEE International Symposium on Circuits and Systems(ISCAS)、2426〜2429頁で見出すことができる。イベントベース視覚センサは、従来型カメラに対して、冗長性を除去し、待ち時間を削減し、ダイナミックレンジを向上させるという利点を有する。
そのような視覚センサの出力は、各ピクセルアドレスについて、シーンの輝度の変化が生じた時の変化を表す非同期イベントのシーケンスから構成され得る。センサの各ピクセルは独立しており、最後のイベントの放射以降の、しきい値(たとえば、輝度についての対数に関して15%のコントラスト)より大きい強度の変化を検出する。強度の変化がしきい値を超過したとき、イベントがピクセルによって生成される。いくつかのセンサでは、イベントは、強度が増大するか、それとも減少するかに従って、極性(たとえばONまたはOFF)を有する。いくつかの非同期センサは、検出したイベントを光強度の測定値と関連付ける。
センサは、従来型カメラのようにクロックごとにサンプリングされないので、イベントのシーケンシングを非常に高い時間精度(たとえば、約1μs)で考慮に入れ得る。そのようなセンサがイメージのシーケンスを再構築するために使用される場合、従来型カメラについての数十ヘルツのイメージフレームレートと比較して、数キロヘルツが達成され得る。
イベントベースセンサは、マシンビジョンの分野およびビジョン復元の分野の中でもとりわけ有望な展望を有する。
イベントベースセンサの出力でのデータレートは、シーンの変化量に依存する。これは、平均して、下流側に送られるべきデータ量が大きく削減されるので、望ましい特徴である。しかしながら、低い平均データレートを有することは良いことであるが、常に効率的であるわけではない。下流側ハードウェア(通信チャネル、処理要素)は通常、ワーストケースシナリオに対してサイズが合わされる。特に何も行われない場合、ワーストケースシナリオは、非常に高いデータレートに対応し得る。
イベントベースセンサは通常、そのインターフェースによって限定されたスループットを有する。それは、イベントが出力されない限り、イベントはピクセル内にとどまることを意味する。新しいイベントが来た場合、新しいイベントは無視されることになる。この挙動はデータレートを制限するが、タイミング精度および出力の正しさを犠牲にする。センサにヒットする新しい光子が無視され、重要なイベントが途中で失われることになる。
通信インターフェースがスループットに対する制限を引き起こさない場合であっても、問題が依然として下流側で生じ得る。非同期に生成されたイベントを受信し、処理するプロセッサの入力において、オーバーフローが生じ得る。その場合、イベントベースセンサとインターフェースされるアプリケーションを設計するソフトウェア開発者は、オーバーフローの状況に対処しようと試みるために何らかの入力処理を実現することに悩まされなければならず、さもなければ何らかの予測不能な形でイベントが失われる。
いくつかのイベントベースセンサは、イベントをバイナリフレームにクラスタ化することによってレートを制限する。イベントをバイナリフレームにグループ化するとき、データレートが固定される。これは、データレートを制限する効果を有するが、より低い平均レートを有するという利点を取り除く。低い平均レートは、センサおよびセンサの出力信号を受信する処理装置の電力消費の点で望ましい特徴である。
米国特許出願第2008/0135731A1号
「Activity-Driven, Event-Based Vision Sensors」、T. Delbruck他、Proceedings of 2010 IEEE International Symposium on Circuits and Systems(ISCAS)、2426〜2429頁 「A 128x128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteiner他、IEEE Journal of Solid-State Circuits、Vol. 43、No. 2、2008年2月、566〜576頁 「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Posch他、IEEE Journal of Solid-State Circuits、Vol. 46、No. 1、2011年1月、259〜275頁
イベントベースセンサの出力を処理するための効果的な方法を提案することが望ましい。
上記の必要性は、平均レートを犠牲にすることなく、データレートを所与のレベルに制限することによって対処される。最大データレートは、利用可能な計算資源に応じて、システムを構成する人によって決定される。
したがって、イベントベースセンサから信号を出力する方法が開示される。イベントベースセンサは、イベントを非同期に生成するセンシング部を有し、信号は、生成されたイベントのうちの少なくとも一部に関する情報を含む。方法は、
センシング部によってイベントの生成レートを推定すること、
推定レートがしきい値未満である間、可変レートを有する信号を送信すること、および
推定レートがしきい値を超えるとき、情報が信号内に含まれるイベントのレートがしきい値以内にとどまるように、生成されたイベントのうちの一部のみに関する情報を含む信号を送信すること
を含む。
方法の実装は、妥当に低い計算の複雑さを有し得、したがってイベントベースセンサのセンシング部と同一のチップ上で実施され得る。オンチップに適合するために、方法は約1msを超えてデータをバッファリングすべきではない。方法はまた、あらゆるイベントについて、除算などの複雑な演算を行うべきではない。提案される方法は、フレームバッファの使用を必要とせず、これは、フレームバッファがかなり大きく、センサチップ上に配置されるときに製造歩留りに負の影響を及ぼし得ることを考えると有利である。
一例として、チップが組込みプロセッサに接続される場合、データレートは、一般にサーバファームに接続された場合よりも低く設定されることになる。
方法は、シーン条件に対するセンサの空間サブサンプリングまたは時間分解能の適合を必要としない。
その代わりに、応用例に応じて、または信号を受信する処理装置または通信チャネルの能力に応じて、構成パラメータが設定され得る。一実施形態では、方法は、しきい値の値、および/またはイベントの生成レートを推定するための期間の値を構成パラメータとして受信することをさらに含み得る。そのような値は、チャネルまたは信号を受信するプロセッサの必要性に適合するように与えられる。
方法を実装するために、少なくとも1つのフィルタが、推定レートがしきい値を超過したことに応答して、出力されるべき信号内の選択されたイベントを廃棄するように、イベントベースセンサによって生成されたイベントに適用され得る。そのようなフィルタは、選択されたイベントが時間パターンに従って生じる時間フィルタ、および/またはそれぞれのアドレスを有し、イベントのそれぞれのシーケンスを生成する複数の空間的に分散した検出素子をイベントベースセンサが有するケースでは、選択されたイベントが検出素子によって空間パターンに対応するアドレスにおいて生成される空間フィルタを備え得る。具体的には、センシング部の検出素子が2次元マトリックスに配置される場合、少なくとも1つのフィルタが、選択されたイベントが検出素子によってマトリックスの行に対応するアドレスにおいて生成されたイベントである第1の空間フィルタと、選択されたイベントが検出素子によってマトリックスの列に対応するアドレスにおいて生成されたイベントである第2の空間フィルタとを含み得る。
本発明の別の態様は、前述の方法を利用するイベントベースセンサに関する。イベントベースセンサは、イベントを非同期に生成するためのセンシング部と、出力ポートと、センシング部によって生成されたイベントのうちの少なくとも一部に関する情報を含む信号を出力ポートに供給するコントローラとを備える。コントローラは、
センシング部によってイベントの生成レートを推定し、
推定レートがしきい値未満である間、可変レートを有する信号を出力ポートに供給し、
推定レートがしきい値を超えるとき、情報が信号内に含まれるイベントのレートがしきい値以内にとどまるように、生成されたイベントのうちの一部のみに関する情報を含む信号を供給する
ように構成される。
本明細書において開示される方法およびイベントベースセンサの他の特徴および利点が、添付の図面を参照して、非限定的な実施形態の以下の説明から明らかとなるであろう。
イベントベースセンサの実施形態を使用して本発明を実装するシステムのブロック図である。 図1に示されるシステムにおいて使用可能なイベントレートコントローラの一例のブロック図である。
図1に示されるシステムは、シーンの正面に配置され、1つまたは複数のレンズを備える取得オプティクス11を通じてシーンから光を受けるイベントベース非同期視覚センサ10を備える。センサ10は、取得オプティクス11の像平面内に配置されたセンシング部12を含む。センシング部12は、ピクセルのマトリックスとして編成された感光素子のアレイを備え得る。感光素子pに対応する各ピクセルは、シーン内の光の変動に応じて、各時刻tに連続するイベントev(p,t)を生成する。
プロセッサ20は、センシング部12の感光素子pから非同期に受信されたイベントev(p,t)を含む、センサ10から生じる非同期情報を処理する。プロセッサ20は、任意の適切なプログラミング技法、またはハードウェア構成を使用して、デジタル信号に対して演算する。プロセッサ20によって実行される処理のタイプは応用例に依存し、本発明の特徴ではない。
センサ10のセンシング部12は、センサの視野内に現れる、シーン内のピクセルによって検出された光の変動を使用して、マトリックスの各ピクセルpについてのイベントのシーケンスを生成する。ピクセルからのそれらのイベントシーケンスは、センサ10の出力インターフェースに関連付けられるコントローラ15によって信号に集約される。信号は、アドレスイベント表現(AER)を使用し、センサ10の出力ポート16および通信リンク18を通じてプロセッサ20に供給される。出力信号内の各イベントは、マトリックス内のピクセルのアドレスに関連付けられる、その時間位置がピクセルによって確認された輝度の変化を示す少なくとも1つのスパイクを含む。極性情報および/または輝度値などの1つまたは複数の輝度属性も、イベントに関連付けられ得る。通信リンク18は、任意の適切な通信媒体および任意の適切な通信プロトコルを使用し得る。例として、通信リンク18はユニバーサルシリアルバス(USB)ポート16に基づき得る。
例として、イベントの取得を実施するセンシング部12は、「A 128x128 120 dB 15 μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteiner他、IEEE Journal of Solid-State Circuits、Vol. 43、No. 2、2008年2月、566〜576頁、または米国特許出願第2008/0135731A1号で説明されているタイプの動的視覚センサ(DVS)として実施され得る。
本発明を利用し得る非同期センサの別の例は、「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Posch他、IEEE Journal of Solid-State Circuits、Vol. 46、No. 1、2011年1月、259〜275頁にその説明が与えられている非同期時間ベースイメージセンサ(ATIS)である。
コントローラ15は、以下ではイベントレートコントローラ(ERC)と呼ばれる。ERCの可能な実施形態が図2に示されている。
その実施形態では、ERC15は、センシング部12の読出し回路によって供給されるデータを連続して処理する。ERC15は、検出素子のアレイ12によって生成されたイベントを受信するレート測定構成要素30を有する。イベントレートREが、構成要素30によって、たとえば所与の時間枠T内にアレイ12によって検出されたイベントを単にカウントすることによって推定される。イベントカウントCE (=RE×T)が比較器31に供給され、比較器31はイベントカウントCEをしきい値Sと比較する。
CE≦Sである間、すなわちイベントレートREがしきい値S/T以内にある間、検出素子のアレイ12によって生成されたイベントが、プロセッサ20への送信のために出力ポート16に直接供給される。これが図2においてスイッチ32で図式的に示されている。このケースでは、出力ポート16を通じて送信される信号が、アレイ12によって生成されたイベントの可変レートを保持する。
比較器31が、CE>Sであること、すなわちイベントレートREがしきい値S/Tを超過したことを示すとき、アレイ12からのイベントのストリームが、図示される実施形態では2つの空間フィルタ33、34および時間フィルタ35を含むERC15のフィルタバンクにかけられる(その場合、例示的スイッチ32は図2に示される位置にある)。
フィルタ33〜35は、出力ポート16を通じて送信される信号内のイベントのレートがしきい値S/T以内のままとなるように、アレイ12からのイベントにサブサンプリングを適用する。言い換えれば、各フィルタ33〜35は、信号内のいくつかのイベントを廃棄し、フィルタのうちの1つによって廃棄されるイベントは、ERC15の構成モジュール40によって示されるそれぞれのパターンH_P、V_P、T_Pに従って選択される。
図2に示される実施形態では、フィルタバンクは、2つの空間フィルタ33〜34と、その後に続く時間フィルタ35とを含む。
空間フィルタ33〜34では、イベントを廃棄するためのパターンH_P、V_Pは、検出素子のアレイの領域、すなわちアレイ12を形成するマトリックス内の検出素子の特定のアドレスに対応する。廃棄されるべきイベントが検出素子からマトリックスの行に対応するアドレスにおいて生じる水平フィルタ33と、その後に続く、選択されたイベントが検出素子からマトリックスの列に対応するアドレスにおいて生じる垂直フィルタ34とがある。水平フィルタ33がイベントを廃棄するマトリックスの行は、密度DHで規則的に間隔を置いて配置され得る。垂直フィルタ34がイベントを廃棄するマトリックスの列は、密度DVで規則的に間隔を置いて配置され得る。
時間フィルタ35では、イベントを廃棄するためのパターンT_Pは、ドロップデューティ率DTでイベントが廃棄される一定の時間間隔に対応する。
図2に示されるようにフィルタ33〜35が縦続接続されるとき、フィルタバンクによって適用される全体のドロップレートは、D'=[1-(1-DH)×(1-DV)×(1-DT)]と計算され得る。フィルタ33、34、35のそれぞれのドロップレートDH、DV、DTは、比較器31によって与えられる目標ドロップレートDに応じて、D'=DまたはD'≒Dとなるように構成モジュール40によって設定される。
3つのフィルタがイベントのストリームを処理する順序は、図2に示されるものとは異なり得る。さらに、推定イベントレートREがしきい値S/Tを超過したときにイベントを制御された方式でドロップするために、2つ以下のフィルタ、または4つ以上のフィルタがあり得る。さらに、イベントの空間/時間フィルタリングは、上記で提示したのとは異なる形態を有し得る。たとえば、空間フィルタは、選択されたイベントが指定された列および指定された行のどちらにも位置するドロップパターンを適用し得る。
ERCの一実施形態では、比較器31は、各期間Tにおいて、推定イベントレートREがしきい値S/Tと比較してどうかに依存する目標ドロップレートDを提供する。例として、整数A=0、1、2、...、2N-1を表すN個のビットを使用して、D=A/2Nとなるように目標ドロップレートDが量子化され得る。ただし
Figure 2021508975
である。CE≦Sであるとき、Aは0であり、すなわちフィルタ33〜35によってイベントは廃棄されない。そうでない場合、比較器31は、イベントカウントCEの値を、しきい値Sに基づいて決定された2N-1個のビンのうちの1つに置く。どのビンがイベントカウントCEを受け取るかが、ドロップレートDを与える整数Aを量子化するNビットを決定する。やはり、そのような処理のために複雑な計算は不要である。
構成モジュール40は、比較器31からドロップレートDを受け取り、それぞれのイベントドロップレートDH、DV、DTを前述のように設定することにより、RE>S/Tであるとき、フィルタ33〜35で使用されるべきパターンH_P、V_P、T_Pを決定する。パターンH_P、V_P、T_Pは、目標ドロップレートDを表すビットによって形成されたアドレスを使用してアクセスされる、事前定義されたルックアップテーブルを使用して、構成モジュール40によって決定され得る。
目標ドロップレートDがどのように3つのイベントドロップレートDH、DV、DTに分割されるかは、構成モジュールの設計者によって提供され、またはプロセッサ20から通信リンク18を通じて受信される構成パラメータに依存し得る。プロセッサ20によって実行されるアプリケーションに応じて、時間、垂直、または水平ドロップパターンに対してより高い、またはより低い重要度を用いるフィルタリング方法がより適切であり得る。これは、構成パラメータを設定することによって指定され得る。構成パラメータが提供されないとき、たとえば、3つのレートDH、DV、DTの間で等しく目標ドロップレートDを分割するというデフォルト方法があり得る。
イベントがカウントされる基準期間Tは、通信リンク18上に提供されたユーザインターフェースによって設定され得る別の構成パラメータである。より長い期間が選択されるとき、イベントのバーストがセンサ10の出力またはプロセッサ20の入力において時間オーバーフローを引き起こす危険が残り得ることを考えると、プロセッサ20は、それ自体の動的挙動に従って基準期間Tを選択し得る。通常、イベントベースセンサ10の前述の例が使用されるとき、基準期間Tは10から500マイクロ秒の範囲内にあり得る。
主な構成パラメータは、イベントカウントCEが比較されるしきい値Sの値である。比S/Tは、センサ10によってプロセッサ20に送られる信号のスループットに直接的にリンクされる。Sの値はまた、通信リンク18上に提供されたユーザインターフェースによって設定され得る。
図2において図式的に示されるERC15は、フィルタリング前にイベントを一時的に記憶するためのバッファを含まない。実際には、期間Tについて決定された目標ドロップレートDが同一の期間中にアレイ12によって生成されたイベントのセットに適用されるように、基準期間Tが増大するときにその寸法が大きくなるイベントバッファがあり得る。しかしながら、そのようなバッファの存在は、すべての応用例において要件ではない。基準期間Tよりも短い時間枠にわたってイベントをバッファリングすることも可能である。
ERC15によって実行されるプロセスは、制御された方式で過剰なイベントを除去する機能を達成するのがかなり簡単であることに留意されたい。これは、イベントをソートするためにCPU能力を使用するフィルタを有する必要性を除去する。
前述の実施形態は、本明細書において開示される本発明の例であること、および添付の特許請求の範囲において定義される範囲から逸脱することなく、様々な変更が行われ得ることを理解されよう。
たとえば、アレイ12によって生成されたイベントのうちの一部は、センサ10のレベルにおいて実施される他の機能、たとえばわずかな情報(たとえば、雑音、ちらつき効果、トレイルフィルタなど)を搬送するイベントを除去する機能のために、プロセッサ20への送信前に廃棄され得る。前述のERC処理は、イベントベースセンサの出力信号が所望のデータレートを満たすことを確認するために、出力インターフェースにおいて使用可能である。
本発明の他の実施形態では、イベントドロップレートは、センシング部12の視野にわたって変動するように設定され得る。たとえば、空間フィルタは、イベントを優先的にドロップするためのエリアのグリッドを提供するように使用され得る。どのフィルタがERC15によって適用され、どのパラメータと共に適用されるかは、プロセッサ20によって実行されるアプリケーションに応じて構成され得る。
本発明は、限定はしないが、自律走行車両、補綴デバイス、および製造ロボット、軍事または医用ロボットデバイスなどの自律的ロボット装置を含む様々なデバイスにおいて有用であり得る。
本発明はさらに、たとえば、スマートフォン、ポータブル通信デバイス、ノートブック、ネットブックおよびタブレットコンピュータ、監視システム、ならびに視覚データを処理するように構成された実質的に任意の他のコンピュータ化されたデバイスなどの、多種多様な静止デバイスおよびポータブルデバイスにおいて適用可能であり得る。
本発明の実装は、コンピュータヒューマン対話(たとえば、ジェスチャ、音声、姿勢、顔の認識、および/または他の応用例)、プロセスを制御すること(たとえば、産業ロボット、自律的車両、および他の車両)、イメージシーケンス内の注目の地点または物体(たとえば、車両または人間)のセットの、像平面に対する移動に追従すること、拡張現実応用例、バーチャルリアリティ応用例、アクセス制御(たとえば、ジェスチャに基づいてドアを開くこと、許可された人の検出に基づいてアクセス通路を開くこと)、(たとえば、視覚監視または人々または動物についての)イベントを検出すること、カウント、追跡などを含む多くの応用例において使用され得る。本開示が与えられると当業者によって理解されることになる無数の他の応用例が存在する。
10 イベントベース非同期視覚センサ
11 取得オプティクス
12 センシング部
15 コントローラ
16 出力ポート
18 通信リンク
20 プロセッサ
30 レート測定構成要素
31 比較器
32 スイッチ
33 水平フィルタ
34 垂直フィルタ
35 時間フィルタ
40 構成モジュール

Claims (14)

  1. イベントベースセンサ(10)から信号を出力するための方法であって、前記イベントベースセンサが、イベントを非同期に生成するセンシング部(12)を有し、前記信号が、前記生成されたイベントのうちの少なくとも一部に関する情報を含み、
    前記センシング部(12)によってイベントの生成レートを推定するステップと、
    推定レートがしきい値未満である間、可変レートを有する信号を送信するステップと、
    前記推定レートが前記しきい値を超えるとき、情報が前記信号内に含まれるイベントのレートが前記しきい値以内にとどまるように、前記生成されたイベントのうちの一部のみに関する情報を含む前記信号を送信するステップと
    を含む方法。
  2. 前記しきい値の値を構成パラメータとして受信するステップをさらに含む請求項1に記載の方法。
  3. イベントの生成レートを構成パラメータとして推定するための期間(T)の値を受信するステップをさらに含む請求項1または2に記載の方法。
  4. 少なくとも1つのフィルタ(33〜35)が、前記推定レートが前記しきい値を超過したことに応答して、出力されるべき前記信号内の選択されたイベントを廃棄するように、前記生成されたイベントに適用される請求項1から3のいずれか一項に記載の方法。
  5. 前記少なくとも1つのフィルタが、前記選択されたイベントが時間パターン(T_P)に従って生じる時間フィルタ(35)を備える請求項4に記載の方法。
  6. 前記センシング部(12)が、それぞれのアドレスを有し、イベントのそれぞれのシーケンスを生成する複数の空間的に分散した検出素子を備え、前記少なくとも1つのフィルタが、前記選択されたイベントが検出素子によって空間パターンに対応するアドレスにおいて生成されたイベントである空間フィルタ(33、34)を備える請求項4または5に記載の方法。
  7. 前記センシング部(12)の前記検出素子が2次元マトリックスに配置され、前記少なくとも1つのフィルタが、前記選択されたイベントが検出素子によって前記マトリックスの行に対応するアドレスにおいて生成されたイベントである第1の空間フィルタ(33)と、前記選択されたイベントが検出素子によって前記マトリックスの列に対応するアドレスにおいて生成されたイベントである第2の空間フィルタ(34)とを含む請求項6に記載の方法。
  8. イベントを非同期に生成するためのセンシング部(12)と、
    出力ポート(16)と、
    前記センシング部(12)によって生成された前記イベントのうちの少なくとも一部に関する情報を含む信号を前記出力ポート(16)に供給するためのコントローラ(15)と
    を備えるイベントベースセンサ(10)であって、
    前記コントローラ(15)が、
    前記センシング部(12)によってイベントの生成レートを推定し、
    推定レートがしきい値未満である間、可変レートを有する前記信号を前記出力ポート(16)に供給し、
    前記推定レートが前記しきい値を超えるとき、情報が前記信号内に含まれるイベントのレートが前記しきい値以内にとどまるように、前記生成されたイベントのうちの一部のみに関する情報を含む前記信号を前記出力ポート(16)に供給する
    ように構成される、イベントベースセンサ(10)。
  9. 前記コントローラ(15)が、前記しきい値の値を構成パラメータとして受信するように構成される請求項8に記載のデバイス。
  10. 前記コントローラ(15)が、イベントの生成レートを構成パラメータとして推定するための期間(T)の値を受信するように構成される請求項8または9に記載のデバイス。
  11. 前記コントローラ(15)が、前記推定レートが前記しきい値を超過したことに応答して、前記出力ポート(16)に供給される前記信号内の選択されたイベントを廃棄するように、前記生成されたイベントに適用される少なくとも1つのフィルタ(33〜35)を備える請求項8から10のいずれか一項に記載のデバイス。
  12. 前記少なくとも1つのフィルタが、前記選択されたイベントが時間パターンに従って生じる時間フィルタ(35)を備える請求項11に記載のデバイス。
  13. 前記センシング部(12)が、それぞれのアドレスを有し、イベントのそれぞれのシーケンスを生成する複数の空間的に分散した検出素子を備え、前記少なくとも1つのフィルタが、前記選択されたイベントが検出素子によって空間パターンに対応するアドレスにおいて生成されたイベントである空間フィルタ(33、34)を備える請求項11または12に記載のデバイス。
  14. 前記センシング部(12)の前記検出素子が2次元マトリックスに配置され、前記少なくとも1つのフィルタが、前記選択されたイベントが検出素子によって前記マトリックスの行に対応するアドレスにおいて生成されたイベントである第1の空間フィルタ(33)と、前記選択されたイベントが検出素子によって前記マトリックスの列に対応するアドレスにおいて生成されたイベントである第2の空間フィルタ(34)とを含む請求項13に記載のデバイス。
JP2020535562A 2017-12-26 2018-12-26 イベントベースセンサから信号を出力するための方法、およびそのような方法を使用するイベントベースセンサ Active JP7383616B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17210575.1A EP3506622A1 (en) 2017-12-26 2017-12-26 Method for outputting a signal from an event based sensor, and event-based sensor using such method
EP17210575.1 2017-12-26
PCT/EP2018/086885 WO2019129790A1 (en) 2017-12-26 2018-12-26 Method for outputting a signal from an event-based sensor, and event-based sensor using such method

Publications (2)

Publication Number Publication Date
JP2021508975A true JP2021508975A (ja) 2021-03-11
JP7383616B2 JP7383616B2 (ja) 2023-11-20

Family

ID=60915351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020535562A Active JP7383616B2 (ja) 2017-12-26 2018-12-26 イベントベースセンサから信号を出力するための方法、およびそのような方法を使用するイベントベースセンサ

Country Status (6)

Country Link
US (1) US11631246B2 (ja)
EP (2) EP3506622A1 (ja)
JP (1) JP7383616B2 (ja)
KR (1) KR102627794B1 (ja)
CN (1) CN111630841A (ja)
WO (1) WO2019129790A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
US11416759B2 (en) * 2018-05-24 2022-08-16 Samsung Electronics Co., Ltd. Event-based sensor that filters for flicker
US20230008550A1 (en) * 2019-11-12 2023-01-12 Apple Inc. Sensor with low power synchronous readout
JP7317783B2 (ja) * 2020-09-25 2023-07-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
JP7318150B2 (ja) * 2020-09-25 2023-07-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム
CN112261297B (zh) * 2020-10-22 2022-07-01 维沃移动通信有限公司 动态视觉传感器的控制方法、装置和电子设备
TW202236843A (zh) * 2020-10-30 2022-09-16 日商索尼半導體解決方案公司 固態攝像裝置及電子機器
KR20220164354A (ko) 2021-06-04 2022-12-13 삼성전자주식회사 비전 센서 및 비전 센서의 동작 방법
US11651579B2 (en) * 2021-08-05 2023-05-16 Omnivision Technologies, Inc. Imaging system for detecting human-object interaction and a method for detecting human-object interaction
US11563909B1 (en) * 2021-08-13 2023-01-24 Omnivision Technologies, Inc. Event filtering in an event sensing system
WO2023046392A1 (en) 2021-09-24 2023-03-30 Terranet Tech Ab Filtering a stream of events from an event-based sensor
WO2023117315A1 (en) * 2021-12-20 2023-06-29 Sony Semiconductor Solutions Corporation Sensor device and method for operating a sensor device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2975558A2 (en) * 2014-07-14 2016-01-20 Samsung Electronics Co., Ltd Interfacing apparatus and user input processing method
US20160274643A1 (en) * 2015-03-18 2016-09-22 Universitaet Zuerich Event-based sensor and operating method of processor
JP2017521746A (ja) * 2014-04-30 2017-08-03 サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．） 非同期光センサーによって観測されたシーン内の形状を追跡する方法
JP2017530467A (ja) * 2014-09-16 2017-10-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 事象ベースのシステムとフレームベースの処理システムとをインターフェースすること
JP2017533497A (ja) * 2014-09-16 2017-11-09 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ イベントベースダウンサンプリング

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG162756A1 (en) 2005-06-03 2010-07-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
FR2975251B1 (fr) * 2011-05-12 2015-12-04 Univ Pierre Et Marie Curie Paris 6 Procede et dispositif de commande d'un dispositif d'aide a la vision
US10127439B2 (en) * 2015-01-15 2018-11-13 Samsung Electronics Co., Ltd. Object recognition method and apparatus
US9489735B1 (en) * 2015-09-17 2016-11-08 Qualcomm Incorporated Multiplexed temporal calibration for event-based cameras
FR3042292B1 (fr) * 2015-10-09 2022-12-23 Centre Nat Rech Scient Procede d'optimisation de decomposition d'un signal asynchrone
US11228758B2 (en) * 2016-01-22 2022-01-18 Peking University Imaging method and device
US10198660B2 (en) * 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation
US20170244894A1 (en) * 2016-02-22 2017-08-24 Seastar Labs, Inc. Method and Apparatus for Managing Latency of Remote Video Production
US10235565B2 (en) * 2016-12-21 2019-03-19 Volkswagen Ag System and methodologies for occupant monitoring utilizing digital neuromorphic (NM) data and fovea tracking
US10237481B2 (en) * 2017-04-18 2019-03-19 Facebook Technologies, Llc Event camera for generation of event-based images
EP3506622A1 (en) * 2017-12-26 2019-07-03 Prophesee Method for outputting a signal from an event based sensor, and event-based sensor using such method
KR20190104929A (ko) * 2019-08-22 2019-09-11 엘지전자 주식회사 사용자 인증과 기능 실행을 동시에 수행하는 방법 및 이를 위한 전자 디바이스
US11057641B1 (en) * 2020-04-29 2021-07-06 Samsung Electronics Co., Ltd. Systems and methods of motion estimation using monocular event-based sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017521746A (ja) * 2014-04-30 2017-08-03 サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．） 非同期光センサーによって観測されたシーン内の形状を追跡する方法
EP2975558A2 (en) * 2014-07-14 2016-01-20 Samsung Electronics Co., Ltd Interfacing apparatus and user input processing method
JP2017530467A (ja) * 2014-09-16 2017-10-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 事象ベースのシステムとフレームベースの処理システムとをインターフェースすること
JP2017533497A (ja) * 2014-09-16 2017-11-09 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ イベントベースダウンサンプリング
US20160274643A1 (en) * 2015-03-18 2016-09-22 Universitaet Zuerich Event-based sensor and operating method of processor

Also Published As

Publication number Publication date
CN111630841A (zh) 2020-09-04
KR20200100667A (ko) 2020-08-26
WO2019129790A1 (en) 2019-07-04
US20200372254A1 (en) 2020-11-26
JP7383616B2 (ja) 2023-11-20
US11631246B2 (en) 2023-04-18
KR102627794B1 (ko) 2024-01-23
EP3506622A1 (en) 2019-07-03
EP3732875A1 (en) 2020-11-04

Similar Documents

Publication Publication Date Title
JP7383616B2 (ja) イベントベースセンサから信号を出力するための方法、およびそのような方法を使用するイベントベースセンサ
Linares-Barranco et al. A USB3. 0 FPGA event-based filtering and tracking framework for dynamic vision sensors
US11611715B2 (en) System and method for event camera data processing
US8315305B2 (en) Systems and methods for invariant pulse latency coding
Delbruck Neuromorophic vision sensing and processing
US11558549B2 (en) Methods and devices for capturing high-speed and high-definition videos
US10848709B2 (en) Artificial intelligence based image data processing method and image processing device
Park et al. 7.2 243.3 pJ/pixel bio-inspired time-stamp-based 2D optic flow sensor for artificial compound eyes
US20220100658A1 (en) Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor
CN113408671A (zh) 一种对象识别方法及装置、芯片及电子设备
CN113647095A (zh) 具有反馈回路和多个功率状态的传感器系统架构
US11862053B2 (en) Display method based on pulse signals, apparatus, electronic device and medium
Li et al. Recent advances in neuromorphic vision sensors: A survey
CN113988276A (zh) 一种目标识别方法及系统
Moeys et al. Retinal ganglion cell software and FPGA model implementation for object detection and tracking
KR20220079972A (ko) 저전력 동기식 판독을 이용하는 센서
EP3376754B1 (en) Pixel acquisition circuit, optical flow sensor, and image acquisition system
Nageswaran et al. Computing spike-based convolutions on GPUs
Hoseini et al. Real-time temporal frequency detection in FPGA using event-based vision sensor
Posch et al. Biomimetic frame-free HDR camera with event-driven PWM image/video sensor and full-custom address-event processor
EP3933550A1 (en) Eye tracking device, eye tracking method, and computer-readable medium
WO2020197961A1 (en) Processing of signals using a recurrent state estimator
TW202032426A (zh) 移動偵測方法及其電路
CN109788219B (zh) 一种用于人眼视线追踪的高速cmos图像传感器读出方法
Sengupta et al. Characterization of the High Speed Detection Limits of a Neuromorphic Vision Sensor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230323

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230803

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231108

R150 Certificate of patent or registration of utility model

Ref document number: 7383616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150