JP2017530466A - イベントベースの空間変換 - Google Patents

イベントベースの空間変換 Download PDF

Info

Publication number
JP2017530466A
JP2017530466A JP2017514426A JP2017514426A JP2017530466A JP 2017530466 A JP2017530466 A JP 2017530466A JP 2017514426 A JP2017514426 A JP 2017514426A JP 2017514426 A JP2017514426 A JP 2017514426A JP 2017530466 A JP2017530466 A JP 2017530466A
Authority
JP
Japan
Prior art keywords
event
output
sensor
calculating
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017514426A
Other languages
English (en)
Inventor
ワン、シン
ラストギ、マヌ
ランガン、ベンカト
コンスタブル、ウィリアム・ハワード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2017530466A publication Critical patent/JP2017530466A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)
  • Computing Systems (AREA)
  • Complex Calculations (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

イベントベースのシステムのための空間フーリエ変換を計算するための方法が、センサーから、１つまたは複数のイベントを含む非同期イベント出力ストリームを受信することを含む。この方法は、センサーの次元に基づいて離散フーリエ変換（ＤＦＴ）行列を計算することをさらに含む。この方法はまた、ＤＦＴ行列に基づいて出力を計算することと、イベントプロセッサに出力を適用することとを含む。

Description

関連出願の相互参照
[0001]本出願は、その開示全体が参照により本明細書に明確に組み込まれる、２０１４年９月１６日に出願された「ＥＶＥＮＴ ＢＡＳＥＤ ＳＰＡＴＩＡＬ ＴＲＡＮＳＦＯＲＭＡＴＩＯＮ」と題する米国仮特許出願第６２／０５１，１８７号の米国特許法第１１９条（ｅ）項に基づく利益を主張する。
[0002]本開示のいくつかの態様は、一般に、神経システム工学に関し、より詳細には、イベントベースのダウンサンプリングのためのシステムおよび方法に関する。
[0003]機械視覚は、機械が認識および知覚することを可能にする。従来のシステムでは、ビデオカメラなどのセンサーが機械視覚に用いられる。ビデオカメラは、感光性要素の２次元アレイから視覚的データを周期的にサンプリングするものであるため、フレームベースの視覚センサーと呼ばれることもある。人間の網膜は、対照的に、イベントベースの視覚センサーの例である。すなわち、網膜内の個々のニューロンは視野の一部分に敏感であり、視野のその一部分に変化があると、各ニューロンが脳に向かって信号を送るようになっている。従来のフレームベースのビデオカメラとは異なり、網膜内のニューロンのすべての周期的サンプリングは存在しない。むしろ、視覚データは、一時的な視覚的イベントが存在するときはいつでも、網膜によって送信される。
[0004]網膜と同様に、動的視覚センサー（ＤＶＳ）は、視覚的イベントを検出および送信する感光性要素のアレイを含む。動的視覚センサーの個々の感光性素子は、視覚シーンの一部分に輝度の変化が存在するときに信号を送信する。一例として、イベント駆動型の物体検出システムは、顔または自動車などの移動物体を検出するために動的視覚センサーを使用し、事前のトレーニングに基づいて、検出された物体をリアルタイムで分類し得る。
[0005]いくつかの場合には、時間的な感度を改善するために、イベントベースのサンプリングが指定される。すなわち、フレームベースのセンサーは、フレームベースのセンサーが画像データのフレームを読み取り得る速度に基づいて視覚情報をサンプリングすることに限定され得る。対照的に、動的視覚センサー内の感光性要素は、感光性要素が視野の一部分における変化を検出し得る速度に基づいて視覚情報をサンプリングし得る。改善された時間的な感度に加えて、感光性要素は、視覚的シーンに変化がないときに感光性要素が非アクティブのままであるため、フレームベースのセンサーと比較して、平均してより少ない電力を消費し得る。
[0006]しかし、改善された時間的感度およびより低い消費電力は、従来のイベントベースの視覚システムではまだ完全に実現されていない。具体的に言うと、イベントベースのセンサー出力に対する既知の処理技法の数は、フレームベースの視覚センサーに対する機械視覚の技法の数よりも少ない。フレームベースのセンサーのために開発された一般的な技法は、効率的なダウンサンプリング、サブサンプリング、補間、高速フーリエ変換、およびニューラルネットワークベースの物体分類を含む。
[0007]いくつかの場合には、フレームベースの機械視覚システムのために開発されてきた技法を改善すべく、画像フレームを周期的に再構成するために動的視覚センサーの出力が使用され得る。さらに、従来の画像処理技法が、得られたフレームに適用され得る。しかしながら、画像フレームへの変換は、イベントベースの視覚システムの性能を低下させることになり得る。したがって、イベントベースのセンサーの性能を低下させることなく、フレームベースの技法をイベントベースのシステムに変換することが望ましい。
[0008]本開示の一態様では、イベントベースのシステムのための空間フーリエ変換を計算する方法が開示される。この方法は、センサーから、１つまたは複数のイベントを備える非同期イベント出力ストリームを受信することを含む。この方法はまた、センサーの次元に基づいて離散フーリエ変換（ＤＦＴ）行列を計算することをさらに含む。この方法は、ＤＦＴ行列に基づいて出力を計算することをさらに含む。この方法はまた、イベントプロセッサに出力を適用することをさらに含む。
[0009]本開示の別の態様は、センサーから、１つまたは複数のイベントを備える非同期イベント出力ストリームを受信するための手段を含む装置に関する。この装置はまた、センサーの次元に基づいてＤＦＴ行列を計算するための手段を含む。この装置は、ＤＦＴ行列に基づいて出力を計算するための手段をさらに含む。この装置はまた、イベントプロセッサに出力を適用するための手段をさらに含む。
[0010]本開示の別の態様では、非一時的プログラムコードが記録された非一時的コンピュータ可読媒体が開示される。イベントベースのシステムのための空間フーリエ変換を計算するためのプログラムコードは、プロセッサによって実行され、センサーから、１つまたは複数のイベントを備える非同期イベント出力ストリームを受信するためのプログラムコードを含む。このプログラムコードはまた、センサーの次元に基づいてＤＦＴ行列を計算するためのプログラムコードを含む。このプログラムコードは、ＤＦＴ行列に基づいて出力を計算するためのプログラムコードをさらに含む。このプログラムコードはまた、イベントプロセッサに出力を適用するためのプログラムコードをさらに含む。
[0011]本開示の別の態様では、イベントベースのシステムのための空間フーリエ変換を計算するための装置に関する。その装置は、メモリと、メモリに結合された１つまたは複数のプロセッサとを有する。プロセッサは、センサーから、１つまたは複数のイベントを備える非同期イベント出力ストリームを受信するように構成される。このプロセッサはまた、センサーの次元に基づいてＤＦＴ行列を計算するように構成される。このプロセッサは、ＤＦＴ行列に基づいて出力を計算するようにさらに構成される。このプロセッサはまた、イベントプロセッサに出力を適用するようにさらに構成される。
[0012]本開示の追加の特徴および利点が、以下に説明される。本開示は、本開示の同じ目的を実行するための他の構造を変更または設計するための基礎として容易に利用され得ることを、当業者は了解されたい。また、そのような等価な構成は、添付の特許請求の範囲に記載の本開示の教示から逸脱しないことを、当業者は諒解されたい。さらなる目的および利点とともに、本開示の編成と動作の方法の両方に関して、本開示を特徴づけると考えられる新規の特徴は、添付の図に関連して以下の説明を検討するとより良く理解されよう。ただし、図の各々は、例示および説明のみの目的で与えたものであり、本開示の限界を定めるものではないことを明確に理解されたい。
[0013]本開示の特徴、特性、および利点は、全体を通じて同様の参照符号が同様のものを指す図面とともに、以下に記載する発明を実施するための形態を読めばより明らかになろう。
[0014]本開示のいくつかの態様による、汎用プロセッサを含んだシステムオンチップを使用してニューラルネットワークを設計する例示的な実装形態を示す図。 [0015]本開示のいくつかの態様によるシステムの例示的な実装形態を示す図。 [0016]本開示のいくつかの態様によるイベント駆動型の物体検出システムのコンポーネントの一例を示す図。 [0017]本開示の態様によるイベントベースのシステムのための空間フーリエ変換を計算するための方法を示す流れ図。 本開示の態様によるイベントベースのシステムのための空間フーリエ変換を計算するための方法を示す流れ図。
[0018]添付の図面に関して以下に記載する詳細な説明は、様々な構成を説明することを意図し、本明細書で説明する概念が実施され得る唯一の構成を表す意図はない。詳細な説明は、様々な概念の完全な理解を提供する目的のための特定の詳細を含む。しかしながら、これらの概念がこれらの特定の詳細なしに実施され得ることは、当業者には明らかであろう。いくつかの事例では、よく知られている構造および構成要素は、そのような概念を不明瞭にすることを避けるためにブロック図の形態で示される。
[0019]これらの教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、記載した態様をいくつ使用しても、装置が実装され得、または方法が実施され得る。さらに、本開示の範囲は、記載した本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。開示する開示のいずれの態様も、特許請求の範囲の１つまたは複数の構成要件により実施され得ることを理解されたい。
[0020]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈されるべきであるとは限らない。
[0021]特定の態様が本明細書で説明されるが、これらの態様の多数の変形および置換が、本開示の範囲に入る。好適な態様のいくつかの利益および利点について説明するが、本開示の範囲は、特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
イベント駆動型物体検出システム
[0022]前に説明したように、イベント駆動型の物体検出システムは、顔または自動車などの移動物体を検出するために動的視覚センサー（ＤＶＳ）を使用し、事前のトレーニングに基づいて、検出された物体をリアルタイムで分類し得る。システムにおける計算は、センサーイベントによってトリガされ得る。イベント駆動型の物体検出システムは、検出システムと呼ばれることがある。
[0023]本開示の一態様によれば、検出システムは、イベントが生成されたときに視覚入力を処理する。すなわち、検出システムは、イベントが動的視覚センサーから出力されていない場合には処理を実施しない。たとえば、動的視覚センサーは、監視システムの一部であってもよく、また廊下および玄関に向けられてもよい。シーンに変化がない場合、動的視覚センサーは出力を送信せず、したがって、検出システムはいかなる計算も実施しない。動的視覚センサーは出力を生成し得、イベントベースの検出システムは、シーンに変化があるときに計算を実施し得る。たとえば、戸口に焦点を合わせた動的視覚センサーは、人がドアを通り抜けたときに出力を発生し得る。
[0024]信号処理のために、フーリエ変換などの信号変換が指定され得る。変換は、画像解析、画像フィルタリング、画像再構成、および／または画像圧縮などの画像処理に使用され得る。
[0025]一例では、フーリエ変換は、画像をそのサイン成分とコサイン成分とに分解するために指定され得る。すなわち、入力画像は空間領域におけるものであり、変換の出力は周波数領域における画像を表す。したがって、フーリエ変換は、画像の空間周波数を検出するために指定され得る。
[0026]従来のシステムでは、フレームベースの画像処理のために、フレームの行列乗算に基づいてフーリエ変換が実施され得る。さらに、前に説明したように、イベントベースシステムはフレームを生成しない。むしろ、１つまたは複数のピクセルがイベントに応答してスパイクし得る。したがって、従来の信号変換は、イベントベースの変換には利用できない。したがって、フーリエ変換などの画像変換技法をイベントベースのシステムに提供することが望ましい。
[0027]図１は、本開示のいくつかの態様による、汎用プロセッサ（ＣＰＵ）またはマルチコア汎用プロセッサ（ＣＰＵ）１０２を含み得るシステムオンチップ（ＳＯＣ）１００を使用する上述のイベントベースの変換の例示的な実装形態を示す。変数（たとえば、ニューラル信号およびシナプス荷重）、計算デバイスに関連付けられるシステムパラメータ（たとえば、重み付きニューラルネットワーク）、遅延、周波数ビン情報、およびタスク情報は、ニューラル処理ユニット（ＮＰＵ）１０８に関連付けられるメモリブロック内、ＣＰＵ１０２に関連付けられるメモリブロック内、グラフィクス処理ユニット（ＧＰＵ）１０４に関連付けられるメモリブロック内、デジタル信号プロセッサ（ＤＳＰ）１０６に関連付けられるメモリブロック内、専用のメモリブロック１１８内に記憶され得るか、または複数のブロックにわたって分散され得る。汎用プロセッサ１０２で実行される命令は、ＣＰＵ１０２に関連付けられるプログラムメモリからロードされ得るか、または専用のメモリブロック１１８からロードされ得る。
[0028]ＳＯＣ１００はまた、ＧＰＵ１０４、ＤＳＰ１０６などの特定の機能に合わせて調整された追加の処理ブロック、第４世代ロングタームエボリューション（４Ｇ ＬＴＥ（登録商標））接続性、非ライセンスＷｉ−Ｆｉ（登録商標）接続性、ＵＳＢ接続性、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続性などを含み得る接続性ブロック１１０、ならびに、たとえば、ジェスチャーを検出および認識し得るマルチメディアプロセッサ１１２を含み得る。一実装形態では、ＮＰＵは、ＣＰＵ、ＤＳＰ、および／またはＧＰＵに実装される。ＳＯＣ１００はまた、センサープロセッサ１１４、画像信号プロセッサ（ＩＳＰ）、および／または全地球測位システムを含み得るナビゲーション１２０を含み得る。
[0029]ＳＯＣ１００は、ＡＲＭ命令セットに基づき得る。本開示の一態様では、汎用プロセッサ１０２にロードされる命令は、イベントベースのセンサーから非同期イベント出力ストリームを受信するためのコードを備え得る。汎用プロセッサ１０２にロードされる命令はまた、イベントベースのセンサーの次元に基づいて離散フーリエ変換（ＤＦＴ）行列を計算するためのコードを備え得る。加えて、汎用プロセッサ１０２にロードされる命令は、ＤＦＴ行列に基づいて出力を計算するためのコードを備え得る。さらに、汎用プロセッサ１０２にロードされる命令は、イベントプロセッサに出力を適用するためのコードを備え得る。
[0030]図２は、本開示のいくつかの態様によるシステム２００の例示的な実装形態を示す。図２に示すように、システム２００は、本明細書で説明する方法の様々な動作を実施し得る複数のローカル処理ユニット２０２を有し得る。各処理ユニット２０２は、ローカル状態メモリ２０４と、ニューラルネットワークのパラメータを記憶し得るローカルパラメータメモリ２０６とを備え得る。加えて、ローカル処理ユニット２０２は、ローカルモデルプログラムを記憶するためのローカル（ニューロン）モデルプログラム（ＬＭＰ）メモリ２０８と、ローカル学習プログラムを記憶するためのローカル学習プログラム（ＬＬＰ）メモリ２１０と、ローカル接続メモリ２１２とを有し得る。さらに、図２に示すように、各ローカル処理ユニット２０２は、ローカル処理ユニットのローカルメモリのための構成を提供するための構成プロセッサユニット２１４、およびローカル処理ユニット２０２間のルーティングを提供するルーティング接続処理ユニット２１６とインターフェースし得る。
[0031]本開示の態様によれば、検出システムは、データを処理するための様々なコンポーネントを備える。一例として、図３に示すように、検出システムは、動的視覚センサー（ＤＶＳ）コンポーネントと、イベント駆動型の短時間空間離散フーリエ変換（ＤＦＴ）コンポーネントと、イベント駆動型の特徴抽出コンポーネントと、イベント駆動型の分類コンポーネントとを含み得る。
[0032]一構成では、動的視覚センサーは、イベントを検出するセンサーである。前に説明したように、イベントは感光性要素で受光される強度の変化から生成される。たとえば、動的視覚センサーは、ｉｎｉＬａｂｓ社のＤＶＳ１２８センサーであり得る。センサーアレイは、各ピクセルが時間における対数輝度の平面交差サンプラーであるＮ×Ｎ（Ｎ＝１２８）のサイズを有してもよい。ピクセルの時間分解能は、１０マイクロ秒程度である。動的視覚センサーの出力は、偏光された座標指定イベント列｛（ｔk；ｐk；μk；ｖk）｝であり得、ここで、ｔkおよびｐkはイベントのタイムスタンプおよび極性であり、（μk；ｖk）は時間ｔkにおけるイベントｋのピクセル座標である。ここで、
Figure 2017530466
、ｐk∈｛−１，１｝、μk、ｖk∈｛１，．．．，１２８｝である。
[0033]ピクセル応答関数は、以下のように定義され得る。
Figure 2017530466
ここで、（μ，ｖ）∈｛１，．．．，１２８｝2はピクセルを示し、δはクロネッカーのデルタであり、δ（）はディラックのデルタ関数である。行列はまた、以下の次のように記述され得る。
Figure 2017530466
[0034]イベント駆動型の短時間空間ＤＦＴ（ｅＳＴｓＤＦＴ）コンポーネントは、入力としてイベント列｛（ｔk；ｐk；μk；ｖk）｝を受信し、リアルタイム複素数Ｎ×Ｎ（Ｎ＝１２８）行列を出力する。イベント列は、１つまたは複数のデータパケットで受信され得る。短時間空間ＤＦＴ行列
Figure 2017530466
は、以下のように計算され得る。
Figure 2017530466
上式で、Ｎ次のＤＦＴ行列、ＳNは以下のように計算され得る［発明者：ＳNとは何で、ｗは何か］。
Figure 2017530466
上式で、
Figure 2017530466
は１のｎ乗根であり、
Figure 2017530466
はＳNの第（ｎ＋１）列である。
[0035]さらに、ｗ（−ｔ）＝θ（ｔ）ｅｘｐ（−ｗ0ｔ）は、指数関数的な短時間窓関数である。イベント駆動型の短時間空間ＤＦＴモジュールは、
Figure 2017530466
の値を各センサーイベント｛ｔk｝において計算し得る。一構成では、センサーイベントが最初にそれに応じてダウンサンプリングされ、イベント駆動型の短時間空間ＤＦＴモジュールは、各ダウンサンプリングされたイベントの受信時に短期間空間ＤＦＴの値
Figure 2017530466
を計算する。
[0036]イベント駆動型の特徴抽出（ｅＦＥ）コンポーネントは、イベント駆動型の短時間空間ＤＦＴモジュールのＮ×Ｎ×２次元（空間的にダウンサンプリングされない場合はＮ＝１２８）からＬ＝６４次元の特徴ベクトル（たとえば１２８ １２８個の複素数から６４個の実数）にさらに低減し得る。具体的に言うと、Ｌ個の特徴は、
Figure 2017530466
，
Figure 2017530466
のビニングされた瞬間スペクトルパワーであり得、ここで、＊は共役転置であり、φ（）は対数線形変換関数である。
[0037]
Figure 2017530466
は、１２８×１２８次元ベクトルｘとして記述され得、線形関数φ（）は、対数ｙ＝ ｌｏｇ（φｘ）が後に続く行列乗算として表現され得、ここで、
Figure 2017530466
サイズ３２×（１２８×１２８）の２つのコンポーネントを含み得る、サイズ６４×（１２８×１２８）の２値行列であり、３２のラジアルおよび３２のアンギュラパワービン（angular power bins）に対応する。これらの行列は、一定に評価され、事前に計算される。たとえば、行列は、収集されたトレーニングデータに対して機械学習アルゴリズムをトレーニングすることによって生成されてもよい。代替的に、行列はユーザ指定であってもよい。
[0038]イベント駆動型の特徴抽出（ｅＦＥ）コンポーネントは、イベントベースの様式でｙ（ｔ）の値を計算し得る。たとえば、ｙ（ｔ）は、複数のイベントを含むすべてのセンサーイベントパケットまたはパケットのグループの最後に計算され得る。
[0039]イベント駆動型のサポートベクトル分類（ｅＳＶＭ）コンポーネントなどの分類コンポーネントは、ガウスラジアル基底関数（ＲＢＦ）をカーネルとして有するサポートベクトルマシンによって、ｅＦＥコンポーネントによって抽出されたリアルタイムの特徴ベクトルｙ（ｔ）に基づいて、時変のクラスラベル関数ｚ（ｔ）、たとえば、ｚ（ｔ）＝ψ（ｙ（ｔ））を計算する。
[0040]イベント駆動型のサポートベクトル分類コンポーネントは、最後の分類から少なくともΔｔminに発生するすべてのセンサーイベントパケットまたはパケットのグループの最後にｚ（ｔ）の値を計算し得る。以下に説明するように、表１は、システムのコンポーネントとの間における入力／出力オブジェクトの数学的記述を記載している。本出願では、コンポーネントはモジュールと呼ばれ得る。表１の更新スケジュールは、イベント駆動型の短時間空間ＤＦＴモジュールがすべてのイベントで更新し得ることを示しているが、本開示はそのように限定されない。本開示の態様によれば、イベント駆動型の短時間空間ＤＦＴモジュールは、ダウンサンプリングされた各イベントの後に、または複数のダウンサンプリングされたイベントの受信後に更新し得る。
Figure 2017530466
[0041]表２および表３は、イベント駆動型の短時間空間ＤＦＴのために使用される定数および状態変数を示す。表４は、長さＫのイベントパケットが動的視覚センサーから処理される検出システムの１回の反復に対する擬似コードである。
Figure 2017530466
Figure 2017530466
Figure 2017530466
イベントベースの空間変換
[0042]本開示の態様は、イベントベースのセンサーの出力に画像処理技法を適用することに関する。画像処理技法は、フレームベースの視覚システムに適用される技法と実質的に同様の機能を実施し得る。より具体的には、本開示の態様は、イベント駆動型の物体検出を改善するイベントベースの処理技法に関する。一構成では、フーリエ変換などの変換が動的視覚センサーの出力に適用される。
[0043]本開示の一態様によれば、イベントベースの画像処理システムに対して空間変換が指定される。一構成では、行列の次元をイベントベースのセンサーの次元に基づいたものにして、離散フーリエ変換（ＤＦＴ）行列などの２次元行列が生成される。たとえば、センサーが１２８×１２８のサイズを有するエリアを捕捉するために使用される場合、行列のサイズも１２８×１２８である。したがって、一構成では、センサーの次元に関連付けられる非同期イベントベースの出力ストリームが受信され、離散フーリエ変換行列が、イベントベースのセンサーの次元に基づいて計算される。
[0044]行列が計算された後、初期出力はゼロなどの値に初期化される。出力を初期化した後、変換を実施するためにループが初期化される。具体的に言うと、イベントのｘ座標（ＤＦＴ＿Ｘ）に基づいて、ＤＦＴ行列の行に対応する第１のベクトルが選択される。さらに、イベントのＹ座標（ＤＦＴ＿Ｙ）に基づいて、ＤＦＴ行列の列に対応する第２のベクトルが選択される。さらに、第１および第２のベクトルの外積に基づいて出力が計算される。最後に、システムは、第１および第２のベクトルを選択して出力を決定するプロセスを反復する前に、出力の減衰および増分を行う。
[0045]一構成では、ベントを生成したピクセルにおける推定変換は、次のように計算される。
Figure 2017530466
[0046]上記の式において、｜Ｅ｜は生成されたイベントの絶対値（たとえば、極性）であり、ＤＦＴ＿Ｘは、イベントのｘ座標に基づくＤＦＴ行列の行に対応するベクトルであり、ＤＦＴ＿Ｙ’は、ベクトルＤＦＴ＿Ｙの転置であり、Ｖx、y＿ｎｅｗは、ピクセル（ｘ、ｙ）のフーリエ変換であり、Ｖx、y＿ｏｌｄは前回の推定値である。一構成では、イベントの絶対値｜Ｅ｜値は１または−１の値を有する。さらに、イベントの絶対値｜Ｅ｜は１または−１に限定されず、他の値であってもよい。加えて、Ｖx、y＿ｏｌｄの初期値はゼロである。
[0047]一例として、アドレス（２、３）を有するピクセルは、イベントに応答してスパイクし得る。このスパイクに応答して、ピクセルのｙアドレス（３）に対応するＤＦＴ行列の行が選択される。さらに、このスパイクに応答して、ピクセルのｘアドレス（２）に対応するＤＦＴ行列の列が選択される。選択された列および行は転置され、ピクセルにおける推定変換は、式５に基づいて計算される。推定変換は、ピクセルの空間周波数を検出するために使用され得る。加えて、推定変換の値は、イベント分析、イベントフィルタリング、イベント再構成、および／またはイベント圧縮などのイベント処理に使用され得る。この変換は、イベント処理の速度を改善し、プロセッサの負荷を低減するものである。
[0048]さらに、表４に示すように、変換が適用された後、変換の値は、分類プロセスで使用される特徴抽出器に入力され得る。すなわち、一構成では、変換は、イベントの抽出された特徴に基づいてイベント分類において使用される。
[0049]一構成では、Ｖx、y＿ｎｅｗは指数関数ｔ（α）を乗算され得るが、ここで、ｔは時間であり、αは減衰率である。いくつかの場合には、ピクセルが最初の時間（Ｔ０）にスパイクし得、Ｖx、y＿ｎｅｗが最初の時間のスパイクに対して計算される。さらに、最初のスパイクの後、ピクセルは周期レートでスパイクし得る。たとえば、ピクセルは、第２の時間（Ｔ５）、第３の時間（Ｔ１０）、および第４の時間（Ｔ１５）にスパイクし得る。それゆえに、Ｖx、y＿ｎｅｗは周期的なスパイキングに応答して連続的して増加する。したがって、Ｖx、y＿ｎｅｗは連続的に増大するため、指数関数を使用して値を減衰させることが望ましくなり得る。
[0050]一態様では、変換は、表４の擬似コードに基づいて実施される。表４に示すように、イベントパケットは、ＤＶＳセンサーなどのセンサーから受信される。パケットは、タイムスタンプベクトル、極性ベクトル、水平座標ベクトル、および垂直座標ベクトルを含む。さらに、表４に示すように、イベント数（ｋ）に関するループが初期化される。さらに、ループ内では、変換は次のように計算される。
Figure 2017530466
[0051]式６において、ｔkはイベントの時間であり、ｔcurrentは現在の時間であり、ｔlastは最後のイベントである。さらに、
Figure 2017530466
は計算された変換である。
[0052]図４は、本開示の態様によるイベントベースのシステムのための空間フーリエ変換を計算するためのブロック図４００を示す。図４に示すように、ブロック４０２において、システムは、センサーから非同期イベント出力ストリームを受信する。さらに、ブロック４０４において、システムは、センサーの次元に基づいてＤＦＴ行列を計算する。さらに、ブロック４０６において、システムは、ＤＦＴ行列に基づいて出力を計算する。さらに、ブロック４０８において、システムは、イベントプロセッサに出力を適用する。
[0053]図５は、本開示の態様によるイベントベースのシステムのための空間フーリエ変換を計算するためのブロック図５００を示す。図５に示すように、ブロック５０２において、行列の次元をイベントベースのセンサーの次元に基づかせて、離散フーリエ変換（ＤＦＴ）行列などの２次元行列が生成される。ブロック５０４において、アドレス（ｘ、ｙ）を有するピクセルがイベントに応答してスパイクする。加えて、スパイクに応答して、ブロック５０６において、ピクセルのｙアドレスに対応するＤＦＴ行列の行が選択される。加えて、スパイクに応答して、ブロック５０８において、ピクセルのｘアドレスに対応するＤＦＴ行列の列が選択される。
[0054]ブロック５１０において、選択された列および行が転置され、ピクセルにおける推定変換が計算される。ブロック５１２において、ピクセルの空間周波数を検出するために、推定変換が使用され得る。さらに、ブロック５１４において、推定変換の値がイベント処理に使用され得る。
[0055]１つの構成では、イベントベースのモデルまたは機械学習モデルなどのモデルが、センサーから１つまたは複数のイベントを受信し、センサーの次元に基づいて離散フーリエ変換行列を計算し、ＤＦＴ行列に基づいて出力を計算し、イベントプロセッサにその出力を適用するように構成される。モデルは、受信手段、計算手段、および／または適用手段を含む。一態様では、受信手段、計算手段、および／または適用手段は、汎用プロセッサ１０２、汎用プロセッサ１０２に関連付けられるプログラムメモリ、メモリブロック１１８、ローカル処理ユニット２０２、および／または列挙された機能を実施するように構成されたルーティング接続処理ユニット２１６であり得る。別の構成では、上述の手段は、上述の手段によって具陳された機能を実施するように構成された任意のモジュールまたは任意の装置であり得る。
[0056]本開示のいくつかの態様によれば、各ローカル処理ユニット２０２は、モデルの所望の１つまたは複数の機能的特徴に基づいてモデルのパラメータを決定し、決定されたパラメータがさらに適合、調整および更新されることで、１つまたは複数の機能的特徴を所望の機能的特徴に向けて発展させるように構成され得る。
[0057]上記で説明した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実施され得る。それらの手段は、限定はされないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々な（１つまたは複数の）ハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。
[0058]本明細書で使用される「決定すること」という用語は、様々な活動を包含する。たとえば、「決定すること」は、計算すること、算出すること、処理すること、導出すること、調査すること、探索すること（たとえば、テーブル、データベース、または別のデータ構造の中で探索すること）、確認することなどを含み得る。さらに、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。さらに、「決定すること」は、解決すること、選択すること、選定すること、確立することなどを含み得る。
[0059]本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａと、ｂと、ｃと、ａ−ｂと、ａ−ｃと、ｂ−ｃと、ａ−ｂ−ｃとを包含するものである。
[0060]本開示に関連して説明した様々な例示的な論理ブロック、モジュールおよび回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実施するように設計されたそれらの任意の組合せを用いて実装または実施され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサは、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成としても実装され得る。
[0061]本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実行されるか、またはその２つの組合せで実行され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備え得、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体であり得る。
[0062]本明細書で開示した方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたは行為の特定の順序が指定されていない限り、特定のステップおよび／または行為の順序および／または使用は、特許請求の範囲から逸脱することなく変更され得る。
[0063]説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスおよびブリッジを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路にリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。
[0064]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行することができる他の回路がある。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、例として、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または他の好適な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。
[0065]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に諒解するように、機械可読媒体またはそれの任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加で、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。ローカルな構成要素など、説明した様々な構成要素は、特定のロケーションを有するものとして説明され得るが、それらはまた、分散計算システムの一部として構成されている特定の構成要素などのように、様々な方式で構成され得る。
[0066]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を実現する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を構成する外部メモリとをもつ汎用処理システムとして構成され得る。代替的に、処理システムは、本明細書で説明した神経モデルと神経系のモデルとを実装するための１つまたは複数の神経形態学的プロセッサを備え得る。別の代替として、処理システムは、プロセッサをもつ特定用途向け集積回路（ＡＳＩＣ）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部分とを用いて、あるいは１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、もしくは他の好適な回路、または本開示全体にわたって説明した様々な機能を実行し得る回路の任意の組合せを用いて、実装され得る。当業者には、具体的な適用例と、全体的なシステムに課される全体的な設計制約とに応じて、処理システムについて記載された機能性を最適に実装する方法が認識されよう。
[0067]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に存在するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中に、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行するとき、プロセッサによって実装されることが理解されよう。
[0068]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、コンピュータプログラムのある場所から別の場所への転送を容易にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセス可能な、任意の市販の媒体であってよい。限定でなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または所望のプログラムコードを命令もしくはデータ構造の形式で搬送もしくは記憶するために使用され得、コンピュータによってアクセスされ得る、他の任意の媒体を備え得る。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は、一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。
[0069]したがって、いくつかの態様は、本明細書で提示された動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明した動作を実施するために１つまたは複数のプロセッサによって実行可能である命令をその上に記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。特定の態様では、コンピュータプログラム製品は、パッケージング材料を含み得る。
[0070]さらに、本明細書で説明された方法と技法とを実行するためのモジュールおよび／または他の適切な手段は、適宜、ユーザ端末および／または基地局によってダウンロードされ、ならびに／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、ユーザ端末および／または基地局が記憶手段をデバイスに結合するかまたは与えると様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって提供され得る。その上、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法が利用され得る。
[0071]特許請求の範囲は、上記に示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、上記で説明した方法および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。
[0071]特許請求の範囲は、上記に示した厳密な構成および構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、上記で説明した方法および装置の構成、動作および詳細において、様々な修正、変更および変形が行われ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
イベントベースのシステムのための空間フーリエ変換を計算するための方法であって、
センサーから、少なくとも１つのイベントを備える非同期イベント出力ストリームを受信することと、
前記センサーの次元に少なくとも部分的に基づいて離散フーリエ変換（ＤＦＴ）行列を計算することと、
前記ＤＦＴ行列に少なくとも部分的に基づいて出力を計算することと、
イベントプロセッサに前記出力を適用することとを備える方法。
［Ｃ２］
前記出力を計算することは、
前記出力を初期化することと、
前記少なくとも１つのイベントからのイベントのｘ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の行に対応する第１のベクトルを選択するため、
前記イベントのｙ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の列に対応する第２のベクトルを選択するため、
前記第１のベクトルと前記第２のベクトルとの外積に少なくとも部分的に基づいて、前記出力を更新するため、ならびに
前記出力を減衰および増分するために、
ループを初期化することとを備える、Ｃ１に記載の方法。
［Ｃ３］
前記センサーはイベントベースのセンサーである、Ｃ１に記載の方法。
［Ｃ４］
前記非同期イベント出力ストリームは、少なくともタイムスタンプ、極性、水平座標、および／または垂直座標を備える、Ｃ１に記載の方法。
［Ｃ５］
前記イベントプロセッサは特徴抽出器である、Ｃ１に記載の方法。
［Ｃ６］
イベントベースのシステムのための空間フーリエ変換を計算するための装置であって、
センサーから、少なくとも１つのイベントを備える非同期イベント出力ストリームを受信するための手段と、
前記センサーの次元に少なくとも部分的に基づいて離散フーリエ変換（ＤＦＴ）行列を計算するための手段と、
前記ＤＦＴ行列に少なくとも部分的に基づいて出力を計算するための手段と、
イベントプロセッサに前記出力を適用するための手段とを備える装置。
［Ｃ７］
前記出力を計算するための前記手段は、
前記出力を初期化するための手段と、
前記少なくとも１つのイベントからのイベントのｘ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の行に対応する第１のベクトルを選択するため、
前記イベントのｙ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の列に対応する第２のベクトルを選択するため、
前記第１のベクトルと前記第２のベクトルとの外積に少なくとも部分的に基づいて、前記出力を更新するため、ならびに
前記出力を減衰および増分するために、
ループを初期化するための手段とを備える、Ｃ６に記載の装置。
［Ｃ８］
前記センサーはイベントベースのセンサーである、Ｃ６に記載の装置。
［Ｃ９］
前記非同期イベント出力ストリームは、少なくともタイムスタンプ、極性、水平座標、および／または垂直座標を備える、Ｃ６に記載の装置。
［Ｃ１０］
前記イベントプロセッサは特徴抽出器である、Ｃ６に記載の装置。
［Ｃ１１］
イベントベースのシステムのための空間フーリエ変換を計算するための装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、
センサーから少なくとも１つのイベントを備える非同期イベント出力ストリームを受信し、
前記センサーの次元に少なくとも部分的に基づいて離散フーリエ変換（ＤＦＴ）行列を計算し、
前記ＤＦＴ行列に少なくとも部分的に基づいて出力を計算し、
イベントプロセッサに前記出力を適用するように構成される、装置。
［Ｃ１２］
前記少なくとも１つのプロセッサは、
前記出力を初期化し、
前記少なくとも１つのイベントからのイベントのｘ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の行に対応する第１のベクトルを選択するため、
前記イベントのｙ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の列に対応する第２のベクトルを選択するため、
前記第１のベクトルと前記第２のベクトルとの外積に少なくとも部分的に基づいて、前記出力を更新するため、ならびに
前記出力を減衰および増分するために、
ループを初期化するようにさらに構成される、Ｃ１１に記載の装置。
［Ｃ１３］
前記センサーはイベントベースのセンサーである、Ｃ１１に記載の装置。
［Ｃ１４］
前記非同期イベント出力ストリームは、少なくともタイムスタンプ、極性、水平座標、および／または垂直座標を備える、Ｃ１１に記載の装置。
［Ｃ１５］
前記イベントプロセッサは特徴抽出器である、Ｃ１１に記載の装置。
［Ｃ１６］
プログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードは、イベントベースのシステムのための空間フーリエ変換を計算するために、プロセッサによって実行され、
センサーから少なくとも１つのイベントを備える非同期イベント出力ストリームを受信するためのプログラムコードと、
前記センサーの次元に少なくとも部分的に基づいて離散フーリエ変換（ＤＦＴ）行列を計算するためのプログラムコードと、
前記ＤＦＴ行列に少なくとも部分的に基づいて出力を計算するためのプログラムコードと、
イベントプロセッサに前記出力を適用するためのプログラムコードとを備えるコンピュータ可読媒体。
［Ｃ１７］
前記出力を計算するための前記プログラムコードは、
前記出力を初期化するためのプログラムコードと、
前記少なくとも１つのイベントからのイベントのｘ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の行に対応する第１のベクトルを選択するため、
前記イベントのｙ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の列に対応する第２のベクトルを選択するため、
前記第１のベクトルと前記第２のベクトルとの外積に少なくとも部分的に基づいて、前記出力を更新するため、ならびに
前記出力を減衰および増分するために、
ループを初期化するためのプログラムコードとを備える、Ｃ１６に記載のコンピュータ可読媒体。
［Ｃ１８］
前記センサーはイベントベースのセンサーである、Ｃ１６に記載のコンピュータ可読媒体。
［Ｃ１９］
前記非同期イベント出力ストリームは、少なくともタイムスタンプ、極性、水平座標、および／または垂直座標を備える、Ｃ１６に記載のコンピュータ可読媒体。
［Ｃ２０］
前記イベントプロセッサは特徴抽出器である、Ｃ１６に記載のコンピュータ可読媒体。

Claims (20)

  1. イベントベースのシステムのための空間フーリエ変換を計算するための方法であって、
    センサーから、少なくとも１つのイベントを備える非同期イベント出力ストリームを受信することと、
    前記センサーの次元に少なくとも部分的に基づいて離散フーリエ変換（ＤＦＴ）行列を計算することと、
    前記ＤＦＴ行列に少なくとも部分的に基づいて出力を計算することと、
    イベントプロセッサに前記出力を適用することとを備える方法。
  2. 前記出力を計算することは、
    前記出力を初期化することと、
    前記少なくとも１つのイベントからのイベントのｘ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の行に対応する第１のベクトルを選択するため、
    前記イベントのｙ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の列に対応する第２のベクトルを選択するため、
    前記第１のベクトルと前記第２のベクトルとの外積に少なくとも部分的に基づいて、前記出力を更新するため、ならびに
    前記出力を減衰および増分するために、
    ループを初期化することとを備える、請求項１に記載の方法。
  3. 前記センサーはイベントベースのセンサーである、請求項１に記載の方法。
  4. 前記非同期イベント出力ストリームは、少なくともタイムスタンプ、極性、水平座標、および／または垂直座標を備える、請求項１に記載の方法。
  5. 前記イベントプロセッサは特徴抽出器である、請求項１に記載の方法。
  6. イベントベースのシステムのための空間フーリエ変換を計算するための装置であって、
    センサーから、少なくとも１つのイベントを備える非同期イベント出力ストリームを受信するための手段と、
    前記センサーの次元に少なくとも部分的に基づいて離散フーリエ変換（ＤＦＴ）行列を計算するための手段と、
    前記ＤＦＴ行列に少なくとも部分的に基づいて出力を計算するための手段と、
    イベントプロセッサに前記出力を適用するための手段とを備える装置。
  7. 前記出力を計算するための前記手段は、
    前記出力を初期化するための手段と、
    前記少なくとも１つのイベントからのイベントのｘ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の行に対応する第１のベクトルを選択するため、
    前記イベントのｙ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の列に対応する第２のベクトルを選択するため、
    前記第１のベクトルと前記第２のベクトルとの外積に少なくとも部分的に基づいて、前記出力を更新するため、ならびに
    前記出力を減衰および増分するために、
    ループを初期化するための手段とを備える、請求項６に記載の装置。
  8. 前記センサーはイベントベースのセンサーである、請求項６に記載の装置。
  9. 前記非同期イベント出力ストリームは、少なくともタイムスタンプ、極性、水平座標、および／または垂直座標を備える、請求項６に記載の装置。
  10. 前記イベントプロセッサは特徴抽出器である、請求項６に記載の装置。
  11. イベントベースのシステムのための空間フーリエ変換を計算するための装置であって、
    メモリユニットと、
    前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、
    センサーから少なくとも１つのイベントを備える非同期イベント出力ストリームを受信し、
    前記センサーの次元に少なくとも部分的に基づいて離散フーリエ変換（ＤＦＴ）行列を計算し、
    前記ＤＦＴ行列に少なくとも部分的に基づいて出力を計算し、
    イベントプロセッサに前記出力を適用するように構成される、装置。
  12. 前記少なくとも１つのプロセッサは、
    前記出力を初期化し、
    前記少なくとも１つのイベントからのイベントのｘ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の行に対応する第１のベクトルを選択するため、
    前記イベントのｙ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の列に対応する第２のベクトルを選択するため、
    前記第１のベクトルと前記第２のベクトルとの外積に少なくとも部分的に基づいて、前記出力を更新するため、ならびに
    前記出力を減衰および増分するために、
    ループを初期化するようにさらに構成される、請求項１１に記載の装置。
  13. 前記センサーはイベントベースのセンサーである、請求項１１に記載の装置。
  14. 前記非同期イベント出力ストリームは、少なくともタイムスタンプ、極性、水平座標、および／または垂直座標を備える、請求項１１に記載の装置。
  15. 前記イベントプロセッサは特徴抽出器である、請求項１１に記載の装置。
  16. プログラムコードを記録した非一時的コンピュータ可読媒体であって、前記プログラムコードは、イベントベースのシステムのための空間フーリエ変換を計算するために、プロセッサによって実行され、
    センサーから少なくとも１つのイベントを備える非同期イベント出力ストリームを受信するためのプログラムコードと、
    前記センサーの次元に少なくとも部分的に基づいて離散フーリエ変換（ＤＦＴ）行列を計算するためのプログラムコードと、
    前記ＤＦＴ行列に少なくとも部分的に基づいて出力を計算するためのプログラムコードと、
    イベントプロセッサに前記出力を適用するためのプログラムコードとを備えるコンピュータ可読媒体。
  17. 前記出力を計算するための前記プログラムコードは、
    前記出力を初期化するためのプログラムコードと、
    前記少なくとも１つのイベントからのイベントのｘ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の行に対応する第１のベクトルを選択するため、
    前記イベントのｙ座標に少なくとも部分的に基づいて、前記ＤＦＴ行列の列に対応する第２のベクトルを選択するため、
    前記第１のベクトルと前記第２のベクトルとの外積に少なくとも部分的に基づいて、前記出力を更新するため、ならびに
    前記出力を減衰および増分するために、
    ループを初期化するためのプログラムコードとを備える、請求項１６に記載のコンピュータ可読媒体。
  18. 前記センサーはイベントベースのセンサーである、請求項１６に記載のコンピュータ可読媒体。
  19. 前記非同期イベント出力ストリームは、少なくともタイムスタンプ、極性、水平座標、および／または垂直座標を備える、請求項１６に記載のコンピュータ可読媒体。
  20. 前記イベントプロセッサは特徴抽出器である、請求項１６に記載のコンピュータ可読媒体。
JP2017514426A 2014-09-16 2015-09-16 イベントベースの空間変換 Pending JP2017530466A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462051187P 2014-09-16 2014-09-16
US62/051,187 2014-09-16
US14/855,351 US9846677B2 (en) 2014-09-16 2015-09-15 Event-based spatial transformation
US14/855,351 2015-09-15
PCT/US2015/050440 WO2016044431A1 (en) 2014-09-16 2015-09-16 Event-based spatial transformation

Publications (1)

Publication Number Publication Date
JP2017530466A true JP2017530466A (ja) 2017-10-12

Family

ID=55454904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017514426A Pending JP2017530466A (ja) 2014-09-16 2015-09-16 イベントベースの空間変換

Country Status (5)

Country Link
US (1) US9846677B2 (ja)
EP (1) EP3195142A1 (ja)
JP (1) JP2017530466A (ja)
CN (1) CN107077457A (ja)
WO (1) WO2016044431A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086836A (ja) * 2018-11-22 2020-06-04 株式会社デンソーアイティーラボラトリ 情報処理装置、情報処理方法およびプログラム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127439B2 (en) * 2015-01-15 2018-11-13 Samsung Electronics Co., Ltd. Object recognition method and apparatus
EP3120897A1 (en) * 2015-07-22 2017-01-25 Université Pierre et Marie Curie (Paris 6) Method for downsampling a signal outputted by an asynchronous sensor
US10198660B2 (en) * 2016-01-27 2019-02-05 Samsung Electronics Co. Ltd. Method and apparatus for event sampling of dynamic vision sensor on image formation
KR20180014992A (ko) 2016-08-02 2018-02-12 삼성전자주식회사 이벤트 신호 처리 방법 및 장치
KR102467771B1 (ko) 2016-12-30 2022-11-16 소니 어드밴스드 비주얼 센싱 아게 이벤트-기반 비전 센서를 위한 데이터 레이트 제어
US10855927B2 (en) 2017-03-08 2020-12-01 Samsung Electronics Co., Ltd. Event detecting device including an event signal generator and an output signal generator
US10516841B2 (en) 2017-03-08 2019-12-24 Samsung Electronics Co., Ltd. Pixel, pixel driving circuit, and vision sensor including the same
US10237481B2 (en) * 2017-04-18 2019-03-19 Facebook Technologies, Llc Event camera for generation of event-based images
US10628699B2 (en) * 2017-06-13 2020-04-21 Samsung Electronics Co., Ltd. Event-based image feature extraction
US11468144B2 (en) * 2017-06-15 2022-10-11 Regents Of The University Of Minnesota Digital signal processing using sliding windowed infinite fourier transform
BR112019025191B1 (pt) 2017-06-19 2023-11-28 Basf Se Compostos de pirimidínio substituídos, composição, método para proteger culturas, semente revestida, uso dos compostos e uso de um composto
CN109815876B (zh) * 2019-01-17 2021-01-05 西安电子科技大学 基于地址事件流特征的手势识别方法
US11694304B2 (en) * 2019-11-26 2023-07-04 Samsung Electronics Co., Ltd. Jointly learning visual motion and confidence from local patches in event cameras
KR20210077840A (ko) 2019-12-17 2021-06-28 삼성전자주식회사 다이나믹 비전 센서 시스템

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2869668B2 (ja) * 1990-06-13 1999-03-10 沖電気工業株式会社 ディジタルデータの離散フーリエ又はコサイン変換装置
KR20070046634A (ko) * 2005-10-31 2007-05-03 한국전력공사 배전자동화 기반 고장선로 상의 고장거리 계산 장치
CN101101754B (zh) * 2007-06-25 2011-09-21 中山大学 一种基于傅立叶离散对数坐标变换的稳健音频水印方法
EP2031517A1 (en) 2007-08-28 2009-03-04 Toyota Motor Europe NV Methods and systems for data processing and their applications
US8463721B2 (en) 2010-08-05 2013-06-11 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for recognizing events
FR2975251B1 (fr) 2011-05-12 2015-12-04 Univ Pierre Et Marie Curie Paris 6 Procede et dispositif de commande d'un dispositif d'aide a la vision
EP2574511B1 (en) * 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
US9367798B2 (en) 2012-09-20 2016-06-14 Brain Corporation Spiking neuron network adaptive control apparatus and methods
KR102203810B1 (ko) * 2013-10-01 2021-01-15 삼성전자주식회사 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
CN103745410B (zh) * 2013-12-09 2015-08-05 国核（北京）科学技术研究院有限公司 基于dft定性定量分析的系统可靠性评估方法和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086836A (ja) * 2018-11-22 2020-06-04 株式会社デンソーアイティーラボラトリ 情報処理装置、情報処理方法およびプログラム
JP7104611B2 (ja) 2018-11-22 2022-07-21 株式会社デンソーアイティーラボラトリ 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
CN107077457A (zh) 2017-08-18
US20160078001A1 (en) 2016-03-17
US9846677B2 (en) 2017-12-19
EP3195142A1 (en) 2017-07-26
WO2016044431A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
JP2017530466A (ja) イベントベースの空間変換
JP6615872B2 (ja) イベントベースダウンサンプリング
JP6602851B2 (ja) 事象ベースのシステムとフレームベースの処理システムとをインターフェースすること
US11367313B2 (en) Method and apparatus for recognizing body movement
CN109376667B (zh) 目标检测方法、装置及电子设备
KR101897923B1 (ko) 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체
CN110070029B (zh) 一种步态识别方法及装置
US11393186B2 (en) Apparatus and method for detecting objects using key point sets
Jeeva et al. Survey on background modeling and foreground detection for real time video surveillance
US8675917B2 (en) Abandoned object recognition using pedestrian detection
US20200219269A1 (en) Image processing apparatus and method, and image processing system
Shivthare et al. Suspicious activity detection network for video surveillance using machine learning
US20140147011A1 (en) Object removal detection using 3-d depth information
Resmi et al. Symmetric mask wavelet based detection and tracking of moving objects using variance method
CN109657523B (zh) 一种可行驶区域检测方法和装置
CN108875770B (zh) 行人检测误报数据的标注方法、装置、系统和存储介质
Bae et al. Method to improve efficiency of human detection using scalemap
CN111104870A (zh) 基于卫星视频的运动检测方法、装置、设备和存储介质
CN111860070A (zh) 识别发生改变的对象的方法和装置
Madhavan et al. Violence Detection from CCTV Footage Using Optical Flow and Deep Learning in Inconsistent Weather and Lighting Conditions
Jain et al. A highly adaptive method for moving target detection in dynamic background with a simplified manner
US9460338B2 (en) Face detection method and apparatus with lookup table
CN116563701A (zh) 目标对象检测方法、装置、设备及存储介质