JP2017530467A - 事象ベースのシステムとフレームベースの処理システムとをインターフェースすること - Google Patents

Abstract

事象ベースの処理システムとフレームベースの処理システムとをインターフェースする方法が提示される。本方法は、複数の事象をフレームに変換することを含む。事象は、事象センサから生成され得る。本方法はまた、フレームをフレームベースの処理システムに入力することを含む。【選択図】 図２

Description

関連出願の相互参照
[0001]本出願は、２０１４年９月１６日に出願された「ＩＮＴＥＲＦＡＣＩＮＧ ＡＮ ＥＶＥＮＴ ＢＡＳＥＤ ＳＹＳＴＥＭ ＷＩＴＨ Ａ ＦＲＡＭＥ ＢＡＳＥＤ ＰＲＯＣＥＳＳＩＮＧ ＳＹＳＴＥＭ」と題する米国仮特許出願第６２／０５１，１４５号の米国特許法第１１９条（ｅ）に基づく利益を主張し、その開示は、参照によりその全体が本明細書に明示的に組み込まれる。

[0002]本開示のいくつかの態様は、一般にニューラルシステムエンジニアリングに関し、より詳細には、事象（event）ベースのシステムとフレームベースの処理システムとをインターフェースするためのシステムおよび方法に関する。

[0003]事象駆動型オブジェクト検出システム（event-driven object detection system）は、顔または自動車などの移動オブジェクトを検出するために、動的視覚センサ（ＤＶＳ）などのセンサを使用し得る。さらに、事象駆動型オブジェクト検出システムは、事前のトレーニングに基づいて、検出されたオブジェクトをリアルタイムで分類し得る。場合によっては、検出された事象を処理するために、事象ベースのシステムとフレームベースの処理システムとをインターフェースすることが望ましい。

[0004]本開示の一態様では、事象ベースの処理システムとフレームベースの処理システムとをインターフェースするための方法が開示される。本方法は、複数の事象をフレームに変換することを含む。一構成では、事象は事象センサから生成される。本方法はまた、フレームをフレームベースの処理システムに入力することを含む。

[0005]本開示の別の態様は、複数の事象をフレームに変換するための手段を含む装置を対象とする。一構成では、事象は事象センサから生成される。本装置はまた、フレームをフレームベースの処理システムに入力するための手段を含む。

[0006]本開示の別の態様では、事象ベースの処理システムとフレームベースの処理システムとをインターフェースするためのコンピュータプログラム製品が開示される。本コンピュータプログラム製品は、非一時的プログラムコードが記録された非一時的コンピュータ可読媒体を有する。本プログラムコードはプロセッサによって実行され、複数の事象をフレームに変換するためのプログラムコードを含む。一構成では、事象は事象センサから生成される。本プログラムコードはまた、フレームをフレームベースの処理システムに入力するためのプログラムコードを含む。

[0007]本開示の別の態様は、事象ベースの処理システムと、メモリと、メモリに結合された１つまたは複数のプロセッサとを有するフレームベースの処理システムとをインターフェースするための装置を対象とする。本プロセッサは、複数の事象をフレームに変換するように構成される。一構成では、事象は事象センサから生成される。本プロセッサはまた、フレームをフレームベースの処理システムに入力するように構成される。

[0008]本開示の追加の特徴および利点は、以下で説明される。この開示は、本開示と同じ目的を実行するための他の構造を修正または設計するための基礎として容易に変更され得ることが、当業者によって理解されるべきである。また、添付の特許請求の範囲に記載されるように、そのような等価な構成は本開示の教示から逸脱しないことが、当業者によって理解されるべきである。本開示の特徴と考えられる新規な特徴は、その構成と動作の方法との両方に関して、さらなる目的および利点とともに、添付の図面と関連して考慮されるとき以下の説明からより良く理解されるであろう。しかしながら、図面の各々は単に例示および説明の目的のために提供されているにすぎず、本開示の制限の定義として意図されていないことが、明確には理解されるべきである。

[0009]本開示の特徴、性質、および利点は、同様の参照文字が全体を通して相応して識別する図面を考慮した場合、以下に示される詳細な説明から、より明らかになるだろう。

[0010]本開示のいくつかの態様による、事象駆動型オブジェクト検出システムの構成要素の例を示す図。 [0011]事象ベースの処理システムとフレームベースの処理システムと間のインターフェースの例を示す図。 [0012]本開示のある態様による、事象ベースの処理システムとフレームベースの処理システムとをインターフェースするための方法を示す流れ図。 [0013]例示的な装置における、異なるモジュール／手段／構成要素を示すブロック図。

[0014]添付の図面に関連して以下に示される詳細な説明は、様々な構成の説明として意図されたものであり、本明細書において説明される概念が実現され得る唯一の構成を表すことを意図されるものではない。詳細な説明は、様々な概念の完全な理解を提供する目的で、具体的な詳細を含む。しかしながら、これらの概念がこれらの具体的な詳細なしで実施され得ることは、当業者にとっては明らかであろう。いくつかの事例では、よく知られている構造および構成要素が、そのような概念を曖昧にするのを避けるために、ブロック図形式で示される。

[0015]本教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実装されるにせよ、本開示の任意の他の態様と組み合わされるにせよ、本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。開示する本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。

[0016]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきであるとは限らない。

[0017]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
事象駆動型オブジェクト検出システム
[0018]事象駆動型オブジェクト検出システムは、顔または自動車などの移動オブジェクトを検出するために、動的視覚センサ（ＤＶＳ）などのセンサを使用し得る。さらに、事象駆動型オブジェクト検出システムは、事前のトレーニングに基づいて、検出されたオブジェクトをリアルタイムで分類し得る。システム内の計算は、センサ事象によってトリガされ得る。事象駆動型オブジェクト検出システムは、検出システムと呼ばれ得る。

[0019]本開示の態様によれば、検出システムは、事象が生成されたときに画像を処理し得る。すなわち、センサから事象が出力されていない場合には、検出システムは処理を実行しない。さらに、処理負荷はセンサ事象レートに対して直線的に変化する。

[0020]検出システム１００は、データを処理するための様々なモジュールを備える。一例として、図１に示されるように、検出システムは、動的視覚センサ、事象駆動型ソート時間空間離散フーリエ変換器（ＤＦＴ）１２０、事象駆動型特徴抽出器１３０、および分類器１４０などのセンサ１１０を含み得る。

[0021]一構成では、センサ１１０は事象を検出するように構成される。具体的には、事象は、検出されたピクセルの強度の変化から生成され得る。たとえば、センサ１１０は、ｉｎｉＬａｂｓからのＤＶＳ１２８センサであり得る。センサアレイは、Ｎ×Ｎ（Ｎ＝１２８）のサイズを有し得、各ピクセルは、時間における対数−輝度（log-luminance）のレベル交差サンプラである。ピクセルの時間分解能は、約１０マイクロ秒である。センサの出力は、分極され、座標指定された事象列｛（ｔｋ；ｐｋ；μｋ；ｖｋ）｝であり得、上式でｔｋおよびｐｋはタイムスタンプおよび事象の極性であり、（μｋ；ｖｋ）は事象ｔｋのピクセル座標である。ここで、ｔ_k∈Ｒ、ｐ_k∈｛−１，１｝およびμ_k，ｖ_k∈｛１，．．．，１２８｝である。

[0022]ピクセル応答関数は、以下のように定義され得る。

上式で、（μ，ｖ）∈｛１，．．．，１２８｝²インデックスピクセルである。δはクロネッカーデルタであり、δ（．）はディラックデルタ関数である。行列はまた、次のように書かれ得る。

[0023]事象駆動型空間ＤＦＴ（ｅＳＴｓＤＦＴ）１２０は、事象列｛（ｔ_k；ｐ_k；μ_k；ｖ_k）｝を入力として受信し、空間ＤＦＴのリアルタイム複素Ｎ×Ｎ（Ｎ＝１２８）行列を出力する。

[0024]ここで

はＮ次のＤＦＴ行列であり、上式で、

は１のＮ乗根であり、

はＳ_Nの（ｎ＋１）番目の列である。

[0025]さらに、ｗ（−ｔ）＝θ（ｔ）ｅｘｐ（−ω₀ｔ）は指数関数的な短時間窓関数である。ｅＳＴｓＤＦＴ１２０は、各センサ事象｛ｔ_k｝において

の値を計算する。

[0026]事象駆動型特徴抽出器（ｅＦＥ）１３０は、Ｎ×Ｎ×２（Ｎ＝１２８）からＬ＝６４へ（すなわち、１２８個の複素数から６４個の実数へ）のｅＳＴｓＤＦＴ１２０の出力の次元数を減少させる。具体的には、Ｌ個の特徴は、

のビニングされた瞬時スペクトルパワーであり、

であり、上式で、＊は共役転置であり、

は対数線形変換関数であり、次のように計算される。

[0027]

は１２８×１２８次元のベクトルｘおよび線形関数

として書かれ得、対数ｙ＝ｌｏｇ（φｘ）が後に続く行列乗算として表され得、上式で、

は、サイズ３２×（１２８×１２８）の２つの成分を含むサイズ６４×（１２８×１２８）のバイナリ行列であり、３２個の放射状のビンおよび３２個の角度パワー（angular power）ビンに対応する。これらの行列は一定値であり、事前に計算された、すなわち手作りの特徴である。

[0028]事象駆動型特徴抽出器１３０は、約１００〜２００個の事象を含む各センサ事象パケットの最後にｙ（ｔ）の値を計算する。

[0029]事象駆動型サポートベクトル分類器（ｅＳＶＭ）などの分類器１４０は、ｅＦＥ１３０によって抽出されたリアルタイムの特徴ベクトルｙ（ｔ）に基づいて、時変（time-varying）クラスラベル関数ｚ（ｔ）を計算し、すなわち、カーネルとしてガウス放射基底関数（ＲＢＦ）を有するサポートベクトルマシンのために、ｚ（ｔ）＝ψ（ｙ（ｔ））である。

[0030]分類器１４０は、最後の分類以来少なくともΔｔ_minに発生する各センサ事象パケットの最後にｚ（ｔ）の値を計算する。以下に説明されるように、表１は、システムのモジュール／構成要素への、およびそこからの、入力／出力オブジェクトの数学的記述を指定する。

[0031]表２および表３は、事象駆動型の短時間空間ＤＦＴに使用される定数および状態変数を提供する。表４は、長さＫの事象パケットがＤＶＳから処理される検出システムの１回の反復に対する擬似コードである。

事象ベースのシステムとフレームベースの処理システムとをインターフェースすること
[0032]前述のように、事象ベースの処理システムは、人または自動車などの移動オブジェクトを検出するために、動的視覚センサ（ＤＶＳ）などのセンサを使用し得る。たとえば、動的視覚センサなどのセンサは、少なくとも１つの事象が、輝度が特定の場所で変化したことの表示であるように、輝度の変化を検出する。さらに、事象駆動型オブジェクト検出システムは、事前のトレーニングに基づいて、検出されたオブジェクトをリアルタイムで分類し得る。したがって、事象ベースの処理システムは、１つまたは複数の検出された事象を出力し得る。本出願では、事象はピクセル事象と呼ばれ得る。

[0033]さらに、フレームベースの処理システムは、写真などのフレーム内で検出されたオブジェクトを分類する。フレームは、サポートベクトルマシン（ＳＶＭ）分類器などのフレームベースの処理システムによって処理され得る。従来のシステムでは、事象ベースのオブジェクト検出システムによって出力された事象は、フレームベースの処理システムによって処理され得ない。フレームベースの処理システムは、フレームベース分類器と呼ばれ得る。

[0034]さらに、場合によっては、フレームベースの処理システムが、事象ベースのオブジェクト検出システムのために指定され得る。フレームベースの処理システムの所望の入力は、事象ベースのオブジェクト検出システムの出力と互換性がない場合があるため、事象ベースの出力をフレーム入力に変換するためにインターフェースが指定され得る。事象を変換することは、事象が受信されるときにリアルタイムで実行されてもよく、特定の数の事象が受信されたときに実行されてもよい。事象ベースのオブジェクト検出システムは、事象ベースのシステムまたは事象ベースの処理システムと呼ばれ得る。

[0035]一構成では、所定の時間にわたって受信された事象を集約することによってフレームを生成するために、タイミングインターフェースが指定される。さらに、集約された事象は、インターフェースからフレームベースの分類器に入力される。特定の時間期間は、所望の結果および／または処理負荷に基づいて動的に変更され得る。別の構成では、特定の数の事象をフレームに集約することによってフレームを生成するために、事象番号インターフェースが指定される。特定の数の事象は、所望の結果および／または処理負荷に基づいて動的に変更され得る。

[0036]さらに、一構成では、インターフェースが動的に選択される。すなわち、インターフェースは、特定の時間期間にわたって事象をフレームに集約することと、特定の数の事象をフレームに集約することとの間で動的に切り替えることができ、その逆も可能である。切替えは、所望の結果および／または処理負荷に基づいて開始され得る。

[0037]本開示の態様は、画像処理に限定されず、音声センサなどの他のセンサにも適用され得る点に留意されたい。たとえば、音声周波数または他の音声特性は、事象ベースのオブジェクト検出システムによって検出され得、フレームベースの処理システムまたは同等のタイプの処理システムに入力され得る。

[0038]追加的または代替的に、一構成では、事象ベースのオブジェクト検出システムの出力とインターフェースへの入力との間にフィルタが定義され得る。フィルタは、重要ではない特定の領域からの事象、増加したノイズ量を生成する領域からの事象、および／または他の条件を満たす事象などの特定の事象をフィルタリング（すなわち、ドロップ）するように指定され得る。一構成では、下流処理ブロック（downstream processing block）は、特定の領域からの事象の数がしきい値を超えたことを決定する。したがって、特定の領域からの後続の事象をドロップするための事象のフィルタリングは、下流処理ブロックによって指定され得る。この領域は、事象を生成する空間領域および／または事象を生成する特定の車両などの特定の事象ジェネレータを参照し得る。

[0039]フィルタは、視覚的なフィルタリング事象に限定されず、音声、時間的、または他の事象をフィルタリングすることもできる点に留意されたい。たとえば、フィルタは、音声周波数などの特定のスペクトル周波数で発生する事象をドロップし得、および／または、フィルタは、特定の時間期間に発生する事象をドロップし得る。さらに、特定の領域からの事象またはすべての事象は、システムの処理負荷がしきい値を超えたとき、および／または別の条件が満たされたときに、ドロップされ得る。

[0040]たとえば、特定の領域がしきい値を超える事象を生成した可能性がある。したがって、システムはすでに特定の数の事象を受信しているため、システムはもはや特定の地域から追加の事象を受信することを望んでいない可能性がある。したがって、特定の領域からの事象をフィルタリングするためにフィルタが指定され得る。別の例として、フレームベースの分類器などの下流処理ブロックは、１つまたは複数の特定の領域からの事象のみを分類することを望む場合がある。したがって、フィルタは、所望の領域とは異なるすべてまたは一部の事象をフィルタリングし得る。

[0041]図２は、本開示のある態様によるインターフェースの一例を示す。図２に示されるように、事象は、事象ジェネレータ２０２において生成され得る。事象ジェネレータは、カメラなどのセンサ、または事象を処理する他のデバイスであり得る。たとえば、事象は、カメラで受信したピクセルから生成された事象であり得る。さらに、事象はインターフェース２０４に入力される。前述のように、インターフェースは、フレームを生成するために、タイミングインターフェースと事象番号インターフェースとの間で動的に選択し得る。さらに、生成されたフレームは、フレームベースの処理システムなどの分類器２０６に出力される。さらに、図２に示されるように、事象ジェネレータ２０２とインタ−フェース２０４との間に任意のフィルタ２０８が定義され得る。前述のように、すべての事象または特定の事象をフィルタリングするためにフィルタ２０８が使用され得る。

[0042]図３は、本開示の態様による、事象ベースのシステムとフレームベースの処理システムとをインターフェースするための流れ図３００を示す。図３に示されるように、ブロック３０２において、システムは複数の事象をフレームに変換する。事象は、事象センサから生成され得る。さらに、ブロック３０４において、システムは、フレームを分類器などのフレームベースの処理システムに入力する。

[0043]図４は、事象ベースのシステムとフレームベースのシステムとのインターフェースするための処理システム４１４を使用する装置４００のハードウェア実装形態の一例を示す図である。処理システム４１４は、一般にバス４２４によって表されるバスアーキテクチャで実装され得る。バス４２４は、処理システム４１４の特定のアプリケーションおよび全体的な設計制約に応じて、任意の数の相互接続バスおよびブリッジを含み得る。バス４２４は、プロセッサ４２２、モジュール４０２、４０４、およびコンピュータ可読媒体４２６によって表される１つまたは複数のプロセッサおよび／あるいはハードウェアモジュールを含む様々な回路を一緒にリンクする。バス４２４はまた、タイミングソース、周辺機器、電圧調整器、および電力管理回路などの様々な他の回路をリンクし得、これらは当技術分野でよく知られているため、これ以上説明しない。

[0044]本装置は、トランシーバ４３０に結合された処理システム４１４を含む。トランシーバ４３０は、１つまたは複数のアンテナ４２０に結合される。トランシーバ４３０は、伝送媒体を介して様々な他の装置と通信することを可能にする。処理システム４１４は、コンピュータ可読媒体４２６に結合されたプロセッサ４２２を含む。プロセッサ４２２は、コンピュータ可読媒体４２６に記憶されたソフトウェアの実行を含む一般的な処理を担う。ソフトウェアは、プロセッサ４２２によって実行されると、処理システム４１４に任意の特定の装置について記載された様々な機能を実行させる。コンピュータ可読媒体４２６はまた、ソフトウェアを実行するときにプロセッサ４２２によって操作されるデータを記憶するために使用され得る。

[0045]処理システム４１４は、事象センサから生成された事象をフレームに変換するための変換モジュール４０２を含む。処理システム４１４はまた、フレームをフレームベースの処理システムに入力するための入力モジュール４０４を含む。モジュールは、プロセッサ４２２で動作し、コンピュータ可読媒体４２６に常駐／記憶されたソフトウェアモジュール、プロセッサ４２２に結合された１つまたは複数のハードウェアモジュール、あるいはそれらの何らかの組合せであり得る。

[0046]一構成では、インターフェース２０４は、事象ベースの処理システムとフレームベースの処理システムとをインターフェースするように構成されている。インターフェース２０４は、変換するための手段と、入力するための手段とを含み得る。一態様では、変換手段は、変換手段によって記載された機能を実行するように構成された変換モジュール４０２であり得る。インターフェース２０４はまた、入力するための手段を含むように構成されている。一態様では、入力手段は、入力手段によって記載された機能を実行するように構成された入力モジュール４０４であり得る。別の態様では、上述の手段は、上記の手段によって記載された機能を実行するように構成された任意のモジュールまたは任意の装置であり得る。

[0047]上述した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々なハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。

[0048]本明細書で使用する「決定」という用語は、多種多様なアクションを包含する。たとえば、「決定」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含み得る。さらに、「決定」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。さらに、「決定」は、解決すること、選択すること、選定すること、確立することなどを含み得る。

[0049]本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものとする。

[0050]本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。

[0051]本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体で存在し得る。使用され得る記憶媒体のいくつかの例は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどを含む。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体化され得る。

[0052]本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく変更され得る。

[0053]説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスとブリッジとを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路にリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。

[0054]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行し得る他の回路を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、一例として、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読出し専用メモリ（ＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読出し専用メモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または他の任意の適切な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。

[0055]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加で、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。論じた様々な構成要素は、ローカル構成要素などの特定の位置を有するものとして説明され得るが、それらはまた、分散コンピューティングシステムの一部として構成されているいくつかの構成要素などの様々な方法で構成され得る。

[0056]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を提供する外部メモリとをもつ汎用処理システムとして構成され得る。あるいは、処理システムは、本明細書に記載のニューロンモデルとニューラルシステムのモデルとを実装するための１つまたは複数のニューロモーフィックプロセッサを備え得る。別の代替として、処理システムは、プロセッサを有する特定用途向け集積回路（ＡＳＩＣ）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部とを用いて、あるいは１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、または他の任意の適切な回路、あるいは本開示全体を通じて説明した様々な機能を実行し得る回路の任意の組合せを用いて実装され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明した機能を最も良く実装し得るかを理解されよう。

[0057]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。

[0058]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体を適切に名づけられる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0059]したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令を記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。

[0060]さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にユーザ端末および／または基地局によってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、ユーザ端末および／または基地局が記憶手段をデバイスに結合または提供すると様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって提供され得る。その上、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法が利用され得る。

[0061]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。

[0061]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
事象ベースの処理システムとフレームベースの処理システムとをインターフェースする方法であって、
事象センサから生成された複数の事象をフレームに変換することと、
前記フレームを前記フレームベースの処理システムに入力することと
を備える、方法。
［Ｃ２］
前記複数の事象が、特定の時間期間にわたって前記フレームに集約される、Ｃ１に記載の方法。
［Ｃ３］
前記特定の時間期間が、所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、Ｃ２に記載の方法。
［Ｃ４］
前記複数の事象のうちの特定の数の事象が前記フレームに集約される、Ｃ１に記載の方法。
［Ｃ５］
前記特定の数の事象が、所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、Ｃ４に記載の方法。
［Ｃ６］
前記変換することが、特定の時間期間にわたって事象を前記フレームに集約することと、特定の数の事象を前記フレームに集約することとの間で動的に切り替えることを備える、Ｃ１に記載の方法。
［Ｃ７］
処理負荷、しきい値を超える事象の数、またはそれらの組合せに少なくとも部分的に基づいて、事象をフィルタリングすることをさらに備える、Ｃ１に記載の方法。
［Ｃ８］
前記複数の事象のうちの少なくとも１つの事象が、輝度が特定の場所で変化したことの視覚センサからの表示である、Ｃ１に記載の方法。
［Ｃ９］
事象ベースの処理システムとフレームベースの処理システムとをインターフェースするための装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
事象センサから生成された複数の事象をフレームに変換することと、
前記フレームを前記フレームベースの処理システムに入力することと
を行うように構成される、装置。
［Ｃ１０］
前記複数の事象が、特定の時間期間にわたって前記フレームに集約される、Ｃ９に記載の装置。
［Ｃ１１］
前記特定の時間期間が、所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、Ｃ１０に記載の装置。
［Ｃ１２］
前記複数の事象のうちの特定の数の事象が前記フレームに集約される、Ｃ９に記載の装置。
［Ｃ１３］
前記特定の数の事象が、所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、Ｃ１２に記載の装置。
［Ｃ１４］
前記少なくとも１つのプロセッサが、特定の時間期間にわたって事象を前記フレームに集約することと、特定の数の事象を前記フレームに集約することとの間で動的に切り替えることによって変換するようにさらに構成される、Ｃ９に記載の装置。
［Ｃ１５］
前記少なくとも１つのプロセッサが、処理負荷、しきい値を超える事象の数、またはそれらの組合せに少なくとも部分的に基づいて、事象をフィルタリングするようにさらに構成される、Ｃ９に記載の装置。
［Ｃ１６］
前記複数の事象のうちの少なくとも１つの事象が、輝度が特定の場所で変化したことの視覚センサからの表示である、Ｃ９に記載の装置。
［Ｃ１７］
事象ベースの処理システムとフレームベースの処理システムとをインターフェースするための装置であって、
事象センサから生成された複数の事象をフレームに変換するための手段と、
前記フレームを前記フレームベースの処理システムに入力するための手段と
を備える、装置。
［Ｃ１８］
前記複数の事象が、特定の時間期間にわたって前記フレームに集約される、Ｃ１７に記載の装置。
［Ｃ１９］
前記特定の時間期間が、所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、Ｃ１８に記載の装置。
［Ｃ２０］
前記複数の事象のうちの特定の数の事象が前記フレームに集約される、Ｃ１７に記載の装置。
［Ｃ２１］
前記特定の数の事象が、所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、Ｃ２０に記載の装置。
［Ｃ２２］
前記変換する手段が、特定の時間期間にわたって事象を前記フレームに集約することと、特定の数の事象を前記フレームに集約することとの間で動的に切り替える、Ｃ１７に記載の装置。
［Ｃ２３］
処理負荷、しきい値を超える事象の数、またはそれらの組合せに少なくとも部分的に基づいて、事象をフィルタリングするための手段をさらに備える、Ｃ１７に記載の装置。
［Ｃ２４］
前記複数の事象のうちの少なくとも１つの事象が、輝度が特定の場所で変化したことの視覚センサからの表示である、Ｃ１７に記載の装置。
［Ｃ２５］
事象ベースの処理システムとフレームベースの処理システムとをインターフェースするためのコンピュータプログラム製品であって、
プログラムコードを記録した非一時的コンピュータ可読媒体を備え、前記プログラムコードがプロセッサによって実行され、
事象センサから生成された複数の事象をフレームに変換するためのプログラムコードと、
前記フレームを前記フレームベースの処理システムに入力するためのプログラムコードと
を備える、コンピュータプログラム製品。

Claims (25)

1. 事象ベースの処理システムとフレームベースの処理システムとをインターフェースする方法であって、
   事象センサから生成された複数の事象をフレームに変換することと、
   前記フレームを前記フレームベースの処理システムに入力することと
   を備える、方法。
2. 前記複数の事象が、特定の時間期間にわたって前記フレームに集約される、請求項１に記載の方法。
3. 前記特定の時間期間が、所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項２に記載の方法。
4. 前記複数の事象のうちの特定の数の事象が前記フレームに集約される、請求項１に記載の方法。
5. 前記特定の数の事象が、所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項４に記載の方法。
6. 前記変換することが、特定の時間期間にわたって事象を前記フレームに集約することと、特定の数の事象を前記フレームに集約することとの間で動的に切り替えることを備える、請求項１に記載の方法。
7. 処理負荷、しきい値を超える事象の数、またはそれらの組合せに少なくとも部分的に基づいて、事象をフィルタリングすることをさらに備える、請求項１に記載の方法。
8. 前記複数の事象のうちの少なくとも１つの事象が、輝度が特定の場所で変化したことの視覚センサからの表示である、請求項１に記載の方法。
9. 事象ベースの処理システムとフレームベースの処理システムとをインターフェースするための装置であって、
   メモリユニットと、
   前記メモリユニットに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
   事象センサから生成された複数の事象をフレームに変換することと、
   前記フレームを前記フレームベースの処理システムに入力することと
   を行うように構成される、装置。
10. 前記複数の事象が、特定の時間期間にわたって前記フレームに集約される、請求項９に記載の装置。
11. 前記特定の時間期間が、所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項１０に記載の装置。
12. 前記複数の事象のうちの特定の数の事象が前記フレームに集約される、請求項９に記載の装置。
13. 前記特定の数の事象が、所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項１２に記載の装置。
14. 前記少なくとも１つのプロセッサが、特定の時間期間にわたって事象を前記フレームに集約することと、特定の数の事象を前記フレームに集約することとの間で動的に切り替えることによって変換するようにさらに構成される、請求項９に記載の装置。
15. 前記少なくとも１つのプロセッサが、処理負荷、しきい値を超える事象の数、またはそれらの組合せに少なくとも部分的に基づいて、事象をフィルタリングするようにさらに構成される、請求項９に記載の装置。
16. 前記複数の事象のうちの少なくとも１つの事象が、輝度が特定の場所で変化したことの視覚センサからの表示である、請求項９に記載の装置。
17. 事象ベースの処理システムとフレームベースの処理システムとをインターフェースするための装置であって、
    事象センサから生成された複数の事象をフレームに変換するための手段と、
    前記フレームを前記フレームベースの処理システムに入力するための手段と
    を備える、装置。
18. 前記複数の事象が、特定の時間期間にわたって前記フレームに集約される、請求項１７に記載の装置。
19. 前記特定の時間期間が、所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項１８に記載の装置。
20. 前記複数の事象のうちの特定の数の事象が前記フレームに集約される、請求項１７に記載の装置。
21. 前記特定の数の事象が、所望の結果、処理負荷、またはそれらの組合せに少なくとも基づいて動的に変更される、請求項２０に記載の装置。
22. 前記変換する手段が、特定の時間期間にわたって事象を前記フレームに集約することと、特定の数の事象を前記フレームに集約することとの間で動的に切り替える、請求項１７に記載の装置。
23. 処理負荷、しきい値を超える事象の数、またはそれらの組合せに少なくとも部分的に基づいて、事象をフィルタリングするための手段をさらに備える、請求項１７に記載の装置。
24. 前記複数の事象のうちの少なくとも１つの事象が、輝度が特定の場所で変化したことの視覚センサからの表示である、請求項１７に記載の装置。
25. 事象ベースの処理システムとフレームベースの処理システムとをインターフェースするためのコンピュータプログラム製品であって、
    プログラムコードを記録した非一時的コンピュータ可読媒体を備え、前記プログラムコードがプロセッサによって実行され、
    事象センサから生成された複数の事象をフレームに変換するためのプログラムコードと、
    前記フレームを前記フレームベースの処理システムに入力するためのプログラムコードと
    を備える、コンピュータプログラム製品。

Images