JP2018509847A - 非同期信号を処理するための方法 - Google Patents

非同期信号を処理するための方法 Download PDF

Info

Publication number
JP2018509847A
JP2018509847A JP2017549000A JP2017549000A JP2018509847A JP 2018509847 A JP2018509847 A JP 2018509847A JP 2017549000 A JP2017549000 A JP 2017549000A JP 2017549000 A JP2017549000 A JP 2017549000A JP 2018509847 A JP2018509847 A JP 2018509847A
Authority
JP
Japan
Prior art keywords
context
pixel
event
typical
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017549000A
Other languages
English (en)
Other versions
JP6833708B2 (ja
JP2018509847A5 (ja
Inventor
イエン・シオ−ホイ
ベノスマン・リヤド
シ・バートラム
Original Assignee
ユニヴェルシテ・ピエール・エ・マリ・キュリ・（パリ・６）
サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．）
サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．）
アンセルム（アンスティチュート・ナシオナル・ドゥ・ラ・サンテ・エ・ドゥ・ラ・ルシェルシュ・メディカル）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニヴェルシテ・ピエール・エ・マリ・キュリ・（パリ・６）, サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．）, サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク（セ．エン．エル．エス．）, アンセルム（アンスティチュート・ナシオナル・ドゥ・ラ・サンテ・エ・ドゥ・ラ・ルシェルシュ・メディカル） filed Critical ユニヴェルシテ・ピエール・エ・マリ・キュリ・（パリ・６）
Publication of JP2018509847A publication Critical patent/JP2018509847A/ja
Publication of JP2018509847A5 publication Critical patent/JP2018509847A5/ja
Application granted granted Critical
Publication of JP6833708B2 publication Critical patent/JP6833708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本発明は、光センサによって生み出される非同期信号を処理するための方法に関し、このセンサが、シーンに対向して配置された画素マトリクスを有し、この方法は、光センサから、マトリクスの画素ごとに前記画素からの連続イベントを含む非同期信号を受信するステップ(500)、イベントが非同期信号中で受信されるときの活動プロファイルを使用して、非同期信号を解析するステップ(501)を含む。活動プロファイルは、センサの画素(p)ごとに、少なくとも、前記画素からの連続イベントの中で直近のイベント(310、311、312、313、314、320、321、322)から経過した時間(t)に応じて減少する活動値(S(p))を含む。

Description

本発明は、非同期信号処理の分野に関し、特に、この信号における形状検出に関する。
様々な映像信号処理技法がこれまでに開発されている。それらの技法は、一般に、従来のラスター画像手法に基づいている。
非同期センサ(DVS、ATIS)が存在する。これらのセンサは、有利に、従来のカメラに取って代わることができる。
しかし、信号の処理は、ラスター画像カメラの世界におけるほど直感的ではない。ある種のアルゴリズムが、ある種の問題群(たとえば、オプティカルフロー、形状追跡)を処理するために開発されてはいるが、他の問題は、ほとんど、もしくは全く研究されておらず、またはそれらを解決することは、より難しい。
これは、特に形状認識の場合にそうである。
形状および/または動きを検出するために、現在の方法(すなわち、従来のカメラからの映像データを使用すること)は、問題の映像データ付近に位置する画素のセットに固有の特定の視覚的特性の識別を追及する。
これらの視覚的特性は、ほとんどの場合、当業者には、画像の空間情報として(たとえこの空間情報が動いている可能性があるとしても)とらえられる。
その場合、映像データ時間情報は、軽視されることが多く、せいぜい、視覚的特性の変動/変化が、映像データの2つ以上の画像(またはフレーム)間で追及され得るくらいのものである。
時間成分を軽視することは、主に、通常の映像取得技術によって説明することが可能であり、すなわち、映像データは、多数の静止画像(またはフレーム)を生み出す取得の産物である。
この映像取得技術は、歴史的に見て、映像が処理または表示される方式を条件付けている。この一連の静止画像の存在は、映像データの時間(または動的)情報の操作を困難にする。
映像データの秒当たりの画像の数を増加させることは可能であるが、取得という観点におけるハードウェアの制約に関する理由か、または形状検出のために従来のツールを用いてこのデータをリアルタイムに処理する理由かにかかわらず、これらの画像の周波数が100Hzを超えることはまれである。
したがって、映像データの時間情報を最大限に活用することによって使用可能な信頼できる形状を検出する必要性がある。
したがって、本発明は、この状況を改善する。
規則的なサンプリング瞬間に連続画像を記録する従来のカメラと対照的に、ヒトの眼の働きから着想された生体網膜が開発されている。生体網膜は、見ることになるシーンに関する冗長情報をほんのわずかしか伝送せず、これは、非同期的である。
イベント駆動型の非同期視覚センサは、圧縮されたデジタルデータをイベントの形で引き渡す。
そのようなセンサの提示は、「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS)、2426〜2429頁において参照され得る。イベントベースの視覚センサは、冗長性を除去するという利点を有し、それにより、従来のカメラに対して、ラグタイムが低減し、ダイナミックレンジが増大する。
そのような視覚センサの出力は、画素アドレスごとに、それらが行われる時にシーンの反射率の変化を表す一連の非同期イベントから成ることができる。
センサの各画素は、独立しており、最後のイベントが発生して以降の、閾値よりも大きい強度の変化(たとえば、強度の対数を15%上回るコントラスト)を検出する。強度の変化が設定された閾値を超えたとき、強度が増加しているのか、それとも減少しているのかに従って、ONまたはOFFイベントが画素によって生成される(DVSセンサ)。ある種の非同期センサは、検出されたイベントを光強度の測定結果に関連付ける(ATISセンサ)。
センサは、従来のカメラのようにクロック単位でサンプリングされないので、それは、(たとえば、約1μsの)高い時間精度でイベント順序付けを考慮に入れることができる。そのようなセンサが、一連の画像を再構築するのに使用される場合、従来のカメラの数十ヘルツと比較して、数キロヘルツという画像レートが達成し得る。
これらのカメラの高い時間精度は、映像の時間情報を最大限に活用することを可能にすることができる。
しかしながら、イベントは時間(t)および空間(x、y)において厳密な概念であるので、これらのセンサからのイベントを処理することは複雑であり得る。したがって、その処理およびその解析は、困難であり得る。
「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS)、2426〜2429頁 D. BallardおよびJ. Jehee、「Dynamic coding of signed quantities in cortical feedback circuits」、Frontiers in Psychology、3巻、第254号、2012
そのため、非同期センサから生じる信号の適切な解析を行うために操作され得る単純な機器を創出する必要性がある。
そのようなセンサが引き渡す非常に多数のイベントにおいて時間次元の動態を失うことなく時空間特性の識別を容易にするために、解析には、特に、空間次元および時間次元を含めなくてはならない。
この趣旨で、本発明は、光センサによって生み出される非同期信号を処理するための方法を提案し、このセンサは、シーンに対向して配置された画素マトリクスを有し、この方法は、
- 光センサから、マトリクスの画素ごとに前記画素からの連続イベントを含む非同期信号を受信するステップ、
- イベントが非同期信号中で受信されるときの活動プロファイル(activity profile)を使用して、非同期信号を解析するステップ
を含む。
活動プロファイルは、センサの画素ごとに、少なくとも、前記画素からの連続イベントの中で直近のイベントから経過した時間に応じて減少する活動値を含む。
画素の「活動プロファイル」は、時間に応じて曲線と見なされてよく、その値は、少なくとも、(可能性として、所与の極性に対してフィルタリングされた)この画素について受信した最後のイベントの時間を表す。
そのような形として確立される活動プロファイルは、それらの時空構造をローカルに保持することによって、イベントの出現を集約するツールを解析する。
活動プロファイルの形態は、センサによって観察されるシーンにおけるある種の基本的な形の存在を示すことが観察されている。
これらのプロファイルは、非同期イベントが受信されるにつれて変化し、そのため、センサの動態を保持する。
活動プロファイルのセットは、センサの「新鮮さカード(freshness card)」と呼ぶことができるものを形成する。
多くの信号処理アプリケーションが、活動プロファイルを使用する解析により開発され得る。非限定的な方式においては、活動プロファイルを次のために使用することが可能である。
- 形状認識: 規定された基本形状の規定された動きを変換する、典型的プロファイルのライブラリを参照する。解析により、ライブラリの典型的プロファイルに類似する活動プロファイルが検出された場合、形状認識が行われ、この形状の移動速度の示度が推定される。
- シーンにおける動きの推定: ある活動プロファイルが初めて検出され、その直後に近隣の領域内で(または非常に類似する活動プロファイル)が検出された場合は、センサの視野における物体の移動速度の推定が決定され得る。
- 画像(立体)における深度推定: 同じ(または類似する)活動プロファイルが、同じシーンを取り込む2つのセンサから生じる2つの画像において検出された場合、活動プロファイルに関連付けられている画素が、取り込まれたシーンの同じ点に対応するものと考え、したがって、この点の深度を決定することができる。
- その他。
「非同期信号」は、所与の網膜センサから生じるイベントのセット、またはこれらのイベントのサブセット(特定の画素のみに限定された空間サブセット、および/または所与の時間期間に限定された時間サブセット)とすることができる。
さらには、活動プロファイルは、前記画素からの連続イベントの中で直近のイベントから経過した時間に従って、指数関数的に減少し得る。
この指数関数的減少により、センサが受信した最後のイベントをより良く検出することが可能になり得る。
特定の実施形態においては、活動プロファイルは、さらに、前記画素からの連続イベントの中で直近のイベントに先立つイベントから経過した時間の関数とすることができる。
関連の活動プロファイルを決定するために、この画素について受信したイベントをすべて考慮に入れることすら可能である。
本発明はまた、網膜センサに特に適し、かつ先に提示された非同期信号の処理を使用する、形状を認識するための方法を提案する。
本発明はまた、形状を認識するための方法にも関することができ、この方法は、
(a) 先に提示された非同期信号を処理するための方法を実行するステップ、
(b) イベントが受信されると、前記センサの現在の画素ごとに、
(b1) 前記現在の画素についてのコンテキストを決定するステップであって、前記コンテキストが、前記現在の画素から所定の距離未満に位置する画素の活動プロファイルのセットとして規定される、ステップ、
(b2) 所定の典型的コンテキストのセットから典型的コンテキストを決定するステップであって、決定される典型的コンテキストが、典型的コンテキストのセットから、ステップ(b1)において決定されるコンテキストまでの最小距離を有する、ステップ、
(c) ステップ(b2)における典型的コンテキストの決定の発現数に従って、シグネチャーを決定するステップ、
(d) 前記シグネチャーを典型的シグネチャーのベースと比較することにより、形状を決定するステップ
を含む。
距離は、数学的用語での距離とすることができる。したがって、距離は、ユークリッド距離、マンハッタン距離、ミンコフスキー距離、チェビシェフ距離、または任意の他の距離とすることができる。
ほとんどの場合、「コンテキスト」を3次元空間におけるサーフェスとして表すことができる(2つの軸は、画素の座標を表し、1つの軸は、(時間の関数として)次元を有していない)。
このコンテキストにより、検討されている(すなわち、現在の)イベントの近い環境を空間的かつ時間的にとらえることが可能になる。コンテキストは、現在の画素に対して、現在のイベントが生じる画素(「現在の画素」と呼ばれる)から所定の距離未満に位置する画素座標に関連付けられている値のセットと見なすことができる。
ほとんどの場合、「成分のセット」を「ヒストグラム」としてグラフに表すことができる。「ヒストグラム」または「シグネチャー」という専門用語はまた、本明細書の残りの部分にも使用される。
別の実施形態においては、使用される典型的コンテキストについて、階層モデルを考慮に入れることができる。
したがって、本発明は、形状を認識するための方法に関することができ、(典型的コンテキストの階層モデルが規定され、各典型的コンテキストは、その階層モデルの複数のレベルに関連付けられ)、この方法は、
(a) センサの非同期信号のイベントを現在のイベントとして使用し、階層モデルの第1のレベルの典型的コンテキストを現在の典型的コンテキストとして使用するステップ、
(b) 現在のイベントとともに上記で示された非同期信号を処理するための方法を実行するステップ、
(c) 現在のイベントが受信されると、前記センサの現在の画素ごとに、
(c1) 前記現在の画素についてのコンテキストを決定するステップであって、前記コンテキストが、前記現在の画素から所定の距離未満に位置する画素についてのステップ(b)に使用される活動プロファイルのセットとして規定される、ステップ、
(c2) 現在の典型的コンテキストから典型的コンテキスト(Ck)を決定するステップ(504)であって、決定された典型的コンテキストが、現在の典型的コンテキストすべての中で、ステップ(c1)において決定されるコンテキストまでの最小距離を有する、ステップ(504)、
(c3) ステップ(c2)において識別される典型的コンテキストに応じてイベントを生成するステップ、
(d) 階層モデルのあるレベルが使用されていない場合、
- ステップ(c3)において生成されるイベントを現在のイベントとして使用するステップ、
- まだ使用されていない階層モデルのあるレベルの典型的コンテキストを現在の典型的コンテキストとして使用するステップ、
- ステップ(b)〜(e)を再実行するステップ、
(e) 階層モデルのレベルのすべてが使用されている場合、
- ステップ(c2)が最後に行われたときの典型的コンテキストの決定の発現数に応じて、シグネチャーを決定するステップ(521)、
- 前記シグネチャーを典型的シグネチャーのベースと比較することにより、形状を決定するステップ(524)
を含む。
これらの階層レベルは、段階的な認識を進めることを可能にし、第1の階層レベルは、非常に基本的な形状を識別することを可能にし、より高次の階層レベルは、より下位のレベルを使用してより複雑な形状を識別することを可能にする。
特定の実施形態においては、コンテキストの決定は、相異なる極性を有するイベントを別々に考慮に入れる。
たとえば、極性は、画素強度が変動し得る(たとえば、増加の場合には+1、または減少の場合には-1)という事実に対応することができる。極性はまた、すぐ下位の階層レベルについて識別される典型的コンテキストに対応することもできる。
相異なる極性を有するイベントを別々に考慮に入れることにより、決定されるコンテキストの適切性を高めることが可能になる。
この場合においては、コンテキストは、
- 「現在の画素」からの、現在の画素に対して所定の距離未満に位置する画素の座標に、および
- 所与の極性に
関連付けられている値のセットと見なすことができる。
有利には、ステップ(e)に使用される距離は、バタチャリヤ距離、または標準化距離である。
既存の装置にインストールされる、上述した方法のすべてまたは一部分を実装するコンピュータプログラムは、それ自体で有利である。
したがって、本発明はまた、上述した方法を実装するための命令を含むコンピュータプログラムにも関し、このとき、このプログラムは、プロセッサによって実行される。
このプログラムは、任意のプログラミング言語(たとえば、オブジェクト指向言語もしくは他)を使用することができ、解釈可能なソースコード、部分的にコンパイルされたコード、または全体がコンパイルされたコードの形とすることができる。
本明細書において後述する図5は、そのようなコンピュータプログラムの一般的アルゴリズムのフローチャートを形成することができる。
本発明の他の特徴および利点は、次の説明を読むと、さらに明らかになるはずである。次の説明は、単なる例示にすぎず、付属の図面と併せて読まなくてはならない。
ATISタイプの非同期光センサの総観略図である。 回転する星を含むシーンに対向して置かれている非同期センサによって生成されるイベントを示す略図である。 所与の画素のイベントについての「活動信号」の一実施形態である。 所与の画素のイベントについての「活動信号」の一実施形態である。 本発明の一実施形態による所与の「新鮮さ」カードを表す3D表面の一例である。 本発明の一実施形態によるコンテキストを表す3D表面の一例である。 トランプが裏返されているときのイベントストリームにおけるイベントの発現を示す図である。 本発明の可能な実施形態のフローチャートの一例である。 本発明の可能な実施形態における典型的コンテキストの一例である。 本発明の可能な実施形態における典型的コンテキストの一例である。 本発明の可能な実施形態における典型的コンテキストの一例である。 本発明による一実施形態を実装するためのデバイスを示す図である。 認識されることになる一形状についての、形状を検出する性能例である。 認識すべき別の形状についての形状を検出する性能例である。 認識されることになるさらに別の形状についての形状を検出する性能例である。
図1は、ATISの原理を示している。
センサを形成するマトリクスの画素101は、電子検出回路103a、103bにそれぞれ関連付けられている、フォトダイオードなどの2つの感光性素子102a、102bを備える。
センサ102aおよびその回路103aは、フォトダイオード102aに受信された光強度が規定された量だけ変わるときに、パルスP0を生み出す。
強度のこの変化を作るパルスP0は、他のフォトダイオード102bに関連付けられている電子回路103bをトリガする。次いで、この回路103bは、所与の光量(光子数)が、フォトダイオード102bに受信されるや否や、第1のパルスP1、次いで第2のパルスP2を生成する。
パルスP1とP2との間の時間差δtは、パルスP0の出現直後に画素101に受信された光強度に反比例する。
ATISからの非同期情報は、画素ごとに組み合わせられた2つのパルス列(104)を含み、第1のパルス列P0は、光強度が検出閾値を超えて変化した瞬間を示し、一方、第2の列は、パルスP1およびP2で構成され、その時間差δtは、対応する光強度またはグレーレベルを示す。
次いで、ATISのマトリクスの位置pの画素101からのイベントe(p,t)は、2つのタイプの情報、すなわち、イベントの瞬間tを与える、パルスP0の位置によって与えられる時間情報、およびパルスP1とP2との間の時間差δtによって与えられる階調情報を含む。
次いで、画素から生じるイベントは、図2に示すものなどの3次元時空表現に置くことができる。この図においては、各点pは、枠Aに図示される一定の角速度で回転する星の動きによって、位置
Figure 2018509847
の、センサの画素pのレベルで瞬間tにおいて非同期に生成されるイベントe(p,t)をマークする。ほとんどのこれらの点は、略らせん形状を伴う表面付近に分布している。さらに、図には、星の実際の動きに対応することなく、測定されるらせん形表面からのある距離に特定の数のイベントが示されている。これらのイベントは取得雑音である。
次いで、イベントe(p,t)は、次の情報のすべてによって規定され得る。
Figure 2018509847
ただし、Cは、センサの空間領域であり、polは、輝度の変化の方向を表す極性であり(たとえば、増加の場合は1、または減少の場合は-1)、I(p,t)は、点pの光強度信号である。
したがって、光強度信号は、図1において説明したように、組み合わせられたパルス列のセット104とすることができる。tuがイベントの発現のタイルを表し、te+,uとte-,uとの間の差が強度の変動に反比例する値を表す場合、I(p,t)=δ(t-tu)+δ(t-te+,u)+δ(t-te-,u)となるように、3つのディラックδを使用して強度を符号化することが可能である。次いで、座標pに位置する画素の強度信号は、輝度情報を時間的に符号化することを可能にする。
センサのi番目のイベントをev(i)と表記することが可能であり、ただし、このとき、ev(i)は、次の情報のすべてによって規定される。
Figure 2018509847
ただし、Cは、センサの空間領域であり、Piは、i番目のイベントに関わるセンサの点であり、poliは、イベントのタイプを表す極性であり(たとえば、i番目のイベントについての輝度の変化の方向、たとえば、増加の場合は1、または減少の場合は-1)、tiは、i番目のイベントの発現時間であり、Ii(p,t)は、点pi(この値が利用可能である場合)の光強度信号である。
イベントをより簡単なやり方で操作するためには、画素pごとに、および極性polごとに、イベントの「新鮮さ」を表す関数Sを規定することが可能であり、S(p,pol)は、少なくともこの画素についての最後のイベントの発現時間tの関数であり、この極性polを有する。
所与の瞬間tにおいて、所与の画素pおよび所与の極性polのイベント
Figure 2018509847
ごとに、原子関数
Figure 2018509847
の和として関数Sを規定することが可能であり、hは、所定の値であり、θは、原始関数の減少の速度に対応する所定の係数である。
原始関数の「和」はまた、数学的には、
- 原始関数
Figure 2018509847
の(またはより一般的には、任意の減少関数の)、
- イベント
Figure 2018509847
が発現した各時間tpのディラックを含む信号との
畳み込みと見なされ得る。
例示の目的として、図3aは、センサの3つの画素p1、p2、およびp3についての(および所与の極性値polについての)3つの可能な活動信号t→Sを示している。
イベントの非存在下では、値S(p1,t)、S(p2,t)、またはS(p3,t)は、ゼロである。しかしながら、画素p1における極性イベントpol(たとえば、310)の発現中、S(p1,t)は、所与の閾値を取る(ここではhであり、この値hはユニタリとすることができる)。
次いで、活動信号の値S(p1,t)は、このイベントの後、0に向かって移動するように次第に減少する。
これと同じことが、画素p1についてのイベント311、画素p2についてのイベント312、または画素p3についてのイベント313/314に適用される。
この場合、活動信号Sの減少が線形である場合、指数関数的減少などの任意のタイプの減少を定めることができる。
Figure 2018509847
この指数関数的減少は、図3bによって例示され得る(曲線3bおよびイベント320参照)。
さらに、検討されている画素(たとえば、ここではp4)についてのイベントの発現中、関数Sの値が、値hに関して無視することができない(たとえば、イベント321が時間的にイベント322に近い)ことが起こり得る。
一実施形態においては、後続のイベント322の発現中、活動信号の値Sは、イベント322の直前の現在の値S(すなわち、h0)およびhの和(重み付けされる可能性もある)に設定され得る。したがって、曲線Sの減少は、図3bに示されているように値h+h0から開始することになる。さらに、h+h0の値が所定の値h1(すなわち、min(h1,h+h0))を上限とすることを定めることも可能である。
別の実施形態においては、後続のイベント322の発現中、曲線Sの値は、h0の値に関わらず、値hに設定される(すなわち、最後のイベント(すなわち、後続のイベント)に先立つイベントは無視される)。この他の実施形態においては、次のように規定される「最後のイベントの時間」と呼ばれる時間を規定することが可能である。
T(p,pol,i)=max(tj)|j<i
または
T(p,pol,t)=max(tj)|tj<t
ただし、tjは、極性polを含む画素pについての画素に発現するイベント時間である。
概念上は、p→T(p,pol,t)は、参照時間(すなわち、t)の直前に時間的に発現する同じ極性の最後のイベントの時間のカードを規定する。
次いで、この他の実施形態においては、p→S(p,pol,t)を、この時間セットT(p,pol,t)の関数であるように規定することが可能である。
たとえば、p→S(p,pol,t):
Figure 2018509847
ただし、τおよびhは、所定の時間定数である(Sは、ある間隔にわたる時間tをより低い限界値T(p,pol,t)として含む任意の減少関数とすることができる)。
これらの画素のイベントの「新鮮さ」を表す画素のカードSを作成することは、それが、不連続コンセプト(すなわちイベント)の連続的かつ単純な表現を可能にするので、有利である。この作成されたカードは、簡単なとらえ方の領域においてイベントの表現を変換することを可能にする。
次いで、その作成は、イベントの操作および比較を単純化する。
一旦、画素カードp→S(p,pol,t)が決定されると、時間tについて、および固定された極性値polについての座標pに従って、Sの振幅の3Dグラフを作成することが可能である(図3c参照)。
もちろん、Sは、N個のセットの分離値(すなわち、(p,pol)→S(p,pol,t))を、各可能な極性値polにつき1つずつ含めることができる(N個の可能な極性値が存在する場合)。
Spは、画素pの「コンテキスト」と呼ばれ、画素p付近の(すなわち、たとえば、画素p上に中心がある辺の平方2R+1における、画素pの所定の距離、たとえば、数学的用語での距離に位置する)画素qについての値(q,pol)→S(q,pol,t)のセットである。(いくつかの可能な極性値を含む)コンテキストを視覚的に表すために、様々の可能なpol値について、q→S(q,pol,t)のいくつかの表現を並置することが可能である。
たとえば、図3dは、画素pの「コンテキスト」350を表すことができ、平坦域351は、関数q→S(q,1,t)の値を表し、平坦域352は、関数q→S(q,-1,t)の値を表す(もちろん、平坦域は任意の形状を有してよく、平坦域の選択は単に見やすくすることを可能にしているにすぎない)。同様に、点353および354は、同じ画素の、ただし、異なる極性についての関数Sの値に対応する。
任意の画素pについてのコンテキストSpを規定することができる。
可能な様々なコンテキストを特徴付けできるようにするために、「典型的」と称されるコンテキストを規定することが可能である。
これらの典型的コンテキストは、あらかじめ決定されることも、または文献D. BallardおよびJ. Jehee、「Dynamic coding of signed quantities in cortical feedback circuits」、Frontiers in Psychology、3巻、第254号、2012によって、もしくは別の方法(たとえば、「k平均」法)を用いることによって、定められるアルゴリズムに基づいて決定されることもできる。
画素pについて識別されるコンテキストSpごとに、画素pに、Spに最も近い典型的コンテキストに対応する典型的コンテキストを関連付けることができる。コンテキストSpと典型的コンテキストとの間の距離は、たとえば、同じ画素pおよび同じ極性polについてのコンテキストSpの値と典型的コンテキストの値との間のユークリッド距離の和を計算することによって決定され得る。距離はまた、二乗ユークリッド距離の和の関数とすることもできる。
計算された距離が特定の所定の閾値以上である場合、画素pに、任意の典型的コンテキストを関連付けないことが可能である。
これらの典型的コンテキスト{Ck}は、コンテキストSpについての上述した制限付き空間領域にわたって(たとえば、辺の平方2R+1に関して)規定される。
また、典型的コンテキストのいくつかの階層レベルを規定することも可能であり、各階層レベルmは、複数の典型的コンテキスト{Ck_m}を規定する。そのような階層レベルの利益については、図5の説明に関して詳述する。
例示の目的として、図6aは、可能な典型的コンテキストの第1の階層レベル(すなわち、極性1(典型的コンテキストのそれぞれのコンテキストの左ゾーン)または極性-1(典型的コンテキストのそれぞれのコンテキストの右ゾーン)についてのサイズ5×5画素)を示している。
加えて、所与の瞬間tにおいて、および各画素pに関連付けられている典型的コンテキスト{Ck}(またはより概括的には、固定された階層レベルmについての{Ck_m})の識別後、可能な画素pのすべてについての典型的コンテキストのそれぞれのコンテキストの発現数を計算することも可能である。
これらの計算された発現数により、イベントストリームを特徴付けるシグネチャー/ヒストグラムΗを作成することが可能になる(縦座標としては、発現数、横座標としては、識別される典型的コンテキストの指数)。
形状認識を可能にするイベントのストリームの特徴付けはまた、エコーステートネットワーク(Echo-State Network)または反復ニューラルネットワーク(recurring Neural Network)などの他の方法も使用することができる。
例示の目的として、図4は、クラブ、ダイヤモンド、ハート、およびスペードを含むトランプが裏返されているときの「ON」イベント(白色の点)および「OFF」イベント(黒色の点)の発現を示している。イベント(a)、(b)、(c)、および(d)のストリームのそれぞれのイベントにそれぞれ関連付けられているヒストグラムもまた、イベントのこれらのストリームの下部に表示されており、これらのヒストグラムは、イベントストリームにおいて認識すべき形状の、いわば「シグネチャー」を形成する。
所定の数のトレーニング中、これらのヒストグラムを構築すること(すなわち、同じ形状を表すイベントストリームの提示によってヒストグラムを生成すること)が可能であり、したがって、同じ形状および/または同じ動きについてのトレーニング中に得られるヒストグラムを平均化することによって「典型的ヒストグラム」を決定することが可能である。
一旦、これらの典型的ヒストグラムが決定されると、次いでイベントストリームから現在のヒストグラムを再度、決定し、このヒストグラムを、トレーニング段階中に決定される典型的ヒストグラムと比較することが可能である。
次いで、現在のヒストグラムと距離が最も近い典型的ヒストグラムは、イベントストリームに対応する形状を識別することを可能にすることができる。
さらには、k最接近ヒストグラムタイプを(可能性として、それらの近接度に対応するスコアと共に)戻すことも可能である。
2つのヒストグラムΗ1とΗ2との間の距離は、典型的コンテキストのそれぞれのコンテキストについての発現数を座標に有する2つのベクトル間の数学的距離として計算され得る。
d(Η1;Η2)=||Η1-Η2||
また、次のように、標準化距離を計算することも可能である。
Figure 2018509847
ただし、カード(Ηj)は、ヒストグラムΗjの典型的コンテキストの数(すなわち、縦棒)である。
バタチャリヤ距離もまた、従来の距離の代わりとして使用され得る。
Figure 2018509847
ただし、Ηj(i)は、ヒストグラムΗjのi番目の典型的コンテキストの発現数である。
任意の他の数学的距離もまた使用可能である。
次いで、関連の典型的ヒストグラムに対応する形状が、イベントストリームに発現したと考えることができる。
したがって、この典型的ヒストグラムのおかげで、形状認識が可能である。
図5は、本発明の可能な実施形態のフローチャートの一例である。
非同期センサから生じ、かつ時間tiに関連付けられているイベントストリーム500のイベントiを受信すると、上記で示したように、センサの各画素pについて、およびpolの各値についてのS(p,pol,ti)の値を決定する、または更新することが可能であり(ステップ501)、このステップにより、センサの「新鮮さ」カードを作成する、または更新することが可能になる。
ステップ501では、Sの原始関数の減少に使用される時間定数は、τ1と表記される。したがって、たとえば、
Figure 2018509847
を得ることができる。
一旦、この決定が実行されると、センサの画素pごとに、ステップ501において先に計算された新鮮さカードからコンテキストSpを抽出することが可能であり(ステップ502)、この抽出により、検討されている画素pに対する空間的近接度Npを含む画素qについて、および所与の極性値polについてのS(q,pol,ti)の特定の値を分離することが可能になる。例示の目的として、Np_1は、検討されている空間的位置pを中心とする正方形または長方形を規定することができる。空間的近接度Np_1は、そのように抽出されるコンテキストが、第1の階層レベルの典型的コンテキスト503(Ck_1)の次元に等しい次元であるように規定されて、この典型的コンテキストと比較され得る。
例示の目的として、図6aは、可能な典型的コンテキストの第1の階層レベル(すなわち、極性1(典型的コンテキストのそれぞれのコンテキストの左ゾーン)または極性-1(典型的コンテキストのそれぞれのコンテキストの右ゾーン)についてのサイズ5×5画素)を示している。
画素pに関連付けられている決定されたコンテキストSp_1を第1の階層レベルの可能な典型的コンテキスト{Ck_1}と比較することにより、上記で示したようにSp_1に最も近い典型的コンテキストを識別することが可能になる(ステップ504)。
第1の階層レベルの可能な典型的コンテキスト{Ck_1}の中で最も近い典型的コンテキストCk_1proxのこの識別により、画素pについて、この画素pに関連付けられている典型的コンテキストを示すイベントev1を生成することが可能になる(ステップ505)。
Figure 2018509847
ただし、tは、現在の時間である。
最も近い典型的コンテキストが識別されない場合(上記参照)、イベントは生成されない。
これらのイベントev1(p)を生成すると、イベントの非同期ストリームも形成される(506)。
次いで、センサから生じるイベント500と同様のやり方で、これらのイベント506を処理することが可能である。
したがって、イベントストストリーム506の、時間tjに関連付けられる各イベントjを受信すると、たとえば、上記で示したように、センサの各画素pについて、およびpolの各値についての値(p,pol)→S2(p,pol,tj)として有する新規の「新鮮さ」カード(すなわち、第2の階層レベルについてのカード)の値を決定する、または更新することが可能である(ステップ511)(このステップ511では、polの値が、第1の階層レベルについてのステップ504中に識別される典型的コンテキスト、すなわち、図6aのフレームワークにおいて可能な4つの典型的コンテキストを示し、各典型的コンテキストが2つの極性を有することがわかる)。
ステップ511では、原始関数の減少に使用される時定数はτ2と表記され、ただし、τ2≧τ1である。したがって、たとえば、
Figure 2018509847
を得ることができる。
一旦、この決定が実行されると、センサの画素pごとに、上記のステップ511において計算された新鮮さカードからコンテキストSp_2を抽出することができ(ステップ512)、この抽出により、検討されている画素pに対する空間的近接度Np_2を含む画素qについて、および所与の極性値polについてのS2(q,pol,ti)の特定の値を分離することが可能になる。例示の目的として、Np_2は、検討されている空間的位置pを中心とする正方形または長方形を規定することができる。空間的近接度Np_2は、そのように抽出されるコンテキストが、第2の階層レベルの典型的コンテキスト513(Ck_2)の次元に等しい次元であるように規定されて、この典型的コンテキストと比較され得る。
例示の目的として、図6bは、8つの可能な典型的コンテキストの第2の階層レベルを示している。
第1の階層レベルの各典型的コンテキストが、2つのゾーン(極性-1のイベント(OFF)についての1つのゾーン、および極性1のイベント(ON)についての1つのゾーン、図6a参照)を有する場合、第2の階層レベルの典型的コンテキストは、すぐ下位の階層レベル(すなわち、ここでは、第1の階層レベル、図6b参照)における典型的コンテキストと同数のゾーン(すなわち、4)を有する。
さらに、第2の階層レベルの典型的コンテキストは、空間的近接度Np_2が、空間的近接度Np_1によって規定されるものよりも大きいゾーンを規定するようなものとすることができる(たとえば、Np_1が辺の平方2R1+1によって規定される場合には、Np_2は、辺の平方2R2+1によって規定され得、ただし、R2≧R1である)。
画素pに関連付けられている決定されたコンテキストSp_2を第1の階層レベルの可能な典型的コンテキスト{Ck_2}と比較することにより、上記で示したようにSp_2に最も近い典型的コンテキストを識別することが可能になる(ステップ514)。
第2の階層レベルの可能な典型的コンテキスト{Ck_2}の中で最も近い典型的コンテキストCk_2proxのこの識別により、画素pについて、この画素pに関連付けられている典型的コンテキストを示すイベントev2を生成することが可能になる(ステップ515)。
Figure 2018509847
ただし、tは、現在の時間である。
最も近い典型的コンテキストが識別されない場合(上記参照)、イベントは生成されない。
これらのイベントev2(p)を生成すると、イベントの非同期ストリームも形成される(516)。
次いで、イベント506と同様のやり方でこれらのイベント516を処理することができ、より高い階層レベル(テスト517、出力OK、たとえば、図6c(図6c(1)および図6c(2))によって表されるレベル3の階層レベル)が存在する場合、すぐ下位の階層レベルによって生成されるイベントを入力として取ることによって、およびこの上位の階層レベルの典型的コンテキスト(513参照)を使用することによって、ステップ511〜515を繰り返すことが可能である。
上位の階層レベルが存在しない場合、画素pのすべてについて、および固定された時間tについて識別される典型的コンテキスト(513)の発現数をカウントすることが可能である。上記で説明したように、このカウンティングにより、識別される典型的コンテキストの発現数を表すヒストグラムΗの決定が可能になる(ステップ521)。
ステップ521において決定されるヒストグラムを使用すると、次いで、形状および/または動きを表す典型的ヒストグラム(523)間の距離を計算し、したがって、最も近い典型的ヒストグラムを決定することが可能である(ステップ522)。
決定されるこの典型的ヒストグラムのおかげで、このヒストグラムに関連付けられている形状および/または動きを決定し(ステップ524)、したがって、この形状および/またはこの動きを戻す(525)ことが可能である。
もちろん、図5のフローチャートが、典型的コンテキストの少なくとも1つの第2の階層レベルの解析後にステップ520〜524の実行を示している場合、これらのステップ520〜524は、ステップ501〜505の後に、完全に実行可能である(すなわち、単一の階層レベルの解析による)。
図7は、本発明による一実施形態を実装するためのデバイスを示している。
この実施形態においては、デバイスは、方法の実装を可能にする命令、受信したイベントストリームに関するデータ、および上述したような方法の様々なステップを行うための一時データを記憶するためのメモリ705を含むコンピュータ700を備える。
コンピュータは、回路704をさらに備える。この回路は、たとえば、
- コンピュータプログラムの形の命令を解釈することができるプロセッサ、または
- 本発明の方法のステップがシリコンの中に記述されている電子カード、または
- FPGAチップ(フィールドプログラマブルゲートアレイ)などのプログラマブル電子チップ
とすることができる。
このコンピュータは、センサからイベントを受信するための入力インターフェース703、およびイベントストリームにおいて識別される形状707を供給するための出力インターフェース706を備える。最後に、コンピュータは、ユーザと簡単に対話することを可能にするために、スクリーン701およびキーボード702を備えることができる。もちろん、キーボードは、たとえば、タッチセンサー式タブレットの形を有するコンピュータのフレームワークにおいては特にオプションである。
図8aは、形状(クラブ、ダイヤモンド、ハート、およびスペード)の検出の性能例である。
各行(縦座標801参照)は、学習された特定の形状(すなわち、典型的ヒストグラム、上記参照)に関するデータに対応する。
各列(横座標802参照)は、認識されなくてはならない特定の形状(すなわち、認識すべきヒストグラム)に関するデータに対応する。
行と列との(たとえば、セット803に対応する)交わりは、典型的ヒストグラムと、形状のいくつかの提示(ここでは、点線の鉛直線によって分離されている、形状の9つの提示)について認識すべきヒストグラムとの距離を見ることを可能にする。
- 白色の棒(左の棒)は、従来の距離に対応する。
- 灰色の棒(中間の棒)は、標準化距離に対応する。
- 黒色の棒(右の棒)は、バタチャリヤ距離に対応する。
そのように表される3つの距離(それぞれ、従来、標準化、およびバタチャリヤ)は、これらの形状について、94%、100%、および97%のそれぞれの性能を有する。
図8bは、形状(数字および大文字)の検出の性能例である。
各行(縦座標804参照)は、学習された特定の形状(すなわち、典型的ヒストグラム、上記参照)に関するデータに対応する。
各列(横座標805参照)は、認識されなくてはならない特定の形状(すなわち、認識すべきヒストグラム)に関するデータに対応する。
行と列との(たとえば、セット806に対応する)交わりは、典型的ヒストグラムと、形状の提示について認識すべきヒストグラムとの距離を見ることを可能にする。
- 白色の棒(左の棒)は、従来の距離に対応する。
- 灰色の棒(中間の棒)は、標準化距離に対応する。
- 黒色の棒(右の棒)は、バタチャリヤ距離に対応する。
そのように表される3つの距離(それぞれ、従来、標準化、およびバタチャリヤ)はすべて、これらの形状について、100%の性能を有する。
図8cは、形状(顔)の検出の性能例である。
各表(807、808、および809)は、提示されている顔(横座標)の認識の発現数を、この顔の19個の提示についての学習された顔(縦座標)を用いて提示している。
表807は、従来の距離を使用して、顔認識を実行する(認識率: 37%)。
表808は、標準化距離を使用して、顔認識を実行する(認識率: 78%)。
表808は、バタチャリヤ距離を使用して、顔認識を実行する(認識率: 79%)。
さらに、図5に示されている機能図は、特定の命令が、説明されているデバイスにより実行され得るプログラムの典型的な例である。したがって、図5は、本発明の観点から、コンピュータプログラムの一般的アルゴリズムのフローチャートに対応することができる。
もちろん、本発明は、例として上述した実施形態に限定されず、それは、他の代替形態に及ぶ。
他の実施形態が可能である。
たとえば、図6a〜図6cの典型的コンテキストは、いかなる任意の次元であってもよい。
さらに、本明細書には、主に、光/映像センサから生じるイベントソースについて述べている。しかしながら、説明されている本発明は、そのような非同期モードを介して機能しかつその空間的構成が映像センサに類似することになる、たとえば、圧力センサのネットワークなどのイベント源の任意のセットに一般化される。
101 画素
102a 感光性素子、センサ
102b 感光性素子、フォトダイオード
103a、103b 電子検出回路
104 パルス列
311、312、313、314、320、321、322 イベント
353、354 点
500、506 イベントストリーム
513 コンテキスト
516 イベント
517 テスト
523 典型的ヒストグラム
700 コンピュータ
701 スクリーン
702 キーボード
703 入力インターフェース
704 回路
705 メモリ
706 出力インターフェース
707 形状
801 縦座標
802 横座標
803 セット
804 縦座標
805 横座標
806 セット
807、808、809 表
P0、P1、P2 パルス
S 関数
m 階層レベル
p マトリクスの位置、点、画素
pol 極性
t 瞬間、時間
Η ヒストグラム
δt 時間差

Claims (9)

  1. 光センサによって生み出される非同期信号を処理するための方法であって、前記センサが、シーンに対向して配置された画素マトリクスを有し、前記方法は、
    - 前記光センサから、前記マトリクスの画素ごとに前記画素からの連続イベントを含む前記非同期信号を受信するステップ(500)、
    - イベントが前記非同期信号中で受信されるときの活動プロファイルを使用して、前記非同期信号を解析するステップ(501)
    を含み、
    前記活動プロファイルが、前記センサの画素(p)ごとに、少なくとも、前記画素からの前記連続イベントの中で直近のイベント(310、311、312、313、314、320、321、322)から経過した時間(t)に応じて減少する活動値(S(p))を含む、
    方法。
  2. 前記活動プロファイルが、前記画素からの前記連続イベントの中で直近のイベント(310、311、312、313、314、320、321、322)から経過した時間(t)に応じて指数関数的に減少する、請求項1に記載の方法。
  3. 前記活動プロファイルが、さらに、前記画素からの前記連続イベントの中で直近のイベント(310、311、312、313、314、320、321、322)に先立つイベントから経過した時間(t)の関数である、請求項1または2に記載の方法。
  4. 形状を認識するための方法であって、
    (a) 請求項1から3のいずれか一項に記載の、非同期信号を処理するための方法を実行するステップ、
    (b) イベントが受信されると、前記センサの現在の画素(p)ごとに、
    (b1) 前記現在の画素についてのコンテキスト(Sp)を決定するステップ(501)であって、前記コンテキスト(Sp)が、前記現在の画素(p)から所定の距離未満に位置する画素の活動プロファイルのセットとして規定される、ステップ(501)、
    (b2) 所定の典型的コンテキストのセットから典型的コンテキスト(Ck)を決定するステップ(504)であって、決定される前記典型的コンテキストが、典型的コンテキストの前記セットから、前記ステップ(b1)において決定される前記コンテキストまでの最小距離を有する、ステップ(504)、
    (c) 前記ステップ(b2)における典型的コンテキストの決定の発現数に応じて、シグネチャーを決定するステップ(521)、
    (d) 前記シグネチャーをシグネチャータイプのベースと比較することにより、形状を決定するステップ(524)
    を含む、方法。
  5. 形状を認識するための方法であって、典型的コンテキストの階層モデルが規定され、各典型的コンテキストが、前記階層モデルの複数のレベルに関連付けられ、前記方法が、
    (a) センサの非同期信号のイベントを現在のイベントとして使用し、前記階層モデルの第1のレベルの典型的コンテキストを現在のタイプのコンテキストとして使用するステップ、
    (b) 前記現在のイベントとともに請求項1から3のいずれか一項に記載の非同期信号を処理するための方法を実行するステップ、
    (c) 現在のイベントが受信されると、前記センサの現在の画素(p)ごとに、
    (c1) 前記現在の画素についてのコンテキスト(Sp)を決定するステップ(501)であって、前記コンテキスト(Sp)が、前記現在の画素(p)から所定の距離未満に位置する画素についての前記ステップ(b)に使用される活動プロファイルのセットとして規定される、ステップ(501)、
    (c2) 前記現在の典型的コンテキストから典型的コンテキスト(Ck)を決定するステップ(504)であって、前記決定された典型的コンテキストが、前記現在の典型的コンテキストすべての中で、前記ステップ(c1)において決定される前記コンテキストまでの最小距離を有する、ステップ(504)、
    (c3) 前記ステップ(c2)において識別される前記典型的コンテキストに応じてイベントを生成するステップ、
    (d) 前記階層モデルのあるレベルが使用されていない場合、
    - 前記ステップ(c3)において生成される前記イベントを現在のイベントとして使用するステップ、
    - まだ使用されていない前記階層モデルのあるレベルの前記典型的コンテキストを、現在の典型的コンテキストとして使用するステップ、
    - 前記ステップ(b)〜(e)を再実行するステップ、
    (e) 前記階層モデルの前記レベルのすべてが使用されている場合、
    - 前記ステップ(c2)が最後に行われたときの典型的コンテキストの決定の発現数に応じて、シグネチャーを決定するステップ(521)、
    - 前記シグネチャーを典型的シグネチャーのベースと比較することにより、形状を決定するステップ(524)
    を含む、方法。
  6. コンテキストの前記決定が、相異なる極性を有する前記イベントを別々に考慮に入れる、請求項4または5に記載の方法。
  7. 前記ステップ(e)の前記比較が、バタチャリヤ距離の計算を含む、請求項5または6に記載の方法。
  8. 前記ステップ(e)の前記比較が、標準化距離の計算を含む、請求項5または6に記載の方法。
  9. コンピュータプログラム製品であって、プログラムがプロセッサによって実行されるときに請求項1から8のいずれか一項に記載の方法を実装するための命令を含むコンピュータプログラム製品。
JP2017549000A 2015-03-16 2016-03-15 非同期信号を処理するための方法 Active JP6833708B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1552155A FR3033914A1 (fr) 2015-03-16 2015-03-16 Procede de traitement d'un signal asynchrone
FR1552155 2015-03-16
PCT/FR2016/050574 WO2016146937A1 (fr) 2015-03-16 2016-03-15 Procédé de traitement d'un signal asynchrone

Publications (3)

Publication Number Publication Date
JP2018509847A true JP2018509847A (ja) 2018-04-05
JP2018509847A5 JP2018509847A5 (ja) 2019-04-18
JP6833708B2 JP6833708B2 (ja) 2021-02-24

Family

ID=54140531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017549000A Active JP6833708B2 (ja) 2015-03-16 2016-03-15 非同期信号を処理するための方法

Country Status (9)

Country Link
US (1) US10440296B2 (ja)
EP (1) EP3271869B1 (ja)
JP (1) JP6833708B2 (ja)
KR (1) KR20180020123A (ja)
CN (1) CN107873097A (ja)
ES (1) ES2764484T3 (ja)
FR (1) FR3033914A1 (ja)
HK (1) HK1248357A1 (ja)
WO (1) WO2016146937A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020502604A (ja) * 2016-09-09 2020-01-23 サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィック 複数の信号におけるパターン認識のための方法
WO2020067410A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、及び、プログラム
JP2021026621A (ja) * 2019-08-07 2021-02-22 トヨタ自動車株式会社 イメージセンサ
JP2021520155A (ja) * 2018-05-04 2021-08-12 セレピクセル テクノロジー カンパニー リミテッド データ処理方法及びコンピューティング機器
WO2022254789A1 (ja) * 2021-05-31 2022-12-08 ソニーグループ株式会社 受信装置および送受信システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3120897A1 (en) * 2015-07-22 2017-01-25 Université Pierre et Marie Curie (Paris 6) Method for downsampling a signal outputted by an asynchronous sensor
CN108764078B (zh) * 2018-05-15 2019-08-02 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备
EP3694202A1 (en) * 2019-02-11 2020-08-12 Prophesee Method of processing a series of events received asynchronously from an array of pixels of an event-based light sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015501936A (ja) * 2011-12-19 2015-01-19 ウニヴェルズィテート チューリッヒ サンプル抽出された輝度の検知と時間依存性の画像データの非同期検出との同時実施などのためのフォトアレイ
JP2015507261A (ja) * 2011-12-21 2015-03-05 ユニヴェルシテ・ピエール・エ・マリ・キュリ・（パリ・６） 非同期光センサに基づいてオプティカルフローを推定する方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102070562B1 (ko) * 2012-06-19 2020-01-30 삼성전자주식회사 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015501936A (ja) * 2011-12-19 2015-01-19 ウニヴェルズィテート チューリッヒ サンプル抽出された輝度の検知と時間依存性の画像データの非同期検出との同時実施などのためのフォトアレイ
JP2015507261A (ja) * 2011-12-21 2015-03-05 ユニヴェルシテ・ピエール・エ・マリ・キュリ・（パリ・６） 非同期光センサに基づいてオプティカルフローを推定する方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GARRICK ORCHARD; MEYER CEDRIC; ETIENNE-CUMMINGS RALPH; ET AL: "HFIRST: A TEMPORAL APPROACH TO OBJECT RECOGNITION", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. VOL:37, NR:10, JPN5018001138, 14 January 2015 (2015-01-14), US, pages 2028 - 2040, ISSN: 0004246057 *
GEORG WIESMANN; STEPHAN SCHRAML; MARTIN LITZENBERGER; ET AL: "EVENT-DRIVEN EMBODIED SYSTEM FOR FEATURE EXTRACTION AND OBJECT RECOGNITION IN ROBOTIC APPLICATIONS", COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), 2012 IEEE COMPUTER SOCIETY CONFERENCE ON, JPN5018001136, 16 June 2012 (2012-06-16), pages 76 - 82, XP032206761, ISSN: 0004246055, DOI: 10.1109/CVPRW.2012.6238898 *
SCHRAML S; BELBACHIR A N; BRANDLE N: "A REAL-TIME PEDESTRIAN CLASSIFICATION METHOD FOR EVENT-BASED DYNAMIC STEREO VISION", COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), 2010 IEEE COMPUTER SOCIETY CONFERENCE ON, JPN5018001137, 13 June 2010 (2010-06-13), US, pages 93 - 99, XP031728957, ISSN: 0004246056 *
ZHENJIANG NI; BOLOPION A; AGNUS J; ET AL: "ASYNCHRONOUS EVENT-BASED VISUAL SHAPE TRACKING FOR STABLE HAPTIC FEEDBACK IN MICROROBOTICS", IEEE TRANSACTIONS ON ROBOTICS, vol. VOL:28, NR:5, JPN5018001135, October 2012 (2012-10-01), US, pages 1081 - 1089, ISSN: 0004246054 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020502604A (ja) * 2016-09-09 2020-01-23 サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィック 複数の信号におけるパターン認識のための方法
JP7209622B2 (ja) 2016-09-09 2023-01-20 サントル ナショナル ドゥ ラ ルシェルシュ シアンティフィック 複数の信号におけるパターン認識のための方法
JP2021520155A (ja) * 2018-05-04 2021-08-12 セレピクセル テクノロジー カンパニー リミテッド データ処理方法及びコンピューティング機器
JP7092211B2 (ja) 2018-05-04 2022-06-28 オムニビジョン センサー ソリューション （シャンハイ） カンパニー リミテッド データ処理方法及びコンピューティング機器
WO2020067410A1 (ja) * 2018-09-28 2020-04-02 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、及び、プログラム
US11818475B2 (en) 2018-09-28 2023-11-14 Sony Corporation Data processing device, data processing method, and program
JP2021026621A (ja) * 2019-08-07 2021-02-22 トヨタ自動車株式会社 イメージセンサ
JP7120180B2 (ja) 2019-08-07 2022-08-17 トヨタ自動車株式会社 イメージセンサ
WO2022254789A1 (ja) * 2021-05-31 2022-12-08 ソニーグループ株式会社 受信装置および送受信システム

Also Published As

Publication number Publication date
HK1248357A1 (zh) 2018-10-12
EP3271869A1 (fr) 2018-01-24
EP3271869B1 (fr) 2019-10-16
JP6833708B2 (ja) 2021-02-24
CN107873097A (zh) 2018-04-03
US10440296B2 (en) 2019-10-08
ES2764484T3 (es) 2020-06-03
FR3033914A1 (fr) 2016-09-23
US20180063449A1 (en) 2018-03-01
KR20180020123A (ko) 2018-02-27
WO2016146937A1 (fr) 2016-09-22

Similar Documents

Publication Publication Date Title
JP6833708B2 (ja) 非同期信号を処理するための方法
Chen et al. A real-time human action recognition system using depth and inertial sensor fusion
US11747898B2 (en) Method and apparatus with gaze estimation
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US9075453B2 (en) Human eye controlled computer mouse interface
US8706663B2 (en) Detection of people in real world videos and images
US9953215B2 (en) Method and system of temporal segmentation for movement analysis
US10984252B2 (en) Apparatus and method for analyzing people flows in image
CN109740466A (zh) 广告投放策略的获取方法、计算机可读存储介质
CN105631399A (zh) 用于体育视频识别的快速对象跟踪框架
Marcos-Ramiro et al. Body communicative cue extraction for conversational analysis
EP3467712A1 (en) Methods and systems for processing image data
Iazzi et al. Fall detection based on posture analysis and support vector machine
JP2009301242A (ja) 頭部候補抽出方法、頭部候補抽出装置、頭部候補抽出プログラムおよびそのプログラムを記録した記録媒体
US20230230277A1 (en) Object position estimation device, object position estimation method, and recording medium
CN111274854B (zh) 一种人体动作识别方法和视觉增强处理系统
JP5864231B2 (ja) 移動方向識別装置
GB2467643A (en) Improved detection of people in real world videos and images.
JP5419925B2 (ja) 通過物体数計測方法、通過物体数計測装置、及びプログラム
JP7211496B2 (ja) 教師データ生成装置
JP7211495B2 (ja) 教師データ生成装置
WO2023171184A1 (ja) 動画像集約装置、動画像集約方法、及び動画像集約プログラム
WO2022004569A1 (ja) 画像データ処理装置及びシステム
Hiremath et al. Sign language video processing for text detection in Hindi language
Kim et al. User's gaze tracking system and its application using head pose estimation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190306

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200703

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20201204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R150 Certificate of patent or registration of utility model

Ref document number: 6833708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150