JP2016518664A - 対象物の視覚追跡 - Google Patents

Abstract

情報と関連付けられたポイントクラスタによって表わされた少なくとも１つの対象物を視覚追跡する方法であって、一連の時空事象を表わすデータを受け取る段階（Ｅ１）と、前記受け取った一連の時空事象内の各事象に対して、前記一連の時空事象内の事象が前記少なくとも１つの対象物を表わすポイントクラスタに属する確率を決定する段階（Ｅ２）と、前記受け取った一連の時空事象内の各事象に対して、事象が前記ポイントクラスタに属するかどうかを、当該事象の前記決定された確率の関数として決定する段階（Ｅ３）と、前の段階で前記ポイントクラスタに属すると決定された各事象に対して、前記少なくとも１つの対象物の前記ポイントクラスタと関連付けられた情報を更新する段階（Ｅ４）と、前記少なくとも１つの対象物の位置、サイズ及び向きを、前記更新された情報の関数として計算する段階（Ｅ４，Ｅ５）とを含む。【選択図】図１

Description

本発明は、対象物の視覚追跡、より詳細には高速かつ実時間での対象物の追跡に関する。

対象物追跡は、ビデオ監視、交通監視、運動解析、強化現実、ロボット工学及び人間機械インタフェースなどの多くの分野に用途を有する。

実時間で高速（典型的には１ｋＨｚ以上の周波数）の対象物追跡は、より詳細にはマイクロロボット工学、微生物挙動及び触覚学の研究に適用される。

従来のカメラによるデータ収集は、約数十キロヘルツときわめて高速で行うことができるが、連続画像内の類似情報の繰り返しは、この情報の処理速度を制限する。したがって、処理される情報の量を制限しなければならない。実際には、この結果、画像の二段抽出や画像の範囲の縮小などの制限が生じる。

更に、処理が、きわめて単純でなければならず、多くの場合ソフトウェアではなくハードウェアによって実施される。

非特許文献１は、アドレス事象表現を使用した人の追跡を開示しており、当該開示された方法は、事象を収集し、データを１０ミリ秒ごとに更新する。したがって、満足な結果を提供できるほど高速ではない。

"Spatiotemporal multiple persons tracking using dynamic vision sensor" by Piatkowska, Belbachir and Gelautz, Computer vision and pattern recognition workshops, 2012 IEEE Computer society conference on, IEEE

本発明は、情報と関連付けられたポイントクラスタによって表わされる少なくとも１つの対象物を視覚追跡する方法を提供することによって、先行技術における問題を解決することを目的とし、当該方法は、
一連の時空事象を表わすデータを受け取る段階と、
前記受け取った一連の時空事象内の各事象に対して、前記一連の時空事象内の事象が、前記少なくとも１つの対象物を表わす前記ポイントクラスタに属する確率を決定する段階と、
前記受け取った一連の時空事象内の各事象に対して、事象が前記ポイントクラスタに属するかどうかを、当該事象の前記決定された確率の関数として決定する段階と、
前の段階で前記ポイントクラスタに属すると決定された各事象に対して、前記少なくとも１つの対象物の前記ポイントクラスタと関連付けられた情報を更新する段階と、
前記少なくとも１つの対象物の位置、サイズ及び向きを、前記更新された情報の関数として計算する段階と、
を含む

本発明により、対象物の視覚追跡は、高速で、範囲の縮小なしに、即ち範囲全体で可能である。対象物追跡は、頑強である。

本発明は、いかなる事象最小化又は蓄積手順も必要としない。プロセスは、純粋に事象ベースである。

本発明は、非構造化されたシーンにおいて対象物を検出し追跡するために使用される。

本発明は、単一シーン内で移動する幾つかの対象物を同時に追跡することができる。この場合、選択された形状関数が事象によって互いに独立に更新されるので追跡はきわめて高速のままである。

本発明は、二次元又は三次元で適用可能である。

１つの好ましい特徴によれば、一連の時空事象が、非同期センサによって提供される。このタイプのセンサは、従来のセンサより少ない待ち持間と高い時間的ダイナミクスで、データを事象の形で提供し、情報冗長性をなくす。

１つの好ましい特徴によれば、事象がポイントクラスタに属するかどうかを決定する段階は、当該事象に対して決定された確率と所定のしきい値との比較を含む。

実行される計算は、単純であり、結果を迅速に提供する。

１つの好ましい特性によれば、前記対象物を楕円によってモデル化して、当該楕円の半軸とその向きを計算することにより、前記少なくとも１つの対象物のサイズと向きが計算されるこの場合も、計算は、高速で単純であり、正確な結果を提供する。

ひとつの好ましい特徴によれば、当該方法は、少なくとも１つの対象物の速度を決定する段階をさらに含む。

１つの好ましい特徴によれば、前記受け取る段階、決定する段階、更新する段階及び計算する段階は、繰り返し行なわれる。

１つの好ましい特徴によれば、当該方法は、前記更新された情報の関数として計算された前記少なくとも１つの対象物の位置、サイズ及び向きを表すデータを表示する段階をさらに含む。

本発明は、また、情報と関連付けられたポイントクラスタによって表わされる少なくとも１つの対象物を視覚追跡する装置であって、当該装置は、
一連の時空事象を表わすデータを受け取る手段と、
前記受け取り手段によって受け取られた一連の時空事象内の各事象に対して、前記一連の時空事象内の事象が、前記少なくとも１つの対象物を表わす前記ポイントクラスタに属する確率を決定する手段と、
前記受け取り手段によって受け取られた一連の時空事象内の各事象に対して、事象が前記ポイントクラスタに属するかどうかを、当該事象に関して決定された前記確率の関数として決定する手段と、
前記ポイントクラスタに属することが決定された各事象に対して、前記少なくとも１つの対象物の前記ポイントクラスタと関連付けられた情報を更新する手段と、
前記少なくとも１つの対象物の位置、サイズ及び向きを、前記更新された情報により計算する手段と、を含む。

装置は、前述のものと類似の利点を有する。

１つの特定の実施形態では、本発明による方法の段階は、コンピュータプログラム命令によって実行される。

その結果、本発明は、情報媒体上のコンピュータプログラムに適用され、当該コンピュータプログラムは、コンピュータ内で使用されてもよく、前述のような方法の段階を実施することができる命令を含む。

このプログラムは、任意のプログラミング言語を使用することができ、部分的にコンパイルされた形や他の望ましい形など、ソースコード、オブジェクトコード、又はソースコードとオブジェクトコードの間のコード中間物の形でよい。

本発明は、また、コンピュータによって読み取ることができ、前述の方法と似た方法の段階を実施するのに適したコンピュータプログラム命令を含む情報媒体に関する。

情報媒体は、プログラムを記憶することができる任意のエンティティ又は装置でよい。例えば、媒体は、ＲＯＭ（例えば、ＣＤ ＲＯＭや超小形電子回路ＲＯＭ）、又は磁気記録手段（例えば、ディスケットやハードディスク）などの記憶手段を含むことができる。

更に、情報媒体は、無線や他の手段によって、電気又は光ケーブルを介して伝送されることがある、電気信号や光信号などの伝送可能な媒体でよい。本発明によるプログラムは、詳細には、インターネット型ネットワーク上でダウンロードされてもよい。

あるいは、情報媒体は、プログラムが組み込まれた集積回路でよく、回路は、本発明による方法を実行するかその方法を実施する際に使用されるように適応される。

他の特徴と利点は、図を参照して述べる非限定的な例として示される好ましい実施形態の以下の記述を読んだ後で明らかになるであろう。

本発明の一実施形態による少なくとも１つの対象物を視覚追跡する方法を示す図である。 本発明の一実施形態で使用される非同期センサによる信号の出力を示す図である。 本発明の一実施形態による対象物のモデルを示す図である。 本発明の一実施形態による少なくとも１つの対象物を視覚追跡する装置を示す図である。

図１に示された１つの好ましい実施形態によれば、少なくとも１つの対象物を視覚追跡するための方法は、段階Ｅ１〜Ｅ６を含む。

段階Ｅ１は、一連の時空事象を表わすデータの受け取りである。

これらのデータは、非同期センサによって提供される。このタイプのセンサは、例えば光、電界、磁界などの少なくとも１つの物理的規模と関連付けられた情報を収集することができる。非同期センサは、データを事象の形で提供し、従来のセンサより少ない待ち持間と高い時間的ダイナミクスによって、情報冗長性をなくす。

非同期センサは、従来のビデオ信号のフレームのクロックのような、時間的に所定のクロック周波数でサンプリングされない信号を出力する。非同期センサは、表示されるシーンのアドレス事象表現（ＡＥＲ）を提供する。各画素は、この画素に対応する光強度の変化による事象ベース信号シーケンスに対応する。例えば、画素の事象ベース非同期信号シーケンスは、画素と関係する光などの少なくとも１つの物理的規模の変化の関数として時間的に位置決めされた一連の正又は負パルスを含む。

図２に示されたように、個々に検討される各画素に関して、センサは、前の事象に関連した強度に対するしきい値より大きい対数強度の変化を検出する。そのような変化が検出されたとき、対数強度が増大するか減少するかにより、＋１又は−１事象が生成される。

センサが非同期なので、事象は、きわめて細かい時間分解能（例えば、１μｓ）で提供されうる。

各事象と時間が関連付けられる。したがって、事象は、数学的にｅ（ｘ，ｔ）によって表わされ、ここで、ｘは、空間座標系における事象の位置を表わす座標のベクトルであり、ｔは、事象の時間を表す。

前述のように、値ｅ（ｘ，ｔ）は、＋１又は−１である。

少なくとも１つの対象物を表わすデータが入手できると仮定する。そのようなデータは、ポイントクラスタ（ポイント群）の形であり、各ポイントは、前述したような事象である。

少なくとも１つの対象物を表わすデータが、一連のガウストラッカを使用して焦点面にメッシュをかけることによって初期化されることに注意されたい。

後述するように、指数ｉを有する対象物のポイントクラスタ（ポイント群）は、平均μ_ｉ（ｔ）が座標系内の対象物の位置を示し、また分散行列Σ_ｉ（ｔ）がそのサイズと位置と関連する二次元ガウス分布によってモデル化されうる。

次の段階Ｅ２は、段階Ｅ１で受け取った一連の時空事象内の事象が、受け取った一連の時空事象内の各事象に対して、対象物を表わすポイントクラスタに属する確率を決定する。

ｉ番目のポイントクラスタと関連付けられたｉ番目の対象物が検討され、ここで、平均μ_ｉ（ｔ）＝［μ_ｉ１，μ_ｉ２］^Ｔは、所定の二次元座標系内の時間ｔにおける対象物の位置を表わすベクトルであり、指数１は横軸に割り当てられ、指数２は縦軸に割り当てられる。対象物の位置は、この対象物をモデル化する楕円の中心の位置である。

ｉ番目のポイントクラスタの分散行列Σ_ｉ（ｔ）は、次の通りである。

一連の時空事象内の事象ｅ（ｘ，ｔ）がｉ番目のポイントクラスタに属する確率は、次の通りである。

この式において、ベクトルｘ＝［ｘ_１，ｘ_２］^Ｔは、同じ二次元の座標系内で検討された事象の時間ｔにおける位置であり、｜Σ_ｔ（ｔ）｜は、分散行列の決定因子である。

確率ｐ_ｉ（ｘ）は、非同期センサによって１つ以上の事象ｅ（ｘ，ｔ）が生成される所定の時間ｔに生じる全ての事象に関して、また全ての対象物に関して計算される。１つの確率ｐ_ｉ（ｘ）は、所定の時間ｔに、その時間における各対象物事象ペアに関して計算される。

次の段階Ｅ３は、前の段階で確率ｐ_ｉ（ｘ）が計算された各事象に関して、事象がポイントクラスタに属するかどうかを、決定された確率の関数として決定する。

これを達成するため、確率ｐ_ｉ（ｘ）は、照明に依存する所定のしきい値Ｓと比較される。しきい値Ｓは、例えば確率２．５％である。

確率ｐ_ｉ（ｘ）が、しきい値Ｓより小さい場合、事象ｅ（ｘ，ｔ）は、検討される対象物に属さない。

確率ｐ_ｉ（ｘ）がしきい値Ｓより大きい場合、事象ｅ（ｘ，ｔ）は検討する対象物に属する。事象ｅ（ｘ，ｔ）に関して計算された幾つかの確率が、しきい値Ｓより大きい場合、事象ｅ（ｘ，ｔ）は、最も高い確率を有する対象物に属する。

次の段階Ｅ４は、前の段階で少なくとも１つの事象が検討されるポイントクラスタに属することが決定されたときに、少なくとも１つの対象物のポイントクラスタと関連した情報を更新することである。

利得又は重付け係数α_１、α_２及びα_３が検討される。時間ｔにおいて、所定の対象物に関して、対象物の位置μ_ｉ（ｔ）は、次のように、この対象物の時間（ｔ−１）における位置と、この対象物を表わすポイントクラスタに属するとして段階Ｅ３で決定された事象ｅ（ｘ，ｔ）との関数として更新される。

μ_ｉ（ｔ）＝α_１・μ_ｉ（ｔ−１）＋（１−α_１）・ｘ

検討される時間ｔにおけるポイントクラスタの分散行列Σ_ｉ（ｔ）は、時間（ｔ−１）における分散行列Σ_ｉ（ｔ−１）の関数として次のように更新される。

Σ_ｉ（ｔ）＝α_２・Σ_ｉ（ｔ−１）＋（１−α_２）・ΔΣ_ｉ

この式で、ΔΣ_ｉは、ポイントクラスタの現在位置μ_ｉ（ｔ）と、段階Ｅ３でポイントクラスタに属するように決定された事象ｅ（ｘ，ｔ）の位置とから計算された共分散の差である。

１つの変形実施形態によれば、検討されるポイントクラスタの速度も決定され更新される。これは、画像平面における１秒当たりの画素数で表した速度である。

時間ｔで、速度ベクトルｖ_ｉ（ｔ）＝［ｖ_ｉ１（ｔ），ｖ_ｉ２（ｔ）］^Ｔは、次の式により決定される。

ｖ_ｉ（ｔ）＝α_３・ｖ_ｉ（ｔ−１）＋（１−α_３）（μ_ｉ（ｔ）−μ_ｉ（ｔ−１））／Δｔ

ここで、Δｔは、時間ｔと（ｔ−１）の差である。

ポイントクラスタの位置、分散行列、及び場合によっては速度を決定するこれらの計算は、段階Ｅ３でポイントクラスタに属するように決定された全ての事象に関して繰り返される。これらの計算は、また、段階Ｅ３で事象が属することが決定された各ポイントクラスタに関して繰り返される。

次の段階Ｅ５は、最新の情報の関数として少なくとも１つの対象物のサイズと向きを計算する。この計算は、段階Ｅ４で情報が更新された全ての対象物に関して行われる。

対象物は、楕円によってモデル化される。楕円の半軸ａとｂ及び向きαは、段階Ｅ４で計算された分散行列Σ_ｉ（ｔ）の関数として決定される。

最初に、２つの大きさλ_ｍａｘ及びλ_ｍｉｎが、以下のように決定される。

楕円の半軸ａとｂ及び向きαは、以下の式を用いて計算される。

次の段階Ｅ６は、位置、サイズ及び向きが決定された対象物を表示画面に表示する。前の段階の処理が、時間（ｔ−１）とｔの間で修正されたデータに基づいて行われた場合、表示は、前の処理によって修正されなかった対象物も、全ての対象物の表示であることが好ましい。

段階Ｅ６は、任意である。

対象物追跡が、二次元系に関して開示されたことに注意されたい。しかしながら、本発明による対象物追跡は、三次元で行われてもよい。

これは、ガウス分布のサイズの修正を対象物のサイズに関連付ける較正を使用して行うことができる。追跡されている対象物のサイズが分かっているので、その深さを、ガウスパラメータの変化に基づいて推定することができ、換言すると、センサから遠ざかっているか近づいているかを推定することができる。

前述の全ての処理は、非同期センサが、この対象物に影響を及ぼす一連の時空事象を表わすデータを提供するとすぐに、対象物の位置、サイズ及び向きが計算され更新されるように繰り返し行われる。

事象が、非同期センサによってきわめて細かい時間分解能（例えば、１μｓ）で提供されることが分かっている。したがって、前述の処理の周波数は１ｋＨｚを超える。

図４は、本発明による少なくとも１つの対象物を視覚追跡する装置の特定の実施形態を示す。

情報が関連付けられたポイントクラスタによって表わされる少なくとも１つの対象物を視覚追跡する装置は、
一連の時空事象を表わすデータを受け取る手段と、
前記受け取り手段によって受け取られた一連の時空事象内の各事象に対して、前記一連の時空事象内の事象が、前記少なくとも１つの対象物を表わす前記ポイントクラスタに属する確率を決定する手段と、
前記受け取り手段によって受け取られた一連の時空事象内の各事象に対して、事象が前記ポイントクラスタに属するかどうかを、当該事象に関して決定された前記確率の関数として決定する手段と、
前記ポイントクラスタに属することが決定された各事象に対して、前記少なくとも１つの対象物の前記ポイントクラスタと関連付けられた情報を更新する手段と、
前記少なくとも１つの対象物の位置、サイズ及び向きを、前記更新された情報により計算する手段と、を含む。

少なくとも１つの対象物を視覚追跡する装置が、コンピュータの一般的構造を有する。詳細には、本発明による方法を実施するコンピュータプログラムを実行するプロセッサ１００、メモリ１０１、入力インタフェース１０２及び出力インタフェース１０３を含む。

これらの様々な要素は、従来通りバス１０５を介して接続される。

入力インタフェース１０２は、非同期センサ９０に接続され、一連の時空事象を表わすデータを受け取る。

プロセッサ１００は、前述の処理を実行する。この処理は、プロセッサ１００によって実行される前に、メモリ１０１に記憶されたコンピュータプログラムのコード命令の形で行われる。

メモリ１０１は、また、本発明により処理されたポイントクラスタに関する情報を記憶する。

出力インタフェース１０３は、表示画面１０４に接続されて対象物を表示する。

任意のタイプの確率密度が、本発明の枠組みにガウス形の代わりに使用されてもよいと注意されたい。例えば、全ての可能な向きを考慮する、ランダム分布と任意のガウス和及び累乗の次数と導関数に限定されないガウス分布の導関数を使用することが想定できる。

本発明の潜在的用途には、小規模で利用される光学ピンセット、マイクロアセンブリ、マイクロロボット及び遠隔操作が挙げられる。同様に、潜在的用途には、移動、飛行又はヒューマノイドロボット、及び粒子フィルタリングが挙げられる。

９０：非同期センサ
１００：プロセッサ
１０１：メモリ
１０２：入力インタフェース
１０３：出力インタフェース
１０４：表示画面
１０５：バス

Claims (10)

1. 情報と関連付けられたポイントクラスタによって表わされた少なくとも１つの対象物を視覚追跡する方法であって、
   一連の時空事象を表わすデータを受け取る段階（Ｅ１）と、
   前記受け取った一連の時空事象内の各事象に対して、前記一連の時空事象内の事象が、前記少なくとも１つの対象物を表わす前記ポイントクラスタに属する確率を決定する段階（Ｅ２）と、
   前記受け取った一連の時空事象内の各事象に対して、事象が前記ポイントクラスタに属するかどうかを、当該事象の前記決定された確率の関数として決定する段階（Ｅ３）と、
   前の段階で前記ポイントクラスタに属すると決定された各事象に対して、前記少なくとも１つの対象物の前記ポイントクラスタと関連付けられた情報を更新する段階（Ｅ４）と、
   前記少なくとも１つの対象物の位置、サイズ及び向きを、前記更新された情報の関数として計算する段階（Ｅ４，Ｅ５）と、
   を含む方法。
2. 前記一連の時空事象は、非同期センサ（９０）によって提供される、請求項１に記載の方法。
3. 事象が前記ポイントクラスタに属するかどうかを決定する段階（Ｅ３）は、
   前記事象の前記決定された確率を所定のしきい値と比較する段階を含む、請求項１又は２に記載の方法。
4. 前記対象物を楕円によってモデル化して、当該楕円の半軸とその向きを計算することにより、前記少なくとも１つの対象物のサイズと向きが計算される（Ｅ５）、請求項１〜３のうちいずれか一項に記載の方法。
5. 前記少なくとも１つの対象物の速度を決定する段階をさらに含む、請求項１〜４のうちいずれか一項に記載の方法。
6. 前記受け取る段階、決定する段階、更新する段階及び計算する段階は、繰り返し行なわれる、請求項１〜５のうちいずれか一項に記載の方法。
7. 前記更新された情報の関数として計算された前記少なくとも１つの対象物の位置、サイズ及び向きを表すデータを表示する段階（Ｅ６）をさらに含む、請求項１〜６のうちいずれか一項に記載の方法。
8. 情報と関連付けられたポイントクラスタによって表わされる少なくとも１つの対象物を視覚追跡する装置であって、
   一連の時空事象を表わすデータを受け取る手段と、
   前記受け取り手段によって受け取られた一連の時空事象内の各事象に対して、前記一連の時空事象内の事象が、前記少なくとも１つの対象物を表わす前記ポイントクラスタに属する確率を決定する手段と、
   前記受け取り手段によって受け取られた一連の時空事象内の各事象に対して、事象が前記ポイントクラスタに属するかどうかを、当該事象に関して決定された前記確率の関数として決定する手段と、
   前記ポイントクラスタに属することが決定された各事象に対して、前記少なくとも１つの対象物の前記ポイントクラスタと関連付けられた情報を更新する手段と、
   前記少なくとも１つの対象物の位置、サイズ及び向きを、前記更新された情報により計算する手段と、を含む装置。
9. 請求項１〜７のうちいずれか一項による方法の段階を実施するための命令を含み、コンピュータ上で実行されるコンピュータプログラム。
10. 請求項１〜７のうちいずれか一項による方法の段階を実施するのに適した命令を含むコンピュータプログラムが記憶された、コンピュータにより読取可能な記憶媒体。

Images