JP2013537618A - オブジェクト追跡及び認識方法及び装置 - Google Patents

Abstract

オブジェクト追跡及び認識システムが提供される。オブジェクト追跡及び認識システムの検出範囲内にあるオブジェクトの画像情報を取得するビデオ装置と、オブジェクトのＲＦタグの信号強度を検出するＲＦＩＤ装置と、を備え、ビデオ装置は検出信号強度が所定の信号強度閾値に到達するとオブジェクトの画像情報を取得するために作動する。

Description

本発明は、一般的にオブジェクト追跡（トラッキング）及び認識システムに関し、特に、ＲＦＩＤ及びビデオ装置を含むオブジェクト追跡及び認識方法及び装置に関する。

ユビキタスコンピューティングの考え方は、人々がコンピュータ又は他の電子装置を使用するときにそのコンピュータ又は他の電子装置からの恩恵をどの装置にも見出すことができない人々に有用である。人々の自然な行動では、明確なコマンドなしに必要に応じて実行されるアプリケーションを駆動する。

ユビキタスコンピューティングプラットフォームを構築するための最初のタスクは、オブジェクト追跡及び認識を実行してユーザの活動状況を取得することである。例えば、ディジタルホーム環境では、活動状況は場所、動き、ジェスチャー、音声、又はユーザの顔の表現についての任意の情報であり得る。ユーザの活動状況についての検出及び分析を用いると、システムは、家庭用の装置で明白な操作をせずに、対応するアクションを取ることができる。

簡単なアプリケーションシナリオを次のように説明することができる。１）例えば、ＴＶ（テレビジョン）セットはそのＴＶセットが置かれているリビングルームに出入りするユーザに関係なくオフ状態になっている。２）ユーザが例えば、コーチに座ったり、又はＴＶセットの前にじっと立っていることにより、テレビを視聴する意向を示すと、ＴＶセットが（まばたくように）点滅する。３）ユーザが自分の手で数回、テレビに対して合図をするとテレビがオンになる。４）ユーザは、自分の手のジェスチャー又は音声コマンドを使用してテレビを操作し続けることができる。５）ユーザはリビングルームの外に移動すると、テレビ番組が一時停止され、そしてユーザが戻って来たときにテレビ番組が再開される。

従来に、無線周波数識別（ＲＦＩＤ）位置決定システムは、ユーザの位置を検出するために使用される。しかしながら、得られた電力の強さは、マルチパス屋内環境では常に安定していないので、位置検出を得ることは依然として困難である。加えて、追跡オブジェクトのためのビデオカメラは、当該技術分野において一般的である。オブジェクトの「現実世界」座標を含む位置、オブジェクトの「物理的」位置、オブジェクトの「３Ｄ」座標、動き、ジェスチャーなどのオブジェクトの画像情報は、１つ以上のカメラの視野内のオブジェクトの見かけから決定される。

１つの簡単なハイブリッド位置検出及びオブジェクト認識方法は、次の通りである。各ホームユーザは、家庭内の受信機に無線信号を送信するアクティブＲＦＩＤタグを身に着けている。簡単なセットアップはテレビなどの制御されるべき電子装置の上に１つのＲＦＩＤ受信機の場所を見つけることである。タグはユーザの靴又は衣服に取り付け可能である。加えて、カメラ、ビデオトラッキング装置などの複数のビデオ装置がテレビの上又は部屋内の特定の場所に配置される。

本発明は、オブジェクト追跡及び認識システムに関し、そのシステムはオブジェクト追跡及び認識システムの検出範囲内のオブジェクトの画像情報を取得するビデオ装置と、オブジェクトのＲＦタグの信号強度を検出するＲＦＩＤ装置とを備え、ビデオ装置は、検出信号強度が所定の信号強度閾値に到達すると、オブジェクトの信号強度を検出するために作動される。

また、本発明は、オブジェクト追跡及び認識システムにおいて使用される方法に関し、その方法は、ビデオ装置によって、オブジェクト追跡及び認識システムの検出範囲内のオブジェクト画像情報を得るステップと、ＲＦＩＤ装置によって、オブジェクトのＲＦタグの信号強度を検出するステップとを含み、所定の信号強度閾値に到達したときに検出された信号強度に基づいてオブジェクトの画像情報を得るためにビデオ装置を作動させる。

本発明の例示的な実施形態は添付図面を参照しつつ説明される。
図１は、本発明の実施形態によるハイブリッドオブジェクト追跡及び認識システムを示している。 図２は、本発明の実施形態に係るＲＦ信号強度分布を示す図である。 図３は、本発明の実施の形態に係る線形行列（リニアマトリックス）モデルを模式的に示す表である。 図４は、本発明の実施形態に係る線形行列モデルを用いる方法を示す図である。 図５は、本発明の実施形態に係るビデオ装置の検出範囲を示す図である。 図６は、本発明の実施形態に係るオブジェクト追跡及び認識のための方法を示すフロー図である。

図１は、本発明の実施形態によるハイブリッドオブジェクト追跡及び認識システム１００を示す。システム１００はビデオ装置１００を含み、ビデオ装置１００は映像シーンに現れるオブジェクト又はユーザ画像情報を得る表示装置、ＴＶなどの電子装置に配置された１つ以上のカメラであることができる。ビデオ装置１１０は画像情報発生器１２０と接続され、又はその画像情報発生器１２０を含み、画像情報発生器１２０は映像シーン内のオブジェクトの位置を表示装置の前面にある座標にマッピングするか、又は動き、ジェスチャー、音声又は表現などの画像情報を得る。座標は、緯度、経度、高度などの真の座標であっても良い。或いは、座標は特定のエリアに関連した、又はリファレンスの人工フィールドに関連したなどの座標であっても良い。座標は、オブジェクトが実際にシステム１００の検出範囲に位置している場所を特定し、そのオブジェクトから表示装置までの距離を示すために使用される。通常、座標及び画像モデル１５０に基づいて座標及び他の画像情報を得ることができ、座標及び画像モデル１５０は、フロアプランモデル又は緯度及び経度線を有するグローバルモデル、及び画像データベースを含んでも良い。オブジェクトの座標又は他の画像情報を得るためにビデオ装置１１０及び画像情報発生器１２０を用いる技術は、当該技術分野の当業者に知られており、その詳細はここでは省略される。

また、システム１００はＲＦＩＤ装置１３０を含み、オブジェクト又はユーザに取り付けられたＲＦＩＤタグ（図示せず）の信号強度を検出してＲＦエネルギーを発するために、表示装置上に配置された１つ以上のＲＦＩＤ受信機を含む。ＲＦＩＤ装置１３０は、座標及び画像モデル１５０に基づいてオブジェクトの位置を得て、ユーザから表示装置までの距離を検出するために座標発生器１４０に接続されるか、又は座標発生器１４０を含む。オブジェクトの座標及び距離を得るためにＲＦＩＤ装置１３０及び座標発生器１４０を用いる技術は、当該技術分野の当業者に知られており、その詳細はここでは省略される。

ビデオ装置は、ＲＦＩＤ装置よりもオブジェクトのより正確な画像情報を得ることができることが知られている。しかしながら、ユーザのプライバシ及びエネルギー消費量を考えると、必要な場合にのみ、特にビデオ装置として使用されるカメラが無線のものである場合にビデオ装置を作動させることが好ましい。よって、本発明の実施形態によれば、ビデオデ装置１１０及びＲＦＩＤ装置１３０を制御するために中央処理装置１６０が用いられ、それによりＲＦ信号強度が所定の閾値よりも大きい場合にはオブジェクト又はユーザがＴＶなどの表示装置の近くに存在することを示し、ビデオ装置は電源オンとなり、一方、オブジェクト又はユーザがＴＶから離れている場合にはＲＦ信号強度は低く、ビデオ装置の電源がオフとなる。

所定の閾値は、オブジェクトが特定の場所に位置されたか又は表示装置から特定の距離（例えば、６メートルなど）を有しているときの信号の強さである。その閾値はそれが生成されるときの環境を表すことができる。環境が変化した場合に閾値が無効であっても良く、特定の場所又は距離の場合にはエラーになる。

本発明の実施形態によれば、システム１００の検出範囲内の２点を用いて閾値の信号強度を推定しかつ動的に更新するために、その２点間の信号強度の関係を記述するために関係モデルが構築される。図２は本発明の実施形態に係るＲＦ信号強度分布を示す図である。対応するＲＳＳ等高線が示されている。この図では、右側のバーは無線信号強度のＲＳＳ（ｄＢ）を表し、ｘ軸及びｙ軸はオブジェクト認識システム１００の検出範囲の座標を定義し、それはここではシステムで使用されるカメラに基づいている。カメラは、カメラセンサが正確な画像／ビデオを捕らえることができる角度である所定の視野（ＦｏＶ）及び距離である観察深度（ＤｏＶ）を有している。その図では、検出範囲を複数のグリッド（Ｒ１−Ｒ９及びＤＲ１−ＤＲ３など）に分割することができ、ＤＲ１−ＤＲ３は閾値グリッドであり、その中において対応する信号強度は表示装置を電源オンする所定の閾値である。各グリッドの位置を中心点で表すことができ、それは、各グリッドの無線信号強度をその中心点での無線信号強度によって表すことができることを意味する。

これらのグリッド（Ｒ１−Ｒ９及びＤＲ１−ＤＲ３）のうちの２つのグリッド間の信号強度の関係を次の線形モデルによってモデル化することができることが知られている。

ここで、ｒ_ｉはｉ番目のグリッドでの受信信号強度サンプルを表し、ｒ_ｊはｊ番目のグリッドでの受信信号強度サンプルを表し、

及び

は線形モデルの係数である。例えば、オフライントレーニングから収集されたｉ番目のグリッド及びｊ番目のグリッドで複数のサンプルによってこれらの係数を得ることができ、これらの係数を得るためにこれらのサンプルに最小平均二乗誤差（ＭＭＳＥ）を適用する。

加えて、線形関係は安定または固定であることが知られている。すなわち、通常、環境の変化によってその関係に影響を与えることはできない。それ故、線形モデル行列（Ｍ*Ｎの要素からなると仮定する）は検出範囲内のＭグリッド間の関係を記述するために用いられ、（ｉ番目の行及びｊ番目の列の）要素はｉ番目グリッドとｊ番目グリッドとの間のＲＳＳ関係を表す係数

である。そして、図２の閾値範囲ＤＲ１、ＤＲ２、ＤＲ３内のＲＳＳ値のように、検出範囲内の信号強度を推定するために役立つオンラインフェーズ（段階）でこの線形モデル行列を用いることができる。加えて、本発明は、２つのグリッドから得られる線形モデルに限定されるものではなく、本発明の実施形態に係る２つ以上のグリッドの線形モデルを得ることは当該技術分野の当業者にとって明らかである。また、本発明は、線形モデル行列に限定されず、当該技術分野の当業者は、本発明の実施形態に対してグリッド間に他の安定した関係モデルを使用することができる。

線形モデル行列の１つの例が図３に示されている。その図では、２つのグリッド毎に要素が示されている。ＤＲ１とＤＲ１、Ｒ７とＲ７などの、同一のグリッドに対する要素は本実施形態では使用されていないことに注意されるべきである。

図４は、線形モデル行列を使用する方法を示す図である。本発明の実施形態によれば、線形モデル行列はＤＲ１−ＤＲ３で所定の信号強度閾値を動的に更新するために使用される。例えば、ｔ０で、線形モデル行列はオフライントレーニングによって得られる。オブジェクトがｔ１で検出範囲のグリッド（例えば、Ｒ７）において発生した場合には、オブジェクトに取り付けられたＲＦタグの信号強度が元の閾値よりも大きいのでカメラが作動される。この時、カメラとＲＦ受信機の両方が有効になる。それにより表示装置からの距離及びオブジェクトが発生したグリッドはカメラによって得られ、また、取り付けられたタグの現在の信号強度も得られている。これらのサンプルデータによると、ＤＲ１などの閾値グリッドでの信号強度を線形モデル行列

及び式（１）に基づいて求めることができる。この方法は、単一点推定と呼ばれている。同じ方法に基づいて、次にオブジェクトが検出エリアに移動するときに表示装置を電源オンするためにｔ１及びｔ２での推定閾値を更新することができる。

加えて、線形モデル行列に基づいて多点推定法を用いることもできる。オンラインフェーズでカメラの画像解析によって捕らえられた複数の信号強度サンプルがあるときには、多点推定を使用することができる。それは、閾値が複数の点で複数のＲＳＳサンプルによって推定されることを意味する。例えば、ＤＲ１に対応する閾値（ｒ_ｉ）が推定され、Ｒ４、Ｒ５、Ｒ７、Ｒ８での信号強度サンプルが画像解析によって捕らえられていると仮定されている。ＤＲ１に最も近い２つのグリッドである２つのグリッド（Ｒ７、Ｒ８）が推定のために選択される。そして、それぞれの線形モデルは、ＤＲ１の信号強度を推定するために独立して使用される。これらの２つの推定結果は１つの最大比率合成アルゴリズムによって合成される。その詳細は以下の通りである。

２つの最も近いグリッド（Ｒ７、Ｒ８）を選択し、ｒ_ｊ，ｒ_ｋはＲ７、Ｒ８各々の信号強度のサンプルを表す。より正確なグリッドを選択して推定値を得るために、各グリッドの信頼度ｒ_ｊのＣ_１，ｉ、ｒ_ｋのＣ_２，ｉを次のように導くことができる。

グリッドＲ７に隣接するグリッドＲ４（ＲＩは、その信号強度である）を見つけて、式（１）を用いてｒ_ｌによってｒ_ｊを推定する。そして、式（２）によってＲ７の信頼度を得る。

ｒ_ｊは、Ｒ７で検出された信号強度であり、

はｒ_ｌ及び図３の線形モデル行列を使用することによってＲ７で推定された信号強度である。式（２）から、Ｃ_ｌ，ｉがより高くなるほどこのグリッドでのサンプルのより高い信頼度を表すことができることが分かる。

次に、点Ｒ８に最も近いグリッドＲ５（ｒ_ｍはその信号強度である）を見つけ出し、式（１）を用いてｒ_ｍによってｒ_ｋを推定する。そして、式（４）によってＲ８の信頼度を得る。

次の式を用いてＣ_１，ｉ及びＣ_２，ｉを正常化する。

次の式を用いて最大比率合成（ＭＲＣ）法で閾値ｒ_ｉの推定を合成する。ｒ_ｊを用いて閾値ｒ_ｉ（式でｒ_１，ｉと表された）を推定する。

ｒ_ｋを用いてｒ_ｉ（式でｒ_２，ｉと表現された）を推定する。

ＭＲＣ法によってｒ_ｉの最終推定を得る。

オブジェクトの状態情報を捕らえるために閾値グリッドにオブジェクトが移動しているときにカメラが電源オンできるように、閾値は得られたｒ_ｉを用いて更新される。図５は、本発明の実施形態に係るビデオ装置の検出範囲を示す図である。図５において、部屋内の壁(Wall)の輪郭（アウトライン）及び家具(Furniture)の分布が示されている。２つの境界線の間の検出範囲において、ユーザの特徴サイズ（例えば、顔の大きさなど）と、カメラとユーザとの間の距離との間の関係も示されている。例えば、大人の顔サイズ／子供の顔サイズに基づいたスナップショットシーケンス画像は、画像情報発生器１２０のメモリに用意され、それにより、新しいスナップショット画像のこれらのサンプルスナップショット画像との比較に基づいて表示装置からユーザまでの大まかな距離を定義することができる。実際には、ユーザ識別情報を含むＲＦＩＤタグは、比較を行うために使用される顔のタイプを選択するために役立つことができる。例えば、ユーザの顔の特徴をＲＦＩＤタグに保存することができる。同時に、顔がカメラ画像（左／右／中央）のどこにあるかの分析でユーザ方向情報を得ることができる。

図６は、本発明の実施形態に係るオブジェクト認識のための方法を示すフロー図である。ステップ６０１では、オフライントレーニングが図３に示された線形モデル行列と、閾値グリッドＤＲ１−ＤＲ３での元の閾値信号強度を得るために実行される。次に、ステップ６０２では、オブジェクトが検出範囲内で生じたときに、カメラはそのオブジェクトの画像情報を得るために作動され、ステップ６０３では、オブジェクトが生じたグリッドが画像情報に応じてカメラによって判別される。この時点では、ＲＦ装置がステップ６０４においてオブジェクトに取り付けられたＲＦタグの信号強度を検出することが可能である。線形モデル行列によれば、ステップ６０５では閾値グリッドで現在の信号強度閾値を得て、ステップ６０６では元の閾値を更新することができる。

上記したことは、単に本発明の実施形態を示し、当該技術分野の当業者は、明示的に本明細書に記載されないが、本発明の原理を具現化し、かつその精神及び範囲内にある多数の代替配置を工夫することができることが理解され得る。

Claims (9)

1. オブジェクト追跡及び認識システムであって、
   前記オブジェクト追跡及び認識システムの検出範囲内にあるオブジェクトの画像情報を取得するビデオ装置と、
   前記オブジェクトのＲＦタグの信号強度を検出するＲＦＩＤ装置と、
   を備え、
   前記ビデオ装置は、当該検出信号強度が所定の信号強度閾値に到達すると、前記オブジェクトの画像情報を取得するために作動するように構成されていることを特徴とするオブジェクト追跡及び認識システム。
2. 前記検出範囲内で信号強度の関係モデルを用いて前記所定の閾値を更新する中央処理装置を更に含むことを特徴とする請求項１記載のオブジェクト追跡及び認識システム。
3. 前記関係モデルは、前記検出範囲内の領域間の信号強度の線形行列モデルであることを特徴とする請求項１又は２記載のオブジェクト追跡及び認識システム。
4. 前記所定の閾値は、前記オブジェクトから前記ＲＦＩＤ装置までの距離に対応することを特徴とする請求項１乃至３のいずれか１記載のオブジェクト追跡及び認識システム。
5. 前記所定の閾値は、前記関係モデルに基づいて単一又は複数の点の推定法によって更新されることを特徴とする請求項１乃至４のいずれか１記載のオブジェクト追跡及び認識システム。
6. 座標モデル又は画像モデルを前記ビデオ装置及び前記ＲＦＩＤ装置に提供する画像座標又は画像モデルを更に含むことを特徴とする請求項１乃至５のいずれか１記載のオブジェクト追跡及び認識システム。
7. 前記オブジェクト追跡及び認識システムは、前記ビデオ装置及び前記ＲＦＩＤ装置によって画像情報が検出されると、電子装置の電源をオン／オフするように前記電子装置上に配置されるべく構成されていることを特徴とする請求項１乃至６のいずれか１記載のオブジェクト追跡及び認識システム。
8. オブジェクト追跡及び認識システムにおいて使用される方法であって、
   前記オブジェクト追跡及び認識システムの検出範囲内にあるオブジェクトの画像情報をビデオ装置によって取得するステップと、
   前記オブジェクトのＲＦタグの信号強度をＲＦＩＤ装置によって検出するステップと、含み、
   当該検出信号強度が所定の信号強度閾値に到達すると、前記オブジェクトの画像情報を取得するために前記ビデオ装置を作動させることを特徴とする方法。
9. 前記方法は請求項２乃至７記載のオブジェクト追跡及び認識システムで使用されることを特徴とする方法。
   

Images