JP2009064409A - 画像データの取り込まれたフレーム内の表示スクリーンを使用して入力装置を追跡するためのシステムおよび方法 - Google Patents

Abstract

【課題】入力装置を追跡するためのシステムであって、画像データのフレーム内の表示スクリーンの位置情報を使用して、表示スクリーンに対する入力装置の相対的位置を決定する。
【解決手段】画像データのフレームを取り込むように構成されたイメージセンサアレイを含む入力装置であって、画像データの前記フレームは表示スクリーンの少なくとも一部を含む、入力装置と、画像データの前記フレームを処理するために前記イメージセンサに対して動作可能に接続されたナビゲーションエンジンであって、該ナビゲーションエンジンは、画像データの前記フレーム内の前記表示スクリーンの位置情報を抽出するように構成され、前記ナビゲーションエンジンは、画像データの前記フレーム内の前記表示スクリーンの前記位置情報を使用して前記表示スクリーンに対する前記入力装置の相対的位置を決定するように更に構成されている、ナビゲーションエンジンと、を備える。
【選択図】図８

Description

光学ナビゲーションのためのシステムでは、光学ナビゲーションシステムに対するフレーム内の特徴の変位を追跡するために、画像データのフレームが連続的に取り込まれて比較される。フレーム内の特徴のこれらの相対的な変位は、光学ナビゲーションシステムに対する特徴の動き、または、特徴に対する光学ナビゲーションシステムの動きを評価するために使用することができる。一例として、特徴の相対的な変位は、コンピュータマウスの動きを追跡してカーソルまたはコンピュータスクリーンを制御するために使用することができる。

幾つかの用途において、追跡される特徴は、光学ナビゲーションのための基準点として取り込まれて使用されるビーコン（例えば、赤外線源）であってもよい。ビーコン源は、通常においては静止しており、したがって、光学ナビゲーションシステムの相対的な動きを決定するための基準点としての機能を果たす。このタイプの光学ナビゲーション技術は、本明細書では、ビーコンベースナビゲーション技術と称される。ビーコンベースナビゲーション技術は、現在、ゲームユニットのためのリモート入力装置の動きを追跡するためにコンピュータゲームユニットで使用される。

従来のビーコンベースナビゲーション技術に対する懸念は、ビーコンを与えるために更なるハードウェアが必要とされ、それにより、システム全体に対してコストおよび望ましくない複雑さが加わる。他の懸念は、視野内にある非ビーコン光源、例えば、ロウソクや反射光をビーコンと勘違いする可能性があり、それにより、ナビゲーションエラーをもたらす可能性がある。

幾つかの用途では、追跡される特徴は、取り込み画像フレーム内の際立った特徴であってもよい。このタイプの光学ナビゲーション技術は、本明細書では、シーンベースナビゲーション技術と称される。シーンベースナビゲーション技術は、光学コンピュータマウスで使用されるナビゲーション技術に類似している。画像データの連続するフレーム内に取り込まれる際立った特徴の位置変化は、光学ナビゲーションシステムの動きを追跡するために使用される。また、シーンベースナビゲーション技術は、ゲームユニットのためのリモート入力装置の動きを追跡するためにコンピュータゲームユニットで使用することもできる。

従来のシーンベースナビゲーション技術に対する懸念は、ナビゲーション中に時として重大なナビゲーションエラーがもたらされる可能性があるということである。そのようなナビゲーションエラーは、ワードプロセッシング用途におけるカーソル制御などの時間に依存しない用途においては重大とならないかもしれない。しかしながら、コンピュータゲームなどの時間依存用途においては、そのようなナビゲーションエラーを許容できない場合がある。

したがって、ビーコン源を必要としないゲームユニットのリモート入力装置などの入力装置を確実に追跡するためのシステムおよび方法が必要である。

入力装置を追跡するためのシステムおよび方法は、画像データのフレーム内の表示スクリーンの位置情報を使用して、表示スクリーンに対する入力装置の相対的位置を決定する。画像データのフレーム内の表示スクリーンを使用すると、光学トラッキングの信頼性を高めつつ、光学トラッキングにおいて基準としてのビーコン光源の必要性が排除される。

本発明の一実施形態に係る入力装置を追跡するための方法は、入力装置を使用して画像データのフレーム内の表示スクリーンの少なくとも一部を電子的に取り込み、画像データのフレーム内の表示スクリーンの位置情報を抽出し、画像データのフレーム内の表示スクリーンの位置情報を使用して、表示スクリーンに対する入力装置の相対的位置を決定することを含む。

本発明の一実施形態に係る入力装置を追跡するためのシステムは、イメージセンサとナビゲーションエンジンとを含む入力装置を備える。イメージセンサは、表示スクリーンの少なくとも一部を含む画像データのフレームを取り込むように構成されている。ナビゲーションエンジンは、画像データのフレームを処理するためにイメージセンサに対して動作可能に接続される。ナビゲーションエンジンは、画像データのフレーム内の表示スクリーンの位置情報を抽出するように構成されている。ナビゲーションエンジンは、画像データのフレーム内の表示スクリーンの位置情報を使用して表示スクリーンに対する入力装置の相対的位置を決定するように更に構成されている。

本発明の他の態様および利点は、本発明の原理の一例として示される添付図面と併せて解釈される以下の詳細な説明から明らかとなる。

図１を参照して、本発明の一実施形態に係る光学ナビゲーションシステム１００について説明する。図１に示されるように、光学ナビゲーションシステム１００は、手持ち式コントローラユニット１０２と、ディスプレイ装置１０４と、コンソールユニット１０６とを含む。幾つかの実施形態では、手持ち式コントローラユニット１０２およびコンソールユニット１０６がコンピュータゲームシステムの一部であり、その場合、手持ち式コントローラユニットは、ディスプレイ装置１０４上に表示されるグラフィック要素を操作するためのシステムの入力装置である。しかしながら、他の実施形態では、光学ナビゲーションシステム１００が他のタイプのシステムを実施するために使用される。例えば、幾つかの実施形態の光学ナビゲーションシステム１００は、コンピュータシステムのためのアクセス可能なユーザインタフェースを与えるために使用されてもよい。

以下で更に詳しく説明するように、光学ナビゲーションシステム１００は、手持ち式コントローラユニット１０２により取り込まれる画像データのフレーム内のディスプレイ装置１０４の表示スクリーン１０８を使用してシステムの手持ち式コントローラユニット１０２の動きを追跡する機能を果たす。取り込み画像フレーム内の表示スクリーン１０８の撮像されたバージョンの位置情報は、その後、手持ち式コントローラユニット１０２の現在の位置を決定するために使用される。取り込み画像フレーム内の表示スクリーン１０８の位置情報は、取り込み画像フレームに対する取り込み画像フレーム内の撮像された表示スクリーンの位置およびサイズ、並びに、取り込み画像フレーム内の撮像された表示スクリーンの形状を含んでもよい。手持ち式コントローラユニット１０２の現在の位置は、表示スクリーン１０８に対する絶対座標系に対する手持ち式コントローラユニットの位置であってもよい。あるいは、手持ち式コントローラユニット１０２の現在の位置は、表示スクリーン１０８に対する手持ち式コントローラユニットの前回の位置に対する手持ち式コントローラユニットの位置であってもよい。取り込み画像フレーム内の撮像された表示スクリーンを使用するこの種の追跡は、本明細書中では、時として、スクリーンベースナビゲーションと称される。

図２Ａ−２Ｃは、取り込み画像フレーム内の撮像された表示スクリーンの位置情報を使用して表示スクリーン１０８に対する手持ち式コントローラユニット１０２の相対的な位置をどのように決定することができるのかを示している。図２Ａは、手持ち式コントローラユニット１０２が表示スクリーン１０８に対して更に近づきあるいは更に離れて移動されるときの取り込み画像フレーム２１２Ａ、２１２Ｂおよび２１２Ｃ内の撮像された表示スクリーン２１０を示している。取り込み画像フレーム２１２Ａに示されるように、手持ち式コントローラユニット１０２が表示スクリーン１０８の近傍に位置される場合、撮像された表示スクリーン２１０のサイズは比較的大きい。また、手持ち式コントローラユニット１０２が表示スクリーン１０８の真正面に位置され且つ表示スクリーンの表面に対して垂直な方向で表示スクリーンへと向けられているため、撮像された表示スクリーン２１０の形状は長方形状である。しかしながら、後述するように、撮像される表示スクリーン２１０の形状は、表示スクリーン１０８に対する手持ち式コントローラユニット１０２の相対的な位置に応じて、台形または他の４つの面を持つ多角形（四辺形または四角形としても知られる）などの任意の四辺形状をとることができる。取り込み画像フレーム２１２Ｂに示されるように、手持ち式コントローラユニット１０２が表示スクリーン１０８から離間して移動される場合、撮像された表示スクリーン２１０のサイズは減少されている。しかしながら、撮像された表示スクリーン２１０の形状は変わっておらず、このことは、表示スクリーン１０８に対する手持ち式コントローラユニット１０２の角度が変更されていないことを示している。取り込み画像フレーム２１２Ｃに示されるように、手持ち式コントローラユニット１０２が表示スクリーン１０８から更に離れて移動される場合、撮像された表示スクリーン２１０のサイズは更に減少されている。しかしながら、撮像された表示スクリーン２１０の形状はこの場合も変わっておらず、このことは、表示スクリーン１０８に対する手持ち式コントローラユニット１０２の角度が変更されていないことを示している。

図２Ｂは、手持ち式コントローラユニット１０２が表示スクリーン１０８から所定距離だけ離れて横方向に移動される場合の取り込み画像フレーム２１２Ｄ、２１２Ｅおよび２１２Ｆ内の撮像された表示スクリーン２１０を示している。すなわち、手持ち式コントローラユニット１０２は、表示スクリーン１０８の表面に対して平行な平面上で移動され、この平面は表示スクリーンから所定距離だけ離れている。取り込み画像フレーム２１２Ｅに示されるように、手持ち式コントローラユニット１０２が表示スクリーン１０８の正面近傍に位置される場合、撮像された表示スクリーン２１０もそれに対応して取り込み画像フレームの中央近傍に位置されている。また、手持ち式コントローラユニット１０２が表示スクリーン１０８の真正面に位置され且つ表示スクリーンの表面に対して垂直な方向で表示スクリーンへと向けられているため、撮像された表示スクリーン２１０の形状は長方形状である。取り込み画像フレーム２１２Ｄに示されるように、手持ち式コントローラユニット１０２が左側方へ移動される場合、撮像された表示スクリーン２１０は、取り込み画像フレーム内で右側方へ移動されている。しかしながら、撮像された表示スクリーン２１０のサイズおよび形状は目立って変わっておらず、このことは、手持ち式コントローラユニット１０２が表示スクリーン１０８から同じ距離だけ離れた位置あるいはその近傍に位置され且つ表示スクリーン１０８に対する手持ち式コントローラユニット１０２の角度が変更されていないことを示している。取り込み画像フレーム２１２Ｆに示されるように、手持ち式コントローラユニット１０２が右側方へ移動される場合、撮像された表示スクリーン２１０は、取り込み画像フレーム内で左側方へ移動されている。しかしながら、撮像された表示スクリーン２１０のサイズおよび形状はこの場合も目立って変わっておらず、このことは、手持ち式コントローラユニット１０２が表示スクリーン１０８から同じ距離だけ離れた位置あるいはその近傍に位置され且つ表示スクリーン１０８に対する手持ち式コントローラユニット１０２の角度が変更されていないことを示している。撮像された表示スクリーン２１０は、手持ち式コントローラユニット１０２が表示スクリーン１０８から所定距離だけ離れて側方下側または上側に移動される場合でも同様に取り込み画像フレーム内で上側または下側に移動される。

図２Ｃは、表示スクリーン１０８に対する手持ち式コントローラユニット１０２の角度が変えられるように手持ち式コントローラユニット１０２が移動される場合の取り込み画像フレーム２１２Ｇ、２１２Ｈおよび２１２Ｉ内の撮像された表示スクリーン２１０を示している。取り込み画像フレーム２１２Ｈに示されるように、手持ち式コントローラユニット１０２が表示スクリーン１０８の表面に対して垂直な方向で表示スクリーンの中央へ向くように手持ち式コントローラユニット１０２が位置決めされあるいは方向付けられる場合、撮像された表示スクリーン２１０は取り込み画像フレームの中央付近に位置されるとともに、撮像された表示スクリーンの形状は長方形である。取り込み画像フレーム２１２Ｇに示されるように、手持ち式コントローラユニット１０２が左へ移動され且つ手持ち式コントローラユニットが表示スクリーン１０８の中央へ依然として向けられた状態で手持ち式コントローラユニットの角度が変えられる場合、撮像された表示スクリーン２１０の形状は特定のタイプの四角形、すなわち、台形へと変えられ、それにより、撮像された表示スクリーンの台形形状の左辺がその右辺よりも長くなっている。しかしながら、撮像された表示スクリーン２１０のサイズは目立って変わっておらず、このことは、手持ち式コントローラユニット１０２が依然として表示スクリーン１０８から同じ距離だけ離れた位置あるいはその近傍に位置されていることを示している。取り込み画像フレーム２１２Ｉに示されるように、手持ち式コントローラユニット１０２が右へ移動され且つ手持ち式コントローラユニットが表示スクリーン１０８の中央へ依然として向けられた状態で手持ち式コントローラユニットの角度が変えられる場合、撮像された表示スクリーン２１０の形状は、撮像された表示スクリーン２１０の台形形状の右辺がその左辺よりも長くなるように変えられる。しかしながら、撮像された表示スクリーン２１０のサイズは目立って変わっておらず、このことは、手持ち式コントローラユニット１０２が依然として表示スクリーン１０８から同じ距離だけ離れた位置あるいはその近傍に位置されていることを示している。手持ち式コントローラユニット１０２が上側または下側へ移動され且つ手持ち式コントローラユニットが依然として表示スクリーン１０８の中央へ向けられた状態で手持ち式コントローラユニットの角度が変更される場合も同様に、撮像された表示スクリーン２１０の形状は取り込み画像フレーム内において変わる。

図示しないが、取り込み画像フレーム内における撮像された表示スクリーンの形状は、表示スクリーンの表面に対して平行な面上で手持ち式コントローラユニット１０２が表示スクリーン１０８に対して回転されているかどうかを決定するために使用することもできる。手持ち式コントローラユニット１０２が時計回りに回転されると、取り込み画像フレーム内の撮像された表示スクリーンも取り込み画像フレーム内で反時計回り方向に同様に回転される。手持ち式コントローラユニット１０２が反時計回りに回転されると、取り込み画像フレーム内の撮像された表示スクリーンも取り込み画像フレーム内で時計回り方向に同様に回転される。

したがって、取り込み画像フレーム内における撮像された表示スクリーンのサイズおよび形状を使用すると、画像解析によって手持ち式コントローラユニット１０２の相対的な位置を決定することができる。手持ち式コントローラユニット１０２の相対的な位置としては、表示スクリーン１０８から手持ち式コントローラユニット１０２までの距離、表示スクリーンの中央からの手持ち式コントローラユニットの横方向距離、表示スクリーンに対する手持ち式コントローラユニットの角度、および、表示スクリーンに対する手持ち式コントローラユニットの回転方向が挙げられるが、これらに限定されない。また、表示スクリーン１０８に対する手持ち式コントローラユニット１０２の相対的な位置を使用すると、手持ち式コントローラユニットが向けられる表示スクリーン上の場所（本明細書では「スクリーンインターセプト」と称される）を決定することができる。

図１に戻って参照すると、光学ナビゲーションシステム１００の手持ち式コントローラユニット１０２は、表示スクリーン１０８の少なくとも一部を含む画像データのフレームを電子的に取り込むように構成されている。また、手持ち式コントローラユニット１０２は、取り込み画像フレームを処理して取り込み画像フレーム内において撮像された表示スクリーンを見つけることにより、取り込み画像フレーム内の撮像された表示スクリーンの位置、サイズ、形状などの撮像された表示スクリーンの位置情報を抽出するように構成されている。更に、手持ち式コントローラユニット１０２は、撮像された表示スクリーンの位置情報を使用して手持ち式コントローラユニットの相対的な位置を計算するとともに、手持ち式コントローラユニットの相対的な位置を示す位置データを出力するように構成されている。手持ち式コントローラユニット１０２の相対的な位置は、光学ナビゲーションシステム１００の所定の座標系に対する手持ち式コントローラユニットの位置であってもよい。光学ナビゲーションシステム１００の座標系は較正段階中に定められてもよい。あるいは、手持ち式コントローラユニット１０２の相対的な位置は、手持ち式コントローラユニットの前回の位置に対する手持ち式コントローラユニットの位置であってもよい。出力される位置データは、光学ナビゲーションシステム１００の座標系のＸ、ＹおよびＺ軸に沿うｘ、ｙおよびｚ位置値を含んでもよい。あるいは、出力される位置データは、それぞれの軸に沿う変化または変位を表わす光学ナビゲーションシステム１００の座標系のＸ、ＹおよびＺ軸に沿うΔｘ値、Δｙ値およびΔｚ値を含んでもよい。また、出力される位置データは、表示スクリーン１０８に対する手持ち式コントローラユニット１０２の角度の値、および、表示スクリーンに対する手持ち式コントローラユニットの回転角度の値を含んでもよい。あるいは、出力される位置データは、角度値の変化または回転角度値の変化を含んでもよい。

手持ち式コントローラユニット１０２の位置データは、ディスプレイ装置に接続されるコンソールユニット１０６に対して送信される。幾つかの実施形態では、コンソールユニット１０６が従来の配線を使用してディスプレイ装置１０４に対して結合される。あるいは、コンソールユニット１０６とディスプレイ装置１０４との間の接続を行なうために、他の有線接続または無線接続が実施されてもよい。コンソールユニット１０６は、手持ち式コントローラユニット１０２からの位置データを特定の用途で用いるために処理する。一例として、コンソールユニット１０６は、新たな位置データが手持ち式コントローラユニットから受けられるときに手持ち式コントローラユニット１０２の動きにしたがってディスプレイ装置１０４のスクリーン１０８上に表示されるグラフィック要素を操作するように構成されていてもよい。コンソールユニット１０６は、ゲームプログラムなどの１つ以上のコンピュータプログラムを実行するコンピュータシステムであってもよい。この実施形態では、コンソールユニット１０６は、パーソナルコンピュータシステムで一般に見出される構成要素を含んでもよい。

ここで、図３を参照すると、本発明の一実施形態に係る手持ち式コントローラユニット１０２のブロック図が示されている。図示の手持ち式コントローラユニットは、デジタルプロセッサ３１４と、メモリ装置３１６と、電源３１８と、通信インタフェース３２０と、イメージセンサ３２２と、ナビゲーションエンジン３２４と、光学レンズ３２６と、水晶発振器３２８とを含む。図示の実施形態において、ナビゲーションエンジン３２４およびイメージセンサ３２２は集積回路（ＩＣ）３３０の一部である。しかしながら、他の実施形態では、イメージセンサ３２２およびナビゲーションエンジン３２４が別個の構成要素として実装されてもよい。ＩＣ３３０は、アドレス信号ライン、データ信号ライン及び／又は制御信号ラインを含んでもよい１つ以上の信号ライン３３２を介してデジタルプロセッサ３１４に対して接続される。手持ち式コントローラユニット１０２は特定の構成要素を含むように示されているが、手持ち式コントローラユニットは更なる構成要素を含んでもよい。例えば、幾つかの実施形態の手持ち式コントローラユニット１０２は、入力ボタン、ジョイスティック、または、ゲームコントローラのために一般に使用される他のユーザインタフェースを含む。他の実施形態の手持ち式コントローラユニット１０２は、ユーザに対する触覚または聴覚フィードバック信号を生成するためのフィードバック信号発生器を含む。

幾つかの実施形態において、デジタルプロセッサ３１４は、マイクロプロセッサまたはマイクロコントローラなどの汎用プロセッサであってもよい。他の実施形態では、デジタルプロセッサ３１４がデジタル信号プロセッサなどの専用プロセッサであってもよい。他の実施形態では、デジタルプロセッサ３１４が他のタイプのコントローラまたはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）であってもよい。一般に、デジタルプロセッサ３１４は、手持ち式コントローラユニット１０２の動作および機能を実行する。

メモリ装置３１６は、手持ち式コントローラユニット１０２の動作で用いるデータ及び／又は命令を記憶するように構成されている。幾つかの実施形態において、メモリ装置３１６は、デジタルプロセッサ３１４によって実行されるときにデジタルプロセッサに特定の操作を実行させる命令を記憶する。同様に、幾つかの命令は、デジタルプロセッサ３１４またはＩＣ３３０内に組み込まれるメモリ内に記憶されてもよい。また、メモリ装置３１６は、デジタルプロセッサ３１４及び／又はナビゲーションエンジン３２４によって生成される位置データを記憶してもよい。

一実施形態において、電源３１８は、直流（ＤＣ）電気信号Ｖｃｃをデジタルプロセッサ３１４および手持ち式コントローラユニット１０２の他の構成要素に対して供給する。幾つかの実施形態の電源３１８は１つ以上のバッテリを含む。幾つかの実施形態において、電源３１８は、配線を介してコンソールユニット１０６から電力を受ける。同様の様式で、水晶発振器３２８は、手持ち式コントローラユニット１０２の１つ以上の構成要素に対してクロック信号ＣＬＫを供給する。

デジタルプロセッサ３１４に対して結合される通信インタフェース３２０は、位置データ信号などの信号を手持ち式コントローラユニット１０２からコンソールユニット１０６へと送信するように構成されている。また、通信インタフェース３２０は、制御信号またはフィードバック信号をコンソールユニット１０６から受けるように構成されてもよい。更に、通信インタフェース３２０は、有線通信または無線通信を容易にしてもよい。例えば、通信インタフェース３２０は、ハードワイヤード接続を介して電気信号をコンソールユニット１０６へ送信してもよい。あるいは、通信インタフェース３２０は、周知の無線データ送信プロトコルを使用して無線周波数（ＲＦ）信号などの無線信号を送ってもよい。

デジタルプロセッサ３１４に対して同様に結合されるイメージセンサ３２２は、画像データのフレームを取り込むように構成されている。イメージセンサ３２２は、相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサアレイまたは電荷結合素子（ＣＣＤ）イメージセンサアレイなどの電子画像センサアレイを含む。例えば、イメージセンサ３２２は、画像データのフレームを取り込むために３２０×２４０のピクセル配列を含んでもよい。しかしながら、他の実施形態のイメージセンサ３２２は、更に低いあるいは更に高い分解能を伴って画像データのフレームを取り込むために更に小さいあるいは大きいピクセル配列を含んでもよい。図示の実施形態において、イメージセンサ３２２は光学レンズ３２６と併せて使用される。しかしながら、他の実施形態は、レンズ３２６を省いてもよく、あるいは、複数のレンズを実装してもよい。

図示の実施形態において、ナビゲーションエンジン３２４はＩＣ３３０上でイメージセンサ３２２と一体である。他の実施形態において、ナビゲーションエンジン３２４は、一部または全体がデジタルプロセッサ３１４と一体であってもよい。更に他の実施形態において、ナビゲーションエンジン３２４は、一部または全体がコンソールユニット１０６内に組み込まれてもよい。一般に、ナビゲーションエンジン３２４は、イメージセンサ３２２によって取り込まれる画像データのフレームを処理することにより、取り込み画像フレーム内の撮像された表示スクリーンを使用して手持ち式コントローラユニット１０２に関する現在の位置データを計算して出力する。このプロセス中、ナビゲーションエンジン３２４は、取り込み画像フレーム内の撮像された表示スクリーンの位置を突き止めて撮像された表示スクリーンの位置情報を抽出し、その後、撮像された表示スクリーンの位置情報を使用して手持ち式コントローラユニット１０２の相対的な位置を計算することにより、手持ち式コントローラユニットの計算された相対的位置に関する位置データを生成することを含む演算を実行する。

幾つかの実施形態では、図４に示されるように、ナビゲーションエンジン３２４は、取り込み画像フレーム４１２Ａ内における撮像された表示スクリーン４１０を、取り込み画像フレームの各ピクセル値、例えば各ピクセルにおける輝度値を閾値と比較することによって見つける。結果として得られる画像フレーム４１２Ｂは、撮像された表示スクリーン４１０を表わす閾値化に起因する四辺形輪郭４１４によって画定される明るいあるいは暗い四辺形領域４１３を有している。一例として、四辺形輪郭４１４は、表示スクリーン１０８に対する手持ち式コントローラユニット１０２の相対的位置に応じて、台形輪郭となる場合がある。

この手法の根拠は、取り込み画像フレーム内の撮像された表示スクリーンの内側の領域が殆どの場合に撮像された表示スクリーンの外側の領域よりも明るくなり得るということである。したがって、取り込み画像フレームのピクセル値を閾値化することにより、撮像された表示スクリーンの内側の領域を特定することができる。その結果、撮像された表示スクリーンが取り込み画像内で見つけられる。取り込み画像フレーム内の特定された四辺形領域の輪郭は、その後、撮像された表示スクリーンの位置情報を抽出するために使用される。一実施形態において、撮像された表示スクリーンの抽出される位置情報は、座標系の中心が取り込み画像フレーム内の所定の点となる取り込み画像フレームに基づく直交座標系の座標によって表すことのできる特定された四辺形輪郭の角（コーナ）の位置、例えば取り込み画像フレームの左上角の位置を含む。特定された四辺形輪郭の角は、特定された四辺形領域の辺の交点または縁部を使用して見つけられてもよい。

他の実施形態では、図５に示されるように、ナビゲーションエンジン３２４は、均等色を有する四辺形フレーム５１６を探すことによって取り込み画像フレーム５１２Ａ内において撮像された表示スクリーン５１０を見つける。四辺形フレーム５１６は、結果として得られる画像フレーム５１２Ｂ内に示されるように、外側四辺形輪郭５１８と内側四辺形輪郭５２０とを含む。内側四辺形輪郭５２０は、取り込み画像フレーム５１２Ａ内の撮像された表示スクリーン５１０の輪郭を表わしている。

この手法の根拠は、ディスプレイ装置が一般に表示スクリーンを取り囲む長方形フレームを有しているということである。したがって、長方形フレームの内側輪郭は表示スクリーンの輪郭に相当する。長方形フレームは、通常、黒、茶、あるいは、何らかの他の均等色である。したがって、長方形または他の四辺形フレームを取り込み画像フレーム内で見つけることができる場合には、長方形または四辺形フレームの内側輪郭を使用して、取り込み画像フレーム内の撮像された表示スクリーンを特定することができる。取り込み画像フレーム内における四辺形フレームの内側輪郭は、その後、撮像された表示スクリーンの位置情報を抽出するために使用される。一実施形態において、撮像された表示スクリーンの抽出された位置情報は、取り込み画像フレームに基づく直交座標系の座標によって表すことのできる四辺形フレームの内側輪郭の角の位置を含む。四辺形フレームの内側輪郭の角は、四辺形フレームの内側輪郭の辺の交点を使用して見つけられてもよい。

他の実施形態では、図６に示されるように、ナビゲーションエンジン３２４は、ドミナントカラー（支配色）を有する四辺形領域６１３、例えば主に青色である四辺形領域を探し出すことにより取り込み画像フレーム６１２Ａ内の撮像された表示スクリーン６１０を見つける。結果として得られる画像フレーム６１２Ｂ内のドミナントカラーを有する四辺形領域６１３の輪郭６１４は、取り込み画像フレーム６１２Ａ内の撮像された表示スクリーン６１０を表わしている。

この手法の根拠は、取り込み画像フレーム内の撮像された表示スクリーンが時としてドミナントカラーを有する画像を含むということである。したがって、ドミナントカラーを有する四辺形領域を探すことによって、撮像された表示スクリーンの内側の領域を特定することができる。その結果、撮像された表示スクリーンが取り込み画像内で見つけられる。取り込み画像フレーム内の特定された四辺形輪郭は、その後、撮像された表示スクリーンの位置情報を抽出するために使用される。一実施形態において、撮像された表示スクリーンの抽出される位置情報は、取り込み画像フレームに基づく直交座標系の座標によって表すことのできる特定された四辺形輪郭の角の位置を含む。特定された四辺形輪郭の角は、特定された四辺形輪郭の辺の交点を使用して見つけられてもよい。

他の実施形態では、図７に示されるように、ナビゲーションエンジン３２４は、基準画像７１１に類似する取り込み画像フレーム内の四辺形領域を探し出すことによって取り込み画像フレーム７１２Ａ内の撮像された表示スクリーン７１０を見つける。基準画像７１１は、ディスプレイ装置１０４の表示スクリーン１０８上に現在表示されている画像である。基準画像７１１は、表示スクリーン１０８上に表示される画像の低分解能バージョンであってもよい。この実施において、取り込み画像フレームの分解能は、画像フレーム７１２Ｂに示されるように、基準画像７１１の同じ低分解能に変換することができる。幾つかの実施形態において、基準画像７１１は、ナビゲーションエンジン３２４によって使用されるためにコンソールユニット１０６から手持ち式コントローラユニット１０２へ送信される。他の実施形態では、コンソールユニットと手持ち式コントローラユニット１０２との間の接続が十分な帯域幅を有すると仮定すると、取り込み画像フレーム７１２Ａは、コンソールユニットにあるナビゲーションエンジン３２４によって使用されるためにコンソールユニット１０６へ送信される。その後、取り込み画像フレーム７１２Ｂは、撮像された表示スクリーン７１０を表わす画像フレーム内の四辺形領域７１３を見つけるために基準画像７１１と比較される。結果として得られる画像フレーム７１２Ｃ内の四辺形領域７１３の輪郭７１４は、取り込み画像フレーム７１２Ａ内の撮像された表示スクリーン７１０の輪郭を表わしている。

この手法の根拠は、表示スクリーン１０８上の画像を使用して取り込み画像フレーム内の撮像された表示スクリーンを四辺形領域として見つけることができるということである。その後、結果として得られる画像フレーム内の特定された四辺形領域の輪郭は、撮像された表示スクリーンの位置情報を抽出するために使用される。一実施形態において、撮像された表示スクリーンの抽出された位置情報は、取り込み画像フレームに基づく直交座標系の座標によって表すことのできる特定された四辺形輪郭の角の位置を含む。特定された四辺形輪郭の角は、特定された四辺形輪郭の辺の交点を使用して見つけられてもよい。

幾つかの実施形態において、ナビゲーションエンジン３２４は、表示スクリーンのための共通のアスペクト比を使用して、撮像された表示スクリーンまたは撮像された表示スクリーンの輪郭として特定された四辺形領域または輪郭を見つけ及び／又は検証してもよい。一例として、ナビゲーションエンジン３２４は、画像データの取り込まれたフレーム内で見つけられる四辺形領域または輪郭がテレビおよびコンピュータスクリーンにおいて一般的な４：３または１６：９のアスペクト比を有しているかどうかを決定してもよい。

幾つかの実施形態において、ナビゲーションエンジン３２４は、前述したプロセスのうちの複数を使用して、画像データのフレーム内の撮像された表示スクリーンを見つけてもよい。一例として、ナビゲーションエンジン３２４は、表示スクリーン１０８上に現在表示される画像に応じて、１つのプロセスから他のプロセスへと動的に切り換わってもよい。他の例として、ナビゲーションエンジン３２４は、取り込み画像フレーム内の撮像された表示スクリーンを見つけるための前のプロセスの有効性に応じて、１つのプロセスから他のプロセスへと切り換わってもよい。

幾つかの実施形態において、ナビゲーションエンジン３２４は、利用可能な情報を使用して、取り込み画像フレーム内の撮像された表示スクリーンの欠けている情報を推定してもよい。一例として、取り込み画像フレームは、撮像された表示スクリーンの角が取り込み画像フレームから欠けているように、撮像された表示スクリーンの一部だけを含んでもよい。そのような状況において、ナビゲーションエンジン３２４は、取り込み画像フレーム内の特定された表示スクリーンの３つの他の角及び／又は辺の位置を使用して、撮像された表示スクリーンの欠けている角の位置を推定することができる。このようにして、撮像された表示スクリーンの欠けている角の推定された位置を計算することができる。

取り込み画像フレーム内の撮像された表示スクリーンが見つけられ且つ撮像された表示スクリーンの位置情報が抽出された後、ナビゲーションエンジン３２４は、撮像された表示スクリーンの位置情報を使用して、表示スクリーン１０８に対する手持ち式コントローラユニット１０２の位置を計算する。幾つかの実施形態において、撮像された表示スクリーンの輪郭だけ及び／又は取り込み画像フレーム内の撮像された表示スクリーンの角の位置が、手持ち式コントローラユニット１０２の相対的な位置を計算するために使用される。表示スクリーン１０８に対する手持ち式コントローラユニット１０２の位置は、従来の数学的計算を適用し且つ本明細書中で説明される概念を使用することによって、撮像された表示スクリーンの位置情報から得ることができる。あるいは、撮像された表示スクリーンの４つの角の座標を使用して手持ち式コントローラユニット１０２の相対的位置を決定するためにルックアップテーブルを使用することができる。前述したように、手持ち式コントローラユニット１０２の相対的な位置としては、表示スクリーン１０８から手持ち式コントローラユニット１０２までの距離、表示スクリーンの中央からの手持ち式コントローラユニットの横方向距離、表示スクリーンに対する手持ち式コントローラユニットの角度、および、表示スクリーンに対する手持ち式コントローラユニットの回転方向が挙げられるが、これらに限定されない。結果として、ナビゲーションエンジン３２４は、手持ち式コントローラユニット１０２の現在の相対的位置に関する情報を含む位置データを生成する。

幾つかの実施形態において、ナビゲーションエンジン３２４は、取り込み画像フレームの低分解能バージョンを使用してシーンベースナビゲーションを行なってもよい。シーンベースナビゲーションは、コンピュータマウス用途で一般に使用される従来の画像相関を使用して行なわれる。一例として、手持ち式コントローラユニット１０２のイメージセンサ３２２は、低分解能画像フレームを取り込むために３２×３２ピクセル配列にサブウインドウ表示することができ、その後、低分解能画像フレームは、手持ち式コントローラユニット１０２の動きを追跡するために画像相関することができる。これらの実施形態において、シーンベースナビゲーションは、手持ち式コントローラユニット１０２の殆どの追跡において行なうことができ、一方、スクリーンベースナビゲーションは、再較正のために控えめに使用することができる。シーンベースナビゲーションはスクリーンベースナビゲーション形態よりも計算が面倒でないため、手持ち式コントローラユニット１０２の殆どの追跡に関してシーンベースナビゲーション形態を使用すると、電力がかなり節約される。

図８のプロセスフローチャートを参照して、入力装置を追跡するための本発明の一実施形態に係る方法について説明する。ブロック８０２では、入力装置を使用して、画像データのフレーム内の表示スクリーンの少なくとも一部が電子的に取り込まれる。次に、ブロック８０４において、画像データのフレーム内の表示スクリーンの位置情報が抽出される。次に、ブロック８０６では、画像データのフレーム内の表示スクリーンの位置情報を使用して、表示スクリーンに対する入力装置の相対的な位置が決定される。

本発明の特定の実施形態を説明して図示してきたが、本発明は、そのように説明されて図示された部分の特定の形態または配置に限定されるべきではない。本発明の範囲は、本明細書に添付の特許請求の範囲およびそれらの等価物によって定義されなければならない。

本発明の一実施形態に係る光学ナビゲーションシステムを示す図である。 本発明の一実施形態に係る、光学ナビゲーションシステムの手持ち式コントローラユニットがシステムの表示スクリーンに対して更に近づきあるいは更に離れて移動されるときの取り込み画像フレーム内の撮像された表示スクリーンを示す図である。 本発明の一実施形態に係る、手持ち式コントローラユニットが表示スクリーンから所定距離だけ離れて横方向に移動されるときの取り込み画像フレーム内の撮像された表示スクリーンを示す図である。 本発明の一実施形態に係る、表示スクリーンに対する手持ち式コントローラユニットの角度が変えられるように手持ち式コントローラユニットが移動されるときの取り込み画像フレーム内の撮像された表示スクリーンを示す図である。 本発明の一実施形態に係る図１の光学ナビゲーションシステムの手持ち式コントローラユニットのブロック図である。 本発明の幾つかの実施形態に係る、閾値化によって取り込み画像フレーム内の撮像された表示スクリーンを見つけるプロセスを示す図である。 本発明の他の実施形態に係る、画像フレーム内でディスプレイ装置のフレームを探すことによって取り込み画像フレーム内の撮像された表示スクリーンを見つけるプロセスを示す図である。 本発明の他の実施形態に係る、画像フレーム内でドミナントカラーを有する四辺形領域を探すことによって取り込み画像フレーム内の撮像された表示スクリーンを見つけるプロセスを示す図である。 本発明の他の実施形態に係る、画像フレームと基準画像とを比較することによって取り込み画像フレーム内の撮像された表示スクリーンを見つけるプロセスを示す図である。 入力装置を追跡するための本発明の一実施形態に係る方法のプロセスフローチャートである。

符号の説明

１００：光学ナビゲーションシステム
１０２：手持ち式コントローラユニット
１０４：ディスプレイ装置
１０６：コンソールユニット
１０８：表示スクリーン

Claims (20)

1. 入力装置を追跡するための方法であって、
   前記入力装置を使用して画像データのフレーム内の表示スクリーンの少なくとも一部を電子的に取り込むステップと、
   画像データの前記フレーム内の前記表示スクリーンの位置情報を抽出するステップと、
   画像データの前記フレーム内の前記表示スクリーンの前記位置情報を使用して、前記表示スクリーンに対する前記入力装置の相対的位置を決定するステップと、
   を含む方法。
2. 前記抽出するステップが、画像データの前記フレーム内で前記表示スクリーンの複数の角の位置を見つけるステップを含み、前記決定するステップが、画像データの前記フレーム内の前記表示スクリーンの前記角の位置を使用して前記入力装置の相対的位置を決定するステップを含む、請求項１に記載の方法。
3. 前記抽出するステップが、画像データの１つ以上の前記フレーム内の前記表示スクリーンの欠けている角の推定位置を計算するステップを更に含む、請求項２に記載の方法。
4. 前記抽出するステップが、画像データの前記フレームのピクセル値を閾値化して、前記画像フレーム内の前記表示スクリーンを見つけるステップを含む、請求項１に記載の方法。
5. 前記抽出するステップが、画像データの前記フレーム内で均等色を有する四辺形フレームを探して、画像データの前記フレーム内の前記表示スクリーンを見つけるステップを含む、請求項１に記載の方法。
6. 前記抽出するステップが、画像データの前記フレーム内でドミナントカラーを有する四辺形領域を探して、画像データの前記フレーム内の前記表示スクリーンを見つけるステップを含む、請求項１に記載の方法。
7. 前記抽出するステップが、画像データの前記フレーム内で基準画像パターンに類似する画像パターンを有する四辺形領域を探して、画像データの前記フレーム内の前記表示スクリーンを見つけるステップを含み、前記基準画像パターンは前記表示スクリーン上に表示される画像に関連付けられている、請求項１に記載の方法。
8. 前記入力装置の相対的位置を決定するために、画像データの前記フレームの一部に対してシーンベースナビゲーションを実行するステップを更に備える、請求項１に記載の方法。
9. 前記実行するステップが、画像データの前記フレームの一部をダウンサンプリングして、前記シーンベースナビゲーションのために必要な計算量を減らすステップを含む、請求項８に記載の方法。
10. 光学ナビゲーションのためのシステムにおいて、
    画像データのフレームを取り込むように構成されたイメージセンサアレイを含む入力装置であって、画像データの前記フレームは表示スクリーンの少なくとも一部を含む、入力装置と、
    画像データの前記フレームを処理するために前記イメージセンサに対して動作可能に接続されたナビゲーションエンジンであって、該ナビゲーションエンジンは、画像データの前記フレーム内の前記表示スクリーンの位置情報を抽出するように構成され、前記ナビゲーションエンジンは、画像データの前記フレーム内の前記表示スクリーンの前記位置情報を使用して前記表示スクリーンに対する前記入力装置の相対的位置を決定するように更に構成されている、ナビゲーションエンジンと、
    を備えているシステム。
11. 前記ナビゲーションエンジンが、画像データの前記フレーム内で前記表示スクリーンの複数の角の位置を見つけて、画像データの前記フレーム内の前記表示スクリーンの前記位置情報を抽出するとともに、画像データの前記フレーム内の前記表示スクリーンの前記角の位置を使用して前記入力装置の相対的位置を決定するように構成されている、請求項１０に記載のシステム。
12. 前記ナビゲーションエンジンが、１つ以上の前記画像フレーム内の前記表示スクリーンの欠けている角の推定位置を計算して、画像データの前記フレーム内の前記表示スクリーンの前記位置情報を抽出するように構成されている、請求項１１に記載のシステム。
13. 前記ナビゲーションエンジンが、画像データの前記フレームのピクセル値を閾値化して、画像データの前記フレーム内の前記表示スクリーンを見つけるように構成されている、請求項１０に記載のシステム。
14. 前記ナビゲーションエンジンが、画像データの前記フレーム内で均等色を有する四辺形フレームを探して、画像データの前記フレーム内の前記表示スクリーンを見つけるように構成されている、請求項１０に記載のシステム。
15. 前記ナビゲーションエンジンが、画像データの前記フレーム内でドミナントカラーを有する四辺形領域を探して、画像データの前記フレーム内の前記表示スクリーンを見つけるように構成されている、請求項１０に記載のシステム。
16. 前記ナビゲーションエンジンが、画像データの前記フレーム内で基準画像パターンに類似する画像パターンを有する四辺形領域を探して、画像データの前記フレーム内の前記表示スクリーンを見つけるように構成され、前記基準画像パターンは前記表示スクリーン上に表示される画像に関連付けられている、請求項１０に記載のシステム。
17. 前記ナビゲーションエンジンが、画像データの前記フレームの一部に対してシーンベースナビゲーションを実行して前記入力装置の相対的位置を決定するように構成されている、請求項１０に記載のシステム。
18. 入力装置を追跡するための方法であって、
    前記入力装置を使用して画像データのフレーム内の撮像された表示スクリーンとしての表示スクリーンの少なくとも一部を電子的に取り込むステップと、
    画像データの前記フレーム内の前記撮像された表示スクリーンの位置情報を抽出するステップと、
    画像データの前記フレーム内の前記撮像された表示スクリーンの前記位置情報を使用して、前記表示スクリーンに対する前記入力装置の相対的位置を決定するステップと、
    を含む方法。
19. 前記抽出するステップが、画像データの前記フレーム内で前記撮像された表示スクリーンの複数の角の位置を見つけるステップを含み、前記決定するステップが、画像データの前記フレーム内の前記撮像された表示スクリーンの前記角の位置を使用して前記入力装置の相対的位置を決定するステップを含む、請求項１８に記載の方法。
20. 前記抽出するステップが、画像データの１つ以上の前記フレーム内の前記撮像された表示スクリーンの欠けている角の推定位置を計算するステップを更に含む、請求項２に記載の方法。

Images