JP2012529112A - オブジェクト追跡のための色較正 - Google Patents

Abstract

【解決手段】追跡システムを較正するために、計算装置は、光学センサにより撮像された１以上の画像におけるオブジェクトの位置を検出する。計算装置は、１以上の画像に含まれる、１以上の画像においてオブジェクトにより発せられていない色である環境色を決定する。計算装置は、オブジェクトにより呈された場合に、オブジェクトを計算装置が追跡することを可能とする１以上の追跡可能な色を決定する、
【選択図】図１

Description

本出願は、米国特許法第１１９条（ｅ）に基づいて米国仮出願第６１／２１７，３９３号（２００９年５月３０日出願）の優先権を主張し、この出願は本明細書に援用される。

本発明は、一般に、追跡システムの較正に関し、とくに、追跡システムにより観測されるオブジェクトの色の較正に関する。

コンピュータゲーム産業において、ユーザとゲームシステムとの間のインタラクションを増加させるゲームの開発がトレンドになっている。よりリッチな対話式の体験を達成するための一つの方法は、ゲームコントローラを用いて、ゲームシステムがゲームコントローラの動きを追跡することによりユーザの動きを追跡し、その動きをゲームの入力として用いることである。一般に、ジェスチャー入力は、コンピュータシステム、ビデオゲームコンソール、スマートアプライアンスなどの電子機器を、オブジェクトを追跡するビデオカメラ又は他の位置センサにより取得されたジェスチャーに反応させるために適用される。

ユーザの位置及び動きの信頼できる測定を行うためには、一般に、ゲームシステムを較正する必要がある。このような較正は、ゲームシステムが使用されるたびに必要となる。従来のシステムにおいては、コントローラの色は変更されず、コントローラの位置の追跡もコントローラの色に基づくものではない。従来のゲームシステムにおける較正は、コントローラの色の較正を含まない。

本発明は、本発明の実施の形態を説明するために用いられる、下記の説明及び添付の図面を参照することにより、最も良く理解されうる。

図１は、本発明の一つの実施の形態における、追跡システムの透視図を示す図である。 図２Ａは、本発明の一つの実施の形態における、ボール部を有するゲームコントローラを示す図である。 図２Ｂは、本発明の一つの実施の形態における、ボール部を有する別のゲームコントローラを示す図である。 図３は、本発明の一つの実施の形態における、ユーザに配置された複数のモーションキャプチャボールを示す図である。 図４は、本発明の一つの実施の形態における、追跡システムのブロック図を示す図である。 図５は、本発明の一つの実施の形態における、マルチプレイヤー環境の概略図を示す図である。 図６Ａは、追跡システムを較正する方法の一つの実施の形態のフロー図を示す図である。 図６Ｂは、追跡システムを較正する方法の別の実施の形態のフロー図を示す図である。 図７Ａは、追跡システムを較正する方法の更に別の実施の形態のフロー図を示す図である。 図ＢＡは、追跡システムを較正する方法の更に別の実施の形態のフロー図を示す図である。 図８Ａは、追跡システムを部分的に再較正する方法の一つの実施の形態のフロー図を示す図である。 図８Ｂは、光学センサの露出設定が変更されたときに追跡システムを再較正する方法の一つの実施の形態のフロー図を示す図である。 図８Ｃは、オブジェクトの色の偏差及び／又は光学センサのヴィネッティングをマッピングする方法の一つの実施の形態のフロー図を示す図である。 図９Ａは、較正及び／又は色の再設定を実行した後に達成される較正結果を示す図である。 図９Ｂは、較正及び／又は色の再設定を実行した後に達成される較正結果を示す図である。 図９Ｃは、較正及び／又は色の再設定を実行した後に達成される較正結果を示す図である。 図９Ｄは、較正及び／又は色の再設定を実行した後に達成される較正結果を示す図である。 図９Ｅは、較正及び／又は色の再設定を実行した後に達成される較正結果を示す図である。 図１０は、本発明の一つの実施の形態における、コントローラの位置を決定するために用いられうるハードウェア及びユーザインタフェースを示す図である。 図１１は、本発明の一つの実施の形態における、命令の処理に利用可能な追加のハードウェアを示す図である。

本明細書では、ゲームシステム又は他の計算装置において用いられる追跡システムを較正するための方法及び装置が説明される。一つの実施の形態において、追跡システムを較正するために、計算装置は、光学センサにより撮像される１以上の画像においてオブジェクトの位置を検出する。計算装置は、画像に含まれる環境色を決定する。環境色は、１以上の画像におけるオブジェクトにより発光されていない色である。計算装置は、つづいて、もしオブジェクトにより呈されたとしたら計算装置がオブジェクトを追跡することが可能となるであろう１以上の追跡可能な色を決定する。

一つの実施の形態において、オブジェクトの位置の検出は、オブジェクトが予め定義された複数の色を順に呈するようにさせることを含む。１以上の画像は、予め定義された複数の色のそれぞれ別々の画像を含んでもよい。異なる画像において異なる色を有するピクセルの集合がオブジェクトとして識別されてもよい。一つの実施の形態において、環境色を決定するために、処理装置はオブジェクトの発光を停止させ、オブジェクトが発光していない間に１以上の画像が撮像される。オブジェクトが発光しない間に撮像された画像におけるオブジェクトの色は、オブジェクトにより出力される真の色を識別するために、オブジェクトが発光している間に撮像された画像のオブジェクトの色から減じられる。計算装置は、真の色出力情報及び環境色情報を用いて、いずれの色が追跡可能な色であるかを判定してもよい。これは、いずれの色が追跡可能な色であるかを決定するためにテストされる色をオブジェクトが実際に呈するようにすることなく実行されてもよい。

下記の説明においては、特定の数値的な詳細が示される。しかしながら、本発明が、これらの特定の詳細なしに実施されることが可能であることは、当業者には明らかである。いくつかの例において、本発明を不明瞭にするのを避けるために、詳細よりもむしろ、既知の構造及び装置がブロック図の形で示される。

下記の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビット上の演算のアルゴリズム及び記号表現の観点から示される。これらのアルゴリズムの記述及び表現は、その成果を最も効果的に他の当業者に伝えるために、データ処理の分野の当業者により用いられる手段である。アルゴリズムは、本明細書において、及び一般的に、所望の結果を達成する自己矛盾のない一連のステップであると理解されている。ステップは、物理量の必要な物理操作である。通常、必然的ではないが、これらの量は格納可能な電気的又は磁気的信号の形式をとり、送信され、結合され、比較され、及びその他の操作を受ける。これらの信号を、ビット、値、要素、記号、文字、項、数などと呼ぶことが、主に共通の使用のために、時に便利であることが立証されている。

しかしながら、これらの語及び類義語の全ては、適当な物理量に関連付けられるもので、これらの量に適用される単なる便利なラベルであることに留意するべきである。以下の議論から明らかであるように、とくにそうではないと断らない限り、詳細な説明の全体にわたって、「位置の検出」「決定」「追跡」「識別」「除外」などの語を用いた議論は、物理的（例えば電気的）な量としてコンピュータシステムのレジスタ及びメモリ内で表現されるデータを操作し、コンピュータシステムのメモリ又はレジスタ、又は、他の同様な情報ストレージ、通信又は表示装置の中で物理量として同様に表現される他のデータに変換するコンピュータシステム又は同様の電気的計算装置の動作及び処理のことを指すことが理解される。

本発明は、また、本明細書の手順を実行するための装置に関する。この装置は、要求される目的のために特別に構築されてもよいし、コンピュータに格納されたコンピュータプログラムにより選択的に作動された又は再構成された汎用コンピュータを備えてもよい。一つの実施の形態において、本明細書の手順を実行するための装置は、ゲームコンソール（例えば、ソニープレイステーション（登録商標）、ニンテンドーＷｉｉ（登録商標）、マイクロソフトＸｂｏｘ（登録商標）など）を含む。コンピュータプログラムは、例えば、フロッピー（登録商標）ディスクを含む任意の種類のディスク、光ディスク（例えば、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、ディジタルビデオディスク（ＤＶＤ）、ブルーレイディスク（登録商標）など）、及び磁気光学ディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光学カード、又は電気的命令を格納するために適した任意の種類の媒体などのコンピュータ読み取り可能な記録媒体に格納されてもよい。

図１は、本発明の一つの実施の形態における、追跡システム１００の透視図を示す。追跡システム１００は、光学センサ１０５、光学センサ１０５により追跡されるオブジェクト１１０、及び光学センサ１０５及びオブジェクト１１０により取得されたデータを処理する計算装置１１５を含む。一つの実施の形態において、追跡システム１００は、ゲームシステムの構成要素である。または、追跡システム１００は、モーションキャプチャシステム又は他の計算システムの構成要素であってもよい。

光学センサ１０５は、二次元又は三次元空間におけるオブジェクト１１０の光学センサ１０５に対する位置を測定するセンサである。光学センサ１０５により検知される位置データ（例えば画像）は、撮像平面と撮像平面に垂直なベクトルにより定義される光学センサ１０５の参照フレーム１５０内のデータである。本明細書では、参照フレームは、オブジェクトの位置、方向及び他のプロパティを測定するための座標系として定義される。参照フレーム及び座標系という語は、本出願を通して交換可能に用いられる。

図示されるように、光学センサ１０５は、テレビジョンセット１２０の上面に、床１５０に対して負のピッチ１４５をもって設置される。ピッチ１４５は、光学センサ１０５の測定平面内にある光学センサの参照フレーム１５０の水平軸と重力１３５に垂直な平面との間の角である。

本発明の一つの実施の形態において、光学センサ１０５は標準的なビデオカメラである。この実施の形態において、光学センサ１０５は、深さ方向の情報（光学センサ１０５及びオブジェクト１１０の間の距離）を、オブジェクト１１０の大きさを特定する予め定義された情報及び／又は光学センサ１０５の視野（field of view：ＦＯＶ）を特定する予め定義された情報に基づいて取得してもよい。視野１２５は、光学センサ１０５により撮像される所与のシーンの角度範囲である。視野は、カメラのレンズにより発生する画像の歪み（例えばズームの量）を定義する。オブジェクト１１０が光学センサ１０５から遠くへ移動するにつれて（すなわち、距離１３０が増加するにつれて）、光学センサ１０５により撮像されるオブジェクト１１０の画像は小さくなる。したがって、光学センサ１０５に対するオブジェクト１１０の距離１３０は、光学センサ１０５の視野１２５が既知であれば、追跡対象のオブジェクト１１０の画像の大きさ（例えば、ピクセルで測定される）の、追跡対象のオブジェクト１１０の既知の実際の大きさに対する比に基づいて決定できる。

本発明の別の実施の形態において、光学センサ１０５は、Ｚカメラ（映像を深さ方向の情報とともに撮像可能な単一レンズのビデオカメラ）又はステレオカメラ（三次元画像を撮像可能な２以上のレンズを有するビデオカメラ）である。この実施の形態において、光学センサ１０５は、オブジェクト１１０の大きさを特定するための情報を予め設定することなく、深さ方向の情報を取得することができる。

オブジェクト１１０は、赤・青・緑の光を発光するダイオード（ＲＧＢ ＬＥＤ）などのマルチカラー発光体を含む電子機器である。マルチカラー発光体は、様々な色相及び輝度の光を発光することが可能である。一つの実施の形態において、オブジェクト１１０は、図２Ａ及び２Ｂに示されたゲームコントローラなどの携帯型電子機器又は携帯型電子機器の一部である。別の実施の形態において、オブジェクト１１０は、図２Ｃに示すように、モーションキャプチャ（モーキャプ）ボールである。オブジェクト１１０は、正方形、球、三角形、又はより複雑な形状など、任意の形状を有してもよい。一つの実施の形態において、オブジェクト１１０は、球状の形状を有する。

図２Ａは、本発明の一つの実施の形態における、ボール部２０５を有するゲームコントローラ２００を示す。図２Ｂは、本発明の別の実施の形態における、ボール部２１５を有する別のゲームコントローラ２１０を示す。ある実施の形態において、ボール部２０５及び２１５は、図１のオブジェクト１１０に相当する。

ボール部２０５及び２１５は、異なる色であってもよく、一つの実施の形態において、ボール部２０５及び２１５は、発光してもよい。一つの実施の形態において、ボール部２０５、２１５は、多数の異なる色を呈するために、発光することができる。一つの実施の形態において、ＲＧＢのＬＥＤなどの発光体がボール部２０５、２１５の内部に配置される。球状のボール部が示されているが、ボール２０５及び２１５は、球の一部、完全ではない球、アメリカンフットボール又はラグビーで使われるような引き伸ばされたボール、立方体状の形状など、視覚的に追跡する目的のために、他の形状を有していてもよい。一つの実施の形態において、ボール部２０５及び２１５は、直径４ｃｍである。しかしながら、より大きい、又は、より小さい大きさであってもよい。より大きい場合は、視覚的に認識しやすい。例えば、直径が５ｃｍのボールでは、４ｃｍのボールに比べて、画像認識におけるピクセル数が約５５パーセント多くなる。

図３は、本発明の一つの実施の形態における、ユーザ３２５に配置された複数のモーキャプボール３２０を示す。モーキャプボール３２０は、光学センサがモーキャプボール３２０の間の位置又は角度に基づいてユーザの動きを取得し認識するために、それぞれ近接して接合するようにユーザ３２５により装着されるマーカである。一つの実施の形態において、モーキャプボール３２０は、モーションキャプチャスーツに装着される。一つの実施の形態において、それぞれのモーキャプボール３２０は、マルチカラー発光体を含む。受信したコマンドに応じて、それぞれのモーキャプボール３２０は、割り当てられた色を呈することができる。一つの実施の形態において、全てのモーキャプボールに同じ色（例えば、特定の緑の色調）が割り当てられる。または、異なるモーキャプボールに、同一の色の異なる色調や、異なる原色など、異なる色が割り当てられてもよい。

図１に戻り、オブジェクト１１０及び／又は光学センサ１０５は、有線及び／又は無線接続を介して計算装置１１５に接続される。有線接続は、例えば、ＩＥＥＥ１３９４（ファイヤーワイヤー（登録商標））ケーブル、イーサネット（登録商標）ケーブル、及びユニバーサルシリアルバス（ＵＳＢ）ケーブルなどを介した接続を含む。無線接続は、例えば、無線忠実（ＷｉＦｉ）接続、ブルートゥース（登録商標）接続、ジグビー（登録商標）接続などを含む。図示された実施の形態において、光学センサ１０５は、有線により計算装置１１５に接続する。

計算装置１１５は、ビデオゲームコンソール、パーソナルコンピュータ、ゲーム機、又は他の計算装置であってもよい。計算装置１１５は、オブジェクト１１０からのユーザ入力に応答可能なゲーム又は他のアプリケーションを実行してもよい。オブジェクト１１０は追跡され、オブジェクト１１０の動きはユーザ入力を提供する。

室内光、様々な色の背景オブジェクトの存在、ユーザの衣服、日時などの環境条件が追跡可能な色に影響を与える。さらに、輝度や色相などの色の属性はオブジェクトの間で様々でありうる。さらに、単一のオブジェクトの色であっても、オブジェクトの表面にわたって様々でありうる。したがって、追跡システム１００がオブジェクトの色を用いてオブジェクト１１０を正確に追跡可能とするために、事前に追跡システム１００を較正する必要がある。追跡システム１００の較正は、追跡可能な色の決定を含む。追跡可能な色は、オブジェクト１１０により呈された場合にオブジェクトを追跡可能となる色である。一つの実施の形態において、光学センサ１０５の視野１２５に含まれない（又は含まれる色の量が閾値よりも少ない）色が追跡可能な色である。追跡システム１００の較正は、ボールが特定の色を発光するときに、どの色を探索するかの決定を更に含んでもよい。例えば、オブジェクト１１０が赤い光を発光する場合、計算装置１１５は、オレンジから深い赤までの範囲の色を探索してもよい。色の較正は、環境光の条件（例えば環境色）の決定及びその補償を更に含んでもよい。色の較正は、図６Ａ〜９Ｅを参照して、以下に詳述される。

図４は、本発明の一つの実施の形態における、追跡システム４００のブロック図を示す。追跡システム４００は、光学センサ４０５に物理的に接続された計算装置４１５を含む。一つの実施の形態において、計算装置４１５は、光学センサ４０５により追跡されるオブジェクト４１０に無線接続される。計算装置４１５は、光学センサ４０５に無線接続され、及び／又は、オブジェクト４１０に物理的に接続されてもよいことが留意されるべきである。一つの実施の形態において、追跡システム４００は、図１の追跡システム１００に相当する。

オブジェクト４１０は、マルチカラー発光体４２０を含む。一つの実施の形態において、マルチカラー発光体４２０は、ＲＧＢのＬＥＤである。または、マルチカラー発光体４２０は、分離した赤のＬＥＤ、緑のＬＥＤ、及び青のＬＥＤを含んでもよい。マルチカラー発光体４２０は、他の種別のカラー光源を含んでもよいが、全ての範囲の色を発光可能であることが望ましい。

光学センサ４０５は、ビデオカメラ、Ｚ−カメラ、ステレオカメラ、又は画像を撮像可能な他の装置であってもよい。オブジェクト４１０が移動されるとき、光学センサ４０５は、オブジェクト４１０を含む画像を撮像する。光学センサ４０５は、計算装置４１５へ画像を送信する。一つの実施の形態において、光学センサ４０５は、画像データが取得されるとリアルタイムに計算装置４１５に画像データを流す。

計算装置４１５は、ビデオゲームコンソール、パーソナルコンピュータ、ゲーム機などであってもよい。計算装置４１５は、撮像された画像に含まれる特定の色を探索することによりオブジェクト４１０を追跡するオブジェクト追跡部４４０を含む。オブジェクト追跡部４４０は、特定の色を用いてエッジ分析を更に実行し、エッジ分析からオブジェクト４１０の形状を決定してもよい。オブジェクト追跡部４４０は、色追跡だけでなくエッジ分析を用いることにより、正確さ及び精度を向上させることができる。

一つの実施の形態において、光学センサ４０５により画像が撮像され、オブジェクト４１０がオブジェクト追跡部４４０により追跡されるとき、オブジェクト４１０の位置の変更は、計算装置４１５がゲームやコンピュータアプリケーションなどを制御するための入力として用いられる。例えば、オブジェクト４１０の位置の変更は、本人又は第三者視点のゲームにおけるキャラクタを制御したり、画面上のマウスカーソルを移動させたりするために用いることができる。別の実施の形態において、オブジェクト４１０から受信された慣性データは、計算装置４１５への入力として用いられる。または、慣性データは、光学センサ４０５から取得された位置データと組み合わせて、計算装置４１５に対する正確かつ精密な入力を提供するために用いられてもよい。

一つの実施の形態において、計算装置４１５は、オブジェクト４１０及び取得した画像の残り（例えば、背景オブジェクトによる環境色、環境光など）の色データに基づいて追跡システム４００を較正する較正ロジック４３２を含む。較正ロジック４３２は、１以上のハードウェア論理回路であってもよい。または、較正ロジックは、処理装置（例えば、セルプロセッサ、中央処理装置、又は他の処理装置）により実行されるロジックであってもよい。較正ロジック４３２は、ハードウェア論理回路と処理装置により実行されるソフトウェアロジックとの組み合わせを含んでもよい。

一つの実施の形態において、較正ロジック４３２は、較正中にオブジェクト４１０がどこにあるかの初期決定を行うオブジェクト位置検出部４３６を含む。較正ロジック４３２は、オブジェクトが一連の色（例えば、原色）の間で循環されている間に、複数の画像を光学センサに撮像させてもよい。オブジェクト位置検出部４３６は、画像内のどのピクセルが画像間で変化するか（例えば、オブジェクト４１０が緑であるときに緑であり、オブジェクト４１０が青であるときに青であり、オブジェクト４１０が赤であるときに赤であるピクセル）を決定してもよい。オブジェクト位置検出部４３６は、これらのピクセルを、オブジェクトを表すものとして識別してもよい。

オブジェクト位置検出部４３６によりオブジェクト４１０の画像内の位置が特定されると、色評価部４３８は、画像内に含まれる環境色（背景色などのオブジェクト４１０を原因としない色）を決定する。色評価部４３８は、オブジェクト４１０により呈された場合に（例えば、マルチカラー発光体４２０により発光された場合に）容易に追跡可能な色、及び、正確に追跡することが困難又は不可能な色を更に決定する。色評価部４３８は、検出された、室内光により生じたオブジェクトの色（環境色の寄与）から、検出された、オブジェクトにより発光された色（オブジェクト発光色）を分離することにより、追跡可能な色の集合を決定してもよい。色評価部４３８は、複数の異なる可能な色についてのしきい値の組を算出し、背景画像が色のしきい値の範囲内にある色を含むか否かを判定してもよい。

色評価部４３８が追跡可能な色の集合を決定すると、追跡可能色データ構造４４２に追跡可能な色を追加してもよい。追跡可能色データ構造４４２は、メモリに格納されてもよい。一つの実施の形態において、色評価部４３８は、光学センサ４０５の特定の露出設定について、追跡可能な色の集合を決定する。色評価部４３８は、特定の露出設定における追跡可能な色の強度設定だけでなく色相設定を決定してもよい。一つの実施の形態において、光学センサの露出設定が変更されると、色評価部４３８は、追跡可能な色を再計算し、追跡可能色データ構造４４２を更新する。色較正は、図６Ａ−９Ｅを参照して、以下に詳述される。

図５は、一つの実施の形態における、プレイヤーにより把持された異なるコントローラの位置を決定するために視覚情報が用いられる、マルチプレイヤー環境５００の概略図を示す。マルチプレイヤー環境５００において、光学センサ５０８はプレイフィールド５１８の画像データを取得し、画像データはボールが設けられたコントローラＣ_１、Ｃ_２、Ｃ_４、及びＣ_５の位置を取得するために分析される（例えば、背景色及びボールが設けられたコントローラの色に基づいて）。距離ｄ_ｚ１、ｄ_ｚ２、ｄ_ｚ４、及びｄ_ｚ５は、取得された画像におけるそれぞれのボールの形状及び大きさを分析することにより推定される。

ゲームプレーの前に、ボールが設けられたコントローラＣ_１、Ｃ_２、Ｃ_４、及びＣ_５のそれぞれについて較正が実行される。室内光及び色の条件が全てのコントローラについてほぼ同一であったとしても、一つの実施の形態において、それぞれのコントローラについて独立して較正が実行されるべきである（それぞれのコントローラの較正は同時に実行してもよい）。このような独立した較正により、例えばそれぞれのコントローラに含まれるＲＧＢのＬＥＤなどのマルチカラー発光体における偏差や、それぞれのコントローラの位置における室内光の差違を調整することができる。例えば、コントローラＣ_１及びコントローラＣ_２は、青色を発光するよう指示されたとき、わずかに異なる色相及び／又は強度の青色を発光するかもしれない。独立した較正により、このような相違を補償することができる。

使用されるコントローラのそれぞれのプロファイルが既に計算装置５０２に保持されている一つの実施の形態において、それぞれのコントローラの独立した較正は不要である。このような実施の形態においては、一つだけのコントローラを用いた一回の較正が実行可能である。較正の結果は、較正が行われたコントローラのプロファイルと他のコントローラのプロファイルとの間の差に基づいて修正することができる。例えば、計算装置５０２が、コントローラＣ_５がＣ_４よりも明るい緑の色調を生じることを知っている場合、色の較正をＣ_４により実行し、コントローラＣ_５に適用するために修正することができる。

コントローラが較正されると、計算装置５０２は、計算装置５０２上で実行されているゲームにおいて発生する事象に基づいて、コントローラ（又はコントローラの一部）が使用可能（追跡可能）な色を呈するようにさせることができる。例えば、プレイヤーＢがゲームにおいて水の魔法をかけようとするとき、コントローラＣ_４を青色にすることができる。計算装置５０２は、コントローラが呈するよう指示された色に依存する特定の色又は色の集合を探索することによりコントローラを追跡する。ゲーム中に、異なるコントローラが異なる色を呈してもよい。計算装置は、取得した座標及び距離を用いて、画面５０４におけるプレイヤーの表現であるアバター５１２ａ及び５１２ｂをそれぞれ生成する。良好な画像認識のための典型的な距離は、約１０フィート（３メートル）である。視覚認識を用いることの一つの利点は、コントローラを変更する必要なく、画像取得及び画像認識の向上をシステムに取り込めることである。

図６は、一つの実施の形態に係る追跡システム較正する方法６００の例を示すフロー図である。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法６００は、図１の計算装置１１５により実行される。

図６Ａを参照して、ブロック６０２において、計算装置は、複数の色を呈することができるオブジェクトの色較正を開始する。一つの実施の形態において、色較正は、ゲーム又は他のアプリケーションが計算装置１１５において開始されるたびに実行される。または、色較正は、追跡対象のオブジェクトが、一定期間の静止の後、動きが検出されるたびに実行されてもよい。または、色較正は、較正信号を受け付けたときに実行されてもよい。較正信号は、ユーザが追跡対象のオブジェクトに含まれる特定のボタン又は一連のボタンを押したときに、追跡対象のオブジェクトにより生成されてもよい。色較正は、継続的に実行されてもよい。

一つの実施の形態において、計算装置は、色較正の開始にあたって、オブジェクトを所定の色に呈させる（発光させる）コマンドをオブジェクトに送信する。別の実施の形態において、計算装置は、オブジェクトを一連の複数の色（例えば原色）に呈させるコマンドをオブジェクトに送信する。別の実施の形態において、ユーザは、色較正の間、オブジェクトを特定の位置に保つよう要求される。例えば、画面の特定の位置に円が表示されてもよい。ユーザは、画面におけるオブジェクトの画像が円に揃うまでオブジェクトを移動するように要求されてもよい。

ブロック６０５において、光学センサは、１以上の画像を撮像する。複数の画像が撮像される場合、画像のそれぞれは、オブジェクトが異なる色を発光している間に撮像されてもよい。例えば、オブジェクトは、順に、赤、緑、及び青の原色を発光するようにされてもよい。オブジェクトが赤、緑、及び青の光を発光している間、別々の画像が撮像されてもよい。全ての色は、赤、緑、及び青の一次結合であるから、これらの色の特性が明らかになれば、全ての色の較正情報を決定することができる。オブジェクトがいずれの色の光も発光していないときに、１以上の画像が撮像されてもよい。一つの実施の形態において、画像は、光学センサの最小又は低い露出設定において撮像される。低い露出設定により、彩度及び動きのぶれが低減される。光学センサは、画像を計算装置へ送信する。一つの実施の形態において、計算装置は、光学センサの二次元参照フレームにおける画像を受信する。

ブロック６１０において、計算装置は、画像（又は複数の画像）内のオブジェクトの位置を検出する。一つの実施の形態において、計算装置は、オブジェクトが画像において呈する所定の色を探索する。所定の色（又は所定の色からわずかにずれた色）に対応する画像内のピクセルが、オブジェクトであると決定される。例えば、マゼンタは、画像内に通常現れない比較的希少な色である。オブジェクトはマゼンタに変更されてもよく、計算装置は光学センサにより撮像された画像におけるマゼンタのピクセルを探索してもよい。別の実施の形態において、計算装置は、オブジェクトが特定の位置にあると仮定する。

ブロック６１５において、計算装置は、画像の環境色を決定する。一つの実施の形態において、環境色は、オブジェクトに対応しない画像のピクセルに含まれる全ての色を含む。一つの実施の形態において、計算装置は、画像の色のヒストグラムを生成し、オブジェクトに対応する画像のピクセルをヒストグラムから減じる。残りの色は、画像の背景に含まれる全ての環境色を表す。一つの実施の形態において、環境色の決定は、オブジェクトがいずれの光も発光していなかったときの（ブロック６１０において識別された）オブジェクトを表すピクセルの色の識別を含む。これらの色は、オブジェクトにより反射された環境色であると決定される。

ブロック６３０において、計算装置は、どの色がオブジェクトに使用可能であるか（どの色が追跡可能な色であるか）を決定する。追跡可能な色は、オブジェクトにより呈された場合に、環境色から容易に区別することができる色（例えば、背景オブジェクト及び環境光に起因する色）である。計算装置は、色相及び強度の小さな差違を検出可能である。したがって、同一の色の間の（例えば、明るい青と暗い青の間の）わずかな違いを容易に区別することができる。計算装置は、異なる色（例えば、異なる原色）の間でも容易に区別することができる。使用可能な色は、オブジェクトを光学センサ及び計算装置により正確に追跡されることを可能とする。一つの実施の形態において、使用可能な色の決定は、一連の色を循環させ、それらの色を用いて背景からオブジェクトを区別することがどの程度容易であるかを確認することを含む。これは、以前に取得された画像に基づいて計算的に実行されてもよい。したがって、オブジェクトは、それらの色が追跡可能な色であるかを決定するために、テストされる色を呈する必要がない。使用可能な色が決定されると、方法は終了する。

図６Ｂは、追跡システムを較正する方法６８６の別の実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法６８６は、図１の計算装置１１５により実行される。

図６Ｂを参照して、ブロック６８７において、計算装置は、複数の色を呈することができるオブジェクトの色較正を開始する。ブロック６８８において、計算装置は、オブジェクトに特定の色を呈する（発光する）ように、又はいずれの色も発光しないように指示する。一つの実施の形態において、計算装置はオブジェクトに原色を発光するよう指示する。オブジェクトは、特定の色を特定の輝度レベルで発光するように指示されてもよい。ブロック６８９において、光学センサは、オブジェクトを含むシーンのディジタル画像を撮像する。光学センサは、所定の露出設定でディジタル画像を撮像してもよい。

光学センサはフレームレートを有し、それぞれのフレームの別々の画像を撮像する。一つの実施の形態において、光学センサは、１秒に６０フレームのフレームレートを有し、それぞれのフレームは、光学センサにより１／６０秒間に観測された全てを含む。オブジェクトがフレームの中間で色を変更すると、フレームはオブジェクトの２つの色を含み、不正確となる。一つの実施の形態において、計算装置は、光学センサのクロックとは非同期のクロックを有する。この場合、一つの実施の形態において、オブジェクトがフレーム全体にわたって特定の色（又は無色）を有している画像が撮像されることを保証するために、オブジェクトは、少なくとも３フレームの間（例えば、３つの画像が撮られる）、特定の色に呈される。このため、オブジェクトの色が一定に保たれたフレームが少なくとも１つある。

別の実施の形態において、光学センサのクロックは、計算装置のクロックに同期されてもよい。光学センサのフレームレートとオブジェクトが特定の色を呈されているときとの間のタイミングは、計算装置により管理される。計算装置は、オブジェクトの色が光学センサのフレームと揃い、フレームが完了するまでオブジェクトが色を変更しないことを保証することができるように、オブジェクトの色のタイミングを図る。この実施の形態において、オブジェクトは、たかだか１つのフレーム（例えば１つの画像）の間、それぞれの試される色に呈されてもよい。光学センサのクロックが計算装置のクロックに同期される場合、全ての画像は人間が目で見ることができるよりも速く撮像することができる。さらに、色較正は、オブジェクトが素早く移動しているのでなければ、オブジェクトが移動していても実行することができる。

オブジェクトが特定の色に呈されているとき、オブジェクトの異なる部分が異なる方法で背景の環境（例えば、環境光）と相互作用しうる。したがって、オブジェクトの異なる部分が異なる色を有するように見えうる。換言すれば、オブジェクトは、通常、単一の色ではなく色の集合として観測される。さらに、異なる色がサンプリングされると、オブジェクト全体にわたる色の分布が異なる。例えば、オブジェクトが赤く光るとき、オブジェクトはオレンジから明るい赤まで分布しうる。オブジェクトが青く光るとき、オブジェクトは中間から暗い青の、狭い範囲の色となりうる。

ブロック６９０において、計算装置は、更に画像を撮像する必要があるか決定する。一つの実施の形態において、計算装置は、オブジェクトに複数の色を順に発光させる。ブロック６８８及び６８９は、オブジェクトが呈されるそれぞれの色について繰り返されてもよい。一つの実施の形態において、オブジェクトは、原色（赤、緑、及び青）のそれぞれに呈される。一つの実施の形態において、オブジェクトは、更にどの色も発光しないようにされ、どの色も発光していない間（例えば、オブジェクトのマルチカラー発光体がオフにされている間）に１以上の画像が撮像される。

ブロック６９１において、計算装置は、オブジェクトが異なる色を発光している間に撮像された画像を用いて、画像内のオブジェクトの位置を検出する。それぞれの画像について、画像が撮像されたときにオブジェクトが呈されていた色に対応する画像内のピクセルが識別されてもよい。オブジェクトが赤色を発光していたときに撮像された画像について、赤いピクセルが識別され、オブジェクトが緑色を発光していたときに撮像された画像について、緑のピクセルが識別され、オブジェクトが青色を発光していたときに撮像された画像について、青いピクセルが識別されてもよい。赤の画像における赤いピクセル、緑の画像における緑のピクセル、及び青の画像における青いピクセルは、オブジェクトを表すピクセルとして識別されてもよい。こうして画像の位置が検出される。

一つの実施の形態において、画像が撮像される間、オブジェクトはほぼ静止しているべきである。ほぼ静止した状態は、画像における位置の差を生じる動きが、ピクセル数のしきい値よりも小さいと定義されてもよい。したがって、ブロック６９２において、計算装置は、画像が撮像される間にオブジェクトが移動したか否かを判定する。一つの実施の形態において、オブジェクトは、加速度計、磁力計、及び／又はジャイロスコープなどの１以上の慣性センサを含む。慣性センサが撮像中の移動を伝達する場合、計算装置は、オブジェクトが移動したと判定してもよい。さらに、オブジェクトの形状が計算装置により知られてもよい。オブジェクトが撮像中に移動した場合、オブジェクトの形状は、オブジェクトが画像内で示すと予期される形状に比べて圧縮されて見えうる。例えば、オブジェクトがボールである場合、画像におけるオブジェクトの縦横比は１対１となるはずである。オブジェクトが１対１の縦横比を有しない（圧縮されて見える）場合、計算装置は、オブジェクトが撮像中に移動していたと判定してもよい。オブジェクトが撮像中に移動していた場合、方法はブロック６８８に戻る。オブジェクトが撮像中にほぼ静止していた場合、方法はブロック６９３へ続く。

オブジェクトにより発光された光に起因しない全ての色は、環境色とみなされる。一つの実施の形態において、オブジェクトは、発光していない間、それ自身の色を有しない。したがって、オブジェクトがいずれの光の発光しなかったときに撮像された画像は、環境色を決定するために用いられる。オブジェクトは、それが存在する環境の照明に基づいた色を有するように見えうる。照明環境により追加された色は、オブジェクトがいずれの色も発光していないとき（例えば、オブジェクトがオフにされているとき）に撮像された画像を分析することにより決定することができる。オブジェクトの位置が分かっているので、計算装置は、画像において、オブジェクトによるのではなく、環境の照明条件により生じているオブジェクトの色を決定することができる。

一つの実施の形態において、環境光に基づいて、オブジェクトのある部分は室内光により大きく影響された色を有し、他方、オブジェクトの他の部分はあまり影響されないということがありうる。一つの実施の形態において、計算装置は、信頼できない（例えば、大きな影響を受けている）オブジェクトの部分を識別し、それらの部分のピクセルを追跡又は較正に用いないようにする。例えば、計算装置は、照明が点けられていないオブジェクト（いずれの色の光も発光していないときのオブジェクト）に基づいて、オブジェクトの上半分は白く飽和していると決定してもよい。したがって、全ての色について、オブジェクトの上半分は、追跡又は較正に考慮されない。

ブロック６９３において、計算装置は、オブジェクトの色に対する環境色の寄与を決定する。オブジェクトがいずれの光も発光していないとき、オブジェクトに対応するピクセルの全ての色は環境色（例えば、環境光）に起因する。この同一の環境色は、他の全ての画像におけるオブジェクトに含まれる。したがって、計算装置は、オブジェクトが光を発光している他の画像において観測されたオブジェクトの色から環境色を減じることにより、オブジェクトにより発光されている実際の色を決定することができる。

ブロック６９４において、計算装置は、オブジェクトが異なる色を発光していたときに撮像された画像のそれぞれに含まれるオブジェクトの色から、環境色の寄与を減じる。残りの値は、オブジェクトにより発光された現実の色を表す。

オブジェクトにより発光された色は、光学センサにより観測された色と同一ではない。例えば、オブジェクトが最大の赤を発光し、緑と青を発光しないとき、光学センサは、０．７の赤、０．２の青、及び０．１の緑を測定しうる。オブジェクトが呈されたそれぞれの色（例えば、原色のそれぞれ）について、光学センサにより観測されたカラー値から環境色が減じられる。結果のカラー値は、特定の原色の設定のためのオブジェクトの発光色として記録される。このように、オブジェクトにより発光された色付きの光による現実の色が決定される。したがって、環境色とオブジェクトの色は分離することができる。

一つの実施の形態において、オブジェクトが発光した色の値のそれぞれは、画像においてオブジェクトを表す全てのピクセルの平均である。または、オブジェクトが発光した色の値は、オブジェクトを表すピクセルの中央値を用いて算出されてもよい。一つの実施の形態において、エッジ検出がオブジェクトのエッジを識別するために用いられ、オブジェクトのエッジに位置するピクセルは、オブジェクトが発光した色の決定（例えば、オブジェクトを表すピクセルの平均値又は中央値の算出）には用いられない。

一つの実施の形態において、オブジェクトの色から環境色を分離することにより、オブジェクトのカラー値は、露出及びゲインに不可知的になる。したがって、光学センサの露出設定は、色の較正を完全に再実行する必要を生じさせることなく、いつでも変更することができる。さらに、オブジェクトの色と環境色を別々に決定することにより、計算装置は、この情報を用いて、オブジェクトの異なる色相及び輝度の設定において、及び、光学センサの異なる露出及びゲインの設定において、オブジェクトがどのように見えるか（オブジェクトが何色を有するか）を予測することができる。露出及びゲインは線形であるから、露出を倍にすると、環境色及びオブジェクトが発光した色の双方の色の寄与は倍になる。

ブロック６９５において、計算装置は、追跡可能な色を決定する。一つの実施の形態において、計算装置は、複数の異なる色について、カラー値のしきい値を設定する。カラー値のしきい値は、オブジェクトの特定の色設定について、オブジェクトに関連付けられる色の集合を表す。カラー値のしきい値のそれぞれについて、計算装置は、カラー値のしきい値内に入る背景（環境色）のピクセルの数を決定する。特定の色設定において、カラー値のしきい値内に入るピクセルの量が最大値よりも多ければ、その色設定は追跡のために使用できない（追跡可能な色ではない）。一つの実施の形態において、カラー値のしきい値内に入るピクセルが画像内で２０ピクセルよりも多ければ、そのカラー値のしきい値に関連付けられた色設定は追跡可能な色ではない。シーンと衝突しない色（環境色に含まれない色、又は環境色にたかだか数ピクセルしか含まれない色）は、追跡可能な色であると決定される。これは、単純に静的な計算であってもよい。

一つの実施の形態において、オブジェクトがいずれの色も発光していなかったときに撮像された画像は、可能性のある色に関連付けられた色のしきい値と比較するために用いられる。または、オブジェクトに対応するピクセルがマスクされている場合は、オブジェクトが色を発光していたときに撮像された画像のうちの１つが用いられてもよい。結果は、それぞれの色のピクセル（その色のしきい値内にあるピクセル）が画像内にいくつあるのかを識別する配列であってもよい。この情報は、追跡可能でない色のギャップを含む色相のバーとして出力されてもよい。

一つの実施の形態において、カラー値のしきい値は、３６０の異なる色設定についてチェックされる。それぞれの色設定は、光学センサの特定のゲイン設定及び露出設定においてチェックされてもよい。使用される色のしきい値は、使用される色空間に依存する。例えば、ＹＵＶ色空間が用いられる場合、ＵＶしきい値が設定される（色設定の矩形として表される）。他方、ＲＧＢ色空間が用いられる場合、ＲＧＢしきい値が設定される（カラー値の円錐、円、又は球として表される）。

光学センサは、それぞれの原色について飽和点を有する（例えば、赤の飽和点、青の飽和点、及び緑の飽和点）。オブジェクトは、シーンの残りに比べて顕著に明るく保たれるのがよい。したがって、追跡可能な色を識別するために探索される色は、三原色のうちの１つ又は２つについて、環境色とオブジェクトが発光する色との和が飽和点に近いように設定される。全ての色は、たかだか２つの原色の組み合わせである。したがって、全ての探索される色は、せいぜい、三原色のうちの２つの強度値の組み合わせのいくつかを含む。一つの実施の形態において、飽和点の値は２５５であり、１つ又は２つの原色の強度は、オブジェクトが発光する光と環境色の和の値が２３５に等しくなるように設定される。

オブジェクトの色は、下記の式により記述できる。
（オブジェクト色）＊（露出）＋（環境色）＊（露出）＝合計色
したがって、オブジェクトが発光した色と環境色を分離することにより、露出が調整されるときに、オブジェクトが発光する色を調整して合計の色を制御することができる。

一つの実施の形態において、色のしきい値は、３０％の色の偏差を許容する。したがって、対象色から３０％未満ずれた色は、特定の追跡可能な色に含まれる。別の実施の形態において、より小さな色の偏差又はより大きな色の偏差が、それぞれの色のしきい値において許容される。単一の色設定について許容される偏差を縮小する利点は、より多くの色が使用できることである。

一つの実施の形態において、追跡可能な色の集合を決定する前に、画像はぼかされる。ぼかしは、ピクセルのカラー値を、周囲のいくつかのピクセルの組み合わせ（例えば、平均）に置換することにより実行されてもよい。これにより、光学センサのドット落ち（例えば、常に緑を検知するピクセル）により生じる問題を回避することができる。これにより、モアレパターン（背景オブジェクトが高いコントラストの境界を有する場合に生じうる）を回避することもできる。

以下の例について考える。背景画像が黄色の壁、緑色の植物、及び赤色のソファを含むと仮定する。この場合、画像の多く（例えば、多くのピクセル）が、特定の色調の黄色、緑色、及び赤色を含みうる。例えば、オブジェクトが特定の色調の赤色を呈するようにされるとき、オブジェクトのほとんどは、ソファの色と同一又は類似の色を有するように観測されうる。したがって、画像においてソファとオブジェクトを区別することは困難であろう。オブジェクトが正確に追跡できない状況を避けるために、オブジェクトは、ソファのために背景に含まれる赤色の色調を有するように観測されるような色を呈するようにはされないべきである。同様に、オブジェクトは、壁及び植物に起因する特定の色調の緑色又は黄色を呈するようにされないべきである。

ブロック６９６において、計算装置は、使用可能な色が十分あるかを決定する。一つの実施の形態において、少なくとも存在するオブジェクトと同じ数の追跡可能な色があれば、使用可能な色が十分ある。それぞれのオブジェクトは異なる色を呈し、独立に追跡されることができる。または、追跡可能な色のしきい値（例えば、１５色）があってもよく、追跡可能な色がしきい値よりも少なければ、追跡可能な色が十分でないとされてもよい。一つの実施の形態において、追跡可能な色が十分なければ、方法はブロック６９７へ続く。別の実施の形態において、追跡可能な色が十分なければ、方法はブロック６９９へ続く。追跡可能な色が十分あれば、方法はブロック６９８へ進む。

ブロック６９７において、計算装置は、ユーザに環境を変更するよう指示する。一つの実施の形態において、計算装置は、光学センサにより測定された環境光の量を決定することができる。環境光が強すぎる場合、色が飽和するので、追跡を困難にし、追跡可能な色の量を低減させる。したがって、環境光が強い場合、計算装置は、照明を消す、及び／又は、ブラインド／カーテンを閉じるようユーザに指示してもよい。

一つの実施の形態において、背景が異なる色を多く含み過ぎる場合、使用可能な色が十分でなくなりうる。多くの異なる色を有する一般的な背景オブジェクトは、テレビジョン、ラーヴァランプ、ネオンサイン、クリスマスツリーなどの発光可能なオブジェクトである。使用可能な色が十分ない場合、ユーザは、背景のテレビジョン、ラーヴァランプなどを消すように指示されてもよい。背景が単に多くの異なる色のオブジェクトを含む場合も、追跡可能な色の数を限定させる。一つの実施の形態において、特定の色が使用されることを妨げている背景オブジェクトを強調表示した画像をユーザに表示する。これらの背景オブジェクトは、振動されてもよいし、残りの画像がグレースケールを用いて表示される中でカラー表示されてもよいし、それらを指す矢印とともに表示されてもよい。ユーザは、識別されたオブジェクトのいずれかを背景から移動させれば、更なる色が使用可能となることを通知されてもよい。ユーザが背景を変更すると（例えば、オブジェクトを移動させたり、発光するオブジェクトを消したり、ブラインドを閉じたりすることにより）、方法はブロック６８８に戻る。

ブロック６９９において、計算装置は、追跡可能な色を決定するために用いられる１以上の要求を緩和する。一つの実施の形態において、要求の緩和は、色のしきい値内にあることを許容される背景画像のピクセルの最大量を増加させることを含む。例えば、追跡可能な色について許容されるピクセルの最大値は、４０ピクセル、６０ピクセルなどに増加されてもよい。これにより追跡の質は低下するかもしれないが、追跡に使用可能な色の数は増加する。

ブロック６９８において、計算装置は、特定の追跡可能な色をオブジェクトに割り当て、追跡を開始する。オブジェクトに割り当てられる色は、アクティブなゲーム又は他のアプリケ−ｓひょんに基づいてもよい。一つの実施の形態において、計算装置は、ゲーム又はアプリケーションに追跡に使用可能な色を通知し、ゲーム／アプリケーションは、追跡可能な色のいずれかを動的に選択してもよい。または、最良の追跡を提供する色が特定されてもよく、オブジェクトはこの色に呈されてもよい。一つの実施の形態において、最良の追跡を提供する色は、環境色のいずれとも最も異なる色である。一つの実施の形態において、計算装置は、オブジェクトが追跡容易な色を有することを保証するために、オブジェクトの色を動的に変更する。一つの実施の形態において、計算装置は、特定の色の範囲内にある色の間でオブジェクトを自動的に変更する。例えば、オブジェクトが赤色である場合、オブジェクトは、最良の追跡色を維持するために、追跡可能な赤色の間で自動的に切り替えられる。さらに、いずれかの地点でオブジェクトの位置が分からなくなった場合、オブジェクトは新しい追跡可能な色で発光するようにされてもよい。

光学センサのクロックが計算装置のクロックと同期していない一つの実施の形態において、較正はおよそ４分の１秒かかる。別の実施の形態において、較正にかかる時間は４分の１秒よりも短い（例えば、１６分の１秒）。このような高速な較正は、例えば、同期したクロックが用いられるときに実現可能である。

図７Ａは、追跡システムを較正する方法７５０の更に別の実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法７５０は、図１の計算装置１１５により実行される。

図７Ａを参照して、ブロック７５５において、計算装置は、複数の色を呈することが可能なオブジェクトの色較正を開始する。ブロック７６０において、光学センサは、第１の画像を撮像する。第１の画像は、オブジェクトのマルチカラー発光体が消されている間に撮像される。光学センサは、計算装置へ画像を送信する。

ブロック７６５において、計算装置は、画像の背景色を決定する。一つの実施の形態において、オブジェクトは、いずれの色の光も発光していないとき、いずれの色も有しない。したがって、画像における全ての色は背景からのものである。

ブロック７７０において、計算装置は、背景にない色にオブジェクトを呈させる。例えば、背景が青ければ、オブジェクトは赤い光を発光するようにされてもよい。ブロック７７５において、光学センサは第２の画像を撮像し、計算装置へ第２の画像を送信する。ブロック７８０において、計算装置は、オブジェクトが発光している色（又はわずかにずれた色）に対応する画像内のピクセルを識別することにより、画像におけるオブジェクトの位置を検出する。

ブロック７８５において、計算装置は、オブジェクトに使用可能な色を決定する。一つの実施の形態において、使用可能な色の決定は、オブジェクトを一連の色の間で循環させ、これらの色を用いて、背景からオブジェクトを区別する容易さを検証することを含む。

使用可能な色が決定されると、方法は終了する。

図７Ｂは、追跡システムを較正する方法７８６の別の実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法７８６は、図１の計算装置１１５により実行される。

図７Ｂを参照して、ブロック７８７において、計算装置は、複数の色を呈することが可能なオブジェクトの色較正を開始する。一つの実施の形態において、色較正の実行は、オブジェクトを少しの間１以上の色に呈させること、一連の色の間で循環させること、繰り返しオンオフさせること、又は、光学センサにより撮像された１以上の画像においてオブジェクトを識別することを容易にする別のアクション又は複数のアクションを実行させることを含む。

ブロック７８８において、計算装置は、画像又は複数の画像におけるオブジェクトの位置を決定する。オブジェクトの位置を検出する方法は、色較正が開始されたときに行われたアクション又は複数のアクションに依存する。例えば、特定の色がオブジェクトにより呈された場合、オブジェクトの位置の検出は、特定の色に対応する画像内のピクセルを識別することを含む。オブジェクトが循環的にオンオフされる場合、複数の画像の間で同様に変化するピクセルの集合がオブジェクトを表すものとして識別されてもよい。オブジェクトの位置を検出するための他の技術が用いられてもよい。

ブロック７８９において、オブジェクトは、予め定められた色を呈するようにされる。オブジェクトが予め定められた色を呈している間、光学センサの視野にある全ての１以上の画像が撮像される。

ブロック７９０において、計算装置は、オブジェクトが予め定められた色を呈しているときに観測されるオブジェクトの色の集合を決定する。この決定は、光学センサにより１以上の画像を撮像し、オブジェクトを表すことが知られているピクセルの色を分析することによりなされる。計算装置は、オブジェクトを表す全てのピクセルが満たすような、所定の色のカラー値のしきい値を設定する。

ブロック７９１において、計算装置は、サンプリングされるべき予め定められた色が更にあるかを判定する。更なる予め定められた色が残っていれば、方法は、残りの色について、ブロック７８９及び７９０を繰り返す。更なる予め定められた色がなければ、方法はブロック７９２へ続く。一つの実施の形態において、予め定められた色は、三原色（例えば、赤、緑、及び青）を含む。別の実施の形態において、予め定められた色は、三原色及び３つの第二色（例えば、黄、シアン、及びマゼンタ）を含む。または、予め定められた色は、三原色及び３以上の第二色、又は、三原色、３つの第二色、及び１以上の更なる色（例えば、第三色）を含んでもよい。

ブロック７９２において、計算装置は、オブジェクトが他の色を呈する場合に光学センサにより観測されるであろう更なる色の集合を補間するために、サンプリングされた色を用いる。例えば、第１の観測された色の集合はオブジェクトが赤いときに識別され、第２の観測された色の集合はオブジェクトが緑のときに識別された場合、オブジェクトが黄色を呈した場合の第３の色の集合が補間されてもよい。更なる色は、異なる色の色相及び／又は強度の間の既知の関係に基づいて補間することができる。補間された色の集合のそれぞれについて、色のしきい値が決定される。サンプリングされた色が多いほど、補間の精度は向上する。

ブロック７９３において、予め定められたそれぞれの色及びオブジェクトが呈する可能性のある他のそれぞれの色について、計算装置は、関連付けられた（測定又は補間された）色の集合のしきい値の量が画像の背景に含まれるか否かを決定する。

ブロック７９４において、計算装置は、背景の多くに含まれる色（例えば、しきい値を超える色）を光学センサに観測させる予め定義された色及び他の色を除外する。除外は、計算装置がオブジェクトにこれらの色を呈するよう指示（又は許可）しないことを意味する。除外は、追跡に使用可能な色のリスト又はテーブルからの除外であってもよい。一般に、照明が暗い条件（例えば、背景がほぼ黒であるとき）においては、より多くの色が使用可能となる。方法はこれで終了する。

一つの実施の形態における計算装置は、人間の目ではほとんど気づかないほどの色調の違いを区別することができる。したがって、背景が異なる緑の色調で満たされていたとしても、オブジェクトが呈することが可能な緑の色調がなおあり、追跡可能でありうる。

いったん較正を実行すると、オブジェクトは、特定の組の色を有するピクセルの集合を画像内で探索することにより追跡可能である。一つの実施の形態において、オブジェクトの形状を検証するために、追跡中にエッジ変換が実行されてもよい。オブジェクトの形状が予想されたものではない場合、再較正が実行されてもよい。

方法６００、６８６、７５０、及び７８６により達成される較正は、一般に、照明条件が一定であり、背景画像が変化しない限り、正確なままである。しかし、室内光が変化したり（例えば、日が落ちる、又は、ランプがオン又はオフにされたため）、背景が変化したり（例えば、新しい人が光学センサの視野にいる場合）すると、較正はもはや正確ではないかもしれない。これにより、オブジェクトの追跡が困難になりうる。

一つの実施の形態において、方法６００、６８６、７５０、及び７８６は、光学センサのガンマブースト設定が使用不可能である間に実行される。更なる実施の形態において、光学センサにより撮像される画像は、生の画像である。

ときに、照明条件はオブジェクトの位置に依存して変わりうる。例えば、オブジェクトは、較正が実行された当初は天空光のもとで保持されていたが、オブジェクトが追跡される間に、天空光から離れたところに定期的に移動されるかもしれない。このような状況において、計算装置は、オブジェクトについて複数回の較正を実行してもよく、オブジェクトが検出された画像の位置に基づいて、オブジェクトに適用すべき較正を決定してもよい。例えば、第１の較正はスポットライトのもとで実行されてもよく、第２の較正はスポットライトの外側で実行されてもよい。オブジェクトがスポットライトの中に移動されたとき、第１の較正の設定が使用され、オブジェクトがスポットライトの外側に移動されたとき、第２の較正の設定が使用されてもよい。

図８Ａは、追跡システムを再較正する方法８５０の実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法８５０は、図１の計算装置１１５により実行される。

図８Ａを参照して、ブロック８５５において、計算装置は、部分的な再較正を開始する。一つの実施の形態において、部分的な再較正は、色の再設定又は色の更新を含む。一つの実施の形態において、部分的な再較正は、定期的（例えば、１分ごと、３０秒ごとなど）に実行される。別の実施の形態において、部分的な再較正は、継続的に実行される。別の実施の形態において、部分的な再較正は、ユーザの入力を受け付けたときに実行される。または、部分的な再較正は、オブジェクトの位置が不確かになるたびに実行されてもよい。一つの実施の形態において、部分的な再較正は、光学センサの露出設定が変更されたときに実行される。一つの実施の形態において、部分的な再較正は、追跡に失敗したときに実行される。他のアクションを色の再設定の契機としてもよい。

一つの実施の形態において、環境光又は背景の変更が検出されると、部分的な再較正が実行されてもよい。例えば、誰かが緑の光を点けたとき、色の較正はオフにされる。赤であったものが、今は赤緑になっているだろう。したがって、処理装置が探索している色は、もはやオブジェクトの色ではない。一つの実施の形態において、計算装置は、オブジェクトが特定の色を呈するようにされているとき、オブジェクトにより出力されるべき色を正確に予測することができる（オブジェクトが発光している色及び環境色の寄与を含む）。オブジェクトの検出された色が予測された色とは異なる場合、計算装置は、環境光の条件が変化したことを検出してもよい。さらに、計算装置は、初期較正中に撮像された画像（例えば、オブジェクトがいずれの色も発光していなかったときに撮像された画像）を格納してもよい。この画像は、背景が変化したか判定するために、現在の画像と定期的に比較されてもよい。

ブロック８６０において、処理装置は、オブジェクトに、いずれの色も発光しない（例えば、マルチカラー発光体をオフにする）ようにさせる。ブロック８６５において、光学センサは、オブジェクトがいずれの色も発光していない間に画像を撮像する。ブロック８７０において、処理装置は、オブジェクトに、以前に用いられていた色を発光するようにさせる。ブロック８７５において、光学センサは、別の画像を撮像する。このように、部分的な再較正は、オブジェクトの位置が失われたときに、３未満の色（例えば、１つだけの色）をストロボ発光することを含んでもよい。例えば、オブジェクトは、現在割り当てられた追跡可能な色の発光を高速にオンオフするようにされてもよい。

ブロック８８０において、処理装置は、２つの撮像された画像の間で変化したピクセルを識別することにより、オブジェクトの位置を検出してもよい。ブロック８８５において、処理装置は、追跡可能な色を再決定する。追跡可能な色の再決定は、それぞれの色の再チェックを含み、プロセッサ集約的なタスクでありうる。したがって、一つの実施の形態において、画像はチェックの実行のために格納され、ブロック８８５は数フレームの期間にわたって実行される。それぞれのフレームについて、色の一部が追跡可能な色であるかを決定するのみにすることにより、処理性能を減衰させないようにすることができる。例えば、３６０色をチェックする必要があり、それぞれのフレームにつき１色がチェックされる場合（それぞれのフレームは６０分の１秒続く）、全ての色を６秒でチェックすることができる。

実行されるべき部分的な再較正の種別に依存して、及び／又は、部分的な再較正を開始する契機に基づいて、方法８５０の１以上のブロックが省略されてもよい。例えば、一つの実施の形態において、ブロック８６０−８８０は実行されない。このような実施の形態において、処理装置は、オブジェクトの既知の位置をマスクし、残りの環境色を用いることにより、継続的に再計算して追跡可能な色を更新してもよい。別の実施の形態において、オブジェクトの位置がまだ高い確度で分かっている間に部分的な再較正が実行される場合、ブロック８８０は実行されなくてもよい。

図８Ｂは、光学センサの露出設定が変更されたときに追跡システムを再較正する方法８８７の実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法８８７は、図１の計算装置１１５により実行される。

図８Ｂを参照して、ブロック８８８において、計算装置は、光学センサの露出設定を変更する。露出設定は、ゲームが新しい画質の値を選択したこと、又は、新しい露出設定が手動で選択されたことに応じて変更されてもよい。現実感が増大されたゲーム（仮想オブジェクトだけでなくプレイヤーの画像も示される）は、一般に、増大された現実感を用いないゲームよりも長い露出を必要とする。露出を長くすることにより、画質が向上する。

ゲームが増大されたリアリティを用いない場合、一般に、低い露出設定が用いられる。低い露出設定は彩度を低くし、追跡の質を向上させ、動きぶれを低減させる。低い露出設定により、環境色はぼやけ、オブジェクトは相対的に明るくなる。露出設定を高くするほど、オブジェクトは環境色に比してぼやける。したがって、オブジェクトが発光する色の輝度と環境の輝度の比は、露出設定に反比例する。

一つの実施の形態において、追跡の質の値が露出設定を決定するために用いられる。追跡の質が高く設定された場合、露出設定は低く、追跡の質が低く設定された場合、露出設定は高い。ゲームが最大の露出設定を設定してもよい。露出及びゲイン（センサのゲイン）の双方は線形に変化する。例えば、１００の露出と２のゲインは、２００の露出と１のゲインと同じである。ゲインを増加させることにより、ノイズと引き換えに、明るい画像を得ることができる。露出を増加させることにより、動きのぶれ及び追跡の質と引き換えに、明るい画像を得ることができる。最大の露出設定は、露出設定を通じてどの程度の画像の輝度が達成されるか、及び、ゲイン設定を通じてどの程度が達成されるかを決定する。一つの実施の形態において、ゲームは、これらの設定をいつでも動的に変更することができる。

ブロック８８９において、処理装置は、オブジェクトにいずれの色も発光しないようにさせ、ブロック８９０において、光学センサは画像を撮像する。ブロック８９１において、処理装置は、追跡に使用可能な色を再計算する。光学センサにおいて、それぞれのピクセルは、０から２５５の値をとることができる（８ビットの光学センサにおいて）。または、ハイダイナミックレンジの光学センサ（例えば、１６ビットの光学センサ）が用いられる場合、光学センサのそれぞれのピクセルは、より多くの値をとることができる。ピクセルは、値が２５５に達すると飽和する。オブジェクトは、一般に、環境色に追加されたときに輝度が飽和値よりもわずかに低い値（例えば、２３５）になるような強度で発光するようにされる。これは、オブジェクトがより明るい又は暗い領域を有する室内で移動されたときに、オブジェクトの色が飽和しない、又は飽和したとしてもわずかであるようにするためのバッファを提供する。

ピクセルが飽和したとき、色はより明るくなりうるが、この増加した輝度はピクセルにより認識されない。一つの色が飽和すると、色の間の差は変化する（色相が変化する）。さらに、飽和が発生すると、エッジ検出アルゴリズムがもはや適切に機能しない可能性があるので、オブジェクトの形状が変化しうる。したがって、露出が増加されると、処理装置は、以前に算出した追跡可能な色を用いてオブジェクトを発見することができなくなるかもしれない。したがって、一つの実施の形態において、露出が変更されるたびに、新しい追跡可能な色が決定される。

図８Ｃは、オブジェクトの色の偏差及び／又は光学センサのヴィネッティングをマッピングする方法８９２の実施の形態のフロー図を示す。方法は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置上で実行される命令）、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法８９２は、図１の計算装置１１５により実行される。一つの実施の形態において、方法８９２は、室内が暗いときに実行される。

図８Ｃを参照して、ブロック８９３において、計算装置は、特定の領域（例えば、光学センサの視野の中心）にオブジェクトを保つようユーザに指示する。計算装置は、複数の軸を中心としてオブジェクトを回転させるよう更にユーザに指示する。ブロック８９４において、光学センサは、オブジェクトが回転するときの画像を撮像する。

オブジェクトは、いずれの色についても、色の均一性を有しない可能性がある。例えば、オブジェクトが赤色に呈されているとき、オブジェクトの片側は逆側よりも赤いかもしれず、オブジェクトが青色に呈されているとき、オブジェクトの片側は逆側よりも青い（より明るい青）かもしれない。例えば、オブジェクトの表面にわたって、１５％の色の偏差があるかもしれない。

オブジェクトの向きは、加速度計、ジャイロスコープ、及び磁力計などの慣性センサを用いて追跡することができる。したがって、オブジェクトが回転されるとき、任意の時点での正確な向きを識別することができる。一つの実施の形態において、オブジェクトの複数の向きについて、異なる輝度値が決定される。これらの輝度レベル及び角度は、ブロック８９５において、オブジェクトの色分布のマップを生成するために用いられてもよい。原色のそれぞれについて別々のマップが生成されてもよい。

したがって、オブジェクトが移動及び回転されるとき、計算装置は、カラーマッピングを用いて、検出された色の変化が環境光の変化によるものか、オブジェクト自身の色偏差によるものかを判定してもよい。特定のオブジェクトのマップは、時間によって変化しないであろうから、マップを格納しておき、以降のオブジェクトの追跡中に使用してもよい。

光学センサは、一般に、光学センサの周縁部において光学センサの視野の中心よりも画像中の輝度が低下する原因となる口径食（ヴィネッティング：vignetting）を有する。しかし、それぞれの光学センサにより経験される正確なヴィネッティングは異なる。したがって、ブロック８９６において、処理装置は、オブジェクトを動きパターンにおいて移動させるようユーザに指示する。オブジェクトがパターンに沿って移動されるとき、ブロック８９７において、光学センサはオブジェクトの画像を撮像する。パターンは、オブジェクトが光学センサの視野の周縁部の周りを移動されるパターン、及び、オブジェクトが光学センサの視野の中心に移動されるパターンであってもよい。

ブロック８９８において、光学センサのヴィネッティングが記録される。光学センサの視野の異なる領域におけるオブジェクトの輝度の差違は、ヴィネッティングが発生している位置及びそれらの位置におけるヴィネッティングの強度を識別するために用いられる。オブジェクトの無機による色の輝度の偏差は既に計算されているので、このような偏差はヴィネッティングの算出の前に減じられてもよい。光学センサのヴィネッティングは変化しないであろうから、ヴィネッティングのマップは格納されてもよい。追跡中、処理装置は、オブジェクトが画像中のどこで検出されたかに依存して、ヴィネッティングを調整することができる。

一つの実施の形態において、方法８９２は、色の差違が環境光により生じているのではないことを保証するために、暗い室内で実行されるべきである。方法８９２を実行することにより、処理装置は、よりタイトな色のしきい値を用いることができ、追跡可能な色の利用可能性を高めることができる。一つの実施の形態において、追跡可能な色を選択するために用いられる色のしきい値は、オブジェクトの色マップの異なる向きの色の極限値の結合に基づいて設定される。

図９Ａ〜９Ｅは、方法６００、６８６、７５０、７８６、８５０、８８７、及び８９２の１以上を実行した後に達成される較正結果を示す。

図９Ａは、画像９０２、色グラフ９０６、及びオブジェクト色設定９１４を含む較正結果９００を含む。画像９０２は、暗い室内で撮像され、オブジェクト９０４を含む。画像が暗い室内で撮像されたので、画像の残り（背景）は黒い。図示されるように、オブジェクト９０４は赤い円又はボールである。

色グラフ９０６は、ＵＶ色空間の二次元グラフであり、オブジェクトが呈するようにされたそれぞれの色のデータ点９１２（例えば、それぞれの原色のデータ点）を含む。それぞれのデータ点９１２は、オブジェクトが所定の色を呈するように指示されたときのオブジェクトの色のサンプルを表す。一つの実施の形態において、それぞれのデータ点９１２は、オブジェクトが所定の色を呈するようにされたときに観測された色の集合の平均を表す。または、それぞれのデータ点９１２は、観測された色の集合の中央値を表してもよい。別の実施の形態において、それぞれのデータ点９１２は、オブジェクトが呈するように指示された色を表す。

マルチカラー六角形９０８は、それぞれの可能な色についての理論上の理想値（例えば、完全な彩度、完全な輝度、完全な色相）を表す。グラフ９０６の原点から六角形９０８に伸びる線９１０の角度は、オブジェクト９０４の現在の色を表す。彩度は、原点からの距離として表される。六角形９０８に沿った任意の点は、２つの原色の組み合わせである。図示されるように、真の赤を示す線は、六角形９０８の頂点を指す。オブジェクト色設定９１４は、オブジェクトが現在、Ｒ＝１、Ｇ＝０、Ｂ＝０の色座標にプログラムされていることを示す。ここで、Ｒは赤、Ｇは緑、Ｂは青である。この色設定は、ＵＶ色空間において、Ｕ＝−０．１７、Ｖ＝０．５０と表される。本明細書ではＵＶ色空間が用いられるが、他の色空間も利用可能である。例えば、ＲＧＢ色空間が用いられてもよい。

図９Ｂは、現在の色データ（例えば、光学センサによりリアルタイムに収集されたもの）を示す更新された色グラフ９０７を有する、図９Ａの較正結果９００を反映する較正結果９０１を含む。更新された色グラフ９０７は、オブジェクト９０４からのピクセルのヒストグラム９１５を含む。更新された色グラフ９０７は、２組のしきい値９１４及び９１６を含む。第１の組のしきい値９１４（赤い矩形で示される）は、オブジェクトが真の赤を呈するときのオブジェクトの色の集合を含む上限及び下限のＵ及びＶカラー値を表す。したがって、較正が実行されたとき、第１のＵ値より大きい、又は、第２のＵ値よりも小さいオブジェクトのピクセルはなく、第１のＶ値よりも大きい、又は、第２のＶ値よりも小さいオブジェクトのピクセルはないと判定された。これらの上限値及び下限値は、第１の組のしきい値９１４により示されるように、ＵＶ空間における矩形を形成する。第２の組のしきい値９１６（黄色い矩形で示される）は、現在のオブジェクトの色の集合を含む上限及び下限のＵ及びＶのカラー値を表す。較正が成功した場合、２組のしきい値９１４及び９１６は重なるはずである。

図９Ｃは、撮像されたシーンに光が当てられた後の現在の色データを示す更新された色データグラフ９０９を有する、図９Ｂの較正結果９０１を反映する較正結果９３０を含む。図示されるように、新しい画像９０３は、様々な色調の赤色を含む背景を含む。

更新された色グラフ９０９は、オブジェクト９０４からのピクセルの新しいヒストグラム９１７を含む。図示されるように、較正が実行されたときに設定されたしきい値を表す第１の組のしきい値９１４は変わらない。しかし、撮像されたシーンに光が導入されたことにより、光学センサにより観測されるオブジェクトの色は変化した。したがって、新しい組のしきい値９２２（黄色い矩形で示される）は、光が導入された現在のオブジェクトの色の集合を含む上限及び下限のＵ及びＶのカラー値を表す。室内光を調整しなければ、システムは、オブジェクトが以前に較正された色を有すると予想する。しかし、室内光を追加することにより、オブジェクトの色及び輝度は変化している。したがって、画像におけるオブジェクトのピクセルのいくつかは、較正された値を用いると、もはや位置を検出されない。

図９Ｄは、システムが部分的な再較正を行った後の新しい較正結果９３２を含む。図示されるように、画像９０３は、図９Ｃの画像９０３から変更されていない。しかし、更新された色グラフ９３５が示される。更新された色グラフ９３５において、画像は変更されていないので、オブジェクトの全てのピクセルが含まれる必要がある同じ組の現在のしきい値９２２が示される。しかし、色の再設定の後、新しい組のＵＶしきい値９３７が用いられる。

図９Ｅは、画像９４２、色グラフ９５４、オブジェクト色設定９５８、フルカラースペクトル９５０、及び利用可能な色のスペクトル９７０を含む較正結果９４０を含む。画像９４２は、オブジェクト９４４及び複数の背景アイテム９４６を含む。背景アイテム９４６は、緑のアイテムである。図示された較正結果９４０において、オブジェクトの現在の色は、線９５６及び９４８により示されるように、緑の色調に設定される。緑の背景アイテムのために、緑の色空間の大部分は利用できない（追跡可能な色ではない）。これは、フルカラースペクトル９５０と利用可能な色のスペクトル９７０を比較することにり理解されよう。

オブジェクト９４４が現在緑の色調に設定されているので、オブジェクト９４４と緑の背景アイテムを区別することは困難でありうる。利用可能な色のスペクトル９７０に示されるように、緑の色調の中にも依然として利用可能なものがある。例えば、青緑の色調は利用可能であるし、黄緑の色調も同様である。

図１０は、本発明の一つの実施の形態に関連して、コントローラの位置を決定するために用いられうるハードウェア及びユーザインタフェースを示す。図１０は、本発明の一つの実施の形態に係る三次元コントローラ位置探索システムの実装に互換性のあるコンソールであるソニープレイステーション３（登録商標）エンタテインメント装置の全体システム構成を概略的に示す。システムユニット１４００とともに、システムユニット１４００に接続可能な種々の周辺装置が設けられる。システムユニット１４００は、セルプロセッサ１４２８、ランバス（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット１４２６、専用のビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット１４３２とともに設けられたリアリティシンセサイザーグラフィックスユニット１４３０、及び入出力ブリッジ１４３４を備える。システムユニット１４００は、さらに、入出力ブリッジ１４３４を介してアクセス可能な、ディスク１４４０Ａから読み出すためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ光ディスクリーダ１４４０及び脱着可能なスロットインハードディスクドライブ（ＨＤＤ）１４３６を備える。システムユニット１４００は、オプションで、入出力ブリッジ１４３４を介して同様にアクセス可能な、コンパクトフラッシュ（登録商標）メモリカード、メモリスティック（登録商標）メモリカードなどを読み出すためのメモリカードリーダ１４３８をさらに備える。

入出力ブリッジ１４３４は、さらに、複数のユニバーサルシリアルバス（ＵＳＢ）２．０ポート１４２４、ギガビットイーサネット（登録商標）ポート１４２２、ＩＥＥＥ８０２．１１ｂ／ｇ無線ネットワーク（Ｗｉ−Ｆｉ）ポート１４２０、７つのブルートゥース（登録商標）接続までサポート可能なブルートゥース無線リンクポート１４１８に接続する。

動作中、入出力ブリッジ１４３４は、１以上のゲームコントローラ１４０２〜１４０３からのデータを含む全ての無線、ＵＳＢ及びイーサネット（登録商標）データを扱う。例えば、ユーザがゲームをプレーするとき、入出力ブリッジ１４３４は、ブルートゥースリンクを介してゲームコントローラ１４０２〜１４０３からデータを受信し、セルプロセッサ１４２８に伝える。セルプロセッサ１４２８は、ゲームの現在の状態をそのように更新する。

無線、ＵＳＢ及びイーサネット（登録商標）ポートは、ゲームコントローラ１４０２〜１４０３に加えて、リモートコントローラ１４０４、キーボード１４０６、マウス１４０８、ソニープレイステーションポータブル（登録商標）エンタテインメント装置などの携帯型エンタテインメント装置１４１０、アイトイ（登録商標）ビデオカメラなどのビデオカメラ１４１２、マイクロフォンヘッドセット１４１４、及びマイクロフォン１４１５などの他の周辺装置との接続も提供する。これらの周辺装置は、原則として、システムユニット１４００に無線で接続されてもよい。例えば、携帯型エンタテインメント装置１４１０は、Ｗｉ−Ｆｉアドホック接続を介して通信してもよいし、マイクロフォンヘッドセット１４１４は、ブルートゥースリンクを介して通信してもよい。

これらのインタフェースの提供は、プレイステーション３装置が、ディジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、ディジタルカメラ、携帯型メディアプレーヤ、ボイスオーバーＩＰ電話、携帯電話、プリンタ、及びスキャナなどの他の周辺装置との互換性をも潜在的に有することを意味する。

さらに、プレイステーション（登録商標）又はプレイステーション２（登録商標）装置により用いられる種類のメモリカード１４４８の読み出しを可能にするレガシーメモリカードリーダ１４１６が、ＵＳＢポート１４２４を介してシステムユニットに接続されてもよい。

ゲームコントローラ１４０２〜１４０３は、ブルートゥースリンクを介してシステムユニット１４００と無線通信可能であるか、ＵＳＢポートを介して接続して、ゲームコントローラ１４０２〜１４０３のバッテリを充電するための電源も提供可能である。ゲームコントローラ１４０２〜１４０３は、メモリ、プロセッサ、メモリカードリーダ、フラッシュメモリなどの永続メモリ、ＬＥＤ又は赤外光などの光照射部、超音波通信のためのマイクロフォン及びスピーカ、音響チャンバ、ディジタルカメラ、内部クロック、ゲームコンソールに面した球などの認識可能な形状、及びブルートゥース、ＷｉＦｉなどのプロトコルを用いた無線通信を含んでもよい。

図２Ａ〜２Ｂにおいて前述したように、ゲームコントローラ１４０２は両手で用いられるように設計されたコントローラであり、ゲームコントローラ１４０３は、ボールが設けられた、片手で扱うコントローラである。１以上のアナログジョイスティック及び従来の制御ボタンに加えて、ゲームコントローラは、三次元位置決定が可能である。したがって、ゲームコントローラのユーザのジェスチャー及び動きが、従来のボタン又はジョイスティックのコマンドに加えて、又はそれに代えて、ゲームに対する入力として翻訳されてもよい。オプションとして、プレイステーションポータブル装置などの他の無線通信可能な周辺装置がコントローラとして用いられてもよい。プレイステーションポータブル装置の場合、装置の画面に、更なるゲーム又は制御情報（例えば、制御命令又はライフの数）が提供されてもよい。ダンスマット（図示せず）、モーキャプボール（図示せず）、光線銃（図示せず）、ステアリングホイール及びペダル（図示せず）、又は早押しクイズゲームのための単一又はいくつかの大きなボタンなどの専用コントローラ（図示せず）などの他の代替又は追加の制御装置が用いられてもよい。

リモートコントローラ１４０４は、ブルートゥースリンクを介してシステムユニット１４００と無線通信可能である。リモートコントローラ１４０４は、ブルーレイディスクＢＤ−ＲＯＭリーダ１４４０の動作及びディスク内容のナビゲーションのために適した制御を備える。

ブルーレイディスクＢＤ−ＲＯＭリーダ１４４０は、従来の記録済み及び記録可能なＣＤ及びいわゆるスーパーオーディオＣＤに加えて、プレイステーション及びプレイステーション２装置に互換なＣＤ−ＲＯＭを読み出し可能である。リーダ１４４０は、従来の記録済み及び記録可能なＤＶＤに加えて、プレイステーション２及びプレイステーション３装置に互換なＤＶＤ−ＲＯＭを更に読み出し可能である。リーダ１４４０は、さらに、従来の記録済み及び記録可能なブルーレイディスクだけでなく、プレイステーション３装置に互換なＢＤ−ＲＯＭを読み出し可能である。

システムユニット１４００は、生成された、又は、リアリティシンセサイザーグラフィックスユニット１４３０を介してプレイステーション３装置によりデコードされた音声及び映像を、音声及び映像コネクタを介して、モニタ又はディスプレー１４４４と１以上のラウドスピーカ１４４６を有するテレビジョンセットなどの表示及び音声出力装置１４４２に対して供給可能である。音声コネクタ１４５０は、従来のアナログ及びディジタル出力を含んでもよく、映像コネクタ１４５２は、コンポーネントビデオ、Ｓ−ビデオ、コンポジットビデオ、及び１以上の高解像度マルチメディアインタフェース（ＨＤＭＩ）出力などを含んでもよい。結果として、映像出力は、ＰＡＬ又はＮＴＳＣ、又は、７２０ｐ、１０８０ｉ又は１０８０ｐ高解像度の形式であってもよい。

音声処理（生成、デコードなど）は、セルプロセッサ１４２８により実行される。プレイステーション３装置のオペレーティングシステムは、ドルビー（登録商標）５．１サラウンド音声、ドルビーシアターサラウンド（ＤＴＳ）、及びブルーレイディスクからの７．１サラウンド音声のデコードをサポートする。

一つの実施の形態によれば、ビデオカメラ１４１２は、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、及びハードウェアベースのリアルタイムデータ圧縮エンコード装置を備え、圧縮されたビデオデータは、システムユニット１４００によりデコードするために、画像間ベースのＭＰＥＧ（motion picture expert group）スタンダードなどの適当な形式で送信されてもよい。カメラＬＥＤインジケータは、例えば逆光条件を知らせるなどのシステムユニット１４００からの適切な制御データに応答して光るようにされてもよい。ビデオカメラ１４１２の実施の形態は、ＵＳＢ、ブルートゥース、又はＷｉ−Ｆｉの通信ポートを介してシステムユニット１４００に接続してもよい。ビデオカメラの実施の形態は、１以上の結合されたマイクロフォンを含み、音声データを送信可能であってもよい。ビデオカメラの実施の形態において、ＣＣＤは、高精細ビデオキャプチャに適した解像度を有してもよい。使用中、ビデオカメラにより撮像された画像は、例えば、ゲーム内に組み込まれてもよいし、ゲーム制御入力として解釈されてもよい。カメラの別の実施の形態において、カメラは、赤外光を検出するのに適した赤外線カメラである。

一般に、システムユニット１４００の通信ポートの一つを介して、ビデオカメラ又はリモートコントローラなどの周辺装置との間で発生するデータ通信を成功させるために、デバイスドライバなどの適切なソフトウェアが提供されるべきである。デバイスドライバの技術は既知であり、ここでは詳述しないが、本実施の形態においてデバイスドライバ又は類似のソフトウェアインタフェースが要求されることは、当業者には理解されるところである。

図１１は、本発明の一つの実施の形態における、命令の処理に利用可能な追加のハードウェアを示す。図１１は、セルプロセッサ１５００の構成要素を示す。本発明の一つの実施の形態において、これは図１０のセルプロセッサ１４２８に対応してもよい。図１１のセルプロセッサ１５００は、メモリコントローラ１５６０及びデュアルバスインタフェースコントローラ１５７０Ａ、１５７０Ｂを備える外部入出力構成、パワープロセッシングエレメント（ＰＰＥ）１５５０と呼ばれるメインプロセッサ、シナジスティックプロセッシングエレメント（ＳＰＥ）１５１０Ａ〜Ｈと呼ばれる８個のコプロセッサ、要素相互接続バス１５８０と呼ばれる、上記の要素を接続する環状データバスの４つの基本要素を備えた構成を有する。セルプロセッサの全体の浮動小数点演算は、プレイステーション２装置のエモーションエンジンの６．２Ｇフロップスであるのに対して、２１８Ｇフロップスである。

パワープロセッシングエレメント（ＰＰＥ）１５５０は、３．２ＧＨｚの内部クロックで動作するパワーＰＣ（PowerPC）コア（ＰＰＵ）１５５５に互換な、双方向平行マルチスレッドパワー１４７０に基づいている。これは、５１２ｋＢのレベル２（Ｌ２）キャッシュ及び３２ｋＢのレベル１（Ｌ１）キャッシュを備える。ＰＰＥ１５５０は、クロックサイクルごとに８つの単精度演算を行うことができ、これは３．２ＧＨｚにおいて２５．６ギガフロップスにあたる。ＰＰＥ１５５０の主要な役割は、ほとんどの計算作業負荷を扱うＳＰＥ１５１０Ａ〜Ｈのためのコントローラとして機能することである。動作において、ＰＰＥ１５５０は、ジョブのキューを保持し、ＳＰＥ１５１０Ａ〜Ｈのジョブをスケジューリングし、それらの進行を監視する。それぞれのＳＰＥ１５１０Ａ〜Ｈは、ジョブを取ってきて実行するのが役割であるカーネルを実行し、それをＰＰＥ１５５０に同期させる。

それぞれのＳＰＥ１５１０Ａ〜Ｈは、シナジスティックプロセッシングユニット（ＳＰＵ）１５２０Ａ〜Ｈを備え、それぞれのメモリフローコントローラ（ＭＦＣ：Memory Flow Controller）１５４０Ａ〜Ｈは、ダイナミックメモリアクセスコントローラ（ＤＭＡＣ：Dynamic Memory Access Controller）１５４２Ａ〜Ｈ、メモリ管理ユニット（ＭＭＵ）１５４４Ａ〜Ｈ、及びバスインタフェース（図示せず）を備える。それぞれのＳＰＵ１５２０Ａ〜Ｈは、クロックが３．２ＧＨｚで、原則として４ＧＢまで拡張可能な２５６ｋＢのローカルＲＡＭ１５３０Ａ〜Ｈを備える、ＲＩＳＣプロセッサである。それぞれのＳＰＥは、理論上、２５．６ＧＦＬＯＰＳの単精度性能を与える。ＳＰＵは、４つの単精度浮動小数演算、４つの３２ビット演算、８つの１６ビット整数演算、又は１６の８ビット整数演算を、１つのクロックサイクルで実行可能である。同じクロックサイクルにて、メモリ命令を実行することもできる。ＳＰＵ１５２０Ａ〜Ｈは、システムメモリＸＤＲＡＭ１４２６に直接アクセスしない。ＳＰＵ１５２０Ａ〜Ｈにより生成される６４ビットのアドレスは、ＭＦＣ１５４０Ａ〜Ｈに渡され、要素相互接続バス１５８０及びメモリコントローラ１５６０を介してメモリにアクセスするためのＤＭＡコントローラ１５４２Ａ〜Ｈに命令される。

要素相互接続バス（ＥＩＢ）１５８０は、セルプロセッサ１５００の内部の論理的に巡回した通信バスである。ＥＩＢは、上述のプロセッサエレメント、すなわち、ＰＰＥ１５５０、メモリコントローラ１５６０、デュアルバスインタフェース１５７０Ａ、Ｂ、及び８つのＳＰＥ１５１０Ａ〜Ｈの、合計１２の要素を接続する。要素は、クロックサイクルごとに８バイトの速度でバスを同時に読み、及び書き込むことができる。前述したように、それぞれのＳＰＥ１５１０Ａ〜Ｈは、より長いリード又はライトシーケンスをスケジュールするためのＤＭＡＣ１５４２Ａ〜Ｈを備える。ＥＩＢは４つのチャンネルを備え、２つは時計回りで、２つは反時計回りの方向である。１２の要素の間で、任意の２つの要素の間のうち最も長いデータフローは、適切な方向に６ステップとなる。ＥＩＢの１２スロットの帯域の理論上のピークの瞬間は、要素間の調停を通じて全てが利用されたとき、クロックごとに９６バイトである。これは、クロックレートが３．２ＧＨｚのときの理論上のピークバンド幅の３０７．２ＧＢ／ｓ（ギガバイト毎秒）と同じである。

メモリコントローラ１５６０は、ランバス社により開発されたＸＤＲＡＭインタフェース１５６２を備える。メモリコントローラは、理論上はピークバンド幅毎秒２５．６ギガバイトで、ランバスＸＤＲＡＭと接続する。

デュアルバスインタフェース１５７０Ａ、Ｂは、ランバスフレックスＩＯ（登録商標）システムインタフェース１５７２Ａ、Ｂを備える。インタフェースは、それぞれが８ビット幅である、入力５経路、出力７経路の１２チャンネルに組織化される。これは、セルプロセッサ及びコントローラ１５７０Ａを介した入出力ブリッジ及びコントローラ１５７０Ｂを介したリアリティシミュレータグラフィックスユニットの間の６２．４ＧＢ／ｓ（出力３６．４ＧＢ／ｓ、入力２６ＧＢ／ｓ）の理論的ピークバンド幅を提供する。

上述の説明は、例示を意図しており、制限を意図していないことが理解されるべきである。上述の説明を読み、理解した当業者には、多数の別の実施の形態が明らかとなろう。本発明が、いくつかの特定の実施の形態に関して説明されたが、本発明は説明された実施の形態に限られず、添付された特許請求の範囲の精神及び範囲内で変更及び代替が可能であることは、当業者に認識されるところである。したがって、詳細な説明は、限定ではなく例示であるとみなされるべきである。本発明の範囲は、特許請求の範囲に与えられる全ての範囲の均等物とともに、特許請求の範囲を参照して決定されるべきである。

Claims (31)

1. 追跡システムを較正する方法であって、
   較正ロジックを実行する計算装置が、光学センサにより撮像された１以上の画像におけるオブジェクトの位置を検出するステップと、
   計算装置が、前記１以上の画像に含まれる、前記１以上の画像において前記オブジェクトにより発せられていない色である環境色を決定するステップと、
   前記オブジェクトにより呈された場合に、前記オブジェクトを前記計算装置が追跡することを可能とする１以上の追跡可能な色を決定するステップと、
   を備えることを特徴とする方法。
2. 前記環境色に含まれる色の量がしきい値よりも少ない色が追跡可能な色であることを特徴とする請求項１に記載の方法。
3. 前記１以上の画像における前記オブジェクトの位置を検出するステップは、
   前記オブジェクトを複数の予め定義された色に順次呈させるステップと、
   前記１以上の画像は、前記複数の予め定義された色のそれぞれについて別々の画像を含み、
   前記１以上の画像のそれぞれにおいて異なる色を有するピクセルの集合を識別するステップと、
   を備えることを特徴とする請求項１に記載の方法。
4. 予め定められた色のそれぞれについて、前記光学センサにより観測された前記オブジェクトの色の関連付けられた集合を決定するステップと、
   前記オブジェクトが他の色を呈した場合に前記光学センサにより観測されるであろう色の更なる集合を予測するステップと、
   を更に備えることを特徴とする請求項３に記載の方法。
5. 前記オブジェクトに特定の色を呈させるステップと、
   前記特定の色に関連付けられた特定の色の集合が観測される後続の画像中の位置を識別することにより、前記オブジェクトを追跡するステップと、
   を更に備えることを特徴とする請求項４に記載の方法。
6. 前記オブジェクトの追跡に失敗するステップと、
   前記オブジェクトに新たな特定の色を呈させるステップと、
   を更に備えることを特徴とする請求項５に記載の方法。
7. 前記複数の予め定義された色は、三原色を含むことを特徴とする請求項３に記載の方法。
8. 前記光学センサはフレームレートを有し、
   前記方法は、前記オブジェクトに、前記光学センサの少なくとも３フレームの間、前記複数の予め定義された色のそれぞれを呈させるステップを更に備える
   ことを特徴とする請求項３に記載の方法。
9. 前記光学センサはフレームレートを有し、
   前記光学センサのフレームは前記計算装置のクロックに同期され、
   前記方法は、前記オブジェクトに、３フレーム未満の間、前記複数の予め定義された色のそれぞれを呈させるステップを更に備える
   ことを特徴とする請求項３に記載の方法。
10. 前記環境色を決定するステップは、
    前記オブジェクトに光を発光させないステップと、
    前記１以上の画像は、前記オブジェクトが光を発光しない間に撮像された画像を含み、
    前記オブジェクトが光を発光しない間に撮像された画像から、前記オブジェクトにより反射された環境色を表す前記オブジェクトの色を識別するステップと、
    を備えることを特徴とする請求項１に記載の方法。
11. 前記オブジェクトにより発光される真の色を識別するために、前記オブジェクトが予め定義された色の光を発光する間に撮像された前記１以上の画像における前記オブジェクトの色から、前記オブジェクトが光を発光しない間に撮像された画像における前記オブジェクトの色を減じるステップを更に備えることを特徴とする請求項１０に記載の方法。
12. 前記オブジェクトに一瞬光を発光させず、前記オブジェクトが光を発光しない間に画像を撮像することにより、前記環境色を定期的に更新するステップと、
    前記１以上の追跡可能な色を再決定するステップと、
    を更に備えることを特徴とする請求項１に記載の方法。
13. 前記光学センサの露出設定の変更を検出するステップと、
    前記オブジェクトの輝度を調整するステップと、
    を更に備えることを特徴とする請求項１に記載の方法。
14. 前記追跡システムの追跡の質が次善であることを判定するステップと、
    環境光がしきい値を超えた場合、前記計算装置のユーザに、照明を消す又はブラインドを閉じるよう通知するステップと、
    追跡可能な色の数がしきい値よりも少ない場合、色の衝突の原因となっている前記１以上の画像に含まれる更なるオブジェクトを前記ユーザに示すステップと、
    を更に備えることを特徴とする請求項１に記載の方法。
15. １以上の画像を撮像するための光学センサと、
    較正ロジックの命令を実行するための処理装置と、を備え、
    前記命令は前記処理装置に、
    前記１以上の画像においてオブジェクトの位置を検出させ、
    前記１以上の画像に含まれる、前記１以上の画像において前記オブジェクトにより発せられていない色である環境色を決定させ、
    前記オブジェクトにより呈された場合に、前記オブジェクトを前記処理装置が追跡することを可能とする１以上の追跡可能な色を決定させる
    ことを特徴とする計算装置。
16. 前記環境色に含まれる色の量がしきい値よりも少ない色が追跡可能な色であることを特徴とする請求項１５に記載の計算装置。
17. 前記１以上の画像における前記オブジェクトの位置を検出することは、
    前記オブジェクトを複数の予め定義された色に順次呈させることと、
    前記１以上の画像は、前記複数の予め定義された色のそれぞれについて別々の画像を含み、
    前記１以上の画像のそれぞれにおいて異なる色を有するピクセルの集合を識別することと、
    を備えることを特徴とする請求項１５に記載の計算方法。
18. 前記命令は、前記処理装置に、
    予め定められた色のそれぞれについて、前記光学センサにより観測された前記オブジェクトの色の関連付けられた集合を決定させ、
    前記オブジェクトが他の色を呈した場合に前記光学センサにより観測されるであろう色の更なる集合を予測させる
    ことを特徴とする請求項１７に記載の計算装置。
19. 前記命令は、前記処理装置に、
    前記オブジェクトに特定の色を呈させ、
    前記特定の色に関連付けられた特定の色の集合が観測される後続の画像中の位置を識別することにより、前記オブジェクトを追跡させる、
    ことを特徴とする請求項１８に記載の計算装置。
20. 前記命令は、前記処理装置に、
    前記処理装置が前記オブジェクトの追跡に失敗したときに、前記オブジェクトに新たな特定の色を呈するよう指示させる
    ことを特徴とする請求項１９に記載の計算装置。
21. 前記複数の予め定義された色は、三原色を含むことを特徴とする請求項１７に記載の計算装置。
22. 前記光学センサはフレームレートを有し、
    前記命令は、前記処理装置に、
    前記オブジェクトに、前記光学センサの少なくとも３フレームの間、前記複数の予め定義された色のそれぞれを呈するよう指示させる
    ことを特徴とする請求項１７に記載の計算装置。
23. 前記光学センサはフレームレートを有し、
    前記光学センサのフレームは前記計算装置のクロックに同期され、
    前記命令は、前記処理装置に、
    前記オブジェクトに、３フレーム未満の間、前記複数の予め定義された色のそれぞれを呈するよう指示させる
    ことを特徴とする請求項１７に記載の計算装置。
24. 前記環境色を決定することは、
    前記オブジェクトに光を発光させないことと、
    前記１以上の画像は、前記オブジェクトが光を発光しない間に撮像された画像を含み、
    前記オブジェクトが光を発光しない間に撮像された画像から、前記オブジェクトにより反射された環境色を表す前記オブジェクトの色を識別することと、
    を備えることを特徴とする請求項１５に記載の計算装置。
25. 前記命令は、前記処理装置に、
    前記オブジェクトにより発光される真の色を識別するために、前記オブジェクトが予め定義された色の光を発光する間に撮像された前記１以上の画像における前記オブジェクトの色から、前記オブジェクトが光を発光しない間に撮像された画像における前記オブジェクトの色を減じさせる
    ことを特徴とする請求項２４に記載の計算装置。
26. 前記命令は、前記処理装置に、
    前記オブジェクトに一瞬光を発光させず、前記オブジェクトが光を発光しない間に画像を撮像することにより、前記環境色を定期的に更新させ、
    前記１以上の追跡可能な色を再決定させる、
    を更に備えることを特徴とする請求項１５に記載の計算装置。
27. 前記命令は、前記処理装置に、
    前記光学センサの露出設定の変更を検出させ、
    前記オブジェクトの輝度を調整させる、
    を更に備えることを特徴とする請求項１５に記載の計算装置。
28. 前記命令は、前記処理装置に、
    前記追跡システムの追跡の質が次善であることを判定させ、
    環境光がしきい値を超えた場合、前記計算装置のユーザに、照明を消す又はブラインドを閉じるよう通知させ、
    追跡可能な色の数がしきい値よりも少ない場合、色の衝突の原因となっている前記１以上の画像に含まれる更なるオブジェクトを前記ユーザに示させる、
    を更に備えることを特徴とする請求項１５に記載の計算装置。
29. 処理装置により実行されたとき、前記処理装置に方法を実行させる命令を含むコンピュータ読み取り可能な記録媒体であって、
    前記方法は、
    較正ロジックを実行する計算装置が、光学センサにより撮像された１以上の画像におけるオブジェクトの位置を検出するステップと、
    計算装置が、前記１以上の画像に含まれる、前記１以上の画像において前記オブジェクトにより発せられていない色である環境色を決定するステップと、
    前記オブジェクトにより呈された場合に、前記オブジェクトを前記計算装置が追跡することを可能とする１以上の追跡可能な色を決定するステップと、
    を備えることを特徴とするコンピュータ読み取り可能な記録媒体。
30. 前記１以上の画像における前記オブジェクトの位置を検出するステップは、
    前記オブジェクトを複数の予め定義された色に順次呈させるステップと、
    前記１以上の画像は、前記複数の予め定義された色のそれぞれについて別々の画像を含み、
    前記１以上の画像のそれぞれにおいて異なる色を有するピクセルの集合を識別するステップと、
    を備えることを特徴とする請求項２９に記載のコンピュータ読み取り可能な記録媒体。
31. 前記環境色を決定するステップは、
    前記オブジェクトに光を発光させないステップと、
    前記１以上の画像は、前記オブジェクトが光を発光しない間に撮像された画像を含み、
    前記オブジェクトが光を発光しない間に撮像された画像から、前記オブジェクトにより反射された環境色を表す前記オブジェクトの色を識別するステップと、
    を備えることを特徴とする請求項２９に記載のコンピュータ読み取り可能な記録媒体。

Images