JP2014501908A - 頭の位置及び向きのトラッキング - Google Patents

Abstract

カラーカメラと、オブジェクトに取り付けられて見られる角度に応じて異なる色を屈折又は反射する特殊なマーカとを使用して、オブジェクトまでの距離を決定するための方法、デバイスおよびシステムが提供されている。レンチキュラーレンズやその他の技術により様々に異なる色が屈折又は反射されうる。カメラにより受信された色はマーカの向きを示す。この向き情報を各マーカ間の認識された角距離と、各マーカ間の既知の距離と組み合わせることにより、オブジェクトまでの実際の距離を決定することができる。

Description

本特許協力条約（ＰＣＴ）による出願は、発明の名称を「3-D Glasses With Illuminated Light Guide」とする２０１０年１０月７日に出願されたＰＣＴ出願PCT/US2010/51836号（代理人整理番号:90619-792130(元番号：026340-008100PC)）の一部継続出願である、２０１０年１０月７日に出願された米国特許出願第12/900,403号（代理人整理番号:90619-792723（元番号：026340-008300US））の利益を主張するものであり、各出願はその開示のすべてが事実上本明細書に参考のために組み込まれている。
また、本願は、発明の名称を「3-D Glasses With Camera Based Head Tracking」とする、２０１０年１０月７日に出願されたＰＣＴ出願PCT/US2010/51827号（代理人整理番号90619-792129（元番号：026340-007800PC））に関連し、該出願はその開示のすべてが事実上本明細書に参考のために組み込まれている。

本発明の各実施形態は、ユーザの頭などのオブジェクトをカメラをベースにしてトラッキングする技術に関連するものであり、カメラに対する向きによって色が変化するマーカがカメラによりトラッキングされる。各マーカ間の角距離と、各々の色により決定されるマーカそれぞれの向きとから、カメラからオブジェクトまでの距離を決定することができる。具体的には、一部実施形態は、テレビゲームにリアルな３−Ｄ効果とその他のフィードバックを与えることができるよう、テレビゲーム機のカメラによってトラッキングされるユーザのメガネのヘッドに取り付けられたマーカに関連する。

技術が進歩するにつれてテレビゲームは以前よりも没入感が高まったものとなっている。多くの場合、テレビゲーム機は最新のプロセッサ、非常に高速なメモリ、およびハイエンドグラフィックカードを備えて生産される。入力用コントローラは、ノブやジョイスティックやボタンをベースとした簡単なコントローラから、ユーザが両手でスイングしたり装着することのできる、加速度計を有したコントローラへと進化している。さらなる入力技術には、通常はテレビに取り付けられ、ユーザの頭や胴体、腕、足などのユーザの体をトラッキングするカメラを含む。ユーザは、体や体の一部を動かすだけでテレビゲームをコントロールすることができる。例えば、スケートボードゲームのプレーヤは、身をかがめることにより仮想の橋をくぐり抜けることができる。

３次元（３−Ｄ又は３Ｄ）テレビにより、ユーザは各々の表示画面にて発生中の事象に集中することができる。ユーザはそのような３−Ｄテレビ用に３−Ｄメガネを装着することがある。従来の３−Ｄメガネはアナグリフを認識するために赤色および青色レンズを含んだものであった。シャッタ式３−Ｄメガネは、左右の画像を高速に示すディスプレイと同期して不透過と透過とを高速に交互に切り替えるレンズを有する。３−Ｄを表示するその他の種類の技術が存在する。多くの技術は視聴者の左目と右目に対してそれぞれ別々の２次元画像を一時的に、あるいは非常に高速に（例えば、６０Ｈｚで）表示し、立体画像を３−Ｄ環境として解釈するように視聴者の脳に錯覚を与えるようにする点で同様である。

３−Ｄディスプレイ技術を利用したテレビゲームは、画面の３−Ｄ効果を利用することでプレーヤをゲームに集中させることができる。さらに、ボディトラッキングを備えたテレビゲーム機は３−Ｄ効果を利用して、プレーヤの現実世界での実際の動作を、表示された仮想世界での該プレーヤの仮想動作と一致させることができる。ヘッドトラッキングは、ユーザの頭の位置に基づいてレンダリングするゲームにとっては不可欠なものでありうる。例えば、ユーザがリビングルームでテレビに近づくと、テレビゲーム機はテレビに仮想の薪のレンダリングを行い、ユーザがその薪に近づいているかのように表示を行うように表示してもよい。

従って、視聴者やその他のユーザの頭や体の一部の位置や向き、および動作をトラッキングするのは一部のテレビゲーム、具体的にはユーザの近くにあるオブジェクトをレンダリングするためにヘッドトラッキングを用いたテレビゲームにとっては重要でありうる。当分野において、大量生産用にあまり高額でない、強固なヘッドトラッキングが求められている。

本開示による装置、システムおよび方法は動作検出用マーカ（例えば、メガネに取り付けられたマーカ）を装着したユーザをカメラベースでトラッキングする技術に関する。このマーカは、異なる角度では異なる色を屈折又は反射する（例えば、１０度の場合は赤色、３０度の場合は黄色）。各マーカのみかけの色からそれぞれの向きを決定することができる。各マーカ間の向きと角距離とにより、マーカまでの距離を求めることができる。

異なる角度では異なる色を屈折又は反射するデバイスとしては、レンチキュラーレンズ、角度によりメタメリズム性を備えたプラスチック、および／又はミニプリズムが挙げられる。これらのデバイスは、１つの所定の向き（例えば、カメラに対してヨー角が０度）において所定の色（例えば、赤色）として見られ、別の所定の向き（９０度で左向き）において別の所定の色（例えば、バイオレット）に見えるように調整することができる。次に、カラーカメラを使用して、メガネの位置をトラッキングする他に、レンチキュラーレンズにより屈折又は反射された色を識別することにより装着者の頭の位置を決定することができる。一部の実施形態では、カメラが観察した色の変化を利用して、装着者の頭の絶対角を決定せずに装着者の頭の角度の変化率（あるいは、高次導関数）を決定することができる。

本文に記載されている方法、装置、およびシステムの技術的利点は、既存の装置に安価な付属品をつけることにより、カメラからの距離を正確に決定することができるロバストなヘッドトラッキングを含む。プラスチック性のレンチキュラーレンズを備えたメガネを安価に大量生産することができる。メガネに可変バックライトを内蔵したことで、ユーザが薄暗い場所にいても集中力があまり損なわれることがなく、さらに、必要とされる電力を減らすことができる。色を検出できるのであれば既存のセットトップボディトラッキングカメラを使用することができる。白黒カメラは、安価にてカラーカメラにアップグレードすることができる。トラッキング用に更なる分解能を有するカメラにアップグレードするよりも、カラーカメラにアップグレードするほうが安価であることがある。レンチキュラーレンズおよび／又はプリズムは、電化結合素子（ＣＣＤ）カメラにより捉えられうることの多い近赤外線の屈折および反射も可能である。

本開示の実施形態はオブジェクトのトラッキングを可能にするためのマーカデバイスに関連する。該デバイスは、第１の所定の角度では第１の所定の色を屈折又は反射し、第２の角度では第２の所定の色を屈折又は反射するための第１手段を有する第１マーカ（各色はそれぞれの角度に対応する）、第２マーカ、各マーカを各々から一定の距離で支持する手段と、各マーカをユーザに装着あるいは設けるための手段、を含む。ユーザまでの距離は各マーカ間の角距離と、観察されたマーカの色から決定することができる。

ある一実施形態はユーザの頭をトラッキングするシステムに関する。該システムは、異なる角度に渡って異なる所定の色を屈折又は反射するための第１手段を有する第１マーカ（各色は所定の角度に対応する）、第１マーカから一定の距離に設けられた第２マーカ、および各マーカをユーザに装着するための手段、を含む。該システムはさらに、カラーカメラと、このカラーカメラを使って各マーカ間の角距離を決定し、この角距離と各マーカの見かけの色とから各マーカまでの距離を決定するように構成された回路とをさらに含む。

ある一実施形態は、オブジェクトまでの距離を決定する方法に関する。該方法は、各々から一定の距離で支持されるマーカの画像をカメラから受信するステップ、各マーカ間の角距離を決定するステップ、マーカうち少なくとも一方のマーカの見かけの色により各マーカの向きを決定するステップ、および、角距離と決定されたマーカの向きとによりカメラから各マーカまでの距離を決定するステップ、を含む。

本発明の一実施形態係る角距離を表す図。 本発明の一実施形態に係る角距離を表す図。 本発明の一実施形態に係る、異なる角度に渡って屈折又は反射される異なる色を表す図。 本発明の一実施形態に係る、角距離および色情報による距離決定を表す図。 本発明の一実施形態に係る、円筒状のレンチキュラーレンズを表す図。 本発明の一実施形態に係る、半球状のレンチキュラーレンズを表す図。 本発明の一実施形態に係る、マーカが粗く分割された粗部を表す図。 本発明の一実施形態に係る、マーカが細かく分割された密部を表す図。 本発明の一実施形態に係るメガネを表す図。 図８Ａのメガネのマーカを表す図。 本発明の一実施形態に係る、矩形状のマーカを表す図。 本発明の一実施形態に係る、三角形状のマーカを表す図。 本発明の一実施形態に係る、Ｌ字型のマーカを表す図。 本発明の一実施形態に係る、フレーム形のマーカを表す図。 本発明の一実施形態に係る、３−Ｄメガネを表す図。 図１１Ａの３−Ｄメガネの他の形態の断面図を表す図。 図１１Ａの３−Ｄメガネの他の形態の断面図を表す図。 図１１Ａの３−Ｄメガネの他の形態の断面図を表す図。 図１１Ａの３−Ｄメガネの他の形態の断面図を表す図。 本発明の一実施形態に係る、３−Ｄメガネを表す図。 本発明の一実施形態に係る、３−Ｄメガネを表す図。 本発明の一実施形態に係る、プリズムを備えた３−Ｄメガネを表す図。 回転した図１４Ａの３−Ｄメガネを表す図。 本発明の実施形態に従う、光を屈折および反射しているプリズムを表す図。 本発明の一実施形態に係る、テレビゲーム機用のヘッドトラッキングを表す図。 本発明の各実施形態との併用に適した例示的なコンピュータシステムを表す図。

本発明の本質および利点は以下の図面を参照することによりさらに理解することができる。各図面において、同様の構成要素又は特徴には同様の参照符号がつけられている場合がある。これらの図面を用いて、以下に本発明の様々な実施形態を説明する。上記図面は各実施形態の特定の例であり、各実施形態を限定するものと解釈すべきではなく、むしろ例示的な形態および手順であると解釈すべきである。

本開示はユーザの頭などのオブジェクトを、カメラと、見る角度によって異なる色を示すマーカとを使用してトラッキングする技術に関する。各マーカは、様々に異なる色をバックプレーンに有するレンチキュラーレンズから作られていてもよい。カメラは各マーカから屈折又は反射された色を認識し、この色情報を用いてメガネがカメラに対して回転される角度を決定する。この色情報からメガネの向きが決定されると、カメラからメガネまでの明確な距離を各マーカ間の角距離から求めることができる。

本文に記載したその他の各実施形態は、カメラと照光されたメガネを利用してユーザの頭をトラッキングする技術に関連する。メガネは、テレビに合わせて同期される３−Ｄメガネであってよい。メガネにはフレームを通ってＬＥＤからの光を伝達し拡散するＬＧＰなどの導光板が用いられる。さらに、メガネにレトロリフレクタ、あるいは再帰反射体を用いることができる。これはトラッキングカメラへの周辺光を反射するだけではなく、ＬＧＰに取り付けられた反射型の背面板により光をＬＧＰへ再帰反射するものである。周囲の光に応じてＬＥＤの明度を調整することができる。周辺光のためのセンサはメガネに内蔵されていてもよいし、外付けされたものであってもよい。このカメラ自体を外付けセンサとして使用することもできる。

レンチキュラーレンズやミニプリズムなどを使用して、異なる角度において様々に異なる所定の色を屈折又は反射することができる。ある所定の色を１つの所定の方向に屈折および反射し、別の所定の色を別の所定の方向に屈折および反射するようにミニプリズムをメガネに取り付けるとことができる。ミニプリズムに代えて、あるいはこれに加えて、レンチキュラープリントや角度によりメタメリズム性を備えたプラスチックを使用することができる。別の実施形態では、色の経時的変化量によりユーザの頭の動作速度を決定することができる。

図１Ａおよび１Ｂは角距離と、これに関連する不確定性とを示す。両図面では、カメラ１１２０はメガネ１１０２の各マーカ１１５０をトラッキングする。図１Ａでは、メガネはカメラに近く、図１Ｂでは、メガネはカメラから遠い。しかし、図１Ａのメガネはカメラに対して回転されることから、各々の外縁に設けられた各マーカは同じ角距離θにあるように見える。

ピクセル表示１１５４は、カメラから見たマーカの位置を示す。両図面のマーカ表示１１５２においては、離れているピクセル数は同じである。カメラが各マーカ間の角距離だけを測定した場合、メガネの回転角度は不明であるのでカメラからメガネまでの距離を決定することはできない。メガネの方向が分かれば、この不確定性を解消することができる。

図２は、メガネから様々な角度にわたって屈折又は反射される様々に異なる色を示す。メガネ１１０２は、見られる角度により色が変化する２つのマーカを有する。一方のマーカはカラーインデックス１２５４に対応し、もう一方のマーカはカラーインデックス１２５６に対応する。約０度から約２５度までの小角度では、マーカ１２５４は赤色に見え、約２５度から約５０度までのより大きな角度では、マーカ１２５４はオレンジ色に見える。図示しているように、角度がさらに大きくなれば、異なる色が生じる。この第１マーカにより、メガネが向けられた角度をおおまかに決定することができる。

第２マーカは第１マーカよりも細かな色のグラデーションを有する。図示しているように第２マーカ１２５６の各色は、１８０度の間に９回繰り返し表れている。そのような色や背景等の繰り返しをレンチキュラーレンズにより実現することができる。わずか２０度の間に７色が表れている。これらのように、より細かなグラデーションを使用することで、メガネをみる角度をさらに細かくしてもよい。

メガネを見ている図面中のカメラ１１２０に関して言えば、該カメラはマーカ１２５４を青色、マーカ１２５６をオレンジ色と認識する、又は観察する。カメラ１１２０および／又はこれに対応づけられた電子機器は、「青色」および「オレンジ色」と認識されたマーカーの見かけの色から該メガネの向きを決定することができる。具体的には、この青色やオレンジ色のマーカから、カメラは、カメラに対するメガネのヨー角が１２５８で示される角度であり、メガネの照準から約１２３度傾いていると判断する。

図面ではスペクトル（虹）の色が示されているが、色や画像のいずれの組み合わせを使用することができる。例えば、レンチキュラーレンズは赤色、緑色、および青色の３色のみを示す場合がある。そのような色はＣＣＤやその他のデジタルカメラが最もよく捉える色である。

図３は、例えば図１Ａ〜１Ｂからの角距離と、図２からの色情報とを用いて距離を決定することを示したものである。

ピクセル表示１３５４はカメラから見た、メガネに設けられたマーカを示す。角距離ＡＤは、ピクセル間の距離と周知の水平の視野と垂直の視野とから決定されうる。物理的世界では、当分野では周知のように、簡単な倍数と幾何学によりピクセルを工学単位に変換することができる。

距離に対して不確定である角距離情報１３６０を、色情報１３６４に基づく方向情報１３６４と組み合わせることで、距離情報１３６６を求めることができる。

図４および５はレンチキュラーレンズを示す。図４は円筒状のレンチキュラーレンズを、図５は半球状のレンチキュラーレンズを示す。円筒状のレンズは凸状のリッジ１４７２とバックプレーン１４７４とを含む。カラー画像はバックプレーン１４７４に印刷されうる。半球状のレンチキュラーレンズ１５７０はバンプ１５７２とバックプレーン１５７４とを含む。カラー画像はバックプレーン１５７４に印刷されうる。

図６は一実施形態に係るマーカが粗く分割された粗部を示す。粗部１６００では、リッジ１６７２は画像１６７６が印刷されるバックプレーン１６７４にオーバーレイする。画像１６７６はカラーストライプ１６５４を含む。リッジ１６７２は幅広の形状であることから、この粗部は角度に対して緩やかな色のグラデーションを示す。

図７は一実施形態に係る、マーカが細かく分割された密部を示す。密部１７００では、リッジ１７７２は画像１７７６が印刷されるバックプレーン１７７４にオーバーレイする。画像１７７６は色のグラデーション１７５４を含む。リッジ１７７２は相対的に幅狭の形状であることから、この密部は通常は粗部１６００よりも角度に対する色の繰り返しが多い。

図８Ａ〜８Ｂは一実施形態に係るメガネとマーカとを示す。メガネ１８００はフレーム１８０２の両サイドにマーカ１８５０を含む。該メガネは標準メガネや特殊メガネ、３−Ｄメガネなどであってよい。

円状マーカ１８５０の各々は４つのセクションを含む。各マーカの各四分円をなす１セクションには、水平セクションと垂直セクションとがある。これらのセクションは相互に垂直になるような向きとされている。各マーカの上２つの四分円を覆うのは水平密セクション１８８０と水平粗セクション１８８２である。各マーカの底部の四分円を覆うのは垂直密セクション１８８４と垂直粗セクション１８８６である。いずれのセクションも（密や粗、水平や垂直など）どのような四分円を有することができる。また、様々なマーカのレイアウトが想定される。各マーカに水平および垂直に整列された／方向性あるいは極性を与えられたセクションを組み込むことで、ピッチやヨーなどの２つの軸に方向を関連付け易くなる。バックライト１８０８は、各マーカの透明／半透明材料を通って後方からマーカを光らせるか、他の方法でマーカを照らすように、利用することができる。例えば、バックライトの光は、レンチキュラーレンズのバックプレーン１６７４（図６）を通るようにもできる。各バックライトは周辺光レベルに応じて上下に向きを変えることができるため、様々な照明条件ではっきりと見ることができる。

図９Ａ〜９Ｃは一実施形態に係るマーカのその他の形状の一部を示す。

図９Ａは４つの四分円に分割された矩形／四角形状のマーカを示す。

図９Ｂは６つのセクションに分割された三角形状のマーカを示す。図示している三角形状のマーカでは、セクションは相互に直交した配置となっておらず、従ってこれを使ってシステムの冗長性を向上させるようにしてもよい。図９Ｃは「Ｌ字型」マーカを示す。例示のマーカにおいて、ブランクにされた右上の反射エリアを較正のために利用してもよい。例えば、薄暗い部屋では、その他の各色は各々の所定の色としてカメラに映らない。カメラによって、このブランクにされた反射エリアから光源レベルを決定し、各マーカの粗部と密部とから屈折又は反射されるその他の色を見るために、カメラ自体を較正することも可能であろう。

図１０はメガネフレーム全体がマーカで埋められたフレーム型のマーカを示す。メガネ１００００は水平粗セクション１００８２、垂直密セクション１００８０、水平粗セクション１００８６、および垂直密セクション１００８４を含む。フレームエリアのほとんどの部分は、色が変化する材料で覆われているので、カメラはそれぞれの色をよりよく見ることができる。

例示の実施形態では複数のマーカが示されているが、実施形態によっては色が変化するマーカを１つしか必要としないものもある。１つのマーカの色により、観察カメラに対する各マーカの向きを示すことができる。例えば、別個の２つのマーカの代わりに、１つのマーカの幅によって角距離を決定することができる。つまり、１つのマーカの２つの範囲を「２つの」マーカとみなしてマーカまでの距離を決定することができる。

一部の実施形態では、あるマーカの色は、別のマーカとの角度によってのみ変化する。つまり、マーカの周りを回転する場合に、マーカの色はその他のマーカから離れるように回転する場合、あるいはその他のマーカに近づくように回転する場合にだけ変化する。マーカの各々が互いに観測する平面に対して近づくように回転、あるいは離れるように回転すると、この回転は、観察された角距離（図１参照）から距離を決定する際の不確実性の直接の原因となる。そのために、回転角度を示す色情報があればこの不確実性を解消することができる。

図１１Ａは一実施形態に係る３−Ｄメガネを示す。３−Ｄメガネでないメガネを使用することももちろんできるが、以下、本明細書は３−Ｄメガネに関するものである。３−Ｄメガネ１００はフレーム１０２、右眼レンズ１０４、左眼レンズ１０６を含む。左右のレンズ１０４／１０６は３−Ｄテレビなどの３−Ｄディスプレイと同期して透過・不透過の切り替えができる。フレーム１０２は、本文では導光板（ＬＧＰ）１１０とする導光を含む。ＬＧＰはポリメチルメタクリレート樹脂（ＰＭＭＡ）などの、透明から半透明の材料（あるいは、中空の材料）を含み、ＬＧＰに差し込む、埋め込まれた４つのＬＥＤ１０８からの光を伝達する。

ＬＥＤ１０８は周辺光センサ１１４に接続される回路１１２を介して制御される。周辺光センサ１１４が非常に明るい光を感知すれば、回路１１２はＬＥＤ１１４を明るくする。これによりＬＧＰ１１０はメガネをトラッキングするカメラによってよりよく認識されうる。周辺光センサ１１４が感知する光源レベルが非常に低ければ、回路１１２はＬＥＤの明度を落とすことから、ＬＧＰ１１０の光が装着者の集中力をそがせることはない。

レンズはそれぞれＬＥＤのデューティーサイクルと同期されうる。例えば、レンズ１０４が半透明レンズの場合、メガネの右側のＬＥＤ１０８がオンにされ、レンズ１０４が透明レンズの場合、メガネの右側のＬＥＤ１０８がオフにされ得る。ＬＥＤのオン／オフデューティサイクルによりバッテリーをセーブすることができる。さらにユーザに対しては、集中力の低下を抑えることができる。

無線レシーバ１１６は３−Ｄメガネを３−Ｄテレビに同期する。レシーバ１１６はさらにメガネのＬＥＤの輝度を上げる、又は下げるためのインジケータを受信する。このようにして、トラッキングカメラなどの外付けされた周辺光センサは、周辺光が十分にあるかどうかを判断し、ＬＥＤの輝度を上げる又は下げるように信号を送っているメガネに対して、無線接続によりインジケータを送信することができる。一部実施形態では、外付け電源が特定の光をもっと明るくする必要があると判断する場合があり、これに対応する光を個別に明るくすることができる。

ＬＥＤ１０８は多くの電荷結合素子（ＣＣＤ）カメラが見ることのできる近赤外波長を放出するように製造されうる。近赤外ＬＥＤからの電磁放射は人の目には見えず、よって装着者の集中力はあまりそがれない。

ＬＥＤ１０８の輝度を有限の輝度レベル（例えば、０〜１５）の範囲において調整することができる。あるいは、ある範囲内において輝度レベルを無段階に調整することもできる。有限な数の輝度レベル（例えば、１６）が設けられていれば、メガネは様々な輝度レベルによってカメラおよび対応づけられる電子機器と通信することができる。例えば、メガネのバッテリー残量が不足すると、ＬＥＤはレベル１５（最も明るい）、次にレベル０（消えた状態）、その後レベル８（中程度に明るい）で連続して光ることでバッテリー残量不足を示すことができる。カメラに接続されたテレビゲーム機はこのコードを解読し、画面に「バッテリー残量不足」との警告を表示しうる。これにより、バッテリー不足を示すインジケータをメガネに内蔵させる必要性がなくなりうる。

図１１Ｂは図１１Ａの断面Ａ−Ａを示す。ＬＧＰ１１０はポリメチルメタクリレート（ＰＭＭＡ）などの１つの一体化した半透明材料であるか、導光に適したその他のプラスチックである。矩形以外のその他の断面形状、例えば、円形、長円形、三角形、複合体などが使用されてもよい。

図１１Ｃは他の態様の図１１Ａの断面Ａ−Ａを示す。この場合、半透明／透明材料１５２は、他の態様の透明／半透明材料、発泡体、空気などでありうるコア材料１５４を取り囲んでいる。

図１１Ｄは他の態様の図１１Ａの断面Ａ−Ａを示す。この場合、材料１５２は不透明であり、片側が開いたＣチャンネルとして構成されうる。半透明／透明コア材料１５４はＣチャネルに存在する。

図１１Ｅは他の態様の図１１Ａの断面Ａ−Ａを示す。この場合、半透明／透明材料１５２はフレームを通じて伝達された光をさらに拡散し、反射させることができるリッジ１５８を有する。該リッジは、以下に詳述するプリズムであってもよい。

図１２および１３は、一実施形態に係る３−Ｄメガネを示す。図１２では、フレーム２００に埋め込まれたＬＥＤ２０８の各々は、一部がレトロリフレクタにより覆われたＬＧＰ２１０を照らす。レトロリフレクタ２１８はＬＧＰ２１０の一部に５ミリ（ｍｍ）幅の細長い片で取り付けられている。このレトロリフレクタの表面は周辺光又は照明光のいずれかをカメラに再帰反射させる。これによりカメラはメガネをよりよくトラッキングすることができる。レトロリフレクタ２１８の後部には反射型の背面板が設けられており、ＬＧＰ２１０から漏れる光をＬＧＰ２１０に跳ね返すことができるようにして、さらなる内部反射をＬＧＰにおいて生じさせることができるようになっている。より多くの光がＬＧＰに留まり、フレームを通ってさらに伝達される。カメラが最もトラッキングしやすいパターンに応じて、およびＬＧＰの形状のフレキシビリティに応じてその他の様々なパターンを用いることができる。例示の実施形態では、ＬＧＰは相対的にＬＥＤの照明方向に一直線に設けられているが、ＬＧＰをさらに曲げてフレーム周辺の光を伝達するようにさせることもできる。

図１３では、フレーム３００に埋め込まれた各ＬＥＤ３０８はＬＧＰ３１０を照らす。ＬＧＰ３１０は小さな複数のレトロリフレクタセクション３１８により部分的に覆われている。この小さな複数のレトロリフレクタセクションの背面にはホイルが取り付けられており、光をＬＧＰに再帰反射させるようにしている。この小さな複数のレトロリフレクタセクションを有する構造は、ユーザがカメラの近くにいて、カメラがＬＧＰとレトロリフレクタとを区別することができるような場合での使用により適している。その他の場合では、第１プレーヤは図１２のメガネを装着し、一方で第２プレーヤは図１３のメガネを装着することができる。各々のメガネに設けられたレトロリフレクタのパターンを認識することにより、カメラはプレーヤ１とプレーヤ２とを区別することができる。

一部のある実施形態では、ＬＧＰセクション全体をオン又はオフにすることができる。例えば、フレームの上部の水平バーをオンにし、レンズを保持しているＵセクションをオフにすることができる。これらの各セクションを金属ホイルやその他の不透過材料により相互に光学的に独立させることができる。従って、セクションからセクションまでの光の漏れを最小に抑えることができる。

図１４Ａと１４Ｂとは、一実施形態に係るプリズムを備えた３−Ｄメガネを示す。

各図面において、メガネ４００はフレーム４０２にミニプリズム４２４を有する。このミニプリズムは白色光４２２により照らされる。これは周辺光やカメラ４２０とともに生じる光でありうる。カメラ４２０は固定されている。

図１４Ａでは、メガネはカメラの前に、カメラに対してヨー角が０（ゼロ）度の位置にある。この構造では、白色光４２２からの白色光は所定の波長４２６で屈折および反射する。図１４Ｂでは、メガネはカメラの前にあるものの、カメラに対する向きをθ度変えている。このミニプリズムはこの角度で様々に屈折又は反射することから、白色光４２２は様々に異なる所定の波長４２８でカメラに対して屈折および反射する。カメラは波長（つまり色）を区別することができる。また、メガネがカメラに対して向けられている角度をキャリブレーションテーブルやその他のルックアップテーブルに基づいて決定することができる。

光を屈折および反射して、様々な角度に様々に異なる色が放出されるように、ミニプリズムに代えて、あるいはミニプリズムに加えてレンチキュラープリントを使用することができる。異なる角度において異なる色を出すことができるように、角度によりメタメリズム性を備えたプラスチックやその他の材料を使用することもできる。ミニプリズム、レンチキュラープリント、角度によりメタメリズム性を備えたもの、あるいは同様の特性を有するその他の材料のいずれが使用されたとしても、これらの材料から屈折および反射される光の色は、メガネの所定のピッチ、ヨー、およびロール角により較正されうる。

図１５は、光を屈折および反射している単一のミニプリズムを示す。白色光５２２は右上からプリズム５２４に入射する。白色光はプリズムに入射すると屈折して複数の色に複数に分かれる。これは分散として周知の現象である。色の分散角度は、材料の波長依存屈折率に応じたものであり、これからプリズムが作られる。ビームは反射部５３０で反射し、プリズムを通って屈折し、光を構成する色５３２に分光されてプリズム５２４から出る。

２色間の分散角（例えば、角度ａ１の赤色と角度ａ２のオレンジ色）はプリズムに用いられる材料の関数である。この角度は所定のものであってもよいし、屈折率から求められてもよい。あるいはプリズムから実験的に測定されたものであってもよい。例えば、角度が３０〜４０度のプリズムの場合、正面に赤色が屈折又は反射されることになる。従って、赤色を見ているカメラは、プリズム（および、プリズムが取り付けられたメガネ）が正面から３０〜４０度の位置にあると推測することができる。

この角度間の差であるΔα＝α１−α２を予め決めておき、変化率を決定するようにしてもよい。例えば、Δα／Δｔ≒ω（角速度）である。例えば、赤色とオレンジ色の角度差が１２度であれば、カメラは赤色を観測した１秒後にオレンジ色を観測し、プリズム（及びプリズムが取り付けられたメガネ）は１２度／秒で回転しているということを決定することができる。

図１６は一実施形態に係るテレビゲーム用のヘッドトラッキングを示す。メガネ６０２を装着したプレーヤの頭６３４は、時間ｔ１ではある一つの位置と向きに、ｔ２では別の位置と向きに、ｔ３ではさらに別の位置と向きにある。頭６３４はｔ１〜ｔ３の間に、スイングダウンして傾き、その後に右にスイングして移動する。プレーヤは従来のゲームコントローラ６４８を使用してテレビゲームをプレイすることができ、および／又はプレーヤの体の動きだけを使ってゲームをコントロールすることができる。カメラ６２０は本実施形態においてはディスプレイ６４２の上部に設けられている。該カメラはユーザの位置と動作とをキャプチャし、これをゲーム機６４４へ送る。トラッキングアルゴリズムはカメラ６２０と一体化されていてもよいし、ゲーム機６４４のソフトウェア又はハードウェアの一部であってもよい。他の実施形態では、さらに別のデバイスにトラッキング論理回路が存在してもよい。

プレーヤが頭を揺らしてゲームを楽しんでいる時に、カメラ６２０は照光されたメガネ６０２をトラッキングするカメラ６２０を使ってプレーヤの頭６３４をトラッキングする。しかし、周辺光の強度が十分でないためにカメラ６２０は十分な解像度でメガネ６０２を決定できない場合がある。例えば、ゲームにより集中できるようにゲームプレーヤ又はそのルームメイトは電気を消す場合がある。光の状態が悪くなると、ゲーム機６４４とカメラ６２０とは異なる光センサ６４６は周辺光が不足していることを検出するか、その他の方法でこれを測定し、ゲーム機６４４に信号を送る。ゲーム機６４４は測定した周辺光を閾値と比較する。この閾値はカメラやゲーム機の出荷時設定において予め設定されていたものであるか、ユーザにより調整されうるものである。この比較において、ゲーム機６４４は周辺光レベルが閾値を越えていると判断する。ゲーム機６４４はその後、メガネに埋め込まれた光源を調整するよう、メガネに対して無線信号を送信する。トラッキングされた頭の動きをゲームへの入力として使用し、３−Ｄ画像などにレンダリングしてもよい。

「閾値を越えた値」とは、閾値の境界線から大きく離れた値をいい、閾値よりも低いか高いかどうかは問わない。例えば、閾値１０を上限又は最大値とする場合、値９は閾値を越えない。しかし、閾値１０が上限とされている場合、値１１は閾値を越える。これに対して、閾値１０を下限又は最小値とする場合、値１１は閾値を越えない。このように閾値１０が下限とされている場合、値９は閾値を越える。

図１７は、各種の実施形態に従う、デバイスの実装に適したハードウェアシステムの一例を示す説明図である。本ブロック図において、コンピュータシステム７００が例示されており、これは、パソコン、テレビゲーム用コンソールと対応付けられたディスプレイ、モバイルデバイス、携帯端末、又はその他のデジタルデバイスなどの、本発明の実施形態を実行するのに適したものである。
コンピュータシステム７００はソフトウェアアプリケーション及び任意にオペレーションシステムを実行するための中央処理装置（ＣＰＵ）７０５を含む。ＣＰＵ７０５は１以上の同種又は異種の処理コアで構成されうる。メモリ７１０は、ＣＰＵ７０５により使用されるアプリケーション及びデータを記憶する。ストレージ７１５は、アプリケーション及びデータに対して不揮発性記憶装置及びその他のコンピュータ可読媒体を提供する。また、ストレージ７１５は固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリデバイス、及びＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙ、ＨＤ−ＤＶＤ、又はその他の光学式記憶装置を含み、これらに加えて信号伝送及び記憶媒体を含みうる。

ユーザ入力装置７２０は、１名以上のユーザからの入力をコンピュータシステム７００に知らせる。入力装置の例としては、キーボード、マウス、ジョイスティック、タッチバッド、タッチスクリーン、静止カメラ又はビデオカメラ、及び/又はマイクロフォンなどが挙げられる。ネットワークインタフェース７２５により、コンピュータシステム７００は電子通信ネットワーク経由でその他のコンピュータシステムと通信することができ、ローカルエリアネットワーク及びインターネットなどの広域ネットワークを介した有線又は無線通信を含みうる。音声プロセッサ７３０は、ＣＰＵ７０５、メモリ７１０、及び／又はストレージ７１５により提供される命令及び／又はデータからアナログ音声出力又はデジタル音声出力を生成するように構成される。ＣＰＵ７００、メモリ７１０、データストレージ７１５、ユーザ入力装置７２０、ネットワークインターフェース７２５、及び音声プロセッサ７３０を含むコンピュータシステム７００の構成要素は、１以上のデータバス７３５経由で接続される。

さらに、グラフィックサブシステム７４０は、データバス７３５及びコンピュータシステム７００の構成要素に接続される。グラフィックサブシステム７４０は、グラフィック処理ユニット（ＧＰＵ）７４５及びグラフィックメモリ７５０を含む。グラフィックメモリ７５０は、出力画像の各ピクセルに対するピクセルデータを記憶するために使用されるディスプレイメモリ（例えば、フレームバッファ）を含む。グラフィックメモリ７５０は、ＧＰＵ７４５と同一の装置に内蔵されてもよいし、別の装置としてＧＰＵ７４５と接続されてもよいし、及び／又はメモリ７５０内に実装されてもよい。ピクセルデータはＣＰＵ７０５から直接グラフィックメモリ７５０に提供されてもよい。

他の形態では、ＣＰＵ７０５はＧＰＵ７４５に所望の出力画像を定義するデータ及び／又は命令を提供し、ＧＰＵ７４５はこのデータ及び／又は命令から１以上の出力画像のピクセルデータを生成する。所望の出力画像を定義するデータ及び／又は命令は、メモリ７１０及び／又はグラフィックメモリ７５０に記憶されうる。一実施形態では、ＧＰＵ７４５は、形状、ライティング、シェーディング、テクスチャリング、運動、及び／又はカメラパラメータを場面に対して定義する命令及びデータから出力画像に対するピクセルデータを生成するための３Ｄレンダリング機能を含む。ＧＰＵ７４５は、シェーダプログラムを実行可能な１以上のプログラム可能実行ユニットを更に含みうる。
グラフィックサブシステム７４０は、グラフィックメモリ７５０から画像に対するピクセルデータを周期的に出力し、表示装置７５５に表示されるようにする。表示装置７５５は、コンピュータシステム７００からの信号を受けて視覚情報を表示することができる装置であり、これにはブラウン管（ＣＲＴ）、液晶表示装置（ＬＣＤ）、プラズマ、及び誘起発光ダイオードディスプレイを含む。コンピュータシステム７００は、表示装置７５５にアナログ信号又はデジタル信号を送信することができる。

各種の実施形態によれば、ＣＰＵ７０５は、１以上の処理コアを有する１以上の汎用マイクロプロセッサである。更に各実施形態は、メディアアプリケーションやインタラクティブエンターテインメントアプリケーションなど、並列性が高くコンピュータ処理の多いアプリケーションに適したマイクロプロセッサのアーキテクチャを備えた１以上のＣＰＵ１４０５を使用して実行することができる。

システムの各構成要素はネットワーク経由で接続されてもよく、これは以下のいずれの組み合わせであってもよい。イントラネット、ＩＰネットワーク、イントラネット、広域ネットワーク（「ＷＡＮ」；Wide-area network）、ローカルエリアネットワーク（「ＬＡＮ」；Local-area network）、仮想プライベートネットワーク（「ＶＰＮ」；Virtual private network）、公衆交換電話網（「ＰＳＴＮ」；Public Switched Telephone Network）、又は本明細書に記載した、異なる実施形態における装置間のデータ通信をサポートするネットワークであればどのような種類のネットワークであってもよい。ネットワークは光リンクなどの有線や無線接続を含みうる。その他多くの例が可能であり、このことは本明細書の開示に照らして当業者には明らかである。

本明細書の記載において、ネットワークに特に留意してもよいし、しなくてもよい。上述の方法、システム及び装置は単なる例示目的であることに留意されたい。各種の実施形態は、省略、代替、あるいは適宜様々な手順や構成要素を追加してもよいことが強調されるべきである。例えば、別の実施形態では、記載したものとは異なる順序で各方法を実行することもできるし、様々なステップを追加、省略あるいは組み合わせることもできる。更に、ある実施形態に対して記載された特徴の各々を様々な別の実施形態に組み合わせることもできる。同様の方法で各実施形態の様々な態様と要素とを組み合わせることもできる。更に、技術は進化するものであり、従って、各要素の多くが例示的なものであり、本発明の範囲を限定するものではないことを強調されたい。

本発明を完全に理解することができるように、本明細書において具体的な詳細が記載されている。しかし、当業者であればそのような具体的な詳細がなくても本発明を実施することができることはわかるであろう。例えば、周知の回路、プロセス、アルゴリズム、構造、及び技術は、各実施形態を曖昧なものとしないように、不要な詳細を記載することなく示されている。更に、各実施形態をフロー図やブロック図として描かれるプロセスとして記載することもできる点に留意されたい。各オペレーションを順次プロセスとして記載してもよいが、オペレーションの多くは並列あるいは同時に実行することができる。更に、該オペレーションの順序を並べ替えることもできる。あるプロセスには図面にはない付加的ステップがあってもよい。

更に、本明細書に開示されているように、「メモリ」や「メモリユニット」なる用語は、データを記憶するための１以上の装置を表すものであってよく、これには読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ＲＡＭ、コアメモリ、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、あるいはその他の情報を記憶するためのコンピュータ可読媒体が含まれる。「コンピュータ可読媒体」なる用語にはポータブル記憶装置や固定された記憶装置、光学記憶装置、無線チャネル、ＳＩＭカード、その他のスマートカードが含まれるがこれらに限定されることはなく、更に、命令やデータを記憶し、含み、あるいは持ち運べることができるその他の各種媒体を含む。

更に、各実施形態はハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、あるいはこのいずれの組み合わせによって実行されてもよい。ソフトウェア、ファームウェア、ミドルウェア、あるいはマイクロコードで実行される場合、必要なタスクを実行するためのプログラムコードやコードセグメントは記憶媒体などのコンピュータ可読媒体に記憶されてもよい。プロセッサは必要なタスクを実行することもできる。

いくつかの実施形態を記載してきたが、本発明の精神を逸脱しない範囲で各種の変形を行ってもよいし、代替構造、及び等価物を用いてもよいことは当業者には理解されるであろう。例えば、上述した要素は大規模なシステムの単なる一構成要素である場合があり、他の手順がそれら他の適用に優先してもよいし、それらの適用を変更してもよい。また、多くのステップを 上述した要素が検討される前、その間に、又はその後に行うこともできる。従って、上述の記載は本発明の範囲を限定するものとして捉えられるべきではない。

Claims (20)

1. カメラによるオブジェクトのトラッキングを可能にするマーカデバイスであって、
   第１手段を備えた第１のマーカを有し、この第１手段は、第１の所定の色を対応する第１の所定の角度で屈折又は反射し、かつ、第２の所定の色を対応する第２の所定の角度で屈折又は反射するものであり、
   第２マーカを有し、
   前記マーカを互いに一定の距離で支持する手段を有し、
   前記各マーカをオブジェクトに設けるための手段を有し、前記オブジェクトまでの距離は、前記マーカ間の角距離と、前記マーカの観測された色と、により決定される、マーカデバイス。
2. 前記第１マーカは、異なる角度に渡って異なる所定の色を屈折又は反射するための、前記第１手段よりも色のグラデーション幅が細かくされた第２手段を有する、請求項１記載のデバイス。
3. 前記第１マーカは異なる角度に渡って異なる所定の色を屈折又は反射するための、前記第１マーカに対して垂直に向けられた第２手段を有する、請求項１記載のデバイス。
4. 前記第１マーカは異なる角度に渡って異なる所定の色を屈折又は反射するための、前記第１手段よりも色のグラデーション幅が細かくされた第３手段を有する、請求項３記載のデバイス。
5. その光が前記第１マーカを通るように構成された光源を有する、請求項１記載のデバイス。
6. 前記光源はレンチキュラーレンズの後方を通って光る、請求項５記載のデバイス。
7. 屈折又は反射のための前記手段はレンチキュラーレンズを含む、請求項１記載のデバイス。
8. 屈折又は反射のための前記手段は角度によるメタメリズム性を有する材料を含む、請求項１記載のデバイス。
9. 前記第１および第２マーカは、同一マーカの一部である、請求項１記載のデバイス。
10. 前記オブジェクトにはユーザが含まれる、請求項１記載のデバイス。
11. 前記マーカを前記オブジェクトに設けるための前記手段はメガネフレームを含む、請求項１０記載のデバイス。
12. 前記第１および第２マーカは同じ色を同じ角度で屈折又は反射する、請求項１記載のデバイス。
13. カメラによりオブジェクトをトラッキングするシステムであって、
    第１の所定の色を対応する第１の所定の角度で屈折又は反射し、第２の所定の色を対応する第２の所定の角度で屈折又は反射するための第１手段を有する第１マーカと、
    前記第１マーカから一定の距離に設けられた第２マーカと、
    前記マーカの各々をオブジェクトに設けるための手段と、
    カラーカメラと、
    前記各々のマーカ間の角距離を決定するために前記カメラを使用し、前記角距離と前記マーカの各々の見かけの色とを利用して前記マーカの各々までの距離を決定するように構成された回路と、を含むシステム。
14. 前記マーカを前記オブジェクトに設けるための前記手段はメガネフレームを含む、請求項１３記載のシステム。
15. オブジェクトまでの距離を決定するための方法であって、
    オブジェクトにより各々から一定距離に維持されている各マーカのカラー画像をカメラから受信するステップと、
    前記各マーカ間の角距離を決定するステップと、
    メモリに動作可能に接続されたプロセッサを使って、前記マーカのうちの少なくとも一方の見かけの色を使用して前記各マーカの向きを決定するステップと、
    前記角距離と、前記決定された前記マーカの各々の向きとを利用して、前記カメラから前記各マーカまでの距離を決定するステップと、を含む方法。
16. 前記マーカのうちの一方の粗部の見かけの色を識別するステップと、
    前記マーカのうちの一方の密部の見かけの色を識別するステップと、
    前記それぞれのマーカの前記粗部と密部とに基づいて前記マーカの前記向きを決定するステップと、をさらに含む請求項１５記載の方法。
17. 前記オペレーションは図示した順序で実行される、請求項１５記載の方法。
18. 各オペレーションは前記メモリに動作可能に接続された前記プロセッサにより実行される、請求項１５記載の方法。
19. 請求項１５記載のオペレーションを１以上のコンピュータに実行させるための命令を示す情報を含むコンピュータ可読記憶媒体。
20. 請求項１５記載の前記オペレーションを実行するためのプログラムコードを含むコンピュータプログラム命令を実行するためのコンピュータシステム。

Images