JP2016536635A - 再構成可能な投影拡張現実／仮想現実アプライアンスのためのシステム及び方法 - Google Patents

Abstract

視線トラッキングを有するヘッドマウントディスプレイを備えるシステムは、投影拡張現実用途から、閉じた仮想現実を用いる用途や混合モードへの再構成用のアタッチメントを備える。

Description

本発明は、仮想現実、拡張現実、ボードゲーム、及びビデオゲームの分野に関する。より詳細には、本システムは、再構成可能なヘッドマウントディスプレイにおける複数の動作モード、すなわち、表面に対する投影画像、ニア・ツー・アイ（ｎｅａｒ ｔｏ ｅｙｅ）ディスプレイ、及びグラフィック・オーバーレイ用の世界画像コンバイナを有するニア・ツー・アイ・ディスプレイを可能にする。

固定光学系ヘッドマウントディスプレイ・ヘッドセットは、通常、１つ又は複数のディスプレイと、コンピュータが生成するグラフィックをユーザの目（アイ）に届けるリレー光学系とからなり、多くの例が存在する。現実世界からの光を組み合わせる追加の固定光学系が備えられることができ、現実世界においてユーザが見るものの上にグラフィックをオーバーレイすることを可能にする。このディスプレイには、多くの場合、立体視によるビュー用にＣＧＩシーンのレンダリングを駆動する情報を提供して３Ｄビジョンをシミュレートするべく、ユーザの視線をトラッキングするためにサブシステムが関連付けられている。

マーカをトラッキングするためのカメラと共に、２つのプロジェクション・ディスプレイ・システムと、世界において表面からユーザに戻る光のための２つのアパーチャとを備える、典型的な外向投影画像ヘッドセットの図。 図１のヘッドセット用の有線接続システムの図。 プロジェクタに対する目の整合を示す、図１のヘッドセットの正面図。 異方性反射による代替的なヘッドセットの図。 １つのプロジェクタを使用する代替的なヘッドセットの図。 視線トラッキングにおいて使用するためのアクティブな「マーカ」パッドの図。 図１のヘッドセットからの及びヘッドセットへの光学経路の図。 トラッキング・マーカ発光体から図１のヘッドセットへの光学経路の図。 閉じた仮想現実動作モードへの「クリップオン」再構成用の光学経路の図。 モードを切り替えるためのヒンジ式「フリップ・アップ」の動作の図。 閉位置における「クリップオン」装置の正面「透視」図。 「クリップオン」装置の片側用途の図。 現実／仮想混合モード用の代替的な「クリップオン」再構成の図。 「電子シースルー」現実／仮想混合モード用のカメラを有する代替的な「クリップオン」再構成の図。

本発明は、投影イメージングなどの主動作のモードを有する１つ又は複数のディスプレイと、視線トラッキング・サブシステムと、直接的にユーザの目に画像をリレーするためのアタッチメント及び／又は世界画像コーミング光学系と、を備えるヘッドセット又は眼鏡を含む。視線トラッキング・システムは、例えば、一人称視点に基づくビデオゲーム又はシミュレーションに使用されるものなど、コンピュータが生成するシーンの立体ビューをレンダリングするために必要な情報を提供する。

本発明のシステムは、ディスプレイ又はプロジェクション・システム（図１〜図５）及び見通し線トラッキング・システム（図６〜図７）や、投影からニア・ツー・アイ・ビューイングへ動作モードを変える機械的に取り付け可能なリレー・システム（図８〜図１０）を備える眼鏡（又は、ヘッドセット）を備える。

眼鏡の実施形態を図１に示す。図１では、フレーム１０１は、一対の画像プロジェクタ１０２，１０４、１つ又は複数のトラッキング・カメラ１０３、及びビューイング・レンズ１０５，１０６を支持している。電池及びドライバ電子機器や無線電子通信装置を保持することのできる区画１０７が示されている。これに代えて、図２では、回路ボックス２０２への有線接続部２０１を有する実施形態を示す。回路ボックス２０２は、ＨＤＭＩ（登録商標）などコンピュータ／携帯電話インタフェース両用の接続部２０３及び／又はＵＳＢなど他の周辺装置用の接続部２０４を備えてよい。回路ボックス２０２も電池を備えてよい。

図１のビューイング・レンズ１０５，１０６は、プロジェクタ１０２，１０４と共に、フレームの反対側のプロジェクタから発する光を除外するための手段を提供する。この手段は、選択的直交偏光（プラナー（ｐｌａｎｅｒ）又はサーキュラー）、時分割多重化アクティブ・シャッタ、スペクトル・フィルタ処理（エミッタ物理又はソフトウェア選択される色又はパッシブ・フィルタリングによる）、又は本技術分野において知られるそうした他の手段によることができる。

投影拡張現実モードを示す図７ａに示すように、このシステムは、再帰反射材７０１によって、プロジェクタ１０２，１０４が放射する光の大部分７０２を、経路７０３によりビューイング・レンズ１０５及び１０６に重なる領域に戻す。従来技術（例えば、スタントン（Ｓｔａｎｔｏｎ）の米国特許第６，５３５，１８２号明細書）は、プロジェクタがフレームのヒンジに隣接して側面に配置されるシステムを教示している。しかし、これによって、ユーザの既存のアイウェアの上に装着するのに十分なほどフレームを大きくする場合、両側からの所望されない画像のクロストークを低くしようとする一方、ユーザの目からプロジェクタまでの軸外距離のため、戻される画像の輝度が低減するという不都合が生じる。従来技術（例えば、フィッシャー（Ｆｉｓｈｅｒ）の米国特許第５，５７２，２２９号明細書及びファーガソン（Ｆｅｒｇａｓｏｎ）の米国特許第５，６０６，４５８号明細書）は、投影される光をユーザの視線と同軸に配向するために、ユーザの目の前方におけるビームスプリッタの使用も教示しているが、これによって、所望されない前方の重量とフレーム構造の拡大とが追加される。図３では、ビームスプリッタが不要である、プロジェクタがユーザの各目の中心の直上に位置するような、図１の実施形態の好適な整合を示す。プロジェクタが、目の下に、各同じ中心線上に中心を置き取り付けられてもよいことと、再帰反射材が、その後ろに配置されている物体をユーザが見ることができるように部分的に透明であってよいことが留意される。

代替の実施形態において、図３に示す整合は、戻される投影画像の輝度のパターンが垂直方向よりも水平方向において速く低下するように、異方性再帰反射スクリーンと共に使用されてよい。異方性再帰反射体は、軸に整合したわずかに楕円形の反射球体、又は鏡面上のホログラムフィルム、又は再帰反射体製造技術及び裸眼立体視スクリーンの技術において知られている他の手段に基づいて製造されることができる。この形態による左／右の画像の空間的分離を図４に示す。図４では、眼鏡フレーム４０１は開いており、フィルタ処理ビューイング・レンズを有しておらず、むしろ、異方性のビューイング戻り領域４０２により、反対の目に向かって交差する光は制限される。

１つのプロジェクタを使用する代替的実施形態を図５に示す。図５では、プロジェクタ５０２は交互のフレームを逐次送り、フィルタ処理ビューイング・レンズ５０５，５０６
は、左右の画像を対応する目に選択的に渡す。前述のように、１つのプロジェクタ５０２は、偏光の直交性を切り替えることによって（プラナー偏光又は円偏光のどちらかを使用するとき）、又はビューイング・レンズにおけるアクティブ・シャッタによる時間多重化、又はビューイング・レンズにおけるスペクトル・フィルタが通過させる制限された色を左／右の側に投影することによって、ビューイング・レンズと調整される。

拡張現実の仮想形態又は高度な形態の提示を行うには、ユーザの視線を算出することが必要である。本明細書の目的では、視線は、ユーザの目の間から発し、互いに平行となるように取り付けられるプロジェクタ１０２，１０４の中央投影線に対して平行に前方に延びる線とする。

視線トラッキング・サブシステムは、１０２及び１０４の中央投影線に対して平行な中央視界の線に取り付けられる１つのヘッドセット・カメラ又は複数のカメラ１０３と、図６に示されるような「パッド」の形態を取り得る１つの「マーカ」又は複数のマーカとを備える。本実施形態において、このパッド又は板６０１は、５つの赤外発光ダイオードのセットを備え、そのセットにおいて、４つの外側ユニット６０２〜６０５は定出力モードである一方、オフセット内側ダイオード６０６は識別符号パターンを使用して変調される。エミッタ用の電源及び変調回路がパッド（図示せず）の材料に埋め込まれてもよく、エミッタが他の場所から有線によって供給を受けてもよい。また、マーカは、投影される画像をヘッドセットに戻す表面の一部分となる再帰反射材を備える前面を有してよい。複数のマーカ・パッドは、特にヘッドセット・ファームウェア又はソフトウェアによって識別されるように、変調されたＩＲ源によってブロードキャストされる様々な符号を有する所与の構成により使用されることができる。均等なマーカ構成は、本技術分野における設計者には明らかである。

図７ａには、ヘッドセット上のプロジェクタから、フレーム７０５に対し取り付けられる再帰反射表面７０１までの典型的な光学経路を示す。再帰反射表面では、その性質上、ユーザに対して提示される角度は決定的ではなく、その表面は、折れ、曲がり、又は平坦な部分を有し得る。図７ｂには、幾何学的データを提供するように、カメラ（図１の１０３）によってトラッキングされる発光体のマーカ・パターン７０４から発する光の光学経路７０５を示す。この幾何学的データは、固定表面に対するユーザの見通し線を算出するよう数学的に処理されることが可能である。この図では、図６のマーカは開口がＩＲ発光用に提供されるように表面７０１の中に埋め込まれている。これに代えて、表面がＩＲに対して透明であり、その後ろにマーカ・パッドが存在してもよい。本明細書の目的では、用語「再帰反射体」は、投影される光の相当な量を直接的にプロジェクタの方向へと戻す、透明から不透明までの任意の表面であってよい。

図１のヘッドセットは、ユーザの対応する目の各々に直接的に向けられる画像形成経路にプロジェクタの出力を再配向する「クリップオン」光学リレー・システム・アタッチメントによって、投影モードから、エンクロージャ型のニア・ツー・アイ仮想現実ディスプレイへと変換されることができる。アタッチメントの１つの側の光学経路の断面図を、図８ａに示す。この図では、エンクロージャ８０１は、ヒンジ機構８０５によって、ヘッドセット・フレーム１０１上のプロジェクタハウジング１０２にクランプ手段により定位置に保持されている。エンクロージャ８０１は、プロジェクタによって生成される画像を、ユーザの目に対して同軸に提示され、且つ、視認可能な画像を生成するようにコリメートされるように向ける光学要素の構成を定位置に保持ための手段（図示せず）を備える。示した実施形態では、プロジェクタ１０２からの画像は、ミラー８０２によって下方に、次いでビームスプリッタ８０３によって前方に配向され、その後、成形ミラー８０４によって反射される。成形ミラー８０４は、ビームスプリッタ８０３及びヘッドセットのビューイング・レンズ１０５を通じて戻る正しい偏光のコリメート画像を提供する。回折、反射
、又は屈折光学要素は、画像特性を変えるために光学システムに配置されることができる。この光学経路について本実施形態では記載しているが、ヘッドマウントディスプレイの技術分野において使用されるニア・アイ（ｎｅａｒ ｅｙｅ）光学リレー手段の多くの例が存在し、当業者は、このアタッチメント用に任意の数の代替の経路を設計することができる。

図８ｂでは、ユーザがアタッチメントを完全に取り外すことなくモードを切り替えられるような、ヒンジ８０５による「フリップ・アップ」されるアタッチメントを示す。ヘッドセットは、使用中のモードをサポートするために必要な画像補正（反転など）をシステムに関連するファームウェア及びソフトウェアが行い得るように、アタッチメントの存在及び位置を電気的又は光学的に検出する手段（図示せず）を有することが想定される。また、ユーザが、キーボード、ゲーム・コントローラ、又は他の機器から手を退けることなくエンクロージャ型の仮想現実モードへ切り替えるために素早く頷く頭の動きによってアタッチメントを上がった位置から「フリップ・ダウン」することができるような機械的手段（図示せず）が備えられることも想定される。

図８ｃには、ヘッドセットの正面を覆う係合位置における、プロジェクタにクランプによって付けられているアタッチメントの正面図を示す。このアタッチメントは、その後ろのヘッドセットを示すようにエックス線スタイルにより示されているが、不透明であるとして考えられる。当業者は、多くの他のエンクロージャと、磁石、スナップ、又は面ファスナーなどによってなど取付の手段とを設計することができるが、全ての設計において、固定具がカメラ１０３を覆ったり、又はその視界を制限したりすることがあってはならない。また、本記載のいずれでも、片目のみに閉じた画像又は情報を供給する拡張現実用途用に使用されるものなど、アタッチメントの半分の実装（図８ｄに示す）を排除しない。

また、均等のアタッチメントが図５に開示される１つのプロジェクタの実施形態用に設計可能であることが、光学リレーの当業者には明らかであろう。そのような一実施形態では、図８ａに示したのと同様のシステムに投入する前に、各目に対して側方に画像をリレーするビームスプリッタ又はアクティブ・ビーム・スイッチが伴われる。これに代えて、光学リレーがプロジェクタの出力を両目に送ってもよく、その場合、所望されないフレームは、時間式シャッタ、偏光フィルタ、スペクトル・フィルタ、又は他の光学的な手段によって除外される。

いくつかの拡張現実用途では、コンピュータグラフィックス・システムによって生成される画像を現実世界の実際の画像と混合することが所望される。この目的を達成するために、アタッチメントは、図９に示されるように、外の世界から入る光用の経路を提供するための手段を具体化することができる。この実施形態では、エンクロージャは、開口に取り付けられ、前方を向いているレンズ又はレンズ・システム９０１を備える。レンズ又はレンズ・システム９０１は、外部の光を集め、その光に図８ａにおいて前述した同軸の光学経路に加わる前にフィルタ手段９０２及び半反射ミラー８０４を通過させる。視界と、アナモルフィックと、色補正と、投影又は外部経路の他の特性となど、光学系は、屈折、回折、及び反射光学要素を有するアタッチメントによって修正されることができる。フィルタ手段９０２は、偏光子若しくは電子シャッタ、スペクトル・フィルタ、又はレンズ又はレンズ・システム９０１によって集められる画像の一部分をマスキング又は遮断する他の手段を含み得る。この光学動作の制御用の電子手段については示していないが、当業者には知られている。これに代えて、図１０に示されるように、エンクロージャの前部に１つ又は複数のカメラ１００１を取り付けることによって、「シースルー」モードが達成されてよい。本技術においてよく知られるように、本実施形態において、外部の世界の画像は、ＣＧＩ画像のマスキング及び置換又はオーバーレイを制御するグラフィカルな混合ファームウェア及びソフトウェア（図示せず）へと電気的にリレーされる（同じく、図示せ
ず）。図１０の実施形態は、ビデオカメラにより戻される画像によって指の動き及びジェスチャーをトラッキングするように開発されたものなど画像処理ソフトウェアと組み合わされるとき、特に有用である。

結論
本明細書において、例示的な実施形態が例として記載された。しかし、特許請求の範囲によって定義される本実施形態が対象とする要素、製品、及び方法の真の範囲及び精神から逸脱することなく本実施形態に対して変更及び修正が行われてもよいことを、当業者は理解するだろう。

米国特許文献

米国特許出願

他の公開文献

Claims (20)

1. ヘッドマウントディスプレイにおいて、
   １つ以上の画像プロジェクタを支持するヘッドセット又は眼鏡フレームであって、
   前記プロジェクタは垂直な瞳の中心線の直上又は直下に取り付けられている、ヘッドセット又は眼鏡フレームと、
   １つ以上の再帰反射表面であって、
   投影された画像を前記ヘッドセットへ戻す、表面と、
   前記ヘッドセットの両側に取り付けられている前記プロジェクタから発する所望されない画像の輝度を低減するフィルタ手段と、を備える、ヘッドマウントディスプレイ。
2. 前記フィルタ手段は、
   第１のプロジェクタに適用される第１の偏光フィルタと、
   第２のプロジェクタに適用される第２の偏光フィルタであって、前記第２のフィルタの偏光の向きは前記第１の偏光フィルタの偏光の向きに直交している、第２の偏光フィルタと、
   偏光フィルタを有する第１のビューイング・レンズであって、
   前記第１のビューイング・レンズは前記ヘッドセットにおいて前記第１のプロジェクタと同じ側にあり、
   前記第１のビューイング・レンズ上の前記第１の偏光フィルタは、前記第２のプロジェクタ上の前記第２の偏光フィルタを通過する反射画像を除外するように構成されている、第１のビューイング・レンズと、
   偏光フィルタを有する第２のビューイング・レンズであって、前記第２のビューイング・レンズは前記ヘッドセットにおいて前記第２のプロジェクタと同じ側にあり、
   前記第２のビューイング・レンズ上の前記第２の偏光フィルタは、前記第１のプロジェクタ上の前記第１の偏光フィルタを通過する反射画像を除外するように構成されている、第２のビューイング・レンズと、を備える請求項１に記載のヘッドマウントディスプレイ。
3. 各側に投影される光の前記偏光の種類はプラナーである、請求項２に記載のヘッドマウントディスプレイ。
4. 各側に投影される光の前記偏光の種類はサーキュラーである、請求項２に記載のヘッドマウントディスプレイ。
5. 前記フィルタ手段は、
   第１のプロジェクタに適用される第１のスペクトル・フィルタと、
   第２のプロジェクタに適用される第２のスペクトル・フィルタであって、
   前記第１のスペクトル・フィルタと共通しない可視スペクトルの部分を通過させる、第２のスペクトル・フィルタと、
   スペクトル・フィルタを有する第１のビューイング・レンズであって、
   前記第１のビューイング・レンズは前記ヘッドセットについて前記第１のプロジェクタと同じ側にあり、
   前記第１のビューイング・レンズにおける前記第１のスペクトル・フィルタは、前記第２のプロジェクタにおける前記第２のスペクトル・フィルタを通過する反射画像を除外するように構成されている、第１のビューイング・レンズと、
   スペクトル・フィルタを有する第２のビューイング・レンズであって、
   前記第２のビューイング・レンズは前記ヘッドセットについて前記第２のプロジェクタと同じ側にあり、
   前記第２のビューイング・レンズにおける前記第２のスペクトル・フィルタは、前記第
   １のプロジェクタ上の前記第１のスペクトル・フィルタを通過する反射画像を除外するように構成されている、第２のビューイング・レンズと、を備える請求項１に記載のヘッドマウントディスプレイ。
6. 前記プロジェクタの前記スペクトル・フィルタの処理は、投影された前記画像の画素を符号化する際の色選択によるか、又は用いられる物理的な発光体の放射スペクトルによる、請求項５に記載のヘッドマウントディスプレイ。
7. 前記フィルタ手段は、
   第１及び第２の前記画像プロジェクタが画像投影用の交互の時間スロットを有することと、
   取付式の又は内蔵の透明性切替手段を有する第１及び第２のビューイング・レンズと、を含み、
   前記切替手段は、両側のプロジェクタから発する画像を遮断するように前記投影の時間スロットと調整されている、請求項１に記載のヘッドマウントディスプレイ。
8. 前記フィルタ手段は、
   垂直な向きに異方性の長軸を有する異方性再帰反射表面と、
   前記プロジェクタを前記ヘッドセットの複数の目の位置に対する中心位置の上又は下に垂直に整合させることと、を含み、
   前記異方性再帰反射は、反射画像同士を分離するように水平寸法において十分に狭い反射輝度パターンを有する、請求項１に記載のヘッドマウントディスプレイ。
9. 請求項１に記載のヘッドマウントディスプレイと、
   光エミッタの幾何学的アレイからの光信号を受信するために前記ヘッドセット上に取り付けられている１つ以上のカメラと、を備えるシステムであって、
   前記エミッタは、前記再帰反射表面と共に取り付けられており、前記アレイにおける前記エミッタのうちの１つは符号化された識別パターンを送る、システム。
10. 前記エミッタは赤外光を投影する、請求項９に記載のシステム。
11. 前記光信号からエミッタの前記アレイに関するユーザの視線を算出するための手段をさらに備える、請求項９に記載のシステム。
12. プロジェクション拡張現実ヘッドセット又は眼鏡と、
    着脱可能なアタッチメントと、を備えるシステムであって、
    前記アタッチメントは、前記ヘッドセットの前部の片側又は両側に取付可能であり、
    前記アタッチメントは、前記ヘッドセットの動作をニア・アイ・ディスプレイ・システムの動作へと再構成するための手段を含む、システム。
13. ユーザの前方における現実世界からの画像を受け取るためのレンズと、
    前記画像をプロジェクタからの画像と混合するための手段と、をさらに備える請求項１２に記載のアタッチメント。
14. 前記プロジェクタからの画像との混合に先立って前記現実世界からの前記画像の空間部分をマスキングするための手段をさらに備える、請求項１３に記載のアタッチメント。
15. ヒンジ式の取付手段であって、
    前記ヘッドセットによる画像投影の経路内及び経路外に前記アタッチメントを回転させることによって前記ヘッドセットの動作モードの切替を行う手段をさらに備える、請求項
    １２に記載のアタッチメント。
16. 電気又は光学センサをさらに備え、
    前記センサは、前記アタッチメントの存在、位置、又はその両方について、前記システムのファームウェア又はソフトウェアに情報を提供するための手段を含む、請求項１５に記載のアタッチメント。
17. 拡張現実を表示するための方法であって、
    １つ以上のヘッドマウント画像プロジェクタから画像を投影する工程と、
    １つ以上の再帰反射表面によって前記画像をヘッドセットへ戻すように反射する工程と、
    反射された前記画像を、時系列化、偏光、スペクトル利用、又はスペクトル輝度パターンからなる組から選択される手段によってフィルタ処理する工程と、
    フィルタ処理された画像を選択されたユーザの目に渡す工程と、を備える方法。
18. 仮想現実を表示するための方法であって、
    ヘッドマウント式の投影拡張現実アプライアンスを提供する工程と、
    前記アプライアンスに光学装置を取り付ける工程と、を備え、
    前記装置は投影された画像をニア・アイ・モードへと再配向する、方法。
19. ヘッドマウントディスプレイの動作のモードを切り替えるための方法であって、
    頭部の頷きによって、手を使用することなく光学装置を下げる工程を備え、
    前記装置は投影された画像をニア・アイ・モードへと再配向する、方法。
20. ヘッドマウントディスプレイの視線をトラッキングするための方法であって、
    １つ以上の高解像度電子カメラによって５つ以上の赤外発光ダイオードの非対称パターンを撮像する工程と、
    エミッタの前記パターンを世界位置に対する位置により固定する工程と、
    前記エミッタのうち、前記パターンにおいて一意な位置を有するダイオードを一意な識別符号番号を用いて変調する工程と、
    前記撮像を行うカメラからの信号の画像処理による復調を可能にするように前記変調を符号化する工程と、
    前記復調から前記一意な識別符号番号を抽出する工程と、
    前記識別番号に関して格納されている基準のサイズ及び形状の情報を検索する工程と、
    前記撮像を行うカメラからの画像を前記基準のパターンについて格納されている前記サイズ及び前記形状に対して解析することによって、視線の座標について解を得る工程と、を備える方法。