JP2011527760A - 広視野角ディスプレイおよびユーザインタフェース - Google Patents

Abstract

画像を表示するため、及びボリュメトリックユーザインターフェースを実現するための方法及びシステムを開示する。一つの実施形態では、複数の観察者にコンテンツを表示するためのシステムであって、各々コンテンツの少なくとも一部分のものでありかつ各々がそれ自体の観察可能性空間から観察可能である複数のボリュメトリック画像を生成するためのユニットと、１つ以上の前記観察可能性空間の一部分を各々の観察者の瞳と制御する光学系とを含むシステムを提供する。別の実施形態では、第１空中浮遊ディスプレイの表示空間に第１画像を表示するステップと、第１空中浮遊ディスプレイの表示空間に実際の物体を挿入するステップと、第１空中浮遊ディスプレイの表示空間内の実際の物体の位置を突き止めるステップと、表示空間内で実際の物体を検知するステップと、空中浮遊ユーザインタフェースへの入力として位置を提供するステップとを含む、空中浮遊ユーザインタフェースを実現するための方法を提供する。
【選択図】図１４

Description

関連出願
本願は、米国特許法第１１９条（ｅ）項に基づき、２００８年７月１０日出願の「ＢＲＯＡＤ ＶＩＥＷＩＮＧ ＡＮＧＬＥ ＤＩＳＰＬＡＹＳ」と称する米国特許仮出願第６１／１２９６６５号の優先権および恩典を主張し、その内容全体を参照によって本書に援用する。

技術分野
本発明は、その一部の実施形態では、画像を表示するための方法および装置に関し、さらに詳しくは、広い視野角から、例えば画像の周囲３６０°から画像を見ることを可能にする、そのような方法および装置に関するが、それに限定されない。

本発明は、その一部の実施形態では、コンピュータ化ユーザ・インタフェース・システムに関し、さらに詳しくは、空中浮遊ディスプレイを含むユーザ・インタフェース・システムに関するが、それに限定されない。

米国特許出願公開第２００６‐０１７１００８号は、３次元（３Ｄ）ディスプレイシステムを記載している。３Ｄディスプレイシステムは、表示媒体に画像を投影させて３Ｄ画像を形成するためのプロジェクタ装置を含む。３Ｄ画像は、観察者が最高３６０°までの複数の角度から画像を観察することができるように形成される。複数の表示媒体、すなわちスピニング拡散スクリーン、円形ディフューザスクリーン、およびエアロゲルが記載されている。スピニング拡散スクリーンは、３Ｄ画像が回転するスクリーン上に時間多重的に表示されるように、空間光変調器を利用して画像を制御する。円形ディフューザスクリーンは複数の同時動作プロジェクタを含み、画像を複数の位置から円形ディフューザスクリーン上に投影し、それによって３Ｄ画像を形成する。エアロゲルは、スピニング拡散スクリーンまたは円形ディフューザスクリーンのどちらかに適用可能と記載された投影装置を使用することができる。この公報は３Ｄ画像を時々ホログラムと呼んでいるが、実際には、それによって教示された表示媒体は非ホログラフィック３Ｄ画像を生成する。

幾つかのコンピュータ生成３次元ディスプレイが公知である。一部は、フラットスクリーン上にマイクロレンズを使用する。一部は、比較的狭い角度から観察することのできるコンピュータ生成ホログラムを含む。

ボリュメトリックディスプレイと呼ばれる部類の３次元（３Ｄ）ディスプレイは現在、急速に発展している。この部類のディスプレイのタイプとして、スウェプト・ボリューム・ディスプレイおよびスタティック・ボリューム・ディスプレイがある。ボリュメトリックディスプレイは、３次元（３Ｄ）グラフィックシーンを真の３Ｄボリューム内に表示することを可能にする。すなわち、ボリュメトリックディスプレイはボリュメトリックデータを２Ｄディスプレイ上に投影するものではなく、真の物理的３Ｄボリュームである。

一部のユーザインタフェースは、入力空間である第２空間からのユーザ入力の位置を翻訳して、第１表示空間にユーザ入力インジケータの位置を表示する。そのようなユーザインタフェースの１つの例はマウスであり、コンピュータスクリーン上のインジケータはマウスの移動に対応して移動し、マウスは机上で１つの座標系で移動し、インジケータはスクリーン上で第２座標系で移動する。

Ｂａｌａｋｒｉｓｈｎａｎらの米国特許７５２８８２３は、ボリュメトリックディスプレイおよびボリュメトリックディスプレイ内のユーザ制御可能なボリュメトリックポインタを形成するシステムを記載している。ユーザは、ベクトル、平面、または正接ベースのビームを照準するか、ディスプレイに関連して３次元で装置を位置決めするか、ディスプレイ筐体のデジタル化面に接触するか、またはその他の方法で位置座標を入力することによって、指示することができる。カーソルは、線、点、ボリューム、および平面を含め多種多様な形を取ることができる。線はリング、ビード、セグメント化ワンド、円錐、および円筒を含むことができる。ユーザは入力位置を指定し、システムは入力位置をボリュメトリックディスプレイ内の３Ｄカーソル位置にマッピングする。システムはまた、オブジェクトがカーソルの影響領域内に存在するか否かを決定することによって、オブジェクトがカーソルによって指定されたか否かをも決定する。システムはまた、指定に関連して起動される機能をも実行する。

ホワイトボーディングとは、オンスクリーン「共有ノート」または「ホワイトボード」上に共有ファイルを配置することを記述するために使用される用語である。ビデオ会議およびデータ会議ソフトウェアはしばしば、従来の壁掛けボードの場合と同様にユーザに電子ホワイトボードに書き込ませておくツールを含む。このタイプのソフトウェアの一般的特性は、２つのバージョンを略実時間で互いに協調して維持しながら、２人以上の人間がいつでも同じ時に画像に作業することを可能にすることである。

しばしば単に「触覚系」と呼ばれる触覚フィードバックとは、ユーザインタフェース設計に接触感覚を使用してエンドユーザに情報を提供することである。携帯電話機および同様の装置に言及する場合、これは一般的に、タッチスクリーンボタンが押されたことを示すために、装置の振動アラームから振動を使用することを意味する。この特定の例では、電話機はオンスクリーンコントロールをユーザが起動させたことに応答して微振動し、ユーザが物理的ボタンを押したときに経験する通常の触覚的反応の欠如を補う。一部の「力覚フィードバック」ジョイスティックおよびビデオゲームのステアリングホイールがもたらす抵抗力は、別の形の触覚フィードバックである。

背景技術は以下を含む。
ＭｃＰｈｅｔｅｒｓの米国特許第６３７７２３８号
ＭｃＰｈｅｔｅｒｓの米国特許第７０５４０４５号
Ｂａｌａｋｒｉｓｈｎａｎらの米国特許第７５２８８２３号
Ｍｉｎｔｚらの米国特許公開出願第２００６／０１７１００８号
Ｏｐｔ．Ｅｎｇ．３９（１）１０‐２２（２０００年１月）に発表されたＣｈｅｎ Ｆ．、Ｂｒｏｗｎ Ｇ．Ｍ．、Ｓｏｎｇ Ｍ．による「Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｓｈａｐｅ ｍｅａｓｕｒｅｍｅｎｔ ｕｓｉｎｇ ｏｐｔｉｃａｌ ｍｅｔｈｏｄｓ」と題する論文

本発明は、その一部の実施形態では、各観察者が全く同じ場所でホログラムを見、かつホログラムの特定の部分に接触すると、他の全ての観察者が各々自身の視野角から、接触された画像を同じ場所で見るように、多くの観察者にホログラムを表示することに関する。

本発明は、その一部の実施形態では、３６０°の近軸画像を投影することに関する。

したがって、本発明の例示的実施形態では、
各々がコンテンツの少なくとも一部分の画像であり、かつ各々がそれ自体の観察可能性空間（ｖｉｅｗａｂｉｌｉｔｙ ｓｐａｃｅ）から観察可能である、複数のボリュメトリック画像を形成するステップと、
１つ以上の前記観察可能性空間の一部分を観察者各人の瞳と重ね合わせるステップと、
を含む、複数の観察者にコンテンツを表示する方法を提供する。

一部の実施形態では、コンテンツは単一シーンであり、前記ボリュメトリック画像の各々は、中実であるか部分的に透明であるかに関わらず、異なる視点位置から観察可能な前記単一シーンの１面の画像である。

任意選択的に、複数のボリュメトリック画像は空間的にオーバラップまたは界接する。

任意選択的に、全てのボリュメトリック画像は空間的にオーバラップする。

任意選択的に、ボリュメトリック画像間のオーバラップはフルである。

任意選択的に、ボリュメトリック画像は空間的に完全にオーバラップする。

任意選択的に、ボリュメトリック画像は、１つの画像の像点がオーバラップするかまたは他の画像の像点間に間隔を置いて配置される場合、オーバラップするとみなされる。同様に、フルオーバラップは、１つの画像の全ての像点がオーバラップするかまたは他の画像の像点の間にある状態と定義することができる。任意選択的に、観察者によって画像の部分として識別される空間内の各点は像点である。

本発明の一部の実施形態では、観察者は、ボリュメトリック画像の１つによって占有される空間の周りの異なる方位角に存在する。

任意選択的に、異なる方位角は全円、半円、または四分円に及ぶ。

一部の実施形態では、観察者のうちの２人は互いに少なくとも１メートル離れている。

一部の実施形態では、観察者は同時に画像を見る。

任意選択的に、観察可能性空間が観察者の目と重なり合うのは、一連の短期間だけであり、前記短期間は前記観察者が連続ビューを見るように時間的間隔を置く。

本発明は、その一部の実施形態では、空中浮遊ディスプレイを含むユーザインタフェースに関する。

本書では、空中浮遊ディスプレイという用語は無基板ディスプレイに使用する。空中浮遊ディスプレイは光学的に生成され、基板を必要とせず、したがって空中浮遊または水中浮遊または固体内浮遊しているように見えるかもしれない。

一部の実施形態では、ユーザインタフェースは、ユーザが表示空間内の表示された物体および／またはシーンまで、かつ／またはその中まで到達することを可能にする。「到達する」ことにより、ユーザインタフェースと対話するユーザに対し自然な手と目の協調（ｈａｎｄ−ｅｙｅ ｃｏｏｒｄｉｎａｔｉｏｎ）がもたらされる。例えばユーザは表示された物体に「接触する」ことが可能になり、かつユーザおよび任意選択的に他の観察者は「接触する」のが見える。

一部の先行技術では、ユーザは１つの空間でマウスのような入力装置を操作し、別の空間、ディスプレイの空間で操作の結果を見る。本発明のユーザインタフェースは、同一空間で入力装置を操作しかつ操作の結果を見ることを可能にする。

一部の実施形態では、ユーザはユーザインタフェースに入力を提供し、ユーザインタフェースは、ディスプレイの一部にマーキングすることであれ、あるいは裁断、１層の剥取り等のような、より大きい変化を引き起こすことであれ、表示の何らかの変化をもたらす。ユーザが物体内に到達して物体を操作したように見えるので、ユーザが物体自体の変化をもたらしたように見える。

一部の実施形態では、表示されている物体にユーザが接触したように見えるときに、感覚フィードバックが提供される。表示された物体は空中に浮遊しており、接触しても抵抗が無いので、ユーザは任意選択的にポインティング装置を使用することができ、表示された物体にユーザが「接触」したときに、ユーザインタフェースは任意選択的に該装置に感覚フィードバックを提供させる。

表示の物体に「接触」したときに、任意選択的に感覚フィードバックをユーザに提供するための１つの例示的方法は、人工現実の技術で公知の通り、例えばユーザが振動リングまたはグローブを着用することによって、人工的接触感覚を引き起こすことを含む。別の例示的方法は、手および／または指が加熱されるように、ユーザの手および／または指に赤外線熱のようなビームを投射することによる。さらに別の例示的方法は、感覚をもたらすように変調した音波ビーム、例えば超音波ビームを投射することを含む。

ユーザに感覚フィードバックを提供するためのさらに別の例示的方法は、例えば接触点をハイライトすることによって、接触点を視覚的にマーキングすることを含む。ユーザインタフェースは表示された画像をデジタル定義するので、ユーザインタフェースは任意選択的に、表示された画像内の位置をハイライトさせ、点滅させ、色相を変化させることなどができることが注目される。

ユーザに感覚フィードバックを提供するためのさらに別の例示的方法は、ポインタが物体に「接触」したときに「叩打音」が鳴り、かつ／または任意選択的にどの物体に「接触」するかに応じてフィードバックのための多種多様な音から選択するなど、聴覚フィードバックによる。

感覚フィードバックは、ユーザ対話の記述において「接触」、「掴持」、および他のそのような操作を表わす用語が使用される本書の適切な場所でオプションとみなされる。

本書で用語「感覚フィードバック」が使用される場合、該用語は、上記の方法のいずれかに留まらず、ユーザにフィードバックを提供する他の方法をも意味するつもりである。

本書に記載するユーザ・インタフェース・システムに対するコマンドの形の幾つかの非限定例として、表示空間内に到達するためにも使用されるポインタ上のボタンを押すなど、表示空間内のインタフェースにも使用されるツールのアクチュエータを起動させること、および音声コマンドが挙げられる。

一部の実施形態では、２つ以上のユーザインタフェースが異なる位置に同じ物体および／またはシーンを表示する。１つの位置にいるユーザはその位置でユーザインタフェースと対話し、全ユーザが対話を見る。任意選択的に、別の位置のユーザは任意選択的に同時にユーザインタフェースと対話し、全ユーザが両方の対話を見る。これは、多くの例示的用途による遠隔位置間の上述した自然な手と目の協調的対話を可能にする。幾つかの非限定例として、遠隔医療行為、遠隔授業、遠隔ロボット操作、アーケードゲーム、およびインタラクティブゲームが挙げられる。１つの場所が別の場所から離れている距離は、別の部屋、別の建物であるかもしれず、町を超え、国を超え、海を越えるかもしれず、２メートル、１００メートル以上、１キロメートル以上、および数百または数千キロメートル離れているかもしれない。

ユーザインタフェースの幾つかの適用例では、空中浮遊ディスプレイは、本書に記載するボリュメトリックディスプレイの実施形態を利用する。ユーザインタフェースの別の適用例では、それらの特性が特定の適用例をサポートすることを前提として、任意選択的に他のボリュメトリックディスプレイが使用される。

また、本発明の例示的実施形態によって、
各々がコンテンツの少なくとも一部分の画像であり、かつ各々がそれ自体の観察可能性空間から観察可能である、ボリュメトリック画像を生成するためのユニットと、
１つ以上の前記観察可能性空間の一部分を観察者各人の瞳と重ね合わせるように制御する光学系と、
を含む、複数の観察者にコンテンツを表示するためのシステムを提供する。

一部の実施形態では、ユニットによって生成された複数のボリュメトリック画像は空間的にオーバラップする。

任意選択的に、前記ユニットによって生成された全てのボリュメトリック画像は空間的にオーバラップする。

任意選択的に、２つ以上のボリュメトリック画像の間にフルオーバラップが存在する。

一部の例示的実施形態では、光学系は、前記観察可能性空間から観察可能なボリュメトリック画像に対する前記観察可能性空間の少なくとも１つの方位を決定する方位決定要素を含む。

任意選択的に、方位決定要素は回転ミラーを含む。

任意選択的に、方位決定要素は、９０°まで、１８０°まで、または３６０°までの異なる観察可能性空間の方位を決定するように構成される。

一部の実施形態では、システムは、観察可能性空間の各々を一連の短期間だけ前記瞳とオーバラップするように制御する時分割制御を含み、前記短期間は前記観察者が連続ビューを見るように時間的間隔を置く。

任意選択的に、時分割制御は、前記回転ミラーの回転を制御する。

本発明の例示的実施形態では、
近軸画像を生成する画像生成ユニットと、
ステージを画定し、ステージ上の画像が観察可能性空間から観察可能であるように前記近軸画像を前記ステージに結像する光学系と、
を備えたシステムであって、前記光学系がアイピース（ｅｙｅｐｉｅｃｅ）およびミラーを含み、ミラーが光を複数の異なる方位角でアイピースに指向させるように構成され、
前記方位角の各々が前記観察可能性空間に対し異なる位置を決定し、
前記方位角の各々に対し、ステージの位置が同一である、
システムを提供する。

一部の実施形態では、１人の観察者が所与の点に接触し、別の観察者に同じ点が接触されているのが見える場合、２人の観察者に対するステージの位置は同一とみなされる。任意選択的に、これは、観察者が位置の相違を感じる能力に従って、許容範囲を可能にする。

任意選択的に、図形の１点に接触して、全ての方位角から見ている観察者に同じ点が接触されているように見える場合、ステージの位置は全ての方位角に対して同一とみなされる。この文脈で、観察者に違いが分からない場合、点は「同一」である。

一部の例示的実施形態では、アイピースは近軸画像から光を受光する受光面を有し、前記受光面は、平面上に存在しかつ前記平面外の軸を中心に回転される回転カーブの形状を有する。本発明の例示的実施形態では、受光面は、任意選択的に拡大画像をもたらす曲率を持つ壁を有する円筒であり、曲率は上下対称ではない。任意選択的に、または代替的に、軸は画像を、例えばその中心を横切る。

任意選択的に、受光面の形状は軸を中心に少なくとも９０°回転したカーブである。例えばカーブが半円形である場合、受光面は４分球殻である。

任意選択的に、受光面の形状は、前記アイピースが内部空洞を画定するように、軸を中心に３６０°回転したカーブである。例えばカーブが半円形である場合、画定された内部空洞は球形である。

任意選択的に、カーブは円弧であり、円の一部を成す。

任意選択的に、カーブは放物線である。

カーブがアーチ状の一部の実施形態では、回転軸は円弧の中心を通過しない。任意選択的に、または代替的に、軸は像と交差する。任意選択的に、軸は像を交差するが、完全な垂直線としてではない。任意選択的に、または代替的に、軸は揺動する。

一部の実施形態では、回転軸は湾曲面内の真ん中にあり、ステージに対し垂直である。

任意選択的に、カーブは回転軸に対して凹形である。

任意選択的に、カーブは回転軸に対して凸形である。

一部の例示的実施形態では、ミラーが軸を中心に回転する。任意選択的に、ミラーの回転軸は、アイピースの内面の形状を得るために前記カーブがそれを中心に回転する軸である。

任意選択的に、ミラーの回転軸および／または内面の形状を形成するためにカーブがそれを中心に回転する軸は、ステージの対称軸である。

一部の例示的実施形態では、システムは光学素子を含み、近軸画像からミラーに進む光は光学素子を通過する。

任意選択的に、光学素子はレンズを含む。

任意選択的に、光学素子は曲面ミラーを含む。

一部の実施形態では、光源はアイピースによって画定される空洞内部に存在する。

任意選択的に、ミラー、画像形成ユニット、および／または光学素子は空洞内部に存在する。

一部の実施形態では、光源とステージとの間の光路の少なくとも一部分は空洞内部にある。

本発明の一部の実施形態では、画像形成ユニットは透過型ＬＣＤを含む。

本発明の一部の実施形態では、画像形成ユニットは反射型ＬＣＤを含む。

本発明の一部の実施形態では、画像形成ユニットは空間光変調器（ＳＬＭ）を含む。任意選択的に、近軸画像はコンピュータ生成ホログラム（ＣＧＨ）である。

任意選択的に、近軸画像は近軸視差障壁画像である。

任意選択的に、近軸画像は２次元画像である。

任意選択的に、近軸画像は３次元画像である。

任意選択的に、ステージ上の画像はボリュメトリックである。この文脈で、ボリュメトリック画像とは、単一面の範囲に閉じ込められず、むしろ３次元空間を満たす像点から構成された画像である。したがって、ボリュメトリック画像は体積を占有する画像であるが、体積内には空気等、および体積内の像点から放射される光以外には何も存在しない。任意選択的に、ボリュメトリック画像の３つの物理的寸法は同程度の大きさであり、例えば画像の高さ、幅、および奥行の各々は１ｃｍから２０ｃｍの間、例えば１０ｃｍの測定値を有する。任意選択的に、寸法の１つ以上に対し、より大きい測定値、たとえば３０ｃｍ、５０ｃｍ、８０ｃｍ、１００ｃｍまたはそれ以上が提供される。任意選択的に、これは、結像システムの内側にある観察者の位置を用いて提供される。本発明の例示的実施形態では、受光面の直径およびその高さは、所望の視野角および画像サイズに適合するように選択される。本発明の例示的実施形態では、ステージはカーブせず、あるいは区分的にカーブしており、画像形成ユニットおよび／または光学系はそれを補償するために使用される。任意選択的に、画像形成ユニットはカーブの中心にないので、またはシステムからの距離が同じでも異なる視野角では異なる倍率および／または角寸が生成されるかもしれない。

例示的実施形態では、画像生成ユニットは、全ての前記異なる方位角から観察される同じ画像を生成するように構成される。任意選択的に、画像は異なる距離からはサイズが異なるように見える。任意選択的に、または代替的に、画像は異なる視野高さ角度（ｖｉｅｗｉｎｇ ｈｅｉｇｈｔ ａｎｇｌｅ）に対して上下に移動する。代替的に、観察者が頭を上げても、あるいは頭を下げても、画像は変わらないかもしれない。しかし、本発明の例示的実施形態では、システムは、動き、距離、方位角、または高さの変化が、あたかも実像が空間に浮遊しており観察されているかのように変わらないという視覚効果を見る人に生じるように、ディスプレイを調整し生成する。記載する通り、一部の実現において、そのような完全な忠実性はもたらされず、例えば１つ以上の目の位置の変化の種類をサポートしないことによって劣化するかもしれない。例えば、どの視野角からも、任意選択的に各々の目のビューが異なっても、同じ画像（適合するように回転される）が提供されるかもしれない。別の例では、目の高さ位置の移動により、観察される画像の部分に変化はもたらされない。

一部の実施形態では、画像生成ユニットは、異なる方位角から観察される異なる画像を生成するように構成される。例えば、画像生成ユニットは、各々が異なる角度から観察可能なシーンの部分的画像を生成するように構成することができ、かつシステムは、シーンの部分的画像を各々が前記異なる角度から観察可能となるように結像するように構成される。

一部の実施形態では、ミラーはミラーの回転軸に対して傾斜される。

本発明の一部の実施形態の態様は、瞳が第１位置にありかつ第２位置を見る観察者によって見られる近軸画像を結像する方法であって、
近軸画像を生成するステップと、
近軸画像の像が最広部分およびより狭い部分を有する観察可能性空間から観察可能となるように、観察者が見る位置に近軸画像を結像するステップと、
観察者の瞳の位置に応答して、第３位置を選択するステップと、
選択された第３位置に観察可能性空間の最広部分を結像するステップと、
を含む方法に関する。任意選択的に、結像ステップは、近軸画像を画像観察可能性空間に結像すること、および同時にプロジェクタの面を観察者の瞳の面に結像することを含む。例えばホログラフィック構成におけるプロジェクタはＳＬＭである。

本発明の例示的実施形態では、近軸画像は空間光変調器（ＳＬＭ）により生成されるコンピュータ生成ホログラム（ＣＧＨ）であり、ＳＬＭの画像は観察可能性空間の最広部分にある。

例示的実施形態では、第３位置は観察者の瞳とオーバラップするように選択される。

任意選択的に、ＣＧＨの画像は観察可能性空間から観察可能であり、第３位置は、前記観察可能性空間が観察者の瞳とオーバラップするように選択される。任意選択的に、結像ステップは、近軸画像を画像観察可能性空間に結像し、かつ同時にプロジェクタ（例えばホログラフィック構成のＳＬＭ）面を観察者の瞳の面に結像することを含む。

一部の実施形態では、該方法は、
観察者の瞳の値の指標を受け取るステップと、
前記指標に応答して、前記瞳がその内部に存在する覗き窓を画定するステップと
を含み、
第３位置は、観察可能性空間が少なくとも部分的に前記覗き窓とオーバラップするように選択される。任意選択的に、第３位置は、観察可能性空間が前記覗き窓全体とオーバラップするように選択される。

一部の実施形態では、観察者の瞳の位置の指標を受け取るステップは、
観察者の顔の位置の指標を受け取ること、および
前記指標を解析して、観察者の瞳の位置の指標を得ること、
を含む。

任意選択的に、ＳＬＭの結像ステップは、ＳＬＭより大きい画像を生成することを含む。

任意選択的に、または追加的に、ＣＧＨの画像はＳＬＭより大きい。

一部の例示的実施形態では、該方法は、
（ａ）観察者の一方の目の位置に応答してＳＬＭを結像するステップと、その後に、
（ｂ）観察者の他方の目の位置に応答してＳＬＭを結像するステップと、
観察者に連続画像が見えるように（ａ）および（ｂ）を繰り返すステップと
を含む。

任意選択的に、第１ＣＧＨは観察者の第１の目に投影され、第２ＣＧＨは観察者の第２の目に投影される。

一部の実施形態では、第１および第２ＣＧＨは、ＣＧＨが結像される前記第２位置にシーンが存在するならば、観察者の第１および第２の目に見える同一シーンのホログラムである。

例示的実施形態では、観察者は、合わせて複数の目を有する複数の観察者の１人であり、ＳＬＭは、毎回前記複数の目のうちの別の目の位置に応答して、各観察者に連続ビューが見えるように順次結像される。

任意選択的に、第２位置に結像された画像の１つ以上は、ＳＬＭが同一観察者の目とオーバラップするように結像されるたびに同一であり、したがって観察者には静止画像または同様の（例えば動）画像が見える。

本発明の一部の実施形態では、第１位置にある瞳を有しかつ第２位置を見る観察者に見えるように近軸画像を結像する方法は、
ＳＬＭからミラーに光を投影するステップと、
観察者の目の動きに追従するように前記ミラーを移動させるステップと、
を含む。

一部の実施形態では、該方法は、
ＳＬＭを回転ミラーに結像するステップと、
観察者に連続画像が見えるように前記回転ミラーを回転させるステップと、を含む。

任意選択的に、ＳＬＭは複数のＳＬＭの１つであり、前記複数のＳＬＭの画像は同じ回転ミラーに投影される。

任意選択的に、ミラーは前記光学系の集束素子の焦点にある。

任意選択的に、結像は毎秒少なくとも２４周期行われ、前記周期は各々１〜２０マイクロ秒の長さである。

一部の実施形態では、該方法は、目の追跡を実行して観察者の瞳の位置の指標を受け取るステップを含む。

一部の実施形態では、観察者の瞳の位置の指標を受け取るステップは、
前記観察者の目からの光の反射を受け取ること、および
前記反射を解析して前記観察者の目の位置を推定すること、
を含む。

任意選択的に、観察者の瞳の位置の指標を受け取るステップは、
観察者の顔が識別される位置の指標を受け取ること、および
前記指標を処理して観察者の瞳の位置の指標を得ること
を含む。

一部の実施形態では、近軸画像は近軸視差障壁画像である。

一部の実施形態では、近軸画像は２次元画像である。

一部の実施形態では、近軸画像は３次元画像である。

任意選択的に、近軸画像はボリュメトリック画像である。

また、本発明の例示的実施形態によって、所与の位置に目を向けている観察者にシーンを表示する方法であって、
観察者の目の位置を推定するステップと、
シーンが前記所与の位置で所与の向きにあった場合に観察者がどのシーン部分を見たかを推定するステップと、
前記推定シーン部分を含むシーンの一部分のみのコンピュータ生成ホログラムを前記所与の位置に結像するステップと、
を含み、
観察者がホログラムを見ることができるように結像が行われる、
方法をも提供する。

好適な実施形態では、上述した方法に結像ステップが含まれる。

任意選択的に、該方法は、観察者の目の位置を追跡するステップと、観察者が動いたときに彼が前記所与の位置にホログラムを見続けるように、コンピュータ生成ホログラムを結像するステップとを含む。一部の実施形態では、これは、観察者が例えば１または２メートル移動したときにも当てはまる。

本発明の一部の実施形態の態様は、コンピュータ生成ホログラム（ＣＧＨ）を結像するためのシステムであって、
空間光変調器（ＳＬＭ）を含むホログラム生成ユニットと、
前記ユニットによって生成されたホログラムを第１位置に結像し、かつＳＬＭの画像を第２位置に結像するように構成された光学系と、
ＣＧＨが光学系とＳＬＭの画像との間の位置に結像されるように、第２位置へのＳＬＭの前記画像の結像を制御するように構成されたコントローラと、
を備えたシステムに関する。任意選択的に、コントローラは光学系およびホログラム生成ユニットの少なくとも一方を制御する。

任意選択的に、前記コントローラは、前記所望の位置で所望の向きにＳＬＭの画像を生成するように前記光学系を制御するように構成される。

一部の実施形態では、コントローラは所望の位置および／または向きをオンラインで変更するように構成される。

一部の実施形態では、システムは、前記所望の位置および／または向きの指標のオンライン受取りのための入力を含む。

任意選択的に、入力は目追跡ユニットから観察者の目の位置を示す信号を受け取るためのレシーバを含み、コントローラは、観察者の目が前記所望の位置を含む観察可能性空間内に存在するように、ＳＬＭの前記画像を前記所望の位置に投影すべく前記光学系を制御する。

任意選択的に、観察者の両目は同時に観察可能性空間内に存在する。

一部の実施形態では、光学系は、オブジェクティブ（（ｏｂｊｅｃｔｉｖｅ）、対物レンズや対物鏡を含む光学系）と、アイピース（（ｅｙｅｐｉｅｃｅ）、接眼レンズや接眼鏡を含む光学系）と、前記所望の位置とアイピースおよびオブジェクティブの１つ以上との間の距離に応答してオブジェクティブとアイピースとの間の光路長を調整するように制御可能な光路長調整ユニットとを備える。

任意選択的に、光路長調整ユニットは前記光路長をオンラインで調整するように構成される。

一部の実施形態では、システムは、オブジェクティブからミラーに達した光をアイピースの一部分に反射するミラーを含み、ミラーは前記光をアイピースの様々な部分に反射するように制御可能である。

任意選択的に、アイピースは中空体または透明な固体もしくは流体を含む。

一部の実施形態では、中空体は、画像の中心を通過する軸を中心に放物線を回転することによって得られる回転体として形成される。

任意選択的に、中空円筒体は球の一部分である。

任意選択的に、ホログラム生成ユニットは前記アイピースの内部にある。

一部の実施形態では、システムは、アイピースの中心に、前記アイピースの中心軸を中心に回転する回転ミラーを含む。

任意選択的に、オブジェクティブから前記回転ミラーに達した光はアイピースに向かって反射する。

任意選択的に、光はオブジェクティブから１つ以上の光学素子を介して回転ミラーに到達する。

任意選択的に、１つ以上の光学素子は、オブジェクティブとアイピースとの間の光路長を調整するように制御可能な光路長調整素子を含む。

任意選択的に、１つ以上の光学素子は、特定の方位角当りの仰角に対して光学的光方向をアイピースに向けて調整するように制御可能な光学的光調整素子を含む。

本発明の一部の実施形態の態様は、ホログラムを結像するためのシステムであって、
中心空洞を画定する内壁を有する中空アイピースと、
前記空洞内部に存在するホログラム生成ユニットと、
前記ホログラム生成ユニットによって生成されたホログラムから前記内壁に至る光路上のオブジェクティブと、
を備えたシステムに関する。

任意選択的に、システムは、各々がオブジェクティブに関連付けられる複数のホログラム生成ユニットを備える。

任意選択的に、または代替的に、システムは任意選択的に、視点と共に回転する複数のユニットセルを備える。そのようなセルの例として、ホログラム生成ユニットセル、および例えば目または指または入力素子を追跡するための追跡セルが挙げられる。

任意選択的に、システムは前記アイピースを用いて、単一位置で異なるコンピュータ生成ユニットによって生成されたホログラムの画像を形成するように構成される。

任意選択的に、単一位置は前記アイピースの内側、任意選択的にアイピースの回転の中心にある。

任意選択的に、中空アイピースは内部反射面を有する。

一部の実施形態では、内面の形状は、第１面上に存在するカーブを同一面内に存在する回転軸を中心に回転することによって得られる。

任意選択的に、回転軸はステージの中央に対して垂直である。代替的に、軸はステージに対して斜めであるか、または回転により揺動する。

任意選択的に、内面は球殻の一部として形作られる。

一部の実施形態では、複数のホログラム生成ユニットの各々が空間光変調器（ＳＬＭ）を含み、複数のユニットセルの各々が、ＳＬＭと前記ＳＬＭによって生成されたホログラムとの間に焦点が位置する集光オブジェクティブを含む。

任意選択的に、複数のユニットセルは各々、オブジェクティブおよび前記オブジェクティブとアイピースとの間の光路長を決定するように構成された光路長決定素子を有する。

任意選択的に、光路長決定素子は各々、他の光路長決定素子とは独立して制御可能である。

任意選択的に、システムは、複数のユニットセルからの光を受光して前記光をアイピースに反射するように構成された回転ミラーを前記アイピースの中心に含む。

任意選択的に、１つ以上の光学素子は、特定の方位角当たりの仰角に対して光学的光方向をアイピースに向けて調整するように制御可能な光学的光調整素子を含む。

本発明の一部の実施形態の態様では、空中浮遊ディスプレイ装置をある位置に提供するステップと、該位置の周りに少なくとも２００度の円弧角を含む角度範囲にわたって観察可能な１つ以上の空中浮遊コンピュータ生成画像を装置から投影するステップとを含む、空中浮遊画像表示の方法を提供する。

本発明の一部の実施形態では、投影ステップは、観察者が予想される小さい角度に対して選択的に投影することを含む。本発明の一部の実施形態では、投影ステップは、複数の画像生成モジュールを用いて選択的に投影することを含む。本発明の一部の実施形態では、投影ステップは、同一座標系で異なる画像を異なる方向に投影することを含む。本発明の一部の実施形態では、投影ステップは２Ｄ画像を投影することを含む。

本発明の一部の実施形態では、投影ステップは、物体のプレゼンテーション角度がその視野角と共に変化して物体の周りを動き回る効果に適合するように、物体の画像を投影することを含む。本発明の一部の実施形態では、投影ステップは３Ｄ画像を投影することを含む。

本発明の一部の実施形態では、投影ステップはホログラムを投影することを含む。本発明の一部の実施形態では、投影ステップは、画像の投影距離を調整することを含む。本発明の一部の実施形態では、投影ステップは、画像の焦点距離を調整することを含む。

本発明の一部の実施形態では、投影ステップは、同一観察者の異なる目のために異なる画像を投影することを含む。本発明の一部の実施形態では、投影ステップは、装置内の単一点から投影することを含む。本発明の一部の実施形態では、投影ステップは、共有座標系で画像を投影することを含む。本発明の一部の実施形態では、投影ステップは、ディスプレイ基板によって占有されない場所に画像を結像することを含む。

本発明の一部の実施形態の態様では、少なくとも１８０度の視野角の範囲にわたって同時に観察可能な空中に浮遊するコンピュータ生成ホログラムを投影するホログラムディスプレイ装置を提供する。

本発明の一部の実施形態では、ホログラムは少なくとも２０度離れた視点から同一座標セットを共有する。本発明の一部の実施形態では、ホログラム生成ユニットおよびホログラムを投影するための少なくとも１つのレンズを含む。本発明の一部の実施形態では、少なくとも１つの距離制御ユニットを含む。本発明の一部の実施形態では、少なくとも１つのホログラム照準機構を含む。

本発明の一部の実施形態の態様では、複数の観察者にコンテンツを表示する方法であって、各々コンテンツの少なくとも一部分のものでありかつ各々がそれ自体の観察可能性空間から観察可能である複数のボリュメトリック画像を形成するステップと、１つ以上の観察可能性空間の一部分を各々の観察者の瞳とオーバラップさせるステップとを含む方法を提供する。

本発明の一部の実施形態では、観察可能性空間は９０度にわたることができる。

本発明の一部の実施形態では、コンテンツは単一シーンであり、ボリュメトリック画像の各々は、異なる視点から観察可能な単一シーンの１面の画像である。

本発明の一部の実施形態では、観察者は、ボリュメトリック画像の１つによって占有される空間の周りの異なる方位角に存在する。本発明の一部の実施形態では、異なる方位角は全円に及ぶ。本発明の一部の実施形態では、異なる方位角は少なくとも半円に及ぶ。

本発明の一部の実施形態では、２人の観察者は互いに少なくとも１メートル離れている。

本発明の一部の実施形態では、観察者は同時に画像を見る。

本発明の一部の実施形態では、観察可能性空間は一連の短期間だけ観察者の目とオーバラップし、短期間は観察者が連続ビューを見るように時間的間隔を置く。

本発明の一部の実施形態の態様では、複数の観察者にコンテンツを表示するためのシステムであって、各々コンテンツの少なくとも一部分のものでありかつ各々がそれ自体の観察可能性空間から観察可能である複数のボリュメトリック画像を生成するためのユニットと、１つ以上の観察可能性空間の一部分を各々の観察者の瞳と制御する光学系とを含むシステムを提供する。

本発明の一部の実施形態の態様では、光学系が、少なくとも１つの観察可能性空間から観察可能なボリュメトリック画像について、該観察可能性空間の方位角を決定する方位決定要素を含む、請求項２９に記載のシステムを提供する。

本発明の一部の実施形態の態様では、近軸画像を生成する画像生成ユニットと、ステージ上の画像が観察可能性空間から観察可能であるようにステージを画定しかつ近軸画像をステージに結像する光学系とを含むシステムであって、光学系がアイピースおよびミラーを含み、ミラーが複数の異なる方位角のアイピースに光を指向させるように構成され、方位角の各々が観察可能性空間に対し異なる位置を決定し、かつ方位角の各々に対しステージの位置が同一であるように構成されたシステムを提供する。

本発明の一部の実施形態では、少なくとも２つの異なる方位角に対し、２つの異なる仰角が提供される。

本発明の一部の実施形態の態様では、第１位置に瞳を有しかつ第２位置を見ている観察者によって見られる近軸画像を結像する方法であって、近軸画像を生成するステップと、最広部分およびより狭い部分を有する観察可能性空間から近軸画像の像が観察可能であるように、観察者が見ている位置に近軸画像を結像するステップと、観察者の瞳の位置に応答して第３位置を選択するステップと、選択された第３位置に観察可能性空間の最広部分を結像するステップとを含む方法を提供する。

本発明の一部の実施形態の態様では、所与の位置に目を向けている観察者にシーンを表示する方法であって、観察者の目の位置を推定するステップと、
シーンが前記所与の位置で所与の向きにあった場合に観察者がどのシーン部分を見たかを推定するステップと、推定されたシーン部分を含むシーンの一部分だけのコンピュータ生成ホログラムを所与の位置に結像するステップとを含み、観察者がホログラムを見ることができるように結像が行なわれるようにした、方法を提供する。

本発明の一部の実施形態では、観察者の目の位置を追跡するステップと、観察者が移動するときに所与の位置にホログラムを見続けるように、コンピュータ生成ホログラムを結像するステップとを含む。

本発明の一部の実施形態の態様では、コンピュータ生成ホログラム（ＣＧＨ）を結像するためのシステムであって、空間光変調器（ＳＬＭ）を含むホログラム生成ユニットと、該ユニットによって生成されたホログラムを第１位置に結像しかつＳＬＭの画像を第２位置に結合するように構成された光学系と、ＣＧＨが光学系とＳＬＭの画像との間の位置に結像されるように、ＳＬＭの画像の第２位置への結像を制御するように構成されたコントローラとを含むシステムを提供する。

本発明の一部の実施形態では、コントローラは、ＳＬＭの画像を所望の位置で所望の向きに生成すべく、光学系を制御するように構成される。

本発明の一部の実施形態では、コントローラは、所望の位置および／または向きをオンラインで変更するように構成される。

本発明の一部の実施形態では、所望の位置および／または向きの指標のオンライン受取りのための入力を含む。

本発明の一部の実施形態では、入力は目追跡ユニットから観察者の目の位置を示す信号を受け取るためのレシーバを含み、コントローラは、観察者の目が所望の位置を含む観察可能性空間内に存在するように、ＳＬＭの画像を所望の位置に投影すべく前記光学系を制御する。

本発明の一部の実施形態では、光学系は、オブジェクティブと、アイピースと、所望の位置とアイピースおよびオブジェクティブの１つ以上との間の距離に応答してオブジェクティブとアイピースとの間の光路長を調整するように制御可能な光路長調整ユニットとを含む。

本発明の一部の実施形態では、光路長調整ユニットは光路長をオンラインで調整するように構成される。

本発明の一部の実施形態では、オブジェクティブからミラーに達した光をアイピースの一部分に反射するミラーを含み、ミラーは前記光をアイピースの様々な部分に反射するように制御可能である。

本発明の一部の実施形態では、アイピースは中空体を含む。本発明の一部の実施形態では、中空体は、放物線と同じ面上に無い軸を中心に放物線を回転することによって得られる回転体として形成される。本発明の一部の実施形態では、中空円筒体は球の一部分である。

本発明の一部の実施形態では、ホログラム生成ユニットはアイピースの内部にある。

本発明の一部の実施形態では、前記アイピースの中心軸を中心に回転する回転ミラーを含む。

本発明の一部の実施形態では、オブジェクティブから前記回転ミラーに達した光はアイピースに向かって反射する。

本発明の一部の実施形態では、光はオブジェクティブから１つ以上の光学素子を介して回転ミラーに到達する。

本発明の一部の実施形態では、１つ以上の光学素子は、オブジェクティブとアイピースとの間の光路長を調整するように制御可能な光路長調整素子を含む。

本発明の一部の実施形態の態様では、少なくとも９０度の円弧角にわたる内部反射壁を有するアイピースと、空洞内部に存在する画像生成ユニットとを含み、アイピースが画像生成ユニットから１人以上の観察者に画像を投影するように構成された、結像のためのシステムを提供する。

本発明の一部の実施形態では、画像生成ユニットは、ある角度範囲にわたって画像を投影するように動く少なくとも１つの素子を含む。

本発明の一部の実施形態では、システムは観察者が壁に囲まれるように構成される。

本発明の一部の実施形態では、アイピースは中空であり、空洞を画定し、画像生成ユニットは空洞内部に存在するホログラム生成ユニットを含み、ホログラム生成ユニットによって生成されたホログラムから内壁に至る光路上にオブジェクティブを含む。

本発明の一部の実施形態では、各々がオブジェクティブに関連付けられる複数のホログラム生成ユニットを含む。

本発明の一部の実施形態では、アイピースを用いて、単一位置で異なるコンピュータ生成ユニットによって生成されたホログラムの画像を形成するように構成される。

本発明の一部の実施形態では、単一位置は前記アイピースの内側にある。本発明の一部の実施形態では、中空アイピースは内部反射面を有する。

本発明の一部の実施形態では、内面の形状は、第１面上に存在するカーブを、第１面以外の第２面上に存在する回転軸を中心に回転することによって得られる。

本発明の一部の実施形態では、回転軸は第１面に対して垂直である。

本発明の一部の実施形態では、内面は球殻の一部として形作られる。

本発明の一部の実施形態では、複数のホログラム生成ユニットの各々が空間光変調器（ＳＬＭ）を含み、複数のユニットセルの各々が、ＳＬＭと前記ＳＬＭによって生成されたホログラムとの間に焦点が位置する集光オブジェクティブを含む。

本発明の一部の実施形態では、複数のユニットセルは各々、オブジェクティブおよびオブジェクティブとアイピースとの間の光路長を決定するように構成された光路長決定素子を有する。

本発明の一部の実施形態では、光路長決定素子は各々、他の光路長決定素子とは独立して制御可能である。

本発明の一部の実施形態では、複数のユニットセルからの光を受光して光をアイピースに反射するように構成された回転ミラーをアイピースの中心に含む。

本発明の一部の実施形態では、コントローラは光学系を制御する。本発明の一部の実施形態では、コントローラはホログラム生成ユニットを制御する。

本発明の一部の実施形態の態様では、第１空中浮遊ディスプレイの表示空間に第１画像を表示するステップと、第１空中浮遊ディスプレイの表示空間に実際の物体を挿入するステップと、第１空中浮遊ディスプレイの表示空間内の実際の物体の位置を突き止めるステップと、表示空間内で実際の物体を検知するステップと、空中浮遊ユーザインタフェースへの入力として位置を提供するステップとを含む、空中浮遊ユーザインタフェースを実現するための方法を提供する。

本発明の一部の実施形態では、少なくとも部分的に位置に基づいて、第１空中浮遊ディスプレイの表示空間に第２画像を表示するステップをさらに含む。

本発明の一部の実施形態では、空中浮遊ディスプレイはボリュメトリックディスプレイである。

本発明の一部の実施形態では、実際の物体を表示空間内に挿入した後、第２画像は略実時間で表示される。本発明の一部の実施形態では、時間は１／２４秒未満である。

本発明の一部の実施形態では、第１画像は空白画像であり、第２画像は位置の表示を含む。

本発明の一部の実施形態では、実際の物体は指である。

本発明の一部の実施形態では、第１画像にアクチュエータを表示するステップと、実際の物体の位置をアクチュエータに実質的に近づけるステップと、位置入力を実際の物体がアクチュエータを起動させたものと解釈するステップとをさらに含む。

本発明の一部の実施形態では、実際の物体の位置を移動させるステップと、実際の物体の位置を経時的に追跡するステップと、位置入力を実際の物体が第１画像の少なくとも一部を操作したものと解釈するステップとをさらに含む。

本発明の一部の実施形態では、少なくとも部分的に解釈に基づいてロボット装置に制御コマンドを送信するステップをさらに含む。

本発明の一部の実施形態では、実際の物体はさらに複数の実際の物体を含み、各々の実際の物体の位置をボリュメトリック・ユーザ・インタフェースのための位置入力として使用する。

本発明の一部の実施形態では、第２画像は第１画像とは異なる。

本発明の一部の実施形態では、第２画像は、第１画像に位置入力の標識が追加されたものに略等しい。

本発明の一部の実施形態では、位置は、実際の物体上の実質的な１点の位置を含む。

本発明の一部の実施形態では、少なくとも部分的に位置に基づいてサブ画像を取得するステップをさらに含む。本発明の一部の実施形態では、サブ画像はボクセルを含む。

本発明の一部の実施形態では、位置はさらに、少なくとも部分的に実際の物体上の点の複数の位置に基づく複数の位置を含む。

本発明の一部の実施形態では、複数の位置を結ぶ経路が第１空中浮遊ディスプレイによって表示される。

本発明の一部の実施形態では、複数の位置は２つの位置を含み、少なくとも部分的に２つの位置に基づいて線を３次元で定義するステップをさらに含む。

本発明の一部の実施形態では、複数の位置は直線上にない３つの位置を含み、少なくとも部分的に３つの位置に基づいて３次元で面を定義するステップをさらに含む。

本発明の一部の実施形態では、複数の位置は１つの面内にない４つの位置を含み、少なくとも部分的に４つの位置に基づいて３次元で体積を定義するステップをさらに含む。

本発明の一部の実施形態では、少なくとも部分的に複数の位置に基づいて、次の機能群すなわち第１画像へのズームイン、第１画像からのズームアウト、第１画像のクロッピング、第１画像の回転、第１画像のスライシング、第１画像内の長さの測定、第１画像内の面積の測定、および第１画像内の体積の測定の中の１つの機能を実現するステップをさらに含む。

本発明の一部の実施形態では、少なくとも部分的に複数の位置に基づいて取得したサブ画像を実現するステップをさらに含む。

本発明の一部の実施形態では、点をマーク表示して実際の物体の残りと実質的に対比させるステップをさらに含む。

本発明の一部の実施形態では、実質的に小型の光源によるマーク表示をさらに含む。

本発明の一部の実施形態では、位置は、実際の物体の長軸によって定義される線を含む。

本発明の一部の実施形態では、位置は、実際の物体の形状に対応するフレームを含む。

本発明の一部の実施形態では、第１空中浮遊ディスプレイが第１画像を表示するのと略同時に第２画像を表示する第１空中浮遊ディスプレイをさらに含み、第１画像は第１ユーザに対して表示され、第２画像は第２ユーザに対して表示される。

本発明の一部の実施形態では、第１画像および第２画像は空間内で同一位置にあるように見える。

本発明の一部の実施形態では、第１空中浮遊ディスプレイが第１画像を表示するのと略同時に第２画像を表示する第２空中浮遊ディスプレイをさらに含み、第１画像は第１ユーザに表示され、第２画像は第２ユーザに表示される。

本発明の一部の実施形態では、第１空中浮遊ディスプレイは第２空中浮遊ディスプレイから実質的に離れており、第１空中浮遊ディスプレイと第２空中浮遊ディスプレイとの間の通信チャネルをさらに含む。

本発明の一部の実施形態では、第１ディスプレイおよび第２ディスプレイは、第１ユーザと第２ユーザとの間で遠隔治療対話を実現するために使用される。

本発明の一部の実施形態では、第１ディスプレイおよび第２ディスプレイは、第１ディスプレイと第２ディスプレイとの間のホワイトボード状協調共有を実現するために使用される。

本発明の一部の実施形態では、第１ディスプレイおよび第２ディスプレイは、第１空中浮遊ディスプレイのところにいるユーザによる遠隔授業を実現するために使用される。

本発明の一部の実施形態では、第１ディスプレイおよび第２ディスプレイは、第１ユーザおよび第２ユーザが参加するゲームを実現するために使用される。

本発明の一部の実施形態では、第１ディスプレイは第２ディスプレイとは異なる。本発明の一部の実施形態では、第１ディスプレイは第２ディスプレイより多くのコンテンツを表示する。

本発明の一部の実施形態の態様では、動的に生成された空中浮遊表示物体および実際の物体を同一表示空間で観察することを可能にする方法であって、ボリュメトリック表示された物体を第１空中浮遊ディスプレイに表示するステップと、実際の物体を第１空中浮遊ディスプレイの表示空間に挿入するステップとを含む方法を提供する。

本発明の一部の実施形態では、空中浮遊ディスプレイはボリュメトリックディスプレイである。

本発明の一部の実施形態では、動的生成はコンピュータ生成を含む。

本発明の一部の実施形態では、実際の物体を空中浮遊表示された物体の少なくとも一部分と比較するステップをさらに含む。

本発明の一部の実施形態では、実際の物体は物体がそれに照らして測定される標準を含み、比較ステップは標準に対する適合性の判断を可能にする。

本発明の一部の実施形態では、実際の物体は体内に挿入するための医療装置であり、空中浮遊表示される物体の少なくとも一部分は、３次元データセットから生成される身体の少なくとも一部分である。

本発明の一部の実施形態では、比較ステップは、実際の物体と空中浮遊表示される物体の少なくとも一部分との間の大きさの差を測定することをさらに含む。

本発明の一部の実施形態では、大きさの差を測定するステップは、長さの差、平面状面積の差、表面積の差、および体積の差から成る群の少なくとも１つを含む。

本発明の一部の実施形態の態様では、身体の３次元データセットから空中浮遊表示される身体部分および１つ以上の仮想物体の３次元データセットからボリュメトリック表示される仮想物体の観察を可能にするための方法であって、空中浮遊表示される身体部分を第１空中浮遊ディスプレイに表示するステップと、第１空中浮遊ディスプレイの表示空間内に仮想物体をオーバレイするステップとを含む方法を提供する。

本発明の一部の実施形態では、仮想物体および空中浮遊表示される身体部分は、第１空中浮遊ディスプレイの表示空間で互いに対して移動する。

本発明の一部の実施形態では、仮想物体を身体部分の少なくとも一部分と比較するステップをさらに含む。

本発明の一部の実施形態の態様では、第１空中浮遊ディスプレイと、物体が第１空中浮遊ディスプレイによってその内部に表示される体積である第１表示空間における第１位置からの入力を受け入れるように適応された第１入力ユニットとを含むユーザインタフェースを提供する。

本発明の一部の実施形態では、空中浮遊ディスプレイはボリュメトリックディスプレイである。本発明の一部の実施形態では、空中浮遊ディスプレイは２次元空中浮遊ディスプレイである。

本発明の一部の実施形態では、第１空中浮遊ディスプレイは第１位置を表示するように適応される。

本発明の一部の実施形態では、第２空中浮遊ディスプレイをさらに含み、第２空中浮遊ディスプレイは、第１位置を表示することを含め第１空中浮遊ディスプレイと同じ画面を表示する。

本発明の一部の実施形態では、第２空中浮遊ディスプレイによって表示される物体がその内部に現れる体積である第２表示空間内における第２位置からの入力を受け入れるように適応された第２入力ユニットをさらに含み、第１空中浮遊ディスプレイは、第２位置を表示することを含め第２空中浮遊ディスプレイと同一画面を表示するように適応される。

本発明の一部の実施形態では、第１位置からの入力および第２位置からの入力が両方とも表示される。

本発明の一部の実施形態では、第１空中浮遊ディスプレイは第２空中浮遊ディスプレイとは異なる部屋に位置する。本発明の一部の実施形態では、第１空中浮遊ディスプレイは第２空中浮遊ディスプレイから少なくとも１００メートル離れている。

本発明の一部の実施形態では、第１空中浮遊ボリュメトリックディスプレイは、位置および該位置に表示されるものに少なくとも部分的に基づいて、感覚フィードバックを提供するように適応される。

本発明の一部の実施形態では、第１空中浮遊ボリュメトリックディスプレイはホログラムを表示するように適応される。

本発明の一部の実施形態の態様では、第１空中浮遊ディスプレイの表示空間に第１画像を表示するステップと、実際の物体を表示空間内に挿入するステップと、表示空間内の実際の物体の位置を検出するステップと、該位置をユーザインタフェースの入力として使用するステップと、表示空間内の該位置をハイライトするステップとを含む、空中浮遊ユーザインタフェースを実現するための方法を提供する。

本発明の一部の実施形態の態様では、空中浮遊ディスプレイを表示するための手段と、空中浮遊ディスプレイによって表示される物体がその内部に現れる体積である表示空間内の位置からの入力を受け入れるための手段とを含むユーザインタフェースを提供する。

別途定義されない限り、本明細書で使用されるすべての技術的用語および／または科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書に記載される方法および材料と類似または同等である方法および材料を本発明の実施または試験において使用することができるが、例示的な方法および／または材料が下記に記載される。矛盾する場合には、定義を含めて、本特許明細書が優先する。加えて、材料、方法および実施例は例示にすぎず、限定であることは意図されない。

本明細書で記載されたものと同じまたは等価な方法および材料は、本発明の実施形態の実施または試験に使用されることができるが、例示的な方法および／または材料が以下に記載される。さらに、材料、方法および実施例は例示にすぎず、必ずしも限定であることを意図されない。

本発明の実施形態の方法および／またはシステムを実行することは、選択されたタスクを、手動操作で、自動的にまたはそれらを組み合わせて実行または完了することを含んでいる。さらに、本発明の装置、方法および／またはシステムの実施形態の実際の機器や装置によって、いくつもの選択されたステップを、ハードウェア、ソフトウェア、またはファームウェア、あるいはオペレーティングシステムを用いるそれらの組合せによって実行できる。

例えば、本発明の実施形態による選択されたタスクを実行するためのハードウェアは、チップまたは回路として実施されることができる。ソフトウェアとして、本発明の実施形態により選択されたタスクは、コンピュータが適切なオペレーティングシステムを使って実行する複数のソフトウェアの命令のようなソフトウェアとして実施されることができる。本発明の例示的な実施形態において、本明細書に記載される方法および／またはシステムの例示的な実施形態による１つ以上のタスクは、データプロセッサ、例えば複数の命令を実行する計算プラットフォームで実行される。任意選択的に、データプロセッサは、命令および／またはデータを格納するための揮発性メモリ、および／または、命令および／またはデータを格納するための不揮発性記憶装置（例えば、磁気ハードディスク、および／または取り外し可能な記録媒体）を含む。任意選択的に、ネットワーク接続もさらに提供される。ディスプレイおよび／またはユーザ入力装置（例えば、キーボードまたはマウス）も、任意選択的にさらに提供される。

本明細書では本発明のいくつかの実施形態を単に例示し添付の図面を参照して説明する。特に詳細に図面を参照して、示されている詳細が例示として本発明の実施形態を例示考察することだけを目的としていることを強調するものである。この点について、図面について行う説明によって、本発明の実施形態を実施する方法は当業者には明らかになるであろう。

図１Ａは、ホログラムを生成するためのユニットの略図である。図１Ｂは、ホログラムにおける幾つかの点の観察可能性空間の略図である。

図２Ａは、本発明の実施形態に係るホログラムを画像化するためのシステムの略図である。図２Ｂは、図２Ａのシステムによって生成された画像ホログラムの幾つかの点の観察可能性空間の略図である。

図３Ａは、本発明の実施形態に係る投影システムによって生成されるイメージホログラムを説明する光線追跡図である。

図３Ｂは、図３Ａで参照されたのと同じ投影システムによって生成された画像ＳＬＭを説明する光線追跡図である。

図４は、本発明の実施形態に係る、ＳＬＭおよびホログラムの所望の位置への投影のチューニングを可能にするように設計された光学系の略図である。

図５は、本発明の実施形態に係る、ホログラムが広い観察可能性空間を有するようにホログラムを投影するのに有用なシステムの略図である。

図６Ａは、本発明の実施形態に係る３６０°ウォークアラウンド画像投影システムの絵画的表現である。

図６Ｂは、図６Ａに絵画的に提示されたシステムの略図である。

図６Ｃは、本発明の実施形態に係る、傾斜ミラー付きの３６０°ウォークアラウンド画像投影システムの絵画的表現である。

図７は、本発明の実施形態に係る、共通アイピース３２０および共通回転ミラーを有する２つの光学系を持つ投影システムの絵画的表現である。

図８は、低域通過フィルタとして動作可能な見アラーの略図である。

図９は、本発明の実施形態に係る追跡ユニットの略図である。

図１０は、本発明の実施形態に係るシステムの略ブロック図である。

図１１は、本発明の実施形態に係る方法を実行する際に行なわれる行動のフローチャートである。

図１２は、本発明の実施形態に係る、所与の角度からホログラムを見る観察者によって観察されるホログラムを生成する方法で行なわれる行動のフローチャートである。

図１３Ａは、本発明の実施形態に従って構築されかつ動作するユーザインタフェースによって表示される物体に指を触れるように見えるユーザの略図である。図１３Ｂは、本発明の実施形態に従って構築されかつ動作するユーザインタフェースによって表示される物体にポインタを触れるように見えるユーザの略図である。

図１３Ｃは、本発明の実施形態に従って構築されかつ動作するユーザインタフェースの表示空間にフレームを挿入するユーザの略図である。

図１４は、本発明の実施形態に従って構築されかつ動作するユーザインタフェースによって表示される同じ物体と対話する２人のユーザの略図である。

図１５は、本発明の実施形態に従って構築されかつ動作するユーザインタフェースによって表示される同じ物体と対話する２人のユーザの略図である。

図１６は、本発明の実施形態に従って構築されかつ動作するユーザインタフェースによって表示される物体と実際の物体を比較するユーザの略図である。

概要
本発明は、その一部の実施形態では、画像を表示するための方法および装置に関し、さらに詳しくは、広視野角からの３次元画像の観察を可能にするそのような方法および装置に関するが、それに限定されない。本発明の一部の実施形態は、広視野角からの２次元画像の観察をも可能にする。

本発明は、その一部の実施形態では、コンピュータ生成ユーザインタフェースに関し、さらに詳しくは空中浮遊ユーザインタフェースに関するが、それに限定されない。

一部の実施形態では、観察者はステージの周りを歩き回り、実際の現物シーンを見るときと全く同様に各々別の視野角から観察可能である、ステージ上に投影されたシーンの異なる面を見ることができる。例えば、地球のホログラムの周りを歩き回る観察者は、１点からホログラムを観察するときに欧州を見、別の点からホログラムを観察するときにアメリカを見ることなどができる。一部の実施形態では、異なる観察者は、おそらく同一座標に位置合わせされた異なるデータを見る。

追加的にまたは代替的に、観察者は前後に移動し、ステージに近づいたり、ステージから離れたりして、実際の物体を見るときに必要な焦点調整と同様に画像からの距離に目を調節したり、画像との距離を変えることができる。本発明の例示的実施形態では、ディスプレイ装置は、観察者の距離に従って、例えば１．２、２、３、４の範囲係数または中間もしくはそれ以上の係数にわたって投影の距離を調整し、例えば必要に応じて５ｃｍ、１０ｃｍ、２０ｃｍ、３０ｃｍ、または中間量もしくはそれ以上投影点距離を移動することができる。

任意選択的に、観察者は自由に歩き回り、システムの観察ゾーン内でステージを見ている限り、どこでも自分のいるところからホログラムを見ることができる。

任意選択的に、ステージは物理的構築物である。代替的に、ステージは空間内の像体積であり、その上にホログラムが投影され、その方向を観察者が見ている。像ステージ上のホログラムは空中に浮遊しているように見える。

一部の実施形態では、観察者はホログラムに触れることができる。そのような観察者は自分の指が何かに触れているという感覚が必ずしも無いが、自分の指がホログラムに触れているのが見える。任意選択的に、人工現実の技術で公知の通り、例えばユーザが振動指輪または手袋を着用することによって、または指が加熱されて熱を感じるようにシステムまたは異なる位置から光ビームを指に投射することによって、人工的な触覚が観察者に引き起こされる。任意選択的に、または代替的に、音波ビーム、例えば超音波ビームが投射され、かつ／または感覚を引き起こすように変調される。

任意選択的に、ホログラムの観察可能性空間にいる観察者だけが実際にホログラムを観察することができる。ホログラムの観察可能性空間にはいないが、ステージを見ている他の人々には、観察者の指は見えるが、観察者が触れているホログラムは見えない。任意選択的に、複数の観察者の各々の視野角から観察可能な同一シーンのホログラムは観察者の各々に表示され、観察者の１人がホログラムに触れると、他の全ての観察者は、第１観察者の指がホログラムに触れているのを見る。任意選択的に、全ての観察者は同一ホログラム（または他の画像タイプ）を見る。代替的に、異なる観察者は異なる画像、例えば同一構造に異なるデータを載せた画像を見る。

任意選択的に、指がホログラムに触れているのを見る全ての観察者は、ホログラムの同一場所に指が触れているのを見る（例えばホログラムは人形のホログラムであり、全ての観察者は、指が人形の左まぶたに触れているのを見る）。

一部の実施形態では、あたかも観察者が物理的物体の周りを歩き回っているかのように、観察者はホログラムの周りを回り、ホログラムをあらゆる側から見ることができる。一部のそのような実施形態では、観察者の目が第１覗き窓と呼ばれる特定の空間内にある限り、第１ホログラムはステージに結像され、第１覗き窓内の位置から見えたであろうシーンが示される。第１ホログラムの画像のホログラフィ的性質のおかげで、覗き窓内で目を動かす観察者は、覗き窓内の異なる位置からシーンの異なる特徴を検出することができる。任意選択的に、観察者の目が第１覗き窓の外に出ると、観察者の目をカバーする第２覗き窓が画定され、シーンの第２ホログラムがステージに投影され、第２覗き窓の位置から見えたであろうシーンが示される。一部の実施形態では、可能な全ての覗き窓からみえるシーンのホログラムが連続的に投影されるが、これらの実施形態はすっと厳しい計算量を必要とし、観察者の観察経験を必ずしも改善しない。一部の計算効率の高い実施形態では、観察者の目（または両目）の位置が推定され、その周りに覗き窓が画定され、推定された覗き窓内から観察可能となるシーンの部分のホログラムだけがステージに投影される。

一部の実施形態では、観察者は画像を操作することができる。例えば観察者は画像の移動、回転、縮小拡大、またはその他の操作を行うことができる。一部の実施形態では、観察者は、ステージの周りを動き回る代わりに、またはそれに加えて、ステージを動かすことができる。追加的にまたは代替的に、観察者はステージ上に示されたシーンの一部分を変更することができる。例えば地球儀のホログラムを見ている観察者は、２つの極を通過する軸を中心に、またはその他の軸を中心に地球儀を回転させることができる。追加的にまたは代替的に、観察者はホログラムおよび／またはステージの平行移動、画像内へのズームイン、ズームアウト等を行うことができる。一部の実施形態では、観察されるより小さい部分の拡大ホログラムは、観察者がズームインする前により大きい部分が画像化されていた解像度と同一解像度で画像化されるので、ズームインは解像度損失を伴わない。

本発明の一部の実施形態では、異なる覗き窓から観察可能なシーンのホログラムは同時に投影されるので、異なる覗き窓からステージを見ている異なる観察者は、シーンのホログラムを各々自身の視点から同時に観察することができる。任意選択的に、各々の観察者は他の観察者とは独立してステージの周りを歩き回ることができる。任意選択的に、各観察者は、例えばその顔の画像に基づいて、マーカ（例えば顔の赤外線可読マーカ）に基づいて、かつ／または他の識別技術、例えばＲＦＩＤに基づいて識別される。任意選択的に、各ユーザに対し、観察者用に個人化されたデータおよび／またはビューイングパラメータが示される。例えば、ユーザの視力度合および調節力ならびにユーザの選好によるデータコンテンツ（例えば、物体の外観表示または物体の内部表示）に対して、距離または大きさを設定することができる。

一部の実施形態では、各々異なる覗き窓から観察可能な異なるホログラムは、覗き窓の１つから覗いている観察者が各々異なる連続画像ホログラムを見ることができるように、充分高い周波数で単一ステージに順次投影される。このようにして、異なる観察者は同時にかつ連続的に異なるホログラムを、一部の実施形態では異なるホログラフィック映画を見ることができ、一部の実施形態では、異なる観察者は同時にかつ連続的に異なる２Ｄコンテンツ、例えばビデオまたはＴＶを単一ディスプレイで、または異なる３Ｄコンテンツ（非ホログラミック、焦点距離制御、またはホログラミック）を任意選択的に共有座標系で見ることができる。

本発明の一部の実施形態の態様は、近軸画像、例えばホログラムまたは近軸視差障壁画像を表示する方法に関する。

近軸画像または物体とは、その各点が典型的には約３°の小さい立体角を持つ円錐形に広がる光線を出射し、これらの円錐の高さが互いに略平行になる（例えば、そうでなければ観察者の目の垂直線からの回転に匹敵する）画像または物体である。一般的に、近軸物体または画像全体は、これらの円錐の全部とオーバラップする目の瞳を有する観察者だけが見ることができる。瞳が円錐の幾つかとだけオーバラップする場合、近軸画像または物体上の点の幾つか、オーバラップする円錐の起点になっている部分だけが見える。したがって、近軸画像または物体は、本書で観察可能性空間と呼ぶ比較的狭い空間から観察可能である。

以下の説明では、ときどき準近軸画像に言及することがある。この用語は、各点が小さい立体角を持つ円錐形に広がる光線を出射するが、これらの円錐の軸が互いに平行ではない画像を指す。本発明の一部の実施形態では、円錐は観察可能性空間に収束し、したがって観察可能性空間では画像全体を見ることができる。

本発明の一部の実施形態では、ホログラムは、シーンによって生成される光場の再生である。これらの実施形態では、シーンのホログラムは観察者にはシーン自体と同一に見える。任意選択的に、再生された光場は、シーンによって生成されたものと同一である。任意選択的に、原光場とホログラムによって再生されたものとの間の類似性は場の位相および強度に存し、単色ホログラムが形成される。代替的に、放射される光の波長も再生され、着色ホログラムが形成される。

一部の実施形態では、ホログラムはシーンのフーリエ変換の再生である。そのようなホログラムがレンズを通して観察される場合、シーンはレンズのフーリエ面に現われる。

一部の実施形態では、ホログラムは、空間光変調器（ＳＬＭ）と相互作用する光ビームによって描かれる。空間光変調器は、異なる点位置で異なる光学的挙動を有する媒体である。ＳＬＭという用語は、本書では異なる点位置で異なる光学的挙動を持つ静的媒体、例えばスロット付きフィルム、および異なる点位置の光学的挙動が制御可能である動的媒体の両方を表わすように使用される。後者の種類のＳＬＭは、ホログラムのコンピュータによる生成の分野で日常的に使用される。空間光変調器（ＳＬＭ）は、ＳＬＭと相互作用する（例えばＳＬＭから反射し、あるいはＳＬＭを通過する）光ビームがシーンのホログラフィック再生を形成するように設計または制御される。シーン用のＳＬＭを製造する多くの方法がホログラフィの分野で公知であり、これらの各々は、本発明の種々の実施形態に従って投影または結像されるホログラムを形成するために使用することができる。非ホログラフィック画像が示されるときに、位相を変調しないＳＬＭ（例えばＤＭＤまたはＬＣＤ）を使用することができることが注目される。任意選択的に、または代替的に、非コヒーレント光源を使用することができる。

以下では、主にコンピュータ制御ＳＬＭについて言及するが、それにもかかわらず、一部の実施形態では、他のＳＬＭ、例えば静的ホログラムを形成するようにスロット付きのプレートまたはフィルムも利用することができる。

コンピュータ制御ＳＬＭは複数の画素（例えば５００×５００画素）から形成され、ＳＬＭの各画素の光学的挙動は、他の画素とは独立して、コンピュータによって制御することができる。そのようなＳＬＭは現在様々な供給源、例えばＦｏｕｒｔｈ Ｄｉｍｅｎｓｉｏｎ Ｄｉｓｐｌａｙｓ，Ｌｏｎｄｏｎからから市販されている。市販されているＳＬＭの中には透過型、つまり光がＳＬＭを透過して物体ホログラムを形成するものがあり、中には反射型、つまり光がそれらから反射して物体ホログラムを形成するものがある。反射型ＳＬＭの１種はＬＣｏＳの分野で公知である。

一部の実施形態は、静止シーンを扱うことに限定される。一部の実施形態では、シーンはビデオ動画のように経時的に変化する。これらの実施形態では、ホログラムは任意選択的に、連続運動の感覚を提供するのに適した速度で変化する。映画の技術から周知の通り、この速度は１秒当たり約１６または２４コマ以上である。

本発明の一部の実施形態では、ホログラムは近軸である。つまり、ホログラムの各点が典型的には約３°の小さい立体角を有する円錐形に広がる光線を出射し、これらの円錐の全ての高さは互いに、かつホログラムを形成した光軸と略平行である。近軸ホログラムは、それらに直接向き合い光軸の方向を見ている観察者だけが見ることができる。したがって、近軸ホログラムは、近軸画像一般と同様に、図１Ｂに示すように比較的狭い観察可能性空間から観察可能である。

上述の通り、本発明の一部の実施形態の態様は、ホログラムを表示することに関する。本発明の一部の実施形態では、ホログラムを表示することは、ホログラム（以下物体ホログラムという）を生成すること、および形成されたホログラムの画像（以下画像ホログラムという）を光学的に形成することを含む。本発明の少なくとも幾つかの実施形態は、ホログラムを含め、しかし必ずしもそれに限らず、近軸物体を表示することに関する。便宜上、以下では主にホログラムについて言及するが、特に明言しない限り、他の近軸物体も同様に取り扱うことができる。本発明の実施形態で、近軸画像または物体から形成され、かつ観察者によって観察される画像、例えば画像ホログラムは、任意選択的に準近軸である。

本発明の一部の実施形態の態様は、ディスプレイを中心とする広い角度から示される画像を表示することに関する。一部の実施形態では、角度は１８０°より大きく、例えば２７０°、または３６０°でさえあり、または中間角度である。任意選択的に、広視野角から観察される画像はホログラムである。ディスプレイの周りに位置する観察者に表示される画像の例として、ホログラム、自動立体画像、立体画像、焦点制御３Ｄ、または他の画像（例えば光学系を用いて画像までの知覚される焦点距離を設定する）および２Ｄ画像が挙げられる。

一部の実施形態では、物体ホログラムを表示することは、物体ホログラムとは異なる画像ホログラムを形成することを含む。例えば画像ホログラムは物体ホログラムより大きいかもしれず、かつ／または物体ホログラムより広い視野角から見えるかもしれない。

例示的実施形態では、広視野角から観察可能な画像ホログラムを形成することは、画像ＳＬＭが物体ＳＬＭより広くなるように、単一光学系によりホログラムおよびＳＬＭを結像することを含む。ホログラムおよびＳＬＭを単一光学系により投射することは、画像ホログラムが画像ＳＬＭ内のどの点からでも観察可能になることを確実にする。

画像ＳＬＭは、本書で観察可能性空間と呼ぶ、画像ホログラム全体が観察可能な空間全体を必ずしもカバーしない。

近軸ホログラムは特殊な種類の近軸物体であり、かつ他の近軸物体も同様に表示することができることが注目されるかもしれない。したがって、一部の例示的実施形態では、近軸物体の画像は、単一光学系により近軸画像と、近軸物体を観察可能である空間の少なくとも一部分とを結像することを含むプロセスで形成される。任意選択的に、観察可能性空間の画像は観察可能性空間自体より広く、近軸画像およびその観察可能性空間を単一光学系により結像することは、画像ホログラムが、観察可能性空間の画像内のどの点からでも観察可能になることを確実にする。

一部の実施形態では、近軸画像が特定の観察者によって観察可能であることを確実にするためには、観察者の瞳が画像観察可能性空間の一部分とオーバラップすれば充分である。

一部の実施形態では、観察者はシーンの非ホログラフィック３次元画像、例えば３Ｄ視差障壁画像を見、かつ触れる。しかし、少なくとも一部の非ホログラフィック実施形態では、指および被接触点は必ずしも同一焦点にないので、各観察者は指に焦点を合わせるか被接触点に焦点を合わせるかの間で選択しなければならない。

一部の実施形態では、観察者の目を追跡し、観察者の視点から観察可能な原シーンを表わすホログラムだけをステージに投影し、ＳＬＭの画像は絶えず観察者の目に投影される。

一部の実施形態では、観察者の目を追跡して、ＳＬＭの観察者の目への投影を容易にする。少なくとも、観察者が全ホログラムを見ることを可能にするのに画像ＳＬＭと観察者の目とが部分的にオーバラップすれば充分である実施形態では、ＳＬＭのより大きい画像を投影することにより、観察者の目をより低い精度で追跡することが可能になる。したがって大きいＳＬＭ画像を投影することは、追跡システムからの要求を緩和することに役立つかもしれない。任意選択的にシステム全体として、観察者の目が画像ＳＬＭとオーバラップすることが確実になる間は、追跡は必ずしも目自体の追跡ではないことに留意されたい。任意選択的に、追跡は観察者の顔の中心の追跡であり、目の位置は顔の中心から推定される。任意選択的に、観察者はヘッドホンを装着し、ヘッドホンはヘッドホンの位置を表わす信号を送信し（またはマーカを含み）、ヘッドホンの位置に応答して目の位置が決定される。任意選択的に、観察者の顔はディスプレイの周りの空間の画像で識別され、目の位置は顔の識別に応答して決定される。したがって、本書で試用される目の追跡という用語は、目の位置を表わす信号を追跡することを意味し、必ずしも目自体ではない。一部の実施形態では、目の位置を表わす信号の追跡は、目自体の追跡よりずっと容易であり、追跡システムをかなり単純化することができることに留意されたい。

一部の実施形態では、画像観察空間は観察者の両目をカバーするのに充分に大きい。一部の実施形態では、各目の周りに１つずつ、２つの覗き窓が画定され、各々の目に異なるＳＬＭが結像される。任意選択的に、２つの異なるＳＬＭは、単一のＳＬＭの２つの部分である。任意選択的に、観察者の目とオーバラップする２つのＳＬＭは、同一画像ホログラムを形成し、任意選択的に２つの目の間から観察可能になる画像ホログラムを形成する。カラーホログラムは、同一ＳＬＭを赤色、緑色、および青色の光によって順次照明することによって投影することができる。任意選択的に、赤色、緑色、および青色の光を、全て機械的に同一覗き窓と同期して、３つの異なるＳＬＭに平行に投影することができる。

任意選択的に、１つの覗き窓から別の覗き窓への切替えが、単一覗き窓内の１点から別の点に移るのと同様に円滑に行われるように、覗き窓はオーバラップまたは界接する。

一部の実施形態では、各観察者に自分が連続画像を見ているという印象を与えるのに充分に高い速度で、異なるホログラムが順次生成される。例えば３人の観察者は各々、毎秒３０個の画像を各々１／１８０秒以下の期間ずつ見る。２つの目および３人の観察者に対して生成する場合、３×２つの目＝６となる。

一部の実施形態では、各観察者は異なる光学系によって生成されたホログラムを見る。一部の実施形態では、２人以上の観察者が同一光学系によって生成されたホログラムを観察する。任意選択的に、光学系およびＳＬＭは、異なる観察者のニーズに合わせて反復的に調整される。ＳＬＭは観察者によって現在観察されているシーンのホログラムを形成するように調整され、光学系はＳＬＭの画像を異なる観察者の目の現在の位置に投影するように同調される。

特定の応用機会の一部の実施形態では、ホログラムは、観察者が例えば自分の指で、またはマン・マシン・インタフェース（ＭＭＩ）ツールでホログラムの一部分に接触することができるように、観察者が観察するための画像である。任意選択的に、ホログラムは接触によって起動される部分を含む。

一部の実施形態では、複数の観察者が各々、自分の見ているホログラムに接触することができる。例えば２人の観察者は同じ家のホログラムを異なる覗き窓から見ており、彼らの１人の指が玄関のドアの把手に触れる。一部の実施形態では、第２観察者が同じ場所（例えば把手の同じ箇所）に同時に接触すると、２人の観察者は各々、２つの指がホログラムに接触するのを見る。任意選択的に、ホログラムに接触する２つの指はまた、互いにも接触する。任意選択的に、１人のユーザによる画像操作は別のユーザの表示に伝達されるので、例えばズームおよび向きは希望するならば共有される。

一部の実施形態では、１人の観察者はホログラムに接触することができ、別の観察者はホログラムの周りを歩き回る（またはホログラムを動かす）ことができる。このようにして、歩く観察者は、異なる角度からホログラムを接触する指と共に見ることができる。例えば教師は心臓モデルのホログラム内の動脈弁に接触することができ、学生は歩き回り、接触された弁を様々な角度から見ることができる。

本発明の一部の実施形態の態様は、内部素子が画像またはホログラムを生成し、それが結像ミラーの内側に投影され、ミラーが画像またはホログラムを拡大しかつ／またはユーザに照準するようにした、投影システムの設計に関する。任意選択的に、結像ミラーは一般的に円筒形であり、任意選択的に拡大をもたらすように湾曲している。一部の実施形態では、観察者は結像ミラーの外側にいる。他の実施形態では、観察者は結像ミラーの内側におり、それは例えば部屋の壁に取り付けることができる。

本発明の一部の実施形態の態様は、１つ以上のモジュールが画像を生成し、画像を観察者の目に照準させるのを助けるべく回転されるようにした、投影システムの設計に関する。任意選択的に、１つ以上のモジュールは回転し、または回転ミラーに照準する。任意選択的に、ミラーは略一定速度で回転するか、または一定の率で振動する。

本発明の一部の実施形態の態様は、複数のモジュールの各々が同一観察者の目への視準線を有することができるようにモジュール式設計を有する投影システムの設計に関する。任意選択的に、この共有視準線は回転ミラーによってもたらされる。任意選択的に、または代替的に、共有視準線は、モジュールを回転させ、あたかもそれらが同一座標系を共有するかのように動作することができるように、それらの位置に注目することによってもたらされる。任意選択的に、モジュールは複数の画像またはホログラム生成モジュールを含む。任意選択的に、または代替的に、モジュールは少なくとも１つの観察者追跡および／またはユーザ・インタラクション・モジュールを含む。本発明の例示的実施形態では、システムの能力は、モジュールを交換、追加、または除去することによって増強または低減される。

本発明の少なくとも１つの実施形態を詳しく説明する前に、本発明は、その適用において、下記の説明に示されるか、および／または図面および／または実施例において例示される構成要素および／または方法の組み立ておよび構成の細部に必ずしも限定されないことを理解しなければならない。本発明は他の実施形態が可能であり、または様々な方法で実施または実行されることが可能である。

ここで、図１Ａに示すホログラム生成ユニットの構造および動作、ならびに図１Ｂに示す近軸物体の観察可能性空間について言及する。

例示的コンピュータ化ホログラム生成ユニット
本発明の例示的実施形態では、ホログラム生成ユニット１０’は光源１５および空間光変調器（ＳＬＭ）２０を含む。

ＳＬＭ２０は、ＳＬＭから反射した光がシーン（２４、図示する事例では家）から放射された光場フロントを再生するように、ＳＬＭの各画素の光学的挙動を他の画素とは独立して制御する、コンピュータ化制御ユニット２２に接続される。そのために、シーン２４から受光した光が検出され、それを表わすデータがコンピュータ化ユニット２２に入力され、該ユニットは入力データを処理して様々な画素の必要な光学的挙動を得、それに応じてＳＬＭを制御する。

本発明の例示的実施形態では、光源１５から出射した光は偏光ビームスプリッタ２５により偏向され、４分の１波長プレート（４０）を通過し、ＳＬＭ２０に進み、ＳＬＭから反射してホログラム３５を形成する。偏光ビームスプリッタ２５に向かう途中で、ビームは再び４分の１波長プレート４０を通過し、続いて偏向無しで偏光ビームスプリッタを通過する。

任意選択的に、ユニット１０’は、ＳＬＭ２０との相互作用によりホログラム３５が拡大されるように光源１５の波面を変更する光学素子７０をも含む。任意選択的に、無レンズ拡大が使用される。無レンズ拡大では、平面波面ビーム照射から画像を生成するように構成されたＳＬＭに球面面ビームが照射される。球面波面ビームにより生成された画像は、平面波面ビームにより生成された画像に関連して拡大縮小される。任意選択的に、球面波面ビームにより生成される画像は、平面波面ビームにより生成される画像より大きい。任意選択的に、システムは幾つかのレンズを含み、使用されるレンズは、所望の大きさおよび位置の物体ホログラムを生成するように選択される。任意選択的に、レンズの選択は光学系の調整の一部である。任意選択的に、レンズの選択は光学系の設計の一部であり、選択は永久である。

無レンズ拡大の技術は、例えばＪ．Ｗ．Ｇｏｏｄｍａｎｎ著、ＭｃＧｒａｗ‐Ｈｉｌｌ発行の書籍「Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｆｏｕｒｉｅｒ ｏｐｔｉｃｓ」に詳細に記載されている。

ユニット１０’は、コヒーレント光源および空間光変調器を用いてホログラムを形成するのに適した１つの可能な装置にすぎない。多くの他の装置が当該技術分野で公知であり、本発明の種々の実施形態に従って使用することができる。さらに、ユニット１０’は、少なくとも一部の実施形態では、非ホログラフィック近軸画像または他の画像タイプを生成するためのユニットと置換することができる。理解を容易にするために、以下の説明では、上述したユニット１０’がそのようなユニットの１つの可能な構成にすぎないことを示すために、近軸物体を生成するためのユニットを一般的にユニット１０と呼ぶ。しかし、本発明の例示的実施形態では、全てのユニット１０が光源および近軸（または他のタイプの）画像形成ユニット、例えばＳＬＭまたは液晶（ＬＣ）パネルを有する。非ホログラム画像を使用する実施形態では、ディスプレイパネルは例えば発光パネルとすることができる。

１つの例示的変形では、ＳＬＭが例えば偏光感受性である場合、例えば光源１５からの偏光光がビームスプリッタ２５によって偏向されてＳＬＭ２０に衝突し、ＳＬＭから反射してホログラム３５を形成するように、設計を変化させることができる。４分の１波長プレート４０は任意選択的に除外される。

さらなる代替的設計では、光はわずかな軸角でＳＬＭに照準されるので、それは異なる角度でＳＬＭから反射して離れ、ビームスプリッタは使用されない。

一部の実施形態では、透過型ＳＬＭが使用され、光もビームスプリッタによって透過されない。

近軸画像の観察可能性空間
図１Ｂは、例えば物体ホログラム３５のような近軸画像の表示における多少の原理を示す。

物体ホログラム３５は近軸画像であるので、近軸物体の各点（例えば３６、３７）は単一方向（ｈ_３６、ｈ_３７）に光を出射し、それを中心とする狭い角度（α）で円錐（Ｃ_３６、Ｃ_３７）を形成する。点３６は円錐Ｃ_３６内の全ての点から見え、点３７は円錐Ｃ_３７内の全ての点から見える。したがって、円錐Ｃ_３６およびＣ_３７を本書では、それぞれ点３６および３７の観察可能性空間と呼ぶ。

２つの点３６および３７は、両方の円錐３６および円錐３７の一部分を形成する全ての点から同時に見ることができ、それは両方の点を見ることのできる観察可能性空間６０を形成する。同様に、ホログラム全体を見ることのできる空間を決定し、ホログラム３５の観察可能性空間と呼ぶことができる。

したがって、空間６０の一部分とオーバラップする目５２は、両方の点３６および３７を見ることができ、目５４は点３７を見ることができるが点３６を見ることはできず、目５６は点３６および３７のいずれも見ることができない。

例示的光学系
図２Ａは、本発明の実施形態に従って物体ホログラム３５を投影するための基本的システム２００を示す。

システム２００は、任意選択的にホログラム生成ユニットである近軸物体生成ユニット１０と、光学系２１０とを備える。ホログラム生成ユニット１０はホログラム３５（物体ホログラム）を生成し、光学系２１０は、任意選択的に何もない空間であるステージ２３７上に立っている画像ホログラム２３５（画像ホログラム）として見えるように物体ホログラム３５を結像する。光学系２１０はまたＳＬＭ２０（物体ＳＬＭ、図１に図示）をも投影して画像ＳＬＭ２２０をもたらす。画像ＳＬＭ２２０は任意選択的にＳＬＭ２０より大きく、画像２２０に沿った任意の点から画像ホログラム２３５に目を向けている観察者は、画像ホログラム２３５を見ることができる。

図２Ｂは、近軸物体から光学系２１０によって生成された準近軸画像の表示における多少の原理を示す。

図１Ｂの近軸物体３５と同様に、準近軸画像２３５の各点（例えば２３６、２３７）は円錐状空間（Ｃ_２３６、Ｃ_２３７）から観察可能であり、両方の点は、円錐２３８および２３９がオーバラップする空間２６０から観察可能である。しかし近軸物体３５とは異なり、一緒に画像２３５を形成する異なる点の観察可能性空間は互いに平行ではない。異なる点の観察可能性空間の間の平行を破り、こうしてより大きくかつ任意選択的により近い観察可能性空間２６０をもたらすのは、光学系２１０の役割である。その結果、一部の実施形態では、システム２１０は望遠鏡のように、画像ホログラム２３５を観察者に近づけるが、図１Ｂに示す比較的狭い空間６０から図２Ｂに示すより大きい観察可能性空間２６０へとホログラムの観察可能性空間を拡大もする。

観察可能性空間２６０は画像ＳＬＭ２２０を含み（図２Ａ）、したがって本発明の一部の実施形態では、光学系２１０は、観察者の目とオーバラップすべく画像ＳＬＭ２２０を形成するように調整される。このようにして、画像２３５が観察者に観察可能であることを確実にすることができる。任意選択的に、または追加的に、観察可能性空間２６０の他の部分が観察者の目とオーバラップするように結像される。

図３Ａおよび３Ｂは、ＳＬＭ（２０）の拡大画像およびホログラム（３５）の拡大画像を投影することを可能にし、それによってホログラムを拡大し、かつ／またはホログラムを観察可能である空間を拡大する光学系（３００）の任意の構成を示す。

図３Ａは画像ホログラムを生成する光線の光線追跡を示し、図３Ｂは画像ＳＬＭを生成する光線の光線追跡を示す。

本発明の一部の実施形態では、システム２１０の要件は、（ｉ）物体ホログラム３５をステージ２３７に結像すること、（ｉｉ）ステージ２３７の外の平面（または体積）にＳＬＭ２０を結像すること、および（ｉｉｉ）前記平面の正確な位置を調整可能にすることだけであることに留意されたい。多種多様な光学的構成がこのタスクを達成することができ、上記要件に直面したときに当業者は容易に図３Ａまたは３Ｂに示す構成の多くの代替例を思いつくことができる。

図３Ａおよび３Ｂの両方に示すホログラム生成ユニット１０は、ＳＬＭ２０と、オブジェクティブ３１０およびアイピース３２０を備えた光学系２１０とを含む。

図示する実施形態では、オブジェクティブ３１０は２つの焦点３１１および３１２を有し、アイピース３２０は２つの焦点３２１および３２２を有する。

図示する実施形態では、オブジェクティブ３１０およびホログラム生成ユニット１０は、物体ホログラムがユニット１０によってオブジェクティブ３１０とその焦点３１１との間に生成されるように配置される。光学ユニット３１０および３２０は、素子３２０の焦点３２１が素子３２０と素子３１０の焦点３１２との間に来るように、互いにそれらの焦点距離の合計を越える距離を置いて配置される。

任意選択的に、オブジェクティブ３１０はレンズおよび／または曲面ミラーを備える。任意選択的に、アイピース３２０はレンズおよび／または曲面ミラーを備える。

オブジェクティブ３１０および３２０の各々は、独立して集光素子（例えば凹面鏡）または光発散素子（例えば凸面鏡）とすることができる。

図３Ａに示す通り、画像ホログラム２３５は観察者の目２５０の前のステージ２３７上に形成される。

図３Ｂに示す通り、ＳＬＭ２０の画像は観察者の目２５０の位置に形成される。

したがって、図３Ａおよび３Ｂは合わせて、光学系２１０がホログラム３５をステージ２３７に結像し、かつＳＬＭ２０を部分的に観察者の目２５０とオーバラップするように結像することを示す。

本発明の例示的実施形態では、光学系２１０は、例えば２つの光学素子３１０および３２０の間の距離を変更することによって、画像ＳＬＭが形成される位置を変更するように調整可能である。そのような調整は、画像ホログラム２３５が現われる位置をも変化させるかもしれない。希望するならば、ＳＬＭ２０を駆動してＳＬＭ２０を移動せずに物体ホログラム３５を異なる場所に形成させることのできる演算ユニット２２（図１Ａ）によって、これを補償することができる。

図示する実施形態では、アイピースは中空ミラーであるが、アイピースは透過型素子（例えばレンズ）とすることもでき、それは任意選択的に、ホログラムが画像生成システムに重ならないように光の角度をも変化させる（例えばプリズム）。

オブジェクティブ３１０の任意の形状
オブジェクティブ３１０は任意選択的に、回転軸が放物線の対称軸である回転放物面の形状を有するミラーである。別の任意の形状は、回転軸が放物線の対称軸に垂直な回転放物面である。任意選択的に、オブジェクティブミラー（対物鏡）３１０の形状は球面キャップの形状である。任意選択的に、オブジェクティブミラー３１０の形状は、上に示唆した形状のいずれかの一部の形状である。任意選択的に、球面キャップは製造が容易であるため好適であり、ホログラム３５は近軸であるため、球面収差はシステムにおいて重要な役割を果たさない。

任意選択的に、アイピース３２０は、オブジェクティブが有することのできる上記形状のいずれかを有する。特に有用な形状のアイピースを見出し「例示的アイピース」の下で下述する。

一部の実施形態では、オブジェクティブ３１０は円筒ミラーまたはその弓状部分である。既述の通り、そのようなミラーは平坦ではなく、むしろ放物面とすることができる。

光学系の例示的寸法
例示的実施形態では、図３Ａおよび３Ｂに示したセットアップは、−５０ｃｍの焦点距離を有するレンズ３１０、およびレンズ３１０の第１側（図では右側）にレンズ３１０から１００ｃｍの位置に配置されたアイピース３２０を用いて拡大画像ＳＬＭを提供するために使用される。ＳＬＭは、レンズ３１０の第２側にレンズ３１０から数ミリメートル程度の位置に立設される。

ＳＬＭは物体ホログラムのフーリエ変換を生じるように入力を受け取り、したがって物体ホログラムは、レンズ３１０の左側５０ｃｍのレンズ３１０の焦点面に見られる。物体ホログラムの大きさは、ホログラムを形成するために使用されるＳＬＭ部分のそれと同様である。

次の２つの画像がアイピースによって形成される。

物体ホログラムの画像は、アイピース３２０の右側１５０ｃｍの位置に形成され、物体ホログラムと同じ大きさを有する。ＳＬＭの画像はアイピース３２０の右側２００ｃｍの位置に形成され、ＳＬＭの３倍の大きさである。

観察者の目が画像ＳＬＭとオーバラップするとき、観察者は画像ホログラムから５０ｃｍの位置にいる。

この実施例は、物体ホログラムより大きい観察可能性空間を有する画像ホログラムを形成する１つのセットアップを示す。画像ホログラムは少なくとも、ＳＬＭより３倍の大きさで物体ホログラムから５０ｃｍ離れた画像ＳＬＭのどこからでも観察可能である。

一部の実施形態では、画像ホログラムより大きい画像ＳＬＭの生成の結果、観察可能性空間は、ＳＬＭの画像に到達し次いで収束するまで、画像からの収束距離が増大する。一部のそのような実施形態では、観察者の画像からの距離を正確に追跡する必要性が緩和され、ＳＬＭの画像を観察者の目に正確に投影する必要性も緩和される。しかし、一部のそのような実施形態では、観察者と画像との間の距離に関する情報は、観察可能性空間の大きさを推定するため、および観察者が１つの覗き窓から別の覗き窓に移動したときにそれを決定するために、依然として有用である。観察可能性空間が最も広い観察者の目の近傍に画像ＳＬＭが存することを確実にすることにより、任意選択的に方位角追跡の要件は緩和される。

画像ＳＬＭ位置の例示的調整
限定された観察可能性空間で移動する観察者に画像を表示するために、画像ＳＬＭは観察者の目を追尾する必要がある。そのような追尾をもたらす一部の例示的実施形態を以下に記載する。

記載した実施形態の一部において、画像ＳＬＭの位置が変化すると、画像の位置も変化する。しかし、画像の移動はＳＬＭの移動に比べて小さく、ＳＬＭの限られた光パワーを用いて補償することができる。

図４は、ＳＬＭおよびホログラムのそれぞれステージの位置および観察者の目への投影の調整を可能にするように設計された光学系４００の１つの可能な構造の略図である。

システム４００は、ホログラム生成ユニット１０、オブジェクティブ３１０、およびアイピース３２０を含め、システム２１０の全ての構成要素を含む。図示する実施形態では、オブジェクティブ３１０は曲面ミラーであり、アイピース３２０は凸レンズである。

システム２１０はさらに、ＳＬＭおよびホログラムが投影される位置の制御を容易にするための調整ユニット４１０を含む。調整ユニット４１０は、図には例えば互いに相手から６０゜の位置に固定された鏡面４２０および４３０を備えたＶ字形ミラーとして示されているが、多くの他の実現が当業者には明らかである。

図示する通り、オブジェクティブ３１０からＶ字形ミラー４１０を介してアイピース３２０に至る光線４０５は最初にオブジェクティブ３１０からミラー４２０に反射し、そこからミラー４３０に反射し、そこから光はアイピース３２０の方向に反射する。

鏡面４２０および４３０を矢印４２５の方向に前進および後退させると、アイピース３２０とＳＬＭ画像との間の距離が変化する。したがって、鏡面４２０および４３０を矢印４２５に沿って動かすことにより、光軸に沿ってホログラムから遠ざかり、あるいはホログラムに近づく観察者の目を追尾することが可能である。

任意選択的に、Ｖ字形ミラー４１０を除外し、素子３１０および／または３２０を互いに対して移動させて同様の効果を得る。システム４００の背面焦点距離の位置を変化させるための任意の他の公知の手段も、Ｖ字形ミラー４１０に代わって画像ＳＬＭを光軸に沿って移動させるのに有用であるかもしれない。

Ｖ字形ミラー４１０を構成するミラーの１つを矢印４２６によって示す方向に（すなわち表面４２０および４３０の間の接触線と平行な軸を中心に、かつＶ面上で）回転することにより、俯仰する観察者の追跡対象の目を追尾することが可能になる。

例示的実施形態では、Ｖ字形ミラー４１０は、矢印４２５および／または４２６で示すようにミラーを動かすモータ（図示せず）上に取り付けられる。

観察者の目が水平方向に画像ホログラム観察可能性空間の外に（図では、ページの内外に）移動するときに観察者の目を追尾するために、レンズ３２０は任意選択的に観察者の方向を向くように移動する。

任意選択的に、画像ホログラムの位置の制御は、画像ホログラムが正確に所望の位置に、例えば正確にそれが別の観察者によって見える場所に生成されるように、ホログラフィック物体を計算しかつ生成することを含む。

任意選択的に、光学系は観察者の近傍に画像ＳＬＭを生成するように調整され、演算ユニットは、画像ホログラムが正確に所望の位置に来るように物体ホログラムを形成するように計算する。任意選択的に、そのような計算は除外され、画像ホログラム位置の精度は低下する。

図５は、観察者の各目に異なるホログラムを示すのに有用なシステム５００の略図である。システム５００はシステム４００と同様であるが、ここにだけその軸５１５を中心に回転または旋回する追加の平面ミラー５１０が存在する。

１つの実施形態では、ミラー５１０は左右に例えば３度の角度だけ移動し、ＳＬＭは各移動の前半に１つのホログラムを形成し、後半に別のホログラムを形成する。このようにして、各目は異なるホログラムを見る。任意選択的に、移動は、各目がホログラム投影をあたかも連続しているかのように知覚するような周波数で行われる。任意選択的に、ミラーがその周りを移動する中心位置は、観察者の顔の中心を追尾するように変化する。

別の実施形態では、ミラー５１０はその軸５１５を中心に少なくとも約１５Ｈｚ、例えば２４Ｈｚ、３０Ｈｚ、４５Ｈｚ、または６０Ｈｚの周波数で回転し、ＳＬＭは１回転の前半に１つのホログラムを形成し、後半に別の１つを形成する。任意選択的に、ＳＬＭは第１回転で１つのホログラムを形成し、第２回貼で第２ホログラムを形成する。例えば３０Ｈｚで回転するミラーおよび１回転毎に２回更新されるＳＬＭは、６０Ｈｚで回転するミラーおよび１回転毎に１回更新されるＳＬＭと同様のレートで更新される。

ＳＬＭが１つのホログラムの形成から別のホログラムの形成に変化する切替点は、任意選択的に、目がどれも画像ＳＬＭとオーバラップしないときである。これは任意選択的に、１回転毎に２回、すなわち画像ＳＬＭが観察者の両目の間に投影されるときに１回、かつ画像ＳＬＭが観察者の目から逸れて投影されるときに１回発生する。

任意選択的に、各目が別のＳＬＭの画像とオーバラップし、各ＳＬＭは、それが観察者の目とオーバラップする前に、１回転毎に１回、物体ホログラムを変化させる。

任意選択的に、画像ＳＬＭは、観察者の両方の目と同時にオーバラップする。

図４および５に示す実施形態間の別の違いは、図４ではアイピース３２０がレンズであり、図５では曲面ミラーであることである。しかし、この違いは偶発的であり、図４の実施形態は、ミラーでも素子３２０として全く同様に機能することができ、かつ図５の実施形態は、レンズでも素子３２０として全く同様に機能することができる。

任意選択的に、アイピース３２０は、アイピース３２０が平面ミラー５１０の動きに従動するように、ブリッジ（５２５）により軸５１５に不動に接続されたベース（５２０）上に取り付けられる。この選択肢では、アイピースミラー（接眼鏡）３２０は任意選択的に、オブジェクティブミラー３１０について上で示唆した形状のいずれかを、オブジェクティブミラー３１０の形状とは独立して有する。アイピース３２０の別の可能な形状については、以下で図６Ａおよび６Ｂの文脈で論じる。

したがって、１つの実施形態では、全ての画像形成構成要素が、観察者の目に照準するように一緒に移動する。任意選択的に、オブジェクティブミラーも同様に移動し、したがって完全な３６０度未満である。オブジェクティブミラーおよび／または画像生成モジュールをそのような速度で移動させることはエネルギ効率が低くまたは騒音を立てるかもしれず、したがって一部の実施形態では実施できないかもしれない。

アイピース３２０が平面ミラー５１０の動きに従動するように、ミラー５１０はアイピース３２０の角回転の半分で回転し、反射によって生じる角速度の倍加を補償する。

単一観察者
本発明の例示的実施形態では、システム５００は、ホログラムが大きい画像および広い観察可能性空間を有するように、ホログラムを単一観察者に結像するために使用される。

１つの実施形態では、ホログラム画像が投影される位置（ステージ）は固定され、観察者は様々な場所からホログラムを自由に見ることができるが、ホログラムはどこからでも見える。この実施形態では、観察者の目は追跡され、ホログラムの観察可能性空間は目を追尾するように投影される。

目の追跡は例えば、目がホログラム観察可能性空間内にあるとき、および目が前記空間の外に出たときにそれを見極める充分な精度を有する目追跡システムによって行われる。追跡システムは、適切な精度を有する任意の市販の目追跡システム、例えば米国オレゴン州コーバリスを本拠地とするＮａｔｕｒａｌ Ｐｏｉｎｔ社から入手可能なＴｒａｃｋＩＲ（商標）頭追跡システムとすることができる。任意選択的に、追跡システムは下述の通りシステム５００と共通する部分を有する。

追跡システムによって検出された観察者の目の位置は、演算ユニットに伝達され、そこで、画像ＳＬＭを観察者の目の近傍に投影するためにシステムをどのように調整すべきか、例えばＶ字形ミラー４１０の正確な位置、ミラー５１０が向いている方向の正確な点、または使用される特定のセットアップに従って要求されるいずれかの他の調整が決定される。

観察者の目が動くと、その動きは追跡ユニットによって追跡され、光学系は画像ＳＬＭを観察者の目の近傍に投影し続けるように制御される。このようにして、観察者は、ステージを見つめている限り、どこにいてもそこからホログラム全体が見える。

一部の実施形態では、演算ユニットは、観察者の視野角から見えるであろうシーンを再生するホログラムを形成するようにＳＬＭを制御する。任意選択的に、全ての観察者に、彼らがどこに立っているかに関係なく、同一ホログラムが見えるように、ホログラムは回転ミラーを用いて周囲全体に表示され、このホログラムは彼らの１人の動きに応答して変化する。

単一観察者、各目に異なるホログラム
本発明の一部の実施形態では、単一ホログラムの観察可能性空間は観察者の両方の目とオーバラップする。そのような実施形態では、見ている画像のホログラフィ的性質から原シーンの全ての奥行手掛かりが得られるので、観察者には完全３Ｄホログラムが見える。これらの実施形態は、成人の観察者の両方の目をカバーするように幅が約６〜８ｃｍの画像ＳＬＭに基づく。

しかし、多くの実施形態では、画像ＳＬＭはより小さく、約５ないし約２０ｍｍの幅を有する。これらの実施形態では、単一ホログラムは片目でしか見ることができず、ホログラムを両目に提示するには、各目に１つずつ、２つのホログラムを提示する必要がある。

本発明の一部の例示的実施形態では、２つのホログラムは、同一シーンの２つの異なる様相のホログラムである。すなわち１つは、シーンがステージ上にあったとして、観察者の右目で見えたであろう様相、もう１つは観察者の左目で見えたであろう様相である。このようにして、観察者はシーンのより良好な奥行感覚を持つことができる。

単一ホログラム
一部の実施形態では、システムは全方向に、例えば周囲３６０゜に単一ホログラムを投影する。そのようなシステムは、下述するウォークアラウンドシステムより単純かつ安価にすることができる。システムは、目の追跡無しに、かつ特定の観察者に合わせて調整することなく、充分に機能することができる。そのようなシステムの追加的利点は、ＳＬＭを制御するために必要な計算が、複数のユーザの各々に完全ホログラフィックビューを提供するために必要な計算と比較して、非常に簡単になることである。

一部の実施形態では、演算ユニットは、２つのホログラムを重ね合わせて作られた単一ホログラムを形成するようにＳＬＭを制御する。任意選択的に、観察者は各目から異なる画像を除去する眼鏡を装着する。１つのそのような実施形態は、それ自体当業界で周知の２色のアナグリフを使用する。

一部の実施形態では、単一ホログラムが、異なる高さからそれを見ることができるように投影される。一部のそのような実施形態では、同一ホログラムが異なる高さに、各々の高さで周囲３６０゜に投影される。例えば、幾つかの異なる高さで観察者に同一ホログラムが見えるように、ホログラムはプリズムにより多重化される。

複数の観察者および／または３６０゜ウォークアラウンド
図５の実施形態は、アイピース３２０の方向を見ている観察者にホログラムを示すことを可能にする。観察者がステージの周りを歩き回ることを可能にするため、またはステージを異なる場所から観察する異なる観察者にホログラムを提示するために、アイピース３２０は図６Ａに絵画的に示すように円形にすることができる。

図６Ａは、空中に浮遊する心臓の画像ホログラム（６３５）を示すシステム６００の絵画的表現である。図は主として、任意選択的に回転の放物体として形作られた内部反射面を有するアイピース３２０を示す。この選択肢では、アイピース３２０の各垂直断面は放物線の形状を有し、各水平断面は円の形状を有する。代替的に、アイピース３２０は球形の薄切り片である。水平断面は円形であり、垂直断面は円弧である。

図６Ｂはシステム６００の略図である。アイピース３２０は、図６Ａに絵画的に描かれた円形アイピースの２つの対向する垂直断面によって現わされる。図はまた、回転ミラー５１０から反射する光を受光するアイピース３２０を他の光学素子が遮らないように、光を他の光学素子から逸らしてアイピース３２０内にシフトさせるために使用される円筒ミラー６０５をも示す。図６Ｂに示す他の光学素子の構造および機能は、図４または図５に示すものと同様である。

ミラー６０５は除外し、光線は他の手段によってシフトさせることができる。例えばミラー５１０は、簡便にするためにアイピース３２０を図示しない図６Ｃに示す通り、その中心軸に対して傾斜させることができる。

円筒ミラー６０５は１つ以上の平面ミラーと置き換えることができる。

円筒ミラー６０５によって、またはミラー６０５に代わる平面ミラーによって生じる歪みは任意選択的に、ＳＬＭによって生成される画像の予歪みによって補正される。

ミラー６０５の使用は任意選択的にＳＬＭから観察者までの光路の実用的長さを制約し、ミラー６０５を除外することにより任意選択的に制約が無くなり、かつミラー６０５の予歪み補償の必要性が無くなることが注目される。

アイピース３２０は１つ以上の平面ミラーに置き換えることができる。

アイピース３２０によって生じる歪みは任意選択的に、ＳＬＭによって生成される画像の予歪みによって補正される。

ミラー６０５の代わりの平面ミラー、および／または平面アイピース３２０を使用する場合、平面ミラーが互いに当接する位置は任意選択的に、画像を投影するために使用されない。オプショナル符号器は、光路がそのような位置を横切りかつ画像がその時間中投影されないときに、それを検出する。

任意選択的に光学系の空間カバレージにギャップが存在することがあり、オプショナル符号器は任意選択的に、光路がそのようなギャップを交差するときにそれを検出し、その時間中画像は投影されない。

任意選択的に、ミラー５１０は少なくとも約２４Ｈｚの周波数でその軸５１５を中心に回転し、ＳＬＭは、画像ＳＬＭが異なる位置に投影される場合は、それが同一観察者の異なる目であろうと、別の観察者の目であろうと、あるいは観察者が移動した後の同一観察者の同一の目であろうと、常に異なるホログラムを形成する。

本発明の一部の実施形態では、ミラー５１０の両面が反射するので、ミラーが１回転する毎に、ミラーの全周に、３６０゜の投影角にわたって、またはより小さい角度、例えば１５０゜超、１７０゜超、１８０゜超、２２０゜超、２６０°超、または中間角度にわたって、画像を投影することができる。任意選択的に、０次反射（すなわち光源の反射）を除去するために、ミラー５１０の中心に非反射点が存在する。０次反射は、光がミラー５１０の中心に到達することを防止することによって、またはいずれかの他の方法によりミラー５１０の中心からの反射を防止することによって、同様に除外することができる。

本発明の例示的実施形態では、異なる角度から観察される画像は変形されない（例えば平面ディスプレイまたは他の標準２Ｄ画像システムに表示される場合と同様に）。

本書に記載する方法および装置はまた、特に空中に浮遊する小角ディスプレイ、例えば１０°から１５０゜の間、例えば１００゜未満、８０゜未満、４５゜未満、３０゜未満、または中間角度のディスプレイにも使用することができることが注目される。

一部の実施形態では、異なる観察者および／または異なる目には異なるタイプの画像が示される。例えば１つの目には２Ｄ画像が見えるかもしれず、１つの目には３Ｄまたはホログラム画像が見えるかもしれない。任意選択的に、異なる画像は、回転して位置に着きかつ／またはその視線が回転平面ミラー（例えば５１０）によって適時に提供される、システム内の異なる画像形成モジュールによって形成される。

例示的光源
本発明の例示的実施形態では、光源は、近軸物体を生成するようにコリメート光（および一部の実施形態ではコヒーレント光）を提供する。コリメート光源の非限定例としてレーザおよびＬＥＤがある。

一部の実施形態では、目に１０〜１００μＷを供給する光源が使用される。

この光強度は任意選択的に、回転ミラー５１０とアイピース３２０との間の距離が１ｍであり、かつミラーが３０Ｈｚで回転する実施形態に選択される。上記の光強度を選択するための考慮事項は、以下の通り要約することができる。

照明された部屋でそのようなシステムにより観察者に画像を表示するために、観察者の瞳における光パワーは暗室では約１０μＷ、照明された部屋では最高１００μＷとする必要がある。

１０μＷの推定は、以下の考慮事項に基づいている。

記載下実施形態では、光線は１回転毎に５μｓ間瞳に入射する。この推定は、照明された部屋では瞳孔が直径約１ｍｍであるという想定に基づく。ミラーからアイピースに至る光線の遠点はミラーの１回転毎に６．２８ｍ（２πＲ）移動し、ミラーは毎秒３０回回転するので、遠点は毎秒約３０×６．２８＝１９０ｍ＝１９００００ｍｍ移動する。

したがって、１／１９００００秒間すなわち約５マイクロ秒間にビームによって１ｍｍがスキャンされる。

明瞭な画像を提供するためには、１ナノＷの光が瞳に５０ミリ秒間到達しなければならない。

光は目を５μｓ間スィフトするので、システムは５０ミリ秒ではなく、５マイクロ秒で全ての光を提供しなければならない。したがって、１ナノワットより１００００倍大きいパワー、すなわち１ナノワット×１００００＝１０μＷが必要である。

上記の推定は、平均的な室内照明条件下で画像を表示するのに適している。部屋がより明るい場合、任意選択的により高い光強度、例えば２倍、５倍、または１０倍大きい光強度が供給される。

例示的アイピース
例示的実施形態では、アイピース３２０は光学的活性内面、例えば湾曲反射性内面を有する中空体である。任意選択的に、光学的活性内面は例えば曲面ミラーの反射面である。任意選択的に、内面はレンズの表面である。

任意選択的に、中空アイピースはミラー５１０から来る光を集束する。任意選択的に、中空アイピース３２０は各点に２つの有限曲率半径を画定する。任意選択的に、２つの曲率半径は球殻の場合のように互いに等しい。

任意選択的に、アイピースの反射性内面は閉鎖面である。任意選択的に、それは開放面であり、限定された視野角からの画像の観察を可能にする。例えば、一部の実施形態では、アイピースは、円弧の内側が一般的に軸に照準されるように、軸を中心に６０°の円弧を１サイクルの半分または３／４回転することによって形成される回転体の形状を有する。これらの実施形態は、ステージの背景でアイピースが存在しない位置からステージを見つめている観察者には画像が見えないので、一部の実施形態で、アイピースが移動するかあるいは動かされない限り、ステージを中心に１８０°または２７０°からしか画像を見ることができない。

一部の実施形態では、中空アイピースの形状は、円弧の凹面が一般的に照準される軸を中心に円弧を回転することによって形成される回転体の形状である。任意選択的に、回転軸と円弧との間の距離は円弧の半径に等しい。代替的に、回転軸と円弧との間の距離は、円弧の半径とは異なる。

一部の実施形態では、中空アイピースは、円弧からの距離が円弧の半径とは異なる軸を中心に円弧を回転することによって得られる回転体の形状を有する。

一部の実施形態では、中空アイピースは、放物線の対称軸に垂直な軸を中心に放物線を回転することによって形成される、例えば回転放物体の一部を形成する放物体である。

球面アイピースは放物面アイピースより作成することが容易である。他方、放物面アイピースは収差の影響を受けにくい。しかし、一部の実施形態では、システムによって取り扱われる物体および画像の近軸性のため、収差は小さく、無視できるほどでさえある。任意選択的に、または代替的に、そのような収差もしくは光学系の他の収差および／または観察者の可視化能力は、予補償をもたらす適応画像を生成することによって補償される。

任意選択的に、回転ミラー５１０はアイピースの中心にあり、回転しながら光をアイピースの様々な部分に方向付ける。

任意選択的に、ステージはアイピースの内側にある。

任意選択的に、光路全体がアイピースの内側にある。

一部の実施形態では、画像を見るために、観察者はアイピース反射面の少なくとも一部分を有するステージを見なければならない。

任意選択的に、観察者は外側からアイピースを見る。

任意選択的に、観察者はアイピースの内側におり、反射する壁および／もしくは天井を持ち、またはアイピースおよび／またはアイピースの一部分が取り付けられた球形の部屋内で例えば着座するか、立っているか、歩くか、または横たわっている。任意選択的に、ビジュアルトラッカがアイピースに結像し、画像を使用して画像を投影できる場所およびできない場所を決定し、かつ／または距離および光レベルのような撮像パラメータを調整するために使用される。任意選択的に、そのようなアイピースは、ディスプレイシステム内のそのようなトラッカカメラまたは他の撮像モジュールによって目に見えるライクスまたは十字のような１つ以上のマークを含む。

例示的モジュール式投影システム
本発明の一部の実施形態では、２つ以上のＳＬＭを使用して、異なる目、観察者、および／または位置に異なるホログラムを提供する。例えば１つの実施形態では、各々が観察者の１つの目のための物体ホログラムの形成専用である２つの異なるＳＬＭが存在する。一部の実施形態では、各ＳＬＭが順次幾つかの物体ホログラムを、例えば３人の異なる観察者のために、各目に１つずつ、最高６種類のホログラムを形成し、回転ミラーはホログラムの各々をステージに移動させ、ＳＬＭの各々は、ホログラムがそれで見るために生成された目に結像する。

任意選択的に、各ＳＬＭはそれ自体の光学系２１０を有し、全てのシステムは、画像ホログラムを同一ステージに、任意選択的にステージ上の全く同一点に提供するように相互調整される。例えば、３６０°の全カバレージが必要ないように、観察者がある予め定められた領域に限定される場合、この選択肢は有利である。

本発明の一部の実施形態では、各々がそれ自体のオブジェクティブを持ち、かつ全部が共通のアイピースおよび回転ミラーを持つ、２つ以上のＳＬＭが同時に使用される。これにより、たとえ異なるタイプおよび／または色の画像であっても、１つのＳＬＭによって生成された画像を、患者の目の位置で、別のＳＬＭによって生成された画像に重ね合わせることが可能になることが注目される。

１つのそのような構成は、共通のアイピース３２０および共通の回転ミラー５１０を有する２つのＳＬＭ（２０’および２０″）を備えた投影システム７００の絵画的表現である図７に示される。以下では、ＳＬＭ自体を含め、単一ＳＬＭ専用の投影システムの部品をユニットセルと呼ぶ。図７で、各ユニットセルはそれ自体のベース（７１０、７２０、７３０）上に示され、システム７００のモジュール式構成が可能になる。

一部の実施形態では、各ユニットセルは、そのユニットセルに関連付けられた異なる観察者によってまたは異なる複数の観察者によって観察されるホログラムの生成専用である。任意選択的に、特定のユニットセルと特定の観察者との関連付けは動作中に変化しない。

任意選択的に、観察者は予め定められた場所に、例えばステージの周りに同心円状に配列された固定椅子に着座する。この場合、例えば素子４１０による光路長の調節は単なる選択肢にすぎず、ときには除外することができる。同様に、顔検出／追跡は除外することができる。

任意選択的に、ユニットセルと観察者との関連付けは、観察者の位置に従って変化する。例えば、特定のユニットセルに関連付けられた１人の観察者から別の観察者への切替えがＶ字形ミラーの大きい移動を必要としなければ便利であるかもしれない。しかし、一部の実施形態では、観察者とステージとの間の距離が変化すると、Ｖ字形ミラーは移動しなければならない。したがって、一部の実施形態では、１つのＳＬＭに関連付けられた２人の観察者が互いに離れるように移動し、彼らの１人がもう１人よりステージにずっと近づくと、観察者の１人は別のユニットセルに関連付けられ、Ｖ字形ミラーを前後に大きい距離繰返し移動させる必要が省かれる。

３６０°シットアラウンド（ｓｉｔ−ａｒｏｕｎｄ）ホログラムＴＶ
前節に記載した実施形態は、各観察者が（または各観察者の各目でさえ）異なるホログラムまたはビデオストリームを見ることを可能にするが、本発明の一部の実施形態は、全ての観察者が両方の目で同一ホログラムを見ることを可能にする。このようにして、大勢の人々が集合して標準的ＴＶまたは映画を見るように、ホログラム映像で全く同じ経験をすることができる。完全な奥行感覚は、各目で異なるホログラムを見ることを必要とするが、両目で同じホログラムを見ることでもある程度の奥行感覚がもたらされ、それはときには一部のオートステレオディスプレイで得られるより良好である。

こうして、本発明の一部の実施形態では、単一のホログラムが回転ミラーの各周期の全持続時間中投影され、ステージの周囲を取り囲んで着座している人々は、同一ホログラフィック・ビデオ・ストリームを見ることができる。

そのようなシステムは観察者の顔の角度追跡を必要とせず、観察者のステージからの距離が分かれば充分である。

任意選択的に、シットアラウンド構成では、観察者の各グループがステージから異なる距離に着くように、観察者はステージの周りに同心円状に着座する。任意選択的に、座席は固定されるので、距離は予め定められる。

一部のそのような実施形態では、観察者の各円専用に１つのユニットセルが存在するので、オンライン光路調整を除外することができる。

本書の説明および特許請求の範囲では、観察者が見ている時に操作が行われる場合、操作はオンラインで行われると言われる。任意選択的に、オンライン操作は、観察者が見ているもの、映像の品質、および／または映像の向きを変更する。

一部の実施形態では、同心状の着座構成は、異なる観察者に異なる観察ストリームを提示するために利用される。例えば各円は異なる映画を見ることができる。各映画を示す１つのユニットセルが存在するので、この構成は特に単純であり、システムは、異なる円の各々に着座している観察者に対し、異なるＳＬＭから来る異なる映画を示す。

任意選択的に、同一円の異なる領域には異なる映画が示される。異なる観察者に示される異なるコンテンツは類似の性質のもの（例えば２つの映画）、または異なる性質のもの（例えば１人の観察者は映画を見、別の１人は２Ｄ静止画像を見る）とすることができることに注目されたい。

任意選択的に、投影される画像は２Ｄ画像、例えば従来のＴＶ番組であり、システムはＴＶの周囲最高３６０゜からＴＶを見ることを可能にする。任意選択的に、異なるコンテンツを異なる領域に投影することができる（例えば２、３、４、５、６、またはそれ以上の異なるコンテンツ／チャンネル）。例えば０°から９０°の間の角度からディスプレイを見る観察者は、スポーツチャンネルを見ることができ、９１°から１８０°の視野角からディスプレイを見る観察者はニュースチャネルを見ることができる等々。任意選択的に、２Ｄ画像ストリームは例えば、本書に記載する通り、従来ＬＣＤのコントロールによる光学的操作を必要とする、近軸ＬＣＤディスプレイを用いて表示される。異なる観察者が異なる媒体ストリームを見る場合、音声はパーソナルヘッドホンを介して提供することが好ましいかもしれない。３６０°より小さい角度、例えば１００°、１６０°、１８０°、２１０°またはそれ以下もしくはそれ以上の角度もサポートすることができることが注目される。例えば（必ずしも瞬間的ではなく、有効）視野角は、例えば少なくとも１０°、２０°、３０°、４０°、５０°または中間角度とすることができる。小さい視野角の画像生成器が、広い視野角、例えば少なくとも５倍、１０倍、３０倍、または１００倍大きい面積を提供するように作動することは、本発明の一部の実施形態の特定の特徴である。観察者がいるかもしれない空間の全ての部分にホログラムを生成するのではなく、むしろ、ユーザがいることが予想される空間の部分に対してだけ、ホログラム（または他の画像）が計算されかつ／または表示されることは、本発明の一部の実施形態の特定の特徴である。

本発明の一部の実施形態では、同一の一般的コンテンツ（例えば家）が提供されるが、異なる層のデータ（例えば配管系統、電気配線系統）が異なる角度（例えば回転角および／または方位角の変化）に提供される。任意選択的に、視野角が変化すると、１つ以上のデータ型の透明性にシームレスな変化が生じる。

複数の画像が１人以上の観察者に略同時に、例えば１秒未満以内に、０．１秒未満以内に、ビデオレートで、またはそれより速く示されることは、本発明の一部の実施形態の特定の特徴である。本発明の例示的実施形態では、システムは例えば１、２、３、４、５、６、またはそれ以上の画像生成モジュールを用いて、毎秒少なくとも１０、少なくとも２０、少なくとも３０、少なくとも４０、少なくとも８０、少なくとも１５０、または中間数の異なる画像／ホログラムを生成し（かつ投影する）。

スミアに対する例示的処置
起こり得るスミア問題を理解するために、画像ＳＬＭが約２ｃｍ幅であり、観察者が回転ミラーから約１ｍの距離におり（外周約６ｍを暗示する）、回転ミラーが３０Ｈｚで回転する実施形態を検討することが有用であるかもしれない。この特定の実施形態では、単一画像が絶えずかつ連続的に投影される場合、画像ＳＬＭは１８０ｍ／秒の直線速度で観察者の目を掃引し、この掃引がホログラムのスミアの原因になることがある。

そのような起こり得るスミアに対処する１つの方法は、ミラーが画像ＳＬＭを観察者の目の近傍に方向付ける小さい時間部分（以下、投影期間）だけシステムを起動させることによる。上記の実施例では、投影期間は約２ｃｍ／６ｍ＝ミラー回転周期の１／３００である。３０Ｈｚ時のミラー回転周期は１／３０秒である。したがって、この実施例における投影期間は１／９０００秒であり、それは約１００μｓである。この時間のごくわずかな部分だけ、例えば約１μｓから約２０μｓの間だけレーザを起動することにより、スミアは通常減少する。任意選択的に、レーザは各投影期間に数回、例えば２μｓの起動を間に１８μｓの非起動時間を置いて５回起動される。任意選択的に、各ミラーが１回転する毎に各目が１回だけシステムに曝されるように、システムは調整される。上の実施例では、これは、例えば８０μｓ毎に２０μｓ幅のパルスを１回供給することによって、達成することができる。

一部の実施形態では、レーザはパルス状に活性化され、加えてまたは代替的に、レーザ光は連続しており、チョッパを用いて光を短い閃光に細断する。

代替的にまたは追加的に、光源は線として、例えばＳＬＭを例えば水平方向にスキャンする垂直線として形成される。この実施形態では、垂直照明は、異なる極めて狭い角度からのシーンを表わすサブホログラムを画定する。サブホログラムは垂直スリット窓として目に到達する。任意選択的に、スキャンはＳＬＭ全体をカバーし、こうして目の近傍に全てのＳＬＭ画像を提示するが、目は、正確に目の中に飛び込むのと同じ、ＳＬＭの１つの垂直スライスだけを見る。

スミアを除去する１つの潜在的方法は、回転ミラー５１０’にスリット５１３（図８参照）を使用して、スリット照明源を使用することによる。回転ミラー５１０’は任意選択的に部分反射性であり、回転ミラー５１０’のスリット５１３は光をミラー軸５１５からレンズ３１０に送り、そこからＳＬＭに送り、そこからレンズ３１０に返し、そこからスリット５１３に返し、そこからアイピース３２０に反射し、観察者の目に送る。

ミラーを回転することなく単一観察者を追尾するシステムは任意選択的に従来、スミアの問題を克服するために、スミアがあまり目立たないシステムの場合と同様にストローブされる。

例示的目追跡ユニット
目追跡システムは当業界で周知であり、任意のそのような公知のシステムは、追跡品質がＳＬＭ画像のサイズと両立する限り、本発明の実施形態と共に使用するのに適しているかもしれない。すなわち、追跡は各方向の目の位置の推定が可能であるように、同じ方向の画像観察可能性空間のサイズより小さい許容差の範囲内で、充分に優れていなければならない。

本発明の例示的実施形態では、追跡ユニットは観察者の顔の中心の位置だけを提供し、目の位置は、観察者の顔の知識に基づいて、または観察者の目の間の距離に関する一般情報を用いて計算される。そのような情報は異なる観察グループ、例えば子供、大人等について提供される。知識は、例えば追跡前に観察者の顔を測定することによって取り込むことができる。任意選択的に、測定は、追跡ユニットから既知の距離に立ち、追跡ユニットを覗き込むことを含む。次いで、追跡ユニットは観察者の目および既知の距離から見える目の間の距離を検出し、この情報を用いて、追跡中に、観察者の目の間の検出された距離に応答して、追跡ユニットと観察者との間の距離を計算する。

本発明の例示的実施形態では、追跡ユニットは、本質的に光学系と同一座標を有するように形成される。例えば図７に描かれたユニットセルの１つは、追跡ユニットの光学系を保持することができる。

図９は、追跡ユニットセルに有用な例示的追跡ユニット８００の略図である。追跡ユニット８００は、光源８１０および追跡ユニット８００の背面焦点距離に位置する光検出器８２０を備える。任意選択的に追跡ユニット８００は、光源８１０によって提供される以外の波長の光を除去するフィルタ８０５をも備える。

光源８１０によって提供され、かつ検出器８２０によって検出される光は、目によって選択的に反射される種類のものである。そのような目的のために、赤外光を使用することは当業界で公知である。

本発明の例示的実施形態では、光源８１０からの光は、光の一部分が検出器８２０に進み、かつ別の部分が観察者の目８３０に進むように、ビームスプリッタ８２５によって分割される。目８３０から反射した光は検出器に戻り、検出される。これは、直接光と反射光との間の干渉の検出のためにコヒーレント光が使用される場合、または瞬時光レベルのベースラインを提供するために反射光が使用される場合に、当てはまるかもしれない。他の実施形態では、光は直接検出器に向かって反射されず、むしろ目または顔（または人工マーカ、例えば帽子、ステッカー、または眼鏡）によって反射された光だけが、検出器に向かって反射される。

図示した実施形態では、ビームスプリッタからの光は、光学素子３１０、回転ミラー５１０、およびアイピース３２０を介して観察者の目に到達し、それらの素子については全て上で詳述した。観察者の目からＩＲ検出器までの途中で、光は任意選択的に同一光路を逆の順序で移動する。

反射光が検出器８２０で検出されるときに回転ミラーが向いている方向は、目の方向に相当する。観察者の目の垂直高さは任意選択的に、反射光が検出器８２０に入射する点位置に基づいて推定される。任意選択的に、画像の高さは、光学手段によって、かつ／または画像自体を移動させる（例えばＳＬＭ上でその符号化をシフトする）ことによって調整される。任意選択的に、異なる観察方向は異なる仰角（例えば異なる観察者の身長および／または距離）を有する。

任意選択的に、幾つかの予め定められた距離内、例えば約６．４ｃｍ±１．５ｃｍ内で２つの目を検出することは、同一観察者の両目の検出と解釈される。

任意選択的に、観察者の目の間の距離は追跡が開始される前に測定され、観察者の２つの目から受け取る信号間の時間差は、観察者とシステムとの間の距離を推定するために使用される。

本発明の例示的実施形態では、目の検出は、（例えば正しい検出と比較して、例えば１０％、３０％、もしくは１００％、またはその中間またはそれ以上の誤検出百分率で）検出の方向にバイアスされるように調整される。本発明の例示的実施形態では、目の無いところに画像を送ることは、おそらくシステムの構成要素の選択によって事前補償される計算コストがかかるだけであるが、目のあるところに画像を送らないことは、ディスプレイが正しく動作することを妨げかねない。

ホログラムの例示的調整
観察者が物体の周りを歩き回りながら物体を見ているときに、観察者は各点から物体の異なる面を見る。

本発明の一部の実施形態に従って表示されるホログラムは、光学系またはホログラム生成ユニットを何ら調整することなく、同様の効果をもたらす。換言すると、単一ホログラフィックフレームのディスプレイは、完全なウォークアラウンド経験をもたらす。しかしこれは、目をホログラム観察可能性空間の境界内に維持するウォークアラウンドに限定される。

一部の実施形態では、目が画像観察可能性空間の外に出るように観察者が動き回るときに、光学系は目を追尾するように調整されるが、観察者に表示されるホログラムは変化しない。これらの実施形態では、地球儀のホログラムの周りを歩き回る観察者は、彼がどこに立っているかに関係なく、いつでも例えばヨーロッパを見る。任意選択的に、そのような実施形態では、観察者の目を追尾する代わりに、システムは単に全周で同一ホログラムを利用可能にする。

一部の例示的実施形態では、観察者が移動するときに、彼に対して表示されるシーンが更新されるので、地球儀のホログラムの周りを動き回っているときに、観察者は異なる大陸を見ることができる。任意選択的に、これは、表示されるホログラムを更新することによって達成される。システムは、観察者の目が画像ホログラムの観察可能性空間から外に出ていくまで追跡される間いつでも、実際の物体がステージ上にあったとすれば観察者が見ていたであろう物体の部分を推定し、この部分のホログラムをステージ上に提示する。

毎回観察者によって観察可能なシーンの部分だけのホログラムを投影することにより、観察者に見える画像の品質を落とすことなく、多くの計算能力を節約することが可能になる。

本発明の一部の実施形態では、シーン自体が経時的に変化する。１つの特定の実施例では、シーンはビデオストリームである。そのような場合、たとえ観察者の目が動かなくても、ホログラムは調整される。任意選択的に、人間の心が滑らかな動きを見る頻度であることが当業界で周知であることから、そのような調整は毎秒約２４回実行される。

任意選択的に、ビデオストリームのホログラムを示す場合、ホログラムが調整される（すなわちビデオストリームの別の「フレーム」のホログラムが表示される）たびに、システムは観察者の目の位置に関して更新され、観察者の現在の視点から観察者が観察可能なフレームの部分だけを投影する。例えばこれは、バスケットボールの試合の映画を見ている観察者が座席を変更して、試合を異なる角度から見ることを可能にする。

例示的システムおよび制御
図１０は、投影システムの幾つかの主要なユニットおよびそれらの間のインタラクションを示す、例示的システム９００の簡易ブロック図である。

システム９００は、ホログラムを生成しかつ投影するためにドライバ９１５によって駆動される投影ユニット９１０を含む。投影ユニット９１０はＳＬＭ９２０を含む。

システム９００はまた、ＳＬＭ９２０の各画素の所望の光学的挙動を計算するための演算ユニット（９３０）、および演算ユニット９３０によって計算された所望の光学的挙動に従ってＳＬＭ９２０の各画素の光学的挙動を駆動するためのＳＬＭドライバ（９４０）をも含む。

演算ユニット９３０は、例えばデータセット、画像、またはビデオストリーム、任意選択的に３次元もしくはボリュメトリック画像、任意選択的に３次元もしくはボリュメトリック画像のストリームを入力として受け取る。入力は任意選択的にデジタル形式である。代替的に、入力はアナログ形式である。一部の実施形態では、３Ｄ画像の表面だけが提供される。任意選択的に、データはＳＬＭに流すために事前計算される。代替的に、ユニット９３０は、例えば下述するように、入力からＳＬＭデータを生成する。任意選択的に、ユニット９３０はデータを生成し、かつ／またはユーザがいるかまたは（例えば人間の頭部の特定の移動速度を想定して）ユーザがいると予想される観察方向にだけ入力をレンダリングする。任意選択的に、例えばデータの獲得における遅延および／またはそのようなデータのレンダリングにおける遅延のため、アイトラッカによる新しいユーザの検出とそれに対する画像（または完全な画像）の提示との間に遅れ（例えば数秒または数分の１秒）が存在する。

任意選択的に、ボリュメトリック３Ｄ画像ストリームデータまたはどんな画像データでも、システムのメモリに事前に格納され、格納されたデータは、投影中に接近され、システムを制御するために使用される。任意選択的に、データはオンラインで受け取られ、投影中にシステムを制御するために要求される通り、単に一時的に格納される。

演算ユニット９３０は、ＳＬＭにより生成されたホログラムがシーンから放射された波面に対応する波面を再生するために、ＳＬＭ９２０の各画素の光学的挙動がどうあるべきかを、入力に基づいて計算する。ＳＬＭドライバ９４０はＳＬＭの画素に計算された光学的挙動をさせる。

任意選択的に、ユニット９３０は、システムの光学特性、観察者、および／または較正プロセスを考慮して、その受け取ったデータおよび／または表示すべきデータを変更する。任意選択的に、較正プロセスは目視によるものであり、かつ／またはユーザのポインティングデバイスを検出することを含む。１つの実施例では、グリッドが示され、ユーザはグリッド上の各点に「接触する」。別の実施例では、ユーザに一連の画像が示され、例えばカラー品質、形状、空間歪み、および／または他の画像特性に関するフィードバックを提供する。任意選択的に、入力は画像を介して、または入力装置（例えばマウスまたはボタン、図示せず）を用いて提供される。

図示するシステムはまた任意選択的に、演算ユニット９３０に観察者の目の位置に関する情報を提供する追跡ユニット（９５０）をも含み、こうして演算ユニット９３０が、シーンのどの部分を観察者が彼の視点から見るかを推定し、かつこれらの位置から放射された波面だけを生成するように画素の光学的挙動を計算することを可能にする。

加えてまたは代替的に、追跡ユニット９５０は、観察者の目の位置に関する情報を投影システム９１０のドライバ９１５に提供し、該ドライバが生成されたホログラムの観察可能性空間の位置を観察者の目の位置に調整することを可能にする。

例示的操作シーケンスでは、ビデオストリームは演算ユニット９３０に入力され、それはＳＬＭ９２０の種々の画素の所望の光学的挙動を計算する。演算ユニット９３０は計算された値をＳＬＭドライバ９４０に伝達し、該ドライバはそれに従ってＳＬＭ９２０を駆動する。生成および投影ユニット９１０はＳＬＭ９２０を用いて物体ホログラムを生成し、物体ホログラムを投影する。

同時に、追跡ユニットは観察者位置および向きを追跡し、この情報を演算ユニットに送信する。演算ユニットはこの情報を用いて、シーンから放射された光を観察者の方向にだけ再生する簡易ホログラムを計算する。追跡ユニットはまた、観察者の目の位置および向きを生成および投影ユニット９１０のドライバ９１５に伝達し、ドライバ９１５は、ホログラムを観察者によって観察可能であるように投影すべく、投影ユニットを駆動する。

図１１は、本発明の実施形態に従って、ステージを見ている観察者に見えるようにホログラムを生成かつ投影する方法で行われる操作のフローチャートである。

１０５で、観察者の目の位置が推定される。任意選択的に、両目の位置が推定される。任意選択的に、観察者が見ている方向も推定される。任意選択的に、システムはホログラムを所定のステージに投影するように構成され、観察者の目およびステージの位置は、観察者が見ている方向を決定する。

１１０で、シーンがステージで所定の向きにある場合に、観察者によって観察可能なシーン部分が観察者の目の位置に基づいて推定される。

１１５で、１１０で観察者によって見られると推定されたシーンの部分だけのホログラムが生成される。任意選択的に、これらのホログラムは、ホログラムを生成するために要求される種々のＳＬＭの画素の光学的挙動を計算し、かつそれに応じてＳＬＭを駆動することによって生成される。

１２０で、１１５で生成されたホログラムは、観察者がステージを見ているときに、彼の位置から観察者にホログラムが見えるように投影される。

図１２は、所与の角度からホログラムを見ている観察者に見えるようにホログラムを生成する方法１５０で行われる操作のフローチャートである。

１５２で、観察者の位置が取り込まれる。観察位置の取込みは任意選択的に、追跡ユニットから入力を受け取ることを含む。任意選択的に、取込みはまた前記入力を処理することをも含む。取込みが達成されると、システムは観察者の位置、およびシーンが実際にステージ上にあったとすれば観察者がシーンを見たであろう方向の角度を決定する。

１５４で、ボリュメトリックデータに接近する。任意選択的に、ボリュメトリックデータは事前にシステムのメモリに保存される。任意選択的に、ボリュメトリックデータはオンラインで、すなわち結像プロセスが行われている間に、例えば３Ｄ撮像装置、例えばＣＴイメージャから受け取られる。

ボリュメトリックデータから、システムは、１５２で観察者によって見られることが決定された光景の部分のホログラムを形成するために必要なデータを除去する。

１５６で、コンピューティングシステムは、例えばホログラムを生成するためにＳＬＭの能動素子の各々に所望の屈折率を設定することを含め、ボリュメトリックデータをホログラフィデータに変換する。任意選択的に、ＳＬＭは、ホログラムの生成では扱われない非能動画素を有する。これらの画素は任意選択的に、（下記で）１６０で照明されない。任意選択的に、これらの画素の照明防止は、光源とＳＬＭとの間に配置された追加の透過型または反射型ＬＣＤまたはデジタル・マイクロミラー・デバイス（ＤＭＤ）によって実行される。オプショナルの追加的投下型または反射型ＬＣＤまたはＤＭＤは図に描かれていない。

１５８で、ＳＬＭは、各画素が事実上それに設定された屈折率を有するように制御される。

１６０で、ＳＬＭは物体ホログラムを生成するように照明される。

ホログラムとの例示的インタラクション
本発明の一部の実施形態は、観察者がホログラムと対話することを可能にする。例えば観察者はその手、またはいずれかの他の身体部分、または観察者が保持しているいずれかの物体、例えばポインタをホログラムに触れるように動かすことができる。任意選択的に、センサは観察者の手の位置を検出し、それに応じて出力装置を制御する。１つの実施例では、ベルに接触する観察者は、結果的に出力装置のベルを鳴らすことになる。

別の実施例では、観察者はホログラムと対話してシーンを操作することができる。例えば観察者は自動車ホログラムのエンジンカバーに接触して、ホログラムを自動車エンジンの内部のホログラムに変更させることができる。

代替的にまたは追加的に、ホログラムのある部分に接触した観察者は、接触した部分が観察者の正面に来るホログラムを生成するように、出力装置にシステムを制御させることができる。例えばスイスに面して地球儀を見ている観察者は、地球儀でスペインに接触することができ、地球儀はスペインが観察者の正面に来るように回転する。

代替的にまたは追加的に、観察者は、制御パネルを介してホログラムと対話して、ホログラムを空中で移動させ、ある予め定められた軸を中心にそれを回転させ、ホログラムに対し回転軸をアドホックに定義し、アドホックに定義された軸を中心にホログラムを回転させ、かつ空中のホログラムの向きおよび／または位置に対し何らかの他の操作を実行することができる。

任意選択的に、２人以上の観察者が同時に同一シーンのホログラムと対話することができる。例えば２人の観察者は、彼らの正面にある光景の同じ部分に接触することができ、各々が異なるホログラムを見ている（彼らの各々の各目さえもが異なるホログラムを見ている）が、２人がシーンの同一部分に接触すると、例えば両人がベルに接触すると、彼らは互いに相手にも接触する。

カラー画像
種々の実施形態を白黒画像の文脈で上述した。それにも関わらず、本発明の実施形態に係るシステムおよび方法によってマルチカラー画像も全く同様に提供することができる。

一部の実施形態では、カラーホログラムは、赤色、緑色、および青色の光を順次照明される単一のＳＬＭによって投影される。任意選択的に、カラーシーンは処理されて３つの単色シーン（１つの赤色、１つの緑色、および１つの青色）になり、演算ユニットは、各々の単色シーンを交代で再生する単色ホログラムを順次生成するためのデータをＳＬＭに提供する。任意選択的に、各単色ホログラムが対応する光により形成される（赤色シーンを再生するホログラムは赤色の光により生成される等）ように、光源は演算ユニットと同期される。

任意選択的に、ＳＬＭによって生成されたホログラムをステージに投影すると同時に、ＳＬＭの画像は観察者の目とオーバラップするように投影される。

一部の実施形態では、赤色、緑色、および青色の光が３つの異なるＳＬＭに投影され、各々が１つの単色シーンを再生する。一部の実施形態では、３つのＳＬＭの各々が異なるユニットセルに含まれ、ミラーの各回転で、全てのユニットセルの画像が順次ステージに投影されるので、観察者にマルチカラーホログラムが見える。

一部の実施形態では、３つ全部のＳＬＭが単一光学系を共用し、それらの間の同期が光学的になる。例えば３つのＳＬＭは、単一ＳＬＭスクリーンの３つの部分である。任意選択的に、光学系を共用するＳＬＭは全て単一ユニットセルに含まれる。

カラーホログラム画像を生成するために使用される光源は、例えば３つの異なるレーザを含む。別の実施例は、３つの異なるＬＥＤを備えた光源である。

複数のＳＬＭの例示的利用
本発明の一部の実施形態では、物体ホログラムを作成するために、全ＳＬＭユニットを起動させる必要はない。そのような場合、１つのＳＬＭを複数のＳＬＭユニットとして使用することが可能である。例えば１０００×１０００画素の１つのＳＬＭは、各々５００×５００画素の多様な４つのＳＬＭとして機能して、下述する複数のＳＬＭを使用する全ての利点を得ることができる。

任意選択的に、幾つかのＳＬＭが同一観察者の同一の目に結像される。そのような構成は幾つかの用途を持つことができる。

例えば、上述の通り、一部の実施形態では、各ＳＬＭは白黒画像（赤、緑、または青）を提供し、３つの白黒画像を見る観察者は、それらを単一のマルチカラー画像として知覚する。非ホログラム画像が示される場合、カラーＳＬＭを使用することができることが注目される。代替的に、任意選択的に異なる色のためのＳＬＭ素子をインタレースするかまたは他の方法で混合させて、異なる光源色をホログラム生成ＳＬＭの異なる部分に照準させることができる。

別の例示的実施形態では、単一ＳＬＭによって提供される画像より大きい画像を提供するために、複数のＳＬＭが使用される。システムは、２つの半物体を各々単一ＳＬＭによって形成し、かつ半物体をステージ上で互いの近くに結像するように制御される。ＳＬＭは両方とも観察者の同じ目とオーバラップするように結像される。したがって観察者は、各々半物体の２つの画像から合成された画像を同じ目で見る。合成画像は任意選択的に、それを合成する画像のどれよりも大きい。

別の例示的実施形態では、画像を見る角度を拡大するために複数のＳＬＭが使用される。１つのそのような実施形態では、２つのＳＬＭが観察者の近傍に互いに近接して、任意選択的に２つのＳＬＭ画像間で一部をオーバラップして、結像される。２つのＳＬＭは各々任意選択的に同一シーンの物体ホログラムを形成し、２つのホログラムはステージに結像される。観察者の目がどの画像ＳＬＭとオーバラップするかに関係なく、観察者は画像を見ることができる。観察者の比較的大きい移動だけがシステムの調整を必要とするので、この構成はシステムの追跡機構の要件を緩和することを可能にする。

別の例示的実施形態では、画像を見る角度を拡大するために複数のＳＬＭが使用される。１つのそのような実施形態では、２つのＳＬＭが観察者の近傍に互いに近接して、任意選択的に２つのＳＬＭ画像間に観察者の瞳より小さい多少のギャップを置いて、結像される。２つのＳＬＭは各々任意選択的に同一シーンの物体ホログラムを形成し、２つのホログラムはステージに結像される。観察者の目がどの画像ＳＬＭとオーバラップするかに関係なく、観察者は画像を見ることができる。観察者の比較的大きい移動だけがシステムの調整を必要とするので、この構成はシステムの追跡機構の要件を前の選択肢よりさらに大きく緩和することを可能にする。

例示的用途
例示的私的コンテンツ用途
本発明の一部の実施形態では、コンテンツは１人の観察者だけの目に結像され、観察者の近傍にいる他の人々はコンテンツを見ることができない。

任意選択的に、観察者は任意の所望の角度からコンテンツを見ることができ、一部の実施形態では、ディスプレイの周りを動き回ることさえできる一方、近くにいる他の人々はコンテンツを見ることができない。

一部の実施形態では、追跡システムが観察者を見失ったときに、ディスプレイは切断される。そのような実施形態は、機密資料を取り扱うのに特に有用であるかもしれない。例えば観察者機密文書を最新式ラップトップディスプレイで検討する場合、観察者の横に座っている隣人は文書を見ることができる。ラップトップが本発明の実施形態に係るディスプレイユニットを装備している場合、機密文書は観察者だけに表示される。それにもかかわらず、観察者は必ずしもディスプレイを１つの角度から見ることに戸惑わされない。観察者はディスプレイから離れることができ、彼の隣人はディスプレイの前の観察者の席に着いても、追跡システムが観察者を見失い、ディスプレイが停止するため、依然として何も見ることができない。

例示的医療用途
多くの医療用途では、医師に組織の３次元構造に関する情報が提供される。本発明の一部の実施形態では、この情報は、医師が対話することのできるホログラムとして、１人以上の医師に表示される。

例えば最小侵襲的心臓処置の準備として、医師のチームは、既存の超音波技術を用いて心臓の動的３Ｄ画像を取り込む。次いで、チームメンバは、臨床処置のための話し合いおよび準備の一環として、画像内の特定の領域を指し示しかつ印を付ける能力を有しつつ、取り込んだ画像を異なる視点から、例えば各観察者が彼自身の視点から観察することができる。

例示的実施形態では、画像ホログラムは、結像されたシーン（上の例では心臓）と同一の大きさである。したがって、外部部品、例えばステントを患者内に挿入する場合、手術中にそれを患者に合わせる必要性を最小化するために、手術の開始前に、部品をホログラム画像に合わせることができる。この特徴は任意選択的に、仮想的「空中浮遊」画像を持つことによって強化される。

例示的コンピュータ支援設計
本発明の例示的実施形態では、コンピュータ設計モデルが設計者のチームに表示され、チームメンバの１人、数人、または各々がモデルの周りを歩き回り、それに関わり、かつ／またはそれを操作することを可能にする。例えばディスプレイがタッチスクリーンである新しい携帯電話の外囲器のような機械的部品のモデルでは、１人の設計者がディスプレイの照明の変更を提案することができ、別の設計者は変更の結果について意見を述べ、実際のボタンの追加を提案し、それを瞬時にプリセットする。同様に、単一設計者が同一細部を異なる角度から見ることができる。設計を検討しながら、チームのメンバが画像内の特定の部分を（専用ペンで、または彼の指で）指し示すことができる。任意選択的に、チームメンバ全員が指し示された部分を見、チームメンバは、異なる視点から見たその部分の光景について話し合うことができる。任意選択的に、ディスプレイはシステム・ヒューマン・インタフェースを備え、チームメンバがフル設計内の特定の部品を操作すること、例えば印を付けた表面の色を変更することが可能になる。チームは画像をあらゆる角度から厳密に観察するので、記載したプロセスは、開発工程内の一部の急速な試作品製造段階を削除し、こうしてその総時間およびコストが低下される。

デジタル広告
本発明の一部の実施形態は、ディスプレイを注意深く見ることなくディスプレイに曝される人々の注意を引くために、利用することができる。例えば本発明の一部の実施形態は、公共の場で広告用ディスプレイとして使用し、より伝統的な平面ディスプレイおよびポスタで得られるよりかなり多くの注意を引くことができる。

例えば本発明の実施形態に係るディスプレイは、展示会に提示することができ、その周りを歩き回る観察者は、広告製品例えば携帯電話機の、または広告販売促進全体のホログラム画像を見る。ホログラムディスプレイは、通常のポスタまたはフラットスクリーンより多くの注意を引く。

任意選択的に、さらに、観察者の１人は、他の観察者が見ている間に画像を操作する。操作は任意選択的に、画像を動かし、回転し、または拡大縮小するか、あるいはいずれかの他の方法で画像と対話することによる。この実施形態は任意選択的に、提示された画像、製品、またはサービスへの観察者の注意を増強する。

任意選択的に、製品の異なる光景が、ディスプレイの周りの異なる位置に立っている観察者によって見えるように表示される。この種の広告に曝された人々はディスプレイの周りを周回するように促され、広告製品にますます注意を払うようになることが期待される。

任意選択的に、本発明の実施形態に係る広告ディスプレイは、見出し「例示的画像操作」の下で上述した通り、表示されたシーンを観察者が操作することを可能にする。表示された画像を観察者が操作することを可能にすることは、広告の製品に対する観察者の注意および関与を高めることが予想される。

任意選択的に、本発明の実施形態に係る広告ディスプレイは、その周り３６０゜に同一ホログラムを表示し、かつ入力装置を含み、ユーザが表示されたシーンをもっとよく見たいと思っていることを示すことを可能にする。そのような指示を受けたことに応答して、システムは観察者の顔を追跡し始め、この特定の観察者がディスプレイの周りを歩きながら広告製品を様々な角度から見ることを可能にする。

ユーザインタフェース
ユーザが動きながら３Ｄ空間でインタラクションを実行することができるときに、３Ｄインタラクションが発生する。マン・マシン・インタラクションは、人間および機械の両方が情報を受け取りかつ処理し、次いでその処理の出力を互いに提示することを要求する。目的を達成するために、ユーザは操作を行い、またはコマンドを機械に与える。機械はユーザによって提供された情報を受け取り、何らかの処理を実行し、次いで結果をユーザに提示する。

理想的には、ユーザは、現実でできるのと同じように仮想画像と対話することができる。キーボードまたは２Ｄマウスのような標準入力装置とは対照的に、完全３次元の理想的な操作は、ユーザにとって自然な自由度６をも与えるべきである。このタイプの３Ｄインタラクション装置は、人間の動作およびジェスチャを認識かつ解釈して、それらを仮想シーンの対応する操作または画像についての情報に変換する必要がある。本発明の一部の実施形態は、上記の標準入力装置よりずっと理想に近づいている。

装置によっては自由度６までの３次元インタラクションを可能にするものがあるが、それらの装置のどれも実際の投影された画像上ではそうすることができず、本書で入力空間と呼ぶ、空間内の別の場所でだけ行うことができ、画像は、本書で表示空間と呼ぶ、２Ｄスクリーンまたは何らかの形の３Ｄプラットフォームに投影される。

本発明の一部の実施形態では、本書に記載する本発明のディスプレイを用いて、画像は観察者に実際の物体の奥行手掛かりを与え、ユーザインタフェースの観察を自然に感じさせる。本発明の一部の実施形態は、任意選択的に広い視野角を有し、任意選択的に空間内の正確な位置を、かつ任意選択的に異なる視野角から、観察することを可能にする、適切な視覚的奥行手掛かりを与えながら、ユーザが投影された３Ｄ画像に実際に「接触」することを可能にする。本発明の一部の実施形態は「空中浮遊」画像を投影するので、画像は観察者から約８０ｃｍの距離に、観察者の腕の届くところに現れる。

一部の実施形態では、観察者から画像までの見かけの距離は、ユーザが画像に手を伸ばすことができる距離、すなわちほぼ非延伸腕の長さ、ほぼ腕の長さ、および／またはほぼスティックまたはポインタを保持する腕の長さである。

一部の実施形態では、表示空間の大きさは、ユーザの腕の動きの範囲、すなわち幅約１〜２メートルに相当する。一部の実施形態では、表示空間の大きさは、指の動きの範囲、すなわち幅約１０〜２０センチメートルに相当する。

一部の実施形態では、入力位置の解像度は、ユーザの腕の動き、すなわち約１センチメートルに相当する。一部の実施形態では、入力位置の解像度は、ユーザの指の動き、すなわち約１ミリメートルに相当する。より粗い解像度およびより細かい解像度も光学的に可能であり、したがって一部の実施形態は潜在的にそのような解像度で動作する。

一部の実施形態では、ユーザインタフェースは空中浮遊物体を１つ以上の位置で１人以上のユーザに表示する。空中浮遊物体は任意選択的に、観察者の移動により位置を変えるように現われない。空中浮遊物体はまた任意選択的に、異なる視野方向から同じ位置に現われる。

一部の実施形態では、２つのユーザインタフェースが２つのディスプレイを用いて２つの異なる位置に同一空中浮遊画像を表示し、第１位置の１人以上のユーザの１つ以上のウォークアラウンド速度での部分的または完全ウォークアラウンドを可能にし、かつ同時に第２位置の１人以上のユーザの１つ以上の他のウォークアラウンド速度での部分的または完全ウォークアラウンドを可能にする。

一部の実施形態では、ユーザインタフェースは異なる観察者に異なる空中浮遊画像を表示する。異なるユーザに異なる画像を表示することは任意選択的に、多くの形態を取ることができる。すなわち、赤い風船および緑色のフェラーリのような全く異なる画像を表示する。ディスプレイの中心に配置されたハンマを示す第１画像およびディスプレイの脇に配置されたハンマを表示する第２画像のように、異なる座標系を用いて同一物体を表示する。第１画像に物体の１つの部分を表示し、かつ第２画像に物体の別の部分を表示し、その間中ずっと物体は任意選択的に同一場所、同一座標系に位置し、同一大きさである。同一物体に対し異なる色を表示する。例えば第１ユーザに物体を表示し、コントラストを強調するか、色を強調するか、異なる色相範囲で同一物体を別のユーザに表示する。同一物体を異なる大きさで表示する。

同一物体を異なる大きさで異なるユーザに表示することから疑問が提起されることが注目される。すなわち、第１ユーザがポインタを表示空間内に向けて、第１ユーザが見ている物体上の位置に「接触している」ときに、ポインタの表示は第２ユーザに見えるようにすべきか。１つの選択肢として、第２ユーザに表示される画像は、たとえ第２物体が第１物体とは異なる大きさで現われる場合でも、ポインタのタッチ先端が第２画像で第１画像と同じ位置に接触しているように見えるべきである。第２画像は、ポインタの先端が第２画像で第１画像と同じ位置に接触しているように見えるように、座標に表示される。

一部の実施形態では、ユーザインタフェースは、異なる空中浮遊画像を同一観察者の異なる目に表示する。

一部の実施形態では、ユーザインタフェースは、あたかも画像が空中に浮遊している実際の物体であるかのように、空中浮遊画像の様々な面を表示して、前述の通り、空中浮遊画像の周りの部分的または完全ウォークアラウンドを可能にする。

一部の実施形態では、ユーザインタフェースは、指または何らかの他の物体を空中浮遊画像上または内に突っ込むことを可能にする。

ユーザインタフェースの一部の適用では、空中浮遊ディスプレイは、本書に記載したボリュメトリックディスプレイの実施形態を利用する。ユーザインタフェースの他の適用では、それらの特性が特定の適用をサポートすることを前提として、任意選択的に他のボリュメトリックディスプレイが使用される。

ここで図１３Ａを参照すると、それは本発明の実施形態に従って構成されかつ動作するユーザインタフェース１３００によって表示されている物体１３１５に指１３３０を触れているように見えるユーザ１３２０の略図である。

ユーザインタフェース１３００は、空中浮遊３次元表示空間１３１０に第１画像を表示するボリュメトリックディスプレイ１３０５を含む。非限定例として画像は物体１３１５を、非限定例として心臓を表示する。

３次元ディスプレイおよび／または空中浮遊ディスプレイが示されている図１３Ａ、１３Ｂ、１３Ｃ、１４、１５、および１６に関連して、言及は、非限定例として、上述したホログラム画像ディスプレイ、上述した近軸画像ディスプレイ、およびボリュメトリックディスプレイに適した他の画像ディスプレイを含むつもりであることが注目される。

非限定例としてテレビジョンディスプレイおよび／またはコンピュータ・モニタ・ディスプレイのような２次元ディスプレイは、２次元画像を３次元画像と同様に空中浮遊画像として生成することによって、ボリュメトリックディスプレイに変換するのに適していることが注目される。

ユーザ１３２０は物体１３１５を見て、指１３３０を伸ばして物体１３１５に明らかに「接触している」。ボリュメトリックディスプレイ１３０５は空中浮遊ボリュメトリックディスプレイであり、空中浮遊画像を表示するので、ボリュメトリックディスプレイ１３０５は実際の物体を表示空間１３１０内に挿入することを可能にする。

ユーザインタフェース１３００はまた任意選択的に、制御およびデータ１３４０をボリュメトリックディスプレイ１３０５に提供するコンピュータ１３３５をも含む。

指１３３０の位置は位置決定ユニット（図示せず）によって突き止められる。位置決定ユニットは任意選択的に、表示空間１３１０内に配置された実際の物体を識別することによって、指の位置を決定する。

位置決定ユニットは任意選択的に、幾つかの非限定例として、様々な方向に沿って画像を取り込みかつ３次元で位置を三角測量するように搭載されたカメラのような、３次元で物体（例えば指１３３０）の位置を突き止めるためのユニット、および／または表示空間１３１０内で物体までの距離を測定する距離測定ユニットを備える。

ユーザインタフェース１３００の一部の実施形態では、図７に関連して示しかつ記載したようなユニットセルの変形例が、位置決定ユニットとして動作する。ユニットセルの変形例は、表示空間１３１０からの逆光路がユニットセルにつながるように配置される。ユニットセルは任意選択的に、ユニットセルの基台に対する物体への回転角と物体までの距離との組合せによって、表示空間１３１０における物体（例えば指１３３０）の位置を測定することができる。回転角は任意選択的に光学系の回転を考慮に入れる。

本発明の一部の実施形態では、物体（例えば指１３３０）までの距離は、カメラの自動焦点システムで使用されているような距離測定システムによって測定される。本発明の一部の実施形態では、物体（例えば指１３３０）までの距離はコノスコープ距離測定システムによって測定される。

物体の位置は任意選択的にコンピュータ１３３５への入力１３４５として使用され、任意選択的にコンピュータ１３３５は、任意選択的にボリュメトリックディスプレイ１３０５によって表示される画像上で位置入力をハイライトし、例えば心臓上で位置をハイライトして、第２画像を表示するために制御命令およびデータを計算する。

任意選択的に、表示空間１３１０内に挿入された物体上の特定の位置を突き止めるために、特定の位置は物体上で選択され、特定の位置はさらにハイライトすることができる。非限定例として、指先が位置であるかもしれない。別の非限定例として、指先は色素でマーキングすることによってハイライトすることができる。色素は人間の目に対して可視とすることができ、かつ／または色素は、位置入力を突き止めるマシン・ビジョン・システムに高いコントラストを提供するように選択することができる。

任意選択的に、インタフェース１３００は、今日入手可能な３Ｄカメラによって、例えば３ＤＶシステムによって、指１３３０の位置を追跡する。

任意選択的に、ユーザインタフェース１３００は指１３３０または何らかの他の位置指示ツールの位置を追跡し、指１３３０のダイナミックな動きをユーザインタフェース１３００へのコマンドジェスチャと解釈する。コマンドジェスチャは任意選択的に、表示された画像の操作を引き起こす。ユーザインタフェースのそのような使用は、表示された物体および／または画像および／またはシーンを直接的に（仮想的に）形作る感覚をユーザにもたらす。上記感覚は、感覚フィードバックが提供される場合に特に増強される。

ここで図１３Ｂを参照すると、それは、本発明の実施形態に従って構成されかつ動作するユーザインタフェース１３５０によって表示される物体１３６５にポインタ１３８０を接触させているように見えるユーザ１３７０の略図である。

ユーザインタフェース１３５０は、空中浮遊３次元表示空間１３６０に第１画像を表示するボリュメトリックディスプレイ１３５５を含む。画像は非限定例として物体１３６５を、非限定例として心臓を表示する。

ユーザ１３７０は物体１３６５を見て、ポインタ１３８０を伸ばして明らかに物体１３６５に「接触している」。ボリュメトリックディスプレイ１３５５は、ポインタ１３８０のような実際の物体を表示空間１３６０内に挿入することを可能にする。

ユーザインタフェース１３５０はまた任意選択的に、ボリュメトリックディスプレイ１３５５に制御およびデータ１３９０を提供するコンピュータ１３８５をも含む。ポインタ１３８０の位置は、位置決定ユニット（図示せず）によって突き止められる。位置決定ユニットは任意選択的に、表示空間１３６０内に配置された実際の物体を識別することによって、ポインタ１３８０の位置を決定する。

ポインタ１３８０は任意選択的に、指より良く画定された位置入力を提示する。任意選択的に、手の指の先端よりポインタ１３８０の先端の位置を突き止める方が容易である。

ポインタ１３８０の先端は、色素または２つ以上の色素でマーキングすることによりハイライトすることができる。

一部の実施形態では、ポインタの先端は、実質的に小型の光源１３８２を含む。光源１３８２は人間の目に可視とすることができ、かつ／または光源１３８２は位置入力を突き止めるマシン・ビジョン・システムに高いコントラストを提供するように選択することができる。

ユーザインタフェースの一部の実施形態では、位置入力は、位置入力の略近くに位置するボクセルに対応するデータをユーザインタフェースに取り込ませる。

ユーザインタフェースの一部の実施形態では、位置入力は、位置入力の略近くに位置するサブ画像に対応するデータをユーザインタフェースに取り込ませる。

一部の実施形態では、ユーザインタフェースは、「アクチュエータ」の表示、すなわちボタン、レバーのような装置、または典型的には押圧し、押し引きなどする何らかのそのような装置の表示を含む。ユーザインタフェースはユーザが手および／またはポインタを表示空間に入れて、仮想的に「ボタンを押圧し」、「レバーを押すかまたは引く」ことなどを可能にする。ユーザインタフェースがアクチュエータの表示の位置に隣接する表示空間で手および／またはポインタを感知すると、ユーザインタフェースは任意選択的に、手またはポインタを置くことをアクチュエータの起動と解釈する。

ユーザインタフェースは任意選択的に、ユーザがあたかもアクチュエータを押圧し／引き／押したかのように多少感じるように、ユーザに感覚フィードバックを提供する。

ユーザインタフェースは任意選択的に、アクチュエータの起動に対応してアクチュエータの画像を移動させるように第１ディスプレイを変化させる。

ユーザインタフェースは任意選択的に、第１ディスプレイを変化させて、起動されたアクチュエータ、押されたボタン、および／またはユーザが「ボタンを押した」ことを指摘する他のそのような変化を示す。ディスプレイはユーザインタフェースによって制御され、したがって任意選択的に、起動直後にフィードバックを提供することが注目される。例えばボタンのホログラムを表示するが、それらのホログラムはフィルムから投影される静的ディスプレイであるので、ホログラムのボタンを変化させることのできない既存のホログラムディスプレイと対照的である。

本発明の一部の実施形態では、ユーザインタフェースはロボットアームの画像を表示し、コンピュータは任意選択的に、ユーザインタフェースのボリュメトリックディスプレイの表示空間にユーザによって提供された入力に従って実際のロボットアームが動くように、制御信号およびデータを送信する。

本発明の一部の実施形態では、ユーザインタフェースは任意選択的に、２つ以上の位置入力をピックアップする。位置入力は任意選択的に、ボリュメトリックディスプレイの表示空間内のいくつかの指によって、かつ／または幾つかのポインタによって、かつ／または幾つかの位置を連続的に指し示すことによって提供される。位置入力は任意選択的に、１つの指および／またはポインタ上の幾つかの点によって提供される。幾つかのポイントは任意選択的に、指上および／またはポインタ上に対照色素および／または光源によりマーキングされる。

本発明の一部の実施形態では、ユーザインタフェースは任意選択的に、２つ以上の位置入力をピックアップする。位置入力は任意選択的に、表示空間内に挿入される物体の形状に基づいて位置を計算および／または推定することによってもたらされる。非限定例として、線は任意選択的に、表示空間内に挿入された実質的に細長い物体の長軸に基づいて計算される。

ユーザインタフェースは任意選択的に、１つ以上の位置入力の移動を経時的に追跡し、かつ任意選択的に、表示空間における移動を追跡する１つ以上の経路を、任意選択的に表示空間に表示された画像上に重ね合わせて表示する。

例示的適用では、ユーザインタフェースは任意選択的に、空のディスプレイから開始し、１つ以上の位置入力の移動を経時的に追跡し、表示空間における移動を追跡する１つ以上の経路を、任意選択的に実時間でかつ／または略実時間で表示する。

例示的適用では、ユーザインタフェースは任意選択的に２つの位置入力を受け入れ、ボリュメトリックディスプレイの３次元で２つの位置入力を通過する線を画定する。線は任意選択的に、ユーザインタフェースによって表示された画像をさらに操作するために役立つ。画定された線を用いる画像操作は、非限定例として、線を中心とする回転、線長の測定、および表示された物体を線の両側の部分に分割することを含む。

例示的適用では、ユーザインタフェースは任意選択的に、同一線上にない３つの位置入力を受け入れ、ボリュメトリックディスプレイの３次元で３つの位置入力を通過する平面を画定する。平面は任意選択的に、ユーザインタフェースによって表示された画像をさらに操作するために役立つ。画定された平面を用いる画像操作は、非限定例として、平面と表示された物体との交差領域の測定、および表示された物体を平面の両側部分に分割することを含む。

例示的適用では、ユーザインタフェースは任意選択的に、同一面内に無い４つ以上の位置入力を受け入れ、４つ以上の位置入力に基づいて、ボリュメトリックディスプレイの３次元に体積を画定する。体積は任意選択的に、４つ以上の位置入力内に包含される体積、および／または４つ以上の位置入力の何らかの関数内に包含される体積として画定され、そのような表面は４つ以上の位置入力に基づいて計算される。

体積は任意選択的に、ユーザインタフェースによって表示された画像をさらに操作するのに役立つ。画定された体積を用いる画像操作は、非限定例として、体積の測定、および物体を体積の内側と外側の部分に分割することを含む。

一部の例示的適用では、ユーザインタフェースは任意選択的に、１つ以上の位置入力をピックアップする。位置入力は任意選択的に、幾つかの非限定例として、ズームイン、ズームアウト、画像のクロッピング、画像の回転、画像のスライシングのような画像処理機能を開始するための入力として使用される。

ここで図１３Ｃを参照すると、それは、本発明の実施形態に従って構成されかつ動作するユーザインタフェース１３５０の表示空間１３６０内にフレーム１３８３を挿入するユーザ１３７０の略図である。

ユーザインタフェース１３５０は、空中浮遊３次元表示空間１３６０に第１画像を表示するボリュメトリックディスプレイ１３５５を含む。非限定例として画像は物体１３６５を、非限定例として心臓を表示する。

ユーザ１３７０は物体１３６５を見て、フレーム１３８３を伸ばして物体１３６５を明らかに「取り囲んで」いる。ボリュメトリックディスプレイ１３５５は、フレーム１３８３のような実際の物体を表示空間１３６０内に挿入することを可能にする。

ユーザインタフェース１３５０はまた任意選択的に、制御およびデータ１３９０をボリュメトリックディスプレイ１３５５に提供するコンピュータ１３８５をも含む。フレーム１３８３の位置は位置決定ユニット（図示せず）によって突き止められる。位置決定ユニットは任意選択的に、表示空間１３６０内に配置された実際の物体を識別することによって、フレーム１３８３の位置を決定する。

フレーム１３８３は任意選択的に、平面、および任意選択的に平面内の限られた領域を画定する、位置入力を画定する。任意選択的に、インタフェースによって画定された平面は、本発明のボリュメトリックディスプレイを用いて観察者に表示される。任意選択的に、画定された平面は２Ｄディスプレイ上に提示される。任意選択的に、画定された平面は実時間で表示される。

本発明の一部の実施形態では、フレーム１３８３は任意選択的に３次元フレーム、例えばワイヤフレーム立方体の形のフレームである。フレームの形状は、図１３Ｃに描かれた矩形の例、または立方体に限定されず、多種多様なワイヤフレーム状の形状を含む。

フレーム１３８３は任意選択的に、フレーム１３８３内に限定される体積を画定する位置入力を提示する。

今、図１４を参照すると、それは、本発明の実施形態に従って構成されかつ動作するユーザインタフェースによって表示されている同一物体１４６５と対話する２人のユーザ１４７０ １４７２の略図である。

図１４に描かれている表示空間１４６０のユーザインタフェースは、第１ユーザ１４７０および第２ユーザ１４７２に空中浮遊画像を表示する。空中浮遊画像は物体１４６５の画像である。物体１４６５は同一場所にかつ略同一時間にユーザ１４７０ １４７２の両方に対して表示され、ユーザ１４７０ １４７２の各々は彼らのそれぞれの位置から物体１４６５を観察する。

ユーザインタフェースは任意選択的に、本書に記載するボリュメトリックディスプレイの実施形態を用いて、同一位置同一時間の表示を実現する。第１ユーザ１４７０がボリュメトリックディスプレイの表示空間１４６０に実際の物体（図示せず）を、例えば非限定例として手、ポインタ、またはフレームを置くと、第２ユーザ１４７２には第１ユーザ１４７０と同一位置に実際の物体が見える。例えば第１ユーザ１４７０がポインタを用いて表示された物体１４６５上の位置を指し示すと、第２ユーザ１４７２には同一位置を指し示すポインタが見える。

略同時という用語について、２人のユーザが物体１４６５を「同一場所で略同時に」見るという上記の記述に関連して、ここで説明する。物体１４６５の画像は任意選択的に、１秒間に数回の率で繰り返される点滅光をユーザに短時間浴びせることによって、ユーザ１４７０ １４７２の各々に表示される。ユーザ１４７０ １４７２は２人とも１秒間に数回、同一秒中に、したがって「略同時間に」物体１４６５を見る。

ユーザインタフェースの一部の実施形態では、ユーザインタフェースの空中浮遊ディスプレイは、本発明のボリュメトリックディスプレイの実施形態に関連して上述したように、第１ユーザ１４７０に対し、第２ユーザ１４７２とは異なる画像を表示する。（図１４は、第１ユーザ１４７０に対し表示される第１画像、および第２ユーザ１４７２に対して表示される異なる第２画像を描いていないことが注目される）。現在説明している実施形態では、第１ユーザ１４７０が第１画像内の第１物体を指し示す場合、第２ユーザ１４７２には表示空間を指し示している第１ユーザ１４７０が見えるが、それでもなお第２ユーザ１４７２には第１画像が見えず、指し示しは通常第２ユーザにとって意味が無い。

ここで図１５を参照すると、それは、本発明の実施形態に従って構成されかつ動作するユーザインタフェース１５００によって表示される同一物体と対話する、２人のユーザ１５７１ １５７２の略図である。

図１５のユーザインタフェース１５００は、任意選択的に互いに相手から遠く離れている２つのボリュメトリックディスプレイ１５５６ １５５７を含む。２つのボリュメトリックディスプレイ１５５６ １５５７は任意選択的に、各々コンピュータ１５５１ １５５２に接続され、２つのコンピュータ１５５１ １５５２は任意選択的に、機能的接続１５５４によって互いに機能的に接続される。

図１５の実施形態の場合の第１使用例では、第１ボリュメトリックディスプレイ１５５６は、第１ボリュメトリックディスプレイ１５５６の表示空間１５６１に第１物体１５６５を表示する。第１ユーザ１５７１はポインタ１５８１を用いて第１物体１５６５を指し示す。ポインタ１５８１によって示された位置はピックアップされ、第１コンピュータ１５５１に転送される１５９６。第１コンピュータ１５５１は任意選択的に、第１ユーザ１５７１がどこを指し示したかを示す信号および／またはデータを第１ボリュメトリックディスプレイ１５５６に送信し、任意選択的に第１ユーザ１５７１にフィードバックを提供し、かつ任意選択的に、機能的接続１５５４を介してデータを第２コンピュータ１５５２に送信する。

第２コンピュータ１５５２は任意選択的に、信号および／またはデータを第２ボリュメトリックディスプレイ１５５７に送信し、該ディスプレイは任意選択的に、第２物体１５６６の画像を第２ボリュメトリックディスプレイ１５５７の表示空間１５６２に表示する。

第２物体１５６２の画像は任意選択的に、第１物体１５６１の画像と同じように見える。第２物体１５６２の画像は任意選択的に、第１ユーザ１５７１が指し示した位置の標識をも含む。

第２ユーザ１５７２は第２物体１５６２の画像を指し示し、第２ユーザ１５７２によって指摘された位置はピックアップされかつ第２コンピュータ１５５２に転送される１５９７ことが注目される。第２コンピュータ１５５２は任意選択的に、第２ユーザ１５７２がどこを指し示したかを示す信号および／またはデータを第２ボリュメトリックディスプレイ１５５７に送信し、任意選択的に、第２ユーザ１５７２にフィードバックを提供し、かつ任意選択的に、機能的接続１５５４を介して、第１コンピュータ１５５１にデータを送信する。第１コンピュータ１５５１は任意選択的に、画像および指し示された位置を表示させる。

機能的接続１５５４は任意選択的に、第１コンピュータ１５５１と第２コンピュータ１５５２との間のネットワーク接続を含む。

一部の実施形態では、機能的接続１５５４はホワイトボーディングソフトウェアを含む。

本発明の一部の実施形態では、第１ボリュメトリックディスプレイ１５５６および第２ボリュメトリックディスプレイ１５５７は、必ずしも同一画像を表示しない。第１ボリュメトリックディスプレイ１５５６および第２ボリュメトリックディスプレイ１５５７が異なる画像を表示する一部の非限定的適用例として、教師および学生が異なる画像を見る遠隔授業、および１人のユーザが別のユーザとは異なる画像を見、任意選択的に１人のユーザが別のユーザより多くのものを見、表示の差異を使用して行われるゲームがある。

図１５は、２組のボリュメトリックディスプレイ１５５６ １５５７の使用を表わしている。３つ以上のボリュメトリックディスプレイを接続して、図１５に関連して記載したように機能することができることが注目される。

互いに接続されているが依然として互いに遠くに離れている２つ以上のボリュメトリックディスプレイの実施形態は、医療および／または授業目的に特に有用である。医学的症例を３次元ボリュメトリック画像として提示することができ、各々のボリュメトリックディスプレイ現場のユーザは、画像上の位置を指し示し、かつ画像に「接触」することによって、医学的症例について話し合うことができる。インプラントが１つの現場にあり、かつ医療画像源すなわち患者が別の現場にいる場合でも、インプラントまたはプロテーゼを医療画像にかざして、大きさを比較することができる。

図１５は、各ボリュメトリックディスプレイ１５５６ １５５７に１つずつ、２つのコンピュータ１５５１ １５５２の使用を記載している。機能的接続１５５４を介して充分な計算能力および充分な通信帯域幅が得られること前提として、１つのコンピュータを使用して両方のボリュメトリックディスプレイ１５５６ １５５７に電力を供給することができることが注目される。

ここで図１６を参照すると、それは、実際の物体１６８０と、本発明の実施形態に従って構成されかつ動作するユーザインタフェースによって表示されている物体１６１５とを比較するユーザ１６２０の略図である。

図１６は、本発明の実施形態に従って構成されかつ動作するユーザインタフェースの一部分である表示空間１６１０を示す。ユーザインタフェースは、表示空間１６１０に空中浮遊物体１６１５を表示する。ユーザ１６２０は実際の物体１６８０を表示空間１６１０に配置し、実際の物体１６８０を表示された物体１６１５と比較する。

図１６のシナリオを実世界に適用する非限定例として、３次元医療データセットを用いて心臓または血管構造のような空中浮遊物体１６１５を表示することが挙げられる。心臓または血管構造は実際の大きさで表示される。ユーザ、例えば医師または医学生は、ステントを心臓または血管構造にかざして、ステントの大きさを、意図された心臓血管または血管構造の大きさと比較する。別の例として、人工経皮心臓弁をインプラントが意図された心臓の表示された解剖学的構造にかざすことができる。空中浮遊物体と比較される実際の物体１６８０は任意選択的に、インプラント位置に、かつ／またはインプラント位置の隣に配置される。この非限定例では、ユーザはステントまたは弁の位置および向きを解釈することができ、適正な配置、および例えば大きさ、特定の製造者、または特定の技術に関して特定のステントまたは弁を選択する能力を提供する。

図１６のシナリオは、インプラントが体内にどのように収まるかを教示すること、新しいインプラントの研究および／または開発、ならびにインプラントがその目的に適合するというインプラント前の検証を可能にする。

図１５に示すユーザインタフェースは、第１位置からの医療データセットを第２の遠隔位置で表示することを可能にし、かつ任意選択的に、遠隔位置から助言、ガイダンスを提供し、大きさを測定し、インプラントおよび／またはツールサイズを比較するなどの遠隔医療セッションを開くことができる。

図１６における第１の３次元表示物体１６１５の比較は任意選択的に、第２の３次元表示物体（図１６には図示せず）に対して実行される。第１の３次元表示物体１６１５は任意選択的に、比較のために維持されるツールおよび／またはインプラントのような１組の物体の３次元表現の中の１つと比較される。

一部のシナリオでは、本書に記載した通り、ボリュメトリックディスプレイを含むユーザインタフェースに第１および第２物体を表示することによって、第１の３次元物体を第２の３次元物体と比較する。第１および第２物体は、本発明のユーザインタフェースを用いて空間的にシフトおよび／または回転させることができる。

図１６のシナリオは、必ずしも医療状況にない物体の比較を可能にする。非限定例として、物体が表示されることを前提として、通り／止まりゲージを物体の空中浮遊ディスプレイにかざして、標準に対する物体の準拠性をテストすることができる。ゲージを物体のところに運ぶ代わりに、物体の３次元ディスプレイがゲージのところにもたらされる。

図１３Ａに関連して上述したように、表示空間１６１０内における実際の物体１６８０の測定と相まって、実際の物体１６８０を物体１６１５のディスプレイと比較するシナリオは、実際の物体１６８０と表示された物体１６１５との間の差を測定することを可能にする。差は、長さ、平面面積、表面積、および体積の差のうちの１つ以上を含む。差は任意選択的に物体および／または物体の部分に対して測定される。

上述したユーザインタフェースの幾つかの詳細をここで４つの問題、すなわちディスプレイのためのデータ源、ディスプレイ装置、インタフェース装置、ならびにサポートするソフトウェアおよび通信装置に関連して列挙する。

ディスプレイのためのデータ源
典型的には、３Ｄ表現の場合、ボクセルまたはボリュメトリックデータとしても知られる大量のＸＹＺ点が任意選択的に入力され、表示される。入力は任意選択的に、そのような情報を生成する源に由来し、任意選択的にＣＡＤモデルのようなコンピュータベースのデータ、および／または医用撮像におけるＣＴまたはＭＲＩスキャンのような外部から取り込まれるデータに由来する。

任意選択的に、データは２次元、例えば２Ｄ画像またはコンピュータ、ＴＶ、ケーブル、衛星等に由来する画像ストリームとすることができる。

任意選択的に、２Ｄ／３Ｄデータ起源はホログラフィ、すなわち干渉縞または干渉縞の流れである。

任意選択的に、データは、ユーザによってマーキングされた空間内の特定の位置入力点、ユーザによって描かれる経路、および／またはユーザインタフェースとの対話中に、かつ／またはオフラインで、ユーザインタフェースの表示空間にユーザが任意選択的に生成する他の画像を含め、本書に記載する通り、本発明のユーザインタフェースに由来することができる。

任意選択的に、ソフトウェアはユーザインタフェースを解釈し、その使命に従って２Ｄまたは３Ｄデータを、ホログラフィデータも含め、生成する。例えばユーザがインタフェースツールで「タッチ」した位置に、ユーザインタフェースは任意選択的に、非限定例としてハイライトおよび／または特定の形状、例えば星形または十字形のような所定の印を表示する。

非限定例として、データは任意選択的に、人体構造のボリュームおよび空間レンダリングをもたらす、実時間３Ｄ、４Ｄ、またはボリューム・レンダリング・データとしても知られる３Ｄ医用画像から入力される。

任意選択的に、入力は３Ｄデータ画像のストリームである。

任意選択的に、入力は「実時間」で、すなわち毎秒２４フレーム以上で提供される。

２Ｄ／３Ｄデータは任意選択的に、３Ｄ撮像モダリティ、すなわちＣＴ、ＭＲＩ、ＰＥＴ、３Ｄ回転血管造影、３Ｄ超音波、および未来／新興技術から抽出される。

２Ｄ／３Ｄデータは任意選択的に、上記モダリティの組合せ、「複合撮像」または「画像融合」としても知られるデータの重ね合わせおよび／または融合を含む。例として、同一患者のＣＴおよびＭＲＩ結果の融合、ならびにＭＲ誘導超音波治療がある。

２Ｄ／３Ｄデータは任意選択的に、種々の臨床症例の解剖学的ライブラリとしての所定の解剖学的モデルのみならず、個々の患者の画像セットをも含む。

２Ｄ／３Ｄデータは任意選択的に、ＳｏｌｉｄＷｏｒｋｓのようなＣＡＤツールからの２Ｄ／３Ｄデータ起源を含む。２Ｄ／３Ｄデータは静止画像および／または画像ストリームであるかもしれない。一部のデータの標準例として、ＩＧＥＳ、３ＤＦ、ＯＢＪ等がある。

２Ｄデータは任意選択的に、例えばＶＥＳＡ標準のコンピュータからのデータ、および／または複合ビデオ、ＤＶＩ等のようなＴＶ関係システムからのアナログおよびデジタルビデオ標準を含む。

本発明の一部の適用では、データはボリュメトリックディスプレイに渡されない。そのような場合、ユーザは任意選択的に線、物体、２Ｄ画像、ボリュメトリック画像を描画し、任意選択的にインタフェースツールを介して表示空間内でデジタル・ボリュメトリック・スカルプティングを実行する。描画および／または「スカルプティング」は任意選択的に、ボリュメトリックディスプレイを介してユーザインタフェースによって略実時間で表示空間に定時される。

ディスプレイ装置
空中浮遊画像と対話するために、任意選択的にボリュメトリックディスプレイ装置が使用される。一般的に、該装置は、ユーザが画像と対話するために、データから生成された「空中に浮遊する」画像を提示する。

画像のためのデータ源は２Ｄ、３Ｄ、またはボリュメトリックであるかもしれない。

任意選択的に、本発明の広視野角ディスプレイを試用して、データは任意選択的に、画像の中心を通りかつディスプレイ装置の真ん中を通過する対称軸を有する画像によって提示される。３Ｄボリュメトリック・ホログラフィ・データは任意選択的に、１人以上の観察者によって、かつ／またはディスプレイの周りの様々な位置で１人の観察者によって観察可能な絶対座標を用いて表示される。

２Ｄ情報は任意選択的に、様々な向きに「空中浮遊」して提示され、円の３６０度の任意の方向に平面を提示する。２Ｄ画像は任意選択的に様々な供給元を起源としており、異なる画像は任意選択的に異なる観察者に表示される。

任意選択的に、画像はボリュメトリック／２Ｄの非「空中」画像の再画像であり、再結像光学系を用いることによって再画像を「空中」に作成する。

観察者の２つの目に２つの異なる画像を提示する３Ｄ視差障壁画像は任意選択的に表示される。

本発明の一部の実施形態では、３Ｄ画像のために、「空中浮遊」ディスプレイは、表示空間に絶対座標を持つ投影された３Ｄ画像を使用する。任意選択的に高品質の広視野角３Ｄディスプレイ装置が使用される。そのようなディスプレイ装置の非限定例として、本発明の広視野角ディスプレイ、およびおそらく「空中浮遊」画像を表示することのできる未来の広視野角３Ｄディスプレイ装置がある。

インタフェース装置
表示空間内での２Ｄ／３Ｄユーザ入力または操作をサポートするツールは、インタフェース媒体として使用することが考えられる。そのようなツールは、非限定例として、ペン状装置のようなハンドヘルドツール、ジェスチャ認識インタフェースユニット、指および／または指先を認識するためのような物体認識インタフェースユニット、ならびにハンドヘルドツールまたは指の位置および／または向きを追跡する能力を持つ追跡システムを含む。

任意選択的に、個別の指またはツールは各々、個別に検出し、任意選択的に個別に識別し、任意選択的に別々にマーキングすることができる。

例示的インタフェース装置としてＩＲ ＬＥＤまたはＬＥＤ付きのスタイラスがある。ＩＲカメラ／カメラは、インタラクションが行われかつ画像が提示されるユーザインタフェースの表示空間に近接して配置される。ＩＲカメラは任意選択的にＬＥＤからＩＲ信号を受信し、任意選択的に最高６までの自由度で、位置および／または向きが、位置計算ユニットによって計算される。位置計算ユニットはハードウェアおよび／またはソフトウェアで実現することができる。位置計算は任意選択的に画像処理技術を用いて実行される。位置計算ユニットは任意選択的に、ユーザ・インタフェース・プログラムに従って操作を実行するために、ツールまたは指の位置および／または向きを任意のコンピュータに渡す。例示的操作は、非限定例として、空間における点のマーキング、空間における線または画像の描画、空間における距離の計算、経路の描画、経路の絶対長の計算、経路の描画、経路の座標の保存などである。

ツール／物体を追跡するための他の例示的方法は、画像処理を実行して空間におけるツール／物体の位置／向きを抽出するＣＣＤカメラ／カメラおよび計算ハードウェア、機械的、磁気的、超音波、光学的、およびハイブリッド慣性に基づく追跡装置、上記センサの幾つかまたは全部の組合せ、および／または空間内のツール／物体の位置を突き止めるための他の方法を含む。

空間において物体を追跡する新興の方法は、コヒーレント光による物体の照射または物体への照射パターン、および結果的に得られる画像を処理して物体の位置および向きを解釈することに基づく。以上は任意選択的に実時間で実行される。すなわち画像フレームは、画像フレームを取り込むのにかかる時間内に計算される。この文脈で実時間とは、毎秒２４フレーム以上のような少なくとも映画のレートをも意味するが、任意選択的に、毎秒２フレームまたは毎秒１０フレームのレートを使用することができる。

そのような方法を開発している企業例として、Ｐｒｉｍｅ Ｓｅｎｓｅ Ｉｎｃ．（イスラエル国テルアビブ、Ｈａｂａｒｚｅｌ Ｓｔｒｅｅｔ ２８）および３ＤＶ Ｓｙｓｔｅｍｓの３ＤＶ Ｓｙｓｔｅｍｓ（イスラエル国ヨックナム、Ｃａｒｍｅｌ Ｓｔｒｅｅｔ ２、Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ Ｂｕｉｌｄｉｎｇ １、Ｐ．Ｏ．Ｂｏｘ ２４９）がある。

ＩＲ追跡の企業例として、ＮａｔｕｒａｌＰｏｉｎｔ Ｉｎｃ．（米国オレゴン州９７３３９、Ｃｏｒｖａｌｌｉｓ、Ｐ．Ｏ．Ｂｏｘ ２３１７）がある。

慣性／超音波追跡の企業例として、ＩｎｔｅｒＳｅｎｓｅ Ｉｎｃ．（米国マサチューセッツ州０１８２１ Ｂｉｌｌｅｒｉｃａ、Ｆｅｄｅｒａｌ Ｓｔｒｅｅｔ ４）がある。

支援ソフトウェアおよび通信装置
支援ソフトウェアおよび通信装置は任意選択的に、ディスプレイ表示用のデータ源を処理し、ディスプレイ装置とインタフェース装置との間で同期し。かつそれらの間でデータを転送する。

支援ソフトウェアおよび通信装置は、複合データが任意選択的にディスプレイ装置によって単数／複数のユーザに提示されるような仕方で、提示される情報がオリジナルデータ、入力データ、またはインタフェース装置の結果として生成される解釈された操作を含むように、ユーザインタフェースの他のユニット間の通信およびデータ転送に関与する。

任意選択的に、複合データは、静止３Ｄ画像または動的画像上に実時間で提示される。

任意選択的に、画像は２Ｄである。

任意選択的に、画像はホログラムである。

任意選択的に、支援ソフトウェアおよび通信装置は、例えば３Ｄインタフェースを介してユーザから受け取る経路または他の指示に従って空間でタスクを実行するためのロボットのような、他のシステムと通信することができる。

任意選択的に、通信はデータまたはデータの一部を遠隔ディスプレイ装置に転送する。

任意選択的に、通信は、データまたはデータの一部を他の遠隔システムに転送し、それはデータを用いて、「空中」画像内でのインタラクションを、遠いか近いかに関わらず、遠隔システムで活用することを可能にする。

任意選択的に、データはＲＦを介して送信される。

任意選択的に、データは有線物理層を介して送信される。

任意選択的に、２人（またはそれ以上）の異なるユーザが、同一装置（システムおよびディスプレイ）を使用して、同一位置で同一ボリュメトリックまたは２Ｄ「空中」画像と対話する。

任意選択的に、２人（またはそれ以上）の異なるユーザが、別個であるが通信接続された装置（システムおよびディスプレイ）を使用して、異なる位置で同一ボリュメトリックまたは２Ｄ「空中」画像と対話する。

適用例
本発明のユーザインタフェースの幾つかの適用例について下述する。

特定点の「空中」マーキング
投影されたボリュメトリック画像（任意選択的にホログラム）に対し、ユーザは特定の位置を指し示す。聴覚的指示および／またはボタンクリック指示により、ユーザは表示空間内の特定の点にマーキングする。例えば追跡センサ付きスタイラスが使用され、特定の点はユーザによってボリュメトリック画像にマーキングされる。ユーザインタフェースはスタイラスの空間位置および／または向きを記録し、それを支援ハードウェアに保存する。保存された点は特定の単数または複数のボクセルに解釈され、ディスプレイ装置は任意選択的に、点を実時間でボリュメトリック画像上に提示する。

任意選択的に、ユーザインタフェースは初期画像が表示空間に投影されない状態で始動し、その後に単数／複数のユーザによってマーキングされた点だけが表示空間に現われる。

画像が投影される間、ユーザインタフェースは、画像内の「ボクセル」とも呼ばれる特定の点を「タッチ」することによって、表示空間の点を取り込むことを可能にする。任意選択的に、点の近傍は、点を取り巻く所定の「クラウド」による取込みを可能にするので、ユーザは正確な位置にタッチする必要が無く、例えば人間の手を使用する場合、不正確さに対し多少の許容範囲を有する。

任意選択的に、ディスプレイ装置は、ユーザが充分近くを指し示すとユーザが任意選択的に「掴む」ことのできる特定のマーキングされた点を投影し、次いでユーザはポインティングツールのボタンを押して、点を「掴む」ことができる。

任意選択的に、画像を「マーキング」すると、マーキングされた領域の「タグ付け」が可能になり、動的画像の場合、マーキングされた領域を分離し、マーキングされた領域の動きを任意選択的に経時的に追跡することができる。例として、任意選択的にインタフェース装置によってタグ付けされた僧帽弁弁尖の追跡がある。表示された画像のタグ付けされていない部分は任意選択的に除去され、動的弁尖は任意選択的に追跡され、かつ特異的に学習される。タグ付けは任意選択的に医療介入の前および後に実行され、画像は比較および介入効果の評価のために任意選択的に重ね合わされる。そのようなタグ付けは任意選択的に、心筋の再同期前および後、電気生理学的経路のアブレーション前および後等を含め、画像の他の静的および／または動的部分に適用される。

「空中マーキング」の追加的例として、
超音波ベースの診断、介入性心臓医療処置等のような医用撮像に有用な支援ソフトウェアによって実行されるエッジ認識の後で任意選択的に行われる、人手によるエッジ補正のためのツール、
器官内の位置のマーキング、
腫瘍の位置のマーキング、
装置の植込みを提案された体内、器官、および治療介入にマーキング、および
身体、器官の外部の位置のマーキング 空間または器官における固定点と呼ばれ、かつ身体または器官の運動中、または身体または期間の外側の運動中に、例えばＥＣＧゲーティングまたは呼吸のような
関係を維持する身体、器官の外側の位置のマーキング
が存在する。

特定の点の「空中」マーキングは、空間画像の観察者によって直観的かつ正確に、目から手へ、手からユーザインタフェースへ、ユーザインタフェースからディスプレイへ、かつディスプレイから目へと「ループを閉じる」ことを可能にする。後で、マーキングされた点または領域は、関心空間領域を取り扱う他のシステムに転送され、そのシステムによって使用されるかもしれない。例として、腫瘍の場合に特定の領域に対する放射線の集束、器官上にマーキングされた特定の点にアブレーションを実行するロボットまたはツール等を挙げることができる。

体積および長さの定量化
投影画像、例えば骨組織に対して、ユーザは任意選択的に、骨の画像の１つの端部をマーキングし、次いで骨の画像の別の端部をマーキングする。ユーザ・インタフェース・システムはマーキングされた点を標識し、ソフトウェアモジュールを介する計算によって骨の長さを任意選択的に計算する。

経路の長さが必要である場合、ユーザは任意選択的に３つ以上の点をマーキングし、経路長が任意選択的に計算される。任意選択的に、連続経路がユーザによって描画され、ユーザ・インタフェース・システムは連続経路の長さを計算する。

体積を定量化するために、体積輪郭上に幾つかの点、例えば１０個の点が任意選択的にユーザによってマーキングされ、ユーザ・インタフェース・ソフトウェアは任意選択的に点間の体積を計算する。任意選択的に、ソフトウェアは測定値を外挿し、点によってマーキングされた物体に近い形状の連続体積を表示し、体積を計算する。任意選択的に、計算された形状は実時間で画像上に提示され、計算された形状のエッジを実際の形状のエッジに移動させ、体積の微調整および体積の定量化を可能にすることによって、ユーザがエッジ補正を実行することが可能になる。

任意選択的に、投影画像は１：１のスケーリングで投影される。任意選択的に投影画像は、任意選択的にユーザの入力により、拡大されるかあるいは縮小して提示される。ユーザ・インタフェース・システムは任意選択的にスケーリングを定めるので、様々なスケールで表示された物体上で測定を行うことができ、ユーザ・インタフェース・システムは任意選択的に、スケーリングファクタを用いて絶対測定値を出力する。

特定の点の「空中」マーキングは、長さ、距離、または体積の空中定量化を可能にする。ユーザは、システムが長さまたは距離を算出するために２つの点をマーキングし、あるいはユーザ・インタフェース・システムが体積を算出するために複数の点をマーキングする。

医療分野には、ときどき身長、体重、および／または体表面積に従って算出される、様々な器官の容認された正常な表面積および体積が存在する。面積または体積はｍｌ、ｌ、平方または立方ｃｍで表わされ、典型的には偏差値の範囲でＺ値等として表わされる。任意選択的に、ユーザ・インタフェース・システムは正常な面積または体積を静的または動的に、単独でかつ／または実際の画像または計算された画像、例えば肺体積を生成するためにＣＴ、ＭＲＩ、または他のそのようなモダリティから撮影された静的もしくは動的な器官の実際の画像と共に投影する。

定量化のための使用例を以下に幾つか列挙する。

心臓病学の分野では、拍動する心臓の体積に基づく駆出率の定量化。

肺臓学の分野では、肺機能の容量分析。

標準的基準に基づいて、器官の体積を器官の予想体積と比較する。

産科の分野では、胎児の器官または胎児の身体の面積および／または体積定量化に基づいて、胎児を診断する。

体積定量化が有用であるその他の分野として、整形外科および、例えば腫瘍のマッピングおよび測定のための腫瘍学が挙げられる。

フレーム状インタフェース装置
ユーザインタフェースのユーザ、例えば医師はしばしば、ボリュメトリック画像内の特定の平面を観察したくなる。観察される特定の面は、様々な向きおよび位置であり得る。特定の平面の人間にとって自然な選択の方法を、本発明のユーザインタフェースに関連して記載する。

ボリュメトリック画像は投影され、インタフェース装置の位置および向きは任意選択的に、下述の通り、３Ｄボリュメトリック画像内の平面を画定する。

任意選択的に画像の長軸の長さ程度の対角線長を持つ平面フレームが使用される。平面は「ワイヤフレーム」すなわち輪郭線として、または１片の透明な材料、任意選択的にガラスまたはポリカーボネートとして作成することができる。マーカを任意選択的にフレームエッジ上に、例えばＩＲ ＬＥＤを隅に、配置することができる。ユーザはフレームを投影画像内に文字通り挿入し、投影画像内の特定の面または面内のフレームを標識する。特定の面内またはフレーム内に含まれるデータは処理され、特定の面またはフレームは任意選択的に、ボリュメトリックディスプレイおよび／または通常の２Ｄディスプレイ上に投影することができる。

任意選択的に、画像内のフレームの連続移動は、同一ディスプレイ上、または対応する２Ｄディスプレイ上に平面画像の連続的ストリームを生成する。

任意選択的に、ボリュメトリックディスプレイはフレームの端で像面を「クロッピング」する。

任意選択的に、フレームは平面を画定する任意の大きさおよび形状とすることができる。任意選択的に、フレームは、画像内に３次元形状を画定する３次元フレームとすることができる。

任意選択的に、平面のマーキングは、マーキングされた平面の「タグ付け」を可能にする。任意選択的に、動的な投影画像の場合、マーキングされた面積は任意選択的に分離され、面積の移動は経時的に追跡される。

ユーザインタフェースの非限定的使用例として、３Ｄ回転血管造影法（３ＤＲＡ）を使用するときに、経カテーテル処置中に、医師が任意選択的に、医師の前に「浮遊する」ボリュメトリック画像から抽出され、かつフレーム状インタフェースによって画定された特定の面を、２Ｄディスプレイ上で観察するために選択することを含む。

空中画像操作インタフェース
提示されたボリュメトリック画像に対し、ユーザは任意選択的に、画像上に、または画像の輪郭線上に１点をマーキングし、ジェスチャまたは何らかの他の点マーキング法によって、特定方向の画像の回転を定義する。任意選択的に、ユーザは２つの点をマーキングし、回転軸が２つの点によって画定される線によって画定される軸となるように、画像を回転させる。上記操作は任意選択的に、少なくとも部分的に、マーキングされた点の受取り、ディスプレイによって投影される画像を定義するマーキングされた点のソフトウェアおよび／またはハードウェアによる解釈に基づいて、かつ任意選択的に、ユーザによって提供される特定の「コマンド」、例えば「回転せよ」に基づいて実行される。対応する画像は任意選択的に、ディスプレイを介してレンダリングされ、かつ提示される。任意選択的に、この操作は実時間で実行される。

任意選択的に、ユーザは、表示された物体内で３つ以上の点をマーキングすることによって面またはフレームを画定し、かつ面またはフレームだけが投影されるように物体を「スライス」する。任意選択的に、ユーザは面の両側でかつ／またはフレームの外側で画像をクロッピングすることを選択する。任意選択的に、ユーザはクロッピング操作を繰り返し、こうして一連の「クロッピング」面を画定することができる。

任意選択的に、インタフェース装置の向きにより、実時間線が画像に投影され、画像は任意選択的に、「線の」経路に従ってクロップされる。

任意選択的に、インタフェース装置の向きにより、それを中心に画像が回転することのできる対称軸として任意選択的に働く実時間線がユーザによって画定される。

任意選択的に、ズームインおよび／またはズームアウトのような表示のある「空中」ボタンが表示され、ユーザはインタフェース装置でボタンに「タッチ」することができる。

任意選択的に、ユーザはフレーム状インタフェースを使用して、ボタンまたは何かそのような形のコマンドを押したときに、任意選択的に画像の一部分を「取り込む」。そのような場合、ユーザは任意選択的に、全ての仮想画像を彼の手により、かつ／またはフレームにより、「あたかも」仮想画像が物理的にフレームに接続されているかのように、動かすことができる。上記能力は、スティックに接続された物体を動かすのと同様であり、ユーザは任意選択的に、棒付きアイスキャンデーを動かすように、スティックを動かすことによって物体を動かす。

「空中」ナビゲーション
ユーザ・インタフェース・システムは任意選択的に、位置インジケータの位置を受け取り、その位置を表示空間に提示する。システムは任意選択的に、その中でツールがナビゲートする画像を、例えばＣＴデータからの画像または実時間超音波画像を提示する。システムは任意選択的に、任意選択的にスケール相関後に、任意選択的にツールを追跡するためのユニットのような多種多様な情報源からのツールの位置の標識を画像上に重ね合わせる。次いでユーザは任意選択的に、ツールが正しい位置または正しいルート上にあるかどうかを視覚的に検査する。ツール位置が正しくない場合、ユーザは、投影されたボリュメトリック画像内のツール位置インジケータを仮想的に「タッチ」して、ツール位置インジケータを好適な位置および／またはルートまでドラッグすることができる。位置および／またはルートの新しい座標はインタフェースツールによって記録され、任意選択的にツールナビゲーションユニットに提供される。

任意選択的に、位置インジケータのナビゲーションを制御するシステムは、ユーザの指示に従って実際の位置インジケータの動きを補正する。

任意選択的に、第１ユーザの指示に従って、第２医師および／またはユーザはインタフェース装置を手動で移動させる。インタフェース装置は任意選択的に画像上に連続的に提示されるので、制御ループはユーザによって視覚的制御を介して「閉じられる」。

任意選択的に、ユーザは、インタフェース装置を用いて表示空間に経路を描画する。システムは任意選択的に、経路内の全ての点の座標を記録する。経路の座標は、ロボットのような別個の機械により、描画された経路に従うように機械を制御するために使用することができる。

任意選択的に機械は、任意選択的に機械の画像を投影するためにボリュメトリックディスプレイを用いて、医師および／または自動機械によって監視され、かつ経路の実時間補正を行うことができる。

３Ｄナビゲーションは、電気生理学に基づく心臓処置における重要な応用分野になった。「空中」ナビゲーションは任意選択的に、ユーザが静的または動的画像のみならず、画像上に重ね合わされた位置インジケータおよび／または経路をも、任意選択的に実時間で見ることを可能にする。別の例として、肺の奥深くの病変のみならず、縦隔リンパ節内の病変に対しても、最小侵襲性アクセスを達成するために、電磁気３Ｄナビゲーションも肺臓学／気管支鏡検査で実現される。

追跡される上記機械は、ツールまたは植設可能な装置またはセラピー、例えば薬剤、ステント、カテーテル、弁、永久もしくは一時的ツールの組合せ、薬剤溶出ステント、塞栓粒子に取り付けられた化学療法、無線周波数または音響エネルギ、超音波またはＦＩＦＵのような身体または器官の外部からの力もしくはエネルギによって影響される装置またはセンサ、アブレーション用の高周波カテーテル、および冷凍アブレーション用のカテーテルであるかもしれない。

遠隔外科手術
どこかにある実際のツールの遠隔ロボット操作を引き起こす、表示空間におけるツールの画像の上記操作は、身体を介する遠隔外科手術および／または遠隔ナビゲーションを可能にする。

任意選択的に、ユーザは、人体をも表示する第１ボリュメトリックディスプレイの表示空間で実際のツールを操作する。操作は追跡され、実際の操作が、遠隔位置における実際のツールに行われる。遠隔位置における身体の変化は３次元撮像装置によってピックアップされ、第１ボリュメトリックディスプレイに送信される。こうしてユーザは、実際のツールの実際の操作の結果の画像を見る。

任意選択的に、ユーザは、人体をも表示する第１ボリュメトリックディスプレイの表示空間で、ツールの画像すなわち仮想ツールを操作する。操作は追跡され、実際の操作が遠隔位置における実際のツールに行われる。遠隔位置における身体の変化、および実際のツールの変化も、３次元撮像装置によってピックアップされ、第１ボリュメトリックディスプレイに送信される。こうしてユーザは、身体の画像上で実際のツールの実際の操作の結果の画像、およびツールの画像を見る。

「空中」描画
本発明は、その一部の実施形態では、ボリュメトリック投影画像内に点、線、および／または経路を描画するためのツールを提供し、かつユーザが描画を実時間で見ることを可能にする。「空中」描画は任意選択的に、ユーザ／医師間のコラボレーションツールを提供し、点の描画または空間のマーキングを可能にし、画像内の特定の組織または関心領域に関する話し合いを可能にする。

任意選択的に、「空中」描画はコンピュータにより、任意選択的に実時間で、表示空間の座標に変換される。任意選択的に、「空中」描画はコンピュータにより、任意選択的に他の機器、例えばロボットによって使用される何らかの他の空間の座標に変換される。

「空中」描画の医療用途の非限定例として、誘導用の特定のマーカの実時間位置検出がある。

表示画像内部における仮想物体の配置
本発明は、その一部の実施形態では、入力源からのデータから生成された表示画像内に仮想物体の画像を合成するためのツールを提供する。表示画像内部に仮想物体を配置するための１つの用法は、ボリュメトリック画像の表示を介して機器の選択をシミュレートすることである。

種々のツール／物体を３Ｄでモデル化することができ、該モデル化は任意選択的に動的操作を含む。

ユーザは任意選択的に、３Ｄインタフェースを用いて表示空間内で仮想ツール／物体を捉え、仮想ツール／物体を移動させ、ツール／物体を特定の位置および向きに配置する。例えば大きさおよび形状が特定の弁に類似した仮想心臓弁の画像を任意選択的に生成する。ユーザは任意選択的に、仮想弁を患者の心臓の画像上にドラッグする。ユーザは任意選択的に、心臓の画像上のインタフェース点および仮想弁上の対応する点をマーキングする。ディスプレイ演算ユニットは任意選択的に心臓および仮想弁の複合画像を計算し、組合せをユーザに提示する。ユーザは任意選択的に、弁が正しい位置および向きにあるか否かを評価し、必要ならば任意選択的に別の測定／指示を実行する。ユーザはまた任意選択的に、弁の大きさが適合するか否かをも評価する。

任意選択的に、仮想弁は動的であり、心臓の動的または静的画像上に重ね合わせることができる。

任意選択的に、血流および組織の動きのシミュレーションが予測され、慶安され、表氏される。

任意選択的に、ユーザは、表示空間内に表示するために、仮想画像のライブラリから、各々が特定の実際のツールまたはインプラントを表わすインスタンスを呼び出す。心臓ステントのような拡張ツールの場合、ライブラリは任意選択的に、拡張されていない形のツールおよび拡張プロセスの動的表現を含む。

表示画像内部に仮想物体を配置するための用法の他の非限定例として、弁配置、整形外科プロテーゼの装着、心臓内および心外プロテーゼ、装置、植設可能な装置、ステント、大動脈グラフト、ステントグラフト、および心室内装置、例えば心室補助装置の装着がある。

画像内部における実際の物体の配置
本発明は、その一部の実施形態では、入力源からのデータから生成された画像内に実際の物体を合成するためのツールを提供する。合成は任意選択的に、心臓弁の選択のような実際の機器の選択に役立つ。

ユーザは任意選択的に、実際の物体を、任意選択的に後で体内に挿入される実際の物体を、表示された画像内に配置する。実際の物体は手で挿入することができ、かつ／または実際の物体を保持するためのツールを用いて挿入することができる。ユーザは任意選択的に、ボリュメトリック「空中」ディスプレイに投影された器官の静的または動的画像内に物体を配置する。ユーザ／医師は任意選択的に、こうして自分が実際の物体を体内に挿入したいと思っている方法、実際の物体と身体器官との物理的適合のレベル等を評価する。

画像内部に実際の物体を配置するための用法の別の非限定例として、弁の配置がある。

双方向型ゲーム
ボリュメトリックディスプレイの表示空間への実際の物体の挿入は、ユーザ・インタフェース・システムをゲームに使用することを可能にする。

非限定例として、ユーザは任意選択的に、剣、ツール、または同様のゲームの小道具をボリュメトリックディスプレイ上の３次元の仮想現実ディスプレイによるゲームで巧みに扱う。

サポートされるゲームのタイプの非限定例として、図１５に関連して上述した通り、通信によって接続された２つ以上の異なるボリュメトリックディスプレイにおける、２人以上のユーザによる仮想剣闘がある。

本発明のボリュメトリックディスプレイによって特にサポートされる興味深いゲームは、仮想ｐｉｎａｔａである。第１ユーザはボリュメトリックディスプレイの表示空間内で「杖」を巧みに扱い、表示空間で仮想ｐｉｎａｔａを見ない。他のユーザは表示空間で仮想ｐｉｎａｔａを見、かつ第１ユーザが巧みに扱う「杖」を見る。仮想ｐｉｎａｔａゲームは１つのボリュメトリックディスプレイで２人以上のユーザがゲームの周りで遊ぶか、あるいは２つ以上のボリュメトリックディスプレイで遊ぶことができる。

別の興味深いゲームは、同一ボリュメトリックディスプレイ上で各ユーザには自分自身の戦艦しか見えない、単数または複数の「戦艦」のゲームである。

実際の物体を表示空間内に挿入する能力に基づく別の興味深い分類のゲームとして、ピックアップスティックおよびジェンガのような手と目の協調のゲームがある。ゲームは任意選択的に、ボリュメトリックディスプレイに３次元表示される仮想コマを使用し、ユーザは表示空間内にリーチしながらコマを「捕獲」する。追跡装置は任意選択的に、指間のギャップを測定し、ユーザがコマを手にしたときにそれを確認する。

一般的注釈
本出願から成熟する特許の存続期間の期間中には、多くの関連する空間光変調器、ホログラム生成ユニット、およびボリュメトリックディスプレイが開発されることが予想され、対応する用語の範囲は、すべてのそのような新しい技術を先験的に包含することが意図される。

用語「結像」および「投影」は本書では相互交換可能に使用される。

例示的という用語は、実施例、事例、または例証としての役割を果たすという意味で使用される。

用語「含む／備える（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ、ｉｎｃｌｕｄｅｓ、ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、およびそれらの同根語は、「含むが、それらに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」ことを意味する。

用語「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」は、「含み、それらに限定される（ｉｎｃｌｕｄｉｎｇ ａｎｄ ｌｉｍｉｔｅｄ ｔｏ）」ことを意味する。

表現「から本質的になる（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」は、さらなる成分、工程および／または部分が、主張される組成物、方法または構造の基本的かつ新規な特徴を実質的に変化させない場合にだけ、組成物、方法または構造がさらなる成分、工程および／または部分を含み得ることを意味する。

用語「任意選択的」は、本明細書では、「一部の実施形態に与えられるが、他の実施形態には与えられない」ことを意味するために使用される。本発明のいかなる特定の実施形態も対立しない限り複数の「任意選択的」な特徴を含むことができる。

本明細書中で使用される場合、単数形態（「ａ」、「ａｎ」および「ｔｈｅ」）は、「少なくとも一つ」を示すために使用され、従って、それは「１つ」および「１つより多い」の両方を明白に開示する。文脈がそうでないことを明確に示さない限り、複数の参照物を包含する。例えば、用語「ミラー」は、複数のミラーを包含し得る。

本明細書中で使用される用語「約」は、±１０％を示す。

範囲は、本明細書では次の二つの等価な形態で交換可能に与えられる：「ＸからＹまで（Ｘ ｔｏ Ｙ）」および「ＸとＹの間（ｂｅｔｗｅｅｎ Ｘ ａｎｄ Ｙ）」、そしてＸ，Ｙ、およびそれらの間のあらゆる数をカバーする。

明確にするため別個の実施形態の文脈で説明されている本発明の特定の特徴が、単一の実施形態に組み合わせて提供されることもできることは分かるであろう。逆に、簡潔にするため単一の実施形態で説明されている本発明の各種の特徴は別個にまたは適切なサブコンビネーションで、あるいは本発明の他の記載される実施形態において好適なように提供することもできる。種々の実施形態の文脈において記載される特定の特徴は、その実施形態がそれらの要素なしに動作不能である場合を除いては、それらの実施形態の不可欠な特徴であると見なされるべきではない。

本発明はその特定の実施態様によって説明してきたが、多くの別法、変更および変形があることは当業者には明らかであることは明白である。従って、本発明は、本願の請求項の精神と広い範囲の中に入るこのような別法、変更および変形すべてを包含するものである。

本明細書で挙げた刊行物、特許および特許出願はすべて、個々の刊行物、特許および特許出願が各々あたかも具体的にかつ個々に引用提示されているのと同程度に、全体を本明細書に援用するものである。さらに、本願で引用または確認したことは本発明の先行技術として利用できるという自白とみなすべきではない。節の見出しが使用されている程度まで、それらは必ずしも限定であると解釈されるべきではない。

Claims (129)

1. 空中浮遊ディスプレイ装置をある位置に提供するステップと、前記位置の周りに少なくとも２００度の円弧角を含む角度範囲にわたって観察可能な１つ以上の空中浮遊コンピュータ生成画像を前記装置から投影するステップとを含む、空中浮遊画像表示の方法。
2. 投影するステップは、観察者が予想される小さい角度に対して選択的に投影することを含む、請求項１に記載の方法。
3. 投影するステップは、複数の画像生成モジュールを用いて選択的に投影することを含む、請求項１に記載の方法。
4. 投影するステップは、同一座標系で異なる画像を異なる方向に投影することを含む、請求項１に記載の方法。
5. 投影するステップは２Ｄ画像を投影することを含む、請求項１に記載の方法。
6. 投影するステップは、物体のプレゼンテーション角度がその視野角と共に変化して物体の周りを動き回る効果に適合するように、前記物体の画像を投影することを含む、請求項１に記載の方法。
7. 投影するステップは３Ｄ画像を投影することを含む、請求項１に記載の方法。
8. 投影するステップはホログラムを投影することを含む、請求項１に記載の方法。
9. 投影するステップは、画像の投影距離を調整することを含む、請求項１に記載の方法。
10. 投影するステップは、画像の焦点距離を調整することを含む、請求項１に記載の方法。
11. 投影するステップは、同一観察者の異なる目のために異なる画像を投影することを含む、請求項１に記載の方法。
12. 投影するステップは、前記装置内の単一点から投影することを含む、請求項１に記載の方法。
13. 投影するステップは、共有座標系で画像を投影することを含む、請求項１に記載の方法。
14. 投影するステップは、ディスプレイ基板によって占有されない場所に前記画像を結像することを含む、請求項１に記載の方法。
15. 少なくとも１８０度の視野角の範囲にわたって同時に観察可能な空中に浮遊するコンピュータ生成ホログラムを投影するホログラムディスプレイ装置。
16. 前記ホログラムは少なくとも２０度離れた視点から同一座標セットを共有する、請求項１５に記載のディスプレイ装置。
17. ホログラム生成ユニットおよびホログラムを投影するための少なくとも１つのレンズを含む、請求項１５に記載のディスプレイ装置。
18. 少なくとも１つの距離制御ユニットを含む、請求項１５に記載のディスプレイ装置。
19. 少なくとも１つのホログラム照準機構を含む、請求項１５に記載のディスプレイ装置。
20. 複数の観察者にコンテンツを表示する方法であって、各々コンテンツの少なくとも一部分のものでありかつ各々がそれ自体の観察可能性空間から観察可能である複数のボリュメトリック画像を形成するステップと、１つ以上の前記観察可能性空間の一部分を各々の観察者の瞳とオーバラップさせるステップとを含む方法。
21. 観察可能性空間は９０度にわたることができる、請求項２０に記載の方法。
22. コンテンツは単一シーンであり、前記ボリュメトリック画像の各々は、異なる視点から観察可能な前記単一シーンの１面の画像である、請求項２０に記載の方法。
23. 観察者は、前記ボリュメトリック画像の１つによって占有される空間の周りの異なる方位角に存在する、請求項２０に記載の方法。
24. 前記異なる方位角は全円に及ぶ、請求項２３に記載の方法。
25. 前記異なる方位角は少なくとも半円に及ぶ、請求項２３に記載の方法。
26. ２人の前記観察者は互いに少なくとも１メートル離れている、請求項２０〜２５のいずれかに記載の方法。
27. 観察者は同時に画像を見る、請求項２０〜２６のいずれかに記載の方法。
28. 観察可能性空間は一連の短期間だけ観察者の目とオーバラップし、前記短期間は前記観察者が連続ビューを見るように時間的間隔を置く、請求項２０〜２７のいずれかに記載の方法。
29. 複数の観察者にコンテンツを表示するためのシステムであって、各々コンテンツの少なくとも一部分のものでありかつ各々がそれ自体の観察可能性空間から観察可能である複数のボリュメトリック画像を生成するためのユニットと、１つ以上の前記観察可能性空間の一部分を各々の観察者の瞳と制御する光学系とを含むシステム。
30. 光学系が、少なくとも１つの前記観察可能性空間から観察可能なボリュメトリック画像について、前記観察可能性空間の方位角を決定する方位決定要素を含む、請求項２９に記載のシステム。
31. 近軸画像を生成する画像生成ユニットと、ステージ上の画像が観察可能性空間から観察可能であるようにステージを画定しかつ前記近軸画像を前記ステージに結像する光学系とを含むシステムであって、前記光学系がアイピースおよびミラーを含み、ミラーが複数の異なる方位角のアイピースに光を指向させるように構成され、前記方位角の各々が前記観察可能性空間に対し異なる位置を決定し、かつ前記方位角の各々に対しステージの位置が同一であるように構成されたシステム。
32. 少なくとも２つの異なる方位角に対し、２つの異なる仰角が提供される、請求項３１に記載のシステム。
33. 第１位置に瞳を有しかつ第２位置を見ている観察者によって見られる近軸画像を結像する方法であって、近軸画像を生成するステップと、最広部分およびより狭い部分を有する観察可能性空間から近軸画像の像が観察可能であるように、観察者が見ている位置に近軸画像を結像するステップと、観察者の瞳の位置に応答して第３位置を選択するステップと、選択された第３位置に観察可能性空間の最広部分を結像するステップとを含む方法。
34. 所与の位置に目を向けている観察者にシーンを表示する方法であって、観察者の目の位置を推定するステップと、シーンが前記所与の位置で所与の向きにあった場合に観察者がどのシーン部分を見たかを推定するステップと、前記推定されたシーン部分を含むシーンの一部分だけのコンピュータ生成ホログラムを所与の位置に結像するステップとを含み、観察者がホログラムを見ることができるように結像が行なわれるようにした、方法。
35. 観察者の目の位置を追跡するステップと、観察者が移動するときに前記所与の位置にホログラムを見続けるように、コンピュータ生成ホログラムを結像するステップとを含む、請求項３４に記載の方法。
36. コンピュータ生成ホログラム（ＣＧＨ）を結像するためのシステムであって、空間光変調器（ＳＬＭ）を含むホログラム生成ユニットと、前記ユニットによって生成されたホログラムを第１位置に結像しかつＳＬＭの画像を第２位置に結合するように構成された光学系と、ＣＧＨが光学系とＳＬＭの画像との間の位置に結像されるように、前記ＳＬＭの画像の第２位置への結像を制御するように構成されたコントローラとを含むシステム。
37. 前記コントローラは、前記ＳＬＭの画像を前記所望の位置で所望の向きに生成すべく、前記光学系を制御するように構成される、請求項３６に記載のシステム。
38. 前記コントローラは、所望の位置および／または向きをオンラインで変更するように構成される、請求項３６又は３７に記載のシステム。
39. 前記所望の位置および／または向きの指標のオンライン受取りのための入力を含む、請求項３８に記載のシステム。
40. 前記入力は、目追跡ユニットから観察者の目の位置を示す信号を受け取るためのレシーバを含み、前記コントローラは、観察者の目が前記所望の位置を含む観察可能性空間内に存在するように、前記ＳＬＭの画像を前記所望の位置に投影すべく前記光学系を制御する、請求項３９に記載のシステム。
41. 前記光学系は、オブジェクティブと、アイピースと、前記所望の位置とアイピースおよびオブジェクティブの１つ以上との間の距離に応答してオブジェクティブとアイピースとの間の光路長を調整するように制御可能な光路長調整ユニットとを含む、請求項３６〜４０のいずれかに記載のシステム。
42. 前記光路長調整ユニットは、前記光路長をオンラインで調整するように構成される、請求項４１に記載のシステム。
43. オブジェクティブからミラーに達した光をアイピースの一部分に反射するミラーを含み、ミラーは、前記光をアイピースの様々な部分に反射するように制御可能である、請求項３６〜４２のいずれかに記載のシステム。
44. 前記アイピースは中空体を含む、請求項３６〜４３のいずれかに記載のシステム。
45. 前記中空体は、放物線と同じ面上に無い軸を中心に放物線を回転することによって得られる回転体として形成される、請求項４４に記載のシステム。
46. 前記中空円筒体は球の一部分である、請求項４４に記載のシステム。
47. ホログラム生成ユニットは前記アイピースの内部にある、請求項４４〜４６のいずれかに記載のシステム。
48. 前記アイピースの中心軸を中心に回転する回転ミラーを含む、請求項４４〜４７のいずれかに記載のシステム。
49. オブジェクティブから前記回転ミラーに達した光はアイピースに向かって反射する、請求項４８に記載のシステム。
50. 前記光はオブジェクティブから１つ以上の光学素子を介して回転ミラーに到達する、請求項４９に記載のシステム。
51. 前記１つ以上の光学素子は、オブジェクティブとアイピースとの間の光路長を調整するように制御可能な光路長調整素子を含む、請求項５０に記載のシステム。
52. 少なくとも９０度の円弧角にわたる内部反射壁を有するアイピースと、空洞内部に存在する画像生成ユニットとを含み、前記アイピースが前記画像生成ユニットから１人以上の観察者に画像を投影するように構成された、結像のためのシステム。
53. 前記画像生成ユニットは、ある角度範囲にわたって前記画像を投影するように動く少なくとも１つの素子を含む、請求項５２に記載のシステム。
54. 前記システムは、前記観察者が壁に囲まれるように構成される、請求項５２に記載のシステム。
55. 前記アイピースは中空であり、空洞を画定し、画像生成ユニットは前記空洞内部に存在するホログラム生成ユニットを含み、前記ホログラム生成ユニットによって生成されたホログラムから前記内壁に至る光路上にオブジェクティブを含む、請求項５２に記載のシステム。
56. 各々がオブジェクティブに関連付けられる複数のホログラム生成ユニットを含む、請求項５５に記載のシステム。
57. 前記アイピースを用いて、単一位置で異なるコンピュータ生成ユニットによって生成されたホログラムの画像を形成するように構成される、請求項５６に記載のシステム。
58. 前記単一位置は前記アイピースの内側にある、請求項５７に記載のシステム。
59. 前記中空アイピースは内部反射面を有する、請求項５５〜５８のいずれかに記載のシステム。
60. 前記内面の形状は、第１面上に存在するカーブを、前記第１面以外の第２面上に存在する回転軸を中心に回転することによって得られる、請求項５９に記載のシステム。
61. 前記回転軸は前記第１面に対して垂直である、請求項６０に記載のシステム。
62. 前記内面は球殻の一部として形作られる、請求項５５〜５８のいずれかに記載のシステム。
63. 複数のホログラム生成ユニットの各々が空間光変調器（ＳＬＭ）を含み、複数のユニットセルの各々が、ＳＬＭと前記ＳＬＭによって生成されたホログラムとの間に焦点が位置する集光オブジェクティブを含む、請求項５５〜６１のいずれかに記載のシステム。
64. 複数のユニットセルは各々、オブジェクティブ、および前記オブジェクティブとアイピースとの間の光路長を決定するように構成された光路長決定素子を有する、請求項５５〜６３のいずれかに記載のシステム。
65. 前記光路長決定素子の各々は、他の光路長決定素子とは独立して制御可能である、請求項６４に記載のシステム。
66. 複数のユニットセルからの光を受光して前記光をアイピースに反射するように構成された回転ミラーを前記アイピースの中心に含む、請求項５５〜６５のいずれかに記載のシステム。
67. コントローラは光学系を制御する、請求項３６に記載のシステム。
68. コントローラはホログラム生成ユニットを制御する、請求項３６又は６７に記載のシステム。
69. 第１空中浮遊ディスプレイの表示空間に第１画像を表示するステップと、第１空中浮遊ディスプレイの表示空間に実際の物体を挿入するステップと、第１空中浮遊ディスプレイの表示空間内の実際の物体の位置を突き止めるステップと、表示空間内で実際の物体を検知するステップと、空中浮遊ユーザインタフェースへの入力として位置を提供するステップとを含む、空中浮遊ユーザインタフェースを実現するための方法。
70. 少なくとも部分的に位置に基づいて、第１空中浮遊ディスプレイの表示空間に第２画像を表示するステップをさらに含む、請求項６９に記載の方法。
71. 空中浮遊ディスプレイはボリュメトリックディスプレイである、請求項６９に記載の方法。
72. 実際の物体を表示空間内に挿入した後、第２画像は略実時間で表示される、請求項７０に記載の方法。
73. 時間は１／２４秒未満である、請求項７２に記載の方法。
74. 第１画像は空白画像であり、第２画像は位置の表示を含む、請求項７０に記載の方法。
75. 実際の物体は指である、請求項６９に記載の方法。
76. 第１画像にアクチュエータを表示するステップと、実際の物体の位置をアクチュエータに実質的に近づけるステップと、位置入力を実際の物体がアクチュエータを起動させたものと解釈するステップとをさらに含む、請求項６９に記載の方法。
77. 実際の物体の位置を移動させるステップと、実際の物体の位置を経時的に追跡するステップと、位置入力を実際の物体が第１画像の少なくとも一部を操作したものと解釈するステップとをさらに含む、請求項６９に記載の方法。
78. 少なくとも部分的に解釈に基づいてロボット装置に制御コマンドを送信するステップをさらに含む、請求項７７に記載の方法。
79. 実際の物体はさらに複数の実際の物体を含み、各々の実際の物体の位置をボリュメトリック・ユーザ・インタフェースのための位置入力として使用する、請求項６９に記載の方法。
80. 第２画像は第１画像とは異なる、請求項６９に記載の方法。
81. 第２画像は、第１画像に位置入力の標識が追加されたものに実質的に等しい、請求項６９に記載の方法。
82. 位置は、実際の物体上の実質的な１点の位置を含む、請求項６９に記載の方法。
83. 少なくとも部分的に位置に基づいてサブ画像を取得するステップをさらに含む、請求項８２に記載の方法。
84. サブ画像はボクセルを含む、請求項８３に記載の方法。
85. 位置はさらに、少なくとも部分的に実際の物体上の点の複数の位置に基づく複数の位置を含む、請求項８２に記載の方法。
86. 複数の位置を結ぶ経路が第１空中浮遊ディスプレイによって表示される、請求項８５に記載の方法。
87. 複数の位置は２つの位置を含み、少なくとも部分的に２つの位置に基づいて線を３次元で定義するステップをさらに含む、請求項８５に記載の方法。
88. 複数の位置は直線上にない３つの位置を含み、少なくとも部分的に３つの位置に基づいて３次元で面を定義するステップをさらに含む、請求項８５に記載の方法。
89. 複数の位置は１つの面内にない４つの位置を含み、少なくとも部分的に４つの位置に基づいて３次元で体積を定義するステップをさらに含む、請求項８５に記載の方法。
90. 少なくとも部分的に複数の位置に基づいて、次の機能群すなわち第１画像へのズームイン、第１画像からのズームアウト、第１画像のクロッピング、第１画像の回転、第１画像のスライシング、第１画像内の長さの測定、第１画像内の面積の測定、および第１画像内の体積の測定の中の１つの機能を実現するステップをさらに含む、請求項８５に記載の方法。
91. 少なくとも部分的に複数の位置に基づいてサブ画像取得を実現するステップをさらに含む、請求項８５に記載の方法。
92. 点をマーク表示して実際の物体の残りと実質的に対比させるステップをさらに含む、請求項８２に記載の方法。
93. 実質的に小型の光源によるマーク表示をさらに含む、請求項９２に記載の方法。
94. 位置は、実際の物体の長軸によって定義される線を含む、請求項６９に記載の方法。
95. 位置は、実際の物体の形状に対応するフレームを含む、請求項６９に記載の方法。
96. 第１空中浮遊ディスプレイが第１画像を表示するのと実質的に同時に第２画像を表示する第１空中浮遊ディスプレイをさらに含み、第１画像は第１ユーザに対して表示され、第２画像は第２ユーザに対して表示される、請求項６９に記載の方法。
97. 第１画像および第２画像は空間内で同一位置にあるように見える、請求項９６に記載の方法。
98. 第１空中浮遊ディスプレイが第１画像を表示するのと実質的に同時に第２画像を表示する第２空中浮遊ディスプレイをさらに含み、第１画像は第１ユーザに表示され、第２画像は第２ユーザに表示される、請求項６９に記載の方法。
99. 第１空中浮遊ディスプレイは第２空中浮遊ディスプレイから実質的に離れており、第１空中浮遊ディスプレイと第２空中浮遊ディスプレイとの間の通信チャネルをさらに含む、請求項９８に記載の方法。
100. 第１ディスプレイおよび第２ディスプレイは、第１ユーザと第２ユーザとの間で遠隔治療対話を実現するために使用される、請求項９６に記載の方法。
101. 第１ディスプレイおよび第２ディスプレイは、第１ディスプレイと第２ディスプレイとの間のホワイトボード状協調共有を実現するために使用される、請求項９６に記載の方法。
102. 第１ディスプレイおよび第２ディスプレイは、第１空中浮遊ディスプレイのところにいるユーザによる遠隔授業を実現するために使用される、請求項９６に記載の方法。
103. 第１ディスプレイおよび第２ディスプレイは、第１ユーザおよび第２ユーザが参加するゲームを実現するために使用される、請求項９６に記載の方法。
104. 第１ディスプレイは第２ディスプレイとは異なる、請求項９６に記載の方法。
105. 第１ディスプレイは第２ディスプレイより多くのコンテンツを表示する、請求項９６に記載の方法。
106. 動的に生成された空中浮遊表示物体および実際の物体を同一表示空間で観察することを可能にする方法であって、ボリュメトリック表示された物体を第１空中浮遊ディスプレイに表示するステップと、実際の物体を第１空中浮遊ディスプレイの表示空間に挿入するステップとを含む方法。
107. 空中浮遊ディスプレイはボリュメトリックディスプレイである、請求項１０６に記載の方法。
108. 動的生成はコンピュータ生成を含む、請求項１０６に記載の方法。
109. 実際の物体を空中浮遊表示された物体の少なくとも一部分と比較するステップをさらに含む、請求項１０６に記載の方法。
110. 実際の物体は標準を含み、それに照らして物体が測定され、比較ステップは標準に対する適合性の判断を可能にする、請求項１０９に記載の方法。
111. 実際の物体は体内に挿入するための医療装置であり、空中浮遊表示される物体の少なくとも一部分は、３次元データセットから生成される身体の少なくとも一部分である、請求項１０９に記載の方法。
112. 比較ステップは、実際の物体と空中浮遊表示される物体の少なくとも一部分との間の大きさの差を測定することをさらに含む、請求項１０９に記載の方法。
113. 大きさの差を測定するステップは、長さの差、平面状面積の差、表面積の差、および体積の差から成る群の少なくとも１つを含む、請求項１１２に記載の方法。
114. 身体の３次元データセットから空中浮遊表示される身体部分および１つ以上の仮想物体の３次元データセットからボリュメトリック表示される仮想物体の観察を可能にするための方法であって、空中浮遊表示される身体部分を第１空中浮遊ディスプレイに表示するステップと、第１空中浮遊ディスプレイの表示空間内に仮想物体をオーバレイするステップとを含む方法。
115. 仮想物体および空中浮遊表示される身体部分は、第１空中浮遊ディスプレイの表示空間で互いに対して移動する、請求項１１４に記載の方法。
116. 仮想物体を身体部分の少なくとも一部分と比較するステップをさらに含む、請求項１１４に記載の方法。
117. 第１空中浮遊ディスプレイと、物体が第１空中浮遊ディスプレイによって内部に表示される体積である第１表示空間における第１位置からの入力を受け入れるように適応された第１入力ユニットとを含むユーザインタフェース。
118. 空中浮遊ディスプレイはボリュメトリックディスプレイである、請求項１１７に記載のユーザインタフェース。
119. 空中浮遊ディスプレイは２次元空中浮遊ディスプレイである、請求項１１７に記載のユーザインタフェース。
120. 第１空中浮遊ディスプレイは第１位置を表示するように適応される、請求項１１７に記載のユーザインタフェース。
121. 第２空中浮遊ディスプレイをさらに含み、第２空中浮遊ディスプレイは、第１位置を表示することを含め第１空中浮遊ディスプレイと同じ画面を表示する、請求項１２０に記載のユーザインタフェース。
122. 第２空中浮遊ディスプレイによって表示される物体が内部に現れる体積である第２表示空間内における第２位置からの入力を受け入れるように適応された第２入力ユニットをさらに含み、第１空中浮遊ディスプレイは、第２位置を表示することを含め第２空中浮遊ディスプレイと同一画面を表示するように適応される、請求項１２１に記載のユーザインタフェース。
123. 第１位置からの入力および第２位置からの入力が両方とも表示される、請求項１２２に記載のユーザインタフェース。
124. 第１空中浮遊ディスプレイは第２空中浮遊ディスプレイとは異なる部屋に位置する、請求項１２２に記載のユーザインタフェース。
125. 第１空中浮遊ディスプレイは第２空中浮遊ディスプレイから少なくとも１００メートル離れている、請求項１２２に記載のユーザインタフェース。
126. 第１空中浮遊ボリュメトリックディスプレイは、位置および該位置に表示されるものに少なくとも部分的に基づいて、感覚フィードバックを提供するように適応される、請求項１１７に記載のユーザインタフェース。
127. 第１空中浮遊ボリュメトリックディスプレイは、ホログラムを表示するように適応される、請求項１１７に記載のユーザインタフェース。
128. 第１空中浮遊ディスプレイの表示空間に第１画像を表示するステップと、実際の物体を表示空間内に挿入するステップと、表示空間内の実際の物体の位置を検出するステップと、該位置をユーザインタフェースの入力として使用するステップと、表示空間内の該位置をハイライトするステップとを含む、空中浮遊ユーザインタフェースを実現するための方法。
129. 空中浮遊ディスプレイを表示するための手段と、空中浮遊ディスプレイによって表示される物体が内部に現れる体積である表示空間内の位置からの入力を受け入れるための手段とを含むユーザインタフェース。

Images