JP2002509293A - 視界トラッキングおよびデータ位置決めを備える増強網膜ディスプレイ - Google Patents

Abstract

(57)【要約】 走査ビームトラッキングシステム（３２）は仮想網膜ディスプレイ（１０／５０）に含まれる。赤外光源（３４／５２）は、観察者が向いている方向に観察者の環境を走査する光を生成する。可視光源（５２）は、虚像を生成するために観察者の網膜上に走査される可視光を生成する。共通走査システム（２６）を用いて非可視光および可視光の両方を走査する。可視光は観察者の目に向けられる。非可視光は観察者の目から環境へ向けられる。赤外反射体（４２）は環境（４０）内に位置決めされる。仮想網膜ディスプレイからの赤外光が反射体を走査すると、反射体は赤外光を仮想網膜ディスプレイに向けて戻す。赤外戻り光が検出されるときの走査サイクルの現在の画素は、反射体のその部分に対応する。

Description

【発明の詳細な説明】

【０００１】

【発明の背景】

この発明は、増強仮想網膜ディスプレイ装置に関し、より特定的には、観察者
位置をトラッキングし、かつ、観察者位置に基づいて視界にデータを加えるため
のシステムに関する。

【０００２】 仮想網膜ディスプレイ装置は、目の網膜の上に像を生成するための光学装置で
ある。光は光源から放出されレンズを通過してから、走査装置によって走査経路
に沿って偏向される。レンズによって規定される距離に、走査された光は各画素
位置ごとに焦点に収束する。走査の際に焦点は移動して中間イメージプレーンを
規定する。次に、光はプレーンの向うに発散する。接眼レンズは、光路に沿って
中間イメージプレーンの向うに、ある所望の焦点距離に位置決めされる。「射出
ひとみ」は、接眼レンズのすぐ向うに観察者の瞳孔が位置決めされる区域内に生
じる。

【０００３】 観察者は、接眼レンズをのぞいて像を観察する。接眼レンズは、ラスタパター
ンに沿って偏向されている光を受ける。したがって、光は、走査サイクルの間、
異なった角度、異なった時間で観察者の瞳孔に当る。角度のこの範囲が、観察者
によって知覚される像のサイズを決定する。走査サイクルの間の光の変調が像の
内容を決定する。

【０００４】 増強仮想網膜ディスプレイは、像を背景上にオーバーレイするシースルーのデ
ィスプレイである。オーバーレイされた像は虚像である。背景は周囲環境の実世
界視界である。この像全体は光を背景に加えることによって形成される。加えら
れた光は虚像に対応する。像が形成されるディスプレイ部分では、虚像および背
景の両方からの光は観察者の目の同じ光受容体上に当るので、虚像は透明である
ように見える。

【０００５】

【発明の概要】

この発明によると、走査ビームトラッキングシステムは、仮想網膜ディスプレ
イに含まれる。トラッキングシステムの機能は、ユーザがどこを向いているかを
決定するための情報を与えることである。好ましい実施例では、頭の位置および
その向きがトラッキングされる。情報は、観察者の目の位置に基づいて表示され
る。

【０００６】 この発明のある局面によれば、非可視光源（たとえば、赤外光源）は、観察者
の頭部が向いている方向に観察者の環境を走査する光を生成する。可視光源は、
観察者の網膜上に走査され虚像を生成する可視光を生成する。非可視光および可
視光のどちらを走査するのにも共通の走査システムが使用される。可視光は観察
者の目に向けられる。非可視光は観察者の目からそらされて環境内に向けられる
。したがって、トラッキングシステムの走査速度は、仮想ディスプレイの走査速
度と同じである。

【０００７】 この発明の別の局面によれば、赤外鏡を備えるビームスプリッタは、赤外光を
観察者の目からそらして環境に向けて反射し、一方、観察者の目に向けて可視光
（たとえば虚像および環境からの背景光）を通す。

【０００８】 この発明の別の局面によれば、赤外反射体は環境内に位置決めされる。仮想網
膜ディスプレイからの赤外光が反射体を走査するとき、反射体は赤外光を仮想網
膜ディスプレイに向けて戻す。赤外鏡を備える仮想網膜ディスプレイビームスプ
リッタは、そのような光を観察者の目から経路に沿って赤外検出器に向けて偏向
する。赤外光の往復時間は、観察者の網膜上に像フレームを走査するための走査
時間よりも実質的に少ない。したがって、反射体の位置は走査サイクルに相関し
てわかる。具体的には、赤外戻り光が検出されるときの走査サイクルでの現在の
画素は、反射体の位置に対応する。

【０００９】 この発明の別の局面によれば、複数の反射体が環境内に位置決めされる。いく
つかの実施例では、反射体は、どの反射体またはどのタイプの反射体が走査サイ
クルの際所与の時間で走査されているのかをシステムがわかることを可能にする
反射パターン識別を有している。

【００１０】 この発明の別の局面によれば、少なくとも３つの反射体を、所与の走査サイク
ルの間走査すると、システムは、そのような反射体に相関してユーザの正確な位
置を三角測量することができる。

【００１１】 この発明の別の局面によれば、反射体が走査されるときに、像、グラフィック
情報またはテキスト情報がディスプレイ像に加えられる。ある実施例では、その
ような加えられた情報を頭部位置に相関して安定させる。たとえば、反射体が走
査されるとき、そのような情報は、ディスプレイの所定の位置（たとえば、右上
部分）に常に表示される。別の実施例では、そのような情報は背景環境に相関し
て固定される。例示の実施例では、反射体は目標物体の上に置かれる。反射体が
検出されるとき、目標物体はユーザの視野の範囲内にある。目標物体についての
テキスト情報は、視野の所定の部分（たとえば、下部右角）に表示される。ユー
ザの頭部が動いたとしても、目標物体が視野の範囲内にとどまる限り、テキスト
情報は視野の所定の部分に固定されたままである。一旦、ユーザが視野から目標
物体が外れる方向を向くと、テキスト情報は取除かれる。このようにして、加え
られた情報は頭部に相関して安定させられる。

【００１２】 別の実施例では、加えられた情報を背景に相関して安定させる。たとえば、予
め定められた虚像は、背景に位置合せされた位置で背景の上にオーバーレイされ
る（たとえば、虚像オーナメントはユーザによって観察される実背景内にある実
の木の所与の枝の上に現われるよう表示される）。観察者の頭部（したがって仮
想網膜ディスプレイ）が動いたとしても、所望の場所がユーザの視界内になおも
ある限り、情報は背景に相関して固定された点でディスプレイに加えられる（た
とえば、仮想オーナメントは実際の木の上の同じ地点に現われる）。

【００１３】 この発明の別の局面によれば、トラッキングシステムの作業量は、網膜ディス
プレイの視野に対応する。したがって、視野内のいかなる反射体も検出される。

【００１４】 この発明の別の局面によれば、視界トラッキングを備える増強仮想網膜ディス
プレイは、画像データ信号を受けて虚像を観察者の目の上に生成する。システム
はまた、実環境からの背景光を受けて、観察者の目に実環境背景像を送る。シス
テムは、実環境および虚像を観察するための視野を有する。システムは可視光お
よび赤外光を生成するための光源を含む。変調器が、画像データ信号に応じて可
視光を変調して、虚像を形成するディスプレイ画像のシーケンスを規定する。ス
キャナは赤外光および変調された可視光を受け取り、受取った可視光および赤外
光をラスタパターンに沿って偏向する。走査された可視光および赤外光はビーム
スプリッタに当る。ビームスプリッタは、赤外光に反射するコーティングを入射
表面に含む。赤外光は、赤外反射コーティングから実環境へと反射される。走査
された可視光は、赤外反射コーティングを通過して、次に、一部反射され一部通
される。可視光の反射された部分は実環境に入る。通された部分は凹面鏡に当っ
て、次に、ビームスプリッタへと反射し返され、観察者の目に向かって偏向され
る。ビームスプリッタの赤外反射部分に当るのは、また、背景光と実環境から反
射されて戻る赤外光とである。背景光はビームスプリッタを通過し、観察者の目
に向かう経路を進む。赤外反射体は、実環境内に位置する。走査された赤外光は
ディスプレイから（たとえば、ラスタ走査パターンに沿って）実環境に入る。そ
のような赤外光の一部はディスプレイに反射し返される。より具体的には、赤外
反射体が走査パターンの視野内にあるとき、赤外光は反射体上に当りビームスプ
リッタの赤外反射コーティングに反射し返される。コーティングは、再び入って
くる赤外光をディスプレイ内の経路に沿って赤外検出器に向けて反射する。赤外
検出器は、再び入ってくる赤外光の検出に応答して第１の信号を生成する。

【００１５】 この発明の別の局面によれば、赤外反射体は、赤外光に反射する中心領域と、
赤外光に反射する複数の間隔を置かれた同心環とを含む。

【００１６】 この発明の別の局面によると、システムは処理システムと組合せて使用される
。処理システムは、画像データ信号を生成し第１の信号を受け取る。処理装置は
、再び入る赤外光の検出を虚像を形成するディスプレイ画素のシーケンスのうち
の１つのディスプレイ画素に相関させる。処理システムはまた、受取った第１の
信号に応答して画像データ信号にディスプレイデータを埋込む。埋込まれたディ
スプレイデータは、視野に相関して固定された虚像および／または環境内の赤外
反射体に相関して固定された虚像に対応する。

【００１７】 この発明の別の局面によると、視界トラッキングを有する増強仮想網膜ディス
プレイで、実背景像上に虚像をオーバーレイするための方法が提供される。増強
仮想網膜ディスプレイ装置は、画像データ信号を受け取って観察者の目の上に虚
像の画素を生成し、実環境から背景光を受け取って観察者の目に実背景像を送る
。この方法は、可視光および赤外光を生成するステップと、画像データ信号に応
じて可視光を変調して虚像を形成するディスプレイ画素のシーケンスを規定する
ステップとを含む。別のステップでは、受取られた可視光および赤外光はラスタ
パターンに沿って偏向される。別のステップでは、偏向した赤外光は赤外鏡で受
取られ実環境へと偏向される。別のステップでは、偏向した可視光は、ビームス
プリッタで受取られ可視光は観察者の目に向かって偏向される。別のステップで
は、背景光はビームスプリッタで受けられる。背景光の一部は観察者の目に向け
て送られる。別のステップでは、実環境へ偏向される赤外光は、実環境に位置す
る赤外反射体によって、戻り赤外光として赤外鏡へと反射し返される。別のステ
ップでは、再び入る赤外光は、赤外検出器で検出される。別のステップでは、虚
像の画素は検出された再び入る赤外光と相関付けられる。

【００１８】 この発明のある利点によれば、反射体が検出されるときとそのような検出に応
答する情報がディスプレイに加えられるときとの間に、１ディスプレイフレーム
期間未満の潜伏期がある。この発明の別の利点によれば、反射体検出に応じてデ
ィスプレイに加えられる情報の位置決めは、１ディスプレイ画素内の精度である
。この発明のこれらのまたは他の局面および利点は、添付の図面と関連付けて以
下の詳細な説明を参照することによってよりよく理解される。

【００１９】

【特定の実施例の説明】

概観 図１は、従来の増強ディスプレイ１１のブロック図を示す。増強ディスプレイ
１０は、周囲環境背景からの光を観察者の目Ｅに向けて送るシースルーのディス
プレイである。イメージソース１２から生成される虚像は、目に当る背景光の上
にオーバーレイされる。ビームスプリッタ１４は、合成された像を目Ｅに向ける
。光シミュレータなどの、いくつかの用途では、背景光は、代わりに、環境によ
ってではなく、ディスプレイスクリーンなどのイメージソースによって与えられ
てもよい。図２を参照すると、この発明の実施例による増強ディスプレイ１０は
、仮想網膜ディスプレイ、または、一体となった視界トラッキングシステム３２
を備える他の走査ディスプレイ２０によって形成される。図３を参照すると、仮
想網膜ディスプレイ２０は、光を生成し操作して狭−パノラマ視野および低−高
解像度を有するカラーまたはモノクロの虚像を作る。仮想網膜ディスプレイ２０
は、駆動電子部品２１（たとえば画像データインターフェイス）と、１つ以上の
光源５２と、レンズまたは光学サブシステム２５と、走査サブシステム２６と、
ビームスプリッタ５４と、凹面鏡５６とを含む。好ましい実施例では、ビームス
プリッタおよびミラーは接眼レンズとしての役割を果たす。他の実施例では、別
のレンズ（図示せず）が接眼レンズとしての役割を果たすよう含まれる。

【００２０】 仮想網膜ディスプレイ２０は、コンピュータ装置、ビデオ装置または他のデジ
タルもしくはアナログ画像データ源などの、イメージソース２３から画像信号２
２を受ける。画像信号２２は、ＲＧＢ信号、ＮＴＳＣ信号、ＶＧＡ信号、ＳＶＧ
Ａ信号、または他のフォーマット化されたカラーもしくはモノクロビデオもしく
は画像データ信号である。画像信号２２に応答して、駆動電子部品２１は、信号
２９を生成して光源５２を制御する。光源５２は、１つ以上の点光源を含む。あ
る実施例では、赤、緑および青の光源が含まれる。ある実施例では、光源５２は
直接に変調される。すなわち、光源５２は駆動信号２９に対応する強度を備える
光を放出する。別の実施例では、光源５２は、信号２９に応答して別個の変調器
によって変調される実質的に一定の強度を有する光３１を出力する。したがって
、光３１は、光学経路に沿って出力し、画像信号２２内の画像データに従って変
調される。そのような変調が、像要素または像画素を規定する。好ましくは、放
出された光３１は、空間的にコヒーレントである。

【００２１】 光３１は、光学サブシステム２５および走査サブシステム２６に出力される。
走査サブシステム２６は、水平スキャナおよび垂直スキャナを含む。ある実施例
では、水平スキャナは、「二軸走査システムのための小型光学スキャナ」（“Mi
niature Optical Scanner for a Two Axis Scanning System”）と題するチャー
ルズ・Ｄ・メルビル（Charles D. Melville）による米国特許第５，５５７，４ ４４号に記載されるような、通る光を偏向するための機械的共振器を含み、ここ
に援用により引用される。代替的に、水平スキャナは、音響光学装置または共振
もしくは非共振超小型電子機械装置であってもよい。典型的には、光はラスタパ
ターンに沿って偏向されるが、代替の実施例では、ベクトルイメージングなどの
別のディスプレイフォーマットが使用可能である。ある実施例では、走査サブシ
ステム２６は、駆動電子部品２１から水平偏向信号および垂直偏向信号を受け取
る。

【００２２】 走査サブシステム２６は、ラスタパターンに沿って、目Ｅに向かって、または
例示される実施例のように、ビームスプリッタ５４に向かって光を偏向する。ビ
ームスプリッタ５４は、増強ディスプレイにとっては有用であって、これは背景
光３３および画像光３１の両方を観察者の目Ｅに送る。凹面鏡５６は目Ｅに光を
焦点合せする。観察者の目上に走査された像画素が虚像を規定する。虚像は周期
的に更新され再走査されるので観察者は連続した像を知覚する。

【００２３】 図４に示すとおり、トラッキングシステム３２はトラッキング光源３４を含む
。赤外源が例示され、これは好ましいが、他の非可視光源（たとえば紫外）、電
磁波源、または可視光源が代替の実施例では用いられる。赤外光３６は走査シス
テム２６に入り、好ましい実施例では、これはラスタパターンに沿って光を偏向
する。偏向された光はビームスプリッタに当り、ビームスプリッタ５４は波長選
択コーティングを含むので、ビームスプリッタ５４は、赤外光３５を周囲環境４
０に向かって選択的に偏向する。もし、環境４０での走査パターンの間、赤外光
３６が赤外反射体４２上に当れば、これは、反射赤外光４４として走査システム
２６に反射し返される。反射光４４は、走査サブシステム２６から赤外鏡４６へ
と進む。ミラー４６は、反射光４４を赤外検出器４８へと偏向する。

【００２４】 赤外光３６、４４の往復時間は、走査サブシステム２６の走査周期よりもはる
かに少ない。その結果、赤外光がＩＲ反射体４２にいつ当たるかのタイミングは
、大抵の用途では目Ｅの上に走査される虚像の一画素以内までであるとわかるよ
うになる。たとえば、ある好ましい実施例によれば、走査システム２６は、観察
者の目にフリッカが現われるのを避けるのに十分な速い速度でラスタ走査に沿っ
て可視光を偏向する。典型的な走査速度は、３０Ｈｚ、６０Ｈｚまたは７２Ｈｚ
である。４８０×６４０の画素解像度と６０Ｈｚの走査速度を備えるディスプレ
イでは、走査サブシステム２６は、１／（４８０＊６４０＊６０）秒、すなわち
５．４２×１０^-8秒で１画素、動かす。赤外光３６、４４の往復時間がそのよう
な時間よりも少ない限り、反射体４２は１画素以内までで走査サイクルの所与の
画素に精密に関連付けられる。光は、およそ５．４２×１０^-8秒に５０フィート
進む。したがって、ディスプレイ２０およびトラッキングシステム３２の５０フ
ィート内にあるいかなる反射体４２も、１画素以内までで位置合せ可能である。

【００２５】 トラッキングシステムを備えるディスプレイ 図５は、この発明の実施例によるディスプレイ装置５０を示す。ディスプレイ
装置５０は、仮想網膜ディスプレイ２０およびトラッキングシステム３２を含む
。装置５０は、虚像を目Ｅ上に走査する可視光と環境４０を走査する赤外光とを
生成する点源５２を含む。可視光放出は、画像データインターフェイス２１を介
して処理システム６０から受取られる画像データに基づいて変調される。赤外放
出は、走査サイクルの間遮られない。光放出は、可視も赤外も、光学サブシステ
ム２５の光学レンズ９０を通過してから部分赤外鏡４６を通過する。ミラー４６
の源５２側から当る光の方向に、可視光および赤外光の両方が偏向されずに走査
サブシステム２６に向かう。

【００２６】 以下に詳細に記載するとおり、走査サブシステム２６は、ラスタパターンに沿
って可視光および赤外光を偏向する垂直スキャナおよび水平スキャナを含む。走
査サブシステム２６から出てくる光はビームスプリッタ５４に当る。走査サブシ
ステム２６からの光を受取るビームスプリッタの側はまた、赤外鏡としての役割
を果たす膜で被覆されている。一部の可視光６０はビームスプリッタ５４を通過
する。赤外光３６はビームスプリッタ５４のミラー側から反射される。通過した
可視光は凹面鏡５６に向かって進み、これがビームスプリッタ５４へ光を反射し
返して目Ｅに向ける。ビームスプリッタ５４から観察者の目Ｅに向かって進む可
視光６０が、目Ｅが観察するために適切に焦点合せされるように、凹面鏡５６の
曲率は選択される。このようにして、変調された走査可視光は虚像を形成する。

【００２７】 走査光を目Ｅに向けるのに加えて、ビームスプリッタ５４はまた、環境４０か
らの可視光６２を観察者の目Ｅに向かって通過させる。したがって、観察者は、
背景からの可視光６２と生成された虚像からの可視光６０との両方を見る。

【００２８】 ビームスプリッタ５４の赤外鏡側から反射される赤外光３６は、環境４０内に
向けられる。したがって、赤外鏡を備えるビームスプリッタは、可視光を観察者
の目Ｅに向け赤外光を観察者の目からそらす役割を果たす。そのような赤外光は
、ラスタパターンに沿って走査サブシステム２６によって偏向される。したがっ
て、赤外光３６は環境４０を走査する。ラスタパターンに沿って偏向された赤外
光３６は、観察者の視野を走査する。

【００２９】 この発明のある局面によれば、１つ以上の赤外反射体が環境４０内に位置決め
される。赤外光３６が反射体４２に当ると、赤外光４４はビームスプリッタ５４
へ反射し返される。赤外光４４は、ビームスプリッタ５４のミラー側から走査シ
ステム２６に向けて反射し返される。赤外光４４は走査システムのミラーから反
射されて光源５２に向かって戻っていく。戻り経路に沿って走査サブシステム２
６から出てきた後、赤外光は、光源５２の前に、一方向に部分的に反射する赤外
鏡４６に当る。赤外鏡４６は、赤外光４４を赤外検出器４８へ偏向する。上記の
とおり、赤外光３６、４４の往復時間は、走査システム２６が（装置５０のおよ
そ５０以内の反射体４２では）１画素分、光を偏向するのにかかる時間よりも少
ない。処理システム６０は、検出器４８からの指示を受け、赤外反射体４２の検
出を現在の画素と位置合せする。赤外反射体４２の検出を処理するための代替の
方法を以下に記載する。

【００３０】 赤外反射体の検出を処理するための方法 図６は、環境４０内にある１組の赤外反射体４２ａ−４２ｄを示す。ある実施
例によると、各反射体４２は環状パターンを形成する。各環状パターンは、中心
６６と、中心６６から異なったまたは同様の間隔をあけられた１つ以上の同心環
とを含む。環状パターンは、従来の、反射または再帰反射材料から形成される。
たとえば、環状パターンの低反射領域は濃いインクから形成されてもよく、一方
、高反射領域は、ガラス、被覆されない紙、プラスチック、金属または商業的に
入手可能な再帰反射材料から形成されてもよい。その結果、反射体４２が走査さ
れると、反射光は、バーコードまたはその他の二次元の記号読取と同様にして目
標の反射のパターンに従って、変調される。反射体は、適用によって、同じまた
は異なった環状パターンを有してもよい。たとえば、個々の反射体４２ａ−４２
ｄを区別するために、独特の環状パターンが使用される。代替的に、反射体を群
で識別することもできる。たとえば、もし２つの反射体が環境内の同じ型の物体
を示すのに使用されれば、２つの反射体は同じ環状パターンを有するであろう。
加えて、もし複数の反射体４２が環境内の既知の場所に置かれれば、走査光のソ
ースについての位置（たとえば、装置５０）を三角測量することができる。

【００３１】 この発明のある実施例によれば、走査パターンの間、反射体４２に当ると、情
報がディスプレイ像に加えられる。ある実施例では、情報は、観察者の視野内の
所定の場所に表示される。たとえば、もし任意の反射体４２が検出される場合、
アイコンまたは位置に関連するデータが視野の所定の位置（たとえば、右下角）
で閃光してもよい。頭部に装着するディスプレイの好ましい実施例では、そのよ
うなアイコンは、頭部位置に相関して実質的に固定される。観察者の頭部が装置
５０を動かしても、反射体４２からの反射光がディスプレイによって受け取られ
ている限り、右下角にアイコンはとどまる。一旦、ディスプレイが反射体４２に
整列しなくなると、アイコンは消える。

【００３２】 別の例では、所与のタイプの反射体（たとえば反射体４２ａ）が環境内の目標
物体上に位置決めされる。処理システム６０は、そのような反射体タイプに関連
付けられた目標物体を識別するようにプログラムされている。そのような反射体
タイプ４２ａに当るたびに、処理システム６０は画像データを装置５０に送って
、関連付けられた目標物体についてのテキスト情報を表示する。例示の実施例で
は、そのようなテキスト情報は、視野の所定の場所（たとえば、左上部分）に表
示される。そのようなテキスト情報は、処理システム６０に予めプログラムされ
たとおり走査される目標物体の識別および／または特性を含んでもよい。

【００３３】 図７は、３つの反射体４２ａ−４２ｃが観察者の視野内にあって赤外光３６に
よって走査される例を示す。テキスト情報７０ａ−７０ｃは、関連付けられた反
射体４２ａ−４２ｃに対応する物体の各々について、視野の右上部分に表示され
る。したがって、情報７０ａは反射体４２ａに対応し、情報７０ｂは目標４２ｂ
に対応し、情報４２ｃは反射体４２ｃに対応する。そのような情報７０ａ−ｃは
テキスト、グラフィックまたは他の像であってもよい。観察者が動いて視野が変
っても、情報７０は視野の右上部分に固定されたままである。しかしながら、反
射体が視野から出てしまうと、対応する情報も除かれる。図８は、装置５０の位
置または向きが変えられて、反射体４２ｂが視野８０の外に出た例を示す。これ
に応答して、対応する情報７０ｂは視野８０から除かれる。

【００３４】 図９は、反射体４２が走査されて情報が生成される別の処理方法を示す。この
実施例では、情報は、視野８０ではなく環境に相関して固定される。ある例では
、グラフィック情報７０ａ′が、反射体４２ａが位置する位置上にオーバーレイ
される。別の例では、複数の反射体４２ａ−４２ｃが検出される場合、環境４０
に相関する装置５０の位置を三角測量することができる。具体的には、環境４０
内の反射体４２ａ−４２ｃの各々の位置がわかる。したがって、走査パターン内
の反射体４２ａ−４２ｃの相対的な間隔によって、装置５０の場所が反射体４０
に相関して三角測量可能である。位置がわかると、虚像が、１つ以上の所望の場
所で環境４０内に与えられる。例示される例では、虚像飾り７２−７６が、実世
界環境からのクリスマスツリーの背景実像上にオーバーレイされる。装置５０の
位置または向きが変っても、オーナメント７２−７６は、ツリーに相関して同じ
位置でツリー上にオーバーレイされたままである。虚像オーナメントが視野８０
から抜けると、それらはもはや表示されない。また、ツリーに相関して装置５０
の位置を三角測量するのに反射体４２の数が不十分であれば、虚像はもはやツリ
ー上に表示されない。

【００３５】 反射体４２の位置が視野内にあるものとしてここでは記載されているが、反射
体４２は、いくつかの用途では視野の外にあってもよい。たとえば、赤外光ビー
ムは、赤外光がユーザの視野を越えて延在するように光学的に広げられてもよい
。反射体４２が視野内に入るより前に赤外検出器が反射体４２を位置付けること
ができるので、この構成はデータが現われる遅れ時間を減らすことができる。

【００３６】 光源 光源５２は複数の光源を含む。ある光源は赤外光を放出する。１つ以上の他の
光源は可視光を放出する。モノクロの像を生成するためには、単色源が使用され
る。カラーの像形成のためには、複数の光源が使用される。例示の可視光源は、
カラーレーザ、レーザダイオードまたは発光ダイオード（ＬＥＤ）である。例示
の赤外光源は、赤外ＬＥＤまたはレーザダイオードである。ＬＥＤは、典型的に
は、コヒーレント光を出力しないが、ある実施例ではレンズを使用してＬＥＤ光
源の見かけの大きさを縮め均一な波面を達成する。好ましいＬＥＤの実施例では
、単一モードモノフィラメント光ファイバが、ＬＥＤ出力を受けて空間的にコヒ
ーレントな光に近似する光を出力する点源を規定する。

【００３７】 光源５２が外部で変調される場合、装置５０はまた、画像データインターフェ
イス２１から受取られる画像データ信号に応答する変調器５３を含む。変調器５
３は、源５２によって放出される可視光を変調して、観察者の目Ｅ上に走査され
る虚像の像内容を規定する。赤外光はまた、変調器５３、別個の変調器、または
反射光の同期検出を可能とする直接変調によって変調されてもよい。

【００３８】 これらのおよび他の光源の実施例のさらなる詳細は、１９９５年５月９日出願
の、同一人に譲渡された米国特許出願連続番号第０８／４３７，８１８号「ファ
イバ光学点源を備える仮想網膜ディスプレイ」（“Virtual Retinal Display wi
th Fiber Optic Point Source”）に見出され、ここに引用により援用される。

【００３９】 代替の実施例によれば、光源または点源によって生成される光は、結果として
できた像の所与の点（たとえば画素）に赤成分、緑成分および／または青成分を
含むよう変調される。点源のそれぞれのビームは、所与の画素に色成分を導入す
るよう変調される。

【００４０】 駆動電子部品 上記のとおり、トラッキングシステム５０を備える仮想網膜ディスプレイは、
表示されるべき画像データを受ける出力装置である。そのような画像データは、
処理システム６０から駆動電子部品２１で画像データ信号として受取られる。さ
まざまな実施例では、画像データ信号は、ＲＧＢ信号、ＮＴＳＣ信号、ＶＧＡ信
号または他のフォーマットされたカラーもしくはモノクロのビデオもしくはグラ
フィックス信号などの、ビデオまたは他の画像信号である。駆動電子部品２１の
例示の実施例は、受取った画像データ信号から色成分信号および同期信号を抽出
する。画像データ信号が赤成分、緑成分、青成分を埋込んでいる実施例では、赤
信号は抽出されて赤源または対応する変調器に送られて赤点光源出力を変調する
。同様に、緑信号は抽出されて緑源または対応する変調器に送られて緑点光源出
力を変調する。また、青信号は抽出されて青源または対応する変調器に送られて
青点光源出力を変調する。

【００４１】 駆動電子部品２１はまた、画像データ信号から水平同期成分および垂直同期成
分を抽出する。ある実施例では、そのような信号は、走査サブシステム２６に送
られる水平スキャナ駆動信号および垂直スキャナ駆動信号のそれぞれの周波数を
規定する。

【００４２】 走査サブシステム 走査サブシステム２６は、光源５２の後に、光学サブシステム２４の前または
後のいずれかに位置する。走査サブシステム２６は、可視光および赤外光の両方
を受け取る。図５に示すとおり、走査システム２６はまた、赤外反射体４２から
反射されて装置５０に再び入る反射赤外光４４を受け取る。ある実施例では、走
査サブシステム２６は、水平ビーム偏向を行なう共振スキャナ２００と、垂直ビ
ーム偏向を行なう検流計とを含む。水平スキャナとしての役割を果たすスキャナ
２００は、スキャナ構成要素の物理的寸法および特性によって規定される周波数
を有する駆動信号を受ける。垂直スキャナとしての役割を果たす検流計は、駆動
電子部品で抽出される垂直同期信号ＶＳＹＮＣによって規定される周波数を有す
る駆動信号を受ける。好ましくは、水平スキャナ２００は、水平走査周波数に対
応する共振周波数を有する。

【００４３】 図１０を参照すると、スキャナ２００は、磁気回路によって駆動されて回転の
軸線２１４について高周波で振動するミラー２１２を含む。ある実施例では、動
く部品はミラー２１２およびばね板２１６のみである。光学スキャナ２００はま
た、ベースプレート２１７と、１対のステータポスト２１８、２２０を備える１
対の電磁コイル２２２、２２４とを含む。ステータコイル２２２および２２４は
ステータポスト２１８および２２０のまわりにそれぞれ反対方向に巻かれている
。以下に記載するとおり、電気コイル巻線２２２および２２４は駆動回路に直列
または並列に接続してもよい。ベースプレート２１７の両端に設けられているの
は第１および第２の磁石２２６であり、これらの磁石２２６はステータ２１８と
２２０とから等距離にある。ベース２１７は、各端から上へ延在するバックスト
ップ２３２とともに形成され、磁石２２６のためのシートをそれぞれ形成する。

【００４４】 ばね板２１６はばね鋼から形成され、その長さおよび幅によって決定されるば
ね定数を有するねじれるタイプのばねである。ばね板２１６のそれぞれの端は、
磁石２２６それぞれの極の上にある。磁石２２６は、同種の極がばね板に隣接す
るように配向される。

【００４５】 ミラーの回転の軸２１４がステータポスト２１８と２２０とから等距離になる
ように、ミラー２１２はステータポスト２１８および２２０に直接かかるよう設
けられる。ミラー２１２は、ばね板の一部の上に設けられるかまたは被覆される
。

【００４６】 磁気回路は、光学スキャナ２００内に形成され、交流の駆動信号に応答して回
転の軸２１４についてミラー２１２を振動させる。磁気回路の１つは、磁石２２
６の上極からばね板端２４２へ、ばね板２１６を通り、ステータ２１８へのギャ
ップを渡ってベース２１７を通り磁石２２６へその下極を通って戻るよう延在す
る。別の磁気回路は、他方の磁石２２６の上極から他方のばね板端へ、ばね板２
１６を通って、ステータ２１８へのギャップを渡ってベース２１７を通り磁石２
２６へその下極を通って戻るよう延在する。同様に、磁気回路はステータ２２０
を通ってできる。

【００４７】 矩形波などの周期的駆動信号が反対に巻かれたコイル２２２および２２４に与
えられると、磁界がつくられ、これがミラー２１２を回転の軸２１４について行
ったり来たり振動させる。より特定的には、たとえば、矩形波がハイの場合、ス
テータ２１８とマグネット２２６および２２８とを通る磁気回路によってできた
磁界によって、ミラーの端がステータ２１８に引き寄せられるようになる。同時
に、ステータ２２０とマグネット２２６とを通って延在する磁気回路によって作
られた磁界によって、ミラー２１２の反対側の端はステータ２２０に反発するよ
うになる。したがって、ミラーは、回転の軸２１４について一方向に回転するよ
うになる。矩形波がローになると、ステータ２１８によってつくられた磁界は、
ばね板２１６の端に反発するが、一方、ステータ２２０はばね板２１６の他方の
端を引付け、このためミラー２１２は軸２１４について反対方向に回転するよう
になる。

【００４８】 代替の実施例では、走査サブシステム２６は、代わりに、音響光学偏向器、電
子光学偏向器、回転ポリゴンまたは検流計を含み、水平および垂直光偏向を行な
う。いくつかの実施例では、２つの同じタイプの走査装置が使用される。他の実
施例では、水平スキャナおよび垂直スキャナとして他のタイプの走査装置が使用
される。

【００４９】 レンズ／光学サブシステム 光学サブシステム２５は、光源５２から出力された光を、直接または走査サブ
システム２６を通過した後に受取る。いくつかの実施例では、光学サブシステム
は光を視準する。別の実施例では、光学サブシステムは光を収束する。撹乱され
ないままで、光は焦点に収束してからそのような点の向うに発散する。しかしな
がら、収束した光が偏向されると、焦点が偏向される。偏向のパターンは焦点の
パターンを規定する。そのようなパターンを中間イメージブレーンと呼ぶ。

【００５０】 図５に例示される実施例では、光学サブシステム２５は、対物レンズ９０と、
戻り赤外光４４を焦点合せするレンズ２７と、部分赤外鏡４６とを含む。部分赤
外鏡４６は、どちらかの方向に可視光を通す。赤外鏡４６は、ミラーに一方向に
当る赤外光の一部を通し、ミラーに他方向に当る赤外光の一部を反射する。光源
５２に最も近い側からミラー４６上に当る赤外光は通される。走査サブシステム
２６側からミラー４６に当る赤外光はレンズ２７および赤外検出器４８に向けて
反射される。部分赤外鏡４６は、可視光を通し赤外光を反射する、金の閃光する
または別の従来の材料からなる干渉コーティングを有する透明部材によって形成
される。そのようなコーティングはまた、前述したとおり、ビームスプリッタ５
４の赤外鏡側に与えられる。

【００５１】 処理システム 処理システム６０は、汎用または専用のコンピュータシステムである。処理シ
ステム６０は、信号源２３（図３参照）としての役割を果たし、装置５０が表示
する像内容を規定する。この発明のある局面によれば、プロセッサシステム６０
は、装置５０に反射し返された赤外光の検出に応答する。再び入る赤外光を処理
することによって、反射体は識別され、装置５０の位置が環境４０に相関して決
定され、像内容が規定され、像内容位置が規定される。反射体は、検出器４８に
よって検出される反射体の「バーコード」に基づいて規定される。１つ以上の反
射体が環境４０内の既知の位置にあるとき、環境４０に相関する装置５０の位置
が決定される。環境４０内の反射体４２の数に依存して、装置５０の位置はさま
ざまな自由度で検出される。視野８０内に２つの反射体がある場合、３自由度ま
で、装置５０の位置が決定される。視野８０内に３つの反射体４２がある場合、
装置５０の位置は６自由度以内まで決定される。

【００５２】 反射体の識別を決定することによって、像内容は、処理システム６０に予めプ
ログラムされた所定の相関関係に基づいて規定される。所与の反射体が走査され
たとき何を表示するべきかについての特定の相関関係が、ディスプレイ装置５０
および処理システム６０の所与の実現化例に基づいて決定される。像内容の場所
は、視野８０に相関して固定された位置、または環境４０に相関して固定された
位置に表示される。１つの反射体４２が視野８０内にある場合については、像内
容は背景に固定される位置で正確に位置決めされ、この時、固定された位置は反
射体にある。具体的には、走査フレームのどの画素が反射体に相関しているかを
知ることによって、像内容は一フレーム遅れでその画素で固定される。反射体が
検出され、反射体が検出された時間に基づいて画素が識別されると、像内容が、
次の像フレームの間、その画素場所について表示される。各フレームごとに、位
置が異なって一フレーム遅れで検出された反射体をトラッキングしてもよい。そ
のような像は１自由度まで正確に位置決めされる。

【００５３】 ２つの反射体４２が視野８０内にある場合、像内容は、背景に相関して固定さ
れた場所で、視野内のどの場所にでも正確に位置決めされる。そのような像は３
自由度まで正確に位置決めされる。３つの反射体４２が視野８０内にある場合、
像内容はまた、背景に相関して固定された場所で視野内のどの場所にでも正確に
位置決めされる。そのような像は、６自由度までで正確に位置決めされる。

【００５４】 視野８０内にある１つ、２つまたは３つの反射体の各々の場合について、観察
者の視野８０に相関して固定された位置で、代替的にまたは同時的に、像内容を
表示することもできる。

【００５５】 優れて有利な効果 この発明のある利点によれば、反射体が検出されるときとそのような検出に応
答する情報がディスプレイに加えられるときの間には、１ディスプレイフレーム
未満の潜伏期が起こり得る。この発明の別の利点によれば、反射体検出に応じて
ディスプレイに加えられる情報の位置決めは、１ディスプレイ画素の範囲内まで
の精度の高さが可能である。

【００５６】 この発明の好ましい実施例が例示され記載されるが、さまざまな代替、変形お
よび等価を使用してもよい。ツリーおよび仮想オーナメントが記載されるが、実
世界環境４０内の物体と虚像として表示される情報（たとえばテキスト、グラフ
ィックスまたは他の像）とは異なってもよい。走査サブシステムは、ねじり曲げ
られるばね板を採用するものとして記載されるが、曲げばねまたは回転軸などの
、さまざまな他の旋回機構を用いてミラーを支持してもよい。さらに、走査サブ
システムは、好ましくは、共振して振動する装置であるが、ディスプレイは非共
振スキャナを含んでもよく、この発明の範囲内であり得る。さらに、走査サブシ
ステムは複数構成要素アセンブリとして記載されるが、超小型電子機械装置など
の、一体となった構造を使用してもよい。したがって、前の説明は前掲のクレー
ムによって規定されるこの発明の範囲を限定するものではないと理解されるべき
である。

【図面の簡単な説明】

【図１】 従来の増強ディスプレイのブロック図である。

【図２】 仮想網膜ディスプレイおよび一体となった観察者トラッキングシ
ステムを有する増強ディスプレイのブロック図である。

【図３】 図２の仮想網膜ディスプレイ部分のブロック図である。

【図４】 この発明のある実施例による図２の観察者トラッキングシステム
のブロック図である。

【図５】 この発明の実施例による観察者トラッキングシステムを備える増
強仮想網膜ディスプレイの光学概略図である。

【図６】 この発明の実施例による観察環境内におかれる１組の反射体の図
である。

【図７】 反射体検出を処理するある方法でのディスプレイ視野の図である
。

【図８】 図７の処理方法を用いる別の視界でのディスプレイ視野の図であ
る。

【図９】 反射体検出を処理するための別の方法でのディスプレイ視野の図
である。

【図１０】 図２のディスプレイでの例示の走査サブシステムの斜視図であ
る。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ， ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，Ｄ Ｋ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＬ，ＩＳ ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ， ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ， ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ (72)発明者 ジョンストン，リチャード・エス アメリカ合衆国、98029 ワシントン州、 イサクワ、エス・イー・トゥウェンティエ イス・ストリート、25524 Ｆターム(参考） 5C066 AA03 BA20 CA23 GA01 GA13 GA14 KM11 KM14 KM17 5C080 BB05 CC06 DD21 EE17 JJ02 JJ06 KK25 KK50

Claims (20)

【特許請求の範囲】
1. 【請求項１】 配向検出を備える増強走査ディスプレイ装置（１０／５０）
   であって、装置は観察者の目によって観察される虚像に対応する画像データ信号
   （２２）を受取り背景源（４０）からの背景光（３３／４４）を受取って背景像
   を観察者の目に送り、前記装置は、 画像データ信号に応じて画像光を変調し変調された画像光を出力しこれがディ
   スプレイ画素のシーケンスで虚像を規定する画像光源（５２）と、 トラッキング光を生成するトラッキング光源（３４／５２）と、 トラッキング光および変調された画像光を受取るスキャナ（２６）とを含み、
   スキャナは受取ったトラッキング光および画像光を予め定められたパターンに沿
   って偏向し、さらに、 スキャナからトラッキング光を受取り外部実環境へトラッキング光を偏向する
   ミラー（４６／５４）と、 変調された画像光を受取る第１の入力、背景光を受取る第２の入力、および出
   力ポートを有するビームスプリッタ（５４）とを含み、ビームスプリッタは背景
   光および変調された画像光の両方を出力ポートで観察者の目へ出力するよう構成
   され、さらに、 装置に再び入るトラッキング光の検出に応答して第１の信号を生成する検出器
   （４８）を含む、増強走査ディスプレイ装置。
2. 【請求項２】 プロセッサ（６０）と組合せられ、プロセッサは第１の信号
   を受取り、再び入るトラッキング光の検出を虚像を形成するディスプレイ画素の
   シーケンスの中のディスプレイ画素に相関させる、請求項１に記載の装置。
3. 【請求項３】 トラッキング光源は変調され検出器はトラッキング光源の変
   調に同期化される、請求項１または２に記載の装置。
4. 【請求項４】 外部環境に位置するトラッキング光反射体（４２）と組合せ
   られ、外部環境に偏向されるトラッキング光はラスタ走査パターンに沿って偏向
   され、反射体が装置の視野内にあるとき、トラッキング光は反射体に当り再び入
   るトラッキング光（４４）として装置に反射し返される、請求項１、２または３
   に記載の装置。
5. 【請求項５】 トラッキング光は赤外光であり、検出器は赤外検出器である
   、請求項１、２、３または４に記載の装置。
6. 【請求項６】 射出ひとみを規定する接眼レンズ（５４、５６）をさらに含
   む、請求項１、２、３、４または５に記載の装置。
7. 【請求項７】 外部環境の選択された特徴に対応する反射して受取られた光
   の予め定められたパターンを識別するよう動作するプロセッサ（６０）をさらに
   含み、プロセッサは識別されたパターンに応答して視野を決定するようプログラ
   ムされる、請求項１、２、３、４、５または６に記載の装置。
8. 【請求項８】 反射光に応答して視界配向を決定するよう動作するプロセッ
   サ（６０）と、決定された視界配向に応答して変調を調整する変調器に結合され
   るコントローラ（２１）とをさらに含む、請求項１、２、３、４、５、６または
   ７に記載の装置。
9. 【請求項９】 赤外光に少なくとも部分的に反射する１つ以上の表面を有す
   る環境内で使用される走査ディスプレイ（１０／５０）であって、 空間的に結合される可視光出力（５２）および赤外光出力（３４／５２）と、 観察者の目に可視光を結合する目結合光学部品（２６、５４）と、 環境から反射される赤外光を受取るよう配向される検出器（４８）とを含むデ
   ィスプレイ。
10. 【請求項１０】 可視光を変調する変調器（２１）をさらに含む、請求項９
    に記載のディスプレイ。
11. 【請求項１１】 検出器に結合され観察者の配向を決定するようプログラム
    されるプロセッサ（６０）をさらに含む、請求項９または１０に記載のディスプ
    レイ。
12. 【請求項１２】 光学部品およびプロセッサは検出された位置に応答して表
    示される像の位置を変えるよう構成される、請求項１１に記載のディスプレイ。
13. 【請求項１３】 光学部品およびプロセッサは検出された位置に応答して表
    示された像の内容を変えるよう構成される、請求項１１または１２に記載のディ
    スプレイ。
14. 【請求項１４】 動くミラー（２１２）で可視光およびトラッキング光を走
    査するステップと、 観察者の目に走査された可視光を向けるステップと、 外部環境にトラッキング光を向けるステップと、 外部環境から反射し返されたトラッキング光を受取るステップと、 受取られたトラッキング光に応答して観察配向を決定するステップとを含む、
    観察者の目の観察配向を決定するための方法。
15. 【請求項１５】 配向検出を有する増強仮想網膜ディスプレイ（２０／５０
    ）で背景像上に虚像をオーバーレイするための方法であって、増強仮想網膜ディ
    スプレイ装置は、観察者の目によって観察される虚像の画素に対応する画像デー
    タ信号（２２）を受取り外部環境から背景光を受取って観察者の目に背景像を送
    り、前記方法は、 可視光およびトラッキング光を生成するステップと、 画像データ信号に応じて可視光を変調し虚像を形成するディスプレイ画素のシ
    ーケンスを規定するステップと、 予め定められたパターンに沿って可視光およびトラッキング光を偏向するステ
    ップと、 偏向されたトラッキング光を別のミラー（５４）で受取りトラッキング光を外
    部環境に偏向するステップと、 偏向された可視光をビームスプリッタ（５４）および凹面鏡（５６）で受取り
    可視光を観察者の目に向けてさらに偏向するステップと、 背景光をビームスプリッタで受取り背景光の一部を観察者の目に向けて送るス
    テップと、 外部環境内に偏向されたトラッキング光を外部環境内に位置する反射体（４２
    ）で反射するステップとを含み、反射体は受取ったトラッキング光を再び入るト
    ラッキング光としてミラーに反射し返し、さらに、 再び入るトラッキング光を検出するステップと、 虚像の画素を検出された再び入るトラッキング光に相関させるステップとをさ
    らに含む、請求項１４に記載の方法。
16. 【請求項１６】 検出された再び入るトラッキング光に応答する画像データ
    信号にディスプレイデータを埋込むステップをさらに含む、請求項１５に記載の
    方法。
17. 【請求項１７】 埋込まれたディスプレイデータは、視野または環境内の反
    射体のいずれかに相関して固定される虚像に対応する、請求項１６に記載の方法
    。
18. 【請求項１８】 再び入るトラッキング光を検出するのに応答して背景環境
    に相関して位置を三角測量するステップをさらに含む、請求項１５、１６または
    １７に記載の方法。
19. 【請求項１９】 外部環境の選択された特徴に対応する反射して受取られた
    光の予め定められたパターンを識別するステップと、識別されたパターンに応答
    して視野を決定するステップとをさらに含む、請求項１５、１６、１７または１
    ８に記載の方法。
20. 【請求項２０】 反射光に応答して視界配向を決定するステップと、決定さ
    れた視界配向に応答して変調を調整するステップとをさらに含む、請求項１５、
    １６、１７、１８または１９に記載の方法。