JP2008509438A - 可変固定視距離で走査される光表示装置 - Google Patents

可変固定視距離で走査される光表示装置 Download PDF

Info

Publication number
JP2008509438A
JP2008509438A JP2007525043A JP2007525043A JP2008509438A JP 2008509438 A JP2008509438 A JP 2008509438A JP 2007525043 A JP2007525043 A JP 2007525043A JP 2007525043 A JP2007525043 A JP 2007525043A JP 2008509438 A JP2008509438 A JP 2008509438A
Authority
JP
Japan
Prior art keywords
image
light
different
focus
focal length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007525043A
Other languages
English (en)
Inventor
ショーエンジェルド ブライアン
シーベル エリック
Original Assignee
ユニヴァーシティ オブ ワシントン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニヴァーシティ オブ ワシントン filed Critical ユニヴァーシティ オブ ワシントン
Publication of JP2008509438A publication Critical patent/JP2008509438A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/004Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
    • G02B26/005Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid based on electrowetting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

イメージ中の各ボクセルの輝度及びクロミナンスのレベルを変えることに加えて、多焦点3次元イメージを表示するために、イメージ内の物体の視距離が変えられる。ボクセルの焦点距離は、各物体の固定視深度を指示する深さマップによって決定される。イメージが見られるとき、見る人の眼の遠近調節と両眼共同運動の間に自然の対応関係がある。イメージに表示されたボクセルの焦点距離は、例えば、1つ又は複数の動的可変焦点ミラー又はレンズ、異なる焦点距離を有する複数の固定焦点ミラー又はレンズ、異なる焦点距離範囲を有する複数の異なる長さの光路、又は、少なくとも1つの空間光変調器を使用して変調される。イメージを生成するために使用される光は、光が焦点変調される前か後かのどちらかで2つの直交方向に走査される。

Description

本発明は、異なる固定視距離にある物体を含み、かつイメージ中の各物体の固定視距離がイメージを見ているときの両眼共同運動に対応している多焦点3次元視知覚可能イメージの生成方法及びその生成システムに関する。また、イメージ中の物体に対する見る人の眼の輻輳(convergence)が、イメージ内の異なる固定視距離の物体を代表する前記物体に対する見る人の眼の遠近調節に一致している多焦点3次元視知覚可能イメージの生成方法に関する。
従来の視覚システムは、2次元(2D)網膜像から3次元(3D)世界を復元するために種々様々な相関キュー(correlated cue)を使用する。従来の立体表示は、矛盾するキューを視覚システムに与え、イメージ品質を損ない、眼の疲労を引き起し、さらに立体表示の広い商業的受入れを妨げている。これらの矛盾を理解するために、立体視と関係した視覚プロセスのいくつかを最初に概観することは有用である。
人が物体を直接見るとき、それのイメージが各眼の窩(fovea)に向けられるように、人の眼はその物体に固定する。窩は、最も高い空間分解能(〜120円錐体/視度)を有する網膜の部分である。両眼共同運動(輻輳;vergence)の眼球運動プロセスは、2つの眼の視線が(非常に遠い物体に固定するように)平行である範囲又は比較的近い物体に固定するように互いの方に回転する(すなわち、収束する)範囲を制御する。
図1Aは、見る人の眼の焦点が場面の遠い物体に合うとき起こる両眼共同運動及び遠近調節を示す図で、図1Bは、見る人の眼の焦点が場面のより近い物体に合うとき起こる両眼共同運動及び遠近調節を示す図である。
図1Aに示すように、眼32a及び32bが、場面40の遠い背景にある家30に固定されている場合、そのイメージは、実線38で示されるように、各眼の網膜36のほぼ中心にある窩34に置かれる。見る人の固定は場面40の前景にある木32にシフトして、図1Bに示すように眼が互いに近寄るように(互いの方にいっそう回転するように)することができ、その結果、点線42で示すように、今度は木32のイメージが各眼の窩34に置かれるようになる。視覚システムは、眼を回転させるために使用された筋肉からの帰還(feedback)を受け取り、この帰還が固定物体の視距離(viewing distance)に合ったキューを与える。すなわち、より近い物体を両眼で見るとき、両方の眼は、場面のより遠い物体を見るときよりもいっそう互いの方に近寄る。両眼共同運動システムは、また、立体視のプロセスと相互作用する。
小さな距離で2つの眼は離れているので、2つの眼は、わずかに異なった視点を有し、したがって、場面40の異なった網膜像を形成する。立体視で、視覚システムは、左眼からのイメージと右眼からのイメージを比較し、各眼の網膜像の両眼不一致に基づいて物体の視距離について強力な推定を下す。
固定物体のイメージは、各眼の網膜の同じ部分(窩34の中心)に置かれる。固定物体とほぼ同じ視距離にある他の物体は、また、網膜の対応する点に置かれる(例えば、他の物体のイメージは、各眼の窩34の約1mm左に置かれるかもしれない)。ホロプタ(horopter)は、視られている場面40の空間部分を描く仮想湾曲面であり、対応する網膜点に置かれるその空間部分の物体のイメージを生成する。ホロプタの後の物体は、右眼の網膜の左側の方にシフトした網膜像及び左眼の網膜の右側の方にシフトした網膜像を作る(すなわち、両方の眼のイメージは、いっそう鼻の方に配置されている)。ホロプタの前の物体は、右眼の網膜の右側の方にシフトした網膜像及び左眼の網膜の左側の方にシフトした網膜像を作る。すなわち、両方の眼のイメージは、いっそう見る人の耳の方に配置されている。(図9は、ホロプタの例を示す図である。)
強調すべきことであるが、人が場面40を立体的に見て、異なる視距離に配置された物体と物体の間に固定をシフトするとき、眼の両眼共同運動角は、必然的に変化する。3D表示装置を使用して、人為的に生成された立体イメージを見るときでも、両眼共同運動角のこの変化は起こる。
他の眼球運動プロセス、遠近調節(accommodation)は、眼の焦点のシフトを支配する。カメラと同じように、眼の焦点深さは限られている。異なる視距離にある物体の鮮明なイメージを網膜に形成するために、眼は、それの焦点を調節することができなければならない。眼は、見る人から異なる距離にある物体に焦点を合わせる二部分光学システムを有している。角膜は、屈折作用の大部分(ほぼ70%)を実現するが、その屈折力は一定である。水晶体(crystalline lens)は、角膜の後に配置され、その形は、屈折力を高めるか、又は下げるように変えることができる。
眼が遠近調節されていない状態にあるとき、水晶体は、小帯繊維(zonular fiber)からの受動的な張力によって平らになっている。この小帯繊維は、レンズの縁から眼球の壁の毛様体(ciliary body)に放射状に取り付けられている。環状毛様体筋が縮むとき、小帯繊維の張力は、減少して、レンズ表面の曲率を増加させ、それによってレンズの光学力を高める。
固定物体が観察者に近いとき、眼の毛様体筋(ciliary muscle)は縮まって、水晶体をいっそう凸状にし、その屈折力を高め、物体のイメージを網膜上の焦点に合わせる。固定物体が観察者から遠く離れているとき、眼の毛様筋は緩んで、レンズを平らにし、その屈折力を減少させて、網膜上の焦点にイメージを保つ。
ある特定の距離にある物体を焦点に合わせようとするとき、屈折ボケ(dioptric blur)は、遠近調節制御システムで使用される負帰還を実現する。人が新しい視距離にある物体に固定すると、遠近調節の現在の不正確状態のために物体は最初ぼやけて見える。システムが遠近調節を一方の方向にシフトし始め、物体がいっそうぼやけると、システムは、遠近調節を反対の方向にシフトして応答する。脳は、毛様体筋の活動状態についての帰還を受け取り、固定物体の視距離についてデータを与える。
自然の視覚では、物体を焦点に合わせるために必要な遠近調節の量は、物体を各眼の中心に固定させるために必要な両眼共同運動の量と共に比例的に変化する。この強い相関関係を考慮すると、遠近調節及び両眼共同運動の機構が連合運動的につながっていること(一方が動くときに、他方の不随意の動きが誘発され、またその逆になる)は、驚くことではない。この連係は、3ケ月から6カ月の年齢の幼児で観察することができ、連合運動の生物学的傾向を暗示している。眼が特定の視距離に遠近調節をするとき、両眼共同運動システムは、自動的に、同じ視距離に対して近寄るようになる。逆に、眼が特定の視距離に対して近寄るとき、遠近調節システムは、自動的に同じ視距離に遠近調節をするようになる。遠近調節と両眼共同運動の間のこれらの相互結合は、輻輳主導(convergence−driven)の遠近調節及び遠近調節主導の両眼共同運動と呼ばれる。
自然な観察条件の下で、視覚システムは、眼を動かし、遠近調節及び両眼共同運動の連係したプロセスなどの多くの相関プロセスを使用して環境における物体の距離を見積もる。しかし、図2に示すように、従来の立体表示は、この連係を切り離すことを強要して、見る人が、異なる立体的距離にある仮想物体を見るように両眼共同運動角を動的に変えながら、固定面に遠近調節を維持すること(2D表示面を焦点の合った状態に保つこと)を要求する。
図2は、両眼共同運動が遠近調節から切り離されている従来の2D立体表示を示す図である。この図2では、従来の立体表示(場面)44は、(前景の)木32及び(背景の)家30のある場面44の視野に対応する左眼2Dイメージ48aを実現している。同様に、立体表示44は、左眼を通した場面の視野に比べてわずかに異なった右眼の視野角からの木32及び家30の右眼2Dイメージ48bを実現する。見る人の左眼32aは2Dイメージ48aだけを見るが、一方で、右眼32bは2Dイメージ48bだけを見る。このことで、右眼と左眼の網膜像の間の両眼不一致によって異なる距離の物体を見る感覚が生じるようになる。見る人が木32から家30に凝視(gaze)をシフトするときに、彼又は彼女は、眼の両眼共同運動角を変えなければならない。しかし、2Dイメージ48a及び48bは、見る人の眼から一定の距離にあるので、見る人の眼が、平面で固定視距離にある2Dイメージ48a及び48bに焦点をあわせるとき、木32及び家30は両方とも焦点が合っている。したがって、異なる2Dイメージによって与えられる両眼共同運動は、実際の場面の木32と家30の異なる視距離に手ごろな対応する遠近調節をしない。というのは、木32と家30の両方は、異なる遠近調節の視距離ではなく同じ距離(見る人の眼からイメージ48a及び48bまでの距離)で焦点が合っているからである。この両眼共同運動と遠近調節の分離は、立体ヘッドマウントディスプレイ(HMD;fead−mounted display)を見ることに関連した眼精疲労(eyestrain)の主要な要素であると考えられ、継続する長期暴露の後で視覚システム病状につながるかもしれない。
したがって、見る人が眼精疲労にかからず、比較的長時間にわたってそのようなイメージを見ることができるように、遠近調節及び両眼共同運動が依然として適切に結合された状態にある3Dイメージを表示することが望ましいだろう。そのような3Dイメージは、眼だけで単眼イメージとして見られない場合、立体的な効果だけでなく両眼共同運動及び遠近調節の正常な視知覚にも応じて、場面内の異なる物体の視距離を脳が容易に判断することができるように自然なやり方で見ることができる。見る人の眼は、異なる相対的な視距離に見えるように意図されたイメージ中の物体を見るとき、異なる両眼共同運動要求を生じるが対応する遠近調節のレベルを与えない立体的効果だけに基づいて、3Dイメージの物体の視距離を判断することを強制されるべきでない。
その上、近視野(例えば、7cm未満)から遠視野(無限大)までに及ぶ物体を見るために、両眼共同運動と遠近調節の適切な結合は、焦点距離の最大範囲にわたって及ぶべきである。また、2つの物体がイメージで重なっている場合、前景物体が部分的に透明であるように意図されていなければ、背景物体の前にある前景物体が背景物体を完全に見えなくすることが望ましい。いくつかの従来の撮像システムは、両眼共同運動と遠近調節が依然として結合した状態である3Dイメージを実現することができるが、これらの従来技術のシステムは、非常に限られた範囲の遠近調節キュー(すなわち、限られた範囲の焦点距離)を超えるものを場面の3Dイメージの物体に与えることができないか、及び/又は、背景物体が、不透明であるはずの重なる前景物体を通して見えるようにするやり方で動作する。明らかに、直接3Dイメージ(true 3D images)を表示するより優れた方法が望ましいだろう。
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、異なる固定視距離にある物体を含み、かつイメージ中の各物体の固定視距離がイメージを見ているときの両眼共同運動に対応している多焦点3次元視知覚可能イメージの生成方法及びその生成システムを提供することにある。
また、イメージ中の物体に対する見る人の眼の輻輳(convergence)が、イメージ内の異なる固定視距離の物体を代表する前記物体に対する見る人の眼の遠近調節に一致している多焦点3次元視知覚可能イメージの生成方法を提供することにある。
本発明は、異なる固定視距離にある物体を含み、かつイメージ中の各物体の固定視距離が、イメージを見るときの眼の両眼共同運動角に実質的に対応している多焦点3D視知覚可能なイメージの生成方法を提案することである。本発明の生成方法は、表示されるべき多焦点3D視知覚可能イメージのボクセルの2Dイメージデータと深さマップの両方を供給するステップを含んでいる。深さマップは、イメージ中の物体の固定視距離を指示する。2Dイメージデータに応じて、イメージのボクセル(voxel)を表示するために、光が生成される(用語「ボクセル」は、2Dイメージに適正に使用される用語「ピクセル」に似ているが、「ボクセル」は、異なる焦点距離の物体を含む3Dイメージを参照するとき好ましいことに留意されたい。)。イメージのボクセルの光の波面発散は、固定視距離に応じて、深さマップで指示される。ボクセルで表された物体のイメージの視距離の関数として、対応する波面発散で、イメージのボクセルが表示されるように、イメージは表示される。従来の3D表示で課される制限と違って、この生成方法では、イメージ中の物体の視距離は、7cm未満から無限大まで広がる最大範囲内で変化することができる。
イメージのボクセルを表示する光を生成するとき、イメージ中のボクセルの光の強度がボクセルの2Dデータに対応するように、ボクセルごとに、イメージを生成するために使用される光の強度は、ボクセルの2Dイメージデータの関数として変えられる。この光は、視知覚可能であるようにイメージを生成するために振り向けられる。
イメージが多色である場合、イメージ生成するように光を振り向ける前に、ボクセルごとに、複数の異なる波長の光源からの光の強度が変調される。
本発明の生成方法は、イメージを生成するように光を走査するステップをさらに含むことができる。この場合、波面発散を変えるステップは、イメージを構成するボクセルが異なる焦点距離にあるようにボクセルの光の焦点距離を変調するステップを含むことができる。これらの異なる焦点距離は、深さマップで指示されるように、イメージ中の物体の異なる視距離におおむね対応する。
波面発散を変えるステップは、イメージのボクセルのための複数の異なる焦点距離の光を生成するために少なくとも1つの光学素子を使用するステップを含んでいる。1つ又は複数の光学素子は、固定焦点特性か動的に可変の焦点特性かのどちらかを有することができる。
本発明の生成方法は、また、複数の異なる焦点距離の各々が少なくとも1つの別個の光源を有するように複数の光源を設けるステップと、別個の光源ごとに個々のボクセルストリームを生成するように時間にわたってその複数の光源を個々に輝度変調するステップとを含むことができる。そして、個々のボクセルストリームで形成された異なる焦点距離にあるイメージは光学的に組み合わされ、重ね合わされる。重ね合わされたイメージは、複数の異なる焦点距離の複数の光源からの光で形成されたイメージの合成物として多焦点3D視知覚可能イメージを生成する。
イメージの合成物は、より大きな焦点距離にある物体を、より近い焦点距離に形成された半透明なイメージを通して見ることができるようにする。さらに、イメージの合成物は、異なる焦点距離の物体からの反射がイメージで見えるようにする。
本発明の一実施形態では、複数の光源からの光が伝わる異なる経路長が、異なる焦点距離を生成するように設けられる。
また、本発明の一実施形態では、光の少なくとも1つの走査が行われた後で、少なくとも1つの光学素子がボクセルの焦点距離を修正する。
光の焦点距離を変調するステップは、光が走査される前に、変形可能な膜ミラーの焦点を動的に変えるステップ、又はいくつかの異なる部品の1つを使用して光の焦点距離を動的に変えるステップを含むことができる。使用される部品は、例えば、流体レンズか、ネマチック液晶空間変調器か、強誘電性液晶空間光変調器か、非重合体電気光学空間光変調器か、又は、電気光学重合体空間光変調器かのどれかであってもよい。
本発明の一実施形態では、イメージが見られている間、いくつかの異なるパラメータのうちの少なくとも1つを検出するために見る人の眼を監視し、帰還信号を生成するステップを含んでいる。異なるパラメータは、遠近調節と、両眼共同運動と、ひとみサイズと、眼の位置のいずれかを含んでいる。イメージの表示は、帰還信号に応じて修正される。
1つの例示の実施形態では、波面発散を変えるステップは、複数の異なるチャネルを設けるステップを含んでいる。各チャネルは、表示されるべきイメージの全焦点距離範囲の部分集合である異なる焦点距離範囲を有する。部分集合は、イメージの全焦点距離範囲が異なるチャネルの異なる焦点距離範囲によって包含されるように選ばれる。チャネルによってイメージに表示されるボクセルの深さマップに基づいて、適切なチャネルが選ばれ、選ばれたチャネルのために、そのチャネルの焦点距離範囲内で焦点距離が変えられる。見る人の眼は、イメージに含まれた他の視覚キューに応じて複数のチャネルの固定焦点距離範囲の間の焦点距離を補間することができる。
1つの例示の実施形態は、見る人の眼の視覚誤差(例えば、近視又は遠視)を補償するようにイメージに対する遠近調節の全範囲を静的にシフトすることを可能にする。その結果として、見る人は、視覚誤差を補償するどんな補正レンズも着けることなしに、イメージをはっきり見ることができる。
少なくとも1つの例示の実施形態では、イメージの各ボクセルは、深さマップに含まれた固定視距離の指示に基づいて別々に処理される。この生成方法は、イメージを表示するときボクセル単位の焦点変調を実現する。
他の随意のステップは、イメージのボクセルの焦点距離を拡大/縮小することを含んでいる。この拡大/縮小は、異なる焦点距離の物体が互いにより遠く離れて見えるようにイメージ中の物体の全焦点距離範囲を増大することができる。代わりに、拡大/縮小は、異なる焦点距離の物体が互いにより接近して見えるようにイメージ中の物体の全焦点距離範囲を減少させることができる。
他の実施態様は、異なる固定視距離にある物体を含み、かつイメージ中の各物体の固定視距離が、イメージを見ているときの両眼共同運動に実質的に対応している多焦点3D視知覚可能イメージを生成するシステムに向けられている。このシステムは、上述した精子絵方法のステップとおおむね一致した機能を行う手段を含んでいる。
要約書は、説明において以下で詳細にさらに説明されるいくつかの概念を簡略化された形で紹介するために設けられた。しかし、この要約書は、特許請求の範囲の内容の重要な又は基本的な特徴を識別する意図でなく、また、特許請求の範囲を決定する際の助けとして使用するようにも意図されていない。
1つ又は複数の例示の実施形態及びそれの修正物の様々な態様及び付随的な利点は、添付の図面に関連して解釈されるとき次の詳細な説明を参照して、一層よく理解されるようになるとき、上述のものは一層容易に評価されるようになるだろう。
以下、図面を参照して本発明の実施形態について説明する。
<図及び開示された実施形態は限定しない>
例示の実施形態は、図面の参照図に示される。本明細書を開示される実施形態及び図は、限定的でなく例示であると考えられるべきである。
<ボクセル単位の波面変調−概要>
場面全体にわたって波面発散(wavefront divergence)の変化を再形成することができるビデオ表示は、そのビデオ表示を見る人が、深さ及び臨場感の高まった感覚を経験することができるようにする。例えば、見る人は、凝視をイメージの背景のぼやけた物体に向け、自然にその新しい距離に遠近調節をシフトし、さらに、物体に焦点をシャープに合わせることができる。上述したように、遠い物体で反射された光はほぼ平行になっており、近い物体で反射された光は非常に発散性(divergent)である。中間距離の物体で反射された光は、中間の発散レベルを有している。以下の説明は、3Dイメージの波面発散変化(wavefront divergence variation)を生成するというこのタスクを達成するための方法、材料、及び例示の実施形態を説明する。
本明細書で説明する様々な例示の実施形態は、ボクセル(voxel)ごとに波面発散を変えることができ、最終結果は、異なる光学視距離にある物体で構成されたイメージである。そして、見る人の眼は、このイメージの異なる視距離に対して遠近調節をして、このイメージ内のどんな物体をもシャープに焦点に合わせることができる。
そのような直接3Dイメージを生成するために、表示システムは、イメージの要素(例えば、ボクセル)の輝度及びクロミナンスを定義しならびに物体を構成するそれらの要素の固定深さを定義するデータを備えなければならない。輝度及びクロミナンスのデータは、一般に、場面の2Dイメージを画定するために使用されるデータとおおむね同じであり、各要素に使用される1つ又は複数の光源からの光の強度、ならびにイメージのそれらの要素における光の色を決定する。しかし、直接3Dイメージを生成するために、2Dイメージに使用されるデータに加えて、このイメージを構成する要素(ボクセル)の固定視距離を指示する深さマップが必要である。表示されたイメージ中の比較的より近い物体に含まれた要素(ボクセル)の固定視距離は、その物体が対応するより近い焦点距離に表示されるようにする。同様に、場面の背景などの比較的遠い物体に含まれた要素(ボクセル)の固定視距離は、その遠い物体が比較的より大きな焦点距離に表示されるようにする。
この生成方法は、表示がイメージを生成するときに、イメージのボクセルの焦点距離が、深さマップに応じて変調されることを必要とする。以下の説明は、このタスクを達成するいくつかの異なる実施形態を開示する。
<多焦点イメージ>
図8A乃至図8Dは、走査焦点合せ機構で生成された波面発散によって、見る人の眼が、見る人から異なる相対的な視距離にあるイメージ中の物体にどのようにして焦点を合わせることができるようになるかを示す図である。
図8Aは、見る人の眼の焦点遠近調節に及ぼす効果を示す図で、走査焦点合せ機構142によって与えられる焦点が遠い物体のイメージに合っている。図8Aには、物体が比較的遠くにあるイメージを走査焦点合せ機構142が生成するときの眼140が示されており、イメージ中の物体からの光は実質的に平行であるので、眼140は、遠近調節を緩めることによってそのイメージに焦点を合わせることができる。
図8Bは、見る人の眼の焦点遠近調節に及ぼす効果を示す図で、走査焦点合せ機構142によって与えられる焦点が遠い物体のイメージからより近い物体のイメージに変化する。図8Bは、見る人に比較的近い物体のイメージが走査焦点合せ機構142によって生成されるように条件が変化したとき起こる焦点整合不良を示し、見る人の眼140の緩んだ遠近調節は、物体を焦点に合わせることができない。
図8Cは、見る人の眼の焦点遠近調節に及ぼす効果を示す図で、走査焦点合せ機構142によって与えられる焦点が遠い物体のイメージからより近い物体のイメージに変化する。図8Cは、焦点整合不足に応答して、見る人の眼140が、近い物体に焦点を合わせるようにどのように遠近調節をするかを示し、その結果、イメージの焦点が眼140の網膜144に合っている。
図8Dは、見る人の眼の焦点遠近調節に及ぼす効果を示す図で、走査焦点合せ機構142によって与えられる焦点が遠い物体のイメージからより近い物体のイメージに変化し、次に、異なる距離の物体に焦点が合っている状態の多焦点イメージを実現する。図8Dでは、焦点合せ/走査機構は、比較的遠く離れた物体と見る人に比較的近い物体の両方を含む多焦点イメージを生成する。
図示のように、見る人は、遠い物体に焦点を合わせており、より近い物体は焦点が合っていない。見る人の眼140は、より近い物体に焦点を合わせるように遠近調節を変えることができ、その結果、より近い物体は焦点が合うようになり、又は、固定を元の遠い物体に変えて、遠近調節が変化し再び遠い物体に焦点を合わせるようにすることができる。また見る人の眼140に両眼共同運動キューを与えるこの型の多焦点イメージは、直接3Dイメージである。
多焦点イメージは、立体的かモノスコピックかいずれかで表示することができ、どちらの場合にも遠近調節キューを与えることは明らかなはずである。視覚システムは、(立体的に、又は単眼的に)見られている物体の深さ及び3D構造についての判断を下すように(網膜ぼけ及び遠近調節を制御する筋肉からの帰還の形で)遠近調節キューを使用することができ、したがって、そのようなキューは、立体視だけでなく単眼視でも有用である。他の単眼視距離キューには、動き視差、ぼやけ、閉塞、直線配景、相対的大きさ、その他がある。両眼視距離キューには、両眼共同運動(両方の眼の筋肉からの帰還)及び両眼不一致がある。これらの視距離キューのすべては、深さ知覚で使用される。ただし、両眼不一致は、従来技術の立体表示で最も注目されたキューであるようである。しかし、表示は、遠近調節のような他の視距離キューを与える場合、必ずしも立体的でなく3Dデータを表現することができる。
次の開示は立体的な場合を強調する。というのは、従来の立体表示には、解決を必要とする実質的な問題、すなわち、疲労の原因となる遠近調節−両眼共同運動対立があるからである。立体表示に遠近調節キューを追加することで、表示されるイメージは、より臨場感があるだけでなく、文献でよく述べられている従来の立体表示の問題を解決する。それにもかかわらず、単眼的に見られるイメージのために遠近調節キューを示すことには、依然として意義がある。仮想物体が見る人の視野の実際の物体と並べられているシースルー(「現実感増大」)モードで、表示が使用される場合、仮想物体は適切な焦点距離に置かれることが非常に重要である。例えば、見る人が、見る人の視野の実際の物体に仮想ラベルを貼るHMDを着けている場合、各ラベルは、描いている物体と同じ焦点レベルにあるべきである(その結果、見る人は、同時に、物体を見、ラベルを読むことができる)。非シースルー又は非現実感増大の使用のために、イメージに遠近調節キューを示すことは、依然として価値があることがある。
次の節では、ボクセル単位の焦点変調の目標を達成する複数の例示の生成方法及び実施形態が開示される。以下で述べる最も簡単な生成方法は、1つ又は複数の電気光学重合体(又は、他の型の可変焦点光学素子)を使用して、ボクセルが走査される前にボクセルの焦点を素早く調整する。他の生成方法は、複数の光学素子を使用して、例えば、x−y走査の前に波面変調のタスクを行う。この生成方法の1つの例示の実施形態は、固定焦点距離(しかし、素子間で異なってもよい)の光学素子を使用する。他の例示の実施形態は、(各焦点チャネルの焦点距離を動的に調整することができるようにする)1つ又は複数の可変焦点光学素子を使用する。さらに他の生成方法では、1つ又は複数のスキャナの後で、複数の光学素子が使用される(すなわち、複数の光学素子が下流、走査エンジンの一部の後又は全走査エンジンの後、に配置される)。いくつかの例示の実施形態では、可変焦点光学素子の1つ又は複数のアレイが使用され、各光学素子がイメージの異なる部分の焦点に影響を及ぼしている。
<可変焦点光学素子の例>
いくつかの代替部品を使用して、表示されたイメージ内のボクセルの焦点を変えることができる。これらの部品には、以下で説明するように、変形可能膜ミラー(DMM)と、流体レンズと、空間光変調器(SLM)と、電気光学重合体とがある。以下、これらについて説明する。
変形可能膜ミラー(DMM)
DMMは、異なる視距離にある場面中の物体に対応する表示の部分の焦点を動的に変えるように使用することができる。
図3Aは、直接3D表示において焦点深度を動的に変える際に使用することができる例示の変形可能膜ミラー(DMM)を示す模式図であり、DMMを示す等角図である。図3Bは、直接3D表示において焦点距離を動的に変える際に使用することができる例示の変形可能膜ミラー(DMM)を示す模式図であり、DMMを示す分解組立図である。図3Cは、直接3D表示において焦点距離を動的に変える際に使用することができる例示の変形可能膜ミラー(DMM)を示す模式図であり、異なる印加電圧によるDMMの変形を示す図である。
図3A乃至図3Cに示されている1つのそのようなDMM50の例は、プリント回路基板54の上に取り付けられたシリコンチップ52を含んでいる。アルミニウムの反射層58をコーティングされた薄い窒化珪素膜56が、シリコンチップ52の直径10mmのアパーチャ60全体にわたって広がっている。プリント回路基板54で、電極62が変形可能膜の裏に取り付けられている。反射膜の形は、バイアス及び制御電圧を膜及び制御電極64に加えることによって制御される。制御電圧を加えることで、DMMの反射膜は、アクチュエータの方に静電的に片寄り、高い電圧が加えられるにつれてますます凹面放物線状になるように、膜の形を(0ボルトでの)平らな形から変える。アクチュエータに加えられる電圧が大きいほど、図3Cに示すように、膜がアクチュエータの方に引っ張られる程度が大きくなる。
反射表面の放物線状変形によって、DMMが可変パワー光学部品として作用することができるようになる。DMMに電圧が加えられていないとき、これの表面で反射された平行ビームは、図3Cの一番上の図に示すように、平行になったままである。しかし、DMMに300ボルトが加えられると、表面で反射された平行ビームは、DMMから約1メートルの点に集束する。すなわち、DMMは、図3Cの一番下の図に示すように、1ジオプタ(1ジオプタ(diopter)=1/メートル単位の焦点距離)の集束ミラーとして作用する。
若い健康な人の眼の水晶体の遠近調節は、ほぼ0ジオプタから−15ジオプタの焦点範囲を眼に与える(すなわち、眼は、無限に遠く離れた物体又は眼から約7cm程度の近い物体に焦点を合わせることができる)。この要求は単独のDMMの範囲を超えているが、試作品で、他のレンズに対するDMMの位置によって、全体的な焦点範囲は、約7cm未満から無限遠に及ぶように拡大される。より大きな電圧を加えることによって、DMMの範囲は増すことができると思われるかもしれないが、大きな電圧(>300ボルト)がDMMに加えられると、膜は、「パチンと音を立てて」アクチュエータまで下がり、裂けることがある。この危険性を最小限にするために、例示の試作品では、控えめなDC電圧範囲(例えば、0ボルト〜224ボルト)が視覚システムの要求を超える全焦点範囲を実現するように、DMMは位置づけされた。
流体レンズ
他の可変焦点光学素子は、流体レンズである。例示の流体レンズ70は、図7A及び図7Bに示されている。
図7Aは、例示の流体レンズを示す模式的な断面図で、電圧が加えられていない状態の流体レンズの焦点を示している。図7Bは、例示の流体レンズを示す模式的な断面図で、電圧が加えられた後の流体レンズの焦点の変化を示している。
エレクトロウェッテングのプロセスによって、(異なる屈折率の)導電性流体74と絶縁性流体76の間の界面72の形が変えられる。光学的に透明なガラス板80及び82が流体レンズ70の相対する側に設けられ、その結果、光はこれらのガラス板を容易に通過し、流体レンズ70の焦点の影響を受けるようになる。現在、流体レンズ70は、Philips及びVariopticから市販されている。これらのレンズの両方は、エレクトロウェッテングの同様な原理を使用して動作する。導電性流体及び包含する壁78の両端間に電圧を加えることによって、流体の表面張力が変わり、流体間の界面の曲率が変化し、これによって、流体レンズの屈折力が変わるが、このことは、図7Bで明らかである。
この技術の特定の利点は、マイクロレンズのアレイ(図示されない)に十分に向いていることであり、このマイクロレンズは、上で説明した流体レンズと同じように機能する。オリフィスのアレイを材料に作ることができ、オリフィスを液体で満たすことができ、さらに透明な窓を使用してアレイを密閉することができ、その結果、アレイを構成するマイクロレンズで生成されたイメージの異なる部分の焦点距離を別々に動的に制御することができるようになる。
図16は、複数の光学部品が1つ又は複数のスキャナの後(下流)に配置されている網膜走査光表示を示す模式図で、見る人は遠い背景に焦点を合わせるために遠近調節を緩ませている。図17は、複数の可変パワー光学部品が1つ又は複数のスキャナの後(下流)に配置されている網膜走査光表示を示す模式図で、見る人は中間距離にある木に焦点を合わせために遠近調節を高めている。この特性は、図16及び図17に関連して以下で説明する例示の方法の1つで使用するために特に価値がある。
空間光変調器(SLM)及び電気光学重合体
可変焦点光学部品の他の部類は、ネマチック液晶素子と、強誘電性液晶素子と、電気光学材料(重合体及び非重合体)で形成されたものなどの空間光変調器(SLM)である。電気光学重合体は、MHzの速度で赤外(IR)光の波面を変調するために使用されたが、一方で、有機非重合体電気光学材料は、また、MHzの速度でIRと可視光の両方の波面を変調するようにSLMで首尾よく使用された。
図10は、ボクセル速度変調(透過モード)での網膜光走査に基づいた直接3D表示の色チャネルごとに空間光変調器(SLM)を使用することを示す模式図である。この図10には、SLMを使用する例示の表示が示され、以下で詳細に説明する。
可視領域で機能することができる電気光学薄膜材料は未だ市販されていないが、そのような材料は、理論的に達成可能である。そのようなデバイスがいったん市販されると、ただ1つのSLMを使用して、走査光ビーム(scanned light beam)の焦点をボクセル単位のバイアスで変調することができる。
<<DMMを使用する遠近調節キューでイメージを生成する方法>>
図4は、眼の遠近調節のための統合焦点キューを有する例示の両眼網膜レーザ走査表示を示す模式図である。図4を参照して、両眼共同運動及び立体網膜不一致の要求に合う可変遠近調節キューを生成する例示の表示装置100が組み立てられ、それによって、自然な観察条件をより適切にシミュレートする。この実施形態は、両眼共同運動など他の視距離キューだけでなく眼の遠近調節のための統合焦点キューを用いてイメージを生成する網膜走査レーザ表示型である。
図4に示すように、(Omnichromeから入手可能な)青緑色アルゴンイオンガスレーザ102が表示用の第1の光源を実現し、ダイクロイックミラー104は、レーザで生成された青色光(458run)を色チャネル106の方向に反射し、それと同時に緑色光(514ran)が通過し異なるチャネル108に入ることができるようにする。青色及び緑色の光ビームは、各々、レンズL1及びL3を通ってそれぞれ集束され、(Neos Technologiesから入手可能な)別個の音響光学変調器(AOM)110及び112に入る。このAOM110、112は、3DLabsから入手可能なグラフィックスカードWildcat ID(商標)(図示されない)からの青色及び緑色ビデオ信号に従って、それぞれのビームの輝度強度を変調して、対応するボクセルストリームを生成する。グラフィックスカードで生成されるビデオ信号のタイミングは、外部同期源、例えば、光タコメータ(図示されない)で制御され、この同期源は、以下で説明するように、回転ポリゴンミラー114で生成された各走査線の開始を信号で伝える。青色ビーム及び緑色ビームは、第2のダイクロイックミラー116で光学的に再組合せされる前に、レンズL2及びL4で再び平行にされる。グラフィックスカードからの赤色信号は、赤色光(633ran)を生成する赤色レーザダイオード118の強度を直接変調して、3色ボクセルストリーム又はビームを実現する。この赤色ビームは、第3のダイクロイックミラー120を使用して青色ビーム及び緑色ビームと組み合わされて、1つの合成RGBビームを形成する。RGBボクセル変調ビームは、(上述したような)焦点変調のために直径10mmのDMM(OKO Technologiesから入手可能)の表面で反射される前に、拡大され、さらに弱く集束される(図4にレンズは示されていない)。
回転ポリゴンミラー114(Lincoln Laser Companyから入手可能)は、75のファセットを含み、水平方向で31,500Hzの走査を行う。回転ポリゴンミラー114で反射された光は、検流計ミラー124(Cambridge Technologiesから入手可能)の方に向かってレンズL5及びL6を通過する。この検流計ミラー124は、60Hzの垂直走査を行う。検流計ミラー124は、回転ポリゴンミラー114と同期して、525本の水平線を含むビームのラスタ走査を引き起こす。回転ポリゴンミラー114及び/又は検流計ミラー124のどちらか又は両方の代わりに、共振スキャナを使用することができる。また、単一の二軸スキャナが、検流計ミラースキャナ及び回転ポリゴンミラースキャナの両方に取って代わることができる。
図4に示す点線は、ラスタ走査の範囲を示し、一方で、実線は、時間の一瞬のビームの経路及び焦点を示す。走査機構に続く(すなわち、走査機構から下流にある)光学部品の各々は、走査の角度とビームの焦点の両方に同時に影響を及ぼす。例えば、レンズL7は、ラスタ走査を平行にし、DMMの形に依存した距離にビームを集束させる。ビームスプリッタ126は、両眼で見ることのために、走査を左眼チャネルと右眼チャネルに分割する。レンズL8及びL9は、(再びDMMの形に依存して)ビームを平行にしながら、又はそらしながら、走査を各チャネルに集束する。各チャネルの集束するラスタ走査は、ビームスプリッタ(図示しない)で反射され、各眼の入射ひとみに射出瞳を形成して、表示イメージのマクスウェル視野を生成する。これらの最後のビームスプリッタは、観察拡大のために、実世界の上に表示イメージを重ねることを可能にし、その結果、使用者は、投射されたイメージによって実世界を同時に見ることができるようになる。代替として、図示しないが、ビームスプリッタ126及びレンズL9を削除し、それによって、遠近調節キューと両眼共同運動キューの両方を伝える単眼イメージをただ1つの眼に与えることができることに留意されたい。この単眼イメージは、(異なるイメージが両方の眼で見られるとき与えられる両眼キューを欠くだけの)直接3D単眼イメージである。
DMMは、走査された仮想イメージの視距離を無限に遠い距離(平行光ビーム)から最後の走査レンズの表面(走査レンズの表面から生じるように見える光ビーム)までシフトすることができる。イメージ中の物体のための実効最大焦点距離範囲は、7cm未満から無限大である。レーザビームは、回折で制限されたスポットを網膜上に生成することができる。したがって、表示の水平分解能は、レーザ変調の周波数及び走査経路の全角度によってのみ制限される。
この単純な実施形態の限界は、現在DMMがほぼ26kHzの最大変調周波数を有し、VGAボクセル速度のフレーム単位又はせいぜい線単位で焦点を変えることができるようにすることである。DMMの周波数応答は、おそらく将来よくなるであろうが、VGA又はより高い分解能でボクセル単位の焦点変調を行うために必要とされるMHz速度を達成しない可能性がある。この限界を回避するために、単一のDMMに依存せずに、かつ高分解能ボクセル速度で焦点変調を可能にする追加の例示の実施形態が以下で開示される。以下で説明する1つのそのような実施形態はDMMをSLMに変換する。
図4に示された実施形態に関して、射出瞳から仮想イメージまでの距離は、等間隔(0〜224ボルト、11.2ボルトの21ステップ)でミラー変形の範囲全体にわたって評価された。各電圧ステップについて、ビーム直径は、その表示において最後のレンズL9から複数の距離のところで測定された。ビーム直径の客観測定は、ビームプロファイラ(例えば、ThorLabsから入手可能な、型番WMIOO Omega(商標)メータ)を使用して行われた。ビームプロファイラは、ビーム直径の測定を行うために走査ナイフエッジを使用するので、走査を凍結し静止ビームを作ることが必要であった。その上、ビームプロファイラは、緑色光(514nm)に対して比較的敏感でないので、直径測定の間、赤(633nm)ヘリウムネオンレーザビーム(Melles Griotから入手可能)が緑色ビームと重ねられた。
各電圧で、ビームプロファイラは、最後のレンズL9から10、15、20、25、30、25、40、45、及び50cmの位置でビーム直径を測定した。回帰直線(regression line)は、9個のビーム直径に一致し、そのx交点は、仮想イメージ点のレンズL9からの距離の推定値を与えた。仮想イメージ点から射出瞳までの距離の負の逆数は、仮想イメージを網膜の焦点に合わせるために必要な遠近調節のジオプタパワー(diopter power)に等しい。各電圧について計算されたジオプタ値が、図5にプロットされている。
図5は、DMMを駆動するために使用された電圧の関数としてプロットされたビームプロファイラ(ダイアモンド)で集められたデータをグラフに示す図で、イメージに焦点を合わせるために必要な眼の遠近調節のジオプタパワーは、メートル単位で測定されたときの仮想イメージまでの距離の負の逆数に等しい。0ボルトで、ビームは非常に発散性であり、仮想イメージは眼から約7cm離れている。224ボルトでは、ビームはほぼ平行になり、仮想イメージまでの距離は無限大に近づく。3次の多項式(この図の点線)は、R=0.998の場合に、y=−0.000002x+0.0007x+0.0134x−15.326の関係に基づいたデータに良好に一致をする。
<眼の遠近調節の測定>
表示に対する眼の遠近調節応答は、眼の光学力を5Hzで動的に記録するSureSight(商標)Autorefractor(Welch Allynから入手可能)を使用して客観的に測定された。オートリフラクタは、赤外(IR)(780nm)レーザビームを眼に投射し、反射を記録する。反射を解析することによって、眼の光学部品の全屈折力が計算される。ホットミラーがビームスプリッタの後に取り付けられ、ビームスプリッタは、オートリフラクタからのビームを被験者の眼に反射するが、表示光学部品を通して実際の物体を見る被験者の能力を維持した。
SureSightオートリフラクタの指定された測定範囲は、+6Dから−5Dである。仮想イメージ位置の解析は、DMM電圧範囲の下の半分で、仮想イメージが遠近調節の−5D以上を必要とするくらい近いことを示した。データ収集の前に、DMM電圧の範囲を通した遠近調節測定が試みられた。実際、123.2ボルトより低い電圧で、オートリフラクタは屈折測定値を収集することができなかった。したがって、データ収集中に、電圧の範囲を、11.2ボルトの10個の等間隔の123.2ボルト〜224ボルトに限定した。
10の試験の各々の間、DMMは異なる静的電圧レベルで駆動され、一方で、被験者は、表示の60HzのVGA(640×480)イメージを左眼(単眼)で見た。右眼は眼帯で塞いだ。各試験中に、被験者は1分間表示を見たが、それと同時に、被験者の遠近調節応答がオートリフラクタで測定された。その1分の間ずっと、オートリフラクタは、眼の遠近調節について多数の測定を記録した。
各試験の遠近調節測定の平均が計算され、これらの平均がDMM電圧の関数として図6(三角点)にプロットされている。同じグラフに、この限られた電圧範囲にわたったビームプロファイラ測定が、円形の点で示されている。実際のビーム焦点と被験者の遠近調節応答との間に強い一致が見られる(ピアソン積率相関係数γ=0.987)。
仮想イメージの焦点は、表示の射出瞳(exit pupil)から非常に遠い(無限大に近い)ところからからほぼ7cmまでシフトすることができることを、ビームプロファイラのデータが示している。遠近調節測定値とビームプロファイラのデータとの強い一致は、仮想イメージ位置の変化が眼の遠近調節のために十分なキューを生成することを暗示している。DMMは、網膜の走査表示に表示されたイメージの焦点を変えるための有効なツールであると思われる。
表示の焦点距離は、走査より前の可変アパーチャでビーム直径を変えることによって、調整することができる。
LCDシャッタを左眼チャネル及び右眼チャネルに組み込むことで、上述した光分割方法の代わりに、立体ビデオを表示する代替手段が実現される。
<SLM又は電気光学重合体を使用する走査光表示装置での視距離変調>
走査光表示装置(scanned light display;例えば、ワシントン大学で開発されたVirtual Retinal Display(商標)又は網膜走査表示装置)は、角膜に当り眼の光学部品で網膜に集束される走査光ビームを使用する。すべての走査光表示で、眼に入る光の走査されるビームのコリメーションの程度は、フレームごとに固定されている。眼の遠近調節のレベルは、イメージ(全フレーム)の焦点が合っているかどうかを決定する。変形膜ミラーを使用して30から60Hzの交互になるフレームでコリメーションの程度をシフトして、他方に対して一方の視距離に遠近調節することによって人間の眼で2つの異なるイメージ面を焦点に合わせることができる。流体レンズなどの調整可能な焦点調節レンズは、光ビームのコリメーションの程度を調整するように使用することができるが、これらのシステムは、大抵の電子表示装置のボクセル速度よりも遥かに遅い。その理由は、焦点を調節するために質量を動かさなければならないからである。
簡単なVGA(60Hzで640×480ボクセル)仮想網膜表示装置(VRD)のピクセル速度は、約12.5MHz又は約40ナノ秒/ピクセルである。したがって、自然環境を完全に真似るという目標を達成するために、非常に違ったコリメーションの程度を有する周囲の点から光が眼に入らなければならない。例えば、指が人の顔の前にあるとき、光は指に当り、網膜上にイメージとして再形成され、発散する光ビームの場合、水晶体がこれらの発散するビームをはっきり焦点に合わせるようにすぐ近くまで焦点が合う必要がある。逆に、15フィートよりも遠く離れた物体及び表面から来る光は、ほぼ平行な光ビームを眼に与え、水晶体が遠く離れたところに焦点が合うようにし、これらの平行ビームをはっきり焦点に合わせる。
屈折又は反射レンズを使用して眼に入る光の波面を変調する代替方法は、決して大きく重くないSLMを使用することである。本明細書で使用されるような一般的な用語SLMは、光ビーム又は波面にわたった光の位相及び/又は振幅の空間変調を両方とも含む意図である。一般的な位相変調器は、SLM内の個々の素子の屈折率を変えることによって、光ビームの波面にわたって位相分布を変える。初期の市販SLMは、屈折率を変えるように各々電子的にアドレス指定可能な個々のネマチック液晶のアレイを使用した(例えば、Meadowlark Optics,Inc.から入手可能なModel Hex 127(商標))。最近の10年では、SLMの使用は、人の眼の中の光学的な収差の補償補正に応用される適応光学部品の出現によって大きく伸びた。この応用では、網膜の高品質イメージ形成をもたらし、また時には、不自然に高い視力を人に生じさせるように、眼に入る光の波面が形作られる。SLMの以前の応用は、角膜及びレンズ形状、密度、及び他の光学特性の欠陥による人の眼に入る光の自然なゆがみを事前補償する(抑制する)ことであった。そのような応用では、変調の速度は重要ではなく、ほとんど静的な補償を使用することができる。
人の眼に入る波面を電子的に調整し、イメージを焦点に合わせるために必要な遠近調節を測定するためにネマチック液晶SLMを使用することは、当技術分野で既に述べられている。この比較的初期の仕事では、ネマチック液晶SLMは、固定偏光の光が経験する各電子的アドレス指定可能素子の中で屈折率を変えることができた(例えば、Meadowlark Optics,Inc.から入手可能なModel Hex 127(商標))。当技術分野で述べられているように傾斜位相ラッピング(graded phase−wrapping)技術を使用することによって、SLMは、眼に入る光の球力(spherical power)を+/−1.5ジオプタだけ変えるかもしれない。3ジオプタの光学力範囲は、無限大(ゼロ力)から1/3メートル焦点距離(3ジオプタ)までのレンズの焦点の変化に等しい。初期の仕事のそれらで使用された傾斜(0から2n)位相ラッピング方法の他に、また、よく知られているゾーンプレート2値リングパターンで振幅を変えるようにSLMをプログラムすることができることも知られている。この代替方法では、単純なゾーンプレートに構成されたSLMが、光を主にfl=Rm/mAに集束する。ここで、Rmはm次ゾーンのゾーンプレート照明半径であり、Aは波長である。しかし、fl/3、fl/5、及びfl/7の位置に追加の焦点があり、これらの焦点は、相当に放射照度が低く、より高い調波で放射照度が減少する。これらの不要な焦点は、ぼやけた迷光を増すことによって表示のコントラストを減少させると考えられる。理想的には、各ゾーン又はリングがnだけ位相を遅らせることによって位相反転ゾーンプレートが生成されるとき、主焦点の放射照度の4×の増加が実現される。実際には、2値位相反転ゾーンプレートは、各ゾーンにわたってn位相を徐々に変えて、理想により近く機能することが知られている。
直接3D仮想網膜表示装置の経験から、光を眼に投射するように使用される光学システムの倍率を調整することによって、可変焦点変形可能膜ミラー(DMM)の限られた光学力範囲を広げることができる。したがって、光学力を3から6の全ジオプタ範囲で変えるSLMは、直接3D表示のために十分である。しかし、DMMと同じように、ネマチック液晶SLMは、ビデオ電子表示装置のフレーム速度(60Hz)よりも遥かに速く屈折率を変えることができないので、視距離変調への応用はフレーム単位である。したがって、われわれの周囲を見るという自然条件を真似るためにボクセル単位で視距離を変調する目標は、まだ達成されていない。しかし、SLMは、高変調速度を必要としないコンピュータ制御HMD及び超高分解能カメラを含むことができる直接3D表示装置に応用されるだろう。また、SLMを使用して、見る人の視覚誤差を補償するための遠隔調節キューを含む直接3D表示イメージの焦点の静的シフトを行うことができる。例えば、SLMは、表示イメージの静的焦点距離をシフトして、見る人の近視又は遠視を補正し、通常補正レンズ(眼鏡又はコンタクトレンズ)を着けなければ人が、そのような補正レンズを着けることなしに、焦点の合った状態でイメージを見ることができるようにするかもしれない。同じ型の静的焦点シフトは、本明細書で説明する他の型の焦点変調部品で実現することができる。
数kHzの性能を有するより高速の強誘電性液晶SLMには、MHzのボクセル変調速度に必要な変調帯域がない。しかし、ニオブ酸リチウムなどの電気光学材料は、GHzの焦点変調速度の能力がある。その上、標準的なニオブ酸リチウムの2倍の測定された電気光学係数を有する新しい電気光学重合体(EOP)は、最終的には電子デバイスで制限されるギガヘルツ帯の緩和速度を有している。非直線重合体材料に基づいた単純な5×5のSLMは、可視波長域で10MHzを超えるボクセル変調速度の能力があることが実証されている。これらのEOP−SLMは透過と45度入射反射の両方で使用することができるので、EOP−SLMを使用するボクセル速度変調透過及び反射の幾何学的配置を有する網膜光走査システムに基づいて、直接3D表示装置の2つの例示の設計が開発された。
そのようなSLMを使用する表示装置170の第1の実施形態が、図10に示されている。
図10は、ボクセル速度変調(透過モード)での網膜光走査に基づいた直接3D表示の色チャネルごとに空間光変調器(SLM)を使用することを示す模式図である。第2の実施形態は第1のものに似ているが、光がSLMを透過するのではなくSLMで反射されることが異なっている。可視スペクトルでの実質的な波長変化のために、網膜光走査直接3D表示の各赤色(R)、緑色(G)及び青色(B)チャネルは、別個のレーザ源及び視距離(焦点距離)変調器(EOP−SLM)を使用する。
図10を参照して、表示装置170は、緑色光源172及び青色光源174、ならびに、直接変調レーザダイオードである赤色レーザチャネル176を備えている。これらの光源で生成された光は、コリメーティングレンズ178、180及び182をそれぞれ通過し、次に、偏光フィルタ184、186、及び188をそれぞれ通過する。緑色チャネル、青色チャネル、及び赤色チャネルの偏光された光は、緑色SLM190、青色SLM192、及び赤色SLM194をそれぞれ通過し、このSLMは、イメージの異なる視距離の物体の光の焦点を変調する。ダイクロイックビームスプリッタ196及び198は、赤色、緑色、及び青色の焦点変調光を組み合わせ、この組み合わされた光をレンズ200に通し、次に、x−yミラー走査システム202に向ける。x−yミラー走査システム202は、単軸ミラースキャナ、二軸ミラースキャナ(例えば、二軸微小電気機械システム(MEMS)スキャナ)又は2つの別個の単軸ミラースキャナ(例えば、共振キラーか回転ポリゴンミラースキャナかのどちらか、及び検流計ミラースキャナ)を使用することができる。随意に、追加の共役焦点を有する2ミラー走査システムが必要である場合に、第2の光学リレーレンズシステム204を設けることができる。レンズ206は、見る人の眼の瞳(図示せず)に光の走査されたビームを入れて、直接3Dイメージを生成する。
<異なる表示フォーマット>
この明細書で説明する技術は、表示装置の多くの異なる形の要素に応用することができる。例えば、この技術は、部屋の向こうから見られるテレビジョン表示装置のように、使用者から離れて配置された大きな湾曲ミラーを使用して大きなパノラマ表示を生成するために使用することができ、又はこれらの部品を小型化して小さなHMDに一体化することができる。場合によっては、表示装置は、増加した表示モードで使用することができ、この場合、表示データ及びイメージは、HMD表示装置によって生成される直接3Dイメージによって見ることができる実世界の視野の上に重ねられる。
<光源>
レーザダイオード及び/又はLEDは、本明細書で説明するように3Dイメージを生成するために使用される表示装置の光源として使用することができる。これらの光源には、低コストで、MHz速度で直接強度変調が可能であるという利点がある。また、例えば、図14(後述する)に示されているように、1つ又は複数の明るい光源(例えば、固体レーザ、レーザダイオード、その他)からのビームを分割することができる。光源からのビームが分割された後で、それらのビームが表示画面を走査するために1つの合成ビームに再び組み合わされるか、見る人の眼に向けられる前に、結果として得られたビームの各々を別々に輝度変調し(例えば、音響光学変調器、又は簡単なシャッタ)、異なる距離に集束させることができる。
<異なるイメージ源>
本明細書で明示的に述べられる様々な実施形態は、走査光網膜表示装置であるが、明示的に述べられた技術は、より通常の2D表示装置(例えば、LCD、CRT、OLED、プラズマ画面、Digital Light Projector(商標)、Digital Mirror Devices(商標)、その他)などの他の表示装置の型に拡大される。例えば、複数の高分解能LCDは、多焦点イメージを生成するように組み合わされる複数の異なる個別視距離焦点チャネルの各々のイメージ源を実現することができる。各LCDは、異なる視距離にある物体(又は、物体の部分)を表示するために使用することができ、それの専用の光学部品は、すべてのLCDからのイメージが光学的に組み合わされる前に、所望の焦点レベルにイメージを配置することができる。焦点が変えられる前にイメージ源としてピクセルの2Dアレイを使用する際に、イメージの倍率が焦点チャネル全体にわたって一定であることを保証するように注意すべきである。特定の光学的配列を使用して、倍率を変えることなしに焦点を変えることができる。また、2Dアレイ源の異なる大きさを使用して(又は、LCDの異なる大きさに作られた部分集合を使用して)、遠近調節キューを有する直接3Dイメージの異なる焦点距離に光を生成することができる。
<焦点範囲の拡大縮小>
場面の焦点範囲は、また、圧縮又は拡大することができる。例えば、異なる視距離にある物体間の焦点の変化を誇張して、場面内の異なる焦点距離の物体がより大きな視距離の差で離れて配置されているように見える視距離の超現実的な知覚を生成することができる。直接3D表示を顕微鏡使用のような用途に使用するとき、観察される組織に存在する視距離の小さな差をこのように増幅して、眼の焦点範囲により適切に合わせることができる。逆に、遠近調節の範囲のより限られた比較的高齢の見る人のために、物体がより近い間隔で配置されているように見えるように、場面に存在する全視距離を圧縮することができ、その結果、異なる焦点距離にある物体間の視距離の変化が補償されない場面よりも小さくなる。
<見る人の視覚誤差の補正>
本明細書で説明する表示装置の他の利点は、眼鏡かコンタクトレンズかを通常は着けなければならない見る人が、補正レンズ(眼鏡又はコンタクトレンズ)を着ける必要なしに、直接3D表示装置で生成されるイメージをすべての視距離で焦点の合った状態で見ることができることである。代わりに、見る人に合わせてイメージの焦点を補うように使用者可変制御を設けて、見る人の眼の視覚誤差を補償することができ、その結果、見る人が通常の補正レンズを着けない状態で、イメージは表示によって適正に焦点が合って見えるようになる。したがって、近視又は遠視で悩む人は、この制御を調節して、視覚誤差を補いイメージの焦点を見る人の網膜に適切に合わせるが、見る人は眼鏡又は他の補正レンズを着けていない。そのような制御は図示されていないが、その制御は、焦点変調に使用される信号にオフセットを与える簡単な可変レジスタであってもよいことは明らかである。
<スキャナ後焦点変調>
代わりの実施は、大きなファセットサイズの制限を回避し、次のように説明される。大きな射出瞳を持つことは有利であることがあり、その結果、見る人の眼には、射出瞳内を動き回る自由がある。直径が2mmよりも小さなひとみは、表示の焦点深度を増し、遠近調節の刺激を減少させる。「大きなファセットサイズの制限」は、(走査ミラーの走査角と共に)走査ミラーのファセットサイズが表示の射出瞳のサイズを制限することを意味する。最も簡単な光学的構成では、スキャナのイメージは、射出瞳に形成され、その結果、スキャナのサイズは射出瞳のサイズに等しくなる。スキャナは光学的に拡大することができ、その結果より大きな射出瞳になるが、この方法は、実効走査角を減少させ、したがって、表示の視野を減少させる。可変焦点光学部品がスキャナの前に配置されていない場合には、表示の光学的配列の自由度は比較的高く、ファセットサイズは、射出瞳のサイズに余り影響を及ぼさない。例えば、入射ビームが、小さな射出瞳をもたらすことなく、小さなファセットのスキャナに当たる点でより細くなるようなやり方で、入射ビームの焦点を「スイートスポット」に合わせることができる。ビームの焦点がスキャナの前で変調される場合には、ビームの焦点を単一のスイートスポットに合わせることができない。
走査より前でビームの焦点を可変に合わせる代わりに、図18に示す例示の実施形態では、水平走査の後で、又は組合せ水平垂直走査の後で、ビームの焦点が可変に合わされる。
図18は、水平スキャナの後(下流)であるが垂直スキャナの前(上流)に配置された単線の可変パワー光学部品を示す模式図である。この実施の不利点は、ビームの焦点が調整されるのと同時に走査の倍率が変わることである。2以上の走査後光学部品の使用は、この構成でビーム焦点を調整することを可能にしながら、倍率調整の効果を打ち消すのに十分である可能性がある。
<<X−Y走査前に多(マルチ)チャネル(固定又は可変焦点)を使用する方法>>
この方法は、表示の各ボクセルの焦点レベルを別々に調整することができる高分解能立体表示を可能にする。上述した実施形態と違って、この新しい表示は、多焦点面を実現するためにただ1つの可変焦点光学素子(例えば、DMM)を使用しない。代わりに、いくつかの並列「焦点チャネル」が作られる。
図11乃至図14は、複数の異なる固定又は可変焦点合せ素子又は部品をチャネルごとに使用する並列焦点チャネルの異なる例示の構成を示す模式図で、これらの並列焦点チャネルの簡略化された例示の構成を示す図である(図12及び図14は、各チャネルに等しい経路長を保っている)。図11は、両方の眼のための並列焦点チャネルを示すが、これらの図の残りのものは、1つの眼のための並列焦点チャネルだけを示すが、望ましければ、並列焦点チャネルの同じ構成を他方の眼に使用することができることは理解される。
各焦点チャネルは、個々のボクセルストリーム222を生成するように、時間にわたって輝度変調される1つ又は複数の専用光源220(例えば、レーザダイオード、又はLED)を含んでいる。多チャネルからのボクセル変調光ビームは、最終的に、ダイクロイックミラー224を使用して組み合わされ、ラスタ走査され、さらに、表示イメージのマクスウェル視野を生成するように見る人の眼に投射される。図11の例では、4つの光ビームチャネル222が右眼のために設けられ、さらに4つが左眼のために設けられている。
組み合わされる前に、各チャネルの光ビームは、異なる光学力又は異なるレンズ間隔の異なる光学素子226(固定又は可変)を通過し、その結果、1つのチャネルで表示されたイメージは、他のチャネルで表示されたイメージと異なった焦点レベルになっている。場面の遠い背景のイメージは、平行にされた(平行)光で投射されるが、一方で、前景のイメージは、発散光で投射される(そして、中間距離のイメージは、中間程度のビーム発散で表示される)。
多焦点チャネルを光学的に組み合わせ、それらの表示イメージを重ね合わせることによって、様々な視距離の多数の物体を有する整合のとれた場面が生成される。例えば、1つのチャネルからのビームは、見る人の眼に入るビームが非常に発散性(焦点が見る人の眼に非常に近い)であることを保証する高パワーの光学素子を通過する。このラスタ走査ビームで投射されたイメージは、見る人に光学的に近く、見る人の眼は、イメージをシャープに焦点に合わせるように遠近調節の近い点に遠近調節しなればならない。見る人は、このイメージを非常に近い物体であると知覚し、すべての視距離キュー(例えば、立体不一致、遠近調節、及び両眼共同運動)は、一致している。同時に、他の焦点チャネルでは、異なる光源からのビームは、見る人の眼に入るビームが平行にされるようなやり方で(焦点が見る人の眼から無限に遠い)、弱い光学素子を通過する。したがって、このビームで投射されたイメージは、光学的に遠い物体のものであり、このイメージを焦点に合わせるために、見る人の眼は遠近調節を遠い点に緩めなければならない。これら2つの光源は並列に動作し、別々に輝度変調されるので、これらの光源は異なる焦点距離に異なる部分イメージを投射することができ、そのイメージが、1つの整合のとれた多焦点合成イメージを生成するように重ね合わされる。例えば、第1のビームが場面の前景にある木のイメージを表示するように輝度変調され、また、第2のビームが背景の山のイメージを表すように輝度変調される場合、見る人は、同じ場面で木と山を合成イメージで見るが、(図8Dの多焦点イメージのように)見る人の眼が場面で1つの物体から他の物体に焦点をシフトするときに各々をはっきり見るために必要な遠近調節の点で、各々は異なる光学距離にある。
図15は、例示の立体網膜走査光表示を示す模式図で、複数の可変パワー光学部品がスキャナの前(上流)に配置されている。図11乃至図14に示される構成のどれかで使用可能な複数平行焦点チャネルシステムの各ビームに対して輝度、色、及び焦点のボクセル変調を行う例示の表示システム250の詳細を示している。この例では、緑色レーザ252が緑色光の光源であり、この緑色光は、ダイクロイックミラー254がこの緑色光信号を左眼及び右眼のイメージ経路に分割した後で、4つの焦点チャネルの各々で輝度変調される。AOM及びダイクロイックミラーのシステム256が、左眼用の4つの異なる焦点チャネルの各々に緑色のボクセルストリームを形成するように光を別個に輝度変調し、一方で、AOM及びダイクロイックミラーのシステム258が、右眼用の4つの異なる焦点チャネルの各々に緑色のボクセルストリームを形成するように光を輝度変調する。青色レーザダイオードB1〜B4及びB5〜B8は、右眼用の4つの異なる焦点チャネルの各々及び左眼用の4つの異なる焦点チャネルの青色光ボクセルストリームを生成するようにそれぞれ別個に輝度変調される。同様に、赤色レーザダイオードR1〜R4及びR5〜R8は、右眼及び左眼ごとに4つの異なる焦点チャネルの各々の赤色光ボクセルストリームを生成するようにそれぞれ別個に輝度変調される。各焦点チャネルの異なる経路長が、焦点チャネルごとに異なる視距離を決定する。異なる色ボクセルストリーム及び色ボクセルストリームごとの異なる焦点距離が、ダイクロイックミラー260などの複数のダイクロイックミラーで組み合わされて、最終的に左眼及び右眼用の組合せボクセルストリーム262及び264をそれぞれ生成し、これらのストリームは、回転ポリゴンミラースキャナ266(水平走査)に向けられる。水平走査の後に検流計スキャナ268及び270(垂直走査)が続く。レンズL1〜L8、ミラーM1〜M4、及びビームスプリッタBS1及びBS2が、走査されたボクセルストリームを見る人の眼に光学的に振り向け、眼272及び274の入射ひとみに射出瞳を形成する。
この表示の見る人は、例えば、図9に示すように、様々な距離に物体がある仮想場面を見回し、これらの物体の間で自由に固定をシフトすることができる。
図9は、見る人の眼が両眼共同運動を変化させてより遠い物体に固定するときのホロプタの関係を示す図である。イメージ166a及び166bに見られるように、見る人の眼154a及び154bの焦点がより近い物体すなわち木156からより遠い家158にシフトするときに、ホロプタ152が、見られている場面150の異なる距離の物体にどのように関係しているかを示している。視野又は固定のそのようなシフトの結果として、木、茂み160、及び標識162(現在、ホロプタの前にある)のイメージは、すべて外に向かって、交差性不一致の領域の中(例えば、見る人の眼の網膜164上の点A及びF)にシフトする。ある距離の物体が見られているときに、立体イメージは、正確な両眼共同運動を駆動する網膜不一致を含み、焦点チャネルは、遠近調節のための整合用焦点キューを与える。ちょうど自然な視覚のように、固定の面(図9のホロプタ152)に近い物体だけが完全に焦点が合っている。物体がホロプタから後ろに、又は前に遠いほど、それだけ焦点がよく合わない。(両眼共同運動及び遠近調節を変えることによって)見る人がホロプタの位置を異なる焦点面にシフトするときに、新しい物体が焦点に入って来て、他のものはぼやけてくる。
複数の並列チャネルを使用することの他の利点は、多くの半透明層を含む場面を表示することができることである。例えば、魚が池の底で泳いでいる場面(図示されない)を見ることができる。水の表面からの反射、表面のすぐ下で漂っている藻の小片、及びより深い魚が、各々、異なる焦点チャネルで同時に表示される。チャネル間で輝度強さを変えることができることによって、これらの半透明層の高度な階層化及び混合が可能になる。
<ビデオ内容の生成>
イメージに立体不一致を生じさせるために使用される同じz軸データは、3D場面を、その3D場面の完全すなわち全焦点範囲を含む有限数の個別焦点層にスライスするために使用することができる。各焦点層は、ビデオデータを個々の焦点チャネルに与える。十分に多数の焦点チャネル及び見る人の有限な焦点距離で、個別の焦点層間の遷移が実質的に継ぎ目なしに見える。人の遠近調節システムの「分解能」は、網膜上の空間ボクセル標本化の分解能よりも遥かに低いので、人の眼は、異なる焦点距離の個別焦点層がイメージに存在していることを知覚しないで、代わりに、イメージを「正常な」ものとして知覚する。すなわち、焦点の変化が焦点層の間で生じるときに、不連続的ではなく連続的に変化するものとして知覚する。イメージ中の物体内に含まれたボクセルの特定の固定視距離に対して、その固定視距離が位置する視距離の範囲を有する1つの焦点チャネルが、物体のイメージを与えるように選ばれる。また、以下の可変焦点チャネルについての説明を参照されたい。
<帰還システム>
表示システムは、また、被験者が表示を見ている間に遠近調節、両眼共同運動、ひとみサイズ、眼の位置を客観的に測定する集積デバイスを含むことができる。これらのデバイスからのデータを使用して表示制御装置への帰還ループを実現し、表示システムが見る人の眼球運動応答を能動的に監視しかつこれらの応答に応じて表示のパラメータを変えることができるようにすることができる。この帰還システムは、追加の視距離キューの表示を可能にする。
以前に出願された特許出願で、眼の遠近調節を追跡し、かつソフトウェアレンダリングを使用して、見る人がどこに遠近調節をしているかに基づいて焦点が合うはずがない物体の網膜ぼやけをシミュレートする技術が開示された。この方法は、ハードウェア/ソフトウェア混成直接3D表示を生成するように使用することができる。例えば、DMMのような可変焦点光学素子は、常に、見る人の眼の遠近調節レベルと同じ焦点レベルにイメージを位置づけるように構成することができる。すなわち、眼の遠近調節が動的に測定され、DMMの焦点が常に見る人の遠近調節に整合するようにDMMが絶えず調整する。それから、ソフトウェアレンダリングを使用して、見る人の焦点面の前又は後にあるどんな物体もぼやけさすことができる。複数の可変焦点チャネルがある場合、帰還システムを使用して、見る人の遠近調節又は両眼共同運動に基づいてDMM焦点レベルの分布を片寄らすことができる。例えば、見る人が3メートル離れた点に遠近調節をしている場合、DMMは、例えば、1メートル未満の視距離又は5メートルを超える視距離により希薄に存在しながら(より少ないDMMを充てる)、1メートルと5メートルの間の視距離の範囲に高密度に存在する(より多くのDMMを充てる)ことができる。
<異強度光学部品の代わりに異経路長>
各焦点チャネルに異なるパワーの光学素子を使用することの代替として、最終走査イメージに焦点差を生じさせるように各チャネルの経路長を変えることができる。上述した図13A乃至図13Cは、そのような経路長の変化を示す例示の実施形態を示している。図13A及び図13Bは、同一強度の光学部品を有する連続した焦点チャネルに対数眼盛の経路長差を使用する並列焦点チャネルを示し、一方で、図13Cは、異なる経路長の焦点チャネルと同一強度の光学部品の直線配列を示している。
図19Aは、例示の実施形態を示す模式図で、各々異なる実効焦点レベルのイメージを伝え、スキャンが凍結された4つの重なる(又は、部分的に重なる)ビームを示し、見る人は、近い点に遠近調節をしている。図19Bは、例示の実施形態を示す模式図で、各々異なる実効焦点レベルのイメージを伝え、スキャンが凍結された4つの重なる(又は、部分的に重なる)ビームを示し、見る人は、遠い点に遠近調節をしている。
図19A及び図19Bは、例示の表示装置370を示し、異なる経路長の焦点チャネル372が、レンズ374を通して、走査の凍結点にあるX−Yスキャナ376に向かって対応する別個のボクセルビームを投射している。X−Yスキャナからの走査重畳された焦点チャネル光ビームは、見る人の眼382に向けられた射出瞳を形成するレンズ378及び380を通して振り向けられる。これらの2つの図で、重なるビームは、各々、異なる実効焦点レベルのイメージを伝える。ただし、走査が凍結されている。図19Aで、見る人の眼382は、焦点チャネル372aの近い点に遠近調節をしているが、図19Bでは、見る人の眼は、焦点チャネルの372dの遠い点に遠近調節をしている。留意すべきことであるが、これらの図の左に配置された点光源は、例えば、レンズ(図示されていない)から異なる距離に置かれた光ファイバの先端であってもよい。
並列焦点チャネルが、ビームスプリッタ、プリズム、又は他の光学的組合せ装置(図11乃至図14に示されているような)で正確に重ね合わされる必要はないことを理解することが重要である。代わりに、異なる焦点チャネルのビームは、走査される前に、隣接した経路に沿って進むことができ、X−X走査作用は、機能上チャネルを部分的に重ねるために使用することができる。この方法は、エネルギー効率及び明るさの点で主要な利点を実現する。つまり、ビームスプリッタは、別個のチャネルを組み合わせるときに光のいくらかを失うからである。
図19A及び図19Bは、ビームスプリッタを使用しない実施を既に示しているが、図はX−Y走査作用を明示的に示していない。
図20は、重なっていない異なる焦点チャネルの光が、見られたイメージを効果的に重ねるスキャナにどのように入力されるかを示す模式図で、ビームスプリッタではなくスキャナ408を用いて光を重ねる原理を示す模式図400を示している。この図20では、3つの異なる光ビームが、単線(破線402の線、実線404の線、及び点線406の線)として示されている。各ビームは、スキャナ(単軸スキャナ、二軸スキャナ、又は三軸スキャナであってもよい)で振り向けられ、結果として生じた走査で3つのイメージ410、412及び414がそれぞれ生成される。光源の光ビームは異なった角度でスキャナ408に入るので、各イメージは、その他のものから片寄っている。しかし、スキャナの走査角はビーム入射角の差よりも大きいので、複数の光源からの光は、スキャナによって部分的に重ねられる(イメージは、x軸、y軸及びz軸で互いにずれていることがあり、又は、場合によっては、1つ又は複数の軸で位置合わせされていることがある)。他の選択肢として、各イメージの走査線が重なり合うようなやり方で、1つ又は複数の走査線(すなわち、ボクセル)の一様な間隔でイメージを互いに片寄らせることができる。代わりに、合成イメージが部分イメージよりも多くの走査線(すなわち、ボクセル)を含むように、走査線(すなわち、ボクセル間隔)の何分の1かだけイメージを片寄らせることができる(すなわち、z軸に沿った異なる距離の複数のボクセルがx及びy軸で完全に重ね合わされるという要求条件を犠牲にして、このやり方で、表示のボクセル分解能を上げることができる)。
<可変焦点チャネル>
焦点チャネルのうちの1つ又は複数が、可変焦点光学部品(例えば、DMM、可変焦点レンズ、流体レンズ、SLM、液晶変調器、EPOSLM、その他)を含むことができ、その結果、フレーム単位、線単位、又は低分解能ボクセル単位で、その光学部品の焦点面を変えることができるようになる。一実施形態では、各可変焦点チャネルは、動的に追跡すべき場面内の物体に割り当てられる。物体が近づくか、又は遠ざかるときに、物体のイメージは、同じ焦点チャネルによって投射され続け、そして、その焦点チャネルが、物体の動きに合うようにそれの焦点レベルを変える。例えば、近くの静止した街灯柱と、遠方から近づいている自動車とを場面が含む場合、焦点チャネルAは街灯柱のイメージを表示するだろうし、焦点チャネルBは自動車のイメージを表示する。初めに、チャネルAは、適切な近い焦点で街灯柱のイメージを投射するように可変焦点光学素子を設定し、チャネルBは、遠い焦点レベルで自動車のイメージを投射するように光学素子を設定する。自動車が近づくにつれて、チャネルBは、自動車の変化する焦点要求条件に合うように光学素子を調整するが、一方で、チャネルAは、静止した街灯柱に対する初期の焦点レベルを維持する。
場面の視距離範囲でずっと物体を追跡する代替として、各可変焦点チャネルは、また、全視距離範囲のうちの限られた部分の中で焦点をシフトするように構成することができる。1つのチャネルが範囲の限界に達したときに隣接したチャネルの範囲が始まるようなやり方で、焦点チャネルの範囲が視距離に関して積み重ねられる。例えば、7つの積み重ねられた可変焦点チャネルは、場面の全焦点範囲を表すように積み重ねることができる。焦点チャネルは、近い前景の限られた範囲の中で焦点を調整することができ、その範囲内で物体を追跡する。物体がその範囲を越えて動くときに、イメージは、視距離の次の範囲を含む隣接した焦点チャネルに移され、そのチャネルも、最終的には、イメージを別のチャネルに渡すことができる、などである。
<焦点範囲の拡大縮小>
上述したように、場面の焦点距離は、また、複数の焦点チャネルを有する表示装置を使用して圧縮又は拡大することができる。例えば、異なる距離にある物体間の焦点の変化を誇張して、視距離について超現実的な知覚を生成することができる。この表示装置を顕微鏡使用のような用途に使用するとき、観察される組織に存在する視距離の小さな差を増幅して、眼の焦点範囲により適切に合わせることができる。逆に、遠近調節範囲のより限られた高齢の見る人のために、場面に存在する全焦点範囲を圧縮することができる。
<<可変焦点光学素子のアレイを使用する方法>>
上述したように、遠い物体で反射された光はほぼ平行であり、近い物体で反射された光は非常に発散性である。中間の距離の物体で反射された光は、中間レベルの発散を有している。イメージでの波面発散の変動を深さマップとして符号化することができ、この深さマップで、表示の各ボクセルは、対応する発散値又は固定視距離値(fixation viewing distance value)を有する。つまり、ボクセルの焦点距離は、各物体の固定視深度(fixation viewing depth)を指示する深さマップによって決定される。
この深さマップを使用して、表示の前に置かれた可変焦点光学部品のアレイの可変屈折力のパターンを制御することができる。一実施形態では、表示のボクセルごとに光が放射されるときに、その光は専用光学部品を通過する。そして、この専用光学部品は、必要とされる程度の発散又はコリメーションをそのボクセルの光に与える。
このプロセスは、表示のボクセルごとに単独で行われ、正味の結果は、異なる視距離にある物体を含むイメージである。見る人の眼は、このイメージの異なる視距離又は面に遠近調節をして、それをシャープに焦点に合わせることができる。仮想場面で、遠くの物体は、伝える光を平行にする部品の焦点状態によってその場面の深さマップに表される。近くの物体は、伝える光を著しく発散する焦点状態で表される。光学的な視距離の滑らかな推移は、各光学部品のパワーを滑らかに変化させることによって、表示に生じさせることができる。
図16は、複数の光学部品が1つ又は複数のスキャナの後(下流)に配置されている網膜走査光表示装置を示す模式図で、見る人は遠い背景に焦点を合わせるために遠近調節を緩ませている。図17は、複数の可変パワー光学部品が1つ又は複数のスキャナの後(下流)に配置されている網膜走査光表示装置を示す模式図で、見る人は中間距離にある木に焦点を合わせために遠近調節を高めている。
このように図16及び図17は、表示装置300についてこの一般的な方法を示している。スキャナAの後(下流)にアレイ304に配置された個々の可変光学部品302は異なる光学力を与えられ、イメージ306の部分(図16及び17の木)を光学的に近く配置する。図16は見る人の眼310を示し、緩んだ遠近調節レベルが場面の背景312を網膜314の焦点にシャープに合わせ、また316の木の網膜像をぼやかしている。図17は、同じ表示構成を示すが、見る人は固定をシフトしており、眼が遠近調節を変え、木を網膜上の焦点にシャープに合わせ、さらに背景を少しぼやけさせている。
この実施は、見る人の眼に達する前に各ボクセルの波面又は発散を変えている。この使用された方法は、一般に50KHzよりも遥かに下の動的応答を必要とする可変焦点光学素子(例えば、レンズ又はミラー)の低コストのアレイを使用することである。例えば、ミラーが、(60Hzで更新される)1000×1000ボクセル表示の各ボクセルに専用である場合、波面変化の最大必要帯域幅は、各ボクセルでほぼ10×60Hz、すなわち600Hzである。しかし、多くの市販の変形膜ミラーは、直径が10mmである。そのようなミラーでは、ボクセルごとの波面変化は、サイズが10×10メートルを超えるアレイを必要とするだろう。これは、実際的でない。しかし、マイクロミラーアレイを作るために光リソグラフィ手段が使用されると、直径がほぼ50ミクロンのマイクロレンズを必要として、0.1メートル未満の直径が比較的現実的である。これらの兼ね合いは、立体表示内のボクセル視距離を変えるためのマイクロレンズ及びマイクロミラーのアレイを使用する実施形態及び技術に関して、以下でさらについて説明する。
<可変焦点部品のアレイを含む実施形態>
次の実施形態は、流体(気体又は液体)又は真空充満膜サンドイッチを有する可変焦点光学部品のアレイを含んでいる。単一の膜をサンドイッチ状にし、これの膜の両側を2つの対応するハニカム構造に溶融封止することによって、個別マイクロチャンバのアレイを作ることができる。望ましい光学的な要求条件及び操作の型に依存して、膜は透明性又は反射性であってもよい。様々な可撓性の膜材料を利用することができる。この材料には、窒化珪素、マイラー(商標)、ビニル、及び他の可撓性重合体膜がある。この膜をアルミニウム又は他の反射被膜で覆って、膜を、たわみに基づいた可変光学力を有する変形可能ミラーにすることができる。マイクロチャンバは、気体を含まなくてもよく(真空)、又は気体、又は、液体中に1つ又は複数の溶質(塩、顔料、酵素、その他)を有する液体を含んでもよい。チャンバの配列は、直線格子(アレイ)、六角形格子、又は他の最密配列の形であってもよい(図16及び図17を参照されたい)。例えば、図示しないが、六角形アレイは、円形光学部品の高密度詰込みを可能にし、一方で、直線アレイは、今日のビデオ表示で使用される正方形ボクセルフォーマットとより容易に統合される可能性がある。
各チャンバのサイズ、凸面、したがって、屈折力は、各チャンバの流体圧力又は真空の程度を変えることによって、個別に変えることができる。各チャンバの圧力は、流体の温度を上げるか、下げるかして変えることができる。流体が温まるにつれて、流体は膨張してチャンバの凸面を高くする。流体が冷えるにつれて、流体は収縮して凸面を下げる。流体の温度は、様々な手段によって調整することができる。可変光学力は、屈折か反射かのどちらによっても生成することができる。屈折マイクロチャンバは、可変曲率及び/又は可変屈折率のマイクロレンズのように作用し、一方で、反射マイクロチャンバは、マイクロミラーの変形可能な形に依存している。各変形体及び次の実施形態には、異なる利点及び不利点がある。マイクロレンズアレイは、広範にわたる主要表示技術を用いて集積化することができるが、光学力を変える機構は、マイクロチャンバの光透過率を維持しなければならない。対照的に、マイクロミラーアレイは、マイクロチャンバの中心にあるより簡単なアクチュエータ機構を変形可能膜の裏側に含むことができる。例えば、アクチュエータは、ミラーをより湾曲させるようにアルミニウム被覆膜を引き下げる静電的な引寄せ器(attractor)であってもよい。しかし、マイクロミラーアレイは、反射で機能する光学システムを必要とし、最善の実施形態は修正された投射表示装置である。
図21A乃至図21Dは、例示の流体充満熱制御レンズを示す模式図で、レンズの焦点を変えるように異なる電流レベルを加熱素子に加える効果を示している。つまり、図21A乃至図21Dは、流体充満レンズ450の例を示し、レンズを出て行く光線454の経路で明らかなように、入射光線452の焦点を変更するためにレンズの焦点力がどのようにして変えられるかを示している。流体456がレンズ450を満たし、光学的に透明なエラストマ膜458及び光学的に透明な前表面460、ならびに側壁462で画定されたチャンバの中に含まれている。加熱素子464は、リード線466を通して供給された電流を通電されて、流体456の温度を変える。流体内の分子は、点として示されており、その分子は、流体の温度が上昇するにつれてより活発になり(流体中に矢印で示されるように)、エラストマ膜が、電流の関数として(すなわち、流体の温度の関数として)形を変え、レンズの焦点を変えるようになる。図21Aは、電流が無い状態でのレンズ450の焦点を示し、一方で、図21C及び図21Dは、連続的により高いレベルの電流が加熱素子を通過して連続的により高い流体温度を実現する状態での焦点の変化を示している。
同様に、図22A乃至図22Dは、例示の流体充満熱制御ミラーを示す模式図で、ミラーの焦点を変えるように異なる電流レベルを加熱素子に加える効果を示している。つまり、図22A乃至図22Dは、流体充満可変焦点ミラー470の例が図示され、可変焦点ミラー内の流体476の温度が変化するときに反射エラストマ膜478で反射される光線474の経路で明らかなように、入射光線472の焦点を変更するためにミラーの焦点力がどのように変化するかを示している。流体476は、ミラー470を満たし、反射エラストマ膜478、裏面480、及び側壁482で画定されたチャンバの中に含まれている。加熱素子484は、リード線486を通して供給される電流を通電されて、流体の温度を変える。図22Aに、電流が加えられない場合、及び図22Bから22Dに、電流が増加する(また、流体温度が対応して上昇する)場合のミラー470が示され、流体がしだいに高温になるときのミラーの焦点の変化を示している。
<温度に基づいたマイクロレンズアレイ及びマイクロミラーアレイの変調>
各チャンバのサイズ、凸面、したがって、屈折力は、各チャンバの流体圧力又は真空の程度を変えることによって個別に変えることができる。各チャンバの圧力は、流体の温度を上げるか、下げるかして変えることができる。流体が温まるにつれて、流体は膨張してチャンバの凸面を高くする。流体が冷えるにつれて、流体は収縮して凸面を下げる。流体の温度は、光放射(可視、赤外及びマイクロ波)及び直接的又は間接的電気加熱のような様々な手段によって調整することができる。一実施形態は、水に浮遊又は分散させることができる赤外(IR)光吸収顔料(例えば、フタロシアニン)を使用する。IR光が当たったとき、顔料は光エネルギーを吸収し、それを熱エネルギーに変換する。このプロセスは、チャンバ中の流体を加熱し、チャンバを膨張させる。チャンバのアレイ全体にわたってIRレーザを走査し、それと同時にそのビームの強度を変調することによって、チャンバの温度を別々に変えることができる。各流体充満チャンバは、IRレーザがアレイ全体にわたって走査するときに可変輝度レベルを受け取ることができるボクセルとして、扱うことができる。高い凸状チャンバを生成するために、IRレーザは、それらのチャンバを走査するとき最大限の強度で光ることができるようにされる。平らなチャンバを生成するために、それらのチャンバを走査するときIRレーザは完全に遮られて、チャンバが冷えかつ収縮するようにする。中間レベルの凸面は、そのIR光のうちの何分の1の量又は段階付けされた量がチャンバに達することができるようにして、生成することができる。IRビームは、強度を変調され、光学アレイ全体にわたって走査される。VRD(仮想網膜表示)又は走査ファイバ表示のような光走査表示の修正されたものを使用して、この走査を行うことができる。
流体中のIR敏感顔料の代替として、包含する膜の1つ又は複数をIR光に対して高吸収性にすることができる。そのとき、IRレーザは、外側の膜を加熱し、この熱が、中に含まれた流体又は気体に移される。代わりに、微小抵抗加熱素子をマイクロチャンバの各々に作り込むことができ、それで、インクジェットプリンタの基礎を成す技術のような液体の微小体積を加熱しかつ推進させる技術を使用して、個々のボクセルレベルで極端に速い加熱及び冷却が起こることができる。
<マイクロレンズアレイ>
マイクロレンズアレイは、流体充満チャンバの両側に透明膜を使用して作ることができる。個々のマイクロレンズは、透明で可変な凸面流体充満バルーンとして形成される。表示装置のボクセル光源からの光は、膜層と容器に入れられた流体との両方を通過し、所望の程度まで屈折され、その後で、見る人の眼に達する。チャンバが加熱また冷却されるときに、レンズの屈折力は変化する。マイクロレンズアレイの実施形態は、今日の表示技術(例えば、LCD、CRT、走査光表示装置、フラットパネル表示装置、プラズマ表示パネル)の大部分と共存可能である。表示パネルの上にぴったり合うマイクロレンズアレイを既存の表示装置に後付けすることができる。別個のドライバが、2Dマップの形の視距離データをIRスキャナに供給する。新しい表示装置の場合、LCD素子は、一体化された流体充満マイクロレンズと共に作ることができる。液晶の光放射領域は、それの最も凸状の形態でマイクロレンズの焦点に配置することができる。したがって、レンズが加熱されるとき、レンズは、LCDから出て来る光を平行にする。冷えるとき、レンズは、光を所望の程度に発散させることができる。上述したPhilips流体レンズは、また、レンズのアレイに組み込むことができる。
<マイクロミラーアレイ>
マイクロミラーの実施形態では、マイラー(商標)の前面はアルミ化されて、各チャンバを屈折表面ではなく反射表面に変える。マイクロミラーアレイは、流体充満マイクロミラーから熱を素早く伝導除去する冷却金属板に取り付けることができる。
マイクロミラーアレイは、また、各チャネルの流体の温度を調整する代替方法を使用することができる。小型加熱素子を各ミラーチャンバの後に取り付けることができる。インクジェットプリンタの加熱素子は、この目的に申し分なく適している。
マイクロミラーの実施形態は、また、チャンバを満たすべき物質の選択においてより高い自由度を可能にする。物質は透明である必要がなく、流体か気体かのどちらでもよい。動作温度の範囲内で(流体から気体への)状態変化を行う物質を選んで、比較的狭い温度範囲で前反射面のより大きな全体的たわみを可能にすることができる。
<アレイのサイズ>
走査光表示装置の場合、各ボクセルが占める小さな空間のために、各ボクセルの前に小型光学素子を配置することが困難になる。各光学素子の理論的な最小サイズは、20ミクロンである。より小さなサイズで、回折が、干渉効果の非常に大きな部分を有するであろう。XGA(1024×768ピクセル)表示の各ボクセルがそれ自体の光学素子を与えられると、素子のアレイは20.48mm×15.36mmである。この理論的に最小のアレイサイズは、流体微小光学素子のIRレーザ走査アレイを使用して取り扱うことができる。各流体光学素子が個々の熱源によって変調される場合、最小素子サイズは、200ミクロンの最小サイズにいっそうなりやすくなり、これは、204.8mm×153.6mmの最小サイズのXGAアレイをもたらす。このサイズのアレイをヘッドマウントディスプレイに一体化することは実際的でないだろう。XGA(1024×768)表示のLCDピクセルは、一般に、250ミクロンの間隔を開けて配置されている。このサイズでは、個々のボクセルの光を生成する各LCDの前に小型レンズを配置することができる。各ボクセルは、他のボクセルに無関係に焦点変調することができる。
<さらに他の選択肢>
各ボクセルが、焦点を変調するそれ自体の専用光学部品を与えられない場合、ボクセルの焦点を変調する2つの選択肢がある。第1に、各ボクセルを別々に変調する必要がない可能性がある。ボクセルの集団は、個々の光学部品を共有することができる。表示の輝度及び色は、好ましくは、高分解能で変調されるが、表示の波面は、結果として得られる直接3Dイメージにおそらく悪影響を及ぼすことなく、わずかにより低い分解能で変調することができる。焦点深さ情報の空間分解能に対する人の視覚システムの感度は、分かっていない。視覚システムがより低い空間視距離分解能に気が付かないのが、そうである可能性がある。人の視覚システムが、輝度情報を符号化するよりも低い分解能で色情報を符号化することは、すでに知られている。したがって、イメージの色データは、(輝度分解能を維持しながら)相当にぼやけていてもよく、しかし、視覚システムは差に気が付かないだろう。色データと同様に、焦点距離データは、輝度データよりも低い分解能で符号化することができそうである。
他の選択肢は、イメージ全体にわたって光学部品のより小さなアレイ又は線を再使用することを含んでいる(例えば、図18の例示の表示装置340を参照されたい)。例えば、光学部品の1×1024水平ボクセルアレイが使用されるとき、XGA表示を垂直方向に横切って46,080Hzでこのアレイを走査することができる。図18で、可変パワー光学部品344のアレイ342は、Aの水平スキャナ346の後(下流)でかつEの垂直スキャナ348の前(上流)のCに位置づけされている。アレイ342が192×1024の可変パワー光学部品344を含むとき、このアレイを240Hzで走査することができる。可変焦点光学部品の達成可能な繰返し速度と、可変パワー光学部品の数と、アレイのサイズとの間で、釣り合いを取ることができる。より小さな正方形のアレイ(例えば、128×128可変パワー光学部品)は、表示を横切って水平方向及び垂直方向に2,880Hzで走査することができるが、この方法は、表示のボクセルリフレッシュ走査と光学アレイ走査の間の高度の一体化を必要とする。ジンバル取付けミラー又はポリゴンスキャナを使用して、この光学アレイ走査を行うことができる。
<方法の組合せ>
また、本明細書で説明された方法の組合せを使用することができる。例えば、非常に多数の可変パワー光学部品をスキャナの前と後に位置づけすることができる。その上、2つのスキャナ、例えば別々の水平スキャナと垂直スキャナが使用される場合、例えば、図18に示すように、スキャナの間に非常に多数の可変パワー光学部品を配置することができる。
本発明は、本発明を実施する好ましい形及びその修正に関連して説明したが、当業者は理解することであるが、添付の特許請求の範囲内で本発明に多くの他の修正を加えることができる。したがって、いずれにしても本発明の技術的範囲は、上述した説明で限定されるものでなく、代わりに、添付の特許請求の範囲を完全に参照して決定されるものである。
見る人の眼の焦点が場面の遠い物体に合うとき起こる両眼共同運動及び遠近調節を示す図である。 見る人の眼の焦点が場面のより近い物体に合うとき起こる両眼共同運動及び遠近調節を示す図である。 両眼共同運動が遠近調節から切り離されている従来の2D立体表示を示す図である。 直接3D表示において焦点深度を動的に変える際に使用することができる例示の変形可能膜ミラー(DMM)を示す模式図で、DMMを示す等角図である。 直接3D表示において焦点距離を動的に変える際に使用することができる例示の変形可能膜ミラー(DMM)を示す模式図で、DMMを示す分解組立図である。 直接3D表示において焦点距離を動的に変える際に使用することができる例示の変形可能膜ミラー(DMM)を示す模式図で、異なる印加電圧によるDMMの変形を示す図である。 眼の遠近調節のための統合焦点キューを有する例示の両眼網膜レーザ走査表示を示す模式図である。 DMMを駆動するために使用された電圧の関数としてプロットされたビームプロファイラ(ダイアモンド)で集められたデータをグラフに示す図である。 表示に対する測定遠近調節応答(三角形)と、ビームプロファイラのデータで予想される遠近調節(円形)とを、DMM電圧の関数としてプロットをグラフに示す図である。 例示の流体レンズを示す模式的な断面図で、電圧が加えられていない状態の流体レンズの焦点を示している。 例示の流体レンズを示す模式的な断面図で、電圧が加えられた後の流体レンズの焦点の変化を示している。 見る人の眼の焦点遠近調節に及ぼす効果を示す図で、走査焦点合せ機構によって与えられる焦点が遠い物体のイメージに合っている。 見る人の眼の焦点遠近調節に及ぼす効果を示す図で、走査焦点合せ機構によって与えられる焦点が遠い物体のイメージからより近い物体のイメージに変化する。 見る人の眼の焦点遠近調節に及ぼす効果を示す図で、走査焦点合せ機構によって与えられる焦点が遠い物体のイメージからより近い物体のイメージに変化する。 見る人の眼の焦点遠近調節に及ぼす効果を示す図で、走査焦点合せ機構によって与えられる焦点が遠い物体のイメージからより近い物体のイメージに変化し、次に、異なる距離の物体に焦点が合っている状態の多焦点イメージを実現する。 見る人の眼が両眼共同運動を変化させてより遠い物体に固定するときのホロプタの関係を示す図である。 ボクセル速度変調(透過モード)での網膜光走査に基づいた直接3D表示の色チャネルごとに空間光変調器(SLM)を使用することを示す模式図である。 複数の異なる固定又は可変焦点合せ素子又は部品をチャネルごとに使用する並列焦点チャネルの異なる例示の構成を示す模式図である。 複数の異なる固定又は可変焦点合せ素子又は部品をチャネルごとに使用する並列焦点チャネルの異なる例示の構成を示す模式図である。 複数の異なる固定又は可変焦点合せ素子又は部品をチャネルごとに使用する並列焦点チャネルの異なる例示の構成を示す模式図(その1)である。 複数の異なる固定又は可変焦点合せ素子又は部品をチャネルごとに使用する並列焦点チャネルの異なる例示の構成を示す模式図(その2)である。 複数の異なる固定又は可変焦点合せ素子又は部品をチャネルごとに使用する並列焦点チャネルの異なる例示の構成を示す模式図(その3)である。 複数の異なる固定又は可変焦点合せ素子又は部品をチャネルごとに使用する並列焦点チャネルの異なる例示の構成を示す模式図である。 例示の立体網膜走査光表示装置を示す模式図で、複数の可変パワー光学部品がスキャナの前(上流)に配置されている。 複数の光学部品が1つ又は複数のスキャナの後(下流)に配置されている網膜走査光表示装置を示す模式図で、見る人は遠い背景に焦点を合わせるために遠近調節を緩ませている。 複数の可変パワー光学部品が1つ又は複数のスキャナの後(下流)に配置されている網膜走査光表示装置を示す模式図で、見る人は中間距離にある木に焦点を合わせために遠近調節を高めている。 水平スキャナの後(下流)であるが垂直スキャナの前(上流)に配置された単線の可変パワー光学部品を示す模式図である。 例示の実施形態を示す模式図で、各々異なる実効焦点レベルのイメージを伝え、スキャンが凍結された4つの重なる(又は、部分的に重なる)ビームを示し、見る人は、近い点に遠近調節をしている。 例示の実施形態を示す模式図で、各々異なる実効焦点レベルのイメージを伝え、スキャンが凍結された4つの重なる(又は、部分的に重なる)ビームを示し、見る人は、遠い点に遠近調節をしている。 重なっていない異なる焦点チャネルの光が、見られたイメージを効果的に重ねるスキャナにどのように入力されるかを示す模式図である。 例示の流体充満熱制御レンズを示す模式図(その1)で、レンズの焦点を変えるように異なる電流レベルを加熱素子に加える効果を示している。 例示の流体充満熱制御レンズを示す模式図(その2)で、レンズの焦点を変えるように異なる電流レベルを加熱素子に加える効果を示している。 例示の流体充満熱制御レンズを示す模式図(その3)で、レンズの焦点を変えるように異なる電流レベルを加熱素子に加える効果を示している。 例示の流体充満熱制御レンズを示す模式図(その4)で、レンズの焦点を変えるように異なる電流レベルを加熱素子に加える効果を示している。 例示の流体充満熱制御ミラーを示す模式図(その1)で、ミラーの焦点を変えるように異なる電流レベルを加熱素子に加える効果を示している。 例示の流体充満熱制御ミラーを示す模式図(その2)で、ミラーの焦点を変えるように異なる電流レベルを加熱素子に加える効果を示している。 例示の流体充満熱制御ミラーを示す模式図(その3)で、ミラーの焦点を変えるように異なる電流レベルを加熱素子に加える効果を示している。 例示の流体充満熱制御ミラーを示す模式図(その4)で、ミラーの焦点を変えるように異なる電流レベルを加熱素子に加える効果を示している。

Claims (40)

  1. 異なる固定視距離にある物体を含み、かつイメージ中の各物体の固定視距離がイメージを見ているときの両眼共同運動に対応している多焦点3次元視知覚可能イメージの生成方法であって、
    (a)表示されるべき前記多焦点3次元視知覚可能イメージのボクセルの2次元イメージデータと深さマップを供給するステップであって、前記深さマップが前記イメージ中の物体の固定視距離を指示するものであるステップと、
    (b)前記2次元イメージデータに応じて、前記イメージのボクセルを表示する光を生成するステップと、
    (c)前記深さマップで指示された固定視距離に応じて、前記イメージの前記ボクセルのための前記光の波面発散を変えるステップと、
    (d)前記イメージのボクセルが、該ボクセルで表された物体の前記イメージに、視距離の関数として対応する発散で表示されるように、前記イメージを表示するステップとを有し、
    前記イメージ中の物体の視距離は、7cm未満から無限大まで広がる最大範囲内で変化することができることを特徴とする生成方法。
  2. 前記イメージのボクセルを表示する光を生成するステップは、
    (a)前記イメージ中の前記ボクセルの光の強度が前記ボクセルの前記2次元データに対応するように、前記イメージのボクセルごとに、該ボクセルの前記2次元イメージデータの関数として、前記イメージを生成するために使用される光の強度を変えるステップと、
    (b)前記イメージを視知覚可能であるように生成するために前記光を振り向けるステップとを有することを特徴とする請求項1に記載の生成方法。
  3. 前記イメージは多色であり、さらに、前記ボクセルごとに、前記イメージのボクセルを表示する光を生成するステップは、前記イメージを生成するために前記光を振り向けるステップの前に、複数の異なる波長の光源からの光の強度を変えるステップを有することを特徴とする請求項2に記載の生成方法。
  4. 前記イメージを生成するために前記光を走査するステップをさらに有し、前記波面発散を変えるステップは、前記イメージを構成するボクセルが、前記深さマップで指示されるように前記イメージ中の物体の異なる視距離におおむね対応する異なる焦点距離にあるように、前記ボクセルの光の焦点距離を変調するステップを有することを特徴とする請求項1に記載の生成方法。
  5. 前記波面発散を変えるステップは、前記イメージの複数のボクセルのための複数の異なる焦点距離の光を生成するために、少なくとも1つの光学素子を使用するステップを有し、前記少なくとも1つの光学素子が、固定されているか動的に可変であるかどちらかの焦点特性を有することを特徴とする請求項4に記載の生成方法。
  6. (a)前記複数の異なる焦点距離の各々が少なくとも1つの別個の光源を有するように、複数の光源を設けるステップと、
    (b)別個の光源ごとに個々のボクセルストリームを生成するために、時間にわたって前記複数の光源を個々に輝度変調するステップと、
    (c)前記個々のボクセルストリームで形成された異なる焦点距離にあるイメージを光学的に組み合わせ、重ね合わせるステップと、
    (d)前記複数の光源からの光で前記複数の異なる焦点距離に形成されたイメージの合成物として、前記多焦点3次元視知覚可能イメージを生成するように、重ね合わされた前記イメージを走査するステップとをさらに含むことを特徴とする請求項5に記載の生成方法。
  7. 前記イメージの合成物は、より大きな焦点距離にある物体を、より近い焦点距離に形成された半透明なイメージを通して見ることができるようにすることを特徴とする請求項6に記載の生成方法。
  8. 前記イメージの合成物は、異なる焦点距離の物体からの反射が前記イメージで見えるようにすることを特徴とする請求項6に記載の生成方法。
  9. 前記異なる焦点距離を生成するために、前記複数の光源からの光が伝わる異なる経路長を設けるステップをさらに有することを特徴とする請求項6に記載の生成方法。
  10. 前記少なくとも1つの光学素子は、前記光の少なくとも1つの走査が行われた後で、前記ボクセルの焦点距離を修正することを特徴とする請求項5に記載の生成方法。
  11. 前記光の焦点距離を変調するステップは、前記光が走査される前に、変形可能膜ミラーの焦点を動的に変えるステップを有することを特徴とする請求項4に記載の生成方法。
  12. 前記光の焦点距離を変調するステップは、
    (a)流体レンズと、
    (b)ネマチック液晶空間変調器と、
    (c)強誘電性液晶空間光変調器と、
    (d)非重合体電気光学空間光変調器と、
    (e)電気光学重合体空間光変調器と
    のうちの1つを使用して、前記光の焦点距離を動的に変えるステップを有することを特徴とする請求項4に記載の生成方法。
  13. (a)前記イメージが見られている間、複数の異なるパラメータのうちの少なくとも1つを検出するために見る人の眼を監視して、帰還信号を生成するステップであって、前記複数の異なるパラメータが、遠近調節と、両眼共同運動と、ひとみサイズと、眼の位置とを含むものであるステップと、
    (b)前記帰還信号に応じて前記イメージの表示を修正するステップと
    をさらに有することを特徴とする請求項1に記載の生成方法。
  14. 前記波面発散を変えるステップは、
    (a)複数の異なるチャネルを設けるステップであって、前記各チャネルは、表示されるべき前記イメージの全焦点距離範囲の部分集合である異なる焦点距離範囲を有し、かつ前記イメージの前記全焦点距離範囲が前記複数の異なるチャネルの前記異なる焦点距離範囲によって包含されるように選ばれるものであるステップと、
    (b)適切なチャネルの焦点距離を、該適切なチャネルの焦点距離範囲内で変えるステップとを有し、適切なチャネルが選ばれ、選ばれた前記チャネルの焦点距離は、前記チャネルで前記イメージに表示されるボクセルの前記深さマップに基づいて、選ばれた前記チャネルの焦点距離範囲内で変えられることを特徴とする請求項1に記載の生成方法。
  15. 見る人がどんな補正レンズも着けることなしに眼で前記イメージをはっきり見ることができるように、前記見る人の眼の視覚誤差を補償するように前記イメージの遠近調節の全範囲を静的にシフトするステップをさらに有することを特徴とする請求項1に記載の生成方法。
  16. 前記イメージを表示するときボクセル単位の焦点変調を行うために、前記イメージの各ボクセルが、前記深さマップに含まれた固定視距離の指示に基づいて別々に処理されることを特徴とする請求項1に記載の生成方法。
  17. 前記見る人の眼は、前記イメージに含まれた他の視覚キューに応じて、前記複数のチャネルの焦点距離範囲と焦点距離範囲の間の焦点距離を補間することを特徴とする請求項14に記載の生成方法。
  18. (a)異なる焦点距離の物体が互いにより遠く離れて見えるように前記イメージ中の前記物体の全焦点距離範囲を増加させるように、もしくは、
    (b)異なる焦点距離の物体が互いにより接近して見えるように前記イメージ中の前記物体の全焦点距離範囲を減少させるように、
    前記イメージのボクセルの焦点距離を拡大/縮小するステップをさらに有することを特徴とする請求項1に記載の生成方法。
  19. 異なる固定視距離にある物体を含み、かつイメージ中の各物体の固定視距離がイメージを見ているときの両眼共同運動に対応している多焦点3次元視知覚可能イメージの生成システムであって、
    (a)表示されるべき前記多焦点3次元視知覚可能イメージの物体を構成するボクセルのための2次元イメージデータ及び固定視距離を伝える信号と、
    (b)前記イメージの光を生成する少なくとも1つの光源と、
    (c)前記2次元イメージデータに基づいて、前記少なくとも1つの光源からの光を変調する手段と、
    (d)前記イメージのボクセルの固定視距離に応じて、前記少なくとも1つの光源からの光の波面発散を変える手段と、
    (e)前記イメージのボクセルが、前記ボクセルで表された物体のイメージに、視距離の関数として対応する発散で表示されるように、前記イメージを表示する手段とを備え、
    前記イメージ中の物体の視距離が、7cm未満から無限大まで広がる最大範囲内で変化することができることを特徴とする生成システム。
  20. 前記少なくとも1つの光源からの光を変調する手段は、
    (a)前記光の明るさと、
    (b)前記イメージの各ボクセルの色を決定する複数の異なる波長の各々の明るさ
    のうちの少なくとも1つを変調する手段を備えることを特徴とする請求項19に記載の生成システム。
  21. 前記波面発散を変える手段は、
    (a)動的可変焦点ミラーと、
    (b)動的可変焦点レンズと、
    (c)異なる焦点距離の複数の固定焦点ミラーと、
    (d)異なる焦点距離の複数の固定焦点レンズと、
    (e)複数の異なる焦点距離範囲の各々のための複数の異なる長さの光路と、
    (f)少なくとも1つの空間光変調器と
    のうちの少なくとも1つを備えることを特徴とする請求項19に記載の生成システム。
  22. 前記波面発散を変える手段は、前記イメージを構成する前記ボクセルが前記イメージ中の物体の異なる視距離におおむね対応する異なる焦点距離にあるように、前記ボクセルの光の焦点距離を変調することを特徴とする請求項19に記載の生成システム。
  23. (a)複数の異なる焦点距離の各々のために別個の光源が設けられている複数の光源と、
    (b)別個の光源ごとに個々のボクセルストリームを生成するために、時間にわたって前記複数の光源を別々に変調する手段と、
    (c)個々のボクセルストリームで異なる焦点距離に形成されたイメージを光学的に組み合せ、重ね合わせる手段と、
    (d)前記複数の光源からの光で前記複数の異なる焦点距離に形成されたイメージの合成物として前記多焦点3次元視知覚可能イメージを生成するように、重ね合わされた前記イメージを走査する2次元スキャナとをさらに備えることを特徴とする請求項19に記載の生成システム。
  24. 前記2次元スキャナは、共振スキャナを備えることを特徴とする請求項23に記載の生成システム。
  25. 前記イメージの合成物は、より大きな焦点距離の物体を、より近い焦点距離に形成された半透明のイメージを通して見ることができるようにすることを特徴とする請求項23に記載の生成システム。
  26. 前記イメージの合成物は、異なる焦点距離の物体からの反射が前記イメージで見えるようにすることを特徴とする請求項23に記載の生成システム。
  27. 前記イメージを表示する手段は、前記イメージの第1の軸に沿って前記光を走査する第1のスキャナと、前記イメージの第2の軸に沿って前記光を走査する第2のスキャナとを備え、前記第1の軸と前記第2の軸が互いにおおむね直交していることを特徴とする請求項19に記載の生成システム。
  28. 前記イメージを構成するボクセルの焦点距離を修正することによって前記波面発散を変える手段は、前記第1のスキャナ及び前記第2のスキャナのうちの少なくとも1つの下流に配置されていることを特徴とする請求項27に記載の生成システム。
  29. 前記イメージを構成するボクセルの焦点距離を修正することによって前記波面発散を変える手段は、前記第1のスキャナと前記第2のスキャナの両方の上流に配置されていることを特徴とする請求項27に記載の生成システム。
  30. 前記波面発散を変える手段は、
    (a)流体レンズと、
    (b)ネマチック液晶空間変調器と、
    (c)強誘電性液晶空間光変調器と、
    (d)電気光学重合体空間光変調器と、
    (e)非重合体電気光学空間光変調器と
    のうちの1つを備えることを特徴とする請求項19に記載の生成システム。
  31. 前記イメージを表示する手段は、ヘッドマウントディスプレイを備えることを特徴とする請求項19に記載の生成システム。
  32. 前記イメージが見られている間、遠近調節と、両眼共同運動と、ひとみサイズと、眼の位置とのうちの少なくとも1つを検出するために見る人の眼を監視して、帰還信号を生成する手段をさらに備え、前記イメージを表示する手段が、前記帰還信号に応じて表示されるように前記イメージをさらに修正することを特徴とする請求項19に記載の生成システム。
  33. 前記波面発散を変える手段は、
    (a)各チャネルは、表示されるべき前記イメージの全焦点距離範囲の部分集合である焦点距離範囲を有し、かつ前記イメージの前記全焦点距離範囲が前記複数の異なるチャネルによって包含されるように選ばれるものである複数の異なるチャネルと、
    (b)適切なチャネルの焦点距離を、該適切なチャネルの焦点距離範囲内で変える手段とを備え、適切なチャネルが選ばれ、選ばれた前記チャネルの焦点距離が、前記チャネルで前記イメージに表示されるボクセルの前記深さマップに基づいて、選ばれた前記チャネルの前記焦点距離範囲内で変えられることを特徴とする請求項19に記載の生成システム。
  34. 前記イメージを表示する手段は、前記イメージの見る人から離れて配置され、かつ見る人の頭で支持されない表示装置を備えることを特徴とする請求項19に記載の生成システム。
  35. 前記イメージを表示するために、前記イメージの各ボクセルは、前記2次元イメージデータ及び固定深さデータに基づいて、前記波面発散を変える手段によって別々に処理されることを特徴とする請求項19に記載の生成システム。
  36. イメージ中の物体に対する見る人の眼の輻輳が、イメージ内の異なる固定視距離の物体を代表する前記物体に対する見る人の眼の遠近調節に一致している多焦点3次元視知覚可能イメージの生成方法であって、
    (a)前記イメージのボクセルの視距離を制御するように前記イメージの前記ボクセルに関連づけされた深さマップを使用するステップであって、前記深さマップが前記イメージ中の物体の固定視距離を指示するものであるステップと、
    (b)前記ボクセルの固定視距離に基づいて異なる波面発散で前記イメージのボクセルを表示するステップとを有し、その結果、異なる固定視距離を有する物体は、見る人の眼が対応する輻輳で異なる視距離に焦点が合うことを要求するようになり、さらに、より大きな視距離でより近い視距離の物体の後ろに配置された物体が、前記イメージで、より近い視距離の前記物体のボクセルを通して見えないようになり、前記より近い視距離の前記物体が完全に不透明で透けて見えないようにすることを特徴とする生成方法。
  37. 前記イメージのボクセルを表示するステップは、
    (a)可変焦点ミラーと、
    (b)可変焦点レンズと、
    (c)異なる焦点距離の複数の固定焦点ミラーと、
    (d)異なる焦点距離の複数の固定焦点レンズと、
    (e)複数の異なる焦点距離範囲の各々のための複数の異なる長さの光路と、
    (f)少なくとも1つの空間光変調器と
    のうちの少なくとも1つを使用して、前記深さマップに応じて前記イメージのボクセルの焦点距離を動的に変えるステップを有することを特徴とする請求項36に記載の生成方法。
  38. 前記イメージのボクセルを表示するステップは、前記イメージを形成するために使用される光を、表示画面及び見る人の眼の網膜のうちの1つの方に光学的に向けるステップを有することを特徴とする請求項36に記載の生成方法。
  39. 前記イメージは、見る人のただ1つの眼だけで視知覚可能であると予想される単眼イメージとして表示されることを特徴とする請求項36に記載の生成方法。
  40. 前記イメージのボクセルを表示するステップは、ヘッドマウントディスプレイを使用して単眼イメージ及び立体イメージのうちの1つとして前記イメージを表示するステップを有することを特徴とする請求項36に記載の生成方法。
JP2007525043A 2004-08-06 2005-08-05 可変固定視距離で走査される光表示装置 Pending JP2008509438A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US59945404P 2004-08-06 2004-08-06
PCT/US2005/027962 WO2006017771A1 (en) 2004-08-06 2005-08-05 Variable fixation viewing distance scanned light displays

Publications (1)

Publication Number Publication Date
JP2008509438A true JP2008509438A (ja) 2008-03-27

Family

ID=35355752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007525043A Pending JP2008509438A (ja) 2004-08-06 2005-08-05 可変固定視距離で走査される光表示装置

Country Status (5)

Country Link
US (1) US8248458B2 (ja)
EP (1) EP1784988A1 (ja)
JP (1) JP2008509438A (ja)
KR (1) KR20070064319A (ja)
WO (1) WO2006017771A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014505897A (ja) * 2010-11-18 2014-03-06 マイクロソフト コーポレーション 拡張現実表示のための自動合焦の改良
WO2015012024A1 (ja) * 2013-07-26 2015-01-29 シチズンホールディングス株式会社 光源装置および投影装置
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9507165B2 (en) 2008-06-06 2016-11-29 Sony Corporation Stereoscopic image generation apparatus, stereoscopic image generation method, and program
JPWO2016063620A1 (ja) * 2014-10-23 2017-05-25 株式会社ソニー・インタラクティブエンタテインメント 虚像距離変更装置、虚像距離変更方法、プログラム
JP2017522587A (ja) * 2014-05-30 2017-08-10 マジック リープ, インコーポレイテッド 仮想および拡張現実における焦点面を作成する方法およびシステム
JP2018032048A (ja) * 2013-11-27 2018-03-01 マジック リープ, インコーポレイテッドMagic Leap,Inc. 仮想現実および拡張現実のシステムおよび方法
JP2019521379A (ja) * 2016-06-20 2019-07-25 マジック リープ, インコーポレイテッドMagic Leap,Inc. 視覚的処理および知覚の疾患を含む神経学的疾患の評価および修正のための拡張現実ディスプレイシステム
JP2019529917A (ja) * 2016-09-22 2019-10-17 マジック リープ, インコーポレイテッドMagic Leap,Inc. 拡張現実の分光法
JP2022515547A (ja) * 2018-12-29 2022-02-18 華為技術有限公司 多焦点平面ディスプレイシステム及び装置
US11852530B2 (en) 2018-03-21 2023-12-26 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis

Families Citing this family (237)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005017313A1 (de) * 2005-04-14 2006-10-19 Volkswagen Ag Verfahren zur Darstellung von Informationen in einem Verkehrsmittel und Kombiinstrument für ein Kraftfahrzeug
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
DE102007028654A1 (de) * 2007-06-19 2009-01-15 Institut für Arbeitsphysiologie an der Universität Dortmund Vorrichtung und Verfahren zur ergonomischen Darstellung der räumlichen Tiefe von Objekten in virtuellen Umgebungen
GB0720484D0 (en) * 2007-10-19 2007-11-28 Seereal Technologies Sa Cells
US20090161705A1 (en) * 2007-12-20 2009-06-25 Etienne Almoric Laser projection utilizing beam misalignment
US7957061B1 (en) 2008-01-16 2011-06-07 Holovisions LLC Device with array of tilting microcolumns to display three-dimensional images
US20120262445A1 (en) * 2008-01-22 2012-10-18 Jaison Bouie Methods and Apparatus for Displaying an Image with Enhanced Depth Effect
JP5207237B2 (ja) * 2008-03-31 2013-06-12 パナソニック株式会社 毛様体筋弛緩器具
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP4336447A1 (en) * 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
FR2934057B1 (fr) * 2008-07-16 2010-10-08 Xavier Arthur Carriou Procede d'etalonnage de la direction de la tete et du regard par rapport a son environnement
US7889425B1 (en) 2008-12-30 2011-02-15 Holovisions LLC Device with array of spinning microlenses to display three-dimensional images
CN105717989B (zh) * 2009-02-27 2020-02-21 艾卡姆有限公司 基于耳机的电信平台
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US7978407B1 (en) 2009-06-27 2011-07-12 Holovisions LLC Holovision (TM) 3D imaging with rotating light-emitting members
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8436893B2 (en) 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
US8508580B2 (en) 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
EP2309310A1 (en) * 2009-10-01 2011-04-13 Koninklijke Philips Electronics N.V. 3D spectacles
US11204540B2 (en) 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8587498B2 (en) * 2010-03-01 2013-11-19 Holovisions LLC 3D image display with binocular disparity and motion parallax
WO2011110728A1 (en) * 2010-03-12 2011-09-15 Nokia Corporation Light-guiding structures
US8238030B2 (en) * 2010-03-22 2012-08-07 Agilent Technologies, Inc. Fiber-coupled collimator for generating multiple collimated optical beams having different wavelengths
PL391800A1 (pl) * 2010-07-12 2012-01-16 Diagnova Technologies Spółka Cywilna Sposób prezentacji wirtualnej obrazu 3D oraz układ do prezentacji wirtualnej obrazu 3D
JP5238767B2 (ja) * 2010-07-26 2013-07-17 株式会社東芝 視差画像生成方法及び装置
US9285516B2 (en) 2010-08-02 2016-03-15 Avinash Girish Bhardwaj Actuator motion control mechanism for a concave mirror
US9485495B2 (en) * 2010-08-09 2016-11-01 Qualcomm Incorporated Autofocus for stereo images
US20120050142A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display with eye state detection
US8368783B2 (en) * 2010-09-10 2013-02-05 Altek Corporation Method for adjusting shooting parameters of digital camera
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8643700B2 (en) * 2010-11-17 2014-02-04 Dell Products L.P. 3D content adjustment system
US8988463B2 (en) 2010-12-08 2015-03-24 Microsoft Technology Licensing, Llc Sympathetic optic adaptation for see-through display
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) * 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
FR2970573B1 (fr) * 2011-01-18 2013-08-09 Inst Telecom Telecom Bretagne Dispositif de capture d'images stereoscopiques
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
US8928737B2 (en) * 2011-07-26 2015-01-06 Indiana University Research And Technology Corp. System and method for three dimensional imaging
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9191661B2 (en) * 2011-08-29 2015-11-17 Microsoft Technology Licensing, Llc Virtual image display device
EP2751609B1 (en) 2011-08-30 2017-08-16 Microsoft Technology Licensing, LLC Head mounted display with iris scan profiling
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US9438889B2 (en) 2011-09-21 2016-09-06 Qualcomm Incorporated System and method for improving methods of manufacturing stereoscopic image sensors
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
CN103918252B (zh) 2011-11-04 2017-06-06 英派尔科技开发有限公司 用于图像的ir信号捕获
CN103918257B (zh) 2011-11-09 2018-05-11 皇家飞利浦有限公司 显示设备和方法
WO2013099169A1 (ja) * 2011-12-27 2013-07-04 パナソニック株式会社 ステレオ撮影装置
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
CN103376551B (zh) * 2012-04-23 2017-04-19 北京蚁视昂维科技有限公司 小孔投射式近眼显示器
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
US20130300635A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
US9456744B2 (en) 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
EP2888720B1 (en) 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US20140126877A1 (en) * 2012-11-05 2014-05-08 Richard P. Crawford Controlling Audio Visual Content Based on Biofeedback
CN102981616B (zh) * 2012-11-06 2017-09-22 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
JP2013063318A (ja) * 2012-12-10 2013-04-11 Panasonic Corp 提示方法
KR102216585B1 (ko) * 2013-01-04 2021-02-17 삼성전자주식회사 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
WO2014113455A1 (en) 2013-01-15 2014-07-24 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
US9319662B2 (en) 2013-01-16 2016-04-19 Elwha Llc Systems and methods for differentiating between dominant and weak eyes in 3D display technology
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2014188149A1 (en) 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9237338B1 (en) 2013-10-14 2016-01-12 Simulated Percepts, Llc Apparatus for image display with multi-focal length progressive lens or multiple discrete lenses each having different fixed focal lengths or a variable focal length
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10274731B2 (en) 2013-12-19 2019-04-30 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US9465237B2 (en) 2013-12-27 2016-10-11 Intel Corporation Automatic focus prescription lens eyeglasses
US20150187115A1 (en) * 2013-12-27 2015-07-02 Mark A. MacDonald Dynamically adjustable 3d goggles
US9551872B1 (en) 2013-12-30 2017-01-24 Google Inc. Spatially multiplexed lens for head mounted display
US9671612B2 (en) 2014-01-29 2017-06-06 Google Inc. Dynamic lens for head mounted display
KR102177133B1 (ko) 2014-01-31 2020-11-10 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
US20150234188A1 (en) * 2014-02-18 2015-08-20 Aliphcom Control of adaptive optics
US9523853B1 (en) 2014-02-20 2016-12-20 Google Inc. Providing focus assistance to users of a head mounted display
CN105684439B (zh) 2014-02-21 2017-08-04 华为终端有限公司 一种三维图像的显示系统、方法和装置
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
CA3141963A1 (en) * 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US9549107B2 (en) 2014-06-20 2017-01-17 Qualcomm Incorporated Autofocus for folded optic array cameras
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
NZ730509A (en) 2014-09-29 2018-08-31 Magic Leap Inc Architectures and methods for outputting different wavelength light out of waveguides
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
ES2575211B1 (es) * 2014-11-25 2017-02-23 Davalor Salud, S.L. Método de reproducción de imágenes con apariencia tridimensional
IL236420A (en) 2014-12-23 2016-06-30 Ron Schneider Methods and systems for producing an enlarged 3D image
KR101844883B1 (ko) 2014-12-23 2018-04-03 메타 컴퍼니 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
US20180275402A1 (en) 2015-01-12 2018-09-27 Digilens, Inc. Holographic waveguide light field displays
CN107873086B (zh) 2015-01-12 2020-03-20 迪吉伦斯公司 环境隔离的波导显示器
JP6867947B2 (ja) 2015-01-20 2021-05-12 ディジレンズ インコーポレイテッド ホログラフィック導波路ライダー
IL303820B1 (en) 2015-01-26 2024-03-01 Magic Leap Inc Virtual and augmented reality systems and methods with improved diffractive lattice structures
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
NZ773831A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
WO2016156776A1 (en) 2015-03-31 2016-10-06 Milan Momcilo Popovich Method and apparatus for contact image sensing
US10136124B2 (en) 2015-04-27 2018-11-20 Microsoft Technology Licensing, Llc Stereoscopic display of objects
WO2016187474A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Acousto-optical display for augmented reality
JP6851992B2 (ja) 2015-06-15 2021-03-31 マジック リープ, インコーポレイテッドMagic Leap,Inc. 多重化された光流を内部結合するための光学要素を有するディスプレイシステム
AU2016296723B2 (en) 2015-07-20 2021-03-04 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
US10146997B2 (en) 2015-08-21 2018-12-04 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
US10313765B2 (en) 2015-09-04 2019-06-04 At&T Intellectual Property I, L.P. Selective communication of a vector graphics format version of a video content item
CN108474945B (zh) 2015-10-05 2021-10-01 迪吉伦斯公司 波导显示器
US11016298B2 (en) 2015-10-05 2021-05-25 Magic Leap, Inc. Microlens collimator for scanning optical fiber in virtual/augmented reality system
JP7216547B2 (ja) 2015-10-06 2023-02-01 マジック リープ, インコーポレイテッド 逆角度回折格子を有する仮想/拡張現実システム
JP6885935B2 (ja) 2015-10-16 2021-06-16 マジック リープ, インコーポレイテッドMagic Leap,Inc. 眼の特徴を用いる眼ポーズ識別
US10088685B1 (en) 2015-10-19 2018-10-02 Meta Company Apparatuses, methods and systems for multiple focal distance display
US10204451B2 (en) 2015-11-30 2019-02-12 Microsoft Technology Licensing, Llc Multi-optical surface optical design
US10147235B2 (en) * 2015-12-10 2018-12-04 Microsoft Technology Licensing, Llc AR display with adjustable stereo overlap zone
US20170188021A1 (en) * 2015-12-24 2017-06-29 Meta Company Optical engine for creating wide-field of view fovea-based display
US10026232B2 (en) 2016-01-04 2018-07-17 Meta Compnay Apparatuses, methods and systems for application of forces within a 3D virtual environment
JP6894904B2 (ja) 2016-01-07 2021-06-30 マジック リープ, インコーポレイテッドMagic Leap,Inc. 深度平面にわたって分配される等しくない数の成分色画像を有する仮想および拡張現実システムおよび方法
CN113406801B (zh) 2016-01-20 2023-05-30 奇跃公司 虚拟/增强现实系统中的偏振保持光纤
US10983340B2 (en) 2016-02-04 2021-04-20 Digilens Inc. Holographic waveguide optical tracker
US10859768B2 (en) 2016-03-24 2020-12-08 Digilens Inc. Method and apparatus for providing a polarization selective holographic waveguide device
NZ747005A (en) 2016-04-08 2020-04-24 Magic Leap Inc Augmented reality systems and methods with variable focus lens elements
US10890707B2 (en) 2016-04-11 2021-01-12 Digilens Inc. Holographic waveguide apparatus for structured light projection
JP7021110B2 (ja) 2016-05-09 2022-02-16 マジック リープ, インコーポレイテッド ユーザ健康分析のための拡張現実システムおよび方法
EP4235237A1 (en) 2016-05-12 2023-08-30 Magic Leap, Inc. Distributed light manipulation over imaging waveguide
US20180038996A1 (en) * 2016-08-02 2018-02-08 Valve Corporation Mitigation of screen door effect in head-mounted displays
US10482594B2 (en) * 2016-09-23 2019-11-19 Apple Inc. Multi-perspective imaging system and method
US10481479B2 (en) * 2016-09-26 2019-11-19 Ronald S. Maynard Immersive optical projection system
EP3519878B1 (en) 2016-09-28 2023-04-19 Magic Leap, Inc. Face model capture by a wearable device
US10338409B2 (en) 2016-10-09 2019-07-02 eyeBrain Medical, Inc. Lens with off-axis curvature center
US10757400B2 (en) * 2016-11-10 2020-08-25 Manor Financial, Inc. Near eye wavefront emulating display
AU2017363078B2 (en) 2016-11-18 2022-09-29 Magic Leap, Inc. Waveguide light multiplexer using crossed gratings
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
IL310194A (en) 2016-11-18 2024-03-01 Magic Leap Inc Liquid crystal refraction lattices vary spatially
KR102506485B1 (ko) 2016-11-18 2023-03-03 매직 립, 인코포레이티드 넓은 입사 각도 범위들의 광을 방향전환시키기 위한 다중층 액정 회절 격자들
US11513350B2 (en) 2016-12-02 2022-11-29 Digilens Inc. Waveguide device with uniform output illumination
WO2018106963A1 (en) 2016-12-08 2018-06-14 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
CN115657363A (zh) 2016-12-14 2023-01-31 奇跃公司 使用具有表面对准图案的软压印复制对液晶图案化
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
CN114594603A (zh) * 2017-01-19 2022-06-07 脸谱科技有限责任公司 焦面显示
US10330936B2 (en) * 2017-01-19 2019-06-25 Facebook Technologies, Llc Focal surface display
IL307783A (en) 2017-01-23 2023-12-01 Magic Leap Inc Eyepiece for virtual, augmented or mixed reality systems
US9983412B1 (en) * 2017-02-02 2018-05-29 The University Of North Carolina At Chapel Hill Wide field of view augmented reality see through head mountable display with distance accommodation
WO2018156784A1 (en) 2017-02-23 2018-08-30 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
CA3056900A1 (en) 2017-03-21 2018-09-27 Magic Leap, Inc. Methods, devices, and systems for illuminating spatial light modulators
EP3602176A4 (en) 2017-03-21 2020-12-02 Magic Leap, Inc. LOW-BALLY BEAM DIVIDER
JP7300996B2 (ja) 2017-03-21 2023-06-30 マジック リープ, インコーポレイテッド 回折光学要素を使用した眼結像装置
JP6952123B2 (ja) 2017-05-26 2021-10-20 グーグル エルエルシーGoogle LLC 拡張された調節範囲の調整を有するニアアイディスプレイ
EP3631567B1 (en) 2017-05-31 2022-09-21 Magic Leap, Inc. Eye tracking calibration techniques
US11647903B2 (en) * 2017-06-01 2023-05-16 University Of Washington Smartphone-based digital pupillometer
US10420467B2 (en) 2017-09-05 2019-09-24 eyeBrain Medical, Inc. Method and system for measuring binocular alignment
US11589745B2 (en) 2017-09-05 2023-02-28 Neurolens, Inc. Method and system for measuring binocular alignment
EP3685215B1 (en) 2017-09-21 2024-01-03 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
CN116149058A (zh) 2017-10-16 2023-05-23 迪吉伦斯公司 用于倍增像素化显示器的图像分辨率的系统和方法
JP7181928B2 (ja) 2017-10-26 2022-12-01 マジック リープ, インコーポレイテッド 深層マルチタスクネットワークにおける適応的損失平衡のための勾配正規化システムおよび方法
JP7407111B2 (ja) 2017-12-15 2023-12-28 マジック リープ, インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
CN107861247B (zh) * 2017-12-22 2020-08-25 联想(北京)有限公司 光学部件及增强现实设备
US10921614B2 (en) 2017-12-31 2021-02-16 Neurolens, Inc. Low-convergence negative power spectacles
US11360329B2 (en) 2017-12-31 2022-06-14 Neurolens, Inc. Negative power eye-strain reducing lens
US10908434B2 (en) 2018-01-01 2021-02-02 Neurolens, Inc. Negative power lens with off-axis curvature center
US10732569B2 (en) 2018-01-08 2020-08-04 Digilens Inc. Systems and methods for high-throughput recording of holographic gratings in waveguide cells
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
KR20200110367A (ko) * 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
IL311004A (en) * 2018-01-17 2024-04-01 Magic Leap Inc Display systems and methods for determining registration between a display and a user's eyes
JP7487109B2 (ja) 2018-03-16 2024-05-20 ディジレンズ インコーポレイテッド 複屈折制御を組み込むホログラフィック導波管およびその加工のための方法
KR102546990B1 (ko) * 2018-03-16 2023-06-23 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
KR102055901B1 (ko) * 2018-03-27 2019-12-13 한국과학기술원 초점조절 집적영상 증강현실 디스플레이 및 그 제어 방법
US10319154B1 (en) * 2018-07-20 2019-06-11 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for dynamic vision correction for in-focus viewing of real and virtual objects
WO2020023542A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining registration between a display and eyes of a user
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
US10728534B2 (en) * 2018-07-31 2020-07-28 Lightspace Technologies, SIA Volumetric display system and method of displaying three-dimensional image
KR20200021670A (ko) * 2018-08-21 2020-03-02 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
CN112868227B (zh) * 2018-08-29 2024-04-09 Pcms控股公司 用于基于镶嵌周期性层的光场显示的光学方法及系统
WO2020106824A1 (en) 2018-11-20 2020-05-28 Magic Leap, Inc. Eyepieces for augmented reality display system
CN109212771A (zh) * 2018-11-27 2019-01-15 上海天马微电子有限公司 一种三维显示装置及显示方法
WO2020168348A1 (en) 2019-02-15 2020-08-20 Digilens Inc. Methods and apparatuses for providing a holographic waveguide display using integrated gratings
CN113728258A (zh) 2019-03-12 2021-11-30 迪吉伦斯公司 全息波导背光及相关制造方法
CN111757089A (zh) * 2019-03-29 2020-10-09 托比股份公司 利用眼睛的瞳孔增强调节来渲染图像的方法和系统
CN114207492A (zh) 2019-06-07 2022-03-18 迪吉伦斯公司 带透射光栅和反射光栅的波导及其生产方法
JP7373594B2 (ja) 2019-06-20 2023-11-02 マジック リープ, インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
US11656480B2 (en) 2019-07-12 2023-05-23 Magic Leap, Inc. Methods and systems for augmented reality display with dynamic field of view
EP4004646A4 (en) 2019-07-29 2023-09-06 Digilens Inc. METHODS AND APPARATUS FOR MULTIPLYING THE IMAGE RESOLUTION AND FIELD OF VIEW OF A PIXELATED DISPLAY SCREEN
US11281005B2 (en) * 2019-08-08 2022-03-22 Sharp Kabushiki Kaisha Compact head-mounted display system with orthogonal panels
KR20220054386A (ko) 2019-08-29 2022-05-02 디지렌즈 인코포레이티드. 진공 브래그 격자 및 이의 제조 방법
US11172112B2 (en) 2019-09-09 2021-11-09 Embedtek, LLC Imaging system including a non-linear reflector
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
US20220311992A1 (en) * 2019-11-06 2022-09-29 Hes Ip Holdings, Llc System and method for displaying an object with depths
JP7329143B2 (ja) 2019-11-30 2023-08-17 ボストン ポーラリメトリックス,インコーポレイティド 偏光キューを用いた透明な物体のセグメンテーションのためのシステム及び方法
US11726318B2 (en) * 2019-12-10 2023-08-15 Magic Leap, Inc. Increased depth of field for mixed-reality display
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法
WO2021156503A1 (en) * 2020-02-07 2021-08-12 Essilor International Method for displaying a sharp image on a retina of an eye of the person
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及系统、存储介质和显示面板
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
EP3984016A4 (en) * 2020-08-14 2023-09-06 HES IP Holdings, LLC SYSTEMS AND METHODS FOR SUPERIMPOSING A VIRTUAL IMAGE ON A REAL-TIME IMAGE
JP2023541495A (ja) 2020-09-03 2023-10-03 ヒーズ アイピー ホールディングス エルエルシー 両眼視を改善するためのシステムおよび方法
US11953689B2 (en) 2020-09-30 2024-04-09 Hes Ip Holdings, Llc Virtual image display system for virtual reality and augmented reality devices
US11908208B2 (en) 2020-10-20 2024-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Interface sharpness distraction mitigation method and system
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0396913A (ja) * 1989-09-08 1991-04-22 Brother Ind Ltd 画像表示装置
JP2002529801A (ja) * 1998-11-09 2002-09-10 ユニバーシティ・オブ・ワシントン 調節可能な遠近調節を備える走査ビームディスプレイ
JP2004191962A (ja) * 2002-11-29 2004-07-08 Brother Ind Ltd 画像表示装置

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5493595A (en) 1982-02-24 1996-02-20 Schoolman Scientific Corp. Stereoscopically displayed three dimensional medical imaging
US4695163A (en) 1985-06-17 1987-09-22 Schachar Ronald A Method and apparatus for determining surface shapes using reflected laser light
US4985856A (en) * 1988-11-10 1991-01-15 The Research Foundation Of State University Of New York Method and apparatus for storing, accessing, and processing voxel-based data
US5162787A (en) * 1989-02-27 1992-11-10 Texas Instruments Incorporated Apparatus and method for digitized video system utilizing a moving display surface
DE69114790T2 (de) 1990-08-20 1996-04-18 Sony Corp Direktsicht-Bildwiedergabeapparat.
US5161054A (en) 1990-12-19 1992-11-03 Texas Instruments Incorporated Projected volume display system and method
US5177631A (en) 1991-06-28 1993-01-05 Eastman Kodak Company Magnetic position sensor
US5734384A (en) * 1991-11-29 1998-03-31 Picker International, Inc. Cross-referenced sectioning and reprojection of diagnostic image volumes
JP2746790B2 (ja) 1992-03-02 1998-05-06 富士写真フイルム株式会社 立体画像記録方法および立体画像記録装置
US5467104A (en) 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5754147A (en) * 1993-08-18 1998-05-19 Tsao; Che-Chih Method and apparatus for displaying three-dimensional volumetric images
JPH10504692A (ja) 1994-08-19 1998-05-06 ライカ アクチエンゲゼルシャフト 立体ビデオ画像を表示装置上に表示する方法及び装置
WO1996007989A1 (en) * 1994-09-06 1996-03-14 The Research Foundation Of State University Of New York Apparatus and method for real-time volume visualization
US5649897A (en) 1994-11-02 1997-07-22 Terumo Kabushiki Kaisha Endoscope apparatus for compensating for change in polarization state during image transmission
US5548694A (en) * 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
KR100417567B1 (ko) 1995-06-07 2004-02-05 제이콥 엔 올스테드터 3차원 영상화 시스템으로 화면의 영상을 생성하는 카메라
US5905499A (en) 1995-07-05 1999-05-18 Fakespace, Inc. Method and system for high performance computer-generated virtual environments
JP3203160B2 (ja) * 1995-08-09 2001-08-27 三菱電機株式会社 ボリューム・レンダリング装置及び方法
US5819017A (en) 1995-08-22 1998-10-06 Silicon Graphics, Inc. Apparatus and method for selectively storing depth information of a 3-D image
CA2240961C (en) 1995-12-18 2001-06-12 David Alan Braun Head mounted displays linked to networked electronic panning cameras
JP3771964B2 (ja) 1996-03-12 2006-05-10 オリンパス株式会社 立体映像ディスプレイ装置
US6163337A (en) 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
US6329963B1 (en) * 1996-06-05 2001-12-11 Cyberlogic, Inc. Three-dimensional display system: apparatus and method
US5954414A (en) 1996-08-23 1999-09-21 Tsao; Che-Chih Moving screen projection technique for volumetric three-dimensional display
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US20020163482A1 (en) 1998-04-20 2002-11-07 Alan Sullivan Multi-planar volumetric display system including optical elements made from liquid crystal having polymer stabilized cholesteric textures
US6466185B2 (en) 1998-04-20 2002-10-15 Alan Sullivan Multi-planar volumetric display system and method of operation using psychological vision cues
US6377229B1 (en) 1998-04-20 2002-04-23 Dimensional Media Associates, Inc. Multi-planar volumetric display system and method of operation using three-dimensional anti-aliasing
US6183088B1 (en) 1998-05-27 2001-02-06 Actuality Systems, Inc. Three-dimensional display system
US6215532B1 (en) 1998-07-27 2001-04-10 Mixed Reality Systems Laboratory Inc. Image observing apparatus for observing outside information superposed with a display image
EP1116201A1 (en) 1998-09-24 2001-07-18 Actuality Systems Inc. Volumetric three-dimensional display architecture
US6571024B1 (en) * 1999-06-18 2003-05-27 Sarnoff Corporation Method and apparatus for multi-view three dimensional estimation
EP1083755A3 (en) 1999-09-07 2003-11-12 Canon Kabushiki Kaisha Image input apparatus and image display apparatus
WO2001044858A2 (en) * 1999-12-16 2001-06-21 Reveo, Inc. Three-dimensional volumetric display
IE20001060A1 (en) 1999-12-23 2001-11-14 Shevlin Technologies Ltd A display device
US6975898B2 (en) 2000-06-19 2005-12-13 University Of Washington Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
US6359737B1 (en) 2000-07-28 2002-03-19 Generals Motors Corporation Combined head-up display
US6554430B2 (en) 2000-09-07 2003-04-29 Actuality Systems, Inc. Volumetric three-dimensional display system
JP2002101430A (ja) 2000-09-25 2002-04-05 3D.Com Kk 3次元カラーディスプレイユニット
US7023466B2 (en) 2000-11-03 2006-04-04 Actuality Systems, Inc. Three-dimensional display systems
US6478425B2 (en) 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
JP4369078B2 (ja) 2001-05-11 2009-11-18 オリンパスビジュアルコミュニケーションズ株式会社 立体映像を利用する視力回復装置及び立体映像の表示方法
RU2215326C2 (ru) * 2001-06-29 2003-10-27 Самсунг Электроникс Ко., Лтд. Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта
US20030067421A1 (en) 2001-10-10 2003-04-10 Alan Sullivan Variable focusing projection system
GB2390909B (en) 2002-07-15 2006-01-11 Fisheye Comm Ltd Display device
US20040135974A1 (en) 2002-10-18 2004-07-15 Favalora Gregg E. System and architecture for displaying three dimensional data
JP2004144874A (ja) * 2002-10-23 2004-05-20 Pioneer Electronic Corp 画像表示装置及び画像表示方法
SG155167A1 (en) * 2004-08-03 2009-09-30 Silverbrook Res Pty Ltd Walk-up printing
US20110122224A1 (en) * 2009-11-20 2011-05-26 Wang-He Lou Adaptive compression of background image (acbi) based on segmentation of three dimentional objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0396913A (ja) * 1989-09-08 1991-04-22 Brother Ind Ltd 画像表示装置
JP2002529801A (ja) * 1998-11-09 2002-09-10 ユニバーシティ・オブ・ワシントン 調節可能な遠近調節を備える走査ビームディスプレイ
JP2004191962A (ja) * 2002-11-29 2004-07-08 Brother Ind Ltd 画像表示装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9507165B2 (en) 2008-06-06 2016-11-29 Sony Corporation Stereoscopic image generation apparatus, stereoscopic image generation method, and program
KR101912958B1 (ko) 2010-11-08 2018-10-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 디스플레이를 위한 자동 가변 가상 초점
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9588341B2 (en) 2010-11-08 2017-03-07 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US10055889B2 (en) 2010-11-18 2018-08-21 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JP2014505897A (ja) * 2010-11-18 2014-03-06 マイクロソフト コーポレーション 拡張現実表示のための自動合焦の改良
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9297945B2 (en) 2013-07-26 2016-03-29 Citizen Holdings Co., Ltd. Light source device and projection device
WO2015012024A1 (ja) * 2013-07-26 2015-01-29 シチズンホールディングス株式会社 光源装置および投影装置
JP7179140B2 (ja) 2013-11-27 2022-11-28 マジック リープ, インコーポレイテッド 仮想現実および拡張現実のシステムおよび方法
JP2018032048A (ja) * 2013-11-27 2018-03-01 マジック リープ, インコーポレイテッドMagic Leap,Inc. 仮想現実および拡張現実のシステムおよび方法
JP2018060210A (ja) * 2013-11-27 2018-04-12 マジック リープ, インコーポレイテッドMagic Leap,Inc. 仮想現実および拡張現実のシステムおよび方法
JP2022009824A (ja) * 2013-11-27 2022-01-14 マジック リープ, インコーポレイテッド 仮想現実および拡張現実のシステムおよび方法
JP2017522587A (ja) * 2014-05-30 2017-08-10 マジック リープ, インコーポレイテッド 仮想および拡張現実における焦点面を作成する方法およびシステム
JPWO2016063620A1 (ja) * 2014-10-23 2017-05-25 株式会社ソニー・インタラクティブエンタテインメント 虚像距離変更装置、虚像距離変更方法、プログラム
JP2019521379A (ja) * 2016-06-20 2019-07-25 マジック リープ, インコーポレイテッドMagic Leap,Inc. 視覚的処理および知覚の疾患を含む神経学的疾患の評価および修正のための拡張現実ディスプレイシステム
US11734896B2 (en) 2016-06-20 2023-08-22 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
JP2019529917A (ja) * 2016-09-22 2019-10-17 マジック リープ, インコーポレイテッドMagic Leap,Inc. 拡張現実の分光法
JP7148501B2 (ja) 2016-09-22 2022-10-05 マジック リープ, インコーポレイテッド 拡張現実の分光法
US11460705B2 (en) 2016-09-22 2022-10-04 Magic Leap, Inc. Augmented reality spectroscopy
US11754844B2 (en) 2016-09-22 2023-09-12 Magic Leap, Inc. Augmented reality spectroscopy
US11852530B2 (en) 2018-03-21 2023-12-26 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
JP7167348B2 (ja) 2018-12-29 2022-11-08 華為技術有限公司 多焦点平面ディスプレイシステム及び装置
JP2022515547A (ja) * 2018-12-29 2022-02-18 華為技術有限公司 多焦点平面ディスプレイシステム及び装置
US11977229B2 (en) 2018-12-29 2024-05-07 Huawei Technologies Co., Ltd. Multi-focal plane display system and device

Also Published As

Publication number Publication date
KR20070064319A (ko) 2007-06-20
US8248458B2 (en) 2012-08-21
WO2006017771A1 (en) 2006-02-16
EP1784988A1 (en) 2007-05-16
US20080117289A1 (en) 2008-05-22

Similar Documents

Publication Publication Date Title
US8248458B2 (en) Variable fixation viewing distance scanned light displays
US11422374B2 (en) Methods and system for creating focal planes in virtual and augmented reality
Kramida Resolving the vergence-accommodation conflict in head-mounted displays
JP6763070B2 (ja) 仮想現実および拡張現実のシステムおよび方法
CN110679147B (zh) 用于显示系统的基于深度的凹式渲染
US11733516B2 (en) Augmented reality display comprising eyepiece having a transparent emissive display
Schowengerdt et al. True 3‐D scanned voxel displays using single or multiple light sources
US10593092B2 (en) Integrated 3D-D2 visual effects display
US8730129B2 (en) Advanced immersive visual display system
US20060033992A1 (en) Advanced integrated scanning focal immersive visual display
CN108107579A (zh) 一种基于空间光调制器的全息光场大视域大出瞳的近眼显示系统
US20040130783A1 (en) Visual display with full accommodation
JP2024045723A (ja) 走査ミラーを伴う1次元ピクセルアレイを有するディスプレイシステム
Schowengerdt et al. True three-dimensional displays that allow viewers to dynamically shift accommodation, bringing objects displayed at different viewing distances into and out of focus
CN218446223U (zh) 一种基于投影超透镜的近眼显示系统和头戴式显示设备
WO2023241985A1 (en) Display apparatus
Schowengerdt et al. InformationDisplay Button
Schowengerdt et al. ID Archive
Ghanbari Niaki Pinhole imaging based solutions for stereoscopic 3D and head worn displays

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110802