JP2023126616A - ディスプレイシステムのための深度ベース中心窩化レンダリング - Google Patents

ディスプレイシステムのための深度ベース中心窩化レンダリング Download PDF

Info

Publication number
JP2023126616A
JP2023126616A JP2023118193A JP2023118193A JP2023126616A JP 2023126616 A JP2023126616 A JP 2023126616A JP 2023118193 A JP2023118193 A JP 2023118193A JP 2023118193 A JP2023118193 A JP 2023118193A JP 2023126616 A JP2023126616 A JP 2023126616A
Authority
JP
Japan
Prior art keywords
user
resolution
display system
light
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023118193A
Other languages
English (en)
Other versions
JP2023126616A5 (ja
Inventor
リー チェン ヨー イヴァン
Li Chuen Yeoh Ivan
アーネスト エドウィン ライオネル
Ernest Edwin Lionel
マトゥール ヴァイブハブ
Mathur Vaibhav
マーク ダルリンプル ティモシー
Mark Dalrymple Timothy
シェーファー ジェイソン
Schaefer Jason
カーライル クリントン
Carlisle Clinton
チェン フイ-チュアン
Hui-Chuan Cheng
オ チュルウ
Chulwoo Oh
プレマイスラー フィリップ
Premysler Philip
ジャン シャオヤン
Xiaoyang Zhang
シー. カールソン アダム
C Carlson Adam
エリザベス サメック ニコル
Elizabeth Samec Nicole
ユー. ロバイナ ナスターシャ
U Robaina Nastashja
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2023126616A publication Critical patent/JP2023126616A/ja
Publication of JP2023126616A5 publication Critical patent/JP2023126616A5/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0147Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/36Level of detail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/002Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Abstract

【課題】好適なディスプレイシステムのための深度ベース中心窩化レンダリングを提供すること。【解決手段】ディスプレイシステムは、異なる波面発散を使用して仮想コンテンツを複数の深度平面上に提供するように構成される拡張現実ディスプレイシステムであり得る。一部の実施形態は、検出されたセンサ情報に基づいてディスプレイシステムのユーザの眼配向の監視を含む。固視点が眼配向に基づいて決定され、固視点は視野に対する3次元場所を表す。提示するための仮想オブジェクトの場所情報が取得され、場所情報は仮想オブジェクトの3次元位置を示す。少なくとも1つの仮想オブジェクトの分解能が少なくとも1つの仮想オブジェクトと固視点の近接度に基づいて調節される。仮想オブジェクトはディスプレイシステムによってユーザに提示され、少なくとも1つの仮想オブジェクトは、調節された分解能に従ってレンダリングされる。【選択図】図10A

Description

(優先権主張)
本願は、米国仮出願第62/644,365号(出願日2018年3月16日)、米国仮出願第62/475,012号(出願日2017年3月22日)、米国仮出願第62/486,407号(出願日2017年4月17日)、および米国仮出願第62/539,934号(出願日2017年8月1日)に対する優先権を主張するものである。上記特許出願は、あらゆる目的のためにそれらの全体が参照により本明細書中に援用される。
(参照により援用)
本願は、以下の特許出願および公開の各々の全体を参照により援用するものである:米国出願第14/555,585号(出願日2014年11月27日)、米国公開2015/0205126号として2015年7月23日に公開;米国出願第14/690,401号(出願日2015年4月18日), 米国公開第2015/0302652号として2015年10月22日に公開;米国出願第14/212,961号(出願日2014年3月14日)、現在は2016年8月16日発行の米国特許9,417,452号;米国出願第14/331,218号(出願日2014年7月14日)、米国公開第2015/0309263号として2015年10月29日に公開;米国出願第15/902,927号(出願日2018年2月22日);米国仮出願第62/475,012号(出願日2017年3月22日);および米国仮出願第62/539,934号(出願日2017年8月1日)。
本開示は、拡張現実結像および可視化システムを含む、ディスプレイシステムに関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実または「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実または「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「MR」シナリオは、一種のARシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、MRシナリオは、実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚される、AR画像コンテンツを含んでもよい。
図1を参照すると、拡張現実場面10が、描写されている。AR技術のユーザには、人々、木々、背景における建物、コンクリートプラットフォーム30を特徴とする、実世界公園状設定20が見える。ユーザはまた、実世界プラットフォーム30上に立っているロボット像40と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ50等の「仮想コンテンツ」を「見ている」と知覚する。これらの要素50、40は、実世界には存在しないという点で、「仮想」である。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、AR技術の生産は、困難である。
本明細書に開示されるシステムおよび方法は、ARまたはVR技術に関連する種々の課題に対処する。
いくつかの実施形態によると、システムは、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、動作を実施させる命令を記憶する、1つ以上のコンピュータ記憶媒体とを備える。動作は、1つ以上のセンサを介して検出された情報に基づいて、ユーザの眼移動を監視するステップを含む。ユーザの眼が固視している固視点が、眼移動に基づいて決定され、固視点は、ユーザの視野内の3次元場所である。動作は、ユーザに提示するための1つ以上の仮想オブジェクトと関連付けられた場所情報を取得するステップを含み、場所情報は、仮想オブジェクトの3次元位置を示す。動作はまた、少なくとも部分的に、少なくとも1つの仮想オブジェクトと固視点の近接度に基づいて、少なくとも1つの仮想オブジェクトの分解能を調節するステップを含む。動作はまた、ユーザに、ディスプレイを介して、仮想オブジェクトの提示をもたらすステップを含み、少なくとも1つの仮想オブジェクトは、調節された分解能に従ってレンダリングされる。
いくつかの実施形態によると、ディスプレイシステムは、仮想コンテンツをユーザに提示するように構成される、ディスプレイデバイスと、1つ以上のプロセッサと、システムによって実行されると、システムに動作を実施させる命令を記憶する、1つ以上のコンピュータ記憶媒体とを備える。動作は、ユーザの眼移動と関連付けられた情報を監視するステップを含む。ディスプレイデバイスのディスプレイ錐台内の固視点が、監視される情報に基づいて、決定され、固視点は、ユーザの眼によって固視されている、3次元場所を示す。動作はまた、決定された固視点に基づいて、仮想コンテンツをディスプレイ錐台内の3次元場所に提示するステップを含み、仮想コンテンツは、固視点からの仮想コンテンツの近接度に基づいて、分解能を調節される。
いくつかの他の実施形態によると、方法は、1つ以上のセンサを介して検出された情報に基づいて、ディスプレイデバイスのユーザの眼配向を監視するステップを含む。ユーザの眼が固視している固視点が、眼配向に基づいて決定され、固視点は、ユーザの視野内の3次元場所である。ユーザに提示するための1つ以上の仮想オブジェクトと関連付けられた場所情報が、取得され、場所情報は、仮想オブジェクトの3次元位置を示す。少なくとも1つの仮想オブジェクトの分解能が、少なくとも部分的に、少なくとも1つの仮想オブジェクトと固視点の近接度に基づいて、調節される。本方法はまた、ユーザに、ディスプレイを介して、仮想オブジェクトの提示をもたらすステップを含み、少なくとも1つの仮想オブジェクトは、調節された分解能に従ってレンダリングされる。
いくつかの実施形態によると、ディスプレイシステムは、ユーザの頭部上に搭載されるように構成される、フレームと、光を出力し、画像を形成するように構成される、光変調システムと、フレームに取り付けられ、光変調システムからの光を受光し、光を1つ以上の導波管の表面を横断して出力するように構成される、1つ以上の導波管とを備える。本システムはまた、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、種々の動作を実施させる命令を記憶する、1つ以上のコンピュータ記憶媒体とを備える。動作は、ユーザの眼の網膜に到達する光の量を決定するステップと、網膜に到達する光の量に基づいて、ユーザに提示されることになる仮想コンテンツの分解能を調節するステップとを含む。
いくつかの他の実施形態によると、ディスプレイシステムは、1つ以上のプロセッサと、命令を記憶する、1つ以上のコンピュータ記憶媒体とを備える。命令が、1つ以上のプロセッサによって実行されると、それらは、1つ以上のプロセッサに、種々の動作を実施させる。動作は、ディスプレイシステムのユーザの眼の網膜に到達する光の量を決定するステップと、網膜に到達する光の量に基づいて、ユーザに提示されることになる仮想コンテンツの分解能を調節するステップとを含む。
いくつかの実施形態によると、方法は、1つ以上のプロセッサおよび頭部搭載可能ディスプレイを備える、ディスプレイシステムによって実施される。本方法は、ディスプレイシステムのユーザの眼の網膜に到達する光の量を決定するステップと、網膜に到達する光の量に基づいて、ユーザに提示されることになる仮想コンテンツの分解能を調節するステップとを含む。
いくつかの他の実施形態によると、ディスプレイシステムは、ユーザの頭部上に搭載されるように構成される、フレームと、光変調システムと、1つ以上の導波管と、1つ以上のプロセッサと、命令を記憶する、1つ以上のコンピュータ記憶媒体とを備える。光変調システムは、光を出力し、画像を形成するように構成される。1つ以上の導波管は、フレームに取り付けられ、光変調システムからの光を受光し、光を1つ以上の導波管の表面を横断して出力するように構成される。1つ以上のコンピュータ記憶媒体は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、種々の動作を実施させる、命令を記憶する。動作は、ユーザ固視点からの仮想コンテンツの近接度と、原色画像の色とに基づいて、仮想コンテンツを形成する原色画像の分解能を調節するステップを含む。原色画像のうちの少なくとも1つは、別の色の原色画像と分解能が異なる。
さらに他の実施形態によると、ディスプレイシステムは、1つ以上のプロセッサと、命令を記憶する、1つ以上のコンピュータ記憶媒体とを備える。命令が、1つ以上のプロセッサによって実行されると、それらは、1つ以上のプロセッサに、種々の動作を実施させる。動作は、ユーザ固視点からの仮想コンテンツの近接度と、原色画像の色とに基づいて、仮想コンテンツを形成する原色画像の分解能を調節するステップを含み、原色画像のうちの少なくとも1つは、別の色の原色画像と分解能が異なる。
いくつかの他の実施形態によると、方法は、1つ以上のプロセッサと、頭部搭載可能ディスプレイとを備える、ディスプレイシステムによって実施される。本方法は、ユーザ固視点からの仮想コンテンツの近接度と、原色画像の色とに基づいて、仮想コンテンツを形成する原色画像の分解能を調節するステップを含み、原色画像のうちの少なくとも1つは、別の色の原色画像と分解能が異なる。
さらに他の実施形態によると、ディスプレイシステムは、第1の画像ストリームおよび第2の画像ストリームを提供するための空間光変調器を備える、画像源と、視認アセンブリと、画像源と通信する、1つ以上のプロセッサと、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに、種々の動作を実施させる命令を記憶する、1つ以上のコンピュータ記憶媒体とを備える。視認アセンブリは、第1および第2の画像ストリームを画像源から受信し、第1および第2の画像ストリームをユーザに出力するための光誘導光学系を備える。1つ以上のプロセッサによって実施される種々の動作は、画像源に、第1の画像ストリームを視認アセンブリに出力させるステップであって、第1の画像ストリームによって形成される画像は、第1のピクセル密度を有する、ステップと、画像源に、第2の画像ストリームを視認アセンブリに出力させるステップとを含む。第2の画像ストリームによって形成される画像は、第1のピクセル密度を上回る、第2のピクセル密度を有し、第1の画像ストリームによって提供される画像の部分に対応する。第2の画像ストリームによって形成される画像は、第1の画像ストリームによって提供される視野の対応する部分を覆う。
いくつかの実施形態によると、ウェアラブルディスプレイシステムは、円偏光掌性依存拡大率を伴う、無限焦点拡大レンズを含んでもよい。無限焦点拡大レンズは、第1の固定焦点距離レンズ要素と、入射円偏光の第1の掌性のための正の屈折力を呈し、かつ入射円偏光の第2の掌性のための負の屈折力を呈する、第1の幾何学的位相レンズと、第2の幾何学的位相レンズとを含んでもよい。
いくつかの他の実施形態によると、ウェアラブル画像プロジェクタのための光学サブシステムは、偏光選択的反射体と、偏光選択的反射体を中心として位置付けられる、4つのレンズ要素のセットとを含んでもよい。
いくつかの他の実施形態による、画像をユーザの眼に投影させるためのディスプレイシステムは、接眼レンズを含んでもよい。接眼レンズは、導波管と、導波管に光学的に結合される、内部結合格子とを含んでもよい。ディスプレイシステムはさらに、第1の画像ストリームと関連付けられた第1の光ビームを投影するように構成される、第1の画像源を含んでもよい。第1の画像ストリームは、第1の視野を有してもよく、内部結合格子の第1の表面上に入射してもよい。第1の光ビームの一部は、第1の画像ストリームをユーザの眼に対して固定位置に位置付けるために、内部結合格子によって、導波管の中に結合されてもよい。ディスプレイシステムはさらに、第2の画像ストリームと関連付けられた第2の光ビームを投影するように構成される、第2の画像源を含んでもよい。第2の画像ストリームは、第1の視野より狭い、第2の視野を有してもよい。ディスプレイシステムはさらに、走査ミラーを含んでもよく、第2の光ビームが、その第1の表面と反対の内部結合格子の第2の表面上に入射するように、第2の光ビームを受光し、反射させるように構成されてもよい。第2の光ビームの一部は、内部結合格子によって、導波管の中に結合されてもよい。ディスプレイシステムはさらに、ユーザの眼の移動を検出するように構成される、眼視線トラッカと、眼視線トラッカおよび走査ミラーと通信する、制御回路とを含んでもよい。制御回路は、第2の画像ストリームの位置が、ユーザの眼の検出された移動に従って移動されるように、走査ミラーを位置付けるように構成されてもよい。
いくつかの他の実施形態によると、画像をユーザの眼に投影させるためのディスプレイシステムは、接眼レンズを含んでもよい。接眼レンズは、導波管と、導波管に光学的に結合される、内部結合格子とを含んでもよい。ディスプレイシステムはさらに、第1の偏光における第1の画像ストリームと関連付けられた第1の光ビームと、第1の偏光と異なる第2の偏光における第2の画像ストリームと関連付けられた第2の光ビームとを投影するように構成される、画像源を含んでもよい。第1の画像ストリームは、第1の視野を有してもよく、第2の画像ストリームは、第1の視野より狭い、第2の視野を有してもよい。第1の光ビームおよび第2の光ビームは、多重化されてもよい。ディスプレイシステムはさらに、第1の光ビームを受光し、第1の光学経路に沿って反射させ、第2の光ビームを受光し、第2の光学経路に沿って透過させるように構成される、偏光ビームスプリッタを含んでもよい。ディスプレイシステムはさらに、第1の光学経路に沿って位置付けられ、第1の光ビームが、内部結合格子の第1の表面上に入射するように、第1の光ビームを受光し、反射させるように構成される、第1の光学反射体を含んでもよい。第1の光ビームの一部は、第1の画像ストリームをユーザの眼に対して固定位置に位置付けるために、内部結合格子によって、導波管の中に結合されてもよい。ディスプレイシステムはさらに、第2の光学経路に沿って配置され、第2の光ビームを受光し、反射させるように構成される、走査ミラーと、走査ミラーの下流の第2の光学経路に沿って位置付けられる、第2の光学反射体とを含んでもよい。第2の光学反射体は、第2の光ビームが、その第1の表面と反対の内部結合格子の第2の表面上に入射するように、第2の光ビームを受光し、反射させるように構成されてもよい。第2の光ビームの一部は、内部結合格子によって、導波管の中に結合されてもよい。ディスプレイシステムはさらに、ユーザの眼の移動を検出するように構成される、眼視線トラッカと、眼視線トラッカおよび走査ミラーと通信する、制御回路とを含んでもよい。制御回路は、第2の画像ストリームの位置が、ユーザの眼の検出された移動に従って移動されるように、走査ミラーを位置付けるように構成されてもよい。
いくつかの他の実施形態によると、画像をユーザの眼に投影させるためのディスプレイシステムは、導波管と、第1の偏光における第1の画像ストリームと関連付けられた第1の光ビームと、第1の偏光と異なる第2の偏光における第2の画像ストリームと関連付けられた第2の光ビームとを投影するように構成される、画像源とを含んでもよい。第1の画像ストリームは、第1の視野を有してもよく、第2の画像ストリームは、第1の視野より狭い、第2の視野を有する。第1の光ビームおよび第2の光ビームは、多重化されてもよい。ディスプレイシステムはさらに、第1の光ビームを受光し、第1の光学経路に沿って反射させ、第2の光ビームを受光し、第2の光学経路に沿って透過させるように構成される、偏光ビームスプリッタを含んでもよい。ディスプレイシステムはさらに、第1の光学経路に沿って、導波管の第1の表面に隣接して位置付けられる、第1の内部結合プリズムを含んでもよい。第1の内部結合プリズムは、第1の画像ストリームをユーザの眼に対して固定位置に位置付けるために、第1の光ビームの一部を導波管の中に結合するように構成されてもよい。ディスプレイシステムはさらに、第2の光学経路に沿って配置され、第2の光ビームを受光し、反射させるように構成される、走査ミラーを含んでもよい。ディスプレイシステムはさらに、走査ミラーの下流の第2の光学経路に沿って、導波管の第1の表面と反対の導波管の第2の表面に隣接して位置付けられる、第2の内部結合プリズムを含んでもよい。第2の内部結合プリズムは、第2の光ビームの一部を導波管の中に結合するように構成されてもよい。ディスプレイシステムはさらに、ユーザの眼の移動を検出するように構成される、眼視線トラッカと、眼視線トラッカおよび走査ミラーと通信する、制御回路とを含んでもよい。制御回路は、第2の画像ストリームの位置が、ユーザの眼の検出された移動に従って移動されるように、走査ミラーを位置付けるように構成されてもよい。
ある実施形態によると、画像をユーザの眼に投影させるためのディスプレイシステムは、画像源を含む。画像源は、第1の偏光における第1の画像ストリームと関連付けられた第1の光ビームと、第1の偏光と異なる第2の偏光における第2の画像ストリームと関連付けられた第2の光ビームとを投影するように構成されることができる。第1の画像ストリームは、第1の視野を有することができ、第2の画像ストリームは、第1の視野より狭い、第2の視野を有することができる。第1の光ビームおよび第2の光ビームは、多重化されることができる。ディスプレイシステムはさらに、偏光ビームスプリッタを含むことができる。偏光ビームスプリッタは、第1の画像ストリームをユーザの眼に対して固定位置に位置付けるために、第1の光ビームを受光し、第1の光学経路に沿って視認アセンブリに向かって反射させ、第2の光ビームを受光し、第2の光学経路に沿って透過させるように構成されることができる。ディスプレイシステムはさらに、第2の光学経路に沿って配置され、第2の光ビームを受光し、視認アセンブリに向かって反射させるように構成される、走査するミラーを含むことができる。ディスプレイシステムはさらに、ユーザの眼の移動を検出するように構成される、眼視線トラッカと、眼視線トラッカおよび走査ミラーと通信する、制御回路とを含むことができる。制御回路は、第2の画像ストリームの位置が、ユーザの眼の検出された移動に従って移動されるように、走査ミラーを位置付けるように構成されることができる。
別の実施形態によると、画像をユーザの眼に投影させるためのディスプレイシステムは、画像源を含む。画像源は、第1の画像ストリームと関連付けられた第1の光ビームと、第2の画像ストリームと関連付けられた第2の光ビームとを投影するように構成されることができる。第1の画像ストリームは、第1の視野を有することができ、第2の画像ストリームは、第1の視野より狭い、第2の視野を有することができる。第1の光ビームおよび第2の光ビームは、多重化されることができる。ディスプレイシステムはさらに、第1の画像ストリームおよび第2の画像ストリームを投影させるために、第1の光ビームおよび第2の光ビームを受光し、視認アセンブリに向かって反射させるように構成される、走査ミラーを含むことができる。ディスプレイシステムはさらに、ユーザの眼の移動を検出するように構成される、眼視線トラッカと、眼視線トラッカおよび走査ミラーと通信する、制御回路とを含むことができる。制御回路は、第1の画像ストリームの位置および第2の画像ストリームの位置が、ユーザの眼の検出された移動に従って移動されるように、走査ミラーを位置付けるように構成されることができる。ディスプレイシステムはさらに、第1の光ビームおよび第2の光ビームの光学経路内に配置される、切替可能光学要素を含むことができる。切替可能光学要素は、第1の光ビームが第1の角度拡大率によって角度的に拡大されるように、第1の光ビームのための第1の状態に切り替えられ、第2の光ビームが第1の角度拡大率未満である第2の角度拡大率によって角度的に増幅されるように、第2の光ビームのための第2の状態に切り替えられるように構成されることができる。
本発明は、例えば、以下を提供する。
(項目1)
システムであって、前記システムは、1つ以上のプロセッサと、1つ以上のコンピュータ記憶媒体とを備え、前記1つ以上のコンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
1つ以上のセンサを介して検出された情報に基づいて、ユーザの眼移動を監視することと、
前記眼移動に基づいて、前記ユーザの眼が固視している固視点を決定することであって、前記固視点は、前記ユーザの視野内の3次元場所である、ことと、
ユーザに提示するための1つ以上の仮想オブジェクトと関連付けられた場所情報を取得することであって、前記場所情報は、仮想オブジェクトの3次元位置を示す、ことと、
少なくとも部分的に、前記少なくとも1つの仮想オブジェクトと前記固視点の近接度に基づいて、少なくとも1つの仮想オブジェクトの分解能を調節することと、
ディスプレイデバイスを介して、ユーザに、前記1つ以上の仮想オブジェクトの提示をもたらすことであって、前記少なくとも1つの仮想オブジェクトは、前記個別の調節された分解能に従ってレンダリングされる、ことと
を含む動作を実施させる、システム。
(項目2)
仮想オブジェクトの分解能を調節することは、前記仮想オブジェクトの提示品質を低減させることを含む、項目1に記載のシステム。
(項目3)
前記仮想オブジェクトの提示品質を低減させることは、前記仮想オブジェクトのポリゴンカウントを低減させること、前記仮想オブジェクトを生成するために利用されるプリミティブを調節すること、前記仮想オブジェクト上で実施される動作を調節すること、テクスチャ情報を調節すること、色分解能、または深度を調節すること、およびレンダリングサイクルの数またはフレームレートを調節することのうちの1つ以上のものを含む、項目2に記載のシステム。
(項目4)
前記視野は、前記ディスプレイデバイスのディスプレイ錐台に対応する、項目1に記載のシステム。
(項目5)
前記視野は、複数のゾーンを備え、各ゾーンは、仮想オブジェクトが前記ディスプレイデバイスによって提示され得る前記視野内の空間の体積を表し、
前記ゾーンは、前記視野内の初期深度から前記視野内の終了深度まで延在し、
前記固視点からの前記1つ以上の仮想オブジェクトの近接度は、前記仮想オブジェクトが提示されることになる第1のゾーンを前記固視点が位置する第2のゾーンから分離する距離に対応する、
項目1に記載のシステム。
(項目6)
前記少なくとも1つの仮想オブジェクトの分解能を調節することは、前記少なくとも1つの仮想オブジェクトに最初に割り当てられる分解能から分解能を低減させることを含み、前記近接度は、前記第1のゾーンを前記第2のゾーンから分離するゾーンの総数に対応する、項目5に記載のシステム。
(項目7)
前記固視点が位置する第2のゾーンは、最大分解能を割り当てられ、残りのゾーンは、それぞれ、1つ以上の降下率に従って、前記最大分解能から低減された分解能を割り当てられる、項目5に記載のシステム。
(項目8)
前記動作はさらに、
ユーザ網膜錐体密度プロファイルを提供すること
を含み、
個々の深度平面上の降下率は、前記ユーザ網膜錐体密度プロファイル内の錐体密度の降下率に実質的に準拠する、項目5に記載のシステム。
(項目9)
前記ゾーンは、3次元多角形形状を有する、項目5に記載のシステム。
(項目10)
前記ゾーンは、同心楕円体である、項目5に記載のシステム。
(項目11)
前記ゾーンの形状は、前記第2のゾーンまでの距離に伴って変動する、項目5に記載のシステム。
(項目12)
前記ディスプレイデバイスをさらに備え、前記ディスプレイデバイスは、
ディスプレイエリアを形成し、周囲環境のビューを前記ディスプレイエリアを通して提供する複数のスタックされた導波管であって、前記複数の導波管の少なくともいくつかの導波管は、他の導波管と異なる波面発散を伴う光を出力するように構成される、複数のスタックされた導波管
を備える、項目1に記載のシステム。
(項目13)
前記固視点からより遠い深度に提示されることになり、前記ユーザの視線の閾値角距離内であることが決定される、第1の仮想オブジェクトに関して、前記動作はさらに、
前記第1の仮想オブジェクトと前記固視点の近接度に基づいて、前記第1の仮想オブジェクトの分解能を調節することと、
ユーザへの前記第1の仮想オブジェクトの提示の間、前記第1の仮想オブジェクトをぼかさせることと、
を含む、項目1に記載のシステム。
(項目14)
前記第1の仮想オブジェクトをぼかさせることは、
ガウスぼかしカーネルの畳み込みを実施することであって、前記第1の仮想オブジェクトは、前記調節された分解能に従ってレンダリングされる、ことと、
前記ディスプレイデバイスを介して、前記畳み込みの結果をユーザに提示することと、
を含む、項目13に記載のシステム。
(項目15)
前記1つ以上のセンサは、前記ユーザの眼の視線方向を検出するように構成される、赤外線センサ、紫外線センサ、および可視波長光結像デバイスのうちの1つ以上のものを備える、項目1に記載のシステム。
(項目16)
ディスプレイシステムであって、前記ディスプレイシステムは、
仮想コンテンツをユーザに提示するように構成されるディスプレイデバイスと、
1つ以上のプロセッサと、
1つ以上のコンピュータ記憶媒体であって、前記1つ以上のコンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記システムによって実行されると、前記システムに、
前記ユーザの眼移動と関連付けられた情報を監視することと、
前記監視される情報に基づいて、前記ディスプレイデバイスのディスプレイ錐台内の固視点を決定することであって、前記固視点は、前記ユーザの眼によって固視されている3次元場所を示す、ことと、
前記決定された固視点に基づいて、仮想コンテンツを前記ディスプレイ錐台内の3次元場所に提示することであって、前記仮想コンテンツは、前記固視点からの前記仮想コンテンツの近接度に基づいて、分解能を調節される、ことと、
を含む動作を実施させる、1つ以上のコンピュータ記憶媒体と
を備える、システム。
(項目17)
前記動作はさらに、
前記ディスプレイデバイスによって、1つ以上のプロセッサを備える外部システムに、前記決定された固視点を提供することと、
前記ディスプレイデバイスによって、前記外部システムから、提示のために、レンダリングされた仮想コンテンツを受信することであって、前記仮想コンテンツは、前記固視点からの前記仮想コンテンツの個別の近接度に基づく分解能でレンダリングされる、ことと、
を含む、項目16に記載のシステム。
(項目18)
前記固視点からの近接度に基づいて、特定の仮想コンテンツの分解能を調節することは、
前記近接度に基づいて、最大分解能における低減を決定することであって、前記低減は、降下率に基づく、ことと、
前記決定された低減に基づいて、前記特定の仮想コンテンツの分解能を調節することとを含む、項目16に記載のシステム。
(項目19)
前記ディスプレイデバイスは、複数の導波管を備え、各導波管は、前記仮想コンテンツの3次元場所に基づいて、個別の深度と関連付けられた仮想コンテンツを提示する、項目16に記載のシステム。
(項目20)
前記ディスプレイデバイスは、前記固視点に対する中心窩化結像に基づいて、仮想コンテンツを提示し、前記中心窩化結像は、(1)前記固視点および(2)仮想コンテンツと関連付けられた深度情報を組み込む、項目16に記載のシステム。
(項目21)
方法であって、
1つ以上のプロセッサのシステムによって、
1つ以上のセンサを介して検出された情報に基づいて、ディスプレイデバイスのユーザの眼配向を監視することと、
前記眼配向に基づいて、前記ユーザの眼が固視している固視点を決定することであって、前記固視点は、前記ユーザの視野に対する3次元場所を表す、ことと、
ユーザに提示するための1つ以上の仮想オブジェクトと関連付けられた場所情報を取得することであって、前記場所情報は、仮想オブジェクトの3次元位置を示す、ことと、
少なくとも部分的に、前記少なくとも1つの仮想オブジェクトから前記固視点までの個別の近接度に基づいて、少なくとも1つの仮想オブジェクトの分解能を調節することと、
前記ディスプレイデバイスを介して、ユーザに、前記1つ以上の仮想オブジェクトの提示をもたらすことであって、前記少なくとも1つの仮想オブジェクトは、前記個別の調節された分解能に従ってレンダリングされる、ことと
を含む、方法。
(項目22)
仮想オブジェクトの分解能を調節することは、最大可能提示品質に対して前記仮想オブジェクトの提示品質を低減させることを含む、項目21に記載の方法。
(項目23)
前記仮想オブジェクトの提示品質を低減させることは、前記仮想オブジェクトのポリゴンカウントを低減させること、前記仮想オブジェクトと関連付けられたプリミティブを低減させること、または前記仮想オブジェクトと関連付けられたテクスチャ情報を低減させることを含む、項目22に記載の方法。
(項目24)
前記固視点は、前記ディスプレイデバイスを介してユーザに提示されるフレーム毎に決定される、項目21に記載の方法。
(項目25)
前記視野は、ゾーンを備え、各ゾーンは、仮想オブジェクトが提示され得る前記視野内の空間の体積を表し、
前記ゾーンは、少なくとも、前記視野内の初期深度から前記視野内の終了深度まで延在し、
前記固視点からの仮想オブジェクトの近接度は、前記固視点が位置する第2のゾーンに対する前記仮想オブジェクトが提示されることになる第1のゾーンに基づいて決定される、項目21に記載の方法。
(項目26)
センサは、赤外線センサ、紫外線センサ、および可視波長光結像デバイスのうちの1つ以上のものを備える、項目21に記載の方法。
(項目27)
ディスプレイシステムであって、
ユーザの頭部上に搭載されるように構成されるフレームと、
光を出力し、画像を形成するように構成される光変調システムと、
前記フレームに取り付けられ、前記光変調システムからの光を受光し、前記光を1つ以上の導波管の表面を横断して出力するように構成される1つ以上の導波管と、
1つ以上のプロセッサと、
1つ以上のコンピュータ記憶媒体であって、前記1つ以上のコンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
前記ユーザの眼の網膜に到達する光の量を決定することと、
前記網膜に到達する光の量に基づいて、ユーザに提示されることになる仮想コンテンツの分解能を調節することと
を含む動作を実施させる、1つ以上のコンピュータ記憶媒体と
を備える、ディスプレイシステム。
(項目28)
周囲照明レベルを測定するように構成される外向きに指向されるカメラをさらに備え、前記網膜に到達する光の量を決定することは、前記周囲照明レベルを測定することを含む、項目27に記載のディスプレイシステム。
(項目29)
前記網膜に到達する光の量を決定することはさらに、前記導波管によって前記ユーザの眼に出力された光の量を決定することを含む、項目28に記載のディスプレイシステム。
(項目30)
前記動作はさらに、
ユーザ固視点を決定することと、
前記仮想コンテンツの場所情報を取得することであって、前記場所情報は、前記仮想コンテンツの3次元位置を示す、ことと
を含み、前記仮想コンテンツの分解能を調節することは、前記仮想コンテンツと前記固視点の近接度に基づいて、前記仮想コンテンツの分解能を変動させることを含む、項目27に記載のディスプレイシステム。
(項目31)
前記仮想コンテンツの分解能を調節することは、前記ユーザから離れるように延在する深度軸上の前記仮想コンテンツと前記固視点の近接度に基づいて、前記仮想コンテンツの分解能を変動させることを含む、項目30に記載のディスプレイシステム。
(項目32)
前記1つ以上の導波管は、導波管のスタックを備え、前記導波管のスタックの導波管のうちの少なくともいくつかは、前記導波管のスタックの他の導波管と異なる波面発散量を提供する、項目27に記載のディスプレイシステム。
(項目33)
前記1つ以上の導波管は、
内部結合回折光学要素と、
外部結合回折光学要素と、
前記内部結合回折光学要素からの光を前記外部結合回折光学要素に指向するように構成される光分散要素と
を備える、項目27に記載のディスプレイシステム。
(項目34)
ディスプレイシステムであって、
1つ以上のプロセッサと、
1つ以上のコンピュータ記憶媒体であって、前記1つ以上のコンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
前記ディスプレイシステムのユーザの眼の網膜に到達する光の量を決定することと、
前記網膜に到達する光の量に基づいて、ユーザに提示されることになる仮想コンテンツの分解能を調節することと
を含む動作を実施させる、1つ以上のコンピュータ記憶媒体と
を備える、ディスプレイシステム。
(項目35)
前記網膜に到達する光の量を決定することは、周囲照明レベルを決定することを含む、項目34に記載のディスプレイシステム。
(項目36)
前記網膜に到達する光の量を決定することは、前記仮想コンテンツを表示するために前記ディスプレイシステムによって出力される光の量を決定することを含む、項目35に記載のディスプレイシステム。
(項目37)
前記網膜に到達する光の量を決定することは、前記ユーザの眼の瞳孔のサイズを決定することを含む、項目34に記載のディスプレイシステム。
(項目38)
前記仮想コンテンツの分解能を調節することは、前記ユーザ固視点からの前記仮想コンテンツの距離の増加に伴って、前記仮想コンテンツの分解能を減少させることを含む、項目34に記載のディスプレイシステム。
(項目39)
前記分解能を減少させる傾向は、前記ユーザの網膜内の錐体密度を減少させる傾向に実質的に類似する、項目38に記載のディスプレイシステム。
(項目40)
ユーザ視野内の最大分解能のゾーンは、前記ユーザの眼の小窩に対応する点上に心合され、
ユーザ視野内の前記仮想コンテンツの分解能は、前記点の+/-20°外側に配置される仮想コンテンツに関して減少する、
項目39に記載のディスプレイシステム。
(項目41)
前記分解能を減少させることは、前記網膜に到達する光の全てのレベルのポリゴンカウントを減少させることを含む、項目38に記載のディスプレイシステム。
(項目42)
前記分解能を調節することは、前記分解能を2つの分解能レベルのうちの1つに設定することを含む、項目38に記載のディスプレイシステム。
(項目43)
前記仮想コンテンツの分解能を調節することは、前記網膜に到達する光の量の減少に伴って、色深度およびコントラスト比の一方または両方を減少させることを含む、項目42に記載のディスプレイシステム。
(項目44)
前記動作はさらに、
前記光の量が、明所視、薄明視、または暗所視照明レベルに対応するかどうかを決定することを含み、
前記仮想コンテンツの分解能を調節することは、前記照明レベルが、明所視、薄明視、または暗所視照明レベルに対応するかどうかに基づいて、前記分解能を設定することを含む、項目34に記載のディスプレイシステム。
(項目45)
前記仮想コンテンツの分解能を調節することは、暗所視照明レベルにおいて、単色を使用して、前記仮想コンテンツを表示することを含む、項目34に記載のディスプレイシステム。
(項目46)
前記仮想コンテンツの分解能を調節することは、前記眼の網膜に到達する光の量が減少するにつれて、前記仮想コンテンツを形成する画像のコントラスト比を減少させることを含む、項目34に記載のディスプレイシステム。
(項目47)
前記動作はさらに、
仮想コンテンツを複数の原色において提供すること
を含み、
前記仮想コンテンツの分解能を調節することは、異なる原色に関する異なる分解能を提供することを含む、項目34に記載のディスプレイシステム。
(項目48)
前記動作はさらに、前記眼の視神経盲点に対応する仮想コンテンツのレンダリングを防止することを含む、項目34に記載のディスプレイシステム。
(項目49)
前記仮想コンテンツの分解能を調節することは、前記ユーザの眼毎の反対周辺領域内に位置する仮想コンテンツのレンダリングを防止することを含み、前記反対周辺領域は、前記眼が配置される前記ユーザの側と反対の前記ユーザの側上にある、項目34に記載のディスプレイシステム。
(項目50)
前記動作はさらに、ディスプレイデバイスを介して、ユーザに、前記仮想コンテンツの提示をもたらすことを含み、前記仮想コンテンツは、関連付けられた調節された分解能に従ってレンダリングされる、項目34に記載のディスプレイシステム。
(項目51)
1つ以上のプロセッサと、頭部搭載可能ディスプレイとを備えるディスプレイシステムによって実施される方法であって、前記方法は、
前記ディスプレイシステムのユーザの眼の網膜に到達する光の量を決定することと、
前記網膜に到達する光の量に基づいて、ユーザに提示されることになる仮想コンテンツの分解能を調節することと
を含む、方法。
(項目52)
ディスプレイシステムであって、
ユーザの頭部上に搭載されるように構成されるフレームと、
光を出力し、画像を形成するように構成される光変調システムと、
前記フレームに取り付けられ、前記光変調システムからの光を受光し、前記光を1つ以上の導波管の表面を横断して出力するように構成される1つ以上の導波管と、
1つ以上のプロセッサと、
1つ以上のコンピュータ記憶媒体であって、前記1つ以上のコンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
ユーザ固視点からの前記仮想コンテンツの近接度と、
前記原色画像の色であって、前記原色画像のうちの少なくとも1つは、別の色の原色画像と分解能が異なる、前記原色画像の色と
に基づいて、仮想コンテンツを形成する原色画像の分解能を調節することを含む動作を実施させる、1つ以上のコンピュータ記憶媒体と
を備える、ディスプレイシステム。
(項目53)
前記仮想コンテンツの分解能を調節することは、前記ユーザから離れるように延在する深度軸上の前記仮想コンテンツと前記固視点の近接度に基づいて、前記仮想コンテンツの分解能を変動させることを含む、項目52に記載のディスプレイシステム。
(項目54)
前記1つ以上の導波管は、導波管のスタックを備え、前記導波管のスタックの導波管のうちの少なくともいくつかは、前記導波管のスタックの他の導波管と異なる波面発散量を提供する、項目52に記載のディスプレイシステム。
(項目55)
前記1つ以上の導波管は、
内部結合回折光学要素と、
外部結合回折光学要素と、
前記内部結合回折光学要素からの光を前記外部結合回折光学要素に指向するように構成される、光分散要素と、
を備える、項目52に記載のディスプレイシステム。
(項目56)
ディスプレイシステムであって、
1つ以上のプロセッサと、
1つ以上のコンピュータ記憶媒体であって、前記1つ以上のコンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
ユーザ固視点からの前記仮想コンテンツの近接度と、
前記原色画像の色であって、前記原色画像のうちの少なくとも1つは、別の色の原色画像と分解能が異なる、前記原色画像の色と
に基づいて、仮想コンテンツを形成する原色画像の分解能を調節することを含む動作を実施させる、1つ以上のコンピュータ記憶媒体と
を備える、ディスプレイシステム。
(項目57)
前記分解能は、少なくとも色深度に対応する、項目56に記載のディスプレイシステム。
(項目58)
前記分解能は、少なくともポリゴンカウントに対応する、項目56に記載のディスプレイシステム。
(項目59)
前記原色画像は、赤色原色画像、緑色原色画像、および青色原色画像を備え、
前記緑色原色画像は、前記赤色または前記青色原色画像より高い分解能を有する、
項目56に記載のディスプレイシステム。
(項目60)
前記赤色原色画像は、前記青色原色画像より高い分解能を有する、項目59に記載のディスプレイシステム。
(項目61)
前記仮想コンテンツの分解能を調節することは、周囲光および前記仮想コンテンツを表示するために前記ディスプレイシステムによって出力された光の一方または両方の減少に伴って、前記仮想コンテンツを形成する画像のコントラスト比を減少させることを含む、項目56に記載のディスプレイシステム。
(項目62)
前記動作はさらに、前記ディスプレイシステムのユーザの眼の視神経盲点に対応する仮想コンテンツのレンダリングを防止することを含む、項目56に記載のディスプレイシステム。
(項目63)
前記仮想コンテンツの分解能を調節することは、前記ユーザの眼毎の反対周辺領域内に位置する仮想コンテンツのレンダリングを防止することを含み、前記反対周辺領域は、前記眼が配置される前記ユーザの側と反対の前記ユーザの側上にある、項目56に記載のディスプレイシステム。
(項目64)
前記動作はさらに、ディスプレイデバイスを介して、ユーザに、前記仮想コンテンツの提示をもたらすことを含み、前記仮想コンテンツは、関連付けられた調節された分解能に従ってレンダリングされる、項目56に記載のディスプレイシステム。
(項目65)
1つ以上のプロセッサと、頭部搭載可能ディスプレイとを備える、ディスプレイシステムによって実施される方法であって、前記方法は、
ユーザ固視点からの前記仮想コンテンツの近接度と、
前記原色画像の色であって、前記原色画像のうちの少なくとも1つは、別の色の原色画像と分解能が異なる、前記原色画像の色と
に基づいて、仮想コンテンツを形成する原色画像の分解能を調節することを含む、方法。
(項目66)
ディスプレイシステムであって、
第1の画像ストリームおよび第2の画像ストリームを提供するための空間光変調器を備える画像源と、
前記第1および第2の画像ストリームを前記画像源から受信し、前記第1および第2の画像ストリームをユーザに出力するための光誘導光学系を備える視認アセンブリと、
前記画像源と通信する1つ以上のプロセッサと、
1つ以上のコンピュータ記憶媒体であって、前記1つ以上のコンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
前記画像源に、前記第1の画像ストリームを前記視認アセンブリに出力させることであって、前記第1の画像ストリームによって形成される画像は、第1のピクセル密度を有する、ことと、
前記画像源に、前記第2の画像ストリームを前記視認アセンブリに出力させることであって、前記第2の画像ストリームによって形成される画像は、前記第1のピクセル密度を上回る第2のピクセル密度を有する、ことと
を含む動作を実施させ、
前記第2の画像ストリームによって形成される画像は、前記第1の画像ストリームによって提供される画像の部分に対応し、
前記第2の画像ストリームによって形成される画像は、前記第1の画像ストリームによって提供される視野の対応する部分を覆う、1つ以上のコンピュータ記憶媒体と
を備える、ディスプレイシステム。
(項目67)
前記動作はさらに、前記第1の画像に対する前記第2の画像の場所を改変することを含む、項目66に記載のディスプレイシステム。
(項目68)
前記動作はさらに、前記第2の画像のサイズを経時的に改変することを含む、項目67に記載のディスプレイシステム。
(項目69)
前記ユーザの眼の配向の変化を検出するように構成される眼視線トラッカをさらに備え、
前記動作は、前記ユーザの眼の配向の検出された変化に従って、前記第1の画像に対する前記第2の画像の場所を改変することを含む、
項目67に記載のディスプレイシステム。
(項目70)
前記画像源と前記視認アセンブリとの間の前記第2の画像ストリームの経路内の走査ミラー
をさらに備え、
前記動作はさらに、前記走査ミラーの配向を調節し、前記第1の画像に対する前記第2の画像の画像の場所を改変することを含む、項目69に記載のディスプレイシステム。
(項目71)
前記視認アセンブリは、接眼レンズを備え、前記接眼レンズは、
光を前記導波管に内部結合するように構成される内部結合格子を備える導波管を備える、項目66に記載のディスプレイシステム。
(項目72)
前記内部結合格子は、液晶の偏光に敏感な内部結合格子である、項目71に記載のディスプレイシステム。
(項目73)
前記導波管は、光を前記導波管に内部結合するように構成される他の内部結合格子を備え、前記他の内部結合格子は、前記導波管の前記内部結合格子と異なる表面に沿って配置される、項目71に記載のディスプレイシステム。
(項目74)
前記内部結合格子および前記他の内部結合格子は両方とも、前記第2の画像ストリームの光学経路内にあり、
前記内部結合格子および前記他の内部結合格子は、第1の偏光を有する前記第2の画像ストリームに対して透過性であり、
前記他の内部結合格子から離間され、かつそれに面したミラーをさらに備え、前記ミラーは、前記第2の画像ストリームを前記他の内部結合格子に向かって反射させながら、また、前記第2の画像ストリームの光の偏光を第2の偏光に変化させるように構成され、前記他の内部結合格子は、前記第2の偏光の光を内部結合するように構成される、
項目73に記載のディスプレイシステム。
(項目75)
前記導波管は、光を前記導波管に内部結合するように構成される他の内部結合格子を備え、前記他の内部結合格子は、前記内部結合格子と前記導波管の同一表面に沿って配置され、前記内部結合格子は、前記第2の画像ストリームの経路内に配置され、前記他の内部結合格子は、前記第1の画像ストリームの経路内に配置される、項目71に記載のディスプレイシステム。
(項目76)
光を異なる方向に伝搬する複数の画像ストリームに分割するためのビーム分割光学系をさらに備える、項目66に記載のディスプレイシステム。
(項目77)
前記ビーム分割光学系は、偏光ビームスプリッタである、項目76に記載のディスプレイシステム。
前記ビーム分割光学系は、切替可能反射体であり、前記切替可能反射体は、反射性状態と透過性状態との間で選択的に切替可能である、項目76に記載のディスプレイシステム。
(項目78)
画像をユーザの眼に投影させるためのディスプレイシステムであって、前記ディスプレイシステムは、
画像源であって、前記画像源は、第1の偏光における第1の画像ストリームと関連付けられた第1の光ビームと、前記第1の偏光と異なる第2の偏光における第2の画像ストリームと関連付けられた第2の光ビームとを投影するように構成され、前記第1の画像ストリームは、第1の視野を有し、前記第2の画像ストリームは、前記第1の視野より狭い第2の視野を有し、前記第1の光ビームおよび前記第2の光ビームは、多重化される、画像源と、
偏光ビームスプリッタであって、前記偏光ビームスプリッタは、
前記第1の画像ストリームを前記ユーザの眼に対して固定位置に位置付けるために、前記第1の光ビームを受光し、第1の光学経路に沿って視認アセンブリに向かって反射させることと、
前記第2の光ビームを受光し、第2の光学経路に沿って透過させることと
を行うように構成される、偏光ビームスプリッタと、
前記第2の光学経路に沿って配置され、前記第2の光ビームを受光し、前記視認アセンブリに向かって反射させるように構成される、走査ミラーと、
前記ユーザの眼の移動を検出するように構成される眼視線トラッカと、
前記眼視線トラッカおよび前記走査ミラーと通信する制御回路であって、前記制御回路は、前記第2の画像ストリームの位置が、前記ユーザの眼の検出された移動に従って移動されるように、前記走査ミラーを位置付けるように構成される、制御回路と
を備える、ディスプレイシステム。
(項目79)
前記第1の画像ストリームは、第1の角度分解能を有し、前記第2の画像ストリームは、前記第1の角度分解能より高い第2の角度分解能を有する、項目78に記載のディスプレイシステム。
(項目80)
前記第2の画像ストリームのコンテンツは、前記第1の画像ストリームのコンテンツの一部を備える、項目78に記載のディスプレイシステム。
(項目81)
前記第2の画像ストリームのコンテンツは、前記第2の画像ストリームのコンテンツが、前記第2の画像ストリームによってオーバーレイされた前記第1の画像ストリームの部分に対応するように、前記第2の画像ストリームが前記第1の画像ストリームに対して移動するにつれて変化する、項目80に記載のディスプレイシステム。
(項目82)
前記第1の偏光および前記第2の偏光はそれぞれ、線形偏光であり、前記第2の偏光は、前記第1の偏光に直交する、項目78に記載のディスプレイシステム。
(項目83)
第1の角度拡大率を前記第1の光ビームに提供するように構成される第1の中継レンズアセンブリをさらに備える、項目78に記載のディスプレイシステム。
(項目84)
第2の角度拡大率を前記第2の光ビームに提供するように構成される第2の中継レンズアセンブリであって、前記第2の角度拡大率は、前記第1の角度拡大率と異なる、第2の中継レンズアセンブリ
をさらに備える、項目83に記載のディスプレイシステム。
(項目85)
前記第1の角度拡大率は、1を上回り、前記第2の角度拡大率は、1以下である、項目84に記載のディスプレイシステム。
(項目86)
前記第1の中継レンズアセンブリは、前記画像源と前記偏光ビームスプリッタとの間に位置付けられる第1の光学レンズと、前記第1の光学経路に沿って位置付けられる第2の光学レンズとを備え、前記第1の光学レンズの焦点距離と前記第2の光学レンズの焦点距離の比率は、1を上回る、項目84に記載のディスプレイシステム。
(項目87)
前記第2の中継レンズアセンブリは、前記第1の光学レンズと、前記第2の光学経路に沿って位置付けられる、第3の光学レンズとを備え、前記第1の光学レンズの焦点距離と前記第3の光学レンズの焦点距離の比率は、1以下である、項目86に記載のディスプレイシステム。
(項目88)
前記第1の光ビームおよび前記第2の光ビームは、時分割多重化され、
前記画像源は、切替偏光回転子を備え、前記切替偏光回転子は、前記第1の偏光における第1の光ビームと、前記第2の偏光における第2の光ビームとを提供するように構成される、項目78に記載のディスプレイシステム。
(項目89)
前記第1の光ビームおよび前記第2の光ビームは、偏光分割多重化される、項目78に記載のディスプレイシステム。
(項目90)
画像をユーザの眼に投影させるためのディスプレイシステムであって、前記ディスプレイシステムは、
第1の画像ストリームと関連付けられた第1の光ビームと、第2の画像ストリームと関連付けられた第2の光ビームとを投影するように構成される画像源であって、前記第1の画像ストリームは、第1の視野を有し、前記第2の画像ストリームは、前記第1の視野より狭い第2の視野を有し、前記第1の光ビームおよび前記第2の光ビームは、多重化される、画像源と、
前記第1の画像ストリームおよび前記第2の画像ストリームを投影させるために、前記第1の光ビームおよび前記第2の光ビームを受光し、視認アセンブリに向かって反射させるように構成される走査ミラーと、
前記ユーザの眼の移動を検出するように構成される眼視線トラッカと、
前記眼視線トラッカおよび前記走査ミラーと通信する制御回路であって、前記制御回路は、前記第1の画像ストリームの位置および前記第2の画像ストリームの位置が、前記ユーザの眼の検出された移動に従って移動されるように、前記走査ミラーを位置付けるように構成される、制御回路と、
前記第1の光ビームおよび前記第2の光ビームの光学経路内に配置される切替可能光学要素であって、前記切替可能光学要素は、前記第1の光ビームが第1の角度拡大率によって角度的に拡大されるように、前記第1の光ビームのための第1の状態に切り替えられ、前記第2の光ビームが前記第1の角度拡大率未満である第2の角度拡大率によって角度的に増幅されるように、前記第2の光ビームのための第2の状態に切り替えられるように構成される、切替可能光学要素と
を備える、ディスプレイシステム。
(項目91)
前記第1の光ビームおよび前記第2の光ビームは、時分割多重化され、前記切替可能光学要素は、電気的に切替可能な液晶レンズを備える、項目90に記載のディスプレイシステム。
(項目92)
前記第1の光ビームおよび前記第2の光ビームは、偏光分割多重化され、前記切替可能光学要素は、多焦点複屈折レンズを備える、項目90に記載のディスプレイシステム。
(項目93)
前記多焦点複屈折レンズは、複屈折ポリマーを備える、項目92に記載のディスプレイシステム。
(項目94)
前記切替可能光学要素は、前記走査ミラーの下流に配置される、項目90に記載のディスプレイシステム。
(項目95)
前記切替可能光学要素は、前記走査ミラーの表面上に配置される、項目90に記載のディスプレイシステム。
(項目96)
前記切替可能光学要素は、前記画像源と前記走査ミラーとの間に配置される、項目90に記載のディスプレイシステム。
(項目97)
前記第1の角度拡大率は、1を上回り、前記第2の角度拡大率は、約1である、項目90に記載のディスプレイシステム。
(項目98)
ウェアラブルディスプレイシステムであって、
円偏光掌性依存拡大率を伴う無限焦点拡大レンズであって、前記無限焦点拡大レンズは、
第1の固定焦点距離レンズ要素と、
入射円偏光の第1の掌性のための正の屈折力を呈し、かつ入射円偏光の第2の掌性のための負の屈折力を呈する、第1の幾何学的位相レンズと、
第2の幾何学的位相レンズと
を備える、無限焦点拡大レンズ
を備える、ウェアラブルディスプレイシステム。
(項目99)
光を透過させる際、前記第1の幾何学的位相レンズは、円偏光掌性を逆転させ、
前記第2の幾何学的位相レンズは、前記円偏光の第1の掌性のための負の屈折力を呈し、前記円偏光の第2の掌性のための正の屈折力を呈する、
項目98に記載のウェアラブルディスプレイシステム。
(項目100)
第2の固定焦点距離レンズをさらに備え、前記第2の幾何学的位相レンズは、前記円偏光の第1の掌性のための正の屈折力を呈し、前記円偏光の第2の掌性のための負の屈折力を呈する、項目98に記載のウェアラブルディスプレイシステム。
(項目101)
光を透過させる際、前記第1の幾何学的位相レンズは、円偏光掌性を逆転させる、項目98に記載のウェアラブルディスプレイシステム。
(項目102)
前記第1の固定焦点距離レンズ要素および前記第1の幾何学的位相レンズをレンズグループとして見なすと、前記第1の掌性を有する光に関して、前記レンズグループは、第1のグループの正の焦点距離を有し、前記第2の掌性を有する光に関して、前記レンズグループは、第2のグループの正の焦点距離を有し、前記第1のグループの正の焦点距離は、前記第2のグループの正の焦点距離を超える、項目98に記載のウェアラブルディスプレイシステム。
(項目103)
前記無限焦点拡大レンズに光学的に結合される偏光回転子であって、前記偏光回転子は、偏光を受光し、第1の線形偏光または第2の線形偏光の光を選択的に出力するように構成される、偏光回転子と、
前記偏光回転子と前記無限焦点拡大レンズとの間の第1の波長板であって、前記第1の波長板は、前記第1の線形偏光の光を前記第1の掌性の円偏光に変換し、前記第2の線形偏光の光を前記第2の掌性の円偏光に変換するように構成される、第1の波長板と
をさらに備える、項目98に記載のウェアラブルディスプレイシステム。
(項目104)
前記第1の線形偏光の光のための前記偏光回転子と前記第1の波長板との間の第1の光学経路と、
前記第2の線形偏光の光のための前記偏光回転子と前記第1の波長板との間の第2の光学経路と
を含む、項目103に記載のウェアラブルディスプレイシステム。
(項目105)
前記第1の光学経路および前記第2の光学経路のうちの少なくとも1つは、操向可能ミラーを含む、項目104に記載のウェアラブルディスプレイシステム。
(項目106)
前記第1の光学経路および前記第2の光学経路はそれぞれ、複数の中継レンズ要素の少なくともサブセットを含む、項目104に記載のウェアラブルディスプレイシステム。
(項目107)
前記第1の光学経路および前記第2の光学経路のそれぞれ内では、前記複数の中継レンズ要素の連続対が、無限焦点複合レンズを形成する、項目103に記載のウェアラブルディスプレイシステム。
(項目108)
前記第1の光学経路は、偏光選択的反射体に交差し、前記第2の光学経路は、前記偏光選択的反射体に交差する、項目104に記載のウェアラブルディスプレイシステム。
(項目109)
前記第1の光学経路および前記第2の光学経路はそれぞれ、4つの中継レンズ要素の少なくともサブセットを含み、前記4つの中継レンズ要素は、前記偏光選択的反射体を中心として位置付けられる、項目108に記載のウェアラブルディスプレイシステム。
(項目110)
前記第1の光学経路は、第1の方向において、前記偏光選択的反射体に交差し、前記第2の光学経路は、第2の方向において、前記偏光選択的反射体に交差する、項目108に記載のウェアラブルディスプレイシステム。
(項目111)
前記第1の光学経路および前記第2の光学経路のうちの少なくとも1つは、第2の波長板と、第3の波長板とを含む、項目108に記載のウェアラブルディスプレイシステム。(項目112)
ウェアラブル画像プロジェクタのための光学サブシステムであって、
偏光選択的反射体と、
前記偏光選択的反射体を中心として位置付けられる4つのレンズ要素のセットと
を備える、光学サブシステム。
(項目113)
前記4つのレンズ要素のセットの各連続対は、前記サブシステムを通した少なくとも1つの光学経路に沿って、無限焦点複合レンズを形成する、項目112に記載の光学サブシステム。
(項目114)
前記偏光選択的反射体および前記4つのレンズ要素のセットに光学的に結合される偏光回転スイッチをさらに備える、項目112に記載の光学サブシステム。
(項目115)
前記偏光選択的反射体を中心として位置付けられる複数の波長板をさらに備える、項目114に記載の光学サブシステム。
(項目116)
前記複数の波長板はそれぞれ、前記4つの中継レンズ要素のセットのうちの1つと前記偏光選択的反射体との間に位置付けられる、項目115に記載の光学サブシステム。
(項目117)
前記複数の波長板は、3つの波長板を含む、項目115に記載の光学サブシステム。
(項目118)
前記偏光選択的反射体から前記4つの中継レンズのセットの第1のものと反対側上に位置付けられる中心窩追跡ミラーをさらに備える、項目115に記載の光学サブシステム。
(項目119)
前記偏光選択的反射体から前記4つの中継レンズのセットの第2のものと反対側上に位置付けられる画像走査ミラーをさらに備える、項目118に記載の光学サブシステム。
(項目120)
前記画像走査ミラーに光学的に結合される光ビーム源をさらに備える、項目119に記載の光学サブシステム。
(項目121)
前記光ビーム源は、ダイクロイック反射体と、前記ダイクロイック反射体によって反射された第1の色の光を放出する第1のレーザダイオードと、前記ダイクロイック反射体によって透過された第2の色の光を放出する第2のレーザダイオードとを備える、項目120に記載の光学サブシステム。
(項目122)
画像をユーザの眼に投影させるためのディスプレイシステムであって、前記ディスプレイシステムは、
接眼レンズであって、前記接眼レンズは、
導波管と、
前記導波管に光学的に結合される内部結合格子と
を含む、接眼レンズと、
第1の画像ストリームと関連付けられた第1の光ビームを投影するように構成される第1の画像源であって、前記第1の画像ストリームは、前記内部結合格子の第1の表面上に入射する第1の視野を有し、前記第1の光ビームの一部は、前記第1の画像ストリームを前記ユーザの眼に対して固定位置に位置付けるために、前記内部結合格子によって、前記導波管の中に結合される、第1の画像源と、
第2の画像ストリームと関連付けられた第2の光ビームを投影するように構成される第2の画像源であって、前記第2の画像ストリームは、前記第1の視野より狭い第2の視野を有する、第2の画像源と、
走査ミラーであって、前記走査ミラーは、前記第2の光ビームが、その前記第1の表面と反対の前記内部結合格子の第2の表面上に入射するように、前記第2の光ビームを受光し、反射させるように構成され、前記第2の光ビームの一部は、前記内部結合格子によって、前記導波管の中に結合される、走査ミラーと、
前記ユーザの眼の移動を検出するように構成される眼視線トラッカと、
前記眼視線トラッカおよび前記走査ミラーと通信する制御回路であって、前記制御回路は、前記第2の画像ストリームの位置が、前記ユーザの眼の検出された移動に従って移動されるように、前記走査ミラーを位置付けるように構成される、制御回路と
を備える、ディスプレイシステム。
(項目123)
第1のレンズアセンブリをさらに備え、前記第1のレンズアセンブリは、前記第1の光ビームの第1の光学経路に沿って位置付けられ、第1の角度拡大率を前記第1の光ビームに提供するように構成される、項目122に記載のディスプレイシステム。
(項目124)
第2のレンズアセンブリをさらに備え、前記第2のレンズアセンブリは、前記第2の光ビームの第2の光学経路に沿って位置付けられ、第2の角度拡大率を前記第2の光ビームに提供するように構成され、前記第2の角度拡大率は、前記第1の角度拡大率と異なる、項目123に記載のディスプレイシステム。
(項目125)
前記第1の角度拡大率は、1を上回り、前記第2の角度拡大率は、1以下である、項目124に記載のディスプレイシステム。
(項目126)
前記第1の画像ストリームは、第1の角度分解能を有し、前記第2の画像ストリームは、前記第1の角度分解能より高い第2の角度分解能を有する、項目122に記載のディスプレイシステム。
(項目127)
画像をユーザの眼に投影させるためのディスプレイシステムであって、前記ディスプレイシステムは、
接眼レンズであって、前記接眼レンズは、
導波管と、
前記導波管に光学的に結合される内部結合格子と
を含む、接眼レンズと、
画像源であって、前記画像源は、第1の偏光における第1の画像ストリームと関連付けられた第1の光ビームと、前記第1の偏光と異なる第2の偏光における第2の画像ストリームと関連付けられた第2の光ビームとを投影するように構成され、前記第1の画像ストリームは、第1の視野を有し、前記第2の画像ストリームは、前記第1の視野より狭い第2の視野を有し、前記第1の光ビームおよび前記第2の光ビームは、多重化される、画像源と、
偏光ビームスプリッタであって、前記偏光ビームスプリッタは、
前記第1の光ビームを受光し、第1の光学経路に沿って反射させることと、
前記第2の光ビームを受光し、第2の光学経路に沿って透過させることと
を行うように構成される、偏光ビームスプリッタと、
第1の光学反射体であって、前記第1の光学反射体は、前記第1の光学経路に沿って位置付けられ、前記第1の光ビームが、前記内部結合格子の第1の表面上に入射するように、前記第1の光ビームを受光し、反射させるように構成され、前記第1の光ビームの一部は、前記第1の画像ストリームを前記ユーザの眼に対して固定位置に位置付けるために、前記内部結合格子によって、前記導波管の中に結合される、第1の光学反射体と、
前記第2の光学経路に沿って配置され、前記第2の光ビームを受光し、反射させるように構成される走査ミラーと、
第2の光学反射体であって、前記第2の光学反射体は、前記走査ミラーの下流の前記第2の光学経路に沿って位置付けられ、前記第2の光学反射体は、前記第2の光ビームが、その前記第1の表面と反対の前記内部結合格子の第2の表面上に入射するように、前記第2の光ビームを受光し、反射させるように構成され、前記第2の光ビームの一部は、前記内部結合格子によって、前記導波管の中に結合される、第2の光学反射体と、
前記ユーザの眼の移動を検出するように構成される眼視線トラッカと、
前記眼視線トラッカおよび前記走査ミラーと通信する制御回路であって、前記制御回路は、前記第2の画像ストリームの位置が、前記ユーザの眼の検出された移動に従って移動されるように、前記走査ミラーを位置付けるように構成される、制御回路と
を備える、ディスプレイシステム。
(項目128)
画像をユーザの眼に投影させるためのディスプレイシステムであって、前記ディスプレイシステムは、
導波管と、
画像源であって、前記画像源は、第1の偏光における第1の画像ストリームと関連付けられた第1の光ビームと、前記第1の偏光と異なる第2の偏光における第2の画像ストリームと関連付けられた第2の光ビームとを投影するように構成され、前記第1の画像ストリームは、第1の視野を有し、前記第2の画像ストリームは、前記第1の視野より狭い第2の視野を有し、前記第1の光ビームおよび前記第2の光ビームは、多重化される、画像源と、
偏光ビームスプリッタであって、前記偏光ビームスプリッタは、
前記第1の光ビームを受光し、第1の光学経路に沿って反射させることと、
前記第2の光ビームを受光し、第2の光学経路に沿って透過させることと
を行うように構成される、偏光ビームスプリッタと、
前記第1の光学経路に沿って、前記導波管の第1の表面に隣接して位置付けられる第1の内部結合プリズムであって、前記第1の内部結合プリズムは、前記第1の画像ストリームを前記ユーザの眼に対して固定位置に位置付けるために、前記第1の光ビームの一部を前記導波管の中に結合するように構成される、第1の内部結合プリズムと、
前記第2の光学経路に沿って配置され、前記第2の光ビームを受光し、反射させるように構成される走査ミラーと、
前記走査ミラーの下流の前記第2の光学経路に沿って、前記導波管の前記第1の表面と反対の前記導波管の第2の表面に隣接して位置付けられる第2の内部結合プリズムであって、前記第2の内部結合プリズムは、前記第2の光ビームの一部を前記導波管の中に結合するように構成される、第2の内部結合プリズムと、
前記ユーザの眼の移動を検出するように構成される眼視線トラッカと、
前記眼視線トラッカおよび前記走査ミラーと通信する制御回路であって、前記制御回路は、前記第2の画像ストリームの位置が、前記ユーザの眼の検出された移動に従って移動されるように、前記走査ミラーを位置付けるように構成される、制御回路と
を備える、ディスプレイシステム。
図1は、ARデバイスを通した拡張現実(AR)のユーザのビューを図示する。
図2は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。
図3A-3Cは、曲率半径と焦点半径との間の関係を図示する。
図4Aは、ヒト視覚系の遠近調節(accmmodation)-輻輳・開散運動(vergence)応答の表現を図示する。
図4Bは、一対のユーザの眼の異なる遠近調節状態および輻輳・開散運動状態の実施例を図示する。
図4Cは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の実施例を図示する。
図4Dは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。
図5は、波面発散を修正することによって3次元画像をシミュレートするためのアプローチの側面を図示する。
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。
図7は、導波管によって出力された出射ビームの実施例を図示する。
図8は、スタックされた導波管アセンブリの実施例を図示し、各深度平面は、複数の異なる原色を使用して形成される画像を含む。
図9Aは、それぞれ、内部結合光学要素を含む、スタックされた導波管のセットの実施例の断面側面図を図示する。
図9Bは、図9Aの複数のスタックされた導波管の実施例の斜視図を図示する。
図9Cは、図9Aおよび9Bの複数のスタックされた導波管の実施例の上下平面図を図示する。
図9Dは、ウェアラブルディスプレイシステムの実施例を図示する。
図10Aは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の実施例を図示する。
図10Bは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。
図10Cは、ディスプレイシステムを介してコンテンツを視認するユーザの上下図の表現のさらに別の実施例を図示する。
図10Dは、例示的ディスプレイシステムのブロック図である。
図11A1は、3次元固視点追跡に基づく、異なる分解能調節ゾーン内の分解能における調節の上下図の表現の実施例を図示する。
図11A2は、ゾーンのサイズおよび数が変化するにつれた異なる時間における、分解能調節ゾーンの上下図の表現の実施例を図示する。
図11Bは、図11A1の分解能調節ゾーンの一部の3次元表現の実施例を図示する。
図11Cは、分解能調節ゾーンのための構成の別の実施例を図示する。
図11Dは、図11Cの分解能調節ゾーンの3次元表現の実施例を図示する。
図11Eは、図11Cの分解能調節ゾーンの3次元表現の別の実施例を図示する。
図12A-12Cは、3次元固視点との近接度に従ってコンテンツの分解能を調節するためのプロセスの実施例の略図を示す。 図12A-12Cは、3次元固視点との近接度に従ってコンテンツの分解能を調節するためのプロセスの実施例の略図を示す。 図12A-12Cは、3次元固視点との近接度に従ってコンテンツの分解能を調節するためのプロセスの実施例の略図を示す。
図13は、ユーザの通視線と整合される複数の仮想オブジェクトを視認するユーザの表現の実施例を図示する。
図14は、ユーザの視線との角度近接度に基づいて仮想コンテンツを調節するためのプロセスの実施例の略図である。
図15は、ユーザの眼の網膜の表現の実施例を図示する。
図16は、図15の網膜を横断した分解能および桿体および錐体密度の実施例を図式的に図示する。
図17は、瞳孔サイズとユーザの眼上に入射する光の量との間の関係の実施例を図式的に図示する。
図18は、ユーザの眼上に入射する光の量に基づいて仮想コンテンツを調節するためのプロセスの実施例の略図である。
図19は、眼上に入射する光の量が変化するにつれたユーザの眼によって検出可能な分解能の変化の実施例を図式的に図示する。
図20は、異なるレベルの照明における異なる色の光に対する眼の感度における差異の実施例を図式的に図示する。
図21は、複数の原色画像を使用して形成される仮想コンテンツを調節するためのプロセスの実施例の略図であって、分解能調節は、原色画像の色に基づいて行われる。
図22A-22Cは、ユーザの眼上に入射する光の量が減少するにつれて変化するコントラスト感度の実施例を図示する。
図23は、ユーザの眼の視神経および周辺盲点の表現の実施例を図示する。
図24は、ヒトの眼に関する例示的単眼視野を示す。
図25Aは、仮想コンテンツをユーザに提供するように構成される、例示的ウェアラブルディスプレイデバイスを示す。
図25Bは、拡張現実システムを描写する、ブロック図である。
図25Cは、デジタルまたは仮想画像を視認者に提示するために使用され得る、視認光学アセンブリ(VOA)内の光経路を図式的に図示する。
図26A-26Dは、使用されることになる例示的レンダリング視点および2つの例示的眼配向毎にARシステム内で生産されることになるライトフィールドを図示する。 図26A-26Dは、使用されることになる例示的レンダリング視点および2つの例示的眼配向毎にARシステム内で生産されることになるライトフィールドを図示する。 図26A-26Dは、使用されることになる例示的レンダリング視点および2つの例示的眼配向毎にARシステム内で生産されることになるライトフィールドを図示する。 図26A-26Dは、使用されることになる例示的レンダリング視点および2つの例示的眼配向毎にARシステム内で生産されることになるライトフィールドを図示する。
図26E-26Fは、ユーザに提示され得る画像の例示的構成を図式的に図示する。 図26E-26Fは、ユーザに提示され得る画像の例示的構成を図式的に図示する。
図26G-26Hは、ユーザに提示され得る画像の例示的構成を図式的に図示する。 図26G-26Hは、ユーザに提示され得る画像の例示的構成を図式的に図示する。
図27は、図25に示されるようなウェアラブルディスプレイデバイス内のディスプレイのうちの1つ上にオーバーレイされる、図24に示されるような視野および動眼視野を図示する。
図28A-28Bは、図26A-26Dに説明される原理のうちのいくつかを図示する。 図28A-28Bは、図26A-26Dに説明される原理のうちのいくつかを図示する。
図28C-28Dは、ユーザに提示され得るいくつかの例示的画像を図示する。 図28C-28Dは、ユーザに提示され得るいくつかの例示的画像を図示する。
図28Eは、例示的高FOV低分解能画像フレームを図示する。
図28Fは、例示的低FOV高分解能画像フレームを図示する。
図29Aは、ディスプレイシステムの簡略化されたブロック図を示す。
図29Bは、拡張現実(AR)システムの断面図を図式的に図示する。
図30A-30Bは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図30A-30Bは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図30Cは、拡張現実(AR)システムの断面図を図式的に図示する。
図30Dは、ディスプレイシステムの簡略化されたブロック図を示す。
図31Aは、図30A-30Bに図示されるディスプレイシステム内の第1の中継レンズアセンブリの動作原理を図式的に図示する。
図31Bは、図30A-30Bに図示されるディスプレイシステム内の第2の中継レンズアセンブリの動作原理を図式的に図示する。
図31C-31Dは、ディスプレイシステムを図式的に図示する。 図31C-31Dは、ディスプレイシステムを図式的に図示する。
図32A-32Cは、ディスプレイシステムを図式的に図示する。 図32A-32Cは、ディスプレイシステムを図式的に図示する。 図32A-32Cは、ディスプレイシステムを図式的に図示する。
図33A-33Bは、ディスプレイシステムを図式的に図示する。 図33A-33Bは、ディスプレイシステムを図式的に図示する。
図34A-34Bは、ディスプレイシステムを図式的に図示する。 図34A-34Bは、ディスプレイシステムを図式的に図示する。
図35は、ディスプレイシステムを図式的に図示する。
図36Aは、拡張現実接眼ディスプレイシステムを図式的に図示する。
図36Bは、別の拡張現実接眼ディスプレイシステムを図式的に図示する。
図37Aは、2倍率無限焦点拡大レンズの略図である。
図37Bは、二重焦点拡大無限焦点拡大レンズの略図である。
図38A-38Bは、ユーザに提示され得る画像の例示的構成を図式的に図示する。
図39A-39Bは、ユーザに提示され得るいくつかの例示的画像を図示する。 図39A-39Bは、ユーザに提示され得るいくつかの例示的画像を図示する。
図40A-40Dは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図40A-40Dは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図40A-40Dは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図40A-40Dは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図41A-41Dは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図41A-41Dは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図41A-41Dは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図41A-41Dは、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図42は、時分割多重化される、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームのための例示的フレーム構造を図示する。
図43は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図44は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図45は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図46は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図47は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図48は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図49は、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図50は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図51は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図52A-52Bは、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図52A-52Bは、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
図53A-53Bは、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。 図53A-53Bは、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステムを図式的に図示する。
拡張および仮想ディスプレイシステムのための仮想コンテンツをレンダリングすることは、算出上集約的である。とりわけ、算出強度は、望ましくないことに、大量のメモリを使用し、長待ち時間を生じさせ得、および/または高コストおよび/または高エネルギー消費を有し得る、強力な処理ユニットの使用を要求し得る。
いくつかの実施形態では、方法およびシステムは、ユーザの眼の固視点から離れた場所に位置付けられる仮想コンテンツの分解能を低減させることによって、メモリおよび処理時間等の算出リソースを節約する。例えば、システムは、ユーザの眼の固視点またはそれに近接する仮想コンテンツを相対的高(例えば、最高)分解能でレンダリングし得る一方、固視点から離れた仮想コンテンツに関しては、1つ以上のより低い分解能を利用する。仮想コンテンツは、仮想コンテンツを複数の異なる深度(例えば、2つ以上の深度平面等の複数の異なる深度平面)上に表示し得る、ディスプレイシステムによって提示され、分解能における低減は、好ましくは、少なくともz-軸に沿って生じ、z-軸は、深度軸(ユーザから離れた距離に対応する)である。いくつかの実施形態では、分解能低減は、z-軸とxおよびy軸の一方または両方に沿って生じ、x-軸は、側方軸であって、y-軸は、垂直軸である。
仮想コンテンツの適切な分解能を決定することは、3次元空間内のユーザの眼の固視点を決定するステップを含み得る。例えば、固視点は、その上にユーザの眼が固視される、ユーザの視野内のx、y、z座標であり得る。ディスプレイシステムは、分解能における差異を有する仮想オブジェクトを提示するように構成されてもよく、分解能は、仮想オブジェクトと固視点の近接度の減少に伴って減少し、換言すると、分解能は、固視点からの距離の増加に伴って減少する。
本明細書に議論されるように、ディスプレイシステムは、仮想オブジェクトをディスプレイシステムのディスプレイ錐台内に提示してもよく、仮想オブジェクトは、異なる深度平面上に提示されることが可能である。いくつかの実施形態では、ディスプレイ錐台は、ディスプレイシステムによって提供される視野であって、それにわたって、ディスプレイシステムは、仮想コンテンツをディスプレイシステムのユーザに提示するように構成される。ディスプレイシステムは、仮想コンテンツ(例えば、仮想オブジェクト、グラフィック、テキスト等)を提示し得る、1つ以上の導波管を含む、頭部搭載型ディスプレイシステムであってもよく、1つ以上の導波管は、異なる波面発散および/または異なる深度平面に対応する(例えば、ユーザからの特定の距離に対応する)異なる双眼相違を伴う光を出力するように構成される。各眼は、関連付けられた1つ以上の導波管を有してもよいことを理解されたい。異なる波面発散および/または異なる双眼相違を使用して、ディスプレイシステムは、第1の仮想オブジェクトをユーザの視野内の第1の深度に位置するように現れさせる一方、第2の仮想オブジェクトをユーザの視野内の第2の深度に位置するように現れさせ得る。いくつかの実施形態では、固視点の深度平面またはその近接深度平面が、決定され得、他の深度平面上のコンテンツの分解能は、それらの深度平面から固視点が配置される深度平面までの距離に基づいて低減され得る。本明細書の仮想コンテンツの深度(z-軸上のユーザからの仮想コンテンツの距離)の言及は、ユーザに見られることが意図されるような仮想コンテンツの見掛け深度を指すことを理解されたい。いくつかの実施形態では、仮想オブジェクトの深度は、仮想オブジェクトのものに類似する波面発散および/または双眼相違を有する、実オブジェクトのユーザからの距離と理解され得る。
仮想オブジェクトと固視点の近接度は、種々の測定によって決定され得、その非限定的実施例は、固視点と仮想オブジェクトとの間の距離の決定、固視点によって占有される分解能調節ゾーンに対する仮想オブジェクトによって占有される分解能調節ゾーンの決定(ユーザの視野が、下記に説明されるように、分解能調節ゾーンに細分割される、実施形態において)、および仮想オブジェクトとユーザの固視点の角度近接度の決定を含むことを理解されたい。近接度はまた、上記の技法の組み合わせを使用して決定されてもよい。例えば、第1のゾーン(仮想オブジェクトが位置する)と第2のゾーン(固視点が位置する)の距離および/または角度近接度が、近接度を決定するために使用されてもよい。これらの種々の測定は、下記にさらに議論される。
いくつかの実施形態では、固視点を決定するステップは、ユーザの眼の固視点を予期し、予期される固視点を仮想コンテンツの分解能を決定するための固視点として利用するステップを含んでもよい。例えば、ディスプレイシステムは、ユーザの眼がそのコンテンツを固視するであろう予期に伴って、特定のコンテンツを比較的に高分解能でレンダリングしてもよい。実施例として、ヒト視覚系は、場面の急変(例えば、突然の運動、輝度の変化等)に敏感であり得ることを理解されたい。いくつかの実施形態では、ディスプレイシステムは、仮想コンテンツが、ユーザの眼にそれを固視させるであろうタイプ(例えば、他の仮想および実オブジェクトが静止している場面内に運動を伴う)であることを決定し、次いで、ユーザの眼が、続いて、その仮想コンテンツに合焦するであろう予期に伴って、その仮想コンテンツを高分解能でレンダリングしてもよい。
上記に述べられたように、いくつかの実施形態では、決定された固視点から仮想オブジェクトまでの距離は、3次元内に延在する距離に対応し得る。実施例として、決定された固視点とユーザから同一深度(例えば、同一深度平面)上に位置するが、固視点から水平にまたは縦方向に位置する、第1の仮想オブジェクトも同様に、第2の仮想オブジェクトが決定された固視点からより遠い深度(例えば、より遠い深度平面)に位置するため、分解能において同様に低減されてもよい。その結果、異なる分解能は、固視点からの異なる距離と関連付けられ得る。
いくつかの実施形態では、ユーザの周囲の環境は、空間の体積(本明細書では、分解能調節ゾーンとも称される)に分割されてもよく、同一分解能調節ゾーン内の仮想オブジェクトの分解能は、類似する。分解能調節ゾーンは、本明細書に説明されるように、恣意的3次元形状、例えば、立方体、または他の3次元多角形形状、または湾曲3次元形状を有してもよい。いくつかの実施形態では、全ての分解能調節ゾーンは、類似形状、例えば、直方体または球状を有する。いくつかの他の実施形態では、異なる分解能調節ゾーンは、異なる形状またはサイズを有してもよい(例えば、体積の形状および/またはサイズは、固視点からの距離に伴って変化し得る)。
いくつかの実施形態では、分解能調節ゾーンは、ユーザの視野の一部である。例えば、ユーザの視野は、分解能調節ゾーンを形成する空間の体積に分離され得る。いくつかの実施形態では、各深度平面は、1つ以上の連続的空間の体積、すなわち、1つ以上の分解能調節ゾーンに細分割され得る。いくつかの実施形態では、各分解能調節ゾーンは、ユーザからの深度の特定の範囲(例えば、深度平面値+/-ある分散であって、分散の実施例は、0.66dpt、0.50dpt、0.33dpt、または0.25dptを含む)と、特定の側方および特定の垂直距離とを包含し得る。決定された固視点と同一分解能調節ゾーン内に位置する仮想オブジェクトは、高(例えば、完全)分解能で提示(例えば、レンダリング)され得る一方、固視点の分解能調節ゾーン外の空間の体積に位置する仮想オブジェクトは、固視点の空間の体積からの体積の距離に従って、より低い分解能でレンダリングされ得る。いくつかの実施形態では、各分解能調節ゾーンは、特定の分解能(例えば、完全分解能に対する分解能における特定の低減)を割り当てられ得、所与のゾーン内に入る仮想コンテンツは、そのゾーンのための関連付けられた分解能でレンダリングされ得る。いくつかの実施形態では、ある体積と固視点によって占有される体積との間の距離が、決定され得、分解能は、本距離に基づいて設定され得る。
有利には、ユーザの視野を分割するために利用される、分解能調節ゾーンの数およびサイズは、ユーザの決定された固視点における信頼度に従って修正され得る。例えば、各空間の体積と関連付けられたサイズは、ユーザの視線が3次元空間内の精密な点上に輻輳していることの信頼度に基づいて増加または減少されてもよい。固視点における信頼度が、高い場合、ディスプレイシステムは、あるコンパクト分解能調節ゾーン内の仮想オブジェクトのみを相対的高分解能(固視点を含む、コンパクト分解能調節ゾーン)で提示し得る一方、他の仮想オブジェクトの分解能を低減させ、したがって、処理電力を節約する。しかしながら、信頼度が、低い場合、ディスプレイシステムは、各空間の体積がより多数の仮想オブジェクトを固視点の空間の体積内に包含するように、各空間の体積のサイズを増加させ得る(例えば、体積の全体的数を低減させる)。体積のサイズおよび形状は、ディスプレイシステムの生産の間、例えば、固視点を決定するためのシステムにおいて予期される公差に基づいて、固定されてもよい、および/またはユーザの特性、ユーザの環境、および/または固視点を決定するためのシステムのための公差を変更するソフトウェアの変更に応じて、現場で調節または設定されてもよいことを理解されたい。
分解能に対するユーザの感度は、固視点からの距離に伴って減少し得ることを理解されたい。その結果、完全分解能コンテンツが固視点に提示されることを確実にすることによって、および固視点が位置する場所に関する誤差の許容差を可能にすることによって、分解能における低減の知覚能力が、低減または排除され、それによって、そのような高分解能ディスプレイのためのコンテンツを提示するために典型的に要求される算出リソースを利用せずに、高分解能ディスプレイの知覚を提供し得る。
いくつかの実施形態では、仮想オブジェクトと固視点の近接度は、仮想オブジェクトとユーザの視線の角度近接度に基づいて決定されてもよく、仮想オブジェクトの分解能は、角度近接度が減少するにつれて減少し得る。いくつかの実施形態では、これは、ユーザから異なる深度に位置する仮想オブジェクトが類似分解能で提示される結果をもたらし得る。例えば、ユーザの決定された固視点に対応する場所における第1の仮想オブジェクトは、第2の仮想オブジェクトの正面に位置し得る(例えば、深度がユーザにより近い)。第2の仮想オブジェクトは、ユーザの視線に沿ってあって、したがって、同様に、ユーザの眼が分解能の変化に最も敏感なユーザの中心窩上に入るであろうため、第2の仮想オブジェクトは、随意に、第1の仮想オブジェクトと類似(例えば、同一)分解能で提示されてもよい。随意に、第2の仮想オブジェクトは、分解能において低減され、第2の仮想オブジェクトがユーザからより遠い(例えば、より遠い深度平面上に位置する)ことを表し得る、ぼかしプロセスを介して、さらに調節されてもよい(例えば、ガウスぼかしカーネルが、第2の仮想オブジェクトとともに畳み込まれてもよい)。
分解能における低減は、仮想コンテンツがディスプレイシステムによって提示される方法に基づいて変動し得る。いくつかの実施形態では、本明細書では可変焦点ディスプレイシステムと称される、第1の例示的ディスプレイシステムは、仮想コンテンツを異なる深度平面上に提示し得、全てのコンテンツ(例えば、仮想オブジェクト)は、例えば、ユーザに提示されるフレーム毎に、一度に、同一深度平面に提示される(例えば、同一導波管を介して)。すなわち、可変焦点ディスプレイシステムは、単一深度平面(例えば、ユーザの固視点に基づいて、複数の深度平面から選択される、または特定の提示される仮想オブジェクトの深度に基づいて選択される)を一度に利用し、コンテンツを提示してもよく、深度平面を後続フレーム内で変化させてもよい(例えば、異なる深度平面を選択する)。いくつかの他の実施形態では、本明細書では多焦点ディスプレイシステムと称される、第2の例示的ディスプレイシステムは、仮想コンテンツを異なる深度平面上に提示してもよく、コンテンツは、同時に、複数の深度平面上に表示される。本明細書にさらに説明されるであろうように、可変焦点ディスプレイシステムは、随意に、単一フレームバッファを利用してもよく、第2の仮想オブジェクトをぼかすステップに関する上記の実施例に関して、第2の仮想オブジェクトは、単一フレームバッファからのユーザへの提示に先立ってぼかされてもよい。対照的に、多焦点ディスプレイシステムは、第2の仮想オブジェクトを、第1の仮想オブジェクトからより遠い深度上(例えば、より遠い深度平面上)に、随意に、低減された分解能において提示してもよく、第2の仮想オブジェクトは、ぼかされているようにユーザに現れ得る(例えば、第2の仮想オブジェクトは、さらなる処理を伴わずに、ユーザの眼の自然物理学に基づいてぼかされるであろう)。
本明細書に開示されるように、ディスプレイシステムは、決定された固視点またはその近傍における仮想オブジェクトを比較的に高(例えば、完全)分解能で提示してもよく、固視点からより遠い仮想オブジェクトを低減された分解能で提示してもよい。好ましくは、比較的に高分解能は、ユーザの視野内の仮想オブジェクトの提示のための最高分解能である。比較的に高分解能は、ディスプレイシステムの最大分解能、ユーザ選択可能分解能、仮想オブジェクトを提示する具体的コンピューティングハードウェアに基づく分解能等であってもよい。
仮想オブジェクトの分解能を調節するステップは、仮想オブジェクトの提示の品質を改変するための仮想オブジェクトに対する任意の修正を含んでもよいことを理解されたい。そのような修正は、グラフィック処理ユニット(GPU)のグラフィックパイプライン内の1つ以上の点における品質を調節するステップを含め、仮想オブジェクトのポリゴンカウントを調節するステップ、仮想オブジェクトを生成するために利用されるプリミティブを調節するステップ(例えば、プリミティブの形状を調節するステップ、例えば、プリミティブを三角形メッシュから四辺形メッシュに調節するステップ等)、仮想オブジェクト上で実施される動作を調節するステップ(例えば、シェーダ動作)、テクスチャ情報を調節するステップ、色分解能、または深度を調節するステップ、レンダリングサイクルの数またはフレームレートを調節するステップ等のうちの1つ以上のものを含んでもよい。
いくつかの実施形態では、xおよびy-軸上では、固視点から離れる仮想コンテンツの分解能の変化は、概して、ユーザの眼の網膜内の光受容体の分布の変化を追跡し得る。例えば、世界および仮想コンテンツのビューは、網膜の異なる部分がユーザの視野の異なる部分にマッピングされ得るように、網膜上に結像されてもよいことを理解されたい。有利には、ユーザの視野を横断した仮想コンテンツの分解能は、概して、網膜を横断した対応する光受容体(桿体または錐体)の密度を追跡し得る。いくつかの実施形態では、固視点から離れた分解能低減は、概して、網膜を横断した錐体の密度における低減を追跡し得る。いくつかの他の実施形態では、固視点から離れた分解能低減は、概して、網膜を横断した桿体の密度における低減を追跡し得る。いくつかの実施形態では、固視点から離れた分解能低減の傾向は、網膜を横断した桿体および/または錐体の密度における低減の傾向の±50%、±30%、±20%、または±10%以内であり得る。
桿体および錐体は、異なるレベルの入射において活性である。例えば、錐体は、比較的に明るい条件下で活性である一方、桿体は、比較的に低光量条件下で活性である。その結果、分解能における低減が、概して、網膜を横断した桿体または錐体の密度を追跡する、いくつかの実施形態では、ディスプレイシステムは、網膜上に入射する光の量を決定するように構成されてもよい。本光の量に基づいて、分解能における適切な調節が、行われ得る。例えば、分解能における低減は、概して、低光量条件下における網膜を横断した桿体の密度の変化を追跡し得る一方、分解能における低減は、概して、明るい条件下における錐体の密度の変化を追跡し得る。その結果、いくつかの実施形態では、ディスプレイシステムは、網膜上に入射する光の量に基づいて、画像分解能における低減のプロファイルを変化させるように構成されてもよい。
微細な詳細を分解するヒトの眼の能力は、網膜内の桿体または錐体の密度に正比例しない場合があることを理解されたい。いくつかの実施形態では、ユーザの視野を横断した仮想コンテンツの分解能の変化は、概して、微細な詳細を分解する眼の能力の変化を追跡する。上記に述べられたように、仮想コンテンツの分解能の変化の進度は、網膜に到達する光の量に伴って変動し得る。
いくつかの実施形態では、網膜に到達する光の量は、ディスプレイデバイス上に搭載されるセンサ上に入射する周囲光の量を検出することによって決定されてもよい。いくつかの実施形態では、網膜に到達する光の量を決定するステップはまた、ディスプレイデバイスによってユーザに出力された光の量によって決定するステップを含んでもよい。さらに他の実施形態では、網膜に到達する光の量は、ユーザの眼を結像し、瞳孔サイズを決定することによって決定されてもよい。瞳孔サイズは、網膜に到達する光の量に関連するため、瞳孔サイズを決定することは、網膜に到達する光の量が外挿されることを可能にする。
フルカラー仮想コンテンツは、全体として、フルカラーの知覚を提供する、複数の原色画像によって形成され得ることを理解されたい。ヒトの眼は、異なる波長または光の色に対して異なる感度を有し得る。いくつかの実施形態では、固視点との近接度に基づいて変化することに加え、仮想コンテンツの分解能の変化は、ディスプレイシステムによって提示される原色画像の色に基づいて変動し得る。例えば、原色画像が、赤色、緑色、および青色画像を備える場合、緑色原色画像は、青色原色画像より高い分解能を有し得る、赤色原色画像より高い分解能を有し得る。いくつかの実施形態では、異なるレベルの入射光における異なる色に対する眼の感度の変化を考慮するために、網膜に到達する光の量が、決定されてもよく、所与の原色画像のための分解能調節もまた、網膜に到達する光の量の決定に基づいて変動し得る。
眼のコントラスト感度もまた、網膜上に入射する光の量に基づいて変動し得ることを理解されたい。いくつかの実施形態では、仮想コンテンツ内のコントラストにおける階調のサイズまたは総数は、網膜に到達する光の量に基づいて変動し得る。いくつかの実施形態では、仮想コンテンツを形成する画像のコントラスト比は、網膜上に入射する光の量に基づいて変動し得、コントラスト比は、光の量の減少に伴って減少する。
いくつかの実施形態では、ユーザの視野のある部分は、任意の仮想コンテンツを提供されない場合がある。例えば、ディスプレイシステムは、所与の眼の視神経および/または周辺盲点によって生じる盲点内には、仮想コンテンツを提供しないように構成されてもよい。
本明細書に議論されるように、ディスプレイシステムは、高分解能コンテンツをユーザの視野の一部内に、より低い分解能コンテンツをユーザの視野の別の部分内に表示するように構成されてもよい。高分解能コンテンツは、より低い分解能コンテンツより高いピクセル密度を有し得ることを理解されたい。いくつかの環境では、ディスプレイシステムは、高分解能および低分解能画像を効果的に重畳することによって、そのような高および低分解能コンテンツを提供するように構成されてもよい。例えば、システムは、視野全体に及ぶ低分解能画像を表示し、次いで、視野の小部分に及ぶ高分解能画像を表示してもよく、高分解能画像は、低分解能画像の対応する部分と同一場所に位置する。高および低分解能画像は、光を適切な角度に出力し、それらの画像が占有する視野の量を決定する、異なる光学系を通してルーティングされ得る。
いくつかの実施形態では、単一空間光変調器(SLM)が、光を画像情報でエンコードするために使用されてもよく、ビームスプリッタまたは光学スイッチが、SLMからの単一光流を2つのストリームに分割するために使用されてもよく、1つのストリームは、低分解能画像のための光学系を通して伝搬し、第2のストリームは、高分解能画像のための光学系を通して伝搬する。いくつかの他の実施形態では、画像情報でエンコードされた光の偏光は、選択的に切り替えられ、異なる偏光の光のための異なる角度拡大率を効果的に提供し、それによって、高および低分解能画像を提供する、光学系を通して通過されてもよい。
有利には、本明細書に開示される種々の実施形態は、コンテンツをディスプレイシステム上に提供するための処理電力の要件を低減させる。処理電力のより大きい割当は、ユーザの3次元固視点に近接する仮想オブジェクトに費やされ得る一方、より遠い仮想オブジェクトのための処理電力は、低減され得るため、ディスプレイシステムのための全体的要求される処理電力は、低減され、したがって、処理コンポーネントのサイズ、処理コンポーネントによって生成された熱、およびディスプレイシステムのためのエネルギー要件(例えば、ディスプレイシステムは、随意に、バッテリ給電され、より低い容量バッテリを要求し、および/または所与のバッテリのために、より長い持続時間にわたって動作し得る)のうちの1つ以上のものを低減させ得る。したがって、本明細書に説明される実施形態は、拡張または仮想現実ディスプレイシステムから生じる技術的問題に対処する。加えて、説明される技法は、ユーザへの提示に応じて、グラフィカルコンテンツが、基本的に異なるように提示される(例えば、分解能が修正される)一方、グラフィカルコンテンツが、同一であるようにユーザに現れ得るように、グラフィカルコンテンツを操作する。したがって、ディスプレイシステムは、ユーザがその周囲環境を見渡すにつれて、グラフィカルコンテンツを変換しながら、視覚的忠実性を保ち、処理電力を節約する。
ディスプレイシステムは、拡張現実ディスプレイシステムまたは仮想現実ディスプレイシステムの一部であってもよいことを理解されたい。一実施例として、ディスプレイシステムのディスプレイは、透過性であってもよく、ユーザが、画像、ビデオ、相互作用等の形態で仮想コンテンツをユーザに提供しながら、実世界を視認することを可能にしてもよい。別の実施例として、ディスプレイシステムは、ユーザの実世界のビューをブロックしてもよく、仮想現実画像、ビデオ、相互作用等が、ユーザに提示されてもよい。
ここで、図面を参照するが、同様の参照番号は、全体を通して同様の部分を指す。
図2は、ユーザのための3次元画像をシミュレートするための従来のディスプレイシステムを図示する。ユーザの眼は、離間されており、空間内の実オブジェクトを見ているとき、各眼は、オブジェクトの若干異なるビューを有し、オブジェクトの画像を各眼の網膜上の異なる場所に形成し得ることを理解されたい。これは、両眼視差と称され得、ヒト視覚系によって、深度の知覚を提供するために利用され得る。従来のディスプレイシステムは、仮想オブジェクトが所望の深度における実オブジェクトであるように各眼によって見えるであろう仮想オブジェクトのビューに対応する、眼210、220毎に1つの同一仮想オブジェクトの若干異なるビューを伴う2つの明確に異なる画像190、200を提示することによって、両眼視差をシミュレートする。これらの画像は、ユーザの視覚系が深度の知覚を導出するために解釈し得る、両眼キューを提供する。
図2を継続して参照すると、画像190、200は、z-軸上で距離230だけ眼210、220から離間される。z-軸は、その眼が視認者の直前の光学無限遠におけるオブジェクトを固視している状態の視認者の光学軸と平行である。画像190、200は、平坦であって、眼210、220から固定距離にある。それぞれ、眼210、220に提示される画像内の仮想オブジェクトの若干異なるビューに基づいて、眼は、必然的に、オブジェクトの画像が眼のそれぞれの網膜上の対応する点に来て、単一両眼視を維持するように回転し得る。本回転は、眼210、220のそれぞれの視線を仮想オブジェクトが存在するように知覚される空間内の点上に収束させ得る。その結果、3次元画像の提供は、従来、ユーザの眼210、220の輻輳・開散運動を操作し得、ヒト視覚系が深度の知覚を提供するように解釈する、両眼キューを提供することを伴う。
しかしながら、深度の現実的かつ快適な知覚の生成は、困難である。眼からの異なる距離におけるオブジェクトからの光は、異なる発散量を伴う波面を有することを理解されたい。図3A-3Cは、距離と光線の発散との間の関係を図示する。オブジェクトと眼210との間の距離は、減少距離R1、R2、およびR3の順序で表される。図3A-3Cに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。逆に言えば、距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点(オブジェクトまたはオブジェクトの一部)によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。単眼210のみが、例証を明確にするために、図3A-3Cおよび本明細書の種々の他の図に図示されるが、眼210に関する議論は、視認者の両眼210および220に適用され得る。
図3A-3Cを継続して参照すると、視認者の眼が固視しているオブジェクトからの光は、異なる波面発散度を有し得る。異なる波面発散量に起因して、光は、眼の水晶体によって異なるように集束され得、これは、ひいては、水晶体に、異なる形状をとり、集束された画像を眼の網膜上に形成することを要求し得る。集束された画像が、網膜上に形成されない場合、結果として生じる網膜ぼかしは、集束された画像が網膜上に形成されるまで、眼の水晶体の形状に変化を生じさせる、遠近調節のためのキューとして作用する。例えば、遠近調節のためのキューは、眼の水晶体を囲繞する毛様筋の弛緩または収縮をトリガし、それによって、レンズを保持する低靱帯に印加される力を変調し、したがって、固視されている画像の網膜ぼかしが排除または最小限にされるまで、眼の水晶体の形状を変化させ、それによって、固視されているオブジェクトの集束された画像を眼の網膜(例えば、中心窩)上に形成し得る。眼の水晶体が形状を変化させるプロセスは、遠近調節と称され得、固視されているオブジェクトの集束された画像を眼の網膜(例えば、中心窩)上に形成するために要求される眼の水晶体の形状は、遠近調節状態と称され得る。
ここで図4Aを参照すると、ヒト視覚系の遠近調節-輻輳・開散運動応答の表現が、図示される。オブジェクトを固視するための眼の移動は、眼にオブジェクトからの光を受信させ、光は、画像を眼の網膜のそれぞれ上に形成する。網膜上に形成される画像内の網膜ぼかしの存在は、遠近調節のためのキューを提供し得、網膜上の画像の相対的場所は、輻輳・開散運動のためのキューを提供し得る。遠近調節するためのキューは、遠近調節を生じさせ、眼の水晶体がオブジェクトの集束された画像を眼の網膜(例えば、中心窩)上に形成する特定の遠近調節状態をとる結果をもたらす。一方、輻輳・開散運動のためのキューは、各眼の各網膜上に形成される画像が単一両眼視を維持する対応する網膜点にあるように、輻輳・開散運動移動(眼の回転)を生じさせる。これらの位置では、眼は、特定の輻輳・開散運動状態をとっていると言え得る。図4Aを継続して参照すると、遠近調節は、眼が特定の遠近調節状態を達成するプロセスであると理解され得、輻輳・開散運動は、眼が特定の輻輳・開散運動状態を達成するプロセスであると理解され得る。図4Aに示されるように、眼の遠近調節および輻輳・開散運動状態は、ユーザが別のオブジェクトを固視する場合、変化し得る。例えば、遠近調節された状態は、ユーザがz-軸上の異なる深度における新しいオブジェクトを固視する場合、変化し得る。
理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動および遠近調節の組み合わせに起因して、オブジェクトを「3次元」であると知覚し得ると考えられる。前述のように、2つの眼の相互に対する輻輳・開散運動移動(例えば、瞳孔が相互に向かって、またはそこから移動し、眼の視線を収束させ、オブジェクトを固視するような眼の回転)は、眼の水晶体の遠近調節と密接に関連付けられる。通常条件下では、眼の水晶体の形状を変化させ、1つのオブジェクトから異なる距離における別のオブジェクトに焦点を変化させることは、自動的に、「遠近調節-輻輳・開散運動反射」として知られる関係下、同一距離まで輻輳・開散運動における整合する変化を生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、水晶体形状における整合する変化をトリガするであろう。
ここで図4Bを参照すると、眼の異なる遠近調節および輻輳・開散運動状態の実施例が、図示される。対の眼222aは、光学無限遠におけるオブジェクトを固視する一方、対の眼222bは、光学無限遠未満におけるオブジェクト221を固視する。着目すべきこととして、各対の眼の輻輳・開散運動状態は、異なり、対の眼222aは、まっすぐ指向される一方、対の眼222は、オブジェクト221上に収束する。各対の眼222aおよび222bを形成する眼の遠近調節状態もまた、水晶体210a、220aの異なる形状によって表されるように異なる。
望ましくないことに、従来の「3-D」ディスプレイシステムの多くのユーザは、これらのディスプレイにおける遠近調節と輻輳・開散運動状態との間の不整合に起因して、そのような従来のシステムを不快であると見出す、または奥行感を全く知覚しない場合がある。前述のように、多くの立体視または「3-D」ディスプレイシステムは、若干異なる画像を各眼に提供することによって、場面を表示する。そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供し、眼の輻輳・開散運動状態に変化を生じさせるが、それらの眼の遠近調節状態に対応する変化を伴わないため、多くの視認者にとって不快である。むしろ、画像は、眼が全ての画像情報を単一遠近調節状態において視認するように、ディスプレイによって眼から固定距離に示される。そのような配列は、遠近調節状態における整合する変化を伴わずに輻輳・開散運動状態に変化を生じさせることによって、「遠近調節-輻輳・開散運動反射」に逆らう。本不整合は、視認者不快感を生じさせると考えられる。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、3次元画像のより現実的かつ快適なシミュレーションを形成し得る。
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。いくつかの実施形態では、異なる提示は、輻輳・開散運動のためのキューおよび遠近調節するための整合するキューの両方を提供し、それによって、生理学的に正しい遠近調節-輻輳・開散運動整合を提供してもよい。
図4Bを継続して参照すると、眼210、220からの空間内の異なる距離に対応する、2つの深度平面240が、図示される。所与の深度平面240に関して、輻輳・開散運動キューが、眼210、220毎に適切に異なる視点の画像を表示することによって提供されてもよい。加えて、所与の深度平面240に関して、各眼210、220に提供される画像を形成する光は、その深度平面240の距離におけるある点によって生成されたライトフィールドに対応する波面発散を有してもよい。
図示される実施形態では、点221を含有する、深度平面240のz-軸に沿った距離は、1mである。本明細書で使用されるように、z-軸に沿った距離または深度は、ユーザの眼の射出瞳に位置するゼロ点を用いて測定されてもよい。したがって、1mの深度に位置する深度平面240は、それらの眼の光学軸上のユーザの眼の射出瞳から1m離れた距離に対応する。近似値として、z-軸に沿った深度または距離は、ユーザの眼の正面のディスプレイ(例えば、導波管の表面)から測定され、デバイスと眼が光学無限遠に向かって指向される状態におけるユーザの眼の射出瞳との間の距離に関する値が加えられてもよい。その値は、瞳距離と呼ばれ、ユーザの眼の射出瞳と眼の正面のユーザによって装着されるディスプレイとの間の距離に対応し得る。実際は、瞳距離に関する値は、概して、全ての視認者に関して使用される、正規化された値であってもよい。例えば、瞳距離は、20mmであると仮定され得、1mの深度における深度平面は、ディスプレイの正面の980mmの距離にあり得る。
ここで図4Cおよび4Dを参照すると、整合遠近調節-輻輳・開散運動距離および不整合遠近調節-輻輳・開散運動距離の実施例が、それぞれ、図示される。図4Cに図示されるように、ディスプレイシステムは、仮想オブジェクトの画像を各眼210、220に提供してもよい。画像は、眼210、220に、眼が深度平面240上の点15上に収束する、輻輳・開散運動状態をとらせ得る。加えて、画像は、その深度平面240における実オブジェクトに対応する波面曲率を有する光によって形成され得る。その結果、眼210、220は、画像がそれらの眼の網膜上に合焦された遠近調節状態をとる。したがって、ユーザは、仮想オブジェクトを深度平面240上の点15にあるように知覚し得る。
眼210、220の遠近調節および輻輳・開散運動状態のそれぞれは、z-軸上の特定の距離と関連付けられることを理解されたい。例えば、眼210、220からの特定の距離におけるオブジェクトは、それらの眼に、オブジェクトの距離に基づいて、特定の遠近調節状態をとらせる。特定の遠近調節状態と関連付けられた距離は、遠近調節距離Aと称され得る。同様に、眼、特に、輻輳・開散運動状態または相互に対する位置と関連付けられた特定の輻輳・開散運動距離Vも、存在する。遠近調節距離および輻輳・開散運動距離が整合する場合、遠近調節と輻輳・開散運動との間の関係は、生理学的に正しいと言え得る。これは、視認者のために最も快適なシナリオと見なされる。
しかしながら、立体視ディスプレイでは、遠近調節距離および輻輳・開散運動距離は、常時、整合しない場合がある。例えば、図4Dに図示されるように、眼210、220に表示される画像は、深度平面240に対応する波面発散を伴って表示され得、眼210、220は、その深度平面上の点15a、15bが合焦する、特定の遠近調節状態をとり得る。しかしながら、眼210、220に表示される画像は、眼210、220を深度平面240上に位置しない点15上に収束させる、輻輳・開散運動のためのキューを提供し得る。その結果、いくつかの実施形態では、遠近調節距離は、ユーザの特定の参照点(例えば、眼210、220の射出瞳)から深度平面240までの距離に対応する一方、輻輳・開散運動距離は、その参照点から点15までのより大きい距離に対応する。したがって、遠近調節距離は、輻輳・開散運動距離と異なり、遠近調節-輻輳・開散運動不整合が存在する。そのような不整合は、望ましくないと見なされ、不快感をユーザに生じさせ得る。不整合は、距離(例えば、V-A)に対応し、ジオプタ(長さの逆数1/mの単位)を使用して特徴付けられ得ることを理解されたい。例えば、1.75ジオプタのVおよび1.25ジオプタのAまたは1.25ジオプタのVおよび1.75ジオプタのAは、0.5ジオプタの遠近調節-輻輳・開散運動不整合を提供するであろう。
いくつかの実施形態では、同一参照点が遠近調節距離および輻輳・開散運動距離のために利用される限り、眼210、220の射出瞳以外の参照点が、遠近調節-輻輳・開散運動不整合を決定するための距離を決定するために利用されてもよいことを理解されたい。例えば、距離は、角膜から深度平面まで、網膜から深度平面まで、接眼レンズ(例えば、ディスプレイデバイスの導波管)から深度平面まで等で測定され得る。
理論によって限定されるわけではないが、ユーザは、不整合自体が有意な不快感を生じさせずに、依然として、最大約0.25ジオプタ、最大約0.33ジオプタ、および最大約0.5ジオプタの遠近調節-輻輳・開散運動不整合が生理学的に正しいとして知覚し得ると考えられる。いくつかの実施形態では、本明細書に開示されるディスプレイシステム(例えば、ディスプレイシステム250、図6)は、約0.5ジオプタまたはそれ未満の遠近調節-輻輳・開散運動不整合を有する画像を視認者に提示する。いくつかの他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節-輻輳・開散運動不整合は、約0.33ジオプタまたはそれ未満である。さらに他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節-輻輳・開散運動不整合は、約0.25ジオプタまたはそれ未満であって、約0.1ジオプタまたはそれ未満を含む。
図5は、波面発散を修正することによって、3次元画像をシミュレートするためのアプローチの側面を図示する。ディスプレイシステムは、画像情報でエンコードされた光770を受信し、その光をユーザの眼210に出力するように構成される、導波管270を含む。導波管270は、所望の深度平面240上のある点によって生成されたライトフィールドの波面発散に対応する定義された波面発散量を伴って光650を出力してもよい。いくつかの実施形態では、同一量の波面発散が、その深度平面上に提示される全てのオブジェクトのために提供される。加えて、ユーザの他方の眼は、類似導波管からの画像情報を提供され得るように図示されるであろう。
いくつかの実施形態では、単一導波管が、単一または限定数の深度平面に対応する設定された波面発散量を伴う光を出力するように構成されてもよく、および/または導波管は、限定された範囲の波長の光を出力するように構成されてもよい。その結果、いくつかの実施形態では、複数またはスタックの導波管が、異なる深度平面のための異なる波面発散量を提供し、および/または異なる範囲の波長の光を出力するために利用されてもよい。本明細書で使用されるように、深度平面は、平坦または湾曲表面の輪郭に追従し得ることを理解されたい。いくつかの実施形態では、便宜上、深度平面は、平坦表面の輪郭に追従し得る。
図6は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム250は、複数の導波管270、280、290、300、310を使用して、3次元知覚を眼/脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ260を含む。ディスプレイシステム250は、いくつかの実施形態では、ライトフィールドディスプレイと見なされてもよいことを理解されたい。加えて、導波管アセンブリ260はまた、接眼レンズとも称され得る。
いくつかの実施形態では、ディスプレイシステム250は、輻輳・開散運動するための実質的に連続キューおよび遠近調節するための複数の離散キューを提供するように構成されてもよい。輻輳・開散運動のためのキューは、異なる画像をユーザの眼のそれぞれに表示することによって提供されてもよく、遠近調節のためのキューは、選択可能離散量の波面発散を伴う画像を形成する光を出力することによって提供されてもよい。換言すると、ディスプレイシステム250は、可変レベルの波面発散を伴う光を出力するように構成されてもよい。いくつかの実施形態では、波面発散の各離散レベルは、特定の深度平面に対応し、導波管270、280、290、300、310のうちの特定の1つによって提供されてもよい。
図6を継続して参照すると、導波管アセンブリ260はまた、複数の特徴320、330、340、350を導波管間に含んでもよい。いくつかの実施形態では、特徴320、330、340、350は、1つ以上のレンズであってもよい。導波管270、280、290、300、310および/または複数のレンズ320、330、340、350は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス360、370、380、390、400は、導波管のための光源として機能してもよく、画像情報を導波管270、280、290、300、310の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼210に向かって出力のために各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス360、370、380、390、400の出力表面410、420、430、440、450から出射し、導波管270、280、290、300、310の対応する入力表面460、470、480、490、500の中に投入される。いくつかの実施形態では、入力表面460、470、480、490、500はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部(すなわち、世界510または視認者の眼210に直接面する導波管表面のうちの1つ)であってもよい。いくつかの実施形態では、光の単一ビーム(例えば、コリメートされたビーム)が、各導波管の中に投入され、特定の導波管と関連付けられた深度平面に対応する特定の角度(および発散量)において眼210に向かって指向される、クローン化されたコリメートビームの全体場を出力してもよい。いくつかの実施形態では、画像投入デバイス360、370、380、390、400のうちの単一の1つは、複数(例えば、3つ)の導波管270、280、290、300、310と関連付けられ、その中に光を投入してもよい。
いくつかの実施形態では、画像投入デバイス360、370、380、390、400はそれぞれ、それぞれ対応する導波管270、280、290、300、310の中への投入のための画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス360、370、380、390、400は、例えば、画像情報を1つ以上の光学導管(光ファイバケーブル等)を介して、画像投入デバイス360、370、380、390、400のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス360、370、380、390、400によって提供される画像情報は、異なる波長または色(例えば、本明細書に議論されるように、異なる原色)の光を含んでもよいことを理解されたい。
いくつかの実施形態では、導波管270、280、290、300、310の中に投入される光は、光プロジェクタシステム520によって提供され、これは、光モジュール530を備え、これは、発光ダイオード(LED)等の光エミッタを含んでもよい。光モジュール530からの光は、ビームスプリッタ550を介して、光変調器540、例えば、空間光変調器によって指向および修正されてもよい。光変調器540は、導波管270、280、290、300、310の中に投入される光の知覚される強度を変化させ、光を画像情報でエンコードするように構成されてもよい。空間光変調器の実施例は、液晶ディスプレイ(LCD)を含み、シリコン上液晶(LCOS)ディスプレイを含む。画像投入デバイス360、370、380、390、400は、図式的に図示され、いくつかの実施形態では、これらの画像投入デバイスは、光を導波管270、280、290、300、310の関連付けられたものの中に出力するように構成される、共通投影システム内の異なる光経路および場所を表し得ることを理解されたい。いくつかの実施形態では、導波管アセンブリ260の導波管は、導波管の中に投入された光をユーザの眼に中継しながら、理想的レンズとして機能し得る。本概念では、オブジェクトは、空間光変調器540であってもよく、画像は、深度平面上の画像であってもよい。
いくつかの実施形態では、ディスプレイシステム250は、光を種々のパターン(例えば、ラスタ走査、螺旋走査、リサジューパターン等)で1つ以上の導波管270、280、290、300、310の中に、最終的には、視認者の眼210に投影するように構成される、1つ以上の走査ファイバを備える、走査ファイバディスプレイであってもよい。いくつかの実施形態では、図示される画像投入デバイス360、370、380、390、400は、光を1つまたは複数の導波管270、280、290、300、310の中に投入するように構成される、単一走査ファイバまたは走査ファイバの束を図式的に表し得る。いくつかの他の実施形態では、図示される画像投入デバイス360、370、380、390、400は、複数の走査ファイバまたは走査ファイバの複数の束を図式的に表し得、それぞれ、光を導波管270、280、290、300、310のうちの関連付けられた1つの中に投入するように構成される。1つ以上の光ファイバは、光を光モジュール530から1つ以上の導波管270、280、290、300、310に伝送するように構成されてもよいことを理解されたい。1つ以上の介在光学構造が、走査ファイバまたは複数のファイバと、1つ以上の導波管270、280、290、300、310との間に提供され、例えば、走査ファイバから出射する光を1つ以上の導波管270、280、290、300、310の中に再指向してもよいことを理解されたい。
コントローラ560は、画像投入デバイス360、370、380、390、400、光源530、および光モジュール540の動作を含む、スタックされた導波管アセンブリ260のうちの1つ以上のものの動作を制御する。いくつかの実施形態では、コントローラ560は、ローカルデータ処理モジュール140の一部である。コントローラ560は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管270、280、290、300、310への画像情報のタイミングおよびプロビジョニングを調整する、プログラミング(例えば、非一過性媒体内の命令)を含む。いくつかの実施形態では、コントローラは、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ560は、いくつかの実施形態では、処理モジュール140または150(図9D)の一部であってもよい。
図6を継続して参照すると、導波管270、280、290、300、310は、全内部反射(TIR)によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管270、280、290、300、310はそれぞれ、主要な上部および底部表面およびそれらの主要上部表面と底部表面との間に延在する縁を伴う、平面である、または別の形状(例えば、湾曲)を有してもよい。図示される構成では、導波管270、280、290、300、310はそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から画像情報を眼210に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素570、580、590、600、610を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光抽出光学要素に衝打する場所において出力され得る。外部結合光学要素570、580、590、600、610は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明を容易にし、図面を明確にするために、導波管270、280、290、300、310の底部主要表面に配置されて図示されるが、いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、本明細書にさらに議論されるように、上部および/または底部主要表面に配置されてもよく、および/または導波管270、280、290、300、310の容積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、透明基板に取り付けられ、導波管270、280、290、300、310を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管270、280、290、300、310は、材料のモノリシック部品であってもよく、外部結合光学要素570、580、590、600、610は、その材料部品の表面上および/または内部に形成されてもよい。
図6を継続して参照すると、本明細書に議論されるように、各導波管270、280、290、300、310は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管270は、眼210にコリメートされた光(そのような導波管270の中に投入された)を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管280は、眼210に到達し得る前に、第1のレンズ350(例えば、負のレンズ)を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第1のレンズ350は、眼/脳が、その次の上方の導波管280から生じる光を光学無限遠から眼210に向かって内向きにより近い第1の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第3の上方の導波管290は、眼210に到達する前に、その出力光を第1の350および第2の340レンズの両方を通して通過させる。第1の350および第2の340レンズの組み合わせられた屈折力は、眼/脳が、第3の導波管290から生じる光が次の上方の導波管280からの光であった光学無限遠から人物に向かって内向きにさらに近い第2の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
他の導波管層300、310およびレンズ330、320も同様に構成され、スタック内の最高導波管310は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ260の他側の世界510から生じる光を視認/解釈するとき、レンズ320、330、340、350のスタックを補償するために、補償レンズ層620が、スタックの上部に配置され、下方のレンズスタック320、330、340、350の集約力を補償してもよい。そのような構成は、利用可能な導波管/レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面は両方とも、静的であってもよい(すなわち、動的または電気活性ではない)。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
いくつかの実施形態では、導波管270、280、290、300、310のうちの2つ以上のものは、同一の関連付けられた深度平面を有してもよい。例えば、複数の導波管270、280、290、300、310が、同一深度平面に設定される画像を出力するように構成されてもよい、または導波管270、280、290、300、310の複数のサブセットが、深度平面毎に1つのセットを伴う、同一の複数の深度平面に設定される画像を出力するように構成されてもよい。これは、それらの深度平面において拡張された視野を提供するようにタイル化された画像を形成する利点を提供し得る。
図6を継続して参照すると、外部結合光学要素570、580、590、600、610は、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、外部結合光学要素570、580、590、600、610の異なる構成を有してもよく、これは、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する。いくつかの実施形態では、光抽出光学要素570、580、590、600、610は、体積または表面特徴であってもよく、これは、具体的角度で光を出力するように構成されてもよい。例えば、光抽出光学要素570、580、590、600、610は、体積ホログラム、表面ホログラム、および/または回折格子であってもよい。いくつかの実施形態では、特徴320、330、340、350は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい(例えば、クラッディング層および/または空隙を形成するための構造)。
いくつかの実施形態では、外部結合光学要素570、580、590、600、610は、回折パターンを形成する回折特徴または「回折光学要素」(また、本明細書では、「DOE」とも称される)である。好ましくは、DOEは、ビームの光の一部のみがDOEの各交差点を用いて眼210に向かって偏向される一方、残りがTIRを介して、導波管を通して移動し続けるように、十分に低回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼210に向かって非常に均一なパターンの出射放出となる。
いくつかの実施形態では、1つ以上のDOEは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能DOEは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい(その場合、パターンは、入射光を著しく回折させない)、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられてもよい(その場合、パターンは、入射光を能動的に回折させる)。
いくつかの実施形態では、カメラアセンブリ630(例えば、可視光および赤外線光カメラを含む、デジタルカメラ)が、眼210および/または眼210の周囲の組織の画像を捕捉し、例えば、ユーザ入力を検出する、および/またはユーザの生理学的状態を監視するために提供されてもよい。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであってもよい。いくつかの実施形態では、カメラアセンブリ630は、画像捕捉デバイスと、光(例えば、赤外線光)を眼に投影し、次いで、眼によって反射され、画像捕捉デバイスによって検出され得る、光源とを含んでもよい。いくつかの実施形態では、カメラアセンブリ630は、フレーム80(図9D)に取り付けられてもよく、カメラアセンブリ630からの画像情報を処理し得る、処理モジュール140および/または150と電気通信してもよい。いくつかの実施形態では、1つのカメラアセンブリ630が、眼毎に利用され、各眼を別個に監視してもよい。
ここで図7を参照すると、導波管によって出力された出射ビームの実施例が、示される。1つの導波管が図示されるが、導波管アセンブリ260(図6)内の他の導波管も同様に機能し得、導波管アセンブリ260は、複数の導波管を含むことを理解されたい。光640が、導波管270の入力表面460において導波管270の中に投入され、TIRによって導波管270内を伝搬する。光640がDOE570上に衝突する点では、光の一部は、導波管から出射ビーム650として出射する。出射ビーム650は、略平行として図示されるが、本明細書に議論されるように、また、導波管270と関連付けられた深度平面に応じて、ある角度(例えば、発散出射ビーム形成)において眼210に伝搬するように再指向されてもよい。略平行出射ビームは、眼210からの遠距離(例えば、光学無限遠)における深度平面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼210がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼210に近い距離からの光として脳によって解釈されるであろう。
いくつかの実施形態では、フルカラー画像が、原色、例えば、3つ以上の原色のそれぞれに画像をオーバーレイすることによって、各深度平面において形成されてもよい。図8は、スタックされた導波管アセンブリの実施例を図示し、各深度平面は、複数の異なる原色を使用して形成される画像を含む。図示される実施形態は、深度平面240a-240fを示すが、より多いまたはより少ない深度もまた、検討される。各深度平面は、第1の色Gの第1の画像、第2の色Rの第2の画像、および第3の色Bの第3の画像を含む、それと関連付けられた3つ以上の原色画像を有してもよい。異なる深度平面は、文字G、R、およびBに続くジオプタ(dpt)に関する異なる数字によって図示される。単なる実施例として、これらの文字のそれぞれに続く数字は、ジオプタ(1/m)、すなわち、視認者からの深度平面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度平面の正確な場所は、変動してもよい。例えば、所与の深度平面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度平面上に設置されてもよい。そのような配列は、視力およびユーザ快適性を増加させ得、および/または色収差を減少させ得る。
いくつかの実施形態では、各原色の光は、単一専用導波管によって出力されてもよく、その結果、各深度平面は、それと関連付けられた複数の導波管を有してもよい。そのような実施形態では、文字G、R、またはBを含む、図中の各ボックスは、個々の導波管を表すものと理解され得、3つの導波管は、深度平面毎に提供されてもよく、3つの原色画像が、深度平面毎に提供される。各深度平面と関連付けられた導波管は、本図面では、説明を容易にするために相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に1つの導波管を伴うスタックで配列されてもよいことを理解されたい。いくつかの他の実施形態では、複数の原色が、例えば、単一導波管のみが深度平面毎に提供され得るように、同一導波管によって出力されてもよい。
図8を継続して参照すると、いくつかの実施形態では、Gは、緑色であって、Rは、赤色であって、Bは、青色である。いくつかの他の実施形態では、マゼンタ色およびシアン色を含む、光の他の波長と関連付けられた他の色も、赤色、緑色、または青色のうちの1つ以上のものに加えて使用されてもよい、またはそれらに取って代わってもよい。
本開示全体を通した所与の光の色の言及は、その所与の色として視認者によって知覚される、光の波長の範囲内の1つ以上の波長の光を包含するものと理解されると理解されたい。例えば、赤色光は、約620~780nmの範囲内である1つ以上の波長の光を含んでもよく、緑色光は、約492~577nmの範囲内である1つ以上の波長の光を含んでもよく、青色光は、約435~493nmの範囲内である1つ以上の波長の光を含んでもよい。
いくつかの実施形態では、光源530(図6)は、視認者の視覚的知覚範囲外の1つ以上の波長、例えば、赤外線および/または紫外線波長の光を放出するように構成されてもよい。加えて、ディスプレイ250の導波管の内部結合、外部結合、および他の光再指向構造は、例えば、結像および/またはユーザ刺激用途のために、本光をディスプレイからユーザの眼210に向かって指向および放出するように構成されてもよい。
ここで図9Aを参照すると、いくつかの実施形態では、導波管に衝突する光は、その光を導波管の中に内部結合するために再指向される必要があり得る。内部結合光学要素が、光をその対応する導波管の中に再指向および内部結合するために使用されてもよい。図9Aは、それぞれ、内部結合光学要素を含む、複数またはセット660のスタックされた導波管の実施例の断面側面図を図示する。導波管はそれぞれ、1つまたはそれを上回る異なる波長または1つまたはそれを上回る異なる波長範囲の光を出力するように構成されてもよい。スタック660は、スタック260(図6)に対応してもよく、スタック660の図示される導波管は、複数の導波管270、280、290、300、310の一部に対応してもよいが、画像投入デバイス360、370、380、390、400のうちの1つ以上のものからの光が、光が内部結合のために再指向されることを要求する位置から導波管の中に投入されることを理解されたい。
スタックされた導波管の図示されるセット660は、導波管670、680、および690を含む。各導波管は、関連付けられた内部結合光学要素(導波管上の光入力面積とも称され得る)を含み、例えば、内部結合光学要素700は、導波管670の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素710は、導波管680の主要表面(例えば、上側主要表面)上に配置され、内部結合光学要素720は、導波管690の主要表面(例えば、上側主要表面)上に配置される。いくつかの実施形態では、内部結合光学要素700、710、720のうちの1つ以上のものは、個別の導波管670、680、690の底部主要表面上に配置されてもよい(特に、1つ以上の内部結合光学要素は、反射性偏向光学要素である)。図示されるように、内部結合光学要素700、710、720は、その個別の導波管670、680、690の上側主要表面(または次の下側導波管の上部)上に配置されてもよく、特に、それらの内部結合光学要素は、透過性偏向光学要素である。いくつかの実施形態では、内部結合光学要素700、710、720は、個別の導波管670、680、690の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素700、710、720は、他の光の波長を透過しながら、1つ以上の光の波長を選択的に再指向するような波長選択的である。その個別の導波管670、680、690の片側または角に図示されるが、内部結合光学要素700、710、720は、いくつかの実施形態では、その個別の導波管670、680、690の他の面積内に配置されてもよいことを理解されたい。
図示されるように、内部結合光学要素700、710、720は、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過せずに、光を受信するようにオフセットされてもよい。例えば、各内部結合光学要素700、710、720は、図6に示されるように、光を異なる画像投入デバイス360、370、380、390、および400から受信するように構成されてもよく、光を内部結合光学要素700、710、720の他のものから実質的に受信しないように、他の内部結合光学要素700、710、720から分離されてもよい(例えば、側方に離間される)。
各導波管はまた、関連付けられた光分散要素を含み、例えば、光分散要素730は、導波管670の主要表面(例えば、上部主要表面)上に配置され、光分散要素740は、導波管680の主要表面(例えば、上部主要表面)上に配置され、光分散要素750は、導波管690の主要表面(例えば、上部主要表面)上に配置される。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられた導波管670、680、690の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素730、740、750は、それぞれ、関連付けられた導波管670、680、690の上部および底部両方の主要表面上に配置されてもよい、または光分散要素730、740、750は、それぞれ、異なる関連付けられた導波管670、680、690内の上部および底部主要表面の異なるもの上に配置されてもよい。
導波管670、680、690は、例えば、材料のガス、液体、および/または固体層によって離間および分離されてもよい。例えば、図示されるように、層760aは、導波管670および680を分離してもよく、層760bは、導波管680および690を分離してもよい。いくつかの実施形態では、層760aおよび760bは、低屈折率材料(すなわち、導波管670、680、690の直近のものを形成する材料より低い屈折率を有する材料)から形成される。好ましくは、層760a、760bを形成する材料の屈折率は、導波管670、680、690を形成する材料の屈折率を0.05またはそれを上回って、または0.10またはそれを下回る。有利には、より低い屈折率層760a、760bは、導波管670、680、690を通して光の全内部反射(TIR)(例えば、各導波管の上部および底部主要表面間のTIR)を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層760a、760bは、空気から形成される。図示されないが、導波管の図示されるセット660の上部および底部は、直近クラッディング層を含んでもよいことを理解されたい。
好ましくは、製造および他の考慮点を容易にするために、導波管670、680、690を形成する材料は、類似または同一であって、層760a、760bを形成する材料は、類似または同一である。いくつかの実施形態では、導波管670、680、690を形成する材料は、1つ以上の導波管間で異なってもよい、および/または層760a、760bを形成する材料は、依然として、前述の種々の屈折率関係を保持しながら、異なってもよい。
図9Aを継続して参照すると、光線770、780、790が、導波管のセット660に入射する。光線770、780、790は、1つ以上の画像投入デバイス360、370、380、390、400(図6)によって導波管670、680、690の中に投入されてもよいことを理解されたい。
いくつかの実施形態では、光線770、780、790は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素700、710、720はそれぞれ、光が、TIRによって、導波管670、680、690のうちの個別の1つを通して伝搬するように、入射光を偏向させる。いくつかの実施形態では、内部結合光学要素700、710、720はそれぞれ、他の波長を下層導波管および関連付けられた内部結合光学要素に透過させながら、1つ以上の特定の光の波長を選択的に偏向させる。
例えば、内部結合光学要素700は、それぞれ、異なる第2および第3の波長または波長範囲を有する、光線780および790を透過させながら、第1の波長または波長範囲を有する、光線770を偏向させるように構成されてもよい。透過された光線780は、第2の波長または波長範囲の光を偏向させるように構成される、内部結合光学要素710に衝突し、それによって偏向される。光線790は、第3の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素720によって偏向される。
図9Aを継続して参照すると、偏向された光線770、780、790は、対応する導波管670、680、690を通して伝搬するように偏向される。すなわち、各導波管の内部結合光学要素700、710、720は、光をその対応する導波管670、680、690の中に偏向させ、光を対応する導波管の中に内部結合する。光線770、780、790は、光をTIRによって個別の導波管670、680、690を通して伝搬させる角度で偏向される。光線770、780、790は、導波管の対応する光分散要素730、740、750に衝突するまで、TIRによって個別の導波管670、680、690を通して伝搬する。
ここで図9Bを参照すると、図9Aの複数のスタックされた導波管の実施例の斜視図が、図示される。前述のように、内部結合された光線770、780、790は、それぞれ、内部結合光学要素700、710、720によって偏向され、次いで、それぞれ、導波管670、680、690内でTIRによって伝搬する。光線770、780、790は、次いで、それぞれ、光分散要素730、740、750に衝突する。光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820に向かって伝搬するように、光線770、780、790を偏向させる。
いくつかの実施形態では、光分散要素730、740、750は、直交瞳エクスパンダ(OPE)である。いくつかの実施形態では、OPEは、光を外部結合光学要素800、810、820に偏向または分散し、いくつかの実施形態では、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、光分散要素730、740、750は、省略されてもよく、内部結合光学要素700、710、720は、光を直接外部結合光学要素800、810、820に偏向させるように構成されてもよい。例えば、図9Aを参照すると、光分散要素730、740、750は、それぞれ、外部結合光学要素800、810、820と置換されてもよい。いくつかの実施形態では、外部結合光学要素800、810、820は、光を視認者の眼210(図7)に指向させる、射出瞳(EP)または射出瞳エクスパンダ(EPE)である。OPEは、少なくとも1つの軸においてアイボックスの寸法を増加させるように構成されてもよく、EPEは、OPEの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。例えば、各OPEは、光の残りの部分が導波管を辿って伝搬し続けることを可能にしながら、OPEに衝打する光の一部を同一導波管のEPEに再指向するように構成されてもよい。OPEへの衝突に応じて、再び、残りの光の別の部分は、EPEに再指向され、その部分の残りの部分は、導波管等を辿ってさらに伝搬し続ける。同様に、EPEへの衝打に応じて、衝突光の一部は、導波管からユーザに向かって指向され、その光の残りの部分は、EPに再び衝打するまで、導波管を通して伝搬し続け、その時点で、衝突する光の別の部分は、導波管から指向される等となる。その結果、内部結合された光の単一ビームは、その光の一部がOPEまたはEPEによって再指向される度に、「複製」され、それによって、図6に示されるように、クローン化された光のビーム野を形成し得る。いくつかの実施形態では、OPEおよび/またはEPEは、光のビームのサイズを修正するように構成されてもよい。
故に、図9Aおよび9Bを参照すると、いくつかの実施形態では、導波管のセット660は、原色毎に、導波管670、680、690と、内部結合光学要素700、710、720と、光分散要素(例えば、OPE)730、740、750と、外部結合光学要素(例えば、EP)800、810、820とを含む。導波管670、680、690は、各1つの間に空隙/クラッディング層を伴ってスタックされてもよい。内部結合光学要素700、710、720は、(異なる波長の光を受信する異なる内部結合光学要素を用いて)入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波管670、680、690内にTIRをもたらすであろう角度で伝搬する。示される実施例では、光線770(例えば、青色光)は、前述の様式において、第1の内部結合光学要素700によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素(例えば、OPE)730、次いで、外部結合光学要素(例えば、EP)800と相互作用する。光線780および790(例えば、それぞれ、緑色および赤色光)は、導波管670を通して通過し、光線780は、内部結合光学要素710上に衝突し、それによって偏向される。光線780は、次いで、TIRを介して、導波管680を辿ってバウンスし、その光分散要素(例えば、OPE)740、次いで、外部結合光学要素(例えば、EP)810に進むであろう。最後に、光線790(例えば、赤色光)は、導波管690を通して通過し、導波管690の光内部結合光学要素720に衝突する。光内部結合光学要素720は、光線が、TIRによって、光分散要素(例えば、OPE)750、次いで、外部結合光学要素(例えば、EP)820に伝搬するように、光線790を偏向させる。外部結合光学要素820は、次いで、最後に、光線790を視認者に外部結合し、視認者はまた、他の導波管670、680からの外部結合した光も受信する。
図9Cは、図9Aおよび9Bの複数のスタックされた導波管の実施例の上下平面図を図示する。図示されるように、導波管670、680、690は、各導波管の関連付けられた光分散要素730、740、750および関連付けられた外部結合光学要素800、810、820とともに、垂直に整合されてもよい。しかしながら、本明細書に議論されるように、内部結合光学要素700、710、720は、垂直に整合されない。むしろ、内部結合光学要素は、好ましくは、非重複する(例えば、上下図に見られるように、側方に離間される)。本明細書でさらに議論されるように、本非重複空間配列は、1対1ベースで異なるリソースから異なる導波管の中への光の投入を促進し、それによって、具体的光源が具体的導波管に一意に結合されることを可能にする。いくつかの実施形態では、非重複の空間的に分離される内部結合光学要素を含む、配列は、偏移瞳システムと称され得、これらの配列内の内部結合光学要素は、サブ瞳に対応し得る。
図9Dは、本明細書に開示される種々の導波管および関連システムが統合され得る、ウェアラブルディスプレイシステム60の実施例を図示する。いくつかの実施形態では、ディスプレイシステム60は、図6のシステム250であって、図6は、そのシステム60のいくつかの部分をより詳細に図式的に示す。例えば、図6の導波管アセンブリ260は、ディスプレイ70の一部であってもよい。
図9Dを継続して参照すると、ディスプレイシステム60は、ディスプレイ70と、そのディスプレイ70の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ70は、フレーム80に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者90によって装着可能であって、ディスプレイ70をユーザ90の眼の正面に位置付けるように構成される。ディスプレイ70は、いくつかの実施形態では、接眼レンズと見なされ得る。いくつかの実施形態では、スピーカ100が、フレーム80に結合され、ユーザ90の外耳道に隣接して位置付けられるように構成される(いくつかの実施形態では、示されない別のスピーカも、随意に、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供してもよい)。ディスプレイシステム60はまた、1つ以上のマイクロホン110または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンドをシステム60に提供することを可能にするように構成され(例えば、音声メニューコマンドの選択、自然言語質問等)、および/または他の人物(例えば、類似ディスプレイシステムの他のユーザ)とのオーディオ通信を可能にしてもよい。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ(例えば、ユーザおよび/または環境からの音)を収集してもよい。いくつかの実施形態では、ディスプレイシステム60はさらに、光、オブジェクト、刺激、人々、動物、場所、またはユーザの周囲の世界の他の側面を検出するように構成される、1つ以上の外向きに指向される環境センサ112を含んでもよい。例えば、環境センサ112は、1つ以上のカメラを含んでもよく、これは、例えば、ユーザ90の通常の視野の少なくとも一部に類似する画像を捕捉するように外向きに面して位置してもよい。いくつかの実施形態では、ディスプレイシステムはまた、周辺センサ120aを含んでもよく、これは、フレーム80と別個であって、ユーザ90の身体(例えば、ユーザ90の頭部、胴体、四肢等)上に取り付けられてもよい。周辺センサ120aは、いくつかの実施形態では、ユーザ90の生理学的状態を特徴付けるデータを入手するように構成されてもよい。例えば、センサ120aは、電極であってもよい。
図9Dを継続して参照すると、ディスプレイ70は、有線導線または無線コネクティビティ等の通信リンク130によって、ローカルデータ処理モジュール140に動作可能に結合され、これは、フレーム80を固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子を固定して取り付けられる、ヘッドホン内に埋設される、または別様にユーザ90に除去可能に取り付けられる(例えば、リュック式構成において、ベルト結合式構成において)等、種々の構成において搭載されてもよい。同様に、センサ120aは、通信リンク120b、例えば、有線導線または無線コネクティビティによって、ローカルデータ処理モジュール140に動作可能に結合されてもよい。ローカル処理およびデータモジュール140は、ハードウェアプロセッサおよび不揮発性メモリ(例えば、フラッシュメモリまたはハードディスクドライブ)等のデジタルメモリを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。随意に、ローカル処理およびデータモジュール140は、1つ以上の中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、専用処理ハードウェア等を含んでもよい。データは、a)センサ(画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、ジャイロスコープ、および/または本明細書に開示される他のセンサ(例えば、フレーム80に動作可能に結合される、または別様にユーザ90に取り付けられ得る))から捕捉された、および/またはb)可能性として処理または読出後にディスプレイ70への通過のための遠隔処理モジュール150および/または遠隔データリポジトリ160(仮想コンテンツに関連するデータを含む)を使用して取得および/または処理されたデータを含んでもよい。ローカル処理およびデータモジュール140は、これらの遠隔モジュール150、160が相互に動作可能に結合され、ローカル処理およびデータモジュール140に対するリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク170、180によって、遠隔処理モジュール150および遠隔データリポジトリ160に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール140は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープのうちの1つ以上のものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの1つまたはそれを上回るものは、フレーム80に取り付けられてもよい、または有線または無線通信経路によってローカル処理およびデータモジュール140と通信する、独立構造であってもよい。
図9Dを継続して参照すると、いくつかの実施形態では、遠隔処理モジュール150は、データおよび/または画像情報を分析および処理するように構成される、1つ以上のプロセッサを備えてもよく、例えば、1つ以上の中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、専用処理ハードウェア等を含む。いくつかの実施形態では、遠隔データリポジトリ160は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る、デジタルデータ記憶設備を備えてもよい。いくつかの実施形態では、遠隔データリポジトリ160は、1つ以上の遠隔サーバを含んでもよく、これは、情報、例えば、拡張現実コンテンツをローカル処理およびデータモジュール140および/または遠隔処理モジュール150に生成するための情報を提供する。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール内で行われ、遠隔モジュールからの完全に自律的使用を可能にする。随意に、CPU、GPU等を含む、外部システム(例えば、1つ以上のプロセッサ、1つ以上のコンピュータのシステム)が、処理(例えば、画像情報を生成する、データを処理する)の少なくとも一部を実施し、例えば、無線または有線接続を介して、情報をモジュール140、150、160に提供し、情報をそこから受信してもよい。

I.深度情報に基づく品質調節
本明細書に説明されるように、種々の実施形態による、ディスプレイシステム(例えば、図9Dのディスプレイシステム60等の拡張現実ディスプレイシステム)は、例えば、ユーザの眼を監視することによって、ユーザの3次元固視点を決定してもよい。固視点は、(1)x-軸(例えば、側方軸)、(2)y-軸(例えば、垂直軸)、および(3)z-軸(例えば、点の深度、例えば、ユーザからの深度)に沿った空間内の点の場所を示し得る。いくつかの実施形態では、ディスプレイシステムは、カメラ、センサ等を利用して、ユーザの眼(例えば、各眼の瞳孔、角膜等)を監視し、各眼の視線を決定してもよい。各眼の視線は、概して、眼の水晶体を通したその眼の網膜の中心から延在するベクトルであると理解され得る。例えば、ベクトルは、概して、眼の水晶体を通した黄斑の中心(例えば、中心窩)から延在し得る。ディスプレイシステムは、眼と関連付けられたベクトルが交差する場所を決定するように構成されてもよく、本交点は、眼の固視点であると理解され得る。換言すると、固視点は、ユーザの眼が輻輳している3次元空間内の場所であり得る。いくつかの実施形態では、ディスプレイシステムは、例えば、高速移動(例えば、サッケード、マイクロサッケード)の間、ユーザの眼のわずかな移動をフィルタリングしてもよく、眼が3次元空間内のある場所を固視していることを決定することに応じて、固視点を更新してもよい。例えば、ディスプレイシステムは、閾値持続時間未満にわたってある点を固視している眼の移動を無視するように構成されてもよい。
仮想オブジェクトまたはコンテンツ等のディスプレイシステムによって提示される、コンテンツの分解能は、本明細書に議論されるように、固視点との近接度に基づいて調節されてもよい。ディスプレイシステムは、仮想オブジェクトの3次元空間内の場所に関する情報をその中に記憶してもよい、そこへのアクセスを有してもよいことを理解されたい。仮想オブジェクトの既知の場所に基づいて、所与の仮想オブジェクトと固視点の近接度が、決定されてもよい。例えば、仮想オブジェクトと固視点の近接度は、(1)ユーザの固視点からの仮想オブジェクトの3次元距離、(2)ディスプレイシステムのディスプレイ錐台が分解能調節ゾーンに分割される場合、固視点が位置する分解能調節ゾーンに対する、仮想オブジェクトが位置する分解能調節ゾーン、(3)仮想オブジェクトとユーザの視線との間の角度分離のうちの1つ以上のものを決定することによって決定されてもよい。固視点のより近くに近接する仮想コンテンツは、固視点からより遠いコンテンツより高い分解能で提示されてもよい。いくつかの実施形態では、仮想コンテンツの分解能は、仮想コンテンツが固視点に対して配置される深度平面または固視点が配置される深度平面の近接度に応じて変化する。いくつかの実施形態では、分解能に対する調節は、1つ以上のグラフィック処理ユニット、例えば、モジュール140、150(図9D)のうちの1つ以上のもの内に含まれるレンダリングエンジン等のレンダリングエンジンによって行われてもよい。
図10Aは、ディスプレイシステム(例えば、ディスプレイシステム60、図9D)によって提示されるコンテンツ(例えば、ディスプレイ錐台1004内に含まれるコンテンツ)を視認するユーザの上下図の表現の実施例を図示する。表現は、ユーザの眼210、220と、眼210、220の固視点1006の決定とを含む。図示されるように、各眼の視線は、ベクトル(例えば、ベクトル1003A、1003B)として表され、ディスプレイシステムは、例えば、それらのベクトルが眼210、22の正面で収束する場所を決定することによって、固視点1006を検出している。図示される実施例では、固視点1006は、ディスプレイシステムによって提示される第1の仮想オブジェクト1008Aの場所と一致する。眼追跡のためのシステムおよび方法の実施例は、2015年4月18日に出願された米国特許出願第14/690,401号(あらゆる目的のために、参照することによって組み込まれる)および添付の付録に見出され得る。例えば、眼追跡システムおよび方法は、少なくとも、付録の図25-27に説明されており、少なくとも部分的に、本明細書に説明されるように、眼追跡のため、および/または固視点を決定するために利用されることができる。
図10Aを継続して参照すると、第2の仮想オブジェクト1008Bもまた、ディスプレイシステムによって、ディスプレイ錐台1004内に提示される。視認者によって見られるようなこれらの仮想オブジェクト1008A、1008Bのビューは、レンダリングされたフレーム1010内に示される。レンダリングされたフレーム1010は、第1の分解能でレンダリングされた第1の仮想オブジェクト1008Aを含んでもよい一方、固視点1006から離れて位置する、第2の仮想オブジェクト1008Bは、第2のより低い分解能でレンダリングされる。具体的には、第2の仮想オブジェクト1008Bは、第1の仮想オブジェクト1008Aより深い深度にあって、その側面に向かって位置することが決定され得る。例えば、ディスプレイシステムが、本明細書に議論されるように、第2の仮想オブジェクト1008Bの深度を決定してもよい、または随意に、仮想コンテンツと関連付けられたコンテンツプロバイダが、ディスプレイシステムがその仮想オブジェクトをレンダリングするために利用し得る、仮想オブジェクトの深度を示してもよい。したがって、固視点1006は、上記に説明されるように、ユーザが見ている空間内の3次元場所を説明し、第2の仮想オブジェクト1008Bは、ユーザからより遠い深度に位置するとともに、固視点1006から側方に変位されていることが決定され得る。
理論によって限定されるわけではないが、ユーザの眼210、220が、第1の仮想オブジェクト1008Aを見ている状態では、第1の仮想オブジェクト1008Aの画像は、ユーザの中心窩に入り得る一方、第2の仮想オブジェクト1008Bの画像は、中心窩に入らないと考えられる。その結果、第2の仮想オブジェクト1008Bは、その第2の仮想オブジェクト1008Bに対するヒト視覚系のより低い感度に起因して、ディスプレイシステムの知覚される画質に有意な影響を伴わずに、分解能が低減されてもよい。加えて、より低い分解能は、有利には、画像を提供するために要求される算出負荷を低減させる。本明細書に議論されるように、第2の仮想オブジェクト1008Bがレンダリングされる、分解能は、固視点1006との近接度に基づいてもよく、分解能における低減(例えば、第1の仮想オブジェクト1008Aの分解能に対する)は、固視点1006と仮想オブジェクト1008Aとの間の近接度の減少(または距離の増加)に伴って、増加し得る。いくつかの実施形態では、分解能の減少率は、ヒトの眼内の錐体の密度の低減率または中心窩から離れるにつれた視力降下に準拠してもよい。
ディスプレイシステムによって提示される種々の仮想オブジェクトの分解能は、固視点が場所を変化させるにつれて動的に変動し得ることを理解されたい。例えば、図10Bは、ディスプレイシステムによって提示されるコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。図10Bに図示されるように、ユーザは、ユーザが第1の仮想オブジェクト1008Aに合焦していた図10Aと比較して、ここでは、第2の仮想オブジェクト1008Bに合焦している。ユーザの視線1003A、1003Bを監視することによって、ディスプレイシステムは、眼210、220が第2の仮想オブジェクト1008B上に輻輳していることを決定し、その場所を新しい固視点1006として設定する。
固視点1006の場所の本変化を検出することに応じて、ディスプレイシステムは、ここで、レンダリングされたフレーム1010に示されるように、第2の仮想オブジェクト1008Bを第1の仮想オブジェクト1008Aより高い分解能でレンダリングする。好ましくは、ディスプレイシステムは、ユーザの視線1003A、1003Bを十分に高周波数で監視し、第1の仮想オブジェクト1008Aおよび第2の仮想オブジェクト1008Bの分解能における遷移がユーザに実質的に知覚不能であるように、仮想オブジェクトの分解能を十分に迅速に変化させる。
図10Cは、ディスプレイシステム(例えば、ディスプレイシステム60、図9D)を介してコンテンツを視認するユーザの上下図の表現の別の実施例を図示する。実施例では、ユーザの視野1004は、固視点1006とともに図示される。3つの仮想オブジェクトが、図示され、第1の仮想オブジェクト1012Aは、第2の仮想オブジェクト1012Bまたは第3の仮想オブジェクト1012Cより固視点1006の近くに近接する。同様に、第2の仮想オブジェクト1012Bは、第3の仮想オブジェクト1012Cより固視点1006の近くに近接するように図示される。したがって、仮想オブジェクト1012A-1012Cが、ユーザに提示されると、ディスプレイシステムは、第1の仮想オブジェクト1012Aをレンダリングするステップが、第2の仮想オブジェクト1012Bより大きなリソース配分を与えられ(例えば、オブジェクト1012Aが、より高い分解能でレンダリングされる)、第2の仮想オブジェクト1012Bが、第3の仮想オブジェクト1012Cより大きいリソース配分を受けるように、リソースを配分し得る。第3の仮想オブジェクト1012Cは、随意に、視野1004外にあるため、全くレンダリングされなくてもよい。
分解能調節ゾーンが、図10Cの実施例に図示され、ゾーンは、深度および側方軸に沿って説明される楕円形(例えば、円形)である。図示されるように、固視点1006は、中心ゾーン1014Aの内側にあって、第1の仮想オブジェクト1012Aは、ゾーン1014B、1014C間かつユーザの中心窩視の円錐1004a内に延在する。第1の仮想オブジェクト1012Aは、したがって、ゾーン1014Bまたは1014Cと関連付けられた分解能でユーザに提示されてもよく、または随意に、ゾーン1014B内のオブジェクト1012Aの一部が、ゾーン1014Bの分解能に従って提示されてもよく、ゾーン1014C内の残りの部分は、ゾーン1014Cの分解能に従って提示されてもよい。例えば、ゾーンが最大(例えば、最高)分解能から低減された分解能を割り当てられる、ある実施形態では、第1の仮想オブジェクト1012Aは、割り当てられた分解能で提示されてもよい。随意に、第1の仮想オブジェクト1012Aは、分解能(例えば、ディスプレイシステムは、それを横断して第1の仮想オブジェクト1012Aが延在する任意のゾーンと関連付けられた最高分解能で表示するようにプログラムされてもよい)または分解能の中心傾向の測定値(例えば、測定値は、オブジェクト1012Aがゾーン1014B、1014C内に位置する範囲に従って加重され得る)のいずれかで提示されてもよい。図10Cを継続して参照すると、固視点1006からの異なる距離における分解能調節ゾーンは、異なる形状を有してもよいことを理解されたい。例えば、ゾーン1014Cは、ゾーン1014A-1014Cと異なる形状を有し、視野1004の輪郭に準拠してもよい。いくつかの他の実施形態では、ゾーン1014A-1014Cのうちの1つ以上のものは、ゾーン1014A-1014Cの1つ以上のその他と異なる形状を有してもよい。
図10Dは、例示的ディスプレイシステムのブロック図である。例示的ディスプレイシステム(例えば、ディスプレイシステム60、図9D)は、拡張現実ディスプレイシステムおよび/または複合現実ディスプレイシステムであってもよく、これは、本明細書に説明されるように、ユーザの固視点に従って、レンダリングハードウェアリソースの使用を調節することができる。例えば、図10Cに関して上記に説明されるように、レンダリングハードウェアリソース1021は、ユーザの固視点に従って調節されることができる。リソースアービタ1020が、そのようなリソース1021の使用を調整するために実装されてもよく、例えば、アービタ1020は、リソース1021を仮想オブジェクトをユーザに提示するステップと関連付けられた特定のアプリケーションプロセス1022に配分することができる。リソースアービタ1020および/またはレンダリングハードウェアリソース1021は、随意に、ディスプレイシステム60のローカル処理およびデータモジュール140(例えば、図9Dに図示されるように)および/または遠隔処理モジュール150内に含まれてもよい。例えば、レンダリングハードウェアリソース1021は、グラフィック処理ユニット(GPU)を備えてもよく、これは、図9Dに関して上記に説明されるように、モジュール140および/またはモジュール150内に含まれてもよい。
リソース1021を調節する実施例として、図10Cに関して、第1のアプリケーションプロセスと関連付けられた第1の仮想オブジェクト1012Aは、第2のアプリケーションプロセスと関連付けられた第2の仮想オブジェクト1012Bより多くのリソース1021の割当を配分されることができる。アプリケーションプロセス1022と関連付けられた仮想オブジェクトは、配分されるリソース1021に基づいてレンダリングされ、最終フレームバッファ1028の中に合成される(例えば、合成器1026によって)ことになるフレームバッファ1024内に含まれることができる。最終フレームバッファ1028は、次いで、ディスプレイハードウェア1030、例えば、図9Dに図示されるディスプレイ70によって提示されることができ、レンダリングされた仮想オブジェクトは、分解能が調節される。
本明細書に開示されるように、仮想オブジェクトの分解能は、仮想オブジェクトと固視点の近接度に基づいて決定されてもよい。いくつかの実施形態では、分解能は、仮想オブジェクトと固視点との間の距離の関数として修正されてもよい。いくつかの実施形態では、修正は、離散ステップにおいて生じてもよい。すなわち、類似修正が、特定の体積またはゾーン内に配置される全ての仮想オブジェクトに適用されてもよい。図11A1は、3次元固視点追跡に基づく、異なる分解能調節ゾーン内の分解能における調節の上下図の表現の実施例を図示する。ディスプレイシステムは、ディスプレイ錐台を複数の体積または分解能調節ゾーンに分割し、これらのゾーンに対応する離散ステップにおいて、分解能を修正してもよい。したがって、いくつかの実施形態では、仮想コンテンツの分解能における調節を決定するために、ディスプレイシステムは、空間の体積(以降、分解能調節ゾーンと称される)を説明する情報および分解能調節の各空間の体積への割当を利用してもよい。図示されるように、ディスプレイシステムによって提供される視野(例えば、ディスプレイのディスプレイ錐台)は、複数の異なるゾーンに分離され、それぞれ、ユーザからの深度の範囲(例えば、深度範囲1102A-1102E)を包含する。いくつかの実施形態では、各深度範囲1102A-1102Eは、ディスプレイシステムによって提示され得る、単一の関連付けられた深度平面を有する。図11A1を継続して参照すると、5つのゾーンが、ユーザからの各識別された深度の範囲を包含し、側方方向に沿って連続する。図示される例示的上下図では、視野は、25のゾーンのグリッド1100に分割される。各ゾーンは、仮想コンテンツがユーザのために設置され得る、実世界空間の体積を表す。
ゾーンはまた、図示されるグリッド1100が垂直方向に沿った1つの断面を表すように理解され得るように、本垂直方向に(例えば、示されないy-軸に沿って)延在してもよいことを理解されたい。いくつかの実施形態では、複数のゾーンはまた、垂直方向にも提供される。例えば、深度範囲あたり5つの垂直ゾーン、すなわち、合計125の分解能調節ゾーンが、存在してもよい。3次元に延在するそのようなゾーンの実施例は、図11Bに図示され、下記に説明される。
図11A1を継続して参照すると、ユーザの眼210、220は、グリッド1100内の特定の固視点1006を固視する。ディスプレイシステムは、固視点1006の場所および固視点1006が位置するゾーンを決定してもよい。ディスプレイシステムは、仮想コンテンツと固視点1006の近接度に基づいて、コンテンツの分解能を調節してもよく、これは、仮想コンテンツと固視点1006が位置するゾーンの近接度を決定するステップを含んでもよい。実施例として、固視点1006が位置するゾーン内に含まれるコンテンツに関して、分解能は、特定のポリゴンカウント、実施例では、10,000ポリゴンに設定されてもよい。固視点1006からの距離に基づいて、残りのゾーン内に含まれるコンテンツは、適宜、調節されてもよい。例えば、固視点1006を含むゾーンに隣接するゾーン内に含まれるコンテンツは、より低い分解能(例えば、1,000ポリゴン)でレンダリングされてもよい。図11A1の実施例は、本明細書に説明されるように、実施例として、ポリゴンカウントを調節するステップを図示するが、分解能を調節するステップは、提示されるコンテンツの分解能に対して他の修正を行うステップを包含してもよい。例えば、分解能における調節は、ポリゴンカウントを調節するステップ、仮想オブジェクトを生成するために利用されるプリミティブを調節するステップ(例えば、プリミティブの形状を調節するステップ、例えば、プリミティブを三角形メッシュから四辺形メッシュに調節するステップ等)、仮想オブジェクト上で実施される動作を調節するステップ(例えば、シェーダ動作)、テクスチャ情報を調節するステップ、色分解能、または深度を調節するステップ、レンダリングサイクルの数またはフレームレートを調節するステップ、およびグラフィック処理ユニット(GPU)のグラフィックパイプライン内の1つ以上の点における品質を調節するステップのうちの1つ以上のものを含んでもよい。
加えて、図11A1の実施例は、異なる分解能調節ゾーン内のポリゴンカウントにおける差異の特定の実施例を提供するが、ポリゴンの他の絶対数および固視点1006からの距離に伴った分解能の他の変化率も、検討される。例えば、固視点1006からの分解能の降下は、固視点1006からの深度および側方距離を中心として対称な降下率に基づき得るが、他の降下関係もまた、利用されてもよい。例えば、固視点1006からの側方距離が、固視点1006からの深度距離に対する分解能におけるより大きな降下と関連付けられてもよい。さらに、グリッド内に含まれる各ゾーンのサイズ(例えば、ゾーンの空間の体積のサイズ)は、随意に、異なってもよい(例えば、ゾーンは、中心窩軸から半径方向に変動してもよい)。いくつかの実施形態では、降下は、割り当てられた分解能を有する離散ゾーンまたは固視点1006を含有するゾーンとの分解能関係が利用されないように、固視点1006から連続してもよい。例えば、固視点1006から特定のゾーン1108(例えば、コンテンツが100ポリゴンの分解能でレンダリングされる、ゾーン)までの降下は、固視点1006からグリッドの縁(例えば、特定のゾーン1108の縁)まで連続降下であるように修正されてもよい。上記の考慮点のそれぞれはまた、垂直方向に延在するゾーンにも適用されることを理解されたい。
いくつかの実施形態では、グリッド内に含まれるゾーンの数およびサイズは、ユーザの固視点1006の決定と関連付けられた信頼度に基づいてもよい。例えば、信頼度は、ユーザの眼が固視点1006を固視していた時間量に基づいてもよく、より短い時間量は、より低い信頼度と関連付けられる。例えば、ディスプレイシステムは、ユーザの眼を特定のサンプリングレート(例えば、30Hz、60Hz、120Hz、1kHz)で監視してもよく、連続サンプルが、ユーザが、概して、固視点1006を維持していることを示すため、固視点1006における信頼度を増加させ得る。随意に、固視の特定の閾値が、利用されてもよく、例えば、特定の持続時間(例えば、100~300ミリ秒)にわたる、同一、または類似、固視点における固視は、高信頼度と関連付けられ得る一方、特定の持続時間未満は、より低い信頼度と関連付けられ得る。同様に、ユーザの固視点の決定に影響を及ぼし得る、散瞳等の眼内の変動は、ディスプレイシステムに信頼度を低減させ得る。ディスプレイシステムは、カメラ結像デバイス(例えば、カメラアセンブリ630、図6)等のセンサを用いて、眼を監視してもよいことを理解されたい。随意に、ディスプレイシステムは、センサの組み合わせを利用して、ユーザの眼視線を決定してもよい(例えば、眼からの赤外線反射を検出し、瞳孔を識別するために利用される、赤外線センサ、眼の虹彩を検出するために利用される、可視光結像デバイス等、異なる眼視線決定プロセスが、利用されてもよい)。ディスプレイシステムは、複数の眼視線決定プロセスが一致するとき、信頼度を増加させ得、それらが不一致である場合、信頼度レベルを減少させ得る。同様に、片眼のみの視線決定プロセスを行う、ディスプレイシステムに関して、各眼視線決定プロセスは、特定の信頼度レベルと関連付けられてもよく(例えば、一方の決定プロセスは、他方より正確と見なされ得る)、分解能調節ゾーンのサイズは、少なくとも部分的に、実装されているプロセスに基づいて選択されてもよい。
いくつかの実施形態では、ディスプレイシステムは、固視点1006の更新毎に、ゾーンの数を増加または減少させてもよい。例えば、固視点1006と関連付けられた信頼度が増加するにつれて、より多くのゾーンが、利用されてもよく、信頼度が減少するにつれて、より少ないゾーンが、利用されてもよい。図11A2は、ゾーンのサイズおよび数が変化するにつれた異なる時間における、分解能調節ゾーンの上下図の表現の実施例を図示する。時間t=1では、上下図に見られるように、ユーザの視野は、ゾーンの初期セットに分割されてもよい。時間t=2では、固視点1006の場所における信頼度は、増加し、ディスプレイシステムはまた、固視点1006によって占有され、高分解能でレンダリングされる、ゾーンのサイズを減少させてもよい。随意に、図示されるように、他のゾーンのサイズもまた、減少してもよい。時間t=3では、固視点1006の場所における信頼度が、減少し、ディスプレイシステムはまた、固視点1006によって占有され、高分解能でレンダリングされる、ゾーンのサイズを増加させてもよい。随意に、図示されるように、他のゾーンのサイズもまた、増加してもよい。複数のゾーンはまた、y-軸に延在してもよく、ゾーンのサイズおよび数における類似増加または減少はまた、その軸上で制定されてもよいことを理解されたい。例えば、y-軸上に垂直に延在するゾーンのサイズは、信頼度の増加に伴って減少してもよい一方、サイズは、信頼度の減少に伴って増加してもよい。随意に、ディスプレイシステムは、ディスプレイシステムによってユーザに提示されるフレーム毎に、固視点1006の信頼度を決定してもよく、t=1、t=2、およびt=3は、異なるフレームを表してもよい。より多くのゾーンを割り当てることは、算出電力の増加を要求し得る(例えば、ディスプレイシステムは、より多くのコンテンツの分解能を調節する、コンテンツが含まれるゾーンを識別する等の必要があり得る)ため、ディスプレイシステムは、ゾーン数における増加によってもたらされる要求される算出電力における増加と、コンテンツの分解能における潜在的減少によってもたらされる算出電力の節約との平衡をとってもよい。
再び図11A1を参照すると、グリッドは、固視点1006がグリッドの中心(例えば、重心)に位置するように設定され得るという意味において、動的に変化し得る。したがって、ディスプレイシステムは、固視点1006がグリッドの頂点上に位置すると決定される、縁ケースを回避し得る。例えば、ユーザの眼が、回転し、次いで、空間内の異なる3次元場所を固視するにつれて、グリッドは、同様に、ユーザの視線に伴って移動されてもよい。
図11B-11Eは、種々の分解能調節ゾーン構成の実施例を図示する。図示されない、分解能調節ゾーンの付加的形状および構成が、利用されてもよく、実施例は、包括的であると見なされるべきではない。加えて、いくつかの図面では、ユーザの眼210、220は、例証の容易性および明確性のために、種々の分解能調節ゾーンから離間されて図示され得る。全てのこれらの図面に関して、眼210、220は、ゾーンの境界またはその中に配置され得ることを理解されたい(例えば、図11A1参照)。
図11Bは、図11A1の分解能調節ゾーンの一部の3次元表現の実施例を図示する。図11A1は、図11Bの3次元表現の平面11A1-11A1に沿って得られた断面図を図示すると理解され得、図11Bは、例証を明確にするために、図11A1の分解能調節ゾーンのうちのいくつかを省略していることを理解されたい。図11A1を継続して参照すると、ディスプレイシステムによって提供される視野は、27のゾーンに分離される。すなわち、視野は、3つの深度範囲1102B-1102Dに分離され、各深度範囲において、深度範囲において側方および垂直に延在する、3×3グリッドのゾーンが、含まれる。
決定された固視点1006は、視野の中心に位置するゾーン内にあるように図示される。固視点1006を含むゾーンの外側のゾーン内に位置する、仮想オブジェクトは、本明細書に議論されるように、固視点1006ゾーンからの距離に従って、分解能が低減されてもよい。ゾーンは、側方および垂直に延在するため、分解能における低減は、固視点の分解能調節ゾーンからの側方、垂直、および深度軸(それぞれ、x、y、およびz-軸)上の距離に基づいて生じることができる。例えば、いくつかの実施形態では、ゾーン1108に位置する仮想オブジェクトは、図11A1に示されるように、側方距離に従って分解能が低減されることができる(例えば、ゾーン1108は、固視点1006を含むゾーンとユーザの視野の同一垂直部分を含み、同一深度平面上にあり得る)。
上記と同様に、かつ下記の図11C-11Eに説明されるゾーンと同様に、ユーザの固視点は、随意に、ゾーンの中心(例えば、重心)に位置するように維持されることができる、またはゾーンは、ユーザの視野に対して固定されることができ、ユーザの固視点は、ゾーンのいずれか内に位置することができる。
図11Cは、分解能調節ゾーンのための構成の別の実施例を図示する。実施例では、ディスプレイシステムによって提供される視野は、それぞれ、空間の特定の3次元体積を包含する、楕円形のゾーンに分離されるように図示される。図11A1と同様に、各ゾーン(例えば、ゾーン1112A-112D)は、側方および深度寸法に沿って延在する。いくつかの実施形態では、各ゾーンはまた、ユーザの垂直視野の少なくとも一部を包含するように延在する。固視点1006は、ゾーンの中心(例えば、ゾーン1112A内)にあるように図示される。ゾーン1112Aの外側のゾーン内に位置する、仮想オブジェクトは、ゾーン1112Aからの距離に従って、例えば、本明細書に説明される技法に従って、分解能が低減されてもよい。例えば、ゾーン1112Aの外側の各ゾーンは、特定の分解能を割り当てられることができる、または降下率が、分解能における低減を決定するために利用されることができる。ゾーン1112Dは、ゾーン1110Aから最も遠いゾーンとして図示され、分解能における低減は、ゾーン1112D内で最大であり得る。
図11Dは、図11Cの分解能調節ゾーンの3次元表現の実施例を図示し、図11Cは、平面11C-11Cに沿って得られた断面図を示す。本実施例では、ディスプレイシステムによって提供される視野は、それぞれ、空間の3次元体積を包含する、楕円体のゾーンに分離されるように図示される。ユーザの固視点1006は、ユーザの視野の重心に図示され、ゾーン1112A内に位置する。随意に、図11Dは、図11Cの各楕円形が楕円体に変換された状態を表し得る。いくつかの実施形態では、深度および側方方向に沿った図11Cのゾーン1112Aのサイズは、XおよびZ軸に沿った図11Dのゾーン1112Aの主軸のサイズを定義することができる。種々のゾーンは、同心球体または楕円体を形成してもよい。
図11Eは、図11Cの分解能調節ゾーンの3次元表現の別の実施例を図示し、図11Cは、平面11C-11Cに沿って得られた断面図を示す。ディスプレイシステムによって提供される視野は、スタックされたレベルの類似同心ゾーンに分離されるように図示される。例えば、図11Eは、図11Cの楕円形が、垂直方向に沿って延在され、円筒形を作成する様子を表し得る。円筒形は、次いで、各円筒形がユーザの垂直視野の一部を包含するように、垂直方向に分離され得る。したがって、図11Eは、円筒形の9つのゾーンを図示する。各ゾーンは、加えて、任意の内部ゾーンを除外する(例えば、楕円体1112Bは、楕円体1112Aによって包含される空間の体積を除外する、空間の体積を包含するであろう)。実施例では、固視点1006は、中心ゾーン1110A内にあるように図示され、中心ゾーン1110Aの外側に位置する、仮想オブジェクトは、本明細書に説明される技法に従って、分解能が低減されることができる。
図12Aは、3次元固視点との近接度に従って、コンテンツの分解能を調節するための例示的プロセス1200のフローチャートを図示する。便宜上、プロセス1200は、ディスプレイシステム(例えば、ウェアラブルディスプレイシステム60であって、これは、処理ハードウェアおよびソフトウェアを含んでもよく、随意に、情報を1つ以上のコンピュータまたは他の処理の外部システムに提供し、例えば、処理を外部システムにオフロードし、情報を外部システムから受信してもよい)によって実施されるように説明され得る。
ブロック1202では、ディスプレイシステムは、ユーザの3次元固視点を決定する。上記に説明されるように、ディスプレイシステムは、センサを含み、ユーザの眼と関連付けられた情報(例えば、眼の配向)を監視してもよい。センサの非包括的リストは、赤外線センサ、紫外線センサ、可視波長光センサを含む。センサは、随意に、赤外線、紫外線、および/または可視光をユーザの眼上に出力し、ユーザの眼からの出力された光の反射を決定してもよい。実施例として、赤外線光は、赤外線光エミッタおよび赤外線光センサによって出力されてもよい。光エミッタを含み得る、センサは、図6の結像デバイス630に対応してもよいことを理解されたい。
ディスプレイシステムは、センサを利用して、各眼と関連付けられた視線(例えば、中心窩から眼の水晶体を通して延在するようなユーザの眼から延在するベクトル)および各眼の視線の交点を決定してもよい。例えば、ディスプレイシステムは、赤外線光をユーザの眼上に出力してもよく、眼からの反射(例えば、角膜反射)が、監視されてもよい。眼の瞳孔中心(例えば、ディスプレイシステムは、例えば、赤外線結像を通して、瞳孔の重心を決定してもよい)と眼からの反射との間のベクトルが、眼の視線を決定するために使用されてもよい。視線の交点は、3次元固視点として、決定および割り当てられてもよい。固視点は、したがって、コンテンツが完全または最大分解能でレンダリングされることになる、場所を示し得る。例えば、決定された視線に基づいて、ディスプレイシステムは、ユーザが固視している空間内の3次元場所を三角測量してもよい。随意に、ディスプレイシステムは、固視点を決定するとき、ディスプレイシステムと関連付けられた配向情報(例えば、3次元空間内のディスプレイシステムの配向を説明する情報)を利用してもよい。
ブロック1204では、ディスプレイシステムは、ディスプレイシステムによってユーザに提示されている、または提示されることになる、コンテンツと関連付けられた場所情報を取得する。ユーザへの提示のために、コンテンツをレンダリングすることに先立って(例えば、上記に説明されるように、導波管の出力を介して)、ディスプレイシステムは、ユーザに提示されることになるコンテンツと関連付けられた場所情報を取得してもよい。例えば、上記に説明されるように、仮想コンテンツは、コンテンツが実世界に位置するように現れるように、ユーザに提示されてもよい(例えば、コンテンツは、ユーザの視野内の異なる深度に位置してもよい)。ディスプレイシステムは、周囲環境内の任意の仮想コンテンツの場所を知らせ得る、本周囲環境の3次元マップを含む、またはそこへのアクセスを有してもよいことを理解されたい。本マップを参照すると、ディスプレイシステムは、ユーザの視野内の仮想コンテンツの3次元場所(例えば、図10A-10Bに図示されるように、ディスプレイ錐台内の場所)を規定する情報にアクセスし、それを提供してもよい。
ブロック1206では、ディスプレイシステムは、ユーザに表示されることになる仮想コンテンツの分解能を調節する。ディスプレイシステムは、3次元固視点とのその近接度に基づいて、コンテンツの分解能を調節する。例えば、ユーザへの提示のためにコンテンツをレンダリングする、処理デバイス(例えば、中央処理ユニット、グラフィック処理ユニット)によって実装されるレンダリングエンジン等のレンダリングエンジンは、コンテンツをレンダリングする際に投資されるリソースを調節してもよい(例えば、レンダリングエンジンは、コンテンツの分解能を調節してもよい)。
ディスプレイシステムは、ユーザに提示されることになるコンテンツとユーザの固視点との間の3次元空間内の距離を決定してもよく、決定された距離に基づいて、コンテンツの分解能を低減させてもよい。低減は、降下率、例えば、距離とコンテンツの分解能を相関させる、連続関数に従って、決定されてもよく、ディスプレイシステムは、連続関数に基づいて、分解能を取得し、コンテンツをレンダリングしてもよい。随意に、ディスプレイシステムは、コンテンツの重心から固視点までの距離を決定してもよく、距離に基づいて、コンテンツをある分解能でレンダリングしてもよい。随意に、ディスプレイシステムは、固視点までの種々の部分の距離に従って、同一コンテンツの部分を異なる分解能でレンダリングしてもよい(例えば、ディスプレイシステムは、コンテンツを部分に分離してもよく、より近い部分と比較して、より遠い部分を低減された分解能でレンダリングしてもよい)。
いくつかの実施形態では、ディスプレイシステムは、ユーザの視野(例えば、ディスプレイ錐台に対応する)をゾーンに分離するために使用可能な情報にアクセスしてもよく、各ゾーンは、コンテンツが含まれ得る、空間の体積を表す。アクセスされる情報、例えば、図11A1に図示されるグリッドは、各ゾーン内に含まれることになるコンテンツをレンダリングするときに利用するための特定の分解能を示してもよく、3次元固視点は、グリッドの中心に設定される。加えて、グリッドは、コンテンツをレンダリングするときに利用するための分解能における降下率を示してもよい。複数のゾーン内に含まれるコンテンツ(例えば、2つのゾーンによって要求される3次元空間内に位置するコンテンツ)に関して、ディスプレイシステムは、随意に、コンテンツの分解能を調節し、単一ゾーンに対応させてもよい、または随意に、その部分が位置する対応するゾーンに従って、コンテンツの分解能を調節してもよい。
コンテンツの分解能を設定するとき、ディスプレイシステムは、固視点に位置する(例えば、固視点と同一ゾーン内の)コンテンツを完全または最大分解能でレンダリングする。最大分解能は、コンテンツが、閾値(例えば、60Hz、120Hz)を上回るリフレッシュレートでユーザに提示されることを確実にし、随意に、コンテンツが、輻輳・開散運動率(例えば、60msを上回る)を上回り、遠近調節時間(例えば、20ms~100ms)を上回る速度で更新され、分解能の変化の知覚能力を低減させることを確実にしながら、ディスプレイシステムのハードウェアおよび/またはソフトウェアがレンダリングすることが可能である、最大値に基づいてもよい。ディスプレイシステムは、例えば、ディスプレイシステムが各フレームをレンダリングすることに先立って、ディスプレイシステムの利用可能なリソースに基づいて、最大分解能を動的に修正してもよい。例えば、より多くのコンテンツが、ユーザに提示されることになるにつれて、コンテンツの最大分解能は、減少され、ディスプレイシステムが、レンダリングされたコンテンツのフレームを分解能の変化の知覚能力を低減させるために所望される閾値率を上回って提示し得ることを確実にしてもよい。ディスプレイシステムは、随意に、コンテンツが提示されている、1秒あたりフレームを監視してもよく、固視点からの距離に基づいて、最大分解能を調節および/または分解能降下率を調節し、提示される1秒あたりフレームが閾値率を下回らないことを確実にしてもよい。実施例として、ディスプレイシステムは、固視点のゾーンに位置する第1の仮想オブジェクト等のコンテンツを最大分解能でレンダリングしてもよい。第1の仮想オブジェクトの最大分解能を低減させ、1秒あたりフレームが特定の閾値を上回ったままであることを確実にする代わりに、ディスプレイシステムは、距離に基づいて、分解能の降下率を動的に増加させてもよい。このように、ディスプレイシステムは、固視点のゾーンの外側の各ゾーンに割り当てられる分解能を調節してもよい。随意に、ディスプレイシステムは、固視点のゾーンの外側の各ゾーン内で使用され得る、最小分解能を設定してもよく、最小分解能を超えるであろう場合、最大分解能を調節してもよい(例えば、ディスプレイシステムが、コンテンツの分解能を最小値を下回って低減させ、閾値率を維持する必要がある場合、ディスプレイシステムは、最大分解能を低減させてもよい)。同様に、ディスプレイシステムは、固視点のゾーンの外側のゾーン内のコンテンツの分解能を低減させずに、最大分解能を低減させてもよい。随意に、ディスプレイシステムのユーザは、固視点に近接して位置するコンテンツが他のコンテンツより選好を与えられることを好むかどうかを示してもよい。
いくつかの実施形態では、図13-14に関して下記により詳細に説明されるように、ディスプレイシステムは、随意に、コンテンツとユーザの視線の角度近接度を利用して、コンテンツの分解能を調節してもよい。例えば、特定のコンテンツが、特定のコンテンツがユーザの眼の中心窩に入るであろうように、固視点が位置するゾーンの外側であるが、ユーザの視線の閾値近接度内に位置する場合、ディスプレイシステムは、特定のコンテンツをより高い分解能(例えば、最大分解能または図11A1に図示されるグリッドに示されるものを上回る分解能)でレンダリングさせてもよい。随意に、ディスプレイシステムは、特定のコンテンツの分解能を低減させ、ぼかしプロセス(例えば、ガウスぼかし)を特定のコンテンツに適用してもよい。このように、特定のコンテンツは、より低い分解能でレンダリングされる一方、ぼかされ、特定のコンテンツが、例えば、固視点よりユーザからより遠いことを表してもよい。加えて、ぼかしは、より低い分解能の知覚能力を低減させ得る(例えば、ぼかしは、より低い分解能に起因するピクセルサイズの増加の知覚能力を低減させ得る)。
仮想コンテンツを提示するステップと関連付けられた例示的動作が、図12B-12Cに図示される(例えば、レンダリングパイプライン)。図12Bの実施例では、3次元場面が、本明細書に説明されるように行われる分解能に対する調節を伴わずに、ユーザに提示される。図12Cでは、分解能に対する調節が、本明細書に説明されるように、固視点情報に従って実施される。例えば、以下の調節のうちの1つ以上のもの、すなわち、頂点動作複雑性を低減させるステップ、詳細の平面充填レベルを低減させるステップ、幾何学形状生成を低減させるステップ、複数のピクセルのピクセル動作複雑性/集約を低減させるステップ等が、実施されることができる。調節は、図示されるように、有利には、仮想コンテンツを提示するためのパイプライン内の異なるステップで実施されることができ、仮想コンテンツを提示するために利用される特定のソフトウェアおよび/またはハードウェアに従って最適化されることができる。図12Cに記載される忠実性ゾーンは、分解能調節ゾーンであることを理解されたい。
再び図12Aを参照すると、ディスプレイシステムは、ブロック1208において、調節されたコンテンツをユーザに提示する。上記に説明されるように、ディスプレイシステムは、3次元固視点との近接度に基づいて、コンテンツの分解能を調節している。続いて、ディスプレイシステムは、レンダリングされたコンテンツを関連付けられた場所においてユーザに提示する。いくつかの実施形態では、ディスプレイシステムは、レンダリングされることになるコンテンツのフレーム毎に、プロセス1200を実施してもよい、またはユーザがその固視点を調節するにつれて、コンテンツの分解能を調節してもよい。
上記に述べられたように、いくつかの実施形態では、仮想オブジェクトは、ユーザの通視線内にある一方、また、異なる深度に提示されてもよい。図13は、ユーザの通視線と整合される複数の仮想オブジェクトを視認するユーザの表現の実施例を図示する。例示的表現は、ユーザの視野(例えば、ディスプレイシステムのディスプレイ錐台1004)とともに、ユーザの眼210、220の視線1003A、1003Bを含み、これは、第1の仮想オブジェクト1008A上の固視点に固視される。
図示されるように、第2の仮想オブジェクト1008Bは、第2の仮想オブジェクト1008Bが、ユーザの中心窩に入る(例えば、眼のいずれかの少なくとも1つの中心窩に入る)であろうように、ユーザの視線(例えば、視線ベクトル1003A、1003Bの一方または両方)の角度近接度内にある。例えば、フレーム1110をレンダリングすることに応じて、第2の仮想オブジェクト1008Bは、第1の仮想オブジェクト1008Aの背後(例えば、そこからより深い知覚される深度)に位置する。中心窩は、最高視力を有する網膜の部分であることを理解されたい。第2の仮想オブジェクト1008Bは、ユーザの中心窩に入るであろうため、第2の仮想オブジェクト1008Bの分解能が、低減される(例えば、少なくとも図11A1に関して上記に説明されるように、低減される)場合、ユーザは、分解能における低減を知覚し得る。分解能における知覚可能低減を回避するために、ディスプレイシステムは、(1)第2の仮想オブジェクト1008Bを第1の仮想オブジェクト1008Aと同一分解能で、または第1の仮想オブジェクト1008Aの閾値分解能内でレンダリングさせる、および/または(2)第2の仮想オブジェクト1008Bを低減された分解能でレンダリングさせ(例えば、図11A1に示されるように)、ユーザへの提示に先立って、ぼかしを第2の仮想オブジェクトに適用させてもよい。理論によって限定されるわけではないが、ぼかしは、深度キューを提供しながら、分解能における低減をマスクし得る。
図14は、ユーザの視線からの角度距離に基づいて仮想コンテンツを調節するためのプロセス1400の実施例のフローチャートである。便宜上、プロセス1400は、ディスプレイシステム(例えば、ウェアラブルディスプレイシステム60であって、これは、処理ハードウェアおよびソフトウェアを含んでもよく、随意に、情報を1つ以上のコンピュータまたは他の処理ユニットの外部システムに提供し、例えば、処理を外部システムにオフロードし、情報を外部システムから受信してもよい)によって実施されるように説明されるであろう。例示的プロセス1400では、ディスプレイシステムは、各フレームが同一深度平面上に提示され、随意に、提示されることになる全てのコンテンツを単一フレームバッファの中に畳み込ませる、可変焦点ディスプレイシステムであって、すなわち、可変焦点ディスプレイシステムは、仮想コンテンツを一度に1つの深度平面上に提示する。
ディスプレイシステムは、ユーザの3次元固視点を決定し(ブロック1402)、提示されるコンテンツと関連付けられた場所情報を取得する(ブロック1404)。ブロック1402および1404は、それぞれ、図12Aのブロック1202および1204に対応してもよい。図12Aを参照して上記に説明されるように、ディスプレイシステムは、ユーザの眼移動(例えば、眼配向)を監視し、ユーザの固視点を決定する。ディスプレイシステムは、提示されることになるコンテンツの場所情報(例えば、次のフレーム内の)を取得してもよく、続いて、コンテンツの分解能を調節してもよい。
図14を継続して参照すると、ディスプレイシステムは、分解能が低減されることになり、ユーザの視線からの閾値角度距離内に位置する、コンテンツを決定する(ブロック1406)。ディスプレイシステムは、固視点からのコンテンツの近接度に起因して分解能が低減されることになる(例えば、コンテンツが固視点より深い深度に位置する)が、ユーザの中心窩に入る(例えば、ユーザの視線からの閾値角度以内に入る)であろう、コンテンツを識別する。コンテンツは、ユーザの中心窩に入るであろうため、ユーザは、本明細書に説明される3次元固視点中心窩化レンダリングによるように、分解能における低減を知覚することが可能であり得る。コンテンツブロック1406は、図12Cに図示されるブロック、特に、セクション「GPU」で識別されたブロックを実施するステップを含んでもよいことを理解されたい。
その結果、ブロック1408では、ディスプレイシステムは、随意に、決定されたコンテンツをより高い分解能でレンダリングさせてもよい。ディスプレイシステムは、完全分解能(例えば、固視点または固視点と同一ゾーンまたは空間の体積内に位置するコンテンツと同一分解能)となるように、またはそうでなければコンテンツに割り当てられるであろう低減された分解能(例えば、ブロック1406に説明されるように)を上回るように、決定されたコンテンツの分解能を調節してもよい。
ブロック1410では、ディスプレイシステムは、随意に、コンテンツの分解能を低減させてもよく、ユーザへの提示に先立って、コンテンツをぼかしてもよい。上記に説明されるように、可変焦点ディスプレイシステムは、単一ディスプレイバッファを利用して、コンテンツをユーザに提示してもよい。可変焦点ディスプレイシステムは、全てのコンテンツを同一深度平面に提示するため、可変焦点ディスプレイシステムは、同一ディスプレイバッファを利用して、コンテンツを、例えば、レンダリングエンジンから出力してもよい。
随意に、ディスプレイシステムは、各深度バッファが1つ以上の深度平面を割り当てられる、初期深度バッファを利用してもよく、初期深度バッファを組み合わせて、ディスプレイバッファを取得してもよい。図13の例証を参照すると、第1の深度バッファは、第1の仮想オブジェクト1306を含んでもよい一方、第2の深度バッファは、第2の仮想オブジェクト1308を含んでもよい。ディスプレイシステムは、次いで、ぼかしプロセスを第2の深度バッファまたは第2の深度バッファ内に含まれる特定のコンテンツに適用してもよい(例えば、ディスプレイシステムは、ぼかしプロセスを第2の仮想コンテンツ1308に適用するが、同一深度平面上であるが、ユーザの視線からより遠い角度距離に位置する、他のコンテンツには適用しなくてもよい)。ぼかしプロセスを実施後、ディスプレイシステムは、第1の深度バッファおよび第2の深度バッファを組み合わせ(例えば、ディスプレイシステムは、オクルージョンを追加し、例えば、第1の仮想オブジェクト1306によるオクルージョンに起因して不可視の第2の仮想オブジェクト1308の部分を除去してもよい)、ディスプレイバッファを取得してもよい。
例示的ぼかしプロセスは、ディスプレイシステムが、ぼかしと関連付けられたカーネルの畳み込み(例えば、ガウスカーネル、破壊効果を再現するため等の円形カーネル、ボックスぼかし等)をコンテンツに実施するステップを含んでもよい。このように、分解能における低減は、マスクされ得る一方、分解能を低減させることから生じる処理の節約は、維持され得る。随意に、ぼかしプロセスと関連付けられた強度(例えば、コンテンツがぼかされる程度)は、ユーザの固視点とコンテンツとの間の深度における差異および/またはコンテンツとユーザの視線の角度近接度に基づいてもよい。例えば、ぼかしの程度は、ユーザの視線との近接度の増加に伴って増加してもよい。
いくつかの実施形態では、ディスプレイシステムは、ディスプレイシステムのハードウェアおよび/またはソフトウェアに従って、ブロック1408または1410の特徴を利用してもよい。例えば、特定のハードウェア(例えば、グラフィック処理ユニット)は、ハードウェアの性能に対する閾値に到達せずに、ぼかしプロセスをハードウェア内で実施することが可能であり得る。本特定のハードウェアに関して、ディスプレイシステムは、コンテンツの分解能を低減させ、次いで、コンテンツをぼかすように構成されてもよい。しかしながら、他のハードウェアは、ぼかしプロセスを実施するには低速であり得、コンテンツをより高い分解能でレンダリングすることは、より高い性能をもたらし得る。本他のハードウェアに関して、ディスプレイシステムは、コンテンツをより高い分解能でレンダリングするように構成され得る。さらに、コンテンツをより高い分解能またはぼかしを伴ってより低い分解能でレンダリングするかどうかの決定は、表示されることになるコンテンツのタイプに依存し得る。例えば、ディスプレイシステムは、テキストをより高い分解能でレンダリングする一方、形状をより低い分解能でレンダリングし、ぼかすように構成されてもよい。
図14を継続して参照すると、ブロック1412では、ディスプレイシステムは、コンテンツをユーザに提示する。ディスプレイシステムは、調節されたコンテンツを、例えば、上記に説明されるように、同一ディスプレイバッファからユーザに提示してもよい。

II.周囲照明レベルに基づく分解能調節
z-軸に沿った分解能における低減に加えて、またはその代替として、分解能における低減を伴って仮想コンテンツを提示するための種々の他のスキームが、いくつかの実施形態では、実装されてもよい。有利には、本明細書に記載のように、仮想コンテンツのいくつかの側面は、比較的に高分解能で提示されてもよく、ある他の側面は、比較的に低分解能で提示されてもよく、これは、ディスプレイシステムによる算出およびエネルギーリソースの使用を低減させ得る一方、好ましくは、仮想コンテンツの知覚される画質に殆ど影響を及ぼさない。
ここで図15を参照すると、ユーザの眼の網膜の表現の実施例が、図示される。図示される図は、その網膜の視軸に沿って頭部を上にして視認されるときに見られるような網膜1500を示す。網膜1500は、周辺エリア1530によって囲繞される中心窩1510を含む。中心窩1510内には、視軸と交差する、小窩1520がある。
網膜は、2つのタイプの光受容体、すなわち、桿体および錐体を含むことを理解されたい。加えて、網膜を横断したこれらの光受容体の分布は、変動し、網膜を横断した異なる桿体および錐体密度を提供する。
ここで図16を参照すると、図15の網膜1500の分解能およびそれを横断した桿体および錐体密度の実施例が、図式的に図示される。x-軸は、視軸が網膜と交差する点に対する偏心度を示す。ページ上の右方向は、鼻方向であって、ページ上の左方向は、こめかみ方向である。図示されるように、ヒトの眼の分解能は、網膜内の光受容体(桿体および錐体)の密度と大まかに相関する。その結果、いくつかの実施形態では、xおよびy-軸上(例えば、所与の深度平面上)の仮想コンテンツの分解能(例えば、空間分解能)における低減またはテーパは、錐体密度、桿体密度、または桿体および錐体密度の集合の網膜を横断した低減に実質的に追従し得る。例えば、ユーザの視野を横断した固視点から離れるにつれた分解能低減の傾向は、網膜の対応する部分にわたる光受容体密度(例えば、錐体密度、桿体密度、または桿体および錐体密度の集合)の変化における傾向の±50%、±30%、±20%、または±10%以内であり得る。いくつかの実施形態では、固視点から離れるにつれた分解能における低減は、段階的であって、密度変化に実質的に追従する。いくつかの他の実施形態では、分解能における低減は、ステップ(例えば、1つのステップ、2つのステップ等)において生じ得る。例えば、2つのステップ、すなわち、小窩と相関される視野の最高分解能領域、中心窩と相関される中分解能領域、および周辺エリアと相関されるより低い分解能領域が、存在し得る。
図16を継続して参照すると、異なる光受容体は、異なる光条件下、例えば、異なる周囲照明レベルでは、異なるレベルの活性を有することを理解されたい。その結果、光受容体の密度に追従する分解能における低減は、いくつかの照明レベルでは、ユーザに顕著に知覚可能ではない場合があるが、他の照明レベルでは、知覚可能であり得ることが可能性として考えられる。その結果、いくつかの実施形態では、x、y、またはz-軸に沿った仮想コンテンツの分解能における低減は、外部光条件を参照して設定されてもよい。
例えば、眼の視覚挙動は、光条件に基づいて、3つのモードに分割され得る。3つのモードは、明所視、薄明視、および暗所視である。明所視は、典型的には、明るい条件、例えば、約10~10cd/mを含む、約3cd/m以上の周囲光または照明レベルで生じる。明所視では、錐体が、主に、活性である。暗所視では、桿体が、主に、活性である。薄明視では、桿体および錐体の両方が、活性であり得る。本明細書で使用されるように、周囲光条件または照明レベルは、ユーザの眼およびその網膜が暴露される、光の量を指す。
薄明視は、典型的には、より低い光条件、例えば、約10-3~100.5cd/mの照明レベル下で生じる。錐体および桿体の両方が、薄明視内の少なくともいくつかの照明レベルでは活性であって、桿体または錐体の優勢は、周囲照明レベルが増加または減少するかどうかに応じて、経時的に変化する。眼がより明るい環境に適合するにつれて、より多くの錐体が、桿体と比較して活性化され、他方では、眼が暗い環境に適合するにつれて、より多くの桿体が、錐体と比較して活性化される。
暗所視は、典型的には、照明レベルが明所視に関する照明レベル未満である、光条件下で生じる。例えば、暗所視は、約10-3~10-6cd/mを含む、約10-2cd/mまたはそれ未満または約10-3cd/mまたはそれ未満の照明レベルで生じ得る。桿体が、主に、暗所視において活性である。明所視、薄明視、および暗所視に関して本明細書に記載される照明レベルは、実施例であることを理解されたい。いくつかの実施形態では、視覚のタイプのそれぞれと関連付けられた照明レベルは、ユーザ選好および/またはユーザが属するグループ(例えば、性別、年齢、民族性、視覚的異常の存在等に基づいて)のためのカスタマイズに基づいて恣意的に割り当てられてもよい。
いくつかの実施形態では、ユーザにおいて活性である視覚のタイプ(明所視、薄明視、または暗所視)は、周囲照明レベルの測定に基づいて決定されてもよい。例えば、ディスプレイシステムは、外向きに面したカメラ112(図9D)等の光センサを使用して、周囲照明レベルを測定するように構成されてもよい。いくつかの実施形態では、ディスプレイシステムは、別のセンサまたはデバイスと通信してもよく、これは、周囲照明レベルに関する情報を提供する。
頭部搭載型ディスプレイシステムは、外向きに面したカメラが眼上に衝突する光の量を正確に反映させる輝度レベルを与え得ないように、周囲光の一部を遮断または減衰させてもよいことを理解されたい。加えて、ディスプレイシステムはまた、光を眼に投影させ、仮想コンテンツを提供する際、眼が暴露される照明レベルを改変し得る、光源となる。いくつかの他の実施形態では、内向きに面したカメラが、輝度レベルを決定するために利用されてもよい。例えば、輝度レベルは、瞳孔のサイズと大まかに相関される。図17は、瞳孔サイズとユーザの眼上に入射する光の量との間の関係の実施例を図式的に図示する。x-軸は、輝度に関する値を示し、y-軸は、瞳孔エリアに関する値を示す。その結果、ディスプレイシステムは、ユーザの瞳孔エリアを決定し、次いで、本瞳孔エリアに基づいて、輝度を外挿するように構成されてもよい。例えば、ディスプレイシステムは、内向きに面したカメラ500(図6)を使用して、ユーザの眼210の画像を捕捉し、次いで、画像を分析し、瞳孔エリアまたは瞳孔エリアを示す他のメトリック(例えば、瞳孔直径または幅)を決定するように構成されてもよい。例えば、カメラによって捕捉された画像内の眼210の瞳孔によって占有されるエリアが、決定され、次いで、カメラの光学系によって生じる任意のスケーリング係数に関して補正されてもよい。有利には、瞳孔エリアを使用して、輝度レベルを決定するステップは、一部の周囲光を遮断する、ディスプレイによって生じる周囲輝度レベルにおける低減と、また、ディスプレイ自体の光出力による輝度レベルへの寄与との両方を効果的に考慮し得る。
図17を継続して参照すると、ディスプレイシステムは、決定された瞳孔エリアに基づいて、ユーザの眼が、明所視、薄明視、または暗所視モードにあるかどうかを決定するように構成されてもよい。例えば、ディスプレイシステムは、メモリ内に、特定の瞳孔エリアに関して予期される視覚モードを規定するテーブルまたは他の記憶される情報を常駐させてもよい。実施例として、図17に示されるグラフと一致して、ディスプレイシステムは、約3mmまたはそれ未満の瞳孔エリアを明所視を示す、3mmまたはそれを上回って最大約38mmの瞳孔エリアを薄明視を示す、38mmを上回る瞳孔エリアを暗所視を示すとカテゴリ化してもよい。これらの輝度値および関連付けられた視覚モードは、実施例であって、他の値が、代用されてもよいことを理解されたい。例えば、異なる値が、ユーザからの入力に応答して、異なるユーザに適用されてもよい、または異なる値が、ユーザが入り得る特定のカテゴリ(例えば、性別、年齢、民族性、視覚的異常の存在等)に基づいて適用されてもよい。加えて、ディスプレイシステムは、必ずしも、具体的視覚モードを識別するわけではないことを理解されたい。むしろ、ディスプレイシステムは、単に、特定の測定された瞳孔エリアと特定の分解能レベルまたは調節を関連付けるように構成されてもよい。
いくつかの実施形態では、内向きに面したカメラ510(図6)および外向きに面したカメラ112(図9D)の両方からの入力が、輝度レベルを決定するために利用されてもよい。例えば、ディスプレイシステムは、カメラ510および112を使用して決定された輝度レベルの平均(加重された平均を含む)をとるように構成されてもよい。上記に述べられたように、カメラ510を使用して決定された輝度レベルは、そのカメラ510を使用してユーザの眼を結像することに基づいて、ユーザの眼の瞳孔エリアのサイズから外挿されてもよい。
桿体および錐体は、異なるレベルの視力および色およびコントラストに対する異なる感度を有することを理解されたい。その結果、周囲輝度レベルは、桿体および/または錐体が活性であるかどうかに影響するため、異なる周囲輝度レベルにおいて、視力および色およびコントラストに対する感度における差異が存在する。有利には、視力および色およびコントラストに対する感度における光レベル差異は、分解能を低減させるための付加的基礎を提供するように適用されてもよく、これは、上記に説明されるように(例えば、図12Aおよび14に関して)、固視点に基づく分解能の変化と併せて利用されてもよい、または固視点に基づく分解能の変化を具体的に行わなくても、別個に利用されてもよい。
ここで図18を参照すると、ユーザの眼上に入射する光の量に基づいて仮想コンテンツを調節するためのプロセス1800の実施例の略図が、示される。便宜上、プロセスは、ディスプレイシステム(例えば、ウェアラブルディスプレイシステム60(図9D)であって、これは、処理ハードウェアおよびソフトウェアを含んでもよく、随意に、情報を1つ以上のコンピュータまたは他の処理ユニットの外部システムに提供し、例えば、処理を外部システムにオフロードし、情報を外部システムから受信してもよい)によって実施されるように説明され得る。
ブロック1810では、ディスプレイシステムは、網膜に到達する光の量を決定する。好ましくは、本決定は、網膜上に衝突する光の直接測定ではなく、網膜に到達する光の量の推定である。本推定は、本明細書に議論されるように、輝度レベルを決定するために開示される方法を使用して行われてもよい。例えば、輝度レベルは、網膜に到達する光の量に対応するように仮定されてもよい。結果として、網膜に到達する光の量を決定するステップは、ユーザの瞳孔のサイズを決定するステップおよび/またはディスプレイデバイス上の外向きに面したカメラ等の光を検出するように構成されるセンサを使用して周囲輝度レベルを決定するステップを含んでもよい。
ブロック1820では、ディスプレイシステムは、ブロック1810において網膜に到達することが見出される光の量に基づいて、ユーザに提示されることになる仮想コンテンツの分解能を調節する。いくつかの実施形態では、仮想コンテンツの分解能を調節するステップは、空間分解能、色深度、および仮想コンテンツの光強度分解能のうちの1つ以上のものを調節するステップを含む。ヒト視覚系は、明所視照明レベル下において、最大の視力および空間分解能、色、および光強度に関する感度を有することを理解されたい。空間分解能、色、および光強度における差異を知覚する能力は、薄明視照明レベル下では、減少し、暗所視照明レベル下では、さらに減少する。
その結果、いくつかの実施形態では、存在する光の量が、明所視に関するレベルに対応することが見出される場合、仮想オブジェクトは、完全または高空間分解能でレンダリングされてもよい(薄明視または暗所視のために利用されるであろう、空間分解能と比較して)。存在する光の量が、薄明視レベルに関するレベルに対応することが見出される場合、仮想オブジェクトは、明所視照明レベル下の仮想オブジェクトのために利用される空間分解能と比較して、低減された空間分解能でレンダリングされてもよい。光の量が、暗所視レベルに対応することが見出される場合、仮想オブジェクトは、薄明視または明所視照明レベル下で使用されるものより低い空間分解能でレンダリングされてもよい。空間分解能は、本明細書に説明されるように、例えば、ポリゴンの数を低減させること等によって調節されてもよい。
色深度またはビット深度も同様に、照明レベルに応じて調節されてもよく、最高色深度は、明所視照明レベル下で使用され、中間色深度は、薄明視照明レベル下で使用され、最低色深度は、暗所視照明レベル下で使用される。色深度は、ピクセルの色成分毎に使用されるビットの数を変化させることによって調節されてもよく、より少ないビットは、より低い色深度に匹敵することを理解されたい。
同様に、理論によって限定されるわけではないが、光強度における階調は、照明レベルが、明所視から、薄明視、暗所視照明レベルへと進行するにつれて、より大きくなると考えられる。換言すると、ヒト視覚系は、周囲照明レベルが減少するにつれて、光強度におけるより小さい差異を判別することが可能であると考えられる。いくつかの実施形態では、ディスプレイシステムは、照明レベルが、明所視から、薄明視、暗所視照明レベルに進行するにつれて、光強度におけるより少ない階調を表示するように構成されてもよい。その結果、光強度レベルにおける最大数の階調は、明所視照明レベル下で提示され、より少ない階調は、薄明視照明レベル下で提示され、さらにより少ない階調は、暗所視照明レベル下で提示される。
加えて、いくつかの実施形態では、ディスプレイシステムは、ユーザが知覚可能なものより多数の光強度における階調を提供することが可能であり得る。これの実施例は、図22a-22cに図示され、下記にさらに議論される。例えば、ディスプレイシステムは、所与の画像ピクセルに関して、256の異なるレベルの強度を表示可能であり得るが、ユーザは、より少ない数のレベル、例えば、64のレベルのみを知覚可能であり得る。本インスタンスでは、複数の可能性として考えられる光強度レベルが、知覚可能な光強度レベルのうちの単一の1つ内に包摂される。例えば、ディスプレイシステムは、4つの異なる光強度レベルを表示することが可能であり得るが、ユーザは、4つ全てを類似しているように知覚し得る。複数の可能性として考えられる光強度がユーザによって同一であるように知覚される、そのような状況では、ディスプレイシステムは、類似であるように知覚されるこれらの値から、表示のために、最低強度値を選択するように構成されてもよい。その結果、ディスプレイシステムは、より低い強度を利用し、それによって、ディスプレイを照明するために使用される電力の量を低減させ、所望の光強度を達成することが可能であり得る。これは、空間光変調器の個々のピクセル自体が有機および無機LED等の光エミッタである、ディスプレイシステムにおいて特定の利点を有し得る。いくつかの実施形態では、階調の数は、周囲照明レベルの減少に伴って減少し、ディスプレイシステムは、より多数の可能性として考えられる光強度レベルをともにグループ化し、最低光強度のグループを表示するように構成される。
表示されることになる仮想コンテンツに関して、空間分解能、色深度、および光強度分解能のうちの1つ、2つ、または3つ全てが、ユーザに指向される光条件(ユーザの網膜に到達する光の量)に基づいて変化されてもよいことを理解されたい。光条件に基づく、空間分解能、色深度、および/または光強度分解能に対するこれらの調節は、本明細書に開示されるように、ユーザの眼の固視点からの距離に基づいて分解能に対する調節を行わずに、仮想コンテンツ全体に行われてもよい。いくつかの他の実施形態では、光条件に基づく空間分解能、色深度、および/または光強度分解能に対する調節は、固視点からの距離に基づく分解能に対する調節と併せて行われてもよい(例えば、図12Aおよび14参照)。いくつかの実施形態では、分解能が、固視点からの距離に伴って減少する場合、所与の平面上(xおよびy-軸上)の減少のプロファイルは、好ましくは、網膜の対応する部分を横断した錐体密度の変化のプロファイルに合致する。
いくつかの実施形態では、本明細書に記載のように、空間分解能、色深度、および/または光強度分解能に対する調節は、好ましくは、所与の時間に活性である視覚のモード(明所視、薄明視、または暗所視)に結び付けられる。これらの調節は、視覚のモードが変化する場合、動的に変化してもよい。例えば、ユーザが、明所視から暗所視に進行すると、分解能は、本明細書に議論されるように、減少し得る。逆に言えば、ユーザが、暗所視から薄明視に進行すると、仮想コンテンツの分解能は、増加し得る。分解能に対する調節を特定の視覚のモードに結び付けることは、ユーザがその特定のモードにあるという具体的決定を要求しないことを理解されたい。むしろ、ディスプレイシステムは、単に、特定の周囲照明レベルまたは瞳孔サイズの範囲と、空間分解能、色深度、または光強度分解能にかかわらず、特定の分解能を関連付けるように構成されてもよい。加えて、分解能調節は、好ましくは、本明細書に議論されるように、3つのレベルの光条件(3つの視覚のモードに対応する)に結び付けられるが、いくつかの実施形態では、分解能調節は、2つのレベルの光条件または3つを上回るレベルの光条件に結び付けられてもよい。
また、分解能調節は、リアルタイムで(例えば、周囲光条件が変化するにつれて)生じてもよい、または設定された持続時間にわたって、遅延され、仮想コンテンツに対する分解能調節が行われる前に、ヒト視覚系が既存の光条件に適合することを可能にしてもよいことを理解されたい。理論によって限定されるわけではないが、ヒト視覚系は、異なる照明レベルに適合するために、ある時間周期を要求し、時間周期は、照明レベルが減少するにつれて増加すると考えられる。その結果、いくつかの実施形態では、照明レベルを変化させることに起因する、分解能における調節は、ユーザが設定された時間量にわたって特定の照明レベルに暴露される(例えば、実質的に持続的に暴露される)まで行われない。例えば、設定された時間量は、5分、10分、15分、または20分であってもよい。
図18を継続して参照すると、ブロック1830では、仮想コンテンツが、ユーザに提示される。本仮想コンテンツの提示は、本明細書に議論されるように、例えば、図12Aのブロック1208または図14のブロック1412におけるように行われてもよい。
ここで図19を参照すると、眼上に入射する光の量が変化するにつれたユーザの眼によって検出可能な分解能の変化の実施例が、図式的に図示される。本図は、異なる視覚モード下における空間分解能に対するヒト視覚系の感度の実施例を図示する。暗所視は、低光量領域1910内で生じ、薄明視は、中光領域1920内で生じ、明所視は、明るい光領域1930内で生じる。示されるように、空間分解能に対する感度は、周囲照明レベルが減少するにつれて実質的に減少する。いくつかの実施形態では、図18に関して上記に議論される、空間分解能に対する調節は、図示される曲線の輪郭に対応する。例えば、明所視または暗所視モードにおける所与の光レベルに関して、仮想コンテンツは、y-軸上に示される分解能値を満たすまたは超えるために十分な空間分解能でレンダリングされる。
ここで図20を参照すると、異なる光受容体が、異なる波長または色の光を知覚するために使用され得ることを理解されたい。図20は、異なるレベルの照明における異なる色の光に対する眼の感度における差異の実施例を図式的に図示する。x-軸上の持続時間における差異は、特定の視覚のモードが活性化されるように、ヒト視覚系が特定の周囲照明レベルに適合するために典型的に必要とされる時間量の反映である。着目すべきこととして、暗所視および薄明視の一部に対応する周囲照明レベルでは、赤色光のための光受容体は、もはや活性ではなくなり得る一方、青色光のための光受容体が、最低光条件下で活性である。赤色、緑色、および青色光は、フルカラー画像を形成するためにディスプレイシステム内で原色として最も典型的に使用される色に対応することを理解されたい(例えば、図8-9Bに関して本明細書に議論されるように)。いくつかの実施形態では、ディスプレイシステムは、周囲照明レベルに応じて、異なる色の画像のレンダリングを変動させるように構成されてもよい。
ここで図21を参照すると、複数の原色画像を使用して形成される仮想コンテンツを調節するためのプロセス2100の実施例の略図が、示され、分解能調節は、原色画像の色に基づいて行われる。ブロック2110では、ディスプレイシステムは、複数の原色画像を使用して、提示されることになる仮想コンテンツを提供する。これらは、図8-9Bに関して議論されるように、異なる導波管に指向されることになる異なる原色の異なる画像であってもよい。その結果、いくつかの実施形態では、異なる原色の画像のストリームがそれぞれ、別個にレンダリングされてもよい。複数の原色画像を使用して、提示されることになる仮想コンテンツを提供するステップは、異なる原色の画像ストリームを出力し、フルカラー画像を形成する、ディスプレイシステムを利用するステップを含んでもよい。
ブロック2120では、ディスプレイシステムは、その色に基づいて、原色画像の分解能を調節してもよい。例えば、ディスプレイシステムは、分解能調節のために、これらの原色のうちの1つの色画像を選択してもよい。例えば、選択は、図18のブロック1810に関して上記に説明されるように、照明レベルの決定に基づいて行われてもよい。図19に示されるように、いくつかの原色は、いくつかの照明レベルでは、ユーザによって知覚されない場合がある。ディスプレイシステムは、照明レベルおよびそれらのレベルにおいて不可視な原色に関する情報をその中に記憶していてもよい。照明レベルとそれらのレベルにおいて不可視な原色との間に合致が存在する場合、その原色の画像が、調節のために選択されてもよい。いくつかの環境では、1つの調節は、周囲照明レベルが、ユーザがその色を知覚することが予期されないようなものである場合、単に、その原色画像をレンダリングまたは表示しないことであってもよい。例えば、暗所視照明レベル下では、ディスプレイシステムは、原色赤色の画像をレンダリングするまたは表示しないように構成されてもよい。
図21を継続して参照すると、ブロック2130では、仮想コンテンツが、ユーザに提示される。仮想コンテンツの提示は、本明細書に議論されるように、例えば、図12Aのブロック1208または図14のブロック1412におけるように、行われてもよい。
ここで図22A-22Cを参照すると、上記に議論されるように、理論によって限定されるわけではないが、光強度における階調を知覚するヒト視覚系の能力は、周囲照明レベルに伴って変化すると考えられる。図22A-22Cは、ユーザの眼上に入射する光の量が減少するにつれて変化するコントラスト感度の実施例を示す。例えば、図22Aは、明所視光条件下におけるコントラスト感度を示すと理解され得、図22Bは、薄明視光条件下におけるコントラスト感度を示すと理解され得、図22Cは、暗所視光条件下におけるコントラスト感度を示すと理解され得る。図22Aは、階調2110から2110への進行2100を示し、上の高光強度から下の低光強度に進む。同様に、図22Bは、階調2110から2110への進行2102を示し、高光強度から低光強度に進む。同様に、図22Cは、階調2110から2110への進行2104を示し、高光強度から低光強度に進む。ボックス2120、2130、2140は、ユーザによって同一であるように知覚される、強度階調のグループを示す。これらのグループのサイズは、図示されるように、周囲照明レベルの減少に伴って増加することが予期される。その結果、図18に関して上記に説明されるように、いくつかの実施形態では、ディスプレイシステムは、各グループ内(例えば、ボックス2120、2130、2140のそれぞれ内)の最低強度値を使用するように構成されてもよい。
ここで図23を参照すると、ユーザの眼の視神経および周辺盲点の表現の実施例が、図示される。いくつかの実施形態では、本明細書に開示される分解能調節のいずれかに加えて、またはその代替として、ディスプレイシステムは、コンテンツがユーザによって知覚可能であることが予期されない種々の場所にコンテンツをレンダリングすることを控えるように構成されてもよい。図23は、それぞれ、左および右眼210および210を図示する。各眼は、個別の光学軸1003Aおよび1003Bと、視神経2300および2300とを有する。視神経2300Lおよび2300がそれぞれ、その個別の眼210および210に接触する点には、盲点が存在する。これらの盲点は、視認者に光線2302および2302の方向におけるコンテンツが見えないように妨げる。加えて、各眼の周縁には、コンテンツが反対の眼によって見えることができない領域が存在する。例えば、左周辺領域P内のコンテンツは、左眼210によって見られ得るが、右眼210によっては見られない。他方では、右周辺領域P内のコンテンツは、右眼210によって見られ得るが、左眼210によっては見られない。その結果、いくつかの実施形態では、ディスプレイシステムは、各眼210および210の盲点にマッピングされるであろうコンテンツ、例えば、光線2302および2302上に入るコンテンツをレンダリングすることを省略するように構成されてもよい。加えて、または代替として、いくつかの実施形態では、ディスプレイシステムは、そのコンテンツが右周辺領域P内に入る場合、コンテンツを左眼210にレンダリングすることを省略するように構成されてもよく、および/またはディスプレイシステムは、そのコンテンツが左周辺領域P内に入る場合、コンテンツを右眼210にレンダリングすることを省略するように構成されてもよい。盲点および/または周辺領域の場所は、例えば、ユーザの母集団に関する平均に基づいて、事前に設定されてもよく、および/または種々の場所に表示されるコンテンツを使用した試験および仮想オブジェクトが可視であるかどうかを示すユーザからの入力によって特定のユーザに関して調整および較正されてもよいことを理解されたい。

III.異なる分解能を有するコンテンツを提供するための複数の画像ストリーム
いくつかの実施形態では、高および低空間分解能領域を有する、中心窩化画像が、それぞれ、異なる分解能(例えば、異なる知覚されたピクセル密度)を有する、空間的に重複する2つ以上の画像ストリームによって形成されてもよい。例えば、画像ストリームのうちの1つ、例えば、低分解能画像ストリームは、広視野を有する画像を形成してもよく、画像ストリームの別のもの、例えば、高分解能画像ストリームは、狭視野を有する画像を形成してもよい。狭視野画像および広視野画像は、類似コンテンツを含有してもよいが、異なる分解能またはピクセル密度でユーザによって見られる。これらの画像は、相互にオーバーレイされてもよい(例えば、視認者が画像が同時に提示されていると知覚するように、空間内の同一場所を同時にまたは時間的に近接して占有する)。したがって、視認者は、高分解能を有する集約画像をその視野の制約された部分において、低分解能画像をその視野のより大きい部分にわたって受信し得る。好ましくは、本明細書に議論されるように、高分解能部分は、ユーザの眼の中心窩視領域にマップされる一方、低分解能部分は、ユーザの眼の周辺視覚領域にマップされる。したがって、画像の高分解能部分と低分解能部分との間の分解能における差異は、好ましくは、ユーザに容易に知覚不能である。
いくつかの環境では、高および低分解能画像を表示するためのディスプレイシステムは、同一空間光変調器を利用して、両画像を形成する。したがって、空間光変調器は、固定サイズおよび密度のピクセルを有する。固定サイズおよび密度のピクセルを伴う、ディスプレイシステムでは、角度視野(FOV)の増加は、例えば、Lagrange不変量によって左右されるように、空間または角度分解能を犠牲にして生じる。例えば、固定数のピクセルを有するSLMが、高および低分解能画像の両方を形成するために使用される場合、それらのピクセルを視野全体横断して拡散させることは、それらのピクセルを総視野の小部分に制約することより低い見掛け分解能を伴う画像を提供するであろう。すなわち、高分解能画像のピクセル密度は、低分解能画像のピクセル密度より高い。その結果、概して、FOVと角度分解能との間には、逆相関が存在する。FOVおよび角度分解能は、画像可視性および品質に影響を及ぼすため、本トレードオフは、ARまたはVRシステムにおけるユーザ体験および最終達成可能FOVおよび角度分解能に関する制約を課す。本明細書の議論から明白となるであろうように、いくつかの実施形態では、用語「分解能」は、「角度分解能」を指すために使用されてもよい。
頭部搭載型ディスプレイデバイスまたはウェアラブルディスプレイデバイスは、仮想コンテンツを直接ユーザの眼の中に投影させることによって、没入型のユーザ体験を提供するように構成されることができる。広FOV画像をFOVを横断して均一に高分解能で提供することは、有益であり得るが、ヒト視覚系の生理学的限界は、ユーザが、ユーザの視野の周辺領域内に位置付けられる高分解能画像を鑑賞または認知さえしないように妨げ得る。本周辺領域内の高分解能画像を知覚不能であることは、2つのタイプの光受容体、すなわち、桿体細胞および錐体細胞を含有する、ヒトの眼の網膜の特性によって生じる。錐体は、鋭敏(詳細)な視覚により関与する。桿体および錐体は、ヒトの眼内に異なるように分散される。錐体細胞の最高濃度は、中心窩(すなわち、網膜の中心)内に見出される一方、桿体細胞の最高濃度は、中心窩を直接囲繞する領域(すなわち、網膜の周縁)内に見出される。桿体細胞および錐体細胞の本非均一分布のため、中心窩は、鋭敏な中心視(中心窩視とも呼ばれる)に関与する。視力は、中心窩からの距離が増加するにつれて減少する。
ARまたはVR用途に関して、ヘッドセットは、概して、一度に1人のユーザによって装着される。ヘッドセットは、高分解能コンテンツの表示をユーザによって現在合焦されている広視野内の領域に限定することによって、画像の広視野ストリームの全ての詳細を一度に知覚することのユーザの無能力を利用するように構成されることができる。このように、ヘッドセットはそうでなければ高分解能コンテンツを視野全体を横断して生成するために要求されるであろう、処理電力の必要なく、ユーザに、画像の高分解能広FOVストリームの出現を提供することができる。ユーザに提示される画像のストリームは、多くの形態をとることができ、概して、画像ストリームと称されるであろう。例えば、画像ストリームは、同一画像をユーザに持続的に表示することによって、静的画像を示すことができる、または異なる画像のストリームを表示することによって、運動を示すことができる。いくつかの実施形態では、ヘッドセットは、1つを上回る画像ストリームを同時に表示するように構成されることができ、異なる画像ストリームは、異なる角度分解能を有することができ、ユーザのFOVの異なる領域を横断して延在することができる。ARシステムと関連付けられた画像ストリームは、ARシステムが仮想コンテンツと実世界コンテンツを混合するように設計されるため、コンテンツをそれが割り当てられる特定の領域を横断して全体的に表示し得ないことに留意されたい。
いくつかの実施形態によると、第1の画像ストリームおよび第2の画像ストリームは、2つの画像ストリームが同時に表示されるように現れるように、ユーザに同時にまたは高速で連続して提示されることができる。第1の画像ストリームは、ユーザの視覚を包含し、没入体験をユーザに喚起し得る、広FOVおよび低分解能を有することができる。第2の画像ストリームによって被覆されるFOVの瞬間部分に対応する、第1の画像ストリームの一部は、いくつかの実施形態では、オフにされてもよい。第2の画像ストリームは、眼視線追跡技法を使用してリアルタイムで決定されるようなユーザの現在の固視点に従って第1の画像ストリームの境界内に動的に表示され得る、狭FOVおよび高分解能を有することができる。言い換えると、第2の画像ストリームは、第2の画像ストリームがユーザの中心窩視を持続的に被覆するように、ユーザの眼視線が変化するにつれて、偏移されることができる。いくつかの実施形態では、第1の画像ストリームは、第2の画像ストリームが第1の画像ストリームに対して偏移されるにつれて、固定位置においてユーザに提示される。いくつかの他の実施形態では、第1の画像ストリームおよび第2の画像ストリームは両方とも、ユーザの現在の固視点に従って偏移される。
第2の画像ストリームのコンテンツは、第1の画像ストリームより高い分解能を伴う、第1の画像ストリームのコンテンツのサブセットを含むことができ、第1の画像ストリーム上にオーバーレイされ、それに対して適切に整合されることができる。より高い分解能の第2の画像ストリームは、ユーザの中心窩視内で第1の画像ストリームの部分にオーバーレイするため、より高い分解能画像ストリームを含むエリア内の変調伝達関数(MTF)は、増加される。いくつかの実施形態では、第2の画像ストリームによってオーバーレイされた第1の画像ストリームのコンテンツのサブセットは、オフにされる、またはより低い強度で提示されることができる。このように、ユーザは、広FOVおよび高分解能の両方を有するように、第1の画像ストリームおよび第2の画像ストリームの組み合わせを知覚することができる。そのようなディスプレイシステムは、いくつかの利点を与えることができる。例えば、ディスプレイシステムは、より優れたユーザ体験を提供しながら、比較的に小形状因子を有し、コンピューティングリソースおよびコンピューティング電力を節約することができる。
ある実施形態では、第1の画像ストリームおよび第2の画像ストリームの境界領域内の光強度は、意図される画像明度を下回る値までテーパ状になり、第1の画像ストリームおよび第2の画像ストリームの境界領域は、重複される。重複エリアでは、2つの画像ストリームに起因する光強度の和は、比較的に一定であって、意図される画像明度と等しくなり得る。第1の画像ストリーム側から第2の画像ストリーム側までの重複領域を横断すると、MTFは、第1の画像ストリームのMTFに等しいまたはより近い第1の値から、第2の画像ストリームのMTFに等しいまたはより近い第2の値まで変化する。このように、ある状況ではユーザに知覚可能であり得る、鮮明な境界を2つの画像ストリームによって供給される領域間に作成することを回避することが可能である。
いくつかの実施形態によると、第1の画像ストリームと関連付けられた第1の光ビームおよび第2の画像ストリームと関連付けられた第2の光ビームは、ある多重化方法を使用して、合成光ビームに多重化されることができる。例えば、時分割多重化、偏光分割多重化、波長分割多重化、および同等物が、種々の実施形態によると、使用されることができる。合成光ビームは、合成光ビームを2つの別個の光学経路に多重化解除する役割を果たす、1つ以上の光学要素に指向されることができる。例えば、偏光ビームスプリッタ(PBS)またはダイクロイックビームスプリッタ等のビームスプリッタまたは光学切替要素が、使用される多重化の方法に応じて、合成光ビームを分離するために使用されることができる。いったん分離されると、第1の画像ストリームと関連付けられた第1の光ビームおよび第2の画像ストリームと関連付けられた第2の光ビームは、その個別の光学経路を通してルーティングされ、最終的には、出力としてユーザに提供されることができる。
いくつかの実施形態によると、第1の画像ストリームと関連付けられた第1の光ビームは、第1の画像ストリームが、より広いFOVおよびより低い角度分解能を提示されるように(不変量によって左右されるように)、第1の光学経路内の光学要素によって角度的に拡大されることができる一方、第2の画像ストリームと関連付けられた第2の光ビームは、角度的に拡大されない、拡大解除される、または第1の画像ストリームと関連付けられた第1の光ビームに適用される拡大の量未満の量だけ拡大される。このように、第2の画像ストリームは、第1の画像ストリームより狭いFOVおよびより高い角度分解能を提示されることができる(不変量によって左右されるように)。
図24は、2次元角度空間内のヒトの眼に関する例示的単眼視野3002の外周界を描写する、視野略図を示す。図24に示されるように、視野略図のこめかみ-鼻および下-上軸は、その中に単眼視野3002の外周界がマッピングされる、2次元角度空間を定義する役割を果たす。このように、図24の視野略図は、ヒトの眼に関する「Goldmann」視野マップまたはプロットの均等物またはそれに類似すると見なされ得る。こめかみ-鼻および下-上軸の描写される配列によって示されるように、図24に示される視野略図は、ヒトの左眼に関する視野略図を表す。視野は、人物毎に若干変動し得るが、描写される視野は、多くのヒトがその左眼で視認することが可能である内容に近似する。右眼の例示的単眼視野の外周界を描写する、視野略図は、単眼視野3002のこめかみ-鼻軸および外周界が、下-上軸を中心として鏡映された図24の視野略図のバージョンのものに類似し得るということになる。
図24の視野略図はさらに、ヒトの眼に関する例示的動眼視野3004の外周界を描写し、これは、人物が固視し得る角度空間内の単眼視野30022の一部を表す。加えて、図24の視野略図はまた、ヒトの眼に関する例示的中心窩野3006の外周界を描写し、これは、所与の時点におけるヒトの眼の中心窩の直接ビュー内の角度空間における単眼視野3002の一部を表す。描写されるように、人物の中心窩野3006は、動眼視野3004内の任意の場所で移動し得る。角度空間内の中心窩野3006外の単眼視野3002の部分は、本明細書では、人物の視野の周辺領域と称され得る。中心窩野3006外の高レベルの詳細を区別するヒトの眼の能力は、非常に限定されるため、低減された分解能画像を中心窩野3006外で表示することは、認知される可能性が低く、ディスプレイのためのコンテンツを生成することに関与する処理コンポーネントのための電力消耗に関する実質的節約を可能にすることができる。
図25Aは、いくつかの実施形態による、仮想コンテンツをユーザに提供するように構成される、例示的ウェアラブルディスプレイデバイス4050を示す。ウェアラブルディスプレイデバイス4050は、フレーム4054によって支持される、主要なディスプレイ4052を含む。フレーム4054は、つるのアーム4006の形態をとる取付部材を使用して、ユーザの頭部に取り付けられることができる。
ここで図25Bを参照すると、仮想コンテンツをユーザに提供するように構成される、ARシステムの例示的実施形態が、ここで説明されるであろう。いくつかの実施形態では、図25BのARシステムは、図25Aのウェアラブルディスプレイデバイス4050が属する、システムを表し得る。図25BのARシステムは、スタックされた光誘導光学系要素アセンブリ4000を使用し、概して、画像生成プロセッサ4010と、光源4020と、コントローラ4030と、空間光変調器(「SLM」)4040と、投入光学システム4060と、複数の平面焦点システムとして機能する、少なくとも1セットのスタックされた接眼レンズ層または光誘導光学系要素(「LOE」、例えば、平面導波管)4000とを含む。本システムはまた、眼追跡サブシステム4070を含んでもよい。他の実施形態は、複数のセットのスタックされたLOE4000を有してもよいが、以下の開示は、図25Bの例示的実施形態に焦点を当てるであろうことを理解されたい。
画像生成プロセッサ4010は、ユーザに表示されることになる仮想コンテンツを生成するように構成される。画像生成プロセッサは、仮想コンテンツと関連付けられた画像またはビデオを、3-Dにおいてユーザに投影されることができるフォーマットに変換してもよい。例えば、3-Dコンテンツを生成する際、仮想コンテンツは、特定の画像の部分が、特定の深度平面に表示される一方、その他が、他の深度平面に表示されるように、フォーマットされる必要があり得る。一実施形態では、画像は全て、特定の深度平面に生成されてもよい。別の実施形態では、画像生成プロセッサは、ともに視認されると、仮想コンテンツがコヒーレントかつ快適にユーザの眼に現れるように、若干異なる画像を右および左眼210に提供するようにプログラムされてもよい。
画像生成プロセッサ4010はさらに、メモリ4012と、GPU4014と、CPU4016と、画像生成および処理のための他の回路とを含んでもよい。画像生成プロセッサ4010は、図25BのARシステムのユーザに提示されることになる所望の仮想コンテンツで、プログラムされてもよい。いくつかの実施形態では、画像生成プロセッサ4010は、ウェアラブルARシステム内に格納されてもよいことを理解されたい。他の実施形態では、画像生成プロセッサ4010および他の回路は、ウェアラブル光学系に結合される、ベルトパック内に格納されてもよい。画像生成プロセッサ4010は、所望の仮想コンテンツと関連付けられた光を投影する、光源4020と、1つ以上の空間光変調器(下記に説明される)とに動作可能に結合される。
光源4020は、コンパクトであって、高分解能を有する。光源4020は、コントローラ4030(下記に説明される)に動作可能に結合される、複数の空間的に分離されるサブ光源4022を含む。例えば、光源4020は、種々の幾何学的構成内に配置される、色特有LEDおよびレーザを含んでもよい。代替として、光源4020は、同様の色のLEDまたはレーザを含んでもよく、それぞれ1つが、ディスプレイの視野の具体的領域に連結される。別の実施形態では、光源4020は、白熱灯または蛍光灯等の広エリアエミッタを備えてもよく、マスクが、放出エリアおよび位置のセグメント化のためにオーバーレイする。サブ光源4022は、直接、図2Bでは、図2BのARシステムに接続されるが、サブ光源222は、光ファイバの遠位端(サブ光源4022から離れる)が相互から空間的に分離される限り、光ファイバ(図示せず)を介して、システムに接続されてもよい。本システムはまた、光源4020からの光をコリメートするように構成される、集光器(図示せず)を含んでもよい。
SLM4040は、種々の例示的実施形態では、反射性(例えば、DLP DMD、MEMSミラーシステム、LCOS、またはFLCOS)、透過性(例えば、LCD)、または発光性(例えば、FSDまたはOLED)であってもよい。空間光変調器のタイプ(例えば、速度、サイズ等)は、3-D知覚の作成を改良するように選択されることができる。より高いリフレッシュレートで動作する、DLP DMDは、定常ARシステムの中に容易に組み込まれ得るが、ウェアラブルARシステムは、典型的には、より小さいサイズおよび電力のDLPを使用する。DLPの電力は、3-D深度平面/焦点面が作成される方法を変化させる。画像生成プロセッサ4010は、SLM4040に動作可能に結合され、これは、光源4020からの光を所望の仮想コンテンツでエンコードする。光源4020からの光は、SLM4040から反射する、そこから放出する、またはそれを通して通過すると、画像情報でエンコードされてもよい。
図25Bに戻って参照すると、ARシステムはまた、光源4020(すなわち、複数の空間的に分離されるサブ光源4022)およびSLM4040からの光をLOEアセンブリ4000に指向するように構成される、投入光学システム4060を含む。投入光学システム4060は、光をLOEアセンブリ4000の中に指向するように構成される、1つ以上のレンズを含んでもよい。投入光学システム4060は、光源4020のサブ光源4022から空間的に分離され、明確に異なるビームに対応する、LOE4000に隣接する空間的に分離され、明確に異なる瞳孔を形成するように構成される(投入光学システム4060から出射するビームの個別の集光点に)。投入光学システム4060は、瞳孔が相互から空間的に変位されるように構成される。いくつかの実施形態では、投入光学システム4060は、XおよびY方向においてのみ、ビームを空間的に変位させるように構成される。そのような実施形態では、瞳孔は、1つのX、Y平面内に形成される。他の実施形態では、投入光学システム4060は、X、Y、およびZ方向において、ビームを空間的に変位させるように構成される。
光ビームの空間分離は、明確に異なるビームおよび瞳孔を形成し、これは、各内部結合格子が、主に、1つのみの明確に異なるビーム(またはビームのグループ)によってアドレス指定(例えば、交差または衝突)されるように、明確に異なるビーム経路内の内部結合格子の設置を可能にする。これは、ひいては、LOEアセンブリ4000の個別のLOE4000の中への空間的に分離される光ビームの入射を促進する一方、複数のものの他のサブ光源4022からの他の光ビームの入射(すなわち、クロストーク)を最小限にする。特定のサブ光源4022からの光ビームは、その上の内部結合格子(図25Bには図示せず、図24-26参照)を通して、個別のLOE4000に入射する。個別のLOE4000の内部結合格子は、各空間的に分離される光ビームが、1つのLOE4000の内部結合格子とのみ交差するように、複数のサブ光源4022からの空間的に分離される光ビームと相互作用するように構成される。したがって、各空間的に分離される光ビームは、主に、1つのLOE4000に入射する。故に、SLM4040によってサブ光源4022のそれぞれからの光ビーム上にエンコードされた画像データは、ユーザの眼210への送達のために、単一LOE4000に沿って効果的に伝搬されることができる。
各LOE4000は、次いで、所望の深度平面またはFOV角位置から生じるように現れる画像またはサブ画像をユーザの網膜上に投影するように構成される。個別の複数のLOE4000およびサブ光源4022は、したがって、空間内の種々の深度平面または位置から生じるように現れる、画像(コントローラ4030の制御下、SLM4040によって同期してエンコードされた)を選択的に投影することができる。個別の複数のLOE4000およびサブ光源4022のそれぞれを使用して、十分に高フレームレート(例えば、60Hzの有効完全体積フレームレートにおける6つの深度平面に関して360Hz)で、画像を順次投影させることによって、図25Bのシステムは、3-D画像内に同時に存在するように現れる、仮想オブジェクトの3-D画像を種々の深度平面に生成することができる。
コントローラ4030は、画像生成プロセッサ4010、光源4020(サブ光源4022)、およびSLM4040と通信し、それに動作可能に結合され、SLM4040に、サブ光源4022からの光ビームを画像生成プロセッサ4010からの適切な画像情報でエンコードするように命令することによって、画像の同期表示を協調させる。
ARシステムはまた、ユーザの眼4002を追跡し、ユーザの焦点を決定するように構成される、随意の眼追跡サブシステム4070を含む。一実施形態では、サブ光源4022のサブセットのみが、下記に議論されるように、眼追跡サブシステムからの入力に基づいて、アクティブ化され、LOE4000のサブセットを照明してもよい。眼追跡サブシステム4070からの入力に基づいて、特定のLOE4000に対応する1つ以上のサブ光源4022が、画像がユーザの焦点/遠近調節と一致する所望の深度平面に生成されるように、アクティブ化されてもよい。例えば、ユーザの眼210が、相互に平行である場合、図25BのARシステムは、画像が光学無限遠から生じるように現れるように、コリメートされた光をユーザの眼に送達するように構成される、LOE4000に対応するサブ光源4022をアクティブ化してもよい。別の実施例では、眼追跡サブシステム4070が、ユーザの焦点が1メートル離れていることを決定する場合、ほぼその範囲内に合焦するように構成される、LOE4000に対応するサブ光源4022が、代わりに、アクティブ化されてもよい。本特定の実施形態では、サブ光源4022の1つのみのグループが、任意の所与の時間にアクティブ化される一方、他のサブ光源4020は、非アクティブ化され、電力を節約することを理解されたい。
図25Cは、いくつかの実施形態による、デジタルまたは仮想画像を視認者に提示するために使用され得る、例示的視認光学アセンブリ(VOA)内の光経路を図式的に図示する。いくつかの実施形態では、VOAは、図25Aに描写されるようなウェアラブルディスプレイデバイス4050に類似するシステム内に組み込まれ得る。VOAは、プロジェクタ4001と、視認者の眼の周囲に装着され得る、接眼レンズ200とを含む。接眼レンズ4000は、例えば、図25Bを参照して上記に説明されるようなLOE4000に対応してもよい。いくつかの実施形態では、プロジェクタ4001は、赤色LEDのグループと、緑色LEDのグループと、青色LEDのグループとを含んでもよい。例えば、プロジェクタ201は、ある実施形態によると、2つの赤色LEDと、2つの緑色LEDと、2つの青色LEDとを含んでもよい。いくつかの実施例では、図25Cに描写されるようなプロジェクタ4001およびそのコンポーネント(例えば、LED光源、反射コリメータ、LCoS SLM、およびプロジェクタ中継)は、図25Bを参照して上記に説明されるような光源4020、サブ光源4022、SLM4040、および投入光学システム4060のうちの1つ以上のものの機能性を表すまたは提供してもよい。接眼レンズ4000は、1つ以上の接眼レンズ層を含んでもよく、それぞれ、図25Bを参照して上記に説明されるようなLOE4000のうちの1つを表し得る。接眼レンズ4000の各接眼レンズ層は、個別の所望の深度平面またはFOV角位置から生じるように現れる画像またはサブ画像を視認者の眼の網膜上に投影するように構成されてもよい。
一実施形態では、接眼レンズ4000は、3つの原色、すなわち、赤色、緑色、および青色毎に1つの接眼レンズ層の3つの接眼レンズ層を含む。例えば、本実施形態では、接眼レンズ4000の各接眼レンズ層は、光学無限遠深度平面(0ジオプタ)から生じるように現れる、コリメートされた光を眼に送達するように構成されてもよい。別の実施形態では、接眼レンズ4000は、6つの接眼レンズ層、すなわち、仮想画像を1つの深度平面に形成するために構成される3つの原色毎に1セットの接眼レンズ層と、仮想画像を別の深度平面に形成するために構成される3つの原色毎に別のセットの接眼レンズ層とを含んでもよい。例えば、本実施形態では、接眼レンズ4000の1セットの接眼レンズ層内の各接眼レンズ層は、光学無限遠深度平面(0ジオプタ)から生じるように現れる、コリメートされた光を眼に送達するように構成されてもよい一方、接眼レンズ4000の別のセットの接眼レンズ層内の各接眼レンズ層は、2メートルの距離(0.5ジオプタ)から生じるように現れる、コリメートされた光を眼に送達するように構成されてもよい。他の実施形態では、接眼レンズ4000は、3つ以上の異なる深度平面のための3つの原色毎に、3つ以上の接眼レンズ層を含んでもよい。例えば、そのような実施形態では、さらに別のセットの接眼レンズ層がそれぞれ、1メートルの距離(1ジオプタ)から生じるように現れる、コリメートされた光を送達するように構成されてもよい。
各接眼レンズ層は、平面導波管を備え、内部結合格子4007と、直交瞳エクスパンダ(OPE)領域4008と、射出瞳エクスパンダ(EPE)領域4009とを含んでもよい。内部結合格子、直交瞳拡張、および射出瞳拡張についてのさらなる詳細は、米国特許出願第14/555,585号および米国特許出願第14/726,424号(その内容は、参照することによって、全体として記載される場合と同様に、その全体として明示的かつ完全に本明細書に組み込まれる)に説明される。依然として、図25Cを参照すると、プロジェクタ4001は、画像光を接眼レンズ層4000内の内部結合格子4007上に投影する。内部結合格子4007は、プロジェクタ4001からの画像光を導波管の中に結合し、OPE領域4008に向かう方向に伝搬させる。導波管は、全内部反射(TIR)によって、画像光を水平方向に伝搬する。接眼レンズ層4000のOPE領域4008はまた、導波管内を伝搬する画像光の一部を結合し、EPE領域4009に向かって再指向する、回折要素を含む。より具体的には、コリメートされた光は、TIRによって、導波管に沿って水平に(すなわち、図25Cの図に対して)伝搬し、そうすることによって、OPE領域4008の回折要素と繰り返し交差する。いくつかの実施例では、OPE領域4008の回折要素は、比較的に低回折効率を有する。これは、OPE領域4008の回折要素との交点の各点において、ある割合(例えば、10%)の光をEPE領域4009に向かって垂直下向きに回折させ、TIRを介して、ある割合の光を導波管に沿って水平にそのオリジナル軌道上で継続させる。このように、OPE領域4008の回折要素との交点の各点において、付加的光が、EPE領域4009に向かって下向きに回折される。入射光を複数の外部結合されるセットに分割することによって、光の射出瞳は、OPE領域4008の回折要素によって、水平に拡張される。OPE領域4008から外部結合される、拡張された光は、EPE領域4009に入射する。
接眼レンズ層4000のEPE領域4009もまた、導波管内を伝搬する画像光の一部を結合し、視認者の眼210に向かって再指向する、回折要素を含む。EPE領域4009に入射する光は、TIRによって、導波管に沿って垂直に(すなわち、図25Cの図に対して)伝搬する。伝搬する光とEPE領域4009の回折要素との間の交点の各点では、ある割合の光は、導波管の隣接する面に向かって回折され、光が、TIRから逃散し、導波管の面から出現し、視認者の眼210に向かって伝搬することを可能にする。本方式では、プロジェクタ4001によって投影された画像は、視認者の眼210によって視認され得る。いくつかの実施形態では、EPE領域4009の回折要素は、線形回折格子および半径方向対称回折レンズの総和である、位相プロファイルを有するように設計または構成されてもよい。EPE領域4009の回折要素の半径方向対称レンズ側面は、加えて、ある焦点レベルを回折される光に付与し、個々のビームの光波面を成形する(例えば、曲率を付与する)ことと、ビームを設計される焦点レベルに合致するある角度で操向することとの両方を行う。EPE領域4009の回折要素によって外部結合される各光のビームは、視認者の正面に位置付けられる、個別の集光点まで幾何学的に延在し得、個別の集光点に半径の中心を伴う、凸面波面プロファイルを付与され、画像または仮想オブジェクトを所与の焦点面に生産し得る。
そのような視認光学アセンブリおよび他の類似設定の説明はさらに、米国特許出願第14/331,218号、米国特許出願第15/146,296号、および米国特許出願第14/555,585号(その全てが参照することによってその全体として本明細書に組み込まれる)に提供される。いくつかの実施形態では、例示的VOAは、図25Cを参照して上記に述べられ、参照することによって本明細書に組み込まれる、特許出願のいずれかに説明される、1つ以上のコンポーネントを含む、および/またはその形態をとってもよいということになる。

IV.複数の光学経路を使用した高視野および高分解能中心窩化ディスプレイ
図26A-26Dは、使用されることになる例示的レンダリング視点および2つの例示的眼配向毎にARシステム内で生産されることになるライトフィールドを図示する。図26Aでは、視認者の眼210は、接眼レンズ5000に対して第1の様式で配向される。いくつかの実施形態では、接眼レンズ5000は、図25Bおよび25Cを参照して上記に説明されるように、LOEのスタックまたは接眼レンズ4000に類似してもよい。より具体的には、本実施例では、視認者の眼210は、視認者が比較的に直進方向に接眼レンズ5000を見ることが可能であり得るように配向される。いくつかの実施例では、図25Bを参照して上記に説明されるようなARシステムに類似し得る、接眼レンズ5000が属する、ARシステムは、視認者のFOV内に位置付けられる1つ以上の深度平面上に、視認者の眼210の正面の1つ以上の距離において、仮想コンテンツを提示するための1つ以上の動作を実施してもよい。
ARシステムは、視認者の頭部の位置および配向に基づいて、レンダリング空間内の視点を決定してもよく、そこから、視認者は、仮想オブジェクト等のレンダリング空間の3-D仮想コンテンツを視認する。図29Aを参照して下記にさらに詳細に説明されるように、いくつかの実施形態では、そのようなARシステムは、1つ以上のセンサを含み、これらの1つ以上のセンサからのデータを活用し、視認者の頭部の位置および/または配向を決定してもよい。ARシステムは、図25Bを参照して上記に説明される、眼追跡サブシステム4070の1つ以上のコンポーネント等の1つ以上の眼追跡コンポーネントに加え、そのような1つ以上のセンサを含んでもよい。そのようなデータを用いることで、ARシステムは、実世界内の視認者の頭部の位置および配向を3D仮想環境内の特定の場所および特定の角位置に効果的にマッピングし、3D仮想環境内の特定の場所に位置付けられ、3D仮想環境内の特定の場所に対する3D仮想環境内の特定の角位置に配向される、仮想カメラを作成し、仮想カメラによって捕捉されるであろうような視認者のための仮想コンテンツをレンダリングし得る。実世界と仮想世界のマッピングプロセスについて議論するさらなる詳細は、「SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONAL SPACE」と題された米国特許出願第15/296,869号(あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる)に提供される。
いくつかの実施例では、ARシステムは、視認者の眼および/または眼窩が、相互から物理的に分離され、したがって、異なる場所に一貫して位置付けられるにつれて、1つのそのような頭追跡仮想カメラを視認者の左眼または眼窩のために、別のそのような頭部追跡仮想カメラを視認者の右眼または眼窩のために、作成または動的に再位置付けおよび/または再配向し得る。視認者の左眼または眼窩と関連付けられた頭部追跡仮想カメラの視点からレンダリングされた仮想コンテンツは、図25A-25Cを参照して上記に説明されるもの等のウェアラブルディスプレイデバイスの左側上の接眼レンズを通して視認者に提示され得、視認者の右眼または眼窩と関連付けられた頭部追跡仮想カメラの視点からレンダリングされた仮想コンテンツは、ウェアラブルディスプレイデバイスの右側上の接眼レンズを通して視認者に提示され得るということになる。頭部追跡仮想カメラは、視認者の頭部の現在の位置および配向に関する情報に基づいて、眼または眼窩毎に、作成および/または動的に再位置付けされ得るが、そのような頭部追跡仮想カメラの位置および配向は、視認者の個別の眼窩または視認者の頭部に対する視認者の各眼の位置または配向のいずれにも依存しなくてもよい。レンダリングプロセスにおける仮想カメラの作成、調節、および使用について議論するさらなる詳細は、「METHODS AND SYSTEMS FOR DETECTING AND COMBINING STRUCTUAL FEATURES IN 3D RECONSTRUCTION」と題された米国特許出願第15/274,823号(あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる)に提供される。
図26AのARシステムは、そのような頭部追跡仮想カメラを作成または動的に再位置付けおよび/または再配向し、仮想コンテンツを頭部追跡仮想カメラの視点(視点5010)からレンダリングし、仮想コンテンツのレンダリングを表す光を、接眼レンズ5000を通して、視認者の眼210の網膜上に投影し得る。図26Aに示されるように、頭部追跡レンダリング視点5010は、対角線上に、水平に、および/または垂直に、±θ310角度単位の領域に及ぶ、FOVを提供してもよい。下記にさらに詳細に説明されるように、いくつかの実施形態では、頭部追跡レンダリング視点5010は、比較的に広FOVを提供し得る。そのような実施形態では、ARシステムはまた、眼または眼窩毎に、頭部追跡仮想カメラと異なる、かつそれに加えた、別の仮想カメラを作成または動的に再位置付けおよび/または再配向してもよい。図26Aの実施例では、ARシステムは、頭部追跡仮想カメラ5010の視点からの仮想コンテンツとともに、レンダリング空間内の別の仮想カメラの視点からの仮想コンテンツをレンダリングおよび提示してもよい。
例えば、そのような実施形態では、図26AのARシステムは、視認者の眼210の現在の視線に基づいて、そのような中心窩追跡仮想カメラを作成または動的に再位置付けおよび/または再配向してもよい。図29Aを参照して下記にさらに詳細に説明されるように、いくつかの実施例では、そのようなARシステムは、図25Bを参照して上記に説明される、眼追跡サブシステム4070の1つ以上のコンポーネント等の1つ以上の眼追跡コンポーネントを含み、視認者の現在の視線、視認者の頭部に対する視認者の眼210の現在の位置および/または配向、および同等物を決定してもよい。そのようなデータを用いることで、図26AのARシステムは、そのような中心窩追跡仮想カメラを作成または動的に再位置付けおよび/または再配向し、仮想コンテンツを中心窩追跡仮想カメラの視点(視点5020A)からレンダリングし、視点5020Aからレンダリングされるような仮想コンテンツを表す光を、接眼レンズ5000を通して、視認者の眼210の中心窩上に投影し得る。
図26Aに示されるように、中心窩追跡レンダリング視点5020Aは、頭部追跡レンダリング視点5010のものより狭いFOVを提供し得る。このように、中心窩追跡レンダリング視点5020AのFOVは、頭部追跡レンダリング視点5010のFOVの円錐形サブ空間を占有するように見られ得る。すなわち、中心窩追跡レンダリング視点5020AのFOVは、頭部追跡レンダリング視点5010のFOVのサブ野であり得る。例えば、図26Aに示されるよう、中心窩追跡レンダリング視点320Aは、頭部追跡レンダリング視点5010のFOVと中心窩追跡レンダリング視点5020Aとの間の関係が、-θ310≦-θ320A≦θ320A≦θ310によって与えられるように、対角線上に、水平に、および/または垂直に、±θ320A角度単位の領域に及ぶFOVを提供してもよい。いくつかの実施例では、頭部追跡レンダリング視点5010のFOVは、少なくとも視認者の動眼視野と同程度の広さであり得、これは、本実施例では、視認者の頭部が所与の位置および配向に保持されるときに視認者の眼210が固視し得る、総円錐形空間となるであろう。したがって、これらの実施例では、頭部追跡仮想カメラおよび中心窩追跡仮想カメラは、レンダリング空間内の実質的に同一場所に位置付けられてもよい、または両仮想カメラが、視認者の頭部の位置および/または配向が変化すると、レンダリング空間内を連動して線形および/または角度的に平行移動され得るように、相互から固定距離にあるレンダリング空間内の場所に位置付けられてもよい。例えば、頭部追跡仮想カメラは、視認者の眼210の回転中心に対応する、レンダリング空間内の場所に位置付けられてもよい一方、中心窩追跡仮想カメラは、回転中心と角膜との間の視認者の眼210の領域に対応する、レンダリング空間内の場所に位置付けられてもよい。実際、2つの仮想カメラ間のユークリッド距離は、視認者の眼210または別の剛性体の2つの具体的領域間のユークリッド距離が、常時、実質的に一定のままであり得るように同じように、レンダリング空間内で平行移動されるとき、実質的に一定のままであり得る。
そのような一対の仮想カメラ内の各仮想カメラ間の空間関係は、ARシステムの使用全体を通して、レンダリング空間内で実質的に固定されたままであり得るが、しかしながら、これらの実施例では、中心窩追跡仮想カメラの配向は、視認者がその眼210を回転させると、頭部追跡仮想カメラに対して変動し得る。このように、中心窩追跡仮想カメラのFOVによって占有される、頭部追跡仮想カメラのFOVの円錐形サブ空間は、視認者がその眼210を回転させるにつれて動的に変化し得る。
さらに、中心窩追跡レンダリング視点5020A内に入る、仮想オブジェクトおよび他のコンテンツは、ARシステムによって、比較的に高分解能においてレンダリングおよび提示され得る。より具体的には、中心窩追跡仮想カメラのFOV内の仮想コンテンツがレンダリングおよび提示される、分解能は、頭部追跡仮想カメラのFOV内の仮想コンテンツがレンダリングおよび提示される、分解能より高くあり得る。このように、接眼レンズ5000によって外部結合され、視認者の眼210の網膜上に投影される、所与のライトフィールドの最高分解能サブ野は、視認者の眼210の中心窩に到達するものであり得る。
図3Bは、視認者の眼210が、図26Aに描写され、それを参照して上記に説明されるような第1の様式で配向される間、接眼レンズ5000によって外部結合され、視認者の眼210の網膜上に投影される、例示的ライトフィールド5030Aを図示する。ライトフィールド5030Aは、上記に述べられた対の仮想カメラによってレンダリング空間内で捕捉されるであろうような仮想コンテンツを表す、種々の角度光成分を含んでもよい。図26A以降を参照して下記にさらに詳細に説明されるように、頭部追跡仮想カメラによってレンダリング空間内で捕捉されるであろうような仮想コンテンツを表す光および中心窩追跡仮想カメラによってレンダリング空間内で捕捉されるであろうような仮想コンテンツを表す光は、種々の異なる多重化スキームのいずれかに従って、ARシステムによって多重化されてもよい。そのような多重化スキームの採用は、少なくともいくつかのインスタンスでは、ARシステムが、より大きな効率を伴って動作し、および/またはより少ない物理的空間を占有することを可能にし得る。
依然として、図26Bを参照すると、頭部追跡仮想カメラによってレンダリング空間内で捕捉されるであろうような仮想コンテンツ(例えば、頭部追跡レンダリング視点5010内に入る、仮想オブジェクトおよび他のコンテンツ)を表す、ライトフィールド5030Aの角度光成分は、視認者の眼210に対して-θ310~+θ310角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになるものを含み得る。同様に、中心窩追跡仮想カメラによってレンダリング空間内で捕捉されるであろうような仮想コンテンツ(例えば、中心窩追跡レンダリング視点5020A内に入る、仮想オブジェクトおよび他のコンテンツ)を表す、ライトフィールド5030Aの角度光成分は、視認者の眼210に対して-θ320A~+θ320A角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになるものを含み得る。中心窩追跡レンダリング視点5020Aと関連付けられたそのような角度光成分がライトフィールド5030A内で生じる、-θ320Aおよび+θ320A角度単位間の間隔は、頭部追跡レンダリング視点5010と関連付けられた角度光成分がライトフィールド5030A内で生じる、-θ310および+θ310角度単位間の間隔より規則性が高くあり得る。このように、中心窩追跡レンダリング視点5020Aと関連付けられた仮想コンテンツが視認者にレンダリングおよび提示され得る、分解能は、頭部追跡レンダリング視点5010と関連付けられた仮想コンテンツが視認者にレンダリングおよび提示され得る、分解能より高くあり得る。
いくつかの実施形態では、ライトフィールド5030A内で生じる、頭部追跡レンダリング視点5010と関連付けられた角度光成分はさらに、視認者の眼210に対して-θ320A~+θ320A角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになるものを含み得る。そのような実施形態では、頭部追跡レンダリング視点5010と関連付けられたそのような角度光成分がライトフィールド5030A内で生じる、-θ320Aおよび+θ320A角度単位間の間隔は、中心窩追跡レンダリング視点5020Aと関連付けられた角度光成分がライトフィールド5030A内で生じる、-θ320Aおよび+θ320A角度単位間の間隔より規則性が低くなり得る。他の実施形態では、ライトフィールド5030A内で生じる、頭部追跡レンダリング視点5010と関連付けられた角度光成分は、視認者の眼210に対して-θ320A~+θ320A角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになるものを除外し得る。したがって、これらの他の実施形態では、ライトフィールド5030A内で生じる、頭部追跡レンダリング視点5010と関連付けられた角度光成分は、-θ310~-θ320A角度単位の角度またはθ320A~θ310の角度で視認者の眼210の網膜上に投影されることになるものであり得る。
図26Cでは、視認者の眼210は、視認者の眼210が図26A-26Bにおいて接眼レンズ5000に対して配向される第1の様式と異なる、第2の様式で接眼レンズ5000に対して配向される。実施例の目的のために、図26C-26Dにおける視認者の頭部の位置および配向は、図26A-26Bを参照して上記に説明されるような視認者の頭部の位置および配向と同一であるように取り扱われ得る。したがって、図26A-26Bおよび図26C-26Dは、それぞれ、第1および第2の時系列段階において、上記に述べられた視認者およびARシステムを表し得る。より具体的には、本実施例では、視認者の眼210は、図26A-26Bに描写されるように、比較的直進配向から中心がずれて回転されている。
第1の段階から第2の段階への遷移の際、図26CのARシステムは、視認者の頭部姿勢(例えば、位置および配向)が変化していないため、図26A-26Bを参照して上記に説明されるように、例えば、頭部追跡仮想カメラを同一位置および配向に維持するように機能し得る。したがって、図26C-26Dに描写される第2の段階では、ARシステムは、仮想コンテンツを頭部追跡仮想カメラの視点(すなわち、頭部追跡レンダリング視点5010)からレンダリングし、仮想コンテンツのレンダリングを表す光を、接眼レンズ5000を通して、視認者の眼210の網膜上に投影し得る。頭部追跡レンダリング視点5010は、図26A-26Dの第1および第2の時系列段階全体を通して、静的または比較的に静的なままであり得るが、第1の段階から第2の段階への遷移の際、ARシステムは、第1の段階から第2の段階への視認者の眼210の視線の変化に基づいて、レンダリング空間内の中心窩追跡仮想カメラの配向を調節するように機能し得る。すなわち、ARシステムは、第2の段階において採用されるような中心窩追跡仮想カメラが、中心窩追跡レンダリング視点5020Aと異なる中心窩追跡レンダリング視点5020Cを提供するように、中心窩追跡レンダリング視点5020Aを提供するために第1の段階において採用されるような中心窩追跡仮想カメラを置換または再配向してもよい。第2の段階では、ARシステムはまた、中心窩追跡仮想カメラ視点5020Cの視点から仮想コンテンツをレンダリングし、仮想コンテンツのレンダリングを表す光を、接眼レンズ5000を通して、視認者の眼201の中心窩上に投影し得るということになる。
図26C-26Dの実施例では、中心窩追跡レンダリング視点5020Cは、中心窩追跡レンダリング視点5020Aのものと異なる、頭部追跡レンダリング視点5010の円錐形サブ空間を占有し得る。例えば、図26Cに示されるように、中心窩追跡レンダリング視点5020Cは、中心窩追跡レンダリング視点5020AのFOVからθ320C角度単位変位され、対角線上に、水平に、および/または垂直に、±θ320A角度単位の領域に及ぶ、FOVを提供し得る。すなわち、中心窩追跡レンダリング視点5020Cは、対角線上に、水平に、および/または垂直に、θ320C±θ320A角度単位の領域に及ぶ、FOVを提供し得る。
図26Dは、視認者の眼201が、図26Cに描写され、それを参照して上記に説明されるような第2の様式で配向される間、接眼レンズ5000によって外部結合され、視認者の眼201の網膜上に投影される、例示的ライトフィールド5030Cを図示する。ライトフィールド5030Cは、頭部追跡レンダリング視点5010および中心窩追跡レンダリング視点5020Cからレンダリング空間内で捕捉されるであろうような仮想コンテンツを表す、種々の角度光成分を含み得る。頭部追跡レンダリング視点5010からレンダリング空間内で捕捉されるであろうような仮想コンテンツを表す、ライトフィールド5030Cの角度光成分は、視認者の眼210に対して-θ310~+θ310角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになるものを含み得る。しかしながら、図26A-26Bを参照して上記に説明されるように、第1の段階からの出発の際、中心窩追跡仮想カメラによってレンダリング空間内で捕捉されるであろうような仮想コンテンツ(例えば、中心窩追跡レンダリング視点5020C内に入る、仮想オブジェクトおよび他のコンテンツ)を表す、ライトフィールド5030Cの角度光成分は、視認者の眼210に対してθ320C-θ320A角度単位~θ320C+θ320A角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになるものを含み得る。
中心窩追跡レンダリング視点320Cと関連付けられたそのような角度光成分がライトフィールド5030C内で生じる、θ320C-θ320A角度単位とθ320C+θ320A角度単位との間の間隔は、頭部追跡レンダリング視点5010と関連付けられた角度光成分がライトフィールド5030C内で生じる、-θ310および+θ310角度単位間の間隔より高くなり得る。このように、中心窩追跡レンダリング視点5020Cと関連付けられた仮想コンテンツが視認者にレンダリングおよび提示され得る、分解能は、着目すべきこととして、視認者の眼210に対して-θ320A~+θ320A角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになる、角度光成分によって表される仮想コンテンツを含む、頭部追跡レンダリング視点5010と関連付けられた仮想コンテンツが視認者にレンダリングおよび提示され得る、分解能より高くなり得る。
いくつかの実施形態では、ライトフィールド5030C内で生じる、頭部追跡レンダリング視点5010と関連付けられた角度光成分はさらに、視認者の眼210に対してθ320C-θ320A角度単位~θ320C+θ320A角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになるものを含み得る。そのような実施形態では、頭部追跡レンダリング視点310と関連付けられたそのような角度光成分がライトフィールド5030C内で生じる、-θ320C-θ320A角度単位とθ320C+θ320A角度単位間の間隔は、中心窩追跡レンダリング視点5020Cと関連付けられた角度光成分がライトフィールド5030C内で生じる、θ320C-θ320A角度単位とθ320C+θ320A角度単位との間の間隔より低い規則性が低くなり得る。他の実施形態では、ライトフィールド5030C内で生じる、頭部追跡レンダリング視点5010と関連付けられた角度光成分は、視認者の眼210に対してθ320C-θ320A角度単位~θ320C+θ320A角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになるものを除外し得る。したがって、これらの他の実施形態では、ライトフィールド5030C内で生じる、頭部追跡レンダリング視点5010と関連付けられた角度光成分は、-θ310~θ320C-θ320A角度単位の角度およびθ320C+θ320A角度~θ310角度単位の角度単位または角度で視認者の眼210の網膜上に投影されることになるものであり得る。
図26E-26Fは、いくつかの実施形態による、ユーザに提示され得る画像の例示的構成を図式的に図示する。図26E-26Fにおけるグリッド正方形は、図24を参照して上記に説明されるような視野3002、3004、および3006が、2次元角度空間に定義される、像点を図式的に表すことに留意されたい。広FOVを有する、低分解能の第1の画像ストリーム5010Eは、静的場所に表示されることができる。広FOVを有する、低分解能の第1の画像ストリーム5010Eは、レンダリング空間内に静的位置および配向を有する第1の仮想カメラによって捕捉されるであろうような仮想コンテンツの1つ以上の画像を表すことができる。例えば、低分解能の第1の画像ストリーム5010Eは、図26A-26Dを参照して上記に説明される頭部追跡仮想カメラ等の頭部追跡仮想カメラによって捕捉されるであろうような仮想コンテンツの1つ以上の画像を表すことができる。第1の画像ストリーム5010Eは、ユーザの視覚を包含し、没入体験をユーザに喚起することができる。
比較的に狭いFOVを有する、高分解能の第2の画像ストリーム5020Eは、第1の画像ストリーム5010Eの境界内に表示されることができる。いくつかの実施例では、第2の画像ストリーム5020Eは、眼視線追跡技法を使用して取得されるデータに基づいて、ユーザの現在の固視点と一致する角位置に対してリアルタイムで動的に調節され得る、レンダリング空間内にある配向を有する第2の異なる仮想カメラによって捕捉されるであろうような仮想コンテンツの1つ以上の画像を表すことができる。これらの実施例では、高分解能の第2の画像ストリーム5020Eは、図26A-26Dを参照して上記に説明される中心窩追跡仮想カメラ等の中心窩追跡仮想カメラによって捕捉されるであろうような仮想コンテンツの1つ以上の画像を表すことができる。言い換えると、そこから第2の画像ストリーム5020Eによって表される仮想コンテンツの1つ以上の画像が捕捉される、レンダリング空間内の視点は、第2の画像ストリーム5020Eと関連付けられた視点がユーザの中心窩視と持続的に整合されるように、ユーザの眼視線が変化するにつれて再配向されることができる。
例えば、第2の画像ストリーム5020Eは、ユーザの眼視線が、図26Eに図示されるように、第1の位置に固視されると、レンダリング空間の第1の領域内に位置する仮想コンテンツを包含することができる。ユーザの眼視線が、第1の位置と異なる第2の位置に移動するにつれて、第2の画像ストリーム5020Eと関連付けられた視点は、調節されることができるように、第2の画像ストリーム5020Eが、図26Fに図示されるように、レンダリング空間の第2の領域内に位置する仮想コンテンツを包含することができる。いくつかの実施形態では、第1の画像ストリーム5010Eは、広FOVであるが、疎密グリッドによって示されるように、低角度分解能を有する。第2の画像ストリーム5020Eは、狭FOVであるが、稠密グリッドによって示されるように、高角度分解能を有する。
図26Gは、いくつかの他の実施形態による、ユーザに提示され得る画像の例示的構成を図式的に図示する。図26E-26Fのように、図26Gにおけるグリッド正方形は、2次元角度空間内で定義される、像点を図式的に表す。図26E-26Fに図示される構成と同様に、広FOVを有する低分解能の第1の画像ストリーム5010Gは、頭部追跡レンダリング視点から視認されるような仮想コンテンツを包含する一方、狭FOVを有する高分解能の第2の画像ストリーム5020Gは、ユーザの現在の固視点と一致するように動的に再配向され得る、中心窩追跡レンダリング視点から視認されるような仮想コンテンツを包含する。ここでは、第1の画像ストリーム5010Gと関連付けられたFOVの外周界は、丸みを帯びた角を伴う長方形境界を形成することができ、第2の画像ストリーム5020Gと関連付けられたFOVの外周界は、円形境界を形成することができる。
図26Hは、さらにいくつかの他の実施形態による、ユーザに提示され得る画像の例示的構成を図式的に図示する。図26E-26Gのように、図26Hにおけるグリッド正方形は、2次元角度空間内に定義される像点を図式的に表す。ここでは、第1の画像ストリーム5010Hと関連付けられたFOVの外周界および第2の画像ストリーム5020Hと関連付けられたFOVの外周界の両方が、円形境界を形成することができる。いくつかの他の実施形態では、第1の画像ストリーム5010Hと関連付けられたFOVの外周界および第2の画像ストリーム5020Hと関連付けられたFOVの外周界の一方または両方が、楕円形境界または他の形状を形成することができる。いくつかの実施形態では、図26HのARシステムの画像源は、所定のパターンで走査され、所望の境界形状を伴って、第1の画像ストリーム5010Hおよび第2の画像ストリーム5020Hのための光ビームを提供し得る、走査ファイバを含んでもよい。
図27は、図25Aに示されるようなウェアラブルディスプレイデバイス4050内のディスプレイ4052のうちの1つ上にオーバーレイされる、図24に示されるような視野3002および動眼視野3004を図示する。いくつかの実施形態によると、図26E-26Fに図示される広FOVおよび低分解能の第1の画像ストリーム5010Eは、ディスプレイ4052のエリア全体を横断して表示されることができる(第1の画像ストリーム5010Eの比較的に低分解能は、疎密グリッドを伴って図示される)一方、狭FOVおよび高分解能の第2の画像ストリーム5020Eは、ユーザの現在の中心窩化領域3006に表示されることができる(第2の画像ストリーム5020Eの比較的に高分解能は、稠密グリッドを伴って図示される)。図27では、第1の画像ストリーム5010Eおよび第2の画像ストリーム5020Eは、ディスプレイ4052の「平面」に表示されるように図示されるが、シースルー拡張現実(AR)ディスプレイシステムでは、第1の画像ストリーム5010Eおよび第2の画像ストリーム5020Eはまた、ある角度視野内のライトフィールドとしてユーザに提示されることができる。そのようなARディスプレイシステムは、ユーザの正面のある距離(例えば、2メートル)に「浮遊」しているように現れる、ディスプレイ平面を生産することができる。ディスプレイ平面は、眼鏡よりはるかに大きいように現れることができる。本浮遊距離ディスプレイは、実世界に関する情報にオーバーレイするために使用される。
図28A-28Bは、いくつかの実施形態による、ユーザに提示され得る例示的仮想コンテンツを使用して、図26A-26Dに説明される原理のうちのいくつかを図示する。したがって、図28A-28Bは、それぞれ、第1および第2の時系列段階における視認者およびARシステムを表し得る。さらに、図28A-28Bに示されるコンポーネントの一部または全部は、図26A-26Dを参照して上記に説明されるようなコンポーネントと同一または少なくとも類似してもよい。
図28A-28BのARシステムは、図26A-26Dを参照して上記に説明される頭部追跡仮想カメラに類似する頭部追跡仮想カメラを作成または動的に再位置付けおよび/または再配向し、仮想コンテンツを頭部追跡仮想カメラの視点からレンダリングし、仮想コンテンツのレンダリングを表す光を、接眼レンズ6000を通して、視認者の眼210の網膜上に投影し得る。図28A-28BのARシステムはまた、図26A-26Dを参照して上記に説明される中心窩追跡仮想カメラに類似する中心窩追跡仮想カメラを作成または動的に再位置付けおよび/または再配向し、仮想コンテンツを中心窩追跡仮想カメラの視点からレンダリングし、仮想コンテンツのレンダリングを表す光を、接眼レンズ400を通して、視認者の眼210の中心窩上に投影し得る。図28A-28Bに示されるように、そのような仮想コンテンツは、3-D仮想オブジェクト6011、6012、および6013を含んでもよい。いくつかの実施例では、図28A-28BのARシステムは、頭部追跡レンダリング視点に関してすぐ上で説明された動作のうちの1つ以上のものと、中心窩追跡レンダリング視点に関してすぐ上で説明された動作のうちの1つ以上のものを同時に実施してもよい。他の実施例では、図28A-28BのARシステムは、そのような動作を高速で連続して実施してもよい。
本実施例では、図28A-28BにおけるARシステムによって採用される、頭部追跡レンダリング視点のFOVは、対角線上に、水平に、および/または垂直に、仮想オブジェクト6011、6012、および6013のそれぞれを包含するために十分に広い角度空間であり得る。実施例の目的のために、視認者の頭部の位置および配向は、頭部追跡レンダリング視点の位置および配向が2つの段階全体を通して同一のままであるように、それぞれ、図28Aおよび28Bに描写されるような第1および第2の段階全体を通して静的であるように取り扱われ得る。ARシステムによって採用される頭部追跡レンダリング視点のFOVが、仮想オブジェクト6011-6013を包含するために十分に広いために、少なくとも、対角線上に、水平に、および/または垂直に、α+ζ角度単位の範囲に及ばなければならない。より具体的には、図28A-28Bの実施例では、仮想オブジェクト6011、6012、および6013は、それぞれ、α-β、γ+δ、およびζ-ε角度単位範囲に及び得ることが分かる。
図28Aでは、視認者の眼210は、視認者が比較的に直進方向において接眼レンズ6000を見ることが可能であり得るように、接眼レンズ6000に対して第1の様式で配向される。図28Aにおける視認者の眼210の配向は、例えば、図26A-26Bを参照して上記に説明されるような視認者の眼210の配向と同一または類似し得、感知コンポーネントおよび/または本明細書に説明される技法のうちの1つ以上のものを使用して、ARシステムよって決定されてもよい。したがって、図28Aに描写される段階では、ARシステムは、それぞれ、頭部追跡および中心窩追跡レンダリング視点5010および5020Aのものに類似する相対的位置および配向における、頭部追跡および中心窩追跡レンダリング視点を採用してもよい。図28Aの特定の実施例では、ARシステムによって採用される中心窩追跡レンダリング視点のFOVは、例えば、仮想オブジェクト6012を包含し得るが、仮想オブジェクト6011および6013のいずれも包含し得ない。図28Aでは、ARシステムは、中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト6012を高解像度でレンダリングし得、頭部追跡仮想カメラの視点から捕捉されたであろうような仮想オブジェクト6011および6013をより低い解像度でレンダリングし得るということになる。加えて、ARシステムは、仮想オブジェクト6011、6012、および6013のそのようなレンダリングを表す光を、接眼レンズ6000を通して、視認者の眼210の網膜上に投影してもよい。いくつかの実施形態では、ARシステムはまた、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト6012をより低い解像度でレンダリングし得る。
図28Aはまた、接眼レンズ6000によって外部結合され、視認者の眼210の網膜上に投影される、例示的ライトフィールド6030Aを図示する。ライトフィールド6030Aは、上記に述べられた仮想オブジェクト6011、6012、および6013のレンダリングのうちの1つ以上のものを表す、種々の角度光成分を含み得る。例えば、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト6011を表す、ライトフィールド6030Aの角度光成分は、視認者の眼210に対して-α~-β角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになるものを含み得、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト6013を表す、ライトフィールド6030Aの角度光成分は、視認者の眼210に対してε~ζ角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになるものを含み得る。同様に、中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト6012を表す、ライトフィールド6030Aの角度光成分は、視認者の眼210に対して-γ~δ角度単位に及ぶ角度で視認者の眼210の中心窩上に投影されることになるものを含み得る。したがって、仮想オブジェクト6012を表すライトフィールド6030Aの成分(すなわち、視認者の眼210に対して-γ~δ角度単位に及ぶ角度で投影されることになる成分)は、仮想オブジェクト6011または6013を表す、ライトフィールド6030Aの成分(すなわち、視認者の眼210に対して-α~-βまたはε~ζ角度単位に及ぶ角度で投影されることになる成分)より角度空間内で稠密に分散され得る。このように、仮想オブジェクト6012が視認者にレンダリングおよび提示され得る、分解能は、仮想オブジェクト6011または6013が視認者にレンダリングおよび提示され得る、分解能より高くなり得る。
図28Bでは、視認者の眼210は、視認者の眼210が図28Aにおいて接眼レンズ6000に対して配向される第1の様式と異なる第2の様式において、接眼レンズ6000に対して配向される。図28Bにおける視認者の眼210の配向は、例えば、図26C-26Dを参照して上記に説明されるような視認者の眼210の配向と同一または類似し得、感知コンポーネントおよび/または本明細書に説明される技法のうちの1つ以上のものを使用して、ARシステムによって決定されてもよい。したがって、図28Bに描写される段階では、ARシステムは、それぞれ、頭部追跡および中心窩追跡レンダリング視点5010および5020Cのものに類似する相対的位置および配向において、頭部追跡および中心窩追跡レンダリング視点を採用してもよい。図28Bの特定の実施例では、ARシステムによって採用される中心窩追跡レンダリング視点のFOVは、例えば、仮想オブジェクト6013を包含し得るが、仮想オブジェクト6011および6012のいずれも包含し得ない。図28Bでは、ARシステムは、中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト6013を高解像度でレンダリングし得、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト6011および6012をより低い解像度でレンダリングし得るということになる。加えて、ARシステムは、仮想オブジェクト6011、6012、および6013のそのようなレンダリングを表す光を、接眼レンズ6000を通して、視認者の眼210の網膜上に投影してもよい。いくつかの実施形態では、ARシステムはまた、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト6013をより低い解像度でレンダリングしてもよい。
図28Bはまた、接眼レンズ6000によって外部結合され、視認者の眼210の網膜上に投影される、例示的ライトフィールド6030Bを図示する。ライトフィールド6030Bは、上記に述べられた仮想オブジェクト6011、6012、および6013のレンダリングのうちの1つ以上のものを表す、種々の角度光成分を含み得る。例えば、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト6011を表す、ライトフィールド6030Bの角度光成分は、視認者の眼210に対して-α~-β角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになるものを含み得、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト6012を表す、ライトフィールド6030Bの角度光成分は、視認者の眼210に対して-γ~δ角度単位に及ぶ角度で視認者の眼210の網膜上に投影されることになるものを含み得る。同様に、中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想オブジェクト6013を表す、ライトフィールド6030Bの角度光成分は、視認者の眼210に対してε~ζ角度単位に及ぶ角度で視認者の眼210の中心窩上に投影されることになるものを含み得る。したがって、仮想オブジェクト6013を表す、ライトフィールド6030Bの成分(すなわち、視認者の眼210に対してε~ζ角度単位に及ぶ角度で投影されることになる成分)は、仮想オブジェクト6011または6012を表す、ライトフィールド6030Aの成分(すなわち、視認者の眼210に対して-α~-βまたは-γ~δ角度単位に及ぶ角度で投影されることになる成分)より角度空間内で稠密に分散され得る。このように、仮想オブジェクト6013が視認者にレンダリングおよび提示され得る、分解能は、仮想オブジェクト6011または6012が視認者にレンダリングおよび提示され得る、分解能より高くなり得る。実際、図28Aの段階から図28Bの段階では、それを参照して本明細書に説明されるARシステムは、段階間の視認者の眼402の視線の変化に従って、そこから仮想コンテンツが高分解能で視認され得る視点を効果的に再配向している。
図28C-28Fは、いくつかの実施形態による、ユーザに提示され得るいくつかの例示的画像を使用して、図3E-3Fに説明される原理のうちのいくつかを図示する。いくつかの実施例では、図28C-28Fに描写される画像および/または画像ストリームのうちの1つ以上のものは、図25Bを参照して上記に説明される深度平面のうちの1つ以上のもの等、特定の深度平面に表示されることになる2次元画像またはその一部を表してもよい。すなわち、そのような画像および/または画像ストリームは、ユーザから固定距離における少なくとも1つの2次元表面上に投影された3-D仮想コンテンツを表してもよい。そのような実施例では、そのような画像および/または画像ストリームは、図26A-26Dおよび28A-28Bを参照して上記に説明されるものに類似するある角度視野を伴う1つ以上のライトフィールドとして、ユーザに提示されてもよいことを理解されたい。
描写されるように、第1の画像ストリーム6010は、木を含む。図28Cによって表される第1の時間周期の間、眼追跡センサは、ユーザの眼視線(すなわち、中心窩視)が、木の幹を含む、木の第1の領域6010-1内に合焦されていることを決定することができる。ユーザの眼視線が第1の領域6010-1に合焦されていることを決定することに応答して、第1の画像ストリーム6010の第1の領域6010-1と関連付けられた高分解能画像を含む、第2の画像ストリーム6020が、第1の画像ストリーム6010の表示と同時に、第1の領域410-1内に位置付けられることができる。第1の画像ストリーム410は、図28Cに図示されるように、第2の画像ストリーム6020より低い分解能を有し得る。
図28Dによって表される、第2の時間周期の間、眼追跡センサは、ユーザの眼視線が、図28Dに図示されるように、木の枝を含む、木の第2の領域6010-2に移動したことを決定することができる。故に、第2の画像ストリーム420は、第2の領域6010-2に偏移され、そのコンテンツを変化させ、第1の画像ストリーム6010の第2の領域6010-2内のコンテンツに対応させることができる。より高い分解能の第2の画像ストリーム6020は、ユーザの中心窩視内の第1の画像ストリーム6010の部分にオーバーレイするため、第2の画像ストリーム6020を囲繞する第1の画像ストリーム6010のより低い分解能の部分は、ユーザによって知覚または認知され得ない。このように、ユーザは、広FOVおよび高分解能の両方を有するような第1の画像ストリーム6010および第2の画像ストリーム6020の組み合わせを知覚し得る。そのようなディスプレイシステムは、いくつかの利点を与えることができる。例えば、ディスプレイシステムは、より優れたユーザ体験を提供しながら、比較的に小形状因子を維持し、算出リソース要件を比較的に低く保つことができる。小形状因子および低算出リソース要件は、デバイスが高分解能画像をディスプレイの限定された領域内に生成することのみ必要とすることに起因し得る。
第2の画像ストリーム6020は、同時にまたは高速で連続して、第1の画像ストリーム6010上にオーバーレイされることができる。上記に議論されるように、いくつかの実施形態では、第2の画像ストリーム6020によってオーバーレイされた第1の画像ストリーム6010のコンテンツのサブセットは、より均一明度およびより良好な分解能知覚のために、オフにされる、またはより低い強度で提示されることができる。また、いくつかの実施形態では、第2の画像ストリーム6020と関連付けられた第2の画像ストリームは、第1の画像ストリーム6010と関連付けられた第1の画像ストリームと他の点において異なり得ることに留意されたい。例えば、第2の画像ストリームの色分解能は、第1の画像ストリームの色分解能より高くあり得る。第2の画像ストリームのリフレッシュレートもまた、第1の画像ストリームのリフレッシュレートより高くあり得る。
図28Eは、いくつかの実施形態による、例示的高FOV低分解能画像フレーム(すなわち、第1の画像ストリーム)を図示し、図28Fは、例示的低FOV高分解能画像フレーム(すなわち、第2の画像ストリーム)を図示する。図28Eに図示されるように、低FOV高分解能画像フレームによってオーバーレイされるであろう、高FOV低分解能画像フレームの領域6030は、仮想コンテンツを欠き得る。領域6030に対応する高FOV画像の部分を省略することによって、2つの画像内の若干の差異から生じる任意の画像ぼけまたは不鮮明化は、回避され得る。低FOV高分解能画像フレームのコンテンツ(例えば、図28Fに図示されるような)は、領域6030に対応するコンテンツの高分解能バージョンを含むことができる。
図29Aは、いくつかの実施形態による、ディスプレイシステム7000Aの簡略化されたブロック図を示す。ディスプレイシステム7000Aは、ユーザの頭部の位置および移動およびユーザの眼位置および眼球間距離を検出するための1つ以上のセンサ7002を含むことができる。そのようなセンサは、画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、ジャイロスコープ、および同等物を含んでもよい。拡張現実システムでは、1つ以上のセンサ7002は、頭部装着型フレーム上に搭載されることができる。
例えば、いくつかの実装では、ディスプレイシステム7000Aの1つ以上のセンサ7002は、頭部装着型変換器システムの一部であって、1つ以上の慣性変換器を含み、ユーザの頭部の移動を示す慣性測定値を捕捉してもよい。したがって、これらの実装では、1つ以上のセンサ7002は、ユーザの頭部移動についての情報を感知、測定、または収集するために使用されてもよい。例えば、そのようなものは、ユーザの頭部の測定移動、速度、加速、および/または位置を検出するために使用されてもよい。
いくつかの実施形態では、1つ以上のセンサ7002は、ユーザが位置する環境についての情報を捕捉するために使用され得る、1つ以上の前方に面したカメラを含むことができる。前方に面したカメラは、その環境およびその環境内の具体的オブジェクトに対するユーザの距離および配向を示す情報を捕捉するために使用されてもよい。頭部に装着されると、前方に面したカメラは、特に、ユーザが位置する環境およびその環境内の具体的オブジェクトに対するユーザの頭部の距離および配向を示す情報を捕捉するために好適である。前方に面したカメラは、頭部移動、頭部移動の速度、および加速を検出するために採用されることができる。前方に面したカメラはまた、例えば、少なくとも部分的に、ユーザの頭部の配向に基づいて、ユーザの注意の中心を検出または推測するために採用されることができる。配向は、任意の方向(例えば、ユーザの基準フレームに対して上下左右)において検出されてもよい。
1つ以上のセンサ7002はまた、一対の後ろ向きに面したカメラを含み、ユーザの眼の移動、瞬目、および焦点深度を追跡することができる。そのような眼追跡情報は、例えば、光をユーザの眼に投影させ、その投影された光の少なくとも一部の戻りまたは反射を検出することによって、判別されることができる。眼追跡デバイスについて議論するさらなる詳細は、「DISPLAY SYSTEM AND METHOD」と題された米国仮特許出願第61/801,219号、「METHODS AND SYSTEM FOR CREATING FOCAL PLANES IN VIRTUAL AND AUGMENTED REALITY」と題された米国仮特許出願第62/005,834号、「SYSTEM AND METHOD FOR AUGMENTED AND VIRTUAL REALITY」と題された米国仮特許出願第61/776,771号、および「METHOD AND SYSTEM FOR EYE TRACKING USING SPECKLE PATTERNS」と題された米国仮特許出願第62/420,292号(参照することによって明示的に本明細書に組み込まれる)に提供される。
ディスプレイシステム7000Aはさらに、1つ以上のセンサ7002に通信可能に結合される、ユーザ配向決定モジュール7004を含むことができる。ユーザ配向決定モジュール7004は、データを1つ以上のセンサ7002から受信し、そのようなデータを使用して、ユーザの頭部姿勢、角膜位置、瞳孔間距離、および同等物を決定する。ユーザ配向決定モジュール7004は、ユーザの頭部の瞬間位置を検出し、1つ以上のセンサ7002から受信された位置データに基づいて、ユーザの頭部の位置を予測してもよい。ユーザ配向決定モジュール7004はまた、1つ以上のセンサ7002から受信された追跡データに基づいて、ユーザの眼を追跡する。
ディスプレイシステム7000Aはさらに、多種多様な形態のいずれかをとり得る、制御サブシステムを含んでもよい。制御サブシステムは、いくつかのコントローラ、例えば、1つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット(CPU)、デジタル信号プロセッサ、グラフィック処理ユニット(GPU)、特定用途向け集積回路(ASIC)等の他の集積回路コントローラ、プログラマブルゲートアレイ(PGAS)、例えば、フィールドPGAS(FPGAS)、および/またはプログラマブル論理コントローラ(PLU)を含む。
図29Aに描写される実施例では、ディスプレイシステム7000Aは、中央処理ユニット(CPU)7010と、グラフィック処理ユニット(GPU)7020と、フレームバッファ7042および7044とを含む。要するに、下記にさらに詳細に説明されるように、CPU7010は、全体的動作を制御する一方、GPU7020は、フレームをデータベース7030内に記憶される3次元データからレンダリングし(すなわち、3次元場面を2次元画像に変換する)、これらのフレームをフレームバッファ7042および7044内に記憶する。図示されないが、1つ以上の付加的集積回路が、フレームバッファ7042および7044の中へのフレームの読込および/またはそこからの読取と、画像多重化サブシステム7060、中心窩追跡ビーム操向コンポーネント7080、および同等物のコンポーネント等のディスプレイシステム7000Aの1つ以上の他のコンポーネントの動作とを制御してもよい。フレームバッファ542および544の中へのフレームの読込および/またはそこからの読取は、動的アドレス指定を採用してもよく、例えば、フレームは、オーバーレンダリングされる。ディスプレイシステム7000Aはさらに、読取専用メモリ(ROM)およびランダムアクセスメモリ(RAM)を備える。ディスプレイシステム7000Aはさらに、3次元データベース7030を備え、そこから、GPU7020は、フレームをレンダリングするための1つ以上の場面の3次元データにアクセスすることができる。
CPU7010は、高FOV低分解能レンダリング視点決定モジュール7012と、低FOV高分解能レンダリング視点決定モジュール7014とを含むことができる。いくつかの実施形態では、ユーザ配向決定モジュール7004は、CPU7010の一部であることができる。
高FOV低分解能レンダリング視点決定モジュール7012は、ユーザ配向決定モジュールによって出力されたデータを、そこから高FOV低分解能画像が知覚されることになる、3D空間内の場所および角度とマッピングするための論理を含むことができる。すなわち、CPU7010は、ユーザ配向決定モジュール7004から受信されたデータに基づいて、任意の所与の時間に、ユーザの頭部に対して固定される仮想カメラの視点を決定する。図26A-26Dおよび28A-28Bを参照して上記に説明される実施例のコンテキスト内では、高FOV低分解能レンダリング視点決定モジュール7012は、ユーザ配向決定モジュール7004によって示されるような頭部位置および配向を監視し、適宜、レンダリング空間内の少なくとも頭部追跡仮想カメラの位置および配向を制御する役割を果たし得る。
低FOV高分解能レンダリング視点決定モジュール7014は、ユーザ配向決定モジュールによって出力されたデータ(例えば、ユーザの視線および中心窩場所を示すデータ)を、そこから低FOV高分解能画像が知覚されることになる、3D空間内の場所および角度とマッピングするための論理を含むことができる。すなわち、CPU7010は、ユーザ配向決定モジュール7004から受信されたデータに基づいて、任意の所与の時間に、ユーザの中心窩に対して固定される仮想カメラの視点を決定する。図26A-26Dおよび28A-28Bを参照して上記に説明される実施例のコンテキスト内では、低FOV高分解能レンダリング視点決定モジュール7014は、ユーザ配向決定モジュール7004によって示されるような眼視線を監視し、適宜、レンダリング空間内の少なくとも中心窩追跡仮想カメラの位置および配向を制御する役割を果たし得る。
ディスプレイシステム7000Aはさらに、グラフィック処理ユニット(GPU)7020と、データベース7030とを含むことができる。データベース7030は、3D仮想コンテンツを記憶することができる。GPU7020は、フレームをレンダリングするために、データベース7030内に記憶される3D仮想コンテンツにアクセスすることができる。GPU7020は、CPU7010によって決定され、出力として提供されるように、ユーザの中心窩に対して固定される仮想カメラの視点(例えば、中心窩追跡レンダリング視点)から、仮想コンテンツのフレームを低FOVおよび高分解能でレンダリングすることができる。GPU7020はまた、CPU7010によって決定され、出力として提供されるように、ユーザの頭部に対して固定される仮想カメラの視点(例えば、頭部追跡/非中心窩化視点)から、仮想コンテンツのフレームを高FOVおよび低分解能でレンダリングすることができる。レンダリングプロセスにおける仮想カメラの作成、調節、および使用について議論するさらなる詳細は、「METHODS AND SYSTEMS FOR DETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION」と題された米国特許出願第15/274,823号(あらゆる目的のために、参照することによってその全体として本明細書に明示的に組み込まれる)に提供される。
仮想コンテンツの高FOV低分解能でレンダリングされるフレームは、高FOV低分解能でレンダリングされるフレームのバッファ7042内に記憶されることができる。同様に、仮想コンテンツの低FOV高分解能でレンダリングされるフレームは、低FOV高分解能でレンダリングされるフレームのバッファ7044内に記憶されることができる。いくつかの実施形態では、高FOV低分解能でレンダリングされるフレームのバッファ7042および低FOV高分解能でレンダリングされるフレームのバッファ7044は、GPU7020の一部であることができる。
ディスプレイシステム7000Aはさらに、画像多重化サブシステム7060と、画像多重化サブシステム7060に通信可能に結合される、画像多重化サブシステムコントローラ7050とを含むことができる。画像多重化サブシステム7060は、図30A-30Bを参照して下記にさらに詳細に実質的に説明されるように、画像源7062と、高FOV低分解能画像フレームおよび低FOV高分解能画像フレームを多重化するための多重化コンポーネント7064とを含むことができる。画像源7062は、例えば、ファイバ走査コンポーネント、シリコン上液晶(LCoS)、MEMS走査ミラー、および同等物と組み合わせた光源を含むことができる。多重化コンポーネント7064は、偏光回転子、切替可能光学、液晶アレイ、可変焦点レンズ、および同等物等の光学要素を含むことができる。多重化コンポーネント7064は、画像源7062の内部または外部にあることができる。
画像多重化サブシステムコントローラ7050は、画像多重化サブシステム7060、高FOV低分解能でレンダリングされるフレームのバッファ7042、および低FOV高分解能でレンダリングされるフレームのバッファ7044に通信可能に結合される。制御回路は、上記に議論されるように、適切な画像コンテンツが各レンダリング視点から提示されるように、制御信号を画像源562に送信することができる。画像多重化サブシステムコントローラ7050はまた、多重化された画像ストリームをもたらすように、画像源7062と併せて、多重化コンポーネント7064を制御することができる。
ディスプレイシステム7000Aはさらに、中心窩追跡ビーム操向コンポーネント7080と、中心窩追跡ビーム操向コンポーネント7080に通信可能および/または動作可能に結合される、中心窩追跡コントローラ7070とを含むことができる。中心窩追跡コントローラ7070は、CPU7010から、ユーザの中心窩の位置に関する出力データ(例えば、低FOV高分解能レンダリング視点決定モジュール7014および/またはユーザ配向決定モジュール7004によって決定されるような)を受信し、そのようなデータを使用して、中心窩追跡ビーム操向コンポーネント7080の位置を制御することができる。中心窩追跡ビーム操向コンポーネント7080は、多重化された画像ストリームの低FOV高分解能部分(画像源7062および多重化コンポーネント7064によって生産された)をユーザの中心窩に向かって動的に操向または別様に指向する役割を果たすことができる。画像ストリームのそのような低FOV高分解能部分は、例えば、中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想コンテンツを表し得る。
ディスプレイシステム7000Aはまた、コンピュータ可読命令、データベース、およびCPU7010、GPU7020、および/または1つ以上の他のモジュールまたはディスプレイシステム7000Aのコントローラによって使用可能な他の情報を記憶するための記憶媒体を含むことができる。ディスプレイシステム7000Aはさらに、ユーザがディスプレイシステムとの相互作用のために使用し得る、ボタン等の入力-出力(I/O)インターフェースを含むことができる。ディスプレイシステム7000Aはまた、ディスプレイシステム7000Aの別の部分またはインターネットとの無線通信のための無線アンテナを含むことができる。
図29Bは、いくつかの実施形態による、ARシステム7000Bの断面図を図式的に図示する。ARシステム7000Bは、いくつかの実施形態によると、図29Aを参照して上記に説明されるように、ディスプレイシステム7000Aのコンポーネントのうちの少なくともいくつかを組み込むことができ、図25Aに示されるように、ウェアラブルディスプレイデバイス4050内のディスプレイ4052のうちの1つの中に嵌合されることができる。例えば、ARシステム7000Bは、画像多重化サブシステム560を含むことができ、これは、画像源7062と、1つ以上の多重化コンポーネントとを含むことができる。加えて、ARシステム7000Bはまた、中心窩追跡ビーム操向コンポーネント7080を含むことができ、これは、本実施例ではMEMS走査ミラー等の電気機械的光学デバイスであってもよい。ディスプレイシステム7000Aのように、画像多重化サブシステム7060は、画像多重化サブシステムコントローラに通信可能および/または動作可能に結合されてもよく、中心窩追跡ビーム操向コンポーネント7080は、中心窩追跡コントローラに通信可能および/または動作可能に結合されてもよい。ARシステム7000Bはさらに、1つ以上の内部結合格子(ICG)7007と、1つ以上の接眼レンズ7008とを含むことができる。各内部結合格子7007は、第1の光ビームおよび第2の光ビームを個別の接眼レンズ7008の中に結合するように構成されることができる。各接眼レンズ7008は、第1の光ビームおよび第2の光ビームをユーザの眼の中に外部結合するための外部結合格子を含むことができる。内部結合格子7007および接眼レンズ7008は、本明細書では、「視認アセンブリ」と称され得る。本明細書に開示される種々の内部結合格子(ICG)は、図9A-9Cの内部結合光学要素700、710、720に対応してもよいことを理解されたい。
図30A-30Bは、いくつかの実施形態による、画像をユーザの眼に投影させるためのディスプレイシステム8000を図式的に図示する。ディスプレイシステム8000は、画像源8010を含む。画像源8010は、図30Aに示されるように、第1の画像ストリームと関連付けられた第1の光ビーム8052を投影し、図30Bに示されるように、第2の画像ストリームと関連付けられた第2の光ビーム8054を投影するように構成されることができる。第1の光ビーム8052および第2の光ビーム8054は、概略光線として、図30A-30Bに描写され、これは、正確な光線をトレースする光線を表すことを意図するものではないことに留意されたい。第1の光ビーム8052は、角度的に拡大され、より広いFOVを被覆し、より低い角度の分解能画像ストリームをもたらすことができる。第2の光ビーム8054は、図26A-26Fおよび28A-28Dを参照して上記に議論されるように、より高い角度分解能を伴う、より狭いFOVを有することができる。
画像源8010は、種々の実施形態によると、シリコン上液晶(LCoSまたはLCOS)ディスプレイ(また、空間光変調器とも称され得る)、走査ファイバ、または走査ミラーを含んでもよい。例えば、画像源8010は、制御信号に応答して、光ファイバを所定のパターンで走査する、走査デバイスを含んでもよい。所定のパターンは、長方形または円形形状等のある所望の画像形状に対応し得る。
いくつかの実施形態によると、第1の画像ストリームと関連付けられた第1の光ビーム8052および第2の画像ストリームと関連付けられた第2の光ビーム8054は、多重化され、画像源8010によって、合成光ビームとして出力されることができる。例えば、偏光分割多重化、時分割多重化、波長分割多重化、および同等物が、第1の画像ストリームと関連付けられた光ビームおよび第2の画像ストリームと関連付けられた光ビームを多重化するために使用されることができる。
偏光分割多重化が使用される、実施形態では、第1の光ビーム8052は、第1の偏光状態にあることができ、第2の光ビーム8054は、第1の偏光状態と異なる第2の偏光状態にあることができる。例えば、第1の偏光状態は、第1の方向に配向される線形偏光であることができ、第2の偏光状態は、第1の方向に直交する第2の方向に配向される線形偏光であることができる。いくつかの他の実施形態では、第1の偏光状態は、左回り円偏光であることができ、第2の偏光状態は、右回り円偏光であることができる、またはその逆であることができる。第1の光ビーム8052および第2の光ビーム8054は、同時にまたは順次、画像源8010によって投影されることができる。
ディスプレイシステム8000はさらに、いくつかの実施形態によると、第1の光ビーム8052を第2の光ビーム8054から多重化解除するように構成される、偏光ビームスプリッタ(PBS)8030を含むことができる。偏光ビームスプリッタ8030は、図30Aに図示されるように、第1の光ビーム8052を第1の光学経路に沿って視認アセンブリに向かって反射させ、図30Bに図示されるように、第2の光ビーム8054を第2の光学経路に沿って透過させるように構成されることができる。
偏光ビームスプリッタ8030の代替もまた、光ビームを多重化解除するために使用されてもよい。実施例として、限定ではないが、図30Aおよび30Bの偏光ビームスプリッタ8030を含む、本明細書に説明されるビームスプリッタは、液晶の切替可能反射体等の切替可能反射体と置換される、またはそれとともに実装されてもよい。そのような切替可能反射体を伴う実施形態では、本明細書に開示される全ての他の側面が、適用され、偏光ビームスプリッタが切替可能反射体によって置換されることを除き、類似し得る。実施例として、図53Aの切替可能反射体50042等の切替可能反射体は、制御信号に応答して、反射状態と透過状態との間で切り替わり得る。切替可能反射体の切替を協調させることによって、切替可能反射体は、光ビームを多重化解除するように動作し得る。実施例として、切替可能反射体は、第1の光ビームが切替可能反射体上に入射すると、随時、反射性にされてもよく、第2の光ビームが切替可能反射体上に入射すると、随時、透過性にされ、したがって、第1および第2の光ビームの多重化解除を可能にし得る。いくつかの実施形態では、切替可能反射体は、光ビーム8052、8054に対してある角度(例えば、45°角度)に位置付けられてもよい。その結果、透過性状態では、光ビーム8052、8054のうちの一方は、切替可能反射体を通して透過され、反射性状態では、光ビーム8054、8052の他方は、反射体を通して透過された光ビームと異なる方向に、切替可能反射体から離れるように進行するように反射される。
図30Bを参照すると、ディスプレイシステム8000はさらに、第2の光学経路に沿って偏光ビームスプリッタ8030の下流に位置付けられる、走査ミラー8060を含むことができる。走査ミラー8060は、ユーザの眼に投影されることになる第2の光ビーム8054を視認アセンブリに向かって反射させるように構成される。いくつかの実施形態によると、走査ミラー8060は、第2の画像ストリームを動的に投影させるために、ユーザの眼の固視位置に基づいて制御されることができる。例えば、走査ミラー8060は、制御回路を介して、ユーザの眼移動を追跡する眼視線トラッカと電気通信することができる。制御回路は、第2の光ビーム8054が、第2の画像ストリームをユーザの中心窩視を被覆すると決定された領域に投影するように、制御信号を送信し、ユーザの現在の固視点に基づいて、走査ミラー8060を傾斜および/または平行移動させることができる。いくつかの実施形態では、走査ミラー8060は、2自由度を伴う(すなわち、2つの独立角度で走査されることが可能である)、微小電気機械システム(MEMS)スキャナであることができる。
いくつかの他の実施形態では、走査ミラー8060を使用する代わりに、ディスプレイシステム8000は、固定ミラーを使用することができる。第2の画像ストリームの位置を制御するステップは、第3の光学レンズ8046を横方向に変位させることによって達成されることができる(下記の第3の光学レンズ8046の説明参照)。例えば、第3の光学レンズ8046は、矢印によって示されるように上下におよびページの向こう側およびこちら側に向けて変位され、第2の画像ストリームの位置を2次元で偏移させることができる。
いくつかの実施形態では、ディスプレイシステム8000はさらに、偏光ビームスプリッタ8030と走査ミラー8060との間に位置付けられる、偏光回転子8022を含むことができる。偏光回転子8022は、第2の光ビームが、視認アセンブリに入射するにつれて、第1の光ビーム8052のものとほぼ同一偏光を有し得るように、第2の光ビーム8054の偏光を回転させるように構成されることができる。偏光回転子8022は、例えば、半波長板を含むことができる。
いくつかの実施形態では、ディスプレイシステム8000はさらに、第1の光学経路のための第1の中継レンズアセンブリと、第2の光学経路のための第2の中継レンズアセンブリとを含むことができる。第1の中継レンズアセンブリは、画像源8010と偏光ビームスプリッタ8030との間に配置される、第1の光学レンズ8042と、第1の光学経路に沿って偏光ビームスプリッタ8030の下流に配置される、第2の光学レンズ8044とを含むことができる。第2の中継レンズアセンブリは、第1の光学レンズ8042と第2の光学経路に沿って偏光ビームスプリッタ8030の下流に配置される、第3の光学レンズ8046とを含むことができる。
図30Cは、いくつかの実施形態による、拡張現実(AR)システムの断面図を図式的に図示する。ARシステムは、いくつかの実施形態によると、図25Aに示されるように、ウェアラブルディスプレイデバイス4050内のディスプレイ4052のうちの1つの中に嵌合されることができる。ARシステムは、第1の画像ストリームと関連付けられた第1の光ビームおよび第2の画像ストリームと関連付けられた第2の光ビームを投影させるための光プロジェクタ8000を含むことができる。光プロジェクタ8000は、図30A-30Bに図示されるディスプレイシステムに類似することができる。ARシステムはさらに、1つ以上の内部結合格子(ICG)8070と、1つ以上の接眼レンズ8080とを含むことができる。各内部結合格子8070は、第1の光ビームおよび第2の光ビームを個別の接眼レンズ8080の中に結合するように構成されることができる。各接眼レンズ8080は、第1の光ビームおよび第2の光ビームをユーザの眼の中に外部結合するための外部結合格子を含むことができる。内部結合格子8070および接眼レンズ8080は、本明細書では、「視認アセンブリ」と称され得る。
図30Dは、いくつかの実施形態による、ディスプレイシステムの簡略化されたブロック図を示す。ディスプレイシステムは、図30A-30Cを参照して上記に実質的に説明されるように、画像源8010と、走査ミラー8060とを含むことができる。ディスプレイシステムはまた、眼視線トラッカ8071と、制御回路8081とを含むことができる。制御回路8081は、画像源8010と、走査ミラー8060と、眼視線トラッカ8071とに通信可能に結合されることができる。制御回路8081は、第2の光ビーム8054が、第2の画像ストリームをユーザの中心窩視を被覆すると決定された領域に投影するように、眼視線トラッカ8071によって決定されるようなユーザの現在の固視点に基づいて、制御信号を送信し、走査ミラー8060を傾斜および/または平行移動させることができる。制御回路8081はまた、上記に議論されるように、適切な画像コンテンツが、第1の画像ストリームおよび第2の画像ストリームに提示されるように、制御信号を画像源8010に送信することができる。ディスプレイシステムはまた、中央処理ユニット(CPU)8096と、グラフィック処理ユニット(GPU)8098と、コンピュータ可読命令、データベース、および制御回路8081、CPU8096、およびGPU8098によって使用可能な他の情報を記憶するための記憶媒体8090とを含むことができる。ディスプレイシステムはさらに、ユーザがディスプレイシステムとの相互作用のために使用し得る、ボタン等の入力-出力(I/O)インターフェース8092を含むことができる。ディスプレイシステムはまた、ディスプレイシステムの別の部分またはインターネットとの無線通信のための無線アンテナ8094を含むことができる。ディスプレイシステムはまた、カメラ等の他のセンサを含むことができる。
図31Aは、いくつかの実施形態による、第1の中継レンズアセンブリの動作原理を図式的に図示する。第1の中継レンズアセンブリは、望遠鏡に類似する様式で動作することができる。第1の画像ストリームと関連付けられたコリメートされた第1の光ビーム8052が、入射角θで第1の光学レンズ8042上に入射し、第1の光学レンズ8042によって、ほぼ第1の光学レンズ8042の焦点面に位置する実像点Pに集束される。実像点Pはまた、ほぼ第2の光学レンズ8044の焦点面に位置する。したがって、実像点Pから放出される第1の光ビーム8052は、第2の光学レンズ80044によってコリメートされ、θの伝達角で第2の光学レンズ8044から出射する。
θとθの比率は、第1の角度拡大率Mを引き起こし得、

である。第1の角度拡大率Mの大きさは、第1の光学レンズ8042fの焦点距離と第2の光学レンズ8044fの焦点距離の比率とほぼ等しくあり得る。したがって、

である。いくつかの実施形態では、第1の中継レンズアセンブリは、第1の角度拡大率Mの大きさが、例えば、

を有することによって、1を上回るように構成される。したがって、再び図30Aを参照すると、第1の画像ストリームと関連付けられたコリメートされた第1の光ビーム8052は、第2の光学レンズ8044から出射するにつれて、第1の中継レンズアセンブリによって角度的に拡大されることができ、これは、次いで、比較的に広い第1の視野FOVを伴う第1の画像ストリームを提示するために、視認アセンブリに投影される。
図31Bは、いくつかの実施形態による、第2の中継レンズアセンブリの動作原理を図式的に図示する。第2の中継レンズアセンブリもまた、望遠鏡と類似様式で動作することができる。第2の画像ストリームと関連付けられたコリメートされた第2の光ビーム8054は、入射角θで第1の光学レンズ8042上に入射し、第1の光学レンズ8042によって、ほぼ第1の光学レンズ8042の焦点面に位置する実像点Pに集束される。実像点Pはまた、ほぼ第3の光学レンズ8046の焦点面に位置する。したがって、実像点Pから放出される第2の光ビーム8054は、第3の光学レンズ8046によってコリメートされ、伝達角θで第3の光学レンズ8046から出射する。
θとθの比率は、第2の角度拡大率Mを引き起こし得、

である。第2の角度拡大率Mの大きさは、第1の光学レンズ8042fの焦点距離と第3の光学レンズ644fの焦点距離の比率とほぼ等しくあり得る。したがって、

である。第2のレンズアセンブリは、第2の角度拡大率Mの大きさが第1の角度拡大率M未満であるように構成されることができる。いくつかの実施形態では、第2の角度拡大率Mは、例えば、

を有することによって、1の値(すなわち、無拡大)または1未満(すなわち、拡大解除)を有することができる。したがって、再び図30Bを参照すると、第2の画像ストリームと関連付けられたコリメートされた第2の光ビーム8054は、第3の光学レンズ8046から出射するにつれて、第2の視野FOVを有することができ、第2の視野FOVは、第1の画像ストリームと関連付けられた第1の光ビーム8052の第1の視野FOV未満である。
図31Aでは、コリメートされた第1の光ビーム8052は、第1の光学レンズ8042上に入射する際、初期ビーム幅wを有し、第2の光学レンズ8044から出射する際、最終ビーム幅wを有し、最終ビーム幅wは、初期ビーム幅wより狭いことに留意されたい。また、図31Bでは、コリメートされた第2の光ビーム8054は、第1の光学レンズ8042上に入射する際、初期ビーム幅wを有し、第3の光学レンズ8046から出射する際、最終ビーム幅wを有し、最終ビーム幅wは、初期ビーム幅wとほぼ同一であることに留意されたい。言い換えると、第2の光ビーム8054の最終ビーム幅wは、第1の光ビーム8052の最終ビーム幅wより広い。より広いビーム幅は、眼によって知覚される、より鮮明な角度分解能をもたらすであろう。これは、ガウスビーム物理学によって説明されることができ、より広いビームウェストを伴うコリメートされたビームは、無限遠までの伝搬にわたって、より低い角度発散を有する。したがって、FOVを増加させることは、ビーム幅を低減させ得、故に、角度分解能を低減させ得、これは、Lagrange不変量と一致する。
いくつかの実施形態では、第1の角度拡大率Mは、約3の大きさを有することができ、第2の角度拡大率Mは、約1の大きさを有することができる。図30A-30Bを参照すると、第1の画像ストリームと関連付けられたコリメートされた第1の光ビーム8052および第2の画像ストリームと関連付けられたコリメートされた第2の光ビーム8054は、画像源8010によって投影された約20度の同一初期FOVを有すると仮定する。第2の光学レンズ644から出射するコリメートされた第1の光ビーム8052は、約60度の第1の視野FOVを有することができる一方、第3の光学レンズ8046から出射するコリメートされた第2の光ビーム654は、約20度の第2の視野FOVを有することができる。いくつかの実施形態では、第1のFOVは、約30度~約90度に及ぶことができ、第2のFOVは、約10度~約30度に及ぶことができる。
図28C-28Dに図示されるように、第2の画像ストリーム6020は、第1の画像ストリーム6010の部分の高分解能バージョンであることができ、広FOVおよび低分解能の第1の画像ストリーム6010上にオーバーレイされ、それに対して適切に整合される。第2の画像ストリーム6020のコンテンツは、第2の画像ストリーム6020のコンテンツが、第2の画像ストリーム6020によってオーバーレイされた第1の画像ストリーム6010の部分に対応するように、第2の画像ストリームが第1の画像ストリーム6010に対して偏移するにつれて変化する。第2の画像ストリーム6020は、ユーザの中心窩視を持続的に被覆するため、ユーザは、広FOVおよび高分解能の両方を有する合成画像ストリームとして、第1の画像ストリーム6010および第2の画像ストリーム6020の組み合わせを知覚することができる。
図31C-31Dは、いくつかの他の実施形態による、ディスプレイシステム10000を図式的に図示する。ディスプレイシステム10000は、画像源9010と、ビームスプリッタ9030とを含む。画像源9010は、第1の画像ストリームと関連付けられた第1の光ビーム8052と、第2の画像ストリームと関連付けられた第2の光ビーム8054とを提供することができる。第1の光ビーム8052および第2の光ビーム8054は、時分割多重化、偏光分割多重化、波長分割多重化、または同等物が行われることができる。ビームスプリッタ9030は、デマルチプレクサとしての役割を果たし、それぞれ、図31Cおよび31Dに描写されるように、第1の光ビーム8052および第2の光ビーム8054を第1の光学経路および第2の光学経路に向かって分離することができる。
ディスプレイシステム10000はまた、第1の光学経路に沿ってビームスプリッタ9030の下流に配置される、第1の光学レンズ9042と、第2の光学レンズ9044とを含むことができる。第1の光学レンズ9042および第2の光学レンズ9044の組み合わせは、第1の光ビーム8052のための第1の中継レンズアセンブリとしての役割を果たすことができる。いくつかの実施形態では、第1の中継レンズアセンブリは、図31Aに関して上記に説明されるように、1を上回る、第1の光ビーム8052のための角度拡大率を提供することができる。
ディスプレイシステム10000はまた、第2の光学経路に沿ってビームスプリッタ9030の下流に配置される、第3の光学レンズ9045と、第4の光学レンズ9046とを含むことができる。第3の光学レンズ9045および第4の光学レンズ9046の組み合わせは、第2の光ビーム8054のための第2の中継レンズアセンブリとしての役割を果たすことができる。いくつかの実施形態では、第2の中継レンズアセンブリは、図31Bに関して上記に説明されるように、実質的に1または1未満である、第2の光ビーム8054のための角度拡大率を提供することができる。
ディスプレイシステム10000はまた、第2の光学経路に沿って第2の中継レンズアセンブリの下流に位置付けられる、走査ミラー9060を含むことができる。走査ミラー9060は、ユーザの眼に投影されることになる第2の光ビーム8054を視認アセンブリに向かって反射させるように構成される。いくつかの実施形態によると、走査ミラー9060は、第2の画像ストリームを動的に投影させるために、ユーザの眼の固定位置に基づいて制御されることができる。
ディスプレイシステム10000はまた、第2の光学経路に沿って走査ミラー9060の下流に配置される、第5の光学レンズ9047と、第6の光学レンズ9048とを含むことができる。第5の光学レンズ9047および第6の光学レンズ9048の組み合わせは、第2の光ビーム8054のための第3の中継レンズアセンブリとしての役割を果たすことができる。いくつかの実施形態では、第3の中継レンズアセンブリは、図31Bに関して上記に説明されるように、実質的に1または1未満である、第2の光ビーム8054のための角度拡大率を提供することができる。
いくつかの実施形態では、ディスプレイシステム10000はまた、偏光器9080と、切替偏光回転子9090とを含むことができる。画像源9010は、非偏光第1の光ビーム8052と、非偏光第2の光ビーム8054とを提供することができ、これは、時分割多重化される。第1の光ビーム652および第2の光ビーム654は、偏光器9080を通して通過後、偏光され得る。切替偏光回転子9090は、第1の光ビーム8052および第2の光ビーム8054の時分割多重化と同期して動作されることができる。例えば、切替偏光回転子9090は、第1の光ビーム8052の偏光が、切替回転子9090を通して通過後、不変である一方、第2の光ビーム8054の偏光が、切替偏光回転子9090を通して通過後、90度回転される、またはその逆となるように、動作されることができる。したがって、第1の光ビーム8052は、偏光ビームスプリッタ9030によって、図31Cに図示されるように、第1の光学経路に沿って反射されることができ、第2の光ビーム8054は、偏光ビームスプリッタ9030によって、図31Dに図示されるように、第2の光学経路に沿って透過されることができる。
図32A-32Cは、いくつかの他の実施形態による、ディスプレイシステム10000を図式的に図示する。いくつかの実施例では、ディスプレイシステム10000の1つ以上のコンポーネントは、図31C-31Dを参照して上記に説明されるようなディスプレイシステムの1つ以上のコンポーネントと同一または類似してもよい。ディスプレイシステム10000は、いくつかの実施例では、それぞれ、図31C-31Dを参照して上記に説明されるようなディスプレイシステムの要素9010、9030、9042、9044、9045、9046、9047、9048、9060、9080、および9090と同一または類似し得る、画像源10010と、ビームスプリッタ10030と、第1の光学レンズ10042と、第2の光学レンズ10044と、第3の光学レンズ10045と、第4の光学レンズ10046と、第5の光学レンズ10047と、第6の光学レンズ10048と、走査ミラー10060と、偏光器10080と、切替偏光回転子10090とを含む。
より具体的には、図32A-32Cは、3つの異なる段階のそれぞれにおける、ディスプレイシステム10000を図示する。3つの段階のそれぞれでは、画像源10010は、頭部追跡仮想カメラの視点から捕捉されるであろうような仮想コンテンツを表す角度ライトフィールド成分の範囲と、中心窩追跡仮想カメラの視点から捕捉されるであろうような仮想コンテンツを表す角度ライトフィールド成分の範囲とを出力することができる。2セットの角度ライトフィールド成分は、例えば、時分割多重化、偏光分割多重化、波長分割多重化、または同等物を行われてもよい。したがって、頭部追跡仮想カメラと関連付けられた角度ライトフィールド成分は、偏光ビームスプリッタ10030によって、第1の光学経路に沿って、第1および第2の光学レンズ10042および10044を通して上向きに転換されることができ、中心窩追跡仮想カメラと関連付けられた角度ライトフィールド成分は、偏光ビームスプリッタ10030を通して、第2の光学経路に沿って、第3および第4の光学レンズ10045および10046を通して、走査ミラー10060に向かって通過し、第5および第6の光学レンズ10047および10048を通して上向きに反射されることができる。
頭部追跡仮想カメラと関連付けられた角度ライトフィールド成分によって表される仮想コンテンツは、画像源10010から上流に比較的に低分解能でレンダリングされ得る一方、中心窩追跡仮想カメラと関連付けられた角度ライトフィールド成分によって表される仮想コンテンツは、画像源10010から上流に比較的に高分解能でレンダリングされ得る。また、図32A-32Cに示されるように、ディスプレイシステム10000は、それぞれ、高FOVおよび低FOVライトフィールドとして、頭部追跡レンダリング視点と関連付けられた角度ライトフィールド成分と、中心窩追跡レンダリング視点と関連付けられた角度ライトフィールド成分とを出力するように構成されてもよい。図32A-32Cのそれぞれでは、第1の光学経路に沿って伝搬するライトフィールド成分は、光10052の比較的に広円錐として、ディスプレイシステム10000によって出力される。
図32Aに描写される段階では、走査ミラー10060は、第1の位置にある。したがって、偏光ビームスプリッタ10030を通して通過し、第2の光学経路に沿って伝搬する、ライトフィールド成分は、ディスプレイシステム10000によって、角度空間の実質的に中心領域に及ぶ光10054Aの比較的に狭い円錐として出力されることが分かる。図28A-28Bを参照して上記に説明される実施例のコンテキスト内では、ディスプレイシステム10000は、例えば、ユーザの眼が図28Aにおける視認者の眼210のものに類似する様式で配向されると、走査ミラー10060を図32Aに示される第1の位置に設置し得る。このように、光成分10054Aは、仮想オブジェクト6012等の仮想コンテンツをレンダリング空間の比較的に中心領域に表し得る。図28A-28Bの実施例に付け加えて、光10052の比較的に広円錐は、例えば、仮想オブジェクト6011および6013等の仮想コンテンツをレンダリング空間の中心からずれた領域内に含んでもよい。いくつかの実施例では、光10052の比較的に広円錐はさらに、光成分10054Aによって表されるようなものであるが、より低い分解能における、同一仮想コンテンツを表す、光成分を含んでもよい。
図32Bに描写される段階では、走査ミラー10060は、第1の位置と異なる第2の位置にある。したがって、偏光ビームスプリッタ10030を通して通過し、第2の光学経路に沿って伝搬する、ライトフィールド成分は、ディスプレイシステム10000によって、角度空間の1つの実質的に中心からずれた領域に及ぶ光10054Bの比較的に狭い円錐として出力されることが分かる。図28A-28Bを参照して上記に説明される実施例のコンテキスト内では、ディスプレイシステム10000は、例えば、視認者が仮想オブジェクト6011を見ている間、ユーザの眼が視認者の眼210のものに類似する様式で配向されると、走査ミラー10060を図32Bに示される第2の位置に設置し得る。このように、光成分10054Bは、仮想オブジェクト6011等の仮想コンテンツをレンダリング空間の1つの比較的に中心からずれた領域内に表し得る。図28A-28Bの実施例に付け加えて、光10052の比較的に広円錐は、例えば、仮想オブジェクト6013等の仮想コンテンツをレンダリング空間の他の中心からずれた領域内に、仮想オブジェクト6012等の仮想コンテンツをレンダリング空間の中心領域内に含んでもよい。いくつかの実施例では、光10052の比較的に広円錐はさらに、光成分10054Bによって表されるようなものであるが、より低い分解能における、同一仮想コンテンツを表す。光成分を含んでもよい。
図32Cに描写される段階では、走査ミラー10060は、第1および第2の位置と異なる第3の位置にある。したがって、偏光ビームスプリッタ10030を通して通過し、第2の光学経路に沿って伝搬する、ライトフィールド成分は、ディスプレイシステム10000によって、角度空間の別の異なる実質的に中心からずれた領域に及ぶ光10054Cの比較的に狭い円錐として出力されることが分かる。図28A-28Bを参照して上記に説明される実施例のコンテキスト内では、ディスプレイシステム10000は、例えば、ユーザの眼が図28Bにおける視認者の眼210のものに類似する様式で配向されると、走査ミラー10060を図32Cに示される第2の位置に設置し得る。このように、光成分10054Cは、仮想オブジェクト6013等の仮想コンテンツをレンダリング空間の他の比較的に中心からずれた領域に表し得る。図28A-28Bの実施例に付け加えて、光10052の比較的に広円錐は、例えば、仮想オブジェクト6011等の仮想コンテンツを図32Bを参照して上記に説明されるレンダリング空間の中心からずれた領域内に、仮想オブジェクト6012等の仮想コンテンツをレンダリング空間の中心領域内に含んでもよい。いくつかの実施例では、光10052の比較的に広円錐はさらに、光コンポーネント10054Cによって表されるようなものであるが、より低い分解能における、同一仮想コンテンツを表す、光成分を含んでもよい。
図33A-33Bは、いくつかの実施形態による、第1の画像ストリームおよび第2の画像ストリームを提示するためのディスプレイシステム11000を図式的に図示し、時分割多重化が、第1の画像ストリームと関連付けられた第1の光ビーム8052および第2の画像ストリームと関連付けられた第2の光ビーム8054を多重化するために使用される。ディスプレイシステム11000は、ディスプレイシステム8000に類似する。画像源11010は、時分割多重化された第1の光ビーム8052および第2の光ビーム8054を提供するように構成されることができる。第1の光ビーム8052および第2の光ビーム8054は、画像源8010から出力されたものと同一偏光状態にあることができる。第1の光ビーム8052および第2の光ビーム8054は、概略光線として、図33A-33Bに描写され、これは、正確な光線をトレースした光線を表すことを意図するものではないことに留意されたい。
ディスプレイシステム11000はさらに、切替偏光回転子11020を含むことができ、その動作は、第1の光ビーム8052および第2の光ビーム8054の時分割多重化と同期されることができる。例えば、切替偏光回転子11020は、第1の光ビーム8052の偏光が、切替回転子11020を通して通過後、不変である一方、第2の光ビーム8054の偏光が、切替偏光回転子11020を通して通過後、90度回転される、またはその逆となるように動作されることができる。したがって、第1の光ビーム8052は、偏光ビームスプリッタ8030によって、図33Aに図示されるように、第1の光学経路に沿って反射されることができ、第2の光ビーム8054は、偏光ビームスプリッタ8030によって、図33Bに図示されるように、第2の光学経路に沿って透過されることができる。
いくつかの他の実施形態では、切替偏光回転子11020は、画像源11010の一部であることができる。そのような場合、第1の光ビーム8052および第2の光ビーム8054は、順次放出され、画像源8010から投影された第1の光ビーム8052は、第1の方向に偏光され、画像源8010から投影された第2の光ビーム8054は、第2の方向に偏光されるであろう。
いくつかの実施形態によると、第1の画像ストリームと関連付けられた第1の光ビーム8052および第2の画像ストリームと関連付けられた第2の光ビーム8054が、時分割多重化される場合、切替可能ミラーが、図30A-30B、31C-31D、および33A-33Bに示される偏光ビームスプリッタ8030の代わりに使用されることができる。切替可能ミラーの切替は、第1の光ビーム8052および第2の光ビーム8054の時分割多重化と同期されることができる。例えば、切替可能ミラーは、ミラーが、図30A、31C、および33Aに図示されるように、第1の光ビーム8052を第1の光学経路に沿って反射させるように動作するように、第1の光ビーム8052のために第1の状態に切り替えられ、透明光学要素が、図30B、31D、および33Bに図示されるように、第2の光ビーム8054を第2の光学経路に沿って透過させるように動作するように、第2の光ビーム8054のために第2の状態に切り替えられることができる。
いくつかの実施形態によると、波長分割多重化は、第1の画像ストリームと関連付けられた第1の光ビームおよび第2の画像ストリームと関連付けられた第2の光ビームを多重化するために使用されることができる。例えば、第1の光ビームは、赤色、緑色、および青色光における、第1のセットの波長範囲内の光から成ることができ、第2の光ビームは、赤色、緑色、および青色光における、第2のセットの波長範囲内の光から成ることができる。2セットの波長範囲は、相互に対して偏移されることができるが、第2のセットの波長範囲の合成は、第1のセットの波長範囲の合成によって生産された白色光と実質的に同一である、白色光を生産する。
波長分割多重化が使用される場合、ディスプレイシステムは、偏光ビームスプリッタに取って代わり、第1の画像ストリームと関連付けられた第1の光ビームおよび第2の画像ストリームと関連付けられた第2の光ビームを分離する、ダイクロイックビームスプリッタを含むことができる。例えば、ダイクロイックビームスプリッタは、第1のセットの波長範囲のための高反射率値および低透過率値と、第2のセットの波長範囲のための低反射率値および高透過率値とを有するように構成されることができる。いくつかの実施形態では、第1の光ビームおよび第2の光ビームは、切替可能偏光回転子の必要なく、並行して投影されることができる。
図34A-34Bは、いくつかの他の実施形態による、ディスプレイシステム12000を図式的に図示する。ディスプレイシステム12000は、画像源12010を含む。画像源12010は、図34Aに図示されるような第1の画像ストリームと関連付けられた第1の光ビーム12052と、図34Bに図示されるような第2の画像ストリームと関連付けられた第2の光ビーム12054とを投影するように構成されることができる。第1の画像ストリームは、図26E-26Fを参照して上記に議論されるように、広FOVおよび低分解能画像ストリームであることができ、第2の画像ストリームは、狭FOVおよび高分解能画像ストリームであることができる。第1の光ビーム12052および第2の光ビーム12054は、例えば、偏光分割多重化、時分割多重化、波長分割多重化、および同等物を使用して、多重化されることができる。図34A-34Bでは、第1の光ビーム12052および第2の光ビーム12054は、概略光線として描写され、これは、正確な光線をトレースした光線を表すことを意図するものではない。
ディスプレイシステム12000はさらに、いくつかの実施形態によると、第1の光ビーム12052および第2の光ビーム12054を多重化解除するように構成される、ビームスプリッタ12030を含むことができる。例えば、ビームスプリッタ12030は、偏光ビームスプリッタ(PBS)またはダイクロイックビームスプリッタであることができる。ビームスプリッタ12030は、図34Aに図示されるように、第1の光ビーム12052を第1の光学経路に沿って反射させ、図34Bに図示されるように、第2の光ビーム12054を第2の光学経路に沿って透過させるように構成されることができる。
ディスプレイシステム12000はさらに、切替可能光学要素12040を含むことができる。切替可能光学要素12040は、単一要素として図示されるが、切替可能中継レンズアセンブリとして機能する、一対のサブ切替可能光学要素も含むことができる。各サブ切替可能光学要素は、第1の屈折力を伴う光学レンズとして動作するように、第1の状態に切り替えられる、または第1の屈折力と異なる第2の屈折力を伴う光学レンズとして動作するように、第2の状態に切り替えられることができる。したがって、切替可能光学要素12040は、サブ切替可能光学要素が、図34Aに図示されるように、第1の状態に切り替えられると、第1の角度拡大率を、サブ切替可能光学要素が、図34Bに図示されるように、第1の状態に切り替えられると、第1の角度拡大率と異なる第2の角度拡大率を提供することができる。
各サブ切替可能光学要素は、例えば、液晶可変焦点レンズ、同調可能回折レンズ、または変形可能レンズを含む、多くの形態をとることができる。一般に、形状または構成を変化させ、その屈折力を調節するように構成され得る、任意のレンズが、適用され得る。いくつかの実施形態では、各サブ切替可能光学要素は、第1の偏光を伴う光のための第1の屈折力と、第2の偏光を伴う光のための第1の屈折力と実質的に異なる第2の屈折力とを有する、多焦点複屈折レンズであることができる。例えば、多焦点複屈折レンズは、ポリマーが通常の屈折率nおよび余剰屈折率nを呈するように、定義された条件下におけるポリマーを伸展させることによる配向プロセスによって複屈折にされている、ポリマーを備えることができる。
第1の光ビーム12052および第2の光ビーム12054が時分割多重化される場合、切替可能光学要素12040の切替は、各サブ切替可能光学要素が、図34Aに図示されるように、第1の光ビーム12052のための第1の屈折力を伴う光学レンズとして動作し、図34Bに図示されるように、第2の光ビーム12054のための第2の屈折力を伴う光学レンズとして動作するように、第1の光ビーム12052および第2の光ビーム12054の時分割多重化と同期されることができる。したがって、第1の画像ストリームと関連付けられた第1の光ビーム12052は、切替可能光学要素12040から出射するにつれて、切替可能光学要素12040によって角度的に拡大されることができ、続いて、比較的に広い第1の視野FOVを伴う第1の画像ストリームを提示するために、視認アセンブリに投影されることができる。
ディスプレイシステム12000はさらに、図34Bに図示されるように、第2の光学経路に沿ってビームスプリッタ12030から下流に位置付けられる、第1のミラー12060を含むことができる。第1のミラー12060は、第2の光ビーム12054をビームスプリッタ12030に向かって逆反射させることができ、これは、続いて、ビームスプリッタ12030によって、第2のミラー12070に向かって反射させることができる。
第2のミラー12070は、図34Bに図示されるように、ビームスプリッタ12030の下方に位置付けられる。第2のミラー12070は、第2の光ビーム12054をビームスプリッタ12030に向かって逆反射させることができ、これは、続いて、ビームスプリッタ12030によって、切替可能光学要素12040に向かって透過されることができる。上記に説明されるように、各サブ切替可能光学要素は、第2の光ビーム12054のための第2の屈折力を伴う光学レンズとして動作し得るように、第2の状態に切り替えられることができる。第2の屈折力は、第1の状態と関連付けられた第1の屈折力未満または実質的にゼロまたは負であることができる。したがって、第2の光ビーム12054は、切替可能光学要素12040から出射するにつれて、第1の光ビーム12052未満の量だけ角度的に拡大される、または拡大されない、または拡大解除されることができる。したがって、第2の光ビーム12054は、続いて、比較的に狭い第2の視野FOVを伴う第2の画像ストリームを提示するために、視認アセンブリに投影されることができる。
いくつかの実施形態では、第2のミラー12070は、図34Bに図示されるように、2つの方向に傾斜され得る、2D MEMSスキャナ等の2次元(2D)走査ミラー(すなわち、2回転自由度を伴う走査ミラー)として構成されることができる。第2のミラー12070を傾斜させることは、第2の光ビーム12054が第2の画像ストリームをユーザの中心窩視に投影し得るように、ユーザの眼の固視位置に基づいて制御されることができる。いくつかの他の実施形態では、第2のミラー12070は、固定ミラーであることができ、第1のミラー12060は、2D走査ミラーであることができる。いくつかのさらなる実施形態では、第1のミラーは、第1の方向に傾斜され得る、1次元(1D)走査ミラー(すなわち、1回転自由度を伴う走査ミラー)であることができ、第2のミラーは、第2の方向に傾斜され得る、1D走査ミラーであることができる。
図35は、いくつかの他の実施形態による、ディスプレイシステム13000を図式的に図示する。ディスプレイシステム13000は、画像源13010を含む。画像源13010は、第1の画像ストリームと関連付けられた第1の光ビームを右回り円偏光(RHCP)において、第2の画像ストリームと関連付けられた第2の光ビームを左回り円偏光(LHCP)(またはその逆)において提供するように構成されることができる。
ディスプレイシステム13000はさらに、第1の光ビームおよび第2の光ビームを多重化解除するように構成される、ビームスプリッタ13030を含むことができる。例えば、ビームスプリッタ13030は、右回り円偏光第1の光ビームを反射させ、左回り円偏光第2の光ビームを透過させる、液晶材料を備えることができる。
ディスプレイシステム13000はさらに、第1の切替可能光学要素13042と、第2の切替可能光学要素13044とを含むことができ、その組み合わせは、中継レンズアセンブリとしての役割を果たすことができる。第1の切替可能光学要素13042および第2の切替可能光学要素13044はそれぞれ、右回り円偏光のための第1の焦点距離fRHCPと、左回り円偏光のための第2の焦点距離fLHCPとを有するように、液晶材料を備えることができる。したがって、第1の切替可能光学要素13042および第2の切替可能光学要素13044の組み合わせは、第1の角度拡大率を第1の光ビームに、第1の角度拡大率と異なる第2の角度拡大率を第2の光ビームに提供することができる。例えば、第1の角度拡大率は、1を上回ることができ、第2の角度拡大率は、1と等しいまたは1未満であることができる。
図36Aは、いくつかの実施形態による、拡張現実接眼ディスプレイシステム14000を図式的に図示する。図36Aは、片眼210のためのディスプレイシステム14000の一部を示す。実際は、第2のそのようなシステムが、ユーザの他方の眼のために提供されるであろう。2つのそのようなシステムは、実施形態によると、拡張現実眼鏡内に組み込まれる。図36Aを参照すると、赤色レーザダイオード14002は、赤色レーザコリメートレンズ14004を通して、赤色-緑色-青色(RGB)ダイクロイックコンバイナ立方体14008の赤色光入力面14006の中に光学的に結合される。緑色レーザダイオード14010は、緑色レーザコリメートレンズ14012を通して、RGBダイクロイックコンバイナ立方体14008の緑色光入力面14014の中に光学的に結合される。同様に、青色レーザダイオード14016は、青色レーザコリメートレンズ14018を通して、RGBダイクロイックコンバイナ立方体14008の青色光入力面14020の中に光学的に結合される。RGBダイクロイックコンバイナ立方体14008は、出力面14022を有する。RGBダイクロイックコンバイナ立方体14008は、赤色レーザダイオード14002からの光を出力面14022を通して反射させるように、45度に設定された赤色反射ダイクロイックミラー(短波長通過ミラー)14024を含む。RGBダイクロイックコンバイナ立方体14008はまた、青色レーザダイオード14016からの光を出力面14022に反射させるように、135度に設定された(赤色反射ダイクロイックミラー14024と垂直に)青色反射ダイクロイックミラー(長波長通過ミラー)14026を含む。緑色レーザダイオード14010からの光は、赤色反射ダイクロイックミラー14024および青色反射ダイクロイックミラー14026を通して出力面14022に通過する(それによって透過される)。赤色反射ダイクロイックミラー14024および青色反射ダイクロイックミラー14026は、薄膜光学干渉フィルムとして実装されることができる。
赤色、緑色、および青色レーザダイオード14002、14010、14016は、赤色、青色、および緑色チャネル画像情報で別個に変調される。ユーザの網膜の中心窩に指向されることになる画像情報が出力される、第1の周期と、画像情報がユーザの網膜のより大きい部分に指向されることになる、後続周期とを含む、サイクルが、順次繰り返される。第1の周期においてユーザの網膜に指向される画像情報と、サイクルの後続周期の間にユーザの網膜に指向される画像情報との間には、ある程度の角度重複が存在し得る。言い換えると、ユーザの眼のある部分は、両周期の間、光を受光し得る。鮮明な境界を達成することを試みるのではなく、テーパ状強度によって特徴付けられる重複境界が、使用されてもよい。前述の機能性を達成するための光学配列は、下記に説明されるであろう。
ダイクロイックコンバイナ立方体14008は、赤色、青色、および緑色成分を含む、コリメートされたビーム14028を出力する。コリメートされたビーム14028は、第1の2自由度画像走査ミラー14030上に入射する。画像走査ミラー14030は、2自由度の回転を有し、所定の角度範囲内の角度に配向されることができる。画像走査ミラー14030の各配向は、事実上、画像空間内の角度座標に対応する。画像走査ミラー14030の配向は、画像を、最終的には、ユーザの眼に提示するように、画像情報に基づいて、赤色、緑色、および青色レーザダイオード14002、14010、14016の変調と協調して走査される。
画像走査ミラー14030によって偏向される光は、第1の中継レンズ要素14032を通して、偏光回転スイッチ14034に結合される。代替として、偏光回転スイッチは、レーザダイオード14002、14010、14016のより近くに位置し得る。偏光回転スイッチ14034は、電子機器(図36Aには図示せず)によって電気的に制御される。偏光回転スイッチ14034は、液晶偏光回転スイッチとして実装されることができる。偏光回転スイッチ14034は、レーザダイオード14002、14010、14016によって出力され、偏光を改変せずに、コリメートレンズ14004、14012、14018およびRGBダイクロイックコンバイナ立方体14008を通して伝達される、具体的線形偏光の光を受光する。偏光回転スイッチ14034は、外部電気信号の制御下、その偏光を改変せずに入射光を通過させるか、または光の偏光を90度回転させるかのいずれかを行う。
偏光回転スイッチ14034から出射する光は、偏光ビームスプリッタ(PBS)14036に結合される。PBS14036は、その中に、PBS14036を横断して対角線上に配列される、偏光選択的反射体14038を内蔵している。偏光選択的反射体14038は、平行金属伝導性ライン(図36Aでは不可視)のアレイを含む、タイプであることができる。金属伝導性ラインと平行に偏光された(すなわち、電場方向を有する)光は、反射され、伝導性金属ラインと垂直に偏光された光は、透過される。図36Aに示される実施形態の場合、伝導性金属ラインは、図面シートの平面と垂直に配向されると仮定される。そのような配向を用いることで、偏光選択的反射体14038は、S-偏光を反射させ、P-偏光を透過させるであろう。
偏光回転スイッチ14034が、P-偏光を出力する状態にある、第1の場合を検討すると、そのようなP-偏光は、偏光選択的反射体14038を通して、かつPBS14036を通して通過し、第1の4分の1波長板(QWP)14040に全体的に到達するであろう。第1のQWP14040は、P-偏光を右円偏光(RHCP)光に変換するように配向される。(代替として、第1のQWPは、P-偏光をLHCPに変換するように配向され得、これは、図36Aの残りの説明を検討後、明白であるように、下記に説明される他のコンポーネントへの変更もまた、行われるであろう。)第1のQWP14040を通して通過後、光は、第2の中継レンズ要素14042に到達するであろう。第1の中継レンズ要素14032および第2の中継レンズ要素14042は、等倍率無限焦点複合レンズである。画像走査ミラー14030は、第1の中継レンズ要素14032の焦点距離と等しい距離だけ第1の中継レンズ要素14032から離間されることに留意されたい。第2の中継レンズ要素14032は、光(最初に、コリメートレンズ14004、14012、14018によってコリメートされた光)を再コリメートするであろう。また、第2の中継レンズ要素14042から伝搬する光は、第2の中継レンズ要素14042の焦点距離だけ第2の中継レンズ要素14042から離間される点P1の近傍の光学軸OAを交差するであろうことに留意されたい。図36Aに示される実施形態では、第1の中継レンズ要素14032および第2の中継レンズ要素14042は、同一焦点距離を有する。
第2の中継レンズ要素14042から出射後、光は、2倍率無限焦点拡大レンズ14048の第1のグループ14046の第1のグループの正の屈折レンズ14044上に入射するであろう。第1のグループの正の屈折レンズ14044に加え、第1のグループ14046はまた、第1のグループの幾何学的位相レンズ14050を含む。第1のグループの幾何学的位相レンズ14050を通して通過後、光は、第2のグループの正の屈折レンズ14054と、第2のグループの幾何学的位相レンズ14056とを含む、第2のグループ14052を通して通過する。幾何学的位相レンズ14050、14056は、パターン整合された液晶材料を含む。幾何学的位相レンズ(「偏光指向平坦レンズ」としても知られる)は、Edmund Optics(Barrington, New Jersey)から利用可能である。幾何学的位相レンズ14050、14056は、それらが、その掌性に合致する掌性(RHまたはLH)を有する円偏光のための正のレンズであって、かつ反対掌性の円偏光のための負のレンズである、性質を有する。幾何学的位相レンズはまた、光を透過させる際、それらが、円偏光の掌性を逆転させる、性質を有する。図36Aに示される実施形態では、幾何学的位相レンズ14050、14056は、右回りである。本システムは、左回り幾何学的位相レンズとの使用に適応するように修正され得ることに留意されたい。
動作時、RHCP光が第1のグループ14046を通して通過されると、第1のグループの幾何学的位相レンズ14050は、第1のグループ14046の正の屈折力が、第1のグループの屈折レンズ14044単独の正の屈折力未満であって、第1のグループ14046が、第1のグループ14046の主平面から図36Aに示される点FRHCPまでの距離とほぼ等しい焦点距離を有するであろうように、負のレンズとして作用するであろう。第1のグループの幾何学的位相レンズ14050を通して伝搬することは、光を左円偏光(LHCP)状態に変換するであろう。LHCP状態の光に関して、第2のグループの幾何学的位相レンズ14056は、正の屈折力を有し、したがって、第2のグループ14052の正の屈折力は、第2のグループの正の屈折レンズ14054単独の正の屈折力を上回るであろう。この場合、第2のグループ14052の焦点距離もまた、第2のグループ14052の主平面から点FRHCPまでの距離と等しく、添字「RHCP」は、拡大レンズ14048に入射する光の偏光状態を指す。点FRHCPは、第1のグループ14046より第2のグループ14052に近いため、2倍率無限焦点拡大レンズ14048は、第2の中継レンズ要素14042から受光されたRHCP光のための拡大レンズ(1を上回る拡大率を有する)となるであろう。
ここで、偏光回転スイッチ14034がS-偏光を出力する状態にある、第2の場合を検討すると、そのようなS-偏光は、偏光選択的反射体14038によって、公称上90度反射され、次いで、第2のQWP14058を通して通過し、その後、第3の中継レンズ要素14060を通して通過し、これは、光を固定ミラー14062に向かって偏向させる。S-偏光に関して、第1の中継レンズ要素14032は、第3の中継レンズ要素14060と組み合わせて、等倍率無限焦点中継系を形成することに留意されたい。固定ミラー14062は、光を第3の中継レンズ要素14060および第2のQWP14058を通して逆反射させ、符号を変化させるが、光学軸OAに対する光ビームの角度の絶対値を変化させない。最初に、第2のQWP14058を通して通過後、S-偏光は、特定の掌性の円偏光に変換される(第2のQWP14058の高速および低速軸の配向を選定することによって、RHCPまたはLHCPのいずれかとなるように選定されることができる)。固定ミラー14062による反射に応じて、円偏光の掌性は、逆転される。2回目として、第2のQWPを通した通過に応じて、S-偏光された円偏光は、P-偏光に変換され(一時的に)、これは、次いで、偏光選択的反射体14038を通して通過する。
偏光選択的反射体14038を通して通過後、光は、第3のQWP14064および第4の中継レンズ要素14066を通して通過し、中心窩追跡ミラー14068に指向される。システム14000では、画像走査ミラー14030、固定ミラー14060、および中心窩追跡ミラー14068は、それぞれ、中継レンズ要素14032、14066、14060の焦点距離だけ中継レンズ要素14032、14066、14060から離間され、QWP14040、14058、14064は、中継レンズ要素14032、14042、14060、14066後に位置付けられるため、QWP14040、14058、14064上に入射する光の角度は、比較的に低く、これは、QWP14040、14058、14064の改良された性能につながる。代替実施形態によると、眼移動の2つの角度自由度(例えば、方位角および仰角)を追跡する、単一中心窩追跡ミラー1268を有するのではなく、固定ミラー14062が、第2の中心窩追跡ミラー(図示せず)と置換されることができ、2つの中心窩追跡ミラーのうちの1つは、眼移動の1自由度を追跡するために使用されることができ、第2の中心窩追跡ミラーは、眼移動の第2の自由度を追跡するために使用されることができる。そのような代替では、単一自由度中心窩追跡ミラーが、使用されてもよい。再び図36Aを参照すると、第3の中継レンズ要素14060は、第4の中継レンズ要素14066と組み合わせて、等倍率無限焦点中継を形成する。中心窩追跡ミラー14068は、ユーザの眼210の中心窩(図示せず)を追跡するために、画像走査ミラー14030によって生産された光ビーム14028の偏向を追加し、それによって、画像走査ミラー14030によって生産されたビーム角度の立体角範囲全体の平均角度を軸外に偏向させることができる。眼追跡カメラ14098は、ユーザの眼210の眼視線を追跡する。眼追跡カメラ14098は、中心窩追跡制御システム14097に結合される。眼追跡カメラ14098は、眼視線を示す、情報を出力し、これは、中心窩追跡制御システム14097に入力される。中心窩追跡制御システム14097は、中心窩追跡ミラー14068に駆動可能に結合される。眼追跡カメラ14098から受信された眼視線情報に基づいて、中心窩追跡制御システム14097は、中心窩追跡ミラー14068を配向し、ユーザの眼の中心窩14099を追跡するために、信号を中心窩追跡ミラー14068に出力する。中心窩追跡制御システム14097は、画像処理を使用して、ユーザの眼視線を決定し、信号を生成し、眼視線に基づいて、中心窩追跡ミラーを制御することができる。
中心窩追跡ミラー14068によって反射された後、光は、第4の中継レンズ要素14066および第3のQWP14064を通して逆通過する。第3のQWP14064を通した光の第1の通過は、光を円偏光に変換し、中心窩追跡ミラー14068による反射は、円偏光の掌性を逆転させ、第3のQWP14064を通した第2の通過は、光をS-偏光状態に逆変換する。光は、ここでS-偏光されるため、偏光選択的反射体14038によって反射され、公称上90度、第1のQWP14040に向かって偏向される。第1のQWP14040は、S-偏光を左円偏光(LHCP)に変換する。光は、次いで、第2の中継レンズ要素14042を通して通過する。第4の中継レンズ要素14066は、第2の中継レンズ要素14042と組み合わせて、等倍率無限焦点複合レンズを形成する。中継レンズ要素14032、14042、14060、14066は、偏光選択的ミラー14038の中心を中心として90度間隔で対称的に設置される。概して連続する(光伝搬の順序で)中継レンズ要素14032、14042、14060、14066は、等倍率無限焦点中継系を形成する。共焦点であるように位置付けられる、連続中継レンズ要素は、PBS14036を横断した中間に共通焦点を共有する。中継レンズ要素14032、14042、14060、14066は、非限定的実施例として、非球面レンズ、無収差レンズ、ハイブリッド屈折および回折レンズおよび無彩色レンズ、例えば、回折レンズとともに屈折レンズを含む、複合レンズを含むことができる。本説明で使用されるように、「中継レンズ要素」は、単一レンズまたは複合レンズを含む。
LHCP光に関して、第1のグループの幾何学的位相レンズ14050は、正の屈折力を有し、これは、第1のグループ14046の屈折力を増加させる。LHCPに関して、第1のグループ14044の焦点距離は、第1のグループ14044の主平面から点FLHCPまでの距離と等しい。第1のグループの幾何学的位相レンズ14050を通した通過に応じて、LHCP光は、RHCP光に変換される。続いて、光は、第2のグループ14052を通して通過する。RHCP光に関して、第2のグループの幾何学的位相レンズ14056は、第2のグループ14052の正の屈折力が、第2のグループの正の屈折レンズ14054単独の屈折力より低いであろうように、負の屈折力を有する。RHCP光に関して、第2のグループ14052は、第2のグループ14052の主平面から点FLHCPまでの距離と等しい焦点距離を有する。故に、2倍率無限焦点拡大レンズ14048に入射するLHCP光に関して、2倍率無限焦点拡大レンズ14048は、1未満の拡大率を伴う、拡大解除レンズとしての役割を果たす。したがって、中心窩追跡ミラー14068によって偏向される、画像走査ミラー14030によって生産された光ビーム方向の立体角範囲は、ユーザの視線が偏移されるにつれてユーザの中心窩を追跡する、低減された角度範囲を被覆するように拡大解除される。入射RHCPに関して、2倍率無限焦点拡大レンズ14048は、1を上回る拡大率を有することを思い出されたい。1を上回る拡大率は、中心窩外のユーザの網膜の部分に対応するより広い視野を提供するために使用される。
ある実施形態では、第2のグループ14052は、第1のグループ14046の鏡像であって、その場合、第1のグループの幾何学的位相レンズ14050および第2のグループの幾何学的位相レンズ14056は、同じであって、第1のグループの正の屈折レンズ14044および第2のグループの正の屈折レンズ14054は、同じである。屈折レンズ14044、14054が、異なる屈折力の表面を有する場合、それらは、2倍率無限焦点拡大レンズ14048の鏡像対称性を維持するために、同一屈折力の表面が相互に面するように位置付けられ得る。この場合、各グループ14046、14052は、幾何学的位相レンズ14050、14056が、正のまたは負のレンズとして作用するかどうかに応じて、2つの異なる主平面を有することができるが、それでもなお、2つのグループ14046、14052は、LHCPまたはRHCP光が拡大レンズ14048に入射するかどうかにかかわらず、拡大レンズ14048の無限焦点拡大率を維持するために、2つのグループ14046、14052の共焦点関係を維持する固定距離において相互から離間され得る。
第1の接眼レンズ導波管14070と、第2の接眼レンズ導波管14072と、第3の接眼レンズ導波管14074とを含む、3つの拡張現実眼鏡接眼レンズ導波管のセットが、2倍率無限焦点拡大レンズ14048の第2のグループ14052を越えて位置付けられ、それに光学的に結合される(示されるように、自由空間を通して)。重なり関係に配置される、3つの接眼レンズ導波管14070、14072、14074が、示されるが、代替として、異なる数の接眼レンズ導波管も、提供される。例えば、各セットが、異なる波面曲率(異なる仮想画像距離に対応する)を出射光に付与するように構成される、3つの接眼レンズ導波管の複数のセットが、提供されてもよい。3つの接眼レンズ導波管14070、14072、14074は、それぞれ、第1の光内部結合要素14076と、第2の光内部結合要素14078と、第3の光内部結合要素14080とを含む、3つの光内部結合要素14076、14078、14080を提供される。それぞれ3つの接眼レンズ導波管14070、14072、14074は、光を特定の色チャネル、例えば、赤色、緑色、または青色光内で伝達するように構成されることができる。加えて、内部結合要素14076、14078、14080はそれぞれ、1つの色チャネル内の光のみをその関連付けられた接眼レンズ導波管14070、14072、14074の中に結合するように、波長選択的であることができる。内部結合要素14076、14078、14080は、例えば、コレステリック液晶材料から作製される回折格子等、例えば、スペクトル的に選択的反射回折格子を備えることができる。そのようなコレステリック液晶材料は、ある螺旋ピッチを有し、これは、スペクトル反射率帯域を決定する。内部結合要素はそれぞれ、例えば、2つの重畳される層のコレステリック液晶材料を含むことができ、一方は、LHCP光を反射させ、他方は、RHCP光を反射させる。回折格子は、概して、あるプロファイルピッチを有し、これは、光偏向角度を決定する。内部結合要素14076、14078、14080が、回折格子として実装される場合、各格子の格子プロファイルピッチは、光が関連付けられた接眼レンズ導波管14070、14072、14074に関する全内部反射のための臨界角を上回る角度に回折されるように、内部結合されることになる関連付けられた光の波長に照らして好適に選択される。第1、第2、および第3の接眼レンズ導波管14070、14072、14074はそれぞれ、第1の射出瞳エクスパンダ(EPE)14082と、第2のEPE14084と、第3のEPE14086とを含む。EPE14082、14084、14086は、透過性および/または反射性回折格子として実装されてもよい。EPE14082、14084、14086は、光が、内部結合要素14076、14078、14080の横方向範囲と比較して、比較的に広域にわたって、導波管14070、14072、14074から出射するように、導波管14070、14072、14074内を伝搬する光を導波管14070、14072、14074から外に漸次的に結合する。図36Aでは不可視の直交瞳エクスパンダ(OPE)もまた、接眼レンズ導波管14070、14072、14074上に提供され、EPE14082、14084、14086の背後に位置することができる。OPEは、接眼レンズ導波管14070、14072、14074内を伝搬する内部結合要素14076、14078、14080からの光をEPE14082、14084、14086に向かって偏向させる役割を果たす。OPEは、内部結合要素14076、14078、14080から発出する光の経路内に位置してもよく、EPE14082、14084、14086は、内部結合要素14076、14078、14080から発出する光の経路外にあってもよいが、OPEは、内部結合要素14076、14078、14080からの光をEPE14082、14084に向かって偏向させ得る。
代替実施形態によると、第1の中継レンズ要素14032は、第2の14042、第3の14060、および第4の14066中継レンズ要素より長い焦点距離を有し、より長い焦点距離と等しい距離だけ、PBS14036の中心から離間される(PBS14036の屈折率を考慮して)。この場合、より長い焦点距離の第1の中継レンズ要素14032は、第2の中継レンズ14042と組み合わせて、1:1を上回る角度拡大率を非中心窩追跡光に付与し、より長い焦点距離第1の中継レンズ要素14032は、第3の中継レンズ要素14060と組み合わせて、1:1を上回る角度拡大率を中心窩追跡光に付与する。2倍率無限焦点拡大レンズ14048は、中心窩追跡光を拡大解除し、非中心窩追跡光を拡大するであろうことを思い出されたい。したがって、第1の中継レンズ要素14032の焦点距離を変化させることは、2倍率無限焦点拡大レンズ14048の設計の対称性を妨げずに、システム14000内で達成される拡大率を設定するために使用され得る、別の設計自由度を提供する。非対称性性を2倍率無限焦点拡大レンズ14048の設計の中に導入することは、別の可能性として考えられる代替である。
代替実施形態によると、幾何学的位相レンズ14050、14056の代わりに、他のタイプの二重状態レンズが、使用される。1つの代替例によると、能動的駆動されるエレクトロウェッティング液体レンズが、使用されてもよい。その通常軸が、通常軸に合致し、異常軸がと平行に偏光された光のためのレンズ屈折力を呈する、材料から作製される、回折光学の上層の具体的方向に整合される、液晶を含む、別の代替レンズが、使用されてもよい。後者の場合、第1のQWP14040は、レンズの異方性性能が、中心窩追跡光と非中心窩追跡光との間の線形偏光差に依存するであろうため、排除され得る。
画像走査ミラー14030の各配向は、偏光回転スイッチ14034が非中心窩追跡P-偏光を透過させるように構成されるとき、画像空間内のある角度座標に対応する。偏光回転スイッチ14034が、中心窩追跡される、S-偏光を出力するように構成されるとき、画像走査ミラー14030の配向は、中心窩追跡ミラー14068の配向と組み合わせて、画像空間内の角度座標を決定する。画像走査ミラーおよび中心窩追跡ミラー14068の配向によって決定された光ビーム伝搬の角度は、2倍率無限焦点拡大レンズ14048の拡大率によって、随意に、中継レンズ14032、14042、14060、14066の相対的焦点距離によって決定された拡大率によって乗算される。角度画像空間内に定義されるピクセルの有効サイズは、レーザダイオード14002、14010、14016の変調率および画像走査ミラー14030の運動の角速度の逆数に比例する。画像走査ミラー14030の運動が正弦波であり得る限りにおいて、レーザダイオード14002、14010、14016の変調率は、ピクセルサイズ変動を低減または排除するために、画像走査ミラー14030の角速度に反比例するようにされてもよい。中心窩追跡および非中心窩追跡領域の両方が、レーザダイオード14002、14010、14016のために生成されているとき、レーザダイオード14002、14010、14010の完全な潜在的変調率(利用可能なレーザの特性によって限定される)が、使用されることができ(少なくとも視野内のある点に関して)、画像走査ミラーの完全角度範囲は、比較的に小立体角範囲に対する、中心窩追跡領域のために生産された画像の分解能画像が、より広い視野のために生産された画像の分解能より高くなり得る(より小さいピクセルサイズ)ように、使用されることができる。
ある実施形態によると、システム14000が使用される、拡張現実システムでは、仮想コンテンツは、実世界上に重畳され、これは、接眼レンズ導波管14070、14072、14074を通して、ユーザに可視となる。仮想コンテンツは、(例えば、無生物オブジェクト、人々、動物、ロボット等の)3Dモデルとして定義される。3Dモデルは、3D座標系内に位置付けられ、配向される。拡張現実システムでは、例えば、慣性測定ユニット(IMU)および/またはビジュアルオドメトリの提供を通して、前述の3D座標系は、拡張現実システムのユーザの実世界環境(慣性基準フレーム)に位置合わせされるように維持される。ゲームエンジンは、システム14000(およびユーザの他方の眼のための同様のシステム)を介したユーザへの出力のため、3Dモデルの左眼画像および右眼画像をレンダリングするために、その位置および配向を考慮して、3Dモデルを処理する。3Dモデルがユーザの環境に固定される座標系内に定義される限りにおいて、かつユーザがその頭部(拡張現実眼鏡を担持する)を環境内で移動および方向転換させ得る限りにおいて、左眼画像および右眼画像のレンダリングは、ユーザの頭部移動および方向転換を考慮するように更新される。したがって、例えば、仮想書籍が、実テーブル上に静置して表示され、ユーザが、その頭部を10度左に回転させる場合、IMUまたはビジュアルオドメトリサブシステム(図示せず)からの回転の情報に応答して、ゲームエンジンは、書籍が、ユーザの頭部回転にかかわらず、その位置を維持するように現れるように、左および右画像を更新し、システム14000によって出力されている仮想書籍の画像を10度右に偏移させるであろう。本場合では、中心窩を越えて延在する網膜のより広い部分のための画像と、中心窩を含む、網膜のより限定された部分のための画像とが、偏光回転スイッチ14034を使用して、システム14000を通して時間多重化される。画像は、偏光回転スイッチ14034の動作と同期して、ゲームエンジンによって生成および出力される。上記に述べられたように、ゲームエンジンは、左眼画像および右眼画像を生成する。ゲームエンジンはまた、より狭いFOV左中心窩および右中心窩画像を生成し、これは、偏光回転スイッチ14034が、中心窩追跡ミラー14068を使用して中心窩追跡されたS-偏光を出力するように構成されるときに出力される。上記に議論されるように、そのような中心窩追跡画像は、LHCP光に変換され、2倍率無限焦点拡大レンズ14048によって拡大解除される。そのような拡大解除は、角度範囲を、中心窩(または少なくともその一部)を含む、狭範囲に限定する。拡大解除は、ピクセルサイズを低減させ、それによって、中心窩追跡画像のための角度分解能を増加させる。
図37Aは、一実施形態による、図36Aに示される拡張現実接眼ディスプレイシステムにおいて使用される、2倍率無限焦点拡大レンズ14048の略図である。
図37Bは、他の実施形態による、無限焦点拡大レンズ14048の代わりに、図36Aに示される拡張現実接眼ディスプレイシステム14000において使用され得る、二重焦点拡大無限焦点拡大レンズ15000の略図である。無限焦点拡大レンズ15000は、正の屈折レンズ15004と、第1の幾何学的位相レンズ15006とを含む、レンズグループ15002を含む。無限焦点拡大レンズ15000はさらに、第1のレンズグループ15002からある距離に離間される、第2の幾何学的位相レンズ15008を含む。第1の幾何学的位相レンズ15006および第2の幾何学的位相レンズ15008は、反対掌性を有する。幾何学的位相レンズの掌性に合致する掌性を有する光に関して、幾何学的位相レンズは、正のレンズとして作用し、幾何学的位相レンズの掌性と反対の掌性を有する光に関して、幾何学的位相レンズは、負のレンズとして作用する。加えて、幾何学的位相レンズを通して伝搬することに応じて、光の掌性は、逆転される。故に、第1の幾何学的位相レンズ15006が、正のレンズとして作用すると、第2の幾何学的位相レンズ15008もまた、正のレンズとして作用し、第1の幾何学的位相レンズ15006が、負のレンズとして作用すると、第2の幾何学的位相レンズ15008もまた、負のレンズとして作用するであろう。第1の幾何学的位相レンズ15006が、負のレンズとして作用すると、レンズグループ15002は、正の屈折レンズ15004単独の焦点距離より長い焦点距離を有するであろう。第1の幾何学的位相レンズ15006が、正のレンズとして作用すると、レンズグループ15002は、正の屈折レンズ15004単独の焦点距離より短い焦点距離を有するであろう。
図36Aに示される拡張現実接眼ディスプレイシステム14000では、偏光スイッチ14034によって出力されたP-偏光は、直接、PBS14036を通して通過し、中心窩追跡されず、第1のQWP14040によって、RHCP光に変換される一方、偏光回転スイッチ14034から出力されたS-偏光は、中心窩追跡ミラー14068によって反射され、最終的に、LHCP光に変換されるようにルーティングされることを思い出されたい。
図37Bに示される実施形態は、第1の幾何学的位相レンズ15006が、左回りであって、第2の幾何学的位相レンズ15008が、右回りであるという仮定を用いて、さらに説明されるであろう。さらに、図36Aに示されるシステム14000の場合のように、LHCP光は、中心窩追跡され、RHCPは、中心窩追跡されない光であって、より広いFOV(網膜のより広い部分)のための画像毎に変調された光を搬送すると仮定される。LHCP光に関して、第1の幾何学的位相レンズ15006は、正のレンズとして作用し、レンズグループ15002は、レンズグループ15002から焦点FLHCPまでの距離に対応する、比較的に短焦点距離を有する。光を透過させる際、第1の幾何学的位相レンズ15006は、LHCP光をRHCP光に変換し、これに関して、第2の幾何学的位相レンズ15008は、正の屈折力と、第2の幾何学的位相レンズ15008から点FLHCPまでの距離と等しい焦点距離とを有する。この場合、無限焦点拡大レンズ15000は、Keplerian無限焦点拡大レンズを形成する。正の屈折レンズ15004の焦点距離の適切な選択(下記にさらに説明されるであろうように)によって、第1の幾何学的位相レンズ15006および第2の幾何学的位相レンズ15008は、すなわち、Keplerian構成における無限焦点拡大レンズ15000の拡大率は、約1:1または別の所望の値となるように選定されることができる。例えば、画像走査ミラー14030が、+/-10度の走査範囲の光学角度を有すると仮定すると、そのような角度範囲は、網膜の中心窩領域を実質的に被覆することができる。
無限焦点拡大レンズ15000に入射するRHCP光に関して、第1の幾何学的位相レンズ15006は、負の屈折力を有し、レンズグループ15002は、レンズグループ15002から点FRHCPまでの距離に対応する、比較的により長い焦点距離を有する。第1の幾何学的位相レンズ15006は、RHCP光をLHCP光に変換し、これに関して、第2の幾何学的位相レンズ15008は、第2の幾何学的位相レンズ15008から点FRHCPまでの距離に対応する、負の焦点距離を有する。この場合、無限焦点拡大レンズ15000は、Galilean無限焦点拡大レンズとして構成され、1:1を実質的に上回る、例えば、3:1の拡大率を有することができる。したがって、無限焦点拡大レンズに入射するRHCP光(中心窩追跡されない)は、画像毎に変調された光を中心窩を越える網膜のより大きい部分(LHCP光によって照明された部分と比較して)に提供することができる。システム14000、15000は、RHCPおよびLHCP光の役割を逆転させるように構成されることができることに留意されたい。
正の屈折レンズ15004の所与の焦点距離および第1の幾何学的位相レンズ15004の焦点距離の所与の大きさに関して、レンズグループ15002は、入射光の掌性(上記に説明されるように)に応じて、レンズグループ15002から点FLHCPおよびFRHCPまでの距離と等しい2つの焦点距離のうちの1つを有するであろう。第2の幾何学的位相レンズ15008は、FLHCPとFRHCPとの間の中間点を中心として位置付けられるべきであって、第2の幾何学的位相レンズ15008の焦点距離は、FLHCPとFRHCPとの間の距離のほぼ中間に設定されるべきである。Keplerian構成の拡大率は、点FLHCPから第2の幾何学的位相レンズ15008までの距離によって除算される、レンズグループ15002から点FLHCPまでの距離のマイナスの比率にほぼ等しい。Galilean構成の拡大率は、第2の幾何学的位相レンズ15008から点FRHCPまでの距離によって除算される、レンズグループ15002から点FRHCPまでの距離の比率とほぼ等しい。
2倍率無限焦点拡大レンズ14048、15000は、非限定的実施例として、望遠鏡、双眼鏡、カメラ、および顕微鏡を含む、他のタイプの光学デバイスにおいても使用されることができる。実画像が形成されることになる、システムでは、無限焦点拡大レンズs14048、15000は、付加的光学要素(例えば、レンズ、凸面ミラー)と組み合わせて使用されることができる。
図36Aを参照すると、代替実施形態によると、固定ミラー14062は、第2の画像走査ミラーと置換され、レーザダイオードと、コリメートレンズと、RGBダイクロイック組み合わせ立方体とを含む、第2のサブシステム(図36Aに示されるもののような)が、RGB画像変調光を第2の走査ミラーに提供するために使用されることができる。第2のサブシステムおよび第2の走査ミラーは、中心窩追跡光を提供するため専用であろう。この場合、偏光回転スイッチ14034および第2のQWP14058は、省かれることができ、中心窩追跡および非中心窩追跡光の両方が、同時に生産されることができる。そのような代替の全てでは、レーザダイオードは、P-偏光をPBS14036の中に投入するように配向されるであろう。
図36Bは、別の拡張現実接眼ディスプレイシステム14000Bを図式的に図示する。システム14000Bが、図36Aに示されるシステム14000と共通するある側面を有するという点で、図36Bに示される実施形態の以下の説明は、差異に焦点を当てるであろう。システム14000Bでは、2倍率無限焦点拡大レンズ14048、第2のQWP14058、および偏光回転スイッチ14034は、排除される。より長い焦点距離の第1の中継レンズ要素14032Bが、第1の中継レンズ要素14032Bおよび第2の中継レンズ要素14042の組み合わせが、走査ミラー14030によって走査される光の角度視野を拡大するように使用される。走査ミラー14030は、システム14000Bの完全視野からFOVの高分解能中心窩追跡部分を差し引いた部分を被覆するために使用される。第2の走査ミラー14030は、第1の中継レンズ要素14032Bの焦点距離と等しい第1の中継レンズ要素14032Bからの距離に設置されることができる。第1のRGB光エンジン14095は、P-偏光を出力するように構成され、偏光回転スイッチ14034の不在下では、走査ミラー14030によって走査される光は、第1の中継レンズ要素14032Bおよび第2の中継レンズ要素14042通して結合されるであろう。
システム14000(図36A)において使用される固定ミラー14062は、第2の走査ミラー14030Bと置換される。第2の原色(例えば、赤色-青色-緑色(RGB))光エンジン14096は、第1の原色(例えば、赤色-青色-緑色(RGB))14095を補完する。第2のRGB光エンジン14095は、コリメートレンズ14004B、14012B、14018Bおよび第2のRGBダイクロイックコンバイナ立方体14008Bを通して、第2の走査ミラー14030Bに結合される、第2の赤色、緑色、および青色レーザダイオード14002B、14010B、14016Bを含む。第2のRGB光エンジン14096の付加的要素は、上記に説明される、第1のRGB光エンジン14095の要素に対応し、共通数値部分と、追加される添え字‘B’とを有する、参照番号で標識される。第2のRGB光エンジン14096によって出力され、第2の走査ミラー14030によって角度的に走査される、P-偏光は、第3の中継レンズ要素14060および第4の中継レンズ要素14066によって形成される無限焦点中継系を通して、中心窩追跡ミラー14068に光学的に結合され、中心窩追跡ミラーに到達する際、第3のQWP14064を通して通過する。中心窩追跡ミラー14068によって角度的に偏移されることに応じて、光は、第4の中継レンズ要素14066および第3のQWP14068を通して逆反射され、ここで、その偏光状態がS-偏光に変化され、偏光選択的ミラーによって、第1のQWP14040および第2の中継レンズ要素14042に向かって反射され、その後、内部結合要素14076、14078、14080に衝突する。第1および第2のRGB光エンジン14095、14096は、赤色、青色、および緑色以外のまたはそれに加え、原色の色を利用してもよいことを理解されたい。
拡張現実接眼ディスプレイシステム14000Bは、中心窩追跡高分解能画像および非中心窩追跡のより広い視野画像を同時に出力することが可能である。より高い分解能の中心窩追跡画像とより広い視野画像を時間多重化する必要性(図36Aに示されるシステムの場合のように)を回避することによって、システム14000Bは、より高いフレームレートをより容易に達成することが可能である。

V.眼視線に伴う視野全体の追跡
いくつかの実施形態によると、図26E-26Fに図示されるように、第1の画像ストリームを静的位置に提示する代わりに、第1の画像ストリームおよび第2の画像ストリームの両方は、ユーザの現在の固視点に従って、動的に偏移されることができる。図38A-38Bは、いくつかの実施形態による、ユーザに提示され得る画像の例示的構成を図式的に図示する。図38Aは、第2の画像ストリーム16020が第1の画像ストリーム16010の中心に実質的に位置付けられ得る方法を示す。いくつかの実施形態では、第2の画像ストリーム16020を第1の画像ストリームの中心からオフセットすることが望ましくあり得る。例えば、ユーザの視野は、鼻方向よりこめかみ方向において遠くに延在するため、第2の画像ストリーム16020を第1の画像ストリームの鼻側に向かってオフセットさせることが望ましくあり得る。動作の間、第1および第2の画像ストリームは、図38Bに示されるように、眼視線追跡技法を使用してリアルタイムで決定されるようなユーザの現在の固視点に従って、持続的に偏移されることができる。すなわち、第1の画像ストリーム16010および第2の画像ストリーム16020は、ユーザが、通常、両画像ストリームの中心を直接見ているように、連動して偏移されることができる。図38A-38Bにおけるグリッド正方形は、図24を参照して上記に説明されるように、2次元角度空間内に定義されるような視野3002、3004および3006のように、像点を図式的に表すことに留意されたい。
図26A-26Bに描写される実施形態と同様に、第2の画像ストリーム16020は、第1の画像ストリーム16010の境界内に表示され得る比較的に狭FOVを有する、高分解能画像ストリームを表す。いくつかの実施形態では、第2の画像ストリーム16020は、眼視線追跡技法を使用して取得されるデータに基づいて、ユーザの現在の固視点と一致する角位置にリアルタイムで動的に調節され得る、レンダリング空間内にある配向を有する、第2の異なる仮想カメラによって捕捉されるであろうような仮想コンテンツの1つ以上の画像を表すことができる。これらの実施例では、高分解能の第2の画像ストリーム16020は、図26A-26Dを参照して上記に説明される中心窩追跡仮想カメラ等の中心窩追跡仮想カメラによって捕捉されるであろうような仮想コンテンツの1つ以上の画像を表すことができる。言い換えると、第2の画像ストリーム16020によって表される仮想コンテンツの1つ以上の画像が捕捉される、レンダリング空間内の視点は、第2の画像ストリーム5020Eと関連付けられた視点が、ユーザの中心窩視と持続的に整合されるように、ユーザの眼視線が変化するにつれて再配向されることができる。
例えば、第2の画像ストリーム16020は、ユーザの眼視線が図38Aに図示されるような第1の位置に固視されると、レンダリング空間の第1の領域内に位置する仮想コンテンツを包含することができる。ユーザの眼視線が、第1の位置と異なる第2の位置に移動するにつれて、第2の画像ストリーム16020と関連付けられた視点は、第2の画像ストリーム16020が、図38Bに図示されるように、レンダリング空間の第2の領域内に位置する仮想コンテンツを包含し得るように、調節されることができる。いくつかの実施形態では、第1の画像ストリーム16010は、疎密グリッドによって示されるように、広FOVであるが、低角度分解能を有する。第2の画像ストリーム16020は、稠密グリッドによって示されるように、狭FOVであるが、高角度分解能を有する。
図39A-39Bは、いくつかの実施形態による、ユーザに提示され得るいくつかの例示的画像を使用して、図38A-38Bに説明される原理のうちのいくつかを図示する。いくつかの実施例では、図39A-39Bに描写される画像および/または画像ストリームのうちの1つ以上のものは、図25Bを参照して上記に説明される深度平面のうちの1つ以上のもの等の特定の深度平面に表示されることになる、2次元画像またはその一部を表し得る。すなわち、そのような画像および/または画像ストリームは、ユーザから固定距離において少なくとも1つの2次元表面上に投影された3-D仮想コンテンツを表し得る。そのような実施例では、そのような画像および/または画像ストリームは、図26A-26Dおよび28A-28Bを参照して上記に説明されるものに類似する、ある角度視野を伴う1つ以上のライトフィールドとしてユーザに提示され得ることを理解されたい。
描写されるように、第1の画像ストリーム17010のコンテンツは、木の一部を含む。図39Aによって表される第1の時間周期の間、眼追跡センサは、ユーザの眼視線(すなわち、中心窩視)が視認可能領域17000内の第1の領域17010-1に合焦していることを決定することができる。本実施例では、第1の領域17010-1は、より低い木の枝を含む。第2の画像ストリーム17020は、第1の領域17010-1内に位置付けられ、第1の画像ストリームより高い分解能を有することができる。第1および第2の画像ストリームは、並行して、または高速で連続して、ユーザの現在の眼視線に対応すると決定された位置に表示されることができる。
図39Bによって表される第2の時間周期の間、ユーザの眼視線が、上方の木の枝に対応する、視認可能領域1500内の第2の領域17010-2に偏移したことが検出されることができる。描写されるように、第2の時間周期の間、第1および第2の画像ストリームの位置およびコンテンツは、第2の領域17010-2に対応するように変化する。第1の画像ストリーム17010および第2の画像ストリーム17020の両方のコンテンツは、木の第2の領域17010-2を含むことができる。第1および第2の画像ストリームは、並行して、または高速で連続して、表示されることができる。ユーザの眼視線のさらに検出された移動は、第1および第2の画像ストリームの両方がユーザの現在の眼視線と整合されたまま保たれる同一様式で適応されることができる。
図28C-28Dに図示される実施形態と同様に、より高い分解能の第2の画像ストリーム17020は、ユーザの中心窩視内の第1の画像ストリーム17010の部分にオーバーレイするため、より低い分解能の第1の画像ストリーム17010は、ユーザによって知覚または認知され得ない。さらに、広視野を有する、第1の画像ストリーム17010は、ユーザの視覚の実質的部分を包含し得るため、ユーザは、ライトフィールドディスプレイの境界を完全に知覚しないように防止され得る。したがって、本技法は、より没入型の体験をユーザに提供することができる。
図40A-40Dは、いくつかの実施形態による、画像をユーザの眼に投影させるためのディスプレイシステム18000を図式的に図示する。ディスプレイシステム18000は、画像源18010を含む。画像源18010は、第1の画像ストリームと関連付けられた第1の光ビーム18052と、第2の画像ストリームと関連付けられた第2の光ビーム18054とを投影するように構成されることができる。第1の画像ストリームは、図38A-38Bを参照して上記に議論されるように、広FOVおよび低分解能画像ストリームであることができ、第2の画像ストリームは、狭FOVおよび高分解能画像ストリームであることができる。いくつかの実施形態では、第1の光ビーム18052および第2の光ビーム18054は、時分割多重化、偏光分割多重化、波長分割多重化、または同等物を行われることができる。
ディスプレイシステム18000はさらに、第1の光ビーム18052および第2の光ビーム18054を反射させるように構成される、2D走査ミラー18020を含むことができる。いくつかの実施形態では、2D走査ミラー18020は、第1の光ビーム18052および第2の光ビーム18054の両方が、それぞれ、第1の画像ストリームおよび第2の画像ストリームをユーザの中心窩視に投影し得るように、ユーザの眼の固視位置に基づいて、2つの方向に傾斜されたことができる。
ディスプレイシステム18000はさらに、切替可能光学要素18040を含むことができる。切替可能光学要素18040は、単一要素として図示されるが、切替可能中継レンズアセンブリとして機能する、一対のサブ切替可能光学要素を含むことができる。各サブ切替可能光学要素は、図40Aおよび40Cに図示されるように、第1の屈折力を伴う光学レンズとして動作するように、第1の状態に切り替えられる、または図40Bおよび40Dに図示されるように、第1の屈折力と異なる第2の屈折力を伴う光学レンズとして動作するように、第2の状態に切り替えられることができる。各サブ切替可能光学要素は、種々の実施形態によると、例えば、液晶可変焦点レンズ、同調可能回折レンズ、変形可能レンズ、または多焦点複屈折レンズであることができる。
第1の光ビーム18052および第2の光ビーム18054が、時分割多重化される場合、切替可能光学要素18040および走査ミラー18020は、以下のように動作することができる。ユーザの眼視線が、第1の時間周期の間、第1の位置に固視されると仮定する。走査ミラー18020は、図40Aおよび40Bに図示されるように、第1の時間周期の間、第1の光ビーム18052および第2の光ビーム18054が、第1の位置に向かって指向されるように、第1の配向にあることができる。画像源18010が第1の光ビーム18052を出力する、第1の時間周期の第1の時間スロット(段階A)の間、切替可能光学要素18040は、図40Aに図示されるように、第1の屈折力を伴う光学レンズとして動作する、第1の状態に切り替えられることができる。画像源18010が第2の光ビーム18054を出力する、第1の時間周期の第2の時間スロット(段階A)の間、切替可能光学要素18040は、図40Bに図示されるように、第2の屈折力を伴う光学レンズとして動作する、第2の状態に切り替えられることができる。したがって、第1の光ビーム18052は、第1の光ビーム18052が、第2の光ビーム18054によって提示される第2の画像ストリームのものより広いFOVを伴う第1の画像ストリームを提示することができるように、第2の光ビーム18054より角度的に拡大される。
ここで、ユーザの眼視線が、第2の時間周期の間、第1の位置から第2の位置に移動したと仮定する。走査ミラー18020は、図40Cおよび40Dに図示されるように、第2の時間周期の間、第1の光ビーム18052および第2の光ビーム18054が、第2の位置に向かって指向されるように、第2の配向にあることができる。画像源18010が第1の光ビーム18052を出力する、第2の時間周期の第1の時間スロット(段階B)の間、切替可能光学要素18040は、図40Cに図示されるように、第1の屈折力を伴う光学レンズとして動作する、第1の状態に切り替えられることができる。画像源18010が第2の光ビーム18054を出力する、第2の時間周期の第2の時間スロット(段階B)の間、切替可能光学要素18040は、図40Dに図示されるように、第2の屈折力を伴う光学レンズとして動作する、第2の状態に切り替えられることができる。
第1の光ビーム18052および第2の光ビーム18054が、偏光分割多重化される場合、切替可能光学要素18040は、図40Aおよび40Cに図示されるように、第1の光ビーム18052のための第1の屈折力を伴う光学レンズとして動作し、図40Bおよび40Dに図示されるように、第2の光ビーム18054のための第2の屈折力を伴う光学レンズとして動作するように、多焦点複屈折レンズを備えることができる。
第1の光ビーム18052および第2の光ビーム18054が、波長分割多重化される場合、切替可能光学要素18040は、図40Aおよび40Cに図示されるように、第1の光ビーム18052のための第1の屈折力を伴う光学レンズとして動作し、図40Bおよび40Dに図示されるように、第2の光ビーム18054のための第2の屈折力を伴う光学レンズとして動作するように、波長依存多焦点レンズを備えることができる。
図41A-41Dは、いくつかの他の実施形態による、画像をユーザの眼に投影させるためのディスプレイシステム19000を図式的に図示する。ディスプレイシステム19000は、ディスプレイシステム18000に類似することができるが、切替可能光学要素18040は、走査ミラー18020の表面上に配置されることができる。例えば、切替可能光学要素18040は、走査ミラー18020の表面上に層化された1つ以上の基板であることができる。
いくつかのさらなる実施形態では、切替可能光学要素18040は、ディスプレイシステム19000内の他の場所に位置付けられることができる。例えば、画像源18010と走査ミラー18020との間に位置付けられることができる。
いくつかの他の実施形態では、偏光ビームスプリッタまたはダイクロイックビームスプリッタは、第1の光ビーム18052および第2の光ビーム18054を2つの別個の光学経路に多重化解除するために使用されることができるが、両光学経路は、走査ミラー18020の反射表面と交差する。
他の実施形態では、2つを上回る画像ストリームが、ユーザの固視点からユーザの周辺視覚への分解能における遷移が、外観上、より段階的であるように、ユーザに提示されることができる。例えば、中FOVおよび中分解能を有する、第3の画像ストリームが、第1の画像ストリームおよび第2の画像ストリームに加え、提示されることができる。そのような場合、付加的中継レンズアセンブリおよび/または走査ミラーが、付加的画像ストリームのための付加的光学経路を提供するために利用されることができる。

VI.時間多重化スキーム
いくつかの実施形態では、高FOV低分解能画像ストリーム(すなわち、第1の画像ストリーム)および低FOV高分解能画像ストリーム(すなわち、第2の画像ストリーム)は、時分割多重化されることができる。
図42は、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームと併用するために好適な例示的時分割多重化パターンを図示する、グラフを示す。図示されるように、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームは、交互時間スロットに配分される。例えば、各時間スロットは、持続時間中の約85分の1秒であり得る。したがって、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームはそれぞれ、約42.5Hzのリフレッシュレートを有し得る。いくつかの実施形態では、低FOV高分解能画像ストリームのライトフィールドに対応する角度領域は、高FOV低分解能画像ストリームに対応するライトフィールドの角度領域の一部に重複し、重複された角度領域における有効リフレッシュレートを約85Hz(すなわち、各個々の画像ストリームのリフレッシュレートの2倍)にする。
いくつかの他の実施形態では、高FOV低分解能画像ストリームのための時間スロットおよび低FOV高分解能画像ストリームのための時間スロットは、異なる持続時間を有することができる。例えば、高FOV低分解能画像ストリームのための各時間スロットは、85分の1秒より長い持続時間を有することができ、低FOV高分解能画像ストリームのための各時間スロットは、85分の1秒より短い持続時間を有することができる、またはその逆であることができる。
図43は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム21000を図式的に図示する。ディスプレイシステム21000は、図30A-30Bに図示されるようなディスプレイシステム8000と共通するいくつかの要素を共有し得る。本理由から、図30A-30Bに関連するそれらの共通要素についての説明は、ここでも同様に適用可能である。画像源21002は、第1の偏光状態における高FOV低分解能画像ストリームと、第2の偏光状態における低FOV高分解能画像ストリームとを同時に提供するように構成されることができる。例えば、第1の偏光状態は、第1の方向における線形偏光であることができ、第2の偏光状態は、第1の方向に直交する第2の方向における線形偏光であることができる、または代替として、第1の偏光状態は、左回り円偏光であることができ、第2の偏光状態は、右回り円偏光であることができる。図30A-30Bに図示されるディスプレイシステム8000と同様に、ディスプレイシステム21000は、画像源(例えば、画像源21002)によって投影された光ビームを、第1の光学経路に沿って伝搬する高FOV低分解能画像ストリームと関連付けられた第1の光ビームと、第2の光学経路に沿って伝搬する低FOV高分解能画像ストリームと関連付けられた第2の光ビームとに分離するための偏光ビームスプリッタ21004を含む。
図30A-30Bに図示されるディスプレイシステムと同様に、ディスプレイシステム21000は、画像源21002とビームスプリッタ21004との間に位置付けられる、第1の光学レンズ(レンズA)と、第1の光学経路に沿ってビームスプリッタ21004の下流に位置付けられる、第2の光学レンズ(レンズB)と、第2の光学経路に沿ってビームスプリッタ21004の下流に位置付けられる、第3の光学レンズ(レンズC)とを含むことができる。いくつかの実施形態では、図30A-30Bおよび31A-31Bに関して上記に説明されるように、第1の光学レンズ(レンズA)および第2の光学レンズ(レンズB)の組み合わせは、1を上回る、第1の光ビームのための角度拡大率を提供することができ、第1の光学レンズ(レンズA)および第3の光学レンズ(レンズC)の組み合わせは、1と実質的に等しいまたは1未満である、第2の光ビームのための角度拡大率を提供することができる。したがって、第1の光ビームは、第2の光ビームによって投影されたものより広いFOVを有する、画像ストリームを投影することができる。
図30A-30Bに図示されるディスプレイシステム8000と同様に、ディスプレイシステム21000はまた、低FOV高分解能画像ストリームと関連付けられた第2の光ビームを動的に投影させるために、ユーザの眼の固視位置に基づいて制御され得る、走査ミラー(例えば、MEMSミラー)の形態をとり得る、中心窩トラッカ21006を含む。
ディスプレイシステム21000はまた、接眼レンズ21008に結合される、第1の内部結合格子(ICG)21010と、第2のICG21020とを含むことができる。接眼レンズ21008は、光をその中に伝搬するように構成される、導波管プレートであることができる。第1のICG21010および第2のICG21020はそれぞれ、その上に入射する光の一部を接眼レンズ21008の中に回折するように構成される、回折光学要素(DOE)であることができる。第1のICG21010は、高FOV低分解能画像ストリームと関連付けられた第1の光ビームの一部を接眼レンズ21008の中に結合するために、第1の光学経路に沿って位置付けられることができる。第2のICG21020は、低FOV高分解能画像ストリームと関連付けられた第2の光ビームの一部を接眼レンズ21008の中に結合するために、第2の光学経路に沿って位置付けられることができる。
ディスプレイシステム21000はまた、第1の切替可能シャッタ21030と、第2の切替可能シャッタ21040とを含むことができる。第1の切替可能シャッタ21030は、第2の光学レンズ(レンズB)と第1のICG21010との間の第1の光学経路に沿って位置付けられる。第2の切替可能シャッタ21040は、中心窩トラッカと第2のICG21020との間の第2の光学経路に沿って位置付けられる。第1の切替可能シャッタ21030および第2の切替可能シャッタ21040の動作は、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームが、時分割多重化シーケンス(例えば、図42に図示されるように)に従って時分割多重化されるように、相互に同期されることができる。第1の切替可能シャッタ21030は、高FOV低分解能画像と関連付けられた第1の時間スロットに対応するある時間周期にわたって、開放され、低FOV高分解能画像ストリームと関連付けられた第2の時間スロットの間、閉鎖されることができる。同様に、第2の切替可能シャッタ21040は、第2の時間スロットの間、開放され、第1の時間スロットの間、閉鎖される。
したがって、高FOV低分解能画像ストリームは、第1の時間スロットの間(例えば、第1の切替可能シャッタ21030が開放されるとき)、第1のICG21010を用いて、接眼レンズ21008の中に結合され、低FOV高分解能画像ストリームは、第2の時間スロットの間(例えば、第2の切替可能シャッタ21040が開放されるとき)、第2のICG21020を用いて、接眼レンズ21008の中に結合される。いったん高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームが、接眼レンズ21008の中に結合されると、それらは、ユーザの眼の中に誘導および外部結合されてもよい(例えば、外部結合格子によって)。
図44は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム22000を図式的に図示する。ディスプレイシステム22000は、図30A-30Bに図示されるディスプレイシステム8000と共通するいくつかの要素を共有し得る。図30A-30Bに関連するそれらの要素についての説明は、ここでも同様に適用可能である。画像源22002によって提供される高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームは、時分割多重化されることができ、所与の偏光された状態にあることができる。
ディスプレイシステム22000は、切替可能偏光回転子22010(例えば、半波の遅延を伴う、強誘電性液晶(FLC)セル)を含むことができる。切替可能偏光回転子22010の動作は、切替可能偏光回転子22010が、高FOV低分解能画像ストリームの偏光を回転させず(または非常に小量だけ回転させ)、低FOV高分解能画像ストリームの偏光を約90度回転させる(すなわち、位相偏移πを導入する)、またはその逆であるように、時分割多重化(例えば、図42に図示されるように)において高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームのフレームレートと同期されるように電子的にプログラムされることができる。したがって、切替可能偏光回転子22010を通して通過後、高FOV低分解能画像ストリームの偏光は、低FOV高分解能画像ストリームの偏光に直交し得る。例えば、高FOV低分解能画像ストリームは、s-偏光されることができ、低FOV高分解能画像ストリームは、p-偏光されることができる、またはその逆であることができる。他の実施形態では、高FOV低分解能画像ストリームは、左回り円偏光であることができ、低FOV高分解能画像ストリームは、右回り円偏光であることができる、またはその逆であることができる。
ディスプレイシステム22000は、光ビームを、第1の光学経路に沿って第1のICG21010に向かって伝搬する、高FOV低分解能画像ストリームと関連付けられた第1の光ビームと、第2の光学経路に沿って第2のICG21020に向かって伝搬する低FOV高分解能画像ストリームと関連付けられた第2の光ビームとに分離するために、偏光ビームスプリッタ22004を含むことができる。
ディスプレイシステム22000はまた、2つの光学経路のうちの1つに沿って、例えば、図44に図示されるように、第2の光学経路に沿って位置付けられる、静的偏光回転子22020を含むことができる。静的偏光回転子22020は、2つの画像ストリームが、それぞれ、第1のICG21010および第2のICG21020に入射するにつれて、実質的に同一偏光を有し得るように、低FOV高分解能画像ストリームおよび高FOV低分解能画像ストリームのうちの1つの偏光を回転させるように構成されることができる。これは、第1のICG21010および第2のICG21020が、ある偏光に関してより高い回折効率を有するように設計される場合、有利であり得る。静的偏光回転子22020は、例えば、半波長板であることができる。
図45は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム23000を図式的に図示する。ディスプレイシステム23000は、図30A-30Bに図示されるディスプレイシステム8000と共通するいくつかの要素を共有し得る。図30A-30Bに関連するそれらの要素についての説明は、ここでも同様に適用可能である。画像源23002は、時分割多重化される、高FOV低分解能画像ストリームおよび低FOVおよび高分解能画像ストリームを提供するように構成されることができる。
ここでは、ビームスプリッタの代わりに、ディスプレイシステム23000は、切替可能反射体23004を含む。切替可能反射体23004は、入射光ビームが反射される、反射モードと、入射光ビームが透過される、透過モードとに切り替えられることができる。切替可能反射体は、ガラスまたはプラスチック等の基板ホスト媒体に内蔵される液晶を備える、電気活性反射体を含んでもよい。印加される電流の関数として屈折率を変化させる、液晶もまた、使用されてもよい。代替として、ニオブ酸リチウムが、液晶の代わりに、電気活性反射材料として利用されてもよい。切替可能反射体23004の動作は、切替可能反射体23004が、高FOV低分解能画像ストリームが到着すると、反射モードになって、低FOV高分解能画像ストリームが到着すると、透過モードになるように、時分割多重化(例えば、図42に図示されるように)における高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームのフレームレートと同期されるように電子的にプログラムされることができる。したがって、高FOV低分解能画像ストリームは、切替可能反射体23004によって、第1の光学経路に沿って、第1のICG21010に向かって反射されることができ、低FOV高分解能画像ストリームは、切替可能反射体23004によって、第2の光学経路に沿って第2のICG21020に向かって透過されることができる。
代替として、切替可能反射体23004は、第1のセットの波長範囲内の光を反射させ、第2のセットの波長範囲内の光を透過させるように構成される、ダイクロイックミラーによって置換されることができる。画像源23002は、第1のセットの波長範囲内の高FOV低分解能画像ストリームと、第2のセットの波長範囲内の低FOV高分解能画像ストリームとを提供するように構成されることができる。例えば、第1のセットの波長範囲は、赤色、緑色、および青色(RGB)色に対応し得、第2のセットの波長範囲は、第1のセットの波長範囲のものと異なる色相内のRGB色に対応し得る。いくつかの実施形態では、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームは、例えば、図42に図示されるように、時分割多重化される。いくつかの他の実施形態では、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームは、同時に提示される。

VII.偏光多重化スキーム
いくつかの実施形態では、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームは、偏光分割多重化されることができる。画像源は、第1の偏光における高FOV低分解能画像ストリームを提供するための第1のセットのRGBレーザと、第1の偏光と異なる第2の偏光における低FOV高分解能画像ストリームを提供するための第2のセットのRGBレーザとを含むことができる。例えば、高FOV低分解能画像ストリームは、s-偏光されことができ、低FOV高分解能画像ストリームは、p-偏光されることができ、またはその逆であることができる。代替として、高FOV低分解能画像ストリームは、左回り円偏光されることができ、低FOV高分解能画像ストリームは、右回り円偏光されることができる、またはその逆であることができる。
図46は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム25000を図式的に図示する。ディスプレイシステム25000は、図30A-30Bに図示されるディスプレイシステム8000と共通するいくつかの要素を共有し得る。図30A-30Bに関連するそれらの要素についての説明は、ここでも同様に適用可能である。画像源25002は、上記に議論されるように、偏光分割多重化される、高FOV低分解能画像ストリームおよび低FOVおよび高分解能画像ストリームを提供するように構成されることができる。
ディスプレイシステム25000は、光ビームを、第1の光学経路に沿って第1のICG21010に向かって伝搬する、高FOV低分解能画像ストリームと関連付けられた第1の光ビームと、第2の光学経路に沿って第2のICG21020に向かって伝搬する、低FOV高分解能画像ストリームと関連付けられた第2の光ビームとに分離するための偏光ビームスプリッタ25004を含むことができる。
ディスプレイシステム25000はまた、2つの光学経路のうちの1つに沿って、例えば、図46に図示されるように、第2の光学経路に沿って位置付けられる、静的偏光回転子25020を含むことができる。静的偏光回転子25020は、2つの画像ストリームが、それぞれ、第1のICG21010および第2のICG21020に入射するにつれて、実質的に同一偏光を有し得るように、低FOV高分解能画像ストリームおよび高FOV低分解能画像ストリームのうちの1つの偏光を回転させるように構成されることができる。これは、第1のICG21010および第2のICG21020が、ある偏光に関してより高い回折効率を有するように設計される場合、有利であり得る。静的偏光回転子25020は、例えば、半波長板であることができる。

VIII.接眼レンズと反対側の中に投影された画像を内部結合するための光学アーキテクチャ
いくつかの実施形態では、相互から側方に分離される2つのICG(すなわち、別個の瞳を有する)を有する代わりに、ディスプレイシステムは、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームが、同一ICG(すなわち、単一瞳を有する)の反対側上に入射するように構成されることができる。
図47は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム26000を図式的に図示する。ディスプレイシステム26000は、高FOV低分解能画像ストリームを提供するように構成される、第1の画像源26002to、低FOV高分解能画像ストリームを提供するように構成される、第2の画像源26004とを含むことができる。
ディスプレイシステム26000はまた、高FOV低分解能画像ストリームの第1の光学経路に沿って位置付けられる、第1の光学レンズ(レンズA)と、第2の光学レンズ(レンズB)とを含むことができる。いくつかの実施形態では、第1の光学レンズおよび第2の光学レンズの組み合わせは、高FOV低分解能画像ストリームと関連付けられた第1の光ビームのための1を上回る角度拡大率を提供し、それによって、第1の光ビームのためのより広いFOVをもたらすことができる。
ディスプレイシステム26000はまた、接眼レンズ26008と、接眼レンズ26008に結合される、内部結合格子(ICG)26010とを含む。接眼レンズ26008は、光をその中に伝搬するように構成される、導波管プレートであることができる。ICG26010は、その上に入射する光の一部を接眼レンズ26008の中に回折するように構成される、回折光学要素であることができる。高FOV低分解能画像ストリームと関連付けられた第1の光ビームが、ICG26010の第1の表面26010-1上に入射するにつれて、第1の光ビームの一部は、反射モード(例えば、一次反射)において、接眼レンズ26008の中に回折され、これは、次いで、続いて、接眼レンズ26008を通して伝搬され、ユーザの眼に向かって外部結合され得る。
ディスプレイシステム26000はまた、低FOV高分解能画像ストリームの第2の光学経路に沿って位置付けられる、第3の光学レンズ(レンズC)と、第4の光学レンズ(レンズD)とを含むことができる。いくつかの実施形態では、第3の光学レンズおよび第4の光学レンズの組み合わせは、低FOV高分解能画像ストリームと関連付けられた第2の光ビームのための1と実質的に等しいまたは1未満の角度拡大率を提供することができる。したがって、第2の光ビームは、第1の光ビームのものより狭いFOVを有してもよい。
ディスプレイシステム26000はさらに、低FOVおよび高分解能画像ストリームと関連付けられた第2の光ビームを動的に投影させるために、ユーザの眼の固視位置に基づいて制御され得る、走査ミラー(例えば、MEMSミラー)等の中心窩トラッカ26006を含むことができる。
低FOV高分解能画像ストリームと関連付けられた第2の光ビームは、第1の表面26010-2と反対のICG26010の第2の表面26010-1上に入射し得る。第2の光ビームの一部は、透過モード(例えば、一次透過)において、接眼レンズ2408の中に回折されることができ、これは、次いで、続いて、接眼レンズ26008を通して伝搬され、ユーザの眼に向かって外部結合され得る。
上記に説明されるように、ディスプレイシステム26000は、図43-46に図示されるように、2つの別個のICGの代わりに、単一ICG26010を使用する。これは、接眼レンズの設計を簡略化することができる。
図48は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム27000を図式的に図示する。ディスプレイシステム27000は、図30A-30Bに図示されるディスプレイシステム8000と共通するいくつかの要素を共有し得る。図30A-30Bに関連するそれらの要素についての説明は、ここでも同様に適用可能である。ディスプレイシステム27000は、時分割多重化される、高FOV低分解能画像ストリームおよび低FOVおよび高分解能画像ストリームを提供するように構成される、画像源27002を含むことができる。いくつかの実施形態では、画像源27002は、ピコプロジェクタの形態をとることができる。
ディスプレイシステム27000は、画像源27002の下流に位置付けられ、高FOV低分解能画像ストリームおよび低FOVおよび高分解能画像ストリームを非偏光状態から、S-偏光およびP-偏光またはRHCPおよびLHCP偏光状態等の偏光された状態に変換するように構成される、偏光器27010を含むことができる。
ディスプレイシステム27000はさらに、偏光器27010の下流に位置付けられる、切替可能偏光回転子27020を含むことができる。切替可能偏光回転子27020の動作は、切替可能偏光回転子27020が、高FOV低分解能画像ストリームの偏光を回転させず(または非常に小量だけ回転させ)、低FOV高分解能画像ストリームの偏光を約90度回転させる(すなわち、位相偏移πを導入する)、またはその逆であるように、時分割多重化において高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームのフレームレートと同期されるように電子的にプログラムされることができる。したがって、切替可能偏光回転子27020を通して通過後、高FOV低分解能画像ストリームの偏光は、低FOV高分解能画像ストリームの偏光に直交し得る。例えば、高FOV低分解能画像ストリームは、s-偏光されることができ、低FOV高分解能画像ストリームは、p-偏光されることができる、またはその逆であることができる。他の実施形態では、高FOV低分解能画像ストリームは、左回り円偏光されることができ、低FOV高分解能画像ストリームは、右回り円偏光されることができる、またはその逆であることができる。
ディスプレイシステム27000はさらに、高FOV低分解能画像ストリームを第1の光学経路に沿って反射させ、低FOV高分解能画像ストリームを第2の光学経路に沿って透過させるように構成される、偏光ビームスプリッタ27004を含む。
ディスプレイシステム27000はさらに、偏光ビームスプリッタ27004の正面に位置付けられる、第1の光学レンズ(レンズA)と、第1の光学経路に沿って偏光ビームスプリッタ27004の下流に位置付けられる、第2の光学レンズ(レンズB)と、第2の光学経路に沿ってビームスプリッタ27004の下流に位置付けられる、第3の光学レンズ(レンズC)とを含むことができる。いくつかの実施形態では、図30A-30Bおよび31A-31Cに関して上記に説明されるように、第1の光学レンズ(レンズA)および第2の光学レンズ(レンズB)の組み合わせは、1を上回る、高FOV低分解能画像ストリームのための角度拡大率を提供することができ、第1の光学レンズ(レンズA)および第3の光学レンズ(レンズC)の組み合わせは、1と実質的に等しいまたは1未満である、低FOV高分解能画像ストリームのための角度拡大率を提供することができる。したがって、高FOV低分解能画像ストリームは、低FOV高分解能画像ストリームによって投影されたものより広いFOVを伴って、ユーザの眼に投影され得る。
ディスプレイシステム27000はさらに、低FOVおよび高分解能画像ストリームと関連付けられた第2の光ビームを動的に投影させるために、ユーザの眼の固視位置に基づいて制御され得る、走査ミラー(例えば、MEMSミラー)等の中心窩トラッカ27006を含むことができる。
ディスプレイシステム27000はさらに、接眼レンズ27008と、接眼レンズ27008に結合される、内部結合格子(ICG)27050とを含むことができる。接眼レンズ27008は、光をその中に伝搬するように構成される、導波管プレートであることができる。ICG27050は、その上に入射する光の一部を接眼レンズ27008の中に回折するように構成される、回折光学要素であることができる。
ディスプレイシステム27000はさらに、第1の光学経路に沿って第2の光学レンズ(レンズB)の下流に位置付けられる、第1の反射体27030を含むことができる。第1の反射体27030は、高FOV低分解能画像ストリームをICG27050に向かって反射させるように構成されることができる。高FOV低分解能画像ストリームと関連付けられた第1の光ビームが、ICG27050の第1の表面27050-1上に入射するにつれて、第1の光ビームの一部は、透過モード(例えば、一次透過)において、接眼レンズ27008の中に回折され、これは、続いて、接眼レンズ27008を通して伝搬し、ユーザの眼に向かって外部結合され得る。
ディスプレイシステム27000はさらに、第2の光学経路に沿って中心窩トラッカ27006の下流に位置付けられる、第2の反射体27040を含むことができる。第2の反射体27040は、低FOV高分解能画像ストリームをICG27050に向かって反射させるように構成されることができる。低FOV高分解能画像ストリームと関連付けられた第2の光ビームが、第1の表面27050-1と反対のICG27050の第2の表面27050-2上に入射するにつれて、第2の光ビームの一部は、反射モード(例えば、一次反射)において、接眼レンズ27008の中に回折され、これは、続いて、接眼レンズ27008を通して伝搬し、ユーザの眼に向かって外部結合され得る。
図49は、いくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム28000を図式的に図示する。ディスプレイシステム28000は、ディスプレイシステム27000に類似するが、ICGを含まない。代わりに、ディスプレイシステム28000は、高FOV低分解能画像ストリームを接眼レンズ27008の中に結合するための第1の内部結合プリズム28030(ディスプレイシステム27000内の第1の反射体27030の代わりに)と、低FOV高分解能画像ストリームを接眼レンズ27008の中に結合するための第2の内部結合プリズム28040(ディスプレイシステム27000内の第2の反射体27040の代わりに)とを含む。第1の内部結合プリズム28030の屈折率および第2の内部結合プリズム28040の屈折率は、高FOV低分解能画像ストリームと関連付けられた第1の光ビーム内に含有されるある割合の屈折力および低FOV高分解能画像ストリームと関連付けられた第2の光ビーム内に含有されるある割合の屈折力が、それぞれ、第1の内部結合プリズム28030および第2の内部結合プリズム28040によって、接眼レンズ27008の中に結合されるように、接眼レンズ27008の屈折率に対して好適に選択されることができる。

IX.重複光学経路を使用した高視野および高分解能中心窩化ディスプレイ
いくつかの実施形態では、ディスプレイシステムは、合成画像ストリームを異なる方向に伝搬する2つの画像ストリームに分離するために、PBSを利用せず、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームが、接眼レンズに提供されるように構成されてもよい。むしろ、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームは、画像源から接眼レンズまで実質的に同一経路をとってもよく、これは、PBSを取り除き得る。これは、ディスプレイシステムのためのコンパクト形状因子を提供する利点を有し得る。
図50は、画像ストリームをユーザの眼に投影させるためのディスプレイシステム50000を図式的に図示する。ディスプレイシステム50000は、画像情報を含有する変調された光を提供するように構成される、画像源50002を含んでもよい。いくつかの実施形態では、画像源50002は、第1の画像ストリームからのフレームを第2のストリームのフレームでインターリービングすること等によって、時間多重化された様式において、高FOV低分解能画像を提示するために使用される、第1の画像ストリームと、低FOV高分解能画像ストリームを提示するために使用される、第2の画像ストリームとを提供してもよい。
ディスプレイシステム50000はまた、可変光学系50004を含んでもよい。いくつかの実施形態では、可変光学系50004は、低FOV高分解能画像ストリームと関連付けられた光線50020のためのものと異なる高FOV低分解能画像ストリームと関連付けられた光線50030のための角度拡大率を提供し、それによって、高FOV低分解能画像ストリームの導波管50010から外への投影を可能にし、低FOV高分解能画像ストリームによって投影されたものより広いFOVを提供し得る。内部結合された光がICG50006上に入射する、角度の範囲は、好ましくは、導波管50010からのその光を外部結合する際、保存されることを理解されたい。したがって、広範囲の角度でICG50006上に入射する内部結合された光はまた、外部結合される際、広範囲の角度で導波管50010から離れるように伝搬し、それによって、高FOVおよびより角度拡大率を提供する。逆に言えば、比較的に狭範囲の角度でICG50006上に入射する光もまた、外部結合される際、狭範囲の角度で導波管50010から離れるように伝搬し、それによって、低FOVおよび低角度拡大率を提供する。
加えて、適切なレベルの角度拡大率を選択するために、可変光学系50004は、低FOV高分解能画像ストリームと関連付けられた光と異なる光学性質を有するように、高FOV低分解能画像ストリームと関連付けられた光を改変してもよい。好ましくは、可変光学系50004の機能および各画像ストリームの光の性質は、光の関連性質を変化させることが、可変光学系50004によって提供される屈折力および焦点距離を変化させるように整合される。例えば、高FOV低分解能画像ストリームは、第1の偏光を有してもよく、低FOV低分解能画像ストリームは、第2の偏光を有してもよい。好ましくは、可変光学系50004は、所望の屈折力が、特定の関連付けられた偏光の光を提供することによって選択され得るように、それを通して伝搬する光の異なる偏光のために異なる屈折力および異なる焦点距離を提供するように構成される。第1の偏光は、右円偏光(RHCP)、左円偏光(LFCP)、S-偏光、P-偏光、別の偏光タイプ、または非偏光であってもよい。第2の偏光は、第1の偏光と異なる限り、右円偏光(RHCP)、左円偏光(LFCP)、S-偏光、P-偏光、別の偏光タイプ、または非偏光であってもよい。いくつかの好ましい実施形態では、第1の偏光は、右円偏光(RHCP)および左円偏光(LFCP)のうちの一方であって、第2の偏光は、左円偏光(LFCP)および右円偏光(RHCP)の他方である。
いくつかの実施形態では、可変光学系50004の動作は、時分割多重化において、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームのフレームレートと同期されるように電子的にプログラムされてもよい。いくつかの実施形態では、高FOVストリームの画像フレームは、その所望の偏光および角度拡大率を与えられ、ICG50006を介して導波管50010に結合する一方、低FOVストリームのインターリーブされたフレームは、その所望の拡大および偏光を与えられ、最初に、ICG50006を通して通過し、ミラー50008に通過され、ユーザの固視点に標的化され、次いで、ICG50006を介して導波管50010に結合される。
ディスプレイシステム50000はまた、接眼レンズ50010と、接眼レンズ50010に結合される、偏光に敏感な内部結合格子(ICG)50006とを含む。接眼レンズ50010は、例えば、全内部反射によって、光をその中に伝搬するように構成される、導波管、例えば、プレートであってもよい。偏光に敏感なICG50006は、その上に入射する光の一部を接眼レンズ50010の中に回折するように構成される、偏光に敏感な回折光学要素であってもよい。いくつかの実施形態では、ICG50006は、特定の偏光を有する入射光が、優先的に、接眼レンズ50010の中に回折される一方、少なくとも1つの他の偏光の入射光が、ICG50006を通して通過するという点で、偏光に敏感であり得る。接眼レンズ50010の中に結合せず、ICG50006を通して通過する、光は、ミラー50008に向かって指向され得、これは、MEMSミラーであり得、入射光の偏光を切り替えるように構成され得る。第1の実施例として、偏光に敏感なICG50006は、右円偏光(RHCP)を有する光を導波管の中に結合する一方、左円偏光(LHCP)を有する光をミラー50008に向かって通過させ得る。第2の実施例として、偏光に敏感なICG50006は、LHCPを有する光を導波管の中に結合する一方、RHCPを有する光をミラー50008に向かって通過させ得る。
少なくともいくつかの実施形態では、ミラー50008から反射された光は、ICG50006に向かって指向されてもよい。加えて、ミラー50008からの光の反射は、反射された光が、ICG50006によって回折され、接眼レンズ50010の中に結合されることになる所望の偏光を有するように、光の偏光を改変し得る(例えば、光の偏光をRHCPからLHCPに、その逆も同様に反転させる)。実施例として、ICG50006が、RHCPを有する光を接眼レンズ50010の中に結合するように構成される場合、高FOVストリームと関連付けられた光は、可変光学系50004によって、RHCPを与えられ、次いで、接眼レンズ50010の中に結合され得る。そのような実施例では、低FOVストリームと関連付けられた光は、LHCP光が、次いで、外部結合を接眼レンズ50001の中に結合せずに、ICG50006を通して通過し得、代わりに、ミラー50008に向かって指向され得るように、可変光学系50004によって、LHCPを与えられ得る。ミラー50008からのLHCP光の反射は、光の偏光をRHCPに反転させ得る。次いで、現時点でRHCPの光が、ICG500062に衝打すると、ICG50006によって、接眼レンズ50010の中に結合され得る。類似実施例は、ICG50006がLHCPを接眼レンズ50010の中に結合するように構成されるときにも適用される。
本明細書に開示されるように、ミラー50008は、移動可能なミラー、例えば、走査ミラーであってもよく、中心窩トラッカとして機能してもよい。また、本明細書で議論されるように、ミラー50008は、ユーザの眼の決定された固視位置に基づいて、制御および移動/傾斜されてもよい。ミラー50008の傾斜は、反射された光を異なる場所において導波管500010の中に内部結合させ、それによって、光をまた、ユーザの眼の中心窩の場所に対応する異なる場所において外部結合させ得る。
図50を継続して参照すると、光源50002は、時間多重化された様式において、高FOV低分解能(HFLR)画像ストリームと、低FOV高分解能(LFHR)画像ストリームとを生産してもよい。加えて、可変光学系50004は、HFLR画像ストリームが、偏光に敏感なICG50006によって、導波管50010の中に結合されるように、HFLR画像ストリームを改変し、特定の偏光(等RHCP)(および関連付けられた角度拡大率)を持たせ得る。可変光学系は、LFHR画像ストリームを改変し、異なる偏光(等LHCP)および関連付けられた角度拡大率を持たせ得る。その結果、LFHR画像ストリームは、偏光に敏感なICG50006を通して通過し、ミラー50008から反射し(偏光をRHCPに反転させ、LFHR画像をユーザの固視位置に標的化する)、次いで、ICG50006によって、導波管50010の中に結合される。
随意に、光の偏光状態を切り替えるための少なくとも1つのデバイスが、画像源50002とICG50006との間の光学経路内に挿入されてもよい。
図51は、可変光学系50004の実装の実施例を図示する。図51に示されるように、可変光学系50004は、偏光器50012と、切替可能4分の1波長板(QWP)50013と、レンズ50014と、回折波長板レンズ50015と、回折波長板レンズ50016と、レンズ500017とから形成されてもよい。これは、単に、可変光学系50004の1つの可能性として考えられる実装である。
偏光器50012は、光源50002からの高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームを、非偏光状態から、S-偏光およびP-偏光またはRHCPおよびLHCP偏光状態等の偏光された状態に変換するように構成されてもよい。
切替可能QWP50013は、偏光器50012から偏光された光を(1)右円偏光(RHCP)または(2)左円偏光(LHCP)のいずれかに変換するように構成されてもよい。
QWP50013から出射後、光は、レンズ50014および回折波長板レンズ50015上に入射してもよい。回折波長板レンズ50015は、パターン整合された液晶材料を含む、幾何学的位相レンズであってもよい。回折波長板レンズ50015は、その掌性に合致する掌性(RHまたはLH)を有する円偏光のための正の屈折力を有してもよく(例えば、正のレンズである)、反対掌性の円偏光のための負の屈折力を有してもよい(例えば、負のレンズである)。回折波長板レンズ50015はまた、円偏光の掌性を逆転させる、性質を有してもよい。したがって、回折波長板レンズ50015が、右回りであって、RHCP光をレンズ500014から受光する場合、回折波長板レンズ50015は、正のレンズとして作用し、光は、回折波長板レンズ50015を通して通過後、左回りとなるであろう。
回折波長板レンズ50015から出射後、光は、回折波長板レンズ50016、次いで、レンズ50017上に入射するであろう。回折波長板レンズ50016は、回折波長板レンズ50015のものに類似する様式で動作してもよい。加えて、回折波長板レンズ50016の掌性は、少なくともいくつかの実施形態では、回折波長板レンズ50015のものに合致してもよい。そのような配列を用いることで、回折波長板レンズ50016の屈折力は、回折波長板レンズ50015のものと反対となるであろう。したがって、切替可能QWP50013が、光に回折波長板レンズ50015に合致する偏光を提供する、ある実施例では、レンズ50015は、正の屈折力を有し、また、光の掌性を逆転させるであろう。次いで、後続回折波長板レンズ50016が、光を受光すると、レンズ50015は、その掌性が逆転された後、光を受光するにつれて、負の屈折力を有するであろう。
図51に示されるタイプの配列を用いることで、可変光学系50004は、切替可能QWP50013が、回折波長板レンズ50015の掌性に合致する光を提供すると、第1の角度拡大率を提供してもよく(例えば、レンズ50015が、正の屈折力を提供する一方、レンズ50016が、負の屈折力を提供するように)、切替可能QWP50013が、反対掌性の光を提供すると、第2の角度拡大率を提供してもよい(例えば、レンズ50015が、負の屈折力を提供する一方、レンズ50016が、正の屈折力を提供するように)。他の実施形態では、2つの回折波長板レンズ50015および50016の掌性は、異なり得る。
ここで図52A-52Bを参照すると、実施例ICG構成に関する付加的詳細が、提供される。例えば、偏光に敏感なICGは、光が入射するICGの側に応じて、優先的に、光を特定の側方方向に指向し得ることを理解されたい。例えば、図52Aを参照すると、下方からICG50006上に入射する光は、ページの左に再指向される。しかしながら、上方からICG50006上に入射する光は、望ましくないことに、導波管のエリアから離れるように、ページの右に向かって指向され、そこから光が視認者に外部結合されるであろう。いくつかの実施形態では、所望の方向に伝搬するように、光を内部結合するために、異なるICGが、異なる方向または導波管50010の側からの光入射のために使用されてもよい。
例えば、いくつかの実施形態では、ディスプレイシステムは、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームが一対の偏光に敏感な内部結合格子(ICG)50006および50040を使用して、導波管50010(接眼レンズであってもよい)の中に結合されるように構成されてもよい。そのような配列は、例えば、下方から(図50-53Bの視点において)ICGに衝打する光が、所望の側方方向(左)において、導波管50010の中に結合される一方、上方からICGに衝打する光が、反対方向(右)において導波管50010の中に結合される場合、有益であり得る。内部結合格子(ICG)格子についてのさらなる詳細は、米国特許出願第15/902,927号(その内容は、参照することによって、全体として記載される場合と同様に、その全体として明示的かつ完全に本明細書に組み込まれる)に説明される。
図52A-52Bは、本発明のいくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム52000を図式的に図示し、これは、2つのICG50006および50040を含んでもよい。いくつかの実施形態では、ICG50006および50040は両方とも、同一偏光タイプの光を導波管50010の中に結合するように構成されてもよい。実施例として、ICG50006および50040はそれぞれ、左円偏光(LHCP)を有する光を導波管50010の中に結合する一方、右円偏光(RHCP)を有する光を通過させ得る。代替として、偏光は、入れ替えられてもよい。
図52Aに示されるように、図50-51に示されるもの等の光学要素は、左回り円偏光(LHCP)を有する、高FOV低分解能画像ストリーム50030を提供してもよい。光50030は、ICG50006上に入射してもよい。光50030は、LHCPであって、ICG50006は、LHCP光を導波管50010の中に結合するように構成されるため、光は、ICG50006によって、導波管50010の中に結合される。
図52Bに示されるように、図50-51に示されるもの等の光学要素は、右回り円偏光(RHCP)を有する低FOV高分解能画像ストリーム50020を提供してもよい(時間多重化された様式において、図52Aの画像ストリームとインターリーブされてもよい)。光50020は、ICG50006上に入射してもよい。しかしながら、光50020は、RHCPであって、ICG50006は、LHCP光のみを導波管50010の中に結合するように構成されるため、光50020は、ICG50006を通して通過する。ICG50040は同様に、LHCP光のみを導波管50010の中に結合するように構成されてもよく、したがって、光はまた、ICG50040を通して通過してもよい。両ICGを通して通過後、光50020は、ユーザの固視点に基づいて特定の配向にあり得る(種々の節において本明細書に議論されるように)、移動可能なミラー50008上に入射してもよい。ミラー50008から反射後、光50020の偏光は、反転されてもよく、したがって、光は、ここでLHCPとなる。次いで、光50020は、ICG50040上に入射してもよく、これは、現時点でLHCPの光50020を導波管50010の中に結合してもよい。
いくつかの実施形態では、ディスプレイシステムは、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームが、同一偏光を有する光によって形成されるように構成されてもよい。その結果、両画像ストリームは、そのICGの同一側上に入射することに応じて、同一ICGによって内部結合され得る。
図53A-53Bは、本発明のいくつかの実施形態による、画像ストリームをユーザの眼に投影させるためのディスプレイシステム53000を図式的に図示し、これは、単一ICG50006と、切替可能反射体50042とを含んでもよい。切替可能反射体50042は、十分に高レートで、実質的透過状態と実質的反射状態との間で切り替える、液晶ベースの平面デバイスであってもよい。すなわち、切替可能反射体50042の切替レートは、好ましくは、高FOV低分解能画像ストリームおよび低FOV高分解能画像ストリームのインターリーブされたフレームとの協調を可能にするために十分に高い。例えば、切替可能反射体50042は、好ましくは、高および低FOV分解能画像ストリームが切り替えられるにつれて、少なくとも同一レートで反射性状態と透過性状態との間で切り替えることが可能である。
図53Aに示されるように、ICG50006は、高FOV低分解能画像ストリーム50030を図50-51に示されるもの等の光学要素から受光してもよい。実施例として、画像ストリームは、左回り円偏光(LHCP)を有してもよい。画像ストリーム50030の光は、ICG50006上に入射してもよい。しかしながら、ICG50006は、RHCP光を結合し、LHCP光を通過させるように構成されてもよい。したがって、LHCP光50030は、ICG50006を通して通過し得る。光は、次いで、その反射状態に構成され得る(システムが高FOV低分解能画像ストリーム50030を投影させる間)切替可能反射体50042上に入射してもよい。したがって、画像ストリーム50030の光は、切替可能反射体50042から反射し、それによって、その偏光の掌性を逆転させてもよい。切替可能反射体50042、50030から反射後、光は、再び、ICG50006上に入射してもよく、ICG50006は、現時点でRHCPの光50030を導波管50010の中に結合してもよい。
図53Bに示されるように、図50-51に示されるもの等の光学要素は、左回り円偏光(LHCP)を有する低FOV高分解能画像ストリーム50020を提供してもよい。本配列は、低FOV画像ストリーム50020の偏光が高FOV画像ストリーム50030の偏光に合致するという点で、若干異なる。そのような配列は、図50-51に示される可変光学系50004の修正を使用して達成されてもよい。実施例として、付加的偏光器、例えば、切替可能偏光器が、レンズ50017とICG50006との間に提供されてもよい。
図53Bにおける低FOV高分解能LHCP光50020に戻ると、光50020は、ICG50006上に入射する。しかしながら、ICG50006は、RHCPを導波管50010の中に結合するように構成される。したがって、光50020は、ICG50006を通して通過する。光50020は、次いで、その透過状態にあるように構成され得る(システムが低FOV高分解能光50020を投影させる間)、切替可能反射体50042上に入射する。したがって、光は、切替可能反射体50042を通して通過し、ミラー50008上に入射し、随意に、ミラー50008によって、ユーザの固視点上に標的化され得る(種々の節において本明細書に議論されるように)。ミラー50008から反射後、光50020の偏光は、反転されてもよく、したがって、光は、ここでRHCPとなる。次いで、光50020は、ICG50006上に入射してもよく、これは、現時点でRHCPの光50020を導波管50010の中に結合してもよい。ミラー50008は、中心窩追跡を提供するように構成されてもよく、および/またはウェアラブル光学50004(図50-51)の異なる焦点距離を考慮して、ICG50006から十分に離間され、集束された画像を提供し得ることを理解されたい。
説明される実施形態の種々の側面、実施形態、実装、または特徴は、別個に、または任意の組み合わせにおいて使用されることができる。説明される実施形態の種々の側面は、ソフトウェア、ハードウェア、またはハードウェアおよびソフトウェアの組み合わせによって実装されることができる。説明される実施形態はまた、製造動作を制御するためのコンピュータ可読媒体上のコンピュータ可読コードとして、または製造ラインを制御するためのコンピュータ可読媒体上のコンピュータ可読コードとして、具現化されることができる。コンピュータ可読媒体は、その後、コンピュータシステムによって読み取られ得るデータを記憶し得る、任意のデータ記憶デバイスである。コンピュータ可読媒体の実施例は、読取専用メモリ、ランダムアクセスメモリ、CD-ROM、HDD、DVD、磁気テープ、および光学データ記憶デバイスを含む。コンピュータ可読媒体はまた、コンピュータ可読コードが分散方式において記憶および実行されるように、ネットワーク結合されたコンピュータシステムを経由して分散されることができる。
前述の説明は、解説の目的のために、説明される実施形態の徹底的な理解を提供するために具体的名称を使用した。しかしながら、具体的詳細は、説明される実施形態を実践するために要求されないことが当業者に明白となるであろう。したがって、具体的実施形態の前述の説明は、例証および説明の目的のために提示される。それらは、包括的であること、または説明される実施形態を開示される精密な形態に限定することを意図していない。多くの修正および変形例が、上記の教示に照らして、可能性として考えられることが当業者に明白となるであろう。
また、本明細書に説明される、および/または図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール(140)、遠隔処理モジュール(150)、および遠隔データリポジトリ(160)のうちの1つ以上のものの一部であってもよい。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本実施形態に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなくそこに行われ得ることが明白となるであろう。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。
実際、本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されないことを理解されたい。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。
別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実装されてもよい。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されてもよい。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合では、組み合わせから削除されてもよく、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図されることを理解されたい。したがって、そのような条件文は、概して、特徴、要素、および/またはステップが、1つまたはそれを上回る実施形態に対していかようにも要求されること、または1つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「~を備える」、「~を含む」、「~を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」または「少なくとも1つ」を意味するように解釈されるべきである。同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
故に、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

Claims (1)

  1. 本明細書に記載の発明。
JP2023118193A 2017-03-22 2023-07-20 ディスプレイシステムのための深度ベース中心窩化レンダリング Pending JP2023126616A (ja)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201762475012P 2017-03-22 2017-03-22
US62/475,012 2017-03-22
US201762486407P 2017-04-17 2017-04-17
US62/486,407 2017-04-17
US201762539934P 2017-08-01 2017-08-01
US62/539,934 2017-08-01
US201862644365P 2018-03-16 2018-03-16
US62/644,365 2018-03-16
JP2019552200A JP7096836B2 (ja) 2017-03-22 2018-03-21 ディスプレイシステムのための深度ベース中心窩化レンダリング
JP2022087594A JP7329105B2 (ja) 2017-03-22 2022-05-30 ディスプレイシステムのための深度ベース中心窩化レンダリング

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022087594A Division JP7329105B2 (ja) 2017-03-22 2022-05-30 ディスプレイシステムのための深度ベース中心窩化レンダリング

Publications (2)

Publication Number Publication Date
JP2023126616A true JP2023126616A (ja) 2023-09-07
JP2023126616A5 JP2023126616A5 (ja) 2024-04-22

Family

ID=63582451

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019552200A Active JP7096836B2 (ja) 2017-03-22 2018-03-21 ディスプレイシステムのための深度ベース中心窩化レンダリング
JP2022087594A Active JP7329105B2 (ja) 2017-03-22 2022-05-30 ディスプレイシステムのための深度ベース中心窩化レンダリング
JP2023118193A Pending JP2023126616A (ja) 2017-03-22 2023-07-20 ディスプレイシステムのための深度ベース中心窩化レンダリング

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2019552200A Active JP7096836B2 (ja) 2017-03-22 2018-03-21 ディスプレイシステムのための深度ベース中心窩化レンダリング
JP2022087594A Active JP7329105B2 (ja) 2017-03-22 2022-05-30 ディスプレイシステムのための深度ベース中心窩化レンダリング

Country Status (9)

Country Link
US (2) US11644669B2 (ja)
EP (1) EP3603058A4 (ja)
JP (3) JP7096836B2 (ja)
KR (3) KR102524006B1 (ja)
CN (2) CN110679147B (ja)
AU (1) AU2018239511A1 (ja)
CA (1) CA3057109A1 (ja)
IL (2) IL300511A (ja)
WO (1) WO2018175625A1 (ja)

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
EP3245444B1 (en) 2015-01-12 2021-09-08 DigiLens Inc. Environmentally isolated waveguide display
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US10634881B2 (en) * 2015-03-26 2020-04-28 Kent State University Compact non-mechanical zoom lens having focal lengths dependent upon left- or right-handedness of circularly polarized light
JP6598269B2 (ja) 2015-10-05 2019-10-30 ディジレンズ インコーポレイテッド 導波管ディスプレイ
GB2553744B (en) 2016-04-29 2018-09-05 Advanced Risc Mach Ltd Graphics processing systems
US10268268B1 (en) 2016-09-02 2019-04-23 Facebook Technologies, Llc Waveguide integrated eye tracking
US11378864B2 (en) 2016-11-18 2022-07-05 Magic Leap, Inc. Waveguide light multiplexer using crossed gratings
US10168531B1 (en) * 2017-01-04 2019-01-01 Facebook Technologies, Llc Lightfield waveguide integrated eye tracking
WO2018129398A1 (en) 2017-01-05 2018-07-12 Digilens, Inc. Wearable heads up displays
US10904514B2 (en) 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
US11644669B2 (en) 2017-03-22 2023-05-09 Magic Leap, Inc. Depth based foveated rendering for display systems
CA3057878A1 (en) * 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
US10685430B2 (en) * 2017-05-10 2020-06-16 Babylon VR Inc. System and methods for generating an optimized 3D model
US10914957B1 (en) 2017-05-30 2021-02-09 Apple Inc. Video compression methods and apparatus
US10613413B1 (en) 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
CN109511004B (zh) * 2017-09-14 2023-09-01 中兴通讯股份有限公司 一种视频处理方法及装置
WO2019082510A1 (ja) * 2017-10-23 2019-05-02 ソニー株式会社 表示制御装置、ヘッドマウントディスプレイ、表示制御方法およびコンピュータプログラム
US10650579B2 (en) * 2017-11-30 2020-05-12 Microsoft Technology Licensing, Llc Systems and methods of distance-based shaders for procedurally generated graphics
US10401657B2 (en) * 2018-01-05 2019-09-03 Intel Corporation Head mount displays for mixed reality
AU2019232746A1 (en) * 2018-03-07 2020-08-20 Magic Leap, Inc. Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display
US20190285891A1 (en) 2018-03-15 2019-09-19 Oculus Vr, Llc Image quality of pancharatnam berry phase components using polarizers
US11175507B2 (en) 2018-03-15 2021-11-16 Facebook Technologies, Llc Polarization-sensitive components in optical systems for large pupil acceptance angles
US11175508B2 (en) 2018-03-15 2021-11-16 Facebook Technologies, Llc Display device with varifocal optical assembly
US11846779B2 (en) 2018-03-15 2023-12-19 Meta Platforms Technologies, Llc Display device with varifocal optical assembly
EP3765943A4 (en) 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
US10714050B2 (en) * 2018-03-21 2020-07-14 Daqri, Llc Reducing latency in augmented reality (AR) displays
US10642049B2 (en) * 2018-04-25 2020-05-05 Apple Inc. Head-mounted device with active optical foveation
DE102018110644B4 (de) * 2018-05-03 2024-02-15 Carl Zeiss Meditec Ag Digitales Mikroskop und digitales Mikroskopieverfahren
GB2573543B (en) 2018-05-09 2021-10-27 Advanced Risc Mach Ltd Graphics Processing
WO2019226688A1 (en) * 2018-05-22 2019-11-28 Agilent Technologies, Inc. Method and system for implementing augmented reality (ar)-based assistance within work environment
US10419738B1 (en) * 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10527854B1 (en) * 2018-06-18 2020-01-07 Facebook Technologies, Llc Illumination source for a waveguide display
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US10712837B1 (en) * 2018-07-30 2020-07-14 David Douglas Using geo-registered tools to manipulate three-dimensional medical images
KR102546321B1 (ko) * 2018-07-30 2023-06-21 삼성전자주식회사 3차원 영상 표시 장치 및 방법
KR20200021670A (ko) * 2018-08-21 2020-03-02 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
WO2020082002A1 (en) 2018-10-19 2020-04-23 Magic Leap, Inc. Method and system for reducing line separation artifacts in interlaced image projection
US10775617B2 (en) * 2018-10-24 2020-09-15 Google Llc Eye tracked lens for increased screen resolution
US11315327B1 (en) * 2018-11-02 2022-04-26 Facebook Technologies, Llc. Beam-racing fallbacks in a display engine
CN113170090A (zh) 2018-12-04 2021-07-23 麦克赛尔株式会社 头戴式显示装置
US11169383B2 (en) 2018-12-07 2021-11-09 Avegant Corp. Steerable positioning element
WO2020123506A1 (en) 2018-12-11 2020-06-18 Digilens Inc. Methods and apparatuses for providing a single grating layer color holographic waveguide display
US10634907B1 (en) * 2018-12-19 2020-04-28 Facebook Technologies, Llc Eye tracking based on polarization volume grating
WO2020139755A1 (en) 2018-12-28 2020-07-02 Magic Leap, Inc. Virtual and augmented reality display systems with emissive micro-displays
US11126261B2 (en) 2019-01-07 2021-09-21 Avegant Corp. Display control system and rendering pipeline
CN109767466B (zh) * 2019-01-10 2021-07-13 深圳看到科技有限公司 画面渲染方法、装置、终端及对应的存储介质
US11175513B2 (en) * 2019-01-22 2021-11-16 Varjo Technologies Oy Display apparatuses and methods employing waveguides and opacity masks
US11334154B2 (en) 2019-01-25 2022-05-17 Magic Leap, Inc. Eye-tracking using images having different exposure times
US11302248B2 (en) 2019-01-29 2022-04-12 Osram Opto Semiconductors Gmbh U-led, u-led device, display and method for the same
US11156759B2 (en) * 2019-01-29 2021-10-26 Osram Opto Semiconductors Gmbh μ-LED, μ-LED device, display and method for the same
US11271143B2 (en) 2019-01-29 2022-03-08 Osram Opto Semiconductors Gmbh μ-LED, μ-LED device, display and method for the same
US11610868B2 (en) 2019-01-29 2023-03-21 Osram Opto Semiconductors Gmbh μ-LED, μ-LED device, display and method for the same
DE102019201766A1 (de) * 2019-02-12 2020-08-13 Robert Bosch Gmbh Projektionsvorrichtung für eine Datenbrille, Verfahren zum Darstellen von Bildinformationen mittels einer Projektionsvorrichtung und Steuergerät
GB201903708D0 (en) * 2019-03-19 2019-05-01 Wave Optics Ltd Improved angular uniformity waveguide for augmented or virtual reality
CN110139028B (zh) * 2019-03-25 2020-07-07 华为技术有限公司 一种图像处理的方法及头戴式显示设备
US10725304B1 (en) * 2019-03-28 2020-07-28 Facebook Technologies, Llc Compensatory image during swift-eye movement
US10554940B1 (en) * 2019-03-29 2020-02-04 Razmik Ghazaryan Method and apparatus for a variable-resolution screen
CA3134149A1 (en) 2019-03-29 2020-10-08 Avegant Corp. Steerable hybrid display using a waveguide
US11284053B2 (en) 2019-03-29 2022-03-22 Razmik Ghazaryan Head-mounted display and projection screen
US10466489B1 (en) 2019-03-29 2019-11-05 Razmik Ghazaryan Methods and apparatus for a variable-resolution screen
US11538852B2 (en) 2019-04-23 2022-12-27 Osram Opto Semiconductors Gmbh μ-LED, μ-LED device, display and method for the same
JP7423659B2 (ja) 2019-05-20 2024-01-29 マジック リープ, インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
CN110244839B (zh) * 2019-05-20 2022-11-18 联想(上海)信息技术有限公司 控制方法、电子设备和存储介质
WO2020246627A1 (ko) * 2019-06-04 2020-12-10 엘지전자 주식회사 영상 출력 장치
CN114286962A (zh) * 2019-06-20 2022-04-05 奇跃公司 用于增强现实显示系统的目镜
US20200413032A1 (en) * 2019-06-27 2020-12-31 Texas Instruments Incorporated Methods and apparatus to render 3d content within a moveable region of display screen
US11009766B2 (en) * 2019-06-28 2021-05-18 Intel Corporation Foveated virtual reality near eye displays
US20220326522A1 (en) * 2019-07-18 2022-10-13 Samsung Electronics Co., Ltd. Image display device capable of expressing multiple depth
CN112241068A (zh) 2019-07-18 2021-01-19 三星电子株式会社 能够多深度表达的图像显示装置
US11113880B1 (en) * 2019-07-22 2021-09-07 Facebook Technologies, Llc System and method for optimizing the rendering of dynamically generated geometry
WO2021016704A1 (en) 2019-07-26 2021-02-04 North Inc. Method and system for automatic pupil detection
US11106912B1 (en) 2019-08-05 2021-08-31 Genetec Inc. Method and system for video content analysis
CN112823307A (zh) * 2019-08-26 2021-05-18 京东方科技集团股份有限公司 光学显示系统和方法、显示装置
CN114450608A (zh) 2019-08-29 2022-05-06 迪吉伦斯公司 真空布拉格光栅和制造方法
US11430175B2 (en) 2019-08-30 2022-08-30 Shopify Inc. Virtual object areas using light fields
US11029755B2 (en) 2019-08-30 2021-06-08 Shopify Inc. Using prediction information with light fields
TWI723938B (zh) 2019-09-12 2021-04-01 英錡科技股份有限公司 雷射投影裝置及合光透鏡
WO2021061479A1 (en) * 2019-09-23 2021-04-01 Apple Inc. Rendering computer-generated reality text
US11240488B2 (en) * 2019-09-24 2022-02-01 Facebook Technologies, Llc Volumetric display including liquid crystal-based lenses
EP4066042A4 (en) * 2019-11-26 2023-11-08 Telefonaktiebolaget LM Ericsson (publ) PROVIDING A USER WITH MULTI-LAYER AUGMENTED REALITY IMAGES
CN114830011A (zh) * 2019-12-06 2022-07-29 奇跃公司 虚拟、增强和混合现实系统和方法
CN110927973A (zh) * 2019-12-16 2020-03-27 Oppo广东移动通信有限公司 显示装置
WO2021138607A1 (en) * 2020-01-03 2021-07-08 Digilens Inc. Modular waveguide displays and related applications
EP4062225A4 (en) * 2020-01-06 2023-12-27 Avegant Corp. HEAD MOUNTED SYSTEM WITH COLOR SPECIFIC MODULATION
EP4088140A4 (en) * 2020-01-07 2024-01-31 Baraja Pty Ltd ADAPTIVE SPATIAL ESTIMATION SYSTEM
CN111309144B (zh) * 2020-01-20 2022-02-01 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
US11625848B2 (en) * 2020-01-30 2023-04-11 Unity Technologies Sf Apparatus for multi-angle screen coverage analysis
CN111338591B (zh) 2020-02-25 2022-04-12 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
CN113325947A (zh) * 2020-02-28 2021-08-31 北京七鑫易维信息技术有限公司 一种显示方法、装置、终端设备及存储介质
US11823343B1 (en) * 2020-03-26 2023-11-21 Apple Inc. Method and device for modifying content according to various simulation characteristics
JP2023521710A (ja) * 2020-04-20 2023-05-25 ルーマス リミテッド レーザ効率および眼の安全性を向上させたニアアイディスプレイ
CN111553972B (zh) * 2020-04-27 2023-06-30 北京百度网讯科技有限公司 用于渲染增强现实数据的方法、装置、设备及存储介质
US11536972B2 (en) * 2020-05-22 2022-12-27 Magic Leap, Inc. Method and system for dual projector waveguide displays with wide field of view using a combined pupil expander-extractor (CPE)
KR20210156613A (ko) 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법
WO2022015647A2 (en) * 2020-07-13 2022-01-20 Perdix Systems Llc Optical systems with multiple light engines for foveation
CN111929893B (zh) * 2020-07-24 2022-11-04 闪耀现实(无锡)科技有限公司 一种增强现实显示装置及其设备
WO2022020262A1 (en) * 2020-07-24 2022-01-27 Perdix Systems Llc Optical system having light sources with a power-saving mode
TWI779336B (zh) * 2020-08-24 2022-10-01 宏碁股份有限公司 顯示系統及裸視立體影像之播放方法
WO2022066341A1 (en) * 2020-09-22 2022-03-31 Sterling Labs Llc Attention-driven rendering for computer-generated objects
CN112285915B (zh) * 2020-10-26 2023-07-18 腾讯科技(深圳)有限公司 增强现实组件以及显微镜
US11297332B1 (en) 2020-10-30 2022-04-05 Capital One Services, Llc Gaze-tracking-based image downscaling for multi-party video communication
CN116670562A (zh) * 2020-11-30 2023-08-29 苹果公司 具有成像能力的显示系统
US11523095B2 (en) * 2020-12-21 2022-12-06 Infineon Technologies Ag Mems mirror-based extended reality projection with eye-tracking
US20220210905A1 (en) * 2020-12-30 2022-06-30 Samsung Electronics Co., Ltd. Electronic device including heat dissipation structure
KR20220126584A (ko) * 2021-03-09 2022-09-16 삼성전자주식회사 모바일 장치의 카메라 시스템
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
FR3121505B1 (fr) * 2021-04-01 2023-03-31 Thales Sa Systéme d'observation á grossissement ajustable
US20220334392A1 (en) * 2021-04-16 2022-10-20 Nvidia Corporation Holographic virtual reality display
US20220345678A1 (en) * 2021-04-21 2022-10-27 Microsoft Technology Licensing, Llc Distributed Virtual Reality
JP7011746B1 (ja) 2021-05-31 2022-01-27 株式会社バーチャルキャスト コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
DE102021205700B4 (de) * 2021-06-07 2023-07-06 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität
CN113393516B (zh) * 2021-06-17 2022-05-24 贝壳找房(北京)科技有限公司 用于打散ar场景中的虚拟物体的方法和装置
CN113467619B (zh) * 2021-07-21 2023-07-14 腾讯科技(深圳)有限公司 画面显示方法、装置和存储介质及电子设备
CN113599818B (zh) * 2021-08-16 2023-07-21 北京字跳网络技术有限公司 植被渲染方法、装置、电子设备及可读存储介质
WO2023028093A1 (en) * 2021-08-23 2023-03-02 Vuzix Corporation Double-sided waveguide
WO2023060414A1 (en) * 2021-10-12 2023-04-20 Citrix Systems, Inc. Adjustable magnifier for virtual desktop
KR20230060315A (ko) * 2021-10-27 2023-05-04 삼성전자주식회사 전자 장치 및 이를 이용한 공간 매핑 방법
US11501410B1 (en) * 2022-03-22 2022-11-15 Illuscio, Inc. Systems and methods for dynamically rendering three-dimensional images with varying detail to emulate human vision
WO2023195597A1 (ko) * 2022-04-08 2023-10-12 엘지전자 주식회사 실감형 컨텐츠 제공 장치 및 실감형 컨텐츠 제공 방법
CN116528065B (zh) * 2023-06-30 2023-09-26 深圳臻像科技有限公司 一种高效虚拟场景内容光场获取与生成方法

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
AU4211000A (en) * 1999-04-08 2000-11-14 New York University Extremely high resolution foveated display
US10742965B2 (en) 2001-01-23 2020-08-11 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US9781408B1 (en) 2001-01-23 2017-10-03 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
US7499594B2 (en) 2002-04-15 2009-03-03 At&T Intellectual Property 1, L.P. Multi-resolution predictive foveation for bandwidth reduction of moving images
US7872635B2 (en) * 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US20050232530A1 (en) 2004-04-01 2005-10-20 Jason Kekas Electronically controlled volume phase grating devices, systems and fabrication methods
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US7173619B2 (en) 2004-07-08 2007-02-06 Microsoft Corporation Matching digital information flow to a human perception system
JP2006337997A (ja) 2005-05-02 2006-12-14 Semiconductor Energy Lab Co Ltd 表示装置
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
JP2011085829A (ja) 2009-10-19 2011-04-28 Nikon Corp ヘッドマウントディスプレイ
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
KR101890328B1 (ko) 2010-12-24 2018-08-21 매직 립, 인코포레이티드 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP2705435B8 (en) 2011-05-06 2017-08-23 Magic Leap, Inc. Massive simultaneous remote digital presence world
JP2012252091A (ja) 2011-06-01 2012-12-20 Sony Corp 表示装置
WO2013036236A1 (en) 2011-09-08 2013-03-14 Intel Corporation Interactive screen viewing
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
AU2012348348B2 (en) 2011-10-28 2017-03-30 Magic Leap, Inc. System and method for augmented and virtual reality
BR112014012615A2 (pt) 2011-11-23 2017-06-13 Magic Leap Inc sistema de exibição de realidade aumentada e virtual tridimensional
KR102404537B1 (ko) 2012-04-05 2022-05-31 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US20130300635A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN107817555A (zh) 2012-06-11 2018-03-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9740006B2 (en) 2012-09-11 2017-08-22 Magic Leap, Inc. Ergonomic head mounted display device and optical system
US20140092006A1 (en) 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
KR102274413B1 (ko) 2013-01-15 2021-07-07 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
CA3157218A1 (en) 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
NZ712192A (en) 2013-03-15 2018-11-30 Magic Leap Inc Display system and method
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
AU2014337171B2 (en) 2013-10-16 2018-11-15 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
NZ720610A (en) 2013-11-27 2020-04-24 Magic Leap Inc Virtual and augmented reality systems and methods
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
CN106233189B (zh) 2014-01-31 2020-06-26 奇跃公司 多焦点显示系统和方法
EP3100099B1 (en) 2014-01-31 2020-07-01 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
CN106537219B (zh) 2014-05-30 2021-03-16 奇跃公司 用于在虚拟和增强现实中产生焦平面的方法和系统
CN113253476B (zh) 2014-05-30 2022-12-27 奇跃公司 采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
WO2016019123A1 (en) 2014-07-31 2016-02-04 North Carolina State University Bragg liquid crystal polarization gratings
US9552062B2 (en) * 2014-09-05 2017-01-24 Echostar Uk Holdings Limited Gaze-based security
US10007333B2 (en) 2014-11-07 2018-06-26 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
US10176639B2 (en) 2014-11-27 2019-01-08 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
US10154194B2 (en) * 2014-12-31 2018-12-11 Logan Gilpin Video capturing and formatting system
JP6819031B2 (ja) 2015-01-23 2021-01-27 株式会社リコー 頭部装着型表示装置、表示方法
NZ773845A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2016202716A (ja) 2015-04-24 2016-12-08 株式会社コーエーテクモゲームス プログラム及び記録媒体
CN104935909B (zh) * 2015-05-14 2017-02-22 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US10043281B2 (en) * 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
WO2017025487A1 (en) * 2015-08-07 2017-02-16 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH System and method for displaying a stream of images
CA2995978A1 (en) 2015-08-18 2017-02-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
CN108027984B (zh) 2015-09-25 2022-05-13 奇跃公司 用于在3d重建中检测和组合结构特征的方法和系统
CA3002369A1 (en) 2015-10-20 2017-04-27 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
US20190088015A1 (en) 2016-03-31 2019-03-21 Umbra Software Oy Virtual reality streaming
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US9721393B1 (en) 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
US20170373459A1 (en) 2016-06-27 2017-12-28 University Of Central Florida Research Foundation, Inc. Volume polarization grating, methods of making, and applications
US11551602B2 (en) 2016-09-01 2023-01-10 Innovega Inc. Non-uniform resolution, large field-of-view headworn display
WO2018057660A2 (en) 2016-09-20 2018-03-29 Apple Inc. Augmented reality system
KR102555925B1 (ko) 2016-11-10 2023-07-13 매직 립, 인코포레이티드 스페클 패턴들을 사용하는 눈 추적을 위한 방법 및 시스템
WO2018094086A1 (en) 2016-11-16 2018-05-24 Magic Leap, Inc. Multi-resolution display assembly for head-mounted display systems
US11644669B2 (en) 2017-03-22 2023-05-09 Magic Leap, Inc. Depth based foveated rendering for display systems
CA3057878A1 (en) 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
US10861142B2 (en) 2017-07-21 2020-12-08 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
EP3765943A4 (en) 2018-03-16 2021-12-22 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
WO2020033875A1 (en) 2018-08-10 2020-02-13 Compound Photonics Limited Apparatus, systems, and methods for foveated display

Also Published As

Publication number Publication date
CN110679147A (zh) 2020-01-10
EP3603058A1 (en) 2020-02-05
EP3603058A4 (en) 2020-12-30
KR102653388B1 (ko) 2024-04-01
CN114578562A (zh) 2022-06-03
US20180275410A1 (en) 2018-09-27
IL269386B1 (en) 2023-03-01
JP2020514926A (ja) 2020-05-21
KR20240046291A (ko) 2024-04-08
US11644669B2 (en) 2023-05-09
IL269386A (en) 2019-11-28
US20230251492A1 (en) 2023-08-10
AU2018239511A1 (en) 2019-10-17
KR20190130147A (ko) 2019-11-21
KR20230056067A (ko) 2023-04-26
JP2022118025A (ja) 2022-08-12
WO2018175625A1 (en) 2018-09-27
KR102524006B1 (ko) 2023-04-20
CA3057109A1 (en) 2018-09-27
JP7096836B2 (ja) 2022-07-06
CN110679147B (zh) 2022-03-08
JP7329105B2 (ja) 2023-08-17
IL269386B2 (en) 2023-07-01
IL300511A (en) 2023-04-01

Similar Documents

Publication Publication Date Title
JP7329105B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
JP7381482B2 (ja) ディスプレイシステムのための深度ベースの中心窩化レンダリング
JP7228581B2 (ja) 透明発光型ディスプレイを有する接眼レンズを備える拡張現実ディスプレイ
KR20230144666A (ko) 깊이 평면들 간의 감소된 스위칭을 갖는 다중-깊이 평면 디스플레이 시스템
KR20170015375A (ko) 가상 및 증강 현실의 초점 평면들을 생성하기 위한 방법들 및 시스템
US20220121027A1 (en) Display system having 1-dimensional pixel array with scanning mirror

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240411