CN110679147A - 用于显示系统的基于深度的凹式渲染 - Google Patents

用于显示系统的基于深度的凹式渲染 Download PDF

Info

Publication number
CN110679147A
CN110679147A CN201880033609.5A CN201880033609A CN110679147A CN 110679147 A CN110679147 A CN 110679147A CN 201880033609 A CN201880033609 A CN 201880033609A CN 110679147 A CN110679147 A CN 110679147A
Authority
CN
China
Prior art keywords
display system
light
user
resolution
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880033609.5A
Other languages
English (en)
Other versions
CN110679147B (zh
Inventor
I·L·C·杨
L·E·埃德温
V·马瑟
T·M·达尔林普尔
J·舍费尔
C·卡尔里斯勒
郑惠全
吴哲宇
P·普雷斯勒
X·张
A·C·卡尔森
N·E·萨梅茨
N·U·罗柏纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202210150664.0A priority Critical patent/CN114578562A/zh
Publication of CN110679147A publication Critical patent/CN110679147A/zh
Application granted granted Critical
Publication of CN110679147B publication Critical patent/CN110679147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Holo Graphy (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

公开了用于显示系统中的基于深度的凹式渲染的方法和系统。显示系统可以是被配置为使用不同的波前发散在多个深度平面上提供虚拟内容的增强现实显示系统。一些实施例包括基于检测到的传感器信息来监视显示系统的用户的眼睛取向。基于眼睛取向确定注视点，该注视点代表相对于视野的三维位置。获得要呈现的虚拟对象的位置信息，该位置信息指示虚拟对象的三维位置。基于至少一个虚拟对象与注视点的接近度来调节至少一个虚拟对象的分辨率。通过显示系统将虚拟对象呈现给用户，其中根据调节的分辨率渲染该至少一个虚拟对象。

Description

用于显示系统的基于深度的凹式渲染
优先权要求
本申请要求如下申请的优先权：于2018年3月16日提交的美国临时申请号62/644,365；于2017年3月22日提交的美国临时申请号62/475,012；于2017年4月17日提交的美国临时申请号62/486,407；以及于2017年8月1日提交的美国临时申请号62/539,934。出于所有目的，上述专利申请通过引用整体并入在此。
通过引用并入
本申请通过引用并入以下专利申请和出版物中每一种的全部：2014年11月27日提交的美国专利申请号14/555,585，2015年7月23日公开为美国公开号2015/0205126；2015年4月18日提交的美国申请号14/690,401，2015年10月22日公开为美国公开号2015/0302652；2014年3月14日提交的美国申请号14/212,961，现为2016年8月16日公布的美国专利号9,417,452；2014年7月14日提交的美国申请号14/331,218，2015年10月29日公开为美国公开号2015/0309263；2018年2月22日提交的美国申请号15/902,927；2017年3月22日提交的美国临时申请号62/475,012；以及2017年8月1日提交的美国临时申请号62/539,934。
技术领域
本公开涉及显示系统，包括增强现实成像和可视化系统。
背景技术
现代的计算和显示技术已经促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中，数字再现的图像或其部分以看起来像是或可能被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而对其它实际真实世界视觉输入不透明；增强现实或“AR”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围实际世界可视化的增强。混合现实或“MR”场景是AR场景的一种，并且通常涉及虚拟对象，该虚拟对象已集成到自然世界中并对其做出响应。例如，MR场景可以包括AR图像内容，该AR图像内容似乎被真实世界中的对象阻挡或者以其它方式被感知为与真实世界中的对象交互。
参考图1，描绘了增强现实场景10。AR技术的用户看到其中以背景中的人、树、建筑物为特征的真实世界公园状的设置20以及混凝土平台30。用户还感知到他/她“看到”“虚拟内容”，诸如站在真实世界平台30上的机器人雕像40，以及看起来是大黄蜂的化身的飞行的卡通头像角色50。这些元素50、40是“虚拟的”，因为它们在真实世界中不存在。由于人类的视觉感知系统很复杂，因此要产生在其它虚拟或真实世界的图像元素中促进舒适的、自然感觉的、丰富的虚拟图像元素呈现的AR技术是一项挑战。
在此公开的系统和方法解决了与AR和VR技术有关的各种挑战。
发明内容
根据一些实施例，一种系统包括一个或多个处理器和一个或多个计算机存储介质，该计算机存储介质存储指令，该指令在由一个或多个处理器执行时使一个或多个处理器执行操作。该操作包括基于经由一个或多个传感器检测到的信息来监视用户的眼睛运动。基于眼睛运动来确定用户的眼睛正在注视的注视点，该注视点是用户视野中的三维位置。操作包括获得与一个或多个虚拟对象相关联的位置信息以呈现给用户，该位置信息指示虚拟对象的三维位置。该操作还包括至少部分地基于至少一个虚拟对象与注视点的接近度来调节至少一个虚拟对象的分辨率。该操作还包括时的经由显示器向用户呈现虚拟对象，其中根据调节的分辨率渲染该至少一个虚拟对象。
根据一些实施例，一种显示系统包括：显示设备，其被配置为向用户呈现虚拟内容；一个或多个处理器；以及一个或多个计算机存储介质，其存储指令，该指令在由系统执行时使系统执行操作。该操作包括监视与用户的眼睛运动相关联的信息。基于所监视的信息来确定显示设备的显示平截体内的注视点，该注视点指示被用户的眼睛注视的三维位置。该操作还包括基于所确定的注视点在显示平截体内的三维位置处呈现虚拟内容，其中基于虚拟内容与注视点的接近度来在分辨率上调节虚拟内容。
根据一些其它实施例，一种方法包括：基于经由一个或多个传感器检测到的信息，监视显示设备的用户的眼睛取向。基于眼睛取向来确定用户的眼睛正在注视的注视点，该注视点是用户视野内的三维位置。获得与要呈现给用户的一个或多个虚拟对象相关联的位置信息，该位置信息指示虚拟对象的三维位置。至少部分地基于至少一个虚拟对象与注视点的接近度来调节至少一个虚拟对象的分辨率。该方法还包括使虚拟对象经由显示器呈现给用户，其中根据调节的分辨率渲染该至少一个虚拟对象。
根据一些实施例，一种显示系统包括：配置为安装在用户头部上的框架；配置为输出光以形成图像的光调制系统；以及一个或多个波导，其附接到该框架并配置为接收来自光调制系统的光，并横跨一个或多个波导的表面输出光。该系统还包括一个或多个处理器，以及一个或多个计算机存储介质，其存储指令，该指令在由一个或多个处理器执行时使一个或多个处理器执行各种操作。该操作包括确定到达用户的眼睛的视网膜的光量；以及基于到达视网膜的光量来调节要呈现给用户的虚拟内容的分辨率。
根据一些其它实施例，一种显示系统包括一个或多个处理器；以及存储指令的一种或多种计算机存储介质。当指令由一个或多个处理器执行时，它们使一个或多个处理器执行各种操作。该操作包括确定到达显示系统的用户的眼睛的视网膜的光量；以及基于到达视网膜的光量来调节要呈现给用户的虚拟内容的分辨率。
根据一些实施例，一种方法由包括一个或多个处理器和头戴式显示器的显示系统执行。该方法包括确定到达显示系统的用户的眼睛的视网膜的光量；以及基于到达视网膜的光量来调节要呈现给用户的虚拟内容的分辨率。
根据一些其它实施例，一种显示系统包括：配置为安装在用户头部上的框架；以及光调制系统；一个或多个波导；一个或多个处理器；以及存储指令的一种或多种计算机存储介质。光调制系统被配置为输出光以形成图像。一个或多个波导附接到框架并且被配置为接收来自光调制系统的光并且横跨一个或多个波导的表面输出光。一种或多种计算机存储介质存储指令，该指令当由一个或多个处理器执行时，使该一个或多个处理器执行各种操作。该操作包括基于以下来调节形成虚拟内容的分量颜色图像的分辨率：虚拟内容与用户注视点的接近度；以及分量颜色图像的颜色。分量颜色图像中的至少一个分量颜色图像在分辨率上与另一种颜色的分量颜色图像不同。
根据其它实施例，一种显示系统包括一个或多个处理器；以及存储指令的一种或多种计算机存储介质。当指令由一个或多个处理器执行时，它们使一个或多个处理器执行各种操作。该操作包括基于以下来调节形成虚拟内容的分量颜色图像的分辨率：虚拟内容与用户注视点的接近度；以及分量颜色图像的颜色，其中，分量颜色图像中的至少一个分量颜色图像在分辨率上与另一种颜色的分量颜色图像不同。
根据一些其它实施例，一种方法由包括一个或多个处理器和头戴式显示器的显示系统执行。该方法包括基于以下来调节形成虚拟内容的分量颜色图像的分辨率：虚拟内容与用户注视点的接近度；以及分量颜色图像的颜色，其中，分量颜色图像中的至少一个分量颜色图像在分辨率上与另一种颜色的分量颜色图像不同。
根据其它实施例，显示系统包括：图像源，该图像源包括用于提供第一图像流和第二图像流的空间光调制器；观看组件；与图像源通信的一个或多个处理器；存储指令的一种或多种计算机存储介质，该指令当由一个或多个处理器执行时，使一个或多个处理器执行各种操作。观看组件包括用于从图像源接收第一和第二图像流并将第一和第二图像流输出给用户的光导光学器件。由一个或多个处理器执行的各种操作包括：使图像源将第一图像流输出到观看组件，其中，由第一图像流形成的图像具有第一像素密度；以及使图像源将第二图像流输出到观看组件。由第二图像流形成的图像具有大于第一像素密度的第二像素密度，并且对应于由第一图像流提供的图像的部分。由第二图像流形成的图像覆盖由第一图像流提供的视野的对应部分。
根据一些实施例，可穿戴显示系统可以包括具有取决于圆偏振旋向性的放大率的无焦放大镜。该无焦放大镜可以包括：第一固定焦距透镜元件；第一几何相位透镜，该第一几何相位透镜对入射的圆偏振光的第一旋向性表现出正屈光力，而对于入射的圆偏振光的第二旋向性表现出负屈光力；以及第二个几何相位透镜。
根据一些其它实施例，用于可穿戴图像投影仪的光学子系统可以包括偏振选择反射器和围绕偏振选择反射器定位的一组四个透镜元件。
根据一些其它实施例，一种用于将图像投射到用户的眼睛的显示系统可以包括目镜。目镜可以包括波导和光学耦合到波导的入耦合光栅。该显示系统可以进一步包括第一图像源，该第一图像源被配置为投射与第一图像流相关联的第一光束。第一图像流可以具有第一视野并且可以入射在入耦合光栅的第一表面上。第一光束的一部分可以通过入耦合光栅耦合到波导中，以将第一图像流定位在用户眼睛的固定位置中。该显示系统可以进一步包括第二图像源，该第二图像源被配置为投射与第二图像流相关联的第二光束。第二图像流可以具有比第一视野窄的第二视野。该显示系统可以进一步包括扫描反射镜，该扫描反射镜被配置为接收和反射第二光束，使得第二光束入射在入耦合光栅的与其第一表面相对的第二表面上。第二光束的一部分可以通过入耦合光栅耦合到波导中。该显示系统可以进一步包括被配置为检测用户的眼睛的运动的眼睛凝视跟踪器，以及与眼睛凝视跟踪器和扫描反射镜通信的控制电路。控制电路可以被配置为定位扫描反射镜，使得第二图像流的位置根据检测到的用户眼睛的运动而移动。
根据一些其它实施例，一种用于将图像投射到用户的眼睛的显示系统可以包括目镜。目镜可以包括波导和光学耦合到波导的入耦合光栅。该显示系统可以进一步包括图像源，该图像源被配置为以第一偏振投射与第一图像流相关联的第一光束，并且以与第一偏振不同的第二偏振投射与第二图像流相关联的第二光束。第一图像流可以具有第一视野，并且第二图像流可以具有比第一视野更窄的第二视野。第一光束和第二光束可以被多路复用。该显示系统可以进一步包括偏振分束器，该偏振分束器被配置为沿第一光路接收和反射第一光束，并且沿第二光路接收和透射第二光束。该显示系统可以进一步包括第一光学反射器，该第一光学反射器沿第一光路定位并且被配置为接收和反射第一光束，使得第一光束入射在入耦合光栅的第一表面上。第一光束的一部分可以通过入耦合光栅耦合到波导中，以将第一图像流定位在用户眼睛的固定位置中。该显示系统可以进一步包括：扫描反射镜，其沿第二光路设置并且被配置为接收和反射第二光束；以及第二光学反射器，其沿扫描反射镜下游的第二光路定位。第二光学反射器可以被配置为接收和反射第二光束，使得第二光束入射在入耦合光栅的与第一表面相对的第二表面上。第二光束的一部分可以通过入耦合光栅耦合到波导中。该显示系统可以进一步包括被配置为检测用户的眼睛的运动的眼睛凝视跟踪器，以及与眼睛凝视跟踪器和扫描反射镜通信的控制电路。控制电路可以被配置为定位扫描反射镜，使得第二图像流的位置根据检测到的用户眼睛的运动而移动。
根据一些其它实施例，一种用于将图像投射到用户的眼睛的显示系统可以包括：波导，图像源，该图像源被配置为以第一偏振投射与第一图像流相关联的第一光束，并以与第一偏振不同的第二偏振投射与第二图像流相关联的第二光束。第一图像流可具有第一视野，并且第二图像流可具有比第一视野更窄的第二视野。第一光束和第二光束可被多路复用。该显示系统可以进一步包括偏振分束器，该偏振分束器被配置为沿第一光路接收和反射第一光束，并且沿第二光路接收和透射第二光束。显示系统可以进一步包括第一入耦合棱镜，该第一入耦合棱镜沿第一光路并且邻近波导的第一表面定位。该第一入耦合棱镜可以被配置为将第一光束的一部分耦合到波导中，以将第一图像流定位到用户的眼睛的固定位置中。该显示系统可以进一步包括扫描反射镜，该扫描反射镜沿第二光路设置并且被配置为接收和反射第二光束。该显示系统可以进一步包括第二入耦合棱镜，该第二入耦合棱镜沿扫描反射镜下游的第二光路并且邻近与波导的第一表面相对的波导的第二表面定位。第二入耦合棱镜可以被配置为将第二光束的一部分耦合到波导中。该显示系统可以进一步包括被配置为检测用户的眼睛的运动的眼睛凝视跟踪器，以及与眼睛凝视跟踪器和扫描反射镜通信的控制电路。控制电路可以被配置为定位扫描反射镜，使得第二图像流的位置根据检测到的用户眼睛的运动而移动。
根据实施例，一种用于将图像投射到用户的眼睛的显示系统包括图像源。图像源可以被配置为以第一偏振投射与第一图像流相关联的第一光束，并且以与第一偏振不同的第二偏振投射与第二图像流相关联的第二光束。第一图像流可以具有第一视野，并且第二图像流可以具有比第一视野更窄的第二视野。第一光束和第二光束可以被多路复用。该显示系统可以进一步包括偏振分束器。偏振分束器可以被配置为沿第一光路朝向观看组件接收和反射第一光束，以将第一图像流定位在用户的眼睛的固定位置中；以及沿第二光路接收和透射第二光束。该显示系统可以进一步包括扫描反射镜，该扫描反射镜沿第二光路设置并且被配置为朝向观看组件接收和反射第二光束。该显示系统可以进一步包括被配置为检测用户的眼睛的运动的眼睛凝视跟踪器，以及与该眼睛凝视跟踪器和扫描反射镜通信的控制电路。控制电路可以被配置为定位扫描反射镜，使得第二图像流的位置根据检测到的用户眼睛的运动而移动。
根据另一个实施例，一种用于将图像投射到用户的眼睛的显示系统包括图像源。图像源可以被配置为投射与第一图像流相关联的第一光束和与第二图像流相关联的第二光束。第一图像流可以具有第一视野，并且第二图像流可以具有比第一视野更窄的第二视野。第一光束和第二光束可以被多路复用。该显示系统可以进一步包括扫描反射镜，该扫描反射镜被配置为朝向观看组件接收和反射第一光束和第二光束，以用于投射第一图像流和第二图像流。该显示系统可以进一步包括被配置为检测用户的眼睛的运动的眼睛凝视跟踪器，以及与该眼睛凝视跟踪器和扫描反射镜通信的控制电路。控制电路可以被配置为定位扫描反射镜，使得第一图像流的位置和第二图像流的位置根据检测到的用户眼睛的运动而移动。显示系统可以进一步包括设置在第一光束和第二光束的光路上的可切换光学元件。可切换光学元件可以被配置为切换到第一光束的第一状态，使得第一光束以第一角放大率进行角度放大，并切换到第二光束的第二状态，使得第二光束以小于第一角放大率的第二角放大率进行角度放大。
附图说明
图1示出了用户通过AR设备的增强现实(AR)视图。
图2示出了用于为用户模拟三维图像的传统显示系统。
图3A-3C示出了曲率半径与焦半径之间的关系。
图4A示出了人类视觉系统的适应-聚散响应的表示。
图4B示出了用户的双眼的不同适应状态和聚散状态的示例。
图4C示出了经由显示系统观看内容的用户的俯视平面图的表示的示例。
图4D示出了经由显示系统观看内容的用户的俯视平面图的表示的另一示例。
图5示出了通过修改波前发散来模拟三维图像的方法的方面。
图6示出了用于将图像信息输出给用户的波导堆叠的示例。
图7示出了由波导输出的出射光束的示例。
图8示出了堆叠波导组件的示例，其中每个深度平面包括使用多种不同分量颜色形成的图像。
图9A示出了一组堆叠的波导的示例的横截面侧视图，每个堆叠的波导包括入耦合光学元件。
图9B示出了图9A的多个堆叠波导的示例的视角。
图9C示出了图9A和图9B的多个堆叠波导的示例的俯视平面图。
图9D示出了可穿戴显示系统的示例。
图10A示出了经由显示系统观看内容的用户的俯视平面图的表示的示例。
图10B示出了经由显示系统观看内容的用户的俯视平面图的表示的另一示例。
图10C示出了经由显示系统观看内容的用户的俯视平面图的表示的另一示例。
图10D是示例显示系统的框图。
图11A1示出了基于三维注视点跟踪的不同分辨率调节区域中的分辨率调节的俯视平面图的表示的示例。
图11A2示出了随着区域的大小和数量改变，分辨率调节区域在不同时间的俯视平面图的表示的示例。
图11B示出了图11A1的分辨率调节区域的一部分的三维表示的示例。
图11C示出了用于分辨率调节区域的配置的另一示例。
图11D示出了图11C的分辨率调节区域的三维表示的示例。
图11E示出了图11C的分辨率调节区域的三维表示的另一示例。
图12A至图12C示出了用于根据与三维注视点的接近度来调节内容的分辨率的过程的示例的图。
图13示出了用户观看与用户的视线对齐的多个虚拟对象的表示的示例。
图14是用于基于与用户注视的角度接近度来调节虚拟内容的过程的示例的图。
图15示出了用户的眼睛的视网膜的表示的示例。
图16图形化地示出了跨图15的视网膜的分辨率以及视杆和视锥密度的示例。
图17图形化地示出了瞳孔大小和入射在用户的眼睛上的光量之间的关系的示例。
图18是用于基于入射在用户的眼睛上的光量来调节虚拟内容的过程的示例的图。
图19图形化地示出了随着入射在眼睛上的光量变化，用户的眼睛可检测到的分辨率变化的示例。
图20图形化地示出了在不同照明水平下眼睛对不同颜色的光的敏感度差异的示例。
图21是用于调节使用多个分量颜色图像形成的虚拟内容的过程的示例的图，其中，基于分量颜色图像的颜色来进行分辨率调节。
图22A-22C示出了随着入射到用户的眼睛上的光量减少而改变对比度敏感度的示例。
图23示出了用户眼睛的视神经和周围盲点的表示的示例。
图24示出了人眼的示例性单眼视野。
图25A示出了配置为向用户提供虚拟内容的示例性可穿戴显示设备。
图25B是描绘增强现实系统的框图。
图25C示意性地示出了可以用于向观看者呈现数字或虚拟图像的观看光学组件(VOA)中的光路。
图26A-26D示出了在AR系统中针对两个示例性眼睛取向中的每一个，要使用的示例性渲染视角和要产生的光场。
图26E-26F示意性地示出了可以呈现给用户的图像的示例性配置。
图26G-26H示意性地示出了可以呈现给用户的图像的示例性配置。
图27示出了如图24中所示的视野和能视域，该视野和能视域覆盖在如图25中所示的可穿戴显示设备中的显示器之一上。
图28A-28B示出了图26A-26D中描述的一些原理。
图28C-28D示出了可以呈现给用户的一些示例性图像。
图28E示出了示例性的高FOV低分辨率图像帧。
图28F示出了示例性的低FOV高分辨率图像帧。
图29A示出了显示系统的简化框图。
图29B示意性地示出了增强现实(AR)系统的横截面视图。
图30A-30B示意性地示出了用于将图像流投射到用户的眼睛的显示系统。
图30C示意性地示出了增强现实(AR)系统的横截面视图。
图30D示出了显示系统的简化框图。
图31A示意性地示出了图30A-30B中所示的显示系统中的第一中继透镜组件的操作原理。
图31B示意性地示出了图30A-30B中所示的显示系统中的第二中继透镜组件的操作原理。
图31C-31D示意性地示出了显示系统。
图32A-32C示意性地示出了显示系统。
图33A-33B示意性地示出了显示系统。
图34A-34B示意性地示出了显示系统。
图35示意性地示出了显示系统。
图36A示意性地示出了增强现实近眼显示系统。
图36B示意性地示出了另一种增强现实近眼显示系统。
图37A是双倍放大无焦放大镜的示意图。
图37B是双焦点放大无焦放大镜的示意图。
图38A-38B示意性地示出了可以呈现给用户的图像的示例性配置。
图39A-39B示出了可以呈现给用户的一些示例性图像。
图40A-40D示意性地示出了用于将图像流投射到用户的眼睛的显示系统。
图41A-41D示意性地示出了用于将图像流投射到用户的眼睛的显示系统。
图42示出了用于时分复用的高FOV低分辨率图像流和低FOV高分辨率图像流的示例性帧结构。
图43示意性地示出了用于将图像流投射到用户的眼睛的显示系统。
图44示意性地示出了用于将图像流投射到用户的眼睛的显示系统。
图45示意性地示出了用于将图像流投射到用户的眼睛的显示系统。
图46示意性地示出了用于将图像流投射到用户的眼睛的显示系统。
图47示意性地示出了用于将图像流投射到用户的眼睛的显示系统。
图48示意性地示出了用于将图像流投射到用户的眼睛的显示系统。
图49示意性地示出了用于将图像流投射到用户的眼睛的显示系统。
图50示意性地示出了根据一些实施例的用于将图像流投射到用户的眼睛的显示系统。
图51示意性地示出了根据一些实施例的用于将图像流投射到用户的眼睛的显示系统。
图52A-52B示意性地示出了根据一些实施例的用于将图像流投射到用户的眼睛的显示系统。
图53A-53B示意性地示出了根据一些实施例的用于将图像流投射到用户的眼睛的显示系统。
具体实施方式
渲染用于增强和虚拟显示系统的虚拟内容是计算密集的。其中，计算强度可能不期望地使用大量的存储器，导致高延迟，和/或可能需要使用可能具有高成本和/或高能耗的强大处理单元。
在一些实施例中，方法和系统通过降低位于远离用户眼睛的注视点的位置处的虚拟内容的分辨率来节省计算资源，诸如存储器和处理时间。例如，该系统可以在用户眼睛的注视点处或附近以相对高的分辨率(例如，最高的分辨率)渲染虚拟内容，同时对于远离该注视点的虚拟内容利用一个或多个较低分辨率。虚拟内容由显示系统呈现，该显示系统可以在多个不同深度(例如，多个不同深度平面，诸如两个或多个深度平面)上显示虚拟内容，并且分辨率的降低优选地沿至少z轴发生，其中z轴是深度轴(对应于距用户的距离)。在一些实施例中，分辨率降低沿z轴以及x和y轴之一或二者发生，其中x轴是横轴，而y轴是纵轴。
确定虚拟内容的适当分辨率可以包括在三维空间中确定用户眼睛的注视点。例如，注视点可以是用户眼睛在其上注视的用户视野上的x、y、z坐标。显示系统可以被配置为呈现具有分辨率差异的虚拟对象，其中分辨率随着虚拟对象与注视点的接近度的减小而减小；换句话说，分辨率随着距注视点距离的增加而降低。
如在此所讨论的，显示系统可以在显示系统的显示平截体(frustum)内呈现虚拟对象，其中虚拟对象能够被呈现在不同的深度平面上。在一些实施例中，显示平截体是由显示系统提供的视野，在其上显示系统被配置为向显示系统的用户呈现虚拟内容。该显示系统可以是包括一个或多个波导的头戴式显示系统，该一个或多个波导可以呈现虚拟内容(例如，虚拟对象、图形、文本等)，其中该一个或多个波导被配置为输出具有与不同深度平面(例如，对应于距用户的特定距离)对应的不同的波前发散和/或不同的双目视差的光。应当理解，每只眼睛可以具有相关联的一个或多个波导。使用不同的波前发散和/或不同的双目视差，显示系统可以使第一虚拟对象看起来位于用户视野内的第一深度处，而使第二虚拟对象看起来位于用户视野内的第二深度处。在一些实施例中，可以确定注视点的深度平面或接近注视点的深度平面，并且可以基于其它深度平面到在其上设置注视点的深度平面的距离来降低其它深度平面上的内容的分辨率。应当理解，在此对虚拟内容的深度的引用(虚拟内容在z轴上距用户的距离)指的是虚拟内容的表观(apparent)深度，如将要被用户看到的那样；在一些实施例中，虚拟对象的深度可以被理解为距具有与虚拟对象的波前发散和/或双目视差类似的波前发散和/或双目视差的真实对象的用户的距离。
应当理解，可以通过各种测量来确定虚拟对象到注视点的接近度，其非限制性示例包括确定注视点和虚拟对象之间的距离，确定相对于注视点所占据的分辨率调节区域的虚拟对象所占据的分辨率调节区域(在如下所述的在用户视野细分为分辨率调节区域的实施例中)，以及确定虚拟对象与用户的注视点的角度接近度。也可以使用上述技术的组合来确定接近度。例如，第一区域(虚拟对象位于其中)与第二区域(注视点位于其中)的距离和/或角度接近度可用于确定接近度。这些各种测量将在下面进一步讨论。
在一些实施例中，确定注视点可以包括预测用户的眼睛的注视点，并且将预测的注视点用作用于确定虚拟内容的分辨率的注视点。例如，显示系统可以以相对高的分辨率渲染特定内容，并期望用户的眼睛注视在该内容上。作为示例，将认识到，人类视觉系统可能对场景中的突然变化(例如，突然运动、亮度变化等)敏感。在一些实施例中，显示系统可以确定虚拟内容的类型(例如，涉及其中还存在其它虚拟和现实对象的场景中的运动)将使用户的眼睛注视在其上，并且然后以高分辨率渲染该虚拟内容，并期望用户的眼睛随后将聚焦在该虚拟内容上。
如上所述，在一些实施例中，从所确定的注视点到虚拟对象的距离可以对应于三维中延伸的距离。作为示例，位于与确定的注视点距用户相同深度(例如，在相同深度平面处)上但水平或纵向地位于距注视点的第一虚拟对象可以与位于距所确定的注视点更远的深度(例如，更远的深度平面)处的第二虚拟对象在分辨率上类似地降低。因此，不同的分辨率可能与距注视点的不同距离相关联。
在一些实施例中，用户周围的环境可以被分成空间体积(在此也称为分辨率调节区域)，其中在相同分辨率调节区域中的虚拟对象的分辨率是相似的。分辨率调节区域可以具有任意的三维形状，如在此所述，例如，立方体、或其它三维多边形形状、或弯曲的三维形状。在一些实施例中，所有分辨率调节区域具有相似的形状，例如长方体或球形。在一些其它实施例中，不同的分辨率调节区域可以具有不同的形状或大小(例如，体积的形状和/或大小可以随着距注视点的距离而改变)。
在一些实施例中，分辨率调节区域是用户视野的一部分。例如，用户的视野可以被分成形分量辨率调节区域的空间的体积。在一些实施例中，每个深度平面可以细分为一个或多个连续的空间体积，即一个或多个分辨率调节区域。在一些实施例中，每个分辨率调节区域可以包含距用户的特定深度范围(例如，深度平面值+/-方差，其中方差的示例包括0.66dpt、0.50dpt、0.33dpt或0.25dpt)，以及特定的横向距离和特定的垂直距离。位于与确定的注视点相同的分辨率调节区域内的虚拟对象可以以高(例如，全)分辨率呈现(例如，渲染)，而位于注视点分辨率调节区域之外的空间体积中的虚拟对象可能会根据体积与注视点的空间体积之间的距离而以较低的分辨率渲染。在一些实施例中，可以为每个分辨率调节区域分配特定分辨率(例如，相对于全分辨率的特定分辨率降低)，并且可以以该区域的相关联分辨率来渲染落入给定区域内的虚拟内容。在一些实施例中，可以确定体积与注视点所占据的体积之间的距离，并且可以基于该距离来设置分辨率。
有利地，可以根据对用户确定的注视点的置信度来修改用于破坏用户视野的分辨率调节区域的数量和大小。例如，可以基于用户的视线正凝视于三维空间中的精确点的置信度来增大或减小与每个空间体积相关联的大小。如果注视点的置信度高，则显示系统可以仅在紧凑分辨率调节区域内以相对高的分辨率(包括注视点的紧凑分辨率调节区域)呈现虚拟对象，同时降低其它虚拟对象的分辨率，并且从而节省了处理能力。然而，如果置信度低，则显示系统可以增加每个空间体积的大小(例如，减少体积的总数)，使得每个空间体积在注视点的空间体积中包含更多数量的虚拟对象。应当理解，例如基于用于确定注视点的系统中的预期公差，可以在显示系统的生产期间固定体积的大小和形状，和/或可以取决于用户的特征、用户的环境和/或改变用于确定注视点的系统的公差的软件的变化在视野中设置或调节。
应当理解，用户对分辨率的敏感度可能会随着距注视点的距离而降低。因此，通过确保在注视点处呈现全分辨率内容并通过允许在注视点所在的位置留出误差裕度，可以减少或消除分辨率降低的感觉，从而提供了对高分辨率显示的感知，而无需利用通常需要为这种高分辨率显示呈现内容的计算资源。
在一些实施例中，可以基于虚拟对象与用户凝视的角度接近度来确定虚拟对象与注视点的接近度，并且随着角度接近度降低，虚拟对象的分辨率可以降低。在一些实施例中，这可以导致以相似的分辨率呈现位于距用户不同深度处的虚拟对象。例如，在与用户确定的注视点相对应的位置处的第一虚拟对象可以位于第二虚拟对象的前面(例如，在深度上更靠近用户)。由于第二虚拟对象将沿用户的凝视，并因此类似地落在用户的中央凹(fovea)上，其中用户的眼睛对分辨率的变化最敏感，因此可以可选地以与第一虚拟对象相似(例如，相同)的分辨率来呈现第二虚拟对象。可选地，第二虚拟对象可以在分辨率上降低，并且经由模糊处理来进一步调节(例如，高斯模糊核可以与第二虚拟对象进行卷积)，这可以表示第二虚拟对象距用户更远(例如，位于更远的深度平面上)。
分辨率的降低可以基于显示系统如何呈现虚拟内容而变化。在一些实施例中，在此称为可变焦点显示系统的第一示例显示系统可以在不同深度平面上呈现虚拟内容，而例如对于呈现给用户的每个帧，一次在相同深度平面(例如，经由相同的波导)处呈现所有内容(例如，虚拟对象)。也就是说，可变焦点显示系统可以一次利用单个深度平面(例如，基于用户的注视点从多个深度平面中选择，或者基于特定呈现的虚拟对象的深度来选择)来呈现内容，并且可以在后续帧中改变深度平面(例如，选择不同的深度平面)。在一些其它实施例中，在此称为多焦点显示系统的第二示例显示系统可以在不同深度平面上呈现虚拟内容，同时在多个深度平面上显示内容。如在此将进一步描述的，可变焦点显示系统可以可选地利用单个帧缓冲器，并且相对于以上关于模糊第二虚拟对象的示例，第二虚拟对象可以在从单个帧缓冲器呈现给用户之前被模糊。相反，多焦点显示系统可以可选地以降低的分辨率在距第一虚拟对象更远的深度(例如，在更远的深度平面上)呈现第二虚拟对象，并且第二虚拟对象在用户看来可能是模糊的(例如，第二虚拟对象将基于用户眼睛的自然物理而模糊，无需进一步处理)。
如在此所公开的，显示系统可以在所确定的注视点处或附近以相对高的(例如，全)分辨率呈现虚拟对象，并且可以在远离该注视点以降低的分辨率呈现虚拟对象。优选地，相对高的分辨率是用于在用户视野中呈现虚拟对象的最高分辨率。相对高的分辨率可以是显示系统的最大分辨率、用户可选择的分辨率、基于呈现虚拟对象的特定计算硬件的分辨率等。
应当理解，调节虚拟对象的分辨率可以包括对虚拟对象的任何修改以改变虚拟对象的呈现质量。此类修改可以包括以下一项或多项：调节虚拟对象的多边形计数，调节用于生成虚拟对象的图元(例如，调节图元的形状，例如将图元从三角形网格调节为四边形网格等)，调节在虚拟对象上执行的操作(例如，着色器操作)，调节纹理信息，调节颜色分辨率或深度，调节渲染周期数或帧速率等，包括在图形处理单元(GPU)的图形管线内的一个或多个点处调节质量。
在一些实施例中，在x轴和y轴上，远离注视点的虚拟内容的分辨率的改变通常可以跟踪用户眼睛的视网膜中感光体分布的改变。例如，应当理解，可以将世界和虚拟内容的视图成像在视网膜上，使得可以将视网膜的不同部分映射到用户视野的不同部分。有利的是，整个用户视野内虚拟内容的分辨率通常可以跟踪整个视网膜上对应感光体(视杆或视锥)的密度。在一些实施例中，远离注视点的分辨率降低通常可以跟踪整个视网膜上视锥密度的降低。在一些其它实施例中，远离注视点的分辨率降低通常可以跟踪整个视网膜上的视杆的密度降低。在一些实施例中，远离注视点的分辨率降低的趋势可以在整个视网膜上的视杆和/或视锥的密度降低的趋势的±50％、±30％、±20％或±10％内。
视杆和视锥在不同水平的入射光下处于活动状态。例如，视锥在相对明亮的条件下处于活动状态，而视杆在相对低的光照条件下处于活动状态。因此，在分辨率的降低通常跟踪整个视网膜上的视杆或视锥的密度的一些实施例中，显示系统可以被配置为确定入射在视网膜上的光量。基于该光量，可以对分辨率进行适当的调节。例如，分辨率的降低通常可以在低光照条件下跟踪整个视网膜上的视杆的密度的变化，而分辨率的降低通常可以在明亮的条件下跟踪视锥的密度的变化。因此，在一些实施例中，显示系统可以被配置为基于入射在视网膜上的光量来改变图像分辨率的降低的分布。
应当理解，人眼分辨精细细节的能力可能与视网膜中视杆或视锥的密度不直接成比例。在一些实施例中，整个用户视野中的虚拟内容的分辨率的变化通常跟踪眼睛分辨精细细节的能力的变化。如上所述，虚拟内容的分辨率的变化的进程可以随着到达视网膜的光量而变化。
在一些实施例中，可以通过检测入射在安装在显示设备上的传感器上的周围光量来确定到达视网膜的光量。在一些实施例中，确定到达视网膜的光量还可以包括确定由显示设备输出给用户的光量。在其它实施例中，可以通过对用户的眼睛成像以确定瞳孔大小来确定到达视网膜的光量。由于瞳孔大小与到达视网膜的光量有关，因此确定瞳孔大小允许推断到达视网膜的光量。
应当理解，全颜色虚拟内容可以由多个分量分量颜色图像形成，该分量分量颜色图像总体上提供对全颜色的感知。人眼对光的不同波长或颜色可能具有不同的敏感度。在一些实施例中，除了基于与注视点的接近度而改变之外，虚拟内容的分辨率的改变可以基于由显示系统呈现的分量颜色图像的颜色而改变。例如，如果分量颜色图像包括红色、绿色和蓝色图像，则绿色分量颜色图像可以具有比红色分量颜色图像更高的分辨率，该红色分量颜色图像可以具有比蓝色分量颜色图像更高的分辨率。在一些实施例中，为了解决眼睛在不同水平的入射光下对不同颜色的敏感度的变化，可以确定到达视网膜的光量，并且给定分量颜色图像的分辨率调节也可以基于确定到达视网膜的光量。
应当理解，眼睛的对比度敏感度也可以基于入射在视网膜上的光量而变化。在一些实施例中，虚拟内容中对比度的等级的大小或总数可以基于到达视网膜的光量而变化。在一些实施例中，形成虚拟内容的图像的对比度比可以基于入射在视网膜上的光量而变化，其中对比度比随着光量的减少而减小。
在一些实施例中，用户视野的某些部分可能没有提供任何虚拟内容。例如，显示系统可以被配置为不在由视神经引起的盲点和/或给定眼睛的周围盲点中提供虚拟内容。
如在此所述，显示系统可被配置为在用户视野的一部分中显示高分辨率内容，而在用户视野的另一部分中显示较低分辨率内容。应当理解，高分辨率内容可以具有比较低分辨率内容更高的像素密度。在一些环境中，显示系统可以被配置为通过有效地叠加高分辨率和低分辨率图像来提供此类高分辨率和低分辨率内容。例如，系统可以显示跨整个视野的低分辨率图像，并且然后显示跨视野的一小部分的高分辨率图像，而高分辨率图像位于与低分辨率图像的对应部分相同的位置处。高分辨率图像和低分辨率图像可以通过不同的光学器件引导，该光学器件以适当的角度输出光以确定这些图像占据了多少视野。
在一些实施例中，可以使用单个空间光调制器(SLM)对具有图像信息的光进行编码，并且可以使用分束器或光学开关将来自SLM的单个光流分成两个流，一个流通过用于低分辨率图像的光学器件传播，并且第二流通过用于高分辨率图像的光学器件传播。在一些其它实施例中，可以选择性地切换用图像信息编码的光的偏振，并使其通过有效地为不同偏振的光提供不同的角放大的光学器件，从而提供高分辨率图像和低分辨率图像。
有利地，在此公开的各种实施例降低了用于在显示系统上提供内容的处理能力的要求。由于处理能力的较大份额可以专用于靠近用户的三维注视点的虚拟对象，因此虽然可以减少用于距离较远的虚拟对象的处理能力，但可以减少显示系统的总体所需的处理能力，因此减少了以下中的一项或多项：处理组件的大小，由处理组件生成的热量，以及显示系统的能量需求(例如，显示系统可以可选地由电池供电，需要较低容量的电池，和/或采用给定电池操作更长的持续时间)。因此，在此描述的实施例解决了由增强或虚拟现实显示系统引起的技术问题。另外，所描述的技术操纵图形内容，使得在呈现给用户时，图形内容被根本上不同地呈现(例如，分辨率被修改)，而图形内容在用户看来可能是相同的。因此，当用户环顾周围环境时，显示系统变换图形内容，同时保留视觉保真度并节省处理能力。
应当理解，显示系统可以是增强现实显示系统或虚拟现实显示系统的一部分。作为一个示例，显示系统的显示可以是透射的，并且可以允许用户观看真实世界，同时向用户提供图像、视频、交互性等形式的虚拟内容。作为另一示例，显示系统可能会阻止用户观看真实世界，并且虚拟现实图像、视频、交互性等可能会呈现给用户。
现在将参考附图，在附图中，相似的附图标记始终指代相似的部分。
图2示出了用于为用户模拟三维图像的传统显示系统。应当理解，用户的眼睛是间隔开的，并且当观看空间中的真实对象时，每只眼睛将具有该对象的稍微不同的视图，并且可以在每只眼睛的视网膜上的不同位置处形成该对象的图像。这可以被称为双目视差，并且可以被人类视觉系统用来提供对深度的感知。传统的显示系统通过呈现具有相同虚拟对象的略有不同的视图的两个不同的图像190、200(每只眼睛210、220对应一个图像)来模拟双目视差，该略有不同的视图对应于每只眼睛将看到的虚拟对象的视图，如果虚拟对象是期望深度的真实对象的话。这些图像提供了双目线索，用户的视觉系统可以将其解释为获得深度的感知。
继续参考图2，图像190、200与眼睛210、220在z轴上间隔开距离230。z轴与观看者的光轴平行，其眼睛注视在观看者正前方的光学无限远处的对象上。图像190、200是平坦的并且与眼睛210、220处于固定的距离。基于分别呈现给眼睛210、220的图像中的虚拟对象的略微不同的视图，眼睛可以自然地旋转，使得对象的图像落在每只眼睛的视网膜上的对应点上，以保持单个双目视觉。该旋转可导致眼睛210、220中的每只眼睛的视线会聚到空间上的一点，在该点处虚拟对象被感知为存在。结果，提供三维图像通常涉及提供双目线索，该双目线索可操纵用户眼睛210、220的聚散度，并且人类视觉系统将其解释为提供深度的感知。
然而，生成对深度的现实且舒适的感知是具有挑战性的。应当理解，来自距眼睛不同距离处的对象的光具有带有不同发散量的波前。图3A-3C示出了距离与光线的发散之间的关系。对象与眼睛210之间的距离由R1、R2和R3按减小距离的顺序表示。如图3A-3C中所示，随着距对象的距离减小，光线变得更加发散。相反，随着距离增加，光线变得更加准直。换句话说，可以说由点(对象或对象的一部分)产生的光场具有球面波前曲率，该曲率是该点距用户眼睛多远的函数。曲率随着对象和眼睛210之间的距离减小而增加。尽管为了清楚起见在图3A-3C和在此的其它图中仅示出了单只眼睛210，但是关于眼睛210的讨论可以应用于观看者的两只眼睛210和220。
继续参考图3A-3C，观看者眼睛注视在其上的对象发出的光可能具有不同程度的波前发散。由于不同量的波前发散，眼睛的晶状体可能会不同地聚焦光，这进而可能会要求晶状体采取不同的形状以在眼睛的视网膜上形成聚焦图像。在未在视网膜上形成聚焦图像的情况下，所产生的视网膜模糊可作为适应度的提示，该适应度引起眼睛晶状体形状的改变，直到在视网膜上形成聚焦图像为止。例如，适应度的提示可触发眼睛晶状体周围的睫状肌松弛或收缩，从而调节施加到保持晶状体的悬韧带的力，从而引起眼睛晶状体的形状改变直到注视对象的视网膜模糊被消除或最小化，从而在眼睛的视网膜(例如，中央凹)上形成注视对象的聚焦图像。眼睛的晶状体改变形状的过程可以被称为适应，并且形成在眼睛的视网膜(例如，中央凹)上的注视对象的聚焦图像所需的眼睛的晶状体的形状可以被称为适应状态。
现在参考图4A，示出了人类视觉系统的适应度-聚散度响应的表示。眼睛注视在对象上的运动使眼睛接收来自对象的光，该光在眼睛的每个视网膜上形成图像。在视网膜上形成的图像中视网膜模糊的存在可以提供适应度的线索，并且图像在视网膜上的相对位置可以为聚散度提供线索。适应度的线索使适应发生，导致眼睛的晶状体各自呈现特定的适应状态，该特定的适应状态形成了对象在眼睛的视网膜(例如，中央凹)上的聚焦图像。另一方面，聚散度的线索使聚散运动(眼睛的旋转)发生，使得形成在每只眼睛的每个视网膜上的图像位于保持单个双目视觉的对应视网膜点处。在这些位置中，可以说眼睛已呈现特定的聚散状态。继续参考图4A，适应可以被理解为眼睛达到特定的适应状态的过程，而聚散可以被理解为眼睛达到特定的聚散状态的过程。如图4A中所示，如果用户注视在另一对象上，则眼睛的适应和聚散状态可能改变。例如，如果用户在z轴上的不同深度处注视在新对象上，则适应状态可能改变。
在不受理论限制的情况下，相信对象的观看者可能由于聚散和适应的组合而将对象感知为“三维”。如上所述，两只眼睛相对于彼此的聚散运动(例如，眼睛的旋转，使得瞳孔彼此朝向或远离移动以会聚眼睛的视线以注视在对象上)与眼睛的晶状体的适应紧密相关。在正常情况下，改变眼睛的晶状体形状以将焦点从一个对象改变到不同距离处的另一对象，将在称为“适应度-聚散度反射”的关系下自动导致在聚散度上距相同距离的匹配变化。同样，在正常情况下，聚散度的变化将触发晶状体形状的匹配变化。
现在参考图4B，示出了眼睛的不同适应和聚散状态的示例。一对眼睛222a在光学无限远处注视在对象上，而一对眼睛222b在小于光学无限远处注视在对象221上。值得注意的是，每对眼睛的聚散状态不同，该对眼睛222a笔直指向前方，而该对眼睛222会聚在对象221上。形成每对眼睛222a和222b的眼睛的适应状态也不同，如晶状体210a、220a的不同形状所代表的。
不期望地，由于这些显示器中的适应状态和聚散状态之间的失配，传统“3D”显示系统的许多用户发现此类传统系统不舒适或根本无法感知深度感。如上所述，许多立体或“3D”显示系统通过向每只眼睛提供略有不同的图像来显示场景。此类系统对于许多观看者来说是不舒适的，因为它们尤其提供了场景的不同呈现并且引起眼睛的聚散状态的改变，但是没有相应地改变那些眼睛的适应状态。相反，通过显示器在距眼睛的固定距离处示出图像，使得眼睛在单个适应状态下观看所有图像信息。此类布置通过引起聚散状态的变化而没有适应状态的匹配变化来对抗“适应度-聚散度反射”。据信该失配会引起观看者不适。在适应度和聚散度之间提供更优匹配的显示系统可能会形成更逼真的且更舒适的三维图像模拟。
不受理论的限制，据信人眼通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个深度平面相对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。在一些实施例中，不同的呈现可以提供聚散度的线索和适应度的匹配线索二者，从而提供生理上正确的适应度-聚散度匹配。
继续参考图4B，示出了两个深度平面240，其对应于距眼睛210、220在空间上的不同距离。对于给定的深度平面240，可以通过为每只眼睛210、220显示适当不同视角的图像来提供聚散度线索。此外，对于给定的深度平面240，形成提供给每只眼睛210、220的图像的光可以具有与该深度平面240的距离处的点所产生的光场相对应的波前发散。
在所示的实施例中，包含点221的深度平面240沿z轴的距离为1m。如在此所使用的，可以采用位于用户眼睛的出瞳处的零点来测量沿z轴的距离或深度。因此，位于深度为1m的深度平面240对应于在这些眼睛的光轴上距用户眼睛的出瞳1m的距离。作为近似，可以从用户眼睛前面的显示器(例如，从波导的表面)测量沿z轴的深度或距离，再加上该设备与用户眼睛的出瞳之间的距离值，眼睛朝向光学无限远引导。该值可以称为眼距，并且对应于用户眼睛的出瞳与用户在眼睛前面佩戴的显示器之间的距离。实际上，眼距的值可以是通常用于所有观看者的归一化值。例如，可以假设眼距为20mm，并且深度1m处的深度平面在显示器前面的距离可以为980mm。
现在参考图4C和4D，分别示出了匹配的适应度-聚散度距离和失配的适应度-聚散度距离的示例。如图4C中所示，显示系统可以向每只眼睛210、220提供虚拟对象的图像。图像可以使眼睛210、220呈现聚散状态，在该状态中眼睛会聚在深度平面240上的点15上。另外，图像可以由具有与该深度平面240处的真实对象相对应的波前曲率的光形成。结果，眼睛210、220呈现适应状态，在该状态中图像聚焦在那些眼睛的视网膜上。因此，用户可以将虚拟对象感知为在深度平面240上的点15处。
应当理解，眼睛210、220的适应状态和聚散状态中的每一种状态都与z轴上的特定距离相关联。例如，距眼睛210、220特定距离处的对象使那些眼睛基于该对象的距离呈现特定的适应状态。与特定的适应状态相关联的距离可以被称为适应距离Ad。类似地，在特定的聚散状态或相对于彼此的位置中，存在与眼睛相关联的特定的聚散距离Vd。在适应距离和聚散距离匹配的情况下，适应和聚散之间的关系可以说是生理上正确的。对于观看者来说，这被认为是最舒适的场景。
然而，在立体显示器中，适应距离和聚散距离可能并不总是匹配。例如，如图4D中所示，显示给眼睛210、220的图像可以以与深度平面240相对应的波前发散来显示，并且眼睛210、220可以呈现特定的适应状态，在该状态中在该深度平面上的点15a、15b处于焦点。然而，显示给眼睛210、220的图像可能会提供聚散线索，该线索使眼睛210、220会聚在未位于深度平面240上的点15上。结果，在一些实施例中，适应距离对应于从用户的特定参考点(例如，眼睛210、220的出瞳)到深度平面240的距离，而聚散距离对应于从该参考点到点15的较大距离。因此，适应距离不同于聚散距离，并且存在适应度-聚散度失配。此类失配被认为是不期望的，并且可能导致用户不适。应当理解，失配对应于距离(例如，Vd-Ad)，并且可以使用屈光度(长度倒数单位1/m)来表征。例如，1.75屈光度的Vd和1.25屈光度的Ad，或1.25屈光度的Vd和1.75屈光度的Ad，将提供0.5屈光度的适应度-聚散度失配。
在一些实施例中，应当理解，除了眼睛210、220的出瞳之外的参考点可以被用于确定用于确定适应度-聚散度失配的距离，只要相同的参考点被用于适应距离和聚散距离。例如，可以测量从角膜到深度平面，从视网膜到深度平面，从目镜(例如，显示设备的波导)到深度平面的距离等。
在不受理论限制的情况下，据信用户仍可将高达约0.25屈光度、高达约0.33屈光度和高达约0.5屈光度的适应度-聚散度失配感知为生理上正确的，而失配本身不会引起严重不适。在一些实施例中，在此公开的显示系统(例如，图6的显示系统250)向观看者呈现具有约0.5屈光度或更小的适应度-聚散度失配的图像。在一些其它实施例中，由显示系统提供的图像的适应度-聚散度失配为约0.33屈光度或更小。在其它实施例中，由显示系统提供的图像的适应度-聚散度失配为约0.25屈光度或更小，包括约0.1屈光度或更小。
图5示出了通过修改波前发散来模拟三维图像的方法的方面。该显示系统包括波导270，该波导270被配置为接收用图像信息编码的光770，并将该光输出到用户的眼睛210。波导270可以输出具有限定量的波前发散的光650，该限定量的波前发散与由所期望的深度平面240上的点产生的光场的波前发散相对应。在一些实施例中，为在该深度平面上呈现的所有对象提供相同量的波前发散。另外，将说明可以向用户的另一只眼睛提供来自类似波导的图像信息。
在一些实施例中，单个波导可以被配置为输出具有与单个或有限数量的深度平面相对应的设定量的波前发散的光，和/或波导可以被配置为输出有限波长范围的光。因此，在一些实施例中，可以利用多个或堆叠的波导来为不同的深度平面提供不同量的波前发散和/或输出不同波长范围的光。如在此所使用的，应当理解，在深度平面处可以遵循平坦或弯曲表面的轮廓。在一些实施例中，为简单起见，深度平面可以遵循平坦表面的轮廓。
图6示出了用于向用户输出图像信息的波导堆叠的示例。显示系统250包括波导的堆叠，或堆叠的波导组件260，其可以用于使用多个波导270、280、290、300、310向眼睛/大脑提供三维感知。将理解的是，在一些实施例中，显示系统250可以被认为是光场显示器。另外，波导组件260也可以被称为目镜。
在一些实施例中，显示系统250可以被配置为提供聚散的基本上连续的线索和适应的多个离散的线索。可以通过向用户的每只眼睛显示不同的图像来提供聚散的线索，并且可以通过输出具有可选择的离散量的波前发散的形成图像的光来提供适应的线索。换句话说，显示系统250可以被配置为输出具有可变水平的波前发散的光。在一些实施例中，波前发散的每个离散水平对应于特定的深度平面，并且可以由波导270、280、290、300、310中的特定波导提供。
继续参考图6，波导组件260还可以在波导之间包括多个特征320、330、340、350。在一些实施例中，特征320、330、340、350可以是一个或多个透镜。波导270、280、290、300、310和/或多个透镜320、330、340、350可以被配置为以各种水平的波前曲率或光线发散向眼睛发送图像信息。每个波导水平可以与特定的深度平面相关联并且可以被配置为输出与该深度平面相对应的图像信息。图像注入设备360、370、380、390、400可以用作波导的光源，并且可以用于将图像信息注入到波导270、280、290、300、310中，如在此所述，其可以被配置为将入射光分配在每个相应的波导上，用于朝向眼睛210输出。光从图像注入设备360、370、380、390、400的输出表面410、420、430、440、450出射，并且注入波导270、280、290、300、310的对应输入表面460、470、480、490、500。在一些实施例中，输入表面460、470、480、490、500中的每个输入表面可以是对应波导的边缘，或者可以是对应波导的主表面的一部分(也就是说，直接面对世界510或观看者的眼睛210的波导表面之一)。在一些实施例中，可以将单个光束(例如，准直光束)注入每个波导中，以输出克隆的准直光束的整个场，该准直光束以与与特定波导相关联的深度平面相对应的特定角度(和发散量)朝向眼睛210引导。在一些实施例中，图像注入设备360、370、380、390、400中的单个图像注入设备可以与波导270、280、290、300、310中的多个(例如，三个)相关联并将光注入到其中。
在一些实施例中，图像注入设备360、370、380、390、400是离散的显示器，其各自产生图像信息以分别注入到对应的波导270、280、290、300、310中。在一些其它实施例中，图像注入设备360、370、380、390、400是单个多路复用显示器的输出端，该显示器可以例如经由一个或多个光导管(诸如光纤电缆)将图像信息输送到图像注入设备360、370、380、390、400中的每一个图像注入设备。应当理解，图像注入设备360、370、380、390、400提供的图像信息可以包括不同波长或颜色的光(例如，如在此所述，不同分量的颜色)。
在一些实施例中，注入到波导270、280、290、300、310中的光由光投影仪系统520提供，该光投影仪系统520包括光模块530，该光模块530可以包括诸如发光二极管(LED)的光发射器。来自光模块530的光可以经由分束器550被引导至光调制器540(例如空间光调制器)并由其修改。光调制器540可以被配置为改变注入到波导270、280、290、300、310中的光的感知强度，以采用图像信息对光进行编码。空间光调制器的示例包括液晶显示器(LCD)，该液晶显示器包括硅上液晶(LCOS)显示器。应当理解，示意性地示出了图像注入设备360、370、380、390、400，并且在一些实施例中，这些图像注入设备可以代表配置为将光输出到波导270、280、290、300、310中的相关联波导中的公共投影系统中的不同光路和位置。在一些实施例中，波导组件260的波导可以用作理想透镜，同时将注入波导中的光中继到用户的眼睛。在该概念中，对象可以是空间光调制器540，并且图像可以是深度平面上的图像。
在一些实施例中，显示系统250可以是包括一根或多根扫描光纤的扫描光纤显示器，该一根或多根扫描光纤被配置为将各种模式(例如，光栅扫描、螺旋扫描、Lissajous模式等)的光投射到一个或多个波导270、280、290、300、310中，并且最后到观看者的眼睛210。在一些实施例中，所示的图像注入设备360、370、380、390、400可以示意性地表示被配置为将光注入到一个或多个波导270、280、290、300、310中的单个扫描光纤或扫描光纤束。在一些其它实施例中，所示的图像注入设备360、370、380、390、400可以示意性地表示多个扫描光纤或多个扫描光纤束，扫描光纤或扫描光纤束中的每一个被配置为将光注入到波导270、280、290、300、310中的相关联波导中。应当理解，一个或多个光纤可以被配置为将光从光模块530发送到一个或多个波导270、280、290、300、310。应当理解，可以在一个或多个扫描光纤与一个或多个波导270、280、290、300、310之间提供一个或多个中间光学结构，以例如将离开扫描光纤的光重定向到一个或多个波导270、280、290、300、310。
控制器560控制一个或多个堆叠的波导组件260的操作，包括图像注入设备360、370、380、390、400、光源530和光调制器540的操作。在一些实施例中，控制器560是本地数据处理模块140的一部分。控制器560包括编程(例如，非暂态介质中的指令)，该编程根据例如在此公开的各种方案中的任何方案来调节图像信息到波导270、280、290、300、310的定时和提供。在一些实施例中，控制器可以是单个整体设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器560可以是处理模块140或150(图9D)的一部分。
继续参考图6，可以将波导270、280、290、300、310配置为通过全内反射(TIR)在每个相应的波导内传播光。波导270、280、290、300、310每个可以是平面的或具有另一种形状(例如，弯曲的)，具有主要的顶部和底部表面以及在那些主要的顶部和底部表面之间延伸的边缘。在所示的配置中，波导270、280、290、300、310可各自包括出耦合光学元件570、580、590、600、610，其被配置为通过将在每个相应波导内传播的光重定向到波导之外以将图像信息输出到眼睛210，从而从波导中提取光。提取的光也可以称为出耦合光，并且出耦合光学元件也可以称为光提取光学元件。所提取的光束可以在波导中传播的光撞击光提取光学元件的位置处由波导输出。如在此进一步讨论的，出耦合光学元件570、580、590、600、610可以例如是包括衍射光学特征的光栅。虽然示出为设置在波导270、280、290、300、310的底部主表面上，但是为了便于描述和清楚作图起见，在一些实施例中，如在此进一步讨论的，出耦合光学元件570、580、590、600、610可以设置在顶部和/或底部主表面上，和/或可以直接设置在波导270、280、290、300、310的体积中。在一些实施例中，出耦合光学元件570、580、590、600、610可以形成为材料层，该材料层附接到透明基板以形成波导270、280、290、300、310。在其它实施例中，波导270、280、290、300、310可以是单片材料，并且出耦合光学元件570、580、590、600、610可以形成在该片材料的表面上和/或内部中。
继续参考图6，如在此所述，每个波导270、280、290、300、310被配置为输出光以形成与特定深度平面对应的图像。例如，最靠近眼睛的波导270可以被配置为将准直光(其被注入到此类波导270中)传送到眼睛210。准直光可以代表光学无限远焦平面。下一个波导向上280可以被配置为在准直光可到达眼睛210之前发出通过第一透镜350(例如，负透镜)的准直光；此类第一透镜350可以被配置为产生轻微的凸面的波前曲率，使得眼睛/大脑将来自下一个波导向上280的光解释为来自光学无限远更近地向内朝向眼睛210的第一焦平面。类似地，第三向上波导290在到达眼睛210之前使它的输出光通过第一透镜350和第二透镜340二者；第一350和第二340透镜的组合光焦度(optical power)可以被配置为产生另一增量的波前曲率，使得眼睛/大脑将来自第三波导290的光解释为来自第二焦平面，该第二焦平面比来自下一个波导向上280的光从光学无限远更近地向内朝向人。
其它波导层300、310和透镜330、320被类似地配置，其中堆叠中的最高波导310通过其与眼睛之间的所有透镜发送其输出，以代表最接近人的焦平面的总(aggregate)焦度。在观看/解释来自堆叠波导组件260的另一侧上的世界510的光时，为了补偿透镜320、330、340、350的堆叠，可以在堆叠的顶部设置补偿透镜层620，以补偿下面的透镜堆叠320、330、340、350的总焦度。此类配置提供与可用的波导/透镜对一样多的感知焦平面。波导的出耦合光学元件和透镜的聚焦方面二者都可以是静态的(即，不是动态的或电激活的)。在一些替代实施例中，使用电激活特征，上述中的一个或二者可以是动态的。
在一些实施例中，波导270、280、290、300、310中的两个或更多个波导可以具有相同的相关联深度平面。例如，多个波导270、280、290、300、310可以被配置为输出设置到相同深度平面的图像，或者波导270、280、290、300、310的多个子集可以被配置为输出设置到相同的多个深度平面的图像，其中对于每个深度平面设置一组。这可以提供用于形成平铺图像以在那些深度平面处提供扩大的视野的优点。
继续参考图6，出耦合光学元件570、580、590、600、610可以被配置为既将光重定向到其相应的波导之外，并且针对与波导相关联的特定深度平面以适当的发散或准直量输出该光。结果，具有不同的相关联深度平面的波导可以具有出耦合光学元件570、580、590、600、610的不同配置，其取决于相关联的深度平面以不同的发散量输出光。在一些实施例中，光提取光学元件570、580、590、600、610可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件570、580、590、600、610可以是体积全息图、表面全息图和/或衍射光栅。在一些实施例中，特征320、330、340、350可以不是透镜；相反，它们可以简单地是间隔物(例如，用于形成气隙的包层和/或结构)。
在一些实施例中，出耦合光学元件570、580、590、600、610是形成衍射图案的衍射特征，或者是“衍射光学元件”(在此也称为“DOE”)。优选地，DOE具有足够低的衍射效率，使得光束的仅一部分在DOE的每个相交处被偏转出朝向眼睛210，而其余的继续经由TIR移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，该光束在多个位置处离开波导，并且结果是对于在波导内弹跳(bounce)的该特定准直光束，朝向眼睛210的出射的图案相当均匀。
在一些实施例中，一个或多个DOE可以在它们主动衍射的“开”状态和它们没有明显衍射的“关”状态之间切换。例如，可切换DOE可以包含聚合物分散的液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以切换为与主体材料的折射率基本上匹配(在该情况下，该图案不会明显地衍射入射光)，或者可以将微滴切换到与主体介质的折射率不匹配的折射率(在该情况下，该图案主动衍射入射光)。
在一些实施例中，可以提供相机组件630(例如，包括可见光和红外光相机的数字相机)以捕获眼睛210和/或眼睛210周围的组织的图像，以例如检测用户输入和/或监视用户的生理状态。如在此所使用的，相机可以是任何图像捕获设备。在一些实施例中，相机组件630可包括图像捕获设备和以将光(例如，红外光)投射到眼睛的光源，然后该光可被眼睛反射并由图像捕获设备检测。在一些实施例中，相机组件630可以附接到框架80(图9D)，并且可以与处理模块140和/或150电连通，该处理模块140和/或150可以处理来自相机组件630的图像信息。在一些实施例中，一个相机组件630可以用于每只眼睛，以分别监视每只眼睛。
现在参考图7，示出了由波导输出的出射光束的示例。示出了一个波导，但是应当理解，波导组件260(图6)中的其它波导可以类似地起作用，其中波导组件260包括多个波导。光640在波导270的输入表面460处注入到波导270中，并通过TIR在波导270内传播。在光640入射在DOE 570上的点处，光的一部分作为出射光束650离开波导。出射光束650示为基本上平行，但是，如在此所述，取决于与波导270相关联的深度平面，它们还可以被重定向以一定角度传播到眼睛210(例如，形成发散的出射光束)。应当理解，基本上平行的出射光束可以指示具有出耦合光学元件的波导，该出耦合光学元件将光出耦合以形成看起来被设置在距眼睛210很大距离(例如，光学无限远)处的深度平面上的图像。其它波导或其它组出耦合光学元件可能会输出更发散的出射光束图案，该图案将需要眼睛210适应更近的距离以将其聚焦在视网膜上，并且将由大脑解释为光来自比光学无限远更靠近眼睛210的距离。
在一些实施例中，可以通过在诸如三个或更多个分量颜色的每个分量颜色中覆盖图像来在每个深度平面处形成全色图像。图8示出了堆叠波导组件的示例，其中每个深度平面包括使用多个不同分量颜色形成的图像。所示的实施例示出了深度平面240a-240f，但是也可以考虑更多或更少的深度。每个深度平面可以具有与其相关联的三个或更多个分量颜色图像，包括：第一颜色G的第一图像；第二颜色R的第二图像；以及第三颜色B的第三图像。在图中，不同的深度平面由字母G、R和B之后的屈光度(dpt)的不同数字表示。作为示例，这些字母中的每个字母之后的数字都指示屈光度(1/m)或深度平面距观看者的距离的倒数，并且图中的每个框代表单独的分量颜色图像。在一些实施例中，为了解决眼睛对不同波长的光聚焦的差异，针对不同分量颜色的深度平面的确切位置可能会有所不同。例如，针对给定深度平面的不同分量颜色图像可以被放置在与距用户的不同距离对应的深度平面上。此类布置可以增加视觉敏锐度和用户舒适度和/或可以减少色差。
在一些实施例中，每个分量颜色的光可以由单个专用波导输出，并且因此，每个深度平面可以具有与其相关联的多个波导。在此类实施例中，图中的包括字母G、R或B的每个框可以被理解为代表单独的波导，并且每深度平面可以提供三个波导，其中每深度平面提供三个分量颜色图像。尽管为了便于描述，在该图中将与每个深度平面相关联的波导示出为彼此相邻，但是应当理解，在物理设备中，波导可以全部以每个层级一个波导的形式布置在堆叠中。在一些其它实施例中，相同的波导可以输出多个分量颜色，使得例如每深度平面可以仅提供单个波导。
继续参考图8，在一些实施例中，G是绿色，R是红色，并且B是蓝色。在一些其它实施例中，除了红色、绿色或蓝色中的一个或多个之外或可以替代红色、绿色或蓝色中的一个或多个，可以使用与其它波长的光相关联的其它颜色，包括品红色和青色。
应当理解，在整个本公开中，对给定颜色的光的引用将被理解为涵盖被观看者感知为给定颜色的光的波长范围内的一个或多个波长的光。例如，红光可以包括在约620-780nm范围内的一个或多个波长的光，绿光可以包括在约492-577nm范围内的一个或多个波长的光，并且蓝光可以包括在约435-493nm范围内的一个或多个波长的光。
在一些实施例中，光源530(图6)可以被配置为发射观看者的视觉范围之外的一个或多个波长的光，例如，红外和/或紫外波长。另外，显示器250的波导的入耦合、出耦合和其它光重定向结构可以被配置为将该光朝向用户的眼睛210引导并发射出显示器，例如，用于成像和/或用户刺激应用。
现在参考图9A，在一些实施例中，可能需要重定向撞击到波导上的光以将该光入耦合到波导中。入耦合光学元件可以用于将光重定向并入耦合到其对应的波导中。图9A示出了多个堆叠波导或堆叠波导组660的示例的横截面侧视图，每个堆叠波导包括入耦合光学元件。波导可以各自被配置为输出一种或多种不同波长或一种或多种不同波长范围的光。应当理解，除了来自图像注入设备360、370、380、390、400中的一个或多个图像注入设备的光从需要将光重定向以入耦合的位置注入到波导中之外，堆叠660可以对应于堆叠260(图6)，并且堆叠660的所示波导可以对应于多个波导270、280、290、300、310的一部分。
所示的堆叠波导组660包括波导670、680和690。每个波导包括相关联的入耦合光学元件(其也可以称为波导上的光输入区域)，例如，设置在波导670的主表面(例如，上主表面)上的入耦合光学元件700、设置在波导680的主表面(例如，上主表面)上的入耦合光学元件710，以及设置在波导690的主表面(例如，上主表面)上的入耦合光学元件720。在一些实施例中，入耦合光学元件700、710、720中的一个或多个可以设置在相应的波导670、680、690(特别是一个或多个入耦合光学元件是反射的偏转光学元件的情况)的底部主表面上。如图所示，入耦合光学元件700、710、720可设置在它们相应的波导670、680、690(或下一个较低的波导的顶部)的上主表面上，特别是那些入耦合光学元件是透射的偏转光学元件的情况。在一些实施例中，入耦合光学元件700、710、720可设置在相应的波导670、680、690的主体中。在一些实施例中，如在此所讨论的，入耦合光学元件700、710、720是波长选择性的，使得它们选择性地重定向一个或多个波长的光，同时透射其它波长的光。虽然在它们相应的波导670、680、690的一侧或角上示出，但是应当理解，在一些实施例中，入耦合光学元件700、710、720可以设置在其相应的波导670、680、690的其它区域中。
如图所示，入耦合光学元件700、710、720可以在横向上彼此偏移。在一些实施例中，每个入耦合光学元件可以被偏移，使得其接收光而该光不穿过另一入耦合光学元件。例如，如图6中所示，每个入耦合光学元件700、710、720可被配置为从不同的图像注入设备360、370、380、390和400接收光，并且可以与其它入耦合光学元件700、710、720分离(例如，横向间隔开)，使得它基本上不从入耦合光学元件700、710、720中的其它入耦合光学元件接收光。
每个波导还包括相关联的光分配元件，例如，设置在波导670的主表面(例如，顶部主表面)上的光分配元件730、设置在波导680的主表面(例如，顶部主表面)上的光分配元件740，以及设置在波导690的主表面(例如，顶部主表面)上的光分配元件750。在一些其它实施例中，光分配元件730、740、750可分别设置在相关联波导670、680、690的底部主表面上。在一些其它实施例中，光分配元件730、740、750可以分别设置在相关联波导670、680、690的顶部主表面和底部主表面二者上；或光分配元件730、740、750可以分别设置在不同的相关联的波导670、680、690中的顶部主表面和底部主表面中的不同主表面上。
波导670、680、690可以例如由气体、液体和/或固体材料层间隔开并分离。例如，如图所示，层760a可以分离波导670和680；并且层760b可以分离波导680和690。在一些实施例中，层760a和760b由低折射率材料(也就是说，具有比形成波导670、680、690中的紧邻波导的材料的折射率低的材料)形成。优选地，形成层760a、760b的材料的折射率是形成波导670、680、690的材料的折射率的0.05或更大，或者是0.10或更小。有利地，较低折射率层760a、760b可以用作包层，该包层有助于通过波导670、680、690的光的全内反射(TIR)(例如，每个波导的顶部和底部主表面之间的TIR)。在一些实施例中，层760a、760b由空气形成。尽管未示出，但是应当理解，所示出的波导组660的顶部和底部可以包括紧邻的包层。
优选地，为了易于制造和其它考虑，形成波导670、680、690的材料相似或相同，并且形成层760a、760b的材料相似或相同。在一些实施例中，在一个或多个波导之间，形成波导670、680、690的材料可以是不同的，和/或形成层760a、760b的材料可以是不同的，同时仍保持上述各种折射率关系。
继续参考图9A，光线770、780、790入射在该波导组660上。应当理解，可以通过一个或多个图像注入设备360、370、380、390、400(图6)将光线770、780、790注入波导670、680、690中。
在一些实施例中，光线770、780、790具有不同的特性，例如，不同的波长或不同的波长范围，其可以对应于不同的颜色。入耦合光学元件700、710、720每个使入射光偏转，使得光通过TIR传播通过波导670、680、690中的相应波导。在一些实施例中，入耦合光学元件700、710、720每个选择性地偏转一个或多个特定波长的光，同时将其它波长透射到下面的波导和相关联的入耦合光学元件。
例如，入耦合光学元件700可以被配置为使具有第一波长或波长范围的光线770偏转，同时透射分别具有不同的第二和第三波长或波长范围的光线780和790。透射光线780撞击到入耦合光学元件710上并由其偏转，该入耦合光学元件710被配置为使第二波长或波长范围的光偏转。光线790由入耦合光学元件720偏转，该入耦合光学元件720被配置为选择性地偏转第三波长或波长范围的光。
继续参考图9A，偏转的光线770、780、790被偏转，使得它们传播通过对应的波导670、680、690；也就是说，每个波导的入耦合光学元件700、710、720将光偏转到对应的波导670、680、690中，以将光入耦合到对应的波导中。光线770、780、790以使光通过TIR传播通过相应波导670、680、690的一定角度偏转。光线770、780、790通过TIR传播通过相应的波导670、680、690，直到撞击到波导的对应的光分配元件730、740、750上。
现在参考图9B，示出了图9A的多个堆叠的波导的示例的视角。如上所述，入耦合的光线770、780、790分别由入耦合光学元件700、710、720偏转，并且然后通过TIR分别在波导670、680、690内传播。然后，光线770、780、790分别撞击在光分配元件730、740、750上。光分配元件730、740、750使光线770、780、790偏转，使得它们分别朝向出耦合光学元件800、810、820传播。
在一些实施例中，光分配元件730、740、750是正交光瞳扩展器(OPE)。在一些实施例中，OPE将光偏转或分配到出耦合光学元件800、810、820，并且在一些实施例中，当光传播到出耦合光学元件时，还可以增加该光的光束或光斑大小。在一些实施例中，可以省略光分配元件730、740、750，并且可以将入耦合光学元件700、710、720配置为将光直接偏转到出耦合光学元件800、810、820。例如，参考图9A，光分配元件730、740、750可以分别用出耦合光学元件800、810、820代替。在一些实施例中，出耦合光学元件800、810、820是将光引导到观看者的眼睛210中的出射光瞳(EP)或出射光瞳扩展器(EPE)(图7)。应当理解，OPE可被配置为在至少一个轴上增加眼箱的尺寸，而EPE可被配置为在与OPE的轴相交(例如，正交)的轴线上增加眼箱。例如，每个OPE可被配置为将撞击OPE的光的一部分重定向到相同波导的EPE，同时允许光的其余部分继续沿波导向下传播。再次撞击在OPE上时，其余光的另一部分被重定向到EPE，并且该部分的其余部分继续沿波导向下进一步传播，依此类推。同样，在撞击EPE时，撞击的光的一部分从波导朝向用户向外引导，并且该光的其余部分继续传播通过波导，直到再次撞击EP，此时，撞击的光的另一部分被引导出波导，依此类推。因此，每次通过OPE或EPE重定向该光的一部分时，都可以“复制”单个入耦合光束，从而形成克隆光束的场，如图6中所示。在一些实施例中，OPE和/或EPE可以被配置为修改光束的大小。
相应地，参考图9A和图9B，在一些实施例中，该波导组660包括波导670、680、690；入耦合光学元件700、710、720；光分配元件(例如OPE)730、740、750；以及每个分量颜色的出耦合光学元件(例如EP)800、810、820。波导670、680、690可以以每个波导之间的气隙/包层堆叠。入耦合光学元件700、710、720将入射光(具有接收不同波长的光的不同的入耦合光学元件)重定向或偏转到其波导中。然后，光以一定角度传播，该角度将导致相应的波导670、680、690内的TIR。在所示示例中，光线770(例如，蓝光)由第一入耦合光学元件700偏转，并且然后继续以先前描述的方式沿波导向下反弹，与光分配元件(例如，OPE)730以及然后与出耦合光学元件(例如，EP)800相互作用。光线780和790(例如，分别为绿色和红色)将穿过波导670，光线780撞击在入耦合光学元件710上并由入耦合光学元件710偏转。然后，光线780经由TIR沿波导680向下反弹，继续进行到其光分配元件(例如，OPE)740，以及然后进行到出耦合光学元件(例如，EP)810。最后，光线790(例如，红光)穿过波导690撞击到波导690的光入耦合光学元件720上。光入耦合光学元件720使光线790偏转，使得光线通过TIR传播到光分配元件(例如，OPE)750，并且然后通过TIR传播到出耦合光学元件(例如，EP)820。然后，出耦合光学元件820最终将光线790出耦合到观看者，该观看者还从其它波导670、680接收出耦合光。
图9C示出了图9A和图9B的多个堆叠的波导的示例的俯视平面图。如图所示，波导670、680、690以及每个波导的相关联的光分配元件730、740、750和相关联的出耦合光学元件800、810、820可以垂直对齐。然而，如在此所述，入耦合光学元件700、710、720不是垂直对齐的；相反，入耦合光学元件优选地是非重叠的(例如，如在俯视平面图中所见，横向地间隔开)。如在此进一步讨论的，该非重叠的空间布置有利于将来自不同资源的光一对一地注入到不同的波导中，从而允许将特定的光源唯一地耦合到特定波导。在一些实施例中，包括非重叠的空间分离的入耦合光学元件的布置可以被称为移位光瞳系统，并且这些布置内的入耦合光学元件可以对应于子光瞳。
图9D示出了可穿戴显示系统60的示例，可将在此所公开的各种波导和相关系统集成到该显示系统60中。在一些实施例中，显示系统60是图6的系统250，图6示意性地更详细地示出了该系统60的一些部分。例如，图6的波导组件260可以是显示器70的一部分。
继续参考图9D，显示系统60包括显示器70，以及支持该显示器70的功能的各种机械和电子模块和系统。显示器70可以耦合至框架80，该框架80可由显示系统用户或观看者90穿戴，并且被配置为将显示器70定位在用户90的眼睛前面。在一些实施例中，显示器70可以被认为是眼镜。在一些实施例中，扬声器100耦合到框架80，并且被配置为定位在用户90的耳道附近(在一些实施例中，未示出的另一扬声器可以可选地定位在用户的另一耳道附近，以提供立体声/整形的声音控制)。显示系统60还可包括一个或多个麦克风110或检测声音的其它设备。在一些实施例中，麦克风被配置为允许用户向系统60提供输入或命令(例如，语音菜单命令的选择、自然语言问题等)，和/或可以允许与其他人(例如与相似显示系统的其他用户)的音频通信。麦克风可以进一步被配置为外围传感器以收集音频数据(例如，来自用户和/或环境的声音)。在一些实施例中，显示系统60可进一步包括一个或多个向外定向的环境传感器112，该环境传感器112被配置为检测用户周围的光、对象、刺激、人、动物、位置或世界的其它方面。例如，环境传感器112可以包括一个或多个相机，该相机可以例如面向外定位以便捕获与用户90的普通视野的至少一部分类似的图像。在一些实施例中，显示系统还可以包括外围传感器120a，该外围传感器120a可以与框架80分离并附接到用户90的身体(例如，用户90的头部、躯干、四肢上等)。在一些实施例中，外围传感器120a可以被配置为获得表征用户90的生理状态的数据。例如，传感器120a可以是电极。
继续参考图9D，显示器70通过通信链路130(诸如通过有线导线或无线连接)可操作地耦合到本地数据处理模块140，该本地数据处理模块140可以以各种配置安装，诸如固定地附接到框架80，固定地附接到用户佩戴的头盔或帽子，嵌入耳机中，或者以其它方式可移除地附接到用户90(例如，以背包式配置、以皮带耦合式配置)。类似地，传感器120a可以通过通信链路120b(例如，有线导线或无线连接)可操作地耦合到本地处理器和数据模块140。本地处理和数据模块140可以包括硬件处理器以及数字存储器，诸如非易失性存储器(例如，闪存或硬盘驱动器)，二者均可以用于辅助数据的处理、缓存和存储。可选地，本地处理器和数据模块140可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。数据可以包括如下数据：a)从传感器(例如，可以可操作地耦合到框架80或以其它方式附接到用户90)捕获的，诸如图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线设备、陀螺仪和/或在此公开的其它传感器；和/或b)使用远程处理模块150和/或远程数据存储库160(包括与虚拟内容有关的数据)获得和/或处理的，可能在此类处理或取得之后传递给显示器70。本地处理和数据模块140可以由通信链路170、180，诸如经由有线或无线通信链路，可操作地耦合到远程处理模块150和远程数据存储库160，使得这些远程模块150、160可操作地彼此耦合，并可用作本地处理和数据模块140的资源。在一些实施例中，本地处理和数据模块140可以包括一个或多个图像捕获设备、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线设备和/或陀螺仪。在一些其它实施例中，这些传感器中的一个或多个传感器可以附接到框架80，或者可以是通过有线或无线通信路径与本地处理和数据模块140通信的独立结构。
继续参考图9D，在一些实施例中，远程处理模块150可以包括被配置为分析和处理数据和/或图像信息的一个或多个处理器，例如包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)、专用处理硬件等。在一些实施例中，远程数据存储库160可以包括数字数据存储设施，该数字数据存储设施可以通过互联网或“云”资源配置中的其它网络配置而可用。在一些实施例中，远程数据存储库160可以包括一个或多个远程服务器，该远程服务器向本地处理和数据模块140和/或远程处理模块150提供信息，例如用于生成增强现实内容的信息。在一些实施例中，所有数据都存储在本地处理和数据模块中，并且所有计算都在本地处理和数据模块中执行，从而允许从远程模块完全自主地使用。可选地，包括CPU、GPU等的外部系统(例如，一个或多个处理器、一个或多个计算机的系统)可以执行至少一部分处理(例如，生成图像信息、处理数据)，并且例如经由无线或有线连接向模块140、150、160提供信息，以及从模块140、150、160接收信息。
I.基于深度信息调节质量
如在此所述，根据各种实施例的显示系统(例如，增强现实显示系统，诸如图9D的显示系统60)可以例如通过监视用户的眼睛来确定用户的三维注视点。注视点可以指示该点在空间中沿(1)x轴(例如，横轴)、(2)y轴(例如，纵轴)以及(3)z轴(例如，点的深度，例如距用户的深度)的位置。在一些实施例中，显示系统可以利用相机、传感器等来监视用户的眼睛(例如，每只眼睛的瞳孔、角膜等)，以确定每只眼睛的凝视。每只眼睛的凝视可以理解为是矢量，该矢量通常从那只眼睛的视网膜的中心延伸通过眼睛的晶状体。例如，矢量通常可以从黄斑(例如，中央凹)的中心延伸通过眼睛的晶状体。显示系统可以被配置为确定与眼睛相关联的矢量在哪里相交，并且该相交点可以被理解为眼睛的注视点。换句话说，注视点可以是用户眼睛在其上凝视的三维空间中的位置。在一些实施例中，显示系统可以例如在快速运动期间(例如，扫视、微扫视)过滤用户的眼睛的小运动，并且可以在确定眼睛注视在三维空间中的位置上时更新注视点。例如，显示系统可以被配置为在小于阈值的持续时间内忽略注视在一个点上的眼睛的运动。
如在此所讨论的，可以基于与注视点的接近度来调节由显示系统呈现的内容(诸如虚拟对象或内容)的分辨率。应当理解，显示系统可以已经在其中存储或可以访问关于虚拟对象在三维空间中的位置的信息。基于虚拟对象的已知位置，可以确定给定虚拟对象到注视点的接近度。例如，可以通过确定以下中的一项或多项来确定虚拟对象到注视点的接近度：(1)虚拟对象距用户的注视点的三维距离；(2)在显示系统的显示平截体被划分为分辨率调节区域的情况下，则相对于注视点所在的分辨率调节区域，虚拟对象所在的分辨率调节区域；以及(3)虚拟对象与用户凝视之间的角度间隔。与远离注视点的内容相比，可以以更高的分辨率呈现在接近度上更靠近注视点的虚拟内容。在一些实施例中，虚拟内容的分辨率取决于其上设置了虚拟内容的深度平面与注视点或其上设置了注视点的深度平面的接近度而改变。在一些实施例中，可以通过渲染引擎，例如包括在一个或多个图形处理单元中(诸如在一个或多个模块140、150中(图9D))的渲染引擎，来对分辨率进行调节。
图10A示出了观看由显示系统(例如，图9D的显示系统60)呈现的内容(例如，显示平截体1004中包括的内容)的用户的俯视平面图的表示的示例。该表示包括用户的眼睛210、220以及对眼睛210、220的注视点1006的确定。如图所示，每只眼睛的凝视被表示为矢量(例如，矢量1003A、1003B)，并且显示系统已经通过例如确定那些矢量在眼睛210、22前面会聚的位置检测到注视点1006。在所示的示例中，注视点1006与显示系统呈现的第一虚拟对象1008A的位置重合。用于眼睛跟踪的系统和方法的示例可以在2015年4月18日提交的美国申请号14/690,401中找到，该申请出于所有目的以引用方式并入在此；以及在附录中找到。例如，眼睛跟踪系统和方法至少在附录的图25-27中进行了描述，并且可以至少部分地用于眼睛跟踪和/或确定在此所述的注视点。
继续参考图10A，第二虚拟对象1008B也由显示系统在显示的平截体1004中显示。观看者看到的这些虚拟对象1008A、1008B的视图显示在渲染帧1010中。渲染帧1010可包括以第一分辨率渲染的第一虚拟对象1008A，而远离注视点1006的第二虚拟对象1008B以第二较低的分辨率渲染。具体地，第二虚拟对象1008B可以被确定为位于比第一虚拟对象1008A更大的深度并且朝向第一虚拟对象1008A的一侧定位。例如，如在此所讨论的，显示系统可以确定第二虚拟对象1008B的深度，或者可选地，与虚拟内容相关联的内容提供者可以指示显示系统可以用来渲染该虚拟对象的虚拟对象的深度。因此，如上所述，注视点1006描述了用户正看着的空间中的三维位置，并且第二虚拟对象1008B可以被确定为位于距用户更远的深度，并且从注视点1006横向移位。
不受限于理论，据信随着用户的眼睛210、220看着第一虚拟对象1008A，第一虚拟对象1008A的图像可能落在用户的中央凹上，而第二虚拟对象1008B的图像可能不落在中央凹上。结果，由于人类视觉系统对该第二虚拟对象1008B的较低敏感度，第二虚拟对象1008B可以在分辨率上降低，而不会显著影响显示系统的感知图像质量。另外，较低的分辨率有利地减少了提供图像所需的计算负荷。如在此所讨论的，渲染第二虚拟对象1008B的分辨率可以基于与注视点1006的接近度，并且分辨率的降低(例如，相对于第一虚拟对象1008A的分辨率)可以随着注视点1006与虚拟对象1008A之间的接近度减小(或距离增大)而增加。在一些实施例中，分辨率的降低速率可以与人眼中视锥密度的降低速率或远离中央凹的视敏度下降一致。
应当理解，由显示系统呈现的各种虚拟对象的分辨率可以随着注视点改变位置而动态地变化。例如，图10B示出了观看由显示系统呈现的内容的用户的俯视平面图的表示的另一示例。与用户聚焦在第一虚拟对象1008A上的图10A相比，如图10B中所示，用户现在聚焦在第二虚拟对象1008B上。通过监视用户的注视1003A、1003B，显示系统确定眼睛210、220正注视在第二虚拟对象1008B上，并将该位置设置为新的注视点1006。
在检测到注视点1006的位置的该变化时，显示系统现在以比第一虚拟对象1008A更大的分辨率来渲染第二虚拟对象1008B，如渲染帧1010所示。优选地，显示系统以足够高的频率监视用户的凝视1003A、1003B，并足够快地改变虚拟对象的分辨率，以使用户基本上感知不到第一虚拟对象1008A和第二虚拟对象1008B的分辨率的过渡。
图10C示出了经由显示系统(例如，图9D的显示系统60)观看内容的用户的俯视平面图的表示的另一示例。在该示例中，示出了用户的视野1004以及注视点1006。示出了三个虚拟对象，其中第一虚拟对象1012A比第二虚拟对象1012B或第三虚拟对象1012C在接近度上更靠近注视点1006。类似地，第二虚拟对象1012B被示为比第三虚拟对象1012C在接近度上更靠近注视点1006。因此，当虚拟对象1012A-1012C被呈现给用户时，显示系统可以分配资源，使得渲染第一虚拟对象1012A给予比第二虚拟对象1012B更大的资源分配(例如，以更大的分辨率渲染对象1012A)，并且第二虚拟对象1012B接收比第三虚拟对象1012C更大的资源分配。第三虚拟对象1012C可以可选地根本不渲染，因为它在视野1004之外。
在图10C的示例中示出了分辨率调节区域，其中该区域是沿深度和横轴描述的椭圆(例如，圆形)。如图所示，注视点1006在中心区域1014A内，第一虚拟对象1012A在区域1014B、1014C之间以及用户的中央凹视锥1004a内延伸。因此，可以以与区域1014B或1014C相关联的分辨率向用户呈现第一虚拟对象1012A，或者可选地，可以根据区域1014B的分辨率来呈现区域1014B内的对象1012A的一部分，并且可以根据区域1014C的分辨率来呈现区域1014C内的其余部分。例如，在为区域分配从最大(例如，最高)分辨率减小的分辨率的实施例中，可以以分配的分辨率呈现第一虚拟对象1012A。可选地，第一虚拟对象1012A可以以分辨率(例如，显示系统可以被编程为以与第一虚拟对象1012A所延伸的任何区域相关联的最高分辨率显示)或分辨率的集中趋势的量度(例如，可以根据对象1012A位于区域1014B、1014C内的程度对度量进行加权)来呈现。继续参考图10C，将理解，距注视点1006不同距离处的分辨率调节区域可以具有不同的形状。例如，区域1014C可以具有与区域1014A-1014C不同的形状，并且符合视野1004的轮廓。在一些其它实施例中，一个或多个区域1014A-1014C可以具有与一个或多个其它区域1014A-1014C不同的形状。
图10D是示例显示系统的框图。示例显示系统(例如，图9D的显示系统60)可以是增强现实显示系统和/或混合现实显示系统，其可以根据在此所述的用户的注视点来调节渲染硬件资源的使用。例如，如以上关于图10C所述，可以根据用户的注视点来调节渲染硬件资源1021。可以实现资源仲裁器1020以调节此类资源1021的使用，例如，仲裁器1020可以将资源1021分配给与向用户呈现虚拟对象相关联的特定应用进程1022。资源仲裁器1020和/或渲染硬件资源1021可以可选地包括在显示系统60的本地处理和数据模块140(例如，如图9D中所示)和/或远程处理模块150中。例如，渲染硬件资源1021可以包括图形处理单元(GPU)，该图形处理单元(GPU)可以被包括在如上面关于图9D所述的模块140和/或模块150中。
作为调节资源1021的示例，并且相对于图10C，与与第二应用进程相关联的第二虚拟对象1012B相比，与第一应用进程相关联的第一虚拟对象1012A可以被分配资源1021的更大份额。可以基于分配的资源1021来渲染与应用进程1022相关联的虚拟对象，并且将其包括在帧缓冲器1024中以被合成(例如，通过合成器1026)到最终帧缓冲器1028中。然后可以由显示硬件1030(例如，图9D所示的显示器70)呈现最终帧缓冲器1028，其中所渲染的虚拟对象的分辨率被调节。
如在此所公开的，可以基于虚拟对象与注视点的接近度来确定虚拟对象的分辨率。在一些实施例中，分辨率可以修改为虚拟对象和注视点之间的距离的函数。在一些实施例中，修改可以以离散步骤进行；也就是说，可以将类似的修改应用于布置在特定体积或区域中的所有虚拟对象。图11A1示出了基于三维注视点跟踪，在不同分辨率调节区域中的分辨率调节的俯视平面图的表示的示例。显示系统可以将显示平截体分为多个体积或分辨率调节区域，并以与这些区域相对应的离散步骤来修改分辨率。因此，在一些实施例中，为了确定虚拟内容的分辨率的调节，显示系统可以利用描述空间的体积的信息(在下面称为分辨率调节区域)，以及对每个空间体积的分辨率调节的分配。如图所示，由显示系统提供的视野(例如，显示器的显示平截体)被分成多个不同的区域，每个区域涵盖距用户的深度范围(例如，深度范围1102A-1102E)。在一些实施例中，每个深度范围1102A-1102E具有可由显示系统呈现的单个相关联的深度平面。继续参考图11A1，五个区域涵盖距用户的每个识别的深度范围，并沿横向方向连续。在所示的示例自顶而下的视图中，视野被分为25个区域的网格1100。每个区域代表可以在其中放置虚拟内容以供用户使用的真实世界空间的体积。
应当理解，区域也可以在垂直方向上延伸(例如，沿y轴，未示出)，使得示出的网格1100可以理解为表示沿该垂直方向的一个横截面。在一些实施例中，还在垂直方向中提供多个区域。例如，每深度范围可能有5个垂直区域，总共有125个分辨率调节区域。在三个维度中延伸的此类区域的示例在图11B中示出，并在下面进行描述。
继续参考图11A1，用户的眼睛210、220注视在网格1100内的特定注视点1006上。显示系统可以确定注视点1006的位置以及注视点1006所在的区域。显示系统可以基于虚拟内容与注视点1006的接近度来调节内容的分辨率，这可以包括确定虚拟内容与注视点1006所在的区域的接近度。作为示例，对于包括在注视点1006所在的区域中的内容，可以将分辨率设置为特定的多边形计数，在该示例中为10000个多边形。基于距注视点1006的距离，可以相应地调节包括在其余区域中的内容。例如，可以以较低的分辨率(例如，1000个多边形)来渲染包括在与包含注视点1006的区域相邻的区域中的内容。作为示例，尽管图11A1的示例示出了调节多边形计数，但是如在此所述，调节分辨率可以包括对所呈现内容的分辨率进行其它修改。例如，分辨率的调节可以包括以下一项或多项：调节多边形计数，调节用于生成虚拟对象的图元(例如，调节图元的形状，例如将图元从三角形网格调节为四边形网格等)，调节对虚拟对象上执行的操作(例如，着色器操作)，调节纹理信息，调节颜色分辨率或深度，调节渲染周期数或帧速率，以及在图形处理单元(GPU)的图形管线内的一个或多个点处调整质量。
另外，尽管图11A1的示例提供了在不同分辨率调节区域中多边形计数的差异的特定示例，但是可以考虑多边形的其它绝对数量以及与距注视点1006的距离的分辨率上的其它变化率。例如，虽然从注视点1006的分辨率的下降可以基于关于距注视点1006的深度和横向距离对称的下降率，但是也可以利用其它下降关系。例如，相对于距注视点1006的深度距离，距注视点1006的横向距离可以与分辨率上更大的下降相关联。此外，在网格中包括的每个区域的大小(例如，区域的空间体积的大小)可以可选地是不同的(例如，区域可以距中央凹轴径向地变化)。在一些实施例中，该下降可以从注视点1006开始连续，使得不利用具有带有包含注视点1006的区域的分配的分辨率或分辨率关系的离散区域。例如，从注视点1006到特定区域1108(例如，以100个多边形的分辨率渲染内容的区域)的下降可以被修改为从注视点1006到网格的边缘(例如，特定区域1108的边缘)的连续下降。应当理解，以上每个考虑因素也适用于在垂直方向上延伸的区域。
在一些实施例中，网格中包括的区域的数量和大小可以基于与确定用户的注视点1006相关联的置信度。例如，置信度可以基于用户的眼睛已经注视在注视点1006上的时间量，较少的时间量与较小的置信度相关联。例如，显示系统可以以特定的采样率(例如，30Hz、60Hz、120Hz、1kHz)监视用户的眼睛，并且随着连续样本指示用户通常正在保持注视点1006，可以增加注视点1006的置信度。可选地，可以利用注视的特定阈值，例如在相同或相似的注视点上特定持续时间(例如，100-300毫秒)内的注视可以与高置信度相关联，而小于特定持续时间可能与较低的置信度相关联。同样，可能会影响确定用户的注视点的眼睛波动(诸如瞳孔扩大等)可能会导致显示系统降低置信度。应当理解，显示系统可以采用诸如相机成像设备(例如，图6的相机组件630)的传感器来监视眼睛。可选地，显示系统可以利用传感器的组合来确定用户的眼睛凝视(例如，可以利用不同的眼睛凝视确定过程，诸如用于检测来自眼睛的红外反射并识别瞳孔的红外传感器、用于检测眼睛的虹膜的可见光成像设备等)。当多个眼睛凝视确定过程一致时，显示系统可以增加置信度，并且如果它们不一致，则可以降低置信度水平。类似地，对于仅执行眼睛凝视确定过程中的一个眼睛凝视确定过程的显示系统，每个眼睛凝视确定过程可以与特定的置信度水平相关联(例如，一个确定过程可以被认为比其它确定过程更准确)，并且分辨率调节区域的大小可以至少部分地基于所实现的过程来选择。
在一些实施例中，显示系统可以增加或减少用于注视点1006的每次更新的区域的数量。例如，随着与注视点1006相关联的置信度增加，可以利用较多的区域，并且随着置信度降低可以利用较少的区域。图11A2示出了随着区域的大小和数量改变而在不同时间的分辨率调节区域的俯视平面图的表示的示例。在时间t＝1(如在俯视平面图中看)，用户的视野可以分为一组初始区域。在时间t＝2，注视点1006的位置中的置信度增加，并且显示系统还可以减小由注视点1006占据并且以高分辨率渲染的区域的大小。可选地，如图所示，其它区域的大小也可以减小。在时间t＝3，注视点1006的位置中的置信度降低，并且显示系统还可以增加由注视点1006占据并且以高分辨率渲染的区域的大小。可选地，如图所示，其它区域的大小也可以增加。应当理解，多个区域也可以在y轴中延伸，并且也可以在该轴上进行区域的大小和数量的类似增加或减少。例如，在y轴上垂直延伸的区域的大小可以随着置信度的增加而减小，而大小可以随着置信度的减小而增加。可选地，对于由显示系统呈现给用户的每个帧，显示系统可以确定注视点1006的置信度，并且t＝1、t＝2和t＝3可以表示不同的帧。由于分配更多区域可能需要增加计算能力(例如，显示系统可能必须调节更多内容的分辨率，识别其中包括哪些区域内容等)，因此显示系统可以平衡由数量区域的增加所提供的所需计算能力的增加与内容分辨率的潜在降低所提供的计算能力的节省。
再次参考图11A1，在可以将注视点1006设置为位于网格的中心(例如，质心)的意义上，网格可以动态改变。因此，显示系统可以避免确定注视点1006位于网格的顶点上的边缘情况。例如，随着用户的眼睛旋转并且然后注视在空间中的不同三维位置上时，网格可能会随着用户的凝视而类似地移动。
图11B-11E示出了各种分辨率调节区域配置的示例。可以利用未示出的分辨率调节区域的其它形状和配置，并且不应将示例视为穷举性。另外，在一些附图中，为了图示的容易和清楚起见，用户的眼睛210、220可以被图示为与各种分辨率调节区域间隔开。对于所有这些附图，将理解，眼睛210、220可设置在区域的边界处或区域中(例如，参见图11A1)。
图11B示出了图11A1的分辨率调节区域的一部分的三维表示的示例。应当理解，可以将图11A1理解为示出了沿图11B的三维表示的平面11A1-11A1截取的横截面视图，为了图示的清楚起见，图11B省略了图11A1的一些分辨率调节区域。继续参考图11A1，由显示系统提供的视野被分成27个区域。也就是说，视野被分成3个深度范围1102B-1102D，并且在每个深度范围处包括3×3的区域网格，其在该深度范围处横向和垂直地延伸。
所确定的注视点1006被示为处于位于视野中心的区域内。如在此所讨论的，位于包括注视点1006的区域之外的区域内的虚拟对象在分辨率上可以根据距注视点1006区域的距离而降低。由于该区域横向和垂直地延伸，因此分辨率上的降低可能会基于距注视点的分辨率调节区域的横向轴、垂直轴和深度轴(分别为x、y和z轴)上的距离而发生。例如，在一些实施例中，如图11A1中所示，位于区域1108中的虚拟对象可以根据横向距离在分辨率上减小(例如，区域1108包括与包括注视点1006的区域在用户视野中的相同垂直部分，并且可能在相同深度平面上)。
类似于上述，并且类似于下面的图11C-11E中所述的区域，用户的注视点可以可选地保持位于区域的中心(例如，质心)，或者可以相对于用户的视野来固定区域，并且用户的注视点可以位于任何区域内。
图11C示出了分辨率调节区域的配置的另一示例。在该示例中，由显示系统提供的视野被示为分成椭圆形区域，每个椭圆形区域涵盖特定的三维空间体积。类似于图11A1，每个区域(例如，区域1112A-112D)沿横向和深度维度延伸。在一些实施例中，每个区域也延伸以涵盖用户的垂直视野的至少一部分。注视点1006被示出为处于区域的中心处(例如，在区域1112A内)。例如，根据在此所述的技术，位于区域1112A之外的区域内的虚拟对象可以根据距区域1112A的距离在分辨率上降低。例如，区域1112A之外的每个区域可以被分配特定的分辨率，或者可以利用下降来确定分辨率的降低。区域1112D被示为距区域1110A最远的区域，并且分辨率的降低在区域1112D中可能最大。
图11D示出了图11C的分辨率调节区域的三维表示的示例，其中图11C示出了沿平面11C-11C截取的横截面视图。在该示例中，由显示系统提供的视野被示为分成椭圆形区域，每个椭圆形区域涵盖三维空间体积。用户的注视点1006被示出处于用户视野的质心处，并且位于区域1112A内。可选地，图11D可以表示图11C的每个椭圆被转换成椭圆体。在一些实施例中，图11C的区域1112A沿深度和横向方向的大小可以限定图11D的区域1112A沿X和Z轴的主轴的大小。各个区域可以形成同心球体或椭圆体。
图11E示出了图11C的分辨率调节区域的三维表示的另一示例，其中
图11C示出了沿平面11C-11C截取的横截面视图。由显示系统提供的视野被示出分成相似的同心区域的堆叠水平。例如，图11E可表示图11C的椭圆沿垂直方向延伸以产生圆柱体。然后，可以将圆柱体在垂直方向中分开，使得每个圆柱体都涵盖用户垂直视野的一部分。因此，图11E示出了9个圆柱体区域。每个区域另外不包括任何内部区域(例如，椭圆体1112B将涵盖如下的空间体积，该空间体积不包括椭圆体1112A所涵盖的空间体积)。在该示例中，注视点1006被示为处于中心区域1110A内，并且根据在此所述的技术，位于中心区域1110A之外的虚拟对象可以在分辨率上降低。
图12A示出了用于根据与三维注视点的接近度来调节内容的分辨率的示例过程1200的流程图。为了方便起见，过程1200可以被描述为由显示系统(例如，可穿戴显示系统60，其可以包括处理硬件和软件，并且可选地可以向一个或多个计算机或其它处理单元的外部系统提供信息，例如，将处理卸载到外部系统，并从外部系统接收信息)执行。
在框1202处，显示系统确定用户的三维注视点。如上所述，显示系统可以包括传感器，以监视与用户的眼睛相关联的信息(例如，眼睛的取向)。传感器的非穷举列表包括红外传感器、紫外传感器、可见光波长光传感器。传感器可以可选地将红外、紫外和/或可见光输出到用户的眼睛上，并确定从用户的眼睛反射的输出光。作为示例，红外光可以由红外光发射器和红外光传感器输出。应当理解，可以包括光发射器的传感器可以对应于图6的成像设备630。
显示系统可以利用传感器来确定与每只眼睛相关联的凝视(例如，从用户的眼睛延伸的矢量，诸如从中央凹延伸通过眼睛的晶状体的矢量)，以及每只眼睛的凝视的相交。例如，显示系统可以在用户的眼睛上输出红外光，并且可以监视来自眼睛的反射(例如，角膜反射)。眼睛的瞳孔中心(例如，显示系统可以例如通过红外成像确定瞳孔的质心)与来自眼睛的反射之间的矢量可用于确定眼睛的凝视。凝视的相交可以被确定并且被指定为三维注视点。注视点因此可以指示将以全分辨率或最大分辨率渲染内容的位置。例如，基于所确定的凝视，显示系统可以对用户注视的空间中的三维位置进行三角测量。可选地，当确定注视点时，显示系统可以利用与显示系统相关联的取向信息(例如，描述三维空间中的显示系统的取向的信息)。
在框1204处，显示系统获得与正由显示系统呈现或将要呈现给用户的内容相关联的位置信息。在渲染内容以呈现给用户之前(例如，如上所述，经由波导的输出)，显示系统可以获得与要呈现给用户的内容相关联的位置信息。例如，如上所述，可以将虚拟内容呈现给用户，使得该内容看起来位于真实世界中(例如，该内容可以位于用户视野内的不同深度处)。应当理解，显示系统包括或可以访问周围环境的三维地图，该三维地图可以通知该周围环境中任何虚拟内容的位置。参考该地图，显示系统可以访问并提供指定用户视野内虚拟内容的三维位置(例如，如图10A-10B中所示的显示平截体内的位置)的信息。
在框1206处，显示系统调节要显示给用户的虚拟内容的分辨率。显示系统基于其与三维注视点的接近度来调节内容的分辨率。例如，渲染引擎，诸如由渲染内容以呈现给用户的处理设备(例如，中央处理单元、图形处理单元)实现的渲染引擎，可以调节在渲染内容上投入的资源(例如，渲染引擎可以调节内容的分辨率)。
显示系统可以确定要呈现给用户的内容与用户的注视点之间在三维空间中的距离，并可以基于确定的距离来降低内容的分辨率。可以根据下降率(例如，将距离与内容的分辨率相关的连续函数)来确定减少，并且显示系统可以基于连续函数获得分辨率以渲染内容。可选地，显示系统可以确定从内容的质心到注视点的距离，并且可以以基于该距离的分辨率渲染内容。可选地，显示系统可以根据各个部分到注视点的距离，以不同的分辨率渲染相同内容的部分(例如，显示系统可以将内容分成多个部分，并且与较近的部分相比，可以以降低的分辨率渲染另外的部分)。
在一些实施例中，显示系统可以访问可用于将用户的视野(例如，对应于显示平截体)分成区域的信息，每个区域代表其中可以包括内容的空间体积。所访问的信息，例如图11A1中所示的网格，可以指示在渲染要包括在每个区域中的内容时要利用的特定分辨率，其中将三维注视点设置在网格的中心。另外，网格可以指示渲染内容时要利用的分辨率的下降。对于包括在多个区域中的内容(例如，位于两个区域所要求的三维空间中的内容)，显示系统可以可选地调节内容的分辨率以对应于单个区域，或者可选地根据各部分所在的对应区域来调节内容的各部分。
当设置内容的分辨率时，显示系统以全分辨率或最大分辨率渲染位于注视点(例如，与注视点相同的区域)处的内容。最大分辨率可以基于显示系统的硬件和/或软件能够渲染的最大值，同时确保以大于阈值刷新率(例如，60Hz、120Hz)的速率向用户呈现内容，并可选地确保内容以大于聚散速率(例如，大于60ms)和大于适应时间(例如，20ms至100ms)的速度进行更新，以降低分辨率变化的可感知性。显示系统可以基于显示系统的可用资源，例如在显示系统渲染每个帧之前动态地修改最大分辨率。例如，随着将更多的内容呈现给用户，可以降低内容的最大分辨率，从而确保显示系统可以高于降低分辨率变化可感知性所需的阈值速率呈现渲染内容的帧。显示系统可以可选地监视每秒呈现内容的帧，并且可以调节最大分辨率，和/或基于距注视点的距离来调节分辨率下降率，以确保每秒呈现的帧不会降至阈值速率以下。例如，显示系统可以以最大分辨率渲染位于注视点区域中的内容(诸如第一虚拟对象)。代替降低第一虚拟对象的最大分辨率，以确保每秒的帧保持在特定阈值之上，显示系统可以基于距离来动态地提高分辨率的下降率。这样，显示系统可以调节分配给注视点区域之外的每个区域的分辨率。可选地，显示系统可以设置可以在注视点区域之外的每个区域中使用的最小分辨率，并且如果超过了最小分辨率，则可以调节最大分辨率(例如，如果显示系统需要将内容的分辨率降低到低于最小值以保持阈值速率，则显示系统可以降低最大分辨率)。同样，显示系统可降低最大分辨率，而不会降低注视点区域之外区域中内容的分辨率。可选地，显示系统的用户可以指示他/她是否相对于其它内容更偏爱位于注视点附近的内容。
在一些实施例中，并且如将在下面相对于图13-14更详细地描述的，显示系统可以可选地利用内容与用户凝视的角度接近度来调节内容的分辨率。例如，如果特定内容位于注视点所在的区域之外，但是位于用户凝视的阈值接近度内，使得特定内容将落在用户眼睛的中央凹上，则该显示系统可能会导致以更高的分辨率(例如，最大分辨率或大于图11A1中所示网格中指示的分辨率)渲染特定内容。可选地，显示系统可以减小特定内容的分辨率，并且向特定内容施加模糊处理(例如，高斯模糊)。以该方式，特定内容可以以较低的分辨率渲染，同时被模糊以表示特定内容例如比注视点更远离用户。另外，模糊可降低较低分辨率的可感知性(例如，模糊可降低由于较低分辨率而引起的像素大小增加的可感知性)。
与呈现虚拟内容相关联的示例操作在图12B-12C(例如，渲染管线)中示出。在图12B的示例中，向用户呈现三维场景，而无需如在此所述对分辨率进行调节。在图12C中，如在此所述，根据注视点信息来执行对分辨率的调节。例如，可以执行以下一项或多项调节：降低顶点操作复杂度，降低细节的镶嵌(tessellation)水平，减少几何图形生成，降低像素操作复杂度/多个像素的聚集等。如图所示，调节可以有利地在管线内的不同步骤处执行以呈现虚拟内容，并且可以根据用于呈现虚拟内容的特定软件和/或硬件进行优化。应当理解，图12C中所示的保真度区域是分辨率调节区域。
再次参考图12A，在框1208处，显示系统向用户呈现调节的内容。如上所述，显示系统已基于与三维注视点的接近度来调节内容的分辨率。随后，显示系统在关联位置处向用户呈现渲染的内容。在一些实施例中，显示系统可以对要渲染的内容的每一帧执行过程1200，或者可以在用户调节他/她的注视点时调节内容的分辨率。
如上所述，在一些实施例中，虚拟对象可以在用户的视线之内，同时也可以在不同的深度处呈现。图13示出了用户观看与用户视线对齐的多个虚拟对象的表示的示例。该示例表示包括用户的视野(例如，显示系统的显示平截体1004)以及用户的眼睛210、220的凝视1003A、1003B，其注视在第一虚拟对象1008A上的注视点处。
如图所示，第二虚拟对象1008B处于用户的凝视(例如，凝视矢量1003A、1003B中的一个或二者)的角度接近度内，使得第二虚拟对象1008B将落在用户的中央凹上(例如，落在任一只眼睛的至少一个中央凹上)。例如，在渲染帧1110时，第二虚拟对象1008B位于第一虚拟对象1008A的后面(例如，距第一虚拟对象1008A更大的感知深度处)。应当理解，中央凹是视网膜的具有最高视敏度的部分。由于第二虚拟对象1008B将落在用户的中央凹上，因此如果第二虚拟对象1008B的分辨率降低(例如，如上所述，至少关于图11A1降低)，则用户可以感知到分辨率的降低。为了避免分辨率的可感知降低，显示系统可以(1)使第二虚拟对象1008B以与第一虚拟对象1008A相同的分辨率或在第一虚拟对象1008A的阈值分辨率内进行渲染，和/或(2)使第二虚拟对象1008B以降低的分辨率(例如，如图11A1中所示)被渲染，并且在呈现给用户之前对第二虚拟对象施加模糊。不受理论的限制，模糊可以掩盖分辨率的降低，同时提供深度线索。
图14是用于基于距用户凝视的角距离来调节虚拟内容的过程1400的示例的流程图。为了方便起见，过程1400将被描述为由显示系统(例如，可穿戴显示系统60，其可以包括处理硬件和软件，并且可选地可以向一个或多个计算机或其它处理单元的外部系统提供信息，例如，将处理卸载到外部系统，并从外部系统接收信息)执行。在示例过程1400中，显示系统是可变焦点显示系统，其中，每个帧被呈现在相同的深度平面上，并且可选地，所有要呈现的内容被折叠到单个帧缓冲器中；也就是说，可变焦点显示系统一次在一个深度平面上呈现虚拟内容。
显示系统确定用户的三维注视点(框1402)并获得与所呈现的内容相关联的位置信息(框1404)。框1402和1404可以分别对应于图12A的框1202和1204。如以上参考图12A所述，显示系统监视用户的眼睛运动(例如，眼睛取向)并确定用户的注视点。显示系统可以获得要呈现的内容的位置信息(例如，在下一帧中)，并且可以随后调节内容的分辨率。
继续参考图14，显示系统确定要降低分辨率的内容并且该内容位于距用户凝视的阈值角度距离内(框1406)。显示系统识别由于内容距注视点的接近度而将要降低分辨率的内容(例如，内容位于比注视点更大的深度处)，但是会落在用户的中央凹上(例如，落在用户凝视的阈值角度内)。由于内容将落在用户的中央凹上，因此用户可以能够感知分辨率的降低，如在此所述的三维注视点凹式(foveate)渲染。应当理解，内容框1406可以包括执行图12C所示的框，特别是在“GPU”部分中识别的框。
因此，在框1408处，显示系统可以可选地使所确定的内容以更大的分辨率渲染。显示系统可以将确定的内容的分辨率调节为全分辨率(例如，以与位于注视点处、或与注视点相同的区域或空间体积之内的内容相同的分辨率)或大于要以其它方式分配给内容的降低的分辨率(例如，如框1406中所述)。
在框1410处，显示系统可以可选地降低内容的分辨率，并且可以在将内容呈现给用户之前使内容模糊。如上所述，可变焦距显示系统可以利用单个显示缓冲器来向用户呈现内容。由于可变焦距显示系统在相同深度平面处呈现所有内容，因此可变焦距显示系统可利用相同的显示缓冲器来例如从渲染引擎输出内容。
可选地，显示系统可以利用初始深度缓冲器，其中每个深度缓冲器被分配一个或多个深度平面，并且可以组合初始深度缓冲器以获得显示缓冲器。参考图13的图示，第一深度缓冲器可以包括第一虚拟对象1306，而第二深度缓冲器可以包括第二虚拟对象1308。然后，显示系统可以将模糊处理应用于第二深度缓冲器，或者应用于第二深度缓冲器中包括的特定内容(例如，显示系统可以将模糊处理应用于第二虚拟内容1308，但是不应用于位于相同深度平面上但距用户的凝视处于另一角度距离的其它内容)。在执行模糊处理之后，显示系统可以组合第一深度缓冲器和第二深度缓冲器(例如，显示系统可以添加遮挡，例如，移除由于第一虚拟对象1306的遮挡而不可见的第二虚拟对象1308的一部分)，以获得显示缓冲器。
示例模糊处理可以包括显示系统对内容执行与模糊相关联的核(例如，高斯核，诸如再现散景效果的圆形核，盒子模糊等等)的卷积。以该方式，可以掩盖分辨率的降低，同时可以保持降低分辨率所节省的处理。可选地，与模糊处理相关联的强度(例如，内容模糊的程度)可以基于用户的注视点和内容之间的深度差和/或内容与用户凝视的角度接近度。例如，模糊程度可随着到用户注视的接近度的增加而增加。
在一些实施例中，显示系统可以根据显示系统的硬件和/或软件来利用框1408或1410的特征。例如，特定的硬件(例如，图形处理单元)可以能够在硬件中执行模糊处理而无需达到硬件性能的阈值。对于该特定硬件，显示系统可以被配置为降低内容的分辨率，并且然后使内容模糊。然而，其它硬件执行模糊处理的速度可能会很慢，并且以更高的分辨率渲染内容可能会提高性能。对于该其它硬件，显示系统可以配置为以更高的分辨率渲染内容。此外，在以较高的分辨率还是以具有模糊的较低分辨率渲染内容之间的决定可以取决于要显示的内容的类型。例如，显示系统可以被配置为以较高的分辨率渲染文本，同时以较低的分辨率渲染形状并且模糊。
继续参考图14，在框1412处，显示系统向用户呈现内容。显示系统可以例如从如上所述的相同显示缓冲器向用户呈现调节的内容。
II.基于周围照明水平调节分辨率
除了或替代沿z轴的分辨率降低之外，可以在一些实施例中实现用于以分辨率降低来呈现虚拟内容的各种其它方案。有利地，如在此所述，可以以相对高分辨率呈现虚拟内容的一些方面，并且可以以相对低分辨率呈现一些其它方面，这可以减少显示系统对计算和能源的使用，同时优选地对虚拟内容的感知图像质量具有低的影响。
现在参考图15，示出了用户眼睛的视网膜的表示的示例。所示出的视图示出了当沿该视网膜的视轴正面观看时所看到的视网膜1500。视网膜1500包括由周围区域1530围绕的中央凹1510。在中央凹1510内是与视轴相交的小凹(foveola)1520。
应当理解，视网膜包括两种类型的感光体：视杆和视锥。另外，这些感光体在视网膜上的分布各不相同，从而在整个视网膜上提供不同的视杆和视锥密度。
现在参考图16，图示了图15的整个视网膜1500上的分辨率以及视杆和视锥密度的示例。x轴指示相对于视轴与视网膜相交的点的偏心度。页面上的向右方向是鼻方向，并且页面上的向左方向是太阳穴方向。如图所示，人眼的分辨率与视网膜中感光体(视杆和视锥)的密度大致相关。因此，在一些实施例中，在x轴和y轴上(例如，在给定深度平面上)的虚拟内容的分辨率(例如，空间分辨率)的降低或逐渐减小可以基本上遵循视锥密度、视杆密度或视杆和视锥密度的总和在整个视网膜上的降低。例如，在整个用户视野范围内，远离注视点的分辨率降低的趋势可能在视网膜的对应部分上的感光体密度(例如，视锥密度、视杆密度或视杆和视锥密度的总和)的变化趋势的±50％、±30％、±20％或±10％之内。在一些实施例中，远离注视点的分辨率的降低是渐进的，并且基本上遵循密度变化。在一些其它实施例中，分辨率的降低可以分步发生(例如，一个步骤、两个步骤等)。例如，可能有两个步骤：与小凹(foveola)相关的视野的最高分辨率区域，与中央凹相关的中分辨率区域以及与周围区域相关的较低分辨率区域。
继续参考图16，将理解，不同的感光体在不同的光照条件下，例如在不同的周围照明水平下具有不同的活性水平。结果，可能的是，尽管在一些照明水平下用户可能没有意识地感知到随着感光体的密度而降低的分辨率，但在其它照明水平下却可以感知到。因此，在一些实施例中，可以参考外部光照条件来设定沿x、y或z轴虚拟内容的分辨率的降低。
例如，基于光照条件，眼睛的视觉行为可以分为三种模式。该三种模式是明视、中视和暗视。明视通常发生在明亮的条件下，例如周围光或照明水平约为3cd/m2或更高，包括约10到108cd/m2。在明视中，视锥是主要活动的。在暗视中，视杆是主要活动的。在中视中，视杆和视锥二者可以是活动的。如在此所使用的，周围光照条件或照明水平是指用户的眼睛和他/她的视网膜被暴露的光量。
中视通常在较低的光照条件下发生，例如，照明水平约为10-3至100.5cd/m2。视锥和视杆二者都在中视内的至少一些照明水平中是活动的，取决于周围照明水平是在增加还是在降低，视杆或视锥的主导随时间推移而变化。随着眼睛适应明亮的环境，与视杆相比，更多的视锥被激活；另一方面，随着眼睛适应黑暗的环境，与视锥相比，更多的视杆被激活。
暗视通常发生在照明水平小于明视的照明水平的光照条件下。例如，暗视可能发生在约10-2cd/m2或更低，或约10-3cd/m2或更低，包括约10-3到10-6cd/m2的照明水平下。视杆在暗视中是主要活动的。应当理解，在此提到的用于明视、中视和暗视的照明水平是示例。在一些实施例中，可以基于用户偏好和/或针对用户所属的组的定制(例如，基于性别、年龄、种族、视觉异常的存在等)来任意地分配与每种视觉类型相关联的照明水平。
在一些实施例中，可以基于周围照明水平的测量来确定用户中活动的视觉类型(明视、中视或暗视)。例如，显示系统可以被配置为使用光传感器(诸如面向外的相机112(图9D))来测量周围照明水平。在一些实施例中，显示系统可以与另一传感器或设备通信，该另一传感器或设备提供关于周围照明水平的信息。
应当理解，头戴式显示系统可以阻挡或衰减一些周围光，使得面向外的相机可能无法给出准确反映撞击在眼睛上的光量的亮度水平。另外，在将光投射到眼睛以提供虚拟内容时，显示系统也是可以改变眼睛所暴露的照明水平的光源。在一些其它实施例中，可以使用面向内的相机来确定亮度水平。例如，亮度水平与瞳孔的大小大致相关。图17图示了瞳孔大小和入射在用户的眼睛上的光量之间的关系的示例。x轴示出亮度值，并且y轴示出瞳孔面积值。因此，显示系统可以被配置为确定用户的瞳孔面积，并且然后基于该瞳孔面积外推亮度。例如，显示系统可以配置为使用面向内的相机500(图6)捕获用户的眼睛210的图像，并且然后分析该图像以确定瞳孔面积或指示瞳孔面积的其它度量(例如，瞳孔直径或宽度)。例如，可以确定由相机捕获的图像中的眼睛210的瞳孔所占据的区域，并且然后针对由相机的光学器件引起的任何缩放因子对其进行校正。有利地，使用瞳孔面积来确定亮度水平可以有效地考虑到由显示器阻挡一些周围光引起的周围亮度水平的降低，以及显示器自身的光输出对亮度水平的贡献。
继续参考图17，显示系统可以被配置为基于所确定的瞳孔面积来确定用户的眼睛是否处于明视、中视还是暗视模式。例如，显示系统可以在存储器中驻留有表格或其它存储的信息，该表格或其它存储的信息指定了对于特定瞳孔面积期望的视觉模式。例如，根据图17所示的图形，显示系统可以将约3mm2或更小的瞳孔面积分类为指示明视，将3mm2或更大直至38mm2的瞳孔面积分类为指示中视，并且将大于38mm2的瞳孔面积分类为指示暗视。应当理解，这些亮度值和相关联的视觉模式是示例，并且可以替代其它值。例如，响应于来自用户的输入，可以将不同的值应用于不同的用户，或者可以基于用户可能属于的特定类别(例如，性别、年龄、种族、视觉异常的存在等)来应用不同的值。另外，应当理解，显示系统不一定识别特定的视觉模式。而是，显示系统可以被配置为简单地将特定的测量的瞳孔面积与特定的分辨率水平或调节相关联。
在一些实施例中，来自面向内的相机510(图6)和面向外的相机112(图9D)的输入二者可以用于确定亮度水平。例如，显示系统可以被配置为取得使用相机510和112确定的亮度水平的平均值(包括加权平均值)。如上所述，基于使用相机510对用户的眼睛进行成像，可以从用户的眼睛的瞳孔面积的大小推断出使用相机510确定的亮度水平。
应当理解，视杆和视锥具有对颜色和对比度的不同水平的视觉敏锐度以及不同的敏感度。因此，由于周围亮度水平会影响视杆和/或视锥是否处于活动，因此在不同的周围亮度水平下，对颜色和对比度的视觉敏锐度和敏感度会有差异。有利地，可以应用对颜色和对比度的视觉敏锐度和敏感度上的光照水平差异，以提供用于降低分辨率的附加基础，其可以与基于如上所述的注视点的分辨率变化结合使用(例如，关于图12A和图14)，或者即使不基于注视点专门改变分辨率也可以单独使用。
现在参考图18，示出了用于基于入射在用户的眼睛上的光量来调节虚拟内容的过程1800的示例的图。为了方便起见，该过程可以被描述为由显示系统执行(例如，可穿戴显示系统60(图9D)，该显示系统可以包括处理硬件和软件，并且可以可选地向一个或多个计算机或其它处理单元的外部系统提供信息，例如将处理卸载到外部系统，并从外部系统接收信息)。
在框1810处，显示系统确定到达视网膜的光量。优选地，该确定是到达视网膜的光量的估计，而不是撞击在视网膜上的光的直接测量。如在此所讨论的，可以使用所公开的用于确定亮度水平的方法来进行该估计。例如，可以假设亮度水平对应于到达视网膜的光量。结果，确定到达视网膜的光量可以包括使用配置为检测光的传感器(诸如显示设备上的面向外的相机)确定用户瞳孔的大小和/或确定周围亮度水平。
在框1820处，显示系统基于在框1810处发现到达视网膜的光量来调节要呈现给用户的虚拟内容的分辨率。在一些实施例中，调节虚拟内容的分辨率包括调节虚拟内容的空间分辨率、颜色深度和光强度分辨率中的一项或多项。应当理解，在明视照明水平下，人类视觉系统对空间分辨率、颜色和光强度具有最大的敏锐度和敏感度。在中视照明水平下，感知空间分辨率、颜色和光强度差异的能力下降，并且在暗视照明水平下，该能力进一步下降。
因此，在一些实施例中，如果发现存在的光量与用于明视的水平相对应，则可以以全空间分辨率或高空间分辨率(与用于中视或暗视的空间分辨率相比)渲染虚拟对象。如果发现存在的光量对应于中视水平，则与在明视照明水平下用于虚拟对象的空间分辨率相比，可以以降低的空间分辨率渲染虚拟对象。如果发现光量对应于暗视水平，则可以以比在中视或明视照明水平下使用的空间分辨率更低的空间分辨率来渲染虚拟对象。如在此所述，可以例如通过减少多边形的数量等来调节空间分辨率。
可以取决于照明水平类似地调节颜色深度或位深度，其中在明视照明水平下使用最高的颜色深度，在中视照明水平下使用中间的颜色深度，并且在暗视照明水平下使用最低的颜色深度。应当理解，可以通过改变用于像素的每个颜色分量的位数来调节颜色深度，较少的位数等于较低的颜色深度。
同样，不受理论的限制，据信随着照明水平从明视照明水平向中视照明水平向暗视照明水平发展，光强度的渐变(gradation)变得更大。换句话说，据信人类视觉系统能够随着周围照明水平降低而识别出更少的光强度差异。在一些实施例中，显示系统可以被配置为随着照明水平从明视照明水平向中视照明水平向暗视照明水平发展而在光强度上显示较少的渐变。结果，在明视照明水平下呈现光强度水平的最大数量的渐变，在中视照明水平下呈现较少的渐变，并且在暗视照明水平下呈现又较少的渐变。
另外，在一些实施例中，显示系统可以能够提供比用户能够感知的光强度水平上更大数量的渐变。在下面进一步讨论的图22a-22c中示出了该示例。例如，显示系统对于给定的图像像素可以能够显示256个不同的强度水平，但是用户可以仅能够感知更少数量的水平，例如64个水平。在该情况下，多个可能的光强度水平被包含在可感知的光强度水平中的单个一个光强度水平内。例如，显示系统可以能够显示四个不同的光强度水平，但是用户可以将所有四个感知为相似。在此类情况下，在用户感知到多个可能的光强度相同的情况下，显示系统可以被配置为从被感知为相似的这些值中选择最低的强度值进行显示。结果，显示系统可以能够利用较低的强度，从而减少用于照亮显示器以实现所需的光强度的功率量。这在其中空间光调制器的各个像素本身就是光发射器(诸如有机和无机LED)的显示系统中可能具有特定的优势。在一些实施例中，渐变的数量随着周围照明水平的降低而减少，并且显示系统被配置为将更多数量的可能的光强度水平分组在一起，以显示该组中最低的光强度。
应当理解，对于要显示的虚拟内容，可以基于用户所处的光照条件(到达用户视网膜的光量)来改变空间分辨率、颜色深度和光强度分辨率中的一个、两个或全部三个。如在此所公开的，基于光照条件的对空间分辨率、颜色深度和/或光强度分辨率的这些调节可以整体上针对虚拟内容进行，而无需基于距用户眼睛的注视点的距离来对分辨率进行调节。在一些其它实施例中，可以结合基于距注视点的距离对分辨率进行调节(例如，参见图12A和图14)，基于光照条件对空间分辨率、颜色深度和/或光强度分辨率进行调节。在一些实施例中，如果分辨率随着距注视点的距离而减小，则在给定平面上(在x轴和y轴上)的减小的分布优选地与跨视网膜的对应部分的视锥密度的变化的分布相匹配。
在一些实施例中，如在此所述，对空间分辨率、颜色深度和/或光强度分辨率的调节优选地与在给定时间活动的视觉模式(明视、中观或暗视)联系在一起。如果视觉模式改变，这些调节可动态改变。例如，如在此所讨论的，当用户从明视向暗视发展时，分辨率可能降低。相反，当用户从暗视向中视发展时，虚拟内容的分辨率可能提高。应当理解，将分辨率调节联系到特定的视觉模式不需要对用户处于该特定模式的特定确定；而是，显示系统可以被配置为简单地将周围照明水平或瞳孔大小的特定范围与特定分辨率(无论是空间分辨率、颜色深度还是光强度分辨率)相关联。另外，尽管如在此所讨论的，分辨率调节优选地联系到三个水平的光照条件(对应于三种视觉模式)，但是在一些实施例中，分辨率调节可以联系到两个水平的光照条件，或三个水平以上的光照条件。
还应当理解，分辨率调节可以实时发生(例如，随着周围光照条件变化)，或者可以延迟设定的持续时间，以在对虚拟内容进行分辨率调节之前，允许人类视觉系统适应现有的光照条件。不受理论的限制，据信人类视觉系统需要一段时间来适应不同的照明水平，随着照明水平降低，该时间段增加。因此，在一些实施例中，直到用户已经暴露(例如，基本上连续地暴露)于特定的照明水平达设定的时间量，才进行由于改变的照明水平而进行的分辨率调节。例如，设定的时间量可以是5分钟、10分钟、15分钟或20分钟。
继续参考图18，在框1830处，向用户呈现虚拟内容。该虚拟内容的呈现可以如在此所讨论地进行，例如，如图12A的框1208或图14的框1412中所示。
现在参考图19，图示了随着入射在眼睛上的光量变化，用户的眼睛可检测到的分辨率变化的示例。该图示出了人类视觉系统在不同视觉模式下对空间分辨率的敏感度的示例。暗视发生在低光照区域1910中，中视发生在中光照区域1920中，并且明视发生在明亮光照区域1930中。如图所示，对空间分辨率的敏感度随着周围照明水平降低而显著降低。在一些实施例中，以上关于图18讨论的对空间分辨率的调节对应于所示曲线的轮廓。例如，对于在明视或暗视模式中的给定光照水平，将以足够的空间分辨率渲染虚拟内容，以达到或超过y轴上示出的分辨率值。
现在参考图20，应当理解，可以使用不同的感光体来感知不同波长或颜色的光。图20图示了在不同照明水平下眼睛对不同颜色的光的敏感度差异的示例。x轴上的持续时间的差异反映了人类视觉系统适应特定周围照明水平通常需要的时间量，使得激活特定的视觉模式。值得注意的是，在对应于暗视和部分中视的周围照明水平下，用于红光的感光体可能不再处于活动，而用于蓝光的感光体则在最低光照条件下处于活动。应当理解，红光、绿光和蓝光对应于在显示系统中最常用作分量颜色以形成全色图像的颜色(例如，如在此关于图8-9B所讨论的)。在一些实施例中，显示系统可以被配置为取决于周围照明水平来改变不同颜色的图像的渲染。
现在参考图21，该图示出了用于调节使用多个分量颜色图像形成的虚拟内容的过程2100的示例，其中基于分量颜色图像的颜色来进行分辨率调节。在框2110处，显示系统提供要使用多个分量图像呈现的虚拟内容。如关于图8-9B所讨论的，这些可能是要针对不同波导的不同分量颜色的不同图像。因此，在一些实施例中，可以分别渲染不同分量颜色的图像流中的每一个图像流。提供要使用多个分量图像呈现的虚拟内容可以包括利用输出不同分量颜色的图像流以形成全色图像的显示系统。
在框2120处，显示系统可以基于分量颜色图像的颜色来调节其分辨率。例如，显示系统可以选择这些分量颜色之一的颜色图像以进行分辨率调节。例如，如上面关于图18的框1810所讨论的，可以基于对照明水平的确定来进行选择。如图19中所示，在一些照明水平下，用户可能无法感知到一些分量颜色。显示系统可能已经在其中存储了关于照明水平和在那些水平上不可见的分量颜色的信息。如果照明水平和在这些水平上不可见的分量颜色之间存在匹配，则可以选择该分量颜色的图像进行调节。在一些环境中，一种调节可能是，如果周围照明水平使得不期望用户感知到该颜色，则仅不渲染或不显示该分量颜色图像。例如，在暗视照明水平下，显示系统可以配置为不渲染或不显示红色的分量图像。
继续参考图21，在框2130处，虚拟内容被呈现给用户。虚拟内容的呈现可以如在此所讨论地进行，例如，如图12A的框1208或图14的框1412中所示。
现在参考图22A-22C，如上所述并且不受理论的限制，据信人类视觉系统感知光强度上渐变的能力随周围照明水平而改变。图22A-22C示出了随着入射到用户的眼睛上的光量减少而改变对比度敏感度的示例。例如，可以将图22A理解为示出在明视光照条件下的对比度敏感度，可以将图22B理解为示出在中视光照条件下的对比度敏感度，并且可以将图22C理解为示出暗视光照条件下的对比度敏感度。图22A示出了从顶部的高光强度到底部的低光强度进行的渐变21101至2110i的进展(progression)2100。类似地，图22B示出了从高光强度到低光强度进行的渐变21101至2110i的进展2102。同样，图22C示出了从高光强度到低光强度进行的渐变21101至2110i的进展2104。框2120、2130、2140指示由用户感知为相同的强度渐变的组。如图所示，这些组的大小预计会随着周围照明水平的降低而增加。因此，如上面关于图18所讨论的，在一些实施例中，显示系统可以被配置为使用每个组内(例如，框2120、2130、2140中每个框内)的最低强度值。
现在参考图23，示出了用户眼睛的视神经和外围盲点的表示的示例。在一些实施例中，除了在此公开的任何分辨率调节之外或作为其替代，显示系统可以被配置为避免在用户不期望感知内容的各个位置渲染内容。图23分别示出了左眼210L和右眼210R。每只眼睛具有相应的光轴1003A和1003B以及视神经2300L和2300R。视神经2300L和2300R中的每一个视神经都与相应的眼睛210L和210R接触的点存在盲点。这些盲点阻止观看者在光线2302L和2302R的方向中看到内容。另外，在每只眼睛的外围，存在如下区域，在该区域中另一只眼睛看不到内容。例如，左外围区域PL中的内容可以由左眼210L看到，但是未被右眼210R看到。另一方面，右外围区域PR中的内容可以由右眼210R看到，但是未被左眼210L看到。因此，在一些实施例中，显示系统可以被配置为省略将被映射到每只眼睛210L和210R的盲点的渲染内容，例如，落在光线2302L和2302R上的内容。另外或可替代地，在一些实施例中，该显示系统可以被配置为如果该内容落在右外围区域PL内，则省略对左眼210L的渲染内容；和/或显示系统可以被配置为如果该内容落在左外围区域PL内，则省略对右眼210R的渲染内容。应当理解，盲点和/或外围区域的位置可以例如基于用户群的平均值被预设和/或通过使用在各个位置处显示的内容以及来自用户的指示虚拟对象是否可见的输入进行测试，可以针对特定用户定制和校准。
III.用于提供具有不同分辨率的内容的多图像流
在一些实施例中，可以通过在空间上重叠两个或更多个图像流来形成具有高空间分辨率区域和低空间分辨率区域的凹式图像，每个图像流具有不同的分辨率(例如，不同的感知像素密度)。例如，图像流之一，例如低分辨率图像流，可以形成具有大视野的图像，而另一个图像流，例如高分辨率图像流，可以形成具有窄视野的图像。窄视野图像和高视野图像可以包含相似的内容，但是用户看到的分辨率或像素密度不同。这些图像可以彼此覆盖(例如，同时或在时间上接近地占据空间中的相同位置，使得观看者感知到图像同时存在)。因此，观看者可以接收在其视野的受限部分中具有高分辨率并且在其视野的较大部分上具有低分辨率的聚合图像。优选地，如在此所讨论的，高分辨率部分映射到用户眼睛的中央凹视觉区域，而低分辨率部分映射到用户眼睛的外围视觉区域。这样，图像的高分辨率部分和低分辨率部分之间的分辨率差异优选地是用户不容易感知的。
在一些环境中，用于显示高分辨率图像和低分辨率图像的显示系统利用相同的空间光调制器来形成两个图像。因此，空间光调制器具有固定的像素大小和密度。在具有固定像素大小和密度的显示系统中，视野角(FOV)的增加是以空间或角分辨率为代价的，例如，由拉格朗日不变式控制。例如，如果使用具有固定像素数的SLM来形成高分辨率图像和低分辨率图像，则将这些像素分布在整个视野中将提供具有比将这些像素限制在整个视野的一小部分更低的表观分辨率的图像；高分辨率图像的像素密度高于低分辨率图像的像素密度。因此，在FOV和角分辨率之间通常存在反比关系。由于FOV和角分辨率会影响图像的可见性和质量，因此该折衷会限制用户体验以及AR或VR系统中最终可实现的FOV和角分辨率。如从在此的讨论中将显而易见，在一些实施例中，术语“分辨率”可以用于表示“角分辨率”。
头戴式显示设备或可穿戴式显示设备可以被配置为通过将虚拟内容直接投射到用户的眼睛中来提供沉浸式用户体验。尽管在整个FOV上以统一的高分辨率提供宽的FOV图像可能是有益的，但人类视觉系统的生理局限性可能会阻止用户欣赏甚至察觉位于用户视野外围区域中的高分辨率图像。这种无法感知外围区域内的高分辨率图像的原因是人眼视网膜的特性所致，该视网膜包含两种类型的感光体，即视杆细胞和视锥细胞。视锥细胞对敏锐(详细)视觉的影响更大。视杆和视锥在人眼中不同地分布。在中央凹(即视网膜的中心)内发现视锥细胞的最高浓度，而在直接围绕中央凹(即视网膜的外围)的区域中发现视杆细胞的最高浓度。由于视杆细胞和视锥细胞的这种不均匀分布，中央凹负责清晰的中央视觉(也称为中央凹视觉)。视觉敏锐度随着距中央凹的距离增加而降低。
对于AR或VR应用，通常一次只有一个用户佩戴头戴式耳机。头戴式耳机可以配置为利用用户无法通过将高分辨率内容的显示限制在用户当前正在关注的宽视野内的区域来一次感知宽视野图像流的所有细节的优势。以该方式，头戴式耳机可以向用户提供高分辨率的宽FOV图像流的表观，而不需要以其它方式需要在整个视野上生成高分辨率内容的处理能力。呈现给用户的图像流可以采用多种形式，并且通常被称为图像流。例如，图像流可以通过向用户连续显示相同图像来显示静态图像，或者可以通过显示不同图像流来显示运动。在一些实施例中，头戴式耳机可以被配置为同时显示多个图像流；不同的图像流可以具有不同的角分辨率，并且可以在整个用户FOV的不同区域中延伸。应当注意，与AR系统相关联的图像流可能不会在其被分配到的特定区域上完全显示内容，因为AR系统被设计为将虚拟内容与真实世界内容混合。
根据一些实施例，第一图像流和第二图像流可以被同时或快速连续地呈现给用户，使得两个图像流看起来被同时显示。第一图像流可能具有宽FOV和低分辨率，其可以涵盖用户的视觉以唤起用户的沉浸式体验。在一些实施例中，可以关闭与第二图像流覆盖的FOV的瞬时部分相对应的第一图像流的一部分。第二图像流可以具有窄FOV和高分辨率，其可以根据用户当前的注视点动态地显示在第一图像流的边界内，如使用眼睛凝视跟踪技术实时确定的那样。换句话说，第二图像流可以随着用户的眼睛凝视改变而四处移动，使得第二图像流持续覆盖用户的中央凹视觉。在一些实施例中，随着第二图像流相对于第一图像流四处移动，第一图像流在固定位置被呈现给用户。在一些其它实施例中，第一图像流和第二图像流二者根据用户当前的注视点移动。
第二图像流的内容可以包括具有比第一图像流更高的分辨率的第一图像流的内容的子集，并且可以覆盖在第一图像流上并且相对于第一图像流适当地对齐。由于更高分辨率的第二图像流在用户中央凹视觉内覆盖了第一图像流的一部分，因此包括更高分辨率图像流的区域中的调制传递函数(MTF)得以提高。在一些实施例中，由第二图像流覆盖的第一图像流的内容的子集可以被关闭或以较低的强度呈现。以该方式，用户可以感知到第一图像流和第二图像流的组合具有宽FOV和高分辨率二者。此类显示系统可以提供多个优点。例如，显示系统可以在具有相对小的形状因数并且节省计算资源和计算能力的同时提供优异的用户体验。
在某些实施例中，第一图像流和第二图像流的边界区域中的光强度逐渐减小到低于预期图像亮度的值，并且第一图像流和第二图像流的边界区域重叠。在重叠区域中，归因于两个图像流的光强度之和可以相对恒定并等于预期的图像亮度。从第一图像流侧到第二图像流侧遍历重叠区域，MTF从等于或接近第一图像流的MTF的第一值改变为等于或接近第二图像流的MTF的第二值。以该方式，可以避免在两个图像流所提供的区域之间创建尖锐的边界，这在某些情况下对于用户而言可能是可感知的。
根据一些实施例，可以使用某些复用方法将与第一图像流相关联的第一光束和与第二图像流相关联的第二光束复用为复合光束。例如，根据各种实施例，可以使用时分复用、偏分复用、波分复用等。可以将复合光束导向一个或多个光学元件，该光学元件用于将复合光束解复用为两个单独的光路。例如，取决于所使用的复用方法，可以使用诸如偏振分束器(PBS)或二向色分束器的分束器或光学切换元件来分离复合光束。一旦分离，与第一图像流相关联的第一光束和与第二图像流相关联的第二光束可以被路由通过它们相应的光路，并最终作为输出提供给用户。
根据一些实施例，与第一图像流相关联的第一光束可以在第一光路中被光学元件进行角度放大，使得可以以较宽的FOV和较低的角分辨率(如由拉格朗日不变式控制)呈现第一图像流；而与第二图像流相关联的第二光束不被角度放大、缩小或放大的量小于施加给与第一图像流相关联的第一光束的放大的量。以该方式，可以以比第一图像流更窄的FOV和更高的角分辨率(由拉格朗日不变式控制)呈现第二图像流。
图24示出了视野图，该视野图描绘了人眼在二维角空间中的示例性单眼视野3002的外周。如图24中所示，视野图的太阳穴(temporal)-鼻轴和下-上轴用于限定二维角空间，在该二维角空间中，单眼视野3002的外周被画出。以该方式，图24的视野图可以被视为与人眼的“高德曼(Goldmann)”视野图或曲线图等效或相似。如所描绘的太阳穴-鼻轴和下-上轴的布置所指示的，图24中所示的视野图表示人的左眼的视野图。尽管人与人之间的视野可能略有不同，但所描绘的视野与许多人左眼能够看到的视野相近。随之而来的是，描绘右眼的示例性单眼视野的外周的视野图可能类似于图24的视野图版本的某些，其中太阳穴-鼻轴和单眼视野3002的外周已经围绕下-上轴镜像。
图24的视野图进一步描绘了人眼的示例性能视域3004的外周，其代表人可以注视在其中的角空间中的单眼视野30022的一部分。另外，图24的视野图还描绘了人眼的示例性中央凹视野3006的外周，其代表了在给定时间点人眼中央凹的直接视野中角空间中单眼视野3002的一部分。如图所示，人的中央凹视野3006可以在能视域3004内的任何位置移动。单眼视野3002在中央凹视野3006之外在角空间中的部分在此可以称为人视野的外围区域。由于人眼在中央凹视野3006之外区分高水平细节的能力非常有限，因此不太可能注意到在中央凹视野3006之外显示分辨率降低的图像，并且可以允许显著节省用于负责为显示器生成内容的处理组件的功耗。
图25A示出了根据一些实施例的被配置为向用户提供虚拟内容的示例性可穿戴显示设备4050。可穿戴显示设备4050包括由框架4054支撑的主显示器4052。框架4054可以使用镜腿4006形式的附接构件附接至用户的头部。
现在参考图25B，现在将描述被配置为向用户提供虚拟内容的AR系统的示例性实施例。在一些实施例中，图25B的AR系统可以代表图25A的可穿戴显示设备4050所属的系统。图25B的AR系统使用堆叠的光导光学元件组件4000，并且通常包括图像生成处理器4010、光源4020、控制器4030、空间光调制器(“SLM”)4040、注入光学系统4060，以及用作多平面聚焦系统的至少一组堆叠的目镜层或光导光学元件(“LOE”；例如，平面波导)4000。该系统还可以包括眼睛跟踪子系统4070。应当理解，其它实施例可以具有多组堆叠的LOE 4000，但是下面的公开将集中在图25B的示例性实施例上。
图像生成处理器4010被配置为生成要显示给用户的虚拟内容。图像生成处理器可以将与虚拟内容相关联的图像或视频转换为可以以3D投射到用户的格式。例如，在生成3D内容时，可能需要对虚拟内容进行格式化，使得特定图像的部分显示在特定深度平面处，而其它部分显示在其它深度平面处。在一个实施例中，所有图像可以在特定的深度平面处生成。在另一个实施例中，图像生成处理器可以被编程为向右眼和左眼210提供略微不同的图像，使得当一起观看时，虚拟内容对于用户的眼睛显得连贯且舒适。
图像生成处理器4010可以进一步包括存储器4012、GPU 4014、CPU4016以及用于图像生成和处理的其它电路。图像生成处理器4010可以用所需的虚拟内容编程，以呈现给图25B的AR系统的用户。应当理解，在一些实施例中，图像生成处理器4010可以被容纳在可穿戴AR系统中。在其它实施例中，图像生成处理器4010和其它电路可以被容纳在与可穿戴光学器件耦合的皮带包中。图像生成处理器4010可操作地耦合到光源4020以及一个或多个空间光调制器(如下所述)，该光源4020投射与所需的虚拟内容相关联的光。
光源4020是紧凑的并且具有高分辨率。光源4020包括多个在空间上分离的子光源4022，该子光源在操作上耦合至控制器4030(如下所述)。例如，光源4020可以包括以各种几何构造设置的颜色特定的LED和激光器。可替代地，光源4020可以包括相同颜色的LED或激光器，每个LED或激光器链接到显示器的视野的特定区域。在另一个实施例中，光源4020可以包括诸如白炽灯或荧光灯的广域发射器，其具有用于对发射区域和位置进行分割的掩盖覆盖物。尽管在图2B中子光源4022直接连接到图2B的AR系统，但是只要光纤的远端(远离子光源4022)在空间上彼此分离，子光源222就可以经由光纤(未示出)连接到系统。该系统还可包括被配置为准直来自光源4020的光的聚光器(未示出)。
在各种示例性实施例中，SLM 4040可以是反射性的(例如，DLP DMD、MEMS反射镜系统、LCOS或FLCOS)、透射性的(例如，LCD)或发射性的(例如，FSD或OLED)。可以选择空间光调制器的类型(例如，速度、大小等)以改善3D感知的创建。虽然以较高刷新率操作的DLP DMD可以轻松地合并到固定式AR系统中，但可穿戴AR系统通常使用更小尺寸和功率的DLP。DLP的功率改变了如何创建3D深度平面/焦平面。图像生成处理器4010可操作地耦合到SLM4040，该SLM 4040用所需的虚拟内容对来自光源4020的光进行编码。当来自光源4020的光反射出SLM4040、从SLM 4040发射，或通过SLM 4040时，可以用图像信息编码来自光源4020的光。
返回参考图25B，AR系统还包括注入光学系统4060，该注入光学系统4060被配置为将来自光源4020(即，多个在空间上分离的子光源4022)和SLM 4040的光引导到LOE组件4000。注入光学系统4060可以包括一个或多个透镜，该透镜被配置为将光引导到LOE组件4000中。注入光学系统4060被配置为形成与来自光源4020的子光源4022的空间分离且不同的光束对应的LOE 4000相邻的空间分离且不同的光瞳(在从注入光学系统4060出射的光束的相应焦点处)。注入光学系统4060被配置为使得光瞳在空间上彼此移位。在一些实施例中，注入光学系统4060被配置为仅在X和Y方向中在空间上将光束移位。在此类实施例中，光瞳形成在一个X、Y平面中。在其它实施例中，注入光学系统4060被配置为在X、Y和Z方向中在空间上将光束移位。
光束的空间分离形成了不同的光束和光瞳，这允许将入耦合光栅放置在不同的光束路径中，使得每个入耦合光栅大部分仅由一个不同的光束(或一组光束)寻址(例如，相交或撞击)。这进而有利于将空间分离的光束入射到LOE组件4000的相应LOE 4000中，同时最小化来自多个的其它子光源4022的其它光束的入射(即，串扰)。来自特定子光源4022的光束通过其上的入耦合光栅(图25B中未示出，见图24-26)进入相应的LOE4000。相应的LOE4000的入耦合光栅被配置为与来自多个子光源4022的空间分离的光束相互作用，使得每个空间分离的光束仅与一个LOE 4000的入耦合光栅相交。因此，每个空间分离的光束主要进入一个LOE 4000。因此，由SLM 4040在来自每个子光源4022的光束上编码的图像数据可以有效地沿单个LOE 4000传播，以传递到用户的眼睛210。
然后，每个LOE 4000被配置为将看起来源自所需的深度平面或FOV角位置的图像或子图像投射到用户的视网膜上。因此，相应的多个LOE4000和子光源4022可以选择性地投射看起来源自于空间中的各种深度平面或位置的图像(在控制器4030的控制下由SLM 4040同步编码)。通过使用相应的多个LOE 4000和子光源4022中的每一个以足够高的帧速率(例如，以有效的60Hz全体积帧速率，六个深度平面的360Hz)顺序投射图像，图25B的系统可以生成看起来同时存在于3D图像中的各种深度平面处的虚拟对象的3D图像。
控制器4030与图像生成处理器4010、光源4020(子光源4022)和SLM 4040通信并可操作地耦合到图像生成处理器4010、光源4020(子光源4022)和SLM 4040以通过指示SLM4040采用来自图像生成处理器4010的适当图像信息对来自子光源4022的光束进行编码，来协调图像的同步显示。
AR系统还包括可选的眼睛跟踪子系统4070，该眼睛跟踪子系统4070被配置为跟踪用户的眼睛4002并确定用户的焦点。在一个实施例中，如下面所讨论的，基于来自眼睛跟踪子系统的输入，仅子光源4022的子集可以被激活以照亮LOE 4000的子集。基于来自眼睛跟踪子系统4070的输入，可以激活与特定LOE 4000对应的一个或多个子光源4022，使得图像在与用户的焦点/适应度一致的所需深度平面处生成。例如，如果用户的眼睛210彼此平行，则图25B的AR系统可以激活与LOE 4000相对应的子光源4022，该LOE 4000被配置为向用户的眼睛传递准直光，使得图像看起来源自光学无限远。在另一示例中，如果眼睛跟踪子系统4070确定用户的焦点在1米远处，则可替代地激活与被配置为大致在该范围内聚焦的LOE4000相对应的子光源4022。应当理解，在该特定实施例中，在任何给定时间仅激活一组子光源4022，而停用其它子光源4020以节省功率。
图25C示意性地示出了根据一些实施例的可用于向观看者呈现数字或虚拟图像的示例性观看光学组件(VOA)中的光路。在一些实施例中，VOA可以被结合在类似于如图25A中所示的可穿戴显示设备4050的系统中。VOA包括投影仪4001和可佩戴在观看者的眼睛周围的目镜200。目镜4000可以例如对应于以上参考图25B描述的LOE 4000。在一些实施例中，投影仪4001可以包括一组红色LED、一组绿色LED和一组蓝色LED。例如，根据实施例，投影仪201可以包括两个红色LED、两个绿色LED和两个蓝色LED。在一些示例中，如图25C中所示的投影仪4001及其组件(例如，LED光源、反射式准直器、LCoS SLM和投影仪中继器)可以表示或提供光源4020、子光源4022、SLM 4040和注入光学系统4060中的一个或多个功能，如上面参考图25B所述。目镜4000可包括一个或多个目镜层，每个目镜层可代表如以上参考图25B所述的LOE 4000之一。目镜4000的每个目镜层可以被配置为将看起来源自相应所需的深度平面或FOV角位置的图像或子图像投射到观看者的眼睛的视网膜上。
在一个实施例中，目镜4000包括三个目镜层，一个目镜层针对三种原色(红色、绿色和蓝色)中的每一种。例如，在该实施例中，目镜4000的每个目镜层可以被配置为将准直光传递到看起来源自光学无限远深度平面(0屈光度)的眼睛。在另一实施例中，目镜4000可以包括六个目镜层，即，用于被配置为在一个深度平面处形成虚拟图像的三种原色中的每一种原色的一组目镜层，以及用于被配置为在另一个深度平面处形成虚拟图像的三种原色中的每一种原色的另一组目镜层。例如，在该实施例中，目镜4000的一组目镜层中的每个目镜层可以被配置为将准直光传递到看起来源自光学无限远深度平面(0屈光度)的眼睛，而在目镜4000的另一组目镜层中的每个目镜层可以被配置为将准直光传递到看起来源自2米的距离(0.5屈光度)的眼睛。在其它实施例中，目镜4000可包括用于三个或更多不同深度平面的三种原色中的每一种原色的三个或更多个目镜层。例如，在此类实施例中，又一组目镜层可各自被配置为传递看起来源自1米的距离(1屈光度)的准直光。
每个目镜层包括平面波导，并且可以包括入耦合光栅4007、正交光瞳扩展器(OPE)区域4008以及出射光瞳扩展器(EPE)区域4009。有关入耦合光栅、正交光瞳扩展以及出射光瞳扩展的更多细节在美国专利申请第14/555,585号和美国专利申请第14/726,424号中进行了描述，其内容通过全文引用而明确地并完整地结合在此，如同全文阐述一样。仍然参考图25C，投影仪4001将图像光投射到目镜层4000中的入耦合光栅4007上。入耦合光栅4007将来自投影仪4001的图像光耦合到在朝向OPE区域4008的方向中传播的波导中。波导通过全内反射(TIR)在水平方向中传播图像光。目镜层4000的OPE区域4008还包括衍射元件，该衍射元件将在波导中传播的图像光的一部分耦合并朝向EPE区域4009重定向。更具体地，准直光通过TIR沿波导水平地传播(即，相对于图25C的视图)，并且在这种情况下反复与OPE区域4008的衍射元件相交。在一些示例中，OPE区域4008的衍射元件具有相对低的衍射效率。这导致光的一部分(例如，10％)在与OPE区域4008的衍射元件相交的每个点处垂直向下朝向EPE区域4009衍射，并且光的一部分经由TIR沿波导水平地沿其原始轨迹继续。以该方式，在与OPE区域4008的衍射元件相交的每个点处，附加的光朝着EPE区域4009向下衍射。通过将入射光分成多个出耦合组，光的出射光瞳被OPE区域4008的衍射元件水平扩展。从OPE区域4008耦合出来的扩展光进入EPE区域4009。
目镜层4000的EPE区域4009还包括衍射元件，该衍射元件将在波导中传播的图像光的一部分耦合并朝向观看者的眼睛210重定向。进入EPE区域4009的光通过TIR沿波导垂直传播(即，相对于图25C的视图)。在传播的光和EPE区域4009的衍射元件之间的每个相交点处，光的一部分朝着波导的相邻面衍射，从而允许光通过TIR逸出，从波导的面出射，并且朝向观看者的眼睛210传播。以该方式，观看者的眼睛210可以观看由投影仪4001投射的图像。在一些实施例中，EPE区域4009的衍射元件可以被设计或配置为具有如下的相位分布：线性衍射光栅和径向对称衍射透镜的总和。EPE区域4009的衍射元件的径向对称透镜方面另外对衍射光赋予聚焦水平，既使单个光束的光波前成形(例如，赋予曲率)，又使光束以与设计的聚焦水平匹配的角度转向。由EPE区域4009的衍射元件出耦合的每个光束可以在几何上延伸到定位于观看者前方的相应焦点，并且可以在相应焦点处赋予具有半径中心的凸波前分布，以在给定的焦平面处产生图像或虚拟对象。
在美国专利申请号14/331,218、美国专利申请号15/146,296和美国专利申请号14/555,585中进一步提供了此类观看光学组件和其它类似设置的描述，其全部内容通过引用并入在此。因此，在一些实施例中，示例性VOA可以包括和/或采用在以上参考图25C提及的任何专利申请中描述的一个或多个组件的形式，并且通过引用并入在此。
IV.使用多个光路的高视野和高分辨率凹式显示
图26A-26D示出了针对两个示例性眼睛取向中的每一个眼睛取向在AR系统中要使用的示例性渲染视角和要产生的光场。在图26A中，观看者的眼睛210以第一方式相对于目镜5000取向。在一些实施例中，目镜5000可以类似于如上参考图25B和25C所描述的LOE或目镜4000的堆叠。更具体地，在该示例中，观看者的眼睛210被取向成使得观看者能够在相对径直的方向中看到目镜5000。目镜5000所属的AR系统在一些示例中可以类似于如上参考图25B所描述的AR系统，可以执行一个或多个操作，以在观看者的眼睛210前方的一或多个距离处，在定位于观看者FOV内的一个或多个深度平面上呈现虚拟内容。
AR系统可以基于观看者头部的位置和取向来确定观看者将从中观看渲染空间的3D虚拟内容(诸如虚拟对象)的渲染空间内的视角。如下面参考图29A进一步详细描述的，在一些实施例中，此类AR系统可以包括一个或多个传感器，并且利用来自这些一个或多个传感器的数据来确定观看者的头部的位置和/或取向。除了一个或多个眼睛跟踪组件之外，AR系统还可以包括这样的一个或多个传感器，诸如以上参考图25B描述的眼睛跟踪子系统4070的一个或多个组件。采用此类数据，AR系统可以有效地将真实世界中观看者的头部的位置和取向映射到3D虚拟环境中的特定位置和特定角度位置，创建位于3D虚拟环境内特定位置处并相对于3D虚拟环境内特定位置在3D虚拟环境内特定角度位置处取向的虚拟相机，并为观看者渲染虚拟内容，因为它会被虚拟相机捕获。题为“在三维空间中选择虚拟对象”的美国专利申请号15/296,869提供了讨论真实世界到虚拟世界映射过程的更多详细信息，出于所有目的将其全部内容通过引用明确地结合在此。
在一些示例中，因为观看者的眼睛和/或眼窝在物理上彼此分开，并且因此始终位于不同的位置，AR系统可以为观看者的左眼或眼窝创建或动态重新定位和/或重新取向一个此类头部跟踪的虚拟相机，以及为观看者的右眼或眼窝创建或动态重新定位和/或重新取向另一个此类头部跟踪的虚拟相机。随之而来的是，从与观看者的左眼或眼窝相关联的头戴跟踪虚拟相机的角度渲染的虚拟内容可以通过可穿戴显示设备左侧的目镜呈现给观看者，诸如上面参考图25A-25C所述，并且从与观看者的右眼或眼窝相关联的头部跟踪虚拟相机的角度渲染的虚拟内容可以通过可穿戴显示设备的右侧的目镜呈现给观看者。尽管可以基于与观看者头部的当前位置和取向有关的信息为每只眼睛或眼窝创建和/或动态重新定位头部跟踪的虚拟相机，但是此类头部跟踪的虚拟相机的位置和取向可能都不取决于观看者的每只眼睛相对于观看者的相应的眼窝或观看者的头部的位置或取向。在题为“用于在3D重构中检测和组合结构特征的方法和系统”的美国专利申请号15/274,823中提供了关于在渲染过程中创建、调节和使用虚拟相机的更多详细信息，出于所有目的将其全部内容通过引用明确地结合在此。
图26A的AR系统可以创建或动态地重新定位和/或重新取向此类头部跟踪的虚拟相机，从头部跟踪的虚拟相机的视角(视角5010)渲染虚拟内容，并且将代表渲染虚拟内容的光投射通过目镜5000并且到观看者的眼睛210的视网膜上。如图26A中所示，头部跟踪的渲染视角5010可以提供对角、水平和/或垂直方向中跨越±θ310角度单位的区域的FOV。如下面进一步详细描述的，在一些实施例中，头部跟踪的渲染视角5010可以提供相对宽的FOV。在此类实施例中，AR系统还可以针对与头部跟踪的虚拟相机不同并且除头部跟踪的虚拟相机之外的每只眼睛或眼窝，创建或动态地重新定位和/或重新取向另一虚拟相机。在图26A的示例中，AR系统可以从头部跟踪的虚拟相机5010的视角渲染和呈现虚拟内容，以及从渲染空间中另一个虚拟相机的视角渲染和呈现虚拟内容。
例如，在此类实施例中，图26A的AR系统可以基于观看者的眼睛210的当前凝视来创建或动态地重新定位和/或重新取向此类中央凹跟踪的虚拟相机。如参考图29A在下面进一步详细的描述，在一些示例中，此类AR系统可以包括一个或多个眼睛跟踪组件，诸如以上参考图25B描述的眼睛跟踪子系统4070的一个或多个组件，以确定观看者的当前凝视、观看者的眼睛210相对于观看者的头部的当前位置和/或取向等。采用此类数据，图26A的AR系统可以创建或动态地重新定位和/或重新取向此类中央凹跟踪的虚拟相机，从中央凹跟踪的虚拟相机的视角(视角5020A)渲染虚拟内容，并且将代表如从视角5020A渲染的虚拟内容的光投射通过目镜5000并到观看者眼睛210的中央凹上。
如图26A中所示，中央凹跟踪的渲染视角5020A可以提供比头部跟踪的渲染视角5010的FOV更窄的FOV。以该方式，中央凹跟踪的渲染视角5020A的FOV可以看作占据头部跟踪的渲染视角5010的FOV的圆锥形子空间。也就是说，中央凹跟踪的渲染视角5020A的FOV可以是头部跟踪的渲染视角5010的FOV的子场。例如，如图26A中所示，中央凹跟踪的渲染视角320A可以提供对角、水平和/或垂直方向中跨越±θ320A角度单位的区域的FOV，使得头部跟踪的渲染视角5010的FOV与中央凹跟踪的渲染视角5020A的FOV之间的关系由-θ310≤-θ320A≤θ320A≤θ310给出。在一些示例中，头部跟踪的渲染视角5010的FOV可以至少与观看者的能视域一样宽，在该示例中，当观看者的头部保持在给定的位置和取向中时，该能视域是观看者的眼睛210可以注视在其中的整个圆锥形空间。这样，在这些示例中，头部跟踪的虚拟相机和中央凹跟踪的虚拟相机可以定位于渲染空间内的基本上相同的位置，或者可以定位于渲染空间内的彼此间隔开固定距离的位置，使得当观看者头部的位置和/或取向改变时，两个虚拟相机可以在渲染空间内一致地线性和/或成角度地平移。例如，头部跟踪的虚拟相机可以定位于渲染空间中与观看者的眼睛210的旋转中心相对应的位置，而中央凹跟踪的虚拟相机可以定位于渲染空间中与观看者眼睛210的旋转中心和角膜之间的区域相对应的位置。实际上，当以观看者的眼睛210的两个特定区域或另一个刚体之间的欧几里得距离几乎始终可以保持恒定的大致相同的方式在渲染空间中平移时，两个虚拟相机之间的欧几里得距离可以保持基本上恒定。
尽管在这些示例中，在整个AR系统的使用中，此类一对虚拟相机中的每个虚拟相机之间的空间关系可以在渲染空间内基本上保持固定，然而，当观看者旋转他们的眼睛210时，中央凹跟踪的虚拟相机的取向可以相对于头部跟踪的虚拟相机改变。以该方式，随着观看者旋转眼睛210，由中央凹跟踪的虚拟相机的FOV所占据的头部跟踪的虚拟相机的FOV的圆锥形子空间可以动态地改变。
此外，AR系统可以以相对高的分辨率渲染和呈现落在中央凹跟踪的渲染视角5020A内的虚拟对象和其它内容。更具体地，在中央凹跟踪的虚拟相机的FOV内渲染和呈现虚拟内容的分辨率可以高于在头部跟踪的虚拟相机的FOV内渲染和呈现虚拟内容的分辨率。以该方式，由目镜5000出耦合并投射到观看者眼睛210的视网膜上的给定光场的最高分辨率子场可以是到达观看者眼睛210的中央凹的子场。
图3B示出了示例性光场5030A，该光场5030A由目镜5000出耦合并投射到观看者的眼睛210的视网膜上，而观看者的眼睛210以如图26A中所示并且在上面参考其进行描述的第一方式取向。光场5030A可以包括代表如将由上述一对虚拟相机在渲染空间中捕获的虚拟内容的各种角度的光分量。如以下参考图26A及以后进一步详细描述的那样，如代表由头部跟踪的虚拟相机在渲染空间中捕获的虚拟内容的光以及如代表由中央凹跟踪的虚拟相机在渲染空间中捕获的虚拟内容的光可以根据各种不同的复用方案中的任何一种方案通过AR系统复用。至少在一些情况下，采用这种复用方案可以允许AR系统更高效地操作和/或占用更少的物理空间。
仍然参考图26B，如代表由头部跟踪的虚拟相机在渲染空间中捕获的虚拟内容(例如，落在头部跟踪的渲染视角5010内的虚拟对象和其它内容)的光场5030A的角光分量可包括相对于观看者的眼睛210以-θ310至+θ310角度单位的范围的角度投射到观看者的眼睛210的视网膜上的那些角光分量。类似地，如代表由中央凹跟踪的虚拟相机在渲染空间中捕获的虚拟内容(例如，落在中央凹跟踪的渲染视角5020A内的虚拟对象和其它内容)的光场5030A的角光分量可以包括相对于观看者的眼睛210以-θ320A至+θ320A角度单位的范围的角度投射到观看者的眼睛210的视网膜上的那些角光分量。与中央凹跟踪的渲染视角5020A相关联的此类角光分量的-θ320A至+θ320A角度单位之间的间隔可在规律性上高于与头部跟踪的渲染视角5010相关联的角光分量在光场5030A内发生的-θ310和+θ310角度单位之间的间隔。以该方式，与中央凹跟踪的渲染视角5020A相关联的虚拟内容可以被渲染并呈现给观看者的分辨率可以高于与头部跟踪的渲染视角5010相关联的虚拟内容可以被渲染并呈现给观看者的分辨率。
在一些实施例中，在光场5030A内发生的与头部跟踪的渲染视角5010相关联的角光分量可以进一步包括相对于观看者的眼睛210以-θ320A至+θ320A角度单位的角度范围投射到观看者的眼睛210的视网膜上的那些角光分量。在此类实施例中，与头部跟踪的渲染视角5010相关联的此类角光分量发生在光场5030A内的-θ320A和+θ320A角度单位之间的间隔可以在规律性上低于与中央凹跟踪的渲染视角5020A相关联的角光分量发生在光场5030A内的-θ320A和+θ320A角度单位之间的间隔。在其它实施例中，在光场5030A内发生的与头部跟踪的渲染视角5010相关联的角光分量可以排除将以相对于观看者的眼睛210从-θ320A至+θ320A角度单位的范围的角度投射到观看者眼睛210的视网膜上的那些角光分量。这样，在这些其它实施例中，在光场5030A内发生的与头部跟踪的渲染视角5010相关联的角光分量可以是要以-θ310和-θ320A角度单位之间的角度或θ320A和θ310之间的角度投射到观看者的眼睛210的视网膜上的角光分量。
在图26C中，观看者的眼睛210以与观看者的眼睛210相对于图26A-26B中的目镜5000取向的第一方式不同的相对于目镜5000的第二方式取向。出于示例的目的，可以将图26C-26D中观看者头部的位置和取向视为与上面参考图26A-26B所述的观看者头部的位置和取向相同。这样，图26A-26B和图26C-26D可以分别在第一和第二时间顺序阶段表示上述观看者和AR系统。更具体地，在该示例中，观看者的眼睛210已经从如图26A-26B所示的相对径直的取向偏心地旋转。
在从第一阶段过渡到第二阶段时，因为观看者的头部姿势(例如，位置和取向)没有改变，例如，图26C的AR系统可以用作将头部跟踪的虚拟相机保持在与上述参考图26A-26B相同的位置和取向。这样，在图26C-26D中描绘的第二阶段中，AR系统可以从头部跟踪的虚拟相机的视角(即，头部跟踪的渲染视角5010)渲染虚拟内容，并且投射代表虚拟内容的渲染的光通过目镜5000并到观看者的眼睛210的视网膜上。在从第一阶段过渡到第二阶段时，虽然头部跟踪的渲染视角5010在整个图26A-26D的第一和第二时间顺序阶段中可以保持静态或相对静态，但是AR系统可以基于从第一阶段到第二阶段的观看者的眼睛210的凝视变化，来起到调节在渲染空间中中央凹跟踪的虚拟相机的取向的作用。也就是说，AR系统可以替换或重新取向在第一阶段中使用的中央凹跟踪的虚拟相机，以提供中央凹跟踪的渲染视角5020A，使得在第二阶段中使用的中央凹跟踪的虚拟相机提供与中央凹跟踪的渲染视角5020A不同的中央凹跟踪的渲染视角5020C。因此，在第二阶段中，AR系统还可以从中央凹跟踪的虚拟相机视角5020C的视角渲染虚拟内容，并将代表虚拟内容的渲染的光投射通过目镜5000并且到观看者的眼睛201的中央凹上。
在图26C-26D的示例中，中央凹跟踪的渲染视角5020C可以占据与中央凹跟踪的渲染视角5020A的圆锥形子空间不同的头部跟踪的渲染视角5010的圆锥形子空间。例如，如图26C中所示，中央凹跟踪的渲染视角5020C可以提供从中央凹跟踪的渲染视角5020A的FOV起并且对角地、水平地和/或垂直地跨越±θ320A角度单位的区域的FOV位移θ320C角度单位。也就是说，中央凹跟踪的渲染视角5020C可以提供对角地、水平地和/或垂直地跨越θ320C±θ320A角度单位的区域的FOV。
图26D示出了示例性光场5030C，该光场5030C由目镜5000出耦合并投射到观看者的眼睛201的视网膜上，同时观看者的眼睛201以如图26C所示并在上面参考其进行描述的第二方式取向。光场5030C可以包括如将从头部跟踪的渲染视角5010和中央凹跟踪的渲染视角5020C在渲染空间中捕获的代表虚拟内容的各种角光分量。如从头部跟踪的渲染视角5010在渲染空间中捕获的代表虚拟内容的光场5030C的角光分量可以包括相对于观看者的眼睛210以从-θ310到+θ310的角度单位的范围的角度投射到观看者的眼睛210的视网膜上的那些角光分量。然而，与上面参考图26A-26B所述的第一阶段不同，如由中央凹跟踪的虚拟相机在渲染空间中捕获的代表虚拟内容(例如，落在中央凹跟踪的渲染视角5020C内的虚拟对象和其它内容)的光场5030C的角光分量可以包括相对于观看者的眼睛210以从θ320C-θ320A角度单位至θ320C+θ320A角度单位范围的角度投射到观看者的眼睛210的视网膜上的那些角光分量。
在光场5030C内发生的与中央凹跟踪的渲染视角320C相关联的此类角光分量的θ320C-θ320A角度单位和θ320C+θ320A角度单位之间的间隔可以高于在光场5030C内发生的与头部跟踪的渲染视角5010相关联的角光分量的-θ310和+θ310角度单位之间的间隔。以该方式，与中央凹跟踪的渲染视角5020C相关联的虚拟内容可以被渲染并呈现给观看者的分辨率可以高于与头部跟踪的渲染视角5010相关联的虚拟内容可以被渲染并呈现给观看者的分辨率，其中特别包括由以相对于观看者的眼睛210从-θ320A至+θ320A角度单位的范围的角度投射到观看者的眼睛210的视网膜上的角光分量表示的虚拟内容。
在一些实施例中，在光场5030C内发生的与头部跟踪的渲染视角5010相关联的角光分量可以进一步包括将以相对于观看者的眼睛210从θ320C-θ320A角度单位和θ320C+θ320A角度单位的范围的角度投射到观看者的眼睛210的视网膜上的那些角光分量。在此类实施例中，与头部跟踪的渲染视角310相关联的此类角光分量在光场5030C内发生的-θ320C-θ320A角度单位与θ320C+θ320A角度单位之间的间隔在规律性上可低于与中央凹跟踪的渲染视角5020C相关联的角光分量在光场5030C内发生的θ320C-θ320A角度单位与θ320C+θ320A角度单位之间的间隔。在其它实施例中，在光场5030C内发生的与头部跟踪的渲染视角5010相关联的角光分量可以排除相对于观看者的眼睛210以θ320C-θ320A角度单位和θ320C+θ320A角度单位的范围内的角度投射到观看者的眼睛210的视网膜上的那些角光分量。这样，在这些其它实施例中，在光场5030C内发生的与头部跟踪的渲染视角5010相关联的角光分量可以是将以-θ310和θ320C-θ320A角度单位之间的角以及θ320C+θ320A角度和θ310角度单位之间的角度单位或角度投射到观看者的眼睛210的视网膜上的那些角光分量。
图26E至图26F示意性地示出了根据一些实施例的可以呈现给用户的图像的示例性配置。应当注意，图26E-26F中的网格正方形示意性地表示图像点，在二维角空间中定义了与以上参考图24描述的场3002、3004和3006非常相似的该图像点。具有宽FOV的低分辨率第一图像流5010E可以显示在静态位置处。具有宽FOV的低分辨率第一图像流5010E可以表示如将由在渲染空间中具有静态位置和取向的第一虚拟相机所捕获的虚拟内容的一个或多个图像。例如，低分辨率的第一图像流5010E可以表示如由头部跟踪的虚拟相机(诸如上面参考图26A-26D所述的头部跟踪的虚拟相机)捕获的虚拟内容的一个或多个图像。第一图像流5010E可以涵盖用户的视觉，以唤起用户的沉浸式体验。
具有相对窄的FOV的高分辨率第二图像流5020E可以被显示在第一图像流5010E的边界内。在一些示例中，第二图像流5020E可以表示将由第二不同虚拟相机捕获的虚拟内容的一个或多个图像，该第二不同虚拟相机在渲染空间中具有可以基于使用眼睛凝视跟踪技术获得的数据来实时动态调节为与用户当前的注视点重合的角度位置的取向。在这些示例中，高分辨率第二图像流5020E可以表示如由中央凹跟踪的虚拟相机(诸如以上参考图26A-26D描述的中央凹跟踪的虚拟相机)捕获的虚拟内容的一个或多个图像。换句话说，当用户的眼睛凝视改变时，可以重新取向从中捕获由第二图像流5020E表示的虚拟内容的一个或多个图像的渲染空间中的视角，使得与第二图像流5020E相关联的视角始终与用户的中央凹视觉保持对齐。
例如，如图26E中所示，当用户的眼睛凝视注视在第一位置时，第二图像流5020E可以涵盖位于渲染空间的第一区域内的虚拟内容。如图26F中所示，当用户的眼睛凝视移动到与第一位置不同的第二位置时，可以调节与第二图像流5020E相关联的视角，使得第二图像流5020E可以涵盖位于渲染空间的第二区域内的虚拟内容。在一些实施例中，第一图像流5010E具有宽FOV，但是如粗网格所示具有低角分辨率。第二图像流5020E具有窄FOV，但是如细网格所示具有高角分辨率。
图26G示意性地示出了根据一些其它实施例的可以呈现给用户的图像的示例性配置。类似于图26E-26F，图26G中的网格正方形示意性地表示了在二维角空间中定义的图像点。与图26E-26F中所示的配置类似，具有宽FOV的低分辨率第一图像流5010G涵盖如从头部跟踪的渲染视角观看的虚拟内容，而具有窄FOV的高分辨率第二图像流5020G涵盖如从中央凹跟踪的渲染视角观看的可以动态地重新取向以便与用户当前的注视点重合的虚拟内容。这里，与第一图像流5010G相关联的FOV的外周可以形成具有圆角的矩形边界，并且与第二图像流5020G相关联的FOV的外周可以形成圆形边界。
图26H示意性地示出了根据又一些其它实施例的可以呈现给用户的图像的示例性配置。类似于图26E-26G，图26H中的网格正方形示意性地表示了在二维角空间中定义的图像点。这里，与第一图像流5010H相关联的FOV的外周和与第二图像流5020H相关联的FOV的外周二者可以形成圆形边界。在一些其它实施例中，与第一图像流5010H相关联的FOV的外周和与第二图像流5020H相关联的FOV的外周，或二者均可以形成椭圆边界或其它形状。在一些实施例中，图26H的AR系统的图像源可以包括扫描光纤，该扫描光纤可以以预定的图案被扫描以为具有所需的边界形状的第一图像流5010H和第二图像流5020H提供光束。
图27示出了如图24所示的视场3002和能视域3004，其覆盖在如图25A中所示的可穿戴显示设备4050中的显示器4052之一上。根据一些实施例，可以在显示器4052的整个区域上显示图26E-26F中所示的宽FOV和低分辨率的第一图像流5010E(第一图像流5010E的相对低分辨率用粗网格示出)，同时窄FOV和高分辨率的第二图像流5020E可以显示在用户当前的中央凹区域3006处(第二图像流5020E的相对高分辨率用细网格示出)。尽管在图27中，第一图像流5010E和第二图像流5020E被示为显示在显示器4052的“平面”中，但是在透视增强现实(AR)显示系统中，第一图像流5010E和第二图像流5020E还可以作为特定角视野内的光场呈现给用户。此类AR显示系统可以产生看起来在用户前方一定距离(例如，2米)处“浮动”的显示平面。显示平面看起来可能比眼镜大得多。该浮动距离显示用于在真实世界上覆盖信息。
图28A-28B示出了根据一些实施例的使用可以呈现给用户的示例性虚拟内容的图26A-26D中描述的一些原理。这样，图28A-28B可以分别表示在第一和第二时间顺序阶段中的观看者和AR系统。此外，图28A-28B中所示的一些或所有组件可以与以上参考图26A-26D所描述的组件相同或至少相似。
图28A-28B的AR系统可以创建或动态地重新定位和/或重新取向与上面参考图26A-26D所描述的头部跟踪的虚拟相机类似的头部跟踪的虚拟相机，从头部跟踪的虚拟相机的视角渲染虚拟内容，并将代表虚拟内容渲染的光投射通过目镜6000并且到观看者的眼睛210的视网膜上。图28A-28B的AR系统还可以创建或动态地重新定位和/或重新取向与上面参考图26A-26D所述的中央凹跟踪的虚拟相机类似的中央凹跟踪的虚拟相机，从中央凹跟踪的虚拟相机的视角渲染虚拟内容，并将代表虚拟内容渲染的光投射通过目镜400并且到观看者的眼睛210的中央凹上。如图28A-28B所示，此类虚拟内容可以包括3D虚拟对象6011、6012和6013。在一些示例中，图28A-28B的AR系统可以同时执行上面刚刚描述的关于头部跟踪的渲染视角的一个或多个操作，以及上面刚刚描述的关于中央凹跟踪的渲染视角的一个或多个操作。在其它示例中，图28A-28B的AR系统可以快速连续地执行此类操作。
在该示例中，图28A-28B中的AR系统所采用的头部跟踪的渲染视角的FOV可以对角地、水平地和/或垂直地在角空间上足够宽以涵盖虚拟对象6011、6012和6013中的每一个虚拟对象。出于示例的目的，可以分别在如图28A和28B中所示的整个第一阶段和第二阶段将观看者头部的位置和取向视为静态，使得头部跟踪的渲染视角的位置和取向在两个阶段中都保持不变。为了使AR系统采用的头部跟踪的渲染视角的FOV足够大以涵盖虚拟对象6011-6013，它必须至少对角地、水平地和/或垂直地跨越α+ζ角度单位的区域。更具体地，在图28A-28B的示例中，可以看到虚拟对象6011、6012和6013可以分别跨越α-β、γ+δ和ζ-ε角度单位的区域。
在图28A中，观看者的眼睛210以第一方式相对于目镜6000取向，使得观看者可以能够在相对径直的方向中看到目镜6000。例如，图28A中的观看者的眼睛210的取向可以与以上参考图26A-26B所描述的观看者的眼睛210的取向相同或相似，并且可以由AR系统使用在此描述的感测组件和/或技术中的一个或多个来确定。这样，在图28A中所示的阶段中，AR系统可以在与头部跟踪和中央凹跟踪的渲染视角5010和5020A分别相似的相对位置和取向处采用头部跟踪和中央凹跟踪的渲染视角。在图28A的特定示例中，AR系统所采用的中央凹跟踪的渲染视角的FOV可以例如涵盖虚拟对象6012，但是可以不涵盖虚拟对象6011和6013中的任何一个虚拟对象。随之而来的是，在图28A中，AR系统可以以高清晰度渲染如将从中央凹跟踪的虚拟相机的视角捕获的虚拟对象6012，并且可以以较低清晰度渲染如将从头部跟踪的虚拟相机的视角捕获的虚拟对象6011和6013。另外，AR系统可以将代表虚拟对象6011、6012和6013的此类渲染的光投射通过目镜6000并且到观看者的眼睛210的视网膜上。在一些实施例中，AR系统还可以以较低清晰度渲染如从头部跟踪的虚拟相机的视角捕获的虚拟对象6012。
图28A还示出了示例性的光场6030A，该光场6030A由目镜6000出耦合并且投射到观看者的眼睛210的视网膜上。光场6030A可以包括代表虚拟对象6011、6012和6013的一个或多个上述渲染的各种角光分量。例如，如将从头部跟踪的虚拟相机的视角捕获的，代表虚拟对象6011的光场6030A的角光分量可以包括相对于观看者的眼睛210以从-α到-β角度单位的范围的角度投射到观看者的眼睛210的视网膜上的那些角光分量，并且如从头部跟踪的虚拟相机的视角捕获的，代表虚拟对象6013的光场6030A的角光分量可以包括将以相对于观看者的眼睛210的从ε到ζ角度单位的范围的角度投射到观看者的眼睛210的视网膜上的那些角光分量。类似地，如将从中央凹跟踪的虚拟相机的视角捕获的，代表虚拟对象6012的光场6030A的角光分量可以包括相对于观看者的眼睛210以从-γ到δ角度单位的范围的角度投射到观看者的眼睛210的中央凹上的那些角光分量。这样，代表虚拟对象6012的光场6030A的分量(即，将以相对于观看者的眼睛210从-γ到δ角度单位的范围的角度投射的分量)可以比代表虚拟对象6011或6013的光场6030A的分量(即，相对于观看者的眼睛210以-α到-β或ε到ζ角度单位的范围的角度投射的分量)在角空间中更密集地分布。以该方式，可以将虚拟对象6012渲染并呈现给观看者的分辨率可以高于可以将虚拟对象6011或6013渲染并呈现给观看者的分辨率。
在图28B中，观看者的眼睛210以与观看者的眼睛210相对于图28A中的目镜6000取向的第一方式不同的相对于目镜6000的第二方式取向。例如，图28B中的观看者的眼睛210的取向可以与以上参考图26C-26D所述的观看者的眼睛210的取向相同或相似，并且可以由AR系统使用在此描述的一个或多个感测组件和/或技术来确定。这样，在图28B中描绘的阶段中，AR系统可以在与头部跟踪和中央凹跟踪的渲染视角5010和5020C分别相似的相对位置和取向处采用头部跟踪和中央凹跟踪的渲染视角。在图28B的特定示例中，AR系统采用的中央凹跟踪的渲染视角的FOV可以例如涵盖虚拟对象6013，但是可以不涵盖虚拟对象6011和6012中的任何一个。随之而来的是，在图28B中，AR系统可以以高清晰度渲染如将从中央凹跟踪的虚拟相机的视角捕获的虚拟对象6013，并且可以以较低清晰度渲染如将从头部跟踪的虚拟相机的视角捕获的虚拟对象6011和6012。另外，AR系统可以将代表虚拟对象6011、6012和6013的此类渲染的光投射通过目镜6000并且到观看者的眼睛210的视网膜上。在一些实施例中，AR系统还可以以较低清晰度渲染如将从头部跟踪的虚拟相机的视角捕获的虚拟对象6013。
图28B还示出了示例性光场6030B，该光场6030B由目镜6000出耦合并且被投射到观看者的眼睛210的视网膜上。光场6030B可以包括代表虚拟对象6011、6012和6013的一个或多个上述渲染的各种角光分量。例如，如将从头部跟踪的虚拟相机的视角捕获的，代表虚拟对象6011的光场6030B的角光分量可以包括相对于观看者的眼睛210从-α到-β角度单位的范围的角度投射到观看者的眼睛210的视网膜上的那些角光分量，并且如从头部跟踪的虚拟相机的视角捕获的，代表虚拟对象6012的光场6030B的角光分量可以包括相对于观看者的眼睛210以从-γ到δ角度单位的范围的角度投射到观看者的眼睛210的视网膜上的那些角光分量。类似地，如将从中央凹跟踪的虚拟相机的视角捕获的，代表虚拟对象6013的光场6030B的角光分量可以包括相对于观看者的眼睛210以从ε到ζ角度单位的范围的角度投射到观看者眼睛210的中央凹上的那些角光分量。这样，代表虚拟对象6013的光场6030B的分量(即，相对于观看者的眼睛210的从ε到ζ角度单位的范围的角度投射的分量)可以比代表虚拟对象6011或6012的光场6030A的分量(即，相对于观看者的眼睛210以从-α到-β或-γ到δ的角度单位的范围的角度投射的分量)在角空间中更密集地分布。以该方式，虚拟对象6013渲染并呈现给观看者的分辨率可以高于虚拟对象6011或6012渲染并呈现给观看者的分辨率。实际上，从图28A的阶段到图28B的阶段，因此在此所述的AR系统已经根据观看者的眼睛402的凝视在各个阶段之间的变化有效地重新取向了可以以高分辨率观看虚拟内容的视角。
图28C-28F使用根据一些实施例的可以向用户呈现的一些示例性图像示出了图3E至图3F中描述的一些原理。在一些示例中，图28C-28F中描绘的一个或多个图像和/或图像流可表示将在特定深度平面(诸如以上参考图25B描述的一个或多个深度平面)处显示的二维图像或其一部分。也就是说，此类图像和/或图像流可以表示已经被投射到距用户固定距离处的至少一个二维表面上的3D虚拟内容。在此类示例中，应当理解，此类图像和/或图像流可以作为具有与以上参考图26A-26D和28A-28B所述的角视野类似的特定角视野的一个或多个光场呈现给用户。
如所描绘的，第一图像流6010包括树。在图28C所示的第一时间段期间，眼睛跟踪传感器可以确定用户的眼睛凝视(即，中央凹视觉)聚焦在包括树的树干的树的第一区域6010-1内。响应于确定用户的眼睛凝视聚焦在第一区域6010-1内，可以将包括与第一图像流6010的第一区域6010-1相关联的高分辨率图像的第二图像流6020在显示第一图像流6010的同时定位在第一区域410-1内。如图28C中所示，第一图像流410可以具有比第二图像流6020更低的分辨率。
在图28D所示的第二时间段期间，眼睛跟踪传感器可以确定用户的眼睛凝视已移动至包括如图28D中所示的树的分支的树的第二区域6010-2。因此，第二图像流420可以被移动到第二区域6010-2，并且其内容改变为与第一图像流6010的第二区域6010-2内的内容相对应。因为较高分辨率的第二图像流6020覆盖了用户中央凹视觉内的第一图像流6010的一部分，所以用户可能不会感知或注意到围绕第二图像流6020的第一图像流6010的该部分的较低分辨率。以该方式，用户可以感知到第一图像流6010和第二图像流6020的组合具有宽FOV和高分辨率二者。此类显示系统可以提供多个优点。例如，显示系统可以在维持相对较小的形状因数并且保持相对较低的计算资源需求的同时提供优异的用户体验。小的形状因数和低计算资源需求可能是由于设备仅需在显示器的有限区域中生成高分辨率图像。
第二图像流6020可以同时或快速连续地覆盖在第一图像流6010上。如上所述，在一些实施例中，由第二图像流6020覆盖的第一图像流6010的内容的子集可以被关闭或以较低的强度呈现，以用于更均匀的亮度和更好的分辨率感知。还应当注意，在一些实施例中，与第二图像流6020相关联的第二图像流可以以其它方式不同于与第一图像流6010相关联的第一图像流。例如，第二图像流的颜色分辨率可以高于第一图像流的颜色分辨率。第二图像流的刷新率也可以高于第一图像流的刷新率。
根据一些实施例，图28E示出示例性的高FOV低分辨率图像帧(即，第一图像流)，并且图28F示出示例性的低FOV高分辨率图像帧(即，第二图像流)。如图28E中所示，将被低FOV高分辨率图像帧覆盖的高FOV低分辨率图像帧的区域6030可以没有虚拟内容。通过省略与区域6030对应的高FOV图像的部分，可以避免由于两个图像中的微小差异而导致的任何图像模糊或涂抹。低FOV高分辨率图像帧的内容(例如，如
图28F中所示)可以包括与区域6030对应的内容的高分辨率版本。
图29A示出了根据一些实施例的显示系统7000A的简化框图。显示系统7000A可包括一个或多个传感器7002，用于检测用户的头部的位置和运动以及用户的眼睛位置和眼间距离。此类传感器可以包括图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线设备、陀螺仪等。在增强现实系统中，一个或多个传感器7002可以安装在头戴式框架上。
例如，在一些实施方式中，显示系统7000A的一个或多个传感器7002可以是头戴式换能器(transducer)系统的一部分并且包括一个或多个惯性换能器以捕获指示用户的头部的运动的惯性量度。这样，在这些实施方式中，该一个或多个传感器7002可以用于感测、测量或收集关于用户的头部运动的信息。例如，这可以用于检测用户的头部的测量运动、速度、加速度和/或位置。
在一些实施例中，该一个或多个传感器7002可包括一个或多个面向前的相机，其可用于捕获关于用户所处的环境的信息。面向前的相机可用于捕获指示用户相对于该环境和该环境中的特定对象的距离和取向的信息。当头戴时，面向前的相机特别适合于捕获指示用户的头部相对于用户所处的环境以及该环境中的特定对象的距离和取向的信息。面向前的相机可用于检测头部运动、头部运动的速度和加速度。面向前的相机也可以例如至少部分地基于用户的头部的取向来用于检测或推断用户的关注中心。可以在任何方向(例如，相对于用户的参考系上和下、左和右)中来检测取向。
该一个或多个传感器7002还可以包括一对面向后的相机，以跟踪用户眼睛的运动、眨眼和聚焦深度。例如，可以通过在用户的眼睛处投射光并检测至少一些该投射光的返回或反射来识别此类眼睛跟踪信息。题为“显示系统和方法”的美国临时专利申请号61/801,219、题为“用于在虚拟现实和增强现实中创建焦平面的方法和系统”的美国临时专利申请号62/005,834、题为“用于增强和虚拟现实的系统和方法”的美国临时专利申请号61/776,771以及题为“使用散斑图用于眼睛跟踪的方法和系统”的美国临时专利申请号62/420,292中提供了关于眼睛跟踪设备的更多细节，其明确地通过引用并入在此。
显示系统7000A可以进一步包括通信地耦合到一个或多个传感器7002的用户取向确定模块7004。用户取向确定模块7004从一个或多个传感器7002接收数据，并使用此类数据来确定用户的头部姿势、角膜位置、瞳孔间距离等。用户取向确定模块7004检测用户的头部的瞬时位置，并且可以基于从一个或多个传感器7002接收的位置数据来预测用户的头部的位置。用户取向确定模块7004还基于从一个或多个传感器7002接收到的跟踪数据，跟踪用户的眼睛。
显示系统7000A可以进一步包括可以采用多种形式中的任何一种形式的控制子系统。控制子系统包括许多控制器，例如一个或多个微控制器、微处理器或中央处理器(CPU)、数字信号处理器、图形处理单元(GPU)、其它集成电路控制器(诸如专用集成电路(ASIC))、可编程门阵列(PGA)(例如，现场PGA(FPGA)，和/或可编程逻辑控制器(PLU))。
在图29A中所示的示例中，显示系统7000A包括中央处理单元(CPU)7010、图形处理单元(GPU)7020以及帧缓冲器7042和7044。简要地，并且如下面进一步详细描述的，CPU7010控制总体操作，而GPU 7020渲染来自数据库7030中存储的三维数据的帧(即，将三维场景转换为二维图像)，并将这些帧存储在帧缓冲器7042和7044中。虽然没有所示，但是一个或多个附加集成电路可以控制从帧缓冲器7042和7044中读入帧和/或从中读出帧，以及显示系统7000A的一个或多个其它部件(诸如图像多路复用子系统7060的部件、中央凹跟踪光束转向部件7080等)的操作。例如，在帧被过度渲染的情况下，读入和/或读出帧缓冲器542和544可以采用动态寻址。显示系统7000A进一步包括只读存储器(ROM)和随机存取存储器(RAM)。显示系统7000A进一步包括三维数据库7030，GPU7020可以从该三维数据库7030访问一个或多个场景的三维数据以渲染帧。
CPU 7010可以包括高FOV低分辨率渲染视角确定模块7012和低FOV高分辨率渲染视角确定模块7014。在一些实施例中，用户取向确定模块7004可以是CPU 7010的一部分。
高FOV低分辨率渲染视角确定模块7012可以包括用于将由用户取向确定模块输出的数据映射到3D空间中的位置以及从中感知高FOV低分辨率图像的角度的逻辑。也就是说，CPU 7010基于从用户取向确定模块7004接收的数据，在任何给定时间确定相对于用户头部固定的虚拟相机的视角。在以上参考图26A-26D和28A-28B描述的示例的上下文中，高FOV低分辨率渲染视角确定模块7012可用于监视如由用户取向确定模块7004指示的头部位置和取向，并相应地控制渲染空间内的至少头部跟踪的虚拟相机的位置和取向。
低FOV高分辨率渲染视角确定模块7014可以包括用于将用户取向确定模块输出的数据(例如，指示用户的凝视和中央凹定位的数据)映射到3D空间中的位置以及从中感知低FOV高分辨率图像的角度的逻辑。也就是说，CPU 7010基于从用户取向确定模块7004接收的数据，在任何给定时间确定相对于用户的中央凹固定的虚拟相机的视角。在以上参考图26A-26D和28A-28B描述的示例的上下文中，低FOV高分辨率渲染视角确定模块7014可用于监视如用户取向确定模块7004所指示的眼睛凝视，并相应地控制渲染空间内的至少中央凹跟踪的虚拟相机的位置和取向。
显示系统7000A可以进一步包括图形处理单元(GPU)7020和数据库7030。数据库7030可以存储3D虚拟内容。GPU 7020可以访问存储在数据库7030中的3D虚拟内容以渲染帧。GPU 7020可以从相对于用户的中央凹固定的虚拟相机的视角(例如，中央凹跟踪的渲染视角)以低FOV和高分辨率渲染虚拟内容的帧，如由GPU 7010输出确定和提供的。GPU7020还可以从相对于用户的头部固定的虚拟相机的视角(例如，头部跟踪/凹式的视角)以高FOV和低分辨率渲染虚拟内容的帧，如由GPU 7010输出确定和提供的。题为“用于在3D重建中检测和组合结构特征的方法和系统”的美国专利申请号15/274,823中提供了讨论在渲染过程中虚拟相机的创建、调节和使用的更多详细信息，为了所有目的，其通过引用明确地整体并入在此。
虚拟内容的高FOV低分辨率渲染帧可以存储在高FOV低分辨率渲染帧缓冲器7042中。类似地，虚拟内容的低FOV高分辨率渲染帧可以存储在低FOV高分辨率渲染帧缓冲器7044中。在一些实施例中，高FOV低分辨率渲染帧缓冲器7042和低FOV高分辨率渲染帧缓冲器7044可以是GPU 7020的一部分。
显示系统7000A可以进一步包括图像多路复用子系统7060和通信地耦合到图像多路复用子系统7060的图像多路复用子系统控制器7050。图像多路复用子系统7060可以包括图像源7062和用于多路复用高FOV低分辨率图像帧和低FOV高分辨率图像帧的多路复用组件7064，基本上如下面参考图30A-30B更详细描述的。图像源7062可包括例如与光纤扫描组件、硅上液晶(LCoS)、MEM扫描镜等组合的光源。多路复用组件7064可包括光学元件，诸如偏振旋转器、可切换光学器件、液晶阵列、变焦透镜等。多路复用组件7064可以在图像源7062内部或外部。
图像多路复用子系统控制器7050通信地耦合到图像多路复用子系统7060、高FOV低分辨率渲染帧缓冲器7042和低FOV高分辨率渲染帧缓冲器7044。控制电路可以向图像源562发送控制信号，使得如上所述，从每个渲染视角呈现适当的图像内容。图像多路复用子系统控制器7050还可结合图像源7062以产生多路复用图像流的方式控制多路复用组件7064。
显示系统7000A可进一步包括中央凹跟踪光束转向组件7080以及通信和/或操作地耦合到中央凹跟踪光束转向组件7080的中央凹跟踪控制器7070。中央凹跟踪控制器7070可以从CPU 7010接收与用户中央凹的位置有关的输出数据(例如，如由低FOV高分辨率渲染视角确定模块7014和/或用户取向确定模块7004所确定的)，并使用此类数据来控制中央凹跟踪光束转向组件7080的位置。中央凹跟踪光束转向组件7080可用于朝向用户的中央凹动态转向或以其它方式引导多路复用图像流的低FOV高分辨率部分(由图像源7062和多路复用组件7064产生)。图像流的此类低FOV高分辨率部分可以例如呈现如将从中央凹跟踪的虚拟相机的视角捕获的虚拟内容。
显示系统7000A还可以包括用于存储计算机可读指令、数据库和可由CPU 7010、GPU 7020使用的其它信息的存储介质，和/或显示系统7000A的一个或多个其它模块或控制器。显示系统7000A可以进一步包括用户可以用来与显示系统交互的输入-输出(I/O)接口，诸如按钮。显示系统7000A还可包括用于与显示系统7000A的另一部分或与互联网进行无线通信的无线天线。
图29B示意性地示出了根据一些实施例的AR系统7000B的横截面视图。AR系统7000B可以结合如以上参考图29A所描述的显示系统7000A的至少一些组件，并且根据一些实施例，可以被装配到如图25A中所示的可穿戴显示设备4050中的显示器4052之一中。例如，AR系统7000B可以包括图像多路复用子系统560，该图像多路复用子系统560可以包括图像源7062和一个或多个多路复用组件。另外，AR系统7000B还可以包括中央凹跟踪光束转向组件7080，其在该示例中可以是机电光学设备，诸如MEM扫描反射镜。与显示系统7000A非常相似，图像多路复用子系统7060可以可通信地和/或可操作地耦合到图像多路复用子系统控制器，并且中央凹跟踪光束转向组件7080可以可通信地和/或可操作地耦合到中央凹跟踪控制器。AR系统7000B可以进一步包括一个或多个入耦合光栅(ICG)7007和一个或多个目镜7008。每个入耦合光栅7007可以被配置为将第一光束和第二光束耦合到相应的目镜7008中。每个目镜7008可以包括用于将第一光束和第二光束出耦合到用户的眼睛中的出耦合光栅。入耦合光栅7007和目镜7008在此可以被称为“观看组件”。应当理解，在此公开的各种入耦合光栅(ICG)可以对应于图9A-9C的入耦合光学元件700、710、720。
图30A-30B示意性地示出了根据一些实施例的用于将图像投射到用户的眼睛的显示系统8000。显示系统8000包括图像源8010。如图30A中所示，图像源8010可以被配置为投射与第一图像流相关联的第一光束8052，并且如图30B中所示，投射与第二图像流相关联的第二光束8054。应当注意，第一光束8052和第二光束8054在图30A至图30B中被描绘为示意性光线，其不旨在表示精确的光线追踪的光线。第一光束8052可以在角度上被放大以覆盖较宽的FOV，从而导致较低的角分辨率图像流。如上面参考图26A-26F和28A-28D所讨论的，第二光束8054可以具有带有较高的角分辨率的较窄的FOV。
图像源8010可以包括根据各种实施例的硅上液晶(LCoS或LCOS)显示器(也可以称为空间光调制器)、扫描光纤或扫描反射镜。例如，图像源8010可以包括扫描设备，该扫描设备响应于控制信号以预定的图案扫描光纤。预定图案可以对应于某些所需的图像形状，诸如矩形或圆形形状。
根据一些实施例，与第一图像流相关联的第一光束8052和与第二图像流相关联的第二光束8054可以由图像源8010多路复用并输出为合成光束。例如，偏分复用、时分复用、波分复用等可以用于多路复用与第一图像流相关联的光束和与第二图像流相关联的光束。
在使用偏分复用的实施例中，第一光束8052可以处于第一偏振状态，并且第二光束8054可以处于与第一偏振状态不同的第二偏振状态。例如，第一偏振状态可以是在第一方向中取向的线性偏振，并且第二偏振状态可以是在与第一方向正交的第二方向中取向的线性偏振。在一些其它实施例中，第一偏振状态可以是左旋圆偏振，而第二偏振状态可以是右旋圆偏振，反之亦然。第一光束8052和第二光束8054可以由图像源8010同时或顺序地投射。
显示系统8000可以进一步包括偏振分束器(PBS)8030，该偏振分束器(PBS)8030被配置为根据一些实施例将第一光束8052与第二光束8054解复用。如图30A中所示，偏振分束器8030可以被配置为沿第一光路朝向观看组件反射第一光束8052，并且如图30B中所示，沿第二光路透射第二光束8054。
偏振分束器8030的替代方案也可以用于解复用光束。作为示例，在此描述的分束器，包括但不限于图30A和30B的偏振分束器8030，可以用可切换反射器，诸如液晶可切换反射器代替或实现。在具有此类可切换反射器的实施例中，在此公开的所有其它方面适用并且可以是相似的，例外之处在于偏振分束器被可切换反射器代替。作为示例，可切换反射器，诸如图53A的可切换反射器50042，可以响应于控制信号而在反射状态和透明状态之间切换。通过协调可切换反射器的切换，可切换反射器可以操作以解复用光束。作为示例，当第一光束入射在可切换反射器上时，可切换反射器可以是反射的，并且当第二光束入射在可切换反射器上时，可反射器可以是透明的，从而允许解复用第一和第二光束。在一些实施例中，可切换反射器可以相对于光束8052、8054成一定角度(例如，成45°角)定位。结果，在透射状态下，光束8052、8054之一透射通过可切换反射器；并且在反射状态下，光束8054、8052中的另一个被反射，使得光束在与透射通过反射器的光束不同的远离可切换反射器的方向中行进。
参考图30B，显示系统8000可进一步包括沿第二光路定位于偏振分束器8030下游的扫描反射镜8060。扫描反射镜8060被配置为将第二光束8054朝向观看组件反射以投射到用户的眼睛。根据一些实施例，可以基于用户眼睛的注视位置来控制扫描反射镜8060，以动态地投射第二图像流。例如，扫描反射镜8060可以经由控制电路与跟踪用户眼睛运动的眼睛凝视跟踪器进行电通信。控制电路可以基于用户当前的注视点发送控制信号以倾斜和/或平移扫描反射镜8060，使得第二光束8054将第二图像流投射到确定为覆盖用户中央凹视觉的区域。在一些实施例中，扫描反射镜8060可以是具有两个自由度(即，能够以两个独立的角度被扫描)的微机电系统(MEMS)扫描器。
在一些其它实施例中，代替使用扫描反射镜8060，显示系统8000可以使用固定反射镜。控制第二图像流的位置可以通过横向移位第三光学透镜8046来实现(参见下面对第三光学透镜8046的描述)。例如，第三光学透镜8046可以如箭头所指示地上下移位以及在页面内和在页面外移位，以在二维上移动第二图像流的位置。
在一些实施例中，显示系统8000可以进一步包括定位于偏振分束器8030和扫描反射镜8060之间的偏振旋转器8022。偏振旋转器8022可以被配置为旋转第二光束8054的偏振，使得当第二光束进入观看组件时，第二光束可以具有与第一光束8052的偏振大致相同的偏振。偏振旋转器8022可以包括例如半波片。
在一些实施例中，显示系统8000可以进一步包括用于第一光路的第一中继透镜组件和用于第二光路的第二中继透镜组件。第一中继透镜组件可以包括：第一光学透镜8042，其设置在图像源8010与偏振分束器8030之间；以及第二光学透镜8044，其沿第一光路设置在偏振分束器8030的下游。第二中继透镜组件可以包括第一光学透镜8042和沿第二光路设置在偏振分束器8030的下游的第三光学透镜8046。
图30C示意性地示出了根据一些实施例的增强现实(AR)系统的横截面视图。根据一些实施例，AR系统可以被装配到可穿戴显示设备4050中的显示器4052之一中，如图25A中所示。AR系统可以包括用于投射与第一图像流相关联的第一光束和与第二图像流相关联的第二光束的光投影仪8000。光投影仪8000可以类似于图30A-30B中所示的显示系统。AR系统可以进一步包括一个或多个入耦合光栅(ICG)8070和一个或多个目镜8080。每个入耦合光栅8070可以被配置为将第一光束和第二光束耦合到相应的目镜8080中。每个目镜8080可包括出耦合光栅，用于将第一光束和第二光束出耦合到用户的眼睛中。入耦合光栅8070和目镜8080在此可以被称为“观看组件”。
图30D示出了根据一些实施例的显示系统的简化框图。该显示系统可以包括图像源8010和扫描反射镜8060，基本上如上面参考图30A-30C所述。该显示系统还可以包括眼睛凝视跟踪器8071和控制电路8081。控制电路8081可以通信地耦合到图像源8010、扫描反射镜8060和眼睛凝视跟踪器8071。控制电路8081可以基于如由眼睛凝视跟踪器8071确定的用户当前的注视点来发送控制信号以倾斜和/或平移扫描反射镜8060，使得第二光束8054将第二图像流投射到确定为覆盖用户中央凹视觉的区域。控制电路8081还可以向图像源8010发送控制信号，使得如上所述在第一图像流和第二图像流中呈现适当的图像内容。显示系统还可以包括中央处理单元(CPU)8096、图形处理单元(GPU)8098、用于存储计算机可读指令、数据库以及由控制电路8081、CPU 8096和GPU 8098可用的其它信息的存储介质。显示系统可以进一步包括用户可以用来与显示系统进行交互的输入输出(I/O)接口8092，诸如按钮。显示系统还可以包括用于与显示系统的另一部分或与互联网进行无线通信的无线天线8094。显示系统还可以包括其它传感器，诸如相机。
图31A示意性地示出了根据一些实施例的第一中继透镜组件的操作原理。第一中继透镜组件可以以类似于望远镜的方式操作。与第一图像流相关的准直的第一光束8052以入射角θA入射在第一光学透镜8042上，并且由第一光学透镜8042聚焦到大致位于第一光学透镜8042的焦平面处的实像点P0。实像点P0也大致位于第二光学透镜8044的焦平面处。因此，从实像点P0发射的第一光束8052被第二光学透镜80044准直并从第二光学透镜8044以透射角θB出射。
θB和θA的比率可以产生第一角放大率M1，其中
Figure BDA0002282417100000971
第一角放大率M1的大小可以近似等于第一光学透镜8042的焦距fA与第二光学透镜8044的焦距fB之比。因此，
Figure BDA0002282417100000972
在一些实施例中，第一中继透镜组件被配置为使得第一角放大率M1的大小例如通过使fA>fB而大于一。因此，再次参考图30A，与第一图像流相关联的准直的第一光束8052可以在离开第二光学透镜8044时由第一中继透镜组件进行角度放大，然后将其投射到观看组件以呈现具有相对宽的第一视野FOV1的第一图像流。
图31B示意性地示出了根据一些实施例的第二中继透镜组件的操作原理。第二中继透镜组件也可以以与望远镜类似的方式操作。与第二图像流相关联的准直的第二光束8054以入射角θA入射在第一光学透镜8042上，并由第一光学透镜8042聚焦到大致位于第一光学透镜8042的焦平面处的实像点P0。实像点P0也大致位于第三光学透镜8046的焦平面处。因此，从实像点P0发射的第二光束8054由第三光学透镜8046准直并从第三光学透镜8046以透射角θC出射。
θC和θA的比率可以产生第二角放大率M2，其中
Figure BDA0002282417100000973
第二角放大率M2的大小可以近似等于第一光学透镜8042的焦距fA与第三光学透镜644的焦距fC之比。因此，
Figure BDA0002282417100000974
第二透镜组件可以被配置为使得第二角放大率M2的大小小于第一角放大率M1。在一些实施例中，第二角放大率M2可以例如通过使fA≤fC而具有等于一(即，没有放大率)或小于一(即，缩小)的值。因此，再次参考图30B，与第二图像流相关联的准直的第二光束8054在其离开第三光学透镜8046时可以具有第二视野FOV2，第二视野FOV2小于与第一图像流相关联的第一光束8052的第一视野FOV1。
应注意，在图31A中，准直的第一光束8052在入射到第一光学透镜8042上时具有初始光束宽度wA，并且在离开第二光学透镜8044时具有最终光束宽度wB，其中最终光束宽度wB比初始光束宽度wA窄。还要注意，在图31B中，准直的第二光束8054在入射到第一光学透镜8042上时具有初始光束宽度wA，并且在其离开第三光学透镜8046时具有最终光束宽度wC，其中最终光束宽度wC与初始光束宽度wA大致相同。换句话说，第二光束8054的最终光束宽度wC比第一光束8052的最终光束宽度wB更宽。较宽的光束宽度将导致眼睛感知到更锐利的角分辨率。这可以用高斯光束物理学来解释，其中具有较宽束腰的准直光束在传播至无限远时具有较小的角度发散。因此，增加FOV可以减小光束宽度，并且从而可以减小角分辨率，这与拉格朗日不变式是一致的。
在一些实施例中，第一角放大率M1可以具有大约3的大小，并且第二角放大率M2可以具有大约1的大小。参考图30A-30B，假定与第一图像流相关联的准直的第一光束8052和与第二图像流相关联的准直的第二光束8054具有与图像源8010所投射的大约20度相同的初始FOV。离开第二光学透镜644的准直的第一光束8052可以具有约60度的第一视野FOV1，而离开第三光学透镜8046的准直的第二光束654可以具有约20度的第二视野FOV2。在一些实施例中，第一FOV可以在约30度到约90度的范围内；并且第二FOV可以在约10度到约30度的范围内。
如图28C-28D中所示，第二图像流6020可以是第一图像流6010的一部分的高分辨率版本，并且覆盖在宽FOV和低分辨率的第一图像流6010上并相对于其正确对齐。第二图像流6020的内容随着第二图像流相对于第一图像流6010移动而变化，使得第二图像流6020的内容对应于第一图像流6010的被第二图像流6020覆盖的部分。由于第二图像流6020持续覆盖用户的中央凹视觉，因此用户可以将第一图像流6010和第二图像流6020的组合感知为具有宽FOV和高分辨率的合成图像流。
图31C-31D示意性地示出了根据一些其它实施例的显示系统10000。显示系统10000包括图像源9010和分束器9030。图像源9010可以提供与第一图像流相关联的第一光束8052和与第二图像流相关联的第二光束8054。第一光束8052和第二光束8054可以是时分复用、偏分复用、波分复用等。分束器9030可以用作解复用器，以分别朝向第一光路和第二光路分离第一光束8052和第二光束8054，如图31C和31D中所示。
显示系统10000还可以包括沿第一光路设置在分束器9030的下游的第一光学透镜9042和第二光学透镜9044。第一光学透镜9042和第二光学透镜9044的组合可以用作用于第一光束8052的第一中继透镜组件。在一些实施例中，第一中继透镜组件可以为第一光束8052提供大于1的角放大率，其如以上关于图31A所描述的。
显示系统10000还可包括沿第二光路设置在分束器9030的下游的第三光学透镜9045和第四光学透镜9046。第三光学透镜9045和第四光学透镜9046的组合可以用作第二光束8054的第二中继透镜组件。在一些实施例中，第二中继透镜组件可以为第二光束8054提供基本上等于或小于1的角放大率，如以上关于图31B所描述的。
显示系统10000还可包括沿第二光路在第二中继透镜组件的下游的扫描反射镜9060。扫描反射镜9060被配置为将第二光束8054朝向观看组件反射以投射到用户的眼睛。根据一些实施例，可以基于用户眼睛的注视位置来控制扫描反射镜9060，以动态地投射第二图像流。
显示系统10000还可包括沿第二光路设置在扫描反射镜9060的下游的第五光学透镜9047和第六光学透镜9048。第五光学透镜9047和第六光学透镜9048的组合可以用作第二光束8054的第三中继透镜组件。在一些实施例中，第三中继透镜组件可以为第二光束8054提供基本上等于或小于1的角放大率，如以上关于图31B所描述的。
在一些实施例中，显示系统10000还可包括偏振器9080和切换偏振旋转器9090。图像源9010可提供时分复用的非偏振第一光束8052和非偏振第二光束8054。第一光束652和第二光束654可以在穿过偏振器9080之后变为偏振。切换偏振旋转器9090可以与第一光束8052和第二光束8054的时分复用同步地操作。例如，可以操作切换偏振旋转器9090，使得第一光束8052的偏振在穿过切换旋转器9090之后不变，而第二光束8054的偏振在穿过切换偏振旋转器9090之后旋转90度，反之亦然。因此，如图31C中所示，第一光束8052可以被偏振分束器9030沿第一光路反射，并且如
图31D中所示，第二光束8054可以被偏振分束器9030沿第二光路透射。
图32A-32C示意性地示出了根据一些其它实施例的显示系统10000。在一些示例中，显示系统10000的一个或多个组件可以与以上参考图31C-31D所描述的显示系统的一个或多个组件相同或相似。显示系统10000包括图像源10010、分束器10030、第一光学透镜10042、第二光学透镜10044、第三光学透镜10045、第四光学透镜10046、第五光学透镜10047、第六光学透镜10048、扫描反射镜10060、偏振器10080、切换偏振旋转器10090，在一些示例中，它们分别可以与以上参考图31C-31D所述的显示系统的元件9010、9030、9042、9044、9045、9046、9047、9048、9060、9080和9090相同或相似。
更具体地，图32A-32C示出了三个不同阶段中的每个阶段的显示系统10000。在三个阶段的每一个阶段中，图像源10010可以输出如将从头部跟踪的虚拟相机的视角捕获的代表虚拟内容的一定范围的角光场分量，以及如从中央凹跟踪的虚拟相机的视角捕获的代表虚拟内容的一定范围的角光场分量。两组角光场分量可以例如是时分复用、偏分复用、波分复用等。这样，与头部跟踪的虚拟相机相关联的角光场分量可以被偏振分束器10030沿第一光路向上转移通过第一光学透镜10042和第二光学透镜10044的，并且与中央凹跟踪的虚拟相机相关联的角光场分量可以沿第二光路穿过偏振分束器10030，朝向扫描反射镜10060通过第三光学透镜10045和第四光学透镜10046，并向上反射通过第五光学透镜10047和第六光学透镜10048。
可以以相对低的分辨率在图像源10010的上游渲染由与头部跟踪的虚拟相机相关联的角光场分量表示的虚拟内容，而可以以相对高的分辨率在图像源10010的上游渲染由与中央凹跟踪的虚拟相机相关联的角光场分量表示的虚拟内容。并且，如图32A-32C中所示，显示系统10000可以被配置为将与头部跟踪的渲染视角相关联的角光场分量和与中央凹跟踪的渲染视角相关联的角光场分量分别输出为高FOV和低FOV光场。在图32A-32C的每一个图中，沿第一光路传播的光场分量由显示系统10000作为相对较宽的光锥10052输出。
在图32A中所示的阶段中，扫描反射镜10060处于第一位置。这样，可以看出，穿过偏振分束器10030并沿第二光路传播的光场分量由显示系统10000作为跨越角空间的基本中心区域的相对窄的光锥10054A输出。在以上参考图28A-28B描述的示例的上下文中，当用户的眼睛以与图28A中观看者的眼睛210的方式类似的方式取向时，显示系统10000可以例如将扫描反射镜10060放置在图32A中所示的第一位置中。以该方式，光分量10054A可以在渲染空间的相对集中的区域中表示虚拟内容，诸如虚拟对象6012。除了图28A-28B的示例之外，相对较宽的光锥10052可以例如包括渲染空间的偏心区域中的虚拟内容，诸如虚拟对象6011和6013。在一些示例中，相对宽的光锥10052可以进一步包括表示与光分量10054A所代表的虚拟内容相同的虚拟内容但以较低分辨率的光分量。
在图32B中所示的阶段中，扫描反射镜10060处于与第一位置不同的第二位置。这样，可以看出，穿过偏振分束器10030并沿第二光路传播的光场分量由显示系统10000输出为跨越角空间的一个基本上偏心的区域的相对窄的光锥10054B。在以上参考图28A-28B描述的示例的上下文中，当观看者注视虚拟对象6011时，当用户的眼睛以与观看者的眼睛210的方式类似的方式取向时，显示系统10000可以例如将扫描反射镜10060放置在图32B中所示的第二位置。以该方式，光分量10054B可以在渲染空间的一个相对偏心区域中表示虚拟内容，诸如虚拟对象6011。除了图28A-28B的示例之外，相对宽的光锥10052可以例如包括渲染空间的另一个偏心区域中的虚拟内容，诸如虚拟对象6013，以及渲染空间的集中区域中的虚拟内容，诸如虚拟对象6012。在一些示例中，相对宽的光锥10052可进一步包括表示与光分量10054B所代表的虚拟内容相同的虚拟内容但以较低分辨率的光分量。
在图32C中所示的阶段中，扫描反射镜10060处于与第一位置和第二位置不同的第三位置。这样，可以看出，穿过偏振分束器10030并沿第二光路传播的光场分量由显示系统10000输出为跨越角度空间的另一个不同的基本上偏心的区域的相对窄的光锥10054C。在以上参考图28A-28B描述的示例的上下文中，当用户的眼睛以与图28B中观看者的眼睛210的方式类似的方式取向时，显示系统10000可以例如将扫描反射镜10060放置在图32C中所示的第二位置中。以该方式，光分量10054C可以在渲染空间的另一个相对偏心的区域中表示虚拟内容，诸如虚拟对象6013。除了图28A-28B的示例之外，相对宽的光锥10052可以例如包括在上面参考图32B描述的渲染空间的偏心区域中的虚拟内容，诸如虚拟对象6011，以及在渲染空间的集中区域中的虚拟内容，诸如虚拟对象6012。在一些示例中，相对宽的光锥10052可以进一步包括表示与光分量10054C所代表的虚拟内容相同的虚拟内容但以较低分辨率的光分量。
图33A-33B示意性地示出了根据一些实施例用于呈现第一图像流和第二图像流的显示系统11000，其中时分复用被用于多路复用与第一图像流相关联的第一光束8052和与第二图像流相关联的第二光束8054。显示系统11000类似于显示系统8000。图像源11010可以被配置为提供时分复用的第一光束8052和第二光束8054。第一光束8052和第二光束8054可以处于与从图像源8010输出的偏振状态相同的偏振状态。应注意，图33A-33B中将第一光束8052和第二光束8054描绘为示意性光线，并不旨在表示精确的光线追踪光线。
显示系统11000可以进一步包括切换偏振旋转器11020，该切换偏振旋转器11020可以与第一光束8052和第二光束8054的时分复用同步。例如，切换偏振旋转器11020可以被操作，使得第一光束8052的偏振在穿过切换旋转器11020之后没有改变，而第二光束8054的偏振在穿过切换偏振旋转器11020之后旋转了90度，反之亦然。因此，如图33A中所示，第一光束8052可以被偏振分束器8030沿第一光路反射，并且如在图33B中所示，第二光束8054可以被偏振分束器8030沿第二光路透射。
在一些其它实施例中，切换偏振旋转器11020可以是图像源11010的一部分。在这种情况下，第一光束8052和第二光束8054将被顺序地发射，并且从图像源8010投射的第一光束8052将在第一方向中偏振，并且从图像源8010投射的第二光束8054将在第二方向中偏振。
根据一些实施例，在时分复用与第一图像流相关联的第一光束8052和与第二图像流相关联的第二光束8054的情况下，可以使用可切换反射镜来代替图30A-30B、31C-31D和33A-33B中所示的偏振分束器8030。可切换反射镜的切换可与第一光束8052和第二光束8054的时分复用同步。例如，可切换反射镜可针对第一光束8052切换到第一状态，使得如图30A、图31C和图33A中所示，该可切换反射镜作为沿第一光路反射第一光束8052的反射镜操作，并且针对第二光束8054切换到第二状态，使得如图30B、31D和33B中所示，该可切换反射镜作为沿第二光路透射第二光束8054的透明光学元件操作。
根据一些实施例，波分复用可以用于多路复用与第一图像流相关联的第一光束和与第二图像流相关联的第二光束。例如，第一光束可以由红色、绿色和蓝色的第一组波长范围的光组成，而第二光束可以由红色、绿色和蓝色光的第二组波长范围的光组成。两组波长范围可以相对于彼此移动，但是第二组波长范围的复合产生与由第一组波长范围的复合产生的白光基本上相同的白光。
在使用波分复用的情况下，显示系统可以包括二向色分束器，该二向色分束器代替偏振分束器以分离与第一图像流相关联的第一光束和与第二图像流相关联的第二光束。例如，二向色分束器可以被配置为对于第一组波长范围具有高反射率值和低透射率值，并且对于第二组波长范围具有低反射率值和高透射率值。在一些实施例中，第一光束和第二光束可以同时投射而无需可切换偏振旋转器。
图34A-34B示意性地示出了根据一些其它实施例的显示系统12000。显示系统12000包括图像源12010。图像源12010可以被配置为投射与第一图像流相关联的第一光束12052，如图34A中所示，以及与第二图像流相关联的第二光束12054，如图34B中所示。如上面参考图26E-26F所讨论的，第一图像流可以是宽FOV和低分辨率图像流，而第二图像流可以是窄FOV和高分辨率图像流。第一光束12052和第二光束12054可以使用例如偏分复用、时分复用、波分复用等进行复用。在图34A-34B中，第一光束12052和第二光束12054被描绘为示意性光线，其不旨在表示精确的光线追踪的光线。
根据一些实施例，显示系统12000可以进一步包括分束器12030，该分束器12030被配置为对第一光束12052和第二光束12054进行解复用。例如，分束器12030可以是偏振分束器(PBS)或二向色分束器。分束器12030可以被配置为沿第一光路反射第一光束12052，如图34A中所示，并且沿第二光路透射第二光束12054，如图34B中所示。
显示系统12000可以进一步包括可切换光学元件12040。尽管可切换光学元件12040被图示为单个元件，但是其可以包括用作可切换中继透镜组件的一对子可切换光学元件。每个子可切换光学元件可以被切换到第一状态，使得其作为具有第一光焦度的光学透镜而操作，或者被切换到第二状态，以使得其作为具有与第一光焦度不同的第二光焦度的光学透镜而操作。这样，如图34A中所示，当子可切换光学元件切换到第一状态时，可切换光学元件12040可提供第一角放大率，并且如图34B中所示，当子可切换光学元件切换到第一状态时，提供与第一角放大率不同的第二角放大率。
每个子可切换光学元件可以采用多种形式，包括例如液晶变焦距透镜、可调谐衍射透镜或可变形透镜。通常，可以应用可以被配置为改变形状或配置以调节其光焦度的任何透镜。在一些实施例中，每个子可切换光学元件可以是多焦点双折射透镜，该多焦点双折射透镜具有针对具有第一偏振的光的第一光焦度和针对具有第二偏振的光的与第一光焦度基本上不同的第二光焦度。例如，多焦点双折射透镜可以包括通过在限定的条件下拉伸聚合物通过取向过程而制成双折射的聚合物，使得该聚合物表现出寻常折射率no和非寻常折射率ne。
在第一光束12052和第二光束12054被时分复用的情况下，可切换光学元件12040的切换可以与第一光束12052和第二光束12054的时分复用同步，使得如图34A中所示，每个子可切换光学元件作为针对第一光束12052具有第一光焦度的光学透镜而操作，并且如在图34B中所示，作为针对第二光束12054具有第二光焦度的光学透镜而操作。因此，与第一图像流相关联的第一光束12052可以在它们离开可切换光学元件12040时被可切换光学元件12040进行角度放大，并且随后可以被投射到观看组件以相对宽的第一视野FOV1呈现第一图像流。
显示系统12000可以进一步包括如图34B中所示沿第二光路定位在分束器12030下游的第一反射镜12060。第一反射镜12060可以将第二光束12054朝分束器12030反射回去，该光束随后可以由分束器12030朝向第二反射镜12070反射。
如图34B中所示，第二反射镜12070定位于分束器12030下方。第二反射镜12070可以将第二光束12054朝向分束器12030反射回去，该光束随后可以由分束器12030朝向可切换光学元件12040透射。如上所述，每个子可切换光学元件可以切换到第二状态，使得其可以作为针对第二光束12054具有第二光焦度的光学透镜操作。第二光焦度可以小于与第一状态关联的第一光焦度，或者基本上为零或负。因此，第二光束12054可以在角度上被放大小于第一光束12052的量，或者在第二光束12054离开可切换光学元件12040时不被放大或缩小。因此，第二光束12054可以随后投射到观看组件用于以相对窄的第二视野FOV2呈现第二图像流。
在一些实施例中，第二反射镜12070可以被配置为二维(2D)扫描反射镜(即，具有两个旋转自由度的扫描反射镜)，诸如2D MEMS扫描仪，其可以在两个方向中倾斜，如在图34B中示出。可以基于用户眼睛的注视位置来控制第二反射镜12070的倾斜，使得第二光束12054可以将第二图像流投射到用户的中央凹视觉处。在一些其它实施例中，第二反射镜12070可以是固定反射镜，而第一反射镜12060可以是2D扫描反射镜。在一些另外的实施例中，第一反射镜可以是可以在第一方向中倾斜的一维(1D)扫描反射镜(即，具有一个旋转自由度的扫描反射镜)，并且第二反射镜可以是可以在第二方向中倾斜的1D扫描反射镜。
图35示意性地示出了根据一些其它实施例的显示系统13000。显示系统13000包括图像源13010。图像源13010可以被配置为以右旋圆偏振(RHCP)提供与第一图像流相关联的第一光束和以左旋圆偏振(LHCP)提供与第二图像流相关联的第二光束(反之亦然)。
显示系统13000可以进一步包括分束器13030，该分束器13030被配置为对第一光束和第二光束进行解复用。例如，分束器13030可以包括反射右旋圆偏振的第一光束并透射左旋圆偏振的第二光束的液晶材料。
显示系统13000可以进一步包括第一可切换光学元件13042和第二可切换光学元件13044，它们的组合可以用作中继透镜组件。第一可切换光学元件13042和第二可切换光学元件13044中的每一个可切换光学元件可以包括液晶材料，使得其具有用于右旋圆偏振光的第一焦距fRHCP和用于左旋圆偏振光的第二焦距fLHCP。因此，第一可切换光学元件13042和第二可切换光学元件13044的组合可以向第一光束提供第一角放大率，并且向第二光束提供与第一角放大率不同的第二角放大率。例如，第一角放大率可以大于1，并且第二角放大率可以等于1或小于1。
图36A示意性地示出了根据一些实施例的增强现实近眼显示系统14000。图36A示出了用于一只眼睛210的显示系统14000的一部分。实际上，将为用户的另一只眼睛提供第二此类系统。根据实施例，两个此类系统被结合在增强现实眼镜中。参考图36A，红色激光二极管14002通过红色激光准直透镜14004光学耦合到红-绿-蓝(RGB)二向色组合立方体14008的红色光输入面14006。绿色激光二极管14010通过绿色激光准直透镜14012光学耦合到RGB二向色组合立方体14008的绿色光输入面14014。类似地，蓝色激光二极管14016通过蓝色激光准直透镜14018光学耦合到RGB二向色组合立方体14008的蓝色光输入面14020。RGB二向色组合立方体14008具有输出面14022。RGB二向色组合立方体14008包括设置为45度的红色反射二向色反射镜(短波长通过反射镜)14024，以便反射来自红色激光二极管14002的光通过输出面14022。RGB二向色组合立方体14008还包括设置为135度(垂直于红色反射二向色反射镜14024)的蓝色反射二向色反射镜(长波长通过)14026，以便将来自蓝色激光二极管14016的光反射至输出面14022。来自绿色激光二极管14010的光穿过红色反射二向色反射镜14024和蓝色反射二向色反射镜14026(由其透射)到输出面14022。红色反射二向色反射镜14024和蓝色反射二向色反射镜14026可以实现为薄膜光学干涉膜。
红色、绿色和蓝色激光二极管14002、14010、14016分别用红色、蓝色和绿色通道图像信息调制。依次重复包括第一时段和随后时段的循环，在该第一时段中，将被引导至用户的视网膜中央凹的图像信息输出；在随后时段中，将被引导至用户视网膜的更大部分的图像信息输出。在第一时段中引导至用户视网膜的图像信息与在该循环的后续时段期间引导至用户视网膜的图像信息之间可能存在一定的角度重叠。换句话说，在这两个时段期间，用户眼睛的某些部分可能会接收光。代替试图获得尖锐的边界，可以使用以逐渐减小的强度为特征的重叠边界。下面将描述实现上述功能的光学设备。
二向色组合立方体14008输出包括红色、蓝色和绿色分量的准直光束14028。准直光束14028入射在第一两个自由度的图像扫描反射镜14030上。图像扫描反射镜14030具有两个旋转自由度，并且可以取向为预定角度范围内的角度。图像扫描反射镜14030的每个取向有效地对应于图像空间中的角坐标。基于图像信息，与红色、绿色和蓝色激光二极管14002、14010、14016的调制协作地扫描图像扫描反射镜14030的取向，以便最终将图像呈现给用户的眼睛。
由图像扫描反射镜14030偏转的光通过第一中继透镜元件14032耦合到偏振旋转开关14034。可替代地，偏振旋转开关可以位于更靠近激光二极管14002、14010、14016处。该偏振旋转开关14034由电子设备(图36A中未示出)电控制。偏振旋转开关14034可以被实现为液晶偏振旋转开关。偏振旋转开关14034接收由激光二极管14002、14010、14016输出并通过准直透镜14004、14012、14018和RGB二向色组合立方体14008传输的特定线性偏振的光，而不改变偏振。在外部电信号的控制下的偏振旋转开关14034或者使入射光通过而不改变其偏振，或者将光的偏振旋转90度。
离开偏振旋转开关14034的光耦合到偏振分束器(PBS)14036。PBS14036在其中已经嵌入对角地跨过PBS 14036设置的偏振选择反射器14038。偏振选择反射器14038可以是这种类型，包括平行的金属导线阵列(在图36A中不可见)。平行于金属导线偏振的光(即，具有电场方向)被反射，并且垂直于导电金属线偏振的光被透射。在图36A中所示的实施例的情况下，假设导电金属线垂直于图纸平面取向。用此类取向的偏振选择反射器14038将反射S偏振光并透射P偏振光。
首先考虑偏振旋转开关14034处于输出P偏振光的状态的情况，这种P偏振光将穿过偏振选择反射器14038并且穿过PBS 14036，完全到达第一四分之一波片(QWP)14040。第一QWP 14040被取向成将P偏振光转换为右旋圆偏振(RHCP)光。(可替代地，第一QWP可能已被取向成将P偏振光转换为LHCP，在考虑了图36A的其余描述之后，将在其中对以下描述的其它组件进行改变，这将是显而易见的)。在穿过第一QWP14040之后，光将到达第二中继透镜元件14042。第一中继透镜元件14032和第二中继透镜元件14042用于一体(unity)放大率的无焦点复合透镜。注意，图像扫描反射镜14030与第一中继透镜元件14032间隔开与第一中继透镜元件14032的焦距相等的距离。第二中继透镜元件14032将重新准直光(已经由准直透镜14004、14012、14018初始准直的光)。还应注意，从第二中继透镜元件14042传播的光将在与第二中继透镜元件14042间隔开第二中继透镜元件14042的焦距的点P1附近穿过光轴OA。在图36A中所示的实施例中，第一中继透镜元件14032和第二中继透镜元件14042具有相同的焦距。
在离开第二中继透镜元件14042之后，光将入射在双倍率无焦放大镜(afocalmagnifier)14048的第一组14046的第一组正折射透镜14044上。除了第一组正折射透镜14044之外，第一组14046还包括第一组几何相位透镜14050。在穿过第一组几何相位透镜14050之后，光穿过第二组14052，该第二组14052包括第二组正折射透镜14054和第二组几何相位透镜14056。几何相位透镜14050、14056包括按图案排列的液晶材料。几何相位透镜(也称为“偏振定向平面透镜”)可从新泽西州巴灵顿的Edmund Optics获得。几何相位透镜14050、14056具有以下特性：它们是用于具有与它们的旋向性匹配的旋向性(RH或LH)的圆偏振光的正透镜，并且是用于相反旋向性的圆偏振光的负透镜。几何相位透镜还具有以下特性：在透射光时，它们会反转圆偏振光的旋向性。在图36A中所示的实施例中，几何相位透镜14050、14056是右旋的。应当注意，可以对该系统进行修改以适应与左旋几何相位透镜一起使用。
在操作中，当RHCP光穿过第一组14046时，第一组几何相位透镜14050将充当负透镜，使得第一组14046的正光焦度将小于仅第一组折射透镜14044的正光焦度，并且第一组14046将具有大约等于从第一组14046的主平面到图36A中所示的点FRHCP的距离的焦距。通过第一组几何相位透镜14050的传播将光转换为左旋圆偏振(LHCP)状态。对于LHCP状态的光，第二组几何相位透镜14056将具有正屈光力，并且因此第二组14052的正屈光力将大于仅第二组正折射透镜14054的正屈光力。在该情况下，第二组14052的焦距也将等于从第二组14052的主平面到点FRHCP的距离，下标“RHCP”是指进入放大镜14048的光的偏振状态。因为点FRHCP比第一组14046更靠近第二组14052，所以双倍率无焦放大镜14048将是对于从第二中继透镜元件14042接收到的RHCP光的放大镜(具有大于1的放大率)。
现在考虑第二种情况，其中偏振旋转开关14034处于输出S偏振光的状态，这种S偏振光被偏振选择反射器14038标称上反射90度，并且然后穿过第二QWP 14058，并且然后穿过第三中继透镜元件14060，该第三中继透镜元件14060使光朝向固定反射镜14062偏转。注意，对于S偏振光，第一中继透镜元件14032与第三中继透镜元件14060结合形成一体放大率的无焦点中继器。固定反射镜14062通过第三中继透镜元件14060和第二QWP 14058将光反射回去，从而改变符号而不改变光束相对于光轴OA的角度的绝对值。在第一次穿过第二QWP14058之后，S偏振光被转换为特定旋向性的圆偏振光(可以通过选择第二QWP 14058的快轴和慢轴的取向来选择RHCP或LHCP)。当通过固定反射镜14062反射时，圆偏振光的旋向性被反转。在第二次穿过第二QWP之后，S偏振的圆偏振光(临时)被转换为P偏振光，该P偏振光然后穿过偏振选择反射器14038。
在穿过偏振选择反射器14038之后，光穿过第三QWP 14064和第四中继透镜元件14066，并被引导到中央凹跟踪反射镜14068。在系统14000中，由于图像扫描反射镜14030、固定反射镜14060和中央凹跟踪反射镜14068分别与中继透镜元件14032、14066、14060间隔开中继透镜元件14032、14066、14060的焦距，并且将QWP 14040、14058、14064定位在中继透镜元件14032、14042、14060、14066之后，因此在QWP 14040、14058、14064上的入射的光的角度相对较小，这导致QWP 14040、14058、14064的性能得到改善。根据替代实施例，而不是具有跟踪眼睛运动的两个角度自由度(例如，方位角和俯仰角)的单个中央凹跟踪反射镜1268，可以用第二中央凹跟踪反射镜(未示出)代替固定反射镜14062，并且两个中央凹跟踪反射镜中的一个中央凹跟踪反射镜可用于跟踪眼睛运动的一个自由度，并且第二中央凹跟踪反射镜可用于跟踪眼睛运动的第二自由度。在这种替代方案中，可以使用单自由度中央凹跟踪反射镜。再次参考图36A，第三中继透镜元件14060与第四中继透镜元件14066相结合形成一体放大率的无焦点中继器。中央凹跟踪反射镜14068可以增加由图像扫描反射镜14030产生的光束14028的偏转，并且从而使由图像扫描反射镜14030产生的光束角的整个立体角范围的平均角偏离轴线，以便跟踪用户眼睛210的中央凹(未示出)。眼睛跟踪相机14098跟踪用户眼睛210的眼睛凝视。眼睛跟踪相机14098耦合到中央凹跟踪控制系统14097。眼睛跟踪相机14098输出指示眼睛凝视的信息，其输入到中央凹跟踪控制系统14097。中央凹跟踪控制系统14097驱动地耦合到中央凹跟踪反射镜14068。基于从眼睛跟踪相机14098接收的眼睛凝视信息，中央凹跟踪控制系统14097向中央凹跟踪反射镜14068输出信号，以便使中央凹跟踪反射镜14068取向以跟踪用户眼睛的中央凹14099。中央凹跟踪控制系统14097可以使用图像处理来确定用户的眼睛凝视，并基于眼睛凝视生成信号以控制中央凹跟踪反射镜。
在由中央凹跟踪反射镜14068反射之后，光返回穿过第四中继透镜元件14066和第三QWP 14064。光通过第三QWP 14064的第一次穿过将光转换为圆偏振光，由中央凹跟踪反射镜14068的反射将反转圆偏振光的旋向性，并且第二次穿过第三QWP 14064将光反转回S偏振状态。因为现在该光是S偏振的，所以它被偏振选择反射器14038反射，并朝向第一QWP14040标称上偏转90度。第一QWP 14040将S偏振光转换为左旋圆偏振(LHCP)光。然后，光穿过第二中继透镜元件14042。第四中继透镜元件14066与第二中继透镜元件14042相结合形成一体放大的无焦点复合透镜。中继透镜元件14032、14042、14060、14066围绕偏振选择反射镜14038的中心以90度的间隔对称地放置。通常，连续的(以光传播的顺序)中继透镜元件14032、14042、14060、14066形成一体放大率的无焦点中继器。定位成共焦的连续中继透镜元件在PBS 14036的一半处共享公共焦点。作为非限制性示例，中继透镜元件14032、14042、14060、14066可以包括非球面透镜、等光程(aplanatic)透镜、混合折射和衍射透镜以及消色差透镜、包括例如折射透镜和衍射透镜的复合透镜。如本说明书中所使用的，“中继透镜元件”包括单个透镜或复合透镜。
对于LHCP光，第一组几何相位透镜14050具有正屈光力，其增加了第一组14046的屈光力。对于LHCP，第一组14044的焦距等于从第一组14044的主平面到点FLHCP的距离。在穿过第一组几何相位透镜14050时，LHCP光被转换为RHCP光。随后，光穿过第二组14052。对于RHCP光，第二组几何相位透镜14056具有负屈光力，使得第二组14052的正屈光力将低于仅第二组正折射透镜14054的屈光力。对于RHCP光，第二组14052具有等于从第二组14052的主平面到点FLHCP的距离的焦距。因此，对于进入双倍放大的无焦放大镜14048的LHCP光，双倍放大的无焦放大镜14048用作放大率小于1的缩小器。因此，由中央凹跟踪反射镜14068偏转的、由图像扫描反射镜14030产生的光束方向的立体角范围被缩小以覆盖减小的角度范围，该角度范围随着用户的凝视移动而跟踪用户的中央凹。回想一下，对于入射的RHCP，双倍放大的无焦放大镜14048具有大于1的放大率。大于1的放大率用于提供与中央凹外侧的用户视网膜的一部分相对应的较宽视野。
在某些实施例中，第二组14052是第一组14046的镜像，在这种情况下，第一组几何相位透镜14050和第二组几何相位透镜14056是相同的，并且第一组正折射透镜14044和第二组正折射透镜14054是相同的。如果折射透镜14044、14054具有不同屈光力的表面，则可以将它们定位为使得具有相同屈光力的表面彼此面对，以便保持双倍放大的无焦放大镜14048的镜像对称。在该情况下，尽管每组14046、14052可以取决于几何相位透镜14050、14056是用作正透镜还是负透镜而具有两个不同的主平面，但是两组14046、14052可以以固定的距离彼此间隔开，该固定的距离保持两组14046、14052的共焦关系，以便保持放大镜14048的无焦放大率，而不管LHCP或RHCP光是否进入放大镜14048。
包括第一目镜波导14070、第二目镜波导14072和第三目镜波导14074的一组三个增强现实眼镜目镜波导被定位在双倍放大的无焦放大镜14048的第二组14052之外并与其光学耦合(通过自由空间，如图所示)。尽管示出了以重叠关系设置的三个目镜波导14070、14072、14074，但是可替代地，提供了不同数量的目镜波导。例如，可以提供多组三个目镜波导，其中每组配置为向出射光赋予不同的波前曲率(对应于不同的虚拟图像距离)。三个目镜波导14070、14072、14074分别设置有三个光入耦合元件14076、14078、14080，包括第一光入耦合元件14076、第二光入耦合元件14078和第三光入耦合元件14080。这三个目镜波导14070、14072、14074中的每个目镜波导可以配置为在特定颜色通道中传输光，例如红光、绿光或蓝光。另外，入耦合元件14076、14078、14080中的每一个入耦合元件可以是波长选择性的，以便仅将一个颜色通道中的光耦合到其相关联的目镜波导14070、14072、14074中。入耦合元件14076、14078、14080例如可以包括光谱选择性反射衍射光栅，诸如例如由胆甾型液晶材料制成的衍射光栅。这种胆甾型液晶材料具有确定光谱反射率波带的螺旋间距。入耦合元件中的每一个入耦合元件可以例如包括两叠层的胆甾型液晶材料，其中一层反射LHCP光，并且另一层反射RHCP光。衍射光栅通常具有确定光偏转角的轮廓(profile)间距。在将入耦合元件14076、14078、14080实现为衍射光栅的情况下，考虑到要入耦合的光的相关联波长而适当地选择每个光栅的光栅轮廓间距，使得对于相关联的目镜波导14070、14072、14074，光被衍射到全内反射的临界角以上的角度。第一、第二和第三目镜波导14070、14072、14074分别包括第一出射光瞳扩展器(EPE)14082、第二EPE 14084和第三EPE 14086。EPE 14082、14084、14086可以被实现为透射和/或反射衍射光栅。EPE 14082、14084、14086将在波导14070、14072、14074内传播的光递增耦合出波导14070、14072、14074，使得与入耦合元件14076、14078、14080的横向范围相比，光在相对宽的区域上离开波导14070、14072、14074。在图36A中不可见的正交光瞳扩展器(OPE)也可以设置在目镜波导14070、14072、14074上并且位于EPE 14082、14084、14086的后面。OPE用于将在目镜波导14070、14072、14074内传播的光从入耦合元件14076、14078、14080朝向EPE 14082、14084、14086偏转。OPE可以位于从入耦合元件14076、14078、14080发出的光的路径中，并且EPE 14082、14084、14086可以在从入耦合元件14076、14078、14080发出的光的路径之外，但OPE可以使光从入耦合元件14076、14078、14080朝向EPE 14082、14084偏转。
根据替代实施例，第一中继透镜元件14032具有比第二中继透镜元件14042、第三中继透镜元件14060和第四中继透镜元件14066更长的焦距，并且与PBS 14036的中心间隔开等于较长的焦距的距离(考虑到PBS14036的折射率)。在该情况下，较长焦距的第一中继透镜元件14032与第二中继透镜14042相结合，向非中央凹跟踪光赋予大于1：1的角放大率；并且较长焦距的第一中继透镜元件14032与第三中继透镜元件14060相结合，向中央凹跟踪光赋予大于1：1的角放大率。回想一下，双倍放大的无焦放大镜14048将使中央凹跟踪的光缩小并使非中央凹跟踪的光放大。因此，改变第一中继透镜元件14032的焦距提供了另一种设计自由度，该自由度可用于设置在系统14000中实现的放大率，而不会干扰双倍放大的无焦放大镜14048的设计对称性。将不对称性引入双倍放大的无焦放大镜14048的设计中是另一种可能的替代方案。
根据替代实施例，代替几何相位透镜14050、14056，使用其它类型的双状态透镜。根据一种替代方案，可以使用有源驱动的电润湿液体透镜。根据另一种替代方案，可以使用这样的透镜，该透镜包括覆盖衍射光学器件的液晶，该液晶具有在特定方向中排列的其寻常轴，而该衍射光学器件由与该寻常轴匹配并对于平行于该非寻常轴偏振的光表现出透镜光焦度的材料制成。在后一种情况下，可以消除第一QWP 14040，因为透镜的各向异性性能将取决于在中央凹跟踪和非中央凹跟踪的光之间的线性偏振差异。
当偏振旋转开关14034被配置为透射非中央凹跟踪的P偏振光时，图像扫描反射镜14030的每个取向对应于图像空间中的某些角坐标。当偏振旋转开关14034被配置为输出中央凹跟踪的S偏振光时，图像扫描反射镜14030的取向与中央凹跟踪反射镜14068的取向相结合确定图像空间中的角坐标。由图像扫描反射镜和中央凹跟踪反射镜14068的取向确定的光束传播的角度乘以双倍放大的无焦放大镜14048的放大率，并可选地乘以由中继透镜14032、14042、14060、14066的相对焦距确定的放大率。角度图像空间中定义的像素的有效大小与激光二极管14002、14010、14016的调制速率的倒数以及图像扫描反射镜14030的运动的角速率有关。就图像扫描反射镜14030的运动可以是正弦曲线的程度而言，可以使激光二极管14002、14010、14016的调制速率与图像扫描反射镜14030的角速率成反比，以减少或消除像素大小变化。当由激光二极管14002、14010、14016生成中央凹跟踪和非中央凹跟踪二者时，可以使用激光二极管14002、14010、14016(受可用激光器的特性限制)的全能力(potential)调制率(至少对于视野的某些点)，并且可以使用图像扫描反射镜的整个角度范围，使得相对于较小的立体角范围，针对中央凹跟踪区域生成的图像的分辨率图像可以比针对较宽的视野生成的图像的分辨率更高(较小的像素大小)。
根据其中使用系统14000的增强现实系统中的某些实施例，虚拟内容被叠加在通过目镜波导14070、14072、14074对用户可见的真实世界上。虚拟内容被定义为3D模型(例如，无生命的对象、人、动物、机器人等的3D模型)。3D模型在3D坐标系中定位和取向。在增强现实系统中，通过提供例如惯性测量单元(IMU)和/或视觉测距法，上述3D坐标系保持注册到增强现实系统的用户的真实世界环境(惯性参考系)。游戏引擎考虑到它们的位置和取向来处理3D模型，以便渲染3D模型的左眼图像和右眼图像，以经由系统14000(以及用于用户的其它眼睛的类似系统)输出到用户。就3D模型在固定于用户环境的坐标系中定义的程度以及用户可以在环境中移动和转动他或她的头部(承载增强现实眼镜)的程度而言，左眼图像和右眼图像的渲染被更新以考虑到用户的头部移动和转动。因此，例如，如果虚拟书本显示在真实桌子上，并且用户响应来自IMU或视觉测距子系统(未示出)的旋转信息，用户将其头部向左旋转10度，则该游戏引擎将更新左和右图像，以将系统14000输出的虚拟书本的图像向右移动10度，从而即使用户旋转头部，使书本看起来保持其位置。在当前情况下，使用偏振旋转开关14034通过系统14000对用于延伸超出中央凹的视网膜的较宽部分的图像和用于包括中央凹的视网膜的较有限部分的图像进行时间多路复用。游戏引擎与偏振旋转开关14034的操作同步地生成并输出图像。如上所述，游戏引擎生成左眼图像和右眼图像。当偏振旋转开关14034被配置为输出使用中央凹跟踪反射镜14068跟踪的中央凹的S偏振光时，游戏引擎还生成被输出的较窄的FOV左中央凹和右中央凹图像。如上所述，此类中央凹跟踪的图像被转换为LHCP光，并通过双倍放大的无焦放大镜14048进行缩小。这种缩小将角度范围限制在包括中央凹(或其至少一部分)的窄范围内。缩小减小了像素大小，从而增加了中央凹跟踪图像的角分辨率。
图37A是根据一个实施例的在图36A所示的增强现实近眼显示系统中使用的双倍放大的无焦放大镜14048的示意图。
图37B是根据其它实施例的可以代替无焦放大镜14048而用在图36A所示的增强现实近眼显示系统14000中的双焦点放大的无焦放大镜15000的示意图。无焦放大镜15000包括透镜组15002，该透镜组15002包括正折射透镜15004和第一几何相位透镜15006。无焦放大镜15000进一步包括与第一透镜组15002间隔开距离的第二几何相位透镜15008。第一几何相位透镜15006和第二几何相位透镜15008具有相反的旋向性。对于具有与几何相位透镜的旋向性匹配的旋向性的光，几何相位透镜用作正透镜，并且对于具有与几何相位透镜的旋向性相反的旋向性的光，几何相位透镜用作负透镜。另外，在通过几何相位透镜传播时，光的旋向性被反转。因此，当第一几何相位透镜15006用作正透镜时，第二几何相位透镜15008也用作正透镜，并且当第一几何相位透镜15006用作负透镜时，第二几何相位透镜15008也将用作负透镜。当第一几何相位透镜15006用作负透镜时，透镜组15002将具有比仅正折射透镜15004的焦距更长的焦距。当第一几何相位透镜15006用作正透镜时，透镜组15002将具有比仅正折射透镜15004的焦距更短的焦距。
回想一下，在图36A中所示的增强现实近眼显示系统14000中，偏振开关14034输出的P偏振光直接穿过PBS 14036，没有被中央凹跟踪，并且被第一QWP 14040转换为RHCP光；而从偏振旋转开关14034输出的S偏振光被路由使其被中央凹跟踪反射镜14068反射，并最终被转换为LHCP光。
将在第一几何相位透镜15006为左旋而第二几何相位透镜15008为右旋的假设下进一步描述图37B中所示的实施例。进一步假设，如在图36A中所示的系统14000的情况下，LHCP光被中央凹跟踪，而RHCP不是中央凹跟踪光，并且承载针对更宽的FOV(视网膜的更宽的部分)的成图像调制光。对于LHCP光，第一几何相位透镜15006用作正透镜，并且透镜组15002具有与从透镜组15002到焦点FLHCP的距离对应的相对短的焦距。在透射光时，第一几何相位透镜15006将LHCP光转换为RHCP光，对于其，第二几何相位透镜15008具有正屈光力以及等于从第二几何相位透镜15008到点FLHCP的距离的焦距。在该情况下，无焦放大镜15000形成开普勒(Keplerian)无焦放大镜。通过适当地选择(如下文将进一步描述的)正折射透镜15004、第一几何相位透镜15006和第二几何相位透镜15008的焦距，可以选择开普勒结构中的无焦放大镜15000的放大率为约1:1或其它所需值。假设例如图像扫描反射镜14030具有+/-10度的光学角度扫描范围，则这种角度范围可以基本上覆盖视网膜的中央凹区域。
对于进入无焦放大镜15000的RHCP光，第一几何相位透镜15006具有负光焦度，并且透镜组15002具有与从透镜组15002到点FRHCP的距离对应的相对较长的焦距。第一几何相位透镜15006将RHCP光转换为LHCP光，对于其，第二几何相位透镜15008具有与从第二几何相位透镜15008到点FRHCP的距离对应的负焦距。在该情况下，无焦放大镜15000被配置为伽利略(Galilean)无焦放大镜，并且可以具有基本上大于1:1的放大率，例如3:1。因此，进入无焦放大镜的RHCP光(不是中央凹跟踪的)可以向中央凹以外的视网膜的较大部分(与LHCP光照射的部分相比)提供成图像调制的光。应注意，系统14000、15000可以重新配置为反转RHCP和LHCP光的角色。
对于正折射透镜15004的给定焦距和第一几何相位透镜15004的焦距的给定大小，取决于入射光的旋向性(如上所述)，透镜组15002将具有等于从透镜组15002到点FLHCP和FRHCP的距离的两个焦距之一。第二几何相位透镜15008应该定位在点FLHCP和FRHCP之间的大约一半的位置，并且第二几何相位透镜15008的焦距应该设置为FLHCP和FRHCP之间的距离的大约一半。开普勒结构的放大率大约等于负的从透镜组15002到点FLHCP的距离除以从点FLHCP到第二几何相位透镜15008的距离之比。伽利略结构的放大率大约等于从透镜组15002到点FRHCP的距离除以从第二几何相位透镜15008到点FRHCP的距离之比。
双倍放大无焦放大镜14048、15000可以用在其它类型的光学设备中，包括但不限于望远镜、双筒望远镜、相机和显微镜。在要形成实像的系统中，可将无焦放大镜14048、15000与附加的光学元件(例如，透镜、凸面反射镜)结合使用。
参考图36A，根据另一实施例，固定反射镜14062被第二图像扫描反射镜代替，并且包括激光二极管、准直透镜和RGB二向色组合立方体的第二子系统(如图36A中所示的)可用于向第二扫描反射镜提供RGB图像调制光。第二子系统和第二扫描镜将专用于提供中央凹跟踪的光。在该情况下，可以施行(dispense)偏振旋转开关14034和第二QWP 14058，并且可以同时产生中央凹跟踪和非中央凹跟踪的光二者。在这种替代方案中，所有激光二极管将取向为将P偏振光注入到PBS 14036中。
图36B示意性地示出了另一种增强现实近眼显示系统14000B。在某种程度上，系统14000B具有与图36A中所示的系统14000共同的某些方面，图36B中所示实施例的以下描述将集中于差异。在系统14000B中，消除了双倍放大的无焦放大镜14048、第二QWP 14058和偏振旋转开关14034。使用更长焦距的第一中继透镜元件14032B，使得第一中继透镜元件14032B和第二中继透镜元件14042的组合放大由扫描反射镜14030扫描的光的角视野。使用扫描反射镜14030覆盖系统14000B的整个视野减去FOV的高分辨率中央凹跟踪部分。第二扫描反射镜14030可以被放置在与第一中继透镜元件14032B相距等于第一中继透镜元件14032B的焦距的距离处。第一RGB光引擎14095被配置为输出P偏振光，并且在不存在偏振旋转开关14034的情况下，由扫描反射镜14030扫描的光将通过第一中继透镜元件14032B和第二中继透镜元件14042耦合。
在系统14000(图36A)中使用的固定反射镜14062被第二扫描反射镜14030B代替。第二分量颜色(例如，红-蓝-绿(RGB))光引擎14096补偿第一分量颜色(例如，红-蓝-绿(RGB))14095。第二RGB光引擎14095包括第二红色、绿色和蓝色激光二极管14002B、14010B、14016B激光二极管，其通过准直透镜14004B、14012B、14018B以及第二RGB二向色组合立方体14008B耦合到第二扫描反射镜14030B。第二RGB光引擎14096的附加元件对应于上述第一RGB光引擎14095的元件，并用具有共同数字部分和添加的后缀“B”的参考数字标记。由第二RGB光入射14096输出并由第二扫描反射镜14030角度扫描的P偏振光通过由第三中继透镜元件14060和第四中继透镜元件14066形成的无焦中继器光耦合到中央凹跟踪反射镜14068并且到达中央凹跟踪反射镜时穿过第三QWP14064。一旦被中央凹跟踪反射镜14068角度偏移，光就会反射回通过第四中继透镜元件14066和第三QWP 14068，并且现在其偏振状态更改为S偏振光被偏振选择反射镜反射朝向第一QWP 14040和第二中继透镜元件14042，并且然后撞击到入耦合元件14076、14078、14080。可以理解，第一和第二RGB光引擎14095、14096可以利用除红色、蓝色和绿色之外或除红色、蓝色和绿色以外的其它分量颜色的光。
增强现实近眼显示系统14000B能够同时输出中央凹跟踪的高分辨率图像和非中央凹跟踪的较宽视野图像。通过避免对具有较宽视野图像的高分辨率中央凹跟踪的成像器进行时分复用的需求(如在图36A中所示的系统的情况下)，系统14000B更容易实现更高的帧速率。
V.用眼睛凝视跟踪整个视野
根据一些实施例，代替如图26E-26F所示在静态位置呈现第一图像流，第一图像流和第二图像流二者都可以根据用户当前的注视点动态地四处移动。图38A-38B示意性地示出了根据一些实施例的可以呈现给用户的图像的示例性配置。图38A示出了如何将第二图像流16020基本上定位在第一图像流16010的中心。在一些实施例中，可能期望将第二图像流16020从第一图像流的中心偏移。例如，由于用户的视野在太阳穴方向上比鼻方向延伸得更远，因此可能需要使第二图像流16020朝向第一图像流的鼻侧偏移。如图38B中所示，在操作期间，第一和第二图像流可以根据如实时使用眼睛凝视跟踪技术确定的用户当前的注视点进行持久偏移。也就是说，第一图像流16010和第二图像流16020可以前后移动，使得用户通常直接看着两个图像流的中心。应该注意，图38A-38B中的网格正方形示意性地表示了图像点，与以上参考图24描述的场3002、3004和3006非常相似，该图像点被定义在二维角空间中。
类似于图26A-26B中所示的实施例，第二图像流16020表示可以在第一图像流16010的边界内显示的具有相对窄的FOV的高分辨率图像流。在一些实施例中，第二图像流16020可以表示如由在渲染空间中具有取向的第二不同虚拟相机捕获的虚拟内容的一个或多个图像，该渲染空间中的取向可以基于使用眼睛跟踪技术获得的数据实时动态调节为与用户当前的注视点重合的角度位置。在这些示例中，高分辨率第二图像流16020可以表示如由中央凹跟踪的虚拟相机(诸如以上参考图26A-26D描述的中央凹跟踪的虚拟相机)捕获的虚拟内容的一个或多个图像。换句话说，当用户的眼睛凝视改变时，可以重新取向从中捕获由第二图像流16020表示的虚拟内容的一个或多个图像的渲染空间中的视角，使得与第二图像流5020E相关联的视角始终与用户的中央凹视觉对齐。
例如，如图38A中所示，当用户的眼睛凝视固定在第一位置处时，第二图像流16020可以涵盖位于渲染空间的第一区域内的虚拟内容。当用户的眼睛凝视移动到与第一位置不同的第二位置时，可以调节与第二图像流16020相关联的视角，使得第二图像流16020可以涵盖位于渲染空间的第二区域内的虚拟内容，如图38B中所示。在一些实施例中，第一图像流16010具有宽FOV，但是具有如粗网格所指示的低的角分辨率。第二图像流16020具有窄FOV，但是具有如细网格所指示的高的角分辨率。
图39A-39B示出了根据一些实施例的使用可以向用户呈现的一些示例性图像的在图38A-38B中描述的一些原理。在一些示例中，图39A-39B中描绘的一个或多个图像和/或图像流可以表示将在特定深度平面(诸如以上参考图25B描述的一个或多个深度平面)处显示的二维图像或其一部分。也就是说，此类图像和/或图像流可以表示已经被投射到距用户固定距离处的至少一个二维表面上的3D虚拟内容。在此类示例中，应当理解，可以将此类图像和/或图像流作为具有与以上参考图26A-26D和图28A-28B所描述的那些角视野类似的某些角视野的一个或多个光场呈现给用户。
如所描绘的，第一图像流17010的内容包括树的一部分。在图39A表示的第一时间段期间，眼睛跟踪传感器可以确定用户的眼睛凝视(即，中央凹视觉)聚焦在可见区域17000内的第一区域17010-1处。在该示例中，第一区域17010-1包括树的下分支。第二图像流17020可以定位于第一区域17010-1内并且具有比第一图像流更高的分辨率。第一图像流和第二图像流可以同时显示或快速连续显示在确定为与用户当前的眼睛凝视相对应的位置。
在图39B所示的第二时间段期间，可以检测到用户的眼睛凝视移动到与树的上分支相对应的可见区域1500内的第二区域17010-2。如所描绘的，在第二时间段期间，第一图像流和第二图像流的位置和内容改变以对应于第二区域17010-2。第一图像流17010和第二图像流17020二者的内容可以包括树的第二区域17010-2。第一图像流和第二图像流可以同时显示或快速连续显示。可以以相同的方式适应用户眼睛凝视的进一步检测到的运动，以使第一图像流和第二图像流都与用户当前的眼睛凝视对齐。
类似于图28C-28D中所示的实施例，因为更高分辨率的第二图像流17020覆盖了用户中央凹视觉内的第一图像流17010的一部分，所以用户可能不会感知或注意到第一图像流17010的较低分辨率。此外，因为具有宽视野的第一图像流17010可以涵盖用户视觉的很大一部分，所以可以防止用户完全感知光场显示器的边界。因此，该技术可以向用户提供更加沉浸式体验。
图40A-40D示意性地示出了根据一些实施例的用于将图像投射到用户的眼睛的显示系统18000。显示系统18000包括图像源18010。图像源18010可以被配置为投射与第一图像流相关联的第一光束18052和与第二图像流相关联的第二光束18054。如上面参考图38A-38B所讨论的，第一图像流可以是宽FOV和低分辨率图像流，并且第二图像流可以是窄FOV和高分辨率图像流。在一些实施例中，第一光束18052和第二光束18054可以是时分复用的、偏分复用的、波分复用的等等。
显示系统18000可以进一步包括2D扫描反射镜18020，该2D扫描反射镜18020被配置为反射第一光束18052和第二光束18054。在一些实施例中，可以基于用户的眼睛的注视位置，在两个方向中倾斜2D扫描反射镜18020，使得第一光束18052和第二光束18054二者都可以分别在用户的中央凹视觉处投射第一图像流和第二图像流。
显示系统18000可以进一步包括可切换光学元件18040。尽管可切换光学元件18040被图示为单个元件，但是它可以包括用作可切换中继透镜组件的一对子可切换光学元件。如图40A和40C中所示，每个子可切换光学元件都可以切换到第一状态，使得其作为具有第一光焦度的光学透镜操作，或者如图40B和40D中所示，切换到第二状态，使得其作为具有与第一光焦度不同的第二光焦度的光学透镜操作。每个子可切换光学元件可以是例如根据各种实施例的液晶变焦距透镜、可调衍射透镜、可变形透镜或多焦点双折射透镜。
在第一光束18052和第二光束18054被时分复用的情况下，可切换光学元件18040和扫描反射镜18020可以如下操作。假设用户的眼睛凝视在第一时间段期间固定在第一位置。如图40A和40B中所示，在第一时间段期间，扫描反射镜18020可以处于第一取向，使得第一光束18052和第二光束18054指向第一位置。在图像源18010输出第一光束18052的第一时间段的第一时隙期间(阶段A1)，可切换光学元件18040可被切换到第一状态，在该第一状态中，可切换光学元件18040作为具有第一光焦度的光学透镜操作，如图40A中所示。在图像源18010输出第二光束18054的第一时间段的第二时隙期间(阶段A2)，可切换光学元件18040可被切换到第二状态，在该第二状态中，可切换光学元件18040作为具有第二光焦度的光学透镜操作，如图40B中所示。因此，第一光束18052比第二光束18054更加角度放大，使得第一光束18052可以以比第二光束18054呈现的第二图像流的FOV更宽的FOV呈现第一图像流。
现在假定用户的眼睛凝视在第二时间段期间从第一位置移动到第二位置。如图40C和40D中所示，在第二时间段期间，扫描反射镜18020可以处于第二取向，使得第一光束18052和第二光束18054指向第二位置。在图像源18010输出第一光束18052时的第二时间段的第一时隙(阶段B1)期间，可切换光学元件18040可被切换到第一状态，在该第一状态中，可切换光学元件18040作为具有第一光焦度的光学透镜操作，如图40C中所示。在图像源18010输出第二光束18054时的第二时间段的第二时隙(阶段B2)期间，可切换光学元件18040可以切换到第二状态，在该第二状态中，可切换光学元件18040作为具有第二光焦度的光学透镜操作，如图40D中所示。
在第一光束18052和第二光束18054被偏分复用的情况下，可切换光学元件18040可包括多焦点双折射透镜，使得其用作具有用于第一光束18052的第一光焦度的光学透镜操作，如图40A和40C中所示，并作为具有用于第二光束18054的第二光焦度的光学透镜操作，如图40B和40D中所示。
在第一光束18052和第二光束18054被波分复用的情况下，可切换光学元件18040可以包括波长相关的多焦点透镜，使得其作为具有用于第一光束18052的第一光焦度的光学透镜操作，如图40A和40C中所示，并且作为用于第二光束18054的第二光焦度的光学透镜操作，如图40B和40D中所示。
图41A-41D示意性地示出了根据一些其它实施例的用于将图像投射到用户的眼睛的显示系统19000。显示系统19000可以类似于显示系统18000，例外之处在于可切换光学元件18040可以设置在扫描反射镜18020的表面上。例如，可切换光学元件18040可以是层叠在扫描反射镜18020的表面上的一个或多个基板。
在一些其它实施例中，可切换光学元件18040可以定位于显示系统19000中的其它地方。例如，它可以定位于图像源18010和扫描反射镜18020之间。
在一些其它实施例中，可以使用偏振分束器或二向色分束器将第一光束18052和第二光束18054解复用为两个单独的光路，但是两个光路均与扫描反射镜18020的反射面相交。
在其它实施例中，可以向用户呈现多于两个的图像流，使得从用户的注视点到用户的周边视觉的分辨率过渡在外观上更加平缓。例如，除了第一图像流和第二图像流之外，还可以呈现具有中等FOV和中等分辨率的第三图像流。在这种情况下，可以利用附加的中继透镜组件和/或扫描反射镜为附加的图像流提供附加的光路。
VI.时间复用方案
在一些实施例中，高FOV低分辨率图像流(即，第一图像流)和低FOV高分辨率图像流(即，第二图像流)可以被时分复用。
图42示出了图示适于与高FOV低分辨率图像流和低FOV高分辨率图像流一起使用的示例性时分复用模式的曲线图。如图所示，高FOV低分辨率图像流和低FOV高分辨率图像流在交替的时隙处分配。例如，每个时隙的持续时间可以约为八十五分之一秒。因此，高FOV低分辨率图像流和低FOV高分辨率图像流中的每一个图像流可以具有约42.5Hz的刷新率。在一些实施例中，与低FOV高分辨率图像流的光场对应的角区域与高FOV低分辨率图像流对应的光场的角区域的一部分重叠，从而使重叠角区域中的有效刷新率约为85Hz(即每个单独图像流的刷新率的两倍)。
在一些其它实施例中，用于高FOV低分辨率图像流的时隙和用于低FOV高分辨率图像流的时隙可以具有不同的持续时间。例如，用于高FOV低分辨率图像流的每个时隙的持续时间可以比八十五分之一秒长，并且用于低FOV高分辨率图像流的每个时隙的持续时间可以比八十五分之一秒短，反之亦然。
图43示意性地示出了根据一些实施例的用于将图像流投射到用户的眼睛的显示系统21000。如图30A-30B中所示，显示系统21000可以与显示系统8000共享一些元件；由于该原因，关于图30A-30B的那些共同元件的描述也适用于此。图像源21002可以被配置为同时提供处于第一偏振状态的高FOV低分辨率图像流和处于第二偏振状态的低FOV高分辨率图像流。例如，第一偏振状态可以是在第一方向中的线性偏振，并且第二偏振状态可以是在与第一方向正交的第二方向中的线性偏振；或可替代地，第一偏振状态可以是左旋圆偏振，并且第二偏振状态可以是右旋圆偏振。类似于图30A-30B中所示的显示系统8000，显示系统21000包括偏振分束器21004，其用于将由图像源(例如，图像源21002)投射的光束分离为沿着第一光路传播的与高FOV低分辨率图像流相关联的第一光束和沿着第二光路传播的与低FOV高分辨率图像流相关联的第二光束。
与图30A-30B中所示的显示系统类似，显示系统21000可以包括定位于图像源21002和分束器21004之间的第一光学透镜(透镜A)，沿第一光路在分束器21004下游定位的第二光学透镜(透镜B)，以及沿第二光路在分束器21004下游定位的第三光学透镜(透镜C)。在一些实施例中，如以上关于图30A-30B和31A-31B所述，第一光学透镜(透镜A)和第二光学透镜(透镜B)的组合可以为第一光束提供大于1的角放大率，并且第一光学透镜(透镜A)和第三光学透镜(透镜C)的组合可以为第二光束提供基本上等于1或小于1的角放大率。因此，第一光束可以投射具有比第二光束投射的FOV更宽的FOV的图像流。
类似于图30A-30B中所示的显示系统8000，显示系统21000还包括中央凹跟踪器21006，该中央凹跟踪器21006可以采用扫描反射镜(例如MEMs反射镜)的形式，其可以基于用户眼睛的注视位置进行控制，以动态投射与低FOV高分辨率图像流相关联的第二光束。
显示系统21000还可以包括耦合到目镜21008的第一入耦合光栅(ICG)21010和第二ICG 21020。目镜21008可以是被配置为在其中传播光的波导板。第一ICG 21010和第二ICG 21020中的每一个都可以是衍射光学元件(DOE)，其被配置为将入射在其上的光的一部分衍射到目镜21008中。第一ICG 21010可以沿着第一光路定位，用于将与高FOV低分辨率图像流相关联的第一光束的一部分耦合到目镜21008中。第二ICG 21020可以沿着第二光路定位，用于将与低FOV高分辨率图像流相关联的第二光束的一部分耦合到目镜21008中。
显示系统21000还可以包括第一可切换快门21030和第二可切换快门21040。第一可切换快门21030沿第二光学透镜(透镜B)和第一ICG 21010之间的第一光路定位。第二可切换快门21040沿中央凹跟踪器和第二ICG21020之间的第二光路定位。第一可切换快门21030和第二可切换快门21040的操作可以彼此同步，使得高FOV低分辨率图像流和低FOV高分辨率图像流根据时分复用序列进行时分复用(例如，如图42中所示)。第一可切换快门21030可以在对应于与高FOV低分辨率图像相关联的第一时隙的时间段内打开，并且可以在与低FOV高分辨率图像流相关联的第二时隙期间关闭。类似地，第二可切换快门21040在第二时隙期间打开，而在第一时隙期间关闭。
这样，在第一时隙期间(例如，当第一可切换快门21030打开时)，高FOV低分辨率图像流借助于第一ICG 21010耦合到目镜21008中，并且在第二时隙期间(例如，当第二可切换快门21040打开时)，低FOV高分辨率图像流借助于第二ICG 21020耦合到目镜21008中。一旦高FOV低分辨率图像流和低FOV高分辨率图像流耦合到目镜21008中，就可以将它们引导和出耦合(例如，通过出耦合光栅)到用户的眼睛中。
图44示意性地示出了根据一些实施例的用于将图像流投射到用户的眼睛的显示系统22000。显示系统22000可以与图30A-30B中所示的显示系统8000共享一些共同的元件；与图30A-30B有关的那些元件的描述也适用于此。由图像源22002提供的高FOV低分辨率图像流和低FOV高分辨率图像流可以被时分复用并且可以处于给定的偏振状态。
显示系统22000可以包括可切换偏振旋转器22010(例如，具有半波延迟的铁电液晶(FLC)盒)。可切换偏振旋转器22010的操作可以被电子编程为与在时分复用中的高FOV低分辨率图像流和低FOV高分辨率图像流的帧速率同步(例如，如图42中所示)，使得可切换偏振旋转器22010不会旋转(或旋转很小的量)高FOV低分辨率图像流的偏振，而旋转低FOV高分辨图像流的偏振大约90度(即引入π的相移)，反之亦然。因此，在通过可切换偏振旋转器22010之后，高FOV低分辨率图像流的偏振可以正交于低FOV高分辨率图像流的偏振。例如，高FOV低分辨率图像流可以是s偏振的，而低FOV高分辨率图像流可以是p偏振的，反之亦然。在其它实施例中，高FOV低分辨率图像流可以是左旋圆偏振的，而低FOV高分辨率图像流可以是右旋圆偏振的，反之亦然。
显示系统22000可以包括偏振分束器22004，用于将光束分离为沿第一光路朝向第一ICG 21010传播的与高FOV低分辨率图像流相关联的第一光束，以及沿第二光路朝向第二ICG 21020传播的与低FOV高分辨率图像流相关联的第二光束。
显示系统22000还可以包括沿两个光路之一(例如，如沿图44中所示的第二光路)定位的静态偏振旋转器22020。静态偏振旋转器22020可以被配置为旋转低FOV高分辨率图像流和高FOV低分辨率图像流之一的偏振，使得两个图像流在分别进入第一ICG 21010和第二ICG 21020时可以具有基本上相同的偏振。在第一ICG 21010和第二ICG 21020被设计为对于特定偏振具有更高的衍射效率的情况下，这可能是有利的。静态偏振旋转器22020可以是例如半波片。
图45示意性地示出了根据一些实施例的用于将图像流投射到用户的眼睛的显示系统23000。显示系统23000可以与图30A-30B中所示的显示系统8000共享一些共同的元件；与图30A-30B有关的那些元件的描述也适用于此。图像源23002可以被配置为提供时分复用的高FOV低分辨率图像流以及低FOV和高分辨率图像流。
这里，代替分束器，显示系统23000包括可切换反射器23004。可切换反射器23004可以切换到反射入射光束的反射模式和透射入射光束的透射模式。可切换反射器可以包括电激活反射器，该电激活反射器包括嵌入在诸如玻璃或塑料的基板主体介质中的液晶。也可以使用根据施加的电流改变折射率的液晶。可替代地，可以使用铌酸锂代替液晶作为电激活反射材料。可切换反射器23004的操作可以被电子编程为与时分复用中的高FOV低分辨率图像流和低FOV高分辨率图像流的帧速率同步(例如，如图42中所示)，使得当高FOV低分辨率图像流到达时，可切换反射器23004处于反射模式，而当低FOV高分辨率图像流到达时处于透射模式。因此，高FOV低分辨率图像流可以由可切换反射器23004沿第一光路朝向第一ICG 21010反射；并且低FOV高分辨率图像流可以由可切换反射器23004沿第二光路朝向第二ICG 21020透射。
可替代地，可切换反射器23004可以由二向色反射镜代替，该二向色反射镜被配置为反射第一组波长范围内的光，并透射第二组波长范围内的光。图像源23002可以被配置为在第一组波长范围中提供高FOV低分辨率图像流，以及在第二组波长范围中提供低FOV高分辨率图像流。例如，第一组波长范围可以对应于红色、绿色和蓝色(RGB)颜色，并且第二组波长范围可以对应于处于与第一组波长范围的色调不同的色调的RGB颜色。在一些实施例中，例如如图42中所示，高FOV低分辨率图像流和低FOV高分辨率图像流是时分复用的。在一些其它实施例中，同时呈现高FOV低分辨率图像流和低FOV高分辨率图像流。
VII.偏振多路复用方案
在一些实施例中，高FOV低分辨率图像流和低FOV高分辨率图像流可以被偏分复用。图像源可以包括用于以第一偏振提供高FOV低分辨率图像流的第一组RGB激光器，以及用于以与第一偏振不同的第二偏振提供低FOV高分辨率图像流的第二组RGB激光器。例如，高FOV低分辨率图像流可以是s偏振的，而低FOV高分辨率图像流可以是p偏振的，反之亦然。可替代地，高FOV低分辨率图像流可以是左旋圆偏振的，而低FOV高分辨率图像流可以是右旋圆偏振的，反之亦然。
图46示意性地示出了根据一些实施例的用于将图像流投射到用户的眼睛的显示系统25000。显示系统25000可以与图30A-30B中所示的显示系统8000共享一些共同的元件；与图30A-30B有关的那些元件的描述也适用于此。如上所述，图像源25002可以被配置为提供偏分复用的高FOV低分辨率图像流以及低FOV和高分辨率图像流。
显示系统25000可以包括偏振分束器25004，用于将光束分离为沿第一光路朝向第一ICG 21010传播的与高FOV低分辨率图像流相关联的第一光束，以及沿第二光路朝向第二ICG 21020传播的与低FOV高分辨率图像流相关联的第二光束。
显示系统25000还可以包括沿两个光路之一(例如，沿如图46中所示的第二光路)定位的静态偏振旋转器25020。静态偏振旋转器25020可以被配置为旋转低FOV高分辨率图像流和高FOV低分辨率图像流之一的偏振，使得两个图像流在分别进入第一ICG 21010和第二ICG 21020时可以具有基本上相同的偏振。在第一ICG 21010和第二ICG 21020被设计为对于特定偏振具有更高的衍射效率的情况下，这可能是有利的。静态偏振旋转器25020可以是例如半波片。
VIII.用于入耦合投射到目镜相对两侧中的图像的光学架构
在一些实施例中，代替具有在横向上彼此分离的两个ICG(即，具有分开的光瞳)，可以配置显示系统，使得高FOV低分辨率图像流和低FOV高分辨率图像流入射在相同ICG的相对两侧(即，具有单个光瞳)。
图47示意性地示出了根据一些实施例的用于将图像流投射到用户的眼睛的显示系统26000。显示系统26000可以包括被配置为提供高FOV低分辨率图像流的第一图像源26002，以及被配置为提供低FOV高分辨率图像流的第二图像源26004。
显示系统26000还可以包括沿高FOV低分辨率图像流的第一光路定位的第一光学透镜(透镜A)和第二光学透镜(透镜B)。在一些实施例中，第一光学透镜和第二光学透镜的组合可以提供用于与高FOV低分辨率图像流相关联的第一光束的大于一的角放大率，从而导致第一光束的较宽FOV。
显示系统26000还包括目镜26008和耦合到目镜26008的入耦合光栅(ICG)26010。目镜26008可以是被配置为在其中传播光的波导板。ICG26010可以是衍射光学元件，该衍射光学元件被配置为将入射在其上的光的一部分衍射到目镜26008中。当与高FOV低分辨率图像流相关联的第一光束入射到ICG 26010的第一表面26010-1上时，第一光束的一部分以反射模式(例如，一阶反射)衍射到目镜26008中，然后可以随后传播通过目镜26008并朝向用户眼睛出耦合。
显示系统26000还可以包括沿低FOV高分辨率图像流的第二光路放置的第三光学透镜(透镜C)和第四光学透镜(透镜D)。在一些实施例中，第三光学透镜和第四光学透镜的组合可以提供对于与低FOV高分辨率图像流相关联的第二光束基本上等于1或小于1的角放大率。因此，第二光束可以具有比第一光束的FOV更窄的FOV。
显示系统26000可以进一步包括中央凹跟踪器26006，诸如扫描反射镜(例如，MEMs反射镜)，其可以基于用户眼睛的注视位置来控制，以动态地投射与低FOV和高分辨率图像流相关联的第二光束。
与低FOV高分辨率图像流相关联的第二光束可以入射在ICG 26010的与第一表面26010-2相对的第二表面26010-1上。第二光束的一部分可以以透射模式(例如，一阶透射)衍射到目镜2408中，然后可以随后传播通过目镜26008并且朝向用户的眼睛出耦合。
如上所述，显示系统26000使用单个ICG 26010，而不是如图43-46中所示的两个单独的ICG。这可以简化目镜的设计。
图48示意性地示出了根据一些实施例的用于将图像流投射到用户的眼睛的显示系统27000。显示系统27000可以与图30A-30B所示的显示系统8000共享一些共同的元件；与图30A-30B有关的那些元件的描述也适用于此。显示系统27000可以包括图像源27002，该图像源27002被配置为提供时分复用的高FOV低分辨率图像流以及低FOV和高分辨率图像流。在一些实施例中，图像源27002可以采取微型投影仪的形式。
显示系统27000可以包括偏振器27010，该偏振器27010定位于图像源27002的下游并且被配置为将高FOV低分辨率图像流以及低FOV和高分辨率图像流从非偏振状态转换为偏振状态，诸如S偏振和P偏振，或RHCP和LHCP偏振。
显示系统27000可以进一步包括定位于偏振器27010下游的可切换偏振旋转器27020。可切换偏振旋转器27020的操作可以电子编程为与时分复用中的高FOV低分辨率图像流和低FOV高分辨率图像流的帧速率同步，使得可切换偏振旋转器27020不会旋转(或旋转很小的量)高FOV低分辨率图像流的偏振，并旋转低FOV高分辨率图像流的偏振大约90度(即，引入π的相移)，反之亦然。因此，在穿过可切换偏振旋转器27020之后，高FOV低分辨率图像流的偏振可以正交于低FOV高分辨率图像流的偏振。例如，高FOV低分辨率图像流可以是s偏振的，而低FOV高分辨率图像流可以是p偏振的，反之亦然。在其它实施例中，高FOV低分辨率图像流可以是左旋圆偏振的，而低FOV高分辨率图像流可以是右旋圆偏振的，反之亦然。
显示系统27000进一步包括偏振分束器27004，该偏振分束器27004被配置为沿第一光路反射高FOV低分辨率图像流，并沿第二光路透射低FOV高分辨图像流。
显示系统27000可进一步包括：位于偏振分束器27004的前面的第一光学透镜(透镜A)；沿第一光路位于偏振分束器27004的下游的第二光学透镜(透镜B)；以及沿第二光路位于分束器27004的下游的第三光学透镜(透镜C)。在一些实施例中，如以上关于图30A-30B和31A-31C所述，第一光学透镜(透镜A)和第二光学透镜(透镜B)的组合可为高FOV低分辨率图像流提供大于1的角放大率；并且第一光学透镜(透镜A)和第三光学透镜(透镜C)的组合可以为低FOV高分辨率图像流提供基本上等于1或小于1的角放大率。因此，高FOV低分辨率图像流可以被投射到具有比低FOV高分辨率图像流所投射的FOV更宽的FOV的用户的眼睛。
显示系统27000可进一步包括中央凹跟踪器27006，诸如扫描反射镜(例如，MEMs反射镜)，其可基于用户眼睛的注视位置进行控制，以动态投射与低FOV和高分辨率图像流相关联的第二光束。
显示系统27000可进一步包括目镜27008和耦合到目镜27008的入耦合光栅(ICG)27050。目镜27008可以是配置为在其中传播光的波导板。ICG 27050可以是衍射光学元件，该衍射光学元件被配置为将入射在其上的光的一部分衍射到目镜27008中。
显示系统27000可以进一步包括第一反射器27030，该第一反射器27030沿第一光路定位于第二光学透镜(透镜B)的下游。第一反射器27030可以被配置为朝向ICG 27050反射高FOV低分辨率图像流。当与高FOV低分辨率图像流相关联的第一光束入射在ICG 27050的第一表面27050-1上时，第一光束的一部分以透射模式(例如，一阶透射)衍射到目镜27008中，随后可以传播通过目镜27008并且朝向用户的眼睛出耦合。
显示系统27000可进一步包括第二反射器27040，该第二反射器27040沿第二光路定位在中央凹跟踪器27006的下游。第二反射器27040可以被配置为朝向ICG 27050反射低FOV高分辨率图像流。当与低FOV高分辨率图像流相关联的第二光束入射到ICG 27050的与第一表面27050-1相对的第二表面27050-2上时，第二光束的一部分以反射模式(例如，一阶反射)衍射到目镜27008中，其可以随后传播通过目镜27008并且朝向用户的眼睛出耦合。
图49示意性地示出了根据一些实施例的用于将图像流投射到用户的眼睛的显示系统28000。除了不包括ICG之外，显示系统28000类似于显示系统27000。相反，显示系统28000包括用于将高FOV低分辨率图像流耦合到目镜27008中的第一入耦合棱镜28030(代替显示系统27000中的第一反射器27030)和用于将低FOV高分辨率图像流耦合到目镜27008中的第二入耦合棱镜28040(代替显示系统27000中的第二反射器27040)。相对于目镜27008的折射率，可以适当地选择第一入耦合棱镜28030的折射率和第二入耦合棱镜28040的折射率，使得与高FOV低分辨率图像流相关联的第一光束中包含的一部分功率和与低FOV高分辨率图像流相关联的第二光束中包含的一部分功率分别由第一入耦合棱镜28030和第二入耦合棱镜28040耦合到目镜27008中。
IX.使用重叠光路的高视野和高分辨率凹式显示
在一些实施例中，显示系统可以被配置为使得高FOV低分辨率图像流和低FOV高分辨率图像流被提供给目镜，而不利用PBS将合成图像流分离成在不同方向中传播的两个图像流。而是，高FOV低分辨率图像流和低FOV高分辨率图像流可以采用从图像源到目镜的基本上相同的路径，从而可以避免PBS。这对于为显示系统提供紧凑的形状因数可能具有优势。
图50示意性地示出了用于将图像流投射到用户的眼睛的显示系统50000。显示系统50000可以包括被配置为提供包含图像信息的调制光的图像源50002。在一些实施例中，图像源50002可以诸如通过将第一图像流的帧与第二流的帧交织，以时分复用的方式提供用于呈现高FOV低分辨率图像的第一图像流和用于呈现低FOV高分辨率图像流的第二图像流。
显示系统50000还可以包括可变光学器件50004。在一些实施例中，可变光学器件50004可以为与高FOV低分辨率图像流相关联的光线50030提供与对于与低FOV高分辨率图像流相关联的光线50020不同的角放大率，从而使得能够将高FOV低分辨率图像流投射到波导50010之外，从而提供比低FOV高分辨率图像流所投射的FOV更宽的FOV。应当理解的是，入耦合的光入射在ICG 50006上的角度范围优选地在光从波导50010出耦合时得以保留。因此，以宽角度范围入射在ICG 50006上的入耦合光在出耦合时也以宽角度范围传播远离波导50010，从而提供高FOV和更大的角放大率。相反，以相对较窄的角度范围入射在ICG50006上的光在被出耦合之时也以较窄的角度范围传播远离波导50010，从而提供了低FOV和低角放大率。
另外，为了选择适当水平的角放大率，可变光学器件50004可以改变与高FOV低分辨率图像流相关联的光，使得其具有与低FOV高分辨率图像流相关联的光不同的光学特性。优选地，可变光学器件50004的功能和每个图像流的光的特性相匹配，使得改变光的相关特性会改变可变光学器件50004提供的光焦度和焦距。例如，高FOV低分辨率图像流可以具有第一偏振，并且低FOV低分辨率图像流可以具有第二偏振。优选地，可变光学器件50004被配置为针对通过其传播的光的不同偏振提供不同的光焦度和不同的焦距，使得可以通过提供特定的相关联的偏振光来选择所需的光焦度。第一偏振可以是右旋圆偏振(RHCP)、左旋圆偏振(LFCP)、S偏振、P偏振、另一种偏振类型或非偏振。第二偏振可以是右旋圆偏振(RHCP)、左旋圆偏振(LFCP)、S偏振、P偏振、另一种偏振类型或非偏振，只要它与第一偏振不同即可。在一些优选实施例中，第一偏振是右旋圆偏振(RHCP)和左旋圆偏振(LFCP)中的一个，并且第二偏振是左旋圆偏振(LFCP)和右旋圆偏振(RHCP)中的另一个。
在一些实施例中，可变光学器件50004的操作可以被电子编程为与时分复用中的高FOV低分辨率图像流和低FOV高分辨率图像流的帧速率同步。在一些实施例中，高FOV流的图像帧被赋予其所需的偏振和角放大率以经由ICG 50006耦合到波导50010，而低FOV流的交织帧被赋予其所需的放大率和偏振以首先穿过ICG 50006，被传送到反射镜50008，以用户的注视点为目标，并且然后经由ICG 50006耦合到波导50010。
显示系统50000还包括目镜50010和耦合到目镜50010的偏振敏感的入耦合光栅(ICG)50006。目镜50010可以是配置为例如通过全内反射在其中传播光的波导，例如板。偏振敏感的ICG 50006可以是偏振敏感的衍射光学元件，该偏振敏感的衍射光学元件被配置为将入射在其上的一部分光衍射到目镜50010中。在一些实施例中，ICG 50006可以是偏振敏感的，因为具有特定偏振的入射光优选地衍射到目镜50010中，而至少一种其它偏振的入射光穿过ICG 50006。穿过ICG 50006而没有耦合到目镜50010中的光可以朝向反射镜50008引导，该反射镜可以是MEMS反射镜，并且可以被配置为切换入射光的偏振。作为第一示例，偏振敏感的ICG 50006可以将具有右旋圆偏振(RHCP)的光耦合到波导中，同时使具有左旋圆偏振(LHCP)的光传送通向反射镜50008。作为示例，偏振敏感的ICG50006可以将具有LHCP的光耦合到波导中，同时将具有RHCP的光传送通向反射镜50008。
在至少一些实施例中，从反射镜50008反射的光可以被导向ICG50006。另外，从反射镜50008反射的光的反射可以改变光的偏振(例如，翻转从RHCP到LHCP的光的偏振，反之亦然)，使得反射光具有所需的偏振，以被ICG 50006衍射并耦合到目镜50010中。例如，如果ICG 50006被配置为将具有RHCP的光耦合到目镜50010中，则与高FOV流相关联的光可以通过可变光学器件50004赋予RHCP，并且然后耦合到目镜50010中。在此类示例中，与低FOV流相关联的光可以由可变光学器件50004赋予LHCP，使得LHCP光然后可以穿过ICG 50006而没有耦合到目镜50001中，而是可以被朝向反射镜50008引导。LHCP光从反射镜50008的反射可以将光的偏振翻转到RHCP。然后，当现在的RHCP光线照射到ICG50006时，它可以通过ICG50006耦合到目镜50010中。当ICG 50006配置为将LHCP耦合到目镜50010中时，类似的示例适用。
如在此所公开的，反射镜50008可以是可移动反射镜，例如扫描反射镜，并且可以用作中央凹跟踪器。如在此还讨论的，可以基于所确定的用户眼睛的注视位置来控制和移动/倾斜反射镜50008。反射镜50008的倾斜可能导致反射的光在不同位置处入耦合到波导500010中，从而导致光在与用户眼睛的中央凹位置相对应的不同位置处也出耦合。
继续参考图50，光源50002可以以时分复用的方式产生高FOV低分辨率(HFLR)图像流和低FOV高分辨率(LFHR)图像流。另外，可变光学器件50004可以改变HFLR图像流以具有特定的偏振(诸如RHCP)(以及相关联的角放大率)，使得HFLR图像流通过偏振敏感的ICG50006耦合到波导50010中。可变光学器件可以改变LFHR图像流以具有不同的偏振(诸如LHCP)和相关联的角放大率。结果，LFHR图像流穿过偏振敏感的ICG 50006，从反射镜50008反射出(将偏振翻转到RHCP并将LFHR图像对准用户的注视位置)，并且然后通过ICG 50006耦合到波导50010中。
可选地，可以将用于切换光的偏振状态的至少一个设备插入在图像源50002和ICG50006之间的光路中。
图51示出了可变光学器件50004的实施方式的示例。如图51中所示，可变光学器件50004可以由偏振器50012、可切换四分之一波片(QWP)50013、透镜50014、衍射波片透镜50015、衍射波片透镜50016和透镜500017形成。这仅仅是可变光学器件50004的一种可能的实施方式。
偏振器50012可以被配置为将来自光源50002的高FOV低分辨率图像流和低FOV高分辨率图像流从非偏振状态转换为偏振状态，诸如S偏振和P偏振，或RHCP和LHCP偏振。
可切换的QWP 50013可以配置为将来自偏振器50012的偏振光转换为(1)右旋圆偏振(RHCP)或(2)左旋圆偏振(LHCP)。
在离开QWP 50013之后，光可以入射在透镜50014和衍射波片透镜50015上。衍射波片透镜50015可以是包括以图案方式排列的液晶材料的几何相位透镜。衍射波片透镜50015可对于具有与其旋向性匹配的旋向性(RH或LH)的圆偏振光具有正光焦度(例如，是正透镜)，并且可对于相反旋向性的圆偏振光具有负光焦度(例如，是负透镜)。衍射波片透镜50015还可以具有使圆偏振光的旋向性反转的特性。因此，如果衍射波片透镜50015是右旋的并且接收来自透镜500014的RHCP光，则衍射波片透镜50015将充当正透镜，并且在穿过衍射波片透镜50015之后该光将是左旋的。
在离开衍射波片透镜50015之后，光将入射在衍射波片透镜50016上，并且然后入射在透镜50017上。衍射波片透镜50016可以以类似于衍射波片透镜50015的方式操作。另外，至少在一些实施例中，衍射波片透镜50016的旋向性可以匹配衍射波片透镜50015的旋向性。通过这种布置，衍射波片透镜50016的光焦度将与衍射波片透镜50015的光焦度相反。因此，在其中可切换QWP 50013提供具有与衍射波片透镜50015匹配的偏振的光的示例中，透镜50015将具有正光焦度，并且也将使光的旋向性反转。然后，当随后的衍射波片透镜50016接收光时，透镜50015将具有负光焦度，因为它在反转其旋向性之后接收了光。
利用图51中所示的布置类型，当可切换QWP 50013提供与衍射波片透镜50015的旋向性匹配的光时，可变光学器件50004可以提供第一角放大率(例如，使得透镜50015提供正光焦度，而透镜50016提供负光焦度)，并且当可切换QWP 50013提供相反旋向性的光时，可以提供第二角放大率(例如，使得透镜50015提供负光焦度，而透镜50016提供正光焦度)。在其它实施例中，两个衍射波片透镜50015和50016的旋向性可以不同。
现在参考图52A-52B，提供了关于示例ICG结构的附加细节。例如，应当理解，偏振敏感的ICG可以优先地在特定的横向方向中引导光，这取决于光入射到ICG的哪一侧。例如，参考图52A，从下方入射在ICG 50006上的光被重定向到页面左侧。然而，从上方入射在ICG50006上的光会不期望地引导朝向页面的右侧，远离光从中出耦合到观看者的波导的区域。在一些实施例中，为了使光入耦合以使其在所需的方向中传播，可以将不同的ICG用于从波导50010的不同方向或侧面入射的光。
例如，在一些实施例中，显示系统可以被配置为使得使用一对偏振敏感的入耦合光栅(ICG)50006和50040将高FOV低分辨率图像流和低FOV高分辨率图像流耦合到波导50010(其可以是目镜)中。此类布置可能是有益的，例如，从下方撞击ICG的光(以图50-53B的视角)在所需的横向方向中(向左)耦合到波导50010中，而从上方撞击ICG的光在相反的方向中(向右)耦合到波导50010中。在美国专利申请号15/902,927中描述了关于入耦合光栅(ICG)光栅的更多细节，其内容在此明确地并通过引用全部并入在此，如完整阐述的。
图52A-52B示意性地示出了根据本发明的一些实施例的用于将图像流投射到用户的眼睛的显示系统52000，其可以包括两个ICG 50006和50040。在一些实施例中，ICG 50006和50040二者可以被配置为将相同偏振类型的光耦合到波导50010中。例如，ICG 50006和50040可以各自将具有左旋圆偏振(LHCP)的光耦合到波导50010中，同时使具有右旋圆偏振(RHCP)的光通过。可替代地，可以交换偏振。
如图52A中所示，诸如图50-51中所示的那些光学元件可以提供具有左旋圆偏振(LHCP)的高FOV低分辨率图像流50030。光50030可以入射在ICG 50006上。由于光50030是LHCP，并且ICG 50006被配置为将LHCP光耦合到波导50010中，所以光通过ICG 50006耦合到波导50010中。
如图52B中所示，诸如图50-51中所示的那些光学元件可以提供具有右旋圆偏振(RHCP)的低FOV高分辨率图像流50020(可以以时间复用的方式与图52A的图像流交织)。光50020可能入射到ICG 50006上。但是，由于光50020是RHCP，并且ICG 50006被配置为仅将LHCP光耦合到波导50010中，所以光50020穿过ICG50006。ICG 50040类似地可以配置为仅将LHCP光耦合到波导50010中，因此光也可以穿过ICG 50040。在穿过两个ICG之后，光50020可入射到可移动反射镜50008上，该可移动反射镜50008基于用户的注视点处于特定取向中(如在此的各个部分中进行了讨论)。在反射出反射镜50008之后，光50020的偏振可以被翻转，使得光现在是LHCP。然后，光50020可以入射到ICG 50040上，该ICG50040可以将现在的LHCP光50020耦合到波导50010中。
在一些实施例中，显示系统可以被配置为使得高FOV低分辨率图像流和低FOV高分辨率图像流由具有相同偏振的光形成。结果，两个图像流在入射到该ICG的同一侧上时可以被相同ICG耦合。
图53A-53B示意性地示出了根据本发明的一些实施例的用于将图像流投射到用户的眼睛的显示系统53000，其可以包括单个ICG 50006和可切换反射器50042。可切换反射器50042可以是基于液晶的平面设备，其以足够高的速率在基本透明状态和基本反射状态之间切换；也就是说，可切换反射器50042的切换速率优选足够高以允许与高FOV低分辨率图像流和低FOV高分辨率图像流的交织帧协调。例如，可切换反射器50042优选地能够以与高和低FOV分辨率图像流的切换至少相同的速率在反射状态和透射状态之间切换。
如图53A中所示，ICG 50006可以从诸如图50-51中所示的光学元件接收高FOV低分辨率图像流50030。例如，图像流可能具有左旋圆偏振(LHCP)。图像流50030的光可以入射到ICG 50006上。但是，ICG 50006可以被配置为耦合RHCP光并且使LHCP光通过。因此，LHCP光50030可以穿过ICG 50006。然后，光可以入射在可切换反射器50042上，该可切换反射器50042可以被配置为处于其反射状态(当系统正在投射高FOV低分辨率图像流50030时)。因此，图像流50030的光可以从可切换反射器50042反射出，从而反转其偏振的旋向性。在从可切换反射器50042反射出之后，50030光可以再次入射到ICG 50006上，并且ICG 50006可以将现在的RHCP光50030耦合到波导50010中。
如图53B中所示，诸如图50-51中所示的那些光学元件可以提供具有左旋圆偏振(LHCP)的低FOV高分辨率图像流50020。该布置略有不同，因为低FOV图像流50020的偏振与高FOV图像流50030的偏振匹配。可以使用图50-51中所示的可变光学器件50004的修改来实现此类布置。作为示例，可以在透镜50017和ICG 50006之间设置附加的偏振器，例如可切换偏振器。
返回到图53B中的低FOV高分辨率LHCP光50020，光50020入射到ICG 50006上。然而，ICG 50006被配置为将RHCP耦合到波导50010中。因此，光50020穿过ICG 50006。光50020接下来入射到可切换反射器50042上，该可切换反射器50042可以被配置为处于透明状态(当系统正在投射低FOV高分辨率光50020时)。因此，光可以穿过可切换反射器50042并入射到反射镜50008上，并且可选地，被反射镜50008瞄准在用户的注视点上(如在此在各个部分中所讨论的)。在反射出反射镜50008之后，光50020的偏振可以被翻转，因此光现在是RHCP。然后，光50020可以入射到ICG 50006上，该ICG 50006可以将现在的RHCP光50020耦合到波导50010中。应当理解，反射镜50008可以被配置为提供中央凹跟踪和/或可以与ICG 50006充分间隔开，以解决可穿戴光学器件50004的不同焦距(图50-51)，从而提供聚焦图像。
所描述的实施例的各个方面、实施例、实施方式或特征可以单独使用或以任何组合使用。所描述的实施例的各个方面可以通过软件、硬件或硬件和软件的组合来实现。所描述的实施例还可以被体现为用于控制制造操作的计算机可读介质上的计算机可读代码，或者可以被体现为用于控制生产线的计算机可读介质上的计算机可读代码。计算机可读介质是可以存储数据的任何数据存储设备，该数据随后可以被计算机系统读取。计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、HDD、DVD、磁带和光学数据存储设备。计算机可读介质还可以分布在与网络耦合的计算机系统上，使得以分布式方式存储和执行计算机可读代码。
为了说明的目的，前述描述使用特定术语来提供对所描述的实施例的透彻理解。然而，对于本领域技术人员显而易见的是，不需要特定细节来实践所描述的实施例。因此，出于说明和描述的目的，给出了特定实施例的前述描述。它们不旨在穷举或将所描述的实施例限制为所公开的精确形式。对于本领域的普通技术人员将显而易见的是，鉴于以上教导，许多修改和变化是可能的。
还应当理解，在此描述和/或附图中描绘的每个过程、方法和算法可以在由一个或多个物理计算系统、硬件计算机处理器、专用电路和/或配置为执行具体和特定的计算机指令的电子硬件所执行的代码模块中体现或完全或部分地自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等。代码模块可以编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释性编程语言编写。在一些实施例中，可以由特定于给定功能的电路来执行特定操作和方法。
此外，本公开的功能的某些实施例在数学、计算或技术上都足够复杂，以至于例如由于所涉及计算的数量或复杂性，可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，或实质上实时地提供结果。例如，视频可以包括许多帧，每个帧具有数百万个像素，并且需要专门编程的计算机硬件来处理视频数据，以在商业上合理的时间内提供所需的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂态计算机可读介质上，诸如物理计算机存储装置，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储装置，它们的组合等。在一些实施例中，非暂态计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(150)和远程数据存储库(160)中的一个或多个的一部分。方法和模块(或数据)也可以作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)在各种计算机可读传输介质上发送，包括基于无线的和有线的/基于电缆的介质，并且可以采用多种形式(例如，作为单个或多路复用模拟信号的一部分，或作为多个离散数字包或帧)。所公开的过程或过程步骤的结果可以永久地或以其它方式存储在任何类型的非暂态有形计算机存储装置中，或者可以经由计算机可读传输介质进行通信。
在此描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应被理解为潜在地代表包括用于在过程中实现特定功能(例如，逻辑或算术)或步骤的一个或多个可执行指令的代码模块、代码段或代码部分。各种过程、框、状态、步骤或功能可以与在此提供的说明性示例相结合、重新布置、添加、删除、修改或以其它方式改变。在一些实施例中，附加或不同的计算系统或代码模块可以执行在此描述的一些或全部功能。在此描述的方法和过程也不限于任何特定的顺序，并且与其相关的框、步骤或状态可以以适当的其它顺序来执行，例如，串行、并行或以一些其它方式。可以将任务或事件添加到所公开的示例实施例中或从中删除。此外，在此描述的实施例中的各种系统组件的分离是出于说明的目的，并且不应被理解为在所有实施例中都需要这种分离。应当理解，所描述的程序组件、方法和系统通常可以被集成在单个计算机产品中或包装到多个计算机产品中。
在前述说明书中，已经参考本发明的特定实施例描述了本发明。然而，将显而易见的是，在不脱离本发明的更广泛精神和范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图应被认为是说明性而非限制性的。
实际上，应当理解，本公开的系统和方法均具有若干创新方面，其中没有一个对在此公开的期望属性负有单独责任或要求。上述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合旨在落入本公开的范围内。
在单独的实施例的上下文中在本说明书中描述的某些特征也可以在单个实施例中组合实现。相反，在单个实施例的上下文中描述的各种特征也可以分别在多个实施例中或以任何合适的子组合来实现。而且，尽管以上可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是在一些情况下，可以从该组合中切除所要求保护的组合中的一个或多个特征，并且可以将所要求保护的组合用于子组合或子组合的变体。对于每个和所有实施例，没有单个特征或一组特征是必要的或必不可少的。
应当理解，除非另外特别说明，否则在此使用的条件语言，诸如“能”、“可”、“可能”、“可以”、“例如”等通常旨在传达某些实施例包括而某些实施例不包括某些特征、元件和/或步骤。因此，此类条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必须包括用于在有或没有作者输入或提示的情况下确定在任何特定实施例中是否包括或将要执行这些特征、元素和/或步骤的逻辑。术语“包括”、“包含”、“具有”等是同义词，并且以开放式方式包含在内，并且不排除附加元素、特征、动作、操作等。而且，术语“或”以其包含的含义使用(而不是以其排他的含义使用)，使得例如在用于连接元素列表时，术语“或”表示一个、一些或列表中的全部元素。另外，在本申请和所附权利要求书中使用的冠词“一”、“一个”和“该”应被解释为表示“一个或多个”或“至少一个”，除非另有说明。类似地，尽管可以以特定顺序在附图中描绘操作，但是要认识到，不需要以所示的特定顺序或以顺序的次序执行此类操作，或者不需要执行所有示出的操作来获得所需的结果。此外，附图可以以流程图的形式示意性地描绘另一示例过程。然而，未示出的其它操作可以结合在示意性示出的示例方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其它实施例中，操作可以被重新布置或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以集成在单个软件产品中或打包成多个软件产品。另外，其它实施例在所附权利要求的范围内。在某些情况下，权利要求中记载的动作可以以不同的顺序执行并且仍然实现所需的结果。
因此，权利要求书无意限于在此所展示的实施例，而是应被赋予与在此所揭示的本发明、原理及新颖特征一致的最广范围。

Claims (128)

1.一种系统，包括一个或多个处理器和一个或多个计算机存储介质，所述计算机存储介质存储指令，所述指令当由所述一个或多个处理器执行时，使所述一个或多个处理器执行包括以下的操作：
基于经由一个或多个传感器检测到的信息，监视用户的眼睛运动；
基于所述眼睛运动，确定所述用户的眼睛正在注视的注视点，其中，所述注视点是所述用户的视野中的三维位置；
获得与一个或多个虚拟对象相关联的位置信息以呈现给所述用户，所述位置信息指示所述虚拟对象的三维位置；
至少部分地基于至少一个虚拟对象与所述注视点的接近度来调节所述至少一个虚拟对象的分辨率；以及
使得经由显示设备向所述用户呈现所述一个或多个虚拟对象，所述至少一个虚拟对象根据相应的调节的分辨率被渲染。
2.根据权利要求1所述的系统，其中，调节虚拟对象的分辨率包括降低所述虚拟对象的呈现质量。
3.根据权利要求2所述的系统，其中，降低所述虚拟对象的呈现质量包括以下中的一项或多项：减少所述虚拟对象的多边形计数，调节用于生成所述虚拟对象的图元，调节所述虚拟对象上执行的操作，调节纹理信息，调节颜色分辨率或深度，以及调节渲染周期数或帧速率。
4.根据权利要求1所述的系统，其中，所述视野对应于所述显示设备的显示平截体。
5.根据权利要求1所述的系统，其中，所述视野包括多个区域，每个区域代表所述视野内的空间的体积，所述显示设备能够在所述视野中呈现虚拟对象，
其中，所述区域从所述视野内的初始深度延伸到所述视野内的终止深度，以及
其中，所述一个或多个虚拟对象与所述注视点的所述接近度对应于将要呈现所述虚拟对象的第一区域与所述注视点所在的第二区域分开的距离。
6.根据权利要求5所述的系统，其中，调节所述至少一个虚拟对象的分辨率包括从最初分配给所述至少一个虚拟对象的分辨率来降低分辨率，其中，所述接近度对应于将所述第一区域与所述第二区域分开的区域的总数。
7.根据权利要求5所述的系统，其中，所述注视点所在的所述第二区域被分配最大分辨率，并且其中，其余区域根据一个或多个下降率被分别被分配为从所述最大分辨率减小的分辨率。
8.根据权利要求5所述的系统，其中，所述操作进一步包括：
提供用户的视网膜视锥密度分布，
其中，单个深度平面上的下降率基本上与所述用户的视网膜视锥密度分布中的视锥密度的下降率一致。
9.根据权利要求5所述的系统，其中，所述区域具有三维多边形形状。
10.根据权利要求5所述的系统，其中，所述区域是同心椭圆形。
11.根据权利要求5所述的系统，其中，所述区域的形状随着距所述第二区域的距离而变化。
12.根据权利要求1所述的系统，进一步包括所述显示设备，所述显示设备包括：
多个堆叠的波导，其形成显示区域并通过所述显示区域提供周围环境的视图，其中，多个波导中的至少一些波导被配置为输出具有与其它波导不同的波前发散的光。
13.根据权利要求1所述的系统，其中，对于要距所述注视点更远的深度上呈现并且被确定为在所述用户的凝视的阈值角距离内的第一虚拟对象，所述操作进一步包括：
基于所述第一虚拟对象与所述注视点的接近度，调节所述第一虚拟对象的所述分辨率；以及
在向所述用户呈现所述第一虚拟对象期间，使所述第一虚拟对象模糊。
14.根据权利要求13所述的系统，其中，使所述第一虚拟对象模糊包括：
执行高斯模糊核与根据所调节的分辨率渲染的所述第一虚拟对象的卷积；以及
经由所述显示设备向所述用户呈现所述卷积的结果。
15.根据权利要求1所述的系统，其中，所述一个或多个传感器包括被配置为检测所述用户的眼睛的凝视方向的红外传感器、紫外传感器和可见波长光成像设备中的一个或多个。
16.一种显示系统，包括：
显示设备，其被配置为向用户呈现虚拟内容；
一个或多个处理器；以及
一个或多个计算机存储介质，其存储指令，所述指令当由所述系统执行时使所述系统执行包括以下的操作：
监视与所述用户的眼睛运动相关联的信息；
基于所监视的信息，确定所述显示设备的显示平截体内的注视点，所述注视点指示被所述用户的眼睛正在注视的三维位置；以及
基于所确定的注视点，在所述显示平截体内的三维位置处呈现虚拟内容，基于所述虚拟内容与所述注视点的接近度，在分辨率上调节所述虚拟内容。
17.根据权利要求16所述的系统，其中，所述操作进一步包括：
由所述显示设备向包括一个或多个处理器的外部系统提供所确定的注视点；以及
由所述显示设备并且从所述外部系统接收渲染的虚拟内容以用于呈现，基于所述虚拟内容与所述注视点的相应接近度，以分辨率来渲染所述虚拟内容。
18.根据权利要求16所述的系统，其中，基于与所述注视点的接近度来调节特定虚拟内容的分辨率包括：
基于所述接近度确定最大分辨率的降低，所述降低基于下降率；以及
基于所确定的降低来调节所述特定虚拟内容的分辨率。
19.根据权利要求16所述的系统，其中，所述显示设备包括多个波导，每个波导基于所述虚拟内容的三维位置呈现与相应的深度相关联的虚拟内容。
20.根据权利要求16所述的系统，其中，所述显示设备基于相对于所述注视点的凹式成像来呈现虚拟内容，所述凹式成像包含与(1)所述注视点和(2)虚拟内容相关联的深度信息。
21.一种方法，包括：
由一个或多个处理器的系统，
基于经由一个或多个传感器检测到的信息，监视显示设备的用户的眼睛取向；
基于所述眼睛取向，确定所述用户的眼睛正在注视的注视点，所述注视点代表相对于所述用户的视野的三维位置；
获得与一个或多个虚拟对象相关联的位置信息以呈现给所述用户，所述位置信息指示所述虚拟对象的三维位置；
至少部分地基于从至少一个虚拟对象到所述注视点的相应接近度来调节所述至少一个虚拟对象的分辨率；以及
使得经由所述显示设备向所述用户呈现所述一个或多个虚拟对象，所述至少一个虚拟对象根据相应的调节的分辨率被渲染。
22.根据权利要求21所述的方法，其中，调节虚拟对象的分辨率包括相对于最大可能呈现质量来降低所述虚拟对象的呈现质量。
23.根据权利要求22所述的方法，其中，降低所述虚拟对象的呈现质量包括：减少所述虚拟对象的多边形计数，减少与所述虚拟对象相关联的图元，或者减少与所述虚拟对象相关联的纹理信息。
24.根据权利要求21所述的方法，其中，针对经由所述显示设备呈现给所述用户的每一帧确定所述注视点。
25.根据权利要求21所述的方法，其中，所述视野包括区域，每个区域代表其中可以呈现虚拟对象的所述视野内的空间的体积；
其中，所述区域至少从所述视野内的初始深度延伸至所述视野内的终止深度；以及
其中，基于相对于所述注视点所位于的第二区域的将要呈现所述虚拟对象的第一区域来确定虚拟对象与所述注视点的接近度。
26.根据权利要求21所述的方法，其中，传感器包括红外传感器、紫外传感器和可见波长光成像设备中的一个或多个。
27.一种显示系统，包括：
框架，其被配置为安装在用户的头部上；
光调制系统，其被配置为输出光以形成图像；
一个或多个波导，其附接到所述框架，并被配置为接收来自所述光调制系统的所述光，并横跨所述一个或多个波导的表面输出所述光；
一个或多个处理器；以及
一个或多个计算机存储介质，其存储指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：
确定到达所述用户的眼睛的视网膜的光量；以及
基于到达所述视网膜的所述光量，调节要呈现给所述用户的虚拟内容的分辨率。
28.根据权利要求27所述的显示系统，进一步包括被配置为测量周围照明水平的向外定向的相机，其中，确定到达所述视网膜的所述光量包括测量所述周围照明水平。
29.根据权利要求28所述的显示系统，其中，确定到达所述视网膜的所述光量进一步包括确定由所述波导输出到所述用户的所述眼睛的光量。
30.根据权利要求27所述的显示系统，其中，所述操作进一步包括：
确定用户注视点；以及
获得所述虚拟内容的位置信息，所述位置信息指示所述虚拟内容的三维位置；
其中，调节所述虚拟内容的分辨率包括基于所述虚拟内容与所述注视点的接近度来改变所述虚拟内容的分辨率。
31.根据权利要求30所述的显示系统，其中，调节所述虚拟内容的分辨率包括基于所述虚拟内容在远离所述用户延伸的深度轴上与所述注视点的接近度来改变所述虚拟内容的分辨率。
32.根据权利要求27所述的显示系统，其中，所述一个或多个波导包括波导的堆叠，其中，所述波导的堆叠中的至少一些所述波导提供与所述波导的堆叠中的其它波导不同量的波前发散。
33.根据权利要求27所述的显示系统，其中，所述一个或多个波导包括：
入耦合衍射光学元件；
出耦合衍射光学元件；以及
光分配元件，其被配置为将来自所述入耦合衍射光学元件的光引导到所述出耦合衍射光学元件。
34.一种显示系统，包括：
一个或多个处理器；以及
一个或多个计算机存储介质，其存储指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：
确定到达所述显示系统的用户的眼睛的视网膜的光量；以及
基于到达所述视网膜的所述光量，调节要呈现给所述用户的虚拟内容的分辨率。
35.根据权利要求34所述的显示系统，其中，确定到达所述视网膜的所述光量包括确定周围照明水平。
36.根据权利要求35所述的显示系统，其中，确定到达所述视网膜的所述光量包括确定由所述显示系统输出以显示所述虚拟内容的光量。
37.根据权利要求34所述的显示系统，其中，确定到达所述视网膜的所述光量包括确定所述用户的所述眼睛的瞳孔的大小。
38.根据权利要求34所述的显示系统，其中，调节所述虚拟内容的分辨率包括：随着所述虚拟内容与所述用户注视点的距离增加，来降低所述虚拟内容的分辨率。
39.根据权利要求38所述的显示系统，其中，所述降低分辨率的趋势基本上类似于降低所述用户的所述视网膜中的视锥密度的趋势。
40.根据权利要求39所述的显示系统，其中，在用户视野内的最大分辨率的区域以与所述用户的所述眼睛的中央凹相对应的点为中心，
其中，对于放置在所述点+/-20°之外的虚拟内容，降低用户视野内的虚拟内容的所述分辨率。
41.根据权利要求38所述的显示系统，其中，降低分辨率包括在到达所述视网膜的所有光的水平上降低多边形计数。
42.根据权利要求38所述的显示系统，其中，调节分辨率包括将所述分辨率设置为两个分辨率水平中的一个分辨率水平。
43.根据权利要求42所述的显示系统，其中，调节所述虚拟内容的分辨率包括：随着减少到达所述视网膜的光量，减小颜色深度和对比度中的一个或二者。
44.根据权利要求34所述的显示系统，其中，所述操作进一步包括：
确定所述光量是否对应于明视照明水平、中视照明水平或暗视照明水平，
其中，调节所述虚拟内容的分辨率包括基于所述照明水平是否对应于明视照明水平、中视照明水平或暗视照明水平来设置所述分辨率。
45.根据权利要求34所述的显示系统，其中，调节所述虚拟内容的分辨率包括：在暗视照明水平下，使用单色显示所述虚拟内容。
46.根据权利要求34所述的显示系统，其中，调节所述虚拟内容的分辨率包括：随着到达所述眼睛的所述视网膜的所述光量减少，减小形成所述虚拟内容的图像的对比度。
47.根据权利要求34所述的显示系统，其中，所述操作进一步包括：
以多种分量颜色提供虚拟内容，
其中，调节所述虚拟内容的分辨率包括为不同的分量颜色提供不同的分辨率。
48.根据权利要求34所述的显示系统，其中，所述操作进一步包括：防止渲染与所述眼睛的视神经盲点相对应的虚拟内容。
49.根据权利要求34所述的显示系统，其中，调节所述虚拟内容的分辨率包括：防止渲染针对所述用户的每只眼睛的位于相对的外围区域内的虚拟内容，其中，所述相对的外围区域位于与所述眼睛所设置在其上的所述用户的一侧相对的所述用户的一侧上。
50.根据权利要求34所述的显示系统，其中，所述操作进一步包括使得经由显示设备向所述用户呈现所述虚拟内容，所述虚拟内容根据相关联的调节的分辨率被渲染。
51.一种由包括一个或多个处理器和头戴式显示器的显示系统执行的方法，所述方法包括：
确定到达所述显示系统的用户的眼睛的视网膜的光量；以及
基于到达所述视网膜的所述光量，调节要呈现给所述用户的虚拟内容的分辨率。
52.一种显示系统，包括：
框架，其被配置为安装在用户的头部上；
光调制系统，其被配置为输出光以形成图像；
一个或多个波导，其附接到所述框架，并被配置为接收来自所述光调制系统的所述光，并横跨所述一个或多个波导的表面输出所述光；
一个或多个处理器；以及
一个或多个计算机存储介质，其存储指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：
基于以下调节形成虚拟内容的分量颜色图像的分辨率：
所述虚拟内容与用户注视点的接近度；以及
所述分量颜色图像的颜色，其中，所述分量颜色图像的至少一个在分辨率上与另一颜色的分量颜色图像不同。
53.根据权利要求52所述的显示系统，其中，调节所述虚拟内容的分辨率包括基于所述虚拟内容在远离所述用户延伸的深度轴上与所述注视点的接近度来改变所述虚拟内容的分辨率。
54.根据权利要求52所述的显示系统，其中，所述一个或多个波导包括波导的堆叠，其中，所述波导的堆叠中的至少一些所述波导提供与所述波导的堆叠中的其它波导不同量的波前发散。
55.根据权利要求52所述的显示系统，其中，所述一个或多个波导包括：
入耦合衍射光学元件；
出耦合衍射光学元件；以及
光分配元件，其被配置为将来自所述入耦合衍射光学元件的光引导到所述出耦合衍射光学元件。
56.一种显示系统，包括：
一个或多个处理器；以及
一个或多个计算机存储介质，其存储指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：
基于以下调节形成虚拟内容的分量颜色图像的分辨率：
所述虚拟内容与用户注视点的接近度；以及
所述分量颜色图像的颜色，其中，所述分量颜色图像的至少一个在分辨率上与另一种颜色的分量颜色图像不同。
57.根据权利要求56所述的显示系统，其中，所述分辨率至少对应于颜色深度。
58.根据权利要求56所述的显示系统，其中，所述分辨率至少对应于多边形计数。
59.根据权利要求56所述的显示系统，其中，所述分量颜色图像包括红色分量颜色图像、绿色分量颜色图像和蓝色分量颜色图像；
其中，所述绿色分量颜色图像具有比所述红色分量颜色图像或所述蓝色分量颜色图像更高的分辨率。
60.根据权利要求59所述的显示系统，其中，所述红色分量颜色图像具有比所述蓝色分量颜色图像更高的分辨率。
61.根据权利要求56所述的显示系统，其中，调节所述虚拟内容的分辨率包括：随着周围光和由所述显示系统输出以显示所述虚拟内容的光中的一个或二者减少，来降低形成所述虚拟内容的图像的对比度。
62.根据权利要求56所述的显示系统，其中，所述操作进一步包括：防止渲染与所述显示系统的用户的眼睛的视神经盲点相对应的虚拟内容。
63.根据权利要求56所述的显示系统，其中，调节所述虚拟内容的分辨率包括：防止渲染针对所述用户的每只眼睛的位于相对的外围区域内的虚拟内容，其中，所述相对的外围区域位于与所述眼睛所设置在其上的所述用户的一侧相对的所述用户的一侧上。
64.根据权利要求56所述的显示系统，其中，所述操作进一步包括使得经由显示设备向用户呈现所述虚拟内容，所述虚拟内容根据相关联的调节的分辨率被渲染。
65.一种由包括一个或多个处理器和头戴式显示器的显示系统执行的方法，所述方法包括：
基于以下调节形成虚拟内容的分量颜色图像的分辨率：
所述虚拟内容与用户注视点的接近度；以及
所述分量颜色图像的颜色，其中，所述分量颜色图像的至少一个在分辨率上与另一种颜色的分量颜色图像不同。
66.一种显示系统，包括：
图像源，其包括用于提供第一图像流和第二图像流的空间光调制器；
观看组件，其包括用于从所述图像源接收所述第一图像流和所述第二图像流并将所述第一图像流和所述第二图像流输出给用户的光导光学器件；
一个或多个处理器，其与所述图像源通信；以及
一个或多个计算机存储介质，其存储指令，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行包括以下的操作：
使所述图像源将所述第一图像流输出到所述观看组件，其中，由所述第一图像流形成的图像具有第一像素密度；以及
使所述图像源将所述第二图像流输出到所述观看组件，其中，由所述第二图像流形成的图像具有比所述第一像素密度更大的第二像素密度，
其中，由所述第二图像流形成的所述图像对应于由所述第一图像流提供的图像的部分，以及
其中，由所述第二图像流形成的图像覆盖由所述第一图像流提供的视野的对应部分。
67.根据权利要求66所述的显示系统，其中，所述操作进一步包括：改变所述第二图像相对于所述第一图像的位置。
68.根据权利要求67所述的显示系统，其中，所述操作进一步包括随着时间推移改变所述第二图像的大小。
69.根据权利要求67所述的显示系统，进一步包括：眼睛凝视跟踪器，其被配置为检测所述用户的所述眼睛在取向上的变化，
其中，所述操作包括根据所检测的所述用户的所述眼睛在取向上的变化来改变所述第二图像相对于所述第一图像的所述位置。
70.根据权利要求69所述的显示系统，进一步包括：
在所述图像源和所述观看组件之间的所述第二图像流的路径中的扫描反射镜，
其中，所述操作进一步包括调节所述扫描反射镜的取向以改变所述第二图像相对于所述第一图像的图像的位置。
71.根据权利要求66所述的显示系统，其中，所述观看组件包括目镜，所述目镜包括：
波导，其包括被配置为将光入耦合到所述波导的入耦合光栅。
72.根据权利要求71所述的显示系统，其中，所述入耦合光栅是液晶偏振敏感的入耦合光栅。
73.根据权利要求71所述的显示系统，其中，所述波导包括配置为将光入耦合到所述波导的另一入耦合光栅，其中，所述另一入耦合光栅沿所述波导的与所述入耦合光栅不同的表面设置。
74.根据权利要求73所述的显示系统，其中，所述入耦合光栅和所述另一入耦合光栅二者在所述第二图像流的光路中，
其中，所述入耦合光栅和所述另一入耦合光栅对于具有第一偏振的第二图像流是透射的，以及
进一步包括与所述另一入耦合光栅间隔开并面向所述另一入耦合光栅的反射镜，其中，所述反射镜被配置为将所述第二图像流朝向所述另一入耦合光栅反射，并且还将所述第二图像流的光的偏振改变为第二偏振，其中，所述另一入耦合光栅被配置为入耦合所述第二偏振的光。
75.根据权利要求71所述的显示系统，其中，所述波导包括被配置为将光入耦合到所述波导的另一入耦合光栅，其中，所述另一入耦合光栅沿所述波导的与所述入耦合光栅相同的表面设置，其中，所述入耦合光栅设置在所述第二图像流的路径中，并且所述另一入耦合光栅设置在所述第一图像流的路径中。
76.根据权利要求66所述的显示系统，进一步包括分束光学器件，用于将光分成在不同方向中传播的多个图像流。
77.根据权利要求76所述的显示系统，其中，所述分束光学器件是偏振分束器。
根据权利要求76所述的显示系统，其中，所述分束光学器件是可切换反射器，其中，所述可切换反射器是在反射状态和透射状态之间选择性地切换。
78.一种用于将图像投射到用户的眼睛的显示系统，所述显示系统包括：
图像源，其被配置为以第一偏振投射与第一图像流相关联的第一光束，并以与所述第一偏振不同的第二偏振投射与第二图像流相关联的第二光束，所述第一图像流具有第一视野，并且所述第二图像流具有比所述第一视野更窄的第二视野，所述第一光束和所述第二光束被多路复用；
偏振分束器，其被配置为：
沿第一光路接收所述第一光束并将其朝向观看组件反射，以将所述第一图像流定位在所述用户的所述眼睛的固定位置中；以及
沿第二光路接收和透射所述第二光束；
扫描反射镜，其沿所述第二光路设置，并被配置为接收所述第二光束并将其朝向所述观看组件反射；
眼睛凝视跟踪器，其被配置为检测所述用户的所述眼睛的运动；以及
控制电路，其与所述眼睛凝视跟踪器和所述扫描反射镜通信，所述控制电路被配置为定位所述扫描反射镜，使得所述第二图像流的位置根据所检测的所述用户的所述眼睛的运动而移动。
79.根据权利要求78所述的显示系统，其中，所述第一图像流具有第一角分辨率，并且所述第二图像流具有高于所述第一角分辨率的第二角分辨率。
80.根据权利要求78所述的显示系统，其中，所述第二图像流的内容包括所述第一图像流的内容的部分。
81.根据权利要求80所述的显示系统，其中，所述第二图像流的所述内容随着所述第二图像流相对于所述第一图像流移动而改变，使得所述第二图像流的所述内容对应于由所述第二图像流覆盖的所述第一图像流的所述部分。
82.根据权利要求78所述的显示系统，其中，所述第一偏振和所述第二偏振中的每一个偏振是线性偏振，并且所述第二偏振与所述第一偏振正交。
83.根据权利要求78所述的显示系统，进一步包括：
第一中继透镜组件，其被配置为向所述第一光束提供第一角放大率。
84.根据权利要求83所述的显示系统，进一步包括：
第二中继透镜组件，其被配置为向所述第二光束提供第二角放大率，所述第二角放大率与所述第一角放大率不同。
85.根据权利要求84所述的显示系统，其中，所述第一角放大率大于一，并且所述第二角放大率小于或等于一。
86.根据权利要求84所述的显示系统，其中：
所述第一中继透镜组件包括：位于所述图像源与所述偏振分束器之间的第一光学透镜，以及沿所述第一光路定位的第二光学透镜，其中，所述第一光学透镜的焦距与所述第二光学透镜的焦距之比大于一。
87.根据权利要求86所述的显示系统，其中：
所述第二中继透镜组件包括所述第一光学透镜和沿所述第二光路定位的第三光学透镜，其中，所述第一光学透镜的所述焦距与所述第三光学透镜的焦距之比等于或小于一。
88.根据权利要求78所述的显示系统，其中：
所述第一光束和所述第二光束被时分复用；以及
所述图像源包括切换偏振旋转器，所述切换偏振旋转器被配置为以所述第一偏振提供所述第一光束和以所述第二偏振提供所述第二光束。
89.根据权利要求78所述的显示系统，其中，所述第一光束和所述第二光束是偏分复用的。
90.一种用于将图像投射到用户的眼睛的显示系统，所述显示系统包括：
图像源，其被配置为投射与第一图像流相关联的第一光束和与第二图像流相关联的第二光束，所述第一图像流具有第一视野，并且所述第二图像流具有比所述第一视野更窄的第二视野，所述第一光束和所述第二光束被多路复用；
扫描反射镜，其被配置为接收所述第一光束和所述第二光束并将其朝向观看组件反射，以投射所述第一图像流和所述第二图像流；
眼睛凝视跟踪器，其被配置为检测所述用户的所述眼睛的运动；
控制电路，其与所述眼睛凝视跟踪器和所述扫描反射镜通信，所述控制电路被配置为定位所述扫描反射镜，使得所述第一图像流的位置和所述第二图像流的位置根据所检测的所述用户的所述眼睛的运动而移动；以及
可切换光学元件，其设置在所述第一光束和所述第二光束的光路中，所述可切换光学元件被配置为切换到用于所述第一光束的第一状态，使得所述第一光束以第一角放大率进行角度放大，并切换到用于所述第二光束的第二状态，使得所述第二光束以小于所述第一角放大率的第二角放大率进行角度放大。
91.根据权利要求90所述的显示系统，其中，所述第一光束和所述第二光束被时分复用，并且所述可切换光学元件包括电可切换液晶透镜。
92.根据权利要求90所述的显示系统，其中，所述第一光束和所述第二光束被偏分复用，并且所述可切换光学元件包括多焦点双折射透镜。
93.根据权利要求92所述的显示系统，其中，所述多焦点双折射透镜包括双折射聚合物。
94.根据权利要求90所述的显示系统，其中，所述可切换光学元件设置在所述扫描反射镜的下游。
95.根据权利要求90所述的显示系统，其中，所述可切换光学元件设置在所述扫描反射镜的表面上。
96.根据权利要求90所述的显示系统，其中，所述可切换光学元件设置在所述图像源与所述扫描反射镜之间。
97.根据权利要求90所述的显示系统，其中，所述第一角放大率大于一，并且所述第二角放大率大约为1。
98.一种可穿戴显示系统，包括：
具有取决于圆偏振旋向性的放大率的无焦放大镜，其包括：
第一固定焦距透镜元件；
第一几何相位透镜，其对于入射的圆偏振光的第一旋向性表现出正屈光力，而对于入射的圆偏振光的第二旋向性表现出负屈光力，以及
第二几何相位透镜。
99.根据权利要求98所述的可穿戴显示系统，其中：
在透射光时，所述第一几何相位透镜使圆偏振旋向性反转；以及
所述第二几何相位透镜对于圆偏振光的所述第一旋向性表现出负屈光力，而对于圆偏振光的所述第二旋向性表现出正屈光力。
100.根据权利要求98所述的可穿戴显示系统，进一步包括：
第二固定焦距透镜，其中，所述第二几何相位透镜对于圆偏振光的所述第一旋向性表现出正屈光力，而对于圆偏振光的所述第二旋向性表现出负屈光力。
101.根据权利要求98所述的可穿戴显示系统，其中，在透射光时，所述第一几何相位透镜使圆偏振旋向性反转。
102.根据权利要求98所述的可穿戴显示系统，其中，将所述第一固定焦距透镜元件和所述第一几何相位透镜视为透镜组，对于具有所述第一旋向性的光，所述透镜组具有第一组正焦距，并且对于具有所述第二旋向性的光，所述透镜组具有第二组正焦距，其中，所述第一组正焦距超过所述第二组正焦距。
103.根据权利要求98所述的可穿戴显示系统，进一步包括：
偏振旋转器，其光学耦合到所述无焦放大镜，所述偏振旋转器被配置为接收偏振光并选择性地输出第一线性偏振或第二线性偏振的光；以及
在所述偏振旋转器和所述无焦放大镜之间的第一波片，所述第一波片被配置为将所述第一线性偏振的光转换为所述第一旋向性的圆偏振光，并且将所述第二线性偏振的光转换为所述第二旋向性的圆偏振光。
104.根据权利要求103所述的可穿戴显示系统，包括：
所述偏振旋转器和所述第一波片之间的第一光路，用于所述第一线性偏振的光；以及
所述偏振旋转器和所述第一波片之间的第二光路，用于所述第二线性偏振的光。
105.根据权利要求104所述的可穿戴显示系统，其中，所述第一光路和所述第二光路中的至少一个光路包括可转向反射镜。
106.根据权利要求104所述的可穿戴显示系统，其中，所述第一光路和所述第二光路中的每一个光路包括多个中继透镜元件中的至少一个子集。
107.根据权利要求103所述的可穿戴显示系统，其中，在所述第一光路和所述第二光路中的每一个光路内，所述多个中继透镜元件的连续对形成无焦复合透镜。
108.根据权利要求104所述的可穿戴显示系统，其中：
所述第一光路穿过偏振选择反射器，并且所述第二光路穿过所述偏振选择反射器。
109.根据权利要求108所述的可穿戴显示系统，其中，所述第一光路和所述第二光路中的每一个光路包括四个中继透镜元件中的至少一个子集，并且所述四个中继透镜元件围绕所述偏振选择反射器定位。
110.根据权利要求108所述的可穿戴显示系统，其中：
所述第一光路在第一方向中穿过所述偏振选择反射器，并且所述第二光路在第二方向中穿过所述偏振选择反射器。
111.根据权利要求108所述的可穿戴显示系统，其中，所述第一光路和所述第二光路中的至少一个光路包括第二波片和第三波片。
112.一种用于可穿戴图像投影仪的光学子系统，包括：
偏振选择反射器；以及
围绕所述偏振选择反射器定位的一组四个透镜元件。
113.根据权利要求112所述的光学子系统，其中，沿通过所述子系统的至少一个光路，所述一组四个透镜元件中的每个连续对形成无焦复合透镜。
114.根据权利要求112所述的光学子系统，进一步包括光学耦合到所述偏振选择反射器和所述一组四个透镜元件的偏振旋转开关。
115.根据权利要求114所述的光学子系统，进一步包括围绕所述偏振选择反射器定位的多个波片。
116.根据权利要求115所述的光学子系统，其中，所述多个波片中的每一个波片定位于所述一组四个中继透镜元件中的一个中继透镜元件与所述偏振选择反射器之间。
117.根据权利要求115所述的光学子系统，其中，所述多个波片包括三个波片。
118.根据权利要求115所述的光学子系统，进一步包括：中央凹跟踪反射镜，其定位在所述一组四个中继透镜中的第一中继透镜的与所述偏振选择反射器相对的一侧。
119.根据权利要求118所述的光学子系统，进一步包括：图像扫描反射镜，其定位在所述一组四个中继透镜中的第二中继透镜的与所述偏振选择反射器相对的一侧。
120.根据权利要求119所述的光学子系统，进一步包括光学耦合到所述图像扫描反射镜的光束源。
121.根据权利要求120所述的光学子系统，其中，所述光束源包括二向色反射器、发出被所述二向色反射器反射的第一颜色的光的第一激光二极管，以及发出被所述二向色反射器透射的第二颜色的光的第二激光二极管。
122.一种用于将图像投射到用户的眼睛的显示系统，所述显示系统包括：
目镜，其包括：
波导；以及
光耦合到所述波导的入耦合光栅；
第一图像源，其被配置为投射与第一图像流相关联的第一光束，所述第一图像流具有第一视野并且入射在所述入耦合光栅的第一表面上，所述第一光束的一部分通过所述入耦合光栅耦合到所述波导中，以将所述第一图像流定位在所述用户的所述眼睛的固定位置中；
第二图像源，其被配置为投射与第二图像流相关联的第二光束，所述第二图像流具有比所述第一视野更窄的第二视野；
扫描反射镜，其配置为接收和反射所述第二光束，使得所述第二光束入射到所述入耦合光栅的与其所述第一表面相对的第二表面上，所述第二光束的一部分通过所述入耦合光栅耦合到所述波导中；
眼睛凝视跟踪器，其被配置为检测所述用户的所述眼睛的运动；以及
控制电路，其与所述眼睛凝视跟踪器和所述扫描反射镜通信，所述控制电路配置为定位所述扫描反射镜，使得所述第二图像流的位置根据所检测的所述用户的所述眼睛的运动而移动。
123.根据权利要求122所述的显示系统，进一步包括：
第一透镜组件，其沿所述第一光束的第一光路定位并被配置为向所述第一光束提供第一角放大率。
124.根据权利要求123所述的显示系统，进一步包括：
第二透镜组件，其沿所述第二光束的第二光路定位并被配置为向所述第二光束提供第二角放大率，所述第二角放大率与所述第一角放大率不同。
125.根据权利要求124所述的显示系统，其中，所述第一角放大率大于一，并且所述第二角放大率小于或等于一。
126.根据权利要求122所述的显示系统，其中，所述第一图像流具有第一角分辨率，并且所述第二图像流具有高于所述第一角分辨率的第二角分辨率。
127.一种用于将图像投射到用户的眼睛的显示系统，所述显示系统包括：
目镜，其包括：
波导；以及
光耦合到所述波导的入耦合光栅；
图像源，其被配置为以第一偏振投射与第一图像流相关联的第一光束，并以与所述第一偏振不同的第二偏振投射与第二图像流相关联的第二光束，所述第一图像流具有第一视野，并且所述第二图像流具有比所述第一视野更窄的第二视野，所述第一光束和所述第二光束被多路复用；
偏振分束器，其被配置为：
沿第一光路接收并反射所述第一光束；以及
沿第二光路接收和透射所述第二光束；
第一光学反射器，其沿所述第一光路定位并被配置为接收和反射所述第一光束，使得所述第一光束入射到所述入耦合光栅的第一表面上，所述第一光束的一部分通过所述入耦合光栅耦合到所述波导中，用于将所述第一图像流定位在所述用户的所述眼睛的固定位置中；
扫描反射镜，其沿所述第二光路设置并被配置为接收和反射所述第二光束；
第二光学反射器，其沿所述扫描反射镜下游的所述第二光路定位，所述第二光学反射器被配置为接收和反射所述第二光束，使得所述第二光束入射在所述入耦合光栅的与其所述第一表面相对的第二表面上，所述第二光束的一部分通过所述入耦合光栅耦合到所述波导中；
眼睛凝视跟踪器，其被配置为检测所述用户的所述眼睛的运动；以及
控制电路，其与所述眼睛凝视跟踪器和所述扫描反射镜通信，所述控制电路被配置为定位所述扫描反射镜，使得所述第二图像流的位置根据所检测的所述用户的所述眼睛的运动而移动。
128.一种用于将图像投射到用户的眼睛的显示系统，所述显示系统包括：
波导；
图像源，其被配置为以第一偏振投射与第一图像流相关联的第一光束，并以与所述第一偏振不同的第二偏振投射与第二图像流相关联的第二光束，所述第一图像流具有第一视野，并且所述第二图像流具有比所述第一视野更窄的第二视野，所述第一光束和所述第二光束被多路复用；
偏振分束器，其被配置为：
沿第一光路接收并反射所述第一光束；以及
沿第二光路接收和透射所述第二光束；
第一入耦合棱镜，其沿所述第一光路并邻近所述波导的第一表面定位，所述第一入耦合棱镜被配置为将所述第一光束的一部分耦合到所述波导中，以将所述第一图像流定位在所述用户的所述眼睛的固定位置中；
扫描反射镜，其沿所述第二光路设置并被配置为接收和反射所述第二光束；
第二入耦合棱镜，其沿所述扫描反射镜下游的所述第二光路并且邻近所述波导的与所述波导的所述第一表面相对的第二表面定位，所述第二入耦合棱镜被配置为将所述第二光束的一部分耦合到所述波导中；
眼睛凝视跟踪器，其被配置为检测所述用户的所述眼睛的运动；以及
控制电路，其与所述眼睛凝视跟踪器和所述扫描反射镜通信，所述控制电路配置为定位所述扫描反射镜，使得所述第二图像流的位置根据所检测的所述用户的所述眼睛的运动而移动。
CN201880033609.5A 2017-03-22 2018-03-21 用于显示系统的基于深度的凹式渲染 Active CN110679147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210150664.0A CN114578562A (zh) 2017-03-22 2018-03-21 用于显示系统的基于深度的凹式渲染

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762475012P 2017-03-22 2017-03-22
US62/475,012 2017-03-22
US201762486407P 2017-04-17 2017-04-17
US62/486,407 2017-04-17
US201762539934P 2017-08-01 2017-08-01
US62/539,934 2017-08-01
US201862644365P 2018-03-16 2018-03-16
US62/644,365 2018-03-16
PCT/US2018/023619 WO2018175625A1 (en) 2017-03-22 2018-03-21 Depth based foveated rendering for display systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210150664.0A Division CN114578562A (zh) 2017-03-22 2018-03-21 用于显示系统的基于深度的凹式渲染

Publications (2)

Publication Number Publication Date
CN110679147A true CN110679147A (zh) 2020-01-10
CN110679147B CN110679147B (zh) 2022-03-08

Family

ID=63582451

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210150664.0A Pending CN114578562A (zh) 2017-03-22 2018-03-21 用于显示系统的基于深度的凹式渲染
CN201880033609.5A Active CN110679147B (zh) 2017-03-22 2018-03-21 用于显示系统的基于深度的凹式渲染

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210150664.0A Pending CN114578562A (zh) 2017-03-22 2018-03-21 用于显示系统的基于深度的凹式渲染

Country Status (9)

Country Link
US (2) US11644669B2 (zh)
EP (1) EP3603058A4 (zh)
JP (3) JP7096836B2 (zh)
KR (3) KR20240046291A (zh)
CN (2) CN114578562A (zh)
AU (1) AU2018239511A1 (zh)
CA (1) CA3057109A1 (zh)
IL (2) IL300511A (zh)
WO (1) WO2018175625A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111338591A (zh) * 2020-02-25 2020-06-26 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
CN111553972A (zh) * 2020-04-27 2020-08-18 北京百度网讯科技有限公司 用于渲染增强现实数据的方法、装置、设备及存储介质
CN111929893A (zh) * 2020-07-24 2020-11-13 闪耀现实(无锡)科技有限公司 一种增强现实显示装置及其设备
CN112285915A (zh) * 2020-10-26 2021-01-29 腾讯科技（深圳）有限公司 增强现实组件以及显微镜
CN113325947A (zh) * 2020-02-28 2021-08-31 北京七鑫易维信息技术有限公司 一种显示方法、装置、终端设备及存储介质
CN113393516A (zh) * 2021-06-17 2021-09-14 北京房江湖科技有限公司 用于打散ar场景中的虚拟物体的方法和装置
CN113467619A (zh) * 2021-07-21 2021-10-01 腾讯科技（深圳）有限公司 画面显示方法、装置和存储介质及电子设备
CN114647084A (zh) * 2020-12-21 2022-06-21 英飞凌科技股份有限公司 具有眼睛跟踪的基于mems振镜的扩展现实投影
CN115176458A (zh) * 2020-04-20 2022-10-11 鲁姆斯有限公司 具有增强的激光效率和眼睛安全的近眼显示器
WO2023060414A1 (en) * 2021-10-12 2023-04-20 Citrix Systems, Inc. Adjustable magnifier for virtual desktop
CN115176458B (zh) * 2020-04-20 2024-06-07 鲁姆斯有限公司 具有增强的激光效率和眼睛安全的近眼显示器

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US10437064B2 (en) 2015-01-12 2019-10-08 Digilens Inc. Environmentally isolated waveguide display
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
WO2016154537A1 (en) * 2015-03-26 2016-09-29 Kent State University Compact non-mechanical zoom lens
CN113759555A (zh) 2015-10-05 2021-12-07 迪吉伦斯公司 波导显示器
GB2553744B (en) 2016-04-29 2018-09-05 Advanced Risc Mach Ltd Graphics processing systems
US10268268B1 (en) 2016-09-02 2019-04-23 Facebook Technologies, Llc Waveguide integrated eye tracking
CN110199220B (zh) 2016-11-18 2022-11-01 奇跃公司 使用交叉光栅的波导光复用器
US10168531B1 (en) * 2017-01-04 2019-01-01 Facebook Technologies, Llc Lightfield waveguide integrated eye tracking
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10904514B2 (en) 2017-02-09 2021-01-26 Facebook Technologies, Llc Polarization illumination using acousto-optic structured light in 3D depth sensing
EP3603058A4 (en) 2017-03-22 2020-12-30 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
KR102578929B1 (ko) 2017-03-27 2023-09-15 아브간트 코포레이션 조향 가능한 중심와 디스플레이
US10685430B2 (en) * 2017-05-10 2020-06-16 Babylon VR Inc. System and methods for generating an optimized 3D model
US10914957B1 (en) * 2017-05-30 2021-02-09 Apple Inc. Video compression methods and apparatus
US10613413B1 (en) 2017-05-31 2020-04-07 Facebook Technologies, Llc Ultra-wide field-of-view scanning devices for depth sensing
US10181200B1 (en) 2017-06-28 2019-01-15 Facebook Technologies, Llc Circularly polarized illumination and detection for depth sensing
US10574973B2 (en) 2017-09-06 2020-02-25 Facebook Technologies, Llc Non-mechanical beam steering for depth sensing
CN109511004B (zh) * 2017-09-14 2023-09-01 中兴通讯股份有限公司 一种视频处理方法及装置
US11347052B2 (en) * 2017-10-23 2022-05-31 Sony Corporation Display control apparatus, head mounted display, and display control method
US10650579B2 (en) * 2017-11-30 2020-05-12 Microsoft Technology Licensing, Llc Systems and methods of distance-based shaders for procedurally generated graphics
US10401657B2 (en) * 2018-01-05 2019-09-03 Intel Corporation Head mount displays for mixed reality
AU2019232746A1 (en) * 2018-03-07 2020-08-20 Magic Leap, Inc. Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display
US11846779B2 (en) 2018-03-15 2023-12-19 Meta Platforms Technologies, Llc Display device with varifocal optical assembly
US11175508B2 (en) 2018-03-15 2021-11-16 Facebook Technologies, Llc Display device with varifocal optical assembly
US11175507B2 (en) 2018-03-15 2021-11-16 Facebook Technologies, Llc Polarization-sensitive components in optical systems for large pupil acceptance angles
US11327306B2 (en) 2018-03-15 2022-05-10 Facebook Technologies, Llc Angular performance of apochromatic pancharatnam berry phase components using a C-plate
JP7381482B2 (ja) 2018-03-16 2023-11-15 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベースの中心窩化レンダリング
US10714050B2 (en) * 2018-03-21 2020-07-14 Daqri, Llc Reducing latency in augmented reality (AR) displays
WO2019191778A1 (en) * 2018-03-30 2019-10-03 The Regents Of The University Of California Photonic beam steering and applications for optical communications
US10642049B2 (en) 2018-04-25 2020-05-05 Apple Inc. Head-mounted device with active optical foveation
DE102018110644B4 (de) * 2018-05-03 2024-02-15 Carl Zeiss Meditec Ag Digitales Mikroskop und digitales Mikroskopieverfahren
GB2573543B (en) * 2018-05-09 2021-10-27 Advanced Risc Mach Ltd Graphics Processing
WO2019226688A1 (en) * 2018-05-22 2019-11-28 Agilent Technologies, Inc. Method and system for implementing augmented reality (ar)-based assistance within work environment
US10419738B1 (en) 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10527854B1 (en) * 2018-06-18 2020-01-07 Facebook Technologies, Llc Illumination source for a waveguide display
US10841662B2 (en) 2018-07-27 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for inserting advertisement content in 360° immersive video
US10712837B1 (en) * 2018-07-30 2020-07-14 David Douglas Using geo-registered tools to manipulate three-dimensional medical images
KR102546321B1 (ko) * 2018-07-30 2023-06-21 삼성전자주식회사 3차원 영상 표시 장치 및 방법
KR20200021670A (ko) * 2018-08-21 2020-03-02 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
US10757389B2 (en) 2018-10-01 2020-08-25 Telefonaktiebolaget Lm Ericsson (Publ) Client optimization for providing quality control in 360° immersive video during pause
WO2020082002A1 (en) 2018-10-19 2020-04-23 Magic Leap, Inc. Method and system for reducing line separation artifacts in interlaced image projection
US10775617B2 (en) * 2018-10-24 2020-09-15 Google Llc Eye tracked lens for increased screen resolution
US11721307B1 (en) 2018-11-02 2023-08-08 Meta Platforms Technologies, Llc Beam-racing pixel generation in a display engine
CN113170090A (zh) 2018-12-04 2021-07-23 麦克赛尔株式会社 头戴式显示装置
WO2020118276A1 (en) 2018-12-07 2020-06-11 Avegant Corp. Steerable positioning element
CN113424095A (zh) 2018-12-11 2021-09-21 迪吉伦斯公司 用于提供单光栅层彩色全息波导显示器的方法和装置
US10634907B1 (en) * 2018-12-19 2020-04-28 Facebook Technologies, Llc Eye tracking based on polarization volume grating
JP7451534B2 (ja) 2018-12-28 2024-03-18 マジック リープ， インコーポレイテッド 発光型マイクロディスプレイを伴う仮想および拡張現実ディスプレイシステム
CA3125739A1 (en) 2019-01-07 2020-07-16 Avegant Corp. Control system and rendering pipeline
CN109767466B (zh) * 2019-01-10 2021-07-13 深圳看到科技有限公司 画面渲染方法、装置、终端及对应的存储介质
US11175513B2 (en) * 2019-01-22 2021-11-16 Varjo Technologies Oy Display apparatuses and methods employing waveguides and opacity masks
EP3914997A4 (en) 2019-01-25 2022-10-12 Magic Leap, Inc. OCULOMETRY USING IMAGES WITH DIFFERENT EXPOSURE TIMES
US11302248B2 (en) 2019-01-29 2022-04-12 Osram Opto Semiconductors Gmbh U-led, u-led device, display and method for the same
US11610868B2 (en) 2019-01-29 2023-03-21 Osram Opto Semiconductors Gmbh μ-LED, μ-LED device, display and method for the same
US11156759B2 (en) * 2019-01-29 2021-10-26 Osram Opto Semiconductors Gmbh μ-LED, μ-LED device, display and method for the same
US11271143B2 (en) 2019-01-29 2022-03-08 Osram Opto Semiconductors Gmbh μ-LED, μ-LED device, display and method for the same
DE102019201766A1 (de) * 2019-02-12 2020-08-13 Robert Bosch Gmbh Projektionsvorrichtung für eine Datenbrille, Verfahren zum Darstellen von Bildinformationen mittels einer Projektionsvorrichtung und Steuergerät
GB201903708D0 (en) * 2019-03-19 2019-05-01 Wave Optics Ltd Improved angular uniformity waveguide for augmented or virtual reality
CN110139028B (zh) * 2019-03-25 2020-07-07 华为技术有限公司 一种图像处理的方法及头戴式显示设备
US10725304B1 (en) * 2019-03-28 2020-07-28 Facebook Technologies, Llc Compensatory image during swift-eye movement
US10554940B1 (en) * 2019-03-29 2020-02-04 Razmik Ghazaryan Method and apparatus for a variable-resolution screen
US11284053B2 (en) 2019-03-29 2022-03-22 Razmik Ghazaryan Head-mounted display and projection screen
CN217739617U (zh) 2019-03-29 2022-11-04 阿维甘特公司 使用波导提供可转向混合显示器的系统
US10466489B1 (en) 2019-03-29 2019-11-05 Razmik Ghazaryan Methods and apparatus for a variable-resolution screen
US11538852B2 (en) 2019-04-23 2022-12-27 Osram Opto Semiconductors Gmbh μ-LED, μ-LED device, display and method for the same
EP3973347A4 (en) 2019-05-20 2023-05-31 Magic Leap, Inc. EYE POSITION ESTIMATION SYSTEMS AND TECHNIQUES
CN110244839B (zh) * 2019-05-20 2022-11-18 联想（上海）信息技术有限公司 控制方法、电子设备和存储介质
US11383731B2 (en) * 2019-06-04 2022-07-12 Lg Electronics Inc. Image output device
US11650423B2 (en) * 2019-06-20 2023-05-16 Magic Leap, Inc. Eyepieces for augmented reality display system
US20200413032A1 (en) * 2019-06-27 2020-12-31 Texas Instruments Incorporated Methods and apparatus to render 3d content within a moveable region of display screen
US11009766B2 (en) * 2019-06-28 2021-05-18 Intel Corporation Foveated virtual reality near eye displays
WO2021010772A1 (ko) * 2019-07-18 2021-01-21 삼성전자(주) 다중 깊이 표현이 가능한 영상 표시 장치
CN112241068A (zh) 2019-07-18 2021-01-19 三星电子株式会社 能够多深度表达的图像显示装置
US11113880B1 (en) * 2019-07-22 2021-09-07 Facebook Technologies, Llc System and method for optimizing the rendering of dynamically generated geometry
US20220142473A1 (en) * 2019-07-26 2022-05-12 North Inc. Method and system for automatic pupil detection
US11106912B1 (en) 2019-08-05 2021-08-31 Genetec Inc. Method and system for video content analysis
CN112823307A (zh) * 2019-08-26 2021-05-18 京东方科技集团股份有限公司 光学显示系统和方法、显示装置
EP4022370A4 (en) 2019-08-29 2023-08-30 Digilens Inc. VACUUM BRAGG GRATINGS AND METHODS OF MANUFACTURING
US11430175B2 (en) 2019-08-30 2022-08-30 Shopify Inc. Virtual object areas using light fields
US11029755B2 (en) 2019-08-30 2021-06-08 Shopify Inc. Using prediction information with light fields
US11996023B2 (en) 2019-09-05 2024-05-28 Dolby Laboratories Licensing Corporation Viewer synchronized illumination sensing
TWI723938B (zh) 2019-09-12 2021-04-01 英錡科技股份有限公司 雷射投影裝置及合光透鏡
WO2021061479A1 (en) * 2019-09-23 2021-04-01 Apple Inc. Rendering computer-generated reality text
US11240488B2 (en) * 2019-09-24 2022-02-01 Facebook Technologies, Llc Volumetric display including liquid crystal-based lenses
CN114746792A (zh) * 2019-11-26 2022-07-12 瑞典爱立信有限公司 向用户供应多层扩展现实图像
JP2023505230A (ja) * 2019-12-06 2023-02-08 マジック リープ， インコーポレイテッド 仮想、拡張、および複合現実システムおよび方法
CN110927973A (zh) * 2019-12-16 2020-03-27 Oppo广东移动通信有限公司 显示装置
WO2021138607A1 (en) * 2020-01-03 2021-07-08 Digilens Inc. Modular waveguide displays and related applications
EP4062225A4 (en) * 2020-01-06 2023-12-27 Avegant Corp. HEAD MOUNTED SYSTEM WITH COLOR SPECIFIC MODULATION
AU2020421370A1 (en) * 2020-01-07 2022-06-30 Baraja Pty Ltd Adaptive spatial estimation system
CN111309144B (zh) * 2020-01-20 2022-02-01 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
US11625848B2 (en) * 2020-01-30 2023-04-11 Unity Technologies Sf Apparatus for multi-angle screen coverage analysis
US11823343B1 (en) * 2020-03-26 2023-11-21 Apple Inc. Method and device for modifying content according to various simulation characteristics
US11536972B2 (en) * 2020-05-22 2022-12-27 Magic Leap, Inc. Method and system for dual projector waveguide displays with wide field of view using a combined pupil expander-extractor (CPE)
KR20210156613A (ko) 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법
KR20220008118A (ko) 2020-07-13 2022-01-20 삼성전자주식회사 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
WO2022015647A2 (en) * 2020-07-13 2022-01-20 Perdix Systems Llc Optical systems with multiple light engines for foveation
WO2022020262A1 (en) * 2020-07-24 2022-01-27 Perdix Systems Llc Optical system having light sources with a power-saving mode
TWI779336B (zh) * 2020-08-24 2022-10-01 宏碁股份有限公司 顯示系統及裸視立體影像之播放方法
WO2022066341A1 (en) * 2020-09-22 2022-03-31 Sterling Labs Llc Attention-driven rendering for computer-generated objects
US11297332B1 (en) 2020-10-30 2022-04-05 Capital One Services, Llc Gaze-tracking-based image downscaling for multi-party video communication
US20240094534A1 (en) * 2020-11-30 2024-03-21 Apple Inc. Display Systems Having Imaging Capabilities
US20220210905A1 (en) * 2020-12-30 2022-06-30 Samsung Electronics Co., Ltd. Electronic device including heat dissipation structure
KR20220126584A (ko) * 2021-03-09 2022-09-16 삼성전자주식회사 모바일 장치의 카메라 시스템
CN113177434A (zh) * 2021-03-30 2021-07-27 青岛小鸟看看科技有限公司 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
FR3121505B1 (fr) * 2021-04-01 2023-03-31 Thales Sa Systéme d'observation á grossissement ajustable
US20220334392A1 (en) * 2021-04-16 2022-10-20 Nvidia Corporation Holographic virtual reality display
US20220345678A1 (en) * 2021-04-21 2022-10-27 Microsoft Technology Licensing, Llc Distributed Virtual Reality
JP7011746B1 (ja) 2021-05-31 2022-01-27 株式会社バーチャルキャスト コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
DE102021205700B4 (de) * 2021-06-07 2023-07-06 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität
CN113599818B (zh) * 2021-08-16 2023-07-21 北京字跳网络技术有限公司 植被渲染方法、装置、电子设备及可读存储介质
WO2023028093A1 (en) * 2021-08-23 2023-03-02 Vuzix Corporation Double-sided waveguide
KR20230060315A (ko) * 2021-10-27 2023-05-04 삼성전자주식회사 전자 장치 및 이를 이용한 공간 매핑 방법
US11501410B1 (en) * 2022-03-22 2022-11-15 Illuscio, Inc. Systems and methods for dynamically rendering three-dimensional images with varying detail to emulate human vision
WO2023195597A1 (ko) * 2022-04-08 2023-10-12 엘지전자 주식회사 실감형 컨텐츠 제공 장치 및 실감형 컨텐츠 제공 방법
CN116528065B (zh) * 2023-06-30 2023-09-26 深圳臻像科技有限公司 一种高效虚拟场景内容光场获取与生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120127062A1 (en) * 2010-11-18 2012-05-24 Avi Bar-Zeev Automatic focus improvement for augmented reality displays
CN104935909A (zh) * 2015-05-14 2015-09-23 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20160191891A1 (en) * 2014-12-31 2016-06-30 Logan Gilpin Video capturing and formatting system
US20160379606A1 (en) * 2015-06-29 2016-12-29 Microsoft Technology Licensing, Llc Holographic near-eye display

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JP2002542505A (ja) 1999-04-08 2002-12-10 ニューヨーク ユニバーシティ 超解像力を有する中心窩画像表示装置
US10742965B2 (en) 2001-01-23 2020-08-11 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US9781408B1 (en) 2001-01-23 2017-10-03 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
US7499594B2 (en) 2002-04-15 2009-03-03 At&T Intellectual Property 1, L.P. Multi-resolution predictive foveation for bandwidth reduction of moving images
US7872635B2 (en) 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US20050232530A1 (en) 2004-04-01 2005-10-20 Jason Kekas Electronically controlled volume phase grating devices, systems and fabrication methods
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US7173619B2 (en) 2004-07-08 2007-02-06 Microsoft Corporation Matching digital information flow to a human perception system
JP2006337997A (ja) 2005-05-02 2006-12-14 Semiconductor Energy Lab Co Ltd 表示装置
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
JP2011085829A (ja) 2009-10-19 2011-04-28 Nikon Corp ヘッドマウントディスプレイ
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CN107179607B (zh) 2010-12-24 2019-12-13 奇跃公司 人体工程学头戴式显示设备和光学系统
CA3035118C (en) 2011-05-06 2022-01-04 Magic Leap, Inc. Massive simultaneous remote digital presence world
JP2012252091A (ja) 2011-06-01 2012-12-20 Sony Corp 表示装置
JP5934363B2 (ja) 2011-09-08 2016-06-15 インテル・コーポレーション インタラクティブな画面閲覧
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
AU2012348348B2 (en) 2011-10-28 2017-03-30 Magic Leap, Inc. System and method for augmented and virtual reality
KR102227381B1 (ko) 2011-11-23 2021-03-11 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US9851563B2 (en) 2012-04-05 2017-12-26 Magic Leap, Inc. Wide-field of view (FOV) imaging devices with active foveation capability
US20130300635A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
NZ702897A (en) 2012-06-11 2017-03-31 Magic Leap Inc Multiple depth plane three-dimensional display using a wave guide reflector array projector
AU2013315607A1 (en) 2012-09-11 2015-04-02 Magic Leap, Inc Ergonomic head mounted display device and optical system
US20140092006A1 (en) 2012-09-28 2014-04-03 Joshua Boelter Device and method for modifying rendering based on viewer focus area from eye tracking
CA2898283C (en) 2013-01-15 2021-05-11 Magic Leap, Inc. Ultra-high resolution scanning fiber display
KR102270699B1 (ko) 2013-03-11 2021-06-28 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
WO2014144526A2 (en) 2013-03-15 2014-09-18 Magic Leap, Inc. Display system and method
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP6479785B2 (ja) 2013-10-16 2019-03-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 調節可能な瞳孔間距離を有する仮想または拡張現実ヘッドセット
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN107219628B (zh) 2013-11-27 2020-05-01 奇跃公司 虚拟和增强现实系统与方法
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
US10175478B2 (en) 2014-05-30 2019-01-08 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
US10386636B2 (en) 2014-01-31 2019-08-20 Magic Leap, Inc. Multi-focal display system and method
NZ722904A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
AU2015297036B2 (en) 2014-05-09 2017-09-28 Google Llc Systems and methods for discerning eye signals and continuous biometric identification
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
CA2950429C (en) 2014-05-30 2021-05-25 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
JP6726110B2 (ja) 2014-07-31 2020-07-22 イマジンオプティクス・コーポレイション 光学素子、及び回折光学素子
US9552062B2 (en) * 2014-09-05 2017-01-24 Echostar Uk Holdings Limited Gaze-based security
US10007333B2 (en) 2014-11-07 2018-06-26 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
US10176639B2 (en) 2014-11-27 2019-01-08 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
JP6819031B2 (ja) 2015-01-23 2021-01-27 株式会社リコー 頭部装着型表示装置、表示方法
NZ773815A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2016202716A (ja) 2015-04-24 2016-12-08 株式会社コーエーテクモゲームス プログラム及び記録媒体
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US10043281B2 (en) * 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
KR102000888B1 (ko) 2015-08-07 2019-10-01 애플 인크. 이미지들의 스트림을 디스플레이하기 위한 시스템 및 방법
CA2995978A1 (en) 2015-08-18 2017-02-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
CA2996009A1 (en) 2015-09-25 2017-03-30 Magic Leap, Inc. Methods and systems for detecting and combining structural features in 3d reconstruction
CN113220116A (zh) 2015-10-20 2021-08-06 奇跃公司 改变可穿戴设备用户输入模式的系统和方法及可穿戴系统
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
US20190088015A1 (en) 2016-03-31 2019-03-21 Umbra Software Oy Virtual reality streaming
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US9721393B1 (en) 2016-04-29 2017-08-01 Immersive Enterprises, LLC Method for processing and delivering virtual reality content to a user
US20170373459A1 (en) 2016-06-27 2017-12-28 University Of Central Florida Research Foundation, Inc. Volume polarization grating, methods of making, and applications
US11551602B2 (en) 2016-09-01 2023-01-10 Innovega Inc. Non-uniform resolution, large field-of-view headworn display
WO2018057660A2 (en) 2016-09-20 2018-03-29 Apple Inc. Augmented reality system
EP3537950A4 (en) 2016-11-10 2019-10-30 Magic Leap, Inc. METHOD AND SYSTEM FOR EYE TRACKING USING SPECKLE PATTERNS
CN116153272A (zh) 2016-11-16 2023-05-23 奇跃公司 用于头戴式显示系统的多分辨率显示组件
EP3603058A4 (en) 2017-03-22 2020-12-30 Magic Leap, Inc. DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS
KR102578929B1 (ko) 2017-03-27 2023-09-15 아브간트 코포레이션 조향 가능한 중심와 디스플레이
US10861142B2 (en) 2017-07-21 2020-12-08 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
JP7381482B2 (ja) 2018-03-16 2023-11-15 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベースの中心窩化レンダリング
WO2020033875A1 (en) 2018-08-10 2020-02-13 Compound Photonics Limited Apparatus, systems, and methods for foveated display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120127062A1 (en) * 2010-11-18 2012-05-24 Avi Bar-Zeev Automatic focus improvement for augmented reality displays
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20160191891A1 (en) * 2014-12-31 2016-06-30 Logan Gilpin Video capturing and formatting system
CN104935909A (zh) * 2015-05-14 2015-09-23 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
US20160379606A1 (en) * 2015-06-29 2016-12-29 Microsoft Technology Licensing, Llc Holographic near-eye display

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11804194B2 (en) 2020-02-25 2023-10-31 Beijing Boe Optoelectronics Technology Co., Ltd. Virtual reality display device and display method
CN111338591B (zh) * 2020-02-25 2022-04-12 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
CN111338591A (zh) * 2020-02-25 2020-06-26 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
CN113325947A (zh) * 2020-02-28 2021-08-31 北京七鑫易维信息技术有限公司 一种显示方法、装置、终端设备及存储介质
CN115176458B (zh) * 2020-04-20 2024-06-07 鲁姆斯有限公司 具有增强的激光效率和眼睛安全的近眼显示器
CN115176458A (zh) * 2020-04-20 2022-10-11 鲁姆斯有限公司 具有增强的激光效率和眼睛安全的近眼显示器
CN111553972A (zh) * 2020-04-27 2020-08-18 北京百度网讯科技有限公司 用于渲染增强现实数据的方法、装置、设备及存储介质
CN111929893A (zh) * 2020-07-24 2020-11-13 闪耀现实(无锡)科技有限公司 一种增强现实显示装置及其设备
CN111929893B (zh) * 2020-07-24 2022-11-04 闪耀现实(无锡)科技有限公司 一种增强现实显示装置及其设备
CN112285915B (zh) * 2020-10-26 2023-07-18 腾讯科技（深圳）有限公司 增强现实组件以及显微镜
CN112285915A (zh) * 2020-10-26 2021-01-29 腾讯科技（深圳）有限公司 增强现实组件以及显微镜
CN114647084A (zh) * 2020-12-21 2022-06-21 英飞凌科技股份有限公司 具有眼睛跟踪的基于mems振镜的扩展现实投影
CN113393516A (zh) * 2021-06-17 2021-09-14 北京房江湖科技有限公司 用于打散ar场景中的虚拟物体的方法和装置
CN113467619B (zh) * 2021-07-21 2023-07-14 腾讯科技（深圳）有限公司 画面显示方法、装置和存储介质及电子设备
CN113467619A (zh) * 2021-07-21 2021-10-01 腾讯科技（深圳）有限公司 画面显示方法、装置和存储介质及电子设备
WO2023060414A1 (en) * 2021-10-12 2023-04-20 Citrix Systems, Inc. Adjustable magnifier for virtual desktop

Also Published As

Publication number Publication date
WO2018175625A1 (en) 2018-09-27
JP7329105B2 (ja) 2023-08-17
US20230251492A1 (en) 2023-08-10
US20180275410A1 (en) 2018-09-27
JP2020514926A (ja) 2020-05-21
CN114578562A (zh) 2022-06-03
US11644669B2 (en) 2023-05-09
CA3057109A1 (en) 2018-09-27
IL269386B1 (en) 2023-03-01
AU2018239511A1 (en) 2019-10-17
CN110679147B (zh) 2022-03-08
KR102524006B1 (ko) 2023-04-20
JP2022118025A (ja) 2022-08-12
JP2023126616A (ja) 2023-09-07
KR102653388B1 (ko) 2024-04-01
KR20240046291A (ko) 2024-04-08
IL269386B2 (en) 2023-07-01
KR20230056067A (ko) 2023-04-26
EP3603058A1 (en) 2020-02-05
KR20190130147A (ko) 2019-11-21
EP3603058A4 (en) 2020-12-30
IL269386A (en) 2019-11-28
IL300511A (en) 2023-04-01
JP7096836B2 (ja) 2022-07-06

Similar Documents

Publication Publication Date Title
CN110679147B (zh) 用于显示系统的基于深度的凹式渲染
US11710469B2 (en) Depth based foveated rendering for display systems
JP7228581B2 (ja) 透明発光型ディスプレイを有する接眼レンズを備える拡張現実ディスプレイ
KR20170015375A (ko) 가상 및 증강 현실의 초점 평면들을 생성하기 위한 방법들 및 시스템
CN116194821A (zh) 具有相关耦入和耦出光学区域的增强和虚拟现实显示系统
CN113647085A (zh) 具有一维像素阵列和扫描镜的显示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant