CN112639579B

CN112639579B - 用于增强现实装置的空间分辨的动态调暗

Info

Publication number: CN112639579B
Application number: CN201980056636.9A
Authority: CN
Inventors: V·马瑟; D·曼利; J·I·特里斯纳迪; C·卡尔里斯勒; L·E·埃德温; M·A·克鲁格
Original assignee: Magic Leap Inc
Current assignee: Magic Leap Inc
Priority date: 2018-08-31
Filing date: 2019-08-30
Publication date: 2023-09-15
Anticipated expiration: 2039-08-30
Also published as: US20210350614A1; US20230267677A1; US20230057556A1; CN117238224A; CN112639579A; US11170565B2; EP4276520A3; EP4276520A2; WO2020047486A1; EP3844559A1; US11676333B2; EP3844559B1; EP3844559A4; US11461961B2; JP2021536592A; US20200074724A1

Abstract

描述了用于操作光学系统的技术。在一些实施例中，在光学系统处接收与世界对象相关联的光。将虚拟图像光投射到光学系统的目镜上。基于由光学系统检测到的信息来确定光学系统的系统视场中要被至少部分地调暗的部分。可以基于所检测到的信息来确定针对系统视场的该部分的多个空间分辨的调暗值。所检测到的信息可以包括光信息、凝视信息和/或图像信息。可以根据多个调暗值来调整光学系统的调光器以减小系统视场的该部分中与世界对象相关联的光的强度。

Description

用于增强现实装置的空间分辨的动态调暗

相关申请的交叉引用

本申请要求2018年8月31日提交的名称为“SPATIALLY-RESOLVED DYNAMICDIMMING FOR AUGMENTED REALITY DEVICE(用于增强现实装置的空间分辨的动态调暗)”的美国临时专利申请No.62/725,993和2019年6月6日提交的名称为“SPATIALLY-RESOLVEDDYNAMIC DIMMING FOR AUGMENTED REALITY DEVICE(用于增强现实装置的空间分辨的动态调暗)”的美国临时专利申请No.62/858,252的优先权的权益，在此整体地并入其内容。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(或者“VR”)场景通常涉及数字或虚拟图像信息的呈现，而对于其他实际的真实世界的视觉输入不透明；增强现实(或者“AR”)场景通常涉及数字或虚拟图像信息的呈现作为对用户周围的实际世界的可视化的增强。

尽管在这些显示技术上取得了进步，但是在本领域中需要与增强现实系统，特别是显示系统，有关的改善的方法、系统和装置。

发明内容

本公开一般地涉及用于在变化的环境光条件下改善光学系统的技术。更具体地，本公开的实施例提供了用于操作包括调暗(dimming)元件的增强现实(AR)装置的系统和方法。尽管参考AR装置描述了本发明，但是本公开适用于计算机视觉和图像显示系统中的各种应用。

下面参考若干示例来提供本发明的概述。如以下所使用的，对一系列示例的任何引用将被理解为对分离的那些示例中的每一个的引用(例如，“示例1-4”将被理解为“示例1、2、3或4”)。

示例1：一种操作光学系统的方法，该方法包括：在所述光学系统处接收与世界对象相关联的光；将虚拟图像光投射到目镜上；基于由所述光学系统检测到的信息来确定所述光学系统的系统视场中要被至少部分地调暗的部分；以及调整调光器以减小所述系统视场的所述部分中与所述世界对象相关联的光的强度。

示例2：根据示例1所述的方法，其中，光学系统包括光传感器，光传感器被配置为检测对应于与世界对象相关联的光的光信息，其中所检测到的信息包括光信息。

示例3：根据示例1-2所述的方法，其中，光信息包括多个空间分辨的光值。

示例4：根据示例1-3所述的方法，其中，光信息包括全局光值。

示例5：根据示例1-4所述的方法，其中，光学系统包括眼睛跟踪器，眼睛跟踪器被配置为检测与光学系统的用户的眼睛对应的凝视信息，其中所检测到的信息包括凝视信息。

示例6：根据示例1-5所述的方法，其中，凝视信息包括与用户眼睛的凝视矢量相交的像素位置。

示例7：根据示例1-6所述的方法，其中，凝视信息包括用户眼睛的瞳孔位置、用户眼睛的旋转中心、用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、以及用户眼睛的视锥和视杆位置中的一个或多个。

示例8：根据示例1-7所述的方法，还包括：检测与虚拟图像光对应的图像信息，其中，所检测到的信息包括图像信息。

示例9：根据示例1-8所述的方法，其中，图像信息包括多个空间分辨的图像亮度值。

示例10：根据示例1-9所述的方法，其中，图像信息包括全局图像亮度值。

示例11：根据示例1-10所述的方法，还包括：基于所检测到的信息来确定用于系统视场的部分的多个空间分辨的调暗值，其中根据多个调暗值来调整调光器。

示例12：根据示例1-11所述的方法，其中，调光器包括多个像素。

示例13：根据示例1-12所述的方法，其中，调光器被调整为在所有系统视场中完全阻挡与世界对象相关联的光的强度。

示例14：根据示例1-13所述的方法，还包括：调整与虚拟图像光相关联的亮度。

示例15：根据示例1-14所述的方法，其中，虚拟图像光的特征在于图像视场，并且其中图像视场等于系统视场。

示例16：根据示例1-15所述的方法，其中，确定光学系统的系统视场中要被至少部分地调暗的一部分是至少部分地基于至少一个世界对象。

示例17：根据示例1-16所述的方法，其中，确定光学系统的系统视场中要被至少部分地调暗的一部分是至少部分地基于被包括在虚拟图像中的至少一个对象。

示例18：一种包括指令的非暂时性计算机可读介质，指令在由处理器执行时使处理器执行包括以下的操作：在光学系统处接收与世界对象相关联的光；将虚拟图像光投射到目镜上；基于由光学系统检测到的信息来确定光学系统的系统视场中要被至少部分地调暗的部分；以及调整调光器以减小在系统视场的部分中与世界对象相关联的光的强度。

示例19：根据示例18所述的非暂时性计算机可读介质，其中，光学系统包括光传感器，光传感器被配置为检测对应于与世界对象相关联的光的光信息，其中所检测到的信息包括光信息。

示例20：根据示例19所述的非暂时性计算机可读介质，其中，光信息包括多个空间分辨的光值。

示例21：根据示例19所述的非暂时性计算机可读介质，其中，光信息包括全局光值。

示例22：根据示例18所述的非暂时性计算机可读介质，其中，光学系统包括眼睛跟踪器，眼睛跟踪器被配置为检测与光学系统的用户的眼睛对应的凝视信息，其中所检测到的信息包括凝视信息。

示例23：根据示例22所述的非暂时性计算机可读介质，其中，凝视信息包括与用户眼睛的凝视矢量相交的像素位置。

示例24：根据示例22所述的非暂时性计算机可读介质，其中，凝视信息包括用户眼睛的瞳孔位置、用户眼睛的旋转中心、用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、以及用户眼睛的视锥和视杆位置中的一个或多个。

示例25：根据示例18所述的非暂时性计算机可读介质，其中，操作还包括：检测与虚拟图像光对应的图像信息，其中，所检测到的信息包括图像信息。

示例26：根据示例25所述的非暂时性计算机可读介质，其中，图像信息包括多个空间分辨的图像亮度值。

示例27：根据示例25所述的非暂时性计算机可读介质，其中，图像信息包括全局图像亮度值。

示例28：根据示例18所述的非暂时性计算机可读介质，其中，操作还包括：基于所检测到的信息来确定用于系统视场的部分的多个空间分辨的调暗值，其中根据多个调暗值来调整调光器。

示例29：根据示例18所述的非暂时性计算机可读介质，其中，调光器包括多个像素。

示例30：根据示例18所述的非暂时性计算机可读介质，其中，调光器被调整为在所有系统视场中完全阻挡与世界对象相关联的光的强度。

示例31：根据示例18所述的非暂时性计算机可读介质，其中，操作还包括：调整与虚拟图像光相关联的亮度。

示例32：根据示例18所述的非暂时性计算机可读介质，其中，虚拟图像光的特征在于图像视场，并且其中图像视场等于系统视场。

示例33：一种光学系统，其包括：投射器，其被配置为将虚拟图像光投射到目镜上；调光器，其被配置为调暗与世界对象相关联的光；处理器，其被通信地耦合到投射器和调光器，其中处理器被配置为执行包括以下的操作：基于由光学系统检测到的信息来确定光学系统的系统视场中要被至少部分地调暗的部分；以及调整调光器以减小在系统视场的部分中的与世界对象相关联的光的强度。

示例34：根据示例33所述的光学系统，还包括：光传感器，其被配置为检测对应于与世界对象相关联的光的光信息，其中所检测到的信息包括光信息。

示例35：根据示例34所述的光学系统，其中，光信息包括多个空间分辨的光值。

示例36：根据示例34所述的光学系统，其中，光信息包括全局光值。

示例37：根据示例33所述的光学系统，还包括：眼睛跟踪器，其被配置为检测与光学系统的用户的眼睛对应的凝视信息，其中所检测到的信息包括凝视信息。

示例38：根据示例37所述的光学系统，其中，凝视信息包括与用户眼睛的凝视矢量相交的像素位置。

示例39：根据示例37所述的光学系统，其中，凝视信息包括用户眼睛的瞳孔位置、用户眼睛的旋转中心、用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、以及用户眼睛的视锥和视杆位置中的一个或多个。

示例40：根据示例33所述的光学系统，其中，操作还包括：检测与虚拟图像光对应的图像信息，其中，检测到的信息包括图像信息。

示例41：根据示例40所述的光学系统，其中，图像信息包括多个空间分辨的图像亮度值。

示例42：根据示例40所述的光学系统，其中，图像信息包括全局图像亮度值。

示例43：根据示例33所述的光学系统，其中，操作还包括：基于所检测到的信息来确定用于系统视场的该部分的多个空间分辨的调光值，其中调光器根据多个调光值来调整。

示例44：根据示例33所述的光学系统，其中，调光器包括多个像素。

示例45：根据示例33所述的光学系统，其中，调光器被调整为在所有系统视场中完全阻挡与世界对象相关联的光的强度。

示例46：根据示例33所述的光学系统，其中，操作还包括：调整与虚拟图像光相关联的亮度。

示例47：根据示例33所述的光学系统，其中，虚拟图像光的特征在于图像视场，并且其中图像视场等于系统视场。

示例48：一种光学系统，包括：框架，其被配置为围绕光学系统的用户的头部佩戴；调光组件，其由框架承载并且被配置为定位在用户的眼睛与用户的环境之间；眼睛跟踪器，其被配置为监视用户眼睛的定位；以及控制电路，其被通信地耦接到调光组件和眼睛跟踪器的，该控制电路被配置为：从眼睛跟踪器接收数据；基于从眼睛跟踪器接收到的数据来确定沿着用户眼睛的光轴的位置，在该位置处，定位用户眼睛的特定解剖区域；识别位于用户的环境内的三维空间中的一个或多个点；以及对于用户的环境内的一个或多个所识别的点中的每一个点：至少部分地基于用户眼睛的特定解剖区域的所确定的位置和位于用户环境内的三维空间中的相应点来识别调光组件的一个或多个像素的集合；以及控制调光组件以调暗所识别的一个或多个像素的集合。

示例49：根据示例48所述的光学系统，其中，用户眼睛的特定解剖区域包括用户眼睛的旋转中心。

示例50：根据示例48所述的光学系统，其中，用户眼睛的特定解剖区域包括用户眼睛的瞳孔的中心。

示例51：根据示例48所述的光学系统，还包括：投射器，其被配置为发射表示虚拟内容的光；以及波导，其由框架承载并且被配置为定位在用户的眼睛与调光组件之间，其中波导被配置为接收来自投射器的光并将光引导到用户的眼睛。

示例52：根据示例51所述的光学系统，其中，控制电路被通信地耦接到投射器，控制电路还被配置为控制投射器以发射表示虚拟内容的一个或多个像素的光。

示例53：根据示例52所述的光学系统，其中，位于用户环境内的三维空间中的一个或多个点分别对应于三维空间中的一个或多个位置，在该一个或多个位置处，用户将感知到虚拟内容的一个或多个像素。

示例54：根据示例52所述的光学系统，其中，虚拟内容的一个或多个像素包括虚拟对象的多个像素。

示例55：根据示例54所述的光学系统，其中，位于用户环境内的三维空间中的一个或多个点对应于三维空间中一个或多个位置，在该一个或多个位置处，用户将分别感知到与虚拟对象相关联的虚拟阴影的一个或多个像素。

示例56：根据示例48所述的光学系统，其中，位于用户环境内的三维空间中的一个或多个点对应于三维空间中的由用户环境中的真实世界对象物理地占据的一个或多个点。

示例57：根据示例48所述的光学系统，其中，为了识别调光组件的一个或多个像素的集合，控制电路被配置为：将来自位于用户环境内的三维空间中的相应点的一个或多个射线的集合投射到用户眼睛的特定解剖区域的所确定的位置；以及识别该一个或多个射线的集合与调光组件之间的一个或多个交点的集合。

示例58：根据示例48所述的光学系统，其中，调光组件在形状上是弯曲的。

示例59：根据示例48所述的光学系统，其中，控制电路还被配置为分别确定用于调光组件的所识别的一个或多个像素的集合的一个或多个调光值的集合，并且其中，控制电路被配置为控制调光组件以根据所确定的一个或多个调光值的集合来调暗所识别的一个或多个像素的集合。

示例60：根据示例59所述的光学系统，其中，控制电路还被配置为基于从眼睛跟踪器接收到的数据来确定用户眼睛的一个或多个特征，并且其中控制电路被配置为至少部分地基于用户眼睛的一个或多个所确定的特征来确定用于所识别的调光组件的一个或多个像素的集合的一个或多个调光值的集合。

示例61：根据示例60所述的光学系统，其中，用户眼睛的一个或多个特征包括用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、用户眼睛的视锥和视杆位置、以及用户眼睛的晶状体的适应状态中的一个或多个。

示例62：根据示例61所述的光学系统，其中，控制电路被配置为至少部分地基于用户眼睛的一个或多个所确定的特征来识别调光组件的一个或多个像素的集合。

示例63：根据示例59所述的光学系统，还包括：投射器，其被通信地耦接到控制电路并且被配置为发射表示虚拟内容的光；以及波导，其由框架承载并且被配置为定位在用户的眼睛与调光组件之间，其中波导被配置为接收来自投射器的光并将光引导到用户的眼睛，其中控制电路还被配置为控制投射器以便分别以一个或多个亮度水平发射表示虚拟内容的一个或多个像素的光，并且其中控制电路被配置为至少部分地基于虚拟内容的一个或多个像素的一个或多个亮度水平来分别确定用于所识别的调光组件的一个或多个像素的集合的一个或多个调光值的集合。

示例64：根据示例63所述的光学系统，其中，控制电路被配置为至少部分地基于针对虚拟内容指定的预定对比度和预定可见度水平中的一个或多个来分别确定用于所识别的调光组件的一个或多个像素的集合的一个或多个调光值的集合。

示例65：根据示例63所述的光学系统，其中，虚拟内容包括虚拟对象，并且其中控制电路被配置为至少部分地基于虚拟对象的一个或多个特征来识别调光组件的一个或多个像素的集合。

示例66：根据示例65所述的光学系统，其中，虚拟对象的一个或多个特征包括虚拟对象的尺寸、虚拟对象的形状、在用户环境中虚拟对象将被用户感知到的位置、以及虚拟对象将被用户感知到的深度中的一个或多个。

示例67：根据示例59所述的光学系统，还包括：光学传感器，其被通信地耦接到控制电路并且被配置为分别监视与用户环境中的一个或多个部分相关联的光的一个或多个亮度水平，并且其中控制电路被配置为至少部分地基于与用户环境中的一个或多个部分相关联的一个或多个亮度水平来确定用于所识别的调光组件的一个或多个像素的集合的一个或多个调光值的集合。

示例68：根据示例67所述的光学系统，其中，光学传感器包括相机。

示例69：根据示例67所述的光学系统，其中，光学传感器包括一个或多个光电二极管。

示例70：根据示例67所述的光学系统，还包括：投射器，其别通信地耦接到控制电路并且被配置为发射表示虚拟内容的光；以及波导，其由框架承载并且被配置为定位在用户的眼睛与调光组件之间，其中波导被配置为接收来自投射器的光并将其引导到用户的眼睛，并且其中控制电路还被配置为控制投射器以发射表示虚拟内容的一个或多个像素的光。

示例71：根据示例70所述的光学系统，其中，虚拟内容包括虚拟对象，并且其中与一个或多个亮度水平相关联的用户环境中的一个或多个部分包括将被用户感知为被虚拟对象遮挡的用户环境中的特定部分。

示例72：根据示例70所述的光学系统，其中，控制电路还被配置为至少部分地基于与用户环境中的一个或多个部分相关联的一个或多个亮度水平来控制投射器以发射表示虚拟内容的一个或多个像素的光。

示例73：根据示例48所述的光学系统，其中，眼睛跟踪器被配置为监视用户的眼睛相对于调光组件的定位。

示例74：一种光学系统，其包括：框架，其被配置为围绕光学系统的用户的头部佩戴；左调光组件，其由框架承载并且被配置为定位在用户的左眼与用户的环境之间；右调光组件，其由框架承载并且被配置为定位在用户的右眼与用户的环境之间；以及控制电路，其被通信地耦接到左调光组件和右调光组件，并且被配置为：识别位于用户环境内的三维空间中的一个或多个点；以及对于用户环境内的一个或多个所识别的点中的每一个点：至少部分地基于位于用户环境内的三维空间中的相应点来识别左调光组件的一个或多个像素的集合；至少部分地基于位于用户环境内的三维空间中的相应点来识别右调光组件的一个或多个像素的集合；控制左调光组件以调暗所识别的左调光组件的一个或多个像素的集合；以及控制右调光组件以调暗所识别的右调光组件的一个或多个像素的集合。

示例75：根据示例74所述的光学系统，还包括：左眼睛跟踪器，其被通信地耦接到控制电路并且被配置为监视用户的左眼的定位；以及右眼睛跟踪器，其被通信地耦接到控制电路并且被配置为监视用户的左眼的定位；其中控制电路还被配置为：从左眼睛跟踪器和右眼睛跟踪器接收数据；基于从左眼睛跟踪器接收到的数据来确定沿着用户左眼的光轴的位置，在该位置处，定位用户左眼的特定解剖区域；以及基于从右眼睛跟踪器接收到的数据来确定沿着用户右眼的光轴的位置，在该位置处，定位用户右眼的特定解剖区域。

示例76：根据示例75所述的光学系统，其中，控制电路被配置为：至少部分地基于用户左眼的特定解剖区域的所确定的位置和位于用户环境内的三维空间中的相应点来识别左调光组件的一个或多个像素的集合；以及至少部分地基于用户右眼的特定解剖区域的所确定的位置和位于用户环境内的三维空间中的相应点来识别右调光组件的一个或多个像素的集合。

通过本公开借助于常规技术实现了许多益处。例如，本文中所描述的增强现实(AR)装置可通过全局调暗及/或选择性地调暗到达用户眼睛的环境光，来以变化的光水平(从暗的室内到明亮的室外)使用。本发明的实施例通过使用像素化的调光器(dimmer)以使世界光衰减大于99％来允许单个装置中的AR和虚拟现实(VR)能力。本发明的实施例还使用具有离散或连续的可变深度平面切换技术的可变聚焦元件来缓解聚散(vergence)适应(accommodation)冲突。本发明的实施例通过基于检测到的环境光量优化投射器亮度来改善AR装置的电池寿命。本公开的其他益处对于本领域技术人员将是显而易见的。

附图说明

图1示出了根据本文描述的一些实施例的通过可穿戴AR装置观看的增强现实(AR)场景。

图2A示出了根据本发明的AR装置的一个或多个一般特征。

图2B示出了AR装置的示例，其中，基于检测到的光信息来确定被调暗的区域。

图2C示出了AR装置的示例，其中，基于虚拟图像来确定被调暗的区域。

图2D示出了AR装置的示例，其中，基于凝视信息来确定被调暗的区域。

图3示出了根据本发明的可穿戴AR装置的示意图。

图4示出了用于操作光学系统的方法。

图5示出了具有目镜和像素化的调暗元件的AR装置。

图6示出了用于基于用户眼睛的瞳孔位置来确定凝视矢量的技术。

图7示出了用于基于用户眼睛的旋转中心来确定凝视矢量的技术。

图8示出了用于基于检测到的光信息和眼睛内的视锥和视杆位置来确定凝视矢量的技术。

图9示出了在瞳孔收缩的高光条件下的所确定的凝视矢量。

图10示出了在瞳孔扩张的低光条件下的所确定的凝视矢量。

图11示出了用于确定高光条件下的凝视矢量和对应的被调暗的区域的三种技术。

图12示出了用于确定低光条件下的凝视矢量和对应的被调暗的区域的三种技术。

图13示出了调光器，其已被调整以产生使用凝视矢量来确定的被调暗的区域，该凝视矢量是使用瞳孔位置而计算出的。

图14示出了调光器，其已被调整以产生使用凝视矢量来确定的被调暗的区域，该凝视矢量是使用高光条件下视锥和视杆位置而计算出的。

图15示出了调光器，其已被调整以产生使用凝视矢量来确定的被调暗的区域，该凝视矢量是使用低光条件下视锥和视杆位置而计算出的。

图16示出了其中被调暗的区域包括环形区域内的中心部分的示例。

图17示出了调光器，其已被调整以产生使用凝视矢量来确定的被调暗的区域，该凝视矢量是使用眼睛的旋转中心而计算出的。

图18A和18B示出了用于基于图像信息来确定系统视场中要被调暗的部分的方法。

图19A和19B示出了用于基于图像信息来确定系统视场的要被调暗的部分的方法。

图20示出了通过调整调光器和/或调整投射器来改善虚拟内容的不透明度的示例。

图21示出了通过调暗系统视场中与虚拟对象对应的部分来改善虚拟内容的不透明度的示例。

图22示出了示出虚拟图像亮度与环境光水平之间的关系的曲线图。

图23A和23B示出了示出小遮挡对世界场景的影响的图。

图24示出了示出改变遮挡物直径而对作为角度范围的函数的调暗元件的透射的影响的曲线图。

图25示出了使用单个遮挡物进行调暗的示例。

图26示出了光学透视(OST)头戴式显示器(HMD)的架构的示例。

图27示出了OST-HMD的架构的附加示例。

图28示出了OST-HMD的架构的附加示例。

图29示出了根据本发明的AR装置的示意图。

图30示出了用于锐化离焦像素化调暗的方法。

图31示出了用于锐化离焦像素化调暗的方法。

图32示出了用于锐化离焦像素化调暗的方法。

图33示出了根据本文描述的一些实施例的简化的计算机系统。

具体实施方式

光学透视(OST)增强现实(AR)装置的正在进行的技术挑战是在变化的环境光条件下虚拟内容的不透明度和/或可见度的变化。该问题在诸如完全暗的房间或在全亮阳光的室外的极端照明条件下恶化。本发明的实施例通过调暗AR装置的视场内的不同空间位置处的世界光来解决这些和其他问题。应用调暗的视场的部分和应用的调暗量各自基于AR装置检测到的各种信息来确定。该信息可以包括检测到的环境光、检测到的凝视信息和/或检测到的被投射的虚拟内容的亮度。例如通过检测多个空间分辨的光值来通过检测与环境光相关联的方向，来进一步改善AR装置的功能性。这允许AR装置通过仅调暗视场的其中需要调暗的部分和/或增加视场的某些部分中的投射器亮度来改善其电池寿命。因此，本发明的实施例使得AR装置能够以比传统上可能的更宽的各种条件来使用。

图1示出了根据本发明的一些实施例的通过可穿戴AR装置观看到的AR场景100。描绘了AR场景100，其中AR技术的用户看到以诸如人、树木、背景中的建筑物和真实世界混凝土平台120的各种真实世界对象130为特征的真实世界公园状设置106。除了这些项目之外，AR技术的用户同样感知到他们“看到”诸如站在真实世界混凝土平台120上的机器人雕像110、以及飞过的卡通式化身角色102-1的各种虚拟对象102，该化身角色看起来是大黄蜂的化身，即使这些元素(角色102-1和雕像102-2)在真实世界中不存在。由于人类的视觉感知和神经系统是极其复杂的，产生有助于连同其他虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现的虚拟现实(VR)或AR技术是具有挑战性的。

图2A示出了根据本发明的AR装置200的一个或多个一般特征。在一些实施例中，AR装置200可以包括目镜202和动态调光器203，该目镜202和动态调光器203被配置为当AR装置200处于非活动模式或关闭模式时是透明的或半透明的，使得用户可以在通过目镜202和动态调光器203观看时看到一个或多个世界对象230。如所示出的，目镜202和动态调光器203可以以并排配置来布置，并且可以形成用户在观看目镜202和动态调光器203时看到的系统视场。在一些实施例中，系统视场被定义为由目镜202和动态调光器203中的一个或两个占据的整个二维区域。尽管图2A示出了单个目镜202和单个动态调光器203(出于示例的原因)，但是AR装置200可以包括两个目镜和两个动态调光器，一个用于用户的每只眼睛。

在操作期间，可以调整动态调光器203以减小入射在动态调光器203上的与世界对象230相关联的世界光232的强度，从而在系统视场内产生被调暗的区域236。被调暗的区域236可以是系统视场的一部分或子集，并且可以部分地或完全地被调暗。可以根据用于被调暗的区域236的多个空间分辨的调暗值来调整动态调光器203。此外，在AR装置200的操作期间，投射器214可将虚拟图像光222(即，与虚拟内容相关联的光)投射到目镜202上，该虚拟图像光222和世界光232一起被用户观察到。

将虚拟图像光222投射到目镜202上可以使光场(即，虚拟内容的角度表示)被投射到用户的视网膜上，以使得用户将对应的虚拟内容感知为位于用户环境内的某个位置处。例如，由目镜202耦合的虚拟图像光222可以使用户将角色202-1感知为位于第一虚拟深度平面210-1处以及将雕像202-2感知为位于第二虚拟深度平面210-2处。用户感知虚拟内容以及与一个或多个世界对象230(诸如平台120)对应的世界光232。

在一些实施例中，AR装置200可包括被配置为检测世界光232的环境光传感器234。环境光传感器234可经定位以使得由环境光传感器234检测到的世界光232类似于和/或表示入射在动态调光器203和/或目镜202上的世界光232。在一些实施例中，环境光传感器234可被配置为检测与动态调光器203的不同像素对应的多个空间分辨的光值。在这些实施例中，环境光传感器234可例如对应于成像传感器(例如，CMOS、CCD等)或多个光电二极管(例如，以阵列或另一空间分布的布置)。在一些实施例中，或在相同实施例中，环境光传感器234可被配置为检测与世界光232的平均光强度或单个光强度对应的全局光值。在这些实施例中，环境光传感器234可例如对应于一个或多个光电二极管的集合。构想了其他可能性。

图2B示出了AR装置200的示例，其中，基于检测到的与世界光232对应的光信息来确定被调暗的区域236。具体地，环境光传感器234可以检测与太阳相关联的世界光232，并且可以进一步检测在系统视场中与太阳相关联的世界光232穿过AR装置200的方向和/或部分。作为响应，可以调整动态调光器203以将被调暗的区域236设置为覆盖系统视场中与检测到的世界光对应的部分。如图所示，动态调光器203可以被调整，以便以比被调暗的区域236的末端更大的量来减小在被调暗的区域236的中心处的世界光232的强度。

图2C示出了AR装置200的示例，其中，基于虚拟图像光222来确定被调暗的区域236。具体地，可以基于由用户观察到虚拟图像光222而导致的由用户感知到的虚拟内容来确定被调暗的区域236。在一些实施例中，AR装置200可以检测包括虚拟图像光222的位置(例如，动态调光器203内用户感知到虚拟内容的位置)和/或虚拟图像光222的亮度(例如，所感知到的在投射器214处生成的虚拟内容和/或光的亮度)、以及其他可能性的图像信息。如图所示，动态调光器203可经调整以将被调暗的区域236设置为覆盖系统视场中与虚拟图像光222对应的部分，或替代地，在一些实施例中，被调暗的区域236可覆盖系统视场中未与虚拟图像光222对准的部分。在一些实施例中，被调暗的区域236的调暗值可基于由环境光传感器234检测到的世界光232和/或虚拟图像光222的亮度来确定。

图2D示出了AR装置200的示例，其中，基于与用户的眼睛对应的凝视信息来确定被调暗的区域236。在一些实施例中，凝视信息包括用户的凝视矢量238和/或动态调光器203中的与凝视矢量238相交处的像素位置。如图所示，动态调光器203可经调整以将被调暗的区域236设置为覆盖系统视场中与凝视矢量238和动态调光器203之间的交点(或交叉区域)对应的部分，或者替代地，在一些实施例中，被调暗的区域236可以覆盖系统视场中未与凝视矢量238和动态调光器203之间的交点(或交叉区域)对应的部分。在一些实施例中，可基于由环境光传感器234检测到的世界光232和/或虚拟图像光222的亮度来确定被调暗的区域236的调暗值。在一些实施例中，可由安装到AR装置200的眼睛跟踪器240来检测凝视信息。

图3示出了根据本发明的可穿戴AR装置300的示意图。AR装置300可包括以并排配置布置的左目镜302A和左动态调光器303A，以及也以并排配置布置的右目镜302B和右动态调光器303B。在一些实施例中，AR装置300包括一个或多个传感器，其包括但不限于：左面向前世界相机306A，其直接附接到左目镜302A或靠近左目镜302A；右面向前世界相机306B，其直接附接到右目镜302B或靠近右目镜302B；左面向侧的世界相机306C，其直接附接到左目镜302A或靠近左目镜302A；右面向侧的世界相机306D，其直接附接到右目镜302B或靠近右目镜302B；左眼睛跟踪器340A，其被定位为观察用户的左眼；右眼睛跟踪器340B，其被定位为观察用户的右眼；以及环境光传感器334。在一些实施例中，AR装置300包括一个或多个图像投射装置，诸如光学链接到左目镜302A的左投射器314A和光学链接到右目镜302B的右投射器314B。

AR装置300的一些或所有组件可以被头戴，使得投射图像可以被用户观看到。在一个特定的实施方式中，图3中所示的AR装置300的全部组件都被安装到用户可穿戴的单个装置(例如，单个头戴耳机)上。在另一实施方式中，处理模块350通过一个或多个有线和/或无线连接与AR装置300的其他组件物理上分离并且被通信耦接到AR装置300的其他组件。例如，处理模块350可以以各种配置安装，诸如固定地附接到框架、固定地附接到用户佩戴的头盔或帽子、嵌入耳机中或以其他方式可移除地附接到用户(例如，以背包式配置、以皮带耦接式配置等)。

处理模块350可以包括处理器352以及相关联的数字存储器356，诸如非易失性存储器(例如，闪存)，两者均可以用于辅助数据的处理、缓存和存储。数据可以包括从传感器(例如，其可以被可操作地耦接到AR装置300、或以其他方式附接到用户)捕获的数据，该传感器诸如相机306、环境光传感器334、眼睛跟踪器340、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电装置和/或陀螺仪。例如，处理模块350可以从相机306接收图像320。具体地，处理模块350可以从左面向前世界相机306A接收左前方图像320A，从右面向前世界相机306B接收右前方图像320B，从左面向侧世界相机306C接收左侧图像320C，以及从右面向侧世界相机306D接收右侧图像320D。在一些实施例中，图像320可以包括单个图像、一对图像、包括图像流的视频、包括成对图像流的视频等。图像320可以在AR装置300通电时被周期性地生成并发送到处理模块350，或者可以响应于由处理模块350发送给一个或多个相机的指令而生成。作为另一示例，处理模块350可以从环境光传感器334接收光信息。在一些实施例中，环境光传感器334的一些或全部功能可以通过世界相机306A-306D中的一个或多个的方式来提供。作为另一示例，处理模块350可以从眼睛跟踪器340中的一个或两个眼睛跟踪器接收凝视信息。作为另一示例，处理模块350可以从投射器314中的一个或两个投射器接收图像信息(例如，图像亮度值)。

目镜302A和302B可以包括被配置为分别引导来自投射器314A和314B的光的透明或半透明的波导。具体地，处理模块350可以使左投射器314A将左虚拟图像光322A输出到左目镜302A上(从而导致与左虚拟图像光322A相关联的对应光场将被投射到用户的视网膜上)，并且可以使右投射器314B将右虚拟图像光322B输出到右目镜302B上(从而导致与右虚拟图像光322B相关联的对应光场将被投射到用户的视网膜上)。在一些实施例中，目镜302中的每一个目镜可以包括与不同颜色和/或不同深度平面对应的多个波导。在一些实施例中，动态调光器303可被耦接到目镜302和/或与目镜302集成。例如，动态调光器303中的一个动态调光器可被合并到多层目镜中并且可形成构成目镜302中的一个目镜的一个或多个层。

相机306A和306B可以被定位成捕获分别与用户的左眼和右眼的视场基本上重叠的图像。因此，相机306的放置可以在用户的眼睛附近，但不能如此近以至于遮挡用户的视场。可替代地或另外地，相机306A和306B可以被定位成分别与虚拟图像光322A和322B的耦入位置对准。相机306C和306D可以被定位成例如在用户的外围视觉中或在用户的外围视觉之外将图像捕获到用户的侧面。使用相机306C和306D捕获的图像320C和320D不一定需要与使用相机306A和306B捕获的图像320A和320B重叠。

AR装置300的一个或多个组件可类似于参考图2A-2D所描述的一个或多个组件。例如，在一些实施例中，目镜302、动态调光器303、投射器314、环境光传感器334及眼睛跟踪器340的功能性可分别类似于目镜202、动态调光器203、投射器214、环境光传感器234及眼睛跟踪器240。在一些实施例中，处理模块350的功能可以由单独地容纳但通信地耦合的两组或更多组电子硬件组件来实现。例如，处理模块350的功能可以由被容纳在耳机内的电子硬件组件结合被容纳在物理地系留(tether)到耳机的计算装置内的电子硬件组件、耳机环境内的一个或多个电子装置(例如，智能电话、计算机、外围装置、智能电器等)、一个或多个远程定位的计算装置(例如，服务器、云计算装置等)或其组合来执行。下文参考图29进一步详细描述此配置的一个示例。

图4示出了用于操作光学系统(例如，AR装置200或300)的方法400。方法400的步骤可以以与图4中所示的顺序不同的顺序执行，并且不需要执行所有步骤。例如，在一些实施例中，步骤406、408和410中的一个或多个可以在方法400的执行期间被省略，方法400的一个或多个步骤可以由处理器(例如，处理器352)或者由光学系统内的一些其他组件来执行。

在步骤402处，在光学系统处接收与世界对象(例如，世界对象230)相关联的光(例如，世界光232)。世界对象可以是由光学系统的用户观看到的任何数量的真实世界对象，诸如树、人、房屋、建筑物、太阳等。在一些实施例中，与世界对象相关联的光首先由动态调光器(例如，动态调光器203或303)或由光学系统的外部装饰(cosmetic)透镜接收。在一些实施例中，当光到达光学系统的一个或多个组件(例如，当光到达动态调光器时)，与世界对象相关联的光被认为在光学系统处被接收。

在步骤404处，将虚拟图像光(例如，虚拟图像光222或322)投射到目镜(例如，目镜202或302)上。虚拟图像光可以通过光学系统的投射器(例如，投射器214或314)投射到目镜上。虚拟图像光可以对应于单个图像、一对图像、包括图像流的视频、包括成对的图像流的视频等。在一些实施例中，当与虚拟图像光相关联的任何光到达目镜时，虚拟图像光被认为被投射到目镜上。在一些实施例中，将虚拟图像光投射到目镜上使得光场(即，虚拟内容的角度表示)被投射到用户的视网膜上，以使得用户将对应的虚拟内容感知为定位在用户的环境内的某个位置处。

在步骤406、408和410期间，可以由光学系统使用例如光学系统的一个或多个传感器来检测信息。在步骤406处，检测对应于与世界对象相关联的光的光信息。可以使用安装到光学系统的光传感器(例如，环境光传感器234或334)来检测光信息。在一些实施例中，光信息包括多个空间分辨的光值。多个空间分辨的光值中的每一个空间分辨的光值可对应于系统视场内的二维位置。例如，每个光值可以与动态调光器的像素相关联。在其他实施例中，或者在相同的实施例中，光信息可以包括全局光值。全局光值可以与整个系统视场(例如，入射在动态调光器的所有像素上的光的平均光值)相关联。

在步骤408处，检测与光学系统的用户的眼睛对应的凝视信息。可使用安装到光学系统的眼睛跟踪器(例如，眼睛跟踪器240或340)来检测凝视信息。在一些实施例中，凝视信息包括用户眼睛的凝视矢量(例如，凝视矢量238)。在一些实施例中，凝视信息包括用户眼睛的瞳孔位置、用户眼睛的旋转中心、用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、以及用户眼睛的视锥和视杆位置中的一个或多个。凝视矢量可以基于凝视信息的一个或多个分量来确定，诸如瞳孔位置、眼睛的旋转中心、瞳孔尺寸、瞳孔直径和/或视锥和视杆位置。当基于视锥和视杆位置来确定凝视矢量时，还可以基于光信息(例如，全局光值)来确定凝视矢量，以便确定包含视锥和视杆位置的凝视矢量在眼睛的视网膜层内的原点。在一些实施例中，凝视信息包括动态调光器的像素或像素集合，在该像素或像素集合处，凝视矢量与动态调光器相交。

在步骤410处，检测与由投射器投射到目镜上的虚拟图像光(例如，虚拟图像光222或322)对应的图像信息。图像信息可由投射器、由处理器(例如，处理器352)或由单独的光传感器检测。在一些实施例中，图像信息包括动态调光器内的一个或多个位置，其中在用户观察虚拟图像光时，用户通过动态调光器感知虚拟内容。在一些实施例中，图像信息包括多个空间分辨的图像亮度值(例如，感知到的虚拟内容的亮度)。例如，图像亮度值中的每一个图像亮度值可与目镜或动态调光器的像素相关联。在一个特定实施方式中，当处理器将指令发送到投射器以将虚拟图像光投射到目镜上时，处理器可基于指令来确定空间分辨的图像亮度值。在另一特定实施方式中，当投射器从处理器接收到指令以将虚拟图像光投射到目镜上时，投射器将空间分辨的图像亮度值发送到处理器。在另一特定实施方式中，定位在目镜上或附近的光传感器检测空间分辨的图像亮度值并其将发送到处理器。在其他实施例中，或者在相同的实施例中，图像信息包括全局图像亮度值。全局图像亮度值可以与整个系统视场(例如，所有虚拟图像光的平均图像亮度值)相关联。

在步骤412处，基于所检测到的信息来确定系统视场中要被至少部分地调暗的部分。所检测到的信息可以包括在步骤406期间检测到的光信息、在步骤408期间检测到的凝视信息、和/或在步骤410期间检测到的图像信息。在一些实施例中，系统视场的该部分等于整个系统视场。在各种实施例中，系统视场的该部分可等于系统视场的1％、5％、10％、25％、50％或75％等。在一些实施例中，不同类型的信息可以在确定要被至少部分地调暗的部分时被不同地加权。例如，凝视信息在可用时可以在确定要被至少部分地调暗的部分时比光信息和图像信息被更大地加权。在一个特定实施方式中，每个类型的信息可独立地用于确定系统视场中要被至少部分地调暗的不同部分，并且随后可使用AND或OR操作将该不同的部分组合成单个部分。

在一些实施例中，用于确定系统视场中要被至少部分地调暗的部分的信息包括与在虚拟内容内呈现的一个或多个对象相关联的信息。例如，虚拟内容可以包括文本、导航指示符(例如，箭头)和/或其他内容。在视场中呈现这样的内容的部分和/或邻近内容的视场可以被调暗，使得用户可以更容易地读取和理解内容，并且将内容与世界对象区分开。调光器可以选择性地调暗像素中的一个或多个像素和/或区域，或者增强对内容的观看。在一个示例中，视场的下部部分中的一部分可以被选择性地和动态地调暗以使得用户更容易看到定向(例如，导航)箭头、文本消息等。可以响应于确定要显示这样的内容而在显示内容的同时执行这样的调暗，并且当不再显示内容时可以移除调暗。在一些情况下，可以执行调暗以减轻由能够在整个视场上进行调暗的像素结构引起的伪像。

在步骤414处，基于检测到的信息来确定用于系统视场的该部分的多个空间分辨的调暗值。在一些实施例中，使用基于虚拟内容的期望不透明度或可见度的公式方法来确定调暗值。在一个特定实施方式中，可使用以下等式来计算虚拟内容的可见度：

其中V是可见度，I_max是如由图像信息指示的虚拟图像光的亮度，I_back与如由光信息指示的与世界对象相关联的光值(其可以由所确定的调暗值来修改)相关，以及C是期望的对比度(例如，100:1)。例如，可在调光器的每个像素位置处使用可见度等式，以使用特定像素位置处的虚拟图像光的亮度和与特定像素位置处的世界对象相关联的光值来计算特定像素位置的调暗值。在一些实施例中，可以使用以下等式来定义I_back：

I_back＝T_v*I_world

其中T_v是允许穿过调光器的一个或多个像素的光的百分比，以及I_world是如由光信息指示的来自世界的环境光的亮度。在一些示例中，T_v可以表示调暗值或与调暗值相关。

在步骤416处，调整调光器以减小系统视场的部分中与对象相关联的光的强度。例如，调光器可以被调整，以使得根据针对该特定像素位置确定的调暗值来减小入射在调光器的每个像素位置上的与对象相关联的光的强度。如本公开中所使用的，调整调光器可以包括初始化调光器、激活调光器、对调光器上电、修改或改变先前初始化的、激活的和/或上电的调光器等。在一些实施例中，处理器可以向调光器发送指示系统视场的部分和多个空间分辨的调暗值两者的数据。

在步骤418处，调整投射器以调整与虚拟图像光相关联的亮度。例如，在一些实施例中，难以实现虚拟内容的期望的不透明度或可见度，而不增加或降低虚拟对象的亮度。在这样的实施例中，可以在调整调光器之前、之后、同步或同时地调整虚拟图像光的亮度。

图5示出了具有目镜502和像素化的调暗元件503的AR装置500，该像素化的调暗元件503由可具有各种调暗水平的调暗区域(即，像素)的空间网格构成。每个调暗区域可具有相关联的尺寸(即，宽度)和相关联的间隔(即，节距)。如图所示，调暗区域的空间网格可以包括提供入射光的完全调暗的一个或多个暗像素506和提供入射光的完全透射的一个或多个清晰(clear)像素508。像素化的调暗元件503内的相邻像素可以是邻接的(例如，当节距等于尺寸时)或者可以由间隙分开(例如，当节距大于尺寸时)。在各种实施例中，像素化的调暗元件503可采用液晶技术，例如染料掺杂或宾主液晶、扭曲向列(TN)或垂直对准(VA)液晶或铁电液晶。在一些实施例中，像素化的调暗元件503可以包括电致变色装置以及其他可能性。在一些实施方式中，像素化的调暗元件503可以采用电控制的双折射(“ECB”)技术，诸如ECB单元。

图6示出了用于基于用户的眼睛的瞳孔位置来确定凝视矢量的技术。在一些情况下，使用眼睛跟踪器检测相对于AR装置的瞳孔位置，并且随后将凝视矢量定义为在瞳孔位置处与眼睛的表面正交的矢量。凝视矢量可替代地或附加地被定义为与眼睛的旋转中心和瞳孔位置相交的矢量。旋转中心可使用由眼睛跟踪器收集的数据来估计。凝视矢量可替代地或附加地被定义为与眼睛的几何中心和瞳孔位置相交的矢量。眼睛的几何中心可以使用由眼睛跟踪器收集的数据来估计。构想了其他可能性。

使用瞳孔位置来确定凝视矢量的几个固有问题中的一个问题在图6中示出。在上图中，示出了当眼睛大致朝向目镜的中心看时的瞳孔位置与目镜之间的第一距离D₁。在下图中，示出了当眼睛大致朝向目镜的顶部看时瞳孔位置与目镜之间的第二距离D₂。这里，第一距离D₁小于第二距离D₂，从而导致由于随着用户的眼睛移动而变化的聚散距离而导致的渲染配准问题。

图7示出了用于基于用户眼睛的旋转中心来确定凝视矢量的技术。该技术在2018年1月17日提交的名称为“EYE CENTER OF ROTATION DETERMINATION,DEPTH PLANESELECTION,AND RENDER CAMERA POSITIONING IN DISPLAY SYSTEMS(显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位)”的美国申请No.62/618,559中有所描述，其公开内容以引用方式并入本文。旋转中心可使用由眼睛跟踪器收集的数据来估计，并且凝视矢量可随后被定义为通过连接旋转中心和瞳孔位置而形成的矢量。使用旋转中心来确定凝视矢量的若干益处之一是旋转中心与目镜之间的距离可以是相同的，而不考虑眼睛正在看的方向。在图7的上图中，示出了当眼睛大致朝向目镜的中心看时旋转中心与目镜之间的第三距离D₃。在下图中，示出了当眼睛大致朝向目镜的顶部看时旋转中心与目镜之间的第四距离D₄。这里，第三距离D₃与第四距离D₄相同，从而改善渲染配准。

图8示出了用于基于检测到的光信息和眼睛内的视锥(cone)和视杆(rod)位置来确定凝视矢量的技术。因为视锥在高光条件下对光更敏感并且视杆在低光条件中对光更敏感，所以当检测到的环境光降低(例如，全局光值)时，凝视矢量的原点可以从视网膜层中与高密度视锥对应的中心位置向外调整到沿着与高密度视杆对应的环的一个或多个点。因此，在高光条件下，所确定的凝视矢量可以是通过将视网膜层的中心位置连接到瞳孔位置而形成的单个凝视矢量，以及在低光条件下，所确定的凝视矢量可以是通过将沿着围绕视网膜层的中心位置的环的一个或多个点连接到瞳孔位置而形成的单个或多个凝视矢量。替代地或附加地，多个凝视矢量可以被描述/表示为包括无限数量的可能凝视矢量的凝视矢量的锥体或“凝视锥体”。

视锥和视杆位置可以使用由眼睛跟踪器收集的信息来估计，或者在一些实施例中，视网膜层中与高密度视锥对应的中心位置可以通过以下方式来限定：使通过眼睛朝向眼睛的后部的使用瞳孔位置所确定的凝视矢量继续，以使得使用瞳孔位置所确定的凝视矢量与在高光条件下使用视锥和视杆位置所确定的凝视矢量共线。在一些实施例中，AR装置被配置为在低光条件(例如，“低光模式”)下使用视锥和视杆位置来确定凝视矢量，并且在高光条件下使用眼睛的旋转中心来确定凝视矢量。在这样的实施例中，可以建立光阈值，可以相对于该光阈值来评估检测到的光值，从而当检测到的光值低于光阈值时，使用视锥和视杆位置来确定凝视矢量，以及当检测到的光值高于光阈值时，使用眼睛的旋转中心来确定凝视矢量。

在其中被调暗的区域显著大和/或调暗值显著高的一些实施例中，使用AR装置的光传感器检测到的环境光可能不指示到达眼睛的光的实际量。在这样的实施例中，瞳孔的尺寸可以用作到达眼睛的光量的代表(proxy)。例如，AR装置可在瞳孔尺寸超过瞳孔尺寸阈值时切换到“低光模式”(使用视锥和视杆位置来确定凝视矢量)。例如，在一些实施方式中，可将瞳孔尺寸阈值设置为高于在高光条件下用户的平均瞳孔尺寸(例如，瞳孔尺寸可对应于瞳孔的面积、直径、周长等)的20％。在另一特定实施例中，瞳孔尺寸阈值可基于低光和高光条件下的平均已知瞳孔尺寸来预先确定。构想了其他可能性。

图9示出了在瞳孔收缩的高光条件下所确定的凝视矢量。在一些实施例中，瞳孔尺寸可用于估计环境光(例如，全局光值)，或替代地或附加地，可使用瞳孔尺寸直接确定凝视矢量的原点而无需估计或检测环境光。例如，不同的瞳孔直径可以与视网膜层内的不同的视锥和视杆位置相关，其中可以在该不同的视锥和视杆位置处定义凝视矢量的原点。

图10示出了在瞳孔扩张的低光条件下所确定的凝视矢量。类似于高光条件下的场景，在低光条件下，瞳孔尺寸可用于估计环境光(例如，全局光值)，或替代地或另外地，可使用瞳孔尺寸直接确定凝视矢量的原点。

图11示出了用于确定高光条件下的凝视矢量的三种技术以及使用这三种技术中的每一种确定的对应的被调暗的区域。在第一技术中，使用瞳孔位置来确定凝视矢量，即，“凝视矢量(A)”，从而得到从瞳孔的表面朝向被调暗的区域A(或在一些实施例中，未被调暗的区域)正交地延伸的凝视矢量。在第二技术中，使用眼睛内的视锥和视杆位置来确定凝视矢量，即，“凝视矢量(B)”，从而得到从视网膜层的中心位置通过瞳孔位置朝向被调暗的区域B(或在一些实施例中，未被调暗的区域)延伸的凝视矢量。可以通过以下中的一个或多个来进一步促进第二技术：瞳孔位置(用于提供用于定义凝视矢量的第二点)、检测到的环境光(用于确定凝视矢量沿着视网膜层的原点)和瞳孔尺寸/直径(用于估计环境光和/或用于直接确定凝视矢量沿着视网膜层的原点)。在第三技术中，使用眼睛的旋转中心来确定凝视矢量，即，“凝视矢量(C)”，从而得到从眼睛的旋转中心通过瞳孔位置朝向被调暗的区域C(或在一些实施例中，未被调暗的区域)延伸的凝视矢量。在图12的示例中，被调暗的区域A与被调暗的区域B相同。

图12示出了与图11中所示出的相同的技术，但是是在低光条件下。使用第一和第三技术(分别使用瞳孔位置和旋转中心)的所确定的凝视矢量和对应的被调暗的区域是相同的，但是使用第二技术(使用视锥和视杆位置)的所确定的凝视矢量和对应的被调暗的区域已被修改。在第二技术中，使用眼睛内的视锥和视杆位置来确定凝视矢量，即，“凝视矢量(B’)”，从而得到一组凝视矢量，该组凝视矢量从沿着围绕视网膜层的中心位置的环的各个点通过瞳孔位置朝向被调暗的区域B’(或在一些实施例中，未被调暗的区域)延伸。在图12所示的示例中，被调暗的区域A、B’和C中的每一个彼此不同。

图13示出了调光器，其已被调整以产生使用凝视矢量来确定的被调暗的区域A，该凝视矢量是使用瞳孔位置而计算出的。

图14示出了调光器，其已被调整以产生使用凝视矢量来确定的被调暗的区域B，该凝视矢量是使用高光条件下视锥和视杆位置而计算出的。

图15示出了调光器，其已被调整以产生使用凝视矢量来确定的被调暗的区域B’，该凝视矢量是使用低光条件下视锥和视杆位置而计算出的。在替代实施例中，被调暗的区域B’可以仅包括图15中所示的环形区域的部分而不包括其整个区域。

图16示出了其中被调暗的区域B’还包括环形区域内的中心部分的示例。

图17示出了调光器，其已被调整以产生使用凝视矢量来确定的被调暗的区域C，该凝视矢量是使用眼睛的旋转中心而计算出的。

图18A和18B示出了用于基于图像信息来确定系统视场中要被调暗的部分的方法。例如，图18A和18B中所示的一个或多个步骤可以对应于步骤410和/或412。在一些实施例中，AR装置可以将光投射到目镜上，以使得用户在超过目镜和动态调光器的空间中的各个点(诸如点1802)处感知到虚拟内容。点1802可以例如与三维空间中的位置对应，该位置包括当虚拟内容(例如，一个或多个虚拟对象)的像素通过目镜呈现时在其处由用户感知到该虚拟内容的像素的位置、在其处由用户感知到暗的虚拟内容(例如，由通过目镜呈现的虚拟内容投射的或以其他方式与通过目镜呈现的虚拟内容相关联的虚拟“阴影”)的位置、由位于用户环境中的一个或多个真实世界对象或人(例如，被锚定到用户环境中的某人头部的虚拟黑“顶帽”)物理地占据的位置等。在一些实施方式中，点1802可以从虚拟内容随机地采样，或者在一些实施例中，可以基于虚拟内容的关键特征(诸如边缘、拐角、表面的中心以及其他可能性)来选择点1802。在一些实施例中，点1802可以从虚拟内容的外周采样(如从参考点观看到的)。在其他实施例中，或在相同实施例中，也在点1802中的每一个点处确定虚拟内容的图像亮度，该图像亮度可用于确定点1802处的调暗水平(即，调暗值)以实现虚拟内容的期望可见度V。所使用的点1802的数量可以基于速度-准确度折衷而变化。

为了与所感知的虚拟内容对准地调暗，矢量1804可以被定义为使点1802中的每一个点与瞳孔位置(即，参考点)相交。然后可以在矢量1804与动态调光器相交的每个位置处定义相交点1806。如参考图18B所示，可基于相交点1806来确定被调暗的部分1808。在一些实施方式中，可采用一个或多个射线或锥体投射技术来定义矢量1804并识别或以其他方式确定相交点1806。在一些实施例中，每个被调暗的部分1808可以被设置为包括相交点1806中的每一个点的区域、或者被设置为动态调光器中包括相交点1806的特定像素。在一些实施例中，被调暗的部分1808的尺寸可以是采样点1802的数量和/或点1802的密度的函数。例如，在一些情况下，被调暗的部分1808的尺寸可以与点1802的数量成反比。在点1802是从虚拟内容的外周采样的实施例中，被调暗的部分1808可以通过连接相邻的相交点1806并且调暗封闭区域来形成。在一些示例中，被调暗的部分1808的尺寸和/或阴影可以是从参考点到相交点1806的所确定的距离、从相交点1806到点1802的所确定的距离、或其组合的函数。在图18A和18B的示例中，瞳孔位置(例如，瞳孔的中心)可以在眼睛移动发生时随时间而改变，该瞳孔位置是定义矢量1804的位置(即，参考点)。如此，相交点1806和被调暗的部分1808的位置也可在眼睛移动发生时随时间而改变。

图19A和19B示出了用于基于图像信息来确定系统视场中要被调暗的部分的方法，其类似于参考图18A和18B所示但具有不同参考点。点1902可以表示用户感知到虚拟内容的空间中的不同点。矢量1904可被定义为使点1902和眼睛的旋转中心(即，参考点)相交。然后可以在矢量1904与动态调光器相交的每个位置处定义相交点1906。如参考图19B所示，可基于相交点1906来确定被调暗的部分1908。在一些实施例中，被调暗的部分1908中的每一个被调暗的部分可被设置为包括相交点1906中的每一个点的区域、或者被设置为动态调光器中包括相交点1906的特定像素。在一些示例中，被调暗的部分1908的尺寸和/或阴影可以是从参考点到相交点1906的所确定的距离、从相交点1906到点1902的所确定的距离、或其组合的函数。眼睛的旋转中心的位置(其是图19A和19B的示例中的矢量1904被从其定义的位置(即，参考点))比瞳孔位置(其是图18A和18B的示例中的参考点)在眼睛移动发生时随时间而更稳定。接下来，在图19A和19B的示例中，相交点1906和被调暗的部分1908的位置可以在眼睛移动发生时而保持静态或随时间而相对小地改变。虽然上文参考图18A、18B、19A和19B描述了眼睛的瞳孔位置和旋转中心来作为可用于确定系统视场中要被调暗的部分的参考点的示例，但是应理解，此类参考点的示例还可包括沿着眼睛的光轴的各种其他位置中的任一个。用于识别眼睛的光轴和眼睛中沿着光轴存在的特定解剖区域的位置(诸如瞳孔的中心和眼睛的旋转中心)的系统和技术在2018年1月17日提交的名称为“EYE CENTER OFROTATION DETERMINATION,DEPTH PLANE SELECTION,AND RENDER CAMERA POSITIONING INDISPLAY SYSTEMS(显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位)”的美国申请No.62/618,559中被更详细地描述，其全部内容通过引用并入本文。

图20示出了使用本文描述的任何技术来改善所显示的虚拟内容的密实度(solidity)的示例，该技术诸如基于光信息、凝视信息和/或图像信息来调整调光器和/或调整投射器。参考左侧视场和右侧视场，除了虚拟内容2004的部分2006之外，在世界对象2002旁边显示的虚拟内容2004看起来被洗出，其中该虚拟内容的部分2006看起来比虚拟内容2004的剩余部分更密实。如所示示例中所示，虚拟内容的密实度仅在系统视场中用户正在观看的部分处被改善。

图21示出了通过调暗系统视场中与虚拟对象对应的部分来改善所显示的虚拟对象2102的密实度的示例。如图所示，其中虚拟对象2102中的位于调暗的区域中的部分2104的不透明度和可见度相对地大于虚拟对象2102中的位于没有调暗的区域中的部分2106的不透明度和可见度。通过调暗部分2104处的与世界对象2108相关联的光，用户可以更清楚地感知到虚拟内容。

图22示出了示出虚拟图像光亮度(x轴)与环境光水平之间的关系的曲线图，该环境光水平用于维持等于0.7的可见度(即，V＝0.7)。对于不同的环境光水平条件，实线斜线是固定的可见度水平线(对于V＝0.7)。例如，对于在约100尼特的室内区域中使用的200尼特的投射器亮度，可以采用接近30％的调暗水平来保持可见度接近0.7。再次参考上面参考图4描述的可见度等式，在一些示例中，图22中所示的曲线图的x轴和y轴可以分别对应于I_max和T_v，而实线斜线是针对不同I_world值的固定可见度水平线(对于V＝0.7)。

图23A和23B示出了示出小遮挡对世界场景的影响的图。图23A示出了其中用户的眼睛正在观看无穷远处的简单情况。眼睛包括视网膜2302、瞳孔2304和晶状体2306。来自不同角度的光被聚焦到视网膜230上的不同位置。图23B示出了在远离瞳孔2304的距离d处放置在眼睛前方的遮挡物(occlusor)2308。可以使用简单射线几何结构来构造视网膜处的梯度盘。忽略衍射，梯度盘的中心处的相对透射是t₀＝1-(h/p)²，其中h是遮挡物的直径，p是瞳孔的直径。换句话说，t₀＝1-A_遮挡物/A_瞳孔，其中A_遮挡物是遮挡物的面积以及A_瞳孔是瞳孔的面积。

图24示出了示出改变遮挡物直径而对作为角度范围(以度为单位)的函数的调暗元件的透射的影响的曲线图。如图所示，较小的遮挡物直径(例如，1mm)对透射具有非常小的影响，但是在角度范围内比较大的遮挡物直径(例如，4mm)更稳定，这对在角度范围上显著地变化的透射具有较高的影响。

图25示出了使用单个遮挡物的调暗的示例，其中d＝17mm、p＝4mm和h＝1mm。被调暗的区域示出了单个像素的点扩散函数(PSF)2502。使用所示的调暗，所使用的用于特定调暗元件的像素尺寸要求可以被估计为200μm像素。

图26示出了由将虚拟内容传递到用户眼睛的衍射波导目镜2602构成的OST头戴式显示器(HMD)的架构的示例。衍射波导目镜2602可以包括一个或多个衍射光学元件(DOE)，诸如耦入光栅(ICG)、正交瞳孔扩展器(OPE)和/或出射瞳孔扩展器(EPE)。世界光还穿过相同的元件以到达用户的眼睛。如图所示，动态调光器2604允许管理世界光水平以将虚拟内容保持在某个不透明度水平。在一些实施例中，调光器2604可对应于像素化的调暗元件，该像素化的调暗元件在功能上类似于或等同于如上文参考图5所描述的像素化的调暗元件503。在其他实施例中，调光器2604可对应于全局(非像素化)调暗元件。如图26所示，在一些实施方式中，调光器2604可以独立于目镜成形并弯曲，以便改善OST-HMD的美观性和/或功能性。

图27示出了由使用中继光学系统将光传递到衍射波导结构的耦入光栅中的微显示器(例如，LCOS、MEMS或光纤扫描仪显示器类型)构成的OST-HMD的架构的附加示例。波导结构可以包括放大输入图像平面并将其传递到用户的眼盒的耦出光栅(例如，EPE)。如图所示，各种元件可以被定位在用户的眼睛与世界对象之间。目镜2702可以是衍射波导组合器，其将虚拟光传递到用户的眼睛，并且还允许世界光透射通过。可变聚焦元件2704可由眼睛与目镜之间的深度平面变化/切换元件构成以对虚拟显示器作用。在一些实施例中，可变聚焦元件2704是后透镜组件(BLA)2706。BLA还不可变地对世界光作用，并且因此添加了前透镜组件(FLA)2708以消除对世界显示器的影响。

该实施例中的动态调暗元件2710安装在集成堆叠的外部。这允许从用于AR模式的透明显示器切换到完全阻挡用于VR模式的世界光的不透明的显示器。调暗元件2710可对应于全局调暗元件或像素化的调暗元件。外部透镜2712被定位成与光学堆叠分离，以便为OST-HMD提供保护和/或支撑结构。外部透镜2712还可以向整个系统视场提供调暗量。

图28示出了OST-HMD的架构的附加示例，其中平坦的动态调光器2802沿着弯曲的外部装饰透镜2804的内部定位。调光器2802可以对应于全局调暗元件或像素化的调暗元件。在一些实施例中，外部装饰透镜2804可向整个系统视场提供调暗量，其可在确定动态调光器的空间分辨的调暗值时被考虑。OST-HMD还可包括目镜2806、自适应BLA 2808和自适应FLA 2810，如本文所述。

图29示出了根据本发明的AR装置2900的示意图。AR装置2900一般地包括本地模块2910和远程模块2912。AR装置2900的组件在本地模块2910和远程模块之间的划分可以允许当AR装置2900在使用中时，将体积大的和/或高功耗的组件与靠近用户的头部定位的那些组件分离，从而增加用户的舒适性以及装置性能。本地模块2910可以是头戴式的并且可以包括各种机械和电子模块以促进像素化的调光器2903和空间光调制器2904的控制。空间光调制器2904的控制可以使得虚拟内容投射到目镜2902上，该虚拟内容与由调光器2903修改的世界光一起被AR装置2900的用户观看到。本地模块2910的一个或多个传感器2934可检测来自世界和/或用户的信息，并将所检测到的信息发送到传感器头戴式耳机处理器2940，该传感器头戴式耳机处理器2940可将数据流发送到本地模块2910的显示器头戴式耳机处理器2942，并且将原始或经处理的图像发送到远程模块2912的感知处理单元2944。

在一些实施例中，本地模块2910的一个或多个组件可以类似于参照图3描述的一个或多个组件。例如，在这样的实施例中，目镜2902和调光器2903的功能可以分别类似于目镜302和调光器303的功能。在一些示例中，一个或多个传感器2934可以包括分别与世界相机306、环境光传感器334和/或眼睛跟踪器340中的一个或多个类似的世界相机、环境光传感器和/或眼睛跟踪器中的一个或多个。在一些实施例中，空间光调制器2904的功能性可类似于被包括在投射器314中的一个或多个组件的功能性，并且传感器头戴式耳机处理器2940和显示器头戴式耳机处理器2942中的一个或两者的功能性可类似于被包括在处理模块350中的一个或多个组件的功能性。

在一些实施例中，显示器头戴式耳机处理器2942可以从远程模块2912的图形处理单元(GPU)2946接收虚拟内容数据和像素化的调光器数据，并且可以在控制像素化的调光器2903和空间光调制器2906之前，执行各种校正和翘曲(warp)技术。由显示器头戴式处理器2942生成的调光器数据可以传递通过一个或多个驱动器，该一个或多个驱动器可以修改或生成用于控制调光器2903的电压。在一些实施例中，显示器头戴式耳机处理器2942可以从传感器头戴式耳机处理器2940接收深度图像和头戴式耳机姿势，其可用于改善调暗和投射的虚拟内容的准确度。

远程模块2912可以通过一个或多个有线或无线连接被电耦接到本地模块2910，并且可以被固定地附接到用户或由用户携带，以及其他可能性。远程模块2912可以包括用于执行/生成环境照明图、耳机姿势和眼睛感测的感知处理单元2944。感知处理单元2944可将数据发送到CPU 2948，该CPU 2948可被配置为执行/生成可传递世界几何形状和应用场景几何形状。CPU 2948可将数据发送到GPU 2946，该GPU 2946可被配置为执行针对最小世界亮度吞吐量、调暗像素对准、后期帧时间翘曲和渲染管道、以及其他操作的检查。在一些实施例中，CPU 2948可与GPU 2946集成，以使得单个处理单元可执行参考每一个所描述的功能中的一个或多个。在一些实施例中，被包括在远程模块2912中的组件中的一个或多个组件的功能性可以类似于被包括在处理模块350中的一个或多个组件的功能性。

图30示出了用于锐化离焦像素化调暗的方法3000。除了方法400之外，还可以使用方法3000来改善调光器的性能。例如，方法3000中的一个或多个步骤可以在步骤416之前和/或在步骤414之后执行。方法3000中的步骤可以以与图30中所示的顺序不同的顺序执行，并且不需要执行所有步骤。例如，在一些实施例中，步骤3002、3004和3006中的一个或多个步骤可以在方法3000的执行期间被省略。方法3000中的一个或多个步骤可以由处理器(例如，处理器352)或者由AR装置内的一些其他组件来执行。

在步骤3002处，生成像素化的掩模。当结合方法400使用方法3000时，可以基于在步骤412确定的系统视场中要被调暗的部分和/或在步骤414中确定的调暗值(即，被调暗的区域236)来生成像素化的掩模。在一些实施例中，可使用参考图31和32所描述的技术中的一个或两个技术来生成像素化的掩模。

在步骤3004处，根据像素化的掩模来调整调光器。例如，调光器的每个像素可以被设置为如像素化的掩模所指示的特定调暗值。对于方法3000与方法400结合使用的示例，步骤3004或者的一个或多个操作可以至少部分地对应于步骤416中的一个或多个操作。

在步骤3006处，用户通过调光器观看，并且(对于用户)可观察到的调暗相当于被使用单个像素的PSF卷积过的像素化的掩模。因此，当用户佩戴AR装置时，步骤3006内在地由眼睛的光学器件执行，而不是由AR装置的组件直接执行。另一方面，步骤3002和3004可以例如由AR装置的一个或多个组件执行。

图31示出了用于锐化离焦像素化调暗的方法3100，其中步骤3102包括生成期望的像素化掩模的步骤3108和将像素化的掩模设置成期望的像素化掩模的步骤3110。由于由单个像素的PSF引起的拖影，与像素化的掩模(被示出为与步骤3104相邻)相比，对于用户可观察到的调暗(被示出为与步骤3106相邻)被显著地模糊。在一些实施例中，方法3100中的一个或多个步骤可以对应于方法3000中的一个或多个步骤。

图32示出了用于锐化离焦像素化调暗的方法3200，其中步骤3202包括去卷积技术。在步骤3208处，使用指向眼睛的传感器(例如，诸如眼睛跟踪器240的相机)来检测用户眼睛的瞳孔的直径。在步骤3210处，使用与在步骤3208中使用的传感器相同或不同的传感器来检测眼睛晶状体的适应状态。

在步骤3212处，基于瞳孔直径、眼睛晶状体的适应状态、像素的尺寸/形状以及从像素到瞳孔的距离来估计单个像素的PSF。在使用圆来近似像素的形状的情况下，像素的尺寸/形状可以表示为直径h，瞳孔直径表示为直径p，以及从像素到瞳孔的距离表示为距离d(使用在图23A和23B中建立的命名)。在一些实施例中，从像素到瞳孔的距离对于调光器的不同像素可以是不同的，以使得所估计的PSF可以是取决于像素的。在一些实施例中，将从最中心像素到瞳孔的距离用作剩余像素的近似。

在步骤3214处，在虚拟内容的深度处生成期望的像素化掩模。在步骤3216处，使用单个像素的估计PSF对期望的像素化的掩模去卷积。在一些实施例中，通过将虚拟内容的深度处的期望的像素化掩模的傅立叶变换除以单个像素的估计PSF的傅立叶变换并执行傅立叶逆变换，来在空间频域中执行去卷积。替换地或附加地，可以通过将单个像素的估计PSF的傅立叶变换除以虚拟内容的深度处的期望的像素化掩模的傅立叶变换并执行傅立叶逆变换，来执行去卷积。随后在步骤3204中使用的像素化的掩模被设置为去卷积的结果。

作为执行方法3200的结果，与方法3100中的技术相比，对于用户可观察到的调暗(被示出为与步骤3206相邻)显著地较少模糊，尽管像素化的掩模(被示出为与步骤3204相邻)与期望的像素化掩模(被示出为与步骤3214邻近)之间不相似。在一些实施例中，方法3200中的一个或多个步骤可以对应于方法3000和3100中的一个或多个步骤。在一些实施例中，方法3200中的一个或多个步骤可以被省略或修改。

图33示出根据本文描述的一些实施例的简化的计算机系统3300。如图33中所示的计算机系统3300可以结合到诸如本文所述的AR装置200或300的装置中。图33提供了可以执行由各种实施例提供的方法的一些或全部步骤的计算机系统3300的一个示例的示意图。应该注意，图33仅旨在提供各种组件的一般性图示，可以适当地利用其中的任何或全部。因此，图33广泛地示出可以如何以相对分离或相对更集成的方式来实现各个系统元件。

示出了计算机系统3300，其包括可以经由总线3305电耦接或者可以适当地以其他方式通信的硬件元件。硬件元件可以包括一个或多个处理器3310，包括但不限于一个或多个通用处理器和/或一个或多个专用处理器，诸如数字信号处理芯片、图形加速处理器等；一个或多个输入装置3315，其可以包括但不限于鼠标、键盘、相机等；以及一个或多个输出装置3320，其可以包括但不限于显示装置、打印机等。

计算机系统3300可以还包括一个或多个非暂态存储装置3325和/或与之通信，该非暂态存储装置3325可以包括但不限于本地和/或网络可访问的存储装置，和/或可以包括但不限于磁盘驱动器、驱动器阵列、光存储装置、固态存储装置(诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，它们可以是可编程的、可更新的等)。此类存储装置可以被配置为实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构等。

计算机系统3300还可能包括通信子系统3330，该通信子系统3319可以包括但不限于调制解调器、网卡(无线或有线)、红外通信装置、无线通信装置和/或诸如蓝牙^TM装置、802.11装置、WiFi装置、WiMax装置、蜂窝通信设施等的芯片组，等等。通信子系统3319可以包括一个或多个输入和/或输出通信接口，以允许与诸如以下描述的网络的网络交换数据：该网络以列举一个示例、其他计算机系统、电视和/或本文描述的任何其他装置。取决于所需的功能性和/或其他实施方式，便携式电子装置或类似装置可以经由通信子系统3319来传送图像和/或其他信息。在其他实施例中，便携式电子装置(例如，第一电子装置)可以被并入计算机系统3300中，例如作为输入装置3315的电子装置。在一些实施例中，如上所述，计算机系统3300将还包括工作存储器3335，该工作存储器3335可以包括RAM或ROM装置。

计算机系统3300还可包括被示为当前位于工作存储器3335内的软件元件，包括操作系统3340、装置驱动器、可执行库和/或其他代码，诸如一个或多个应用3345，如本文所述，该应用3345可以包括由各种实施例提供的计算机程序，和/或可以被设计为实现由其他实施例提供的方法和/或配置系统。仅作为示例，关于上述方法所描述的一个或多个过程可以被实现为可由计算机和/或计算机内的处理器执行的代码和/或指令，因此，一方面，根据所描述的方法，此类代码和/或指令可以用于配置和/或适配通用计算机或其他装置以执行一个或多个操作。

这些指令和/或代码的集合可以存储在非暂态计算机可读存储介质上，诸如上述存储装置3325。在一些情况下，该存储介质可能被并入诸如计算机系统3300的计算机系统内。在其他实施例中，该存储介质可能与计算机系统(例如诸如光盘的可移动介质)分离，和/或设置在安装包中，使得存储介质可用于对通用计算机及其上存储的指令/代码进行编程、配置和/或适配。这些指令可能采取可以由计算机系统3300执行的可执行代码的形式，和/或可能采取源代码和/或可安装代码的形式，该源代码和/或可安装代码例如使用各种通常可用的编译器、安装程序、压缩/解压缩实用程序等在计算机系统3300上编译和/或安装时然后采用可执行代码的形式。

对于本领域技术人员而言显而易见的是，可以根据特定要求进行实质性的变化。例如，也可能使用定制的硬件，和/或可能在硬件、包括便携式软件(诸如小应用程序等)的软件或二者中实现特定的元件。此外，可以采用到诸如网络输入/输出装置的其他计算装置的连接。

如上所述，一方面，一些实施例可以采用诸如计算机系统3300的计算机系统来执行根据本技术的各种实施例的方法。根据一组实施例，此类方法的一些或全部过程由计算机系统3300响应于处理器3310执行一个或多个指令的一个或多个序列来执行，该一个或多个指令可能被并入操作系统3340和/或工作存储器3335中包括的其他代码，诸如应用程序3345。此类指令可以从另一计算机可读介质(诸如一个或多个存储装置3325)读入工作存储器3335。以示例的方式，包括在工作存储器3335中的指令序列的执行可能使处理器3310执行在此描述的方法的一个或多个过程。另外地或可替代地，在此描述的方法的部分可以通过专用硬件来执行。

如在此所使用，术语“机器可读介质”和“计算机可读介质”是指参与提供使机器以特定方式操作的数据的任何介质。在使用计算机系统3300实现的实施例中，各种计算机可读介质可能涉及向处理器3310提供指令/代码以供执行和/或可用于存储和/或承载此类指令/代码。在许多实施方式中，计算机可读介质是物理和/或有形存储介质。此类介质可以采取非易失性介质或易失性介质的形式。非易失性介质包括例如光盘和/或磁盘，诸如存储装置3325。易失性介质包括但不限于动态存储器，诸如工作存储器3335。

物理和/或有形计算机可读介质的常见形式包括，例如，软盘、柔性盘、硬盘、磁带或任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、带孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储芯片或盒式磁带或计算机可以从中读取指令和/或代码的任何其他介质。

各种形式的计算机可读介质可涉及将一个或多个指令的一个或多个序列承载给处理器3310以供执行。仅作为示例，指令可以最初承载在远程计算机的磁盘和/或光盘上。远程计算机可能将指令加载到其动态存储器中，并通过透射介质将指令作为信号发送，以由计算机系统3300接收和/或执行。

通信子系统3319和/或其组件通常将接收信号，并且然后总线3305可能将信号和/或信号所承载的数据、指令等承载到工作存储器3335，处理器3310从该工作存储器3335中取得并执行指令。由工作存储器3335接收的指令可以可选地在由处理器3310执行之前或之后被存储在非暂态存储装置3325上。

上面讨论的方法、系统和装置是示例。各种配置可以适当地省略、替代或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行该方法，和/或可以添加、省略和/或组合各个阶段。此外，关于某些配置描述的特征可以在各种其他配置中组合。可以以类似方式组合配置的不同方面和元素。此外，技术在发展，并且因此，许多元素是示例，并不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实施方式的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置。例如，已经示出了公知的电路、过程、算法、结构和技术，而没有不必要的细节，以便避免使配置模糊。该描述仅提供示例配置，并不限制权利要求的范围、适用性或配置。相反，配置的先前描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元素的功能和布置进行各种改变。

此外，可以将配置描述为过程，该过程被描述为示意性流程图或框图。尽管每个操作都可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新排列操作的顺序。过程可具有图中未包括的附加步骤。此外，方法的示例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行必要任务的程序代码或代码段可以存储在诸如存储介质的非暂态计算机可读介质中。处理器可以执行所描述的任务。

已经描述了几种示例配置，在不脱离本公开的精神的情况下，可以使用各种修改、替代构造和等同形式。例如，以上元素可以是较大系统的组件，其中其他规则可以优先于或以其他方式修改技术的应用。同样，在考虑以上元素之前、之中或之后可以采取许多步骤。因此，以上描述不限制权利要求的范围。

如在此和所附权利要求书中所使用的，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另外明确指出。因此，例如，对“用户”的引用包括多个此类用户，而对“处理器”的引用包括对一个或多个处理器及其本领域技术人员已知的等同形式的引用，等等。

此外，当在本说明书和所附权利要求书中使用时，词语“包括了”、“包括”、“包括了”、“包括”、“已包括”和“正包括”旨在指定所陈述的特征、整数、组件或步骤的存在，但它们并不排除一个或多个其他特征、整数、组件、步骤、动作或组的存在或添加。

还应理解，在此所述的示例和实施例仅用于说明目的，并且根据其各种修改或改变将被本领域技术人员建议，并且将被包括在本申请的精神和范围以及所附权利要求的范围之内。

Claims

1.一种操作光学系统的方法，所述方法包括：

在所述光学系统处接收与世界对象相关联的光；

检测关于与所述世界对象相关联的所述光的世界光信息，所述世界光信息包括多个空间分辨的世界光值；

基于所述多个空间分辨的世界光值来确定所述光学系统的系统视场中要被至少部分地调暗的第一部分；

在所述光学系统的投射器处生成要被投射到所述光学系统的目镜上的虚拟图像光，所述虚拟图像光表示要被显示的一个或多个虚拟对象；

将所述虚拟图像光投射到所述目镜上；

检测关于所述虚拟图像光的虚拟图像信息，所述虚拟图像信息包括多个空间分辨的虚拟图像亮度值；

基于所述多个空间分辨的虚拟图像亮度值来确定所述光学系统的所述系统视场中要被至少部分地调暗的第二部分，所述系统视场的所述第二部分不同于所述系统视场的所述第一部分；

将所述系统视场的所述第一部分和所述系统视场的所述第二部分组合成所述系统视场的组合部分；以及

调整位于所述目镜与所述世界对象之间的调光器以减小所述系统视场的位于包含所述第一部分和所述第二部分的所述组合部分内的与所述世界对象相关联的光的强度。

2.根据权利要求1所述的方法，其中，所述光学系统包括光传感器，所述光传感器被配置为检测所述世界光信息。

3.根据权利要求1或2所述的方法，其中，所述光学系统包括眼睛跟踪器，所述眼睛跟踪器被配置为检测与所述光学系统的用户的眼睛对应的凝视信息，其中基于所述凝视信息来确定所述光学系统的所述系统视场中要被至少部分地调暗的第三部分。

4.根据权利要求1或2所述的方法，还包括：

基于所述世界光信息和所述虚拟图像信息来确定用于所述系统视场的所述部分的多个空间分辨的调暗值，其中根据所述多个调暗值来调整所述调光器。

5.根据权利要求1或2所述的方法，其中，所述调光器包括多个像素。

6.一种包括指令的非暂时性计算机可读介质，所述指令在由处理器执行时使所述处理器执行包括以下的操作：

在光学系统处接收与世界对象相关联的光；

将所述虚拟图像光投射到所述目镜上；

7.根据权利要求6所述的非暂时性计算机可读介质，其中，所述光学系统包括光传感器，所述光传感器被配置为检测所述世界光信息。

8.根据权利要求6或7所述的非暂时性计算机可读介质，其中，所述光学系统包括眼睛跟踪器，所述眼睛跟踪器被配置为检测与所述光学系统的用户的眼睛对应的凝视信息，其中基于所述凝视信息来确定所述光学系统的所述系统视场中要被至少部分地调暗的第三部分。

9.根据权利要求6或7所述的非暂时性计算机可读介质，其中，所述操作还包括：

10.根据权利要求6或7所述的非暂时性计算机可读介质，其中，所述调光器包括多个像素。

11.一种光学系统，包括：

投射器，其被配置为将虚拟图像光投射到目镜上；

调光器，其被配置为调暗与世界对象相关联的光；

世界光传感器，其被配置为检测关于与所述世界对象相关联的所述光的世界光信息，所述世界光信息包括多个空间分辨的世界光值；以及

处理器，其被通信地耦合到所述投射器、所述调光器和所述世界光传感器，其中所述处理器被配置为执行包括以下的操作：

生成要被投射到所述光学系统的所述目镜上的所述虚拟图像光，所述虚拟图像光表示要被显示的一个或多个虚拟对象；

调整位于所述目镜与所述世界对象之间的所述调光器以减小所述系统视场的位于包含所述第一部分和所述第二部分的所述组合部分内的与所述世界对象相关联的光的强度。

12.根据权利要求11所述的光学系统，还包括：

眼睛跟踪器，其被配置为检测与所述光学系统的用户的眼睛对应的凝视信息，其中基于所述凝视信息来确定所述光学系统的所述系统视场中要被至少部分地调暗的第三部分。