CN103033936A - 具有虹膜扫描剖析的头戴式显示器 - Google Patents

Abstract

本发明涉及具有虹膜扫描剖析的头戴式显示器。透视头戴式显示器以及用于操作该显示器以通过自动地参考用户简档来优化显示器性能的方法。通过执行对用户的虹膜扫描和识别来确定用户的身份，从而使得用户简档信息能够被检索并用于增强用户佩戴透视头戴式显示器的体验。用户简档可包含用户偏好以及显示调整信息，该用户偏好是关于向透视头戴式显示器提供增强现实图像的服务的，该显示调整信息优化透视头戴式显示器中的显示元件的位置。

Description

具有虹膜扫描剖析的头戴式显示器

技术领域

本发明涉及头戴式显示器。

背景技术

头戴式显示器和双目镜是其中存在用于供用户双眼各自查看场景的光学系统的双眼查看系统的示例。增强现实（AR）涉及提供经增强的真实世界环境，其中用计算机生成的虚拟数据来增强或修改对真实世界环境（或表示真实世界环境的数据）的感知。例如，可使用诸如相机或话筒等传感输入设备实时地捕捉表示真实世界环境的数据，并用包括虚拟图像和虚拟声音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与真实世界环境有关的信息，诸如与真实世界环境中的真实世界物体相关联的文本描述。AR环境可用于增强包括视频游戏、绘图、导航以及移动设备应用等多种应用。

一些AR环境启用对真实物体（即，存在于特定的真实世界环境中的物体）与虚拟物体（即，不存在于特定的真实世界环境中的物体）之间的实时交互的感知。正确地对准头戴式显示器改善AR系统使用该显示器以将虚拟物体逼真地集成到该显示器的AR环境中的能力。

发明内容

提供启用具有眼睛成像技术的透视头戴式显示器以通过自动地参考用户简档来优化该显示器性能的技术。通过执行对用户的虹膜扫描和识别来确定用户的身份，使得用户简档信息能够被检索并用于增强用户佩戴透视头戴式显示器的体验。用户简档可包含用户偏好以及显示调整信息，该用户偏好是关于向透视头戴式显示器提供增强现实图像的服务的，该显示调整信息优化透视头戴式显示器中的显示元件的位置。

一方面，一种控制透视头戴式显示设备的方法包括用透视、近眼、混合现实显示器来提供对用户的至少一只眼睛进行成像的图像。该显示器包括用于每只眼睛的光学系统和显示器，该光学系统包括生成眼睛的图像数据的至少一个传感器。该方法确定至少一只眼睛的虹膜图像中的图案，并基于该图案将用户简档信息与该用户相关联以标识该用户。随后基于用户简档中的用户偏好来操作该设备，以在显示光学系统中向用户提供增强现实图像。

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1A是佩戴透视HMD的用户所看到的视野的一个实施例。

图1B是描绘透视、混合现实显示设备的另一实施例的示例组件的框图。

图2是示出根据本发明技术的方法的流程图。

图3A是示出虹膜扫描过程的流程图。

图3B示出了眼睛的虹膜图像。

图3C是描绘虹膜扫描识别过程的流程图。

图4是示出创建用户简档过程的流程图。

图5A是示出基于虹膜扫描来设置用户配置并用用户简档设置来操作设备的方法的流程图。

图5B是示出确定用于用户瞳孔间距的用户设备偏好设置的方法的流程图。

图6A是基于所捕捉的数据自动地确定用户IPD的方法的流程图。

图6B示出了用于基于每只眼睛的瞳孔的图像格式的图像数据来将透视、近眼、混合现实显示设备与用户IPD对准的方法。

图6C是确定至少一个调整值的过程的流程图。

图7A和7B是描绘具有可调整IPD的透视、混合现实显示设备的实施例的示例组件的框图。

图8A示出被实现为具有包括注视检测元件的活动显示光学系统的眼镜的透视头戴式显示器的示例性安排。

图8B示出被实现为具有包括注视检测元件的活动显示光学系统的眼镜的透视头戴式显示器的另一个示例性安排。

图8C示出被实现为具有包括注视检测元件的活动显示光学系统的眼镜的透视头戴式显示器的又一个示例性安排。

图9A是混合现实显示设备的实施例中的提供对硬件和软件组件的支持的眼镜腿的侧视图。

图9B是混合现实显示设备的实施例中的提供对硬件和软件组件的支持和对微显示器部件的三维调整的眼镜腿的侧视图。

图10A是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的实施例的俯视图。

图10B是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的另一实施例的俯视图。

图10C是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第三实施例的俯视图。

图10D是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第四实施例的俯视图。

图11是可与一个或多个实施例一同使用的透视、近眼显示单元的硬件和软件组件的一个实施例的框图。

图13是可以在本发明技术的各实施例中操作的示例性移动设备的框图。

图14是描绘可用于实现中枢计算系统的计算系统的一个实施例的框图。

具体实施方式

呈现本技术以利用其上使用相机技术的透视头戴式显示器来执行对用户的虹膜扫描和识别以使得用户简档信息能够被检索并增强用户佩戴透视头戴式显示器的体验。用户简档可包含用户偏好以及显示调整信息，该用户偏好是关于向透视头戴式显示器提供增强现实图像的服务的，该显示调整信息优化透视头戴式显示器中的显示元件的位置。

图1A描绘了佩戴参考图1B、7A和7B示出和描述的透视头戴式设备150的用户所看到的视野的一个实施例。用户在视野内既可看到真实物体也可看到虚拟物体。真实物体可包括椅子16和中枢计算系统10和显示器。虚拟物体可包括虚拟怪物17。由于通过HMD的透视透镜所感知的虚拟怪物17被显示或覆盖在真实世界环境中，因此用户可感觉到虚拟怪物17存在于真实世界环境内。

该环境包括两个头戴式显示设备150（1）和150（2）。中枢计算系统10可包括计算环境12、一个或多个捕捉设备21、和显示器11，它们彼此通信。计算环境12可以包括一个或多个处理器。捕捉设备21可以包括颜色或深度传感相机，该相机可以用于在视觉上监控包括特定环境内的人以及一个或多个其他物体的一个或多个目标。在一个示例中，捕捉设备21可以包括RGB或深度相机，并且计算环境12可以包括机顶盒或游戏控制台。中枢计算系统10可支持多个头戴式显示器。

如图1A所示，用户28佩戴透视头戴式显示器18150（1），并且用户29佩戴透视头戴式显示器19150（2）。所佩戴的透视头戴式显示器150（1）和150（2）可从此处描述的多个处理设备（包括中枢计算系统10）中的任一个接收虚拟数据，使得虚拟物体如通过相应的移动设备所显示的那样被感觉存在于视野内。例如，如用户28通过透视头戴式显示器（1）所看到的，虚拟物体被显示为虚拟怪物17的背面（未示出）。如用户29通过透视头戴式显示器150（1）所看到的，虚拟物体被显示为出现在椅子16背面上方的虚拟怪物17的正面。

图1B示出了用于实现本技术的透视头戴式显示器150和系统的实施例的框图。头戴式显示设备150将被耦合到处理单元20，该处理单元可包括此处所公开的处理设备中的任一个，包括但不限于下面所讨论的处理单元4、移动设备5、或中枢计算系统12。显示处理器可包括网络接口25、处理器26和存储器27，其中存储器27包括一个或多个应用30并存储用户简档信息280。应用30可存在于显示处理器的存储器27内，并向用户提供覆盖在透视头戴式设备的显示器中的信息。如下所述，显示处理器将通过多个各种手段中的任一个被耦合到头戴式显示设备150。处理单元20与诸如因特网等网络80交互，使用网络接口25来将头戴式显示设备150与例如提供用于显示应用30的数据的增强现实服务90相耦合。

增强现实服务90可提供一个或多个服务器92，该服务器92提供图像数据、备选的信息显示应用35、用户定位服务34以供显示应用30使用。补充信息提供者本身可创建并提供补充事件数据或提供服务，该服务将事件数据从第三方事件数据提供者传输到用户的透视头戴式显示器。多个补充信息提供者和第三方事件数据提供者可与本技术一同使用。

处理器26可执行程序指令以实现应用30和此处描述的其他服务。处理单元20可包括此处描述的处理设备的示例中的任一个。

图1B示出了示例性用户简档280。如图1B所示，用户简档280可被存储在与显示设备150相关联的处理单元20上，或由增强现实服务90来存储。简档280可包括增强现实服务90所提供的服务中任一个的登录信息、服务偏好信息、信息过滤器信息、用户设备物理设置、和用户设备操作设置。

增强现实服务90可提供利用透视头戴式显示设备150的多个服务中的任一个。这些服务的示例包括基于事件的实时信息服务（如美国专利申请序列号13/112,919、题为“EVENT AUGMENTATION WITH REAL-TIMEINFORMATION（具有实时信息的事件增强）”中描述的示例）、生活雷达跟踪服务（如美国专利申请序列号12/818,106、题为“CONTEXTUAL BASEDINFORMATION AGGREGATION SYSTEM（基于上下文的信息聚集系统）”中描述的示例）、和生活流传输服务（如美国专利申请序列号13/031,033、题为“LIFE STREAMING（生活流传输）”中描述的示例），这些服务通过引用专门包含于此。对于每个服务，可向用户要求登录信息以保护用户的安全和隐私，以及向服务标识用户。服务偏好信息可包括所提供的服务专用的用户指定的服务性能偏好。信息过滤器信息可包括对用户希望在透视头戴式显示器中显示的信息类型的限制。设备物理设置可包括下面进一步描述的定位信息，以相对于用户的注视来正确地对准透视头戴式显示设备，来向用户正确地显示虚拟物体。设备操作设置可包括用户在佩戴设备时所偏好的亮度、对比度和其他设置。

每个用户简档可包括前面提到的类型的信息的全部或子集。例如当有限数量的常规用户一贯地使用设备150时，用户简档可被存储在处理单元20上。简档280可与服务90一同存储以向任一潜在的透视头戴式显示器150标识用户，该透视头戴式显示器150可访问服务90，从而允许用户与可访问服务90的任一设备150交互以获得跨各种不同设备的相同用户体验。

根据本技术，透视头戴式显示器150的系统允许将用户身份与用户简档一同存储，使得通过佩戴透视头戴式显示器150可以自动地确定用户的身份，检索用户的简档并根据用户简档来调整用户体验。各个示例在下文中引用。一方面，自动地访问用于与一个或多个增强现实服务交互的用户偏好信息。另一方面，自动地作出用户的各个物理设备调整。

用户身份信息37可被存储在处理单元20上，或与增强现实应用服务90一同存储，或二者皆有。当用户佩戴透视头戴式显示器150时，可使用此处公开的透视头戴式显示器150的眼睛捕捉技术来执行用户识别，以执行对用户的虹膜扫描从而确立用户的身份。一方面，该系统可使用用户身份根据用户已存储的偏好来自动地调整透视头戴式显示器和增强现实服务。一方面，用户简档可用于自动地调整透视头戴式显示器150的显示元件的瞳孔间距。瞳孔间距（IPD）通常指的是用户的瞳孔之间的水平距离。本技术规定IPD可包括垂直或高度维度。此外，还可在IPD数据中存储从显示光学系统到相应眼睛的深度距离。可监视该深度距离以检测显示设备相对于用户眼睛的移动，并触发IPD对准检查。在一个实施例中，用户简档数据280可仅被存储在诸如显示处理器20等本地设备上。作为对简档数据的本地设备存储的替换或结合对简档数据的本地设备存储，身份和简档信息280可与备选的现实服务90一同存储。在一个实施例中，不提供服务并且在本地存储全部信息。

用户简档信息可包括IPD数据集。所存储的IPD数据集至少可被用作用来开始IPD对准检查的显示设备的初始设置。在一些实施例中，一个或多个处理器将每一光轴的位置存储在IPD数据集中。用户的IPD可以是非对称的。每一显示光学系统的显示调整机构的始自初始位置的调整值可被保存在IPD数据集中。显示调整机构的初始位置可以具有相对于不动的镜架部分的固定位置。另外，可基于到鼻梁上的点的固定位置以及调整值来为每只眼睛估计相应瞳孔到用户鼻子的位置向量。每一眼睛的这两个位置向量至少提供水平距离分量，并且也可包括垂直距离分量。一个或多个方向上的瞳孔间距IPD可以从这些距离分量中导出。另外，IPD数据集可包括用于眼睛跟踪的任意个人校准（例如，估计角膜半径、视轴距离光轴的偏移等）的结果，以避免用户必须校准不止一次。

透视头戴式显示器包括具有光轴、被定位以由用户每只眼睛透视的显示光学系统。在每一显示光学系统的光轴与相应瞳孔对准时，最近的显示设备与用户的IPD对准。通过使具有检测区域的至少一个传感器被定位成沿着光轴接收从眼睛反射的光，可根据在预定的距离和方向处显示虚拟物体（通过光轴以供测量IPD）期间所捕捉的反射光数据来确定每一显示光学系统的光轴与每一相应瞳孔的对准。虚拟物体可看起来像真实的物体，如图像中的苹果或朋友。虽然苹果或朋友可能看起来位于你面前的三维空间中并位于实际上在你面前的真实世界物体上，但苹果或朋友实际上并不在你真实世界的视野中。如果每一瞳孔没有在一准则内与光轴对准，则相应显示光学系统被调整，直至对准满足一准则为止。准则的示例是距离，例如1mm。以下各项中公开了能够检测注视、IPD和自动调整的示例性透视头戴式显示器：转让给本申请的受让人并于2011年8月30日提交的（代理人档案号是01466）、共同待审申请序列号为、题为“GAZE DETECTION IN A NEAR-EYE DISPLAY（近眼显示器中的注视检测）”、发明人是John R.Lewis,Yichen Wei,Robert L.Crocco,BenjaminI.Vaught,Alex Aben-Athar Kipman和Kathryn Stone Perez；转让给本申请的受让人并于2011年8月30日提交的（代理人档案号是01467）、共同待审申请序列号为、题为“ADJUSTMENT OF A MIXED REALITY DISPLAY FORINTER-PUPILLARY DISTANCE ALIGNMENT（调整混合现实显示器以供瞳孔间距对准）”、发明人是John R.Lewis,Kathryn Stone Perez,Robert L.Crocco和Alex Aben-Athar Kipman；转让给本申请的受让人并于2011年8月30日提交的（代理人档案号是01469）、共同待审申请序列号为、题为“ALIGNINGINTER-PUPILLARY DISTANCE IN A NEAR-EYE DISPLAY SYSTEM（在近眼显示器系统中对准瞳孔间距）”、发明人是John R.Lewis,Yichen Wei,Robert L.Crocco,Benjamin I.Vaught,Kathryn Stone Perez,Alex Aben-Athar Kipman，全部文件通过引用包含于此。

在下面描述的实施例中，每一显示光学系统被定位在支撑结构内，该支撑结构在位置上可由显示调整机构来调整。在很多示例中，该调整在处理器的控制下自动地执行。例如，一个以上方向上的调整可由一组马达来执行，马达可垂直地、水平地或在深度方向上移动显示光学系统。在其他实施例中，显示调整机构是用户启动以根据所显示的指令或音频指令来定位显示光学系统的机械显示调整机构。在下面示出的某些示例中，对机械显示调整机构的控制被校准，使得每次启动对应于要将显示光学系统在特定的方向上移动的距离单位。

由于用户身份信息37可包括面临一个或多个隐私条款和考虑的信息，因此可作出努力来以加密格式存储虹膜信息。例如，可将对用户身份数据的每次扫描作为与用户简档信息280相关联的加密散列来存储，并且丢弃虹膜扫描的图像数据。这将确保用户实际的虹膜数据不被存储，但简档信息可在接下来的扫描期间被检索。

图2是示出依照本技术的标识用户过程的流程图。在202，该过程通过多个各种手段中任一个来初始化。用户可佩戴透视头戴式显示器并且该过程可自动开始，该过程可在STHMD一检测到虹膜图像时或当用户选择输入方法（诸如，点击物理按钮以启动该过程）时开始。在204，执行用户虹膜扫描。下面讨论虹膜扫描过程。

在206，将虹膜扫描的结果与用户简档数据存储进行比较，以确定所扫描的虹膜图案与同用户简档相关联的所存储的虹膜图案之间是否存在匹配。在一个实施例中，206处的比较可相对于在显示处理器存储器27中本地存储的简档数据而发生。如果未在本地处理设备上发现简档信息，则在服务90中检查身份和简档信息。在一个实施例中，不提供服务并且在本地存储全部信息。如果在208发现了简档，则用户简档配置设置被用于基于用户简档来配置透视头戴式显示器。如果在208未发现简档，则可在212创建简档并在214存储该简档。存储可包括将简档存储在处理单元20上，或与增强现实服务提供者90一同存储。注意，对用户简档的创建和存储对用户来说是可任选的。即，不要求用户存储用户简档就能使用增强现实服务90。

图3A是示出扫描用户的眼睛以确立用户身份的过程204的流程图。可任选地在步骤302，可以指导用户（通过屏幕显示或其他手段，如音频信号）将他们的眼睛定位在特定的位置，并睁大他们的眼睛以允许透视头戴式显示器的相机获得虹膜的清晰视图。在304，使用透视头戴式显示器相机得到用户眼睛的一个或多个图像。在306，执行虹膜识别处理。在图3A中示出示例性方法。在308，图案确定算法用于确定用户虹膜中的达到系统所要求的准确程度的图案。在一个实施例中，检测基本图案以便允许该系统在小数量的用户之间进行区分。在一个替换实施例中，利用更详细的准确度水平来在较大数量的用户之间进行进一步区分。在310，图案被输出到图案匹配引擎，以允许将该图案与用户简档进行匹配。

图3B是对用户虹膜的描绘。虹膜扫描使用对各个眼睛图像的图案识别技术。在本技术中，下面讨论的透视头戴式显示器实施例的虹膜识别相机系统和照明源创建虹膜图像。这些图像可被转换成虹膜的带图案的表示，以标识用户。可使用可见光或红外线成像技术。

图3C是描绘虹膜识别过程的流程图。在380，进行图像增强处理。此处讨论的透视头戴式显示器中的图像捕捉设备可获得用户眼睛的图像。该图像随后可被处理以增强对比度，减少噪声，并从图像中移除对识别来说不必要的元素。在382处，隔离虹膜区域。一般而言，用于定位虹膜系统的方法利用图像强度的一阶导数来标出对应于虹膜边界的边缘位置。一般而言，多个虹膜识别算法中任一个可用于标识眼睛照片中虹膜与瞳孔的近似同心圆的外边界。一般而言，构成瞳孔的虹膜内边界可通过利用瞳孔边界实质上是圆形边缘的事实来确定。瞳孔一般是深色的，而虹膜则较浅，带有不同的着色。用于检测瞳孔边缘的方法检查寻找沿圆圈求和时亮度上的陡变和突变。在一个实施例中，计算瞳孔内椭圆形的轮廓积分，并计算该椭圆形轴向上的积分导数以增加轴的长度。同一方法可用于检测眼睑边界。

仅覆盖虹膜的像素集随后被变换成保留如下信息的图案：该信息对于在统计学上有意义地比较两个虹膜图像是必要的。为了经由标识（一对多模板匹配）或验证（一对一模板匹配）进行认证，将通过对虹膜成像所创建的模板与数据库中所存储的值模板进行比较。

在384，使用一个或多个算法来计算匹配的图案。图案匹配包括使新获得的虹膜图案与候选数据库条目在空间上对准，选择使其区别图案明显的经对准的虹膜图案的表示，评估候选项与数据库表示之间的匹配的良好性，并决定匹配的成功性。存在许多用于发现并跟踪面部特征（诸如，眼睛）的替换方法。在以下文件中描述了虹膜识别的各种技术：美国专利号为7,336,806、美国专利号为6,641,349、和美国专利号为5,291,560，以及Daugman的“How IrisRecognition Works（虹膜识别如何进行）”，发表在IEEE TRANSACTIONS ONCIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY、2004年1月第1期第14卷上，将其通过引用全部并专门包含于本说明书中。

图6是示出对用户简档280的创建和更新的流程图。应当理解，创建用户简档可允许存储服务提供者希望允许配置的任意数量的参数。图6中示出的每一步骤可被单独地或异步地执行以创建用户简档。即，可执行每个步骤来创建或添加到现有的用户简档。在602，如果用户已经指定了用于增强现实服务中的一个或多个的服务偏好，则可以存储用户服务偏好。例如，如果用户订阅如共同待审申请序列号（MSFT 1425）中所公开的基于事件的信息系统的透视头戴式显示器的信息馈源，则该用户可能希望限制在服务馈源中呈现的信息类型。在602，关于服务的用户偏好被存储在用户的用户简档280中。在604，当用户提供允许该用户登录到多个服务之一的凭证时，该登录凭证可与用户简档280一同存储，并基于对用户身份的判定被自动地检索。在606，在用户简档280中存储用户指定的与由增强现实服务提供者90提供的信息有关的信息过滤器。信息过滤器限制可在透视头戴式显示器中向用户呈现的信息的量和类型并且可在向用户提供信息时由用户定义。例如，当增强现实服务显示特定类型的信息时，用户可指示该服务将来不应显示这种类型的信息。一种类型的信息可包括交通警报或与特定类型的产品有关的广告。一旦用户作出了该种类型的信息不应被显示的指示，过滤器被创建并且简档280可存储该过滤器。

可在608设置设备设置偏好。如上所述，该系统可使用用户身份根据用户已存储的偏好来自动地调整透视头戴式显示器和增强现实服务。一方面，用户简档可用于自动地调整透视头戴式显示器150的显示元件的瞳孔间距。透视头戴式显示器允许对IPD自动调整并可包括垂直和/或高度维度、和/或从显示光学系统到相应眼睛的深度距离。

图5A是示出在210处基于用户简档来设置配置的方法的流程图，其中该配置用于调整透视、近眼、混合现实显示设备以便与一个或多个用户的瞳孔间距（IPD）对准，并此后在214操作该设备。在步骤542，作出关于显示器是否与在用户简档中定义的用户IPD对准的初始判定。在步骤542，控制电路136的一个或多个处理器（例如下文图7A中的处理器210，处理单元6、5，中枢计算系统12，或这些的组合）根据对准准则来自动地确定透视、近眼、混合真实显示设备是否与用户的IPD对准。如果确定透视、近眼、混合现实显示设备与用户IPD对准，则该方法移至步骤546并监视对准中的改变。

如果显示器未对准，则在步骤544，从所标识的用户的用户简档中选择IPD。

显示设备2（图7A、7B）具有用于每只眼睛的显示光学系统，并且在一些实施例中，一个或多个处理器将IPD作为在满足对准准则的位置处各显示光学系统的光轴之间的距离来存储。在一些实施例中，一个或多个处理器将每一光轴的位置存储在用户简档中的IPD数据集中。用户的IPD可以例如相对于用户的鼻子是不对称的。例如，左眼比右眼更靠近鼻子。在一个示例中，每一显示光学系统的显示调整机构的始自初始位置的调整值可被保存在用户简档中的IPD数据集中。显示调整机构的初始位置可以具有相对于不动的镜架部分的固定位置，例如鼻梁104上的点。基于相对于不动的镜架部分的这一固定位置以及用于一个或多个移动方向上的调整值，每一光轴相对于不动的镜架部分的位置可以作为每一显示光学系统的瞳孔对准位置来存储。另外，在不动的镜架部分是鼻梁上的点的情况下，可以基于该固定位置到鼻梁上的该点以及调整值来为每一只眼睛估计该相应瞳孔到用户的鼻子的位置向量。每一眼睛的这两个位置向量至少提供水平距离分量，并且也可包括垂直距离分量。一个或多个方向上的瞳孔间距IPD可以从这些距离分量中导出。

在步骤545，从IPD数据集中检索为至少一个显示调整机构所确定的用于满足至少一个显示光学系统的对准准则的一个或多个调整值。在步骤546，处理单元20使显示调整机构（诸如参考图8A-8C讨论的机构803）自动地调整每只眼睛的显示光学系统814，以在步骤546中与所选择的IPD对准。或者，可以就要对透视头戴式显示器手动地作出的调整方面来对用户做出指导。

在547，从用户简档检索附加的用户偏好，诸如服务偏好、服务的登录信息、和信息过滤器。

在步骤548，根据用户偏好来操作该设备。在548，处理单元20可检测指示与所选IPD的对准不再满足对准准则的变化，这触发处理器在步骤550自动地重新调整显示光学系统中的至少一个以满足该对准准则。对准准则可以是几毫米的距离，例如3mm。被持续完成以跟踪用户的焦点的注视确定方法可以检测该变化。

图5B是示出创建用户简档条目以用于用户设置的方法608的一个实施例的流程图，该方法随后可在操作用于透视、近眼、混合现实显示器的一个或多个用户的设备214时自动地提供可调整IPD的对准。在步骤518，处理单元20基于所捕捉的来自每只眼睛的反射光的数据来自动地确定用户的IPD，并在步骤520将与用户相关联的IPD数据存储到用户简档中。在546，透视头戴式显示器基于所确定的IPD来自动地调整显示器的用于每只眼睛的显示光学系统。在519，相对于用户的IPD和特定的特性确定一个或多个调整值。因为由于人类头骨的限制，IPD数据和调整对成人而言通常是固定的，所以在520IPD数据可以被确定一次并被存储。一旦在546调整了显示器，则该方法完成存储IPD数据集和用户偏好的步骤410，并且图2的方法完成步骤214和216。

共同待审申请序列号1467中公开了用于确定和存储IPD的各种方法。在用户简档存储近IPD和远IPD的替换的实施例中，处理单元20基于注视数据来确定注视点的距离，并基于该注视点的距离来选择近IPD或远IPD作为IPD。

图6A-6C示出用于将透视、近眼、混合现实显示器与IPD对准的方法。

图6A是用于将透视、近眼、混合现实显示器与IPD对准的方法实施例600的流程图。步骤602到606示出用于根据对准准则自动确定透视、近眼、混合现实显示设备是否与用户的IPD对准的步骤542的示例的更多细节。步骤607到608示出步骤548中的用于调整显示设备以使该设备与用户IPD对准的示例的更详细步骤。如针对图3C所讨论的，该调整可由处理器自动地执行或通过电子地提供给用户的指令来供机械调整。

参考图6A和下面图8A-10D所公开的实施例，在步骤602，透视、近眼、混合现实系统的处于处理单元4、移动设备5、或中枢计算系统12中的一个或多个处理器（如控制电路的处理器210）单独地或相组合地标识用户视野中一定距离处以及一定方向上的对象以用于确定IPD。对于远IPD，距离在有效无限远处（例如超过5英尺），方向是相对于每一显示光学系统的光轴的正前方。换言之，距离和方向是这样的：当每一瞳孔与每一光轴对准时，用户正在看向正前方。在步骤603，一个或多个处理器执行处理以将用户的焦点吸引到该对象。在一个示例中，一个或多个处理器电子地提供指令来请求用户查看所标识的真实对象。在一些情况下，可简单地请求用户看向正前方。

在步骤604，相应显示光学系统的注视检测元件的安排中的诸如传感器134r或光电检测器152或这两者等至少一个传感器捕捉每一只眼睛在对该对象的观察时间段期间的数据。在一个示例中，所捕捉的数据可以是IR图像数据以及由IR相机捕捉的从每一只眼睛反射的闪光。在其他示例中，至少一个传感器是像位置敏感检测器等IR传感器。该至少一个传感器也可以是IR光电检测器。在一些示例中，该至少一个传感器可以是可见光相机。

在步骤606，一个或多个处理器基于所捕捉的数据和注视检测元件的安排来根据对准准则确定每一瞳孔是否与它相应的显示光学系统的光轴对准。对准准则可以是距光轴的距离，例如2毫米（mm）。如果是，则显示设备2已经与每一瞳孔对准，并且因此与IPD对准，并且在步骤609，一个或多个处理器将每一光轴的位置存储在IPD数据集中。

如果不满足对准准则，则在步骤607，一个或多个处理器自动确定至少一个显示调整机构的用于满足至少一个显示光学系统的对准准则的一个或多个调整值。“自动确定”意味着一个或多个处理器在无需用户通过机械操纵来标识调整值的情况下确定这些值。在许多实施例中，基于所存储的设备配置数据，跟踪光轴相对于支撑结构的固定点的当前位置。在步骤608，处理器基于一个或多个调整值来造成对至少一个相应显示光学系统的调整。在自动调整中，一个或多个处理器经由一个或多个显示调整机构驱动器245来控制至少一个显示调整机构203，以基于一个或多个调整值来移动至少一个相应的显示光学系统。在机械调整方法中，处理器向用户电子地提供指令，以供经由机械控制器将一个或多个调整值应用到至少一个显示调整机构。该方法实施例的各步骤可以重复预定次数或直至满足对准准则为止。

图6B是基于每一只眼睛的瞳孔的图像格式的图像数据来将透视、近眼、混合现实显示设备与用户的IPD对准的实现示例的方法实施例610的流程图。图像格式具有预定大小和形状，例如可以由图像传感器大小和形状来设置。图像格式的示例是图像帧。该格式将要提供用于跟踪图像数据内的位置的坐标系，例如中心作为原点。在例如IR相机（或在需要时，可见光相机）等图像传感器的检测区域以显示光学系统14的光轴142为中心时，该图像格式的图像数据以光轴142为中心。瞳孔中心距图像中心有多远是用于确定瞳孔是否令人满意地与光轴对准的基础。

在步骤612，标识用户视野中一定距离和一定方向上的真实物体来确定IPD，并且在步骤613，一个或多个处理器执行处理来将用户的焦点吸引到该真实物体。在步骤614，在对该真实物体的观察时间段期间，由与相应显示光学系统的光轴对准的至少一个传感器以图像数据来捕捉每一只眼睛的图像数据。在步骤615，根据图像数据确定相对于相应光轴的相应瞳孔位置。图像数据中的瞳孔区域可以通过对强度值设置阈值来标识。可以应用椭圆拟合算法来对瞳孔的大小和形状进行近似，并且所得椭圆的中心可被选作瞳孔的中心。理想地，瞳孔的中心与显示光学系统的光轴对准。在步骤616，一个或多个处理器基于图像格式（例如，图像帧）的瞳孔位置来根据对准准则确定每一瞳孔是否与相应光轴对准。在其中检测区域139以光轴142为中心的情况下，一个或多个处理器根据对准准则来确定瞳孔位置是否是图像格式的中心（例如，图像帧的中心）。可以在水平和垂直方向上确定每一只眼睛相对于光轴的瞳孔位置。

如果满足对准准则，则在步骤609，一个或多个处理器将每一光轴的位置存储在IPD数据集中。如果否，在步骤617，一个或多个处理器基于不满足对准准则的每一显示光学系统的至少一个传感器的映射准则来确定相应显示调整机构的至少一个调整值。在步骤618，一个或多个处理器控制相应显示调整机构基于至少一个调整值来移动相应显示光学系统。该方法实施例的各步骤可以重复预定次数或直至满足对准准则为止。

图6C是可被用于实现确定至少一个调整值的步骤617的方法实施例的流程图。在步骤642，基于至少一个传感器的映射准则，一个或多个处理器确定水平瞳孔位置差向量。像素到距离映射准则可被用于对其提供调整的每一方向上。取决于图像传感器的检测区域的形状，对于垂直和水平而言，映射准则可以是不同的。在步骤644，基于至少一个传感器的映射准则，也确定垂直瞳孔位置差向量。在步骤646，一个或多个处理器将水平瞳孔位置差向量与水平调整值进行相关，并且在步骤648，将垂直瞳孔位置差向量与垂直调整值进行相关。

因为水平IPD可能具有25-30mm之间的范围，所以显示调整机构可具有在任何方向上移动显示光学系统的距离范围限制。深度调整可帮助将水平或垂直方向上的范围外调整值带到范围内。可以执行可任选步骤651和653。在可任选步骤651，一个或多个处理器确定水平或垂直调整值中的任一个是否处于范围外。如果否，则显示光学系统的对准可以通过在二维平面上的移动来实现，并且可以执行步骤618。如果至少一个调整值在范围外，则在可任选步骤653，一个或多个处理器确定用于将范围外的任何水平或垂直调整值带到距范围限制更近或带到范围限制内的深度调整值，并且可以执行步骤618来调整显示光学系统。

作为说明性示例，如果光轴距右侧12mm并且显示调整机构只可将显示光学系统向左移动6mm，则通过增加显示光学系统和瞳孔之间的深度，在看向正前方时从瞳孔到光轴的位置之间的角度减小，因此深度增加结合向左侧的6mm调整使得光轴根据对准准则更接近于与瞳孔对准。深度变化对垂直维度的影响也可被考虑，使得垂直调整也是必要的或修改深度调整值

当闪光彼此之间有几何关系并且传感器具有分立传感器（如像素）的表面时，图6B和6C的实施例也可被应用于来自每一只眼睛的闪光数据。例如，由照明器生成的一只眼睛的闪光通过照明器的位置形成与该眼睛的相应显示光学系统的光轴对准的框或其他几何形状。如果传感器是用于检测闪光的位置敏感检测器（PSD），则传感器上的位置和检测到的从固定照明器生成的闪光的强度值被用来映射瞳孔的位置。来自IR相机（或甚至可见光相机）的图像数据提供用于瞳孔位置确定的更大准确度，但闪光数据方法处理更少数据并且因此在计算上较不密集。

其他实施例可采用基于注视数据来将透视、近眼、混合现实显示器与IPD对准的实现。在这些实施例中，一个或多个处理器基于相应显示光学系统的注视检测元件的安排来确定每一只眼睛对真实物体的穿过该显示光学系统的光轴的基准注视向量。注视确定方法的实施例在申请序列号1467中讨论。

当闪光数据用于确定注视时，可使用前面提到的方法。在一个实施例中，闪光反射可基于为闪光所检测的若干强度值的数据点来估计注视，而不是处理大很多的眼睛图像数据集。近眼显示设备的眼镜架115或其他支撑结构上的照明器153的位置可以是固定的，使得由一个或多个传感器所检测的闪光位置在传感器检测区域中是固定的。

图7A是描绘一系统环境中的具有可调整IPD的透视、混合现实显示设备的一个实施例的示例组件的框图，其中该设备可以在该系统环境中操作。系统10包括作为通过线6与处理单元4进行通信的近眼、头戴式显示设备2的透视显示设备。在其他实施例中，头戴式显示设备150通过无线通信来与处理单元4进行通信。头戴式显示设备150（在一个实施例中它是带框115眼镜的形状）被佩戴在用户的头上，使得用户可以透视显示器（在该示例中该显示器被体现为每一只眼睛的显示光学系统14），并且从而具有该用户前方的空间的实际直接视图。

使用术语“实际直接视图”来指直接用人眼看到真实世界物体的能力，而非看到所创建的物体的图像表示。例如，在房间中透过眼镜进行查看将允许用户具有该房间的实际直接视图，而在电视上查看房间的视频不是房间的实际直接视图。基于执行软件（例如，游戏应用）的上下文，该系统可以将虚拟对象的图像（有时称为虚拟图像）投影在可由佩戴该透视显示设备的人观看的显示器上，同时该人还透过该显示器观看真实世界物体。

镜架115提供用于将该系统的各元件保持在原位的支承体以及用于电连接的管道。在该实施例中，镜架115提供了便利的眼镜架作为下面进一步讨论的系统的各元件的支承体。在其他实施例中，可以使用其他支承结构。这样的结构的示例是帽舌或护目镜。镜架115包括用于搁在用户的每一只耳朵上的镜腿或侧臂。镜腿102表示右镜腿的实施例，并且包括显示设备150的控制电路136。镜架的鼻梁104包括用于记录声音并向处理单元4传送音频数据的话筒110。

在一个实施例中，处理单元4被佩戴在用户的手腕上，并且包括用于操作透视头戴式显示器150的计算能力中的许多计算能力。处理单元4可以与一个或多个中枢计算系统12无线地（例如，WiFi、蓝牙、红外、或其他无线通信手段）通信。

中枢计算系统10可以是计算机、游戏系统或控制台等等。根据一示例性实施例，中枢计算系统10可以包括硬件组件和/或软件组件，使得中枢计算系统10可以用于执行诸如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统10可以包括诸如标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理器可读存储设备上的指令以用于执行在此所述的过程。

中枢计算系统10还包括一个或多个捕捉设备，如捕捉设备21A和21B。在其他实施例中，可使用多于或少于两个捕捉设备来捕捉房间或用户的其他物理环境。

捕捉设备21A和21B可以是例如相机，该相机在视觉上监视一个或多个用户和周围空间从而可以捕捉、分析并跟踪该一个或多个用户所执行的姿势和/或移动以及周围空间的结构，以在应用中执行一个或多个控制或动作和/或使化身或屏上角色动画化。应用可以在中枢计算系统10、显示设备150上执行、如下所述地在移动设备5上执行、或在这些设备的组合上执行。

中枢计算环境10可以连接到诸如电视机、监视器、高清电视机（HDTV）等可提供游戏或应用视觉的视听设备11。例如，中枢计算系统10可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备11可从中枢计算系统10接收视听信号，并且然后可以输出与视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备11可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆、RCA电缆等连接至中枢计算系统10。在一个示例中，视听设备11包括内置扬声器。在其他实施例中，视听设备11、单独的立体声系统或中枢计算设备10连接到外部扬声器22。

图7B是描绘具有可调整IPD的透视、混合现实显示设备的另一实施例的示例组件的框图。在该实施例中，透视头戴式显示器150与作为处理单元4的示例实施例的移动计算设备5进行通信。在所示示例中，移动设备5经由线6进行通信，但在其他示例中通信也可以是无线的。

此外，如在中枢计算系统10中一样，游戏和非游戏应用可以在移动设备5的处理器上执行，其中用户动作控制或用户动作动画化被显示在设备5的显示器7上的化身。移动设备5还提供用于通过因特网或经由另一通信网络通过有线或无线通信介质来与像中枢计算系统10等的其他计算设备进行通信的网络接口。例如，用户可与其他移动设备用户以及在像中枢计算系统10等更强大系统上玩的那些用户一同参与在线游戏会话。移动设备5的硬件和软件组件（诸如包含在智能电话或平板计算设备中）的示例在图20中描述。移动设备5的一些其他示例是膝上型计算机或笔记本计算机以及上网本计算机。

图8A示出被实现为具有包括注视检测元件的活动显示光学系统的眼镜的透视、近眼、混合现实显示器的示例性安排。表现为每个眼睛的透镜的是每个眼睛的显示光学系统14，例如14r和14l。显示光学系统包括透视透镜，例如图7A、7B、9A-9B和10A、10B中的116和118，如一副普通眼镜一样，但还包含用于将虚拟内容与透过透镜116、116看到的实际直接真实世界视图无缝地融合的光学元件（例如，反射镜、滤光器）。显示光学系统14具有一般处于透视透镜116、118的中心的光轴，其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使一副普通眼镜适合用户的脸部时，目标是该眼镜在每一瞳孔与相应透镜的光轴或中心相对准的位置处落在用户的鼻子上，从而通常使得校准光到达用户的眼睛以得到清晰或无失真的视图。

在图8A的示例中，至少一个传感器的检测区域139r、139l与其相应显示光学系统14r、14l的光轴相对准，使得检测区域139r、139l的中心捕捉沿着光轴的光。如果显示光学系统14与用户的瞳孔对准，则相应传感器134的每一检测区域139与用户的瞳孔相对准。经由一个或多个光学元件将检测区域139的反射光传送到相机的实际图像传感器134。

在一个示例中，通常被称为RGB相机的可见光相机可以是传感器，并且光学元件或光定向元件的示例是部分透射且部分反射的可见光反射镜。在一些示例中，相机可以是小型的，例如2毫米（mm）乘2mm。在其他示例中，至少一个传感器134是IR辐射可被定向到的IR相机或位置敏感检测器（PSD）。例如，热反射表面可以透射可见光但反射IR辐射。在一些示例中，传感器134可以是RGB和IR相机的组合，并且光定向元件可包括可见光反射或转向元件和IR辐射反射或转向元件。

在图8A的示例中，有四组照明器153，照明器153与光电检测器152配对并由屏障154分开以避免照明器153所生成的入射光与在光电检测器152处接收到的反射光之间的干扰。为了在附图中避免不必要的混乱，相对于代表性的一对示出了附图标记。每一照明器可以是生成预定波长的窄光束的红外（IR）照明器。光电检测器中的每一个可被选择来捕捉预定波长的光。红外还可包括近红外。

如下所述，在作为确定注视向量的一部分来计算角膜中心的一些实施例中，两个闪光（并且因此两个照明器）将是足够的。然而，在确定瞳孔位置并且因此确定注视向量时，其他实施例可以使用附加闪光。因为闪光和眼睛数据是重复地捕捉的，例如以每秒30帧或更大的帧率，所以一个闪光的数据可被眼睑或甚至被睫毛遮挡，但数据可由另一照明器所生成的闪光来收集。

在图8A中，每一显示光学系统14以及它面向每一眼睛的注视检测元件的安排（如相机134及其检测区域139）、光学对准元件（在该附图中未示出；参见以下图6A-6D）、照明器153、以及光电检测器152位于活动的内部镜架部分171l、171r上。在该示例中，显示调整机构包括具有附连到一物体的传动轴205的一个或多个马达203，该传动轴205用于在三个维度中的至少一个维度上推拉该物体。在该示例中，该物体是在镜架115内在由马达203驱动的传动轴205的引导和力量下从左向右滑动或反向滑动的内部镜架部分117。在其他实施例中，一个马达203可以驱动两个内部镜架。如参考图9A和9B所讨论的，显示设备150的控制电路136的处理器能够经由镜架115内的电连接来连接到一个或多个马达203，以由马达203控制传动轴205在不同方向上的调整。此外，马达203也经由镜架115的电连接来接入电源。

图8B示出被实现为具有包括注视检测元件的活动显示光学系统的眼镜的透视、近眼、混合现实显示器的另一个示例性安排。在该实施例中，每一显示光学系统14被封闭在独立的镜架部分115l和115r中，例如独立的眼镜架部分，它可由马达203单独地移动。在一些实施例中，在任何维度上的移动范围小于10毫米。在一些实施例中，取决于针对产品提供的镜架大小的范围，移动范围小于6毫米。对于水平方向，将每一镜架向左或右移动几毫米将不会显著影响眼镜腿（例如102）之间的宽度，其中眼镜腿将显示光学系统14附连到用户的头部。

图8C示出被实现为具有包括注视检测元件的活动显示光学系统的眼镜的透视头戴式显示器的另一个示例性安排。在该示例中，传感器134r、134l本身在其相应显示光学系统14r、14l的中心处与光轴成一直线或对准，但在镜架115上位于系统14下方。另外，在一些实施例中，相机134可以是深度相机或包括深度相机。在该示例中，有两组照明器153和光电检测器152。

瞳孔间距可以描述用户的瞳孔之间在水平方向上的距离，但也可以确定垂直差异。另外，在眼睛和显示设备150之间在深度方向上移动显示光学系统也可帮助将光轴与用户的瞳孔对准。用户的眼球在头骨中实际上可能具有不同的深度。显示设备在深度方向上相对于头部移动也可引入显示光学系统14的光轴与其相应瞳孔之间的不对准。

在该示例中，马达形成用于在三个维度上移动每一显示光学系统14的XYZ机构的示例。在该示例中，马达203位于外部镜架115上，并且它们的传动轴205被附连到相应内部镜架部分117的顶部和底部。马达203的操作由控制电路136处理器210来针对它们的传动轴移动进行同步。另外，因为这是混合现实设备，用于生成虚拟物体的图像或虚拟图像以供在相应显示光学系统14中显示的每个微显示器部件173由马达和传动轴来移动，以维持与显示光学系统的光学对准。微显示器部件173的示例在下文进一步描述。在该示例中，马达203是三轴马达或可以在三个维度上移动它们的传动轴。例如，可以在一个方向轴上沿十字准线导杆的中心对传动轴进行推拉，并且该传动轴在该十字准线导杆的垂直开口内在同一平面中的两个垂直方向中的每一个方向上移动。

图9A是透视混合现实显示设备的实施例中的镜架115的提供对硬件和软件组件的支持的眼镜腿102的侧视图。在镜架115的前方是可捕捉视频和静止图像的面向物理环境的视频相机113。具体而言，在其中显示设备150没有结合像中枢系统12的捕捉设备21a和21b等深度相机操作的实施例中，面向物理环境的相机113是深度相机以及对可见光敏感的相机。例如，该深度相机可包括IR照明器发射器和像处于可见图像传感器前方的热镜等热反射表面，该热反射表面使得可见光透过并将处于照明器所发射的波长范围内的所反射的IR辐射定向到CCD或其他类型的深度传感器。来自传感器的数据可被发送到控制电路136的处理器210，或处理单元6、5，或者这两者，它们可以处理该数据但单元6、5也可发送到网络上的计算机系统或中枢计算系统12以供处理。该处理通过图像分割和边缘检测技术来标识对象，并将深度映射到用户的真实世界视野中的物体。另外，面向物理环境的相机113还可包括用于测量环境光的曝光计。

控制电路136提供支持头戴式显示设备150的其他组件的各种电子装置。控制电路136的更多细节在下文参照图7提供。处于镜腿102内部或安装在镜腿102处的有耳机130、惯性传感器132、GPS收发机、以及温度传感器138。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B、以及三轴加速度计132C（参见图7）。惯性传感器用于感测头戴式显示设备150的位置、定向、以及突然加速。从这些移动中，也可以确定头部位置。

显示设备150提供可生成一个或多个虚拟物体的图像的一种类型的显示元件。在一些实施例中，微显示器可被用作显示元件。在该示例中，微显示器部件173包括光处理元件和可变焦点调整器135。光处理元件的示例是微显示器单元120。其他示例包括诸如透镜系统122的一个或多个透镜之类的一个或多个光学元件、以及诸如图10A到10D中的面124、124a和124b之类的一个或多个反射元件。透镜系统122可包括单个透镜或多个透镜。

微显示器单元120安装在镜腿102上或处于镜腿102内部，它包括图像源并生成虚拟对象的图像。微显示器单元120在光学上与透镜系统122和反射面124或以下附图中示出的反射面124a和124b对准。光学对准可以沿着光轴133或包括一个或多个光轴的光路133。微显示器单元120透过透镜系统122来对虚拟物体的图像进行投影，这可将图像光定向到反射元件124上，反射元件124将该光定向到图6C和6D中的光导光学元件112中或定向到部分反射元件124b或反射面124a（例如，镜面或其他表面）上，反射面124a将虚拟图像的光定向到部分反射元件124b，部分反射元件124b将沿着路径133的虚拟图像视图与沿着图6A-6D中的光轴142的自然或实际直接视图进行组合。各视图的组合被定向到用户的眼睛。

可变焦调整器135改变微显示器部件的光路中的一个或多个光处理元件之间的位移或微显示器部件中的元件的光功率（optical power）。透镜的光功率被定义成其焦距的倒数，例如1/焦距，因而一个中的改变影响另一个。该改变造成视野的区域的改变，例如特定距离处的区域，该区域对于由微显示器部件173生成的图像而言是焦点对准的。

在微显示器部件173作出位移改变的一个示例中，在电枢137内对位移改变进行引导，电枢137支承诸如该示例中的透镜系统122和微显示器120之类的至少一个光处理元件。电枢137帮助在各元件的物理移动期间稳定沿光路133的对准，以达到所选位移或光功率。在一些示例中，调整器135可以移动一个或多个光学元件，如电枢137内的透镜系统122中的透镜。在其他示例中，电枢可在光处理元件周围的区域中具有槽或空间，使得它在不移动光处理元件的情况下在该元件（例如微显示器120）上滑动。电枢中的另一元件（如透镜系统122）被附连，使得系统122或其内的透镜与移动的电枢137一起滑动或移动。位移范围通常是几毫米（mm）的量级。在一个示例中，这一范围是1-2mm。在其他示例中，电枢137可以向透镜系统122提供对涉及除位移之外的其他物理参数的调整的焦点调整技术的支持。

在一个示例中，调整器135可以是诸如压电马达之类的执行器。也可使用用于执行器的其他技术，并且这样的技术的一些示例是由线圈和永久磁铁、磁致伸缩元件、以及电致伸缩元件形成的音圈。

存在着可用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理（DLP）、硅上液晶（LCOS）、以及来自Qualcomm有限公司的

显示技术都是高效的反射技术的示例，因为大多数能量从已调制结构反射并且可用于本文描述的系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoPTM引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束（例如，激光）发射到眼睛。

如上所述，微显示器部件173的光处理元件的配置创建焦距或虚拟对象出现在图像中的聚焦区。改变该配置会改变虚拟物体图像的聚焦区。由光处理元件确定的聚焦区可以基于等式1/S1+1/S2=1/f来确定和改变。

符号f表示透镜的焦距，如微显示器部件173中的透镜系统122。透镜系统122具有前节点和后节点。如果光线以相对于光轴的给定角度被向前引导到两个节点任一，则光线将以相对于光轴的相等角度从另一节点出射。在一个示例中，透镜系统122的后节点将处于它自己与微显示器120之间。从后节点到微显示器120的距离可被表示成S2。前节点通常处于透镜系统122的几毫米内。目标位置是要由微显示器120在三维物理空间中生成的虚拟对象图像的位置。从前节点到虚拟图像的目标位置的距离可被表示成S1。因为图像是与微显示器120出现在透镜的相同侧的虚拟图像，所以符号规约示出S1具有负值。

如果透镜的焦距是固定的，则改变S1和S2来将虚拟对象聚焦在不同的深度处。例如，初始位置可使S1设置成无限远处，并且使S2等于透镜系统122的焦距。假定透镜系统122具有10mm的焦距，考虑虚拟对象要被置于用户视野中大约1英尺（即，300mm）的示例。S1现在大约是-300mm，f是10mm并且S2当前被设置在焦距的初始位置10mm，从而意味着透镜系统122的后节点与微显示器122相距10mm。基于1/(-300)+1/S2=1/10（所有项的单位均为毫米）来确定透镜122与微显示器120之间的新距离或新位移。其结果是S2大约为9.67mm。

在一个示例中，处理单元4可以在让焦距f固定的情况下计算S1和S2的位移值，并且致使控制电路136使可变调整器驱动器237（参见图6）发送驱动信号以让可变虚焦点调整器135例如沿着光路133移动透镜系统122。在其他实施例中，作为移动透镜系统122的替换或补充，可以移动微显示器单元120。在其他实施例中，作为沿光路133的位移改变的替换或补充，也可以改变透镜系统122中的至少一个透镜的焦距。

图9B是混合现实显示设备的另一实施例中的提供对硬件和软件组件的支持和微显示器部件的三维调整的眼镜腿的侧视图。以上在图5A中示出的附图标记中的一些被移除以避免附图中的混乱。在显示光学系统14在三个维度中的任一个维度上移动的实施例中，由反射面124表示的光学元件和微显示器部件173的其他元件（例如，120、122）也可以移动以维持虚拟图像的光到该显示光学系统的光路133。在该示例中，由马达框203和传动轴205所表示的在控制电路136的处理器210的控制之下的一个或多个马达构成的XYZ机构控制微显示器部件173的各元件的移动。可以使用的马达的示例是压电马达。在所示示例中，一个马达被附连到电枢137并且也移动可变焦点调整器135，并且另一代表性马达203控制反射元件124的移动。

图10A是透视、近眼、混合现实设备2的包括注视检测元件的安排的活动显示光学系统14的实施例的俯视图。透视头戴式显示器150的镜架115的一部分将包围显示光学系统14并且为微显示器部件173的实施例的各元件提供支持，如图所示包括微显示器120以及其附随元件。为了示出显示系统14（在该情况下是右眼系统14r）的各个组件，在显示光学系统周围的镜架115的顶部部分未被描绘。另外，鼻梁104中的话筒110在该视图中未示出，以便将注意力集中于显示调整机构203的操作。如在图6C的示例中，在该实施例中，通过移动内部镜架117r来移动显示光学系统14，内部镜架117r在该示例中也包围微显示器部件173。在该实施例中，显示调整机构被实现为三轴马达203，这些马达将它们的传动轴205附连到内部镜架117r以在三个维度中的任一个维度上将显示光学系统14进行平移（如指示移动的三（3）个轴的符号144所示），在该实施例中显示光学系统14包括微显示器部件173。

在该实施例中，显示光学系统14具有光轴142并包括允许用户对真实世界的实际直接查看的透视透镜118。在该示例中，透视透镜118是眼镜中使用的标准透镜，并且可根据任何处方（包括不根据处方）来制作。在另一实施例中，用可变处方透镜来替换透视透镜118。在一些实施例中，透视头戴式显示器150将包括附加透镜。

显示光学系统14还包括代表性的部分反射面124b。在该实施例中，来自微显示器120的光沿光路133经由被嵌入在透镜118中的部分反射元件124b被定向，部分反射元件124b将沿光路133行进的虚拟图像视图与沿光轴142的自然或实际直接视图进行组合，使得经组合的视图在光轴的具有用于最清晰视图的最多准直光的位置处被定向到用户的眼睛。

光传感器的检测区域139r也是显示光学系统14r的一部分。光学元件125通过捕捉来自用户的眼睛的沿光轴142接收到的反射光来实现检测区域139r，并将捕捉到的光定向到传感器134r，在该示例中传感器134r位于内部镜架117r内的透镜118中。在一个示例中，传感器134r是可见光相机或RGB/IR相机的组合，并且光学元件125包括对反射自用户的眼睛的可见光进行反射的光学元件，例如部分反射镜面。在其他实施例中，传感器134r是诸如IR相机等IR敏感设备，并且元件125包括令可见光穿过它并将IR辐射反射到传感器134r的热反射表面。IR传感器的另一个示例是位置敏感设备（PSD）。

在图10A-10D中描绘的反射元件125、124、124a、以及124b是它们的功能的表示。这些表面可以采取任何数量的形式，并且可以用一个或多个光学组件按用于将光定向到到其预期目的地（如相机传感器或用户的眼睛）的一个或多个安排来实现。如图所示，这一安排允许传感器的检测区域139使其中心与显示光学系统14的中心对准。图像传感器134r捕捉检测区域139，使得在该图像传感器处捕捉到的图像以光轴为中心，因为检测区域139的中心是光轴。

在用户看向正前方并且在检测区域139或图像传感器134r实际上以显示器的光轴为中心时用户的瞳孔的中心是所捕捉的用户的眼睛的图像的中心的情况下，显示光学系统14r与瞳孔对准。在两个显示光学系统14都与它们相应的瞳孔对准时，光学中心之间的距离与用户的瞳孔间距相匹配或对准。在图6A的示例中，瞳孔间距可以在三个维度上与显示光学系统14对准。

在一个实施例中，如果传感器134捕捉到的数据指示瞳孔未与光轴对准，则处理单元20或控制电路136或这两者中的一个或多个处理器使用将距离或长度测量单元与图像的像素或其他分立单元或图像区域进行相关的映射准则来确定瞳孔的图像距光轴142有多远。基于所确定的距离，一个或多个处理器确定要将显示光学系统14r调整多少距离以及在哪一方向上移动来使光轴142与瞳孔对准。控制信号由一个或多个显示调整机构驱动器245应用到组成一个或多个显示调整机构203的各组件之一，例如马达203。在该示例中在马达的情况下，马达移动它们的传动轴205来在由控制信号指示的至少一个方向上移动内部镜架117r。镜架115的可变形部分处于内部镜架117r的镜腿一侧，它们的一端附连到内部镜架117r并且当显示光学系统14在三个方向中的任一方向上移动以相对于相应瞳孔来改变宽度、高度或深度时它们在镜腿架115内部的槽217a和217b内滑动以将内部镜架117锚定到镜架115。

除传感器之外，显示光学系统14包括其他注视检测元件。在这一实施例中，至少两个（2）（但可以更多）红外（IR）照明设备153在透镜118的侧面附连到镜架117r，它们将处于特定波长范围内的窄红外光束定向到用户的眼睛以各自在用户角膜的表面上生成相应闪光。在其他实施例中，照明器和任何光电二极管可以处于透镜上，例如在角上或在边上。在这一实施例中，除至少2个红外（IR）照明设备153之外，还有IR光电检测器152。每一光电检测器152对它对应的IR照明器153的通过透镜118的特定波长范围内的IR辐射敏感，并且被定位来检测相应闪光。如在图6A-4C中所示，照明器和光电检测器由屏障154分开，使得来自照明器153的入射IR光不干扰在光电检测器152处接收到的反射IR光。在其中传感器是IR传感器的情况下，可能不需要光电检测器152或可以是附加捕捉源。使用可见光相机，光电检测器152捕捉来自闪光的光，并且生成闪光强度值。

在一些实施例中，传感器134r可以是IR相机，该IR相机不仅可以捕捉闪光，还可以捕捉用户的眼睛（包括瞳孔）的红外或近红外图像。在其他实施例中，传感器设备134r是位置敏感设备（PSD），有时被称为光学位置传感器。检测到的光在传感器的表面上的位置被标识。可以选择对闪光的IR照明器的波长范围敏感的PSD。当在该设备的传感器或光敏部件上检测到处于位置敏感设备的波长范围内的光时，生成标识检测器的表面上的位置的电子信号。在一些实施例中，PSD的表面被分成可从中确定光的位置的各分立传感器（像像素一样）。在其他示例中，可以使用PSD各向同性传感器，其中表面上的局部阻抗的变化可被用来标识光点在PSD上的位置。也可使用PSD的其他实施例。通过以预定顺序来操作照明器153，可以标识在PSD上的闪光反射位置并且因此将该闪光反射位置与角膜表面上的位置进行相关。

在图10A-10D中，例如检测区域139和照明器153和光电检测器152等注视检测元件的位置相对于显示光学系统14的光轴是固定的。这些元件与显示光学系统14在内部镜架上一起移动，并且因此与显示光学系统14的光轴一起移动，但它们与光轴142的空间关系不变。

图10B是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的另一实施例的俯视图。在这一实施例中，光传感器134r可被实现成可见光相机（有时称为RGB相机），或它可被实现成IR相机或能够处理可见光和IR范围内的光的相机，如深度相机。在这一示例中，图像传感器134r是检测区域139r。相机的图像传感器134r垂直地位于显示光学系统的光轴142上。在一些示例中，相机可以在镜架115上位于透视透镜118上方或下方，或嵌入在透镜118中。在一些实施例中，照明器153向相机提供光，而在其他实施例中，相机使用环境光来捕捉图像。捕捉到的图像数据可被用来确定瞳孔与光轴的对准。基于注视检测元件的几何形状，可以使用基于图像数据、闪光数据或这两者的注视确定技术。

在这一示例中，鼻梁104中的马达203相对于用户的眼睛在水平方向上移动显示光学系统14r，如方向符号144所示。在系统14被移动时，可变形的镜架部件215a和215b在槽217a和217b内滑动。在这一示例中，微显示器部件173实施例的反射元件124a是固定的。因为IPD通常只确定一次并被存储，所以可能做出的对微显示器120与反射元件124a之间的焦距的任何调整可由微显示器部件来实现，例如经由在电枢137内对微显示器元件的调整。

图10C是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第三实施例的俯视图。显示光学系统14具有注视检测元件的类似安排，包括IR照明器153和光电检测器152、以及位于镜架115上或位于透镜118上处于光轴142上方或下方的光传感器134r。在该示例中，显示光学系统14包括作为用于将虚拟图像定向到用户的眼睛的反射元件并且被置于附加的透视透镜116和透视透镜118之间的光导光学元件112。反射元件124处于光导光学元件内并且与元件112一起移动，在该示例中在镜腿102上，微显示器部件173的实施例被附连到显示光学系统14的显示调整机构203，该显示调整机构203被实现为一组具有传动轴205的三轴马达203，包括用于移动微显示器部件的至少一个马达。鼻梁104上的一个或多个马达203表示提供三轴移动144的显示调整机构203的其他组件。在另一实施例中，马达可用于只经由它们的附连传动轴205来在水平方向上移动该设备。微显示器部件173的马达203还将垂直地移动它以维持从微显示器120出射的光与反射元件124之间的对准。控制电路的处理器210（参见图7）对它们的移动进行协调。

光导光学元件112将来自微显示器120的光传送到佩戴头戴式显示设备150的用户的眼睛。光导光学元件112还允许来自头戴式显示设备150的前方的光透过光导光学元件112传送到用户的眼睛，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备150的前方的空间的实际直接视图。因此，光导光学元件112的壁是透视的。光导光学元件112包括第一反射面124（例如，镜面或其他表面）。来自微显示器120的光穿过透镜122并入射在反射面124上。反射面124反射来自微显示器120的入射光，使得光通过内反射而被捕获在包括光导光学元件112的平面衬底内。

在衬底的表面上进行若干反射之后，所捕获的光波到达选择性反射面126的阵列。注意，五个表面中只有一个表面被标记为126以防止附图太过拥挤。反射面126将从衬底出射并入射在这些反射面上的光波耦合到用户的眼睛。由于不同光线将以不同角度传播并弹离衬底的内部，因此这些不同的光线将以不同角度击中各个反射面126。因此，不同光线将被所述反射面中的不同反射面从衬底中反射出。关于哪些光线将被哪个表面126从衬底反射出的选择是通过选择表面126的合适角度来设计的。光导光学元件的更多细节可以在于2008年11月20日公布的美国专利申请公开号2008/0285140、序列号12/214,366“Substrate-Guided Optical Devices（衬底导向的光学设备）”中找到，其整体通过引用结合于此。在一个实施例中，每只眼睛将具有其自己的光导光学元件112。当头戴式显示设备具有两个光导光学元件时，每只眼睛都可以具有其自己的微显示器120，该微显示器120可以在两只眼睛中显示相同图像或者在两只眼睛中显示不同图像。在另一实施例中，可以存在将光反射到两只眼睛的一个光导光学元件。

图10D是透视、近眼、混合现实设备的包括注视检测元件的安排的活动显示光学系统的第四实施例的俯视图。该实施例类似于图6C的实施例，包括光导光学元件112。然而，光检测器仅有IR光电检测器152，因此这一实施例仅依赖于闪光检测来用作注视检测，如在以下示例中讨论的。

在以上实施例中，所示出的具体数量的透镜只是示例。可以使用其他数目和配置的根据相同原理操作的透镜。另外，在以上示例中，只示出了透视、近眼显示器2的右侧。作为示例，全近眼、混合现实显示设备将包括另一组透镜116和/或118、用于图6C和6D的实施例的另一光导光学元件112、另一微显示器120、另一透镜系统122、可能包括另一面向房间的相机113、用于图6A到6D的实施例的另一眼睛跟踪相机134、耳机130、以及温度传感器138。

图11是可与一个或多个实施例一同使用的透视、近眼显示单元2的硬件和软件组件的一个实施例的框图。图12是描述处理单元20的各组件的框图。在这一实施例中，透视头戴式显示器150接收来自处理单元20的关于虚拟图像的指令并向处理单元20提供传感器信息。可被实现在处理单元20中的软件和硬件组件将从显示设备150接收传感器信息并且还可从中枢计算设备12接收传感器信息。基于这一信息，处理单元20将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给显示设备150的控制电路136。

注意，图11的各组件中的一些（例如，面向物理环境的相机113、眼睛相机134、可变虚拟焦距调整器135、光电检测器接口139、微显示器120、照明设备153或照明器、耳机130、温度传感器138、显示调整机构203）以阴影示出，以指示这些设备中的每一个有两个——头戴式显示设备150的左侧一个以及右侧一个。图6示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器214（例如D-RAM）进行通信的存储器控制器212、相机接口216、相机缓冲区218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路220的所有组件经由一个或多个总线的专用线路彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。

相机接口216提供到两个面向物理环境的相机113和每一眼睛相机134的接口，并且将从相机113、134接收到的相应图像存储在相机缓冲区218中。显示驱动器220将驱动微显示器120。显示格式化器222可以向执行该扩充的真实系统的处理的一个或多个计算机系统（例如20、12、210）的一个或多个处理器提供与被显示在微显示器120上的虚拟图像有关的信息。定时生成器226被用于向该系统提供定时数据。显示输出228是用于将来自面向物理环境的相机113和眼睛相机134的图像提供给处理单元4的缓冲区。显示输入230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲区。显示输出228和显示输入230与作为到处理单元4的接口的带接口232进行通信。

电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、可变调整器驱动器237、光电检测器接口239、音频DAC以及放大器238、话筒预放大器和音频ADC 240、温度传感器接口242、显示调整机构驱动器245、以及时钟生成器244。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备150的其他组件。照明驱动器236如上面所述的那样为照明设备153提供IR光源。音频DAC和放大器238从耳机130接收音频信息。话筒预放大器和音频ADC 240提供话筒110的接口。温度传感器接口242是用于温度传感器138的接口。一个或多个显示调整驱动器245向组成每个显示调整机构203的一个或多个马达或其他设备提供控制信号，这些控制信号指示三个方向中的至少一个方向上的移动调整量。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。

可变调整器驱动器237向调整器135提供例如驱动电流或驱动电压之类的控制信号以移动微显示器部件173的一个或多个元件来达到针对由在处理单元4或中枢计算机12或二者中执行的软件所计算出的聚焦区的位移。在扫过一定范围的位移并且因此扫过一定范围的聚焦区域的实施例中，可变调整器驱动器237从定时生成器226、或者可替代地从时钟生成器244接收定时信号，以便以所编程的速率或频率来操作。

光电检测器接口239接收执行来自每一光电检测器的电压或电流读数所需的任何模数转换，经由存储器控制器212以处理器可读的格式来将该读数存储在存储器中，并且监视光电检测器152的操作参数，如温度和波长准确度。

图12是与透视、近眼显示单元相关联的处理单元4的硬件和软件组件的一个实施例的框图。移动设备5可包括硬件和软件组件的这一实施例以及执行类似功能的类似组件。图8示出与电源管理电路306通信的控制电路304。控制电路304包括：中央处理单元（CPU）320；图形处理单元（GPU）322；高速缓存324；RAM 326；与存储器330（例如D-RAM）进行通信的存储器控制器328；与闪存334（或其他类型的非易失性存储）进行通信的闪存控制器332；通过带接口302和带接口232与透视头戴式显示设备150进行通信的显示输出缓冲区336；经由带接口302和带接口232与透视头戴式显示设备150进行通信的显示输入缓冲区338；与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340，用于连接到无线通信设备346的PCI express接口；以及USB端口348。

在一个实施例中，无线通信组件346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可以用于将处理单元4对接到中枢计算设备12，以便将数据或软件加载到处理单元20上以及对处理单元4进行充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。

电源管理电路306包括时钟生成器360，模数转换器362，电池充电器364，电压调节器366，透视、近眼显示器电源376，以及与温度传感器374进行通信的温度传感器接口372（位于处理单元4的腕带上）。交流电到直流电转换器362被连接到充电插座370来接收AC电源并为该系统产生DC电源。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插座370接收到电能后对电池368进行充电（经由电压调节器366）。设备电源接口376向显示设备150提供电能。

以上附图提供显示光学系统的各元件的几何结构的示例，它们提供在以下附图中讨论的确定IPD的不同方法的基础。这些方法实施例可引用以上系统的各元件和结构作为说明性上下文；然而，这些方法实施例可以在与上述系统和结构不同的系统或结构实施例中操作。

图16是可以在本发明技术的各实施例中操作的示例性移动设备的框图。描绘了典型移动电话的示例性电子电路。电话900包括一个或多个微处理器912，以及存储由控制处理器912的一个或多个处理器执行来实现此处所述的功能的处理器可读代码的存储器1010（例如，诸如ROM等非易失性存储器和诸如RAM等易失性存储器）。

移动设备900可包括例如处理器912、包括应用和非易失性存储的存储器1010。处理器912可实现通信以及任何数量的应用，包括本文中所描述的交互应用。存储器1010可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。设备操作系统处理移动设备900的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用1030可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、其他多媒体应用、闹钟应用、其他第三方应用、本文中讨论的交互应用等。存储器1010中的非易失性存储组件1040包含诸如web高速缓存、音乐、照片、联系人数据、日程安排数据、以及其他文件等数据。

处理器912还与RF发射/接收电路906进行通信，该电路906进而耦合到天线902，它还与红外发射器/接收器908、与像Wi-Fi或蓝牙等任何附加通信信道1060、以及与像加速度计等移动/定向传感器914通信。加速度计被包括到移动设备中，以启用诸如让用户通过姿势输入命令的智能用户界面之类的应用，在与GPS卫星断开联系之后计算设备的移动和方向的室内GPS功能，并检测设备的定向，并且，当旋转电话时自动地将显示从纵向变为横向。可以，例如，通过微机电系统（MEMS）来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械设备（微米尺寸）。可以感应加速方向、以及定向、振动和震动。处理器912还与响铃器/振动器916、用户界面键区/屏幕、生物测定传感器系统918、扬声器1020、话筒922、相机924、光传感器926以及温度传感器928进行通信。

处理器912控制无线信号的发射和接收。在发射模式期间，处理器912向RF发射/接收电路906提供来自话筒922的语音信号或其他数据信号。发射/接收电路906将该信号发射到远程站（例如固定站、运营商、其他蜂窝电话等）来通过天线902进行通信。响铃器/振动器916被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其他通知等信号。在接收模式期间，发射/接收电路906通过天线902接收来自远程站的语音或其他数据信号。所接收到的语音信号被提供给扬声器1020，同时所接收到的其它数据信号也被适当地处理。

另外，物理连接器988可被用来将移动设备900连接到外部电源，如AC适配器或加电对接底座。物理连接器988还可被用作到计算设备的数据连接。该数据连接允许诸如将移动数据与另一设备上的计算数据进行同步等操作。

为这种服务启用使用基于卫星的无线电导航来中继用户应用的位置的GPS接收机965。

附图中示出的示例计算机系统包括计算机可读存储介质的示例。计算机可读存储介质也是处理器可读存储介质。这样的介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块、或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、高速缓存、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。

图13示出了诸如个人计算机等合适的计算系统环境700的示例。

参考图13，用于实现本技术的一个示例性系统包括计算机710形式的通用计算设备。计算机710的组件可包括，但不限于，处理单元720、系统存储器730、以及将包括系统存储器的各种系统组件耦合到处理单元720的系统总线721。系统总线721可以是若干类型的总线结构中的任一种，包括使用各种总线体系结构中的任一种的存储器总线或存储器控制器、外围总线、以及局部总线。作为示例而非限制，这样的体系结构包括工业标准体系结构（ISA）总线、微通道体系结构（MCA）总线、增强型ISA（EISA）总线、视频电子标准协会（VESA）局部总线，以及也称为夹层（Mezzanine）总线的外围部件互连（PCI）总线。

计算机710通常包括各种计算机可读介质。计算机可读介质可以是能被计算机710访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字多功能盘（DVD）或其他光盘存储设备，磁带盒、磁带、磁盘存储设备或其他磁存储设备，或者能用于存储所需信息且可以由计算机710访问的任何其他介质。通信介质通常以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其他数据，并包括任意信息传送介质。术语“已调制数据信号”是指具有以在信号中编码信息的方式被设定或改变其一个或多个特征的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外及其他无线介质之类的无线介质。上述中任一组合也应包括在计算机可读介质的范围之内。

系统存储器730包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器（ROM）731和随机存取存储器（RAM）732。包含诸如在启动期间帮助在计算机710内的元件之间传输信息的基本例程的基本输入/输出系统733（BIOS）通常储存储在ROM 731中。RAM 732通常包含处理单元720可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图7示出了操作系统734、应用程序735、其它程序模块736和程序数据737。

计算机710也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图13示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器740，从可移动、非易失性磁盘752中读取或向其写入的磁盘驱动器751，以及从诸如CD ROM或其它光学介质等可移动、非易失性光盘756中读取或向其写入的光盘驱动器755。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器741通常由例如接口740等不可移动存储器接口连接至系统总线721，而磁盘驱动器751和光盘驱动器755通常由例如接口750等可移动存储器接口连接至系统总线721。

上文讨论并在图13中示出的驱动器及其相关联的计算机存储介质为计算机710提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，在图13中，硬盘驱动器741被示为存储操作系统744、应用程序745、其它程序模块746和程序数据747。注意，这些组件可与操作系统734、应用程序735、其他程序模块736和程序数据737相同，也可与它们不同。在此操作系统744、应用程序745、其他程序模块746以及程序数据747被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，例如键盘762和定点设备761——通常是指鼠标、跟踪球或触摸垫——向计算机20输入命令和信息。其他输入设备（未示出）可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他输入设备通常通过耦合到系统总线的用户输入接口760连接到处理单元720，但也可通过诸如并行端口、游戏端口或通用串行总线（USB）之类的其他接口和总线结构来连接。监视器791或其他类型的显示设备也通过诸如视频接口790之类的接口连接至系统总线721。除监视器之外，计算机还可以包括可以通过输出外围接口790连接的诸如扬声器797和打印机796之类的其他外围输出设备。

计算机710可使用到一个或多个远程计算机（诸如，远程计算机780）的逻辑连接而在联网环境中操作。远程计算机780可以是个人计算机、服务器、路由器、网络PC、对等设备或其它常见网络节点，且通常包括上文相对于计算机710描述的许多或所有元件，但在图7中只示出存储器存储设备781。图7中所示的逻辑连接包括局域网（LAN）771和广域网（WAN）773，但也可以包括其它网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机710通过网络接口或适配器770连接到LAN 771。当在WAN联网环境中使用时，计算机710通常包括调制解调器772或用于通过诸如因特网等WAN 773建立通信的其他手段。调制解调器772可以是内置的或外置的，可经由用户输入接口760或其他适当的机制连接到系统总线721。在联网环境中，相对于计算机710所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图13示出了远程应用程序785驻留在存储器设备781上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。

计算系统环境700只是合适计算环境的一个示例，而非意在暗示对本技术的使用范围或功能有任何限制。也不应该将计算环境700解释为对示例性操作环境700中示出的任一组件或其组合有任何依赖性或要求。

本技术可用各种其它通用或专用计算系统环境或配置来操作。适合在该技术中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子产品、网络PC、小型机、大型机、包含上述系统或设备中的任一个的分布式计算机环境等。

本技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。本技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备在内的本地和远程计算机存储介质中。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (11)

1.一种用于控制透视头戴式显示设备的方法，包括：

用透视、近眼、混合现实显示器来创建用户至少一只眼睛的图像（204），所述显示器包括用于每只眼睛的显示光学系统，所述显示光学系统包括生成所述眼睛的图像数据以提供虹膜图像的至少一个传感器；

确定所述至少一只眼睛的虹膜的图像中的图案（206）；

基于所述图案将包含用户偏好的用户简档（208）信息与所述用户相关联，以标识所述用户；以及

基于所述用户简档中的所述用户偏好来操作所述透视、近眼、混合现实显示器（216），以在所述显示光学系统中向所述用户提供增强现实图像。

2.如权利要求1所述的方法，其特征在于，确定图案包括在所述虹膜图像中检测瞳孔，在所述虹膜图像中检测虹膜周围的虹膜环，并从所述虹膜图像中移除噪声，以及使用至少一个用户虹膜来生成图案。

3.如权利要求1所述的方法，其特征在于，所述用户简档包含IPD调整数据，并且其中所述操作步骤包括操纵所述显示光学系统以将每只用户眼睛的光轴与所述显示光学系统中的显示设备对准。

4.如权利要求3所述的方法，其特征在于，所述IPD调整数据包括在三个维度上定位所述显示光学系统的数据。

5.如权利要求1所述的方法，其特征在于，还包括以下步骤：

确定是否存在用户的用户简档，并且如果用户简档不存在，则生成用户简档，以及其中生成用户简档的步骤包括以下步骤：

确定在所捕捉数据中标识的瞳孔位置与相应光轴位置之间在水平方向和垂直方向上的瞳孔位置差；

基于所述瞳孔位置差来自动地确定至少一个显示调整机构的至少一个调整值；以及

将所述调整值存储到所述用户简档中。

6.一种包括透视、近眼、混合现实显示器的系统，包括：

包括用于每只眼睛的显示光学系统的透视、近眼、混合现实显示系统（150），每个显示光学系统具有光轴并被定位成由相应的眼睛来透视，并包括用于支撑每个显示光学系统的一个或多个光学元件的相应的活动支撑结构（115）；

所述显示光学系统包括至少一个传感器（134），所述至少一个传感器在所述显示光学系统在一定距离和方向处显示图像时生成从相应的眼睛所捕捉的反射光的眼睛数据，以便测量IPD；

包括代码的处理器（4），所述代码指示所述处理器基于对所述用户至少一只眼睛的图像数据的评估来确定用户身份，对基于用户虹膜的虹膜识别图案与同用户简档（280）相关联的用户虹膜识别图案数据库（37）进行比较，并确定所述用户身份与已存储的用户简档之间是否存在匹配；以及

至少一个显示调整机构（203、205），所述至少一个显示调整机构被连接到所述相应的活动支撑结构以根据一个或多个位置调整值来移动至少一个活动支撑结构。

7.如权利要求6所述的系统，其特征在于，所述系统还包括指示所述处理器执行以下操作的代码：

从所述用户简档检索用于所述活动支撑结构的所述至少一个或多个位置调整值；以及

依照定义所述用户的瞳孔间距的预定特性，根据所述显示光学系统的所述一个或多个元件来移动所述至少一个活动支撑结构。

8.如权利要求7所述的系统，其特征在于，所述至少一个或多个位置调整值包括在三个维度上定位所述显示光学系统的数据。

9.如权利要求7所述的系统，其特征在于，所述系统还包括指示所述处理器执行以下操作的代码：确定是否存在用户的用户简档，并且如果不存在用户简档，则生成用户简档。

10.如权利要求7所述的系统，其特征在于，所述系统还包括指示所述处理器执行以下操作的代码：确定在所捕捉数据中标识的瞳孔位置与相应眼睛光轴位置之间在水平方向和垂直方向上的瞳孔位置差；

基于所述瞳孔位置差来自动地确定至少一个显示调整机构的至少一个调整值；以及将所述调整值存储到所述用户简档中。

11.如权利要求7所述的系统，其特征在于，所述用户简档包括以下各项中的一个或多个：增强现实服务用户偏好；用户IPD调整数据；增强现实信息过滤器。

Images