CN105144022A - 头戴式显示器资源管理 - Google Patents

Abstract

提供了用于头戴式显示设备中的资源管理的系统和相关方法。在一个示例中，头戴式显示设备包括多个传感器和用于呈现全息对象的显示系统。资源管理程序被配置成以默认功率模式操作所选传感器来获得所选保真度。该程序从传感器中的一个或多个接收用户相关信息并确定是否检测到目标信息。在检测到目标信息的情况下，该程序调整所选传感器以按比默认功率模式使用更少功率的降低的功率模式来操作。

Description

头戴式显示器资源管理

背景技术

诸如头戴式显示设备等增强现实设备可包括生成各种形式的输入数据的多个传感器。这些传感器中的每一个传感器在捕捉并处理输入数据时都消耗功率。这样的传感器可包括例如话筒、图像传感器、深度相机、眼睛跟踪传感器，以及位置传感器。这些传感器的连续操作可消耗大量功率并且可能降低头戴式显示设备的电池寿命。另外，在一些示例中，来自一个或多个传感器的数据可通过网络传送。这样的输入数据的连续传输也可消耗大量功率以及网络资源。

除了可接受的电池寿命之外，增强现实设备的用户还需要一贯高质量的增强现实体验。尽管关闭或降低递送给一个或多个传感器的功率可以降低功耗和/或网络需求，但这样的功率波动也可能使增强现实设备所提供的增强现实体验降级。

发明内容

为解决以上问题，提供了一种包括头戴式显示设备的资源管理系统和相关方法。在一个示例中，头戴式显示设备被配置成由用户佩戴且起作用地连接到计算设备。头戴式显示设备还包括多个传感器和用于呈现全息对象的显示系统。

资源管理系统进一步包括由计算设备的处理器执行的资源管理程序。资源管理程序被配置成按默认功率模式来操作多个传感器中的所选传感器以达到所选的传感器保真度水平。资源管理程序还被配置成接收来自传感器中的一个或多个传感器的用户相关信息，其中用户相关信息选自包括以下各项的组：音频信息、用户注视信息、用户位置信息、用户移动信息、用户图像信息，以及用户生理信息。

资源管理程序进一步被配置成确定是否在用户相关信息中检测到目标信息。在检测到目标信息的情况下，资源管理程序被配置成调整所选传感器以按降低的功率模式来操作，该降低的功率模式比默认功率模式使用更少的功率，从而达到降低的传感器保真度水平。

提供本发明内容以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

附图说明

图1是根据本公开的一实施例的资源管理系统的示意图。

图2示出根据本公开的一实施例的示例头戴式显示设备。

图3是根据本公开的一实施例的在使用图2的头戴式显示设备以及图1的资源管理系统的物理环境中的两个用户的示意图。

图4A、4B和4C是根据本公开的一实施例的用于管理头戴式显示设备中的资源的方法的流程图。

图5是计算系统的一实施例的简化示意图解。

详细描述

图1示出用于管理头戴式显示(HMD)设备中的资源的资源管理系统10的一个实施例的示意图。资源管理系统10包括可被存储在计算设备22的大容量存储18中的资源管理程序14。资源管理程序14可被加载到存储器26中并由计算设备22的处理器30执行以执行下文更为详细地描述的方法和过程中的一个或多个。计算设备22还可包括用于对计算设备的各组件供电的电源32，如电池。

在一个示例中，资源管理系统10可包括可被存储在计算设备22的大容量存储18中的增强现实显示程序28。增强现实显示程序28可以生成用于显示在显示设备(如第一HMD设备34)上的虚拟环境36。虚拟环境36可包括一个或多个虚拟对象表示，如全息对象。在一些示例中，虚拟环境36可被生成以提供交互式视频游戏形式的增强现实体验、运动图片体验或其他合适的电子游戏或体验。在另一示例中，增强现实显示程序28和/或资源管理程序14可被远程存储且可由计算设备22通过该计算设备起作用地连接到的网络(如网络38)来访问。

计算设备22可采用以下形式：台式计算机，诸如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备，网络计算机，家庭娱乐计算机，交互式电视，游戏系统，或其他合适类型的计算设备。关于计算设备22的组件和计算方面的附加细节在下文中参考图5所示的计算系统被更详细地描述。

计算设备22可使用有线连接来与第一HMD设备34起作用地连接，或可采用通过WiFi、蓝牙或任何其他合适的无线通信协议的无线连接。另外，图1中示出的示例将计算设备22示为与第一HMD设备34分开的组件。将理解，在其他示例中，计算设备22可被集成到第一HMD设备34中。

计算设备22还可经由网络38与一个或多个附加设备起作用地连接。在一个示例中，计算设备22可以经由网络38与第二HMD设备通信。网络38可以采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个人区域网或其组合的形式，并可包括因特网。

现在还参考图2，提供了一副具有透明显示器50的可配戴眼镜形式的HMD设备200的示例。将明白，在其他示例中，HMD设备200可以采取其他合适的形式，其中透明、半透明或不透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1中所示的HMD设备34可以采取HMD设备200的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。另外，还可使用具有各种形状因子的许多其他类型和配置的显示设备。例如，还可使用提供增强现实体验的手持式显示设备。

参考图1和2，在这一示例中，第一HMD设备34包括显示系统46和使图像能够被递送到用户的眼睛的透明显示器50。透明显示器50可被配置成向透过该透明显示器查看物理环境的用户在视觉上增强该物理环境的外观。例如，物理环境的外观可以由经由透明显示器50呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强。

透明显示器50还可被配置成使用户能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境中的物理现实世界对象。在一个示例中，透明显示器50可包括位于透镜204内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器50可包括在透镜204边缘上的光调制器。在这一示例中，透镜204可以担当光导以供将光从光调制器递送到用户的眼睛。这样的光导可以使用户能够感觉3D虚拟图像位于用户正在查看的物理环境内，这还允许用户查看物理环境中的物理对象。

在其他示例中，透明显示器50可以支持在从物理环境接收到的光在到达佩戴HMD设备200的用户的眼睛之前对该光进行选择性过滤。这样的过滤可以在逐像素地或按像素群的基础上来执行。在一个示例中，透明显示器50可包括添加一个或多个被照亮像素形式的光的第一显示层，以及过滤从物理环境接收到的环境光的第二显示层。这些层可具有不同显示分辨率、像素密度，和/或显示能力。

第二显示层可包括其中可生成阻挡图像的一个或多个不透明层52。一个或多个不透明层52可集成在透明显示器50内。在其他示例中，一个或多个不透明层52可以分开安装或附连到透明显示器50附近，如以单独遮罩的形式。

第一HMD设备34还可包括各种系统和传感器。例如，第一HMD设备34可包括利用至少一个面向内的传感器208(参见图2)的眼睛跟踪传感器系统54。该面向内的传感器208可以是被配置成从用户的眼睛获取眼睛跟踪信息形式的图像数据的图像传感器。假定用户已同意获取和使用这一信息，眼睛跟踪传感器系统54可以使用这一信息来跟踪用户的眼睛的位置和/或移动。眼睛跟踪传感器系统54随后可以确定用户正在注视何处和/或什么物理对象或虚拟对象。该面向内的传感器208还可包括捕捉可见光谱和/或红外光的一个或多个光学传感器。这样的传感器可被用于例如确定用户的脸与HMD设备34的邻近度。

第一HMD设备34还可包括利用至少一个面向外的传感器212(如光学传感器)的光学传感器系统58。面向外的传感器212可以检测其视野内的移动，如视野内的用户或人或物理对象所执行的基于姿势的输入或其他移动。面向外的传感器212还可从物理环境和该环境内的物理对象捕捉图像信息和深度信息。例如，面向外的传感器212可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。在一些示例中，面向外的传感器212可包括用于观察来自物理环境中的真实世界光照条件的可见光谱和/或红外光的一个或多个光学传感器。这样的传感器可包括例如可检测RGB环境光和/或黑及白环境光的电荷耦合器件图像传感器。

如上所述，第一HMD设备34可包括经由一个或多个深度相机的深度感测。每一深度相机可包括例如立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。

在一些实施例中，深度相机可以采取结构化光深度相机的形式，该结构化光深度相机被配置成投影包括多个离散的特征(例如，线或点)的结构化红外照明。深度相机可被配置成对从结构化照明被投影到其之上的场景中反射的结构化照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。

在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上。该深度相机可被配置成对从场景反射的脉冲照明进行检测。这些深度相机中的两个或更多个可包括与该脉冲照明同步的电子快门。两个或更多个深度相机的积分时间可能不同，使得从源到场景并随后到深度相机的、脉冲照明的像素分辨的飞行时间不能根据在这两个深度相机的对应像素中接收到的光的相对量来辨别出。第一HMD设备34还可包括用于辅助结构化光和/或飞行时间深度分析的红外投影仪。

在其他示例中，来自所述用户和/或物理环境中的人的基于姿势的输入和其他运动输入也可经由一个或多个深度相机来检测。例如，面向外的传感器212可包括用于创建深度图像的具有已知相对位置的两个或更多个光学传感器。使用来自具有已知相对位置的这些光学传感器的运动结果，这样的深度图像可被生成并映射到基于姿势的输入和其他运动输入。在其他示例中，激光返回、超声、红外，和/或任何其他合适的深度检测技术可被使用且在本公开的范围之内。

面向外的传感器212可以捕捉所述用户位于其中的物理环境的图像。如下文更详细地讨论的，这样的图像可以是可由第一HMD设备34接收到且被提供给计算设备22的物理环境信息60的一部分。在一个示例中，增强现实显示程序28可包括使用这样的输入来生成对所捕捉的物理环境进行建模的虚拟环境36的3D建模系统。

第一HMD设备34还可包括利用一个或多个运动传感器216来启用第一HMD设备的位置跟踪和/或取向感测并确定该HMD设备在物理环境内的位置的位置传感器系统62。例如，位置传感器系统62可被用来确定用户的头部的头部姿态取向。在一个示例中，位置传感器系统62可包括配置成六轴或六自由度的位置传感器系统的惯性测量单元。这一示例位置传感器系统可以例如包括用于指示或测量第一HMD设备34在三维空间内沿三个正交轴(例如，x、y、z)的位置变化以及该HMD设备绕三个正交轴(例如，翻滚、俯仰、偏航)的取向变化的三个加速度计和三个陀螺仪。

位置传感器系统62可以支持其他合适的定位技术，如GPS或其他全球导航系统。例如，位置传感器系统62可包括用于接收从卫星和/或地面基站广播的无线信号的无线接收机(例如，GPS接收机或蜂窝接收机)。这些无线信号可被用来标识第一HMD设备34的地理位置。

从第一HMD设备34接收到的无线信号获得的定位信息可以与从运动传感器216获得的定位信息相组合以提供第一HMD设备34的位置和/或取向的指示。尽管描述了位置传感器系统的具体示例，但将明白，可以使用其他合适的位置传感器系统。

运动传感器216还可以被用作用户输入设备，使得用户可以经由颈部和头部或者甚至身体的姿势来与第一HMD设备34交互。此外，在一些示例中，运动传感器216可具有相对低的功率要求。在这些情况下，来自运动传感器216的信息可被使用来代替来自具有更大功率要求的更复杂传感器系统的信息。于是，更复杂的传感器系统可被断电或关闭以节省系统资源。运动传感器的非限制性示例包括加速度计、陀螺仪、指南针以及取向传感器，它们可被包括为任何组合或其子组合。

第一HMD设备34还可包括包含一个或多个话筒220的话筒系统64。在一些示例中，且如下文更详细地描述的，话筒220阵列可以接收来自用户的音频输入和/或来自用户周围的物理环境的音频输入。作为替换或补充，与第一HMD设备34分开的一个或多个话筒可被用来接收音频输入。

在其他示例中，音频可经由第一HMD设备34上的一个或多个扬声器224被呈现给用户。这样的音频可包括例如来自增强现实显示程序28或其他源的音乐、指令，和/或其他通信。

在其他示例中，第一HMD设备34还可包括用于广播诸如Wi-Fi信号、蓝牙信号等无线信号并从其他设备接收这样的信号的通信系统66和相关联的收发机228。这些无线信号可被用来例如在设备之间交换数据和/或创建网络。

第一HMD设备34还可包括具有与HMD设备的各输入和输出设备通信的逻辑子系统和存储子系统的处理器232，如在下文参考图5更详细地讨论的。简言之，存储子系统可包括可由逻辑子系统执行的指令，例如用以经由通信系统66接收来并转发从传感器到计算设备22的输入(以未经处理或经处理的形式)并且经由透明显示器50向用户呈现图像。

第一HMD设备34还可包括向HMD设备的各组件供电的电池70或其他合适的便携式电源。

将明白，以上在图1和2中描述并示出的第一HMD设备34和相关的传感器以及其他组件是作为示例提供的。这些示例不旨在以任何方式进行限制，因为任何其他合适的传感器、组件，和/或传感器和组件的组合可被使用。因此，将理解，第一HMD设备34可以包括未偏离本公开文本范畴的附加和/或替代的传感器、相机、话筒、输入设备、输出设备等。此外，第一HMD设备34的物理配置及其各种传感器和子组件可以采取不偏离本公开文本范畴的各种不同形式。

现在还参考图3，现在将提供利用资源管理系统10和第一HMD设备34的示例实施例和使用情况的描述。图3是位于物理环境中的第一用户304和第二用户308的示意图。在这一示例中，物理环境是包括诸如墙312、挂在墙上的照片316、桌320以及书柜324等物理对象的房间300。第一用户304可以佩戴第一HMD设备34且第二用户308可以佩戴第二HMD设备42(同样参见图1)。第二HMD设备42可具有与上述的第一HMD设备34基本相似的结构和操作，且这两个HMD设备可以采取HMD设备200的形式。

第一HMD设备34的显示系统46可以向第一用户304的眼睛呈现位于桌320上的虚拟巫师326形式的全息对象。类似地，第二HMD设备42的显示系统可以向第二用户308的眼睛呈现虚拟巫师326，使得巫师看起来位于桌320上。以此方式，图3示出了填充有虚拟巫师326的房间300，虚拟巫师326根据第一HMD设备34或第二HMD设备42的增强现实显示程序28所生成的虚拟环境36被定位在房间中。

将明白，虚拟环境36可以对物理环境进行建模并且可以基于从第一HMD设备34和/或第二HMD设备42接收到的用户眼睛跟踪信息、来自物理环境的光照信息、深度信息、图像信息，以及位置和/或取向信息中的一者或多者。在一个示例中，这样的信息可被编译以生成包括房间300的3D映射且包括一个或多个全息对象的虚拟环境36。

如在下文在各种使用情况中进一步描述的，资源管理程序14可被配置成按默认功率模式来操作第一HMD设备34的所选传感器以达到所选的传感器保真度水平。在一个示例中，所选传感器可以来自光学传感器系统58、位置传感器系统62、眼睛跟踪传感器系统54或话筒系统64。给定传感器的所选的传感器保真度水平可以与预定传感器分辨率、传感器频率、或采样速率或其他合适的操作质量相对应。

第一HMD设备34可以经由眼睛跟踪传感器系统54、光学传感器系统58、位置传感器系统62，和/或话筒系统64接收用户相关信息72。资源管理程序14可被配置成从第一HMD设备34接收用户相关信息72。在一个示例中，用户相关信息可包括音频信息、用户注视信息、用户位置信息、用户移动信息、用户图像信息，和/或用户生理信息。使用这一用户相关信息，资源管理程序14可被配置成确定是否在用户相关信息中检测到目标信息。在检测到目标信息的情况下，资源管理程序14可被配置成调整所选传感器以按比默认功率模式使用更少功率的降低的功率模式来操作。传感器的降低的功率模式可以与降低的传感器保真度水平相对应。

在一些示例中，所述目标信息可包括标识上下文的音频信息、固定于全息对象或物理对象上的用户注视、预定位置处的用户位置、用户低于移动阈值的移动、指示用户身体部位的图像信息，和/或指示低于意识阈值的用户意识的意识相关用户生理信息。

在一个示例中，第一用户304可以在从购物中心驾车到该用户家中时佩戴第一HMD设备34。在驾车时，第一HMD设备34的位置传感器系统62中的GPS传感器可以按默认功率模式操作。该默认功率模式可以与产生默认位置准确度的默认位置采样速率相对应。这样的默认位置准确度足以例如经由第一HMD设备34向用户304提供各种基于位置的服务。

用户304可到家并且走进该用户的房中。此时，资源管理程序14可以从GPS传感器接收指示该用户处于用户的房中的预定位置处的用户位置信息。在资源管理程序14检测到这一目标信息时，资源管理程序可以调整GPS传感器以按与降低的采样速率和降低的位置准确度相对应的降低的功率模式来操作。在一个示例中，降低的功率模式可以与其中关闭GPS传感器的关闭状态相对应。有利地，通过以此方式选择性地降低给GPS传感器的功率，第一HMD设备34的功耗可被降低，并且对应的电池寿命可以增加。

将明白，在用户处于用户的房中中，GPS传感器所生成的位置信息可以向用户304在该用户的房中通常享受的增强现实体验中的一些提供有限价值。因此，用户的房子的预定位置可被选择作为目标信息，并且针对GPS传感器的对应的降低的功率模式可以按不使用户304感知到的增强现实体验的质量降级的方式来被采用。另外，并且如在下文针对其他使用情况更详细地描述的，针对其他传感器的且与其他目标信息相对应的附加的降低的功率模式可按被设计成避免使用户感知到的增强现实体验降级的方式被类似地采用。

参考图3，在另一示例中，第一用户304可以坐在该用户的房中的房间300中。第一用户304可能全神贯注于经由第一HMD设备34呈现的且对虚拟巫师326进行特写的3D电影体验。在这一示例中，目标信息可包括低于移动阈值的用户移动。例如，移动阈值可被定义为第一用户304周围的、用户在预定时间量内没有越过的边界。在一个示例中，该边界可以是环绕第一用户304的一米半径的圆，且预定时间量可以是30秒。将明白，任何合适的边界距离或配置以及任何合适的预定时间量可被使用，而不背离本公开的范围。还将明白，不同边界距离和时间量可能更适于不同位置和/或上下文。

在这一示例中，在用户就座达30秒以上时，资源管理程序14可被配置成检测到用户的移动低于移动阈值。基于检测到低于移动阈值的移动，资源管理程序14可以调整位置传感器系统62来按降低的功率模式操作。例如，该降低的功率模式可以与GPS传感器以低采样速率来操作或被关闭相对应。

在其他示例中且基于检测到低于移动阈值的移动，资源管理程序14可以调整一个或多个其他传感器以按降低的功率模式来操作。例如，光学传感器系统58中的可见光相机可被调整到与比默认刷新速率(例如，32Hz)更慢的刷新速率相对应的降低的功率模式。

在另一示例中，第一用户304可能正在注视虚拟巫师326(如注视线330所示)或者照片316(如注视线334所示)。在这一示例中，目标信息可包括用户的注视固定于全息对象或物理对象。在用户的注视保持瞄准全息对象或物理对象超过预定时间量(例如，2秒)时，用户的注视可被确定为是固定的。将明白，其他预定时间量可被使用，诸如例如1秒、3秒、10秒、1分钟或任何其他合适的时间量，而不背离本公开的范围。另外，资源管理程序14可以使用从眼睛跟踪传感器系统54接收到的眼睛跟踪信息来确定用户304正在注视虚拟巫师326或照片316。

在这一示例中，在资源管理程序14检测到用户已注视一对象超过预定时间量时，资源管理程序可被配置成调整光学传感器系统58以按降低的功率模式来操作。例如，降低的功率模式可以与可见光相机以比默认刷新速率更慢的刷新速率来操作相对应，或与深度相机以比默认刷新速率更慢的刷新速率来操作相对应。在另一示例中，降低的功率模式可以与面向内的传感器208的图像传感器以比默认刷新速率更低的刷新速率来记录用户304的非主导眼睛的图像或者停止记录非主导眼睛的图像相对应。在另一示例中，降低的功率模式可以与使用单眼注视线与全息对象相交来检测用户的焦点(这与使用双眼注视线相交相对)相对应。

在另一示例中，用户304可以处于呈现包括高对比区域的复杂且视觉上详细的场景的位置中。在这一示例中，目标信息可包括用户304正在注视的视觉上复杂的高对比场景。在资源管理程序14检测到用户在注视这一场景时，该程序可被配置成调整显示系统46来改进该场景的可视性。例如，显示系统46可被调整来增加一个或多个虚拟图像的亮度，使用较不复杂的字体，利用字符的更复杂的渲染，和/或引入新的或补充性背景。另外，资源管理程序14还可被配置成降低给一个或多个传感器的功率，如位置传感器系统62中的GPS传感器。

在另一示例中，话筒系统64可以接收以标识上下文的音频信息形式的目标信息。这样的音频信息可由资源管理程序14解释以标识用户304的当前上下文和/或位置。以此方式且基于标识上下文的音频信息，资源管理程序14可被配置成调整第一HMD设备34的传感器中的一个或多个传感器以按降低的功率模式来操作。例如，第一用户304可能正在乘坐公共汽车且资源管理程序14可以解释公共汽车引擎和公共汽车司机宣告的声音来确定第一用户正在公共汽车上。基于这一标识上下文的音频信息，资源管理程序14可以例如按降低的功率模式来操作光学传感器系统58的深度相机。

在另一示例中，话筒系统64可以接收包括用户的语音的音频信息形式的目标信息。在一个示例中，用户304可以通知资源管理程序14该用户希望使用第一HMD设备34达某一持续时间量(诸如例如5小时)而无需再充电。使用这样的音频信息，资源管理程序14可以在接下来的5小时内通过调整传感器中的一个或多个传感器按降低的功率模式操作来管理第一HMD设备34的功率需求。

在另一示例中，第一HMD设备34的传感器中的一个或多个传感器可以接收指示用户意识低于意识阈值的以意识相关的用户生理信息形式的目标信息。例如，第一用户304的眼睛移动可由眼睛跟踪传感器系统54来跟踪。资源管理程序14可以使用这样的眼睛跟踪信息来估计第一用户304的用户意识水平。

例如且再次参考图3，第一HMD设备34可能正在向用户304显示包括虚拟巫师326的3D电影。资源管理程序14可以分析用户眼睛移动的模式并确定用户的意识或对该3D电影的兴趣低于意识阈值。在一个示例中，该意识阈值可以与用户304从巫师326移开视线的频率相关。例如，意识阈值可包括在3分钟跨度内，用户304从巫师326移开视线超过每分钟20秒以上。将明白，可以使用任何其他合适的时段而不背离本公开的范围。在资源管理程序14确定用户的意识低于这一阈值时，资源管理程序14可以调整传感器中的一个或多个传感器以降低的功率模式来操作。

将明白，各种其他类型和形式的意识相关用户生理信息可由第一HMD设备34的其他传感器来接收。这样的其他意识相关用户生理信息可包括但不限于心率、脉搏、血红蛋白饱和度、皮肤电导率、呼吸、排汗，以及脑波活动。这样的信息也可由资源管理程序14使用来确定用户意识或兴趣的水平。

在另一示例中，第一HMD设备34的光学传感器系统58的传感器中的一个或多个传感器可以接收指示用户身体部位的以用户图像信息形式的目标信息。例如，第一用户304可能正在繁忙的城市街道上通过将该用户的手臂有力地在空中挥动来尝试扬招出租车。光学传感器系统58中的深度相机可以捕捉用户的手臂挥动的图像数据。资源管理程序14可以分析该深度相机图像数据并确定用户正在进行紧急的信令活动。因此，资源管理程序14可以调整传感器中的对这样的信令活动不必要的一个或多个传感器以按降低的功率模式来操作。

在另一示例中，在用户304正在执行用户通常在无需使用一个或多个传感器的情况下执行的任务时，送给传感器中的一个或多个传感器的功率可被降低。例如，在用户304在驾车时，用户可能具有使用语音输入来导航虚拟菜单并且相应地几乎从不使用手势的历史。因此，在资源管理程序14确定用户304在驾车且与虚拟菜单交互时，该程序可以调整光学传感器系统中的深度相机以按降低的功率模式来操作。将明白，不同用户可具有不同的使用模式，且资源管理程序14可以根据给定用户的使用模式来定制传感器操作。

在另一示例中且同样参考图1，资源管理程序14可被配置成从第一HMD设备34的传感器中的一个或多个传感器接收物理环境信息60。资源管理程序14随后可以确定是否在物理环境信息60中检测到目标信息。参考图3，在一个示例中，物理环境信息可包括来自房间300的物理对象图像数据。例如，光学传感器系统58可以接收示出桌320、照片316、墙312以及书柜324的图像数据。使用这样的图像数据，资源管理程序14可以确定用户304在用户的房中的房间300中。因此，资源管理程序14可以调整位置传感器系统62中的GPS传感器以按降低的功率模式来操作。

将明白，在其他示例中，资源管理程序14可被配置成经由第一HMD设备34接收其他类型和形式的物理环境信息60。这样的其他类型和形式的物理环境信息60可包括但不限于音频信息、环境光水平、物理对象位置、取向和表面信息，以及环境状况信息(如温度)。

在另一示例中，资源管理程序14可被配置成经由网络38从第一HMD设备34外部的第二HMD设备42接收物理环境信息60。在图3所示的示例中，第二用户308佩戴的第二HMD设备42可以接收物理环境信息60并经由网络38将这样的信息传送给计算设备22和资源管理程序14。

在一个示例中，第一用户304和第二用户308可以走进房间300。第一用户304佩戴的第一HMD设备34和第二用户308佩戴的第二HMD设备42两者可能从房间300中的物理对象捕捉到类似的图像数据。第二HMD设备42可以将它捕捉到的图像数据传送给第一HMD设备34。有利地，基于从第二HMD设备42接收到图像数据，资源管理程序14可以调整第一HMD设备34中的光学传感器系统58的传感器中的一个或多个传感器以按降低的功率模式来操作。

将明白，在一些示例中，两个或更多个HMD设备可以通信以确定哪一HMD设备将捕捉并传送数据以及哪一(些)HMD设备将接收该数据。在一个示例中，具有最多剩余电池寿命的HMD设备可被选择来捕捉并传送数据给其他设备。在其他示例中，任何其他合适的准则可被用来确定哪一HMD设备可被选择来捕捉并传送该数据。还将明白，其他传感器捕捉到的其他类型的物理环境数据也可被一个HMD设备捕捉并传送且由一个或多个其他HMD设备从该进行捕捉的设备接收。

在其他示例中，第一HMD设备34和/或第二HMD设备42可以经由网络38从这些HMD设备外部的其他设备和源接收物理环境信息60和/或其他信息。例如，第一HMD设备34可以从附近的室内位置信标来接收GPS位置信息。在另一示例中，第一HMD设备34可以从该设备配对的智能电话或平板计算机接收信息。

在另一示例中，光学传感器系统58中的光学传感器可以捕捉以物理对象图像数据形式的物理环境信息60。资源管理程序14可被配置成确定光学传感器是否捕捉到阈值量的物理对象图像数据。例如，阈值量的图像数据可以是100MB图像数据。在这一示例中，在光学传感器捕捉了物理对象的100MB图像数据时，资源管理程序14可以调整光学传感器以按降低的功率模式且以对应的降低的保真度水平来操作。将明白，其他传感器也可被监视以确定阈值量的其他类型的物理对象信息是否已被达到，此时这样的传感器可被调整来按降低的功率模式操作。还将明白，任何其他合适的阈值量的图像数据可被使用而不背离本公开的范围，且这样的阈值量可以基于位置或其他上下文相关因素来被调整。

在另一示例中，资源管理程序14可被配置成检测目标音频。在目标音频没有被检测到时，第一HMD设备34的一个或多个话筒220可以按默认的较慢的轮询频率来操作。在话筒220接收到目标音频且被资源管理程序14检测到时，该程序可以调整话筒按比该较慢的轮询频率更大的较快轮询频率来操作。有利地，在这一示例中，只要没有检测到目标音频，资源管理程序14就可以对话筒220使用默认功率模式。在一些示例中，目标音频可包括所识别的用户304的语音、紧急广播消息、所识别的预定第三方语音(如用户的配偶或孩子)或任何其他合适的目标音频。

在另一示例中，使用眼睛跟踪传感器系统54的眼睛跟踪传感器，资源管理程序14可以检测用户对全息对象或物理对象的注视。再次参考图3，在一个示例中，用户304可能正在注视墙312上的照片316。基于检测到用户的注视，并且给定用户304没有看虚拟巫师326，资源管理程序14可以降低第一HMD设备34的显示系统46的照明输出。更具体地，资源管理程序14可以降低显示系统46所生成的虚拟巫师326的亮度，从而降低显示系统46所消耗的功率。在另一示例中，资源管理程序14可以利用显示系统46中的不透明层52来阻挡更多环境光到达用户304的眼睛。以此方式，虚拟巫师326和其他全息对象可按降低的亮度来显示，从而降低显示系统46所消耗的功率。

在另一示例中，光学传感器系统58的深度传感器可以按包括照亮预定大小的默认照明区域的默认感测水平来操作。使用来自深度传感器的图像数据，资源管理程序14可以确定第一用户304前方的当前照明区域的大小小于默认照明区域的预定大小。因此，资源管理程序14可被配置成降低深度传感器的照明输出以与当前照明区域的较小大小相对应。以此方式，深度传感器的照明系统所消耗的功率也可被降低。

在另一示例中，资源管理系统10可包括其他操作模式，诸如可被选择来使传感器数据收集以及相关联的保真度优先于功率管理的快速响应模式。在这一示例中，在资源管理系统10或用户选择快速响应模式时，这样的模式可以覆盖资源管理程序14以维持或增加一个或多个传感器所消耗的功率，并且从而增加传感器保真度。例如，在用户转移到新环境时，一个或多个光学传感器的分辨率、频率，和/或功率可被增加以更好地捕捉该用户所处的新物理空间。在其他示例中，像素装箱(binning)可被使用以达到降低的分辨率深度显示来以较高帧率(较低保真度)检测粗略的手势，或者较高的分辨率可以按较低的帧率被使用以用于表面重构。

在另一示例中，资源管理程序14可被配置成确定用户已经从用户的头部移除了HMD设备。资源管理程序14随后可调整一个或多个传感器以按降低的功率模式操作。例如，在第一用户304移除HMD设备42且将它置于一表面上时，位置传感器系统62可以检测到没有移动。在无移动达预定时段(诸如例如30秒)之后，资源管理程序14可以调整位置传感器系统62以按降低的功率模式来操作。

在另一示例中，资源管理程序14可被配置成确定用户正在入睡或已睡着。资源管理程序14随后可调整一个或多个传感器以按降低的功率模式操作。例如，在预定时段(诸如例如30秒)之后，面向内的传感器208可以提供示出第一用户304的眼睑已闭合的用户图像信息。基于这一信息，资源管理程序14可以确定第一用户304在睡觉，且可相应地调整一个或多个传感器以按降低的功率模式操作。

在另一示例中，在预定时段(诸如例如1分钟)之后，位置传感器系统62可以提供示出第一用户的头部以重复的方式向下点头的位置数据。基于这一数据，资源管理程序14可以确定第一用户304在入睡，且可相应地调整一个或多个传感器来按降低的功率模式操作。

在另一示例中，目标信息也可在用户正在体验的虚拟环境中检测。例如，给定由用户正在运行的增强现实应用所通知的特定用户上下文，资源管理程序14可以基于来自虚拟环境的目标信息来调整一个或多个传感器。

图4A、4B和4C示出根据本公开的一实施例的用于管理HMD设备中的资源的方法400的流程图。参考以上描述并在图1和2中示出的资源管理系统10的软件和硬件组件来提供方法400的以下描述。可以理解，方法400还可在使用其他合适的硬件和软件组件的其他上下文中来执行。

参考图4A，在404，方法400可包括提供HMD设备34，该HMD设备34被配置成由用户佩戴且起作用地连接到计算设备22，其中该HMD设备包括多个传感器和用于呈现全息对象的显示系统46。在408，方法400可包括按默认功率模式来操作所述多个传感器中的所选传感器以达到所选的传感器保真度水平。在412，方法400可包括从所述多个传感器中的一个或多个传感器接收用户相关信息，其中该用户相关信息选自包括以下各项的组：音频信息、用户注视信息、用户位置信息、用户移动信息、用户图像信息，以及用户生理信息。

在414，方法400可包括确定是否在用户相关信息中检测到目标信息。在416，方法400可任选地包括从包括以下各项的组中选择目标信息：标识上下文的音频信息、固定于全息对象或物理对象上的用户注视、预定位置处的用户位置、用户低于移动阈值的移动、指示用户身体部位的图像信息，以及指示低于意识阈值的用户意识的意识相关用户生理信息。在418，并且在检测到所述目标信息的情况下，方法400可包括调整所选传感器以按比所述默认功率模式使用更少功率的降低的功率模式来操作，从而达到降低的传感器保真度水平。

在420，方法400可任选地包括从所述多个传感器中的一个或多个传感器接收物理环境信息。现在参考图4B，在422，方法400可任选地包括确定是否在物理环境信息中检测到目标信息。在424，并且在检测到所述目标信息的情况下，方法400可任选地包括调整所选传感器以按比所述默认功率模式使用更少功率的降低的功率模式来操作，从而达到降低的传感器保真度水平。

在426，方法400可任选地包括经由网络从HMD设备外部的外部源接收物理环境信息。在428，且基于从外部源接收到物理环境信息，方法400可任选地包括调整所选传感器来按降低的功率模式操作。在430，物理环境信息可任选地包括物理对象图像数据。在432，所述多个传感器中的一个或多个传感器可任选地包括光学传感器。在434，方法400可任选地包括确定光学传感器是否捕捉到阈值量的物理对象图像数据。在436，并且在已捕捉到阈值量的物理对象图像数据的情况下，方法400可任选地包括调整所述光学传感器以按比所述默认功率模式使用更少功率的降低的功率模式来操作，从而达到降低的传感器保真度水平。

在438，所选传感器可任选地包括位置传感器，且所述目标信息可任选地包括低于移动阈值的用户移动。现在参考图4C，在440，方法400可任选地包括使用位置传感器来检测用户移动低于移动阈值。在442且基于检测到所述用户移动低于所述移动阈值，方法400可任选地包括调整所述位置传感器以按所述降低的功率模式来操作。

在444，所述多个传感器可任选地包括话筒。在446，方法400可任选地包括在没有检测到目标音频时以较低的轮询频率来操作话筒。在448且在检测到目标音频时，方法400可任选地包括调整话筒以比所述较慢轮询频率更大的较快轮询频率来操作。

在450，多个传感器可任选地包括眼睛跟踪传感器，且目标信息可任选地包括对全息对象或物理环境中的物理对象之一的用户的注视。在452，方法400可任选地包括使用所述眼睛跟踪传感器检测对所述全息对象或所述物理对象之一的用户的注视。在454且基于检测到用户的注视，方法400可任选地包括降低HMD设备的显示系统的照明输出。

图5示意性示出了可以执行上述方法和过程之中的一个或更多个的计算系统500的非限制性实施例。计算设备22可以采取计算系统500的形式。以简化形式示出了计算系统500。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统500可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。如上所述，在一些示例中，计算系统22可以被集成到HMD设备。

如图5所示，计算系统500包括逻辑子系统504和存储子系统508。计算系统500可以任选地包括显示子系统512、通信子系统516、传感器子系统520、输入子系统522和/或图5中未示出的其他子系统和组件。计算系统500还可包括计算机可读介质，其中该计算机可读介质包括计算机可读存储介质和计算机可读通信介质。计算系统500还可以任选地包括其他用户输入设备，诸如例如键盘、鼠标、游戏控制器，和/或触摸屏等等。此外，在某些实施例中，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库，和/或包括一个或多个计算机的计算系统中的其他计算机程序产品。

逻辑子系统504可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。

逻辑子系统504可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。

存储子系统508可包括被配置为保持可由逻辑子系统504执行以实现此处所述的方法和过程的数据和/或指令的一个或多个物理持久设备。在实现此类方法和过程时，存储子系统508的状态可以被变换(例如，以保持不同的数据)。

存储子系统508可以包括可移动介质和/或内置设备。存储子系统508可包括光学存储设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储子系统508可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址，以及内容可寻址。

在一些实施例中，可以将逻辑子系统504和存储子系统508的各方面可以集成在一个或多个共同设备中，通过该一个或多个共同设备，可以至少部分地实施本文所述的功能。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。

图5还示出以可移动计算机可读存储介质524形式的存储子系统508的一方面，该介质可以用于存储可执行以实现此处所述的方法和过程的数据和/或指令。可移动计算机可读存储介质524尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘的形式。

将明白，存储子系统508包括一个或多个物理持久设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以通过纯信号来传播。

在被包括时，显示子系统512可用于呈现由存储子系统508保存的数据的视觉表示。由于以上所描述的方法和过程改变了由存储子系统508保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统512的状态以在视觉上表示底层数据的改变。显示子系统512可包括利用几乎任何类型的技术的一个或多个显示设备。可以将此类显示设备与逻辑子系统504和/或存储子系统508一起组合在共享封装中，或者此类显示设备可以是外围触摸显示设备。显示子系统可包括例如第一HMD设备34的显示系统46、透明显示器50，以及不透明层52。

在被包括时，通信子系统516可以被配置成将计算系统500与一个或多个网络和/或一个或多个其他计算设备可通信地耦合。通信子系统516可包括与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统516可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，通信子系统可允许计算系统500经由诸如因特网之类的网络发送消息至其他设备和/或从其他设备接收消息。

传感器子系统520可包括被配置成感测不同的物理现象(例如，可见光、红外光、声音、加速度、取向、位置等)的一个或多个传感器，如上所述。例如，传感器子系统520可以包括一个或多个眼睛跟踪传感器、图像传感器、话筒、诸如加速度计之类的运动传感器、触摸板、触摸屏和/或任何其他合适的传感器。传感器子系统520例如可以被配置为向逻辑子系统504提供观测信息。如上所述，诸如眼睛跟踪信息、图像信息、音频信息、环境光信息、深度信息、位置信息、运动信息，和/或任何其他合适的传感器数据等观测信息可被用来执行上述方法和过程。

在一些实施例中，传感器子系统520可包括深度相机(例如图2的面向外的传感器212)。深度相机可包括例如立体视觉系统的左和右相机。来自两个相机的时间解析的图像可被相互配准并可被组合来产生深度解析的视频。在其他实施例中，如上所述，深度相机可以是结构化光深度相机或飞行时间相机。

在一些实施例中，传感器子系统520可包括可见光相机，如数码相机。可以使用基本上任何类型的数字相机技术而不背离本公开的范围。作为非限制的示例，可见光相机可包括电荷耦合设备图像传感器。

在被包括时，输入子系统522可包括一个或多个传感器或用户输入设备(诸如游戏控制器、姿势输入检测设备、语音识别器、惯性测量单元、键盘、鼠标、或触摸屏)或与它们对接。在某些实施例中，输入子系统522可以包括所选的自然用户输入(NUI)部件或与其结合。这样的部件可以是集成式的或者是外设，并且输入动作的转换和/或处理可以在板上或板下处理。NUI部件的示例可包括用于语言和/或语音识别的微电话；用于机器版本和/或姿势识别的红外、颜色、超声波和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。

术语“程序”可用于描述被实现来执行一个或多个特定功能的资源管理系统10的一个方面。在某些情况下，可以经由执行存储子系统504所保持的指令的逻辑子系统508来实例化这样的程序。要理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等来实例化不同程序。同样，相同的程序可以由不同的应用、服务、代码块、对象、例程、API、功能等来实施例化。术语“程序”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示次序执行、按其他次序执行、并行地执行，或者在某些情况下被省略。同样，可以改变上述过程的次序。

本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作，和/或特性，以及其任何和全部等效方案的所有新颖和非显而易见的组合和子组合。

Claims (10)

1.一种资源管理系统，包括：

头戴式显示设备，所述头戴式显示设备被配置成由用户佩戴且起作用地连接到计算设备，所述头戴式显示设备包括多个传感器和用于呈现全息对象的显示系统；以及

由所述计算设备的处理器执行的资源管理程序，所述资源管理程序被配置成：

按默认功率模式来操作所述多个传感器中的所选传感器以达到所选的传感器保真度水平；

从所述多个传感器中的一个或多个传感器接收用户相关信息，所述用户相关信息选自包括以下各项的组：音频信息、用户注视信息、用户位置信息、用户移动信息、用户图像信息以及用户生理信息；

确定是否在所述用户相关信息中检测到目标信息；以及

在检测到所述目标信息的情况下，调整所选传感器以按比所述默认功率模式使用更少功率的降低的功率模式来操作，从而达到降低的传感器保真度水平。

2.如权利要求1所述的资源管理系统，其特征在于，所述多个传感器选自包括以下各项的组：光学传感器、位置传感器、眼睛跟踪传感器以及话筒。

3.如权利要求1所述的资源管理系统，其特征在于，所述资源管理程序被进一步配置成：

从所述多个传感器中的一个或多个传感器接收物理环境信息；以及

确定是否在所述物理环境信息中检测到所述目标信息。

4.如权利要求3所述的资源管理系统，其特征在于，所述多个传感器中的所述一个或多个传感器包括光学传感器，所述物理环境信息包括物理对象图像数据，且所述资源管理程序被进一步配置成：

确定所述光学传感器是否捕捉到阈值量的所述物理对象图像数据；以及

在捕捉到所述阈值量的所述物理对象图像数据时，调整所述光学传感器以按比所述光学传感器的默认功率模式使用更少功率的所述降低的功率模式来操作。

5.如权利要求1所述的资源管理系统，其特征在于，所选传感器包括位置传感器，所述目标信息包括所述用户低于移动阈值的移动，且所述资源管理程序被进一步配置成：

使用所述位置传感器来检测所述用户的移动低于所述移动阈值；以及

基于检测到所述用户的所述移动低于所述移动阈值，调整所述位置传感器以按所述降低的功率模式来操作。

6.一种用于管理头戴式显示设备中的资源的方法，包括：

提供所述头戴式显示设备，所述头戴式显示设备被配置成由用户佩戴且起作用地连接到计算设备，所述头戴式显示设备包括多个传感器和用于呈现全息对象的显示系统；

按默认功率模式来操作所述多个传感器中的所选传感器以达到所选的传感器保真度水平；

从所述多个传感器中的一个或多个传感器接收用户相关信息，所述用户相关信息选自包括以下各项的组：音频信息、用户注视信息、用户位置信息、用户移动信息、用户图像信息以及用户生理信息；

确定是否在所述用户相关信息中检测到目标信息；以及

在检测到所述目标信息的情况下，调整所选传感器以按比所述默认功率模式使用更少功率的降低的功率模式来操作，从而达到降低的传感器保真度水平。

7.如权利要求6所述的管理资源的方法，其特征在于，所述目标信息选自包括以下各项的组：标识上下文的音频信息、固定于全息对象或物理对象上的用户注视、预定位置处的用户位置、低于移动阈值的用户移动、指示用户身体部位的图像信息以及指示低于意识阈值的用户意识的意识相关用户生理信息。

8.如权利要求6所述的方法，其特征在于，所述多个传感器包括话筒，并且所述方法还包括：

在没有检测到目标音频时以较慢的轮询频率来操作所述话筒；以及

在检测到所述目标音频时，调整所述话筒以大于所述较慢轮询频率的较快轮询频率来操作。

9.如权利要求6所述的管理资源的方法，其特征在于，所述多个传感器包括眼睛跟踪传感器，所述目标信息包括对所述全息对象或物理对象之一的用户的注视，并且所述方法还包括：

使用所述眼睛跟踪传感器检测对所述全息对象或所述物理对象之一的所述用户的注视；以及

基于检测到所述用户的注视，降低所述头戴式显示设备的所述显示系统的照明输出。

10.如权利要求6所述的方法，其特征在于，所选传感器包括位置传感器，所述目标信息包括所述用户低于移动阈值的移动，并且所述方法还包括：

使用所述位置传感器来检测所述用户的移动低于所述移动阈值；以及

基于检测到所述用户的所述移动低于所述移动阈值，调整所述位置传感器以按所述降低的功率模式来操作。