CN117501702A - 具有动态转码节流的设备 - Google Patents

Abstract

用于在诸如眼睛佩戴设备的电子器件中处理资源管理和热缓解的动态转码节流方法和设备。电子器件监测其温度，并响应于该温度，将转码服务配置为以不同的速率操作。帧延迟模块被配置为在转码服务之前在读取的帧之间添加延迟。这使得电子器件能够在温度过高时消耗更少的功率以提供热缓解，并且能够在不使电子器件断电的情况下执行。

Description

具有动态转码节流的设备

相关申请的交叉引用

本申请要求于2021年7月12日提交的美国申请序列号17/373,559和于2021年6月9日提交的临时申请序列号63/208,937的优先权，两者的内容通过引用完全并入本文。

技术领域

本公开中阐述的示例涉及扩展现实(XR；例如，增强现实、虚拟现实和混合现实)以及诸如移动设备和眼睛佩戴设备的电子器件的领域。更具体地，但不作为限制，本公开描述了当对扩展现实图像进行转码时进行动态节流以用于处理功率管理和热缓解。

背景技术

扩展现实设备在显示器上生成并呈现图像(例如，覆盖图)以供用户观看。设备可以记录并存储图像以供日后查看。设备通常以视频文件格式(例如，MP4)将图像存储在存储器中。设备还可以将原始视频文件格式(例如，MP4)转码为一个或多个其他视频文件格式。一个或多个其他视频文件格式可以是不同的视频文件格式(例如，MOV、WMV、FLV、AVI等)或可以是具有不同属性的相同视频文件格式(例如，具有不同比特率、帧率、分辨率或它们的组合的MP4)。对视频文件进行转码会消耗处理能力并生成热量。

附图说明

所公开的各种实施方式的特征从参照附图的以下详细描述中将容易地理解。在描述和整个附图的若干个视图中，每个元件都使用参考数字。当存在多个相似元件时，单个参考数字可以被分配给类似的元件，其中附加的小写字母指代具体的元件。

图中显示的各个元件除非另有指示，否则不按比例绘制。为了清楚起见，各个元件的尺寸可以放大或缩小。这几幅图描绘了一个或多个实施方式，并仅通过示例的方式呈现，而不应被解释为限制性的。附图中包括以下各图：

图1A是适用于功率模式配置系统的眼睛佩戴设备的示例硬件配置的(右)侧视图；

图1B是图1A的眼睛佩戴设备的右角部的透视局部剖视图，描绘了右可见光相机和电路板；

图1C是图1A的眼睛佩戴设备的示例硬件配置的(左)侧视图，其示出了左可见光相机；

图1D是图1C的眼睛佩戴设备的左角部的透视局部剖视图，描绘了左可见光相机和电路板；

图2A和2B是扩展现实制作系统中使用的眼睛佩戴设备的示例硬件配置的后视图；

图3是三维场景、由左可见光相机捕获的左原始图像和由右可见光相机捕捉的右原始图像的图示；

图4A是示例功率模式配置系统的功能框图，包括实施扩展现实制作系统的电子器件(例如，眼睛佩戴设备)和经由各种网络连接到电子器件的服务器系统；

图4B是示出转码服务处理流程的功能框图；

图5是图4A的扩展现实制作系统的移动设备的示例硬件配置的图示；

图6是用户在描述扩展现实制作系统中的同步定位和映射中使用的示例环境中的示意图；

图7是列出使用多个传感器确定眼睛佩戴设备在环境内的位置的示例方法中的步骤的流程图；

图8A和8B是列出用于热管理的可穿戴电子器件中的动态功率配置的示例方法中的步骤的流程图。

图9A和9B是分别描绘了可穿戴电子器件中的片上系统净功率与转码操作速率的关系以及片上系统净能量与转码的关系的图表。

具体实施方式

参照包括用于在诸如眼睛佩戴设备的电子器件中处理资源管理和热缓解的动态转码节流的方法的示例来描述各种实施方式和细节。电子器件监测其温度，并响应于温度配置转码服务以在不同的速率下进行操作(例如，防止过热)。帧延迟模块被配置为在转码服务之前的读取的帧之间添加延迟。这使得电子器件能够在温度过高时消耗更少的功率以提供热缓解，并且能够在不使电子器件断电的情况下执行。

以下详细描述包括说明本公开中阐述的示例的系统、方法、技术、指令序列和计算机器程序产品。许多细节和示例被包括在内，出于提供对所公开主题及其相关教导的透彻理解的目的。然而，相关领域技术人员可以理解在没有这些细节的情况下如何应用相关教导。所公开主题的各方面不局限于所描述的具体设备、系统和方法，因为相关教导可以以各种方式应用或实践。本文中使用的术语和命名仅是出于描述特定方面的目的，并非旨在是限制性的。一般而言，众所周知的指令实例、协议、结构和技术不一定详细显示。

如本文中使用的术语“被耦合”或“被连接”是指包括链路或类似物的任何逻辑连接、光学连接、物理连接或电气连接，通过该连接，由一个系统元件产生或供应的电信号或磁信号被传递到另一个被耦合或被连接的系统元件。除非另有描述，否则被耦合或被连接的元件或设备不一定直接彼此连接，并且可以由中间部件、元件或通信介质分隔开，其中的一个或多个可以修改、操纵或携带电信号。术语“在……上”意味着由一个元件直接支撑，或者由元件通过集成到该元件中或被其支撑的另一个元件间接支撑。

出于说明和讨论目的，仅通过示例的方式给出设备和相关部件以及结合诸如任何附图中所示的相机和/或惯性测量单元的任何其他完整设备的取向。在操作中，眼睛佩戴设备可以在适合眼睛佩戴设备的特定应用的任何其他方向上取向；例如，向上、向下、侧向或任何其他取向。此外，在本文所使用的范围内，任何方向术语，诸如前、后、内、外、朝向、左、右、横向、纵向、上、下、上方、下方、顶、底、侧、水平、垂直和对角线，仅作为示例而使用，并且不限制如本文以其他方式所述的所构造的任何相机和/或惯性测量单元的方向或取向。

在一个示例中，眼睛佩戴设备提供扩展现实服务。眼睛佩戴设备包括被配置为佩戴在用户头部上的镜框、由镜框支撑的相机系统(该相机系统包含第一相机和第二相机)、由镜框支撑的显示系统、由该镜框支撑的温度传感器、被配置为检测眼睛佩戴设备的温度的温度传感器以及由镜框支撑的电子器件，该电子器件耦合到相机系统、显示系统和温度传感器，其中电子器件具有至少两种功率配置模式并且包括处理系统。处理系统被配置为运行眼睛佩戴设备的应用服务，应用服务中的至少一个被配置为使用相机系统或显示系统中的至少一个；监测温度传感器的温度，将所监测的温度与阈值温度进行比较，响应于所监测的温度达到阈值温度，向至少一个应用服务通知从至少两种功率配置模式中的第一功率配置模式到至少两种功率配置模式中的第二功率配置模式的即将到来的改变，以及在通知至少一个应用服务之后将电子器件从第一功率配置模式改变为第二功率配置模式。

在另一示例中，一种与提供扩展现实服务的眼睛佩戴设备一起使用的方法包括：在眼睛佩戴设备的电子器件上运行应用服务，其中至少一个应用服务被配置为使用相机系统或显示系统中的至少一个来监测眼睛佩戴设备的温度；将所监测的温度与阈值温度进行比较；响应于所监测的温度达到阈值温度，向至少一个应用服务通知从电子器件的至少两种功率配置模式中的第一功率配置模式到电子器件的至少两种功率配置模式的第二功率配置模式的即将到来的改变，以及在通知应用服务之后将电子器件从第一功率配置模式改变为第二功率配置模式。

在另一示例中，非瞬态计算机可读介质包括用于配置提供扩展现实服务的眼睛佩戴设备的指令。当由眼睛佩戴设备的处理系统执行指令时，该指令将处理系统配置为执行包括：在眼睛佩戴设备的电子器件上运行应用服务，其中至少一种应用服务被配置为使用相机系统或显示系统中的至少一个监测眼睛佩戴设备的温度；将所监测的温度与阈值温度进行比较；响应于所监测的温度达到阈值温度，向至少一个应用服务通知从电子器件的至少两种功率配置模式中的第一功率配置模式到电子器件的至少二种功率配置模式中的第二功率配置模式的即将到来的改变，以及在通知应用服务之后将电子器件从第一功率配置模式改变为第二功率配置模式。

示例的额外目的、优点和新颖特征将在以下描述中部分地阐述，并且在检查以下内容和附图时，部分地将对本领域技术人员而言变得显而易见，或者可以通过示例的生产或操作获知。本主题的目的和优点可以借助于所附权利要求中特别指出的方法、工具和组合来实现或达到。

现在详细参照附图中示出和下面讨论的示例。

图1A是包括触敏输入设备或触摸板181的眼睛佩戴设备100的示例硬件配置的(右)侧视图。如图所示，触摸板181可以具有不易察觉的且不容易看到的边界；可替选地，边界可以是明显可见的，或者包括凸起或其他触觉边缘，用于向用户提供关于触摸板181的位置和边界的反馈。在其他实施方式中，眼睛佩戴设备100可以包括位于左侧的触摸板。

触摸板181的表面被配置为检测手指触摸、轻敲和手势(例如，移动触摸)，以便与眼睛佩戴设备在图像显示器上显示的GUI一起使用，从而允许用户以直观的方式浏览和选择菜单选项，这增强并简化了用户体验。

对触摸板181上的手指输入的检测能够实现多种功能。例如，触摸触摸板181上的任何位置可以使得GUI在图像显示器上显示或高亮项目，该项目可以被投射到光学组件180A、180B中的至少一个上。双击触摸板181可以选择项目或图标。在特定方向滑动或轻扫手指(例如，从前到后、从后到前、从上到下或从下到上)可致使项目或图标在特定方向上滑动或滚动；例如，移动到下一个项目、图标、视频、图像、页面或幻灯片。在另一个方向上滑动手指则可在相反的方向上滑动或滚动；例如，移动到上一个项目、图标、视频、图像、页面或幻灯片。触摸板181能够虚拟地在眼睛佩戴设备100上的任何地方。

在一个示例中，所识别的触摸板181上的单次轻敲的手指手势发起了对在光学组件180A、180B的图像显示器上呈现的图像中的图形用户界面元素的选择或按压。基于所识别的手指手势对光学组件180A、180B的图像显示器上呈现的图像的调整可以是主要动作，其选择或提交光学组件180A、180B的图像显示器上的图形用户界面元素以供进一步显示或执行。

如所示，眼睛佩戴设备100包括右可见光相机114B。如本文中进一步描述的，两个相机114A、114B从两个分离的视点捕获场景的图像信息。两个所捕获的图像可被用于将三维显示器投射到图像显示器上以供3D眼镜观看。

眼睛佩戴设备100包括具有图像显示器的右光学组件180B，以呈现图像，诸如深度图像。如图1A和1B所示，眼睛佩戴设备100包括右可见光相机114B。眼睛佩戴设备100能够包括多个可见光相机114A、114B，其形成被动类型的三维相机，诸如立体相机，其中右可见光相机114位于右角部110B上。如图1C-D所示，眼睛佩戴设备100还包括左可见光相机114A。

左可见光相机114A和右可见光相机114B对可见光范围波长敏感。可见光相机114A、114B中的每一个都具有不同的朝前面向的视场，该视场被重叠以实现三维深度图像的生成，例如，右可见光相机114描绘了右视场111B。通常，“视场”是通过相机在空间中的特定位置和取向上可见的场景的一部分。视场111A和111B具有重叠的视场304(图3)。当可见光相机捕获图像时，视场111A、111B之外的对象或对象特征不会被记录在原始图像(例如，照片或图片)中。视场描述了可见光相机114A、114B的图像传感器在给定场景的所捕获的图像中拾取给定场景的电磁辐射的角度范围或程度。视场能够表示为视锥的角度大小；即，视角。视角能够是水平、竖直或对角测量的。

在一个示例中，可见光相机114A、114B具有视角在40°到110°之间(例如大约100°)的视场，并且具有480x 480像素或更高的分辨率。“覆盖角”描述了可见光相机114A、114B或红外相机410(见图2A)的透镜能够有效成像的角度范围。通常，相机透镜产生像圆(imagecircle)，其足够大以完全覆盖相机的胶片或传感器，可能性地包括一些渐晕(例如，与中心相比，图像朝向边缘变暗)。如果相机镜头的覆盖角没有填满传感器，则像圆将是可见的，通常朝向边缘具有较强的渐晕，并且有效视角将被限于覆盖角。

此类可见光相机114A、114B的示例包括高分辨率互补金属氧化物半导体(CMOS)图像传感器和能够实现分辨率为640p(例如，640x 480像素，总计0.3兆像素)、720p或1080p的数字VGA相机(视频图形阵列)。相机114A、114B可以是其中传感器阵列的各条线按顺序曝光的滚动快门相机，或者可以是其中传感器阵列的所有线被同时揭露的全局快门相机。可以使用可见光相机114A、114B的其他示例，其能够例如捕获高清晰度(HD)静态图像并以1642乘1642像素(或更高)的分辨率存储它们；或以高帧率(例如，每秒30到60帧或更高)录制高清晰度视频，并以1216乘1216像素(或更高)的分辨率存储录像。

眼睛佩戴设备100可以捕获来自可见光相机114A、114B的图像传感器数据以及由图像处理器数字化的地理位置数据，以存储在存储器中。可见光相机114A、114B在二维空间域中捕获包括二维坐标系上的像素矩阵的相应的左和右原始图像，该二维坐标系包括用于水平位置的X轴和用于垂直位置的Y轴。每个像素都包括颜色属性值(例如，红色像素光值、绿色像素光值或蓝色像素光值)；以及位置属性(例如，X轴坐标和Y轴坐标)。

为了捕获立体图像以便稍后显示为三维投影，图像处理器412(如图4A所示)可以被耦合到可见光相机114A、114B以接收和存储视觉图像信息。图像处理器412或另一处理器控制可见光相机114A、114B的操作以充当模拟人类双眼视觉的立体相机，并且可以向每个图像添加时间戳。每对图像上的时间戳允许将图像作为三维投影的一部分一起显示。三维投影产生了一种沉浸式的、栩栩如生的体验，这在各种扩展现实环境中都是理想的。

图1B是图1A的眼睛佩戴设备100的右角部110B的透视剖视图，描绘了相机系统的右可见光相机114B和电路板140B。图1C是图1A的眼睛佩戴设备100的示例硬件配置的(左)侧视图，其示出了相机系统的左可见光相机114A。图1D是图1C的眼睛佩戴设备的左角部110A的透视剖视图，描绘了三维相机的左可见光相机114A和电路板140A。左可见光相机114A的构造和放置基本上类似于右可见光相机114B，除了连接和耦合在左横向侧170A上。

如图1B的示例中所示，眼睛佩戴设备100包括右可见光相机114B和电路板140B，电路板可以是柔性印刷电路板(PCB)。右铰链126B将右角部110B连接到眼睛佩戴设备100的右镜腿125B。在一些示例中，右可见光相机114B、柔性PCB 140B或其他电连接器或触点的部件可以位于右镜腿125B或右铰链126B上。

右角部110B包括角体190和角帽，其中在图1B的剖视图中省略了角帽。设置在右角部110B内部的是各种互连的电路板，诸如PCB或柔性PCB，其包括用于右可见光相机114B的控制器电路、一个或多个麦克风、低功率无线电路(例如，用于经由Bluetooth^TM进行无线短程网络通信)，高速无线电路(例如，用于经由Wi-Fi进行无线局域网通信)。

右可见光相机114B被耦合到柔性PCB 140B或被设置在柔性PCB 140B上，并由可见光相机盖透镜覆盖，该可见光相机盖透镜通过在镜框105中形成的一个或多个开口瞄准。例如，如图2A所示，镜框105的右镜缘107B被连接到右角部110B，并且包括用于可见光相机盖透镜的一个或多个开口。镜框105包括前侧，该前侧被配置为面朝外并且远离用户的眼睛。用于可见光相机盖透镜的开口形成在镜框105的前侧或面朝外一侧上并穿过镜框105的前侧或面朝外一侧。在该示例中，右可见光相机114B具有面朝外的视场111B(如图3所示)，其视线或视角与眼睛佩戴设备100的用户的右眼相关联。可见光相机盖透镜也可以粘附到右角110B的前侧或面朝外的表面，其中开口形成为具有面朝外的覆盖角，但在朝外方向上不同。耦合也可以通过介入部件而是间接的。

如图1B所示，柔性PCB 140B设置在右角部110B内部，并且耦合到容纳在右角部110B中的一个或多个其它部件。尽管示出为形成在右角部110B的电路板上，但是右可见光相机114B可以形成在左角部110A的电路板、镜腿125A、125B或镜框105上。

如图1D的示例中所示，眼睛佩戴设备100包括左可见光相机114A和电路板140A，电路板140A可以是柔性印刷电路板(PCB)。左铰链126A将左角部110A连接到眼睛佩戴设备100的左镜腿125A。在一些示例中，左可见光相机114A、柔性PCB 140A或其他电连接器或触点的部件可以位于左镜腿125A或左铰链126A上。

左角部110A包括角体190和角帽，其中在图1D的剖面图中省略了角帽。布置在左角部110A内部的是各种互连电路板，诸如PCB或柔性PCB，其包括用于左可见光相机114A的控制器电路、一个或多个麦克风、低功率无线电路(例如，用于经由Bluetooth^TM进行无线短程网络通信)，高速无线电路(例如，用于经由Wi-Fi进行无线局域网通信)。

左可见光相机114A被耦合到柔性PCB 140A或设置在柔性PCB 140B上，并由可见光相机盖透镜覆盖，该可见光相机透镜通过形成在镜框105中的一个或多个开口瞄准。例如，如图2A所示，镜框105的左镜缘107A被连接到左角部110A，并且包括用于可见光相机盖透镜的一个或多个开口。镜框105包括前侧，该前侧被配置为面朝外并且远离用户的眼睛。用于可见光相机盖透镜的开口形成在镜框105的前侧或面朝外一侧上并穿过镜框105的前侧或面朝外一侧。在该示例中，左可见光相机114A具有面朝外的视场111A(如图3所示)，其视线或视角与眼睛佩戴设备100的用户的左眼相关。可见光相机盖透镜也能够粘附到左角部110A的前侧或面朝外的表面，其中开口形成有面朝外的覆盖角，但在朝外方向上不同。耦合也可以通过介入部件而是间接的。

如图1D所示，柔性PCB 140A设置被在左角部110A内部，并且被耦合到容纳在左角部110A中的一个或多个其它部件。尽管示出为形成在左角部110A的电路板上，但是左可见光相机114A也能够被形成在右角部110B的电路板、镜腿125A、125B或镜框105上。

图2A和2B是包括两种不同类型的图像显示器的眼睛佩戴设备100的示例硬件配置的从后方观看的透视图。眼睛佩戴设备100的尺寸和形状被构造成供用户佩戴的形式；在该示例中示出了眼镜的形式。眼睛佩戴设备100能够采用其他形式，并且可以包括其他类型的框架；例如，头套、耳机或头盔。

在眼镜示例中，眼睛佩戴设备100包括镜框105，镜框105包括左镜缘107A，其经由适于由用户的鼻子支撑的鼻梁架106连接到右镜缘107B。左镜缘107A和右镜缘107B包括相应的孔径175A、175B，其保持相应的光学元件180A、180B，诸如透镜和显示设备。如本文所用，术语“透镜”意指包括透明或半透明的玻璃片或塑料片，其具有致使光会聚/发散或致使很少或没有会聚或发散的弯曲或平坦的表面。

尽管示出为具有两个光学元件180A、180B，但是取决于眼睛佩戴设备100的应用或预期用户，眼睛佩戴设备100能够包括其他布置，诸如单个光学元件(或者它可以不包括任何光学元件180A、180B)。如进一步所示，眼睛佩戴设备100包括与镜框105的左横向侧170A相邻的左角部110A和与镜框105的右横向侧170B相邻的右角部110B。角部110A、110B可以在相应侧170A、170B上被集成到镜框105中(如图所示)，或者实施为在相应侧170、170B附接到镜框105的单独部件。可替选地，角部110A、110B可以被集成到附接到镜框105的镜腿(未示出)中。

在一个示例中，光学组件180A、180B的图像显示器包括集成图像显示器。如图2A所示，每个光学组件180A、180B包括合适的显示矩阵177，诸如液晶显示器(LCD)、有机发光二极管(OLED)显示器或任何其他此类显示器。每个光学组件180A、180B还包括一个或多个光学层176，该光学层176可以包括透镜、光学涂层、棱镜、反射镜、波导、光学条带以及任何组合的其他光学部件。光学层176A、176B……176N(如图2A和本文中的176A-N所示)能够包括棱镜，该棱镜具有合适的尺寸和构造，并包括用于从显示矩阵接收光线的第一表面和用于向用户眼睛发射光线的第二表面。光学层176A-N的棱镜可以在左镜缘和右镜缘107A、107B中形成的相应的孔径175A、175B的全部或至少一部分上方延伸，以允许用户在用户眼睛透过对应的左镜缘和右镜缘107A、107B观看时看到棱镜的第二表面。光学层176A-N的棱镜的第一表面从镜框105面向上，并且显示矩阵177覆盖在棱镜上，以便由显示矩阵177发射的光子和光线撞击第一表面。棱镜被设计尺寸和形状成使得光线在棱镜内折射，并由光学层176A-N的棱镜的第二表面引导朝向用户的眼睛。在这方面，光学层176A-N的棱镜的第二表面可以是凸面，以将光线引导朝向眼睛的中心。棱镜可以可选地被设计尺寸和形状以放大由显示矩阵177投射的图像，并且光线行进穿过棱镜，以便从第二表面观看到的图像在一个或多个维度上大于从显示矩阵177发射的图像。

在一个示例中，光学层176A-N可以包括LCD层，其是透明(保持透镜打开)除非并且直到施加使该层不透明的电压(关闭或阻挡透镜)。眼睛佩戴设备100上的图像处理器412可以执行编程以将电压施加到LCD层，以便产生主动快门系统，使得眼睛佩戴设备100适合于在显示为三维投影时观看视觉内容。除了LCD之外的技术可被用于主动快门模式，包括对电压或另一类型输入做出响应的其他类型的反应层。

在另一个示例中，光学组件180A、180B的图像显示设备包括如图2B所示的投影图像显示器。每个光学组件180A、180包括激光投影仪150，该投影仪150是使用扫描镜或振镜的三色激光投影仪。在操作期间，光源(诸如激光投影仪150)被设置在眼睛佩戴设备100的镜腿125A、125B一个中或其上。在本示例中的光学组件180B包括一个或多个光学条带155A、155B……155N(如图2B中的155A-N所示)，其跨每个光学组件180A、180B的透镜宽度或跨透镜的前表面和后表面之间的透镜深度间隔开。

在由激光投影仪150投射的光子行进穿过每个光学组件180A、180B的透镜时，光子遇到光学条带155A-N。当特定光子遇到特定光学条带时，该光子转向用户的眼睛、或传到下一个光学条带。对激光投影仪150的调制和对光学条带的调制的组合可以控制具体的光子或光束。在示例中，处理器通过发出机械信号、声学信号或电磁信号来控制光学条带155A-N。尽管显示为具有两个光学组件180A、180B，但是眼睛佩戴设备100能够包括其他布置(诸如单个或三个光学组件)，或者取决于眼睛佩戴设备100的应用或预期用户，光学组件180A、B还可以布置有不同的布置。

如图2A和2B中进一步所示，眼睛佩戴设备100包括与镜框105的左横向侧170A相邻的左角部110A和与镜框105的右横向侧170B相邻的右角部110B。角部110A、110B可以在相应的横向侧170A、170B上被集成到镜框105中(如图所示)，也可以被实施为在相应的侧170A、170B上附接到镜框105的单独部件。可替选地，角部110A、110B可以被集成到被附接到镜框105的镜腿125A、125B中。

在另一示例中，图2B所示的眼睛佩戴设备100可以包括两个投影仪，左投影仪(未示出)和右投影仪150。左光学组件180A可以包括左显示矩阵(未示出)或左边组的光学条带(未示出)，它们被配置为与来自左投影仪的光相互作用。类似地，右光学组件180B可以包括右显示矩阵(未示出)或右边组的光学条带155A、155B、……155N，它们被配置为与来自右投影仪150的光相互作用。在该示例中，眼睛佩戴设备100包括左显示器和右显示器。

图3是三维场景306、由左可见光相机114A捕获的左原始图像302A和由右可见光相机114B捕获的右原始图像302B的图示。如图所示，左视场111A可以与右视场111B重叠。重叠视场304表示由两个相机114A、114B捕获的那部分图像。当涉及视场时，术语“重叠”意指所生成的原始图像中的像素矩阵重叠百分之三十(30％)或更多。“基本重叠”意指所生成的原始图像或场景的红外图像中的像素矩阵重叠百分之五十(50％)或更多。如本文所述，两个原始图像302A、302B可以被处理为包括时间戳，该时间戳允许将图像作为三维投影的一部分一起显示。

对于立体图像的捕获，如图3所示，在给定时间的时刻捕获真实场景306的一对原始红色、绿色和蓝色(RGB)图像——由左相机114A捕获的左原始图像302A和由右相机114B捕获的右原始图像302B。当这对原始图像302A、302B被处理时(例如，由图像处理器412；图4A)，深度图像被生成。所生成的深度图像可以在眼睛佩戴设备的光学组件180A、180B上、在另一显示器(例如，移动设备401上的图像显示器580；图5)上或在屏幕上观看。

所生成的深度图像在三维空间域中，并且能够包括三维位置坐标系上的顶点矩阵，该坐标系包括用于水平位置的X轴(例如，长度)、用于竖直位置的Y轴(例如，高度)和用于深度的Z轴(例如，距离)。每个顶点可以包括颜色属性(例如，红色像素光值、绿色像素光值或蓝色像素光值)；位置属性(例如，X位置坐标、Y位置坐标和Z位置坐标)；纹理属性；反射属性；或它们的组合。纹理属性量化了深度图像的感知纹理，诸如深度图像的顶点区域中的颜色或强度的空间排列。

在一个示例中，交互式扩展现实系统400(图4A)包括眼睛佩戴设备100，眼睛佩戴设备100包括镜框105和从镜框105的左横向侧170A延伸的左镜腿110A以及从镜框105的右横向侧170B延伸的右镜腿125B。眼睛佩戴设备100还可以包括具有重叠视场的至少两个可见光相机114A、114B。在一个示例中，眼睛佩戴设备100包括具有左视场111A的左可见光相机114A，如图3所示。左相机114A被连接到镜框105或左镜腿110A，以从场景306的左侧捕获左原始图像302A。眼睛佩戴设备100还包括具有右视场111B的右可见光相机114B。右相机114B被连接到镜框105或右镜腿125B，以从场景306的右侧捕获右原始图像302B。

图4A是具有动态功率配置的示例交互式扩展现实系统400的功能框图，该系统包括可穿戴设备(例如，眼睛佩戴设备100)、移动设备401和经由诸如互联网之类的各种网络495连接的服务器系统498。交互式扩展现实系统400包括眼睛佩戴设备100和移动设备401之间的低功率无线连接425和高速无线连接437。

如图4A所示，眼睛佩戴设备100包括具有一个或多个可见光相机114A、114B和图像处理器412的相机系统402。如本文所述，一个或多个可见光相机114A、114B捕获静态图像、视频图像或静态图像和视频图像两者。相机114A、114B可以具有对高速电路430的直接存储器访问(DMA)，并且用作立体相机。相机114A、114B可被用于捕获可被渲染成三维(3D)模型的初始深度图像，三维模型是红色、绿色和蓝色(RGB)成像场景的纹理映射图像。设备100还可以包括深度传感器213，深度传感器213使用红外信号来估计物体相对于设备100的位置。在一些示例中，深度传感器213包括一个或多个红外发射器215和一个或多个红外相机410。

眼睛佩戴设备100还包括显示系统404，该显示系统404具有图像显示驱动器442和每个光学组件180A、180B的两个图像显示器(一个与左侧170A相关联，另一个与右侧170B相关联)。眼睛佩戴设备100还包括电子器件406，例如，低功率电路420和高速电路430。每个光学组件180A、180B的图像显示器用于呈现图像，包括静态图像、视频图像或静态和视频图像。图像显示驱动器442被耦合到每个光学组件180A、180B的图像显示器，以便控制图像的显示。

眼睛佩戴设备100另外包括温度传感器408和一个或多个扬声器440(例如，一个与眼睛佩戴设备的左侧相关联，并且另一个与眼睛佩戴设备的右侧相关联)。在一个示例中，温度传感器408包括一个或多个热敏电阻，该热敏电阻定位在眼睛佩戴设备100内，邻近电子器件406。温度传感器可以从单个热敏电阻获得单个温度，或者从多个热敏电阻获得总温度。扬声器440可以结合到眼睛佩戴设备100的镜框105、镜腿125或角部110中。一个或多个扬声器440在低功率电路420、高速电路430或两者的控制下由音频处理器443驱动。扬声器440用于呈现包括例如节拍音轨(beat track)的音频信号。音频处理器443被耦合到扬声器440，以便控制声音的呈现。

图4A中所示的用于眼睛佩戴设备100的部件位于位于镜缘或镜腿中的一个或多个电路板上，例如印刷电路板(PCB)或柔性印刷电路(FPC)。可替选地或附加地，所描绘的部件能够位于眼睛佩戴设备100的角部、镜框、铰链或鼻梁架中。左可见光相机114A和右可见光相机114B能够包括数码相机元件，诸如互补金属氧化物半导体(CMOS)图像传感器、电荷耦合器件、透镜或可被用于捕获数据的任何其他相应的可见光或光捕获元件，包括具有未知物体的场景的静态图像或视频。

如图4A所示，高速电路430包括高速处理器432、存储器434和高速无线电路436。在该示例中，图像显示驱动器442被耦合到高速电路430并且由高速处理器432操作，以便驱动每个光学组件180A、180B的左图像显示器和右图像显示器。高速处理器432可以是能够管理眼睛佩戴设备100所需的任何通用计算系统的高速通信和操作的任何处理器。高速处理器432包括使用高速无线电路436来管理高速无线连接437到无线局域网(WLAN)的高速数据传输所需的处理资源。

在一些示例中，高速处理器432执行眼睛佩戴设备100的诸如LINUX操作系统或其他此类操作系统之类的操作系统，并且该操作系统被存储在存储器434中以供执行。除了任何其他职责之外，高速处理器432还执行眼睛佩戴设备100的软件架构，该软件架构被用于管理与高速无线电路436的数据传输。在一些示例中，高速无线电路436被配置为实施电气和电子工程师协会(IEEE)802.11通信标准，在本文中也称为Wi-Fi。在其他示例中，可以通过高速无线电路436来实施其他高速通信标准。

低功率电路420包括低功率处理器422和低功率无线电路424。眼睛佩戴设备100的低功率无线电路424和高速无线电路436能够包括短程收发器(Bluetooth^TM或蓝牙低能耗(BLE))和无线广域网、局域网或广域网收发器(例如，蜂窝或Wi-Fi)。移动设备401，包括经由低功率无线连接425和高速无线连接437进行通信的收发器，可以使用眼睛佩戴设备100的架构的细节来实施，网络495的其他元件也是如此。

存储器434包括能够存储各种数据和应用的任何存储设备，除其他事项外，包括由左可见光相机114A和右可见光相机114B、一个或多个红外相机410、图像处理器412生成的相机数据，以及由图像显示驱动器442生成的以在每个光学组件180A、180B的图像显示器上显示的图像。尽管存储器434被示为与高速电路430集成，但是在其他示例中，存储器434可以是眼睛佩戴设备100的独立的、单独的元件。在某些此类示例中，电气路由线路可以通过包括有高速处理器432的芯片来提供从图像处理器412或低功率处理器422到存储器434的连接。在其它示例中，高速处理器432可管理存储器434的寻址，使得低功率处理器422将在需要涉及存储器434的读取或写入操作的任何时间启动高速处理器432。

如图4A所示，眼睛佩戴设备100的高速处理器432能够被耦合到相机系统(可见光相机114A、114B)、图像显示驱动器442、用户输入设备491和存储器434。如图5所示，移动设备401的CPU 540可被耦合到相机系统570、移动显示驱动器582、用户输入层591和存储器540A。

服务器系统498可以是作为服务或网络计算系统的一部分的一个或多个计算设备，例如，其包括处理器、存储器和网络通信接口，以通过网络495与眼睛佩戴设备100和移动设备401通信。

眼睛佩戴设备100的输出部件包括视觉元件，诸如与图2A和2B中所描述的每个透镜或光学组件180A、180B相关联的左图像显示器和右图像显示器(例如，诸如液晶显示器(LCD)、等离子体显示面板(PDP)、发光二极管(LED)显示器、投影仪或波导管的显示器)。眼睛佩戴设备100可以包括面向用户的指示器(例如，LED、扬声器或振动致动器)，或者面朝外的信号(例如，LED、扬声器)。每个光学组件180A、180B的图像显示器由图像显示驱动器442驱动。在一些示例配置中，眼睛佩戴设备100的输出部件还包括附加指示器，诸如可听元件(例如，扬声器)、触觉部件(例如，致动器，诸如振动马达，以生成触觉反馈)和其他信号发生器。例如，设备100可以包括面向用户的一组指示器和面朝外的一组信号。面向用户的一组指示器被配置为由设备100的用户看到或以其他方式感测到。例如，设备100可以包括被定位成使得用户能够看到的LED显示器、被定位成生成用户能够听到的声音的一个或多个扬声器，或者被定位成提供用户能够感觉到的触觉反馈的致动器。面朝外的一组信号被配置为由设备100附近的观察者看到或以其他方式感测到。类似地，设备100可以包括被配置和定位成由观察者感测到的LED、扬声器或致动器。

眼睛佩戴设备100的输入部件可以包括字母数字输入部件(例如，被配置为接收字母数字输入的触摸屏或触摸板、光电键盘或其他字母数字配置元件)、基于指针的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指示仪器)、触觉输入部件(例如，按钮开关、感测触摸或触摸手势的位置、力或位置和力的触摸屏或触摸板，或其他触觉配置元件)和音频输入部件(例如，麦克风)等。移动设备401和服务器系统498可以包括字母数字、基于指针、触觉、音频和其他输入部件。

在一些示例中，眼睛佩戴设备100包括被称为惯性测量单元472的运动感测部件的集合。运动感测部件可以是具有微小运动部件的微机电系统(MEMS)，该微小运动部件通常小到足以成为微芯片的一部分。在一些示例配置中，惯性测量单元(IMU)472包括加速度计、陀螺仪和磁力计。加速度计感测设备100相对于三个正交轴(x，y，z)的线性加速度(包括由于重力引起的加速度)。陀螺仪感测设备100围绕三个旋转轴(俯仰、滚转、偏航)的角速度。加速度计和陀螺仪能够共同提供关于设备相对于六个轴(x、y、z、俯仰、滚转、偏航)的位置、取向和运动数据。磁力计(如果存在)感测设备100相对于磁北的航向。设备100的位置可以由位置传感器(诸如GPS单元473)、用于生成相对位置坐标的一个或多个收发器、高度传感器或气压计以及其他取向传感器来确定。此类位置系统坐标还能够通过无线连接425、437经由低功率无线电路424或高速无线电路436从移动设备401接收。

IMU 472可以包括数字运动处理器或编程或者与它们协作，其从部件收集原始数据并计算关于设备100的位置、取向和运动的多个有用值。例如，能够对从加速度计收集的加速度数据进行积分，以获得相对于每个轴(x，y，z)的速度；并且再次积分以获得设备100的位置(在线性坐标x、y和z中)。来自陀螺仪的角速度数据能够被积分以获得设备100的位置(在球面坐标中)。用于计算这些有用值的编程可被存储在存储器434中，并由眼睛佩戴设备100的高速处理器432执行。

眼睛佩戴设备100可以可选地包括附加的外围传感器，诸如生物特征传感器、专业传感器或与眼睛佩戴设备100集成的显示元件。例如，外围设备元件可以包括任何I/O部件，包括输出部件、运动部件、位置部件或本文所述的任何其他此类元件。例如，生物特征传感器可以包括用于检测表情(例如，手部表情、面部表情、声音表情、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗液或脑波)、或识别人(例如基于语音、视网膜、面部特征、指纹或生物电信号诸如脑电图数据的识别)等的部件。

移动设备401可以是智能手机、平板电脑、膝上型计算机、接入点，或者能够使用低功率无线连接425和高速无线连接437与眼睛佩戴设备100连接的任何其他此类设备。移动设备401被连接到服务器系统498和网络495。网络495可以包括有线和无线连接的任何组合。

如图4A所示，交互式扩展现实系统400包括通过网络耦合到眼睛佩戴设备100的计算设备，诸如移动设备401。交互式扩展现实系统400包括用于存储指令的存储器和用于执行指令的处理器。处理器432执行交互式扩展现实系统400的指令将眼睛佩戴设备100配置为与移动设备401协作。交互式扩展现实系统400可以利用眼睛佩戴设备100的存储器434或移动设备401的存储器元件540A、540B、540C(图5)。此外，交互式扩展现实系统400可以利用眼睛佩戴设备100的处理器元件432、422或移动设备401的中央处理单元(CPU)540(图5)。此外，交互式扩展现实系统400还可以利用服务器系统498的存储器和处理器元件。在这个方面，交互式扩展现实系统400的存储器和处理功能能够在眼睛佩戴设备100、移动设备401和服务器系统498之间共享或分布。

存储器434包括歌曲文件482和虚拟对象484。歌曲文件482包括节奏(例如，节拍音轨)，以及可选地，音符和音符值的序列。音符是表示特定音高或其他音乐声音的符号。音符值包括音符相对于节奏(tempo)演奏的持续时间，并且可以包括其他质量，诸如相对于其他音符的响度、重音、发音和分句。在一些实施方式中，节奏包括默认值以及用户界面，用户可以通过该用户界面选择特定节奏以在歌曲回放期间使用。虚拟对象484包括用于识别由相机114捕获的图像中的对象或特征的图像数据。对象可以是用于在环境中定位眼睛佩戴设备100的物理特征，诸如已知的绘画或物理标记。

存储器434另外包括供处理器432执行的功率管理服务450、位置跟踪服务451、平面检测服务452、渲染服务453、过度渲染服务454、显示服务455、一个或多个后台服务456、捕获服务457和转码服务458。功率管理服务450通过在至少两种功率配置模式(例如，正常操作模式和低功率模式)之间切换来管理眼睛佩戴设备100的热操作模式。在正常操作模式中，处理资源(例如，相机、图形处理单元、显示器、诸如降噪之类的处理等)都是可用的，并且以相对高的操作速率(例如，每秒20或30帧)操作。在低功率模式中，一个或多个处理资源受到约束(例如，一个相机被启用，并且另一个被禁用)，以相对较低的操作速率(例如，每秒0到5帧)操作，诸如降噪之类的处理被关闭，或其组合。

在一个示例中，在正常操作模式中，当电子器件100的温度低于阈值温度(例如，60摄氏度)时，所有服务都在提供最佳性能的第一操作状态(例如，正常操作状态)下操作。根据该示例，在低功率模式下，当电子器件的温度达到阈值温度时，功率管理服务450通知一个或多个服务(例如，所有服务)资源正受到约束，并且它们应当转换到以更少处理资源提供可接受性能的第二操作状态(例如，自适应状态)下操作。更少的处理资源导致热缓解，这允许眼睛佩戴设备100运行得更长和更凉爽。

尽管本文描述的示例涉及具有两种操作状态的服务，但是服务可以具有两种以上的操作状态，其中，例如，与不同阈值温度和资源约束相关联的不同操作状态(例如，从以每秒45或60帧可用的两个相机，到以每秒20或30帧可用的这两个相机，再到以每秒20或30帧可用的一个相机)。此外，在功率管理服务451的控制下，不同的服务可以在不同的阈值温度下实施不同的操作状态。根据该示例，运行功率管理服务451的处理器432可以利用存储器434中维护的查找表(未示出)来指示哪个服务要转换到哪个状态以及何时转换。

在一个示例中，阈值温度是眼睛佩戴设备100在电子器件406附近的内部温度，该内部温度与眼睛佩戴设备100表面上的已知热点相关。在一个示例中，期望将眼睛佩戴设备100的表面温度保持在43摄氏度以下，这可以对应于例如64摄氏度的内部温度。

位置跟踪服务451确定眼睛佩戴设备在环境内的位置，并且平面检测服务452识别环境内的平面表面。位置跟踪服务451和平面检测服务452可以包括一个或多个跟踪器。在一个示例中，跟踪器能够被分为以下三类：

·使用一个相机，例如，自然特征跟踪器、面部跟踪器等。

·优选使用两个相机(立体)，但可以一个相机进行操作(具有潜在的降级性能，例如用于六自由度跟踪的视觉里程计(VIO))。

·需要两个相机(立体)，例如实时深度提取、平面检测。

可以同时激活多个位置跟踪和平面检测服务。当温度达到阈值温度(例如，64摄氏度)时，可以通过约束资源可用性并指示服务从正常操作状态切换到自适应状态来降低功耗(以及由此降低发热)，以适应功率管理服务450约束资源可用度——例如，通过在不需要两个相机时禁用其中一个相机(例如，上面的类别1和2)，降低一个或多个相机的帧率(例如，上面的类别1、2和3)，或它们的组合。当温度下降到低于另一阈值温度(例如，61摄氏度)时，功率管理服务450可以通过启用两个相机、增加帧率或它们的组合来恢复资源可用性。此外，功率管理服务450可以通知服务：因为资源不再受到约束，所以它们能够切换到正常操作状态。

渲染服务453负责管理在图形处理单元(GPU)上绘制新帧的频率。在正常状态下，高渲染帧率(例如，每秒45或60帧)确保动画和转换对用户来说是平滑的。在自适应状态下，渲染帧率在热压力期间降低(例如，降低到每秒30帧)以延长运行时间。

过度渲染服务454实施后期扭曲以减少AR/VR/XR耳机中的运动到光子的延迟。过度渲染边界规定了显示视场外有多少像素被渲染，以避免在执行后期扭曲后显示黑色像素(即，从而利用全显示FOV，尽管有后期扭曲，例如由于头部快速移动)。被渲染的像素越多，消耗的功率就越大。在正常状态下，显示视场之外的相对较大区域被渲染。在自适应状态下，显示视场之外的区域被减少或消除。

显示服务455在显示器上呈现图像以供用户观看。在正常状态下，显示系统汲取的电流量被设置为用以实现期望亮度水平的期望水平。在自适应状态下，电流被限制(例如，限制到正常状态电流汲取的60％)，从而用亮度换取热量减少)。此外，诸如降噪之类的处理在正常状态下是可用的。然而，在自适应状态下，可以关闭一个或多个此类处理以降低用于热缓解的功耗。例如，可以通过关闭降噪处理(例如，单独地关闭或与降低FPS一起)来逐渐降低显示图像的质量，以便保持在热极限以下。

一个或多个后台服务456在后台运行(例如，上传或转码内容)，并且因此通常不那么关键/时间敏感，并且能够被推迟，直到眼镜100返回到正常操作模式。在正常状态下，后台服务456在被调用时无约束地运行。在自适应状态下，当眼镜处于热压力下时，后台服务456被推迟并且仅在必要时运行。

捕获服务457捕获(即，记录)AR体验。在正常状态下，捕获服务457记录AR体验。在自适应状态下，捕获服务457不记录AR体验，并且通知用户他们必须首先允许眼睛佩戴设备100冷却。

转码服务458将视频文件从一种视频格式转码为另一视频格式。转码服务将原始视频文件格式(例如，MP4)转码为一个或多个其他视频文件格式。视频文件“容器(container)”格式可能会更改，也可能不会更改。在一个示例中，一个或多个其他视频文件格式可以是不同的视频文件“容器”格式(例如，MP4到MOV、WMV、FLV、AVI等)或具有不同属性的相同视频文件容器格式(例如，MP4 H.265标准到具有不同比特率、帧率、分辨率或它们的组合的MP4 H.264标准)。在正常状态下，转码服务458以第一帧率(例如，每秒20或30帧)转换视频文件。在自适应状态下，当眼镜处于热压力下时，转码服务458以第二帧率(例如，每秒0到5帧)操作。

存储器434额外地包括用于由处理器432执行的位置检测实用程序460、标记登记实用程序462、定位实用程序464、虚拟对象渲染实用程序466、物理引擎468和预测引擎470。位置检测实用程序460配置处理器432以例如使用定位实用程序464来确定环境内的位置(位置和取向)。标记登记实用程序462将处理器432配置为在环境内登记标记。标记可以是在环境内具有已知位置的预定义物理标记，或者由处理器432分配到相对于眼睛佩戴设备100正在操作的环境或相对于眼镜本身的特定位置。定位实用程序464配置处理器432以获得位置数据，用于确定眼睛佩戴设备100的位置、眼睛佩戴设备呈现的虚拟对象或它们的组合。位置数据可以从一系列图像、IMU单元472、GPS单元473或它们的组合中导出。虚拟对象渲染实用程序466将处理器432配置为在图像显示驱动器442和图像处理器412的控制下渲染虚拟图像以供图像显示器180显示。物理引擎468将处理器432配置为将诸如重力和摩擦力之类的物理定律应用于虚拟世界，例如在虚拟游戏块之间。预测引擎470将处理器432配置为基于对象(诸如眼睛佩戴设备100)的当前航向、来自诸如IMU 472的传感器的输入、环境图像或它们的组合来预测该对象的预期移动。

图4B描绘了示例转码处理流程444。帧读取器445B从存储器接收包括视频数据的输入文件445A(例如，来自存储器434的MP4 H.264文件)，并解析视频数据的边界以读取视频数据帧(例如，通过识别已知的报头信息)。帧读取器445B可以被实施作为由处理器432运行的软件模块。

帧延迟模块446在将帧传递到视频处理引擎447之前选择性地将延迟引入视频数据帧。在一个示例中，帧延迟模块446在正常状态下以第一速率(例如，每秒20或30帧)传递视频数据帧，并且在自适应状态下以降低的速率(例如，每秒0到5帧)传递视频数据帧。帧延迟模块446可以由处理器432在功率管理服务450的控制下实施，在该示例中，功率管理服务450提供操作速率。通过使用与视频处理引擎447分离的帧延迟模块446，能够在不重新配置执行解码和编码的编解码器(这可能需要重新启动(以及相关联的不可接受的延迟))的情况下进行转码处理的改变。

视频处理引擎447将以第一视频文件格式(例如，MP4 H.264或MP4 H.265)存储的视频数据转码为以第二视频文件格式(例如，MP4 H.265或MP4 H.264)存储的视频数据。视频处理引擎447包括解码器447A和编码器447B，解码器447A将视频数据的每一帧从第一视频文件格式转换为原始视频格式，并且编码器447B将原始视频格式转换为第二视频文件格式，例如，以编码比特流448A的形式。在一个示例中，处理器432或图像处理器412使用用于转码操作的工作存储器(例如，存储器434)来实施视频处理引擎447。视频处理引擎447产生包括以第二视频文件格式存储的视频数据的输出文件448B。输出文件448B可以被存储在存储器434中。在一个示例中，解码器447A和编码器447B使用传统的编码器/解码器(编解码器)来实施。

图5是示例移动设备401的高级功能框图。移动设备401包括闪存540A，闪存540A存储将由CPU 540执行的编程以执行本文所述功能的全部或子集。

移动设备401可以包括相机570，相机570包括至少两个可见光相机(具有重叠视场的第一和第二可见光相机)或者至少一个可见光相机和具有基本重叠视场的深度传感器。闪存540A还可以包括经由相机570生成的多个图像或视频。

如图所示，移动设备401包括图像显示器580、用于控制图像显示器580的移动显示器驱动器582以及显示控制器584。在图5的示例中，图像显示器580包括用户输入层591(例如，触摸屏)，该用户输入层591被层叠在图像显示器580所使用的屏幕顶部或以其他方式集成到该屏幕中。

可以使用的触摸屏型移动设备的示例包括(但不限于)智能电话、个人数字助理(PDA)、平板计算机、膝上型计算机或其他便携式设备。然而，触摸屏型设备的结构和操作是通过示例的方式提供的；本文所描述的主题技术并不旨在限于此。因此，为了讨论的目的，图5提供了具有用户界面的示例移动设备401的框图，该用户界面包括用于接收输入(通过通过手、触控笔或其他工具的触摸、多点触摸或手势等)的触摸屏输入层591和用于显示内容的图像显示器580。

如图5所示，移动设备401包括至少一个数字收发器(XCVR)510，如WWAN XCVR所示，用于经由广域无线移动通信网络进行数字无线通信。移动设备401还包括附加的数字或模拟收发器，诸如用于短程网络通信的短程收发器(XCVR)520，诸如经由NFC、VLC、DECT、ZigBee、Bluetooth^TM，或Wi-Fi。例如，短程XCVR 520可以采用任何可用的双向无线局域网(WLAN)收发器的形式，该收发器的类型与在无线局域网中实施的一个或多个标准通信协议兼容，诸如IEEE 802.11下的Wi-Fi标准之一。

为了生成用于定位移动设备401的位置坐标，移动设备401能够包括全球位置系统(GPS)接收器。可替选地或附加地，移动设备401能够利用短程XCVR 520和WWAN XCVR 510中的一个或两个来生成用于定位的位置坐标。例如，蜂窝网络、Wi-Fi或Bluetooth^TM基于定位系统能够生成非常精确的位置坐标，特别是在组合使用时。这样的位置坐标能够经由XCVR510、520通过一个或多个网络连接传输到眼睛佩戴设备。

收发器510、520(即，网络通信接口)符合由现代移动网络利用的各种数字无线通信标准中的一个或多个。WWAN收发器510的示例包括(但不限于)被配置为根据码分多址(CDMA)和第三代合作伙伴计划(3GPP)网络技术操作的收发器，该网络技术包括但不限于例如3GPP类型2(或3GPP2)和LTE，有时被称为“4G”。例如，收发器510、520提供信息的双向无线通信，该信息包括数字化音频信号、静态图像和视频信号、用于显示的网页信息以及与网络相关的输入，以及到/来自移动设备401的各种类型的移动消息通信。

移动设备401还包括用作中央处理单元(CPU)的微处理器；如图4A中的CPU 540所示。处理器是具有被构造和布置为执行一个或多个处理功能(通常是各种数据处理功能)的元件的电路。尽管可以使用分立的逻辑部件，但是这些示例利用形成可编程CPU的部件。例如，微处理器包括一个或多个集成电路(IC)芯片，集成电路芯片结合电子元件以执行CPU的功能。例如，CPU 540可以基于任何已知或可用的微处理器架构，诸如使用ARM架构的精简指令集计算(RISC)，如目前在移动设备和其他便携式电子器件中常用的。当然，处理器电路的其他布置可被用于在智能手机、膝上型计算机和平板电脑中形成CPU 540或处理器硬件。

CPU 540通过将移动设备401配置为例如根据可由CPU 540执行的指令或编程来执行各种操作，以用作移动设备401的可编程主机控制器。例如，此类操作可以包括移动设备的各种一般操作，以及与移动设备上的应用的编程相关的操作。尽管可以通过使用硬连线逻辑来配置处理器，但是移动设备中的典型处理器是通过执行编程来配置的通用处理电路。

移动设备401包括用于存储编程和数据的存储器或存储系统。在该示例中，存储器系统可以根据需要包括闪存540A、随机存取存储器(RAM)540B和其他存储器部件540C。RAM540B用作由CPU 540正在处理的指令和数据的短期存储器，例如，作为工作数据处理存储器。闪存540A通常提供较长期的存储。

因此，在移动设备401的示例中，闪存540A被用于存储由CPU 540执行的编程或指令。取决于设备的类型，移动设备401存储并运行移动操作系统，通过该移动操作系统执行特定应用。移动操作系统的示例包括Google Android、Apple iOS(用于iPhone或iPad设备)、Windows Mobile、Amazon Fire OS、RIM BlackBerry OS等。

眼睛佩戴设备100内的处理器432构建眼睛佩戴设备100周围的环境的地图，确定眼睛佩戴设备在所映射的环境内的位置，并确定眼睛佩戴设备与所映射的环境中的一个或多个对象的相对位置。在一个示例中，处理器432使用应用于从一个或多个传感器接收的数据的同步位置和映射(SLAM)算法来构建地图并确定位置和定位信息。在扩展现实的背景下，SLAM算法被用于构建和更新环境的地图，同时跟踪和更新设备(或用户)在所映射的环境中的位置。能够使用各种统计方法对数学解进行近似，诸如粒子滤波器、卡尔曼滤波器、扩展卡尔曼滤波器和协方差交集。

传感器数据包括从相机114A、114B中的一个或两个接收的图像、从激光测距仪接收的一个或多个距离、从GPS单元473接收的位置信息、或者两个或更多个此类传感器数据的组合、或者从其他传感器提供的对确定位置信息中有用的数据。

图6描绘了示例环境600以及对自然特征跟踪有用的元素(NFT；例如，使用SLAM算法的跟踪应用)。眼睛佩戴设备100的用户602存在于示例物理环境600(在图6中，该物理环境是内部房间)中。眼睛佩戴设备100的处理器432使用所捕获的图像确定其相对于环境600内的一个或多个对象604的位置，使用环境600的坐标系(x，y，z)构建环境600的地图，并确定其在坐标系内的位置。此外，处理器432通过使用与单个对象604a相关联的两个或更多个位置点(例如，三个位置点606a、606b和606c)，或者通过使用与两个或更多个对象604a、604b、604c相关联的一个或多个位置点606，来确定眼睛佩戴设备100在环境中的头部姿态(滚转、俯仰和偏航)。在一个示例中，眼睛佩戴设备100的处理器432将虚拟对象484(诸如图6中所示的钥匙)定位在环境600内以经由图像显示器180进行扩展现实观看。

图7是描述在可穿戴设备(例如，眼睛佩戴设备)上进行视觉惯性跟踪的方法的流程图700。尽管参考本文所述的眼睛佩戴设备100描述了这些步骤，但是本领域技术人员将从本文的描述中理解所述步骤针对其它类型的设备的其它实施方式。此外，可以设想，图7和其他图中所示以及本文中所述的一个或多个步骤可以被省略，同时执行或者以一系列的方式执行，以不同于图示和描述的顺序执行，或者结合附加步骤执行。

在框702处，眼睛佩戴设备100捕获眼睛佩戴设备100附近的物理环境600的一个或多个输入图像。处理器432可以连续地接收来自一个或多个可见光相机114的输入图像，并将这些图像存储在存储器434中用于处理。此外，眼睛佩戴设备100可以捕获来自其他传感器的信息(例如，来自GPS单元473的位置信息、来自IMU 472的取向信息或来自激光距离传感器的距离信息)。

在框704处，眼睛佩戴设备100将所捕获的图像中的对象与存储在图像库中的对象进行比较，以识别匹配。在一些实施方式中，处理器432将所捕获的图像存储在存储器434中。已知对象的图像库被存储在虚拟对象数据库484中。

在一个示例中，处理器432被编程为识别预定义的特定对象(例如，挂在墙上已知位置的特定图片604a、另一面墙上的窗户604b或诸如定位于地板上的保险箱604c之类的对象)。其他传感器数据，诸如GPS数据，可被用于缩小在比较中使用的已知对象的数量(例如，仅与通过GPS坐标识别出的房间相关联的图像)。在另一示例中，处理器432被编程为识别预定义的一般对象(诸如公园内的一棵或多棵树)。

在框706处，眼睛佩戴设备100确定其相对于一个或多个对象的位置。处理器432可以通过将所捕获的图像中的两个或更多个点之间的距离(例如，一个对象604上的两个或更多个位置点之间的距离或两个对象604中的每一个上的位置点606之间的距离)与所识别的对象中的对应点之间的已知距离进行比较和处理来确定其相对于对象的位置。所捕获的图像的点之间的距离大于所识别的对象的点，指示出眼睛佩戴设备100比捕获了包括所识别的对象的图像的成像器更接近所识别的对象。另一方面，所捕获的图像的点之间的距离小于所识别的对象的点，指示出眼睛佩戴设备100离所识别的对象比捕获了包括所识别的对象的图像的成像器更远。通过处理相对距离，处理器432能够确定相对于一个或多个对象的位置。可替选地或附加地，可以使用诸如激光距离传感器信息之类的其他传感器信息来确定相对于一个或多个对象的位置。

在框708处，眼睛佩戴设备100构建眼睛佩戴设备100周围的环境600的地图，并确定其在环境中的位置。在一个示例中，在所识别的对象(框704)具有预定义的坐标系(x，y，z)的情况下，眼睛佩戴设备100的处理器432使用该预定义的坐标系构建地图，并基于关于确定出的所识别的对象的位置来确定其在该坐标系内的位置(框706)。在另一个示例中，眼睛佩戴设备使用环境中的永久或半永久对象604(例如，公园内的树或公园长椅)的图像来构建地图。根据该示例，眼睛佩戴设备100可以定义用于环境的坐标系(x′，y′，z′)。

在框710处，眼睛佩戴设备100确定眼睛佩戴设备100在环境内的头部姿态(滚转、俯仰和偏航)。处理器432通过使用一个或多个对象604上的两个或更多个位置点(例如，三个位置点606a、606b和606c)或通过使用两个或更多个对象604上的一个或多个位置点606来确定头部姿态。通过使用传统的图像处理算法，处理器432通过比较在所捕获的图像和已知图像的位置点之间延伸的线的角度和长度来确定滚转、俯仰和偏航。

在框712处，眼睛佩戴设备100向用户呈现视觉图像。处理器432使用图像处理器412和图像显示驱动器442在图像显示器180上向用户呈现图像。响应于眼睛佩戴设备100在环境600内的位置，处理器开发视觉图像并经由图像显示器呈现视觉图像。处理器432可以例如将被呈现给用户的视觉图像以第一文件格式存储在存储器434中，以用于观看和进一步处理(例如，转码为另一文件格式)。

在框714处，重复上面参考框706-712描述的步骤，以更新眼睛佩戴设备100的位置以及当用户移动通过环境600时用户602所看到的内容。

再次参考图6，实施本文所述的扩展现实应用的示例方法包括与物理对象(例如，绘画604a)相关联的虚拟标记(例如，虚拟标记610a)和与虚拟对象(例如，钥匙608)相关联的虚拟标记。在一个示例中，眼睛佩戴设备100使用与物理对象相关联的标记来确定眼睛佩戴设备100在环境中的位置，并且使用与虚拟对象相关联的标记来生成重叠图像，以在眼睛佩戴设备100的显示器上的虚拟标记位置处呈现环境600中的相关联的一个或多个虚拟对象608。例如，在环境中的位置处登记标记，用于跟踪和更新所映射的环境中用户、设备和对象(虚拟和物理)的位置。标记有时被登记为高对比度的物理对象，诸如安装在较亮色墙上的相对暗的对象604a，以协助相机和其他传感器完成检测标记的任务。标记可被预先分配，或者可以在进入环境时由眼睛佩戴设备100分配。标记也被登记在环境中的位置处，用于在所映射的环境中的那些位置处呈现虚拟图像。

标记能够与信息一起编码或以其他方式链接到信息。标记可以包括位置信息、物理代码(诸如条形码或QR码；用户可见或隐藏)或它们的组合。在眼睛佩戴设备100的存储器434中存储有与该标记相关联的一组数据。该组数据包括关于标记610a、标记的定位(位置和取向)、一个或多个虚拟对象或它们的组合的信息。标记位置可以包括一个或多个标记地标616a(诸如图6中所示的大致矩形标记610a的角)的三维坐标。标记位置可以相对于真实世界的地理坐标、标记坐标系、眼睛佩戴设备100的位置或其他坐标系来表示。与标记610a相关联的一个或多个虚拟对象可以包括各种材料中的任何一种，包括静态图像、视频、音频、触觉反馈、可执行应用、交互式用户界面和体验以及这些材料的组合或序列。能够被存储在存储器中并且在当遇到标记610a或与所分配的标记相关联时被检索的任何类型的内容在此上下文中可以被分类为虚拟对象。例如，图6中所示的钥匙608是在标记位置以静态图像(2D或3D)形式显示的虚拟对象。

在一个示例中，标记610a可以在存储器中登记为位于物理对象604a(例如，图6中所示的带框艺术品)附近并且与物理对象604b相关联。在另一示例中，标记可以作为相对于眼睛佩戴设备100的特定位置被登记在存储器中。

图8A和8B是列出用于热缓解的动态功率降低的示例方法中的步骤的相应流程图800和820。流程图800的步骤描述了功率管理控制系统(例如，由处理器432实施的功率管理服务450)的操作。流程图820的步骤描述了由电源管理系统控制的转码服务458的操作。尽管参考如本文所述的眼睛佩戴设备100描述了这些步骤，但是本领域技术人员从本文的描述中理解所述步骤对于其他类型的移动设备的其他实施方式。此外，可以设想，图8A和8B中所示的并且在本文描述的步骤中的一个或多个可以被省略，同时执行或者以一系列的方式执行，以不同于图示和描述的顺序执行，或者结合附加步骤执行。

图8A是示出用于功率管理(和热缓解)的方法的流程图800。在框802处，眼睛佩戴设备100的电子器件406运行应用服务(例如，服务450-458)。在一个示例中，处理器432运行应用服务450-458，其中功率管理服务450向其他服务451-458提供指令，以适应其中眼睛佩戴设备100基于眼睛佩戴设备100的温度(例如，电子器件406的温度)而操作的操作模式。

在框804处，功率管理服务450监测眼睛佩戴设备100的温度。在一个示例中，运行功率管理服务450的处理器432周期性地接收来自温度传感器408的温度读数(例如，每100ms)。

在框806处，功率管理服务450将所监测的温度与阈值进行比较。在一个示例中，运行功率管理服务450的处理器432将所监测的温度与存储在存储器434中的阈值温度进行比较。取决于眼睛佩戴设备100的操作模式，可以存在多个阈值温度。例如，当眼睛佩戴设备处于正常操作模式时，第一阈值(例如，64摄氏度)可被用于确定何时转换到低功率模式(例如，由于过热)。类似地，当眼睛佩戴设备处于低功率操作模式时，第二阈值(例如，60摄氏度)可被用于确定何时从低功率模式转换回正常操作模式(例如，一旦温度已经降低到可接受的水平)。根据该示例，眼睛佩戴设备100可以在正常操作模式和低功率操作模式之间转换，以最大化眼睛佩戴设备能够在正常模式下操作(例如，提供最佳性能)而不会过热的时间量。

在决策框808处，功率管理服务450确定是否已经达到阈值。在一个示例中，运行功率管理服务450的处理器432确定是否已经达到阈值(例如，如果眼睛佩戴设备100处于正常操作模式，则使用第一阈值，如果眼睛佩戴设备处于低功率操作模式，则使用第二阈值)。如果达到阈值，则在框810处继续处理。如果尚未达到阈值，则在框804处继续处理。

在框810处，功率管理服务450向其他一个或多个应用服务451-458通知：眼睛佩戴设备100的功率配置模式即将改变。在一个示例中，运行功率管理服务450的处理器432向其他一个或多个应用服务451-458发送通信(例如，经由进程间通信)。

在框812处，功率管理服务450监测定时器。在一个示例中，运行功率管理服务450的处理器432监测定时器(例如，由处理器432使用运行时应用进行维护)。

在决策框814处，功率管理服务450确定所监测的时间是否已经达到预定义的等待时间。在一个示例中，运行功率管理服务450的处理器432将所监测的时间与预定义的等待时间(例如，5秒)进行比较。预定义的等待时间被设置为给与其他一个或多个应用服务451-458以下时间：(1)当处于正常状态时-从正常状态转换到自适应状态的时间，因为它们在正常状态期间使用的所有资源可能不再可用；以及(2)当处于自适应状态时-自适应状态转换到正常状态的时间，因为将有附加的资源即将可用。如果达到了等待时间，则在框816处处理继续。如果尚未达到等待时间，则在框812处处理继续。

在框816处，功率管理服务450改变眼睛佩戴设备的功率配置模式。在一个示例中，运行功率管理服务450的处理器432改变眼睛佩戴设备100的功率配置模式。如果眼睛佩戴设备100处于正常操作模式，则处理器432将操作模式改变为低功率操作模式(其中可用资源减少)。如果眼睛佩戴设备100处于低功率操作模式，则处理器432将操作模式改变为正常操作模式(即，其中可用资源增加)。

图8B是示出用于在转码服务458的操作状态之间转换的示例方法的流程图820，其中转码服务458的操作状态具有在第一速率(例如，每秒45或60帧)下对视频数据帧进行转码的第一状态(正常状态)和在第二速率(例如，每秒20或30帧)下对图像数据帧进行转码的第二状态(自适应状态)。本领域技术人员将根据本文的描述理解对与其他应用服务一起使用的该示例方法的修改。

在框822处，电子器件406设置转码服务458的帧通过率(frame pass rate)。在一个示例中，运行转码服务458的处理器432在电子器件处于第一操作模式时将该帧通过率设置为第一操作速率(例如，每秒20或30帧；正常状态)，并且在电子器件处于第二操作模式时将该帧通过率设置为第二操作速率(例如，每秒0至5帧；自适应状态)。在正常状态下，转码服务458被设置为具有相对高的性能，该性能被设计为在正常操作模式下操作时利用眼睛佩戴设备的资源。在自适应状态下，转码服务458被设置为相对低但可接受的性能，该性能被设计为在低功率操作模式下操作时减少眼睛佩戴设备的资源使用。

在框824处，电子器件406读取第一视频文件格式的视频数据帧。在一个示例中，运行转码服务458的处理器432实施帧读取器445以读取视频数据帧。

在框826处，电子器件406将视频数据帧发送到帧延迟模块446。在一个示例中，运行转码服务458的处理器432将视频数据帧发送到帧延迟模块446。

在框828处，电子器件406在设定的帧操作速率下逐帧地传递视频数据帧。在一个示例中，运行转码服务458的处理器432实施帧延迟模块446，在设定的帧操作速率下逐帧传递视频数据帧。

在框830处，电子器件406以设定的帧通过率逐帧地接收视频数据帧。在一个示例中，运行转码服务458的处理器432实施视频处理引擎447以对视频数据帧进行转码。在框832处，视频处理引擎447利用解码器447A将以第一视频文件格式的每一视频数据帧解码为原始视频格式，并且在框834处，利用编码器447B将每个原始视频数据帧编码为第二视频编码格式。

在框836处，电子器件406将经编码的视频数据帧存储为具有例如不同压缩设定的不同文件格式。在一个示例中，运行转码服务458的处理器432将视频数据帧以不同文件格式存储在存储器434中。

本文所描述的示例的各方面涉及AR眼睛佩戴设备中的热缓解。此类设备中的热缓解具有竞争性的目标，包括：(1)确保设备不超过特定热极限，(2)最大化AR体验的热运行时间，(3)确保设备能够在不过热的情况下尽可能长时间地继续操作，以最大化响应能力(例如，设备不应达到“关闭”的热极限，相反，特定高功率功能被禁用以避免过热，并对响应于用户而显现)。

图9A示出了在三种不同场景(没有滤镜/覆盖物的视频数据、具有外星人主题滤镜/覆盖物的视频数据以及具有篮球主题/覆盖物的视频数据)中进行转码的示例功耗与帧率的关系。如图所示，随着操作速率的下降，功耗也会下降。

图9B示出了在与图9A相同的三个场景(没有滤镜/覆盖物的视频数据、具有外星人主题滤镜/覆盖物的视频数据以及具有篮球主题/覆盖物的视频数据)中进行转码的示例能耗与帧率的关系。如图所示，随着帧率的下降，能耗会上升。

如图9A和9B所示，功耗(图9A)和能耗(图9B)是反向相关的。当处理资源容易获得并且设备在可接受的温度范围内操作时，选择适度的操作速率用于转码(例如，每秒20或30帧)以提供最快的结果。另一方面，当处理资源被限制或设备在可接受的温度范围以上操作时，考虑到处理和热约束，选择相对低的操作速率用于转码(例如，每秒0到5帧)以提供可接受的结果。可以基于使用情况以及处理资源/热缓解和可接受性能之间的权衡来选择具体帧率值。

如本文所述，本文所述的任何功能都能够被体现在一个或多个计算机软件应用或编程指令集中。根据一些示例，“功能”、“多个功能”和“应用”、“多个应用、”指令、“多个指令”或“多个编程”是执行程序中定义的功能的一个或多个程序。各种编程语言可以被采用来创建以各种方式结构化的一个或多个应用，诸如面向对象编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如，C或汇编语言)。在具体示例中，第三方应用(例如，由除特定平台的供应商以外的实体使用ANDROID^TM或IOS^TM软件开发工具包(softwaredevelopment kit，SDK)开发的应用)可以包括运行在移动操作系统(诸如IOS^TM、ANDROID^TM、Phone或其他移动操作系统)上的移动软件。在本示例中，第三方应用可以调用由操作系统提供的API调用，以促进本文中描述的功能。

因此，机器可读介质可以采用多种形式的有形存储介质。非易失性存储介质包括例如光盘或磁盘，诸如任何计算机设备中的任何存储设备或诸如此类，诸如可被用于实施如图所示的客户端设备、介质网关、转码器等。易失性存储介质包括动态存储器，诸如此类计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括包含计算机系统内总线的电线。载波传输介质可以采用电信号或电磁信号的形式，或者声波或光波的形式，诸如在射频(RF)和红外(IR)数据通信期间生成的那些。因此，计算机可读介质的常见形式包括例如：软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡纸带、具有孔图案的任何其他物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储芯片或盒式存储器，传输数据或指令的载波、传输这种载波的电缆或链路，或者计算机可以从中读取编程代码和/或数据的任何其他介质。这些形式的计算机可读介质中的许多可以涉及将一个或多个指令的一个或更多序列携带到处理器以供执行。

除了上面刚刚陈述的，已经陈述或示出的任何内容都不旨在或不应该被解释为致使将任何部件、步骤、特征、目的、益处、优点或等同物奉献给公众，无论其是否在权利要求中被陈述。

将理解，本文中使用的术语和表述具有如这样的术语和表述相对于其对应的各自探究和研究领域所赋予的普通含义，除非本文中另外已经阐述了其中的具体含义。关系术语(诸如第一和第二等)可以仅用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这样的实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”、“含有”、“涵盖”或其任何其他变型旨在涵盖非排他性的包含，使得包括或包含一系列元素或步骤的过程、方法、物品或装置不仅包括那些元素或步骤，还可以包括未明确列出的或这样的过程、方法、物品或装置固有的其他元素或步骤。在没有进一步约束的情况下，以“一”或“一个”开头的元素并不排除在包括该元素的过程、方法、物品或装置中存在额外的相同元素。

除非另有说明，否则本说明书(包括随后的权利要求)中阐述的任何及所有测量结果、值、额定值、位置、幅值、尺寸和其他规格都是近似的，而不是精确的。这些量旨在具有合理的范围，即与它们所涉及的功能以及它们所属领域的惯例一致。例如，除非另有明确说明，否则参数值或类似值可能与所述量相差多达±10％。

此外，在前面的详细描述中，可以看到，出于精简本公开的目的，各个特征在各种示例中被组合在一起。这种公开的方法不应当被解释为反映这样的意图，即所要求保护的示例要求比每个权利要求中明确陈述的特征更多。相反，正如以下权利要求所反映的，要被保护的主题在于少于任何单个所公开示例的所有特征。因此，以下权利要求由此并入详细描述中，其中每项权利要求作为单独所要求保护的主题独立存在。

尽管前面已经描述了被认为是最佳模式和其他示例的内容，但是可以理解的是，可以在其中进行各种修改，并且本文中公开的主题可以以各种形式和示例实施，并且它们可以应用于众多应用中，本文中仅已经描述了其中的一些应用。以下权利要求旨在要求保护属于本概念的真实范围内的任何及所有修改和变型。

Claims (20)

1.一种提供扩展现实服务的眼睛佩戴设备，所述眼睛佩戴设备包括：

镜框，被配置为佩戴在用户的头部上；

由所述镜框支撑的显示系统；

由所述镜框支撑的温度传感器，所述温度传感器被配置为检测所述眼睛佩戴设备的温度；和

由所述镜框支撑的电子器件，所述电子器件耦合到所述显示系统和所述温度传感器，所述电子器件具有至少两种功率配置模式，并且包括存储器系统和处理系统，所述处理系统被配置为：

在所述眼睛佩戴设备的电子器件上运行应用服务，其中所述应用服务中的至少一个包括转码服务，所述转码服务被配置为对由所述显示系统呈现的以第一视频文件格式在所述存储器中存储的视频数据帧进行转码；

监测所述温度传感器的温度；

将所监测的温度与阈值温度进行比较；

响应于所监测的温度达到所述阈值温度，将所述电子器件从第一功率配置模式改变为第二功率配置模式；

在帧延迟模块处，当所述电子器件处于所述第一功率配置模式时将帧通过率设置为第一操作速率，并且当所述电路处于所述第二功率配置模式中时将帧通过率设置为第二操作速率；

从所述存储器读取以所述第一视频文件格式的视频数据帧；

将所读取的视频数据帧发送到所述帧延迟模块；

在所述帧通过率下从所述帧延迟模块接收所述视频数据帧；

在所述帧通过率下将从所述帧延迟模块接收的以所述第一视频文件格式的视频数据帧转码为第二视频文件格式；以及

以所述第二视频文件格式存储经转码的视频数据帧。

2.根据权利要求1所述的眼睛佩戴设备，其中，所述处理系统被配置为实施以下：

帧读取器，被配置为从所述存储器读取所述视频数据帧；

视频处理引擎，被配置为对所述视频数据帧进行转码；以及

所述帧延迟模块定位于所述帧读取器和所述视频处理引擎之间，所述帧延时模块被配置为在所述帧通过率下将所述视频数据帧从所述帧读取器传递到所述视频处理引擎。

3.根据权利要求2所述的眼睛佩戴设备，其中，所述视频处理引擎包括：

解码器，被配置为将以所述第一视频文件格式的视频数据帧解码为原始视频帧；和

编码器，被配置为将所述原始视频帧编码为以所述第二视频文件格式的视频数据帧。

4.根据权利要求3所述的眼睛佩戴设备，其中，所述第一视频文件格式的比特率、帧率或分辨率中的至少一个与所述第二视频文件格式的不同。

5.根据权利要求1所述的眼睛佩戴设备，其中，所述处理系统还被配置为：

响应于所监测的温度达到所述阈值温度，向所述转码服务通知从所述第一功率配置模式到所述第二功率配置模式的即将到来的改变。

6.根据权利要求5所述的眼睛佩戴设备，其中，所述处理系统还被配置为：

在通知所述转码服务之后在从所述第一功率配置模式改变到所述第二功率配置模式之前，等待预定时间段。

7.根据权利要求6所述的眼睛佩戴设备，其中，所述转码服务包括：与所述第一操作速率相对应的第一操作状态(正常状态)和与所述第二操作速率相对应该的第二操作状态(自适应状态)，并且其中，响应于即将到来的改变的通知，所述转码服务从所述第一操作状态改变为所述第二操作状态。

8.根据权利要求1所述的眼睛佩戴设备，其中，所述第一操作速率高于所述第二操作速率。

9.一种与提供扩展现实服务的眼睛佩戴设备一起使用的方法，所述眼睛佩戴设备包括显示系统和电子器件，所述方法包括：

在所述眼睛佩戴设备的电子器件上运行应用服务，所述应用服务中的至少一个包括转码服务，所述转码服务被配置为对由所述显示系统呈现的以第一视频文件格式在存储器中存储的视频数据帧进行转码；

监测所述眼睛佩戴设备的温度；

将所监测的温度与阈值温度进行比较；

响应于所监测的温度达到所述阈值温度，将所述电子器件从第一功率配置模式改变为第二功率配置模式；

在帧延迟模块处，当所述电子器件处于所述第一功率配置模式时将帧通过率设置为第一操作速率，并且当所述电气设备处于所述第二功率配置模式时将所述帧通过率设置为第二操作速率；

从所述存储器读取以所述第一视频文件格式的视频数据帧；

将所读取的视频数据帧发送到所述帧延迟模块；

在所述帧通过率下从所述帧延迟模块接收所述视频数据帧；

在所述帧通过率下将从所述帧延迟模块接收的以所述第一视频文件格式的视频数据帧转码为第二视频文件格式；以及

以所述第二视频文件格式存储经转码的视频数据帧。

10.根据权利要求9所述的方法，其中，由帧读取器执行从所述存储器读取所述视频数据帧，由视频处理引擎执行对所述视频数据帧的转码，并且所述方法还包括：

由所述帧延迟模块在所述帧通过率下将所述视频数据帧从所述帧读取器传递到所述视频处理引擎。

11.根据权利要求10所述的方法，其中，所述转码包括：

将以所述第一视频文件格式的视频数据帧解码为原始视频帧；以及

将所述原始视频帧编码为以所述第二视频文件格式的视频数据帧。

12.根据权利要求11所述的方法，其中，所述第一视频文件格式的比特率、帧率或分辨率中的至少一个与所述第二视频文件格式的不同。

13.根据权利要求9所述的方法，还包括：

响应于所监测的温度达到所述阈值温度，向所述转码服务通知从所述第一功率配置模式到所述第二功率配置模式的即将到来的改变。

14.根据权利要求13所述的方法，还包括：

在通知所述转码服务之后在从所述第一功率配置模式改变到所述第二功率配置模式之前，等待预定时间段。

15.根据权利要求14所述的方法，其中，所述转码服务包括：与所述第一操作速率相对应的第一操作状态(正常状态)和与所述第二操作速率相对应的第二操作状态(自适应状态)，并且其中，响应于即将到来的改变的通知，所述转码服务从所述第一操作状态改变为所述第二操作状态。

16.根据权利要求9所述的方法，其中，所述第一操作速率高于所述第二操作速率。

17.一种非暂时性计算机可读介质，包括用于配置提供了扩展现实服务的眼睛佩戴设备的指令，所述眼睛佩戴设备包括显示系统和电子器件，当由所述眼睛佩戴设备的处理系统执行所述指令时，所述指令将所述处理系统配置为执行包括以下的功能：

在所述眼睛佩戴设备的电子器件上运行应用服务，所述应用服务中的至少一个包括转码服务，所述转码服务被配置为对由所述显示系统呈现的以第一视频文件格式在存储器中存储的视频数据帧进行转码；

监测所述眼睛佩戴设备的温度；

将所监测的温度与阈值温度进行比较；

响应于所监测的温度达到所述阈值温度，将所述电子器件从第一功率配置模式改变为第二功率配置模式；

在帧延迟模块处，当所述电子器件处于所述第一功率配置模式时将帧通过率设置为第一操作速率，并且当所述电气设备处于所述第二功率配置模式时将所述帧通过率设置为第二操作速率；

从所述存储器读取以所述第一视频文件格式的视频数据帧；

将所读取的视频数据帧发送到所述帧延迟模块；

在所述帧通过率下从所述帧延迟模块接收所述视频数据帧；

在所述帧通过率下将从所述帧延迟模块接收的以所述第一视频文件格式的视频数据帧转码为第二视频文件格式；以及

以第二视频文件格式存储经转码的视频数据帧。

18.根据权利要求17所述的非暂时性计算机可读介质，其中，从所述存储器读取所述视频数据帧是由帧读取器执行的，对所述视频数据帧进行转码是由视频处理引擎执行的，并且所述指令进一步配置所述处理系统以执行包括以下功能的功能：

由所述帧延迟模块在所述帧通过率下将所述视频数据帧从所述帧读取器传递到所述视频处理引擎。

19.根据权利要求18所述的非暂时性计算机可读介质，其中，所述转码包括：

将以所述第一视频文件格式的视频数据帧解码为原始视频帧；以及

将所述原始视频帧编码为以所述第二视频文件格式的视频数据帧。

20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述第一视频文件格式的比特率、帧率或分辨率中的至少一个与所述第二视频文件格式的不同。