CN105340279A - 用于近眼显示器的显示更新时间缩减 - Google Patents

Abstract

描述了用于缩减近眼显示器(NED)设备的显示更新时间的技术。常常基于自然用户输入数据来标识NED视野中的聚焦点。通信地耦合到NED设备的计算机系统的通信模块使用用于满足无损传输准则的一个或多个通信技术来传送无损优先级数据，其示例是用户聚焦区域图像数据。至少部分地基于离显示器视野中的聚焦点的距离向量来标识允许损失图像数据。允许损失图像数据的一个示例是要在用户聚焦区域以外显示的图像数据。允许损失图像数据用允许有损传输来被传送以及从收到图像数据中被提取。

Description

用于近眼显示器的显示更新时间缩减

背景

近眼显示器(NED)设备(诸如头戴式显示器(HMD)设备)可由用户佩戴以用于扩增现实(AR)体验或虚拟现实(VR)体验。许多因素可以影响NED用户的令人满意的用户体验，但用户不得不等待能被察觉的时间段以使图像数据被更新以反映对用户动作的响应、较差的图像质量、或较低的电池寿命是不令人满意的用户体验的典型因素。解决消费者产品的例如这些典型因素的因素(这意味着要佩戴舒适)还需要考虑实际因素，例如空间、重量、功率和成本(SWaP-C)。

概述

本发明的技术提供了一种用于缩减NED设备的显示更新时间的方法的一个或多个实施例。本方法的一实施例包括，标识近眼显示器设备的显示器视野中从聚焦点到要在显示器视野中显示的图像数据的距离向量。基于离聚焦点的距离向量和低感知准则，通信地耦合至NED设备的一种计算机系统确定要被显示的图像数据中的至少一些是否有资格成为不满足低感知准则的无损优先级数据。该方法实施例进一步包括，基于离聚焦点的距离向量，通信地耦合至NED设备的计算机系统确定要被显示的图像数据中的至少一些是否有资格成为满足低感知准则的允许损失数据。响应于图像数据中的至少一些有资格成为允许损失数据，计算机系统使用允许有损传输的一个或多个通信技术来向NED设备传送该允许损失数据。响应于图像数据中的至少一些有资格成为无损优先级数据，由计算机系统使用满足无损传输准则的一个或多个通信技术来向NED设备传送该无损优先级数据。

本发明的技术提供了一种用于缩减近眼显示器(NED)设备的显示更新时间的一个或多个实施例。该方法的一实施例包括，从通信地耦合的计算机系统接收用户图像数据，以及在正被接收的图像数据内标识用户聚焦区域图像数据以供在NED设备的显示器视野中的用户聚焦区域中显示。用户聚焦区域图像数据使用用于满足无损传输准则的一个或多个通信技术来检索。在正被接收的图像数据内标识供显示在用户聚焦区域以外的至少一些次要图像数据，并且该至少一些次要图像数据使用允许有损传输的一个或多个通信技术来检索。用户聚焦区域图像数据和至少一些次要图像数据在NED设备的显示器视野中显示。

本发明的技术提供了一种近眼显示器(NED)设备系统的一个或多个实施例。NED设备系统的一实施例包括近眼显示器设备，其包括近眼支撑结构以及由近眼支撑结构支撑并且具有显示器视野的近眼显示器(NED)。NED系统进一步包括由近眼支撑结构支撑的图像生成单元，该图像生成单元输出光学耦合至近眼显示器(NED)的图像数据。该实施例进一步包括通信地耦合至图像生成单元的用于控制图像数据的显示的一个或多个处理器。该一个或多个处理器基于NED设备系统正执行的一个或多个应用来标识用户聚焦区域图像数据以供显示在用户聚焦区域内，并且标识次要图像数据以供显示在用户聚焦区域以外。第一通信模块通信地耦合至该一个或多个处理器并且通过通信介质通信地耦合至计算机系统。该通信模块使用用于满足无损传输准则的一个或多个通信技术从计算机系统检索用户聚焦区域图像数据。该通信模块使用允许有损传输的一个或多个通信技术从计算机系统检索至少一些次要图像数据。

提供概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念的选集。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图简述

图1A是描绘近眼显示器(NED)设备系统的一个实施例的示例组件的框图。

图1B是使用NED设备与伴随处理模块之间的无线通信的NED设备系统的另一实施例的框图。

图1C是描绘NED设备系统的另一实施例的示例组件的框图。

图2A是具有光学透视AR显示器的NED设备的一实施例中的框架的眼镜镜腿的侧视图，该NED设备被具体化为提供对硬件和软件组件的支持的眼镜。

图2B是NED设备的实施例的显示光学系统的一实施例的俯视图。

图2C是可用于接收NED系统的数据或传送另一计算机系统给NED系统的数据的通信模块的一实施例的框图。

图3A是从传送方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的一实施例的流程图。

图3B是从NED设备系统的接收方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的一实施例的流程图。

图4A解说虚拟对象在佩戴显示器设备2的用户周围的空间的三维(3D)映射中的3D空间位置的示例。

图4B解说显示器视野的示例，该显示器视野的示例包括正由NED设备基于位置在用户聚焦区域内还是在用户聚焦区域外而显示为具有不同图像分辨率的虚拟直升机的示例。

图4C解说直升机示例的另一版本，其中一姿势指示NED视野中的聚焦点。

图5是从用于由近眼显示器设备显示图像数据的软件角度的一系统的一实施例的框图。

图6是一种用于标识用于在近眼显示器(NED)的显示器视野中显示图像数据的区域的方法的一实施例的流程图。

图7是一种用于确定显示器视野中的次要区域以及与其相关联的图像分辨率的方法的另一实施例的流程图。

图8A是从传送方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的另一实施例的流程图。

图8B是从NED设备系统的接收方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的另一实施例的流程图。

图9A是使用不同水平的错误纠正的过程示例的流程图。

图9B是解说图9A中的通信技术的一些实现示例的流程图。

图9C是解说可在从收到图像数据中检索无损优先级图像数据和允许损失图像数据中使用的通信技术的一些其他示例的流程图。

图9D是解说用于从收到图像数据中检索允许损失图像数据的通信技术的另一示例的流程图。

图10A是使用在传输质量方面可变的调制技术来传送图像数据的过程示例的流程图。

图10B是解说作为星座编码方案的调制通信技术的一些实现示例的流程图。

图10C是解说基于要被传送和接收的图像数据的优先级来协商作为通信技术的通信信道的流程图。

图11是可用于实现网络可访问的计算系统、近眼显示器设备的伴随处理模块或控制电路系统的计算系统的一个实施例的框图。

详细描述

近眼显示器(NED)设备的一个示例是头戴式显示器(HMD)。NED设备可用于用现实对象来显示视野中虚拟对象的图像数据以提供扩增现实体验或混合现实体验。在虚拟现实系统中，NED可以独立于现实世界关系来显示计算机控制的图像。在另一示例中，近眼显示器可在用于类似红外成像设备的增强视域的应用中使用，例如，夜视设备。为了使这些体验保持逼真，显示器随着用户聚焦点在显示器的显示器视野中的改变以及图像数据基于正在执行的应用的改变而实时地更新。可以基于自然用户输入数据(诸如NED系统的自然用户输入系统所生成的眼球跟踪数据或姿势数据中标识的指向姿势)来标识显示器视野中聚焦点周围的用户聚焦区域。在其他示例中，因为佩戴NED设备的用户可能往近眼显示器的视野中的经更新图像数据处看，所以可以基于在正在执行的应用的基础上标识图像数据的显示位置来预测用户聚焦区域。

图像数据可以是诸如视频之类的移动图像数据以及静止图像数据。图像数据也可以是三维的。3D图像的示例是全息图。图像数据包括可以用多边形网格或作为边缘数据来表示的结构数据。另外，图像数据包括色彩数据，色彩数据包括色度或色彩饱和度数据以及亮度数据。在每一种类别的图像数据中，位被排定优先级。例如，较高优先级的位以文字格式被存储在预定数目的最高有效位(MSB)中，而较低优先级的位可以被存储在预定数目的最低有效位(LSB)中。色彩的MSB位文字可以表示基色(诸如绿色)，而LSB位表示在绿色族中对绿色进行区分的更多饱和度值。随着数据从显示器视野中的聚焦点移动(例如，用户移动头部或图像基于应用的逻辑而改变)，由LSB表示的绿色之间的细微性在人眼上不再是可分辨的或者处于非常小的量，因为绿色受体已经离开远离小凹。因而，不表示较低优先级的色彩位不会严重削弱用户体验。

类似地，表示基础结构(例如骨架)的结构数据可以作为高优先级数据来对待，而各层的细节可以用逐渐降低的优先级在存储器中的位结构中表示，因为各个层构建在基础结构上。亮度数据也可以从文字的MSB用在优先级上降序的位来存储。随着离聚焦点的距离增加，传送图像数据的计算机系统可以将距离与针对传输可以被丢弃的较低优先级位的数目(例如，LSB的数目)进行相关。

除了MSB到LSB之外还可以使用存储内容的其他预定模式来指示不同类型的图像数据的优先级。另外，可能存在关于基于离聚焦点的距离有多少图像数据能够使用允许有损传输的通信技术来传输的预定限度。还期望图像质量的逐渐降低，但同时图像质量(例如分辨率)保持在人眼的分辨能力之上。当数据从用户聚焦区域移动时数据突然出现或消失背离了自然视域体验并且减损用户体验。

下文描述了利用人眼分辨率以及针对无损和有损传输关于图像数据的位置相对于聚焦点来对图像数据排定优先级的优点的技术的各实施例。另外，一些实施例针对用户聚焦区域内的图像数据以及用户聚焦区域以外的图像数据使用不同的分辨率水平。

传输中的丢失数据描述了从未抵达所以作为丢失的数据或者在途中被破坏从而不是所传送的数据的数据。由于在通信中可能一直存在某种极小的错误，因此无损传输准则被描述为所有所传送的数据在接收机处被准确地检测到的高概率，例如，取决于系统的预定准则为>99％或99.999999％。表达无损传输准则的另一种方式是误比特率。在一些示例中，所存储的无损传输准则可以标识满足总误比特率的通信特性和通信技术的不同组合。此类准则的一些示例是通信介质的类型、有线或无线、传输射程、噪声水平范围、以及与可用类型的纠错技术相关联的纠错率、以及与一个或多个可用调制技术相关联的一个或多个错误率。改变一种类型的准则可以改变构成无损传输准则的其他类型的准则的准则值。通过不满足无损传输准则来允许有损传输可能不会导致丢失数据，但丢失数据的概率可能是不可接受的，例如，针对用户正聚焦于的高优先级数据，在接收机处准确检测到80％的数据。

图1A是描绘近眼显示器(NED)设备系统的一个实施例的示例组件的框图。在所解说的实施例中，该系统包括作为头戴式显示器(HMD)设备2并且经由线缆6通信地耦合至被标识为伴随处理模块4的另一计算机系统的近眼显示器(NED)设备。在许多实施例中，伴随处理模块4能够建立与NED设备上的通信模块的直接一对一通信链路。该链路可以是短程的，例如，在不到十英尺之内。直接链路不依赖于中间通信传输点，诸如网络路由器或蜂窝站。直接链路的一个示例是空中无线通信介质上的有线或无线直接链路，如红外链路。除了直接通信链路，NED设备2和伴随处理模块4还经由如其他联网设备的网络协议来通信。在许多实施例中，伴随处理模块4可以被用户佩戴或持有，伴随处理模块4的一些示例是基于腕部的模块或例如智能电话或平板之类的移动设备。伴随处理模块在用户佩戴NED显示器时伴随他或她，并且可以提供辅助服务，例如，充当NED设备的辅助用户输入设备。

图1B是使用NED设备2与伴随处理模块4之间的无线通信的NED设备系统的另一实施例的框图。图1C是描绘没有伴随处理模块4的NED设备系统的另一实施例的示例组件的框图，其中NED设备系统8被合并到近眼显示器设备2上。

在这些实施例中，NED设备2采用框架115眼镜的形状，其中相应的显示器光学系统14位于NED设备的前部以在NED被用户佩戴时由每一只眼睛透视。在这一实施例中，每一显示器光学系统14使用投影显示器，其中图像数据被投影到用户眼睛中以生成图像数据的显示，从而使得该图像数据对于用户而言看上去位于用户前方的三维视野中的一位置处。例如，用户可能正在他的起居室中以光学透视模式玩击倒敌人直升机的游戏。直升机的图像对于用户而言看上去正飞过他起居室中的椅子的上方，但不在透镜116和118之间，因为用户无法聚焦于离人类眼睛如此之近的图像数据上。生成图像的显示器与看到该图像的位置分开。每个显示器光学系统14也被称为示器，并且两个显示器光学系统14一起也可以被称为显示器。

在一些实施例中，显示器可以正在虚拟现实(VR)上下文中显示图像数据。例如，图像数据是从佩戴者的现实世界环境独立移动的人和物的图像数据，并且来自用户的现实世界环境的光照被显示器(例如，经由不透明滤光器)阻挡。在其他实施例中，显示器可用于扩增现实(AR)。使用近眼、AR显示器的用户实时地看见用现实对象显示的虚拟对象。具体来说，佩戴光学透视扩增现实显示器设备的用户实际上用他或她的自然视力看到透视显示器的显示器视野中的未被虚拟对象或虚拟效果的图像数据遮挡的现实对象，由此名为透视显示器和光学透视显示器。对于诸如视频观看显示器(有时称为视频透视显示器)或以视频观看模式操作的显示器之类的其他类型的扩增现实显示器，该显示器不是真正地透视的，因为用户用他自然视力看不见现实对象，而是看见现实对象用自然视力看见的那样的所显示的未被遮挡的现实对象的图像数据以及虚拟对象和虚拟效果的图像数据。下面对透视显示器的参考是参考光学透视显示器的。

在这些实施例中，框架115提供方便的眼镜框架作为用于将NED设备2的各元件保持在原位的近眼支撑结构以及用于电连接的管道。近眼支撑结构的一些其他示例是护目镜框架或护眼镜支撑。框架115包括具有用于记录声音并向控制电路136传送音频数据的话筒110的鼻梁架104。框架的镜腿或侧臂102抵靠在用户的每个耳朵上，并且在该示例中，右侧臂102r被解说为包括用于NED设备2的控制电路系统136。

伴随处理模块4可以采取各种实施例。在一些实施例中，伴随处理模块4采用可被佩戴在用户的身体(例如手腕)上的便携式形式，或者是如移动设备(例如，智能电话、平板、膝上型计算机)之类的单独便携式计算机系统。如图1A和1B中所解说的，伴随处理模块4可以通过一个或多个通信网络50有线地或无线地(例如WiFi、蓝牙、红外、红外个域网、RFID传输、无线通用串行总线(WUSB)、蜂窝、3G、4G或其他无线通信手段)与一个或多个网络可访问的计算机系统12(无论是位于附近还是远程位置)、处于某个位置或环境中的其他近眼显示器设备系统8(例如作为对等通信的一部分)、以及该环境中的一个或多个3D图像捕捉设备20(如果可用的话)进行通信。在其他实施例中，伴随处理模块4的功能可被集成在显示器设备2的软件和硬件组件中(参见图1C)。图11中示出伴随处理模块4的硬件组件的一些示例。

可以充分利用一个或多个网络可访问计算机系统12来处理电力和远程数据访问。图11示出了计算机系统12的硬件组件的示例。组件的复杂性和数目可以因计算机系统12和伴随处理模块4的不同实施例而显著变化。

应用可以正在计算机系统12上执行，其与在近眼显示器设备系统8中的一个或多个处理器上执行的应用进行交互或为其执行处理。例如，3D映射应用可以在一个或多个计算机系统12和用户的近眼显示器设备系统8上执行。在一些实施例中，应用实例可以以主机和客户端角色来执行，其中客户端副本在近眼显示器设备系统8内的一个或多个处理器上执行并且执行其显示器视野的3D映射；从计算机系统12接收3D映射的更新，该更新包括其视野内的对象来自主机3D映射应用的更新；以及将图像数据、以及深度和对象标识数据(如果可用的话)发送回主机副本。附加地，在一些实施例中，在处于相同环境中的不同的近眼显示器设备系统8上执行的3D映射应用实例以对等配置在系统8之间实时地共享数据更新，例如现实对象标识。

术语“显示器视野”指的是NED设备系统的显示器的视野。换言之，显示器视野近似于从用户角度看的用户视野。然而，虽然自然人类视域的视野可以以用户两眼之间为中心延伸超过180度并且包括外围视力，但NED的显示器视野通常更为受限。例如，NED设备显示器视野可以近似于人类视野的中心部分的60度。在许多实施例中，每一类型的显示器的显示器视野可以由视野相关的坐标系来映射，该坐标系具有正交的X、Y和Z轴，其中Z轴表示离一个或多个参考点的深度位置。例如，显示器可以使用针对每一显示器14l、14r的参考点，诸如每一显示器的光轴(参见下文图1B中的142)的相交点。另外，显示器视野还可以用环境的视野无关的坐标来映射，这有用于标识对象和检索相关图像数据，该相关图像数据接着被定向以用视野相关的坐标来显示以近似图像数据的用户视角。

在图1的所解说的实施例中，一个或多个计算机系统12和便携式近眼显示器设备系统8还具有对一个或多个3D图像捕捉设备20的网络接入，该3D图像捕捉设备20例如可以是一个或多个相机，该相机在视觉上监视一个或多个用户和周围空间，使得由一个或多个用户执行的姿势和移动以及包括表面和对象的周围空间的结构可以被捕捉、分析和跟踪。图像数据以及在由一个或多个3D图像捕捉设备20捕捉的情况下的深度数据可以补充由一个或多个近眼显示器设备系统8的一个或多个捕捉设备113在一位置中所捕捉的数据。一个或多个捕捉设备20可以是定位在用户环境中的一个或多个深度相机。

图1C是描绘没有伴随处理模块4的NED设备系统的另一实施例的示例组件的框图，其中NED设备系统8被合并到近眼显示器设备2上。在该实施例中，显示器设备2的控制电路系统136合并了图1A中提供的伴随处理模块4所提供的功能，并且通过通信网络50经由通信模块(参见图2A中的通信模块137)无线地与一个或多个计算机系统12(无论是位于附近还是远程位置处)、处于某位置或环境中的其他NED系统8、该环境中的3D图像捕捉设备20(如果可用的话)进行通信。

图2A是具有光学透视AR显示器的NED设备的一实施例中的框架的眼镜镜腿的侧视图，该NED设备被具体化为提供对硬件和软件组件的支持的眼镜。在框架115的前部描绘的是例如相机的至少两个面向物理环境的图像捕捉设备113之一，该图像捕捉设备可以捕捉现实世界的诸如视频和静止图像(通常为彩色)之类的图像数据，以映射该透视显示器的显示器视野中、以及因此进入用户的视野中的现实对象。在一些实施例中，捕捉设备可以对红外(IR)光或可见光频谱之外的其他类型的光(例如紫外线)敏感。图像可以基于捕捉到的数据来生成以供由类似于夜视应用之类的应用显示。

捕捉设备113也被称为面朝外的捕捉设备，意思是从用户的头部面朝外。可任选地，可能存在面朝外的侧面捕捉设备，它们也捕捉用户环境中现实对象的图像数据，该图像数据可用于3D映射。捕捉设备113也被称为面朝外的捕捉设备，意思是从用户的头部面朝外。所示捕捉设备是面向前方的捕捉设备，其相对于其相应的显示器光学系统14的参考点被校准。这样的参考点的一个示例是其相应显示器光学系统14的光轴(参见图2B中的142)。该校准允许从捕捉设备113捕捉的数据中确定显示器光学系统14的显示器视野。

在一些示例中，图像捕捉设备113也可以是深度敏感的，例如它们可以是传送和检测红外光的深度敏感相机，深度数据可从所述红外光中被确定。在其他示例中，框架115的前部或者在其侧面(如果使用侧面捕捉设备的话)的单独深度传感器(未示出)还可以捕捉和提供离显示器视野中的对象和其他表面的深度数据。深度数据和图像数据形成图像捕捉设备113的所捕捉的视野中的深度图，所述捕捉设备被校准以包括显示器视野。可以基于深度图生成显示器视野的三维(3D)映射。

在一些实施例中，面向物理环境的捕捉设备113提供交叠的图像数据，从该图像数据中可以基于立体视觉确定图像数据中的对象的深度信息。还可以使用视差和诸如颜色之类的对比度特征来解析现实对象的相对位置。

控制电路系统136提供支撑头戴式显示器设备2的其他组件的各种电子装置。在该示例中，右侧臂102包括用于显示器设备2的控制电路系统136，该控制电路系统136包括处理单元210、处理单元210可访问来存储处理器可读指令和数据的存储器244、通信地耦合到处理单元210的通信模块137、以及电源239，该电源239为控制电路系统136的各组件以及显示器设备2的其他组件(如捕捉设备113、话筒110和下面讨论的传感器单元)提供电力。处理单元210可以包括一个或多个处理器，包括中央处理单元(CPU)和图形处理单元(GPU)，并且尤其在没有单独的伴随处理模块4的实施例中包括至少一个图形处理单元(GPU)。

在侧臂102内部或安装在其上的是作为音频输出设备的示例的一组耳机130的一个耳机、包括一个或多个惯性传感器的惯性感测单元132、以及包括一个或多个位置或邻近度传感器的位置感测单元144，位置感测单元144的一些示例是GPS收发器、红外(IR)收发器、或用于处理RFID数据的射频收发器。在一个实施例中，惯性感测单元132包括三轴磁力计、三轴陀螺仪、以及三轴加速度计作为惯性传感器。惯性传感器用于感测头戴式显示器设备2的位置、朝向、以及突然加速。从这些感测的移动中还可以确定头位置以及由此显示器设备的定向，其指示用户视角和显示器视野的改变，由此来更新图像数据以跟踪用户视野。在该实施例中，在其操作中处理模拟信号的每个单元或设备都包括与数字处理单元210和存储器244数字对接，并且为其相应设备产生或转换模拟信号或者既产生又转换模拟信号的控制电路。处理模拟信号的设备的一些示例是用于每只眼睛的显示器光学系统14l、14r的位置和惯性感测单元、耳机130以及话筒110、捕捉设备113和相应的IR照明源134A、以及相应的IR检测器134B。

对用户头部位置的追踪以及至少显示器视野的3D映射被用来确定向不同体验中的用户表示什么图像数据，不同体验例如通过NED设备系统8或者网络可访问的计算机系统12的一个或多个处理器进行的扩增现实、虚拟现实和夜视，或者这些的组合。

在这一实施例中，图像生成单元120可将虚拟物体显示为出现在显示器视野中的指定深度位置来提供虚拟物体的真实的、聚焦的三维显示，该虚拟物体可以与一个或多个现实物体交互。在一些示例中，多个图像的快速显示或虚拟特征的图像的聚焦部分的合成图像可被用于使得所显示的虚拟数据出现在不同聚焦点区域中。

在图2A所解说的实施例中，图像生成单元120包括微型显示器和耦合光学组件，如透镜系统。在这一示例中，微型显示器输出的图像数据被定向到反射表面或元件124。反射表面或元件124在光学上将来自图像生成单元120的光耦合到显示器单元112中(参见图2B)，当设备2由用户佩戴时将表示图像的光定向到用户的眼睛。

图2B是NED设备的显示器光学系统的实施例的俯视图。为了示出显示器光学系统14(在该情况下是右眼系统14r)的各个组件，在显示器光学系统周围的框架115的一部分未被描绘。在这一实施例中，显示器14l和14r是光学透视显示器，而显示器包括显示器单元112，显示器单元112被解说为位于两个光学透视透镜116和118之间并且包括表示一个或多个光学元件(如半反射镜、光栅)的代表性反射元件134E以及可被用于将光从图像生成单元120朝向用户眼睛140引导的其他光学元件。箭头142表示显示器光学系统14r的光轴。光学透视NED的显示器单元112的示例包括光导光学元件。光导光学元件的示例是平面波导。

在光学透视扩增现实的实施例中，显示器单元112也是透视的，从而它可以允许光从近眼显示器(NED)设备2的前部被眼睛140接收，从而允许除了看见来自图像生成单元120的虚拟特征的图像之外用户对NED设备2前部空间具有实际直接视图。使用术语“实际直接视图”来指直接用人眼看到真实世界对象，而非看到所创建的对象的图像表示的能力。例如，通过眼镜看房间将允许用户得到该房间的实际直接视图，而在电视机上查看房间的视频不是该房间的实际直接视图。

在一些实施例中，每一显示器单元112还可任选地包括集成眼睛跟踪系统。例如，红外(IR)照明源可以在光学上耦合至每一显示器单元112中。将光朝向眼睛引导的一个或多个光学元件还可将IR照明朝向眼睛引导，并且在能够将来自眼睛的IR反射引导至IR传感器(诸如IR相机)方面是双向的。可以从所捕捉的相应IR传感器数据以及基于眼睛模型(例如Gullstrand眼睛模型)来标识每一眼睛瞳孔位置，并且可以由从近似小凹位置延伸的软件来确定每一眼睛的瞳孔位置、注视线。可以标识显示器视野中的注视点。注视点处的对象可以被标识为聚焦对象。可以基于人类视域参数或基于先前基于人类视域参数而确定的预定距离来标识注视点周围的用户聚焦区域。

在这一实施例中，显示器单元112包括平面波导，该平面波导充当显示器的一部分并且也集成了眼睛跟踪。代表性反射元件134E表示一个或多个光学元件，比如镜、光栅以及将表示图像的可见光从平面波导引导向用户眼睛140的其他光学元件。在这一实施例中，代表性反射元件134E还作为眼睛跟踪系统的一部分来执红外光的双向反射。红外照明和反射也穿越平面波导供眼睛跟踪系统134跟踪用户的眼睛(通常为用户的瞳孔)的位置和移动。眼睛移动也可包括眨眼。眼睛跟踪系统134包括眼睛跟踪IR照明源134A(红外发光二极管(LED)或激光器(例如VCSEL))和眼睛跟踪IR传感器134B(例如IR相机、IR光电检测器的布置)。具有代表性反射元件134E的波长选择性滤波器134C和134D实现双向红外(IR)滤波，其将IR照明朝向眼睛140引导(优选地以光轴142左右为中心)并从用户眼睛140接收IR反射(优选地包括在光轴142周围所捕捉的反射)，该IR反射从波导引导至IR传感器134B。

在其他集成眼睛跟踪显示器的实施例中，棱镜(例如自由形式棱镜)形成显示器单元112的一部分。表示来自图像生成单元120和眼睛跟踪IR照明源134A的光在光学上耦合至棱镜中。棱镜的一个示例是楔形光学器件。来自眼睛的反射经由棱镜被捕捉并且在光学上耦合至眼睛跟踪IR传感器134B。

在其他实施例中，眼睛跟踪单元光学器件未与显示光学器件集成。关于HMD设备的眼睛跟踪系统的更多示例，参见于2008年7月22日颁发给Kranz等人的名称为“HeadMountedEyeTrackingandDisplaySystem(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920；参见Lewis等人于2011年8月30日提交的名称为“GazeDetectioninaSee-Through,Near-Eye,MixedRealityDisplay(透视、近眼、混合扩增现实显示器中的注视检测)”的美国专利申请号13/221,739；以及参见Bohn于2011年9月26日提交的名称为“IntegratedEyeTrackingandDisplaySystem(集成眼睛跟踪和显示系统)”的美国专利申请号13/245,700。

(与光导光学元件112对齐的)不透明滤光器114通过选择性地阻塞自然光不通过显示器单元112来增强图像数据与现实世界视图的对比度。不透明滤光器帮助使虚拟物体的图像表现得更真实并表示全范围的颜色和强度。在该实施例中，用于不透明滤光器的电控制电路(未示出)通过路经框架的电连接从控制电路136接收指令。于2010年9月21日提交的“OpacityFilterForSee-ThroughMountedDisplay(用于透视安装显示器的不透明滤光器)”的美国专利申请号12/887426中提供了不透明滤光器的更多细节。

再者，图2A和2B仅示出头戴式显示器设备2的一半。针对所示实施例，完整的头戴式显示器设备2可以包括具有另一组任选的透视透镜116和118、另一不透明滤光器114、另一光导光学元件112的另一显示器光学系统14，并包括另一图像生成单元120、另一面朝外的捕捉设备113、眼睛跟踪系统134、以及另一耳机130。在一些实施例中，可能存在由两只眼睛来查看的连续显示、而不是针对每只眼睛的显示光学系统。在一些实施例中，单个图像生成单元120可以在光学上耦合至两个眼睛查看的连续显示或者在光学上耦合至各个眼睛的单独显示。在2010年10月15日提交的题为“FusingVirtualContentIntoRealContent”(将虚拟内容融合到现实内容中)的美国专利申请号12/905952中示出头戴式个人A/V装置的附加细节。

图2C是可用于接收NED系统的数据或传送另一计算机系统给NED系统的数据的通信模块的一实施例的框图。取决于通信介质是有线的还是无线的，通信模块250可以被具体化为用于处理有线通信或无线通信，并且在一些情形中取决于所包括的天线和接口电路系统，被被具体化为用于处理有线通信和无线通信两者。通信模块250提供用于通信地耦合以及传输去往和来自NED系统的计算机系统(诸如控制电路系统136中具体化的计算机系统或伴随处理模块4中具体化的计算机系统)的数据的功能。例如，通信模块137可以具体化通信模块250的实施例的功能。类似另一NED系统8或网络可访问的计算机系统12的计算机系统也可包括通信模块，如在图2C中的实施例中。此类功能的一些示例包括例如根据一个或多个标准或协议和纠错技术来编码数据以供传输以及解码收到数据，将数据调制到信号上以及从信号上解调数据的的通信技术，以及例如协商信道和解决冲突的通信管理活动。

所解说的通信模块实施例包括通信管理器模块123、一个或多个天线119、以及包括用于传入和传出数据的一个或多个数据缓冲器的存储器121。通信管理器模块123与NED系统8的一个或多个处理器通信以标识对图像数据的接收和传输。无损传输准则可以被存储在通信模块250的存储器121中或者从通信地耦合的处理器下载。通信管理器模块123可包括一个或多个编码器和一个或多个解码器，并且基于图像数据正被处理以用于无损传输还是允许损耗的传输来向编码器和解码器提供指令。例如，这些指令可以指示是否要设置纠错技术的某些头部比特(例如前向纠错(FEC)码)以及是否包括冗余数据。因为比特密度可以基于图像数据与聚焦点的距离而变化，通信管理器模块123向调制器和解调器提供指令。例如，对于要显示在用户聚焦区域中的图像数据(之后称为用户聚焦区域图像数据)，可以指派具有一比特至码元密度的星座编码方案，该比特至码元密度被选择为用于基于其误比特率满足无损传输准则的一个或多个通信信道的噪声特性来提供估计误比特率。

不同的信道状况可能影响误比特率，误比特率可以通过管理器123的测试模式来测量或者基于检测到的噪声水平来估计。可以由通信管理器123来选择和应用一个或多个降噪、纠错和调制技术，或者由NED系统8的一个或多个处理器(例如，伴随处理模块的处理单元902)来选择一个或多个降噪、纠错和调制技术，该选择被传达给通信管理器123并且由通信管理器123应用以使误比特率保持在无损传输准则内。不同的无损传输准则可适用于不同的通信介质。有线连接是一种类型的通信介质。无线连接是一种类型的通信介质。存在不同类型的有线连接，例如，不同的线缆类型，如双绞线或HDMI，并且存在可适用于无线连接的不同的无线协议，如IEEE802.11族中的那些协议。

本发明的技术利用了人眼视力的分辨率限制以降低所传输的数据量以及节省时间，从而避免了确保不太可能被人眼感知到的图像数据的无损传输的通信技术。人类眼睛通过人类视网膜上接收到的某一波长频带中的光反射来“看见”。在视网膜中心处是小凹。反射抵达小凹的光的对象通过人类视觉的最高锐度或细节清晰度来被看见。这一类型的清楚视力被称为小凹视力。在使用两个眼睛的典型情形中，注视点或人类眼睛的聚焦或聚焦对象是针对它的光被反射回每一个眼睛的小凹的中心。聚焦对象的示例是书本页面上的文字。当读者查看一页面时，在聚焦文字周围的多个文字一般地也清楚地出现。该多个文字在包括注视点并且其中对象出现得锐利或清楚(有时被称为具有单个视力)的用户聚焦区域中。

称为Panum的融合的体是其中人类眼睛用单个视力看见对象的体。人类具有双眼视力或立体光学视力。每一只眼睛从不同的视点产生图像。仅仅在Panum融合区域的这一小体中，人类用单视力看见对象。这一般是在对象被称为处于聚焦点中的意思。在这一区域之外，对象可能表现地模糊或者甚至表现为双重图像。处于Panum融合区域中心内的是包括用户眼睛的聚焦点或注视点的双眼单视界(Horopter)。当用户聚焦于空间中的一个点时，空间中的这一点被置于曲线上。空间中在这一曲线上的对象落在小凹中的眼睛的视网膜上。该曲线有时称为水平双眼单视界。还存在垂直双眼单视界，其是经过该曲线的一条线，该线从眼睛的聚焦点之上向眼睛在该曲线上的注视点之下倾斜。后面所使用的术语“双眼单视界”是指其垂直和水平分量二者。

由于眼球常常被建模为球体或球形，例如，Gullstrand模型，视网膜上的区域大小常常以度或弧度或角测量来讨论。在此被称为小凹的中央凹处于视网膜的中心并且小于两度，例如，1.2度。然而，小凹具有最高密度的视锥，这允许人类比其他有生事物感知更大范围的颜色以及比视杆提供的对包括深度和细节变化的细节的更准确的感知。视杆存在于视网膜上的小凹以外，并且在数量上远远超过视网膜上的视锥。视杆捕捉来自视网膜的更广视野的光，然而它们对可见光的敏感度远远不如视锥。然而，视杆对运动非常敏感。当一个人看见某物“出现在我的眼睛一角”时，这是因为视杆的敏感度。总结来说，视锥与我们的视杆相比向我们大脑提供更高分辨率的图像。从视网膜中心处的小凹来看，视锥的量减少，并且视杆的数目增大，这导致人类对细节的感知衰退，从而与每一眼睛的小凹的中心存在角度距离。例如，靠近小凹，眼睛的角分辨率约为1弧分，如上所提及的。约离小凹中心8度，眼睛的自然角分辨率下降达一半，低于2弧分。在约离小凹中心15度处，眼睛的分辨率下降达一半，例如，小凹的分辨率的1/4。

人类眼睛对于抵达其小凹的光的分辨能力近似为1弧分。例如，小凹的1弧分分辨率允许用户阅读页面上的文本。提出以下示例以给出对用于跨60x60度的显示器视野达成1弧分分辨率的带宽的感觉。双1080p视频流使用每秒5.6千兆比特的通信带宽以每秒60帧(fps)以及每像素24比特(bpp)来传送。这可能超过一种非常新且高速的通信标准USB3.0的能力。令人晕眩的3600x3600像素分辨率将用于34Gbps的伴随数据传输率以用1弧分分辨率来覆盖60x60度显示器视野。在单个铜缆线对上传送高于5Gbps的数据的挑战是巨大的。

以下流程图提供了通过基于显示器视野中要被显示的图像数据离聚焦点的距离来确定如何传送图像数据和处理收到图像数据来缩减显示更新时间的方法实施例。在图8A和8B中描述的实施例中，该距离可以用其中图像数据要被显示的以聚焦点为中心的区域来确定。其他办法允许用更加逐渐或连续的方式来降低传输质量准则。

图3A是从传送方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的一实施例的流程图。通信地耦合到NED设备的传送方计算机系统的一个示例是具体化在伴随处理模块4中的计算机系统。在另一示例中，传送方计算机系统可以远离NED设备系统8，诸如所解说的网络可访问的计算机系统12(例如，基于云的游戏服务的游戏控制台或计算机系统)。在步骤252，通信地耦合到NED的计算机系统标识近眼显示器视野中从聚焦点到要显示在显示器视野中的图像数据的距离向量。

该距离可以相对于图像数据的每一细分来测量。例如，该距离可以从由显示器单元112的特定显示器区域(如，图片元素、像素)投影的图像数据区段的中心来测量。在另一示例中，该距离可以相对于由图像数据表示的对象的中心，例如，在篮球场场景的3D映射的坐标中所显示的篮球的中心。在步骤254，基于离聚焦点的距离，传送方计算机系统确定要被显示的图像数据中的至少一些是否有资格成为满足低感知准则的允许损失数据。在步骤256，基于离聚焦点的距离以及低感知准则，传送方计算机系统确定要被显示的图像数据中的至少一些是否有资格成为不满足低感知准则的无损优先级数据。在一些示例中，使用距离向量来将显示器视野中的图像数据的位置与每一只眼睛的近似视网膜位置(例如，143l和143r)的相交点进行相关。可以确定从相交点到近似小凹中心的角距离向量以用于与低感知准则进行更好的相关。

低感知准则是预定的，并且基于用于分辨颜色、结构和照明所建立的人类视力准则。例如，此类人类视力准则可基于人类视网膜上的视锥和视杆分布模型。低感知准则的一个示例在于来自显示器视野中投影的图像数据的光将落在视网膜上离小凹的某一角距离内。

在确定是否满足低感知准则时，可以对离聚焦点的距离进行显著加权。当图像数据可能在显示器视野的边缘附近时，方向也可接收显著加权。一般而言，图像数据离聚焦点越近，它越有可能有资格成为无损优先级图像数据，而图像数据离聚焦点越远，它越有可能有资格成为允许损失图像数据。一般而言，聚焦点周围的图像聚焦区域内有比要在用户聚焦区域以外显示的图像数据中更多的数据有资格成为无损优先级数据。然而，在一些情形中，即便离聚焦点足够近从而落在用户聚焦区域内的图像数据也可能使某些低次序比特从传输中被切除，因为，即便在用户聚焦区域中，低次序比特仍然不满足低感知准则。例如，可以允许使用有损传输来传送颜色的文字大小中的少量(例如2比特)的最低有效位，因为该数据离周围的颜色数据如此之近并且聚焦对象在显示器视野中离的足够远以超过眼睛及可能近眼显示器的颜色分辨能力。

在步骤258，响应于图像数据中的至少一些有资格成为允许损失数据，计算机系统使用允许有损传输的一个或多个通信技术来传送该允许损失数据，并且在步骤260，使用满足无损传输准则的一个或多个通信技术来传送无损优先级图像数据，该无损优先级图像数据是没有资格成为允许损失图像数据的任何图像数据。

图3B是从NED设备系统的接收方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的一实施例的流程图。如上所示，NED设备系统的接收方计算机系统的示例可以是控制电路系统136的硬件和软件组件，包括处理单元210、存储器244、和通信模块137，或具体化在伴随处理模块4中的计算机系统。

在步骤262，接收方计算机系统从通信地耦合的计算机系统接收图像数据，并且在步骤264，标识已经使用满足无损传输准则的一个或多个通信技术被传送的正被接收的图像数据内的无损优先级图像数据。在步骤266，接收方计算机系统基于用于满足无损传输准则的一个或多个通信技术来检索无损优先级图像数据。

在步骤268，接收方计算机系统标识正被接收的图像数据中的允许损失数据，并且在步骤270，基于使用允许有损传输的一个或多个通信技术来检索允许损失图像数据。在步骤272，NED设备在NED设备的显示器视野中显示无损优先级图像数据和允许损失图像数据。

如上所提及的，眼睛跟踪数据可以标识注视点，其可用于近似小凹位置。用户聚焦区域可以被标识为近似光从其落在近似小凹位置或近似小凹中心的角距离内的空间中的一区域。例如，使用如上所提及的8度近似，小凹中心的8度内的区域中的图像数据落在用户聚焦区域内。还标识次要区域。“次要”被用来表示不在用户聚焦区域中的那些区域。用户聚焦区域的图像数据具有主要重要性或者优先于用户自然无法看见的次要区域的图像数据。

除了基于离聚焦点或指定区域内的位置的距离来改变图像数据的分辨率之外，可以基于图像数据的距离或相关联的区域来对其应用不同的显示更新速率。例如，次要区域中的数据可以按每秒30帧来更新，而用户聚焦区域内的数据按每秒60帧来更新。

此外，可以存储图像的每一细分的服务质量(QoS)指示符，例如，作为其所存储的图像数据的一部分的像素或体素。QoS指示符因此可被用来区分该细分的图像数据中的优先级以及针对该细分的允许数据丢失的量和类型。例如，对于颜色可能存在于对于照明相比更少的允许数据丢失。量化成一个QoS桶的像素基于眼睛如何工作而聚集在图像的一个区域中。另外，可以为与可被传送方计算机用来确定一比特是否满足低感知准则的像素相关联的每一比特存储不同的QoS数目或指示符。这种办法的结果可能是离聚焦点越远的图像数据具有越高的低优先级比特丢失，但仍然获得针对该图像数据的较高优先级比特的高图像质量。指示不同传输对待的一个或多个QoS指示符的值可以是无损传输准则的一部分。

图4A解说虚拟对象在佩戴显示器设备2的用户周围的空间的三维(3D)映射中的3D空间位置的示例。3D空间位置标识对象占据多大空间以及被占据的空间处于3D显示器视野中的何处。示例性上下文是其中用户射击敌人直升机202的游戏。(现实和虚拟对象的映射参考图5进行更详细的讨论。)

图4A中的直升机202按照将由显示器用来满足人类小凹视力的角分辨率的1弧分的分辨率来解说。直升机202a的尾部和尾部螺旋桨在第三区域301中的左上方显示器视野中，在该示例中，第三区域301是用户聚焦区域和用户聚焦区域以外的第二区域以外的默认区域。直升机202b在从恰恰在中心以上的右侧显示器视野朝向显示器视野的中心的略微向下的迹线上，其中直升机202c头部直接朝向用户并且是当前的聚焦对象，如由从视网膜143l和143r上的小凹延伸的注视线701l和701r所指示的。这些虚拟直升机202在运动中，并且用户很有可能移动他的头部来射击直升机，从而实时地并且三维地更新图像数据。

由于人类视力的限制，用户将无法按照此显示器分辨率来自然地分辨所有解说的直升机，因为它们不全部落在用户聚焦区域101内。NED设备系统可以利用沿人类视网膜的感知分辨率差。与图4B联用的图4A解说了较低图像分辨率水平的示例，包括在用户聚焦区域以外的第二区域中的中等或中间图像分辨率水平，以及在用户聚焦区域图像数据以外且离得更远的第三区域301的低图像分辨率水平。QoS在此处也可适用，因为为图像数据的细分存储的QoS以及为每一比特存储的QoS可以充当对即便以更低分辨率水平封然可允许损失的比特的检查或界限。

图4A还解说了用户聚焦区域101和次要区域201和301的示例。在所解说的示例中，基于眼睛跟踪数据来确定注视点，从该眼睛跟踪数据来近似离每个相应眼睛的注视线701l和701r。注视线表示视域从眼睛的小凹到显示器视野中的线的近似。两个注视线相交的位置是作为聚焦点的示例的注视点。用户聚焦区域包括注视点。对于左眼140l，注视线701l从小凹699l(略微偏离视网膜143l上的中心左侧进入显示器视野中)延伸到直升机202c。对于右眼140r，注视线701r从小凹699r(略微偏离视网膜143r上的中心右侧进入显示器视野中)延伸到直升机202c。不同的实施例可以使用各种建模技术来标识显示器视野中的Panum融合区域和双眼单视界。如在当前示例中，其他实施例可以使用来自研究人类视力领域的已知近似。

在继续讨论之前，注意到，附图并不是按比例绘制的。在图4A的这一示例中，包括注视点的用户聚焦区域由四条线702la、702lb、702ra和702rb来标识。对于这一示例，线702la表示从视网膜上约8度的点延伸到注视线701l与小凹进入显示器视野的相交点的左侧的线。作为补充，线702lb表示从视网膜上约8度的点延伸到注视线701l与小凹进入显示器视野的相交点的右侧的线。同样地，线702ra从视网膜约8度延伸到注视线701r与小凹进入显示器视野的相交点的左侧。线702rb从视网膜约8度延伸到注视线701r与小凹进入显示器视野的相交点的右侧。

线702lb与702rb之间的相交形成了用户聚焦区域的显示器视野中的左边界上的点。类似地，线702la与702ra之间的相交形成了用户聚焦区域的显示器视野中的右边界上的点。在这一示例中，球体的几何形状被用来标识用户聚焦区域101，而左边界点和右边界点表示球体的直径。可以作为设计选择来使用不同的几何形状，例如，矩形、圆形、3D矩形、正方形或立方体。

同样在这一示例中示出的，还表示第二区域201。在这一区域中，为了参考起见，要显示的图像数据被称为次要图像数据。次要图像数据是要在用户聚焦区域以外显示的数据。这一示例中的第三区域301的图像数据也被称为次要图像数据。在这一示例中，第三区域301是在显示器视野中的用户聚焦区域和第二区域以外的默认区域。

第二区域与用户聚焦区域类似地标识，除了线703la在视网膜上约15度到注视线701l与小凹的相交的左侧，线703lb在视网膜上约15度到注视线701l的小凹相交点的右侧。对于右眼，线703ra和703rb从注视线701r的小凹相交点的左侧约15度和右侧约15度的视网膜相交点延伸进入显示器视野。线703lb和703rb的相交形成第二区域的显示器视野中的第二左边界上的点，而线703la和703ra之间的相交形成第二区域的显示器视野中的第二右边界上的点。具有这些第二左边界和第二右边界并且包括用户聚焦区域以及因而包括注视点的球体201表示第二区域。

尽管人类示例可以最多延伸至包括外围示例的约200度，但如上所提及的显示器视野可能无法延伸地如此之远。例如，根据NED设备的小凹的近似位置(例如基于来自眼镜领域和HMD领域的头部大小和针对该头部大小的眼睛模型来确定的)，显示器视野可以在三个维度中的每一个维度中延伸约60度，例如，水平横跨、垂直地以及在深度上60度。用户聚焦区域101和第二区域201表示显示器视野的约30度。

如上所提及的，自然视力分辨率在离视网膜上的小凹8度与15度之间时下降达一半，并且在15度之后又下降一半。在这一示例中，用户聚焦区域具有满足1弧分角分辨率的显示器分辨率，而第二区域具有满足约2弧分角分辨率的中等分辨率，而第三区域具有低分辨率。例如，低分辨率可以满足4弧分角分辨率。在一些示例中，超过第二区域的数据甚至可以不被显示，或者可以具有用于维持显示更新速率约束的最低显示优先级。

图4B解说显示器视野的示例，该显示器视野的示例包括正由NED设备基于位置在用户聚焦区域内还是在用户聚焦区域外而显示为具有不同图像分辨率的虚拟直升机的示例。当直升机202在第三区域中时，在这一示例中，用户将看见用户聚焦区域的自然眼睛角分辨率的1/4。直升机202的图像数据以满足这一眼睛分辨能力的低图像分辨率来呈现。其尾部螺旋桨是线，而非如像其尾部那样具有面积的矩形。直升机主体的曲线丢失了其锯齿状，并且由界限椭圆来表示，如在直升机的眼镜侧部分中那样。顶部螺旋桨也是线，而不是具有矩形体的全部三个螺旋桨。除了丢失分辨率，螺旋桨还被允许在针对这一第三区域图像数据的传输中被丢失，因为该效果不会被人眼注意到。仅降落齿轮的底部片断由线表示。直升机也在移动中，这进一步降低了用户的眼睛将捕捉图像的自然分辨率。

直升机202被显示为跨越两个区域，第二区域和第三区域。对图像数据的降采样可以被用来获得中等和低分辨率版本。第二区域中的顶部螺旋桨更薄，但仍然具有某一矩形面积。直升机座舱主体边界的曲线或锯齿状已经被流线化，但该形状仍然具有约用户聚焦区域的体积。由于降采样，座舱窗口边界丢失了用户聚焦区域的精确曲率。顶部螺旋桨延伸进入第三区域的各部分表现为线，并且顶部螺线桨基座在垂直方向上被打薄。第三区域中的尾部和尾部螺旋桨按照与第三区域中的直升机202a类似的方式被显示为线。

用户聚焦区域中的直升机202c表现得与图4A中的相同。

图4C解说图3B的直升机示例的另一版本，其中一姿势指示NED视野中的聚焦点。在该示例中，执行在直升机202c处的指向姿势来检测人类手部385的人类手指387。关于对象的姿势也可被用来标识聚焦对象。例如，虚拟或现实对象可以用手指或手持式对象来指向，或者用户可以关于对象(无论现实的还是虚拟的)作出握住或抓取姿势。用户聚焦区域101和次要区域201和301可以基于每一视网膜143的近似位置上的小凹的近似位置来标识。例如，视网膜位置可以基于NED显示器设备的头部尺寸以及人类眼球模型来近似。这一模型的一个示例是Gullstrand示意眼部模型。根据姿势所针对的对象或点的3D映射坐标，显示器视野中该对象或点的位置可以与设备上的一个或多个参考点进行相关，诸如，每一光轴142与其相应的显示器单元相交的位置，该一个或多个参考点随后可以与近似视网膜位置上的一个或多个相交点进行相关。在其他示例中，聚焦对象或聚焦点可以由其3D映射坐标直接与每一近似视网膜位置上的一个或多个相交点进行相关。

在这一示例中，离近似视网膜位置上的一个或多个相交点的角距离也可被用来例如在图4A和4B的示例中标识次要区域。出于解说的目的，被示为从显示器视野中由用户如手指387所指示的指向的点的线701l和701r的光线被追溯回到近似视网膜143的位置处的相交点并且有效地充当注视线。

在其他示例中，基于应用的类型，聚焦点和用户聚焦区域可以基于图像数据被确定要显示在显示器视野中的何处来进行标识。换言之，用户聚焦区域基于用户会将他或她的聚焦转向何处的预测来选择，因为用户往往看着正被现实的新数据或改变其运动模式的数据。也可使用标识用户聚焦区域的这些方式中的两种或更多种的组合。例如，图像数据要发生改变的视野中的预定位置可以用作用户聚焦区域，而同时基于眼睛跟踪数据来等待用户聚焦区域的更新以使显示更新时间保持在更新时间准则之内。

图5是从用于由近眼显示器设备显示图像数据的软件角度的一系统的一实施例的框图。图5解说了从软件角度来看的计算环境54的一实施例，该计算环境可由诸如NED系统8等系统、与一个或多个NED系统通信的一个或多个远程计算机系统12或这些的组合来实现。另外，NED系统可以与其他NED系统通信以共享数据和处理资源，并且也可以与环境中的其他图像捕捉设备(例如其他3D图像捕捉设备20)进行数据通信。

在这一实施例中，应用162可正在NED系统8的一个或多个处理器上执行，并且与操作系统190和图像和音频处理引擎191通信。该应用可以针对扩增现实体验、虚拟现实体验、或增强视力体验。在所解说的实施例中，远程计算机系统12以及其他NED系统8也可正在执行该应用的一版本162N，远程计算机系统12与其他NED系统8通信以增强体验。

一个或多个应用的应用数据328也可被存储在一个或多个网络可访问的位置中。应用数据329的一些示例可以是规则数据存储、应用的对象和图像的图像数据、与应用相关联的可以向姿势识别引擎193注册的一个或多个姿势的参考数据、一个或多个姿势的执行准则、与应用相关联的可以向图像和音频处理引擎的可任选物理引擎(未示出)注册的虚拟对象的物理模型、可以与对象物理属性数据集320链接的虚拟对象的对象属性(例如色彩、形状、面部特征、衣着等)。

如图5的实施例中所示，计算环境54的软件组件包括与操作系统190通信的图像和音频处理引擎191。图像和音频处理引擎191处理图像数据(例如，如视频等的移动数据或静止数据)和音频数据以便支持供诸如NED系统8之类的头戴式显示器(HMD)显示系统执行的应用。图像和音频处理引擎191的一实施例可包括各种功能。所解说的实施例示出可被包括的一系列可执行软件元件，并且如由……指示的，可以添加其他功能。图像和音频处理引擎191的所解说的实施例包括对象识别引擎192、姿势识别引擎193、显示数据引擎195、3D音频引擎304、声音识别引擎194、用户聚焦区域引擎196以及场景映射引擎306。

计算环境54还将数据存储在图像和音频数据缓存器(一个或多个)199中。缓冲器为可以被捕捉或者从各个源接收的图像数据和音频数据提供存储器。例如，缓冲器可以存储由NED设备2或伴随处理模块4在通信介质上从通信地耦合的计算机系统12接收的以供显示的图像数据。缓冲器可存在于NED(例如，作为总存储器244的一部分)上并且还可以存在于伴随处理模块4上。伴随处理模块4上的一个或多个缓冲器可以保持要被传送给NED设备2的以供显示的图像数据。至少临时地可以被存储在缓冲器的一些其他类型的图像数据是捕捉自NED系统8的面朝外的捕捉设备113的图像数据、由其他捕捉设备(例如，环境中的3D图像捕捉设备20和其他NED系统8，如果可用的话)捕捉的图像数据、在使用眼睛跟踪系统的情况下来自眼睛跟踪系统的眼睛跟踪相机的图像数据。缓冲器还可以提供用于保持要由图像生成单元120显示的虚拟对象的图像数据的缓冲器，以及用于输入和输出音频数据两者的缓冲器，如经由麦克风110捕捉自用户的声音以及要经由音频输出设备(如耳机130)输出给用户的来自3D音频引擎304的应用的声音效果。

图5中的个体引擎和数据存储提供对应用162可以充分利用的数据和任务的支持平台。用于通过发送请求以标识供处理的数据以及接收数据更新的通知来实现其一个或多个功能的图像和音频处理引擎191的各个引擎。操作系统190促进各个引擎和应用之间的通信。操作系统190使得以下对各个应用可用：姿势识别引擎193已标识的姿势、声音识别引擎194已标识的语言或声音、来自场景映射引擎306的对象的位置，如上所述。

首先描述场景映射引擎306。NED设备的每一个显示器的显示器视野的3D映射可以由场景映射引擎306基于捕捉到的图像数据和深度数据来确定。3D映射包括对象(无论是现实的还是虚拟的)在显示器视野中的3D位置。在一些实施例中，尤其对于显示器而言，3D映射可包括作为3D位置的示例的对象的3D空间位置或位置体。3D空间是对象所占据的空间体。3D空间位置表示坐标系中包括显示器视野的体或者3D空间的边界的位置坐标。取决于所期望的精确性，3D空间可以匹配对象的3D形状或者在边界形状上不那么精确。在一些示例中，3D空间位置包括附加信息，诸如对象的朝向。在其他示例中，3D位置包括2D边界形状，例如，边界圆形、矩形、三角形等，以及对象在显示器视野中的深度位置。

表示来自面朝外的捕捉设备113的所捕捉的图像数据和深度数据的深度图可以用作近眼显示器的显示器视野的3D映射。深度图具有近似用户视角的显示器视野的视图有关的坐标系。所捕捉的数据可以是基于跟踪现实物体的运动的捕捉时间而跟踪的时间。虚拟对象位置可以在深度图中注册。

可以用传感器数据来帮助映射在用户的环境中围绕用户的事物。来自例如三轴加速度计和三轴磁力计之类的惯性感测单元132的数据确定用户的头部的位置改变，并且用户头部的位置改变与来自面朝外的捕捉设备113的图像和深度数据的改变的相关性可以标识对象相对于彼此的位置以及用户正在看环境或位置的什么子集。

场景映射引擎306还可以将不依赖于视图的坐标系用于3D映射，并且场景映射引擎306的副本可以与在其他系统(例如12、20和8)中执行的其他场景映射引擎306通信，从而映射处理可以被共享或者由与其他系统共享更新映射的一个计算机系统集中地控制。从多个视角拍摄的深度图像中的交叠主题可以基于不依赖于视图的坐标系被相关，并且图像内容被组合以用于创建位置或环境的体或3D映射(例如房间、商店空间或地理栅栏区域的x、y、z表示)。因而，可以追踪光照、阴影和对象位置方面的改变。

视图无关的图可以被存储在网络可访问的位置中，如经位置索引的图像和3D图324。用于搜索经位置索引的图像和3D图324的位置数据的一些示例是来自近眼显示器(NED)上的位置感测单元144的GPS收发机的GPS数据或者NED系统8具有到其的连接的WiFi热点或蜂窝站的IP地址。(关于诸如装置8之类的HMD与对图像数据具有访问权的计算机系统12之间的协作式场景映射的更多信息，参见具有美国专利申请号12/912,937和发明人AviBar-Zeev等于2010年10月27日提交的“Low-LatencyFusingofVirtualandRealContent(虚拟和现实内容的低等待时间融合)”。)

场景映射引擎306基于与图像和音频处理引擎191的对象识别引擎192以及使得要显示图像数据的一个或多个执行中的应用162的通信来跟踪现实和虚拟对象在显示器视野中或用户周围的体空间中的位置、朝向和移动。

图像和音频处理引擎191的对象识别引擎192基于所捕捉的图像数据以及所捕捉的深度数据(如果可用)或从立体视觉中确定的深度位置来检测和标识出显示器视野中的现实对象、它们的朝向以及它们的位置。物体识别引擎192通过标记物体边界并且将物体边界与结构化数据相比较来将现实物体彼此区分开。标记物体边界的一个示例是检测所检测或所导出的深度数据和图像数据内的边并连接这些边。还可以使用多边形网格来表示对象的边界。然后，将对象边界数据与所存储的结构数据200相比较以在一概率准则内标识出对象的类型。除了标识出对象的类型以外，可以基于与所存储的结构数据200的比较来检测所标识出的对象的朝向。

可通过一个或多个通信网络50访问的结构数据200可以存储用于比较的结构化信息(诸如结构化模式)以及作为模式识别的基准的图像数据。除了无生命对象，如在其他图像处理应用中那样，人可以是一种类型的对象，所以结构数据的示例是所存储的人的骨架模型，可以参考该骨架模型来帮助识别身体部位。图像数据还可用于面部识别。物体识别引擎192同样还可基于来自其他源的存储的图像数据对物体的图像数据执行面部和模式识别，这些其他源例如用户的用户简档数据197、经许可可访问或网络可访问的其他用户简档数据322、位置索引化的图像和3D图324、以及因特网可访问的图像326。来自图像和深度数据的运动捕捉数据还可以标识出对象的运动特性。对象识别引擎192还可对照存储在结构数据200中的基准属性来检查对象的检测到的属性，例如其大小、形状、材料、运动特性。基准属性(例如，结构模式和图像数据)也可由用于生成虚拟对象的应用访问。

对于现实对象，数据可以针对多个对象属性320中的每一个来指派，例如3D大小、3D形状、检测到的材料类型、颜色、以及检测到的边界形状。在一个实施例中，基于由对象识别引擎192在与基准属性作比较之后针对每一检测到的属性所指派的加权概率，该对象被标识并且其属性被存储在对象属性数据集320N中。关于对象的检测和追踪的更多信息可在2009年12月18日提交的“MotionDetectionUsingDepthImages(使用深度图像的运动检测)”的美国专利申请12/641,788以及“DeviceforIdentifyingandTrackingMultipleHumansoverTime(用于随时间标识和追踪多个人类的设备)”的美国专利申请12/475,308中找到。

场景映射引擎306和对象识别引擎192交换数据，这在每一引擎的功能方面有所帮助。例如，基于由对象识别引擎192确定的对象标识和朝向，场景映射引擎306可以更新标识朝向的对象的3D空间位置或位置体以获得更高的准确性。例如，椅子在其一侧上时具有与其正放时不同的针对它的体的位置坐标。从场景映射引擎306针对对象所更新的3D位置中标识出的位置历史或运动路径可以帮助对象识别引擎192标识对象，尤其是在对象被部分遮挡时。

在一个实施例中，用户聚焦区域引擎196与应用162和场景映射引擎196通信以标识被调度要显示的图像数据的3D显示器视野中的坐标。例如，应用162可以标识要以20cm的深度在左上方的位置中显示的弹出菜单，而场景映射引擎306用显示器视野的3D映射坐标来标识这一位置。弹出菜单将是聚焦对象。在一些示例中，显示器视野被组织成立方体或其他提单位。包括聚焦对象的一部分的任何立方体被认为是用户聚焦区域的一部分。

在另一实施例中，基于显示器视野中的聚焦对象的3D位置(例如包括深度分量)以及每一视网膜和每一视网膜上的小凹的近似位置，可以由用户聚焦区域引擎196将每一只眼睛的注视线从感兴趣的对象投影回到近似相应小凹位置。用户聚焦区域和其他次要区域的边界可以通过跟踪离注视线的近似小凹相交点不同角距离的每一近似视网膜位置上发出的光线来确定。

如上针对图3C所讨论的，在图3C中基于图像数据来识别姿势(诸如指向姿势)并且该姿势标识聚焦点或聚焦对象，用户聚焦区域引擎196可以按照上述段落中以及图3C的讨论中相同的方式来确定边界区域。

在另一实施例中，用户聚焦区域引擎196包括眼睛跟踪软件，用于处理由眼睛跟踪系统134捕捉的图像数据以标识注视点或注视对象。用户聚焦区域的区域边界和次要边界可以如上述示例中所讨论的那样来标识。在图2B的示例中，眼睛跟踪软件处理在光轴142周围捕捉的眼睛的图像数据，并且在假定用户眼睛与显示器设备之间的固定空间关系的情况下可以确定注视线。

在眼睛模型中，眼睛模型的示例是Gullstrand模型，眼睛的旋转中心、角膜的中心、和瞳孔的中心沿着眼睛的光轴对齐。光轴具有应用于其的小角度纠正，从而它被建模为以小角度(例如1.2度)从小凹延伸离开旋转中心的视觉轴。在一些示例中，诸如在Lewis等人的美国专利申请No.13/221739中所述的示例中，生成在空间上将旋转中心、角膜中心和瞳孔中心与NED设备的IR传感器捕捉点进行相关的注视检测坐标系，NED设备的IR传感器捕捉点例如IR和可视反射元件134E以及用于生成闪光的IR照明器。在集成眼睛跟踪的示例中，IR照明器位置也可以在反射元件134E上。例如，参见Bohn的美国专利申请No.13/245700。可以例如通过检测虹膜周界大小的变化来标识空间关系的变化，这触发了重新确定眼睛和显示器之间的空间关系。在其他实施例中，如上所讨论的，例如基于NED设备的头部大小来使用对视网膜和小凹位置的预定近似。

在确定空间关系的情况下，根据眼睛的图像数据来确定瞳孔在眼眶内的位置。在一个或多个处理器上执行的用户聚焦区域引擎196标识各个眼睛的多个图像数据样本中的黑色瞳孔区域，各个眼睛的图像数据样本可以被取平均以针对摇头进行调整。可以作出瞳孔是圆形的并且当从某一角度查看时是椭圆形的假定。椭圆的一个轴(主轴)保持不变，因为它表示不会改变的瞳孔直径，这是在假定光照不会改变的情况下，因为瞳孔大小随光照改变而改变。

在瞳孔正在透过显示器看向正前方时，假定瞳孔沿着显示器光轴142看，瞳孔在诸如其检测区域以该显示器的光轴为中心的相机的图像帧等图像格式中显得是圆形。当瞳孔改变其注视并且从图像帧的中心移动时，瞳孔显得是椭圆形，因为从某一角度来查看的圆形表现为椭圆形。椭圆副轴的宽度随着注视改变而改变，并且宽度改变可以被测量以指示瞳孔与其中瞳孔近似于图像数据中的圆形的笔直向前位置的查看角度的改变。在图像帧中心左侧的窄椭圆指示用户正看向右侧远处。离图像帧中心的右侧较小距离的较宽椭圆指示用户正看向左侧但不是左侧远处。

瞳孔中心是椭圆中心。从图像中的检测到的边缘点来拟合椭圆。因为这样的边缘点是带噪声的并且并非它们全部都在椭圆上，所以在所有边缘点的随机选择的子集上将椭圆拟合过程重复多次。与所有边缘点最一致的子集被用来获得最终椭圆。在标识了旋转中心、角膜中心、以及瞳孔中心的情况下，可以将光线从旋转中心延伸穿过角膜和瞳孔中心来获得眼睛的光轴。在确定光轴之后，可以应用默认偏移角度以使得光轴近似视觉轴并且被选为注视向量。

在一些实施例中，用户聚焦区域引擎196将经拟合的椭圆或IR捕捉的眼睛的图像数据与先前获得的训练图像数据作比较。训练图像可能已经在眼睛跟踪系统134的初始化期间作为操作NED设备的初始化过程的一部分来获得。每一训练图像具有与其相关联的预定注视角度，根据该预定注视角度可以生成注视线或注视向量。

为了确定注视点，用户聚焦区域引擎196确定用户前方的3D空间中的注视向量的相交点并且确定该相交点、作为聚焦点的示例的注视点、以及与注视点相关联的任何对象(无论是现实的还是虚拟的)是否在显示器视野的3D映射内。用户聚焦区域和次要区域的边界可以如上所述地来确定。

在一些实施例中，用户聚焦区域引擎196可以简单地标识显示引擎195或应用162用来确定图像数据与聚焦点的距离的聚焦点和聚焦对象。

在一些实施例中，场景映射引擎306检查用户聚焦区域引擎196提供的聚焦点的更新，并且确定显示器视野中从聚焦点到根据正在执行的应用要被显示的图像数据的距离向量。该距离向量被发送给用户聚焦区域引擎196以确定向其反射图像数据的每一视网膜上的角距离。基于角距离和低感知准则209，用户聚焦区域引擎196确定图像数据中的哪一个有资格成为允许损失数据并且向场景映射引擎309通知确定结果。

在其他实施例中，场景映射引擎306基于低感知准则209来标识要被显示的图像数据是否是允许损失数据，以及图像数据是落入由用户聚焦区域引擎196在显示器视野中标识的用户聚焦区域还是其他次要区域中。

场景映射引擎306向通信模块250的通信管理器123通知哪些图像数据有资格成为允许损失数据。通信管理器123访问所存储的无损传输准则以确定如何传送没有资格成为允许损失数据的数据并且访问有损传输准则213以标识有损传输的边界或限制。有损传输准则可包括用于与无损传输准则中的相同类型的通信特性和服务质量指示符的准则。

3D音频引擎304是位置3D音频引擎。要播放的虚拟对象的声音可以由应用162上传到声音库312，应用162基于应用的执行规则来指令3D音频引擎304何时播放声音。3D音频引擎根据3D图来标识虚拟对象的3D位置并且生成声音以使得在由耳机130或其他实施例中类似扬声器的其他音频输出设备播放时声音感觉上来自所表示的3D位置。另外，基于如可被存储在声音库312中的音频数据以及存储在用户简档数据197或用户简档322中的语音数据文件，声音识别引擎194标识经由麦克风110从现实世界接收的音频数据以用于经由语音命令的应用控制以及用于位置和对象识别。

姿势识别引擎193标识一个或多个姿势。姿势是由用户执行的向执行中的应用指示控制或命令的动作。该动作可以由用户的身体部位(例如手或手指)来执行，但是眼睛的眼睛眨眼序列也可以是姿势。在一个实施例中，姿势识别引擎193将骨架模型和从所捕捉的图像数据中导出的与其相关联的移动与姿势过滤器库313中的所存储的姿势过滤器进行比较以标识出用户(由骨架模型所表示)何时执行了一个或多个姿势。在一些示例中，在姿势训练会话期间将图像数据与用户的手或手指的图像模型进行匹配，而非进行骨架追踪来识别姿势。关于姿势识别引擎193的更多信息可以在2009年4月13日提交的名为“GestureRecognitionSystemArchitecture(姿势识别器系统架构)”的美国专利申请12/422,661中找到。关于识别姿势的更多信息可在2009年2月23日提交的美国专利申请12/391,150“StandardGestures(标准姿势)”；以及2009年5月29日提交的美国专利申请12/474,655“GestureTool(姿势工具)”中找到。

NED设备系统8的一个或多个实施例中的自然用户界面(NUI)的实施例可以包括朝向外的捕捉设备113和用于标识姿势的姿势识别引擎193，其中姿势是至少一个身体部位的至少一个用户身体动作的示例。在用户聚焦区域引擎196的实施例中执行的用于基于由系统134捕捉的数据解释眼睛移动的眼睛跟踪系统134和眼睛跟踪软件196还可以是NED设备系统8的自然用户界面的另一实施例中的组件。基于眼睛的动作，诸如指示命令的眨眼序列、注视点、注视模式、注视历时、或眼睛移动也是作为至少一个身体部位的一个或多个用户身体动作的自然用户输入的一些示例。自然用户输入用自然用户输入数据来表示，诸如由眼睛跟踪软件标识并且用眼睛跟踪数据来表示的图像数据。话筒和声音识别引擎194还可以处理语音命令的自然用户输入，该自然用户输入也可以补充诸如姿势和眼睛注视之类的其他所识别的身体动作。在一些实施例中，用户聚焦区域引擎196可以在通信地耦合的计算机系统(例如4或8)上执行，并且来自眼睛跟踪系统134和面朝外的捕捉设备113的图像数据经由来自NED设备的后向信道来发送，从而将与注视有关的以及姿势识别处理从NED设备的控制电路系统136卸载。

应用162针对由图像数据所表示的且由应用控制的对象来标识显示器视野的3D映射中的目标3D空间位置。例如，直升机应用基于射击虚拟直升机的用户动作来标识直升机202a、202b和202c的位置和对象属性的改变。显示数据引擎195将显示器视野中的目标3D空间位置与显示器单元112的显示坐标进行相关。显示数据引擎195执行转换、旋转和缩放操作以用于以正确的大小和视角显示图像数据。应用或显示数据引擎195可以向场景映射引擎更新关于图像数据对象的位置。在许多实施例中，接收自通信地耦合的伴随处理模块4或其他计算机系统12的供显示的图像数据，在其被传送之前，基于其在显示器视野中相对于用户聚焦区域的位置来调整其图像分辨率。

下面的讨论描述了一些示例性处理，其用于更新光学透视扩增现实(AR)显示器以定位虚拟对象，从而使得它们更逼真地出现在显示器中为它们确定的3D位置处。在一个示例实现中，Z缓冲器存储每一个可单独寻址的显示位置或区域(例如像素)的数据。显示数据引擎195在Z缓冲器中用显示对象边界和虚拟对象边界来渲染显示器视野的3D映射。因为在这一示例中NED设备是光学透视显示器设备，当图像生成单元120显示图像数据对象而非现实对象时，Z缓冲器中的现实对象边界充当图像数据对象要在显示器中被三维定位在何处的基准。图像数据的颜色信息被写入对应的颜色缓冲器中。

为每个显示位置或显示位置子集(例如为每个像素(或者为像素的子集)存储深度值。在这一实施例中，基于Z缓冲器和颜色缓冲器两者的深度值结果对图像数据分层得到合成图像，图像生成单元120被控制显示该合成图像。显示更新过程可以每秒执行多次(例如刷新率)。

对于视频观看扩增现实显示器或透视显示器在视频观看模式中的操作，现实对象的图像数据还被写入到具有虚拟对象或其他增强对象的图像数据的Z缓冲器和对应的色彩缓存器中。在视频观看模式中，每个透视显示器14的不透明滤光器可以被调谐为使得从眼镜前方反射的光不抵达用户的眼睛140，并且现实和虚拟或增强对象二者的3D图像数据在显示器上播放。

设备数据198可包括个人装置8的标识符、网络地址(例如IP地址)、型号、配置参数(诸如所安装的设备)、操作系统的标识、什么应用在NED系统8中可用并且在NED系统8中执行，并且还可包括来自传感器或感测单元的数据，或者根据传感器或感测单元确定的数据，传感器或感测单元例如惯性感测单元132中的定向传感器以及位置感测单元144中的一个或多个位置和邻近度收发机。此外，例如显示器单元、不透明滤光器、处理单元、存储器、通信模块、图像生成单元、和电源之类的硬件组件的特性也可被存储在设备数据中。这些特性的一些示例是显示器分辨率、处理器速度、存储器大小和类型、电源上的瓦特、图像生成单元的照明输出、通信模块中的发射机和接收机或者收发机的类型、天线功率、所支持的通信协议(如IEEE802.11族成员、蜂窝、红外)、可用的有线或无线接口的类型(例如USB)、所支持的调制方案的类型(例如扩频和星座编码方案)、所支持的载波频带频率、所支持的纠错和压缩技术。

本文中的技术可以其他具体形式来实施而不背离其精神或实质特性。同样，对于模块、例程、应用、特征、属性、方法和其他方面的特定命名和划分并非是强制性的，且实现本技术或其特征的机制可具有不同的名称、划分和/或格式。

出于说明性目的，下面的方法实施例是在上述系统和装置实施例的上下文中描述的。然而，该方法实施例不限于在上述系统实施例中操作，而是可以在其他系统实施例中实现。此外，方法实施例可以在NED系统处于操作中并且适用的应用正在执的同时连续执行。

图6是一种用于标识用于在近眼显示器(NED)的显示器视野中显示图像数据的区域的方法的一实施例的流程图。在图5的解说性上下文中，在步骤422，场景映射引擎306基于NED设备检测到的传感器数据来持续地更新包括显示器视野的3D映射。图5的讨论提供了传感器数据的示例，例如基于感性感测单元132和面朝外的相机113捕捉的图像数据的头部位置数据。在步骤424，例如由用户聚焦区域软件196如上所讨论的来标识聚焦点，并且在步骤426，在包括被成为用户聚焦区域的聚焦点的第一区域的显示器视野的3D映射中标识坐标。在步骤428，基于用户聚焦区域和人类视力准则，还标识用户聚焦区域以外的一个或多个次要区域的3D映射中的坐标。如图4A、4B和4C的示例中所解说的，根据对人眼的研究而预先确定的角距离是人类示例准则的一个示例。另外，如在该示例中所解说的，不同的图像分辨率可以被应用在用户聚焦区域以内和以外。

图7是一种用于确定显示器视野中的次要区域以及与其相关联的图像分辨率的方法的另一实施例的流程图。在一些示例中，图7的方法实施例可以由NED设备系统8的伴随处理模块4或与伴随处理模块4的通信模块、NED设备2或两者通信的网络可访问的计算机系统12来执行，因为映射数据可以跨系统共享，并且各个应用可能跨计算机系统来执行。在步骤502，在第二区域的3D映射中标识坐标，第二区域从用户聚焦区域的边界到离聚焦点的第二角距离。在步骤504，在第三区域的3D映射中标识坐标，第三区域从第二区域的边界到离聚焦点的第三角距离。在步骤506，基于一个或多个正在执行的应用，标识第二区域中供显示的图像数据，并且在步骤508，标识第三区域中供显示的图像数据。为了进一步缩减用于发送图像数据的带宽并且由此缩减显示更新时间，可以缩减第二和第三区域的次要图像数据的图像分辨率。缩减图像数据的一个示例是通过对图像数据降采样。在步骤510，第二区域图像数据的至少一部分可以被降采样成中等分辨率水平，并且在步骤512，第三区域图像数据的至少一部分可以被降采样成分辨率低于用户聚焦区域和第二区域两者的图像分辨率的分辨率水平。经降采样的数据随后可以被传送以用于次要区域。

一些实施例还可包括对用户聚焦区域图像数据使用一个或多个无损压缩技术而对次要图像数据使用有损压缩技术。不要将压缩与传输混淆。以有损压缩来压缩的数据在被传送之前降低了其数据完整性，并且所得的经压缩数据可以为了满足无损传输准则而被传送。传输中的损失或无损性独立于压缩中的损失或无损性。

图8A和8B解说了各实施例，其中在聚焦点周围的区域中标识离聚焦点的距离。图8A是从传送方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的一实施例的流程图。通信地耦合到NED设备的计算机系统的一个示例是具体化在伴随处理模块4中的计算机系统。在另一示例中，传送方计算机系统可以远离NED设备系统8，诸如所解说的网络可访问的计算机系统12。在步骤602，通信地耦合到NED设备的计算机系统基于一个或多个正在执行的应用来标识用户聚焦区域图像数据，并且在步骤604，使用用于满足无损传输准则的一个或多个通信技术来传送用户聚焦区域图像数据。在这一实施例中，用户聚焦区域图像数据作为无损优先级数据来对待。在步骤606，计算机系统基于一个或多个正在执行的应用来标识用户聚焦区域以外的供显示的次要图像数据，并且在步骤608中，使用允许有损传输的一个或多个通信技术来传送用户聚焦区域以外的供显示的图像数据中的至少一些。在这一实施例中，次要图像数据中的至少一些作为允许损失数据来对待。

一些实施例可以针对某些类型的图像数据(例如基于内容类型)使用无损传输技术，而不管区域。内容类型的一些示例是文本和图片。另一基础可以是趋于停留在场景中的对象的结构核使用用于满足无损传输的通信技术来发送，而细节和颜色的覆盖层可以允许有损传输来传送。在另一示例中，图像分辨率被应用于作为整体的对象，而不像图4B和4C的示例中那样。整个对象的图像数据根据该对象的至少一部分落入最优优先级区域来对待。例如，对于部分在用户聚焦区域中而部分在用户聚焦区域以外的对象，该对象在用户聚焦区域以外的图像数据就好像它在用户聚焦区域内那样来被处理以供传输。

图8B是从NED设备系统的接收方计算机系统的角度的一种用于缩减NED设备的显示更新时间的方法的一实施例的流程图。如上所示，NED设备系统的接收方计算机系统的示例可以是控制电路系统136的硬件和软件组件，包括处理单元210、存储器244、和通信模块137，或具体化在伴随处理模块4中的计算机系统。

在步骤612，接收方计算机系统从通信地耦合的计算机系统(例如4或12)接收图像数据，并且在步骤614标识正被接收的图像数据内的用户聚焦区域图像数据。通信模块250可以基于多种基础来将不同区域的图像数据与正被接收的数据中的其他图像数据区分开，这些基础的一些示例是图像数据跨越哪个通信信道而来、图像数据在时分复用方案中的哪个时间窗口被接收、数据如何被调制、标识数据(例如数据分组的头部中的一个或多个比特)、以及甚至收到图像数据中的纠错数据的存在或缺少。这些示例还可用于将无损优先级图像数据与允许损失数据区分开。

在步骤616，接收方计算机系统使用用于满足无损传输准则的一个或多个通信技术来检索用户聚焦区域图像数据，并且在步骤618，标识正被接收的图像数据内在用户聚焦区域以外的供显示的至少一些次要图像数据。在步骤620，至少一些次要图像数据使用允许有损传输的一个或多个通信技术来检索。在步骤622，NED显示器设备(例如在显示引擎195的控制之下)在NED设备的显示器视野中显示用户聚焦区域图像数据和至少一些次要图像数据。

图9A到9D解说了取决于图像数据与聚焦点的位置关系(例如由距离向量表示)可以在用于满足无损传输准则传送图像数据以及允许有损传输中使用的通信技术的纠错技术的一些示例。图9A是使用不同水平的错误纠正的过程示例的流程图。这一示例聚焦于将纠错作为通信技术来应用。在步骤632，传送方计算机系统使得通信模块用用于满足无损传输准则的一个或多个纠错技术来编码无损优先级图像数据，并且在步骤634，传送方计算机系统使得通信模块用允许有损传输的纠错水平来编码允许损失数据中的至少一些。

图9B是解说图9A中的通信技术的一些实现示例的流程图。在步骤636，传送方计算机系统使得其通信模块通过针对无损优先级数据(例如图8A的示例中的用户聚焦区域图像数据)来设置分组的一个或多个数据完整性头部比特并且包括冗余数据来用用于满足无损传输准则的一个或多个纠错技术来编码无损优先级图像数据。此类纠错技术的一个示例是前向纠错(FEC)。在步骤638，对于允许损失图像数据中的至少一些，传送方计算机系统使得通信模块通过针对允许损失图像数据中的至少一些来设置分组的一个或多个数据完整性头部比特并且略去冗余数据来编码。

在另一示例中，可以对无损优先级数据执行例如卷积编码技术例如Biterbi解码的前向纠错(FEC)技术，而不会刺穿或打穿数据，并且对允许损失数据执行带有刺穿数据的Viterbi解码。也可以在具有或不具有刺穿数据的情况下使用Turbo编码。

图9C是解说可在从收到图像数据中检索无损优先级图像数据和允许损失图像数据中使用的通信技术的一些其他示例的流程图。在步骤642，在NED系统计算机系统的控制之下的通信模块对收到的无损优先级图像数据执行一个或多个纠错技术，并且在步骤644，略去对允许损失图像数据中的至少一些执行一个或多个纠错技术。

图9D是解说用于从收到图像数据中检索允许损失图像数据的通信技术的另一示例的流程图。在步骤652，在NED系统中的接收方计算机系统的控制之下的通信模块对收到的无损优先级图像数据执行一个或多个纠错技术，并且在步骤654，检查允许损失图像数据中的至少一些的一个或多个数据完整性头部比特。在步骤656，通信模块250使得被丢失或被破坏中的至少一者的允许损失数据分组的一个或多个标识符被存储。在步骤658，通信模块250将收到的允许损失图像数据存储在可由显示引擎访问的存储器缓冲器中，并且在步骤660，响应于满足显示更新优先级准则，请求对丢失数据、被破坏数据或这两种类型的数据的传输。

显示更新优先级准则的一个示例是其中对无损优先级图像数据排定优先级的每秒维持至少某一数量的帧的更新速率。如果在为无损优先级图像数据排定优先级的时间窗口中有可用带宽，则被破坏或传送失败的允许损失图像数据可被包括在用于满足无损传输准则来传送的窗口中。此类实施例可有用于其中用户聚焦移到次要区域中的对象是可预测的或者由于应用的本质更可能发生的应用。

图10A是使用在传输质量方面可变的调制技术来传送图像数据的过程示例的流程图。在步骤672，传送方计算机系统使得通信模块250用用于满足无损传输准则的误比特率准则的调制技术来调制无损优先级图像数据，并且在步骤674中，通信模块250在传送方计算机系统的控制之下用不满足误比特率准则的调制技术来调制允许损失数据中的至少一部分。

图10B是解说作为星座编码方案的调制通信技术的一些实现示例的流程图。在步骤682，传送方计算机系统使得通信模块250用满足无损传输准则的误比特率准则的每码元比特数的第一星座编码方案来调制无损优先级图像数据。在步骤684，通信模块250在传送方计算机系统的控制之下用每码元具有更多比特数并且不满足无损传输准则的误比特率准则的第二星座编码方案来调制允许损失数据中的至少一部分。

如以上的讨论所指示的，对允许损失数据和无损优先级数据的传输可以在同时或大约同时(例如在相同帧中)或者在分开的时间(例如不同帧)完成。除了帧示例之外，可以使用相同编号的星座方案在相同码元内对不同优先级比特排定优先级。星座编码器可以在与一码元中的星座点相关联的较高阶比特中编码无损优先级数据，而因为较低阶比特与其星座点相关联，该同一码元对允许损失数据进行编码。例如，在QAM16方案中，较高优先级比特在16个星座点中的每一个的高阶比特中编码。例如，每一星座点与4比特的图案相关联，并且该图案的最高有效位获得高阶比特。结果是较高优先级的比特在码元的不同象限中编码。码元的不同象限中的星座点分开达比同一象限中的点更大的Hamming或调制距离。较低优先级的比特使用剩余的较低阶比特来编码，从而它们具有在同一象限中并且在Hamming距离上更靠近的概率。Hamming距离越近，噪声越有可能使得检测器检测到错误的比特值并且因此检测到错误的星座点和星座中的相关联的值。

如果期望，分层QAM(HQAM)也可被使用，其中不同象限中的星座点之间的Hamming或调制距离以缩窄相同象限中的各个点之间的调制距离为代价而被扩大。QAM编码尤其有用于基于离聚焦点的连续距离改变的图像质量的逐渐降级。

图10C是解说基于要被传送和接收的图像数据的优先级来协商作为通信技术的通信信道的流程图。在步骤692，通信模块在NED系统中的接收方计算机系统的控制之下基于满足无损传输准则的第一信道噪声准则与传送方通信模块协商用于无损优先级图像数据的通信信道，并且在步骤694，基于满足允许有损传输的第二信道噪声准则与传送方通信模块协商用于至少一些允许损失数据的通信信道。

图11是计算机系统的一个实施例的框图，该计算机系统可用于实现网络可访问的计算系统12、伴随处理模块4、或近眼显示器(NED)设备的控制电路系统136的可主存计算环境54的软件组件中的至少一些组件的另一实施例。图11解说了示例性计算机系统900。在其最基本配置中，计算系统900通常包括一个或多个处理单元902，包括一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。计算机系统900还包括存储器904。取决于计算机系统的确切配置和类型，存储器904可以包括易失性存储器905(如RAM)、非易失性存储器907(如ROM、闪存等)或是两者的某种组合。该最基本配置在图11中由虚线906来例示出。另外，计算机系统900还可具有附加特征/功能。例如，计算机系统900还可包括附加存储(可移动和/或不可移动)，包括但不限于磁盘、光盘或磁带。这样的附加存储在图11中由可移动存储908和不可移动存储910示出。

计算机系统900还可包含允许该设备与其他计算机系统通信的通信模块912，包括一个或多个网络接口和收发机。计算机系统900也可具有诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等的输入设备914。还可包括输出设备916，诸如显示器、扬声器、打印机等。

附图中示出的示例计算机系统包括计算机可读存储设备的示例。计算机可读存储设备也是处理器可读存储设备。这样的设备包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任意方法或技术来实现的易失性和非易失性、可移动和不可移动存储器设备。处理器或计算机可读存储设备的一些是RAM、ROM、EEPROM、高速缓存、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、记忆棒或卡、磁带盒、磁带、媒体驱动器、硬盘、磁盘存储或其他磁性存储设备、或能用于存储信息且可以由计算机访问的任何其他设备。

尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于缩减近眼显示器(NED)设备的显示更新时间的方法，包括：

标识所述近眼显示器设备的显示器视野中从聚焦点到供显示在所述显示器视野中的图像数据的距离向量；

基于离所述聚焦点的距离向量和低感知准则，通信地耦合至所述NED设备的一种计算机系统确定要被显示的图像数据中的至少一些是否有资格成为不满足所述低感知准则的无损优先级数据；

基于离所述聚焦点的距离向量，通信地耦合至所述NED设备的所述计算机系统确定要被显示的图像数据中的至少一些是否有资格成为满足所述低感知准则的允许损失数据；

响应于所述图像数据中的至少一些有资格成为所述允许损失数据，使用允许有损传输的一个或多个通信技术从所述计算机系统向所述NED设备传送所述允许损失数据；以及

响应于所述图像数据中的至少一些有资格成为所述无损优先级数据，由所述计算机系统使用满足无损传输准则的一个或多个通信技术来向所述NED设备传送所述无损优先级图像数据。

2.如权利要求1所述的方法，其特征在于，由所述计算机系统使用满足无损传输准则的一个或多个通信技术来向所述NED设备传送所述无损优先级图像数据进一步包括

用用于满足无损传输准则的一个或多个纠错技术来编码所述无损优先级图像数据；以及

其中使用允许有损传输的一个或多个通信技术从所述计算机系统向所述NED设备传送所述允许损失数据进一步包括

通过以允许有损传输的纠错水平来设置分组的一个或多个数据完整性头部比特并且略去所述允许损失图像数据中的至少一些的冗余数据来对所述允许损失图像数据中的至少一些进行编码。

3.如权利要求2所述的方法，其特征在于，用于满足无损传输准则的一个或多个通信技术包括前向纠错(FEC)。

4.如权利要求1所述的方法，其特征在于，所述无损传输准则包括满足无损优先级图像数据的零差错传输的概率准则的第一误比特率，而允许有损传输包括允许不满足所述概率准则的第二误比特率。

5.如权利要求1所述的方法，其特征在于，由所述计算机系统使用满足无损传输准则的一个或多个通信技术来向所述NED设备传送所述无损优先级图像数据进一步包括

用满足所述无损传输准则的误比特率准则的调制技术来调制所述无损优先级图像数据；以及

其中使用允许有损传输的一个或多个通信技术从所述计算机系统向所述NED设备传送所述允许损失数据进一步包括

用不满足所述无损传输准则的误比特率准则的调制技术来调制所述允许损失图像数据中的至少一部分。

6.如权利要求5所述的方法，其特征在于，用满足所述无损传输准则的误比特率准则的调制技术来调制所述无损优先级图像数据进一步包括

用满足所述误比特率的每码元比特数的第一星座编码方案来调制所述无损优先级图像数据；以及

用不满足所述无损传输准则的误比特率准则的调制技术来调制所述允许损失图像数据中的至少一部分进一步包括

用每码元具有比所述第一星座编码方案多的比特数并且不满足所述误比特率的第二星座编码方案来调制所述允许损失图像数据中的至少一部分。

7.如权利要求1所述的方法，其特征在于，进一步包括：

所述无损优先级图像数据包括供显示在用户聚焦区域中的用户聚焦区域图像数据，以及

所述允许损失图像数据包括供显示在所述用户聚焦区域以外的至少一些次要图像数据；以及

所述次要图像数据具有比所述用户聚焦区域图像数据更低的图像分辨率。

8.一种近眼显示器(NED)设备系统，包括：

近眼显示器(NED)设备，包括：

近眼支撑结构，

由所述近眼支撑结构支撑并且具有显示器视野的近眼显示器(NED)，以及

由所述近眼支撑结构支撑并且输出图像数据的图像生成单元，所述图像数据在光学上耦合进入所述近眼显示器(NED)以用于所述显示器视野中的投影显示；

通信地耦合至所述图像生成单元的用于控制图像数据的显示的一个或多个处理器；

所述一个或多个处理器基于存储在可访问存储器中的表示自然用户输入的数据来确定所述显示器视野中的用户聚焦区域；

所述一个或多个处理器基于所述NED设备系统正执行的一个或多个应用来标识供显示在所述用户聚焦区域内的用户聚焦区域图像数据并且标识供显示在所述用户聚焦区域以外的次要图像数据；以及

通信地耦合至所述一个或多个处理器并且通过通信介质通信地耦合至计算机系统的第一通信模块，所述通信模块在从所述计算机系统检索到用户聚焦区域图像数据时使用用于满足无损传输准则的一个或多个通信技术，而在从所述计算机系统检索到次要图像数据时使用允许有损传输的一个或多个通信技术。

9.如权利要求8所述的近眼显示器设备系统，其特征在于，所述第一通信模块和所述一个或多个处理器由所述近眼支撑结构支撑。

10.如权利要求8所述的近眼显示器设备系统，其特征在于，进一步包括与所述NED设备分开并且通信地耦合至所述NED设备的伴随处理模块，所述伴随处理模块包括所述第一通信模块。