CN112912825A - 用于虚拟现实的感兴趣区域估计的系统和方法 - Google Patents

Abstract

描述了用于估计用户的感兴趣方向的系统和方法。在一些实施例中，一种估计用户的感兴趣方向的方法包括：跟踪用户的头部取向，检测头部取向的转移，确定在头部取向的转移期间的头部旋转速率，以及至少部分地基于头部旋转速率来估计用户的感兴趣方向。

Description

用于虚拟现实的感兴趣区域估计的系统和方法

相关申请的交叉引用

本申请是以下申请的非临时申请并按照35U.S.C.§119(e)要求其权益：2018年10月24日递交的题为“用于虚拟现实的感兴趣区域估计的系统和方法(SYSTEM AND METHODSFOR REGION OF INTEREST ESTIMATION FOR VIRTUAL REALITY)”的美国临时专利申请系列号62/750,024，该申请通过引用而被整体结合于此。

背景技术

虚拟现实(VR)系统旨在向用户提供高水平的沉浸感。作为该努力的一部分，VR系统可以生成高每秒帧数(FPS)和高分辨率图像，以生成自然外观的视频并将其实时呈现给用户。然而，更高的分辨率和FPS可能需要更多的计算能力。因为通常可能需要更强大的处理器来实时提供高质量的图像，所以对VR内容服务器的需求通常逐日增加。这些为用户提供高质量内容的努力可能导致VR内容的更高价格和用户的更低可访问性。

视网膜中央凹渲染(foveated rendering)是一种调整VR内容的分辨率以便降低制作VR内容通常所需的计算能力的技术。视网膜中央凹渲染可以涉及将高分辨率渲染仅应用于图像的特定区域，例如用户的感兴趣区域。例如，识别用户的注视指向何处可能是特别有用的。然而，为了识别用户对图像的感兴趣点，具有视网膜中央凹渲染的VR系统通常可能需要头戴式显示器(HMD)内的特殊眼睛跟踪硬件，这可能招致额外的成本。

可以采用视网膜中央凹渲染来减少渲染开销，例如通过向用户实际上正关注的区域应用更高分辨率和/或通过对相对低感知(例如外围)区域使用相对低分辨率。为了使VR系统执行有效的视网膜中央凹渲染，识别用户的感兴趣区域(ROI)可能是有帮助的。这是因为如果低分辨率渲染区域出现在用户的ROI中，则可能会降低用户的感知性能或者例如主观VR体验。两种类型的视网膜中央凹渲染包括固定视网膜中央凹渲染和使用眼睛跟踪的视网膜中央凹渲染。每种类型可以使用各种不同的方法来估计用户的ROI。

图45描绘了固定视网膜中央凹渲染的示例。固定视网膜中央凹渲染假设用户感兴趣的区域是屏幕中心。因此，该方法仅对图像的中心部分应用高分辨率。图45中的示例示出了将图像(例如VR图像4506)的中心4502与外围4504分离以便应用固定视网膜中央凹渲染。在固定视网膜中央凹渲染的示例中，中心可以被假设为用户的感兴趣区域。图46示出了径向密度掩蔽(radial density masking)，一种在视网膜中央凹渲染中使用的方法。在该示例中，渲染高分辨率中心区域上的所有像素，但是仅渲染低分辨率外围区域上的一半像素。例如，渲染器可以跳过渲染2×2像素四元组的校验器图案(例如，以匹配一些示例GPU架构)。如图47所示，示例VR系统可以通过组合所渲染的像素的信息来重构低分辨率区域中的空(例如，未被渲染的)像素的信息。

与上述固定视网膜中央凹渲染不同，使用眼睛跟踪的示例视网膜中央凹渲染方法通过直接观察用户的眼睛来识别用户的ROI。示例系统将高分辨率应用于重要区域(例如，用户的注视点周围)并且将低分辨率应用于另一区域。使用眼睛跟踪来直接识别感兴趣区域的一个原因是用户正在观看屏幕中心的固定视网膜中央凹渲染的假设可能不时地(或经常地)崩溃。考虑到VR内容的用户可能主动地移动他的眼睛并且转动他的头部以观察周围环境，这是似乎合理的考虑。

作为示例，表1列出了Tobii Pro VR的规格，该Tobii Pro VR是集成到HMD中的示例眼睛跟踪系统(从https：//www.tobiipro.com/产品列表/VR集成/中被检索)。

表1，示例眼睛跟踪系统的规格

例如，除了视网膜中央凹渲染之外，眼睛跟踪可以集成在VR系统中以用于各种应用。在用户由化身(avatar)表示的应用中，在一些情况下，可能希望化身的眼睛准确地反映用户的真实眼睛的移动，例如以提供适当的社交线索。在一些应用中，注视信息可以用于确定用户的意图或用户对对象的兴趣。

为了提供高质量的VR体验，以高分辨率和高FPS渲染VR图像可能是有帮助的。然而，飞速地(on the fly)生成这些高质量的内容在一些情况下可能需要在例如VR服务器PC上的高性能图形渲染能力。视网膜中央凹渲染是一种可以用于减少渲染开销同时保持用户注视点周围的内容的质量的方法。可以使用眼睛跟踪来实现视网膜中央凹渲染。然而，为了执行眼睛跟踪，VR系统在一些情况下可能需要额外的设备和处理来估计眼睛位置。用于跟踪的额外处理可导致额外延迟。

固定视网膜中央凹渲染通常可以假设图像的中心是用户的ROI。这种假设可能不总是准确的。如果用户观看图像的外围，则用户可以识别出图像的分辨率低。换句话说，系统消耗更多的功率来呈现高分辨率区域，但是用户可能观看低分辨率区域，并且所消耗的功率被无意义地浪费。另外，ROI中所表示的改变的图像的分辨率可能使得使用VR内容的人分心或迷惑。

一种在用户的凝视点(fixation point)周围找到他/她的ROI(感兴趣区域)的方法是眼睛跟踪。眼睛跟踪是测量注视点(人们正在看的地方)或眼睛相对于头部的运动的过程。眼睛跟踪器是用于测量眼睛位置和眼睛移动的设备。有许多测量眼睛移动的方法。一种提取眼睛位置的方法包括使用视频图像。然而，这种方法在一些情况下可能需要诸如相机和LED光源之类的硬件集合，这通常使得HMD昂贵并且具有大的形状因子(大的占用面积)。提取眼睛位置的一些方法对于VR应用可能太慢。

发明内容

描述了用于估计用户的注视方向的系统和方法。所估计的注视方向可以用于提供具有视网膜中央凹渲染的VR内容。在一些实施例中，通过利用用户的头部移动与用户的注视移动之间的关系来预测用户的眼睛凝视点。在一些实施例中，VR系统可以仅对用户的感兴趣区域应用高分辨率渲染，而无需眼睛跟踪设备，使得系统可以在没有任何附加硬件的情况下减少渲染开销。一些实施例利用诸如惯性测量单元(IMU)的传感器。

根据一些实施例的示例方法可以包括：跟踪用户的头部取向；检测用户的头部取向的转移；确定在头部取向的转移期间的用户的头部旋转速率；确定将所述头部旋转速率与注视方向或感兴趣方向中的至少一者相关的用户特定参数；以及至少部分地基于所述用户特定参数和所述头部旋转速率来估计所述注视方向或所述感兴趣方向中的所述至少一者。

对于示例方法的一些实施例，可以使用惯性测量单元来执行跟踪头部取向。

对于示例方法的一些实施例，检测头部取向的转移可以包括检测用户头部的角加速度超过预定阈值。

对于示例方法的一些实施例，确定头部旋转速率可包括确定最大头部旋转速率。

对于示例方法的一些实施例，确定头部旋转速率可包括确定在头部取向的转移期间的最大头部旋转速率与在头部取向的转移之前测量的初始头部旋转速率之间的差值。

对于示例方法的一些实施例，确定用户特定参数可以包括：确定预测的注视方向改变；以及通过将头部旋转速率与所述预测的注视方向改变进行比较来确定用户特定参数。

示例方法的一些实施例还可以包括：引导用户将注视从显示器上的第一感兴趣区域转移到所述显示器上的第二感兴趣区域，其中所述预测的注视方向改变等于所述显示器上的所述第一感兴趣区域与所述第二感兴趣区域之间的角距离。

对于示例方法的一些实施例，引导用户将注视从显示器上的第一感兴趣区域转移到所述显示器上的第二感兴趣区域可以包括：在所述显示器处，在所述显示器上的与第二感兴趣区域相关联的位置处生成虚拟对象。

对于示例方法的一些实施例，确定所述预测的注视方向改变可以包括：至少部分地基于显示器上向用户示出的内容所特有的元数据来确定所述预测的注视方向改变。

对于示例方法的一些实施例，确定用户特定参数可以包括：在训练模式中，确定用户特定参数的初始值；以及在服务模式中，至少部分地基于在显示器上向用户示出的内容所特有的元数据来更新所述用户特定参数的所述初始值。

示例方法的一些实施例还可以包括基于用户的头部旋转的方向来调整用户特定参数。

示例方法的一些实施例还可以包括基于头部相对于中间位置的位置来调整用户特定参数。

对于示例方法的一些实施例，估计注视方向或感兴趣方向中的至少一者可以包括：通过将头部取向速率乘以用户特定参数来计算方向改变。

对于示例方法的一些实施例，估计注视方向或感兴趣方向中的至少一者还可以包括通过以下步骤来估计注视方向：识别初始注视方向；以及将所估计的方向改变添加到所述初始注视方向。

该示例方法的一些实施例还可以包括：确定在头部取向的转移期间，头部旋转速率在一时间周期内基本上恒定；并且其中估计注视方向还可以包括将偏移添加到所估计的方向改变和所述初始注视方向上。

对于示例方法的一些实施例，估计注视方向或感兴趣方向中的至少一者还可以包括通过以下步骤来估计感兴趣方向：识别初始感兴趣方向；以及将所估计的方向改变添加到所述初始感兴趣方向。

示例方法的一些实施例还可以包括：确定在头部取向的转移期间，头部旋转速率在一时间周期内基本上恒定；并且其中估计感兴趣的方向还可以包括将偏移添加到所估计的方向改变和所述初始感兴趣方向。

示例方法的一些实施例还可以包括：响应于确定用户头部的角加速度正在减小，将注视方向或感兴趣方向中的至少一者保持在基本恒定的值。

示例方法的一些实施例还可以包括：在HMD的显示器处渲染具有第一分辨率的第一区域和具有第二分辨率的第二区域，其中第一分辨率大于第二分辨率，并且其中第一区域对应于注视方向或感兴趣方向中的至少一者。

示例方法的一些实施例还可以包括：基于所估计的注视方向或估计的感兴趣方向中的至少一者，使用视网膜中央凹渲染在HMD的显示器处针对用户渲染图像。

示例方法的一些实施例还可以包括：使用视网膜中央凹渲染来针对用户渲染图像，其中朝向所估计的注视方向或所估计的感兴趣方向中的至少一者的图像的一部分以比远离所估计的注视方向或所估计的感兴趣方向中的至少一者的图像的一部分更高的质量来渲染。

示例方法的一些实施例还可以包括：使用所估计的注视方向或所估计的感兴趣方向中的至少一者作为化身眼睛方向来动画化用户的化身。

示例方法的一些实施例还可以包括：基于所估计的注视方向或所估计的感兴趣方向中的至少一者来确定用户对对象的兴趣。

根据一些实施例的示例装置可以包括处理器和存储指令的非暂时性计算机可读介质，所述指令当在所述处理器上执行时，可操作以执行上面列出的示例方法中的任何方法。

根据一些实施例的估计用户的感兴趣方向的示例方法可以包括：跟踪用户的头部取向；检测头部取向的转移；确定在头部取向的转移期间的头部旋转速率；以及至少部分地基于头部旋转速率来估计用户的感兴趣方向。

根据一些实施例的示例装置可以包括处理器和存储指令的非暂时性计算机可读介质，所述指令当在处理器上执行时，可操作以执行上面列出的方法。

根据一些实施例的至少部分地由被配置为由用户穿戴的头戴式显示器(HMD)执行的示例方法可以包括：跟踪用户的头部取向；检测头部取向的转移；确定在头部取向的转移期间的头部旋转速率；确定将头部旋转速率与注视方向或感兴趣方向中的至少一者相关的用户特定参数；至少部分地基于所述用户特定参数和所述头部旋转速率来估计所述注视方向或所述感兴趣方向中的所述至少一者；以及基于所述注视方向或所述感兴趣方向中的所述至少一者，使用视网膜中央凹渲染在所述HMD处针对所述用户渲染图像。

对于一些实施例，示例方法还可以包括使用注视方向或感兴趣方向中的至少一者来确定HMD的显示器上的位置；以及使用视网膜中央凹渲染在显示器上的所确定的位置处渲染图像。

根据一些实施例的另一示例装置可以包括处理器和存储指令的非暂时性计算机可读介质，所述指令在处理器上执行时，可操作以执行以上列出的示例方法中的任何方法。

附图说明

图1A是示出了可以在其中实现一个或多个所公开的实施例的示例通信系统的系统图。

图1B是示出了根据实施例的可在图1A所示的通信系统中使用的示例无线发射/接收单元(WTRU)的系统图。

图1C是示出了根据实施例的可以在图1A中示出的通信系统内使用的示例无线电接入网络(RAN)和示例核心网络(CN)的系统图。

图1D是示出了根据实施例的可以在图1A中所示的通信系统内使用的另一示例RAN和另一示例CN的系统图。

图2是根据一些实施例的产生VR内容的经视网膜中央凹渲染的图像的示例方法的流程图。

图3描绘了根据一些实施例的识别的关于用户头部的取向和移动状态的信息。

图4示出了根据一些实施例的使用头部移动状态信息的对用户的感兴趣区域(ROI)的估计。

图5描绘了根据一些实施例的视网膜中央凹渲染区域和VR显示器中的所应用的分辨率。

图6描述了用于观察眼睛-头部协调的示例实验装置。

图7示出了在协调的眼睛-头部注视转移到50°的目标跳跃期间的水平的注视、眼睛和头部移动的时间过程的示例。

图8是示出了响应于意外的水平注视转移而作出的典型的总头部移动幅度的示意图，其中眼睛和头部都从中线位置开始。

图9是根据一些实施例的示例方法的过程流程图。

图10示出了根据一些实施例的由注视中的转移引起的眼睛-头部移动的注视转移阶段和注视保持阶段。

图11示出了根据一些实施例的水平注视改变的示例过程。

图12是峰值头部速度相对于总注视幅度改变的曲线图。

图13A描绘了根据一些实施例的用于训练会话的示例ROI位置。

图13B是根据一些实施例的来自图13A的每个示例ROI位置的注视幅度改变相对于峰值头部速度的关系的曲线图。

图14描绘了注视角度与头部取向之间的示例识别关系。

图15描绘了颈椎运动范围。

图16描绘了根据一些实施例的针对一步注视改变的示例ROI估计。

图17描绘了根据一些实施例的针对多步注视改变的示例ROI估计。

图18描绘了根据一些实施例的针对包括恒定速度头部旋转的注视改变的示例ROI估计。

图19示出了根据一些实施例的示例ROI偏移计算。

图20描绘了示例VR HMD和眼睛跟踪器。

图21描绘了进行的实验的ROI。

图22描述了对于匀速运动，估计的注视相对于实际注视及相对于头部取向的实验结果。

图23描述了对于自然运动，估计的注视相对于实际注视及相对于头部取向的实验结果。

图24示出了根据一些实施例的示例的确定的高分辨率区域的大小和形状。

图25描绘了根据一些实施例的在注视保持阶段期间的高分辨率区域转移。

图26描绘了根据一些实施例的将高分辨率区域调整为包括来自元数据的预期感兴趣区域。

图27描绘了使用元数据的c值校准的实验结果。

图28是根据一些实施例的示例训练会话的消息序列图。

图29是根据一些实施例的示例服务会话的消息序列图序列。

图30是根据一些实施例的具有基于元数据的c值校准的示例服务会话的消息序列图。

图31描绘了针对视网膜中央凹渲染的不同方法的高分辨率区域的渲染。

图32是根据一些实施例的示例方法的过程流程图。

图33示出了头部取向角度和关于偏航方向的眼睛位置分布之间的关系。

图34描绘了针对给定头部取向的示例眼睛位置概率分布。

图35描绘了利用眼睛位置的概率分布的示例注视估计。

图36描绘了根据一些实施例的高分辨率区域的确定。

图37描绘了根据一些实施例的向头部旋转方向的高分辨率区域扩展。

图38描绘了根据一些实施例的用户的注视和紧接在ROI改变之后的确定的高分辨率区域。

图39描绘了根据一些实施例的在用户的注视转移开始时的初始头部和眼睛移动以及所确定的高分辨率区域。

图40描绘了根据一些实施例的在用户的注视转移期间的头部和眼睛移动以及所确定的高分辨率区域。

图41描绘了根据一些实施例的在用户的注视转移之后的头部和眼睛移动以及所确定的高分辨率区域。

图42是根据一些实施例的估计用户的感兴趣方向的示例方法的流程图。

图43是根据一些实施例的示例方法的流程图。

图44是根据一些实施例的至少部分地由被配置为由用户穿戴的头戴式显示器(HMD)执行的示例方法的流程图。

图45描绘了固定视网膜中央凹渲染的示例。

图46示出了径向密度掩蔽，一种在固定视网膜中央凹渲染中使用的方法。

图47描绘了示例重构滤波器。

图48描绘了眼睛跟踪的示例。

图49描绘了使用眼睛跟踪的感兴趣区域检测的示例。

用于实施例的实现的示例网络

图1A是示出了可以在其中实现一个或多个所公开的实施例的示例通信系统100的图。通信系统100可以是向多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多接入系统。通信系统100可以使多个无线用户能够通过共享包括无线带宽的系统资源来访问这样的内容。例如，通信系统100可以采用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT-UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。

如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网(PSTN)108、因特网110以及其他网络112，但是应当理解，所公开的实施例可以设想任何数量的WTRU、基站、网络和/或网络元件。每一个WTRU 102a、102b、102c、102d可以是被配置为在无线环境中操作和/或通信的任何类型的设备。举例来说，WTRU 102a、102b、102c、102d(其中任何一个可被称为“站”和/或“STA”)可被配置成发射和/或接收无线信号，并且可包括用户设备(UE)、移动站、固定或移动订户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或MiFi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动化处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。任何WTRU 102a、102b、102c及102d可互换地称为UE。

通信系统100还可以包括基站114a和/或基站114b。基站114a、114b中的每一个可以是被配置为与WTRU 102a、102b、102c、102d中的至少一个无线对接以便于接入一个或多个通信网络的任何类型的设备，所述通信网络诸如CN 106/115、因特网110和/或其他网络112。作为示例，基站114a、114b可以是基站收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件，但是将理解，基站114a、114b可以包括任何数目的互连基站和/或网络元件。

基站114a可以是RAN 104/113的一部分，其还可以包括其他基站和/或网络元件(未示出)，诸如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可以被配置为在一个或多个载波频率上发射和/或接收无线信号，这些载波频率可以被称为小区(未示出)。这些频率可以在许可频谱、未许可频谱或者许可频谱和未许可频谱的组合中。小区可以向特定地理区域提供无线服务的覆盖，该特定地理区域可以是相对固定的或者可以随时间而改变。小区可以进一步被划分为小区扇区。例如，与基站114a相关联的小区可以被划分为三个扇区。因此，在一个实施例中，基站114a可以包括三个收发信机，即，小区的每个扇区对应一个收发信机。在实施例中，基站114a可以采用多输入多输出(MIMO)技术，并且可以针对小区的每个扇区使用多个收发信机。例如，波束成形可以用于在期望的空间方向上发射和/或接收信号。

基站114a、114b可通过空中接口116与WTRU 102a、102b、102c、102d中的一个或多个通信，该空中接口可以是任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。空中接口116可以使用任何合适的无线电接入技术(RAT)来建立。

更具体地说，如上所述，通信系统100可以是多接入系统，并且可以采用一个或多个信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN 104/113中的基站114a和WTRU 102a、102b、102c可以实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。

在实施例中，基站114a和WTRU 102a、102b、102c可以实现诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，该无线电技术可以使用长期演进(LTE)和/或高级LTE(LTE-A)和/或高级LTE Pro(LTE-APro)来建立空中接口116。

在实施例中，基站114a和WTRU 102a、102b、102c可以实现诸如NR无线电接入的无线电技术，其可以使用新的无线电(NR)来建立空中接口116。

在实施例中，基站114a和WTRU 102a、102b、102c可以实现多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此，WTRU 102a、102b、102c所利用的空中接口可由多种类型的无线电接入技术和/或发送到多种类型的基站(例如eNB和gNB)或从多种类型的基站(例如eNB和gNB)发送的传输来表征。

在其他实施例中，基站114a和WTRU 102a、102b、102c可以实现无线电技术，例如IEEE802.11(即无线保真(WiFi)、IEEE802.16(即全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、增强型数据速率GSM演进(EDGE)、GSMEDGE(GERAN)等。

图1A中的基站114b可以是例如无线路由器、家庭节点B、家庭e节点B或接入点，并且可以利用任何合适的RAT来促进局部区域中的无线连接，该局部区域诸如营业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等。在一个实施例中，基站114b和WTRU 102c、102d可以实现诸如IEEE802.11的无线电技术以建立无线局域网(WLAN)。在实施例中，基站114b和WTRU 102c、102d可以实现诸如IEEE802.15的无线电技术以建立无线个域网(WPAN)。在又一实施例中，基站114b和WTRU 102c、102d可利用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以具有到因特网110的直接连接。因此，基站114b可以不需要经由CN 106/115接入因特网110。

RAN 104/113可与CN 106/115通信，其可以是被配置为向WTRU 102a、102b、102c、102d中的一个或多个提供语音、数据、应用和/或基于网际协议的语音(VoIP)服务的任何类型的网络。数据可具有变化的服务质量(QoS)要求，例如不同吞吐量要求、时延要求、容错要求、可靠性要求、数据吞吐量要求、移动性要求等。CN 106/115可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等，和/或执行高级安全功能，例如用户认证。尽管在图1A中未示出，但是应当理解，RAN 104/113和/或CN 106/115可以与使用与RAN 104/113相同的RAT或不同的RAT的其他RAN进行直接或间接的通信。例如，除了连接到可以利用NR无线电技术的RAN 104/113之外，CN 106/115还可以与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)进行通信。

CN 106/115也可作为WTRU 102a、102b、102c、102d的网关以接入PSTN 108、因特网110和/或其他网络112。PSTN 108可以包括提供普通老式电话服务(POTS)的电路交换电话网。因特网110可以包括使用公共通信协议的互连计算机网络和设备的全球系统，所述公共通信协议例如是TCP/IP因特网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或因特网协议(IP)。网络112可以包括由其他服务提供商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括连接到一个或多个RAN的另一个CN，所述RAN可以采用与RAN 104/113相同的RAT或不同的RAT。

通信系统100中的一些或所有WTRU 102a、102b、102c、102d可包括多模式能力(例如，WTRU 102a、102b、102c、102d可包括多个收发信机，以通过不同无线链路与不同无线网络通信)。例如，图1A所示的WTRU 102c可以被配置成与可以采用基于蜂窝的无线电技术的基站114a通信，以及与可以采用IEEE802无线电技术的基站114b通信。

图1B是示出示例WTRU 102的系统图。如图1B所示，WTRU 102可包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等等。可以理解的是，WTRU 102可以包括前述元件的任何子组合，同时保持与实施例一致。

处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理和/或任何其他使WTRU 102能够在无线环境中操作的功能。处理器118可以耦合到收发信机120，收发信机120可以耦合到发射/接收元件122。虽然图1B将处理器118和收发信机120描绘为单独的组件，但将了解，处理器118和收发信机120可一起集成在电子封装或芯片中。

发射/接收元件122可以被配置为通过空中接口116向基站(例如，基站114a)发射信号或从其接收信号。例如，在一个实施例中，发射/接收元件122可以是被配置为发射和/或接收RF信号的天线。在实施例中，发射/接收元件122可以是被配置为发射和/或接收例如IR、UV或可见光信号的发射器/检测器。在又一实施例中，发射/接收元件122可被配置为发射和/或接收RF及光信号两者。应当理解，发射/接收元件122可以被配置为发射和/或接收无线信号的任何组合。

尽管发射/接收元件122在图1B中被描述为单个元件，但是WTRU 102可以包括任意数量的发射/接收元件122。更具体地，WTRU 102可以使用MIMO技术。因此，在一个实施例中，WTRU 102可以包括两个或两个以上发射/接收元件122(例如多个天线)，用于通过空中接口116发射和接收无线信号。

收发信机120可以被配置为调制将由发射/接收元件122发射的信号，以及解调由发射/接收元件122接收的信号。如上所述，WTRU 102可以具有多模式能力。因此，举例而言，收发信机120可以包括用于使WTRU 102能够经由多个RAT进行通信的多个收发信机，多个RAT例如NR和IEEE802.11。

WTRU 102的处理器118可被耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并可从其接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。另外，处理器118可从任何类型的合适存储器存取信息，且将数据存储在所述存储器中，例如不可移除存储器130和/或可移除存储器132。不可移除存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其他类型的存储器存储设备。可移除存储器132可以包括用户身份模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方式中，处理器118可以从存储器访问信息并将数据存储在存储器中，该存储器不是物理地位于WTRU 102上，例如位于服务器或家用计算机(未示出)上。

处理器118可以从电源134接收电力，并且可以被配置成分配和/或控制给WTRU102中的其他组件的电力。电源134可以是任何合适的用于为WTRU 102供电的设备。例如，电源134可以包括一个或多个干电池(例如，镍镉、镍锌、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。

处理器118也可以耦合到GPS芯片组136，该GPS芯片组136可以被配置成提供关于WTRU 102的当前位置的位置信息(例如经度和纬度)。除了来自GPS芯片组136的信息之外，或者作为其替代，WTRU 102可以通过空中接口116从基站(例如基站114a、114b)接收位置信息，和/或基于从两个或更多邻近基站接收的信号的定时来确定其位置。应该理解，WTRU102可以通过任何合适的位置确定方法来获取位置信息，同时保持与实施例一致。

处理器118还可以耦合到其他外围设备138，其可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子罗盘、卫星收发信机、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、蓝牙

模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备138可以包括一个或多个传感器，传感器可以是陀螺仪、加速度计、霍尔效应传感器、磁力计、方向传感器、接近传感器、温度传感器、时间传感器中的一个或多个；地理位置传感器；高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物特征传感器和/或湿度传感器。

WTRU 102可以包括全双工无线电，对于该全双工无线电，一些或所有信号(例如，与用于UL(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联的信号)的传输和接收可以是并发的和/或同时的。全双工无线电可以包括干扰管理单元，以经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器118)的信号处理来减少和/或基本上消除自干扰。在实施例中，WTRU 102可以包括半双工无线电，对于该半双工无线电，传输和接收一些或所有信号(例如，与用于UL(例如，用于传输)或下行链路(例如，用于接收)的特定子帧相关联的信号)。

图1C是示出了根据实施例的RAN 104和CN 106的系统图。如上所述，RAN 104可采用E-UTRA无线电技术以通过空中接口116与WTRU 102a、102b、102c通信。RAN 104还可以与CN 106通信。

RAN 104可包含e节点B 160a、160b、160c，但应了解，RAN 104可包含任何数量的e节点B，同时保持与实施例一致。e节点B 160a、160b、160c可各自包括一个或多个收发信机，以通过空中接口116与WTRU 102a、102b、102c进行通信。在一个实施例中，e节点B 160a、160b、160c可实现MIMO技术。因此，例如，e节点B 160a可以使用多个天线来向WTRU 102a传送无线信号和/或从其接收无线信号。

e节点B 160a、160b、160c中的每一者可与特定小区(未示出)相关联，且可被配置为处置无线电资源管理决策、切换决策、UL和/或DL中的用户调度等。如图1C中所示，e节点B160a、160b、160C可经由X2接口彼此通信。

图1C中所示的CN 106可以包括移动性管理实体(MME)162、服务网关(SGW)164和分组数据网络(PDN)网关(或PGW)166。虽然前述元件中的每一个被描绘为CN 106的一部分，但是将理解，这些元件中的任何一个可以由CN运营商之外的实体拥有和/或运营。

MME 162可以经由S1接口连接到RAN 104中的e节点B 162a、162b、162c中的每一者，并且可以用作控制节点。例如，MME 162可负责认证WTRU 102a、102b、102c的用户、承载激活/去激活、在WTRU 102a、102b、102c的初始附接期间选择特定服务网关等等。MME 162可以提供控制平面功能，用于在RAN 104和采用其他无线电技术(例如GSM和/或WCDMA)的其他RAN(未示出)之间进行切换。

SGW 164可经由S1接口连接到RAN 104中的e节点B 160a、160b、160c中的每一者。SGW 164通常可以路由和转发去往/来自WTRU 102a、102b、102c的用户数据分组。SGW 164可以执行其他功能，例如在e节点B间切换期间锚定用户平面、当DL数据可用于WTRU 102a、102B、102c时触发寻呼、管理和存储WTRU 102a、102B、102c的上下文等等。

SGW 164可以连接到PGW 166，其可以为WTRU 102a、102b、102c提供至诸如因特网110的分组交换网络的接入，以促进WTRU 102a、102b、102c和IP使能设备之间的通信。

CN 106可以促进与其他网络的通信。例如，CN 106可向WTRU 102a、102b、102c提供至电路交换网络(例如PSTN 108)的接入，以促进WTRU 102a、102b、102c和传统陆线通信设备之间的通信。例如，CN 106可以包括IP网关(例如，IP多媒体子系统(IMS)服务器)，或者可以与IP网关通信，该IP网关用作CN 106和PSTN 108之间的接口。此外，CN 106可向WTRU102a、102b、102c提供至其他网络112的接入，其他网络112可包括其他服务提供商所拥有和/或运营的其他有线和/或无线网络。

虽然WTRU在图1A-1D中被描述为无线终端，但是可以预期在某些代表性实施例中，这种终端可以使用(例如临时或永久)与通信网络的有线通信接口。

在代表性实施例中，其他网络112可以是WLAN。

基础设施基本服务集(BSS)模式中的WLAN可以具有用于BSS的接入点(AP)和与AP相关联的一个或多个站(STA)。AP可以具有到分布系统(DS)或另一类型的有线/无线网络的接入或接口，该网络承载送入和/或送出BSS的业务。发起于BSS外部的STA的业务可以通过AP到达，并且可以被递送到STA。从STA发起的到BSS外部的目的地的业务可以被发送到AP以被递送到相应的目的地。BSS内的STA之间的业务可以通过AP来发送，例如，其中源STA可以向AP发送业务，并且AP可以向目的地STA递送业务。BSS内的STA之间的业务可以被认为和/或称为点对点业务。点对点业务可以利用直接链路建立(DLS)在源STA和目的STA之间(例如，直接在源STA和目的STA之间)发送。在某些代表性实施例中，DLS可使用802.11e DLS或802.11z隧道DLS(TDLS)。使用独立BSS(IBSS)模式的WLAN可能不具有AP，并且在IBSS内或使用IBSS的STA(例如，所有STA)可以彼此直接通信。IBSS通信模式在这里有时可以被称为“自组织(ad-hoc)”通信模式。

当使用802.11ac基础结构操作模式或类似的操作模式时，AP可以在固定信道上发送信标，例如主信道。主信道可以是固定宽度(例如，20MHz宽的带宽)或经由信令动态设置的宽度。主信道可以是BSS的操作信道，并且可以由STA用来建立与AP的连接。在某些代表性实施例中，例如在802.11系统中，可以实现具有冲突避免的载波侦听多路访问(CSMA/CA)。对于CSMA/CA，包括AP在内的STA(例如，每个STA)可以感测主信道。如果主信道被特定STA感测/检测和/或确定为忙，则该特定STA可以回退。一个STA(例如，仅一个站)可以在给定BSS中在任何给定时间进行传送。

高吞吐量(HT)STA可以使用40MHz宽信道进行通信，例如，通过将主20MHz信道与相邻或非相邻的20MHz信道组合以形成40MHz宽信道。

甚高吞吐量(VHT)STA可以支持20MHz、40MHz、80MHz和/或160MHz宽的信道。40MHz和/或80MHz信道可通过组合相邻的20MHz信道来形成。160MHz信道可通过组合8个连续的20MHz信道或通过组合两个非连续的80MHz信道来形成，这可被称为80+80配置。对于80+80配置，在信道编码之后，数据可以经过分段解析器，该分段解析器可以将数据划分成两个流。可以对每个流分别进行快速傅立叶逆变换(IFFT)处理和时域处理。流可以被映射到两个80MHz信道上，并且数据可以由进行传送的STA来传送。在进行接收的STA的接收机处，上述80+80配置的操作可以颠倒，并且组合数据可以被发送到媒体访问控制(MAC)。

低于1GHz的操作模式由802.11af和802.11ah支持。相对于802.11n和802.11ac中使用的信道操作带宽和载波，在802.11af和802.11ah中信道操作带宽和载波被减少。802.11af支持TV空白空间(TVWS)频谱中的5MHz、10MHz和20MHz带宽，而802.11ah支持使用非TVWS频谱的1MHz、2MHz、4MHz、8MHz和16MHz带宽。根据代表性实施例，802.11ah可以支持仪表类型控制/机器类型通信，诸如宏覆盖区域中的MTC设备。MTC设备可具有某些能力，例如，包括对某些和/或有限带宽的支持(例如，仅支持)的受限能力。MTC设备可包括具有高于阈值的电池寿命的电池(例如，以维持非常长的电池寿命)。

可以支持多个信道和信道带宽的WLAN系统，例如802.11n、802.11ac、802.11af和802.11ah，包括可以被指定为主信道的信道。主信道可以具有等于BSS中的所有STA所支持的最大公共操作带宽的带宽。主信道的带宽可以由在BSS中操作的所有STA之中的STA来设置和/或限制，该STA支持最小带宽操作模式。在802.11ah的示例中，对于支持(例如，仅支持)1MHz模式的STA(例如，MTC型设备)，主信道可以是1MHz宽，即使AP和BSS中的其他STA支持2MHz、4MHz、8MHz、16MHz和/或其他信道带宽操作模式。载波侦听和/或网络分配向量(NAV)设置可以取决于主信道的状态。如果主信道忙碌，例如，由于STA(其仅支持1MHz操作模式)向AP进行传送，则即使大多数频带保持空闲并且可用，也可以认为整个可用频带忙碌。

在美国，802.11ah可使用的可用频带是从902MHz到928MHz。在韩国，可用频带是从917.5MHz到923.5MHz。在日本，可用频带是从916.5MHz到927.5MHz。根据国家代码，可用于802.11ah的总带宽是6MHz到26MHz。

图1D是示出了根据实施例的RAN113和CN115的系统图。如上所述，RAN113可以采用NR无线电技术通过空中接口116与WTRU 102a、102b、102c通信。RAN113还可以与CN115通信。

RAN113可以包括gNB 180a、180b、180c，但是应当理解，RAN113可以包括任意数量的gNB，同时保持与实施例一致。gNB 180a、180b、180c中的每一者都包括一个或多个收发信机，用于通过空中接口116与WTRU 102a、102b、102c进行通信。在一个实施例中，gNB 180a、180b、180c可以实现MIMO技术。例如，gNB 180a、108b可以利用波束成形来向gNB 180a、180b、180c发送信号和/或从其接收信号。因此，gNB 180a例如可使用多个天线来向WTRU102a传送无线信号和/或从其接收无线信号。在实施例中，gNB 180a、180b、180c可以实现载波聚合技术。例如，gNB 180a可以向WTRU 102a传送多个分量载波(未示出)。这些分量载波的子集可以在未许可频谱上，而剩余分量载波可以在许可频谱上。在实施例中，gNB 180a、180b、180c可以实现协作多点(CoMP)技术。例如，WTRU 102a可以从gNB 180a和gNB 180b(和/或gNB 180c)接收协调的传输。

WTRU 102a、102b、102c可以使用与可扩缩参数配置(numerology)相关联的传输来与gNB 180a、180b、180c通信。例如，OFDM符号间隔和/或OFDM子载波间隔可以针对不同的传输、不同的小区和/或无线传输频谱的不同部分而变化。WTRU 102a、102b、102c可以使用子帧或具有各种或可扩缩长度(例如，包含不同数量的OFDM符号和/或持续变化的绝对时间长度)的传输时间间隔(TTI)与gNB 180a、180b、180c进行通信。

gNB 180a、180b、180c可被配置为在独立配置和/或非独立配置中与WTRU 102a、102b、102c通信。在独立配置中，WTRU 102a、102b、102c可以与gNB 180a、180b、180c通信，而不需要也接入其他RAN(例如e节点B 160a、160b、160c)。在独立配置中，WTRU 102a、102b、102c可利用gNB 180a、180b、180c中的一个或多个作为移动性锚点。在独立配置中，WTRU102a、102b、102c可以使用未许可频带中的信号与gNB 180a、180b、180c通信。在非独立配置中，WTRU 102a、102b、102c可以与gNB 180a、180b、180c通信/连接，同时也可以与诸如e节点B 160a、160b、160c的另一RAN通信/连接。举例来说，WTRU 102a、102b、102c可以实现DC原理以便与一个或多个gNB 180a、180b、180c以及一个或多个e节点B 160a、160b、160c基本上同时地进行通信。在非独立配置中，e节点B 160a、160b、160c可以用作WTRU 102a、102b、102c的移动性锚，并且gNB 180a、180b、180c可以提供用于服务WTRU 102a、102b、102c的附加覆盖和/或吞吐量。

gNB 180a、180b、180c中的每一个可以与特定小区(未示出)相关联，并且可以被配置为处理无线电资源管理决策、切换决策、UL和/或DL中的用户调度、网络切片的支持、双连接性、NR和E-UTRA之间的交互工作、向用户平面功能(UPF)184a、184b路由用户平面数据、向接入和移动性管理功能(AMF)182a、182b路由控制平面信息等。如图1D所示，gNB 180a、180b、180c可以通过Xn接口彼此通信。

图1D中所示的CN115可以包括至少一个AMF 182a、182b、至少一个UPF 184a、184b、至少一个会话管理功能(SMF)183a、183b以及可能的数据网络(DN)185a、185b。虽然前述元件中的每一个被描绘为CN115的一部分，但是将理解，这些元件中的任何一个可以由CN运营商之外的实体拥有和/或运营。

AMF 182a、182b可以经由N2接口连接到RAN113中的gNB 180a、180b、180c中的一个或多个，并且可以用作控制节点。例如，AMF 182a、182b可负责认证WTRU 102a、102b、102c的用户、支持网络切片(例如，处理具有不同需求的不同PDU会话)、选择特定的SMF 183a、183b、注册区域的管理、NAS信令的终止、移动性管理等等。AMF 182a、182b可使用网络切片，以根据WTRU 102a、102b、102c所使用的服务类型，定制对WTRU 102a、102b、102c的CN支持。例如，可以针对不同的用例建立不同的网络切片，所述用例诸如依赖于超可靠低时延(URLLC)接入的服务、依赖于增强型海量移动宽带(eMBB)接入的服务、用于机器类通信(MTC)接入的服务等。AMF162可以提供用于在RAN113和采用其他无线电技术(例如，LTE、LTE-A Pro和/或诸如WiFi的非3GPP接入技术)的其他RAN(未示出)之间进行切换的控制平面功能。

SMF 183a、183b可以经由N11接口连接到CN115中的AMF 182a、182b。SMF 183a、183b也可以经由N4接口连接到CN115中的UPF 184a、184b。SMF 183a、183b可以选择和控制UPF 184a、184b，并且配置通过UPF 184a、184b的业务的路由。SMF 183a、183b可以执行其他功能，例如管理和分配UE IP地址、管理PDU会话、控制策略实施和QoS、提供下行链路数据通知等。PDU会话类型可以是基于IP的、非基于IP的、基于以太网的等等。

UPF 184a、184b可以经由N3接口连接到RAN113中的gNB 180a、180b、180c中的一个或多个，这可以为WTRU 102a、102b、102c提供对诸如因特网110的分组交换网络的接入，以促进WTRU 102a、102b、102c与IP使能设备之间的通信。UPF 184、184b可以执行其他功能，例如路由和转发分组、实施用户平面策略、支持多宿主PDU会话、处理用户平面QoS、缓冲下行链路分组、提供移动性锚定等等。

CN115可以促进与其他网络的通信。例如，CN115可以包括IP网关(例如，IP多媒体子系统(IMS)服务器)或者可以与IP网关通信，该IP网关用作CN115和PSTN 108之间的接口。此外，CN115可向WTRU 102a、102b、102c提供至其他网络112的接入，该其他网络112可包括其他服务提供商所拥有和/或运营的其他有线和/或无线网络。在一个实施例中，WTRU102a、102b、102c可经由至UPF 184a、184b的N3接口及UPF 184a、184b与DN 185a、185b之间的N6接口，通过UPF 184a、184b连接至本地数据网络(DN)185a、185b。

鉴于图1A-1D和图1A-1D的相应描述，本文关于以下各项中的一者或多者描述的功能中的一者或多者或全部可以由一个或多个仿真设备(未示出)执行：WTRU 102a-d、基站114a-b、e节点B 160a-c、MME 162、SGW 164、PGW 166、gNB 180a-c、AMF 182a-b、UPF 184a-b、SMF 183a-b、DN 185a-b和/或本文描述的任何(一个或多个)其他设备。仿真设备可以是被配置为仿真本文描述的功能中的一者或多者或全部的一个或多个设备。例如，仿真设备可以用于测试其他设备和/或模拟网络和/或WTRU功能。

仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的一个或多个测试。例如，一个或多个仿真设备可以执行一个或多个或所有功能，同时被完全或部分地实施和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。一个或多个仿真设备可以执行一个或多个或所有功能，同时被临时实施/部署为有线和/或无线通信网络的一部分。仿真设备可出于测试目的而直接耦合到另一设备，和/或可使用空中无线通信执行测试。

一个或多个仿真设备可以执行一个或多个功能，包括所有功能，而同时不是作为有线和/或无线通信网络的一部分来实施/部署。例如，仿真设备可以在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个组件的测试。一个或多个仿真设备可以是测试装备。仿真设备可以使用经由RF电路(例如，其可以包括一个或多个天线)的直接RF耦合和/或无线通信来发射和/或接收数据。

具体实施方式

在一些实施例中，使用HMD的(一个或多个)惯性测量单元(IMU)的传感器数据来估计用户的感兴趣区域(ROI)。然后可以确定应用高分辨率渲染的区域。在一些实施例中，可以使用诸如头部取向和峰值旋转速度之类的信息来估计用户的注视角度。

图2是根据一些实施例的产生VR内容的经视网膜中央凹渲染的图像的示例方法的流程图。在206，VR内容服务器202接收从用户设备204接收的反馈数据206(例如，IMU反馈数据206)。在208，例如使用IMU数据206识别用户的头部取向和/或旋转状态。在一些实施例中，IMU数据用于估计用户的头部角度和注视状态。在210，估计用户的ROI(例如，用户的注视的方向)。在一些实施例中，基于用户的头部取向和旋转(移动)信息来估计用户的ROI。

图3作为示例，示出了根据一些实施例的可被识别的关于用户头部的取向和移动状态的信息。在一些实施例中，估计用户的注视方向利用眼睛与头部移动之间的关系，诸如在许多研究中识别的眼睛-头部移动关系。结果，可以确定与用户的头部峰值速度相对应的估计的ROI位置(例如，注视角度)。关于用户头部的取向和移动状态的信息可以与特定旋转轴相关联。在图3的示例中，分别对应于俯仰、偏航和滚动的x、y和z方向上的轴被识别。

在一些实施例中，识别用户的头部的取向。根据一些实施例，取向信息可以包括关于一个或多个轴的取向值，该轴例如偏航、俯仰和/或滚动。例如，取向信息可以被表示为集合(偏航、俯仰、滚动)或其子集。

在一些实施例中，识别角速度。角速度信息可以包括关于一个或多个轴的角速度值，例如V_yaw、V_pitch和/或V_roll。例如，角速度信息可以表示为集合(V_yaw，V_pitch，V_roll)或其子集。

在一些实施例中，识别角加速度。角加速度信息可以包括关于一个或多个轴的角加速度值，例如，A_yaw、A_pitch和/或A_roll。例如，角加速度信息可以表示为集合(A_yaw，A_pitch和/或A_roll)或其子集。

图4示出了根据一些实施例的使用头部移动状态信息的对用户的感兴趣区域(ROI)的示例估计。在场景400中，用户的总视场(FOV)402的一部分被估计为用户的ROI404。

图2所示的示例方法还包括，在212，通过渲染用户FOV的区域来执行内容模拟并创建服务图像，其中渲染用户FOV的区域例如根据头部取向进行。在214，VR内容服务器通过仅将高分辨率应用于与被估计为用户的ROI的区域相对应的像素来执行视网膜中央凹渲染。在220，图2所示的方法包括将经视网膜中央凹渲染的图像(例如VR内容)从VR内容服务器202发送到用户设备204。例如，可以通过发射(TX)系统218将经视网膜中央凹渲染的图像发送到接收(RX)系统222。该方法还可以包括：在224处，扫描出用户设备上的图像。

图5描绘了根据一些实施例的视网膜中央凹渲染区域和VR显示器中的所应用的分辨率。在该示例中，虚拟世界502包含渲染区域504。渲染区域504可以对应于在头戴式显示器(HMD)上向用户显示的VR视图。渲染区域504包含低分辨率区域506和高分辨率区域508。如本文所述，以高分辨率506渲染的区域可以通过估计用户的感兴趣区域(ROI)来确定。

在一些实施例中，在不使用眼睛跟踪器的情况下向HMD提供动态视网膜中央凹渲染。一些实施例操作以快速地估计用户的ROI，以便执行视网膜中央凹渲染，而不需要例如检测眼睛位置。

在一些实施例中，检测眼睛位置并且确定游戏和VR应用的社交线索。社交线索的确定可以向许多VR应用提供价值。

在一些实施例中，在用户的注视移动完成之前估计用户的ROI。如实验所支持的，用户的注视转移可以预期大约200到250ms。在一些实施例中，利用该前置时间(lead time)来确保更多时间用于渲染VR系统的VR图像，这可能对延迟非常敏感。

在一些实施例中，可以基于头部速度来评估用户的头部移动。可以基于用户的头部加速度来确定注视转移阶段和注视保持阶段。在一些实施例中，例如仅在注视转移阶段中更新用户的ROI。可注意到，在注视保持阶段期间发生的头部取向的改变可能不影响用户的ROI改变，但可能改变待渲染的帧的高分辨率区域的位置。

在一些实施例中，基于在单个注视转移阶段期间的头部最大速度和在注视转移阶段的初始头部取向来连续地更新估计的ROI。注视转移角度可以被确定并且可以与用户头部旋转期间的头部最大速度成比例地相关。

在一些实施例中，确定视网膜中央凹渲染的高分辨率区域的大小。高分辨率区域的大小的确定可以考虑用户在没有头部移动的情况下的可能的眼睛移动范围。

一些实施例提供了估计感兴趣区域并且以比使用眼睛跟踪更低的成本提供视网膜中央凹渲染的能力，但是具有比固定的视网膜中央凹渲染更高的准确度。一些实施例通过观察用户的头部取向来估计用户的ROI，这可以例如相比于眼睛跟踪系统，减少了计算功率和资源消耗。

例如，根据一些示例实施例，用于例如估计的用户注视预测和/或估计的用户ROI的示例方法可以替代例如眼睛跟踪和检测功能。当然，应当理解，如本文根据一些实施例所述的，可以使用例如检测到的眼睛位置和跟踪(例如，利用相关联的跟踪设备或功能)以及例如估计的用户注视预测或例如估计的用户ROI的一些组合。

一些实施例可操作以增加高分辨率区域与实际用户ROI的命中率(hit ratio)，这降低了由于视网膜中央凹渲染而导致的用户体验质量降级的风险。

在一些实施例中，通过仅使用本机(native)IMU传感器数据，向HMD提供视网膜中央凹渲染，而没有眼睛跟踪器。

一些实施例可操作以在实际注视移动完成之前预测用户的ROI。在这样的实施例中，VR系统可以预先确定用户的注视区域，并且以高分辨率渲染它，有效地减少视网膜中央凹渲染的延迟。

眼睛-头部协调

在具有相对有限的运动半径的眼睛的限制之外，应当理解，头部移动并帮助人观察更宽的范围。图6描绘了例如当人执行注视转移时用于观察眼睛-头部协调的示例实验装置。该图改编至Proudlock,FA和Gottlob,I的文章《眼睛-头部协调的生理学和病理学》，视网膜和眼睛研究进展26.5(2007年)：第486-515页。(“Proudlock”)在示例场景600中，视频投影仪602投影到具有红外标记606的背面投影屏幕604。用户608从读取卡610进行读取。使用眼睛相机612和头部相机614来观察眼睛-头部协调。相机通过头带616固定到用户的头部。在图6所示的示例中，用户608位于距离读取卡610X米和距离投影屏幕602Y米的位置。在Proudlock所述的实验装置中，距离X对应于0.33M，距离Y对应于1.2M；然而，当然，这些是示例，当然也可以应用其它距离。

ROI估计的示例因子

以下是根据一些实施例的可以确定例如ROI估计的示例因子的一些示例方式。

注视角度：

在一些实施例中，头部取向和注视角度之间的关系被用于确定用于视网膜中央凹渲染的高分辨率区域。注视角度可以例如通过组合头部取向和眼睛位置来确定，并且眼睛位置可以例如通过比较注视角度(例如通过峰值头部速度被估计)和头部取向之间的差值来确定(例如被计算)。在一些实施例中，基于头部取向改变与预测的注视改变之间的关系来确定注视角度。例如，一些实施例可以采用传递函数来基于HMD的(一个或多个)IMU提供的头部取向信息来计算预测用户正在看的方向。

头部旋转加速度

另一个感兴趣因子是头部旋转和眼睛旋转之间的时间关系。用户在用户的注视停留在相同位置(角度)的同时随时间调整眼睛和头部的旋转角度。当用户以特定角度注视对象时，用户在早期阶段将他的头和眼睛旋转到相同的方向。在结束阶段，用户继续在注视方向上旋转他的头部，但是他的眼睛在相对于头部的相反方向上移动。因此，在一些情况下，不仅考虑头部角度，而且考虑头部的旋转速度变化(角加速度)可能是有用的。

图7示出了在协调的眼睛-头部注视转移到50°的示例目标跳跃期间的水平的注视、眼睛和头部移动的时间过程的示例。在该示例中，针对头部、眼睛、注视和目标中的每一个的取向的变化相对于时间被绘制。如图所示，增加的取向值对应于从左向右的移动，而减少的取向值对应于从右向左的移动。关键是在曲线图上提供了对应于200ms(针对时间变量)和20°(针对旋转变量)的示例距离。在t₀，目标向右移动50°至新位置(例如，从观看者的角度)。在t₁，用户的注视开始转移，例如，看着移动的目标。在t₁和t₂之间的时间对应于用户的注视正在转移的时间间隔，如通过对应于注视的时间过程可以看到的。在注视转移期间，眼睛和头部都在与注视相同的方向上移动。在t₂，头部继续在相同的方向上移动，然而其角加速度被反转。同样在t₂，眼睛的旋转方向被反转。距离702对应于总的头部幅度(例如，头部的取向的总变化)，而距离704对应于头部对用户的注视转移提供的贡献。

图7示出在头部旋转速度降低的阶段期间，眼睛在与头部旋转相反的方向上移动。结果，用户注视在这个阶段期间保持固定。因此，根据示例方法，在头部旋转角加速度的方向被反转的时间与头部旋转结束的时间点之间不改变估计的ROI(例如，通过将ROI维持在虚拟世界中的基本上相同的位置)可能是有用的。

ROI估计规则

图8是示出了响应于水平注视转移而作出的示例的观察到的典型的总头部移动幅度的示意图，其中眼睛和头部都从中线位置开始。该图改编自Proudlock的文章的第486-515页。如在该示例中由仅眼睛范围(EOR)所示，如果用户将其注视转移到某一角度内，则用户通常将不进行头部移动。对头部旋转自由注视改变范围的一种解释可以是优化过程，其中人抑制头部移动以便节省能量。个体表现出仅眼睛范围的宽度和眼睛-头部范围的斜率(slope)的可变性。不管无旋转现象的具体原因如何，在确定被选择为ROI的区域时考虑头部无旋转注视改变的范围可能是有用的。在一些情况下，将ROI设置为覆盖超过特定角度(例如，在图8的示例中至少20°)可能是特别有用的。另外，对于水平和垂直方向中的每一个应用，注视角度与头部取向关系之间的不同关系可能是有帮助的。这样，可以针对每个方向独立地估计ROI(例如，其位置和范围)。

ROI估计误差容限

可以使用例如头部取向和峰值速度信息获得的估计的ROI可以不同于用户的实际ROI。存在许多为什么可能存在这种误差的示例原因。一个原因涉及当用户执行周围环境的扫描时可能发生的被称为迅速扫视的眼睛的快速移动。误差的另一个原因可能源于人与人之间的头部和眼睛运动之间的关系的变化。因为对于每个人的颈部和眼睛运动的优化过程可能稍微改变，所以可以发现这种变化。在一些实施例中，高分辨率渲染区域被设置得更宽以考虑扫视和头部移动的个体特征的差异。

一些研究已经调查了在对象的注视改变期间眼睛、头部和/或身体之间的协调移动。例如，Fang,Yu等人的《用于视觉认知处理的眼睛-头部协调》：科学公共图书馆一(PloSone)10.3(2015)：E0121035。(“Fang”)提供了示例水平眼睛和头部移动轨迹的实验结果，该轨迹示出了在自由移动注视的过程中对象的头部、眼睛、身体角度及其组合的注视角度的方向。上述实验的结果显示了存在眼睛移动而没有头部移动的小的注视角度变化的证据。Fang还检查头部取向和眼睛位置分布之间的关系。该研究包括根据眼睛-头部取向分布的眼睛位置概率，以及根据头部取向的眼睛位置概率。针对各种头部取向测量的眼睛位置的分布，显示与头部方向的强关系。例如，对于远离中心的头部取向，眼睛位置的分布倾向于偏离中心到相同的方向。通过从每个分布中获取峰值眼睛位置并将其相对于相应的头部取向绘制，可以理解，Fang示出了在每个头部取向中测量的具有最高概率的眼睛位置大致与头部取向成比例。Fang的结果被理解为显示当头部的取向近似在中心点(接近0°)时，在相当宽的范围内观察到眼睛位置。因此，根据一些实施例(如以上部分中所述的ROI估计规则)，即使头部的精确方向是已知的，考虑到眼睛的自由移动扩展高分辨率区域也可能是有帮助的。

一些示例系统和方法

根据一些实施例的示例方法用于基于用户的头部移动来估计用户(例如，HMD的用户)的注视方向。在一些实施例中，示例方法包括跟踪用户的头部取向，检测用户的头部取向的转移，确定在头部取向的转移期间的头部旋转速率，以及至少部分地基于头部旋转速率来预测用户的注视方向。在一些实施例中，预测用户的注视方向可以包括确定注视方向的改变。在一些实施例中，所确定的注视方向的改变可以与最大头部旋转速率成比例(例如，在头部旋转的转移期间)。在一些实施例中，该方法可包括当确定用户的头部基本上静止时，将注视方向重置到与用户的头部取向相对应的方向。在一些实施例中，估计感兴趣方向或感兴趣区域(ROI)。

在一些实施例中，示例方法包括训练和/或定制将峰值头部速度与注视改变幅度相关的用户特有的比例常数。在一些实施例中，该比例常数可以基于用户头部移动的轴。例如，可以针对每个轴训练和定制比例常数。

在一些实施例中，示例方法包括基于由内容服务器提供的元数据来校准用户特定的比例常数(例如，将峰值头部速度与注视改变幅度相关的比例常数)。例如，VR内容服务器可以例如向被示出VR内容的观看者提供描述被确定为感兴趣区域的位置的信息。

在一些实施例中，使用例如反馈数据(诸如关于用户的IMU数据)来估计用户的感兴趣区域(ROI)。在一些实施例中，所估计的ROI可用作用于VR内容的视网膜中央凹渲染的高分辨率区域。图9是根据一些实施例的示例方法的流程图。在902，接收IMU反馈。在904，估计注视转移状态。例如，可以使用头部角加速度信息来估计注视转移状态。在906，参见例如下面的图10，示例过程的流程取决于注视转移状态是被估计为处于注视转移阶段(例如，在其中用户正在转移注视)还是注视保持阶段(例如，在其中用户正在保持注视)。如果估计用户处于注视保持阶段，则在步骤912，执行视网膜中央凹渲染，而不例如估计感兴趣区域(ROI)和/或高分辨率区域。另一方面，如果估计用户处于注视转移阶段，则在908，估计ROI。例如，可以基于头部取向信息来估计ROI。在一些实施例中，估计ROI包括例如使用头部速度和注视角度之间的关系，如本文根据一些示例实施例所描述的。根据该示例，在910，基于所估计的ROI来确定高分辨率区域。在一些实施例中，所估计的ROI信息可描述点或方向，例如用户的感兴趣方向。这样，确定高分辨率区域可以包括从ROI扩展区域。在912，渲染图像。在一些实施例中，渲染图像包括基于所确定的高分辨率区域执行视网膜中央凹渲染。例如，图像的朝向估计的ROI方向的部分可以以比图像的远离预测的注视方向的部分更高的质量来渲染。仅为了便于解释，图9中的示例方法900开始于从用户设备接收IMU反馈数据902的时刻。然而，应当理解，当播放VR内容并接收IMU反馈时，可以重复执行示例VR系统的示例处理。在以下示例步骤的解释中进一步详细阐述示例方法900的进一步示例细节。当然，这些仅仅是说明性示例，并且在一些情况下可以例如以不同的方式，例如同时、无序或以例如不同的顺序，来执行“步骤”，该“步骤”诸如示例方法的所标识的“步骤”。

步骤1：注视转移状态估计

在一些实施例中，例如基于IMU反馈数据的观察到的头部移动信息可以被利用以评估注视转移的过程已经进行了多远。在一些实施例中，确定用户处于注视保持阶段。如前所述，当用户的注视到达目标点时，眼睛可在相对于头部的旋转的相反方向上移动(旋转)，同时头部继续以降低的旋转速度移动。例如，当在用户的头部旋转速度正在降低的间隔期间用户的头部取向正在改变时，可以发生该确定。用户的ROI可以被理解为没有改变，因为注视保持状态下的眼睛移动补偿了由于头部取向改变而引起的移动。

在一些实施例中，确定注视转移阶段已经开始。这种确定可以在头部的旋转速度开始增加时发生。记录用户的头部角度，例如作为头部取向基础，或者Head_basis。响应于指示用户头部的角加速度的信息，用户可被确定为处于注视转移阶段。在注视转移阶段期间，执行用于估计用户的ROI的过程。

图10示出了根据一些实施例的由注视中的转移引起的眼睛-头部移动的注视转移阶段和注视保持阶段。作为示例，图10提供了当用户改变目标ROI的注视时发生的眼睛和头部移动之间的示例关系。如图中所示，注视保持阶段对应于注视到达目标ROI同时头部移动正在减慢的时段。

图11描绘了根据一些实施例的示例水平注视改变过程。图11中的示例描绘了当用户旋转他的头部和眼睛以改变对ROI的注视时用户的头部取向和眼睛方向。在该场景中，用户的注视指向虚拟世界中的渲染区域。值得注意的是，ROI在3D空间中处于固定位置。在时间t0，头部取向和眼睛方向处于初始值0°，并且ROI出现在40°。在t0和t1之间，用户试图通过移动头部和眼睛来将他或她的目光定位到ROI。在该示例中，当用户的头部取向是5°时，眼睛的移动最初大于头部的移动。当头部取向达到15°时，眼睛的移动减慢，而头部继续加速。提供头部取向和眼睛方向值仅仅作为示例以说明每个值对总注视转移的贡献。在t1，用户的注视到达ROI。已经实现了改变对ROI的注视的过程，并且因此ROI在用户的视网膜中央凹中。在t1之后，用户的头部旋转得更多，并且用户在相反方向(向中心)移动他的眼睛以维持注视。

步骤2：ROI估计

在注视转移阶段期间(例如，当用户的头部已经开始移动，但是用户头部的旋转速度没有减小时)，用户的头部角度可以用于估计用户的ROI。该步骤利用峰值头部速度和注视改变之间的关系(匹配)。图12是峰值头部速度相对于总注视幅度改变的曲线图。特别地，图12中的示例示出了来自Fang实验的峰值头部速度和注视改变之间的关系。

在一些实施例中，峰值头部速度和注视幅度改变的量可以被认为是成比例的。因此，在注视转移阶段期间，可以使用以下等式来估计ROI：

估计的ROI＝ROI_basis+c×(Headspeed-Headspeed_basis) 等式1

在注视保持阶段期间，可以使用以下等式来估计ROI：

估计的ROI＝ROI_basis+c×(max(Headspeed)-Headspeed_basis) 等式2

其中c是比例常数c_horizontal、c_vertical，以及max(Headspeed)是在注视转移阶段期间观察到的头部峰值速度。Headspeed_basis是正好在注视转移阶段开始之前的头部速度，且ROI_basis是正好在注视转移阶段开始之前的ROI。举例而言，因为在注视转移阶段中的每个点处的头部速度可以是该时间点处的峰值，所以可以使用等式2来估计ROI。比例常数c可以使用经验验证的设置(例如，针对特定的独特用户，或者例如针对一类用户进行估计)，但是它可以例如根据人的行为特性而变化。因此，在一些实施例中，通过例如在服务开始之前引起注视改变来确定每个用户的c值可能是有帮助的。当然，应当理解，更新或训练c值可以在任何时间发生，甚至在服务会话期间。c值可以针对每个不同的移动轴(偏航、滚动、俯仰)来定义，并且还可以是针对每个轴中的不同方向(例如，左和右，或者上和下)的单独值。此外，代替ROI_basis，可以使用以下表达式基于用户开始执行注视改变的点的头部取向来计算估计的ROI：

(Head_basis+c×(max(Headspeed)-Headspeed_basis)) 等式3

如果用户的当前注视点与用户的头部方向匹配的机会很高，例如当用户处于静态状态时，则在重置系统状态时，该假设可能是有用的。如果头部取向用于估计ROI，则可以防止所提出的解决方案的估计误差的累积。

如前所述，每个用户可以在峰值头部速度和注视改变幅度之间(在这种情况下)的比例常数(例如“c”值)上具有差异。在一些实施例中，可以执行训练会话以检查用户的“c”值。例如，可以通过在预期角度上创建ROI(一个接一个)(例如，创建虚拟对象)并且通过要求用户移动注视来执行该训练会话。VR系统可以通过在用户的注视移动到预期ROI时检查用户的峰值头部速度来计算用户的c值。图13A描绘了根据一些实施例的用于训练会话的示例ROI位置，诸如示例ROI位置1302。图13B是根据一些实施例的来自图13A的每个示例ROI位置的注视幅度改变相对于峰值头部速度的关系的曲线图。该曲线图可以用于识别用户的个人c值。

在一些实施例中，训练会话可以用于确定用户的眼睛移动和头部移动各自对实现特定的注视角度做出贡献的程度。因为根据该示例，注视角度是通过眼睛和头部角度的和来实现的，所以已经获得或确定了预期ROI位置(角度)的示例VR系统能够基于用户的头部角度来确定用户眼睛的角度。在一些实施例中，训练会话可以被利用以比较用户的头部取向和ROI的位置(例如，角度)。图14描绘了根据一些实施例的注视角度与头部取向之间的示例的识别关系。在该示例中，头部取向对于高达10°的注视角度保持在0°，因为这些小的注视角度可以通过仅移动眼睛来实现。如图所示，对于大于10°的注视角度，头部取向通常增加。在一些实施例中，头部取向和注视角度之间的关系可以被假定为线性关系。

图15描绘了示例颈椎运动范围，其改编自Rosengart M.(2016年9月26日)的《对跑步者的基础评估和移动评估》。该文章能从“https：//www.prehabexercises.com/对跑步者的基础评估和移动评估/”中检索到。人可以旋转他或她的头部的范围可以被限制，例如在偏航方向上限制80度，在俯仰方向上限制45度，尽管当然可以应用其他值。实际上，人可以旋转他或她的头部的范围可以在人与人的基础上变化。当头部的方向偏离本体的前部时，会影响排斥力，头部的旋转速度会变得相对较低。在那些区域中(例如，在相对远离中心位置的取向处)，考虑用户的眼睛移动在转移注视点时可以承担更大的角色可能是有帮助的，因为头部旋转可能是有限的。因此，对原始c值实施可变加权以便考虑头部的取向是转移到注视改变的方向可能是有用的。

在一些实施例中，与用户的头部方向与中心的偏离成比例地对c值进行加权。对于每个轴，c值的这种加权可以通过以下表达式来描述：

例如，如在该示例中所示的，颈椎范围可以被限制为偏航轴线上的80°。等式4可以通过利用对应于沿该轴的运动的颈椎范围应用于其它轴。例如，俯仰轴可以利用对应于人的头部的俯仰的运动范围，例如，在该示例中为45°。

情况1：一步注视改变

图16描绘了根据一些实施例的针对一步注视改变的示例ROI估计。在该示例中，用户的头部速度在0.2秒处达到峰值。因为在0和0.2秒之间的任何时刻观察到的峰值头部速度是在该时刻观察到的速度，所以所估计的ROI连续改变直到0.2秒。因为max(Headspeed)在0.2秒之后不改变，所以ROI在此之后不改变。

情况2：多步注视改变

图17描绘了根据一些实施例的针对多步注视改变的示例ROI估计。在一些场景中，用户可以在将他/她的注视移动向原始目标ROI的过程中改变到新的目标ROI。这可以在用户环顾或跟踪虚拟世界中的特定对象时发生。图17示出了当用户将他的头部移动到新的ROI时估计新的ROI的情况。在该示例中，用户具有将他的注视移向ROI的意图。在注视转移阶段，用户将其眼睛和头部旋转到ROI方向以移动注视。当用户确认ROI在他的视场内时，他减速他的头部，并且同时用他的眼睛跟踪移动的ROI(由于剩余的头部速度)。然后，用户在头部完全停止之前开始将他的注视移动到新的ROI。如果例如用户发现原始ROI不感兴趣，或者如果发现更感兴趣的区域，则用户可以将他的注视移动到新的ROI。

图17中的示例示出了两个注视改变和它们相应的注视转移和注视保持阶段。在完成第一注视改变(#1)之前，创建针对用户的新ROI目标(在0.25秒)。然后，用户在0.25秒再次加速其头部旋转。如果用户再次加速他的头部，则更新ROI_basis和Headspeed_basis以开始新的注视转移阶段(#2)。新的基础由注视转移阶段(#2)开始时的ROI和头部速度确定。新的ROI_basis是在头部速度再次开始加速时的估计ROI，并且新的Headspeed_basis是在相同时间点的头部速度。也就是说，如果头部速度开始增加(即使初始头部速度不为零)，则开始新的注视转移阶段。新的注视转移阶段#2开始于头部向右旋转27.5度。因此，所提出的解决方案的c值被加权并改变为0.27。c值、ROI的基础值和头部速度被改变，但是获得估计的ROI的方法是相同的。

情况3：包括恒定头部旋转速度的注视改变

头部移动有时被认为是恒定加速度运动，但用户的头部可以以恒定速度(恒定角速度)移动，例如，当头部速度达到速度限制或用户正在跟踪特定对象时。如果VR用户的头部运动包括恒定速度旋转，则情况1和情况2中使用的ROI估计方法可能不能同样工作。一个原因是上述的等式2的ROI估计可能不反映在恒定速度旋转期间改变的头部取向。因此，在ROI估计中反映ROI偏移可能是有帮助的。

图18描绘了根据一些实施例的针对包括恒定速度头部旋转的注视改变的示例ROI估计。ROI偏移可以是例如由于头部取向改变而改变的注视角度。在一些实施例中，当用户进行恒定速度的头部旋转时，在ROI估计过程期间添加ROI偏移。ROI偏移的示例实现方式操作以解决由恒定速度运动误差引起的问题。

图19示出了根据一些实施例的示例ROI偏移计算。在一些实施例中，识别与恒定速度运动开始时的头部取向匹配的注视角度。将该角度与当前头部取向的注视角度相比较。在图19的示例中并参考图18，当头部开始恒定速度旋转时，头部取向是20°并且匹配的注视角度是28°(来自训练结果)。由于0.05秒(0.25秒)长的恒定速度旋转，用户的头部取向变为30°，相应的注视角度为40°。因此，所确定的ROI偏移在0.25秒时为12°。当用户执行恒定速度的头部运动时，所估计的ROI使用以下公式来计算：

估计的ROI＝ROI_basis+c×(max(Headspeed)-Headspeed_basis)+ROI偏移 等式5

因此，在0.25秒时估计的ROI被确定为52℃。当恒定的头部旋转结束时，在0.3秒的ROI偏移是25°，并且没有偏移的估计的ROI是40°(根据头部峰值速度)。因此，从0.3至0.4秒的最终估计的ROI被确定为65℃。

进行实验以便使用HTC VIVE HMD和aGlass眼睛跟踪设备验证准确度。获得关于用户的头部取向和用户的眼睛注视点的信息。将aGlass眼睛跟踪器设计成配合在HTC ViveHMD内，并且可以从USB线缆连接获得眼睛跟踪结果。通过将估计的ROI与用户的实际测量的注视方向进行比较来评估准确度。图20描绘了示例VR HMD(诸如HTC VIVE HMD)和眼睛跟踪器(诸如aGlass眼睛跟踪器)。

图21描绘了进行的实验的ROI。在实验中，引导用户移动他的注视，并且以90Hz的采样速率记录用户的头部旋转速度和实际注视方向(头部取向+眼睛位置)。要求用户在左/右方向内改变其在ROI#1、#2之间的注视，并再次将注视改变到中心点。

在训练阶段期间，通过比较记录的峰值头部旋转速度和注视幅度来计算比例常数(c值)的初始值。通过检查在用户改变注视时观察到的最大头部旋转速度来确定针对每个方向的偏航轴的初始c值(左侧c值(c_left)：0.6599；右侧c值(c_right)：0.7200)。

使用MATLAB来实现执行c值(c_value)计算和ROI估计的算法的示例。用于实现示例算法的代码作为本公开的附录被提交。如前所述，可以在实际注视改变完成之前(比在实验中的实际注视移动完成早大约200～250ms)确定估计的ROI位置。该前置时间是因为所提出的解决方案可以在用户的头部转动记录最大值的时刻确定估计的ROI。因此，在评估所提出的解决方案的准确度时考虑该时间间隔可能是有帮助的。假定前置时间为250ms，确定实验中ROI估计的准确度。

图22描绘了根据一些实施例的对于匀速运动，估计的注视相对于实际注视及相对于头部取向的示例实验结果。图22中所示的示例结果示出了根据一些实施例，测试的解决方案可以在用户的实际注视改变完成之前估计用户的ROI，并且实现比通过仅使用头部取向更高的准确度。该方法的平均误差如下。估计的ROI和用户的注视(匀速运动)之间的平均误差是6.58度。用户的头部取向和用户的注视(匀速运动)之间的平均误差是14.8度。

图23描绘了根据一些实施例的对于自然运动，估计的注视相对于实际注视及相对于头部取向的示例实验结果。使用来自比先前的用于匀速运动的示例实验更自然地移动的用户的数据进行该附加的示例实验。用户的头部旋转不仅从上身所面向的方向(向前)开始，而且一旦产生新ROI就开始。因此，每个注视转移阶段从随机位置开始，并且在每个注视转移阶段的开始，根据头部取向对用于每个ROI估计的c值进行加权。在实验之前即刻进行的训练会话的初始c值为c_left＝0.6003和c_right＝0.6244。图23中所示的实验结果说明所提出的解决方案比假设用户的注视与用户的头部取向相同更准确。该方法的平均误差如下。估计的ROI和用户的注视(自然运动)之间的平均误差是7.21度。用户的头部取向和用户的注视(自然运动)之间的平均误差是11.2度。

步骤3：高分辨率区域确定

安全且有效地确定高分辨率区域可有助于降低用户注视低分辨率区域的概率且有助于优化由渲染所消耗的计算能力。先前估计的ROI仅是没有定义范围的一个点。因此，通过扩展所估计的ROI来确定高分辨率区域是特别有用的。

确定高分辨率区域的第一个潜在考虑是用户的视网膜中央凹。在人类视觉中，实现对对象的感知要求将对象的视图带到称为视网膜中央凹的眼睛中心。视网膜中央凹仅覆盖约2°的视场，并且位于眼睛的视场的中心。因此，将高分辨率区域扩展至少2°以防止在所估计的ROI的2°内出现低分辨率可能是有帮助的。如上所述和图8所示，另外的潜在考虑是用户可以执行大约20°的头部旋转自由(仅眼睛)注视改变。最后，高分辨率区域可能由于时间扭曲过程而转移。可以在将所生成的内容提供给用户之前立即执行时间扭曲过程。由时间扭曲引起的问题的可能性和程度可以与VR系统的延迟和用户的头部旋转速度成比例。也就是说，在用户快速移动他或她的头部或者系统的延迟大的情况下，可以确定头部旋转方向上的细长高分辨率区域。

图24示出了根据一些实施例的示例的确定的高分辨率区域的示例大小和形状。在该示例中，高分辨率区域在头部旋转的方向上被转移，并且在注视转移阶段期间随着头部旋转速度上升(随着α变得更大)而逐渐被拉长。此后，高分辨率区域的位置被固定(在虚拟世界上)并且在注视保持阶段期间再次变小(随着时间扭曲的比例系数α变小)。

步骤4：渲染器

在一些实施例中，渲染器检查高分辨率区域并且执行仅对该区域应用高分辨率的视网膜中央凹渲染。注意，即使用户处于注视保持阶段，图像上的高分辨率区域的位置也可能改变。这是因为用户的ROI实际上在虚拟世界中，而不是在显示面板上。换句话说，高分辨率区域的位置可以在服务帧内改变，因为在用户的注视保持阶段期间，头部仍然在旋转并且眼睛补偿该运动。这种现象在图25中说明。

在一些实施例中，VR系统可以利用廉价的眼睛跟踪系统或VR内容的元数据分析。在一些实施例中，可以执行眼睛跟踪以在用户的头部不移动(静态状态)时提高性能。廉价的眼睛跟踪系统通常具有相对大的眼睛跟踪延迟。廉价的眼睛跟踪系统的大的延迟可以证明对于视网膜中央凹渲染的挑战，因为通过眼睛跟踪确定的高分辨率区域可能已经在用户的ROI之外。然而，在一些实施例中，可以实现廉价的眼睛跟踪系统，例如以提供诸如当用户处于静态状态时的成功的用户体验，即使具有大的延迟。

在一些实施例中，VR系统可以利用昂贵的眼睛跟踪系统，该眼睛跟踪系统可操作以实现更有效的渲染。在一些实施例中，VR系统可以操作以仅在用户不进行头部移动时执行低成本眼睛跟踪。眼睛跟踪通常消耗大的计算能力，包含图像处理。当用户的头部移动时，可以在没有眼睛跟踪的情况下执行视网膜中央凹渲染。因此，示例系统可以操作以最小化来自所提出的组合的计算开销。

在一些实施例中，VR内容元数据被利用以校准和缩放高分辨率区域。VR系统可以利用关于用户的预期ROI的位置(角度)的信息。在一些情况下，VR内容创建者通常可以预先知道(或者能够潜在地预测)用户可能感兴趣的内容，并且创建者可以例如利用这样的知识。例如，如果快速汽车突然出现在用户的视野中并且经过，则用户将有很大可能性正在观看和跟踪该汽车。如果VR内容提供关于感兴趣汽车的位置的元数据，则该元数据可以用于提高ROI估计准确度(训练)并且更准确地确定高分辨率区域。图26描绘了根据一些实施例的将高分辨率区域调整为包括来自元数据的预期感兴趣区域。在该示例中，如果VR系统识别出用户当前注视区域周围的感兴趣区域，则可以扩展当前注视区域周围的高分辨率区域以覆盖基于元数据的感兴趣区域。

在一些实施例中，使用由内容提供者提供的元数据来校准c值。例如，元数据可以包括关于每个特定时间的每个VR内容中的感兴趣ROI的信息。可以识别预期ROI中的误差并将其与元数据中记录的ROI信息进行比较。在一些实施例中，如果识别出预期ROI中的误差，则校准c值，因为该误差意味着当前使用的c值是不适当的。

在一些实施例中，c值校准过程如下。如果确认例如用户进行的头部旋转是将他的注视转移到所标识的(元数据)ROI的移动，则系统可以确定(例如估算，例如计算)c_metadata＝注视幅度/峰值头部速度。然后，使用下式，使用调整的权重

来基于原始c_old和c_metadata确定新的c值(c_new)：

其中，

c_old＝先前的c值，c_metadata＝使用元数据信息计算的c值，并且c_new＝新校准的c值。

调整的权重

可以基于c_metadata的可靠度。c_metadata的可靠度

是基于用户产生的注视幅度确定的。对于来自小的注视改变的c_metadata，设置小的

值可能是有帮助的，因为c_metadata可能由于仅眼睛范围效果而不准确。另一方面，在大的注视改变期间观察到的c_metadata可以是相对可靠的，并且设置大的

以便增加c_metadata在校准过程中的效果可能是有用的。可以使用元数据连续地校准c值。

图27描绘了根据一些实施例的使用元数据的c值校准的示例实验结果。在实验中，被使用的

为0.5。因为最初训练的c_right(对于图中y轴的上方)稍微更大，所以所测试的方法预测ROI将比用户的实际ROI更远。在使用元数据校正估计误差之后，校准c_right值。图27识别ROI估计#1-4。根据该示例，由于校准的新c_right值，#2处的ROI估计结果比#1处的估计结果更接近用户的实际ROI。所提出的解决方案在操作期间重复校准过程。在#3处，进一步减小估计误差，并且在#4处，最准确地估计用户的ROI。

示例消息序列图

图28是根据一些实施例的示例训练会话2800的消息序列图。示例训练会话包括渲染器2802(例如图形卡)、处理器2804、VR内容服务器2806、用户设备2808(例如头戴式显示器)和惯性测量单元(IMU)2810。如该示例所示，消息序列包括以下内容。在2812，用户设备2808从IMU 2810接收运动信息。在整个过程中，用户运动信息可以被连续地发送到用户设备2808。在2814，将头部取向和旋转速度发送到VR内容服务器2806。在2816，VR内容服务器2806选择要创建ROI的位置，并将ROI位置和用户的头部取向发送到处理器2804。在2818，处理器2804将用户的头部取向与所选择的ROI的位置进行比较以计算用户将执行的注视移动的幅度。根据该示例，在2820，将头部取向和ROI位置信息发送到渲染器2802。在2822，渲染器2802在由VR内容服务器2806确定为ROI的位置渲染对象。在2824，向用户提供具有预期ROI的内容(例如VR内容的帧)。在2826，将头部取向和旋转速度信息(由IMU观察)提供给VR内容服务器2806。在2828，头部取向和旋转速度信息被发送到处理器2804。在2830，处理器通过使用在用户将注视移动到ROI时观察到的峰值头部速度来计算用户的个人c值。例如，可以通过将注视幅度除以所观察到的峰值旋转速度来计算c值。

图29是根据一些实施例的示例服务会话2900的消息序列图序列。如该示例所示，示例服务会话的示例消息序列包括以下内容。在2912，用户设备2908从IMU 2910接收运动信息。在整个过程中，用户运动信息可以被连续地发送到用户设备2908。在2914，VR内容服务器从用户设备2908接收用户的头部取向和旋转速度信息。在2916，用户的头部取向和旋转速度信息被递送到处理器2904。在2918，处理器基于用户的头部速度来检测新的注视转移阶段，并且将权重应用于c值(例如，以考虑头部的初始取向)。例如，加权c值可以使用上面的等式4来计算。在2920，将头部取向和旋转速度信息(由IMU观察)提供给VR内容服务器2906。在2922，头部取向和旋转速度信息被发送到处理器2904。在2924，处理器使用校准的c值来估计用户的ROI并确定高分辨率区域。在一些实施例中，通过考虑无眼(eye-free)范围、误差容限等来确定高分辨率区域的大小。根据该示例，在2926，将高分辨率区域信息、头部取向信息和VR内容提供给渲染器。在2928，渲染器2902使用所确定的高分辨率区域信息来对内容执行视网膜中央凹渲染，并且将视网膜中央凹渲染的内容提供给VR内容服务器2906。在2930，VR内容服务器2906将所接收的内容打包，并将该包发送到用户设备2908。

图30是根据一些实施例的具有基于元数据的c值校准的示例服务会话3000的消息序列图。在示例服务会话3000中，元素3012-3026对应于图29所示的服务会话2900的元素2912-2926，并且以基本相同的方式执行。在步骤3028，将(由IMU观察到的)头部取向和旋转速度信息提供给VR内容服务器3006。在3030，将头部取向和旋转速度信息发送到处理器3004。在3032，处理器确认当用户的头部旋转速度开始降低时新的注视保持阶段已经开始。在3034，VR内容服务器3006将VR内容信息发送到处理器。内容信息(例如元数据)可以用于估计ROI。在3036处，处理器3004将估计的ROI与来自元数据的预期ROI进行比较以计算当前c值的误差，并且执行c值校准以确定校准的c值，即c_new。c_new可以例如使用上面的等式6来计算。在3038，渲染器3002使用所确定的高分辨率区域信息来执行对内容的视网膜中央凹渲染，并将视网膜中央凹渲染的内容提供给VR内容服务器3006。在3040中，VR内容服务器3006将接收到的内容打包，并将该包发送到用户设备3008。

根据一些实施例的示例

一些实施例通过将由IMU数据检测到的头部取向角度与眼睛位置概率分布函数进行匹配来识别用户在服务帧内正在观看的区域。与基于头部的旋转速度来估计ROI的一些示例方法不同，其他示例方法估计例如用户正在观看的HMD的面板上的位置。当然，应当理解，根据一些实施例，可以使用这些或其他示例方法的组合。

图32是根据一些实施例的示例方法的过程流程图。为了便于解释，图32中的示例方法开始于从用户设备(例如，示例用户设备3204)接收IMU数据的时刻。然而，应当理解，当播放VR内容时，可以重复执行VR系统的处理。图32中描述的示例方法的整个过程如下。在3206，VR内容服务器3202从用户设备3208接收IMU数据。在3208，识别用户的头部取向。在3210，识别与用户的头部方向相对应的眼睛位置概率分布。在3212，识别注视方向(在服务视角中)。在一些实施例中，基于检测到的眼睛位置和概率分布来估计注视方向。在3214，确定图像上的高分辨率区域的位置。在3218，包括将经视网膜中央凹渲染的图像(例如，VR内容)从VR内容服务器3202发送到用户设备3204。经视网膜中央凹渲染的图像可由RX系统3220接收。该方法还可以包括，在3222，在用户设备上扫描出图像。图32中的方法的细节将在以下步骤中进一步详细描述。

步骤1：识别头部取向

VR内容服务器使用从用户设备接收的IMU数据来检查用户的头部取向。利用用户的头部取向的偏航和俯仰值。如前所述，这些值可以从IMU数据获得。

步骤2：眼睛位置估计

可以基于被观察用户的头部取向(Head_Yaw，Head_Pitch)来估计用户的眼睛位置。系统可以利用头部取向和眼睛位置(分别关于偏航和俯仰)之间的关系。如图33的示例所示(改编自Fang,Yu等人的《用于视觉认知处理的眼睛-头部协调》科学公共图书馆一10.3(2015)：e0121035)，可以通过针对头部取向的眼睛位置的概率分布来检查这两者之间的关系。将在步骤1中识别的用户的头部取向与概率分布图进行匹配，以获得偏航和俯仰方向的眼睛位置概率分布。图34描绘了针对给定头部取向的示例眼睛位置概率分布。

眼睛位置的估计可以通过获取眼睛位置具有最高概率的角度来完成。例如，图34中所估计的眼睛位置分别是偏航轴和俯仰轴的(-25，0)。

步骤3：识别服务视角中的注视方向

头部方向的眼睛位置概率具有分布范围，因此考虑该范围可能是有帮助的。基于已经确定的眼睛位置，注视范围被选择为包括特定量的眼睛位置概率(例如，80％)。在图34所示的概率图中，眼睛位置概率在偏航轴上具有更宽的分布。因此，确定水平方向上的较长注视范围可能是有用的。图35描绘了根据一些实施例的利用眼睛位置的概率分布的示例注视估计。在该示例中，区域3502表示服务视角3504中的估计注视范围。尽管该视角仅作为示例提供，但是服务视角3504是110°乘以90°。

步骤4：确定高分辨率区域

对于双目图像，可以针对每只眼睛单独地确定注视方向。这可能是有用的，因为当用户形成特定的注视角度时，每只眼睛的位置是不同的。因此，用于每只眼睛的两个图像的高分辨率区域可以具有不同的位置。

图36描绘了根据一些实施例的高分辨率区域的确定。与先前描述的方法类似，可以通过考虑用户的头部移动方向来扩展高分辨率渲染区域。即，通过在头部旋转的方向上扩展高分辨率区域，即使用户设备对服务帧执行时间扭曲，高分辨率区域仍然出现在用户的视网膜中央凹中。图37描绘了根据一些实施例的向头部旋转方向的高分辨率区域扩展。

示例实现

在一些场景中，当用户转动他的头部并且执行单次注视改变时估计ROI。下面详细阐述一个这样的示例场景。

首先，用户的ROI正改变为用户的头部方向的向右方向(40°)。用户还没有开始移动他们针对改变的ROI的注视。因此，由于没有用户的头部运动经由IMU被识别，所以高分辨率区域被确定为在屏幕的中心(Head_Basis:0°)。图38描绘了根据一些实施例的用户的注视和紧接在ROI改变之后的确定的高分辨率区域。

然后，当用户开始移动他的注视时，用户的头部开始旋转，并且眼睛开始在ROI的方向上移动。这是注视转移阶段的开始。眼睛的运动与头部的旋转相比相对较快，执行更多的注视转移(在0～0.1秒期间)。通过将IMU观察到的峰值速度乘以用户的比例常数(反映用户的个人头部运动特性)来估计ROI。因为用户的最大观察头部旋转速率是10°/秒直到0.1秒，所以解决方案的估计ROI在0.1秒已经移动了20°(对于用户使用比例常数2)。该计算结果如下面的等式所示：

在0.1秒估计的ROI＝0°(Head_Basis)+2×10°＝20° 等式7

同时，根据该示例，基于用户的头部旋转速度和方向来确定高分辨率区域。因此，确定了椭圆形高分辨率区域。结果，高分辨率区域在接近用户的ROI的同时在ROI方向上被渲染得更长。

图39描绘了在用户注视转移开始时的初始头部和眼睛移动以及所确定的高分辨率区域。

接着，用户连续地加速他的头部。在0.2秒，ROI进入用户的注视，并且注视转移完成。当头部旋转速度具有峰值速度时，所估计的ROI在0.2秒与用户的实际ROI匹配。该计算结果如下面的等式所示：

在0.2秒估计的ROI＝0°(Head_Basis)+2×20°＝40° 等式8

图40描绘了在用户的注视转移期间的头部和眼睛移动以及所确定的高分辨率区域。如图所示，由于用户的快速头部旋转，高分辨率区域被确定为右侧的细长形状。

然后，用户的头部在ROI的方向上移动，但是速度正在减小。这构成了注视保持阶段。在此期间，用户的眼睛移回中心位置以维持ROI上的注视。在该间隔期间，用户的峰值头部速度是20°/秒，这是在0.2秒测量的值。

图41描绘了用户的注视转移之后的头部和眼睛移动以及所确定的高分辨率区域。由于头部峰值速度在0.2到0.3秒内不变，因此估计的ROI不变。另一方面，随着用户的头部旋转速度降低，高分辨率区域逐渐恢复到圆形形状。在0.3秒，当用户的头部旋转停止时，高分辨率区域变成围绕用户ROI的完整圆形。估计的ROI是40°，并且计算与上面的等式8相同。

图42是根据一些实施例的估计用户的感兴趣方向的示例方法的流程图。方法4200包括：在4202，跟踪用户的头部取向。在4204，检测头部取向的转移。在4206，确定在头部取向的转移期间的头部旋转速率。在4208，至少部分地基于头部旋转速率来预测用户的感兴趣方向。

图43是根据一些实施例的示例方法的流程图。方法4300包括：在4302，跟踪用户取向的头部取向。在4304，检测头部取向的转移。在4306，确定在头部取向的转移期间的头部旋转速率。在4308，确定将头部旋转速率与注视方向或感兴趣方向中的至少一者相关的用户特定参数。在4310，至少部分地基于用户特定参数和头部旋转速率来估计注视方向或感兴趣方向中的至少一者。

图44是根据一些实施例的至少部分地由被配置为由用户穿戴的头戴式显示器(HMD)执行的方法的流程图。方法4400包括：在4402，跟踪用户的头部取向。在4404，检测头部取向的转移。在4406，确定在头部取向的转移期间的头部旋转速率。在4408，确定将头部旋转速率与注视方向或感兴趣方向中的至少一者相关的用户特定参数。在4410，至少部分地基于用户特定参数和头部旋转速率来估计注视方向或感兴趣方向中的至少一者。在4412，基于注视方向或感兴趣方向中的至少一者，使用视网膜中央凹渲染在HMD处针对用户渲染图像。

根据一些实施例的估计用户的注视方向的示例方法可以包括：跟踪用户的头部取向；检测头部取向的转移；确定在头部取向的转移期间的头部旋转速度；以及至少部分地基于头部旋转速度来预测用户的注视方向。

对于示例方法的一些实施例，可以使用惯性测量单元来执行跟踪头部取向。

对于示例方法的一些实施例，该方法可以由头戴式显示器执行。

对于示例方法的一些实施例，检测头部取向的转移可包括检测用户头部的角加速度超过预定加速度阈值。

对于示例方法的一些实施例，检测头部取向的转移可以包括检测用户头部的角加速度超过预定阈值。

对于示例方法的一些实施例，确定头部旋转速度可以包括确定头部取向的转移期间的最大头部旋转速度。

对于示例方法的一些实施例，预测注视方向可以包括向基础注视方向添加偏移，该偏移与头部旋转速度成比例。

示例方法的一些实施例还可以包括响应于确定头部旋转速度低于预定速度阈值而将基础注视方向设置为等于用户的头部取向。

示例方法的一些实施例还可以包括通过将头部旋转速度乘以比例常数来计算所述偏移。

对于示例方法的一些实施例，比例常数可以取决于头部旋转的方向。

对于示例方法的一些实施例，比例常数可以取决于头部相对于中间位置的位置。

对于示例方法的一些实施例，可以通过从测量的头部旋转速度减去基础头部旋转速度来确定头部旋转速度。

示例方法的一些实施例还可以包括基于预测的注视方向来使用视网膜中央凹渲染来针对用户渲染图像。

示例方法的一些实施例还可以包括使用视网膜中央凹渲染来针对用户渲染图像，其中朝向预测的注视方向的图像的一部分以比远离所述预测的注视方向的图像的一部分更高的质量来渲染。

示例方法的一些实施例还可以包括使用预测的注视方向作为化身眼睛方向来动画化用户的化身。

示例方法的一些实施例还可以包括基于预测的注视方向来确定用户对对象的兴趣。

对于示例方法的一些实施例，可以在没有眼睛跟踪的情况下执行该方法。

示例方法的一些实施例还可以包括响应于确定用户头部的角加速度正在减小，将预测的注视方向保持在基本恒定的值。

示例方法的一些实施例还可以包括响应于确定用户的头部处于至少一个预定中心取向，将预测方向设置为等于头部取向。

根据一些实施例的估计用户的注视方向的示例方法可以包括：确定用户的相对于预定的中心头部取向的头部取向；以及基于所述头部取向来估计注视方向。

根据一些实施例的示例方法可以包括至少部分地基于用户的头部移动的角速度来估计用户的注视方向。

示例方法的一些实施例还可以包括基于所估计的注视方向来执行针对用户的视网膜中央凹渲染。

根据一些实施例的示例装置可以被配置为执行上面列出的示例方法中的任何方法。对于示例装置的一些实施例，该装置可以是头戴式显示器。

根据一些实施例的另一示例装置可以包括：处理器和存储指令的非暂时性计算机可读介质，所述指令当在所述处理器上执行时，可操作以执行以上列出的示例方法中的任何方法。对于示例装置的一些实施例，该装置可以是头戴式显示器。

注意，所描述的一个或多个实施例的各种硬件元素被称为“模块”，其运行(即，执行、进行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于运行被描述为由相应模块运行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令、软件指令等的形式或包括它们，并且可以存储在任何适当的非暂时性计算机可读介质或媒介中，诸如通常被称为RAM、ROM等。

尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其它特征和元素任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读存储介质的示例包括但不限于，只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘等磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD)等光介质。与软件相关联的处理器可以用于实现在WTRU、UE、终端、基站、RNC或任何主机计算机中使用的射频收发信机。

Claims (29)

1.一种方法，包括：

跟踪用户的头部取向；

检测所述用户的所述头部取向的转移；

确定在所述头部取向的所述转移期间的所述用户的头部旋转速率；

确定将所述头部旋转速率与注视方向或感兴趣方向中的至少一者相关的用户特定参数；以及

至少部分地基于所述用户特定参数和所述头部旋转速率来估计所述注视方向或所述感兴趣方向中的所述至少一者。

2.根据权利要求1所述的方法，其中使用惯性测量单元来执行跟踪所述头部取向。

3.根据权利要求1-2中任一项所述的方法，其中检测所述头部取向的所述转移包括检测所述用户的头部的角加速度超过阈值。

4.根据权利要求1-3中任一项所述的方法，其中确定所述头部旋转速率包括确定最大头部旋转速率。

5.根据权利要求1-3中任一项所述的方法，其中确定所述头部旋转速率包括确定在所述头部取向的所述转移期间的最大头部旋转速率与在所述头部取向的所述转移之前测量的初始头部旋转速率之间的差值。

6.根据权利要求1-5中任一项所述的方法，其中确定所述用户特定参数包括：

确定预测的注视方向改变；以及

通过将所述头部旋转速率与所述预测的注视方向改变进行比较来确定所述用户特定参数。

7.根据权利要求6所述的方法，还包括：

引导所述用户将注视从显示器上的第一感兴趣区域转移到所述显示器上的第二感兴趣区域，

其中，所述预测的注视方向改变等于所述显示器上的所述第一感兴趣区域与所述第二感兴趣区域之间的角距离。

8.根据权利要求7所述的方法，其中引导所述用户将注视从所述显示器上的所述第一感兴趣区域转移到所述显示器上的所述第二感兴趣区域包括：在所述显示器处，在所述显示器上的与所述第二感兴趣区域相关联的位置处生成虚拟对象。

9.根据权利要求6所述的方法，其中确定所述预测的注视方向改变包括：至少部分地基于在所述显示器上向所述用户示出的内容所特有的元数据来确定预测的注视方向改变。

10.根据权利要求1-9中任一项所述的方法，其中确定所述用户特定参数包括：

在训练模式中，确定所述用户特定参数的初始值；以及

在服务模式中，至少部分地基于在所述显示器上向所述用户示出的内容所特有的所述元数据来更新所述用户特定参数的所述初始值。

11.根据权利要求1-10中任一项所述的方法，还包括：

基于所述用户的所述头部旋转的方向来调整所述用户特定参数。

12.根据权利要求1-11中任一项所述的方法，还包括：

基于所述头部相对于中间位置的位置来调整所述用户特定参数。

13.根据权利要求1-12中任一项所述的方法，其中估计所述注视方向或所述感兴趣方向中的所述至少一者包括：通过将所述头部取向速率乘以所述用户特定参数来估计方向改变。

14.根据权利要求13所述的方法，其中估计所述注视方向或所述感兴趣方向中的所述至少一者还包括：

通过以下步骤估计所述注视方向：

识别初始注视方向；以及

将所估计的方向改变添加到所述初始注视方向。

15.根据权利要求14所述的方法，还包括：

确定在头部取向的所述转移期间，所述头部旋转速率在一时间周期内基本上恒定；

并且

其中，估计所述注视方向还包括：

将偏移添加到所估计的方向改变和所述初始注视方向。

16.根据权利要求13所述的方法，其中估计所述注视方向或所述感兴趣方向中的所述至少一者还包括：

通过以下步骤估计所述感兴趣方向：

识别初始感兴趣方向；以及

将所估计的方向改变添加到所述初始感兴趣方向。

17.根据权利要求16所述的方法，还包括：

确定在所述头部取向的所述转移期间，所述头部旋转速率在一时间周期内基本上恒定；

并且

其中估计所述感兴趣方向还包括：

将偏移添加到所估计的方向改变和所述初始感兴趣方向。

18.根据权利要求1-17中任一项所述的方法，还包括：响应于确定所述用户的头部的角加速度正在减小，将所述注视方向或所述感兴趣方向中的所述至少一者保持在基本恒定的值。

19.根据权利要求1-18中任一项所述的方法，还包括：在HMD的显示器处渲染具有第一分辨率的第一区域和具有第二分辨率的第二区域，其中所述第一分辨率大于所述第二分辨率，并且其中所述第一区域对应于所述注视方向或所述感兴趣方向中的所述至少一者。

20.根据权利要求1-18中任一项所述的方法，还包括：基于所估计的注视方向或所估计的感兴趣方向中的至少一者，使用视网膜中央凹渲染在HMD的显示器处渲染图像。

21.根据权利要求1-18中任一项所述的方法，还包括：使用视网膜中央凹渲染来渲染图像，其中朝向所估计的注视方向或所估计的感兴趣方向中的所述至少一者的所述图像的一部分以比远离所估计的注视方向或所估计的感兴趣方向中的所述至少一者的所述图像的一部分更高的质量来渲染。

22.根据权利要求1-21中的任一项所述的方法，还包括：使用所估计的注视方向或所估计的感兴趣方向中的所述至少一者作为化身眼睛方向来动画化所述用户的化身。

23.根据权利要求1-22中任一项所述的方法，还包括：基于所估计的注视方向或所估计的感兴趣方向中的所述至少一者来确定用户对对象的兴趣。

24.一种装置，包括处理器和存储指令的非暂时性计算机可读介质，所述指令当在所述处理器上执行时可操作以执行根据权利要求1-23中任一项所述的方法。

25.一种估计用户的感兴趣方向的方法，所述方法包括：

跟踪所述用户的头部取向；

检测所述头部取向的转移；

确定在所述头部取向的所述转移期间的头部旋转速率；以及

至少部分地基于所述头部旋转速率来估计所述用户的所述感兴趣方向。

26.一种装置，包括处理器和存储指令的非暂时性计算机可读介质，所述指令当在所述处理器上执行时可操作以执行根据权利要求25所述的方法。

27.一种至少部分地由被配置成由用户穿戴的头戴式显示器(HMD)执行的方法，包括：

跟踪所述用户的头部取向；

检测所述头部取向的转移；

确定在所述头部取向的所述转移期间的头部旋转速率；

确定将头部旋转速率与注视方向或感兴趣方向中的至少一者相关的用户特定参数；

至少部分地基于所述用户特定参数和所述头部旋转速率来估计所述注视方向或所述感兴趣方向中的所述至少一者；以及

基于所述注视方向或所述感兴趣方向中的所述至少一者，使用视网膜中央凹渲染在所述HMD处针对所述用户渲染图像。

28.根据权利要求27所述的方法，还包括：

使用所述注视方向或所述感兴趣方向中的所述至少一者来确定所述HMD的显示器上的位置；以及

使用视网膜中央凹渲染在所述显示器上的所确定的位置处渲染所述图像。

29.一种装置，包括处理器和存储指令的非暂时性计算机可读介质，所述指令当在所述处理器上执行时可操作以执行根据权利要求27-28中任一项所述的方法。

Images