CN117178245A - 凝视和头部姿态交互 - Google Patents

Abstract

本文所公开的各种具体实施包括用于使用凝视矢量和头部姿态信息实现用户与虚拟对象的交互的设备、系统和方法。在一些具体实施中，设备包括用于感测用户的头部姿态的传感器、显示器、一个或多个处理器以及存储器。在各种具体实施中，方法包括显示一组虚拟对象。基于凝视矢量，确定该用户的凝视指向该组虚拟对象中的第一虚拟对象。获得对应于该用户的该头部姿态的头部姿态值。基于该头部姿态值满足头部姿态标准执行关于该第一虚拟对象的动作。

Description

凝视和头部姿态交互

相关申请的交叉引用

本申请要求于2021年4月1日提交的美国临时专利申请第63/169,347号的权益，该美国临时专利申请全文以引用方式并入。

技术领域

本公开整体涉及与计算机生成的内容进行交互。

背景技术

一些设备能够生成和呈现包括许多对象的图形环境。这些对象可模仿真实世界对象。这些环境可呈现在移动通信设备上。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1A至图1I是根据一些具体实施的示例性操作环境的图示。

图2是根据一些具体实施的内容呈现引擎的框图。

图3A至图3B是根据一些具体实施的使用凝视矢量和头部姿态信息来实现用户与扩展现实(XR)环境中的虚拟对象的交互的方法的流程图表示。

图4是根据一些具体实施的使用凝视矢量和头部姿态信息来实现用户与XR环境中的虚拟对象的交互的设备的框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于使用凝视矢量和头部姿态信息来实现用户与扩展现实(XR)环境中的虚拟对象的交互的设备、系统和方法。在一些具体实施中，头部穿戴设备包括用于感测用户的头部姿态的传感器、凝视跟踪设备、显示器、一个或多个处理器以及存储器。在各种具体实施中，方法包括在该显示器上显示XR环境中的一组虚拟对象。该头部穿戴设备经由凝视跟踪设备获得凝视矢量。基于该凝视矢量，确定该用户的凝视指向该组虚拟对象中的第一虚拟对象。经由该传感器获得对应于该用户的该头部姿态的头部姿态传感器值。基于该头部姿态值满足头部姿态标准执行关于该第一虚拟对象的动作。

根据一些具体实施，设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。在一些具体实施中，一个或多个程序存储在非暂态存储器中并由一个或多个处理器执行。在一些具体实施中，一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时使该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

人们可在不使用电子设备的情况下感测物理环境或世界或者与物理环境或世界交互。物理特征诸如物理对象或表面可包括在物理环境内。例如，物理环境可对应于具有物理建筑物、道路和车辆的物理城市。人们可通过各种手段诸如嗅觉、视觉、味觉、听觉和触觉直接感知物理环境或与物理环境交互。这可与扩展现实(XR)环境相反，该XR环境可以是指人们可使用电子设备感测或交互的部分或完全模拟的环境。XR环境可包括虚拟现实(VR)内容、混合现实(MR)内容、增强现实(AR)内容等。使用XR系统，可跟踪人的物理运动或其表示的一部分，并且作为响应，可以符合至少一个自然定律的方式改变XR环境中的虚拟对象的属性。例如，XR系统可检测用户的头部移动，并且以模拟声音和视图将如何在物理环境中改变的方式调整呈现给用户的听觉和图形内容。在其他示例中，XR系统可检测呈现XR环境的电子设备(例如，膝上型计算机、平板电脑、移动电话等)的移动。因此，XR系统可以模拟声音和视图将如何在物理环境中改变的方式来调整呈现给用户的听觉和图形内容。在一些实例中，其他输入诸如身体运动的表示(例如，语音命令)可使XR系统调整图形内容的属性。

众多类型的电子系统可允许用户感测XR环境或与XR环境交互。不完全示例列表包括放置在用户的眼睛上的具有集成显示能力的镜片(例如，隐形眼镜)、抬头显示器(HUD)、基于投影的系统、可头戴式系统、具有集成显示技术的窗户或挡风玻璃、头戴式耳机/听筒、具有或不具有触觉反馈的输入系统(例如，手持式或可佩戴控制器)、智能电话、平板电脑、台式/膝上型计算机和扬声器阵列。头戴式系统可包括不透明显示器和一个或多个扬声器。其他头戴式系统可被配置为接收不透明外部显示器，诸如，智能电话的不透明外部显示器。头戴式系统可使用一个或多个图像传感器来捕获物理环境的图像/视频，或者使用一个或多个麦克风来捕获物理环境的音频。一些头戴式系统可包括透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可通过介质诸如全息介质、光学波导、光学组合器、光学反射器、其他类似技术或它们的组合将表示图像的光引导到用户的眼睛。可使用各种显示技术，诸如硅上液晶、LED、uLED、OLED、激光扫描光源、数字光投影或它们的组合。在一些示例中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图像投影到用户的视网膜上的视网膜投影技术，或者可将虚拟内容投影到物理环境中，诸如投影到物理表面上或者作为全息图。

本文所述的具体实施设想使用凝视信息来确定用户的注意力所聚焦的虚拟对象。实施者应考虑收集、分析、披露、传输和/或存储凝视信息的程度，以便尊重既定的隐私政策和/或隐私惯例。这些考虑应包括应用通常认为符合或超过行业要求和/或政府要求的维护用户隐私的做法。本公开还构想了用户的凝视信息的使用可能被限制在实现所述实施方案所需的范围内。例如，在用户的设备提供处理能力的具体实施中，可以在用户的设备处本地处理凝视信息。

一些设备显示包括一个或多个对象(例如，虚拟对象)的扩展现实(XR)环境。用户可通过各种模态选择对象或以其他方式与其交互。例如，一些设备允许用户使用凝视输入来选择对象或以其他方式与其交互。凝视跟踪设备，诸如面向用户的图像传感器，可获得用户瞳孔的图像。该图像可用于确定凝视矢量。凝视跟踪设备可使用凝视矢量来确定用户旨在选择哪个对象或与之交互。当使用凝视跟踪设备时，用户可能会发现使用凝视输入很难选择XR环境中的对象或与其交互。依赖于凝视输入可能导致假阳性，例如，在不旨在选择时记录用户对对象的选择。因此，用户可能选择非预期的对象或与之交互，从而降低了用户体验。功率消耗可能受到校正假阳性所涉及的附加输入的不利影响。

本公开提供了用于使用凝视矢量和头部姿态信息的组合来实现用户与XR环境中的对象的交互的方法、系统和/或设备。在一些具体实施中，设备显示包括一个或多个对象的XR环境。该设备确定凝视矢量，并使用该凝视矢量来确定XR环境中用户正关注的对象。在一些具体实施中，设备接收头部姿态信息作为对应于用户与用户注意力所集中的对象的交互的输入。例如，用户可执行点头动作来选择对象。在一些具体实施中，使用头部姿态信息来确认对用户注意力所集中的对象的选择提高了记录用户对对象的选择的准确性，例如通过减少假阳性。由用户提供的用户输入的数量可被减少，例如，通过减少校正假阳性所需的输入的数量。因此，电池寿命和用户体验可得到增强。

图1A是根据一些实施方式的示例性操作环境10的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境10包括电子设备100和内容呈现引擎200。在一些具体实施中，电子设备100包括可由用户20握住的手持计算设备。例如，在一些具体实施中，电子设备100包括智能电话、平板电脑、媒体播放器、膝上型电脑等。在一些具体实施中，电子设备100包括可由用户20穿戴的可穿戴计算设备。例如，在一些具体实施中，电子设备100包括头部穿戴设备(例如，头戴式设备(HMD))或电子手表。

在图1A的示例中，内容呈现引擎200驻留在电子设备100处。例如，电子设备100实现内容呈现引擎200。在一些具体实施中，电子设备100包括对应于内容呈现引擎200的一组计算机可读指令。尽管内容呈现引擎200被示出为集成到电子设备100中，但是在一些具体实施中，内容呈现引擎200与电子设备100是分离的。例如，在一些具体实施中，内容呈现引擎200驻留在另一设备处(例如，在控制器、服务器或云计算平台处)。

如图1A所示，在一些具体实施中，电子设备100呈现扩展现实(XR)环境106。在一些具体实施中，XR环境106被称为计算机图形环境。在一些具体实施中，XR环境106被称为图形环境。在一些具体实施中，电子设备100生成XR环境106。另选地，在一些具体实施中，电子设备100从生成XR环境106的另一设备接收XR环境106。

在一些具体实施中，XR环境106包括虚拟环境，该虚拟环境是物理环境的模拟替换。在一些具体实施中，XR环境106由电子设备100合成。在此类具体实施中，XR环境106不同于其中电子设备100所在的物理环境。在一些具体实施中，XR环境106包括增强环境，该增强环境是物理环境的修改版本。例如，在一些具体实施中，电子设备100修改(例如，增强)其中电子设备100所在的物理环境以生成XR环境106。在一些具体实施中，电子设备100通过模拟其中电子设备100所在的物理环境的副本来生成XR环境106。在一些具体实施中，电子设备100通过从其中电子设备100所在的物理环境的模拟副本中移除和/或添加项目来生成XR环境106。

在一些具体实施中，XR环境106包括各种虚拟对象，诸如XR对象110(“对象110”，以下为简洁起见)。在一些具体实施中，XR环境106包括多个对象。在图1A的示例中，XR环境106包括对象110、112和114。在一些具体实施中，虚拟对象被称为图形对象或XR对象。在各种具体实施中，电子设备100从对象数据存储器(未示出)获得虚拟对象。例如，在一些具体实施中，电子设备100从对象数据存储器中检索对象110。在一些具体实施中，虚拟对象表示物理物品。例如，在一些具体实施中，虚拟对象表示设备(例如，机器，诸如飞机、坦克、机器人、摩托车等)。在一些具体实施中，虚拟对象表示虚构物品(例如，来自虚构材料的实体，例如，动作人物或诸如飞行摩托车等虚构装备)。

在各种具体实施中，如图1B所示，电子设备100(例如，内容呈现引擎200)确定凝视矢量120。例如，电子设备100可包括面向用户的图像传感器(例如，面向前的相机或面向内的相机)。在一些具体实施中，面向用户的图像传感器捕获用户20的眼睛的一组一个或多个图像。电子设备100可基于一组一个或多个图像来确定凝视矢量120。基于凝视矢量120，电子设备100可确定用户的凝视指向对象中的一个对象。例如，如图1B所示，用户的凝视指向对象110。在一些具体实施中，电子设备100可结合对象110显示视觉效果122。例如，电子设备100可在对象110周围显示增加亮度的区域。又如，电子设备100可显示对象110的动画。在一些具体实施中，视觉效果122可包括选择或激活凝视的对象110所需的运动的指示、用户的当前头部姿态值130或两者。例如，如果需要竖直点头运动来选择或激活对象110，则可显示竖直条或滑块124，在其上定位有用户的当前头部姿态值130的指示符126。当用户点头时，指示符126可在竖直条或滑块124上向下移动，直到头部姿态值130达到选择或激活对象110所需的阈值头部姿态，这可对应于竖直条或滑块124的底部。对于其他方向上的运动或具有其他阈值头部姿态值的运动，可显示类似的视觉效果122。

在一些具体实施中，如图1C所示，电子设备100(例如，内容呈现引擎200)获得对应于用户20的头部姿态132的头部姿态值130。例如，电子设备100可包括被配置为感测用户20的头部的位置和/或运动的一个或多个传感器。一个或多个传感器可包括例如图像传感器、加速度计、陀螺仪、磁力计和/或惯性测量单元(IMU)。被配置为感测用户20的头部的位置和/或运动的一个或多个传感器可被称为头部姿态传感器。

在一些具体实施中，电子设备100基于头部姿态值130满足头部姿态标准来执行关于对象110的动作。例如，头部姿态标准可为点头运动超过阈值运动范围。如果头部姿态值130对应于超过阈值运动范围的点头运动，则电子设备100可执行动作。例如，如图1D所示，电子设备100选择对象110。电子设备100可结合对象110显示视觉效果134，以指示对象110已经被选择。用于指示选择的视觉效果134可与用于指示用户的凝视指向对象110的视觉效果122相同或不同。例如，电子设备100可在对象110周围显示增加亮度的区域，以指示对象110已经被选择。又如，电子设备100可通过显示对象110的动画来指示对象110的选择。在其他具体实施中，可呈现听觉或触觉效果来指示对象110的选择或激活。

在一些具体实施中，该动作包括用户接口操作。用户接口操作可在设备上执行。在一些具体实施中，用户接口操作在另一设备上执行。例如，该动作可包括向另一设备传输命令以执行用户接口操作。用户接口操作的示例可包括但不限于选择和/或移动对象、打开与该对象相关的菜单、预览和/或打开与该对象相关的内容项、和/或执行与该对象相关联的默认操作。在一些具体实施中，对象包括通知，并且用户接口操作包括扩展和/或取消通知。

在各种具体实施中，该动作包括涉及修改一个或多个用户接口元素的显示的用户接口操作。在一些具体实施中，如图1E所示，电子设备100可根据头部姿态值130显示对象110的移动。例如，电子设备100可显示对象110在类似于用户20的头部的移动方向的方向上的移动。在一些具体实施中，当头部姿态值130满足头部姿态标准时，电子设备100可继续显示对象110的移动，并且例如，当头部姿态值130不再满足头部姿态标准时，可显示对象110没有移动。

如图1F所示，电子设备100可基于头部姿态值130满足头部姿态标准打开与对象110相关的菜单。例如，头部姿态标准可为头部的旋转运动超过阈值旋转角度。如果头部姿态值130对应于超过阈值旋转角度的头部旋转运动，则电子设备100可在对象110附近显示菜单140。菜单140可允许用户20启动结合对象110的各种操作，诸如复制、删除、选择、取消选择和/或编辑对象110。在一些具体实施中，电子设备100可显示菜单140，直到用户通过执行另一手势取消菜单。例如，电子设备100可显示菜单140，直到头部姿态值130不再对应于阈值头部姿态。

在一些具体实施中，如图1G所示，电子设备100基于头部姿态值130满足头部姿态标准打开与对象110相关联的内容项150。例如，头部姿态标准可为头部的侧向运动超过阈值运动范围。如果头部姿态值130对应于超过阈值运动范围的头部侧向运动，则电子设备100可访问内容项150。内容项150可为或可包括音频内容项、视频内容项、图像和/或文档。在一些具体实施中，内容项150存储在电子设备100中。在一些具体实施中，内容项150存储在电子设备100的外部，并且由电子设备100例如经由通信网络远程访问。

在一些具体实施中，如图1H所示，对象110是通知，并且电子设备100基于头部姿态值130满足头部姿态标准来扩展通知。例如，头部姿态标准可为点头运动超过阈值运动范围。如果头部姿态值130对应于超过阈值运动范围的点头运动，则电子设备100可扩展通知，使得对象110在显示器中被替换为经扩展的通知160。电子设备100可将通知标记为已读。

在一些具体实施中，如图1I所示，对象110是通知，并且电子设备100基于头部姿态值130满足头部姿态标准取消该通知。例如，头部姿态标准可为侧向头部运动超过阈值运动范围。如果头部姿态值130对应于超过阈值运动范围的头部侧向运动，则电子设备100可取消(例如，停止显示)通知，使得对象110的外观被改变。例如，电子设备100可以增加的透明度显示对象110，如图1I中的虚线所指示的，或可从显示器中移除对象110。在一些具体实施中，电子设备100将通知标记为已读。

在一些具体实施中，电子设备100包括或附接到由用户20穿戴的头戴式设备(HMD)。根据各种具体实施，HMD呈现(例如，显示)XR环境106。在一些具体实施中，HMD包括显示XR环境106的集成显示器(例如，内置显示器)。在一些具体实施中，HMD包括可头戴壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，电子设备100可附接到可头戴壳体。在各种具体实施中，可头戴壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备100)的接收器。例如，在一些具体实施中，电子设备100滑动/卡扣到可头戴壳体或以其他方式附接到该可头戴壳体。在一些具体实施中，附接到头戴式壳体的设备的显示器呈现(例如，显示)XR环境106。在各种具体实施中，电子设备100的示例包括智能电话、平板电脑、媒体播放器、膝上型电脑等。

图2示出了根据一些具体实施的内容呈现引擎200的框图。在一些具体实施中，内容呈现引擎200包括传感器数据获取器210、动作确定器220和环境渲染器230。在各种具体实施中，环境渲染器230显示包括一组虚拟对象的扩展现实(XR)环境。例如，参考图1A，环境渲染器230可显示XR环境106，包括对象110、112和114。在各种具体实施中，环境渲染器230从对象数据存储器232获得虚拟对象。虚拟对象可表示物理物品。例如，在一些具体实施中，虚拟对象表示设备(例如，机器，诸如飞机、坦克、机器人、摩托车等)。在一些具体实施中，虚拟对象表示虚构实体(例如，虚构物品，诸如动作人物的表示)。

在一些具体实施中，传感器数据获取器210从与用户(例如，图1A的用户20)交互的一个或多个传感器获得传感器数据。例如，面向用户的图像传感器212(例如，面向前的相机或面向内的相机)可捕获用户20的眼睛的一组一个或多个图像，并且可生成图像数据214。传感器数据获取器210可获得图像数据214。在一些具体实施中，传感器数据获取器210基于图像数据214确定凝视矢量216。

在一些具体实施中，传感器数据获取器210从感测用户20的头部的位置和/或运动的一个或多个头部位置传感器222获得头部传感器数据218。一个或多个头部位置传感器222可包括例如加速度计、陀螺仪、磁力计和/或惯性测量单元(IMU)。传感器数据获取器210可基于头部传感器数据218生成头部姿态值224。

在一些具体实施中，动作确定器220基于头部姿态值224来确定待执行的动作。该动作可相对于虚拟对象来执行。例如，凝视矢量216可指示用户20的凝视指向特定对象。该动作可相对于用户20的凝视所指向的对象来执行。

在一些具体实施中，动作确定器220基于头部姿态值224满足头部姿态标准确定动作。例如，头部姿态标准可为点头运动超过阈值运动范围。如果头部姿态值224对应于超过阈值运动范围的点头运动，则动作确定器220可确定(例如，选择)动作，诸如选择用户20的凝视所指向的对象。

在一些具体实施中，动作确定器220向环境渲染器230提供动作的指示。例如，动作确定器220可提供对象已经被选择的指示。在一些具体实施中，环境渲染器230对XR环境作出对应的修改。例如，如果对象已经被选择，则环境渲染器230可修改XR环境以显示视觉效果来指示该对象已经被选择。例如，环境渲染器230可修改XR环境以在所选择的对象周围显示增加的亮度区域。又如，环境渲染器230可修改XR环境以显示所选择的对象的动画。在一些具体实施中，环境渲染器230在显示器240上显示经修改的XR环境。

图3A至图3B是用于使用凝视矢量和头部姿态信息来实现用户与扩展现实(XR)环境中的虚拟对象的交互的方法300的流程图表示。在各种具体实施中，方法300由设备(例如，图1A至图1I中所示的电子设备100，或图1A至图1I和图2中所示的内容呈现引擎200)执行。在一些具体实施中，方法300由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，方法300由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。

如框310所示，在各种具体实施中，方法300包括在XR环境中显示一组虚拟对象。在一些具体实施中，生成XR环境106。在一些具体实施中，从生成XR环境的另一设备接收XR环境。

XR环境可包括虚拟环境，该虚拟环境是物理环境的模拟替换。在一些具体实施中，XR环境是合成的，并且不同于其中电子设备所在的物理环境。在一些具体实施中，XR环境包括增强环境，该增强环境是物理环境的修改版本。例如，在一些具体实施中，电子设备修改其中电子设备所在的物理环境以生成XR环境。在一些具体实施中，电子设备通过模拟其中电子设备所在的物理环境的副本来生成XR环境。在一些具体实施中，电子设备从其中电子设备所在的物理环境的模拟副本中移除和/或添加项目，以生成XR环境。

在一些具体实施中，如框310a所示，电子设备包括头戴式设备(HMD)。HMD可包括显示XR环境的集成显示器(例如，内置显示器)。在一些具体实施中，HMD包括可头戴壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。在各种具体实施中，头戴式壳体被成形为形成用于接收包括显示器的另一设备的接收器。在一些具体实施中，附接到可头戴壳体的设备的显示器呈现(例如，显示)XR环境。在各种具体实施中，电子设备的示例包括智能电话、平板电脑、媒体播放器、膝上型电脑等。

在各种具体实施中，如框320所示，方法300包括基于凝视矢量确定用户的凝视指向一组虚拟对象的第一虚拟对象。例如，在一些具体实施中，面向用户的图像传感器，诸如面向前的相机或面向内的相机，用于捕获用户眼睛的一组一个或多个图像。可基于一组一个或多个图像来确定凝视矢量。在一些具体实施中，如框320a所示，方法300包括确定与凝视矢量相关联的位置。例如，电子设备可确定凝视矢量所指向的XR环境中的位置。

在一些具体实施中，电子设备可确定凝视矢量指向对象中的一个对象。例如，如框320b所示，方法300可包括在与凝视矢量相关联的位置满足关于第一虚拟对象的接近度阈值的条件下，确定用户的凝视指向一组虚拟对象的第一虚拟对象。在一些具体实施中，如框320c所示，方法300可包括确定在阈值持续时间内位置满足接近度阈值达阈值的条件下用户的凝视指向第一虚拟对象。例如，如果在小于阈值持续时间的持续时间内凝视矢量指向第一虚拟对象附近的位置，例如用户仅仅扫视第一虚拟对象，则电子设备可放弃确定用户的凝视指向第一虚拟对象。在一些具体实施中，电子设备可显示结合第一虚拟对象的视觉效果。例如，电子设备可在第一虚拟对象周围显示增加的亮度区域。又如，电子设备可显示第一虚拟对象的动画，以指示用户的凝视指向其。

在各种具体实施中，如框330所示，方法300包括获得对应于用户的头部姿态的头部姿态值。在一些具体实施中，如框330a所示，头部姿态值对应于与传感器相关联的传感器数据。例如，电子设备可包括被配置为感测用户的头部的位置和/或运动的一个或多个传感器。在一些具体实施中，如框330b所示，传感器数据包括从惯性测量单元(IMU)获得的IMU数据。如框330c所示，在一些具体实施中，传感器包括加速度计。在一些具体实施中，如框330d所示，传感器包括陀螺仪。如框330e所示，在一些具体实施中，传感器包括磁力计。

如框330f所示，头部姿态值可对应于用户的头部的特定移动。例如，如框330g所示，头部姿态值可对应于用户的头部的点头。头部姿态值可指示头部的运动程度(例如，头部移动的径向距离，例如，头部所遵循的弧的大小)。在一些具体实施中，基于运动的程度来执行不同的动作。例如，小点头(例如，半径距离小于阈值半径距离的点头)可触发设备执行第一动作，诸如扩展通知以显示附加信息和可由用户激活的启示。大点头(例如，具有至少是阈值径向距离的径向距离的点头)可触发设备执行不同于第一动作的第二动作，诸如自动地激活启示而不扩展通知并等待用户激活启示。

头部姿态值可对应于其他头部移动，诸如水平移动或侧向移动、倾斜等。在一些具体实施中，如框330h所示，头部姿态值对应于用户的头部的移动的持续时间。例如，头部姿态值可对应于点头运动被保持的持续时间。

在各种具体实施中，如图3B的框340所示，方法300包括基于头部姿态值满足头部姿态标准来执行关于第一虚拟对象的动作。例如，头部姿态标准可为点头运动超过阈值运动范围。如果头部姿态值对应于超过阈值运动范围的点头运动，则电子设备可执行动作。在一些具体实施中，如框340a所示，该动作包括选择第一虚拟对象。电子设备可结合第一虚拟对象显示视觉效果，以指示其已经被选择。例如，电子设备可在第一虚拟对象周围显示增加的亮度区域，以指示第一虚拟对象已经被选择。又如，电子设备可通过显示第一虚拟对象的动画来指示对第一虚拟对象的选择。动画可为基于物理的。例如，如果第一虚拟对象对应于卡，则电子设备可显示挠曲动画。

在一些具体实施中，如框340b所示，该动作包括移动第一虚拟对象。可根据头部姿态值来执行第一虚拟对象的移动。例如，电子设备可显示第一虚拟对象在类似于用户的头部的移动方向的方向上的移动。在一些具体实施中，当头部姿态值满足头部姿态标准时，电子设备可继续显示第一虚拟对象的移动。当头部姿态值不再满足头部姿态标准时，电子设备可停止显示第一虚拟对象的移动(例如，因此第一虚拟对象看起来停止移动)。

如框340c所示，该动作可包括打开与第一虚拟对象相关的菜单。例如，头部姿态标准可为头部的旋转运动超过阈值旋转角度。如果头部姿态值对应于超过阈值旋转角度的头部旋转运动，则电子设备可在第一虚拟对象附近显示菜单。菜单可允许用户启动结合第一虚拟对象的各种操作，诸如复制、删除、选择、取消选择和/或编辑第一虚拟对象。菜单中显示的选项可例如基于第一虚拟对象的类型或其他上下文信息来确定。在一些具体实施中，电子设备可显示菜单，直到用户通过执行另一手势取消菜单。例如，电子设备可显示菜单，直到头部姿态值不再满足头部姿态标准。

在一些具体实施中，如框340d所示，该动作包括打开与第一虚拟对象相关联的内容项。例如，头部姿态标准可为超过阈值运动范围的头部侧向运动。如果头部姿态值对应于超过阈值运动范围的头部侧向运动，则电子设备可访问内容项，并使用对应的输出设备(例如，扬声器和/或显示器)来输出内容项。内容项可为或可包括音频内容项、视频内容项、图像和/或文档。在一些具体实施中，内容项存储在电子设备中。在一些具体实施中，内容项存储在电子设备的外部，并且由电子设备例如经由通信网络远程访问。

在一些具体实施中，如框340e所示，该动作包括预览与第一虚拟对象相关联的内容项。例如，如果电子设备确定用户的凝视指向第一虚拟对象，则可检索对应于第一虚拟对象的内容项的一部分。如果电子设备确定头部姿态值满足头部姿态标准(例如，头部姿态值对应于点头动作)，则电子设备可以使用诸如扬声器和/或显示器之类的输出设备来输出内容项的检索到的部分。

在一些具体实施中，如框340f所示，该动作包括执行与第一虚拟对象相关联的默认操作。默认操作可取决于虚拟对象的类型。例如，如果虚拟对象对应于应用的快捷方式，则默认操作可为打开应用。另一方面，如果虚拟对象对应于统一资源定位符(URL)，则默认操作可为打开对应于URL的网站。又如，如果虚拟对象对应于联系人条目，则默认操作可经由默认通信模态启动通信会话。

在一些具体实施中，如框340g所示，第一虚拟对象包括通知，并且动作包括扩展通知。例如，头部姿态标准可为点头运动超过阈值运动范围。如果头部姿态值对应于超过阈值运动范围的点头运动，则可扩展通知。第一虚拟对象可在显示器中被替换为经扩展的通知。例如，如果第一虚拟对象是图标，则第一虚拟对象可由横幅通知替换，该横幅通知显示对应于通知的描述性文本。在一些具体实施中，通知被标记为已读。

在一些具体实施中，如框340h所示，第一虚拟对象包括通知，并且动作包括取消该通知。例如，头部姿态标准可为侧向头部运动超过阈值运动范围。如果头部姿态值对应于超过阈值运动范围的头部侧向运动，则电子设备可取消通知，使得第一虚拟对象的外观被改变。例如，如果第一虚拟对象是横幅通知，则第一虚拟对象可以增加的透明度显示，或可从显示器中移除。在一些具体实施中，通知被标记为已读。

在一些具体实施中，如框340i所示，该动作包括响应于第一虚拟对象与另一设备相关联而向另一设备传输命令，该命令指示另一设备执行关于另一设备的操作。例如，如果虚拟对象是表示物理拨动开关(例如，物理灯开关或物理锁)的虚拟拨动开关(例如，虚拟灯开关或虚拟锁)，则执行动作可包括向物理拨动开关传输拨动命令。

图4是根据一些具体实施的设备400的框图。在一些具体实施中，设备400实现图1A至图1I所示的电子设备100，和/或图1A至图1I和图2所示的内容呈现引擎200。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备400包括一个或多个处理单元(CPU)401、网络接口402、编程接口403、存储器404、一个或多个输入/输出(I/O)设备410以及用于互连这些和各种其他部件的一条或多条通信总线405。

在一些具体实施中，提供了网络接口402以便除其他用途之外，在云托管的网络管理系统与包括一个或多个兼容设备的至少一个专用网络之间建立和维护元数据隧道。在一些具体实施中，一条或多条通信总线405包括互连和控制系统部件之间的通信的电路。存储器404包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器404任选地包括与一个或多个CPU 401远程地定位的一个或多个存储设备。存储器404包括非暂态计算机可读存储介质。

在一些具体实施中，存储器404或存储器404的非暂态计算机可读存储介质存储以下程序、模块以及数据结构，或它们的子集，包括任选的操作系统406、传感器数据获取器210、动作确定器220和环境渲染器230。在各种具体实施中，设备400执行图3中所示的方法300。

在一些具体实施中，传感器数据获取器210从与用户(例如，图1A的用户20)交互的一个或多个传感器获得传感器数据。传感器可包括例如面向用户的图像传感器和/或一个或多个头部位置传感器(例如，加速度计、陀螺仪、磁力计和/或IMU)。在一些具体实施中，传感器数据获取器210执行由图3中的框320和330表示的操作中的至少一些操作。为此，传感器数据获取器210包括指令210a以及启发法和元数据210b。

在一些具体实施中，动作确定器220基于头部姿态值满足头部姿态标准确定要执行的动作。该动作可相对于例如由凝视矢量指示的虚拟对象来执行。在一些具体实施中，动作确定器220执行由图3中的框340表示的操作。为此，动作确定器220包括指令220a以及启发法和元数据220b。

在一些具体实施中，环境渲染器230显示包括一组虚拟对象的扩展现实(XR)环境。环境渲染器230可基于由动作确定器220确定的动作来修改XR环境。在一些具体实施中，环境渲染器230执行由图3中的框310表示的操作。为此，环境渲染器230包括指令230a以及启发法和元数据230b。

在一些具体实施中，一个或多个I/O设备410包括面向用户的图像传感器(例如，图2的面向用户的图像传感器212，其可被实现为面向前的相机或面向内的相机)。在一些具体实施中，一个或多个I/O设备410包括感测用户的头部的位置和/或运动的一个或多个头部位置传感器(例如，图2的头部位置传感器222)。一个或多个头部位置传感器222可包括例如加速度计、陀螺仪、磁力计和/或惯性测量单元(IMU)。在一些具体实施中，一个或多个I/O设备410包括用于显示图形环境(例如，用于显示XR环境106)的显示器。在一些具体实施中，一个或多个I/O设备410包括用于输出听觉信号的扬声器。

在各种具体实施中，一个或多个I/O设备410包括视频透视显示器，该视频透视显示器将设备400周围的物理环境的至少一部分显示为由场景相机捕获的图像。在各种具体实施中，一个或多个I/O设备410包括光学透传显示器，其至少部分为透明的并通过由物理环境发射或反射的光。

应当理解，图4用作可存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图4中单独示出的一些功能块可作为单个块实施，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实施。块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

Claims (30)

1.一种方法，包括：

在包括用于感测用户的头部姿态的传感器、凝视跟踪设备、显示器、一个或多个处理器以及存储器的头部穿戴设备处：

在所述显示器上显示一组虚拟对象；

经由所述凝视跟踪设备获得凝视矢量；

基于所述凝视矢量确定所述用户的凝视指向所述一组虚拟对象中的第一虚拟对象；

经由所述传感器获得对应于所述用户的所述头部姿态的头部姿态值；以及

基于所述头部姿态值满足头部姿态标准来执行关于所述第一虚拟对象的动作。

2.根据权利要求1所述的方法，还包括确定与所述凝视矢量相关联的位置。

3.根据权利要求2所述的方法，还包括确定在所述位置满足关于所述第一虚拟对象的接近度阈值的条件下所述用户的所述凝视指向所述第一虚拟对象。

4.根据权利要求3所述的方法，还包括确定在所述位置满足所述接近度阈值达阈值持续时间的条件下所述用户的所述凝视指向所述第一虚拟对象。

5.根据权利要求1至4中任一项所述的方法，还包括在所述用户的所述凝视指向所述第一虚拟对象的条件下，基于所述头部姿态标准和所述头部姿态值显示指示符。

6.根据权利要求1至5中任一项所述的方法，其中所述头部姿态值对应于与所述传感器相关联的传感器数据。

7.根据权利要求6所述的方法，其中所述传感器数据包括从惯性测量单元IMU获得的IMU数据。

8.根据权利要求6和7中任一项所述的方法，其中所述传感器包括加速度计。

9.根据权利要求6至8中任一项所述的方法，其中所述传感器包括陀螺仪。

10.根据权利要求6至9中任一项所述的方法，其中所述传感器包括磁力仪。

11.根据权利要求6至10中任一项所述的方法，其中所述传感器包括图像传感器。

12.根据权利要求1至11中任一项所述的方法，其中所述头部姿态值对应于所述用户的头部的特定移动。

13.根据权利要求1至12中任一项所述的方法，其中所述头部姿态值对应于所述用户的头部的点头。

14.根据权利要求1至13中任一项所述的方法，其中所述头部姿态值对应于所述用户的头部的移动的持续时间。

15.根据权利要求1至14中任一项所述的方法，其中所述头部姿态标准对应于所述用户的头部的点头。

16.根据权利要求15所述的方法，其中所述头部姿态标准对应于所述点头超过阈值距离。

17.根据权利要求15和16中任一项所述的方法，其中所述头部姿态标准对应于所述点头超过阈值角度。

18.根据权利要求1至17中任一项所述的方法，其中所述动作包括选择所述第一虚拟对象。

19.根据权利要求1至18中任一项所述的方法，其中所述动作包括移动所述第一虚拟对象。

20.根据权利要求1至19中任一项所述的方法，其中所述动作包括打开与所述第一虚拟对象相关的菜单。

21.根据权利要求1至20中任一项所述的方法，其中所述动作包括打开与所述第一虚拟对象相关联的内容项。

22.根据权利要求1至21中任一项所述的方法，其中所述动作包括预览与所述第一虚拟对象相关联的内容项。

23.根据权利要求1至22中任一项所述的方法，其中所述动作包括执行与所述第一虚拟对象相关联的默认操作。

24.根据权利要求1至23中任一项所述的方法，其中所述第一虚拟对象包括通知，并且其中所述动作包括展开所述通知。

25.根据权利要求1至24中任一项所述的方法，其中所述第一虚拟对象包括通知，并且其中所述动作包括取消所述通知。

26.根据权利要求1至25中任一项所述的方法，其中所述动作包括响应于所述第一虚拟对象与另一设备相关联而向所述另一设备传输命令，所述命令指示所述另一设备执行关于所述另一设备的操作。

27.根据权利要求1至26中任一项所述的方法，其中所述头部穿戴设备包括头戴式设备HMD。

28.一种头部穿戴设备，包括：

一个或多个处理器；

非暂态存储器；

显示器；

凝视跟踪设备；

传感器，所述传感器用于感测用户的姿态；以及

一个或多个程序，所述一个或多个程序存储在所述非暂态存储器中，所述一个或多个程序在由所述一个或多个处理器执行时使所述头部穿戴设备执行根据权利要求1至27中任一项所述的方法。

29.一种非暂态存储器，所述非暂态存储器存储一个或多个程序，所述一个或多个程序在由具有显示器、凝视跟踪设备和用于感测用户的姿态的传感器的头部穿戴设备的一个或多个处理器执行时使所述头部穿戴设备执行根据权利要求1至27中任一项所述的方法。

30.一种头部穿戴设备，包括：

一个或多个处理器；

非暂态存储器；以及

用于使所述设备执行根据权利要求1至27中任一项所述的方法的模块。