CN116917850A - 布置虚拟对象 - Google Patents

Abstract

本文所公开的各种具体实施包括用于在环境内组织虚拟对象的设备、系统和方法。在一些具体实施中，一种方法包括：获得与将虚拟对象与环境的区域相关联的命令相对应的用户输入。检测与该区域中的用户焦点位置相对应的注视输入。显示该虚拟对象到接近该用户焦点位置的对象放置位置的移动。

Description

布置虚拟对象

相关申请的交叉引用

本申请要求于2020年9月23日提交的美国临时专利申请63/081,990号的权益，该申请全文以引用方式并入。

技术领域

本公开整体涉及显示虚拟对象。

背景技术

一些设备能够生成和呈现包括虚拟对象和/或物理元素的表示的图形环境。这些环境可呈现在移动通信设备上。

附图说明

因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。

图1A至图1E示出了根据一些具体实施的示例性操作环境。

图2描绘了在各种计算机增强技术中使用的示例性系统。

图3是根据一些具体实施的示例性虚拟对象布置器的框图。

图4A至图4C是根据一些具体实施的用于在扩展现实(XR)环境内组织虚拟对象的方法的流程图表示。

图5是根据一些具体实施的设备的框图。

根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。

发明内容

本文所公开的各种具体实施包括用于在扩展现实(XR)环境内组织虚拟对象的设备、系统和方法。在一些具体实施中，方法包括：检测与将虚拟对象与XR环境的区域相关联的命令相对应的手势。检测与该区域中的用户焦点位置相对应的注视输入。显示虚拟对象到基于用户焦点位置的对象放置位置的移动。

根据一些具体实施，设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。在一些具体实施中，一个或多个程序存储在非暂态存储器中并由一个或多个处理器执行。在一些具体实施中，一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时使该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。

具体实施方式

描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。

人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。利用XR系统，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调整在XR环境中模拟的虚拟对象的特征。例如，该XR系统可以检测用户头部的移动，并调整呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并调整呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该XR系统可以响应于诸如物理运动的表示的其他输入(例如，语音命令)而调整图形内容的特征。

许多不同类型的电子系统可以使用户能够与XR环境交互和/或感知XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式系统、基于投影的系统、具有集成显示能力的窗户或车辆挡风玻璃、形成为放置于用户眼睛上的透镜的显示器(例如，接触镜片)、头戴式受话器/耳机、具有触觉反馈或不具有触觉反馈的输入系统(例如，可穿戴或手持式控制器)、扬声器阵列、智能电话、平板电脑和台式计算机/膝上型计算机。头戴式系统可具有不透明显示器和一个或多个扬声器。其它头戴式系统可被配置为接受不透明外部显示器(例如，智能电话)。头戴式系统可包括用于捕获物理环境的图像或视频的一个或多个图像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术，例如uLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其他类似技术可用于媒介。在一些具体实施中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影系统也可以将虚拟对象投影到物理环境中(例如，作为全息图或投影到物理表面上)。

本公开提供了用于在扩展现实(XR)环境内组织虚拟对象的方法、系统和/或设备。在各种具体实施中，电子设备诸如智能电话、平板电脑、或膝上型电脑、或台式计算机在扩展现实(XR)环境中显示虚拟对象。

用户可使用手势来操纵XR环境中的虚拟对象。例如，用户可使用捏合手势来选择虚拟对象。用户可使用拉动手势来移动XR环境中的虚拟对象。因此，捏合手势和拉动手势可用来选择和移动虚拟对象，同时高度控制对虚拟对象的放置。然而，使用这些手势在XR环境中组织虚拟对象可能付出大量努力，例如，由用户执行的大手势。

在各种具体实施中，用户可执行与在XR环境中放置虚拟对象的命令相对应的手势。例如，用户可执行与所选择的虚拟对象有关的投掷手势。响应于检测到此手势，电子设备可基于从用户获得的注视输入来确定XR环境中的用户焦点位置。电子设备可基于用户焦点位置确定对象放置位置，并且可将虚拟对象与对象放置位置相关联。虚拟对象到对象放置位置的移动在XR环境中显示。虚拟对象的放置可由用户的注视而不是由潜在的大手势引导，从而减少在XR环境中组织虚拟对象所涉及的用户输入(例如，减少用户输入的大小和/或数量)。减少对不必要的用户输入的需要倾向于延长电池驱动的设备的电池寿命，从而改进设备的可操作性。

对象放置位置可以与XR环境中的另一对象相距至少阈值距离。例如，如果另一对象靠近用户焦点位置，则对象放置位置可位于用户焦点位置附近，但是距另一对象至少阈值距离。又如，可显示另一对象的移动以适应虚拟对象在用户焦点位置处的放置。

图1A是根据一些具体实施的示例操作环境100的图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境100包括电子设备102和用户104。

在一些具体实施中，电子设备102包括能够由用户104握住的手持式计算设备。例如，在一些具体实施中，电子设备102包括智能电话、平板电脑、媒体播放器、膝上型电脑等。在一些具体实施中，电子设备102包括台式计算机。在一些具体实施中，电子设备102包括能够由用户104穿戴的可穿戴计算设备。例如，在一些具体实施中，电子设备102包括头戴式设备(HMD)、电子手表或一对耳机。在一些具体实施中，电子设备102是包括用于播放音频的扬声器和用于接收口头命令的麦克风的专用虚拟辅助设备。在一些具体实施中，电子设备102包括电视或向电视输出视频数据的机顶盒。

在各种具体实施中，电子设备102包括(例如，实现)在显示器106上显示用户界面的用户界面引擎。在一些具体实施中，显示器106集成在电子设备102中。在一些具体实施中，显示器106实现为与电子设备102分开的设备。例如，显示器106可实现为与电子设备102通信的HMD。

在一些具体实施中，用户界面引擎在显示器106上显示扩展现实(XR)环境108中的用户界面。用户界面可包括在XR环境108中显示的一个或多个虚拟对象110a、110b、110c(统称为虚拟对象110)。如图1A中所表示，用户104已经选择虚拟对象110a。例如，用户104可能已经使用手势，诸如捏合手势和/或拉动手势与虚拟对象110a进行交互以操纵虚拟对象110a。虚拟对象110b和110c显示在区域112中。在一些具体实施中，区域112是有界区域。例如，区域112可包括由边界包围的二维虚拟表面114a和基本上平行于二维虚拟表面114a的二维虚拟表面114b。虚拟对象110b、110c可显示在二维虚拟表面114a、114b中的任一者上。在一些具体实施中，虚拟对象110b、110c显示在二维虚拟表面114a、114b之间。

如图1B所示，电子设备102可获得与将虚拟对象110a与区域112相关联的命令相对应的用户输入。例如，电子设备102可经由图像传感器检测用户执行的手势116，诸如投掷手势。在一些具体实施中，电子设备102获得与区域112中的用户焦点位置120相对应的注视输入118。例如，面向用户的图像传感器可确定注视向量。电子设备102可基于注视向量确定用户焦点位置120。

如图1C所示，在一些具体实施中，电子设备102基于图1B的用户焦点位置120来确定对象放置位置。对象放置位置接近用户焦点位置120。在一些具体实施中，如果另一对象(例如，虚拟对象110c)也接近用户焦点位置120，则可选择对象放置位置以使得其距虚拟对象110c至少阈值距离T。虚拟对象110a到对象放置位置的移动可在XR环境108中显示。

如图1D所示，在一些具体实施中，电子设备102选择对象放置位置以与图1B的用户焦点位置120重合。电子设备102显示虚拟对象110a到对象放置位置(例如，到用户焦点位置120)的移动。如果另一对象(例如，虚拟对象110c)也接近用户焦点位置120，则电子设备102可显示虚拟对象110c的移动，使得当虚拟对象110a显示在对象放置位置处时，虚拟对象110c距虚拟对象110a至少阈值距离T。

在一些具体实施中，如图1E中所表示，注视输入118可跟与XR环境108中的物理元素124相关联的区域122中的用户焦点位置130相对应。区域122可与物理元素124的一部分相关联。例如，如图1E中所表示，区域122与物理元素124的顶表面相关联。在一些具体实施中，当显示虚拟对象110a到对象放置位置的移动时，更改虚拟对象110a的外观。例如，可根据物理元素的大小来确定虚拟对象110a的显示大小，例如使得虚拟对象110a与物理元素124成比例地缩放。又如，可基于物理元素124的取向来旋转虚拟对象110a，例如以与物理元素124对准。

在一些具体实施中，电子设备102基于目标位置的类型确定虚拟对象110a的对象放置特征(例如，放置位置、大小和/或视觉属性，诸如颜色、不透明度等)。在一些具体实施中，目标位置包括应用程序(例如，白板应用程序、消息传送应用程序等)，并且电子设备102基于应用程序的属性(例如，基于应用程序的GUI布局和/或基于用于在应用程序内放置虚拟对象的规则)来确定对象放置特征。例如，如果目标位置是包括用于键入消息的输入字段的消息传送应用程序，则即使当用户104正注视消息传送应用程序中的别处时，电子设备102也将虚拟对象110a的减小大小版本放置在消息传送应用程序的输入字段中。例如，如果用户104在注视消息传送应用程序的已发送/已接收消息区的同时向消息传送应用程序投掷图像，则电子设备102将图像的减小大小版本放置在消息传送应用程序的输入字段中。又如，如果目标位置是具有限定的边界的白板应用程序(例如，如图1A至图1E所示)并且将对象放置在用户焦点位置处将导致对象的一部分被显示在白板应用程序的边界之外，则电子设备102将虚拟对象110a放置在不同于用户焦点位置的位置处，使得虚拟对象110a的整体与白板应用程序的边界一起显示。

图2是示例性用户界面引擎200的框图。在一些具体实施中，用户界面引擎200驻留在图1A至图1E中所示的电子设备102处(例如，由该电子设备实现)。在各种具体实施中，用户界面引擎200至少部分地通过显示虚拟对象到接近基于注视输入确定的用户焦点位置的对象放置位置的移动在扩展现实(XR)环境内组织虚拟对象。用户界面引擎200可包括显示器202、一个或多个处理器、图像传感器204、面向用户的图像传感器206和/或其他输入或控制设备。

尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。本领域的普通技术人员还将从本公开中认识到，用户界面引擎200实现的功能和子功能可组合到一个或多个系统中和/或进一步细分成另外的子系统，并且下文所描述的功能性仅作为本文所述的各种方面和功能的一个示例性配置而提供。

在一些具体实施中，用户界面引擎200包括显示器202。显示器202显示XR环境(诸如图1A至图1E的XR环境108)中的一个或多个虚拟对象，例如虚拟对象110。虚拟对象布置器210可获得与将虚拟对象与XR环境的区域相关联的命令相对应的用户输入。例如，图像传感器204可接收图像212。图像212可以是静态图像或包括一系列图像帧的视频馈送。图像212可包括表示用户的肢体的一组像素。虚拟对象布置器210可对图像212执行图像分析以检测用户执行的手势输入。手势输入可以是例如在朝向用户希望与虚拟对象相关联的区域的方向上延伸的投掷手势。

在一些具体实施中，虚拟对象布置器210获得与区域中的用户焦点位置相对应的注视输入214。例如，面向用户的图像传感器206可捕获用户眼睛的图像。虚拟对象布置器210可对图像执行图像分析以确定用户瞳孔的位置。基于所确定的用户瞳孔的位置，虚拟对象布置器210可确定与用户焦点位置相对应的注视向量。例如，如果区域包括表面，则用户焦点位置可与注视向量与该表面相交的位置相对应。

在一些具体实施中，虚拟对象布置器210获得确认对用户焦点位置的选择的确认输入。例如，虚拟对象布置器210可使用加速度计、陀螺仪和/或惯性测量单元(IMU)来感测用户的头部姿势。虚拟对象布置器210可使用图像传感器204来检测用户执行的手势。在一些具体实施中，确认输入包括维持至少阈值持续时间的注视向量。在一些具体实施中，确认输入包括音频输入，诸如语音命令。

在一些具体实施中，虚拟对象布置器210确定虚拟对象的对象放置位置。对象放置位置接近用户焦点位置。例如，如果没有其他虚拟对象接近用户焦点位置，则对象放置位置可与用户焦点位置重合。在一些具体实施中，如果另一虚拟对象接近用户焦点位置，则选择对象放置位置以满足阈值条件，例如确保虚拟对象彼此相隔至少阈值距离。在一些具体实施中，显示接近用户焦点位置的其他虚拟对象的移动以适应虚拟对象在用户焦点位置处的放置。

在一些具体实施中，虚拟对象布置器210确定对象放置位置以满足边界条件。例如，如果用户焦点位置接近区域的边界，则虚拟对象布置器210可选择允许虚拟对象接近用户焦点位置显示同时部分或完全保持在区域内的对象放置位置。

在一些具体实施中，显示器202显示虚拟对象到对象放置位置的移动。如果另一虚拟对象也接近用户焦点位置，则显示器202可显示另一虚拟对象的移动，使得所显示的虚拟对象相隔至少阈值距离。在一些具体实施中，可显示多个虚拟对象的移动以适应接近用户焦点位置的虚拟对象的显示。

在一些具体实施中，用户焦点位置在与XR环境中的物理元素相关联的区域中。该区域可与物理元素的一部分相关联。例如，注视向量可与物理元素的表面相交。在一些具体实施中，当显示器202显示虚拟对象到与物理元素相关联的对象放置位置的移动时，修改虚拟对象的外观。例如，可基于物理元素的大小来确定虚拟对象的显示大小，例如使得虚拟对象与物理元素成比例地缩放。在一些具体实施中，可基于物理元素的取向来旋转虚拟对象。例如，虚拟对象可被旋转使得该虚拟对象看起来停留在物理元素上。

在一些具体实施中，显示器202显示从对象放置位置发出的视觉效果。例如，对象放置位置周围的区可被动画化以呈现出涟漪效果。又如，对象放置位置周围的区可被动画化以呈现出畸变效果。在一些具体实施中，对象放置位置周围的区可被动画化以呈现出闪烁效果。显示从对象放置位置发出的视觉效果可有利于在XR环境中定位虚拟对象。

在一些具体实施中，在对象放置位置处显示虚拟对象之后，用户可操纵虚拟对象。例如，用户可移动虚拟对象，例如以调整虚拟对象的定位。在一些具体实施中，虚拟对象布置器210获得与用户对虚拟对象的选择相对应的对象选择输入。例如，对象选择输入可包括不受限制的用户输入，诸如面向用户的图像传感器206获得的第二注视输入。

在一些具体实施中，虚拟对象布置器210获得确认对虚拟对象的选择的确认输入。例如，虚拟对象布置器210可使用加速度计、陀螺仪和/或惯性测量单元(IMU)来感测用户的头部姿势。虚拟对象布置器210可使用图像传感器204来检测用户执行的手势。在一些具体实施中，确认输入包括维持至少阈值持续时间的注视向量。在一些具体实施中，确认输入包括音频输入，诸如语音命令。在一些具体实施中，虚拟对象布置器210从用户输入设备，诸如键盘、鼠标、触笔和/或触敏显示器获得确认输入。

在一些具体实施中，虚拟对象布置器210获得操纵用户输入。例如，虚拟对象布置器210可使用图像传感器204来检测用户执行的手势。显示器202可基于操纵用户输入在XR环境中显示对虚拟对象的操纵。

图3是根据一些具体实施的示例性虚拟对象布置器300的框图。在各种具体实施中，虚拟对象布置器300至少部分地通过显示虚拟对象到接近基于注视输入确定的用户焦点位置的对象放置位置的移动在扩展现实(XR)环境内组织虚拟对象。

在一些具体实施中，虚拟对象布置器300实现图2所示的虚拟对象布置器210。在一些具体实施中，虚拟对象布置器300驻留在图1A至图1E中所示的电子设备102处(例如，由该电子设备实现)。虚拟对象布置器300可包括显示器302、一个或多个处理器、图像传感器304、面向用户的图像传感器306和/或其他输入或控制设备。

尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。本领域的普通技术人员还将从本公开中认识到，虚拟对象布置器300实现的功能和子功能可组合到一个或多个系统中和/或进一步细分成另外的子系统；并且下文所描述的功能性仅作为本文所述的各种方面和功能的一个示例性配置而提供。

在一些具体实施中，显示器302在扩展现实(XR)环境中显示用户界面。用户界面可包括在XR环境中显示的一个或多个虚拟对象。用户可例如使用手势，诸如捏合手势和/或拉动手势与虚拟对象进行交互以操纵虚拟对象。在一些具体实施中，输入获得器310获得与将虚拟对象与XR环境的区域相关联的命令相对应的用户输入。例如，用户操纵虚拟对象之后，用户可能希望将该虚拟对象返回到XR环境的区域。

在一些具体实施中，输入获得器310从图像传感器304获得图像。图像可以是静态图像或包括一系列图像帧的视频馈送。图像可包括表示用户的肢体的一组像素。输入获得器310可对图像执行图像分析以检测用户执行的手势输入。手势输入可以是例如在朝向用户希望与虚拟对象相关联的区域的方向上延伸的投掷手势。

在一些具体实施中，输入获得器310从用户输入设备获得用户输入。例如，用户输入可包括音频输入，诸如语音命令。在一些具体实施中，输入获得器310从键盘、鼠标、触笔和/或触敏显示器获得用户输入。

在一些具体实施中，注视向量确定器320获得与区域中的用户焦点位置相对应的注视输入。例如，面向用户的图像传感器306可捕获用户眼睛的图像。注视向量确定器320可对图像执行图像分析以确定用户瞳孔的位置。基于所确定的用户瞳孔的位置，注视向量确定器320可确定与用户焦点位置相对应的注视向量。例如，如果区域包括表面，则用户焦点位置可与注视向量与该表面相交的位置相对应。

在一些具体实施中，注视向量确定器320获得确认对用户焦点位置的选择的确认输入。例如，注视向量确定器320可使用加速计、陀螺仪、和/或惯性测量单元(IMU)来感测用户的头部姿势。确认输入可包括在图像传感器304捕获的图像中表示的用户执行的手势。在一些具体实施中，确认输入包括维持至少阈值持续时间的注视向量。在一些具体实施中，确认输入包括音频输入，诸如语音命令。

在一些具体实施中，对象放置确定器330基于用户焦点位置来确定虚拟对象的对象放置位置。对象放置位置接近用户焦点位置。如果用户焦点位置与其他虚拟对象或区域边界相距至少阈值距离，则对象放置确定器330可确定对象放置位置与用户焦点位置重合。

如果将虚拟对象放置在用户焦点位置处将导致虚拟对象在另一虚拟对象的阈值距离内或在区域边界的阈值距离内，则对象放置确定器330可确定对象放置位置与用户焦点位置分开。例如，对象放置确定器330可定位对象放置位置，使得该对象放置位置距其他虚拟对象至少阈值距离并且/或者距任何区域边界至少阈值距离。在一些具体实施中，对象放置确定器330调整一个或多个其他虚拟对象的一个或多个位置以维持虚拟对象之间的至少阈值距离。对象放置确定器330可独立于对象放置位置是与用户焦点位置重合还是分开来调整其他虚拟对象的一个或多个位置。

在一些具体实施中，显示模块340致使显示器302在XR环境中显示虚拟对象到对象放置位置的移动。显示模块340可致使显示器302显示从对象放置位置发出的视觉效果以增强虚拟对象的可见性并且有利于在XR环境中定位虚拟对象。例如，显示模块340可使对象放置位置周围的区动画化以呈现出涟漪效果。又如，显示模块340可使对象放置位置周围的区动画化以呈现出畸变效果。在一些具体实施中，显示模块340使对象放置位置周围的区动画化以呈现出闪烁效果。

在一些具体实施中，例如，如果对象放置位置在与XR环境中的物理元素(例如，物理元素的表面)相关联的区域中，则显示模块340修改虚拟对象的外观。例如，显示模块340可基于物理元素的大小来确定虚拟对象的显示大小，例如使得虚拟对象与物理元素成比例地缩放。在一些具体实施中，显示模块340可基于物理元素的取向来旋转虚拟对象。例如，虚拟对象可被旋转使得该虚拟对象看起来停留在物理元素上。

在一些具体实施中，显示模块340修改其他虚拟对象的显示。例如，可显示接近用户焦点位置的其他虚拟对象的移动以适应虚拟对象在用户焦点位置处的放置。

在一些具体实施中，在对象放置位置处显示虚拟对象之后，用户可操纵虚拟对象。例如，用户可移动虚拟对象，例如以调整虚拟对象的定位。在一些具体实施中，输入获得器310获得与用户对虚拟对象的选择相对应的对象选择输入。例如，对象选择输入可包括不受限制的用户输入，诸如面向用户的图像传感器306获得的第二注视输入。

在一些具体实施中，获得确认输入以确认对虚拟对象的选择。例如，确认输入可包括如由加速计、陀螺仪和/或惯性测量单元(IMU)感测的用户的头部姿势。又如，图像传感器304可捕获表示用户执行的手势的图像。在一些具体实施中，确认输入包括维持至少阈值持续时间的注视向量。在一些具体实施中，确认输入包括音频输入，诸如语音命令。在一些具体实施中，确认输入是从用户输入设备，诸如键盘、鼠标、触笔和/或触敏显示器获得的。

在一些具体实施中，输入获得器310获得操纵用户输入。例如，输入获得器310可使用图像传感器304来检测用户执行的手势。显示器302可基于操纵用户输入在XR环境中显示对虚拟对象的操纵。

图4A至图4C是根据一些具体实施的用于在XR环境内组织虚拟对象的方法400的流程图表示。在各种具体实施中，方法400由设备(例如，图1A至图1E中所示的电子设备102)执行。在一些具体实施中，方法400由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法400由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。简言之，在各种具体实施中，方法400包括：获得与将虚拟对象与XR环境的区域相关联的命令相对应的用户输入，获得与该区域中的用户焦点位置相对应的注视输入，以及显示虚拟对象到接近用户焦点位置的对象放置位置的移动。

在一些具体实施中，在XR环境中显示包括一个或多个虚拟对象的用户界面。用户可例如使用手势，诸如捏合手势和/或拉动手势与虚拟对象进行交互以操纵虚拟对象。参考图4A，如框410所表示，在各种具体实施中，方法400包括：检测与将虚拟对象与扩展现实(XR)环境的区域相关联的命令相对应的手势。例如，用户操纵虚拟对象之后，用户可能希望将该虚拟对象返回到XR环境的区域。

参考图4B，如框410a所表示，用户输入可包括手势。例如，电子设备102可捕获图像，诸如静态图像或包括一系列图像帧的视频馈送。图像可包括表示用户的肢体的一组像素。电子设备102可对图像执行图像分析以检测用户执行的手势输入。手势输入可以是例如在朝向用户希望与虚拟对象相关联的区域的方向上延伸的投掷手势。

在一些具体实施中，如框410b所表示，用户输入包括音频输入。例如，电子设备102可包括从用户接收语音命令的音频传感器。如框410c所表示，在一些具体实施中，从用户输入设备获得用户输入。例如，可从键盘、鼠标、触笔和/或触敏显示器获得用户输入。

将虚拟对象与XR环境的区域相关联的命令可将虚拟对象与不同类型的区域相关联。在一些具体实施中，如框410d所表示，XR环境的区域包括由边界包围的第一二维虚拟表面，诸如图1A中所表示的二维虚拟表面114a。在一些具体实施中，如框410e所表示，XR环境的区域还包括第二二维虚拟表面，诸如二维虚拟表面114b。第二二维虚拟表面可基本上平行于第一二维虚拟表面。二维虚拟表面和它们之间的空间可限定XR环境中的区域。如框410f所表示，可在第一二维虚拟表面或第二二维虚拟表面中的至少一者上显示虚拟对象。在一些具体实施中，虚拟对象显示在第一二维虚拟表面和第二二维虚拟表面之间的空间中。

在一些具体实施中，如框410g所表示，XR环境的区域与XR环境中的物理元素相关联。例如，该区域可与XR环境中存在的物理桌子相关联。在一些具体实施中，如框410h所表示，XR环境的区域与物理元素的一部分相关联。例如，该区域可与物理桌子的桌面表面相关联。

如本文中所公开并且如框410i所表示，在一些具体实施中，将虚拟对象的显示大小确定为物理元素的大小。例如，虚拟对象可被放大或缩小使得虚拟对象与物理元素成比例地缩放。在一些具体实施中，基于物理元素的取向来旋转虚拟对象。例如，虚拟对象可被旋转使得该虚拟对象看起来停留在物理元素上。

在一些具体实施中，如框410j所表示，方法400包括：在XR环境中显示该区域。例如，该区域可不与物理元素相对应，并且可显示在用户的视场中的未占用空间中。

在各种具体实施中，如框420所表示，方法400包括：检测与该区域中的用户焦点位置相对应的注视输入。例如，面向用户的图像传感器可捕获用户眼睛的图像。可对图像执行图像分析以确定用户瞳孔的位置。基于所确定的用户瞳孔的位置，可确定与用户焦点位置相对应的注视向量。例如，如果区域包括表面，则用户焦点位置可与注视向量与该表面相交的位置相对应。

在一些具体实施中，如框420a所表示，获得确认对用户焦点位置的选择的确认输入。例如，加速计、陀螺仪和/或惯性测量单元(IMU)可提供与用户的头部姿势相关的信息。在一些具体实施中，如框420b所表示，确认输入包括手势输入。例如，可使用图像传感器来检测用户执行的手势。在一些具体实施中，确认输入包括维持至少阈值持续时间的注视向量。在一些具体实施中，如框420c所表示，确认输入包括音频输入，诸如语音命令。在一些具体实施中，如框420d所表示，确认输入是从用户输入设备，诸如键盘、鼠标、触笔和/或触敏显示器获得的。

在各种具体实施中，如框430所表示，方法400包括：显示虚拟对象到基于(例如，接近)用户焦点位置的对象放置位置的移动。例如，如果没有其他虚拟对象接近用户焦点位置，则对象放置位置可与用户焦点位置重合。

参考图4C，在一些具体实施中，如框430a所表示，基于XR环境中的第二虚拟对象的位置来确定对象放置位置。例如，如果第二虚拟对象接近用户焦点位置，则对象放置位置可被选择为满足阈值条件。在一些具体实施中，如框430b所表示，对象放置位置可与第二虚拟对象的位置相距至少阈值距离，例如，确保虚拟对象彼此相隔至少阈值距离。在一些具体实施中，如框430c所表示，阈值距离基于第一虚拟对象(例如，正被放置的虚拟对象)和/或第二虚拟对象的尺寸和/或边界。例如，可确保虚拟对象的边缘之间的阈值距离以防止虚拟对象彼此遮蔽。在一些具体实施中，显示接近用户焦点位置的其他虚拟对象的移动以适应虚拟对象在用户焦点位置处的放置。

在一些具体实施中，对象放置位置满足边界条件。例如，如果用户焦点位置接近区域的边界，则对象放置位置可允许虚拟对象被显示为接近用户焦点位置，同时部分地或完全地保持在区域内。

如框430d所表示，方法400可包括：显示从对象放置位置发出的视觉效果。例如，对象放置位置周围的区可被动画化以呈现出涟漪效果。又如，对象放置位置周围的区可被动画化以呈现出畸变效果。在一些具体实施中，对象放置位置周围的区可被动画化以呈现出闪烁效果。显示从对象放置位置发出的视觉效果可有利于在XR环境中定位虚拟对象。

在一些具体实施中，可显示多个虚拟对象的移动，例如以适应接近用户焦点位置的多个虚拟对象的显示。例如，如框430e所表示，方法400可包括：显示第二虚拟对象在对象放置位置的阈值距离内的移动。可显示第二虚拟对象的移动以维持所显示的虚拟对象之间的至少阈值距离。

可在XR环境中操纵(例如，移动)虚拟对象。在一些具体实施中，如框430f所表示，方法400包括：获得与用户对虚拟对象的选择相对应的对象选择输入。如框430g所表示，对象选择输入可包括不受限制的用户输入。在一些具体实施中，如框430h所表示，不受限制的输入包括例如与用于确定用户焦点位置的注视输入不同的第二注视输入。

在一些具体实施中，如框430i所表示，获得确认输入。确认输入与用户对虚拟对象的选择的确认相对应。例如，电子设备102可使用加速度计、陀螺仪和/或惯性测量单元(IMU)来感测用户的头部姿势。如框430j所表示，图像传感器可用来检测用户执行的手势。在一些具体实施中，如框430k所表示，确认输入可包括音频输入，诸如语音命令。如框430l所表示，在一些具体实施中，确认输入是从用户输入设备，诸如键盘、鼠标、触笔或触敏显示器获得的。在一些具体实施中，确认输入包括维持至少阈值持续时间的注视向量。

在一些具体实施中，如框430m所表示，方法400包括：获得操纵用户输入。操纵用户输入与对虚拟对象的操纵(例如，移动)相对应。在一些具体实施中，如框430n所表示，操纵用户输入包括手势输入。如框430o所表示，在一些具体实施中，方法400包括：基于操纵用户输入在XR环境中显示对特定虚拟对象的操纵。例如，用户可执行与所选择的虚拟对象有关的拖放手势。电子设备102可根据手势显示所选择的虚拟对象从XR环境的一个区到另一区的移动。

图5是根据一些具体实施的利用设备的一个或多个部件(例如，图1A至图1E所示的电子设备102)启用的设备500的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备500包括一个或多个处理单元(CPU)502、一个或多个输入/输出(I/O)设备506(例如，图1A至图1E所示的图像显传感器114)、一个或多个通信接口508、一个或多个编程接口510、存储器520以及用于互连这些和各种其他部件的一个或多个通信总线504。

在一些具体实施中，提供了通信接口508以便除其他用途之外，在云托管网络管理系统与包括一个或多个兼容设备的至少一个专用网络之间建立和维护元数据隧道。在一些具体实施中，一条或多条通信总线504包括互连并控制系统部件之间的通信的电路。存储器520包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器520任选地包括与一个或多个CPU 502远程定位的一个或多个存储设备。存储器520包括非暂态计算机可读存储介质。

在一些具体实施中，存储器520或者存储器520的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统530、输入获得器310、注视向量确定器320、对象放置确定器330和显示模块340。如本文所述，输入获得器310可包括用于获得与将虚拟对象与XR环境的区域相关联的命令相对应的用户输入的指令310a和/或启发式和元数据310b。如本文所述，注视向量确定器320可包括用于获得与区域中的用户焦点位置相对应的注视输入的指令320a和/或启发式和元数据320b。如本文所述，对象放置确定器330可包括用于基于用户焦点位置来确定虚拟对象的对象放置位置的指令330a和/或启发式和元数据330b。如本文所述，显示模块340可包括用于致使显示器在XR环境中显示虚拟对象到对象放置位置的移动的指令340a和/或启发式和元数据340b。

将理解的是，图5旨在作为可存在于特定具体实施中的各种特征的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图5中单独示出的一些功能块可以作为单个块实施，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

将理解的是，附图旨在作为可存在于特定具体实施中的各种特征部的功能描述，与本文所述的具体实施的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，附图中单独示出的一些功能块可作为单个块实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。块的实际数量和特定功能的划分以及如何在其中分配特征部将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。

虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。

还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。

本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求中所使用的那样，单数形式的“一个”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。

如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (30)

1.一种方法，所述方法包括：

在包括显示器、一个或多个处理器和非暂态存储器的设备处：

检测与将虚拟对象与环境的区域相关联的命令相对应的手势；

检测与所述区域中的用户焦点位置相对应的注视输入；以及

显示所述虚拟对象到基于所述用户焦点位置的对象放置位置的移动。

2.根据权利要求1所述的方法，其中所述环境的所述区域包括由边界包围的第一二维虚拟表面。

3.根据权利要求2所述的方法，其中所述环境的所述区域还包括基本上平行于所述第一二维虚拟表面的第二二维虚拟表面。

4.根据权利要求3所述的方法，还包括：在所述第一二维虚拟表面或所述第二二维虚拟表面中的至少一者上显示所述虚拟对象。

5.根据权利要求1至4中任一项所述的方法，其中所述环境的所述区域与所述环境中的物理元素相关联。

6.根据权利要求5所述的方法，其中所述环境的所述区域与所述物理元素的一部分相关联。

7.根据权利要求5和6中任一项所述的方法，还包括：根据所述物理元素的大小来确定所述虚拟对象的显示大小。

8.根据权利要求1至7中任一项所述的方法，还包括：在所述环境中显示所述区域。

9.根据权利要求1至8中任一项所述的方法，还包括：获得确认对所述用户焦点位置的选择的确认输入。

10.根据权利要求9所述的方法，其中所述确认输入包括手势输入。

11.根据权利要求9和10中任一项所述的方法，其中所述确认输入包括音频输入。

12.根据权利要求9至11中任一项所述的方法，还包括：从用户输入设备获得所述确认输入。

13.根据权利要求1至12中任一项所述的方法，还包括：基于第二虚拟对象在所述环境中的位置来确定所述对象放置位置。

14.根据权利要求13所述的方法，其中所述对象放置位置与所述第二虚拟对象的所述位置相距至少阈值距离。

15.根据权利要求14所述的方法，其中所述阈值距离基于所述第一虚拟对象或所述第二虚拟对象中的至少一者的尺寸或边界中的至少一者。

16.根据权利要求1至15中任一项所述的方法，还包括：显示从所述对象放置位置发出的视觉效果。

17.根据权利要求1至16中任一项所述的方法，还包括：显示第二虚拟对象在所述对象放置位置的阈值距离内的移动。

18.根据权利要求1至17中任一项所述的方法，还包括：获得与用户对所述虚拟对象的选择相对应的对象选择输入。

19.根据权利要求18所述的方法，其中所述对象选择输入包括不受限制的用户输入。

20.根据权利要求19所述的方法，其中所述不受限制的用户输入包括第二注视输入。

21.根据权利要求18至20中任一项所述的方法，还包括：获得与所述用户对所述虚拟对象的选择的确认相对应的确认输入。

22.根据权利要求21所述的方法，其中所述确认输入包括手势输入。

23.根据权利要求21和22中任一项所述的方法，其中所述确认输入包括音频输入。

24.根据权利要求21至23中任一项所述的方法，还包括：从用户输入设备获得所述确认输入。

25.根据权利要求18至24中任一项所述的方法，还包括：获得操纵用户输入。

26.根据权利要求25所述的方法，其中所述操纵用户输入包括手势输入。

27.根据权利要求25和26中任一项所述的方法，还包括：基于所述操纵用户输入在所述环境中显示对所述虚拟对象的操纵。

28.一种设备，所述设备包括：

一个或多个处理器；

非暂态存储器；以及

存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序当由所述一个或多个处理器执行时使所述设备执行根据权利要求1至27所述的方法中的任一种方法。

29.一种非暂态存储器，所述非暂态存储器存储一个或多个程序，所述一个或多个程序在由设备的一个或多个处理器执行时使所述设备执行根据权利要求1至27所述的方法中的任一种方法。

30.一种设备，所述设备包括：

一个或多个处理器；

非暂态存储器；以及

用于使所述设备执行根据权利要求1至27所述的方法中的任一种方法的装置。