CN113396377A - 用于观看虚拟元素的方法和系统 - Google Patents

Abstract

跟踪设备跟踪用户的手部运动。输出设备（例如，增强现实耳机或虚拟现实耳机）被配置用于输出增强现实或虚拟现实中的虚拟元素。当用户将第一只手（H1）的手掌转向他的脸时，处理器识别第一手势。然后，所述处理器使用输出设备在第一只手的手掌上方显示虚拟元素组（EN），所述虚拟元素像卡片叠一样布置在彼此上方。换句话说，虚拟元素可以被可视化为第一只手的手掌上的卡片。在大多数实施例中，虚拟元素附接到用户的至少一只手。该方法提供了用于与虚拟元素进行手交互的用户界面，例如用于查看内容画廊或数据探索。虚拟元素每个具有基本平面的外观，并且可以显示为窗口、文档、搜索结果、图像等。该方法允许用户以直观且自然的方式使用他的手，就好像他的手中拿着卡片叠或弹簧玩具一样。

Description

用于观看虚拟元素的方法和系统

本发明涉及在虚拟现实（VR）或增强现实（AR）中使用手交互来查看和探索内容，特别是查看和导航图像画廊（gallery）或其他类型的内容。可以使用具有主要平面外观的虚拟元素来显示内容，例如，窗口、文档、搜索结果或图像。

“Microsoft HoloLens”文档，于2019年1月15日在互联网上在https：//en.wikipedia.org/wiki/Microsoft_HoloLens处可获得，描述了一种用于输出增强现实中的虚拟元素的视觉图像的输出设备。更进一步地，“HTC Vive”文档，于2019年1月15日在互联网上在https：//en.wikipedia.org/wiki/HTC_Vive处可获得，描述了一种用于输出虚拟现实中的虚拟元素的视觉图像的输出设备。“Leap Motion”文档，于2019年1月15日在互联网上在https：//en.wikipedia.org/wiki/Leap_Motion处可获得，以及“Wired glove”，于2019年1月15日在互联网上在https：//en.wikipedia.org/wiki/Wired_glove处可获得，各自描述了能够跟踪用户的裸手的手和手指运动的跟踪设备。

为了在增强现实或虚拟现实中开发用户界面，一种常见的方法是采用从桌面图形用户界面（诸如windows）中已知的隐喻。

本发明的目的是提供对现有技术的替代。

根据用于查看虚拟元素的方法，由至少一个处理器执行以下步骤：

-使用跟踪设备跟踪用户的手部运动，

-当用户将第一只手的手掌转向他的脸时识别第一手势，

-使用输出设备在第一只手的手掌上方输出第一虚拟元素和虚拟元素组，所述虚拟元素像卡片叠一样布置在彼此之上，其中所述输出设备被配置为输出增强现实或虚拟现实中的虚拟元素，

-当用户利用第二只手抓住第一虚拟元素时识别第二手势，

-当所述用户将第二只手从第一只手移离时，识别第三手势，以及

-使用所述输出设备输出所述虚拟元素组，所述虚拟元素在第一只手和第二只手之间延伸。

用于查看虚拟元素的系统包括被配置为跟踪用户的手部运动的跟踪设备。它进一步包括输出设备，输出设备被配置为输出增强现实或虚拟现实中的虚拟元素。它还包括至少一个处理器，被编程为：

-当用户将第一只手的手掌转向他的脸时识别第一手势，

-使用所述输出设备在第一只手的手掌上方输出第一虚拟元素和虚拟元素组，所述虚拟元素像卡片叠那样布置在彼此之上，

-当用户利用第二只手抓住第一虚拟元素时识别第二手势，

-当用户将第二只手从第一只手移离时识别第三手势，以及

-使用输出设备输出所述虚拟元素组，所述虚拟元素在第一只手和第二只手之间延伸。

以下优点和解释不一定是独立权利要求的目的的结果。相反，它们可以是仅适用于某些实施例或变型的优点和解释。

该方法可以将虚拟元素可视化为第一只手的手掌上的卡片。在大多数实施例中，虚拟元素附接到用户的至少一只手。

该方法提供了用于与虚拟元素进行手交互的用户界面，例如用于查看内容画廊或进行数据探索。虚拟元素每个都具有基本平面的外观，并且可以被显示为窗口、文档、搜索结果、图像等。该方法允许用户以直观且自然的方式使用他的手，就像他手中拿着卡片叠或一个弹簧玩具（slinky）一样。

在第一只手和第二只手之间延伸的虚拟元素可以像卡片叠或像弹簧的圈一样布置在彼此之上。

根据所述方法的一个实施例，第一虚拟元素附接到第一只手，并在其手掌上方悬停，并且特别是跟随第一只手的移动，直到所述第二手势被识别。

根据该实施例，第一虚拟元素附接到用户的第一只手的手掌，直到其被第二只手抓住。这意味着，如果用户移动第一只手，则第一虚拟元素的视觉描绘将相对于手掌保持在相同位置。例如，第一虚拟元素可以在手掌上方悬停。

根据该方法的实施例，由至少一个处理器执行以下附加步骤：

-识别第四手势，其中所述用户正在滚动所述虚拟元素组，以及

-使用输出设备来旋转所述虚拟元素组的元素的顺序。

根据该方法的实施例，由至少一个处理器执行以下附加步骤：

-当用户将第二只手沿着曲线移离第一只手时，识别第五手势，以及

-使用输出设备输出所述虚拟元素组，所述虚拟元素沿着所述曲线在第一只手和第二只手之间延伸。

该实施例允许在三维中灵活地和动态地缩放所述虚拟元素组。例如，卡片叠的可视化可以扩展为类似于弹簧玩具玩具的半圆。随后，类似弹簧的可视化被用作用于显示内容画廊的隐喻。

根据该方法的一个实施例，由至少一个处理器执行以下附加步骤：

-当用户将第一只手和/或第二只手从他的身体移离时，识别第六手势，以及

-使用输出设备输出虚拟元素组，虚拟元素面对并围绕用户。

该实施例允许使用推动手势来改变画廊的可视化和/或形状。

根据该方法的一个实施例，由至少一个处理器执行以下附加步骤：

-当用户将第一只手和/或第二只手朝向他的身体移动时，识别第七手势，以及

-使用输出设备输出虚拟元素组，所述虚拟元素沿着曲线在所述第一只手和所述第二只手之间延伸。

该实施例允许使用拉动手势来将画廊的可视化和/或形状改变回类似弹簧的可视化。

根据该方法的一个实施例，由至少一个处理器执行以下附加步骤：

-当所述用户侧向拖动所述虚拟元素之一时，识别第八手势，以及

-使用所述输出设备输出第二虚拟元素组，所述第二虚拟元素组侧向延伸。

该实施例提供了多维数据访问。

根据该方法的实施例，由至少一个处理器执行以下附加步骤：

-当用户抬高和/或放下第一只手时识别第九手势，

-基于对弹簧的物理模拟来计算所述虚拟元素组的摇摆移动，以及

-使用输出设备输出所述摇摆移动。

该实施例将游戏化元素引入到探索内容画廊的相当平凡的任务中，并且因此促进积极的用户体验。

根据该方法的实施例，由至少一个处理器执行以下附加步骤：

-使用输出设备在第一只手的手腕周围输出附加虚拟元素，以及

-利用每个附加虚拟元素表示不同的虚拟元素组。

该实施例提供对多个菜单或虚拟元素组的访问。

根据该方法的实施例，由至少一个处理器执行以下附加步骤：

-识别第十六手势，以及

-使第一虚拟元素和附加虚拟元素在第一只手的手腕周围旋转。

该实施例提供了在多个菜单或虚拟元素组之间的容易选择。

根据该系统的实施例，输出设备是增强现实耳机、虚拟现实耳机或全息显示器。

计算机可读存储介质在其上存储有由计算机系统的一个或多个处理器可执行的指令，其中所述指令的执行使得所述计算机系统执行所述方法。

所述计算机程序由计算机系统的一个或多个进程执行并执行所述方法。

当结合附图阅读时，从下面的详细描述可以最好地理解本发明的前述和其它方面。出于说明本发明的目的，在附图中示出了目前优选的实施例，然而，应当理解，本发明不限于所公开的具体手段。附图中包括以下各图，其中同样的元件由同样的参考数字指示，附图示出：

图1示出对第一手势Gl的识别，其中用户转动第一只手H1，

图2示出第一用户的第一只手H1的手掌中的菜单的外观，由虚拟元素组EN和第一虚拟元素El组成，所述第一虚拟元素E1充当该虚拟元素组EN的控制点，

图3示出对第二手势的识别，其中用户利用第二只手H2抓住第一虚拟元素El，

图4示出对第三手势G3的识别，其中用户将第二只手H2移离第一只手H1，从而将虚拟元素组EN延伸为卡片叠，

图5示出对第四手势G4的识别，其中用户正在滚动虚拟元素组EN，

图6示出对第五手势G5的识别，其导致虚拟元素组EN在其采取曲线形状时的进一步扩展，

图7示出对第六手势G6的识别，其中用户将虚拟元素组EN推开，

图8示出虚拟元素组EN的分解图，虚拟元素组EN像球体一样围绕用户，以及对第七手势G7的识别，其中用户将画廊拉向他；

图9示出对第八手势G8的识别，访问第二虚拟元素组EN2，

图10示出基于物理模拟的虚拟元素组EN的移动，

图11示出对第十一手势G1l的识别，其中用户抬高第一只手H1，以及虚拟元素组EN的可视化的对应响应，

图12示出对第十二手势G12的识别，其中用户降低第一只手H1，以及虚拟元素组EN的可视化的对应响应，

图13示出基于重力模拟的虚拟元素组EN的扩展，

图14示出虚拟元素组EN的向后摆动移动，

图15示出在第一只手H1的手腕周围的附加虚拟元素的显示，

图16示出第十六手势G16，其中用户挥动以旋转附加虚拟元素，或者转动他的手腕以旋转附加虚拟元素，以及

图17示出用户U穿戴输出设备OD的布置，输出设备OD配备有跟踪设备TD。

图1示出了当用户将第一只手H1的手掌转向他的脸时被识别的第一手势G1。如将在图17的上下文中描述的，用户穿戴着头戴式显示器作为输出设备，该输出设备正在增强现实或虚拟现实中输出虚拟元素。输出设备配备有跟踪设备，其适于跟踪用户的第一只手H1和第二只手的手部移动。此外，跟踪设备或第二跟踪设备能够跟踪手指移动。下面描述的一些手势可能不仅基于手部移动，而且还附加地基于手指的移动。作为替代，仅通过评估手部移动来识别所有手势。处理器被编程为识别第一手势G1。

当用户将他的一只手掌转向他的脸时，在其初始阶段出现虚拟元素组（画廊），如图2所描绘的。第一虚拟元素El显示在该虚拟元素组EN的顶端上方，并且充当可见抓取点（在该示例中被可视化为球体）。输出设备将所述第一虚拟元素El显示为附接到第一只手H1并悬停在其手掌上方，并且特别是跟随第一只手H1的移动。在此阶段，当用户将第一只手的手掌H1转开时，画廊消失。第一虚拟元素El充当虚拟元素组EN的控制点。

图3示出了第二手势，其中用户利用第二只手H2抓住第一虚拟元素El。

图4示出了第三手势G3，其中用户将第二只手H2从第一只手H1移离。在这样做时，用户可以将他的双手之间的虚拟元素组EN（画廊）延伸到任何长度。画廊现在可以包含更多数量的项目，这是根据双手之间的距离和每个项目之间的默认距离计算的。

用户现在可以利用他的右手H2释放第一元素El。画廊保持其延伸形式。

图5示出了第四手势G4，其中用户正在利用他右手H2的指尖滚动虚拟元素组EN。取决于滚动方向，新的虚拟元素出现在顶部，并且旧的虚拟元素消失在底部，或者反之亦然。

通过触摸（“点击”）任何虚拟元素，可以以更大的大小或以全屏幕模式打开和显示该虚拟元素。

在画廊的顶部和底部的虚拟元素可以有混合功能：n个最顶部的和m个最底部的虚拟元素可以基于大小、透明度或颜色淡出。对于接近选择手或手指的虚拟元素，也可以存在突出显示功能，也使用大小、透明度或颜色（例如，最接近手指的虚拟元素获得黄色辉光并且是画廊中的所有其他虚拟元素的1.5倍大）。

如果用户现在将他的第一只手的手掌H1转开，则该虚拟元素组作为卡片堆保持可见并且定位在世界空间中。

图6示出了第五手势G5，其导致虚拟元素组EN的进一步扩展，直到它采取曲线的形状，例如，半圆形或基于样条的形状。

然后，虚拟元素组EN的卡片堆形状的可视化从左手H1的手掌分离，并且现在相对于世界空间定位。与前一阶段中一样，滚动虚拟元素是可能的。

图7示出了用户执行第六手势G6。这里，用户朝向延伸的虚拟元素组EN执行“推动”手势，以便使画廊炸开。

然后，卡片堆可视化的虚拟元素爆炸成围绕用户的球体，如图8所示。虚拟元素组的可视化可以采取围绕用户的任何形状：墙壁、立方体、3D网格、半圆顶等。这使得用户能够查看文件夹、搜索查询或知识图的全部内容并对其进行探索。

图8示出了由用户对第七手势G7的执行。在这里，用户对球形画廊执行“拉动”手势，并且虚拟元素返回到原始的更紧凑的半圆。

图9示出了另一个实施例，其中如卡片堆的虚拟元素的可视化支持多维数据，诸如知识图、子文件夹或相关内容列表。在这里，用户执行第八手势G8，其中他利用他的右手H2抓住虚拟元素中的一个并将其拖到旁边。新的内容，换句话说，表示数据的另一个维度的第二虚拟元素组EN2出现在该虚拟元素和右手H2之间。

图10示出了包含用于积极用户体验的游戏化元素的实施例。与弹簧玩具或软弹簧类似，虚拟元素可以基于物理模拟在两只手之间摆动，并且从一只手移动到另一只手。例如，用户可以执行第九手势G9，其中他抬高和降低他的左手H1和/或他的右手H2，或者执行第十手势G10，其中他在相反方向上移动他的手。基于物理模拟，计算并显示该虚拟元素组EN的对应移动。

如果用户稍微上下移动他的手，则卡片堆基于物理模拟膨胀和收缩。它永远不会离开手。图11图示了第十一手势G11，其中用户抬高第一只手H1。图12示出了第十二手势G12，其中用户降低第一只手H1。

图13示出了用户将第一只手H1倒置。虚拟元素组EN的卡片叠可视化基于类似于弹簧的物理模拟而膨胀和收缩。图14示出了回摆移动。

图15示出了一个实施例，其中第二虚拟元素E2、第三虚拟元素E3、第四虚拟元素E4以及另外的附加虚拟元素被显示在第一只手H1的手腕周围。每个附加的虚拟元素表示不同的虚拟元素组。在该变型中，代替仅示出一个卡片叠，而是存在几个卡片叠起始点卷绕在用户的第一只手H1周围。换句话说，多个画廊的起始点卷绕在第一只手H1周围。

图16示出了第十六手势G16，其中用户挥动以旋转附加虚拟元素，或者转动他的手腕以旋转附加虚拟元素。每个附加虚拟元素可以延伸到自己的画廊中。

图17示出了用户U穿戴头戴式显示器作为输出设备OD的布置，该输出设备OD正在增强现实或虚拟现实中输出虚拟元素。输出设备OD配备有跟踪设备TD，该跟踪设备TD适合于跟踪用户U的第一只手H1和第二只手的手部移动。该布置进一步包含处理器，该处理器可以被编程为执行该方法的前述实施例之一。处理器可以位于输出设备OD中。可替代地，它可以位于笔记本电脑或图形工作站中，所述笔记本电脑或图形工作站具有到输出设备OD的有线或无线连接。更进一步地，该方法的步骤及其各种实施例可以由若干个处理器执行，每个处理器专用于一个或多个步骤。

该方法可以由诸如微控制器或微处理器之类的处理器、由专用集成电路（ASIC）、由任何种类的计算机（包括诸如平板计算机、智能电话或膝上型计算机之类的移动计算设备）或由控制室或云中的一个或多个服务器来执行。

例如，计算机系统的处理器、控制器或集成电路和/或另外的处理器可以被配置为实现本文描述的动作。

上述方法可以经由包括一个或多个计算机可读存储介质的计算机程序产品来实现，所述一个或多个计算机可读存储介质上存储有可由计算系统的一个或多个处理器执行的指令。所述指令的执行使计算系统执行与上述方法的动作相对应的操作。

用于实现本文所述的过程或方法的指令可以在非暂时性计算机可读存储介质或存储器上提供，诸如高速缓存、缓冲器、RAM、FLASH、可移动介质、硬盘驱动器或其他计算机可读存储介质。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。可以响应于存储在计算机可读存储介质中或计算机可读存储介质上的一组或多组指令来执行在各图中图示或本文描述的功能、动作或任务。所述功能、动作或任务可以独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由单独或组合操作的软件、硬件、集成电路、固件、微代码等来执行。同样，处理策略可以包括多处理、多任务、并行处理等。

已经参考本发明的实施例和示例详细描述了本发明。然而，在权利要求所覆盖的本发明的精神和范围内可以实现变化和修改。表述“A、B和C中的至少一个”作为替代表达可以提供可以使用A、B和C中的一个或多个。

尽管上面已经参考各种实施例描述了本发明，但是应当理解，可以对所描述的实施例进行许多改变和修改。因此，上述描述旨在被认为是说明性的而非限制性的，并且应当理解，所有实施例的等同物和/或组合旨在被包括在该描述中。

Claims (14)

1.用于查看虚拟元素的方法，

其中以下步骤由至少一个处理器执行：

-使用跟踪设备（TD）跟踪用户（U）的手部运动，

-当用户将第一只手（H1）的手掌转向他的脸时，识别第一手势（Gl），

-使用输出设备（OD）在第一只手的手掌上方输出第一虚拟元素（El）和虚拟元素组（EN），所述虚拟元素像卡片叠一样布置在彼此上方，其中所述输出设备被配置用于在增强现实或虚拟现实中输出所述虚拟元素，

-当用户利用第二只手（H2）抓住第一虚拟元素时，识别第二手势，

-当所述用户将第二只手从第一只手移离时，识别第三手势（G3），以及

-使用所述输出设备输出所述虚拟元素组，所述虚拟元素在第一只手和第二只手之间延伸。

2.根据权利要求1所述的方法，

-其中第一虚拟元素被附接到第一只手并且在它的手掌上方悬停，并且特别是跟随第一只手的移动，直到第二手势被识别。

3.根据前述权利要求之一所述的方法，

其中由至少一个处理器执行以下附加步骤：

-识别第四手势（G4），其中用户正在滚动虚拟元素组，以及

-使用输出设备来旋转所述虚拟元素组的元素的顺序。

4.根据前述权利要求之一所述的方法，其中，由至少一个处理器执行以下附加步骤：

-当用户沿着曲线将第二只手移离第一只手时，识别第五手势（G5），以及

-使用所述输出设备输出所述虚拟元素组，所述虚拟元素沿着所述曲线在第一只手和第二只手之间延伸。

5.根据前述权利要求之一所述的方法，

其中由至少一个处理器执行以下附加步骤：

-当用户将第一只手和/或第二只手移离他的身体时，识别第六手势（G6），以及

-使用输出设备输出虚拟元素组，虚拟元素面对并围绕用户。

6.根据权利要求5所述的方法，

其中由至少一个处理器执行以下附加步骤：

-当用户将第一只手和/或第二只手朝向他的身体移动时，识别第七手势（G7），以及

-使用输出设备输出虚拟元素组，所述虚拟元素沿着曲线在第一只手和第二只手之间延伸。

7.根据前述权利要求之一所述的方法，

其中由至少一个处理器执行以下附加步骤：

-当所述用户侧向拖动虚拟元素之一时，识别第八手势（G8），以及

-使用输出设备输出第二虚拟元素组（EN2），所述第二虚拟元素组侧向延伸。

8.根据前述权利要求之一所述的方法，

其中由至少一个处理器执行以下附加步骤：

-当用户抬高和/或降低第一只手时，识别第九手势（G9），

-基于对弹簧的物理模拟，计算虚拟元素组（EN）的摇摆移动，以及

-使用输出设备输出所述摇摆移动。

9.根据前述权利要求之一所述的方法，

其中由至少一个处理器执行以下附加步骤：

-使用输出设备在第一只手的手腕周围输出附加虚拟元素（E2,E3,E4,...），以及

-利用每个附加虚拟元素表示不同的虚拟元素组。

10.根据权利要求9所述的方法，

其中由至少一个处理器执行以下附加步骤：

-识别第十六手势（G16），以及

-使第一虚拟元素和附加虚拟元素在第一只手的手腕周围旋转。

11.用于查看虚拟元素的系统，

-具有跟踪设备（TD），所述跟踪设备（TD）被配置为跟踪用户（U）的手部运动，

-具有输出设备（OD），所述输出设备（OD）被配置用于在增强现实或虚拟现实中输出虚拟元素，以及

-具有至少一个处理器，被编程用于

-当用户将第一只手（H1）的手掌转向他的脸时，识别第一手势（Gl），

-使用输出设备在第一只手的手掌上方输出第一虚拟元素（El）和虚拟元素组（EN），所述虚拟元素像卡片叠一样布置在彼此上方，

-当所述用户利用第二只手（H2）抓住所述第一虚拟元素时识别第二手势，

-当所述用户将第二只手移离第一只手时识别第三手势（G3），以及

-使用输出设备输出所述虚拟元素组，所述虚拟元素在第一只手和第二只手之间延伸。

12.根据权利要求11所述的系统，

-其中输出设备是增强现实耳机、虚拟现实耳机或全息显示器。

13.其上存储有如下指令的计算机可读存储介质：

-由计算机系统的一个或多个处理器可执行的指令，其中所述指令的执行使所述计算机系统执行根据权利要求1至10之一的方法。

14.计算机程序，

-其由计算机系统的一个或多个处理器执行并执行根据权利要求1至10之一的方法。

Images