CN114424151A - 用于vr和ar环境中的基于手的用户交互的装置和方法 - Google Patents

Abstract

虚拟现实(VR)或增强现实(AR)系统通过相机检测用户的手的位置何时匹配预定义位置，并且响应于此，渲染包括冠部的覆盖物，用户可与该覆盖物进行交互以锁定到对象或场景上。然后，该系统检测并渲染跟踪用户的手的冠部的中心指示器，根据中心指示器相对于中性区的位置启用或禁用动作，对用户手移动作出响应以实施动作，并且还检测对象或场景的解锁。

Description

用于VR和AR环境中的基于手的用户交互的装置和方法

技术领域

本公开整体涉及用户界面，并且更具体地涉及用于虚拟现实(VR)和增强现实(AR)环境的用户界面。

背景技术

本部分旨在向读者介绍本领域的各个方面，这些方面可能与下文描述和/或要求保护的本公开的各个方面有关。据信该讨论有助于向读者提供背景信息，以促进更好地理解本公开的各个方面。因此，应当理解，这些陈述应当从这个角度来解读，而不是承认现有技术。

VR和AR技术向用户提供在合适的显示器(诸如智能电视、PC、投影仪、头戴式显示器(HMD)等)上运行此类应用的沉浸式体验。通过用户界面，用户通常能够与VR或AR环境进行交互，例如以处理其中的对象。为此，必须接收用户输入，例如可以通过用户跟踪系统使用检测颜色和深度的传感器(可穿戴或不可穿戴)或相机来完成该用户输入。例如，配备有颜色/深度相机的连接的智能电视可以能够跟踪用户的身体的每个部分的形状和位置，这可以使得能够在自然交互式系统中使用手势。这可以为用户提供与在例如广播TV节目中的AR或VR场景或对象、来自在视频会议期间共享的互联网或内容的内容项进行交互的方式。

常规用户界面可以覆盖用户的手的图像，这使与按钮和其他菜单项的交互变得相对简单。与对象进行交互更困难，这是因为对象不总是如在现实世界中反应。

另一种常规解决方案在屏幕上提供用户的手的位置的指示，并且使得用户能够与虚拟对象进行交互以放大/缩小和旋转该对象。

然而，特别是当与对象进行交互时，此类用户界面倾向于难以使用，特别是对于新用户，因为他们不总是直观的。

因此，应当理解，期望解决用于AR和VR的用户界面的至少一些缺点的解决方案。本发明原理提供了这样的解决方案。

发明内容

在第一方面，本发明原理涉及一种在装置中用于渲染虚拟现实或增强现实环境的方法。该方法包括在装置的至少一个硬件处理器中：在显示器上渲染覆盖物；基于用户的手的检测位置计算覆盖物的中心指示器的位置；基于中心指示器相对于中性区的位置来启用至少一个动作；以及响应于用户手移动而执行启用动作。

在第二方面，本发明原理涉及一种用于渲染虚拟现实或增强现实环境的装置，该装置包括至少一个硬件处理器，该至少一个硬件处理器被配置成：在显示器上渲染覆盖物；基于用户的手的位置计算覆盖物的中心指示器的位置；基于中心指示器相对于中性区的位置来启用至少一个动作；以及响应于用户手移动而执行启用动作。

在第三方面，本发明原理涉及一种计算机程序产品，该计算机程序产品存储在非暂态计算机可读介质上和包括程序代码指令，该程序代码指令可由处理器执行以实施根据第二方面的任何实施方案的方法的步骤。

附图说明

现在将参考附图通过非限制性示例描述本发明原理的特征，其中：

图1示出了根据本发明原理的实施方案的虚拟现实(VR)/增强现实(AR)系统；

图2示出了根据本发明原理的实施方案的方法；

图3示出了根据本发明原理的此类覆盖物的第一示例；并且

图4示出了根据本发明原理的此类覆盖物的第二示例。

具体实施方式

图1是根据例示性实施方案的虚拟现实(VR)或增强现实(AR)交互式系统100的描绘。交互式系统100包括渲染装置110、显示器120和相机130。

渲染装置110、显示器120和相机130已被描绘为单独的实体，但是在不同的变体中，它们以每种可能的方式组合。例如，三个实体可以并入到单个装置诸如电视中，显示器120和渲染装置110在一起，而相机130是单独的，或者渲染装置110与包括相机的显示器分离。

显示器120操作以向用户(未示出)显示从渲染装置接收的视频。显示器120可以例如是电视、计算机屏幕、头戴式显示器(HMD)、平板电脑或智能电话。

可以是深度和颜色相机的相机130操作以捕获其光圈前方的任何事物的图像和/或视频。在交互式系统100中，相机130通常将被布置成捕获包括用户的环境。检测用户的手的位置的其他手势检测器也是可能的，诸如用户穿戴的一个或多个传感器。

渲染装置110可以例如是计算机、机顶盒、游戏控制台、平板电脑、智能电话等。渲染装置110通常包括用户输入接口111、至少一个硬件处理器(“处理器”)112、存储器113、网络接口114和输出接口，例如显示界面115或扬声器。接口至少部分地在硬件中实施。应当理解，为了简洁描述，未示出装置110的对于理解本发明原理没有用的部件。

用户输入接口111可以是无线的并且被配置成从输入装置(未示出)接收输入，但该用户输入接口也可以是触摸屏、到键盘和/或鼠标的接口等。用户输入接口被配置成向处理器112提供接收到的输入。处理器112被配置成执行程序代码指令以执行根据参考图2描述的本发明原理的方法。存储器113被配置成存储用于由处理器112执行的程序代码指令并存储数据。网络接口114可以是有线或无线的，并且被配置成允许通过连接部140在处理器112与至少一个装置诸如外部网络中的服务器(未示出)之间进行通信以接收用于向用户显示的计算机程序或内容。此类内容可以是视频程序，其将被用作非限制性示例。输出接口可以是有线或无线的，并且被配置成输出用于在显示器120上显示的内容。如已经提到的，在装置110是电视的情况下，显示器120通常包括在该装置中。应注意，电视还可以具有用于在单独的屏幕(未示出)上显示信息的显示界面。

本发明原理的突出方面是在VR/AR场景之上使用覆盖物。

图2示出了根据本发明原理的实施方案的方法。假设用户在AR/VR场景“内部”，即用户能够与场景进行交互。出于示例性目的，还假设用户尚未与场景中的任何对象进行交互。

在步骤S210中，交互式系统(图1中的100)的用户界面(图1和图2中的120)检测用户的手的位置，以检测该位置何时匹配预定义位置。该预定义位置可以是具有相同含义的多个位置中的一者。此类预定义位置的示例可以是当用户在身体前方伸出手时。

在检测到匹配时，用户界面在步骤S220中在AR/VR场景上渲染覆盖物。图3示出了根据本发明原理的此类覆盖物300的第一示例。可以至少部分地半透明的覆盖物300在示例中旨在使用两只手进行交互。

覆盖物300可以包括中心指示器310、中性区320(以灰色对角阴影)和冠部330，该冠部包括第一锁定位置341和第二锁定位置342。

中心指示器310指示冠部330的中心。当中心指示器310位于中性区320内部时，抑制某些用户动作，如将描述的。相反，仅当中心指示器310位于中性区320内部时才能启用动作。中性区320在中心指示器310位于内部时可以是不可见的(或更透明的)，并且在中心指示器310位于外部时变为可见或更不透明的。

优选地是手形的锁定位置341、342指示用户必须放置其手来锁定或解锁场景或对象的位置，如将描述的。

用户的手的位置由在示例性位置示出的右手指示器351和左手指示器352表示。

在步骤S230中，用户界面等待用户通过特定手势锁定到对象上，在本示例中，该特定手势将手放置在锁定位置341、342上方(或至少基本上放置在其上方)持续给定时间段；换句话说，为了将手指示器351、352放置在锁定位置341、342之上持续给定时间段，该给定时间段可以是0.5秒、1秒、1.5秒等。

在一个实施方案中，当没有锁时，锁定位置341、342b闪烁。另外，用户界面可以渲染文本以告知用户如何锁定到对象上。

在锁定到对象上时，用户界面在步骤S240中优选地基本上连续地检测和渲染中心指示器310的位置。具体地，用户界面可以检测中心指示器310是位于中性区320内部或还是位于其外部。当锁定时，中心指示器310通常可能利用一些滞后对应于用户两手的中心，即手指示器351、352的中心。应注意，冠部330通常沿循中心指示器310的移动。

图4示出了根据本发明原理的覆盖物400的第二示例。覆盖物400的部件与图3中的覆盖物300中所示的部件相同，差异之处在于，锁定位置341、342已经被填充以指示锁定到对象或场景上，并且中心指示器310和冠部330已经沿循用户的手，使得中心指示器310现在位于中性区320外部(应注意，如同中性区已经移动，在附图中出现)。

在步骤S250中，用户界面根据中心指示器310相对于中性区320的位置启用和/或禁用用户动作。

例如，当位于内部时，启用用户动作可以包括：

·通过分别伸展或收缩手(可能限制于当手指示器351、352处于基本上相同的高度时)放大或缩小(即，使对象更靠近或更远)，

以及

·使对象旋转通过手的对应圆形移动(如同它们在方向盘上)，可能限制于当手指示器351、352在冠部330内部时；以及

当位于外部时，启用用户动作可以包括：

·通过在对应水平方向上移动手来水平旋转对象，或通过在对应竖直方向上移动手来竖直旋转对象，或

·相机(即，用户的视点)在场景中四处移动。

如将理解的，中性区可以使AR/VR场景较不易于例如意外旋转，因为在中心指示器310在中性区320中时，小水平或竖直手移动将没有影响。

用户界面可以通过例如渲染指示启用动作的图标来指示可能性。另外，可以在用于禁用动作的不同方面(例如变灰或褪色)中渲染图标，如用户界面中常规的。图标可以在消失或褪色之前渲染持续有限时间段。优选地，图标在外围区域中渲染，以免隐藏大部分场景或对象。

应注意，其他用户动作诸如移动对象可以由用户界面实施。

在步骤S260中，用户界面对通过手位置检测跟踪的用户动作作出响应。该用户动作可以包括参考步骤S250描述的用户动作。另外的动作可以包括解锁(参考步骤S270描述)以及当用户交叉手时隐藏和显示覆盖物300，即，将右手引到左手左侧(并且应注意，当用户通过手的圆形移动执行旋转时，这可以被禁用，以便启用大的圆形旋转，例如180°)。替代地，可以防止手指示器351、352切换两侧，使得左侧总是在左侧，或在与右侧相同的竖直位置(除了例如当执行圆形移动时)。

应注意，随着中心指示器310在进程之中穿过中性区320到达另一侧，可以暂时禁用对象的水平或竖直旋转。

在步骤S270中，用户界面检测对象或场景的解锁。这可以通过用户将手指示器351、352放置在锁定位置341、342之上持续给定时间来完成。可以看出，对于锁定到对象或场景上，用户可以做同样的事。解锁还可能需要中心指示器310在中性区320中。

在适合于单手使用的变体中，覆盖物可以包括单个锁定位置，用户应该将手指示器放置在该单个锁定位置之上持续给定时间，以便锁定场景或对象，而解锁是相同的方式。在变体中，可以将启用用户动作限制为移动对象。

因此，应当理解，本发明原理可以用于提供AR/VR系统，该AR/VR系统向用户提供关于启用用户动作的信息，并且还通过使用中性区来提供由小的手移动引起的较不受到“抖动”影响的AR/VR体验。

应当理解，附图中所示的元件可以各种形式的硬件、软件或其组合来实施。优选地，这些元件在一个或多个适当编程的通用装置上以硬件和软件的组合实施，该通用装置可以包括处理器、存储器和输入/输出接口。

本说明书示出本公开的原理。因此，应当理解，本领域技术人员将能够设计各种布置，尽管在本文中未明确描述或示出，但是这些布置体现本公开的原理并且包括在其范围内。

本文中所叙述的所有示例和条件语言旨在用于教育目的，以帮助读者理解本公开的原理和发明人促进技术贡献的概念，并且应被解释为不限制于此类具体叙述的示例和条件。

此外，本文阐述的本公开的原理、方面和实施方案以及其具体示例的所有陈述均旨在涵盖其结构和功能等同物。另外，意图在于，此类等同物包括当前已知的等同物以及未来开发的等同物，即，所开发的执行相同功能的任何元件，而不管结构如何。

因此，例如，本领域技术人员应当理解，本文呈现的框图表示体现本公开的原理的例示性电路的概念图。类似地，应当理解，任何流程图表、流程图等表示可以基本上在计算机可读介质中表示并且由计算机或处理器执行的各种过程，无论此类计算机或处理器是否被明确示出。

附图中所示的各种元件的功能可以通过使用专用硬件以及能够执行与适当软件相关联的软件的硬件来提供。当由处理器提供时，功能可由单个专用处理器、由单个共享处理器或由多个单独处理器提供，其中一些处理器可以是共享的。此外，术语“处理器”或“控制器”的明确使用不应被理解为仅指能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储装置。

也可包括其他常规的和/或定制的硬件。类似地，图中所示的任何开关仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或甚至手动地或甚至手动地进行，如从上下文更具体地理解的，可以由实施人员选择的特定技术。

在本文的权利要求书中，表达为用于执行指定功能的装置的任何元件旨在涵盖执行该功能的任何方式，包括例如：a)执行该功能的电路元件的组合；或b)任何形式的软件，因此包括，固件、微码等，与用于执行该软件的适当电路组合以执行该功能。如由此类权利要求限定的公开内容存在于以下事实：由各种所叙述的装置提供的功能组合并且以权利要求书调用的方式结合在一起。因此，认为可以提供那些功能的任何装置等同于本文所示的那些。

Claims (14)

1.一种在装置中用于渲染虚拟现实或增强现实环境的方法，所述方法包括在所述装置的至少一个硬件处理器中：

在显示器上渲染覆盖物；

基于用户的手的检测位置计算所述覆盖物的中心指示器的位置；

基于所述中心指示器相对于中性区的所述位置来启用至少一个动作；以及

响应于用户手移动而执行启用动作。

2.根据权利要求1所述的方法，还包括响应于检测到检测手位置与至少一个预定义位置之间的匹配而渲染所述覆盖物。

3.根据权利要求1所述的方法，其中所述覆盖物至少部分地半透明。

4.根据权利要求1所述的方法，其中所述覆盖物包括所述中心指示器、所述中性区、冠部、第一锁定位置和第二锁定位置以及右手指示器和左手指示器，所述第一锁定位置和所述第二锁定位置指示所述用户应当将所述右手指示器和所述左手指示器叠加以锁定到对象或场景上或将锁定部解锁到对象或场景上的位置。

5.根据权利要求1所述的方法，其中仅当所述中心指示器的所述位置位于所述中性区内部时才启用第一组动作，并且仅当所述中心指示器的所述位置位于所述中性区外部时才启用第二组动作。

6.根据权利要求5所述的方法，其中所述第一动作是在所述显示器的平面中放大、缩小和旋转中的一者，并且所述第二动作是水平旋转、竖直旋转和移动中的一者。

7.根据权利要求1所述的方法，还包括渲染具有第一视觉方面的指示启用动作的第一图标和具有第二视觉方面的用于禁用动作的第二图标。

8.一种用于渲染虚拟现实或增强现实环境的装置，所述装置包括至少一个硬件处理器，所述至少一个硬件处理器被配置成：

在显示器上渲染覆盖物；

基于用户的手的检测位置计算所述覆盖物的中心指示器的位置；

基于所述中心指示器相对于中性区的所述位置来启用至少一个动作；以及

响应于用户手移动而执行启用动作。

9.根据权利要求8所述的装置，其中所述至少一个硬件处理器被进一步配置成响应于检测到检测手位置与至少一个预定义位置之间的匹配而渲染所述覆盖物。

10.根据权利要求8所述的装置，其中所述至少一个硬件处理器被配置成仅当所述中心指示器的所述位置位于所述中性区内部时才启用第一动作，并且仅当所述中心指示器的所述位置位于所述中性区外部时才启用第二动作。

11.根据权利要求10所述的装置，其中所述第一动作是在所述显示器的平面中放大、缩小和旋转中的一者，并且所述第二动作是水平旋转、竖直旋转和移动中的一者。

12.根据权利要求8所述的装置，其中所述至少一个硬件处理器被进一步配置成渲染具有第一视觉方面的指示启用动作的第一图标和具有第二视觉方面的用于禁用动作的第二图标。

13.根据权利要求8所述的装置，其中所述装置包括所述显示器和相机中的至少一者，所述相机被配置成捕获所述用户的手的位置。

14.一种存储程序代码指令的非暂态计算机可读介质，所述程序代码指令在由处理器执行时实施根据权利要求1至7中至少一项所述的方法的步骤。

Images