CN110753899B - 计算机介导现实中的位移取向交互 - Google Patents

Abstract

在各种实施例中，提供了用于在计算机介导环境中与对象进行位移取向交互的计算机化系统和方法。在一个实施例中，该系统检测以横向于可穿戴设备的纵轴的位移进行移动的可穿戴设备。如果该系统确定位移在与可动作项相关联的位移范围内，则该系统可以选择该可动作项或激活与该可动作项相关联的操作，诸如在计算机介导现实环境中修改对象。

Description

计算机介导现实中的位移取向交互

背景技术

计算机介导现实(computer-mediated reality，CMR)是指人们对现实的感知通过使用计算设备，例如可穿戴计算机或手持设备，来介导。通常，计算设备介导用户对环境的视觉感知。诸如虚拟现实(VR)、增强现实(AR)和混合现实(MR)之类的各种CMR技术使得用户能够查看和感知计算机生成的二维(2D)对象和三维(3D)对象，就像这些对象实际存在于用户感知的环境中一样。计算的进步已经推动极大地发展努力将这些技术应用于娱乐和企业市场。

CMR中的常规交互技术通常很麻烦，并且这样的交互通常限于例如在控制器上的眼睛注视操作或手部操作。因此，CMR中的常规交互可能只是另一种久坐的任务，或者可能是导致代谢综合征、心脏病、中风的风险以及整体健康问题的另一个促成因子，特别是对于长时间工作而没有足够体育锻炼的人们。

发明内容

本文所描述的实施例提供了用于CMR环境中的位移取向交互(displacementoriented interaction，DOI)的方法和系统。更具体地，本文所公开的DOI技术可以检测可穿戴设备或用户的位移模式。之后，DOI技术可以基于位移模式激活CMR环境中的相关操作。

在各个实施例中，指示可穿戴设备或用户的位移模式的信号由被配置为介导CMR环境的计算设备接收。在一些实施例中，计算设备与可穿戴设备集成。计算设备确定前述位移模式是否和与CMR环境中的对象或视图相关的操作的预定义位移模式相一致。此外，响应于检测到的位移模式与操作的预定义位移模式相一致，计算设备可以激活CMR环境中的操作。可选地，计算设备可以基于CMR环境中的对象或视图的上下文，利用相关操作的呈现来增强CMR环境，例如以引导用户选择性地激活特定操作。为此，所公开的用于DOI的方法和系统不仅使得能够与CMR环境中的对象进行直观的引导式交互，而且还使得CMR环境中的用户能够在此类交互期间进行身体活动。

提供本发明内容以简化的形式介绍概念的选择，其将在下面的详细描述中进一步被描述。本发明内容既无意识别所要求保护的主题的关键特征或必要特征，也无意单独用于辅助确定所要求保护的主题的范围。

附图说明

下面参考附图详细描述本发明，其中：

图1是示出根据本公开的一些实施例的为CMR中的DOI所实现的示例性环境的示意图；

图2是根据本公开的一些实施例的为CMR中的DOI所配置的示例性计算系统的框图；

图3是示出根据本公开的一些实施例的CMR中的DOI的示例性实现的一部分的示意图；

图4是示出根据本公开的一些实施例的CMR中的DOI的示例性实现的另一部分的示意图；

图5是示出根据本公开的一些实施例的CMR中的DOI的另一示例性实现的示意图；

图6是示出根据本公开的一些实施例的用于CMR中的DOI的过程的流程图；

图7是示出根据本公开的一些实施例的用于CMR中的DOI的另一过程的流程图；以及

图8是适合用于在实现本公开的实施例中使用的示例性计算环境的框图。

具体实施方式

根据本文描述的实施例，CMR环境可以包括虚拟现实(VR)环境、增强现实(AR)环境和混合现实(MR)环境中的任何一种，它们中的每一个至少部分地由一个或多个计算设备绘制并被提供给用户以供沉浸式显示。术语“环境”可以指代可用于向用户感知显示的绘制对象的一部分或全部集合。例如，在完全虚拟的环境(例如，VR)中，这样的环境可以指代一组或多组绘制对象、绘制背景或粒子系统、或其任何部分和/或组合。在部分虚拟的环境(例如，AR或MR)中，这样的环境可以指代一组或多组绘制对象、粒子系统、现实空间或背景、或者其任何部分和/或组合。

在动态且不断变化的CMR环境中，重要的是为用户提供具有精确可控性的直观交互模式。诸如使用键盘和鼠标之类的常规交互在常规计算环境中已经变得普遍。然而，这种常规交互手段是不利的，并且对于用户在CMR环境中获得沉浸式体验常常是不切实际的。

本公开的实施例提供了用于CMR环境中的DOI的系统和方法。利用DOI技术，用户可以使用动力学(kinetic)移动来与CMR环境中的目标对象自然地交互。在一些实施例中，诸如头戴式显示器(HMD)设备之类的可穿戴设备可以检测动力学移动并识别出该可穿戴设备的位移模式。如果位移模式和与CMR环境中的对象或视图相关的操作的预定义位移模式相一致，则可穿戴设备可以进一步激活CMR环境中的操作。可选地，计算设备可以基于CMR环境中的对象或视图的上下文来通过相关操作的呈现来增强CMR环境，例如以引导用户选择性地激活特定操作。

举例来说，可穿戴设备在3D对象处检测用户的视线。因此，可穿戴设备可以导致在CMR环境中的用户视野内呈现具有多个部分的放射状菜单(radial menu)。放射状菜单的每个部分表示与3D对象相关的模式或操作。此外，可穿戴设备可以导致放射状菜单的副本(例如，基于光的副本)显示在用户周围的地板上。

当由用户前面的放射状菜单引导并保持抬头姿态时，用户可以走到放射状菜单的特定部分以选择与目标对象相关的特定模式或操作。就这一点而言，可穿戴设备可以检测由用户的动力学移动所引起的自身位移，并相应地确定由用户选择的放射状菜单的特定部分。如果可穿戴设备确认了用户对特定模式或操作的选择，则可穿戴设备可以进一步激活该模式或操作，诸如修改CMR环境中的目标3D对象。

有利的是，所公开的用于CMR中的DOI的方法和系统不仅能够与CMR环境中的对象进行直观的引导式交互，而且还使得CMR环境中的用户能够在此类交互期间进行身体活动。此外，DOI技术还可以释放用户的双手，因此用户可以结合脚部移动来使用手部操作(例如姿势)从而在CMR环境中进行更复杂的交互。

现在参考图1，根据本公开的一些实施例，提供了一种用于与CMR环境中的对象进行DOI而实现的示例性环境。在该CMR环境中，头戴式显示器(HMD)120使用户110能够查看虚拟对象150。HMD120可以检测用户110的注视，并基于用户110的注视来选择虚拟对象150。

例如，为了修改虚拟对象150的目的，用户110可能想要与虚拟对象150进行交互。在这种情况下，用户110可以做出预先配置的动力学姿势，诸如跳跃姿势、下蹲姿势或手部姿势，以激活与虚拟对象150相关联的可用操作的菜单。可以通过HMD 120和/或与HMD 120连接或通信的计算设备(例如，房间中的固定传感器、另一个可穿戴设备等)来检测动力学姿势。

之后，HMD 120可以使放射状菜单130具有在CMR环境中的用户视野内呈现的不同部分。放射状菜单的每个部分表示与虚拟对象150相关联的操作。放射状菜单130的内容取决于上下文，因此在放射状菜单130上呈现与当前视图和/或当前对象相关的操作。例如，与虚拟对象150相关的操作可以包括改变颜色、改变取向、改变大小(例如放大或缩小)、改变形状、移动、旋转、添加数据、移除数据等。

此外，HMD 120可以将放射状菜单130复制为副本菜单140，并且使副本菜单140显示在用户周围的地板上。副本菜单140可以作为从发光器投射的实际图像或由HMD 120绘制的虚拟图像而被显示在水平放置在地板上的大型显示器上。放射状菜单130或副本菜单140可以用作直观的视觉引导以供用户110选择与虚拟对象150相关联的一个或多个操作，诸如用户110可以跟上抬头姿态以与CMR环境进行交互。

举例来说，用户110可以走到副本菜单140上的部分A或B以选择与部分A或B相关联的特定操作。用户110可以通过顺序地走到这两个部分或者两脚同时站立在两个部分上来选择与部分A和B相关联的两个操作。例如通过做出另一个预先配置的动力学姿势，诸如跳跃或下蹲，用户100还可以选择退出菜单选择的当前模式，以退出放射状菜单130和/或副本菜单140。

如果选择了菜单项，则HMD 120可以使所选择的菜单项以不同的方式被绘制。所选择的菜单项可以被突出显示或被改变为不同的呈现，从而用户110可以接收到菜单选择的视觉反馈或确认。在其他实施例中，反馈还可以包括听觉反馈、触觉反馈或其他形式的反馈。

如果选择了菜单项，则HMD 120可以将CMR环境介导到与所选择的菜单项对应的不同模式。有时，与所选择的菜单项相关联的默认行为被激活。有时，可能需要其他输入来激活与所选择的菜单项相关联的操作。默认行为或所需的附加输入可能取决于目标对象的上下文和特性。每个菜单项都可以被视为CMR环境中的可动作项。每个菜单项可以表示可适用于CMR环境中的一个或多个操作。

举例来说，菜单项A可以表示缩放模式，而菜单项B可以表示摇摄模式。因此，如果激活了缩放模式，则默认缩放操作可以被自动应用于虚拟对象150。可替代地，用户110可以使用其他控制机制，诸如手部姿势，来为缩放虚拟对象150的操作提供控制因子。

在一些实施例中，如果用户110不需要任何视觉引导，诸如对于例行操作，则放射状菜单130和/或副本菜单140是可选的。作为示例，用户110可以配置HMD 120以通过走向目标对象来放大目标对象，相反，通过走离目标对象来缩小目标对象。

参考图2，根据本公开的一些实施例，提供了一种被配置用于CMR中的DOI的示例性设备200。在一些实施例中，设备200被体现为HMD设备，如图1中所图示的HMD 120。在一些实施例中，设备200可以包括任何类型的计算设备，诸如下面参考图8所描述的计算设备800。如将在下面更详细地描述的，在各种实施例中，设备200可以包括动力学检测器210、上下文处理机220、模式识别器230、动作操作器240和绘制组件250，等等。

在另外的实施例中，动力学检测器210可以尤其包括位移传感器212和取向传感器214。根据本文所描述的实施例，可以想到，设备200中的前述不同组件可以在设备200的任何一个或多个组件或子组件中被实现。例如，动力学检测器210、上下文处理机220、模式识别器230、动作操作器240和绘制组件250中的任何一个都可以至少部分地在处理器、图形处理单元(GPU)、应用代码、固件等等中被实现。

设备200可以通过检测设备200本身的、另一个可穿戴设备的或设备200的用户的位移来实现与全息世界的交互。位移模式和测量可以被转换为CMR中的一个或多个操作。当设备200被体现为HMD设备时，用户可以在停留在上下文中的同时通过其头部移动来在数据或全息图可视化上进行交互。此外，可以在用户前面或地板上显示放射状菜单，并且用户可以在保持抬头姿态的同时通过行走来与CMR交互。可以以其他形状、形式或配置来显示菜单。可以基于上下文——诸如通过用户注视的对象——来选择菜单项的选项。在一个实施例中，设备200就在用户移动到菜单选择模式之前确定用于操作的所选择的对象。

在一个实施例中，将头部移动映射到CMR环境中的交互如下。首先，将HMD注册到参考位置。其次，将HMD的取向和位移转换为对CMR环境中的对象的修改量。该位移可以是根据参考点和HMD的当前位置之间的差异计算得出的绝对位移。该位移也可以被计算为相对位移，诸如时间的变化。作为一个示例，相对位移将每秒增加一个单位。

在各种实施例中，HMD定义了与该设备的主体的平面成对角的纵轴。通常，当用户保持抬头姿态时，该纵轴与用户的头部的纵轴平行。然后，当HMD从一个位置移动到另一个位置时，HMD将检测到横向于纵轴的位移。在一个实施例中，基于用户的取向来显示菜单。

设备200被配置为例如基于位移传感器212和取向传感器214捕获并测量其自身或用户的位移。位移传感器212可以检测绝对位置，例如基于GPS的位置；或相对位置，例如基于一个或多个参考点的室内位置。位移传感器212可以包括GPS传感器、WiFi接收器、红外传感器等，以检测绝对位置或相对位置。位移传感器212可以使用环境内的其他外部传感器，诸如固定在房间等中的

传感器。

设备200可以使用两个位置之间的方向和距离来检测设备200的位移。位移传感器212可以进一步包括加速度计或压力传感器，以检测跳跃或下蹲运动，和/或踏步，其表现为平行于纵轴的位移。响应于平行于纵轴的位移，设备200可以使菜单被显示或从CMR环境中被移除。

在各个实施例中，可以由用户或系统配置用于位移的阈值以避免触发不期望的交互。用于位移的阈值还可以在用户正在使用设备时和/或通过校准过程来动态地获知。以这样的方式，动力学检测器210仅将设备200的显著位移识别为有意的用户交互。

取向传感器214可以检测设备200的取向。在各个实施例中，取向传感器214可以包括用以确定设备200的取向的陀螺仪传感器或磁力计。举例来说，基于中央重力拉力，取向传感器214可以检测设备200是朝上还是朝下。取向传感器214可以包括多种技术，诸如用以测量旋转的光学或磁性装置。在一些实施例中，设备200的初始取向被注册为起点。取向传感器214然后可以告知：设备200可以如何从起点旋转。设备200的取向的改变可以指示其移动。此外，设备200的取向可以进一步指示用户的关注。例如，如果在CMR环境中有两个菜单，设备200的取向可以帮助辨别用户关注哪个菜单。

在一些实施例中，取向传感器214参考第一位置来确定位移的角方向，该第一位置是横向于纵轴的二维欧几里得平面的原点。参考图1，可以基于用户110在地板上的原始站立位置来定义原始位置。此外，可以基于连接HMD 120的两眼显示器的轴来定义X轴。类似地，可以基于在同一平面上与X轴正交的轴来定义Y轴。因此，Z轴可以被定义为与3D空间中的X轴和Y轴都正交的轴。以此方式，可以参考X轴或Y轴来测量HMD 120的位移的角方向。

动力学检测器210可以包括各种其他(多个)传感器组件，例如陀螺仪、加速度计和磁力计、红外灯、红外照相机、运动传感器、光传感器、3-D扫描仪、CMOS传感器、GPS无线电等等。在各种实施例中，除其他之外，动力学检测器210还可以采用上述传感器来标识设备200的用户的预期目标(例如，手或脚)，并跟踪设备200的物理位置和移动或与设备200通信的另一个设备。

因此，动力学检测器210可以根据接收到的信号来确定与设备200的移动或设备200的用户的各个身体部位(例如，头、手或脚)的移动相关联的各种特性。这样的特性可以包括识别200的位移的速度、加速度、方向、距离、路径、持续时间、频率等。在各种实施例中，这样的特性可以形成由模式识别器230识别的模式。

在一些实施例中，动力学检测器210可以识别由用户执行的姿势。例如，用户可以使用他的四肢(例如，手臂、手指、腿、头部等)执行姿势，这样的姿势例如可以经由诸如相机、运动传感器、红外线等等之类的光学输入组件而被检测到。在各种实施例中，可以将这样的姿势转换成动作操作器240所指向的动作的控制参数。

设备200可以包括深度相机和/或其他传感器(未示出)，其支持理解场景或环境的元素，例如，生成周围的真实世界环境的3D网格表示。此外，动力学检测器210可以使用深度相机和/或其他传感器来检测交互，例如地板上的脚与放射状菜单之间的交互。

上下文处理机220收集并分析通常与CMR环境相关或与CMR环境中的(多个)特定对象相关的上下文信息。部分地基于所分析的上下文信息，模式识别器230可以更准确地标识位移模式，并且动作操作器240可以更准确地标识要执行的动作。

上下文处理机220可以分析各种上下文信息，包括所存储的数据、所处理的数据和/或所获得的输入数据。输入数据可以包括传感器数据、控制器数据、输入设备数据或与CMR环境中绘制的一个或多个虚拟对象相关的获得的任何其他电子数据。例如，可以处理指示用户从一个或多个绘制对象中进行选择的电子数据，以标识预期的交互目标。

举例来说，一个类型的上下文信息包括CMR环境的特性，诸如CMR环境中可用的交互和动作的类型。另一个类型的上下文信息包括用于交互的预期对象的特性，诸如对该对象可用的交互和动作的选项。另一个类型的上下文信息包括设备200的当前位置和用于交互的预期对象之间的关系，或者用户相对于预期目标的相对距离。以这样的方式，可以将相对距离与阈值距离相比较。

在各个实施例中，可以从与预期目标、沉浸式环境、其他绘制对象、真实世界对象、传感器数据、用户配置文件、应用状态或其任何组合相关联的数据或电子信息中导出上下文信息，以使得模式识别器230能够确定位移模式，并使得动作操作器240能够确定要执行的动作。前述示例仅是示例性的，并且无意以任何方式进行限制。

模式识别器230可以使用上下文信息来消除用户意图的歧义，并更准确地解释位移模式。有利地，当存在许多选项来解释与动力学姿势相关联的用户意图时，模式识别器230可以利用上下文信息将其考虑事项仅限于相关的位移模式。

在各个实施例中，模式识别器230可以基于与CMR环境中的目标对象或视图相关的上下文信息来确定HMD的相关位移模式。作为示例，由上下文处理机220提供的上下文信息可以揭示用户正在通过注视虚拟目录浏览在虚拟购物中心的入口中的商家列表。在这种情况下，模式识别器230可以限制与虚拟目录相关的相关位移模式的范围，而不是与虚拟购物中心的停车场相关的其他选项的范围。

模式识别器230可以利用上下文信息来解释或消除动力学姿势的歧义。作为示例，用户可以开始向前行走，并且动力学检测器210可以检测设备200的水平位移。然而，如果上下文处理机220标识CMR环境中的场景变化——这通常需要用户行走至另一个位置，那么模式识别器230可以将位移解释为偶然事件，而不是有意的动力学姿势。

在各种实施例中，模式识别器230可以基于来自动力学检测器210和上下文处理机220的数据来标识位移模式。举例来说，动力学检测器210检测到垂直位移，并且上下文处理机220标识被设备200的用户注视的对象以及与该对象相关联的可用动作的上下文信息。在这种情况下，模式识别器230可以将垂直位移解释为用户意图经由动力学姿势(例如，跳跃或下蹲)来激活或禁用与该对象相关联的菜单。

作为另一个示例，动力学检测器210检测到在特定方向上的水平位移，并且上下文处理机220标识在CMR环境中显示的放射状菜单。在这种情况下，模式识别器230可以将水平位移解释为用户意图在放射状菜单上选择特定菜单项。

作为另一个示例，动力学检测器210检测到用户的手部姿势，并且上下文处理机220标识特定放射状菜单已被选择。在这种情况下，模式识别器230可以将手部姿势解释为针对与所选择的菜单项相关联的动作的控制参数的用户输入，并将控制参数传递给动作操作器240。

动作操作器240可以处理来自模式识别器230的信息，并且可以进一步确定应如何修改CMR环境。动作操作器240可以基于由模式识别器230标识的位移模式来确定修改的形式。也可以说动作操作器240可以响应于设备200的位移来确定要被修改的虚拟对象的模式或虚拟对象的反应。动作控制器240还可以确定用于修改的控制参数。

继续先前结合模式识别器230讨论的示例，当模式识别器230将水平位移解释为用户意图在放射状菜单上选择特定菜单项(例如放大)时，动作操作器240可以进一步基于位移的测量来确定缩放因子，诸如使缩放因子与位移的距离成比例。同样，如果所选择的菜单项对应于旋转动作，则动作操作器240可以进一步基于位移的测量来确定旋转角度，诸如使旋转角度与位移的距离成比例。

在一些实施例中，动作操作器240还被配置为例如基于由上下文处理机220提供的上下文信息来获取菜单。作为示例，如果用户注视对象，则与该对象相关的菜单可以被动作操作器240获取。

在一些实施例中，动作操作器240还被配置为响应于在与菜单相关联的所有位移范围之外的位移，使该菜单从CMR环境的当前视图中被移除。例如，菜单可以被激活并且显示给与用户所注视的对象相关的用户。然而，用户可以选择继续行走而不是做出可识别的动力学姿势。在这种情况下，位移的距离将超出与任何菜单项相关联的所有位移范围。因此，动作操作器240可以与模式识别器230协同工作，以在用户显得对菜单不感兴趣时将菜单从显示中移除。

绘制组件250可以至少部分地基于3D网格表示来绘制虚拟对象或图像。就这一点而言，设备200可以具体地包括基于动作操作器240所标识的动作来修改CMR环境(例如，创建或修改虚拟对象)的功能性(例如，通过绘制组件250所实现的增强现实或混合现实体验)。

在各个实施例中，绘制组件250可以使交互选项在CMR环境中被呈现，诸如在用户前面或在地板上显示的放射状菜单，从而可以向用户呈现列出了与目标对象相关联的可用交互选项的视觉引导。

如果菜单要被显示为放射状菜单，那么为每个菜单项给出一个方向。当绘制组件250使菜单在CMR环境中以放射状的方式被呈现时，菜单项将根据与菜单项相关联的相应方向以放射状的方式进行布置。

此外，绘制组件250可以例如至少部分地基于动作操作器240所标识的动作来修改虚拟对象如何被绘制以及最终被用户感知。换句话说，绘制组件250可以通过根据动作操作器240所标识的动作修改虚拟对象，例如修改虚拟对象的配置(例如位置、大小、形状、角度)，转换(例如缩放、旋转、倾斜、拉伸、扭曲)虚拟对象，或删除虚拟对象，或者甚至创建新的动作。

在各个实施例中，由绘制组件250绘制的每个虚拟对象被定位在相对于设备200的对应位置处，并且因此也相对于用户佩戴设备200而被定位。此外，可以通过绘制组件250实时地连续修改绘制的虚拟对象，以保持绘制的虚拟对象的正确透视和配置。

在各个实施例中，动作操作器240或绘制组件250生成用于反馈的指示。用于反馈的指示可以由绘制组件250绘制为视觉指示符，诸如所选择的菜单的颜色改变或动作的视觉呈现或预览。用于反馈的指示可以由动作操作器240呈现，诸如与动作相关联的触觉反馈、热反馈或听觉反馈。可以经由设备200或连接到设备200的另一设备来提供反馈。以此方式，用户可以接收与CMR环境的交互的确认。

设备200可以是场景感知设备，其理解现实世界环境周围的元素并生成虚拟对象作为增强现实图像。设备200可以包括任何类型的增强现实设备。增强现实设备可以是HMD设备，并且根据本公开的实施例，可以想到其他类型的增强现实设备(例如，投影仪)。设备200的一个非限制性示例是由华盛顿州雷德蒙德的微软公司开发的

此外，本文所使用的设备200的组件是指任何设备、过程、服务或其任何组合。可以使用硬件、软件、固件、专用设备或其任何组合来实现设备200的组件。设备200的不同组件可以被集成到单个设备中，或者可以被分布在多个设备上。组件的各个方面可以共处或被分布。组件可以由其他组件及其方面来形成。

除了所示出的布置或元素之外或者作为替代，可以使用其他布置和元素(例如，机器、界面、功能、命令和功能群组等)，并且可以完全省略一些元素。此外，本文描述的许多元素是功能实体，这样的功能实体可以被实现为离散或分布式组件或与其他组件结合来实现，以及以任何合适的组合和位置来实现。本文描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如，可以通过处理器执行存储在存储器中的指令来执行各种功能。

根据本公开的一些实施例，图3是示出DOI的示例性实现的一部分的示意图，并且图4是示出DOI的示例性实现的另一部分的示意图。菜单330是由HMD 320在用户310前面绘制的放射状菜单。菜单330具有8个不同的部分，各个部分具有相应的方向。菜单340模仿菜单330，并在8个方向(即，向前、向后、左侧、右侧和4个对角线方向)上以相同的菜单项显示在地板上。

HMD 320从图3中的块360和370确认用户310对特定菜单项的选择。在块360处，用户310用一只脚向后退步至部分E。HMD 320例如基于用户310的脚上所连接的可穿戴设备或光学传感器，检测其自身的与用户310做出的动力学姿势相对应的位移模式，或直接检测用户310的脚部移动。在一些实施例中，可以基于来自HMD 320、安装在HMD 320上的相机、外部深度相机等等的传感器数据来完成对脚部移动的感测。响应于检测到的位移模式，HMD 320例如通过使在菜单330上的部分E产生视觉效果332来向用户310提供视觉反馈，以确认用户310正在试图选择部分E。

在块370处，用户310将另一只脚移动到部分E，从而有效地将HMD 320的位置从原始参考点更改为菜单340的部分342内的另一位置。HMD 320检测到该位移模式。响应于检测到的位移模式，HMD 320例如通过使菜单330上的部分E产生另一视觉效果334(诸如在部分E上的内容周围放置星星)来向用户310提供视觉反馈，以确认部分E已被选择。

在块380和390处，用户310移回到原始开始位置。在这种情况下，HMD 320检测到该位移模式，因为从第一位置(即原始位置)移动到第二位置(即部分E的位置)，然后是从第二位置返回到第一位置的另一移动。HMD 320可以将该位移模式解释为激活与所选择的菜单项相关联的操作的姿势。作为示例，如果部分E表示旋转操作，则在用户310返回到原始位置之后，被用户310注视的对象可以开始旋转。

在这种脚部移动序列中，HMD 320检测到具有两次连续移动的脚部移动模式，其中第一次移动是从第一位置到第二位置，第二次移动是从第二位置到第一位置。因此，HMD320基于从第一位置到第二位置形成的方向(在这种情况下是指向部分342的方向)选择菜单的菜单项。

在替代实施例中，从图3和图4中的块360、380和390的序列中，HMD 320可以确认用户意图撤回菜单330的潜在选择。作为示例，在块380处，取代在370处将他的右脚移动到部分E，用户310将他的体重移动到他的右脚，并且开始将左脚从部分E移回到原始参考点。HMD320检测到此位移模式，并使菜单330上的部分E产生另一种视觉效果336，诸如为部分E的内容加下划线，以确认用户意图撤回对部分E的选择。

在块390处，用户310返回到原始参考点。HMD 320检测到此位移模式，并使菜单330上的部分E产生另一个视觉效果338，诸如移除对部分E的任何特殊视觉效果，以确认用户意图撤回菜单330上的任何选择。

因此，与块360、380和390相关联的位移模式提供了一种新的方式来撤消菜单330的潜在选择，而无需触发CMR环境中对目标对象的模式切换或修改。在其他实施例中，诸如通过在相反的方向上完成两步之类的不同的位移模式可以作为用户310的选项而被注册到HMD 320，以避免不期望的菜单选择。

图5是示出DOI的另一示例性实现的示意图。在该实施例中，菜单530是由HMD 520在用户510前面绘制的放射状菜单。菜单530具有8个不同的部分，各个部分具有相应的方向。菜单540模仿菜单530，并在8个方向(即，向前、向后、左侧、右侧和4个对角线方向)上以相同的菜单项显示在地板上。

除HMD 520的位移模式之外，HMD 520还利用姿势512来使对象552被改变为对象554。用户510可以使用手部姿势来对菜单530中的所选择的菜单项进行操作，例如如果缩放模式被选择，则对数据进行缩放。在这种情况下，用户510向前迈步至菜单540的部分542。HMD 520检测到由该脚部移动所引起的该位移模式。此外，HMD 520还基于用户510的手腕上已连接的可穿戴设备或光学传感器，来检测手部姿势512，其是垂直向下的轻扫运动。

响应于检测到的位移模式，HMD 520例如通过使菜单530上的部分A产生视觉效果532来向用户510提供视觉反馈，其指示用户510正试图选择部分A，部分A是用于缩放的菜单项。进一步响应于检测到的手部姿势512，HMD 520可以执行一个动作，该动作用于收缩对象552，并将其绘制为对象554。HMD 520可以使用手部姿势512的特性来控制从对象552到对象554的变换，诸如使用垂直向下的轻扫运动的距离或速度作为用于收缩对象552的控制参数。

在替代实施例中，取代做出手部姿势512，用户510可以使用他的脚部移动的特性来控制对象552的修改。举例来说，用户510可以使用步长来控制用于对象552的收缩因子，其中不同的步长可以对应于不同的收缩因子。

现在根据图1至图5来参照图6，图6是示出用于CMR环境中的DOI的方法600的流程图。方法600的每个块以及本文描述的其他方法包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，可以通过处理器执行存储在存储器中的指令来执行各种功能。该方法还可以被体现为存储在计算机存储介质上的计算机可用指令。仅举几例，该方法可以由独立应用、服务或托管服务(独立或与另一托管服务组合)或另一产品的插件来提供。

在块610处，可穿戴设备的位移可以由图2的动力学检测器210检测。如果位移的距离低于预定阈值，位移的持续时间低于预定阈值，或者位移的另一个特性不满足要求，则检测到的位移可能不必要进行进一步处理。

在一些实施例中，迟滞过程被用来检测位移或暂停正在进行的DOI。例如，可能要求用户在任何方向上但以足够的速度(例如每秒20cm)移动可穿戴设备(例如HMD)以触发位移的检测。可替代地，可能要求用户将可穿戴设备从空闲位置移动超过某个阈值距离(例如20cm)。可以为每只脚设置不同的阈值距离。对于诸如朝向菜单项移动或向后移动到中心之类的不同的脚部移动，可以不同地设置阈值距离。

作为另一个示例，当用户停止移动一个时段(例如1秒钟)时，正在进行的DOI可能被暂停。作为又一个示例，控制设备可以被用来激活或停止DOI，诸如使用控制设备上的按钮来激活或停止DOI。

在块620处，可以例如通过图2的模式识别器230将位移和与操作相关联的位移模式相比较。诸如经由平移、缩放、旋转等等来修改目标对象的操作之类的特定操作可以由菜单项定义。位移模式也可以由菜单项定义，例如，特定菜单项在菜单上的放置，即在具有特定方向的特定部分中。

在一些实施例中，菜单项表示与CMR环境中的对象或视图相关的操作。此外，菜单项与位移范围相关联，该位移范围可以是在如下平面中的角度的范围，该平面横向于由HMD定义的纵轴。在一些实施例中，该横向于纵轴的平面与地板平行。

使用图1中的菜单140为例，部分C可以与0至45度的范围相关联；部分B可以与46度至90度的范围相关联；部分A可以与91至135度的范围相关联；部分H可以与136度至180度的范围相关联；等等。

此外，所有部分可以与最小距离和最大距离相关联。在一个实施例中，最小距离和最大距离可以基于检测到的位移的速度或加速度而动态改变。在各个实施例中，图2的模式识别器230可以进一步被配置为确定位移的距离值是否大于与位移范围相关联的最小距离并且小于与位移范围相关联的最大距离。在一些实施例中，系统将忽略距离范围之外的位移。以此方式，可以减轻假的正位移的检测。举例来说，如果用户继续行走，则位移的距离将超过最大距离阈值，并且对于本公开的目的，此行走动作将不被解释为动力学姿势。

模式识别器230可以将检测到的位移的各种特性和诸如位移的方向或角度、位移的持续时间、位移的速度等之类的与操作相关联的已知位移模式相比较。举例来说，要被比较的一个特性是方向。如果方向落入0度和45度的范围内，则可以选择菜单140的部分C。

可以使用不同的匹配准则，诸如相同匹配或基本匹配。在相同匹配测试中，要比较的所有特性必须匹配。在基本匹配测试中，可以使用例如比较特性的70％的预定义阈值来确定是否通过基本匹配测试。举例来说，如果存在要比较的三个特性，并且阈值为2/3；那么只有在检测到的位移模式和与菜单项相关联的已知位移模式之间匹配两个或三个特性时，才会选择该菜单项。

在块630处，可以基于比较来激活CMR环境中的操作，例如通过图2的动作操作器240进行激活。通常，如果检测到的位移模式和与操作相关联的位移模式匹配，则可以激活该操作。此外，动作操作器240可以使用位移的特性来控制动作。举例来说，动作操作器240可以使用位移的距离来控制动作的幅度，例如缩放因子。

在各个实施例中，模式识别器被配置为确定位移的角度方向是否被界定在位移范围的最小角度与最大角度内。如结合块620所描述的，与菜单项相关联的位移范围可以定义一个或多个极值，诸如与菜单140的部分C相关联的范围的最小值为0以及最大值为45。如果检测到的位移模式示出23度的角度，那么它被界定在与菜单140的部分C相关联的位移范围的两个极值内。因此，可以选择菜单140的部分C，或者可以激活选择与部分C相关联的操作。

在一些实施例中，迟滞过程被用来激活操作。举例来说，响应于菜单项被选择，HMD可以修改菜单项在菜单上的视觉呈现，并以预定时间段启动计时器。在计时器耗尽之后，HMD可以激活与菜单项相关联的操作。

结合图3，在块370处，可以启动计时器。如果预定时间段结束，那么可以激活与部分E相关联的操作。然而，如果用户在计时器耗尽之前做出了另一移动，诸如向前两步走到部分A，则可以改为选择部分A的菜单项。之后，可以为该新选择启动另一个计时器。有利地，在这些实施例中，用户可以容易地改变他的菜单选择。

现在根据图1-图6来参照图7，图7是示出用于CMR中的DOI的方法700的流程图。方法700的每个块以及本文描述的其他方法包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如，可以通过处理器执行存储在存储器中的指令来执行各种功能。该方法还可以被体现为存储在计算机存储介质上的计算机可用指令。仅举几例，该方法可以由独立应用、服务或托管服务(独立或与另一托管服务组合)或另一产品的插件来提供。

在块710处，可以例如通过HMD 520中的动力学检测器接收指示脚部移动的信号。举例来说，结合图5，用户510将其右脚向前移动到部分542中，并且例如由位移传感器生成的指示该脚部移动的信号被HMD 520中的动力学检测器接收。

在块720处，可以例如由HMD 520中的模式识别器来检测脚部移动的模式。继续上述示例，HMD 520中的模式识别器可以将脚部移动的当前模式识别为具有向前方向的横向位移，其与在部分542上的菜单项相关联的位移模式匹配。

在块730处，可以例如由HMD 520中的动作操作器基于脚部移动的模式来选择CMR环境中的菜单项。继续上述示例，HMD 520中的动作操作器然后可以选择部分A上的菜单项，并通过更改部分A的外观来提供视觉反馈。

在块740处，可以基于所选择的菜单项和另一输入来激活操作。结合图5，附加输入是手部姿势。部分A可以表示缩放操作，并且手部姿势可以进一步提供例如与手部姿势的距离或速度成比例的用于缩放的控制因子。在另一个实施例中，可以从诸如启用附加输入的触摸板之类的控制设备生成附加输入。在其他实施例中，可以使用其他类型的输入来提供用于操作的控制参数。

已经描述了本发明的实施例，下面描述可以在其中实现本发明的实施例的示例性操作环境，以便为本发明的各个方面提供一般上下文。具体地，首先参照图8，用于实现本发明的实施例的示例性操作环境被示出并且总体上被指定为计算设备800。

计算设备800仅是合适计算环境的一个示例，并且无意于暗示对本文所描述的技术的使用范围的任何限制。计算设备800也不应被解释为具有与所图示的组件中的任何一个或组件的组合相关的任何依赖性或要求。

本文所描述的技术可以在由计算机或其他机器执行的计算机代码或机器可用指令(包括诸如程序组件之类的计算机可执行指令)的一般上下文中进行描述。通常，包括例程、程序、对象、组件、数据结构等等在内的程序组件是指执行特定任务或实现特定抽象数据类型的代码。本文所描述的技术可以在包括手持设备、消费电子产品、通用计算机、专用计算设备等等在内的各种系统配置中实践。也可以在由通过通信网络连接的远程处理设备执行任务的分布式计算环境中实践本文所描述的技术的各方面。

继续参考图8，计算设备800包括直接或间接耦合以下设备的总线810：存储器820、一个或多个处理器830、一个或多个呈现组件840、输入/输出(I/O)端口850、I/O组件860以及示例性电源870。总线810表示可以是一个或多个总线(诸如地址总线、数据总线或其组合)的总线。尽管为了清楚起见，图8的各个块用线示出，但是实际上，描绘各个组件并不是如此清楚的，并且隐喻地，线将更准确地是灰色和模糊的。例如，可以将诸如显示设备之类的呈现组件视为I/O组件。另外，处理器具有存储器。本发明的发明人认识到这是本领域的性质，并且重申图8的图表仅仅例示了可与本文所描述的技术的一个或多个方面结合使用的示例性计算设备。在“工作站”、“服务器”、“笔记本计算机”、“手持设备”等类别之间未进行区分，因为所有这些应当想到是在图8的范围内，并且称为“计算机”或“计算设备”。

计算设备800通常包括各种计算机可读介质。计算机可读介质可以是可由计算设备800访问的任何可用介质，并且包括易失性和非易失性、可移动和不可移动介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。

计算机存储介质包括RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能磁盘(DVD)或其他光盘存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备。计算机存储介质不包括传播的数据信号。

通信介质通常将计算机可读指令、数据结构、程序模块或其他数据体现在诸如载波或其他传输机制之类的调制数据信号中，并且包括任何信息递送介质。术语“调制数据信号”意指具有以将信息编码在信号中的方式来设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质包括诸如有线网络或直接有线连接之类的有线介质、以及诸如声学、RF、红外和其他无线介质之类的无线介质。以上任何内容的组合也应被包括在计算机可读介质的范围内。

存储器820包括易失性和/或非易失性存储器形式的计算机存储介质。存储器820可以是可移动的、不可移动的或其组合。示例性存储器包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备800包括一个或多个处理器830，其从诸如总线810、存储器820或I/O组件860之类的各种实体读取数据。呈现组件840将数据指示呈现给用户或其他设备。示例性呈现组件840包括显示设备、扬声器、打印组件、振动组件等。I/O端口850允许计算设备800逻辑耦合到包括I/O组件860的其他设备，其中一些可以被内置。

在各个实施例中，存储器820尤其包括位移取向交互(DOI)逻辑822的时间和持久副本。DOI逻辑822包括指令，当由一个或多个处理器830执行时，这些指令导致计算设备800执行各种功能，诸如但不限于方法600或700。在各种实施例中，DOI逻辑822包括指令，当由(多个)处理器830执行时，这些指令导致计算设备800执行与结合图2的动力学检测器210、上下文处理机220、模式识别器230、动作操作器240或绘制组件250相关联的各种功能，但不限于此。

在一些实施例中，一个或多个处理器830可以与DOI逻辑822封装在一起。在一些实施例中，一个或多个处理器830可以与DOI逻辑822封装在一起以形成系统级封装(SiP)。在一些实施例中，一个或多个处理器830可以与DOI逻辑822集成在同一裸片上。在一些实施例中，处理器830可以与DOI逻辑822集成在同一裸片上以形成片上系统(SoC)。

例示的I/O组件包括麦克风、操纵杆、游戏垫、卫星天线、扫描仪、打印机、显示设备、无线设备、控制器(诸如触控笔、键盘和鼠标)、自然用户界面(NUI)等。在各方面中，提供了笔数字化器(未示出)和随附的输入工具(也未示出但是仅作为示例，其可以仅包括笔或触控笔)，以便数字地捕获徒手的用户输入。笔数字化器和(多个)处理器830之间的连接可以是直接的或经由利用串行端口、并行端口、通用串行总线(USB)端口和/或本领域已知的其他接口和/或系统总线的耦合。此外，数字化器输入组件可以是与诸如显示设备之类的输出组件分离的组件，或者在一些方面中，数字化器的可用输入区域可以与显示设备的显示区域共存，与显示设备集成在一起，或者可以作为单独的设备覆盖或以其他方式附加到显示设备而存在。任何和所有这样的变体及其任何组合应想到是在本文所描述的技术的各方面的范围内。

计算设备800可以包括联网接口880。联网接口880包括发送和接收数据的网络接口控制器(NIC)。联网接口880可以使用有线技术(例如同轴电缆、双绞线、光纤等)或无线技术(例如地面微波、通信卫星、蜂窝、无线电和扩频技术等)。特别地，联网接口880可以包括适于在各种无线网络上接收通信和媒体的无线终端。计算设备800可以经由诸如码分多址(CDMA)、全球移动系统(GSM)或时分多址(TDMA)等无线协议以及其他协议来进行通信，以经由联网接口880来与其他设备进行通信。无线电通信可以是短距离连接、长距离连接、或者是短距离和长距离无线电信连接的组合。短距离连接可以包括与提供对无线通信网络的访问的设备(例如，移动热点)的

连接，诸如使用802.11协议的无线局域网(WLAN)连接。与另一个计算设备的蓝牙连接是短距离连接的第二个示例。远距离连接可以包括使用CDMA、GPRS、GSM、TDMA和802.16协议中的一种或多种的连接。

本文中具体描述本发明的实施例的主题以满足法定要求。然而，说明书本身并无意限制本专利的范围。相反，发明人已经预想到，所要求保护的主题还可以结合其他当前或未来的技术以其他方式来体现，以包括与本文档中所描述的步骤不同的步骤或与之相类似的步骤的组合。此外，尽管本文可以使用术语“步骤”和/或“块”来标示所采用的方法的不同元素，但是除非并且除了当明确描述了各个步骤的顺序，否则这些术语不应被解释为暗示本文所公开的各个步骤之中或之间的任何特定顺序。

为了本公开的目的，词语“包括”具有与词语“包含”相同的广义含义，并且词语“访问”包括“接收”、“引用”或“获取”。另外，除非另外指出，否则诸如“一”和“一个”之类的词语包括复数形式和单数形式。因此，例如，在存在一个或多个特征的情况下，满足“一个特征”的约束。同样，术语“或”包括连接词、析取词和两者(因此a或b包括a或b以及a和b)。

为了上面的详细讨论的目的，参考头戴式显示单元描述了本发明的实施例；然而，本文所描绘的头戴式显示单元仅是示例性的。组件可以被配置用于执行实施例的新颖方面，其中“被配置用于”包括被编程为执行特定任务或使用代码来实现特定抽象数据类型。此外，尽管本发明的实施例通常可以参考本文所描述的头戴式显示单元和示意图，但应当理解，所描述的技术可以被扩展到其他实现上下文。

已经关于特定实施例描述了本发明的实施例，这些特定实施例在所有方面都旨在是示例性而非限制性的。在不脱离本发明范围的情况下，替代实施例对于本发明所属领域的普通技术人员将变得显而易见。

从前述内容可以看出，本发明非常适于达成上述所有目的和目标以及结构所固有和显而易见的其他优点。

将理解，某些特征和子组合是有用的，并且可以在不参考其他特征或子组合的情况下被采用。这是由权利要求能想到的并且在权利要求的范围之内。

Claims (17)

1.一种可穿戴设备，包括：

计算机存储器以及与所述计算机存储器通信的处理器，所述处理器被配置为：

使菜单显示，所述菜单具有与至少三个不同位移范围相对应的至少三个菜单项，所述至少三个不同位移范围横向于所述可穿戴设备的纵轴，所述至少三个菜单项被配置在基于所述至少三个不同位移范围的相应角度的布置；

检测所述可穿戴设备以横向于所述可穿戴设备的所述纵轴的位移从第一位置到第二位置的移动，其中所述菜单上的所述至少三个菜单项的所述布置在所述可穿戴设备的所述移动期间保持不变；

确定所述位移对应于所述至少三个不同位移范围中的位移范围；以及

响应于所述位移对应于所述位移范围的所述确定，在所述计算机介导现实环境中激活与对应于所述位移范围的菜单项相关的操作。

2.根据权利要求1所述的设备，其中所述处理器还被配置为确定与所述计算机介导现实环境中的所述操作相关的上下文信息。

3.根据权利要求1所述的设备，其中所述处理器还被配置为响应于所述位移对应于所述位移范围，使视觉反馈与所述菜单项一起呈现。

4.根据权利要求1所述的设备，还包括：

用于测量所述位移的值的位移传感器。

5.根据权利要求4所述的设备，其中所述处理器还被配置为确定所述位移的所述值大于与所述位移范围相关联的最小距离并且小于与所述位移范围相关联的最大距离。

6.根据权利要求1所述的设备，还包括：

取向传感器，所述取向传感器用于参考所述第一位置来确定所述位移的角方向，所述第一位置是横向于所述纵轴的二维欧几里得平面的原点。

7.根据权利要求6所述的设备，其中所述处理器还被配置为用于确定所述角方向被所述位移范围的最小角度和最大角度界定。

8.根据权利要求1所述的设备，其中所述处理器还被配置为根据所述至少三个不同位移范围的所述相应角度，以放射状的方式布置所述至少三个菜单项。

9.根据权利要求1所述的设备，其中所述处理器还被配置为：响应于所述位移在与所述菜单相关联的所有位移范围之外，使所述菜单从所述计算机介导现实环境的当前视图中被移除。

10.根据权利要求1所述的设备，其中所述处理器还被配置为：使所述菜单的副本显示在所述可穿戴设备的用户周围的地板上。

11.一种计算机实现的方法，包括：

使引导菜单显示，所述引导菜单具有与可穿戴设备的不同位移范围相对应的多个菜单项，所述多个菜单项被配置在基于所述不同位移范围的相应角度的放射状布置中；

检测所述可穿戴设备以横向于所述可穿戴设备的纵轴的位移从第一位置移动到第二位置，其中所述引导菜单上的所述多个菜单项的所述放射状布置在所述可穿戴设备从所述第一位置移动到所述第二位置期间保持不变；

确定所述位移在与所述多个菜单项中的菜单项相关联的位移范围内；以及

响应于所述位移在与所述菜单项相关联的所述位移范围内，调用由所述菜单项表示的可动作项。

12.根据权利要求11所述的方法，还包括：

检测所述可穿戴设备从所述第二位置到所述第一位置的另一移动；以及

响应于所述另一移动来激活与所述可动作项相关联的操作。

13.根据权利要求11所述的方法，还包括：

检测所述位移的方向和距离；

确定所述方向在与所述位移范围相关联的方向范围内；以及

确定所述距离大于与所述位移范围相关联的最小阈值并且小于与所述位移范围相关联的最大阈值。

14.根据权利要求11所述的方法，还包括：

检测所述可穿戴设备的平行于所述纵轴的位移的另一移动，

其中所述引导菜单响应于所述另一移动被检测到而被显示。

15.根据权利要求11所述的方法，还包括：

检测手部姿势；以及

基于所述可动作项来解释所述手部姿势。

16.根据权利要求15所述的方法，还包括：

基于所述可动作项和所述手部姿势的组合来修改计算机介导现实环境的对象或视图。

17.根据权利要求11所述的方法，还包括：

使所述引导菜单的副本显示在横向于所述可穿戴设备的所述纵轴的平面上。

Images