CN109144235A - 基于头手协同动作的人机交互方法与系统 - Google Patents

Abstract

公开了基于头手协同动作的人机交互方法与系统。所公开的人机交互方法，包括：响应于用户作出抬头动作，展示控件；响应于对应于手部的光标在控件所在平面的投影进入所述控件的区域，将所述控件设置为待激活状态；响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为激活状态。

Description

基于头手协同动作的人机交互方法与系统

技术领域

本申请涉及人机交互领域。具体地，本申请涉及通过头部动作与手势协同操作控件进行人机交互的方法与系统。

背景技术

人机交互技术中，控件是用于构建图形用户界面的可重用软件组件。通常，一个控件对应一种功能。例如，图1展示了二维图形用户界面中的“确认”控件。“确认”控件包括提示窗，提示窗中包括“确认”按钮与“取消”按钮。在“确认”控件被调用时，弹出如图1所示的提示窗，识别用户对“确认”按钮或“取消”按钮的点击来获得用户的操作意图，并实现人机交互。现有技术中的滑动解锁技术，通过手部在触摸屏上的滑动向信息处理设备告知用户的输入意图。

新型人机交互技术也在不断发展，基于手势识别的人机交互技术是热点之一。对手部运动的识别，可以通过多种方法实现。来自微软公司的US20100199228A1(公开日：2010年8月5日)提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自Nintendo公司的US20080291160A1(公开日：2008年11月27日)提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。图2示出了来自天津锋时互动科技有限公司的专利申请CN201110100532.9提供的手势识别与空间位置的感知系统与方法。如图2所示，手势识别系统包含：计算机主机101、多摄像头系统的控制电路102、多个摄像头103、使用者手部104、运行于计算机主机101的应用程序105、应用程序105中的被操作对象106与虚拟手光标107。手势识别系统还包括在图2中未示出的用于照明使用者手部104的红外照明光源以及放置于每个摄像头前的红外滤光片。多个摄像头103捕获使用者手部104的图像，控制电路102对摄像头103采集的手部图像进行处理，并识别手部的姿态和/或位置。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。在中国专利申请2017100975946与2017101161574中也提供了基于手势的人机交互方案。

发明内容

在基于手势识别的人机交互过程中，需要向用户给出有效的反馈，以向用户告知系统所处的状态，系统对用户的输入的反应，指导用户实施下一步的交互动作，以促进人机交互的完成。设计控件来促进应用程序的开发。控件以头部动作与手势作为输入，而产生事件或消息作为输出。事件或消息可指示用户的“确认”、“取消”、“打开”或“关闭”等操作目的，或指示多种不同含义的用户意图。而且由于人的生物特征决定了用户的手在三维交互空间的轨迹无法实现笔直或者规范的问题，本申请提供技术方案以使信息处理设备有效地理解用户动作的意图。

菜单是人机交互技术中常用的控件。菜单通常包括多个菜单项，完全展开的菜单会占用较大的空间或面积。在虚拟现实系统中，缺少有效的基于手势的操作菜单控件实现人机交互的方案。

除了菜单，还需要其他类型的控件组。在控件组中提供多个控件的实例。控件组中的控件具有相同或不同的类型。需要控件组为人机交互提供最大的便利性。需要合理提供控件组及其操作方式，以便于在人机交互中使用控件组，来接收用户意图，并向用户给出对操作效果或进展的反馈。

对控件组的呼出也是本申请要解决的问题之一。仅在使用时向用户展示控件组是有利的。在控件组不被使用时，隐藏控件组，以充分利用人机交互系统的视觉空间为用户提供其他服务。在需要使用控件组时，提供便捷而可靠的手段允许用户呼出控件组。

基于手势的人机交互过程中，用户手部是关键资源。在有多项交互任务进行期间，手部可能被一项或多项正在处理的任务占用，例如驾车。需要提供有效的交互方式既提供交互的便捷性又减少对用户手部的占用。

在本申请的实施例中，还通过向用户提供视觉反馈，来促进利用菜单控件的人机交互的完成。

根据本申请的第一方面，提供了根据本申请第一方面的第一人机交互方法，包括：响应于用户作出抬头动作，展示控件；响应于对应于手部的光标在控件所在平面的投影进入所述控件的区域，将所述控件设置为待激活状态；响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为激活状态。

根据本申请第一方面的第一人机交互方法，提供了根据本申请第一方面的第二人机交互方法，其中，依据用户视线朝向上方且视线平面与水平面的夹角大于指定角度识别用户作出抬头动作；或者

依据向量序列满足指定条件识别用户作出抬头动作，其中通过对代表用户头部在现实世界中的姿态、用户视线和/或用户瞳孔朝向的向量的多个采样得到所述向量序列。

根据本申请第一方面的第一或第二人机交互方法，提供了根据本申请第一方面的第三人机交互方法，其中在用户视线平面与所述控件所在平面的交线处展开控件。

根据本申请第一方面的第一至第三人机交互方法之一，提供了根据本申请第一方面的第四人机交互方法，还包括：响应于用户作出低头动作，隐藏控件。

根据本申请第一方面的第四人机交互方法，提供了根据本申请第一方面的第五人机交互方法，其中依据用户视线朝向下方且视线平面与水平面的夹角大于指定角度识别用户作出低头动作；或者

依据向量序列满足指定条件识别用户作出低头动作，其中通过对代表用户头部在现实世界中的姿态、用户视线和/或用户瞳孔朝向的向量的多个采样得到所述向量序列。

根据本申请第一方面的第一至第五人机交互方法之一，提供了根据本申请第一方面的第六人机交互方法，还包括：响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，生成同所述控件对应的事件。

根据本申请第一方面的第一至第六人机交互方法之一，提供了根据本申请第一方面的第七人机交互方法，还包括：响应于对应于手部的光标在所述控件所在平面的投影进入所述控件的区域，将光标绘制为准星图标；依据手部在虚拟坐标系中同所述控件的距离，更新准星图标的尺寸。

根据本申请第一方面的第一至第七人机交互方法之一，提供了根据本申请第一方面的第八人机交互方法，其中，响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，还绘制所述控件被按下的效果。

根据本申请第一方面的第一至第八人机交互方法之一，提供了根据本申请第一方面的第九人机交互方法，还包括响应于对应于手部的光标在所述控件所在平面的投影进入所述控件的区域，，在所述控件周围绘制瞄准框。

根据本申请第一方面的第一至第九人机交互方法之一，提供了根据本申请第一方面的第十人机交互方法，还包括响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将同所述控件相关的其他控件设置为初始状态。

根据本申请第一方面的第一至第十人机交互方法之一，提供了根据本申请第一方面的第十一人机交互方法，还包括：响应于对应于手部的光标在所述控件所在平面的投影离开所述控件的区域，将处于待激活状态的所述控件设置为初始状态。

根据本申请第一方面的第一至第十一人机交互方法之一，提供了根据本申请第一方面的第十二人机交互方法，还包括：依据手部在现实坐标系中的位置得到对应于手部的光标在虚拟坐标系中的位置。

根据本申请第一方面的第一至第十二人机交互方法之一，提供了根据本申请第一方面的第十三人机交互方法，其中所述控件被绘制在相对于虚拟空间中相对于用户头部的指定位置；以及响应于用户头部运动，保持所述控件在相对于虚拟空间中用户头部的指定位置。

根据本申请第一方面的第一或第五人机交互方法，提供了根据本申请第一方面的第十四人机交互方法，其中响应于隐藏所述控件，还记录同所述控件相关的控件的状态。

根据本申请第一方面的第十四人机交互方法，提供了根据本申请第一方面的第十五人机交互方法，还包括响应于展示所述控件，依据所记录的控件的状态，将控件设置为初始状态或已激活状态。

根据本申请第一方面的第六人机交互方法，提供了根据本申请第一方面的第十六人机交互方法，其中仅对于处于待激活状态的控件，检测手部在虚拟坐标系中同所述处于待激活状态的控件的距离，并依据所述距离确定准星图标的直径。

根据本申请第一方面的第一至第十六人机交互方法之一，提供了根据本申请第一方面的第十七人机交互方法，其中依据瞳孔朝向和/或头部在现实坐标系中的姿态获得用户视线的朝向。

根据本申请的第二方面，提供了根据本申请第二方面的第一人机交互装置，包括：头部姿态获取模块，用于响应于用户作出抬头动作，展示控件；光标获取模块，用于响应于对应于手部的光标在控件所在平面的投影进入所述控件的区域，将所述控件设置为待激活状态；手部位置获取模块，用于响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为激活状态。

根据本申请的第三方面，提供了根据本申请第三方面的第一人机交互系统，包括计算单元、显示设备以及传感器模块；所述计算单元用于运行虚拟现实应用以构建虚拟现实场景；所述显示设备用于显示计算单元构建的虚拟现实场景；传感器模块用于感知用户头部姿态以及用户手部的姿态和/或位置；所述计算单元基于传感器所感知的用户头部姿态，指示显示设备展示控件；所述计算单元响应于对应于手部的光标在控件所在平面的投影进入所述控件的区域，将所述控件设置为待激活状态；所述计算单元响应于手部在虚拟世界中相对所述控件的距离小于阈值，将所述控件设置为激活状态。

根据本申请的第四方面，提供了根据本申请第四方面的信息处理设备，包括处理器、存储器、显示设备，所述信息处理设备还耦合到传感器模块并接收传感器模块感知的用户的状态；所述存储器存储程序，所述处理器运行所述程序使所述信息处理设备执行根据本申请第一方面的人机交互方法之一。

根据本申请的第五方面，提供了根据本申请第五方面的存储介质，其上存储程序，所述程序被处理器运行时实施本申请第一方面的人机交互方法之一。

附图说明

当连同附图阅读时，通过参考后面对示出性的实施例的详细描述，将最佳地理解本申请以及优选的使用模式和其进一步的目的和优点，其中附图包括：

图1展示了现有技术中二维图形用户界面的“确认”控件；

图2是现有技术中的手势识别系统结构示意图；

图3是根据本申请实施例的基于手势识别的人机交互系统的框图；

图4A-4E是根据本申请实施例的菜单的多种状态的示意图；

图5是根据本申请实施例的菜单中的菜单项的状态图；

图6A－6B是根据本申请多个实施例的实现人机交互方法的流程图；

图7是根据本申请又一实施例的菜单项的状态图；以及

图8是根据本申请实施例的信息处理设备的框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

图3是根据本申请实施例的基于手势识别的人机交互系统的框图。根据本申请实施例的人机交互系统包括彼此耦合的手势输入设备310、信息处理设备320以及显示设备330。在一个例子中，手势输入设备310，用于捕获用户手部的图像，并将获取的图像发送给信息处理设备进行处理。信息处理设备320，用于接收手势输入设备发送的手部图像，识别图像中用户手部的手势信息。信息处理设备320还通过显示设备330向用户展示图形和/或图像，例如在显示设备330上绘制用户手部的虚拟图像。信息处理设备可以是诸如计算机、手机或专用的手势识别设备。显示设备330可以是诸如平面显示器、投影仪、头戴式显示器。

在另一个例子中，手势输入设备310感知用户手部的位置和/或姿态，识别用户手部的手势信息，并将用户手部信息发送给信息处理设备320。信息处理设备320识别手势输入设备310提供的用户手部信息作为用户提供的输入，并通过显示设备330向用户提供输出，以实现人机交互。显然，信息处理设备320还可通过声音、力学作用等形式与用户进行交互。

作为依然另一个例子，手势输入设备310还是可以是例如深度传感器、距离传感器、VR控制器(如Oculus Rift Touch)、游戏手柄、数据手套(如CyberGlove)、动作捕捉系统(如OptiTracker)、陀螺仪等，用于感知用户手部的位置和/或姿态。

手势输入设备310还包括头部姿态检测设备312。头部姿态检测设备312可以是例如头盔或头戴设备。通过布置于头盔上的陀螺仪识别用户头部的位置与方向，并可进而确定用户眼睛的方向作为视线方向。作为另一个例子，通过视频或图像捕捉设备识别用户眼睛，特别是瞳孔，所观察的方向作为识别用户做出抬头动作的依据。视频或图像捕捉设备可布置于头盔上或人机交互系统中可观察到用户眼睛的位置。作为又一个例子，通过视频或图像捕捉设备捕获用户头部的图像，并从图像中识别用户头部的姿态，以识别用户做出抬头动作。

头部姿态检测设备312识别用户头部的姿态，并提供给信息处理设备320。可选地，头部姿态检测设备312捕获基本信息并提供给信息处理设备320，而由信息处理设备320从基本信息中提取出用户是否做出抬头动作、抬头的幅度、视线的朝向或视线相对水平面的角度。作为另一个例子，头部姿态检测设备312独立于手势输入设备310，并通过独立的信道同信息处理设备320交互。可选地，头部姿态检测设备312识别用户的视野范围，并提供给信息处理设备320。视野范围可以是以用户的眼睛或头部为起点的锥体，以用户的视线作为椎体的主轴线。

从用户在现实世界(或称“现实空间”)中所做的手势和/或动作，提取出基于虚拟坐标系的手势信息(i)。手势信息(i)可以是一个向量，并形式化表示为i＝{C,palm,thumb,index,mid,ring,little}。其中，c表示整个手的手型，例如，握拳、五指张开、胜利手势等，palm代表指示手掌的位置信息，thumb、index、mid、ring和little分别代表拇指、食指、中指、无名指和小指的位置信息和/或朝向信息。以及其中，虚拟坐标系用以展示由信息处理设备320所构建的虚拟世界(或称“虚拟空间”)中的位置信息。而用现实坐标系展示现实世界中物体或空间的位置信息。信息处理设备320所构建的虚拟世界可以是例如二维图形用户界面的二维空间、三维空间或融合了用户的虚拟现实场景。现实坐标系与虚拟坐标系，可以是二维坐标系或三维坐标系。可按一定的频率或时间间隔更新手势信息(i)，或者在用户的手部位置和/或姿态发生变化时，更新手势信息(i)。

在用户界面上，可以依据手势信息(i)显示光标，用来向用户提供视觉响应。光标在图形界面上的位置可表示为手势信息(i)的函数，例如func_a(i)。本领域技术人员可以理解，函数func_a根据不同的应用场景或设置而不同。

例如，在一个二维用户界面中，通过公式(1)计算要绘制光标的位置：

Func_a(i)＝C*0+palm*0+index.position*0.5+mid*0+little*0 (1)

(1)式中，index.position指用户食指的位置，因而从(1)式中可知，光标在用户界面上的位置，仅依赖于用户食指位置，且光标在用户界面上移动的距离，是用户食指移动距离的一半。

光标可具有单一样式，例如手的形状。光标也可具有对应于不同手型的多种样式。作为一个例子，光标展示了手型，例如，食指伸出、其余四指弯曲，手心朝向用户自己的手型，光标还提供了食指指向的方向。

从用户在现实世界中的视线的朝向，提取出视线在虚拟世界中的朝向。以及基于用户头部和/或手部在虚拟世界中的位置，计算在虚拟世界中用户的视线所处的直线、圆柱体或圆锥体。在虚拟世界中用户的视线所处的直线、圆柱体或圆锥体同控件所在的平面可能相交，将相交的位置确定为用户视线所朝向、所观察的位置或区域。相交位置或区域的控件或对象是用户视线所观察的对象。还识别在虚拟世界中用户视线的移动，并确定用户视线进入或离开的区域，或者确定用户视线在控件所在平面上进入或离开的区域。

在根据本申请的实施例中，在非通过控件进行人机交互时，控件是隐藏的，从而虚拟世界中的二维或三维空间可全部用于展示虚拟场景，而仅当用户希望通过控件进行人机交互时，才绘制或展示控件。以及当基于控件的人机交互完成，再次隐藏控件。

在根据本申请的实施例中，用户做出抬头动作，作为对呼出控件的指示。人机交互系统响应于识别用户做出抬头动作，在虚拟世界中展示控件。作为举例，人机交互系统的头部姿态检测设备312识别用户做出了抬头动作，或者手势输入设备310提取用户头部的图像并提供给信息处理设备320，而信息处理设备320识别用户是否做出抬头动作。依据对用户抬头动作的识别，信息处理设备决定是否通过显示设备330在虚拟世界中展示控件和/或其它同用户交互的内容。可选地，人机交互系统还向用户提供基于听觉、触觉等的交互方式。

作为一个例子，将用户视线与水平面的夹角大于指定值(例如，30度)作为用户做出抬头动作的依据。在另一个例子中，用户通过做出低头、点头或摇头动作，作为对呼出控件的指示。人机交互系统相应地在虚拟世界中展示控件。又在一个例子中，识别视平面与水平面的夹角作为用户做出抬头动作的依据。视平面为同用户的脸平面(将用户脸部视作一平面)垂直的平面，同用户的脸平面相交于用户双眼中心连线。视平面位于用户脸部前方，并随用户头部姿态的改变而改变。在依然又一个例子中，将用户视线进入指定区域、观察指定物体作为对呼出控件的指示。作为依然又一个例子，对代表用户头部在现实世界中的姿态、用户视线和/或用户瞳孔朝向的向量进行多次采样，得到向量序列。识别该向量序列满足指定条件时，判定用户作为抬头动作。例如，在一段时间t内，以指定的频率f对代表用户头部在现实世界中的姿态、用户视线和/或用户瞳孔朝向的向量进行多次采样，将采样得到的向量序列作为参数提供给用于识别抬头动作的函数，在函数中识别向量序列是否满足指示用户抬头的条件。指示用户抬头的条件包括用户视线与水平面的夹角大于指定值、用户头部相对水平面的俯仰角大于指定值，并且保持时间大于指定值等。可选地，引导用户录制指示抬头动作的模板，作为在函数中使用的条件。响应于在函数中检测到向量序列同录制的模板匹配，识别出用户作出抬头动作。

类似地，人机交互系统的头部姿态检测设备312和/或信息处理设备320识别用户是否做出低头动作。

可选地，为降低误操作，在进行人机交互时，用户做出抬头动作并保持指定时间(例如，0.7秒)，以将用户呼出菜单的意图同出于放松等目的而活动头部的动作相区分。

控件可以是按钮、单选框、复选框、菜单项等。下面以用户的抬头动作作为举例，以菜单作为被呼出的控件的例子，描述根据本申请的实施例的人机交互方案。

人机交互系统检测到用户做出抬头动作后，在虚拟世界中展示菜单。可选地，在易于用户观察的位置，例如，用户视野的中间或偏上的位置，绘制菜单。由于在呼出菜单时，用户做出抬头动作，在用户视线与用于绘制菜单的平面的交点作为展示菜单的起点，并使菜单向下展开，从而菜单恰好展示在做出抬头动作的用户的视野内。依然可选地，在虚拟世界中与用户脸部所朝向的方向的中心偏上的位置作为展示菜单的起点，而无需检查用户视线的方向。可选地，响应于用户头部运动，使菜单保持在用户脸部所朝向的方向或视线所观察的位置。

依然可选地，在确认了用户呼出菜单的意图后，虚拟现实系统向用户提供视觉、听觉和/或触觉反馈来向用户提示已识别了用户的意图。

图4A-4E是根据本发明实施例的菜单控件的多种状态的示意图。在虚拟世界中可视地向用户展示菜单。菜单可以是二维的，也可以是三维的。菜单中包括一个或多个菜单项。参看图4A，菜单控件呈现为矩形区域。菜单中包括标记有“红”文字的菜单项410、标记有“绿”文字的菜单项420与标记有“蓝”文字的菜单项430。菜单项的文字用于向用户提示菜单项的含义。菜单项可被用户触发，用户通过触发菜单项来指示人机交互系统实施同菜单项对应的功能，例如，对于音乐的“播放”、“停止播放”、“快进”与“快退”等功能。

图4A的例子中，初始状态的菜单中，作为举例，所有的菜单项具有相同的显示样式，以向用户指示这些菜单项均可响应用户操作。而作为另一个例子，菜单中的菜单项之一，例如，菜单项410(位于最左方的菜单项)被高亮显示。

图4B是根据本发明实施例的处于待激活状态的菜单。响应于光标进入菜单的菜单项之一所在区域，将菜单设置为待激活状态，而响应于光标离开菜单区域，或光标没有位于任一菜单项的区域，菜单变为初始状态。图4B中，同光标所在位置相对应的菜单项420的展示效果同其他菜单项不同，例如高亮地显示，以向用户指示同用户手部对应的光标在菜单所在平面的投影位于菜单项420所在区域。以及随着用户手部移动，光标所在位置可能对应于其他菜单项，而仅有同光标所在的位置对应的菜单项处于被高亮地显示。通过与其他菜单项不同地高亮地显示菜单项之一，向用户指示当前被光标或用户手部所指示的菜单项，用户可据以调整手部位置，以准确且便利地表示或变更希望操作的菜单项。

图4C是根据本发明实施例的处于激活状态的菜单。响应于虚拟世界中用户手部到菜单项之一(菜单项420)的距离小于指定值，触发对菜单项420的点击，产生事件或者消息，以指示用户点击了菜单项420，以及将菜单设置为激活状态。点击事件或消息同菜单项上的文字相关联。可选地，绘制菜单项被按下的效果或者绘制菜单项被按下又弹起的效果，以向用户指示触发了对菜单项的点击，并且点击已经完成。在另一个例子中，菜单项被按下，生成点击事件或消息，接着随着虚拟世界中用户手部远离菜单项，菜单项弹起，并依据光标位置，将菜单设置为初始状态或待激活状态。

通过提供菜单项不同的视觉效果，来及时向用户提供反馈，以引导用户利用手势便捷、有效且容易地同菜单进行交互。依然可选地，除了提供视觉反馈，还播放指定声音和/或向用户提供力学反馈。

在又一个实施方式中，参看图4D，响应于光标位于菜单项420的区域，在菜单项420上绘制准星450。准星450是依据手势信息展示的、同用户手部对应的光标的一种样式。当光标进入菜单项420区域，改变光标的样式为准星图案。进一步地，依据虚拟世界中，手部距离菜单所在平面的距离，确定准星450的直径。例如，手部距离菜单所在平面的距离为L，则准星450的直径为4L/3+10。从而，随着手部逐渐接近菜单所在平面，准星450的直径变小，以向用户指示虚拟世界中的手部在逐渐接近菜单所在平面，且手部的投影(光标)依然保持在菜单项420上。从而用户得以知晓如何保持手部在现实空间中的运动方向，以能够在虚拟空间中接触菜单项420。以及若光标离开了菜单项420的区域，光标的样式由准星图案变为普通样式，从而用户得以知晓手部移动的方向是否符合预期。

在3D虚拟世界的虚拟现实应用中，菜单项上的准星图案特别有用。用户在3D空间中做出的动作或手势在位置、方向与距离上难以保持稳定。通过提供准星，以及通过准星的位置与尺寸不断就用户手部移动的方向与程度提示用户，引导用户完成对目标菜单项的点击，或调整目标菜单项。

继续参看图4D，响应于光标进入菜单项420所在的区域，在菜单项420的四周绘制框线(称为瞄准框)452。瞄准框452由在菜单项外部出现的包围菜单项的形状(例如矩形)组成。以向用户指示该菜单项是当前用户操作的目标。

在又一个例子中，参看图4E，当用户手部在虚拟世界中距离菜单项420的距离小于指定值，将准星450绘制为实心圆，以向用户指示触发了对菜单项420的点击。

图5是根据本发明实施例的菜单的状态图。菜单的状态包括隐藏状态510、初始状态520、待激活状态530与激活状态540。系统初始化后，菜单处于隐藏状态510。以及依据用户手部在虚拟世界中的位置，绘制光标。处于隐藏状态的菜单是隐藏的，或者仅提供简单的就菜单存在性的指示。对于处于隐藏状态510的菜单，当检测到用户做出抬头动作，将菜单状态从隐藏状态510转换为初始状态520。响应于菜单进入初始状态520，可视地向用户展示菜单(参看图4A)。

随着用户手部移动，虚拟世界中的光标也随之移动。响应于光标在菜单平面的投影进入菜单项之一所在的位置，菜单从初始状态520转换为待激活状态530。以及响应于菜单变为待激活状态530，按图4B所示的样式绘制菜单。特别地，参看图4B，高亮展示同光标的位置相对应的菜单项420，以向用户指示其正指向菜单项420。

依然可选地，响应于菜单进入待激活状态530，以声音或触觉方式向用户提供进一步的就菜单进入待激活状态530的反馈。

在待激活状态530或初始状态520，随着用户手部移动，响应于光标在菜单平面上的投影所对应的菜单项发生改变，高亮地展示同光标位置对应的菜单项，而时以普通或默认方式展示其他菜单项。

在待激活状态530，响应于光标移出同菜单对应的区域，或者光标的位置不再对应于任一菜单项，菜单的状态变为初始状态520。

当菜单在待激活状态530，随着用户手部移动，用户手部在虚拟世界中到菜单项的距离小于指定值，将菜单设置为激活状态540，以及触发该菜单项所对应的事件(参看图4C，菜单项420)。

以及可选地，在触发了同该菜单项关联的事件或消息后，或者随着时间的流逝或，菜单从激活状态540自动变为隐藏状态510。响应于菜单变为隐藏状态510，可选地，还展示菜单的收起或折叠过程。

作为另一个可选实施方式，在激活状态540，不是自动地切换到隐藏状态510，而是保留在激活状态540。以及响应于用户移动手部，光标离开指定位置(例如，菜单所在区域)，菜单变为待激活状态530。

可选地，对于被展示的菜单(处于初始状态520、待激活状态530或激活状态540)，响应于用户做出低头动作或者不再做出抬头动作，将菜单设置为隐藏状态510，以及可视地绘制菜单的隐藏过程，例如，从下往上或从两端向中央收起菜单，折叠菜单。

图6A－6B是根据本申请多个实施例的实现人机交互方法的流程图。由虚拟现实系统，或虚拟现实系统的信息处理设备320(参看图3)执行图6A-图6B的实施例的人机交互方法。

在虚拟世界中提供菜单，菜单包括多个菜单项(也参看图4A)。菜单可具有平面形状，并依据人机交互的需求，设置在虚拟世界的指定位置。当虚拟世界初始化时，或者响应于对菜单的设置和/或创建，初始化菜单以及菜单上的多个菜单项，并将菜单设置为隐藏状态510(参看图5)。在虚拟世界中还绘制对应于用户手部的光标，依据用户手部在虚拟世界中的位置确定光标的位置。

响应于识别出用户做出抬头动作，绘制菜单(S610)。可选地，在易于用户观察的位置，例如，用户视野的中间或偏上的位置，或者用户视线与菜单所在平面的交点，作为绘制菜单的起点。可选地，若部分菜单曾经被触发，还可视地展示这些被触发的菜单项。以不同的视觉样式展示之前被触发的菜单项。以及将菜单设置为初始状态510。

响应于光标在菜单所在平面上的投影进入菜单中的菜单项之一所在的区域(例如，菜单项420)，将菜单设置为待激活状态520(S612)。高亮地显示菜单项420，以为用户提供视觉反馈，使用户知晓其手部所指向的菜单项。可选地，还通过听觉、视觉和/或触觉的方式向用户提供反馈，以指示菜单的状态变化。当虚拟世界为3D空间，还向用户提供听觉、视觉和/或触觉的反馈以指示虚拟世界中用户手部同控件的距离或位置关系。例如，当菜单处于待激活状态，将光标绘制为准星图案(也参看图4D，准星450)，以及根据虚拟世界中用户手部同菜单项的距离，设置准星图案的大小(直径)，从而通过准星图案大小的变化，向用户指示手部到控件的距离。在另一个例子中，通过声音的频率、大小向用户指示手部到菜单项的距离。

持续捕获用户手部的位置，响应于用户尝试对意图操作的菜单项做出按压(前推)的动作，在虚拟世界中使手部向菜单所在位置移动，当用户手部在虚拟世界中的位置同菜单项的距离小于指定值，将菜单设置为激活状态，并触发对应的菜单项，产生同菜单项对应的事件或消息(S614)。例如调用事件处理函数。向用户提供听觉、视觉和/或触觉的反馈以指示人机交互系统已触发了菜单项对应的事件，例如，播放指定的声音，向用户展示“菜单项已触发”的文字，和/或对处于激活状态的菜单项高亮显示等。例如，当菜单处于激活状态，将光标绘制为实心圆(也参看图4E，准星450)。

以及可选地，在一个例子中，在触发菜单项后，将菜单设置为隐藏状态，以及相应地隐藏菜单。而在另一个例子中，触发菜单后，被触发的菜单项不再响应用户的触发，而依据用户手部或光标的位置，将菜单设置为初始状态或待激活状态。

可选地，记录所触发的菜单项，并在下一次菜单被展示时，以不同于其它菜单项的方式被绘制。

在根据本申请的实施例中，通过识别用户抬头的动作呼出菜单以及通过识别手部进入指定区域的动作选择操作的菜单项，用户协同使用头部与手部操作人机交互系统，提高了操作效率，降低了在手势交互中对手部的占用。

显然，可以理解地，菜单是对控件的举例，在根据本申请的实施例中，可利用其它控件或控件组来实施人机交互。

图6B是根据本申请又一实施例的实现人机交互方法的流程图。如图6B所示，该人机交互方法始于开始步骤S640，包括例如初始化菜单项，以及将菜单设置为隐藏状态。可选地，还在指定位置绘制指示菜单存在的标记。指定位置是例如用户做出抬头动作时视线所朝向的位置。

通过手势输入设备310(参看图3)持续识别用户手势，以及头部姿态检测设备312(也参看图3)持续识别用户头部的姿态。当检测到用户做出抬头的动作(S641)，在虚拟世界中用户视线所观察的位置展示菜单(S642)。作为举例，由于人眼对动态内容更加敏感，通过从上向下绘制菜单，以使用户更容易意识到菜单被展示。以及将菜单设置为初始状态。

持续依据用户手部位置绘制光标。若光标在菜单所在平面的投影进入菜单项之一所在的区域(S643)，将菜单设置为待激活状态(S644)。可选地，向用户提供视觉反馈以指示光标所对应的菜单项。依然可选地，将光标绘制为准星样式，以及依据用户手部到菜单项所在平面的距离确定准星的大小。若光标在菜单所在平面的投影未进入任一菜单项所在的区域，将菜单设置为初始状态。

在待激活状态，持续检查虚拟世界中用户手部到菜单(或光标所对应的菜单项)的距离(S645)。若距离小于指定阈值，认为用户对菜单项做出了推动或按压动作，将菜单设置为激活状态，并触发用户按压的菜单项对应的事件(S646)。可选地，向用户提供视觉反馈以指示被触发的菜单项。依然可选地，将光标绘制为实心圆样式。接下来，回到步骤S643，并继续识别光标的位置，依据光标是否对应于菜单项之一，将菜单设置为待激活状态或初始状态。

在虚拟世界中展示菜单期间，若用户做出低头动作，响应于头部姿态检测设备312检测到用户低头(S647)，将菜单设置为隐藏状态，并回到步骤S642，以重新开始图6B所示的处理流程。在隐藏菜单时，还记录菜单中的各个菜单项的状态。在菜单下次被展示时，获取所记录的状态，并根据各个菜单项的状态展示各个菜单项。

可选地，在根据本申请的实施例中，菜单被展示在虚拟世界中用户抬头时视线所及的位置，以便于用户看到菜单。避免将菜单展示在视野周围用户难以触及的位置。依然可选地，设置菜单中的各个菜单项的宽度大于光标或光标中的图案的宽度，以有利于识别光标所对应的菜单项。依然可选地，在虚拟世界中，菜单所在的平面距用户手部的距离不应过远，而是设置在用户伸出手部可以在虚拟世界中触及的位置，例如，将菜单所在平面设置在虚拟世界中到用户的距离小于用户的手臂长度的位置。

可选地，根据本申请的实施例中，用户利用手势进行交互时，保持手指对手势输入设备310的可见性，避免手掌遮挡手指，从而有利于对手部姿态和/或手指位置的识别。

在根据本申请的又一实施方式中，为菜单中的各个菜单项维护状态。菜单中的菜单项可处于多种状态，例如，初始状态、待激活状态与激活状态。在根据本申请的人机交互系统中，菜单初次被展示时，菜单中的各个菜单项均处于初始状态。虽然采用了相同的名称，在本公开中，菜单的状态与菜单项的状态需要加以区分。在不同的实施例中，分别为菜单或菜单项维护状态，以实施根据本申请的不同实施例。

用户选中的菜单项处于待激活状态。通过移动手部位置，响应于同用户手部位置对应的光标在菜单所在平面上的投影位于菜单项之一所在的区域内，将该菜单项设置为待激活状态。为待激活状态的菜单项提供指定的视觉反馈，例如，高亮显示待激活状态的菜单项、在菜单项周围绘制阴影、在菜单项上绘制准星、以浮起/下层方式绘制菜单项、和/或以不同于初始状态的菜单项的颜色绘制处于待激活状态的菜单项。

激活状态的菜单项是被用户触发并正产生相应的事件的菜单项。通过视觉的方式向用户指示菜单项被点击或触发。对菜单项的点击，产生事件或者消息，以指示用户触发了菜单项。点击事件或消息同菜单项上的文字相关联。可选地，绘制菜单项被点击或按下的效果，绘制菜单项的形状改变或者绘制菜单项被按下又弹起的效果，以向用户指示触发了对菜单项的点击，并且点击已经完成。

在一个例子中，菜单项被按下，生成点击事件或消息，但不弹起，将菜单项的这种状态称为已激活，还可记录菜单项的已激活状态，并在菜单再次被展示时，可视地展示菜单项的这种已激活状态。在另一个例子中，菜单项被按下，生成点击事件或消息，接着随着虚拟空间中的光标远离菜单项，菜单弹起，并依据光标位置，将菜单项设置为初始状态或待激活状态。处于已激活状态的菜单项不响应用户的操作。

在一个实施方式中，任一时刻，菜单的多个菜单项中最多仅有一个菜单项处于待激活状态。例如，响应于一个菜单项变为待激活状态，菜单中的其它菜单项均变为初始状态。在另一个实施方式中，响应于一个菜单项变为待激活状态，菜单中的除了处于已激活状态之外的其它菜单项均变为初始状态，而菜单中处于已激活状态的菜单项的状态不变。

在又一个实施方式中，在待激活状态的菜单项上绘制准星。当菜单项处于待激活状态，改变光标的样式为准星图案。进一步地，依据虚拟世界中，手部距离菜单所在平面的距离，确定准星的直径。随着手部逐渐接近菜单所在平面，准星的直径变小，以向用户指示虚拟世界中的手部在逐渐接近菜单所在平面，且手部的投影(光标)依然保持在处于待激活状态的菜单项上。从而用户得以知晓如何保持手部在现实空间中的运动方向，以能够在虚拟空间中接触菜单项。以及若光标离开了待激活状态的菜单项的区域，菜单项将由待激活状态变为初始状态，光标的样式也由准星图案变为普通样式，从而用户得以知晓手部移动的方向是否符合预期。

可选地，响应于菜单项处于待激活状态，在菜单项的四周绘制框线(称为瞄准框)，以向用户指示该菜单项是当前用户操作的目标。

在又一个例子中，响应于菜单项处于激活状态，将准星绘制为实心圆，以向用户指示触发了对菜单项的点击。

图7是根据本申请又一实施例的菜单项的状态图。菜单项的状态包括初始状态、待激活状态与激活状态。可选地，菜单的状态还包括已激活状态。

在菜单被首次展示时，菜单中的多个菜单项均处于初始状态。可选地，若菜单并非首次被展示，则依据菜单上次被隐藏时各个菜单项的状态，菜单项可处于初始状态或者已激活状态。依据各菜单项的状态展示菜单项。

随着用户手部移动，虚拟世界中的光标也随之移动。响应于光标的位置(光标在菜单所在平面的投影)进入菜单项之一所在的位置，该菜单项从初始状态转换为待激活状态。以及响应于菜单项变为待激活状态，以不同的样式绘制菜单项，以向用户指示其正接近触发该菜单项。依然可选地，响应于菜单项进入待激活状态，以声音或触觉方式向用户提供进一步的就菜单项进入待激活状态的反馈。依然可选地，当菜单项处于待激活状态，以指定的样式(例如，准星图案)绘制在菜单项区域的光标，以向用户提示菜单项处于待激活状态。

响应于光标移出同处于待激活状态的菜单项对应的区域，该菜单项的状态变为初始状态。

当菜单项在待激活状态，随着用户手部移动，响应于用户手部在虚拟世界中接触了处于待激活状态的菜单项，或者同该菜单项的距离足够小，将该菜单项设置为激活状态。在一个例子中，响应于菜单项进入激活状态，产生同菜单项对应的事件，以及随时间的流逝或同用户手部对应的光标移出菜单项所在区域，处于激活状态的菜单项变为初始状态。在另一个例子中，响应于菜单项进入激活状态，产生同菜单项对应的事件，以及随着时间的流逝，该菜单项进入已激活状态。可选地，在菜单被关闭或隐藏时，记录各菜单项的状态，特别是菜单项所处的已激活状态。在展示菜单时，依照其中的菜单项各自的状态展示各菜单项。作为依然另一个例子，响应于菜单项进入激活状态，产生同菜单项对应的事件，以及随着时间的流逝，隐藏整个菜单。可选地，在隐藏菜单时，还记录其中的各菜单项的状态。

在仍然另一个例子中，响应于菜单项进入激活状态，产生同菜单项对应的事件，以及随着时间的流逝，菜单项进入已激活状态。而响应于另一个菜单项进入激活状态，菜单项从已激活状态变为初始状态。从而在任意时刻，菜单中最多仅有一个菜单项处于已激活状态。

可选地，对于被展示的菜单，响应于用户做出低头动作或者不再做出抬头动作，隐藏菜单。可选地，还通过视觉、听觉和/或触觉等的反馈向用户提示面罩控件组被隐藏。

图8是实现本申请实施例的信息处理设备的框图。在根据本申请的实施例中，信息处理设备800在虚拟世界中生成菜单，并识别用户手势信息(i)或接收手势输入/手势识别设备提供的手势信息(i)，识别用户的指示，并向用户提供反馈以同用户交互。图8中展示的信息处理设备800是计算机。计算机仅仅是适当的计算环境的一个例子，而不意图暗示关于本申请的使用或功能范围的任何限制。图8所展示的信息处理设备也不应当被解释为在所示出的任何组件或组件组合方面有任何依赖性或要求。

信息处理设备800包括直接或间接地耦合到总线810的存储器812、一个或更多处理器814、一个或更多呈现组件816、I/O组件820以及电源822。总线810所代表的可以是一种或更多种总线(比如地址总线、数据总线或其组合)。是在实际情况中各个组件的界定并不是必然如图8中的方式。举例来说，可以把诸如显示设备之类的呈现组件视为I/O组件820。此外，处理器可具有存储器。本申请的发明人认识到这正是本领域的性质，并且重申图8的图示仅仅是为了说明可以与本申请的一个或多个实施例相结合地使用的示例性计算机系统。

信息处理设备800通常包括多种存储器812。作为举例而非限制，存储器812可以包括：随机存取存储器(RAM)、只读存储器(ROM)、电子可擦写可编程只读存储器(EEPROM)、闪存、压缩盘只读存储器(CDROM)、数字通用盘(DVD)或其他光学或全息介质、磁盒、磁带、磁盘存储或其他磁性存储设备。计算机存储介质可以是非易失性的。

信息处理设备800包括一个或更多处理器814，其从诸如总线810、存储器812或者I/O组件820之类的各种实体读取数据。一个或多个呈现组件816向用户或其他设备呈现数据指示。示例性的呈现组件816包括显示设备、扬声器、打印组件、振动组件、平面显示器、投影仪、头戴式显示器等。呈现组件816也可以是用于耦合显示设备、扬声器、打印组件、振动组件、平面显示器、投影仪、头戴式显示器等的I/O端口。说明性的I/O组件820包括摄像头、麦克风、操纵杆、游戏手柄、碟形卫星信号收发天线、扫描仪、打印机、无线设备等。

根据本申请的基于手势识别的菜单及其生成和操作方法也可在手势识别设备或手势输入设备中实施。手势识别设备或手势输入设备可以集成到键盘、鼠标、遥控器等输入设备中。

尽管已经示出和描述了本申请的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本申请的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由所附权利要求及其等同限定。

Claims (10)

1.一种人机交互方法，包括：

响应于用户作出抬头动作，展示控件；

响应于对应于手部的光标在控件所在平面的投影进入所述控件的区域，将所述控件设置为待激活状态；

响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为激活状态。

2.根据权利要求1所述的方法，其中

依据用户视线朝向上方且视线平面与水平面的夹角大于指定角度识别用户作出抬头动作；或者

依据向量序列满足指定条件识别用户作出抬头动作，其中通过对代表用户头部在现实世界中的姿态、用户视线和/或用户瞳孔朝向的向量的多个采样得到所述向量序列。

3.根据权利要求1-2之一所述的方法，还包括：

响应于用户作出低头动作，隐藏控件。

4.根据权利要求1-3之一所述的方法，还包括：

响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，生成同所述控件对应的事件。

5.根据权利要求1-4之一所述的方法，还包括：

响应于对应于手部的光标在所述控件所在平面的投影进入所述控件的区域，将光标绘制为准星图标；

依据手部在虚拟坐标系中同所述控件的距离，更新准星图标的尺寸。

6.根据权利要求1-5之一所述的方法，还包括

响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将同所述控件相关的其他控件设置为初始状态。

7.根据权利要求1-6述的方法，其中

所述控件被绘制在相对于虚拟空间中相对于用户头部的指定位置；以及

响应于用户头部运动，保持所述控件在相对于虚拟空间中用户头部的指定位置。

8.根据权利要求1-7之一所述的方法，其中

依据瞳孔朝向和/或头部在现实坐标系中的姿态获得用户视线的朝向。

9.一种人机交互装置，包括：

头部姿态获取模块，用于响应于用户作出抬头动作，展示控件；

光标获取模块，用于响应于对应于手部的光标在控件所在平面的投影进入所述控件的区域，将所述控件设置为待激活状态；

手部位置获取模块，用于响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为激活状态。

10.一种人机交互系统，包括计算单元、显示设备以及传感器模块；所述计算单元用于运行虚拟现实应用以构建虚拟现实场景；所述显示设备用于显示计算单元构建的虚拟现实场景；传感器模块用于感知用户头部姿态以及用户手部的姿态和/或位置；所述计算单元基于传感器所感知的用户头部姿态，指示显示设备展示控件；所述计算单元响应于对应于手部的光标在控件所在平面的投影进入所述控件的区域，将所述控件设置为待激活状态；所述计算单元响应于手部在虚拟世界中相对所述控件的距离小于阈值，将所述控件设置为激活状态。