CN108536273A - 基于手势的人机菜单交互方法与系统 - Google Patents

Abstract

公开了基于手势的人机菜单交互方法与系统。所公开的人机交互方法，包括：响应于用户的指定动作，展示菜单，所述菜单包括多个控件；依据光标指向第一控件，将第一控件设置为待激活状态；响应于光标进入指定区域，生成与第一控件关联的第一事件。

Description

基于手势的人机菜单交互方法与系统

技术领域

本申请涉及人机交互领域。具体地，本发明涉及基于手势操作菜单控件进行人机交互的方法与系统。

背景技术

人机交互技术中，控件是用于构建图形用户界面的可重用软件组件。通常，一个控件对应一种功能。例如，图1展示了二维图形用户界面中的“确认”控件。“确认”控件包括提示窗，提示窗中包括“确认”按钮与“取消”按钮。在“确认”控件被调用时，弹出如图1所示的提示窗，识别用户对“确认”按钮或“取消”按钮的点击来获得用户的操作意图，并实现人机交互。现有技术中的滑动解锁技术，通过手部在触摸屏上的滑动向信息处理设备告知用户的输入意图。

新型人机交互技术也在不断发展，基于手势识别的人机交互技术是热点之一。对手部运动的识别，可以通过多种方法实现。来自微软公司的US20100199228A1(公开日：2010年8月5日)提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自Nintendo公司的US20080291160A1(公开日：2008年11月27日)提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。图2示出了来自天津锋时互动科技有限公司的专利申请CN201110100532.9提供的手势识别与空间位置的感知系统与方法。如图2所示，手势识别系统包含：计算机主机101、多摄像头系统的控制电路102、多个摄像头103、使用者手部104、运行于计算机主机101的应用程序105、应用程序105中的被操作对象106与虚拟手光标107。手势识别系统还包括在图2中未示出的用于照明使用者手部104的红外照明光源以及放置于每个摄像头前的红外滤光片。多个摄像头103捕获使用者手部104的图像，控制电路102对摄像头103采集的手部图像进行处理，并识别手部的姿态和/或位置。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。

发明内容

在基于手势识别的人机交互过程中，需要向用户给出有效的反馈，以向用户告知系统所处的状态，系统对用户的输入的反应，指导用户实施下一步的交互动作，以促进人机交互的完成。设计控件来促进应用程序的开发。控件以手势作为输入，而产生事件或消息作为输出。事件或消息可指示用户的“确认”、“取消”、“打开”或“关闭”等操作目的，或指示多种不同含义的用户意图。而且由于人的生物特征决定了用户的手在三维交互空间的轨迹无法实现笔直或者规范的问题，从而已有的人机交互技术难以有效地理解手势输入的意图。

菜单是人机交互技术中常用的控件。菜单通常包括多个菜单项，完全展开的菜单会占用较大的空间或面积。在虚拟现实系统中，缺少有效的基于手势的操作菜单控件实现人机交互的方案。

在本申请的实施例中，通过向用户提供视觉反馈，来促进利用菜单控件的人机交互的完成。

根据本发明的第一方面，提供了第一人机交互方法，其中包括：响应于用户的指定动作，展示菜单，所述菜单包括多个控件；依据光标指向第一控件，将第一控件设置为待激活状态；响应于光标进入指定区域，生成与第一控件关联的第一事件。

根据本发明的第一方面的第一人机交互方法，提供了根据本发明第一方面的第二人机交互方法，其中包括：响应于光标指向第二控件，将第二控件设置为待激活状态，以及将处于待激活状态的第一控件设置为初始状态。

根据本发明的第一方面的第二人机交互方法，提供了根据本发明第一方面的第三人机交互方法，其中包括：响应于光标从第一方向越过第一区域，将菜单设置为锁定状态；当菜单处于锁定状态时，即使光标指向第二控件，处于待激活状态的第一控件依然处于待激活状态，以及处于初始状态的第二控件依然处于初始状态。

根据本发明的第一方面的第三人机交互方法，提供了根据本发明第一方面的第四人机交互方法，其中包括：响应于光标从第二方向越过第一区域，解除菜单的锁定状态，其中第二方向是第一方向的相反方向。

根据本发明的第一方面的前述人机交互方法，提供了根据本发明第一方面的第五人机交互方法，其中，通过检测用户手部的姿态，识别用户的指定动作。。

根据本发明的第一方面的前述人机交互方法，提供了根据本发明第一方面的第六人机交互方法，其中，依据手部在现实空间中的姿态得到对应于手部的光标在虚拟空间中的指向与位置。

根据本发明的第一方面的前述人机交互方法，提供了根据本发明第一方面的第七人机交互方法，其中包括：在第一事件生成后，隐藏菜单，以及生成对第一控件的记录。

根据本发明的第一方面的前述第七人机交互方法，提供了根据本发明第一方面的第八人机交互方法，其中包括：响应于用户的指定动作，展示菜单，依据记录将第一控件设置为已激活状态；响应于光标指向第一控件，第一控件依然处于已激活状态；以及响应于生成与第二控件关联的第二事件，取消对第一控件的记录。

根据本发明的第一方面的前述人机交互方法，提供了根据本发明第一方面的第九人机交互方法，其中，响应于用户的指定动作，还包括在菜单与光标之间绘制分割线；其中，分割线展示了第一区域的位置。

根据本发明的第一方面的前述第九人机交互方法，提供了根据本发明第一方面的第十人机交互方法，其中，从光标所在区域朝向菜单所在区域的方向为第一方向。

根据本发明的第一方面的前述第九或第十人机交互方法，提供了根据本发明第一方面的第十一人机交互方法，其中，将菜单设置为锁定状态，还包括以第一颜色绘制所述分割线；以及解除菜单的锁定状态，还包括以第二颜色绘制所述分割线。

根据本发明的第一方面的前述人机交互方法，提供了根据本发明第一方面的第十二人机交互方法，其中包括：在菜单非处于锁定状态时，响应于光标与菜单的距离超过阈值，隐藏菜单。

根据本发明的第一方面的前述人机交互方法，提供了根据本发明第一方面的第十三人机交互方法，其中，将第一控件设置为待激活状态包括，高亮展示第一控件。

根据本发明的第一方面的前述人机交互方法，提供了根据本发明第一方面的第十四人机交互方法，其中，所述指定区域是第一控件所在的区域。

根据本发明的第一方面的前述人机交互方法，提供了根据本发明第一方面的第十五人机交互方法，其中，仅当菜单处于锁定状态时，才响应于光标进入指定区域，生成与第一控件关联的第一事件。

根据本发明的第二方面，提供了一种人机交互装置，其中包括：激活模块，用于响应于用户的指定动作，展示菜单，所述菜单包括多个控件；状态设置模块，用于依据光标指向第一控件，将第一控件设置为待激活状态；事件生成模块，用于响应于光标进入指定区域，生成与第一控件关联的第一事件。

根据本发明的第三方面，提供了第一人机交互系统，其中包括：计算单元、显示设备以及传感器模块；所述计算单元构建虚拟现实场景；所述显示设备用于显示计算单元构建的虚拟显示场景；传感器模块用于感知用户的动作以及用户手部在现实空间中的姿态；所述计算单元基于传感器所感知的用户手部在现实空间中的姿态，确定对应于手部的光标在虚拟空间中的指向与位置，响应于用户的指定动作，展示菜单，所述菜单包括多个控件；依据光标指向第一控件，将第一控件设置为待激活状态；以及响应于光标进入指定区域，生成与第一控件关联的第一事件。

根据本发明的第三方面的第一人机交互系统，提供了根据本发明第三方面的第二人机交互方法，其中包括：响应于光标指向第二控件，将第二控件设置为待激活状态，以及将处于待激活状态的第一控件设置为初始状态。

根据本发明的第三方面的第二人机交互系统，提供了根据本发明第三方面的第三人机交互方法，其中包括：响应于光标从第一方向越过第一区域，将菜单设置为锁定状态；当菜单处于锁定状态时，即使光标指向第二控件，处于待激活状态的第一控件依然处于待激活状态，以及处于初始状态的第二控件依然处于初始状态。

根据本发明的第三方面的第三人机交互系统，提供了根据本发明第三方面的第四人机交互方法，其中包括：响应于光标从第二方向越过第一区域，解除菜单的锁定状态，其中第二方向是第一方向的相反方向。

根据本发明的第三方面的前述人机交互系统，提供了根据本发明第三方面的第五人机交互方法，其中，通过检测用户手部的姿态，识别用户的指定动作。。

根据本发明的第三方面的前述人机交互系统，提供了根据本发明第三方面的第六人机交互方法，其中，依据手部在现实空间中的姿态得到对应于手部的光标在虚拟空间中的指向与位置。

根据本发明的第三方面的前述人机交互系统，提供了根据本发明第三方面的第七人机交互方法，其中包括：在第一事件生成后，隐藏菜单，以及生成对第一控件的记录。

根据本发明的第三方面的前述第七人机交互系统，提供了根据本发明第三方面的第八人机交互方法，其中包括：响应于用户的指定动作，展示菜单，依据记录将第一控件设置为已激活状态；

响应于光标指向第一控件，第一控件依然处于已激活状态；以及响应于生成与第二控件关联的第二事件，取消对第一控件的记录。

根据本发明的第三方面的前述人机交互系统，提供了根据本发明第三方面的第九人机交互方法，其中，响应于用户的指定动作，还包括在菜单与光标之间绘制分割线；其中，分割线展示了第一区域的位置。

根据本发明的第三方面的前述第九人机交互系统，提供了根据本发明第三方面的第十人机交互方法，其中，从光标所在区域朝向菜单所在区域的方向为第一方向。

根据本发明的第三方面的前述第九或第十人机交互系统，提供了根据本发明第三方面的第十一人机交互方法，其中，将菜单设置为锁定状态，还包括以第一颜色绘制所述分割线；以及解除菜单的锁定状态，还包括以第二颜色绘制所述分割线。

根据本发明的第三方面的前述人机交互系统，提供了根据本发明第三方面的第十二人机交互方法，其中包括：在菜单非处于锁定状态时，响应于光标与菜单的距离超过阈值，隐藏菜单。

根据本发明的第三方面的前述人机交互系统，提供了根据本发明第三方面的第十三人机交互方法，其中，将第一控件设置为待激活状态包括，高亮展示第一控件。

根据本发明的第三方面的前述人机交互系统，提供了根据本发明第三方面的第十四人机交互方法，其中，所述指定区域是第一控件所在的区域。

根据本发明的第三方面的前述人机交互系统，提供了根据本发明第三方面的第十五人机交互方法，其中，仅当菜单处于锁定状态时，才响应于光标进入指定区域，生成与第一控件关联的第一事件。

根据本发明的第四方面，提供了一种信息处理设备，其中所述信息处理设备包括处理器、存储器、显示设备，所述信息处理设备还耦合到传感器模块并接收传感器模块感知的用户的状态；所述存储器存储程序，所述处理器运行所述程序使所述信息处理设备执行根据本发明的第一方面的前述人机交互方法。

附图说明

当连同附图阅读时，通过参考后面对示出性的实施例的详细描述，将最佳地理解本发明以及优选的使用模式和其进一步的目的和优点，其中附图包括：

图1展示了现有技术中二维图形用户界面的“确认”控件；

图2是现有技术中的手势识别系统结构示意图；

图3是根据本发明实施例的基于手势识别的人机交互系统的框图；

图4A-4E是根据本申请实施例的菜单控件的多种状态的示意图；

图5是根据本申请实施例的菜单控件的状态图；

图6A-6C是根据本申请实施例的实现人机交互的流程图；

图7A-7D是根据本申请另一实施例的菜单项的多种状态的示意图；

图8A是实现本申请另一实施例的菜单控件的状态图；

图8B-图8L展示了根据本申请另一实施例的菜单；以及

图9是根据本申请实施例的信息处理设备的框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

图3是根据本发明实施例的基于手势识别的人机交互系统的框图。根据本发明实施例的人机交互系统包括彼此耦合的手势输入设备310、信息处理设备320以及显示设备330。在一个例子中，手势输入设备310，用于捕获用户手部的图像，并将获取的图像发送给信息处理设备进行处理。信息处理设备320，用于接收手势输入设备发送的手部图像，识别图像中用户手部的手势信息。信息处理设备320还通过显示设备330向用户展示图形和/或图像，例如在显示设备330上绘制用户手部的虚拟图像。信息处理设备可以是诸如计算机、手机或专用的手势识别设备。显示设备330可以是诸如平面显示器、投影仪、头戴式显示器。

在另一个例子中，手势输入设备310感知用户手部的位置和/或姿态，识别用户手部的手势信息，并将用户手部信息发送给信息处理设备320。信息处理设备320识别手势输入设备310提供的用户手部信息作为用户提供的输入，并通过显示设备330向用户提供输出，以实现人机交互。显然，信息处理设备320还可通过声音、力学作用等形式与用户进行交互。

作为依然另一个例子，手势输入设备310还是可以是例如深度传感器、距离传感器、VR控制器(如Oculus Rift Touch)、游戏手柄、数据手套(如CyberGlove)、动作捕捉系统(如OptiTracker)、陀螺仪等，用于感知用户手部的位置和/或姿态。

从用户在现实世界(或称“现实空间”)中所做的手势和/或动作，提取出基于虚拟坐标系的手势信息(i)。手势信息(i)可以是一个向量，并形式化表示为i＝{C,palm,thumb,index,mid,ring,little}。其中，c表示整个手的手型，例如，握拳、五指张开、胜利手势等，palm代表指示手掌的位置信息，thumb、index、mid、ring和little分别代表拇指、食指、中指、无名指和小指的位置信息和/或朝向信息。以及其中，虚拟坐标系用以展示由信息处理设备320所构建的虚拟世界(或称“虚拟空间”)中的位置信息。而用现实坐标系展示现实世界中物体或空间的位置信息。信息处理设备320所构建的虚拟世界可以是例如二维图形用户界面的二维空间、三维空间或融合了用户的虚拟现实场景。现实坐标系与虚拟坐标系，可以是二维坐标系或三维坐标系。可按一定的频率或时间间隔更新手势信息(i)，或者在用户的手部位置和/或姿态发生变化时，更新手势信息(i)。

在用户界面上，可以依据手势信息(i)显示光标，用来向用户提供视觉响应。光标在图形界面上的位置可表示为手势信息(i)的函数，例如func_a(i)。本领域技术人员可以理解，函数func_a根据不同的应用场景或设置而不同。

例如，在一个二维用户界面中，通过公式(1)计算要绘制光标的位置：

Func_a(i)＝C*0+palm*0+index.position*0.5+mid*0+little*0 (1)

(1)式中，index.position指用户食指的位置，因而从(1)式中可知，光标在用户界面上的位置，仅依赖于用户食指位置，且光标在用户界面上移动的距离，是用户食指移动距离的一半。

光标可具有单一样式，例如手的形状。光标也可具有对应于不同手型的多种样式。作为一个例子，光标展示了手型，例如，食指伸出、其余四指弯曲，手心朝向用户自己的手型，光标还提供了食指指向的方向。

图4A-4E是根据本发明实施例的菜单控件的多种状态的示意图。在虚拟世界中可视地向用户展示菜单。菜单可以是二维的，也可以是三维的。菜单中包括多个菜单项。图4A-图4E中，作为举例，展示的菜单包括分别标注了文字“新建”、“打开”、“保存”与“关闭”的四个菜单项。用户触发菜单项以同虚拟世界进行交互。根据本发明的实施例也可应用于其他类型的控件组，例如包括多个选项的多个单选框、多个复选框、多个按键的组合等。

在根据本发明的实施例中，在非通过菜单进行人机交互时，菜单是隐藏的，从而虚拟世界中的二维或三维空间可全部用于展示虚拟场景，而仅当用户希望通过菜单项进行人机交互时，才绘制或展示菜单。以及当基于菜单的人机交互完成，再次隐藏菜单。作为举例，用户通过特定的手势，向虚拟现实系统指示希望展示菜单。例如，用户作出食指伸出、其余四指弯曲，手心朝向用户自己的手势，表示希望展示菜单。手势输入设备310(参看图3)识别用户作出上述手势后，可视地展示初始状态的菜单。图4A是根据本发明实施例的处于初始状态的菜单。可选地，绘制菜单从无到有的展开过程。例如，从上到下展开菜单，从下到上展开菜单或者从中间向外展开菜单。以及在菜单与光标之间绘制直线或线段作为界定线。可选地，也绘制界定线的展开过程。图4A的例子中，初始状态的菜单中，作为举例，所有的菜单项具有相同的显示状态，以向用户指示这些菜单项均可响应用户操作。而作为另一个例子，菜单中的菜单项之一，例如，菜单中的第一个菜单项(位于最上方的菜单项)被高亮展示。

图4B是根据本发明另一实施例的处于初始状态的菜单。响应于用户作出特定手势，虚拟现实系统展示原本隐藏的菜单或绘制菜单。图4B的菜单包括多个菜单项，其中图4B中的“保存”菜单项的展示效果同其他菜单项不同，例如以灰色显示或高亮地显示，以向用户指示该菜单的上一个用户操作是对“保存”菜单项的触发。菜单中的其他菜单项具有相同的显示状态，以向用户指示这些菜单项均可响应用户操作。而“保存”菜单项可响应用户操作，或者不响应用户操作。

图4C是根据本发明实施例的处于待激活状态的菜单。图4C中，同光标所在位置相对应的菜单项(“保存”菜单项)的展示效果同其他菜单项不同，例如高亮地显示，以向用户指示用户手指正指向该“保存”菜单项。作为举例，当光标的水平位置同一菜单项的水平位置相同，或处于一菜单项所在区域的水平延长范围内时，意味着该菜单项同光标所在位置相对应。可以理解地，可为光标的位置同菜单项指定其他对应关系。在图4C的例子中，光标与菜单项在界定线的两侧，光标没有越过界定线，以及光标所在位置同菜单项之一相对应，此时，菜单处于待激活状态，菜单项之一被高亮地显示。以及随着用户手部移动，光标所在位置可能对应于其他光标，相应地，菜单保持处于待激活状态，而仅有同光标所在的位置对应的菜单项处于被高亮地显示。通过与其他菜单项不同地高亮地显示菜单项之一，向用户指示当前被光标或用户手部所指示的菜单项，用户可据以调整手部位置，以准确且便利地表示或变更希望操作的菜单项。

图4D是根据本发明实施例的处于锁定状态的菜单。提供锁定状态的菜单，以促进用户与虚拟显示系统之间的交互，避免因空间位置感知的误差或用户动作的偏差，导致交互障碍。并向用户视觉地指示菜单处于锁定状态。随着用户移动手部，光标向菜单所在方向越过界定线，菜单被设置为锁定状态。进入锁定状态后，在之前的待激活状态中同光标所在位置对应而被高亮地显示的菜单项被锁定。换句话说，菜单处于锁定状态时，不再响应光标的位置变化而更改被高亮显示的菜单项。在图4D中，“保存”菜单项被高亮显示，即使光标变为指向“打开”或其他菜单项，依然仅“保存”菜单项被高亮显示，而其他菜单项不会被高亮地显示。可选地，向用户提供视觉的展示，以使用户明了菜单项处于锁定状态。例如，在菜单所在区域绘制边框，使菜单浮起，在菜单区域或被高亮显示的菜单项区域绘制“锁”图示等。以及随着光标向远离菜单的方向越过界定线，菜单从锁定状态变为待激活状态，并可向用户提供视觉展示，以向用户展示菜单的状态和/或状态变化。

用户在3D空间中做出的动作或手势在位置、方向与距离上难以保持稳定，或者虚拟空间中的位置或移动与现实空间中的差异会给用户带来困惑，并影响虚拟现实系统理解用户意图。通过提供菜单的待激活状态与锁定状态，使得菜单项的选取与触发操作被有效区分，用户通过简单的上下或左右移动手部，得以向虚拟现实系统分别指示菜单项的选取或菜单项的触发，从而提升了人机交互的准确性。可选地，在菜单处于锁定状态时，还锁定光标的位置，使得光标仅沿垂直于界定线的方向移动，而在沿界定线的方向上不发生移动。

图4E是根据本发明实施例的处于激活状态的菜单。通过视觉的方式向用户指示菜单项被点击或触发。触发对菜单项的点击，产生事件或者消息，以指示用户点击了菜单项。点击事件或消息同菜单项上的文字“保存”相关联。可选地，绘制菜单项被按下的效果，绘制菜单项的形状改变(参看图4E，“保存”菜单项的形状从矩形变为向左的箭头形状)或者绘制菜单项被按下又弹起的效果，以向用户指示触发了对菜单项的点击，并且点击已经完成。在一个例子中，菜单项被按下，生成点击事件或消息，但不弹起，将菜单项的这种状态称为被点击，菜单还可记录菜单项的被点击状态，并在菜单再次进入初始状态时，可视地展示菜单项的这种被点击状态(参看图4B)。在另一个例子中，菜单项被按下，生成点击事件或消息，接着随着虚拟空间中的光标远离菜单项，菜单项弹起，并依据光标位置，将菜单设置为锁定状态或待激活状态。

可选地，在菜单的激活状态，对光标的锁定依然生效，使得光标仅可沿垂直于界定线的方向移动，，而在沿界定线的方向上不发生移动。

通过提供菜单项不同的视觉效果，来及时向用户提供反馈，以引导用户利用手势便捷、有效且容易地同虚拟现实系统中的控件进行交互。依然可选地，除了提供视觉反馈，还播放指定声音和/或向用户提供力学反馈。

图5是根据本发明实施例的菜单的状态图。菜单的状态包括隐藏状态510、初始状态520、待激活状态530与激活状态540。可选地，菜单的状态还包括锁定状态535。系统初始化后，菜单处于隐藏状态510。以及依据用户手部在虚拟空间中的位置，绘制光标。处于隐藏状态的菜单是隐藏的，或者仅提供简单的就菜单存在性的指示。对于处于隐藏状态510的菜单，当检测到用户的指定手势，例如，用户作出食指伸出、其余四指弯曲，手心朝向用户自己的手势，，将菜单状态从隐藏状态510转换为初始状态520。可选地，用户可自定义或录制召唤菜单的特定手势。响应于菜单进入初始状态520，可视地向用户展示菜单(参看图4A或图4B)。例如，若首次展示菜单，以图A所示的样式展示菜单，或者若菜单记录了上次经触发的菜单项，以菜单B的所示的样式展示菜单。

可选地，当菜单处于初始状态520，响应于用户改变手势或者用户的手部离开指定区域，将初始状态520的菜单设置为隐藏状态510，以及可视地绘制菜单的隐藏过程，例如，从下往上或从两端向中央收起菜单，折叠菜单。

随着用户手部移动，用户界面上的光标也随之移动。响应于光标的位置进入菜单的菜单项之一对应的位置，菜单从初始状态520转换为待激活状态530。以及响应于菜单变为待激活状态530，按图4C所示的样式绘制菜单，特别地，绘制同光标的位置相对应地菜单项，以向用户指示其正指向该菜单项。可选地，光标呈现用食指指示的样式，而食指延长线所指的菜单项，为同光标的位置对应的菜单项。可选地，仅依据手部的水平位置确定光标所对应的菜单项，而不识别用户手指向的非水平的方向。依然可选地，识别用户手指在现实空间中的非水平的方向，从而用户可用手指指向斜上或斜下方向来指示菜单项。

依然可选地，响应于菜单进入待激活状态530，以声音或触觉方式向用户提供进一步的就菜单进入待激活状态530的反馈。

在待激活状态530或初始状态520，随着用户手部移动，响应于光标的位置所对应的菜单项发生改变，高亮地展示同光标位置对应的菜单项，而时普通或默认方式展示其他菜单项。以及可选地，无论光标的位置，不改变如图4B中的“保存”菜单项的显示方式。

在待激活状态530，响应于光标移出同菜单对应的区域，或者光标的位置不再对应于任一菜单项，菜单的状态变为初始状态520。可选地，在待激活状态530，响应于用户改变手势或者用户的手部离开指定区域，将待激活状态530的菜单设置为隐藏状态510，以及可视地绘制菜单的隐藏过程。

当菜单在待激活状态530，随着用户手部移动，响应于光标的位置跨过指定位置移动到菜单或菜单项所在的区域，将菜单设置为激活状态540，以及触发退出待激活状态530时，被高亮显示的菜单项所对应的事件(参看图4D，例如“保存”菜单项)。作为举例，指定位置是界定线(参看图4C、图4D)，当菜单处于待激活状态530时，界定线位于菜单区域与光标之间。

优选地，还为菜单提供锁定状态535。当菜单处于待激活状态530，响应于光标跨过指定位置，例如向菜单区域方向跨过界定线，菜单从待激活状态530变换为锁定状态535。响应于菜单进入锁定状态535，记录当前被高亮显示的菜单项(例如，参看图4C，“保存”菜单项)。以及“锁定”当前被高亮显示的菜单项，即使光标位置改变，被高亮显示的菜单项不再改变。可选地，当菜单处于锁定状态535，将光标的位置限定在同被高亮显示的菜单项对应的区域。作为举例，参看图4D，将光标的位置限制在“保存”菜单项的水平位置，即使用户向上或向下移动手部，光标也不会向上或向下移出“保存”菜单项的水平位置，从而也提示用户菜单处于“锁定”状态，且“保存”菜单项被锁定，菜单中的其他菜单项不会被高亮显示。通过提供“锁定”状态535，使得仅被高亮显示的菜单项可被触发，从而提高了人机交互的准确性，即使用户移动手部过程中手部位置出现偏差(例如，发生明显的纵向位移)，也能有效触发被高亮的菜单项。

在根据本申请的实施例中，通过提供“待激活”状态530与“锁定”状态535，将在虚拟空间中对菜单项的触发过程分为两个阶段，在第一阶段(“待激活”状态530)，有效的操作是沿例如垂直方向移动手部，以从多个菜单项中选择菜单之一，而在第二阶段(“锁定”阶段535)，有效的操作是沿例如水平方向移动手部，以触发被选择的菜单项。在各个阶段，非有效操作不会导致对操作意图的误解，提高了人机交互的效率。

在“锁定”状态535，响应于光标反向跨过指定位置，例如，远离菜单区域方向跨过界定线，菜单从“锁定”状态535变为“待激活”状态530。在“待激活”状态530，用户可通过移动光标位置来选择其他的菜单项。

在锁定状态535，响应于光标移动到指定位置，例如，菜单区域，处于“锁定”状态被高亮显示的菜单(参看图4E，“保存”菜单项)被触发，同该菜单项关联的事件或消息被触发或执行，菜单从“锁定”状态535变为“激活”状态540。响应于菜单变为“激活”状态540，还向用户提供有关菜单项被触发的视觉指示，可选地，还提供声音或力学反馈。

以及可选地，在触发了同该菜单项关联的事件或消息后，或者随着时间的流逝或，菜单从“激活”状态540自动变为“隐藏”状态510。响应于菜单变为“隐藏”状态510，可选地，还展示菜单的收起或折叠过程。

作为另一个可选实施方式，在“激活”状态540，不是自动地切换到“隐藏”状态510，而是保留在“激活”状态540。以及响应于用户移动手部，光标离开指定位置(例如，菜单所在区域)，菜单变为“待激活”状态530。

图6A-6C是根据本发明多个实施例的实现人机交互方法的流程图。由虚拟现实系统，或虚拟现实系统的信息处理设备320(参看图3)执行图6A-图6C的实施例的人机交互方法。

在虚拟空间中设置菜单，菜单上设置一个或多个菜单项。菜单可具有平面形状，并依据人机交互的需求，设置在虚拟空间的指定位置。当虚拟空间初始化时，或者响应于对菜单的设置和/或创建，初始化菜单以及菜单上的一个或多个菜单项，并将菜单设置为隐藏状态510(也参看图5)。在虚拟空间中还绘制对应于用户手部的光标，依据用户手部在虚拟空间中的位置确定光标的位置。

响应于识别出用户手部的指定动作，将菜单设置为初始状态520，并展示菜单以及菜单上的菜单项(参看图4A)(S610)。可选地，若菜单的部分菜单项曾经被触发，还可视地展示这些被触发的菜单项(参看图4B)。持续地获取光标的位置，响应于光标的位置进入对应于某一菜单项的区域，将菜单设置为“待激活”状态530(S612)，并高亮显示同光标的位置对应的菜单项(参看图4C，“保存”菜单项)。可选地，还通过绘制从菜单上浮起或凹下，和/或在菜单项的四周绘制阴影，来向用户展示同光标的位置对应的菜单项。以及响应于光标进入诸如菜单项所在区域的指定区域，将菜单设置为“激活”状态540，并触发或生成同菜单项对应的事件(S614)。

图6B是根据本发明又一实施例的实现人机交互方法的流程图。如图6B所示，该人机交互方法始于开始步骤S620。当虚拟空间初始化时，或者响应于对菜单的设置和/或创建，初始化菜单，菜单包括一个或多个菜单项(S621)，并将菜单设置为隐藏状态510。响应于检测到用户的指定动作(S622)，例如单手握拳，掌心向朝向用户，将菜单设置为“初始”状态520，并展示菜单(S623)。以及检测用户通过移动手部来移动光标(S624)，响应于用户移动光标，检测光标是否确定指定位置(例如，界定线)(S625)。若光标未越过指定位置，识别光标所对应的菜单项，若光标对应于菜单项之一，将菜单设置为“待激活”状态，并记录光标对应的菜单项(S626)，以及高亮显示光标所对应的菜单项。例如，依据光标的水平位置，将具有相同水平位置的菜单项确定为光标位置对应的菜单项。以及以默认方式显示光标未对应的菜单项，例如，若因光标位置移动，使得光标不再对应于菜单项M，则将原本被高亮显示菜单项M，以默认方式显示。以及返回步骤S624，继续检测用户对光标的移动。

在步骤625，若识别出光标越过指定位置(例如界定线)，将菜单设置为“锁定”状态，并记录当前被高亮显示的菜单项，并锁定该菜单项(S627)，使得即使光标对应的菜单项发生变化，也不改变锁定的菜单项。可选地，菜单进入“锁定”状态后，以不同的方式绘制光标，使得光标的位置被限制在同锁定的菜单项对应的区域内，例如，锁定的菜单项在水平方向延伸所及的区域内；依然可选地，还改变光标的形状，以向用户提示光标的位置或菜单项被锁定。

接下来，继续检测或识别光标所在的位置，若光标进入诸如菜单或菜单项所在区域的指定区域(S628)，将菜单设置为“激活”状态，并触发同当前被高亮显示或被锁定的菜单项所对应的事件(629)。可选地，向用户提供视觉、听觉或触觉反馈，以提示事件被触发。接下来，自动地或响应于事件被触发，将菜单设置为隐藏状态510，并隐藏菜单，以及返回步骤S622。可选地，记录所触发的菜单项，并在下一次菜单进入“初始”状态520时，高亮地展示所触发的菜单，以向用户提示该菜单项已被触发或该菜单项是其所在菜单上一次被触发的菜单项。

可选地，在菜单的“初始”状态520、“待激活”状态530、“锁定”状态535或“激活”状态540，若手势检测设备(参看图3，310)的丢失了所检测的用户手部、用户放弃了指定的手势、或作出其他手势(S630)，将菜单设置为“隐藏”状态510，以及转向步骤S621。

图6C是根据本发明又一实施例的实现人机交互方法的流程图。如图6C所示，该人机交互方法始于开始步骤S640，并初始化菜单。响应于识别用户作出食指向侧方伸出的指定手势(参看图4A中的手势)，并且手部保持该手势并悬停一段时间(例如，0.5秒)，可选地将菜单设置为“初始”状态520，并绘制菜单(S641)。菜单的位置可以与同手部对应的光标大致相同水平位置，在食指所指方向，距光标指定的距离。以及在用户界面上绘制界定线，例如，从下到下展示竖线作为界定线(S642)，界定线位于菜单与对应于手部的光标之间。在竖线绘制完成后，在菜单上绘制菜单项，沿手指所指方向绘制菜单项(S643)，以及可选地，(默认)将菜单上最上方的菜单项高亮显示。

接下来，若检测到用户改变了指定手势，或者用户手部超远离界定线或手势识别设备的方向移动超过诸如10厘米的指定距离，认为用户希望放弃菜单操作，则可视地展示隐藏菜单的过程，包括使菜单项沿生成时的反方向消息，和/或界定线从下到上地消失(S647)，以及返回步骤S641。

若在步骤S644，判断用户未放弃菜单操作，继续检查光标是否越过界定线(S645)。若光标未越过界定线，随光标的移动，将食指所指向的菜单向高亮显示，以及随着用户手部和/或食指指向发生变化，食指所指向的菜单也可能发生变化，而相应地高亮显示食指所指向的菜单(S646)，可选地，将菜单设置为“激活”状态530，以及返回步骤S644。

在步骤S645，若光标越过界定线，锁定菜单，将界定线以黑色显示，以向用户指示菜单被锁定(S648)，以及可选地将菜单设置未“锁定”状态535。菜单被锁定后，即使上下移动手部，使手指指向其他菜单项，其他被指向的菜单项也不被高亮显示。可以理解地，可通过其他形式或颜色绘制界定线来向用户提示菜单被锁定。接下来，检测光标是否进入菜单或菜单项区域(是否戳中高亮的菜单项)(S649)。若光标进入菜单或菜单项区域，可选地，将菜单设置为“激活”状态540，触发同高亮的菜单对应的事件或消息，并在指定时间(例如，0.5秒)后，使菜单消失(S650)，以及回到步骤S641。在步骤S649，若光标未进入菜单或菜单项区域，还判断光标是否再次越过界定线(S651)。可以理解地，在步骤S648，光标同菜单已处于界定线的同侧，而在步骤S651，若光标再次越过界定线，则光标与菜单处于界定线的两侧。若光标再次越过界定线，返回步骤S646。

图7A-7D是根据本申请实施例又一的菜单项控件的多种状态的示意图。通过为菜单项提供多种状态，来实施本申请。参看图7A，菜单包括多个菜单项，作为举例，菜单项分别标注了文字“新建”、“开发”、“保存”与“关闭”，以向用户指示菜单项多对应的消息或事件。图7A中的菜单项都处于“初始”状态。一般地，在菜单创建时或展开后，菜单的菜单项处于“初始状体”。通过绘制菜单项，向用户可视地指示菜单项所处的状态。

参看图7B，菜单项“新建”、“开发”与“关闭”处于“初始”状态，而菜单项“保存”处于“已激活”状态。“已激活”状态指示菜单项曾经被激活、点击或触发(统称“触发”)，或者指示菜单上次被隐藏，是因为该菜单项被触发。作为举例，“已激活”状态的菜单项不会被再次“激活”，也不会进入“待激活”状态或“激活”状态。

图7C中，菜单项“保存”处于“待激活”状态，指示用户选择了菜单项“保存”，而其他菜单项处于“初始”状态。“初始”状态与“待激活”状态可以相互转换。在同一时刻，菜单中最多有一个菜单项处于“待激活”状态。图7D中，菜单项“保存”处于“激活”状态，指示用户触发了“菜单项”保存，而其他菜单项处于“初始”状态。随着时间流逝，处于“激活”状态的菜单项自发地进入“已激活”状态。

通过以不同的样式绘制菜单项，使用户通过视觉反馈可区分菜单项所处的状态。以及可选地，还向用户提供听觉和/或力学反馈，以指示菜单项状态的改变。

图8A是实现本申请另一实施例的菜单项的状态图。在图8A所示的实施例中，为每个菜单项维护状态。菜单项可处于“初始”状态、“待激活”状态、“激活”状态以及“已激活”状态之一。图8A展示了菜单项的各种状态及其状态转换条件。

菜单项被首次创建后处于“初始”状态。在本申请的实施例中，虚拟显示系统初始化或依据用户的指示创建菜单，以及创建菜单所包含的一个或多个菜单项。所创建的菜单项处于“初始”状态。菜单可以被隐藏，菜单被隐藏时，其所包含的菜单项也被隐藏。响应于识别出用户作出指定手势，而展示菜单。也参看图8B，展示了包括四个菜单项的菜单，其中所有的菜单项均处于“初始”状态。图8B中还展示了绘制在用户界面上的光标，依据用户的手部的位置和/或姿态，在用户界面上绘制光标。在菜单与光标之间包括界定线。可选地，响应于识别出用户作出指定手势而展示菜单时，依据光标的位置与用户手指所指的方向确定绘制菜单的位置，以及将菜单与光标之间的位置作为绘制界定线的位置。

参看图8A，识别光标或用户手指所指的方向，若指向菜单项之一，将被指向的菜单项从“初始”状态切换为“待激活”状态。以及若处于“待激活”状态的菜单项不再被光标或手指所指向，则将其从“待激活”状态切换为“初始”状态。也参看图8C，光标所指向的菜单项“保存”处于“待激活”状态。在图8C中，响应于光标的位置上下移动，光标所指向的菜单项发生改变，将光标所指向的菜单项从“初始”状态设置为“待激活”状态，而光标不再指向的菜单项从“待激活”状态变为“初始”状态。

返回参看图8A，识别光标的位置是否移动到菜单项所在区域。若光标移动到“待激活”状态的菜单项所在的区域，处于“待激活”状态的菜单项变为“激活”状态。以及响应于菜单项变为“激活”状态，产生同菜单项对应的消息或事件。以及随时间流逝，处于“激活”状态的菜单项将变为“已激活”状态。可选地，处于“已激活”状态的菜单项的状态不再变化。参看图8D，为菜单而不是菜单项维护“锁定”状态。响应于光标向菜单所在区域越过界定线，将菜单设置为“锁定”状态。在“锁定”状态，菜单不再处理光标的位置信息，或者菜单接收光标的位置信息但不提供给菜单项，从而菜单项无法获知光标的位置变化，因而各菜单项的状态不会发生改变，从而实现对菜单的“锁定”。即使用户上下移动手部，各菜单项的状态也不会变化。可选地，参看图8E，在“锁定”状态中，依然按手部的位置绘制光标，使得光标可以指向处于“初始”状态的菜单项(例如，菜单项“开发”)，但各菜单项的状态不发生改变。

参看图8F，随着用户移动手部，光标移动到处于待激活状态的菜单项“保存”所在区域，菜单项“保存”进入“激活”状态，产生同菜单项“保存”对应的事件或消息。以及接下来，菜单项“保存”从“激活”状态变为“已激活”状态。可选地，还隐藏菜单。

参看图8G，响应于菜单再次被展示，菜单项“保存”依然处于“已激活”状态，而其他菜单项处于“初始”状态。识别同用户手部对应的光标的位置，同光标位置对应的菜单项(参看图8H，菜单项“开发”)被设置为“待激活”状态，而菜单项“保存”依然处于“已激活”状态。随着用户手部移动，光标指向了菜单项“保存”(参看图8I)。由于光标不再指向菜单项“开发”，菜单项“开发”从“待激活”状态变为“初始”状态，而处于“已激活”状态的菜单项“保存”并不因被光标所指而改变状态。

作为举例，光标移动到指向菜单项“开发”，并使菜单项“开发”进入“待激活状态”(如图8H所示)。接下来，参看图8J，光标向右(菜单相对于光标位置的方向)越过界定线，作为响应，将菜单设置为“锁定状态”，以及界定线变为黑色，以指示“锁定”状态。参看图8K，在菜单的“锁定”状态，当光标在界定线右侧上下移动时，即使光标指向其他菜单项(例如，菜单项“新建”)，由于菜单处于“锁定状态”，未被光标所指的菜单项“开发”依然保持“待激活”状态，而被光标所指的菜单项“新建”依然保持“初始状态”。

若在图8所示的状态下，光标越过界定线，菜单进入“锁定状态”，但没有任何菜单项处于“待激活”状态，菜单项“保存”依然处于“已激活”状态。

在图8K中，菜单项“开发”处于“待激活”状态，而响应于光标继续移动到菜单项“开发”所在区域，菜单项“开发”被激活，并进入“激活”状态，以及产生同菜单项“激活”所对应的事件或消息(参看图8L)。接下来，菜单项“开发”也进入“已激活”状态，而菜单项“保存”依然处于已激活状态。以及隐藏菜单。在又一实施方式中，随着菜单项“开发”进入“已激活”状态，与其属于同一菜单的其他“已激活”状态的菜单项(菜单项“保存”)变为“初始”状态。

可选地，设置菜单项的宽度大于光标或光标中的手指图案的宽度，以有利于识别光标所对应的菜单项。

可选地，根据本申请的实施例中，用户利用手指进行交互时，保持手指对手势输入设备310的可见性，避免手掌遮挡手指，从而有利于对手部姿态、手指位置的识别。

图9是实现本发明实施例的信息处理设备的框图。在根据本发明的实施例中，信息处理设备900在用户界面上生成控件，并识别用户手势信息(i)或接收手势输入/手势识别设备提供的手势信息(i)，识别用户的指示，并向用户提供反馈以同用户交互。图9中展示的信息处理设备900是计算机。计算机仅仅是适当的计算环境的一个例子，而不意图暗示关于本发明的使用或功能范围的任何限制。图9所展示的信息处理设备也不应当被解释为在所示出的任何组件或组件组合方面有任何依赖性或要求。

信息处理设备900包括直接或间接地耦合到总线910的存储器912、一个或更多处理器914、一个或更多呈现组件916、I/O组件920以及电源922。总线910所代表的可以是一种或更多种总线(比如地址总线、数据总线或其组合)。是在实际情况中各个组件的界定并不是必然如图8中的方式。举例来说，可以把诸如显示设备之类的呈现组件视为I/O组件920。此外，处理器可具有存储器。本发明的发明人认识到这正是本领域的性质，并且重申图8的图示仅仅是为了说明可以与本发明的一个或多个实施例相结合地使用的示例性计算机系统。

信息处理设备900通常包括多种存储器912。作为举例而非限制，存储器912可以包括：随机存取存储器(RAM)、只读存储器(ROM)、电子可擦写可编程只读存储器(EEPROM)、闪存、压缩盘只读存储器(CDROM)、数字通用盘(DVD)或其他光学或全息介质、磁盒、磁带、磁盘存储或其他磁性存储设备。计算机存储介质可以是非易失性的。

信息处理设备900包括一个或更多处理器914，其从诸如总线910、存储器912或者I/O组件920之类的各种实体读取数据。一个或多个呈现组件916向用户或其他设备呈现数据指示。示例性的呈现组件916包括显示设备、扬声器、打印组件、振动组件、平面显示器、投影仪、头戴式显示器等。呈现组件916也可以是用于耦合显示设备、扬声器、打印组件、振动组件、平面显示器、投影仪、头戴式显示器等的I/O端口。说明性的I/O组件920包括摄像头、麦克风、操纵杆、游戏手柄、碟形卫星信号收发天线、扫描仪、打印机、无线设备等。

根据本发明的基于手势识别的控件也可在手势识别设备或手势输入设备中实施。手势识别设备或手势输入设备可以集成到键盘、鼠标、遥控器等输入设备中。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种人机交互方法，包括：

响应于用户的指定动作，展示菜单，所述菜单包括多个控件；

依据光标指向第一控件，将第一控件设置为待激活状态；

响应于光标进入指定区域，生成与第一控件关联的第一事件。

2.根据权利要求1所述的方法，还包括：

响应于光标指向第二控件，将第二控件设置为待激活状态，以及将处于待激活状态的第一控件设置为初始状态。

3.根据权利要求1或2所述的方法，还包括：

响应于光标从第一方向越过第一区域，将菜单设置为锁定状态；

当菜单处于锁定状态时，即使光标指向第二控件，处于待激活状态的第一控件依然处于待激活状态，以及处于初始状态的第二控件依然处于初始状态。

4.根据权利要求3所述的方法，还包括：

响应于用户的指定动作，展示菜单，依据记录将第一控件设置为已激活状态；

响应于光标指向第一控件，第一控件依然处于已激活状态；以及

响应于生成与第二控件关联的第二事件，取消对第一控件的记录。

5.根据权利要求1-4之一所述的方法，其中，

响应于用户的指定动作，还包括在菜单与光标之间绘制分割线；其中，

分割线展示了第一区域的位置。

6.根据权利要求1-5之一所述的方法，还包括：

在菜单非处于锁定状态时，响应于光标与菜单的距离超过阈值，隐藏菜单。

7.根据权利要求1-6之一所述的方法，其中，

仅当菜单处于锁定状态时，才响应于光标进入指定区域，生成与第一控件关联的第一事件。

8.一种人机交互装置，包括：

激活模块，用于响应于用户的指定动作，展示菜单，所述菜单包括多个控件；

状态设置模块，用于依据光标指向第一控件，将第一控件设置为待激活状态；

事件生成模块，用于响应于光标进入指定区域，生成与第一控件关联的第一事件。

9.一种人机交互系统，包括计算单元、显示设备以及传感器模块；

所述计算单元构建虚拟现实场景；

所述显示设备用于显示计算单元构建的虚拟显示场景；

传感器模块用于感知用户的动作以及用户手部在现实空间中的姿态；

所述计算单元基于传感器所感知的用户手部在现实空间中的姿态，确定对应于手部的光标在虚拟空间中的指向与位置，响应于用户的指定动作，展示菜单，所述菜单包括多个控件；依据光标指向第一控件，将第一控件设置为待激活状态；以及响应于光标进入指定区域，生成与第一控件关联的第一事件。

10.一种信息处理设备，包括处理器、存储器、显示设备，所述信息处理设备还耦合到传感器模块并接收传感器模块感知的用户的动作以及用户手部在现实空间中的姿态；

所述存储器存储程序，所述处理器运行所述程序使所述信息处理设备执行权利要求1-7之一所述的方法。