CN109144598A - 基于手势的电子面罩人机交互方法与系统 - Google Patents

基于手势的电子面罩人机交互方法与系统 Download PDF

Info

Publication number
CN109144598A
CN109144598A CN201710465191.2A CN201710465191A CN109144598A CN 109144598 A CN109144598 A CN 109144598A CN 201710465191 A CN201710465191 A CN 201710465191A CN 109144598 A CN109144598 A CN 109144598A
Authority
CN
China
Prior art keywords
control
controls
user
response
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710465191.2A
Other languages
English (en)
Inventor
李文玺
党建勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen qiaoniu Technology Co.,Ltd.
Original Assignee
Tianjin Feng Time Interactive Technology Co Ltd Shenzhen Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Feng Time Interactive Technology Co Ltd Shenzhen Branch filed Critical Tianjin Feng Time Interactive Technology Co Ltd Shenzhen Branch
Priority to CN201710465191.2A priority Critical patent/CN109144598A/zh
Publication of CN109144598A publication Critical patent/CN109144598A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Abstract

公开了基于手势的电子面罩人机交互方法与系统。所公开的人机交互方法，包括：响应于用户作出指定手势且对应于手部的光标处于第一指定区域，展示第一方向标识；响应于所述光标沿第一方向标识指示的方向进入第二指定区域，展示控件组；响应于所述光标在所述控件组所在平面的投影进入所述控件组的控件所在区域，将所述控件设置为待激活状态；响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为已激活状态。

Description

基于手势的电子面罩人机交互方法与系统
技术领域
本申请涉及人机交互领域。具体地，本申请涉及通过手势操作控件进行人机交互的方法与系统。
背景技术
人机交互技术中，控件是用于构建图形用户界面的可重用软件组件。通常，一个控件对应一种功能。例如，图1展示了二维图形用户界面中的“确认”控件。“确认”控件包括提示窗，提示窗中包括“确认”按钮与“取消”按钮。在“确认”控件被调用时，弹出如图1所示的提示窗，识别用户对“确认”按钮或“取消”按钮的点击来获得用户的操作意图，并实现人机交互。现有技术中的滑动解锁技术，通过手部在触摸屏上的滑动向信息处理设备告知用户的输入意图。
新型人机交互技术也在不断发展，基于手势识别的人机交互技术是热点之一。对手部运动的识别，可以通过多种方法实现。来自微软公司的US20100199228A1(公开日：2010年8月5日)提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自Nintendo公司的US20080291160A1(公开日：2008年11月27日)提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。来自松下电器产业株式会社的CN1276572A提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。图2示出了来自天津锋时互动科技有限公司的专利申请CN201110100532.9提供的手势识别与空间位置的感知系统与方法。如图2所示，手势识别系统包含：计算机主机101、多摄像头系统的控制电路102、多个摄像头103、使用者手部104、运行于计算机主机101的应用程序105、应用程序105中的被操作对象106与虚拟手光标107。手势识别系统还包括在图2中未示出的用于照明使用者手部104的红外照明光源以及放置于每个摄像头前的红外滤光片。多个摄像头103捕获使用者手部104的图像，控制电路102对摄像头103采集的手部图像进行处理，并识别手部的姿态和/或位置。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。在中国专利申请2017100975946与2017101161574中也提供了基于手势的人机交互方案。
发明内容
在基于手势识别的人机交互过程中，需要向用户给出有效的反馈，以向用户告知系统所处的状态，系统对用户的输入的反应，指导用户实施下一步的交互动作，以促进人机交互的完成。设计控件来促进应用程序的开发。控件以手势作为输入，而产生事件或消息作为输出。事件或消息可指示用户的“确认”、“取消”、“打开”或“关闭”等操作目的，或指示多种不同含义的用户意图。而且由于人的生物特征决定了用户的手在三维交互空间的轨迹无法实现笔直或者规范的问题，从而已有的人机交互技术难以有效地理解手势输入的意图。
菜单是人机交互技术中常用的控件。菜单通常包括多个菜单项，完全展开的菜单会占用较大的空间或面积。在虚拟现实系统中，缺少有效的基于手势的操作菜单控件实现人机交互的方案。
除了菜单，还需要其他类型的控件组。在控件组中提供多个控件的实例。控件组中的控件具有相同或不同的类型。需要控件组为人机交互提供最大的便利性。需要合理提供控件组及其操作方式，以便于在人机交互中使用控件组，来接收用户意图，并向用户给出对操作效果或进展的反馈。
对控件组的呼出也是本申请要解决的问题之一。仅在使用时向用户展示控件组是有利的。在控件组不被使用时，隐藏控件组，以充分利用人机交互系统的视觉空间为用户提供其他服务。在需要使用控件组时，提供便捷而可靠的手段允许用户呼出控件组。
在本申请的实施例中，通过向用户提供视觉反馈，来促进利用菜单控件的人机交互的完成。
根据本申请的第一方面，提供了根据本申请第一方面的第一人机交互方法，包括：响应于用户作出指定手势且对应于手部的光标处于第一指定区域，展示第一方向标识；响应于所述光标沿第一方向标识指示的方向进入第二指定区域，展示控件组；响应于所述光标在所述控件组所在平面的投影进入所述控件组的控件所在区域，将所述控件设置为待激活状态；响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为已激活状态。
根据本申请第一方面的第一人机交互方法，提供了根据本申请第一方面的第二人机交互方法，其中，控件包括一个或多个第一类控件与第二类控件；所述方法还包括，响应于手部在虚拟坐标系中相对于第一类控件的距离小于阈值，生成同所述第一类控件相对应的事件；以及响应于手部在虚拟坐标系中相对于所述第二类控件的距离小于阈值，隐藏所述控件组。
根据本申请第一方面的第二人机交互方法，提供了根据本申请第一方面的第三人机交互方法，其中所述控件组中，围绕所述第二类控件而布置第一类控件；以及其中为展示所述控件组，先展示所述第二类控件，再围绕所述第二类控件展示第一或多个第一类控件。
根据本申请第一方面的第一至第三人机交互方法之一，提供了根据本申请第一方面的第四人机交互方法，还包括：响应于所述光标在所述控件组所在平面的投影进入所述控件组的控件所在区域，将所述控件组的其他控件设置为初始状态。
根据本申请第一方面的第一至第三人机交互方法之一，提供了根据本申请第一方面的第五人机交互方法，还包括：响应于所述光标在所述控件组所在平面的投影进入所述控件组的控件所在区域，将所述控件组的其他非处于已激活状态的控件设置为初始状态，而所述控件组的其他处于已激活状态的控件的状态保持不变。
根据本申请第一方面的第五人机交互方法，提供了根据本申请第一方面的第六人机交互方法，还包括：响应于手部在虚拟坐标系中相对于控件的距离小于阈值，将所述控件组的其他控件设置为初始状态。
根据本申请第一方面的第一至第六人机交互方法之一，提供了根据本申请第一方面的第七人机交互方法，其中，响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，还绘制所述控件被按下的效果。
根据本申请第一方面的第一至第七人机交互方法之一，提供了根据本申请第一方面的第八人机交互方法，其中响应于所述光标在所述控件组所在平面的投影进入处于待激活状态的控件的区域，将光标绘制为准星图标；依据手部在虚拟坐标系中相对所述控件的距离，更新准星图标的尺寸。
根据本申请第一方面的第八人机交互方法，提供了根据本申请第一方面的第九人机交互方法，还包括：响应于光标在所述控件组所在平面的投影进入处于待激活状态的所述控件的区域，在所述控件周围绘制瞄准框。
根据本申请第一方面的第一至第九人机交互方法之一，提供了根据本申请第一方面的第十人机交互方法，其中依据手部在现实坐标系中的位置得到对应于手部的光标在虚拟坐标系中的位置。
根据本申请第一方面的第三人机交互方法，提供了根据本申请第一方面的第十一人机交互方法，其中为隐藏所述控件组，先隐藏所述第一类控件，再隐藏所述第二类控件。
根据本申请第一方面的第一至第十人机交互方法之一，提供了根据本申请第一方面的第十一人机交互方法，还包括：响应于用户作出指定手势且对应于手部的光标处于第二指定区域，展示第二方向标识；响应于所述光标沿第二方向标识指示的方向进入第一指定区域，隐藏所述控件组。
根据本申请第一方面的第十一人机交互方法，提供了根据本申请第一方面的第十二人机交互方法，其中第二方向标识指示与第一方向标识相反的方向。
根据本申请第一方面的第十或第十一人机交互方法，提供了根据本申请第一方面的第十三人机交互方法，其中第一指定区域是虚拟空间中用户视线所在平面上方的区域，而第二指定区域是虚拟空间中用户视线所在平面下方的区域。
根据本申请第一方面的第一至第十三人机交互方法之一，提供了根据本申请第一方面的第十四人机交互方法，其中所述控件组被绘制在相对于虚拟空间中用户头部的指定位置；以及响应于用户头部运动，保持所述控件组在相对于虚拟空间中相对于用户头部的指定位置。
根据本申请第一方面的第一至第十四人机交互方法之一，提供了根据本申请第一方面的第十五人机交互方法，其中响应于用户作出指定手势且对应于手部的光标处于第一指定区域，还绘制分割线，以使用户区分第一区域与第二区域。
根据本申请第一方面的第一至第十五人机交互方法之一，提供了根据本申请第一方面的第十六人机交互方法，还包括若指定时间内，所述控件组没有任何控件的状态发生变化，隐藏第一方向标识；以及将所述控件组设置为锁定状态；处于锁定状态的控件组的控件的状态不再变化。
根据本申请第一方面的第十六人机交互方法，提供了根据本申请第一方面的第十七人机交互方法，还包括响应于用户作出指定手势且对应于手部的光标处于第一指定区域，展示第一方向标识；以及解除所述控件组的锁定状态。
根据本申请第一方面的第二、第三、第十一或第十二人机交互方法，提供了根据本申请第一方面的第十八人机交互方法，其中响应于隐藏所述控件组，还记录所述控件组中各个控件的状态。
根据本申请第一方面的第十八人机交互方法，提供了根据本申请第一方面的第十九人机交互方法，还包括：响应于展示所述控件组，依据所记录的各个控件的状态，将控件设置为初始状态或已激活状态。
根据本申请的第二方面，提供了根据本申请第二方面的一种人机交互装置，包括：手势识别模块，用于响应于用户作出指定手势且对应于手部的光标处于第一指定区域，展示第一方向标识；展示模块，用于响应于所述光标沿第一方向标识指示的方向进入第二指定区域，展示控件组；位置识别模块，用于响应于所述光标在所述控件组所在平面的投影进入所述控件组的控件所在区域，将所述控件设置为待激活状态；距离识别模块，用于响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为已激活状态。
根据本申请的第三方面，提供了根据本申请第三方面的一种人机交互系统，包括计算单元、显示设备以及传感器模块；所述计算单元用于运行虚拟现实应用以构建虚拟现实场景；所述显示设备用于显示计算单元构建的虚拟现实场景；传感器模块用于感知用户手部的姿态和/或位置；所述计算单元基于传感器所感知的用户手势，绘制第一方向标识，响应于用户手部沿第一方向标识指示的方向进入第二指定区域，展示控件组；所述计算单元响应于用户手部在所述控件组所在平面的投影进入所述控件组的控件所在区域，将所述控件设置为待激活状态；以及响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为已激活状态。
根据本申请的第四方面，提供了根据本申请第四方面的信息处理设备，包括处理器、存储器、显示设备，所述信息处理设备还耦合到传感器模块并接收传感器模块感知的用户的状态；所述存储器存储程序，所述处理器运行所述程序使所述信息处理设备执行根据本申请第一方面的人机交互方法之一。
根据本申请的第五方面，提供了根据本申请第五方面的存储介质，其上存储程序，所述程序被处理器运行时实施根据本申请第一方面的人机交互方法之一。
附图说明
当连同附图阅读时，通过参考后面对示出性的实施例的详细描述，将最佳地理解本申请以及优选的使用模式和其进一步的目的和优点，其中附图包括：
图1展示了现有技术中二维图形用户界面的“确认”控件；
图2是现有技术中的手势识别系统结构示意图；
图3是根据本申请实施例的基于手势识别的人机交互系统的框图；
图4是根据本申请实施例的呼出控件组的示意图；
图5A-5E是根据本申请实施例的面罩控件组的多种状态的示意图；
图6是根据本申请实施例的面罩控件组中的控件的状态图；
图7是根据本申请实施例的隐藏控件组的示意图；
图8A-8B是根据本申请多个实施例的实现人机交互方法的流程图；以及
图9是根据本申请实施例的信息处理设备的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。相反，本申请的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
图3是根据本申请实施例的基于手势识别的人机交互系统的框图。根据本申请实施例的人机交互系统包括彼此耦合的手势输入设备310、信息处理设备320以及显示设备330。在一个例子中，手势输入设备310，用于捕获用户手部的图像，并将获取的图像发送给信息处理设备进行处理。信息处理设备320，用于接收手势输入设备发送的手部图像，识别图像中用户手部的手势信息。信息处理设备320还通过显示设备330向用户展示图形和/或图像，例如在显示设备330上绘制用户手部的虚拟图像。信息处理设备可以是诸如计算机、手机或专用的手势识别设备。显示设备330可以是诸如平面显示器、投影仪、头戴式显示器。
在另一个例子中，手势输入设备310感知用户手部的位置和/或姿态，识别用户手部的手势信息，并将用户手部信息发送给信息处理设备320。信息处理设备320识别手势输入设备310提供的用户手部信息作为用户提供的输入，并通过显示设备330向用户提供输出，以实现人机交互。显然，信息处理设备320还可通过声音、力学作用等形式与用户进行交互。
作为依然另一个例子，手势输入设备310还是可以是例如深度传感器、距离传感器、VR控制器(如Oculus Rift Touch)、游戏手柄、数据手套(如CyberGlove)、动作捕捉系统(如OptiTracker)、陀螺仪等，用于感知用户手部的位置和/或姿态。
可选地，手势输入设备310还包括头部姿态检测设备312。头部姿态检测设备312可以是例如头盔或头戴设备。通过布置于头盔上的陀螺仪识别用户头部的位置与方向，并可进而确定用户眼睛的方向作为视线方向。作为另一个例子，通过视频或图像捕捉设备识别用户眼睛，特别是瞳孔，所观察的方向作为识别用户做出抬头动作的依据。视频或图像捕捉设备可布置于头盔上或人机交互系统中可观察到用户眼睛的位置。作为又一个例子，通过视频或图像捕捉设备捕获用户头部的图像，并从图像中识别用户头部的姿态，以识别用户做出抬头动作。
头部姿态检测设备312识别用户头部的姿态，并提供给信息处理设备320。可选地，头部姿态检测设备312捕获基本信息并提供给信息处理设备320，而由信息处理设备320从基本信息中提取出用户是否做出抬头动作、抬头的幅度、视线的朝向或视线相对水平面的角度。作为另一个例子，头部姿态检测设备312独立于手势输入设备310，并通过独立的信道同信息处理设备320交互。可选地，头部姿态检测设备312识别用户的视野范围，并提供给信息处理设备320。视野范围可以是以用户的眼睛或头部为起点的锥体，以用户的视线作为椎体的主轴线。
从用户在现实世界(或称“现实空间”)中所做的手势和/或动作，提取出基于虚拟坐标系的手势信息(i)。手势信息(i)可以是一个向量，并形式化表示为i＝{C,palm,thumb,index,mid,ring,little}。其中，c表示整个手的手型，例如，握拳、五指张开、胜利手势等，palm代表指示手掌的位置信息，thumb、index、mid、ring和little分别代表拇指、食指、中指、无名指和小指的位置信息和/或朝向信息。以及其中，虚拟坐标系用以展示由信息处理设备320所构建的虚拟世界(或称“虚拟空间”)中的位置信息。而用现实坐标系展示现实世界中物体或空间的位置信息。信息处理设备320所构建的虚拟世界可以是例如二维图形用户界面的二维空间、三维空间或融合了用户的虚拟现实场景。现实坐标系与虚拟坐标系，可以是二维坐标系或三维坐标系。可按一定的频率或时间间隔更新手势信息(i)，或者在用户的手部位置和/或姿态发生变化时，更新手势信息(i)。
在用户界面上，可以依据手势信息(i)显示光标，用来向用户提供视觉响应。光标在图形界面上的位置可表示为手势信息(i)的函数，例如func_a(i)。本领域技术人员可以理解，函数func_a根据不同的应用场景或设置而不同。
例如，在一个二维用户界面中，通过公式(1)计算要绘制光标的位置：
Func_a(i)＝C*0+palm*0+index.position*0.5+mid*0+little*0(1)
(1)式中，index.position指用户食指的位置，因而从(1)式中可知，光标在用户界面上的位置，仅依赖于用户食指位置，且光标在用户界面上移动的距离，是用户食指移动距离的一半。
光标可具有单一样式，例如手的形状。光标也可具有对应于不同手型的多种样式。作为一个例子，光标展示了手型，例如，食指伸出、其余四指弯曲，手心朝向用户自己的手型，光标还提供了食指指向的方向。
图4是根据本申请实施例的呼出控件组的示意图。用户做出指定的手势。人机交互系统响应于识别用户做出了指定手势，在虚拟世界中展示控件组。作为举例，人机交互系统的手势输入设备310捕捉并识别用户做出了的指定手势，或者手势输入设备310提取用户手部的图像并提供给信息处理设备320，而信息处理设备320识别用户的手部是否呈现出指定的手势，并决定是否通过显示设备330在虚拟世界中展示控件组以及其它同用户交互的内容。可选地，人机交互系统还向用户提供基于听觉、触觉等的交互方式。
作为一个例子，呼出控件组的指定手势为五指张开并上下挥动。在另一个例子中，呼出控件组的指定手势为五指张开，保持一定时间并沿被指示的方向移动。被指示的方向可以是预设的，例如，向上或向下移动，也可以是人机交互系统随机产生的方向，并提示用户沿该随机产生的方向移动手部，以提升人机交互过程的可靠性与安全性，至少检查了参与人机交互的人的一方具有识别视觉反馈的能力。
参看图4，用户向手势输入设备310伸出手部，张开五指。人机交互系统检测到用户做出张开五指的手势后，在虚拟世界中向用户展示水平方向的界定线。可选地，用户做出五指张开的手势并保持一段时间，例如0.7秒，以降低误操作的几率。手势输入设备310识别用户手部保持了一段时间以确认用户呼叫控件组的意图。可选地，还在虚拟世界中将同用户手部对应的光标绘制为用户手部样式，以向用户提示手部与界定线之间的相对位置。可选地，还在虚拟世界中绘制从手部指向界定线方向的箭头，以向用户提示用于呼出控件组的手部移动方向。依然可选地，人机交互系统还播放声音或以其它方式向用户提供反馈，以提示用户可以继续进行呼出控件组的动作。例如，在绘制界定线时，在用户视野范围内，绘制由左至右扫过的发光线条。
图4中，界定线被指定出现在光标下方。可选地，随机生成相对于光标的方向，并在随机生成的方向绘制界定线，和/或箭头，以向用户提示用于呼出控件组的手部移动方向。
在一个实施方式中，界定线位于虚拟世界中用户的视平面上。视平面为同用户的脸平面(将用户脸部视作一平面)垂直的平面，同用户的脸平面相交于用户双眼中心连线。视平面位于用户脸部前方，并随用户头部姿态的改变而改变。视平面将用户视野分成两部分，视平面上方的部分与视平面下方的部分。用户为呼叫控件组，要在视平面上面作出五指张开的手势，并移动手部从上到下穿过视平面(界定线)。
手势输入设备310持续捕获用户手部的手势与位置。响应于对应用户手部的光标移动并沿箭头方向越过界定线，人机交互系统确认用户希望呼出控件组，并通过视觉、听觉、触觉等方向向用户做出反馈，例如，在虚拟世界中绘制被呼出的控件组。
可选地，用户向界定线方向移动手部的过程中，需要保持五指张开的手势，以降低误操作的可能性，向人机交互系统清晰的表达呼出控件组的意图。若光标越过界定线之前，用户放弃了五指张开的手势，信息处理设备320识别用户并非意图呼出控件组，而隐藏对界定线、用户手部样式的光标和/或箭头的展示。
可选地，在图4展示的场景中，若用户长时间(例如，几秒钟)未移动手部或虽然移动了手部但长时间未越过界定线，人机交互系统也识别用户并非意图呼出控件组，而隐藏对界定线、用户手部样式的光标和/或箭头的展示。
在另一个实施方式中，界定线是隐藏的，也不展示箭头。在用户熟悉根据本申请的人机交互方式的场景中，用户向人机交互系统张开五指，选定一段时间，并向下移动手部，以召唤控件组。用户无需等待界定线和/或箭头的展示，从而节约人机交互过程的时间。可选地，虚拟现实系统维护隐藏的界定线，或者识别用户手部张开五指并向下移动的手势，作为对用户呼出控件组意图的确认。依然可选地，在确认了用户呼出控件组的意图后，虚拟现实系统向用户提供视觉、听觉和/或触觉反馈来向用户提示已识别了用户的意图。例如，在用户视野范围内，绘制由左至右扫过的发光线条，在线条消失后，绘制控件组。
在根据本申请的实施例中，以面罩控件组为例，描述基于控件组的人机交互方法。图5A-5E是根据本申请实施例的面罩控件组的多种状态的示意图。面罩控件组包括多个控件。参看图5A，面罩控件组呈现为圆形。面罩控件组包括中心控件510与一个或多个外围控件(512、514与516)。中心控件510为圆形，位于面罩控件组的中心。外围控件(512、514与516)的形状为圆环的部分，面罩控件组的一个或多个外围控件(512、514与516)共同组成圆环并围绕在中心控件510的外部。作为举例，中心控件510与外围控件(512、514与516)的每个均为按钮，可响应用户的按下操作并触发相应的事件。依然作为举例，外围控件(512、514与516)的每个向用户提供用于人机交互的多种功能，例如，对于音乐的“播放”、“停止播放”、“快进”与“快退”的功能，而中心控件510用于控制面罩控件组，例如，响应于用户按下中心控件510，控件组整体被隐藏。
在根据本申请的实施例中，控件可以是按钮、单选框、复选框、菜单项等。面罩控件组可以是二维的，也可以是三维的。响应于虚拟显示系统识别用户呼出面罩控件组，在虚拟世界中展示面罩控件组。可选地，在易于用户观察的位置，例如，用户视野的中间或偏上的位置，绘制面罩控件组。由于在呼出面罩控件组时，用户手部向下移动(作为举例)，并远离视野中心，因而对应于用户手部的光标所在位置并不利于用户观察。可选地，以光标的水平位置为展示面罩控件组的水平位置，而以靠近中心的竖直位置为展示面罩控件组的竖直位置。
可选地，绘制面罩控件组时，先绘制中心控件，然后按顺时针方向依次绘制各个外围控件。依然可选地，绘制外围控件时，沿顺时针方向与逆时针方向两个方向，分别依次绘制各个外围控件，直到展示了所有外围控件。
在根据本申请的实施例中，在非通过面罩控件组进行人机交互时，面罩控件组是隐藏的，从而虚拟世界中的二维或三维空间可全部用于展示虚拟场景，而仅当用户希望通过面罩控件组进行人机交互时，才绘制或展示面罩控件组。以及当基于面罩控件组的人机交互完成，再次隐藏面罩控件组。作为举例，用户通过特定的手势，向虚拟现实系统指示希望展示面罩控件组。手势输入设备310(参看图3)识别用户作出上述手势后，可视地展示初始状态的面罩控件组。
面罩控件组中的控件可处于多种状态，例如，初始状态、待激活状态与激活状态。图5A中，面罩控件组的各个控件均处于初始状态。
参看图5B，面罩控件组的外围控件516处于待激活状态，而外围控件512、外围控件514与中心控件510均处于初始状态。待激活状态的控件已被用户选中。响应于同用户手部位置对应的光标在面罩控件所在平面上的投影位于控件上，将该控件设置为待激活状态。为待激活状态的控件提供指定的视觉反馈，例如，高亮显示待激活状态的外围控件516、在外围控件516周围绘制阴影、在外围控件516上绘制准星、以浮起/下层方式绘制外围控件516、和/或以不同的颜色绘制外围控件516。激活状态的控件是被用户触发并正产生相应的事件的控件。控件还可处于已激活状态。随着时间流失或事件的触发，激活状态的控件变为已激活状态或者初始状态。处于已激活状态的控件不响应用户的操作。
在一个实施方式中，任一时刻，面罩控件组的多个控件中最多仅有一个控件处于待激活状态。例如，响应于一个控件变为待激活状态，面罩控件组中的其它控件均变为初始状态。在另一个实施方式中，响应于一个控件变为待激活状态，面罩控件组中的除了处于已激活状态之外的其它控件均变为初始状态。而面罩控件组中处于已激活状态的控件的状态不变。
参看图5C，面罩控件组的外围控件516处于激活状态，而外围控件512、外围控件514与中心控件510均处于初始状态。通过视觉的方式向用户指示控件被点击或触发。对控件的点击，产生事件或者消息，以指示用户点击了控件。点击事件或消息同控件上的文字相关联。可选地，绘制控件被点击或按下的效果，绘制控件的形状改变或者绘制控件被按下又弹起的效果，以向用户指示触发了对控件的点击，并且点击已经完成。在一个例子中，控件被按下，生成点击事件或消息，但不弹起，将控件的这种状态称为已激活，控件还可记录控件的已激活状态，并在控件再次进入初始状态时，可视地展示控件的这种已激活状态。在另一个例子中，控件被按下，生成点击事件或消息，接着随着虚拟空间中的光标远离控件，控件弹起，并依据光标位置，将控件设置为初始状态或待激活状态。
在又一个实施方式中，参看图5D，面罩控件组的外围控件516处于待激活状态，以及在待激活状态的控件516上绘制准星520。准星520是依据手势信息展示的，同用户手部对应的光标的一种样式。当控件516处于待激活状态，改变光标的样式为准星图案。进一步地，依据虚拟世界中，手部距离面罩控件组所在平面的距离，确定准星520的直径。例如，手部距离面罩控件组所在平面的距离为L，则准星520的直径为4L/3+10。从而，随着手部逐渐接近面罩控件组所在平面，准星520的直径变小，以向用户指示虚拟世界中的手部在逐渐接近面罩控件组所在平面，且手部的投影(光标)依然保持在处于待激活状态的控件516上。从而用户得以知晓如何保持手部在现实空间中的运动方向，以能够在虚拟空间中接触控件。以及若光标离开了待激活状态的控件516的区域，控件516将由待激活状态变为初始状态，光标的样式也由准星图案变为普通样式，从而用户得以知晓手部移动的方向是否符合预期。
在3D虚拟世界的虚拟现实应用中，控件的瞄准状态特别有用。用户在3D空间中做出的动作或手势在位置、方向与距离上难以保持稳定。通过提供准星，以及通过准星的位置与尺寸不断就用户手部移动的方向与程度提示用户，引导用户完成对目标控件的点击，或调整目标控件。
进一步地或可选地，响应于控件处于待激活状态，在控件的四周绘制框线(称为瞄准框)。瞄准框由在控件外部出现的包围控件的形状组成。以向用户指示该控件是当前用户操作的目标。
在又一个例子中，参看图5E，面罩控件组的外围控件516处于激活状态，响应于控件处于激活状态，将准星520绘制为实心圆，以向用户指示触发了对控件的点击。
图6是根据本申请实施例的面罩控件组中的控件的状态图。面罩控件组中的控件的状态包括初始状态610、待激活状态620与激活状态630。可选地，控件的状态还包括已激活状态(未示出)。面罩控件组被初始化后，面罩控件组是隐藏的，或者仅提供简单的就面罩控件组的存在性的指示。以及依据用户手部在虚拟世界中的位置，绘制光标。
响应于检测到用户的指定手势，展示面罩控件组。在面罩控件组被首次展示时，面罩控件组中的多个控件均处于初始状态610。可选地，若面罩控件组并非首次被展示，则依据面罩控件组上次被隐藏时各个控件的状态，控件可被设置为初始状态610或者已激活状态。依据各控件的状态展示控件。按图5A所示的样式绘制初始状态610的控件。
随着用户手部移动，虚拟世界上的光标也随之移动。响应于光标的位置(光标在面罩控件组所在平面的投影)进入面罩控件组的控件之一对应的位置，该控件从初始状态610转换为待激活状态620。以及响应于控件变为待激活状态620，按图5B所示的样式绘制控件，特别地，绘制同光标的位置相对应地控件，以向用户指示其正接近触发该控件。依然可选地，响应于控件进入待激活状态620，以声音或触觉方式向用户提供进一步的就控件进入待激活状态620的反馈。依然可选地，当控件处于待激活状态，以指定的样式(例如，准星图案)绘制在控件区域的光标，以向用户提示控件处于待激活状态。进一步地，依据用户手部在虚拟世界中到待激活状态的控件的距离，调整光标的大小。
响应于光标移出同处于待激活状态620的控件对应的区域，该控件的状态变为初始状态610。
当控件在待激活状态620，随着用户手部移动，响应于用户手部在虚拟世界中接触了处于待激活状态620的控件，或者同该控件的距离足够小，将该控件设置为激活状态630。在一个例子中，响应于控件进入激活状态630，产生同控件对应的事件，以及随时间的流逝或同用户手部对应的光标移出控件所在区域，处于激活状态630的控件变为初始状态610。在另一个例子中，响应于控件进入激活状态630，产生同控件对应的事件，以及随着时间的流逝，该控件进入已激活状态。可选地，在面罩控件组被关闭或隐藏时，记录各控件的状态，特别是控件所处的已激活状态。在展示面罩控件组时，依照其中的控件各自的状态展示各控件。作为依然另一个例子，响应于控件进入激活状态630，产生同控件对应的事件，以及随着时间的流逝，隐藏整个面罩控件组。可选地，在隐藏面罩控件组时，还记录其中的各控件的状态。
在仍然另一个例子中，响应于控件(例如，控件516)进入激活状态630，产生同控件516对应的事件，以及随着时间的流逝，控件516进入已激活状态。而响应于另一个控件进入激活状态630，控件516从已激活状态变为初始状态610。从而在任意时刻，面罩控件组中最多仅有一个控件处于已激活状态。
在根据本申请实施例的面罩控件组中，响应于中心控件510进入激活状态，隐藏(或关闭)面罩控件组。还通过视觉、听觉和/或触觉等的反馈向用户提示面罩控件组被隐藏。例如，按逆时针方向逐个隐藏各个外围控件(512、514与516)，以及在外围控件都隐藏后，再隐藏中心控件510。
除了通过触发中心控件510来隐藏面罩控件组，可选地，也通过指定手势隐藏面罩控件组。
图7是根据本申请实施例的隐藏控件组的示意图。为了隐藏面罩控件组，用户在视平线下方伸出手，并张开五指。手势输入设备310捕获用户的在视平线下方张开五指的手势，绘制在虚拟世界中从用户手部指向视平线方向的箭头。以及用户通过沿箭头指示的方向移动手部，越过视平线，来向人机交互系统指示其隐藏面罩控件组的意图。响应于识别用户沿箭头方向越过视平线的手势，人机交互系统在虚拟世界中隐藏面罩控件组。视平线的位置依赖于用户的头部姿态与双眼的朝向。
在另一个例子中，人机交互系统在虚拟世界中还展示界定线。可在固定的位置，例如视野的中间，绘制界定线，或者在远离面罩控件组的位置绘制界定线，以不干扰用户对面罩控件组的操作。界定线用于向用户提示关闭面罩控件组的操作方式。用户将手部移动到界定线的远离面罩控件组的一侧，并张开五指，以表达隐藏面罩控件组的意图。手势输入设备310捕获用户作出的在界定线远离面罩控件组的一侧张开五指的手势，绘制在虚拟世界中从用户手部指向界定线方向的箭头。以及手势输入设备310持续捕获用户手势，响应于用户手部沿箭头方向越过界定线，识别出用户确认要隐藏面罩控件组。人机交互系统隐藏面罩控件组。可选地，还记录面罩控件组中的各个控件的状态。
可选地，还通过视觉、听觉和/或触觉等的反馈向用户提示面罩控件组被隐藏。例如，按逆时针方向逐个隐藏各个外围控件(512、514与516)，以及在外围控件都隐藏后，再隐藏中心控件510。
图8A-8B是根据本申请多个实施例的实现人机交互方法的流程图。由虚拟现实系统，或虚拟现实系统的信息处理设备320(参看图3)执行图8A-图8B的实施例的人机交互方法。
在虚拟世界中提供面罩控件组，面罩控件组包括多个控件(也参看图5A)。面罩控件组可具有平面形状，并依据人机交互的需求，设置在虚拟世界的指定位置。当虚拟世界初始化时，或者响应于对面罩控件组的设置和/或创建，初始化面罩控件组以及面罩控件组上的多个控件，并将面罩控件组设置为隐藏。在虚拟世界中还绘制对应于用户手部的光标，依据用户手部在虚拟世界中的位置确定光标的位置。
响应于识别出用户手部的指定手势以及用户手部进入指定区域，展示面罩控件组(S812)。可选地，若面罩控件组的部分控件曾经被触发，还可视地展示这些被触发的控件(参看图5B)。例如，可视地展示出控件516处于已激活状态，而控件512、控件514与控件510均处于初始状态。
在一个例子中，指定用户做出五指张开的手势为对展示面罩控件组的指示。若检测到用户做出五指张开的手势，确定用户意图呼出面罩控件组。进而，持续获取同用户手部的位置。响应于用户手部或者同用户手部对应的光标进入指定区域，确定用户指示人机交互系统呼出面罩控件组，并为用户展示面罩控件组。
在又一个例子中，为呼出面罩控件组，用户的指定手势需要在指定的位置做出。例如，若检测到用户在视平线上方做出五指张开的手势，确定用户意图呼出面罩控件组。作为响应，在虚拟世界中为用户绘制箭头，箭头指向从虚拟世界中用户手部到视平线的方向。持续检测用户的动作，若检测到用户依照箭头指示的方向，移动手部越过视平线，确定用户指示人机交互系统呼出面罩控件组，并为用户展示面罩控件组。
在根据本申请的实施例中，通过先识别指定手势以及再识别手部进入指定区域的两阶段动作，确认用户的人机交互的意图，降低人机交互中误操作的机率，提升识别用户意图的准确性、鲁棒性。
显然，可以理解地，五指张开的手势仅是根据本申请的一种方式。可指定其它手势作为呼出面罩控件组的标志。也可在系统使用过程中，由用户指定或录制手势，作为对呼出面罩控件组的指示。以及面罩控件组也为控件的举例，在根据本申请的实施例中，可展示其它控件或控件组来实施人机交互。
人机交互系统在虚拟世界中展示了面罩控件组。用户移动手部，使得同手部位置对应的光标在虚拟世界中移动。当光标在面罩控件组所在平面的投影进入面罩控件组的控件所在位置，将对应的控件设置为待激活状态(也参看图5B，控件516)(S814)。随着光标的移动，响应于光标在面罩控件组所在平面的投影移出控件所在位置，将对应的控件从待激活状态设置为初始状态。可选地，对于处于已激活状态的控件，光标进入或移出已激活状态的控件所在的区域不改变已激活状态的控件的状态。
通过听觉、视觉和/或触觉的方式向用户提供反馈，以指示控件的状态变化。当虚拟世界为3D空间，还向用户提供听觉、视觉和/或触觉的反馈以指示虚拟世界中用户手部同控件的距离或位置关系。例如，当控件处于待激活状态，将光标绘制为准星图案(也参看图5D，准星520)，以及根据虚拟世界中用户手部同待激活状态的控件的距离，设置准星图案的大小(直径)，从而通过准星图案大小的变化，向用户指示手部到控件的距离。在另一个例子中，通过声音的频率、大小向用户指示手部到控件的距离。
用户尝试对意图操作的控件做出按压(前推)的动作，并改变手部的位置。捕获用户手部在虚拟世界中到待激活状态的控件的距离。若距离为0或者距离小于指定值，代表用户对控件做出按压动作，并且作为响应，将控件设置为激活状态，以及还触发该控件对应的事件(S816)，例如调用事件处理函数。向用户提供听觉、视觉和/或触觉的反馈以指示人机交互系统已触发了控件对应的事件，例如，播放指定的声音，向用户展示“控制已触发”的文字，和/或对处于激活状态的控件高亮显示等。例如，当控件处于激活状态，将光标绘制为实心圆(也参看图5E，准星520)。
接下来，作为一个例子，自动地或响应于控件被触发，将控件设置为初始状态，并隐藏面罩控件组，以及返回步骤S812。可选地，记录所触发的控件，并在下一次面罩控件组被展示时，将所记录的控件展示为处于已激活状态。作为另一个例子，响应于控件被触发，将面罩控件组中的其它控件(包括处于已触发状态的控件)都设置为初始状态，而将被触发的控件设置为已激活状态，以及保持对面罩控件组的展示。
图8B是根据本申请又一实施例的实现人机交互方法的流程图。如图8B所示，该人机交互方法始于开始步骤S840，包括例如初始化面罩控件组。通过手势输入设备310(参看图3)持续识别用户手势。当检测到用户做出五指张开的手势，并且用户的手部位于视平线的上方(S841)，在虚拟世界中绘制向下的箭头与视平线(S842)。作为举例，人眼对动态内容更加敏感，通过从左向右绘制视平线，以向用户提示视平线的位置。
若用户依照箭头的指示，向下移动手掌且越过视平线(S844)，则在虚拟世界中绘制面罩控件组，所绘制的面罩控件组可响应用户的点击操作(S846)。若在步骤S844，用户手掌长时间(例如，3秒)未越过视平线，认为用户放弃了呼叫面罩控件组的意图，则隐藏箭头(S847)和/或视平线，以及回到步骤S841来检测用户手部姿态。
在步骤S846，捕获用户手部的位置，并将对应于光标位置的面罩控件组中的控件设置为待激活状态。以及响应于用户手部前推，使得用户手部在虚拟世界中同控件的距离足够小，将对应的控件设置为激活状态并触发同控件对应的事件。
在虚拟世界中展示面罩控件组期间，若检测到用户做出五指张开的手势，且手掌位于视平线下方(S848)，认为用户意图隐藏或关闭面罩控件组。作为响应，在虚拟世界中绘制向上的箭头(S849).例如，从虚拟世界中用户手部的位置朝向视平线方向绘制箭头。
若用户依照箭头的指示，向上移动手掌并越过视平线(S851)，则隐藏面罩控件组(S852)，并且回到步骤S841来检测用户手部姿态。在隐藏控件组的同时，还隐藏视平线。
在虚拟世界中展示面罩控件组期间，若检测到用户触发了面罩控件的中心控件510(S855)，也隐藏面罩控件组(S852)。例如，为隐藏面罩控件组，沿逆时针方向使各个外围控件(外围控件512、514与516)消失，以及接下来使中心控件510消失。在隐藏面罩控件组时，还记录面罩控件组中的各个控件的状态。在面罩控件组下次被展示时，获取所记录的状态，并根据各个控件的状态展示各个控件。
可选地，在根据本申请的实施例中，面罩控件组被展示在虚拟世界中用户视野靠近中央的位置，以便于用户伸出手时，光标的投影能够进入控件区域。避免将面罩控件组展示在视野周围用户难以触及的位置。依然可选地，设置控件组中的各个控件的宽度大于光标或光标中的图案的宽度，以有利于识别光标所对应的控件。依然可选地，在虚拟世界中，控件组所在的平面距用户手部的距离不应过远，而是设置在用户伸出手部可以在虚拟世界中触及的位置，例如，将控件组所在平面设置在虚拟世界中到用户的距离小于用户的手臂长度的位置。
可选地，根据本申请的实施例中，用户利用手指进行交互时，保持手指对手势输入设备310的可见性，避免手掌遮挡手指，从而有利于对手部姿态、手指位置的识别。
图9是实现本申请实施例的信息处理设备的框图。在根据本申请的实施例中，信息处理设备900在虚拟世界中生成控件，并识别用户手势信息(i)或接收手势输入/手势识别设备提供的手势信息(i)，识别用户的指示，并向用户提供反馈以同用户交互。图9中展示的信息处理设备900是计算机。计算机仅仅是适当的计算环境的一个例子，而不意图暗示关于本申请的使用或功能范围的任何限制。图9所展示的信息处理设备也不应当被解释为在所示出的任何组件或组件组合方面有任何依赖性或要求。
信息处理设备900包括直接或间接地耦合到总线910的存储器912、一个或更多处理器914、一个或更多呈现组件916、I/O组件920以及电源922。总线910所代表的可以是一种或更多种总线(比如地址总线、数据总线或其组合)。是在实际情况中各个组件的界定并不是必然如图9中的方式。举例来说，可以把诸如显示设备之类的呈现组件视为I/O组件920。此外，处理器可具有存储器。本申请的发明人认识到这正是本领域的性质，并且重申图9的图示仅仅是为了说明可以与本申请的一个或多个实施例相结合地使用的示例性计算机系统。
信息处理设备900通常包括多种存储器912。作为举例而非限制，存储器912可以包括：随机存取存储器(RAM)、只读存储器(ROM)、电子可擦写可编程只读存储器(EEPROM)、闪存、压缩盘只读存储器(CDROM)、数字通用盘(DVD)或其他光学或全息介质、磁盒、磁带、磁盘存储或其他磁性存储设备。计算机存储介质可以是非易失性的。
信息处理设备900包括一个或更多处理器914，其从诸如总线910、存储器912或者I/O组件920之类的各种实体读取数据。一个或多个呈现组件916向用户或其他设备呈现数据指示。示例性的呈现组件916包括显示设备、扬声器、打印组件、振动组件、平面显示器、投影仪、头戴式显示器等。呈现组件916也可以是用于耦合显示设备、扬声器、打印组件、振动组件、平面显示器、投影仪、头戴式显示器等的I/O端口。说明性的I/O组件920包括摄像头、麦克风、操纵杆、游戏手柄、碟形卫星信号收发天线、扫描仪、打印机、无线设备等。
根据本申请的基于手势识别的控件及其生成和操作方法也可在手势识别设备或手势输入设备中实施。手势识别设备或手势输入设备可以集成到键盘、鼠标、遥控器等输入设备中。
尽管已经示出和描述了本申请的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本申请的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由所附权利要求及其等同限定。

Claims (10)

1.一种人机交互方法，包括：
响应于用户作出指定手势且对应于手部的光标处于第一指定区域，展示第一方向标识；
响应于所述光标沿第一方向标识指示的方向进入第二指定区域，展示控件组；
响应于所述光标在所述控件组所在平面的投影进入所述控件组的控件所在区域，将所述控件设置为待激活状态；
响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为已激活状态。
2.根据权利要求1所述的方法，其中，控件包括一个或多个第一类控件与第二类控件；
所述方法还包括，响应于手部在虚拟坐标系中相对于第一类控件的距离小于阈值，生成同所述第一类控件相对应的事件；以及
响应于手部在虚拟坐标系中相对于所述第二类控件的距离小于阈值，隐藏所述控件组。
3.根据权利要求2所述的方法，其中所述控件组中，围绕所述第二类控件而布置第一类控件；以及其中为展示所述控件组，先展示所述第二类控件，再围绕所述第二类控件展示第一或多个第一类控件。
4.根据权利要求1-3之一所述的方法，还包括：
响应于所述光标在所述控件组所在平面的投影进入所述控件组的控件所在区域，将所述控件组的其他非处于已激活状态的控件设置为初始状态，而所述控件组的其他处于已激活状态的控件的状态保持不变。
5.根据权利要求4所述的方法，还包括：
响应于手部在虚拟坐标系中相对于控件的距离小于阈值，将所述控件组的其他控件设置为初始状态。
6.根据权利要求1-5之一所述的方法，还包括：
响应于用户作出指定手势且对应于手部的光标处于第二指定区域，展示第二方向标识；
响应于所述光标沿第二方向标识指示的方向进入第一指定区域，隐藏所述控件组。
7.根据权利要求1-6所述的方法，其中
所述控件组被绘制在相对于虚拟空间中用户头部的指定位置；以及
响应于用户头部运动，保持所述控件组在相对于虚拟空间中相对于用户头部的指定位置。
8.根据权利要求1-7之一所述的方法，还包括
若指定时间内，所述控件组没有任何控件的状态发生变化，隐藏第一方向标识；以及
将所述控件组设置为锁定状态；处于锁定状态的控件组的控件的状态不再变化。
9.一种人机交互装置，包括：
手势识别模块，用于响应于用户作出指定手势且对应于手部的光标处于第一指定区域，展示第一方向标识；
展示模块模块，用于响应于所述光标沿第一方向标识指示的方向进入第二指定区域，展示控件组；
位置识别模块，用于响应于所述光标在所述控件组所在平面的投影进入所述控件组的控件所在区域，将所述控件设置为待激活状态；
距离识别模块，用于响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为已激活状态。
10.一种人机交互系统，包括计算单元、显示设备以及传感器模块；所述计算单元用于运行虚拟现实应用以构建虚拟现实场景；所述显示设备用于显示计算单元构建的虚拟现实场景；传感器模块用于感知用户手部的姿态和/或位置；所述计算单元基于传感器所感知的用户手势，绘制第一方向标识，响应于用户手部沿第一方向标识指示的方向进入第二指定区域，展示控件组；所述计算单元响应于用户手部在所述控件组所在平面的投影进入所述控件组的控件所在区域，将所述控件设置为待激活状态；以及响应于手部在虚拟坐标系中相对所述控件的距离小于阈值，将所述控件设置为已激活状态。
CN201710465191.2A 2017-06-19 2017-06-19 基于手势的电子面罩人机交互方法与系统 Pending CN109144598A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710465191.2A CN109144598A (zh) 2017-06-19 2017-06-19 基于手势的电子面罩人机交互方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710465191.2A CN109144598A (zh) 2017-06-19 2017-06-19 基于手势的电子面罩人机交互方法与系统

Publications (1)

Publication Number Publication Date
CN109144598A true CN109144598A (zh) 2019-01-04

Family

ID=64804264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710465191.2A Pending CN109144598A (zh) 2017-06-19 2017-06-19 基于手势的电子面罩人机交互方法与系统

Country Status (1)

Country Link
CN (1) CN109144598A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933194A (zh) * 2019-03-05 2019-06-25 郑州万特电气股份有限公司 一种混合现实环境中对虚拟目标物的交互方法
WO2020154971A1 (en) * 2019-01-30 2020-08-06 Siemens Aktiengesellschaft Electronic device and control method therefor
CN112882563A (zh) * 2019-11-29 2021-06-01 中强光电股份有限公司 触控投影系统与其方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140223313A1 (en) * 2013-02-07 2014-08-07 Dizmo Ag System for organizing and displaying information on a display device
CN104777896A (zh) * 2014-01-13 2015-07-15 Lg电子株式会社 移动终端及其控制方法
CN105094335A (zh) * 2015-08-04 2015-11-25 天津锋时互动科技有限公司 场景提取方法、物体定位方法及其系统
CN105404384A (zh) * 2015-11-02 2016-03-16 深圳奥比中光科技有限公司 手势操作方法、利用手势定位屏幕光标的方法及手势系统
US20160173591A1 (en) * 2014-12-13 2016-06-16 Keshav Gupta Data replication among portable electronic devices
CN105867599A (zh) * 2015-08-17 2016-08-17 乐视致新电子科技（天津）有限公司 一种手势操控方法及装置
US20160378294A1 (en) * 2015-06-24 2016-12-29 Shawn Crispin Wright Contextual cursor display based on hand tracking
CN106354253A (zh) * 2016-08-19 2017-01-25 上海理湃光晶技术有限公司 一种光标控制方法与基于该方法的ar眼镜与智能指环
CN106547461A (zh) * 2015-09-23 2017-03-29 小米科技有限责任公司 一种操作处理方法、装置及设备
CN106774833A (zh) * 2016-11-17 2017-05-31 网易（杭州）网络有限公司 虚拟现实交互方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140223313A1 (en) * 2013-02-07 2014-08-07 Dizmo Ag System for organizing and displaying information on a display device
CN104777896A (zh) * 2014-01-13 2015-07-15 Lg电子株式会社 移动终端及其控制方法
US20160173591A1 (en) * 2014-12-13 2016-06-16 Keshav Gupta Data replication among portable electronic devices
US20160378294A1 (en) * 2015-06-24 2016-12-29 Shawn Crispin Wright Contextual cursor display based on hand tracking
CN105094335A (zh) * 2015-08-04 2015-11-25 天津锋时互动科技有限公司 场景提取方法、物体定位方法及其系统
CN105867599A (zh) * 2015-08-17 2016-08-17 乐视致新电子科技（天津）有限公司 一种手势操控方法及装置
CN106547461A (zh) * 2015-09-23 2017-03-29 小米科技有限责任公司 一种操作处理方法、装置及设备
CN105404384A (zh) * 2015-11-02 2016-03-16 深圳奥比中光科技有限公司 手势操作方法、利用手势定位屏幕光标的方法及手势系统
CN106354253A (zh) * 2016-08-19 2017-01-25 上海理湃光晶技术有限公司 一种光标控制方法与基于该方法的ar眼镜与智能指环
CN106774833A (zh) * 2016-11-17 2017-05-31 网易（杭州）网络有限公司 虚拟现实交互方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020154971A1 (en) * 2019-01-30 2020-08-06 Siemens Aktiengesellschaft Electronic device and control method therefor
CN109933194A (zh) * 2019-03-05 2019-06-25 郑州万特电气股份有限公司 一种混合现实环境中对虚拟目标物的交互方法
CN112882563A (zh) * 2019-11-29 2021-06-01 中强光电股份有限公司 触控投影系统与其方法

Similar Documents

Publication Publication Date Title
JP7411133B2 (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
CN110249368B (zh) 混合现实环境中提供虚拟远程控制的可穿戴系统及方法
US11003307B1 (en) Artificial reality systems with drawer simulation gesture for gating user interface elements
CN106484085B (zh) 在头戴式显示器中显示真实物体的方法及其头戴式显示器
TW202105133A (zh) 在人工實境環境中使用周邊裝置的虛擬使用者介面
TW202046085A (zh) 基於捏合和拉放手勢偵測人工實境系統中的輸入
US20070002037A1 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
KR20220032059A (ko) 증강 현실 시스템용 터치프리 인터페이스
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
CN108536273A (zh) 基于手势的人机菜单交互方法与系统
JP2004246578A (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
JP2004078977A (ja) インターフェイス装置
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
CN109144598A (zh) 基于手势的电子面罩人机交互方法与系统
JP3792907B2 (ja) ハンドポインティング装置
CN108459702A (zh) 基于手势识别与视觉反馈的人机交互方法与系统
US11049306B2 (en) Display apparatus and method for generating and rendering composite images
US20230252737A1 (en) Devices, methods, and graphical user interfaces for interacting with virtual objects using hand gestures
WO2018042923A1 (ja) 情報処理システム、情報処理方法、およびプログラム
US11216179B2 (en) Information processing apparatus and information processing method
CN109144235B (zh) 基于头手协同动作的人机交互方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20191121

Address after: 300450 room 203b-3, building 3, No.4, Haitai development road 2, Huayuan Industrial Zone (outside the ring), Binhai high tech Zone, Binhai New Area, Tianjin

Applicant after: Tianjin Fengshi Interactive Technology Co., Ltd.

Address before: 518000 A2, Shenzhen City, Guangdong Province, the 12 building of Kang Jia R & D building, south of science and technology south twelve

Applicant before: Tianjin Feng time interactive technology Co., Ltd. Shenzhen branch

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210121

Address after: 518000 B1018, 99 Dahe Road, Runcheng community, Guanhu street, Longhua District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen laimile Intelligent Technology Co.,Ltd.

Address before: Room 203b-3, building 3, No.4, Haitai development road 2, Huayuan Industrial Zone, Binhai high tech Zone, Binhai New Area, Tianjin 300450

Applicant before: Tianjin Sharpnow Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210924

Address after: 518000 509, xintengda building, building M8, Maqueling Industrial Zone, Maling community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen qiaoniu Technology Co.,Ltd.

Address before: 518000 B1018, 99 Dahe Road, Runcheng community, Guanhu street, Longhua District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen laimile Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right