CN107367966B - 人机交互方法以及装置 - Google Patents

Abstract

本发明提供一种人机交互方法及人机交互装置，应用于人机交互设备，所述人机交互设备包括抓取机构。所述人机交互方法包括：获取交互区域中的手势图像；分析所述手势图像以确定出用户的手在预设的手势识别区域中的投影位置，并根据所述投影位置确定水平运动方向；根据所述水平运动方向生成相应的水平方向控制指令；以及根据所述水平方向控制指令控制所述抓取机构向相应的水平方向移动。通过上述人机交互方法使得用户不需要随身携带任何控制器，直接通过手势即可实现人机交互，使用便捷、更符合人们习惯、体验更好。

Description

人机交互方法以及装置

技术领域

本发明涉及一种人机交互方法,特别涉及一种非接触式人机交互方法、装置。

背景技术

随着手机、计算机等电子设备的飞速发展，人机交互技术在各领域里的应用越来越多。传统的人机交互方式，大多还依赖如键盘、鼠标等硬件设备或需要佩戴一些接触式的感应设备。传统的人机交互方式较为笨拙，使用起来不够简单方便，从而导致用户体验效果不佳。

发明内容

有鉴于此，有必要提供一种人机交互方式、装置，能够使得人机交互更为便捷、符合人们习惯，并提高用户体验效果。

本发明提供一种人机交互方法，应用于人机交互设备，所述人机交互设备包括抓取机构，所述人机交互方法包括：

获取交互区域中的手势图像；

分析所述手势图像以确定出用户的手在预设的手势识别区域中的投影位置，并根据所述投影位置确定水平运动方向；

根据所述水平运动方向生成相应的水平方向控制指令；以及

根据所述水平方向控制指令控制所述抓取机构向相应的水平方向移动。

进一步地，所述手势识别区域包括多个子区域，所述根据所述投影位置确定水平运动方向的步骤包括：

根据所述投影位置所在的子区域确定相应的水平运动方向。

进一步地，所述方法还包括：

根据所述手势图像确定手掌心，并根据所述手掌心的投影所落入的子区域来确定所述投影位置所在的子区域；

或者，根据所述手势图像确定手的多个关键部位，并根据所述多个关键部位的投影所落入的子区域来确定所述投影位置所在的子区域。

进一步地，所述手势识别区域包括第一、第二、第三和第四子区域，所述水平运动方向包括第一、第二、第三和第四水平方向，所述根据所述投影位置所在的子区域确定相应的水平运动方向的步骤包括：

当所述投影位置落入所述第一子区域时，确定所述水平运动方向为第一水平方向；

当所述投影位置落入所述第二子区域时，确定所述水平运动方向为第二水平方向；

当所述投影位置落入所述第三子区域时，确定所述水平运动方向为第三水平方向；

当所述投影位置落入所述第四子区域时，确定所述水平运动方向为第四水平方向。

进一步地，所述控制所述抓取机构向相应的水平方向移动的步骤包括：

当所述投影位置落入所述多个子区域中的其中一个时，控制所述抓取机构向相应的水平方向持续移动。

进一步地，所述手势识别区域还包括中心点，所述中心点位于所述第一、第二、第三和第四子区域相交之处，所述控制所述抓取机构向相应的水平方向移动的步骤包括：

当所述投影位置落入所述多个子区域中的其中一个时，根据所述投影位置到所述中心点的距离与所述其中一个子区域到所述中心点的最大距离之间的比例关系确定所述抓取机构的待移动距离；

依据所述待移动距离控制所述抓取机构向相应的水平方向移动。

进一步地，所述人机交互方法还包括：

分析所述手势图像以识别出用户在三维空间的手势动作，所述手势动作包括张开和收拢；

根据手势动作生成动作控制指令；以及

根据所述动作控制指令控制所述抓取机构做相应的动作。

进一步地，所述人机交互方法具体包括：

若所述手势动作为张开，则生成张开控制指令，并根据所述张开控制指令控制所述抓取机构的爪部做出张开动作；

若所述手势动作为收拢，则生成抓取控制指令，并根据所述抓取控制指令控制所述抓取机构的爪部做出抓取动作。

进一步地，所述人机交互方法还包括：

根据所述手势动作生成垂直方向控制指令；以及

根据所述垂直方向控制指令控制所述抓取机构向相应的垂直方向移动。

进一步地，所述人机交互方法具体包括：

若所述手势动作为张开，则生成第一控制指令，并根据所述第一控制指令控制所述抓取机构向上移动到第一预设位置；

或者，若所述手势动作为收拢，则生成第二控制指令，并根据所述第二控制指令控制所述抓取机构向下移动；

或者，若所述手势动作为张开，则生成第三控制指令，并根据所述第三控制指令控制所述抓取机构向上移动，并在所述抓取机构向上移动到第一预设位置时控制所述抓取机构的爪部做出张开动作；

或者，若所述手势动作为收拢，则生成第四控制指令，并根据所述第四控制指令控制所述抓取机构向下移动至第二预设位置，并在所述抓取机构下降至所述第二预设位置时控制所述抓取机构的爪部做出抓取动作。

本发明提供一种人机交互方法，应用于人机交互设备，所述人机交互设备包括传感器和抓取机构，所述人机交互方法包括：

获取交互区域中的传感信息；

分析所述传感信息以确定出用户的手在预设的手势识别区域中的变化位置，并根据所述变化位置确定运动方向；

根据所述运动方向生成相应的运动方向控制指令；

以及根据所述运动方向控制指令控制所述抓取机构向相应的运动方向移动。

本发明提供一种人机交互装置，应用于人机交互设备，所述人机交互设备包括抓取机构，所述人机交互装置包括：

获取模块，用于获取交互区域中的手势图像；

位置识别模块，用于分析所述手势图像以确定出用户的手在预设的手势识别区域中的投影位置，并根据所述投影位置确定水平运动方向；

指令模块，用于根据所述水平运动方向生成相应的水平方向控制指令；以及

交互模块，用于根据所述水平方向控制指令控制所述抓取机构向相应的水平方向移动。

进一步地，所述手势识别区域包括多个子区域，所述位置识别模块通过分析所述用户的手在每个子区域中的投影位置，并确定对应的水平运动方向。

进一步地，所述人机交互装置还包括：

手势识别模块，用于分析所述手势图像以识别出用户在三维空间的手势动作，所述手势动作包括张开和收拢；

根据手势动作生成动作控制指令；以及

根据所述动作控制指令控制所述抓取机构做相应的动作。

本发明提供一种人机交互装置，应用于人机交互设备，所述人机交互设备包括传感器和抓取机构，所述人机交互装置包括：

获取模块，用于获取交互区域中的传感信息；

位置识别模块，用于分析所述传感信息以确定出用户的手在预设的手势识别区域中的变化位置，并根据所述变化位置确定运动方向；

指令模块，用于根据所述运动方向生成相应的运动方向控制指令；以及

交互模块，用于根据所述运动方向控制指令控制所述抓取机构向相应的方向移动。

本发明提供的所述人机交互方法使得用户不需要随身携带任何控制器，直接通过手势即可实现人机交互，使用便捷、更符合人们习惯、体验更好。

附图说明

图1为本发明所提供的人机交互设备的结构示意图。

图2为本发明第一实施方式所提供的人机交互方法的流程图。

图3为本发明所提供的手势识别区域的示意图。

图4为本发明第二实施方式所提供的人机交互方法的流程图。

图5为本发明第一实施方式提供的人机交互装置的模块示意图。

主要元件符号说明

人机交互设备	1
		摄像头	11
处理器	12
		操作台	13
存储器	14
		抓取机构	15
手势识别区域	2
		第一子区域	21
第二子区域	22
		第三子区域	23
第四子区域	24
		中心区	25
人机交互装置	3
		获取模块	31
位置识别模块	32
		手势识别模块	33
指令模块	34
		交互模块	35

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。

本发明提供一种人机交互的方法，该方法可用于不同的人机交互设备。请参阅图1，为本发明所提供的人机交互设备1的结构示意图，所述人机交互设备1包括摄像头11、处理器12、操作台13、存储器14、抓取机构15。在本实施方式中，所述操作台13上设有手势识别区域2(如图3所示)。所述人机交互设备1包括但不限于终端、游戏机等。

请参考图2，为本发明第一实施方式所提供的人机交互方法的流程图。所述人机交互方法包括以下步骤：

步骤101：获取交互区域中的手势图像。

在本实施方式中，所述交互区域是一个三维空间区域，用户可在这一区域中做出手势。例如，所述交互区域可为位于所述人机交互设备1的操作台13上方的空间区域，且位于所述摄像头11的采集区内，用户可将手放入所述交互区域内，所述摄像头11通过连续拍照获取所述手势图像。

步骤102：分析所述手势图像以确定出用户的手在预设的手势识别区域2中的投影位置，并根据所述投影位置确定水平运动方向。

请参考图3，为所述手势识别区域2的示意图。所述手势识别区域2是一个平面区域，同时也是所述交互区域的垂直投影区域。所述摄像头11可设于所述手势识别区域2的正上方。所述手势识别区域2用于确定用户的手势在所述交互区域内的投影位置。

在本实施方式中，所述手势识别区域2分为第一子区域21、第二子区域22、第三子区域23和第四子区域24四个子区域，所述四个子区域互为轴对称。在本实施方式中，所述手势识别区域2还包括中心区25，所述中心区25以所述四个子区域的交汇处为中心点，按一定半径规划得出，所述中心区25大致呈圆形。在本实施方式中，所述摄像头11设于所述中心区25的正上方。

在本实施方式中，所述根据所述投影位置确定水平运动方向的步骤包括：根据所述投影位置所在的子区域确定相应的水平运动方向。

在本实施方式中，所述水平运动方向包括第一、第二、第三和第四水平方向。在本实施方式中，所述第一、第二、第三和第四个水平方向分别对应前后左右四个方向。

所述人机交互方法还包括：根据所述手势图像确定手掌心，并根据所述手掌心的投影所落入的子区域来确定所述投影位置所在的子区域；

或者，根据所述手势图像确定手的多个关键部位，并根据所述多个关键部位的投影所落入的子区域来确定所述投影位置所在的子区域。

在本实施方式中，当步骤101完成后，若所述手掌心的投影落入所述中心区25，则开始进行步骤102,反之则提示用户摆正手的位置，直到所述手掌心的投影落入所述中心区25为止。

所述关键部位包括但不限于指尖、指关节、腕关节、手掌心。

在本实施方式中，所述根据所述投影位置所在的子区域确定相应的水平运动方向的步骤具体可包括：

当所述投影位置落入所述第一子区域21时，确定所述水平运动方向为第一水平方向；

当所述投影位置落入所述第二子区域22时，确定所述水平运动方向为第二水平方向；

当所述投影位置落入所述第三子区域23时，确定所述水平运动方向为第三水平方向；

当所述投影位置落入所述第四子区域24时，确定所述水平运动方向为第四水平方向。

步骤103：根据所述水平运动方向生成相应的水平方向控制指令。

具体地，当所述水平运动方向确定为第一水平方向时，生成向第一水平方向移动的水平方向控制指令；

当所述水平运动方向确定为第二水平方向时，生成向第二水平方向移动的水平方向控制指令；

当所述水平运动方向确定为第三水平方向时，生成向第三水平方向移动的水平方向控制指令；

当所述水平运动方向确定为第四水平方向时，生成向第四水平方向移动的水平方向控制指令。

步骤104：根据所述水平方向控制指令控制所述抓取机构15向相应的水平方向移动。

具体地，当所述水平方向控制指令为第一水平方向控制指令时，控制所述抓取机构15向第一水平方向移动。

当所述水平方向控制指令为第二水平方向控制指令时，控制所述抓取机构15向第二水平方向移动。

当所述水平方向控制指令为第三水平方向控制指令时，控制所述抓取机构15向第三水平方向移动。

当所述水平方向控制指令为第四水平方向控制指令时，控制所述抓取机构15向第四水平方向移动。

在一种实施方式中，所述控制所述抓取机构15向相应的水平方向移动的步骤包括：

当所述投影位置落入所述多个子区域中的其中一个时，控制所述抓取机构15向相应的水平方向持续移动。

在另一种实施方式中，所述控制所述抓取机构15向相应的水平方向移动的步骤包括：

当所述投影位置落入所述多个子区域中的其中一个时，根据所述投影位置到所述中心点的距离与所述其中一个子区域到所述中心点的最大距离之间的比例关系确定所述抓取机构的待移动距离。

依据所述待移动距离控制所述抓取机构向相应的水平方向移动。

步骤105：分析所述手势图像以识别出用户在三维空间的手势动作。

在本实施方式中，所述手势动作包括张开和收拢。

所述摄像头11拍摄手在所述交互区域内的手势图像，所述存储器14内存有若干呈现张开和收拢的手势照片，所述处理器12调用所述若干呈现张开和收拢的手势照片并与所述手势图像进行比对，分析手势动作，若与所述若干呈现张开和收拢的手势照片匹配成功，则进行下一步骤，若匹配失败则提醒用户更正手势动作直到匹配成功为止。

步骤106：根据手势动作生成动作控制指令。

步骤107：根据所述动作控制指令控制所述抓取机构15做相应的动作。

在一种实施方式中，若所述手势动作为张开，则生成张开控制指令，并根据所述张开控制指令控制所述抓取机构的爪部做出张开动作。

若所述手势动作为收拢，则生成抓取控制指令，并根据所述抓取控制指令控制所述抓取机构的爪部做出抓取动作。

在另一种实施方式中，可根据所述手势动作生成垂直方向控制指令，并根据所述垂直方向控制指令控制所述抓取机构15向相应的垂直方向移动。

具体地，若所述手势动作为张开，则生成第一控制指令，并根据所述第一控制指令控制所述抓取机构向上移动到第一预设位置；

或者，若所述手势动作为收拢，则生成第二控制指令，并根据所述第二控制指令控制所述抓取机构向下移动。

或者，若所述手势动作为张开，则生成第三控制指令，并根据所述第三控制指令控制所述抓取机构向上移动，并在所述抓取机构向上移动到第一预设位置时控制所述抓取机构的爪部做出张开动作。

或者，若所述手势动作为收拢，则生成第四控制指令，并根据所述第四控制指令控制所述抓取机构向下移动至第二预设位置，并在所述抓取机构下降至所述第二预设位置时控制所述抓取机构的爪部做出抓取动作。

请参阅图4，为本发明第二实施方式提供的人机交互方法的流程图。所述一种人机交互方法，应用于人机交互设备，所述人机交互设备包括传感器和抓取机构15，所述传感器设置于所述交互区域四周。第二实施方式的人机交互方法与第一实施方式的人机交互方法的主要区别在于，第二实施方式中通过感应所述交互区域内的手获取相应的传感信息。需说明的是，在本发明的精神或基本特征的范围内，适用于第一实施方式中的各具体方案也可以相应的适用于第二实施方式中，为节省篇幅及避免重复起见，在此就不再赘述。

如图4所示，所述人机交互方法包括：

步骤111：获取交互区域中的传感信息。

步骤112：分析所述传感信息以确定出用户的手在预设的手势识别区域2中的变化位置，并根据所述变化位置确定运动方向。

步骤113：根据所述运动方向生成相应的运动方向控制指令。

步骤114：根据所述运动方向控制指令控制所述抓取机构15向相应的运动方向移动。

步骤115：分析所述传感信息以识别出用户在三维空间的手势动作。

步骤116：根据手势动作生成动作控制指令。

步骤117：根据所述动作控制指令控制所述抓取机构15做相应的动作。

本发明提供的所述人机交互方法使得用户不需要随身携带任何控制器，直接通过手势即可实现人机交互，使用便捷、更符合人们习惯、体验更好。

请参阅图5，为本发明第一实施方式提供的人机交互装置3的模块示意图，所述人机交互装置3应用于人机交互设备。

所述人机交互装置3包括获取模块31、位置识别模块32、手势识别模块33、指令模块34和交互模块35。

获取模块31，用于获取所述交互区域中的手势图像。

位置识别模块32，用于分析所述手势图像以确定出用户的手在预设的手势识别区域2中的投影位置，并根据所述投影位置确定水平运动方向。

手势识别区域2包括多个子区域，所述位置识别模块32通过分析所述用户的手在每个子区域中的投影位置，确定各子区域对应的水平运动方向。

手势识别模块33，用于分析所述手势图像以识别出用户在三维空间的手势动作，所述手势动作包括张开和收拢。

指令模块34，用于根据所述水平运动方向生成相应的水平方向控制指令。

交互模块35，用于根据所述水平方向控制指令控制所述抓取机构向相应的水平方向移动。

在一种实施方式中，若所述手势动作为张开，则生成张开控制指令，并根据所述张开控制指令控制所述抓取机构15的爪部做出张开动作。若所述手势动作为收拢，则生成抓取控制指令，并根据所述抓取控制指令控制所述抓取机构15的爪部做出相应的抓取动作。

在另一种实施方式中，所述指令模块34用于根据所述手势动作生产相应的垂直方向控制指令，并根据所述垂直方向控制指令控制所述抓取机构15向相应的垂直方向移动。

具体地，所述垂直方向控制指令可包括第一控制指令，若所述手势动作为张开，则生成所述第一控制指令，并根据所述第一控制指令控制所述抓取机构15做出向上移动并回到第一预设位置的动作。

或者，所述垂直方向控制指令可包括第二控制指令，若所述手势动作为张开，则生成所述第二控制指令，并根据所述第二控制指令控制所述抓取机构15的爪部做出上升并回到所述第一预设位置然后再张开动作。

或者，所述垂直方向控制指令可包括第三控制指令，若所述手势动作为收拢，则生成所述第三控制指令，并根据所述第三控制指令控制所述抓取机构15做出下降至所述第二预设位置的动作。

或者，所述垂直方向控制指令可包括第四控制指令，若所述手势动作为收拢，则生成所述第四控制指令，并根据所述第四控制指令控制所述抓取机构15的爪部做出下降至所述第二预设位置后再抓取的动作。可以理解的是，所述人机交互装置3的获取模块31并不限于获取所述交互区域中的手势图像，在其他实施方式中，所述获取模块31也可以获取所述交互区域中的传感信息。

具体地，所述人机交互设备还可包括传感器(图未示)，所述获取模块31用于获取交互区域中的传感信息。

所述位置识别模块32用于分析所述传感信息以确定出用户的手在预设的手势识别区域中的变化位置，并根据所述变化位置确定运动方向。

手势识别模块33，用于分析所述传感信息以识别出用户在三维空间的手势动作，所述手势动作包括张开和收拢。

Claims (10)

1.一种人机交互方法，应用于人机交互设备，所述人机交互设备包括抓取机构，其特征在于，所述人机交互方法包括：

获取交互区域中的手势图像；

分析所述手势图像以确定出用户的手在预设的手势识别区域中的投影位置，并根据所述投影位置确定水平运动方向，其中，所述手势识别区域包括第一、第二、第三和第四子区域，所述水平运动方向包括第一、第二、第三和第四水平方向，所述根据所述投影位置所在的子区域确定相应的水平运动方向的步骤包括：当所述投影位置落入所述第一子区域时，确定所述水平运动方向为第一水平方向；当所述投影位置落入所述第二子区域时，确定所述水平运动方向为第二水平方向；当所述投影位置落入所述第三子区域时，确定所述水平运动方向为第三水平方向；当所述投影位置落入所述第四子区域时，确定所述水平运动方向为第四水平方向；

根据所述水平运动方向生成相应的水平方向控制指令；以及

根据所述水平方向控制指令控制所述抓取机构向相应的水平方向移动。

2.如权利要求1所述的人机交互方法，其特征在于，所述方法还包括：

根据所述手势图像确定手掌心，并根据所述手掌心的投影所落入的子区域来确定所述投影位置所在的子区域；

或者，根据所述手势图像确定手的多个关键部位，并根据所述多个关键部位的投影所落入的子区域来确定所述投影位置所在的子区域。

3.如权利要求2所述的人机交互方法，其特征在于，所述控制所述抓取机构向相应的水平方向移动的步骤包括：

当所述投影位置落入所述多个子区域中的其中一个时，控制所述抓取机构向相应的水平方向持续移动。

4.如权利要求2所述的人机交互方法，其特征在于，所述手势识别区域还包括中心点，所述中心点位于所述第一、第二、第三和第四子区域相交之处，所述控制所述抓取机构向相应的水平方向移动的步骤包括：

当所述投影位置落入所述多个子区域中的其中一个时，根据所述投影位置到所述中心点的距离与所述其中一个子区域到所述中心点的最大距离之间的比例关系确定所述抓取机构的待移动距离；

依据所述待移动距离控制所述抓取机构向相应的水平方向移动。

5.如权利要求1所述的人机交互方法，其特征在于，所述人机交互方法还包括：

分析所述手势图像以识别出用户在三维空间的手势动作，所述手势动作包括张开和收拢；

根据手势动作生成动作控制指令；以及

根据所述动作控制指令控制所述抓取机构做相应的动作。

6.如权利要求5所述的人机交互方法，其特征在于，所述人机交互方法具体包括：

若所述手势动作为张开，则生成张开控制指令，并根据所述张开控制指令控制所述抓取机构的爪部做出张开动作；

若所述手势动作为收拢，则生成抓取控制指令，并根据所述抓取控制指令控制所述抓取机构的爪部做出抓取动作。

7.如权利要求5所述的人机交互方法，其特征在于，所述人机交互方法还包括：

根据所述手势动作生成垂直方向控制指令；以及

根据所述垂直方向控制指令控制所述抓取机构向相应的垂直方向移动。

8.如权利要求7所述的人机交互方法，其特征在于，所述人机交互方法具体包括：

若所述手势动作为张开，则生成第一控制指令，并根据所述第一控制指令控制所述抓取机构向上移动到第一预设位置；

或者，若所述手势动作为收拢，则生成第二控制指令，并根据所述第二控制指令控制所述抓取机构向下移动；

或者，若所述手势动作为张开，则生成第三控制指令，并根据所述第三控制指令控制所述抓取机构向上移动，并在所述抓取机构向上移动到第一预设位置时控制所述抓取机构的爪部做出张开动作；

或者，若所述手势动作为收拢，则生成第四控制指令，并根据所述第四控制指令控制所述抓取机构向下移动至第二预设位置，并在所述抓取机构下降至所述第二预设位置时控制所述抓取机构的爪部做出抓取动作。

9.一种人机交互装置，应用于人机交互设备，所述人机交互设备包括抓取机构，其特征在于，所述人机交互装置包括：

获取模块，用于获取交互区域中的手势图像；

位置识别模块，用于分析所述手势图像以确定出用户的手在预设的手势识别区域中的投影位置，并根据所述投影位置确定水平运动方向，其中，所述手势识别区域包括第一、第二、第三和第四子区域，所述水平运动方向包括第一、第二、第三和第四水平方向，所述根据所述投影位置所在的子区域确定相应的水平运动方向的步骤包括：当所述投影位置落入所述第一子区域时，确定所述水平运动方向为第一水平方向；当所述投影位置落入所述第二子区域时，确定所述水平运动方向为第二水平方向；当所述投影位置落入所述第三子区域时，确定所述水平运动方向为第三水平方向；当所述投影位置落入所述第四子区域时，确定所述水平运动方向为第四水平方向；

指令模块，用于根据所述水平运动方向生成相应的水平方向控制指令；以及

交互模块，用于根据所述水平方向控制指令控制所述抓取机构向相应的水平方向移动。

10.如权利要求9所述的人机交互装置，其特征在于，所述人机交互装置还包括：

手势识别模块，用于分析所述手势图像以识别出用户在三维空间的手势动作，所述手势动作包括张开和收拢；

根据手势动作生成动作控制指令；以及

根据所述动作控制指令控制所述抓取机构做相应的动作。

Images