CN107357428A - 基于手势识别的人机交互方法及装置、系统 - Google Patents
基于手势识别的人机交互方法及装置、系统 Download PDFInfo
- Publication number
- CN107357428A CN107357428A CN201710552331.XA CN201710552331A CN107357428A CN 107357428 A CN107357428 A CN 107357428A CN 201710552331 A CN201710552331 A CN 201710552331A CN 107357428 A CN107357428 A CN 107357428A
- Authority
- CN
- China
- Prior art keywords
- user
- gesture
- fingers
- control instruction
- preset control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000033001 locomotion Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 39
- 230000003238 somatosensory effect Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 230000035807 sensation Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 244000060701 Kaempferia pandurata Species 0.000 description 1
- 235000016390 Uvaria chamae Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供一种基于手势识别的人机交互方法及装置、系统。该基于手势识别的人机交互方法包括：获取用户的手势图像；根据所述手势图像识别所述用户伸出的手指数量；根据所述用户伸出的手指数量发送相应的预设控制指令。根据本公开的方案可以让用户通过简单的肢体动作，更自然便捷地对机器进行操控。
Description
技术领域
本公开涉及计算机和通信技术领域，具体而言，涉及一种基于手势识别的人机交互方法及装置、系统。
背景技术
随着科技的不断发展，计算机将越来越广泛地应用于各个领域，人机交互(Human-Comuputer Interaction)是让计算机读懂人类信息的主要途径，也必将沿着“以计算机为中心”的方式向“以人为中心”的方式转变，使人与计算机的信息交互达到人与人之间交流那样自然和谐。人机交互涉及有关人和计算机之间的界面设计和实现的所有问题，包含语言、文字、图像、手势、表情等自然方式，涉及到计算机科学的多个学科方向(图像处理、计算机视觉、编程语言等)。
自平衡机器人是一个欠驱动、非线性和在无电情况下不稳定的复杂系统，由车身与两个独立驱动的车轮组成，属于轮式移动机器人的范畴。它具有体积小、机构简单、运行灵活等优点，可以实现直立行走、任意半径转向等运动，能够在狭窄和有大转角的工作场合执行任务。因此，它在军用和民用领域都有广泛的应用前景，近年来成为移动机器人研究的热点之一。
目前，公知的自平衡机器人大多由机械部分、传感部分和远程控制部分三部分组成。通过控制部分向自平衡机器人发出控制指令，自平衡机器人的机械部分根据指令移动，同时自平衡机器人的传感部分探测和感知周围环境的信息并展示给自平衡机器人的操作者。但是，一般的自平衡机器人远程控制系统大多需要操纵者手动控制操纵手柄或者利用远程控制界面屏幕上的按钮来控制自平衡机器人的运动，人机交互手段不够自然友好。
因此，现有技术中的技术方案还存在有待改进之处。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于手势识别的人机交互方法及装置、系统，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
本公开的其他特性和优点将通过下面的详细描述变得清晰，或者部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种基于手势识别的人机交互方法，包括：获取用户的手势图像；根据所述手势图像识别所述用户伸出的手指数量；根据所述用户伸出的手指数量发送相应的预设控制指令。
在本公开的一种示例性实施例中，获取用户的手势图像包括：通过Leap Motion体感控制器的双目摄像头采集所述用户的手势图像；将所述用户的手势图像发送至处理终端。
在本公开的一种示例性实施例中，根据所述手势图像识别所述用户伸出的手指数量包括：利用Processing编程语言读取所述手势图像；根据所述手势图像获取深度图像；根据所述深度图像获取手部图像；根据所述手部图像进行手势建模，实现对手势的实时跟踪；根据跟踪结果对所述用户伸出的手指数量进行识别。
在本公开的一种示例性实施例中，根据跟踪结果对所述用户伸出的手指数量进行识别包括：以所述用户的手掌中心点为质心，获取手掌轮廓的凸点；根据所述凸点提取所述手掌轮廓的凹点；当凸点与相邻的凹点之间的夹角角度小于预定义阈值时，判定所述凸点为指尖；根据检测到的指尖个数获得所述用户伸出的手指数量。
在本公开的一种示例性实施例中，所述预设控制指令发送至自平衡机器人，用于控制所述自平衡机器人的运动状态。
在本公开的一种示例性实施例中，所述方法还包括：预先存储所述用户伸出的手指数量与所述预设控制指令之间的映射关系。
在本公开的一种示例性实施例中，预先存储所述用户伸出的手指数量与所述预设控制指令之间的映射关系包括：当所述用户伸出的手指数量为一根时，所述预设控制指令为停止指令；和/或当所述用户伸出的手指数量为二根时，所述预设控制指令为后退指令；和/或当所述用户伸出的手指数量为三根时，所述预设控制指令为左转指令；和/或当所述用户伸出的手指数量为四根时，所述预设控制指令为右转指令；和/或当所述用户伸出的手指数量为五根时，所述预设控制指令为停止指令；和/或当所述用户伸出的手指数量为六根时，所述预设控制指令为左旋转指令；和/或当所述用户伸出的手指数量为七根时，所述预设控制指令为右旋转指令。
根据本公开的一个方面，提供一种基于手势识别的人机交互装置，包括：手势图像获取模块，用于获取用户的手势图像；手势识别模块，用于根据所述手势图像识别所述用户伸出的手指数量；控制指令发送模块，用于根据所述用户伸出的手指数量发送相应的预设控制指令。
根据本公开的一个方面，提供一种基于手势识别的人机交互系统，包括LeapMotion体感控制器、处理终端和自平衡机器人，所述处理终端分别与所述Leap Motion体感控制器和所述自平衡机器人连接；其中，所述Leap Motion体感控制器包括双目摄像头，其用于采集用户的手势图像并发送至所述处理终端；所述处理终端根据所述用户的手势图像识别所述用户伸出的手指数量，并根据所述用户伸出的手指数量选择相应的预设控制指令并发送至所述自平衡机器人；所述自平衡机器人根据接收到的所述预设控制指令实现其运动状态的调整。
在本公开的一种示例性实施例中，所述自平衡机器人包括蓝牙模块，其用于使所述自平衡机器人和所述处理终端之间建立数据通信通道。
本公开的某些实施例中的基于手势识别的人机交互方法中，通过识别用户手指个数来发送相应的控制指令，实现更加自然的人机交互。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开示例性实施例中一种基于手势识别的人机交互方法的流程图。
图2示出本公开示例性实施例中另一种基于手势识别的人机交互方法的流程图。
图3示出本公开示例性实施例中又一种基于手势识别的人机交互方法的流程图。
图4示出本公开示例性实施例中一种手指个数识别的示意图。
图5示出本公开示例性实施例中一种基于手势识别的人机交互装置的模块示意图。
图6示出本公开示例性实施例中一种基于手势识别的人机交互系统的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。
需要指出的是，在附图中，为了图示的清晰可能会夸大层和区域的尺寸。而且可以理解，当元件或层被称为在另一元件或层“上”时，它可以直接在其他元件上，或者可以存在中间的层。另外，可以理解，当元件或层被称为在另一元件或层“下”时，它可以直接在其他元件下，或者可以存在一个以上的中间的层或元件。另外，还可以理解，当层或元件被称为在两层或两个元件“之间”时，它可以为两层或两个元件之间唯一的层，或还可以存在一个以上的中间层或元件。通篇相似的参考标记指示相似的元件。
图1示出本公开示例性实施例中一种基于手势识别的人机交互方法的流程图。
如图1所示，该基于手势识别的人机交互方法可以包括以下步骤。
在步骤S110中，获取用户的手势图像。
在示例性实施例中，所述获取用户的手势图像可以包括：通过Leap Motion体感控制器的双目摄像头采集所述用户的手势图像；通过所述Leap Motion体感控制器中的蓝牙模块将所述用户的手势图像发送至处理终端。
本发明实施例中，采用了基于Leap Motion体感控制器的手势识别，其中LeapMotion体感控制器是一种基于双目视觉的手势识别设备。该Leap Motion体感控制器利用双目摄像头采集用户手势动作的左右视觉图像，通过立体视觉算法生成深度图像，然后使用手势分割、跟踪算法对视觉图像进行处理，从而识别各种手型、手势和动作。Leap Motion体感控制器在识别范围之内的准确度和精度都很高，能够直接提供手指的位置、速度等非常精细的信息，且成本较低。
在步骤S120中，根据所述手势图像识别所述用户伸出的手指数量。
在示例性实施例中，所述根据所述手势图像识别所述用户伸出的手指数量可以包括：利用Processing编程语言读取所述手势图像；根据所述手势图像获取深度图像；根据所述深度图像获取手部图像；根据所述手部图像进行手势建模，实现对手势的实时跟踪；根据跟踪结果对所述用户伸出的手指数量进行识别。
在示例性实施例中，所述根据跟踪结果对所述用户伸出的手指数量进行识别可以包括：以所述用户的手掌中心点为质心，获取手掌轮廓的凸点；根据所述凸点提取所述手掌轮廓的凹点；当凸点与相邻的凹点之间的夹角角度小于预定义阈值时，判定所述凸点为指尖；根据检测到的指尖个数获得所述用户伸出的手指数量。
在步骤S130中，根据所述用户伸出的手指数量发送相应的预设控制指令。
在示例性实施例中，可以将所述预设控制指令发送至自平衡机器人，用于控制所述自平衡机器人的运动状态。
在示例性实施例中，所述方法还可以包括：预先存储所述用户伸出的手指数量与所述预设控制指令之间的映射关系。
在示例性实施例中，所述预先存储所述用户伸出的手指数量与所述预设控制指令之间的映射关系可以包括：当所述用户伸出的手指数量为一根时，所述预设控制指令为停止指令；和/或当所述用户伸出的手指数量为二根时，所述预设控制指令为后退指令；和/或当所述用户伸出的手指数量为三根时，所述预设控制指令为左转指令；和/或当所述用户伸出的手指数量为四根时，所述预设控制指令为右转指令；和/或当所述用户伸出的手指数量为五根时，所述预设控制指令为停止指令；和/或当所述用户伸出的手指数量为六根时，所述预设控制指令为左旋转指令；和/或当所述用户伸出的手指数量为七根时，所述预设控制指令为右旋转指令。
根据本公开实施方式提供的一种基于手势识别的人机交互方法中，通过识别用户手指个数来发送相应的控制指令，能够实现更加自然的人机交互。
图2示出本公开示例性实施例中另一种基于手势识别的人机交互方法的流程图。
如图2所示，该基于手势识别的人机交互方法可以包括以下步骤。
在步骤S210中，基于Processing读取左右视觉图像。
本发明实施例中，该手势识别的人机交互方法可以基于Processing编程语言，其中应用对象可以是基于Arduino开源硬件平台的自平衡机器人，但本公开不局限于控制自平衡机器人。
其中，Processing是专门面向图形的应用程序而设计的新兴编程语言，具有革命性和前瞻性。该语言特别擅长算法动画和即时交互反馈，和Arduino的搭配可以让图形化界面和硬件产生互动，让设计出的作品富有想象力。
本发明实施例中，基于双目视觉的手势识别设备Leap Motion，利用双目立体视觉成像原理，通过两个摄像头提取包括三维位置在内的信息进行手势的综合分析判断，从而建立手部的立体模型。结合Leap Motion所提供的SDK(软件开发工具包)，利用Processing编程语言可对左(或右)视觉图像进行分析，实现用户的手势分割、跟踪及识别。根据所识别的用户伸出手指的个数，向自平衡机器人发送相应的动作指令，从而可以实现对自平衡机器人的远程操控。
在步骤S220中，根据读取的所述左右视觉图像生成深度图像。
本发明实施例中，手势图像的获取可以是基于Processing语言编程读取用户手势动作的左右视觉图像(可以通过Leap Motion的双目摄像头采集)。经过立体标定后获取校准的立体图像对，进行立体匹配，获得视差图像，再利用摄像头的内参数及外参数进行三角计算获取深度图像。
具体的，Leap Motion的工作原理为：利用滤光器将自然光线过滤成红外线，在设备上方形成一个虚拟的平面光线网；当目标对象发生移动时，就会引起红外线反射而返回目标对象所在位置和移动方向。双高清摄像头立体拍摄得到的高分辨率图像，模拟双目视觉，利用三角测量法对空间物体进行三维坐标定位，将产生的数据通过USB传送回电脑进行后续处理。Leap Motion利用双摄像头的控制器模拟人眼，采用这种立体视觉原理，就能够对空间物体进行坐标定位。三角测量法是定位目标空间位置常用的方法，通过双摄像头固定的基线距离，控制器能快速计算出物体的空间距离。
在步骤S230中，根据所述深度图像判断是否存在手势；当手势存在时，进入步骤S240；反之，跳回到步骤S210。
在步骤S240中，对所述手势进行分割。
本发明实施例中，对所获取的深度图像进行处理，考虑前后两帧图像的差分运算来检测手势，从而将手势从背景中分割出来，得到轮廓比较分明的手部图像。同时，基于Leap Motion体感控制器提供的手部信息，分割出手掌所在的初始位置信息，并将该位置作为手势跟踪算法的起始位置。
其中，Leap Motion能检测到的手对象属性包括：手掌中心坐标、手掌速率、手掌平面的垂直向量(向量方向指向手掌侧)、方向向量(由手心指向手指)、手掌内侧弧面球心、弧面球半径等。Leap Motion能检测到的手对象属性即可作为Leap Motion提供的手部信息。
在步骤S250中，分析与跟踪。
本发明实施例中，在手部图像的表观之上，分析手势在图像(序列)里的表观特征，并基于表观特征对手势进行建模，估计选定的手势模型参数。接着，可以结合传统的Kalman滤波和改进的CamShift算法，完成对动态手势的实时跟踪。
手势建模的目的是为了让计算机在识别一个手势前，了解手势所代表的意思。基于表观特征的手势建模指直接利用图像序列中的表观变化信息来识别手势，着重点不是手或手臂的静止三维结构，而是运动引起的图像序列里的表观变化。其中，本发明实施例中的表观特征包括手势中伸出的手指个数和指间夹角等。
对手势跟踪的算法不唯一，本发明实施例可以结合CamShift和Kalman滤波方法，实现对动态手势的实时跟踪。其中，基于CamShift算法计算手势跟踪窗口的位置和大小，利用颜色直方图模型将手势图像转换为颜色概率分布图，初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小；用Kalman滤波预测手心位置，有效地解决了手势部分被遮挡的问题，增强跟踪算法的抗干扰性。
在步骤S260中，判断目标是否消失；当目标消失时，跳回到步骤S210；反之，进入步骤S270。
本发明实施例中，如果跟踪目标消失，待目标重新出现后，进行手势识别，即重复上述步骤。
在步骤S270中，进行手势识别。
本发明实施例中，根据跟踪得到的结果，对手势(例如用户伸出的手指个数)进行识别。考虑到各个手指高低不一，且从一个手指到另一个手指必须经过从手指顶部(即指尖)到手指根部，本发明实施例中对手指个数的识别可以通过计算手部轮廓的凸点和凹点(局部极值)。其中，手部轮廓的凸点为指尖点，凹点为手指连接点，可以通过对凸点和凹点的判断，实现对指尖和指根两个点的识别。
本发明实施例中，针对手指个数的识别，实际上可转变为指尖个数的检测。本发明实施例中可以采用机器学习中的K-means(K-均值)聚类算法，对手型进行凸包分析，实现指尖的定位。K-means的原理简单，是一种基于距离的聚类算法，即用质心到属于该质心的点距离这个度量来实现聚类。该算法实现过程比较简单，也很容易实现，聚类完成后，所有的点都会被指派到对应的簇中。
本发明实施例中以手掌中心位置为质心位置，依据几何关系，获取手掌轮廓的凸缺陷。根据所述凸缺陷，进一步提取手掌轮廓上出现的凹点位置。其中，手势凸缺陷实际上就是手势外部轮廓和手势凸包之间的差异。手势指尖和凸缺陷有着十分密切的关系，可以有效地表示手势。
需要说明的是，本公开中聚类分析方法并不唯一。本发明实施例采用的K-means方法实现过程比较简单，也很容易实现。通过K-means方法，对手型进行凸包分析，将指尖候选点聚类，最终根据指尖点个数确定手势。对于指尖点的确定，本发明实施例中可以采用K曲率算法，判断指尖候选点与相邻凹点的夹角是否小于一定阈值。如果是，判定该点为指尖点，反之则说明非指尖点。
在步骤S280中，机器人远程控制。
本发明实施方式提供的一种基于手势识别的人机交互方法，利用Processing编程实现基于Leap Motion的手势识别(用户伸出的手指个数)，再根据所识别的用户伸出的手指的个数，向自平衡机器人发送相应的动作指令，从而可以实现对自平衡机器人的远程操控。
图3示出本公开示例性实施例中又一种基于手势识别的人机交互方法的流程图。
如图3所示，可以通过Leap Motion体感控制器获取用户的手势图像；然后基于Processing编程语言的手势识别，进行该手势图像的分割、分析与跟踪以及识别，其中分析与跟踪通过手势特征提取、建模及描述实现手势识别；根据识别结果实现自平衡机器人远程操控。
本发明实施例可以基于Processing和Leap Motion实现手势识别，识别用户当前伸出的手指个数，从而实现基于Processing和手势识别的自平衡机器人控制。例如，可以通过蓝牙模块使自平衡机器人与处理终端(笔记本电脑、计算机等任意的处理终端)建立连接，利用Processing与Arduino互动编程实现基于Leap Motion的手势识别(用户伸出的手指个数)。再根据所识别的用户伸出的手指的个数，向自平衡机器人发送相应的动作指令，从而实现对自平衡机器人的远程操控。本发明实施例的实现方案对用户手势的输入限制较小，可以实现更加自然的人机交互，为解决自平衡机器人控制提供了一个新思路。
图4示出本公开示例性实施例中一种手指个数识别的示意图。
如图4所示，本发明实施例中可以通过识别用户当前伸出的手指个数的识别实现人机交互。
例如，通过手指个数的识别可以做出多种不同的判断，如握紧拳头的时候，检测到的用户的手指个数为0；当张开手掌同时五指张开的时候，检测到的用户的手指个数为5。基于识别的手势情况，处理终端例如计算机将向自平衡机器人发送相应的动作指令。
例如，用户伸出的手指数与自平衡机器人预设的动作指令之间的映射关系可以为：1-前进，2-后退，3-左转，4-右转，5-停止，6-左旋转，7-右旋转，等等。即如果用户伸出5根手指，计算机将向自平衡机器人发送停止指令。但本公开并不限定于此，可以根据具体应用场景，预先设定不同的手指数对应不同的机器控制指令。
本发明实施方式提供的基于手势识别的人机交互方法，提出了一种基于Processing和手势识别的自平衡机器人控制方案，一方面，让用户利用简单的肢体动作(不同手指数)，实现非接触式的手势操作对自平衡机器人运动的远程控制，更自然便捷地对自平衡机器人进行远程操控；另一方面，利用Leap Motion体感控制器进行手势识别，通过蓝牙实现用户与自平衡机器人之间的信息传递，对用户手势的输入限制较小，有效改善了用户的操控体验。
图5示出本公开示例性实施例中一种基于手势识别的人机交互装置的模块示意图。
如图5所示，该基于手势识别的人机交互装置100可以包括手势图像获取模块110、手势识别模块120以及控制指令发送模块130。
其中，手势图像获取模块110可以用于获取用户的手势图像。
手势识别模块120可以用于根据所述手势图像识别所述用户伸出的手指数量。
控制指令发送模块130可以用于根据所述用户伸出的手指数量发送相应的预设控制指令。
本发明实施例中的基于手势识别的人机交互装置中的模块的具体实现可以参照上述实施例中的基于手势识别的人机交互方法，在此不再赘述。
图6示出本公开示例性实施例中一种基于手势识别的人机交互系统的示意图。
如图6所示，该基于手势识别的人机交互系统200可以包括Leap Motion体感控制器210、处理终端220和自平衡机器人230。
其中，处理终端220可以分别与Leap Motion体感控制器210和自平衡机器人230连接。
其中，Leap Motion体感控制器210可以包括双目摄像头211，其用于采集用户的手势图像并发送至处理终端220。
处理终端220可以根据所述用户的手势图像识别所述用户伸出的手指数量，并根据所述用户伸出的手指数量选择相应的预设控制指令并发送至自平衡机器人230。
自平衡机器人230可以根据接收到的所述预设控制指令实现其运动状态的调整。
在示例性实施例中，自平衡机器人230可以包括蓝牙模块，其用于使自平衡机器人230和处理终端220之间建立数据通信通道。
本发明实施例中，首先进行上述设备之间的连接：启动自平衡机器人230，通过蓝牙将处理终端220例如计算机与自平衡机器人230建立连接。将Leap Motion体感控制器210通过USB端口连接计算机(例如当屏幕中央的红色指示灯亮起表示设备连接成功)。
通过检测手势信息，方便地控制自平衡机器人的启动、停止和运动方向，利用蓝牙实现自平衡机器人与控制人员之间的信息传递，有利于自平衡机器人在家庭和一些复杂工作环境中的应用，克服了现有的自平衡机器人技术中不能通过识别远程控制者的手势向机器人发出运动指令，远程控制者与机器人之间的人机交互手段生硬而不自然的缺陷。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
Claims (10)
1.一种基于手势识别的人机交互方法，其特征在于，包括：
获取用户的手势图像；
根据所述手势图像识别所述用户伸出的手指数量；
根据所述用户伸出的手指数量发送相应的预设控制指令。
2.根据权利要求1所述的基于手势识别的人机交互方法，其特征在于，获取用户的手势图像包括：
通过Leap Motion体感控制器的双目摄像头采集所述用户的手势图像；
将所述用户的手势图像发送至处理终端。
3.根据权利要求1所述的基于手势识别的人机交互方法，其特征在于，根据所述手势图像识别所述用户伸出的手指数量包括：
利用Processing编程语言读取所述手势图像；
根据所述手势图像获取深度图像；
根据所述深度图像获取手部图像；
根据所述手部图像进行手势建模，实现对手势的实时跟踪；
根据跟踪结果对所述用户伸出的手指数量进行识别。
4.根据权利要求3所述的基于手势识别的人机交互方法，其特征在于，根据跟踪结果对所述用户伸出的手指数量进行识别包括：
以所述用户的手掌中心点为质心，获取手掌轮廓的凸点；
根据所述凸点提取所述手掌轮廓的凹点；
当凸点与相邻的凹点之间的夹角角度小于预定义阈值时，判定所述凸点为指尖；
根据检测到的指尖个数获得所述用户伸出的手指数量。
5.根据权利要求1所述的基于手势识别的人机交互方法，其特征在于，所述预设控制指令发送至自平衡机器人，用于控制所述自平衡机器人的运动状态。
6.根据权利要求1所述的基于手势识别的人机交互方法，其特征在于，所述方法还包括：预先存储所述用户伸出的手指数量与所述预设控制指令之间的映射关系。
7.根据权利要求6所述的基于手势识别的人机交互方法，其特征在于，预先存储所述用户伸出的手指数量与所述预设控制指令之间的映射关系包括：
当所述用户伸出的手指数量为一根时，所述预设控制指令为停止指令；和/或
当所述用户伸出的手指数量为二根时，所述预设控制指令为后退指令；和/或
当所述用户伸出的手指数量为三根时，所述预设控制指令为左转指令；和/或
当所述用户伸出的手指数量为四根时，所述预设控制指令为右转指令；和/或
当所述用户伸出的手指数量为五根时，所述预设控制指令为停止指令；和/或
当所述用户伸出的手指数量为六根时，所述预设控制指令为左旋转指令；和/或
当所述用户伸出的手指数量为七根时，所述预设控制指令为右旋转指令。
8.一种基于手势识别的人机交互装置，其特征在于，包括：
手势图像获取模块，用于获取用户的手势图像；
手势识别模块，用于根据所述手势图像识别所述用户伸出的手指数量；
控制指令发送模块，用于根据所述用户伸出的手指数量发送相应的预设控制指令。
9.一种基于手势识别的人机交互系统，其特征在于，包括Leap Motion体感控制器、处理终端和自平衡机器人，所述处理终端分别与所述Leap Motion体感控制器和所述自平衡机器人连接；其中，
所述Leap Motion体感控制器包括双目摄像头，其用于采集用户的手势图像并发送至所述处理终端；
所述处理终端根据所述用户的手势图像识别所述用户伸出的手指数量，并根据所述用户伸出的手指数量选择相应的预设控制指令并发送至所述自平衡机器人；
所述自平衡机器人根据接收到的所述预设控制指令实现其运动状态的调整。
10.根据权利要求9所述的基于手势识别的人机交互系统，其特征在于，所述自平衡机器人包括蓝牙模块，其用于使所述自平衡机器人和所述处理终端之间建立数据通信通道。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710552331.XA CN107357428A (zh) | 2017-07-07 | 2017-07-07 | 基于手势识别的人机交互方法及装置、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710552331.XA CN107357428A (zh) | 2017-07-07 | 2017-07-07 | 基于手势识别的人机交互方法及装置、系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107357428A true CN107357428A (zh) | 2017-11-17 |
Family
ID=60292329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710552331.XA Pending CN107357428A (zh) | 2017-07-07 | 2017-07-07 | 基于手势识别的人机交互方法及装置、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107357428A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107911614A (zh) * | 2017-12-25 | 2018-04-13 | 腾讯数码（天津）有限公司 | 一种基于手势的图像拍摄方法、装置和存储介质 |
| CN108255308A (zh) * | 2018-02-11 | 2018-07-06 | 北京光年无限科技有限公司 | 一种基于虚拟人的手势交互方法及系统 |
| CN108564020A (zh) * | 2018-04-08 | 2018-09-21 | 陕西科技大学 | 基于全景3d图像的微手势识别方法 |
| CN109255324A (zh) * | 2018-09-05 | 2019-01-22 | 北京航空航天大学青岛研究院 | 手势处理方法、交互控制方法及设备 |
| CN109753876A (zh) * | 2018-12-03 | 2019-05-14 | 西北工业大学 | 一种三维手势的提取识别和三维手势交互系统的构建方法 |
| CN109919128A (zh) * | 2019-03-20 | 2019-06-21 | 联想(北京)有限公司 | 控制指令的获取方法、装置及电子设备 |
| CN110228065A (zh) * | 2019-04-29 | 2019-09-13 | 北京云迹科技有限公司 | 机器人运动控制方法及装置 |
| CN111123986A (zh) * | 2019-12-25 | 2020-05-08 | 四川云盾光电科技有限公司 | 一种基于手势进行二自由度转台控制的控制装置 |
| CN111258427A (zh) * | 2020-01-17 | 2020-06-09 | 哈尔滨拓博科技有限公司 | 一种基于双目相机手势交互的黑板控制方法及控制系统 |
| WO2020133405A1 (zh) * | 2018-12-29 | 2020-07-02 | 深圳市大疆创新科技有限公司 | 一种地面遥控机器人的控制方法和装置 |
| CN111639531A (zh) * | 2020-04-24 | 2020-09-08 | 中国人民解放军总医院 | 一种基于手势识别的医学模型交互可视化方法及系统 |
| CN112069873A (zh) * | 2020-07-16 | 2020-12-11 | 上海大学 | 一种基于LeapMotion手势识别的屏幕控制系统及方法 |
| CN112287853A (zh) * | 2020-11-02 | 2021-01-29 | 无锡超维智能科技有限公司 | 基于对it设备指示灯及设备型号的动态智能图像识别算法 |
| CN114217728A (zh) * | 2021-11-26 | 2022-03-22 | 广域铭岛数字科技有限公司 | 一种可视化交互界面的控制方法、系统、设备及存储介质 |
| CN117301059A (zh) * | 2023-10-12 | 2023-12-29 | 河海大学 | 一种移动机器人遥操作系统、方法及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103034333A (zh) * | 2012-12-18 | 2013-04-10 | 福建华映显示科技有限公司 | 手势辨识装置及方法 |
| CN103093196A (zh) * | 2013-01-14 | 2013-05-08 | 大连理工大学 | 一种基于手势的汉字交互输入与识别方法 |
| CN103237172A (zh) * | 2013-04-28 | 2013-08-07 | 广东欧珀移动通信有限公司 | 一种延时拍摄方法及装置 |
| CN103593052A (zh) * | 2013-11-13 | 2014-02-19 | 江苏中云科技有限公司 | 基于Kinect和OpenNI的手势捕获方法 |
| CN106774938A (zh) * | 2017-01-16 | 2017-05-31 | 广州弥德科技有限公司 | 基于体感设备的人机交互集成装置 |
-
2017
- 2017-07-07 CN CN201710552331.XA patent/CN107357428A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103034333A (zh) * | 2012-12-18 | 2013-04-10 | 福建华映显示科技有限公司 | 手势辨识装置及方法 |
| CN103093196A (zh) * | 2013-01-14 | 2013-05-08 | 大连理工大学 | 一种基于手势的汉字交互输入与识别方法 |
| CN103237172A (zh) * | 2013-04-28 | 2013-08-07 | 广东欧珀移动通信有限公司 | 一种延时拍摄方法及装置 |
| CN103593052A (zh) * | 2013-11-13 | 2014-02-19 | 江苏中云科技有限公司 | 基于Kinect和OpenNI的手势捕获方法 |
| CN106774938A (zh) * | 2017-01-16 | 2017-05-31 | 广州弥德科技有限公司 | 基于体感设备的人机交互集成装置 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107911614B (zh) * | 2017-12-25 | 2019-09-27 | 腾讯数码（天津）有限公司 | 一种基于手势的图像拍摄方法、装置和存储介质 |
| CN107911614A (zh) * | 2017-12-25 | 2018-04-13 | 腾讯数码（天津）有限公司 | 一种基于手势的图像拍摄方法、装置和存储介质 |
| CN108255308A (zh) * | 2018-02-11 | 2018-07-06 | 北京光年无限科技有限公司 | 一种基于虚拟人的手势交互方法及系统 |
| CN108564020A (zh) * | 2018-04-08 | 2018-09-21 | 陕西科技大学 | 基于全景3d图像的微手势识别方法 |
| CN108564020B (zh) * | 2018-04-08 | 2021-07-13 | 陕西科技大学 | 基于全景3d图像的微手势识别方法 |
| CN109255324A (zh) * | 2018-09-05 | 2019-01-22 | 北京航空航天大学青岛研究院 | 手势处理方法、交互控制方法及设备 |
| CN109753876A (zh) * | 2018-12-03 | 2019-05-14 | 西北工业大学 | 一种三维手势的提取识别和三维手势交互系统的构建方法 |
| WO2020133405A1 (zh) * | 2018-12-29 | 2020-07-02 | 深圳市大疆创新科技有限公司 | 一种地面遥控机器人的控制方法和装置 |
| CN109919128B (zh) * | 2019-03-20 | 2021-04-13 | 联想(北京)有限公司 | 控制指令的获取方法、装置及电子设备 |
| CN109919128A (zh) * | 2019-03-20 | 2019-06-21 | 联想(北京)有限公司 | 控制指令的获取方法、装置及电子设备 |
| CN110228065A (zh) * | 2019-04-29 | 2019-09-13 | 北京云迹科技有限公司 | 机器人运动控制方法及装置 |
| CN111123986A (zh) * | 2019-12-25 | 2020-05-08 | 四川云盾光电科技有限公司 | 一种基于手势进行二自由度转台控制的控制装置 |
| CN111258427A (zh) * | 2020-01-17 | 2020-06-09 | 哈尔滨拓博科技有限公司 | 一种基于双目相机手势交互的黑板控制方法及控制系统 |
| CN111639531A (zh) * | 2020-04-24 | 2020-09-08 | 中国人民解放军总医院 | 一种基于手势识别的医学模型交互可视化方法及系统 |
| CN112069873A (zh) * | 2020-07-16 | 2020-12-11 | 上海大学 | 一种基于LeapMotion手势识别的屏幕控制系统及方法 |
| CN112287853A (zh) * | 2020-11-02 | 2021-01-29 | 无锡超维智能科技有限公司 | 基于对it设备指示灯及设备型号的动态智能图像识别算法 |
| CN114217728A (zh) * | 2021-11-26 | 2022-03-22 | 广域铭岛数字科技有限公司 | 一种可视化交互界面的控制方法、系统、设备及存储介质 |
| CN117301059A (zh) * | 2023-10-12 | 2023-12-29 | 河海大学 | 一种移动机器人遥操作系统、方法及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107357428A (zh) | 基于手势识别的人机交互方法及装置、系统 | |
| US11861070B2 (en) | Hand gestures for animating and controlling virtual and graphical elements | |
| US10394334B2 (en) | Gesture-based control system | |
| CN106598227B (zh) | 基于Leap Motion和Kinect的手势识别方法 | |
| US11573641B2 (en) | Gesture recognition system and method of using same | |
| EP2904472B1 (en) | Wearable sensor for tracking articulated body-parts | |
| Sun et al. | Magichand: Interact with iot devices in augmented reality environment | |
| CN111694428B (zh) | 基于Kinect的手势与轨迹远程控制机器人系统 | |
| US20140139429A1 (en) | System and method for computer vision based hand gesture identification | |
| Caputo et al. | 3D Hand Gesture Recognition Based on Sensor Fusion of Commodity Hardware. | |
| TWI471815B (zh) | 手勢辨識裝置及方法 | |
| CN109145802B (zh) | 基于Kinect的多人手势人机交互方法及装置 | |
| CN109359514B (zh) | 一种面向deskVR的手势跟踪识别联合策略方法 | |
| WO2019161576A1 (en) | Apparatus and method for performing real object detection and control using a virtual reality head mounted display system | |
| CN109800676A (zh) | 基于深度信息的手势识别方法及系统 | |
| CN109839827B (zh) | 一种基于全空间位置信息的手势识别智能家居控制系统 | |
| WO2015153673A1 (en) | Providing onscreen visualizations of gesture movements | |
| CN113505694A (zh) | 一种基于视线追踪的人机交互方法、装置及计算机设备 | |
| KR20160141023A (ko) | 액션이벤트·실감미디어컨텐츠연동을 수행하는 비접촉 스마트제스처인식장치 및 방법 | |
| Abdallah et al. | An overview of gesture recognition | |
| CN108401452B (zh) | 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法 | |
| Jain et al. | Human computer interaction–Hand gesture recognition | |
| CN115494938A (zh) | 非接触式交互方法及装置 | |
| WO2018076609A1 (zh) | 一种操作终端的方法和终端 | |
| CN113918013A (zh) | 一种基于ar眼镜的手势定向交互系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171117 |