CN105930784A - 一种手势识别方法 - Google Patents

一种手势识别方法 Download PDF

Info

Publication number
CN105930784A
CN105930784A CN201610236699.0A CN201610236699A CN105930784A CN 105930784 A CN105930784 A CN 105930784A CN 201610236699 A CN201610236699 A CN 201610236699A CN 105930784 A CN105930784 A CN 105930784A
Authority
CN
China
Prior art keywords
gesture
image
staff
finger
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610236699.0A
Other languages
English (en)
Other versions
CN105930784B (zh
Inventor
冯志全
周晓燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN201610236699.0A priority Critical patent/CN105930784B/zh
Publication of CN105930784A publication Critical patent/CN105930784A/zh
Application granted granted Critical
Publication of CN105930784B publication Critical patent/CN105930784B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种手势识别方法,属于体感互动领域。该手势识别方法包括:S1,基于Kinect的手势分割:通过kinect获得深度图像和RGB彩色图像,从图像中分割出人手,得到手势模型;S2,提取手势模型的特征参数:使用基于二值图像的密度分布特征的方法和手指个数检测的方法来提取手势模型的特征参数;S3,与事先建立好的模板库中的手势进行匹配,最终选择出最接近的手势即为识别出的手势。本发明方法提高了手势识别效率。

Description

一种手势识别方法
技术领域
本发明属于体感互动领域,具体涉及一种手势识别方法。
背景技术
近几年,由于体感设备和技术的迅速发展,基于体感交互的应用与开发也是目前的研究热门,尤其是依靠人与机器密切交互生存的游戏领域。玩家们迫切的想要摆脱游戏柄、键盘、鼠标等控制设备,转而追求更直接,更真实的游戏体验。体感技术和人工智能的快速发展使实现这种真实自然的游戏体验成为可能。体感交互所带来的脱离桌面和控制设备的,近似于在真实空间中的操作可以为玩家带来更强的真实感和操控感,大大提升了游戏的游戏性和可玩性。基于这种趋势,本文设计并实现了一款基于Kinect体感设备的人机猜拳游戏。
通过手势的人机交互是与机器沟通的最直观的方式之一,实时手势检测也毫无疑问是最近科学界的一个热点,而这款基于Kinect的体感游戏的关键就是实时手势识别。J.L.等人在2015年底最新发表的一篇论文(请参考:J.L.Raheja,M.Minhas,D.Prashanth,T.Shah,A.Chaudhary.Robust gesture recognition using Kinect:A comparisonbetween DTW and HMM[J].Optik-International Journal for Light and ElectronOptics,2015,12611-12:)中提出一个运用Kinect体感设备的手势的开源框架,目标就是为了实现实时的手势识别。而文章中所提出的解决方案可用于自然直观的识别美国手语,意义重大。提起手势识别,人们大多第一反应的是用于手语识别,它是一种三维语言,它依赖于视觉和运动的手的轨迹来表达语言,而通过手势识别,可将手语提取出来转为语音或文字,这样聋哑人也可与人正常交流,但手势识别的作用可不仅如此,Fabrizio Pedersoli等人在2015年提出了一种基于手的2D骨架 的手势识别(请参考Fabrizio Pedersoli,SergioBenini,Nicola Adami,Riccardo Leonardi.XKin:an open source framework for handpose and gesture recognition using kinect[J].The Visual Computer,2014,3010),对于每一个手势,每个姿势的手骨架重叠提供一个单一的图像,即手势的动态特征,通过手势库中的特征比较,使用巴德利距离作为模型参数之间的相似性度量来进行手势识别,此算法可用于虚拟的空间中,引导一些机器人在恶劣的环境中执行特定任务等等。
由此可见,无论在哪一款人机交互的应用中,手势识别都是至关重要的,通过阅读大量的文献,现介绍几种国内外手势识别以及结合手势识别的基于体感设备的发展现状与趋势:
(1)Kinect是近几年火爆流行的一种3D体感摄像机(请参考陈艳艳,陈正鸣,周小芹.基于Kinect的手势识别及在虚拟装配技术中的应用[J].电子设计工程.2013,21(10):4-7.),它能够及时的捕捉动态图像,并且能够获取图像的深度信息。从体感设备Kinect的火爆程度中我们不难发现一个趋势:在鼠标与键盘之后所诞生的体感技术宣告着一个“人机互动”新时代正来到来。以前,各种输入设备大大降低了用户操控的快感,鼠标和键盘不停的提示着你只是在左右你的计算机。现在体感设别Kinect的应用,使得游戏不再单纯的只是为了娱乐,而更加被赋予了更多的功能,比如寓教于乐即基于Kinect的教育游戏,让学生学会用肢体语言来学习,开启了一个新的教育时代。很多老年人对于目前触摸屏,键盘的使用学习使用很是费劲,而Kinect可以使得老年人也能玩体验一把现代游戏的同时,通过肢体的活动进行锻炼,不仅如此,Kinect的应用也开启了一个新的医学时代,例如AlperMurat设计了一款基于Kinect的虚拟游戏,用于异染性脑白质退化症患者的复健等等。
(2)关于手势识别的发展趋势:早期的手势识别研究[12]主要采用彩色摄像头来捕获手势数据,GUO等人提出了一种基于手型轮廓特征进行手势识别的方法(请参考Guo X,GeY,Wang L.Classification and recognition algorithm of alphabet gesture basedon shape feature.Computer Engineering,2004;18:130—132)。Mihailescu M等人提出了一种复杂背景下利用空间分布特征对手势进行识别的方法(请参考Mihailescu M,Teo YM.Dynamic resource pricing on federated clouds.Cluster,Cloud and GridComputing(CCGrid),2010 10th IEEE ACM International Conference on,IEEE,2010:513—517)。但是彩色图像容易受到光照变化以及复杂背景的影响,而深度图像可以有效的克服光照以及复杂背景的影响。Kinect除了能够获取彩色图像,也能够获取深度图像,因此,近几年,基于Kinect的手势识别也发展很快。如2013年,王艳等人利用kinect的深度信息设计了一种双阈值分割的手势识别方法(请参考王艳,张奇志.基于Kinect深度信息的手势识别.北京信息科技大学学报[J].2013,28(1):22-26)。该方法首先利用kinect中内置的深度摄像头获得人手的深度信息,然后对手势图像进行阈值分割处理,最终完成对手人手的跟踪识别。Byambasuren Sodgerel等人在2014年提出了一种基于特征空间的,利用Kinect的3D数据识别人的手势的方法(请参考Byambasuren Sodgerel,Sang-Mu Lee,Mi-Hye Kim,Hae-Young Yoo.Circular Hand Gesture Recognition Algorithm UsingConcentric Circles[J].Wireless Personal Communications,2014,794);Feng Jiang等人在2014年提出了一种基于Kinect的与视点无关的手势识别(请参考Feng Jiang,ShenWu,Gao Yang,Debin Zhao,S.Y.Kung.Viewpoint-independent hand gesturerecognition with Kinect[J].Signal,Image and Video Processing,2014,81),首先根据在最佳视角下的手势姿势规则,建立了手势点云并通过对关节点信息的探索变换到最佳视角,然后基于拉普拉斯的收缩应用到从转化的点云中提取代表骨架,在此基础上提出一种新的分区算法以识别手势,并取得令人满意的效果。
目前手势识别存在的三大问题:
(1)旋转问题:人的手势复杂多变,甚至可以360度旋转,这对手势识别有很大的影响。因此,要成功识别人的动态手势,必须要解决好人手旋转问题。
(2)平移问题:若要实现自然的人机交互,人手相对设备的平行位置不可能一成不变,因此平移也是影响手势识别的重要因素。
(3)缩放问题:同平移问题一样,追求自然的人机交互,就必须解决由人手距离设备远近不同而造成的手势大小不统一的问题,确保手势识别的正确率。
发明内容
本发明的目的在于解决上述现有技术中存在的难题,提供一种手势识别方法,提高手势识别效率和准确度。
本发明是通过以下技术方案实现的:
一种手势识别方法,包括:
S1,基于Kinect的手势分割:通过kinect获得深度图像和RGB彩色图像,从图像中分割出人手,得到手势模型;
S2,提取手势模型的特征参数:使用基于二值图像的密度分布特征的方法和手指个数检测的方法来提取手势模型的特征参数;
S3,与事先建立好的模板库中的手势进行匹配,最终选择出最接近的手势即为识别出的手势。
所述S1是这样实现的:
使用Kinect获取人手的三维空间坐标以及深度信息,对人手进行跟踪,利用深度信息在人手坐标领域的三维人手空间内分割出人手;
结合RGB颜色空间作为肤色模型对人手进行肤色建模;
运用八邻域去噪方法进行去噪,运用形态学中的腐蚀和膨胀对提取的人手进行滤波处理,得到手势模型。
所述结合RGB颜色空间作为肤色模型对人手进行肤色建模是这样实现的:
将人手肤色点置为红色,非肤色点置为白色。
所述S2包括:
S21,将手势模型中的手势的形心到最远点的最大距离为半径画一个外接 圆,再将此半径等分成20分,以所述形心为圆心,由内而外画20个区域的同心圆;
S22,对图像进行圆环扫描得到手的手指与圆环的交点,将圆环与手势图的交点都分别记录下来;
S23,利用圆环与手势图的交点获得手指的个数以及手势模型的特征参数。
所述S22是这样实现的:
用两个0.5ps宽的圆环对提取的手势模型进行扫描,将圆环与手势图的交点都分别记录下来:
这样得到圆环与手指交点的n个点集。
所述S23是这样实现的:
把两个圆环与手指的交点分别存到两幅图中,再求得两幅图中连通域的个数n1、n2,通过连通域个数去掉手腕处的交点点集,推断出手指的个数N:
N=(n1+n2)/2-1
提取的手势模型的特征参数DDF′如下:
DDF′=(r1,…r10,ar11,…ar15,br16,…br20;dr1,…dr10,cdr11,…cdr20;kN) (3.5)
ri表示第i个子区域中目标像素点的相对密度,dri为对应相对密度ri+1与ri的一阶数值差分,N为手指个数。
所述S3是这样实现的:
所述模板库中存放的是每个手势的特征参数;
进行手势初态识别和末态识别。
所述进行手势初态识别和末态识别包括:
Step 1:计算目标图像f(x,y)的形心
Step 2:在图像f(x,y)中,计算形心到目标像素点最大距离Dmax以及最小距离Dmin
Step 3:对于图像f(x,y),以形心为圆心,计算以Dmax为半径的目标区域最大外接圆和以Dmin为半径的目标区域最小外接圆;在最大外接圆和最小外接圆组成的区域内,使用等距离区域划分法将最大外接圆和最小外接圆之间图像区域划分为M个子区域,M>0;
step 4:对各子图像区域分别进行统计,计算每个子图像区域内目标像素的总数Si(i=1,…,M),并找出Si的最大值:
Step 5:计算静态组合图的密度分布特征D:
ri=Si/Smax(i=1,…,M) (3.7)
N=(n1+n2)/2-1 (3.9)
DDF′=(r1,…r10,ar11,…ar15,br16,…br20;dr1,…dr10,cdr11,…cdr20;kN) (3.10)
Step 6:将得到的特征向量D同模板库中的特征向量集合{Hi},i=1,2,3相比较,分别计算特征向量与各个手势模型的欧式距离,找到欧式距离最小的手势集合,即为最终识别出的手势。
与现有技术相比,本发明的有益效果是:
本发明采用的基于kinect的人手检测与分割算法以及基于空间密度分布特征的DDF手势识别算法,并成功对DDF算法进行了改进,提高了手势识别效率。
在kinect平台上,获取手势的彩色数据和深度数据,并结合肤色建模对分割的人手进一步处理,通过提取手势的空间密度特征以及手指数目特征,然后与事先建好的手势模板库进行匹配,运用欧式距离对匹配度进行评价,最终识别出手势。并且,通过对动态手势的拆分,成功利用静态手势识别的思想成功识别动态手势,且识别率很高。
经试验证明,本发明的识别算法以及人机协同算法可用于基于Kinect的人机猜拳游戏中,且取得了很好的游戏效果,经实验人群的评价,人与计算机可进行自然的交互体验,趣味性较高。
附图说明
图1本发明方法的步骤框图
图2本发明实施例的人机猜拳步骤框图
图3本发明实施例中的人机协同方法步骤框图
图4本发明实施例中的DDF等距划分示意图
图5本发明实施例中的双圆环扫描图示意图。
具体实施方式
下面结合附图对本发明作进一步详细描述:
本发明在研究手势识别算法的基础上,以静态手势为突破口运用静态手势识别的思想来识别动态手势,并将其成功应用到人机猜拳游戏中。首先使用kinect获得的深度图像和RGB彩色图像分割出人手,再结合肤色建模的方法对分割出的人手进一步提取。提取出人手后,我们使用了基于二值图像的密度分布特征的方法和手指个数检测的方法来提取手势特征,再与事先建立好的手势库中模板进行匹配,最终选择出最接近的手势即识别的手势。经实验验证,本发明提出的算法准确度较高,实施例中将本发明应用在人机猜拳游戏中,取得了良好的用户体验。本发明方法明显提高了DDF手势识别算法的准确度。本发明的研究成果不仅用于手势识别的研究,而且对于体感游戏的开发与设计也有重要的参考价值。
下面通过一个实施例来说明本发明方法的技术效果:
本发明根据对Kinect的特点的研究和分析,以及对相关应用游戏设计的梳理,提出了充分利用Kinect深度数据和彩色视频数据进行手势识别的目标,探 索了一款基于Kinect设备的人机交互猜拳游戏的设计与实现。该游戏充分利用了Kinect的数据,运算和交互的特点,结合一个真实与虚拟结合的场景的构建,设计了一种让玩家在一个三维的环境中利用手势直接与游戏中的元素进行互动的体感游戏——基于kinect的人机猜拳游戏。
利用本发明方法实现的基于Kinect的人机猜拳游戏遵循以用户为中心的原则,充分让用户自然的与计算机互动,并从中体会到游戏的乐趣,人机交互的乐趣!通过计算机和Kinect体感设备以及本发明的经过改进的DDF识别算法,识别石头(五指抓)、剪刀(二指放)、布(五指放)三个手势,再配合人机协同算法来贯穿整个游戏,使用户轻而易举的融入到游戏当中。
人机猜拳游戏的流程如图2所示。
为了实现更好的人与机器的协同程度,本发明通过Kinect技术特点的研宄和分析,以及对相关应用游戏设计的梳理,提出人机协同算法,并在此基础上设计并实现了基于Kinect的人机猜拳游戏,具体步骤如下:
Step1.人机同时出拳:计算机连续随机播放剪刀、石头、布三个手势的动画,与此同时当计算机检测到人手开始出拳,计算机同时随机出拳;
Step2.计算机检测到人手的手势动作,开始进行手势识别;
Step3.计算机对手势识别的结果与计算机随机出拳结果分别进行评价、计分。
Step4.对人与计算机的出拳结果进行胜负判定;
Step5.转step1。
人机协同算法的流程图如图3所示。
从手势的运动特点出发,基于视觉的手势识别可分为动态手势识别和静态手势识别两大类。动态手势可以定义为手运动的轨迹,是指随时间的变化手势的形状和位置也发生着相应的改变。因此,识别效果容易受到手势轮廓、时空位置、移动速率等因素的影响。静态手势可以认为是动态手势中某一个时间点下的特例,是指不随时间变化而变化的手势,其识别效果与手势的轮廓、形状、 纹理等相关。由于静态手势是动态手势变化过程中的某一状态,是手势识别的核心工作。因此,本发明以静态手势识别为突破口,运用静态手势识别的思想来实现动态手势识别,如图1所示,本发明方法的识别过程如下:
1,基于Kinect的手势分割
本发明是基于Kinect来对人手进行分割的,首先利用openNI中自带的类来对人手进行跟踪,Kinect可以获取人手的三维空间坐标以及深度信息,利用深度信息在人手坐标领域的三维人手空间内分割人手,分割人手的时候有时会存在这样的问题,分割出的人手图像,不单单只有需要的手部分,还有一部分手臂,因此结合RGB颜色空间作为肤色模型对人手进行肤色建模,人手肤色点置为红色,非肤色置为白色。
由于采用的是肤色模型,不同的光照下,人手的肤色是不一样的,所以二值化的图像中会出现噪声、孔洞等现象。为了改善这个现象,本发明首先运用八邻域去噪的方法进行去噪,最后运用形态学中的腐蚀和膨胀的原理来对提取的人手进行滤波处理,使人手更加完整。
2,手势特征提取
手势特征提取阶段的任务就是获取手势模型的特征参数。获取特征参数的方式可分为基于运动特征、几何特征和肤色三种方式。
根据运动特征获取特征参数的方法,常用的有运动加速度方法、光流耦合方法等,例如,2011年,刘蓉等人提出了一种基于三轴加速度传感器的手势识别(请参考刘蓉,刘明.基于三轴加速度传感器的手势识别[J].计算机工程.2011,37(24):141-143);根据几何特征获取特征参数的方法,一般通过检测手掌、手指和指尖等部分来进行特征提取,例如,2009年,方亦凯等人提出了一种新的尺度空间特征检测方法(方亦凯,程建,汪孔桥,卢汉清.基于快速尺度空间特征检测的手势识别方法[J].中国图象图形学报.2009,14(2):214-220);通过肤色提取手势特征的方法,操作较为简单方便,可以使用直方图匹配或者肤色模型训练等方法,该方法对于光照的要求比较严格,在稳定的 光照下肤色收拾特征提取的效果越稳定。
本发明采用了两种手势特征提取相结合的方法:密度分布特征方法和手指个数检测法,这种识别方法简单可行,准确度高,适合简单手势的识别,在猜拳游戏中效果很好。
密度特征分布(DDF)方法(请参考H.K.Lee and J.H.Kim,An HMM-BasedThreshold Model Approach for Gesture Recognition[J].IEEE Trans.PatternAnalysis and Machine Intelligence.1999,21(10):961-973)具体如下:
提取手势图像之后,得到的是二值化之后的手势图像,提取手势特征,进而成功识别手势。本发明是基于密度分布特征(density distribution feature,DDF)并加以改进来提取手势特征的,密度分布特征的根本目的是通过统计目标像素在不同区域空间的分布情况来获取图像的像素分布信息,从而达到表达该二值图像的目的。通过对图像的密度分布特征进行分类可进行不同图像的识别。
密度分布特征体现了图像中目标像素的空间特征信息。这种信息特征表示为:
DDF=(r1,…,rM;dr1,…,drM) (3.1)
本发明改进的DDF提取方法如下:
本算法结合手指数量检测的方法配合手势密度特征分布来进行人手的检测与识别。手指的个数对于手势识别有着重要的辅助意义,比如,包袱是五指,剪刀是两指,而锤头则零手指。
本发明首先将提取的二值图像进行初步的处理后,即以手势的形心到最远点的最大距离为半径画一个外接圆,再将此半径等分成20分,以形心为圆心,由内而外画20个区域的同心圆。如图4所示
然后通过实验发现在手势密度等距划分图中的由内向外数第12到第13和圆环区间内对手指进行圆环扫描得到的手指扫描点集最多、最完整。在此基础上,可以通过对图像进行圆环扫描得到手的手指与圆环的交点,这样就能大体判断手势的手指个数。为增强鲁棒性,本发明用等厚度(0.5ps)的双圆环在第12和13个圆环区域进行手指数目扫描,双圆环扫描示意图如图5所示
如图5用两个0.5ps宽的圆环对提取的二值图进行扫描,将圆环与手势图的交点都分别记录下来:
这样就得到圆环与手指交点的n个点集,把两个圆环与手指的交点分别存到两幅图中,再通过opencv中的FindContours函数求两幅图中连通域的个数n1、n2,通过连通域个数去掉手腕处的交点点集,可以大体推断出手指的个数N。
N=(n1+n2)/2-1 (3.3)
如此,改进后的DDF算法为:
而在静态的组合图中,由于手势变化绝大多数存在于手指部分,而掌心的部分变化较少,因而对于手势的密度分布特征部分可以适当增加手指部分的权重,如此可有效降低不同静态组合图间的DDF相似度,提高识别率,而手指数目的特征,因不用用户的手指与手掌部分比例各不相同,因此可适当的结合权重以减少误差。
改进的DDF特征如下:
DDF′=(r1,…r10,ar11,…ar15,br16,…br20;dr1,…dr10,cdr11,…cdr20;kN) (3.5)
实施例中的手势识别步骤如下:
为方便描述,对人手的五个手指进行编号,大拇指、食指、中指、无名指和小拇指分别编号为1、2、3、4和5。因为是主要是用在人机猜拳游戏当中,所以对于手势的种类要求相对简单,主要是石头、剪刀、布三个动作。我们将整个动态手势拆分开来,整个动作的过程就是由一帧一帧的静态图片构成,因此动态手势的识别可由静态手势识别的思想实现。而手势的中间过程复杂多变,无论形状,速度每个人每个动作都有较大的差别,反而会影响整个手势的识别 过程,因此我们将游戏中需要识别的三个动态手势简化为为:拳头—拳头(石头),拳头—23指(剪刀),拳头—12345指(布)
在识别之前,首先要进行手势模板库的建立,模板库中存放的是每个手势的DDF特征信息,具体的识别过程分为两个阶段,手势初态识别和末态识别。而手势的每个状态的识别统一采用改进密度分布特征的方法进行识别。具体步骤如下:
Step 1:计算目标图像f(x,y)的形心
Step 2:在图像f(x,y)中,计算形心到目标像素点最大距离Dmax以及最小距离Dmin
Step 3:对于图像f(x,y),以形心为圆心,计算以Dmax为半径的目标区域最大外接圆和以Dmin为半径的目标区域最小外接圆。在最大外接圆和最小外接圆组成的区域内,使用等距离区域划分法将最大外接圆和最小外接圆之间图像区域划分为M个子区域(M>0);
step 4:对各子图像区域分别进行统计,计算每个子图像区域内目标像素的总数Si(i=1,…,M),并找出Si的最大值。
Step 5:计算静态组合图的密度分布特征D:
ri=Si/Smax(i=1,…,M) (3.7)
N=(n1+n2)/2-1 (3.9)
D=(r1,...r10,ar11,...ar15,br16,…br20;dr1,...dr10,cdr11,...cdr20;kN) (3.10)
Step 6:将得到的特征向量D同模板中的特征向量集合{Hi},i=1,2,3相比较,分别计算特征向量同各个手势模型的欧式距离,欧式距离的最小的手势集合,即 最终识别出的手势。
实验结果及分析如下:
实验环境:光照相对稳定,背景相对复杂,有人脸、手臂等干预。
本实验使用体感设备Kinect XBOX360,在恒定光照,距离Kinect1米的距离对3种动态手势采用密度特征分布以及手指检测相结合的方法进行识别测试,取得了很好的识别效果。表3.1和表3.2所示分别为DDF算法改进前和改进后的识别效率对比实验结果,这两组对比实验各分为3组分实验,手势距离kinect分别为1米,1.25米,1.5米;表3.3为旋转手势识别对比实验;表3.4为平移手势识别对比实验得到的识别率。
表3.1
表3.2
表3.3
表3.4
(1)由表3.1和表3.2可知,对于既定手势,改进之后的算法识别率较之前有较大提高,且受距离影响较少具有缩放不变性;
(2)由表3.3结果可知本发明算法不受手势旋转的影响,具有旋转不变性;
(3)由表3.4实验可知,本发明算法不受手势平移的影响,具有手势平移不变性。
通过以上四组实验,可知本发明算法具有缩放不变性,旋转不变性,平移不变性,且在光照稳定的条件下,鲁棒性较好,完全可以用于基于Kinect的人机猜拳游戏中。本发明的识别的时间速率仅为20.10ms,这个速度非常快,非常适合用于这种实时游戏中,人眼几乎分别不出,可以更自然的进行游戏。
上述技术方案只是本发明的一种实施方式,对于本领域内的技术人员而言,在本发明公开了应用方法和原理的基础上,很容易做出各种类型的改进或变形,而不仅限于本发明上述具体实施方式所描述的方法,因此前面描述的方式只是优选的,而并不具有限制性的意义。

Claims (8)

1.一种手势识别方法,其特征在于:所述手势识别方法包括:
S1,基于Kinect的手势分割:通过kinect获得深度图像和RGB彩色图像,从图像中分割出人手,得到手势模型;
S2,提取手势模型的特征参数:使用基于二值图像的密度分布特征的方法和手指个数检测的方法来提取手势模型的特征参数;
S3,与事先建立好的模板库中的手势进行匹配,最终选择出最接近的手势即为识别出的手势。
2.根据权利要求1所述的手势识别方法,其特征在于:所述S1是这样实现的:
使用Kinect获取人手的三维空间坐标以及深度信息,对人手进行跟踪,利用深度信息在人手坐标领域的三维人手空间内分割出人手;
结合RGB颜色空间作为肤色模型对人手进行肤色建模;
运用八邻域去噪方法进行去噪,运用形态学中的腐蚀和膨胀对提取的人手进行滤波处理,得到手势模型。
3.根据权利要求2所述的手势识别方法,其特征在于:所述结合RGB颜色空间作为肤色模型对人手进行肤色建模是这样实现的:
将人手肤色点置为红色,非肤色点置为白色。
4.根据权利要求3所述的手势识别方法,其特征在于:所述S2包括:
S21,将手势模型中的手势的形心到最远点的最大距离为半径画一个外接圆,再将此半径等分成20分,以所述形心为圆心,由内而外画20个区域的同心圆;
S22,对图像进行圆环扫描得到手的手指与圆环的交点,将圆环与手势图的交点都分别记录下来;
S23,利用圆环与手势图的交点获得手指的个数以及手势模型的特征参数。
5.根据权利要求4所述的手势识别方法,其特征在于:所述S22是这样实现的:
用两个0.5ps宽的圆环对提取的手势模型进行扫描,将圆环与手势图的交点都分别记录下来:
g ( x , y ) = 1 ( x , y ) ∈ int e r sec t i o n 0 ( x , y ) ∉ int e r sec t i o n
这样得到圆环与手指交点的n个点集。
6.根据权利要求5所述的手势识别方法,其特征在于:所述S23是这样实现的:
把两个圆环与手指的交点分别存到两幅图中,再求得两幅图中连通域的个数n1、n2,通过连通域个数去掉手腕处的交点点集,推断出手指的个数N:
N=(n1+n2)/2-1
提取的手势模型的特征参数DDF′如下:
DDF ′ = ( r 1 , . . . r 10 , a r 11 , . . . a r 15 , b r 16 , . . . b r 20 ; d r 1 , . . . d r 10 , c d r 11 , . . . c d r 20 ; kN ) - - - ( 3.5 )
ri表示第i个子区域中目标像素点的相对密度,dri为对应相对密度ri+1与ri的一阶数值差分,N为手指个数。
7.根据权利要求6所述的手势识别方法,其特征在于:所述S3是这样实现的:
所述模板库中存放的是每个手势的特征参数;
进行手势初态识别和末态识别。
8.根据权利要求7所述的手势识别方法,其特征在于:所述进行手势初态识别和末态识别包括:
Step 1:计算目标图像f(x,y)的形心
Step 2:在图像f(x,y)中,计算形心到目标像素点最大距离Dmax以及最小距离Dmin
Step 3:对于图像f(x,y),以形心为圆心,计算以Dmax为半径的目标区域最大外接圆和以Dmin为半径的目标区域最小外接圆;在最大外接圆和最小外接圆组成的区域内,使用等距离区域划分法将最大外接圆和最小外接圆之间图像区域划分为M个子区域,M>0;
step 4:对各子图像区域分别进行统计,计算每个子图像区域内目标像素的总数Si(i=1,…,M),并找出Si的最大值:
S m a x = m a x i = 1 , ... , M ( S i ) - - - ( 3.6 )
Step 5:计算静态组合图的密度分布特征D:
ri=Si/Smax(i=1,…,M) (3.7)
dr i = | r 1 - r 2 | i = 1 | 2 r i - r i - 1 - r i + 1 | 1 < i < M | r M - r M - 1 | i = M - - - ( 3.8 )
N=(n1+n2)/2-1 (3.9)
DDF &prime; = ( r 1 , . . . r 10 , a r 11 , . . . a r 15 , b r 16 , . . . b r 20 ; d r 1 , . . . d r 10 , c d r 11 , . . . c d r 20 ; kN ) - - - ( 3 . 10 )
Step 6:将得到的特征向量D同模板库中的特征向量集合{Hi},i=1,2,3相比较,分别计算特征向量与各个手势模型的欧式距离,找到欧式距离最小的手势集合,即为最终识别出的手势。
CN201610236699.0A 2016-04-15 2016-04-15 一种手势识别方法 Expired - Fee Related CN105930784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610236699.0A CN105930784B (zh) 2016-04-15 2016-04-15 一种手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610236699.0A CN105930784B (zh) 2016-04-15 2016-04-15 一种手势识别方法

Publications (2)

Publication Number Publication Date
CN105930784A true CN105930784A (zh) 2016-09-07
CN105930784B CN105930784B (zh) 2017-10-13

Family

ID=56838291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610236699.0A Expired - Fee Related CN105930784B (zh) 2016-04-15 2016-04-15 一种手势识别方法

Country Status (1)

Country Link
CN (1) CN105930784B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503620A (zh) * 2016-09-26 2017-03-15 深圳奥比中光科技有限公司 基于手势的数字密码输入方法及其系统
CN106503626A (zh) * 2016-09-29 2017-03-15 南京信息工程大学 基于深度图像与手指轮廓匹配的并指手势识别方法
CN106778471A (zh) * 2016-11-17 2017-05-31 京东方科技集团股份有限公司 自动跟踪购物车
CN106845384A (zh) * 2017-01-17 2017-06-13 西北大学 一种基于递归模型的手势识别方法
CN107633552A (zh) * 2017-09-01 2018-01-26 上海视智电子科技有限公司 基于体感交互的创建三维几何模型的方法及系统
CN107766842A (zh) * 2017-11-10 2018-03-06 济南大学 一种手势识别方法及其应用
CN108375913A (zh) * 2018-03-28 2018-08-07 山东大学 一种基于nao机器人的智能家居物联系统及其运行方法与应用
CN108491767A (zh) * 2018-03-06 2018-09-04 北京因时机器人科技有限公司 基于在线视频感知的自主滚动响应方法、系统和机械手
CN108564070A (zh) * 2018-05-07 2018-09-21 京东方科技集团股份有限公司 用于提取手势的方法及其装置
CN109032337A (zh) * 2018-06-28 2018-12-18 济南大学 一种基于数据手套的kem手势识别算法
CN109902593A (zh) * 2019-01-30 2019-06-18 济南大学 一种基于Kinect的手势遮挡检测方法及系统
CN109993059A (zh) * 2019-03-01 2019-07-09 清华大学 智能电子设备上基于单摄像头的双目视觉与物体识别技术
CN113848790A (zh) * 2021-09-28 2021-12-28 德州学院 一种智能看护型机器人系统及其控制方法
CN114627561A (zh) * 2022-05-16 2022-06-14 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681542A (zh) * 2012-03-07 2012-09-19 陶重犇 一种室内多用途移动机器人实验平台
CN102801924A (zh) * 2012-07-20 2012-11-28 合肥工业大学 一种基于Kinect的电视节目主持互动系统
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681542A (zh) * 2012-03-07 2012-09-19 陶重犇 一种室内多用途移动机器人实验平台
CN102801924A (zh) * 2012-07-20 2012-11-28 合肥工业大学 一种基于Kinect的电视节目主持互动系统
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503620A (zh) * 2016-09-26 2017-03-15 深圳奥比中光科技有限公司 基于手势的数字密码输入方法及其系统
CN106503626A (zh) * 2016-09-29 2017-03-15 南京信息工程大学 基于深度图像与手指轮廓匹配的并指手势识别方法
CN106778471A (zh) * 2016-11-17 2017-05-31 京东方科技集团股份有限公司 自动跟踪购物车
CN106778471B (zh) * 2016-11-17 2019-11-19 京东方科技集团股份有限公司 自动跟踪购物车
CN106845384A (zh) * 2017-01-17 2017-06-13 西北大学 一种基于递归模型的手势识别方法
CN106845384B (zh) * 2017-01-17 2019-12-13 西北大学 一种基于递归模型的手势识别方法
CN107633552A (zh) * 2017-09-01 2018-01-26 上海视智电子科技有限公司 基于体感交互的创建三维几何模型的方法及系统
CN107766842A (zh) * 2017-11-10 2018-03-06 济南大学 一种手势识别方法及其应用
CN107766842B (zh) * 2017-11-10 2020-07-28 济南大学 一种手势识别方法及其应用
CN108491767B (zh) * 2018-03-06 2022-08-09 北京因时机器人科技有限公司 基于在线视频感知的自主滚动响应方法、系统和机械手
CN108491767A (zh) * 2018-03-06 2018-09-04 北京因时机器人科技有限公司 基于在线视频感知的自主滚动响应方法、系统和机械手
CN108375913A (zh) * 2018-03-28 2018-08-07 山东大学 一种基于nao机器人的智能家居物联系统及其运行方法与应用
CN108564070A (zh) * 2018-05-07 2018-09-21 京东方科技集团股份有限公司 用于提取手势的方法及其装置
CN109032337A (zh) * 2018-06-28 2018-12-18 济南大学 一种基于数据手套的kem手势识别算法
CN109902593A (zh) * 2019-01-30 2019-06-18 济南大学 一种基于Kinect的手势遮挡检测方法及系统
CN109993059B (zh) * 2019-03-01 2021-07-09 清华大学 智能电子设备上基于单摄像头的双目视觉与物体识别技术
CN109993059A (zh) * 2019-03-01 2019-07-09 清华大学 智能电子设备上基于单摄像头的双目视觉与物体识别技术
CN113848790A (zh) * 2021-09-28 2021-12-28 德州学院 一种智能看护型机器人系统及其控制方法
CN114627561A (zh) * 2022-05-16 2022-06-14 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及电子设备
CN114627561B (zh) * 2022-05-16 2022-09-23 南昌虚拟现实研究院股份有限公司 动态手势识别方法、装置、可读存储介质及电子设备

Also Published As

Publication number Publication date
CN105930784B (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
CN105930784B (zh) 一种手势识别方法
WO2021129064A9 (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
US11532172B2 (en) Enhanced training of machine learning systems based on automatically generated realistic gameplay information
Wang et al. Modeling temporal dynamics and spatial configurations of actions using two-stream recurrent neural networks
Cheng et al. Survey on 3D hand gesture recognition
Lv et al. Multimodal hand and foot gesture interaction for handheld devices
TWI521388B (zh) 人體追蹤系統
Kaur et al. A review: Study of various techniques of Hand gesture recognition
US20110298827A1 (en) Limiting avatar gesture display
CN105107200B (zh) 基于实时深度体感交互与增强现实技术的变脸系统及方法
CN106462725A (zh) 监测游戏场所的活动的系统和方法
Cordeiro et al. ARZombie: A mobile augmented reality game with multimodal interaction
CN107329564B (zh) 基于手势智能感知和人机协同机制的人机猜拳方法
Hou et al. Spatially and temporally structured global to local aggregation of dynamic depth information for action recognition
Singla et al. Visual rendering of shapes on 2D display devices guided by hand gestures
Shen et al. Posture-based and action-based graphs for boxing skill visualization
Liu et al. Trampoline motion decomposition method based on deep learning image recognition
Ren et al. Immersive and perceptual human-computer interaction using computer vision techniques
Mariappan et al. Picolife: A computer vision-based gesture recognition and 3D gaming system for android mobile devices
Shum et al. Skillvis: a visualization tool for boxing skill assessment
CN112837339B (zh) 基于运动捕捉技术的轨迹绘制方法及装置
Zhou et al. The design of man-machine finger-guessing game based on the hand gesture of the IntelliSense
Chen et al. Accurate fingertip detection from binocular mask images
Kang et al. Unsupervised semantic segmentation method of user interface component of games
Zhou et al. The Man-Machine Finger-Guessing Game Based on Cooperation Mechanism

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Feng Zhiquan

Inventor after: Zhou Xiaoyan

Inventor after: Ai Changsheng

Inventor after: Wei Jun

Inventor after: Li Yingjun

Inventor after: Li Jianxin

Inventor after: Xie Wei

Inventor after: Zhang Kai

Inventor before: Feng Zhiquan

Inventor before: Zhou Xiaoyan

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171013

Termination date: 20180415

CF01 Termination of patent right due to non-payment of annual fee