CN105975906B - 一种基于面积特征的pca静态手势识别方法 - Google Patents

一种基于面积特征的pca静态手势识别方法 Download PDF

Info

Publication number
CN105975906B
CN105975906B CN201610268717.3A CN201610268717A CN105975906B CN 105975906 B CN105975906 B CN 105975906B CN 201610268717 A CN201610268717 A CN 201610268717A CN 105975906 B CN105975906 B CN 105975906B
Authority
CN
China
Prior art keywords
area
gesture
gestures
images
centre
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610268717.3A
Other languages
English (en)
Other versions
CN105975906A (zh
Inventor
冯志全
乔宇
艾长胜
魏军
李映君
李建新
谢玮
张恺
赵永国
马争光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN201610268717.3A priority Critical patent/CN105975906B/zh
Publication of CN105975906A publication Critical patent/CN105975906A/zh
Application granted granted Critical
Publication of CN105975906B publication Critical patent/CN105975906B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于面积特征的PCA静态手势识别方法,属于人机交互领域。该方法包括:第一步,对于通过摄像头捕捉到的图像进行处理,获得标准的手势图像;第二步,对第一步得到的手势图像进行包围盒处理,并将其投影到标准图像;第三步,获取第二步得到的标准图像中的手势区域形心、最远点和主方向;第四步,获取标准图像12区域最远点特征信息;第五步,获取标准图像的面积特征信息;第六步,采用PCA算法进行静态手势识别。

Description

一种基于面积特征的PCA静态手势识别方法
技术领域
本发明涉及一种手势识别的方法,属于人机交互领域。具体涉及一种基于面积特征的PCA静态手势识别方法。
背景技术
目前,手势识别分为基于可穿戴设备和基于视觉的两种手势识别方式。基于可穿戴设备的手势识别主要以数据手套作为输入设备的手势识别为主,而基于视觉的手势识别则只需要单个或多个摄像头作为输入设备手即可。基于穿戴设备的手势识别的优点是获取的手势数据精度高,其缺点是设备价格昂贵,使用不便。而基于视觉的手势识别系统因计算过程复杂,获取图像受光照影响较大,从而导致识别率和实时性均较差;其优点是设备价格相对较低并且不干扰用户行为,学习使用简单灵活,交互自然。
基于视觉的手势识别主要有如下几种方法。基于神经网络的手势识别,其特点是自组织、自学习、抗干扰,因对时间序列处理能力不强,多用于静态手势识别;基于隐马尔科夫模型的手势识别,这是一种统计分析模型,能非常细致的描述手势信号的时空变化,通常用于动态手势识别;基于几何特征的手势识别方法,主要是选取手势的几何矩特征、边缘轮廓特征或手势区域特征对图像进行特征点提取,然后根据各种距离进行模板匹配(ModelMatching),如Hausdorff距离和欧式距离等。
E.Stergiopoulou等提出了一种基于手势自调整、自组织、自适应的神经网络(Neural Gas network),该神经网络通过对手势的特征的提取并进行处理,最终成功识别了手势;Heung-ll Suk等提出了一种对视频中的手势进行识别的动态贝叶斯网络,该方法能够对视频中手势和与之类似的情况中的手势成功识别;Noriko Yoshiike等通过运用最大神经网络分割出手势图像,从而进行手势识别;李绍志等提出了自动编码和主成分分析(请参考:王松,夏绍玮.一种鲁棒主成分分析(PCA)算法[J].系统工程理论与实践,1998,18(1):9-13.)结合的方法用于美国表示语言(American sign language,ASL)的识别,使成功率由75%提升至99.05%。
Daehwan Kim等为解决视频动态手势识别中手势识别在手势分割后的识别不及时性,提出了一种向前标记的积累隐马尔科夫模型算法,使得视频中动态手势的分割和识别同时进行,识别精度高达95.42%;Tim Dittmar等提出了一种转化隐马尔科夫模型用于触摸手势识别,效果良好;陈冯胜等人提出了一种实时的手势分割的隐马尔科夫模型,成功识别了20种手势且识别率高达90%。
但是,目前基于视觉手势识别算法存在的主要问题是:获取图像的大小不一、图像的旋转角度不同,图像翻转问题以及手势识别实时性等问题。
发明内容
本发明的目的在于解决上述现有技术中存在的手势图像旋转、翻转和大小不一的问题,提供一种基于面积特征的PCA静态手势识别方法。
本发明是通过以下技术方案实现的:
一种基于面积特征的PCA静态手势识别方法,包括:
第一步,对于通过摄像头捕捉到的图像进行处理,获得标准的手势图像;
第二步,对第一步得到的手势图像进行包围盒处理,并将其投影到标准图像;
第三步,获取第二步得到的标准图像中的手势区域形心、最远点和主方向;
第四步,获取标准图像12区域最远点特征信息;
第五步,获取标准图像的面积特征信息;
第六步,采用PCA算法进行静态手势识别。
所述第一步是这样实现的:
对于通过摄像头捕捉到的图像采用基于RGB和YCbCr颜色空间肤色模型对手势区域进行分割处理,得到手势图像;
对所述手势图像进行以下处理:
两次八领域去噪,消去图像中的噪点;
腐蚀处理,使手势图像中略微相连的连通域划分为两个独立的连通域;
连通域处理,并计算各个连通域的面积,将较大的非手势区域做背景处理,即将非手势区域置为黑色,手势区域置为红色;
对处理后的图像进行膨胀处理,还原经过腐蚀处理的图像。
所述第二步是这样实现的:
依次从图像的各个边向内部扫描,当扫描线碰到手势图像时即为包围盒该边的边界,四个边界围成的矩形即为此手势图像的包围盒;
包围盒外部的区域为无效数据区域,包围盒内部的区域为有效数据区域;
将包围盒区域图像映射到标准图像上。
所述将包围盒区域图像映射到标准图像上是这样实现的:
采用的标准图像大小为100*100,具体步骤如下:
Step1.根据所述包围盒的大小和标准图像大小按照公式(1.1)计算放缩比率:
其中zoomX、zoomY分别为宽和高放缩比率,newWidth、newHeight分别为标准化图像的边长,width、height为源图像的宽和高;
Step2.将包围盒中的手势图像按照公式(1.2)缩放到标准图像中:
其中(x′,y′)为标准化后图像中的像素点的坐标,(x,y)为源图像中像素点的坐标值。
所述第三步是这样实现的:
Step1.分别计算标准图像中手势区域像素点的横、纵坐标和,并计算手势区域像素点个数,以此代表手势区域的面积;
Step2.根据求取重心公式(1.3)求取重心坐标,即为手势区域形心的坐标:
其中,A代表手势图像面积,代表形心横坐标值,代表形心纵坐标值,dA为积分元素;
最远点为手势图像区域像素点到形心距离最远的点;
主方向为连接形心点到最远点的连线,方向为从形心点指向最远点。
所述第四步是这样实现的:
以手势区域形心为中心,以30度角为旋转角将手势区域划分为12个区域,其中第一区域为主方向左右15度角组成的区域,从第一区域开始,逆时针方向上依次为第二区域到第十二区域,取得12区域最远点的特征信息步骤如下:
Step1.计算得到每个区域的最远点,并计算最远点到形心的距离,比较得到其中的最大距离;
Step2.将最大距离平均分为5段,则得到5个分组,距离形心最近的为第一组,距离形心最远的为第五组;
Step3.分别计算12个最远点落到5个分组的次数;
Step4.将得到的落到5个区域的次数除以12以均一化12区域最远点特征数据;得到长度为5的12区域最远点特征向量U={μ12345}。
所述第五步是这样实现的:
Step1.计算手势最远点与形心的距离,并将该距离平均分为12段,则得到12个分组,距离形心最近的为第一组,距离形心最远的为第十二组;
Step2.用12个区域划分标准图像,并计算每个区域的形心;
Step3.依次用12个区域的形心做手势区域的形心,计算此时的最远点和主方向;
Step4.计算形心与最远点的距离,并将其平均分成5份,得到5个分组,将整个圆周分为12份,即从主方向开始,以逆时针为方向每隔30度角划分为一个区域,这样得到12个区域,5个分组和12个区域交叉则得到60个块状区域,计算手势区域落在每个块状区域的像素点的个数,即每个块状区域的面积;
Step5.分别计算每组的最大面积,然后每组都除以该组的最大面积,即得到均一化的面积特征值。
所述第六步是这样实现的:
Step1,每个手势都含有标准图像12区域最远点特征信息,将其保存为模板,设每个模板的特征向量为U={μ12345},待识别手势的特征向量为N={η12345},采用欧式距离作为两个特征向量的区分度,按照公式(4.1)计算待识别手势与模板手势的区分度diff={β12,…β9}:
计算得到5个最小的区分度,待识别手势为这5种手势中的一种;
Step2,PCA手势识别:
构造特征手势空间:对于一幅M×N的手势图像,将其头与尾相连构成一个大小为D=M×N维的列向量,D就是手势图像的维数,也即是图像空间的维数,设n是训练样本的数目,xj表示第j幅手势图像形成的特征信息列向量,则所样本的协方差矩阵,由公式(3.1)得出:
其中u为训练样本的平均图像向量,由公式(3.2)得出:
令A=[x1-u,x2-u,...,xn-u],则有Sr=AAT,其维数为D×D;
根据确定的5种手势,待识别的手势在这5种手势之中,抽取特征矩阵A中这5种手势对应的特征向量,这些特征向量将组成新的特征矩阵A′={X1,X2,…X50}T,其中Xi为第i幅训练样本图像求对应特征矢量,同样对待识别图像进行特征提取,得到特征矢量B={x1,x2,…xi},其中i为经过信息量计算出来的所取前i个特征特征向量,这样得到集合A’和B两个集合,采用欧式距离公式(4.2)判断集合B与集合A’中特征向量的匹程度:
并计算出匹配程度集合difffinal={θ12,…θ49,θ50},然后求取θ的最小值,最小的θ值对应的手势图像即为最终识别结果。
与现有技术相比,本发明的有益效果是:本发明采用的基于面积的特征提取方法,与基于轮廓提取的特征不同,基于面积手势特征需要提取手势内部面积信息,并最终采用主成分分析法(Principal Component Analysis,PCA)进行手势识别,并成功的进行识别,解决了手势图像旋转、翻转和大小不一的问题。
附图说明
图1经过处理获得的手势区域的图像
图2经过包围盒算法处理获得的包围盒手势图像
图3原图像映射为标准图像
图4手势的形心
图5待识别的9种手势
图6本发明方法的步骤框图
具体实施方式
下面结合附图对本发明作进一步详细描述:
多样性、多义性、复杂变形性、时空差异性是手势所具有的特点。本发明采用搭载在Android平台上的摄像头捕捉包含手势区域的图像,对捕捉的图像进行手势图像分割以获取手势图像信息。常用的手势分割方法有肤色分割法、背景差分法、灰度直方图检测法。对手势图像采用单一的分割方法无法得到良好的分割效果,因此要取得良好的分割效果需结合多种方法同时对图像进行分割。手势图像分割的效果直接影响到手势识别的识别精度。
本发明方法如图6所示,包括以下步骤:
1,获取标准的手势图像:
对于通过摄像头捕捉的图像采用基于RGB和YCbCr颜色空间肤色模型对手势区域进行分割处理,得到手势图像,此时分割得到的手势图像含有噪点和较大的非手势区域。
对上一步得到的手势图像首先进行两次八领域去噪,经过这一步,图像中的噪点将被消去;其次对上一步得到的图像进行腐蚀处理,使手势图像中略微相连的连通域划分为两个独立的连通域,然后对手势图像做连通域处理,并计算各个连通域的面积,将较大的非手势区域做背景处理,即将非手势区域置为黑色,手势区域置为红色;最后对处理后的图像进行膨胀处理以还原经过腐蚀处理的图像。如图1所示,背景置为黑色,手势区域置为红色。
手势图像包围盒处理并将其投影到标准图像具体如下:
包围盒算法是一种求解离散点集最优包围空间的方法。基本思想是用体积稍大且特性简单的几何体(称为包围盒)来近似地代替复杂的几何对象。本发明采用矩形包围盒。
依次从图像的各个边向内部扫描,当扫描线碰到手势图像时即为包围盒在该边的边界,四个边界围成的矩形即为此手势图像的包围盒。如图2所示。包围盒外部的区域为无效数据区域,包围盒内部的区域才为有效数据区域。
为解决在手势识别过程中捕捉的手势图像大小对识别精度的影响,减少图像数据,提高手势识别速度,将包围盒区域图像映射到标准图像上,本发明采用的标准图像大小为100*100。图像标准化步骤如下:
Step1.根据上一步得到的包围盒的大小和标准图像大小按照公式(1.1)计算放缩比率;
其中zoomX、zoomY分别为宽和高放缩比率,newWidth、newHeight分别为标准化图像的边长,width、height为源图像的宽和高。
Step2.将包围盒中的手势图像按照公式(1.2)缩放到标准图像中。缩放结果如图3所示,图3中原图像映射为标准图像,图的左侧为原图像,图的右侧为映射后的标准图像。
其中(x′,y′)为标准化后图像中的像素点的坐标,(x,y)为源图像中像素点的坐标值,公式中的zoomX、zoomY可通过公式(1.1)得到。并不是原图像的每个点都可映射到标准化图像上,而是从原图像选取部分点映射到标准图像上,这样既可以保留源手势图像的特征又可大大减少手势图像的数据量。
计算手势形心、最远点和主方向:
二维图像的形心,可以通过求取二维图像的重心求得,因图像单位点没有重量,此时手势图像的形心同重心重合,求取二维手势图像重心的步骤如下:
Step1.分别计算标准图像中手势区域像素点的横、纵坐标和,并计算手势区域像素点个数,以此代表手势区域的面积;
Step2.根据求取重心公式(1.3)求取重心坐标,即为手势区域形心坐标。如图4所示。
其中,A代表手势图像面积,代表形心横坐标值,代表形心纵坐标值,dA为积分元素。
最远点为手势图像区域像素点到形心距离最远的点。如图4所示,图4中图片中心点的灰色点为手势的形心,右上角的灰色点为该图像的最远点。
主方向为连接形心点到最远点的连线,方向为从形心点指向最远点。求取图像的主方向是为了解决图像的旋转不变性,保证手势旋转后取得的特征与不旋转取得的特征相同。
2,获取标准手势图像的特征
获取标准手势图像12区域最远点特征信息:
以形心为中心,以30度角为旋转角将手势区域划分为12个区域,其中第一区域为主方向左右15度角组成的区域。从第一区域开始,逆时针方向上依次为第二区域到第十二区域。则取得12区域最远点的特征信息步骤如下:
Step1.计算得到每个区域的最远点,并计算最远点到形心点的距离,比较得到其中的最大距离;
Step2.将最大距离平均分为5段,则得到5个分组,距离形心最近的为第一组,距离形心最远的为第五组;
Step3.分别计算12个最远点落到5个区域的次数;
Step4.将得到的落到5个区域的次数除以12以均一化12区域最远点特征数据。
经过上述步骤将得到长度为5的12区域最远点特征向量U={μ12345}。
获取标准手势图像面积特征信息:
获取手势图像的面积特征信息作为PCA手势识别的特征信息。该方法的基本思路是:以手势区域形心点为圆心的同心圆和以圆心为起点的射线将手势图像划分组成60个区域,分别统计每个区域包含手势区域像素点的个数作为该区域的面积,并计算60个区域的最大面积,对获得的面积特征数据均一化处理,从而获得面积特征信息。获取面积特征信息步骤如下:
Step1.计算手势最远点与形心点距离,并将该距离平均分为12段,则得到12个分组,距离形心最近的为第一组,距离形心最远的为第十二组;
Step2.用12个区域划分手势图像,并计算每个区域的形心;
Step3.依次用12个区域的形心做手势区域的形心,计算此时的最远点和主方向;
Step4.计算形心与最远点的距离,将其平均分成5份,得到5个分组,将整个圆周分为12份,即从主方向开始,以逆时针为方向每隔30度角划分为一个区域,这样得到12个区域,5个分组和12个区域交叉则得到60个块状区域,计算手势区域落在每个块状区域的像素点的个数,即每个块状区域的面积;
Step5.这样得到12组,每组包含60个块状区域的面积。分别计算每组的最大面积,然后每组都除以该组的最大面积,这样即可得到均一化的面积特征值。
3.PCA手势识别原理
基于PCA算法的人手识别一般经过三个阶段:第一个阶段利用训练图像数据构建特征手空间;第二阶段是训练阶段,主要是将训练图像投影到特征手子空间上;最后一个是识别阶段,将待识别的手势图像同样投影到特征手子空间上,并与投影后的训练图像相比较,最终得出识别结果。
特征手势空间构造:
对于一副M×N的手势图像,将其头与头尾与尾相连构成一个大小为D=M×N维的列向量。D就是手势图像的维数,也即是图像空间的维数。设n是训练样本的数目,xj表示第j幅手势图像形成的特征信息列向量,则所样本的协方差矩阵,可有公式(3.1)得出。
其中u为训练样本的平均图像向量,可由公式(3.2)得出。
令A=[x1-u,x2-u,...,xn-u],则有Sr=AAT,其维数为D×D。
根据K-L变换原理,需要求得的特征矩阵是由AAT的非零特征值所对应的特征向量组成。考虑到直接计算,计算量比较大,所以采用奇异值分解[5](Singular ValueDecomposition,SVD)定理。通过求解ATA的特征值和特征向量来获得AAT的特征值和特征向量。
依据SVD定理,令λi(i=1,2,...,r)为矩阵ATA的r个非零特征值,vi为ATA对应于λi的特征向量,则AAT的正交归一特征向量μi由公式(3.3)得到。
这样得到的特征向量的维数比较高,为了减少维数,采用计算信息量计算公式(3.4)来确定维数的方法选择前i个特征向量。因这些特征向量对应的图像很像人手,所以该图像被称为“特征手”。有了这样一个由“特征手”组成的绛维子空间,任何一副图像都可以向其投影并获得一组向量,这组向量参数表明了该图像与“特征手”的相似程度,从而这组向量可以作为识别人手的依据。
训练样本的特征提取:
特征提取就是从测量空间Rn到特征空间Rm的映射。这里的测量空间就是手势空间,映射要遵循两个原则,一是特征空间必须保留测量空间中的主要分类信息,二是特征空间的维数应远远低于测量空间的维数。
PCA算法是利用K-L变换来进行特征提取的,该变换是满足上述原则的一种数据压缩方法,它的特征提取的基本原理是:在测量空间中找出一组m个正交矢量,要求这组矢量能最大的表示出数据的方差;然后将原手势图像矢量从n维空间投影到这组正交矢量所构成的m维子空间,则投影系数就是构成原手势图像的特征矢量,同时完成了维数的压缩(m<<n)。
本发明选取的图像来源于Android平台摄像头的图像采集。图像集中含有9种手势,每种手势有10幅图像,这些图像具有如下特征,图像背景色单一,有利于分割出手势;手势细节部分有着不同程度的变化,如手指之间的角度不同等。将所有的90幅图像作为训练图像,构成一个90幅图像的训练集,测试集为实时获取的手势图像。特征提取的具体步骤可按下面所述步骤进行特征选取。
本发明基于面积特征的PCA手势识别具体如下:
1训练样本粗选取
需要识别的手势为9种,如图5所示。每个手势都含有标准手势图像12区域最远点特征信息,并将其保存为模板。待识别手势也含有这个特征,可进行模板匹配识别出结果。
设每个模板的特征向量为U={μ12345},待识别手势的特征向量为N={η12345},采用欧式距离作为两个特征向量的区分度,按照公式(4.1)计算待识别手势与模板手势的区分度diff={β12,…β9}。
计算得到5个最小的区分度,判断最终手势为这5种手势中的一种,为下一步的PCA手势识别提供初步判断。
2PCA手势识别:
经过上面提取到训练样本的特征矩阵A,根据确定的5种手势,待识别的手势在这5种手势之中,抽取特征矩阵A中这5种手势对应的特征向量,这些特征向量将组成新的特征矩阵A′={X1,X2,…X50}T其中Xi为第i幅训练样本图像求对应特征矢量,同样对待识别图像进行特征提取,得到特征矢量B={x1,x2,…xi}其中i为经过信息量计算出来的所取前i个特征特征向量。
这样就得到集合A’和B两个集合,采用欧式距离公式(4.2)判断集合B与集合A中特征向量的匹程度。计算出的匹配程度集合difffinal={θ12,…θ49,θ50}求取θ的最小值,最小的θ值对应的手势图像即为最终识别结果。
上述技术方案只是本发明的一种实施方式,对于本领域内的技术人员而言,在本发明公开了应用方法和原理的基础上,很容易做出各种类型的改进或变形,而不仅限于本发明上述具体实施方式所描述的方法,因此前面描述的方式只是优选的,而并不具有限制性的意义。

Claims (7)

1.一种基于面积特征的PCA静态手势识别方法,其特征在于:所述方法包括:
第一步,对于通过摄像头捕捉到的图像进行处理,获得标准的手势图像;
第二步,对第一步得到的手势图像进行包围盒处理,并将其投影到标准图像;
第三步,获取第二步得到的标准图像中的手势区域形心、最远点和主方向;
第四步,获取标准图像12区域最远点特征信息;
第五步,获取标准图像的面积特征信息;
第六步,采用PCA算法进行静态手势识别;
所述第四步是这样实现的:
以手势区域形心为中心,以30度角为旋转角将手势区域划分为12个区域,其中第一区域为主方向左右15度角组成的区域,从第一区域开始,逆时针方向上依次为第二区域到第十二区域,取得12区域最远点的特征信息步骤如下:
Step1.计算得到每个区域的最远点,并计算最远点到形心的距离,比较得到其中的最大距离;
Step2.将最大距离平均分为5段,则得到5个分组,距离形心最近的为第一组,距离形心最远的为第五组;
Step3.分别计算12个最远点落到5个分组的次数;
Step4.将得到的落到5个区域的次数除以12以均一化12区域最远点特征数据;得到长度为5的12区域最远点特征向量U={μ12345}。
2.根据权利要求1所述的基于面积特征的PCA静态手势识别方法,其特征在于:所述第一步是这样实现的:
对于通过摄像头捕捉到的图像采用基于RGB和YCbCr颜色空间肤色模型对手势区域进行分割处理,得到手势图像;
对所述手势图像进行以下处理:
两次八领域去噪,消去图像中的噪点;
腐蚀处理,使手势图像中略微相连的连通域划分为两个独立的连通域;
连通域处理,并计算各个连通域的面积,将较大的非手势区域做背景处理,即将非手势区域置为黑色,手势区域置为红色;
对处理后的图像进行膨胀处理,还原经过腐蚀处理的图像。
3.根据权利要求2所述的基于面积特征的PCA静态手势识别方法,其特征在于:所述第二步是这样实现的:
依次从图像的各个边向内部扫描,当扫描线碰到手势图像时即为包围盒该边的边界,四个边界围成的矩形即为此手势图像的包围盒;
包围盒外部的区域为无效数据区域,包围盒内部的区域为有效数据区域;
将包围盒区域图像映射到标准图像上。
4.根据权利要求3所述的基于面积特征的PCA静态手势识别方法,其特征在于:所述将包围盒区域图像映射到标准图像上是这样实现的:
采用的标准图像大小为100*100,具体步骤如下:
Step1.根据所述包围盒的大小和标准图像大小按照公式(1.1)计算放缩比率:
其中zoomX、zoomY分别为宽和高放缩比率,newWidth、newHeight分别为标准化图像的边长,width、height为源图像的宽和高;
Step2.将包围盒中的手势图像按照公式(1.2)缩放到标准图像中:
其中(x′,y′)为标准化后图像中的像素点的坐标,(x,y)为源图像中像素点的坐标值。
5.根据权利要求4所述的基于面积特征的PCA静态手势识别方法,其特征在于:所述第三步是这样实现的:
Step1.分别计算标准图像中手势区域像素点的横、纵坐标和,并计算手势区域像素点个数,以此代表手势区域的面积;
Step2.根据求取重心公式(1.3)求取重心坐标,即为手势区域形心的坐标:
其中,A代表手势图像面积,代表形心横坐标值,代表形心纵坐标值,dA为积分元素;
最远点为手势图像区域像素点到形心距离最远的点;
主方向为连接形心点到最远点的连线,方向为从形心点指向最远点。
6.根据权利要求5所述的基于面积特征的PCA静态手势识别方法,其特征在于:所述第五步是这样实现的:
Step1.计算手势最远点与形心的距离,并将该距离平均分为12段,则得到12个分组,距离形心最近的为第一组,距离形心最远的为第十二组;
Step2.用12个区域划分标准图像,并计算每个区域的形心;
Step3.依次用12个区域的形心做手势区域的形心,计算此时的最远点和主方向;
Step4.计算形心与最远点的距离,并将其平均分成5份,得到5个分组, 将整个圆周分为12份,即从主方向开始,以逆时针为方向每隔30度角划分为一个区域,这样得到12个区域,5个分组和12个区域交叉则得到60个块状区域,计算手势区域落在每个块状区域的像素点的个数,即每个块状区域的面积;
Step5.分别计算每组的最大面积,然后每组都除以该组的最大面积,即得到均一化的面积特征值。
7.根据权利要求6所述的基于面积特征的PCA静态手势识别方法,其特征在于:所述第六步是这样实现的:
Step1,每个手势都含有标准图像12区域最远点特征信息,将其保存为模板,设每个模板的特征向量为U={μ12345},待识别手势的特征向量为N={η12345},采用欧式距离作为两个特征向量的区分度,按照公式(4.1)计算待识别手势与模板手势的区分度diff={β12,…β9}:
计算得到5个最小的区分度,待识别手势为这5种手势中的一种;
Step2,PCA手势识别:
构造特征手势空间:对于一幅M×N的手势图像,将其头与尾相连构成一个大小为D=M×N维的列向量,D就是手势图像的维数,也即是图像空间的维数,设n是训练样本的数目,xj表示第j幅手势图像形成的特征信息列向量,则所样本的协方差矩阵,由公式(3.1)得出:
其中u为训练样本的平均图像向量,由公式(3.2)得出:
令A=[x1-u,x2-u,...,xn-u],则有Sr=AAT,其维数为D×D;
根据确定的5种手势,待识别的手势在这5种手势之中,抽取特征矩阵A中这5种手势对应的特征向量,这些特征向量将组成新的特征矩阵A'={X1,X2,…X50}T,其中Xi为第i幅训练样本图像求对应特征矢量,同样对待识别图像进行特征提取,得到特征矢量B={x1,x2,…xi},其中I为经过信息量计算出来的所取前I个特征特征向量,这样得到集合A’和B两个集合,采用欧式距离公式(4.2)判断集合B与集合A’中特征向量的匹配程度:
并计算出匹配程度集合difffinal={θ12,…θ49,θ50},然后求取θ的最小值,最小的θ值对应的手势图像即为最终识别结果。
CN201610268717.3A 2016-04-27 2016-04-27 一种基于面积特征的pca静态手势识别方法 Expired - Fee Related CN105975906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610268717.3A CN105975906B (zh) 2016-04-27 2016-04-27 一种基于面积特征的pca静态手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610268717.3A CN105975906B (zh) 2016-04-27 2016-04-27 一种基于面积特征的pca静态手势识别方法

Publications (2)

Publication Number Publication Date
CN105975906A CN105975906A (zh) 2016-09-28
CN105975906B true CN105975906B (zh) 2018-01-30

Family

ID=56993245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610268717.3A Expired - Fee Related CN105975906B (zh) 2016-04-27 2016-04-27 一种基于面积特征的pca静态手势识别方法

Country Status (1)

Country Link
CN (1) CN105975906B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107085834A (zh) * 2017-04-25 2017-08-22 西安工程大学 一种基于图像旋转和分块奇异值分解的图像去噪方法
CN109426789B (zh) * 2017-08-31 2022-02-01 京东方科技集团股份有限公司 手和图像检测方法和系统、手分割方法、存储介质和设备
CN109635767B (zh) * 2018-12-20 2019-11-22 北京字节跳动网络技术有限公司 一种手掌法向模型的训练方法、装置、设备及存储介质
CN110414402B (zh) * 2019-07-22 2022-03-25 北京达佳互联信息技术有限公司 一种手势数据标注方法、装置、电子设备及存储介质
SG10201912990QA (en) 2019-12-23 2020-11-27 Sensetime Int Pte Ltd Gesture Recognition Method And Apparatus, Electronic Device, And Storage Medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679145A (zh) * 2013-12-06 2014-03-26 河海大学 一种手势自动识别方法
CN104102904B (zh) * 2014-07-14 2016-03-23 济南大学 一种静态手势识别方法
CN104680127A (zh) * 2014-12-18 2015-06-03 闻泰通讯股份有限公司 手势识别方法及系统

Also Published As

Publication number Publication date
CN105975906A (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
CN105975906B (zh) 一种基于面积特征的pca静态手势识别方法
Xu et al. Online dynamic gesture recognition for human robot interaction
CN103927511B (zh) 基于差异特征描述的图像识别方法
WO2016023264A1 (zh) 指纹识别方法及其指纹识别装置
CN108681737B (zh) 一种复杂光照下图像特征提取方法
CN110619628A (zh) 一种人脸图像质量评估方法
CN112101208A (zh) 高龄老人特征串联融合手势识别方法及装置
CN107330354A (zh) 一种自然手势识别方法
CN112906550A (zh) 一种基于分水岭变换的静态手势识别方法
Kpalma et al. An overview of advances of pattern recognition systems in computer vision
Lee et al. Robust Face Detection Based on Knowledge‐Directed Specification of Bottom‐Up Saliency
CN105139013A (zh) 一种融合形状特征和兴趣点的物体识别方法
CN105955473A (zh) 一种基于计算机的静态手势图像识别交互系统
Wu et al. Facial feature extraction and applications: A review
JP3252941B2 (ja) 画像切り出し認識装置
Xing et al. Dynamic hand gesture recognition using motion pattern and shape descriptors
Zhang et al. Pedestrian detection with EDGE features of color image and HOG on depth images
Gottumukkal et al. Real time face detection from color video stream based on PCA method
Rong et al. RGB-D hand pose estimation using fourier descriptor
Prabuwono et al. Content based image retrieval and support vector machine methods for face recognition
Li et al. A multi-angle shape descriptor with the distance ratio to vertical bounding rectangles
Pham et al. Hand detection and segmentation using multimodal information from Kinect
Wang Hand gesture recognition based on fingertip detection
CN111160179A (zh) 一种基于头部分割和卷积神经网络的摔倒检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Feng Zhiquan

Inventor after: Qiao Yu

Inventor after: Ai Changsheng

Inventor after: Wei Jun

Inventor after: Li Yingjun

Inventor after: Li Jianxin

Inventor after: Xie Wei

Inventor after: Zhang Kai

Inventor before: Feng Zhiquan

Inventor before: Qiao Yu

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Feng Zhiquan

Inventor after: Ma Zhengguang

Inventor after: Qiao Yu

Inventor after: Ai Changsheng

Inventor after: Wei Jun

Inventor after: Li Yingjun

Inventor after: Li Jianxin

Inventor after: Xie Wei

Inventor after: Zhang Kai

Inventor after: Zhao Yongguo

Inventor before: Feng Zhiquan

Inventor before: Qiao Yu

Inventor before: Ai Changsheng

Inventor before: Wei Jun

Inventor before: Li Yingjun

Inventor before: Li Jianxin

Inventor before: Xie Wei

Inventor before: Zhang Kai

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180130

Termination date: 20180427

CF01 Termination of patent right due to non-payment of annual fee