CN107918488B - 一种基于特征选择的各向同性三维手势识别方法 - Google Patents

一种基于特征选择的各向同性三维手势识别方法 Download PDF

Info

Publication number
CN107918488B
CN107918488B CN201711021587.4A CN201711021587A CN107918488B CN 107918488 B CN107918488 B CN 107918488B CN 201711021587 A CN201711021587 A CN 201711021587A CN 107918488 B CN107918488 B CN 107918488B
Authority
CN
China
Prior art keywords
gesture
recognition
features
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711021587.4A
Other languages
English (en)
Other versions
CN107918488A (zh
Inventor
章田
张钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Taoyi Data Technology Co.,Ltd.
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201711021587.4A priority Critical patent/CN107918488B/zh
Publication of CN107918488A publication Critical patent/CN107918488A/zh
Application granted granted Critical
Publication of CN107918488B publication Critical patent/CN107918488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征选择的各向同性三维手势识别方法。现有三维手势识别算法没有考虑提取的手势相关特征对分类的贡献度，而冗余特征影响识别率。本发明对采集的手势三维坐标数据，提取24个特征输入随机森林模型中，按训练模型得到的各个特征重要性分数从大到小排列，在各个手势的k组排列好的24个特征中取各组前n个特征组合成组合特征，基于十折交叉验证方法和高斯朴素贝叶斯识别模型，得到24组组合特征下高斯朴素贝叶斯识别模型的识别率；根据各组组合特征下高斯朴素贝叶斯识别模型的识别率高低决定选取由前几个特征组合成的组合特征用于最终的识别模型。本发明不仅减少特征相关数据的采集量，简化模型计算，还能提高识别率。

Description

一种基于特征选择的各向同性三维手势识别方法
技术领域
本发明属于手势识别领域，具体涉及一种基于特征选择的各向同性三维手势识别方法。
背景技术
世界上存在很多聋哑人，手语是他们的主要沟通媒介。但是聋哑人与正常人之间的交流存在一定障碍，所以实现手语识别对于改善两者之间的交流现状具有重大意义。手语手势包含了手形、位置、运动等要素，其中，最直观的就是手形，它表现了做手势时手呈现的形状，手形不同，手势意义自然也就不同。因此，对手形进行识别成为了手势识别的关键。
近年来，随着深度传感器的发展，三维手势识别成为可能。在手势识别过程中，特征提取起着至关重要的作用。特征用于手势的形状表示，虽然目前已有不少特征描述方法用于最终的手势识别算法，但大部分是基于从具有深度信息的图像分割出来的二维手势图像，所以这些特征描述方法受到手势方向的影响，且现有的三维手势识别算法都没有考虑到所有提取的手势相关特征对分类的贡献度大小，而冗余特征会影响识别率。若要提取大量的特征，对手势数据采集设备的要求也相应增加。因此，各向同性的手势特征描述方法和冗余特征剔除对手势识别具有重大意义。
发明内容
本发明的目的是针对现有三维手势识别存在的不足，提供一种基于特征选择的各向同性三维手势识别方法。该方法主要解决方向无关和冗余特征剔除的三维手势识别，且适用于不同手形大小的人群，解决了基于图像的手势识别受手势方向影响大的问题。该方法不仅可以减小计算复杂度,相较于现有方法，还能在更少的特征条件下达到更高的识别率。同时又降低了对数据采集设备的要求。
本发明解决技术问题所采取的技术方案如下：
本发明的具体步骤如下：
步骤1、利用体感控制器的API采集中式手语中同一个人的6～20个手势的三维坐标数据，归入训练集中用于模型训练；其中，每个手势的三维坐标数据包含各手指指尖、各手指关节、掌心和腕关节的三维坐标。每个手势只采集掌心朝下的姿态，且每个手势掌心朝下的姿态采集k次得到k组三维坐标数据，k的取值为40～60。
步骤2、对每个手势的三维坐标数据提取24个特征，该24个特征构成手势特征，具体如下：根据手势的形状特点定义五种属性和归属于这五种属性的24个特征。五种属性分别是各个手指指尖到掌心的距离、各个手指指尖到腕关节的距离、相邻手指指尖的距离、手指中间指骨与手指远端指骨的夹角以及手指近端指骨与手指中间指骨的夹角。由于不同手指的相同类型的特征归属于同一属性，所以五个属性共包含了24个特征，将所有提取的特征数据归一化到0～1之间。
步骤3、对每个手势的24个特征进行重要性比较和选择，具体如下：
3.1：将步骤2所得的每个手势的24个特征数据输入到随机森林模型中，通过训练模型最终得到各个特征的重要性分数。
3.2：将每个手势的24个特征根据步骤3.1所得重要性分数按从大到小排列，在各个手势的k组排列好的24个特征中取各组前n个特征组合成组合特征，n依次取1，2，…，24，基于十折交叉验证方法和高斯朴素贝叶斯识别模型，依次得到24组组合特征下高斯朴素贝叶斯识别模型的识别率。
十折交叉验证方法中，从用来验证模型的一份特征中任选的一个手势，在各次训练后的高斯朴素贝叶斯识别模型中的识别分类结果为：
Figure BDA0001447544450000021
其中，
Figure BDA0001447544450000022
表示
Figure BDA0001447544450000023
取得最大值时，对应的yj值；yj值表示对应编号为j的手势类别；m表示每个手势的特征数量。P(yj)为编号j的手势出现的概率。
Figure BDA0001447544450000031
为各个特征xi在手势类别yj下的概率的乘积。特征xi在手势类别yj下的概率分布P(xi|yj)满足高斯分布，计算如下：
Figure BDA0001447544450000032
其中，μy为各手势类别yj的数学期望，σy为各手势类别yj的标准差。
将选取的手势在各次训练后的高斯朴素贝叶斯识别模型中的识别分类结果，与选取的真实手势进行比较，若相同，则识别分类正确；否则，识别分类错误。所以，各次训练后的高斯朴素贝叶斯识别模型的预估识别率η计算如下：
Figure BDA0001447544450000033
其中，C为识别分类正确的手势数目，M为总的进行识别分类的手势数目。
步骤4、根据各组组合特征下高斯朴素贝叶斯识别模型的识别率高低来决定选取由前几个特征组合成的组合特征用于最终的识别模型。
十折交叉验证方法中，组合特征被均匀地分成十等份，共训练和验证十次，在各次训练中，轮流将十等份中的九份用来做训练得到模型，而剩下的一份用来验证模型的预估识别率。这样就得到十个预估识别率，对这些预估识别率取平均值即是这一组组合特征下这个模型的识别率。
本发明具有的有益效果：
本发明能够对不同方向的手势进行识别，且在减少数据采集量的同时提高手势识别率，也减小了对数据采集设备的要求。
附图说明
图1为本发明的手势识别流程图。
图2为本发明在不同大小训练集下不同方向手势识别率的变化趋势图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，一种基于特征选择的各向同性三维手势识别方法，包括数据采集、特征提取和特征选择，具体如下：
步骤1、利用体感控制器(Leap Motion)的API采集中式手语中10个手势的三维坐标数据，归入训练集和测试集中；其中，每个手势的三维坐标数据包含各手指指尖、各手指关节、掌心和腕关节的三维坐标。训练集中，只采集一个人的手势，每个手势只采集掌心朝下的姿态，且每个手势掌心朝下的姿态采集五十次得到五十组三维坐标数据；测试集中采集多个人的手势，每个人的每个手势均采集了绕肘关节周向不同角度摆放的5个姿态，每个姿态采集一组三维坐标数据；训练集用于模型训练，测试集用于识别结果的测试。
步骤2、对测试集中每个手势的三维坐标数据提取24个特征，该24个特征构成手势特征，具体如下：根据手势的形状特点定义五种属性和归属于这五种属性的24个特征。五种属性分别是各个手指指尖到掌心的距离、各个手指指尖到腕关节的距离、相邻手指指尖的距离、手指中间指骨与手指远端指骨的夹角(弯曲角度)以及手指近端指骨与手指中间指骨的夹角(弯曲角度)。由于不同手指的相同类型的特征归属于同一属性，所以五个属性共包含了24个特征，将所有提取的特征数据归一化到0～1之间，使模型适用于不同手形大小的人群。归一化时，距离特征均除以Dw(Dw为中指指尖到腕关节的距离)，角度特征均除以π。
步骤3、对每个手势的24个特征进行重要性比较和选择。由于提取的24个特征包含了不同手指的数据，而不同手指实际上对识别的贡献度有区别，因此引入随机森林模型来比较不同特征对分类的重要性，并结合十折交叉验证方法做最优化的特征选择，即选取对后续分类作用大的特征，具体如下：
3.1：将步骤2所得的每个手势的24个特征数据输入到随机森林模型中，通过训练模型最终得到各个特征的重要性分数，即不同特征在最后手势识别分类中所起的决定作用大小。
3.2：将每个手势的24个特征根据步骤3.1所得重要性分数按从大到小排列(由于每个手势掌心朝下的姿态采集五十次得到五十组三维坐标数据，所以训练集中每个手势就有五十组排列好的24个特征)，在各个手势的五十组排列好的24个特征中取各组前n个特征组合成组合特征，n依次取1，2，…，24，基于十折交叉验证方法和高斯朴素贝叶斯识别模型(由于24个特征满足高斯分布，高斯朴素贝叶斯算法被用于最终的识别模型)，依次得到24组组合特征下高斯朴素贝叶斯识别模型的识别率。十折交叉验证方法中，组合特征被均匀地分成十等份(每个手势有五十组排列好的24个特征，分成十等份后，每等份就包含有每个手势的五组排列好的24个特征)，共训练和验证十次，在各次训练中，轮流将十等份中的九份用来做训练得到模型，而剩下的一份用来验证模型的预估识别率。这样就得到十个预估识别率，对这些预估识别率取平均值即是这一组组合特征下这个识别模型的识别率。
十折交叉验证方法中，从用来验证模型的一份特征中任选的一个手势，在各次训练后的高斯朴素贝叶斯识别模型中的识别分类结果为：
Figure BDA0001447544450000051
其中，
Figure BDA0001447544450000052
表示
Figure BDA0001447544450000053
取得最大值时，对应的yj值；yj值表示对应编号为j的手势类别；m表示每个手势的特征数量，本实施例中m＝24。P(yj)为编号j的手势出现的概率。
Figure BDA0001447544450000054
为各个特征xi在手势类别yj下的概率的乘积。特征xi在手势类别yj下的概率分布P(xi|yj)满足高斯分布，计算如下：
Figure BDA0001447544450000061
其中，μy为各手势类别yj的数学期望，σy为各手势类别yj的标准差。
将选取的手势在各次训练后的高斯朴素贝叶斯识别模型中的识别分类结果，与选取的真实手势进行比较，若相同，则识别分类正确；否则，识别分类错误。所以，各次训练后的高斯朴素贝叶斯识别模型的预估识别率η计算如下：
Figure BDA0001447544450000062
其中，C为识别分类正确的手势数目，M为总的进行识别分类的手势数目。
步骤4、某组组合特征下高斯朴素贝叶斯识别模型的识别率越高则表明在该组合特征下的高斯朴素贝叶斯识别模型越好，根据各组组合特征下高斯朴素贝叶斯识别模型的识别率高低来决定选取由前几个特征组合成的组合特征用于最终的识别模型。
本实施例中，根据步骤4所得结果，前6个特征组合成的组合特征被选取用于输入到高斯朴素贝叶斯识别模型，在测试集上的识别结果如图2所示，在情况2下(即只选取前6个特征)，无论训练集大小，对测试集的识别率均高于情况1(使用全部24个特征)和情况3(任意选取24个特征中的6个，除前6个特征外)。本实施例中，当训练集中选取的三维坐标数据组数超过150后(每个手势选取的三维坐标数据组数相同)，三种情况的识别率均达到比较稳定的值(三维坐标数据组数增大对识别率提高不多)；由此可见，本方法识别效果最好，且情况2下识别率可以达到95％以上，特征选择后，在减少计算特征所需数据采集量的同时又能提高识别率。

Claims (2)

1.一种基于特征选择的各向同性三维手势识别方法，其特征在于：具体步骤如下：
步骤1、利用体感控制器的API采集中式手语中同一个人的6～20个手势的三维坐标数据，归入训练集中用于模型训练；其中，每个手势的三维坐标数据包含各手指指尖、各手指关节、掌心和腕关节的三维坐标；每个手势只采集掌心朝下的姿态，且每个手势掌心朝下的姿态采集k次得到k组三维坐标数据，k的取值为40～60；
步骤2、对每个手势的三维坐标数据提取24个特征，该24个特征构成手势特征，具体如下：根据手势的形状特点定义五种属性和归属于这五种属性的24个特征；五种属性分别是各个手指指尖到掌心的距离、各个手指指尖到腕关节的距离、相邻手指指尖的距离、手指中间指骨与手指远端指骨的夹角以及手指近端指骨与手指中间指骨的夹角；由于不同手指的相同类型的特征归属于同一属性，所以五个属性共包含了24个特征，将所有提取的特征数据归一化到0～1之间；
步骤3、对每个手势的24个特征进行重要性比较和选择，具体如下：
3.1：将步骤2所得的每个手势的24个特征数据输入到随机森林模型中，通过训练模型最终得到各个特征的重要性分数；
3.2：将每个手势的24个特征根据步骤3.1所得重要性分数按从大到小排列，从各个手势的k组排列好的24个特征中组合得到24组组合特征，组合特征中各特征的组合规则如下：k组排列好的24个特征中每组的前n个特征归入第n组组合特征中，其中，n＝1，2，…，24；然后，基于十折交叉验证方法和高斯朴素贝叶斯识别模型，依次得到24组组合特征下高斯朴素贝叶斯识别模型的识别率；
十折交叉验证方法中，从用来验证模型的一份特征中任选的一个手势，在各次训练后的高斯朴素贝叶斯识别模型中的识别分类结果为：
Figure FDA0002523272790000011
其中，
Figure FDA0002523272790000012
表示高斯朴素贝叶斯识别模型中的识别分类结果，
Figure FDA0002523272790000021
表示
Figure FDA0002523272790000022
取得最大值时，对应的yj值；yj值表示对应编号为j的手势类别；m表示每个手势的特征数量；P(yj)为编号j的手势出现的概率；
Figure FDA0002523272790000023
为各个特征xi在手势类别yj下的概率的乘积；特征xi在手势类别yj下的概率分布P(xi|yj)满足高斯分布，计算如下：
Figure FDA0002523272790000024
其中，μy为各手势类别yj的数学期望，σy为各手势类别yj的标准差；
将选取的手势在各次训练后的高斯朴素贝叶斯识别模型中的识别分类结果，与选取的真实手势类别进行比较，若相同，则识别分类正确；否则，识别分类错误；所以，各次训练后的高斯朴素贝叶斯识别模型的预估识别率η计算如下：
Figure FDA0002523272790000025
其中，C为识别分类正确的手势数目，M为总的进行识别分类的手势数目；
步骤4、根据各组组合特征下高斯朴素贝叶斯识别模型的识别率高低来决定选取由前几个特征组合成的组合特征用于最终的识别模型。
2.根据权利要求1所述的一种基于特征选择的各向同性三维手势识别方法，其特征在于：所述的十折交叉验证方法中，组合特征被均匀地分成十等份，共训练和验证十次，在各次训练中，轮流将十等份中的九份用来做训练得到模型，而剩下的一份用来验证模型的预估识别率；这样就得到十个预估识别率，对这些预估识别率取平均值即是这一组组合特征下这个模型的识别率。
CN201711021587.4A 2017-10-27 2017-10-27 一种基于特征选择的各向同性三维手势识别方法 Active CN107918488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711021587.4A CN107918488B (zh) 2017-10-27 2017-10-27 一种基于特征选择的各向同性三维手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711021587.4A CN107918488B (zh) 2017-10-27 2017-10-27 一种基于特征选择的各向同性三维手势识别方法

Publications (2)

Publication Number Publication Date
CN107918488A CN107918488A (zh) 2018-04-17
CN107918488B true CN107918488B (zh) 2020-08-11

Family

ID=61895023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711021587.4A Active CN107918488B (zh) 2017-10-27 2017-10-27 一种基于特征选择的各向同性三维手势识别方法

Country Status (1)

Country Link
CN (1) CN107918488B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109199712A (zh) * 2018-10-15 2019-01-15 郑州大学 一种智能手部运动功能评测及康复训练轮椅

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567703A (zh) * 2010-12-10 2012-07-11 上海上大海润信息系统有限公司 一种基于分类特征的手部动作识别信息处理方法
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法
CN104123007A (zh) * 2014-07-29 2014-10-29 电子科技大学 一种多维加权的3d动态手势识别方法
WO2015102527A1 (en) * 2014-01-05 2015-07-09 Yousefi Shahrouz Real-time 3d gesture recognition and tracking system for mobile devices
CN105534528A (zh) * 2015-12-08 2016-05-04 杭州电子科技大学 一种基于体感识别的无接触体质测试系统及测试方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567703A (zh) * 2010-12-10 2012-07-11 上海上大海润信息系统有限公司 一种基于分类特征的手部动作识别信息处理方法
WO2015102527A1 (en) * 2014-01-05 2015-07-09 Yousefi Shahrouz Real-time 3d gesture recognition and tracking system for mobile devices
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法
CN104123007A (zh) * 2014-07-29 2014-10-29 电子科技大学 一种多维加权的3d动态手势识别方法
CN105534528A (zh) * 2015-12-08 2016-05-04 杭州电子科技大学 一种基于体感识别的无接触体质测试系统及测试方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Kinect深度图像的指尖识别及手势判定;袁方剑;《万方数据知识服务平台》;20140818;第27卷(第8期);6-10 *
基于三维模型的双目手势特征提取;马栋林;《万方数据知识服务平台》;20120306;第37卷(第5期);104-107 *

Also Published As

Publication number Publication date
CN107918488A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
Parui et al. Online handwritten Bangla character recognition using HMM
Wang et al. Kinect based dynamic hand gesture recognition algorithm research
CN103226387B (zh) 基于Kinect的视频人手指尖定位方法
CN103810506B (zh) 一种手写汉字笔画识别方法
US20180300542A1 (en) Drawing emojis for insertion into electronic text-based messages
CN103971102A (zh) 基于手指轮廓和决策树的静态手势识别方法
Arandjelović et al. Sketch recognition by fusion of temporal and image-based features
CN103186774A (zh) 一种基于半监督学习的多姿态人脸表情识别方法
CN103226388A (zh) 一种基于Kinect的手写方法
Jain et al. Gender recognition in smartphones using touchscreen gestures
Ghosh et al. A novel spatio-temporal Siamese network for 3D signature recognition
WO2008109714A1 (en) Radical-based hmm modeling for handwriten east asian characters
Yasir et al. Two-handed hand gesture recognition for Bangla sign language using LDA and ANN
CN106503619B (zh) 基于bp神经网络的手势识别方法
Van Nguyen et al. Finger-drawn pin authentication on touch devices
CN104915009B (zh) 手势预判的方法及系统
CN103186241B (zh) 一种交互桌面触点左右手识别方法
CN107918488B (zh) 一种基于特征选择的各向同性三维手势识别方法
Parodi et al. Online signature verification based on Legendre series representation: Robustness assessment of different feature combinations
JP7033288B2 (ja) 手書き文字によるユーザ認証システム
CN109886164B (zh) 一种异常手势的识别与处理方法
CN110222645B (zh) 一种手势误识特征发现方法
CN111124860B (zh) 一种在不可控环境下使用键盘和鼠标数据识别用户的方法
Schomaker Writer identification and verification
CN109032355B (zh) 多种手势对应同一交互命令的柔性映射交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210508

Address after: Room 405, 6-8 Jiaogong Road, Xihu District, Hangzhou City, Zhejiang Province, 310013

Patentee after: Hangzhou Taoyi Data Technology Co.,Ltd.

Address before: 310018 No. 2 street, Xiasha Higher Education Zone, Hangzhou, Zhejiang

Patentee before: HANGZHOU DIANZI University