CN107678550A - 一种基于数据手套的手语手势识别系统 - Google Patents

一种基于数据手套的手语手势识别系统 Download PDF

Info

Publication number
CN107678550A
CN107678550A CN201710967482.1A CN201710967482A CN107678550A CN 107678550 A CN107678550 A CN 107678550A CN 201710967482 A CN201710967482 A CN 201710967482A CN 107678550 A CN107678550 A CN 107678550A
Authority
CN
China
Prior art keywords
gesture
sign language
data glove
system based
recognition system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710967482.1A
Other languages
English (en)
Inventor
徐军
李辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN201710967482.1A priority Critical patent/CN107678550A/zh
Publication of CN107678550A publication Critical patent/CN107678550A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于数据手套的手语手势识别系统，包括数据手套、微处理器、电源和上位机，所述数据手套连接微处理器，微处理器还分别连接上位机和电源，所述电源还连接数据手套。本发明基于数据手套的手语手势识别系统能够对手语手势实现精准的识别效果，帮助聋哑人完成和正常人之间的信息沟通，并且其使用方便，精确度高。

Description

一种基于数据手套的手语手势识别系统
技术领域
本发明涉及手势控制技术，具体是一种基于数据手套的手语手势识别系统。
背景技术
世界卫生组织最新统计数据显示，在全世界范围内有数量超过6亿的各类残疾人，占全世界人口总数的10%。截至年底我国有各类残疾人8400多万，占国内总人口数的6.34%，这使得我国成为世界上残疾人数最多的国家。聋哑人约占残疾人总数的33%，大约2780万人，其中一小部分仅有听力障碍或语言障碍，大部分则听力和语言均无法实现正常沟通，生活中手语成为他们交流的主要方式。然而，使用手语交流在很多方面具有局限性，特别是在和其它不了解手语的正常人沟通时显得尤为突出，如果手语能够被自动识别并转换为语音或图像等容易被正常人所理解的形式，必然能够帮助聋哑人克服社交障碍，为约亿万人口的家庭带来福音。
手语是由大量具有含义且高度结构化的人体动作集，手语动作以多种手势动作组合为主体，部分需要辅之以表情姿势等表达含义。面部表情多用于表达情感如疑问、高兴、失落等。因此，手势识别是实现手语翻译的关键。多种手语手势的高准确率识别往往需要复杂的算法支撑，从而需要强大的处理器以实现实时分析，导致设备便携性受到影响[4-5]。从实用的角度出发，为聋哑人设计的手语翻译装置需具备便携性和实时性等特点。
在智能设备迅速发展的今天，人们之间的交流方式多种多样，但最主要依然是语言交流。正常人通过谈话交流，聋哑人之间通过手语交流。然而聋哑人和不熟悉手语的普通人之间却难以进行交流，这就迫切需要一种可以实现手语和正常语言转换的工具。
发明内容
本发明的目的在于提供一种基于数据手套的手语手势识别系统以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于数据手套的手语手势识别系统，包括数据手套、微处理器、电源和上位机，所述数据手套连接微处理器，微处理器还分别连接上位机和电源，所述电源还连接数据手套。
作为本发明进一步的方案：所述数据手套包括加速度传感器、弯曲度传感器和磁传感器。
作为本发明进一步的方案：包含以下步骤：a、手势姿态信息的采集；b、手势姿态信息的提取和分类；c、手势姿态信息的处理。
作为本发明进一步的方案：步骤a具体是：通过数据手套中的加速度传感器、弯曲传感器、磁传感器实时的采集出手势姿态在空间中的运动状态、轨迹信息，手掌、手指的弯曲度以及手指之间的空间夹角。
作为本发明进一步的方案：步骤b具体是：采用SVM(支持向量机算法)对弯曲传感器、加速度传感器和磁传感采集的数据进行特征提取，每个手势提取6个手势节点，从这些节点中计算出14个特征向量来表示一个手语动作，并采用决策树分类法对特征向量进行分类。
作为本发明进一步的方案：步骤c具体包括：①融合多传感器信息的手语手势识别算法；采用隐马尔科夫模型时序信号的特征识别，输入为时序特征，输出为模型计算得到的该观测信号属于该模板模型的似然概率，实现对数据的识别②建立标准手势姿态库，对同一手势生成的数据进行深度学习训练并分析，将提取分类后的手势姿态信息与标准库进行对比、查找、匹配。
作为本发明进一步的方案：所述6个手势节点为5个手指以及一个手掌中心点。
与现有技术相比，本发明的有益效果是：本发明基于数据手套的手语手势识别系统能够对手语手势实现精准的识别效果，帮助聋哑人完成和正常人之间的信息沟通，并且其使用方便，精确度高。
附图说明
图1为数据手套的手语识别整体设计框图。
图2为数据手套的手语识别硬件设计框图。
图3为决策树框架示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明实施例中，一种基于数据手套的手语手势识别系统，包括数据手套、微处理器、电源和上位机，所述数据手套连接微处理器，微处理器还分别连接上位机和电源，所述电源还连接数据手套。
所述数据手套包括加速度传感器、弯曲度传感器和磁传感器。
包含以下步骤：a、手势姿态信息的采集；b、手势姿态信息的提取和分类；c、手势姿态信息的处理。
步骤a具体是：通过数据手套中的加速度传感器、弯曲传感器、磁传感器实时的采集出手势姿态在空间中的运动状态、轨迹信息，手掌、手指的弯曲度以及手指之间的空间夹角。
步骤b具体是：采用SVM(支持向量机算法)对弯曲传感器、加速度传感器和磁传感采集的数据进行特征提取，每个手势提取6个手势节点，从这些节点中计算出14个特征向量来表示一个手语动作，并采用决策树分类法对特征向量进行分类。
步骤c具体包括：①融合多传感器信息的手语手势识别算法；采用隐马尔科夫模型时序信号的特征识别，输入为时序特征，输出为模型计算得到的该观测信号属于该模板模型的似然概率，实现对数据的识别②建立标准手势姿态库，对同一手势生成的数据进行深度学习训练并分析，将提取分类后的手势姿态信息与标准库进行对比、查找、匹配。
6个手势节点为5个手指以及一个手掌中心点。
本发明的工作原理是：数据手套的手语识别整体设计框图如图1所示，通过数据手套对加速度传感器、磁传感器、弯曲传感器采集的信息进行特征提取，采用决策树分类法对特征向量分类，并将分类后的手势姿态信息与标准库对比匹配、识别，显示出结果。
2.设计数据采集器：
系统中所使用到的传感器有三种：弯曲传感器、加速计和磁传感器。其中弯曲传感器和磁传感器传输的模拟量，需要模数转换器配合，而加速度传感器传输的是数字量可直接与处理器通信。通过数据手套中的加速度传感器、弯曲传感器、磁传感器实时的采集出手势姿态在空间中的运动状态、轨迹信息，手掌、手指的弯曲度，手指之间的空间夹角。
3.硬件系统的搭建：
数据手套采集的手势姿态信息通过USB数据线传输到电脑上位机中，数据手套的手语识别硬件设计框图如图2所示。
4.手势姿态数据信息的提取与分类：
设计活动段分割测试平台，其目的是将不断变化的连续多通道信号中提取出与动作执行有关的信号，并将分割结果映射到弯曲、加速度和磁传感器信号中，对弯曲、加速度和磁传感器信号提取出具有代表性的特征参数，以实现手势动作的特征提取。
分类器是完成手语手势翻译最终识别的核心部分，是整个系统正确工作的关键。本文采用的分类器是基于决策树的分类器，在决策树中分别使用最近邻、支持向量机和隐马尔可夫模型实现多层分类。我们采用两个不同的HMM（隐马尔科夫模型）对同一手势的手掌弯曲度特征值和运动轨迹特征分别建模，并将两个模型所得的似然概率融合在一起形成最终的识别概率。决策树结构如图2所示，共有三层，分别为单双手分类、朝向分类和多流隐马尔可夫分类。
5.标准手势姿态库建立与训练：基于各类手势特征的提取和分析，初步建立本文手势姿态库。建立手势姿态训练上位机，对各类手势进行深度学习、训练，以完善手势姿态库，对易识别的手势记录分析，确保其分类条件不会影响其他手势，且不是误操作，对识别率较低的手势，分析原因，加深学习和训练，最大限度提高手势识别率。搭建手势识别器，验证本文手势姿态库。

Claims (7)

1.一种基于数据手套的手语手势识别系统，包括数据手套、微处理器、电源和上位机，其特征在于，所述数据手套连接微处理器，微处理器还分别连接上位机和电源，所述电源还连接数据手套。
2.根据权利要求1所述的一种基于数据手套的手语手势识别系统，其特征在于，所述数据手套包括加速度传感器、弯曲度传感器和磁传感器。
3.根据权利要求1所述的一种基于数据手套的手语手势识别系统的识别方法，其特征在于，包含以下步骤：a、手势姿态信息的采集；b、手势姿态信息的提取和分类；c、手势姿态信息的处理。
4.根据权利要求3所述的一种基于数据手套的手语手势识别系统的识别方法，其特征在于，步骤a具体是：通过数据手套中的加速度传感器、弯曲传感器、磁传感器实时的采集出手势姿态在空间中的运动状态、轨迹信息，手掌、手指的弯曲度以及手指之间的空间夹角。
5.根据权利要求3所述的一种基于数据手套的手语手势识别系统的识别方法，其特征在于，步骤b具体是：采用SVM(支持向量机算法)对弯曲传感器、加速度传感器和磁传感采集的数据进行特征提取，每个手势提取6个手势节点，从这些节点中计算出14个特征向量来表示一个手语动作，并采用决策树分类法对特征向量进行分类。
6.根据权利要求3所述的一种基于数据手套的手语手势识别系统的识别方法，其特征在于，步骤c具体包括：①融合多传感器信息的手语手势识别算法；采用隐马尔科夫模型时序信号的特征识别，输入为时序特征，输出为模型计算得到的该观测信号属于该模板模型的似然概率，实现对数据的识别②建立标准手势姿态库，对同一手势生成的数据进行深度学习训练并分析，将提取分类后的手势姿态信息与标准库进行对比、查找、匹配。
7.根据权利要求5所述的一种基于数据手套的手语手势识别系统的识别方法，其特征在于，所述6个手势节点为5个手指以及一个手掌中心点。
CN201710967482.1A 2017-10-17 2017-10-17 一种基于数据手套的手语手势识别系统 Pending CN107678550A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710967482.1A CN107678550A (zh) 2017-10-17 2017-10-17 一种基于数据手套的手语手势识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710967482.1A CN107678550A (zh) 2017-10-17 2017-10-17 一种基于数据手套的手语手势识别系统

Publications (1)

Publication Number Publication Date
CN107678550A true CN107678550A (zh) 2018-02-09

Family

ID=61141414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710967482.1A Pending CN107678550A (zh) 2017-10-17 2017-10-17 一种基于数据手套的手语手势识别系统

Country Status (1)

Country Link
CN (1) CN107678550A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615009A (zh) * 2018-04-24 2018-10-02 山东师范大学 一种基于动态手势识别的手语翻译交流系统
CN108664127A (zh) * 2018-05-21 2018-10-16 云谷（固安）科技有限公司 一种基于手势识别输入设备的数据传输方法及其设备
CN108671537A (zh) * 2018-05-21 2018-10-19 云谷（固安）科技有限公司 一种动作识别装置及方法
CN109034093A (zh) * 2018-08-10 2018-12-18 成都理工大学 一种快速动态手语识别算法的设计与实现
CN109086699A (zh) * 2018-07-20 2018-12-25 福州大学 一种基于XGboost的静态手语识别系统
CN109542220A (zh) * 2018-10-25 2019-03-29 广州大学 一种带有校准和学习功能的手语手套、系统及实现方法
CN109885166A (zh) * 2019-02-25 2019-06-14 浙江工商大学 智能手语翻译手套及其手势识别方法
CN110096153A (zh) * 2019-01-23 2019-08-06 深圳大学 一种手语翻译系统、手语翻译手套及手语翻译方法
CN110390281A (zh) * 2019-07-11 2019-10-29 南京大学 一种基于感知设备的手语识别系统及其工作方法
CN110414473A (zh) * 2019-08-06 2019-11-05 青海师范大学 一种基于数理统计的数据手套手势识别算法
CN111722723A (zh) * 2020-06-29 2020-09-29 北京化工大学 一种双向弯曲柔性传感器、手语识别系统及方法
CN111984119A (zh) * 2020-08-18 2020-11-24 哈尔滨工业大学（深圳） 手势识别模型建立方法、手势识别方法、装置及数据手套

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811460B1 (ko) * 2007-02-01 2008-03-10 강원대학교산학협력단 진동촉각 마우스 및 진동촉각 마우스 시스템
CN103263094A (zh) * 2013-05-28 2013-08-28 张瞳 一种智能感应手套系统
CN103294226A (zh) * 2013-05-31 2013-09-11 东南大学 一种虚拟输入装置及方法
CN105404390A (zh) * 2015-10-29 2016-03-16 华侨大学 一种无线数据手套建模及手势动作识别方法
CN105759970A (zh) * 2016-03-02 2016-07-13 华南理工大学 一种基于弯曲传感器的手势识别装置和手语翻译方法
CN106445168A (zh) * 2016-11-01 2017-02-22 中南大学 一种智能手套及其使用方法
CN106682593A (zh) * 2016-12-12 2017-05-17 山东师范大学 一种基于手势识别的手语会议方法及系统
CN107092349A (zh) * 2017-03-20 2017-08-25 重庆邮电大学 一种基于RealSense的手语识别系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811460B1 (ko) * 2007-02-01 2008-03-10 강원대학교산학협력단 진동촉각 마우스 및 진동촉각 마우스 시스템
CN103263094A (zh) * 2013-05-28 2013-08-28 张瞳 一种智能感应手套系统
CN103294226A (zh) * 2013-05-31 2013-09-11 东南大学 一种虚拟输入装置及方法
CN105404390A (zh) * 2015-10-29 2016-03-16 华侨大学 一种无线数据手套建模及手势动作识别方法
CN105759970A (zh) * 2016-03-02 2016-07-13 华南理工大学 一种基于弯曲传感器的手势识别装置和手语翻译方法
CN106445168A (zh) * 2016-11-01 2017-02-22 中南大学 一种智能手套及其使用方法
CN106682593A (zh) * 2016-12-12 2017-05-17 山东师范大学 一种基于手势识别的手语会议方法及系统
CN107092349A (zh) * 2017-03-20 2017-08-25 重庆邮电大学 一种基于RealSense的手语识别系统及方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615009A (zh) * 2018-04-24 2018-10-02 山东师范大学 一种基于动态手势识别的手语翻译交流系统
CN108615009B (zh) * 2018-04-24 2019-07-23 山东师范大学 一种基于动态手势识别的手语翻译交流系统
CN108664127A (zh) * 2018-05-21 2018-10-16 云谷（固安）科技有限公司 一种基于手势识别输入设备的数据传输方法及其设备
CN108671537A (zh) * 2018-05-21 2018-10-19 云谷（固安）科技有限公司 一种动作识别装置及方法
CN109086699A (zh) * 2018-07-20 2018-12-25 福州大学 一种基于XGboost的静态手语识别系统
CN109034093A (zh) * 2018-08-10 2018-12-18 成都理工大学 一种快速动态手语识别算法的设计与实现
CN109542220A (zh) * 2018-10-25 2019-03-29 广州大学 一种带有校准和学习功能的手语手套、系统及实现方法
CN109542220B (zh) * 2018-10-25 2022-01-25 广州大学 一种带有校准和学习功能的手语手套、系统及实现方法
CN110096153A (zh) * 2019-01-23 2019-08-06 深圳大学 一种手语翻译系统、手语翻译手套及手语翻译方法
CN109885166A (zh) * 2019-02-25 2019-06-14 浙江工商大学 智能手语翻译手套及其手势识别方法
CN110390281A (zh) * 2019-07-11 2019-10-29 南京大学 一种基于感知设备的手语识别系统及其工作方法
CN110414473A (zh) * 2019-08-06 2019-11-05 青海师范大学 一种基于数理统计的数据手套手势识别算法
CN110414473B (zh) * 2019-08-06 2022-02-25 青海师范大学 一种基于数理统计的数据手套手势识别算法
CN111722723A (zh) * 2020-06-29 2020-09-29 北京化工大学 一种双向弯曲柔性传感器、手语识别系统及方法
CN111722723B (zh) * 2020-06-29 2021-07-13 北京化工大学 一种双向弯曲柔性传感器、手语识别系统及方法
CN111984119A (zh) * 2020-08-18 2020-11-24 哈尔滨工业大学（深圳） 手势识别模型建立方法、手势识别方法、装置及数据手套

Similar Documents

Publication Publication Date Title
CN107678550A (zh) 一种基于数据手套的手语手势识别系统
Yang et al. Chinese sign language recognition based on an optimized tree-structure framework
Li et al. Automatic recognition of sign language subwords based on portable accelerometer and EMG sensors
Ward et al. Activity recognition of assembly tasks using body-worn microphones and accelerometers
CN106569613A (zh) 一种多模态人机交互系统及其控制方法
Li et al. Recognition system for home-service-related sign language using entropy-based $ K $-means algorithm and ABC-based HMM
US20100063794A1 (en) Method and apparatus for translating hand gestures
CN108196668B (zh) 一种便携式手势识别系统及方法
CN106066996A (zh) 人体动作的局部特征表示方法及其在行为识别的应用
CN103092329A (zh) 一种基于唇读技术的唇语输入方法
CN103049761A (zh) 基于手语手套的手语识别方法及系统
CN104134060A (zh) 基于肌电信号和运动传感器的手语翻译和显示发声系统
CN106502390B (zh) 一种基于动态3d手写数字识别的虚拟人交互系统及方法
CN113849068B (zh) 一种手势多模态信息融合的理解与交互方法及其系统
Shin et al. Korean sign language recognition using EMG and IMU sensors based on group-dependent NN models
CN109634439B (zh) 智能文本输入方法
CN112800892B (zh) 一种基于openpose的人体姿态识别方法
CN108960171B (zh) 一种基于特征迁移学习的转换手势识别到身份识别的方法
CN110443309A (zh) 一种结合跨模态关联关系模型的肌电信号手势识别方法
Luo et al. Wearable air-writing recognition system employing dynamic time warping
CN107346207B (zh) 一种基于隐马尔科夫模型的动态手势切分识别方法
CN107204141A (zh) 穿戴式盲文阅读设备
CN107909003B (zh) 一种针对大词汇量的手势识别方法
Aggarwal et al. Online handwriting recognition using depth sensors
CN110031827A (zh) 一种基于超声波测距原理的手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209