CN111708433A - 手势数据采集手套及基于手势数据采集手套的手语手势识别方法 - Google Patents

手势数据采集手套及基于手势数据采集手套的手语手势识别方法 Download PDF

Info

Publication number
CN111708433A
CN111708433A CN202010439044.XA CN202010439044A CN111708433A CN 111708433 A CN111708433 A CN 111708433A CN 202010439044 A CN202010439044 A CN 202010439044A CN 111708433 A CN111708433 A CN 111708433A
Authority
CN
China
Prior art keywords
gesture
gyroscope
classifier
data set
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010439044.XA
Other languages
English (en)
Other versions
CN111708433B (zh
Inventor
刘礼
王珊珊
冉孟元
廖军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010439044.XA priority Critical patent/CN111708433B/zh
Publication of CN111708433A publication Critical patent/CN111708433A/zh
Application granted granted Critical
Publication of CN111708433B publication Critical patent/CN111708433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开手势数据采集手套及基于手势数据采集手套的手语手势识别方法，手套包括手套主体、指套、九轴传感器、弯曲传感器、主控模块、通信模块、连接带；方法步骤为：利用集成学习的方法考虑到机器学习里每一种算法的差异性，改善了单一识别算法不能达到对每一个原子手势最高识别准确率的问题。

Description

手势数据采集手套及基于手势数据采集手套的手语手势识别 方法
技术领域
本发明涉及智能穿戴、人机交互及机器学习技术领域，具体是手势数据采集手套及基于手势数据采集手套的手语手势识别方法。
背景技术
手势识别是人机交互一个重要的领域，手势的识别不仅可以提高人机之间的语言理解程度和认知水平，还可以通过计算机帮助拥有不同语言体系人群之间的交流，包括听损障碍人群与听力正常人群之间的交流、不同母语人群之间的交流。
现有的手势识别设备包括智能手表、智能手环和智能手套等，手表和手环拥有体积小、轻便易携带等优点，但也因为体积较小，所配置的传感器也较少，导致手势识别准确率不高；而传统的智能手套解决了传感器少导致识别准确率低的问题，但却无法克服体积大、佩戴舒适性差以及手指运动不灵活等缺点。
发明内容
本发明的目的是提供手势数据采集手套，包括手套主体、指套、连接带、陀螺仪、弯曲传感器、主控模块、通信模块、稳压模块。
所述手套主体包覆使用者手掌。
所述手套主体内侧贴置有陀螺仪、主控模块和通信模块。
所述陀螺仪采集使用者手部运动时的陀螺仪传感信号，并发送至主控模块。
所述指套包覆使用者手指关节。
所述指套内侧贴置有若干弯曲传感器。弯曲传感器和使用者手指关节一一对应。
所述弯曲传感器采集使用者手指关节弯曲信号，并发送至主控模块。
所述连接带连接手套主体和指套。
所述连接带外侧贴置有用于连接弯曲传感器和主控模块的信号线。
所述主控模块接收到陀螺仪传感信号、手指关节弯曲信号后，通过通信模块发送至上位机。
稳压模块贴置在手套主体内侧。所述稳压模块用于稳定陀螺仪、弯曲传感器、主控模块和通信模块的电压。
基于手势数据采集手套的手语手势识别方法，包括以下步骤：
1)使用者佩戴手势数据采集手套，并做出g种中文拼音对应的手势。g为正整数。
2)在使用者做手势过程中，所述陀螺仪和弯曲传感器分别将采集到的陀螺仪传感信号、手指关节弯曲信号发送至主控模块。
主控模块通过通信模块将接收到的陀螺仪传感信号、手指关节弯曲信号发送至上位机。
3)上位机将接收到的陀螺仪传感信号、手指关节弯曲信号存储在传感信号数据集A＝中，并打上手势类别标签。手势类别集合记为G＝{y1,y2,...,yg}。
上位机对传感信号数据集A进行预处理。
对传感信号数据集A进行预处理的主要步骤如下：
3.1)对传感信号进行丢包项删除、异常项删除和冗余数据删除。
3.2)利用组均值补全法对传感信号数据集A进行缺失值补全，方法为：以缺失项前j项数据、后j项数据的平均值填充缺失项。j为正整数。
3.3)利用滑动平均滤波方法对传感信号数据集A进行数据平滑。平滑后第n组传感信号a[n]如下所示：
Figure BDA0002503389410000021
式中，as[*]表示滤波前的传感信号。M表示传感信号as[*]相邻M项数据。一组传感信号包括同一时间采集的陀螺仪传感信号和弯曲传感信号。
4)对预处理后的传感信号数据集A进行时序分割，建立传感信号数据集X＝[X1，X2，…，XW]。Xi表示使用者做第i个手势时传感器采集的传感信号数据子集。i＝1,2，…，W。
优选的，对预处理后的传感信号数据集A进行时序分割的方法为：利用单变量线性回归和动态规划算法对传感信号数据集A进行时序分割。分割后，每组时序信号的起始点为手势起始标记信号，终止点为手势结束标记信号。手势起始标记信号为使用者做出起始手势时陀螺仪和弯曲传感器采集到的传感信号。手势结束标记信号为使用者做出终止手势时陀螺仪和弯曲传感器采集到的传感信号。使用者在做出任一中文拼音对应的手势前，做出一组起始手势，在做出任一中文拼音对应的手势后，做出一组终止手势。
优选的，对传感信号数据集A进行时序分割的方法为：计算t时刻和t-1时刻同类型传感信号的欧几里得距离d，当d>阈值dmax时，则以t时刻作为时序分割点，对传感信号数据集A进行时序分割。传感信号类型包括弯曲、3轴加速度、3轴陀螺仪、3轴磁力计。
5)对传感信号数据集X进行特征提取，并建立手势训练数据集C。
传感信号的特征包括均值E(X)、均方值E(X2)、方差S2和标准差S。
其中，均值E(X)如下所示：
Figure BDA0002503389410000031
均方值E(X2)如下所示：
Figure BDA0002503389410000032
方差S2如下所示：
Figure BDA0002503389410000033
标准差S如下所示：
Figure BDA0002503389410000034
6)利用手势训练数据集C建立手势识别分类器。所述手势识别分类器包括KNN子分类器、朴素贝叶斯子分类器和BP子分类器。
建立BP子分类器的主要步骤如下：
6.1)初始化BP网络，随机给定隐含层之间权重w、隐含层与输出层之间的权重v、隐藏层神经元的初始阀值θi和输出层神经元的初始阀值rt。
6.2)将手势训练数据集C输入到初始化的BP网络中，更新隐含层之间权重w、隐含层与输出层之间的权重v、隐藏层神经元的初始阀值θi和输出层神经元的初始阀值rt。
6.3)重复步骤6.2)，直至BP网络参数满足误差要求，得到BP子分类器。
7)利用手势识别分类器实时识别使用者当前做出的手势，主要步骤如下：
7.1)在陀螺仪、弯曲传感器实时监测使用者当前做出的手势时产生的陀螺仪传感信号和弯曲传感信号，发送至主控模块。
主控模块通过通信模块将接收到的陀螺仪传感信号、手指关节弯曲信号发送至上位机。
7.2)上位机对当前接收到的陀螺仪传感信号、手指关节弯曲信号进行预处理、时序分割和特征提取，并将提取到的特征数据集x＝{x1,x2,...,xk}发送至手势识别分类器。
7.3)将特征数据集x输入到KNN子分类器，输出待测手势的预测分类结果Q1，主要步骤为：
7.3.1)分别计算特征数据集x每个元素与手势训练数据集C中所有元素之间的欧式距离，并基于欧式距离对训练样本集元素进行升序排列，得到手势训练数据集C'。
7.3.2)提取出手势训练数据集C'前K个元素，并确定K个元素对应的手势类别。
7.3.3)以出现频率最高的手势类别作为KNN子分类器输出的待测手势的预测分类结果Q1。
7.4)将特征数据集x输入到朴素贝叶斯子分类器，输出待测手势的预测分类结果Q2，主要方法为：利用贝叶斯公式分别计算概率P(y1|x)、P(y2|x)、....、P(yg|x)。以最大概率对应的手势类别作为朴素贝叶斯子分类器输出的待测手势的预测分类结果Q2。
7.5)将特征数据集x输入到BP子分类器，输出待测手势的预测分类结果Q3。
7.6)所述手势识别分类器识别使用者当前手势类别，主要分为以下两种情况：
I)当预测分类结果Q1、预测分类结果Q2、预测分类结果Q3至少有2个预测分类结果存在重复时，以重复的预测分类结果作为使用者当前手势类别Q。
II)当预测分类结果Q1、预测分类结果Q2、预测分类结果Q3均不一致时，使用者当前手势类别Q＝Q1u1+Q2u2+Q3u3。其中，u1、u2、u3分别表示KNN子分类器输出的预测分类结果Q1的可信任度、朴素贝叶斯子分类器输出的预测分类结果Q2的可信任度、BP子分类器输出的预测分类结果Q3的可信任度。
可信任度uq如下所示：
uq＝(TP+TN)/(P+N) (6)
式中，q＝1，2，3；TP表示正确地划分为正例的个数，即实际为正例且被分类器划分为正例的样本数；TN表示被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的样本数；P+N为总样本数。
值得说明的是，集成学习(ensemble learning)是机器学习中一类学习算法，将训练的多个学习器组合起来使用，达到均衡各类方法差异性的作用，这类算法通常在实践中会取得比单个学习器更好的预测结果。
本发明的技术效果是毋庸置疑的，本发明有效平衡了可穿戴智能手套舒适性与识别准确率的问题，利用集成学习的方法考虑到机器学习里每一种算法的差异性，改善了单一识别算法不能达到对每一个原子手势最高识别准确率的问题，兼具使用灵活性、佩戴舒适性强，发明具有结构简单，设置合理，制作成本低等优点。
附图说明
图1是手势数据采集手套实物图；
图2(a)是手势数据采集手套结构示意图；
图2(b)是手势数据采集手套结构局部放大图；
图3是手势数据采集手套功能结构示意图；
图4是中文拼音手语手势图；
图5是手语手势识别算法流程图；
图6是手势‘B’五指弯曲度时、频域图；
图7是以ACC_X为例的手势“B”分割图；
图8(a)是手势‘B’五指弯曲度时域图；
图8(b)是手势‘B’五指弯曲度频域图；
图9(a)是不同滑动平均值滤波处理“A”手势ACC_X轴数据对比图。
图9(b)是不同滑动平均值滤波处理“A”手势ACC_X轴数据对比图。
图9(c)是不同滑动平均值滤波处理“A”手势ACC_X轴数据对比图。
图中，陀螺仪1、弯曲传感器2、主控模块3、通信模块4、连接带5、魔术粘贴带6、
具体实施方式
下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。
实施例1：
参见图1至图3，手势数据采集手套，包括手套主体、指套、连接带5、陀螺仪1、弯曲传感器2、主控模块3、通信模块4、稳压模块。所述陀螺仪1为九轴传感器。
所述手套主体包覆使用者手掌。
所述手套主体内侧贴置有陀螺仪1、主控模块3和通信模块4。
所述陀螺仪1采集使用者手部运动时的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号，并发送至主控模块3。
所述指套包覆使用者手指关节。
所述指套内侧贴置有若干弯曲传感器2。弯曲传感器2和使用者手指关节一一对应。一根手指上贴置一根弯曲传感器2。
所述弯曲传感器2采集使用者手指关节弯曲信号，并发送至主控模块3。
所述连接带5连接手套主体和指套。
所述连接带5外侧贴置有用于连接弯曲传感器2和主控模块3的信号线。
所述主控模块3接收到3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号、手指关节弯曲信号后，通过通信模块4发送至上位机。
稳压模块贴置在手套主体内侧。所述稳压模块用于稳定陀螺仪1、弯曲传感器2、主控模块3和通信模块4的电压。
实施例2：
参见图4至图9，基于手势数据采集手套的手语手势识别方法，包括以下步骤：
1)使用者佩戴手势数据采集手套，并做出g种中文拼音对应的手势。g为正整数。
2)在使用者做手势过程中，所述陀螺仪1和弯曲传感器2分别将采集到的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号、手指关节弯曲信号发送至主控模块3。所述陀螺仪1为九轴传感器。
主控模块3通过通信模块4将接收到的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号、手指关节弯曲信号发送至上位机。
3)上位机将接收到的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号、手指关节弯曲信号存储在传感信号数据集A＝中，并打上手势类别标签。手势类别集合记为G＝{y1,y2,...,yg}。
上位机对传感信号数据集A进行预处理。
对传感信号数据集A进行预处理的主要步骤如下：
3.1)对传感信号进行丢包项删除、异常项删除和冗余数据删除。
3.2)利用组均值补全法对传感信号数据集A进行缺失值补全，方法为：以缺失项前j项数据、后j项数据的平均值填充缺失项。j为正整数。
3.3)利用滑动平均滤波方法对传感信号数据集A进行数据平滑。平滑后第n组传感信号a[n]如下所示：
Figure BDA0002503389410000071
式中，as[*]表示滤波前的传感信号。M表示传感信号as[*]相邻M项数据。一组传感信号包括同一时间采集的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号和弯曲传感信号。as[n+m]表示滤波前传感信号as[n]相邻m位的传感信号。
4)对预处理后的传感信号数据集A进行时序分割，建立传感信号数据集X＝[X1，X2，…，XW]。Xi表示使用者做第i个手势时传感器采集的传感信号数据子集。i＝1,2，…，W。
对预处理后的传感信号数据集A进行时序分割的方法为：利用单变量线性回归和动态规划算法对传感信号数据集A进行时序分割。分割后，每组时序信号的起始点为手势起始标记信号，终止点为手势结束标记信号。手势起始标记信号为使用者做出起始手势时陀螺仪1和弯曲传感器2采集到的传感信号。手势结束标记信号为使用者做出终止手势时陀螺仪1和弯曲传感器2采集到的传感信号。使用者在做出任一中文拼音对应的手势前，做出一组起始手势，在做出任一中文拼音对应的手势后，做出一组终止手势。
5)对传感信号数据集X进行特征提取，并建立手势训练数据集C。
传感信号的特征包括均值E(X)、均方值E(X2)、方差S2和标准差S。
其中，均值E(X)如下所示：
Figure BDA0002503389410000072
均方值E(X2)如下所示：
Figure BDA0002503389410000073
方差S2如下所示：
Figure BDA0002503389410000081
标准差S如下所示：
Figure BDA0002503389410000082
6)利用手势训练数据集C建立手势识别分类器。所述手势识别分类器包括KNN子分类器、朴素贝叶斯子分类器和BP子分类器。
建立BP子分类器的主要步骤如下：
6.1)初始化BP网络，随机给定隐含层之间权重w、隐含层与输出层之间的权重v、隐藏层神经元的初始阀值θi和输出层神经元的初始阀值rt。
6.2)将手势训练数据集C输入到初始化的BP网络中，更新隐含层之间权重w、隐含层与输出层之间的权重v、隐藏层神经元的初始阀值θi和输出层神经元的初始阀值rt。
6.3)重复步骤6.2)，直至BP网络参数满足误差要求，得到BP子分类器。
7)利用手势识别分类器实时识别使用者当前做出的手势，主要步骤如下：
7.1)在陀螺仪1、弯曲传感器2实时监测使用者当前做出的手势时产生的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号和弯曲传感信号，发送至主控模块3。
主控模块3通过通信模块4将接收到的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号、手指关节弯曲信号发送至上位机。
7.2)上位机对当前接收到的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号、手指关节弯曲信号进行预处理、时序分割和特征提取，并将提取到的特征数据集x＝{x1,x2,...,xk}发送至手势识别分类器。
7.3)将特征数据集x输入到KNN子分类器，输出待测手势的预测分类结果Q1，主要步骤为：
7.3.1)分别计算特征数据集x每个元素与手势训练数据集C中所有元素之间的欧式距离，并基于欧式距离对训练样本集元素进行升序排列，得到手势训练数据集C'。
7.3.2)提取出手势训练数据集C'前K个元素，并确定K个元素对应的手势类别。
7.3.3)以出现频率最高的手势类别作为KNN子分类器输出的待测手势的预测分类结果Q1。
7.4)将特征数据集x输入到朴素贝叶斯子分类器，输出待测手势的预测分类结果Q2，主要方法为：利用贝叶斯公式分别计算概率P(y1|x)、P(y2|x)、....、P(yg|x)。以最大概率对应的手势类别作为朴素贝叶斯子分类器输出的待测手势的预测分类结果Q2。
7.5)将特征数据集x输入到BP子分类器，输出待测手势的预测分类结果Q3。
7.6)所述手势识别分类器识别使用者当前手势类别，主要分为以下两种情况：
I)当预测分类结果Q1、预测分类结果Q2、预测分类结果Q3至少有2个预测分类结果存在重复时，以重复的预测分类结果作为使用者当前手势类别Q。
II)当预测分类结果Q1、预测分类结果Q2、预测分类结果Q3均不一致时，使用者当前手势类别Q＝Q1u1+Q2u2+Q3u3。其中，u1、u2、u3分别表示KNN子分类器输出的预测分类结果Q1的可信任度、朴素贝叶斯子分类器输出的预测分类结果Q2的可信任度、BP子分类器输出的预测分类结果Q3的可信任度。
可信任度uq如下所示：
uq＝(TP+TN)/(P+N) (6)
式中，q＝1，2，3；TP表示正确地划分为正例的个数，即实际为正例且被分类器划分为正例的样本数；TN表示被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的样本数；P+N为总样本数。
可信度表示已训练好模型在测试集上得到的正确率。
实施例3：
基于手势数据采集手套的手语手势识别方法(即聋哑人手语识别算法)，包括以下步骤：
1)使用者佩戴手势数据采集手套，并做出g种中文拼音对应的手势。g为正整数。
2)在使用者做手势过程中，所述陀螺仪1和弯曲传感器2分别将采集到的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号、手指关节弯曲信号发送至主控模块3。所述陀螺仪1为九轴传感器。
主控模块3通过通信模块4将接收到的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号、手指关节弯曲信号发送至上位机。
3)上位机将接收到的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号、手指关节弯曲信号存储在传感信号数据集A＝中，并打上手势类别标签。手势类别集合记为G＝{y1,y2,...,yg}。
上位机对传感信号数据集A进行预处理。
对传感信号数据集A进行预处理的主要步骤如下：
3.1)对传感信号进行丢包项删除、异常项删除和冗余数据删除。
3.2)利用组均值补全法对传感信号数据集A进行缺失值补全，方法为：以缺失项前j项数据、后j项数据的平均值填充缺失项。j为正整数。
3.3)利用滑动平均滤波方法对传感信号数据集A进行数据平滑。平滑后第n组传感信号a[n]如下所示：
Figure BDA0002503389410000101
式中，as[*]表示滤波前的传感信号。M表示传感信号as[*]相邻M项数据。一组传感信号包括同一时间采集的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号和弯曲传感信号。
4)对预处理后的传感信号数据集A进行时序分割，建立传感信号数据集X＝[X1，X2，…，XW]。Xi表示使用者做第i个手势时传感器采集的传感信号数据子集。i＝1,2，…，W。
对传感信号数据集A进行时序分割的方法为：计算t时刻和t-1时刻同类型传感信号的欧几里得距离d，当d>阈值dmax时，则以t时刻作为时序分割点，对传感信号数据集A进行时序分割。传感信号类型包括弯曲、3轴加速度、3轴陀螺仪、3轴磁力计。
5)对传感信号数据集X进行特征提取，并建立手势训练数据集C。
传感信号的特征包括均值E(X)、均方值E(X2)、方差S2和标准差S。
其中，均值E(X)如下所示：
Figure BDA0002503389410000102
均方值E(X2)如下所示：
Figure BDA0002503389410000111
方差S2如下所示：
Figure BDA0002503389410000112
标准差S如下所示：
Figure BDA0002503389410000113
6)利用手势训练数据集C建立手势识别分类器。所述手势识别分类器包括KNN子分类器、朴素贝叶斯子分类器和BP子分类器。
建立BP子分类器的主要步骤如下：
6.1)初始化BP网络，随机给定隐含层之间权重w、隐含层与输出层之间的权重v、隐藏层神经元的初始阀值θi和输出层神经元的初始阀值rt。
6.2)将手势训练数据集C输入到初始化的BP网络中，更新隐含层之间权重w、隐含层与输出层之间的权重v、隐藏层神经元的初始阀值θi和输出层神经元的初始阀值rt。
6.3)重复步骤6.2)，直至BP网络参数满足误差要求，得到BP子分类器。
7)利用手势识别分类器实时识别使用者当前做出的手势，主要步骤如下：
7.1)在陀螺仪1、弯曲传感器2实时监测使用者当前做出的手势时产生的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号和弯曲传感信号，发送至主控模块3。
主控模块3通过通信模块4将接收到的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号、手指关节弯曲信号发送至上位机。
7.2)上位机对当前接收到的3轴加速度传感信号、3轴陀螺仪传感信号、3轴磁力计传感信号、手指关节弯曲信号进行预处理、时序分割和特征提取，并将提取到的特征数据集x＝{x1,x2,...,xk}发送至手势识别分类器。
7.3)将特征数据集x输入到KNN子分类器，输出待测手势的预测分类结果Q1，主要步骤为：
7.3.1)分别计算特征数据集x每个元素与手势训练数据集C中所有元素之间的欧式距离，并基于欧式距离对训练样本集元素进行升序排列，得到手势训练数据集C'。
7.3.2)提取出手势训练数据集C'前K个元素，并确定K个元素对应的手势类别。
7.3.3)以出现频率最高的手势类别作为KNN子分类器输出的待测手势的预测分类结果Q1。
7.4)将特征数据集x输入到朴素贝叶斯子分类器，输出待测手势的预测分类结果Q2，主要方法为：利用贝叶斯公式分别计算概率P(y1|x)、P(y2|x)、....、P(yg|x)。以最大概率对应的手势类别作为朴素贝叶斯子分类器输出的待测手势的预测分类结果Q2。
7.5)将特征数据集x输入到BP子分类器，输出待测手势的预测分类结果Q3。
7.6)所述手势识别分类器识别使用者当前手势类别，主要分为以下两种情况：
I)当预测分类结果Q1、预测分类结果Q2、预测分类结果Q3至少有2个预测分类结果存在重复时，以重复的预测分类结果作为使用者当前手势类别Q。
II)当预测分类结果Q1、预测分类结果Q2、预测分类结果Q3均不一致时，使用者当前手势类别Q＝Q1u1+Q2u2+Q3u3。其中，u1、u2、u3分别表示KNN子分类器输出的预测分类结果Q1的可信任度、朴素贝叶斯子分类器输出的预测分类结果Q2的可信任度、BP子分类器输出的预测分类结果Q3的可信任度。
实施例4：
手势数据采集手套，包括手套主体、指套、连接带5、陀螺仪1、弯曲传感器2、主控模块3、通信模块4、稳压模块、魔术粘贴带6。
该手势数据采集手套外观制作材料包括宽分别为6cm、2cm和0.8cm的涤纶丝包弹力皮筋，分别用于制作自制手势数据采集手套的手掌部101、手指关节部102以及各模块的连接等。
考虑到传统手势数据采集手套的笨拙性与无弹性，本发明所述自制手势数据采集手套采用涤纶丝包弹力皮筋用于手套主体材料，并考虑到佩戴者佩戴封闭且沉重的手势数据采集手套时的舒适性，采用镂空设计，仅在手指关节处制作宽为0.8cm的弹力指套，每根手指两个关节指套，单手共10个关节指套，每根手指指套根据不同手指的粗细大小特征，结合佩戴者的不同性别、年龄及涤纶丝包弹力皮筋的弹性指数定制10个不同的关节指套。手套手掌部分及指套部分由0.8cm的涤纶丝包弹力皮筋链接。
考虑到个人体型差别，手掌部分仅由涤纶丝包弹力皮筋控制松紧还有所欠缺与不足，因此手掌部分结合魔术粘贴带6可供不同手型大小的佩戴者调节手套松紧。佩戴者需按照手套外观形状将手套入手套并依次将指关节套佩戴固定于手指关节处。
如图2、3所示为自制手势数据采集手套的功能结构示意图，五根手指指关节套与手掌部分由0.8cm的涤纶丝包弹力皮筋连接，其上装置弯曲传感器201采用的是RPF薄膜式弯曲传感器。薄膜式弯曲传感器通过电阻值的变化检测弯曲程度，与常规的弯曲传感器相比，薄膜式弯曲传感器具有径细、质软、重量轻的优点，在手势数据采集手套中采用薄膜式弯曲传感器，使得用户在穿戴手套进行手势动作执行时更为舒适。
手背部分的安装部件为主控部分，包括Arduino Nano电路板3、通信板块4、IMU运动传感单元1。其中，本实施例使用的Arduino Nano是Arduino USB接口的微型版本，Arduino Nano是尺寸十分小并且能够直接插在面包板上操作的开发板。通信板块4，在一些实施例中，手势数据采集手套与远程计算机、远程控制中心或远程服务器的数据传输可以通过任何的数据传输方式实现。例如但不限于，蓝牙、zigbee、Wi-Fi等无线方式，或者USB等有线通信方式。在一些实施例中，所述手势数据采集手套系统还包括电源模块，所述电源模块可以为手势数据采集手套提供电力。所述接口可以是USB接口或其他任意电源接口。
本实施例中至少含一个六轴MPU6050(六轴传感器)的IMU运动传感单元，其中六轴传感器是指三轴加速度计及三轴陀螺仪，MPU6050是一款空间运动传感器芯片，内置三轴加速度计和三轴陀螺仪，因此它可以获得三个轴对应的三个加速度分量和三个旋转角速度值，它的特点为其体积小易于携带、功能强大可采集六轴惯性传感器数据、精度高等。所述陀螺仪1为六轴传感器，即六轴MPU6050。
实施例中MPU6050芯片内置了一个数据处理子模块DMP，是已经用滤波算法对采集的数据进行过平滑处理然后再输出给用户，一般场景下在许多应用场景中使用DMP输出的数据已经能够很好的满足要求，但为了避免因为环境和人的各种因素造成滤波后的数据仍有较多毛刺，本实施例在滤波后的数据上再进行一次滑动平均滤波处理。
实施例中，直接使用集成的MPU6050板块进行数据采集。MPU6050的数据接口用的是I2C总线协议，因而需要Wire程序库的协助来实现Arduino与MPU6050之间的通信。Wire库的官方文档中指出：在Nano开发板上，SDA接口对应A4引脚，SCL对应A5引脚。MPU6050需要5V的电源，可由Nano板直接供电。MPU6050内嵌得芯片的寄存器来实现数据的读写，实验数据被存在位于0x3B到0x48这14个字节的寄存器中，具体存储信息如下所示。这些数据会实时动态更新且更新频率可达1000HZ。其中每个数据都占2个字节。
0x3B，存储加速度计的X轴分量ACC_X
0x3D，存储加速度计的Y轴分量ACC_Y
0x3F，存储加速度计的Z轴分量ACC_Z
0x41，存储当前温度TEMP
0x43，存储绕X轴旋转的角速度GYR_X
0x45，存储绕Y轴旋转的角速度GYR_Y
0x47，存储绕Z轴旋转的角速度GYR_Z
值得说明的是，MPU6050芯片有自己的坐标系：使芯片朝向自身，并将其表面文本旋转到正确的角度。此时，以芯片中心为原点，X轴水平向右，Y轴垂直向上，Z轴指向自身。图4是根据本实施例的一些实施例所示的MPU6050连线图。
实施例5：
基于手势数据采集手套的手语手势识别方法，包括以下步骤：
1)数据集获取，主要由硬件设备完成，数据的传输和存储由MPU内部程序实现；
2)信号预处理，对原始信号数据进行数据清洗、补全缺失数据、去掉冗余数据；
采集到的手势数据测量信号的噪音来自环境对传感器的干扰以及用户的无意识颤抖。为了解决这个问题，首先，通过从每个数据点减去采样加速度的平均值来消除重力加速度，以获得由手移动产生的加速度。接下来的步骤是利用滑动平均滤波对高频噪音进行平滑处理，MPU6050芯片内自带了一个数据处理子模块数字运动处理器DMP(DigitalMotion Processor)，已经内置了滤波算法，但前文提到测量中随机噪声随环境和人物的变化而变化，使测量结果不够准确，存在极大不确定因子和干扰性。通过多次测量相同的数据源，使用多点集平均方法来获得数据，合理的估计是滑动平均滤波器。
滤波公式如下所示：
Figure BDA0002503389410000151
其中，as[n]表示在没有重力加速度情况下的加速度，a[n]是滤波后的加速度信号。同理，三轴陀螺仪信号数据和五指弯曲度信号数据也可以用类似的滤波进行平滑去噪处理。
3)时序数据分割，检测手势的起始位置和结束位置；
本实施例提出了一种新的分割方案。以加速度计为例，假设预处理的加速度数据序列为a[n]＝a[1]，a[2]，……，a[l]，其中a[n]＝(ax[n]，ay[n]，az[n])是三维矢量，d[n]定义为[n]和[n-1]之间的欧几里得距离，当没有手运动时，加速度相对稳定,d[n]-d[n-1]较小，相反，在手的运动状态下，d[n]-d[n-1]很大。这意味着处于运动状态的d[n]要比处于无运动状态的d[n]高很多，因此可以通过设定一个阈值用来判断d[n]时间点是否开始做目标手势，判断出开始点和结束点后就实现了分割手势运动。为了避免信号的干扰，采用移动平均滤波器进行去噪，公式如下：
Figure BDA0002503389410000152
其中，J[n]是滤波后的欧几里得距离。d[n+m]表示欧几里得距离。因此，结合陀螺仪数据和手指弯曲度数据的前一帧数据和当前帧数据的欧几里得距离就可以判断手势的起始点和结束点以达到分割手势的目的。图7是根据本实施例的一些实施例所示的以ACC_X为例的手势“B”分割。
4)特征向量的提取、分类器构建以及模型集成；
手势在空间运动过程中，最能表现其运动特征的便是加速度信息和旋转角信息，从时域和频域上分别分析手势数据利用主成分分析PCA等降维方法将运动传感单元和弯曲传感器的原始数据信号进行降维及特征提取，降维处理后的新数据将用作后续手势分类识别。由于不同的人在不同的时间或地点做出同一手势也将会有差别，因此必须对信号采取归一化和标准化处理。旨在消除信号幅度大小和数据点长度等类内差异导致对结果的影响，可提高手势的可辨识性和识别准确率。图8是根据本实施例的一些实施例所示的手势‘B’五指弯曲度时、频域图。
将处理后的手势数据输入用于训练分类器，一些实施例中使用但不仅限于K-近邻算法(KNN)、朴素贝叶斯以及反向传播网络(BP)，训练好的各个模型将进行模型集成。
5)输入手势进行识别。
不同的算法对于不同的手势有着不一样的识别准确率，即单一的机器学习算法并不能达到对每一个手势最高的识别准确率，不具有泛化性，本实施例使用了模型集成的方法来提高分类准确率。集成学习(ensemble learning)是机器学习中一类学习算法，核心思想是考虑到机器学习里每一种算法的差异性，对于不同的样本类别有不同的优势，可以将不同的模型相结合，互相弥补不足，以实现最优模型。
本实施例采用基于投票法的模型集成，将训练好的三个分类器模型导出到系统，在每次样本进行预测时同时调用三个分类器，结果分为三种情况：
I)三个分类器预测结果一致，则输出为预测结果。
II)三个分类器预测结果有两种，则投票选出预测分类结果较多的为输出。
III)三个分类器结果都不一致，则根据训练模型时各自对应的类别手势的识别准确率，如KNN子分类器给出结果为类别一且KNN子分类器在类别一的分类准确率为80％；朴素贝叶斯子分类器给出结果为类别二且朴素贝叶斯子分类器在类别二的分类准确率为90％；BP子分类器给出结果为类别三且在类别三的分别准确率为91％，则选择输出分类结果为类别三。用户佩戴自制手势数据采集手套执行相关中国字母手语手势，系统将输出最大概率识别手势。

Claims (10)

1.手势数据采集手套，其特征在于，包括手套主体、指套、陀螺仪(1)、所述弯曲传感器(2)、主控模块(3)、通信模块(4)、连接带(5)；
所述手套主体包覆使用者手掌；
所述手套主体内侧贴置有陀螺仪(1)、主控模块(3)和通信模块(4)；
所述陀螺仪(1)采集使用者手部运动时的陀螺仪传感信号，并发送至主控模块(3)；
所述指套包覆使用者手指关节；
所述指套内侧贴置有若干弯曲传感器(2)；弯曲传感器(2)和使用者手指关节一一对应；
所述弯曲传感器(2)采集使用者手指关节弯曲信号，并发送至主控模块(3)。
所述连接带(5)连接手套主体和指套；
所述连接带(5)外侧贴置有用于连接弯曲传感器(2)和主控模块(3)的信号线；
所述主控模块(3)接收到陀螺仪传感信号、手指关节弯曲信号后，通过通信模块(4)发送至上位机。
2.根据权利要求1或2所述手势数据采集手套及基于手势数据采集手套的手语手势识别方法，其特征在于，所述陀螺仪(1)为六轴传感器或九轴传感器；
当陀螺仪(1)为六轴传感器时，所述陀螺仪传感信号包括3轴加速度传感信号、3轴陀螺仪传感信号；
当陀螺仪(1)为九轴传感器时，所述陀螺仪传感信号包括3轴加速度传感信号、3轴陀螺仪传感信号和3轴磁力计传感信号。
3.根据权利要求1所述手势数据采集手套及基于手势数据采集手套的手语手势识别方法，其特征在于，还包括贴置在手套主体内侧的稳压模块；所述稳压模块用于稳定陀螺仪(1)、弯曲传感器(2)、主控模块(3)和通信模块(4)的电压。
4.基于权利要求1至3任一项所述手势数据采集手套的手语手势识别方法，其特征在于，包括以下步骤：
1)使用者佩戴手势数据采集手套，并做出g种中文拼音对应的手势；g为正整数；
2)在使用者做手势过程中，所述陀螺仪(1)和弯曲传感器(2)分别将采集到的陀螺仪传感信号、手指关节弯曲信号发送至主控模块(3)；
主控模块(3)通过通信模块(4)将接收到的陀螺仪传感信号、手指关节弯曲信号发送至上位机；
3)上位机将接收到的陀螺仪传感信号、手指关节弯曲信号存储在传感信号数据集A中，并打上手势类别标签；手势类别集合记为G＝{y1,y2,...,yg}；yg表示第g种中文拼音对应的手势；
上位机对传感信号数据集A进行预处理；
4)对预处理后的传感信号数据集A进行时序分割，建立传感信号数据集X＝[X1，X2，…，XW]；Xi表示使用者做第i个手势时传感器采集的传感信号数据子集；i＝1，2，…，W；
5)对传感信号数据集X进行特征提取，并建立手势训练数据集C；
6)利用手势训练数据集C建立手势识别分类器；所述手势识别分类器包括KNN子分类器、朴素贝叶斯子分类器和BP子分类器；
7)利用手势识别分类器实时识别使用者当前做出的手势。
5.根据权利要求4所述的一种基于自制手势数据采集手套的中国字母手语手势识别方法，其特征在于，使用者在做出任一中文拼音对应的手势前，做出一组起始手势，在做出任一中文拼音对应的手势后，做出一组终止手势。
6.根据权利要求4所述的一种基于自制手势数据采集手套的中国字母手语手势识别方法，其特征在于，对传感信号数据集A进行时序分割的方法为：计算t时刻和t-1时刻同类型传感信号的欧几里得距离d，当d>阈值dmax时，则以t时刻作为时序分割点，对传感信号数据集A进行时序分割；传感信号类型包括弯曲传感信号、陀螺仪传感信号；分割后，每组时序信号的起始点为手势起始标记信号，终止点为手势结束标记信号；手势起始标记信号为使用者做出起始手势时陀螺仪(1)和弯曲传感器(2)采集到的传感信号；手势结束标记信号为使用者做出终止手势时陀螺仪(1)和弯曲传感器(2)采集到的传感信号。
7.根据权利要求4所述的一种基于自制手势数据采集手套的中国字母手语手势识别方法，其特征在于，对传感信号数据集A进行预处理的主要步骤如下：
1)对传感信号进行丢包项删除、异常项删除和冗余数据删除；
2)利用组均值补全法对传感信号数据集A进行缺失值补全，方法为：以缺失项前j项数据、后j项数据的平均值填充缺失项；j为正整数；
3)利用滑动平均滤波方法对传感信号数据集A进行数据平滑；平滑后第n组传感信号a[n]如下所示：
Figure FDA0002503389400000031
式中，as[*]表示滤波前的传感信号；M表示传感信号as[*]相邻M项数据；一组传感信号包括同一时间采集的陀螺仪传感信号和弯曲传感信号。
8.根据权利要求4所述的一种基于自制手势数据采集手套的中国字母手语手势识别方法，其特征在于，传感信号的特征包括均值E(X)、均方值E(X2)、方差S2和标准差S；
其中，均值E(X)如下所示：
Figure FDA0002503389400000032
均方值E(X2)如下所示：
Figure FDA0002503389400000033
方差S2如下所示：
Figure FDA0002503389400000034
标准差S如下所示：
Figure FDA0002503389400000035
9.根据权利要求4所述的一种基于自制手势数据采集手套的中国字母手语手势识别方法，其特征在于，建立BP子分类器的主要步骤如下：
1)初始化BP网络，随机给定隐含层之间权重w、隐含层与输出层之间的权重v、隐藏层神经元的初始阀值θi和输出层神经元的初始阀值rt；
2)将手势训练数据集C输入到初始化的BP网络中，更新隐含层之间权重w、隐含层与输出层之间的权重v、隐藏层神经元的初始阀值θi和输出层神经元的初始阀值rt；
3)重复步骤2)，直至BP网络参数满足误差要求，得到BP子分类器。
10.根据权利要求4所述的一种基于自制手势数据采集手套的中国字母手语手势识别方法，其特征在于，利用手势识别分类器实时识别使用者当前做出的手势的主要步骤如下：
1)陀螺仪(1)、弯曲传感器(2)实时监测使用者当前做出的手势时产生的陀螺仪传感信号和弯曲传感信号，发送至主控模块(3)；
主控模块(3)通过通信模块(4)将接收到的陀螺仪传感信号、手指关节弯曲信号发送至上位机；
2)上位机对当前接收到的陀螺仪传感信号、手指关节弯曲信号进行预处理、时序分割和特征提取，并将提取到的特征数据集x＝{x1,x2,...,xk}发送至手势识别分类器；k为特征数据总数；
3)将特征数据集x输入到KNN子分类器，输出待测手势的预测分类结果Q1，主要步骤为：
3.1)分别计算特征数据集x每个元素与手势训练数据集C中所有元素之间的欧式距离，并基于欧式距离对训练样本集元素进行升序排列，得到手势训练数据集C'；
3.2)提取出手势训练数据集C'前K个元素，并确定K个元素对应的手势类别；
3.3)以出现频率最高的手势类别作为KNN子分类器输出的待测手势的预测分类结果Q1；
4)将特征数据集x输入到朴素贝叶斯子分类器，输出待测手势的预测分类结果Q2，主要方法为：利用贝叶斯公式分别计算概率P(y1|x)、P(y2|x)、....、P(yg|x)；以最大概率对应的手势类别作为朴素贝叶斯子分类器输出的待测手势的预测分类结果Q2；
5)将特征数据集x输入到BP子分类器，输出待测手势的预测分类结果Q3；
6)所述手势识别分类器识别使用者当前手势类别，主要分为以下两种情况：
I)当预测分类结果Q1、预测分类结果Q2、预测分类结果Q3至少有2个预测分类结果存在重复时，以重复的预测分类结果作为使用者当前手势类别Q；
II)当预测分类结果Q1、预测分类结果Q2、预测分类结果Q3均不一致时，使用者当前手势类别Q＝Q1u1+Q2u2+Q3u3；其中，u1、u2、u3分别表示KNN子分类器输出的预测分类结果Q1的可信任度、朴素贝叶斯子分类器输出的预测分类结果Q2的可信任度、BP子分类器输出的预测分类结果Q3的可信任度；
可信任度uq如下所示：
uq＝(TP+TN)/(P+N) (6)
式中，q＝1，2，3；TP表示正确地划分为正例的个数，即实际为正例且被分类器划分为正例的样本数；TN表示被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的样本数；P+N为总样本数。
CN202010439044.XA 2020-05-22 2020-05-22 手势数据采集手套及基于手势数据采集手套的手语手势识别方法 Active CN111708433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010439044.XA CN111708433B (zh) 2020-05-22 2020-05-22 手势数据采集手套及基于手势数据采集手套的手语手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010439044.XA CN111708433B (zh) 2020-05-22 2020-05-22 手势数据采集手套及基于手势数据采集手套的手语手势识别方法

Publications (2)

Publication Number Publication Date
CN111708433A true CN111708433A (zh) 2020-09-25
CN111708433B CN111708433B (zh) 2023-08-18

Family

ID=72537778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010439044.XA Active CN111708433B (zh) 2020-05-22 2020-05-22 手势数据采集手套及基于手势数据采集手套的手语手势识别方法

Country Status (1)

Country Link
CN (1) CN111708433B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112971773A (zh) * 2021-03-12 2021-06-18 哈尔滨工业大学 基于手掌弯曲信息的人手运动模式识别系统
CN112971772A (zh) * 2021-03-12 2021-06-18 哈尔滨工业大学 基于手掌部多模态信息的人手多运动模式识别系统
CN113111156A (zh) * 2021-03-15 2021-07-13 天津理工大学 一种智能听障人士与健全人进行人机交互的系统及其工作方法
CN113238661A (zh) * 2021-07-09 2021-08-10 呜啦啦(广州)科技有限公司 一种数据手套用数据处理方法、系统、电子设备及介质
CN117523225A (zh) * 2024-01-04 2024-02-06 山东瑞邦智能装备股份有限公司 基于机器视觉的手套左右手识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109542220A (zh) * 2018-10-25 2019-03-29 广州大学 一种带有校准和学习功能的手语手套、系统及实现方法
CN109976526A (zh) * 2019-03-27 2019-07-05 广东技术师范大学 一种基于表面肌电传感器和九轴传感器的手语识别方法
CN110163142A (zh) * 2019-05-17 2019-08-23 重庆大学 实时手势识别方法及系统
US20200020165A1 (en) * 2018-07-12 2020-01-16 Bao Tran Smart device
CN110721465A (zh) * 2019-09-02 2020-01-24 重庆大学 一种实时动态追踪的游戏手套

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200020165A1 (en) * 2018-07-12 2020-01-16 Bao Tran Smart device
CN109542220A (zh) * 2018-10-25 2019-03-29 广州大学 一种带有校准和学习功能的手语手套、系统及实现方法
CN109976526A (zh) * 2019-03-27 2019-07-05 广东技术师范大学 一种基于表面肌电传感器和九轴传感器的手语识别方法
CN110163142A (zh) * 2019-05-17 2019-08-23 重庆大学 实时手势识别方法及系统
CN110721465A (zh) * 2019-09-02 2020-01-24 重庆大学 一种实时动态追踪的游戏手套

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AHMAD AKL ET AL.: "《A Novel Accelerometer-Based Gesture Recognition System》", 《IEEE TRANSACTIONS ON SIGNAL PROCESSING》 *
AHMAD AKL ET AL.: "《A Novel Accelerometer-Based Gesture Recognition System》", 《IEEE TRANSACTIONS ON SIGNAL PROCESSING》, 31 December 2011 (2011-12-31) *
冉孟元;刘礼;李艳德;王珊珊: "基于惯性传感器融合控制算法的聋哑手语识别", 计算机科学 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112971773A (zh) * 2021-03-12 2021-06-18 哈尔滨工业大学 基于手掌弯曲信息的人手运动模式识别系统
CN112971772A (zh) * 2021-03-12 2021-06-18 哈尔滨工业大学 基于手掌部多模态信息的人手多运动模式识别系统
CN113111156A (zh) * 2021-03-15 2021-07-13 天津理工大学 一种智能听障人士与健全人进行人机交互的系统及其工作方法
CN113111156B (zh) * 2021-03-15 2022-05-13 天津理工大学 一种智能听障人士与健全人进行人机交互的系统及其工作方法
CN113238661A (zh) * 2021-07-09 2021-08-10 呜啦啦(广州)科技有限公司 一种数据手套用数据处理方法、系统、电子设备及介质
CN113238661B (zh) * 2021-07-09 2021-09-17 呜啦啦(广州)科技有限公司 一种数据手套用数据处理方法、系统、电子设备及介质
CN117523225A (zh) * 2024-01-04 2024-02-06 山东瑞邦智能装备股份有限公司 基于机器视觉的手套左右手识别方法
CN117523225B (zh) * 2024-01-04 2024-04-16 山东瑞邦智能装备股份有限公司 基于机器视觉的手套左右手识别方法

Also Published As

Publication number Publication date
CN111708433B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN111708433A (zh) 手势数据采集手套及基于手势数据采集手套的手语手势识别方法
Wu et al. Orientation independent activity/gesture recognition using wearable motion sensors
US10446059B2 (en) Hand motion interpretation and communication apparatus
CN116226691B (zh) 用于手势姿态感知的智能戒指数据处理方法
Thiemjarus et al. A study on instance-based learning with reduced training prototypes for device-context-independent activity recognition on a mobile phone
Gupta et al. Indian sign language recognition using wearable sensors and multi-label classification
Das et al. Smart glove for sign language communications
US10588517B2 (en) Method for generating a personalized classifier for human motion activities of a mobile or wearable device user with unsupervised learning
Ahmed et al. Real-time sign language framework based on wearable device: analysis of MSL, DataGlove, and gesture recognition
CN111722713A (zh) 多模态融合的手势键盘输入方法、设备、系统及存储介质
Mummadi et al. Real-time embedded recognition of sign language alphabet fingerspelling in an imu-based glove
Calado et al. A geometric model-based approach to hand gesture recognition
Sideridis et al. Gesturekeeper: Gesture recognition for controlling devices in iot environments
Zheng et al. L-sign: Large-vocabulary sign gestures recognition system
CN109542220A (zh) 一种带有校准和学习功能的手语手套、系统及实现方法
Wang et al. Real-time continuous gesture recognition with wireless wearable imu sensors
CN109567814B (zh) 刷牙动作的分类识别方法、计算设备、系统及存储介质
CN115904086A (zh) 基于可穿戴计算的手语识别方法
Avadut et al. A Deep Learning based IoT Framework for Assistive Healthcare using Gesture Based Interface
CN111831122B (zh) 基于多关节数据融合的手势识别系统及方法
Wilson et al. Domain Adaptation Under Behavioral and Temporal Shifts for Natural Time Series Mobile Activity Recognition
Yin et al. A Systematic Review of Human Activity Recognition Based On Mobile Devices: Overview, Progress and Trends
CN110390281B (zh) 一种基于感知设备的手语识别系统及其工作方法
TW201830198A (zh) 手語辨識方法及系統
TWM546589U (zh) 手語辨識系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant