CN109976526A - 一种基于表面肌电传感器和九轴传感器的手语识别方法 - Google Patents

一种基于表面肌电传感器和九轴传感器的手语识别方法 Download PDF

Info

Publication number
CN109976526A
CN109976526A CN201910239349.3A CN201910239349A CN109976526A CN 109976526 A CN109976526 A CN 109976526A CN 201910239349 A CN201910239349 A CN 201910239349A CN 109976526 A CN109976526 A CN 109976526A
Authority
CN
China
Prior art keywords
sign language
data
training
gesture
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910239349.3A
Other languages
English (en)
Inventor
郭海森
施金鸿
李钊华
曾善玲
李嘉豪
何焯正
刁宇桦
李鸿纬
范鸿鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN201910239349.3A priority Critical patent/CN109976526A/zh
Publication of CN109976526A publication Critical patent/CN109976526A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于表面肌电传感器和九轴传感器的手语识别方法，具体涉及手语识别领域，包括以下步骤：步骤一、通过肌电传感器和九轴传感器采集到所有的原始数据；步骤二、通过基于样本熵的信号起始点检测获取待识别手势的有效动作数据；步骤三、通过卡尔曼滤波对待识别手势的有效动作数据进行噪音预处理并输出过滤后的待识别手势数据；步骤四、通过对步骤三中输出的待识别手势数据进行时频域的特征提取并归一化。本发明采用表面肌电信号传感器和九轴传感器融合的方式采集用户手势数据，并通过集成学习模型来进行建模，提高了可识别手语数据量和准确度，同时还加强手语识别的稳定性和容错性。

Description

一种基于表面肌电传感器和九轴传感器的手语识别方法
技术领域
本发明涉及手语识别技术领域，更具体地说，本发明涉及一种基于表面肌电传感器和九轴传感器的手语识别方法。
背景技术
目前手语是聋哑人士使用的语言。手语是用手势比量动作，根据手势的变化模拟形象或者音节以构成的一定意思或词语，它是聋哑人士互相交际和交流思想的语言。但是，手语是一种非常庞大而又复杂的语言系统，让大部分健全人学会手语交流显然不现实。因此，为了帮助聋哑人士保持快速且有效地与健全人的正常交流、沟通，提高他们的独立生活能力和社会幸福感，减轻家庭、社会的负担，手语姿态识别技术的发展尤为重要。
传统的手语识别技术分为基于数据手套的识别技术和基于计算机视觉的手语识别技术这两种；
基于数据手套的识别技术，需要用户佩戴数据手套或者其他的硬件设备，利用传感器采集手指状态和运动轨迹等信息，在让计算机高速运算识别对应的手语。此方式的优点在于识别精确且鲁棒性很好，算法简单、运算快熟，不会受到环境变化和场景复杂等问题影响。而缺点在于设备穿戴不方便、成本高、传感器容易老化，识别手势动作过少等问题。因此，难以投入实际生产应用；
基于计算机视觉的手语识别技术采用单一网络摄像头或立体摄像头虽然能够保证追踪手部运动的精度和速度，却很难处理好复杂背景和光照，在复杂环境下很难实现对应的效果。同时，由于人的皮肤颜色不一，运动速度不均匀，难以得到通用、高效的识别匹配模型。因此也同样难以大量投入实际的生产应用。
发明内容
为了克服现有技术的上述缺陷，尤其是解决基于数据手套的识别技术穿戴不便的问题，本发明提供一种基于表面肌电传感器和九轴传感器的手语识别方法，以此可以提高可识别手语数据量和准确度，同时加强手语识别的稳定性和容错性。
为实现上述目的，本发明提供如下技术方案：一种基于表面肌电传感器和九轴传感器的手语识别方法，包括穿戴于手臂上的臂环，所述臂环上设有一个九轴传感器、八个肌电传感器和一个蓝牙接收器，所述九轴传感器用于检测手臂的运动轨迹和方位，所述表面肌电传感器用于检测不同手势的肌电信号，所述臂环通过蓝牙接收器连接终端设备，手语识别方法具体如下：
步骤一、首先，将臂环佩戴在手臂上，通过肌电传感器和九轴传感器训练采集所有的手语原始数据，经蓝牙接收器发送至终端设备；
步骤二、通过基于样本熵的信号起始点检测获取待识别手势的有效动作数据；
步骤三、通过卡尔曼滤波对待识别手势的有效动作数据进行噪音预处理，并输出过滤后的待识别手势数据；
步骤四、通过对第三步中输出的待识别手势数据进行时频域的特征提取并归一化；
步骤五、构件训练样本集合，并集成训练识别模型，并通过此模型对第四步中的待识别手势数据进行识别；
步骤六、识别手势数据后，经终端设备输出待识别手势的识别结果。
在一个优选的实施方式中，八个所述肌电传感器均匀嵌设于臂环内侧壁，所述九轴传感器和蓝牙接收器设置于臂环内部。
在一个优选的实施方式中，所述肌电传感器和九轴传感器通过A/D传感器与蓝牙接收器连接，所述蓝牙接收器与终端设备通信连接，所述终端设备包括手机或电脑。
在一个优选的实施方式中，所述步骤二中有效动作数据获取方法如下：
首先对肌电信号进行64点滑动窗分帧，计算每帧信号的SampEn值，设定阈值Th对SampEn进行整流得到En，将低于Th的SampEn值置0，保留大于Th的SampEn值；当某时刻整流后的En值大于0，并连续30至150个En值大于0时，该时刻即判定手势的起始点；
设每帧信号{x(i)}，其中i＝1，2，……，N，N为数据长度总和；
SampEn计算方法为：
(1)将每帧信号序列中连续m个值构成的m纬矢量，其中i＝1，2，……N-m+1；
x(i)＝[x(i),x(i+1),Λx(i+m-1)]
(2)定义x(i)与x(j)的距离d[x(i),x(j)]为两者对应元素中差值最大的：
(3)给定相似容差r，对于每一个[i≤N-m，统计d[x(i),x(j)]＜r的个数，并对距离总数N-m-1求均值，得到所有N-m条件下的模版匹配数，对矢量个数总和N-m求平均，记为 Zm(r)：
(4)将矢量纬度m改为m+1，得到Zm+1(r)：
(5)对应每帧数据长度为N的肌电信号，其对应的样本熵值为：
其中r一般取0.1-0.25SD(X)，其中SD是信号的标准差；
该有效动作数据集合记为S＝{s1,s2,Λsn}，其中Si(i＝1,2Λn)＝{Si1,Si2Λ,Si17}。
在一个优选的实施方式中，所述步骤三中卡尔曼滤波对有效动作数据集合记为 S＝{s1,s2,Λsn}，进行噪音预处理并输出过滤后的手势数据B＝{B1,B2,ΛBn}；
(1)定义变量
定义系统参数A＝1,B＝0，
定义系统噪声Q＝10-2
定义测量噪声R＝4
定义由k-1时刻的值去预测k时刻系统的状态值X(k|k-1)
定义由k-1时刻的误差协方差和过程噪声预测新的误差P(k|k-1)
定义卡尔曼增益Kg(k)
定义k时刻的最优状态值X(k|k)
定义k时刻的系统的误差协方差P(k|k)
定义卡尔曼滤波返回的数据集合B＝{B1,B2,ΛBn}，
其中Bi(i＝1,2Λn)＝{Bi1,Bi2Λ,Bi17}；
(2)在有效动作数据集合S＝{s1,s2,Λsn}中选取一个数据集S1＝{Si1,Si2Λ,Si17}，迭代 S1并将其作为初始X(k-1|k-1)的状态值
(3)预测：X(k|k-1)＝A X(k-1|k-1)+B U(k)
P(k|k-1)＝A P(k-1|k-1)A’+Q
(4)修正：Kg(k)＝P(k|k-1)H’/(H P(k|k-1)H’+R)
X(k|k)＝X(k|k-1)+Kg(k)(Z(k)-H X(k|k-1))
P(k|k)＝(I-Kg(k)H)P(k|k-1)
以此不断迭代S1矩阵的每一个值，返回B1；不断迭代数据集合S＝{s1,s2,Λsn}，返回最终过滤后的数据集合B＝{B1,B2,ΛBn}。
在一个优选的实施方式中，所述步骤四中时频域的特征提取方法为：对上面输出的数据集合B＝{B1,B2,ΛBn}进行时频域的特征提取；
(1)计算提取的特征有：
偏度：
峰度：
过零率：
方差：
平均幅值：
能量：
平均值：
平均功率：
中位频率：
(2)对特征数据集合进行标准差的归一化：
其中，x，y分别对应归一化前后数据，μ代表这组数据的均差，σ代表这组数据的方差；
(3)输出的归一化特征数据集合记为X＝{x1,x2,Λxn}，其中xi(i＝1,2Λn)＝{xi1,xi2Λ,xi9}。
在一个优选的实施方式中，所述步骤五中构建训练样本集合方法为：
(1)选取有效动作数据集合所对应的已知手语姿态含义的编码作为已知数据，设y＝{y1,y2,Λyn}
(2)将已知手语姿态含义的编码y＝{y1,y2,Λyn}与归一化后得到的有效动作数据集合X＝{x1,x2,Λxn}构成训练样本集合，记为{(x1,y1),(x2,y2),(xn,yn)}。
在一个优选的实施方式中，所述步骤五中用训练样本集成训练识别模型的具体实施方法：
(1)SVM(支持向量机)模型训练：
样本集为{(x1,y1),(x2,y2),(xn,yn)}，d维空间线性判别函数的一般形式为g(x)＝ωx+b，分类面方程为：ωx+b＝0；
对判别函数进行归一化，使离分类面最近的样|g(x)|＝1，可得到分类间隔2/||ω||，要求分类间隔最大等价于使||ω||最小，而要求分类面将所有样本正确分类，则需满足
yi[(ω·xi)+b]-1≥0，i＝1,2,Λn
因此，满足上述条件且使||ω||最小的分类面就是最优分类面，使上述等号成立的那些样本称作支持向量，则求最优分类面相当于求函数的最小值，由此引入Lagrange函数
式中ai≥0为Lagrange系数；
通过分别对ω，b求偏微分并令他们等于0，最后可得最优解
即最优分类面的系数向量使训练样本向量的线性组合；
根据Kuhn-Tucker条件，这个优化问题的解需要满足
ai(yi[(ω·xi)+b]-1)＝0
求解后得到最优分类函数为
为了解决线性不可分的情况，引入了惩罚因子C，则0≤ai≤c；
迭代每一个训练数据，带模型训练完毕后得出最优分类面的权系数向量；
(2)BP神经网络模型训练：
初始化输入层至隐藏层的连接权值和偏置
为从l-1层第j个神经元与l层第i个神经元之间的连接权重；
为第l层第i个神经元的偏置
将输出向量也即训练数据对应的单个手势编码记为Y＝{y1,y2,Λyq}，q代表输出层单元个数也即识别的手势的个数；
定义第l隐藏层各神经元的输出为
其中si是第l层神经元的个数；
定义神经元的输出和神经元的激活函数
为第l层第i个神经元的输出
激活函数为
定义误差函数为
其中E(i)是单个训练样本的误差：
则
计算神经元的输出：
BP算法每一次迭代按照以下方式对权值以及偏置进行更新：
其中α是学习速率，其值去(0，1)
对于单个训练样本，输出层的权值偏导数计算过程：
同理可得
令：
则：
对隐含层L-1层：
因为，
所以，
同理，
令：
则
判断网络误差是否满足要求，否则选则下一个数据样本及其对应的期望输出，返回到继续单个样本的训练，进入下一轮学习，当误差达到预设精度或学习次数大于设定的最大次数，则结束BP算法，最后获得识别模型；
(3)LSTM模型训练同上，通过长短期记忆神经元正反向传播，能出最终的识别模型，在此不做详细的列举；
(4)Adaboost分类合成，将多个分类器进行合理的结合，使其成为一个强分类器；
初始化训练数据的权值分布
基本的分类器定义为Gm(x)
计算Gm(x)在训练数据集上的分类误差率；
计算Gm(x)的系数
更新训练数据集的权值分布
Dm+1＝(wm+1,1,wm+1，2,wm+1，iΛwm+1，N)
迭代所有的分类器并执行以上3步，得到最终的分类器：
获取最终识别结果的编码
(1)获取待识别的手势数据，分别结果第3步卡尔曼滤波和第4步特征提取后的识别数据；
(2)经过3个模型建立的手语识别模型计算，通过识别机制识别出所对应的手语手势姿态编码。
在一个优选的实施方式中，所述集成学习识别模型主要通过以下步骤训练出来：
步骤一、将肌电传感器和九轴传感器获取的手语的有效动作数据集合以待处理，该有效数据集合记为S＝{s1,s2,Λsn}，其中Si(i＝1,2Λn)＝{Si1,Si2Λ,Si17}；
步骤二、对步骤一中的有效数据集合通过卡尔曼滤波算法进行过滤后的数据集合B＝{B1,B2,ΛBn},其中Bi(i＝1,2Λn)＝{Bi1,Bi2Λ,Bi17}；
步骤三、对B＝{B1,B2,ΛBn}进行特征提取，分别提取每个手语数据的9个时频域特征作为手语特征数据，记为集合X＝{x1,x2,Λxn}，其中xi(i＝1,2Λn)＝{xi1,xi2Λ,xi10}；
步骤四、把步骤三中的手语特征数据所对应的手语含义的编码记为y＝{y1,y2,Λyn}，其中，把这些编码与步骤三得到的可靠手语姿态数据构成训练样本集合 {(x1,y1),(x2,y2),(xn,yn)}，使用该训练样本集合训练SVM支持向量机、BP神经网络和LSTM 神经网络，并通过Adaboost算法集成训练以上3个模型，以此构建集成学习手语识别模型；
步骤五、调用步骤一、步骤二、步骤三获取的待识别手语特征数据，输入到步骤四中得到的集成学习手语识别模型，该识别模型输出的结果即为待识别手语特征数据所对应的手语编码。
本发明的技术效果和优点：
1、本发明采用卡尔曼滤波算法对采集的原始数据进行过滤除杂再优化，再利用集成学习的手语识别模型，不但提高了可识别手语数据量和准确度，同时还加强手语识别的稳定性和容错性；
2、本发明通过将两种传感器设置在臂环内，通过手臂佩戴臂环的形式，采集手语数据，使用佩戴更加方便，传感器与手臂贴合固定设置，检测精度高，解决了现有技术中佩戴数据手套穿戴不方便、成本高、传感器容易老化且识别手势动作过少的问题，同时解决了摄像头识别容易受到环境、肤色以及运动速度不均匀，难以得到通用、高效的识别匹配模型的问题，本发明制作简单，能够大量投入实际生产应用。
附图说明
图1为本发明的整体结构示意图。
图2为本发明的手语识别流程图。
图3为本发明的集成识别模型训练流程图。
附图标记为：1臂环、2九轴传感器、3肌电传感器、4蓝牙接收器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
根据图1-2所示的一种基于表面肌电传感器和九轴传感器的手语识别方法，包括穿戴于手臂上的臂环1，所述臂环1上设有一个九轴传感器2、八个肌电传感器3和一个蓝牙接收器4，所述九轴传感器2用于检测手臂的运动轨迹和方位，所述表面肌电传感器3用于检测不同手势的肌电信号，所述臂环1通过蓝牙接收器4连接终端设备，手语识别方法具体如下：
步骤一、首先，将臂环1佩戴在手臂上，通过肌电传感器3和九轴传感器2训练采集所有的手语原始数据，经蓝牙接收器4发送至终端设备；
步骤二、通过基于样本熵的信号起始点检测获取待识别手势的有效动作数据；
步骤三、通过卡尔曼滤波对待识别手势的有效动作数据进行噪音预处理，并输出过滤后的待识别手势数据；
步骤四、通过对第三步中输出的待识别手势数据进行时频域的特征提取并归一化；
步骤五、构件训练样本集合，并集成训练识别模型，并通过此模型对第四步中的待识别手势数据进行识别；
步骤六、识别手势数据后，经终端设备输出待识别手势的识别结果。
实施例2：
根据图1所示的一种基于表面肌电传感器和九轴传感器的手语识别方法，八个所述肌电传感器3均匀嵌设于臂环1内侧壁，所述九轴传感器2和蓝牙接收器4设置于臂环1内部，所述肌电传感器3和九轴传感器2通过A/D传感器与蓝牙接收器4连接，所述蓝牙接收器4与终端设备通信连接，所述终端设备包括手机或电脑；
通过肌电传感器3检测肌肉运动单位(由肌肉纤维细胞)动作电位波形，九轴传感器2 包括三轴加速计、三轴陀螺仪及三轴磁力计，三轴加速计和三轴陀螺仪分别判断手臂的加速方向和速度大小以及检测设备当前的旋转状态，基本可以描述设备的完整运动状态，但是随着长时间运动，也会产生累计偏差，不能准确描述运动姿态，比如操控画面发生倾斜，三轴磁力计利用测量地球磁场，通过绝对指向功能进行修正补偿，可以有效解决累计偏差，从而修正手臂的运动方向、姿态角度、运动力度和速度等，两个传感器综合使用，并经A/D 传感器将模拟信号转换成数据信号发送给终端设备，并在终端设备显示、待处理，从而能够判断手语姿势，所述九轴传感器2型号设置为MPU-9150，所述肌电传感器3型号设置为SEN0240，所述蓝牙接收器4具体为低功耗蓝牙4.0接收器。
实施例3：
根据图2所示的一种基于表面肌电传感器和九轴传感器的手语识别方法，具体识别方法的实施如下：
步骤一、通过肌电传感器3和九轴传感器2采集到所有的原始数据；
戴上臂环1的过程中，终端设备通过低功耗蓝牙4.0接收器会实时的读取到八个肌电传感器3和九轴传感器2实时的数据，并在终端设备显示、待处理；
步骤二、通过基于样本熵的信号起始点检测采集待识别手势的有效动作数据；
样本熵(Sample Entropy，SampEn)，通过衡量时间序列复杂性度量信号中产生新模式的概率大小；SampEn克服了数据偏差，具有更强的抗噪能力和优异的一致性，同时采用较少的数据段即可得到稳定的熵值；
首先对肌电信号进行64点滑动窗分帧，计算每帧信号的SampEn值，设定阈值Th对SampEn进行整流得到En，将低于Th的SampEn值置0，保留大于Th的SampEn值；当某时刻整流后的En值大于0，并连续30至150个En值大于0时，该时刻即判定手势的起始点；
设每帧信号{x(i)}，其中i＝1，2，……，N，N为数据长度总和；
SampEn计算方法为：
(1)将每帧信号序列中连续m个值构成的m纬矢量，其中i＝1，2，……N-m+1；
x(i)＝[x(i),x(i+1),Λx(i+m-1)]
(2)定义x(i)与x(j)的距离d[x(i),x(j)]为两者对应元素中差值最大的：
(3)给定相似容差r，对于每一个[i≤N-m，统计d[x(i),x(j)]＜r的个数，并对距离总数N-m-1求均值，得到所有N-m条件下的模版匹配数，对矢量个数总和N-m求平均，记为 Zm(r)：
(4)将矢量纬度m改为m+1，得到Zm+1(r)：
(5)对应每帧数据长度为N的肌电信号，其对应的样本熵值为：
其中r一般取0.1-0.25SD(X)，其中SD是信号的标准差；
该有效动作数据集合记为S＝{s1,s2,Λsn}，其中Si(i＝1,2Λn)＝{Si1,Si2Λ,Si17}；
步骤三、通过卡尔曼滤波对有效动作数据集合记为S＝{s1,s2,Λsn}，进行噪音预处理并输出过滤后的手势数据B＝{B1,B2,ΛBn}；
(1)定义变量
定义系统参数A＝1,B＝0，
定义系统噪声Q＝10-2
定义测量噪声R＝4
定义由k-1时刻的值去预测k时刻系统的状态值X(k|k-1)
定义由k-1时刻的误差协方差和过程噪声预测新的误差P(k|k-1)
定义卡尔曼增益Kg(k)
定义k时刻的最优状态值X(k|k)
定义k时刻的系统的误差协方差P(k|k)
定义卡尔曼滤波返回的数据集合B＝{B1,B2,ΛBn}，
其中Bi(i＝1,2Λn)＝{Bi1,Bi2Λ,Bi17}；
(2)在有效动作数据集合S＝{s1,s2,Λsn}中选取一个数据集S1＝{Si1,Si2Λ,Si17}，迭代 S1并将其作为初始X(k-1|k-1)的状态值
(3)预测：X(k|k-1)＝A X(k-1|k-1)+B U(k)
P(k|k-1)＝A P(k-1|k-1)A’+Q
(4)修正：Kg(k)＝P(k|k-1)H’/(H P(k|k-1)H’+R)
X(k|k)＝X(k|k-1)+Kg(k)(Z(k)-H X(k|k-1))
P(k|k)＝(I-Kg(k)H)P(k|k-1)
以此不断迭代S1矩阵的每一个值，返回B1；不断迭代数据集合S＝{s1,s2,Λsn}，返回最终过滤后的数据集合B＝{B1,B2,ΛBn}；
步骤四、对上面输出的数据集合B＝{B1,B2,ΛBn}进行时频域的特征提取；
(1)计算提取的特征有：
偏度：
峰度：
过零率：
方差：
平均幅值：
能量：
平均值：
平均功率：
中位频率：
(2)对特征数据集合进行标准差的归一化：
其中，x，y分别对应归一化前后数据，μ代表这组数据的均差，σ代表这组数据的方差；
(3)输出的归一化特征数据集合记为X＝{x1,x2,Λxn}，其中xi(i＝1,2Λn)＝{xi1,xi2Λ,xi9}；
步骤五、构建训练样本集合：
(1)选取有效动作数据集合所对应的已知手语姿态含义的编码作为已知数据，设y＝{y1,y2,Λyn}；
(2)将已知手语姿态含义的编码y＝{y1,y2,Λyn}与归一化后得到的有效动作数据集合X＝{x1,x2,Λxn}构成训练样本集合，记为{(x1,y1),(x2,y2),(xn,yn)}；
步骤六、用训练样本集成训练识别模型的具体实施方法：
(1)SVM(支持向量机)模型训练：
样本集为{(x1,y1),(x2,y2),(xn,yn)}，d维空间线性判别函数的一般形式为g(x)＝ωx+b，分类面方程为：ωx+b＝0；
对判别函数进行归一化，使离分类面最近的样|g(x)|＝1，可得到分类间隔2/||ω||，要求分类间隔最大等价于使||ω||最小，而要求分类面将所有样本正确分类，则需满足
yi[(ω·xi)+b]-1≥0，i＝1,2,Λn
因此，满足上述条件且使||ω||最小的分类面就是最优分类面，使上述等号成立的那些样本称作支持向量，则求最优分类面相当于求函数的最小值，由此引入Lagrange函数
式中ai≥0为Lagrange系数；
通过分别对ω，b求偏微分并令他们等于0，最后可得最优解
即最优分类面的系数向量使训练样本向量的线性组合；
根据Kuhn-Tucker条件，这个优化问题的解需要满足
ai(yi[(ω·xi)+b]-1)＝0
求解后得到最优分类函数为
为了解决线性不可分的情况，引入了惩罚因子C，则0≤ai≤c；
迭代每一个训练数据，带模型训练完毕后得出最优分类面的权系数向量；
(2)BP神经网络模型训练：
初始化输入层至隐藏层的连接权值和偏置
为从l-1层第j个神经元与l层第i个神经元之间的连接权重；
为第l层第i个神经元的偏置
将输出向量也即训练数据对应的单个手势编码记为Y＝{y1,y2,Λyq}，q代表输出层单元个数也即识别的手势的个数；
定义第l隐藏层各神经元的输出为
其中si是第l层神经元的个数；
定义神经元的输出和神经元的激活函数
为第l层第i个神经元的输出
激活函数为
定义误差函数为
其中E(i)是单个训练样本的误差：
则
计算神经元的输出：
BP算法每一次迭代按照以下方式对权值以及偏置进行更新：
其中α是学习速率，其值去(0，1)
对于单个训练样本，输出层的权值偏导数计算过程：
同理可得
令：
则：
对隐含层L-1层：
因为，
所以，
同理，
令：
则
判断网络误差是否满足要求，否则选则下一个数据样本及其对应的期望输出，返回到继续单个样本的训练，进入下一轮学习，当误差达到预设精度或学习次数大于设定的最大次数，则结束BP算法，最后获得识别模型；
(3)LSTM模型训练同上，通过长短期记忆神经元正反向传播，能出最终的识别模型，在此不做详细的列举；
(4)Adaboost分类合成，将多个分类器进行合理的结合，使其成为一个强分类器；
初始化训练数据的权值分布
基本的分类器定义为Gm(x)
计算Gm(x)在训练数据集上的分类误差率；
计算Gm(x)的系数
更新训练数据集的权值分布
Dm+1＝(wm+1,1,wm+1，2,wm+1，iΛwm+1，N)
迭代所有的分类器并执行以上3步，得到最终的分类器：
获取最终识别结果的编码
(1)获取待识别的手势数据，分别结果第3步卡尔曼滤波和第4步特征提取后的识别数据；
(2)经过3个模型建立的手语识别模型计算，通过识别机制识别出所对应的手语手势姿态编码。
与现有技术相比，本发明采用表面肌电信号和九轴传感器融合的方式采集用户手势数据，对原始数据进行过滤除杂，特征化，并通过集成学习模型来进行建模，不但可以提高可识别手语数据量和准确度，还加强了手语识别的稳定性和容错性。
以上已将本发明做一详细说明，但显而易见，本领域的技术人员可以进行各种改变和改进，而不背离所附权利要求书所限定的本发明的范围。
实施例4：
根据图3所示的一种基于表面肌电传感器和九轴传感器的手语识别方法，所述集成学习识别模型主要通过以下步骤训练出来：
步骤一、将肌电传感器3和九轴传感器2获取的手语的有效动作数据集合以待处理，该有效数据集合记为S＝{s1,s2,Λsn}，其中Si(i＝1,2Λn)＝{Si1,Si2Λ,Si17}；
步骤二、对步骤一中的有效数据集合通过卡尔曼滤波算法进行过滤后的数据集合B＝{B1,B2,ΛBn},其中Bi(i＝1,2Λn)＝{Bi1,Bi2Λ,Bi17}；
步骤三、对B＝{B1,B2,ΛBn}进行特征提取，分别提取每个手语数据的9个时频域特征作为手语特征数据，记为集合X＝{x1,x2,Λxn}，其中xi(i＝1,2Λn)＝{xi1,xi2Λ,xi10}；
步骤四、把步骤三中的手语特征数据所对应的手语含义的编码记为y＝{y1,y2,Λyn}，其中，把这些编码与步骤三得到的可靠手语姿态数据构成训练样本集合 {(x1,y1),(x2,y2),(xn,yn)}，使用该训练样本集合训练SVM支持向量机、BP神经网络和LSTM 神经网络，并通过Adaboost算法集成训练以上3个模型，以此构建集成学习手语识别模型；
步骤五、调用步骤一、步骤二、步骤三获取的待识别手语特征数据，输入到步骤四中得到的集成学习手语识别模型，该识别模型输出的结果即为待识别手语特征数据所对应的手语编码。
最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；
其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于表面肌电传感器和九轴传感器的手语识别方法，包括穿戴于手臂上的臂环(1)，其特征在于：所述臂环(1)上设有一个九轴传感器(2)、八个肌电传感器(3)和一个蓝牙接收器(4)，所述九轴传感器(2)用于检测手臂的运动轨迹和方位，所述表面肌电传感器(3)用于检测不同手势的肌电信号，所述臂环(1)通过蓝牙接收器(4)连接终端设备，手语识别方法具体如下：
步骤一、首先，将臂环(1)佩戴在手臂上，通过肌电传感器(3)和九轴传感器(2)训练采集所有的手语原始数据，经蓝牙接收器(4)发送至终端设备；
步骤二、通过基于样本熵的信号起始点检测获取待识别手势的有效动作数据；
步骤三、通过卡尔曼滤波对待识别手势的有效动作数据进行噪音预处理，并输出过滤后的待识别手势数据；
步骤四、通过对第三步中输出的待识别手势数据进行时频域的特征提取并归一化；
步骤五、构件训练样本集合，并集成训练识别模型，并通过此模型对第四步中的待识别手势数据进行识别；
步骤六、识别手势数据后，经终端设备输出待识别手势的识别结果。
2.根据权利要求1所述的一种基于表面肌电传感器和九轴传感器的手语识别方法，其特征在于：八个所述肌电传感器(3)均匀嵌设于臂环(1)内侧壁，所述九轴传感器(2)和蓝牙接收器(4)设置于臂环(1)内部。
3.根据权利要求1所述的一种基于表面肌电传感器和九轴传感器的手语识别方法，其特征在于：所述肌电传感器(3)和九轴传感器(2)通过A/D传感器与蓝牙接收器(4)连接，所述蓝牙接收器(4)与终端设备通信连接，所述终端设备包括手机或电脑。
4.根据权利要求1所述的一种基于表面肌电传感器和九轴传感器的手语识别方法，其特征在于：所述步骤二中有效动作数据获取方法如下：
首先对肌电信号进行64点滑动窗分帧，计算每帧信号的SampEn值，设定阈值Th对SampEn进行整流得到En，将低于Th的SampEn值置0，保留大于Th的SampEn值；当某时刻整流后的En值大于0，并连续30至150个En值大于0时，该时刻即判定手势的起始点；
设每帧信号{x(i)}，其中i＝1，2，……，N，N为数据长度总和；
SampEn计算方法为：
(1)将每帧信号序列中连续m个值构成的m纬矢量，其中i＝1，2，……N-m+1；
x(i)＝[x(i),x(i+1),…x(i+m-1)]
(2)定义x(i)与x(j)的距离d[x(i),x(j)]为两者对应元素中差值最大的：
(3)给定相似容差r，对于每一个[i≤N-m，统计d[x(i),x(j)]〈r的个数，并对距离总数N-m-1求均值，得到所有N-m条件下的模版匹配数，对矢量个数总和N-m求平均，记为Zm(r)：
(4)将矢量纬度m改为m+1，得到Zm+1(r)：
(5)对应每帧数据长度为N的肌电信号，其对应的样本熵值为：
其中r一般取0.1-0.25SD(X)，其中SD是信号的标准差；
该有效动作数据集合记为S＝{s1,s2,…sn}，其中Si(i＝1,2…n)＝{Si1,Si2…,Si17}。
5.根据权利要求4所述的一种基于表面肌电传感器和九轴传感器的手语识别方法，其特征在于：所述步骤三中卡尔曼滤波对有效动作数据集合记为S＝{s1,s2,…sn}，进行噪音预处理并输出过滤后的手势数据B＝{B1,B2,…Bn}；
(1)定义变量
定义系统参数A＝1,B＝0，
定义系统噪声Q＝10-2
定义测量噪声R＝4
定义由k-1时刻的值去预测k时刻系统的状态值X(k|k-1)
定义由k-1时刻的误差协方差和过程噪声预测新的误差P(k|k-1)
定义卡尔曼增益Kg(k)
定义k时刻的最优状态值X(k|k)
定义k时刻的系统的误差协方差P(k|k)
定义卡尔曼滤波返回的数据集合B＝{B1,B2,…Bn}，
其中Bi(i＝1,2…n)＝{Bi1,Bi2…,Bi17}；
(2)在有效动作数据集合S＝{s1,s2,…sn}中选取一个数据集S1＝{Si1,Si2…,Si17}，迭代S1并将其作为初始X(k-1|k-1)的状态值
(3)预测：X(k|k-1)＝A X(k-1|k-1)+B U(k)
P(k|k-1)＝A P(k-1|k-1)A’+Q
(4)修正：Kg(k)＝P(k|k-1)H’/(H P(k|k-1)H’+R)
X(k|k)＝X(k|k-1)+Kg(k)(Z(k)-H X(k|k-1))
P(k|k)＝(I-Kg(k)H)P(k|k-1)
以此不断迭代S1矩阵的每一个值，返回B1；不断迭代数据集合S＝{s1,s2,…sn}，返回最终过滤后的数据集合B＝{B1,B2,…Bn}。
6.根据权利要求5所述的一种基于表面肌电传感器和九轴传感器的手语识别方法，其特征在于：所述步骤四中时频域的特征提取方法为：对上面输出的数据集合B＝{B1,B2,…Bn}进行时频域的特征提取；
(1)计算提取的特征有：
偏度：
峰度：
过零率：
方差：
平均幅值：
能量：
平均值：
平均功率：
中位频率：
(2)对特征数据集合进行标准差的归一化：
其中，x，y分别对应归一化前后数据，μ代表这组数据的均差，σ代表这组数据的方差；
(3)输出的归一化特征数据集合记为X＝{x1,x2,…xn}，其中xi(i＝1,2…n)＝{xi1,xi2…,xi9}。
7.根据权利要求6所述的一种基于表面肌电传感器和九轴传感器的手语识别方法，其特征在于：所述步骤五中构建训练样本集合方法为：
(1)选取有效动作数据集合所对应的已知手语姿态含义的编码作为已知数据，设y＝{y1,y2,…yn}；
(2)将已知手语姿态含义的编码y＝{y1,y2,…yn}与归一化后得到的有效动作数据集合X＝{x1,x2,…xn}构成训练样本集合，记为{(x1,y1),(x2,y2),(xn,yn)}。
8.根据权利要求7所述的一种基于表面肌电传感器和九轴传感器的手语识别方法，其特征在于：所述步骤五中用训练样本集成训练识别模型的具体实施方法：
(1)SVM(支持向量机)模型训练：
样本集为{(x1,y1),(x2,y2),(xn,yn)}，d维空间线性判别函数的一般形式为g(x)＝ωx+b，分类面方程为：ωx+b＝0；
对判别函数进行归一化，使离分类面最近的样|g(x)|＝1，可得到分类间隔2/||ω||，要求分类间隔最大等价于使||ω||最小，而要求分类面将所有样本正确分类，则需满足
yi[(ω·xi)+b]-1≥0，i＝1,2,…n
因此，满足上述条件且使||ω||最小的分类面就是最优分类面，使上述等号成立的那些样本称作支持向量，则求最优分类面相当于求函数的最小值，由此引入Lagrange函数
式中ai≥0为Lagrange系数；
通过分别对ω，b求偏微分并令他们等于0，最后可得最优解
即最优分类面的系数向量使训练样本向量的线性组合；
根据Kuhn-Tucker条件，这个优化问题的解需要满足
ai(yi[(ω·xi)+b]-1)＝0
求解后得到最优分类函数为
为了解决线性不可分的情况，引入了惩罚因子C，则0≤ai≤c；
迭代每一个训练数据，带模型训练完毕后得出最优分类面的权系数向量；
(2)BP神经网络模型训练：
初始化输入层至隐藏层的连接权值和偏置为从l-1层第j个神经元与l层第i个神经元之间的连接权重；
为第l层第i个神经元的偏置
将输出向量也即训练数据对应的单个手势编码记为Y＝{y1,y2,…yq}，q代表输出层单元个数也即识别的手势的个数；
定义第l隐藏层各神经元的输出为
其中si是第l层神经元的个数；
定义神经元的输出和神经元的激活函数
为第l层第i个神经元的输出
激活函数为
定义误差函数为
其中E(i)是单个训练样本的误差：
则
计算神经元的输出：
BP算法每一次迭代按照以下方式对权值以及偏置进行更新：
其中α是学习速率，其值去(0，1)
对于单个训练样本，输出层的权值偏导数计算过程：
同理可得
令：
则：
对隐含层L-1层：
因为，
所以，
同理，
令：
则
判断网络误差是否满足要求，否则选则下一个数据样本及其对应的期望输出，返回到继续单个样本的训练，进入下一轮学习，当误差达到预设精度或学习次数大于设定的最大次数，则结束BP算法，最后获得识别模型；
(3)LSTM模型训练同上，通过长短期记忆神经元正反向传播，能出最终的识别模型，在此不做详细的列举；
(4)Adaboost分类合成，将多个分类器进行合理的结合，使其成为一个强分类器；
初始化训练数据的权值分布
基本的分类器定义为Gm(x)
计算Gm(x)在训练数据集上的分类误差率；
计算Gm(x)的系数
更新训练数据集的权值分布
Dm+1＝(wm+1,1,wm+1，2,wm+1，i…wm+1，N)
迭代所有的分类器并执行以上3步，得到最终的分类器：
获取最终识别结果的编码
(1)获取待识别的手势数据，分别结果第3步卡尔曼滤波和第4步特征提取后的识别数据；
(2)经过3个模型建立的手语识别模型计算，通过识别机制识别出所对应的手语手势姿态编码。
9.根据权利要求8所述的一种基于表面肌电传感器和九轴传感器的手语识别方法，其特征在于：所述集成学习识别模型主要通过以下步骤训练出来：
步骤一、将肌电传感器(3)和九轴传感器(2)获取的手语的有效动作数据集合以待处理，该有效数据集合记为S＝{s1,s2,…sn}，其中Si(i＝1,2…n)＝{Si1,Si2…,Si17}；
步骤二、对步骤一中的有效数据集合通过卡尔曼滤波算法进行过滤后的数据集合B＝{B1,B2,…Bn},其中Bi(i＝1,2…n)＝{Bi1,Bi2…,Bi17}；
步骤三、对B＝{B1,B2,…Bn}进行特征提取，分别提取每个手语数据的9个时频域特征作为手语特征数据，记为集合X＝{x1,x2,…xn}，其中xi(i＝1,2…n)＝{xi1,xi2…,xi10}；
步骤四、把步骤三中的手语特征数据所对应的手语含义的编码记为y＝{y1,y2,…yn}，其中，把这些编码与步骤三得到的可靠手语姿态数据构成训练样本集合{(x1,y1),(x2,y2),(xn,yn)}，使用该训练样本集合训练SVM支持向量机、BP神经网络和LSTM神经网络，并通过Adaboost算法集成训练以上3个模型，以此构建集成学习手语识别模型；
步骤五、调用步骤一、步骤二、步骤三获取的待识别手语特征数据，输入到步骤四中得到的集成学习手语识别模型，该识别模型输出的结果即为待识别手语特征数据所对应的手语编码。
CN201910239349.3A 2019-03-27 2019-03-27 一种基于表面肌电传感器和九轴传感器的手语识别方法 Pending CN109976526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910239349.3A CN109976526A (zh) 2019-03-27 2019-03-27 一种基于表面肌电传感器和九轴传感器的手语识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910239349.3A CN109976526A (zh) 2019-03-27 2019-03-27 一种基于表面肌电传感器和九轴传感器的手语识别方法

Publications (1)

Publication Number Publication Date
CN109976526A true CN109976526A (zh) 2019-07-05

Family

ID=67081066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910239349.3A Pending CN109976526A (zh) 2019-03-27 2019-03-27 一种基于表面肌电传感器和九轴传感器的手语识别方法

Country Status (1)

Country Link
CN (1) CN109976526A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705496A (zh) * 2019-10-11 2020-01-17 成都乐动信息技术有限公司 一种基于九轴传感器的游泳姿势识别方法
CN111428639A (zh) * 2020-03-24 2020-07-17 京东方科技集团股份有限公司 手势识别模型的训练方法、手势识别方法及装置
CN111476295A (zh) * 2020-04-07 2020-07-31 金陵科技学院 一种基于gs-lssvm的多通道生理信号体感姿势识别方法
CN111708433A (zh) * 2020-05-22 2020-09-25 重庆大学 手势数据采集手套及基于手势数据采集手套的手语手势识别方法
CN111984119A (zh) * 2020-08-18 2020-11-24 哈尔滨工业大学（深圳） 手势识别模型建立方法、手势识别方法、装置及数据手套
CN112686132A (zh) * 2020-12-28 2021-04-20 南京工程学院 一种手势识别方法及装置
CN113081703A (zh) * 2021-03-10 2021-07-09 上海理工大学 一种助行器使用者方向意图判别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293057A (zh) * 2016-07-20 2017-01-04 西安中科比奇创新科技有限责任公司 基于bp神经网络的手势识别方法
CN107506749A (zh) * 2017-09-12 2017-12-22 广东技术师范学院 一种手语识别方法
CN109192007A (zh) * 2018-09-21 2019-01-11 杭州电子科技大学 一种基于肌电运动感知的ar手语识别方法及教学方法
CN109508088A (zh) * 2018-10-23 2019-03-22 诺百爱（杭州）科技有限责任公司 一种基于肌电信号手语识别翻译臂环及手语识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293057A (zh) * 2016-07-20 2017-01-04 西安中科比奇创新科技有限责任公司 基于bp神经网络的手势识别方法
CN107506749A (zh) * 2017-09-12 2017-12-22 广东技术师范学院 一种手语识别方法
CN109192007A (zh) * 2018-09-21 2019-01-11 杭州电子科技大学 一种基于肌电运动感知的ar手语识别方法及教学方法
CN109508088A (zh) * 2018-10-23 2019-03-22 诺百爱（杭州）科技有限责任公司 一种基于肌电信号手语识别翻译臂环及手语识别方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705496A (zh) * 2019-10-11 2020-01-17 成都乐动信息技术有限公司 一种基于九轴传感器的游泳姿势识别方法
CN110705496B (zh) * 2019-10-11 2023-04-18 成都乐动信息技术有限公司 一种基于九轴传感器的游泳姿势识别方法
CN111428639A (zh) * 2020-03-24 2020-07-17 京东方科技集团股份有限公司 手势识别模型的训练方法、手势识别方法及装置
WO2021190046A1 (zh) * 2020-03-24 2021-09-30 京东方科技集团股份有限公司 手势识别模型的训练方法、手势识别方法及装置
CN111476295A (zh) * 2020-04-07 2020-07-31 金陵科技学院 一种基于gs-lssvm的多通道生理信号体感姿势识别方法
CN111708433A (zh) * 2020-05-22 2020-09-25 重庆大学 手势数据采集手套及基于手势数据采集手套的手语手势识别方法
CN111708433B (zh) * 2020-05-22 2023-08-18 重庆大学 手势数据采集手套及基于手势数据采集手套的手语手势识别方法
CN111984119A (zh) * 2020-08-18 2020-11-24 哈尔滨工业大学（深圳） 手势识别模型建立方法、手势识别方法、装置及数据手套
CN112686132A (zh) * 2020-12-28 2021-04-20 南京工程学院 一种手势识别方法及装置
CN113081703A (zh) * 2021-03-10 2021-07-09 上海理工大学 一种助行器使用者方向意图判别方法及装置

Similar Documents

Publication Publication Date Title
CN109976526A (zh) 一种基于表面肌电传感器和九轴传感器的手语识别方法
CN110309861B (zh) 一种基于生成对抗网络的多模态人类活动识别方法
US10905383B2 (en) Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
CN105550678B (zh) 基于全局显著边缘区域的人体动作特征提取方法
CN116226691B (zh) 用于手势姿态感知的智能戒指数据处理方法
CN108446733A (zh) 一种基于多传感器数据的人体行为监测及智能识别方法
CN110113116B (zh) 基于wifi信道信息的人体行为识别方法
US20200229710A1 (en) Method for generating a personalized classifier for human motion activities of a mobile or wearable device user with unsupervised learning
US10126108B2 (en) Apparatus and method for classifying orientation of a body of a mammal
CN109784412A (zh) 用于步态分类的基于深度学习的多传感器信号融合方法
CN111722713A (zh) 多模态融合的手势键盘输入方法、设备、系统及存储介质
CN107092882B (zh) 一种基于子动作感知的行为识别系统及其工作方法
CN114495267A (zh) 基于多维数据融合的老人跌倒风险评估方法
CN111708433A (zh) 手势数据采集手套及基于手势数据采集手套的手语手势识别方法
CN112464738A (zh) 改进朴素贝叶斯算法基于手机传感器的用户行为识别方法
CN110532898A (zh) 一种基于智能手机多传感器融合的人体活动识别方法
CN109770913A (zh) 一种基于反向传播神经网络的步态异常识别方法
CN115346272A (zh) 基于深度图像序列的实时摔倒检测方法
Liu et al. A fully connected deep learning approach to upper limb gesture recognition in a secure FES rehabilitation environment
KR101755242B1 (ko) 근전도 센서와 모션 센서를 이용한 지화 인식 장치 및 그것을 이용한 지화 인식 방법
CN107967944A (zh) 一种基于Hadoop的户外环境大数据人体健康监测方法与平台
CN111291804A (zh) 基于注意力机制的多传感器时间序列分析模型
Luqian et al. Human activity recognition using time series pattern recognition model-based on tsfresh features
CN110807471A (zh) 一种多模态传感器的行为识别系统及识别方法
CN114341947A (zh) 用于使用可穿戴设备的锻炼类型辨识的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190705