CN111382699A - 基于粒子群优化lstm算法的动态手势识别方法 - Google Patents

基于粒子群优化lstm算法的动态手势识别方法 Download PDF

Info

Publication number
CN111382699A
CN111382699A CN202010157364.6A CN202010157364A CN111382699A CN 111382699 A CN111382699 A CN 111382699A CN 202010157364 A CN202010157364 A CN 202010157364A CN 111382699 A CN111382699 A CN 111382699A
Authority
CN
China
Prior art keywords
lstm
gesture recognition
data
dynamic
particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010157364.6A
Other languages
English (en)
Inventor
杨忠
宋爱国
徐宝国
张艳
张曌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinling Institute of Technology
Original Assignee
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinling Institute of Technology filed Critical Jinling Institute of Technology
Priority to CN202010157364.6A priority Critical patent/CN111382699A/zh
Publication of CN111382699A publication Critical patent/CN111382699A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)

Abstract

基于粒子群优化LSTM算法的动态手势识别方法。Step1：采集手势数据；Step2：样本数据处理；Step3：特征提取；Step4：搭建基于LSTM的动态手势识别模型；Step5：PSO算法优化训练获得最优动态手势识别模型；Step6：基于最优动态手势识别模型在线测试。本发明提出了一种基于云端智能手套数据和粒子群优化LSTM算法的手势识别方法，具有较高的手势识别精度和系统鲁棒性。

Description

基于粒子群优化LSTM算法的动态手势识别方法
技术领域
本发明涉及动态手势识别方法领域，特别是涉及基于粒子群优化LSTM算法的动态手势识别方法。
背景技术
随着时代与经济的发展，以人为本的人机交互模式越来越多地出现在人们的工作和生活中，成为了提高人们智能化生活水平的重要方式之一。由于距离、安全、效率等客观因素，许多工作需要一种自然友好的字符输入方式，这其中就涉及到手势识别技术。当前手势识别的方法主要是基于计算机视觉技术的。基于计算机视觉的手势识别主要是利用摄像头采集手势动作的图像或视频，通过图像处理技术和计算机视觉的方法识别手势。但是，这种方法计算量巨大，对后端识别系统硬件配置要求高，并且容易受到光照条件以及障碍物的影响，在实际应用中存在很大的局限性。
近年来，多传感器采集的可穿戴智能交互设备技术日益成熟，在体能康健、高危工作机器人等领域有着广泛的应用。数据手套是其中广为应用的智能交互设备之一，它是一种多模式的虚拟现实硬件，通过软件编程，可进行虚拟场景中物体的抓取、移动、旋转等动作，也可以利用它的多模式性，用作一种控制场景漫游的工具。数据手套的出现，为虚拟现实系统提供了一种全新的交互手段，产品已经能够检测手指的弯曲，并利用磁定位传感器来精确地定位出手在三维空间中的位置，这可解决手势识别的特征提取问题。另一方面，随着DNN等框架革命性的出现，深度学习理论和应用的研究突飞猛进。长短时记忆网络(LSTM)模型在处理时序问题上有着显著的优势。
发明内容
为解决上述问题，本发明提出了一种基于云端智能手套数据和粒子群优化LSTM算法的手势识别方法，具有较高的手势识别精度和系统鲁棒性。为达此目的，本发明提供基于粒子群优化LSTM算法的动态手势识别方法，具体步骤如下，其特征在于：
Step1：采集手势数据；
设立佩戴的数据手套可以实时采集到佩戴者手部关键节点的轨迹信息，可以和人体躯干腰带坐标定位器匹配建立xyz三轴坐标系，其中，以人体腰部躯干中心点为原点，大地垂直方向为Z轴，人体腰部躯干方向为X轴，垂直X轴方向为Y轴，佩戴者面对四个方向，多次做出10个阿拉伯数字和26个英文字母的动态手势，在数据采集过程中，数据手套采集每次手势动作时中指中心位置(xraw,t,yraw,t,zraw,t)的轨迹，并通过数据手套的云端通信模块上传至数据记忆单元，多次采集轨迹数据，采样相应的间隔，并标记相应的手势类别标签，生成动态识别原始样本集；
Step2：样本数据处理；
建立轨迹位置坐标xraw,t与采集时间t的三次项关系式；
y＝a0+a1x+a2x2+a3x3
其中a0、a1、a2、a3为多项式各系数，y对应轨迹位置坐标xraw,t，x对应采集时间t，设定动态时窗为1s，每个时窗内包含5个点，五个点分别为；(x-2,y-2),(x-1,y-1),(x0,y0),(x1,y1),(x2,y2)，将五个点的坐标一一代入，即有方程组
Figure BDA0002404560480000021
基于最小二乘法，方程组可转为；
Figure BDA0002404560480000022
上列方程组可用矩阵表示为Y5×1＝X5×4·A4×1+E5×1；
解得A的最小二乘解
Figure BDA0002404560480000023
则滤波后的值
Figure BDA0002404560480000024
从而对轨迹位置坐标xraw,t数据平滑与降噪，同理，对轨迹位置坐标yraw,t和zraw,t进行平滑与降噪处理；
Step3：特征提取；
设平滑降噪后的手势运动轨迹(x1,y1,z1),(x2,y2,z2),…,(xT,yT,zT)可表示为T个离散点组成的轨迹序列，确立轨迹序列的中心点
Figure BDA0002404560480000025
以中心点h0(x0,y0,z0)为起点，与各轨迹点ht(xt,yt,zt)形成向量h0ht，向量的模和与x轴，y轴的方向角为
Figure BDA0002404560480000031
设dmax＝max{dt|t＝1,2,…,T}，将各个模量化成[0,10]之间的数ηt＝10*(dt/dmax)，将360度每隔30度分区编码为1,2，……，12编码，根据编码规则将
Figure BDA0002404560480000032
转换为λt,x、λt,y，则每个时刻特征提取量为Xt＝[ηt,λt,x,λt,y]，那么，样本集样本可以表示为[X,Y],其中X＝X1X2…Xh，Y为样本对应的手势类别；
Step4：搭建基于LSTM的动态手势识别模型；
由于每次手势提取的特征数据序列长度不同，因此在LSTM层前，增加一层Padding层，使得序列整合成相同长度，搭建的基于LSTM的动态手势识别模型，由三层LSTM层组成；
所述的每层LSTM模型由四个部分组成，分别为输入门，忘记门、输出门和细胞状态；其中神经元细胞中每个时刻不同门的更新公式如下：
遗忘门：ft＝sigmoid(wf*[ht-1,xt]+bf)
输入门：it＝sigmoid(wi*[ht-1,xt]+bi)
输入的候选状态：
Figure BDA0002404560480000033
记忆细胞的输出：
Figure BDA0002404560480000034
输出门：ot＝sigmoid(wo*[ht-1,xt]+bo)
单元输出：ht＝ot*tanh(ct)
其中，wi、wf、wo、wc分别为输入门、遗忘门、输出门以及细胞状态的权值矩阵；bi、bf、bo、bc为对应的偏置项；ht-1为t-1时刻的隐藏层状态；xt为t时刻的输入向量；tanh为双曲正切激活函数；
在最后一层LSTM后接全连接层，最后通过Softmax层输出每个手势类别的概率；
Step5：PSO算法优化训练获得最优动态手势识别模型；
采用粒子群算法优化三层LSTM单元的个数、训练批次大小以及全连接层的单元个数，其步骤如下:
将动态手势样本集以8:2的比例分为训练样本集和验证样本集；采用实数编码方式，在创建的每个个体为5维的向量个体，向量中的每个个体的编码值的范围在-1到1之间，选取种群大小为30，迭代次数为50，确定位置边界和速度边界，随机初始化群体中每个粒子的位置和速度，以粒子位置作为超参数带入LSTM网络结合训练样本集进行训练，其中损失函数为分类交叉熵函数，以验证样本集的损失函数值作为各粒子的适应度值，同时得出个体最优位置Pp和群体最优位置Pg以及它们对应的个体极值和群体极值，更新粒子速度Vi,k+1＝wVi,k+c1r1(Pp,k-Xi,k)+c2r2(Pg,k-Xi,k)，其中Vi,k+1为第k次迭代中第i个粒子的速度，c1、c2分别为加速因子，r1、r2为0-1之间的随机数，若计算的值超出速度范围则用边界值代替，更新粒子位置Xi,k+1＝Xi,k+Vi,k+1，其中，Xi,k+1为第k次迭代中第i个粒子的位置，若计算的值超出速度范围则用边界值代替，重新计算适应度值后，更新极值对应的例子位置，若误差达到精度要求则结束PSO寻优，得出寻优后的最优粒子位置作为优化后的动态手势识别LSTM网络的超参数，并结合样本集进行训练，得出最优的PSO-LSTM动态手势识别模型。
Step6：基于最优动态手势识别模型在线测试；
在建立了最优的PSO-LSTM动态手势识别模型后，将此模型嵌入到上位机系统，实际使用过程中，数据手套实时采集手部轨迹数据，经记忆单元储存，经云端通讯器上传至上位机系统，上位机系统完成特征提取，并调用训练好的最优模型进行在线测试，根据网络得出手势类别概率最大值的类别，最终得出动态手势识别结果。
作为本发明进一步改进，步骤一多次采集轨迹数据，采样间隔为0.2s。
本发明基于粒子群优化LSTM算法的动态手势识别方法，本发明的有益效用：
1)本发明提出使用深度学习算法识别动态手势，具有较高的识别精度和智能化水平，方便快捷。
2)本发明提出的基于云端数据手套轨迹数据对动态手势进行识别，不受光照等客观因素的限制，识别系统鲁棒性较好。
3)在对动态手势识别时，对数据手套轨迹数据进行了降噪平滑处理和特征提取，使得特征更能够表征手势，提高了识别算法精度。
4)本发明动态手势识别系统设计基于PSO优化LSTM动态手势识别算法，使用一组随机解决方案进行初始化，并通过更新代数搜索最优解，在最小化和神经网络设计中具有很强的全局搜索能力，具有较好的泛化能力。
附图说明
图1为本发明的流程图；
图2为本发明特征提取方向角量化编码方式示意图；
图3为本发明遗传算法优化SVM模型流程示意图；
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提出了一种基于云端智能手套数据和粒子群优化LSTM算法的手势识别方法，具有较高的手势识别精度和系统鲁棒性。
本发明流程图如图1所示，特征提取方向角量化编码方式如图2所示，遗传算法优化SVM模型流程如图3所示；
具体实施例如下：
Step1：采集手势数据
设立佩戴的数据手套可以实时采集到佩戴者手部关键节点的轨迹信息，可以和人体躯干腰带坐标定位器匹配建立xyz三轴坐标系，其中，以人体腰部躯干中心点为原点，大地垂直方向为Z轴，人体腰部躯干方向为X轴，垂直X轴方向为Y轴。佩戴者面对四个方向，多次做出10个阿拉伯数字和26个英文字母的动态手势。我们关注到，人的手部在画出字符时，中指的中心位置轨迹可以拟合出字符的形状。在数据采集过程中，数据手套采集每次手势动作时中指中心位置(xraw,t,yraw,t,zraw,t)的轨迹，并通过数据手套的云端通信模块上传至数据记忆单元。多次采集轨迹数据，采样间隔为0.2s，并标记相应的手势类别标签，生成动态识别原始样本集。
Step2：样本数据处理
建立轨迹位置坐标xraw,t与采集时间t的三次项关系式
y＝a0+a1x+a2x2+a3x3
其中a0、a1、a2、a3为多项式各系数，y对应轨迹位置坐标xraw,t，x对应采集时间t。设定动态时窗为1s(每个时窗内包含5个点)，五个点分别为(x-2,y-2),(x-1,y-1),(x0,y0),(x1,y1),(x2,y2)，将五个点的坐标一一代入，即有方程组
Figure BDA0002404560480000061
基于最小二乘法，方程组可转为
Figure BDA0002404560480000062
上列方程组可用矩阵表示为Y5×1＝X5×4·A4×1+E5×1。
解得A的最小二乘解
Figure BDA0002404560480000063
则滤波后的值
Figure BDA0002404560480000064
从而对轨迹位置坐标xraw,t数据平滑与降噪。同理，对轨迹位置坐标yraw,t和zraw,t进行平滑与降噪处理。
Step3：特征提取
设平滑降噪后的手势运动轨迹(x1,y1,z1),(x2,y2,z2),…,(xT,yT,zT)可表示为T个离散点组成的轨迹序列，确立轨迹序列的中心点
Figure BDA0002404560480000065
以中心点h0(x0,y0,z0)为起点，与各轨迹点ht(xt,yt,zt)形成向量h0ht，向量的模和与x轴，y轴的方向角为
Figure BDA0002404560480000066
设dmax＝max{dt|t＝1,2,…,T}，将各个模量化成[0,10]之间的数ηt＝10*(dt/dmax)
，将360度每隔30度分区编码为1,2，……，12编码，根据编码规则将
Figure BDA0002404560480000071
转换为λt,x、λt,y，则每个时刻特征提取量为Xt＝[ηt,λt,x,λt,y]。那么，样本集样本可以表示为[X,Y],其中X＝X1X2…Xh，Y为样本对应的手势类别。
Step4：搭建基于LSTM的动态手势识别模型
由于每次手势提取的特征数据序列长度不同，因此在LSTM层前，增加一层Padding层，使得序列整合成相同长度。搭建的基于LSTM的动态手势识别模型，由三层LSTM层组成。
所述的每层LSTM模型由四个部分组成，分别为输入门(决定让多少新信息加入到细胞状态中)，忘记门(决定从细胞状态中丢弃什么信息)、输出门(决定最终输出什么信息)和细胞状态(在整个循环周期内定义和维护一个内部记忆单元状态)。其中神经元细胞中每个时刻不同门的更新公式如下：
遗忘门：ft＝sigmoid(wf*[ht-1,xt]+bf)
输入门：it＝sigmoid(wi*[ht-1,xt]+bi)
输入的候选状态：
Figure BDA0002404560480000072
记忆细胞的输出：
Figure BDA0002404560480000073
输出门：ot＝sigmoid(wo*[ht-1,xt]+bo)
单元输出：ht＝ot*tanh(ct)
其中，wi、wf、wo、wc分别为输入门、遗忘门、输出门以及细胞状态的权值矩阵；bi、bf、bo、bc为对应的偏置项；ht-1为t-1时刻的隐藏层状态；xt为t时刻的输入向量；tanh为双曲正切激活函数。
在最后一层LSTM后接全连接层，最后通过Softmax层输出每个手势类别的概率。
Step5：PSO算法优化训练获得最优动态手势识别模型
根据经验，在解决实际问题时，需要选择LSTM合适的超参数，以达到最优解目的。采用粒子群算法(PSO)优化三层LSTM单元的个数、训练批次大小以及全连接层的单元个数，其步骤如下:将动态手势样本集以8:2的比例分为训练样本集和验证样本集；采用实数编码方式，在创建的每个个体为5维的向量个体，向量中的每个个体的编码值的范围在-1到1之间。选取种群大小为30，迭代次数为50。确定位置边界和速度边界，随机初始化群体中每个粒子的位置和速度。以粒子位置作为超参数带入LSTM网络结合训练样本集进行训练，其中损失函数为分类交叉熵函数。以验证样本集的损失函数值作为各粒子的适应度值，同时得出个体最优位置Pp和群体最优位置Pg以及它们对应的个体极值和群体极值。更新粒子速度Vi,k+1＝wVi,k+c1r1(Pp,k-Xi,k)+c2r2(Pg,k-Xi,k)，其中Vi,k+1为第k次迭代中第i个粒子的速度，c1、c2分别为加速因子，r1、r2为0-1之间的随机数，若计算的值超出速度范围则用边界值代替。更新粒子位置Xi,k+1＝Xi,k+Vi,k+1，其中，Xi,k+1为第k次迭代中第i个粒子的位置，若计算的值超出速度范围则用边界值代替。
重新计算适应度值后，更新极值对应的例子位置，若误差达到精度要求则结束PSO寻优，得出寻优后的最优粒子位置作为优化后的动态手势识别LSTM网络的超参数，并结合样本集进行训练，得出最优的PSO-LSTM动态手势识别模型。
Step6：基于最优动态手势识别模型在线测试
在建立了最优的PSO-LSTM动态手势识别模型后，将此模型嵌入到上位机系统。实际使用过程中，数据手套实时采集手部轨迹数据，经记忆单元储存，经云端通讯器上传至上位机系统，上位机系统根据Step2和Step3的步骤完成特征提取，并调用训练好的最优模型进行在线测试，根据网络得出手势类别概率最大值的类别，最终得出动态手势识别结果。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (2)

1.基于粒子群优化LSTM算法的动态手势识别方法，具体步骤如下，其特征在于：
Step1：采集手势数据；
设立佩戴的数据手套可以实时采集到佩戴者手部关键节点的轨迹信息，可以和人体躯干腰带坐标定位器匹配建立xyz三轴坐标系，其中，以人体腰部躯干中心点为原点，大地垂直方向为Z轴，人体腰部躯干方向为X轴，垂直X轴方向为Y轴，佩戴者面对四个方向，多次做出10个阿拉伯数字和26个英文字母的动态手势，在数据采集过程中，数据手套采集每次手势动作时中指中心位置(xraw,t,yraw,t,zraw,t)的轨迹，并通过数据手套的云端通信模块上传至数据记忆单元，多次采集轨迹数据，采样相应的间隔，并标记相应的手势类别标签，生成动态识别原始样本集；
Step2：样本数据处理；
建立轨迹位置坐标xraw,t与采集时间t的三次项关系式；
y＝a0+a1x+a2x2+a3x3
其中a0、a1、a2、a3为多项式各系数，y对应轨迹位置坐标xraw,t，x对应采集时间t，设定动态时窗为1s，每个时窗内包含5个点，五个点分别为；(x-2,y-2),(x-1,y-1),(x0,y0),(x1,y1),(x2,y2)，将五个点的坐标一一代入，即有方程组
Figure FDA0002404560470000011
基于最小二乘法，方程组可转为；
Figure FDA0002404560470000012
上列方程组可用矩阵表示为Y5×1＝X5×4·A4×1+E5×1；
解得A的最小二乘解
Figure FDA0002404560470000013
则滤波后的值
Figure FDA0002404560470000021
从而对轨迹位置坐标xraw,t数据平滑与降噪，同理，对轨迹位置坐标yraw,t和zraw,t进行平滑与降噪处理；
Step3：特征提取；
设平滑降噪后的手势运动轨迹(x1,y1,z1),(x2,y2,z2),…,(xT,yT,zT)可表示为T个离散点组成的轨迹序列，确立轨迹序列的中心点
Figure FDA0002404560470000022
以中心点h0(x0,y0,z0)为起点，与各轨迹点ht(xt,yt,zt)形成向量h0ht，向量的模和与x轴，y轴的方向角为
Figure FDA0002404560470000023
设dmax＝max{dt|t＝1,2,…,T}，将各个模量化成[0,10]之间的数ηt＝10*(dt/dmax)，将360度每隔30度分区编码为1,2，……，12编码，根据编码规则将
Figure FDA0002404560470000024
转换为λt,x、λt,y，则每个时刻特征提取量为Xt＝[ηt,λt,x,λt,y]，那么，样本集样本可以表示为[X,Y],其中X＝X1X2…Xh，Y为样本对应的手势类别；
Step4：搭建基于LSTM的动态手势识别模型；
由于每次手势提取的特征数据序列长度不同，因此在LSTM层前，增加一层Padding层，使得序列整合成相同长度，搭建的基于LSTM的动态手势识别模型，由三层LSTM层组成；
所述的每层LSTM模型由四个部分组成，分别为输入门，忘记门、输出门和细胞状态；其中神经元细胞中每个时刻不同门的更新公式如下：
遗忘门：ft＝sigmoid(wf*[ht-1,xt]+bf)
输入门：it＝sigmoid(wi*[ht-1,xt]+bi)
输入的候选状态：
Figure FDA0002404560470000025
记忆细胞的输出：
Figure FDA0002404560470000026
输出门：ot＝sigmoid(wo*[ht-1,xt]+bo)
单元输出：ht＝ot*tanh(ct)
其中，wi、wf、wo、wc分别为输入门、遗忘门、输出门以及细胞状态的权值矩阵；bi、bf、bo、bc为对应的偏置项；ht-1为t-1时刻的隐藏层状态；xt为t时刻的输入向量；tanh为双曲正切激活函数；
在最后一层LSTM后接全连接层，最后通过Softmax层输出每个手势类别的概率；
Step5：PSO算法优化训练获得最优动态手势识别模型；
采用粒子群算法优化三层LSTM单元的个数、训练批次大小以及全连接层的单元个数，其步骤如下:
将动态手势样本集以8:2的比例分为训练样本集和验证样本集；采用实数编码方式，在创建的每个个体为5维的向量个体，向量中的每个个体的编码值的范围在-1到1之间，选取种群大小为30，迭代次数为50，确定位置边界和速度边界，随机初始化群体中每个粒子的位置和速度，以粒子位置作为超参数带入LSTM网络结合训练样本集进行训练，其中损失函数为分类交叉熵函数，以验证样本集的损失函数值作为各粒子的适应度值，同时得出个体最优位置Pp和群体最优位置Pg以及它们对应的个体极值和群体极值，更新粒子速度Vi,k+1＝wVi,k+c1r1(Pp,k-Xi,k)+c2r2(Pg,k-Xi,k)，其中Vi,k+1为第k次迭代中第i个粒子的速度，c1、c2分别为加速因子，r1、r2为0-1之间的随机数，若计算的值超出速度范围则用边界值代替，更新粒子位置Xi,k+1＝Xi,k+Vi,k+1，其中，Xi,k+1为第k次迭代中第i个粒子的位置，若计算的值超出速度范围则用边界值代替，重新计算适应度值后，更新极值对应的例子位置，若误差达到精度要求则结束PSO寻优，得出寻优后的最优粒子位置作为优化后的动态手势识别LSTM网络的超参数，并结合样本集进行训练，得出最优的PSO-LSTM动态手势识别模型。
Step6：基于最优动态手势识别模型在线测试；
在建立了最优的PSO-LSTM动态手势识别模型后，将此模型嵌入到上位机系统，实际使用过程中，数据手套实时采集手部轨迹数据，经记忆单元储存，经云端通讯器上传至上位机系统，上位机系统完成特征提取，并调用训练好的最优模型进行在线测试，根据网络得出手势类别概率最大值的类别，最终得出动态手势识别结果。
2.根据权利要求1所述的基于粒子群优化LSTM算法的动态手势识别方法，其特征在于：步骤一多次采集轨迹数据，采样间隔为0.2s。
CN202010157364.6A 2020-03-09 2020-03-09 基于粒子群优化lstm算法的动态手势识别方法 Pending CN111382699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010157364.6A CN111382699A (zh) 2020-03-09 2020-03-09 基于粒子群优化lstm算法的动态手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010157364.6A CN111382699A (zh) 2020-03-09 2020-03-09 基于粒子群优化lstm算法的动态手势识别方法

Publications (1)

Publication Number Publication Date
CN111382699A true CN111382699A (zh) 2020-07-07

Family

ID=71217248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010157364.6A Pending CN111382699A (zh) 2020-03-09 2020-03-09 基于粒子群优化lstm算法的动态手势识别方法

Country Status (1)

Country Link
CN (1) CN111382699A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112067960A (zh) * 2020-09-30 2020-12-11 广东电网有限责任公司中山供电局 基于pso和双向lstm的高压电缆局部放电模式识别方法
CN113869255A (zh) * 2021-09-30 2021-12-31 吉林大学 一种基于四元数的空中笔势识别方法
CN114245312A (zh) * 2021-11-10 2022-03-25 陕西省信息化工程研究院 一种基于双分支lstm融合的移动终端轨迹预测方法
CN115951755A (zh) * 2023-02-06 2023-04-11 广芯微电子（广州）股份有限公司 基于pso-lstm的光伏最大功率点追踪方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150309579A1 (en) * 2014-04-28 2015-10-29 Microsoft Corporation Low-latency gesture detection
CN106354262A (zh) * 2016-09-09 2017-01-25 哈尔滨理工大学 基于gl优化的神经网络手势识别人机交互方法
CN108932500A (zh) * 2018-07-09 2018-12-04 广州智能装备研究院有限公司 一种基于深度神经网络的动态手势识别方法及系统
CN108986470A (zh) * 2018-08-20 2018-12-11 华南理工大学 粒子群算法优化lstm神经网络的行程时间预测方法
CN110309726A (zh) * 2019-06-10 2019-10-08 济南大学 一种微手势识别方法
CN110375983A (zh) * 2019-07-30 2019-10-25 中国石化销售有限公司华南分公司 基于时间序列分析的阀门故障实时诊断系统及诊断方法
CN110751318A (zh) * 2019-09-26 2020-02-04 上海电力大学 一种基于ipso-lstm的超短期电力负荷预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150309579A1 (en) * 2014-04-28 2015-10-29 Microsoft Corporation Low-latency gesture detection
CN106354262A (zh) * 2016-09-09 2017-01-25 哈尔滨理工大学 基于gl优化的神经网络手势识别人机交互方法
CN108932500A (zh) * 2018-07-09 2018-12-04 广州智能装备研究院有限公司 一种基于深度神经网络的动态手势识别方法及系统
CN108986470A (zh) * 2018-08-20 2018-12-11 华南理工大学 粒子群算法优化lstm神经网络的行程时间预测方法
CN110309726A (zh) * 2019-06-10 2019-10-08 济南大学 一种微手势识别方法
CN110375983A (zh) * 2019-07-30 2019-10-25 中国石化销售有限公司华南分公司 基于时间序列分析的阀门故障实时诊断系统及诊断方法
CN110751318A (zh) * 2019-09-26 2020-02-04 上海电力大学 一种基于ipso-lstm的超短期电力负荷预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUANGMING ZHU ET AL: "Multimodal Gesture Recognition Using 3-D Convolution and Convolutional LSTM", 《IEEE ACCESS》 *
李国友等: "基于Kinect的动态手势识别算法改进与实现", 《高技术通讯》 *
王红全等: "基于Leap Motion 手势识别方法在树木交互的应用", 《计算机应用与软件》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112067960A (zh) * 2020-09-30 2020-12-11 广东电网有限责任公司中山供电局 基于pso和双向lstm的高压电缆局部放电模式识别方法
CN113869255A (zh) * 2021-09-30 2021-12-31 吉林大学 一种基于四元数的空中笔势识别方法
CN114245312A (zh) * 2021-11-10 2022-03-25 陕西省信息化工程研究院 一种基于双分支lstm融合的移动终端轨迹预测方法
CN115951755A (zh) * 2023-02-06 2023-04-11 广芯微电子（广州）股份有限公司 基于pso-lstm的光伏最大功率点追踪方法及装置

Similar Documents

Publication Publication Date Title
Wang et al. Wearable Sensor‐Based Human Activity Recognition Using Hybrid Deep Learning Techniques
CN111382699A (zh) 基于粒子群优化lstm算法的动态手势识别方法
CN110309861B (zh) 一种基于生成对抗网络的多模态人类活动识别方法
Ibraheem et al. Survey on various gesture recognition technologies and techniques
CN100583127C (zh) 一种基于模板匹配的视点无关的人体动作识别方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN107516127B (zh) 服务机器人自主获取人穿携物品归属语义的方法及系统
CN107016342A (zh) 一种动作识别方法及系统
Su et al. HDL: Hierarchical deep learning model based human activity recognition using smartphone sensors
CN110232412B (zh) 一种基于多模态深度学习的人体步态预测方法
CN111160294B (zh) 基于图卷积网络的步态识别方法
CN110222580A (zh) 一种基于三维点云的人手三维姿态估计方法和装置
CN111476161A (zh) 一种融合图像和生理信号双通道的体感动态手势识别方法
CN109872346A (zh) 一种支持循环神经网络对抗学习的目标跟踪方法
CN106548194B (zh) 二维图像人体关节点定位模型的构建方法及定位方法
CN106778501A (zh) 基于压缩跟踪与ihdr增量学习的视频人脸在线识别方法
CN111444488A (zh) 一种基于动态手势的身份认证方法
Li et al. Directed acyclic graph neural network for human motion prediction
Kevin et al. Trajectory modeling in gesture recognition using CyberGloves/sup/spl reg//and magnetic trackers
Wang et al. A2dio: Attention-driven deep inertial odometry for pedestrian localization based on 6d imu
Sun et al. Attention-based LSTM network for wearable human activity recognition
CN112883922B (zh) 基于CNN-BiGRU神经网络融合的手语识别方法
CN114038011A (zh) 一种室内场景下人体异常行为的检测方法
Li et al. Human motion representation and motion pattern recognition based on complex fuzzy theory
CN110705599B (zh) 一种基于在线迁移学习的人体动作识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200707