CN114515146A - 基于电学测量的智能手势识别方法及系统 - Google Patents

基于电学测量的智能手势识别方法及系统 Download PDF

Info

Publication number
CN114515146A
CN114515146A CN202011285933.1A CN202011285933A CN114515146A CN 114515146 A CN114515146 A CN 114515146A CN 202011285933 A CN202011285933 A CN 202011285933A CN 114515146 A CN114515146 A CN 114515146A
Authority
CN
China
Prior art keywords
gesture
neural network
training
deep neural
voltage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011285933.1A
Other languages
English (en)
Other versions
CN114515146B (zh
Inventor
刘宗毓
王利
周通
李兴浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Machinery Equipment Research Institute
Original Assignee
Beijing Machinery Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Machinery Equipment Research Institute filed Critical Beijing Machinery Equipment Research Institute
Priority to CN202011285933.1A priority Critical patent/CN114515146B/zh
Publication of CN114515146A publication Critical patent/CN114515146A/zh
Application granted granted Critical
Publication of CN114515146B publication Critical patent/CN114515146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于电学测量的智能手势识别方法及系统，属于智能手势识别技术领域，解决了现有技术设计复杂、使用条件受限、识别率过低的问题。该方法包括如下步骤：布设分布式电极传感器阵列，对阵列中各电极通电；在用户手部动作时，通过所述分布式传感器阵列采集用户手部皮肤上各点的电压信号；对上述各点的电压信号分别进行预处理，获得各点的有效电压幅值和相位；将上述各点的有效电压幅值和相位输入事先训练好的深度神经网络中，获得每类手势的预测概率；将上述每类手势的预测概率输入事先训练好的分类器中，获得当前手势类型。本发明将电学测量和深度学习相结合进行手势的识别，提高了识别准确率，降低了设备造价，并提高了设备的便携性。

Description

基于电学测量的智能手势识别方法及系统
技术领域
本发明涉及智能手势识别技术领域，尤其涉及一种基于电学测量的智能手势识别方法及系统。
背景技术
随着人机交互技术的不断发展，手势识别方法作为一个重要研究方向，已经在智能设备控制领域成为了一项不可忽视的关键技术。用户可以通过简单的手势来控制设备，或与设备进行交互，或让计算机理解人类的行为。
现有的手势识别方法，按照输入设备的不同，可分为基于视觉的手势识别方法和可穿戴式手势识别方法。前一种需要在一个特定、没有遮挡的环境中实现，手势图像的获取依赖于外部环境，识别效果易受光线和复杂背景的影响。后一种利用固定在手臂上的动作传感器来获取手势数据，克服了前一种的缺点，受环境的影响较小。
现有可穿戴式手势识别方法进一步分为基于加速度传感器的手势识别方法、基于超声波的手势识别方法和基于肌电信号的手势识别方法。其中，基于加速传感器的手势识别方法和基于超声波的手势识别方法使用的设备均过于庞大且设计复杂，并且造价很高，而基于肌电信号的手势识别方法获取的肌电信号是一种微弱的生物电信号，信号提取困难，并且容易受到环境噪声和肌肉疲劳的影响。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种基于电学测量的智能手势识别方法及系统，用以解决现有技术设计复杂、使用条件受限、识别率过低的问题。
一方面，本发明实施例提供了一种基于电学测量的智能手势识别方法，包括如下步骤：
在用户手部布设分布式电极传感器阵列，对阵列中各电极通电；
在用户手部动作时，通过所述分布式传感器阵列采集用户手部皮肤上各点的电压信号；
对上述各点的电压信号分别进行预处理，获得各点的有效电压幅值和相位；
将上述各点的有效电压幅值和相位作为输入变量，输入事先训练好的深度神经网络中，获得每类手势的预测概率；
将上述每类手势的预测概率作为输入变量，输入事先训练好的分类器中，获得当前手势类型。
上述技术方案的有益效果如下：根据不同手势手部内部电阻抗分布不同这一特点，通过测量不同手势下对应内部电阻抗的边界电压，获得大量的不同手势的电压数据，通过深度学习网络对其进行分类，从而辨别出手势动作。该方法将电学测量方法应用到手势识别中，降低了手势识别仪器的复杂度，并降低了环境依赖性和制备成本，提高了手势识别准确率。
基于上述方法的进一步改进，所述分布式电极传感器阵列包括等间隔布设于腕带上的N个柔性电极传感器；所有柔性电极传感器的大小、规格、材质均相同；
所述预处理包括：依次进行放大、滤波、AD转换，获得所述各点的电压峰值；并对各点的电压峰值依次进行归一化，将归一化结果作为各点的有效电压幅值；
当前手势类型为放松、握拳、张开、左弯和右弯中的一种。
上述进一步改进方案的有益效果是：电学测量设备设计简单，抗干扰能力强，柔性电极传感器能够良好地与腕部接触，能够精确地采集到所需的电压信号。并将电学测量技术与深度学习技术结合，从算法上对手势电压数据进行分类优化，从而减少噪声引入，提高手势识别率。
进一步，所述深度神经网络包括2层：
第一层根据用户手部皮肤上各点的有效电压幅值xi和相位θi，进行下面公式中的运算，获得中间变量yj，j＝1···n
Figure BDA0002782322690000031
第二层根据中间变量yj，进行下面公式中的运算，获得每类手势的预测概率，其中，第p种手势的预测概率zp为
zp＝f(wjpyj+bp)
其中
Figure BDA0002782322690000032
式中，n表示手势类型的数量，m表示有效电压幅值的个数，或相位个数，也是采集的数据点数，i表示第i个柔性电极传感器，wij表示xi、yj之间的权重，bj表示深度神经网络第一层的偏置量，wjp表示yj、zp之间的权重，bp表示深度神经网络第二层的偏置量，i＝1···m，p＝1···n。
上述进一步改进方案的有益效果是：对深度神经网络的结构进行了限定，通过输入有效电压幅值xi和相位θi，可获得各手势预测概率，为后续精准地手势分类奠定了基础。由于每组手势其内部电阻抗分布有差异，导致不同手势测得的边界电压不同，但相同手势的电压数据具有相似性，经过对上述深度神经网络以及分类器训练可得到精准的腕部动作手势识别结果。
进一步，所述分类器，通过下面公式获得当前手势类型的编码G，进而基于编码G确定手势类型
Figure BDA0002782322690000041
式中，wp表示zp和G之间的权重，b′表示分类器的偏置量，编码G为ASCII码，G的所有可能个数与手势类型的数量一致。
上述进一步改进方案的有益效果是：通过对分类器参数(权重wp、偏置量b′)进行训练，可提高手势分类识别率。
进一步，通过下面步骤对所述深度神经网络和分类器进行训练：
获取输入数据为用户手部皮肤上各点的电压值xi′和相位θi′、输出为对应手势编码G′的训练集；其中，手势编码G′包含所有手势类型；
对于上述训练集中的每组训练数据，将xi′和θi′输入所述深度神经网络中获得每一层的输出yj和zp，再将zp输入分类器中获得当前手势类型的编码G；
判断所述当前手势类型的编码G是否等于训练集中对应手势编码G′；如果等于，结束该组训练数据对深度神经网络和分类器的训练，并开始下一组训练数据的训练；如果不等于，执行下一步；
根据上述获得的编码G，结合所述G′，通过下面公式获得下一次训练的权重wij、wjp和wp，以及偏置量bj、bp、b′
wp(T+1)＝wp(T)-α(G′-G)zp
Figure BDA0002782322690000051
Figure BDA0002782322690000052
b′(T+1)＝b(T)-α′(G′-G)
Figure BDA0002782322690000053
Figure BDA0002782322690000054
式中，T表示当前训练次数，wp(T+1)、b′(T+1)分别表示下一次训练时的分类器参数，wp(T)、b′(T)分别表示本次训练的分类器参数，wij(T+1)、wjp(T+1)、bj(T+1)、bp(T+1)分别表示下一次训练时的深度神经网络参数，wij(T)、wjp(T)、bj(T)、bp(T)分别表示本次训练时的深度神经网络参数，α、β、γ、α′、β′、γ′分别表示按梯度方向搜索的步长因子；
将xi′再次输入参数更新后的深度神经网络，将获得的zp输入参数更新后的分类器中获得该次训练当前手势类型的编码G，直到G＝G′，结束该组训练数据对深度神经网络和分类器的训练，并开始下一组训练数据的训练，直到完成所有训练数据的训练，获得训练好的深度神经网络和分类器。
上述进一步改进方案的有益效果是：从算法上对手势电压数据进行分类优化，减少了噪声引入，提高了手势识别率。
进一步，所述深度神经网络的结构包括2层：
第一层根据用户手部皮肤上各点的有效电压幅值xi和相位θi，进行下面公式中的运算，获得中间变量yj，j＝1···n
Figure BDA0002782322690000061
第二层根据中间变量yj，进行下面公式中的运算，获得每类手势的预测概率，其中，第p种手势的预测概率zp为
Figure BDA0002782322690000062
其中
Figure BDA0002782322690000063
式中，n表示手势类型的数量，m表示有效电压幅值的个数，或相位个数，wij表示xi、yj之间的权重，bj表示深度神经网络第一层的偏置量，wjp表示yj、zp之间的权重，bp表示深度神经网络第二层的偏置量，i＝1···m，p＝1···n，Bernoulli(k)表示随机生成0或者1的函数，概率k为0.5。
上述进一步改进方案的有益效果是：对深度神经网络的结构进行了进一步改进，引入Bernoulli(k)函数后，可避免深度神经网络出现过拟合现象，通过对每一层隐含层设置失活概率Bernoulli(k)，随机失活隐含层中的某些网络节点，可以提高整个网络的泛化能力。
另一方面，本发明实施例提供了一种基于电学测量的智能手势识别系统，包括：
分布式电极传感器阵列，用于在采集用户手部皮肤上各点的电压信号，传输至预处理模块；
预处理模块，用于对用户手部皮肤上各点的电压信号进行预处理，获得各点的有效电压幅值和相位，传输至数据处理与控制模块；
数据处理与控制模块，用于根据用户设定，选通多路选通模块至相应电极的通路；以及将相应电极采集的上述各点的有效电压幅值和相位作为输入变量，输入事先训练好的深度神经网络中，获得每类手势的预测概率，再将上述每类手势的预测概率作为输入变量，输入事先训练好的分类器中，获得当前手势类型；
多路选通模块，用于在数据处理与控制模块的控制下，选通多路选通模块至相应电极的通路，启动分布式电极传感器阵列中的相应电极进行数据采集。
采用上述方案的有益效果是：根据不同手势手部内部电阻抗分布不同这一特点，通过测量不同手势下对应内部电阻抗的边界电压，获得大量的不同手势的电压数据，通过深度学习网络对其进行分类，从而辨别出手势动作。该方法将电学测量方法应用到手势识别中，降低了手势识别仪器的复杂度，并降低了环境依赖性和制备成本，提高了手势识别准确率。
基于上述系统的进一步改进，所述预处理模块进一步包括依次连接的：
信号放大器，用于将用户手部皮肤上各点的电压信号进行放大，将获得的放大后电压信号传输至滤波器；
滤波器，用于滤除接收到的放大后电压信号中的干扰信号，将获得的滤波后模拟信号传输至AD转换器；
AD转换器，用于将接收到的滤波后模拟信号转换成数字信号，获得各点的电压峰值和相位，传输至电压解算模块；
电压解算模块，用于通过下面公式将各点的电压峰值进行归一化，将归一化结果作为各点的有效电压幅值xi，并将各点的有效电压幅值xi和相位发送至数据处理与控制模块
Figure BDA0002782322690000081
式中，Ui表示第i个点的电压峰值，Umin表示所有电压峰值中的最小值，Umax表示所有电压峰值中的最大值。
采用上述进一步改进方案的有益效果是：通过预处理模块，降低了噪声的引入。电学测量设备设计简单，抗干扰能力强，将电学测量与深度学习方法相结合，提高了手势识别率，降低手势识别设备的复杂性。该系统具有设计简单、造价低等优点。
进一步，所述深度神经网络包括2层：
第一层根据用户手部皮肤上各点的有效电压幅值xi和相位θi，进行下面公式的运算，获得中间变量yj，j＝1···n
Figure BDA0002782322690000082
第二层根据中间变量yj，进行下面公式的运算，获得每类手势的预测概率，其中，第p种手势的预测概率zp
zp＝f(wjpyj+bp)
其中
Figure BDA0002782322690000083
式中，n表示手势类型的数量，m表示有效电压幅值的个数，或相位个数，也是采集数据点数，i表示第i个柔性电极传感器，wij表示xi和yj之间的权重，bj表示深度神经网络第一层的偏置量，wjp表示yj和zp之间的权重，bp表示深度神经网络第二层的偏置量，i＝1···m，p＝1···n；
或者，第一层根据用户手部皮肤上各点的有效电压幅值xi和相位θi，进行下面公式中的运算，获得中间变量yj，j＝1···n
Figure BDA0002782322690000091
第二层根据中间变量yj，进行下面公式中的运算，获得每类手势的预测概率，其中，第p种手势的预测概率zp为
Figure BDA0002782322690000092
其中
Figure BDA0002782322690000093
式中，Bernoulli(k)表示随机生成0或者1的函数，概率k为0.5。
采用上述进一步改进方案的有益效果是：对深度神经网络的结构进行了限定，通过输入有效电压幅值xi和相位θi，可获得各手势预测概率，为后续精准地手势分类奠定了基础。由于每组手势其内部电阻抗分布有差异，导致不同手势测得的边界电压不同，但相同手势的电压数据具有相似性，经过对上述深度神经网络以及分类器训练可得到精准的腕部动作手势识别结果。
进一步，所述分类器通过下面公式获得当前手势类型的编码G，进而基于编码G确定手势类型
Figure BDA0002782322690000094
式中，wp表示zp和G之间的权重，b′表示分类器的偏置量，编码G对应的手势类型为放松、握拳、张开、左弯和右弯中的一种，编码G为ASCII码，G的所有可能个数与手势类型的数量一致。
采用上述进一步改进方案的有益效果是：通过调整分类器参数(权重、偏置量)，可提高手势分类识别率。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例1智能手势识别方法步骤示意图；
图2为本发明实施例2分布式电极传感器阵列示意图；
图3为本发明实施例2智能手势识别效果示意图；
图4为本发明实施例3智能手势识别系统组成示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
实施例1
本发明的一个具体实施例，公开了一种基于电学测量的智能手势识别方法，如图1所示，包括如下步骤：
S1.在用户手部布设分布式电极传感器阵列，对阵列中各电极通电；可选地，电极传感器阵列可设置于用户手指上或手腕上。
S2.在用户手部动作时，通过所述分布式传感器阵列采集用户手部皮肤上各点的电压信号；
S3.对上述各点的电压信号分别进行预处理，获得各点的有效电压幅值和相位；
S4.将上述各点的有效电压幅值和相位作为输入变量，输入事先训练好的深度神经网络中，获得每类手势的预测概率；
S5.将上述每类手势的预测概率作为输入变量，输入事先训练好的分类器中，获得当前手势类型。
实施时，分布式电极传感器阵列的传感器单元处于系统的最前端，由电压/电流激励源从不同的角度扫描被测区域形成空间敏感场，产生原始敏感信号，由于电学测量系统中的传感器阵列需要与被测物场中的媒质相接触，所以在传感器阵列和媒质之间必然存在着接触阻抗。该接触阻抗会极大的影响输出电阻很小的电压源的性能，导致电压源不能稳定的输出正弦电压信号。因此，电学测量系统中通常不采用电压激励，而采用输出电阻较高的电流源。
与现有技术相比，本发明将电学测量方法应用到手势识别中，降低了手势识别仪器的复杂度，降低了手势识别仪器的成本。采用电流激励，电压测量方式，在被测物场施加了电流激励信号后，当被测物场内的电导率分布发生变化时，会导致内部的电流场发生变化，继而导致内部的电势分布发生变化，最终致使被测物理场边界上的电压测量值发生变化，即可通过边界电压测量值(有效电压幅值和相位)的变化推断出被测物场内的电导率的变化。利用这个原理，当手势改变时，手腕内部的阻抗分布会改变，通过测量不同手势下的边界电压，可以利用深度学习的方法对测量所得到的电压信号进行分类，最终达到手势识别的效果。
实施例2
在实施例1的基础上进行优化，步骤S1中，所述分布式电极传感器阵列包括等间隔布设于腕带上的N个柔性电极传感器；每个柔性电极传感器大小、规格、材质均相同。规格指形状、灵敏度等指标均一致。
示例性地，可将8个柔性电极传感器均匀布设在腕带上，每个柔性电极传感器距离皮肤的距离相同，如图2所示。
目前，已经分辨出的手势类型为放松、握拳、张开、左弯和右弯，通过深度神经网络+分类器可获得其中的一种，如图3所示。
优选地，步骤S3进一步包括：
S31.对腕带上每个柔性电极传感器电极获得的微弱电信号依次进行放大、滤波、AD转换，获得各点(对应电压模拟信号)的电压峰值；也可通过数字相敏解调算法得到电压峰值和相位；
S32.通过下面公式对各点的电压峰值依次进行归一化，将归一化结果作为各点的有效电压幅值，其中，第i个柔性电极传感器对应的有效电压幅值xi为
Figure BDA0002782322690000121
式中，Ui表示第i个点的电压峰值，Umin表示所有电压峰值中的最小值，Umax表示所有电压峰值中的最大值。
优选地，所述深度神经网络分为2层。
深度神经网络的第一层，用于根据用户手部皮肤上各点的有效电压幅值xi和相位θi，进行下面公式的运算，获得中间变量yj，j＝1···n
Figure BDA0002782322690000122
深度神经网络的第二层，根据中间变量yj，进行下面公式的运算，获得每类手势的预测概率，其中，第p种手势的预测概率zp
zp＝f(wjpyj+bp) (3)
其中
Figure BDA0002782322690000131
式中，n表示手势类型的数量，m表示有效电压幅值的个数，或相位个数，也是采集数据点数，i表示第i个电压信号，wij表示xi和yj之间的权重，bj表示深度神经网络第一层的偏置量，wjp表示yj和zp之间的权重，bp表示深度神经网络第二层的偏置量，i＝1···m，p＝1···n。
优选地，所述分类器通过下面公式获得当前手势类型的编码G，进而基于编码G确定手势类型
Figure BDA0002782322690000132
式中，wp表示zp和G之间的权重，b′表示分类器的偏置量，编码G为ASCII码，G的所有可能个数与手势类型的数量一致。
例如，手势类型为放松、握拳、张开、左弯和右弯5种，则G有5个值，可设置1代表放松，2代表握拳，3代表张开，4代表左弯，5代表右弯。
可选地，所述分类器也可采用基于贝叶斯估计法的分类器或基于最大似然估计法的分类器，本领域技术人员能够理解。
优选地，通过下面步骤对所述深度神经网络进行训练：
S01.获取输入数据为用户手部皮肤上各点的电压值xi′和相位θi′、输出为对应手势编码G′的训练集；其中，手势编码G′包含所有手势类型；
S02.对于上述训练集中的每组训练数据，将xi′和θi′输入所述深度神经网络中获得每一层的输出yj和zp，再将zp输入分类器中获得当前手势类型的编码G；j＝1···n，p＝1···n；
S03.判断所述当前手势类型的编码G是否等于训练集中对应手势编码G′；如果等于，结束该组训练数据对深度神经网络和分类器的训练，并开始下一组训练数据的训练；如果不等于，执行下一步；
S04.根据上述获得的编码G，结合所述G′，通过下面公式获得下一次训练的权重wij、wjp和wp，以及偏置量bj、bp、b′
wp(T+1)＝wp(T)-α(G′-G)zp
Figure BDA0002782322690000141
Figure BDA0002782322690000142
b′(T+1)＝b(T)-α′(G′-G)
Figure BDA0002782322690000143
Figure BDA0002782322690000144
式中，T表示当前训练次数，wp(T+1)、b′(T+1)分别表示下一次训练时的分类器参数，wp(T)、b′(T)分别表示本次训练的分类器参数，wij(T+1)、wjp(T+1)、bj(T+1)、bp(T+1)分别表示下一次训练时的深度神经网络参数，wij(T)、wjp(T)、bj(T)、bp(T)分别表示本次训练时的深度神经网络参数，α、β、γ、α′、β′、γ′分别表示按梯度方向搜索的步长因子，也称学习率，在(0,1]之间取值，由用户自定义设定；
S05.将xi′再次输入参数更新后的深度神经网络，将获得的zp输入参数更新后的分类器中获得该次训练当前手势类型的编码G，直到G＝G′，结束该组训练数据对深度神经网络和分类器的训练，并开始下一组训练数据的训练，直到完成所有训练数据的训练，获得训练好的深度神经网络和分类器。
优选地，所述深度神经网络的结构可进一步改进，设计为如下两层。
第一层根据用户手部皮肤上各点的有效电压幅值xi和相位θi，进行下面公式中的运算，获得中间变量yj，j＝1···n
Figure BDA0002782322690000151
第二层根据中间变量yj，进行下面公式中的运算，获得每类手势的预测概率，其中，第p种手势的预测概率zp为
Figure BDA0002782322690000152
其中
Figure BDA0002782322690000153
式中，n表示手势类型的数量，m表示有效电压幅值的个数，或相位个数，也是电压信号个数，wij表示xi、yj之间的权重，bj表示深度神经网络第一层的偏置量，wjp表示yj、zp之间的权重，bp表示深度神经网络第二层的偏置量，i＝1···m，p＝1···n，Bernoulli(k)表示随机生成0或者1的函数，概率k为0.5。
与实施例1相比，本实施例提供的智能手势识别方法利用深度学习方法中深度神经网络高度逼近复杂非线性函数的能力，建立手腕边界电压序列与手势标签之间的映射关系，最终实现手势识别。该方法具有识别率高、抗干扰能力强、仪器便携性好等优点。
实施例3
本发明还公开了一种与实施例1对应的智能手势识别系统，包括分布式电极传感器阵列、预处理模块、数据处理与控制模块、多路选通模块，如图4所示。其中，分布式电极传感器阵列的输出端经预处理模块与数据处理与控制模块的输入端连接，数据处理与控制模块的控制端经多路选通模块与分布式电极传感器阵列的每个电极连接。
分布式电极传感器阵列，用于在采集用户手部皮肤上各点的电压信号，传输至预处理模块。
预处理模块，用于对用户手部皮肤上各点的电压信号进行预处理，获得各点的有效电压幅值和相位，传输至数据处理与控制模块。
数据处理与控制模块，用于根据用户设定，选通多路选通模块至相应电极的通路；以及将相应电极采集的上述各点的有效电压幅值和相位作为输入变量，输入事先训练好的深度神经网络中，获得每类手势的预测概率，再将上述每类手势的预测概率作为输入变量，输入事先训练好的分类器中，获得当前手势类型。
多路选通模块，用于在数据处理与控制模块的控制下，选通多路选通模块至相应电极的通路，启动分布式电极传感器阵列中的相应电极进行数据采集。多路选通模块相当于分布式电极传感器阵列各个电极的选通开关，为现有技术，此处不再赘述。
实施时，该系统采用电流激励、电压测量方式，在被测物场施加了电流激励信号后，当被测物场内的电导率分布发生变化时，会导致内部的电流场发生变化，继而导致内部的电势分布发生变化，最终致使被测物场边界上的电压测量值发生变化。即可通过边界电压测量值的变化推断出被测物场内的电导率的变化。利用这个原理，当手势改变时，手腕内部的阻抗分布会改变，通过测量不同手势下的边界电压，一方面可以利用深度学习的方法对测量所得到的进行分类，最终达到手势识别的效果。
与现有技术相比，本实施例将电学测量方法应用到手势识别中，并降低了手势识别仪器的复杂度，降低了手势识别仪器的成本。在被测物场施加了电流激励信号后，当被测物场内的电导率分布发生变化时，会导致内部的电流场发生变化，继而导致内部的电势分布发生变化，最终致使被测物场边界上的电压测量值发生变化。利用这个原理，当手势改变时，手腕内部的阻抗分布会改变，通过测量不同手势下的边界电压，可以利用深度学习的方法对测量所得到的电压信号进行分类，最终达到手势识别的效果。
实施例4
在实施例3的基础上优化，本发明还公开了一种与实施例4方法对应的智能手势识别系统，优选地，所述预处理模块进一步包括依次连接的信号放大器、滤波器、AD转换器、电压解算模块。
信号放大器，用于将用户手部皮肤上各点的电压信号进行放大，将获得的放大后电压信号传输至滤波器。
滤波器，用于滤除接收到的放大后电压信号中的干扰信号，将获得的滤波后模拟信号传输至AD转换器。
AD转换器，用于将接收到的滤波后模拟信号转换成数字信号，获得各点的电压峰值和相位，传输至电压解算模块。可通过数字相敏解调算法得到电压峰值和相位。
电压解算模块，用于通过下面公式将各点的电压峰值进行归一化，将归一化结果作为各点的有效电压幅值xi，并将各点的有效电压幅值xi和相位发送至数据处理与控制模块
Figure BDA0002782322690000181
式中，Ui表示第i个点的电压峰值，Umin表示所有电压峰值中的最小值，Umax表示所有电压峰值中的最大值。
深度神经网络包括2层，可采用如下两种设计中的一种。
第一种是：第一层根据用户手部皮肤上各点的有效电压幅值xi和相位θi，进行下面公式的运算，获得中间变量yj，j＝1···n
Figure BDA0002782322690000182
第二层根据中间变量yj，进行下面公式的运算，获得每类手势的预测概率，其中，第p种手势的预测概率zp为
zp＝f(wjpyj+bp) (10)
其中
Figure BDA0002782322690000183
式中，n表示手势类型的数量，m表示有效电压幅值的个数，或相位个数，也是采集数据点数，i表示第i个柔性电极传感器，wij表示xi和yj之间的权重，bj表示深度神经网络第一层的偏置量，wjp表示yj和zp之间的权重，bp表示深度神经网络第二层的偏置量，i＝1···m，p＝1···n；
第二种设计是，第一层根据用户手部皮肤上各点的有效电压幅值xi和相位θi，进行下面公式中的运算，获得中间变量yj，j＝1···n
Figure BDA0002782322690000184
第二层根据中间变量yj，进行下面公式中的运算，获得每类手势的预测概率，其中，第p种手势的预测概率zp为
Figure BDA0002782322690000191
其中
Figure BDA0002782322690000192
式中，Bernoulli(k)表示随机生成0或者1的函数，概率k为0.5。
优选地，分类器通过下面公式获得当前手势类型的编码G
Figure BDA0002782322690000193
式中，wp表示zp和G之间的权重，b′表示分类器的偏置量，编码G对应的手势类型为放松、握拳、张开、左弯和右弯中的一种，编码G为ASCII码，G的所有可能个数与手势类型的数量一致。
与实施例3相比，本实施例提供的智能手势识别系统利用深度学习方法中深度神经网络高度逼近复杂非线性函数的能力，建立手腕边界电压序列与手势标签之间的映射关系，最终实现手势识别。该系统具有识别率高、抗干扰能力强、仪器便携性好等优点。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于电学测量的智能手势识别方法，其特征在于，包括如下步骤：
在用户手部布设分布式电极传感器阵列，对阵列中各电极通电；
在用户手部动作时，通过所述分布式传感器阵列采集用户手部皮肤上各点的电压信号；
对上述各点的电压信号分别进行预处理，获得各点的有效电压幅值和相位；
将上述各点的有效电压幅值和相位作为输入变量，输入事先训练好的深度神经网络中，获得每类手势的预测概率；
将上述每类手势的预测概率作为输入变量，输入事先训练好的分类器中，获得当前手势类型。
2.根据权利要求1所述的智能手势识别方法，其特征在于，所述分布式电极传感器阵列包括等间隔布设于腕带上的N个柔性电极传感器；所有柔性电极传感器的大小、规格、材质均相同；
所述预处理包括：依次进行放大、滤波、AD转换，获得所述各点的电压峰值和相位；并对各点的电压峰值依次进行归一化，将归一化结果作为各点的有效电压幅值；
当前手势类型为放松、握拳、张开、左弯和右弯中的一种。
3.根据权利要求1或2所述的智能手势识别方法，其特征在于，所述深度神经网络包括2层：
第一层根据用户手部皮肤上各点的有效电压幅值xi和相位θi，进行下面公式中的运算，获得中间变量yj，j＝1···n
Figure FDA0002782322680000011
第二层根据中间变量yj，进行下面公式中的运算，获得每类手势的预测概率，其中，第p种手势的预测概率zp为
zp＝f(wjpyj+bp)
其中
Figure FDA0002782322680000021
式中，n表示手势类型的数量，m表示有效电压幅值的个数，或相位个数，也是采集的数据点数，i表示第i个柔性电极传感器，wij表示xi、yj之间的权重，bj表示深度神经网络第一层的偏置量，wjp表示yj、zp之间的权重，bp表示深度神经网络第二层的偏置量，i＝1···m，p＝1···n。
4.根据权利要求3所述的智能手势识别方法，其特征在于，所述分类器，通过下面公式获得当前手势类型的编码G，进而基于编码G确定手势类型
Figure FDA0002782322680000022
式中，wp表示zp和G之间的权重，b′表示分类器的偏置量，编码G为ASCII码，G的所有可能个数与手势类型的数量一致。
5.根据权利要求4所述的智能手势识别方法，其特征在于，通过下面步骤对所述深度神经网络和分类器进行训练：
获取输入数据为用户手部皮肤上各点的电压值xi′和相位θi′、输出为对应手势编码G′的训练集；其中，手势编码G′包含所有手势类型；
对于上述训练集中的每组训练数据，将xi′和θi′输入所述深度神经网络中获得每一层的输出yj和zp，再将zp输入分类器中获得当前手势类型的编码G；
判断所述当前手势类型的编码G是否等于训练集中对应手势编码G′；如果等于，结束该组训练数据对深度神经网络和分类器的训练，并开始下一组训练数据的训练；如果不等于，执行下一步；
根据上述获得的编码G，结合所述G′，通过下面公式获得下一次训练的权重wij、wjp和wp，以及偏置量bj、bp、b′
wp(T+1)＝wp(T)-α(G′-G)zp
Figure FDA0002782322680000031
Figure FDA0002782322680000032
b′(T+1)＝b(T)-α′(G′-G)
Figure FDA0002782322680000033
Figure FDA0002782322680000034
式中，T表示当前训练次数，wp(T+1)、b′(T+1)分别表示下一次训练时的分类器参数，wp(T)、b′(T)分别表示本次训练的分类器参数，wij(T+1)、wjp(T+1)、bj(T+1)、bp(T+1)分别表示下一次训练时的深度神经网络参数，wij(T)、wjp(T)、bj(T)、bp(T)分别表示本次训练时的深度神经网络参数，α、β、γ、α′、β′、γ′分别表示按梯度方向搜索的步长因子；
将xi′再次输入参数更新后的深度神经网络，将获得的zp输入参数更新后的分类器中获得该次训练当前手势类型的编码G，直到G＝G′，结束该组训练数据对深度神经网络和分类器的训练，并开始下一组训练数据的训练，直到完成所有训练数据的训练，获得训练好的深度神经网络和分类器。
6.根据权利要求1或2所述的智能手势识别方法，其特征在于，所述深度神经网络的结构包括2层：
第一层根据用户手部皮肤上各点的有效电压幅值xi和相位θi，进行下面公式中的运算，获得中间变量yj，j＝1···n
Figure FDA0002782322680000041
第二层根据中间变量yj，进行下面公式中的运算，获得每类手势的预测概率，其中，第p种手势的预测概率zp为
Figure FDA0002782322680000042
其中
Figure FDA0002782322680000043
式中，n表示手势类型的数量，m表示有效电压幅值的个数，或相位个数，wij表示xi、yj之间的权重，bj表示深度神经网络第一层的偏置量，wjp表示yj、zp之间的权重，bp表示深度神经网络第二层的偏置量，i＝1···m，p＝1···n，Bernoulli(k)表示随机生成0或者1的函数，概率k为0.5。
7.一种基于电学测量的智能手势识别系统，其特征在于，包括：
分布式电极传感器阵列，用于在采集用户手部皮肤上各点的电压信号，传输至预处理模块；
预处理模块，用于对用户手部皮肤上各点的电压信号进行预处理，获得各点的有效电压幅值和相位，传输至数据处理与控制模块；
数据处理与控制模块，用于根据用户设定，选通多路选通模块至相应电极的通路；以及将相应电极采集的上述各点的有效电压幅值和相位作为输入变量，输入事先训练好的深度神经网络中，获得每类手势的预测概率，再将上述每类手势的预测概率作为输入变量，输入事先训练好的分类器中，获得当前手势类型；
多路选通模块，用于在数据处理与控制模块的控制下，选通多路选通模块至相应电极的通路，启动分布式电极传感器阵列中的相应电极进行数据采集。
8.根据权利要求1或2所述的智能手势识别系统，其特征在于，所述预处理模块进一步包括依次连接的：
信号放大器，用于将用户手部皮肤上各点的电压信号进行放大，将获得的放大后电压信号传输至滤波器；
滤波器，用于滤除接收到的放大后电压信号中的干扰信号，将获得的滤波后模拟信号传输至AD转换器；
AD转换器，用于将接收到的滤波后模拟信号转换成数字信号，获得各点的电压峰值和相位，传输至电压解算模块；
电压解算模块，用于通过下面公式将各点的电压峰值进行归一化，将归一化结果作为各点的有效电压幅值xi，并将各点的有效电压幅值xi和相位发送至数据处理与控制模块
Figure FDA0002782322680000051
式中，Ui表示第i个点的电压峰值，Umin表示所有电压峰值中的最小值，Umax表示所有电压峰值中的最大值。
9.根据权利要求7或8所述的智能手势识别系统，其特征在于，所述深度神经网络包括2层：
第一层根据用户手部皮肤上各点的有效电压幅值xi和相位θi，进行下面公式的运算，获得中间变量yj，j＝1···n
Figure FDA0002782322680000061
第二层根据中间变量yj，进行下面公式的运算，获得每类手势的预测概率，其中，第p种手势的预测概率zp为
zp＝f(wjpyj+bp)
其中
Figure FDA0002782322680000062
式中，n表示手势类型的数量，m表示有效电压幅值的个数，或相位个数，也是采集数据点数，i表示第i个柔性电极传感器，wij表示xi和yj之间的权重，bj表示深度神经网络第一层的偏置量，wjp表示yj和zp之间的权重，bp表示深度神经网络第二层的偏置量，i＝1···m，j＝1···n，p＝1···n；
或者，第一层根据用户手部皮肤上各点的有效电压幅值xi和相位θi，进行下面公式中的运算，获得中间变量yj，j＝1···n
Figure FDA0002782322680000063
第二层根据中间变量yj，进行下面公式中的运算，获得每类手势的预测概率，其中，第p种手势的预测概率zp为
Figure FDA0002782322680000064
其中
Figure FDA0002782322680000065
式中，Bernoulli(k)表示随机生成0或者1的函数，概率k为0.5。
10.根据权利要求9所述的智能手势识别系统，其特征在于，所述分类器通过下面公式获得当前手势类型的编码G，进而基于编码G确定手势类型
Figure FDA0002782322680000071
式中，wp表示zp和G之间的权重，b′表示分类器的偏置量，编码G对应的手势类型为放松、握拳、张开、左弯和右弯中的一种，编码G为ASCII码，G的所有可能个数与手势类型的数量一致。
CN202011285933.1A 2020-11-17 2020-11-17 基于电学测量的智能手势识别方法及系统 Active CN114515146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011285933.1A CN114515146B (zh) 2020-11-17 2020-11-17 基于电学测量的智能手势识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011285933.1A CN114515146B (zh) 2020-11-17 2020-11-17 基于电学测量的智能手势识别方法及系统

Publications (2)

Publication Number Publication Date
CN114515146A true CN114515146A (zh) 2022-05-20
CN114515146B CN114515146B (zh) 2024-03-22

Family

ID=81594343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011285933.1A Active CN114515146B (zh) 2020-11-17 2020-11-17 基于电学测量的智能手势识别方法及系统

Country Status (1)

Country Link
CN (1) CN114515146B (zh)

Citations (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030153817A1 (en) * 2001-12-28 2003-08-14 Petter Knagenhjelm Pattern analysis system and method
US20120068917A1 (en) * 2010-09-17 2012-03-22 Sony Corporation System and method for dynamic gesture recognition using geometric classification
US20120323521A1 (en) * 2009-09-29 2012-12-20 Commissariat A L'energie Atomique Et Aux Energies Al Ternatives System and method for recognizing gestures
US20130123666A1 (en) * 2005-03-17 2013-05-16 Great Lakes Neurotechnologies Inc. Movement disorder recovery system and method for continuous monitoring
US20130294651A1 (en) * 2010-12-29 2013-11-07 Thomson Licensing System and method for gesture recognition
US20130321009A1 (en) * 2011-02-21 2013-12-05 Koninklijke Philips Electronics N.V. Gesture recognition system
US20130335318A1 (en) * 2012-06-15 2013-12-19 Cognimem Technologies, Inc. Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
US20140050354A1 (en) * 2012-08-16 2014-02-20 Microchip Technology Incorporated Automatic Gesture Recognition For A Sensor System
US20140147035A1 (en) * 2011-04-11 2014-05-29 Dayaong Ding Hand gesture recognition system
US20150346833A1 (en) * 2014-06-03 2015-12-03 Beijing TransBorder Information Technology Co., Ltd. Gesture recognition system and gesture recognition method
CN105608432A (zh) * 2015-12-21 2016-05-25 浙江大学 一种基于瞬时肌电图像的手势识别方法
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
US20160282945A1 (en) * 2015-03-23 2016-09-29 Alberto Alcocer Ochoa Gesture recognition mechanism
US20170075426A1 (en) * 2015-09-16 2017-03-16 Intel Corporation Techniques for gesture recognition using photoplethysmographic (ppmg) sensor and low-power wearable gesture recognition device using the same
US20170188895A1 (en) * 2014-03-12 2017-07-06 Smart Monitor Corp System and method of body motion analytics recognition and alerting
CN106980367A (zh) * 2017-02-27 2017-07-25 浙江工业大学 一种基于肌电地形图的手势识别方法
US20170300124A1 (en) * 2017-03-06 2017-10-19 Microsoft Technology Licensing, Llc Ultrasonic based gesture recognition
US20170319123A1 (en) * 2016-05-06 2017-11-09 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Using Mobile and Wearable Video Capture and Feedback Plat-Forms for Therapy of Mental Disorders
CN107645922A (zh) * 2015-04-20 2018-01-30 瑞思迈传感器技术有限公司 用传感器进行手势识别
CN107688773A (zh) * 2017-07-07 2018-02-13 北京联合大学 一种基于深度学习的手势识别方法
US20180052519A1 (en) * 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
CN108983979A (zh) * 2018-07-25 2018-12-11 北京因时机器人科技有限公司 一种手势跟踪识别方法、装置和智能设备
CN108983973A (zh) * 2018-07-03 2018-12-11 东南大学 一种基于手势识别的仿人灵巧肌电假手控制方法
US20190033974A1 (en) * 2017-07-27 2019-01-31 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
US20190107894A1 (en) * 2017-10-07 2019-04-11 Tata Consultancy Services Limited System and method for deep learning based hand gesture recognition in first person view
US20190121305A1 (en) * 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
US20190227627A1 (en) * 2018-01-25 2019-07-25 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
CN110598676A (zh) * 2019-09-25 2019-12-20 南京邮电大学 基于置信度得分模型的深度学习手势肌电信号识别方法
CN110604578A (zh) * 2019-09-04 2019-12-24 平顶山学院 基于semg的人手手内动作识别方法
US20190391666A1 (en) * 2019-07-01 2019-12-26 Lg Electronics Inc. Gesture recognition apparatus and method
CN110908515A (zh) * 2019-11-27 2020-03-24 北京航空航天大学 基于腕部肌肉压力的手势识别方法和装置
CN111227839A (zh) * 2020-01-19 2020-06-05 中国电子科技集团公司电子科学研究院 一种行为识别方法及装置
CN111443816A (zh) * 2020-05-25 2020-07-24 中国科学院大学温州研究院(温州生物材料与工程研究所) 基于柔性抗菌生物膜多通道数据采集模块的手势识别系统
US20200250409A1 (en) * 2019-02-01 2020-08-06 Chengdu Siwuge Technology Co., Ltd. Motion capture device and method for the multi-point receiving array based on the non-propagating electromagnetic field
CN111553307A (zh) * 2020-05-08 2020-08-18 中国科学院合肥物质科学研究院 一种融合生物电阻抗信息和肌电信息的手势识别系统
CN111783717A (zh) * 2020-07-10 2020-10-16 邵勇 一种生物特征运动模态智能识别方法及其应用

Patent Citations (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030153817A1 (en) * 2001-12-28 2003-08-14 Petter Knagenhjelm Pattern analysis system and method
US20130123666A1 (en) * 2005-03-17 2013-05-16 Great Lakes Neurotechnologies Inc. Movement disorder recovery system and method for continuous monitoring
US20120323521A1 (en) * 2009-09-29 2012-12-20 Commissariat A L'energie Atomique Et Aux Energies Al Ternatives System and method for recognizing gestures
US20120068917A1 (en) * 2010-09-17 2012-03-22 Sony Corporation System and method for dynamic gesture recognition using geometric classification
US20130294651A1 (en) * 2010-12-29 2013-11-07 Thomson Licensing System and method for gesture recognition
US20130321009A1 (en) * 2011-02-21 2013-12-05 Koninklijke Philips Electronics N.V. Gesture recognition system
US20140147035A1 (en) * 2011-04-11 2014-05-29 Dayaong Ding Hand gesture recognition system
US20130335318A1 (en) * 2012-06-15 2013-12-19 Cognimem Technologies, Inc. Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
US20140050354A1 (en) * 2012-08-16 2014-02-20 Microchip Technology Incorporated Automatic Gesture Recognition For A Sensor System
US20170188895A1 (en) * 2014-03-12 2017-07-06 Smart Monitor Corp System and method of body motion analytics recognition and alerting
US20150346833A1 (en) * 2014-06-03 2015-12-03 Beijing TransBorder Information Technology Co., Ltd. Gesture recognition system and gesture recognition method
US20160282945A1 (en) * 2015-03-23 2016-09-29 Alberto Alcocer Ochoa Gesture recognition mechanism
CN107645922A (zh) * 2015-04-20 2018-01-30 瑞思迈传感器技术有限公司 用传感器进行手势识别
US20170075426A1 (en) * 2015-09-16 2017-03-16 Intel Corporation Techniques for gesture recognition using photoplethysmographic (ppmg) sensor and low-power wearable gesture recognition device using the same
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN105608432A (zh) * 2015-12-21 2016-05-25 浙江大学 一种基于瞬时肌电图像的手势识别方法
US20170319123A1 (en) * 2016-05-06 2017-11-09 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Using Mobile and Wearable Video Capture and Feedback Plat-Forms for Therapy of Mental Disorders
US20180052519A1 (en) * 2016-08-19 2018-02-22 Otis Elevator Company System and method for distant gesture-based control using a network of sensors across the building
CN106980367A (zh) * 2017-02-27 2017-07-25 浙江工业大学 一种基于肌电地形图的手势识别方法
US20170300124A1 (en) * 2017-03-06 2017-10-19 Microsoft Technology Licensing, Llc Ultrasonic based gesture recognition
CN107688773A (zh) * 2017-07-07 2018-02-13 北京联合大学 一种基于深度学习的手势识别方法
US20190033974A1 (en) * 2017-07-27 2019-01-31 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
US20190107894A1 (en) * 2017-10-07 2019-04-11 Tata Consultancy Services Limited System and method for deep learning based hand gesture recognition in first person view
US20190121305A1 (en) * 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
US20190227627A1 (en) * 2018-01-25 2019-07-25 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
CN108983973A (zh) * 2018-07-03 2018-12-11 东南大学 一种基于手势识别的仿人灵巧肌电假手控制方法
CN108983979A (zh) * 2018-07-25 2018-12-11 北京因时机器人科技有限公司 一种手势跟踪识别方法、装置和智能设备
US20200250409A1 (en) * 2019-02-01 2020-08-06 Chengdu Siwuge Technology Co., Ltd. Motion capture device and method for the multi-point receiving array based on the non-propagating electromagnetic field
US20190391666A1 (en) * 2019-07-01 2019-12-26 Lg Electronics Inc. Gesture recognition apparatus and method
CN110604578A (zh) * 2019-09-04 2019-12-24 平顶山学院 基于semg的人手手内动作识别方法
CN110598676A (zh) * 2019-09-25 2019-12-20 南京邮电大学 基于置信度得分模型的深度学习手势肌电信号识别方法
CN110908515A (zh) * 2019-11-27 2020-03-24 北京航空航天大学 基于腕部肌肉压力的手势识别方法和装置
CN111227839A (zh) * 2020-01-19 2020-06-05 中国电子科技集团公司电子科学研究院 一种行为识别方法及装置
CN111553307A (zh) * 2020-05-08 2020-08-18 中国科学院合肥物质科学研究院 一种融合生物电阻抗信息和肌电信息的手势识别系统
CN111443816A (zh) * 2020-05-25 2020-07-24 中国科学院大学温州研究院(温州生物材料与工程研究所) 基于柔性抗菌生物膜多通道数据采集模块的手势识别系统
CN111783717A (zh) * 2020-07-10 2020-10-16 邵勇 一种生物特征运动模态智能识别方法及其应用

Also Published As

Publication number Publication date
CN114515146B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
Abbaspour et al. Evaluation of surface EMG-based recognition algorithms for decoding hand movements
CN112244873B (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
Yu et al. Application of PSO-RBF neural network in gesture recognition of continuous surface EMG signals
Sikder et al. Human activity recognition using multichannel convolutional neural network
Chen et al. Surface electromyography feature extraction via convolutional neural network
Shen et al. Multivariate time series forecasting based on elastic net and high-order fuzzy cognitive maps: a case study on human action prediction through EEG signals
CN112800998B (zh) 融合注意力机制和dmcca的多模态情感识别方法及系统
Shen et al. Gesture recognition through sEMG with wearable device based on deep learning
CN110826625B (zh) 一种基于表面肌电信号的手指手势分类方法
Fang et al. Attribute-driven granular model for EMG-based pinch and fingertip force grand recognition
Dutta et al. Automated classification of non-motor mental task in electroencephalogram based brain-computer interface using multivariate autoregressive model in the intrinsic mode function domain
Shao et al. Single-channel SEMG using wavelet deep belief networks for upper limb motion recognition
Xue et al. SEMG-based human in-hand motion recognition using nonlinear time series analysis and random forest
CN115587321B (zh) 一种脑电信号识别分类方法、系统及电子设备
CN113111831A (zh) 一种基于多模态信息融合的手势识别技术
Zhang et al. Dual layer transfer learning for sEMG-based user-independent gesture recognition
CN117171708B (zh) 一种混合bci系统中的多模式融合方法、系统、设备及介质
CN111798980A (zh) 基于深度学习网络的复杂医学生物信号处理方法和装置
Li et al. Touch gesture and emotion recognition using decomposed spatiotemporal convolutions
Luo et al. Features extraction and multi-classification of sEMG using a GPU-Accelerated GA/MLP hybrid algorithm
CN115981470A (zh) 基于特征联合编码的手势识别方法及其系统
Cao et al. A Novel Adaptive Mutation PSO Optimized SVM Algorithm for sEMG‐Based Gesture Recognition
Wang et al. Wearable wristworn gesture recognition using echo state network
Li et al. Cross-user gesture recognition from sEMG signals using an optimal transport assisted student-teacher framework
Zhao et al. Attention‐based sensor fusion for emotion recognition from human motion by combining convolutional neural network and weighted kernel support vector machine and using inertial measurement unit signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant