CN110333783B - 一种用于鲁棒肌电控制的无关手势处理方法及系统 - Google Patents

一种用于鲁棒肌电控制的无关手势处理方法及系统 Download PDF

Info

Publication number
CN110333783B
CN110333783B CN201910622939.4A CN201910622939A CN110333783B CN 110333783 B CN110333783 B CN 110333783B CN 201910622939 A CN201910622939 A CN 201910622939A CN 110333783 B CN110333783 B CN 110333783B
Authority
CN
China
Prior art keywords
neural network
gesture
network model
training
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910622939.4A
Other languages
English (en)
Other versions
CN110333783A (zh
Inventor
陈勋
吴乐
张旭
陈香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910622939.4A priority Critical patent/CN110333783B/zh
Publication of CN110333783A publication Critical patent/CN110333783A/zh
Application granted granted Critical
Publication of CN110333783B publication Critical patent/CN110333783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种用于鲁棒肌电控制的无关手势处理方法及系统，将高密度肌电信号转换为视频信号，首先利用三维卷积神经网络提取视频信号的时序‑空间特征，对手势模式进行精确的刻画，随后利用自编码器判断未知手势数据是否为预定义手势模式，若是，则给出识别结果，若不是，则给出无关手势的输出指令，从而进行拒判。本发明相对传统方法，利用了骨骼肌活动时的时空特征，对异常手势拒判效果得到显著提升，在此基础上，使得基于肌电控制的人机交互设备抗干扰能力更强，从而使其适应实际使用中灵巧的手在多个功能中复用的复杂环境。

Description

一种用于鲁棒肌电控制的无关手势处理方法及系统
技术领域
本发明涉及生物信号处理技术领域，尤其涉及一种用于鲁棒肌电控制的无关手势处理方法及系统。
背景技术
肌电信号是伴随肌肉收缩产生的电信号，能够直接反映源于人体神经系统的运动控制指令，可以作为人机交互的指令输入，且具备较高的运动感知灵敏度。表面肌电信号是由放置在皮肤表面的电极采集的肌电信号，因其无创性的特点，基于表面肌电信号的人机交互得到了长足的发展。近年来，基于模式识别的肌电控制证明可以在理想环境下识别出多自由度的手势动作。但是，基于模式识别的肌电控制商业应用依然有限。在大多数典型的肌电模式识别的框架中，动作的识别由一个分类器完成，该分类器由指定数目动作的肌电信号训练，且仅能识别出指定类别的手势。所以，当这些框架输入指定手势集合之外的手势信号时，往往会给出错误的结果，大大降低交互体验。此处，称指定手势集合之外的手势集为无关手势，无关手势的干扰是制约肌电模式识别应用的重要原因之一。
现有技术中，有尝试扩展线性判别分析(Linear Discriminate Analysis，LDA)的结果为置信度的方式，并依据分类置信度拒判无关手势。但是LDA分类器在设计之初并未考虑无关手势的影响，这限制了该框架的表现性能。目前也有尝试计算新手势肌电特征和指定手势集肌电特征的马氏距离(Mahalanobis Distance，MD)，随后通过设定阈值去拒判无关手势，该方法是当前期刊文献报道的最优效果。然而，以上报道的方法测试的无关手势依然处于较为理想情况。比如设定伸腕，屈腕为控制手势，而伸掌，握拳是无关手势，这样的设定使得无关手势的模式相对稳定，降低了无关手势拒判的难度。而在实际情况中，无关手势更可能发生在交互设备的日常使用过程中，一些随机的手势动作，比如写字，打字，点击鼠标过程中的手势，应当被视作无关手势并拒判。
因此，如何识别并拒判这些更为复杂且随机的无关手势是肌电控制的难题之一。
发明内容
有鉴于此，本发明提供了一种用于鲁棒肌电控制的无关手势处理方法，通过采集的肌电信号，设计基于三维卷积神经网络的模型结构以及基于自编码神经网络的模型结构，能够在实际应用中对预订手势指令集无关的手势及操作进行辨识和拒判。
本发明提供了一种用于鲁棒肌电控制的无关手势处理方法，包括：
基于采集到的指定手势集的肌电信号构建训练数据；
基于采集到的指定手势集与无关手势集的肌电信号构建测试数据；
基于所述训练数据对预先构建的基于三维卷积神经网络的模型进行训练，得到最优的三维卷积神经网络模型参数；
基于训练得到的所述三维卷积神经网络模型，获取所述训练数据的时序-空间信息；
基于所述训练数据的时序-空间信息，训练指定手势集数目的基于自编码器的神经网络模型，得到最优的基于自编码器的神经网络模型参数；
根据各个类别的自编码器重构误差大小，对每一个指定手势设定特定的拒判阈值；
基于所述经过训练得到的所述三维卷积神经网络模型、所述经过训练得到的基于自编码器的神经网络模型，以及所述拒判阈值，对所述测试数据进行识别，输出无关手势识别结果。
优选地，所述基于采集到的指定手势集的肌电信号构建训练数据，包括：
基于高密度阵列电极采集执行所述指定手势集中的手势动作的静息状态下的肌电信号；
基于所述静息状态下的肌电信号对肌电信号进行活动段分割，得到活动分析窗和静息分析窗；
对每一个活动分析窗的每一个通道提取特征，处理为二维肌电特征图像；
将连续的二维肌电特征图像转换为视频样本，添加至训练集合。
优选地，所述基于所述经过训练得到的所述三维卷积神经网络模型、所述经过训练得到的基于自编码器的神经网络模型，以及所述拒判阈值，对所述测试数据进行识别，输出无关手势识别结果，包括：
将所述测试数据转换为对应的视频样本；
将所述测试数据对应的视频样本通过所述经过训练得到的所述三维卷积神经网络模型得到所述测试数据的时序-空间特征；
将得到的所述测试数据的时序-空间特征输入经过训练得到的基于自编码器的神经网络模型，计算重构误差；
判断所述重构误差是否大于所述拒判阈值，若是，识别结果为无关手势，若否，则：
识别结果为指定手势。
优选地，所述高密度阵列电极的行通道数为p，列通道数为q，密度为D。
优选地，所述p＝6，q＝8，D＝1.5cm。
一种用于鲁棒肌电控制的无关手势处理系统，包括：
训练数据构建模块，用于基于采集到的指定手势集的肌电信号构建训练数据；
测试数据构建模块，用于基于采集到的指定手势集与无关手势集的肌电信号构建测试数据；
第一模型训练模块，用于基于所述训练数据对预先构建的基于三维卷积神经网络的模型进行训练，得到最优的三维卷积神经网络模型参数；
获取模块，用于基于训练得到的所述三维卷积神经网络模型，获取所述训练数据的时序-空间信息；
第二模型训练模块，用于基于所述训练数据的时序-空间信息，训练指定手势集数目的基于自编码器的神经网络模型，得到最优的基于自编码器的神经网络模型参数；
设定模块，用于根据各个类别的自编码器重构误差大小，对每一个指定手势设定特定的拒判阈值；
识别模块，用于基于所述经过训练得到的所述三维卷积神经网络模型、所述经过训练得到的基于自编码器的神经网络模型，以及所述拒判阈值，对所述测试数据进行识别，输出无关手势识别结果。
优选地，所述训练数据构建模块包括：
高密度阵列电极，用于采集执行所述指定手势集中的手势动作的静息状态下的肌电信号；
分割单元，用于基于所述静息状态下的肌电信号对肌电信号进行活动段分割，得到活动分析窗和静息分析窗；
特征提取单元，用于对每一个活动分析窗的每一个通道提取特征，处理为二维肌电特征图像；
第一转换单元，用于将连续的二维肌电特征图像转换为视频样本，添加至训练集合。
优选地，所述识别模块，包括：
第二转换单元，用于将所述测试数据转换为对应的视频样本；
得到单元，用于将所述测试数据对应的视频样本通过所述经过训练得到的所述三维卷积神经网络模型得到所述测试数据的时序-空间特征；
计算单元，用于将得到的所述测试数据的时序-空间特征输入经过训练得到的基于自编码器的神经网络模型，计算重构误差；
判断单元，用于判断所述重构误差是否大于所述拒判阈值；
输出单元，用于当重构误差大于所述拒判阈值时，输出识别结果为无关手势；
所述输出单元，还用于当重构误差小于等于所述拒判阈值时，识别结果为指定手势。
优选地，所述高密度阵列电极的行通道数为p，列通道数为q，密度为D。
优选地，所述p＝6，q＝8，D＝1.5cm。
综上所述，本发明公开了一种用于鲁棒肌电控制的无关手势处理方法，首先基于采集到的指定手势集的肌电信号构建训练数据，基于采集到的指定手势集与无关手势集的肌电信号构建测试数据；然后基于训练数据对预先构建的基于三维卷积神经网络的模型进行训练，得到最优的三维卷积神经网络模型参数；基于训练得到的三维卷积神经网络模型，获取训练数据的时序-空间信息；基于训练数据的时序-空间信息，训练指定手势集数目的基于自编码器的神经网络模型，得到最优的基于自编码器的神经网络模型参数；根据各个类别的自编码器重构误差大小，对每一个指定手势设定特定的拒判阈值；基于经过训练得到的所述三维卷积神经网络模型、经过训练得到的基于自编码器的神经网络模型，以及拒判阈值，对测试数据进行识别，输出无关手势识别结果。本发明通过采集的肌电信号，设计基于三维卷积神经网络的模型结构以及基于自编码神经网络的模型结构，能够在实际应用中对预订手势指令集无关的手势及操作进行辨识和拒判。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的一种用于鲁棒肌电控制的无关手势处理方法实施例1的方法流程图；
图2为本发明公开的一种用于鲁棒肌电控制的无关手势处理系统实施例1的结构示意图；
图3为本发明公开的一种三维卷积神经网络的模型结构示意图；
图4为本发明公开的一种自编码神经网络的模型结构示意图；
图5为本发明公开的试验错误率对比结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明公开的一种用于鲁棒肌电控制的无关手势处理方法实施例1的方法流程图，所述方法可以包括以下步骤：
S101、基于采集到的指定手势集的肌电信号构建训练数据；
当需要对无关手势进行识别判断时，首先采集指定手势集合的肌电信号，根据采集到的指定手势集的肌电信号构建训练数据。其中，指定手势集合中的指定手势可以根据实际需求进行灵活设定，例如，指定手势可以为：内旋、外旋、张手、握拳、伸腕、屈腕、射击等动作。
具体的，在基于采集到的指定手势集的肌电信号构建训练数据的其中一种实现方式可以是：
选取行通道数为p，列通道数为q，密度为D的两片柔性高密度阵列电极，其中，示例性的，可以设置p＝6，q＝8，D＝1.5cm。
然后，将高密度阵列电极放置在指定位置，并逐一执行指定手势集中的K种手势动作，随后，再采集一段静息状态下的肌电信号。示例性的，将高密度阵列电极放置在前臂的内侧和背侧，从而包裹住大部前臂肌群，此时，指定K＝7种指定手势运动：内旋，外旋，张手，握拳，伸腕，屈腕，射击动作。每个动作保持中等力的等长收缩5秒，每个动作之间留出充分时间休息防止肌肉疲劳，且每个动作均采集10次。采集的静息状态肌电信号为5秒。
利用静息状态的肌电信号对采集的肌电信号进行活动段分割，得到一系列的活动分析窗与静息分析窗。利用滑动窗将肌电信号分割为一系列分析窗，设置窗长为W(例如，W＝256ms)，滑动步长为L(例如，L＝128ms)；选取静息状态肌电信号的所有滑动窗，计算静息状态阈值Th；随后，利用Th对所有滑动窗进行判断，若当前滑动窗属于活动信号，则将该分析窗打上相应标签留作后续处理。示例性的，静息状态阈值Th的计算可以如下：首先对每一个静息状态下的分析窗求绝对值的和，随后对所有的和取平均值加三倍标准差作为阈值Th。随后，若一个分析窗所有通道的绝对值和的大小小于Th，则判为静息分析窗，若大于Th，则判为活动分析窗。
对每一个活动分析窗的每一个通道提取特征，处理为二维肌电特征图像，提取的特征可以是反映肌电信号的能量特性。示例性的，对每一个特征提取一个波长(wavelength，WL)特征。则每一个活动分析窗被转换为一个2p×q×1的矩阵。经验性的，可将一张二维肌电图像插值至m×n×1，示例性的，利用双三线性插值至m＝32，n＝32。
将连续的二维肌电特征图像转换为视频样本，添加至训练集合。设置一段视频样本的帧数是f，则由得到的f个连续的肌电特征图像组成一个视频样本，并打上相应的手势标签。并随后每隔fs个连续肌电图像样本采集一个视频样本。示例性的，f＝16，fs＝8。这样，肌电信号即被处理为一系列的视频样本。
至此，训练数据构建完毕，经验性的，为了更好的为下文所述的无关手势拒判设定阈值，可以从训练数据中辟出部分数据作为验证数据，且验证数据不参与训练。示例性的，训练数据中样本的20％视作验证数据。
S102、基于采集到的指定手势集与无关手势集的肌电信号构建测试数据；
同时，构建需要进行无关手势识别的测试数据。其中，测试数据中包括基于采集到的指定手势集的肌电信号构建的数据，还包括基于采集到的无关手势集的肌电信号构建的数据。其中，无关手势是指除指定手势以外的手势。
具体的，构建测试数据的方式与前述构建训练数据的方式类似，区别在于，在得到视频样本的过程中，采集的K个手势既包括指定手势集合也添加了新的无关手势。示例性的，若构建训练数据采集了7种示例的手势动作，构建测试数据时，除了采集上述7种指定手势动作，还添加打字，写字，点击鼠标和拧动作，作为无关手势。
S103、基于训练数据对预先构建的基于三维卷积神经网络的模型进行训练，得到最优的三维卷积神经网络模型参数；
预先构建基于三维卷积神经网络的模型结构作为时序-空间特征提取器以及分类器，利用训练数据训练基于三维卷积神经网络的模型，得到最优模型参数。
具体的，三维卷积神经网络的模型结构前端包括卷积层，池化层用于提取输入视频信息的时序-空间信息，随后是批标准化层与dropout层用于防止过拟合，最后是全连接层与softmax层用于分类。
示例性的，如图3所示，给出了一种基于三维卷积神经网络的模型结构，其中在LayerType列中，Input表述输入，Convolution代表卷积层，ReLU代表加入一层RuLU激活函数，Maxpooling代表最大池化层，BatchNormalization代表批标准化层，Fullyconnected代表全连接层，Dropout代表dropout层，Softmax代表加入Softmax层。LayerType列举了整个网络从输入(Input)到输出(Softmax)的整体结构，第二列的Parameter代表对应层的细节参数。
利用训练数据训练模型，得到最优模型参数主要过程如下：将训练数据和相应的标签送至模型中，通过梯度下降方式使得训练误差足够小，从而得到模型参数权重。
S104、基于训练得到的三维卷积神经网络模型，获取训练数据的时序-空间信息；
从三维卷积神经网络的模型不同层得到的值有着对视频样本的不同的描述，选择上述训练好的神经网络中间层的结果即可认为反映了视频样本的时序-空间信息。具体层数的选择可以结合神经网络的可视化技术，示例性的，选择倒数第二层的全连接层的输出作为视频样本的时序-空间特征描述，采用t-SNE可视化方法可以发现该层的结果训练集数据分布较为集中，可认为这层输出对视频样本的时序-空间信息捕捉较为准确。
S105、基于训练数据的时序-空间信息，训练指定手势集数目的基于自编码器的神经网络模型，得到最优的基于自编码器的神经网络模型参数；
输入训练数据，输出的时序-空间特征集往往具有较高维度，此时利用基于自编码神经网络的结构进行异常检测是比较合理的做法。本发明实施例中，自编码器由全连接层构成，训练的过程如下：将得到的特征集输送至模型中，利用梯度下降的方式让自编码器重构输入特征集，训练过程中若重构出的特征集和输入的特征集的误差足够小，则认为训练完毕。示例性的，训练中的重构误差为均方误差(mean squared error,MSE)。示例性的，图4给出了一种自编码神经网络的模型结构。
S106、根据各个类别的自编码器重构误差大小，对每一个指定手势设定特定的拒判阈值；
为了获取某类别的拒判阈值，对该类别验证集的重构误差从大到小排序，取前百分之Th_per对应的值大小为该类的阈值。K类目标手势可计算出K个阈值。Th_per是可控制的变量，该值越大，意味着拒判能力越强，但是对目标手势的响应程度越差，示例性的，可以取Th_per＝0.15。
S107、基于经过训练得到的三维卷积神经网络模型、经过训练得到的基于自编码器的神经网络模型，以及拒判阈值，对测试数据进行识别，输出无关手势识别结果。
具体的，将测试数据转换为对应的视频样本将测试数据对应的视频样本通过经过训练得到的三维卷积神经网络模型得到测试数据的时序-空间特征；将得到的测试数据的时序-空间特征输入经过训练得到的基于自编码器的神经网络模型，计算重构误差；判断重构误差是否大于拒判阈值，若是，识别结果为无关手势，若否，则：识别结果为指定手势。
为了说明本发明上述方案的性能，使用传统方法与本发明上述方案进行了对比实验。
对比实验中，采用了期刊文献报道的LDA-MA方式。具体的步骤为：首先选择一位受试者通过采集肌电信号，随后利用阈值方法和滑动窗方法预处理数据，随后对每一个特征提取特征，于是每一个分析窗可构成一个长为2p×q的向量。利用线性判别分析(LDA)对特征进行降维，随后计算每一个测试样本距离训练集样本集的马氏(MA)距离，若该距离大于由验证集确定的阈值，则认为是无关手势样本。
对比分为两个部分，评价指标为目标手势识别错误率ERtar以及无关手势识别错误率ERout，
Figure BDA0002125246270000111
其中，
Figure BDA0002125246270000112
和
Figure BDA0002125246270000113
分别表示总的目标手势集样本数目以及无关手势集样本数目。
Figure BDA0002125246270000114
表示为目标手势样本识别为无关手势样本的数目。
Figure BDA0002125246270000115
表示为无关手势样本识别为目标手势样本的数目。针对示例中7种目标手势集和4种无关手势的拒判错误率如图5所示。
综上所述，本发明将高密度表面肌电信号看作骨骼肌活动时的时空成像。在做目标手势时，表面肌电信号构成的肌电特征图像模式较为固定，且时序上变换程度低，而在做无关手势时，肌电特征图像模式不固定且在时序上变换较大。基于这一科学假设，本发明首次提出基于高密度肌电信号的时序-空间特征的异常检测方法，用以解决基于模式识别的肌电控制设备实际使用中的无关手势干扰问题。具体地，本发明首先将高密度肌电信号处理为视频样本，从而蕴含上肢骨骼肌活动的时序-空间信息，紧接着通过设计基于三维卷积神经网络的模型提取上述特征，随后通过自编码器的重构误差进行无关手势拒判。本发明提出的整套肌电模式识别处理流程与传统方法相比，无关手势拒判效果具有显著提升，本发明的提出为肌电模式识别中无关手势干扰问题提供了有益的解决方案。
如图2所示，为本发明公开的一种用于鲁棒肌电控制的无关手势处理系统实施例1的结构示意图，所述系统可以包括：
训练数据构建模块201，用于基于采集到的指定手势集的肌电信号构建训练数据；
当需要对无关手势进行识别判断时，首先采集指定手势集合的肌电信号，根据采集到的指定手势集的肌电信号构建训练数据。其中，指定手势集合中的指定手势可以根据实际需求进行灵活设定，例如，指定手势可以为：内旋、外旋、张手、握拳、伸腕、屈腕、射击等动作。
具体的，在基于采集到的指定手势集的肌电信号构建训练数据的其中一种实现方式可以是：
选取行通道数为p，列通道数为q，密度为D的两片柔性高密度阵列电极，其中，示例性的，可以设置p＝6，q＝8，D＝1.5cm。
然后，将高密度阵列电极放置在指定位置，并逐一执行指定手势集中的K种手势动作，随后，再采集一段静息状态下的肌电信号。示例性的，将高密度阵列电极放置在前臂的内侧和背侧，从而包裹住大部前臂肌群，此时，指定K＝7种指定手势运动：内旋，外旋，张手，握拳，伸腕，屈腕，射击动作。每个动作保持中等力的等长收缩5秒，每个动作之间留出充分时间休息防止肌肉疲劳，且每个动作均采集10次。采集的静息状态肌电信号为5秒。
通过分割单元利用静息状态的肌电信号对采集的肌电信号进行活动段分割，得到一系列的活动分析窗与静息分析窗。利用滑动窗将肌电信号分割为一系列分析窗，设置窗长为W(例如，W＝256ms)，滑动步长为L(例如，L＝128ms)；选取静息状态肌电信号的所有滑动窗，计算静息状态阈值Th；随后，利用Th对所有滑动窗进行判断，若当前滑动窗属于活动信号，则将该分析窗打上相应标签留作后续处理。示例性的，静息状态阈值Th的计算可以如下：首先对每一个静息状态下的分析窗求绝对值的和，随后对所有的和取平均值加三倍标准差作为阈值Th。随后，若一个分析窗所有通道的绝对值和的大小小于Th，则判为静息分析窗，若大于Th，则判为活动分析窗。
通过特征提取单元对每一个活动分析窗的每一个通道提取特征，处理为二维肌电特征图像，提取的特征可以是反映肌电信号的能量特性。示例性的，对每一个特征提取一个波长(wavelength，WL)特征。则每一个活动分析窗被转换为一个2p×q×1的矩阵。经验性的，可将一张二维肌电图像插值至m×n×1，示例性的，利用双三线性插值至m＝32，n＝32。
通过第一转换单元将连续的二维肌电特征图像转换为视频样本，添加至训练集合。设置一段视频样本的帧数是f，则由得到的f个连续的肌电特征图像组成一个视频样本，并打上相应的手势标签。并随后每隔fs个连续肌电图像样本采集一个视频样本。示例性的，f＝16，fs＝8。这样，肌电信号即被处理为一系列的视频样本。
至此，训练数据构建完毕，经验性的，为了更好的为下文所述的无关手势拒判设定阈值，可以从训练数据中辟出部分数据作为验证数据，且验证数据不参与训练。示例性的，训练数据中样本的20％视作验证数据。
测试数据构建模块202，用于基于采集到的指定手势集与无关手势集的肌电信号构建测试数据；
同时，构建需要进行无关手势识别的测试数据。其中，测试数据中包括基于采集到的指定手势集的肌电信号构建的数据，还包括基于采集到的无关手势集的肌电信号构建的数据。其中，无关手势是指除指定手势以外的手势。
具体的，构建测试数据的方式与前述构建训练数据的方式类似，区别在于，在得到视频样本的过程中，采集的K个手势既包括指定手势集合也添加了新的无关手势。示例性的，若构建训练数据采集了7种示例的手势动作，构建测试数据时，除了采集上述7种指定手势动作，还添加打字，写字，点击鼠标和拧动作，作为无关手势。
第一模型训练模块203，用于基于训练数据对预先构建的基于三维卷积神经网络的模型进行训练，得到最优的三维卷积神经网络模型参数；
预先构建基于三维卷积神经网络的模型结构作为时序-空间特征提取器以及分类器，利用训练数据训练基于三维卷积神经网络的模型，得到最优模型参数。
具体的，三维卷积神经网络的模型结构前端包括卷积层，池化层用于提取输入视频信息的时序-空间信息，随后是批标准化层与dropout层用于防止过拟合，最后是全连接层与softmax层用于分类。
示例性的，如图3所示，给出了一种基于三维卷积神经网络的模型结构，其中在LayerType列中，Input表述输入，Convolution代表卷积层，ReLU代表加入一层RuLU激活函数，Maxpooling代表最大池化层，BatchNormalization代表批标准化层，Fullyconnected代表全连接层，Dropout代表dropout层，Softmax代表加入Softmax层。LayerType列举了整个网络从输入(Input)到输出(Softmax)的整体结构，第二列的Parameter代表对应层的细节参数。
利用训练数据训练模型，得到最优模型参数主要过程如下：将训练数据和相应的标签送至模型中，通过梯度下降方式使得训练误差足够小，从而得到模型参数权重。
获取模块204，用于基于训练得到的三维卷积神经网络模型，获取训练数据的时序-空间信息；
从三维卷积神经网络的模型不同层得到的值有着对视频样本的不同的描述，选择上述训练好的神经网络中间层的结果即可认为反映了视频样本的时序-空间信息。具体层数的选择可以结合神经网络的可视化技术，示例性的，选择倒数第二层的全连接层的输出作为视频样本的时序-空间特征描述，采用t-SNE可视化方法可以发现该层的结果训练集数据分布较为集中，可认为这层输出对视频样本的时序-空间信息捕捉较为准确。
第二模型训练模块205，用于基于训练数据的时序-空间信息，训练指定手势集数目的基于自编码器的神经网络模型，得到最优的基于自编码器的神经网络模型参数；
输入训练数据，输出的时序-空间特征集往往具有较高维度，此时利用基于自编码神经网络的结构进行异常检测是比较合理的做法。本发明实施例中，自编码器由全连接层构成，训练的过程如下：将得到的特征集输送至模型中，利用梯度下降的方式让自编码器重构输入特征集，训练过程中若重构出的特征集和输入的特征集的误差足够小，则认为训练完毕。示例性的，训练中的重构误差为均方误差(mean squared error,MSE)。示例性的，图4给出了一种自编码神经网络的模型结构。
设定模块206，用于根据各个类别的自编码器重构误差大小，对每一个指定手势设定特定的拒判阈值；
为了获取某类别的拒判阈值，对该类别验证集的重构误差从大到小排序，取前百分之Th_per对应的值大小为该类的阈值。K类目标手势可计算出K个阈值。Th_per是可控制的变量，该值越大，意味着拒判能力越强，但是对目标手势的响应程度越差，示例性的，可以取Th_per＝0.15。
识别模块207，用于基于经过训练得到的三维卷积神经网络模型、经过训练得到的基于自编码器的神经网络模型，以及拒判阈值，对测试数据进行识别，输出无关手势识别结果。
具体的，通过第二转换单元将测试数据转换为对应的视频样本，通过得到单元将测试数据对应的视频样本通过经过训练得到的三维卷积神经网络模型得到测试数据的时序-空间特征；通过计算单元将得到的测试数据的时序-空间特征输入经过训练得到的基于自编码器的神经网络模型，计算重构误差；通过判断单元判断重构误差是否大于拒判阈值，若是，输出单元输出识别结果为无关手势，若否，则：输出单元输出识别结果为指定手势。
综上所述，本发明将高密度表面肌电信号看作骨骼肌活动时的时空成像。在做目标手势时，表面肌电信号构成的肌电特征图像模式较为固定，且时序上变换程度低，而在做无关手势时，肌电特征图像模式不固定且在时序上变换较大。基于这一科学假设，本发明首次提出基于高密度肌电信号的时序-空间特征的异常检测方法，用以解决基于模式识别的肌电控制设备实际使用中的无关手势干扰问题。具体地，本发明首先将高密度肌电信号处理为视频样本，从而蕴含上肢骨骼肌活动的时序-空间信息，紧接着通过设计基于三维卷积神经网络的模型提取上述特征，随后通过自编码器的重构误差进行无关手势拒判。本发明提出的整套肌电模式识别处理流程与传统方法相比，无关手势拒判效果具有显著提升，本发明的提出为肌电模式识别中无关手势干扰问题提供了有益的解决方案。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种用于鲁棒肌电控制的无关手势处理方法，其特征在于，包括：
基于采集到的指定手势集的肌电信号构建训练数据；
基于采集到的指定手势集与无关手势集的肌电信号构建测试数据；
基于所述训练数据对预先构建的基于三维卷积神经网络的模型进行训练，得到最优的三维卷积神经网络模型参数；
基于经过训练得到的三维卷积神经网络模型，获取所述训练数据的时序-空间信息，其中，所述经过训练得到的三维卷积神经网络模型包含最优的三维卷积神经网络模型参数；
基于所述训练数据的时序-空间信息，训练指定手势集数目的基于自编码器的神经网络模型，得到最优的基于自编码器的神经网络模型参数；
根据各个类别的自编码器重构误差大小，对每一个指定手势设定特定的拒判阈值；
基于所述经过训练得到的三维卷积神经网络模型、经过训练得到的基于自编码器的神经网络模型，以及所述拒判阈值，对所述测试数据进行识别，输出无关手势识别结果，其中，所述经过训练得到的基于自编码器的神经网络模型包含最优的基于自编码器的神经网络模型参数。
2.根据权利要求1所述的方法，其特征在于，所述基于采集到的指定手势集的肌电信号构建训练数据，包括：
基于高密度阵列电极采集执行所述指定手势集中的手势动作的静息状态下的肌电信号；
基于所述静息状态下的肌电信号对肌电信号进行活动段分割，得到活动分析窗和静息分析窗；
对每一个活动分析窗的每一个通道提取特征，处理为二维肌电特征图像；
将连续的二维肌电特征图像转换为视频样本，添加至训练集合。
3.根据权利要求2所述的方法，其特征在于，所述基于所述经过训练得到的三维卷积神经网络模型、经过训练得到的基于自编码器的神经网络模型，以及所述拒判阈值，对所述测试数据进行识别，输出无关手势识别结果，包括：
将所述测试数据转换为对应的视频样本；
将所述测试数据对应的视频样本通过所述经过训练得到的三维卷积神经网络模型得到所述测试数据的时序-空间特征；
将得到的所述测试数据的时序-空间特征输入经过训练得到的基于自编码器的神经网络模型，计算重构误差；
判断所述重构误差是否大于所述拒判阈值，若是，识别结果为无关手势，若否，则：
识别结果为指定手势。
4.根据权利要求2所述的方法，其特征在于，所述高密度阵列电极的行通道数为p，列通道数为q，密度为D。
5.根据权利要求4所述的方法，其特征在于，所述p＝6，q＝8，D＝1.5cm。
6.一种用于鲁棒肌电控制的无关手势处理系统，其特征在于，包括：
训练数据构建模块，用于基于采集到的指定手势集的肌电信号构建训练数据；
测试数据构建模块，用于基于采集到的指定手势集与无关手势集的肌电信号构建测试数据；
第一模型训练模块，用于基于所述训练数据对预先构建的基于三维卷积神经网络的模型进行训练，得到最优的三维卷积神经网络模型参数；
获取模块，用于基于经过训练得到的三维卷积神经网络模型，获取所述训练数据的时序-空间信息；其中，所述经过训练得到的三维卷积神经网络模型包含最优的三维卷积神经网络模型参数；
第二模型训练模块，用于基于所述训练数据的时序-空间信息，训练指定手势集数目的基于自编码器的神经网络模型，得到最优的基于自编码器的神经网络模型参数；
设定模块，用于根据各个类别的自编码器重构误差大小，对每一个指定手势设定特定的拒判阈值；
识别模块，用于基于所述经过训练得到的三维卷积神经网络模型、经过训练得到的基于自编码器的神经网络模型，以及所述拒判阈值，对所述测试数据进行识别，输出无关手势识别结果，其中，所述经过训练得到的基于自编码器的神经网络模型包含最优的基于自编码器的神经网络模型参数。
7.根据权利要求6所述的系统，其特征在于，所述训练数据构建模块包括：
高密度阵列电极，用于采集执行所述指定手势集中的手势动作的静息状态下的肌电信号；
分割单元，用于基于所述静息状态下的肌电信号对肌电信号进行活动段分割，得到活动分析窗和静息分析窗；
特征提取单元，用于对每一个活动分析窗的每一个通道提取特征，处理为二维肌电特征图像；
第一转换单元，用于将连续的二维肌电特征图像转换为视频样本，添加至训练集合。
8.根据权利要求7所述的系统，其特征在于，所述识别模块，包括：
第二转换单元，用于将所述测试数据转换为对应的视频样本；
得到单元，用于将所述测试数据对应的视频样本通过所述经过训练得到的三维卷积神经网络模型得到所述测试数据的时序-空间特征；
计算单元，用于将得到的所述测试数据的时序-空间特征输入经过训练得到的基于自编码器的神经网络模型，计算重构误差；
判断单元，用于判断所述重构误差是否大于所述拒判阈值；
输出单元，用于当重构误差大于所述拒判阈值时，输出识别结果为无关手势；
所述输出单元，还用于当重构误差小于等于所述拒判阈值时，识别结果为指定手势。
9.根据权利要求7所述的系统，其特征在于，所述高密度阵列电极的行通道数为p，列通道数为q，密度为D。
10.根据权利要求9所述的系统，其特征在于，所述p＝6，q＝8，D＝1.5cm。
CN201910622939.4A 2019-07-10 2019-07-10 一种用于鲁棒肌电控制的无关手势处理方法及系统 Active CN110333783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910622939.4A CN110333783B (zh) 2019-07-10 2019-07-10 一种用于鲁棒肌电控制的无关手势处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910622939.4A CN110333783B (zh) 2019-07-10 2019-07-10 一种用于鲁棒肌电控制的无关手势处理方法及系统

Publications (2)

Publication Number Publication Date
CN110333783A CN110333783A (zh) 2019-10-15
CN110333783B true CN110333783B (zh) 2020-08-28

Family

ID=68146179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910622939.4A Active CN110333783B (zh) 2019-07-10 2019-07-10 一种用于鲁棒肌电控制的无关手势处理方法及系统

Country Status (1)

Country Link
CN (1) CN110333783B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910900B (zh) * 2019-12-27 2022-08-05 科大讯飞股份有限公司 音质异常数据检测方法、装置、电子设备及存储介质
CN111209567B (zh) * 2019-12-30 2022-05-03 北京邮电大学 提高检测模型鲁棒性的可知性判断方法及装置
CN111401166A (zh) * 2020-03-06 2020-07-10 中国科学技术大学 基于肌电信息解码的鲁棒手势识别方法
CN111616706B (zh) * 2020-05-20 2022-07-22 山东中科先进技术有限公司 一种基于卷积神经网络的表面肌电信号分类方法及系统
CN111783719A (zh) * 2020-07-13 2020-10-16 中国科学技术大学 一种肌电控制方法及装置
CN112861604B (zh) * 2020-12-25 2022-09-06 中国科学技术大学 一种与用户无关的肌电动作识别与控制方法
CN113269089B (zh) * 2021-05-25 2023-07-18 上海人工智能研究院有限公司 基于深度学习的实时手势识别方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304674B1 (en) * 1998-08-03 2001-10-16 Xerox Corporation System and method for recognizing user-specified pen-based gestures using hidden markov models
US7542949B2 (en) * 2004-05-12 2009-06-02 Mitsubishi Electric Research Laboratories, Inc. Determining temporal patterns in sensed data sequences by hierarchical decomposition of hidden Markov models
CN105608432B (zh) * 2015-12-21 2019-02-22 浙江大学 一种基于瞬时肌电图像的手势识别方法
CN106980367B (zh) * 2017-02-27 2020-08-18 浙江工业大学 一种基于肌电地形图的手势识别方法
CN108388348B (zh) * 2018-03-19 2020-11-24 浙江大学 一种基于深度学习和注意力机制的肌电信号手势识别方法
CN109657634A (zh) * 2018-12-26 2019-04-19 中国地质大学（武汉） 一种基于深度卷积神经网络的3d手势识别方法及系统

Also Published As

Publication number Publication date
CN110333783A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110333783B (zh) 一种用于鲁棒肌电控制的无关手势处理方法及系统
Zhang et al. Cascade and parallel convolutional recurrent neural networks on EEG-based intention recognition for brain computer interface
CN109389059B (zh) 一种基于cnn-lstm网络的p300检测方法
CN108491077B (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN111134666B (zh) 一种多通道脑电数据的情绪识别方法及电子装置
JP7422946B2 (ja) ベイジアングラフ探索を用いたニューラルネットワークアーキテクチャの自動構築
Zhang et al. EEG-based intention recognition from spatio-temporal representations via cascade and parallel convolutional recurrent neural networks
CN112861604B (zh) 一种与用户无关的肌电动作识别与控制方法
CN113693613B (zh) 脑电信号分类方法、装置、计算机设备及存储介质
CN106980367A (zh) 一种基于肌电地形图的手势识别方法
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
EP3836836B1 (en) Real-time spike detection and identification
CN110658915A (zh) 一种基于双流网络的肌电信号手势识别方法
CN105739688A (zh) 一种基于情感体系的人机交互方法、装置和交互系统
Kumar et al. OPTICAL+: a frequency-based deep learning scheme for recognizing brain wave signals
CN110399846A (zh) 一种基于多通道肌电信号相关性的手势识别方法
CN109598219B (zh) 一种用于鲁棒肌电控制的自适应电极配准方法
CN112732092B (zh) 基于双视图多尺度卷积神经网络的表面肌电信号识别方法
CN113208593A (zh) 基于相关性动态融合的多模态生理信号情绪分类方法
Song et al. Adaptive common spatial pattern for single-trial EEG classification in multisubject BCI
CN111297327B (zh) 一种睡眠分析方法、系统、电子设备及存储介质
Jaramillo-Yanez et al. Short-term hand gesture recognition using electromyography in the transient state, support vector machines, and discrete wavelet transform
CN114384999B (zh) 基于自适应学习的用户无关肌电手势识别系统
CN103488995A (zh) 一种识别颈部转动的方法
CN113974627A (zh) 一种基于脑机生成对抗的情绪识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant