CN112528804A - 基于生成对抗网络的肌电信号降噪和分类方法 - Google Patents
基于生成对抗网络的肌电信号降噪和分类方法 Download PDFInfo
- Publication number
- CN112528804A CN112528804A CN202011401703.7A CN202011401703A CN112528804A CN 112528804 A CN112528804 A CN 112528804A CN 202011401703 A CN202011401703 A CN 202011401703A CN 112528804 A CN112528804 A CN 112528804A
- Authority
- CN
- China
- Prior art keywords
- electromyographic
- network
- layer
- signals
- electromyographic signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Abstract
本发明公开了一种基于生成对抗网络的肌电信号降噪和分类方法,对肌电信号进行预处理后构建基于WGAN的肌电信号降噪生成对抗网络模型;将肌电信号输入到肌电信号降噪生成对抗网络模型中进行训练,最小化生成分布与真实数据分布的JS距离,实现含有噪声信号和肌电信号的映射,输出降噪后的肌电信号;将所述降噪后的肌电信号的格式转换成为二维的数字矩阵,通过采用多尺度卷积核卷积神经网络模型对二维的数字矩阵提取肌电信号特征;从通道和空间两个方向根据注意力机制选择重要信息,最后平铺池化数据利用Softmax分类器对肌电信号进行分类。
Description
技术领域
本发明属于表面肌电信号的降噪和分类技术领域,具体涉及一种基于生成对抗网络的肌电信号降噪和分类方法。
背景技术
表面肌电信号是用表面电极在人体皮肤采集的电信号,这种电信号是肌肉运动在肌肉纤维附近产生的电位差。当人体产生运动意图时,该意图产生于大脑,编码于神经信号中传达到脊髓,二次编码后经神经通路传递到对应的肢体(如上肢),神经信号造成肌肉纤维收缩产生电位差,肌肉牵引骨骼完成该运动。在这个过程中,运动意图最终编码于肌肉纤维收缩产生的电信号里。通过对该信号解码,即可以获得最初的运动意图,肌电信号更接近于动作实施的阶段,包含的信息更精确,信噪比更高,采集更方便。
sEMG信号因为无创性,易于采集等优点被越来越多的应用于假肢控制和人机交互等领域,尤其是在假肢控制领域,肌电智能假肢成为研究热点。另一方面,在人机交互领域,表面肌电信号结合陀螺仪、加速度计等其他传感器信息,可以实现比较好的交互体验。然而因为肌电信号比较微弱,容易受到生活中电力工频频率、心电以及其他的噪声影响,采集到的肌电信号往往包含很多噪声信号,不能准确的反应肌肉运动,对于人机交互带来很大的不便。因此对肌电信号预处理和分类探索与研究,具有非常重要的现实意义。
发明内容
鉴于此,本发明的主要目的在于提供一种基于生成对抗网络的肌电信号降噪和分类方法。
为达到上述目的,本发明实施例的技术方案是这样实现的:
本发明实施例提供一种基于生成对抗网络的肌电信号降噪和分类,该方法为:
对肌电信号进行预处理获得降噪后的肌电信号,并且构建基于WGAN(WassersteinGenerative Adversarial Network)的肌电信号降噪生成对抗网络模型;
将肌电信号输入到肌电信号降噪生成对抗网络模型中进行训练,最小化生成分布与真实数据分布的JS距离,实现含有噪声信号和肌电信号的映射,输出降噪后的肌电信号;
将所述降噪后的肌电信号的格式转换成为二维的数字矩阵,通过采用多尺度卷积核卷积神经网络模型对二维的数字矩阵提取肌电信号特征;
从通道和空间两个方向根据注意力机制选择重要信息,最后平铺池化数据利用Softmax分类器对肌电信号进行分类。
上述方案中,所述肌电信号降噪生成对抗网络模型由生成网络和判别网络组成,所述构建基于WGAN的肌电信号降噪生成对抗网络模型,具体为:输入含有噪肌电信号来训练生成网络,含有噪肌电信号经过生成网络编码和解码,产生降噪后的肌电信号,然后将所述降噪后的肌电信号和含有噪肌电信号一起输入到判别网络,并和肌电信号进行比较,应用WGAN定义的损失函数更新网络参数,生成网络与判别网络竞争对抗的对抗网络模型。
上述方案中,所述生成网络和判别网络满足以下关系,即损失函数为:
其中,G=gθD=fw;z为含有噪声肌电信号与肌电信号之间的映射,服从分布p(z);x为肌电信号特性,服从分布Pr;生成网络的目标是最大化D(G(z)),令判别网络正确判别生成的肌电信号;而判别网络的目的是最大化式L,用于网络对抗训练,达到肌电信号降噪的目的。
上述方案中,所述多尺度卷积核卷积神经网络模型的构建为:所述多尺度卷积核卷积神经网络模型一共包含6层,第一层为输入层,输入数据为8×128大小的图像;第二层为卷积层,包含三种尺度的卷积核;第三层为池化层;第四层为注意力层,利用注意力机制选择重要信息;第五层为全连接层,将池化后的数据平铺,为最后的分类做准备,第六层为输出层,由Softmax分类器输出,可以实现多分类,输入采用N×T的形式,其中N=8表示通道数,T=128表示采样点数,因此输入矩阵为8×128。
上述方案中,所述多尺度卷积核卷积神经网络模型满足如下关系:
其中,为l-1层的第i个特征图的输入信号,为第l层的第j个特征图的输出值;Mj为特征图的第一组,符号*代表卷积;为第l-1层的第i个特征图与l层的第j个特征图之间的可学习的卷积核;b为输出特征图的偏置;f(·)表示输出的激活函数,通常情况下选择逻辑回归函数或修正线性单元。
上述方案中,所述分类网络的损失函数如下:
其中,xi为输入;j为单个样本的预测结果;yi为真实类别的结果;W为权重参数;f为激活函数;Δ为犯错容忍度;l为正则化惩罚项;λ为惩罚系数;k、l分别为权重参数的行和列;Softmax分类器表达式如式(11)所示,反向传播时,使用Adam梯度下降算法。
其中,k表示类别数;zj表示第j个类别的线性预测概率;zk为k个类别的线性预测概率之和;fj(z)为每一类的归一化预测结果。
与现有技术相比,本发明的有益效果:
(1)本发明首次将生成对抗网络应用到肌电信号降噪领域;
(2)本发明利用生成对抗网络,将经过含有噪声的肌电信号作为输入,生成与肌电信号更接近的数据,抑制肌电信号中的大部分噪声信号,实现了肌电信号的降噪。
(3)本发明将注意力机制和多尺度卷积核卷积神经网络结合,从时间维度和空间通道维度进行特征识别,实现对肌电信号的特征精确提取和精准分类。
附图说明
图1为本发明的肌电信号降噪流程图;
图2为本发明的生成网络结构示意图;
图3为本发明的判别网络;
图4为本发明的肌电信号分类模型;
图5为本发明的注意力机制原理图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明实施例提供一种基于生成对抗网络的肌电信号降噪和分类方法,如图1所示,该方法具体通过以下步骤实现:
步骤101:构建基于WGAN的肌电信号降噪生成对抗网络模型。
具体地,所述对抗网络模型由生成网络和判别网络组成。
输入含有噪肌电信号来训练生成网络,含有噪肌电信号经过生成网络编码和解码,产生降噪肌电信号,然后将它和含有噪肌电信号一起输入到判别网络,并和无噪声肌电信号进行比较,应用WGAN定义的损失函数更新网络参数,生成网络与判别网络竞争对抗的对抗网络模型。
生成网络和判别网络满足以下关系:
其中,G=gθD=fw;z为含有噪声肌电信号与肌电信号之间的关系,服从分布p(z);x为肌电信号特性,服从分布Pr。生成网络的目标是最大化D(G(z)),令判别网络正确判别生成的肌电信号。而判别网络的目的是最大化式L,以此展开网络对抗训练,达到肌电信号降噪的目的。
生成网络由22个一维跨越式卷积层构成,宽度为30,跨度步长为1。随着网络层数的增加滤波器个数也随之递增,网络的深度在宽度变小的同时逐步变大。每层的维数分别为8192×1、4096×16、2048×32、1024×32、512×64、256×64、128×128、64×128、32×256、16×256、8×512。解码阶滤波器个数和宽度与编码阶段保持镜像关系。采用卷积网络提取它们的关系特征,并利用激活函数线性整流函数对关系特征进行融合,得到抽象的噪声分布特征。该激活函数解决了因网络层数增加,训练过程中出现梯度弥散,导致训练无法继续的问题。
根据提取出的特征就可以进行对肌电信号降噪。为了提高增强效果,将生成网络设计成全卷积U-Net结构,无全连接层。当编码/解码部分没有被使用时,网络将通过跳过连接方式,即直接连接编码层和对应的解码层跳过该部分。此外,跳过连接减少了训练的参数数量和训练时间。同时在生成网络中加入批标准化层加快收敛速度并提高模型降噪能力、加入池化层对提取出的特征进行选择和稀疏处理,以保证模型性能。
判别网络的功能是判别输入肌电信号,得到判别概率。不同噪声信号的分布特征不同,由于含有噪肌电信号获得的降噪肌电信号和真实肌电信号分布存在偏差,无法准确模拟真实肌电信号。通过卷积神经网络提取该特征上的差异作为判别依据,区分真实肌电信号和降噪肌电信号。判别网络与生成网络的卷积设计类似,滤波器个数分别为16,32,32,64,64,128,128,256,256,512。卷积核大小为30,步长为1。在网络中加入批标准化层,降低初始化参数对训练结果的影响、加快训练速度,使用Leaky ReLU作为激活函数,其数学表达式为(8)式,最后加入全连接层输出判别结果。在判别网络中,数据首先经过合并层,然后依次流经卷积层、批标准化层,共10次迭代。最后经过全连接层输出结果。
其中,α是一个很小的常数,用于修正数据分布。
输入含有噪肌电信号来训练生成网络,含有噪肌电信号经过生成网络编码和解码,产生降噪肌电信号,然后将它和含有噪肌电信号一起输入到判别网络,并和无噪声肌电信号进行比较,应用WGAN定义的损失函数更新网络参数,生成网络与判别网络竞争对抗的对抗网络模型。生成网络与判别网络竞争对抗,不断迭代,使生成肌电信号逐步接近真实肌电信号,从而实现肌电信号降噪。
实验中,生成网络G直接处理采样率为4kHz的含有噪肌电信号,输出是增强肌电信号。数据首先经过卷积操作,输入到批标准化层中进行归一化操作,之后经过ReLU激活函数进入下一层网络。在解码时,输入反卷积层和批标准化层,同样使用ReLU作为激活函数。根据判别网络的输出以及生成肌电信号和真实肌电信号的差距,调整权重参数。判别网络D的输入来源于2部分:含有噪肌电信号和生成网络的输出,对数据合并后,进行一系列卷积操作和归一化操作,使用Leaky ReLU非线性激活函数,最后经过全连接层输出判别结果。
步骤102:将原始肌电信号输入生成的对抗网络中,实现含有噪声的肌电信号和肌电信号的映射,输出降噪的肌电信号。
步骤103:构建基于多尺度卷积核卷积神经网络模型。
具体的,网络模型一共包含6层,第一层为输入层,输入数据为8×128大小的图像;第二层为卷积层,包含三种尺度的卷积核;第三层为池化层;第四层为注意力层,利用注意力机制选择重要信息,第五层为全连接层,将池化后的数据平铺,为最后的分类做准备;第六层为输出层,由Softmax分类器输出,可以实现多分类。输入采用N×T的形式,其中N=8表示通道数,T=128表示采样点数,因此输入矩阵为8×128。
网络模型满足如下关系:
其中,为l-1层的第i个特征图的输入信号,为第l层的第j个特征图的输出值;Mj为特征图的第一组,符号*代表卷积;为第l-1层的第i个特征图与l层的第j个特征图之间的可学习的卷积核;b为输出特征图的偏置;f(·)表示输出的激活函数,通常情况下选择逻辑回归函数或修正线性单元。
网络的损失函数如下:
其中,xi为输入;j为单个样本的预测结果;yi为真实类别的结果;W为权重参数;f为激活函数;Δ为犯错容忍度;l为正则化惩罚项;λ为惩罚系数;k、l分别为权重参数的行和列;Softmax分类器表达式如式(11)所示,反向传播时,使用Adam梯度下降算法。
其中,k表示类别数;zj表示第j个类别的线性预测概率;zk为k个类别的线性预测概率之和;fj(z)为每一类的归一化预测结果。
步骤104:网络中加入注意力机制。
具体的,注意力机制的具体计算过程,可归纳为两个过程:第一个过程是根据类别对应特征和提取特征计算权重系数,第二个过程根据权重系数对权值进行加权求和;第一个过程又可以细分为两个阶段:第一个阶段根据类别对应特征和提取特征计算两者的相似性或者相关性;第二个阶段对第一阶段的原始分值进行归一化处理。
步骤105:平铺池化数据利用Softmax分类器对肌电信号进行分类。
具体地,分别进行二分类、三分类、四分类实验,根据控制无人平台的动作需求定义分类结果。
例如机械臂抓取、释放动作分别对应二分类的肌电信号;无人小车向前、向后、向左、向右运动指令分别对应四分类的肌电信号,为无人小车控制提供触发指令,实现无人小车控制。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (6)
1.一种基于生成对抗网络的肌电信号降噪和分类方法,其特征在于,该方法为:
对肌电信号进行预处理后构建基于WGAN(Wasserstein Generative AdversarialNetwork)的肌电信号降噪生成对抗网络模型;
将肌电信号输入到肌电信号降噪生成对抗网络模型中进行训练,最小化生成分布与真实数据分布的JS距离,实现含有噪声信号和肌电信号的映射,输出降噪后的肌电信号;
将所述降噪后的肌电信号的格式转换成为二维的数字矩阵,通过采用多尺度卷积核卷积神经网络模型对二维的数字矩阵提取肌电信号特征;
从通道和空间两个方向根据注意力机制选择重要信息,最后平铺池化数据利用Softmax分类器对肌电信号进行分类。
2.根据权利要求1所述基于生成对抗网络的肌电信号降噪和分类方法,其特征在于:通过反傅里叶变换等操作对肌电信号进行预处理,将肌电信号输入到肌电信号降噪生成对抗网络模型中进行训练,最小化生成分布与真实数据分布的JS距离,实现含有噪声信号和肌电信号的映射,输出降噪后的肌电信号;
所述肌电信号增强生成对抗网络模型由生成网络和判别网络组成,所述构建基于WGAN的肌电信号增强生成对抗网络模型,具体为:输入含有噪肌电信号来训练生成网络,含有噪肌电信号经过生成网络编码和解码,产生降噪后的肌电信号,然后将所述降噪后的肌电信号和含有噪肌电信号一起输入到判别网络,并和肌电信号进行比较,应用WGAN定义的损失函数更新网络参数,生成网络与判别网络竞争对抗的对抗网络模型。
4.根据权利要求1所述的基于生成对抗网络的肌电信号降噪和分类方法,其特征在于,所述多尺度卷积核卷积神经网络模型的构建为:所述多尺度卷积核卷积神经网络模型一共包含6层,第一层为输入层,输入数据为8×128大小的图像;第二层为卷积层,包含三种尺度的卷积核;第三层为池化层;第四层为注意力层,利用注意力机制选择重要信息;第五层为全连接层,将池化后的数据平铺,为最后的分类做准备,第六层为输出层,由Softmax分类器输出,可以实现多分类,输入采用N×T的形式,其中N=8表示通道数,T=128表示采样点数,因此输入矩阵为8×128。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011401703.7A CN112528804A (zh) | 2020-12-02 | 2020-12-02 | 基于生成对抗网络的肌电信号降噪和分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011401703.7A CN112528804A (zh) | 2020-12-02 | 2020-12-02 | 基于生成对抗网络的肌电信号降噪和分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112528804A true CN112528804A (zh) | 2021-03-19 |
Family
ID=74996684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011401703.7A Pending CN112528804A (zh) | 2020-12-02 | 2020-12-02 | 基于生成对抗网络的肌电信号降噪和分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112528804A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113143261A (zh) * | 2021-04-30 | 2021-07-23 | 中国科学院自动化研究所 | 基于肌电信号的身份识别系统、方法及设备 |
CN113505822A (zh) * | 2021-06-30 | 2021-10-15 | 中国矿业大学 | 基于表面肌电信号的多尺度信息融合上肢动作分类方法 |
CN114159069A (zh) * | 2021-12-14 | 2022-03-11 | 南京邮电大学 | 基于空间注意力的生成对抗网络心拍信号生成系统及方法 |
CN114781445A (zh) * | 2022-04-11 | 2022-07-22 | 山东省人工智能研究院 | 一种基于可解释性的深度神经网络的心电信号降噪方法 |
CN114947792A (zh) * | 2022-05-19 | 2022-08-30 | 北京航空航天大学 | 一种基于视频的生理信号测量与增强方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110840445A (zh) * | 2019-12-12 | 2020-02-28 | 山东省计算中心(国家超级计算济南中心) | 一种动态心电信号的自动降噪方法 |
CN111317468A (zh) * | 2020-02-27 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
CN111814656A (zh) * | 2020-07-02 | 2020-10-23 | 山东省人工智能研究院 | 一种基于对抗生成网络的心电信号降噪方法 |
-
2020
- 2020-12-02 CN CN202011401703.7A patent/CN112528804A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110840445A (zh) * | 2019-12-12 | 2020-02-28 | 山东省计算中心(国家超级计算济南中心) | 一种动态心电信号的自动降噪方法 |
CN111317468A (zh) * | 2020-02-27 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
CN111814656A (zh) * | 2020-07-02 | 2020-10-23 | 山东省人工智能研究院 | 一种基于对抗生成网络的心电信号降噪方法 |
Non-Patent Citations (1)
Title |
---|
李玉花等: "基于卷积神经网络的脑电信号分类", 《科学技术与工程》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113143261A (zh) * | 2021-04-30 | 2021-07-23 | 中国科学院自动化研究所 | 基于肌电信号的身份识别系统、方法及设备 |
CN113505822A (zh) * | 2021-06-30 | 2021-10-15 | 中国矿业大学 | 基于表面肌电信号的多尺度信息融合上肢动作分类方法 |
CN114159069A (zh) * | 2021-12-14 | 2022-03-11 | 南京邮电大学 | 基于空间注意力的生成对抗网络心拍信号生成系统及方法 |
CN114781445A (zh) * | 2022-04-11 | 2022-07-22 | 山东省人工智能研究院 | 一种基于可解释性的深度神经网络的心电信号降噪方法 |
CN114947792A (zh) * | 2022-05-19 | 2022-08-30 | 北京航空航天大学 | 一种基于视频的生理信号测量与增强方法 |
CN114947792B (zh) * | 2022-05-19 | 2024-05-03 | 北京航空航天大学 | 一种基于视频的生理信号测量与增强方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528804A (zh) | 基于生成对抗网络的肌电信号降噪和分类方法 | |
Hatami et al. | Classification of time-series images using deep convolutional neural networks | |
CN112364779B (zh) | 信号处理与深-浅网络多模型融合的水声目标识别方法 | |
Wang et al. | Research on healthy anomaly detection model based on deep learning from multiple time-series physiological signals | |
CN107844755B (zh) | 一种结合dae和cnn的脑电信号特征提取与分类方法 | |
Ibrahim et al. | MRI brain image classification using neural networks | |
CN115769228A (zh) | 利用贝叶斯图探索自动构造神经网络架构 | |
CN108319928B (zh) | 一种基于多目标微粒群算法优化的深度学习方法及系统 | |
CN109389171B (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
CN101221554A (zh) | 基于小波变换和bp神经网络的脑电特征提取方法 | |
Chen et al. | A SA-ANN-based modeling method for human cognition mechanism and the PSACO cognition algorithm | |
Yang et al. | Underwater acoustic research trends with machine learning: general background | |
Zhang et al. | Human identification driven by deep CNN and transfer learning based on multiview feature representations of ECG | |
Purwono et al. | Understanding of convolutional neural network (cnn): A review | |
CN115238796A (zh) | 基于并行damscn-lstm的运动想象脑电信号分类方法 | |
CN115981470A (zh) | 基于特征联合编码的手势识别方法及其系统 | |
CN112884062B (zh) | 一种基于cnn分类模型和生成对抗网络的运动想象分类方法及系统 | |
CN116250846A (zh) | 一种基于数据转换的多分支运动想象脑电信号特征融合分类方法 | |
Li et al. | Facial emotion recognition via stationary wavelet entropy and particle swarm optimization | |
CN113313198B (zh) | 一种基于多尺度卷积神经网络的刀具磨损预测方法 | |
CN114818823A (zh) | 一种基于挤压与激活图卷积神经网络的脑电通道选择方法 | |
Zhu et al. | Self-Adaptive PCNN Based on Maximum Entropy and its Application in Handwritten Digit Recognition | |
Purnamasari et al. | EEG based emotion recognition system induced by video music using a wavelet feature vectors and an artificial neural networks | |
Perumal et al. | A comprehensive overview and comparative analysis on deep learning models: CNN, RNN, LSTM, GRU | |
CN117274256B (zh) | 一种基于瞳孔变化的疼痛评估方法、系统及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |