CN112884062B - 一种基于cnn分类模型和生成对抗网络的运动想象分类方法及系统 - Google Patents
一种基于cnn分类模型和生成对抗网络的运动想象分类方法及系统 Download PDFInfo
- Publication number
- CN112884062B CN112884062B CN202110267109.1A CN202110267109A CN112884062B CN 112884062 B CN112884062 B CN 112884062B CN 202110267109 A CN202110267109 A CN 202110267109A CN 112884062 B CN112884062 B CN 112884062B
- Authority
- CN
- China
- Prior art keywords
- classification
- network
- data
- sub
- cnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013145 classification model Methods 0.000 title claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000007787 long-term memory Effects 0.000 claims abstract description 8
- 230000008485 antagonism Effects 0.000 claims abstract description 7
- 230000002452 interceptive effect Effects 0.000 claims abstract description 7
- 230000006403 short-term memory Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000000116 mitigating effect Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000007848 Alcoholism Diseases 0.000 description 2
- 201000007930 alcohol dependence Diseases 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 101100072002 Arabidopsis thaliana ICME gene Proteins 0.000 description 1
- 101100379080 Emericella variicolor andB gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明公开了一种基于CNN分类模型和生成对抗网络的运动想象分类方法及系统，包括数据预处理：对收集的MI原始数据通过ICA消除部分噪声，通过带通滤波器消除不重要或干扰的信号，并通过小波变换和快速傅立叶变换进行特征提取；数据扩充：通过基于长短期记忆网络和生成对抗网络，生成高质量MI数据；数据分类：通过多输出卷积神经网络，提高分类性能，得到分类结果；所述基于长短期记忆网络和生成对抗网络包括生成器和鉴别器，生成器包括第一完全连接层、多个卷积层和多个注意力网络，鉴别器包括多个卷积LSTM和第二完全连接层。本发明使用LSTM和GAN构建LGAN，完成对MI数据的时空维度建模，并通过生成器生成高质量的新数据，降低因数据不足对分类结果的影响。
Description
技术领域
本发明涉及运动图像分类领域，尤其涉及一种基于CNN分类模型和生成对抗网络的运动想象分类方法及系统。
背景技术
脑机接口(BCI)在大脑和计算机之间建立连接路径，从而可以将脑电图(EEG)信号转换为外围控制信号。BCI通过放置在头皮表面或颅骨内部的电极记录脑电势活动。该信号表现出高的时间和空间分辨率。近年来，作为重要的EEG信号的运动图像(MI)已得到广泛研究。典型的MI任务是记录和分析EEG信号。这些信号来自参与者特定身体部位的假想运动。MI已广泛用于娱乐，医疗，军事和自动驾驶等各个领域。
传统的MI数据分析主要包括三个步骤：1)MI数据的预处理；2)对预处理的MI数据进行特征提取；3)分类提取特征。传统方法由于依赖研究人员的先验知识进行数据预处理和特征提取而受到限制。此外，可以容易地删除有用的信息，并且可以容易地忽略特征提取期间不同信道信号之间的相关性。因此，传统方法降低了MI分类的准确性和可靠性。
最近的研究表明深度学习对脑电信号分析的潜在贡献。它可以自动提取有用的脑电特征，从而减少了人为因素导致的特征选择的主观性和不完整性。
W.-L.Zheng,J.-Y.Z.,Y.Peng,andB.-L.Lu,EEG-based emotion classificationusing deep belief networks.nProc.IEEEInt.Conf.Multimedia Expo(ICME),2014:p.1-6中使用深度信念网络(DBN)和隐马尔可夫模型来检测情绪；因此，与传统的支持向量机(SVM)和KNN模型相比，他们获得了更高的分类精度。Z.Tang,C.L.,and S.Sun,,Single-trial EEG classification of motor imagery using deep convolutional neuralnetworks.Optik,2017.130:p.11-18.将ERD/ERS定义为在基准时间内信号功率上升或下降的百分比，并将该百分比输入到卷积网络中以完成左右手运动成像EEG的分类。与传统方法相比，精度提高了5％–10％。
但是，MI数据显示出高动态特性。在相同的MI任务下，不同的主题可能会呈现不同的数据形式。另外，分类模型需要大量数据以适应尽可能多的特征分布，并且MI数据的获取并不容易。解决此问题的方法有几种：基于生成对抗网络(GAN)的数据生成技术在许多领域都取得了重大成功。例如，使用基于GAN的自动编码器从EEG信号中滤除不必要的功能。实验中使用了UCI EEG酒精中毒数据集。结果表明，基于GAN的方法可以过滤掉脑电信号中66％的酒精中毒信息。使用GAN框架来增强EEG数据并有效地改善分类结果。同时，一些研究表明，CNN模型中的每个卷积层都可以提取出表示输入数据不同抽象级别上重要信息的特征。但是，端到端CNN分类模型中的低级特征信息会丢失，从而影响分类。提出一种用于对音频信号进行分类的多级，多范围的CNN体系结构。分别提取预训练卷积网络各层的音频特征，然后进行汇总以获得较长的音频片段，然后对其进行分类。将目标对象的多级特征图集成为多种分辨率，并将预测特征图与组合特征集成在一起。尽管在上述文件中提出了解决不同问题的解决方案，但这些解决方案并不全面。
发明内容
针对上述问题，本发明提供一种基于CNN分类模型和生成对抗网络的运动想象分类方法及系统，用于为了解决训练数据不足的问题。
本发明通过以下技术方案实现：
一种基于CNN分类模型和生成对抗网络的运动想象分类方法，包括步骤S1～S3：
S1.数据预处理：对收集的MI原始数据通过ICA消除部分噪声，通过带通滤波器消除不重要或干扰的信号，并通过小波变换和快速傅立叶变换进行特征提取；
S2.数据扩充：通过基于长短期记忆网络和生成对抗网络，生成高质量MI数据；
S3.数据分类：通过多输出卷积神经网络，提高分类性能，得到分类结果；
其中，所述基于长短期记忆网络和生成对抗网络包括生成器和鉴别器，所述生成器包括第一完全连接层、多个卷积层和多个注意力网络，所述鉴别器包括多个卷积LSTM和第二完全连接层。
进一步的，所述小波变换的具体计算公式如下：
其中，f代表输入数据，α代表变换量，τ代表变换系数,，φ表示小波基函数。
进一步的，所述鉴别器还包括：
辍学组件，用于减轻由训练数据不足引起的过拟合问题；
梯度损失组件，通过计算分类损失和总体损失函数约束模型的训练；
其中，所述分类损失计算公式如下：
loss(x,c)＝-x[c]+log(∑jexp(x[j])) (2)
其中，c代表数据类别标签，x[.]对应于某个数据类别；
所述总体损失函数如下：
其中，α1＝10，α2＝0.5；
所述鉴别器还采用Avgpooling层，用于当从中提取数据特征时，网络专注于数据的整体表示。
进一步的，所述多输出卷积神经网络包括特征提取网络和三个子分类网络，所述特征提取网络包括卷积层，所述子分类网络包括LSTM网络和第三完全连接层，具体训练步骤包括：
S301.将每个卷积层的输出结果输入至子分类网络；
S302.每个子分类网络根据自身获得的特征信息完成分类任务并输出分类结果；
S303.对分类结果的影响程度进行计算；
S304.通过三个子分类网络共同确定MI数据的分类结果。
进一步的，所述影响程度的具体计算公式如下：
X＝q1*S(X1)+q2*S(X2)+q3*S(X3) (4)
其中，qn表示子输出权重值，所述权重值表示此子分类结果对最终分类结果的影响程度；S表示Softmax激活函数，Xn表示通过子网获得的特征向量。
进一步的，所述注意力网络计算方法包括：
S201.通过生成器的卷积层获得特征图，并通过1*1卷积核进行特征提取，得到两个特征矩阵M1和M2；；
S202.转置M1，特征矩阵将主要显示通道上数据的表达，并得到矩阵M`1；
S203.执行M`1和M2的矩阵乘法得到新矩阵，并通过Softmax激活函数将权重值分配给新矩阵的每个点；
S204.通过得到的点计算所有点对某点的影响程度，得到注意力矩阵；
S205.将注意力矩阵映射到特征图，并将不同的注意力分配给每个特征点。
一种基于CNN分类模型和生成对抗网络的运动想象分类系统，包括：
预处理模块，用于对收集的MI原始数据通过ICA消除部分噪声，通过带通滤波器消除不重要或干扰的信号，并通过小波变换和快速傅立叶变换进行特征提取；
数据扩充模块，用于通过基于长短期记忆网络和生成对抗网络，生成高质量MI数据；
数据分类，用于通过多输出卷积神经网络，提高分类性能，得到分类结果。
进一步的，所述数据扩充模块包括：
生成器单元，用于生成现实的MI数据并在类别和数据之间建立映射关系；
筛选器单元，用于提取MI数据的空间特征信息。
进一步的，所述生成器通过注意力网络与CNN结合进行构建。
本发明的有益效果：
(1)本发明使用LSTM和GAN构建LGAN，以完成对MI数据的时空维度建模。并通过生成器生成高质量的新数据，降低因数据不足对分类结果的影响；
(2)本发明提出的多输出分类模型(MoCNN)可以有效地利用从卷积层各层提取的特征信息，并通过权重值分配卷积网络各层提取的特征信息的利用率；
(3)本发明为生成器增加一个注意力网络，希望生成器可以关注MI数据的重要特征信息以及通道和采样点之间的互连，以提高生成数据的质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提出的方法流程示意图；
图2为本发明实施例提出的模型结构图；
图3为本发明实施例提出的注意网络的结构图及与生成器的组合方法示意图；
图4为本发明实施例提出的终端设备结构示意图；
图5为本发明实施例提出的计算机可读存储介质结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1，本实施例提出一种基于CNN分类模型和生成对抗网络的运动想象分类方法，包括步骤S1～S3：
S1.数据预处理：对收集的MI原始数据通过ICA消除部分噪声，通过带通滤波器消除不重要或干扰的信号，并通过小波变换和快速傅立叶变换进行特征提取；
S2.数据扩充：通过基于长短期记忆网络和生成对抗网络，生成高质量MI数据；
S3.数据分类：通过多输出卷积神经网络，提高分类性能，得到分类结果；
其中，所述基于长短期记忆网络和生成对抗网络包括生成器和鉴别器，所述生成器包括第一完全连接层、多个卷积层和多个注意力网络，所述鉴别器包括多个卷积LSTM和第二完全连接层。
进一步的，所述小波变换的具体计算公式如下：
其中，f代表输入数据，α代表变换量，τ代表变换系数,，φ表示小波基函数。
进一步的，所述鉴别器还包括：
辍学组件，用于减轻由训练数据不足引起的过拟合问题；
梯度损失组件，通过计算分类损失和总体损失函数约束模型的训练；
其中，所述分类损失计算公式如下：
loss(x,c)＝-x[c]+log(∑jexp(x[j])) (2)
其中，c代表数据类别标签，x[.]对应于某个数据类别；
所述总体损失函数如下：
其中，α1＝10，α2＝0.5；
所述鉴别器还采用Avgpooling层，用于当从中提取数据特征时，网络专注于数据的整体表示。
进一步的，所述多输出卷积神经网络包括特征提取网络和三个子分类网络，所述特征提取网络包括卷积层，所述子分类网络包括LSTM网络和第三完全连接层，具体训练步骤包括：
S301.将每个卷积层的输出结果输入至子分类网络；
S302.每个子分类网络根据自身获得的特征信息完成分类任务并输出分类结果；
S303.对分类结果的影响程度进行计算；
S304.通过三个子分类网络共同确定MI数据的分类结果。
进一步的，所述影响程度的具体计算公式如下：
X＝q1*S(X1)+q2*S(X2)+q3*S(X3) (4)
其中，qn表示子输出权重值，所述权重值表示此子分类结果对最终分类结果的影响程度；S表示Softmax激活函数，Xn表示通过子网获得的特征向量。
进一步的，所述注意力网络计算方法包括：
S201.通过生成器的卷积层获得特征图，并通过1*1卷积核进行特征提取，得到两个特征矩阵M1和M2；；
S202.转置M1，特征矩阵将主要显示通道上数据的表达，并得到矩阵M`1；
S203.执行M`1和M2的矩阵乘法得到新矩阵，并通过Softmax激活函数将权重值分配给新矩阵的每个点；
S204.通过得到的点计算所有点对某点的影响程度，得到注意力矩阵；
S205.将注意力矩阵映射到特征图，并将不同的注意力分配给每个特征点。
其中，本实施例的具体实施原理流程如下：
长短期记忆生成对抗网络(LGAN)
本实施例提出的LGAN主要用于解决由于训练数据不足导致模型无法拟合完整数据分布的问题，最终导致分类效果差。如图2所示，LGAN包括一个生成器和一个鉴别器。通过生成器和鉴别器之间的对抗，生成器可以生成高质量的MI数据。
在模型中，生成器(图2.G)包括一个完全连接的层和一些卷积层。目标是生成现实的MI数据并在类别和数据之间建立映射关系。全连接层的作用是接收模型的输入，而卷积层的功能是学习数据分布。首先，使用嵌入功能对标签进行预处理，以使标签可以获得更好的空间表示。接下来，将预处理的标签和噪声串联连接并输入到发生器。另外，生成器应发现尽可能多的数据模式，以使生成的数据表现出出色的多样性。鉴别符(图2.D)由一些卷积LSTM和完全连接的层组成。卷积层的作用是提取MI数据的空间特征信息。MI数据通常表现出很强的时间特性，并且很难通过卷积层识别这些特性。我们期望LSTM能够使我们发现时间序列中MI数据的表示形式；因此，我们将CNN提取的特征输入到LSTM层。鉴别器的完全连接层用作最终输出网络。鉴别器的目的是计算输入鉴别器的MI数据源自真实数据的可能性，并确定数据类别。
鉴别器的其他组件如下：为了减少训练参数，在卷积层之间使用了滤除。另外，辍学可以减轻由训练数据不足引起的过拟合问题。此外，我们预计当从中提取数据特征时，网络将专注于数据的整体表示，而不是某个范围内的最大值。因此，在下采样过程中，我们使用了Avgpooling层而不是M axpooling层。同时，为了减轻训练过程中梯度消失的问题，我们在鉴别器上增加了梯度损失，以约束模型的训练。
输出CNN分类模型(MoCNN)
在CNN分类模型中，模型输出取决于完全连接网络的最后一层，分类结果是在通过Sof tmax激活函数进行非线性转换后提供的。简而言之，它是一个端到端的模型结构。通常情况下，这种结构的分类模型通过一些堆叠的卷积层完成特征提取。随着卷积层数的增加，更高级别的卷积层通常可以获取更高级别的特征信息。但是，这并不意味着低级信息不再重要。最近，研究人员已开始使用低级特征信息来改善分类模型的性能。
本实施例提出了一种MoCNN模型，其模型结构如图2C所示。该模型包括一个由卷积层组成的特征提取网络，以及三个由LSTM网络和完全连接的层组成的子分类网络。另外，特征提取网络与鉴别器中的卷积层具有相同的结构，并且两个部分共享参数。在训练MoCNN时，将不训练特征提取网络，并且每个卷积层的输出将输入到子分类网络。每个子分类网络将根据自身获得的特征信息完成分类任务，然后输出分类结果。最后，MI数据的分类结果将由三个子分类网络共同确定。但是，将根据预设参数确定每个分类网络对最终结果的影响程度。可以最大程度地利用卷积层各层获得的特征信息，并避免过多的计算量。
注意力网络
注意网络是一种广泛用于各种任务的方法，例如生成建模[26]和机器视觉[27]。基本结构包括以一定维度堆叠的卷积层，表示为学习特征的层次结构。由于滤波器的大小限制了卷积层对大规模场景的整体理解，因此提出了注意力网络。类似地，为了解决上述问题并生成更高质量的数据，将注意力网络与CNN结合以构建生成器。这个想法是通过注意力网络来学习通道和采样点之间的关系，并专注于特定的特征信息和结构。注意网络的基本结构以及与生成器结合的方法如图2所示。
注意网络的基本计算过程是：第一步，将前一卷积层获得的特征图作为输入，并通过1*1卷积核进行特征提取。因此，我们可以获得两个特征矩阵M1和M2。特征矩阵主要表示关于数据特征点的信息，其中矩阵通道数为特征图的1/8，可以有效减少计算量。第二步是转置M1，特征矩阵将主要显示通道上数据的表达，并得到矩阵M`1。第三步是执行M`1和M2的矩阵乘法以获得新矩阵，并通过Softmax激活函数将权重值分配给新矩阵的每个点。这样，我们就可以得到所有点对某点的影响程度，用权重值表示，得到注意力矩阵。这些注意力权重是通过反向传播算法学习的。最后，将注意力矩阵映射到特征图，并将不同的注意力分配给每个特征点。
MI分类任务面临两个主要挑战：首先，MI数据通常很难获取，导致分类模型的性能较差；第二，端到端的CNN分类模型将丢失数据的底层信息。为了解决这些问题，本实施例设计了LGAN和MoCNN模型。提出的LGAN可以解决由小批量数据集引起的分类模型性能差的问题，而MoCNN可以有效地使用低级数据信息。
实施例2
在实施例1的基础上，本实施例提出一种基于CNN分类模型和生成对抗网络的运动想象分类系统，包括：
预处理模块，用于对收集的MI原始数据通过ICA消除部分噪声，通过带通滤波器消除不重要或干扰的信号，并通过小波变换和快速傅立叶变换进行特征提取；
数据扩充模块，用于通过基于长短期记忆网络和生成对抗网络，生成高质量MI数据；
数据分类，用于通过多输出卷积神经网络，提高分类性能，得到分类结果。
进一步的，所述数据扩充模块包括：
生成器单元，用于生成现实的MI数据并在类别和数据之间建立映射关系；
筛选器单元，用于提取MI数据的空间特征信息。
进一步的，所述生成器通过注意力网络与CNN结合进行构建。
实施例3
如图4，在实施例1的基础上，本实施例提出一种基于CNN分类模型和生成对抗网络的运动想象分类的终端设备，终端设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。
其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本申请实施例中上述任一项一种基于CNN分类模型和生成对抗网络的运动想象分类方法，其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。存储器210还可以包括具有一组(至少一个)程序模块215的程序/实用工具214，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的，处理器220可以执行上述计算机程序，以及可以执行程序/实用工具214。
总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
终端设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该终端设备200交互的设备通信，和/或与使得该终端设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且，终端设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与终端设备200的其它模块通信。应当明白，尽管图中未示出，可以结合终端设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
实施例4
在实施例1的基础上，本实施例提出一种基于CNN分类模型和生成对抗网络的运动想象分类的计算机可读存储介质，所述计算机可读存储介质上存储有指令，该指令被处理器执行时实现上述任一的一种基于CNN分类模型和生成对抗网络的运动想象分类方法。其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
图5示出了本实施例提供的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品300不限于此，在本实施例件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (9)
1.一种基于CNN分类模型和生成对抗网络的运动想象分类方法，其特征在于，包括：
数据预处理：对收集的MI原始数据通过ICA消除部分噪声，通过带通滤波器消除不重要或干扰的信号，并通过小波变换和快速傅立叶变换进行特征提取；
数据扩充：通过基于长短期记忆网络和生成对抗网络，生成MI数据；
数据分类：通过多输出卷积神经网络，得到分类结果；
其中，所述基于长短期记忆网络和生成对抗网络包括生成器和鉴别器，所述生成器包括第一完全连接层、多个卷积层和多个注意力网络，所述鉴别器包括多个卷积LSTM和第二完全连接层；
所述多输出卷积神经网络包括特征提取网络和三个子分类网络，所述特征提取网络包括卷积层，所述子分类网络包括LSTM网络和第三完全连接层，具体训练步骤包括：
将每个卷积层的输出结果输入至子分类网络；
每个子分类网络根据自身获得的特征信息完成分类任务并输出分类结果；
对分类结果的影响程度进行计算；
通过三个子分类网络共同确定MI数据的分类结果。
2.根据权利要求1所述的一种基于CNN分类模型和生成对抗网络的运动想象分类方法，其特征在于，所述小波变换的具体计算公式如下：
其中，f代表输入数据，α代表变换量，τ代表变换系数,，φ表示小波基函数。
3.根据权利要求1所述的一种基于CNN分类模型和生成对抗网络的运动想象分类方法，其特征在于，所述鉴别器还包括：
辍学组件，用于减轻由训练数据不足引起的过拟合问题；
梯度损失组件，通过计算分类损失和总体损失函数约束模型的训练；
其中，所述分类损失计算公式如下：
loss(x,c)＝-x[c]+log(∑jexp(x[j])) (2)
其中，c代表数据类别标签，x[.]对应于某个数据类别；
所述总体损失函数如下：
其中，α1＝10，α2＝0.5；
所述鉴别器还采用Avgpooling层，用于当从中提取数据特征时，网络专注于数据的整体表示。
4.根据权利要求1所述的一种基于CNN分类模型和生成对抗网络的运动想象分类方法，其特征在于，所述多输出卷积神经网络包括特征提取网络和三个子分类网络，所述特征提取网络包括卷积层，所述子分类网络包括LSTM网络和第三完全连接层，具体训练步骤包括：
将每个卷积层的输出结果输入至子分类网络；
每个子分类网络根据自身获得的特征信息完成分类任务并输出分类结果；
对分类结果的影响程度进行计算；
通过三个子分类网络共同确定MI数据的分类结果。
5.根据权利要求1所述的一种基于CNN分类模型和生成对抗网络的运动想象分类方法，其特征在于，影响程度的具体计算公式如下：
X＝q1*S(X1)+q2*S(X2)+q3*S(X3) (4)
其中，qn表示子输出权重值，所述权重值表示此子分类结果对最终分类结果的影响程度；S表示Softmax激活函数，Xn表示通过子网获得的特征向量。
6.根据权利要求1所述的一种基于CNN分类模型和生成对抗网络的运动想象分类方法，其特征在于，注意力网络计算方法包括：
通过生成器的卷积层获得特征图，并通过1*1卷积核进行特征提取，得到两个特征矩阵M1和M2；；
转置M1，特征矩阵将主要显示通道上数据的表达，并得到矩阵M`1；
执行M`1和M2的矩阵乘法得到新矩阵，并通过Softmax激活函数将权重值分配给新矩阵的每个点；
通过得到的点计算所有点对某点的影响程度，得到注意力矩阵；
将注意力矩阵映射到特征图，并将不同的注意力分配给每个特征点。
7.一种基于CNN分类模型和生成对抗网络的运动想象分类系统，其特征在于，包括：
预处理模块，用于对收集的MI原始数据通过ICA消除部分噪声，通过带通滤波器消除不重要或干扰的信号，并通过小波变换和快速傅立叶变换进行特征提取；
数据扩充模块，用于通过基于长短期记忆网络和生成对抗网络，生成MI数据；
数据分类，用于通过多输出卷积神经网络，得到分类结果；
所述基于长短期记忆网络和生成对抗网络包括生成器和鉴别器，所述生成器包括第一完全连接层、多个卷积层和多个注意力网络，所述鉴别器包括多个卷积LSTM和第二完全连接层。
8.根据权利要求7所述的一种基于CNN分类模型和生成对抗网络的运动想象分类系统，其特征在于，所述数据扩充模块包括：
生成器单元，用于生成现实的MI数据并在类别和数据之间建立映射关系；
筛选器单元，用于提取MI数据的空间特征信息。
9.根据权利要求8所述的一种基于CNN分类模型和生成对抗网络的运动想象分类系统，其特征在于，所述生成器通过注意力网络与CNN结合进行构建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110267109.1A CN112884062B (zh) | 2021-03-11 | 2021-03-11 | 一种基于cnn分类模型和生成对抗网络的运动想象分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110267109.1A CN112884062B (zh) | 2021-03-11 | 2021-03-11 | 一种基于cnn分类模型和生成对抗网络的运动想象分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112884062A CN112884062A (zh) | 2021-06-01 |
| CN112884062B true CN112884062B (zh) | 2024-02-13 |
Family
ID=76042169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110267109.1A Active CN112884062B (zh) | 2021-03-11 | 2021-03-11 | 一种基于cnn分类模型和生成对抗网络的运动想象分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112884062B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113376516A (zh) * | 2021-06-07 | 2021-09-10 | 科润智能控制股份有限公司 | 一种基于深度学习的中压真空断路器运行故障自诊断与预警方法 |
| CN114609493B (zh) * | 2022-05-09 | 2022-08-12 | 杭州兆华电子股份有限公司 | 一种信号数据增强的局部放电信号识别方法 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108096807A (zh) * | 2017-12-11 | 2018-06-01 | 丁贤根 | 一种运动数据监测方法和系统 |
| CN108564129A (zh) * | 2018-04-24 | 2018-09-21 | 电子科技大学 | 一种基于生成对抗网络的轨迹数据分类方法 |
| CN108805188A (zh) * | 2018-05-29 | 2018-11-13 | 徐州工程学院 | 一种基于特征重标定生成对抗网络的图像分类方法 |
| CN109523014A (zh) * | 2018-10-22 | 2019-03-26 | 广州大学 | 基于生成式对抗网络模型的新闻评论自动生成方法及系统 |
| CN109620223A (zh) * | 2018-12-07 | 2019-04-16 | 北京工业大学 | 一种脑卒中康复系统脑机接口关键技术方法 |
| CN109726751A (zh) * | 2018-12-21 | 2019-05-07 | 北京工业大学 | 基于深度卷积神经网络识别脑电成像图的方法 |
| CN110288537A (zh) * | 2019-05-20 | 2019-09-27 | 湖南大学 | 基于自注意力的深度生成式对抗网络的人脸图像补全方法 |
| CN110503187A (zh) * | 2019-07-26 | 2019-11-26 | 江苏大学 | 一种用于功能核磁共振成像数据生成的生成对抗网络模型的实现方法 |
| CN110598851A (zh) * | 2019-08-29 | 2019-12-20 | 北京航空航天大学合肥创新研究院 | 一种融合lstm和gan的时间序列数据异常检测方法 |
| WO2020010338A1 (en) * | 2018-07-05 | 2020-01-09 | Dts, Inc. | Hybrid audio synthesis using neural networks |
| CN111436929A (zh) * | 2019-01-17 | 2020-07-24 | 复旦大学 | 一种神经生理信号的生成和识别方法 |
| CN111447212A (zh) * | 2020-03-24 | 2020-07-24 | 哈尔滨工程大学 | 一种基于gan的apt攻击序列的生成与检测方法 |
| CN111581879A (zh) * | 2020-04-30 | 2020-08-25 | 北京航空航天大学 | 一种空间人造目标混合像元非线性丰度确定方法及系统 |
| CN111858928A (zh) * | 2020-06-17 | 2020-10-30 | 北京邮电大学 | 一种基于图结构对抗学习的社交媒体谣言检测方法及装置 |
| CN112120694A (zh) * | 2020-08-19 | 2020-12-25 | 中国地质大学（武汉） | 一种基于神经网络的运动想象脑电信号分类方法 |
| CN112131429A (zh) * | 2020-09-16 | 2020-12-25 | 北京影谱科技股份有限公司 | 一种基于深度预测编码网络的视频分类方法及系统 |
| CN112370066A (zh) * | 2020-09-30 | 2021-02-19 | 北京工业大学 | 一种基于生成对抗网络的脑卒中康复系统脑机接口方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11238885B2 (en) * | 2018-10-29 | 2022-02-01 | Microsoft Technology Licensing, Llc | Computing system for expressive three-dimensional facial animation |
| US20210049452A1 (en) * | 2019-08-15 | 2021-02-18 | Intuit Inc. | Convolutional recurrent generative adversarial network for anomaly detection |
-
2021
- 2021-03-11 CN CN202110267109.1A patent/CN112884062B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108096807A (zh) * | 2017-12-11 | 2018-06-01 | 丁贤根 | 一种运动数据监测方法和系统 |
| CN108564129A (zh) * | 2018-04-24 | 2018-09-21 | 电子科技大学 | 一种基于生成对抗网络的轨迹数据分类方法 |
| CN108805188A (zh) * | 2018-05-29 | 2018-11-13 | 徐州工程学院 | 一种基于特征重标定生成对抗网络的图像分类方法 |
| WO2020010338A1 (en) * | 2018-07-05 | 2020-01-09 | Dts, Inc. | Hybrid audio synthesis using neural networks |
| CN109523014A (zh) * | 2018-10-22 | 2019-03-26 | 广州大学 | 基于生成式对抗网络模型的新闻评论自动生成方法及系统 |
| CN109620223A (zh) * | 2018-12-07 | 2019-04-16 | 北京工业大学 | 一种脑卒中康复系统脑机接口关键技术方法 |
| CN109726751A (zh) * | 2018-12-21 | 2019-05-07 | 北京工业大学 | 基于深度卷积神经网络识别脑电成像图的方法 |
| CN111436929A (zh) * | 2019-01-17 | 2020-07-24 | 复旦大学 | 一种神经生理信号的生成和识别方法 |
| CN110288537A (zh) * | 2019-05-20 | 2019-09-27 | 湖南大学 | 基于自注意力的深度生成式对抗网络的人脸图像补全方法 |
| CN110503187A (zh) * | 2019-07-26 | 2019-11-26 | 江苏大学 | 一种用于功能核磁共振成像数据生成的生成对抗网络模型的实现方法 |
| CN110598851A (zh) * | 2019-08-29 | 2019-12-20 | 北京航空航天大学合肥创新研究院 | 一种融合lstm和gan的时间序列数据异常检测方法 |
| CN111447212A (zh) * | 2020-03-24 | 2020-07-24 | 哈尔滨工程大学 | 一种基于gan的apt攻击序列的生成与检测方法 |
| CN111581879A (zh) * | 2020-04-30 | 2020-08-25 | 北京航空航天大学 | 一种空间人造目标混合像元非线性丰度确定方法及系统 |
| CN111858928A (zh) * | 2020-06-17 | 2020-10-30 | 北京邮电大学 | 一种基于图结构对抗学习的社交媒体谣言检测方法及装置 |
| CN112120694A (zh) * | 2020-08-19 | 2020-12-25 | 中国地质大学（武汉） | 一种基于神经网络的运动想象脑电信号分类方法 |
| CN112131429A (zh) * | 2020-09-16 | 2020-12-25 | 北京影谱科技股份有限公司 | 一种基于深度预测编码网络的视频分类方法及系统 |
| CN112370066A (zh) * | 2020-09-30 | 2021-02-19 | 北京工业大学 | 一种基于生成对抗网络的脑卒中康复系统脑机接口方法 |
Non-Patent Citations (4)
| Title |
|---|
| Guangxuan Zhu ; Hongbo Zhao ; Haoqiang Liu ; Hua Sun."A Novel LSTM-GAN Algorithm for Time Series Anomaly Detection".《2019 Prognostics and System Health Management Conference (PHM-Qingdao)》.2019,全文. * |
| 一种基于生成式对抗网络的图像数据扩充方法;王海文;邱晓晖;;计算机技术与发展(第03期);全文 * |
| 基于多特征卷积神经网路的运动想象脑电信号分析及意图识别;何群;邵丹丹;王煜文;张园园;谢平;;仪器仪表学报(第01期);全文 * |
| 基于深度学习的头皮脑电信息解码研究进展;刘政;何峰;汤佳贝;万柏坤;明东;;中国生物医学工程学报(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112884062A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112001306A (zh) | 基于深度卷积对抗生成神经网络的脑电信号解码方法 | |
| CN109684969B (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
| CN112884062B (zh) | 一种基于cnn分类模型和生成对抗网络的运动想象分类方法及系统 | |
| CN112950471A (zh) | 视频超分处理方法、装置、超分辨率重建模型、介质 | |
| CN115937644B (zh) | 一种基于全局及局部融合的点云特征提取方法及装置 | |
| CN113283298B (zh) | 基于时间注意力机制和双流网络的实时行为识别方法 | |
| CN110796199A (zh) | 一种图像处理方法、装置以及电子医疗设备 | |
| CN113326851B (zh) | 图像特征提取方法、装置、电子设备及存储介质 | |
| CN112861575A (zh) | 一种行人结构化方法、装置、设备和存储介质 | |
| Zhao et al. | PCA dimensionality reduction method for image classification | |
| KR20200018868A (ko) | 강화학습을 이용한 적응형 뇌파 분석 방법 및 장치 | |
| CN114925320B (zh) | 一种数据处理方法及相关装置 | |
| CN113780249B (zh) | 表情识别模型的处理方法、装置、设备、介质和程序产品 | |
| CN112115744A (zh) | 点云数据的处理方法及装置、计算机存储介质、电子设备 | |
| Jin et al. | The fusion application of deep learning biological image visualization technology and human-computer interaction intelligent robot in dance movements | |
| Luo et al. | A fault diagnosis method for rotating machinery with variable speed based on multi-feature fusion and improved ShuffleNet V2 | |
| US20230101539A1 (en) | Physiological electric signal classification processing method and apparatus, computer device and storage medium | |
| CN115601820A (zh) | 一种人脸伪造图像检测方法、装置、终端及存储介质 | |
| CN114550047A (zh) | 一种行为速率引导的视频行为识别方法 | |
| CN117036658A (zh) | 一种图像处理方法及相关设备 | |
| CN114297022A (zh) | 云环境异常检测方法、装置、电子设备和存储介质 | |
| CN112241001A (zh) | 雷达人体动作识别方法、装置、电子设备和存储介质 | |
| CN113420783A (zh) | 一种基于图文匹配的智能人机交互方法及装置 | |
| CN112183375A (zh) | 一种融合肌电信号与视觉图像的手势识别方法 | |
| CN112053386A (zh) | 基于深度卷积特征自适应集成的目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |