CN110309797A - 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统 - Google Patents
融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统 Download PDFInfo
- Publication number
- CN110309797A CN110309797A CN201910602724.6A CN201910602724A CN110309797A CN 110309797 A CN110309797 A CN 110309797A CN 201910602724 A CN201910602724 A CN 201910602724A CN 110309797 A CN110309797 A CN 110309797A
- Authority
- CN
- China
- Prior art keywords
- network
- cnn
- model
- bilstm
- follows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000003340 mental effect Effects 0.000 title claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 60
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000010276 construction Methods 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 54
- 230000015654 memory Effects 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 26
- 210000004556 brain Anatomy 0.000 claims description 14
- 230000006403 short-term memory Effects 0.000 claims description 14
- 230000002123 temporal effect Effects 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 11
- 230000005611 electricity Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 3
- 238000000537 electroencephalography Methods 0.000 description 50
- 239000010410 layer Substances 0.000 description 47
- 210000004027 cell Anatomy 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005422 blasting Methods 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000009916 joint effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Abstract
本发明公开了一种融合CNN‑BiLSTM模型和概率协作的运动想象识别方法及系统，属于脑机接口领域，本发明要解决的技术问题为如何有效提取特征以及如何快速实现分类，采用的技术方案为：①该方法通过融合BiLSTM网络的CNN模型对EEG信号中的时‑空深度特征进行捕获和提取，将捕获和提取的时‑空深度特征输入至ProCRC分类器中进行分类，同时使用测试集数据对搭建的CNN‑BiLSTM模型进行性能评估，实现用户的意图识别；具体步骤如下：S1、采集脑电信号；S2、构建深度神经网络；S3、搭建分类器；S4、模型测试及评估。②该系统包括脑电信号采集单元、深度神经网络构建单元、分类器搭建单元和模型测试及评估单元。
Description
技术领域
本发明涉及脑机接口领域，更涉及到融合卷积神经网络和双向长短时记忆模型与概率协作表示分类器相结合的基于运动想象的脑电图信号的分类识别领域，具体地说是一种融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统。
背景技术
脑机接口(Brain-Computer Interface,BCI)是一种特殊的通讯系统，它不依赖于人体的外围神经和肌肉组织，便可以实现人脑与外部设备的通信，这种不需要语言或者动作支配的通信方式属于脑控技术的范畴。近年来，BCI技术已经引起了国内外众多学者的关注，其研究技术也益发成熟，采集设备也越发先进，意念控制已经成为现实，可以帮助数以百万的神经系统受损患者，提高他们的生活质量，也为军事、工业和航空等其他领域的发展带来新的思路，属于BCI的时代已经到来。
基于运动想象的脑电信号研究是BCI技术领域的一个重要组成部分。运动想象是指不依赖用户的正常肢体运动，仅凭借大脑想象某种运动的思维过程。在用户想象某种运动时，mu/beta节律的事件相关去同步/同步(Event-Related Desynchronization/Synchronization,ERD/ERS)对应于不同状态(例如想象左手和右手运动)显示出特有的空间模式，通过反馈训练，人们可以利用想象运动来调节感知运动节律的幅值(上升或下降)。脑电信号就是脑神经细胞电生理活动在大脑皮层的总体反映，不同生理状态，相应的脑电波形也会不同，目前根据脑电信号采集方式的不同，将BCI大致分为以下两种主要类型：侵入式BCI和非侵入式BCI。其中脑电图(Electroencephalogram,EEG)信号作为一种典型的非侵入式BCI信号因其无损伤和易获取的优点，成为基于运动想象BCI技术的研究热点。
对采集到的脑电信号进行正确而快速的特征提取和分类识别是基于运动想象BCI的关键部分。其中，对脑电信号中具有特定关键信息的提取常结合时域、频域、空域等方法进行。具有代表性的算法有短时傅里叶变换(Short-Time Fourier Transform,STFT)、小波变换(Wavelet Transform,WT)、共空间模式(Common Spatial Pattern,CSP)等。随着深度学习的迅猛发展，基于深度学习算法进行特征提取的方法开始受到重视，深度学习算法不需要人工设计特征，就可以自动的学习数据的特征，可以极大省去大量枯燥的人工设计工作。其中，最具有代表性和使用最多的算法就是卷积神经网络(Convolution NeuralNetwork,CNN)和递归神经网络(Recurrent Neural Networks,RNN)，CNN利用卷积核在待处理的数据上进行平移来提取特征，而RNN天然的按时间序列展开的训练方式可以有效处理BCI中的时序信号。传统的RNN模型对长序列的信息处理能力不够，在训练时很容易造成梯度消失或者爆破的现象，为了捕获长时依赖关系，研究者们引入了长短时记忆(LongShort-Term Memory,LSTM)循环神经网络模型。LSTM在传统RNN模型的基础上进行改进，通过加上遗忘门、记忆门和输出门等机制可以有效地避免梯度消失和爆破现象的发生，进而学习到时间更久远的信息，然而，简单的只是前面信息对后面信息的推导，有时候只看前面的信息是不够的，如何更好地利用LSTM模型提取脑电信号的时序特性，以期达到更好的效果是目前现有技术中急需解决的技术问题。
对学习到的特征进行正确的分类是处理BCI数据中重要的内容之一，没有哪种算法是适用于各种情况的，对于脑电信号而言，其可训练的样本数目太少，利用LSTM构建的分类器直接对目标进行分类，其效果并不好，因为在神经网络中，其权值是很难得到充分训练的，模型复杂会导致网络泛化能力降低，模型简单网络则又会学不到特征，而取二者合适的阈值往往是需要大量的、枯燥的调参工作，甚至最终的分类结果也不尽人意，故如何直接使用训练样本对未知数据的类标签进行预测，而不是通过不断学习分类器的参数模型进行分类，相比于其他参数模式分类方法具有避免过拟合的优势也是急需解决的技术问题。
综上所述，故如何有效提取特征以及如何快速实现分类是目前BCI技术应用中亟待解决的技术性问题。
发明内容
本发明的技术任务是提供一种融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统，来解决如何有效提取特征以及如何快速实现分类的问题。
本发明的技术任务是按以下方式实现的，一种融合CNN-BiLSTM模型和概率协作的运动想象识别方法，该方法通过融合BiLSTM网络的CNN模型对EEG信号中的时-空深度特征进行捕获和提取，将捕获和提取的时-空深度特征输入至ProCRC分类器中进行分类，同时使用测试集数据对搭建的CNN-BiLSTM模型进行性能评估，实现用户的意图识别；具体步骤如下：
S1、采集脑电信号；其中，脑电信号是一种非侵入式的脑电图信号，其信号幅度微弱、信噪比低、非平稳性、非线性，处理难度大；
S2、构建深度神经网络：采用深度学习中的卷积神经网络(CNN)并结合双向长短时记忆模型网络(BiLSTM)提取脑电信号的时-空深度特征；具体步骤如下：
S201、构建CNN模型提取空间特征：通过卷积神经网络提取脑电信号中的空间特征；
S202、构建BiLSTM模型提取时间特征：长短时记忆模型通过引用三个门和记忆单元有效地处理和预测时间序列中间隔和延迟非常长的重要事件，通过组装两个单向的长短时记忆模型，构成双向长短时记忆模型，综合双向的记忆信息进一步提脑电取信号的时间特征；
S203、深度提取脑电信号的度特征数据：结合卷积神经网络和双向长短时记忆模型网络捕获到更能表征脑电图信号特点的时-空深度特征数据；
S3、搭建分类器：采用ProCRC分类器对提取到的时-空深度特征进行分类；
S4、模型测试及评估：采用测试集对搭建的CNN-BiLSTM模型进行测试，进而评估系统性能。
作为优选，所述步骤S201中构建CNN模型提取空间特征的具体步骤如下：
S20101、卷积层对输入数据进行特征提取，以卷积为核心的前馈神经网络，内部包含卷积核中得每个元素都对应一个权重系数和一个偏差向量，且卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连；
S20102、卷积神经网络通过卷积操作获得每个位置的特征图，来自不同特征图的单元得到各自不同类型的特征；一个卷积层中通常包含多个具有不同权值向量的特征图(Feature Map)，使得能够保留更丰富的脑电特征；则数据经过卷积层后的表达式为：
ci＝Relu(W(r)s*X(i)+bi)
其中，X(i)表示网络输入的脑电数据为；b表示网络的偏置项；W(r)s表示第r层的第s个卷积核；Relu表示网络的激活函数；*定义为卷积操作；
S20103、通过卷积层输出的特征图被传递至池化层进行特征选择和信息过滤，将特征图中单个点的结果替换为其相邻区域的特征图统计量。
更优地，所述步骤S202中构建BiLSTM模型提取时间特征的具体步骤如下：
S20201、将两个LSTM单元融合组成改进型的LSTM网络模型，即BiLSTM模型；
S20202、BiLSTM模型隐藏层保存两个参数值，分别是参与正向计算的参数，及参与反向计算的参数，BiLSTM模型网络最终的输出取决于这两个参数的共同结果；计算公式如下：
前向网络层的计算公式为：
后向网络层的计算公式为：
两层网络层叠加后输入隐藏层的计算公式为：
其中，ut表示当前的网络输入；表示上一时刻网络的前向LSTM隐藏单元输出值；表示网络的后向LSTM隐藏单元输出值；Hid表示LSTM中取隐藏层操作简记。
作为优选，所述步骤S3中搭建分类器的具体步骤如下：
S301、对提取到的时-空深度特征进行标准化处理；
S302、根据训练集特征数据计算投影矩阵；
S303、根据训练数据的投影矩阵计算测试样本的编码向量；
S304、根据测试集数据的编码向量预测出测试集类别标签。
更优地，所述步骤S302中根据训练集特征数据计算投影矩阵的计算公式为：
其中，T表示投影矩阵；I表示单位矩阵；YT表示Y的转置；K表示样本类别总数；k表示1与K之间的一个整数值，k类训练样本集合为Y＝[Y1,Y2,Y3,...,Yk,...,YK]；Y'k表示一个与Y矩阵大小相同的矩阵，样本Yk在矩阵Y'k中的位置与在矩阵Y中的位置相同，即Y'k＝[0,0,0,...,Yk,...,0]；表示矩阵Y与矩阵Y'k的差矩阵，即
更优地，所述步骤S303中根据训练数据的投影矩阵计算测试样本的编码向量的计算公式为：
其中，Wy表示对角加权矩阵；Z表示测试集特征样本；表示根据投影矩阵计算出的测试样本的编码向量，ProCRC分类器通过迭代重加权最小二乘法交替地更新对角加权矩阵Wy和编码向量直到达到与测试样本数目相同的迭代次数。
更优地，所述步骤S304中测试集数据根据编码向量预测出测试集类别标签的具体步骤如下：
S30401、测试集每次试验的类别概率计算公式为：
S30402、根据步骤S30401计算出的类别概率，将最大概率的类别作为其预测标签的计算公式为：
其中，Z表示测试集特征数据。
作为优选，所述步骤S4中模型测试及评估的具体为：使用测试集数据进行测试，通过输出的预测标签与真实标签之间的对比得到分类准确率，分类准确率计算公式为：
一种融合CNN-BiLSTM模型和概率协作的运动想象识别系统，该系统包括，
脑电信号采集单元，用于采集脑电信号；其中，脑电信号是一种非侵入式的脑电图信号，其信号幅度微弱、信噪比低、非平稳性、非线性，处理难度大；
深度神经网络构建单元，用于通过深度学习中的卷积神经网络(CNN)并结合双向长短时记忆模型网络(BiLSTM)提取脑电信号的时-空深度特征；
其中，深度神经网络构建单元包括，
CNN模型构建子单元，用于通过卷积神经网络提取脑电信号中的空间特征；
BiLSTM模型构建子单元，用于通过组装两个单向的长短时记忆模型，构成双向长短时记忆模型，综合双向的记忆信息进一步提脑电取信号的时间特征；
脑电信号特征数据深度提取子单元，用于结合卷积神经网络和双向长短时记忆模型网络捕获到更能表征脑电图信号特点的时-空深度特征数据；
分类器搭建单元，用于通过ProCRC分类器对提取到的时-空深度特征进行分类；
模型测试及评估单元，用于通过测试集对搭建的CNN-BiLSTM模型进行测试，进而评估系统性能。
作为优选，所述分类器搭建单元包括，
标准化处理子单元，用于对提取到的时-空深度特征进行标准化处理；
投影矩阵计算子单元，用于根据训练集特征数据计算投影矩阵；
编码向量计算单元，用于根据训练数据的投影矩阵计算测试样本的编码向量；
测试集类别标签预测单元，用于根据测试集数据的编码向量预测出测试集类别标签。
本发明的融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统具有以下优点：
(一)、本发明方法能够将深度学习中CNN和BiLSTM算法与ProCRC分类器相结合，在难度系数较大的EEG数据上完成了相应的分析处理，并取得非常不错的成绩，与此同时，其特征提取的过程中不需要特征工程参与，极大简化了处理过程，为后续EEG信号的分类识别研究提供了新的方向；
(二)、通过卷积层输出的特征图可以进一步被传递至池化层进行特征选择和信息过滤，本发明选用了最大值池化的方式，即对每个小区域选最大值作为池化得结果，通过这种对数据进行分区采样的操作，可以将大的矩阵降采样成一个小的矩阵，减少计算量；
(三)、本发明采用深度学习中的卷积神经网络并结合双向长短时记忆模型网络对脑电图信号进行特征提取，其中卷积神经网络可以提取信号中的空间特征，长短时记忆模型通过引用三个门和记忆单元有效地处理和预测时间序列中间隔和延迟非常长的重要事件，再通过组装两个单向的长短时记忆模型构成双向长短时记忆模型，综合双向的记忆信息进一步提取信号的时间信息，结合卷积神经网络和双向长短时记忆模型网络可以捕获到更能表征脑电图信号特点的时-空深度特征数据；
(四)、本发明采用ProCRC分类器，是将概率子空间方法与协作表示分类算法相结合提出的一种新的分类方法，其在从概率的角度对协作表示分类算法进行分析，在保证分类性能的前提下降低算法复杂度。
附图说明
下面结合附图对本发明进一步说明。
附图1为融合CNN-BiLSTM模型和概率协作的运动想象识别方法的流程框图；
附图2为BCI系统中的采集一次EEG信号的过程；
附图3为基本的LSTM的结构单元细节图；
附图4为一层BiLSTM网络的结构简图；
附图5为分类结果柱状图；
附图6为融合CNN-BiLSTM模型和概率协作的运动想象识别的结构框图。
具体实施方式
参照说明书附图和具体实施例对本发明的融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统作以下详细地说明。
实施例1：
如附图1所示，本发明的融合CNN-BiLSTM模型和概率协作的运动想象识别方法，该方法通过融合BiLSTM网络的CNN模型对EEG信号中的时-空深度特征进行捕获和提取，将捕获和提取的时-空深度特征输入至ProCRC分类器中进行分类，同时使用测试集数据对搭建的CNN-BiLSTM模型进行性能评估，实现用户的意图识别；具体步骤如下：
S1、采集脑电信号；其中，脑电信号是一种非侵入式的脑电图信号，其信号幅度微弱、信噪比低、非平稳性、非线性，处理难度大；
实验中采用的是国际BCI Competition III竞赛数据库中的数据集III(DatasetIVa)，数据集IVa是一个包含右手和脚的两类运动想象任务，从五个健康被试者中获得的EEG信号。这些被试者分别被简称为“aa”、“al”、“av”、“aw”和“ay”。所有的数据均是在扩展了的国际脑电图学会制定的“10-20国际标准系统”的位置上测量了118个电极通道，并以100Hz的采样率完成运动想象的脑电数据记录。每个被试者共进行280次实验，其中，“aa”、“al”、“av”、“aw”和“ay”的训练次数分别为168、224、84、56和28次，测试次数则分别为112、56、196、224和252次。同时每组训练和测试数据都配有相应的标签数据(不同的标签以数值1和2区分)。每个试验以一个提示开始，6秒结束，提取前1秒到4.5秒共3秒时常的数据为实验的采集数据，如附图2所示。所有基于运动想象的脑电数据记录于118导的电极设备，采样率为100Hz，每个被试者均进行280次实验。处理不同被试者采集到的EEG信号，其个体生理和心理的差异可能会导致每个被试者提取的信号差异增大，这也对处理的算法和分析过程带来不容忽视的难度。
S2、构建深度神经网络：采用深度学习中的卷积神经网络(CNN)并结合双向长短时记忆模型网络(BiLSTM)提取脑电信号的时-空深度特征；为了更好地利用脑电信号的时序特性，采用双向长短时记忆(Bi-directional Long Short-Term Memory,BiLSTM)进行脑电信号的特征提取；BiLSTM在每一个训练序列向前和向后中分别使用两个LSTM，且共同连接着一个输出层，此结构可以将输入序列中每一个点完整的过去和未来的信息提供给输出层，BiLSTM神经网络模型是一种融合双向RNN与LSTM两个模型的优点的新模型，本发明将结合CNN和BiLSTM进行脑电数据的特征提取，以期达到更好的效果；具体步骤如下：
S201、构建CNN模型提取空间特征：通过卷积神经网络提取脑电信号中的空间特征；具体步骤如下：
S20101、卷积层对输入数据进行特征提取，以卷积为核心的前馈神经网络，内部包含卷积核中得每个元素都对应一个权重系数和一个偏差向量，且卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连；
S20102、卷积神经网络通过卷积操作获得每个位置的特征图，来自不同特征图的单元得到各自不同类型的特征；一个卷积层中通常包含多个具有不同权值向量的特征图(Feature Map)，使得能够保留更丰富的脑电特征；则数据经过卷积层后的表达式为：
ci＝Relu(W(r)s*X(i)+bi)
其中，X(i)表示网络输入的脑电数据为；b表示网络的偏置项；W(r)s表示第r层的第s个卷积核；Relu表示网络的激活函数；*定义为卷积操作；
本发明将采用3个卷积层进行特征提取操作，每个卷积层的卷积核大小为5×5，步长为1，并且采用RELU作为卷积层的激活函数，每层卷积输出的特征图数目依次为10、20和30。
S20103、通过卷积层输出的特征图被传递至池化层进行特征选择和信息过滤，将特征图中单个点的结果替换为其相邻区域的特征图统计量。
本发明将在每个卷积层的后面依次添加一个池化核大小为1×2，步长为1×2的最大值池化层，3个最大值池化层将依次对经过每层卷积后的特征图进行池化操作，进一步对特征进行选择并减少数据量。
S202、构建BiLSTM模型提取时间特征：长短时记忆模型通过引用三个门和记忆单元有效地处理和预测时间序列中间隔和延迟非常长的重要事件，通过组装两个单向的长短时记忆模型，构成双向长短时记忆模型，综合双向的记忆信息进一步提脑电取信号的时间特征；
通过步骤S201中的CNN模型可以提取EEG的空间特征信息，为了进一步提取更深层次、更具代表性的特征，本发明采用一层BiLSTM网络对CNN模型提取的特征进一步进行处理，具体如下：
LSTM是一种循环时间神经网络，由于其独特的设计结构，适合于处理和预测时间序列中间隔和延迟非常长的重要事件。LSTM基本结构单元又称之为记忆块，它取代了传统的神经单元，组成了具有“记忆”的网络。其中记忆块由一个中心节点(Cell)和三个门控单元搭建而成，中心节点与三个门控单元分别相交互，共同控制着信息流入，完成当前网络状态的存储。其中，中心节点称作记忆细胞，三个门单元分别为输入门、遗忘门和输出门。LSTM结构的循环神经网络的前向传播是一个相对比较复杂的过程，在前向传输的过程中，输入门决定将新的信息选择性的记录到细胞状态中，遗忘门决定将细胞状态中的信息选择性的遗忘，最后输出门决定最终的输出。LSTM的这种门机制赋予了网络得以保存长距离信息的能力，并在训练过程中防止内部梯度遭受外部干扰，误差可以在内部以恒定值进行反向传播，进而避免了梯度消失和梯度爆炸问题的出现。如附图3所示，是一个基本的LSTM结构单元示意图，其中，已知第t时刻网络的输入为ut，也是从CNN模型中提取的空间特征信息，本时刻隐藏层状态即LSTM记忆块的输出为ht，则上一时刻的输出为ht-1，其中，t＝1,2,...,。单层的LSTM网络学习的过程可如下描述：
(1)输入门：负责处理当前序列位置的输入，控制到记忆细胞的信息流，用数学表达式为：
it＝σ(Wiuut+Wihht-1+Wicct-1+bi)；
其中，Wiu、Wih和Wic分别表示网络输入、上时刻输出和记忆细胞到输入门的权重；bi是输入门的偏移量；σ(·)是对数sigmoid激活函数，以下若出现均表示同一个函数。
(2)遗忘门：控制记忆细胞内部的循环状态，决定记忆细胞中信息的取舍(遗忘)，用数学表达式为：
ft＝σ(Wfuut+Wfhht-1+Wfcct+bf)；
其中，Wfu、Wfh和Wfc分别表示网络输入、上时刻输出和记忆细胞到遗忘门的权重；bf是遗忘门的偏移量。
(3)LSTM的状态更新：前面的遗忘门ft和输入门it的结果都会作用于细胞状态ct，进而更新细胞状态，具体数学表达式如下：
ct＝ft*ct-1+it*tanh(Wcuut+Wchht-1+bc)；
其中，Wcu和Wch分别表示网络输入、上时刻输出到记忆细胞的权重；bc是记忆细胞的偏移量；tanh(·)为双曲正切函数，以下若出现均表示同一个函数；*表示点乘操作，以下若出现均表示同一个函数。
(4)输出门：控制记忆细胞到网络其他结构单元的信息流，并输出网络的结果，用数学表达式为：
ot＝σ(Wouut+Wohht-1+Wocct+bo)；
ht＝ot*tanh(ct)；
其中，Wou、Woh和Wch分别表示网络输入、上时刻输出和记忆细胞到输出门的权重；bo是输出门的偏移量。
在上述的单层的LSTM中，状态的传输是从前往后单向进行的，故单向的结构能够了解到下一刻预测输出是根据前面多个时刻的输入来共同影响的，而在有些问题中，网络的输出状态除了与之前的状态有关外，其网络之后的状态也是一个很重要的信息，因此采用双向RNN可以在一定程度上解决此类问题。双向RNN是由两个RNN上下叠加形成的，输出的状态则由这两个RNN的状态共同决定。在网络输入的每一个时刻t中，输入会同时提供给这两个方向相反的RNN单元，而输出则是由这两个单向传输的RNN单元共同决定的；如附图4所示，而本发明是通过组装两个单向的长短时记忆模型，构成双向长短时记忆模型，综合双向的记忆信息进一步提脑电取信号的时间特征，具体步骤如下：
S20201、将两个LSTM单元融合组成改进型的LSTM网络模型，即BiLSTM模型；
S20202、BiLSTM模型隐藏层保存两个参数值，分别是参与正向计算的参数，及参与反向计算的参数，BiLSTM模型网络最终的输出取决于这两个参数的共同结果；计算公式如下：
前向网络层的计算公式为：
后向网络层的计算公式为：
两层网络层叠加后输入隐藏层的计算公式为：
其中，ut表示当前的网络输入；表示上一时刻网络的前向LSTM隐藏单元输出值；表示网络的后向LSTM隐藏单元输出值；Hid表示LSTM中取隐藏层操作简记。
CNN特征图再经过步骤S202的BiLSTM网络后，捕捉到EEG信号的时-空特征信息。深度学习与机器学习一个很重要的区别在于数据量的大小。就目前大量的实验和工作证明,数据量的大小直接影响深度学习的性能。然而EEG就是一个小数据集，为了减少调参过程，提高识别效率，以及避免过拟合，接下来我们将使用ProCRC分类器。ProCRC分类器是将概率子空间方法与协作表示分类算法相结合提出的一种新的分类方法，其在从概率的角度对协作表示分类算法进行分析，在保证分类性能的前提下降低算法复杂度。
S203、深度提取脑电信号的度特征数据：结合卷积神经网络和双向长短时记忆模型网络捕获到更能表征脑电图信号特点的时-空深度特征数据；
S3、搭建分类器：采用ProCRC分类器对提取到的时-空深度特征进行分类；具体步骤如下：
S301、对提取到的时-空深度特征进行标准化处理；
S302、根据训练集特征数据计算投影矩阵；计算公式为：
其中，T表示投影矩阵；I表示单位矩阵；YT表示Y的转置；K表示样本类别总数；k表示1与K之间的一个整数值，k类训练样本集合为Y＝[Y1,Y2,Y3,...,Yk,...,YK]；Y'k表示一个与Y矩阵大小相同的矩阵，样本Yk在矩阵Y'k中的位置与在矩阵Y中的位置相同，即Y'k＝[0,0,0,...,Yk,...,0]；表示矩阵Y与矩阵Y'k的差矩阵，即
S303、根据训练数据的投影矩阵计算测试样本的编码向量；计算公式为：
其中，Wy表示对角加权矩阵；Z表示测试集特征样本；表示根据投影矩阵计算出的测试样本的编码向量，ProCRC分类器通过迭代重加权最小二乘法交替地更新对角加权矩阵Wy和编码向量直到达到与测试样本数目相同的迭代次数。
S304、根据测试集数据的编码向量预测出测试集类别标签；具体步骤如下：
S30401、测试集每次试验的类别概率计算公式为：
S30402、根据步骤S30401计算出的类别概率，将最大概率的类别作为其预测标签的计算公式为：
其中，Z表示测试集特征数据。
S4、模型测试及评估：采用测试集对搭建的CNN-BiLSTM模型进行测试，进而评估系统性能；具体为：使用测试集数据进行测试，通过输出的预测标签与真实标签之间的对比得到分类准确率，分类准确率计算公式为：
网络的整个流程是先将原始的EEG数据经过由3层卷积层和池化层前后连接的CNN网络，捕获到信号的空间特征后，再将此空间特征经过一层BiLSTM网络得到更深层次的时-空深度特征，最后将提取到时-空深度特征经过ProCRC分类器分类处理，如图5所示，98.21％、100％、92.35％、96％和82.94％的分类准确率验证了模型强大的处理能力，对于复杂难以分析的EEG信号有着很良好的泛化能力和优异的鲁棒性。
实施例2：
如附图6所示，本发明的融合CNN-BiLSTM模型和概率协作的运动想象识别系统，该系统包括，
脑电信号采集单元，用于采集脑电信号；其中，脑电信号是一种非侵入式的脑电图信号，其信号幅度微弱、信噪比低、非平稳性、非线性，处理难度大；
深度神经网络构建单元，用于通过深度学习中的卷积神经网络(CNN)并结合双向长短时记忆模型网络(BiLSTM)提取脑电信号的时-空深度特征；
其中，深度神经网络构建单元包括，
CNN模型构建子单元，用于通过卷积神经网络提取脑电信号中的空间特征；
BiLSTM模型构建子单元，用于通过组装两个单向的长短时记忆模型，构成双向长短时记忆模型，综合双向的记忆信息进一步提脑电取信号的时间特征；
脑电信号特征数据深度提取子单元，用于结合卷积神经网络和双向长短时记忆模型网络捕获到更能表征脑电图信号特点的时-空深度特征数据；
分类器搭建单元，用于通过ProCRC分类器对提取到的时-空深度特征进行分类；
其中，分类器搭建单元包括，
标准化处理子单元，用于对提取到的时-空深度特征进行标准化处理；
投影矩阵计算子单元，用于根据训练集特征数据计算投影矩阵；
编码向量计算单元，用于根据训练数据的投影矩阵计算测试样本的编码向量；
测试集类别标签预测单元，用于根据测试集数据的编码向量预测出测试集类别标签。
模型测试及评估单元，用于通过测试集对搭建的CNN-BiLSTM模型进行测试，进而评估系统性能。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种融合CNN-BiLSTM模型和概率协作的运动想象识别方法，其特征在于，该方法通过融合BiLSTM网络的CNN模型对EEG信号中的时-空深度特征进行捕获和提取，将捕获和提取的时-空深度特征输入至ProCRC分类器中进行分类，同时使用测试集数据对搭建的CNN-BiLSTM模型进行性能评估，实现用户的意图识别；具体步骤如下：
S1、采集脑电信号；
S2、构建深度神经网络：采用深度学习中的卷积神经网络并结合双向长短时记忆模型网络提取脑电信号的时-空深度特征；具体步骤如下：
S201、构建CNN模型提取空间特征：通过卷积神经网络提取脑电信号中的空间特征；
S202、构建BiLSTM模型提取时间特征：通过组装两个单向的长短时记忆模型，构成双向长短时记忆模型，综合双向的记忆信息进一步提脑电取信号的时间特征；
S203、深度提取脑电信号的度特征数据：结合卷积神经网络和双向长短时记忆模型网络捕获到更能表征脑电图信号特点的时-空深度特征数据；
S3、搭建分类器：采用ProCRC分类器对提取到的时-空深度特征进行分类；
S4、模型测试及评估：采用测试集对搭建的CNN-BiLSTM模型进行测试，进而评估系统性能。
2.根据权利要求1所述的融合CNN-BiLSTM模型和概率协作的运动想象识别方法，其特征在于，所述步骤S201中构建CNN模型提取空间特征的具体步骤如下：
S20101、卷积层对输入数据进行特征提取；
S20102、卷积神经网络通过卷积操作获得每个位置的特征图；则数据经过卷积层后的表达式为：
ci＝Relu(W(r)s*X(i)+bi)
其中，X(i)表示网络输入的脑电数据；b表示网络的偏置项；W(r)s表示第r层的第s个卷积核；Relu表示网络的激活函数；*定义为卷积操作；
S20103、通过卷积层输出的特征图被传递至池化层进行特征选择和信息过滤，将特征图中单个点的结果替换为其相邻区域的特征图统计量。
3.根据权利要求1或2所述的融合CNN-BiLSTM模型和概率协作的运动想象识别方法，其特征在于，所述步骤S202中构建BiLSTM模型提取时间特征的具体步骤如下：
S20201、将两个LSTM单元融合组成改进型的LSTM网络模型，即BiLSTM模型；
S20202、BiLSTM模型隐藏层保存两个参数值，分别是参与正向计算的参数，及参与反向计算的参数，BiLSTM模型网络最终的输出取决于这两个参数的共同结果；计算公式如下：
前向网络层的计算公式为：
后向网络层的计算公式为：
两层网络层叠加后输入隐藏层的计算公式为：
其中，ut表示当前的网络输入；表示上一时刻网络的前向LSTM隐藏单元输出值；表示网络的后向LSTM隐藏单元输出值；Hid表示LSTM中取隐藏层操作简记。
4.根据权利要求1所述的融合CNN-BiLSTM模型和概率协作的运动想象识别方法，其特征在于，所述步骤S3中搭建分类器的具体步骤如下：
S301、对提取到的时-空深度特征进行标准化处理；
S302、根据训练集特征数据计算投影矩阵；
S303、根据训练数据的投影矩阵计算测试样本的编码向量；
S304、根据测试集数据的编码向量预测出测试集类别标签。
5.根据权利要求4所述的融合CNN-BiLSTM模型和概率协作的运动想象识别方法，其特征在于，所述步骤S302中根据训练集特征数据计算投影矩阵的计算公式为：
其中，T表示投影矩阵；I表示单位矩阵；YT表示Y的转置；K表示样本类别总数；k表示1与K之间的一个整数值，k类训练样本集合为Y＝[Y1,Y2,Y3,...,Yk,...,YK]；Y'k表示一个与Y矩阵大小相同的矩阵，样本Yk在矩阵Y'k中的位置与在矩阵Y中的位置相同，即Y'k＝[0,0,0,...,Yk,...,0]；表示矩阵Y与矩阵Y'k的差矩阵，即
6.根据权利要求5所述的融合CNN-BiLSTM模型和概率协作的运动想象识别方法，其特征在于，所述步骤S303中根据训练数据的投影矩阵计算测试样本的编码向量的计算公式为：
其中，Wy表示对角加权矩阵；Z表示测试集特征样本；表示根据投影矩阵计算出的测试样本的编码向量，ProCRC分类器通过迭代重加权最小二乘法交替地更新对角加权矩阵Wy和编码向量直到达到与测试样本数目相同的迭代次数。
7.根据权利要求6所述的融合CNN-BiLSTM模型和概率协作的运动想象识别方法，其特征在于，所述步骤S304中测试集数据根据编码向量预测出测试集类别标签的具体步骤如下：
S30401、测试集每次试验的类别概率计算公式为：
S30402、根据步骤S30401计算出的类别概率，将最大概率的类别作为其预测标签的计算公式为：
其中，Z表示测试集特征数据。
8.根据权利要求1所述的融合CNN-BiLSTM模型和概率协作的运动想象识别方法，其特征在于，所述步骤S4中模型测试及评估的具体为：使用测试集数据进行测试，通过输出的预测标签与真实标签之间的对比得到分类准确率，分类准确率计算公式为：
9.一种融合CNN-BiLSTM模型和概率协作的运动想象识别系统，其特征在于，该系统包括，
脑电信号采集单元，用于采集脑电信号；
深度神经网络构建单元，用于通过深度学习中的卷积神经网络并结合双向长短时记忆模型网络提取脑电信号的时-空深度特征；
其中，深度神经网络构建单元包括，
CNN模型构建子单元，用于通过卷积神经网络提取脑电信号中的空间特征；
BiLSTM模型构建子单元，用于通过组装两个单向的长短时记忆模型，构成双向长短时记忆模型，综合双向的记忆信息进一步提脑电取信号的时间特征；
脑电信号特征数据深度提取子单元，用于结合卷积神经网络和双向长短时记忆模型网络捕获到更能表征脑电图信号特点的时-空深度特征数据；
分类器搭建单元，用于通过ProCRC分类器对提取到的时-空深度特征进行分类；
模型测试及评估单元，用于通过测试集对搭建的CNN-BiLSTM模型进行测试，进而评估系统性能。
10.根据权利要求9所述的融合CNN-BiLSTM模型和概率协作的运动想象识别系统，其特征在于，所述分类器搭建单元包括，
标准化处理子单元，用于对提取到的时-空深度特征进行标准化处理；
投影矩阵计算子单元，用于根据训练集特征数据计算投影矩阵；
编码向量计算单元，用于根据训练数据的投影矩阵计算测试样本的编码向量；
测试集类别标签预测单元，用于根据测试集数据的编码向量预测出测试集类别标签。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910602724.6A CN110309797A (zh) | 2019-07-05 | 2019-07-05 | 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910602724.6A CN110309797A (zh) | 2019-07-05 | 2019-07-05 | 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110309797A true CN110309797A (zh) | 2019-10-08 |
Family
ID=68078910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910602724.6A Pending CN110309797A (zh) | 2019-07-05 | 2019-07-05 | 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110309797A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110638430A (zh) * | 2019-10-23 | 2020-01-03 | 苏州大学 | 多任务级联神经网络ecg信号心律失常疾病分类模型和方法 |
| CN110955152A (zh) * | 2019-12-02 | 2020-04-03 | 杭州创匠信息科技有限公司 | 基于脑机接口的智能家居控制方法及系统 |
| CN111134666A (zh) * | 2020-01-09 | 2020-05-12 | 中国科学院软件研究所 | 一种多通道脑电数据的情绪识别方法及电子装置 |
| CN111428580A (zh) * | 2020-03-04 | 2020-07-17 | 威海北洋电气集团股份有限公司 | 基于深度学习的个体信号识别算法及系统 |
| CN111681636A (zh) * | 2020-06-16 | 2020-09-18 | 深圳市华创技术有限公司 | 基于脑机接口技术语音生成方法及医疗系统和终端 |
| CN111723285A (zh) * | 2020-05-14 | 2020-09-29 | 天津大学 | 一种基于评分的深度谱卷积协同过滤推荐方法 |
| CN111859784A (zh) * | 2020-06-24 | 2020-10-30 | 天津大学 | 一种基于深度学习神经网络的rcs时间序列特征提取方法 |
| CN112244873A (zh) * | 2020-09-29 | 2021-01-22 | 陕西科技大学 | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 |
| CN112613431A (zh) * | 2020-12-28 | 2021-04-06 | 中北大学 | 一种泄漏气体自动识别方法、系统及装置 |
| CN112667080A (zh) * | 2020-12-28 | 2021-04-16 | 西安电子科技大学 | 基于深度卷积对抗网络的脑电信号无人平台智能控制方法 |
| CN112784892A (zh) * | 2021-01-14 | 2021-05-11 | 重庆兆琨智医科技有限公司 | 一种脑电运动意图识别方法及系统 |
| CN112968740A (zh) * | 2021-02-01 | 2021-06-15 | 南京邮电大学 | 一种基于机器学习的卫星频谱感知方法 |
| CN113128459A (zh) * | 2021-05-06 | 2021-07-16 | 昆明理工大学 | 一种基于多层次脑电信号表达下的特征融合方法 |
| CN113486724A (zh) * | 2021-06-10 | 2021-10-08 | 重庆邮电大学 | 基于cnn-lstm多支流结构和多种信号表示的调制识别模型 |
| CN113812933A (zh) * | 2021-09-18 | 2021-12-21 | 重庆大学 | 基于可穿戴式设备的急性心肌梗死实时预警系统 |
| CN114004165A (zh) * | 2021-11-05 | 2022-02-01 | 中国民航大学 | 一种基于BiLSTM的民航单机组意图建模方法 |
| CN114553315A (zh) * | 2022-02-28 | 2022-05-27 | 常州北邮新一代信息技术研究院有限公司 | 基于CNN-biRNN的光纤非线性均衡方法及系统 |
| CN114781441A (zh) * | 2022-04-06 | 2022-07-22 | 电子科技大学 | Eeg运动想象分类方法及多空间卷积神经网络模型 |
| CN116504005A (zh) * | 2023-05-09 | 2023-07-28 | 齐鲁工业大学(山东省科学院) | 一种基于改进CDIL-Bi-LSTM的周界安防入侵信号识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341462A (zh) * | 2017-06-28 | 2017-11-10 | 电子科技大学 | 一种基于注意力机制的视频分类方法 |
| CN107609460A (zh) * | 2017-05-24 | 2018-01-19 | 南京邮电大学 | 一种融合时空双重网络流和attention机制的人体行为识别方法 |
| CN108446020A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 融合可视图与深度学习的运动想象意念控制方法及应用 |
| CN109670548A (zh) * | 2018-12-20 | 2019-04-23 | 电子科技大学 | 基于改进lstm-cnn的多尺寸输入har算法 |
| CN109924977A (zh) * | 2019-03-21 | 2019-06-25 | 西安交通大学 | 一种基于cnn和lstm的表面肌电信号分类方法 |
-
2019
- 2019-07-05 CN CN201910602724.6A patent/CN110309797A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609460A (zh) * | 2017-05-24 | 2018-01-19 | 南京邮电大学 | 一种融合时空双重网络流和attention机制的人体行为识别方法 |
| CN107341462A (zh) * | 2017-06-28 | 2017-11-10 | 电子科技大学 | 一种基于注意力机制的视频分类方法 |
| CN108446020A (zh) * | 2018-02-28 | 2018-08-24 | 天津大学 | 融合可视图与深度学习的运动想象意念控制方法及应用 |
| CN109670548A (zh) * | 2018-12-20 | 2019-04-23 | 电子科技大学 | 基于改进lstm-cnn的多尺寸输入har算法 |
| CN109924977A (zh) * | 2019-03-21 | 2019-06-25 | 西安交通大学 | 一种基于cnn和lstm的表面肌电信号分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 崔丽霞: ""基于概率协作表示的运动想象脑电信号识别分类研究"", 《医药卫生科技辑》 * |
| 张应成 等: ""基于BiLSTM-CRF的商情实体识别模型"", 《计算机工程》 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110638430A (zh) * | 2019-10-23 | 2020-01-03 | 苏州大学 | 多任务级联神经网络ecg信号心律失常疾病分类模型和方法 |
| CN110955152A (zh) * | 2019-12-02 | 2020-04-03 | 杭州创匠信息科技有限公司 | 基于脑机接口的智能家居控制方法及系统 |
| CN111134666A (zh) * | 2020-01-09 | 2020-05-12 | 中国科学院软件研究所 | 一种多通道脑电数据的情绪识别方法及电子装置 |
| CN111428580A (zh) * | 2020-03-04 | 2020-07-17 | 威海北洋电气集团股份有限公司 | 基于深度学习的个体信号识别算法及系统 |
| CN111723285A (zh) * | 2020-05-14 | 2020-09-29 | 天津大学 | 一种基于评分的深度谱卷积协同过滤推荐方法 |
| CN111681636A (zh) * | 2020-06-16 | 2020-09-18 | 深圳市华创技术有限公司 | 基于脑机接口技术语音生成方法及医疗系统和终端 |
| CN111681636B (zh) * | 2020-06-16 | 2022-02-18 | 深圳市华创技术有限公司 | 基于脑机接口技术语音生成方法及医疗系统和终端 |
| CN111859784A (zh) * | 2020-06-24 | 2020-10-30 | 天津大学 | 一种基于深度学习神经网络的rcs时间序列特征提取方法 |
| CN111859784B (zh) * | 2020-06-24 | 2023-02-24 | 天津大学 | 一种基于深度学习神经网络的rcs时间序列特征提取方法 |
| CN112244873A (zh) * | 2020-09-29 | 2021-01-22 | 陕西科技大学 | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 |
| CN112613431B (zh) * | 2020-12-28 | 2021-06-29 | 中北大学 | 一种泄漏气体自动识别方法、系统及装置 |
| CN112667080A (zh) * | 2020-12-28 | 2021-04-16 | 西安电子科技大学 | 基于深度卷积对抗网络的脑电信号无人平台智能控制方法 |
| CN112667080B (zh) * | 2020-12-28 | 2023-05-23 | 西安电子科技大学 | 基于深度卷积对抗网络的脑电信号无人平台智能控制方法 |
| CN112613431A (zh) * | 2020-12-28 | 2021-04-06 | 中北大学 | 一种泄漏气体自动识别方法、系统及装置 |
| CN112784892A (zh) * | 2021-01-14 | 2021-05-11 | 重庆兆琨智医科技有限公司 | 一种脑电运动意图识别方法及系统 |
| CN112968740B (zh) * | 2021-02-01 | 2022-07-29 | 南京邮电大学 | 一种基于机器学习的卫星频谱感知方法 |
| CN112968740A (zh) * | 2021-02-01 | 2021-06-15 | 南京邮电大学 | 一种基于机器学习的卫星频谱感知方法 |
| CN113128459A (zh) * | 2021-05-06 | 2021-07-16 | 昆明理工大学 | 一种基于多层次脑电信号表达下的特征融合方法 |
| CN113486724A (zh) * | 2021-06-10 | 2021-10-08 | 重庆邮电大学 | 基于cnn-lstm多支流结构和多种信号表示的调制识别模型 |
| CN113812933A (zh) * | 2021-09-18 | 2021-12-21 | 重庆大学 | 基于可穿戴式设备的急性心肌梗死实时预警系统 |
| CN114004165A (zh) * | 2021-11-05 | 2022-02-01 | 中国民航大学 | 一种基于BiLSTM的民航单机组意图建模方法 |
| CN114553315A (zh) * | 2022-02-28 | 2022-05-27 | 常州北邮新一代信息技术研究院有限公司 | 基于CNN-biRNN的光纤非线性均衡方法及系统 |
| CN114781441A (zh) * | 2022-04-06 | 2022-07-22 | 电子科技大学 | Eeg运动想象分类方法及多空间卷积神经网络模型 |
| CN114781441B (zh) * | 2022-04-06 | 2024-01-26 | 电子科技大学 | Eeg运动想象分类方法及多空间卷积神经网络模型 |
| CN116504005A (zh) * | 2023-05-09 | 2023-07-28 | 齐鲁工业大学(山东省科学院) | 一种基于改进CDIL-Bi-LSTM的周界安防入侵信号识别方法 |
| CN116504005B (zh) * | 2023-05-09 | 2024-02-20 | 齐鲁工业大学(山东省科学院) | 一种基于改进CDIL-Bi-LSTM的周界安防入侵信号识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309797A (zh) | 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统 | |
| CN108304917A (zh) | 一种基于lstm网络的p300信号检测方法 | |
| Parmar et al. | Learning to score olympic events | |
| Yang et al. | Spatiotemporal differentiation of myocardial infarctions | |
| Farsi et al. | Classification of alcoholic EEG signals using a deep learning method | |
| CN109820525A (zh) | 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法 | |
| CN110515456A (zh) | 基于注意力机制的脑电信号情感判别方法及装置 | |
| CN109614885A (zh) | 一种基于lstm的脑电信号快速分类识别方法 | |
| CN103425249A (zh) | 基于正则化csp和src的脑电信号分类识别方法及其遥控系统 | |
| CN109948427A (zh) | 一种基于长短时记忆模型的意念识别方法 | |
| CN106909938A (zh) | 基于深度学习网络的视角无关性行为识别方法 | |
| CN110135244B (zh) | 一种基于脑-机协同智能的表情识别方法 | |
| Thenmozhi et al. | Feature selection using extreme gradient boosting Bayesian optimization to upgrade the classification performance of motor imagery signals for BCI | |
| CN109359610A (zh) | 构建cnn-gb模型的方法及系统、数据特征分类方法 | |
| CN110090017A (zh) | 一种基于lstm的脑电信号源定位方法 | |
| CN107122050A (zh) | 基于csfl‑gdbn的稳态运动视觉诱发电位脑‑机接口方法 | |
| CN110889496A (zh) | 一种基于对抗生成网络的人脑效应连接识别方法 | |
| CN101382837B (zh) | 复合动作模式脑电鼠标控制装置 | |
| CN114081505A (zh) | 基于皮尔逊相关系数和卷积神经网络的脑电信号识别方法 | |
| Chen et al. | Efficient transfer learning combined skip-connected structure for masked face poses classification | |
| CN109662710A (zh) | 一种基于卷积神经网络的肌电信号特征提取方法 | |
| CN117493955A (zh) | 一种癫痫患者的脑电信号分类模型的训练方法 | |
| Hsiao et al. | The role of eye movement consistency in learning to recognise faces: Computational and experimental examinations. | |
| Wang et al. | A shallow convolutional neural network for classifying MI-EEG | |
| Wang et al. | Pay attention and watch temporal correlation: a novel 1-D convolutional neural network for ECG record classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191008 |