CN112667080B - 基于深度卷积对抗网络的脑电信号无人平台智能控制方法 - Google Patents
基于深度卷积对抗网络的脑电信号无人平台智能控制方法 Download PDFInfo
- Publication number
- CN112667080B CN112667080B CN202011578500.5A CN202011578500A CN112667080B CN 112667080 B CN112667080 B CN 112667080B CN 202011578500 A CN202011578500 A CN 202011578500A CN 112667080 B CN112667080 B CN 112667080B
- Authority
- CN
- China
- Prior art keywords
- signals
- network
- deep
- output
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000002775 capsule Substances 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000012795 verification Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 34
- 210000004556 brain Anatomy 0.000 claims description 33
- 230000000875 corresponding effect Effects 0.000 claims description 30
- 210000002569 neuron Anatomy 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000000638 stimulation Effects 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 3
- 210000004027 cell Anatomy 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 230000002902 bimodal effect Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000004936 stimulating effect Effects 0.000 claims description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims 1
- 229910052760 oxygen Inorganic materials 0.000 claims 1
- 239000001301 oxygen Substances 0.000 claims 1
- 238000013178 mathematical model Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000033830 Hot Flashes Diseases 0.000 description 1
- 206010060800 Hot flush Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于深度卷积对抗网络的脑电信号无人平台智能控制方法，终端对采集的脑电信号进行噪声去除，获得去噪后的脑电信号；通过胶囊网络对所述去噪后的脑电信号进行深层特征提取，获得深层特征信号；融合所述深层特征信号和脑电信号后进行分类识别，确定相应的控制指令信号；所述终端对无人平台分别进行离线和在线试验验证，验证成功后，所述无人平台接收并且执行所述终端发送的控制指令信号。本发明利用已有噪声数据集合成一维脑电信号训练网络，简化数学模型并解决了噪声训练数据不足问题，利用自编码器架构重建一维预测信号，注意力机制进行特征选择，提高了计算效率。
Description
技术领域
本发明属于脑电智能控制领域，具体涉及一种基于深度卷积对抗网络的脑电信号无人平台智能控制方法。
背景技术
脑电信号是由一种大脑皮层内大量神经元集体放电产生，是大量神经元活动的综合效应，所以脑电信号可以看作是不同区域，各种类型的脑电波叠加而成，由大量神经细胞群电活动形成的一种复杂综合波。随着生物信号相关技术的发展，基于脑电信号的相关研究成为热门领域，人们通过探究脑电信号与大脑神经之间的关系来发掘大脑的运作机制，以用来表达人的意图和运动等生理信息，因此在身份识别，临床医学，运动解码等领域起到重要作用，例如用脑电信号控制智能轮椅、汽车中控系统等。
而随着深度学习热潮的兴起，有研究者发现，脑电信号具有很明显的非线性和非稳定性等特性，且深度神经网络在信号的特征学习和特征分类方面具有优势，因此，如果能将深度神经网络引入对脑电信号的分析可能会得到很好的结果，所以许多深度学习方法也被应用于脑机接口技术的研究当中。现有的脑机接口在原始信号的采集过程中易受干扰，如何对原始信号进行高效的去噪处理，并提高脑电信号的分类识别率，实现高效稳定的无人平台控制成为巨大的挑战。
因此将脑机接口技术和深度学习结合形成一套脑控无人平台系统，引入了深度学习方法，从多类脑电信号的预处理和分类识别模型两个方面展开研究，具有理论意义和研究价值。
发明内容
鉴于此，本发明的主要目的在于提供基于深度卷积对抗网络的脑电信号无人平台智能控制方法。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供一种基于深度卷积对抗网络的脑电信号无人平台智能控制方法，该方法为：终端对采集的脑电信号进行噪声去除，获得去噪后的脑电信号；
通过胶囊网络对所述去噪后的脑电信号进行深层特征提取，获得深层特征信号；融合所述深层特征信号和脑电信号后进行分类识别，确定相应的控制指令信号；
所述终端对无人平台分别进行离线和在线试验验证，验证成功后，所述无人平台接收并且执行所述终端发送的控制指令信号。
上述方案中，所述终端对采集的脑电信号进行噪声去除，获得去噪后的脑电信号，具体为：通过深度递归循环神经网络来重建带噪输入数据，保证输入层和输出层宽度相同，将噪声信号输入到深度循环神经网络中训练，从而产生去噪后的脑电信号。
上述方案中，所述终端对采集的脑电信号进行噪声去除，获得去噪后的脑电信号，具体为：深度递归循环神经网络的第一层输入的数据是一个1×9000的二维数组，其中1是输入批次，9000是单一序列节点数，对每个批次输入的一维信号序列进行逐时间输入，每个时间步输入的单个信号节点在低层网络中被展开1×h(t)的一维结构，1序列中的单个节点x输入时，其遗忘门与输入门输出表示为：
f(t)＝σ(Wth(t-1)+Utx(t)+bf) (1)
i(t)＝σ(Wih(t-1)+Uix(t)+bi) (2)
a(t)＝tanh(Wah(t-1)+Uax(t)+ba) (3)
其中，Wt，Ut为遗忘门隐藏层权重的大小，Wi，Ui与Wa，Ua分别更新门的两个隐藏层权重的大小，bf为遗忘门偏置，bi与ba为输出门偏置，f(t)为遗忘门的输出，i(t)与a(t)为输入门输出，σ表示sigmoid函数；此时细胞状态更新为：
C(t)＝C(t-1)⊙f(t)+i(t)⊙a(t) (4)
其中，⊙表示哈达吗积，此时输出门与隐藏层状态输出为
o(t)＝σ(Woh(t-1)+Uox(t)+bo) (5)
h(t)＝o(t)⊙tanh(C(t)) (6)
其中，Wo，Uo为输出门权重，bo为偏置。将局部特征导入长短时记忆网络模型中，以长短时记忆网络单元的输出门最后输出为例，将xN导入长短时记忆网络模型中，获取输出特征值hN。第t个时间步对第N个时间步的注意力概率aNt为
hNi＝Ua×tanh(Ub×hN+Uc×ht+ba) (7)
其中:Ua、Ub和Uc表示注意力机制的权值矩阵；ba表示注意力机制的偏置向量，然后获取第t个时间步的新的输出特征值为
多层网络的当前序列输出的损失函数定义为
其中，τ为单个批次总时间序列长度，L(t)为单个时间节点的输出损失函数，采用L2正则损失方法，定义为
L(t)(y,o(t))＝(y-o(t))2 (11)
其中，y为单个节点的输出标签，即准确输出。
上述方案中，所述通过胶囊网络对所述去噪后的脑电信号进行深层特征提取，获得深层特征信号，具体为：首先，采用非线性函数对向量进行胶囊，使得短向量被胶囊到几乎为零，长向量被胶囊到1以下长度，非线性函数表达式为
式中，vj为神经元j的输出向量，sj为上一层所有神经元输出到当前层神经元j的向量加权和，即sj为神经元j的输入向量；
胶囊网络的输入向量相当于经典神经网络神经元的标量输入，而该向量的计算就相当于两层神经元组间的传播与连接方式，输入向量的计算分为线性组合和路由两个阶段，这一过程可以用式(13)(14)表示，
其中，表示上一层第i个神经元的输出向量和对应的权重向量相乘得出的预测向量，sj为使用路由进行第二个阶段的分配计算所得的输出结点，cij是由迭代的动态路径过程决定的耦合系数；
网络训练过程采用边缘损失函数迭代更新整个网络的卷积参数和权重矩阵，从而得到包含最优参数的胶囊网络，边缘损失函数对网络的卷积参数和权重矩阵Wij进行迭代更新，表达式如式(15)所示，总损失即将每个胶囊网络的损失加起来的总和：
Lc＝Tcmax(0,m+-||vc||)2+λ(1-Tc)max(0,||vc||-m-)2 (15)
式中，c是分类类别，Tc为分类的指示函数(c存在为1，不存在为0)，m+为上边界，m-为下边界，vc的模即向量的距离。
上述方案中，所述融合所述深层特征信号和脑电信号后进行分类识别，确定相应的控制指令信号，具体为：将深度卷积对抗网络模型分为分类任务和参数初始化两个阶段，将符合脑电特征分布的数据输入生成模型，对生成模型进行训练，并将信息特征和生成特征输入判别模型，利用Softmax分类器对融合后的深层特征信号和脑电信号进行分类识别，将所述脑电信号分类成6个类别，对应的控制指令分别为解锁启动、向前、向后、左转、右转、停止上锁。
上述方案中，所述深度卷积对抗网络模型的训练过程：精调阶段的优化目标函数：
其中，
为输入经过深度卷积神经网络的预测输出，损失函数为交叉熵形式，R(θ1,θ2,θ3)为(权值矩阵)参数的正则化约束，利用梯度下降法进行参数的交替优化，训练得到一个良好的深度卷积对抗网络模型。
上述方案中，所述采用无人平台远程控制系统等技术，通过计算编码生成对应的无人平台控制指令，并通过无线模块，将相应的指令发送给无人平台。无人平台完成相应的动作，最终实现了由人的脑电信号远程控制无人平台的实验。具体为：观察双模态刺激界面的刺激范式，通过不同模块的刺激使被试者产生不同的脑电信号，由脑电设备进行信号的采集，通过TCP/IP协议将打包的脑电信号传输给信号处理的计算机，进行信号的滤波，去噪，特征提取，提取识别出刺激被试者的对应模块，计算机对刺激界面做出反馈，显示被试者观测的模块。本地计算机由计算出的被试者观察的模块，通过计算编码生成对应的无人平台控制指令，并通过无线模块，将相应的指令发送给无人平台。无人平台则通过搭载的设备对地面端发过来的指令进行接收，在写有处理指令节点的ROS上进行指令的解码。ROS系统上节点管理器对订阅该指令模块的节点发布该条信息，订阅该指令的节点运行相应的功能代码，无人平台完成相应的动作，最终实现脑电信号远程控制无人平台。
与现有技术相比，本发明的有益效果：
(1)本发明利用已有噪声数据集合成一维脑电信号训练网络，简化数学模型并解决了噪声训练数据不足问题。
(2)本发明利用自编码器架构重建一维预测信号，注意力机制进行特征选择，提高了计算效率。
(3)本发明首次利用胶囊网络提取特征减少信息丢失，深度卷积对抗网络提高样本数据的质量以及收敛的速度。
附图说明
图1为本发明的流程图；
图2为本发明的深度递归循环神经网络结构示意图；
图3为本发明的深度卷积对抗网络分类识别过程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明实施例提供一种基于深度卷积对抗网络的脑电信号无人平台智能控制方法，如图1所示，该方法具体通过以下步骤实现：
步骤101：终端对采集的脑电信号进行噪声去除，获得去噪后的脑电信号；
具体地，步骤101：首先，利用基于深度递归循环神经网络的脑电信号去噪的方法，对深度自编码进行改进，并将其运用于多类脑电信号的噪声去除中。通过从特定的损失函数实现以及更适合的精度度量，并使用卷积、池集和上采样层以外的层，促进对在EEG中过滤特定类型噪声。
利用深度递归循环神经网络来重建带噪输入数据，保证输入层和输出层宽度相同，将噪声信号输入到深度循环神经网络中训练，从而产生去噪后的脑电信号。
首先，在第一层网络采用具有64维隐藏层节点的长短时记忆网络架构，将一维信号每个时间的输入节点展开成1×64维，来学习节点的初始细节特征。其次，针对后面的隐藏层结构，采用了维数更少的32层长短时记忆网络架构，并分别训练了层数为1到4的四种不同的堆叠32层长短时记忆网络架构，且每层都将1×64维信号压缩成1×32维，增加输入观察随时间的抽象级别，使网络学到更复杂的编码，以学习信号的更高维抽象特征。
其次，采用注意力机制计算注意力概率，对长短时记忆网络模型输入和输出的相关性进行重要度分析，根据注意力概率获取长短时记忆网络输出特征，获取脑电信号整体特征。
深层循环网络的第一层输入的数据是一个1×9000的二维数组，其中1是输入批次，9000是单一序列节点数，对每个批次输入的一维信号序列进行逐时间输入，每个时间步输入的单个信号节点在低层网络中被展开1×h(t)的一维结构，1序列中的单个节点x输入时，其遗忘门与输入门输出表示为：
f(t)＝σ(Wth(t-1)+Utx(t)+bf) (1)
i(t)＝σ(Wih(t-1)+Uix(t)+bi) (2)
a(t)＝tanh(Wah(t-1)+Uax(t)+ba) (3)
其中，Wt，Ut为遗忘门隐藏层权重的大小，Wi，Ui与Wa，Ua分别更新门的两个隐藏层权重的大小，bf为遗忘门偏置，bi与ba为输出门偏置，f(t)为遗忘门的输出，i(t)与a(t)为输入门输出，σ表示sigmoid函数；此时细胞状态更新为：
C(t)＝C(t-1)⊙f(t)+i(t)⊙a(t) (4)
其中，⊙表示哈达吗积，此时输出门与隐藏层状态输出为
o(t)＝σ(Woh(t-1)+Uox(t)+bo) (5)
h(t)＝o(t)⊙tanh(C(t)) (6)
其中，Wo，Uo为输出门权重，bo为偏置。将局部特征导入长短时记忆网络模型中，以长短时记忆网络单元的输出门最后输出为例，将xN导入长短时记忆网络模型中，获取输出特征值hN。第t个时间步对第N个时间步的注意力概率aNt为
hNi＝Ua×tanh(Ub×hN+Uc×ht+ba) (7)
其中:Ua、Ub和Uc表示注意力机制的权值矩阵；ba表示注意力机制的偏置向量。然后获取第t个时间步的新的输出特征值为
多层网络的当前序列输出的损失函数定义为
其中，τ为单个批次总时间序列长度，L(t)为单个时间节点的输出损失函数，采用L2正则损失方法，定义为
L(t)(y,o(t))＝(y-o(t))2 (11)
其中，y为单个节点的输出标签，即准确输出。
因此，整个序列上L的损失函数是单个批次所有时间节点的损失函数之和，或者将输出的一维信号的所有节点共同计算梯度下降。最后，采用长短时记忆网络自编码器结构，输出1×1预测信号结果，通过完成总时间步长，实现重建与输入一维信号宽度相等的一维带噪数据过程。
步骤102：通过胶囊网络对所述去噪后的脑电信号进行深层特征提取，获得深层特征信号；
具体地，利用胶囊网络对脑电信号进行深层特征提取。胶囊网络是一种用一个向量表示一个特征，并称作为胶囊，希望输入胶囊能聚成几类，每类用一个输出胶囊表示。
为了实现聚类，使用内积来衡量每个输出胶囊和各个输入胶囊的相似度，并且这个过程使用迭代的方式来完成，胶囊网络抛弃了卷积和池化的观念，引入聚类的概念，没有像卷积神经网络池化层那样丢失信息。
胶囊网络输出向量的模长表示一个神经元所表征的类别在输入图像中出现的概率，本报告首先拟采用非线性函数对向量进行“胶囊”，使得短向量被胶囊到几乎为零，长向量被胶囊到1以下长度，非线性函数表达式为。
式中，vj为神经元j的输出向量，sj为上一层所有神经元输出到当前层神经元j的向量加权和，即sj为神经元j的输入向量。
胶囊网络的输入向量相当于经典神经网络神经元的标量输入，而该向量的计算就相当于两层神经元组间的传播与连接方式。
输入向量的计算分为线性组合和路由两个阶段，这一过程可以用式(13)(14)表示
其中，
表示上一层第i个神经元的输出向量和对应的权重向量相乘得出的预测向量。sj为使用路由进行第二个阶段的分配计算所得的输出结点，cij是由迭代的动态路径过程决定的耦合系数。
网络训练过程采用边缘损失函数迭代更新整个网络的卷积参数和权重矩阵，从而得到包含最优参数的胶囊网络。边缘损失函数对网络的卷积参数和权重矩阵Wij进行迭代更新，表达式如式(15)所示，总损失即将每个胶囊网络的损失加起来的总和。
Lc＝Tcmax(0,m+-||vc||)2+λ(1-Tc)max(0,||vc||-m-)2 (15)
式中，c是分类类别，Tc为分类的指示函数(c存在为1，不存在为0)，m+为上边界，m-为下边界，vc的模即向量的距离。
注意力机制的计算过程，可归纳为两个过程：第一个过程是根据类别对应特征和提取特征计算权重系数，第二个过程根据权重系数对权值进行加权求和。而第一个过程又可以细分为两个阶段：第一个阶段根据类别对应特征和提取特征计算两者的相似性或者相关性；第二个阶段对第一阶段的原始分值进行归一化处理。将经过降噪处理的脑电信号输入胶囊网络模型，前两层卷积层通过卷积操作、注意力机制进行特征的提取，第三层数字胶囊曾实现网络的传播与路由更新，最终得到各信号特征向量，作为分类网络的输入向量。
步骤103：融合所述深层特征信号和脑电信号后进行分类识别，确定相应的控制指令信号；
具体地，引入生成对抗网络对生物电信号进行分类识别，在判别网络中用步幅卷积取代了所有的池化层，在生成网络中用微步幅卷积取代所有的池化层，以用来提高样本数据的质量以及收敛的速度。
利用深度卷积对抗网络对卷积神经网络的结构做了一些变化，在判别网络中用步幅卷积取代所有的池化层，在生成网络中用微步幅卷积取代所有的池化层，以用来提高样本数据的质量以及收敛的速度。
精调阶段的优化目标函数如式(16)所示。
其中，
为输入经过深度卷积神经网络的预测输出，这里的损失函数为交叉熵形式，另外R(θ1,θ2,θ3)为(权值矩阵)参数的正则化约束。最终，利用梯度下降法进行参数的交替优化，训练得到一个良好的深度卷积对抗网络模型。
将深度卷积对抗网络模型分为分类任务和参数初始化两个阶段进行设计。
将符合脑电特征分布的数据输入生成模型，对生成模型转置卷积网络进行训练，并将信息特征和生成特征输入判别模型，利用Softmax分类器对脑电信息特征进行分类识别。
将所述脑电信号分类成6个类别，对应的控制指令分别为解锁启动，向前，向后，左转，右转，停止上锁。
步骤104：所述终端对无人平台分别进行离线和在线试验验证，验证成功后，所述无人平台接收并且执行所述终端发送的控制指令信号。
具体地，采用无人平台远程控制系统等技术，通过计算编码生成对应的无人平台控制指令，并通过无线模块，将相应的指令发送给无人平台，无人平台完成相应的动作，最终实现了由人的脑电信号远程控制无人平台。
无人平台通过搭载的设备对终端发过来的指令进行接收，在写有处理指令节点的ROS上进行指令的解码，ROS系统上节点管理器对订阅该指令模块的节点发布该条信息，订阅该指令的节点运行相应的功能代码，无人平台完成相应的动作，实现脑电信号远程控制无人平台。
Claims (5)
1.一种基于深度卷积对抗网络的脑电信号无人平台智能控制方法，其特征在于，该方法为：终端对采集的脑电信号进行噪声去除，获得去噪后的脑电信号；通过胶囊网络对所述去噪后的脑电信号进行深层特征提取，获得深层特征信号；融合所述深层特征信号和脑电信号后进行分类识别，确定相应的控制指令信号；所述终端对无人平台分别进行离线和在线试验验证，验证成功后，所述无人平台接收并且执行所述终端发送的控制指令信号；
所述终端对采集的脑电信号进行噪声去除，获得去噪后的脑电信号，具体为：通过深度递归循环神经网络来重建带噪输入数据，保证输入层和输出层宽度相同，将噪声信号输入到深度卷积神经网络中训练，从而产生去噪后的脑电信号；
所述终端对采集的脑电信号进行噪声去除，获得去噪后的脑电信号，具体为：深度递归循环神经网络的第一层输入的数据是一个1×9000的二维数组，其中1是输入批次，9000是单一序列节点数，对每个批次输入的一维信号序列进行逐时间输入，每个时间步输入的单个信号节点在低层网络中被展开1×h(t)的一维结构，1序列中的单个节点x输入时，其遗忘门与输入门输出表示为：
f(t)＝σ(Wth(t-1)+Utx(t)+bf) (1)
i(t)＝σ(Wih(t-1)+Uix(t)+bi) (2)
a(t)＝tanh(Wah(t-1)+Uax(t)+ba) (3)
其中，Wt，Ut为遗忘门隐藏层权重的大小，Wi，Ui与Wa，Ua分别为更新门的两个隐藏层权重的大小，bf为遗忘门偏置，bi与ba为输出门偏置，f(t)为遗忘门的输出，i(t)与a(t)为输入门输出，σ表示sigmoid函数；此时细胞状态更新为：
C(t)＝C(t-1)⊙f(t)+i(t)⊙a(t) (4)
其中，⊙表示哈达吗积，此时输出门与隐藏层状态输出为
o(t)＝σ(Woh(t-1)+Uox(t)+bo) (5)
h(t)＝o(t)⊙tanh(C(t)) (6)
其中，Wo，Uo为输出门权重，bo为偏置，将局部特征导入长短时记忆网络模型中，以长短时记忆网络单元的输出门最后输出为例，将xN导入长短时记忆网络模型中，获取输出特征值hN，第t个时间步对第N个时间步的注意力概率aNt为
hNi＝Ua×tanh(Ub×hN+Uc×ht+ba) (7)
其中:Ua、Ub和Uc表示注意力机制的权值矩阵；ba表示注意力机制的偏置向量，然后获取第t个时间步的新的输出特征值为
多层网络的当前序列输出的损失函数定义为
其中，τ为单个批次总时间序列长度，L(t)为单个时间节点的输出损失函数，采用L2正则损失方法，定义为
L(t)(y,o(t))＝(y-o(t))2 (11)
其中，y为单个节点的输出标签，即准确输出。
2.根据权利要求1所述的基于深度卷积对抗网络的脑电信号无人平台智能控制方法，其特征在于，所述通过胶囊网络对所述去噪后的脑电信号进行深层特征提取，获得深层特征信号，具体为：首先，采用非线性函数对向量进行胶囊，使得短向量被胶囊到几乎为零，长向量被胶囊到1以下长度，非线性函数表达式为
式中，vj为神经元j的输出向量，sj为所有神经元输出到当前层神经元j的向量加权和，即sj为神经元j的输入向量；
胶囊网络的输入向量相当于经典神经网络神经元的标量输入，而该向量的计算就相当于两层神经元组间的传播与连接方式，输入向量的计算分为线性组合和路由两个阶段，这一过程可以用式(13)(14)表示，
其中，
表示第i个神经元的输出向量和对应的权重向量相乘得出的预测向量，sj为使用路由进行第二个阶段的分配计算所得的输出结点，cij是由迭代的动态路径过程决定的耦合系数；
网络训练过程采用边缘损失函数迭代更新整个网络的卷积参数和权重矩阵，从而得到包含最优参数的胶囊网络，边缘损失函数对网络的卷积参数和权重矩阵Wij进行迭代更新，表达式如式(15)所示，总损失即将每个胶囊网络的损失加起来的总和：
Lc＝Tcmax(0,m+-||vc||)2+λ(1-Tc)max(0,||vc||-m-)2 (15)
式中，c是分类类别，Tc为分类的指示函数，c存在为1，不存在为0，m+为上边界，m-为下边界，vc的模即向量的距离。
3.根据权利要求2所述的基于深度卷积对抗网络的脑电信号无人平台智能控制方法，其特征在于，所述融合所述深层特征信号和脑电信号后进行分类识别，确定相应的控制指令信号，具体为：将深度卷积对抗网络模型分为分类任务和参数初始化两个阶段，将符合脑电特征分布的数据输入生成模型，对生成模型进行训练，并将信息特征和生成特征输入判别模型，利用Softmax分类器对融合后的深层特征信号和脑电信号进行分类识别，将所述脑电信号分类成6个类别，对应的控制指令分别为解锁启动、向前、向后、左转、右转、停止上锁。
4.根据权利要求3所述的基于深度卷积对抗网络的脑电信号无人平台智能控制方法，其特征在于，所述深度卷积对抗网络模型的训练过程：精调阶段的优化目标函数：
其中，
为输入经过深度卷积神经网络的预测输出，损失函数为交叉熵形式，R(θ1,θ2,θ3)为权值矩阵参数的正则化约束，利用梯度下降法进行参数的交替优化，训练得到一个良好的深度卷积对抗网络模型。
5.根据权利要求4所述的一种基于深度卷积对抗网络的脑电信号无人平台智能控制方法，其特征在于，所述无人平台接收并且执行所述终端发送的控制指令信号，具体为：观察双模态刺激界面的刺激范式，通过不同模块的刺激使被试者产生不同的脑电信号，由脑电设备进行信号的采集，通过TCP/IP协议将打包的脑电信号传输给信号处理的计算机，进行信号的滤波，去噪，特征提取，提取识别出刺激被试者的对应模块，计算机对刺激界面做出反馈，显示被试者观测的模块，本地计算机由计算出的被试者观察的模块，通过计算编码生成对应的无人平台控制指令，并通过无线模块，将相应的指令发送给无人平台，无人平台则通过搭载的设备对地面端发过来的指令进行接收，在写有处理指令节点的ROS上进行指令的解码，ROS系统上节点管理器对订阅该指令的节点发布该条信息，订阅该指令的节点运行相应的功能代码，无人平台完成相应的动作，最终实现脑电信号远程控制无人平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011578500.5A CN112667080B (zh) | 2020-12-28 | 2020-12-28 | 基于深度卷积对抗网络的脑电信号无人平台智能控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011578500.5A CN112667080B (zh) | 2020-12-28 | 2020-12-28 | 基于深度卷积对抗网络的脑电信号无人平台智能控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112667080A CN112667080A (zh) | 2021-04-16 |
| CN112667080B true CN112667080B (zh) | 2023-05-23 |
Family
ID=75410683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011578500.5A Active CN112667080B (zh) | 2020-12-28 | 2020-12-28 | 基于深度卷积对抗网络的脑电信号无人平台智能控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112667080B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239744B (zh) * | 2021-04-25 | 2024-04-19 | 西安电子科技大学 | 基于深度学习的脑电-肌电信号融合识别方法 |
| CN113180696A (zh) * | 2021-04-28 | 2021-07-30 | 北京邮电大学 | 一种颅内脑电的检测方法、装置、电子设备及存储介质 |
| CN113128459B (zh) * | 2021-05-06 | 2022-06-10 | 昆明理工大学 | 一种基于多层次脑电信号表达下的特征融合方法 |
| CN113269092A (zh) * | 2021-05-26 | 2021-08-17 | 中国石油大学(华东) | 基于多尺度条件对抗网络的海上溢油检测方法 |
| CN113598794A (zh) * | 2021-08-12 | 2021-11-05 | 中南民族大学 | 一种冰毒成瘾者检测模型的训练方法和系统 |
| CN113655884A (zh) * | 2021-08-17 | 2021-11-16 | 河北师范大学 | 设备控制方法、终端及系统 |
| CN113569989B (zh) * | 2021-08-25 | 2024-03-05 | 浙江工业大学 | 用于舞台装备故障诊断的ti-tsdcn模型构建方法 |
| CN113936806B (zh) * | 2021-09-18 | 2024-03-08 | 复旦大学 | 脑刺激响应模型构建方法、响应方法、装置及电子设备 |
| CN113842151B (zh) * | 2021-09-30 | 2024-01-05 | 杭州电子科技大学 | 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法 |
| CN114815904B (zh) * | 2022-06-29 | 2022-09-27 | 中国科学院自动化研究所 | 基于注意力网络的无人集群对抗方法、装置及无人设备 |
| CN115130664B (zh) * | 2022-08-30 | 2022-11-08 | 华南师范大学 | 基于胶囊网络模型的脑电信号的情感分析方法以及装置 |
| CN115708687A (zh) * | 2022-11-21 | 2023-02-24 | 重庆邮电大学 | 一种基于人工神经网络的刺激图像重建方法及系统 |
| CN116304676B (zh) * | 2023-02-01 | 2023-11-17 | 瑞鞍星医疗科技(苏州)有限公司 | 脑活动状态分类模型训练方法、装置和设备 |
| CN116058803B (zh) * | 2023-03-10 | 2024-04-19 | 南开大学 | 一种面向多类型噪声伪迹的eeg信号去噪方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190033972A (ko) * | 2017-09-22 | 2019-04-01 | 주식회사 아이메디신 | 심층신경망을 이용한 자동 뇌파 잡음 제거 방법 및 장치 |
| CN109614885A (zh) * | 2018-11-21 | 2019-04-12 | 齐鲁工业大学 | 一种基于lstm的脑电信号快速分类识别方法 |
| CN110309797A (zh) * | 2019-07-05 | 2019-10-08 | 齐鲁工业大学 | 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统 |
| CN110515456A (zh) * | 2019-08-14 | 2019-11-29 | 东南大学 | 基于注意力机制的脑电信号情感判别方法及装置 |
| CN111279362A (zh) * | 2017-10-27 | 2020-06-12 | 谷歌有限责任公司 | 胶囊神经网络 |
| CN111584032A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于胶囊网络的新型脑控智能康复方法及应用 |
| CN111860306A (zh) * | 2020-07-19 | 2020-10-30 | 陕西师范大学 | 基于宽度深度回声状态网络的脑电信号去噪方法 |
| AU2020102977A4 (en) * | 2020-10-23 | 2020-12-24 | Bhima, Ravi Teja DR | A Deep learning technique to recognise brain activity by fMRI and DTI image fusion |
-
2020
- 2020-12-28 CN CN202011578500.5A patent/CN112667080B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190033972A (ko) * | 2017-09-22 | 2019-04-01 | 주식회사 아이메디신 | 심층신경망을 이용한 자동 뇌파 잡음 제거 방법 및 장치 |
| CN111279362A (zh) * | 2017-10-27 | 2020-06-12 | 谷歌有限责任公司 | 胶囊神经网络 |
| CN109614885A (zh) * | 2018-11-21 | 2019-04-12 | 齐鲁工业大学 | 一种基于lstm的脑电信号快速分类识别方法 |
| CN110309797A (zh) * | 2019-07-05 | 2019-10-08 | 齐鲁工业大学 | 融合CNN-BiLSTM模型和概率协作的运动想象识别方法及系统 |
| CN110515456A (zh) * | 2019-08-14 | 2019-11-29 | 东南大学 | 基于注意力机制的脑电信号情感判别方法及装置 |
| CN111584032A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 基于胶囊网络的新型脑控智能康复方法及应用 |
| CN111860306A (zh) * | 2020-07-19 | 2020-10-30 | 陕西师范大学 | 基于宽度深度回声状态网络的脑电信号去噪方法 |
| AU2020102977A4 (en) * | 2020-10-23 | 2020-12-24 | Bhima, Ravi Teja DR | A Deep learning technique to recognise brain activity by fMRI and DTI image fusion |
Non-Patent Citations (2)
| Title |
|---|
| Yuanfang Ren ; Yan Wu."Convolutional deep belief networks for feature extraction of EEG signal".《2014 International Joint Conference on Neural Networks (IJCNN)》.2014, * |
| 基于卷积神经网络的脑电情绪识别研究;张俊晓等;《现代计算机(专业版)》;20180815(第23期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112667080A (zh) | 2021-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112667080B (zh) | 基于深度卷积对抗网络的脑电信号无人平台智能控制方法 | |
| Zhang et al. | A novel deep learning approach with data augmentation to classify motor imagery signals | |
| Golany et al. | SimGANs: Simulator-based generative adversarial networks for ECG synthesis to improve deep ECG classification | |
| CN111553295B (zh) | 基于自注意力机制的多模态情感识别方法 | |
| Gavrishchaka et al. | Advantages of hybrid deep learning frameworks in applications with limited data | |
| Shiri et al. | A comprehensive overview and comparative analysis on deep learning models: CNN, RNN, LSTM, GRU | |
| CN110522412B (zh) | 基于多尺度脑功能网络分类脑电信号的方法 | |
| CN113749657B (zh) | 一种基于多任务胶囊的脑电情绪识别方法 | |
| CN112990008B (zh) | 基于三维特征图和卷积神经网络的情绪识别方法及系统 | |
| Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
| Yang et al. | A novel deep learning scheme for motor imagery EEG decoding based on spatial representation fusion | |
| CN117009780A (zh) | 一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法 | |
| Abibullaev et al. | A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs | |
| WO2022188793A1 (zh) | 生理电信号分类处理方法、装置、计算机设备和存储介质 | |
| CN113951883B (zh) | 基于脑电信号情绪识别的性别差异性检测方法 | |
| CN115054272A (zh) | 一种面向运动障碍功能重塑的脑电信号识别方法及系统 | |
| Jayasekara et al. | Timecaps: Capturing time series data with capsule networks | |
| Lin et al. | A BCI system with motor imagery based on bidirectional long-short term memory | |
| Indira et al. | Deep learning methods for data science | |
| CN112259228A (zh) | 一种动态注意力网络非负矩阵分解的抑郁症筛选方法 | |
| CN113128459B (zh) | 一种基于多层次脑电信号表达下的特征融合方法 | |
| CN114052734A (zh) | 基于渐进式图卷积神经网络的脑电情感识别方法 | |
| CN115316955A (zh) | 一种轻量快速的运动想象脑电信号解码方法 | |
| CN114947740A (zh) | 基于量子cnn-gru预测癫痫发作的方法 | |
| CN113673325A (zh) | 一种多特征人物情绪识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |