CN112633104B - 孪生级联柔性最大网络的多主体运动想象识别模型及方法 - Google Patents

孪生级联柔性最大网络的多主体运动想象识别模型及方法 Download PDF

Info

Publication number
CN112633104B
CN112633104B CN202011479114.0A CN202011479114A CN112633104B CN 112633104 B CN112633104 B CN 112633104B CN 202011479114 A CN202011479114 A CN 202011479114A CN 112633104 B CN112633104 B CN 112633104B
Authority
CN
China
Prior art keywords
motor imagery
model
classification layer
electroencephalogram
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011479114.0A
Other languages
English (en)
Other versions
CN112633104A (zh
Inventor
罗靖
刘光明
王耀杰
高帆
弓一婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202011479114.0A priority Critical patent/CN112633104B/zh
Publication of CN112633104A publication Critical patent/CN112633104A/zh
Application granted granted Critical
Publication of CN112633104B publication Critical patent/CN112633104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开的孪生级联柔性最大网络的多主体运动想象识别模型，由第一部分：已训练的CSCNN网络模型及第二部分：复制生成的CSCNN网络模型组成；CSCNN网络包括有基于CNN的特征提取层、主体分类层及运动想象分类层，脑电信号数据输入基于CNN的特征提取层，特征提取层提取的特征输入主体分类层；主体分类层输出结果输入运动想象分类层，而且提取的特征也通过跨层连接输入运动想象分类层；整个CSCNN网络输出由主体分类层输出与运动想象分类层输出两部分联结组成。该模型可以提高卷积神经网络模型在主体间的泛化能力，从而提高多主体运动想象BCI的性能。

Description

孪生级联柔性最大网络的多主体运动想象识别模型及方法
技术领域
本发明属于脑机接口技术领域，具体涉及一种孪生级联柔性最大网络的多主体运动想象识别模型，还涉及一种孪生级联柔性最大网络的多主体运动想象识别方法。
背景技术
脑机接口(BCI)是一种测量中枢神经系统活动并将其转换为指令信号输出的系统。这种输出可以替代、恢复、增强、补充或改善中枢神经系统的自然输出。脑电信号(EEG)是一种简单、灵活、无创的大脑监测方法，且对实验环境要求低。基于脑电信号的运动想象(MI)识别是BCI中一个重要且广泛应用的分支。运动想象BCI要求主体在执行特定运动想象任务时采集脑电信号，根据脑电信号对运动想象内容进行识别，然后将识别结果转换为控制外围设备的命令。如何从低信噪比、低空间分辨率的脑电信号中提取有效特征是运动想象识别系统成功的关键。
目前，现有技术主要关注在单主体(主体依赖)系统上，针对特定主体建立模型。然而，单主体BCI系统需要对每个特定主体进行特征提取、参数选择和模型训练。因此，单主体BCI仅适用于目标主体。由于主体间的泛化能力较弱，应用于其他主体会产生不可接受的结果。此外，脑电信号样本量小，极大地限制了单主体BCI的性能。
发明内容
本发明的目的是提供一种孪生级联柔性最大网络的多主体运动想象识别模型，可以提高CNN模型在主体间的泛化能力，从而提高多主体运动想象BCI的性能。
本发明的另一个目的是提供一种孪生级联柔性最大网络的多主体运动想象识别方法。
本发明所采用的技术方案是，孪生级联柔性最大网络的多主体运动想象识别模型，由第一部分：已训练的CSCNN网络模型及第二部分：复制第一部分的已训练CSCNN网络模型组成；
CSCNN网络包括有基于CNN的特征提取层、主体分类层及运动想象分类层，脑电信号数据输入基于CNN的特征提取层，特征提取层提取的特征输入主体分类层；主体分类层输出结果输入运动想象分类层，而且提取的特征也通过跨层连接输入运动想象分类层；整个CSCNN网络输出由主体分类层输出与运动想象分类层输出两部分联结组成。
本发明的特征还在于，
CSCNN网络模型训练阶段的损失函数L(Op,Oc,Yp,Yc)如式(1)所示：
L(Op,Oc,Yp,Yc)＝CE(Op,Yp)+Wc·CE(Oc，Yc)   (1)
式(1)中，Op，Oc分别为父类分类层(运动想象内容分类)与子类分类层(主体分类)的柔性最大网络输出；Yp，Yc分别是父类和子类类别标签的one-hot编码；Wc是子类损失函数的权重；CE(O,Y)是交叉熵函数，如式(2)所示:
Figure BDA0002837908170000021
式(2)中，i是类别序号，I是类别个数,输出向量O＝[o1，o2，...，oI],标签向量Y＝[y1，y2，...，yI]。
本发明所采用的另一个技术方案是，孪生级联柔性最大网络的多主体运动想象识别方法，具体按照以下步骤实施：
步骤一、对脑电信号以250Hz进行重采样，并截取包含运动想象阶段的脑电信号段，再使用0-38hz的带通滤波器对其进行滤波；
步骤二、对滤波后的脑电数据的每个通道做指数加权移动平均标准化操作，用来标准化脑电信号；
步骤三、对于经过步骤二标准化后的脑电信号，交换其左右脑半球的脑电信号通道构造孪生脑电信号，并将左右手运动想象对应的标签互换；
步骤四、利用Adam优化方法基于损失函数L(Op，Oc，Yp，Yc)训练上述CSCNN模型；
步骤五、预测阶段
首先，基于步骤四中已训练CSCNN模型依据图2构建上述TCSCNN模型；其次，基于测试集脑电信号构造孪生脑电信号用于辅助提高分类精度；第三，将原始脑电信号输入TCSCNN模型第一部分，将孪生脑电信号输入TCSCNN模型第二部分，依据公式(3)的模型输出预测概率决定预测类别，其中公式(3)表达式如下；
Figure BDA0002837908170000031
式(3)中，Pl，Pr分别表示左/右手运动想象的最终预测概率；
Figure BDA0002837908170000032
分别表示TCSCNN模型第一部分中左/右手运动想象预测概率；
Figure BDA0002837908170000041
分别表示TCSCNN模型第二部分中左/右手运动想象预测概率。
本发明的特征还在于，
步骤一中，重采样时长范围为2秒到5秒。
步骤二中，标准化脑电信号的具体过程如下：
首先，计算指数移动均值mt：
mt＝f·mean(xt)+(1-f)·mt-1   (4)
式(4)中，xt是原始脑电信号的第t个采样点，mt是脑电信号在第t个采样点的移动均值，f是预先设置的更新因子(本专利中使用经验值0.001)，mean(xt)是脑电信号xt在多通道上求平均；
再计算指数移动方差vt：
vt＝f·(mt-xt)2+(1-f)·vt-1   (5)
最后，求指数加权移动平均标准化后的脑电信号x′t：
Figure BDA0002837908170000042
式(6)中，
Figure BDA0002837908170000043
为最大值函数，取两个参数最大值，ε＝10-6。
本发明的有益效果是：本发明孪生级联柔性最大网络的多主体运动想象识别模型，可以提高CNN模型在主体间的泛化能力，从而提高多主体运动想象BCI的性能。
附图说明
图1是本发明中级联柔性最大结构改造方法示意图；
图2是本发明孪生级联柔性最大网络的多主体运动想象识别模型TCSCNN示意图；
图3是本发明方法中构造孪生脑电信号的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供一种孪生级联柔性最大网络的多主体运动想象识别模型，由第一部分：已训练的CSCNN网络模型(Cascaded Softmax CNN,CSCNN，级联柔性最大卷积神经网络模型)及第二部分：复制第一部分的已训练CSCNN网络模型组成；
CSCNN网络包括有基于CNN的特征提取层、主体分类层及运动想象分类层，脑电信号数据输入基于CNN的特征提取层，特征提取层提取的特征输入主体分类层(主体分类层由一个全连接层与softmax函数组成，输出节点个数为主体类别个数)；主体分类层输出结果输入运动想象分类层(运动想象分类层由一个全连接层与softmax函数组成，输出节点个数为运动想象类别个数)，而且提取的特征也通过跨层连接输入运动想象分类层；整个CSCNN网络输出由主体分类层输出与运动想象分类层输出两部分联结组成。
CSCNN网络模型训练阶段的损失函数中考虑了两个柔性最大函数的输出，因此其损失函数L(Op，Oc，Yp，Yc)如式(1)所示：
L(Op，Oc，Yp，Yc)＝CE(Op，Yp)+Wc·CE(Oc，Yc)   (1)
式(1)中，Op，Oc分别为父类分类层(运动想象内容分类)与子类分类层(主体分类)的柔性最大网络输出；Yp，Yc分别是父类和子类类别标签的one-hot编码；Wc是子类损失函数的权重(在实验中使用经验值0.1，0.2，0.5或者1，参数变化对模型最终性能影响较小)；CE(O,Y)是交叉熵函数，如式(2)所示:
Figure BDA0002837908170000061
式(2)中，i是类别序号，I是类别个数,输出向量O＝[o1，o2，...，oI],标签向量Y＝[y1，y2，...，yI]。
孪生级联柔性最大网络模型可以将单主体运动想象脑电识别模型改造成为多主体脑电识别模型，可以基于不同单主体模型构建。
(1)级联柔性最大网络结构
级联柔性最大网络结构由两层柔性最大(Softmax)分类层组成，第一层用于对主体进行分类(子类)，第二层用于对运动想象内容进行分类(父类)。由于个体差异是导致运动想象模型个体间泛化能力低，单主体模型应用于其他主体识别效果差的主要原因，所以对主体的正确分类使多主体脑电识别问题变成单主体脑电识别问题，可以有效降低多主体脑电信号识别难度。传统运动想象脑电识别模型直接对运动想象内容进行分类，而级联柔性最大网络结构在运动想象内容分类层前加入主体分类层，进而增强模型主体间泛化能力，提高多主体运动想象脑电信号识别精度。
具体的，以脑电识别CNN模型为例，对单主体CNN模型进行改造，在其基础上构造级联柔性最大网络结构。单主体CNN模型中位于柔性最大分类层(包含全连接网络与Softmax函数的网络模型最后一层)前的特征提取层保留(可以包含卷积层，池化层，激活函数处理，Drop out层，批归一化层等)，用级联柔性最大网络结构替换模型中原单层柔性最大分类层，替换后的模型称为级联柔性最大卷积神经网络模型(Cascaded Softmax CNN,CSCNN)。级联柔性最大结构包含了两个级联的柔性最大分类层，分别为主体分类层和运动想象内容分类层，每个柔性最大分类层又由一个全连接层和softmax函数组成。级联柔性最大结构可以将主体分类层识别结果输入运动想象分类层，以帮助提高运动想象内容的识别准确率。该结构的具体改造方法如图1所示。
(a)运动想象任务被视为父类，在运动想象分类层实现，不同主体的运动想象被视为子类，在主体分类层实现。例如，对于包含三个主体的左、右手运动想象数据集，父类和子类的划分由表1给出。同一运动想象内容的脑电数据属于同一父类，而不同主体的脑电数据属于不同子类。
表1 子类与父类的划分
Figure BDA0002837908170000071
(2)孪生级联柔性最大卷积神经网络模型
基于CSCNN构建孪生级联柔性最大卷积神经网络模型(Twin Cascaded SoftmaxCNN,TCSCNN)，如图2所示。具体的，将CSCNN复制，将TCSCNN第一部分(已训练CSCNN网络)和第二部分(复制生成的已训练CSCNN网络)中父类的输出概率，交换并求平均，其结果为最终预测概率，如公式3所示：
Figure BDA0002837908170000081
式(3)中，Pl，Pr分别表示左/右手运动想象两类最终预测概率；
Figure BDA0002837908170000082
分别表示TCSCNN模型第一部分中左/右手运动想象预测概率；
Figure BDA0002837908170000083
分别表示TCSCNN模型第二部分中左/右手运动想象预测概率；
由于CSCNN模型输出被视为每个运动想象类的概率，所以这个平均操作就是一个概率集成过程，而集成概率较大的类就是最终的预测标签。
本发明还提供孪生级联柔性最大网络的多主体运动想象识别方法，具体按照以下步骤实施：
步骤一、对脑电信号以250Hz进行重采样，并截取包含运动想象阶段的脑电信号端，重采样时长范围为2秒到5秒；再使用0-38hz的带通滤波器对其进行滤波；
步骤二、对滤波后的脑电数据(训练数据与测试数据采用同样的预处理方法)的每个通道做指数加权移动平均标准化操作，用来标准化脑电信号；
步骤二中，标准化脑电信号的具体过程如下：
首先，计算指数移动均值mt：
mt＝f·mean(xt)+(1-f)·mt-1   (4)
式(4)中，xt是原始脑电信号的第t个采样点，mt是脑电信号在第t个采样点的移动均值，f是预先设置的更新因子(本专利中使用经验值0.001)，mean(xt)是脑电信号xt在多通道上求平均；
再计算指数移动方差vt：
vt＝f·(mt-xt)2+(1-f)·vt-1   (5)
最后，求指数加权移动平均标准化后的脑电信号x′t：
Figure BDA0002837908170000091
式(6)中，
Figure BDA0002837908170000092
为最大值函数，取两个参数最大值，ε＝10-6。
步骤三、通过制造孪生脑电实现数据集的扩充，用于在训练阶段提高模型训练效率，并在预测阶段实现概率集成提高预测准确率。具体的，对于经过步骤二标准化后的脑电信号，交换其左右脑半球的脑电通道构造孪生脑电信号，并将左右手运动想象对应的标签互换，构造方法如图3所示。
步骤四、基于训练集脑电信号构造孪生脑电信号扩充训练集，并利用由原始脑电信号与孪生脑电信号组成的扩充训练集训练；利用Adam优化方法基于损失函数L(Op，Oc，Yp，Yc)(代价函数)训练CSCNN模型；
步骤四中，CSCNN网络包括有基于CNN的特征提取层、主体分类层及运动想象分类层，脑电信号数据输入基于CNN的特征提取层，特征提取层提取的特征输入主体分类层(主体分类层由一个全连接层与softmax函数组成，输出节点个数为主体类别个数)；主体分类层输出结果输入运动想象分类层(运动想象分类层由一个全连接层与softmax函数组成，输出节点个数为运动想象类别个数)，而且提取的特征也通过跨层连接输入运动想象分类层，整个CSCNN网络输出由主体分类层输出与运动想象分类层输出两部分联结组成；
步骤四中，损失函数L(Op，Oc，Yp，Yc)如式(1)所示：
L(Op，Oc，Yp，Yc)＝CE(Op，Yp)+Wc·CE(Oc，Yc)   (1)
式(1)中，Op，Oc分别为父类分类层(运动想象内容分类)与子类分类层(主体分类)的柔性最大网络输出；Yp，Yc分别是父类和子类类别标签的one-hot编码；Wc是子类损失函数的权重；CE(O,Y)是交叉熵函数，如式(2)所示：
Figure BDA0002837908170000101
式(2)中，i是类别序号，I是类别个数,输出向量O＝[o1，o2，...，oI],标签向量Y＝[y1，y2，...，yI]。
步骤五、预测阶段
首先，基于步骤四中已训练CSCNN模型依据图2构建上述的TCSCNN模型；其次，基于测试集脑电信号(测试集中数据用于对模型效果进行验证，测试时仅有数据没有标签，最后对比预测标签与实际标签，计算准确率)构造孪生脑电信号用于辅助提高分类精度；第三，将原始脑电信号输入TCSCNN模型第一部分，将孪生脑电信号输入TCSCNN模型第二部分，依据公式(3)的模型输出预测概论决定预测类别，其中公式(3)表达式如下；
Figure BDA0002837908170000102
式(3)中，Pl，Pr分别表示左/右手运动想象两类最终预测概率；
Figure BDA0002837908170000103
分别表示TCSCNN模型第一部分中左/右手运动想象预测概率；
Figure BDA0002837908170000104
分别表示TCSCNN模型第二部分中左/右手运动想象预测概率。
本发明提出的TCSCNN模型可以基于任何单主体运动想象脑电信号分类CNN模型构建。为了验证发明的有效性和通用性，分别在实验验证中使用了三种成功应用于单主体运动想象分类的CNN模型构建TCSCNN模型，分别是EEGNet(表2)，Shallow ConvNet(表3)和Deep ConvNet(表4)。EEGNet模型由三个带有批归一化和、最大池化和Dropout的卷积层组成。由FBCSP启发的Shallow ConvNet有2个卷积层和1个全连接层。采用平方函数作为Shallow ConvNet的激活函数。Deep ConvNet是一个更深层次的CNN，有5个卷积层和1个全连接层，使用ELU激活函数。Shallow ConvNet和Deep ConvNet模型均应用了MaxPooling、Drop out和批标准化。具体网络结构见表2，表3和表4。
表2 基于EEGNet的TCSCNN网络结构
Figure BDA0002837908170000111
表3 基于Shallow ConvNet的TCSCNN网络结构
Figure BDA0002837908170000121
表4 基于Deep ConvNet的TCSCNN网络结构
Figure BDA0002837908170000122
验证数据集介绍：
第四届国际脑机接口大赛数据集2a涉及四类基于脑电信号的运动想象识别任务。该数据集包含来自9个主体的运动想象脑电信号。对于每个主体，训练阶段和测试阶段的数据采集自不同的日期，各记录了288条脑电信号(每个类别72条脑电信号)。根据屏幕显示的提示，主体执行四种不同类型的运动想象任务(左手、右手、舌头和脚)，采集22个通道的脑电信号。脑电信号的采样率为250hz，放大器的分辨率为100μV，即放大器测量的最小间隔。在每次试验中，屏幕会在2秒出现提示，运动想象任务的执行时间从3秒至6秒。0.5-100Hz带通滤波器和50Hz陷波滤波器对采集的脑电信号进行预处理。
第四届国际脑机接口大赛数据集2b包含来自9个主体的两类运动想象任务(左手和右手)的脑电信号。对于每个主体，脑电信号采集自不同日期的5个阶段，其中前3个阶段用作训练集，后2阶段用作测试集。前2个阶段会在屏幕上显示提示，采集脑电信号而没有反馈，而后3个阶段基于笑脸反馈采集脑电信号。每次试验的次数为120至160次。每个阶段从三个通道(通道C3，通道Cz和通道C4)采集120到160条脑电信号，采样频率为250Hz。采用0.5-100Hz带通滤波器和50Hz陷波滤波器对采集的脑电信号进行预处理。
实验结果
为了验证TCSCNN结构是否可以改善不同CNN模型的多主体运动想象脑电分类准确率，对比TCSCNN与原始CNN模型任务，结果在表5中给出。训练通常收敛于200次迭代内，训练的迭代次数设置为500，以确保模型的收敛。因为测试精度受到随机性的极大影响，为了反映模型的整体性能，用以下指标评估实验结果：(1)500次迭代中最高的测试准确率，(2)201到300次迭代的平均测试准确率，以及(3)201到500次迭代的平均测试准确率。第一栏表示原始CNN模型名称，数据集，以“模型-数据集”的形式编码。例如，“EEGNet-2a”表示TCSCNN是基于EEGNet模型构建，在第四届国际脑机接口大赛数据集2a上测试的实验结果。子类权重Wc分别设置为1、0.5、0.2和0.1，实验结果由这4次实验的平均准确率评价。每个数据集的最高准确率以粗体标记。
表5 基于本发明改进的CNN模型与原始CNN模型在多主体运动想象识别任务中的性能比较
Figure BDA0002837908170000141
从实例结果来看：(1)与原始CNN模型相比，本发明对多主体运动想象识别的精度平均提高了1.91％、3.42％和3.34％；(2)基于本发明改进的ShallowConvNet在多主体运动想象识别任务中表现最好，但基于本发明改进的DeepConvNet在数据集2b上表现最好；(3)本发明的性能改进具有通用性，不依赖于原始CNN模型和数据集。

Claims (4)

1.孪生级联柔性最大网络的多主体运动想象识别方法，其特征在于，具体按照以下步骤实施：
步骤一、对脑电信号以250Hz进行重采样，并截取包含运动想象阶段的脑电信号段，再使用0-38hz的带通滤波器对其进行滤波；
步骤二、对滤波后的脑电数据的每个通道做指数加权移动平均标准化操作，用来标准化脑电信号；
步骤三、对于经过步骤二标准化后的脑电信号，交换其左右脑半球的脑电信号通道构造孪生脑电信号，并将左右手运动想象对应的标签互换；
步骤四、利用Adam优化方法基于损失函数L(Op，Oc，Yp，Yc)训练CSCNN模型；
步骤五、预测阶段
首先，基于步骤四中已训练CSCNN模型构建TCSCNN模型；其次，基于测试集脑电信号构造孪生脑电信号用于辅助提高分类精度；第三，将原始脑电信号输入TCSCNN模型第一部分，将孪生脑电信号输入TCSCNN模型第二部分，依据公式(1)的模型输出预测概率决定预测类别，其中公式(1)表达式如下；
Figure FDA0004035785520000011
式(1)中，Pl，Pr分别表示左/右手运动想象的最终预测概率；
Figure FDA0004035785520000012
分别表示TCSCNN模型第一部分中左/右手运动想象预测概率；
Figure FDA0004035785520000013
分别表示TCSCNN模型第二部分中左/右手运动想象预测概率；
其中，TCSCNN模型由第一部分：已训练的CSCNN网络模型及第二部分：复制第一部分的已训练CSCNN网络模型组成；
所述CSCNN网络包括有基于CNN的特征提取层、主体分类层及运动想象分类层，脑电信号数据输入基于CNN的特征提取层，特征提取层提取的特征输入主体分类层；主体分类层输出结果输入运动想象分类层，而且提取的特征也通过跨层连接输入运动想象分类层；整个CSCNN网络输出由主体分类层输出与运动想象分类层输出两部分联结组成。
2.根据权利要求1所述的孪生级联柔性最大网络的多主体运动想象识别方法，其特征在于，步骤一中，重采样时长范围为2秒到5秒。
3.根据权利要求1所述的孪生级联柔性最大网络的多主体运动想象识别方法，其特征在于，步骤二中，标准化脑电信号的具体过程如下：
首先，计算指数移动均值mt：
mt＝f·mean(xt)+(1-f)·mt-1       (2)
式(2)中，xt是原始脑电信号的第t个采样点，mt是脑电信号在第t个采样点的移动均值，f是预先设置的更新因子，mean(xt)是脑电信号xt在多通道上求平均；
再计算指数移动方差vt：
vt＝f·(mt-xt)2+(1-f)·vt-1     (3)
最后，求指数加权移动平均标准化后的脑电信号x′t：
Figure FDA0004035785520000021
式(4)中，
Figure FDA0004035785520000022
为最大值函数，取两个参数最大值，ε＝10-6。
4.根据权利要求1所述的孪生级联柔性最大网络的多主体运动想象识别方法，其特征在于，CSCNN网络模型训练阶段的损失函数L(Op，Oc，Yp，Yc)如式(5)所示：
L(Op，Oc，Yp，Yc)＝CE(Op，Yp)+Wc·CE(Oc，Yc)    (5)
式(1)中，Op，Oc分别为运动想象分类层与主体分类层的柔性最大网络输出；Yp，Yc分别是运动想象任务类别标签和主体类别标签的one-hot编码；Wc是子类损失函数的权重；CE(O,Y)是交叉熵函数，如式(6)所示:
Figure FDA0004035785520000031
式(6)中，i是类别序号，I是类别个数,输出向量O＝[o1，o2，...，oI],标签向量Y＝[y1，y2，...，yI]。
CN202011479114.0A 2020-12-15 2020-12-15 孪生级联柔性最大网络的多主体运动想象识别模型及方法 Active CN112633104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011479114.0A CN112633104B (zh) 2020-12-15 2020-12-15 孪生级联柔性最大网络的多主体运动想象识别模型及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011479114.0A CN112633104B (zh) 2020-12-15 2020-12-15 孪生级联柔性最大网络的多主体运动想象识别模型及方法

Publications (2)

Publication Number Publication Date
CN112633104A CN112633104A (zh) 2021-04-09
CN112633104B true CN112633104B (zh) 2023-04-07

Family

ID=75313228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011479114.0A Active CN112633104B (zh) 2020-12-15 2020-12-15 孪生级联柔性最大网络的多主体运动想象识别模型及方法

Country Status (1)

Country Link
CN (1) CN112633104B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104586387A (zh) * 2015-01-19 2015-05-06 秦皇岛市惠斯安普医学系统有限公司 一种时、频、空域多参数脑电特征提取与融合方法
CN108171209A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN109508655A (zh) * 2018-10-28 2019-03-22 北京化工大学 基于孪生网络的不完备训练集的sar目标识别方法
CN110353675A (zh) * 2019-08-14 2019-10-22 东南大学 基于图片生成的脑电信号情感识别方法及装置
CN110503053A (zh) * 2019-08-27 2019-11-26 电子科技大学 基于循环卷积神经网络的人体动作识别方法
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN111062250A (zh) * 2019-11-12 2020-04-24 西安理工大学 基于深度特征学习的多受试者运动想象脑电信号识别方法
CN111832416A (zh) * 2020-06-16 2020-10-27 杭州电子科技大学 一种基于增强卷积神经网络的运动想象脑电信号识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3829429A4 (en) * 2018-08-03 2022-03-16 Rehabswift Pty Ltd STROKE REHABILITATION METHOD AND SYSTEM USING A BRAIN-COMPUTER INTERFACE (BCI)

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104586387A (zh) * 2015-01-19 2015-05-06 秦皇岛市惠斯安普医学系统有限公司 一种时、频、空域多参数脑电特征提取与融合方法
CN108171209A (zh) * 2018-01-18 2018-06-15 中科视拓（北京）科技有限公司 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN109508655A (zh) * 2018-10-28 2019-03-22 北京化工大学 基于孪生网络的不完备训练集的sar目标识别方法
CN110353675A (zh) * 2019-08-14 2019-10-22 东南大学 基于图片生成的脑电信号情感识别方法及装置
CN110503053A (zh) * 2019-08-27 2019-11-26 电子科技大学 基于循环卷积神经网络的人体动作识别方法
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN111062250A (zh) * 2019-11-12 2020-04-24 西安理工大学 基于深度特征学习的多受试者运动想象脑电信号识别方法
CN111832416A (zh) * 2020-06-16 2020-10-27 杭州电子科技大学 一种基于增强卷积神经网络的运动想象脑电信号识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Toward improving ECG biometric identification using cascaded convolutional neural networks;Li Yazhao et al;《Neurocomputing》;20200528;全文 *
基于Copula的多变量运动想象脑电信号因果分析方法;耿雪青等;《航天医学与医学工程》;20180215(第01期);全文 *
基于孪生卷积神经网络与三元组损失函数的图像识别模型;张安琪;《电子制作》;20181101(第21期);全文 *
多类运动想象脑电信号识别及其在BCI中的应用研究;赵凯;《中国优秀硕士学位论文全文数据库》;20190815;全文 *
孪生支持向量机数学模型与应用综述;刘方园等;《测控技术》;20180818(第08期);全文 *
融合频带能量特征和双向门控循环单元的运动想象意图识别;韩向可等;《科学技术与工程》;20200328(第09期);全文 *

Also Published As

Publication number Publication date
CN112633104A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN108491077B (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN110353675A (zh) 基于图片生成的脑电信号情感识别方法及装置
CN113128552B (zh) 一种基于深度可分离因果图卷积网络的脑电情绪识别方法
CN110399846A (zh) 一种基于多通道肌电信号相关性的手势识别方法
CN110135244B (zh) 一种基于脑-机协同智能的表情识别方法
CN110584596B (zh) 基于双输入卷积神经网络的睡眠阶段分类方法及应用
CN112990008B (zh) 基于三维特征图和卷积神经网络的情绪识别方法及系统
CN110717423A (zh) 一种老人面部表情的情感识别模型的训练方法及装置
CN115530847A (zh) 一种基于多尺度注意力的脑电信号自动睡眠分期方法
CN116244633A (zh) 一种运动想象脑电信号分类方法及系统
CN112990270B (zh) 一种传统特征与深度特征的自动融合方法
CN114595728A (zh) 一种基于自监督学习的信号去噪方法
CN114781441A (zh) Eeg运动想象分类方法及多空间卷积神经网络模型
CN112633104B (zh) 孪生级联柔性最大网络的多主体运动想象识别模型及方法
CN113128353A (zh) 面向自然人机交互的情绪感知方法及其系统
CN115414050A (zh) 一种实现情绪识别的eeg脑网络最大团检测方法及系统
CN114863572B (zh) 一种多通道异构传感器的肌电手势识别方法
CN113516101B (zh) 一种基于网络结构搜索的脑电信号情绪识别方法
CN115273236A (zh) 一种多模态的人体步态情感识别方法
CN114601455A (zh) 基于两级神经网络的运动识别方法
CN110432899B (zh) 基于深度堆叠支持矩阵机的脑电信号识别方法
CN114587384A (zh) 一种结合低秩表示与流形学习的运动想象脑电信号特征提取方法
CN113887365A (zh) 一种基于多模态数据融合的特殊人员情感识别方法及系统
CN113361484A (zh) 针对eeg信号分类任务的深度学习网络架构搜索方法
Ren et al. Extracting and supplementing method for EEG signal in manufacturing workshop based on deep learning of time–frequency correlation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant