CN113180695B - 脑机接口信号分类方法、系统、设备和存储介质 - Google Patents
脑机接口信号分类方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN113180695B CN113180695B CN202110421884.8A CN202110421884A CN113180695B CN 113180695 B CN113180695 B CN 113180695B CN 202110421884 A CN202110421884 A CN 202110421884A CN 113180695 B CN113180695 B CN 113180695B
- Authority
- CN
- China
- Prior art keywords
- motor imagery
- feature
- features
- loss function
- spliced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000005012 migration Effects 0.000 claims abstract description 67
- 238000013508 migration Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims description 78
- 238000012549 training Methods 0.000 claims description 47
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000033001 locomotion Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000000284 resting effect Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 description 33
- 238000012360 testing method Methods 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 10
- 238000013145 classification model Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 238000013526 transfer learning Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 208000024827 Alzheimer disease Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000020431 spinal cord injury Diseases 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010039966 Senile dementia Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000007293 brain stem infarction Diseases 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008449 language Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000010004 neural pathway Effects 0.000 description 1
- 210000000118 neural pathway Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了脑机接口信号分类方法、系统、设备和存储介质，分类方法的过程包括：利用预训练的深层注意力样本相似度迁移计算网络对采集的待分类运动想象信号进行处理，得到所述待分类运动想象信号的类别；具体的，对采集的待分类运动想象信号进行处理，得到所述待分类运动想象信号的表示特征；将表示特征进行特征拼接，得到拼接特征；对拼接特征进行细节特征提取，得到特定特征；利用特定特征计算所述拼接特征与已知拼接特征之间的相似度分数，将所述拼接特征分类为与之相似度分数最高的已知拼接特征，将所述待分类运动想象信号分类为该已知拼接特征对应的运动想象信号；将待分类运动想象信号的类别输出。本发明能够实现对运动想象信号的准确分类。
Description
技术领域
本发明属于脑机接口技术领域，具体涉及脑机接口信号分类方法、系统、设备和存储介质。
背景技术
大脑作为人体的总指挥，控制人体的各类复杂的行为。对于正常人类来说，可以很轻松的协调语言、情绪、运动、认知、思维等一系列作业，但是对于脊髓损伤、肌萎缩侧索硬化(ALS)、脑干中风的残障人士来说，这些简单的动作堪比珠穆朗玛峰，难以跨越，脑机接口技术的出现为这些残障人士带来了希望。脑机接口系统就是在大脑与机器之间建立一条连接，实现大脑与机器的直接交互。脑机接口技术的蓬勃发展，可以帮助脊髓损伤、肌萎缩侧索硬化的病人搭建神经通路，辅助他们获得运动控制的能力。随着人口老龄化的增长，脑机接口技术可以用于神经反馈训练等神经功能治疗/调节，以预防阿尔茨海默氏症(老年痴呆)。当然，脑机接口技术不仅仅在医疗领域有着重大应用，还在娱乐领域、军事领域、安防监控等领域也得到了不同程度的应用。
然而，由于固有的背景神经活动、疲劳、注意力水平等原因，脑电信号在不同受试者中表现出了高度的特异性，因此很难建立一个参数适合所有受试者的普适性分类器。另外，由于健壮的脑电信号样本较少，训练受试者往往需要花费大量时间与精力，因此存在样本数量不足以训练深度模型的问题，这在机器学习与深度学习上都限制了模型的泛化能力与实际应用范围。
发明内容
为解决现有技术中存在的问题，本发明的目的在于提供脑机接口信号分类方法、系统、设备和存储介质，本发明提出的信号分类系统可利用小样本数据完成较高准确率的运动想象信号分类训练。本发明应用在脑机接口领域，能够在样本数量不足时实现对不同受试者都有着同样良好分类效果的通用分类器，以解决上述现有技术的不足。
为实现上述目的，本发明采用如下技术方案：
脑机接口信号分类方法，包括如下过程：
利用预训练的深层注意力样本相似度迁移计算网络对采集的待分类运动想象信号进行处理，得到所述待分类运动想象信号的类别；
预训练的深层注意力样本相似度迁移计算网络对采集的待分类运动想象信号进行处理的过程包括：
对采集的待分类运动想象信号进行处理，得到所述待分类运动想象信号的表示特征；
将表示特征进行特征拼接，得到拼接特征；
对拼接特征进行细节特征提取，得到特定特征；
利用特定特征计算所述拼接特征与已知拼接特征之间的相似度分数，将所述拼接特征分类为与之相似度分数最高的已知拼接特征，将所述待分类运动想象信号分类为该已知拼接特征对应的运动想象信号；
将待分类运动想象信号的类别输出。
优选的，深层注意力样本相似度迁移计算网络的训练过程包括如下步骤：
S1，利用采集的运动想象信号构建深层注意力样本相似度迁移计算网络的训练集，训练集中包括源域数据和目标域数据；其中，源域数据带标签，目标域数据不带标签；
S2，包括：
第一数据处理过程：将源域数据进行处理，得到所述待分类运动想象信号的表示特征；将表示特征进行特征拼接，得到拼接特征；对拼接特征进行细节特征提取，得到特定特征；利用特定特征计算所述拼接特征与已知拼接特征之间的相似度分数，将所述拼接特征分类为与之相似度分数最高的已知拼接特征，将所述待分类运动想象信号分类为该已知拼接特征对应的运动想象信号；
第二数据处理过程：将目标域数据进行处理，得到所述待分类运动想象信号的表示特征；将表示特征进行特征拼接，得到拼接特征；对拼接特征进行细节特征提取，得到特定特征；利用特定特征计算所述拼接特征与已知拼接特征之间的相似度分数，将所述拼接特征分类为与之相似度分数最高的已知拼接特征，将所述待分类运动想象信号分类为该已知拼接特征对应的运动想象信号；
S3，根据第一数据处理过程的结果和第二数据处理的结果更新深层注意力样本相似度迁移计算网络的损失函数，深层注意力样本相似度迁移计算网络的损失函数包括源域数据分类损失函数和Wasserstein Distance损失函数，Wasserstein Distance损失函数为源域和目标域之间分布转换的损失函数；
S4，重复S2-S3，直至深层注意力样本相似度迁移计算网络的损失函数收敛，训练结束。
优选的，深层注意力样本相似度迁移计算网络的损失函数如下：
其中，为源域训练时的分类损失函数，/>为取损失函数的最小值，/>为Wasserstein Distance损失函数，nb为每个batch中的样本数量，n为样本数量，b为batch，i为样本次序，J为交叉熵，/>为第i个样本，/>为第i个样本的预测为真实标签的概率，D为预测predict，θ为网络参数，λ为分布转换损失函数的权值，W为Wasserstein Distance度量，xs为源域样本空间中的样本，xt为目标域样本空间中的样本，s为源域，t为目标域，l为Wasserstein Distance模块次序；
源域训练时的分类损失函数如下：
其中，为相应的真实标签，/>为真实true。
优选的，为源域和目标域之间所有分布转换损失函数的加权之和。
优选的，所述运动想象信号包括静息状态时的运动想象信号、想象左手运动时的运动想象信号、想象右手运动时的运动想象信号、想象双手运动时的运动想象信号和想象双脚运动时的运动想象信号。
优选的，S3中，使用链式求导法则计算第一数据处理过程的结果和第二数据处理的结果相对于损失函数的梯度，更新深层注意力样本相似度迁移计算网络的损失函数。
本发明还提供了脑机接口信号分类系统，包括：
表示特征提取模块：用于对采集的待分类运动想象信号进行处理，得到所述待分类运动想象信号的表示特征；
特征拼接模块：用于将表示特征进行特征拼接，得到拼接特征；
特定特征提取模块：用于对拼接特征进行细节特征提取，得到特定特征；
相似度评分模块：利用特定特征计算所述拼接特征与已知拼接特征之间的相似度分数，将所述拼接特征分类为与之相似度分数最高的已知拼接特征，将所述待分类运动想象信号分类为该已知拼接特征对应的运动想象信号；
输出模块：用于将待分类运动想象信号的类别输出。
优选的，所述的脑机接口信号分类系统还包括：
数据采集模块：用于采集运动想象信号。
本发明还提供了一种电子设备，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
所述存储器存储有能够被至少一个处理器执行的指令，所述指令被至少一个处理器执行时，实现如本发明如上所述的脑机接口信号分类方法。
本发明还提供了一种计算机可读存储介质，存储有能够执行的计算机指令，所述的计算机指令被执行时，实现本发明如上所述的脑机接口信号分类方法。
相对于现有技术，本发明具有以下有益效果：
本发明基于迁移学习与元学习，从小样本学习的角度出发，结合源域选择，构建了信号分类系统，该信号分类系统是一种深层注意力样本相似度迁移计算网络，属于目前运动想象信号的一种创新。本发明信号分类系统能够对样本之间进行有效的相似度比较，在数据量小的情况下能够获得良好的分类性能，可利用小样本数据完成较高准确率的运动想象信号分类训练。添加Wasserstein Distance度量模块有效的缩小了两个不同领域之间的概率分布距离，使构建适用于不同受试者的通用分类器成为可能。本发明的方法应用在脑机接口领域，能够在样本数量不足时实现对不同受试者都有着同样良好分类效果的通用分类器，解决了现有技术的不足。
附图说明
图1是基于本发明信号分类系统的运动想象信号分类流程示意图；
图2是本发明实例中信号分类系统的单通道结构图；
图3是本发明实施例中信号分类系统的详细双通道结构图。
具体实施方式
下面结合附图和实例对本发明的具体实施方式作进一步详细描述。以下实施用于解释本发明，但不用来限制本发明的范围。
参照图1，本发明信号分类方法包括以下步骤：
步骤1：进行源域选择，构建基于深层注意力样本相似度迁移计算网络(即本发明信号分类系统)的源域和目标域数据；
具体的，步骤1中，本发明中使用开源数据库PhysioNet中的EEG Motor Movement/Imagery Dataset数据集，该数据集以包含109名受试者为例进行说明，其中，每名受试者包含5类运动想象信号：即静息状态、想象左手运动，想象右手运动、想象双手运动和想象双脚运动。使用源域选择挑选与目标受试者脑电信号特征较为接近的源域受试者进行后续训练，分别使用皮尔逊相关系数、最大互信息系数和最大均值差异进行数据差异性度量，综合结果进行源域选择，选出与目标受试者脑电信号特征最为接近的一名源域受试者。
步骤2：构建基于深层注意力样本相似度迁移计算网络样本的训练集和测试集；
具体的，步骤2中，基于深层注意力样本相似度迁移计算网络的训练集由源域数据和没有带标签的目标域数据构成，其中源域数据样本100个，包含5类运动想象信号各20个样本，目标域数据为35个样本，每类各有7个样本。为模拟实际应用中异步脑电无分类标签的问题，训练集中目标域数据没有标签；测试集由目标域构成，目标域共有15个样本，每一类运动想象信号包含5个样本，训练集和测试集都是均衡样本集合，各类运动想象信号的样本数一致。源域数据全部带有标签，其中静息状态加标签0、想象左手运动加标签1，想象右手运动加标签2，想象双手运动加标签3，想象双脚运动加标签4，为模拟实际应用中异步脑电无分类标签的问题，训练集中目标域数据没有标签。
步骤3：构建能够对运动想象信号进行分类的基于深层注意力样本相似度迁移计算网络；
具体的，步骤3中，将深层注意力样本相似度计算网络与Siamese双通道结构相结合，形成1个用于运动想象信号分类的双通道权值共享网络，并在2个通道之间添加了Wasserstein Distance进行分布转换，形成深层注意力样本相似度迁移计算网络。每个通道都由特征提取网络模块和相似度评分网络模块构成，并结合通道注意力机制SE模块(Squeeze-and-Excitation Module)与残差模块组成的SE-残差学习单元作为基本网络层。
每个通道的特征提取网络模块都是由4个SE-残差学习单元堆叠构成，后连接1个特征拼接层，特征提取模块的输入为来自源域或目标域的脑电信号数据，经过4个SE-残差学习单元处理后，得到脑电信号的表示特征，将各个类别的特征进行拼接后输出至后续的相似度评分网络模块。
相似度评分网络模块由2个SE-残差学习单元堆叠后再连接2个全连接层组成，2个全连接层的神经元个数分别为8和1，激活函数分别为ReLU和Sigmoid；相似度评分网络模块的输入为特征提取网络模块的输出，即各个类别拼接后的特征，该模块将拼接特征经过2个SE-残差学习模块，进一步提取细节特征，再通过全连接层计算拼接特征之间的相似度分数，分数越高，则特征越相似。在评分过程中，已知的类别特征作为模板，待分类的特征即为待测向量，根据待分类特征对不同已知类别特征的相似度分数，可以对待分类特征进行分类，简单来说，待分类特征将被分类为相似度得分最高的类别，这就是相似度评分的原理。
该方法对传统的样本相似度计算网络进行改进，引入注意力机制结合深度残差模块形成的SE-残差学习单元作为基本网络层，使用“瓶颈”结构控制参数量，“瓶颈”结构由大小为1×1，3×3和1×1的三种卷积核堆叠构成，通过增加了1×1的卷积核来压缩通道信息。并引入通道注意力机制模块，显示地建模特征通道之间的相互依赖关系。SE模块通过学习的方式获取到每个特征通道的重要程度，并基于此对特征图进行加权以强调在分类中更为有用的特征，从而进一步增强网络性能。
添加通道注意力机制可以分为三步。第一步为Squeeze操作。按照空间维度进行特征压缩，即通过全局平均池化在每一个大小为h×w二维特征通道中计算出1个实数，此实数某种意义上具有通道级的全局感受野，表征着在特征通道上相应的全局分布。而输出的维度保持不变，依旧为c2，计算公式为：
其中，uc(,j)表示第c个特征图在(,j)坐标处的值，Fsq为Squeeze操作后的结果zc的函数表示，uc为坐标值，h为样本的高，w为样本的宽，i为样本高的遍历次序，j为样本宽的遍历次序。
第二步为Excitation操作。利用循环神经网络中常见的门机制对全局描述特征zc进行权重描述，显示地对通道相关性进行建模，计算公式为：
s＝Fex(zc,W)＝σ(g(zc,W))＝σ(W2ReLU(W1zc))
其中，s为Excitation操作后的输出，Fex(zc,W)为其函数表示，W为网络参数，σ(g(zc,W))为将全连接层的输出g(zc,W)使用Sigmoid函数激活，ReLU(W1z)为将(W1zc)使用ReLU函数激活，W1为网络要学习的第一个参数,W2为网络要学习的第二个参数；
这里使用了包含2个全连接层的“瓶颈”结构，第一个全连接层起到降维的作用，然后用ReLU函数激活，第二个全连接层回复到原始维度。参数W1以及W2为这2个全连接层的权重参数，σ为Sigmoid激活函数。
第三步为Reweight操作。将第二步输出的权重看成是经过特征选择后每个通道的重要性，然后与先前的特征相乘，即加权到先前特征上，完成通道维度上对原始特征的重标定，计算公式为：
Fscale(uc,sc)＝uc·sc
其中，Fscale(uc,sc)为Reweight操作后的输出，uc为先前特征，sc为Excitation操作后的输出权重；
对于一批m个数据x1,x2,……xm，γ和β是2个可学习的参数，这批m个数据进行批归一化处理后的输出为y1,y2,……,ym；
批归一化的具体过程为：
先计算当前这批m个数据的均值μB和方差
然后对每一个数据进行归一化：
其中，为归一化后的样本，ε为为了避免除数为0所使用的微小正数；
最后对归一化的数据进行缩放和变换：
将基于Wasserstein Distance的分布转换添加到双通道之间，构成基于深层注意力样本相似度迁移计算网络，以减少源域和目标域之间的数据分布差异，WassersteinDistance是迁移学习领域中的一种距离度量，描述了1个分布变换为另1个分布的方案，表达式如下：
其中∏(P1,P2)是P1和P2分布组合起来的所有可能的联合分布的集合，P1为源域数据分布，P2为目标域数据分布，对于每一个可能的联合分布γ，可以从中采样(x,y)～γ得到1个样本x和y，并计算出这对样本的距离||x-y||，所以可以计算该联合分布γ下，样本对距离的期望值E(x,y)～γ[||x-y||]。在所有可能的联合分布中能够对这个期望值取到的下界就是Wasserstein Distance。
步骤4：使用步骤2得到的训练集对步骤3构建的基于深层注意力样本相似度迁移计算网络进行训练，得到基于深层注意力样本相似度迁移计算网络的最佳参数，将具有最佳参数的基于深层注意力样本相似度迁移计算网络作为最终的运动想象信号分类模型；
具体的，步骤4中，针对样本相似度迁移计算网络分类和迁移的两种需求，使用的损失函数包括两个部分：源域数据分类损失函数，源域目标域之间分布转换的损失函数，表达式如下：
其中，为源域训练时的分类损失函数，/>为取损失函数的最小值，/>为Wasserstein Distance损失函数，nb为每个batch中的样本数量，n为样本数量，b为batch，i为样本次序，J为交叉熵，/>为第i个样本，/>为第i个样本的预测为真实标签的概率，D为预测predict，θ为网络参数，λ为分布转换损失函数的权值，W为Wasserstein Distance度量，xs为源域样本空间中的样本，xt为目标域样本空间中的样本，s为源域，t为目标域，l为Wasserstein Distance模块遍历次序；
源域训练时的分类损失函数如下：
其中，为相应的真实标签，/>为真实true。
步骤5：用步骤2得到的目标域测试集对步骤3得到的运动想象信号分类模型进行测试，检验所述运动想象信号分类模型的性能。
对基于深层注意力样本相似度迁移计算网络的训练过程包括如下步骤：
1)初始化样本基于深层注意力样本相似度迁移计算网络；
2)将步骤2所得到的全部带标签的源域数据和不带标签的目标域数据作为最终的训练集，输入基于深层注意力样本相似度迁移计算网络，计算输出；
3)使用链式求导法则计算步骤2得到的输出相对于损失函数的梯度；以初始学习率为0.0005，学习率不断递减来对参数进行调整；
4)不断重复步骤2)至步骤3)，循环迭代直至损失函数收敛，最终得到运动想象信号分类模型。
步骤5的具体过程为：使用步骤2得到的目标域数据作为测试集，已知类别特征仍然使用源域的数据，将处理好的样本输入训练好的样本相似度迁移计算网络的特征提取模块中，提取得到各个类别的特征后，将其拼接起来，输入相似度评分网络模块，并计算相应的相似度得分。本实例中采用的是5way1shot的相似度评分网络，所以将得到5个分数，每个分数对应着待分类特征属于各个类的概率，分数越高，说明待分类特征与该已知类别特征的信号类别越匹配，从而达到分类的目的。例如输出向量为(0.1，0.1，0.0，0.7，0.1)则代表该待分类特征属于第四类信号的概率最大。
本发明首次提出结合注意力机制与迁移学习中的样本相似度迁移计算网络应用于脑电信号分类领域。利用Siamese双通道结构构造了1个双通道深层注意力样本相似度迁移计算网络，分别输入源域全部数据和目标域的无标签数据，添加注意力机制以强调在分类中更为有用的特征，在双通道之间添加Wasserstein Distance，有效的缩小了两个不同领域之间的概率分布距离，在目标域样本量不足时可训练出更具普适性的通用分类器，使实验室数据运用到实际的脑电信号分类成为可能。与现有的技术相比，本发明具有速度快，数据量少准确率高的特点，可以用于实际的异步运动想象信号分类工作中。
实施例
如图1所示，本实施例的信号分类方法包括以下步骤：
步骤1：迁移学习是运用已学习到的知识对不同但相关领域问题进行求解的一种机器学习方法。就是在1个领域上学习到的知识，通过迁移学习的方法，完成对1个新的邻域的应用。因此，区别于传统的深度学习，迁移学习的样本需要源域数据和目标域数据，利用已有的源域数据去解决实际应用中样本量稀缺的目标域问题，对于本发明来说，构建1个普适性较强的分类器是使用迁移学习的目标。本发明中首先使用源域选择，度量目标域与开源数据库中的候选源域数据分布间的皮尔逊相关系数、最大互信息系数和最大均值差异，综合三种结果挑选分布最为相似的源域数据进行后续迁移训练。本发明采用的源域与目标域数据均为时间序列信号，都包含5类运动想象信号：即静息状态、想象左手运动、想象右手运动、想象双手运动和想象双脚运动。
步骤2：利用源域数据和目标域数据，构建基于深层注意力样本相似度迁移计算网络样本的训练集和测试集；
基于深层注意力样本相似度迁移计算网络的训练集由源域数据和没有带标签的目标域数据构成，其中源域数据样本100个，包含5类运动想象信号各20个样本，目标域数据为35个样本，每类各有7个样本。为模拟实际应用中异步脑电无分类标签的问题，训练集中目标域数据没有标签；测试集由目标域构成，目标域共有15个样本，每一类运动想象信号包含5个样本，训练集和测试集都是均衡样本集合，各类运动想象信号的样本数一致。源域数据全部带有标签，其中静息状态加标签0、想象左手运动加标签1，想象右手运动加标签2，想象双手运动加标签3，想象双脚运动加标签4，为模拟实际应用中异步脑电无分类标签的问题，训练集中目标域数据没有标签。
步骤3：构建能够对运动想象信号进行分类的深层注意力样本相似度迁移计算网络；
将小样本学习中的样本相似度计算网络与Siamese双通道结构相结合，形成1个双通道权值共享网络，在多个层中采用了Wasserstein Distance进行分布转换。并引入注意力机制，通过重新标定了各个通道的权重系数，使得神经网络模型对于各个通道的特征更具辨识能力，使得对分类有帮助的特征进一步被增强。
图2给出了深层注意力样本相似度迁移计算网络中1个通道的简要架构。每个通道都由特征提取网络模块和相似度评分网络模块构成，并结合通道注意力机制SE模块(Squeeze-and-Excitation Module)与残差模块组成的SE-残差学习单元作为基本网络层。
每个通道的特征提取网络模块都是由4个SE-残差学习单元堆叠构成，后连接1个特征拼接层，特征提取模块的输入为来自源域或目标域的脑电信号数据，经过4个SE-残差学习单元处理后，得到脑电信号的表示特征，将各个类别的特征进行拼接后输出至后续的相似度评分网络模块。
相似度评分网络模块由2个SE-残差学习单元堆叠后再连接2个全连接层组成，2个全连接层的神经元个数分别为8和1，激活函数分别为ReLU和Sigmoid；相似度评分网络模块的输入为特征提取网络模块的输出，即各个类别拼接后的特征，该模块将拼接特征经过2个SE-残差学习模块，进一步提取细节特征，再通过全连接层计算拼接特征之间的相似度分数，分数越高，则特征越相似。在评分过程中，已知的类别特征作为模板，待分类的特征即为待测向量，根据待分类特征对不同已知类别特征的相似度分数，可以对待分类特征进行分类，简单来说，待分类特征将被分类为相似度得分最高的类别，这就是相似度评分的原理。
图3给出了深层注意力样本相似度迁移计算网络的详细双通道结构，在双通道的多个层之间采用了Wasserstein Distance进行迁移。
对于输入源域样本的通道中，相似度评分网络模块有5层，包括2个SE-残差学习单元，2个全连接层以及1个输出层，2个全连接层的神经元个数分别为8和1，激活函数分为为ReLU和Sigmoid。
对于输入目标域样本的通道中，相似度评分网络模块有4层，包括2个卷积层以及2个全连接层，2个全连接层的神经元个数分别为8和1，激活函数分别为ReLU和Sigmoid。
对于一批m个数据x1,x2,……xm，γ和β是2个可学习的参数，这批m个数据进行批归一化处理后的输出为y1,y2,……,ym；
批归一化的具体过程为：
先计算当前这批m个数据的均值μB和方差
然后对每一个数据进行归一化：
其中，为归一化后的样本，ε为为了避免除数为0所使用的微小正数；
最后对归一化的数据进行缩放和变换：
将基于Wasserstein Distance的分布转换(即Wasserstein Distance度量模块)添加到双通道之间的三个层中，以减少源域和目标域之间的数据分布差异，包括特征提取网络模块的第4个SE-残差学习单元、相似度评分网络模块的2个全连接层。第4个SE-残差学习单元是模块中最高的一层，用于从输入数据中提取特征，因此，对该层加入分布转换。在相似度评分网络模块中，卷积层的作用是计算2个连接的特征向量的相似度分数，因此在这些卷积层中没有添加分布转换。在相似度评分网络模块的最高层，即相似度评分网络模块的全连通层中，采用了基于Wasserstein Distance的分布转换。
Wasserstein Distance是迁移学习领域中的一种距离度量，描述了1个分布变换为另1个分布的方案，表达式如下：
其中∏(P1,P2)是P1和P2分布组合起来的所有可能的联合分布的集合。P1为源域数据分布，P2为目标域数据分布，对于每一个可能的联合分布γ，可以从中采样(x,y)～γ得到1个样本x和y，并计算出这对样本的距离||x-y||，所以可以计算该联合分布γ下，样本对距离的期望值E(x,y)～γ[||x-y||]。在所有可能的联合分布中能够对这个期望值取到的下界就是Wasserstein Distance。
有图3可以看出，深层注意力样本相似度迁移计算网络是双通道结构，其中每个通道都由特征提取网络模块与相似度评分网络模块组成。来自源域的原始脑电信号经过特征提取网络模块中的4个SE-残差学习单元的处理后，得到其脑电表示特征类似地，目标域的脑电表示特征记为/>将/>和/>都输出给两个部分，一是各自通道的特征拼接层，二是Wasserstein Distance度量。特征拼接层是将各个类别的特征进行拼接后再输出至后续的相似度评分网络模块；Wasserstein Distance度量则是将源域和目标域的脑电表示特征作为Wasserstein Distance的输入，计算结果记为/>相似度评分网络模块接收来自特征拼接后的输出，将其进行2个SE-残差学习模块的处理后得到更细节的特定特征，后接2个全连接层，用于整合具有类别区分性的局部信息并且计算拼接特征之间的相似度分数，将源域通道、目标域通道中第一个全连接层的输出分别记为/>第二个全连接层的输出分别记为/>类似的，这里的2个全连接层都进行两个通道之间的Wasserstein Distance度量模块，计算结果分别记为/>和/>将源域的全连接层输出得到相似度分数，从而确定其类别。整个网络的训练损失函数由两部分组成，分别是分类损失函数和WassersteinDistance损失函数/>其中/>是/>的加权之和，即
步骤4：使用训练集对步骤3构建的深层注意力样本相似度迁移计算网络进行训练得到运动想象信号分类模型，获取模型最佳参数；
针对样本相似度迁移计算网络分类和迁移的两种需求，使用的损失函数包括两个部分：源域数据分类损失函数，源域目标域之间分布转换的损失函数，表达式如下：
其中，为源域训练时的分类损失函数，/>为取损失函数的最小值，/>为Wasserstein Distance损失函数，nb为每个batch中的样本数量，n为样本数量，b为batch，i为样本次序，J为交叉熵，/>为第i个样本，/>为第i个样本的预测为真实标签的概率，D为预测predict，θ为网络参数，λ为分布转换损失函数的权值，W为Wasserstein Distance度量，xs为源域样本空间中的样本，xt为目标域样本空间中的样本，s为源域，t为目标域，l为Wasserstein Distance模块遍历次序；
源域训练时的分类损失函数如下：
其中，为相应的真实标签，/>为真实true。
本实例中，使用Adam优化器，通过对梯度的一阶矩估计和二阶矩估计进行综合考虑，计算出更新步长，对网络中的参数进行更新。其具有实现简单，计算高效，对内存需求少参数的更新不受梯度的伸缩变换影响，超参数具有很好的解释性，且通常无需调整或仅需很少的微调等特点。
步骤4中，对深层注意力样本相似度迁移计算网络的训练过程包括如下步骤：
1)初始化深层注意力样本相似度迁移计算网络；
2)将步骤2所得到的全部带标签的源域数据和不带标签的目标域数据作为最终的训练集，输入深层注意力样本相似度迁移计算网络，计算输出；
3)使用链式求导法则计算步骤2得到的输出相对于损失函数的梯度；以初始学习率为0.0005，学习率不断递减来对参数进行调整；
4)不断重复步骤2)至步骤3)，循环迭代直至损失函数收敛，最终得到运动想象信号分类模型。
步骤5：用步骤2得到的目标域测试集对步骤3得到的运动想象信号分类模型进行测试，检验深层注意力样本相似度迁移计算网络性能。
步骤5的具体过程为：使用步骤2得到的目标域数据作为测试集，已知类别特征仍然使用源域的数据，将处理好的样本输入训练好的深层注意力样本相似度迁移计算网络的特征提取模块中，提取得到各个类别的特征后，将其拼接起来，输入相似度评分网络模块，并计算相应的相似度得分，本实例中采用的是5way1shot的相似度评分网络，所以将得到5个分数，每个分数对应着待分类特征属于各个类的概率，分数越高，说明待分类特征与已知类别特征的信号类别越匹配，从而达到分类的目的。例如输出向量为(0.1，0.1，0.0，0.7，0.1)则代表该待分类特征属于第四类信号的概率最大。
本发明基于迁移学习与元学习，从小样本学习的角度出发，结合源域选择，构建了深层注意力样本相似度迁移计算网络，属于目前运动想象信号的一种创新。源域选择能够从众多源域受试者中初步挑选出与目标受试者脑电信号特征较为类似的受试者，基于深层注意力样本相似度迁移计算网络能够对样本之间进行有效的相似度比较，在数据量小的情况下能够获得良好的分类性能。添加Wasserstein Distance有效的缩小了两个不同领域之间的概率分布距离，使构建适用于不同受试者的通用分类器成为可能。利用Siamese双通道结构构造了双通道样本相似度迁移计算网络，分别输入源域全部数据和目标域的无标签数据，实际应用中运动想象信号的无标注信息相对容易获得，使得基于深层注意力样本相似度迁移计算网络的应用前景大大提高。此外，引入注意力机制，通过重新标定了各个通道的权重系数，使得神经网络模型对于各个通道的特征更具辨识能力，使得对分类有帮助的特征进一步被增强。目前已经进行了大量的对比实验，验证所提出的深层注意力样本相似度迁移计算网络在运动想象信号分类中的效率，迁移后已经达到了56％的准确率，对比未迁移时25％的准确率显著提升，证实了本实例的有效性。与现有的技术相比，本发明具有速度快，数据量少准确率高的特点，可以用于实际的异步运动想象信号分类工作中。
Claims (8)
1.脑机接口信号分类方法，其特征在于，包括如下过程：
利用预训练的深层注意力样本相似度迁移计算网络对采集的待分类运动想象信号进行处理，得到所述待分类运动想象信号的类别；
预训练的深层注意力样本相似度迁移计算网络对采集的待分类运动想象信号进行处理的过程包括：
对采集的待分类运动想象信号进行处理，得到所述待分类运动想象信号的表示特征；
将表示特征进行特征拼接，得到拼接特征；
对拼接特征进行细节特征提取，得到特定特征；
利用特定特征计算所述拼接特征与已知拼接特征之间的相似度分数，将所述拼接特征分类为与之相似度分数最高的已知拼接特征，将所述待分类运动想象信号分类为该已知拼接特征对应的运动想象信号；
将待分类运动想象信号的类别输出；
深层注意力样本相似度迁移计算网络的训练过程包括如下步骤：
S1，利用采集的运动想象信号构建深层注意力样本相似度迁移计算网络的训练集，训练集中包括源域数据和目标域数据；其中，源域数据带标签，目标域数据不带标签；
S2，包括：
第一数据处理过程：将源域数据进行处理，得到所述待分类运动想象信号的表示特征；将表示特征进行特征拼接，得到拼接特征；对拼接特征进行细节特征提取，得到特定特征；利用特定特征计算所述拼接特征与已知拼接特征之间的相似度分数，将所述拼接特征分类为与之相似度分数最高的已知拼接特征，将所述待分类运动想象信号分类为该已知拼接特征对应的运动想象信号；
第二数据处理过程：将目标域数据进行处理，得到所述待分类运动想象信号的表示特征；将表示特征进行特征拼接，得到拼接特征；对拼接特征进行细节特征提取，得到特定特征；利用特定特征计算所述拼接特征与已知拼接特征之间的相似度分数，将所述拼接特征分类为与之相似度分数最高的已知拼接特征，将所述待分类运动想象信号分类为该已知拼接特征对应的运动想象信号；
S3，根据第一数据处理过程的结果和第二数据处理的结果更新深层注意力样本相似度迁移计算网络的损失函数，深层注意力样本相似度迁移计算网络的损失函数包括源域数据分类损失函数和Wasserstein Distance损失函数，Wasserstein Distance损失函数为源域和目标域之间分布转换的损失函数；
S4，重复S2-S3，直至深层注意力样本相似度迁移计算网络的损失函数收敛，训练结束；
深层注意力样本相似度迁移计算网络的损失函数如下：
其中，为源域训练时的分类损失函数，/>为取损失函数的最小值，/>为Wasserstein Distance损失函数，/>为每个batch中的样本数量，n为样本数量，b为batch，i为样本次序，/>为交叉熵， />为第i个样本，/>为第i个样本的预测为真实标签的概率，D为预测predict，/>为网络参数，/>为分布转换损失函数的权值，/>为Wasserstein Distance度量，/>为源域样本空间中的样本， />为目标域样本空间中的样本，s为源域，t为目标域，l为Wasserstein Distance模块次序；
源域训练时的分类损失函数如下：
其中，为相应的真实标签，/>为真实true。
2.根据权利要求1所述的脑机接口信号分类方法，其特征在于，为源域和目标域之间所有分布转换损失函数的加权之和。
3.根据权利要求1所述的脑机接口信号分类方法，其特征在于，所述运动想象信号包括静息状态时的运动想象信号、想象左手运动时的运动想象信号、想象右手运动时的运动想象信号、想象双手运动时的运动想象信号和想象双脚运动时的运动想象信号。
4.根据权利要求1所述的脑机接口信号分类方法，其特征在于，S3中，使用链式求导法则计算第一数据处理过程的结果和第二数据处理的结果相对于损失函数的梯度，更新深层注意力样本相似度迁移计算网络的损失函数。
5.脑机接口信号分类系统，其特征在于，包括：
表示特征提取模块：用于利用预训练的深层注意力样本相似度迁移计算网络对采集的待分类运动想象信号进行处理，得到所述待分类运动想象信号的表示特征；
特征拼接模块：用于将表示特征进行特征拼接，得到拼接特征；
特定特征提取模块：用于对拼接特征进行细节特征提取，得到特定特征；
相似度评分模块：利用特定特征计算所述拼接特征与已知拼接特征之间的相似度分数，将所述拼接特征分类为与之相似度分数最高的已知拼接特征，将所述待分类运动想象信号分类为该已知拼接特征对应的运动想象信号；
输出模块：用于将待分类运动想象信号的类别输出；
深层注意力样本相似度迁移计算网络的训练过程包括如下步骤：
S1，利用采集的运动想象信号构建深层注意力样本相似度迁移计算网络的训练集，训练集中包括源域数据和目标域数据；其中，源域数据带标签，目标域数据不带标签；
S2，包括：
第一数据处理过程：将源域数据进行处理，得到所述待分类运动想象信号的表示特征；将表示特征进行特征拼接，得到拼接特征；对拼接特征进行细节特征提取，得到特定特征；利用特定特征计算所述拼接特征与已知拼接特征之间的相似度分数，将所述拼接特征分类为与之相似度分数最高的已知拼接特征，将所述待分类运动想象信号分类为该已知拼接特征对应的运动想象信号；
第二数据处理过程：将目标域数据进行处理，得到所述待分类运动想象信号的表示特征；将表示特征进行特征拼接，得到拼接特征；对拼接特征进行细节特征提取，得到特定特征；利用特定特征计算所述拼接特征与已知拼接特征之间的相似度分数，将所述拼接特征分类为与之相似度分数最高的已知拼接特征，将所述待分类运动想象信号分类为该已知拼接特征对应的运动想象信号；
S3，根据第一数据处理过程的结果和第二数据处理的结果更新深层注意力样本相似度迁移计算网络的损失函数，深层注意力样本相似度迁移计算网络的损失函数包括源域数据分类损失函数和Wasserstein Distance损失函数，Wasserstein Distance损失函数为源域和目标域之间分布转换的损失函数；
S4，重复S2-S3，直至深层注意力样本相似度迁移计算网络的损失函数收敛，训练结束；
深层注意力样本相似度迁移计算网络的损失函数如下：
其中，为源域训练时的分类损失函数，/>为取损失函数的最小值，/>为Wasserstein Distance损失函数，/>为每个batch中的样本数量，n为样本数量，b为batch，i为样本次序，/>为交叉熵， />为第i个样本，/>为第i个样本的预测为真实标签的概率，D为预测predict，/>为网络参数，/>为分布转换损失函数的权值，/>为Wasserstein Distance度量，/>为源域样本空间中的样本， />为目标域样本空间中的样本，s为源域，t为目标域，l为Wasserstein Distance模块次序；
源域训练时的分类损失函数如下：
其中，为相应的真实标签，/>为真实true。
6.根据权利要求5所述的脑机接口信号分类系统，其特征在于，还包括：
数据采集模块：用于采集运动想象信号。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与至少一个处理器通信连接的存储器；其中，
所述存储器存储有能够被至少一个处理器执行的指令，所述指令被至少一个处理器执行时，实现如权利要求1-4中任一项所述的脑机接口信号分类方法。
8.一种计算机可读存储介质，其特征在于，存储有能够执行的计算机指令，所述的计算机指令被执行时，实现权利要求1-4任一项所述的脑机接口信号分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421884.8A CN113180695B (zh) | 2021-04-20 | 2021-04-20 | 脑机接口信号分类方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421884.8A CN113180695B (zh) | 2021-04-20 | 2021-04-20 | 脑机接口信号分类方法、系统、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113180695A CN113180695A (zh) | 2021-07-30 |
| CN113180695B true CN113180695B (zh) | 2024-04-05 |
Family
ID=76977390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110421884.8A Active CN113180695B (zh) | 2021-04-20 | 2021-04-20 | 脑机接口信号分类方法、系统、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113180695B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115700104B (zh) * | 2022-12-30 | 2023-04-25 | 中国科学技术大学 | 基于多尺度原型学习的本身可解释的脑电信号分类方法 |
| CN116595437B (zh) * | 2023-05-17 | 2023-10-31 | 中国科学院自动化研究所 | 零校准迁移学习分类模型的训练方法、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103092971A (zh) * | 2013-01-24 | 2013-05-08 | 电子科技大学 | 一种用于脑机接口中的分类方法 |
| CN104679249A (zh) * | 2015-03-06 | 2015-06-03 | 南京邮电大学 | 一种基于diva模型的汉语脑机接口实现方法 |
| CN105677043A (zh) * | 2016-02-26 | 2016-06-15 | 福州大学 | 运动想象脑机接口的两阶段自适应训练方法 |
| CN110070105A (zh) * | 2019-03-25 | 2019-07-30 | 中国科学院自动化研究所 | 基于元学习实例快速筛选的脑电情绪识别方法、系统 |
| KR20200054069A (ko) * | 2018-11-09 | 2020-05-19 | 고려대학교 산학협력단 | 적대적 학습 기반 뇌-컴퓨터 인터페이스 방법 및 장치 |
-
2021
- 2021-04-20 CN CN202110421884.8A patent/CN113180695B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103092971A (zh) * | 2013-01-24 | 2013-05-08 | 电子科技大学 | 一种用于脑机接口中的分类方法 |
| CN104679249A (zh) * | 2015-03-06 | 2015-06-03 | 南京邮电大学 | 一种基于diva模型的汉语脑机接口实现方法 |
| CN105677043A (zh) * | 2016-02-26 | 2016-06-15 | 福州大学 | 运动想象脑机接口的两阶段自适应训练方法 |
| KR20200054069A (ko) * | 2018-11-09 | 2020-05-19 | 고려대학교 산학협력단 | 적대적 학습 기반 뇌-컴퓨터 인터페이스 방법 및 장치 |
| CN110070105A (zh) * | 2019-03-25 | 2019-07-30 | 中国科学院自动化研究所 | 基于元学习实例快速筛选的脑电情绪识别方法、系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于HCSP和模糊熵的脑电信号分类;于沐涵;陈峰;;计算机工程与设计(第02期);265-270 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113180695A (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Suganyadevi et al. | A review on deep learning in medical image analysis | |
| Yin et al. | Deep learning for brain disorder diagnosis based on fMRI images | |
| Li et al. | Detecting Alzheimer's disease Based on 4D fMRI: An exploration under deep learning framework | |
| WO2016192612A1 (zh) | 基于深度学习对医疗数据进行分析的方法及其智能分析仪 | |
| Lin et al. | PSOLDA: A particle swarm optimization approach for enhancing classification accuracy rate of linear discriminant analysis | |
| CN113180695B (zh) | 脑机接口信号分类方法、系统、设备和存储介质 | |
| Bzdok et al. | Semi-supervised factored logistic regression for high-dimensional neuroimaging data | |
| CN111728590A (zh) | 基于动态功能连接的个体认知能力预测方法和系统 | |
| Qiao et al. | Ternary-task convolutional bidirectional neural turing machine for assessment of EEG-based cognitive workload | |
| Yang et al. | PD-ResNet for classification of Parkinson’s disease from gait | |
| Shu et al. | Sparse autoencoders for word decoding from magnetoencephalography | |
| CN112668486A (zh) | 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体 | |
| Qiang et al. | Learning brain representation using recurrent Wasserstein generative adversarial net | |
| Wu et al. | Improving NeuCube spiking neural network for EEG-based pattern recognition using transfer learning | |
| Liu et al. | Graph auto-encoding brain networks with applications to analyzing large-scale brain imaging datasets | |
| Rangulov et al. | Emotion recognition on large video dataset based on convolutional feature extractor and recurrent neural network | |
| CN111611963B (zh) | 一种基于近邻保持典型相关分析的人脸识别方法 | |
| Li et al. | Facial emotion recognition via stationary wavelet entropy and Biogeography-based optimization | |
| Fauzi et al. | Transfer learning of bci using cur algorithm | |
| Li et al. | Facial emotion recognition via stationary wavelet entropy and particle swarm optimization | |
| Fachruddin et al. | Network and layer experiment using convolutional neural network for content based image retrieval work | |
| Zhu et al. | A tensor statistical model for quantifying dynamic functional connectivity | |
| Prasad et al. | Autism spectrum disorder detection using brain MRI image enabled deep learning with hybrid sewing training optimization | |
| Kou et al. | Subspace and second-order statistical distribution alignment for cross-domain recognition of human hand motions | |
| Couronné et al. | Longitudinal autoencoder for multi-modal disease progression modelling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |