CN110751032B - 一种无需校准的脑机接口模型的训练方法 - Google Patents

一种无需校准的脑机接口模型的训练方法 Download PDF

Info

Publication number
CN110751032B
CN110751032B CN201910869929.0A CN201910869929A CN110751032B CN 110751032 B CN110751032 B CN 110751032B CN 201910869929 A CN201910869929 A CN 201910869929A CN 110751032 B CN110751032 B CN 110751032B
Authority
CN
China
Prior art keywords
neural network
network model
trained
auxiliary
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910869929.0A
Other languages
English (en)
Other versions
CN110751032A (zh
Inventor
伍冬睿
崔雨琦
徐祎璠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910869929.0A priority Critical patent/CN110751032B/zh
Publication of CN110751032A publication Critical patent/CN110751032A/zh
Application granted granted Critical
Publication of CN110751032B publication Critical patent/CN110751032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种无需校准的脑机接口模型的训练方法，属于脑机接口领域。本发明提出FWET算法，通过学习已有的多个用户之间的差异，对每个特征样本/脑电信号样本中的特征赋予权重，通过特征加权更高效利用已有数据，使得训练出的模型表现出良好的性能，同时可适用于分类任务与回归任务；通过幕式训练的方式，用每个辅助用户的数据的数据联合其他用户的用户内模型训练总模型，来提升对新用户的预测性能，该系统对新用户应用时的效果更好。本发明通过构造神经网络，采用深度学习进行非线性的变换，学习跨用户表现良好的特征，提高了特征的鲁棒性，提升模型的泛化性，从而降低对数据量的需求，相比于传统的简单线性变换，性能有了进一步的提升。

Description

一种无需校准的脑机接口模型的训练方法
技术领域
本发明属于脑机接口领域，更具体地，涉及一种无需校准的脑机接口模型的训练方法。
背景技术
脑机接口是一种为大脑和外部设备提供直接交互通道的系统。基于脑电的脑机接口系统是指人佩戴装有电极的脑电帽，通过电极采集大脑的脑电信号，然后对脑电信号进行分析和解码，从而判断出大脑的状态或者意念，或者进一步地，通过脑电信号控制外部设备。BCI(Brain-Computer Interface，即脑机接口)应用由于每次使用前都要进行长时间的校准而受到了极大程度的限制。所以，减少新用户的个性化校准时间或者移除校准环节是使得脑机接口更加实用的关键问题。基于迁移学习方法，使得开发者可以使用有限的数据，来对已有的模型、数据做变换，使得开发者不需要重新训练模型，就能够带来可靠的性能。目前来说，大部分研究更关注于如何使用少量的数据通过迁移来提高对新的用户的性能。
基于迁移学习减少校准数据的方法，通常可以分为几大类：(1)基于数据的迁移学习方法。这类方法通常通过对样本施加权重，或者通过样本的挑选，来重新训练模型。例如，Abid F等人提出通过对样本计算权重，来减少用户之间的差异。Hossain I等人提出通过主动学习进行样本选择，标注并加入到训练数据中。(2)基于特征表达的迁移学习方法。这类方法通过获得一个在目标域上更好的特征来训练模型，以此来达到迁移的目的。例如，Common Spatial Pattern(CSP)在脑电中是一个常用的特征提取算法，其算法的基础是要评估脑电信号的协方差矩阵。为了减少对校准数据量的需求，Lotte F等人提出了如何通过尽可能少的新用户数据来准确的评估协方差矩阵。Samek W等人提出了一个利用子空间学习，来融合多个用户的信息的方式，来将源用户和目标用户的CSP特征结合起来。(3)基于集成的迁移学习方法。这类方法往往基于不同的用户构造一个单独的分类器，根据不同的集成策略采用集成的方式进行预测。例如，Tu W等人提出通过每个用户分别使用鲁棒的滤波和动态滤波方法训练两个模型，随后分别集成两种不同的模型，最后再集成为最终输出。WuD等人提出首先采集有标签的少量新用户数据并单独训练一个模型，随后使用每个用户的数据结合少量新用户数据分别训练一个模型，最后一起进行集成。
然而，前两类方法由于需要对样本加入权重，或者为适应新用户来改变特征表达，都需要重新训练模型。然而当模型比较复杂时，重新训练模型往往是一个耗时的过程，这对于新用户的第一次使用很不友好，也往往不能做到短时间内完成校准。第三类方法由于需要训练多个模型，训练代价和预测代价都要高于单个模型，有的方法需要根据新用户数据训练多个集成模型，其校准时所需要的计算代价更是成倍提高。
发明内容
针对现有技术脑机接口系统中新用户需要个性化校准耗时且实用性较低的问题，本发明提供了一种无需校准的脑机接口模型的训练方法，其目的在于能够利用辅助用户的数据调整好脑机接口系统中使用的模型的方法，使得新用户能无需校准直接使用已有的脑机接口系统，从而基本实现即插即用的实时脑机接口系统。
为实现上述目的，按照本发明的第一方面，提供了一种无需校准的脑机接口模型的训练方法，该方法包括以下步骤：
S1.对脑电图数据集中的每个辅助用户，根据脑机接口任务的范式，对脑电信号数据预处理后进行特征提取，得到每个辅助用户的特征样本集；
S2.根据脑机接口任务的范式和类型，选择待训练目标神经网络模型(w，Fθ，Fψ)，并初始化特征权重，所述待训练目标神经网络模型包括特征器和回归器/分类器，其中，w＝[w1，...，wd]T为特征样本的权重，d为特征样本的维度，θ为特征器的权重参数，Fθ(·)表示特征提取函数，ψ表示回归器/分类器的权重参数，Fψ(·)表示回归/分类函数；
S3.为每个辅助用户初始化一个待训练辅助神经网络模型
Figure BDA0002209408970000031
其与待训练目标神经网络模型(w，Fθ，Fψ)结构相同，s∈[1，S]，S为脑电图数据集中辅助用户的个数；
S4.使用每个辅助用户的特征样本集，训练该辅助用户对应的待训练辅助神经网络模型
Figure BDA0002209408970000032
S5.使用第i个辅助用户的特征样本集，分别计算组合神经网络模型
Figure BDA0002209408970000033
和待训练目标神经网络模型(w，Fθ，Fψ)对该用户的损失，从而更新待训练目标神经网络模型的参数w、θ、ψ，其中，w、Fθ来自待训练目标神经网络模型(w，Fθ，Fψ)，
Figure BDA0002209408970000036
来自第j个辅助用户对应训练辅助神经网络模型
Figure BDA0002209408970000034
S6.重复S4～S5，直至模型
Figure BDA0002209408970000035
收敛，得到训练好的目标神经网络模型(w，Fθ，Fψ)。
具体地，特征器和回归器/分类器中神经网络采用全连接神经网络。
具体地，对于运动想象范式的脑机接口，滤波范围为[8，30]赫兹，采用共同空间模式方法进行特征提取；对于人类疲劳程度的预测，滤波范围为[1，30]赫兹，提取α波段和θ波段的平均功率谱密度作为特征。
为实现上述目的，按照本发明的第二方面，提供了一种无需校准的脑机接口模型的训练方法，该方法包括以下步骤：
S1.对脑电图数据集中的每个辅助用户，根据脑机接口任务的范式，对脑电信号数据预处理，得到每个辅助用户的脑电信号样本集；
S2.根据脑机接口任务的范式和类型，选择待训练目标神经网络模型(w，Fθ，Fψ)，并初始化特征权重，所述待训练目标神经网络模型包括特征器和回归器/分类器，其中，w＝[w1，...，wc]T为脑电信号通道的权重，c为脑电信号通道数，θ为特征器的权重参数，Fθ(·)表示特征提取函数，ψ表示回归器/分类器的权重参数，Fψ(·)表示回归/分类函数；
S3.为每个辅助用户初始化一个待训练辅助神经网络模型
Figure BDA0002209408970000041
其与待训练目标神经网络模型(w，Fθ，Fψ)结构相同，s∈[1，S]，S为脑电图数据集中辅助用户的个数；
S4.使用每个辅助用户的脑电信号样本集，训练该辅助用户对应的待训练辅助神经网络模型
Figure BDA0002209408970000042
S5.使用第i个辅助用户的脑电信号样本集，分别计算组合神经网络模型
Figure BDA0002209408970000047
和待训练目标神经网络模型(w，Fθ，Fψ)对该用户的损失，从而更新待训练目标神经网络模型的参数w、θ、ψ，其中，w、Fθ来自待训练目标神经网络模型(w，Fθ，Fψ)，
Figure BDA0002209408970000044
来自第j个辅助用户对应训练辅助神经网络模型
Figure BDA0002209408970000045
S为脑电图数据集中辅助用户的个数；
S6.重复S4～S5，直至模型
Figure BDA0002209408970000046
收敛，得到训练好的目标神经网络模型(w，Fθ，Fψ)。
具体地，特征器和回归器/分类器中神经网络采用卷积神经网络。
具体地，对于运动想象范式的脑机接口，滤波范围为[8，30]赫兹；对于人类疲劳程度的预测，滤波范围为[1，30]赫兹。
具体地，根据任务的范式和类型，设置一个能够满足需求的神经网络架构，并分为特征器Fθ和回归器/分类器Fψ两部分，所述特征器用于抽象出原始数据中的特征，所述回归器/分类器用于根据特征器提取出的特征，得到目标任务的预测值，若任务类型是分类任务，Fψ是分类器，若任务类型是回归任务，Fψ是回归器。
替换地，步骤S5.使用第i个辅助用户的特征样本集，分别计算组合神经网络模型
Figure BDA0002209408970000051
阳待训练目标神经网络模型(w，Fθ，Fψ)对该用户的损失，从而更新待训练目标神经网络模型的参数w、θ、ψ，其中，wj，
Figure BDA0002209408970000052
来自第j个辅助用户对应训练辅助神经网络模型
Figure BDA0002209408970000053
Fψ来自待训练目标神经网络模型(w，Fθ，Fψ)，j≠i，i，j∈[1，S]。
具体地，使用第i个辅助用户的特征样本集，分别计算组合神经网络模型
Figure BDA0002209408970000054
组合神经网络模型
Figure BDA0002209408970000055
和待训练目标神经网络模型(w，Fθ，Fψ)对该用户的损失，从而更新待训练目标神经网络模型的参数w、θ、ψ，其中，w、Fθ来自待训练目标神经网络模型(w，Fθ，Fψ)，
Figure BDA0002209408970000056
来自第j个辅助用户对应训练辅助神经网络模型
Figure BDA0002209408970000057
wj，
Figure BDA0002209408970000058
来自第j个辅助用户对应训练辅助神经网络模型
Figure BDA0002209408970000059
Fψ来自待训练目标神经网络模型(w，Fθ，Fψ)，j≠i，i，j∈[1，S]。
为实现上述目的，按照本发明的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述方面所述的无需校准的脑机接口模型的训练方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明提出FWET算法，通过学习已有的多个用户之间的差异，对每个特征样本/脑电信号样本中的特征赋予权重(FW)，通过特征加权更高效合理地利用已有数据，使得训练出的模型表现出良好的性能，同时可适用于分类任务与回归任务；通过幕式训练(episodic training，ET)的方式，用每个辅助用户的数据的数据联合其他用户的用户内模型训练总模型，来提升对新用户的预测性能，该系统对新用户应用时的效果更好。
(2)本发明通过构造神经网络，采用深度学习进行非线性的变换，学习跨用户表现良好的特征，提高了特征的鲁棒性，提升模型的泛化性，从而降低对数据量的需求，从而相比于传统的简单线性变换，性能有了进一步的提升。
附图说明
图1为本发明实施例提供的一种无需校准的脑机接口模型的训练方法流程图；
图2为本发明实施例提供的对于人类疲劳程度的预测任务待训练目标神经网络模型结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明提供一种无需校准的脑机接口模型的训练方法，该方法包括以下步骤：
步骤S1.对脑电图数据集中的每个辅助用户，根据脑机接口任务的范式，对脑电信号数据预处理后进行特征提取，得到每个辅助用户的特征样本集。
数据预处理包括：时域带通滤波、去除人工伪迹、重参考等。通过对脑电信号进行上述预处理，尽可能去除数据中的噪声和与任务无关的信息，提高信噪比。
例如，对于运动想象范式的脑机接口(分类任务)，滤波范围为[8，30]赫兹，采用共同空间模式(CSP)等方法进行特征提取。对于人类疲劳程度的预测(回归任务)，滤波范围为[1，30]赫兹，提取α波段和θ波段的平均功率谱密度作为特征。
假设原始脑电图数据集中一共有S个辅助用户的数据，第s个用户一共有ns个特征样本
Figure BDA0002209408970000071
第s个用户的第i个特征样本
Figure BDA0002209408970000072
对应标签
Figure BDA0002209408970000073
Figure BDA0002209408970000074
Figure BDA0002209408970000075
表示特征样本
Figure BDA0002209408970000076
的第j个脑电特征，s＝1，...S，i＝1，…，ns，j＝1，…，d。
步骤S2.根据脑机接口任务的范式和类型，选择待训练目标神经网络模型(w，Fθ，Fψ)，并初始化特征权重，所述待训练目标神经网络模型包括特征器和回归器/分类器，其中，w＝[w1，...，wd]T为样本的权重，d为特征样本的维度，θ为特征器的权重参数，Fθ(·)表示特征提取函数，ψ表示回归器/分类器的权重参数，Fψ(·)表示回归/分类函数。
根据任务的范式和类型，设置一个能够满足需求的神经网络架构(包括特征权重)，并分为特征器Fθ和回归器/分类器Fψ两部分。若任务类型是分类任务，Fψ是分类器，若任务类型是回归任务，Fψ是回归器。
如图2所示，对于人类疲劳程度的预测任务，其任务类型是回归任务。选择的待训练的模型结构包括：
前两层神经网络构成的特征提取器，其用于抽象出原始数据中的特征。其中，θ表示这两层网络中的权重参数，Fθ(·)表示两层神经网络对应的变换函数，原始数据经过这一变换即可得到较为抽象的特征。
第三层神经网络构成的回归器，用于对Fθ(·)提取出的特征进行变换，得到目标任务的预测值。其中，ψ表示神经网络第三层中的权重参数，Fψ(·)表示为了得到预测值，对特征做的变换。
为每个特征样本赋予一个相同权重w，根据不同区域的脑电特征对任务的贡献程度，自动对不同的特征加权。设特征权重为w＝[w1，...，wd]T，将权重用softmax函数作归一化，即
Figure BDA0002209408970000081
其中，
Figure BDA0002209408970000082
Figure BDA0002209408970000083
辅助用户中第s个用户的任一特征样本(假设为第i个)加权后为
Figure BDA0002209408970000084
则模型预测的输出为
Figure BDA00022094089700000812
权重参数θ和ψ初始化时随机生成，初始化特征权重
Figure BDA0002209408970000085
默认一开始各个特征的贡献相同。这些参数将在后续步骤更新。本发明为每个特征进行加权，考虑了不同区域脑电特征对任务的贡献程度，从而提升模型最终的性能。
优选地，神经网络采用的是全连接神经网络。
步骤S3.为每个辅助用户初始化一个待训练辅助神经网络模型
Figure BDA0002209408970000086
其与待训练目标神经网络模型(w，Fθ，Fψ)结构相同。
为每个辅助用户生成一个与待训练目标神经网络模型结构相同，参数为
Figure BDA0002209408970000087
的待训练辅助神经网络模型。其参数初始化过程如下：
初始化特征权重
Figure BDA0002209408970000088
权重参数θs和ψs初始化时随机生成，其随机取值范围与权重参数θ和ψ相同，这些参数将在后续步骤更新。
步骤S4.使用每个辅助用户的特征样本集，训练该辅助用户对应的待训练辅助神经网络模型
Figure BDA0002209408970000089
使用每个用户的数据分别训练一次各个用户自身对应的模型。具体过程如下：
当使用第s个辅助用户进行训练时，每个batch中有n(n≤ns)个样本，先计算损失函数
Figure BDA00022094089700000810
其中，
Figure BDA00022094089700000811
yi表示第i个样本的标签，
Figure BDA0002209408970000091
表示神经网络对第i个样本的预测值，在回归问题中l(·)为均方误差损失函数，在分类问题中l(·)为交叉熵损失函数，用梯度下降法更新以下参数：
Figure BDA0002209408970000092
Figure BDA0002209408970000093
Figure BDA0002209408970000094
其中，α表示参数的更新步长(也称作学习率)，一般取值1e-3。
步骤S5.使用第i个辅助用户的特征样本集，分别计算组合神经网络模型
Figure BDA0002209408970000095
和待训练目标神经网络模型(w，Fθ，Fψ)对该用户的损失，从而更新待训练目标神经网络模型的参数w、θ、ψ，其中，w、Fθ来自待训练目标神经网络模型(w，Fθ，Fψ)，
Figure BDA0002209408970000096
来自第j个辅助用户对应训练辅助神经网络模型
Figure BDA0002209408970000097
组合神经网络模型
Figure BDA0002209408970000098
是指，由待训练目标神经网络模型(w，Fθ，Fψ)的特征权重w、特征器Fθ与待训练辅助神经网络模型
Figure BDA0002209408970000099
的回归器/分类器
Figure BDA00022094089700000910
构成的神经网络模型。
对每个辅助用户使用总模型(待训练目标神经网络模型)提取特征，分别使用其他用户的回归器和总模型的回归器完成回归任务，用梯度下降法更新总模型。要求总模型提取出的每个用户的特征在其他用户的回归器下也能有较好的性能。
具体地，假设当前遍历到的用户为第s个用户，首先计算待训练目标神经网络模型(w，Fθ，Fψ)对该用户的损失函数
Figure BDA00022094089700000911
其中，
Figure BDA00022094089700000912
再遍历所有j≠s的用户内模型(待训练辅助神经网络模型)，使用第j个用户的回归器
Figure BDA00022094089700000913
计算用户间的损失函数
Figure BDA00022094089700000914
其中，
Figure BDA00022094089700000915
将两项损失函数加权相加，，其中，
Figure BDA0002209408970000101
λ表示
Figure BDA0002209408970000102
相对于
Figure BDA0002209408970000103
的权重，用于权衡两项损失函数的重要性，一般取值0.1。更新总模型中的参数
Figure BDA0002209408970000104
Figure BDA0002209408970000105
Figure BDA0002209408970000106
S6.重复S4～S5，直至模型
Figure BDA0002209408970000107
收敛，得到训练好的目标神经网络模型(w，Fθ，Fψ)。
本发明还提供一种无需校准的脑机接口模型的训练方法，该方法包括以下步骤：
步骤S1.对脑电图数据集中的每个辅助用户，根据脑机接口任务的范式，对脑电信号数据预处理，得到每个辅助用户的脑电信号样本集。
假设原始脑电图数据集中一共有S个辅助用户的数据，第s个用户一共有ns个脑电信号样本
Figure BDA0002209408970000108
第s个用户的第i个脑电信号样本
Figure BDA0002209408970000109
对应标签
Figure BDA00022094089700001014
Figure BDA00022094089700001010
表示脑电信号样本有c个通道、每个通道有t个特征，s＝1，...S，i＝1，…，ns，该特征可以是时域的特征，也可以是频域的特征。
步骤S2.根据脑机接口任务的范式和类型，选择待训练目标神经网络模型(w，Fθ，Fψ)，并初始化特征权重，所述待训练目标神经网络模型包括特征器和回归器/分类器，其中，w＝[w1，..，wc]T为脑电信号通道的权重，c为脑电信号通道数，θ为特征器的权重参数，Fθ(·)表示特征提取函数，ψ表示回归器/分类器的权重参数，Fψ(·)表示回归/分类函数。
对脑电信号样本按通道加权，
Figure BDA00022094089700001011
Figure BDA00022094089700001012
表示第j个通道的数据，
Figure BDA00022094089700001013
优选地，神经网络模型采用卷积神经网络。
步骤S3.为每个辅助用户初始化一个待训练辅助神经网络模型
Figure BDA0002209408970000111
其与待训练目标神经网络模型(w，Fθ，Fψ)结构相同，s∈[7，S]，S为脑电图数据集中辅助用户的个数。
步骤S4.使用每个辅助用户的脑电信号样本集，训练该辅助用户对应的待训练辅助神经网络模型
Figure BDA0002209408970000112
步骤S5.使用第i个辅助用户的脑电信号样本集，分别计算组合神经网络模型
Figure BDA0002209408970000113
和待训练目标神经网络模型(w，Fθ，Fψ)对该用户的损失，从而更新待训练目标神经网络模型的参数w、θ、ψ，其中，w、Fθ来自待训练目标神经网络模型(w，Fθ，Fψ)，
Figure BDA0002209408970000114
来自第j个辅助用户对应训练辅助神经网络模型
Figure BDA0002209408970000115
S为脑电图数据集中辅助用户的个数。
步骤S6.重复S4～S5，直至模型
Figure BDA0002209408970000116
收敛，得到训练好的目标神经网络模型(w，Fθ，Fψ)。
优选地，步骤S5.使用第i个辅助用户的特征样本集，分别计算组合神经网络模型
Figure BDA0002209408970000117
和待训练目标神经网络模型(w，Fθ，Fψ)对该用户的损失，从而更新待训练目标神经网络模型的参数w、θ、ψ，其中，wj，
Figure BDA0002209408970000118
来自第j个辅助用户对应训练辅助神经网络模型
Figure BDA0002209408970000119
Fψ来自待训练目标神经网络模型(w，Fθ，Fψ)，j≠i，i，j∈[1，S]。
假设当前遍历到的用户为第s个用户，首先计算待训练目标神经网络陵型(w，Fθ，Fψ)对该用户的损失函数
Figure BDA00022094089700001110
其中，
Figure BDA00022094089700001111
再遍历所有j≠s的用户内模型，使用第j个用户的特征权重wj和特征器
Figure BDA00022094089700001112
计算用户间的损失函数
Figure BDA00022094089700001113
其中，
Figure BDA00022094089700001114
将两项损失函数加权相加，
Figure BDA00022094089700001115
其中，λ表示
Figure BDA00022094089700001116
相对于
Figure BDA00022094089700001117
的权重，用于权衡两项损失函数的重要性，一般取值0.1。更新总模型中的参数
Figure BDA0002209408970000121
Figure BDA0002209408970000122
Figure BDA0002209408970000123
优选地，使用第i个辅助用户的特征样本集，分别计算组合神经网络模型
Figure BDA0002209408970000124
组合神经网络模型
Figure BDA0002209408970000125
和待训练目标神经网络模型(w，Fθ，Fψ)对该用户的损失，从而更新待训练目标神经网络模型的参数w、θ、ψ，其中，w、Fθ来自待训练目标神经网络模型(w，Fθ，Fψ)，
Figure BDA0002209408970000126
来自第j个辅助用户对应训练辅助神经网络模型
Figure BDA0002209408970000127
wj，
Figure BDA0002209408970000128
来自第j个辅助用户对应训练辅助神经网络模型
Figure BDA0002209408970000129
Fψ来自待训练目标神经网络模型(w，Fθ，Fψ)，j≠i，i，j∈[1，S]。
假设当前遍历到的用户为第s个用户，首先计算待训练目标神经网络模型(w，Fθ，Fψ)对该用户的损失函数
Figure BDA00022094089700001210
其中，
Figure BDA00022094089700001211
再遍历所有j≠s的用户内模型，使用第j个用户的特征器
Figure BDA00022094089700001212
计算用户间的损失函数
Figure BDA00022094089700001213
其中，
Figure BDA00022094089700001214
同时使用第j个用户的回归器
Figure BDA00022094089700001215
计算用户间的损失函数
Figure BDA00022094089700001216
其中
Figure BDA00022094089700001217
将三项损失函数加权相加，
Figure BDA00022094089700001218
其中，λR和λFT分别表示
Figure BDA00022094089700001219
和
Figure BDA00022094089700001220
相对于
Figure BDA00022094089700001221
的权重，用于权衡三项损失函数的重要性，λR和λFT一般取值都为0.1。更新总模型中的参数
Figure BDA00022094089700001222
Figure BDA00022094089700001223
Figure BDA00022094089700001224
新用户测试
直接使用训练好的总模型完成预测任务，无需新用户采集任何数据。本发明利用辅助用户的数据调整好脑机接口系统中使用的模型的方法，使得新用户能无需校准直接使用已有的脑机接口系统，从而基本实现即插即用的实时脑机接口系统。
本发明以一个以使用脑电信号评估驾驶员疲劳程度的实验进行举例，实验总共采集了15个受试者的实验数据，脑电信号的采集采用了30个通道的脑电设备。
实验使用一个360度的VR平台，模拟在高速公路中以时速100km/h行驶。每5-10秒系统会随机使车辆偏离车道，受试者被要求立即矫正车辆的偏离，从偏离开始到受试者开始矫正的反应时间τ被记录下来，并根据公式(1)转化为疲劳指数(DI)，其作为特征样本的标签。
Figure BDA0002209408970000131
本实施例提取了30个通道的α和θ波段的平均功率谱密度作为特征。并采用留一用户交叉验证的方式进行比较。所采用的评价指标为均方根误差(RMSE)和皮尔逊相关系数(CC)。本实施例对比了常用的回归器岭回归(Ridge)和k近邻(kNN)，所有的实验过程重复了5次。下表展示了本实施例的结果。
Figure BDA0002209408970000132
实验结果表明本发明提出的方法可以取得更低的均方根误差以及更高的相关性。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种无需校准的脑机接口模型的训练方法，其特征在于，该方法包括以下步骤：
S1.对脑电图数据集中的每个辅助用户，根据脑机接口任务的范式，对脑电信号数据预处理后进行特征提取，得到每个辅助用户的特征样本集；
S2.根据脑机接口任务的范式和类型，选择待训练目标神经网络模型(w，Fθ，Fψ)，并初始化特征权重，所述待训练目标神经网络模型包括特征器和回归器/分类器，其中，w＝[w1，...，wd]T为特征样本的权重，d为特征样本的维度，θ为特征器的权重参数，Fθ(·)表示特征提取函数，ψ表示回归器/分类器的权重参数，Fψ(·)表示回归/分类函数；
S3.为每个辅助用户初始化一个待训练辅助神经网络模型
Figure FDA0003528758520000011
其与待训练目标神经网络模型(w，Fθ，Fψ)结构相同，s∈[1，S]，S为脑电图数据集中辅助用户的个数；
S4.使用每个辅助用户的特征样本集，训练该辅助用户对应的待训练辅助神经网络模型
Figure FDA0003528758520000012
S5.使用第i个辅助用户的特征样本集，分别计算组合神经网络模型
Figure FDA0003528758520000013
和待训练目标神经网络模型(w，Fθ，Fψ)对该辅助用户的损失，从而更新待训练目标神经网络模型的参数w、θ、ψ，其中，w、Fθ来自待训练目标神经网络模型(w，Fθ，Fψ)，
Figure FDA0003528758520000014
来自第j个辅助用户对应训练辅助神经网络模型
Figure FDA0003528758520000015
S6.重复S4～S5，直至待训练目标神经网络模型的输出收敛，得到训练好的目标神经网络模型(w，Fθ，Fψ)。
2.如权利要求1所述的方法，其特征在于，特征器和回归器/分类器中神经网络采用全连接神经网络。
3.如权利要求1所述的方法，其特征在于，对于运动想象范式的脑机接口，滤波范围为[8，30]赫兹，采用共同空间模式方法进行特征提取；对于人类疲劳程度的预测，滤波范围为[1，30]赫兹，提取α波段和θ波段的平均功率谱密度作为特征。
4.一种无需校准的脑机接口模型的训练方法，其特征在于，该方法包括以下步骤：
S1.对脑电图数据集中的每个辅助用户，根据脑机接口任务的范式，对脑电信号数据预处理，得到每个辅助用户的脑电信号样本集；
S2.根据脑机接口任务的范式和类型，选择待训练目标神经网络模型(w，Fθ，Fψ)，并初始化特征权重，所述待训练目标神经网络模型包括特征器和回归器/分类器，其中，w＝[w1，...，wc]T为脑电信号通道的权重，c为脑电信号通道数，θ为特征器的权重参数，Fθ(·)表示特征提取函数，ψ表示回归器/分类器的权重参数，Fψ(·)表示回归/分类函数；
S3.为每个辅助用户初始化一个待训练辅助神经网络模型
Figure FDA0003528758520000021
其与待训练目标神经网络模型(w，Fθ，Fψ)结构相同，s∈[1，S]，S为脑电图数据集中辅助用户的个数；
S4.使用每个辅助用户的脑电信号样本集，训练该辅助用户对应的待训练辅助神经网络模型
Figure FDA0003528758520000031
S5.使用第i个辅助用户的脑电信号样本集，分别计算组合神经网络模型
Figure FDA0003528758520000032
和待训练目标神经网络模型(w，Fθ，Fψ)对该辅助用户的损失，从而更新待训练目标神经网络模型的参数w、θ、ψ，其中，w、Fθ来自待训练目标神经网络模型(w，Fθ，Fψ)，
Figure FDA0003528758520000033
来自第j个辅助用户对应训练辅助神经网络模型
Figure FDA0003528758520000034
S为脑电图数据集中辅助用户的个数；
S6.重复S4～S5，直至待训练目标神经网络模型的输出收敛，得到训练好的目标神经网络模型(w，Fθ，Fψ)。
5.如权利要求4所述的方法，其特征在于，特征器和回归器/分类器中神经网络采用卷积神经网络。
6.如权利要求4所述的方法，其特征在于，对于运动想象范式的脑机接口，滤波范围为[8，30]赫兹；对于人类疲劳程度的预测，滤波范围为[1，30]赫兹。
7.如权利要求1或4所述的方法，其特征在于，根据任务的范式和类型，设置一个能够满足需求的神经网络架构，并分为特征器Fθ和回归器/分类器Fψ两部分，所述特征器用于抽象出原始数据中的特征，所述回归器/分类器用于根据特征器提取出的特征，得到目标任务的预测值，若任务类型是分类任务，Fψ是分类器，若任务类型是回归任务，Fψ是回归器。
8.如权利要求1或4所述的方法，其特征在于，
步骤S5.使用第i个辅助用户的特征样本集，分别计算组合神经网络模型
Figure FDA0003528758520000041
和待训练目标神经网络模型(w，Fθ，Fψ)对该辅助用户的损失，从而更新待训练目标神经网络模型的参数w、θ、ψ，其中，
Figure FDA0003528758520000042
来自第j个辅助用户对应训练辅助神经网络模型
Figure FDA0003528758520000043
Fψ来自待训练目标神经网络模型(w，Fθ，Fψ)，j≠i，i，j∈[1，S]。
9.如权利要求1或4所述的方法，其特征在于，步骤S5中，使用第i个辅助用户的特征样本集，分别计算组合神经网络模型
Figure FDA0003528758520000044
组合神经网络模型
Figure FDA0003528758520000045
和待训练目标神经网络模型(w，Fθ，Fψ)对该辅助用户的损失，从而更新待训练目标神经网络模型的参数w、θ、ψ，其中，w、Fθ来自待训练目标神经网络模型(w，Fθ，Fψ)，
Figure FDA0003528758520000046
来自第j个辅助用户对应训练辅助神经网络模型
Figure FDA0003528758520000047
Figure FDA0003528758520000048
来自第j个辅助用户对应训练辅助神经网络模型
Figure FDA0003528758520000049
Fψ来自待训练目标神经网络模型(w，Fθ，Fψ)，j≠i，i，j∈[1，S]。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的无需校准的脑机接口模型的训练方法。
CN201910869929.0A 2019-09-20 2019-09-20 一种无需校准的脑机接口模型的训练方法 Active CN110751032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910869929.0A CN110751032B (zh) 2019-09-20 2019-09-20 一种无需校准的脑机接口模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910869929.0A CN110751032B (zh) 2019-09-20 2019-09-20 一种无需校准的脑机接口模型的训练方法

Publications (2)

Publication Number Publication Date
CN110751032A CN110751032A (zh) 2020-02-04
CN110751032B true CN110751032B (zh) 2022-08-02

Family

ID=69276497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910869929.0A Active CN110751032B (zh) 2019-09-20 2019-09-20 一种无需校准的脑机接口模型的训练方法

Country Status (1)

Country Link
CN (1) CN110751032B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462947A (zh) * 2020-12-11 2021-03-09 中国人民解放军国防科技大学 多人脑机接口投票决策系统及方法
CN112764526B (zh) * 2020-12-29 2022-10-21 浙江大学 一种基于多模型动态集成的自适应脑机接口解码方法
CN112684891A (zh) * 2020-12-30 2021-04-20 杭州电子科技大学 基于多源流形嵌入迁移的脑电信号分类方法
CN113298242B (zh) * 2021-06-08 2022-08-05 浙江大学 一种基于脉冲神经网络的脑机接口解码方法
CN113589937B (zh) * 2021-08-04 2024-04-02 浙江大学 一种基于孪生网络核回归的侵入式脑机接口解码方法
CN114298099B (zh) * 2021-12-27 2024-08-09 华中科技大学 一种脑机接口模型的训练方法及脑电信号识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182042A (zh) * 2014-08-14 2014-12-03 华中科技大学 一种多模态信号的脑机接口方法
CN104375635A (zh) * 2014-08-14 2015-02-25 华中科技大学 一种快速近红外脑机接口方法
CN106095086A (zh) * 2016-06-06 2016-11-09 深圳先进技术研究院 一种基于无创电刺激的运动想象脑机接口控制方法
WO2018029679A1 (en) * 2016-08-07 2018-02-15 Hadasit Medical Research Services And Development Ltd. Methods and system for assessing a cognitive function
CN107844755A (zh) * 2017-10-23 2018-03-27 重庆邮电大学 一种结合dae和cnn的脑电信号特征提取与分类方法
CN109583346A (zh) * 2018-11-21 2019-04-05 齐鲁工业大学 基于lstm-fc的脑电信号特征提取与分类识别方法
CN109598222A (zh) * 2018-11-26 2019-04-09 南开大学 基于eemd数据增强的小波神经网络运动想象脑电分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9474481B2 (en) * 2013-10-22 2016-10-25 Mindstrong, LLC Method and system for assessment of cognitive function based on electronic device usage
KR20200074951A (ko) * 2017-10-17 2020-06-25 새티쉬 라오 신경계 장애의 식별 및 모니터링을 위한 머신 러닝 기반 시스템
EP3498169B1 (en) * 2017-12-13 2024-06-12 Tata Consultancy Services Limited System and method for classification and quantitative estimation of cognitive stress

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182042A (zh) * 2014-08-14 2014-12-03 华中科技大学 一种多模态信号的脑机接口方法
CN104375635A (zh) * 2014-08-14 2015-02-25 华中科技大学 一种快速近红外脑机接口方法
CN106095086A (zh) * 2016-06-06 2016-11-09 深圳先进技术研究院 一种基于无创电刺激的运动想象脑机接口控制方法
WO2018029679A1 (en) * 2016-08-07 2018-02-15 Hadasit Medical Research Services And Development Ltd. Methods and system for assessing a cognitive function
CN107844755A (zh) * 2017-10-23 2018-03-27 重庆邮电大学 一种结合dae和cnn的脑电信号特征提取与分类方法
CN109583346A (zh) * 2018-11-21 2019-04-05 齐鲁工业大学 基于lstm-fc的脑电信号特征提取与分类识别方法
CN109598222A (zh) * 2018-11-26 2019-04-09 南开大学 基于eemd数据增强的小波神经网络运动想象脑电分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Learning Temporal Information for Brain-Computer Interface Using Convolutional Neural Networks";Siavash Sakhavi 等;《IEEE Transactions on Neural Networks and Learning Systems》;20181130;第29卷(第11期);5619-5629 *
"基于Actor-Critic和神经网络的闭环脑机接口控制器设计";孙京诰 等;《控制与决策》;20181130;第33卷(第11期);1967-1973 *

Also Published As

Publication number Publication date
CN110751032A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
CN110751032B (zh) 一种无需校准的脑机接口模型的训练方法
Zhang et al. Multi-person brain activity recognition via comprehensive EEG signal analysis
CN113693613B (zh) 脑电信号分类方法、装置、计算机设备及存储介质
CN111553295B (zh) 基于自注意力机制的多模态情感识别方法
CN112800998A (zh) 融合注意力机制和dmcca的多模态情感识别方法及系统
CN113011239B (zh) 一种基于最优窄频带特征融合的运动想象分类方法
CN109299647B (zh) 一种面向车辆控制的多任务运动想象脑电特征提取及模式识别方法
CN113392733B (zh) 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法
CN114533086A (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
Ma et al. Depersonalized cross-subject vigilance estimation with adversarial domain generalization
CN111543988B (zh) 一种自适应认知活动识别方法、装置及存储介质
CN111436929A (zh) 一种神经生理信号的生成和识别方法
CN116919422A (zh) 基于图卷积的多特征情感脑电识别模型建立方法及装置
CN117473303B (zh) 基于脑电信号的个性化动态意图特征提取方法及相关装置
CN117493955B (zh) 一种癫痫患者的脑电信号分类模型的训练方法
Havugimana et al. Predicting cognitive load using parameter-optimized cnn from spatial-spectral representation of eeg recordings
CN118035816A (zh) 一种脑电信号分类方法、装置和存储介质
CN117609951A (zh) 一种融合脑电和功能近红外的情感识别方法、系统及介质
CN117609863A (zh) 基于脑电微状态的长时脑电情绪识别方法
Wang et al. Improved brain–computer interface signal recognition algorithm based on few-channel motor imagery
CN114638253B (zh) 基于情感脑电特征融合优化机制的身份识别系统及方法
CN116484913A (zh) 一种基于深度强化学习和双额叶残差网络的脑电情感识别系统
Zhang et al. An ECoG‐Based Binary Classification of BCI Using Optimized Extreme Learning Machine
CN116369945A (zh) 基于4d脉冲神经网络的脑电认知识别方法
Castro et al. Development of a deep learning-based brain-computer interface for visual imagery recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant