CN110070105B - 基于元学习实例快速筛选的脑电情绪识别方法、系统 - Google Patents
基于元学习实例快速筛选的脑电情绪识别方法、系统 Download PDFInfo
- Publication number
- CN110070105B CN110070105B CN201910228705.1A CN201910228705A CN110070105B CN 110070105 B CN110070105 B CN 110070105B CN 201910228705 A CN201910228705 A CN 201910228705A CN 110070105 B CN110070105 B CN 110070105B
- Authority
- CN
- China
- Prior art keywords
- data
- sample
- electroencephalogram
- emotion recognition
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012216 screening Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 62
- 230000008451 emotion Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 20
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000002474 experimental method Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 210000004556 brain Anatomy 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000006978 adaptation Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000005065 mining Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 9
- 238000013526 transfer learning Methods 0.000 description 7
- 230000002996 emotional effect Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002269 spontaneous effect Effects 0.000 description 3
- 208000014644 Brain disease Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 208000029560 autism spectrum disease Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000008449 language Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Abstract
本发明属于脑机接口以及机器学习领域，具体涉及了一种基于元学习实例快速筛选的脑电情绪识别方法、系统，旨在解决在样本数量不足的情况下，很难实现脑电情绪识别系统的跨被试者、跨时间快速适配的问题。本发明方法包括：获取设定时间内的各电极脑电数据作为待识别脑电数据；分别计算各电极数据的特征向量并拼接，得到待识别特征向量；采用训练好的情绪识别模型，依据待识别特征向量，获取相应的情绪标签并输出。本发明采用机器学习的前沿领域之一的元学习方法，既受益于深度学习所带来的强大表示能力，又得益于元学习强大的关系挖掘能力，有效提高在带标签样本数量不足的情况下的情绪识别模型的泛化能力，提高了情绪识别的速度和精度。
Description
技术领域
本发明属于脑机接口以及机器学习领域，具体涉及了一种基于元学习实例快速筛选的脑电情绪识别方法、系统。
背景技术
脑电情绪识别系统是一种新兴的情绪识别方法，也是脑-机接口研究的重要组成部分。相比于基于面部表情、语言、动作和文本等传统的情绪识别方法，脑电情绪识别更加客观、可靠。在脑电情绪识别中，多数使用富含情绪信息的图片、音频、视频等方法唤起被试者的情绪，同时用多个电极在头皮多个位置采集电信号，这些电信号蕴含大脑在不同情绪状态下的响应模式。在设定好的时间间隔上截取采集于多个位置的脑电信号，并提取各种时域、频域、时频特征，构成脑电情绪特征向量。脑电情绪识别的任务，就是通过机器学习手段，基于脑电情绪特征向量推断使用者的情绪[1]。
基于脑电的情绪识别系统依然存在一些实用性问题，例如，不同被试者的脑电数据差异大，导致难以获得能够跨被试使用的通用模型(general model)；鉴于脑电的非平稳特性，同一个被试者的脑电分布(distribution)会随时间变化，难以获得可以长期使用的模型(例如间隔一周，模型表现不佳)。因此，如果需要识别某个目标被试者(targetsubject)的情绪，现有方法是作预实验，采集足够数量的带标签样本，训练分类器，然后在短期内用于预测目标被试者的情绪状态。然而，在一些特定的实际应用中，我们需要快速为新被试者适配可用的模型，尽量压缩预实验所耗费的时间，提高效率。可是，当带标签样本数量较少的时候，模型很可能会出现泛化能力不足或过拟合(overfitting)的问题。
近年来，一些研究试图使用迁移学习方法解决上述问题[2]，[3]。迁移学习是机器学习的重要分支，目的是降低机器学习过程对带标签样本的依赖程度。当带标签样本很少，甚至没有带标签样本时，仍然可以从算法角度出发，提高模型的泛化能力。迁移学习中包括两个领域(domain)：知识的输出侧，即源领域(source domain)；知识的输入侧，即目标领域(target domain)。每个领域指的是相应的数据，以及数据的边缘概率分布(marginaldistribution)。在脑电情绪识别任务中，将每个被试者的每次实验所采集的数据，均视为一个领域，领域之间存在联系，也存在差异。迁移学习可分为三种：第一种是基于特征的迁移学习，该方法获得两个领域的隐含表示，在这种表示下，两个领域的差异被消减，两个领域共享的信息被编码在隐含表示中；第二种是基于参数的迁移学习，该方法假设两个领域上的模型存在共享的参数或超参数，迁移所用的信息编码在参数或先验里；第三种是基于实例的迁移，做法是在源领域中挑选一些能用于目标领域任务的样本，并按照一定的权重参与模型训练。基于特征的迁移学习的问题在于，此类方法假设目标领域中存在大量无标签样本，这在脑电情绪识别实际应用中是不能成立的：在传统实验范式中，目标领域的脑电样本情绪标签就是外界情绪刺激的标签，因此，脑电数据是和情绪标签是配对的。
总的来说，在样本数量不足的情况下，现有的技术很难实现脑电情绪识别系统的跨被试者、跨时间快速适配。
以下文献是与本发明相关的技术背景资料：
[1].Alarcao S M,Fonseca M J.Emotions recognition using EEG signals:asurvey[J].IEEE Transactions on Affective Computing,2017.
[2].Zheng W L,Lu B L.Personalizing EEG-based affective models withtransfer learning[C]//Proceedings of the Twenty-Fifth International JointConference on Artificial Intelligence.AAAI Press,2016:2732-2738.
[3].Jayaram V,Alamgir M,Altun Y,et al.Transfer learning in brain-computer interfaces[J].IEEE Computational Intelligence Magazine,2016,11(1):20-31.
发明内容
为了解决现有技术中的上述问题，即在样本数量不足的情况下，很难实现脑电情绪识别系统的跨被试者、跨时间快速适配的问题，本发明提供了一种基于元学习实例快速筛选的脑电情绪识别方法，包括：
步骤S10，获取设定时间内的各电极脑电数据作为待识别脑电数据；
步骤S20，分别计算所述待识别脑电数据中各电极脑电数据的特征向量，并将获取的特征向量拼接，得到待识别特征向量；
步骤S30，采用训练好的情绪识别模型，依据所述待识别特征向量，获取相应的情绪标签并输出；
其中，所述情绪识别模型基于深度神经网络构建，其训练过程中，以带标签的脑电数据样本为训练样本集，采用监督学习的方式进行训练。
在一些优选的实施例中，步骤S20中“分别计算所述待识别脑电数据中各电极脑电数据的特征向量，并将获取的特征向量拼接，得到待识别特征向量”，其方法为：
步骤S21，采用带通滤波器对所述待识别脑电数据中各电极数据滤波，获得各电极不同频段脑电数据；
步骤S22，分别计算各电极不同频段脑电数据的特征向量，并将获取的特征向量拼接，得到待识别特征向量。
在一些优选的实施例中，步骤S22中“计算各电极不同频段脑电数据的特征向量”，其方法为：
其中，h(x)为一个电极其中一个频段的特征向量；e为欧拉常数，
为时间信号的标准差，
xi为各电极不同频段脑电数据的中的第i个数据。
在一些优选的实施例中，所述训练样本集，包括带标签采集样本子集、带标签辅助样本子集；
所述带标签采集样本子集中每个带标签采集样本，通过对带标签脑电数据样本进行特征向量计算并拼接后获得；
所述带标签辅助样本子集，为所述带标签采集样本子集中样本数量低于设定阈值时，从样本蓄水池中筛选出的符合要求的样本集合；所述样本蓄水池，由大量带标签特征向量构成。
在一些优选的实施例中，“从样本蓄水池中筛选符合要求的样本集合”，其方法为：
采用训练后的脑电数据-情绪关系网络，基于所述采集样本集，筛选样本蓄水池中样本，获得带标签辅助样本子集；
其中，所述脑电数据-情绪关系网络基于深度神经网络构建，利用样本蓄水池采用元学习策略进行训练。
本发明的另一方面，提出了一种基于元学习实例快速筛选的脑电情绪识别系统，其特征在于，包括获取模块、特征提取拼接模块、情绪识别模块、输出模块；
所述获取模块，配置为获取待识别脑电数据并输入；
所述特征提取拼接模块，配置为提取获取的脑电数据的特征向量，并将各电极不同频段特征向量拼接，得到待识别特征向量；
所述情绪识别模块，配置为基于情绪识别模型，依据待识别特征向量，获得相应的情绪标签；
所述输出模块，配置为将获得的情绪标签输出。
在一些优选的实施例中，所述情绪识别模块，包括样本蓄水池模块、关系网络模块、监督学习模块；
所述样本蓄水池模块，配置为采集不同被测对象的带标签脑电数据，采用特征提取拼接模块，获得带标签样本集；
所述关系网络模块，配置为筛选样本蓄水池中样本，得到带标签辅助样本子集，与带标签采集样本子集构成训练样本集；
所述监督学习模块，配置为依据训练样本集，采用监督学习的方式训练情绪识别模块。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于元学习实例快速筛选的脑电情绪识别方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于元学习实例快速筛选的脑电情绪识别方法。
本发明的有益效果：
(1)本发明基于元学习实例快速筛选的脑电情绪识别方法，可从样本蓄水池中筛选合适的样本作为辅助样本，对样本数据要求少，通过监督学习的方式训练情绪识别网络，避免人工干预，可快速识别情绪。
(2)本发明基于元学习实例快速筛选的脑电情绪识别方法，基于元学习的关系网络对脑电数据快速筛选，既受益于深度学习所带来的强大表示能力，又得益于元学习强大的关系挖掘能力，可实现脑电情绪识别系统的跨被试者、跨时间快速适配。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于元学习实例快速筛选的脑电情绪识别方法的流程示意图；
图2是本发明基于元学习实例快速筛选的脑电情绪识别方法一种实施例的关系网络的训练、采用关系网络筛选数据、训练集构建示例图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于元学习实例快速筛选的脑电情绪识别方法，包括：
步骤S10，获取设定时间内的各电极脑电数据作为待识别脑电数据；
步骤S20，分别计算所述待识别脑电数据中各电极脑电数据的特征向量，并将获取的特征向量拼接，得到待识别特征向量；
步骤S30，采用训练好的情绪识别模型，依据所述待识别特征向量，获取相应的情绪标签并输出；
其中，所述情绪识别模型基于深度神经网络构建，其训练过程中，以带标签的脑电数据样本为训练样本集，采用监督学习的方式进行训练。
为了更清晰地对本发明基于元学习实例快速筛选的脑电情绪识别方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于元学习实例快速筛选的脑电情绪识别方法，包括步骤S10-步骤S30，各步骤详细描述如下：
步骤S10，获取设定时间内的各电极脑电数据作为待识别脑电数据。
脑电数据的本质是多通道时序信号，其中包含了大量的生理与情绪信息，脑电信号分析不仅可以为某些脑疾病提供诊断依据，而且还为某些脑疾病提供了有效的治疗手段。在工程应用方面，利用脑电信号实现脑-计算机接口(BCI)，利用人对不同事物的感觉、运动或认知活动的脑电的不同，通过对脑电信号的有效的提取和分类达到某种控制目的。
步骤S20，分别计算所述待识别脑电数据中各电极脑电数据的特征向量，并将获取的特征向量拼接(concatenat)，得到待识别特征向量。
通过电极采集的脑电信号是脑部自发性生物电位信号，虽然包含了生理与情绪的信息，但不能直接用于情绪识别，必须通过一些方法提取信号中的特征，才能采用模型识别对应的情绪。
步骤S21，采用带通滤波器对所述待识别脑电数据中各电极数据滤波，获得各电极不同频段脑电数据。
本发明实施例中，以时间窗口截取信号(本实施例中采用的窗口宽度为1s)，分别使用带通滤波器(Bandpass Filter)获取以下五个频段的脑电信号：Delta(1-4Hz)、Theta(4-7Hz)、Alpha(8-13Hz)、Beta(13-30Hz)、Gamma(30-50Hz)。
步骤S22，分别计算各电极不同频段脑电数据的特征向量，并将获取的特征向量拼接，得到待识别特征向量。
在每个频段上，分别计算微分熵特征(DE，differential entropy)，计算方法如式(1)所示：
其中，h(x)为一个电极其中一个频段的特征向量；e为欧拉常数，
为时间信号的标准差，
xi为各电极不同频段脑电数据的中的第i个数据。
在微分熵中，时间信号的复杂度是基于标准差来衡量的。研究表明，微分熵特征在情绪分类任务上明显优于传统方法。将所有频段的微分熵特征拼接在一起，并将所有电极上的特征拼接在一起，共同形成一个脑电样本。
步骤S30，采用训练好的情绪识别模型，依据所述待识别特征向量，获取相应的情绪标签并输出。
其中，所述情绪识别模型基于深度神经网络构建，其训练过程中，以带标签的脑电数据样本为训练样本集，采用监督学习的方式进行训练。
如图2所示，为本发明基于元学习实例快速筛选的脑电情绪识别方法一种实施例的关系网络的训练、采用关系网络筛选数据、训练集构建示例图，其中Ⅰ部分为在样本蓄水池中训练关系网络，Ⅱ部分为使用关系网络筛选辅助样本，Ⅲ部分为将筛选出的样本加入训练样本集。
训练样本集，包括带标签采集样本子集、带标签辅助样本子集。
所述带标签采集样本子集中每个带标签采集样本，通过对带标签脑电数据样本进行特征向量计算并拼接后获得。
所述带标签辅助样本子集，为所述带标签采集样本子集中样本数量低于设定阈值时，从样本蓄水池中筛选出的符合要求的样本集合；所述样本蓄水池，由大量带标签特征向量构成。
从样本池中筛选符合要求的样本集合，其方法为：
采用训练后的脑电数据-情绪关系网络，基于所述采集样本集，筛选样本蓄水池中样本，获得带标签辅助样本子集；
其中，所述脑电数据-情绪关系网络基于深度神经网络构建，利用样本蓄水池采用元学习策略进行训练。
如图2中的Ⅰ部分所示，为本发明基于元学习实例快速筛选的脑电情绪识别方法一种实施例的关系网络的训练示例图，将随机抽取的两个样本数据输入关系网络，获得样本数据的相似度评分。
样本蓄水池的数据来源分为三种情况：
(一)、样本蓄水池中的数据均为来自于其他被测试对象的历史数据。
在样本蓄水池中随机抽取两个样本数据，当二者来自同一个被测试对象时，标签设置为1；当二者来自不同的被测试对象时，标签设置为0。重复上述过程多次，形成小批量脑电数据-情绪关系网络训练数据集。
将数据集输入脑电数据-情绪关系网络，计算代价函数对网络最后一层参数的偏导数，并依据链式法则进行反向传播(back propagation)，直到网络的第二层(第一层是输入层)，更新整个网络的参数。
重复进行脑电数据-情绪关系网络训练数据集的制作以及脑电数据-情绪关系网络的计算、参数更新，绘制学习曲线，学习曲线的横轴代表学习进程，纵轴为代价函数，代表网络训练的误差，直至代价函数值不再明显下降，完成脑电数据-情绪关系网的训练。
在整个训练过程中，需要注意每个小批量脑电数据-情绪关系网络训练数据集的平衡性，即标签为1的样本对和标签为0的样本对保持数量相差不大，否则容易导致训练失效。
(二)、样本蓄水池中的数据均为来自于目标被测试对象的历史数据。
在样本蓄水池中随机抽取两个样本数据，当二者来自同一次实验时(例如，同一天)，标签设置为1；当二者来自不同实验时，标签设置为0。训练过程及注意事项同上。
(三)、样本蓄水池中的数据既有来自于其他被测试对象的历史数据，也有来自于目标被测试对象的历史数据。对于此类混合数据，可近似将目标被试者的历史数据视为独立的数据参与抽样。例如，样本蓄水池中存在10位被测试对象的数据，且存在目标被测试对象的2次实验的历史数据，则可将样本蓄水池视为含有12位被测试对象数据的集合。训练过程及注意事项同上。
脑电数据-情绪关系网络经过充分的训练，能够学习到脑电信号之间的关系，并衡量脑电信号之间的距离，把握脑电信号的异同。如图2中的Ⅱ部分所示，为本发明基于元学习实例快速筛选的脑电情绪识别方法一种实施例的采用关系网络筛选数据的示例图，采用关系网络，遍历标定数据的每一个样本数据与样本蓄水池数据的相似度评分。如图2中的Ⅲ部分所示，为本发明基于元学习实例快速筛选的脑电情绪识别方法一种实施例的训练样本集构建示例图，选取相似度评分大于设定阈值的样本蓄水池的样本数据作为辅助样本，与采集数据一起构成训练样本集。
将采集的目标被测对象的采集特征向量集作为标定数据，使用训练好的脑电数据-情绪关系网络顺次遍历标定数据中的每个样本，在本发明一个实施例中，具体的操作方法为：
取出采集特征向量集中一个样本，分别与样本蓄水池中的每个样本构成样本对，输入训练好的脑电数据-情绪关系网络，网络会对每个样本对给出打分，该分数即为两个样本取自同一分布的概率，我们称为相似指数(similarity score)。随后，我们设定一个阈值，将相似指数大于该阈值的样本从样本蓄水池中取出，加入训练集。阈值数字越大，则通过筛选，进入训练集中的实例越多；阈值数字越小，入选训练集的实例越少。本发明一个实施例中，将阈值设置为0.5，采集数据全部遍历完成后，辅助样本集就已经确定好。采集样本子集与辅助样本子集共同构成了情绪识别模型的训练样本集。
情绪识别模型的输入是一个脑电样本向量，输出是情绪状态。输出神经元的个数由待分类的情绪状态数目决定，例如，如果计划按照关键词将情绪分成三类，即正面、中性和负面，则输出神经元有三个，分别对应三种情绪状态。本发明一个实施例中，网络激活函数使用ReLU，最后一层的激活函数为softmax函数，代价函数为softmax交叉熵。
本发明提供一种基于元学习实例快速筛选的脑电情绪识别方法，可有效提高在带标签训练数据不足的情况下情绪识别模型的泛化能力，在人机交互领域、健康管理领域、安防领域和医学领域有很多潜在的应用场景。在人机交互领域，情绪识别使机器可以根据使用者的情绪状态调整自己的交互策略或交互方式，使人与机器的互动更加自然；在健康管理方面，基于可穿戴设备的情绪识别系统可帮助我们量化人体内情绪相关信号在较长时间段内的模式；在安防领域，情绪识别为评估飞行员、驾驶员等的精神状态提供依据；在医疗领域，情绪识别辅助医生诊断和治疗精神类疾病，如自闭症谱系障碍(Autism SpectrumDisorders,ASD)、抑郁症(Depression)等，同时，情感交互系统可以辅助儿童自闭症的诊断与康复训练，对情绪的量化评估也可以评价诊断和康复的效果。
本发明第二实施例的基于元学习实例快速筛选的脑电情绪识别系统，包括获取模块、特征提取拼接模块、情绪识别模块、输出模块；
所述获取模块，配置为获取待识别脑电数据并输入；
所述特征提取拼接模块，配置为提取获取的脑电数据的特征向量，并将各电极不同频段特征向量拼接，得到待识别特征向量；
所述情绪识别模块，配置为基于情绪识别模型，依据待识别特征向量，获得相应的情绪标签；
所述输出模块，配置为将获得的情绪标签输出。
其中，情绪识别模块，包括样本蓄水池模块、关系网络模块、监督学习模块；
所述样本蓄水池模块，配置为采集不同被测对象的带标签脑电数据，采用特征提取拼接模块，获得带标签样本集；
所述关系网络模块，配置为筛选样本蓄水池中样本，得到带标签辅助样本子集，与带标签采集样本子集构成训练样本集；
所述监督学习模块，配置为依据训练样本集，采用监督学习的方式训练情绪识别模块。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于元学习实例快速筛选的脑电情绪识别系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于元学习实例快速筛选的脑电情绪识别方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于元学习实例快速筛选的脑电情绪识别方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种基于元学习实例快速筛选的脑电情绪识别方法，其特征在于，包括：
步骤S10，获取设定时间内的各电极脑电数据作为待识别脑电数据；
步骤S20，分别计算所述待识别脑电数据中各电极脑电数据的特征向量，并将获取的特征向量拼接，得到待识别特征向量；
步骤S30，采用训练好的情绪识别模型，依据所述待识别特征向量，获取相应的情绪标签并输出；
其中，所述情绪识别模型基于深度神经网络构建，其训练过程中，以带标签的脑电数据样本为训练样本集，采用监督学习的方式进行训练；
所述训练样本集，包括带标签采集样本子集、带标签辅助样本子集；
所述带标签采集样本子集中每个带标签采集样本，通过对带标签脑电数据样本进行特征向量计算并拼接后获得；所述带标签辅助样本子集，为所述带标签采集样本子集中样本数量低于设定阈值时，从样本蓄水池中筛选出的符合要求的样本集合；所述样本蓄水池，由大量带标签特征向量构成；
从样本蓄水池中筛选符合要求的样本集合，其方法为：
采用训练后的脑电数据-情绪关系网络，基于所述采集样本子集，筛选样本蓄水池中样本，获得带标签辅助样本子集；所述脑电数据-情绪关系网络基于深度神经网络构建，利用样本蓄水池采用元学习策略进行训练。
2.根据权利要求1所述的基于元学习实例快速筛选的脑电情绪识别方法，其特征在于，步骤S20中“分别计算所述待识别脑电数据中各电极脑电数据的特征向量，并将获取的特征向量拼接，得到待识别特征向量”，其方法为：
步骤S21，采用带通滤波器对所述待识别脑电数据中各电极数据滤波，获得各电极不同频段脑电数据；
步骤S22，分别计算各电极不同频段脑电数据的特征向量，并将获取的特征向量拼接，得到待识别特征向量。
3.根据权利要求2所述的基于元学习实例快速筛选的脑电情绪识别方法，其特征在于，步骤S22中“计算各电极不同频段脑电数据的特征向量”，其方法为：
其中，h(x)为一个电极其中一个频段的特征向量；e为欧拉常数，
为时间信号的标准差，
xi为各电极不同频段脑电数据的中的第i个数据。
4.根据权利要求1所述的基于元学习实例快速筛选的脑电情绪识别方法，其特征在于，所述样本蓄水池，其数据来源分为三种情况：
第一种情况：样本蓄水池中的数据均为其他被测试对象的历史数据；
在样本蓄水池中随机抽取两个样本数据，当二者来自同一个被测试对象时，标签设置为1；当二者来自不同的被测试对象时，标签设置为0；重复上述过程多次，形成小批量脑电数据-情绪关系网络训练数据集；
第二种情况：样本蓄水池中的数据均为目标被测试对象的历史数据；
在样本蓄水池中随机抽取两个样本数据，当二者来自同一次实验时，标签设置为1；当二者来自不同实验时，标签设置为0；重复上述过程多次，形成小批量脑电数据-情绪关系网络训练数据集；
第三种情况：样本蓄水池中的数据包括其他被测试对象的历史数据和目标被测试对象的历史数据；
将目标被试者的历史数据视为独立的数据参与抽样，在样本蓄水池中随机抽取两个样本数据，当二者来自同一个被测对象或一个对象的同一次测试，则将标签设置为1；否则将标签设置为0；重复上述过程多次，形成小批量脑电数据-情绪关系网络训练数据集。
5.根据权利要求4所述的基于元学习实例快速筛选的脑电情绪识别方法，其特征在于，所述脑电数据-情绪关系网络，其训练过程中的训练数据集需要保持平衡性，标签为1的样本对和标签为0的样本对的数量差低于设定阈值。
6.根据权利要求4所述的基于元学习实例快速筛选的脑电情绪识别方法，其特征在于，所述带标签辅助样本子集，其辅助样本的筛选方法为：
步骤M10，通过训练好的脑电数据-情绪关系网络遍历标定数据的每一个样本数据与样本蓄水池数据的相似度评分；
步骤M20，选取相似度评分大于设定阈值的样本蓄水池的样本数据作为辅助样本。
7.一种基于元学习实例快速筛选的脑电情绪识别系统，其特征在于，包括获取模块、特征提取拼接模块、情绪识别模块、输出模块；
所述获取模块，配置为获取待识别脑电数据并输入；
所述特征提取拼接模块，配置为提取获取的脑电数据的特征向量，并将各电极不同频段特征向量拼接，得到待识别特征向量；
所述情绪识别模块，配置为基于情绪识别模型，依据待识别特征向量，获得相应的情绪标签；
所述输出模块，配置为将获得的情绪标签输出；
其中，所述情绪识别模块，包括样本蓄水池模块、关系网络模块、监督学习模块；
所述样本蓄水池模块，配置为采集不同被测对象的带标签脑电数据，采用特征提取拼接模块，获得带标签样本集；
所述关系网络模块，配置为筛选样本蓄水池中样本，得到带标签辅助样本子集，与带标签采集样本子集构成训练样本集；
所述监督学习模块，配置为依据训练样本集，采用监督学习的方式训练情绪识别模块。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于元学习实例快速筛选的脑电情绪识别方法。
9.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-6任一项所述的基于元学习实例快速筛选的脑电情绪识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910228705.1A CN110070105B (zh) | 2019-03-25 | 2019-03-25 | 基于元学习实例快速筛选的脑电情绪识别方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910228705.1A CN110070105B (zh) | 2019-03-25 | 2019-03-25 | 基于元学习实例快速筛选的脑电情绪识别方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110070105A CN110070105A (zh) | 2019-07-30 |
| CN110070105B true CN110070105B (zh) | 2021-03-02 |
Family
ID=67366585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910228705.1A Active CN110070105B (zh) | 2019-03-25 | 2019-03-25 | 基于元学习实例快速筛选的脑电情绪识别方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110070105B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110824478B (zh) * | 2019-10-23 | 2022-04-01 | 成都信息工程大学 | 基于多样化3d雷达回波特征的降水云类型自动分类方法及装置 |
| CN111134666B (zh) * | 2020-01-09 | 2021-05-11 | 中国科学院软件研究所 | 一种多通道脑电数据的情绪识别方法及电子装置 |
| CN111134667B (zh) * | 2020-01-19 | 2024-01-26 | 中国人民解放军战略支援部队信息工程大学 | 基于脑电信号的时间迁移情绪识别方法及系统 |
| CN111813893B (zh) * | 2020-06-24 | 2022-11-18 | 重庆邮电大学 | 基于深度迁移学习的房地产市场分析方法、装置及设备 |
| CN112070177B (zh) * | 2020-09-18 | 2021-10-15 | 中国科学院自动化研究所 | 基于多任务信息提高目标检测泛化能力的脑机接口系统 |
| CN112465152B (zh) * | 2020-12-03 | 2022-11-29 | 中国科学院大学宁波华美医院 | 一种适用于情绪脑-机接口的在线迁移学习方法 |
| CN112906783A (zh) * | 2021-02-06 | 2021-06-04 | 西北大学 | 一种适用于跨被试的脑电情绪识别方法及装置 |
| CN113180695B (zh) * | 2021-04-20 | 2024-04-05 | 西安交通大学 | 脑机接口信号分类方法、系统、设备和存储介质 |
| CN114145744B (zh) * | 2021-11-22 | 2024-03-29 | 华南理工大学 | 基于跨设备前额脑电情绪识别的方法和系统 |
| CN114818786B (zh) * | 2022-04-06 | 2024-03-01 | 五邑大学 | 通道筛选方法、情绪识别方法、系统及存储介质 |
| CN115063188B (zh) * | 2022-08-18 | 2022-12-13 | 中国食品发酵工业研究院有限公司 | 一种基于脑电信号的智能消费者喜好度指数评估方法 |
| CN115576430A (zh) * | 2022-11-10 | 2023-01-06 | 中国科学院自动化研究所 | 脑电通讯方法、系统和电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106108894A (zh) * | 2016-07-18 | 2016-11-16 | 天津大学 | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 |
| CN108881985A (zh) * | 2018-07-18 | 2018-11-23 | 南京邮电大学 | 基于脑电情绪识别的节目评分系统 |
| CN109394207A (zh) * | 2018-08-17 | 2019-03-01 | 西安易朴通讯技术有限公司 | 情绪识别方法及系统、电子设备 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102499677B (zh) * | 2011-12-16 | 2014-04-30 | 天津大学 | 基于脑电非线性特征的情绪状态识别方法 |
| CN105894039A (zh) * | 2016-04-25 | 2016-08-24 | 京东方科技集团股份有限公司 | 情绪识别模型建立方法、情绪识别方法及装置、智能设备 |
| WO2018035160A1 (en) * | 2016-08-15 | 2018-02-22 | The Regents Of The University Of California | Bio-sensing and eye-tracking system |
| CN106886792B (zh) * | 2017-01-22 | 2020-01-17 | 北京工业大学 | 一种基于分层机制构建多分类器融合模型的脑电情感识别方法 |
| CN107157477B (zh) * | 2017-05-24 | 2020-06-09 | 上海交通大学 | 脑电信号特征识别系统及方法 |
| CN107252317A (zh) * | 2017-06-15 | 2017-10-17 | 哈尔滨理工大学 | 一种基于脑电信号的情绪识别方法 |
| CN109330613A (zh) * | 2018-10-26 | 2019-02-15 | 蓝色传感（北京）科技有限公司 | 基于实时脑电的人体情绪识别方法 |
| CN109199414B (zh) * | 2018-10-30 | 2020-11-17 | 武汉理工大学 | 一种基于脑电信号的视听诱发情绪识别方法及系统 |
-
2019
- 2019-03-25 CN CN201910228705.1A patent/CN110070105B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106108894A (zh) * | 2016-07-18 | 2016-11-16 | 天津大学 | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 |
| CN108881985A (zh) * | 2018-07-18 | 2018-11-23 | 南京邮电大学 | 基于脑电情绪识别的节目评分系统 |
| CN109394207A (zh) * | 2018-08-17 | 2019-03-01 | 西安易朴通讯技术有限公司 | 情绪识别方法及系统、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110070105A (zh) | 2019-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070105B (zh) | 基于元学习实例快速筛选的脑电情绪识别方法、系统 | |
| Dissanayake et al. | Deep learning for patient-independent epileptic seizure prediction using scalp EEG signals | |
| Sharma et al. | DepHNN: a novel hybrid neural network for electroencephalogram (EEG)-based screening of depression | |
| CN106886792B (zh) | 一种基于分层机制构建多分类器融合模型的脑电情感识别方法 | |
| Kächele et al. | Methods for person-centered continuous pain intensity assessment from bio-physiological channels | |
| Saif-ur-Rehman et al. | SpikeDeeptector: a deep-learning based method for detection of neural spiking activity | |
| CN111714118B (zh) | 一种基于集成学习的脑认知模型融合方法 | |
| CN114224342B (zh) | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 | |
| Sharma et al. | Audio-video emotional response mapping based upon electrodermal activity | |
| Borra et al. | A lightweight multi-scale convolutional neural network for P300 decoding: analysis of training strategies and uncovering of network decision | |
| CN113796874B (zh) | 一种基于张量分解模型的多元脑电数据识别分析方法 | |
| CN111772629B (zh) | 一种脑认知技能移植的方法 | |
| Ma et al. | A multi-channel feature fusion CNN-BI-LSTM epilepsy EEG classification and prediction model based on attention mechanism | |
| Khoshnevis et al. | Diagnosis of Parkinson’s disease using higher order statistical analysis of alpha and beta rhythms | |
| Wan et al. | GDNet-EEG: An attention-aware deep neural network based on group depth-wise convolution for SSVEP stimulation frequency recognition | |
| Gagliardi et al. | Improving emotion recognition systems by exploiting the spatial information of EEG sensors | |
| Adam et al. | Improving EEG signal peak detection using feature weight learning of a neural network with random weights for eye event-related applications | |
| Sharma et al. | Quantification of Mental Workload Using a Cascaded Deep One-dimensional Convolution Neural Network and Bi-directional Long Short-Term Memory Model | |
| Liu et al. | Automated Machine Learning for Epileptic Seizure Detection Based on EEG Signals. | |
| Paithane et al. | Electroencephalogram signal analysis using wavelet transform and support vector machine for human stress recognition | |
| Lu | Human emotion recognition based on multi-channel EEG signals using LSTM neural network | |
| Ren et al. | Extracting and supplementing method for EEG signal in manufacturing workshop based on deep learning of time–frequency correlation | |
| Mekruksavanich et al. | Deep learning approaches for epileptic seizures recognition based on eeg signal | |
| Abdullah et al. | EEG Emotion Detection Using Multi-Model Classification | |
| Castaño-Candamil et al. | Post-hoc labeling of arbitrary M/EEG recordings for data-efficient evaluation of neural decoding methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |