CN114504317A - 一种基于脑电网络的情绪实时监测系统 - Google Patents

Abstract

本发明公开了一种基于脑电网络的情绪实时监测系统，生物医学信息技术领域。本发明系统通过佩戴在头部的电极帽(图1，64通道，国际标准10‑20系统电极位置)采集被试在不同情绪状态下的脑电信号，针对采集到的脑电数据，利用脑电网络分析方法构建对应情绪状态下的脑电网络，通过发展所得的脑电网络特征挖掘算法及情绪识别模型，对被试情绪脑电数据进行实时在线分析与解码，最终系统实现对不同情绪状态的解码、识别与监测。

Description

一种基于脑电网络的情绪实时监测系统

技术领域

本发明属于生物医学信息技术领域，具体涉及脑-机接口领域中的模式识别分类及在线系统的实现。

背景技术

脑-机接口(Brain Computer Interface,BCI)是一种直接利用大脑产生的神经电生理活动信号实现人机交互的系统。脑电图(electroencephalogram，EEG)又称为头皮脑电，是通过非侵入式电极记录脑细胞群的自发性、节律性电活动，具有高时间分辨率、无创等特性，其更适用于以人为对象的BCI系统中。传统基于脑电的BCI系统一般由三部分组成：脑电信号采集系统、信号特征处理系统、外部控制系统。BCI系统通过采集受试者的脑电信号，再通过信号处理，特征提取及分类识别方法，发掘出不同交互任务下大脑活动的特定差异模式，通过对大脑指令的准确解码，获取受试者的控制指令及意图，把控制意图编码成外部设备能直接接收的命令，进而实现外部设备的控制。目前，BCI系统的应用主要集中在运动障碍患者及语言交流障碍患者等临床的辅助康复中，为患者日常的活动交流、康复训练等提供有限的辅助。因此，如何设计并实现更具智能化、人性化的BCI交互系统依旧是研究者们共同面临的难题与挑战。

情感计算是智能交互系统设计与实现研究中的重要领域之一。情感计算的最终目的是能够设计一种计算机系统，这种系统能够自动感知并识别人类的情感，使得交互系统能够根据人类的情感状态做出相应情景下的动态调整，以完成智能交互任务。情感计算的最终目的是让人机交互过程更加地自然、生动和智能，让计算机可以像人一样具备情感感知能力，使得人机交互设备在实际的生活场景中可以更好地为人类服务，为实现智能人机交互做出重要贡献。情绪识别作为情感计算研究中不可或缺的一部分，其研究内容主要包括人面部表情的变化、语音语速与振幅的变化、心率跳动快慢的变化、行为举止、文本信息和生理信号识别等。由于情绪是一个涉及时间、环境、空间、语言、文化、种族等多方面因素共同作用的结果，目前的情绪识别研究仍面临着许多的问题与挑战。研究发现，基于个体电生理信号的情绪识别比基于音频和视觉信号的更可靠，因为这些生理信号作为个体生理状态的直接反映，可以真实的描述个体的情绪状态。因此，如何利用个体情绪加工过程中的生理信号，客观准确地评估个体的情绪状态，依旧是情绪识别研究领域的研究目标之一。

为实现更加智能化的交互系统，本研究针对情感计算脑机接口领域中的情绪识别问题展开研究，设计并实现了一套能准确评估与识别受试情绪状态的情绪监测系统。具体来说，本系统通过采集受试者的脑电信号，通过系统独有的脑电信号处理及脑网络分析方法，挖掘受试不同情绪状态下的脑电网络拓扑差异模式，进而挖掘出能有效反映被试情绪状态的特异性脑网络空间模式特征，通过机器学习算法实现对被试情绪状态的准确解码，实现对被试情绪状态的准确监测与评估，本系统为临床精神类疾病患者的状态监测与评估及智能情感交互系统的设计与实现提供了一种潜在的实现方案。

发明内容

本发明设计并实现了一套实时情绪监测BCI系统，系统通过佩戴在头部的电极帽(图1，64通道，国际标准10-20系统电极位置)采集被试在不同情绪状态下的脑电信号，针对采集到的脑电数据，利用脑电网络分析方法构建对应情绪状态下的脑电网络，通过发展所得的脑电网络特征挖掘算法及情绪识别模型，对被试情绪脑电数据进行实时在线分析与解码，最终系统实现对不同情绪状态的解码、识别与监测。综上，本发明设计并实现了一套基于脑电网络的情绪实时监测BCI系统，该系统整体结构框架如图2所示，

本发明技术方案为一种基于脑电网络的情绪实时监测系统，该系统包括：情绪诱导模块、数据采集模块、数据处理与计算模块、解码与监测输出模块；首先，系统通过情绪诱导模块诱发受试者对应的情绪状态；再次，通过系统的数据采集模块实现对受试者不同情绪状态下多导脑电信号的采集任务；之后，利用数据处理与计算模块对采集得到的脑电信号分析与处理，进而解码出受试的实时情绪状态；最后，通过解码与监测输出模块实时输出并显示被试的情绪状态，实现对被试情绪状态的实时解码与监测；

所述数据处理与计算模块中包括：预处理模块、归一化模块、脑电网络计算模块、网络特征提取模块、线性分类器，首先，将采集到的脑电信号经过预处理模块实现对数据的滤波与分段处理，然后通过归一化模块实现对脑电数据的归一化处理；其次，将归一化处理后的脑电数据作为脑电网络计算模块的输入，使用相干算法计算得到脑电网络连接矩阵；再次，针对计算所得的脑电网络连接矩阵，利用监督性学习方法，训练网络特征提取模块，实现对脑电网络矩阵的降维及特征提取；最后，针对提取得到的脑电网络特征，对线性分类器进行训练，并将训练好的线性分类器用于测试阶段的情绪状态解码及监测；

所述脑电网络计算模块是将与处理后的脑电样本数据计算为脑电网络，具体来说：通过计算脑电样本数据两通道间信号的相干性C_xy(f)，将脑电样本数据转化为对应的脑电网络连接矩阵，其中C_xy(f)计算方法为：

其中，x(t)和y(t)表示两个不同通道的脑电信号，P_xy(f)为x(t)和y(t)的互功率谱，P_xx(f)和P_yy(f)分别表示x(t)和y(t)的自功率谱；

所述的网络特征提取模块主要实现对脑电网络样本数据网络空间拓扑差异性特征的挖掘与提取任务；针对构建所得的脑电网络连接矩阵，采用监督性学习方法，挖掘捕捉能有效反映受试情绪状态差异的脑电网络空间拓扑模式；网络特征提取模块的特征提取方法为：

其中，J(w)表示目标函数，N_i和M_j分别代表不同情绪状态样本的脑电网络矩阵，n₁和m₁为对应的样本数目；上式得到能最大化不同情绪状态脑电网络矩阵的映射矩阵W＝{w₁,w₂,...,w_n}；通过引入拉格朗日乘子，可将上式瑞利熵的优化求解转化为如下形式：

其中，λ表示拉格朗日乘子；

得到广义特征值的求解公式，形式如下：

通过对上式的求解，可得到针对不同情绪状态脑电网络的特征提取及映射矩阵W，针对每一个情绪脑电网络样本连接矩阵，其对应的网络特征形式如下：

F＝log(var(W^TNet))

其中，Net代表脑电网络样本，F为对应的提取到的网络特征数据，var(·)表示方差运算。

进一步的，所述预处理模块中的处理方法为：将采集到的脑电信号按照同步标签位置分段取出，并进行30-65Hz的带通滤波。

进一步的，所述归一化模块的方法为：

其中，X_i为样本集中的第i个脑电样本数据，n表示样本总量，

为计算所得的训练集样本平均度量矩阵；针对训练集及测试集的样本数据，利用此度量矩阵实现样本在新空间下的对齐处理，形式如下：

其中，Y_i为经过空间对齐后的映射样本数据；针对训练集及测试集中的每一个样本数据，利用上式，实现对总体样本在新空间下的映射计算，减小训练集与测试集样本间的分布差异，增强系统的解码与监测性能。

进一步的，所述线性分类器为：

其中，w₀为线性分类器的映射向量，b₀为分类器的偏置项。

本系统操作分为训练和测试两个阶段，具体实现流程如图4所示。在实验过程中，受试者需先佩戴好脑电数据采集设备，主试者通过系统的刺激选择操作界面选取用于诱发情绪的视频片段(包括：训练阶段视频和测试阶段视频)。在本系统的刺激素材库中，每类情绪包含6个视频片段，其中4个片段用于训练，2个片段用于测试。此外，每个视频片段时长可自由截取，本系统截取的视频长度约为3分钟。在实验过程中，当每个视频片段播放结束后，系统会要求用户保持静默20s，用于恢复其情绪状态。本系统在完成两类情绪识别任务时，训练过程持续约26分钟，测试过程约13分钟；在进行三类情绪识别任务时，训练大约40分钟，测试大约20分钟。

附图说明

图1为国际10-20系统脑电极分布图。

图2为情绪监测系统整体框架。

图3为情绪监测系统模块组成。

图4为系统操作流程。

图5为训练及测试中情绪诱导相关参数设置。

图6为情绪诱导界面。

图7为用户情绪状态变化图。

图8为脑电网络连接图。

图9为阻抗监测界面。

图10为脑电数据波形图。

图11为用户训练场景图。

图12为用户测试场景图。

具体实施方式

图3详细地阐述了本发明的技术方案及系统实现框架。系统的情绪诱导模块主要用于诱发受试者观看不同视频时的各类情绪；通过数据采集模块，系统可实时同步地采集用户的脑电信号；数据处理与计算模块主要完成脑电数据的预处理、分段、网络计算及网络特征提取，其包括训练与测试两个阶段，训练阶段主要完成训练数据特的提取、特征映射向量的训练和分类模型的训练，测试阶段主要完成系统测试数据的在线处理、脑电网络计算及脑电网络特征提取；解码与监测输出模块主要完成测试数据的实时解码，实现对受试者情绪状态的动态监测，并将监测结果实时输出显示。

结合系统整体结构框架，详细介绍系统的具体操作步骤如下：

步骤1：用户建立个人信息库，用于查询每次操作记录，找寻实验数据。

步骤2：用户佩戴采集设备，通过阻抗检测功能调整脑电采集设备接入阻抗，所有选中导联阻抗均调整到5KΩ以下时，导联图标变绿即为满足实验要求。

步骤3：设备佩戴完备后，通过脑电波形显示界面可实时观察用户脑电波形，通过横向和纵向拉伸，压缩信号波形，可以更加清晰的观察各个脑区对应导联的不同任务下的信号差异。

步骤4：通过用户交互界面选择实验范式，不同实验范式具有不同的计算操作，选择训练实验范式，系统主要负责采集实验数据用于训练情绪监测模型。

步骤5：选取训练实验范式下所需的情绪诱导材料，设置实验相关参数。

步骤6：选取情绪识别实验所要求的脑区对应导联，系统根据选定导联所记录的数据进行训练及测试。

步骤7：情绪诱导视频播放及数据采集同步进行，每50s保存数据及任务标签至CNT文件。

步骤8：训练数据采集完成后，依次对数据进行滤波、分段、脑电网络计算及特征提取、训练情绪监测模型等操作。

步骤9：情绪监测模型训练好后通过用户交互界面选择测试实验范式，系统通过对测试过程脑电数据采集与处理，实现对被试情绪的实时解码。

步骤10：在测试阶段，情绪诱导视频播放及数据采集同步进行，将测试数据传入训练好的情绪实时监测模型，每5s输出一次分类结果，通过监测界面实时输出被试的情绪状态，实现对被试情绪状态的实时监测。

步骤11：将测试阶段的输出结果写入到Txt文件，记录测试过程中被试的情绪监测结果，使用Windows消息机制实时显示当前情绪状态，并显示当前情绪状态的脑电网络。

图5显示了系统的情绪刺激选择界面，其主要用于训练以及测试过程情绪诱发刺激的选取；在实验过程中，受试者可以选取任意视频片段，并通过修改训练及测试过程中的相关基础参数(如样本时长、滑动窗长等)，提升系统的动态解码及监测性能。图6展示了系统的情绪诱导模块界面，该界面主要用于播放训练及测试过程中所选择的视频刺激片段。

系统的数据采集模块主要用于实时采集受试者观看视频刺激时的脑电信号。本系统采用64通道的ASA-Lab(ANTNeuro)放大器实现对脑电数据的采集，采样频率设为1000Hz，脑电电极位置按照国际标准的10-20系统放置，如图1。

数据处理与计算模块为整个系统的核心工作，主要包括训练和测试两个实验阶段。在训练阶段，主要完成脑电网络映射向量的训练、训练样本特征的提取及情绪识别模型的训练；在测试阶段，针对每一个脑电数据测试样本，系统进行脑电网络的计算及相应网络特征的提取，并根据提取到的网络特征进行情绪状态的实时动态解码及监测显示。本系统针对训练和测试两个阶段的脑电数据样本进行一致的数据处理及分析流程，包括脑电信号预处理、归一化映射、脑电网络计算及脑电网络特征提取。

其中，预处理主要为滤波处理，将脑电数据样本分段取出后，每段长度为5s，针对每5s的脑电数据样本，采用30-65Hz的带通滤波器进行频段滤波；归一化模块主要解决样本间分布不一致的问题，缩小样本间的分布差距，进一步提升系统的情绪实时解码及监测性能。脑电网络计算主要完成与脑电数据样本对应的网络评估，本系统采用相干算法评估不同导联脑电数据间的邻接权值，取值范围为0-1，权值系数越接近1，表明两导脑电信号之间的相关性越强，即在情绪的加工过程中相应脑区间的信息协同与交互关系更为紧密。网络特征的提取主要实现对样本数据脑电网络空间拓扑信息的提取和挖掘，其实现的主要思想为挖掘捕捉能将不同情绪对应网络样本间空间拓扑差异最大化的特征模式，以此寻找出相应的最优投影向量，通过此向量，将不同情绪状态对应的脑电网络样本数据实现降维，增大样本间的区分度，进而提升系统的解码准确度，提升系统的实时动态监测性能。归一化模块是缩小训练集及测试集样本间的分布差异，使不同数据样本间的分布更加一致，进而提升测试阶段的识别准确率，提升系统的在线解码及监测性能。

由于线性分类器主要解决二分类任务，系统在针对多类情绪解码与监测的实现过程中，采用将多类任务分解为多个子二分类的实现策略，以实现对多类情绪状态的准确解码与动态监测。目前，在针对情绪识别的研究中，主要针对正性、中性和负性展开研究，基于以上策略，本系统可实现二分类(正性、负性)及三分类(正性、中性、负性情绪)的实时在线情绪解码及动态监测。系统的解码与监测输出模块采用最简单的线性分类器实现，线性分类器可有效降低系统对情绪解码的时间复杂度，提升系统的实时解码性能。具体来说，针对每个提取到的样本脑电网络空间拓扑模式特征，在最小化类内样本聚散度的策略下，寻找能有效最大化类间离散度样本特征映射，将数据样本投影到一个低维空间，以实现对情绪样本的状态解码。为了更直观地显示受试者的情绪状态，系统将解码得到的受试情绪状态通过GUI界面实时动态的显示出来，并绘制受试的情绪状态动态变化过程图。如图7所示，图中左边部分通过蓝线(位置靠下的线)绘制真实标签，通过红线(位置靠上的线)绘制解码标签；右方输出框实时输出当前预测结果。除此之外，为了使用户情绪变化时的脑电网络更加直观的显示出来，系统将实时测试过程中的脑电网络连接进行同步显示，稀疏化脑电网络连接图绘制如图8所示(稀疏阈值为0.05)。

为进一步评估本发明所设计的情绪监测系统性能，我们招募了14名被试进行在线情绪监测的验证性实验。在进行在线实验之前，所有受试者被告知在线系统和设备的无害性。在实验开始前，主试首先对受试者进行必要的实验流程操作指导，之后，实验按照如下流程进行。

本发明设计实现的情绪实时监测系统主要包括训练和测试两个阶段，图4给出了完整的在线实验流程。在整个实验过程中，每位受试者需要观看12个视频片段，其中8个视频片段用于训练(4个正性和4个负性)，4个视频片段用于实时在线测试(2个正性和2个负性)。此处视频片段时间长度及数量均通过预实验初步设定，可根据具体要求自行设定。

实验开始时，主试指导受试者按照要求在头部佩戴电极帽，并根据仪器使用规范将电极帽接入放大器设备；通过向电极处注入电极膏调整设备的连接阻抗，通过系统的阻抗监测界面查看电极阻抗(如图9)；待阻抗低于5KΩ时，达到实验要求，通过系统信号显示界面，查看信号波形并确认信号质量；通过上述流程，完成实验的前期准备工作。

在实验的训练阶段，主要要求受试者集中精力观看情绪诱发视频片段，时长约为26min。训练数据采集结束后，读取训练脑电数据(如图10)，根据样本标签，每5s脑电数据作为一个训练数据样本，并对其进行30～65Hz的带通滤波。对滤波后的脑电数据样本按照系统既定的预处理流程进行处理，之后进行脑电网络的计算及特征提取，进而训练得到情绪解码模型，图11为实验的训练场景图。

在实验的测试阶段，受试者需要观看13分钟的测试视频。在测试数据的采集过程中，系统在线实时完成与训练一致的数据处理过程，包括分段、滤波、归一化、脑电网络计算、特征提取，并将提取到的网络拓扑特征输入情绪解码模型，并得到实时的情绪解码结果；系统根据解码结果，实时动态绘制出受试的情绪状态监测图，实现情绪状态的在线解码与监测，图12为用户测试场景图。

系统测试结果

为测试验证本发明系统的稳定性及有效性，我们有偿招募14名受试(7个女生，7个男生，均为右利手，平均年龄为23.6±1.2)参与系统的情绪实时在线解码与监测实验。本实验内容通过了电子科技大学伦理委员会的审核并批准。在参与实验前，所有受试者需了解实验内容并阅读实验要求，自愿签订实验知情同意书。在实验过程中，受试者坐在安静、舒适的环境下，每名受试都按照系统设计流程完成训练和测试2个实验阶段，整个实验过程约40min。在实验结束后，我们针对每一名受试者的在线情绪解码及监测结果进行统计，并将在线解码标签与真实标签进行匹配对比，得出系统针对每名受试者的在线解码及监测准确率，同时计算出对应的F1-Score作为评测指标，实验结果如表1。

表1各用户测试准确率

通过表1可以看出：系统针对14名受试者的平均在线情绪解码准确率为84.56％，受试者之间的准确率统计标准差为9.29％；与此对应，F1-Score评测指标为0.84±0.10。通过在线实验结果可以看出：系统在针对二类情绪的解码及监测任务具有较高的解码准确率，且能有效消除不同被试间的个体差异性，较高的稳定性。

本发明使用多导脑电信号构建脑电网络对情绪状态进行实时解码与识别监测，实验结果表明：系统对两类情绪的平均解码准确率为84.5％；此外，系统可通过调整滑动窗进行实时性能的调整，系统可实现每1s输出一个解码结果，满足在线监测的高实时解码及监测特性要求。

通过实验证明：本发明的系统在情感脑机接口领域的在线情绪解码任务中有较好的效果，通过本发明，本领域的技术研究人员将会意识到，本发明所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围。

Claims (4)

1.一种基于脑电网络的情绪实时监测系统，该系统包括：情绪诱导模块、数据采集模块、数据处理与计算模块、解码与监测输出模块；首先，系统通过情绪诱导模块诱发受试者对应的情绪状态；再次，通过系统的数据采集模块实现对受试者不同情绪状态下多导脑电信号的采集任务；之后，利用数据处理与计算模块对采集得到的脑电信号分析与处理，进而解码出受试的实时情绪状态；最后，通过解码与监测输出模块实时输出并显示被试的情绪状态，实现对被试情绪状态的实时解码与监测；

所述数据处理与计算模块中包括：预处理模块、归一化模块、脑电网络计算模块、网络特征提取模块、线性分类器，首先，将采集到的脑电信号经过预处理模块实现对数据的滤波与分段处理，然后通过归一化模块实现对脑电数据的归一化处理；其次，将归一化处理后的脑电数据作为脑电网络计算模块的输入，使用相干算法计算得到脑电网络连接矩阵；再次，针对计算所得的脑电网络连接矩阵，利用监督性学习方法，训练网络特征提取模块，实现对脑电网络矩阵的降维及特征提取；最后，针对提取得到的脑电网络特征，对线性分类器进行训练，并将训练好的线性分类器用于测试阶段的情绪状态解码及监测；

所述脑电网络计算模块是将与处理后的脑电样本数据计算为脑电网络，具体来说：通过计算脑电样本数据两通道间信号的相干性C_xy(f)，将脑电样本数据转化为对应的脑电网络连接矩阵，其中C_xy(f)计算方法为：

其中，x(t)和y(t)表示两个不同通道的脑电信号，P_xy(f)为x(t)和y(t)的互功率谱，P_xx(f)和P_yy(f)分别表示x(t)和y(t)的自功率谱；

所述的网络特征提取模块主要实现对脑电网络样本数据网络空间拓扑差异性特征的挖掘与提取任务；针对构建所得的脑电网络连接矩阵，采用监督性学习方法，挖掘捕捉能有效反映受试情绪状态差异的脑电网络空间拓扑模式；网络特征提取模块的特征提取方法为：

其中，J(w)表示目标函数，N_i和M_j分别代表不同情绪状态样本的脑电网络矩阵，n₁和m₁为对应的样本数目；上式得到能最大化不同情绪状态脑电网络矩阵的映射矩阵W＝{w₁,w₂,...,w_n}；通过引入拉格朗日乘子，可将上式瑞利熵的优化求解转化为如下形式：

其中，λ表示拉格朗日乘子；

得到广义特征值的求解公式，形式如下：

通过对上式的求解，可得到针对不同情绪状态脑电网络的特征提取及映射矩阵W，针对每一个情绪脑电网络样本连接矩阵，其对应的网络特征形式如下：

F＝log(var(W^T Net))

其中，Net代表脑电网络样本，F为对应的提取到的网络特征数据，var(·)表示方差运算。

2.如权利要求1所述的一种基于脑电网络的情绪实时监测系统，其特征在于，所述预处理模块中的处理方法为：将采集到的脑电信号按照同步标签位置分段取出，并进行30-65Hz的带通滤波。

3.如权利要求1所述的一种基于脑电网络的情绪实时监测系统，其特征在于，所述归一化模块的方法为：

其中，X_i为样本集中的第i个脑电样本数据，n表示样本总量，

为计算所得的训练集样本平均度量矩阵；针对训练集及测试集的样本数据，利用此度量矩阵实现样本在新空间下的对齐处理，形式如下：

其中，Y_i为经过空间对齐后的映射样本数据；针对训练集及测试集中的每一个样本数据，利用上式，实现对总体样本在新空间下的映射计算，减小训练集与测试集样本间的分布差异，增强系统的解码与监测性能。

4.如权利要求1所述的一种基于脑电网络的情绪实时监测系统，其特征在于，所述线性分类器为：

其中，w₀为线性分类器的映射向量，b₀为分类器的偏置项。

Images