CN115770044A - 基于脑电相位幅值耦合网络的情绪识别方法及装置 - Google Patents

基于脑电相位幅值耦合网络的情绪识别方法及装置 Download PDF

Info

Publication number
CN115770044A
CN115770044A CN202211469838.6A CN202211469838A CN115770044A CN 115770044 A CN115770044 A CN 115770044A CN 202211469838 A CN202211469838 A CN 202211469838A CN 115770044 A CN115770044 A CN 115770044A
Authority
CN
China
Prior art keywords
node
phase
channel
channels
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211469838.6A
Other languages
English (en)
Other versions
CN115770044B (zh
Inventor
盛婷钰
冯前胜
许敏鹏
肖晓琳
冯彩萍
陈华松
张明利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202211469838.6A priority Critical patent/CN115770044B/zh
Publication of CN115770044A publication Critical patent/CN115770044A/zh
Application granted granted Critical
Publication of CN115770044B publication Critical patent/CN115770044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于脑电相位幅值耦合网络的情绪识别方法及装置,包括:采集N个通道的脑电信号,并对其预处理;使用小波包变换对预处理信号分解和重构,得到一个较低频带信号,一个较高频带的信号;对两个频带脑电信号进行希尔伯特变换,提取低频信号的相位和高频信号的幅值,并计算两通道间的调制指标值PAC;计算并消除相位幅值耦合计算过程中的相位聚类偏差,得到新的调制指标值dPAC,并将所有通道组合间的dPAC组成N×N大小的相位幅值耦合邻接矩阵;根据邻接矩阵构建网络的最大树形图;计算最大树形图的网络特征;将网络特征输入至分类器中进行分类,完成情绪识别。本发明能够进一步提高情绪识别的准确性。

Description

基于脑电相位幅值耦合网络的情绪识别方法及装置
技术领域
本发明涉及信号处理、情绪识别技术领域,具体涉及一种基于脑电相位幅值耦合网络的情绪识别方法及装置。
背景技术
随着智能人机交互和人工智能领域发展热潮,情感计算研究越来越成为人机交互领域发展的新焦点。情绪识别是使计算机或者机器理解人类的情感,实现自然的人机交互,是神经科学、心理学、认知科学、计算机科学和人工智能领域的重要交叉学科研究。
早期的情绪识别研究主要利用外在表现信号,如人的面部表情和声音语调的变化。但是人可能通过伪装面部表情、刻意控制语音语调来掩盖内心真正的情绪。之后,研究人员开始利用人的生理信号进行情绪识别。生理信号直接受神经系统和内分泌系统支配,难以伪装,使得情绪识别更加可靠和客观。脑电信号由中枢神经系统产生,对情绪变化的反应比其他外周神经信号更快,对情绪相关过程的评估也能更准确、客观,并且与其他捕获大脑活动的方法相比,它是一种更便宜的替代方法。
基于脑电的情绪识别需要采取适当的方法从脑电图中提取有意义的信息。现有技术至少存在以下不足:
1.现有的脑电情绪识别方法大多以脑电信号的时间、频率、时-频等特征作为机器学习的输入来识别情绪,如功率谱密度。无论使用的是时域特征还是频域特征,它们通常都是从单个通道信号中获得的,不能表示出通道间的活动。人类情感是最复杂的认知过程之一,不同脑区的神经活动可能不同,脑区之间也存在信息传播和相互作用,因此需要一种跨区域连通性的表征来进行情绪识别。
2.现有的少数通过利用大脑连通性构建脑网络识别情绪的方法大多提取通道之间的皮尔逊相关系数、锁相值作为大脑连通性特征,这些方法只关注通道间的同频带的幅值同步或相位同步,遗漏了通道间跨频带的相位幅值耦合的信息,并且幅值同步和相位同步在计算过程中容易受到容积传导效应或噪声的干扰导致情绪识别效果不佳。另外,在情绪、记忆、学习等高级认知过程中,大脑区域之间的信息交流更多的是通过低频段相位和高频段幅值之间的跨频率耦合(CFC)来完成的,而不是简单的幅值或相位同步。
3.现有的少数利用相位幅值耦合测量通道间关联的方法忽略了相位幅值耦合在计算过程中由非均匀相角分布产生的相位聚类偏差,导致一些虚假耦合被计入其中,影响后续分类模块,降低了识别效果。
4.现有的少数利用同频带的幅值或相位同步指标构建脑网络的方法在阈值选择上主要依赖于任意的标准,比如绝对权重阈值(例如选择保留>0.5的值)、上限密度限制(例如保持最强的10%的连接),带来了网络连接密度不同的问题。阈值选择过大造成太多的边丢失,从而丢失部分有用信息,还可能会造成网络产生悬空节点;阈值选择过小又容易将干扰纳入网络,导致保留的网络在大脑模式分析中出现偏差。
基于此,有必要发明一种新的情绪识别方法和装置,以解决传统脑电情绪识别方法存在的上述问题。
发明内容
发明目的:针对现有技术中存在的问题,本发明提供一种基于脑电相位幅值耦合网络的情绪识别方法及装置,以更全面分析情绪脑电信号跨频带跨脑区的信息交流,并降低交叉频率耦合计算过程中的相位聚类偏差和脑网络构建过程中的阈值选择偏差,提高情绪识别的准确性。
技术方案:本发明提供了一种基于脑电相位幅值耦合网络的情绪识别方法,包括如下步骤:
步骤S1:基于用户头皮表面的传感器采集N个通道的脑电信号,并对所述脑电信号预处理,得到N个通道的预处理信号;
步骤S2:使用小波包变换对所述N个通道的预处理信号分解和重构,得到一个通道的较低频带信号,和另一个通道较高频带的信号;
步骤S3:对所述步骤S2的两个频带脑电信号进行希尔伯特变换,提取低频信号的相位和高频信号的幅值,并计算两通道间的调制指标值PAC;
步骤S4:计算并消除相位幅值耦合计算过程中的相位聚类偏差,得到两通道间新的调制指标值dPAC,并将所有通道组合间的dPAC组成N×N大小的相位幅值耦合邻接矩阵;
步骤S5:根据所述邻接矩阵构建网络的最大树形图;
步骤S6:计算所述最大树形图的网络特征;
步骤S7:将所述网络特征输入至分类器中进行分类,完成情绪识别。
进一步地,所述步骤S1具体包括:
S1.1基于用户头皮表面的传感器采集N个通道的脑电信号;
S1.2对S1.1得到的脑电信号进行降采样、重参考,然后带通滤波和陷波滤波去除基线漂移、高频噪声和工频干扰;
S1.3对S1.2得到的脑电信号应用独立分量分析,去除眼电、肌电伪迹,得到N个通道的预处理信号。
进一步地,所述步骤S2具体包括:
S2.1基于小波包变换方法对所述步骤S1的N个通道预处理信号进行n层小波包分解,将每个通道的预处理信号分解为2n个子频带,对于[0,fs]信号,各子频带的频率范围分别为[0,fs/2n]、[fs/2n,2×fs/2n]、[2×fs/2n,3×fs/2n]……[(2n-1)×fs/2n,2n×fs/2n];
S2.2在N个通道中选取两个通道,对所述两个通道的2n个子频带信号进行小波包逆变换重构,一个脑电通道得到一个较低频带的信号,同时另一个脑电通道的信号得到一个较高频带的信号,并通过矩形窗分段。
进一步地,所述步骤S3具体包括:
S3.1对所述步骤S2的两个频带脑电信号进行希尔伯特变换;令较低频带的脑电信号为l(t),较高频带的脑电信号为h(t),计算l(t)的希尔伯特变换
Figure BDA0003955562420000031
和h(t)的希尔伯特变换
Figure BDA0003955562420000032
其计算公式为:
Figure BDA0003955562420000033
其中PV是柯西主值;
S3.2计算高频信号的瞬时幅值A(t)和低频信号的瞬时相位φ(t),其计算公式为:
Figure BDA0003955562420000034
S3.3计算调制指标值PAC来量化相位和幅值之间的耦合,其中:
Figure BDA0003955562420000035
n表示信号的采样点个数。
进一步地,所述步骤S4具体包括:
S4.1计算相位聚类偏差
Figure BDA0003955562420000036
其中
Figure BDA0003955562420000037
其中φ(t)为低频信号的瞬时相位,n表示信号的采样点个数;
S4.2从每个相位角减去相位聚类偏差,相位角分布变得均匀,使得计算出的新调制指标值dPAC可以更准确的衡量相位幅值耦合:
Figure BDA0003955562420000041
其中,A(t)为高频信号的瞬时幅值,所计算出的dPAC值越大,表示两通道间的相位幅值耦合强度越强;
S4.3更换通道组合,基于步骤S2中选择的两个频带的频率范围,重构出新的两个频带的脑电信号,重复步骤S3、步骤S4.1和步骤S4.2,计算两通道间的调制指标值dPAC,直到所有通道组合都计算完成,形成N×N大小的邻接矩阵,其中N表示通道的个数。
进一步地,所述步骤S5具体包括:
S5.1将每个通道对应的脑区视为网络中的一个节点,两两通道间的调制指标值dPAC视为网络中两个节点之间的连接权值,边的方向为低频信号通道对应的节点指向高频信号通道对应的节点,此时构成一张有向完全图;
S5.2先找到每个节点的所有入边中权值最大的一条边,放入集合S,如果选出来的这些边中不构成环,这样选出来的边即组成了一个最大树形图。否则进入S5.3;
S5.3将每个环视为伪节点k,环外的节点连到这个环内的节点都视为是连到了伪节点,而这个环内的节点连出的边都视为从伪节点连出,形成新的图,修改从环外节点i指向环内节点j的每个边的权值,修改方法的计算公式为:
c(i,k)=c(i,j)-c(x(j),j)
其中,c(i,k)是环外节点i指向伪节点k的每个边的权值,c(i,j)是环外节点i指向环内节点j的每个边的权值,c(x(j),j)是环内指向节点j的边的权值;
同时,环内向环外节点的出边,连接到同一个点的,保留权值最大的那一条,其余的不用改变权值;对每个伪节点,选择修改后权值最大的入边,用新选择的入边取代S中进入同一真实节点的入边;
S5.4重复步骤S5.3,直到没有环为止,将伪节点展开,去除环中比更新后边权值大的边,就得到了原图的最大树形图,此时最大树形图建立完成,包含N个节点,N-1条边。
进一步地,所述步骤S6中提取的网络特征具体包括:
(1)度:一个节点连接的边的条数,其计算公式为:
Figure BDA0003955562420000042
其中aij表示节点i到节点j间的连接;
(2)离心率:一个节点到其他节点最短路径的最大值,其计算公式为:
Ecc(v)=max{d(u,v)}
其中u和v表示节点,d(u,v)表示节点u到节点v的最短路径;
(3)介数中心度:通过该节点的最短路径的比例,其计算公式为:
Figure BDA0003955562420000051
其中phj表示节点h到节点j的最短路径数量,
Figure BDA0003955562420000052
表示节点h到节点j的最短路径经过节点i的数量;
(4)叶子分数:度为1的叶子节点个数占节点总数的比重,其计算公式为:
Lf=L/N
其中N代表节点总数,L代表叶子节点的个数;
(5)直径:任意两节点之间的最大距离,其计算公式为:
D=max{Ecc(v)|ν∈G}
其中Ecc(v)代表节点ν的离心率;
(6)树层次:整合能力和中心节点过载之间平衡关系的量化度量,其计算公式为:
Figure BDA0003955562420000053
其中M代表边的个数;L代表叶子节点的个数,
Figure BDA0003955562420000054
(7)幸存率:时间窗口上相邻的两个邻接矩阵所生成的最大树形图拥有的共同的边数,其计算公式为:
Figure BDA0003955562420000055
其中Et代表t时刻的窗口所构造的最大树形图的边形成的集合;
(8)分歧率:时间窗口上相邻的两个邻接矩阵所生成的最大树形图中的节点边密度的相似性,其计算公式为:
Figure BDA0003955562420000061
其中DX(i)是最大树形图中,节点i到其所有的邻居节点的路径距离的总和;DY(i)是最大树形图Y中,节点i到其所有的邻居节点的路径距离的总和;N是最大树形图X和Y中的节点的个数,即通道的个数;
(9)连接熵:树的边在时域上的变化模式的固定性,其计算公式为:
Figure BDA0003955562420000062
其中M是时域上的窗口数,nij是通道对(i,j)中有边出现的次数,pk是通道对(i,j)被激活的概率,N是通道对的个数。
进一步地,所述步骤S7具体包括:
S7.1将训练集中计算出的最大树形图的网络特征输入到支持向量机中进行训练;
S7.2通过验证集来选择预测效果最佳的预测模型,将训练完成的预测模型用于测试集的情绪识别;
S7.3将测试集中计算出的最大树形图的网络特征输入到S7.2中所述训练完成的预测模型,得到情绪识别结果。
本发明还公开一种基于脑电相位幅值耦合网络的情绪识别装置,包括:
脑电信号采集预处理模块,用于采集和预处理用户头皮表面的脑电信号,并将得到的预处理信号发送至所述频带分解与重构模块;
频带分解与重构模块,用于对所述预处理信号进行小波包变换分解和重构,得到一个通道的较低频带信号和另一个通道的较高频带信号,并发送至所述相位幅值耦合计算模块;
相位幅值耦合计算模块,用于接受所述频带分解与重构模块得到的频带信号,提取低频信号的相位和高频信号的幅度包络,并计算两通道间的调制指标值PAC;
相位聚类偏差消除模块,用于计算并消除所述相位幅值耦合计算模块在计算过程中产生的相位聚类偏差,得到两通道间新的调制指标值dPAC,并将所有通道组合间的dPAC组成N×N大小的邻接矩阵,其中N表示通道的个数;
最大树形图构建模块,用于根据所述邻接矩阵构建网络的最大树形图;
树指标计算模块,用于计算所述最大树形图的网络特征;
情绪识别模块,用于将训练集中的最大树形图的网络特征输入到支持向量机中进行训练,通过验证集来选择预测效果最佳的预测模型,将训练完成的预测模型用于测试集的情绪识别,然后将测试集中计算出的最大树形图的网络特征输入到所述训练完成的预测模型,得到情绪识别结果。
与现有技术相比,本发明的有益效果为:
1.本发明基于交叉频率耦合中的相位幅值耦合的思想,以更全面分析情绪脑电信号跨频带跨脑区的信息交流,对比常规的特定单频段内采用幅值同步或相位同步的脑电网络分析方法,该脑网络包含信息更多,能有效地解码的大脑功能状态。
2.本发明可以降低交叉频率耦合计算过程中的相位聚类偏差,得到准确的调制指标。同时,基于最大树形图构建脑网络的方法减少了阈值选择偏差,能确保网络中所有节点相连,且网络连接密度相同,减少了有偏的结果,有利于大脑模式的分析,提高情绪识别的准确性。
3.本发明通过安装在用户头部的装置,可以对脑电信号进行预处理并基于预设的分类器进行信号分类,识别用户的情绪状态,实现对用户情绪的远程监测,具有一定的现实意义。
附图说明
图1为本发明一种基于脑电相位幅值耦合网络的情绪识别方法的流程图;
图2为本发明实施例中,经过预处理得到的C3通道4-7Hz频带(θ节律)和FP1通道30-50Hz频带(γ节律)脑电信号;
图3为本发明实施例中,分离出的C3通道0节律的相位和FP1通道γ节律脑电的幅值;
图4为本发明实施例中,计算出的C3通道θ节律信号的相位聚类偏差;
图5为本发明实施例中,相位聚类偏差消除前后,两两通道θ节律的相位和γ节律的幅值耦合的邻接矩阵,大小为60×60;
图6为本发明实施例中,利用邻接矩阵构建的最大树形图;
图7为本发明一种基于脑电相位幅值耦合网络的情绪识别装置的结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
参照图1,本发明提供了一种基于脑电相位幅值耦合网络的情的情绪识别方法,该方法包括以下步骤:
步骤S1:基于用户头皮表面的传感器采集N个通道的脑电信号,并对所述脑电信号预处理,得到N个通道的预处理信号。
S1.1基于用户头皮表面的传感器采集60个通道的脑电信号,原始信号采样率为1000Hz。
S1.2对S1.1得到的脑电信号对信号降采样以降低运算量从而提高运算速度,降采样频率设置为200Hz。重参考至平均参考,对脑电信号进行1-65Hz带通滤波去除基线漂移、高频噪声,50Hz陷波滤波去除工频干扰。
S1.3对S1.2得到的脑电信号应用独立分量分析,去除眼电、肌电等伪迹,得到60个通道的预处理信号。
步骤S2:使用小波包变换对所述N个通道的预处理信号分解和重构,得到一个通道的较低频带信号,和另一个通道较高频带的信号。
S2.1基于小波包变换方法对步骤S1的60个通道预处理信号进行6层小波包分解,将预处理信号分解为64个子频带,小波基函数选择Demeyer。
对于[1,65]Hz信号,各子频带的频率范围分别为[1,2]Hz、[2,3]Hz、[3,4]Hz、……、[61,62]Hz、[62,63]Hz、[63,64]Hz、[64,65]Hz。
S2.2参照图2,选择C3和FP1通道,分别对两个通道的64个子频带信号进行小波包逆变换重构,得到C3通道4-7Hz(θ节律)信号与FP1通道30-50Hz(γ节律)信号,并通过矩形窗分段,特别地,每10秒的采样点分割为一个窗口。
步骤S3:对所述步骤S2的两个频带脑电信号进行希尔伯特变换,提取低频信号的相位和高频信号的幅值,并计算两通道间的调制指标值PAC。
S3.1对所述步骤S2的C3通道4-7Hz(θ节律)信号与FP1通道30-50Hz(γ节律)信号进行希尔伯特变换。令C3通道4-7Hz(θ节律)的脑电信号为l(t),FP1通道30-50Hz(γ节律)的脑电信号为h(t),计算l(t)的希尔伯特变换
Figure BDA0003955562420000081
和h(t)的希尔伯特变换
Figure BDA0003955562420000082
其计算公式为:
Figure BDA0003955562420000083
其中PV是柯西主值。
S3.2计算高频信号的瞬时幅值A(t)和低频信号的瞬时相位φ(t),其计算公式为:
Figure BDA0003955562420000084
S3.3计算调制指标值PAC来量化相位和幅值之间的耦合,其中:
Figure BDA0003955562420000091
n表示信号的采样点个数。
步骤S4:参照图4,计算并消除相位幅值耦合计算过程中的相位聚类偏差,得到两通道间新的调制指标值dPAC,并参照图5将所有通道组合间的dPAC组成N×N大小的相位幅值耦合邻接矩阵。
S4.1参照图4,计算相位聚类偏差
Figure BDA0003955562420000092
其中
Figure BDA0003955562420000093
在本实施例中,计算结果为0.32697。
S4.2从每个相位角减去相位聚类偏差,相位角分布变得均匀,使得计算出的新调制指标值dPAC可以更准确的衡量相位幅值耦合,
Figure BDA0003955562420000094
所计算出的dPAC值越大,表示两通道间的相位幅值耦合强度越强。
S4.3参照图5,更换通道组合,基于步骤S2.2中选择的两个频带的频率范围,重构出新的两个频带的脑电信号,重复步骤S3、步骤S4.1和步骤S4.2,计算两通道间的调制指标值dPAC,直到所有通道组合都计算完成。形成60×60大小的邻接矩阵,其中60表示通道的个数。在本实施例中,通道编号1到60所对应的通道分别为FP1、FPZ、FP2、AF3、AF4、F7、F5、F3、F1、FZ、F2、F4、F6、F8、FT7、FC5、FC3、FC1、FCZ、FC2、FC4、FC6、FT8、T7、C5、C3、C1、CZ、C2、C4、C6、T8、TP7、CP5、CP3、CP1、CPZ、CP2、CP4、CP6、TP8、P7、P5、P3、P1、PZ、P2、P4、P6、P8、PO7、PO5、PO3、POZ、PO4、PO6、PO8、CB1、O1、OZ、O2。
步骤S5:参照图6,根据所述邻接矩阵构建网络的最大树形图。
S5.1将每个通道对应的脑区视为网络中的一个节点,两两通道间的调制指标值dPAC视为网络中两个节点之间的连接权值,边的方向为低频信号通道对应的节点指向高频信号通道对应的节点,此时构成一张节点个数为60的有向完全图。
S5.2先找到每个节点的所有入边中权值最大的一条边,放入集合S,如果选出来的这些边中不构成环,这样选出来的边即组成了一个最大树形图。否则进入S5.3。
S5.3将每个环视为伪节点k,环外的节点连到这个环内的节点都视为是连到了伪节点,而这个环内的节点连出的边都视为从伪节点连出,形成新的图。修改从环外节点i指向环内节点j的每个边的权值,修改方法的计算公式为:
c(i,k)=c(i,j)-c(x(j),j)
其中,c(i,k)是环外节点i指向伪节点k的每个边的权值,c(i,j)是环外节点i指向环内节点j的每个边的权值,c(x(j),j)是环内指向节点j的边的权值。
同时,环内向环外节点的出边,连接到同一个点的,保留权值最大的那一条,其余的不用改变权值。对每个伪节点,选择修改后权值最大的入边,用新选择的入边取代S中进入同一真实节点的入边。重复步骤S5.3,直到没有环为止,将伪节点展开,去除环中比更新后边权值大的边,就得到了原图的最大树形图。此时最大树形图建立完成,包含60个节点,59条边。
步骤S6:计算所述最大树形图的网络特征。
(1)度:一个节点连接的边的条数。其计算公式为:
Figure BDA0003955562420000101
其中aij表示节点i到节点j间的连接。
(2)离心率:一个节点到其他节点最短路径的最大值。其计算公式为:
Ecc(v)=max{d(u,v)}
其中u和v表示节点,d(u,v)表示节点u到节点v的最短路径。
(3)介数中心度:通过该节点的最短路径的比例。其计算公式为:
Figure BDA0003955562420000102
其中phj表示节点h到节点j的最短路径数量,
Figure BDA0003955562420000103
表示节点h到节点j的最短路径经过节点i的数量。
(4)叶子分数:度为1的叶子节点个数占节点总数的比重,其计算公式为:
Lf=L/N
其中N代表节点总数,L代表叶子节点的个数。
(5)直径:任意两节点之间的最大距离。其计算公式为:
D=max{Ecc(v)|ν∈G}
其中Ecc(v)代表节点ν的离心率。
(6)树层次:整合能力和中心节点过载之间平衡关系的量化度量。其计算公式为:
Figure BDA0003955562420000111
其中M代表边的个数;L代表叶子节点的个数,
Figure BDA0003955562420000112
(7)幸存率:时间窗口上相邻的两个邻接矩阵所生成的最大树形图拥有的共同的边数。其计算公式为:
Figure BDA0003955562420000113
其中Et代表t时刻的窗口所构造的最大树形图的边形成的集合。
(8)分歧率:时间窗口上相邻的两个邻接矩阵所生成的最大树形图中的节点边密度的相似性。其计算公式为:
Figure BDA0003955562420000114
其中DX(i)是最大树形图中,节点i到其所有的邻居节点的路径距离的总和;DY(i)是最大树形图Y中,节点i到其所有的邻居节点的路径距离的总和;N是最大树形图X和Y中的节点的个数,即通道的个数60。
(9)连接熵:树的边在时域上的变化模式的固定性。其计算公式为:
Figure BDA0003955562420000115
其中M是时域上的窗口数,nij是通道对(i,j)中有边出现的次数,pk是通道对(i,j)被激活的概率,N是通道对的个数。
步骤S7:将所述网络特征输入至分类器中进行分类,完成情绪识别。可选地,还包括识别结果的可视化。
S7.1将训练集中计算出的最大树形图的网络特征输入到支持向量机中进行训练。
S7.2通过验证集来选择预测效果最佳的预测模型,将训练完成的预测模型用于测试集的情绪识别。
S7.3将测试集中计算出的最大树形图的网络特征输入到S7.2中所述训练完成的预测模型,得到情绪识别结果。在本实施例中,情绪识别结果为悲伤。
进一步地,参照图7,本发明还提供了一种基于脑电相位幅值耦合网络的情绪识别装置。该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。图7示出了本发明实施例提供的一种基于脑电相位幅值耦合网络的情绪识别装置的结构示意图。如图7所示,在该实施例的装置中,安装有以下模块,包括:
脑电信号采集预处理模块,用于采集和预处理用户头皮表面的脑电信号,并将得到的预处理信号发送至所述频带分解模块;
频带分解与重构模块,用于对所述预处理信号进行小波包变换分解和重构,得到一个通道的较低频带信号和另一个通道的较高频带信号,并发送至所述相位幅值耦合计算模块;
相位幅值耦合计算模块,用于接受所述频带分解与重构模块得到,提取低频信号的相位和高频信号的幅度包络,并计算两通道间的调制指标值PAC;
相位聚类偏差消除模块,用于计算并消除所述相位幅值耦合计算模块在计算过程中产生的相位聚类偏差,得到两通道间新的调制指标值dPAC,并将所有通道组合间的dPAC组成N×N大小的邻接矩阵,其中N表示通道的个数。
最大树形图构建模块,用于根据所述邻接矩阵构建网络的最大树形图;
树指标计算模块,用于计算所述最大树形图的网络特征;
情绪识别及可视化模块,用于将训练集中的最大树形图的网络特征输入到支持向量机中进行训练,通过验证集来选择预测效果最佳的预测模型,将训练完成的预测模型用于测试集的情绪识别。然后将测试集中计算出的最大树形图的网络特征输入到所述训练完成的预测模型,得到情绪识别结果以及识别结果的可视化。
上述实施方式只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰,都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于脑电相位幅值耦合网络的情绪识别方法,其特征在于,包括如下步骤:
步骤S1:基于用户头皮表面的传感器采集N个通道的脑电信号,并对所述脑电信号预处理,得到N个通道的预处理信号;
步骤S2:使用小波包变换对所述N个通道的预处理信号分解和重构,得到一个通道的较低频带信号,和另一个通道较高频带的信号;
步骤S3:对所述步骤S2的两个频带脑电信号进行希尔伯特变换,提取低频信号的相位和高频信号的幅值,并计算两通道间的调制指标值PAC;
步骤S4:计算并消除相位幅值耦合计算过程中的相位聚类偏差,得到两通道间新的调制指标值dPAC,并将所有通道组合间的dPAC组成N×N大小的相位幅值耦合邻接矩阵;
步骤S5:根据所述邻接矩阵构建网络的最大树形图;
步骤S6:计算所述最大树形图的网络特征;
步骤S7:将所述网络特征输入至分类器中进行分类,完成情绪识别。
2.根据权利要求1所述的基于脑电相位幅值耦合网络的情绪识别方法,其特征在于,所述步骤S1具体包括:
S1.1基于用户头皮表面的传感器采集N个通道的脑电信号;
S1.2对S1.1得到的脑电信号进行降采样、重参考,然后带通滤波和陷波滤波去除基线漂移、高频噪声和工频干扰;
S1.3对S1.2得到的脑电信号应用独立分量分析,去除眼电、肌电伪迹,得到N个通道的预处理信号。
3.根据权利要求1所述的基于脑电相位幅值耦合网络的情绪识别方法,其特征在于,所述步骤S2具体包括:
S2.1基于小波包变换方法对所述步骤S1的N个通道预处理信号进行n层小波包分解,将每个通道的预处理信号分解为2n个子频带,对于[0,fs]信号,各子频带的频率范围分别为[0,fs/2n]、[fs/2n,2×fs/2n]、[2×fs/2n,3×fs/2n]……[(2n-1)×fs/2n,2n×fs/2n];
S2.2在N个通道中选取两个通道,对所述两个通道的2n个子频带信号进行小波包逆变换重构,一个脑电通道得到一个较低频带的信号,同时另一个脑电通道的信号得到一个较高频带的信号,并通过矩形窗分段。
4.根据权利要求1所述的基于脑电相位幅值耦合网络的情绪识别方法,其特征在于,所述步骤S3具体包括:
S3.1对所述步骤S2的两个频带脑电信号进行希尔伯特变换;令较低频带的脑电信号为l(t),较高频带的脑电信号为h(t)计算l(t)的希尔伯特变换
Figure FDA0003955562410000022
和h(t)的希尔伯特变换
Figure FDA0003955562410000023
其计算公式为:
Figure FDA0003955562410000024
其中PV是柯西主值;
S3.2计算高频信号的瞬时幅值A(t)和低频信号的瞬时相位φ(t),其计算公式为:
Figure FDA0003955562410000025
S3.3计算调制指标值PAC来量化相位和幅值之间的耦合,其中:
Figure FDA0003955562410000026
n表示信号的采样点个数。
5.根据权利要求4所述的基于脑电相位幅值耦合网络的情绪识别方法,其特征在于,所述步骤S4具体包括:
S4.1计算相位聚类偏差
Figure FDA0003955562410000027
其中
Figure FDA0003955562410000028
其中φ(t)为低频信号的瞬时相位,n表示信号的采样点个数;
S4.2从每个相位角减去相位聚类偏差,相位角分布变得均匀,使得计算出的新调制指标值dPAC可以更准确的衡量相位幅值耦合:
Figure FDA0003955562410000029
其中A(t)为高频信号的瞬时幅值,所计算出的dPAC值越大,表示两通道间的相位幅值耦合强度越强;
S4.3更换通道组合,基于步骤S2中选择的两个频带的频率范围,重构出新的两个频带的脑电信号,重复步骤S3、步骤S4.1和步骤S4.2,计算两通道间的调制指标值dPAC,直到所有通道组合都计算完成,形成N×N大小的邻接矩阵,其中N表示通道的个数。
6.根据权利要求1所述的基于脑电相位幅值耦合网络的情绪识别方法,其特征在于,所述步骤S5具体包括:
S5.1将每个通道对应的脑区视为网络中的一个节点,两两通道间的调制指标值dPAC视为网络中两个节点之间的连接权值,边的方向为低频信号通道对应的节点指向高频信号通道对应的节点,此时构成一张有向完全图;
S5.2先找到每个节点的所有入边中权值最大的一条边,放入集合S,如果选出来的这些边中不构成环,这样选出来的边即组成了一个最大树形图。否则进入S5.3;
S5.3将每个环视为伪节点k,环外的节点连到这个环内的节点都视为是连到了伪节点,而这个环内的节点连出的边都视为从伪节点连出,形成新的图,修改从环外节点i指向环内节点j的每个边的权值,修改方法的计算公式为:
c(i,k)=c(i,j)-c(x(j),j)
其中,c(i,k)是环外节点i指向伪节点k的每个边的权值,c(i,j)是环外节点i指向环内节点j的每个边的权值,c(x(j),j)是环内指向节点j的边的权值;
同时,环内向环外节点的出边,连接到同一个点的,保留权值最大的那一条,其余的不用改变权值;对每个伪节点,选择修改后权值最大的入边,用新选择的入边取代S中进入同一真实节点的入边;
S5.4重复步骤S5.3,直到没有环为止,将伪节点展开,去除环中比更新后边权值大的边,就得到了原图的最大树形图,此时最大树形图建立完成,包含N个节点,N-1条边。
7.根据权利要求1所述的基于脑电相位幅值耦合网络的情绪识别方法,其特征在于,所述步骤S6中提取的网络特征具体包括:
(1)度:一个节点连接的边的条数,其计算公式为:
Figure FDA0003955562410000041
其中aij表示节点i到节点j间的连接;
(2)离心率:一个节点到其他节点最短路径的最大值,其计算公式为:
Ecc(v)=max{d(u,v)}
其中u和v表示节点,d(u,v)表示节点u到节点v的最短路径;
(3)介数中心度:通过该节点的最短路径的比例,其计算公式为:
Figure FDA0003955562410000042
其中phj表示节点h到节点j的最短路径数量,
Figure FDA0003955562410000043
表示节点h到节点j的最短路径经过节点i的数量;
(4)叶子分数:度为1的叶子节点个数占节点总数的比重,其计算公式为:
Lf=L/N
其中N代表节点总数,L代表叶子节点的个数;
(5)直径:任意两节点之间的最大距离,其计算公式为:
D=max{Ecc(v)|ν∈G}
其中Ecc(v)代表节点ν的离心率;
(6)树层次:整合能力和中心节点过载之间平衡关系的量化度量,其计算公式为:
Figure FDA0003955562410000044
Figure FDA0003955562410000045
其中M代表边的个数;L代表叶子节点的个数;
(7)幸存率:时间窗口上相邻的两个邻接矩阵所生成的最大树形图拥有的共同的边数,其计算公式为:
Figure FDA0003955562410000051
其中Et代表t时刻的窗口所构造的最大树形图的边形成的集合;
(8)分歧率:时间窗口上相邻的两个邻接矩阵所生成的最大树形图中的节点边密度的相似性;其计算公式为:
Figure FDA0003955562410000052
其中DX(i)是最大树形图中,节点i到其所有的邻居节点的路径距离的总和;DY(i)是最大树形图Y中,节点i到其所有的邻居节点的路径距离的总和;N是最大树形图X和Y中的节点的个数,即通道的个数;
(9)连接熵:树的边在时域上的变化模式的固定性;其计算公式为:
Figure FDA0003955562410000053
其中M是时域上的窗口数,nij是通道对(i,j)中有边出现的次数,pk是通道对(i,j)被激活的概率,N是通道对的个数。
8.根据权利要求1所述的基于脑电相位幅值耦合网络的情绪识别方法,其特征在于,所述步骤S7具体包括:
S7.1将训练集中计算出的最大树形图的网络特征输入到支持向量机中进行训练;
S7.2通过验证集来选择预测效果最佳的预测模型,将训练完成的预测模型用于测试集的情绪识别;
S7.3将测试集中计算出的最大树形图的网络特征输入到S7.2中所述训练完成的预测模型,得到情绪识别结果。
9.一种基于脑电相位幅值耦合网络的情绪识别装置,其特征在于,包括:
脑电信号采集预处理模块,用于采集和预处理用户头皮表面的脑电信号,并将得到的预处理信号发送至所述频带分解与重构模块;
频带分解与重构模块,用于对所述预处理信号进行小波包变换分解和重构,得到一个通道的较低频带信号和另一个通道的较高频带信号,并发送至所述相位幅值耦合计算模块;
相位幅值耦合计算模块,用于接受所述频带分解与重构模块得到的频带信号,提取低频信号的相位和高频信号的幅度包络,并计算两通道间的调制指标值PAC;
相位聚类偏差消除模块,用于计算并消除所述相位幅值耦合计算模块在计算过程中产生的相位聚类偏差,得到两通道间新的调制指标值dPAC,并将所有通道组合间的dPAC组成N×N大小的邻接矩阵,其中N表示通道的个数;
最大树形图构建模块,用于根据所述邻接矩阵构建网络的最大树形图;
树指标计算模块,用于计算所述最大树形图的网络特征;
情绪识别模块,用于将训练集中的最大树形图的网络特征输入到支持向量机中进行训练,通过验证集来选择预测效果最佳的预测模型,将训练完成的预测模型用于测试集的情绪识别,然后将测试集中计算出的最大树形图的网络特征输入到所述训练完成的预测模型,得到情绪识别结果。
CN202211469838.6A 2022-11-17 2022-11-17 基于脑电相位幅值耦合网络的情绪识别方法及装置 Active CN115770044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211469838.6A CN115770044B (zh) 2022-11-17 2022-11-17 基于脑电相位幅值耦合网络的情绪识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211469838.6A CN115770044B (zh) 2022-11-17 2022-11-17 基于脑电相位幅值耦合网络的情绪识别方法及装置

Publications (2)

Publication Number Publication Date
CN115770044A true CN115770044A (zh) 2023-03-10
CN115770044B CN115770044B (zh) 2023-06-13

Family

ID=85389857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211469838.6A Active CN115770044B (zh) 2022-11-17 2022-11-17 基于脑电相位幅值耦合网络的情绪识别方法及装置

Country Status (1)

Country Link
CN (1) CN115770044B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN116712074A (zh) * 2023-06-05 2023-09-08 天津大学 基于脑电跨频耦合图和深度学习的情绪识别方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110015536A1 (en) * 2009-07-17 2011-01-20 Michael Milgramm EEG-based method for determining a subject's compatibility with a work environment
CN103425983A (zh) * 2013-07-25 2013-12-04 电子科技大学 一种基于网络同步性的脑网络拓扑差异的快速提取方法
CN103735262A (zh) * 2013-09-22 2014-04-23 杭州电子科技大学 一种双树复小波与共空间模式结合的脑电特征提取方法
WO2014176286A1 (en) * 2013-04-22 2014-10-30 The Regents Of The University Of California Fractal index analysis of human electroencephalogram signals
CN106203708A (zh) * 2016-07-13 2016-12-07 北京交通大学 一种解决城市轨道交通末班车衔接问题的快速方法
WO2020075737A1 (ja) * 2018-10-11 2020-04-16 株式会社国際電気通信基礎技術研究所 脳機能結合相関値の調整方法、脳機能結合相関値の調整システム、脳活動分類器のハーモナイズ方法、脳活動分類器のハーモナイズシステム、及び脳活動バイオマーカシステム
CN111616721A (zh) * 2020-05-31 2020-09-04 天津大学 基于深度学习和脑机接口的情绪识别系统及应用
CN111956219A (zh) * 2020-08-27 2020-11-20 济南大学 基于脑电信号的情绪特征识别方法、识别及调节系统
CN114048784A (zh) * 2021-11-17 2022-02-15 江苏科技大学 基于共空间模式模糊小波包的脑电信号疲劳特征提取方法
WO2022067071A1 (en) * 2020-09-25 2022-03-31 Lundquist Institute For Biomedical Innovation At Harbor-Ucla Medical Center Systems for recording and analyzing electroencephalogram signals for brain disorder detection
CN114492506A (zh) * 2021-12-24 2022-05-13 山东师范大学 基于双层脑网络的脑电信号情绪识别方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110015536A1 (en) * 2009-07-17 2011-01-20 Michael Milgramm EEG-based method for determining a subject's compatibility with a work environment
WO2014176286A1 (en) * 2013-04-22 2014-10-30 The Regents Of The University Of California Fractal index analysis of human electroencephalogram signals
CN103425983A (zh) * 2013-07-25 2013-12-04 电子科技大学 一种基于网络同步性的脑网络拓扑差异的快速提取方法
CN103735262A (zh) * 2013-09-22 2014-04-23 杭州电子科技大学 一种双树复小波与共空间模式结合的脑电特征提取方法
CN106203708A (zh) * 2016-07-13 2016-12-07 北京交通大学 一种解决城市轨道交通末班车衔接问题的快速方法
WO2020075737A1 (ja) * 2018-10-11 2020-04-16 株式会社国際電気通信基礎技術研究所 脳機能結合相関値の調整方法、脳機能結合相関値の調整システム、脳活動分類器のハーモナイズ方法、脳活動分類器のハーモナイズシステム、及び脳活動バイオマーカシステム
CN111616721A (zh) * 2020-05-31 2020-09-04 天津大学 基于深度学习和脑机接口的情绪识别系统及应用
CN111956219A (zh) * 2020-08-27 2020-11-20 济南大学 基于脑电信号的情绪特征识别方法、识别及调节系统
WO2022067071A1 (en) * 2020-09-25 2022-03-31 Lundquist Institute For Biomedical Innovation At Harbor-Ucla Medical Center Systems for recording and analyzing electroencephalogram signals for brain disorder detection
CN114048784A (zh) * 2021-11-17 2022-02-15 江苏科技大学 基于共空间模式模糊小波包的脑电信号疲劳特征提取方法
CN114492506A (zh) * 2021-12-24 2022-05-13 山东师范大学 基于双层脑网络的脑电信号情绪识别方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN116269386B (zh) * 2023-03-13 2024-06-11 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN116712074A (zh) * 2023-06-05 2023-09-08 天津大学 基于脑电跨频耦合图和深度学习的情绪识别方法及装置
CN116712074B (zh) * 2023-06-05 2024-06-14 天津大学 基于脑电跨频耦合图和深度学习的情绪识别方法及装置

Also Published As

Publication number Publication date
CN115770044B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN111062250B (zh) 基于深度特征学习的多受试者运动想象脑电信号识别方法
CN109934089B (zh) 基于监督梯度提升器的多级癫痫脑电信号自动识别方法
CN115770044A (zh) 基于脑电相位幅值耦合网络的情绪识别方法及装置
CN113158793B (zh) 一种基于多特征融合的多类运动想象脑电信号识别方法
CN111310570B (zh) 一种基于vmd和wpd的脑电信号情感识别方法及系统
CN106803081A (zh) 一种基于多分类器集成的脑电分类方法
CN109598222B (zh) 基于eemd数据增强的小波神经网络运动想象脑电分类方法
CN115326783B (zh) 拉曼光谱预处理模型生成方法、系统、终端及存储介质
Tung et al. Entropy-assisted multi-modal emotion recognition framework based on physiological signals
CN111184509A (zh) 一种基于传递熵的情绪诱导脑电信号分类方法
CN104586387A (zh) 一种时、频、空域多参数脑电特征提取与融合方法
CN110826527A (zh) 一种基于攻击性行为预测的脑电负性情绪识别方法及系统
Kumar et al. Classification of seizure and seizure-free EEG signals using multi-level local patterns
CN115414051A (zh) 一种脑电信号自适应窗口的情绪分类识别方法
CN112999490A (zh) 一种基于脑电波情绪识别的音乐疗愈系统及其处理方法
WO2023077592A1 (zh) 一种智能心电信号处理方法
CN112754502A (zh) 一种基于脑电信号的音乐自动切换方法
CN110543831A (zh) 一种基于卷积神经网络的脑纹识别方法
CN113180659A (zh) 一种基于三维特征和空洞全卷积网络的脑电情感识别系统
Fernández-Blanco et al. Classification of signals by means of genetic programming
CN116211319A (zh) 一种基于图注意力网络和稀疏编码的静息态多通道脑电信号识别方法
CN115795346A (zh) 一种人体脑电信号的分类识别方法
Samal et al. Ensemble median empirical mode decomposition for emotion recognition using EEG signal
CN116250849A (zh) 一种基于信息分离器和区域卷积网络的脑电信号识别方法
CN113128384B (zh) 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant