CN117033638B - 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法 - Google Patents
一种基于脑电eeg认知对齐知识图谱的文本情感分类方法 Download PDFInfo
- Publication number
- CN117033638B CN117033638B CN202311064635.3A CN202311064635A CN117033638B CN 117033638 B CN117033638 B CN 117033638B CN 202311064635 A CN202311064635 A CN 202311064635A CN 117033638 B CN117033638 B CN 117033638B
- Authority
- CN
- China
- Prior art keywords
- brain
- graph
- window
- time
- eeg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000019771 cognition Effects 0.000 title claims abstract description 17
- 210000004556 brain Anatomy 0.000 claims abstract description 140
- 239000013598 vector Substances 0.000 claims abstract description 40
- 230000001149 cognitive effect Effects 0.000 claims abstract description 38
- 238000009826 distribution Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 230000005611 electricity Effects 0.000 claims abstract description 4
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 239000000463 material Substances 0.000 claims description 27
- 230000002688 persistence Effects 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000008033 biological extinction Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 125000006850 spacer group Chemical group 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 230000003925 brain function Effects 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 9
- 238000013145 classification model Methods 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 230000007230 neural mechanism Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 230000010457 affective process Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007106 neurocognition Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，先将视频人工解释为文本，抽取实体关系构建知识图谱；利用皮尔逊相关系数构建大脑功能连接矩阵BG,提取脑电频域特征构建特征向量。在BGI模块中，计算捕捉BG之间的拓扑关系，与特征向量进行时空图卷积获得时空向量过滤并输入CA模块中。同时通过GRU获得BGall。设计上界网络P(BG|KG)，将从KG获得分布pθ(AL|KG)，同时从BG'获取分布获得表征认知对齐的隐变量AL，重构脑图BGrecon并反向引导AL的生成。最后在Fusion模块中，将KGall，与BGal结合进行情感分类。本发明通过引入生理信号，提高文本情感分类的精度，增强文本分类任务的可解释性。
Description
技术领域
本发明属于自然语言理解和认知神经科学领域，尤其涉及一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，适用于对于给定文本材料，提取被试者脑电信号进行文本情感分类。
背景技术
通过使用机器学习和深度学习技术，自然语言处理领域已经可以自动地分析和识别文本中的情感内容，从而帮助深度挖掘文本语义潜藏的观点与态度。尽管现有的许多深度学习模型已经在成功的应用在了文本情感分析(Text Sentiment Analysis)中，但深度学习本身的黑盒属性很难解释内部的决策过程和工作机制。近年来，认知神经科学的兴起使得人们对大脑中情感处理机制的研究更加深入。研究人员希望更好地了解情感是如何在大脑中被处理的，以及情感处理的神经机制是如何影响人类行为和心理状态的。这种跨学科的研究方法为我们提供了更深入的了解人类情感处理的机制。脑电信号(EEG)可以直观反映大脑中相应脑区对所接收输入的激活情况，可以通过分析这些信号来了解大脑中的认知过程。EEG因其无创性、高时间精度和低成本而受到广泛关注。
在传统自然语言处理领域，研究者们常常利用图结构来解析文本标记之间隐藏的句法和语义依赖关系，以形成一种称为依赖图的结构，该图将被输入到分类层中以确定情感极性。知识图(作为典型的语义图)可以通过多个<实体，关系，尾实体>三元组有效地组织目标或开放领域的知识，从语义认知的角度提供知识增强的表示，以实现更高的文本情感分析性能。现有技术中，传统基于图的文本情感分类方法虽然在一定程度上取得了一些成果，但仍然只局限于文本本身的特征提取和分类，忽视了人作为情感的主体在情感产生过程中的复杂大脑活动，具体而言现有技术忽视了两个方面，一方面，未充分利用语义知识增强文本表示。现有方法中知识图的构建较为简单,未能有效把握语义知识的深层内在关系,导致知识图谱对情感分析的支持不足。另一方面，没有考虑情感主体的大脑认知活动,忽视了大脑状态和认知偏好等在情感产生中的重要作用。
发明内容
发明目的：为了解决上述的问题，本发明提出了一种基于脑电EEG认知对齐知识图谱的文本情感分类方法。具体包括了，构建目标领域知识图谱,利用丰富的语义关系增强文本在图中的表达；利用EEG技术记录阅读不同情感文本时的脑电活动，分析脑电信号以建模情感主体的大脑认知状态。将知识图谱表达和情感主体模型相结合,从语义和认知两个层面模拟人类情感,以实现更准确的文本情感分析。这种融合知识图谱与脑电信号分析的方法，既利用知识图谱强化了文本表示，又通过EEG建模了情感主体大脑认知活动，达到语义与认知双丰富的效果，可望有效提升文本情感分析的性能，增强文本情感分析可解释性。
技术方案：本发明的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，包括以下步骤：
步骤1、通过人工将视频材料解释为文本材料，将文本材料按照固定时间窗口进行划分，得到划分后的文本材料；
步骤2、基于Stanford NLP模型对划分后的文本材料进行实体关系抽取，构建知识图谱集合
步骤3、采集被试者在观看步骤1的文本材料时的脑电信号，对脑电信号进行下采样和预处理，得到预处理后的脑电信号；
步骤4、将预处理后的脑电信号划分为与步骤1中文本材料相同的时间窗口，并在每一个时间窗口下，继续划分为若干个等长的时间间隔；
步骤5、在步骤4中的每一个时间窗口下，对每个时间间隔下的脑电信号计算不同通道之间的皮尔逊相关系数，用于构建间隔级脑图得到每个窗口下所有构建的间隔级脑图
步骤6、在步骤4中每一个时间窗口下，脑电信号提取每个通道在5个频段下的频域特征的频域特征、微分熵DE和功率谱密度PSD，对每个时间间隔的脑电信号提取特征向量记为将窗口下所有的间隔级特征向量融合成窗口级特征向量
步骤7、将步骤5每个窗口下所有构建的间隔级脑图步骤6中窗口级特征向量和间隔级特征向量输入到脑图集成模块BGI中；
步骤8、对步骤7中的脑图集合进行Zigzag持久性计算，得到包含了拓扑属性的之字形持久性图像ZPI，对ZPI进行卷积池化，得到窗口级脑图拓扑特征
步骤9、将步骤8的窗口级脑图拓扑特征与步骤5得到的每一个间隔级特征向量进行空间图卷积，获得空间特征向量集合将S中所有元素融合得到空间特征向量
步骤10、将步骤5得到窗口级特征向量与步骤8得到的窗口级脑图拓扑特征进行时间图卷积，得到时间特征向量
步骤11、将步骤9得到的空间特征向量与步骤10得到的时间特征向量进行矩阵乘法，得到包含了时空特征的特征向量
步骤12、将步骤11得到的时空特征向量计算皮尔逊相关系数，过滤得到邻接矩阵并重构回脑图
步骤13、将每个窗口下的从步骤11得到的输入到GRU中，获得特征经过皮尔逊相关系数计算，得到集成整个时间段内脑电信号特征的BGall；
步骤14、将脑图送入认知对齐模块CA，使用图神经网络GNN和注意力机制计算分布
步骤15、从步骤2的知识图谱集合选出与步骤12脑图中同一时间窗口的知识图谱送入Graphormer的Encoder层，经过注意力机制和全连接层获得分布pθ(AL|KG)；
步骤16、构建ELBO公式，用于从步骤14中的分布和步骤15中的分布pθ(AL|KG)学习到表征认知对齐的隐变量
步骤17、将步骤15中送入Graphormer的Encoder层的结果和步骤16中的隐变量融合，经过Graphormer的Decoder层得到特征将经过皮尔逊相关系数的计算，重构回脑图
步骤18、将从步骤2得到的知识图谱集合中所有的实体关系全部提取KGall，从步骤16经过融合得到从步骤13得到的BGall融合，进行情感分类。
进一步的，步骤3和步骤4具体为：使用62通道ESI神经扫描系统采集被试者在观看视频材料时的脑电信号，对原始EEG数据下采样至200Hz，进行去除伪迹和重影的预处理，使用0-75Hz的带通频率滤波器，将数据划分为δ波，频率1-4Hz、θ波，频率4-7Hz、α波，频率8-13Hz、β波，频率13-30H和γ波，频率31-50Hz五个波段；将预处理后的脑电信号划分为与文本材料长度相同且不重叠的n个窗口，并在每个窗口下继续划分m个10s的EEG片段。
进一步的，步骤5具体为：在每一个窗口下，一方面计算片段级别的脑电信号不同通道之间的皮尔逊相关系数并过滤，构建脑图
其中X,Y分别是通道X,Y在间隔内的脑电信号离散值，σX,σY是标准差，η是一个阈值，Cov(X,Y)是X,Y的协方差。
进一步的，步骤6具体为：从5个频段中提取DE和PSD特征，每个片段下取平均值，拼接成特征向量
其中，p(x)是脑电信号的概率密度函数，[a,b]表示脑电片段时间取值的区间，N是脑电片段长度，X(k)是脑电信号经过傅里叶变换的结果。
进一步的，步骤7和步骤8具体为：将窗口级的脑图序列和特征向量集合输入脑图集成模块中，为捕捉脑电的拓扑特征，利用Zigzag持久性工具，将脑图序列构建之字形路径 其中v*是一个尺度参数，作为单纯复形，将每个之字形路径项投影到拓扑空间中；通过过滤每个之字形路径项中的尺度参数v*(例如，跟踪图拓扑特征随时间点的诞生和消亡(tb,td)或<x,y>，并被记录到离散之字形持久图ZPD：最后，基于ZPD中的所有(tb,td)或<x,y>点，通过公式(3)计算每个时间窗口wi的之字形持久性图像ZPI；ZPI被认为是ZPD的连续有限维表示；在(3)中，μ和θ是ZPD中所有<x,y>点的均值和方差(g(μ)作为加权激活函数)，z是ZPI中的像素点，由ZPD中<x,y>通过(3)得到；接下来将将经过卷积层fCNN和最大池化层，得到最终的窗口级脑图拓扑特征
进一步的，步骤9-步骤11具体为：将时间窗口wi中的频谱特征输入到时空图卷积中用于整合窗口级的脑图，将每个作为一个初始空间卷积网络隐藏状态，作为整个初始时间卷积网络隐藏状态；最后，在(4)中，窗口级脑图拓扑特征将分别融合窗口级空间和时间隐藏状态，即为和通过矩阵乘法，获得窗口级时空脑图表示其中62是EEG电极个数，10是特征向量X的维度，将计算每个电极对的EEG信号之间的皮尔逊相关系数，以导出时间窗口级集成脑图的62×62邻接矩阵
其中，归一化拉普拉斯算子 作为可训练的脑图节点嵌入，基于空间和时间隐藏状态，即和将通过时空图卷积层l＝1→L进行转换，||表示空间图卷积层融合，其中U、V、W作为可训练权重。
进一步的，步骤12-步骤14具体为：将所有窗口下的时空特征向量H利用GRU进行整合(5)，最终GRU的输出通过每个电极对之间的皮尔逊相关系数，得到集成整个时间段脑电特征的脑图BGall；利用进行情感分类，获得情感标签的预测值ybgi，整个BGI模块的LOSS是预测值ybgi和标签y之间的交叉熵损失(6)；
进一步的，步骤15-步骤17具体为：首先基于Graphormer的Encoder-Decoder架构，构建上界网络P(BG|KG)用于实现知识图谱KG到脑图BG的回溯；利用TransE模型将实体关系三元组进行嵌入，以获取节点表示V；知识图谱表示为其中表示当前时间窗口下文本材料出现的实体关系的嵌入，是实体节点之间的邻接关系；然后将知识图谱KG经过Graphormer的Encoder层(7)进行编码来获取知识图谱的表示之后将结果送到注意层和稠密层中，以学习知识图谱分布Zp；
其中，z+,z-∈Rd是入度和出度的编码表示，LN(·)是层归一化，MHA是多头注意力机制，FFN是前馈神经网络，emb_dim是KG的嵌入维度，是KG在Encoder中第l层的表示；
同时，来自脑部整合模块BGI的窗口级融合脑图将被传入图注意层GAT，以高效地学习脑节点表示并提取图结构特征；脑图的表示输入到注意层和稠密层，以学习脑图Zq的分布，见公式(9)和(10)；
在式子(11)中，将在两个分布网络中学习到的潜在表示Zp和Zq进行融合，生成对齐的潜在变量AL，将知识图谱KG中的实体映射到脑图谱BG中的EEG电极，从而得到矩阵其中K表示的节点数，N表示的节点数；矩阵代表了知识图谱节点和脑图谱节点之间的相关性；
最后，在式子(12)中，隐变量AL将被输入到上界网络以重建另一个脑图BG'；Graphormer解码器由Transformer架构解码器组成，用于从和AL解码表示，从而得到重建脑图的表示利用皮尔逊相关系数计算得到重建BG'的邻接矩阵
其中，是Graphormer解码器中脑图的第l个隐藏表示；通过使用EvidenceLower Bound即ELBO原理将整体条件概率分布P(BG|KG)分解为pθ(AL|KG)和两部分，使用潜在变量来建模脑图BG和知识图谱KG之间的对齐关系；提出最大化P(BG|KG)的ELBO，如式子(13)所定义：
当pθ(AL|KG)和之间的KL散度等于0时，ELBO取得最大值；在这一点上，ELBO达到了P(BG|KG)的证据上界；因此，在认知对齐模块CA中最小化pθ(AL|KG)和之间的KL散度。
进一步的，在所述认知对齐模块CA中，除了最小化ELBO中的KL散度，还考虑了重建误差损失来帮助学习潜在变量AL，从而加强了pθ(AL|KG)和之间的联系，CA模块中的损失包括两部分：最小化已学习分布的KL散度和基于Graphormer的重建脑图BG与重建脑图之间的平均绝对误差，如式子(14)所描述；
进一步的，步骤18具体为：在脑部整合和认知对齐之后，所有的信息将在融合模块中进行情感分析；首先，通过将来自不同时间窗口的对齐信息进行连接，然后将连接结果馈送到稠密层中进行线性转换，如式子(15)；接着，整合后的图信息，包括脑图BGall和知识图谱KGall，将被传入图卷积网络GCN中，以聚合图结构特征，并通过稠密层进行线性转换，将其转换为与对齐信息相同的维度，见式子(16)、(17)；最后，所有的信息将被拼接成hall，并通过SoftMax层进行分类，输出分类结果见式子(18)；
融合模块的损失函数在式子(18)中定义，提高模型中的分类性能；
最后，模型将通过式子(20)中定义的综合损失进行训练，该损失将整合涉及三个模块：BGI模块、CA模块和Fusion模块的所有损失。
进一步的，步骤3，步骤4，步骤5，步骤6引入脑电信号，一方面使用皮尔逊相关系数计算功能性邻接矩阵构建脑图BG；另一方面提取脑电信号所有通道的五个不同频段的频域特征DE和PSD，构建特征向量从两个不同的方向利用了脑电信号，保留了更多的脑电特征。
进一步的，步骤8利用Zigzag持久性这个数学工具，构建ZPI用于捕获脑图的拓扑特征，步骤9将特征向量以两种不同的形式与窗口级脑图拓扑特征结合，分别进行时间图卷积和空间图卷积，捕获时间和空间特征。
进一步的，步骤14，步骤15，步骤16，为了实现BG与KG的对齐，我们构建三个分布网络：上界网络P(BG|KG)，pθ(AL|KG)，并使用ELBO公式来获得隐变量认知对齐
有益效果：与现有技术相比，本发明具有如下显著优点：
(1)本发明是一种基于脑电EEG认知对齐知识图谱的文本情感分类模型，被用于情感分类任务中。利用知识图谱捕获文本材料中实体关系三元组，从语义任职的角度提供只是增强的表示。结合神经认知科学领域的脑电信号，从神经认知的角度，在情感分析中更全面、深入地理解情感过程，提高分类的可解释性和准确性。同时利用ELBO公式、图神经网络和注意力机制计算隐变量AL,在知识图谱和脑图之间实现认知对齐。
(2)本发明进一步提升情感分析任务的准确性和可解释性，通过融合脑电数据信息和常规文本情感分析，实现对情感过程更全面深入的理解。构建知识图谱，引入脑电信息，将文本内容与脑电数据信息相结合。这种脑电数据信息能够反映个体在阅读、理解和产生情感时大脑的活动模式，从而提供更加深入的语义信号。借助类脑认知的分析，我们将探索大脑在情感处理中的神经机制，解析情感信号的传递路径和相互关联。为了实现这一联合分析，我们设计了隐变量AL，用于表征知识图谱与脑图间的潜在关系，从而实现对情感认知的深度嵌入。这不仅将有助于提高情感识别的准确性，还能为情感过程提供可解释性，让我们更好地理解情感产生的原因和机制。
(3)本发明创新性地结合认知神经科学和自然语言处理，基于EEG信号进行文本情感分析，提升情感分析的效果，并补充关于情感认知的大脑反应结论，具有重要研究意义。
附图说明
图1是基于脑电EEG认知对齐知识图谱的文本情感分类模型流程图；
图2是基于脑电EEG认知对齐知识图谱的文本情感分类模型任务总图；
图3是基于脑电EEG认知对齐知识图谱的文本情感分类模型的BGI模块结构图；
图4是基于脑电EEG认知对齐知识图谱的文本情感分类模型的CA模块结构图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
结合流程图及实施案例对本发明所述的基于脑电EEG认知对齐知识图谱的文本情感分类模型作进一步的详细描述。
本实施案例基于脑电EEG认知对齐知识图谱的文本情感分类模型，通过在常规文本情感分析任务中结合由阅读产生的脑电数据信息进行联合分析，语义信号的传递结合类脑认知的分析。通过生理信号与知识图谱的结合，为情感过程提供可解释性，实现认知嵌入，从而提高情感识别的可解释性。具体流程如图1所示，本方法包含如下步骤：
步骤10，人工将视频材料解释为文本材料，按照固定视频时长将文本材料划分为n个不重叠的30s时间窗口。
步骤20，在每个窗口下使用Stanford NLP模型抽取文本材料的实体关系三元组，构建知识图谱整个文本材料的KG集合表示为文本材料的标签与视频材料标签保持一致。
步骤301，使用62通道ESI神经扫描系统采集被试者在观看视频材料时的脑电信号，对原始EEG数据下采样至200Hz，进行去除伪迹和重影的预处理。使用0-75Hz的带通频率滤波器，将数据划分为δ波(1-4Hz)、θ波(4-7Hz)、α波(8-13Hz)、β波(13-30Hz)和γ波(31-50Hz)五个波段。将预处理后的脑电信号划分为与文本材料长度相同且不重叠的n个窗口，并在每个窗口下继续划分m个10s的EEG片段。
步骤302，在每一个窗口下，一方面计算片段级别的脑电信号不同通道之间的皮尔逊相关系数并过滤，构建脑图
其中X,Y分别是通道X,Y在间隔内的脑电信号离散值，σX,σY是标准差，η是一个阈值，Cov(X,Y)是X,Y的协方差。
另一方面，我们从五个频段中提取DE和PSD特征，然后每个片段下取平均值，拼接成特征向量
其中，p(x)是脑电信号的概率密度函数，[a,b]表示脑电片段时间取值的区间，N是脑电片段长度，X(k)是脑电信号经过傅里叶变换的结果。
步骤303，将窗口级的脑图序列和特征向量集合输入脑图集成模块中。为了捕捉脑电的拓扑特征，我们利用Zigzag持久性工具，将脑图序列构建之字形路径 其中v*是一个尺度参数，作为单纯复形，将每个之字形路径项投影到拓扑空间中。这样，通过过滤每个之字形路径项中的尺度参数v*(例如，我们可以跟踪图拓扑特征随时间点的诞生和消亡(tb,td)或<x,y>，并被记录到离散之字形持久图ZPD：最后，基于ZPD中的所有(tb,td)或<x,y>点，我们通过(3)计算每个时间窗口wi的之字形持久性图像ZPI。这里，ZPI可以被认为是ZPD的连续有限维表示。在(3)中，μ和θ是ZPD中所有<x,y>点的均值和方差(g(μ)作为加权激活函数)，z是ZPI中的像素点，由ZPD中<x,y>通过(3)得到。接下来将经过卷积层fCNN和最大池化层ξmax，得到最终的窗口级脑图拓扑特征
步骤304，接下来，将时间窗口wi中的频谱特征输入到时空图卷积中用于整合窗口级的脑图。具体来说，我们将每个作为一个初始空间卷积网络隐藏状态，作为整个初始时间卷积网络隐藏状态。最后，在(4)中，窗口级脑图拓扑特征将分别融合窗口级空间和时间隐藏状态(即)通过矩阵乘法，获得窗口级时空脑图表示(62是EEG电极个数，10是特征向量X的维度)，其中将计算每个电极对的EEG信号之间的皮尔逊相关系数，以导出时间窗口级集成脑图的62×62邻接矩阵
其中，归一化拉普拉斯算子 作为可训练的脑图节点嵌入。基于空间和时间隐藏状态(即)将通过时空图卷积层l＝1→L进行转换，||表示空间图卷积层融合，其中U、V、W作为可训练权重。
步骤305，将所有窗口下的时空特征向量H利用GRU进行整合(5)，最终GRU的输出通过每个电极对之间的皮尔逊相关系数，得到集成整个时间段脑电特征的脑图BGall。利用进行情感分类，获得情感标签的预测值ybgi，整个BGI模块的LOSS是预测值ybgi和标签y之间的交叉熵损失(6)。
步骤40，首先我们基于Graphormer的Encoder-Decoder架构，构建上界网络P(BG|KG)用于实现知识图谱(KG)到脑图(BG)的回溯。接着，利用TransE模型将实体关系三元组进行嵌入，以获取节点表示V。知识图谱可以表示为其中表示当前时间窗口下文本材料出现的实体关系的嵌入，是实体节点之间的邻接关系。然后将知识图谱KG经过Graphormer的Encoder层(7)进行编码来获取知识图谱的表示之后将结果送到注意层和稠密层中，以学习知识图谱分布Zp。
其中，z+,z-∈Rd是入度和出度的编码表示，LN(·)是层归一化，MHA是多头注意力机制，FFN是前馈神经网络，emb_dim是KG的嵌入维度，是KG在Encoder中第l层的表示。
同时，来自脑部整合模块BGI的窗口级融合脑图将被传入图注意层(GAT)，以高效地学习脑节点表示并提取图结构特征。然后，脑图的表示输入到注意层和稠密层，以学习脑图Zq的分布(见公式9和10)。
接下来，在式子(11)中，将在两个分布网络中学习到的潜在表示Zp和Zq进行融合，生成对齐的潜在变量AL，将知识图谱KG中的实体映射到脑图谱BG中的EEG电极，从而得到矩阵其中K表示的节点数，N表示的节点数。矩阵代表了知识图谱节点和脑图谱节点之间的相关性。
最后，在式子(12)中，隐变量AL将被输入到上界网络以重建另一个脑图BG'。Graphormer解码器由Transformer架构解码器组成，用于从和AL解码表示，从而得到重建脑图的表示利用皮尔逊相关系数计算得到重建BG'的邻接矩阵
其中，是Graphormer解码器中脑图的第l个隐藏表示。我们通过使用EvidenceLower Bound(ELBO)原理将整体条件概率分布P(BG|KG)分解为pθ(AL|KG)和两部分，使用潜在变量来建模脑图BG和知识图谱KG之间的对齐关系。我们提出最大化P(BG|KG)的ELBO，如式子(13)所定义：
需要注意的是，当pθ(AL|KG)和之间的KL散度等于0时，ELBO取得最大值。在这一点上，ELBO达到了P(BG|KG)的证据上界。因此，我们在认知对齐模块(CA)中最小化pθ(AL|KG)和之间的KL散度。
步骤50，在认知对齐模块(CA)中，除了最小化ELBO中的KL散度，还考虑了重建误差损失来帮助学习潜在变量AL，从而加强了pθ(AL|KG)和之间的联系。CA模块中的损失包括两部分：最小化已学习分布的KL散度和基于Graphormer的重建脑图BG与重建脑图之间的平均绝对误差，如式子(14)所描述。
步骤60，在脑部整合和认知对齐之后，所有的信息将在融合模块中进行情感分析。首先，我们通过将来自不同时间窗口的对齐信息进行连接，然后将连接结果馈送到稠密层中进行线性转换(15)。接着，整合后的图信息，包括脑图BGall和知识图谱KGall，将被传入图卷积网络(Graph Convolutional Network，GCN)中，以聚合图结构特征，并通过稠密层进行线性转换，将其转换为与对齐信息相同的维度(见式子16、17)。最后，所有的信息将被拼接成hall，并通过SoftMax层进行分类，输出分类结果(见式子18)。
融合模块的损失函数在式子(18)中定义，旨在提高模型中的分类性能。
最后，模型将通过式子(20)中定义的综合损失进行训练，该损失将整合涉及三个模块(BGI模块、CA模块和Fusion模块)的所有损失。通过综合考虑这些模块的损失函数，整个模型能够全面优化，使得模型能够更好地处理情感分析任务，并取得更好的性能表现。该综合损失函数可能结合了每个模块的损失以及它们的权重，以在训练过程中平衡三个模块的影响，从而使得整个模型更加有效和稳定。
为了证明我们方案的可行性，我们进行了消融实验与对比实验：
表1
三个模块在SEED和SEED-V数据集中的表现
表1展示的是我们方案中三个模型的消融实验结果，从表中我们可以看出，仅仅从自然语言处理领域出发，使用知识图谱进行情感分类准确率只有60％左右。这是因为，单纯从知识图谱出发，未充分利用语义知识增强文本表示。构建的知识图谱较为简单,未能有效把握语义知识的深层内在关系,导致知识图谱对情感分析的支持不足。而仅仅从神经认知科学出发，进行脑图集成(BGI)进行情感分类，精度和F1分数也不高，而在BGI模块内部，我们可以看到随着特征的增加，精度和F1分数也在不断提升，特征的增加有利于情感分类的准确性。而在认知对齐(CA)模块中，我们可以看到重构脑图使用重构损失来引导隐变量的生成，可以有效地提高我们方法的效果。而在最后的Fusion模块中，我们可以发现，单纯结合知识图谱和脑图，可以提高情感分类的效果，在我们的方法中，引入了表征认知对齐的隐变量可以进一步的提高我们方法的准确率。
表2
文本情感分类的对比实验
·DGCNN(EEG-based)[https://github.com/xueyunlong12589/DGCNN]:Dynamicgraph convolutional neural network for EEG sentiment analysis.
·ACRNN(EEG-based)[https://github.com/Chang-Li-HFUT/ACRNN]:Attention-based convolutional recurrent neural network for EEG sentiment analysis.
·RGNN(EEG-based)[https://github.com/zhongpeixiang/RGNN]:Regularizedgraph neural network for EEG sentiment analysis.
·SST-Emotion Net(EEG-based)[https://github.com/ziyujia/SST-EmotionNet.git]：Spatial-spectral-temporal based attention 3D dense network.
·HMLN(Graph-based)[https://github.com/gloitongbam/SA_Hetero_Net]:Heterogeneous multi-layer network-based representation of graph for sentimentanalysis.
·Text-GCN(Graph-based)[https://github.com/yao8839836/text_gcn]:AGraph Convolutional Network which learning the corpus for text sentimentanalysis.
·Tensor-GCN(Graph-based)[https://github.com/xienliu/tensor_gcn-text-classification-tensorflow]:Tensor Graph Convolutional Network whichconstructing a text tensor graph to describe semantic syntactic andsequential contextual in formation for text sentiment analysis.
·T-5(PTLM)[https://github.com/pytorch/fairseq]:A PTLM-based Text-to-text transfer transformer model.
·BART(PTLM)[https://github.com/google-research/text-to-text-transfer-transformer]:A PTLM-based sequence to sequence denoising autoencodermodel.
·ChatGPT(PTLM)[https://openai.com]:A PTLM-based generativepretrained transformer model.
表2是我们的方法与现有其他文本情感分类方法的对比，在两个数据集中，我们的方法表现最好。为了证明我们的方法可以提高文本情感分类的准确性，我们将其与三种类型的方法进行了比较：基于EEG的情感分析、基于图的文本情感分析和用于文本情感分析的预训练语言模型。最近，ChatGPT代表的预训练语言模型在自然语言处理方面取得了重大进展，因此我们在实验中添加了T5、BART和ChatGPT等预训练语言模型。我们的方法在两个数据集中总体上优于所有比较方法，在所有指标上都实现了最优。
Claims (10)
1.一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，其特征在于，包括以下步骤：
步骤1、通过人工将视频材料解释为第一文本材料，将第一文本材料按照固定时间窗口进行划分，得到划分后的第二文本材料；
步骤2、基于Stanford NLP模型对划分后的第二文本材料进行实体关系抽取，构建知识图谱集合
步骤3、采集被试者在观看步骤1的第一文本材料时的脑电信号，对脑电信号进行下采样和预处理，得到预处理后的脑电信号；
步骤4、将预处理后的脑电信号划分为与步骤1中第二文本材料相同的时间窗口，并在每一个时间窗口下，继续划分为若干个等长的时间间隔；
步骤5、在步骤4中的每一个时间窗口下，对每个时间间隔下的脑电信号计算不同通道之间的皮尔逊相关系数，用于构建间隔级脑图得到每个窗口下所有构建的间隔级脑图
步骤6、在步骤4中每一个时间窗口下，脑电信号提取每个通道在5个频段下的频域特征：微分熵DE和功率谱密度PSD，对每个时间间隔的脑电信号提取特征向量记为将窗口下所有的间隔级特征向量融合成窗口级特征向量
步骤7、将步骤5每个窗口下所有构建的间隔级脑图步骤6中窗口级特征向量和间隔级特征向量输入到脑图集成模块BGI中；
步骤8、对步骤7中的脑图集合进行Zigzag持久性计算，得到包含了拓扑属性的之字形持久性图像ZPI，对ZPI进行卷积池化，得到窗口级脑图拓扑特征
步骤9、将步骤8的窗口级脑图拓扑特征与步骤6得到的每一个间隔级特征向量进行空间图卷积，获得空间特征向量集合将S中所有元素融合得到空间特征向量
步骤10、将步骤6得到窗口级特征向量与步骤8得到的窗口级脑图拓扑特征进行时间图卷积，得到时间特征向量
步骤11、将步骤9得到的空间特征向量与步骤10得到的时间特征向量进行矩阵乘法，得到包含时空特征的特征向量
步骤12、计算包含时空特征的特征向量的皮尔逊相关系数，过滤得到邻接矩阵并重构回脑图
步骤13、将每个窗口下的从步骤11得到的输入到GRU中，获得特征经过皮尔逊相关系数计算，得到集成整个时间段内脑电信号特征的BGall；
步骤14、将脑图送入认知对齐模块CA，使用图神经网络GNN和注意力机制计算分布
步骤15、从步骤2的知识图谱集合选出与步骤12脑图中同一时间窗口的知识图谱送入Graphormer的Encoder层，经过注意力机制和全连接层获得分布pθ(AL|KG)；
步骤16、构建ELBO公式，用于从步骤14中的分布和步骤15中的分布pθ(AL|KG)学习到表征认知对齐的隐变量
步骤17、将送入Graphormer Encoder层获得的编码输出结果与步骤16中的隐变量融合，经过Graphormer的Decoder层得到特征将经过皮尔逊相关系数的计算，重构回脑图
步骤18、将从步骤2得到的知识图谱集合中所有的实体关系全部提取KGall，从步骤16经过融合得到从步骤13得到的BGall融合，进行情感分类。
2.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，其特征在于，步骤3和步骤4具体为：使用62通道ESI神经扫描系统采集被试者在观看第一文本材料时的脑电信号，对原始EEG数据下采样至200Hz，进行去除伪迹和重影的预处理，使用0-75Hz的带通频率滤波器，将数据划分为δ波，频率1-4Hz、θ波，频率4-7Hz、α波，频率8-13Hz、β波，频率13-30H和γ波，频率31-50Hz五个波段；将预处理后的脑电信号划分为与文本材料长度相同且不重叠的n个窗口，并在每个窗口下继续划分m个10s的EEG片段。
3.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，其特征在于，步骤5具体为：在每一个窗口下，计算时间间隔级别的脑电信号不同通道之间的皮尔逊相关系数并过滤，构建脑图
其中X,Y分别是通道X,Y在间隔内的脑电信号离散值，σX,σY是标准差，η是一个阈值，Cov(X,Y)是X,Y的协方差。
4.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，其特征在于，步骤6具体为：从5个频段中提取DE和PSD特征，每个时间间隔下取平均值，拼接成特征向量
其中，p(x)是脑电信号的概率密度函数，[a,b]表示脑电片段时间取值的区间，N是脑电片段长度，X(k)是脑电信号经过傅里叶变换的结果。
5.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，其特征在于，步骤7和步骤8具体为：将窗口级的脑图序列和特征向量集合输入脑图集成模块中，为捕捉脑电的拓扑特征，利用Zigzag持久性工具，将脑图序列构建之字形路径 其中v*是一个尺度参数，作为单纯复形，将每个之字形路径项投影到拓扑空间中；通过过滤每个之字形路径项中的尺度参数v*，跟踪图拓扑特征随时间点的诞生和消亡(tb,td)或<x,y>，并被记录到离散之字形持久图ZPD：最后，基于ZPD中的所有(tb,td)或<x,y>点，通过公式(3)计算每个时间窗口wi的之字形持久性图像ZPI；ZPI被认为是ZPD的连续有限维表示；在(3)中，μ和θ是ZPD中所有<x,y>点的均值和方差，其中g(μ)作为加权激活函数，z是ZPI中的像素点，由ZPD中<x,y>通过(3)得到；接下来将经过卷积层fCNN和最大池化层ξmax，得到最终的窗口级脑图拓扑特征
6.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，其特征在于，步骤9-步骤11具体为：将时间窗口wi中的频谱特征输入到时空图卷积中用于整合窗口级的脑图，将每个作为一个初始空间卷积网络隐藏状态，作为整个初始时间卷积网络隐藏状态；最后，在(4)中，窗口级脑图拓扑特征将分别融合窗口级空间和时间隐藏状态，即为和通过矩阵乘法，获得窗口级时空脑图表示其中62是EEG电极个数，10是特征向量X的维度，将计算每个电极对的EEG信号之间的皮尔逊相关系数，以导出时间窗口级集成脑图的62×62邻接矩阵
其中，归一化拉普拉斯算子作为可训练的脑图节点嵌入，基于空间和时间隐藏状态，即和将通过时空图卷积层l＝1→L进行转换，||表示空间图卷积层融合，其中U、V、W作为可训练权重。
7.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，其特征在于，步骤12-步骤14具体为：将所有窗口下的时空特征向量H利用GRU进行整合(5)，最终GRU的输出通过每个电极对之间的皮尔逊相关系数，得到集成整个时间段脑电特征的脑图BGall；利用进行情感分类，获得情感标签的预测值ybgi，整个BGI模块的LOSS是预测值ybgi和标签y之间的交叉熵损失(6)；
8.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，其特征在于，步骤15-步骤17具体为：首先基于Graphormer的Encoder-Decoder架构，构建上界网络P(BG|KG)用于实现知识图谱KG到脑图BG的回溯；利用TransE模型将实体关系三元组进行嵌入，以获取节点表示V；知识图谱表示为其中表示当前时间窗口下文本材料出现的实体关系的嵌入，是实体节点之间的邻接关系；然后将知识图谱KG经过Graphormer的Encoder层(7)进行编码来获取知识图谱的表示之后将结果送到注意层和稠密层中，以学习知识图谱分布Zp；
其中，z+,z-∈Rd是入度和出度的编码表示，LN(·)是层归一化，MHA是多头注意力机制，FFN是前馈神经网络，emb_dim是KG的嵌入维度，是KG在Encoder中第l层的表示；
同时，来自脑部整合模块BGI的窗口级融合脑图将被传入图注意层GAT，以高效地学习脑节点表示并提取图结构特征；脑图的表示输入到注意层和稠密层，以学习脑图Zq的分布，见公式(9)和(10)；
在式子(11)中，将在两个分布网络中学习到的潜在表示Zp和Zq进行融合，生成对齐的潜在变量AL，将知识图谱KG中的实体映射到脑图谱BG中的EEG电极，从而得到矩阵其中K表示的节点数，N表示的节点数；矩阵代表了知识图谱节点和脑图谱节点之间的相关性；
最后，在式子(12)中，隐变量AL将被输入到上界网络以重建另一个脑图BG'；Graphormer解码器由Transformer架构解码器组成，用于从和AL解码表示，从而得到重建脑图的表示利用皮尔逊相关系数计算最终得到重建BG'的邻接矩阵
其中，是Graphormer解码器中脑图的第l个隐藏表示；通过使用Evidence LowerBound即ELBO原理将整体条件概率分布P(BG|KG)分解为pθ(AL|KG)和两部分，使用潜在变量来建模脑图BG和知识图谱KG之间的对齐关系；提出最大化P(BG|KG)的ELBO，如式子(13)所定义：
当pθ(AL|KG)和之间的Kullback-Leibler散度即KL散度等于0时，ELBO取得最大值；在这一点上，ELBO达到了P(BG|KG)的证据上界；因此，在认知对齐模块CA中最小化pθ(AL|KG)和之间的Kullback-Leibler散度。
9.根据权利要求8所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，其特征在于，在所述认知对齐模块CA中，除了最小化ELBO中的Kullback-Leibler散度，还通过重建误差损失来帮助学习潜在变量AL，加强pθ(AL|KG)和之间的联系，CA模块中的损失包括两部分：最小化已学习分布的Kullback-Leibler散度和基于Graphormer的重建脑图BG与重建脑图之间的平均绝对误差，如式子(14)所描述；
10.根据权利要求1所述的一种基于脑电EEG认知对齐知识图谱的文本情感分类方法，其特征在于，步骤18具体为：在脑部整合和认知对齐之后，所有的信息将在融合模块中进行情感分析；首先，通过将来自不同时间窗口的对齐信息进行连接，然后将连接结果馈送到稠密层中进行线性转换，如式子(15)；接着，整合后的图信息，包括脑图BGall和知识图谱KGall，将被传入图卷积网络GCN中，以聚合图结构特征，并通过稠密层进行线性转换，将其转换为与对齐信息相同的维度，见式子(16)、(17)；最后，所有的信息将被拼接成hall，并通过SoftMax层进行分类，输出分类结果见式子(18)；
融合模块的损失函数在式子(18)中定义，提高模型中的分类性能；
最后，模型将通过式子(20)中定义的综合损失进行训练，该损失将整合涉及三个模块：BGI模块、CA模块和Fusion模块的所有损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311064635.3A CN117033638B (zh) | 2023-08-23 | 2023-08-23 | 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311064635.3A CN117033638B (zh) | 2023-08-23 | 2023-08-23 | 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117033638A CN117033638A (zh) | 2023-11-10 |
| CN117033638B true CN117033638B (zh) | 2024-04-02 |
Family
ID=88622581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311064635.3A Active CN117033638B (zh) | 2023-08-23 | 2023-08-23 | 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117033638B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117273130B (zh) * | 2023-11-13 | 2024-02-23 | 南京信息工程大学 | 一种基于知识图谱与个体能力的认知诊断状态机实现方法 |
| CN117653147B (zh) * | 2024-01-31 | 2024-04-26 | 长春理工大学 | 一种基于脑电信号特征的分类方法 |
| CN118044826B (zh) * | 2024-04-16 | 2024-07-19 | 小舟科技有限公司 | 一种基于时频分析的跨被试脑电信号对齐方法及相关设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111616721A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于深度学习和脑机接口的情绪识别系统及应用 |
| KR20210051419A (ko) * | 2019-10-30 | 2021-05-10 | 한밭대학교 산학협력단 | 뇌 인지 부하 분류 시스템 및 방법 |
| CN115238835A (zh) * | 2022-09-23 | 2022-10-25 | 华南理工大学 | 基于双空间自适应融合的脑电情感识别方法、介质及设备 |
| CN115392302A (zh) * | 2022-08-15 | 2022-11-25 | 杭州电子科技大学 | 一种基于融合图卷积网络的脑电情绪识别方法 |
| WO2023040588A1 (zh) * | 2021-09-17 | 2023-03-23 | 之江实验室 | 基于图模型的脑功能配准方法 |
| CN115919330A (zh) * | 2022-11-28 | 2023-04-07 | 杭州电子科技大学 | 基于多层次se注意力和图卷积的eeg情绪状态分类方法 |
| CN116115240A (zh) * | 2022-12-14 | 2023-05-16 | 杭州电子科技大学 | 基于多分支图卷积网络的脑电情绪识别方法 |
| CN116421200A (zh) * | 2023-03-21 | 2023-07-14 | 沈阳航空航天大学 | 一种基于并行训练的多任务混合模型的脑电情感分析方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11468288B2 (en) * | 2020-07-28 | 2022-10-11 | Oken Technologies, Inc. | Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data |
| CN113627518B (zh) * | 2021-08-07 | 2023-08-08 | 福州大学 | 利用迁移学习实现神经网络脑电情感识别模型的方法 |
-
2023
- 2023-08-23 CN CN202311064635.3A patent/CN117033638B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210051419A (ko) * | 2019-10-30 | 2021-05-10 | 한밭대학교 산학협력단 | 뇌 인지 부하 분류 시스템 및 방법 |
| CN111616721A (zh) * | 2020-05-31 | 2020-09-04 | 天津大学 | 基于深度学习和脑机接口的情绪识别系统及应用 |
| WO2023040588A1 (zh) * | 2021-09-17 | 2023-03-23 | 之江实验室 | 基于图模型的脑功能配准方法 |
| CN115392302A (zh) * | 2022-08-15 | 2022-11-25 | 杭州电子科技大学 | 一种基于融合图卷积网络的脑电情绪识别方法 |
| CN115238835A (zh) * | 2022-09-23 | 2022-10-25 | 华南理工大学 | 基于双空间自适应融合的脑电情感识别方法、介质及设备 |
| CN115919330A (zh) * | 2022-11-28 | 2023-04-07 | 杭州电子科技大学 | 基于多层次se注意力和图卷积的eeg情绪状态分类方法 |
| CN116115240A (zh) * | 2022-12-14 | 2023-05-16 | 杭州电子科技大学 | 基于多分支图卷积网络的脑电情绪识别方法 |
| CN116421200A (zh) * | 2023-03-21 | 2023-07-14 | 沈阳航空航天大学 | 一种基于并行训练的多任务混合模型的脑电情感分析方法 |
Non-Patent Citations (1)
| Title |
|---|
| 脑电信号情绪识别研究综述;秦天鹏等;《计算机工程与应用》;第59卷(第15期);第38-54页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117033638A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117033638B (zh) | 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法 | |
| Wang et al. | Multi-modal domain adaptation variational autoencoder for EEG-based emotion recognition | |
| CN114224342B (zh) | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 | |
| CN112244873A (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
| Li et al. | Residual GCB-Net: Residual graph convolutional broad network on emotion recognition | |
| CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| Zaman et al. | Driver emotions recognition based on improved faster R-CNN and neural architectural search network | |
| Bai et al. | Dreamdiffusion: Generating high-quality images from brain eeg signals | |
| Altaheri et al. | Dynamic convolution with multilevel attention for EEG-based motor imagery decoding | |
| Zhang et al. | An attention-based hybrid deep learning model for EEG emotion recognition | |
| CN115349860A (zh) | 一种多模态情绪识别方法、系统、设备及介质 | |
| Tang et al. | A hybrid SAE and CNN classifier for motor imagery EEG classification | |
| Aadam et al. | EmoPercept: EEG-based emotion classification through perceiver | |
| Demir et al. | AutoBayes: Automated Bayesian graph exploration for nuisance-robust inference | |
| CN115859185A (zh) | 基于脉冲卷积神经网络的脑电情绪识别方法 | |
| Gu et al. | Optimized projection and fisher discriminative dictionary learning for EEG emotion recognition | |
| Siddiqui et al. | Deep neural network for eeg signal-based subject-independent imaginary mental task classification | |
| Kumari et al. | Visually evoked brain signals guided image regeneration using GAN variants | |
| Ali et al. | A Unified Transformer-based Network for Multimodal Emotion Recognition | |
| Lee et al. | Source-free subject adaptation for eeg-based visual recognition | |
| CN113887365A (zh) | 一种基于多模态数据融合的特殊人员情感识别方法及系统 | |
| Han et al. | Noise-Factorized Disentangled Representation Learning for Generalizable Motor Imagery EEG Classification | |
| Wang et al. | Large-scale Foundation Models and Generative AI for BigData Neuroscience | |
| CN117407748A (zh) | 基于图卷积和融合注意力的脑电情绪识别方法 | |
| Selvi et al. | Stocastic multimodal fusion method for classifying emotions with attention mechanism using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |