CN116662554A - 基于异构图卷积神经网络的传染病方面级情感分类方法 - Google Patents
基于异构图卷积神经网络的传染病方面级情感分类方法 Download PDFInfo
- Publication number
- CN116662554A CN116662554A CN202310924083.2A CN202310924083A CN116662554A CN 116662554 A CN116662554 A CN 116662554A CN 202310924083 A CN202310924083 A CN 202310924083A CN 116662554 A CN116662554 A CN 116662554A
- Authority
- CN
- China
- Prior art keywords
- infectious disease
- neural network
- vector
- word
- public opinion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000035473 Communicable disease Diseases 0.000 title claims abstract description 84
- 208000015181 infectious disease Diseases 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000008451 emotion Effects 0.000 title claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 37
- 239000013598 vector Substances 0.000 claims abstract description 98
- 239000011159 matrix material Substances 0.000 claims abstract description 52
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 8
- 238000004220 aggregation Methods 0.000 claims abstract description 6
- 230000002776 aggregation Effects 0.000 claims abstract description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 15
- 238000005096 rolling process Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 13
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000005065 mining Methods 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 208000025721 COVID-19 Diseases 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 208000024891 symptom Diseases 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了基于异构图卷积神经网络的传染病方面级情感分类方法，通过采集传染病舆情文本，并按方面类别和情感极性进行分类标注，再输入至词嵌入层，得到第一特征向量；将第一特征向量输入BiLSTM，得到第二特征向量，将第二特征向量组成第一向量表示矩阵；构建异构图；利用异构图卷积神经网络算法对异构图进行聚合更新，得到第二向量表示矩阵；将第二向量表示矩阵输入至注意力机制层；然后掩码层屏蔽非方面单词的隐藏状态向量，增强的方面特征向量；最后得到情感预测标签。采用本方法可以有效地分类社交媒体中与传染病舆情相关方面实体的情感极性，大大提高了方面情感分类任务的检测效果，有助于人们更好地理解公共舆论。
Description
技术领域
本发明涉及数据挖掘领域和自然语言处理领域，尤其涉及一种基于异构图卷积神经网络的传染病方面级情感分类方法。
背景技术
为了评估疫情对公众的影响，通常传染病学专家及医学研究人员通过问卷调查、临床随访、应用程序跟踪等方式开展研究，但仍存在样本规模小和即时性差等问题。对于社交媒体中的传染病舆情细粒度情感挖掘析尤为重要，社交媒体具有用户基数大、用户参与度高、信息传播速度快、涉及领域多等特点。更加精准的进行传染病舆情文本的情感挖掘能够更好的了解舆论动态和发展趋势，以便智慧治理城市，全面了解传染病对用户的情感影响和实际需求，监测、引导和治理是疫情防控的重要内容，辅助公众依靠科学消除恐慌。
细粒度情感分析也被称为方面级别情感分析（Aspect Based SentimentAnalysis，ABSA），其对文本中出现的方面实体进行情感分类，方面术语通常是一个实体或一个实体方面，情感通常分为“积极（正向）”、“消极（负向）”、“中性”。例如：“The price isreasonable although the service is poor”, 方面实体“price”的情感是正向的，方面实体“service”是负向的。现有关于传染病方面及情感分析任务存在一些缺点：（1）研究的方面级情感分析比较少，更多关注粗粒度的情感挖掘即句子级别的情感分析，缺乏细粒度的情感挖掘；（2）在模型层面上，现有方法大多简单使用现有的模型，如TF-IDF、KNN、朴素贝叶斯、RNN、LSTM、Bert等，准确率有待提升。文本句子中单词与单词之间自然的存在多种类型的节点和连结关系，因此设想提出构建异构图，有机的融合图模型和时序模型，对10种传染病舆情相关的方面类别进行情感倾向分类。
异构图中节点和边具有多余一种的类型，在实践中比同构图更常见。异构图能结合了具有不同属性的数据，并添加了更多的语义信息数据。在方面级情感分析任务中，有少量研究工作使用异构图的思路解决问题。例如，在文献[W. An, et al. Aspect-basedsentiment analysis with heterogeneous graph neural network, IEEE Transactionson Computational Social Systems, 2022, pp. 1–10.]中，使用异构图神经网络解决方面级情感分析；在文献[H. Niu, Y. Xiong, J. Gao, Z. Miao, X. Wang, H. Ren, Y.Zhang, Y. Zhu, Composition-based heterogeneous graph multi-channel attentionnetwork for multi-aspect multi-sentiment classification, COLING, 2022, pp.6827–6836.]中，提出了一种新的多关系图卷积网络框架，该框架系统地利用了知识图嵌入技术中的实体-关系组合操作，通过联合学习图中节点和关系的向量表示，解决节点分类、链路预测和图分类等任务。但是这些研究工作在构造异构图时忽略了方面实体与其他词的关系、方面实体与方面实体之间的隐含关系，针对特定的传染病舆情的命名实体识别任务和方面级情感分析任务，仅仅依靠句法依存树构建异构图是不够的。
因此急需结合异构图研发全新的传染病方面级情感分类模型。
发明内容
针对现有技术的不足，本发明提出了一种基于异构图卷积神经网络的传染病方面级情感分类方法；主要解决现有技术的传染病方面级情感分析任务的准确率低、不能更好的捕捉词与词之间潜在关联信息等技术问题。
为实现上述技术目的，该方法是通过以下技术方案来实现的：
一种基于异构图卷积神经网络的传染病方面级情感分类方法，所述方法包括如下步骤：
（1）采集传染病舆情文本，并按方面类别和情感极性进行分类标注；
（2）将标注后的舆情文本输入至词嵌入层，得到第一特征向量；
（3）将第一特征向量输入BiLSTM神经网络进行学习，得到包含传染病舆情文本中各个单词对应的第二特征向量, 将每个单词对应的第二特征向量组成第一向量表示矩阵；
（4）定义节点类型与边的连接方式，构建异构图，其中，异构图中的单词节点的初始向量表示为BiLSTM神经网络输出的各个单词对应的第二特征向量，边为方面实体与方面实体以及方面实体与非方面实体之间的关系；然后利用图卷积神经网络算法对异构图进行聚合更新，得到一传染病舆情文本句子中所有单词的第二向量表示矩阵；
（5）将第二向量表示矩阵输入至注意力机制层，得到注意力向量表示矩阵；
（6）通过掩码函数将注意力向量表示矩阵中非方面字节点的表示设置为0，只留下方面字节点的表示；
（7）将方面字节点的表示输入到全连接层，并投射到C类的极性决策空间中，得到极性决策空间上的概率分布；
（8）将概率分布输入至交叉熵损失函数，得到传染病舆情文本的情感预测标签。
进一步地，所述步骤（3）具体为：将第一特征向量输入至BiLSTM神经网络中学习句法和语义信息，所述BiLSTM神经网络包含前向LSTM和后向LSTM，将前向LSTM和后向LSTM的输出向量进行拼接，得到传染病舆情文本的句子中各个单词对应的第二特征向量；然后将所述传染病舆情文本句子中所有单词对应的第二特征向量组成第一特征向量表示矩阵。
进一步地，所述步骤（4）中，异构图中的节点包括两种类型：一种为方面节点类型，另一种为非方面节点类型。
进一步地，所述步骤（4）中，异构图中的边的连接方式包括四种类型：方面节点和前后阈值为d的非方面节点之间的边；方面节点和方面节点之间的边；所有节点之间的句法依存树；每个节点的自环边。
进一步地，所述步骤（4）中，利用图卷积神经网络算法对异构图进行聚合更新具体为：
在异构图卷积层的每一层，对于给定一个节点，聚合节点/>的所有邻居节点的系数，计算出节点/>的新的表示向量/>，/>，/>为图卷积网络的层数；所述邻居为构造图中的相邻位置，然后通过增加层的数量，从进一步的邻居中获得信息；最后由图卷积网络最后一层输出传染病舆情文本句子中所有单词的第二向量表示矩阵/>。
进一步地，所述步骤（5）中，将第二向量表示矩阵输入至注意力机制层具体为：将第二向量表示矩阵输入至注意力机制层；所述第二向量表示矩阵所有位置上的向量通过权重系数线性加和得到注意力向量，注意力机制层通过模型训练学习到不同的权重系数；其中，权重系数越大，表示注意力向量更聚焦于其对应的第二向量表示矩阵中的向量。
进一步地，所述步骤（6）中，屏蔽非方面字的隐藏状态向量，保持方面字的状态不变。
为实现上述目的，本发明还提供了一种基于异构图卷积神经网络的传染病方面级情感分类装置，包括一个或多个处理器，用于实现上述的基于异构图卷积神经网络的传染病方面级情感分类方法。
为实现上述目的，本发明还提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的基于异构图卷积神经网络的传染病方面级情感分类方法。
为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的基于异构图卷积神经网络的传染病方面级情感分类方法。
与现有技术相比，本发明的有益效果为：
（1）本发明通过构建异构图，可以包含不同级别的节点和不同含义的边信息，充分考虑了方面词与方面词、方面与非方面之间的潜在关联信息，能够捕捉到隐藏的多种关联信息；
（2）本发明将异构图卷积神经网络的输出经过自注意力机制层和掩码层，能够更好地加强方面节点的向量表示，有利于模型分类；
（3）本发明能够效地分类社交媒体中与传染病舆情相关的关键实体的情感，有效提高复杂语言环境下的方面实体情感识别，提高检测准确率，更好地辅助人们了解公共舆论。
(4)本发明适用场景广泛，可应用于其他传染病舆情数据，模型具有端到端的优势。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于异构图卷积神经网络的传染病方面级情感分类方法的流程图；
图2是本发明提供的基于异构图卷积神经网络的传染病方面级情感分类方法的实现流程图；
图3是本发明提供的基于异构图卷积神经网络的传染病方面级情感分类方法中异构图G的示意图；
图4是本发明提供的基于异构图卷积神经网络的传染病方面级情感分类装置的结构示意图；
图5是本发明提供的一种电子设备的示意图。
具体实施方式
为使本发明的技术方案更加清楚，下面结合附图和实施例，进一步说明本发明的实施方式。具体实施方式的说明能够使得本发明解决的技术问题、采用的技术方案和达到的技术效果阐述更加清楚。可以理解的是，此处所描述的具体实施例仅用于更加清楚地解释本发明，而非对本发明的限定。另外还需说明，为了方便描述，附图中仅示出了与本发明相关的部分而非全部内容，不能以此来限制本申请的保护范围。
下面对本发明实施例中的技术方案进行清楚、完整地描述。
本发明实施例的目的是挖掘COVID-19文本中关键实体的情感极性，这些实体类型不仅可以用于COVID-19传染病，还可以用于其他传染病的细粒度情感挖掘。本发明方法通过构建异构图进行传染病舆情的方面及情感分类，该方法结合了BiLSTM和异构图卷积神经网络，使用方面实体、非方面实体节点和四类边来构建异构图，然后结合注意力机制和掩码层加强方面特征表示，最后通过解码器softmax输出预测结果。将文本建模为异构图是很自然和合理的，因为网络舆情是复杂多变的，文本中存在着不同粒度的对象及其相互作用，因此本发明通过方面实体、非方面实体节点的多种隐含关系来构建文本数据的异构图，以解决这些问题。
实施例1
参见图1，本发明提供的一种基于异构图卷积神经网络的传染病方面级情感分类方法，包括以下步骤：
步骤S1，采集传染病舆情文本，并按照方面实体类别和三种情感极性进行分类标注，所述方面实体类别包括人名、地点、组织、时间、疾病名称、发病症状、药物名称、诊断治疗方法、工具等，情感极性分为“正向”、“负向”、“中性”，即，/>，其中“-1”表示负向，“0”表示中性，“1”表示正向。
步骤S2，词嵌入层（Embedding）：将标注后的舆情文本输入至词嵌入层（Embedding），得到第一特征向量；参见图2。
具体地，对于给定的句子，其中/>表示第/>个单词，/>是句子的长度，即/>为一传染病舆情文本句子中单词的数量，输入经过word embedding，得到第一特征向量/>。
步骤S3，BiLSTM层（双向长短期记忆网络层）：将第一特征向量输入BiLSTM神经网络进行学习，得到包含传染病舆情文本中各个单词对应的第二特征向量, 将每个单词对应的第二特征向量组成第一向量表示矩阵。
具体地，将第一特征向量输入至BiLSTM神经网络（Bi-directionalLong Short-Term Memory）中学习句法和语义信息，其中，所述BiLSTM神经网络包含前向LSTM和后向LSTM，将前向LSTM和后向LSTM的输出向量进行拼接，得到传染病舆情文本的句子中各个单词对应的第二特征向量/>，表达式如下：
,
其中，表示隐藏单元的数量，/>为前向LSTM输出的特征向量，/>为后向LSTM输出的特征向量；将传染病舆情文本句子中所有单词对应的第二特征向量/>组成第一特征向量表示矩阵，第一特征向量表示矩阵为/>,/>是矩阵的长度。
步骤S4，异构图卷积层（Heterogeneous Graph Convolutional Network，HGCN）：定义节点类型与边的连接方式，构建异构图，如图3所示；其中，异构图中的单词节点的初始向量表示为BiLSTM神经网络输出的各个单词对应的第二特征向量，边为方面实体与方面实体以及方面实体与非方面实体之间的关系；然后利用图卷积神经网络算法对异构图进行聚合更新，得到一传染病舆情文本句子中所有单词的第二向量表示矩阵。
具体地, 步骤S4包括以下子步骤：
步骤S401，首先构建异构图，其中/>表示异构图中的所有节点集合，由于句子S由/>构成，假设一个句子有n个单词，K个方面，则所有单词节点集合为/>，其中包含第k个方面词/>，该方面词的长度为/>，即一个方面词（aspect term）由/>个单词组成，因此异构图中的所有节点集合也可以表示为/>，记一个句子中的方面节点集合为/>，非方面节点集合为/>。/>表示节点的类型分类集合，在本申请中，定义两种类型的节点：/>表示方面节点类型，/>表示非方面节点类型，即/>，/>。
表示节点的输入特征向量，/>表示节点之间的所有边的集合。/>表示边的类型集合，在本申请中，定义四种类型的边：（1）/>表示方面节点和前后阈值为d的非方面节点之间的边，即方面节点与d距离内的每个非方面节点是连接的；（2）/>表示方面节点和方面节点之间的边，即方面节点与方面节点之间是两两互相连接的；（3）/>表示所有节点之间的句法依存树，（4）/>为自环边，每个节点与自己本身是连有一条边；其他情况则没有边相连。因此，/>。
为节点和类型之间的映射函数，/>，/>。
为边和类型之间的映射函数，/>，/>。
节点的邻居为所有类型的邻居集合/>,有以下表达式:
，
则邻接矩阵A表示异构图中的不同关系，如下表达式，
其中表示一个句子中的方面节点，V表示所有节点集合，SDT表示句法依存树（Syntactic dependency tree）；/>为第/>个节点，/>为第/>个节点。
步骤S402，图卷积网络可以编码非结构化数据，并且对局部信息具有很强的特征提取能力。将图输入网络，根据图中的关系，利用卷积操作有效地编码局部信息。图卷积网络的输入是图的表示向量矩阵H和邻接矩阵A。
根据图卷积运算的原理，在异构图卷积层每一层，对于给定一个节点，聚合节点的所有邻居节点的系数，计算出节点/>的新的表示向量/>，/>，/>为图卷积网络的层数；这里的邻居指的是构造图中的相邻位置，而不是句子中单词的顺序位置；通过增加层的数量，可以从进一步的邻居中获得节点特征信息。图卷积网络每一层的每一个节点的计算公式如下：
式中， 为邻接矩阵，/>为邻接矩阵A的归一化形式，D为度矩阵，/>为方阵D的对角线位置的元素，/>为激活函数Relu，/>为图卷积网络第/>层可学习的参数。
因此由图卷积网络最后一层输出，得到一传染病舆情文本句子中所有单词的第二向量表示矩阵，记为，/>，/>为一传染病舆情文本句子中单词的数量。
步骤S5，自注意力机制层（self-Attention）：将第二向量表示矩阵输入至注意力机制层，可以捕获序列中标记和上下文信息之间的远程依赖关系；第二向量表示矩阵所有位置上的向量通过权重系数线性加和得到注意力向量，注意力机制层能够通过模型训练学习到不同的权重系数/>；权重系数/>越大,表示注意力向量更聚焦于其对应的第二向量表示矩阵中的向量，即权重代表了第二向量表示矩阵中向量的重要性程度。有如下表达式：
其中是训练期间要学习的参数矩阵，/>为注意力权重系数。/>作为位置/>的注意力向量表示在位置/>接收到多少注意力。最后得到注意力向量表示矩阵。
步骤S6，掩码层（Mask layer）：为了后续预测关于aspect词的情感极性，获得增强的方面特征向量，这里屏蔽非方面字的隐藏状态向量，保持方面字的状态不变。具体地，掩码函数将非方面字节点的表示设置为0，只留下特定于方面字节点的表示/>，有如下表达式：
其中，表示掩码函数，/>表示在句中第一个方面词汇/>的第一个单词的表示向量，则/>表示在句中第/>个方面词汇的第/>个单词的表示向量。
步骤S7，输出层（Softmax）：当生成特定于方面字节点的表示后，它被输入到一个全连接层，将方面字节点表示的分类特征投射到C类的极性决策空间中，其中C = 3，然后输入softmax归一化得到极性决策空间上的概率分布y：
其中为可学习的参数矩阵，/>为可学习的偏置参数。
步骤S8，将概率分布y输入至交叉熵损失函数，得到传染病舆情文本的情感预测标签。具体地，训练过程采用交叉熵损失函数和L2正则化策略。模型采用端到端训练，将损失函数值最小化，具体为：
其中为传染病舆情文本的情感预测标签，/>是数据集中所有句子的索引，/>是类的索引，/>是L2正则化的系数，/>是所有可训练的参数。通过反向传播算法，不断更新模型参数，直至收敛。
实施例2
本实例中，筛选出有关传染病舆情的文本，对本发明提供的基于异构图卷积神经网络的传染病舆情方面情感识别方法进行进一步的阐述。
步骤S1，筛选有关传染病舆情的文本，并按照实体类别进行分类标注。本实例对中文数据集和英文数据集均进行了训练和测试。英文数据集采用已公开的推特数据集，与新型冠状病毒相关的推文，如：“COVID-19”，进行标注。中文数据集筛选微博数据中有关疫情的文本，如“新冠肺炎”，然后人工标注。对传染病舆情文本数据的训练集部分进行人工标注，标注出文本中包含的实体词。每个数据集包含N条句子，每个句子表示为，特别地，对于英文数据集/>表示第i个单词，对于中文数据集/>表示第i个字符。本实例中，将方面实体划分为如下类别：人名（person）、地点（location）、组织（organization）、时间（time）、疾病名称（disease）、发病症状（symptom）、药物名称（medicine）、诊断或治疗方法（treatment），工具（tool）等。方面情感标签集合为/>，其中“-1”表示负向，“0”表示中性，“1”表示正向。
步骤S2，将标注完的传染病舆情文本经过word embeding，得到第一特征向量/>；
步骤S3，将第一特征向量输入至BiLSTM神经网络进行学习，得到包含传染病舆情文本中各个单词对应的第二特征向量，将每个单词对应的第二特征向量组成第一向量表示矩阵；
步骤S4，定义节点类型与边的连接方式，构建异构图，其中，异构图中的单词节点的初始向量表示为BiLSTM神经网络输出的各个单词对应的第二特征向量，四种类型的边：（1）方面节点和前后阈值为d的非方面节点之间的边，即方面节点与距离内的每个非方面节点是连接的，d为实验中通过数据驱动方式获得，图2为一个例子d=2；（2）方面节点和方面之间的边，即方面节点与方面节点之间是两两互相连接的；（3）所有单词之间的句法依存树，（4）每个节点的自环边，每个节点与自己本身是连有一条边；其他情况则没有边相连。
然后利用图卷积神经网络算法对异构图进行聚合更新，得到一传染病舆情文本句子中所有单词的第二向量表示矩阵，具体计算公式如下：
为临界矩阵，/>为邻接矩阵A的归一化形式，D为度矩阵，A的定义如下：
其中表示一个句子中的方面节点，V表示所有节点集合，SDT表示句法依存树。
步骤S5，将第二向量表示矩阵输入至注意力机制层，具体如下：
得到注意力向量表示矩阵。
步骤S6，掩码函数将中非方面字节点的表示设置为0，只留下特定方面字节点的表示如下：
步骤S7，将方面字节点的表示输入到一个全连接层，将方面字节点表示的分类特征投射到C类的极性决策空间中，得到极性决策空间上的概率分布y：
其中为可学习的参数矩阵，/>为可学习的偏置参数。
步骤S8，将概率分布结果y输入带有L2正则化的交叉熵损失函数，进行模型训练和预测，
得到传染病舆情文本的情感预测标签。
实施例3
与前述基于异构图卷积神经网络的传染病方面级情感分类方法的实施例相对应，本发明还提供了基于异构图卷积神经网络的传染病方面级情感分类装置的实施例。
参见图4，本发明实施例提供的基于异构图卷积神经网络的传染病方面级情感分类装置，包括一个或多个处理器，用于实现上述实施例中的基于异构图卷积神经网络的传染病方面级情感分类方法。
本发明基于异构图卷积神经网络的传染病方面级情感分类装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明基于异构图卷积神经网络的传染病方面级情感分类装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
实施例4
与前述基于异构图卷积神经网络的传染病方面级情感分类方法的实施例相对应，本申请实施例还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于异构图卷积神经网络的传染病方面级情感分类方法。如图5所示，为本申请实施例提供的基于异构图卷积神经网络的传染病方面级情感分类方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、DMA控制器、磁盘、以及非易失内存之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
实施例5
与前述基于异构图卷积神经网络的传染病方面级情感分类方法的实施例相对应，本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于异构图卷积神经网络的传染病方面级情感分类方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
上述内容仅为本发明的较佳实施例，不能因此而理解为对本发明专利的范围的限制。对本领域的技术人员而言，进行各种变化、组合、简化、修饰、替代和重新调整等，均应为等效的置换方式，不会脱离本发明的保护范围。因此，虽然通过上述实施示例对本发明进行了较为详细的描述，但是本发明不仅仅限于以上实施示例，在本发明的保护范围之内，还包括更多其它等效实施示例。
Claims (10)
1.一种基于异构图卷积神经网络的传染病方面级情感分类方法，其特征在于，所述方法包括如下步骤：
（1）采集传染病舆情文本，并按方面类别和情感极性进行分类标注；
（2）将标注后的舆情文本输入至词嵌入层，得到第一特征向量；
（3）将第一特征向量输入BiLSTM神经网络进行学习，得到包含传染病舆情文本中各个单词对应的第二特征向量, 将每个单词对应的第二特征向量组成第一向量表示矩阵；
（4）定义节点类型与边的连接方式，构建异构图，其中，异构图中的单词节点的初始向量表示为BiLSTM神经网络输出的各个单词对应的第二特征向量，边为方面实体与方面实体以及方面实体与非方面实体之间的关系；然后利用图卷积神经网络算法对异构图进行聚合更新，得到一传染病舆情文本句子中所有单词的第二向量表示矩阵；
（5）将第二向量表示矩阵输入至注意力机制层，得到注意力向量表示矩阵；
（6）通过掩码函数将注意力向量表示矩阵中非方面字节点的表示设置为0，只留下方面字节点的表示；
（7）将方面字节点的表示输入到全连接层，并投射到C类的极性决策空间中，得到极性决策空间上的概率分布；
（8）将概率分布输入至交叉熵损失函数，得到传染病舆情文本的情感预测标签。
2.根据权利要求1所述的基于异构图卷积神经网络的传染病方面级情感分类方法，其特征在于，所述步骤（3）具体为：将第一特征向量输入至BiLSTM神经网络中学习句法和语义信息，所述BiLSTM神经网络包含前向LSTM和后向LSTM，将前向LSTM和后向LSTM的输出向量进行拼接，得到传染病舆情文本的句子中各个单词对应的第二特征向量；然后将所述传染病舆情文本句子中所有单词对应的第二特征向量组成第一特征向量表示矩阵。
3.根据权利要求1所述的基于异构图卷积神经网络的传染病方面级情感分类方法，其特征在于，所述步骤（4）中，异构图中的节点包括两种类型：一种为方面节点类型，另一种为非方面节点类型。
4.根据权利要求3所述的基于异构图卷积神经网络的传染病方面级情感分类方法，其特征在于，所述步骤（4）中，异构图中的边的连接方式包括四种类型：方面节点和前后阈值为d的非方面节点之间的边；方面节点和方面节点之间的边；所有节点之间的句法依存树；每个节点的自环边。
5.根据权利要求4所述的基于异构图卷积神经网络的传染病方面级情感分类方法，其特征在于，所述步骤（4）中，利用图卷积神经网络算法对异构图进行聚合更新具体为：
在异构图卷积层的每一层，对于给定一个节点，聚合节点/>的所有邻居节点的系数，计算出节点/>的新的表示向量/>，/>，/>为图卷积网络的层数；所述邻居为构造图中的相邻位置，然后通过增加层的数量，从进一步的邻居中获得信息；最后由图卷积网络最后一层输出传染病舆情文本句子中所有单词的第二向量表示矩阵/>。
6.根据权利要求1所述的基于异构图卷积神经网络的传染病方面级情感分类方法，其特征在于，所述步骤（5）中，将第二向量表示矩阵输入至注意力机制层具体为：将第二向量表示矩阵输入至注意力机制层；所述第二向量表示矩阵所有位置上的向量通过权重系数线性加和得到注意力向量，注意力机制层通过模型训练学习到不同的权重系数；其中，权重系数越大，表示注意力向量更聚焦于其对应的第二向量表示矩阵中的向量。
7.根据权利要求1所述的基于异构图卷积神经网络的传染病方面级情感分类方法，其特征在于，所述步骤（6）中，屏蔽非方面字的隐藏状态向量，保持方面字的状态不变。
8.一种基于异构图卷积神经网络的传染病方面级情感分类装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-7中任一项所述的基于异构图卷积神经网络的传染病方面级情感分类方法。
9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-7任一项所述的基于异构图卷积神经网络的传染病方面级情感分类方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7任一项所述的基于异构图卷积神经网络的传染病方面级情感分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310924083.2A CN116662554B (zh) | 2023-07-26 | 2023-07-26 | 基于异构图卷积神经网络的传染病方面级情感分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310924083.2A CN116662554B (zh) | 2023-07-26 | 2023-07-26 | 基于异构图卷积神经网络的传染病方面级情感分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116662554A true CN116662554A (zh) | 2023-08-29 |
| CN116662554B CN116662554B (zh) | 2023-11-14 |
Family
ID=87717360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310924083.2A Active CN116662554B (zh) | 2023-07-26 | 2023-07-26 | 基于异构图卷积神经网络的传染病方面级情感分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116662554B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120148161A1 (en) * | 2010-12-09 | 2012-06-14 | Electronics And Telecommunications Research Institute | Apparatus for controlling facial expression of virtual human using heterogeneous data and method thereof |
| US20210224324A1 (en) * | 2020-01-20 | 2021-07-22 | Microsoft Technology Licensing, Llc | Graph-based activity discovery in heterogeneous personal corpora |
| CN113255366A (zh) * | 2021-05-28 | 2021-08-13 | 西安交通大学 | 一种基于异构图神经网络的方面级文本情感分析方法 |
| CN113901788A (zh) * | 2021-08-27 | 2022-01-07 | 北京邮电大学 | 语句中方面词对应的观点词抽取方法及电子设备 |
| CN114218922A (zh) * | 2021-12-17 | 2022-03-22 | 重庆理工大学 | 一种基于双通道图卷积网络的方面情感分析方法 |
| CN114911932A (zh) * | 2022-04-22 | 2022-08-16 | 南京信息工程大学 | 基于主题语义增强的异构图结构多会话者情感分析方法 |
| CN115099219A (zh) * | 2022-07-06 | 2022-09-23 | 曲阜师范大学 | 一种基于增强图卷积神经网络的方面级情感分析方法 |
| CN115269847A (zh) * | 2022-08-02 | 2022-11-01 | 广西师范大学 | 基于知识增强句法异构图的方面级情感分类方法 |
| CN116386895A (zh) * | 2023-04-06 | 2023-07-04 | 之江实验室 | 基于异构图神经网络的流行病舆情实体识别方法与装置 |
-
2023
- 2023-07-26 CN CN202310924083.2A patent/CN116662554B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120148161A1 (en) * | 2010-12-09 | 2012-06-14 | Electronics And Telecommunications Research Institute | Apparatus for controlling facial expression of virtual human using heterogeneous data and method thereof |
| US20210224324A1 (en) * | 2020-01-20 | 2021-07-22 | Microsoft Technology Licensing, Llc | Graph-based activity discovery in heterogeneous personal corpora |
| CN113255366A (zh) * | 2021-05-28 | 2021-08-13 | 西安交通大学 | 一种基于异构图神经网络的方面级文本情感分析方法 |
| CN113901788A (zh) * | 2021-08-27 | 2022-01-07 | 北京邮电大学 | 语句中方面词对应的观点词抽取方法及电子设备 |
| CN114218922A (zh) * | 2021-12-17 | 2022-03-22 | 重庆理工大学 | 一种基于双通道图卷积网络的方面情感分析方法 |
| CN114911932A (zh) * | 2022-04-22 | 2022-08-16 | 南京信息工程大学 | 基于主题语义增强的异构图结构多会话者情感分析方法 |
| CN115099219A (zh) * | 2022-07-06 | 2022-09-23 | 曲阜师范大学 | 一种基于增强图卷积神经网络的方面级情感分析方法 |
| CN115269847A (zh) * | 2022-08-02 | 2022-11-01 | 广西师范大学 | 基于知识增强句法异构图的方面级情感分类方法 |
| CN116386895A (zh) * | 2023-04-06 | 2023-07-04 | 之江实验室 | 基于异构图神经网络的流行病舆情实体识别方法与装置 |
Non-Patent Citations (2)
| Title |
|---|
| SHU LIU 等: "Jointly Modeling Aspect and Sentiment with Dynamic Heterogeneous Graph Neural Networks", ARVIX.ORG, pages 1 - 10 * |
| 蔡国永;夏彬彬;: "基于联合矩阵分解的图像情感分析研究", 小型微型计算机系统, no. 05, pages 1126 - 1129 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116662554B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ming et al. | Rulematrix: Visualizing and understanding classifiers with rules | |
| CN112214995B (zh) | 用于同义词预测的分层多任务术语嵌入学习 | |
| Logeswaran et al. | Sentence ordering and coherence modeling using recurrent neural networks | |
| Lu et al. | Machine learning for synthetic data generation: a review | |
| Varma et al. | Snuba: Automating weak supervision to label training data | |
| Sheu | Illuminating the black box: interpreting deep neural network models for psychiatric research | |
| Che et al. | Interpretable deep models for ICU outcome prediction | |
| Quilodrán-Casas et al. | Digital twins based on bidirectional LSTM and GAN for modelling the COVID-19 pandemic | |
| US10984024B2 (en) | Automatic processing of ambiguously labeled data | |
| Liu et al. | Heterogeneous graph reasoning for knowledge-grounded medical dialogue system | |
| Nagahisarchoghaei et al. | An empirical survey on explainable ai technologies: Recent trends, use-cases, and categories from technical and application perspectives | |
| Wu et al. | Optimizing for interpretability in deep neural networks with tree regularization | |
| Lv et al. | On the robustness of average losses for partial-label learning | |
| CN113254675B (zh) | 基于自适应少样本关系抽取的知识图谱构建方法 | |
| Pan et al. | AMAM: an attention-based multimodal alignment model for medical visual question answering | |
| Bayoudh | A survey of multimodal hybrid deep learning for computer vision: Architectures, applications, trends, and challenges | |
| CN112069825A (zh) | 面向警情笔录数据的实体关系联合抽取方法 | |
| Najdenkoska et al. | Uncertainty-aware report generation for chest X-rays by variational topic inference | |
| Baghaei et al. | Deep representation learning: Fundamentals, perspectives, applications, and open challenges | |
| Baghaei et al. | Deep representation learning: Fundamentals, technologies, applications, and open challenges | |
| Chen et al. | A review and roadmap of deep learning causal discovery in different variable paradigms | |
| Malgieri | Ontologies, Machine Learning and Deep Learning in Obstetrics | |
| Zaghir et al. | Real-world patient trajectory prediction from clinical notes using artificial neural networks and UMLS-based extraction of concepts | |
| CN116662554B (zh) | 基于异构图卷积神经网络的传染病方面级情感分类方法 | |
| Zhang et al. | Research on Chinese medical entity relation extraction based on syntactic dependency structure information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |