CN111563164B - 一种基于图神经网络的特定目标情感分类方法 - Google Patents
一种基于图神经网络的特定目标情感分类方法 Download PDFInfo
- Publication number
- CN111563164B CN111563164B CN202010379339.2A CN202010379339A CN111563164B CN 111563164 B CN111563164 B CN 111563164B CN 202010379339 A CN202010379339 A CN 202010379339A CN 111563164 B CN111563164 B CN 111563164B
- Authority
- CN
- China
- Prior art keywords
- graph
- target
- relation
- classification
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000003062 neural network model Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005295 random walk Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000001149 cognitive effect Effects 0.000 abstract description 3
- 230000002996 emotional effect Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000692 anti-sense effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000002779 inactivation Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于图神经网络的特定目标情感分类任务，包括采集数据集并初始化BERT模型，通过BERT模型得到每个目标词的一维特征向量，将目标词的特征向量输入到图卷积神经网络模型中，构造网络拓扑图,并计算邻接矩阵，根据邻接矩阵通过三种方式来获取网络拓扑图中节点的三种特征，引入关系分类任务，整个模型在分类上分为两个阶段两个任务，两个任务分别是目标主体的情感极性分类和目标主体之间的关系分类。本发明采用图神经网络，对句子中出现的多个主体进行构图，同时对多个目标进行处理，更符合人类判断情感极性的认知规律，有助于保证模型的效果，与此同时引入关系分类任务进行辅助分类，更进一步提升了分类的准确率。
Description
技术领域
本发明涉及自然语言处理领域，尤其涉及一种基于图神经网络的特定目标情感分类方法。
背景技术
随着各种互联网新媒体形式的涌现和电子商务平台的发展,日益增长的用户群体在广泛参与网络活动的同时产生了海量的用户生成内容。在这一背景下,针对互联网上的海量主观性文本进行准确的情感分析和观点挖掘就变得尤为重要,其中细粒度的情感分析在近几年得以迅速发展。细粒度情感分析旨在挖掘一条评论中用户对不同目标主体的不同情感倾向,在实际应用场景中，诸如精细的产品模型、用户画像和个性化推荐等领域存在极大的应用前景。
确定文本情感倾向的任务称为情感分类任务，在情感分类任务中又可分为粗粒度和细粒度两大领域，关于粗细粒度任务的划分有两个标准，一是根据分类的类别进行划分，一般将正面、负面和中性这样的三分类任务称之为粗粒度，与之相对应的愤怒、厌恶、恐惧、高兴、喜爱、悲伤和惊讶这样更加精细的分类任务则是细粒度情感分类任务；二是根据评价对象进行划分，如果判别的情感主体是一个文档或一个句子，则是粗粒度，如果是围绕文档或句子中某个特定主体进行情感倾向的分析则是细粒度。
判断给定句子中某个特定主体或目标词的情感倾向。对于该任务的解决思路有两种：一种是将句子中的每一个实体单独进行处理，重复多次；另一种思路是对个实体或目标词同时进行处理。处理方法上有三种，分别是基于情感词典、规则和机器学习的方法，基于传统词嵌入的深度学习方法以及基于BERT预训练模型的深度学习方法。
基于情感词典的方法主要是通过构建情感词典以及一系列的规则来判断文本的情感极性，依靠一些已有的情感词典和领域词典以及一系列的规则构建情感分类器，但情感词典的维护需要耗费大量的人力物力，并且随着新词的不断涌现，己经不能满足应用需求，亟待改进与优化。或者由领域专家从文本中筛选出一组具有统计意义的特征，然后利用机器学习的方法构建分类模型判别文本的情感极性，常见的分类模型有朴素贝叶斯、最大熵和支持向量机等，但存在的不足是：对不同的数据集，需要专家选取不同的特征，投入的成本较大，不同的特征选择方法会使得最终的分类结果差异较大，在不同的数据集上也可能存在差异很大的表现，模型的泛化能力较差。另外，传统方法多采用词袋模型，无法表示词语间的关系以及目标词所处句子中的上下文信息。
基于深度学习的方法是目前使用最广泛的方法，深度学习模型可以从输入的文本词向量表达中自动提取特征，通过多层神经网络，将高维抽象的语义特征组合成低维稠密的语义特征。
关于输入的词向量部分，一类是以Word2Vec和Glove为代表的传统词嵌入模型训练所得到的静态词向量，在训练神经网络模型时通过查表的方式将已经训练好的静态词向量输入，采用Word2Vec或者Glove的方式训练词向量，然后将词向量作为神经网络模型的输入，训练阶段可以对词向量进行微调(fine-tuning)，利用深度学习方法自动学习高层的语义特征。对于特定目标的情感分类任务中，常用的神经网络模型有基于LSTM的方法(TD-LSTM，ATAE-LSTM等)，基于记忆网络的方法(Memory Networks，RAM等)，以及其他方法，如基于递归神经的方法和参数化卷积神经网络(PF-CNN)等。存在的不足是：Word2Vec以及Glove模型所训练的词向量是静态的词向量，未能很好地考虑同一个词语在不同语境和上下文的情况所表达的含义不同的情况。Word2Vec和Glove训练得到的词向量会将相近或相关词语在词向量上表示得很相似，这就造成了一个后果，即具有相反情感极性的一对反义词，在词向量上却具有非常相似的表示，虽然在训练阶段可以对词向量进行微调(fine-tuning)，但是微调的尺度很小，对于反义词在词向量上具有近似表达依然不能够微调到对立面，这就使得传统词嵌入方式非常不适合情感分类任务。
另一类是以BERT为代表的支持可迁移学习的新型动态词向量模型，训练阶段将BERT的整个模型进行迁移学习，生成文本在特定场景下的词向量，采用BERT模型实现句子级别的情感分类，将BERT模型中[CLS]标签的编码结果作为整个句子分类的特征表示，输入到一个全连接层之后利用softmax进行分类。现有的基于BERT模型的情感分类任务，最初应用于句子级的情感分类任务中，取得了最先进的效果。仅仅将一个句子的情感极性作为句子中特定目标的情感极性是非常不合适的，尤其是当句子中存在多个特定目标时，不同的目标可能蕴含着不同的情感极性。目前BERT模型在特定目标情感分类任务中很少得到使用，且现有方法中在对特定目标进行情感分类时，对于句子中存在多个目标主体的时候，模型在处理的时候均是将多目标情感分类任务拆分成单目标情感分类任务进行处理，忽略了同一个句子中，不同目标主体之间内在的关联与联系。
因此，如何考虑到一个句子中不同目标主体之间的关系和极性，以提高情感分类的准确性成为自然语言处理领域需要解决的问题。
发明内容
针对现有技术之不足，本发明提出一种基于图神经网络的特定目标情感分类方法，其特征在于，
步骤1：采集数据集，所述数据集是公开数据集或通过爬虫技术采集短文本数据自行构造的数据集；
步骤2：若是自行构造的数据集，则对数据集进行人工标注；
步骤3：初始化BERT模型，设置BERT模型参数；
步骤4：利用步骤1或2得到的标注数据集作为步骤3初试化完成后的BERT模型的输入，所述标注数据集中的原始句子s＝[w1,…,wi,…,wn]由n个单词组成，其中每个句子包含目标词的个数p不低于1个且少于n个；
步骤5：原始句子s经过分词处理后的序列表示为Sr，其中x0和xn′+1分别表示[CLS]标签和[SEP]标签对应的词向量；
Sr＝[x0,x1,x2,…,xi′,…,xn′,xn′+1]
其中，x1到xn′表示句子s经过WordPiece分词后的序列；
将分词后编号为k的目标词表示为Trk，Trk是Sr的子集；
其中，其中，
表示分别对应目标词经过分词处理后的每一个子词；i表示编号为k的目标词在句子s中的起始位置，p表示目标词的个数；
步骤6：Sr经过BERT模型的多层传输网络后，取最后一层传输网络中每个目标词对应位置的输出作为目标词的编码TrVeck；
其中，
到
表示Trk经过传输网络后的输出结果，p表示目标词的个数；
步骤7：将步骤6得到的关于目标词的编码结果TrVeck进行最大池化处理后得到特征向量Vk，将Vk作为图的节点特征输入到图卷积神经网络模型中；
Vk＝max{TrVeck,dim＝0},Vk∈R1×d
其中，d表示向量的维度；
步骤8：构造网络拓扑图G，并计算邻接矩阵A和度矩阵D；
步骤9：利用邻接矩阵A、对称归一化拉普拉斯和随机游走归一化拉普拉斯三种方式来获取所述网络拓扑图G中节点的不同特征，即图拓扑结构特征，第l+1层节点的特征由第l层节点表示，提取图拓扑结构特征的处理规则是一个关于邻接矩阵A的函数f(A)，函数f(A)有三种形式，分别如下：
hl+1＝σ(f(A)·hl·Wl+bl)
f1(A)＝A
f2(A)＝D-1A
f3(A)＝D-1/2AD-1/2
其中，hl表示图卷积神经网络第l层的特征，W是第l层特征hl的权重矩阵，bl表示图卷积神经网络第l层的偏置，W和b都是学习的权重参数，σ是一个非线性激活函数；
步骤10：将步骤9获取到的三种图拓扑结构特征以及之前每一层图卷积层的输出结果进行拼接得到融合特征H，将融合特征H通过一个全连接层进行降维，再接入softmax函数进行第一阶段的情感极性分类，输出的是在每一个极性类别上的概率值并计算得到相应的损失函数值S1；
步骤11：利用步骤10提取到的融合特征H，进行第一阶段的关系分类，预测目标主体两两之间的关系，目标主体间的关系r包括第一关系r1、第二关系r2和第三关系r3，结合交叉熵(cross-entropy)计算第一阶段的关系分类损失函数值R1；
步骤12：对所述第一关系r1、所述第二关系r2和所述第三关系r3构造第一关系图、第二关系图和第三关系图，每个关系图中节点两两相连，边的权重为两个节点在关系r下的概率值Pr(ta,tb)。
步骤13：第二阶段的图卷积计算公式如下，分别在三种关系图上进行图卷积操作后相加得到特征
再接一个softmax函数进行第二阶段的情感极性分类，结合交叉熵(cross-entropy)计算得到相应的损失函数值S2，特征
的计算公式如下：
其中，其中
为第二阶段学习到的权重参数，
是第二阶段的偏置，
和
分别表示目标主体ta和目标主体tb经过第二阶段提取到的特征。
步骤14：利用步骤13提取到的特征
进行第二阶段的关系分类，预测目标主体两两之间的关系，结合交叉熵(cross-entropy)计算第二阶段的关系分类损失函数值R2；
步骤15：对两个阶段的损失函数值S1和S2加权求和作为最终整个模型的损失函数值，计算公式如下：
Lossall＝(S1+R1)+β(S2+R2)
其中，β为权重系数；
步骤16：将损失函数值Lossall进行可视化显示，不断迭代步骤6-16，观察训练模型得到的损失函数值趋于稳定不再下降时，训练结束，保存训练好的模型；
步骤17：利用训练完成的模型对未知分类标签的目标主体进行情感标签的识别，预测句子中指定目标的情感极性。
根据一种优选的实施方式，步骤8的具体步骤包括：将每一个目标词作为网络拓扑图G的一个节点，按照目标词在原始句子s中左右相邻的方式进行构图，二者相邻则节点之间有连线，否则就没有连线，且每个节点到自身是有连线的，即考虑自环，以此计算该句子中待分类目标主体所构成的网络拓扑图G的邻接矩阵A和度矩阵D。
根据一种优选的实施方式，图卷积神经网络各个层的特征和三种图拓扑结构特征融合的融合特征H通过以下公式计算得到：
其中，hl表示图卷积神经网络第l层的特征，W是第l层特征hl的权重矩阵，bl表示图卷积神经网络第l层的偏置，
表示卷积操作。
根据一种优选的实施方式，通过网络拓扑图G计算邻接矩阵A和度矩阵D的公式如下：
其中，i、j表示网络拓扑图中的节点i和节点j。
本发明的有益效果在于：
1、针对现有分类技术将每个主体拆开进行处理，这样的做法忽视了主体之间在情感极性上的相互影响和内在关联，本发明采用图神经网络，对句子中出现的多个主体进行构图，同时对多个目标进行处理，更符合人类判断情感极性的认知规律，有助于保证模型的效果。
2、同时引入关系分类任务进行辅助分类，更进一步提升了分类的准确性。
附图说明
图1为本发明情感分类的方法流程图；
图2是本发明的构造图网络拓扑图G的方式之一；
图3(a)为传统的在二维矩阵中进行的卷积操作；
图3(b)为在图数据上进行的卷积操作；和
图4是本发明计算总损失函数值的网络结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
下面结合附图进行详细说明。
本发明中的节点表示目标词。
本发明中的GCN表示图卷积神经网络。
[CLS]标签是指：BERT模型在分词中所添加的分类标签。
[SEP]标签是指：BERT模型在句子结尾添加的句子结束标签。
本发明针对于细粒度情感分析领域中的特定目标情感分类任务而设计，在该任务中对于句子中同时存在多个目标主体需要进行分类的情况，传统的做法一般都是将每个主体拆开进行处理，这样的做法忽视了主体之间在情感极性上的相互影响和内在关联，本方案采用图神经网络，对句子中出现的多个主体进行构图，同时对多个目标进行处理，更符合人类判断情感极性的认知规律，有助于保证模型的效果，与此同时引入关系分类任务进行辅助分类，更进一步提升了分类的准确率。
图1为本发明情感分类的方法流程图。现结合图1，对本发明技术方案进行详细阐述。
步骤1：采集数据集，所述数据集是公开数据集或通过爬虫技术采集短文本数据自行构造的数据集。
自行构造的数据集通过利用爬虫技术采集待研究领域的相关评论语句来构造得到。自行构造的数据集一般采集短文本数据。
公开数据集是已经标注好的数据集，因此不需要人工再次进行标注。而自行构造的数据集是采集的未知分类标签的数据集，因此需要进行人工标注。
步骤2：若是自行构造的数据集，则对数据集进行人工标注。
若选用公开数据集则跳过该步骤，若是自行采集的数据，则由标注人员其进行标注得到标注数据集，标注人员标注句子中需要进行情感分类的目标词的位置，以及每一个目标词所对应的情感极性标签，情感极性标签包括正面极性、中性极性和负面极性。具体的，正面极性、中性极性和负面极性分别用1、0、-1来表示。
步骤3：初始化BERT模型，设置BERT模型参数，BERT模型参数至少包括学习率、随机失活和训练轮数。
根据实际应用需要，还可设置最大序列长度、批处理数据量大小等模型参数。当数据集越小时，BERT模型分类的效果对于模型参数的选择越敏感。在本发明技术方案中优选地，学习率2e-5，随机失活0.1，训练轮数6。
步骤4：利用步骤1或2得到的标注数据集作为步骤3初试化完成后的BERT模型的输入，标注数据集中的句子s＝[w1,…,wi,…,wn]由n个单词组成，其中每个句子包含目标词的个数p不低于1个且少于n个。
如下所示目标词tk由mk个单词组成，且任意目标词均是句子s的子集，任意两个目标词之间的交集为空：
步骤5：句子s经过分词处理后的序列表示为Sr，其中x0和xn′+1分别表示[CLS]标签和[SEP]标签对应的词向量。
WordPiece是一种按照子词单元(subword units)将完整的单词再进行拆分的方法。这样的分词方法在一定程度上可以有效缓解模型对于未知和罕见词的处理。例如单词“disinterested”在经过WordPiece分词处理后得到的结果为['di','##sin','##ter','##ested']，所以句子s经过WordPiece分词处理后，长度会大于等于原句子长度，即n′≥n。
Sr＝[x0,x1,x2,…,xi′,…,xn′,xn′+1]
其中，x1到xn′表示句子s经过WordPiece分词后的序列。
将分词后编号为k的目标词表示为Trk，Trk是Sr的子集。
其中，
表示分别对应目标词经过分词处理后的每一个子词；i表示：编号为k的目标词在句子s中的起始位置，p表示目标词的个数。
步骤6：Sr经过BERT模型的多层传输网络后，取最后一层传输网络中每个目标词对应位置的输出作为目标词的编码TrVeck；共p个目标词。
本发明中的BERT模型是指：谷歌公司在2018年论文《BERT:Pre-training of DeepBidirectional Transformers for Language Understanding》中所提出的预训练语言模型，为现有技术，再次不赘述。
其中，
到
表示Trk经过传输网络后的输出结果。
步骤7：将步骤6得到的关于目标词的编码结果TrVeck进行最大池化处理后得到特征向量Vk，将Vk作为图的节点特征输入到图卷积神经网络模型中；
Vk＝max{TrVeck,dim＝0},Vk∈R1×d
其中，d表示向量的维度。
此处表示的是BERT模型的隐藏层尺寸，其中BERTbase为768维，BERTlarge为1024维，在硬件条件不足以支撑BERTlarge得到很好的微调时，优选BERTbase。将Vk作为图的节点特征输入到图卷积神经网络模型中。
步骤8：构造网络拓扑图G，并计算邻接矩阵A和度矩阵D，具体包括：
将每一个目标词作为网络拓扑图G的一个节点，按照目标词在原始句子s中左右相邻的方式进行构图，二者相邻则节点之间有连线，否则就没有连线，且每个节点到自身是有连线的，即考虑自环，以此计算该句子中待分类目标主体所构成的网络拓扑图G的邻接矩阵A和度矩阵D。
在本发明中首先需要解决的问题是如何构建一个多目标主体之间相互影响的图结构。图2是本发明的构造图网络拓扑图G的方式之一，句子中的目标词为“speed”、“multitouch gestures”、“opertating system”、“Windows”，T1、T2、T3和T4表示对应的每一个目标词。将句子中出现的每一个目标词分别作为图中的一个节点，基于位置关系的网络拓扑图G，在考虑左右相邻的基础上，每个节点到自身是有连线的，即考虑自环，以此计算该句子中待分类目标主体所构成的网络拓扑图G的邻接矩阵A和度矩阵D。
通过网络拓扑图G计算邻接矩阵A和度矩阵D的公式如下：
其中，i、j表示网络拓扑图中的节点i和节点j。
这样的构图方式表示节点之间的相互影响主要来源于位置上相邻的节点，当然其它的构图方式也是可选的，比如节点之间两两互连，或者用句法解析树进行构图等方式都是可取的。
在本发明中，关于图中节点的原始特征如何表示的问题，优选地，使用预训练语言模型BERT产生每一个目标主体的一维词向量表示，简单地说就是获取BERT模型对应位置隐藏层特征经过最大池化处理后的一维向量。步骤7就是用于获取每一个目标词的向量表示。获取到图节点的特征表示后，结合图本身的结构特征——邻接矩阵，进行N层图卷积操作，此处优选N为2。每一层图卷积操作都是在对相邻节点的特征进行聚合，当层数增得太多后可能会造成过平滑问题，因此N在本方案中优选为2。
步骤8用于构建的网络拓扑图中每一个节点的特征表示。
图3(a)传统的在二维矩阵中进行的卷积操作，图3(b)为在图数据上进行的卷积操作。
传统卷积操作具有平移不变性，无法适应图数据这样的非矩阵结构数据。而采用图卷积神经网络则可以有效地对图数据的特征进行提取。
特征向量输入到图卷积神经网络中的作用是：中心节点不断聚合相邻节点的特征，在本方案的实际业务场景中的意义就是目标词不断聚合相邻目标词的特征，在一定程度上达到提取目标词之间情感相互影响的关系。
根据邻接矩阵A对网络拓扑图G中节点的特征按照图网络的拓扑结构进行聚合，最终输出聚合后每个节点的特征，即目标词的特征。
步骤9：利用邻接矩阵A、对称归一化拉普拉斯和随机游走归一化拉普拉斯三种方式来获取图中节点的不同特征，即图拓扑结构特征，第l+1层节点的特征由第l层节点表示。
一般情况下，图卷积神经网络的卷积层数取2至3层比较合适，其中提取图拓扑结构特征的处理规则是一个关于邻接矩阵A的函数f(A)，函数f(A)有三种形式，分别如下：
hl+1＝σ(f(A)·hl·Wl+bl)
f1(A)＝A
f2(A)＝D-1A
f3(A)＝D-1/2AD-1/2
其中，hl表示图卷积神经网络第l层的特征，W是第l层特征hl的权重矩阵，bl表示图卷积神经网络第l层的偏置，W和b都是学习的权重参数。σ是一个非线性激活函数。此处优选ReLU激活函数进行激活。
不同的处理规则可以获得网络拓扑图中节点的不同特征，公式f1(A)表示节点的特征与其所有邻居节点均有关，邻接矩阵A与特征hl相乘，等价于该节点的值为所有邻居节点的特征和自身的特征相加。但是该方式在处理时存在一个问题，即邻接矩阵A没有被归一化，这会使得邻居节点多的节点倾向于有更大的特征值。所以引出了公式f2(A)和公式f3(A)，前者是对称归一化拉普拉斯，后者是随机游走归一化拉普拉斯。同时使用三种方式进行特征的提取可以使得提取到的特征更全面。
图4是本发明计算总损失函数值的网络结构示意图。如图4所示，图神经网络模型在分类上分为两个阶段两个任务，两个任务分别是目标主体的情感极性分类和目标主体之间的关系分类，两个阶段是指对于情感分类和关系分类在两个阶段均会进行，两个阶段都会有损失函数值产生，如图4所示，在第一阶段会产生损失函数值S1和R1，第二阶段会产生损失函数值S2和R2，对4个函数值进行加权求和得到最后的总损失函数值。
步骤10：将步骤9获取到的三种图拓扑结构特征以及之前每一层图卷积层的输出结果进行拼接得到融合特征H，将融合特征H通过一个全连接层进行降维，再接入softmax函数进行第一阶段的情感极性分类，输出的是在每一个极性类别上的概率值并计算得到相应的损失函数值S1。
对三种图拓扑结构特征和每一个卷积层的输出结果进行拼接，目的是融合更多的有效特征。优选图卷积神经网络为两层或三层，每一层都有计算结果。
全连接层的作用：对特征进行降维，降到与最后分类的类别数目一样的维度，在本方案中，如果分类的类别为正面、负面和中性，则全连接层会将特征的维度降维至3维。
Softmax函数的作用：对每一个类别产生一个概率值，所有类别的概率值之和为1，哪一类的概率值最大即为分类的所属类别。
图卷积神经网络各个层的特征和三种图拓扑结构特征融合的融合特征H通过以下公式计算得到。
其中，hl表示图卷积神经网络第l层的特征，W是第l层特征hl的权重矩阵，bl表示图卷积神经网络第l层的偏置，
表示卷积操作。
步骤11：利用步骤10提取到的融合特征H，进行第一阶段的关系分类，预测目标主体两两之间的关系，预测目标主体两两之间的关系，目标主体间的关系r包括第一关系r1、第二关系r2和第三关系r3，结合交叉熵计算第一阶段的关系分类损失函数值R1。
具体计算如下，对于目标主体ta和目标主体tb在关系r下的概率Pr(ta,tb)计算公式如下，
其中W为学习到的权重参数，
和
分别表示目标主体ta和tb经过第一阶段提取到的特征，σ为非线性激活函数，
表示目标主体ta和目标主体tb之间的关系是r的分值。
在本技术方案目标主体间的关系r包括第一关系r1、第二关系r2和第三关系r3，r1表示两个目标主体情感极性相同、r1表示两节点情感极性相反，r3表示其它。但本方案的适用性并不局限于3种关系，可根据实际场景进行变化，且关系无向，即
和
等价。利用获取到的关系概率，结合交叉熵(cross-entropy)计算第一阶段的关系分类损失函数值R1。
步骤12：对第一关系r1、第二关系r2和第三关系r3构造第一关系图、第二关系图和第三关系图，每个关系图中节点两两相连，边的权重为两个节点在关系r下的概率值Pr(ta,tb)。
构造出来的图如图4所示，在本方案中共有三种关系图，图4中表示的分别是在关系r1，r2和r3下构建的图。
步骤13：第二阶段的图卷积计算公式如下，分别在三种关系图上进行图卷积操作后相加得到最后的特征
再接一个softmax函数进行第二阶段的情感极性分类，结合交叉熵(cross-entropy)计算得到相应的损失函数值S2。特征
的计算公式如下：
其中，其中
为第二阶段学习到的权重参数，
是第二阶段的偏置，
和
分别表示目标主体ta和目标主体tb经过第二阶段提取到的特征。
步骤14：利用步骤13提取到的特征
进行第二阶段的关系分类，预测目标主体两两之间的关系，结合交叉熵计算第二阶段的关系分类损失函数值R2。
步骤15：对两个阶段的损失函数值S1和S2加权求和作为最终整个模型的总损失函数值，计算公式如下：
Lossall＝(S1+R1)+β(S2+R2)
其中，β为权重系数，在本方案中优选β为3。
步骤16：将总损失函数值Lossall进行可视化显示，不断迭代步骤6-16，观察训练模型得到的总损失函数值Lossall趋于稳定不再下降时，训练结束，保存训练好的模型。
步骤17：利用训练完成的模型对未知分类标签的目标主体进行情感标签的识别，预测句子中指定目标的情感极性。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。
Claims (4)
1.一种基于图神经网络的特定目标情感分类方法，其特征在于，
步骤1：采集数据集，所述数据集是公开数据集或通过爬虫技术采集短文本数据自行构造的数据集；
步骤2：若是自行构造的数据集，则对数据集进行人工标注；
步骤3：初始化BERT模型，设置BERT模型参数；
步骤4：利用步骤1或2得到的标注数据集作为步骤3初始化完成后的BERT模型的输入，所述标注数据集中的原始句子s＝[w1,…,wi,…,wn]由n个单词组成，其中每个句子包含目标词的个数p不低于1个且少于n个；
步骤5：原始句子s经过分词处理后的序列表示为Sr，其中x0和xn′+1分别表示[CLS]标签和[SEP]标签对应的词向量；
Sr＝[x0,x1,x2,…,xi′,…,xn′,xn′+1]
其中，x1到xn′表示句子s经过WordPiece分词后的序列；
将分词后编号为k的目标词表示为Trk，Trk是Sr的子集；
其中，
表示分别对应目标词经过分词处理后的每一个子词；i表示编号为k的目标词在句子s中的起始位置，p表示目标词的个数；
步骤6：Sr经过BERT模型的多层传输网络后，取最后一层传输网络中每个目标词对应位置的输出作为目标词的编码TrVeck；
其中，
到
表示Trk经过传输网络后的输出结果，p表示目标词的个数；
步骤7：将步骤6得到的关于目标词的编码结果TrVeck进行最大池化处理后得到特征向量Vk，将Vk作为图的节点特征输入到图卷积神经网络模型中；
Vk＝max{TrVeck,dim＝0},Vk∈R1×d
其中，d表示向量的维度；
步骤8：构造网络拓扑图G，并计算邻接矩阵A和度矩阵D；
步骤9：利用邻接矩阵A、对称归一化拉普拉斯和随机游走归一化拉普拉斯三种方式来获取所述网络拓扑图G中节点的不同特征，即图拓扑结构特征，第l+1层节点的特征由第l层节点表示，提取图拓扑结构特征的处理规则是一个关于邻接矩阵A的函数f(A)，函数f(A)有三种形式，分别如下：
hl+1＝σ(f(A)·hl·Wl+bl)
f1(A)＝A
f2(A)＝D-1A
f3(A)＝D-1/2AD-1/2
其中，hl表示图卷积神经网络第l层的特征，W是第l层特征hl的权重矩阵，bl表示图卷积神经网络第l层的偏置，W和b都是学习的权重参数，σ是一个非线性激活函数；
步骤10：将步骤9获取到的三种图拓扑结构特征以及之前每一层图卷积层的输出结果进行拼接得到融合特征H，将融合特征H通过一个全连接层进行降维，再接入softmax函数进行第一阶段的情感极性分类，输出的是在每一个极性类别上的概率值并计算得到相应的损失函数值S1；
步骤11：利用步骤10提取到的融合特征H，进行第一阶段的关系分类，预测目标主体两两之间的关系，目标主体间的关系r包括第一关系r1、第二关系r2和第三关系r3，结合交叉熵(cross-entropy)计算第一阶段的关系分类损失函数值R1；
步骤12：对所述第一关系r1、所述第二关系r2和所述第三关系r3构造第一关系图、第二关系图和第三关系图，每个关系图中节点两两相连，边的权重为两个节点在关系r下的概率值Pr(ta,tb)；
步骤13：第二阶段的图卷积计算公式如下，分别在三种关系图上进行图卷积操作后相加得到特征
再接一个softmax函数进行第二阶段的情感极性分类，结合交叉熵(cross-entropy)计算得到相应的损失函数值S2，特征
的计算公式如下：
其中，其中
为第二阶段学习到的权重参数，
是第二阶段的偏置，
和
分别表示目标主体ta和目标主体tb经过第二阶段提取到的特征；
步骤14：利用步骤13提取到的特征
进行第二阶段的关系分类，预测目标主体两两之间的关系，结合交叉熵(cross-entropy)计算第二阶段的关系分类损失函数值R2；
步骤15：对两个阶段的损失函数值S1和S2加权求和作为最终整个模型的损失函数值，计算公式如下：
Lossall＝(S1+R1)+β(S2+R2)
其中，β为权重系数；
步骤16：将损失函数值Lossall进行可视化显示，不断迭代步骤6-16，观察训练模型得到的损失函数值趋于稳定不再下降时，训练结束，保存训练好的模型；
步骤17：利用训练完成的模型对未知分类标签的目标主体进行情感标签的识别，预测句子中指定目标的情感极性。
2.如权利要求1所述的目标情感分类方法，其特征在于，步骤8的具体步骤包括：将每一个目标词作为网络拓扑图G的一个节点，按照目标词在原始句子s中左右相邻的方式进行构图，二者相邻则节点之间有连线，否则就没有连线，且每个节点到自身是有连线的，即考虑自环，以此计算该句子中待分类目标主体所构成的网络拓扑图G的邻接矩阵A和度矩阵D。
3.如权利要求2所述的目标情感分类方法，其特征在于，图卷积神经网络各个层的特征和三种图拓扑结构特征融合的融合特征H通过以下公式计算得到：
其中，hl表示图卷积神经网络第l层的特征，W是第l层特征hl的权重矩阵，bl表示图卷积神经网络第l层的偏置，
表示卷积操作。
4.如权利要求3所述的目标情感分类方法，其特征在于，通过网络拓扑图G计算邻接矩阵A和度矩阵D的公式如下：
其中，i、j表示网络拓扑图中的节点i和节点j。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010379339.2A CN111563164B (zh) | 2020-05-07 | 2020-05-07 | 一种基于图神经网络的特定目标情感分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010379339.2A CN111563164B (zh) | 2020-05-07 | 2020-05-07 | 一种基于图神经网络的特定目标情感分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111563164A CN111563164A (zh) | 2020-08-21 |
| CN111563164B true CN111563164B (zh) | 2022-06-28 |
Family
ID=72074552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010379339.2A Active CN111563164B (zh) | 2020-05-07 | 2020-05-07 | 一种基于图神经网络的特定目标情感分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111563164B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112035661B (zh) * | 2020-08-24 | 2024-09-24 | 北京大学深圳研究生院 | 基于图卷积网络的文本情感分析方法、系统和电子装置 |
| CN112001186A (zh) * | 2020-08-26 | 2020-11-27 | 重庆理工大学 | 一种利用图卷积神经网络和中文句法的情感分类方法 |
| CN112069402B (zh) * | 2020-08-28 | 2021-04-20 | 山东省人工智能研究院 | 一种基于情感和图卷积神经网络的个性化评论推荐方法 |
| CN112487143B (zh) * | 2020-11-30 | 2022-11-18 | 重庆邮电大学 | 一种基于舆情大数据分析的多标签文本分类方法 |
| CN112487187B (zh) * | 2020-12-02 | 2022-06-10 | 杭州电子科技大学 | 一种基于图网络池化的新闻文本分类方法 |
| CN112560481B (zh) * | 2020-12-25 | 2024-05-31 | 北京百度网讯科技有限公司 | 语句处理方法、设备和存储介质 |
| CN112712127A (zh) * | 2021-01-07 | 2021-04-27 | 北京工业大学 | 一种结合图卷积神经网络的图像情感极性分类方法 |
| CN113505583B (zh) * | 2021-05-27 | 2023-07-18 | 山东交通学院 | 基于语义决策图神经网络的情感原因子句对提取方法 |
| CN113535973B (zh) * | 2021-06-07 | 2023-06-23 | 中国科学院软件研究所 | 基于知识映射的事件关系抽取、语篇关系分析方法及装置 |
| CN113849640A (zh) * | 2021-09-14 | 2021-12-28 | 支付宝(杭州)信息技术有限公司 | 一种数据处理方法、装置、设备及介质 |
| CN113821723B (zh) * | 2021-09-22 | 2024-04-12 | 广州博冠信息科技有限公司 | 搜索方法、装置及电子设备 |
| CN114224343B (zh) * | 2022-01-13 | 2023-10-20 | 平安科技（深圳）有限公司 | 认知障碍检测方法、装置、设备及存储介质 |
| CN114429122B (zh) * | 2022-01-25 | 2024-06-11 | 重庆大学 | 一种基于循环注意力的方面级情感分析系统和方法 |
| CN114528851B (zh) * | 2022-02-17 | 2023-07-25 | 平安科技（深圳）有限公司 | 回复语句确定方法、装置、电子设备和存储介质 |
| CN114519353B (zh) * | 2022-02-22 | 2023-07-25 | 平安科技（深圳）有限公司 | 模型的训练方法、情感消息生成方法和装置、设备、介质 |
| CN114564516A (zh) * | 2022-03-03 | 2022-05-31 | 百果园技术(新加坡)有限公司 | 一种业务对象的分类方法、装置、设备及存储介质 |
| CN116521872B (zh) * | 2023-04-27 | 2023-12-26 | 华中师范大学 | 一种认知和情感的联合识别方法、系统及电子设备 |
| CN117131443A (zh) * | 2023-09-06 | 2023-11-28 | 上海零数众合信息科技有限公司 | 联邦多目标分类方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107229610A (zh) * | 2017-03-17 | 2017-10-03 | 咪咕数字传媒有限公司 | 一种情感数据的分析方法及装置 |
| RU2635257C1 (ru) * | 2016-07-28 | 2017-11-09 | Общество с ограниченной ответственностью "Аби Продакшн" | Сентиментный анализ на уровне аспектов и создание отчетов с использованием методов машинного обучения |
| CN109165387A (zh) * | 2018-09-20 | 2019-01-08 | 南京信息工程大学 | 一种基于gru神经网络的中文评论情感分析法 |
| CN110609899A (zh) * | 2019-08-29 | 2019-12-24 | 成都信息工程大学 | 一种基于改进bert模型的特定目标情感分类方法 |
| CN110889282A (zh) * | 2019-11-28 | 2020-03-17 | 哈尔滨工程大学 | 一种基于深度学习的文本情感分析方法 |
-
2020
- 2020-05-07 CN CN202010379339.2A patent/CN111563164B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2635257C1 (ru) * | 2016-07-28 | 2017-11-09 | Общество с ограниченной ответственностью "Аби Продакшн" | Сентиментный анализ на уровне аспектов и создание отчетов с использованием методов машинного обучения |
| CN107229610A (zh) * | 2017-03-17 | 2017-10-03 | 咪咕数字传媒有限公司 | 一种情感数据的分析方法及装置 |
| CN109165387A (zh) * | 2018-09-20 | 2019-01-08 | 南京信息工程大学 | 一种基于gru神经网络的中文评论情感分析法 |
| CN110609899A (zh) * | 2019-08-29 | 2019-12-24 | 成都信息工程大学 | 一种基于改进bert模型的特定目标情感分类方法 |
| CN110889282A (zh) * | 2019-11-28 | 2020-03-17 | 哈尔滨工程大学 | 一种基于深度学习的文本情感分析方法 |
Non-Patent Citations (3)
| Title |
|---|
| syntax-aware aspect level sentiment classification with graph attention networks;huang binxuan等;《arxiv e-prints》;20190930;1-21 * |
| 双通道混合神经网络的文本情感分析模型;杨长利等;《计算机工程与应用》;20200221;第56卷(第11期);124-128 * |
| 多注意力层次神经网络文本情感分析;韩虎等;《计算机工程与应用》;20190719;第56卷(第10期);100-105 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111563164A (zh) | 2020-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563164B (zh) | 一种基于图神经网络的特定目标情感分类方法 | |
| CN110609899B (zh) | 一种基于改进bert模型的特定目标情感分类方法 | |
| CN108363804B (zh) | 基于用户聚类的局部模型加权融合Top-N电影推荐方法 | |
| CN108763362B (zh) | 基于随机锚点对选择的局部模型加权融合Top-N电影推荐方法 | |
| CN110287320B (zh) | 一种结合注意力机制的深度学习多分类情感分析模型 | |
| CN108399158B (zh) | 基于依存树和注意力机制的属性情感分类方法 | |
| CN110222178B (zh) | 文本情感分类方法、装置、电子设备及可读存储介质 | |
| CN108446271B (zh) | 基于汉字部件特征的卷积神经网络的文本情感分析方法 | |
| CN110083700A (zh) | 一种基于卷积神经网络的企业舆情情感分类方法及系统 | |
| CN110472042B (zh) | 一种细粒度情感分类方法 | |
| CN110245229A (zh) | 一种基于数据增强的深度学习主题情感分类方法 | |
| CN112001186A (zh) | 一种利用图卷积神经网络和中文句法的情感分类方法 | |
| CN107688870B (zh) | 一种基于文本流输入的深度神经网络的分层因素可视化分析方法及装置 | |
| CN110502626A (zh) | 一种基于卷积神经网络的方面级情感分析方法 | |
| CN111949885B (zh) | 一种面向旅游景点的个性化推荐方法 | |
| CN113127737B (zh) | 融合注意力机制的个性化搜索方法和搜索系统 | |
| CN109614611B (zh) | 一种融合生成非对抗网络与卷积神经网络的情感分析方法 | |
| CN112699240A (zh) | 中文情感特征词智能动态发掘和归类方法 | |
| CN113239143B (zh) | 融合电网故障案例库的输变电设备故障处理方法及系统 | |
| CN115952292B (zh) | 多标签分类方法、装置及计算机可读介质 | |
| CN114036298B (zh) | 一种基于图卷积神经网络与词向量的节点分类方法 | |
| CN114942974A (zh) | 电商平台商品用户评价情感倾向分类方法 | |
| CN112215629B (zh) | 基于构造对抗样本的多目标广告生成系统及其方法 | |
| CN115687760A (zh) | 一种基于图神经网络的用户学习兴趣标签预测方法 | |
| CN111581379A (zh) | 一种基于作文扣题度的自动作文评分计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |