CN114492459A - 基于知识图谱与交互图卷积的评论情感分析方法及系统 - Google Patents

基于知识图谱与交互图卷积的评论情感分析方法及系统 Download PDF

Info

Publication number
CN114492459A
CN114492459A CN202210182675.7A CN202210182675A CN114492459A CN 114492459 A CN114492459 A CN 114492459A CN 202210182675 A CN202210182675 A CN 202210182675A CN 114492459 A CN114492459 A CN 114492459A
Authority
CN
China
Prior art keywords
vector
word
graph
comment
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210182675.7A
Other languages
English (en)
Inventor
陈羽中
万宇杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202210182675.7A priority Critical patent/CN114492459A/zh
Publication of CN114492459A publication Critical patent/CN114492459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于知识图谱与交互图卷积的评论情感分析方法及系统，该方法包括以下步骤：步骤A：收集用户评论，提取用户评论中涉及的产品或服务的方面词，并标注用户评论针对该产品或服务的特定方面的情感极性，以此来构建训练集DS；步骤B：使用训练集DS，训练基于知识图谱与交互图卷积网络的深度学习网络模型G，用于分析用户评论对产品或服务的特定方面的情感极性；步骤C：将用户评论与用户评论涉及的产品或服务的方面词输入到训练好的深度学习网络模型中，获得用户评论针对该产品或服务中的特定方面的情感极性。该方法及系统有利于提高情感分类的准确性。

Description

基于知识图谱与交互图卷积的评论情感分析方法及系统
技术领域
本发明涉及本发明属于自然语言处理领域，具体涉及一种基于知识图谱与交互图卷积的评论情感分析方法及系统。
背景技术
情感分析(Sentiment Analysis，SA)，也称为意见挖掘，是自然语言处理(NLP)领域的一项基本任务。该任务的基本目标是挖掘所给文本中的情感信息并分析其情感极性。该任务按不同分类粒度分为文档级情感分析、句子级情感分析和方面级情感分析。传统的文档级或句子级情感分析模型只能对整个文档或句子进行分析识别其情感极性。随着互联网的迅速发展，网络社交媒体平台和网络购物平台涌现了大量评论文本，这些文本大多具有长度较短、多方面和不规范等特点，而当一个评论句子有多个方面并且每个方面的情感极性不同时，这些文档级或句子级情感分析模型显然无法正确解释其中的情感信息。因此，相比之下更为细粒度的方面级情感分析逐渐成为当下人们研究的主流。方面级情感分析旨在判断评论文本中目标的具体方面所对应的情感极性。
近年来，随着深度学习技术的兴起，该技术也被方面级情感分析任务广泛应用。其中最常用的神经网络是卷积神经网络(CNNs)和递归神经网络(RNNs)。由于CNN在从文本中捕获语义信息方面表现良好，因此一些研究人员将它们应用于ABSA。然而，该网络不能充分利用句子中的上下文信息，而这对于建模一个方面与其上下文之间的语义关系至关重要。因此，基于CNN的神经网络模型的性能在方面级情感分析任务中受到限制。针对这个问题，许多研究人员采用了RNN，尤其是长短期记忆(LSTM)和门控循环单元(GRU)，来提取特定方面的情感特征进行情感分类。与CNN不同，RNN将一个句子视为一个词序列，按时间顺序取每个词，将隐藏层的输出作为下一个隐藏层的输入，不断学习序列数据中的上下文信息。Tang等人提出利用两个LSTM分别对方面术语的左上下文和右上下文进行建模，并生成用于预测的评论文本表征向量。基于RNN的神经网络模型在ABSA中明显优于基于CNN的神经网络模型。
研究人员指出，给定方面的情感极性是由几个关键词决定的，而不是由上下文中的所有词决定的。而RNN无法精确估计不同上下文词对情感分类的方面级表示的贡献。相比之下，注意力机制可以通过计算每个上下文词对给定方面的注意力权重并利用这个注意力权重来计算情感分类的方面级表示来捕捉每个上下文词的重要性。
然而，这些神经网络模型都忽略了所给方面与其上下文词之间的句法依赖关系，它代表了评论句子中单词之间的依赖关系，对于正确判断方面的情感极性尤为重要。最近有学者使用图神经网络(GNN)及其变体来考虑在学习情感分类的方面级表示时的句法信息。Zhang等人将图卷积网络(Graph Convolutional Network，GCN)与注意力机制结合在一起，以获取上下文单词与给定方面之间的语义相关性。Zhang等人提出一种结合全局词汇图和句法依赖图的图卷积结构模型，根据语料库层面词语的共现信息作为节点的边关系，最后通过一个双层交互图卷积网络来充分利用两种图结构，以获取评论文本更准确的特征表示。现有基于GNN的模型没有使用注意力机制或者只是简单的使用传统的注意力机制，没有充分利用句法依赖树的边关系，因此难以精确捕捉上下文单词相对于给定方面的重要性。
由于当前方面级情感分析任务的数据集存在数据量较小的问题，导致模型的性能不佳，同时如果缺乏对应一定的知识，那么方面和情感术语之间的语义关系可能没法获得。因此，许多研究人员将知识图谱应用于方面级情感分析任务，作为模型外部知识的补充提升模型性能。Yang等人提出了一种用于方面级情感分类的分层拟人策略，该策略利用情感语言知识作为先验知识来学习情感感知文档表示。Zhou等人使用了外部构造的知识图谱嵌入与句法依存关系，利用两种不同结构的GCN得到上下文词节点与给定方面之间的语义关系。但现有基于知识图谱的模型只是简单地将外部知识结合进评论句子表示，没有充分利用知识图谱的图结构，这导致了许多外部知识信息存在丢失，或者结合了很多不必要的知识对模型产生了噪声，因此使得模型性能提升不明显。
发明内容
本发明的目的在于提供一种基于知识图谱与交互图卷积的评论情感分析方法及系统，该方法及系统有利于提高情感分类的准确性。
为实现上述目的，本发明采用的技术方案是：一种基于知识图谱与交互图卷积的评论情感分析方法，包括以下步骤：
步骤A：收集用户评论，提取用户评论中涉及的产品或服务的方面词，并标注用户评论针对该产品或服务的特定方面的情感极性，以此来构建训练集DS；
步骤B：使用训练集DS，训练基于知识图谱与交互图卷积网络的深度学习网络模型G，用于分析用户评论对产品或服务的特定方面的情感极性；
步骤C：将用户评论与用户评论涉及的产品或服务的方面词输入到训练好的深度学习网络模型中，获得用户评论针对该产品或服务中的特定方面的情感极性。
进一步地，所述步骤B具体包括以下步骤：
步骤B1：对训练集DS中的每个训练样本进行编码，得到用户评论的初始表征向量ES、方面的初始表征向量EA以及句法依存邻接矩阵AS，同时根据依赖树KG子图生成策略从知识图谱中生成用户评论的对应子图DKG，得到其邻接矩阵ADKG，然后对其节点进行编码，得到子图DKG的节点表示HDKG；
步骤B2：通过方面增强策略对指定方面的表示进行增强，获得方面增强向量EAE，将步骤B1得到的初始表征向量ES和方面增强向量EAE分别输入到两个不同的双向长短期记忆网络中，得到用户评论句子表征向量HS和方面增强表征向量HAE；
步骤B3：通过方面增强策略获得评论句子的边向量EE，对HS和EE方面使用关系注意力机制，获得关系注意力句子表征向量ERA；
步骤B4：对HAE进行平均池化得到方面表征向量
Figure BDA0003522077460000031
对HS进行位置权重加权，得到位置加强的评论句子表征向量HPS，通过连接
Figure BDA0003522077460000032
和HPS，得到表征向量GS,0；
步骤B5：将表征向量GS,0和子图节点表征向量HDKG分别输入到两个不同的K层图卷积网络中，分别记为评论句子图卷积网络SGCN和依赖树知识图谱图卷积网络DKGGCN，分别学习并提取句法依存关系和外部知识，同时评论句子图卷积网络SGCN的每层节点通过知识交互机制利用依赖树知识图谱图卷积网络DKGGCN进行知识融合，最后得到用户评论的图卷积表征向量GS,K；
步骤B6：对图卷积表征向量GS,K进行掩膜操作，得到用户评论的图卷积掩膜表征向量Gmask，再和评论句子表征向量HS通使用交叉注意力机制，进一步提升模型特征提取能力，得到表征向量ESD；
步骤B7：针对不规范句子带来的噪声，通过多头注意力机制将ESD和步骤B3得到的关系注意力句子表征向量ERA融合得到聚合外部知识和边关系的句子表征EMT，再通过一个门控融合机制，得到最终表征向量EFIN；
步骤B8：将最终表征向量EFIN输入最终预测层，根据目标损失函数loss，利用反向传播方法计算深度学习网络模型中各参数的梯度，并利用随机梯度下降方法更新各参数；
步骤B9：当深度学习网络模型产生的损失值迭代变化小于所给定阈值、或者达到最大迭代次数，则终止深度学习网络模型的训练过程。
进一步地，所述步骤B1具体包括以下步骤：
步骤B11：对训练集DS进行遍历，对其中的用户评论和方面进行分词处理并去除停用词之后，DS中的每个训练样本表示为ds＝(s,a,p)；
其中s为用户评论，a为用户评论s中提取的用户评论所涉及的产品或服务的方面词或短语，p为评论对该方面的情感极性，其中包括{积极,消极,中性}；
用户评论s表示为：
Figure BDA0003522077460000041
其中，
Figure BDA0003522077460000042
为用户评论s中的第i个词，i＝1,2,…,n，n为用户评论s的词语数量；
方面a表示为：
Figure BDA0003522077460000043
其中，
Figure BDA0003522077460000044
为方面a中的第i个词，i＝1,2,…,m′，m′为方面a的词语数量；
步骤B12：对步骤B11得到用户评论
Figure BDA0003522077460000045
进行编码，得到用户评论s的初始表征向量ES；
其中，ES表示为：
Figure BDA0003522077460000046
其中，
Figure BDA0003522077460000047
为第i个词
Figure BDA00035220774600000411
所对应的词向量，通过在预训练的词向量矩阵
Figure BDA0003522077460000048
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数；
步骤B13：对步骤B11得到方面
Figure BDA0003522077460000049
进行编码，得到方面a的初始表征向量EA；
Figure BDA00035220774600000410
其中，
Figure BDA0003522077460000051
表示第i个词
Figure BDA0003522077460000052
所对应的词向量，通过在预训练的词向量矩阵
Figure BDA0003522077460000053
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数；
步骤B14：对用户评论s进行句法依存解析，得到句法依赖树DT；
Figure BDA0003522077460000054
其中，
Figure BDA0003522077460000055
表示词wi和词wj之间存在句法依存关系；
步骤B15：将解析得到的句法依赖树DT编码为n阶邻接矩阵AS，AS表示为：
Figure BDA0003522077460000056
其中，Aij为1表示词
Figure BDA0003522077460000057
和词
Figure BDA0003522077460000058
之间存在句法依存关系，Aij为0表示词
Figure BDA0003522077460000059
和词
Figure BDA00035220774600000510
之间不存在句法依存关系；
步骤B16：将解析得到的句法依赖树DT编码为n阶边关系邻接矩阵B，B表示为：
Figure BDA00035220774600000511
其中，Bij为非0实数表示词
Figure BDA00035220774600000512
和词
Figure BDA00035220774600000513
之间存在一种句法依存关系，相同的句法依存关系使用相同的非0实数表示，Bij为0表示词
Figure BDA00035220774600000514
和词
Figure BDA00035220774600000515
之间不存在句法依存关系；
步骤B17：将句法依赖树DT中的每个单词节点作为种子节点，将每个种子节点作为根节点，从知识图谱中拓展hop层来生成子节点，每层选取u个与上一层节点在知识图谱中有边连接的节点作为该层节点，即每个种子节点有q＝uhop+1-1个拓展子节点，得到所有节点总数为z＝n+n*q的依赖树知识图谱子图DKG；
Figure BDA00035220774600000516
其中，
Figure BDA00035220774600000517
表示词wi和词wj之间存在句法依存关系，
Figure BDA00035220774600000518
表示词
Figure BDA00035220774600000519
是词
Figure BDA00035220774600000520
的拓展节点，
Figure BDA0003522077460000061
表示词
Figure BDA0003522077460000062
是词
Figure BDA0003522077460000063
的拓展子节点；
步骤B18：将依赖树知识图谱子图DKG编码为z阶邻接矩阵ADKG，ADKG表示为：
Figure BDA0003522077460000064
其中，Aij为1表示两词之间存在连接关系，Aij为0表示表示两词之间不存在连接关系；
步骤B19：通过知识图谱嵌入对依赖树知识图谱子图DKG的节点进行编码，得到其节点表示为
Figure BDA0003522077460000065
到作为依赖树知识图谱图卷积网络DKGGCN的初始输入
Figure BDA0003522077460000066
其中，
Figure BDA0003522077460000067
为第i个词
Figure BDA0003522077460000068
所对应的知识词向量，通过在预训练的知识词向量矩阵
Figure BDA0003522077460000069
中查找得到，其中d表示知识词向量的维度，|V|是知识词嵌入V中的词语数。
进一步地，所述步骤B2具体包括以下步骤：
步骤B21：对步骤B14得到的句法依赖树DT修剪进行方面增强，得到与方面a相连的t个上下文词
Figure BDA00035220774600000610
组合上下文cs与方面a得到方面增强词ae，表示为：
Figure BDA00035220774600000611
其中，
Figure BDA00035220774600000612
为方面增强词ae经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,m,m为方面增强词ae经过分词及去除停用词后剩余的词语数量；
对方面增强词ae进行编码，得到方面增强向量EAE；
Figure BDA00035220774600000613
其中，
Figure BDA00035220774600000614
表示第i个方面增强词
Figure BDA00035220774600000615
所对应的词向量，通过在预训练的词向量矩阵
Figure BDA00035220774600000616
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数；
步骤B22：将用户评论s的初始表征向量ES的序列
Figure BDA0003522077460000071
分别依次输入第一个双向长短期记忆网络的前向层和反向层，分别得到前向隐层的状态向量序列
Figure BDA0003522077460000072
反向隐层的状态向量序列
Figure BDA0003522077460000073
其中
Figure BDA0003522077460000074
f为激活函数；连接得到用户评论表征向量
Figure BDA0003522077460000075
Figure BDA0003522077460000076
“；”表示向量连接操作；
步骤B23：将方面增强向量
Figure BDA0003522077460000077
分别依次输入第二个双向长短期记忆网络的前向层和反向层，分别得到前向隐层状态向量序列
Figure BDA0003522077460000078
反向隐层状态向量序列
Figure BDA0003522077460000079
其中，
Figure BDA00035220774600000710
f为激活函数；连接并转置得到方面增强表征向量HAE，
Figure BDA00035220774600000711
Figure BDA00035220774600000712
“；”表示向量连接操作。
进一步地，所述步骤B3具体包括以下步骤：
步骤B31：对边关系句法依存邻接矩阵B进行了修剪，仅保留与给定方面词直接相连的上下文词以及它们的边类型；对于包含多个词的方面，分别得到这k个词直接相连的边关系序列
Figure BDA00035220774600000713
将k维矩阵按行相加压缩为一维，得到长度为n的边关系序列rs＝{rs1，rs2，...，rsn}；对边类型标签序列进行初始化，得到边向量EE；
Figure BDA00035220774600000714
其中，
Figure BDA00035220774600000715
表示第i个词所对应的边向量；
步骤B32：对边向量EE和步骤B22得到的用户评论表征向量HS使用关系注意力机制，得到关系注意力句子表征向量
Figure BDA00035220774600000716
其计算过程如下：
Figure BDA00035220774600000717
Figure BDA0003522077460000081
Figure BDA0003522077460000082
其中，
Figure BDA0003522077460000083
表示节点i和方面的边关系向量，
Figure BDA0003522077460000084
表示关系注意力的句子表征向量，
Figure BDA0003522077460000085
是可学习的权重矩阵，
Figure BDA0003522077460000086
是偏置向量。
进一步地，所述步骤B4具体包括以下步骤：
步骤B41：对方面增强表征向量HAE进行平均池化操作，得到
Figure BDA0003522077460000087
其计算公式如下：
Figure BDA0003522077460000088
其中，
Figure BDA0003522077460000089
步骤B42：对用户评论表征向量Hs进行位置权重加权，得到用户评论的位置加强的表征向量HPS，HPS表示为：
Figure BDA00035220774600000810
其中，
Figure BDA00035220774600000811
为用户评论s中第i个词对应的位置加强表征向量，“·”表示向量与实数的数乘，
Figure BDA00035220774600000812
为用户评论s中第i个词
Figure BDA00035220774600000813
所对应的位置权重，其计算方式如下：
Figure BDA00035220774600000814
其中，i＝1,2,...,n表示当前词的在句中的位置，τ表示方面a的第一个词在用户评论s中的位置，τ+m-1表示方面a的最后一个词在用户评论s中的位置；
步骤B43：将步骤B41得到的平均池化方面增强表征向量
Figure BDA00035220774600000815
与步骤B42得到的HPS进行连接，得到表征向量g0，
Figure BDA00035220774600000816
表示为：
Figure BDA0003522077460000091
其中，
Figure BDA0003522077460000092
为与用户评论s中第i个词相对应的输入到图卷积网络中的表征向量，i＝1,2,...,n，
Figure BDA0003522077460000093
表示为：
Figure BDA0003522077460000094
其中，
Figure BDA0003522077460000095
“；”表示向量连接操作。
进一步地，所述步骤B5具体包括以下步骤：
步骤B51：对于依赖树图卷积网络DKGGCN，将子图节点表征向量GDKG,0输入第一层图卷积网络，利用邻接矩阵ADKG对每个子图节点的向量表示进行更新，输出GDKG,1，并作为下一层图卷积网络的输入；
其中，GDKG,1表示为：
Figure BDA0003522077460000096
其中，
Figure BDA0003522077460000097
是第1层图卷积网络中节点i的输出，
Figure BDA0003522077460000098
的计算公式如下：
Figure BDA0003522077460000099
Figure BDA00035220774600000910
其中，
Figure BDA00035220774600000911
为权重矩阵，
Figure BDA00035220774600000912
为偏置项；WDKG、bDKG均为可学习的参数；relu是激活函数；图卷积网络中的节点i与用户评论中的第i个词
Figure BDA00035220774600000913
相对应，图卷积网络中节点间的边代表词语间存在知识连接关系，di表示节点i的度，选择di+1作为除数是为了防止节点i的度为0导致运算出错，“；”表示向量连接操作；
步骤B52：对于评论句子图卷积网络SGCN，将评论句子表征向量GS,0输入第一层图卷积网络，利用邻接矩阵AS对每个词语的向量表示进行更新，输出GS,1，通过知识交互机制结合依赖树图卷积网络DKGGCN的第一层输出GDKG,1并生成下一层图卷积网络的输入GSD,1；
其中，GS,1，GSD,1分别表示为：
Figure BDA0003522077460000101
Figure BDA0003522077460000102
其中，
Figure BDA0003522077460000103
是第1层图卷积网络中节点i的输出，
Figure BDA0003522077460000104
的计算公式如下：
Figure BDA0003522077460000105
Figure BDA0003522077460000106
其中，
Figure BDA0003522077460000107
为权重矩阵，
Figure BDA0003522077460000108
为偏置项；WS、
Figure BDA0003522077460000109
均为可学习的参数；relu是激活函数；图卷积网络中的节点i与用户评论中的第i个词
Figure BDA00035220774600001010
相对应，图卷积网络中节点间的边代表用户评论中词语间的句法依赖关系，di表示节点i的度，选择di+1作为除数是为了防止节点i的度为0导致运算出错，“；”表示向量连接操作；
对于知识交互机制，首先对DKGGCN的第一层输出GDKG,1进行截断操作，保留当前用户评论句子中的词，得到了SGCN节点的第一层知识表示
Figure BDA00035220774600001011
接下来通过交互注意力机制将其与SGCN第一层输出GS,1结合，进一步获得具有知识的用户评论句子表征GSD,1；
其中，GSD,1表示为：
Figure BDA00035220774600001012
其中，
Figure BDA00035220774600001013
是SGCN第1层图卷积网络中节点i的通过交互机制的输出，
Figure BDA00035220774600001014
的计算公式如下：
Figure BDA00035220774600001015
Figure BDA00035220774600001016
Figure BDA0003522077460000111
其中，(·)T表示转置操作，αi是用户评论s中第i个词的有关知识的注意力权重；
步骤B53：分别将GDKG,1和GSD,1输入到DKGGCN和SGCN的下一层图卷积网络，重复步骤B51、B52；
其中，对于DKGGCN，将第k层图卷积网络的输出
Figure BDA0003522077460000112
作为第k+1层图卷积网络的输入，迭代结束后得到图卷积表征向量
Figure BDA0003522077460000113
对于SGCN，第k层图卷积网络的输出为
Figure BDA0003522077460000114
将GS,k通过与步骤B52所述相同的知识交互机制得到GSD,k，作为第k+1层图卷积网络的输入，迭代结束后得到图卷积表征向量
Figure BDA0003522077460000115
K为图卷积网络的层数，1≤k≤K。
进一步地，所述步骤B6具体包括以下步骤：
步骤B61：对步骤B53得到的GS,K进行掩膜操作，屏蔽不属于方面词的图卷积输出，得到用户评论的图卷积掩膜表征向量Gmask，计算过程如下：
Gmask＝{0,...,gmask,τ,...,gmask,τ+m-1,...,0}
其中，0表示维度为2d的零向量，τ表示方面的第一个词在评论句子中的位置，gmask,τ表示方面的第一个词对应的表征向量，gmask,τ+m-1表示方面的最后一个词对应的表征向量；
步骤B62：将步骤B24得到的用户评论表征向量HS和步骤B61得到的用户评论的图卷积掩膜表征向量Gmask输入注意力网络，通过注意力网络选择重要的单词级信息，得到用户评论的句子级表征向量ESD，计算公式如下：
Figure BDA0003522077460000116
Figure BDA0003522077460000117
Figure BDA0003522077460000121
其中，(·)T表示转置操作，εi是用户评论s中第i个词的注意力权重。
进一步地，所述步骤B7具体包括以下步骤：
步骤B71：选择能够整除d的整数N，对用户评论的句子级表征向量ESD和步骤B32得到的关系注意力句子表征向量ERA在最后一个维度上平均切分成N个子向量，得到子向量序列
Figure BDA0003522077460000122
和
Figure BDA0003522077460000123
其中
Figure BDA0003522077460000124
是句子级表征向量ESD的第h个子向量，
Figure BDA0003522077460000125
是关系注意力句子表征向量ERA的第h个子向量；
步骤B72：将句子级表征向量ESD的每个子向量和用户评论的句子级表征向量ew中对应的子向量构成一个子向量对，即
Figure BDA0003522077460000126
对每个子向量对单独使用注意力机制进行计算，然后进行拼接与降维，得到融合知识和边关系的用户评论的句子增强表征向量EMT，N为多头注意力机制的头数，多头注意力机制的计算过程如下：
lmt＝2l/N
Figure BDA0003522077460000127
Figure BDA0003522077460000128
其中，MHA表示多头注意力机制，Q、K、V表示多头注意力机制的输入向量，Q表示关系注意力句子表征向量ERA，K和V取相同值，均为词级注意力机制的输出ESD；
Figure BDA0003522077460000129
为对Q、K、V的第i个子向量对使用注意力机制计算得到的输出向量，N为子向量对的个数，即多头注意力机制的头数，
Figure BDA00035220774600001210
为多头注意力机制的训练参数，
Figure BDA00035220774600001211
Figure BDA00035220774600001212
是将输入向量Q、K、V转换为第i个子向量对的线性变换矩阵，lmt表示子向量最后一维的维度；
步骤B73：针对不规范句子对模型带来的噪声，将融合知识和边关系的用户评论的句子增强表征向量EMT输入门控函数过滤无关信息，得到向量ESDA，然后输入多层感知机MLP得到最终的句子表征向量EFIN；具体的计算过程如下：
Figure BDA0003522077460000131
Figure BDA0003522077460000132
本发明还提供了采用上述方法的评论情感分析系统，包括：
数据收集模块，用于提取用户评论、评论中方面词、方面词的位置信息，并对方面的情感极性进行标注，构建训练集；
预处理模块，用于对训练集中的训练样本进行预处理，包括分词处理、去除停用词、句法依存关系解析和依赖树知识图谱子图；
编码模块，用于在预训练的词向量矩阵中查找经过预处理的用户评论和方面增强中词的词向量，得到用户评论的初始表征向量和方面增强的初始表征向量，在预训练好的知识图谱词向量矩阵中查找依赖树知识图谱子图中节点的词向量，得到用户评论有关的依赖树知识图谱子图初始表征向量；
网络训练模块，用于将用户评论的初始表征向量、方面的初始表征向量和依赖树知识图谱子图初始表征向量输入到深度学习网络中，得到用户评论的最终表征向量并以此训练深度学习网络，利用该表征向量属于某一类别的概率以及训练集中的标注作为损失，以最小化损失为目标来对整个深度学习网络进行训练，得到基于知识图谱与交互图卷积网络的深度学习网络模型；以及
情感分析模块，利用NLP工具，提取输入的用户评论中的方面，之后利用训练好的基于知识图谱与交互图卷积网络的深度学习网络模型对输入的用户评论和方面进行分析处理，输出用户评论中涉及特定方面的情感评价极性。
与现有技术相比，本发明具有以下有益效果：本发明首先利用知识图谱和子图生成策略得到对应评论句子的依赖树知识子图，之后对评论句子和产品方面增强分别编码，然后利用位置信息对评论句子表示进行位置加权，同时通过两个GCN以及知识交互机制学习评论句子中句法依存关系和外部知识，最后利用多粒度注意力门控机制融合边关系信息同时过滤句子噪声来增强评论句子的表示，这样可以提高模型预测情感分类的准确性。
附图说明
图1是本发明实施例的方法实现流程图；
图2是本发明实施例中模型架构图；
图3是本发明实施例的系统结构示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于知识图谱与交互图卷积的评论情感分析方法，包括以下步骤：
步骤A：收集用户评论，提取用户评论中涉及的产品或服务的方面词，并标注用户评论针对该产品或服务的特定方面的情感极性，以此来构建训练集DS。
步骤B：使用训练集DS，训练基于知识图谱与交互图卷积网络的深度学习网络模型G，用于分析用户评论对产品或服务的特定方面的情感极性。本实施例中深度学习网络模型G的架构如图2所示。
步骤C：将用户评论与用户评论涉及的产品或服务的方面词输入到训练好的深度学习网络模型中，获得用户评论针对该产品或服务中的特定方面的情感极性。
在本实施例中，所述步骤B具体包括以下步骤：
步骤B1：对训练集DS中的每个训练样本进行编码，得到用户评论的初始表征向量ES、方面的初始表征向量EA以及句法依存邻接矩阵AS，同时根据依赖树KG子图生成策略从知识图谱中生成用户评论的对应子图DKG，得到其邻接矩阵ADKG，然后对其节点进行编码，得到子图DKG的节点表示HDKG。所述步骤B1具体包括以下步骤：
步骤B11：对训练集DS进行遍历，对其中的用户评论和方面进行分词处理并去除停用词之后，DS中的每个训练样本表示为ds＝(s,a,p)。
其中s为用户评论，a为用户评论s中提取的用户评论所涉及的产品或服务的方面词或短语，p为评论对该方面的情感极性，其中包括{积极,消极,中性}。
用户评论s表示为：
Figure BDA0003522077460000151
其中，
Figure BDA0003522077460000152
为用户评论s中的第i个词，i＝1,2,…,n，n为用户评论s的词语数量。
方面a表示为：
Figure BDA0003522077460000153
其中，
Figure BDA0003522077460000154
为方面a中的第i个词，i＝1,2,…,m′，m′为方面a的词语数量。
步骤B12：对步骤B11得到用户评论
Figure BDA0003522077460000155
进行编码，得到用户评论s的初始表征向量ES。
其中，ES表示为：
Figure BDA0003522077460000156
其中，
Figure BDA0003522077460000157
为第i个词
Figure BDA0003522077460000158
所对应的词向量，通过在预训练的词向量矩阵
Figure BDA0003522077460000159
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数。
步骤B13：对步骤B11得到方面
Figure BDA00035220774600001510
进行编码，得到方面a的初始表征向量EA；
Figure BDA00035220774600001511
其中，
Figure BDA00035220774600001512
表示第i个词
Figure BDA00035220774600001513
所对应的词向量，通过在预训练的词向量矩阵
Figure BDA00035220774600001514
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数。
步骤B14：对用户评论s进行句法依存解析，得到句法依赖树DT；
Figure BDA00035220774600001515
其中，
Figure BDA00035220774600001516
表示词wi和词wj之间存在句法依存关系。
步骤B15：将解析得到的句法依赖树DT编码为n阶邻接矩阵AS，AS表示为：
Figure BDA0003522077460000161
其中，Aij为1表示词
Figure BDA0003522077460000162
和词
Figure BDA0003522077460000163
之间存在句法依存关系，Aij为0表示词
Figure BDA0003522077460000164
和词
Figure BDA0003522077460000165
之间不存在句法依存关系。
步骤B16：将解析得到的句法依赖树DT编码为n阶边关系邻接矩阵B，B表示为：
Figure BDA0003522077460000166
其中，Bij为非0实数表示词
Figure BDA0003522077460000167
和词
Figure BDA0003522077460000168
之间存在一种句法依存关系，相同的句法依存关系使用相同的非0实数表示，Bij为0表示词
Figure BDA0003522077460000169
和词
Figure BDA00035220774600001610
之间不存在句法依存关系。
步骤B17：将句法依赖树DT中的每个单词节点作为种子节点，将每个种子节点作为根节点，从知识图谱中拓展hop层来生成子节点，每层选取u个与上一层节点在知识图谱中有边连接的节点作为该层节点，即每个种子节点有q＝uhop+1-1个拓展子节点，得到所有节点总数为z＝n+n*q的依赖树知识图谱子图DKG；
Figure BDA00035220774600001611
其中，
Figure BDA00035220774600001612
表示词wi和词wj之间存在句法依存关系，
Figure BDA00035220774600001613
表示词
Figure BDA00035220774600001614
是词
Figure BDA00035220774600001615
的拓展节点，
Figure BDA00035220774600001616
表示词
Figure BDA00035220774600001617
是词
Figure BDA00035220774600001618
的拓展子节点。
步骤B18：将依赖树知识图谱子图DKG编码为z阶邻接矩阵ADKG，ADKG表示为：
Figure BDA00035220774600001619
其中，Aij为1表示两词之间存在连接关系，Aij为0表示表示两词之间不存在连接关系。
步骤B19：通过知识图谱嵌入对依赖树知识图谱子图DKG的节点进行编码，得到其节点表示为
Figure BDA0003522077460000171
到作为依赖树知识图谱图卷积网络DKGGCN的初始输入
Figure BDA0003522077460000172
其中，
Figure BDA0003522077460000173
为第i个词
Figure BDA0003522077460000174
所对应的知识词向量，通过在预训练的知识词向量矩阵
Figure BDA0003522077460000175
中查找得到，其中d表示知识词向量的维度，|V|是知识词嵌入V中的词语数。
步骤B2：通过方面增强策略对指定方面的表示进行增强，获得方面增强向量EAE，将步骤B1得到的初始表征向量ES和方面增强向量EAE分别输入到两个不同的双向长短期记忆网络中，得到用户评论句子表征向量HS和方面增强表征向量HAE。
所述步骤B2具体包括以下步骤：
步骤B21：对步骤B14得到的句法依赖树DT修剪进行方面增强，得到与方面a相连的t个上下文词
Figure BDA0003522077460000176
组合上下文cs与方面a得到方面增强词ae，表示为：
Figure BDA0003522077460000177
其中，
Figure BDA0003522077460000178
为方面增强词ae经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,m,m为方面增强词ae经过分词及去除停用词后剩余的词语数量。
对方面增强词ae进行编码，得到方面增强向量EAE；
Figure BDA0003522077460000179
其中，
Figure BDA00035220774600001710
表示第i个方面增强词
Figure BDA00035220774600001711
所对应的词向量，通过在预训练的词向量矩阵
Figure BDA00035220774600001712
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数。
步骤B22：将用户评论s的初始表征向量ES的序列
Figure BDA00035220774600001713
分别依次输入第一个双向长短期记忆网络的前向层和反向层，分别得到前向隐层的状态向量序列
Figure BDA00035220774600001714
反向隐层的状态向量序列
Figure BDA00035220774600001715
其中
Figure BDA0003522077460000181
f为激活函数。
连接得到用户评论表征向量
Figure BDA0003522077460000182
Figure BDA0003522077460000183
“；”表示向量连接操作。
步骤B23：将方面增强向量
Figure BDA0003522077460000184
分别依次输入第二个双向长短期记忆网络的前向层和反向层，分别得到前向隐层状态向量序列
Figure BDA0003522077460000185
反向隐层状态向量序列
Figure BDA0003522077460000186
其中，
Figure BDA0003522077460000187
f为激活函数。连接并转置得到方面增强表征向量HAE，
Figure BDA0003522077460000188
Figure BDA0003522077460000189
“；”表示向量连接操作。
步骤B3：通过方面增强策略获得评论句子的边向量EE，对HS和EE方面使用关系注意力机制，获得关系注意力句子表征向量ERA。所述步骤B3具体包括以下步骤：
步骤B31：对边关系句法依存邻接矩阵B进行了修剪，仅保留与给定方面词直接相连的上下文词以及它们的边类型。对于包含多个词的方面，分别得到这k个词直接相连的边关系序列
Figure BDA00035220774600001810
将k维矩阵按行相加压缩为一维，得到长度为n的边关系序列rs＝{rs1，rs2，...，rsn}。对边类型标签序列进行初始化，得到边向量EE；
Figure BDA00035220774600001811
其中，
Figure BDA00035220774600001812
表示第i个词所对应的边向量。
步骤B32：对边向量EE和步骤B22得到的用户评论表征向量HS使用关系注意力机制，得到关系注意力句子表征向量
Figure BDA00035220774600001813
其计算过程如下：
Figure BDA00035220774600001814
Figure BDA00035220774600001815
Figure BDA0003522077460000191
其中，
Figure BDA0003522077460000192
表示节点i和方面的边关系向量，
Figure BDA0003522077460000193
表示关系注意力的句子表征向量，
Figure BDA0003522077460000194
是可学习的权重矩阵，
Figure BDA0003522077460000195
是偏置向量。
步骤B4：对HAE进行平均池化得到方面表征向量
Figure BDA0003522077460000196
对HS进行位置权重加权，得到位置加强的评论句子表征向量HPS，通过连接
Figure BDA0003522077460000197
和HPS，得到表征向量GS,0。所述步骤B4具体包括以下步骤：
步骤B41：对方面增强表征向量HAE进行平均池化操作，得到
Figure BDA0003522077460000198
其计算公式如下：
Figure BDA0003522077460000199
其中，
Figure BDA00035220774600001910
步骤B42：对用户评论表征向量Hs进行位置权重加权，得到用户评论的位置加强的表征向量HPS，HPS表示为：
Figure BDA00035220774600001911
其中，
Figure BDA00035220774600001912
为用户评论s中第i个词对应的位置加强表征向量，“·”表示向量与实数的数乘，
Figure BDA00035220774600001913
为用户评论s中第i个词
Figure BDA00035220774600001914
所对应的位置权重，其计算方式如下：
Figure BDA00035220774600001915
其中，i＝1,2,...,n表示当前词的在句中的位置，τ表示方面a的第一个词在用户评论s中的位置，τ+m-1表示方面a的最后一个词在用户评论s中的位置。
步骤B43：将步骤B41得到的平均池化方面增强表征向量
Figure BDA00035220774600001916
与步骤B42得到的HPS进行连接，得到表征向量g0，
Figure BDA0003522077460000201
表示为：
Figure BDA0003522077460000202
其中，
Figure BDA0003522077460000203
为与用户评论s中第i个词相对应的输入到图卷积网络中的表征向量，i＝1,2,...,n，
Figure BDA0003522077460000204
表示为：
Figure BDA0003522077460000205
其中，
Figure BDA0003522077460000206
“；”表示向量连接操作。
步骤B5：将表征向量GS,0和子图节点表征向量HDKG分别输入到两个不同的K层图卷积网络中，分别记为评论句子图卷积网络SGCN和依赖树知识图谱图卷积网络DKGGCN，分别学习并提取句法依存关系和外部知识，同时评论句子图卷积网络SGCN的每层节点通过知识交互机制利用依赖树知识图谱图卷积网络DKGGCN进行知识融合，最后得到用户评论的图卷积表征向量GS,K。所述步骤B5具体包括以下步骤：
步骤B51：对于依赖树图卷积网络DKGGCN，将子图节点表征向量GDKG,0输入第一层图卷积网络，利用邻接矩阵ADKG对每个子图节点的向量表示进行更新，输出GDKG,1，并作为下一层图卷积网络的输入。
其中，GDKG,1表示为：
Figure BDA0003522077460000207
其中，
Figure BDA0003522077460000208
是第1层图卷积网络中节点i的输出，
Figure BDA0003522077460000209
的计算公式如下：
Figure BDA00035220774600002010
Figure BDA00035220774600002011
其中，
Figure BDA00035220774600002012
为权重矩阵，
Figure BDA00035220774600002013
为偏置项。WDKG、bDKG均为可学习的参数。relu是激活函数。图卷积网络中的节点i与用户评论中的第i个词
Figure BDA00035220774600002014
相对应，图卷积网络中节点间的边代表词语间存在知识连接关系，di表示节点i的度，选择di+1作为除数是为了防止节点i的度为0导致运算出错，“；”表示向量连接操作。
步骤B52：对于评论句子图卷积网络SGCN，将评论句子表征向量GS,0输入第一层图卷积网络，利用邻接矩阵AS对每个词语的向量表示进行更新，输出GS,1，通过知识交互机制结合依赖树图卷积网络DKGGCN的第一层输出GDKG,1并生成下一层图卷积网络的输入GSD,1。
其中，GS,1，GSD,1分别表示为：
Figure BDA0003522077460000211
Figure BDA0003522077460000212
其中，
Figure BDA0003522077460000213
是第1层图卷积网络中节点i的输出，
Figure BDA0003522077460000214
的计算公式如下：
Figure BDA0003522077460000215
Figure BDA0003522077460000216
其中，
Figure BDA0003522077460000217
为权重矩阵，
Figure BDA0003522077460000218
为偏置项。WS、
Figure BDA0003522077460000219
均为可学习的参数。relu是激活函数。图卷积网络中的节点i与用户评论中的第i个词
Figure BDA00035220774600002110
相对应，图卷积网络中节点间的边代表用户评论中词语间的句法依赖关系，di表示节点i的度，选择di+1作为除数是为了防止节点i的度为0导致运算出错，“；”表示向量连接操作。
对于知识交互机制，首先对DKGGCN的第一层输出GDKG,1进行截断操作，保留当前用户评论句子中的词，得到了SGCN节点的第一层知识表示
Figure BDA00035220774600002111
接下来通过交互注意力机制将其与SGCN第一层输出GS,1结合，进一步获得具有知识的用户评论句子表征GSD,1。
其中，GSD,1表示为：
Figure BDA00035220774600002112
其中，
Figure BDA00035220774600002113
是SGCN第1层图卷积网络中节点i的通过交互机制的输出，
Figure BDA00035220774600002114
的计算公式如下：
Figure BDA0003522077460000221
Figure BDA0003522077460000222
Figure BDA0003522077460000223
其中，(·)T表示转置操作，αi是用户评论s中第i个词的有关知识的注意力权重。
步骤B53：分别将GDKG,1和GSD,1输入到DKGGCN和SGCN的下一层图卷积网络，重复步骤B51、B52。
其中，对于DKGGCN，将第k层图卷积网络的输出
Figure BDA0003522077460000224
作为第k+1层图卷积网络的输入，迭代结束后得到图卷积表征向量
Figure BDA0003522077460000225
对于SGCN，第k层图卷积网络的输出为
Figure BDA0003522077460000226
将GS,k通过与步骤B52所述相同的知识交互机制得到GSD,k，作为第k+1层图卷积网络的输入，迭代结束后得到图卷积表征向量
Figure BDA0003522077460000227
K为图卷积网络的层数，1≤k≤K。
步骤B6：对图卷积表征向量GS,K进行掩膜操作，得到用户评论的图卷积掩膜表征向量Gmask，再和评论句子表征向量HS通使用交叉注意力机制，进一步提升模型特征提取能力，得到表征向量ESD。所述步骤B6具体包括以下步骤：
步骤B61：对步骤B53得到的GS,K进行掩膜操作，屏蔽不属于方面词的图卷积输出，得到用户评论的图卷积掩膜表征向量Gmask，计算过程如下：
Gmask＝{0,...,gmask,τ,...,gmask,τ+m-1,...,0}
其中，0表示维度为2d的零向量，τ表示方面的第一个词在评论句子中的位置，gmask,τ表示方面的第一个词对应的表征向量，gmask,τ+m-1表示方面的最后一个词对应的表征向量。
步骤B62：将步骤B24得到的用户评论表征向量HS和步骤B61得到的用户评论的图卷积掩膜表征向量Gmask输入注意力网络，通过注意力网络选择重要的单词级信息，得到用户评论的句子级表征向量ESD，计算公式如下：
Figure BDA0003522077460000231
Figure BDA0003522077460000232
Figure BDA0003522077460000233
其中，(·)T表示转置操作，εi是用户评论s中第i个词的注意力权重。
步骤B7：针对不规范句子带来的噪声，通过多头注意力机制将ESD和步骤B3得到的关系注意力句子表征向量ERA融合得到聚合外部知识和边关系的句子表征EMT，再通过一个门控融合机制，得到最终表征向量EFIN。所述步骤B7具体包括以下步骤：
步骤B71：选择能够整除d的整数N，对用户评论的句子级表征向量ESD和步骤B32得到的关系注意力句子表征向量ERA在最后一个维度上平均切分成N个子向量，得到子向量序列
Figure BDA0003522077460000234
和
Figure BDA0003522077460000235
其中
Figure BDA0003522077460000236
是句子级表征向量ESD的第h个子向量，
Figure BDA0003522077460000237
是关系注意力句子表征向量ERA的第h个子向量。
步骤B72：将句子级表征向量ESD的每个子向量和用户评论的句子级表征向量ew中对应的子向量构成一个子向量对，即
Figure BDA0003522077460000238
对每个子向量对单独使用注意力机制进行计算，然后进行拼接与降维，得到融合知识和边关系的用户评论的句子增强表征向量EMT，N为多头注意力机制的头数，多头注意力机制的计算过程如下：
lmt＝2l/N
Figure BDA0003522077460000239
Figure BDA0003522077460000241
其中，MHA表示多头注意力机制，Q、K、V表示多头注意力机制的输入向量，Q表示关系注意力句子表征向量ERA，K和V取相同值，均为词级注意力机制的输出ESD。
Figure BDA0003522077460000242
为对Q、K、V的第i个子向量对使用注意力机制计算得到的输出向量，N为子向量对的个数，即多头注意力机制的头数，
Figure BDA0003522077460000243
为多头注意力机制的训练参数，
Figure BDA0003522077460000244
Figure BDA0003522077460000245
是将输入向量Q、K、V转换为第i个子向量对的线性变换矩阵，lmt表示子向量最后一维的维度。
步骤B73：针对不规范句子对模型带来的噪声，将融合知识和边关系的用户评论的句子增强表征向量EMT输入门控函数过滤无关信息，得到向量ESDA，然后输入多层感知机MLP得到最终的句子表征向量EFIN。具体的计算过程如下：
Figure BDA0003522077460000246
Figure BDA0003522077460000247
步骤B8：将最终表征向量EFIN输入最终预测层，根据目标损失函数loss，利用反向传播方法计算深度学习网络模型中各参数的梯度，并利用随机梯度下降方法更新各参数。
步骤B9：当深度学习网络模型产生的损失值迭代变化小于所给定阈值、或者达到最大迭代次数，则终止深度学习网络模型的训练过程。
如图3所示，本实施例提供了用于实现上述方法的评论情感分析系统，包括数据收集模块、预处理模块、编码模块、网络训练模块和情感分析模块
所述数据收集模块用于提取用户评论、评论中方面词、方面词的位置信息，并对方面的情感极性进行标注，构建训练集。
所述预处理模块用于对训练集中的训练样本进行预处理，包括分词处理、去除停用词、句法依存关系解析和依赖树知识图谱子图。
所述编码模块用于在预训练的词向量矩阵中查找经过预处理的用户评论和方面增强中词的词向量，得到用户评论的初始表征向量和方面增强的初始表征向量，在预训练好的知识图谱词向量矩阵中查找依赖树知识图谱子图中节点的词向量，得到用户评论有关的依赖树知识图谱子图初始表征向量。
所述网络训练模块用于将用户评论的初始表征向量、方面的初始表征向量和依赖树知识图谱子图初始表征向量输入到深度学习网络中，得到用户评论的最终表征向量并以此训练深度学习网络，利用该表征向量属于某一类别的概率以及训练集中的标注作为损失，以最小化损失为目标来对整个深度学习网络进行训练，得到基于知识图谱与交互图卷积网络的深度学习网络模型。
所述情感分析模块利用NLP工具，提取输入的用户评论中的方面，之后利用训练好的基于知识图谱与交互图卷积网络的深度学习网络模型对输入的用户评论和方面进行分析处理，输出用户评论中涉及特定方面的情感评价极性。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.一种基于知识图谱与交互图卷积的评论情感分析方法，其特征在于，包括以下步骤：
步骤A：收集用户评论，提取用户评论中涉及的产品或服务的方面词，并标注用户评论针对该产品或服务的特定方面的情感极性，以此来构建训练集DS；
步骤B：使用训练集DS，训练基于知识图谱与交互图卷积网络的深度学习网络模型G，用于分析用户评论对产品或服务的特定方面的情感极性；
步骤C：将用户评论与用户评论涉及的产品或服务的方面词输入到训练好的深度学习网络模型中，获得用户评论针对该产品或服务中的特定方面的情感极性。
2.根据权利要求1所述的基于知识图谱与交互图卷积的评论情感分析方法，其特征在于，所述步骤B具体包括以下步骤：
步骤B1：对训练集DS中的每个训练样本进行编码，得到用户评论的初始表征向量ES、方面的初始表征向量EA以及句法依存邻接矩阵AS，同时根据依赖树KG子图生成策略从知识图谱中生成用户评论的对应子图DKG，得到其邻接矩阵ADKG，然后对其节点进行编码，得到子图DKG的节点表示HDKG；
步骤B2：通过方面增强策略对指定方面的表示进行增强，获得方面增强向量EAE，将步骤B1得到的初始表征向量ES和方面增强向量EAE分别输入到两个不同的双向长短期记忆网络中，得到用户评论句子表征向量HS和方面增强表征向量HAE；
步骤B3：通过方面增强策略获得评论句子的边向量EE，对HS和EE方面使用关系注意力机制，获得关系注意力句子表征向量ERA；
步骤B4：对HAE进行平均池化得到方面表征向量
Figure FDA0003522077450000011
对HS进行位置权重加权，得到位置加强的评论句子表征向量HPS，通过连接
Figure FDA0003522077450000012
和HPS，得到表征向量GS,0；
步骤B5：将表征向量GS,0和子图节点表征向量HDKG分别输入到两个不同的K层图卷积网络中，分别记为评论句子图卷积网络SGCN和依赖树知识图谱图卷积网络DKGGCN，分别学习并提取句法依存关系和外部知识，同时评论句子图卷积网络SGCN的每层节点通过知识交互机制利用依赖树知识图谱图卷积网络DKGGCN进行知识融合，最后得到用户评论的图卷积表征向量GS,K；
步骤B6：对图卷积表征向量GS,K进行掩膜操作，得到用户评论的图卷积掩膜表征向量Gmask，再和评论句子表征向量HS通使用交叉注意力机制，进一步提升模型特征提取能力，得到表征向量ESD；
步骤B7：针对不规范句子带来的噪声，通过多头注意力机制将ESD和步骤B3得到的关系注意力句子表征向量ERA融合得到聚合外部知识和边关系的句子表征EMT，再通过一个门控融合机制，得到最终表征向量EFIN；
步骤B8：将最终表征向量EFIN输入最终预测层，根据目标损失函数loss，利用反向传播方法计算深度学习网络模型中各参数的梯度，并利用随机梯度下降方法更新各参数；
步骤B9：当深度学习网络模型产生的损失值迭代变化小于所给定阈值、或者达到最大迭代次数，则终止深度学习网络模型的训练过程。
3.根据权利要求2所述的基于知识图谱与交互图卷积的评论情感分析方法，其特征在于，所述步骤B1具体包括以下步骤：
步骤B11：对训练集DS进行遍历，对其中的用户评论和方面进行分词处理并去除停用词之后，DS中的每个训练样本表示为ds＝(s,a,p)；
其中s为用户评论，a为用户评论s中提取的用户评论所涉及的产品或服务的方面词或短语，p为评论对该方面的情感极性，其中包括{积极,消极,中性}；
用户评论s表示为：
Figure FDA0003522077450000021
其中，
Figure FDA0003522077450000022
为用户评论s中的第i个词，i＝1,2,…,n，n为用户评论s的词语数量；
方面a表示为：
Figure FDA0003522077450000023
其中，
Figure FDA0003522077450000024
为方面a中的第i个词，i＝1,2,…,m′，m′为方面a的词语数量；
步骤B12：对步骤B11得到用户评论
Figure FDA0003522077450000025
进行编码，得到用户评论s的初始表征向量ES；
其中，ES表示为：
Figure FDA0003522077450000031
其中，
Figure FDA0003522077450000032
为第i个词
Figure FDA0003522077450000033
所对应的词向量，通过在预训练的词向量矩阵
Figure FDA0003522077450000034
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数；
步骤B13：对步骤B11得到方面
Figure FDA0003522077450000035
进行编码，得到方面a的初始表征向量EA；
Figure FDA0003522077450000036
其中，
Figure FDA0003522077450000037
表示第i个词
Figure FDA0003522077450000038
所对应的词向量，通过在预训练的词向量矩阵
Figure FDA0003522077450000039
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数；
步骤B14：对用户评论s进行句法依存解析，得到句法依赖树DT；
Figure FDA00035220774500000310
其中，
Figure FDA00035220774500000311
表示词wi和词wj之间存在句法依存关系；
步骤B15：将解析得到的句法依赖树DT编码为n阶邻接矩阵AS，AS表示为：
Figure FDA00035220774500000312
其中，Aij为1表示词
Figure FDA00035220774500000313
和词
Figure FDA00035220774500000314
之间存在句法依存关系，Aij为0表示词
Figure FDA00035220774500000315
和词
Figure FDA00035220774500000316
之间不存在句法依存关系；
步骤B16：将解析得到的句法依赖树DT编码为n阶边关系邻接矩阵B，B表示为：
Figure FDA00035220774500000317
其中，Bij为非0实数表示词
Figure FDA00035220774500000318
和词
Figure FDA00035220774500000319
之间存在一种句法依存关系，相同的句法依存关系使用相同的非0实数表示，Bij为0表示词
Figure FDA00035220774500000320
和词
Figure FDA00035220774500000321
之间不存在句法依存关系；
步骤B17：将句法依赖树DT中的每个单词节点作为种子节点，将每个种子节点作为根节点，从知识图谱中拓展hop层来生成子节点，每层选取u个与上一层节点在知识图谱中有边连接的节点作为该层节点，即每个种子节点有q＝uhop+1-1个拓展子节点，得到所有节点总数为z＝n+n*q的依赖树知识图谱子图DKG；
Figure FDA0003522077450000041
其中，
Figure FDA0003522077450000042
表示词wi和词wj之间存在句法依存关系，
Figure FDA0003522077450000043
表示词
Figure FDA0003522077450000044
是词
Figure FDA0003522077450000045
的拓展节点，
Figure FDA0003522077450000046
表示词
Figure FDA0003522077450000047
是词
Figure FDA0003522077450000048
的拓展子节点；
步骤B18：将依赖树知识图谱子图DKG编码为z阶邻接矩阵ADKG，ADKG表示为：
Figure FDA0003522077450000049
其中，Aij为1表示两词之间存在连接关系，Aij为0表示表示两词之间不存在连接关系；
步骤B19：通过知识图谱嵌入对依赖树知识图谱子图DKG的节点进行编码，得到其节点表示为
Figure FDA00035220774500000410
到作为依赖树知识图谱图卷积网络DKGGCN的初始输入
Figure FDA00035220774500000411
其中，
Figure FDA00035220774500000412
为第i个词
Figure FDA00035220774500000413
所对应的知识词向量，通过在预训练的知识词向量矩阵
Figure FDA00035220774500000414
中查找得到，其中d表示知识词向量的维度，|V|是知识词嵌入V中的词语数。
4.根据权利要求3所述的基于知识图谱与交互图卷积的评论情感分析方法，其特征在于，所述步骤B2具体包括以下步骤：
步骤B21：对步骤B14得到的句法依赖树DT修剪进行方面增强，得到与方面a相连的t个上下文词
Figure FDA00035220774500000415
组合上下文cs与方面a得到方面增强词ae，表示为：
Figure FDA0003522077450000051
其中，
Figure FDA0003522077450000052
为方面增强词ae经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,m,m为方面增强词ae经过分词及去除停用词后剩余的词语数量；
对方面增强词ae进行编码，得到方面增强向量EAE；
Figure FDA0003522077450000053
其中，
Figure FDA0003522077450000054
表示第i个方面增强词
Figure FDA0003522077450000055
所对应的词向量，通过在预训练的词向量矩阵
Figure FDA0003522077450000056
中查找得到，其中d表示词向量的维度，|V|是词典V中的词语数；
步骤B22：将用户评论s的初始表征向量ES的序列
Figure FDA0003522077450000057
分别依次输入第一个双向长短期记忆网络的前向层和反向层，分别得到前向隐层的状态向量序列
Figure FDA0003522077450000058
反向隐层的状态向量序列
Figure FDA0003522077450000059
其中
Figure FDA00035220774500000510
f为激活函数；连接得到用户评论表征向量
Figure FDA00035220774500000511
Figure FDA00035220774500000512
“；”表示向量连接操作；
步骤B23：将方面增强向量
Figure FDA00035220774500000513
分别依次输入第二个双向长短期记忆网络的前向层和反向层，分别得到前向隐层状态向量序列
Figure FDA00035220774500000514
反向隐层状态向量序列
Figure FDA00035220774500000515
其中，
Figure FDA00035220774500000516
f为激活函数；连接并转置得到方面增强表征向量HAE，
Figure FDA00035220774500000517
Figure FDA00035220774500000518
“；”表示向量连接操作。
5.根据权利要求4所述的基于知识图谱与交互图卷积的评论情感分析方法，其特征在于，所述步骤B3具体包括以下步骤：
步骤B31：对边关系句法依存邻接矩阵B进行了修剪，仅保留与给定方面词直接相连的上下文词以及它们的边类型；对于包含多个词的方面，分别得到这k个词直接相连的边关系序列
Figure FDA0003522077450000061
将k维矩阵按行相加压缩为一维，得到长度为n的边关系序列rs＝{rs1，rs2，...，rsn}；对边类型标签序列进行初始化，得到边向量EE；
Figure FDA0003522077450000062
其中，
Figure FDA0003522077450000063
表示第i个词所对应的边向量；
步骤B32：对边向量EE和步骤B22得到的用户评论表征向量HS使用关系注意力机制，得到关系注意力句子表征向量
Figure FDA0003522077450000064
其计算过程如下：
Figure FDA0003522077450000065
Figure FDA0003522077450000066
Figure FDA0003522077450000067
其中，
Figure FDA0003522077450000068
表示节点i和方面的边关系向量，
Figure FDA0003522077450000069
表示关系注意力的句子表征向量，
Figure FDA00035220774500000610
是可学习的权重矩阵，
Figure FDA00035220774500000611
是偏置向量。
6.根据权利要求5所述的基于知识图谱与交互图卷积的评论情感分析方法，其特征在于，所述步骤B4具体包括以下步骤：
步骤B41：对方面增强表征向量HAE进行平均池化操作，得到
Figure FDA00035220774500000612
其计算公式如下：
Figure FDA00035220774500000613
其中，
Figure FDA00035220774500000614
步骤B42：对用户评论表征向量Hs进行位置权重加权，得到用户评论的位置加强的表征向量HPS，HPS表示为：
Figure FDA00035220774500000615
其中，
Figure FDA0003522077450000071
为用户评论s中第i个词对应的位置加强表征向量，“·”表示向量与实数的数乘，
Figure FDA0003522077450000072
为用户评论s中第i个词
Figure FDA0003522077450000073
所对应的位置权重，其计算方式如下：
Figure FDA0003522077450000074
其中，i＝1,2,...,n表示当前词的在句中的位置，τ表示方面a的第一个词在用户评论s中的位置，τ+m-1表示方面a的最后一个词在用户评论s中的位置；
步骤B43：将步骤B41得到的平均池化方面增强表征向量
Figure FDA0003522077450000075
与步骤B42得到的HPS进行连接，得到表征向量g0，
Figure FDA0003522077450000076
表示为：
Figure FDA0003522077450000077
其中，
Figure FDA0003522077450000078
为与用户评论s中第i个词相对应的输入到图卷积网络中的表征向量，i＝1,2,...,n，
Figure FDA0003522077450000079
表示为：
Figure FDA00035220774500000710
其中，
Figure FDA00035220774500000711
“；”表示向量连接操作。
7.根据权利要求6所述的基于知识图谱与交互图卷积的评论情感分析方法，其特征在于，所述步骤B5具体包括以下步骤：
步骤B51：对于依赖树图卷积网络DKGGCN，将子图节点表征向量GDKG,0输入第一层图卷积网络，利用邻接矩阵ADKG对每个子图节点的向量表示进行更新，输出GDKG,1，并作为下一层图卷积网络的输入；
其中，GDKG,1表示为：
Figure FDA00035220774500000712
其中，
Figure FDA00035220774500000713
是第1层图卷积网络中节点i的输出，
Figure FDA00035220774500000714
的计算公式如下：
Figure FDA0003522077450000081
Figure FDA0003522077450000082
其中，
Figure FDA0003522077450000083
为权重矩阵，
Figure FDA0003522077450000084
为偏置项；WDKG、bDKG均为可学习的参数；relu是激活函数；图卷积网络中的节点i与用户评论中的第i个词
Figure FDA0003522077450000085
相对应，图卷积网络中节点间的边代表词语间存在知识连接关系，di表示节点i的度，选择di+1作为除数是为了防止节点i的度为0导致运算出错，“；”表示向量连接操作；
步骤B52：对于评论句子图卷积网络SGCN，将评论句子表征向量GS,0输入第一层图卷积网络，利用邻接矩阵AS对每个词语的向量表示进行更新，输出GS,1，通过知识交互机制结合依赖树图卷积网络DKGGCN的第一层输出GDKG,1并生成下一层图卷积网络的输入GSD,1；
其中，GS,1，GSD,1分别表示为：
Figure FDA0003522077450000086
Figure FDA0003522077450000087
其中，
Figure FDA0003522077450000088
是第1层图卷积网络中节点i的输出，
Figure FDA0003522077450000089
的计算公式如下：
Figure FDA00035220774500000810
Figure FDA00035220774500000811
其中，
Figure FDA00035220774500000812
为权重矩阵，
Figure FDA00035220774500000813
为偏置项；WS、
Figure FDA00035220774500000814
均为可学习的参数；relu是激活函数；图卷积网络中的节点i与用户评论中的第i个词
Figure FDA00035220774500000815
相对应，图卷积网络中节点间的边代表用户评论中词语间的句法依赖关系，di表示节点i的度，选择di+1作为除数是为了防止节点i的度为0导致运算出错，“；”表示向量连接操作；
对于知识交互机制，首先对DKGGCN的第一层输出GDKG,1进行截断操作，保留当前用户评论句子中的词，得到了SGCN节点的第一层知识表示
Figure FDA0003522077450000091
接下来通过交互注意力机制将其与SGCN第一层输出GS,1结合，进一步获得具有知识的用户评论句子表征GSD,1；
其中，GSD,1表示为：
Figure FDA0003522077450000092
其中，
Figure FDA0003522077450000093
是SGCN第1层图卷积网络中节点i的通过交互机制的输出，
Figure FDA0003522077450000094
的计算公式如下：
Figure FDA0003522077450000095
Figure FDA0003522077450000096
Figure FDA0003522077450000097
其中，(·)T表示转置操作，αi是用户评论s中第i个词的有关知识的注意力权重；
步骤B53：分别将GDKG,1和GSD,1输入到DKGGCN和SGCN的下一层图卷积网络，重复步骤B51、B52；
其中，对于DKGGCN，将第k层图卷积网络的输出
Figure FDA0003522077450000098
作为第k+1层图卷积网络的输入，迭代结束后得到图卷积表征向量
Figure FDA0003522077450000099
对于SGCN，第k层图卷积网络的输出为
Figure FDA00035220774500000910
将GS,k通过与步骤B52所述相同的知识交互机制得到GSD，k，作为第k+1层图卷积网络的输入，迭代结束后得到图卷积表征向量
Figure FDA00035220774500000911
K为图卷积网络的层数，1≤k≤K。
8.根据权利要求7所述的基于知识图谱与交互图卷积的评论情感分析方法，其特征在于，所述步骤B6具体包括以下步骤：
步骤B61：对步骤B53得到的GS,K进行掩膜操作，屏蔽不属于方面词的图卷积输出，得到用户评论的图卷积掩膜表征向量Gmask，计算过程如下：
Gmask＝{0,...,gmask,τ,...,gmask,τ+m-1,...,0}
其中，0表示维度为2d的零向量，τ表示方面的第一个词在评论句子中的位置，gmask,τ表示方面的第一个词对应的表征向量，gmask,τ+m-1表示方面的最后一个词对应的表征向量；
步骤B62：将步骤B24得到的用户评论表征向量HS和步骤B61得到的用户评论的图卷积掩膜表征向量Gmask输入注意力网络，通过注意力网络选择重要的单词级信息，得到用户评论的句子级表征向量ESD，计算公式如下：
Figure FDA0003522077450000101
Figure FDA0003522077450000102
Figure FDA0003522077450000103
其中，(·)T表示转置操作，εi是用户评论s中第i个词的注意力权重。
9.根据权利要求8所述的基于知识图谱与交互图卷积的评论情感分析方法，其特征在于，所述步骤B7具体包括以下步骤：
步骤B71：选择能够整除d的整数N，对用户评论的句子级表征向量ESD和步骤B32得到的关系注意力句子表征向量ERA在最后一个维度上平均切分成N个子向量，得到子向量序列
Figure FDA0003522077450000104
和
Figure FDA0003522077450000105
其中
Figure FDA0003522077450000106
是句子级表征向量ESD的第h个子向量，
Figure FDA0003522077450000107
是关系注意力句子表征向量ERA的第h个子向量；
步骤B72：将句子级表征向量ESD的每个子向量和用户评论的句子级表征向量ew中对应的子向量构成一个子向量对，即
Figure FDA0003522077450000108
对每个子向量对单独使用注意力机制进行计算，然后进行拼接与降维，得到融合知识和边关系的用户评论的句子增强表征向量EMT，N为多头注意力机制的头数，多头注意力机制的计算过程如下：
lmt＝2l/N
Figure FDA0003522077450000111
Figure FDA0003522077450000112
其中，MHA表示多头注意力机制，Q、K、V表示多头注意力机制的输入向量，Q表示关系注意力句子表征向量ERA，K和V取相同值，均为词级注意力机制的输出ESD；
Figure FDA0003522077450000113
为对Q、K、V的第i个子向量对使用注意力机制计算得到的输出向量，N为子向量对的个数，即多头注意力机制的头数，
Figure FDA0003522077450000114
为多头注意力机制的训练参数，
Figure FDA0003522077450000115
Figure FDA0003522077450000116
Figure FDA0003522077450000117
是将输入向量Q、K、V转换为第i个子向量对的线性变换矩阵，lmt表示子向量最后一维的维度；
步骤B73：针对不规范句子对模型带来的噪声，将融合知识和边关系的用户评论的句子增强表征向量EMT输入门控函数过滤无关信息，得到向量ESDA，然后输入多层感知机MLP得到最终的句子表征向量EFIN；具体的计算过程如下：
Figure FDA0003522077450000118
Figure FDA0003522077450000119
10.一种采用如权利要求1-9任一项所述方法的评论情感分析系统，其特征在于，包括：
数据收集模块，用于提取用户评论、评论中方面词、方面词的位置信息，并对方面的情感极性进行标注，构建训练集；
预处理模块，用于对训练集中的训练样本进行预处理，包括分词处理、去除停用词、句法依存关系解析和依赖树知识图谱子图；
编码模块，用于在预训练的词向量矩阵中查找经过预处理的用户评论和方面增强中词的词向量，得到用户评论的初始表征向量和方面增强的初始表征向量，在预训练好的知识图谱词向量矩阵中查找依赖树知识图谱子图中节点的词向量，得到用户评论有关的依赖树知识图谱子图初始表征向量；
网络训练模块，用于将用户评论的初始表征向量、方面的初始表征向量和依赖树知识图谱子图初始表征向量输入到深度学习网络中，得到用户评论的最终表征向量并以此训练深度学习网络，利用该表征向量属于某一类别的概率以及训练集中的标注作为损失，以最小化损失为目标来对整个深度学习网络进行训练，得到基于知识图谱与交互图卷积网络的深度学习网络模型；以及
情感分析模块，利用NLP工具，提取输入的用户评论中的方面，之后利用训练好的基于知识图谱与交互图卷积网络的深度学习网络模型对输入的用户评论和方面进行分析处理，输出用户评论中涉及特定方面的情感评价极性。
CN202210182675.7A 2022-02-25 2022-02-25 基于知识图谱与交互图卷积的评论情感分析方法及系统 Pending CN114492459A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210182675.7A CN114492459A (zh) 2022-02-25 2022-02-25 基于知识图谱与交互图卷积的评论情感分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210182675.7A CN114492459A (zh) 2022-02-25 2022-02-25 基于知识图谱与交互图卷积的评论情感分析方法及系统

Publications (1)

Publication Number Publication Date
CN114492459A true CN114492459A (zh) 2022-05-13

Family

ID=81484266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210182675.7A Pending CN114492459A (zh) 2022-02-25 2022-02-25 基于知识图谱与交互图卷积的评论情感分析方法及系统

Country Status (1)

Country Link
CN (1) CN114492459A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115204183A (zh) * 2022-09-19 2022-10-18 华南师范大学 基于知识增强的双通道情感分析方法、装置以及设备
CN115905518A (zh) * 2022-10-17 2023-04-04 华南师范大学 基于知识图谱的情感分类方法、装置、设备以及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115204183A (zh) * 2022-09-19 2022-10-18 华南师范大学 基于知识增强的双通道情感分析方法、装置以及设备
CN115204183B (zh) * 2022-09-19 2022-12-27 华南师范大学 基于知识增强的双通道情感分析方法、装置以及设备
CN115905518A (zh) * 2022-10-17 2023-04-04 华南师范大学 基于知识图谱的情感分类方法、装置、设备以及存储介质
CN115905518B (zh) * 2022-10-17 2023-10-20 华南师范大学 基于知识图谱的情感分类方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN110059188B (zh) 一种基于双向时间卷积网络的中文情感分析方法
CN112667818B (zh) 融合gcn与多粒度注意力的用户评论情感分析方法及系统
CN111274398B (zh) 一种方面级用户产品评论情感分析方法及系统
CN113641820B (zh) 基于图卷积神经网络的视角级文本情感分类方法及系统
Roshanfekr et al. Sentiment analysis using deep learning on Persian texts
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN114492459A (zh) 基于知识图谱与交互图卷积的评论情感分析方法及系统
CN111291556A (zh) 基于实体义项的字和词特征融合的中文实体关系抽取方法
CN112784532B (zh) 用于短文本情感分类的多头注意力记忆系统
CN111985205A (zh) 一种方面级情感分类模型
CN113221571B (zh) 基于实体相关注意力机制的实体关系联合抽取方法
CN111966812A (zh) 一种基于动态词向量的自动问答方法和存储介质
CN112580328A (zh) 事件信息的抽取方法及装置、存储介质、电子设备
CN116204674B (zh) 一种基于视觉概念词关联结构化建模的图像描述方法
CN113128206B (zh) 基于单词重要性加权的问题生成方法
CN114881042B (zh) 基于图卷积网络融合句法依存与词性的中文情感分析方法
CN114330338A (zh) 融合关联信息的程式语识别系统及方法
CN113657123A (zh) 基于目标模板指导和关系头编码的蒙语方面级情感分析方法
CN114254645A (zh) 一种人工智能辅助写作系统
CN116383387A (zh) 一种基于事理逻辑的联合事件抽取方法
CN116028604A (zh) 一种基于知识增强图卷积网络的答案选择方法及系统
CN116661805A (zh) 代码表示的生成方法和装置、存储介质及电子设备
CN116579347A (zh) 一种基于动态语义特征融合的评论文本情感分析方法、系统、设备及介质
CN114638228A (zh) 一种基于词集自注意力的中文命名实体识别方法
CN114742069A (zh) 一种代码相似度检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination