CN115329073A - 一种基于注意力机制的方面级文本情感分析方法及系统 - Google Patents

一种基于注意力机制的方面级文本情感分析方法及系统 Download PDF

Info

Publication number
CN115329073A
CN115329073A CN202210916432.1A CN202210916432A CN115329073A CN 115329073 A CN115329073 A CN 115329073A CN 202210916432 A CN202210916432 A CN 202210916432A CN 115329073 A CN115329073 A CN 115329073A
Authority
CN
China
Prior art keywords
attention mechanism
text
weight
neural network
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210916432.1A
Other languages
English (en)
Inventor
孙雁飞
武长超
亓晋
许斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210916432.1A priority Critical patent/CN115329073A/zh
Publication of CN115329073A publication Critical patent/CN115329073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于注意力机制的方面级文本情感分析方法及系统。方法包括：对文本数据进行预处理，将预处理后的文本数据转换为包含上下文语境信息的词向量，将得到的词向量输入文本情感分析模型，输出得到文本情感倾向。文本情感分析模型包括若干神经网络单元、若干局部注意力机制单元、全局注意力机制单元、权重融合单元、全连接层和softmax层。本发明能够充分挖掘语义，同时兼顾局部和全局特征，使得模型能够高效地拟合，提升了模型准确率。

Description

一种基于注意力机制的方面级文本情感分析方法及系统
技术领域
本发明涉及自然语言处理领域，具体涉及一种基于注意力机制的方面级文本情感分析方法及系统。
背景技术
近些年来全球互联网行业得到快速发展，随着先进的数字化技术得到应用，我们可以看到网络上用户生成内容的大量增加，大量的文本数据得以生成。这些内容提供了人们对不同主题以及事物的意见。这一巨大变化也促进了文本情感分析这一研究领域的蓬勃发展。文本情感分析又称观点挖掘、倾向性分析，是人们对产品、服务、问题、事件以及主题等实体的观点、情感、态度及其属性的计算研究。情感分析可以跟踪公众对特定实体的情绪，以创建可操作的知识。此外，这种类型的知识还可以被用来理解、解释和预测社会现象，例如当某一政策发行之后，决策者可根据受众的情感倾向来及时调整相关政策，使得政策更加合理，实施更加顺利。情感分析目前已经成为自然语言处理(Natural LanguageProcessing,NLP)中最活跃的研究领域之一，也在数据挖掘，Web挖掘，文本挖掘和信息检索方面有广泛的应用。事实上，它已经从计算机科学蔓延到管理科学和社会科学，如市场营销，金融，政治学，通讯，医疗科学，甚至历史学，其重要的商业性引发了整个社会的共同关注。
近几年来，得益于计算机运算能力的大幅度提升，深度学习成为了研究热门，基于深度学习的情感分析算法也成为了学者们的主要研究对象。目前基于深度学习的情感分析方法大部分都是建立在卷积神经网络、循环神经网络、长短期记忆神经网络等基础神经网络的基础之上。相比于传统的情感分析方法，基于深度学习的情感分析方法极大地提高了分析效率，同时取得了较高的准确率，能够更好地满足客户的期望，达到客户的要求。但是目前对于文本的情感分析大都聚焦于篇章级以及句子级文本上面，对于方面级文本的情感分析研究甚少。由于人类语言内容相当丰富，一个篇章甚至一句话中通常包含多个方面多个实体，若只是在篇章级和语句级上面对文本进行整体的情感分析，难免会丢失大量信息，得出的结论甚至会与真实情况大相径庭。例如一个对于餐厅的评价：‘这家餐厅的服务态度很差，但菜品的口味非常好’，这个文本包含了两个情感截然不同的方面，需要得到分开考虑，如果采用句子级文本情感分析的话，只会对这一整句话给出一个情感倾向，丢失大量的信息。
文献《一种采用双向长短期记忆网络的方面级情感分析方法》(申请号：202011325337.1)公开了一种采用双向长短期记忆网络的方面级情感分析方法，包括：步骤1，进行数据清洗并使用word2vec将其词向量化；步骤2，建立带有方面感知的双向长短期记忆网络；步骤3，建立基于多重注意力模型的Encoder-Decoder模型；步骤4，情感极性分析，输出结果。该发明改善传统的情感分析算法中对不同方面情感分析的单一性及笼统型问题，更加准确的对用户评论中不同方面的情感极性进行判断。
但是，该技术未充分考虑文本的上下文语境，所采用的长短期记忆网络(LSTM)模型效率不高，具体缺点包括：1)所提出的方法没有数据预处理过程，无法去除图片动静态图等影响，导致其在实际应用场景中，效果不佳，准确率不高；2)仅仅使用一个双向LSTM网络里挖掘文本的隐藏信息，易遗漏大量关键信息，使得上下文语境信息利用不充分；3)所引入的Encoder-Decoder模型，无法兼顾局部与总体特征，没有误差修正，无法有效地对不同词向量分配合适的注意力，使得模型拟合效率低下，算力消耗大。
发明内容
本发明的目的在于提供一种基于注意力机制的方面级文本情感分析方法及系统，以解决目前情感分析技术无法充分利用文本的上下文信息，当前模型拟合效率低下，误差大，准确率不高等一个或多个问题。
为实现上述目的，本发明采用如下技术方案：
一方面，一种基于注意力机制的方面级文本情感分析方法，包括：
对文本数据进行预处理；
将预处理后的文本数据转换为包含上下文语境信息的词向量；
将得到的词向量输入文本情感分析模型，输出得到文本情感倾向；
其中，文本情感分析模型包括若干神经网络单元、若干局部注意力机制单元、全局注意力机制单元、权重融合单元、全连接层和softmax层，若干神经网络单元和若干局部注意力机制单元依次交替连接，全局注意力机制单元的输入连接第一级神经网络的输入和最后一级神经网络的输出，权重融合单元同时与各局部注意力机制单元和全局注意力机制单元连接。
进一步地，每个局部注意力机制单元根据上一级神经网络单元的输入与输出进行权重计算，输出带注意力的词向量，作为下一级神经网络单元的输入；
全局注意力机制单元根据第一级神经网络单元的输入与最后一级神经网络单元的输出进行权重计算，输出带全局注意力权重的词向量；
权重融合单元将各个局部注意力机制单元的权重和全局注意力机制单元的权重进行融合得到融合权重，融合权重与最后一级局部注意力机制单元的输出作乘积累加，输出对应的词向量，各词向量经融合后输入全连接层中；
经全连接层处理后的数据输入softmax层进行情感极性分类，输出得到文本情感倾向。
进一步地，所述若干神经网络单元中，前M个神经网络单元采用BiGRU网络，其余神经网络单元采用GCN网络，1≦M<N，N为神经网络单元的个数。
进一步地，所述对文本数据进行预处理，包括：
删除文本数据中的重复评论、表情符号和动静态图类评论，获得结构化文本数据。
进一步地，采用基于transformer的BERT预训练模型将预处理后的文本数据转换为包含上下文语境信息的词向量，具体包括：
采用BERT预训练模型对预处理后的文本数据进行词切割，将完整的句子切割成单个的字词；
对所获得的字词进行语义编码、位置编码和段落编码，得到包含上下文语境信息的词向量。
进一步地，所述每个局部注意力机制单元根据上一级神经网络单元的输入与输出进行权重计算，输出带注意力的词向量，作为下一级神经网络单元的输入，包括：
将上一级神经网络单元的输出和输入分别作为本级局部注意力机制单元中的query和key值，将两者做相似度计算操作再通过softmax操作得到各词向量注意力权重；
将各词向量注意力权重与本级局部注意力机制单元输入的词向量作乘积累加，输出带注意力的词向量。
进一步地，所述相似度的计算公式为：
Figure BDA0003775899950000051
其中，Query代表上一级神经网络单元的输出词向量，Keyj代表上一级神经网络单元输入的整体文本向量中的第j个词向量。
进一步地，所述softmax操作计算公式如下：
Figure BDA0003775899950000052
其中，wj代表文本中第j个词向量应该得到的注意力权重，Lx代表整个文本的长度，simj代表第j个词向量与当前词向量的相似程度。
进一步地，所述权重融合单元将各个局部注意力机制单元的权重和全局注意力机制单元的权重进行融合得到融合权重，计算公式如下：
Figure BDA0003775899950000061
其中，Wkend代表权重融合单元中第k个词向量对当前词向量的权重的大小，Lx代表着整个文本中词向量的大小，N代表着局部注意力机制单元数，Wkm代表着第k个词向量在第m个局部注意力机制单元上的权重，当m＝0时，wk0代表着第k个词向量在全局注意力机制单元中的权重，WkN代表着第k个词向量在最后一个局部注意力机制单元中的权重。
另一方面，一种基于注意力机制的方面级文本情感分析系统，包括：
文本预处理模块，对文本数据进行预处理；
词嵌入模块，将预处理后的文本数据转换为包含上下文语境信息的词向量；
情感分析模块，将得到的词向量输入文本情感分析模型，输出得到文本情感倾向；
其中，文本情感分析模型包括若干神经网络单元、若干局部注意力机制单元、全局注意力机制单元、权重融合单元、全连接层和softmax层，若干神经网络单元和若干局部注意力机制单元依次交替连接，全局注意力机制单元的输入连接第一级神经网络的输入和最后一级神经网络的输出，权重融合单元同时与各局部注意力机制单元和全局注意力机制单元连接。
与现有技术相比，本发明所达到的有益技术效果：
1)引入了文本预处理，避免了重复评论、无意义评论以及图片表情类评论对模型效率造成影响；2)使用BERT模型进行词嵌入，将文本数据转换成词向量形式，初步挖掘上下文语境信息，并采用基于BiGRU和图卷积神经网络的语义提取网络，进一步提取文本中存在的语义信息，确保每个词向量的语境信息都被编码，上下文信息得到充分挖掘，提升了模型准确率；3)将多级注意力机制以及全局注意力机制进行融合，使得模型能够兼顾局部和全局特征，充分挖掘语义，同时修正了误差，使得整个架构能够高效地拟合，从而提高了模型的事实准确率。
附图说明
图1是本发明的一种基于注意力机制的方面级文本情感分析方法流程图；
图2是本发明的文本情感分析模型示意图；
图3是本发明一具体实施例的整体网络模型示意图；
图4是本发明的一种基于注意力机制的方面级文本情感分析系统结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出其它创造性劳动前提下所获得的所有其它所有实施例，都属于本发明保护的范围。
如图1所示，一种基于注意力机制的方面级文本情感分析方法，包括：
步骤S1，对文本数据进行预处理；
多元异构文本数据通常掺杂着大量的非结构化的无用信息，为了防止重复无意义评论以及图片表情类评论对模型效率造成影响，需要对文本进行预处理，即删除重复评论，无意义评论以及图片表情类评论。
具体的，对文本数据中的用户id进行审查，若同一个用户id进行了多次评论且超过了所设阈值，则将其判定为恶意刷评，将该id所发表的评论数据进行删除。
对输入的文本数据进行初步扫描，识别表情符号的文本特征，将具有表情符号数据结构特征的数据进行标注，进一步对文本数据中出现的表情符号进行删除。
对输入的文本数据进行扫描，识别动静态图的文本特征，将具有动静态图数据结构特征的数据进行标注，进一步对文本数据中出现的动静态图进行删除。
步骤S2，将预处理后的文本数据转换为包含上下文语境信息的词向量；
通过文本预处理得到的文本数据，无法被模型识别，神经网络无法利用这些数据，需要把文本数据转化成为向量形式，这样才能够被神经网络利用。
在本实施例中，采用基于transformer的BERT预训练模型来完成词嵌入操作，将文本数据转换成为词向量数据。具体包括：
1)采用BERT模型将接受到的文本数据进行词切割，将完整的句子切割成单个的字词；
2)再对所获得的字词进行三重编码，根据字典语料库对每个词语进行向量表示，同时将每个词语的位置信息进行编码，并对词语的段落信息进行编码；
3)最终转换成语义编码，位置编码，段落编码的组合编码格式。设置固定的序列长度，不足的部分用“[PAD]”补充；
4)输入的文本数据每句话的开头第一个位置用“[CLS]”表示，每句话之间用“[SEP]”间隔开，然后经过多层注意力机制网络训练；
5)通过BERT预训练模型将中文字符转换为包含上下文语境信息的词向量。
步骤S3，将得到的词向量输入文本情感分析模型，输出得到文本情感倾向；
如图2和图3所示，文本情感分析模型，包括若干神经网络单元、若干局部注意力机制单元、全局注意力机制单元、权重融合单元、全连接层和softmax层，若干神经网络单元和若干局部注意力机制单元依次交替连接，全局注意力机制单元的输入连接第一级神经网络的输入和最后一级神经网络的输出，权重融合单元同时与各局部注意力机制单元和全局注意力机制单元连接。
根据一个实施例，若干神经网络单元中，前M个神经网络单元采用双向门控循环神经网络(BiGRU网络)，其余神经网络单元采用图卷积神经网络(GCN)，1≦M<N，N为神经网络单元的个数。
在通过步骤S2获得包含上下文语境信息的词向量之后，采用BiGRU神经网络来处理序列化的文本数据，并产生序列化的输出数据，来多层次地获得输入文本中隐藏的情感信息。对于输入文本中的每个词向量，都将其传入一个前向的GRU单元和一个后向的GRU单元中，然后将前向后向GRU单元计算的输出进行结合,得到双向GRU的输出。例如，对于处在文本序列位置t的某个词，使用隐藏状
态
Figure BDA0003775899950000102
表示由GRU计算的位置t之前的文本特征，使用隐藏状态
Figure BDA0003775899950000101
表示
由GRU计算的位置t之后的文本特征，用
Figure BDA0003775899950000103
表示位置t的上下文特征，并作为BiGRU网络单元的输出。
最后一级BiGRU输出的上下文特征输入GCN网络中，各节点间的信息用依存树来表示，将每个单词视为单个节点，并且其表示为节点特征，而将方面词视为方面词节点，用GCN网络来捕捉方面词节点与各词节点之间的信息。
步骤S301，每个局部注意力机制单元根据上一级神经网络单元的输入与输出进行权重计算，输出带注意力的词向量，作为下一级神经网络单元的输入。
结合图2所示，将上一级神经网络单元的输出和输入分别作为本级局部注意力机制单元中的query和key值，将两者做相似度计算操作再通过softmax操作得到相应的注意力分配权重，从而迫使本级神经网络忽视无关信息。
query与key值的相似性计算公式如公式(1)所示：
Figure BDA0003775899950000111
其中，Query代表上一级神经网络单元的输出词向量，Keyj代表上一级神经网络单元输入的整体文本向量中的第j个词向量，通过相似性计算，得到每个词向量对应的权重系数。
将得到的相似性进行归一化处理，使得数据更加标准。相似性的归一化公式如公式(2)所示：
Figure BDA0003775899950000112
其中，wj代表文本中第j个词向量应该得到的注意力权重，Lx代表整个文本的长度，simj代表第j个词向量与当前词向量的相似程度。
然后，将本级局部注意力机制单元的输入词向量进行加权，即可得到带注意力的词向量，其计算如公式(3)所示：
Figure BDA0003775899950000113
其中Attentioni代表着本级局部注意力机制单元输出的第i个词向量，valuej代表着输入该局部注意力机制单元的第j个词向量，wj代表着输入该局部注意力机制单元的第j个词向量的注意力权重系数。
步骤S302，全局注意力机制单元根据第一级神经网络单元的输入与最后一级神经网络单元的输出进行权重计算，输出带全局注意力权重的词向量。
结合图2所示，将第一级神经网络单元的输入向量作为全局注意力机制单元中的key值，最后一级神经网络单元的输出向量作为全局注意力机制单元中的query，两者进行相似度计算，再通过softmax操作得到相应的全局注意力分配权重。
步骤S303，权重融合单元将各个局部注意力机制单元的权重和全局注意力机制单元的权重进行融合得到融合权重，融合权重与最后一级局部注意力机制单元的输出作乘积累加，输出对应的词向量，各词向量经融合后输入全连接层中。
如图2所示，在最后一级融合注意力机制单元中，加入全局注意力，对最后一级神经网络输出进行修正，同时引入各级注意力权重系数，以进一步顾及全局语义，综合考虑各级注意力分配权重，优化输出向量。各级局部注意力机制单元权重和全局注意力机制单元权重的融合如公式(4)所示：
Figure BDA0003775899950000121
其中，Wkend代表权重融合单元中第k个词向量对当前词向量的影响力大小，也就是权重的大小。Lx代表整个文本中词向量的大小，N代表着整个网络架构中存在的各级局部注意力机制单元数，Wkm代表第k个词向量在第m个注意力机制单元上的权重，当m＝0时，wk0代表第k个词向量在全局注意力机制单元中的权重。WkN代表着最后一个注意力机制单元自身的权重。
步骤S304，经全连接层处理后的数据输入softmax层进行情感极性分类，输出得到文本情感倾向。
下面给出具体实施例，在本实施例中，文本情感分析模型包含1个BiGRU网络单元、1个GCN网络单元和2级局部注意力机制单元，如图3所示。
实施例背景为：某餐馆为了了解自家餐馆不足的地方，故从相关点评网站获得用户对该餐馆的评论文本数据，利用本发明来提取出用户对餐馆各方面的好评与否，例如，口味，上菜时间，服务态度，餐馆硬件等方面，以求改进。
(1)从相关餐饮购物平台获得餐馆评论初始文本数据，对餐馆评论文本数据中的用户id进行审查，若同一个用户id对同一方面进行了多次评论且超过了所设阈值，则将其判定为恶意刷评，将该id所发表的评论数据进行删除，去重用户恶意刷屏所带来的影响。
(2)对输入的餐馆文本数据进行初步扫描，识别表情符号的文本特征，将具有表情符号数据结构特征的数据进行标注，进一步对文本数据中出现的表情符号进行删除，去除表情符号所带来的文本情感歧义。
(3)对输入的餐馆文本数据进行扫描，识别动静态图的文本特征，将具有动静态图数据结构特征的数据进行标注，进一步对文本数据中出现的动静态图进行删除，去除用户评论的动静态图。初始文本数据在经过文本预处理模块之后，被初步重构为结构化文本数据。
(4)使用基于transformer的BERT预训练模型，将结构化文本数据以语义编码、位置编码、段落编码，三重编码的形式进行编码，将文本数据转化为包含上下文语境信息的词向量数据，将给定的长度为Lx的文本序列转换成为向量形式：
Figure BDA0003775899950000141
其中方面词序列为
Figure BDA0003775899950000142
dm代表着词向量的嵌入维度。
(5)将从BERT预训练模型输出的词向量输入至语义提取网络模型，先通过BIGRU网络，得到双向GRU的输出。对于处在文本序列位置t的某个词，使用隐藏状态
Figure BDA0003775899950000143
表示由GRU计算的位置t之前的文本特征，使用隐藏状态
Figure BDA0003775899950000144
表示由GRU计算的位置t之后的文本特征，用
Figure BDA0003775899950000145
表示位置t的上下文特征，并作为BiGRU网络的输出。以多层次地挖掘词向量中隐藏的语境信息。
(6)将BiGRU网络的输入向量作为第一级局部注意力机制单元的key，BiGRU层的输出向量作为query，进行相似度计算，得到文本中第j个词向量与当前第i个词向量的相似度simj，然后将各词的相似度进行归一化操作，就得到了本级注意力机制单元的各词向量注意力权重wj，而后将其与对应的词向量valuej作乘积累加，得到带注意力的词向量Attentioni。
(7)将第一级注意力机制单元输出的带注意力的文本向量，输入至GCN网络来捕捉方面词节点(图表由依存树表示，其中每个单词被视为单个节点，并且其表示为节点特征，而方面词视为方面词节点)，以及其相邻的节点之间的语法关系。在节点上的图卷积操作可以表示为下面公式
Figure BDA0003775899950000151
其中Ei是GCN层的输出，h表示第一级注意力机制单元的输出词向量，tanh为激活函数，W为需要学习的网络权重，b为需要学习的误差参数，βij表示的是句子中的第i个字词与第j个字词在依存树中是否相邻。
(8)与步骤(6)类似，将GCN网络的输入向量作为第二级局部注意力机制单元的key，GCN网络的输出向量作为第二级局部注意力机制单元的query，进行相似度计算，得到文本中第j个词向量与当前第i个词向量的相似度simj，然后将各词的相似度进行归一化操作，就得到了本注意力机制单元的各词向量注意力权重wj，而后将其与对应的词向量valuej作乘积累加，得到带注意力的词向量Attentioni。
(9)将第一级局部注意力机制单元的注意力权重、第二级局部注意力机制单元的注意力权重进行融合，使得模型能够兼顾局部和全局特征，充分挖掘语义，同时加入全局注意力权重，对末端注意力机制单元进行修正，以进一步顾及全局语义，综合考虑各级注意力分配权重，优化输出向量。
(10)最后通过全连接网络以及softmax层，得到用户关于该餐馆各个方面的情感倾向。
(11)对所有有效评论进行分析，得出所有用户对餐馆各个方面的好评差评占比。
(12)餐馆管理人员根据用户对餐馆各个方面的情感倾向占比进行评估，对不足的方面做出改进，例如进行培训提升服务员素质，聘请高级厨师提升菜肴口味等。
如图4所示，一种基于注意力机制的方面级文本情感分析系统，包括：
文本预处理模块，对文本数据进行预处理；
词嵌入模块，将预处理后的文本数据转换为包含上下文语境信息的词向量；
情感分析模块，将得到的词向量输入文本情感分析模型，输出得到文本情感倾向；
其中，文本情感分析模型包括若干神经网络单元、若干局部注意力机制单元、全局注意力机制单元、权重融合单元、全连接层和softmax层，若干神经网络单元和若干局部注意力机制单元依次交替连接，全局注意力机制单元的输入连接第一级神经网络的输入和最后一级神经网络的输出，权重融合单元同时与各局部注意力机制单元和全局注意力机制单元连接。
本发明通过引入文本预处理，避免了重复评论、无意义评论以及图片表情类评论对模型效率造成影响；使用BERT模型进行词嵌入，将文本数据转换成词向量形式，初步挖掘上下文语境信息，并采用基于BiGRU和图卷积神经网络的语义提取网络，进一步提取文本中存在的语义信息，确保每个词向量的语境信息都被编码，上下文信息得到充分挖掘，提升了模型准确率；将多级注意力机制以及全局注意力机制进行融合，使得模型能够兼顾局部和全局特征，充分挖掘语义，同时修正了误差，使得整个架构能够高效地拟合，从而提高了模型的事实准确率。
以上已以较佳实施例公布了本发明，然其并非用以限制本发明，凡采取等同替换或等效变换的方案所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于注意力机制的方面级文本情感分析方法，其特征在于，包括：
对文本数据进行预处理；
将预处理后的文本数据转换为包含上下文语境信息的词向量；
将得到的词向量输入文本情感分析模型，输出得到文本情感倾向；
其中，文本情感分析模型包括若干神经网络单元、若干局部注意力机制单元、全局注意力机制单元、权重融合单元、全连接层和softmax层，若干神经网络单元和若干局部注意力机制单元依次交替连接，全局注意力机制单元的输入连接第一级神经网络的输入和最后一级神经网络的输出，权重融合单元同时与各局部注意力机制单元和全局注意力机制单元连接。
2.根据权利要求1所述的一种基于注意力机制的方面级文本情感分析方法，其特征在于，每个局部注意力机制单元根据上一级神经网络单元的输入与输出进行权重计算，输出带注意力的词向量，作为下一级神经网络单元的输入；
全局注意力机制单元根据第一级神经网络单元的输入与最后一级神经网络单元的输出进行权重计算，输出带全局注意力权重的词向量；
权重融合单元将各个局部注意力机制单元的权重和全局注意力机制单元的权重进行融合得到融合权重，融合权重与最后一级局部注意力机制单元的输出作乘积累加，输出对应的词向量，各词向量经融合后输入全连接层中；
经全连接层处理后的数据输入softmax层进行情感极性分类，输出得到文本情感倾向。
3.根据权利要求1所述的一种基于注意力机制的方面级文本情感分析方法，其特征在于，所述若干神经网络单元中，前M个神经网络单元采用BiGRU网络，其余神经网络单元采用GCN网络，1≦M<N，N为神经网络单元的个数。
4.根据权利要求1所述的一种基于注意力机制的方面级文本情感分析方法，其特征在于，所述对文本数据进行预处理，包括：
删除文本数据中的重复评论、表情符号和动静态图类评论，获得结构化文本数据。
5.根据权利要求1所述的一种基于注意力机制的方面级文本情感分析方法，其特征在于，采用基于transformer的BERT预训练模型将预处理后的文本数据转换为包含上下文语境信息的词向量，具体包括：
采用BERT预训练模型对预处理后的文本数据进行词切割，将完整的句子切割成单个的字词；
对所获得的字词进行语义编码、位置编码和段落编码，得到包含上下文语境信息的词向量。
6.根据权利要求2所述的一种基于注意力机制的方面级文本情感分析方法，其特征在于，所述每个局部注意力机制单元根据上一级神经网络单元的输入与输出进行权重计算，输出带注意力的词向量，作为下一级神经网络单元的输入，包括：
将上一级神经网络单元的输出和输入分别作为本级局部注意力机制单元中的query和key值，将两者做相似度计算操作再通过softmax操作得到各词向量注意力权重；
将各词向量注意力权重与本级局部注意力机制单元输入的词向量作乘积累加，输出带注意力的词向量。
7.根据权利要求6所述的一种基于注意力机制的方面级文本情感分析方法，其特征在于，所述相似度的计算公式为：
Figure FDA0003775899940000031
其中，Query代表上一级神经网络单元的输出词向量，Keyj代表上一级神经网络单元输入的整体文本向量中的第j个词向量。
8.根据权利要求6所述的一种基于注意力机制的方面级文本情感分析方法，其特征在于，所述softmax操作计算公式如下：
Figure FDA0003775899940000032
其中，wj代表文本中第j个词向量应该得到的注意力权重，Lx代表整个文本的长度，simj代表第j个词向量与当前词向量的相似程度。
9.根据权利要求2所述的一种基于注意力机制的方面级文本情感分析方法，其特征在于，所述权重融合单元将各个局部注意力机制单元的权重和全局注意力机制单元的权重进行融合得到融合权重，计算公式如下：
Figure FDA0003775899940000041
其中，Wkend代表权重融合单元中第k个词向量对当前词向量的权重的大小，Lx代表着整个文本中词向量的大小，N代表着局部注意力机制单元数，Wkm代表着第k个词向量在第m个局部注意力机制单元上的权重，当m＝0时，wk0代表着第k个词向量在全局注意力机制单元中的权重，WkN代表着第k个词向量在最后一个局部注意力机制单元中的权重。
10.一种基于注意力机制的方面级文本情感分析系统，其特征在于，包括：
文本预处理模块，对文本数据进行预处理；
词嵌入模块，将预处理后的文本数据转换为包含上下文语境信息的词向量；
情感分析模块，将得到的词向量输入文本情感分析模型，输出得到文本情感倾向；
其中，文本情感分析模型包括若干神经网络单元、若干局部注意力机制单元、全局注意力机制单元、权重融合单元、全连接层和softmax层，若干神经网络单元和若干局部注意力机制单元依次交替连接，全局注意力机制单元的输入连接第一级神经网络的输入和最后一级神经网络的输出，权重融合单元同时与各局部注意力机制单元和全局注意力机制单元连接。
CN202210916432.1A 2022-08-01 2022-08-01 一种基于注意力机制的方面级文本情感分析方法及系统 Pending CN115329073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210916432.1A CN115329073A (zh) 2022-08-01 2022-08-01 一种基于注意力机制的方面级文本情感分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210916432.1A CN115329073A (zh) 2022-08-01 2022-08-01 一种基于注意力机制的方面级文本情感分析方法及系统

Publications (1)

Publication Number Publication Date
CN115329073A true CN115329073A (zh) 2022-11-11

Family

ID=83920661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210916432.1A Pending CN115329073A (zh) 2022-08-01 2022-08-01 一种基于注意力机制的方面级文本情感分析方法及系统

Country Status (1)

Country Link
CN (1) CN115329073A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205222A (zh) * 2023-05-06 2023-06-02 南京邮电大学 一种基于多通道注意力融合的方面级情感分析系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116205222A (zh) * 2023-05-06 2023-06-02 南京邮电大学 一种基于多通道注意力融合的方面级情感分析系统及方法

Similar Documents

Publication Publication Date Title
CN110119786B (zh) 文本话题分类方法及装置
CN110019812B (zh) 一种用户自生产内容检测方法和系统
CN110929587B (zh) 一种基于层次注意力机制的双向重构网络视频描述方法
CN111753024B (zh) 一种面向公共安全领域的多源异构数据实体对齐方法
CN110795641B (zh) 基于表示学习的网络谣言传播控制方法
CN110826337A (zh) 一种短文本语义训练模型获取方法及相似度匹配算法
CN111858932A (zh) 基于Transformer的多重特征中英文情感分类方法及系统
CN111382565A (zh) 基于多标签的情绪-原因对抽取方法及系统
CN114048350A (zh) 一种基于细粒度跨模态对齐模型的文本-视频检索方法
CN114444516B (zh) 一种基于深度语义感知图卷积网络的粤语谣言检测方法
CN109815485B (zh) 一种微博短文本情感极性识别的方法、装置及存储介质
CN113657115B (zh) 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法
CN110909529B (zh) 一种公司形象提升系统的用户情感分析和预判系统
CN112199606B (zh) 一种基于层次用户表示的面向社交媒体的谣言检测系统
CN113626589A (zh) 一种基于混合注意力机制的多标签文本分类方法
CN111858933A (zh) 基于字符的层次化文本情感分析方法及系统
CN115329073A (zh) 一种基于注意力机制的方面级文本情感分析方法及系统
CN113627550A (zh) 一种基于多模态融合的图文情感分析方法
CN116522165A (zh) 一种基于孪生结构的舆情文本匹配系统及方法
CN116775855A (zh) 基于Bi-LSTM的TextRank中文摘要自动生成方法
CN113741759B (zh) 评论信息的展示方法、装置、计算机设备和存储介质
CN111813927A (zh) 一种基于主题模型和lstm的句子相似度计算方法
CN113673222B (zh) 基于双向协同网络的社交媒体文本细粒度情感分析方法
Thanarattananakin et al. Spam detection using word embedding-based LSTM
CN113255360A (zh) 基于层次化自注意力网络的文档评级方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination