CN111274396B - 一种基于外部知识的视角级文本情感分类方法及系统 - Google Patents

一种基于外部知识的视角级文本情感分类方法及系统 Download PDF

Info

Publication number
CN111274396B
CN111274396B CN202010062565.8A CN202010062565A CN111274396B CN 111274396 B CN111274396 B CN 111274396B CN 202010062565 A CN202010062565 A CN 202010062565A CN 111274396 B CN111274396 B CN 111274396B
Authority
CN
China
Prior art keywords
text
word
vector
external knowledge
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010062565.8A
Other languages
English (en)
Other versions
CN111274396A (zh
Inventor
廖祥文
邓立明
陈甘霖
梁少斌
陈开志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010062565.8A priority Critical patent/CN111274396B/zh
Publication of CN111274396A publication Critical patent/CN111274396A/zh
Application granted granted Critical
Publication of CN111274396B publication Critical patent/CN111274396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于外部知识的视角级文本情感分类方法及系统，包括步骤：对视角级文本进行特征化处理，并捕获文本的双向语义依赖关系；通过动态注意力机制将当前单词与外部知识同义词相结合，并引入哨兵向量避免外部知识对模型的误导；通过位置注意力机制来判断每个单词对视角词的贡献程度；通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示；利用分类函数得到最终的情感分类结果。本发明能够提高视角级文本情感分类的性能和降低资源的消耗。

Description

一种基于外部知识的视角级文本情感分类方法及系统
技术领域
本发明涉及文档情感分析和观点挖掘以及机器学习领域，特别是一种基于外部知识的视角级文本情感分类方法及系统。
背景技术
视角级文本情感分析旨在研究评论文本关于给定视角词的情感极性，以便能提供比文档级或句子级的情感分析更全面、深入和细粒度的分析，可以广泛地应用于产品定价、竞争情报、股市预测等领域,为人们提供便捷自动化的工具，提升互联网信息的利用率。然而，用户情感表达在不同的视角情况下有不同的表现。如图1，文本中有两个视角词“size”和“space”，该文本对于视角词“size”而言表现出来的情感极性为积极的，而对于视角词“space”而言表现出来的情感极性为消极的。然而以句子为导向的文本情感分析分析安发发无法捕捉到针对视角词的中细粒度情感。为了解决这个问题，研究人员提出了各种视角级文本情感分析的方法。
目前视角级文本情感分析研究主要分为基于词典的方法、基于传统机器学习的方法和基于神经网络的学习方法：
基于情感词典的视角级文本情感分析方法需要一个人工构建的情感词典，然后使用句法分析树来判断句子在不同视角词下的情感极性。目前有研究人员将句子分块以便句子中的某个视角与各分块对应，然后通过情感词典来判断各分块的情感极性，从而判断句子在不同的视角下的不同情感极性，虽然该方法能够较好的判断文本在不同视角词下的情感极性，但是随着互联网技术的不断发展，词典的更新速度远远不及网络用语等的发展，因此有研究人员通过视角词与文本中的相关信息，自动提取出情感词及相关主题信息，在一定程度上降低了对情感词典的依赖程度。
基于传统机器学习的视角级文本情感分析方法通过有监督学习的方法筛选出文本重要的特征，然后利用机器学习的方法来构建多类情感分类器，从而实现文本的自动化分类。研究人员提出一种基于基尼指数的支持向量机(SupportVector Machine，SVM)特征选择方法，该方法通过计算基于基尼系数的属性相关性并相应的分配权重，从而解决TF-IDF降低分类精度的问题。该类方法虽能在视角级文本情感分析领域取得一定的效果，但是需要耗费大量的人力、物力和资源来设计语义和语法特征，极大程度依赖于这些特征，且模型的泛化能力较差。
基于神经网络的视角级文本情感分析方法通过融合原始特征以便利用多个隐藏层来生成新的文本表示。研究人员提出一种自适应递归神经网络(Adaptive RecursiveNeural Network,AdaRNN)对情感词向特定视角词的自适应传播建模，该过程完全取决于语法依赖树，但是该方法可能会因为是非标准文本而不起作用。研究人员提出利用注意力机制和记忆网络模型来解决上述问题，通过双向长短时记忆网络并结合位置信息来构造记忆块，然后计算多重注意力的结果，最后利用门限控制单元进行非线性的结合来进行视角级文本情感分类，该类方法虽然能够更好地处理复杂的句子，但是对文本中单词在不同语境下可能有不同含义欠缺考虑。
发明内容
有鉴于此，本发明的目的是提出一种基于外部知识的视角级文本情感分类方法及系统，能够提高视角级文本情感分类的性能和降低资源的消耗。
本发明采用以下方案实现：一种基于外部知识的视角级文本情感分类方法，具体包括以下步骤：
对视角级文本进行特征化处理，捕获文本的双向语义依赖关系，得到具有双向语义依赖关系的单词的向量表示；
通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导，得到与外部知识结合的单词向量表示；
通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容；
通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示；
利用分类函数得到最终的情感分类结果。
进一步地，所述对视角级文本进行特征化处理具体包括以下步骤：
步骤S11：对视角级文本进行分词处理；
步骤S12：通过Glove来将文本数据从文本形式转换成向量形式；
步骤S13：采用前向长短时记忆网络Forward-LSTM和反向长短时记忆网络Backward-LSTM捕捉文本的双向的语义依赖，得到具有双向语义依赖关系的单词向量表示。
进一步地，步骤S13中，t时刻Forward-LSTM或者Backward-LSTM更新过程如下：
Figure GDA0003567345860000041
Figure GDA0003567345860000042
Figure GDA0003567345860000043
Figure GDA0003567345860000044
Figure GDA0003567345860000045
Figure GDA0003567345860000046
式中，it、ft、ot、
Figure GDA0003567345860000047
分别表示t时刻的输入门、遗忘门、输出门和记忆单元的激活向量，
Figure GDA0003567345860000048
表示候选向量，
Figure GDA0003567345860000049
表示模型第l层隐藏层的输出向量，Wi、Wf、Wo、Wc、Ui、Uf、Uo、Uc分别表示模型的输入门、遗忘门、输出门和记忆单元在l层关于输入向量和隐藏层向量的模型参数。
步骤S13采用两层的BiLSTM堆叠而成，每层BiLSTM均包括Forward-LSTM与Backward-LSTM，将两层的BiLSTM的隐藏层的输出向量作为得到的具有双向语义依赖关系的单词的向量表示：
Figure GDA00035673458600000410
式中，
Figure GDA00035673458600000411
表示第i个单词vi所对应的向量表示，
Figure GDA00035673458600000412
进一步地，通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导具体包括以下步骤：
步骤S21：通过下式计算哨兵向量st：
Figure GDA0003567345860000051
式中，σ表示logistic sigmoid函数，Wb、Ub分别表示要学习的权重参数矩阵，xt表示当前输入的文本内容，
Figure GDA0003567345860000052
表示上一隐藏状态的输出；
步骤S22：通过下式计算同义词向量tk与哨兵向量st的注意权重：
Figure GDA0003567345860000053
Figure GDA0003567345860000054
其中，
Figure GDA0003567345860000055
Figure GDA0003567345860000056
式中，tkb、skb、bt、bs表示模型需要学习的权重参数向量，Wt、Ws、Wht、Whs表示模型需要学习的权重参数矩阵；
步骤S23：通过下式计算结合外部知识的单词向量表示
Figure GDA0003567345860000057
Figure GDA0003567345860000058
Figure GDA0003567345860000059
进一步地，所述通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容具体为：
步骤S31：将上下文单词与视角词之间的单词数定义为二者的位置距离；将第i个单词对视角词的贡献程度定义为第i个单词的位置权重wi，计算如下式所示，位置权重越大，该单词对视角词的贡献程度越大：
Figure GDA0003567345860000061
式中，t表示视角词的位置，tmax表示输入文本的单词总数；
步骤S32：通过下式计算融合位置注意力权重的记忆内容mi：
Figure GDA0003567345860000062
式中，
Figure GDA0003567345860000063
为与外部知识结合的单词向量表示。
进一步地，所述通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示具体包括以下步骤：
步骤S41：计算每个记忆内容mj的注意力得分：
Figure GDA0003567345860000064
其中，
Figure GDA0003567345860000065
Figure GDA0003567345860000066
式中，
Figure GDA0003567345860000071
表示本轮的注意力得分，et-1表示门限循环单元第t-1层的输出向量，vt表示视角词向量，Wt AL表示模型需要学习的权重参数矩阵，
Figure GDA0003567345860000072
表示模型需要学习的权重参数向量；
步骤S42：利用门限控制单元根据注意力得分更新每一层的输出向量et：
Figure GDA0003567345860000073
其中，
Figure GDA0003567345860000074
Figure GDA0003567345860000075
Figure GDA0003567345860000076
其中Wr、WZ、Wg、Ur、UZ、Wx为模型需要学习的权重参数矩阵；通过将上一轮的计算结果et-1与本轮的注意力得分it AL非线性地结合，将最后一层的输出向量et作为文本情感特征表示；
进一步地，所述利用分类函数得到最终的情感分类结果具体为：利用softmax分类函数对得到的文本情感特征表示逐一计算，根据设定的阈值得到对应文本表示的情感类别预测值。
本发明还提供了一种基于上文所述的基于外部知识的视角级文本情感分类方法的系统，包括文本预处理模块、文本语义信息获取模块、知识模块、加权注意力机制模块、循环注意力模块以及情感类别输出模块；
所述文本预处理模块用于视角级文本进行特征化处理；
所述文本语义信息获取模块用于捕获文本的双向语义依赖关系；
所述知识模块通过动态注意力机制将当前单词与外部知识同义词相结合，并通过引入一个哨兵向量来避免外部知识对模型的误导；
所述加权注意力机制模块通过位置注意力机制来判断每个单词对视角词的贡献程度；
所述循环注意力模块从加权注意力机制模块中选取记忆内容进行计算注意力结果，利用多层门限控制单元将注意力结果与视角词进行非线性结合构建文本的情感特征表示；利用门限循环单元在每个记忆内容的注意力得分计算后更新每一层的情感特征表示，并将最后一层表示作为最终情感特征表示；
所述情感类别输出模块，利用分类函数得到最终的情感分类结果。
进一步地，在整个模型的训练阶段，利用训练集文本表示进行情感类别的预测并计算其与实际情感标签的误差，利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；模型训练完成后，对测试集文本表示进行情感类别的预测，并输出预测值。
与现有技术相比，本发明有以下有益效果：本发明能够自动捕获枢轴和非枢轴特征，并通过BiLSTM捕获文本的双向语义依赖，采用分层注意力转移机制，最终识别出目标领域文本的情感类别。本发明能够提高视角级文本情感分类的性能和降低资源的消耗。
附图说明
图1为本发明实施例的文本不同视角词的情感极性样例。
图2为本发明实施例的系统框架示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图2所示，本实施例提供了一种基于外部知识的视角级文本情感分类方法，包括以下步骤：
对视角级文本进行特征化处理，捕获文本的双向语义依赖关系，得到具有双向语义依赖关系的单词的向量表示；
通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导，得到与外部知识结合的单词向量表示；
通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容；
通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示；
利用分类函数得到最终的情感分类结果。
较佳的，在模型的训练阶段，根据信息的前向传播和误差的后向传播将不断地对他们进行调整，逐步优化目标函数。
在本实施例中，由于神经网络的输入数据一般为向量，以便模型的端到端训练，因此需要对文本数据进行向量化表示。为了便于数据的处理和分析，所述对视角级文本进行特征化处理具体包括以下步骤：
步骤S11：对视角级文本进行分词处理；
步骤S12：通过Glove来将文本数据从文本形式转换成向量形式。
步骤S13：采用前向长短时记忆网络Forward-LSTM和反向长短时记忆网络Backward-LSTM捕捉文本的双向的语义依赖，得到具有双向语义依赖关系的单词向量表示。
进一步地，步骤S13中，t时刻Forward-LSTM或者Backward-LSTM更新过程如下：
Figure GDA0003567345860000101
Figure GDA0003567345860000102
Figure GDA0003567345860000103
Figure GDA0003567345860000111
Figure GDA0003567345860000112
Figure GDA0003567345860000113
式中，it、ft、ot、
Figure GDA0003567345860000114
分别表示t时刻的输入门、遗忘门、输出门和记忆单元的激活向量，
Figure GDA0003567345860000115
表示候选向量，
Figure GDA0003567345860000116
表示模型第l层隐藏层的输出向量，Wi、Wf、Wo、Wc、Ui、Uf、Uo、Uc分别表示模型的输入门、遗忘门、输出门和记忆单元在l层关于输入向量和隐藏层向量的模型参数。
步骤S13采用两层的BiLSTM堆叠而成，每层BiLSTM均包括Forward-LSTM与Backward-LSTM，将两层的BiLSTM的隐藏层的输出向量作为得到的具有双向语义依赖关系的单词的向量表示：
Figure GDA0003567345860000117
式中，
Figure GDA0003567345860000118
表示第i个单词vi所对应的向量表示，
Figure GDA0003567345860000119
在本实施例中，由于在不同语境下一个单词可能表现出不同的语义信息，特别是当我们专注于一个特定的任务时，例如情感分类。所述通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导具体包括以下步骤：
步骤S21：通过下式计算哨兵向量st：
Figure GDA00035673458600001110
式中，σ表示logistic sigmoid函数，Wb、Ub分别表示要学习的权重参数矩阵，xt表示当前输入的文本内容，
Figure GDA0003567345860000121
表示上一隐藏状态的输出；
步骤S22：通过下式计算同义词向量tk与哨兵向量st的注意权重：
Figure GDA0003567345860000122
Figure GDA0003567345860000123
其中，
Figure GDA0003567345860000124
Figure GDA0003567345860000125
式中，tkb、skb、bt、bs表示模型需要学习的权重参数向量，Wt、Ws、Wht、Whs表示模型需要学习的权重参数矩阵；
步骤S23：通过下式计算结合外部知识的单词向量表示
Figure GDA0003567345860000126
Figure GDA0003567345860000127
Figure GDA0003567345860000128
在本实施例中，所述通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容具体为：每个单词对文本的语义含义没有同等的贡献，因此将位置注意力引入到每个单词进行加权。一个上下文单词若更靠近视角词则比远离视角词的上下文单词更加重要，对视角级情感分类起到的作用更大。
步骤S31：将上下文单词与视角词之间的单词数定义为二者的位置距离；第i个单词的位置权重wi计算如下式所示，位置权重越大，该单词对视角词的贡献程度越大：
Figure GDA0003567345860000131
式中，t表示视角词的位置，tmax表示输入文本的单词总数；
步骤S32：通过下式计算融合位置注意力权重的记忆内容mi：
Figure GDA0003567345860000132
式中，
Figure GDA0003567345860000133
为与外部知识结合的单词向量表示。
在本实施例中，所述通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示具体包括以下步骤：
步骤S41：计算每个记忆内容mj的注意力得分：
Figure GDA0003567345860000134
其中，
Figure GDA0003567345860000135
Figure GDA0003567345860000136
式中，
Figure GDA0003567345860000137
表示本轮的注意力得分，et-1表示门限循环单元第t-1层的输出向量，vt表示视角词向量，Wt AL表示模型需要学习的权重参数矩阵，
Figure GDA0003567345860000138
表示模型需要学习的权重参数向量；
步骤S42：利用门限控制单元根据注意力得分更新每一层的输出向量et：
Figure GDA0003567345860000141
其中，
Figure GDA0003567345860000142
Figure GDA0003567345860000143
Figure GDA0003567345860000144
其中Wr、WZ、Wg、Ur、UZ、Wx为模型需要学习的权重参数矩阵；通过将上一轮的计算结果et-1与本轮的注意力得分
Figure GDA0003567345860000145
非线性地结合，将最后一层的输出向量et作为文本情感特征表示；
在本实施例中，所述利用分类函数得到最终的情感分类结果具体为：利用softmax分类函数对得到的文本情感特征表示逐一计算，根据设定的阈值得到对应文本表示的情感类别预测值。
本实施例还提供了一种基于上文所述的基于外部知识的视角级文本情感分类方法的系统，包括文本预处理模块、文本语义信息获取模块、知识模块、加权注意力机制模块、循环注意力模块以及情感类别输出模块；
所述文本预处理模块用于视角级文本进行特征化处理；
所述文本语义信息获取模块用于捕获文本的双向语义依赖关系；
所述知识模块通过动态注意力机制将当前单词与外部知识同义词相结合，并通过引入一个哨兵向量来避免外部知识对模型的误导；
所述加权注意力机制模块通过位置注意力机制来判断每个单词对视角词的贡献程度；
所述循环注意力模块从加权注意力机制模块中选取记忆内容进行计算注意力结果，利用多层门限控制单元将注意力结果与视角词进行非线性结合构建文本的情感特征表示；利用门限循环单元在每个记忆内容的注意力得分计算后更新每一层的情感特征表示，并将最后一层表示作为最终情感特征表示；
所述情感类别输出模块，利用分类函数得到最终的情感分类结果。
在本实施例中，在整个模型的训练阶段，利用训练集文本表示进行情感类别的预测并计算其与实际情感标签的误差，利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；模型训练完成后，对测试集文本表示进行情感类别的预测，并输出预测值。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.一种基于外部知识的视角级文本情感分类方法，其特征在于，包括以下步骤：
对视角级文本进行特征化处理，捕获文本的双向语义依赖关系，得到具有双向语义依赖关系的单词的向量表示；
通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导，得到与外部知识结合的单词向量表示；
通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容；
通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示；
利用分类函数得到最终的情感分类结果；
所述通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导，得到与外部知识结合的单词向量表示，具体包括以下步骤：
步骤S21：通过下式计算哨兵向量st：
Figure FDA0003567345850000011
式中，σ表示logistic sigmoid函数，Wb、Ub分别表示要学习的权重参数矩阵，xt表示当前输入的文本内容，
Figure FDA0003567345850000012
表示上一隐藏状态的输出；
步骤S22：通过下式计算同义词向量tk与哨兵向量st的注意权重：
Figure FDA0003567345850000021
Figure FDA0003567345850000022
其中，
Figure FDA0003567345850000023
Figure FDA0003567345850000024
式中，tkb、skb、bt、bs表示模型需要学习的权重参数向量，Wt、Ws、Wht、Whs表示模型需要学习的权重参数矩阵；
步骤S23：通过下式计算结合外部知识的单词向量表示
Figure FDA0003567345850000025
Figure FDA0003567345850000026
Figure FDA0003567345850000027
所述通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容具体为：
步骤S31：将上下文单词与视角词之间的单词数定义为二者的位置距离；将第i个单词对视角词的贡献程度定义为第i个单词的位置权重wi，计算如下式所示，位置权重越大，该单词对视角词的贡献程度越大：
Figure FDA0003567345850000028
式中，t表示视角词的位置，tmax表示输入文本的单词总数；
步骤S32：通过下式计算融合位置注意力权重的记忆内容mi：
Figure FDA0003567345850000031
式中
Figure FDA0003567345850000032
为与外部知识结合的单词向量表示。
2.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述对视角级文本进行特征化处理具体包括以下步骤：
步骤S11：对视角级文本进行分词处理；
步骤S12：通过Glove来将文本数据从文本形式转换成向量形式；
步骤S13：采用前向长短时记忆网络Forward-LSTM和反向长短时记忆网络Backward-LSTM捕捉文本的双向的语义依赖，得到具有双向语义依赖关系的单词向量表示。
3.根据权利要求2所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，步骤S13中，t时刻Forward-LSTM或者Backward-LSTM更新过程如下：
Figure FDA0003567345850000033
Figure FDA0003567345850000034
Figure FDA0003567345850000035
Figure FDA0003567345850000036
Figure FDA0003567345850000037
Figure FDA0003567345850000038
式中，it、ft、ot、
Figure FDA0003567345850000041
分别表示t时刻的输入门、遗忘门、输出门和记忆单元的激活向量，
Figure FDA0003567345850000042
表示候选向量，
Figure FDA0003567345850000043
表示模型第l层隐藏层的输出向量，Wi、Wf、Wo、Wc、Ui、Uf、Uo、Uc分别表示模型的输入门、遗忘门、输出门和记忆单元在l层关于输入向量和隐藏层向量的模型参数；
步骤S13采用两层的BiLSTM堆叠而成，每层BiLSTM均包括Forward-LSTM与Backward-LSTM，将两层的BiLSTM的隐藏层的输出向量作为得到的具有双向语义依赖关系的单词的向量表示：
Figure FDA0003567345850000044
式中，
Figure FDA0003567345850000045
表示第i个单词vi所对应的向量表示，
Figure FDA0003567345850000046
4.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示具体包括以下步骤：
步骤S41：计算每个记忆内容mj的注意力得分：
Figure FDA0003567345850000047
其中，
Figure FDA0003567345850000048
Figure FDA0003567345850000049
式中，
Figure FDA00035673458500000410
表示本轮的注意力得分，et-1表示门限循环单元第t-1层的输出向量，vt表示视角词向量，Wt AL表示模型需要学习的权重参数矩阵，
Figure FDA0003567345850000056
表示模型需要学习的权重参数向量；
步骤S42：利用门限控制单元根据注意力得分更新每一层的输出向量et：
Figure FDA0003567345850000051
其中，
Figure FDA0003567345850000052
Figure FDA0003567345850000053
Figure FDA0003567345850000054
其中Wr、Wz、Wg、Ur、Uz、Wx为模型需要学习的权重参数矩阵；通过将上一轮的计算结果et-1与本轮的注意力得分
Figure FDA0003567345850000055
非线性地结合，将最后一层的输出向量et作为文本情感特征表示。
5.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述利用分类函数得到最终的情感分类结果具体为：利用softmax分类函数对得到的文本情感特征表示逐一计算，根据设定的阈值得到对应文本表示的情感类别预测值。
6.一种基于权利要求1-5任一项所述的基于外部知识的视角级文本情感分类方法的系统，其特征在于，包括文本预处理模块、文本语义信息获取模块、知识模块、加权注意力机制模块、循环注意力模块以及情感类别输出模块；
所述文本预处理模块用于视角级文本进行特征化处理；
所述文本语义信息获取模块用于捕获文本的双向语义依赖关系；
所述知识模块通过动态注意力机制将当前单词与外部知识同义词相结合，并通过引入一个哨兵向量来避免外部知识对模型的误导；
所述加权注意力机制模块通过位置注意力机制来判断每个单词对视角词的贡献程度；
所述循环注意力模块从加权注意力机制模块中选取记忆内容进行计算注意力结果，利用门限循环单元在每个记忆内容的注意力得分计算后更新每一层的情感特征表示，并将最后一层表示作为最终情感特征表示；
所述情感类别输出模块，利用分类函数得到最终的情感分类结果。
7.根据权利要求6所述的基于外部知识的视角级文本情感分类方法的 系统，其特征在于，在整个模型的训练阶段，利用训练集文本表示进行情感类别的预测并计算其与实际情感标签的误差，利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；模型训练完成后，对测试集文本表示进行情感类别的预测，并输出预测值。
CN202010062565.8A 2020-01-20 2020-01-20 一种基于外部知识的视角级文本情感分类方法及系统 Active CN111274396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010062565.8A CN111274396B (zh) 2020-01-20 2020-01-20 一种基于外部知识的视角级文本情感分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010062565.8A CN111274396B (zh) 2020-01-20 2020-01-20 一种基于外部知识的视角级文本情感分类方法及系统

Publications (2)

Publication Number Publication Date
CN111274396A CN111274396A (zh) 2020-06-12
CN111274396B true CN111274396B (zh) 2022-06-07

Family

ID=70998935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010062565.8A Active CN111274396B (zh) 2020-01-20 2020-01-20 一种基于外部知识的视角级文本情感分类方法及系统

Country Status (1)

Country Link
CN (1) CN111274396B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199504B (zh) * 2020-10-30 2022-06-03 福州大学 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及系统
CN113435211B (zh) * 2021-07-19 2022-07-19 北京理工大学 一种结合外部知识的文本隐式情感分析方法
CN113656548B (zh) * 2021-08-18 2023-08-04 福州大学 基于数据包络分析的文本分类模型解释方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2515242A2 (en) * 2011-04-21 2012-10-24 Palo Alto Research Center Incorporated Incorporating lexicon knowledge to improve sentiment classification
CN109284506A (zh) * 2018-11-29 2019-01-29 重庆邮电大学 一种基于注意力卷积神经网络的用户评论情感分析系统及方法
CN109472031A (zh) * 2018-11-09 2019-03-15 电子科技大学 一种基于双记忆注意力的方面级别情感分类模型及方法
CN109726745A (zh) * 2018-12-19 2019-05-07 北京理工大学 一种融入描述知识的基于目标的情感分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2515242A2 (en) * 2011-04-21 2012-10-24 Palo Alto Research Center Incorporated Incorporating lexicon knowledge to improve sentiment classification
CN109472031A (zh) * 2018-11-09 2019-03-15 电子科技大学 一种基于双记忆注意力的方面级别情感分类模型及方法
CN109284506A (zh) * 2018-11-29 2019-01-29 重庆邮电大学 一种基于注意力卷积神经网络的用户评论情感分析系统及方法
CN109726745A (zh) * 2018-12-19 2019-05-07 北京理工大学 一种融入描述知识的基于目标的情感分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"一种注意力增强的自然语言推理模型";李冠宇 等;《计算机工程》;20190821;第46卷(第7期);全文 *
"基于深度学习的文本情感分析研究";梁斌;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190115;全文 *
"基于辅助记忆循环神经网络的视角级情感分析";廖祥文 等;《模式识别与人工智能》;20191115;第32卷(第11期);全文 *

Also Published As

Publication number Publication date
CN111274396A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
Wang et al. A deep learning approach for credit scoring of peer-to-peer lending using attention mechanism LSTM
CN108984724B (zh) 利用高维表示提高特定属性情感分类准确率方法
CN108363753B (zh) 评论文本情感分类模型训练与情感分类方法、装置及设备
US11436414B2 (en) Device and text representation method applied to sentence embedding
CN106372058B (zh) 一种基于深度学习的短文本情感要素抽取方法及装置
CN111274396B (zh) 一种基于外部知识的视角级文本情感分类方法及系统
CN110472042B (zh) 一种细粒度情感分类方法
CN109766557B (zh) 一种情感分析方法、装置、存储介质及终端设备
CN108694476A (zh) 一种结合财经新闻的卷积神经网络股票价格波动预测方法
CN110619044B (zh) 一种情感分析方法、系统、存储介质及设备
CN112199504B (zh) 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及系统
CN112800774B (zh) 基于注意力机制的实体关系抽取方法、装置、介质和设备
CN112256866B (zh) 一种基于深度学习的文本细粒度情感分析算法
CN110851601A (zh) 基于分层注意力机制的跨领域情感分类系统及方法
CN114330354B (zh) 一种基于词汇增强的事件抽取方法、装置及存储介质
CN112699215B (zh) 基于胶囊网络与交互注意力机制的评级预测方法及系统
CN110825849A (zh) 文本信息情感分析方法、装置、介质及电子设备
CN113326374B (zh) 基于特征增强的短文本情感分类方法及系统
CN113987187A (zh) 基于多标签嵌入的舆情文本分类方法、系统、终端及介质
CN112347245A (zh) 面向投融资领域机构的观点挖掘方法、装置和电子设备
CN113157919A (zh) 语句文本方面级情感分类方法及系统
Wang et al. Sentiment analysis of commodity reviews based on ALBERT-LSTM
CN115374789A (zh) 基于预训练模型bert的多粒度融合方面级情感分析方法
AU2018100320A4 (en) A New System for Stock Volatility Prediction by Using Long Short-Term Memory with Sentimental Indicators
Tang et al. Research on sentiment analysis of network forum based on BP neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant