CN111274396A - 一种基于外部知识的视角级文本情感分类方法及系统 - Google Patents
一种基于外部知识的视角级文本情感分类方法及系统 Download PDFInfo
- Publication number
- CN111274396A CN111274396A CN202010062565.8A CN202010062565A CN111274396A CN 111274396 A CN111274396 A CN 111274396A CN 202010062565 A CN202010062565 A CN 202010062565A CN 111274396 A CN111274396 A CN 111274396A
- Authority
- CN
- China
- Prior art keywords
- text
- word
- vector
- external knowledge
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 title claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 107
- 230000007246 mechanism Effects 0.000 claims abstract description 31
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 26
- 230000002996 emotional effect Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 125000004122 cyclic group Chemical group 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种基于外部知识的视角级文本情感分类方法及系统，包括步骤：对视角级文本进行特征化处理，并捕获文本的双向语义依赖关系；通过动态注意力机制将当前单词与外部知识同义词相结合，并引入哨兵向量避免外部知识对模型的误导；通过位置注意力机制来判断每个单词对视角词的贡献程度；通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示；利用分类函数得到最终的情感分类结果。本发明能够提高视角级文本情感分类的性能和降低资源的消耗。
Description
技术领域
本发明涉及文档情感分析和观点挖掘以及机器学习领域，特别是一种基于外部知识的视角级文本情感分类方法及系统。
背景技术
视角级文本情感分析旨在研究评论文本关于给定视角词的情感极性，以便能提供比文档级或句子级的情感分析更全面、深入和细粒度的分析，可以广泛地应用于产品定价、竞争情报、股市预测等领域,为人们提供便捷自动化的工具，提升互联网信息的利用率。然而，用户情感表达在不同的视角情况下有不同的表现。如图1，文本中有两个视角词“size”和“space”，该文本对于视角词“size”而言表现出来的情感极性为积极的，而对于视角词“space”而言表现出来的情感极性为消极的。然而以句子为导向的文本情感分析分析安发发无法捕捉到针对视角词的中细粒度情感。为了解决这个问题，研究人员提出了各种视角级文本情感分析的方法。
目前视角级文本情感分析研究主要分为基于词典的方法、基于传统机器学习的方法和基于神经网络的学习方法：
基于情感词典的视角级文本情感分析方法需要一个人工构建的情感词典，然后使用句法分析树来判断句子在不同视角词下的情感极性。目前有研究人员将句子分块以便句子中的某个视角与各分块对应，然后通过情感词典来判断各分块的情感极性，从而判断句子在不同的视角下的不同情感极性，虽然该方法能够较好的判断文本在不同视角词下的情感极性，但是随着互联网技术的不断发展，词典的更新速度远远不及网络用语等的发展，因此有研究人员通过视角词与文本中的相关信息，自动提取出情感词及相关主题信息，在一定程度上降低了对情感词典的依赖程度。
基于传统机器学习的视角级文本情感分析方法通过有监督学习的方法筛选出文本重要的特征，然后利用机器学习的方法来构建多类情感分类器，从而实现文本的自动化分类。研究人员提出一种基于基尼指数的支持向量机(Support Vector Machine，SVM)特征选择方法，该方法通过计算基于基尼系数的属性相关性并相应的分配权重，从而解决TF-IDF降低分类精度的问题。该类方法虽能在视角级文本情感分析领域取得一定的效果，但是需要耗费大量的人力、物力和资源来设计语义和语法特征，极大程度依赖于这些特征，且模型的泛化能力较差。
基于神经网络的视角级文本情感分析方法通过融合原始特征以便利用多个隐藏层来生成新的文本表示。研究人员提出一种自适应递归神经网络(Adaptive RecursiveNeural Network,AdaRNN)对情感词向特定视角词的自适应传播建模，该过程完全取决于语法依赖树，但是该方法可能会因为是非标准文本而不起作用。研究人员提出利用注意力机制和记忆网络模型来解决上述问题，通过双向长短时记忆网络并结合位置信息来构造记忆块，然后计算多重注意力的结果，最后利用门限控制单元进行非线性的结合来进行视角级文本情感分类，该类方法虽然能够更好地处理复杂的句子，但是对文本中单词在不同语境下可能有不同含义欠缺考虑。
发明内容
有鉴于此，本发明的目的是提出一种基于外部知识的视角级文本情感分类方法及系统，能够提高视角级文本情感分类的性能和降低资源的消耗。
本发明采用以下方案实现：一种基于外部知识的视角级文本情感分类方法，具体包括以下步骤：
对视角级文本进行特征化处理，捕获文本的双向语义依赖关系，得到具有双向语义依赖关系的单词的向量表示；
通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导，得到与外部知识结合的单词向量表示；
通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容；
通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示；
利用分类函数得到最终的情感分类结果。
进一步地，所述对视角级文本进行特征化处理具体包括以下步骤：
步骤S11：对视角级文本进行分词处理；
步骤S12：通过Glove来将文本数据从文本形式转换成向量形式；
步骤S13：采用前向长短时记忆网络Forward-LSTM和反向长短时记忆网络Backward-LSTM捕捉文本的双向的语义依赖，得到具有双向语义依赖关系的单词向量表示。
进一步地，步骤S13中，t时刻Forward-LSTM或者Backward-LSTM更新过程如下：
式中，it、ft、ot、
分别表示t时刻的输入门、遗忘门、输出门和记忆单元的激活向量，
表示候选向量，
表示模型第l层隐藏层的输出向量，Wi、Wf、Wo、Wc、Ui、Uf、Uo、Uc分别表示模型的输入门、遗忘门、输出门和记忆单元在l层关于输入向量和隐藏层向量的模型参数。
步骤S13采用两层的BiLSTM堆叠而成，每层BiLSTM均包括Forward-LSTM与Backward-LSTM，将两层的BiLSTM的隐藏层的输出向量作为得到的具有双向语义依赖关系的单词的向量表示：
式中，
表示第i个单词vi所对应的向量表示，
进一步地，通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导具体包括以下步骤：
步骤S21：通过下式计算哨兵向量st：
式中，σ表示logistic sigmoid函数，Wb、Ub分别表示要学习的权重参数矩阵，xt表示当前输入的文本内容，表示上一隐藏状态的输出；
步骤S22：通过下式计算同义词向量tk与哨兵向量st的注意权重：
其中，
式中，tkb、skb、bt、bs表示模型需要学习的权重参数向量，Wt、Ws、Wht、Whs表示模型需要学习的权重参数矩阵；
步骤S23：通过下式计算结合外部知识的单词向量表示
进一步地，所述通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容具体为：
步骤S31：将上下文单词与视角词之间的单词数定义为二者的位置距离；将第i个单词对视角词的贡献程度定义为第i个单词的位置权重wi，计算如下式所示，位置权重越大，该单词对视角词的贡献程度越大：
式中，t表示视角词的位置，tmax表示输入文本的单词总数；
步骤S32：通过下式计算融合位置注意力权重的记忆内容mi：
式中，
为与外部知识结合的单词向量表示。
进一步地，所述通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示具体包括以下步骤：
步骤S41：计算每个记忆内容mj的注意力得分：
其中，
式中，
表示本轮的注意力得分，et-1表示门限循环单元第t-1层的输出向量，vt表示视角词向量，
表示模型需要学习的权重参数矩阵，
表示模型需要学习的权重参数向量；
步骤S42：利用门限控制单元根据注意力得分更新每一层的输出向量et：
其中，
其中Wr、Wz、Wg、Ur、Uz、Wx为模型需要学习的权重参数矩阵；通过将上一轮的计算结果et-1与本轮的注意力得分
非线性地结合，将最后一层的输出向量et作为文本情感特征表示；
进一步地，所述利用分类函数得到最终的情感分类结果具体为：利用softmax分类函数对得到的文本情感特征表示逐一计算，根据设定的阈值得到对应文本表示的情感类别预测值。
本发明还提供了一种基于上文所述的基于外部知识的视角级文本情感分类方法的系统，包括文本预处理模块、文本语义信息获取模块、知识模块、加权注意力机制模块、循环注意力模块以及情感类别输出模块；
所述文本预处理模块用于视角级文本进行特征化处理；
所述文本语义信息获取模块用于捕获文本的双向语义依赖关系；
所述知识模块通过动态注意力机制将当前单词与外部知识同义词相结合，并通过引入一个哨兵向量来避免外部知识对模型的误导；
所述加权注意力机制模块通过位置注意力机制来判断每个单词对视角词的贡献程度；
所述循环注意力模块从加权注意力机制模块中选取记忆内容进行计算注意力结果，利用多层门限控制单元将注意力结果与视角词进行非线性结合构建文本的情感特征表示；利用门限循环单元在每个记忆内容的注意力得分计算后更新每一层的情感特征表示，并将最后一层表示作为最终情感特征表示；
所述情感类别输出模块，利用分类函数得到最终的情感分类结果。
进一步地，在整个模型的训练阶段，利用训练集文本表示进行情感类别的预测并计算其与实际情感标签的误差，利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；模型训练完成后，对测试集文本表示进行情感类别的预测，并输出预测值。
与现有技术相比，本发明有以下有益效果：本发明能够自动捕获枢轴和非枢轴特征，并通过BiLSTM捕获文本的双向语义依赖，采用分层注意力转移机制，最终识别出目标领域文本的情感类别。本发明能够提高视角级文本情感分类的性能和降低资源的消耗。
附图说明
图1为本发明实施例的文本不同视角词的情感极性样例。
图2为本发明实施例的系统框架示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图2所示，本实施例提供了一种基于外部知识的视角级文本情感分类方法，包括以下步骤：
对视角级文本进行特征化处理，捕获文本的双向语义依赖关系，得到具有双向语义依赖关系的单词的向量表示；
通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导，得到与外部知识结合的单词向量表示；
通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容；
通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示；
利用分类函数得到最终的情感分类结果。
较佳的，在模型的训练阶段，根据信息的前向传播和误差的后向传播将不断地对他们进行调整，逐步优化目标函数。
在本实施例中，由于神经网络的输入数据一般为向量，以便模型的端到端训练，因此需要对文本数据进行向量化表示。为了便于数据的处理和分析，所述对视角级文本进行特征化处理具体包括以下步骤：
步骤S11：对视角级文本进行分词处理；
步骤S12：通过Glove来将文本数据从文本形式转换成向量形式。
步骤S13：采用前向长短时记忆网络Forward-LSTM和反向长短时记忆网络Backward-LSTM捕捉文本的双向的语义依赖，得到具有双向语义依赖关系的单词向量表示。
进一步地，步骤S13中，t时刻Forward-LSTM或者Backward-LSTM更新过程如下：
式中，it、ft、ot、
分别表示t时刻的输入门、遗忘门、输出门和记忆单元的激活向量，
表示候选向量，
表示模型第l层隐藏层的输出向量，Wi、Wf、Wo、Wc、Ui、Uf、Uo、Uc分别表示模型的输入门、遗忘门、输出门和记忆单元在l层关于输入向量和隐藏层向量的模型参数。
步骤S13采用两层的BiLSTM堆叠而成，每层BiLSTM均包括Forward-LSTM与Backward-LSTM，将两层的BiLSTM的隐藏层的输出向量作为得到的具有双向语义依赖关系的单词的向量表示：
式中，
表示第i个单词vi所对应的向量表示，
在本实施例中，由于在不同语境下一个单词可能表现出不同的语义信息，特别是当我们专注于一个特定的任务时，例如情感分类。所述通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导具体包括以下步骤：
步骤S21：通过下式计算哨兵向量st：
式中，σ表示logistic sigmoid函数，Wb、Ub分别表示要学习的权重参数矩阵，xt表示当前输入的文本内容，
表示上一隐藏状态的输出；
步骤S22：通过下式计算同义词向量tk与哨兵向量st的注意权重：
其中，
式中，tkb、skb、bt、bs表示模型需要学习的权重参数向量，Wt、Ws、Wht、Whs表示模型需要学习的权重参数矩阵；
步骤S23：通过下式计算结合外部知识的单词向量表示
在本实施例中，所述通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容具体为：每个单词对文本的语义含义没有同等的贡献，因此将位置注意力引入到每个单词进行加权。一个上下文单词若更靠近视角词则比远离视角词的上下文单词更加重要，对视角级情感分类起到的作用更大。
步骤S31：将上下文单词与视角词之间的单词数定义为二者的位置距离；第i个单词的位置权重wi计算如下式所示，位置权重越大，该单词对视角词的贡献程度越大：
式中，t表示视角词的位置，tmax表示输入文本的单词总数；
步骤S32：通过下式计算融合位置注意力权重的记忆内容mi：
式中，
为与外部知识结合的单词向量表示。
在本实施例中，所述通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示具体包括以下步骤：
步骤S41：计算每个记忆内容mj的注意力得分：
其中，
式中，
表示本轮的注意力得分，et-1表示门限循环单元第t-1层的输出向量，vt表示视角词向量，
表示模型需要学习的权重参数矩阵，
表示模型需要学习的权重参数向量；
步骤S42：利用门限控制单元根据注意力得分更新每一层的输出向量et：
其中，
其中Wr、Wz、Wg、Ur、Uz、Wx为模型需要学习的权重参数矩阵；通过将上一轮的计算结果et-1与本轮的注意力得分
非线性地结合，将最后一层的输出向量et作为文本情感特征表示；
在本实施例中，所述利用分类函数得到最终的情感分类结果具体为：利用softmax分类函数对得到的文本情感特征表示逐一计算，根据设定的阈值得到对应文本表示的情感类别预测值。
本实施例还提供了一种基于上文所述的基于外部知识的视角级文本情感分类方法的系统，包括文本预处理模块、文本语义信息获取模块、知识模块、加权注意力机制模块、循环注意力模块以及情感类别输出模块；
所述文本预处理模块用于视角级文本进行特征化处理；
所述文本语义信息获取模块用于捕获文本的双向语义依赖关系；
所述知识模块通过动态注意力机制将当前单词与外部知识同义词相结合，并通过引入一个哨兵向量来避免外部知识对模型的误导；
所述加权注意力机制模块通过位置注意力机制来判断每个单词对视角词的贡献程度；
所述循环注意力模块从加权注意力机制模块中选取记忆内容进行计算注意力结果，利用多层门限控制单元将注意力结果与视角词进行非线性结合构建文本的情感特征表示；利用门限循环单元在每个记忆内容的注意力得分计算后更新每一层的情感特征表示，并将最后一层表示作为最终情感特征表示；
所述情感类别输出模块，利用分类函数得到最终的情感分类结果。
在本实施例中，在整个模型的训练阶段，利用训练集文本表示进行情感类别的预测并计算其与实际情感标签的误差，利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；模型训练完成后，对测试集文本表示进行情感类别的预测，并输出预测值。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
Claims (9)
1.一种基于外部知识的视角级文本情感分类方法，其特征在于，包括以下步骤：
对视角级文本进行特征化处理，捕获文本的双向语义依赖关系，得到具有双向语义依赖关系的单词的向量表示；
通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导，得到与外部知识结合的单词向量表示；
通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容；
通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示；
利用分类函数得到最终的情感分类结果。
2.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述对视角级文本进行特征化处理具体包括以下步骤：
步骤S11：对视角级文本进行分词处理；
步骤S12：通过Glove来将文本数据从文本形式转换成向量形式；
步骤S13：采用前向长短时记忆网络Forward-LSTM和反向长短时记忆网络Backward-LSTM捕捉文本的双向的语义依赖，得到具有双向语义依赖关系的单词向量表示。
3.根据权利要求2所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，步骤S13中，t时刻Forward-LSTM或者Backward-LSTM更新过程如下：
式中，it、ft、ot、
分别表示t时刻的输入门、遗忘门、输出门和记忆单元的激活向量，
表示候选向量，
表示模型第l层隐藏层的输出向量，Wi、Wf、Wo、Wc、Ui、Uf、Uo、Uc分别表示模型的输入门、遗忘门、输出门和记忆单元在l层关于输入向量和隐藏层向量的模型参数；
步骤S13采用两层的BiLSTM堆叠而成，每层BiLSTM均包括Forward-LSTM与Backward-LSTM，将两层的BiLSTM的隐藏层的输出向量作为得到的具有双向语义依赖关系的单词的向量表示：
式中，
表示第i个单词vi所对应的向量表示，
4.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述通过动态注意力机制将具有双向语义依赖关系的当前单词向量表示与外部知识同义词的向量表示相结合，并引入哨兵向量避免外部知识对模型的误导具体包括以下步骤：
步骤S21：通过下式计算哨兵向量st：
式中，σ表示logistic sigmoid函数，Wb、Ub分别表示要学习的权重参数矩阵，xt表示当前输入的文本内容，
表示上一隐藏状态的输出；
步骤S22：通过下式计算同义词向量tk与哨兵向量st的注意权重：
其中，
式中，tkb、skb、bt、bs表示模型需要学习的权重参数向量，Wt、Ws、Wht、Whs表示模型需要学习的权重参数矩阵；
步骤S23：通过下式计算结合外部知识的单词向量表示
5.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述通过位置注意力机制来判断每个单词对视角词的贡献程度，并将贡献程度和与外部知识结合的单词向量表示相乘生成记忆内容具体为：
步骤S31：将上下文单词与视角词之间的单词数定义为二者的位置距离；将第i个单词对视角词的贡献程度定义为第i个单词的位置权重wi，计算如下式所示，位置权重越大，该单词对视角词的贡献程度越大：
式中，t表示视角词的位置，tmax表示输入文本的单词总数；
步骤S32：通过下式计算融合位置注意力权重的记忆内容mi：
式中
为与外部知识结合的单词向量表示。
6.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述通过计算每个记忆内容的注意力得分，利用门限循环单元将每层的注意力得分与上一层的输出结果非线性结合，并将最后一层作为文本的情感特征表示具体包括以下步骤：
步骤S41：计算每个记忆内容mj的注意力得分：
其中，
式中，
表示本轮的注意力得分，et-1表示门限循环单元第t-1层的输出向量，vt表示视角词向量，
表示模型需要学习的权重参数矩阵，
表示模型需要学习的权重参数向量；
步骤S42：利用门限控制单元根据注意力得分更新每一层的输出向量et：
其中，
其中Wr、Wz、Wg、Ur、Uz、Wx为模型需要学习的权重参数矩阵；通过将上一轮的计算结果et-1与本轮的注意力得分
非线性地结合，将最后一层的输出向量et作为文本情感特征表示。
7.根据权利要求1所述的一种基于外部知识的视角级文本情感分类方法，其特征在于，所述利用分类函数得到最终的情感分类结果具体为：利用softmax分类函数对得到的文本情感特征表示逐一计算，根据设定的阈值得到对应文本表示的情感类别预测值。
8.一种基于权利要求1-7任一项所述的基于外部知识的视角级文本情感分类方法的系统，其特征在于，包括文本预处理模块、文本语义信息获取模块、知识模块、加权注意力机制模块、循环注意力模块以及情感类别输出模块；
所述文本预处理模块用于视角级文本进行特征化处理；
所述文本语义信息获取模块用于捕获文本的双向语义依赖关系；
所述知识模块通过动态注意力机制将当前单词与外部知识同义词相结合，并通过引入一个哨兵向量来避免外部知识对模型的误导；
所述加权注意力机制模块通过位置注意力机制来判断每个单词对视角词的贡献程度；
所述循环注意力模块从加权注意力机制模块中选取记忆内容进行计算注意力结果，利用门限循环单元在每个记忆内容的注意力得分计算后更新每一层的情感特征表示，并将最后一层表示作为最终情感特征表示；
所述情感类别输出模块，利用分类函数得到最终的情感分类结果。
9.根据权利要求8所述的一种基于外部知识的视角级文本情感分类系统，其特征在于，在整个模型的训练阶段，利用训练集文本表示进行情感类别的预测并计算其与实际情感标签的误差，利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；模型训练完成后，对测试集文本表示进行情感类别的预测，并输出预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010062565.8A CN111274396B (zh) | 2020-01-20 | 2020-01-20 | 一种基于外部知识的视角级文本情感分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010062565.8A CN111274396B (zh) | 2020-01-20 | 2020-01-20 | 一种基于外部知识的视角级文本情感分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111274396A true CN111274396A (zh) | 2020-06-12 |
| CN111274396B CN111274396B (zh) | 2022-06-07 |
Family
ID=70998935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010062565.8A Active CN111274396B (zh) | 2020-01-20 | 2020-01-20 | 一种基于外部知识的视角级文本情感分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111274396B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112199504A (zh) * | 2020-10-30 | 2021-01-08 | 福州大学 | 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及系统 |
| CN113435211A (zh) * | 2021-07-19 | 2021-09-24 | 北京理工大学 | 一种结合外部知识的文本隐式情感分析方法 |
| CN113656548A (zh) * | 2021-08-18 | 2021-11-16 | 福州大学 | 基于数据包络分析的文本分类模型解释方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2515242A2 (en) * | 2011-04-21 | 2012-10-24 | Palo Alto Research Center Incorporated | Incorporating lexicon knowledge to improve sentiment classification |
| CN109284506A (zh) * | 2018-11-29 | 2019-01-29 | 重庆邮电大学 | 一种基于注意力卷积神经网络的用户评论情感分析系统及方法 |
| CN109472031A (zh) * | 2018-11-09 | 2019-03-15 | 电子科技大学 | 一种基于双记忆注意力的方面级别情感分类模型及方法 |
| CN109726745A (zh) * | 2018-12-19 | 2019-05-07 | 北京理工大学 | 一种融入描述知识的基于目标的情感分类方法 |
-
2020
- 2020-01-20 CN CN202010062565.8A patent/CN111274396B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2515242A2 (en) * | 2011-04-21 | 2012-10-24 | Palo Alto Research Center Incorporated | Incorporating lexicon knowledge to improve sentiment classification |
| CN109472031A (zh) * | 2018-11-09 | 2019-03-15 | 电子科技大学 | 一种基于双记忆注意力的方面级别情感分类模型及方法 |
| CN109284506A (zh) * | 2018-11-29 | 2019-01-29 | 重庆邮电大学 | 一种基于注意力卷积神经网络的用户评论情感分析系统及方法 |
| CN109726745A (zh) * | 2018-12-19 | 2019-05-07 | 北京理工大学 | 一种融入描述知识的基于目标的情感分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| 廖祥文 等: ""基于辅助记忆循环神经网络的视角级情感分析"", 《模式识别与人工智能》 * |
| 李冠宇 等: ""一种注意力增强的自然语言推理模型"", 《计算机工程》 * |
| 梁斌: ""基于深度学习的文本情感分析研究"", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112199504A (zh) * | 2020-10-30 | 2021-01-08 | 福州大学 | 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及系统 |
| CN112199504B (zh) * | 2020-10-30 | 2022-06-03 | 福州大学 | 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及系统 |
| CN113435211A (zh) * | 2021-07-19 | 2021-09-24 | 北京理工大学 | 一种结合外部知识的文本隐式情感分析方法 |
| CN113656548A (zh) * | 2021-08-18 | 2021-11-16 | 福州大学 | 基于数据包络分析的文本分类模型解释方法及系统 |
| CN113656548B (zh) * | 2021-08-18 | 2023-08-04 | 福州大学 | 基于数据包络分析的文本分类模型解释方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111274396B (zh) | 2022-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | A deep learning approach for credit scoring of peer-to-peer lending using attention mechanism LSTM | |
| CN108363753B (zh) | 评论文本情感分类模型训练与情感分类方法、装置及设备 | |
| US11436414B2 (en) | Device and text representation method applied to sentence embedding | |
| CN108984724B (zh) | 利用高维表示提高特定属性情感分类准确率方法 | |
| CN106383815B (zh) | 结合用户和产品信息的神经网络情感分析方法 | |
| CN106372058B (zh) | 一种基于深度学习的短文本情感要素抽取方法及装置 | |
| US10635858B2 (en) | Electronic message classification and delivery using a neural network architecture | |
| CN110472042B (zh) | 一种细粒度情感分类方法 | |
| CN111274396B (zh) | 一种基于外部知识的视角级文本情感分类方法及系统 | |
| CN109766557B (zh) | 一种情感分析方法、装置、存储介质及终端设备 | |
| CN110222178A (zh) | 文本情感分类方法、装置、电子设备及可读存储介质 | |
| CN110457480A (zh) | 基于交互式注意力机制的细粒度情感分类模型的构建方法 | |
| CN108563624A (zh) | 一种基于深度学习的自然语言生成方法 | |
| CN112199504B (zh) | 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及系统 | |
| CN109214006A (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
| CN110851601A (zh) | 基于分层注意力机制的跨领域情感分类系统及方法 | |
| CN113987187A (zh) | 基于多标签嵌入的舆情文本分类方法、系统、终端及介质 | |
| CN111538841B (zh) | 基于知识互蒸馏的评论情感分析方法、装置及系统 | |
| CN112256866A (zh) | 一种基于深度学习的文本细粒度情感分析方法 | |
| CN113326374A (zh) | 基于特征增强的短文本情感分类方法及系统 | |
| CN113157919A (zh) | 语句文本方面级情感分类方法及系统 | |
| CN111259147B (zh) | 基于自适应注意力机制的句子级情感预测方法及系统 | |
| Tang et al. | Research on sentiment analysis of network forum based on BP neural network | |
| Wang et al. | Sentiment analysis of commodity reviews based on ALBERT-LSTM | |
| CN109902174B (zh) | 一种基于方面依赖的记忆网络的情感极性检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |