CN110851601A - 基于分层注意力机制的跨领域情感分类系统及方法 - Google Patents

基于分层注意力机制的跨领域情感分类系统及方法 Download PDF

Info

Publication number
CN110851601A
CN110851601A CN201911085444.9A CN201911085444A CN110851601A CN 110851601 A CN110851601 A CN 110851601A CN 201911085444 A CN201911085444 A CN 201911085444A CN 110851601 A CN110851601 A CN 110851601A
Authority
CN
China
Prior art keywords
text
representation
emotion classification
pivot
pivot feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911085444.9A
Other languages
English (en)
Inventor
廖祥文
陈癸旭
陈志豪
温宇含
陈开志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201911085444.9A priority Critical patent/CN110851601A/zh
Publication of CN110851601A publication Critical patent/CN110851601A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Abstract

本发明涉及一种基于分层注意力机制的跨领域情感分类系统，包括：文本预处理模块，用于对跨领域文本进行特征化处理；枢轴特征提取模块，用于学习领域适应的特征表示空间，得到源领域与目标领域的枢轴特征文档表示；非枢轴特征提取模块，用于获取非枢轴特征表示；情感类别输出模块，用于获取最终的情感分类结果。本发明实现了高效的跨领域情感分类，提高了跨领域情感分类精度并减少人工时间精力的消耗。

Description

基于分层注意力机制的跨领域情感分类系统及方法
技术领域
本发明涉及及情感分析和观点挖掘领域，具体涉及一种基于分层注意力机制的跨领域情感分类系统及方法。
背景技术
跨领域情感分类是利用相关源领域的知识和丰富的标记数据来改进目标领域。然而，用户情感表达在不同的领域有不同的表现。例如，在书籍领域，可读性强、深思熟虑等词汇是被用来表达积极的情绪，而平淡、无情节等词汇则常常被表示为消极的情绪。由于领域的差异性，在源领域训练的情感分类器如果直接运用于目标领域可能不能起到很好的作用。为了解决这个问题，研究人员提出了各种跨领域情感分类的方法。
目前跨领域情感分类研究主要分为基于词典的方法、基于特征迁移的学习方法和基于神经网络的学习方法：
基于词典的方法主要是通过利用现有整理的词典资源来缩小源领域与目标领域在特征词项上存在的差异。目前有研究人员将英文情感词典应用于跨领域情感分类，虽然该词典所蕴含的情感词汇较多，覆盖面也比较广，但是随着互联网技术的不断发展，词典的更新速度远远不及网络用语等的发展，该方法在目标领域中的分类效果完全取决于情感词典的丰富程度，因此有研究人员通过源领域中的相关信息，自动从目标领域中提取出情感词及相关主题信息，在一定程度上降低了对情感词典的依赖程度。
基于特征迁移的学习方法主要是为了解决源领域和目标领域的特征空间存在差异的问题，通过将每一个领域中的数据映射到同一空间下，让源领域和目标领域具有相同的分布，因此目标领域可以通过源领域的训练数据来进行学习。研究人员提出结构对应学习模型是利用多轴预测人来来推断轴与非轴之间的相关性；而谱特征对齐方法是利用轴与非轴之间的协同效应来确定二者之间的对齐，这些方法都需要通过手动选择轴，并且是基于离散的特征表示。这些方法都是基于专家设计的规则或者n-gram对句子进行特征提取，忽略了上下文之间的关系和重要单词的情感信息，不能在跨领域大规模的数据中取得良好的效果。
基于神经网络的学习方法是将深度学习应用在跨领域场景下情感分类的共同特征和共享参数的学习方法。研究人员通过堆叠降噪自编码器来对多个领域的未标注数据进行预训练，结合源领域的标注数据和预训练模型来训练情感分类模型；而边缘降噪自动编码器则是保留了强大的特征学习能力并且解决了高昂的计算成本和SDA扩展问题。这些方法缺乏了可解释性，无法充分证明网络是否充分学习到了枢轴特征，仍有很大的探索空间。
发明内容
有鉴于此，本发明的目的在于提供一种基于分层注意力机制的跨领域情感分类系统及方法，提高跨领域情感分类的精度和减少人工时间精力的消耗。
为实现上述目的，本发明采用如下技术方案：
一种基于分层注意力机制的跨领域情感分类系统，其特征在于，包括：
文本预处理模块，用于对跨领域文本进行特征化处理；
枢轴特征提取模块，用于学习领域适应的特征表示空间，得到源领域与目标领域的枢轴特征文档表示；
非枢轴特征提取模块，用于获取非枢轴特征表示；
情感类别输出模块，利用softmax分类函数得到最终的情感分类结果。
进一步的，所述文本预处理模块采用Word2vec提取源领域与目标领域文本的特征。
基于分层注意力机制的跨领域情感分类系统的分类方法，包括以下步骤：
步骤S1:将源数据和目标数据输入文本预处理模块，采用Word2vec提取源领域与目标领域文本的特征；
步骤S2:根据得到的源领域与目标领域文本的特征，通过枢轴特征提取模块得到枢轴特征文档表示；
步骤S3:将枢轴特征提取模块获取的枢轴特征通过填充词替代的方式隐藏所有的枢轴特征，作为非枢轴特征提取模块的输入，获取非枢轴特征表示；
步骤S4:将获取的枢轴特征文档表式和非枢轴特征文档表示，通过拼接构成最终情感分类文档表示；
步骤S5:根据得到的最终情感分类文档表示，通过情感类别输出模块对所得向量逐一计算，根据设定的阈值得到该文本表示的情感类别预测值。
进一步的，所述步骤S1具体为：
步骤S11:对源领域和目标领域的文本进行分词并过滤停用词；
步骤S12:通过word2vec来将文本数据从文本形式转换成向量形式。
进一步的，所述步骤S2具体为：
步骤S21:根据源领域与目标领域文本的特征，获取的句子级文本表示；
步骤S22:根据获取的句子级文本表示，采用BiLSTM捕捉句子层面文本上下文语义信息；
步骤S23:采用注意机制来衡量每个句子对于情感分类任务的重要性，并最终获取枢轴特征文档表示。
进一步的，所述步骤S5具体为：
步骤S51:根据得到的最终情感分类文档表示，利用softmax分类函数对所得向量逐一计算；
步骤S52:利用源领域的文本表示进行情感类别的预测并计算其与实际情感标签的误差；
步骤S53:利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；否则，对目标领域的文本表示进行情感类别的预测，并输出预测值。
进一步的，所述softmax分类函数的权重和偏置设置具体为：
将获取的非枢轴特征表示作为Softmax函数的输入，进行两个子任务预测，子任务一：预测文档表示v'd是否包含至少一个正向枢轴特征；子任务二：预测文档表示v'd是否包含至少一个负向枢轴特征；其计算公式如下：
p+＝Softmax(Wposv'd+bpos)
p+＝Softmax(Wnegv'd+bneg)
其中Wpos和bpos分别表示计算是否至少包含一个正向枢轴概率时的Softmax层对应的权重参数和偏置，其中Wneg和bneg分别表示计算是否至少包含一个负向枢轴概率时的Softmax层对应的权重参数和偏置。
本发明与现有技术相比具有以下有益效果：
本发明提供了一种高效的跨领域情感分类方法，提高了跨领域情感分类精度并减少人工时间精力的消耗。
附图说明
图1是本发明方法流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于分层注意力机制的跨领域情感分类系统，其特征在于，包括：
文本预处理模块，用于对跨领域文本进行特征化处理；
在本实施例中，由于神经网络的输入数据一般为向量，以便模型的端到端训练，因此需要对文本数据进行向量化表示。为了便于数据的处理和分析，在本实施例中的文本预处理模块，首先对源领域和目标领域的文本进行分词并过滤停用词；接着，通过word2vec来将文本数据从文本形式转换成向量形式。
枢轴特征提取模块，用于学习领域适应的特征表示空间，得到源领域与目标领域的枢轴特征文档表示；
在本实施例中，枢轴特征提取模块的文本语义信息获取采用的是前向LSTM和后向LSTM组合而成的，解决LSTM无法编码从后到前的信息，从而更好的捕捉双向的语义依赖，在更细粒度的分类时起到更好的作用。
其次由于上下文词汇对句子语义的贡献是不一样的，特别是当专注于一个特定的任务时，例如情感分类。
将每个句子记忆mor和一个词级查询词qw作为词注意力层的输入，可以获得第r个词在第o个句子的隐藏表示，具体计算公式如下：
hor＝tanh(Wwmor+bw)
Figure BDA0002265251940000061
通过计算的αor可以衡量每个单词对句子的影响程度，其中Mw(o，r)是一个词级的隐藏函数，用来避免受到填充向量的影响，当一个词记忆mor被占用时，Mw(o，r)为1，否则为0。
然后，根据获取的句子级文本表示，再次通过双向LSTM捕捉句子层面文本上下文语义信息。
最后，由于每个句子对文档的语义含义贡献程度也不相同，因此再次在句子级别应用注意机制来衡量每个句子对于情感分类任务的重要性，具体计算公式如下:
Figure BDA0002265251940000063
Figure BDA0002265251940000071
通过计算的βo可以衡量每个句子对文档的影响程度，其中Mc(o)是一个句子级的隐藏函数，用来避免受到填充向量的影响，当一个句子记忆mo空闲时，Mc(o)为0，否则为1。句子级查询向量qc时希望能够获得更有效的查询表示。qc是随机初始化的并通过共同学习获得的。
将上述生成的文档表示vd作为带有梯度反转层的域分类器的输入，进行域对抗训练，该子任务的目的使得域分类器无法判别输入样本属于哪个领域，从而获取领域适应的文本表示。
非枢轴特征提取模块，用于获取非枢轴特征表示；
在本实施例中，针对特定的领域，不同的单词和句子对于文本情感分析具有不同的影响，将枢轴特征提取模块获取的枢轴特征通过填充词替代的方式隐藏所有的枢轴特征，将样本x转换为g(x)，作为非枢轴特征提取模块的输入，获取非枢轴特征表示v'd：
将获取的非枢轴特征表示作为Softmax函数的输入，进行两个子任务预测，子任务一：预测文档表示v'd是否包含至少一个正向枢轴特征；子任务二：预测文档表示v'd是否包含至少一个负向枢轴特征。其计算公式如下：
p+＝Softmax(Wposv'd+bpos)
p+＝Softmax(Wnegv'd+bneg)
其中Wpos和bpos分别表示计算是否至少包含一个正向枢轴概率时的Softmax层对应的权重参数和偏置，其中Wneg和bneg分别表示计算是否至少包含一个负向枢轴概率时的Softmax层对应的权重参数和偏置。
情感类别输出模块，利用softmax分类函数得到最终的情感分类结果。
在本实施例中，由于获取的枢轴特征表示和非枢轴特征表示是互补的，因此将获取的枢轴特征文档表示vd和非枢轴特征文档表示v'd，通过拼接构成最终情感分类文档表示di，情感类别输出模块5利用softmax分类函数对所得向量逐一计算，根据设定的阈值得到该文本表示的情感类别预测值。在训练阶段，利用源领域的文本表示进行情感类别的预测并计算其与实际情感标签的误差，利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；否则，对目标领域的文本表示进行情感类别的预测，并输出预测值。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (7)

1.一种基于分层注意力机制的跨领域情感分类系统，其特征在于，包括：
文本预处理模块，用于对跨领域文本进行特征化处理；
枢轴特征提取模块，用于学习领域适应的特征表示空间，得到源领域与目标领域的枢轴特征文档表示；
非枢轴特征提取模块，用于获取非枢轴特征表示；
情感类别输出模块，用于获取最终的情感分类结果。
2.根据权利要求1所述的基于分层注意力机制的跨领域情感分类系统，其特征在于：所述文本预处理模块采用Word2vec提取源领域与目标领域文本的特征。
3.根据权利要求1所述的基于分层注意力机制的跨领域情感分类系统的分类方法，其特征在于，包括以下步骤：
步骤S1:将源数据和目标数据输入文本预处理模块，采用Word2vec提取源领域与目标领域文本的特征；
步骤S2:根据得到的源领域与目标领域文本的特征，通过枢轴特征提取模块得到枢轴特征文档表示；
步骤S3:将枢轴特征提取模块获取的枢轴特征通过填充词替代的方式隐藏所有的枢轴特征，作为非枢轴特征提取模块的输入，获取非枢轴特征表示;
步骤S4:将获取的枢轴特征文档表式和非枢轴特征文档表示，通过拼接构成最终情感分类文档表示；
步骤S5:根据得到的最终情感分类文档表示，通过情感类别输出模块对所得向量逐一计算，根据设定的阈值得到该文本表示的情感类别预测值。
4.根据权利要求3所述的基于分层注意力机制的跨领域情感分类系统的分类方法，其特征在于，所述步骤S1具体为：
步骤S11:对源领域和目标领域的文本进行分词并过滤停用词;
步骤S12:通过word2vec来将文本数据从文本形式转换成向量形式。
5.根据权利要求3所述的基于分层注意力机制的跨领域情感分类系统的分类方法，其特征在于，所述步骤S2具体为：
步骤S21:根据源领域与目标领域文本的特征，获取的句子级文本表示;
步骤S22:根据获取的句子级文本表示，采用BiLSTM捕捉句子层面文本上下文语义信息；
步骤S23:采用注意机制来衡量每个句子对于情感分类任务的重要性，并最终获取枢轴特征文档表示。
6.根据权利要求3所述的基于分层注意力机制的跨领域情感分类系统的分类方法，其特征在于，所述步骤S5具体为：
步骤S51:根据得到的最终情感分类文档表示，利用softmax分类函数对所得向量逐一计算;
步骤S52:利用源领域的文本表示进行情感类别的预测并计算其与实际情感标签的误差;
步骤S53:利用随机梯度下降法和后向传播对整个系统的参数进行迭代更新；否则，对目标领域的文本表示进行情感类别的预测，并输出预测值。
7.根据权利要求6所述的基于分层注意力机制的跨领域情感分类系统的分类方法，其特征在于，所述softmax分类函数的权重和偏置设置具体为：
将获取的非枢轴特征表示作为Softmax函数的输入，进行两个子任务预测，子任务一：预测文档表示
Figure 895214DEST_PATH_IMAGE001
是否包含至少一个正向枢轴特征；子任务二：预测文档表示
Figure 123939DEST_PATH_IMAGE001
是否包含至少一个负向枢轴特征；其计算公式如下：
Figure DEST_PATH_IMAGE002
其中和
Figure DEST_PATH_IMAGE004
分别表示计算是否至少包含一个正向枢轴概率时的Softmax层对应的权重参数和偏置，其中
Figure 174252DEST_PATH_IMAGE005
和
Figure DEST_PATH_IMAGE006
分别表示计算是否至少包含一个负向枢轴概率时的Softmax层对应的权重参数和偏置。
CN201911085444.9A 2019-11-08 2019-11-08 基于分层注意力机制的跨领域情感分类系统及方法 Pending CN110851601A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911085444.9A CN110851601A (zh) 2019-11-08 2019-11-08 基于分层注意力机制的跨领域情感分类系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911085444.9A CN110851601A (zh) 2019-11-08 2019-11-08 基于分层注意力机制的跨领域情感分类系统及方法

Publications (1)

Publication Number Publication Date
CN110851601A true CN110851601A (zh) 2020-02-28

Family

ID=69598851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911085444.9A Pending CN110851601A (zh) 2019-11-08 2019-11-08 基于分层注意力机制的跨领域情感分类系统及方法

Country Status (1)

Country Link
CN (1) CN110851601A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797321A (zh) * 2020-07-07 2020-10-20 山东大学 一种面向不同场景的个性化知识推荐方法及系统
CN111858944A (zh) * 2020-07-31 2020-10-30 电子科技大学 一种基于注意力机制的实体方面级情感分析方法
CN112988975A (zh) * 2021-04-09 2021-06-18 北京语言大学 一种基于albert和知识蒸馏的观点挖掘方法
CN113326378A (zh) * 2021-06-16 2021-08-31 山西财经大学 一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法
CN113360633A (zh) * 2021-06-09 2021-09-07 南京大学 一种基于深度域适应的跨域测试文档分类方法
CN113779249A (zh) * 2021-08-31 2021-12-10 华南师范大学 跨领域文本情感分类方法、装置、存储介质以及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363753A (zh) * 2018-01-30 2018-08-03 南京邮电大学 评论文本情感分类模型训练与情感分类方法、装置及设备
CN109783644A (zh) * 2019-01-18 2019-05-21 福州大学 一种基于文本表示学习的跨领域情感分类系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108363753A (zh) * 2018-01-30 2018-08-03 南京邮电大学 评论文本情感分类模型训练与情感分类方法、装置及设备
CN109783644A (zh) * 2019-01-18 2019-05-21 福州大学 一种基于文本表示学习的跨领域情感分类系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏现辉等: ""基于加权SimRank的跨领域文本情感倾向性分析"", 《模式识别与人工智能》, vol. 26, no. 11, 15 November 2013 (2013-11-15), pages 1005 - 1009 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797321A (zh) * 2020-07-07 2020-10-20 山东大学 一种面向不同场景的个性化知识推荐方法及系统
CN111797321B (zh) * 2020-07-07 2021-04-27 山东大学 一种面向不同场景的个性化知识推荐方法及系统
CN111858944A (zh) * 2020-07-31 2020-10-30 电子科技大学 一种基于注意力机制的实体方面级情感分析方法
CN111858944B (zh) * 2020-07-31 2022-11-22 电子科技大学 一种基于注意力机制的实体方面级情感分析方法
CN112988975A (zh) * 2021-04-09 2021-06-18 北京语言大学 一种基于albert和知识蒸馏的观点挖掘方法
CN113360633A (zh) * 2021-06-09 2021-09-07 南京大学 一种基于深度域适应的跨域测试文档分类方法
CN113360633B (zh) * 2021-06-09 2023-10-17 南京大学 一种基于深度域适应的跨域测试文档分类方法
CN113326378A (zh) * 2021-06-16 2021-08-31 山西财经大学 一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法
CN113326378B (zh) * 2021-06-16 2022-09-06 山西财经大学 一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法
CN113779249A (zh) * 2021-08-31 2021-12-10 华南师范大学 跨领域文本情感分类方法、装置、存储介质以及电子设备
CN113779249B (zh) * 2021-08-31 2022-08-16 华南师范大学 跨领域文本情感分类方法、装置、存储介质以及电子设备

Similar Documents

Publication Publication Date Title
CN107291795B (zh) 一种结合动态词嵌入和词性标注的文本分类方法
CN109213995B (zh) 一种基于双语词嵌入的跨语言文本相似度评估技术
CN106919646B (zh) 中文文本摘要生成系统及方法
CN110851601A (zh) 基于分层注意力机制的跨领域情感分类系统及方法
CN111160037B (zh) 一种支持跨语言迁移的细粒度情感分析方法
Alwehaibi et al. Comparison of pre-trained word vectors for arabic text classification using deep learning approach
CN110569508A (zh) 融合词性和自注意力机制的情感倾向性分类方法及系统
KR101715118B1 (ko) 문서 감정 분류용 딥러닝 인코딩 장치 및 방법.
CN110287320A (zh) 一种结合注意力机制的深度学习多分类情感分析模型
CN108062388A (zh) 人机对话的回复生成方法和装置
CN111368086A (zh) 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法
CN109325229B (zh) 一种利用语义信息计算文本相似度的方法
CN112487143A (zh) 一种基于舆情大数据分析的多标签文本分类方法
CN107193807A (zh) 基于人工智能的语言转换处理方法、装置及终端
CN108052505A (zh) 文本情感分析方法及装置、存储介质、终端
CN113591483A (zh) 一种基于序列标注的文档级事件论元抽取方法
CN110489554B (zh) 基于位置感知互注意力网络模型的属性级情感分类方法
CN110874411A (zh) 一种基于注意力机制融合的跨领域情感分类系统
CN109271636B (zh) 词嵌入模型的训练方法及装置
CN115357719A (zh) 基于改进bert模型的电力审计文本分类方法及装置
WO2023231576A1 (zh) 混合语言语音识别模型的生成方法及装置
CN113360001A (zh) 输入文本的处理方法、装置、电子设备和存储介质
CN112561718A (zh) 基于BiLSTM权重共享的案件微博评价对象情感倾向性分析方法
CN111553157A (zh) 一种基于实体替换的对话意图识别方法
CN111274396A (zh) 一种基于外部知识的视角级文本情感分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200228