CN113011192B - 基于注意力因果解释的文本情感特征提取方法 - Google Patents

基于注意力因果解释的文本情感特征提取方法 Download PDF

Info

Publication number
CN113011192B
CN113011192B CN202110280329.8A CN202110280329A CN113011192B CN 113011192 B CN113011192 B CN 113011192B CN 202110280329 A CN202110280329 A CN 202110280329A CN 113011192 B CN113011192 B CN 113011192B
Authority
CN
China
Prior art keywords
emotion
attention
model
representing
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110280329.8A
Other languages
English (en)
Other versions
CN113011192A (zh
Inventor
张灵
叶苑莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110280329.8A priority Critical patent/CN113011192B/zh
Publication of CN113011192A publication Critical patent/CN113011192A/zh
Application granted granted Critical
Publication of CN113011192B publication Critical patent/CN113011192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于注意力因果解释的文本情感特征提取方法，通过情感特征注意力计算、筛选注意力权重分布、优化目标函数，最终构建具有纵向因果关系的文本情感分析模型，基于此模型提取高质量的情感特征并完成情感分类预测。本发明通过添加情感先验知识和综合句子的平均情感分数，从而增强模型提取情感特征的质量。通过信息熵的计算引导注意力更加集中地关注句子的情感特征，从而消除其余无关特征对预测的影响，增强预测的稳定性和可靠性。通过在目标函数中加入信息熵差距的约束条件，使模型学到包含因果关系的情感特征，进而从因果层面给模型的情感极性分类提供可靠的依据，增强模型情感决策的合理性。

Description

基于注意力因果解释的文本情感特征提取方法
技术领域
本发明涉及自然语言处理中的文本情感分析技术领域，尤其涉及到基于注意力因果解释的文本情感特征提取方法。
背景技术
文本情感分析是自然语言处理中具有重要价值的任务之一，通过对用户的情感进行分类，可以帮助企业决策者调整营销方案。
而传统的文本情感分析存在以下不足：
1)目前的文本情感分析方法缺乏词性层面的先验情感知识与语义层面的句子特征的有效结合，因此难以分析句子的情感否定成分以及情感转折点。
2)目前自然语言处理任务大部分采用直接微调大型预处理模型的方法，尽管这种方法对文本分类起到一定的作用，但是对文本情感分析的提升效果不大，注意力机制缺乏对情感特征的有效关注。
3)目前深度学习模型普遍不可解释，因此提取的情感特征无法评估其合理性，如果在企业的决策中应用这些无法评估合理性的注意力模型，那么产生的决策将无法判断是否具有商业价值。
发明内容
本发明的目的在于克服现有技术的不足，提供一种能有效地融合先验情感知识和语义特征、使注意力机制的关注点更加集中在情感特征上、降低模型的冗余信息量、提高预测的稳定性、模型提取的文本情感特征具备因果可解释性的文本情感特征提取方法，解决了传统深度学习模型不可解释的缺陷，为企业的决策提供了可解释的依据。
为实现上述目的，本发明所提供的技术方案为：
基于注意力因果解释的文本情感特征提取方法，通过情感特征注意力计算、筛选注意力权重分布、优化目标函数，最终构建具有纵向因果关系的文本情感分析模型，基于此模型提取高质量的情感特征并完成情感分类预测。
进一步地，包括以下步骤：
S1、用情感词典给数据集中的句子添加先验的情感信息，得到情感平均分数矩阵S；
S2、用双向注意力机制计算词嵌入矩阵与情感平均分数矩阵的相关关系，得到两个注意力权重分布P1和P2；
S3、根据信息熵筛选注意力权重分布，进行加权融合；
S4、在目标函数中加入信息熵差距的约束条件，优化目标函数，使模型学到情感极性分类的因果决策关系；
S5、通过优化的模型提取具有纵向因果决策关系的文本情感特征，用这些特征完成情感极性分类。
进一步地，所述步骤S1具体为：
首先使用情感词典给每个句子的情感词汇标记情感分数，得到一个包含所有句子词汇情感分数的二维矩阵S；
接着通过式(1)对S按行求平均，得到由每个句子的平均情感分数组成的一维矩阵
其中，sij∈S，sij表示第i个句子的第j个词汇的分数，若该词汇不属于情感词汇，则分数为0； 表示第i个句子的平均情感分数；Li表示第i个句子的情感词汇个数；
将作为模型的先验情感信息。
进一步地，所述步骤S2的具体过程如下：
设所有句子的词向量组成词嵌入三阶张量W，通过式(2)-式(5)，计算W和情感平均分数矩阵的相关关系并分配权重，得到两个注意力权重分布P1和P2：
上式中，Xi∈W，xij∈Xi，Xi表示第i个句子的二维词嵌入矩阵，xij表示第i个句子的第j个单词的词向量；Ni表示第i个句子的单词总数；表示第i个句子的平均情感分数；式(2)的注意力方向：词嵌入矩阵→平均情感分数，xs_aij表示该方向上第i个句子的第j个单词的注意力权重，所有的xs_aij通过式(3)的激活函数σ构成P1；式(4)的注意力方向：平均情感分数→词嵌入矩阵，sx_aij表示该方向上第i个句子的第j个单词的注意力权重，所有的sx_aij通过式(5)激活函数σ构成P2。
进一步地，所述步骤S3的具体过程如下：
计算步骤S2中P1和P2的信息熵H(P1)和H(P2)，选择两者中信息熵小的注意力权重分布Pmin按式(6)进行加权融合，
min_ai∈Pmin，min_ai表示该分布中的第i个句子的注意力权重；
从而调整注意力输入层的信息流；
接着按式(7)合并所有特征矩阵，
表示加权融合后第i个句子的特征矩阵，Concat(；)表示沿着批次的方向将所有合并，n表示句子总数，U表示合并后的特征张量；
受残差结构的启发，将注意力输入层的词嵌入张量W和注意力输出层的特征张量U按式(8)的规则进行结合，
[；]表示将张量纵向合并；
避免前面加权融合时丢失部分关键信息。
进一步地，所述步骤S4中，优化目标函数的具体过程如下：
信息熵小的注意力权重分布Pmin的信息熵记为H(Pmin)，计算预测输出层O的信息熵H(O)，将这两者融入损失函数Loss中，形成式(9)新的目标函数，进而在更新模型参数时，引导模型扩大这两层信息熵的差距；
其中，B表示一个训练批次的句子数，yi表示模型预测值，表示真实标签，λ1和λ2表示可训练的参数，第一项是损失函数，第二项是Pmin和O的信息熵的差距。
进一步地，所述步骤S5中，预测输出层O包含模型纵向因果关系的情感特征，将O通过线性层和softmax激活函数的计算，得到情感极性的预测值，再与真实标签进行对比，进而完成情感极性的分类。
与现有技术相比，本方案原理及优点如下：
1.提出一种情感特征注意力计算的方法，通过添加情感先验知识和综合句子的平均情感分数，从而增强模型提取情感特征的质量。
2.提出一种筛选注意力权重分布的方法，通过信息熵的计算引导注意力更加集中地关注句子的情感特征，从而消除其余无关特征对预测的影响，增强预测的稳定性和可靠性。
3.提出一种基于信息熵的目标函数优化的方法，通过在目标函数中加入信息熵差距的约束条件，使模型学到情感极性分类的因果决策关系，从而可以从因果层面保证情感特征的合理性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的服务作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于注意力因果解释的文本情感特征提取方法的原理流程图；
图2为本发明基于注意力因果解释的文本情感特征提取方法中情感特征注意力计算的流程图；
图3为本发明基于注意力因果解释的文本情感特征提取方法中筛选注意力权重分布的流程图；
图4为本发明基于注意力因果解释的文本情感特征提取方法中基于信息熵的目标函数优化的流程图；
图5为本发明基于注意力因果解释的文本情感特征提取方法中情感极性分类的流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明：
如图1所示，本实施例所述的基于注意力因果解释的文本情感特征提取方法，通过情感特征注意力计算、筛选注意力权重分布、优化目标函数，最终构建具有纵向因果关系的文本情感分析模型，基于此模型提取高质量的情感特征并完成情感分类预测。
下面为具体的实施步骤：
S1、用情感词典给数据集中的句子添加先验的情感信息，得到情感平均分数矩阵本步骤中，
首先使用情感词典给每个句子的情感词汇标记情感分数，得到一个包含所有句子词汇情感分数的二维矩阵S；
接着通过式(1)对S按行求平均，得到由每个句子的平均情感分数组成的一维矩阵
其中，sij∈S，sij表示第i个句子的第j个词汇的分数，若该词汇不属于情感词汇，则分数为0； 表示第i个句子的平均情感分数；Li表示第i个句子的情感词汇个数；
将作为模型的先验情感信息。
S2、用双向注意力机制计算词嵌入矩阵与情感平均分数矩阵的相关关系，得到两个注意力权重分布P1和P2；
如图2所示，本步骤的具体过程如下：
设所有句子的词向量组成词嵌入三阶张量W，通过式(2)-式(5)，计算W和情感平均分数矩阵的相关关系并分配权重，得到两个注意力权重分布P1和P2：
上式中，Xi∈W，xij∈Xi，Xi表示第i个句子的二维词嵌入矩阵，xij表示第i个句子的第j个单词的词向量；Ni表示第i个句子的单词总数；表示第i个句子的平均情感分数；式(2)的注意力方向：词嵌入矩阵→平均情感分数，xs_aij表示该方向上第i个句子的第j个单词的注意力权重，所有的xs_aij通过式(3)的激活函数σ构成P1；式(4)的注意力方向：平均情感分数→词嵌入矩阵，sx_aij表示该方向上第i个句子的第j个单词的注意力权重，所有的sx_aij通过式(5)激活函数σ构成P2。
S3、根据信息熵筛选注意力权重分布，进行加权融合；
如图3所示，本步骤的具体过程如下：
计算步骤S2中P1和P2的信息熵H(P1)和H(P2)，选择两者中信息熵小的注意力权重分布Pmin按式(6)进行加权融合，
min_ai∈Pmin，min_ai表示该分布中的第i个句子的注意力权重；
从而调整注意力输入层的信息流；
接着按式(7)合并所有特征矩阵，
表示加权融合后第i个句子的特征矩阵，Concat(；)表示沿着批次的方向将所有合并，n表示句子总数，U表示合并后的特征张量；
受残差结构的启发，将注意力输入层的词嵌入张量W和注意力输出层的特征张量U按式(8)的规则进行结合，
[；]表示将张量纵向合并；
避免前面加权融合时丢失部分关键信息。
通过上述使注意力权重分布更加集中，把注意力的关注点落在情感特征上，从而提高注意力层编码的稳定性。
S4、在目标函数中加入信息熵差距的约束条件，优化目标函数，使模型学到情感极性分类的因果决策关系；
如图4所示，本步骤的具体过程如下：
信息熵小的注意力权重分布Pmin的信息熵记为H(Pmin)，将注意力输出层记为预测输出层，代表用这层进行分类。计算预测输出层O的信息熵H(O)，将这两者差值的二范数融入损失函数Loss中，形成式(9)新的目标函数，进而在更新模型参数时，引导模型扩大这两层信息熵的差距；(目的：(1)使模型学到纵向的因果关系(纵向即前一个网络层和后一个网络层之间的因果关系，保证模型的情感分类结果具有可靠的因果依据)；(2)保证模型总的信息熵在下降，从而保证模型决策的稳定性和可靠性)
其中，B表示一个训练批次的句子数，yi表示模型预测值，表示真实标签，λ1和λ2表示可训练的参数，第一项是损失函数，第二项是Pmin和O的信息熵的差距；为了保证差距为正数，因此添加二范数进行约束。
S5、最后，通过优化的模型提取具有纵向因果决策关系的文本情感特征，用这些特征完成情感极性分类。
具体地，图5预测输出层O包含了模型纵向因果关系的情感特征，将O通过线性层和softmax激活函数的计算，得到情感极性的预测值，再与真实标签进行对比，进而完成情感极性的分类。
以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (4)

1.基于注意力因果解释的文本情感特征提取方法，其特征在于，通过情感特征注意力计算、筛选注意力权重分布、优化目标函数，最终构建具有纵向因果关系的文本情感分析模型，基于此模型提取高质量的情感特征并完成情感分类预测；
包括以下步骤：
S1、用情感词典给数据集中的句子添加先验的情感信息，得到情感平均分数矩阵S；
S2、用双向注意力机制计算词嵌入矩阵与情感平均分数矩阵的相关关系，得到两个注意力权重分布P1和P2；
S3、根据信息熵筛选注意力权重分布，进行加权融合；
S4、在目标函数中加入信息熵差距的约束条件，优化目标函数，使模型学到情感极性分类的因果决策关系；
S5、通过优化的模型提取具有纵向因果决策关系的文本情感特征，用这些特征完成情感极性分类；
所述步骤S1具体为：
首先使用情感词典给每个句子的情感词汇标记情感分数，得到一个包含所有句子词汇情感分数的二维矩阵S；
接着通过式(1)对S按行求平均，得到由每个句子的平均情感分数组成的一维矩阵
其中，sij∈S，sij表示第i个句子的第j个词汇的分数，若该词汇不属于情感词汇，则分数为0； 表示第i个句子的平均情感分数；Li表示第i个句子的情感词汇个数；
将作为模型的先验情感信息；
所述步骤S2的具体过程如下：
设所有句子的词向量组成词嵌入三阶张量W，通过式(2)-式(5)，计算W和情感平均分数矩阵的相关关系并分配权重，得到两个注意力权重分布P1和P2：
上式中，Xi∈W，xij∈Xi，Xi表示第i个句子的二维词嵌入矩阵，xij表示第i个句子的第j个单词的词向量；Ni表示第i个句子的单词总数；表示第i个句子的平均情感分数；式(2)的注意力方向：词嵌入矩阵→平均情感分数，xs_aij表示该方向上第i个句子的第j个单词的注意力权重，所有的xs_aij通过式(3)的激活函数σ构成P1；式(4)的注意力方向：平均情感分数→词嵌入矩阵，sx_aij表示该方向上第i个句子的第j个单词的注意力权重，所有的sx_aij通过式(5)激活函数σ构成P2。
2.根据权利要求1所述的基于注意力因果解释的文本情感特征提取方法，其特征在于，所述步骤S3的具体过程如下：
计算步骤S2中P1和P2的信息熵H(P1)和H(P2)，选择两者中信息熵小的注意力权重分布Pmin按式(6)进行加权融合，
min_ai∈Pmin，min_ai表示该分布中第i个句子的注意力权重，Xi表示第i个句子的二维词嵌入矩阵；
从而调整注意力输入层的信息流；
接着按式(7)合并所有特征矩阵，
表示加权融合后第i个句子的特征矩阵，Concat(；)表示沿着批次的方向将所有/>合并，n表示句子总数，U表示合并后的特征张量；
受残差结构的启发，将注意力输入层的词嵌入张量W和注意力输出层的特征张量U按式(8)的规则进行结合，
[；]表示将张量纵向合并；
避免前面加权融合时丢失部分关键信息。
3.根据权利要求1所述的基于注意力因果解释的文本情感特征提取方法，其特征在于，所述步骤S4中，优化目标函数的具体过程如下：
信息熵小的注意力权重分布Pmin的信息熵记为H(Pmin)，计算预测输出层O的信息熵H(O)，将这两者融入损失函数Loss中，形成式(9)新的目标函数，进而在更新模型参数时，引导模型扩大这两层信息熵的差距；
其中，B表示一个训练批次的句子数，yi表示模型预测值，表示真实标签，λ1和λ2表示可训练的参数，第一项是损失函数，第二项是Pmin和O的信息熵的差距。
4.根据权利要求3所述的基于注意力因果解释的文本情感特征提取方法，其特征在于，所述步骤S5中，预测输出层O包含模型纵向因果关系的情感特征，将O通过线性层和softmax激活函数的计算，得到情感极性的预测值，再与真实标签进行对比，进而完成情感极性的分类。
CN202110280329.8A 2021-03-16 2021-03-16 基于注意力因果解释的文本情感特征提取方法 Active CN113011192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110280329.8A CN113011192B (zh) 2021-03-16 2021-03-16 基于注意力因果解释的文本情感特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110280329.8A CN113011192B (zh) 2021-03-16 2021-03-16 基于注意力因果解释的文本情感特征提取方法

Publications (2)

Publication Number Publication Date
CN113011192A CN113011192A (zh) 2021-06-22
CN113011192B true CN113011192B (zh) 2023-09-15

Family

ID=76408162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110280329.8A Active CN113011192B (zh) 2021-03-16 2021-03-16 基于注意力因果解释的文本情感特征提取方法

Country Status (1)

Country Link
CN (1) CN113011192B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494791B (zh) * 2022-04-06 2022-07-08 之江实验室 一种基于注意力选择的transformer运算精简方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670045A (zh) * 2018-11-02 2019-04-23 天津大学 基于本体模型和多核支持向量机的情感原因抽取方法
WO2019080863A1 (zh) * 2017-10-26 2019-05-02 福建亿榕信息技术有限公司 文本情感分类方法、存储介质及计算机

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019080863A1 (zh) * 2017-10-26 2019-05-02 福建亿榕信息技术有限公司 文本情感分类方法、存储介质及计算机
CN109670045A (zh) * 2018-11-02 2019-04-23 天津大学 基于本体模型和多核支持向量机的情感原因抽取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贵向泉 等.融合TCN与BiLSTM+Attention模型的疫情期间文本情感分析.https://kns.cnki.net/kcms/detail/61.1294.N.20201124.1607.002.html.2020,第1-10页. *

Also Published As

Publication number Publication date
CN113011192A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN111177376B (zh) 一种基于bert与cnn层级连接的中文文本分类方法
CN109858032A (zh) 融合Attention机制的多粒度句子交互自然语言推理模型
CN111275085A (zh) 基于注意力融合的在线短视频多模态情感识别方法
CN111523534B (zh) 一种图像描述的方法
CN108170848B (zh) 一种面向中国移动智能客服的对话场景分类方法
CN111506732B (zh) 一种文本多层次标签分类方法
CN108647258B (zh) 一种基于实体关联性约束的表示学习方法
CN115687626A (zh) 一种基于提示学习融合关键词的法律文书分类方法
CN112395417A (zh) 基于深度学习的网络舆情演化仿真方法及系统
CN112818742A (zh) 一种用于智能面试的表达能力维度评价方法及装置
CN112307130B (zh) 一种文档级远程监督关系抽取方法及系统
CN113987183A (zh) 一种基于数据驱动的电网故障处置预案辅助决策方法
CN113886562A (zh) 一种ai简历筛选方法、系统、设备和存储介质
CN112307760A (zh) 基于深度学习的财务报告情感分析方法、装置及终端
CN113011192B (zh) 基于注意力因果解释的文本情感特征提取方法
CN112699218A (zh) 模型建立方法及系统及段落标签获得方法及介质
CN113869055A (zh) 基于深度学习的电网项目特征属性识别方法
CN115630156A (zh) 一种融合Prompt和SRU的蒙古语情感分析方法与系统
CN113920379B (zh) 一种基于知识辅助的零样本图像分类方法
CN114692623A (zh) 一种环境类网络舆情的情感分析方法
CN114547300A (zh) 一种结合远程监督和有监督的关系分类方法
CN112989830B (zh) 一种基于多元特征和机器学习的命名实体识别方法
CN112527866A (zh) 基于文本摘要情感挖掘的股票趋势预测方法和系统
CN116881689A (zh) 知识增强的用户多模态在线评论质量评估方法和系统
CN114783072B (zh) 一种基于远域迁移学习的图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhang Ling

Inventor after: Ye Yuanli

Inventor before: Ye Yuanli

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant