CN115129818A - 基于知识驱动多分类的情绪原因对提取方法及系统 - Google Patents

基于知识驱动多分类的情绪原因对提取方法及系统 Download PDF

Info

Publication number
CN115129818A
CN115129818A CN202210805075.1A CN202210805075A CN115129818A CN 115129818 A CN115129818 A CN 115129818A CN 202210805075 A CN202210805075 A CN 202210805075A CN 115129818 A CN115129818 A CN 115129818A
Authority
CN
China
Prior art keywords
emotion
clause
reason
classification
emotional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210805075.1A
Other languages
English (en)
Inventor
宗林林
张靖琳
秦鑫
张宪超
徐博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202210805075.1A priority Critical patent/CN115129818A/zh
Publication of CN115129818A publication Critical patent/CN115129818A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了基于知识驱动多分类的情绪原因对提取方法及系统，本发明将数据集文档分词后，计算从句中每个词的情绪分数，相加得到从句的情绪分数。再通过长短期记忆人工神经网络学习文档上下文信息，结合位置嵌入学习和窗口搜索提取情绪‑原因对。本发明联合语义知识嵌入，位置信息学习和窗口搜索提高情绪‑原因对提取的准确率。缓解了标签不平衡等问题，在公开的数据集上有较好的效果。

Description

基于知识驱动多分类的情绪原因对提取方法及系统
技术领域
本发明属于自然语言处理领域，涉及一种基于知识驱动多分类和图位置嵌入的情绪-原因对提取。
背景技术
近年来，情绪分析成为自然语言处理的热门方向。情绪原因提取(ECE)是情绪分析的一个分支，给定一个文档和其中的情绪从句，找出引起情绪的原因从句。尽管情绪原因提取在自然语言处理任务中引起了广泛关注，但它要求情绪从句必须事先标记，在实际场景应用中难以展开。为了解决这一问题，提出了一项新任务，称为情绪原因对提取(ECPE)。与之前情绪原因提取从句的任务不同，情绪原因对提取任务将情绪从句及其对应的原因从句视为一个整体，称为情绪原因对，联合提取二者。提取的情绪-原因对包含了丰富的情绪原因信息，在深入的情绪分析中起着关键作用。这项任务在最近的研究中引起了广泛关注。
图1是ECPE任务的一个文档和提取的情绪原因对，文档中包含五个连续子句。C1是一个情绪从句，带有情绪词“Excited”，同时C1也是自己对应的原因从句。其中情绪“Excited”是由短语“See the paintings”引起的。同样，C4也是情绪从句带有情绪词“Guilty”，但引起“Guilty”情绪的原因并不包含在C4中。阅读文档中的其他从句可以发现，C5是与C4相对应的原因从句。此任务的目标是提取情绪原因对集合：[(C1，C1)，(C4，C5)]。
与给定情绪的原因提取任务相比，情绪-原因对提取是一项更具有挑战性的任务。以往对情绪-原因对提取的研究主要分为两类：管道模型和端到端模型。管道模型由两部分组成：第一步设计算法分别提取情绪子句和原因子句，第二步将第一步提取的情绪子句和原因子句进行匹配。然而管道模型具有严重的缺陷，由于第一步产生的错误可能会传播并影响第二步的性能，因此管道模型的性能受到限制。为了解决这个问题，端到端的情绪原因对算法被提出，大多数现有的端到端模型使用二维表示来表示情绪-原因对，并基于不同的神经模型对其进行预测。
虽然这些研究提高了情绪-原因对提取的性能，但仍然存在以下三个问题。(1)大多数相关研究将从句分为两种类型：情绪和原因，忽略了事实上有四种类型的从句：情绪，原因，既是情绪也是原因和既不是情绪也不是原因。用于检测情绪和原因的传统二元分类可能会被其他两种类型误导。(2)情绪从句和原因从句通常由一些特定的词决定，这些词使从句成为情绪从句或原因从句。这些独特的词通常具有事先已知的特定属性，然而最近的工作中并不包含这些先验知识，事实上人类在情绪原因的判断中也会受到先验知识的影响。(3)现有的工作中通常根据真实情绪-原因对相对位置进行编码或生成位置矩阵，这可能会受到不精确情绪假设子句和文档长度不平衡的负面影响。
发明内容
本发明的目的是提供一种情绪原因识别算法，克服现有的情绪原因模型中从句类型区分不全的缺点。本发明将情绪原因对提取作为一种新的基于知识的多分类任务，并提出了一种基于图的位置嵌入约束。本发明将从句分为四种类型：情绪从句、原因从句、情绪原因从句和非情绪原因从句。首先，设计了一个子任务来提取这四种类型的从句，该子任务利用了语义嵌入和先验情绪信息。然后，针对训练数据集情绪原因对位置构造加权有向图，并传播边权重信息以获得边的上下文信息。随后，综合入度、出度和边上下文信息，得到位置嵌入。最后，设计基于窗口大小的情绪原因对提取模型。
本发明的技术方案为：
基于知识驱动多分类和图位置嵌入的情绪原因对提取方法，包括以下步骤：
S1计算从句情绪分数：通常认为包含情绪的从句情绪倾向应该大于不包含情绪语句的情绪倾向，且包含原因的情绪倾向通常也大于不包含任何情绪原因的从句。基于此设计计算从句的情绪倾向，导入情绪词典，情绪词典中每个词汇赋予一个情绪分数；逐一读取每个文档，提取文档中每个从句的分词，与情绪词典中的词汇进行匹配并赋予对应的情绪分数，若词汇不存在于情绪词典中分数记为零，之后相加计算从句情绪分数并储存；
S2文档语义嵌入学习：将从句中的分词替换为词向量，每个从句生成词嵌入矩阵；使用词汇级的双向长短时记忆网络学习从句间词汇的上下文信息；再加入注意力机制，使算法专注于语句中的关键词，每个从句生成句向量；
将得到的句向量输入特定语义类型的语句级的双向长短时记忆网络中，学习上下文，生成语义特定的句向量；所述语义特定的句向量包括情绪特定的句向量、原因特定的句向量、情绪原因特定的句向量和非情绪原因特定的句向量；
S3从句情绪原因判断的联合学习分类：使用四个线性分类器区分步骤S2中不同种类的语义特定的从句向量，其中，在预测时将步骤S1得到的情绪分数也加入到各分类器中进行判断；
S4基于图信息的位置嵌入：
已有的工作共有两种不同的情绪-原因对位置提取策略：1)从文档中假定一句话为情绪从句，以此从句为中心，对其他从句编码相对位置。例如假定文档中第三句为情绪从句，那么第三句话的相对位置为0，该文档中的第二句话相对位置-1，文档中第四句话相对位置为1，依此类推。然而这种相对位置编辑算法存在的明显缺陷，算法将文档中的每句话都假定为情绪从句，对情绪从句的提取没有任何帮助。2)标签的真实矩阵生成算法。此种方法的缺点是由于文档的长度各不相同，会产生权重不平衡等问题，得到的真实标签矩阵不具有普遍性，对算法产生错误影响。为了缓解权重不平衡的问题，提出了基于图信息的位置嵌入，将标签位置信息，图的入度和出度作为向量传播邻居之间的信息，生成位置嵌入。认为，如果该位置出现的情绪-原因对的次数越高，那么这个位置作为情绪原因的概率就越高。图的入度和出度代表的是该位置下原因从句和情绪从句出现的概率。模块由两个部分组成，图的构建和生成位置嵌入。具体实施如下：
S4.1图的构建：计算数据集中所有文档从句数的最大值m，构建包含m个节点的不含边的无连通图，根据S3判断的情绪原因从句类型，按照情绪-原因对的位置建立边，并根据出现次数赋予边的权重；初始时不添加任何边。
S4.2图信息传播和位置生成：使用GCN算法学习边的邻居信息，生成含有上下文的边句嵌入，加入图的入度和出度信息学习上下文生成最终的位置信息；所述图的入度和出度代表该位置下原因从句和情绪从句出现的概率。
S5基于窗口的情绪-原因对提取：根据将文档中每句话作为候选从句，与文档中的从句拼接形成情绪-原因候选对；设置搜索窗口大小，对于一个候选从句只选搜索窗口范围内语句生成情绪-原因候选对，拼接位置信息联合S4.2判断的情绪-原因对概率。
进一步地，所述S1中从句i情绪分数
Figure BDA0003738489430000031
其中，
Figure BDA0003738489430000032
为从句i中第j个分词的情绪分数，k为从句i中分词的个数。
进一步地，所述S3中首先进行从句情绪和原因分类，再进行从句情绪原因分类，最后进行从句非情绪原因分类；
所述从句情绪原因分类方发为：将情绪特定的句向量和原因特定的句向量分别拼接情绪分数，送入线性分类器得到从句情绪分类的概率和从句原因分类的概率；
Figure BDA0003738489430000033
Figure BDA0003738489430000034
其中，
Figure BDA0003738489430000035
为情绪特性的句向量，
Figure BDA0003738489430000036
为原因特性的句向量，We为情绪可训练参数，Wc为原因可训练参数，be为情绪偏置向量，bc为原因偏置向量，
Figure BDA0003738489430000037
和
Figure BDA0003738489430000038
分别是预测的情绪从句和原因从句的分布，si为从句的情绪分数，i代表本文档中的第i个从句；
所述从句情绪原因分类：当从句的情绪和原因的概率越高，理论上从句的情绪原因的分类就应该越高。将从句特征向量与从句情绪分类概率、从句原因分类概率和情绪分数拼接联合判断从句情绪原因分类；
Figure BDA0003738489430000041
其中，
Figure BDA0003738489430000042
是预测的情绪原因从句的分布，
Figure BDA0003738489430000043
为情绪原因特性句向量，Wec为情绪原因可训练参数，bec为情绪原因偏置向量；
所述从句非情绪原因分类：与情绪原因分类中相反的是，当从句情绪分类和原因分类的概率越低时，从句的非情绪原因分类应该越高。将从句特征向量与从句非情绪分类的概率、从句非原因分类的概率和从句情绪分数拼接联合判断从句非情绪原因分类；
Figure BDA0003738489430000044
其中，
Figure BDA0003738489430000045
是预测的非情绪原因从句的分布，
Figure BDA0003738489430000046
为非情绪原因特性句向量，Wn为非情绪原因可训练参数，bn为非情绪原因偏置向量；
Figure BDA0003738489430000047
和
Figure BDA0003738489430000048
分别为非情绪分类的概率和非原因分类的概率，其中
Figure BDA0003738489430000049
从句情绪原因联合判断的loss如公式所示：
Figure BDA00037384894300000410
其中j为不同的从句分类类型，y代表预测标签，
Figure BDA00037384894300000411
代表真实标签。
进一步地，S4.1当文档中包含一组情绪-原因对Pij，其中i代表情绪从句，j代表原因从句；如果图中i结点与j结点之间不包含原因对，添加新边Eij＝<i,j>，并将这条边的值置为1；若此情绪-原因对Pij出现n次，则将该条边得值置为n。
进一步地，S4.2中加入多轮GRU获得图中边的邻居信息，将最后一轮迭代结果作为边位置嵌入的结果pij，其中第t+1轮的结果由第t轮结果推到得到：
P(t+1)＝GRU(concat(P(t),P(0)))
其中，P(0)为边的初始值。
采用BiLSTM学习边入度和出度以及边位置嵌入，生成代表位置信息的位置嵌入，公式如下：
Figure BDA00037384894300000412
其中，pi,j为迭代后的边位置嵌入，
Figure BDA00037384894300000413
为图中第i个点的入度代表该位置作为原因的概率，
Figure BDA00037384894300000414
为图中第j个点的出度代表该位置作为情绪的概率。
进一步地，S5中使用全连接层预测最终情绪-原因对，公式如下：
Figure BDA00037384894300000415
其中
Figure BDA0003738489430000051
W为权重参数，b为偏置，i为文档中第i个结点为候选情绪从句，j为文档中第j个结点为候选原因从句；
yij是情绪-原因对预测标签，
Figure BDA0003738489430000052
是情绪-原因对的真实标签，Loss计算公式如下：
Figure BDA0003738489430000053
其中d为文档中情绪-原因对的个数，i和j表明了情绪-原因对的搜索范围，根据中文的语言习惯，通常引起情绪的原因从句在情绪从句的附近。优选地，j＝[i-2,i+2]。
进一步地，算法总训练Loss公式如下：Lall＝Lsub+λ1Lpair+λ2||Θ||；
其中，Lsub为从句情绪原因联合判断的loss，Lpair为情绪-原因对判断的loss，λ1∈(0,1)为权重，λ2||Θ||为模型中的超参。
本发明提出一种于基于知识驱动多分类的情绪原因对提取系统。如图2所示，包括：
情绪分数计算模块：用于对文档中的每个从句，查询每个词汇的情绪分数，相加计算从句情绪分数并保存下来。公式如下：
Figure BDA0003738489430000054
语义学习模块：用于从句学习相邻词汇和相邻语句的上下文，加入注意力机制，生成从句的句嵌入。包括情绪特定的句嵌入、原因特定的句嵌入、情绪原因特定的句嵌入和非情绪原因特定的句嵌入用于后续分类。
情绪原因分类从句分类模块：用于计算一句话属于不同类型从句的概率，所述类型包括情绪、原因、情绪原因和非情绪原因；情绪分布和原因分布通过从句情感分数和语义特定的句嵌入预测得到；情绪原因预测由情绪、原因的分布和情绪原因特定的句嵌入生成；非情绪原因的分布由非情绪、非原因和非情绪原因特定的句嵌入生成。
图信息嵌入模块：用于生成位置信息，分为两个步骤：图的构建和图信息传播和位置生成。
图的构建：生成含有最大结点数的不含边的无连通图，根据情绪-原因对的位置建立边，并根据出现次数赋予边的权重。
图信息传播和位置生成：使用GCN算法学习边的邻居信息，生成含有上下文的边句嵌入，加入图的入度和出度信息学习上下文生成最终的位置信息。
基于窗口的情绪-原因对提取模块：用于获取最终的情绪-原因对，通过限制搜索窗口大小，提高准确率。窗口设置为2，每次只取候选情绪从句的前后两句话位置的从句作为候选原因从句范围。
本发明的有益效果在于：本发明的情绪-原因对提取算法通过外部知识驱动，通过一系列算法提高情绪-原因对的准确性。缓解了标签不平衡等问题，避免了二元分类的缺点。
与现有的情绪-原因对相比，本发明有以下几个特点：
(1)本发明的有益效果将文档从句分为四类，并设计了一个基于知识的多分类子任务，通过先验知识挖掘了更高层次的语义信息并提高了算法的准确率。
(2)将传播的边缘上下文信息、节点的入度和节点的出度集成到BiLSTM中，以充分更准确的利用情绪原因对的位置信息。
(3)在公开使用的ECPE数据集上检验了的模型的有效性，并证明了所提出的模型与许多竞争基线相比的优越性。
附图说明
图1是ECPE任务的一个文档和提取的情绪原因对
图2是本发明基于知识驱动的情绪-原因对抽取算法的流程图。
图3是本发明基于知识驱动的情绪-原因对抽取算法的模块结构示意图。
图4是本发明实施例的文档中每句话的情绪分数计算示意图。
具体实施方式
以下是结合附图及具体实施方式对本发明进行说明：
如图2所示，一种基于知识驱动多分类和图位置嵌入的情绪-原因对提取，该方法包括以下步骤：
A、从句情绪分数的计算：导入玻森情绪词典，逐一读取每个文档。对文档中的每个从句分词，并计算每个词汇的情绪分数，若词汇不存在于情绪词典中分数记为零，相加计算从句情绪分数并储存。
其中，玻森情绪词典是中文情绪词典，它给予每个词汇一个情绪分数。词典中根据词汇表达的情绪的强弱，分数从高到低。并依据词汇的情绪极性赋予情绪分数正值或负值。
B、文档语义嵌入学习：包括语句的词汇级嵌入学习和语句级嵌入学习。
词汇级嵌入学习的方法为：首先将词汇转化为词向量，从句中的每个单词对应维度为200的词嵌入，将词嵌入按原语句顺序排列，生成从句词嵌入矩阵。使用词汇级的双向长短时记忆网络(Bi-LSTM)学习从句间词汇的上下文信息。再加入注意力机制，使算法专注于语句中的关键词，最终每句话生成句嵌入。
语句级嵌入学习的方法为：将上文中得到的句嵌入送到语句级的Bi-LSTM中，学习上下文，生成语义特定的句嵌入。
其中，语义特定的句嵌入指的是使用了四个Bi-LSTM模型。虽然网络结构相同，但随机初始化生成了不同的权重参数来计算情绪特定，原因特定，情绪原因特定和非情绪原因特定的句向量，用于后续从句联合分类。
C、从句情绪原因判断的联合学习分类：首先进行从句情绪和原因分类，在进行从句情绪原因分类，最终进行从句非情绪原因分类。
从句情绪原因分类方发为：将情绪特定的句向量和原因特定的句向量拼接情绪分数，送入线性分类器得到从句情绪分类的概率和从句原因分类的概率。
从句情绪原因分类：当从句的情绪和原因的概率越高，理论上从句的情绪原因的分类就应该越高。将从句特征向量与情绪分类概率、原因分类概率和情绪分数拼接联合判断从句情绪原因分类。
从句非情绪原因分类：与情绪原因分类中相反的是，当从句情绪分类和原因分类的概率越低时，从句的非情绪原因分类应该越高。将从句特征向量与非情绪分类的概率、非原因分类的概率和从句情绪分数拼接联合判断从句非情绪原因分类。
D、基于图信息的位置嵌入：计算数据集中所有文档从句数的最大值m，构建包含m个节点的图，遍历全部文档中的情绪-原因对位置，根据情绪-原因对位置创建图的边。对于重复的边，每读取一次重复位置，边值加一。使用GRU算法学习边邻居信息，使用LSTM联合学习边和图的出度入度邻居信息。
E、基于窗口的情绪-原因对提取：将文档中每句话作为候选从句，与文档中的从句拼接形成情绪-原因候选对。设置搜索窗口大小，对于一个候选从句只选搜索窗口范围内语句生成情绪-原因候选对，拼接位置信息联合判断情绪-原因对概率。
实施例
假设输入一个文档，文档中包含三句话“那时，我在漯河买了一栋新房子。沉浸在成为漯河公民的喜悦中。感觉终于可以松一口气”，其中窗口大小设置为2。
(1)从句情绪分数的计算
对文档中的每个从句分词并去除标点符号，将从句拆分成仅包含词汇的语句，如图4所示。计算文档中每句话的情绪分数。首先，读取情绪字典，以<key,value>形式存储。将情绪词存储为key，情绪分数存储为value，方便查询。初始时，每句话的情绪分数为零，对从句中的每个词查询其是否在情绪词典中，若存在于情绪词典中，获取情绪分数与从句情绪分数相加。如公式所示：
Figure BDA0003738489430000081
其中，Si代表文档中第i句话的情绪分数，假设语句中共有k个词语。从图中可以看出其中C2是文档中的情绪从句，它的情绪得分也在本文档中最高为3.22。C1的得分略高于C3的得分，从句意上也可以看出，C1是引起C2情绪的原因从句。
(2)文档语义嵌入学习
对文档中的每句话，分词后将其替换为词向量，从句中的每个单词对应维度为200的词嵌入。将词嵌入排列，生成从句词嵌入矩阵Ci∈Rk*200，k表示语句中的单词个数。其中Ci＝(wi1,wi2,…,wik)，句中有k个单词。首先，使用词汇级的双向长短期记忆人工神经网络(Bi-LSTM)算法学习文档中从句层次的上下文的信息，如公式所示：
Figure BDA0003738489430000082
考虑到情绪从句和原因从句的抽取通常受到某几个单词或词组影响，在本方法中加入注意力机制学习，生成结合自注意力的新嵌入，如公式所示：
Figure BDA0003738489430000083
其中，W1和W2为可训练参数。为了学习不同类型语句的特征，引入了四个语句级别的Bi-LSTM学习从句间的上下文信息。值得注意的是，虽然使用了相同的网络结构，但是本方法使用了不同的权重，生成四个语义特定的句向量：情绪句向量，原因句向量，情绪原因句向量和非情绪原因句向量。情绪语义特定的句向量如公式所示：
Figure BDA0003738489430000084
其他语义特定的句嵌入与情绪语义特定的句嵌入获取方式相似，原因语义特定的句嵌入
Figure BDA0003738489430000085
情绪原因特定的句嵌入
Figure BDA0003738489430000086
和非情绪原因特定的句嵌入
Figure BDA0003738489430000087
(3)从句情绪原因判断的联合学习分类
基于上述分析，本方法加入了四个线性分类器做不同类型从句的分类抽取。为了获得更好的效果，使用语义特定的句嵌入和Bosen情绪分数来预测情绪和原因从句。公式如下所示：
Figure BDA0003738489430000088
Figure BDA0003738489430000089
其中We为情绪可训练参数，Wc为原因可训练参数，be为情绪偏置向量，bc为原因偏置向量，ye和yc是预测的情绪从句和原因从句的分布，si为前文中得出的分数该句话情绪得分，i代表本文档中的第i个从句，下同。值得注意的是，如果一个从句在情绪和原因的单独分类中得分较高，那么理论上他在情绪原因分类的概率应该增加。所以在其他从句分类的预测中，本方法将情绪和原因的概率加入到分类中联合判断。如公式所示：
Figure BDA0003738489430000091
非情绪原因的抽取与情绪原因抽取类似，不同的是，观察到当情绪和原因抽取的概率越低那么非情绪原因的概率越高。所以本方法加入非情绪分类的概率和非原因分类的概率，记为
Figure BDA0003738489430000092
和
Figure BDA0003738489430000093
其中
Figure BDA0003738489430000094
非情绪原因的计算如公式所示：
Figure BDA0003738489430000095
从句情绪原因联合判断的loss如公式所示：
Figure BDA0003738489430000096
其中j为不同的从句分类类型，y代表预测标签，
Figure BDA0003738489430000097
代表真实标签。
(4)基于图信息的位置嵌入由图的构建和生成位置嵌入两部分组成。具体实施如下：
图的构建：计算数据集中所有文档从句数的最大值m，构建包含m个节点不含边的图。读取数据集中的所有情绪原因对位置，例如文档中包含一组情绪-原因对Pij，其中i代表情绪从句，j代表原因从句。如果图中i结点与j结点之间不包含原因对，添加新边Eij＝<i,j>，并将这条边的值置为1。若此情绪-原因对Pij出现n次，则将该条边得值置为n。
图信息传播和位置嵌入生成：使用多轮GRU来获得图中边的邻居信息。将最后一轮迭代结果作为位置嵌入的结果pij，第t+1轮的结果由第t轮结果推到得到：
P(t+1)＝GRU(concat(P(t),P(0)))
使用BiLSTM来学习边入度和出度已经位置嵌入，生成代表位置信息的位置嵌入。公式如下：
Figure BDA0003738489430000098
(5)基于窗口的情绪-原因对提取
表一
Figure BDA0003738489430000099
Figure BDA0003738489430000101
使用情绪特性的句向量
Figure BDA0003738489430000102
原因特性的句向量
Figure BDA0003738489430000103
情绪原因特性句向量
Figure BDA0003738489430000104
情绪从句预测分数
Figure BDA0003738489430000105
原因从句预测分数
Figure BDA0003738489430000106
情绪原因从句预测分数
Figure BDA0003738489430000107
和位置嵌入
Figure BDA0003738489430000108
联合提取情绪-原因对。具体来说，公式化为
Figure BDA0003738489430000109
最后使用全连接层预测最终结果。公式如下：
Figure BDA00037384894300001010
替换了i＝j时的情绪-原因对计算公式，采用单独的情绪原因从句抽取。yij是情绪-原因对预测标签，
Figure BDA00037384894300001011
是情绪-原因对的真实标签。Loss计算公式如下：
Figure BDA00037384894300001012
其中d为文档中情绪-原因对的个数。i和j表明了情绪-原因对的搜索范围，由表一可知，通常引起情绪的原因从句在情绪从句的附近，其中95.43％的原因从句位于情绪从句的前后两句话以内，85.5％的原因从句位于情绪从句前后一句话以内。所以设置窗口来限制搜索范围，提高算法的效率，其中j＝[i-2,i+2]。算法总训练Loss公式如下：
Lall＝Lsub+λ1Lpair+λ2||Θ||。

Claims (10)

1.基于知识驱动多分类的情绪原因对提取方法，其特征在于，包括以下步骤：
S1计算从句情绪分数：导入情绪词典，情绪词典中每个词汇赋予一个情绪分数；逐一读取每个文档，提取文档中每个从句的分词，与情绪词典中的词汇进行匹配并赋予对应的情绪分数，若词汇不存在于情绪词典中分数记为零，之后相加计算从句情绪分数并储存；
S2文档语义嵌入学习：将从句中的分词替换为词向量，每个从句生成词嵌入矩阵；使用词汇级的双向长短时记忆网络学习从句间词汇的上下文信息；再加入注意力机制，每个从句生成句向量；
将得到的句向量输入特定语义类型的语句级的双向长短时记忆网络中，学习上下文，生成语义特定的句向量；所述语义特定的句向量包括情绪特定的句向量、原因特定的句向量、情绪原因特定的句向量和非情绪原因特定的句向量；
S3从句情绪原因判断的联合学习分类：使用四个线性分类器区分步骤S2中不同种类的语义特定的从句向量，其中，在预测时将步骤S1得到的情绪分数也加入到各分类器中进行判断；
S4基于图信息的位置嵌入：
S4.1图的构建：计算数据集中所有文档从句数的最大值m，构建包含m个节点的不含边的无连通图，根据S3判断的情绪原因从句类型，按照情绪-原因对的位置建立边，并根据出现次数赋予边的权重；
S4.2图信息传播和位置生成：使用GCN算法学习边的邻居信息，生成含有上下文的边句嵌入，加入图的入度和出度信息学习上下文生成最终的位置信息；所述图的入度和出度代表该位置下原因从句和情绪从句出现的概率；
S5基于窗口的情绪-原因对提取：根据将文档中每句话作为候选从句，与文档中的从句拼接形成情绪-原因候选对；设置搜索窗口大小，对于一个候选从句只选搜索窗口范围内语句生成情绪-原因候选对，拼接位置信息联合S4.2判断的情绪-原因对概率。
2.根据权利要求1所述的基于知识驱动多分类的情绪原因对提取方法，其特征在于，S1中从句i情绪分数
Figure FDA0003738489420000011
其中，
Figure FDA0003738489420000012
为从句i中第j个分词的情绪分数，k为从句i中分词的个数。
3.根据权利要求1所述的基于知识驱动多分类的情绪原因对提取方法，其特征在于，S3中首先进行从句情绪和原因分类，再进行从句情绪原因分类，最后进行从句非情绪原因分类；
所述从句情绪原因分类方发为：将情绪特定的句向量和原因特定的句向量分别拼接情绪分数，送入线性分类器得到从句情绪分类的概率和从句原因分类的概率；
Figure FDA0003738489420000013
Figure FDA0003738489420000021
其中，
Figure FDA0003738489420000022
为情绪特性的句向量，
Figure FDA0003738489420000023
为原因特性的句向量，We为情绪可训练参数，Wc为原因可训练参数，be为情绪偏置向量，bc为原因偏置向量，
Figure FDA0003738489420000024
和
Figure FDA0003738489420000025
分别是预测的情绪从句和原因从句的分布，si为从句的情绪分数，i代表本文档中的第i个从句；
所述从句情绪原因分类：将从句特征向量与从句情绪分类概率、从句原因分类概率和情绪分数拼接联合判断从句情绪原因分类；
Figure FDA0003738489420000026
其中，
Figure FDA0003738489420000027
是预测的情绪原因从句的分布，
Figure FDA0003738489420000028
为情绪原因特性句向量，Wec为情绪原因可训练参数，bec为情绪原因偏置向量；
所述从句非情绪原因分类：将从句特征向量与从句非情绪分类的概率、从句非原因分类的概率和从句情绪分数拼接联合判断从句非情绪原因分类；
Figure FDA0003738489420000029
其中，
Figure FDA00037384894200000210
是预测的非情绪原因从句的分布，
Figure FDA00037384894200000211
为非情绪原因特性句向量，Wn为非情绪原因可训练参数，bn为非情绪原因偏置向量；
Figure FDA00037384894200000212
和
Figure FDA00037384894200000213
分别为非情绪分类的概率和非原因分类的概率，其中
Figure FDA00037384894200000214
从句情绪原因联合判断的loss如公式所示：
Figure FDA00037384894200000215
其中j为不同的从句分类类型，y代表预测标签，
Figure FDA00037384894200000216
代表真实标签。
4.根据权利要求1所述的基于知识驱动多分类的情绪原因对提取方法，其特征在于，S4.1当文档中包含一组情绪-原因对Pij，其中i代表情绪从句，j代表原因从句；如果图中i结点与j结点之间不包含原因对，添加新边Eij＝<i,j>，并将这条边的值置为1；若此情绪-原因对Pij出现n次，则将该条边得值置为n。
5.根据权利要求1所述的基于知识驱动多分类的情绪原因对提取方法，其特征在于，S4.2中加入多轮GRU获得图中边的邻居信息，将最后一轮迭代结果作为边位置嵌入的结果pij，其中第t+1轮的结果由第t轮结果推到得到：
P(t+1)＝GRU(concat(P(t),P(0)))
其中，P(0)为边的初始值；
采用BiLSTM学习边入度和出度以及边位置嵌入，生成代表位置信息的位置嵌入，公式如下：
Figure FDA0003738489420000031
其中，pij为迭代后的边位置嵌入，
Figure FDA0003738489420000032
为图中第i个点的入度代表该位置作为原因的概率，
Figure FDA0003738489420000033
为图中第j个点的出度代表该位置作为情绪的概率。
6.根据权利要求3所述的基于知识驱动多分类的情绪原因对提取方法，其特征在于，S5中使用全连接层预测最终情绪-原因对，公式如下：
Figure FDA0003738489420000034
其中
Figure FDA0003738489420000035
W为权重参数，b为偏置，i为文档中第i个结点为候选情绪从句，j为文档中第j个结点为候选原因从句；
yij是情绪-原因对预测标签，
Figure FDA0003738489420000036
是情绪-原因对的真实标签，Loss计算公式如下：
Figure FDA0003738489420000037
其中d为文档中情绪-原因对的个数，i和j表明了情绪-原因对的搜索范围。
7.根据权利要求6所述的基于知识驱动多分类的情绪原因对提取方法，其特征在于，S5中，j＝[i-2,i+2]。
8.根据权利要求6所述的基于知识驱动多分类的情绪原因对提取方法，其特征在于，算法总训练Loss公式如下：Lall＝Lsub+λ1Lpair+λ2||Θ||；
其中，Lsub为从句情绪原因联合判断的loss，Lpair为情绪-原因对判断的loss，λ1∈(0,1)为权重，λ2||Θ||为模型中的超参。
9.采用权利要求1-8任一所述方法的基于知识驱动多分类的情绪原因对提取系统，其特征在于，包括如下模块：
情绪分数计算模块：用于对文档中的每个从句，查询每个词汇的情绪分数，相加计算从句情绪分数并保存下来；
语义学习模块：用于从句学习相邻词汇和相邻语句的上下文，加入注意力机制，生成从句的句嵌入；所述句嵌入包括情绪特定的句嵌入、原因特定的句嵌入、情绪原因特定的句嵌入和非情绪原因特定的句嵌入用于后续分类；
情绪原因分类从句分类模块：用于计算一句话属于不同类型从句的概率，所述类型包括情绪、原因、情绪原因和非情绪原因；情绪分布和原因分布通过从句情感分数和语义特定的句嵌入预测得到；情绪原因预测由情绪、原因的分布和情绪原因特定的句嵌入生成；非情绪原因的分布由非情绪、非原因和非情绪原因特定的句嵌入生成；
图信息嵌入模块：用于生成位置信息，包括图的构建和图信息传播和位置生成；
所述图的构建：生成含有最大结点数的不含边的无连通图，根据情绪-原因对的位置建立边，并根据出现次数赋予边的权重；
所述图信息传播和位置生成：使用GCN算法学习边的邻居信息，生成含有上下文的边句嵌入，加入图的入度和出度信息学习上下文生成最终的位置信息。
10.根据权利要求9所述的系统，其特征在于，还包括基于窗口的情绪-原因对提取模块：用于获取最终的情绪-原因对，通过限制搜索窗口大小，窗口设置为2，每次只取候选情绪从句的前后两句话位置的从句作为候选原因从句范围。
CN202210805075.1A 2022-07-10 2022-07-10 基于知识驱动多分类的情绪原因对提取方法及系统 Pending CN115129818A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210805075.1A CN115129818A (zh) 2022-07-10 2022-07-10 基于知识驱动多分类的情绪原因对提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210805075.1A CN115129818A (zh) 2022-07-10 2022-07-10 基于知识驱动多分类的情绪原因对提取方法及系统

Publications (1)

Publication Number Publication Date
CN115129818A true CN115129818A (zh) 2022-09-30

Family

ID=83381419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210805075.1A Pending CN115129818A (zh) 2022-07-10 2022-07-10 基于知识驱动多分类的情绪原因对提取方法及系统

Country Status (1)

Country Link
CN (1) CN115129818A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841119A (zh) * 2023-02-21 2023-03-24 中国科学技术大学 一种基于图结构的情绪原因提取方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841119A (zh) * 2023-02-21 2023-03-24 中国科学技术大学 一种基于图结构的情绪原因提取方法
CN115841119B (zh) * 2023-02-21 2023-06-16 中国科学技术大学 一种基于图结构的情绪原因提取方法

Similar Documents

Publication Publication Date Title
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN109190117B (zh) 一种基于词向量的短文本语义相似度计算方法
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN109933792B (zh) 基于多层双向lstm和验证模型的观点型问题阅读理解方法
CN112541356B (zh) 一种生物医学命名实体识别的方法和系统
JP7139626B2 (ja) フレーズ生成関係性推定モデル学習装置、フレーズ生成装置、方法、及びプログラム
CN113505200B (zh) 一种结合文档关键信息的句子级中文事件检测的方法
JP6603828B1 (ja) フレーズ生成モデル学習装置、フレーズ生成装置、方法、及びプログラム
CN114428850B (zh) 一种文本检索匹配方法和系统
CN115952292B (zh) 多标签分类方法、装置及计算机可读介质
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及系统
CN111177402A (zh) 基于分词处理的评价方法、装置、计算机设备及存储介质
CN112347269A (zh) 基于BERT和Att-BiLSTM的论点对识别方法
Suyanto Synonyms-based augmentation to improve fake news detection using bidirectional LSTM
Ordoñez et al. Will longformers PAN out for authorship verification
CN114417851A (zh) 一种基于关键词加权信息的情感分析方法
Kurniawan et al. Indonesian twitter sentiment analysis using Word2Vec
Leng et al. Deepreviewer: Collaborative grammar and innovation neural network for automatic paper review
CN115329085A (zh) 一种社交机器人分类方法及系统
CN110569355B (zh) 一种基于词块的观点目标抽取和目标情感分类联合方法及系统
Suleiman et al. Arabic sentiment analysis using Naïve Bayes and CNN-LSTM
CN115129818A (zh) 基于知识驱动多分类的情绪原因对提取方法及系统
CN116522165B (zh) 一种基于孪生结构的舆情文本匹配系统及方法
CN110489624B (zh) 基于句子特征向量的汉越伪平行句对抽取的方法
Suman et al. Gender Age and Dialect Recognition using Tweets in a Deep Learning Framework-Notebook for FIRE 2019.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination