CN112364127A - 一种短文档情感原因对提取方法、系统、存储介质 - Google Patents

一种短文档情感原因对提取方法、系统、存储介质 Download PDF

Info

Publication number
CN112364127A
CN112364127A CN202011187722.4A CN202011187722A CN112364127A CN 112364127 A CN112364127 A CN 112364127A CN 202011187722 A CN202011187722 A CN 202011187722A CN 112364127 A CN112364127 A CN 112364127A
Authority
CN
China
Prior art keywords
emotion
reason
clause
word
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011187722.4A
Other languages
English (en)
Inventor
袁洁莹
邹东升
宋浩浩
胡蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202011187722.4A priority Critical patent/CN112364127A/zh
Publication of CN112364127A publication Critical patent/CN112364127A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明属于自然语言处理的情感分析技术领域，公开了一种短文档情感原因对提取方法、系统、存储介质，所述短文档情感原因对提取系统包括：情感/原因提取模块、第一词级别编码器模块、词级别注意力模块、子句级别编码器模块、情感/原因预测模块、情感原因对提取模块、第二词级别编码器模块、位置编码器模块和情感原因对预测模块。本发明针对目前情感/原因提取中，忽略情感预测时，子句在整个文档中的表达与原因的关系，提出新的利用情感预测原因的结构；在情感原因对提取时，对于位置信息的利用并不充分，提出新的利用位置信息的结构，帮助机器更加精准的提取短文本的情感原因对。本发明可以帮助机器更加精准的提取短文本的情感原因对。

Description

一种短文档情感原因对提取方法、系统、存储介质
技术领域
本发明属于自然语言处理的情感分析技术领域，尤其涉及一种短文档情感原因对提取方法、系统、存储介质。
背景技术
目前，在传统短文档情感原因提取的研究中，通常是给定情感标签预测导致其情感的潜在的原因，给定情感标签限制了其在现实世界的应用，最近的研究提出直接预测出短文档的情感原因对，即不给定情感标签的前提下，预测文档潜在的情感以及导致其情感的潜在的原因。
由于最近的情感原因对提取的表现并不是很好，其F1只有0.6128，主要原因在于在情感/原因提取阶段，原因预测的准确率偏低，以及情感原因对提取阶段并未充分利用情感原因对的位置关系，以及使用的是200d的预训练词向量，导致其结果F1较低。通过就上面的三点进行优化，使其F1可以达到0.6816。
通过上述分析，现有技术存在的问题及缺陷为：现有的情感原因对提取过程中，在情感/原因提取阶段，原因预测的准确率偏低，以及情感原因对提取阶段并未充分利用情感原因对的位置关系，以及使用的是200d的预训练词向量，导致其结果F1较低。
发明内容
针对现有技术存在的问题，本发明提供了一种短文档情感原因对提取方法、系统、存储介质。
本发明是这样实现的，一种短文档情感原因对提取方法，所述短文档情感原因对提取方法，包括：
步骤一，第一词级别编码器模块将短文本中的每一子句送入词级别编码器，词级别注意力模块，通过注意力机制，引入了当前预测词对应输入词的上下文信息以及位置信息，计算句中的词的权重，并将每一句中词的权重和累加，得到新的文本向量；
步骤二，子句级别编码器模块将短文本的子句表达式送入子句级别编码器，情感/原因预测模块通过子句级别编码器获取不同子句之间的结构性信息更新子句表示后，分别通过softmax函数得到情感或原因的分类概率；
步骤三，情感/原因笛卡尔乘积配对模块将上一阶段预测的情感/原因子句按笛卡尔乘积一一配对，得到一个只有情感与原因交替出现的文本，同时计算情感/原因所在句子的相对位置，得到位置向量；
步骤四，第二词级别编码器模块将通过笛卡尔积配对后文本的每一子句送入词级别编码器，用于得到每个子句中词的上下文信息；位置编码器模块将位置向量送入位置编码器，用于得到在每一个短文本中情感子句与原因子句的位置信息；
步骤五，情感原因对预测模块，通过词级别编码器与位置编码器分别获取每个子句中词的上下文信息与每一个短文本中情感子句与原因子句的位置信息后，将其分别通过softmax函数得到情感或原因的分类概率。
进一步，所述步骤一中，第一词级别编码器模块采用BiLSTM作为最基础的词级别编码器，在每一个时间步，LSTM模型是由t时刻的输入词Xt，细胞状态ct，临时细胞状态
Figure BDA0002751895140000021
隐层状态ht，遗忘门ft，记忆门it，输出门ot组成；
LSTM的计算过程可以概括为，通过对细胞状态中信息遗忘和记忆新的信息使得对后续时刻计算有用的信息得以传递，而无用的信息被丢弃，并在每个时间步都会输出隐层状态ht，其中遗忘，记忆与输出由通过上个时刻的隐层状态ht-1和当前输入计算出来的遗忘门ft，记忆门it，输出门ot控制；在每一个时间步，隐状态ht通过以下公式更新：
ft＝σ(Wf·[ht-1，xt]+bj)；
it＝σ(Wi·[ht-1，xt]+bi)；
Figure BDA0002751895140000031
Figure BDA0002751895140000032
ot＝σ(Wo·[ht-1，xt]+b0)；
ht＝ot*tanh(Ct)；
最终，可以得到与句子长度相同的隐层状态序列{h0，h1，h2，...，hn-1}；前向的LSTM与后向的LSTM结合成BiLSTM。
进一步，所述步骤一中，词级别注意力模块通过注意力机制，该机制的本质其实就是引入了当前预测词对应输入词的上下文信息以及位置信息，即隐层状态序列{h0，h1，h2，...，hn-1}(n为句子中词的数量)，计算第i句中第j个词的权重αij，然后将每一句中词的权重和累加，得到新的文本向量si，即子句的表达，称为语境向量；计算公式如下：
eij＝We2(tanh(We1·hij+be))；
Figure BDA0002751895140000033
Figure BDA0002751895140000034
进一步，所述步骤二中，子句级别编码器模块将短文本的子句表达{s0，s1，s，...，sm-1}(m为短文本中句子的数量)送入子句级别编码器，用于得到每个短文档中不同子句基于情感/原因的上下文信息；采用BiLSTM作为最基础的子句级别编码器，情感预测与原因预测的输入有所区别；情感预测使用上一部分得到的短文本文本向量{s0，s1，...，sm-1}作为输入，得到情感预测基于短文本的情感文本表达
Figure BDA0002751895140000035
原因预测利用情感预测基于短文本的情感上下文信息与情感预测结果，得到新的文本向量si，再以si为输入，得到原因预测基于短文本的原因文本表达
Figure BDA0002751895140000036
ci的计算公式如下：
Figure BDA0002751895140000037
Figure BDA0002751895140000041
与
Figure BDA0002751895140000042
的计算方式与词级编码器类似。
进一步，所述步骤二中，情感/原因预测模块通过子句级别编码器获取不同子句之间的结构性信息更新子句表示后，分别通过softmax函数得到情感或原因的分类概率；计算公式如下：
Figure BDA0002751895140000043
Figure BDA0002751895140000044
进一步，所述步骤四中，第二词级别编码器模块采用BiLSTM作为最基础的词级别编码器；在每一个时间步，隐状态ht通过以下公式更新：
ft＝σ(Wf·[ht-1，xt]+bf)；
it＝σ(Wi·[ht-1，xt]+bj)；
Figure BDA0002751895140000045
Figure BDA0002751895140000046
ot＝σ(Wo·[ht-1，xt]+b0)；
ht＝ot*tanh(Ct)；
最终，可以得到与句子长度相同的隐层状态序列{h0，h1，h2，...，hn-1}，即Hi。这里前向的LSTM输出与后向的LSTM输出结合成BiLSTM的输出。
进一步，所述步骤四中，位置编码器模块采用BiLSTM作为最基础的位置编码器。
本发明的另一目的在于提供一种实施所述短文档情感原因对提取方法的短文档情感原因对提取系统，所述短文档情感原因对提取系统包括：情感/原因提取模块和情感原因对提取模块。
进一步，所述情感/原因提取模块包括：
第一词级别编码器模块，将短文本中的每一子句送入词级别编码器，用于得到每个子句中词的上下文信息；
词级别注意力模块，通过注意力机制，引入了当前预测词对应输入词的上下文信息以及位置信息，计算句中的词的权重，并将每一句中词的权重和累加，得到新的文本向量，即子句的表达，称为语境向量；
子句级别编码器模块，将短文本的子句表达式送入子句级别编码器，用于得到每个短文档中不同子句基于情感/原因的上下文信息；
情感/原因预测模块，通过子句级别编码器获取不同子句之间的结构性信息更新子句表示后，分别通过softmax函数得到情感或原因的分类概率。
进一步，所述情感原因对提取模块包括：
情感/原因笛卡尔乘积配对模块，将上一阶段预测的情感/原因子句按笛卡尔乘积一一配对，得到一个只有情感与原因交替出现的文本，同时计算情感/原因所在句子的相对位置，得到位置向量；
第二词级别编码器模块，将通过笛卡尔积配对后文本的每一子句送入词级别编码器，用于得到每个子句中词的上下文信息；
位置编码器模块，将位置向量送入位置编码器，用于得到在每一个短文本中情感子句与原因子句的位置信息；
情感原因对预测模块，通过词级别编码器与位置编码器分别获取每个子句中词的上下文信息与每一个短文本中情感子句与原因子句的位置信息后，将其分别通过softmax函数得到情感或原因的分类概率。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明首先针对目前情感/原因提取中，忽略情感预测时，子句在整个文档中的表达与原因的关系，提出了一种新的利用情感预测原因的结构，其次，在情感原因对提取时，对于位置信息的利用并不充分，因此提出了一种新的利用位置信息的结构，帮助机器更加精准的提取短文本的情感原因对。本发明可以帮助机器更加精准的提取短文本的情感原因对。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的短文档情感原因对提取方法流程图。
图2是本发明实施例提供的短文档情感原因对提取系统结构示意图。
图3是本发明实施例提供的短文本情感原因对提取框架图
图4是本发明实施例提供的情感/原因提取模型示意图。
图5是本发明实施例提供的情感原因对提取模型示意图。
图中：1、情感/原因提取模块；2、第一词级别编码器模块；3、词级别注意力模块；4、子句级别编码器模块；5、情感/原因预测模块；6、情感原因对提取模块；7、第二词级别编码器模块；8、位置编码器模块；9、情感原因对预测模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种短文档情感原因对提取方法、系统、存储介质，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的短文档情感原因对提取方法，包括：
S101：第一词级别编码器模块将短文本中的每一子句送入词级别编码器，词级别注意力模块，通过注意力机制，引入了当前预测词对应输入词的上下文信息以及位置信息，计算句中的词的权重，并将每一句中词的权重和累加，得到新的文本向量。
S102：子句级别编码器模块将短文本的子句表达式送入子句级别编码器，情感/原因预测模块通过子句级别编码器获取不同子句之间的结构性信息更新子句表示后，分别通过softmax函数得到情感或原因的分类概率。
S103：情感/原因笛卡尔乘积配对模块将上一阶段预测的情感/原因子句按笛卡尔乘积一一配对，得到一个只有情感与原因交替出现的文本，同时计算情感/原因所在句子的相对位置，得到位置向量。
S104：第二词级别编码器模块将通过笛卡尔积配对后文本的每一子句送入词级别编码器，用于得到每个子句中词的上下文信息；位置编码器模块将位置向量送入位置编码器，用于得到在每一个短文本中情感子句与原因子句的位置信息。
S105：情感原因对预测模块，通过词级别编码器与位置编码器分别获取每个子句中词的上下文信息与每一个短文本中情感子句与原因子句的位置信息后，将其分别通过softmax函数得到情感或原因的分类概率。
本发明实施例提供的S101中，第一词级别编码器模块采用BiLSTM作为最基础的词级别编码器，在每一个时间步，LSTM模型是由t时刻的输入词xt，细胞状态ct，临时细胞状态
Figure BDA0002751895140000071
隐层状态ht，遗忘门ft，记忆门it，输出门ot组成；
LSTM的计算过程可以概括为，通过对细胞状态中信息遗忘和记忆新的信息使得对后续时刻计算有用的信息得以传递，而无用的信息被丢弃，并在每个时间步都会输出隐层状态ht，其中遗忘，记忆与输出由通过上个时刻的隐层状态ht-1和当前输入计算出来的遗忘门ft，记忆门it，输出门ot控制。在每一个时间步，隐状态ht通过以下公式更新：
ft＝σ(Wf·[ht-1，xt]+bf)；
it＝σ(Wi·[ht-1，xt]+bj)；
Figure BDA0002751895140000072
Figure BDA0002751895140000073
ot＝σ(Wo·[ht-1，xt]+b0)；
ht＝ot*tanh(ct)；
最终，可以得到与句子长度相同的隐层状态序列{h0，h1，h2，…，hn-1}；前向的LSTM与后向的LSTM结合成BiLSTM。
本发明实施例提供的S101中，词级别注意力模块通过注意力机制，该机制的本质其实就是引入了当前预测词对应输入词的上下文信息以及位置信息，即隐层状态序列{h0，h1，h2，...hn-1}(n为句子中词的数量)，计算第i句中第j个词的权重αij，然后将每一句中词的权重和累加，得到新的文本向量si，即子句的表达，称为语境向量。计算公式如下：
eij＝We2(tanh(We1·hij+be))；
Figure BDA0002751895140000081
Figure BDA0002751895140000082
本发明实施例提供的S102中，子句级别编码器模块将短文本的子句表达{s0，s1，s，...，sm-1}m为短文本中句子的数量)送入子句级别编码器，用于得到每个短文档中不同子句基于情感/原因的上下文信息；采用BiLSTM作为最基础的子句级别编码器，情感预测与原因预测的输入有所区别；情感预测使用上一部分得到的短文本文本向量{s0，s1，s，...sm-1}作为输入，得到情感预测基于短文本的情感文本表达
Figure BDA0002751895140000083
原因预测利用情感预测基于短文本的情感上下文信息与情感预测结果，得到新的文本向量si，再以si为输入，得到原因预测基于短文本的原因文本表达
Figure BDA0002751895140000084
ci的计算公式如下：
Figure BDA0002751895140000085
Figure BDA0002751895140000086
与
Figure BDA0002751895140000087
的计算方式与词级编码器类似。
本发明实施例提供的S102中，情感/原因预测模块通过子句级别编码器获取不同子句之间的结构性信息更新子句表示后，分别通过softmax函数得到情感或原因的分类概率。计算公式如下：
Figure BDA0002751895140000088
Figure BDA0002751895140000091
本发明实施例提供的S104中，第二词级别编码器模块采用BiLSTM作为最基础的词级别编码器。在每一个时间步，隐状态ht通过以下公式更新：
ft＝σ(Wf·[ht-1，xt]+bf)；
it＝σ(Wi·[ht-1，xt]+bi)；
Figure BDA0002751895140000092
Figure BDA0002751895140000093
ot＝σ(Wo·[ht-1，xt]+b0)；
ht＝ot*tanh(Ct)；
最终，可以得到与句子长度相同的隐层状态序列{h0，h1，h2，...，hn-1}，即Hi。这里前向的LSTM输出与后向的LSTM输出结合成BiLSTM的输出。
本发明实施例提供的S104中，位置编码器模块采用BiLSTM作为最基础的位置编码器。
如图2所示，本发明实施例提供的短文档情感原因对提取系统包括：情感/原因提取模块和情感原因对提取模块；
情感/原因提取模块包括：
第一词级别编码器模块，将短文本中的每一子句送入词级别编码器，用于得到每个子句中词的上下文信息。
词级别注意力模块，通过注意力机制，引入了当前预测词对应输入词的上下文信息以及位置信息，计算句中的词的权重，并将每一句中词的权重和累加，得到新的文本向量，即子句的表达，称为语境向量。
子句级别编码器模块，将短文本的子句表达式送入子句级别编码器，用于得到每个短文档中不同子句基于情感/原因的上下文信息。
情感/原因预测模块，通过子句级别编码器获取不同子句之间的结构性信息更新子句表示后，分别通过softmax函数得到情感或原因的分类概率。
情感原因对提取模块包括：
情感/原因笛卡尔乘积配对模块，将上一阶段预测的情感/原因子句按笛卡尔乘积一一配对，得到一个只有情感与原因交替出现的文本，同时计算情感/原因所在句子的相对位置，得到位置向量。
第二词级别编码器模块，将通过笛卡尔积配对后文本的每一子句送入词级别编码器，用于得到每个子句中词的上下文信息。
位置编码器模块，将位置向量送入位置编码器，用于得到在每一个短文本中情感子句与原因子句的位置信息。
情感原因对预测模块，通过词级别编码器与位置编码器分别获取每个子句中词的上下文信息与每一个短文本中情感子句与原因子句的位置信息后，将其分别通过softmax函数得到情感或原因的分类概率。
下面结合具体实施例对本发明的技术方案作进一步的描述。
如图3所示，框架分为两部分：情感/原因提取，情感原因对提取。
如图4所示，情感/原因提取的模型，包含有4部分：词级别编码器、词级别注意力、子句级别编码器、情感/原因预测。
词级编码器：首先将短文本中的每一子句送入词级别编码器，用于得到每个子句中词的上下文信息。本发明采用BiLSTM作为最基础的词级别编码器，在每一个时间步，LSTM模型是由t时刻的输入词Xt，细胞状态ct，临时细胞状态
Figure BDA0002751895140000101
隐层状态ht，遗忘门ft，记忆门it，输出门ot组成。LSTM的计算过程可以概括为，通过对细胞状态中信息遗忘和记忆新的信息使得对后续时刻计算有用的信息得以传递，而无用的信息被丢弃，并在每个时间步都会输出隐层状态ht，其中遗忘，记忆与输出由通过上个时刻的隐层状态ht-1和当前输入计算出来的遗忘门ft，记忆门it，输出门ot控制。在每一个时间步，隐状态ht通过以下公式更新：
ft＝σ(Wf·[ht-1，xt]+bj)：
it＝σ(Wi·[ht-1，xt]+bi)；
Figure BDA0002751895140000111
Figure BDA0002751895140000112
ot＝σ(W0·[ht-1，xt]+b0)：
ht＝ot*tanh(Ct)；
最终，可以得到与句子长度相同的隐层状态序列{h0，h1，h2，...，hn-1}。前向的LSTM与后向的LSTM结合成BiLSTM。
词级别注意力：通过注意力机制，该机制的本质其实就是引入了当前预测词对应输入词的上下文信息以及位置信息，即隐层状态序列{h0，h1h2，...，hn-1}(n为句子中词的数量)，计算第i句中第j个词的权重αij，然后将每一句中词的权重和累加，得到新的文本向量si，即子句的表达，称为语境向量。计算公式如下：
eij＝We2(tanh(We1·hij+be))：
Figure BDA0002751895140000113
Figure BDA0002751895140000114
子句级别编码器：将短文本的子句表达{s0，s1，s，...sm-1}m为短文本中句子的数量)送入子句级别编码器，用于得到每个短文档中不同子句基于情感/原因的上下文信息。本发明采用BiLSTM作为最基础的子句级别编码器。这里情感预测与原因预测的输入有所区别。情感预测使用上一部分得到的短文本文本向量{s0，s1，s，...，sm-1)作为输入，得到情感预测基于短文本的情感文本表达
Figure BDA0002751895140000115
原因预测利用情感预测基于短文本的情感上下文信息与情感预测结果，得到新的文本向量si，再以si为输入，得到原因预测基于短文本的原因文本表达
Figure BDA0002751895140000116
ci的计算公式如下：
Figure BDA0002751895140000117
Figure BDA0002751895140000118
与
Figure BDA0002751895140000119
的计算方式与词级编码器类似。
情感/原因预测：通过子句级别编码器获取不同子句之间的结构性信息更新子句表示后，分别通过softmax函数得到情感或原因的分类概率。计算公式如下：
Figure BDA0002751895140000121
Figure BDA0002751895140000122
情感原因对提取的模型如图5，包含有4部分：情感/原因笛卡尔乘积配对，词级别编码器，位置编码器，情感原因对预测。
情感/原因笛卡尔乘积配对：将上一阶段预测的情感/原因子句按笛卡尔乘积一一配对，得到一个只有情感与原因交替出现的文本，同时计算情感/原因所在句子的相对位置，得到位置向量。
(1)词级别编码器：将通过笛卡尔积配对后文本的每一子句送入词级别编码器，用于得到每个子句中词的上下文信息。本发明采用BiLSTM作为最基础的词级别编码器。在每一个时间步，隐状态ht通过以下公式更新：
ft＝σ(Wf·[ht-1，xt]+bj)；
it＝σ(Wi·[ht-1，xt]+bi)；
Figure BDA0002751895140000123
Figure BDA0002751895140000124
ot＝σ(Wo·[ht-1，xt]+b0)；
ht＝ot*tanh(Ct)；
最终，可以得到与句子长度相同的隐层状态序列{h0，h1，h2，...，hn-1}，即Hi。这里前向的LSTM输出与后向的LSTM输出结合成BiLSTM的输出。
(2)位置编码器：将位置向量送入位置编码器，用于得到在每一个短文本中情感子句与原因子句的位置信息di(表示当前情感原因对)。本发明采用BiLSTM作为最基础的位置编码器。
(3)情感原因对预测：通过词级别编码器与位置编码器分别获取每个子句中词的上下文信息与每一个短文本中情感子句与原因子句的位置信息后，将其分别通过softmax函数得到情感或原因的分类概率。
Figure BDA0002751895140000125
Figure BDA0002751895140000131
原始F1为0.6128，原论文使用200d预训练词向量，选择300d词向量后F1为0.6605。经过第一阶段添加情感语境向量后，F1最高提升为0.6761，表格中EC20、EC40、EC60、EC80代表语境向量的长度，其中向量长度为60时，效果最好。经过第二阶段添加位置向量编码之后，F1提升为0.6816。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种短文档情感原因对提取方法，其特征在于，所述短文档情感原因对提取方法包括：
第一词级别编码器模块将短文本中的每一子句送入词级别编码器，词级别注意力模块，通过注意力机制，引入了当前预测词对应输入词的上下文信息以及位置信息，计算句中的词的权重，并将每一句中词的权重和累加，得到新的文本向量；
子句级别编码器模块将短文本的子句表达式送入子句级别编码器，情感/原因预测模块通过子句级别编码器获取不同子句之间的结构性信息更新子句表示后，分别通过softmax函数得到情感或原因的分类概率；
情感/原因笛卡尔乘积配对模块将上一阶段预测的情感/原因子句按笛卡尔乘积一一配对，得到一个只有情感与原因交替出现的文本，同时计算情感/原因所在句子的相对位置，得到位置向量；
第二词级别编码器模块将通过笛卡尔积配对后文本的每一子句送入词级别编码器，用于得到每个子句中词的上下文信息；位置编码器模块将位置向量送入位置编码器，用于得到在每一个短文本中情感子句与原因子句的位置信息；
情感原因对预测模块，通过词级别编码器与位置编码器分别获取每个子句中词的上下文信息与每一个短文本中情感子句与原因子句的位置信息后，将其分别通过softmax函数得到情感或原因的分类概率。
2.如权利要求1所述短文档情感原因对提取方法，其特征在于，第一词级别编码器模块采用BiLSTM作为最基础的词级别编码器，在每一个时间步，LSTM模型是由t时刻的输入词Xt，细胞状态ct，临时细胞状态
Figure FDA0002751895130000011
隐层状态ht，遗忘门ft，记忆门it，输出门ot组成；
LSTM的计算过程可以概括为，通过对细胞状态中信息遗忘和记忆新的信息使得对后续时刻计算有用的信息得以传递，而无用的信息被丢弃，并在每个时间步都会输出隐层状态ht，其中遗忘，记忆与输出由通过上个时刻的隐层状态ht-1和当前输入计算出来的遗忘门ft，记忆门it，输出门ot控制；在每一个时间步，隐状态ht通过以下公式更新：
ft＝σ(Wf·[ht-1，xt]+bf)；
it＝σ(Wi·[ht-1，xt]+bi)；
Figure FDA0002751895130000021
Figure FDA0002751895130000022
ot＝σ(W0·[ht-1，xt]+b0)；
ht＝ot*tanh(Ct)；
最终，可以得到与句子长度相同的隐层状态序列{h0，h1，h2，...，ht-1|；前向的LSTM与后向的LSTM结合成BiLSTM。
3.如权利要求1所述短文档情感原因对提取方法，其特征在于，词级别注意力模块通过注意力机制，该机制的本质其实就是引入了当前预测词对应输入词的上下文信息以及位置信息，即隐层状态序列{h0，h1，h2，...，hn-1}(n为句子中词的数量)，计算第i句中第j个词的权重aij，然后将每一句中词的权重和累加，得到新的文本向量si，即子句的表达，称为语境向量；计算公式如下：
eij＝We2(tanh(We1·hij++be))；
Figure FDA0002751895130000023
Figure FDA0002751895130000024
4.如权利要求1所述短文档情感原因对提取方法，其特征在于，子句级别编码器模块将短文本的子句表达{s0，s1，s，...，sm-1}(m为短文本中句子的数量)送入子句级别编码器，用于得到每个短文档中不同子句基于情感/原因的上下文信息；采用BiLSTM作为最基础的子句级别编码器，情感预测与原因预测的输入有所区别；情感预测使用上一部分得到的短文本文本向量{s0，s1，s，...，sm-1}作为输入，得到情感预测基于短文本的情感文本表达
Figure FDA0002751895130000025
原因预测利用情感预测基于短文本的情感上下文信息与情感预测结果，得到新的文本向量si，再以si为输入，得到原因预测基于短文本的原因文本表达
Figure FDA0002751895130000031
ci的计算公式如下：
Figure FDA0002751895130000038
(
Figure FDA0002751895130000039
为下一部分情感预测结果)；
Figure FDA0002751895130000032
与
Figure FDA0002751895130000033
的计算方式与词级编码器类似。
5.如权利要求1所述短文档情感原因对提取方法，其特征在于，情感/原因预测模块通过子句级别编码器获取不同子句之间的结构性信息更新子句表示后，分别通过softmax函数得到情感或原因的分类概率；计算公式如下：
Figure FDA0002751895130000034
Figure FDA0002751895130000035
6.如权利要求1所述短文档情感原因对提取方法，其特征在于，第二词级别编码器模块采用BiLSTM作为最基础的词级别编码器；在每一个时间步，隐状态ht通过以下公式更新：
ft＝σ(Wf·[ht-1，xt]+bf)；
it＝σ(Wi·[ht-1，xt]+bi)；
Figure FDA0002751895130000036
Figure FDA0002751895130000037
ot＝σ(W0·[ht-1，xt]+b0)；
ht＝ot*tanh(Ct)；
最终，可以得到与句子长度相同的隐层状态序列{h0，h1，h2，...，hn-1}，即Hi；这里前向的LSTM输出与后向的LSTM输出结合成BiLSTM的输出。
7.如权利要求1所述短文档情感原因对提取方法，其特征在于，位置编码器模块采用BiLSTM作为最基础的位置编码器。
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
第一词级别编码器模块将短文本中的每一子句送入词级别编码器，词级别注意力模块，通过注意力机制，引入了当前预测词对应输入词的上下文信息以及位置信息，计算句中的词的权重，并将每一句中词的权重和累加，得到新的文本向量；
子句级别编码器模块将短文本的子句表达式送入子句级别编码器，情感/原因预测模块通过子句级别编码器获取不同子句之间的结构性信息更新子句表示后，分别通过softmax函数得到情感或原因的分类概率；
情感/原因笛卡尔乘积配对模块将上一阶段预测的情感/原因子句按笛卡尔乘积一一配对，得到一个只有情感与原因交替出现的文本，同时计算情感/原因所在句子的相对位置，得到位置向量；
第二词级别编码器模块将通过笛卡尔积配对后文本的每一子句送入词级别编码器，用于得到每个子句中词的上下文信息；位置编码器模块将位置向量送入位置编码器，用于得到在每一个短文本中情感子句与原因子句的位置信息；
情感原因对预测模块，通过词级别编码器与位置编码器分别获取每个子句中词的上下文信息与每一个短文本中情感子句与原因子句的位置信息后，将其分别通过softmax函数得到情感或原因的分类概率。
9.一种实施如权利要求1～7任意一项所述短文档情感原因对提取方法的短文档情感原因对提取系统，其特征在于，所述短文档情感原因对提取系统包括：情感/原因提取模块和情感原因对提取模块。
10.如权利要求9所述短文档情感原因对提取系统，其特征在于，所述情感/原因提取模块包括：
第一词级别编码器模块，将短文本中的每一子句送入词级别编码器，用于得到每个子句中词的上下文信息；
词级别注意力模块，通过注意力机制，引入了当前预测词对应输入词的上下文信息以及位置信息，计算句中的词的权重，并将每一句中词的权重和累加，得到新的文本向量，即子句的表达，称为语境向量；
子句级别编码器模块，将短文本的子句表达式送入子句级别编码器，用于得到每个短文档中不同子句基于情感/原因的上下文信息；
情感/原因预测模块，通过子句级别编码器获取不同子句之间的结构性信息更新子句表示后，分别通过softmax函数得到情感或原因的分类概率；
所述情感原因对提取模块包括：
情感/原因笛卡尔乘积配对模块，将上一阶段预测的情感/原因子句按笛卡尔乘积一一配对，得到一个只有情感与原因交替出现的文本，同时计算情感/原因所在句子的相对位置，得到位置向量；
第二词级别编码器模块，将通过笛卡尔积配对后文本的每一子句送入词级别编码器，用于得到每个子句中词的上下文信息；
位置编码器模块，将位置向量送入位置编码器，用于得到在每一个短文本中情感子句与原因子句的位置信息；
情感原因对预测模块，通过词级别编码器与位置编码器分别获取每个子句中词的上下文信息与每一个短文本中情感子句与原因子句的位置信息后，将其分别通过softmax函数得到情感或原因的分类概率。
CN202011187722.4A 2020-10-30 2020-10-30 一种短文档情感原因对提取方法、系统、存储介质 Pending CN112364127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011187722.4A CN112364127A (zh) 2020-10-30 2020-10-30 一种短文档情感原因对提取方法、系统、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011187722.4A CN112364127A (zh) 2020-10-30 2020-10-30 一种短文档情感原因对提取方法、系统、存储介质

Publications (1)

Publication Number Publication Date
CN112364127A true CN112364127A (zh) 2021-02-12

Family

ID=74513795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011187722.4A Pending CN112364127A (zh) 2020-10-30 2020-10-30 一种短文档情感原因对提取方法、系统、存储介质

Country Status (1)

Country Link
CN (1) CN112364127A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486657A (zh) * 2021-07-26 2021-10-08 刘德喜 一种基于知识辅助的情感-原因对抽取系统
CN116089602A (zh) * 2021-11-04 2023-05-09 腾讯科技（深圳）有限公司 信息处理方法、装置、电子设备、存储介质和程序产品
CN117787267A (zh) * 2023-12-29 2024-03-29 广东外语外贸大学 一种基于神经网络的情感原因对提取方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018010570A (ja) * 2016-07-15 2018-01-18 Kddi株式会社 感情要因推定支援装置、感情要因推定支援方法及び感情要因推定支援用プログラム
CN110222342A (zh) * 2019-06-13 2019-09-10 哈尔滨工业大学（深圳） 结合情感原因发现的文本情感预测学习系统
CN111382565A (zh) * 2020-03-09 2020-07-07 南京理工大学 基于多标签的情绪-原因对抽取方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018010570A (ja) * 2016-07-15 2018-01-18 Kddi株式会社 感情要因推定支援装置、感情要因推定支援方法及び感情要因推定支援用プログラム
CN110222342A (zh) * 2019-06-13 2019-09-10 哈尔滨工业大学（深圳） 结合情感原因发现的文本情感预测学习系统
CN111382565A (zh) * 2020-03-09 2020-07-07 南京理工大学 基于多标签的情绪-原因对抽取方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
SONG H 等: "Embedding Compression with Right Triangle Similarity Transformations", 《INTERNATIONAL CONFERENCE ON ARTIFICIAL NEURAL NETWORKS》 *
TANG H 等: "Joint multi-level attentional model for emotion detection and emotion-cause pair extraction", 《NEUROCOMPUTING》 *
XIA R 等: "A RNN-transformer hierarchical network for emotion cause extraction", 《ARXIV PREPRINT ARXIV:1906.01236》 *
XIA R 等: "Emotion-cause pair extraction: A new task to emotion analysis in texts", 《PROCEEDINGS OF THE 57TH CONFERENCE OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS. FLORENCE》 *
袁洁莹: "基于融合词向量的情感原因对提取研究", 《重庆大学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486657A (zh) * 2021-07-26 2021-10-08 刘德喜 一种基于知识辅助的情感-原因对抽取系统
CN113486657B (zh) * 2021-07-26 2023-01-17 刘德喜 一种基于知识辅助的情感-原因对抽取系统
CN116089602A (zh) * 2021-11-04 2023-05-09 腾讯科技（深圳）有限公司 信息处理方法、装置、电子设备、存储介质和程序产品
CN116089602B (zh) * 2021-11-04 2024-05-03 腾讯科技（深圳）有限公司 信息处理方法、装置、电子设备、存储介质和程序产品
CN117787267A (zh) * 2023-12-29 2024-03-29 广东外语外贸大学 一种基于神经网络的情感原因对提取方法及系统
CN117787267B (zh) * 2023-12-29 2024-06-07 广东外语外贸大学 一种基于神经网络的情感原因对提取方法及系统

Similar Documents

Publication Publication Date Title
CN111209401A (zh) 网络舆情文本信息情感极性分类处理系统及方法
CN112364127A (zh) 一种短文档情感原因对提取方法、系统、存储介质
Pramanik et al. Text normalization using memory augmented neural networks
CN110569505B (zh) 一种文本输入方法及装置
CN110826334A (zh) 一种基于强化学习的中文命名实体识别模型及其训练方法
CN112906397B (zh) 一种短文本实体消歧方法
CN112420024A (zh) 一种全端到端的中英文混合空管语音识别方法及装置
CN113434683B (zh) 文本分类方法、装置、介质及电子设备
CN115129826B (zh) 电力领域模型预训练方法、精调方法、装置及设备
CN112633007A (zh) 一种语义理解模型构建方法及装置、语义理解方法及装置
CN114925687B (zh) 一种基于动态词向量表征的中文作文评分方法及系统
CN116050425A (zh) 建立预训练语言模型的方法、文本预测方法及装置
CN116775862A (zh) 融合情感词的Bi-LSTM的情感分类方法
CN115510230A (zh) 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法
CN108875024B (zh) 文本分类方法、系统、可读存储介质及电子设备
CN114388108A (zh) 一种基于多任务学习的用户反馈分析方法
Choi et al. A grapheme-level approach for constructing a Korean morphological analyzer without linguistic knowledge
Ranjan et al. λ-Scaled-attention: A novel fast attention mechanism for efficient modeling of protein sequences
CN115906824A (zh) 一种文本细粒度情感分析方法、系统、介质和计算设备
Pütz et al. Tüpa at SemEval-2019 task1:(almost) feature-free semantic parsing
CN115759103A (zh) 一种小样本命名实体识别模型训练方法及识别方法
CN113869065A (zh) 一种基于“单词-短语”注意力机制的情感分类方法和系统
CN114416987A (zh) 基于人工智能的文本分类方法、装置、设备及存储介质
CN113868389A (zh) 基于自然语言文本的数据查询方法、装置及计算机设备
Zhu et al. DAAN: A Dictionary-Based Adaptive Attention Network for Biomedical Named Entity Recognition with Chinese Electronic Medical Records

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210212

RJ01 Rejection of invention patent application after publication