CN113988048A - 基于多轮机器阅读理解的情感原因对抽取方法 - Google Patents

基于多轮机器阅读理解的情感原因对抽取方法 Download PDF

Info

Publication number
CN113988048A
CN113988048A CN202111192610.2A CN202111192610A CN113988048A CN 113988048 A CN113988048 A CN 113988048A CN 202111192610 A CN202111192610 A CN 202111192610A CN 113988048 A CN113988048 A CN 113988048A
Authority
CN
China
Prior art keywords
emotion
clause
reason
clauses
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111192610.2A
Other languages
English (en)
Inventor
宋丹丹
周长智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202111192610.2A priority Critical patent/CN113988048A/zh
Publication of CN113988048A publication Critical patent/CN113988048A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开的基于多轮机器阅读理解的情感原因对抽取方法，属于自然语言处理与机器学习领域。本发明利用多轮结构将情感原因对抽取任务分解，通过在子句层面而非子句对层面上处理情感原因对抽取任务，缓解子句对层面的标签稀疏性问题，提高对文档情感原因对抽取的效率；此外，利用机器阅读理解方法中的问题设计以及问题和子句之间的交互，充分建立情感子句和原因子句之间的关系，利用所述建立的关系能够抽取各种复杂关系下的情感原因对，适用性更广；基于带有反思机制的多轮机器阅读理解方法对抽取的候选文档情感原因对验证，利用显式的原因语义信息提高情感原因对抽取任务的F1值。本发明应用于自然语言处理与机器学习领域，解决相关技术问题。

Description

基于多轮机器阅读理解的情感原因对抽取方法
技术领域
本发明涉及基于多轮机器阅读理解的情感原因对抽取方法，属于自然语言处理与机器学习领域。
背景技术
情感原因对抽取ECPE任务是近几年非常流行的情感分析领域的细粒度任务，它旨在从一篇文档中抽取出所有的情感原因对，每个情感原因对都由一个情感子句和对应的一个原因子句组成。
针对ECPE任务，主流的解决方法是使用端到端的深度学习模型在子句对层面进行建模抽取。首先将一个文档中的所有子句排列组合成子句对矩阵，然后判断这些对是否是正确的情感原因对。若一个文档有N个句子，则组成N2个子句对，其中只有若干个是情感原因对(大部分文档不会超过3个情感原因对)。因此该方法存在着严重的标签稀疏性问题，N越大，标签稀疏性问题越严重。
还有一种解决方法是端到端的序列标注方法。该方法通过设计联合的序列标注模式，从子句层面进行建模预测。因为不会产生子句对矩阵，所以没有上述的标签稀疏性问题。然而，由于情感子句与原因子句之间存在一对一、一对多、多对一等的复杂关系，且情感子句和对应的原因子句在一个文档中可能距离较远，联合序列标注模式无法构建这些复杂的对应关系，因此效果不够理想。
综上所述，现有的解决ECPE任务的方法主要存在以下问题：(1)标签稀疏性；(2)无法构建情感和原因的复杂关系。
发明内容
本发明公开的基于多轮机器阅读理解的情感原因对抽取方法要解决的技术问题是：基于多轮机器阅读理解方法实现对文档情感原因对抽取，利用多轮结构将情感原因对抽取任务分解，通过在子句层面而非子句对层面上处理情感原因对抽取任务，缓解子句对层面的标签稀疏性问题，提高对文档情感原因对抽取的效率；此外，利用机器阅读理解方法中的问题设计以及问题和子句之间的交互，充分建立情感子句和原因子句之间的关系，利用所述建立的情感和原因之间的关系能够抽取各种复杂关系下的情感原因对，适用性更广；基于带有反思机制的多轮机器阅读理解方法对抽取的候选文档情感原因对进行验证，利用显式的原因语义信息进一步提高情感原因对抽取任务的F1值。本发明应用于自然语言处理与机器学习领域，解决相关技术问题。
所述各种复杂关系包括情感子句与原因子句一对一、一对多和多对一关系以及情感子句和原因子句距离较远的情况。
本发明的目的是通过如下技术方案实现的。
本发明公开的基于多轮机器阅读理解的情感原因对抽取方法，包括如下步骤：
步骤一、基于多轮机器阅读理解方法实现对文档情感原因对抽取，利用多轮结构将情感原因对抽取任务分解，在子句层面上构建问题和子句之间的交互，充分利用显式的情感和原因语义信息，通过在子句层面上处理情感原因对抽取任务，缓解子句对层面的标签稀疏性问题，提高对文档情感原因对抽取的效率，并输出初步抽取的文档情感原因对和对应的文档情感原因对的概率。
所述对应的文档情感原因对概率指该子句对是正确的情感原因对的概率，通常为对中第一个子句是情感子句的概率与第二个子句是第一个子句对应的原因子句的概率之积。
步骤1.1：基于多轮机器阅读理解方法实现对文档情感原因对抽取，利用多轮结构将情感原因对抽取任务分解为静态情感抽取任务和动态原因抽取任务。
所述静态情感抽取任务指抽取出文档中所有的情感子句，动态原因抽取任务指在静态情感抽取任务的结果基础上，在显式情感语义信息的帮助下，抽取每个情感子句对应的原因子句。
步骤1.2：静态情感抽取任务。设计静态情感问题，对文档子句编码，根据文档子句对应编码进行预测从而抽取情感子句。所述文档子句编码实现方法如下：利用预训练模型BERT对静态情感问题和文档子句进行词级别编码，得到情感问题和每个子句中每个词的词向量；利用自注意力机制聚合词向量进行句级别编码，得到情感问题和每个子句的句向量；利用图注意力网络建模文档级关系，更新子句的句向量；通过将情感问题的句向量和每个子句的句向量进行拼接再次更新子句的句向量，实现问题和子句之间的交互，使子句的句向量带有情感语义信息，即实现对文档子句编码。编码后通过一个线性分类器对子句编码进行预测，抽取情感子句，计算静态情感抽取任务损失。
所述静态情感问题指事先设计好的一个用于静态情感抽取任务的问句。
步骤1.2所述文档子句编码具体实现方法如下：
构造预训练模型BERT输入：
Figure BDA0003301819670000021
该输入共包含两个特殊标记[CLS]和[SEP]，还有1个问题和N个子句。
Figure BDA0003301819670000031
表示静态情感问题的第i个词，wi,j表示文档中第i个子句的第j个词。将该输入送入BERT，得到BERT输出：
Figure BDA0003301819670000032
其中
Figure BDA0003301819670000033
表示静态情感问题中第i个词的向量表示，hi,j表示文档中第i个子句的第j个词的向量表示。利用自注意力机制聚合词向量表示得到每个子句和问题的句向量表示：
HC＝{hc1,hc2,...},
Figure BDA0003301819670000034
对子句的向量表示使用图注意力网络GAT建模文档级信息，更新子句向量表示：
HC＝{h′c1,h′c2,...}，其中h′ci＝GAT(hci)
将每个子句的向量表示与问题的向量表示拼接，更新子句向量表示：
HC＝{h″c1,h″c2,...}，其中
Figure BDA0003301819670000035
步骤1.2所述线性分类器对子句编码进行预测具体实现方法如下：
将编码器输出HC＝{h″c1,h″c2,...}送入单层感知机：
Figure BDA0003301819670000036
其中wS,bS是单层感知机的可学习的参数，σ()是logistic激活函数，
Figure BDA0003301819670000037
表示答案为True的概率。
步骤1.2所述静态情感抽取任务损失具体实现方法如下：
Figure BDA0003301819670000038
其中
Figure BDA0003301819670000039
表示第i个文档中第j个子句ci,j是第k个静态情感问题
Figure BDA00033018196700000310
的答案的真实概率值，非0即1，
Figure BDA00033018196700000311
表示第i个文档中第j个子句ci,j是第k个静态情感问题
Figure BDA00033018196700000312
的答案的预测概率值，只有大于0.5时才判定第j个子句是第k个静态情感问题的答案。
步骤1.3：动态原因抽取任务。设计动态原因问题，对文档子句编码，根据文档子句对应编码进行预测从而抽取情感子句对应的原因子句。所述文档子句编码实现方法如下：利用BERT对动态原因问题和文档子句进行词级别编码，得到原因问题和每个子句中每个词的词向量；利用自注意力机制聚合词向量进行句级别编码，得到原因问题和每个子句的句向量；利用图注意力网络建模文档级关系，更新子句的句向量；通过将原因问题的句向量和每个子句的句向量进行拼接再次更新子句的句向量，实现问题和子句之间的交互，使子句的句向量带有原因语义信息，即实现对文档子句编码。编码后通过一个线性分类器对子句编码进行预测，抽取情感子句对应的原因子句，计算动态原因抽取任务损失。
所述动态原因问题指使用问题模板，将步骤1.2抽取出的情感子句包含在问题模板中，构建出用于动态原因抽取任务的问题。
步骤1.3所述文档子句编码具体实现方法如下：
构造预训练模型BERT输入：
Figure BDA0003301819670000041
该输入共包含两个特殊标记[CLS]和[SEP]，还有1个问题和N个子句。
Figure BDA0003301819670000042
表示动态原因问题的第i个词，wi,j表示文档中第i个子句的第j个词。将该输入送入BERT预训练模型，得到BERT输出：
Figure BDA0003301819670000043
其中
Figure BDA0003301819670000044
表示动态原因问题中第i个词的隐藏层向量表示，hi,j表示文档中第i个子句的第j个词的隐藏层向量表示。随后利用自注意力机制聚合词向量表示得到每个子句和问题的句向量表示：
HC＝{hc1,hc2,...},
Figure BDA0003301819670000045
对子句的向量表示使用图注意力网络GAT建模文档级信息，更新子句的向量表示：
HC＝{h′c1,h′c2,...}，其中h′ci＝GAT(hci)
将每个子句的向量表示与问题的向量表示拼接，再更新子句向量表示：
HC＝{h″c1,h″c2,...}，其中
Figure BDA0003301819670000046
步骤1.3所述线性分类器对子句编码进行预测具体实现方法如下：
将编码器输出HC＝{h″c1,h″c2,...}送入单层感知机：
Figure BDA0003301819670000047
其中wS,bS是单层感知机的可学习的参数，σ()是logistic激活函数，
Figure BDA0003301819670000048
表示答案为True的概率。
步骤1.3所述动态原因抽取任务损失具体实现方法如下：
Figure BDA0003301819670000051
其中
Figure BDA0003301819670000052
表示第i个文档中第j个子句ci,j是第k个动态原因问题
Figure BDA0003301819670000053
的答案的真实概率值，非0即1，
Figure BDA0003301819670000054
表示第i个文档中第j个子句ci,j是第k个动态原因问题
Figure BDA0003301819670000055
的答案的预测概率值，只有大于0.5时才判定第j个子句是第k个动态原因问题的答案。
步骤1.4：根据步骤1.1、1.2、1.3，利用多轮结构将情感原因对抽取任务分解，在子句层面上构建问题和子句之间的交互，充分利用显式的情感和原因语义信息，通过在子句层面上处理情感原因对抽取任务，缓解情感原因对标签稀疏性问题，提高对文档情感原因对抽取效率。
步骤二、基于带有反思机制的多轮机器阅读理解方法对抽取的文档情感原因对进行验证。在步骤一的基础之上，加入动态情感抽取任务作为最后一轮，抽取每个原因子句对应的情感子句，充分利用显式的原因语义信息，提高情感原因对抽取任务的F1值。
所述动态情感抽取任务指在动态原因抽取任务的结果基础上，在显式原因语义信息的帮助下，抽取每个原因子句对应的情感子句。
步骤2.1：动态情感抽取任务。设计动态情感问题，对文档子句编码，根据文档子句对应编码进行预测从而抽取原因子句对应的情感子句。所述文档子句编码实现方法如下：利用预训练模型BERT对动态情感问题和文档子句进行词级别编码，得到情感问题和每个子句中每个词的词向量；利用自注意力机制聚合词向量进行句级别编码，得到情感问题和每个子句的句向量；利用图注意力网络建模文档级关系，更新子句的句向量；通过将情感问题的句向量和每个子句的句向量进行拼接再次更新子句的句向量，实现问题和子句之间的交互，使子句的句向量带有情感语义信息，即实现对文档子句编码。编码后通过一个线性分类器对子句编码进行预测，抽取原因子句对应的情感子句。计算动态情感抽取任务损失。
所述动态情感问题指使用问题模板，将步骤1.3抽取出的原因子句包含在问题模板中，构建出用于动态情感抽取任务的问题。
步骤2.1所述文档子句编码具体实现方法如下：
构造预训练模型BERT输入：
Figure BDA0003301819670000056
该输入共包含两个特殊标记[CLS]和[SEP]，还有1个问题和N个子句。
Figure BDA0003301819670000061
表示动态情感问题的第i个词，wi,j表示文档中第i个子句的第j个词。将该输入送入BERT预训练模型，得到BERT输出：
Figure BDA0003301819670000062
其中
Figure BDA0003301819670000063
表示动态情感问题中第i个词的隐藏层向量表示，hi,j表示文档中第i个子句的第j个词的隐藏层向量表示。随后利用自注意力机制聚合词向量表示得到每个子句和问题的句向量表示：
HC＝{hc1,hc2,...},
Figure BDA0003301819670000064
对子句的向量表示使用图注意力网络GAT建模文档级信息，更新子句的向量表示：
HC＝{hc'1,hc'2,...}，其中hc'i＝GAT(hci)
将每个子句的向量表示与问题的向量表示拼接，再更新子句向量表示：
HC＝{h″c1,h″c2,...}，其中
Figure BDA0003301819670000065
步骤2.1所述线性分类器对子句编码进行预测具体实现方法如下：
将编码器输出HC＝{h″c1,h″c2,...}送入单层感知机：
Figure BDA0003301819670000066
其中wS,bS是单层感知机的可学习的参数，σ()是logistic激活函数，
Figure BDA0003301819670000067
表示答案为True的概率。
步骤2.1所述动态情感抽取任务损失具体实现方法如下：
Figure BDA0003301819670000068
其中
Figure BDA0003301819670000069
表示第i个文档中第j个子句ci,j是第k个动态情感问题
Figure BDA00033018196700000610
的答案的真实概率值，非0即1，
Figure BDA00033018196700000611
表示第i个文档中第j个子句ci,j是第k个动态情感问题
Figure BDA00033018196700000612
的答案的预测概率值，只有大于0.5时才判定第j个子句是第k个动态情感问题的答案。
步骤2.2：在步骤一的基础之上，加入动态情感抽取任务作为最后一轮，抽取每个原因子句对应的情感子句，充分利用显式的原因语义信息，提高情感原因对抽取任务的F1值。
步骤三：将步骤1.2、1.3和2.1的三个损失Le,Lc,Lr相加得到总损失，使用该损失训练情感原因对抽取模型直至收敛，记下模型参数用于文档情感原因对抽取任务。
步骤四：将步骤三训练后的情感原因对抽取模型输入文档，使用所述模型抽取所有的情感原因对，即基于反思机制的多轮机器阅读理解实现情感原因对抽取。
步骤四中使用步骤三训练后的情感原因对抽取模型抽取所有的情感原因对实现方法如下：
步骤4.1：静态情感抽取任务。构造静态情感问题，将静态情感问题和文档子句作为输入送入训练好的情感原因对抽取模型，抽取出文档中所有的情感子句并得到情感子句对应的概率：
E＝{e1,e2,...}，PE＝{pe1,pe2,...}
其中ei表示文档中第i个情感子句，pei表示第i个情感子句的概率。
所述情感子句的概率指该子句被认为是正确的情感子句的概率值。
步骤4.2：动态原因抽取任务。根据步骤4.1抽取出的情感子句构造动态原因问题，将动态原因问题和文档子句作为输入送入训练好的模型，抽取出文档中每个情感子句对应的原因子句和原因子句的概率，即得到候选的所有情感原因对和候选的情感原因对的概率：
Pair＝{(e1,c1),(e2,c2),...},
Figure BDA0003301819670000071
其中(ei,ci)表示第i个候选的情感原因对，
Figure BDA0003301819670000072
表示候选的情感原因对的概率。
所述原因子句的概率指该子句是情感子句对应的原因子句的概率值。所述候选的情感原因对的概率指第一个子句是情感子句的概率与第二个子句是第一个子句对应的原因子句的概率之积。
步骤4.3：反思验证机制，即动态情感抽取任务。根据步骤4.2抽取出的原因子句构造动态情感问题，将动态情感问题和文档子句作为输入送入训练好的模型，对每个候选的情感原因对，抽取出原因子句对应的情感子句。根据抽取结果用参数α调整候选情感原因对的概率值。若抽取出的情感子句与候选的情感原因对中的情感子句一致，则验证正确，α＝1，否则降低α的值。更新后的候选的情感原因对的概率值如下：
Figure BDA0003301819670000073
其中
Figure BDA0003301819670000074
使用阈值δ筛选出正确的情感原因对：
Figure BDA0003301819670000075
其中Pairf表示筛选后的情感原因对的集合。
即基于反思机制的多轮机器阅读理解实现情感原因对抽取。
步骤五：将前四步得到的模型应用于自然语言处理与机器学习领域，解决相关技术问题。
所述相关技术问题包括智能文本挖掘与服务、社交网络信息挖掘、情绪疏导、舆情监控、工作效率预测。
将模型应用于情绪疏导，根据模型抽取的情感原因对分析目标群体情感状态以及出现这种情感状态的原因，针对影响目标群体心理健康的情感原因对，选择情绪疏导策略，消除对应原因，提高目标群体的心理健康状况。
将模型应用于网络舆情监控，根据模型抽取的情感原因对分析目标舆情的情绪状态，针对影响社会稳定的舆情中的情感原因对，消除对应原因，维持网络舆情积极向上和社会稳定。
将模型应用于工作效率预测，根据模型抽取的情感原因对分析目标工作群体的工作状态，针对影响工作状态的情感原因对消除对应原因，提升目标工作群体的工作状态，进而提高目标工作群体的工作效率。
有益效果：
1、相比于端到端生成子句对的方法，本发明公开的基于多轮机器阅读理解的情感原因对抽取方法，利用多轮结构将情感原因对抽取任务分解，通过在子句层面而非子句对层面上处理情感原因对抽取任务，缓解子句对层面的标签稀疏性问题，提高对文档情感原因对抽取的效率。
2、相比于序列标注的方法，本发明公开的基于多轮机器阅读理解的情感原因对抽取方法，利用机器阅读理解方法中的问题设计以及问题和子句之间的交互，充分建立情感子句和原因子句之间的关系，利用所述建立的情感和原因之间的关系能够抽取各种复杂关系下的情感原因对，适用性更广。
3、本发明公开的基于多轮机器阅读理解的情感原因对抽取方法，基于带有反思机制的多轮机器阅读理解方法对抽取的候选文档情感原因对进行验证，充分利用显式的原因语义信息提高情感原因对抽取任务的F1值。
4、本发明公开的基于多轮机器阅读理解的情感原因对抽取方法，应用于自然语言处理与机器学习领域，解决相关技术问题，例如解决智能文本挖掘与服务、社交网络信息挖掘、情绪疏导、舆情监控、工作效率预测等相关技术问题。
5、本发明公开的基于多轮机器阅读理解的情感原因对抽取方法，基于反思机制的多轮机器阅读理解对情感原因对抽取模型进行预先训练，使用所述训练后的模型抽取所有的情感原因对，能够在保证情感原因对抽取匹配精度的前提下，显著提升抽取效率，便于针对目标群体，实时解决上述工程技术问题。
附图说明
图1为本发明的基于多轮机器阅读理解的情感原因对抽取流程图；
图2为实施例模型结构图；
图3为本发明的编码层结构图；
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对本发明方法的实施方式做进一步详细说明。
实施例1：
本实例采用微博语料库，经整理后语料库统计信息见表1：
表1情感原因对抽取实验数据
Figure BDA0003301819670000091
实验采用准确率(Precision，P)、召回率(Recall，R)和F1-测度值(F1-measure，F1)对结果进行评价，采用十折交叉验证，根据实验表现确定模型的最优参数。
本次实验在一台计算机和一台服务器上进行，计算机的具体配置为：Intel(R)i5-1135G7，CPU2.40GHz，内存16GB，操作系统是windows10，64位；服务器的具体配置为：Intel(R)Xeon(R)Gold6240，CPU2.60GHz，GPUV10032GB，操作系统是Debian GNU/Linux1164位。
实施例模型具体设置如图2所示，模型采用三轮机器阅读理解抽取出文档情感原因对。
步骤一、基于多轮机器阅读理解方法实现对文档情感原因对抽取，利用多轮结构将情感原因对抽取任务分解，在子句层面上构建问题和子句之间的交互，充分利用显式的情感和原因语义信息，通过在子句层面上处理情感原因对抽取任务，缓解子句对层面的标签稀疏性问题，提高对文档情感原因对抽取的效率，并输出初步抽取的文档情感原因对和对应的文档情感原因对的概率。
步骤1.1：基于多轮机器阅读理解方法实现对文档情感原因对抽取，利用多轮结构将情感原因对抽取任务分解为静态情感抽取任务和动态原因抽取任务。
步骤1.2：静态情感抽取任务。设计静态情感问题“这是情感子句吗”，对文档子句编码，根据文档子句对应编码进行预测从而抽取情感子句。所述文档子句编码实现方法如下：利用预训练模型BERT对静态情感问题和文档子句进行词级别编码，得到情感问题和每个子句中每个词的词向量；利用自注意力机制聚合词向量进行句级别编码，得到情感问题和每个子句的句向量；利用图注意力网络建模文档级关系，更新子句的句向量；通过将情感问题的句向量和每个子句的句向量进行拼接再次更新子句的句向量，实现问题和子句之间的交互，使子句的句向量带有情感语义信息，即实现对文档子句编码。编码后通过一个线性分类器对子句编码进行预测，抽取情感子句，计算静态情感抽取任务损失。
步骤1.2所述文档子句编码具体实现方法如下：
构造预训练模型BERT输入：
Figure BDA0003301819670000101
该输入共包含两个特殊标记[CLS]和[SEP]，还有1个问题和N个子句。
Figure BDA0003301819670000102
表示静态情感问题的第i个词，wi,j表示文档中第i个子句的第j个词。将该输入送入BERT，得到BERT输出：
Figure BDA0003301819670000103
其中
Figure BDA0003301819670000104
表示静态情感问题中第i个词的向量表示，hi,j表示文档中第i个子句的第j个词的向量表示。利用自注意力机制聚合词向量表示得到每个子句和问题的句向量表示：
HC＝{hc1,hc2,...},
Figure BDA0003301819670000105
对子句的向量表示使用图注意力网络GAT建模文档级信息，更新子句向量表示：
HC＝{h′c1,h′c2,...}，其中hc'i＝GAT(hci)
将每个子句的向量表示与问题的向量表示拼接，更新子句向量表示：
HC＝{h″c1,h″c2,...}，其中
Figure BDA0003301819670000106
步骤1.2所述线性分类器对子句编码进行预测具体实现方法如下：
将编码器输出HC＝{h″c1,h″c2,...}送入单层感知机：
Figure BDA0003301819670000107
其中wS,bS是单层感知机的可学习的参数，σ()是logistic激活函数，
Figure BDA0003301819670000108
表示答案为True的概率。
步骤1.2所述静态情感抽取任务损失具体实现方法如下：
Figure BDA0003301819670000111
其中
Figure BDA0003301819670000112
表示第i个文档中第j个子句ci,j是第k个静态情感问题
Figure BDA0003301819670000113
的答案的真实概率值，非0即1，
Figure BDA0003301819670000114
表示第i个文档中第j个子句ci,j是第k个静态情感问题
Figure BDA0003301819670000115
的答案的预测概率值，只有大于0.5时才判定第j个子句是第k个静态情感问题的答案。
步骤1.3：动态原因抽取任务。设计动态原因问题模板“这是____所对应的原因子句吗”，对文档子句编码，根据文档子句对应编码进行预测从而抽取情感子句对应的原因子句。所述文档子句编码实现方法如下：利用BERT对动态原因问题和文档子句进行词级别编码，得到原因问题和每个子句中每个词的词向量；利用自注意力机制聚合词向量进行句级别编码，得到原因问题和每个子句的句向量；利用图注意力网络建模文档级关系，更新子句的句向量；通过将原因问题的句向量和每个子句的句向量进行拼接再次更新子句的句向量，实现问题和子句之间的交互，使子句的句向量带有原因语义信息，即实现对文档子句编码。编码后通过一个线性分类器对子句编码进行预测，抽取情感子句对应的原因子句，计算动态原因抽取任务损失。
所述动态原因问题指使用问题模板，将步骤1.2抽取出的情感子句包含在问题模板中，构建出用于动态原因抽取任务的问题。
步骤1.3所述文档子句编码具体实现方法如下：
构造预训练模型BERT输入：
Figure BDA0003301819670000116
该输入共包含两个特殊标记[CLS]和[SEP]，还有1个问题和N个子句。
Figure BDA0003301819670000117
表示动态原因问题的第i个词，wi,j表示文档中第i个子句的第j个词。将该输入送入BERT预训练模型，得到BERT输出：
Figure BDA0003301819670000118
其中
Figure BDA0003301819670000119
表示动态原因问题中第i个词的隐藏层向量表示，hi,j表示文档中第i个子句的第j个词的隐藏层向量表示。随后利用自注意力机制聚合词向量表示得到每个子句和问题的向量表示：
HC＝{hc1,hc2,...},
Figure BDA00033018196700001110
对子句的向量表示使用图注意力网络GAT建模文档级信息，更新子句的向量表示：
HC＝{h′c1,h′c2,...}，其中h′ci＝GAT(hci)
将每个子句的向量表示与问题的向量表示拼接，再更新子句向量表示：
HC＝{h″c1,h″c2,...}，其中
Figure BDA0003301819670000121
步骤1.3所述线性分类器对子句编码进行预测具体实现方法如下：
将编码器输出HC＝{h″c1,h″c2,...}送入单层感知机：
Figure BDA0003301819670000122
其中wS,bS是单层感知机的可学习的参数，σ()是logistic激活函数，
Figure BDA0003301819670000123
表示答案为True的概率。
步骤1.3所述动态原因抽取任务损失具体实现方法如下：
Figure BDA0003301819670000124
其中
Figure BDA0003301819670000125
表示第i个文档中第j个子句ci,j是第k个动态原因问题
Figure BDA0003301819670000126
的答案的真实概率值，非0即1，
Figure BDA0003301819670000127
表示第i个文档中第j个子句ci,j是第k个动态原因问题
Figure BDA0003301819670000128
的答案的预测概率值，只有大于0.5时才判定第j个子句是第k个动态原因问题的答案。
步骤1.4：根据步骤1.1、1.2、1.3，利用多轮结构将情感原因对抽取任务分解，在子句层面上构建问题和子句之间的交互，充分利用显式的情感和原因语义信息，通过在子句层面上处理情感原因对抽取任务，缓解情感原因对标签稀疏性问题，提高对文档情感原因对抽取效率。
步骤二、基于带有反思机制的多轮机器阅读理解方法对抽取的文档情感原因对进行验证。在步骤一的基础之上，加入动态情感抽取任务作为最后一轮，抽取每个原因子句对应的情感子句，充分利用显式的原因语义信息，提高情感原因对抽取任务的F1值。
步骤2.1：动态情感抽取任务。设计动态情感问题模板“这是____所对应的情感子句吗”，对文档子句编码，根据文档子句对应编码进行预测从而抽取原因子句对应的情感子句。所述文档子句编码实现方法如下：利用预训练模型BERT对动态情感问题和文档子句进行词级别编码，得到情感问题和每个子句中每个词的词向量；利用自注意力机制聚合词向量进行句级别编码，得到情感问题和每个子句的句向量；利用图注意力网络建模文档级关系，更新子句的句向量；通过将情感问题的句向量和每个子句的句向量进行拼接再次更新子句的句向量，实现问题和子句之间的交互，使子句的句向量带有情感语义信息，即实现对文档子句编码。编码后通过一个线性分类器对子句编码进行预测，抽取原因子句对应的情感子句。计算动态情感抽取任务损失。
步骤2.1所述文档子句编码具体实现方法如下：
构造预训练模型BERT输入：
Figure BDA0003301819670000131
该输入共包含两个特殊标记[CLS]和[SEP]，还有1个问题和N个子句。
Figure BDA0003301819670000132
表示动态情感问题的第i个词，wi,j表示文档中第i个子句的第j个词。将该输入送入BERT预训练模型，得到BERT输出：
Figure BDA0003301819670000133
其中
Figure BDA0003301819670000134
表示动态情感问题中第i个词的隐藏层向量表示，hi,j表示文档中第i个子句的第j个词的隐藏层向量表示。随后利用自注意力机制聚合词向量表示得到每个子句和问题的句向量表示：
HC＝{hc1,hc2,...},
Figure BDA0003301819670000135
对子句的向量表示使用图注意力网络GAT建模文档级信息，更新子句的向量表示：
HC＝{h′c1,h′c2,...}，其中h′ci＝GAT(hci)
将每个子句的向量表示与问题的向量表示拼接，再更新子句向量表示：
HC＝{h″c1,h″c2,...}，其中
Figure BDA0003301819670000136
步骤2.1所述线性分类器对子句编码进行预测具体实现方法如下：
将编码器输出HC＝{h″c1,h″c2,...}送入单层感知机：
Figure BDA0003301819670000137
其中wS,bS是单层感知机的可学习的参数，σ()是logistic激活函数，
Figure BDA00033018196700001312
表示答案为True的概率。
步骤2.1所述动态情感抽取任务损失具体实现方法如下：
Figure BDA0003301819670000138
其中
Figure BDA0003301819670000139
表示第i个文档中第j个子句ci,j是第k个动态情感问题
Figure BDA00033018196700001310
的答案的真实概率值，非0即1，
Figure BDA00033018196700001311
表示第i个文档中第j个子句ci,j是第k个动态情感问题
Figure BDA0003301819670000141
的答案的预测概率值，只有大于0.5时才判定第j个子句是第k个动态情感问题的答案。
步骤2.2：在步骤一的基础之上，加入动态情感抽取任务作为最后一轮，抽取每个原因子句对应的情感子句，充分利用显式的原因语义信息，提高情感原因对抽取任务的F1值。
步骤三：将步骤1.2、1.3和2.1的三个损失Le,Lc,Lr相加得到总损失，使用该损失训练情感原因对抽取模型直至收敛，记下模型参数用于文档情感原因对抽取任务。
步骤四：将步骤三训练后的情感原因对抽取模型输入文档，使用所述模型抽取所有的情感原因对，即基于反思机制的多轮机器阅读理解实现情感原因对抽取。
步骤四中使用步骤三训练后的情感原因对抽取模型抽取所有的情感原因对实现方法如下：
步骤4.1：静态情感抽取任务。构造静态情感问题“这是情感子句吗”，将静态情感问题和文档子句作为输入送入训练好的情感原因对抽取模型，抽取出文档中所有的情感子句并得到情感子句对应的概率：
E＝{e1,e2,...}，PE＝{pe1,pe2,...}
其中ei表示文档中第i个情感子句；pei表示第i个情感子句的概率，当该值>0.5时子句被认为是情感子句。
步骤4.2：动态原因抽取任务。根据步骤4.1抽取出的情感子句构造动态原因问题模板“这是____所对应的原因子句吗”，将动态原因问题和文档子句作为输入送入训练好的模型，抽取出文档中每个情感子句对应的原因子句和原因子句的概率，即得到候选的所有情感原因对和候选的情感原因对的概率：
Pair＝{(e1,c1),(e2,c2),...},
Figure BDA0003301819670000142
其中(ei,ci)表示第i个候选的情感原因对；
Figure BDA0003301819670000143
表示候选的情感原因对的概率。
所述原因子句的概率指该子句是情感子句对应的原因子句的概率值，当该概率值>0.5时子句被认为是原因子句。所述候选的情感原因对的概率指第一个子句是情感子句的概率与第二个子句是第一个子句对应的原因子句的概率之积。
步骤4.3：反思验证机制，即动态情感抽取任务。根据步骤4.2抽取出的原因子句构造动态情感问题模板“这是____所对应的情感子句吗”，将动态情感问题和文档子句作为输入送入训练好的模型，对每个候选的情感原因对，抽取出原因子句对应的情感子句。根据抽取结果用参数α调整候选情感原因对的概率值。若抽取出的情感子句与候选的情感原因对中的情感子句一致，则验证正确，α＝1，否则令α＝0.8。更新后的候选的情感原因对的概率值如下：
Figure BDA0003301819670000151
其中
Figure BDA0003301819670000152
使用阈值δ筛选出正确的情感原因对：
Figure BDA0003301819670000153
其中Pairf表示筛选后的情感原因对的集合，δ＝0.8。
即基于反思机制的多轮机器阅读理解实现情感原因对抽取。
步骤五：将前四步得到的模型对应用于舆情监控，解决相关技术问题。
将模型应用于网络舆情监控，根据模型抽取的情感原因对分析目标舆情的情绪状态，针对影响社会稳定的舆情中的情感原因对，消除对应原因，维持网络舆情积极向上和社会稳定。
本实施例给出了在微博语料库上的表现效果，使用本发明的多轮机器阅读理解模型抽取文档的情感原因对，下表2为在该语料库上，本发明和其他方法的效果对比，可以看出本发明全面优于其他方法，能更准确的提取出情感原因对，针对提取出的情感原因对，消除消极情绪和对社会稳定产生消极影响的原因，达到舆情控制的效果。
表2各方法效果对比
方法 精确率(％) 召回率(％) F1值(％)
ECPE-2D 72.92 65.44 68.89
PairGCN 76.92 67.91 72.02
RANKCP 71.19 76.30 73.60
ECPE-MLL 77.00 72.35 74.52
SL-NTS 72.43 63.66 67.76
IE 71.49 62.79 66.86
本发明 81.21 79.31 80.20
综上所述，本发明公开的基于多轮机器阅读理解的情感原因对抽取方法，应用在微博语料库上，分析舆情达到了很好的效果，抽取文档情感原因对的F1值超过了80％，对抽取出的情感原因对进行应用，可以有针对性的消除对社会稳定造成影响的舆情原因，具有很高的工程应用价值。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于多轮机器阅读理解的情感原因对抽取方法，其特征在于：包括如下步骤，
步骤一、基于多轮机器阅读理解方法实现对文档情感原因对抽取，利用多轮结构将情感原因对抽取任务分解，在子句层面上构建问题和子句之间的交互，充分利用显式的情感和原因语义信息，通过在子句层面上处理情感原因对抽取任务，缓解子句对层面的标签稀疏性问题，提高对文档情感原因对抽取的效率，并输出初步抽取的文档情感原因对和对应的文档情感原因对的概率；
所述对应的文档情感原因对概率指该子句对是正确的情感原因对的概率，通常为对中第一个子句是情感子句的概率与第二个子句是第一个子句对应的原因子句的概率之积；
步骤二、基于带有反思机制的多轮机器阅读理解方法对抽取的文档情感原因对进行验证；在步骤一的基础之上，加入动态情感抽取任务作为最后一轮，抽取每个原因子句对应的情感子句，充分利用显式的原因语义信息，提高情感原因对抽取任务的F1值；
所述动态情感抽取任务指在动态原因抽取任务的结果基础上，在显式原因语义信息的帮助下，抽取每个原因子句对应的情感子句；
步骤三：将步骤1.2、1.3和2.1的三个损失Le,Lc,Lr相加得到总损失，使用该损失训练情感原因对抽取模型直至收敛，记下模型参数用于文档情感原因对抽取任务；
步骤四：将步骤三训练后的情感原因对抽取模型输入文档，使用所述模型抽取所有的情感原因对，即基于反思机制的多轮机器阅读理解实现情感原因对抽取。
2.如权利要求1所述的基于多轮机器阅读理解的情感原因对抽取方法，其特征在于：还包括步骤五，将步骤四抽取的情感原因对应用于自然语言处理与机器学习领域，解决相关技术问题；
所述相关技术问题包括智能文本挖掘与服务、社交网络信息挖掘、情绪疏导、舆情监控、工作效率预测。
3.如权利要求2所述的基于多轮机器阅读理解的情感原因对抽取方法，其特征在于：
将模型应用于情绪疏导，根据模型抽取的情感原因对分析目标群体情感状态以及出现这种情感状态的原因，针对影响目标群体心理健康的情感原因对，选择情绪疏导策略，消除对应原因，提高目标群体的心理健康状况；
将模型应用于网络舆情监控，根据模型抽取的情感原因对分析目标舆情的情绪状态，针对影响社会稳定的舆情中的情感原因对，消除对应原因，维持网络舆情积极向上和社会稳定；
将模型应用于工作效率预测，根据模型抽取的情感原因对分析目标工作群体的工作状态，针对影响工作状态的情感原因对消除对应原因，提升目标工作群体的工作状态，进而提高目标工作群体的工作效率。
4.如权利要求3所述的基于多轮机器阅读理解的情感原因对抽取方法，其特征在于：所述各种复杂关系包括情感子句与原因子句一对一、一对多和多对一关系以及情感子句和原因子句距离较远的情况。
5.如权利要求1、2、3或4所述的基于多轮机器阅读理解的情感原因对抽取方法，其特征在于：步骤一实现方法为，
步骤1.1：基于多轮机器阅读理解方法实现对文档情感原因对抽取，利用多轮结构将情感原因对抽取任务分解为静态情感抽取任务和动态原因抽取任务；
所述静态情感抽取任务指抽取出文档中所有的情感子句，动态原因抽取任务指在静态情感抽取任务的结果基础上，在显式情感语义信息的帮助下，抽取每个情感子句对应的原因子句；
步骤1.2：静态情感抽取任务；设计静态情感问题，对文档子句编码，根据文档子句对应编码进行预测从而抽取情感子句；所述文档子句编码实现方法如下：利用预训练模型BERT对静态情感问题和文档子句进行词级别编码，得到情感问题和每个子句中每个词的词向量；利用自注意力机制聚合词向量进行句级别编码，得到情感问题和每个子句的句向量；利用图注意力网络建模文档级关系，更新子句的句向量；通过将情感问题的句向量和每个子句的句向量进行拼接再次更新子句的句向量，实现问题和子句之间的交互，使子句的句向量带有情感语义信息，即实现对文档子句编码；编码后通过一个线性分类器对子句编码进行预测，抽取情感子句，计算静态情感抽取任务损失；
所述静态情感问题指预先设计好的一个用于静态情感抽取任务的问句；
步骤1.3：动态原因抽取任务；设计动态原因问题，对文档子句编码，根据文档子句对应编码进行预测从而抽取情感子句对应的原因子句；所述文档子句编码实现方法如下：利用BERT对动态原因问题和文档子句进行词级别编码，得到原因问题和每个子句中每个词的词向量；利用自注意力机制聚合词向量进行句级别编码，得到原因问题和每个子句的句向量；利用图注意力网络建模文档级关系，更新子句的句向量；通过将原因问题的句向量和每个子句的句向量进行拼接再次更新子句的句向量，实现问题和子句之间的交互，使子句的句向量带有原因语义信息，即实现对文档子句编码；编码后通过一个线性分类器对子句编码进行预测，抽取情感子句对应的原因子句，计算动态原因抽取任务损失；
所述动态原因问题指使用问题模板，将步骤1.2抽取出的情感子句包含在问题模板中，构建出用于动态原因抽取任务的问题；
步骤1.4：根据步骤1.1、1.2、1.3，利用多轮结构将情感原因对抽取任务分解，在子句层面上构建问题和子句之间的交互，充分利用显式的情感和原因语义信息，通过在子句层面上处理情感原因对抽取任务，缓解情感原因对标签稀疏性问题，提高对文档情感原因对抽取效率。
6.如权利要求5所述的基于多轮机器阅读理解的情感原因对抽取方法，其特征在于：步骤二实现方法为，
步骤2.1：动态情感抽取任务；设计动态情感问题，对文档子句编码，根据文档子句对应编码进行预测从而抽取原因子句对应的情感子句；所述文档子句编码实现方法如下：利用预训练模型BERT对动态情感问题和文档子句进行词级别编码，得到情感问题和每个子句中每个词的词向量；利用自注意力机制聚合词向量进行句级别编码，得到情感问题和每个子句的句向量；利用图注意力网络建模文档级关系，更新子句的句向量；通过将情感问题的句向量和每个子句的句向量进行拼接再次更新子句的句向量，实现问题和子句之间的交互，使子句的句向量带有情感语义信息，即实现对文档子句编码；编码后通过一个线性分类器对子句编码进行预测，抽取原因子句对应的情感子句；计算动态情感抽取任务损失；
所述动态情感问题指使用问题模板，将步骤1.3抽取出的原因子句包含在问题模板中，构建出用于动态情感抽取任务的问题；
步骤2.1所述文档子句编码具体实现方法如下：
构造预训练模型BERT输入：
Figure RE-FDA0003427819730000031
该输入共包含两个特殊标记[CLS]和[SEP]，还有1个问题和N个子句；
Figure RE-FDA0003427819730000032
表示动态情感问题的第i个词，wi,j表示文档中第i个子句的第j个词；将该输入送入BERT预训练模型，得到BERT输出：
Figure RE-FDA0003427819730000034
其中
Figure RE-FDA0003427819730000033
表示动态情感问题中第i个词的隐藏层向量表示，hi,j表示文档中第i个子句的第j个词的隐藏层向量表示；随后利用自注意力机制聚合词向量表示得到每个子句和问题的句向量表示：
Figure RE-FDA0003427819730000041
对子句的向量表示使用图注意力网络GAT建模文档级信息，更新子句的向量表示：
HC＝{h′c1,h′c2,...}，其中h′ci＝GAT(hci)
将每个子句的向量表示与问题的向量表示拼接，再更新子句向量表示：
HC＝{h″c1,h″c2,...}，其中
Figure RE-FDA0003427819730000042
步骤2.1所述线性分类器对子句编码进行预测具体实现方法如下：
将编码器输出HC＝{h″c1,h″c2,...}送入单层感知机：
Figure RE-FDA0003427819730000043
其中wS,bS是单层感知机的可学习的参数，σ()是logistic激活函数，
Figure RE-FDA0003427819730000044
表示答案为True的概率；
步骤2.1所述动态情感抽取任务损失具体实现方法如下：
Figure RE-FDA0003427819730000045
其中
Figure RE-FDA0003427819730000046
表示第i个文档中第j个子句ci,j是第k个动态情感问题
Figure RE-FDA0003427819730000047
的答案的真实概率值，非0即1，
Figure RE-FDA0003427819730000048
表示第i个文档中第j个子句ci,j是第k个动态情感问题
Figure RE-FDA0003427819730000049
的答案的预测概率值，只有概率值大于0.5时才判定第j个子句是第k个动态情感问题的答案；
步骤2.2：在步骤一的基础之上，加入动态情感抽取任务作为最后一轮，抽取每个原因子句对应的情感子句，充分利用显式的原因语义信息，提高情感原因对抽取任务的F1值。
7.如权利要求6所述的基于多轮机器阅读理解的情感原因对抽取方法，其特征在于：
步骤1.2所述文档子句编码具体实现方法如下：
构造预训练模型BERT输入：
Figure RE-FDA00034278197300000411
该输入共包含两个特殊标记[CLS]和[SEP]，还有1个问题和N个子句；
Figure RE-FDA00034278197300000410
表示静态情感问题的第i个词，wi,j表示文档中第i个子句的第j个词；将该输入送入BERT，得到BERT输出：
Figure RE-FDA0003427819730000051
其中
Figure RE-FDA0003427819730000052
表示静态情感问题中第i个词的向量表示，hi,j表示文档中第i个子句的第j个词的向量表示；利用自注意力机制聚合词向量表示得到每个子句和问题的句向量表示：
Figure RE-FDA0003427819730000053
对子句的向量表示，使用图注意力网络GAT建模文档级信息，更新子句向量表示：
HC＝{h′c1,h′c2,...}，其中h′ci＝GAT(hci)
将每个子句的向量表示与问题的向量表示拼接，更新子句向量表示：
HC＝{h″c1,h″c2,...}，其中
Figure RE-FDA0003427819730000054
步骤1.2所述线性分类器对子句编码进行预测具体实现方法如下：
将编码器输出HC＝{h″c1,h″c2,...}送入单层感知机：
Figure RE-FDA0003427819730000055
其中wS,bS是单层感知机的可学习的参数，σ()是logistic激活函数，
Figure RE-FDA0003427819730000056
表示答案为True的概率；
步骤1.2所述静态情感抽取任务损失具体实现方法如下：
Figure RE-FDA0003427819730000057
其中
Figure RE-FDA0003427819730000058
表示第i个文档中第j个子句ci,j是第k个静态情感问题
Figure RE-FDA0003427819730000059
的答案的真实概率值，非0即1，
Figure RE-FDA00034278197300000510
表示第i个文档中第j个子句ci,j是第k个静态情感问题
Figure RE-FDA00034278197300000511
的答案的预测概率值，只有大于0.5时才判定第j个子句是第k个静态情感问题的答案。
8.如权利要求7所述的基于多轮机器阅读理解的情感原因对抽取方法，其特征在于：
步骤1.3所述文档子句编码具体实现方法如下：
构造预训练模型BERT输入：
Figure RE-FDA00034278197300000512
该输入共包含两个特殊标记[CLS]和[SEP]，还有1个问题和N个子句；
Figure RE-FDA0003427819730000061
表示动态原因问题的第i个词，wi,j表示文档中第i个子句的第j个词；将该输入送入BERT预训练模型，得到BERT输出：
Figure RE-FDA0003427819730000062
其中
Figure RE-FDA0003427819730000063
表示动态原因问题中第i个词的隐藏层向量表示，hi,j表示文档中第i个子句的第j个词的隐藏层向量表示；随后利用自注意力机制聚合词向量表示得到每个子句和问题的句向量表示：
Figure RE-FDA0003427819730000064
对子句的向量表示使用图注意力网络GAT建模文档级信息，更新子句的向量表示：
HC＝{h′c1,h′c2,...}，其中h′ci＝GAT(hci)
将每个子句的向量表示与问题的向量表示拼接，再更新子句向量表示：
HC＝{h″c1,h″c2,...}，其中
Figure RE-FDA0003427819730000065
步骤1.3所述线性分类器对子句编码进行预测具体实现方法如下：
将编码器输出HC＝{h″c1,h″c2,...}送入单层感知机：
Figure RE-FDA0003427819730000066
其中wS,bS是单层感知机的可学习的参数，σ()是logistic激活函数，
Figure RE-FDA0003427819730000067
表示答案为True的概率；
步骤1.3所述动态原因抽取任务损失具体实现方法如下：
Figure RE-FDA0003427819730000068
其中
Figure RE-FDA0003427819730000069
表示第i个文档中第j个子句ci,j是第k个动态原因问题
Figure RE-FDA00034278197300000610
的答案的真实概率值，非0即1，
Figure RE-FDA00034278197300000611
表示第i个文档中第j个子句ci,j是第k个动态原因问题
Figure RE-FDA00034278197300000612
的答案的预测概率值，只有大于0.5时才判定第j个子句是第k个动态原因问题的答案。
9.如权利要求8所述的基于多轮机器阅读理解的情感原因对抽取方法，其特征在于：步骤四中使用步骤三训练后的情感原因对抽取模型抽取所有的情感原因对实现方法如下，
步骤4.1：静态情感抽取任务；构造静态情感问题，将静态情感问题和文档子句作为输入送入训练好的情感原因对抽取模型，抽取出文档中所有的情感子句并得到情感子句对应的概率：
E＝{e1,e2,...}，PE＝{pe1,pe2,...}
其中ei表示文档中第i个情感子句，pei表示第i个情感子句的概率；
所述情感子句的概率指该子句被认为是正确的情感子句的概率值；
步骤4.2：动态原因抽取任务；根据步骤4.1抽取出的情感子句构造动态原因问题，将动态原因问题和文档子句作为输入送入训练好的模型，抽取出文档中每个情感子句对应的原因子句和原因子句的概率，即得到候选的所有情感原因对和候选的情感原因对的概率：
Figure RE-FDA0003427819730000071
其中(ei,ci)表示第i个候选的情感原因对，
Figure RE-FDA0003427819730000072
表示候选的情感原因对的概率；
所述原因子句的概率指该子句是情感子句对应的原因子句的概率值；所述候选的情感原因对的概率指第一个子句是情感子句的概率与第二个子句是第一个子句对应的原因子句的概率之积；
步骤4.3：反思验证机制，即动态情感抽取任务；根据步骤4.2抽取出的原因子句构造动态情感问题，将动态情感问题和文档子句作为输入送入训练好的模型，对每个候选的情感原因对，抽取出原因子句对应的情感子句；根据抽取结果用参数α调整候选情感原因对的概率值；若抽取出的情感子句与候选的情感原因对中的情感子句一致，则验证正确，α＝1，否则降低α的值；更新后的候选的情感原因对的概率值如下：
Figure RE-FDA0003427819730000073
其中
Figure RE-FDA0003427819730000074
使用阈值δ筛选出正确的情感原因对：
Figure RE-FDA0003427819730000075
其中Pairf表示筛选后的情感原因对的集合；
即基于反思机制的多轮机器阅读理解实现情感原因对抽取。
CN202111192610.2A 2021-10-13 2021-10-13 基于多轮机器阅读理解的情感原因对抽取方法 Pending CN113988048A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111192610.2A CN113988048A (zh) 2021-10-13 2021-10-13 基于多轮机器阅读理解的情感原因对抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111192610.2A CN113988048A (zh) 2021-10-13 2021-10-13 基于多轮机器阅读理解的情感原因对抽取方法

Publications (1)

Publication Number Publication Date
CN113988048A true CN113988048A (zh) 2022-01-28

Family

ID=79738494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111192610.2A Pending CN113988048A (zh) 2021-10-13 2021-10-13 基于多轮机器阅读理解的情感原因对抽取方法

Country Status (1)

Country Link
CN (1) CN113988048A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841119A (zh) * 2023-02-21 2023-03-24 中国科学技术大学 一种基于图结构的情绪原因提取方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841119A (zh) * 2023-02-21 2023-03-24 中国科学技术大学 一种基于图结构的情绪原因提取方法
CN115841119B (zh) * 2023-02-21 2023-06-16 中国科学技术大学 一种基于图结构的情绪原因提取方法

Similar Documents

Publication Publication Date Title
US11580415B2 (en) Hierarchical multi-task term embedding learning for synonym prediction
CN107808011B (zh) 信息的分类抽取方法、装置、计算机设备和存储介质
CN110807328B (zh) 面向法律文书多策略融合的命名实体识别方法及系统
WO2021042503A1 (zh) 信息分类抽取方法、装置、计算机设备和存储介质
CN111325029B (zh) 一种基于深度学习集成模型的文本相似度计算方法
Li et al. The automatic text classification method based on bert and feature union
CN111368086A (zh) 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法
CN112434535B (zh) 基于多模型的要素抽取方法、装置、设备及存储介质
US20220300546A1 (en) Event extraction method, device and storage medium
CN111159336B (zh) 一种半监督司法实体及事件联合提取方法
CN111984792A (zh) 网站分类方法、装置、计算机设备及存储介质
Bilgin et al. Sentiment analysis with term weighting and word vectors
CN115759119B (zh) 一种金融文本情感分析方法、系统、介质和设备
Li et al. A method for resume information extraction using bert-bilstm-crf
Moeng et al. Canonical and surface morphological segmentation for nguni languages
CN113934909A (zh) 基于预训练语言结合深度学习模型的金融事件抽取方法
CN112818698A (zh) 一种基于双通道模型的细粒度的用户评论情感分析方法
CN115600605A (zh) 一种中文实体关系联合抽取方法、系统、设备及存储介质
CN111831624A (zh) 数据表创建方法、装置、计算机设备及存储介质
CN113221553A (zh) 一种文本处理方法、装置、设备以及可读存储介质
CN110929518A (zh) 一种使用重叠拆分规则的文本序列标注算法
CN113988048A (zh) 基于多轮机器阅读理解的情感原因对抽取方法
CN111159405B (zh) 基于背景知识的讽刺检测方法
CN116522165A (zh) 一种基于孪生结构的舆情文本匹配系统及方法
CN111401038A (zh) 文本处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination