CN111209366B - 基于TransS驱动的互激励神经网络的隐式篇章关系识别方法 - Google Patents

基于TransS驱动的互激励神经网络的隐式篇章关系识别方法 Download PDF

Info

Publication number
CN111209366B
CN111209366B CN201910957151.9A CN201910957151A CN111209366B CN 111209366 B CN111209366 B CN 111209366B CN 201910957151 A CN201910957151 A CN 201910957151A CN 111209366 B CN111209366 B CN 111209366B
Authority
CN
China
Prior art keywords
chapter
relation
transs
argument
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910957151.9A
Other languages
English (en)
Other versions
CN111209366A (zh
Inventor
贺瑞芳
王建
郭凤羽
党建武
贺迎春
朱永凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910957151.9A priority Critical patent/CN111209366B/zh
Publication of CN111209366A publication Critical patent/CN111209366A/zh
Application granted granted Critical
Publication of CN111209366B publication Critical patent/CN111209366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开一种基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，包括如下步骤：(1)构建论元和篇章关系的嵌入层；(2)篇章论元的表示学习；(3)构建注意力机制增强的表示学习；(4)构建句子翻译嵌入模块(Translating Sentence Embedding，TransS)；(5)构建篇章关系识别模块；(6)构建互激励机制；该方法首先利用论元对‑关系嵌入层得到论元对和关系的嵌入向量，进而通过论元对‑关系编码层和引入注意力机制建模论元对和关系的分布式表示，最后通过TransS和关系识别模块间的相互引导，优化表示参数，提升关系识别性能。

Description

基于TransS驱动的互激励神经网络的隐式篇章关系识别方法
技术领域
本发明涉及自然语言处理中篇章分析技术领域，尤其是涉及篇章关系识别技术，具体为一种基于TransS驱动的互激励神经网络的隐式篇章关系识别方法。
背景技术
篇章关系描述了两个相邻的文本单元(例如，从句，句子和较大的句子组)如何在逻辑上彼此连接，通常被定义为带有两个论元的连词(分别为Arg1和Arg2)。显式篇章关系可以很容易被识别出来，其精度约为94％，而隐式篇章关系识别则没有显式连接词。因此隐式篇章关系识别仍然是一个具有挑战性的问题，其需要从特定上下文进行关系推断。隐式篇章关系识别有利于许多流行自然语言处理(Natural Language Processing,NLP)应用，如机器翻译、文本摘要、对话系统等。
现有的神经网络模型在识别隐式篇章关系方面取得了一定的成功：(1)基础神经网络可以学习到篇章论元的密集向量表示，在一定程度上可以捕获语义信息，如卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent NeuralNetwork,RNN)[1-3]；(2)进一步的研究利用了不同的注意力或记忆机制捕获论元对的重要信息[4,5]；(3)复杂神经模型利用门控关联网络或神经张量网络来捕获两个篇章论元之间更深层次的交互信息[6-8]。尽管它们获取了论元的关键信息和两个论元之间的交互信息，但仍然存在以下不足：
·忽略了对论元中有效语义信息的选择；
·没有充分利用语料已标注关系信息来探究论元对-关系的特征；
·分开研究论元表示和关系识别，忽略了它们之间的相互激励作用。
实体翻译嵌入模型(TransE)是预测知识图谱中实体之间缺失关系的一种有效方法，通过把实体关系解释为实体在低维向量空间中的翻译操作来建模关系[9]，即如果(he,le,te)成立，则符合尾实体向量te应该接近于头实体向量he加上关系向量le，但是并没有在句子级别上得到有效地应用。
发明内容
本发明的目的是为了克服现有技术中的不足，提供一种基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，该方法为了更好进行隐式篇章关系识别，构建了基于TransS驱动的互激励神经网络。其中，句子翻译嵌入模块(Translating SentenceEmbedding,TransS)和关系识别模块相互激励、相互指导。该方法首先利用论元对-关系嵌入层得到论元对和关系的嵌入向量，进而通过论元对-关系编码层和引入注意力机制建模论元对和关系的分布式表示，最后通过TransS和关系识别模块间的相互引导，优化表示参数，提升关系识别性能。
本发明的目的是通过以下技术方案实现的：
基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，包括如下步骤：
(1)构建论元和篇章关系的嵌入层；篇章论元对(Arg1,Arg2)与其对应的篇章关系分别表示为词向量序列和词向量，然后通过单词的逐一映射，得到两个篇章论元的向量矩阵，以及其对应篇章关系的低维分布式表示；
(2)篇章论元的表示学习；将篇章论元Arg1、Arg2的向量表示分别作为正向长短期记忆网络(Long Short-Term Memory,LSTM)层和反向LSTM层，即双向LSTM神经网络(Bidirectional Long Short-Term Memory,BiLSTM)的输入，编码得到两个篇章论元的抽象表示；
(3)构建注意力机制增强的表示学习；利用注意力机制捕获篇章论元中重要的词汇信息，将捕获到的重要词汇信息融入基本的表示学习中，以加深对篇章论元的语义理解，从而获取融合重要信息的篇章论元表示；
(4)构建句子翻译嵌入模块(Translating Sentence Embedding，TransS)；TransS将篇章论元之间的语义关系翻译到低维向量空间，并得到篇章论元对及其关系之间的几何结构；同时，TransS模块所保留的几何结构信息能够作为篇章关系识别的指导；
(5)构建篇章关系识别模块；将TransS模块所得的包含几何结构信息的论元表示输入篇章关系识别模块，并为TransS模块提供已学到的篇章关系语义信息，以帮助TransS模块更好地学习论元表示；
(6)构建互激励机制；TransS和篇章关系识别两个模块的互相激励、互相指导，共同优化单词表示，可以更好地学习新的融合几何结构信息的篇章论元表示，以提高篇章关系识别能力。
进一步的，步骤(1)中具体如下：实现单词的嵌入，捕捉单词的内在属性，即将语料词表中所有单词与预训练所得的低维、连续词向量表示对应起来，得到语料中所有单词的向量表示；将篇章论元对以及其对应的篇章关系转化为向量表示；在形式上将嵌入层看作是一个投影层，其中单词嵌入根据索引进行查找表操作实现，即将索引转换为固定大小的稠密向量；从而获取两个篇章论元的向量矩阵，以及其对应篇章关系的低维分布式表示。
进一步的，步骤(2)具体包括：通过LSTM对单词序列进行建模；对于第t个时间步，LSTM读取单词xt作为输入，ht作为输出，具体公式如下：
Figure BDA0002227722620000031
Figure BDA0002227722620000032
ht＝ot⊙tanh(ct)  (17)
其中，it,ft,ot,ct,ht分别表示输入门、遗忘门、输出门、存储单元和隐藏状态；TA,b是依赖于网络参数的映射变换矩阵；ct-1表示上一时刻(t-1)的存储单元状态，
Figure BDA0002227722620000033
是当前时刻存储单元到即时状态，ht-1表示t-1时刻的隐藏层状态；σ表示sigmoid函数，双曲正切函数tanh是在t-1时刻作用于ht-1和TA,b上的激活函数，⊙表示元素乘积；
利用双向LSTM神经网络(Bidirectional Long Short-Term Memory,BiLSTM)对论元序列进行建模；BiLSTM通过正向和反向两个单独的LSTM保存历史和未来信息；得到在序列的每个时间步长t处的两个表示
Figure BDA0002227722620000034
和
Figure BDA0002227722620000035
后将它们拼接在一起作为句子向量表示
Figure BDA0002227722620000036
进一步的，步骤(3)具体包括：引入注意力控制机制捕获到对关系识别有帮助的词汇，忽略对关系识别不重要的词汇，将关注重点放在包含重要信息的词汇上以增强篇章论元对的语义理解，更有效地学习包含重要信息的表示；
M＝tanh(H)  (18)
α＝softmax(wTM)  (19)
Figure BDA0002227722620000037
Figure BDA0002227722620000038
公式(4)中，
Figure BDA0002227722620000039
H是由输出向量[h1,h2,...,hn]组成的矩阵，其中n是论元的长度，即每个论元所包含的单词数量，d表示单词的维度，H经过双曲正切函数tanh函数而得到隐藏层状态向量表示矩阵M；公式(5)中，w表示权重参数向量；softmax函数将加权的隐藏层状态向量表示矩阵M转化为概率分布，称为每个单词的注意力值；公式(6)中，
Figure BDA00022277226200000310
是由输出向量进行加权求和计算得到的新的论元向量表示，α的转置αT作为输出向量的权重；最后，根据公式(7)对上一步结果
Figure BDA00022277226200000311
加入激活函数tanh，从而获取体现出其自身重要信息的篇章论元表示h*。
进一步的，步骤(4)具体包括：TransS通过将论元对及其关系在低维向量空间中的位置信息进行建模，捕获了论元对间的关系信息；论元对及其关系在低维向量空间中的位置信息表示为：hs+rs≈ts；因此，TransS的目标函数定义为：
Figure BDA0002227722620000041
在公式(8)中，hs，ts分别表示论元Arg1，Arg2的向量表示，
Figure BDA0002227722620000042
是篇章关系的嵌入向量；TransS通过将篇章关系翻译到低维向量空间中捕获到带有几何结构信息的篇章关系；同时，TransS利用所保留的几何结构信息指导关系识别模块进行关系识别。
进一步的，步骤(5)具体包括：由TransS所学习到的带有几何结构信息的新论元表示
Figure BDA0002227722620000043
作为关系识别模块的输入，其中
Figure BDA0002227722620000044
和
Figure BDA0002227722620000045
均通过注意力机制增强的表示学习而得到；进一步地，在表示层上叠加一个softmax层：
Figure BDA0002227722620000046
在公式(9)中，f是softmax函数，
Figure BDA0002227722620000047
分别是权重和偏置项，C是篇章关系类别的数量；
篇章关系识别模块一方面使用由TransS学到的带有几何结构信息的论元表示进行关系识别，另一方面为TransS学习到更好的论元表示提供相应的指导和激励。
进一步的，步骤(6)具体包括：设置互激励神经网络的隐式篇章关系识别方法中TransS和关系识别模块之间的互激励机制，整个方法的目标是最小化模型的损失函数，定义如下：
Figure BDA0002227722620000049
如公式(10)所示，
Figure BDA00022277226200000410
表示总损失函数，
Figure BDA00022277226200000411
表示TransS模块的损失函数，
Figure BDA00022277226200000412
表示篇章关系识别模块的损失函数；整个方法的损失函数由TransS的损失函数和篇章关系识别模块的损失函数两部分构成；
给定数据集T，由两个句子向量hs，ts∈V和篇章关系向量rs∈R组成的三元组所构成；其中，V表示数据集中所有的句子向量的集合，R是篇章关系向量的集合；对于TransS的损失函数，定义如下：
Figure BDA0002227722620000048
其中，[·]+表示正例，γ＞0是边际超参数；负例集合T'是根据公式(12)构建而成，h's,t's是负例句子向量；d(,)是距离函数，计算两个向量之间的距离；L2规则化用于惩罚参数θ的大小，以防止过拟合；λ表示权重；
Figure BDA0002227722620000051
在公式(12)中，头或尾向量hs，ts被随机论元向量h's，t's替换；在训练的过程中，TransS模块不断地最小化三元组(hs,rs,ts)的几何结构损失，且最终在低维向量空间中学习到带有内在结构信息的头、尾、关系向量hs,ts,rs；
新的句子向量由三元组(hs,rs,ts)中的hs,ts拼接得到，并用于进行关系识别；篇章关系识别模块的训练目标是最小化交叉熵损失函数：
Figure BDA0002227722620000052
其中，yj是真实关系的one-hot表示；
Figure BDA0002227722620000053
是预测关系的表示；C是篇章关系类别的数量；在训练过程中，关系识别模块不断最小化真实关系和预测关系的交叉熵损失，并优化篇章关系表示；
由公式(11)和公式(13)可以得出整个模型损失的具体形式：
Figure BDA0002227722620000054
从公式(14)得出TransS与关系识别模块之间相互依赖，TransS与关系识别模块使用带有结构信息的论元表示和已标注的关系信息相互指导；一方面，TransS将关系映射到低维向量空间中，利用捕获的带有几何结构信息的向量hs,rs,ts激励关系识别；另一方面，关系识别模块在改进关系识别的基础上，不断优化篇章论元表示，并为几何结构特征的挖掘提供必要条件；TransS与关系识别模块相互指导、相互激励、相互优化，最终得到包含有语义信息和几何结构信息的论元-关系表示。
与现有技术相比，本发明的技术方案所带来的有益效果是：
1.本发明方法主要包括有TransS和识别两大模块。
TransS模块，本发明受到TransE的启发，在TransS模块中，我们将关系映射到低维嵌入空间来挖掘论元-关系的特征。TransS通过建模论元对及其关系在低维向量空间中的空间几何信息，捕获了论元对间的关系信息。
篇章关系识别模块，在利用TransS模块捕获论元-关系空间几何结构信息的同时，篇章关系识别模块一方面使用由TransS学到的带有几何结构信息的论元表示进行关系识别，另一方面为TransS学习到更好的论元表示提供相应的指导和激励。
2.互激励机制，一方面，TranS将关系映射到低维向量空间中，利用捕获的带有几何结构信息的向量激励关系识别；另一方面，关系识别模块在改进关系识别的基础上，不断优化篇章论元表示，并为几何结构特征的挖掘提供必要条件；TransS与关系识别模块相互指导、相互激励、相互优化，最终得到包含有语义信息和几何结构信息的论元-关系表示。
附图说明
图1是本发明方法的流程示意图。
图2为本发明提供的基于TransS驱动的互激励神经网络框架图。
图3为PDTB中的论元和关系数据结构。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以宾州篇章树库(Penn Discourse TreeBank,PDTB)数据集为例来给出本发明的实施方法。整体流程见图1；该方法整体框架如图2所示。整个系统算法流程包括(1)数据集预处理，即将数据集划分成训练集、开发集和测试集；(2)论元及其关系的编码，即将论元及其关系进行编码，从而得到低维分布式表示；(3)融合论元中重要信息的特征，即通过注意力控制机制捕获论元中不同部分的重要性，从而选择性地获得论元中的重要信息；(4)挖掘论元及其关系所隐含的几何结构信息，即通过句子翻译嵌入模块(TransS)捕获到关系和论元对之间的几何结构；(5)捕获论元语义信息并进行篇章关系识别，即通过关系识别模块学习论元语义信息并进行关系识别；(6)TransS和关系识别模块相互激励、优化这六个步骤。
具体步骤如下：
一、数据集预处理宾州篇章树库(Penn Discourse Treebank,PDTB)是一个在2,312篇华尔街日报文章上进行标注得到的大规模语料库。PDTB根据不同粒度，将篇章关系分为三层：第一层4类，第二层16类，第三层23类，共43类。第一层为四种主要的关系类型：对比(Comparison)、偶然(Contingency)、扩展(Expansion)和时序(Temporal)。本发明以PDTB为原始语料，并按照以下步骤对原始语料进行处理：(1)Section2-21部分为训练集，Section22为开发集，Section 23为测试集；(2)由于数据分布不平衡对分类结果的影响较大，所以对每个类别使用相同数量的正、负样本作为训练数据，负样本随机选取；(3)过滤没有形成论元对的数据。
表1展示了PDTB数据集的统计信息，其中训练集共有12690条数据，包含1945条Comparison数据、3242条Contingency数据、6794条Expansion数据和709条Temporal数据；开发集共有1187条数据，包含196条Comparison数据、248条Contingency数据、646条Expansion数据和61条Temporal数据；测试集共有1049条数据，包含152条Comparison数据、272条Contingency数据、546条Expansion数据和79条Temporal数据。
表1 PDTB样本数据分布
Figure BDA0002227722620000071
将语料库中的论元和关系作为输入，首先由嵌入层得到嵌入向量，即one-hot表示转换为分布式表示，以便利用神经网络对论元及其关系进行建模。PDTB中的论元和关系数据结构如图2所示。
二、论元及其关系的编码
按照上步将数据集划分成训练集、开发集和测试集后，将训练集按批次将论元及其关系进行编码，即使用单词嵌入通过对索引进行查找表操作将索引转换为固定大小的稠密向量。然后将论元的词向量序列输入到长短期记忆网络(LSTM)中，从而可以利用上下文信息对单词序列进行建模。
为了学习到具有语义信息的句子表示ht，按照如下公式将其输入到双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)中：
Figure BDA0002227722620000072
Figure BDA0002227722620000073
ht＝ot⊙tanh(ct)  (3)
公式中符号的含义如同前文所述，其中it,ft,ot,ct,ht分别表示输入门、遗忘门、输出门、存储单元和隐藏状态；TA,b是依赖于网络参数的映射变换矩阵；ct-1表示上一时刻(t-1)的存储单元状态，
Figure BDA0002227722620000081
是当前时刻存储单元到即时状态；σ表示sigmoid函数，双曲正切函数tanh是在t-1时刻作用于ht-1和TA,b上的激活函数，⊙表示元素乘积；由于双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)通过正向和反向两个单独的LSTM对论元序列进行建模，因此可以得到在序列的每个时间步长t处的两个向量表示
Figure BDA0002227722620000082
和
Figure BDA0002227722620000083
并拼接在一起作为句子向量表示
Figure BDA0002227722620000084
三、融合论元中重要信息的特征
为了充分利用论元中与关系相关的有用信息，基于TransS驱动的互激励神经网络的隐式篇章关系识别方法引入注意力控制机制来捕获论元中不同词汇所蕴含的不同重要性信息，将关注重点放在包含重要信息的词汇上可以增强篇章论元对的语义理解，更有效地学习到包含重要信息的表示。
为了获得每个论元中的重要词汇信息，将得到的句子向量作为注意力控制层的输入，从而得到具有重要词汇信息的句子表示h*，能够更好地捕获论元对间的语义信息，注意力控制层主要通过下列公式实现：
M＝tanh(H)  (4)
α＝softmax(wTM)  (5)
Figure BDA0002227722620000085
Figure BDA0002227722620000086
公式(4)中，
Figure BDA0002227722620000087
H是由输出向量[h1,h2,...,hn]组成的矩阵，其中n是论元的长度，即每个论元所包含的单词数量，d表示单词的维度，H经过双曲正切函数tanh函数而得到隐藏层状态向量表示矩阵M。公式(5)中，w表示权重参数向量；softmax函数将加权的隐藏层状态向量表示矩阵M转化为概率分布，称为每个单词的注意力值。公式(6)中，
Figure BDA0002227722620000088
是由输出向量进行加权求和计算得到的新的论元向量表示，α的转置αT作为输出向量的权重。最后，根据公式(7)对上一步结果
Figure BDA0002227722620000089
加入激活函数tanh，从而获取体现出其自身重要信息的篇章论元表示h*。
四、挖掘论元及其关系所隐含的几何结构信息
在得到包含对任务具有重要意义的词汇的句子表示h*后，将两个论元向量h* Arg1、h* Arg2即头、尾句子向量hs、ts，与篇章关系向量rs共同作为TransS的输入以捕获到关系和论元对之间的空间几何结构。其目标是最优化TransS的目标函数：
Figure BDA0002227722620000091
即，使论元对及其关系在低维向量空间中的位置信息尽可能满足：hs+rs≈ts。在公式(8)中，hs，ts分别表示论元Arg1，Arg2的向量表示，
Figure BDA0002227722620000092
是篇章关系的嵌入向量。TransS通过将篇章关系翻译到低维向量空间中捕获到带有几何结构性的篇章关系。同时，TransS利用所保留的关系转换信息指导关系识别模块进行关系识别。
五、捕获论元语义信息并进行篇章关系识别
在上一步进行的同时，将注意力控制层输出的句子表示h* Arg1、h* Arg2作为关系识别模块的输入进行关系识别，然后经过了一个softmax层进行关系识别，其目标函数定义为：
Figure BDA0002227722620000093
在公式(9)中，f是softmax函数，
Figure BDA0002227722620000094
分别是权重和偏置项，C是篇章关系类别的数量。
关系识别模块一方面使用由TransS学到的带有几何结构信息的论元表示进行关系识别，另一方面为TransS学习到更好的论元表示提供了相应的指导和激励。
六、TransS和关系识别模块之间相互激励、优化
互激励神经网络的隐式篇章关系识别方法中TransS模块和关系识别模块之间的互激励机制，其中，相互引导是互激励机制的重要内容，通过训练过程中参数更新来充分体现。整个方法的目标是最小化模型的损失函数，定义如下：
Figure BDA0002227722620000098
Figure BDA0002227722620000095
Figure BDA0002227722620000096
Figure BDA0002227722620000097
Figure BDA0002227722620000101
如公式(10)所示，
Figure BDA0002227722620000104
表示总损失函数，
Figure BDA0002227722620000105
表示TransS模块的损失函数，
Figure BDA0002227722620000106
表示篇章关系识别模块的损失函数。整个方法的损失函数由TransS的损失函数和篇章关系识别模块的损失函数两部分构成。TransS的损失函数由公式(11)定义，其中，T为给定数据集，V表示数据集中所有的句子向量的集合，R是篇章关系向量的集合，hs，ts∈V表示句子首尾向量，rs∈R表示关系向量，[·]+表示正例，γ＞0是边际超参数。负例集合T'是根据公式(12)构建而成，h's,t's是负例句子向量；d(,)是距离函数，计算两个向量之间的距离。L2规则化用于惩罚参数θ的大小，以防止过拟合，λ表示权重。在公式(12)中，头或尾向量hs，ts被随机论元向量h's，t's替换(但不是同时替换)。在训练的过程中，TransS模块不断地最小化三元组(hs,rs,ts)的几何结构损失，并且最终将会在低维向量空间中学习到带有内在结构信息的头、尾、关系向量hs,ts,rs。公式(13)是交叉熵损失函数，其中，y是真实关系的one-hot表示；
Figure BDA0002227722620000102
是预测关系的表示；C是篇章关系类别的数量。在训练过程中，关系识别模块不断最小化真实关系和预测关系的交叉熵损失，并优化篇章关系表示。公式(14)是整个模型损失的具体形式，从中可以看出TransS与关系识别模块之间相互依赖，它们使用带有结构信息的论元表示和已标注的关系信息来相互指导。一方面，TransS将关系映射到低维向量空间中，利用捕获的带有几何结构信息的向量hs,rs,ts激励关系识别；另一方面，关系识别模块是在改进关系识别的基础上，不断优化篇章论元表示，并为几何结构特征的挖掘提供必要条件。这两个模块相互指导、相互激励、相互优化，最终得到包含有语义信息和几何结构信息的论元-关系表示。
在具体实施过程中，以PDTB数据集为例，通过提前设定各种超参数，即论元Arg1、Arg2的句子长度均设置为80，并且通过[-0.1,0.1]均匀分布随机初始化单词嵌入，每个单词的维度设为50。学习率设置为0.002，批量大小和迭代次数均为100。在TransS模块中，损失边际值设置为0.5，使用L1距离作为度量；在识别模块中，BiLSTM的输入和隐藏层的大小均为50，参数设置如表2所示：
表2模型在实验中的超参数
Figure BDA0002227722620000103
Figure BDA0002227722620000111
为了验证本发明方法的有效性，将本发明方法(TSMI)与当前先进并具有代表性的模型Chen et al.(2016)、
Figure BDA0002227722620000114
et al.(2017)以及两个基本方法LSTM、BiLSTM进行对比。
为了验证TransS模块中几何结构信息的有效性，将其与下面列出的退化模型进行了比较：
●LSTM使用两个LSTM分别对两个论元进行编码，然后将它们拼接在一起，并将其提供给MLP以进行关系识别；
●BiLSTM使用两个双向LSTM分别编码两个论元，然后将它们拼接在一起，并提供给MLP以进行关系识别。
此外，选择了两个先进的系统与我们的模型进行比较，验证了篇章几何结构和语义之间的相互激励的有效性。根据他们系统的主要思想复现了他们的模型：
·Chen et al.(2016)[6]他们利用门控关联网络来捕获两个论元之间的交互信息，以提高关系识别能力；
·
Figure BDA0002227722620000115
 et al.(2017)[10]他们利用基于注意力的递归神经网络，对篇章单元序列进行联合建模。
为了体现单词表示的效果，上述模型有两种实验设置：使用随机初始化的单词向量和预训练单词向量GloVe(Pennington et al.，2014)。
目前，篇章分析的评测主要考虑算法的准确度(Accuracy)和F1值两个性能指标。准确度采用式(15)进行度量。
Figure BDA0002227722620000112
这里，TruePositive代表本来是正样例，同时分类成正样例的个数；TrueNegative代表本来是负样例，同时分类成负样例的个数；All代表样例总个数。
F1值由准确率(Precision)和召回率(Recall)共同体现，采用式(16)进行度量。
Figure BDA0002227722620000113
其中，
Figure BDA0002227722620000121
Figure BDA0002227722620000122
这里，FalsePositive代表本来是负样例，但被分类成正样例的个数(通常叫误报)；FalseNegative代表本来是正样例，但被分类成负样例的个数(通常叫漏报)。相关分数值越高表示该模型性能越好。
表3(a)-(d)为PDTB上不同模型的二分类结果
Figure BDA0002227722620000123
(a)COMP vs Other
Figure BDA0002227722620000124
(b)CONT vs Other
Figure BDA0002227722620000125
(c)EXP vs Other
Figure BDA0002227722620000126
(d)TEM vs Other
表4 PDTB测试集的多分类准确度对比
Figure BDA0002227722620000131
表5 PDTB上不同模型的多分类结果
Figure BDA0002227722620000132
从表3，4，5的实验结果可看出，本发明提出的基于TransS驱动的互激励神经网络的隐式篇章关系识别的有效性。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。
参考文献：
[1]Deng Cai and Hai Zhao.2017.Pair-aware neural sentence modeling forimplicit discourse relation classification.In International Conference onIndustrial,Engineering and Other Applications of Applied Intelligent Systems,pages 458–466.Springer.
[2]Biao Zhang,Jinsong Su,Deyi Xiong,Yaojie Lu,Hong Duan,and JunfengYao.2015.Shallow convolutional neural network for implicit discourse relationrecognition.In Proceedings of the 2015 EMNLP,pages 2230–2235.
[3]Yang Liu,Sujian Li,Xiaodong Zhang,and Zhifang Sui.2016.Implicitdiscourse relation classification via multi-task neural networks.InProceedings of the 30th AAAI,pages 2750–2756.
[4]Yang Liu and Sujian Li.2016.Recognizing implicit discourserelations via repeated reading:Neural networks with multi-level attention.InProceedings of the 2016 EMNLP,pages 1224–1233.
[5]Biao Zhang,Deyi Xiong,and Jinsong Su.2016.Neural discourserelation recognition with semantic memory.arXiv preprint arXiv:1603.03873.
[6]Jifan Chen,Qi Zhang,Pengfei Liu,Xipeng Qiu,and XuanjingHuang.2016.Implicit discourse relation detection via a deep architecture withgated relevance network.In Proceedings of the 54th ACL,pages 1726–1735.
[7]Wenqiang Lei,Xuancong Wang,Meichun Liu,Ilija Ilievski,Xiangnan He,and Min-Yen Kan.2017.Swim:A simple word interaction model for implicitdiscourse relation recognition.In Proceedings of the 26th IJCAI,pages 4026–4032.
[8]Fengyu Guo,Ruifang He,Di Jin,Jianwu Dang,Longbiao Wang,andXiangang Li.2018.Implicit discourse relation recognition using neural tensornetwork with interactive attention and sparse learning.In Proceedings of the27th COLING,pages 547–558.
[9]Antoine Bordes,Nicolas Usunier,Alberto GarciaDuran,Jason Weston,and Oksana Yakhnenko.2013.Translating embeddings for modeling multirelationaldata.In Advances in Neural Information Processing Systems 26,pages 2787–2795.
[10]
Figure BDA0002227722620000141
S,Schenk N,Chiarcos C.A recurrent neural model withattention for the recognition of Chinese implicit discourse relations[J].arXiv preprint arXiv:1704.08092,2017.

Claims (6)

1.基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，其特征在于，包括如下步骤：
(1)构建论元和篇章关系的嵌入层；篇章论元对(Arg1,Arg2)与其对应的篇章关系分别表示为词向量序列和词向量，然后通过单词的逐一映射，得到两个篇章论元的向量矩阵，以及其对应篇章关系的低维分布式表示；
(2)篇章论元的表示学习；将篇章论元Arg1、Arg2的向量表示分别作为正向长短期记忆网络LSTM层和反向LSTM层，即双向LSTM神经网络BiLSTM的输入，编码得到两个篇章论元的抽象表示；
(3)构建注意力机制增强的表示学习；利用注意力机制捕获篇章论元中重要的词汇信息，将捕获到的重要词汇信息融入表示学习中，以加深对篇章论元的语义理解，从而获取融合重要信息的篇章论元表示；
(4)构建句子翻译嵌入模块TransS；TransS将篇章论元之间的语义关系翻译到低维向量空间，并得到篇章论元对及其关系之间的几何结构；同时，TransS模块所保留的几何结构信息能够作为篇章关系识别的指导；
(5)构建篇章关系识别模块；将TransS模块所得的包含几何结构信息的论元表示输入篇章关系识别模块，并为TransS模块提供已学到的篇章关系语义信息，以帮助TransS模块更好地学习论元表示；
(6)构建互激励机制；TransS和篇章关系识别两个模块的互相激励、互相指导，共同优化单词表示，更好地学习新的融合几何结构信息的篇章论元表示，以提高篇章关系识别能力；具体包括：设置互激励神经网络的隐式篇章关系识别方法中TransS和关系识别模块之间的互激励机制，整个方法的目标是最小化模型的损失函数，定义如下：
如公式(10)所示，表示总损失函数，表示TransS模块的损失函数，表示篇章关系识别模块的损失函数；整个方法的损失函数由TransS的损失函数和篇章关系识别模块的损失函数两部分构成；
给定数据集T，由两个句子向量hs，ts∈V和篇章关系向量rs∈R组成的三元组所构成；其中，V表示数据集中所有的句子向量的集合，R是篇章关系向量的集合；对于TransS的损失函数，定义如下：
其中，[·]+表示正例，γ＞0是边际超参数；负例集合T'是根据公式(12)构建而成，h's,t's是负例句子向量；d(,)是距离函数，计算两个向量之间的距离；L2规则化用于惩罚参数θ的大小，以防止过拟合；λ表示权重；
在公式(12)中，头或尾向量hs，ts被随机论元向量h's，t's替换；在训练的过程中，TransS模块不断地最小化三元组(hs,rs,ts)的几何结构损失，且最终在低维向量空间中学习到带有内在结构信息的头、尾、关系向量hs,ts,rs；
新的句子向量由三元组(hs,rs,ts)中的hs,ts拼接得到，并用于进行关系识别；篇章关系识别模块的训练目标是最小化交叉熵损失函数：
其中，yj是真实关系的one-hot表示；是预测关系的表示；C是篇章关系类别的数量；在训练过程中，关系识别模块不断最小化真实关系和预测关系的交叉熵损失，并优化篇章关系表示；
由公式(11)和公式(13)得出整个模型损失的具体形式：
从公式(14)得出TransS与关系识别模块之间相互依赖，TransS与关系识别模块使用带有结构信息的论元表示和已标注的关系信息相互指导；一方面，TransS将关系映射到低维向量空间中，利用捕获的带有几何结构信息的向量hs,rs,ts激励关系识别；另一方面，关系识别模块在改进关系识别的基础上，不断优化篇章论元表示，并为几何结构特征的挖掘提供必要条件；TransS与关系识别模块相互指导、相互激励、相互优化，最终得到包含有语义信息和几何结构信息的论元-关系表示。
2.根据权利要求1所述基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，其特征在于，步骤(1)中具体如下：实现单词的嵌入，捕捉单词的内在属性，即将语料词表中所有单词与预训练所得的低维、连续词向量表示对应起来，得到语料中所有单词的向量表示；将篇章论元对以及其对应的篇章关系转化为向量表示；在形式上将嵌入层看作是一个投影层，其中单词嵌入根据索引进行查找表操作实现，即将索引转换为固定大小的稠密向量；从而获取两个篇章论元的向量矩阵，以及其对应篇章关系的低维分布式表示。
3.根据权利要求1所述基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，其特征在于，步骤(2)具体包括：通过LSTM对单词序列进行建模；对于第t个时间步，LSTM读取单词xt作为输入，ht作为输出，具体公式如下：
ht＝ot⊙tanh(ct)  (3)
其中，it,ft,ot,ct,ht分别表示输入门、遗忘门、输出门、存储单元和隐藏状态；TA,b是依赖于网络参数的映射变换矩阵；ct-1表示上一时刻(t-1)的存储单元状态，是当前时刻存储单元到即时状态，ht-1表示t-1时刻的隐藏层状态；σ表示sigmoid函数，双曲正切函数tanh是在t-1时刻作用于ht-1和TA,b上的激活函数，⊙表示元素乘积；
利用双向LSTM神经网络BiLSTM对论元序列进行建模；BiLSTM通过正向和反向两个单独的LSTM保存历史和未来信息；得到在序列的每个时间步长t处的两个表示和后将它们拼接在一起作为句子向量表示
4.根据权利要求1所述基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，其特征在于，步骤(3)具体包括：引入注意力控制机制捕获到对关系识别有帮助的词汇，忽略对关系识别不重要的词汇，将关注重点放在包含重要信息的词汇上以增强篇章论元对的语义理解，更有效地学习包含重要信息的表示；
M＝tanh(H)  (4)
α＝softmax(wTM)  (5)
公式(4)中，H是由输出向量[h1,h2,...,hn]组成的矩阵，其中n是论元的长度，即每个论元所包含的单词数量，d表示单词的维度，H经过双曲正切函数tanh函数而得到隐藏层状态向量表示矩阵M；公式(5)中，w表示权重参数向量；softmax函数将加权的隐藏层状态向量表示矩阵M转化为概率分布，称为每个单词的注意力值；公式(6)中，是由输出向量进行加权求和计算得到的新的论元向量表示，α的转置αT作为输出向量的权重；最后，根据公式(7)对上一步结果加入激活函数tanh，从而获取体现出其自身重要信息的篇章论元表示h*。
5.根据权利要求1所述基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，其特征在于，步骤(4)具体包括：TransS通过将论元对及其关系在低维向量空间中的位置信息进行建模，捕获了论元对间的关系信息；论元对及其关系在低维向量空间中的位置信息表示为：hs+rs≈ts；因此，TransS的目标函数定义为：
在公式(8)中，hs，ts分别表示论元Arg1，Arg2的向量表示，是篇章关系的嵌入向量；TransS通过将篇章关系翻译到低维向量空间中捕获到带有几何结构信息的篇章关系；同时，TransS利用所保留的几何结构信息指导关系识别模块进行关系识别。
6.根据权利要求1所述基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，其特征在于，步骤(5)具体包括：由TransS所学习到的带有几何结构信息的新论元表示作为关系识别模块的输入，其中即hs和即ts均通过注意力机制增强的表示学习而得到；进一步地，在表示层上叠加一个softmax层：
在公式(9)中，f是softmax函数，分别是权重和偏置项，C是篇章关系类别的数量；
篇章关系识别模块一方面使用由TransS学到的带有几何结构信息的论元表示进行关系识别，另一方面为TransS学习到更好的论元表示提供相应的指导和激励。
CN201910957151.9A 2019-10-10 2019-10-10 基于TransS驱动的互激励神经网络的隐式篇章关系识别方法 Active CN111209366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910957151.9A CN111209366B (zh) 2019-10-10 2019-10-10 基于TransS驱动的互激励神经网络的隐式篇章关系识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910957151.9A CN111209366B (zh) 2019-10-10 2019-10-10 基于TransS驱动的互激励神经网络的隐式篇章关系识别方法

Publications (2)

Publication Number Publication Date
CN111209366A CN111209366A (zh) 2020-05-29
CN111209366B true CN111209366B (zh) 2023-04-21

Family

ID=70784037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910957151.9A Active CN111209366B (zh) 2019-10-10 2019-10-10 基于TransS驱动的互激励神经网络的隐式篇章关系识别方法

Country Status (1)

Country Link
CN (1) CN111209366B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428525B (zh) * 2020-06-15 2020-09-15 华东交通大学 隐式篇章关系识别方法、系统及可读存储介质
CN112836048A (zh) * 2021-01-27 2021-05-25 天津大学 基于多头双向注意力的交互式Transformer的隐式篇章关系识别方法
CN113704443B (zh) * 2021-09-08 2023-10-13 天津大学 一种融合显式和隐式个性化信息的对话生成方法
CN116432752B (zh) * 2023-04-27 2024-02-02 华中科技大学 一种隐式篇章关系识别模型的构建方法及其应用

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2917153A1 (en) * 2013-07-03 2015-01-08 Thomson Reuters Global Resources Method and system for simplifying implicit rhetorical relation prediction in large scale annotated corpus
CN105955956A (zh) * 2016-05-05 2016-09-21 中国科学院自动化研究所 一种汉语隐式篇章关系识别方法
CN106326212A (zh) * 2016-08-26 2017-01-11 北京理工大学 一种基于层次深度语义的隐式篇章关系分析方法
CN107168956A (zh) * 2017-05-26 2017-09-15 北京理工大学 一种基于管道的中文篇章结构分析方法及系统
CN107330032A (zh) * 2017-06-26 2017-11-07 北京理工大学 一种基于递归神经网络的隐式篇章关系分析方法
CN107391623A (zh) * 2017-07-07 2017-11-24 中国人民大学 一种融合多背景知识的知识图谱嵌入方法
CN109446526A (zh) * 2018-10-26 2019-03-08 苏州大学 一种隐式篇章关系语料库的构建方法、装置和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2917153A1 (en) * 2013-07-03 2015-01-08 Thomson Reuters Global Resources Method and system for simplifying implicit rhetorical relation prediction in large scale annotated corpus
CN105955956A (zh) * 2016-05-05 2016-09-21 中国科学院自动化研究所 一种汉语隐式篇章关系识别方法
CN106326212A (zh) * 2016-08-26 2017-01-11 北京理工大学 一种基于层次深度语义的隐式篇章关系分析方法
CN107168956A (zh) * 2017-05-26 2017-09-15 北京理工大学 一种基于管道的中文篇章结构分析方法及系统
CN107330032A (zh) * 2017-06-26 2017-11-07 北京理工大学 一种基于递归神经网络的隐式篇章关系分析方法
CN107391623A (zh) * 2017-07-07 2017-11-24 中国人民大学 一种融合多背景知识的知识图谱嵌入方法
CN109446526A (zh) * 2018-10-26 2019-03-08 苏州大学 一种隐式篇章关系语料库的构建方法、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于条件随机域的中文长地名结构标注";孙宏等;《第六届全国信息检索学术会议论文集》;20100812;全文 *

Also Published As

Publication number Publication date
CN111209366A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN111209366B (zh) 基于TransS驱动的互激励神经网络的隐式篇章关系识别方法
Han et al. Memory-augmented dense predictive coding for video representation learning
CN111488739B (zh) 基于多粒度生成图像增强表示的隐式篇章关系识别方法
Prudviraj et al. M-FFN: multi-scale feature fusion network for image captioning
Elaraby et al. Deep Learning: Effective tool for big data analytics
Guo et al. Implicit discourse relation recognition via a BiLSTM-CNN architecture with dynamic chunk-based max pooling
CN112163608B (zh) 一种基于多粒度语义融合的视觉关系检测方法
Choi et al. Mem-kgc: Masked entity model for knowledge graph completion with pre-trained language model
CN112836048A (zh) 基于多头双向注意力的交互式Transformer的隐式篇章关系识别方法
Wu et al. Knowledge representation via joint learning of sequential text and knowledge graphs
Zeng et al. Research on methodology of correlation analysis of sci-tech literature based on deep learning technology in the big data
Yang et al. Prior visual relationship reasoning for visual question answering
Li et al. Learning fusion feature representation for garbage image classification model in human–robot interaction
Li et al. Causal-ViT: Robust Vision Transformer by causal intervention
Zhang [Retracted] Language Processing Model Construction and Simulation Based on Hybrid CNN and LSTM
Hu et al. MAENet: A novel multi-head association attention enhancement network for completing intra-modal interaction in image captioning
Hou et al. CANet: Contextual Information and Spatial Attention Based Network for Detecting Small Defects in Manufacturing Industry
Liu et al. FeatInter: exploring fine-grained object features for video-text retrieval
Yang et al. A survey of text classification models
Liu et al. Research on advertising content recognition based on convolutional neural network and recurrent neural network
CN116385946B (zh) 面向视频的目标片段定位方法、系统、存储介质及设备
Yao et al. Resuformer: Semantic structure understanding for resumes via multi-modal pre-training
He et al. A Chinese named entity recognition model of maintenance records for power primary equipment based on progressive multitype feature fusion
Peng et al. Towards fast, accurate and compact online handwritten Chinese text recognition
Zhang et al. A Token-wise Graph-based Framework for Multimodal Named Entity Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant