CN107273358B - 一种基于管道模式的端到端英文篇章结构自动分析方法 - Google Patents

一种基于管道模式的端到端英文篇章结构自动分析方法 Download PDF

Info

Publication number
CN107273358B
CN107273358B CN201710460810.9A CN201710460810A CN107273358B CN 107273358 B CN107273358 B CN 107273358B CN 201710460810 A CN201710460810 A CN 201710460810A CN 107273358 B CN107273358 B CN 107273358B
Authority
CN
China
Prior art keywords
discourse
explicit
word
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710460810.9A
Other languages
English (en)
Other versions
CN107273358A (zh
Inventor
鉴萍
张鹏程
黄河燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201710460810.9A priority Critical patent/CN107273358B/zh
Publication of CN107273358A publication Critical patent/CN107273358A/zh
Application granted granted Critical
Publication of CN107273358B publication Critical patent/CN107273358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于管道模式的端到端英文篇章结构自动分析方法，属于自然语言处理应用技术领域；本发明首先，对于显式篇章关系识别，针对传统方法采用词袋模型进行特征向量化的不足，提出了基于混合卷积树核和多项式核相结合的特征表示和计算方法，对句法特征和扁平特征分而治之；不仅可以大大降低特征向量维度，而且可以充分表达特征中的细节信息；其次，对于非显式篇章关系识别，针对语言学特征不能挖掘更深层次的语义以及传统方法带来的数据稀疏以及语义鸿沟的问题，通过仔细分析非显式篇章关系识别的特点，运用词对特征的优势，提出了基于深度学习的非显式篇章关系识别模型。对比现有技术，本发明提升了整个端到端系统的精度。

Description

一种基于管道模式的端到端英文篇章结构自动分析方法
技术领域
本发明涉及一种基于管道模式的端到端英文篇章结构自动分析方法，特别涉及一种基于混合卷积树核和多项式核相结合的显式篇章关系分析方法和一种基于深度学习的非显式篇章关系分析方法，属于自然语言处理应用技术领域。
背景技术
篇章分析一直是自然语言处理的核心任务，其所提供的篇章上下文信息以及篇章级语义信息对机器翻译、情感分析、自动问答等自然语言处理其它任务具有重要意义。篇章结构分析旨在研究篇章文本的构成方式，获取篇章内部的层次或逻辑语义关系，是篇章分析的重要途径之一。篇章关系是指在篇章内部，表示扩展、对比、转折等句子之间或子句之间的语义连接关系。有时这种语义关系会由表示连接作用的词语来表征，即连接词。因此，篇章关系分析通常包括篇章连接词识别、篇章关系单元划分以及篇章关系判别几个部分。在自然语言处理领域，早期的篇章结构分析研究多集中在上述的孤立子问题上。近几年，随着对篇章分析的研究逐渐深入，对系统地理解篇章的需求也愈加明显。再加上篇章标注理论的不断发展和大规模篇章标注语料库的构建，一些端到端篇章结构分析装置应运而生。但是，与其它词、句层面的自然语言处理任务相比，对计算机处理篇章问题的研究和实践只是刚起步，在有限的基础资源上进行的一些子问题的处理也只处于实验阶段，基于当前各个子问题的研究从整体上构建篇章理解的计算框架更是任重道远。
首先，对于显式篇章关系识别，传统方法采用词袋模型进行特征向量化，对于一些内部种类相对较多的特征，不仅会造成特征向量维度过大，特征更加稀疏，而且会带来某些相似特征在向量表示上却并不相似的问题。同时，该方法并不能合理地表示结构化特征，诸如句法路径。其次，对于非显式篇章关系识别，前人的工作已经证明了词对信息是一个很强的特征。然而，由于数据稀疏以及语义鸿沟问题，基于词对特征的分类效果并没有达到预期效果。同时，语言学特征往往只是停留在论元表面，并不能挖掘更深层次的语义。受到端到端装置中以上各子任务性能相对不高的约束，现有的端到端篇章自动分析方法整体性能都普遍较低。
基于此，目前迫切需要一种较为高效的端到端英文篇章结构自动分析方法，通过提升各子任务的性能来提升自动分析装置整体性能，为其它自然语言处理任务提供便利。
发明内容
本发明目的是为解决以往端到端英文篇章结构分析装置中各子任务存在的问题，以优化端到端英文篇章结构分析装置整体性能为目标，提出了一种基于管道模式的端到端英文篇章结构自动分析方法。
本发明技术方案的思想是：首先，对于显式篇章关系识别模块，针对传统方法采用词袋模型进行特征向量化的不足，提出了基于混合卷积树核和多项式核相结合的特征表示和计算方法，对句法特征和扁平特征分而治之，不仅可以大大降低特征向量维度，而且可以充分表达特征中的细节信息。其次，在非显式篇章关系识别模块，随着Word Embedding技术取得的巨大进展，并且在很多基于深度学习的模型上也表现出了强大的能力，可以很好的克服传统方法带来的数据稀疏以及语义鸿沟问题。同时，针对语言学特征不能挖掘更深层次的语义的问题，通过仔细分析非显式篇章关系识别的特点，运用词对特征的优势，提出了基于深度学习的非显式篇章关系识别模型。
为实现以上目的，本发明采用的技术方案如下：
一种基于管道模式的端到端英文篇章结构自动分析方法，包括训练步骤和实际分析方法，具体如下：
训练步骤，具体步骤如下：
步骤一、准备训练语料：
采用现有的包含有篇章原文、篇章关系所对应的连接词、论元范围、篇章关系类别的篇章库作为训练语料，采用工具生成篇章原文的词性标注和句法分析；
步骤二、Word Embedding表示：
使用大规模语料库训练word2vec，将每个单词映射到向量空间的低维向量，从而表示每个单词的语义；
步骤三、对显式篇章关系训练语料进行特征提取：
分别就训练语料中显式篇章关系所包含的各部分：篇章连接词及其论元范围、显式篇章关系提取句法路径等句法特征以及词汇、词性等扁平特征，如果是单个词汇特征使用步骤二生成的Word Embedding表示；
步骤四、核函数构建：
基于步骤三提取的特征，分别构建相应的混合卷积树核与多项式核相结合的核函数；
作为优选，所述混合卷积树核Khybrid(T1，T2)通过下式构成：
Khybrid(T1，T2)＝λKpath(T1，T2)+(1-λ)Kcs(T1，T2)；
其中：0≤λ≤1，T1，T2是两棵句法树。
步骤五、SVM分类模型训练：
基于步骤四构建的核函数采用SVM分类算法生成步骤三所提到的显式篇章关系所包含的各部分相对应的分类模型；
步骤六、有用词对表构建：
将训练语料中的所有非显式篇章关系作为抽取对象，从其论元对中分别抽取一词作为词对，统计各词对在各篇章类别中的信息增益值大小，选取高于阈值M的词对构建有用词对表；
作为优选，非显式篇章关系包括隐式篇章关系和EntRel篇章关系。
作为优选，M＝1e-3。
步骤七、用于非显式篇章关系识别的深度学习模型构建：
利用双向LSTM分别对输入模型中的两个相邻句子进行编码，抽取词对，选取出现在步骤六所构建的有用词对表中的词对作为后续卷积神经网络的输入；
上述的处理过程即构成了一个用于非显式篇章关系识别的深度学习模型；
作为优选，所述深度学习模型构建包括以下步骤：
(1)构建双向LSTM层：对于每个论元，分别按从头到尾和从尾到头的顺序构建LSTM模型；
(2)抽取词对：对经过(1)编码的的论元抽取词对，并经过有用词对表过滤，保留有用词对作为下一层的输入；
(3)构建卷积神经网络模型：将(2)所生成的词对信息以矩阵的形式输入到卷积神经网络中，矩阵的每一行都是相应词对的向量表示，分别通过卷积层、max-pooling层以及softmax层输出分类结果。
作为优选，所述max-pooling层使用了dropout，以此来控制过拟合，将其值设置为0.5；使用交叉熵损失函数作为卷积神经网络的训练目标，并且应用AdaGrad算法以0.01的学习率进行学习；同时将训练数据分为多批进行训练，每一批数据的最小大小为50；在卷积层设置3个卷积核，其高度分别为3,4,5；使用tanh作为激活函数。
步骤八、深度学习模型参数学习：
将步骤一所提取的训练语料中的所有非显式篇章关系所对应的论元以及篇章关系抽取出来作为步骤七构建的深度学习模型的训练语料，进行参数学习；选取最优效果所对应的模型作为非显式篇章关系的分类模型。
实际分析方法，具体步骤如下：
步骤一、语料预处理：对输入的待识别篇章结构的英文文本进行分句操作，然后对每一句进行词性标注、句法分析，保存以供后续提取特征；
作为优选，所述进行词性标注、句法分析采用斯坦福大学开发的句法分析器和词性标注工具进行。
步骤二、显式篇章关系识别：以篇章连接词为主线，分别提取显式篇章关系所包含的各部分所需特征，并使用训练步骤五生成的SVM分类模型，获取正确的篇章连接词以及其对应的论元范围和显式篇章关系类别，并将以上三部分的最终结果组合成结构体保存；
步骤三、非显式篇章关系识别：基于训练步骤八最终确定的深度学习模型对步骤一所保存文本中不属于显式篇章关系的所有相邻句对进行非显式篇章关系识别，并确定其论元范围，以结构体形式保存；
步骤四、识别完成：将步骤二与步骤三所保存结构体组合输出至文本中，作为输出。
有益效果：
对比现有技术，本发明具有以下有益效果：
(1)针对传统方法采用词袋模型进行特征向量化的不足，提出了基于混合卷积树核和多项式核相结合的特征表示和计算方法，对句法特征和扁平特征分而治之，使得每个特征都得到了很好的表达，从而在显式篇章关系识别模块中的篇章连接词识别、显式关系判别，特别是论元划分子任务上得到了显著提升。
(2)针对传统基于语义学特征进行非显式篇章关系识别方法的不足，提出了基于深度学习的模型，充分利用词的上下文信息、词对特征及其上下文信息，提升了关系判别的精度。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例显式篇章关系识别部分的训练流程图。
图2为本发明方法篇章关系识别流程示意图。
图3为本发明实施例中基于深度学习的非显式篇章关系识别模型。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。下述实施例中所使用的实验方法如无特殊说明，均为常规方法。
首先是训练步骤，如图1所示，其过程如下：
一、准备训练语料，实现步骤如下：
(1)以宾州篇章树库(PDTB)2.0版本中的section 02-21作为训练语料，对于显式篇章关系，抽取其所对应的连接词、其论元(Arg1、Arg2)范围、篇章关系类别以及对应原文，并获得对应词性标注以及句法分析；对于非显式篇章关系，抽取其所对应的论元范围、篇章关系类别，以及篇章原文对应的词性标注以及句法分析结果，分别保存作为显式篇章关系和非显式篇章关系的训练语料；
二、Word Embedding构建方法，实现步骤如下：
(1)获取训练语料，获取giga新闻语料2.21GB，在每一句最后加入句子结尾标记<end>，作为后续输入；
(2)基于步骤(1)获取的训练语料，使用word2vec工具训练词向量，选择skip-gram模型，输出维度为50，学习率设置为1e-3，窗口大小设置为5，训练之后得到词向量文件。
三、对显式篇章关系训练语料进行特征提取，如图2所示，显式篇章关系识别包括篇章连接词识别、论元范围确定、显式篇章关系识别三个部分，实现步骤如下：
(1)篇章关系连接词识别：在该部分，PDTB提供了一个大小为100的篇章连接词闭集，在一句话中，出现在该闭集中的词汇可能有很多，但是并不是全部都充当篇章连接词的角色，因此，需要对每个词汇进行消歧。如图1所示，本发明采用的基于分类的思想，对步骤一中提取的显式篇章关系训练语料中的每句原文进行扫描，选取出现在PDTB所给的100个篇章连接词闭集中的词汇作为篇章连接词候选，如果候选篇章关系连接词与正确的篇章连接词相同(包括在句中的位置)，则赋予“1”的分类标签，反之，赋予“0”的分类标签，对每一个候选篇章连接词提取特征与对应的分类标签组成训练文本用于训练分类器使用。分类过程中提取的特征如下：
表1篇章连接词识别模块所用特征
Figure BDA0001324799590000061
表中的诸如连接词、连接词前一个词使用步骤二所训练的Word Embedding表示；
(2)论元位置划分，如图2所示，在识别了一个文本内的所有篇章连接词之后，需要以篇章连接词为锚点来划分论元范围。Arg2和篇章连接词是有直接语义联系的，其相对篇章连接词的位置是固定的。所以，这一部分主要的问题是判断Arg1相对于篇章连接词的位置。基于PDTB，Arg1相对于篇章连接词的位置可以分为以下几类：篇章连接词和Arg1位于同一个句子中(SS)、Arg1位于篇章连接词所在句中的前一个句子中(PS)。如图1所示，该部分同样采用分类思想处理，通过比较步骤一所提取的显式篇章关系识别的训练语料中，每个篇章连接词所在句与Arg1所在句的大小，确定每个篇章连接词的位置信息：SS或PS，并为每一个篇章连接词提取相应特征，组合构成训练文本用于训练分类器使用。该部分所用特征如下：
表2论元位置识别所用特征
Figure BDA0001324799590000071
(3)论元范围确定，如图2所示，在确定了Arg1相对于篇章连接词的位置之后，针对SS、PS的情况进行分类处理。就PS的情况，由于是发生在两个句子之间，因此直接将篇章连接词所在句作为Arg2，其前一句作为Arg1。就SS的情况，首先基于启发式规则在句法树中选取论元候选，如图1所示，通过构建分类模型来确定以上论元候选属于Arg1、Arg2、None中的哪一类，最后根据分类结果对各论元候选进行组合以形成最终论元。选取论元候选的启发式规则围绕篇章连接词制定，从篇章连接词节点(覆盖连接词的最低节点)开始递归运行，首先，搜集篇章连接词的所有兄弟节点作为论元候选，然后，移动到篇章连接词的父节点并搜集它的所有兄弟节点，直到到达根节点。此外，如果篇章连接词节点并不是完全严格地覆盖篇章连接词，那么，篇章连接词节点的其它孩子节点也需要搜集作为论元候选。对每一个论元候选与步骤一所提取的显式篇章关系训练语料中的正确论元比较，以确定其属于Arg1、Arg2、None中哪一类，并赋予分类标签，然后提取特征，组合构成训练文本用于训练分类器使用。对论元候选进行分类所用特征如下：
表3候选论元分类所用到的特征
Figure BDA0001324799590000081
(4)显式篇章关系识别，如图2所示，在确定了篇章连接词以及其统辖的论元范围之后，需要识别它们所表示的篇章关系，在该部分采用了CoNLL-2016的篇章关系分类体系。如图1所示，该部分同样采用分类思想进行识别，通过为步骤一所提取的显式篇章关系训练语料中每一个篇章关系赋予分类标签并提取相应特征构成训练文本用于训练分类器使用，所用特征如下：
表4显式篇章关系识别所用特征
Figure BDA0001324799590000082
Figure BDA0001324799590000091
四、核函数构建：通过分析步骤三针对显式篇章关系识别各子部分所提取的特征可以发现，这些特征都是由句法特征和扁平特征构成，因此可以对其分别处理，以充分表达特征的细节信息。具体实现步骤如下：
(1)构建混合卷积树核：传统的PAF树核是直接用一个核函数对句法树进行处理，这样会丢失句法信息所要表达的细节信息。通过仔细分析句法特征，可以发现其基本可以分为句法路径信息以及句法成分结构信息。因此，本发明对传统PAF树核进行了改造，将其分为路径核(Kpath)和句法成分结构核(Kcs)，其中，路径核指的是在所提取的句法特征中与路径相关的特征所构建的核函数，如：path of C’s parent—>root；句法成分结构核指的是在所提取的句法特征中表示句法成分的特征所构建的核函数，如：self-category。对路径核和句法成分核详细说明并通过以下公式进行组合：
Khybrid(T1，T2)＝λKpath(T1，T2)+(1-λ)Kcs(T1，T2)
其中：0≤λ≤1，T1，T2是两棵句法树。通过改变λ的大小来为路径核和句法成分结构核赋予不同的权重。
(3)构建混合卷积树核和多项式核相结合的核函数：步骤三中所提取的特征可以分为句法特征和扁平特征两种类型，在构建分类模型时，利用混合卷积树核(Khybrid(T1，T2))和多项式核(Kpoly(T1，T2))分别擅于处理句法特征和扁平特征的优势，对句法特征和扁平特征分而治之，最后通过以下公式进行线性组合构成分类模型：
Kcomp(T1，T2)＝γKhybrid(T1，T2)+(1-γ)Kpoly(T1，T2)
其中，0≤γ≤1为组合系数。通过改变γ的大小来为混合卷积树核和多项式核赋予不同的权重。本实施例中，在篇章连接词识别部分，γ＝0.5，在论元范围确定部分，γ＝0.6，在显式篇章关系识别部分，γ＝0.6。
五、SVM分类模型训练，实现步骤如下：
(1)采用SVM分类器，使用步骤四所构造的核函数，分别对步骤三所构造的训练文本进行计算，最终生成显式篇章关系所包含的各部分相对应的分类模型。
以上显式篇章关系训练过程如图1所示。
六、有用词对表构建，实现步骤如下：
(1)设置训练语料集合T的非显式篇章关系数为N，某个类别的数量用ni表示，其中i∈{1，2，…，13，14}，分别为Temporal.Synchronous，Temporal.Asynchronous.Precedence，Temporal.Asynchronous.Succession，Contingency.Cause.Reason，Contingency.Cause.Result，Contingency.Condition，Comparison.Contrast，Comparison.Concession，Expansion.Conjunction，Expansion.Instantiation，Expansion.Restatement，Expansion.Alternative，Expansion.Alternative.Chosenalternative，Expansion.Exception，EntRel；
(2)遍历训练语料集合T的非显式篇章关系，针对每一个词对t，分别统计出现在对应类别的隐式篇章关系的频数ti，i∈{1，2，…，13，14},|t|表示词对t出现的总次数；
(3)计算对应词对的信息增益值，计算公式如下：
Figure BDA0001324799590000101
其中，H(n)表示所有类别的经验熵，H(n|t)表示词对t对所有类别的经验条件熵。
针对每一词对，均可计算出该词对对于隐式篇章关系分类的贡献程度，将所有词对按照信息增益值大小排序，选取IG(t)值不小于1e-5的词对构成有用词对集合T'。
七、用于非显式篇章关系识别的深度学习模型构建，如图3所示，实现步骤如下：
(1)构建双向LSTM层：对于每个论元，分别按从头到尾和从尾到头的顺序构建LSTM模型，生成向量维度都设置为50，将两个模型的隐层向量拼接后形成一个100维的向量用于表示每个单词，以待后用。模型中其它参数初始值在[-0.1，0.1]内随机生成。
(2)抽取词对：对经过(1)编码的的论元抽取词对，并经过有用词对表过滤，保留有用词对作为下一层的输入；
(3)构建卷积神经网络模型：将(2)所生成的词对信息以矩阵的形式输入到卷积神经网络中，矩阵的每一行都是相应词对的向量(按传统方法的方式，取两个词的向量平均值作为词对的向量)表示。分别通过卷积层、max-pooling层以及softmax层输出分类结果。模型中max-pooling层使用了dropout，以此来控制过拟合，并将其值设置为0.5；使用交叉熵损失函数作为卷积神经网络的训练目标，并且应用AdaGrad算法以0.01的学习率进行学习；同时将训练数据分为多批进行训练，每一批数据的最小大小为50；在卷积层设置3个卷积核，其高度分别为3,4,5；使用tanh作为激活函数。
前人工作已经证明，在非显式篇章关系识别，词对特征是一个很强的信息，而本发明充分利用了词对特征，并结合深度学习思想，充分挖掘了词对及其上下文所表达的深度语义信息，使其有益于非显式篇章关系识别。
八、深度学习模型参数学习，实现步骤如下：
(1)将步骤一所提取的非显式篇章关系训练语料中的所有篇章关系所对应的论元以及篇章关系抽取出来作为步骤七构建的深度学习模型的训练语料，进行参数学习；选取最优效果所对应的模型作为非显式篇章关系的分类模型。
其次是实际分析方法，即本发明的实际应用方法，具体步骤如下：
一、语料预处理方法，实现步骤如下：
(1)对于输入文本，首先按照表示句子结束的标点符号进行断句，此处可以采用Stanford Parser进行，然后对于每一个句子，使用Stanford Parser进行词性标注、句法分析，并将生成结果存入文本作为如图2所示方法的输入。
二、显式篇章关系识别，如图2所示，显式篇章关系识别部分包括篇章连接词识别、论元划分、显式篇章关系识别三个子部分，这三个部分都是以篇章连接词为主线进行串联。实现步骤如下：
(1)篇章连接词识别，扫描步骤一中的输入文本，获取所有篇章连接词候选，为每一个篇章连接词候选提取特征(与训练步骤三对应的篇章连接词识别部分相同)，将提取的特征保存到文本中使用训练步骤五生成的相应分类模型进行分类，选取正确的篇章连接词并保存；
(2)论元位置划分，针对(1)中获取到的正确篇章连接词，提取所需特征(与训练步骤三对应的论元位置划分部分相同)，将提取的特征保存到文本中使用训练步骤五生成的相应分类模型进行分类并保存分类结果；
(3)论元提取，针对(2)的分类结果，就PS的情况，由于是发生在两个句子之间，因此直接将篇章连接词所在句作为Arg2，其前一句作为Arg1，保存结果；就SS的情况，采用与训练步骤三相对应的相同的论元候选提取规则对步骤一生成的对应句法树提取论元候选，为每一个论元候选提取特征(与训练步骤三对应的论元候选分类部分相同)，使用训练步骤五生成的相应分类模型进行分类获取论元候选类别(Arg1、Arg2、None)，按照对应类别组合形成Arg1、Arg2，保存结果。
(4)显式篇章关系识别，针对(1)获取到的正确篇章连接词，提取所需特征(与训练步骤三对应的显式篇章关系识别部分相同)，将提取的特征保存到文本中使用训练步骤五生成的相应分类模型进行分类以确定篇章连接词所表示的篇章关系并保存分类结果；
(5)以(1)中生成篇章连接词为主线，将其对应的论元范围、显式篇章关系类别组合成结构体保存。
三、非显式篇章关系识别，如图2所示，实现步骤如下：
(1)如图3所示，以步骤一中的生成文本中不属于显式篇章关系的相邻句对为输入，利用训练步骤八所保存的深度学习模型对其进行分类以确定其篇章关系；
(2)由于英语中非显式篇章关系只发生在句子之间，因此，以存在非显式篇章关系的句对中前一句为Arg1、后一句为Arg2；
(3)将(1)和(2)的生成结果以结构体形式组合保存。
四、识别完成。将步骤二与步骤三所保存结构体组合输出至文本中，作为输出。
实验结果如表1所示：
Figure BDA0001324799590000131
上表是本发明最终的实验结果，其中，“OPT”是当前已存在的精度最好的英语篇章分析系统。本发明在显式篇章关系识别中，将句法特征和扁平特征分而治之，不仅可以大大降低特征向量维度，而且可以充分表达特征中的细节信息，因此提高了显式篇章关系识别各部分的精度；而在非显式篇章关系识别中，通过仔细分析非显式篇章关系识别的特点，运用词对特征的优势，结合深度学习思想，构建了一个深度学习模型，同样使得非显式篇章关系识别的精度得以提高。系统中各模块的精度的提高使本发明的最终精度得以优于OPT。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于管道模式的端到端英文篇章结构自动分析方法，其特征在于：包括训练步骤和实际分析方法，具体如下：
训练步骤，具体步骤如下：
步骤一、准备训练语料：
采用现有的包含有篇章原文、篇章关系所对应的连接词、论元范围、篇章关系类别的篇章库作为训练语料，采用工具生成篇章原文的词性标注和句法分析；
步骤二、Word Embedding表示：
使用大规模语料库训练word2vec，将每个单词映射到向量空间的低维向量，从而表示每个单词的语义；
步骤三、对显式篇章关系训练语料进行特征提取：
分别就训练语料中显式篇章关系所包含的各部分：篇章连接词及其论元范围、显式篇章关系提取句法路径句法特征以及词汇、词性扁平特征，如果是单个词汇特征，使用步骤二生成的Word Embedding表示；
步骤四、核函数构建：
基于步骤三提取的特征，分别构建相应的混合卷积树核与多项式核相结合的核函数；
步骤五、SVM分类模型训练：
基于步骤四构建的核函数采用SVM分类算法生成步骤三所提到的显式篇章关系所包含的各部分相对应的分类模型；
步骤六、有用词对表构建：
将训练语料中的所有非显式篇章关系作为抽取对象，从其论元对中分别抽取一词作为词对，统计各词对在各篇章类别中的信息增益值大小，选取高于阈值M的词对构建有用词对表；
步骤七、用于非显式篇章关系识别的深度学习模型构建：
利用双向LSTM分别对输入模型中的两个相邻句子进行编码，抽取词对，选取出现在步骤六所构建的有用词对表中的词对作为后续卷积神经网络的输入；
步骤八、深度学习模型参数学习：
将步骤一所提取的训练语料中的所有非显式篇章关系所对应的论元以及篇章关系抽取出来作为步骤七构建的深度学习模型的训练语料，进行参数学习；选取最优效果所对应的模型作为非显式篇章关系的分类模型；
实际分析方法，具体步骤如下：
步骤一、语料预处理：对输入的待识别篇章结构的英文文本进行分句操作，然后对每一句进行词性标注、句法分析，保存以供后续提取特征；
步骤二、显式篇章关系识别：以篇章连接词为主线，分别提取显式篇章关系所包含的各部分所需特征，并使用训练步骤五生成的SVM分类模型，获取正确的篇章连接词以及其对应的论元范围和显式篇章关系类别，并将以上三部分的最终结果组合成结构体保存；
步骤三、非显式篇章关系识别：基于训练步骤八最终确定的深度学习模型对步骤一所保存文本中不属于显式篇章关系的所有相邻句对进行非显式篇章关系识别，并确定其论元范围，以结构体形式保存；
步骤四、识别完成：将步骤二与步骤三所保存结构体组合输出至文本中，作为输出。
2.根据权利要求1所述的一种基于管道模式的端到端英文篇章结构自动分析方法，其特征在于：所述非显式篇章关系包括隐式篇章关系和EntRel篇章关系。
3.根据权利要求1所述的一种基于管道模式的端到端英文篇章结构自动分析方法，其特征在于：M＝1e-3。
4.根据权利要求1所述的一种基于管道模式的端到端英文篇章结构自动分析方法，其特征在于：所述混合卷积树核Khybrid(T1，T2)通过下式构成：
Khybrid(T1，T2)＝λKpath(T1，T2)+(1-λ)Kcs(T1，T2)；
其中：Kpath为路径核，Kcs为句法成分结构核；
其中：0≤λ≤1，T1，T2是两棵句法树。
5.根据权利要求4所述的一种基于管道模式的端到端英文篇章结构自动分析方法，其特征在于：所述混合卷积树核Khybrid(T1，T2)和多项式核Kpoly(T1，T2)通过下式进行结合：
Kcomp(T1，T2)＝γKhybrid(T1，T2)+(1-γ)Kpoly(T1，T2)
其中，0≤γ≤1为组合系数。
6.根据权利要求1-5任一所述的一种基于管道模式的端到端英文篇章结构自动分析方法，其特征在于：所述深度学习模型构建包括以下步骤：
(1)构建双向LSTM层：对于每个论元，分别按从头到尾和从尾到头的顺序构建LSTM模型；
(2)抽取词对：对经过(1)编码的的论元抽取词对，并经过有用词对表过滤，保留有用词对作为下一层的输入；
(3)构建卷积神经网络模型：将(2)所生成的词对信息以矩阵的形式输入到卷积神经网络中，矩阵的每一行都是相应词对的向量表示，分别通过卷积层、max-pooling层以及softmax层输出分类结果。
7.根据权利要求6所述的一种基于管道模式的端到端英文篇章结构自动分析方法，其特征在于：所述max-pooling层使用了dropout，以此来控制过拟合，将其值设置为0.5；使用交叉熵损失函数作为卷积神经网络的训练目标，并且应用AdaGrad算法以0.01的学习率进行学习；同时将训练数据分为多批进行训练，每一批数据的最小大小为50；在卷积层设置3个卷积核，其高度分别为3，4，5；使用tanh作为激活函数。
CN201710460810.9A 2017-06-18 2017-06-18 一种基于管道模式的端到端英文篇章结构自动分析方法 Active CN107273358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710460810.9A CN107273358B (zh) 2017-06-18 2017-06-18 一种基于管道模式的端到端英文篇章结构自动分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710460810.9A CN107273358B (zh) 2017-06-18 2017-06-18 一种基于管道模式的端到端英文篇章结构自动分析方法

Publications (2)

Publication Number Publication Date
CN107273358A CN107273358A (zh) 2017-10-20
CN107273358B true CN107273358B (zh) 2020-06-05

Family

ID=60066895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710460810.9A Active CN107273358B (zh) 2017-06-18 2017-06-18 一种基于管道模式的端到端英文篇章结构自动分析方法

Country Status (1)

Country Link
CN (1) CN107273358B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595407B (zh) * 2018-03-06 2022-03-18 首都师范大学 基于议论文篇章结构的评价方法及装置
CN109299468A (zh) * 2018-10-25 2019-02-01 四川长虹电器股份有限公司 基于条件熵和卷积神经网络的短文本分类方法
CN109598000B (zh) * 2018-12-28 2023-06-16 百度在线网络技术（北京）有限公司 语义关系识别方法、装置、计算机设备和存储介质
CN109783820B (zh) * 2019-01-18 2022-11-25 广东小天才科技有限公司 一种语义解析方法及系统
CN111914533A (zh) * 2019-05-07 2020-11-10 广东小天才科技有限公司 一种解析英语长句的方法及系统
CN110210033B (zh) * 2019-06-03 2023-08-15 苏州大学 基于主述位理论的汉语基本篇章单元识别方法
CN110633473B (zh) * 2019-09-25 2022-11-08 华东交通大学 基于条件随机场的隐式篇章关系识别方法与系统
CN110750979B (zh) * 2019-10-17 2023-07-25 科大讯飞股份有限公司 一种篇章连贯性的确定方法以及检测装置
CN111651974B (zh) * 2020-06-23 2022-11-01 北京理工大学 一种隐式篇章关系分析方法和系统
CN112395876B (zh) * 2021-01-21 2021-04-13 华东交通大学 基于知识蒸馏和多任务学习的篇章关系识别方法与装置
CN114580439B (zh) * 2022-02-22 2023-04-18 北京百度网讯科技有限公司 翻译模型训练方法、翻译方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955956A (zh) * 2016-05-05 2016-09-21 中国科学院自动化研究所 一种汉语隐式篇章关系识别方法
CN106326212A (zh) * 2016-08-26 2017-01-11 北京理工大学 一种基于层次深度语义的隐式篇章关系分析方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10067983B2 (en) * 2015-12-03 2018-09-04 International Business Machines Corporation Analyzing tickets using discourse cues in communication logs

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955956A (zh) * 2016-05-05 2016-09-21 中国科学院自动化研究所 一种汉语隐式篇章关系识别方法
CN106326212A (zh) * 2016-08-26 2017-01-11 北京理工大学 一种基于层次深度语义的隐式篇章关系分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Discourse Relation Sense Classification Systems for CoNLL-2016 Shared Task;Ping Jian 等;《Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics》;20160812;158-163 *
Implicit Discourse Relation Detection via a Deep Architecture with Gated Relevance Network;Jifan Chen 等;《Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics》;20160812;1726-1735 *
基于PDTB的端对端英文篇章分析器的研究;李生;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215(第02期);I138-2118 *

Also Published As

Publication number Publication date
CN107273358A (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
CN107273358B (zh) 一种基于管道模式的端到端英文篇章结构自动分析方法
CN108416058B (zh) 一种基于Bi-LSTM输入信息增强的关系抽取方法
CN109344391B (zh) 基于神经网络的多特征融合中文新闻文本摘要生成方法
Fonseca et al. A two-step convolutional neural network approach for semantic role labeling
Peng et al. Radical-based hierarchical embeddings for Chinese sentiment analysis at sentence level
CN112395393B (zh) 一种基于多任务多示例的远程监督关系抽取方法
CN112541356B (zh) 一种生物医学命名实体识别的方法和系统
CN109614620B (zh) 一种基于HowNet的图模型词义消歧方法和系统
Drozdov et al. Unsupervised parsing with S-DIORA: Single tree encoding for deep inside-outside recursive autoencoders
CN110427619B (zh) 一种基于多通道融合与重排序的中文文本自动校对方法
Rei et al. Auxiliary objectives for neural error detection models
CN113987179A (zh) 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质
CN110717045A (zh) 一种基于信访信件概况的信件要素自动提取方法
CN110968725A (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN114528398A (zh) 一种基于交互双重图卷积网络的情感预测方法及系统
CN114254645A (zh) 一种人工智能辅助写作系统
CN115687609A (zh) 一种基于Prompt多模板融合的零样本关系抽取方法
CN109815497B (zh) 基于句法依存的人物属性抽取方法
CN110059192A (zh) 基于五笔码的字符级文本分类方法
CN110210033B (zh) 基于主述位理论的汉语基本篇章单元识别方法
Zhang et al. Japanese sentiment classification with stacked denoising auto-encoder using distributed word representation
CN115906818A (zh) 语法知识预测方法、装置、电子设备和存储介质
Ramesh et al. Interpretable natural language segmentation based on link grammar
CN113590745B (zh) 一种可解释的文本推断方法
CN109960782A (zh) 一种基于深度神经网络的藏文分词方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant