CN109635282B - 用于多方对话的篇章解析方法、装置、介质及计算设备 - Google Patents

用于多方对话的篇章解析方法、装置、介质及计算设备 Download PDF

Info

Publication number
CN109635282B
CN109635282B CN201811403349.4A CN201811403349A CN109635282B CN 109635282 B CN109635282 B CN 109635282B CN 201811403349 A CN201811403349 A CN 201811403349A CN 109635282 B CN109635282 B CN 109635282B
Authority
CN
China
Prior art keywords
edu
current
chapter
structured
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811403349.4A
Other languages
English (en)
Other versions
CN109635282A (zh
Inventor
黄民烈
朱小燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201811403349.4A priority Critical patent/CN109635282B/zh
Publication of CN109635282A publication Critical patent/CN109635282A/zh
Application granted granted Critical
Publication of CN109635282B publication Critical patent/CN109635282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本发明的实施方式提供了一种用于多方对话的篇章解析方法、装置、介质及计算设备。该方法包括:获得EDU序列;按照发言顺序依次对EDU序列中的每个EDU进行处理,其中,在针对当前EDU的处理中:根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度,将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU,以及在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,确定当前已解析的篇章结构并获得当前EDU的结构化特征。本发明的上述技术,能够实现多方对话场景下的篇章解析,解析结果相比现有技术能够显著提高。

Description

用于多方对话的篇章解析方法、装置、介质及计算设备
技术领域
本发明的实施方式涉及电子信息领域,更具体地,本发明的实施方式涉及一种用于多方对话的篇章解析方法、装置、介质及计算设备。
背景技术
自然语言处理(Natural Language Processing,NLP)是人工智能的一个子领域,也是人工智能领域中最难的问题之一,对自然语言处理的研究是充满魅力和挑战的。
对于诸如对话理解、问答、情感分析等各种NLP任务而言,篇章结构无疑是极其重要的。篇章通常可以被分割为从句级单元,称为基本篇章单元(Elementary DiscourseUnits,EDUs),EDU是篇章解析中最基本的单位。因此,篇章解析的准确度越高,对于各种NLP任务而言就越有益。
现有技术中存在很多篇章解析方法,但由于多方对话数据在本质上具有更复杂的篇章结构,这使得现有的篇章解析方法均不能对其进行很好的解析。以目前现有的基于修辞结构理论(Rhetorical Structure Theory,RST)的篇章解析方法为例,由于该方法专为书面文本而设计,其只允许相邻篇章单元之间出现篇章关系,因此不适用于处理多方对话。
发明内容
在本上下文中,本发明的实施方式期望提供一种用于多方对话的篇章解析方法、装置、介质及计算设备,以至少解决现有篇章解析方法在多方对话场景下进行篇章解析时的解析结果不准确的问题。
在本发明实施方式的第一方面中,提供了一种用于多方对话的篇章解析方法,包括:获得所述篇章的待解析的包括有多个EDU的EDU序列,其中,所述EDU序列中的多个EDU按照其所属多方对话中的发言顺序排序;以及按照发言顺序依次对所述EDU序列中的每个EDU进行处理,其中,在针对当前EDU的处理中:根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度,将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU,以及在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,确定当前已解析的篇章结构并获得当前EDU的结构化特征。
进一步地,每个EDU的非结构化特征包括:采用句子编码器对该EDU进行编码所得到的局部非结构化特征。
进一步地,每个EDU的非结构化特征还包括:采用非结构化篇章编码器对从所述EDU序列中的首个EDU至该EDU所对应的多个局部非结构化特征进行编码所得到的全局非结构化特征。
进一步地,所述获得当前EDU的结构化特征的步骤包括:利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径进行编码,以获得当前EDU的结构化特征。
进一步地,所述对从根节点EDU至当前EDU的路径进行编码的步骤包括:基于获取当前EDU的父亲EDU的结构化特征的所述结构化篇章编码器的状态,将当前EDU的局部非结构化特征输入所述结构化篇章编码器,改变所述结构化篇章编码器的状态,以获得当前EDU的结构化特征。
进一步地,在所述针对当前EDU的处理中,在获得当前EDU的父亲EDU之后还包括:获得当前EDU及其父亲EDU之间的依赖关系类型。
进一步地,所述获得当前EDU及其父亲EDU之间的依赖关系类型包括:通过第二多层神经网络,根据当前EDU的非结构化特征,以及根据当前EDU的父亲EDU的非结构化特征和结构化特征,获得当前EDU及其父亲EDU之间的依赖关系类型是多个预设关系类型中各类型的概率,以及在所述多个预设关系类型中,选择对应概率最大的预设关系类型,作为当前EDU及其父亲EDU之间的依赖链接对应的依赖关系类型。
进一步地,所述获得当前EDU的结构化特征的步骤包括:利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径、该路径中各依赖链接对应的依赖关系类型进行编码,以获得当前EDU的结构化特征。
进一步地,所述对从根节点EDU至当前EDU的路径、该路径中各依赖链接对应的依赖关系类型进行编码的步骤包括:基于获取当前EDU的父亲EDU的结构化特征的所述结构化篇章编码器的状态,将当前EDU的局部非结构化特征以及当前EDU与其父亲EDU之间依赖链接所对应的依赖关系类型输入所述结构化篇章编码器,改变所述结构化篇章编码器的状态,以获得当前EDU的结构化特征。
进一步地,在所述针对当前EDU的处理中:对于当前EDU所属路径中的每个节点,若该节点的发言人与当前EDU的发言人相同,则该节点的结构化特征采用对应的第一结构化篇章编码器编码实现,以及若该节点的发言人与当前EDU的发言人不同,则该节点的结构化特征采用对应的第二结构化篇章编码器编码实现。
进一步地,在所述针对当前EDU的处理中:
针对所述多方对话所涉及的所有发言人中的每一个,判定当前EDU的发言人是否为该发言人:若是,采用所述第一结构化篇章编码器编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用;否则,采用所述第二结构化篇章编码器编码编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用。
进一步地,在所述针对当前EDU的处理中,还包括计算当前EDU的非结构化特征。
进一步地,所述EDU序列中的每个EDU的非结构化特征是预先获得的。
进一步地,所述通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度的步骤包括:对于当前EDU之前的每个EDU,将该EDU的结构化特征和非结构化特征以及当前EDU的非结构化特征输入所述第一多层神经网络,获得当前EDU与该EDU之间的相关性分数;至少基于当前EDU之前的每个EDU与当前EDU之间的相关性分数,获得所述当前EDU之前的每个EDU与当前EDU之间的依赖程度。
进一步地,所述当前EDU之前的每个EDU与当前EDU之间的依赖程度通过如下方式获得:通过对当前EDU之前的各EDU与当前EDU之间的相关性分数进行归一化,获得当前EDU之前的每个EDU与当前EDU之间的依赖概率,用于描述每个EDU与当前EDU之间的依赖程度。
进一步地,在针对当前EDU的处理中,通过如下方式获得当前EDU与当前EDU之前的每个EDU之间的依赖程度:对于当前EDU之前的每个EDU,将通过对当前EDU的非结构化特征、该EDU的非结构化特征以及结构化特征进行拼接所得到的输入向量输入所述第一多层神经网络,以获得该EDU与当前EDU之间的依赖程度。
进一步地,在针对当前EDU的处理中,对于当前EDU之前的每个EDU,所述将通过对当前EDU的非结构化特征、该EDU的非结构化特征以及结构化特征进行拼接所得到的第一输入向量输入所述第一多层神经网络的步骤包括:将通过对当前EDU的局部非结构化特征、全局非结构化特征、该EDU的全局非结构化特征和结构化特征进行拼接所得的输入向量输入所述第一多层神经网络。
根据本发明的另一方面还提供了一种用于多方对话的篇章解析装置,包括:EDU获取单元,适于获得所述篇章的待解析的包括有多个EDU的EDU序列,其中,所述EDU序列中的多个EDU按照其所属多方对话中的发言顺序排序;以及处理单元,适于按照发言顺序依次对所述EDU序列中的每个EDU进行处理;其中,所述处理单元包括:第一解析单元,适于在针对当前EDU的处理中,根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度,第二解析单元,适于将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU,以及第三解析单元,适于在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,确定当前已解析的篇章结构并获得当前EDU的结构化特征。
进一步地,每个EDU的非结构化特征包括:采用句子编码器对该EDU进行编码所得到的局部非结构化特征。
进一步地,每个EDU的非结构化特征还包括:采用非结构化篇章编码器对从所述EDU序列中的首个EDU至该EDU所对应的多个局部非结构化特征进行编码所得到的全局非结构化特征。
进一步地,所述第三解析单元适于:利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径进行编码,以获得当前EDU的结构化特征。
进一步地,所述第三解析单元适于:基于获取当前EDU的父亲EDU的结构化特征的所述结构化篇章编码器的状态,将当前EDU的局部非结构化特征输入所述结构化篇章编码器,改变所述结构化篇章编码器的状态,以获得当前EDU的结构化特征。
进一步地,所述处理单元还包括:第四解析单元,适于在所述针对当前EDU的处理中,在通过所述第二解析单元获得当前EDU的父亲EDU之后,获得当前EDU及其父亲EDU之间的依赖关系类型。
进一步地,所述第四解析单元适于:通过第二多层神经网络,根据当前EDU的非结构化特征,以及根据当前EDU的父亲EDU的非结构化特征和结构化特征,获得当前EDU及其父亲EDU之间的依赖关系类型是多个预设关系类型中各类型的概率;以及在所述多个预设关系类型中,选择对应概率最大的预设关系类型,作为当前EDU及其父亲EDU之间的依赖链接对应的依赖关系类型。
进一步地,所述第三解析单元适于:利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径、该路径中各依赖链接对应的依赖关系类型进行编码,以获得当前EDU的结构化特征。
进一步地,所述第三解析单元适于:基于获取当前EDU的父亲EDU的结构化特征的所述结构化篇章编码器的状态,将当前EDU的局部非结构化特征以及当前EDU与其父亲EDU之间依赖链接所对应的依赖关系类型输入所述结构化篇章编码器,改变所述结构化篇章编码器的状态,以获得当前EDU的结构化特征。
进一步地,所述第三解析单元适于:在所述针对当前EDU的处理中,对于当前EDU所属路径中的每个节点:若该节点的发言人与当前EDU的发言人相同,则采用对应的第一结构化篇章编码器实现对该节点的结构化特征的编码,以及若该节点的发言人与当前EDU的发言人不同,则采用对应的第二结构化篇章编码器实现对该节点的结构化特征的编码。
进一步地,所述第三解析单元适于:在所述针对当前EDU的处理中:针对所述多方对话所涉及的所有发言人中的每一个,判定当前EDU的发言人是否为该发言人:若是,采用所述第一结构化篇章编码器编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用;否则,采用所述第二结构化篇章编码器编码编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用。
进一步地,所述第一解析单元还适于在所述针对当前EDU的处理中,在通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度之前,计算当前EDU的非结构化特征。
进一步地,装置装置还包括:非结构化特征获取单元,适于在所述EDU获取单元获取到所述EDU序列之后,获取所述EDU序列中的每个EDU的非结构化特征。
进一步地,所述第一解析单元适于:在针对当前EDU的处理中,对于当前EDU之前的每个EDU,将该EDU的结构化特征和非结构化特征以及当前EDU的非结构化特征输入所述第一多层神经网络,获得当前EDU与该EDU之间的相关性分数;以及至少基于当前EDU之前的每个EDU与当前EDU之间的相关性分数,获得所述当前EDU之前的每个EDU与当前EDU之间的依赖程度。
进一步地,所述第一解析单元适于通过对当前EDU之前的各EDU与当前EDU之间的相关性分数进行归一化,获得当前EDU之前的每个EDU与当前EDU之间的依赖概率,用于描述每个EDU与当前EDU之间的依赖程度。
进一步地,所述第一解析单元适于在针对当前EDU的处理中,通过如下方式获得当前EDU与当前EDU之前的每个EDU之间的依赖程度:对于当前EDU之前的每个EDU,将通过对当前EDU的非结构化特征、该EDU的非结构化特征以及结构化特征进行拼接所得到的输入向量输入所述第一多层神经网络,以获得该EDU与当前EDU之间的依赖程度。
进一步地,所述第一解析单元适于在针对当前EDU的处理中,对于当前EDU之前的每个EDU,通过对当前EDU的局部非结构化特征、全局非结构化特征、该EDU的全局非结构化特征和结构化特征进行拼接来得到所述输入向量。
根据本发明的又一方面,还提供了一种存储有程序的存储介质,所述程序被处理器执行时实现上述用于多方对话的篇章解析方法。
根据本发明的再一方面,还提供了一种计算设备,包括上述存储介质。
根据本发明实施方式的用于多方对话的篇章解析方法、装置、介质及计算设备,能够实现多方对话场景下的篇章解析,解析结果相比现有技术能够显著提高。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
图1是示出了本发明能够应用的多方对话场景的示意图;
图2是示意性地示出了根据本发明实施方式的用于多方对话的篇章解析方法的一个示例性处理的流程图;
图3是示出图2中的步骤S220的一种示例性处理的流程图;
图4是示出本发明实施例的一个优选应用示例的流程示意图;
图5是示出如何获得当前EDU与当前EDU之前的每个EDU之间的依赖程度的一种可能处理的流程图;
图6是示出篇章结构的示例的示意图;
图7是示出结构化篇章编码器编码的一个示例的示意图;
图8是示意性地示出了根据本公开实施例的用于多方对话的篇章解析方法的另一种示例性处理中的部分处理的流程图;
图9是示出结构化篇章编码器编码的又一个示例的示意图;
图10是示出在针对不同发言人时各EDU的全局结构化特征的一个示例的示意图;
图11是示意性地示出了根据本发明实施方式的用于多方对话的篇章解析装置的一个示例的结构框图;
图12是示出图11中的处理单元的另一种可能结构的示意图;
图13示意性地示出了根据本发明一实施例的计算机的结构示意图;
图14示意性地示出了根据本发明一实施例的计算机可读存储介质的示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施方式,提出了一种用于多方对话的篇章解析方法、装置、介质及计算设备。
在本文中,需要理解的是,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
场景概览
本发明人发现,在现有技术中,由于RST是基于构象的,将相关相邻的篇章单元合并成递归的更大的单元,形成层次树结构。相比之下,以依赖为基础的结构,即EDU直接联系而不形成上层结构,则更适用于多方对话。
多方对话在非相邻的EDU之间存在直接关系,篇章结构一般是非投射性的。如图1所示,其显示了一个多方对话的示例及其依赖结构,其中三个发言者(A、B、C)正在在线游戏中进行对话。
如图1所示,在5个EDU(1)~(5)中,箭头表示两个基本篇章单元之间具有依赖关系,例如,(1)→(2)之间的关系类型为“提问-阐述(Question-Elaboration,Q-Elab)”,(1)→(3)之间的关系类型为“问答对(Question-Answer-Pair,QAP)”,(3)→(5)之间的关系类型为“确认(Acknowledgement,Ack)”,(1)→(4)之间的关系类型为“QAP”,以及(4)→(5)之间的关系类型为“Ack”。类似图1这种,不能将各EDU之间的关系全部画在同一侧且不交叉的篇章结构即是非投射性的篇章结构。比如,图1中的(1)→(4)和(3)→(5)必须画在对话的两侧才能避免交叉,因此,图1所示的场景就是一个非投射性的多方对话场景。
目前,现有的篇章依赖分析方法通常采用流水线框架,其首先估计每两个EDU之间依赖关系的局部概率,然后,采用基于估计概率的例如最大生成树或整数规划等解码算法来构建篇章结构。
然而,无论是现有技术中的哪种方法,其对每两个EDU之间的依赖关系的概率估计仅仅依赖于这两个被考虑的EDU的局部信息;其次,依赖预测和篇章结构构建分两个阶段进行,依赖预测不能利用预测篇章结构中的信息进行更好的依赖分析,反过来,依赖预测越差,篇章结构的构建就越差。
发明概述
本发明的实施例提供了一种用于多方对话的篇章解析方法,包括:获得所述篇章的待解析的包括有多个EDU的EDU序列,其中,所述EDU序列中的多个EDU按照其所属多方对话中的发言顺序排序;以及按照发言顺序依次对所述EDU序列中的每个EDU进行处理,其中,在针对当前EDU的处理中:根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度,将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU,以及在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,确定当前已解析的篇章结构并获得当前EDU的结构化特征。
在本发明的实施例中,上述用于多方对话的篇章解析方法在预测每两个EDU之间的依赖程度时,不仅考虑了非结构化特征,还考虑了结构化特征,能够使得预测的结果更加准确。
此外,对于EDU序列中各EDU按照发言顺序先后处理,使得在后计算的EDU的结构化特征能够利用在先EDU的依赖预测结果,同时在后EDU的依赖预测结果又是基于在先EDU的结构化特征获得的,因此,在本发明的实施例中,依赖预测与篇章结构构建是交替进行的。而在现有技术中,依赖预测与篇章结构构建往往是分两个阶段进行的,依赖预测不能利用预测篇章结构中的信息进行更好的依赖分析,反过来,依赖预测越差,篇章结构的构建就越差。
在一些实施例中,非结构化特征可以包括局部非结构化特征和全局非结构化特征,因此,与现有技术相比,本发明的实施例在预测每两个EDU之间的依赖程度时能够同时考虑局部和全局的非结构化特征。
在一些实施例中,结构化特征作为一种全局特征,使得本发明的上述方案能够综合以上多种特征,在同时考虑局部、全局非结构化的特征以及全局的结构化特征的情况下对每两个EDU之间的依赖程度进行预测,使得预测更加准确。
在一些实施例中,结构化特征可以基于当前已解析的篇章结构获得,通过结构化篇章编码器对篇章结构中对应的路径进行编码来实现。由此也可知,在本发明的实施例中,结构化特征的获得是依赖于篇章结构的解析,也即依赖于依赖预测的准确性;此外,当前节点的结构化特征又将用于其子节点的预测。这样,进一步说明了本发明实施例中的依赖预测与篇章结构构建是交替进行的,预测的越准确,使得随之解析出的篇章结构也越准确,当前解析的篇章结构越准确,又会进一步促进依赖预测更加准确,从而大大提高整个篇章解析结果的准确性。
例如,可以通过对当前节点与其父节点之间的这部分路径进行编码,这是因为,在本发明的实施例中通过迭代计算已获得当前节点的父节点的结构化特征,相当于对其父节点之前的路径已经完成编码,故对于当前节点而言,只需基于编码器在获取其父节点时的最后隐藏状态、对其父节点至当前节点间的部分路径进行编码,即可获得当前节点的结构化特征。
此外,考虑到在一个节点的结构化表示(即结构化特征)被用于考虑和某个可能的子节点之间的依赖关系时,可以将这个可能子节点发言人在对话中的历史发言、历史关系突出显示,由此能够有助于更好地理解与这一发言人(即上述可能子节点发言人)相关的对话发展,以促进结构预测。因此,在一些优选实施例中,还可以根据路径中的不同节点发言人来选择各自对应的编码器进行编码。例如,针对每个被高亮的发言人(将在后文中有解释),若节点所对应的发言人是该发言人(即被高亮的发言人),则采用第一结构化篇章编码器编码;否则,采用第二结构化篇章编码器编码。由此,使用两组不同参数来分别考虑被高亮的发言人和其他的人。
示例性方法
下面结合图2来描述根据本发明示例性实施方式的用于多方对话的篇章解析方法。
图2示意性地示出了根据本公开实施例的用于多方对话的篇章解析方法的一种示例性的处理流程200。处理流程200开始后,执行步骤S210。
如图2所示,在步骤S210中,获得篇章的待解析的包括有多个EDU的EDU序列,其中,该EDU序列中的多个EDU按照其所属多方对话中的发言顺序排序。然后,执行步骤S220。
例如,EDU序列例如是通过对上述篇章进行预处理后获得的。例如,在实际应用中,对于待处理(或待解析)的篇章,可以预先采用现有的EDU分段技术来对该篇章进行EDU分段,由此获得该篇章的多个EDU,然后按照各EDU所对应发言时间的先后顺序将其排序,从而形成上述EDU序列。
或者,也可以在步骤S210中首先获得待处理的篇章,然后通过对其进行EDU分段处理来得到对应的按上述发言顺序先后排列的多个EDU,从而形成上述EDU序列。
接着,在步骤S220中,按照发言顺序依次对EDU序列中的每个EDU进行处理。例如,假设EDU序列包括n个EDU,即EDU1、EDU2、......、EDUn-1和EDUn,按照发言顺序的先后,首先处理EDU1,然后处理EDU2,......,直到处理完EDUn为止。在下文中,为简便起见,用u1、u2、...、un表示上述EDU1、EDU2、......、EDUn。其中,n为大于1的整数,优选地,n大于2。
在步骤S220中,当处理到某个EDU(用ui表示,i∈{1,2,...,n})时,将该EDU作为当前EDU,针对当前EDU分别执行如图3所示的步骤S221~S223。
在步骤S221中,在针对当前EDU(即ui)的处理中,首先根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度。
其中,第一多层神经网络的具体模型可以根据经验来选择和训练,这里不再赘述。
作为示例,每个EDU的非结构化特征例如包括:采用句子编码器对该EDU进行编码所得到的局部非结构化特征。
其中,句子编码器例如可以是以下任一种:双向门控循环单元(Gated RecurrentUnit,GRU)编码器;循环神经网络;长短期记忆神经网络;等等。例如,对于某个EDU(例如ui)处理时,可以将该EDU输入双向GRU编码器,将该编码器在两个方向上最后的隐藏状态拼接后所得的特征作为该EDU的局部非结构化特征,例如用hi表示;即,hi表示ui的局部非结构化特征。
作为示例,每个EDU的非结构化特征除了可以包括上述局部非结构化特征之外,例如还可以包括:采用非结构化篇章编码器对从EDU序列中的首个EDU至该EDU所对应的多个局部非结构化特征进行编码所得到的全局非结构化特征。
其中,非结构化篇章编码器例如可以是以下任一种:双向GRU编码器;GRU编码器;循环神经网络;长短期记忆神经网络;等等。
图4示出了本发明实施例的一个优选应用示例的流程示意图。需要说明的是,图4所示的部分步骤例如是可选步骤,在本发明的其他实施例中,也可以不包括图4所示的部分步骤。
参见图4,当处理到ui时,ui作为当前EDU,u0为设置的一个虚拟根,u0的值为空或零。在EDU序列中,将u0设置在EDU序列中首个EDU(即u1)的前面,这样,以方便计算和描述u1
如图4所示,u0的非结构化特征(包括局部非结构化特征和全局非结构化特征)和结构化特征(即全局结构化特征),连同ui一起作为输入量被输入到第一多层神经网络,以得到ui与u0之间的依赖程度
Figure BDA0001876329010000131
类似地,u1的非结构化特征(包括下文将要描述的局部非结构化特征和全局非结构化特征)和结构化特征(即全局结构化特征),连同ui一起作为输入量被输入到第一多层神经网络,以得到ui与u1之间的依赖程度
Figure BDA0001876329010000132
用k表示在EDU序列中排在ui之前的EDU的序号,即,uk是EDU序列中排在ui之前的任一个EDU,其中,k=0,1,2,...,i-1。通过步骤S221,能够得到ui与各个uk(k=0,1,2,...,i-1)之间的依赖程度
Figure BDA0001876329010000141
作为示例,在S221中,在针对当前EDU的处理中,在“根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度”的步骤之前,可以先计算当前EDU的非结构化特征。也就是说,可以在每处理一个EDU时,再计算该EDU的非结构化特征。
此外,对于EDU序列中的每个EDU的非结构化特征的计算也可以预先执行。换句话说,在执行步骤S220之前,例如可以在步骤s215(图中未示出该步骤,例如可以设置在步骤S210和S220之间)中计算上述EDU序列中的各个EDU的非结构化特征。在这种情况下,可以将对非结构化特征的计算过程在离线状态实现,或通过分布式系统实现,由此可以提高处理速度。
作为示例,在针对当前EDU的处理中,“当前EDU与当前EDU之前的每个EDU之间的依赖程度”例如还可以通过如图5所示的步骤S510~S520来获得。
如图5所示,在针对当前EDU的处理中,在步骤S510中,对于当前EDU之前的每个EDU,将该EDU的结构化特征和非结构化特征以及当前EDU的非结构化特征输入第一多层神经网络,获得当前EDU与该EDU之间的相关性分数。
然后,在步骤S520中,至少基于当前EDU之前的每个EDU与当前EDU之间的相关性分数,获得当前EDU之前的每个EDU与当前EDU之间的依赖程度。
在一个示例中,可以直接采用得到的“当前EDU之前的每个EDU与当前EDU之间的相关性分数”描述当前EDU之前的每个EDU与当前EDU之间的依赖程度。
在另一个示例中,在通过步骤S510获得到当前EDU与该EDU之间的相关性分数之后,可以通过步骤S520来对当前EDU之前的各EDU与当前EDU之间的相关性分数进行归一化,得到当前EDU之前的每个EDU与当前EDU之间的依赖概率,用于描述每个EDU与当前EDU之间的依赖程度。
如图4所示,在第一多层神经网络后的“softmax”层便是用于归一化处理的处理层,接着后面的“argmax”表示根据这些归一化后的依赖概率选出依赖概率最大的当前EDU的父亲节点,将该父亲节点表示为pi
根据以上描述可知,在步骤S221中,对于当前EDU之前的任一EDU来说,该EDU与当前EDU之间的依赖程度可以通过第一多层神经网络获得。
作为示例,在利用第一多层神经网络进行计算时,对于当前EDU(如ui,i=1,2,...,n)之前的每个EDU(如uk,k=0,1,2,...,i-1)来说:可以将通过对当前EDU的非结构化特征、该EDU的非结构化特征以及结构化特征进行拼接所得到的输入向量作为第一多层神经网络的输入,通过第一多层神经网络的输出来获得该EDU(如uk)与当前EDU(如ui)之间的依赖程度。
其中,上述“将通过对当前EDU的非结构化特征、该EDU的非结构化特征以及结构化特征进行拼接”的过程中所提到的“当前EDU的非结构化特征”例如包括当前EDU的局部非结构化特征和全局非结构化特征,而该过程中所提到的“该EDU的非结构化特征”例如包括该EDU的全局非结构化特征,这样,上述输入向量例如是通过对以下特征进行拼接而获得的:当前EDU的局部非结构化特征、全局非结构化特征、该EDU的全局非结构化特征和结构化特征。
例如,在对当前EDU(如ui)的处理中,对于当前EDU之前的任一EDU(如uk)来说,假设hi是表示当前EDU(如ui)的局部非结构化特征的向量,gi NS是表示当前EDU(如ui)的全局非结构化特征的向量,gk NS是表示上述任一EDU(如uk)的局部非结构化特征的向量,而gk S是表示上述任一EDU(如uk)的结构化特征的向量,则通过拼接所得到的输入向量为可以采用公式一表示:
公式一:
Figure BDA0001876329010000161
其中,Hi,k表示在计算当前EDU(即ui)与之前的EDU(即uk,k=0,1,2,...,i-1)之间的依赖程度时输入到第一多层神经网络的输入向量。
需要说明的是,上述描述中所提到的要拼接的各特征之间的顺序并不限于上述顺序,当然,可以按照上述描述中所提到的顺序来拼接上述各个特征,也可以按照其他顺序进行拼接。
接着,在步骤S222中,将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU。
如图4所示,图4中的“pi=uj”表示的意义是对于当前EDU(即ui)在k=j(j∈{0,1,2,...,i-1})时所对应的依赖概率最大(不表示等号左右数值相等),也就是说,k=j时所对应的EDU(即uj)在u0、u1、u2、...、uj、...、ui-1之中最有可能是当前EDU即ui的父节点(即父亲EDU)。
然后,在步骤S223中,在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,确定当前已解析的篇章结构并获得当前EDU的结构化特征。
其中,已解析的篇章结构例如可以是树形结构,如图6所示,其中的左图示出了对包含4个EDU(加上u0为5个EDU)的EDU序列的解析过程中所构建的依赖链接(或者,也可能是包括的EDU数量多于4个,但当前处理正在处理的对象是u4),右图则是基于此而得到的树形解析结构(可选地,该树形解析结构中还包含每个依赖链接对应的依赖关系类型)。
此外,在一种实现方式中,已解析的篇章结构可以只包括在EDU之间构建的依赖链接,而不包括下文所要描述的依赖链接的依赖关系类型;在另一种实现方式中,已解析的篇章结构也可以既包括在EDU之间构建的依赖链接,又包括下文所要描述的依赖链接的依赖关系类型。
在图6所示的例子中,假设当前节点(即当前EDU)为u4,如图所示,u4的父节点(即父亲EDU)为u2,而u2的父节点为u1;此外,u3的父节点也为u1。基于图6左侧的图,便可得到右侧所示的树形结构。对于当前节点u4来说,其所属路径为u1→u2→u4,而当前所解析出来的篇章结构即如图6右侧所示的树形篇章结构(或称篇章依赖树)。
其中,当前EDU所属路径是指从EDU序列的首个EDU到当前EDU之间的唯一路径,该唯一路径上经过的每个EDU作为当前EDU所属路径上的节点,且该路径上的每两个相邻节点之间具有依赖链接。
作为示例,步骤S223中的获得当前EDU的结构化特征的步骤可以包括:利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径(如图6所示的u1→u2→u4,假设当前节点是u4)进行编码,以获得当前EDU的结构化特征(得到u4的结构化特征)。
其中,结构化篇章编码器例如可以是以下任一种:双向GRU编码器;GRU编码器;循环神经网络;长短期记忆神经网络;等等。
需要说明的是,句子编码器、非结构化篇章编码器以及结构化篇章编码器可以采用相同类型的编码器(三者可以全相同或部分相同),也可以采用不同类型的编码器。例如,句子编码器可以采用双向GRU编码器,而非结构化篇章编码器和结构化篇章编码器则可以采用GRU编码器。
例如,可以基于获取当前EDU的父亲EDU的结构化特征的结构化篇章编码器的那个状态(即最后的隐藏状态),将当前EDU的局部非结构化特征输入结构化篇章编码器,改变该结构化篇章编码器的状态,以获得当前EDU的结构化特征。
图7给出了结构化篇章编码器编码的一个示例。如图7所示,假设当前EDU为ui,并假设所确定的当前EDU的父亲EDU为uj,这里,ui和uj分别是上文所述的EDU序列中的第i个EDU和第j个EDU,其中,j<i。例如在图6所示的例子中,假设i=4,则j=2,图中u2→u4之间的箭头表示在u2→u4之间构建的依赖链接,即u2是u4的父亲EDU。
如图7所示,获取当前EDU的父亲EDU的结构化特征时GRU(作为结构化篇章编码器的示例)的最后隐藏状态为gj S,即当前EDU的父亲EDU(即uj)的全局结构化特征。将当前EDU的局部非结构化特征hi输入该GRU,得到新的隐藏状态即为当前EDU(即ui)的全局结构化特征gi S
作为示例,图8示意性地示出了根据本公开实施例的用于多方对话的篇章解析方法的另一种示例性处理中的部分处理。与图3所示的处理不同的是,图8所示的流程除了包括图3所示的步骤之外,在针对当前EDU的处理中,在获得当前EDU的父亲EDU之后(也即,在步骤S222之后)还可以包括如图8所示的步骤S224。其中,步骤S224可以在步骤S222与S223之间执行,或者也可以在步骤S223之后执行,又或者也可以与步骤S223并行处理等。
如图8所示,在步骤S224中,获得当前EDU及其父亲EDU之间的依赖关系类型。
作为示例,可以通过第二多层神经网络,根据当前EDU的非结构化特征,以及根据当前EDU的父亲EDU的非结构化特征和结构化特征,获得当前EDU及其父亲EDU之间依赖链接所对应的依赖关系类型是多个预设关系类型中各类型的概率。这样,在多个预设关系类型中,选择对应概率最大的预设关系类型,确定为当前EDU及其父亲EDU之间的依赖链接对应的依赖关系类型。
作为示例,可以在第二多层神经网络之后设置一个softmax层。这样,通过第二多层神经网络后的“softmax”层,对第二多层神经网络的输出结果进行归一化处理,以此来获得“当前EDU及其父亲EDU之间依赖链接所对应的依赖关系类型是多个预设关系类型中各类型的概率”。
其中,多个预设关系类型例如包括但不限于以下类型中的至少部分:Q-Elab、QAP以及Ack等。
此外,第二多层神经网络的具体模型可以根据经验来选择和训练,这里不再赘述。
假设在一个例子中,上述多个预设关系类型包括Q-Elab、QAP以及Ack,则上述“获得当前EDU及其父亲EDU之间依赖链接所对应的依赖关系类型是多个预设关系类型中各类型的概率”包括:获得当前EDU及其父亲EDU之间依赖链接所对应的依赖关系类型是Q-Elab时的概率pQ-Elab;获得当前EDU及其父亲EDU之间依赖链接所对应的依赖关系类型是QAP时的概率pQAP;以及获得当前EDU及其父亲EDU之间依赖链接所对应的依赖关系类型是Ack时的概率pAck。假设pQ-Elab=12%,pQAp=70%,pAck=10%,则能够确定当前EDU及其父亲EDU之间依赖链接所对应的依赖关系类型应当是最大的概率pQAP所对应的那个预设关系类型,即QAP。
作为示例,在处理流程800中,例如可以通过如下过程来获得当前EDU的结构化特征:利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径、该路径中各依赖链接对应的依赖关系类型进行编码,以获得当前EDU的结构化特征。
其中,这里所说的结构化篇章编码器也可以是以下任一种:双向GRU编码器;GRU编码器;循环神经网络;长短期记忆神经网络;等等。
例如,可以基于获取当前EDU的父亲EDU的结构化特征时结构化篇章编码器的状态(即最后的隐藏状态),将当前EDU的局部非结构化特征以及当前EDU与其父亲EDU之间依赖链接所对应的依赖关系类型输入结构化篇章编码器,改变该结构化篇章编码器的状态,以获得当前EDU的结构化特征。
图9给出了结构化篇章编码器编码的又一个示例。如图9所示,假设当前EDU为ui,并假设所确定的当前EDU的父亲EDU为uj,ui和uj分别是上文所述的EDU序列中的第i个EDU和第j个EDU,其中,j<i。如图9所示,获取当前EDU的父亲EDU的结构化特征时GRU(作为结构化篇章编码器的示例)的隐藏状态为gj S,即当前EDU的父亲EDU(即uj)的全局结构化特征。将hi(即当前EDU的局部非结构化特征)与rii(即当前EDU与其父亲EDU之间依赖链接所对应的依赖关系类型)进行拼接所得到的向量(即
Figure BDA0001876329010000191
)输入该GRU,得到新的隐藏状态即为当前EDU(即ui)的全局结构化特征gi S
作为示例,在如上所述的处理流程200或800中,在针对当前EDU的处理中,也可以通过以下方式来获得当前EDU的结构化特征:
对于当前EDU所属路径中的每个节点,若该节点的发言人与当前EDU的发言人相同,则该节点的结构化特征采用对应的第一结构化篇章编码器编码实现;若该节点的发言人与当前EDU的发言人不同,则该节点的结构化特征采用对应的第二结构化篇章编码器编码实现。
此外,作为示例,如上所述的处理流程200或800中,在针对当前EDU的处理中,也可以通过以下方式来获得当前EDU的结构化特征:针对多方对话所涉及的所有发言人中的每一个,判定当前EDU的发言人是否为该发言人:若是,采用第一结构化篇章编码器编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用;否则,采用第二结构化篇章编码器编码编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用。
例如,用ai表示当前EDU的发言人,这样,则可以用gSk,ai表示上述EDU序列中当前EDU之前的任一EDU(uk)在考虑当前EDU的发言人ai时所对应的结构化特征的向量。这里,可以将每次考虑的那个发言人作为“被高亮的发言人”,目的是将该发言人突出显示,以区别于与其他发言人。
这样,在对当前EDU(如ui)的处理中,对于当前EDU之前的任一EDU(如uk)来说,可以采用hi表示当前EDU(如ui)的局部非结构化特征的向量,用gi NS表示当前EDU(如ui)的全局非结构化特征的向量,用gk NS表示上述任一EDU(如uk)的局部非结构化特征的向量,而用gSk,ai来表示上述任一EDU(如uk)在考虑当前EDU的发言人ai的结构化特征的向量,则通过拼接所得到的输入向量可以根据公式二获得:
公式二:
Figure BDA0001876329010000201
其中,Hi,k仍表示在计算当前EDU(即ui)与之前的EDU(即uk,k=0,1,2,...,i-1)之间的依赖程度时输入到第一多层神经网络的输入向量。
类似地,上述描述中所提到的要拼接的各特征之间的顺序并不限于上述顺序,当然,可以按照上述描述中所提到的顺序来拼接上述各个特征,也可以按照其他顺序进行拼接。
下面结合图10来描述一个示例。
如图10所示,假设在该示例中,获取的EDU序列中包括u1、u2、u3和u4这4个EDU,并假设所得到的各EDU之间的路径如图10左侧所示,即,u1→u2→u4和u1→u3。其中,u1、u2、u3和u4各自的发言人依次为A、B、A和C。也就是说,在该EDU序列中,共涉及3个发言人,即A、B和C。
如上所述,分别针对每个发言人,计算各节点(EDU)在针对各不同发言人情况下的全局结构化特征。各节点在针对各不同发言人情况下的全局结构化特征例如可以根据如下公式三计算:
公式三:
Figure BDA0001876329010000211
其中,X=A,B,C,X表示发言人,A、B和C分别是3个不同的发言人。在公式三中,i表示当前EDU(ui)的序号i,而j表示当前EDU的父亲EDU(uj)的序号j,j<i。ai表示当前EDU的发言人。
在公式三中,
Figure BDA0001876329010000212
作为第一结构化篇章编码器的示例性函数表达式,其中,
Figure BDA0001876329010000213
表示节点ui的发言人与当前所考虑的发言人X(即上文所述的被高亮的发言人)相同时所采用的第一结构化篇章编码器的表达式,其中,
Figure BDA0001876329010000214
中的下角标hl是高亮(highlight)的意思,表示ui的发言人是上述被高亮的发言人。
此外,
Figure BDA0001876329010000215
作为第二结构化篇章编码器的示例性函数表达式,其中,
Figure BDA0001876329010000216
表示节点ui的发言人与当前所考虑的发言人X(即上文所述的被高亮的发言人)不同时所采用的第二结构化篇章编码器的表达式,其中,
Figure BDA0001876329010000217
中的下角标gen是一般(general)的意思,表示ui的发言人是一般发言人(即非被高亮的发言人)。
其中,ai=X表示当前EDU的发言人与当前所考虑的发言人相同;而ai≠X表示当前EDU的发言人与当前所考虑的发言人不同。
Figure BDA0001876329010000218
表示当前EDU的父亲EDU在当前所考虑的发言人X条件下的全局结构化特征。
如图10所示,在考虑发言人A的情况下:
u0的全局结构化特征为
Figure BDA0001876329010000219
u1的全局结构化特征为
Figure BDA00018763290100002110
u2的全局结构化特征为
Figure BDA0001876329010000221
u3的全局结构化特征为
Figure BDA0001876329010000222
以及
u4的全局结构化特征为
Figure BDA0001876329010000223
在考虑发言人B的情况下:
u0的全局结构化特征为
Figure BDA0001876329010000224
u1的全局结构化特征为
Figure BDA0001876329010000225
u2的全局结构化特征为
Figure BDA0001876329010000226
u3的全局结构化特征为
Figure BDA0001876329010000227
以及
u4的全局结构化特征为
Figure BDA0001876329010000228
在考虑发言人C的情况下:
u0的全局结构化特征为
Figure BDA0001876329010000229
u1的全局结构化特征为
Figure BDA00018763290100002210
u2的全局结构化特征为
Figure BDA00018763290100002211
u3的全局结构化特征为
Figure BDA00018763290100002212
以及
u4的全局结构化特征为
Figure BDA00018763290100002213
需要说明的是,第一、第二结构化篇章编码器的函数表达式并不限于公式三中所示,虽然公式三给出了以GRU编码器为例的编码器函数,但上述第一、第二结构化篇章编码器的函数表达式并不限于此,也可以是其他类型的编码器函数。
第一、第二结构化篇章编码器的参数例如可以通过模型训练阶段获得,该训练阶段例如可以采用已知标签的训练数据进行训练,其中,这里所说的模型例如包括上文所述的第一、第二多层神经、对应的softmax层以及结构化编码器的多层结构模型。
示例性装置
本发明的实施例还提供了一种用于多方对话的篇章解析装置,包括:EDU获取单元,适于获得所述篇章的待解析的包括有多个EDU的EDU序列,其中,所述EDU序列中的多个EDU按照其所属多方对话中的发言顺序排序;以及处理单元,适于按照发言顺序依次对所述EDU序列中的每个EDU进行处理;其中,所述处理单元包括:第一解析单元,适于在针对当前EDU的处理中,根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度,第二解析单元,适于将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU,以及第三解析单元,适于在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,确定当前已解析的篇章结构并获得当前EDU的结构化特征。
接下来,参考图11对本发明示例性实施方式的用于多方对话的篇章解析装置进行说明。
参见图11,示意性地示出了根据本发明一实施例的用于多方对话的篇章解析装置的结构示意图,该装置可以设置于终端设备中,例如,该装置可以设置于台式计算机、笔记型计算机、智能移动电话以及平板电脑等智能电子设备中;当然,本发明实施方式的装置也可以设置于服务器中。本发明实施方式的装置1100可以包括下述组成单元:EDU获取单元1110和处理单元1120,其中,处理单元1120包括第一解析单元1121、第二解析单元1122和第三解析单元1123。
如图11所示,EDU获取单元1110适于获得待解析的包括有多个EDU的EDU序列,其中,EDU序列中的多个EDU按照其所属多方对话中的发言顺序排序。
处理单元1120适于按照发言顺序依次对EDU序列中的每个EDU进行处理。
其中,在处理单元1120处理到某一个EDU时,将该EDU作为正在处理的当前EDU,这样,在针对当前EDU的处理中:第一解析单元1121可以根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度;第二解析单元1122将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU;这样,第三解析单元1123可以在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,获得当前EDU的结构化特征。
作为示例,每个EDU的非结构化特征例如包括采用句子编码器对该EDU进行编码所得到的局部非结构化特征。
此外,每个EDU的非结构化特征例如还可以包括采用非结构化篇章编码器对从EDU序列中的首个EDU至该EDU所对应的多个局部非结构化特征进行编码所得到的全局非结构化特征。
作为示例,第一解析单元1121例如可以在针对当前EDU的处理中,通过如下方式获得当前EDU与当前EDU之前的每个EDU之间的依赖程度:对于当前EDU之前的每个EDU,将通过对当前EDU的非结构化特征、该EDU的非结构化特征以及结构化特征进行拼接所得到的输入向量输入第一多层神经网络,以获得该EDU与当前EDU之间的依赖程度。
其中,第一解析单元1121例如可以在针对当前EDU的处理中,对于当前EDU之前的每个EDU,通过对当前EDU的局部非结构化特征、全局非结构化特征、该EDU的全局非结构化特征和结构化特征进行拼接来得到输入向量。
作为示例,在针对当前EDU的处理中,第一解析单元1121可以在通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度之前,计算当前EDU的非结构化特征。
或者,装置1100中也可以包括一个非结构化特征获取单元(图中未示出),用于在EDU获取单元1110获取到EDU序列之后,获取EDU序列中的每个EDU的非结构化特征。
在一个例子中,在针对当前EDU的处理中,第一解析单元1121可以对于当前EDU之前的每个EDU,将该EDU的结构化特征和非结构化特征以及当前EDU的非结构化特征输入第一多层神经网络,获得当前EDU与该EDU之间的相关性分数;以及至少基于当前EDU之前的每个EDU与当前EDU之间的相关性分数,获得当前EDU之前的每个EDU与当前EDU之间的依赖程度。
在另一个例子中,在针对当前EDU的处理中,对于当前EDU之前的每个EDU,第一解析单元1121还可以在获得当前EDU与各EDU之间的相关性分数之后,对当前EDU之前的各EDU与当前EDU之间的相关性分数进行归一化,采用归一化后所得的当前EDU之前的每个EDU与当前EDU之间的归一化分数来描述每个EDU与当前EDU之间的依赖程度。
作为示例,第三解析单元1123例如可以利用结构化篇章编码器,至少对当前EDU的非结构化特征和当前EDU的父亲EDU的结构化特征进行编码,以获得当前EDU的结构化特征。
图12示意性地示出了处理单元1120的另一种可能结构。
如图12所示,处理单元1120除了可以包括图11所示的第一解析单元1121、第二解析单元1122和第三解析单元1123之外,还可以包括第四解析单元1124。
其中,在上述针对当前EDU的或处理中,第四解析单元1124用于在第二解析单元1122执行完处理之后(即获得当前EDU的父亲EDU之后),执行如下处理:根据当前EDU的非结构化特征,以及根据当前EDU的父亲EDU的非结构化特征和结构化特征,通过第二多层神经网络获得当前EDU及其父亲EDU之间的依赖关系类型分别是多个预设关系类型中的每一个的概率;以及将当前EDU及其父亲EDU之间的依赖关系类型对应概率最大的预设关系类型,确定为当前EDU及其父亲EDU之间的依赖关系类型。
作为示例,在处理单元1120包括图12所示的第四解析单元1124的情况下,第三解析单元1123也可以利用结构化篇章编码器,对当前EDU的非结构化特征、当前EDU的父亲EDU的结构化特征以及当前EDU与其父亲EDU之间的依赖关系类型进行编码,来获得当前EDU的结构化特征。
作为示例,在上述装置中,在针对当前EDU的处理中,对当前EDU所属路径中的每个节点而言:若该节点的发言人与当前EDU的发言人相同,则第三解析单元1123可以采用对应的第一结构化篇章编码器实现对该节点的结构化特征的编码;而若该节点的发言人与当前EDU的发言人不同,则第三解析单元1123可以采用对应的第二结构化篇章编码器实现对该节点的结构化特征的编码。
其中,当前EDU所属路径包括从EDU序列的首个EDU到当前EDU之间的唯一路径,该唯一路径上经过的每个EDU作为当前EDU所属路径上的节点,且该路径上的每两个相邻节点之间具有依赖链接。
应当说明的是,本发明实施例的上述用于多方对话的篇章解析装置中的组成单元能够实现上述用于多方对话的篇章解析方法中对应步骤的处理和功能,并能够达到相类似的技术效果,这里不再一一赘述。
图13示出了适于用来实现本发明实施方式的示例性计算机系统/服务器1300的框图。图13显示的计算机系统/服务器1300仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图13所示,计算机系统/服务器1300以通用计算设备的形式表现。计算机系统/服务器1300的组件可以包括但不限于:一个或者多个处理器或者处理单元1301,系统存储器1302,连接不同系统组件(包括系统存储器1302和处理单元1301)的总线1303。
计算机系统/服务器1300典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器1300访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器1302可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)13021和/或高速缓存存储器13022。计算机系统/服务器1300可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,ROM13023可以用于读写不可移动的、非易失性磁介质(图13中未显示,通常称为“硬盘驱动器”)。尽管未在图13中示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线1303相连。系统存储器1302中可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块13024的程序/实用工具13025,可以存储在例如系统存储器1302中,且这样的程序模块13024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块13024通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器1300也可以与一个或多个外部设备1304(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口1305进行。并且,计算机系统/服务器1300还可以通过网络适配器1306与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图13所示,网络适配器1306通过总线1303与计算机系统/服务器1300的其它模块(如处理单元1301等)通信。应当明白,尽管图13中未示出,可以结合计算机系统/服务器1300使用其它硬件和/或软件模块。
处理单元1301通过运行存储在系统存储器1302中的程序,从而执行各种功能应用以及数据处理,例如,执行并实现用于多方对话的篇章解析方法中的各步骤;例如,获得篇章的待解析的包括有多个EDU的EDU序列,其中,EDU序列中的多个EDU按照其所属多方对话中的发言顺序排序;以及按照发言顺序依次对EDU序列中的每个EDU进行处理,其中,在针对当前EDU的处理中:根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度,将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU,以及在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,确定当前已解析的篇章结构并获得当前EDU的结构化特征。
本发明实施方式的计算机可读存储介质一个具体例子如图14所示。
图14的计算机可读存储介质为光盘1400,其上存储有计算机程序(即程序产品),该程序被处理器执行时,会实现上述方法实施方式中所记载的各步骤,例如,获得篇章的待解析的包括有多个EDU的EDU序列,其中,EDU序列中的多个EDU按照其所属多方对话中的发言顺序排序;以及按照发言顺序依次对EDU序列中的每个EDU进行处理,其中,在针对当前EDU的处理中:根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度,将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU,以及在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,确定当前已解析的篇章结构并获得当前EDU的结构化特征;各步骤的具体实现方式在此不再重复说明。
应当注意,尽管在上文详细描述中提及了用于多方对话的篇章解析装置的若干单元、模块或子模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
综上,在根据本公开的实施例中,本公开提供了如下方案,但不限于此:
方案1.用于多方对话的篇章解析方法,其特征在于包括:
获得所述篇章的待解析的包括有多个基本篇章单元(EDU)的EDU序列,其中,所述EDU序列中的多个EDU按照其所属多方对话中的发言顺序排序;以及
按照发言顺序依次对所述EDU序列中的每个EDU进行处理,其中,在针对当前EDU的处理中:
根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度,
将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU,以及
在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,确定当前已解析的篇章结构并获得当前EDU的结构化特征。
方案2.根据方案1所述的篇章解析方法,其特征在于,每个EDU的非结构化特征包括:
采用句子编码器对该EDU进行编码所得到的局部非结构化特征。
方案3.根据方案2所述的篇章解析方法,其特征在于,每个EDU的非结构化特征还包括:
采用非结构化篇章编码器对从所述EDU序列中的首个EDU至该EDU所对应的多个局部非结构化特征进行编码所得到的全局非结构化特征。
方案4.根据方案1-3中任一项所述的篇章解析方法,其特征在于,所述获得当前EDU的结构化特征的步骤包括:
利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径进行编码,以获得当前EDU的结构化特征。
方案5.根据方案4所述的篇章解析方法,其特征在于,所述对从根节点EDU至当前EDU的路径进行编码的步骤包括:
基于获取当前EDU的父亲EDU的结构化特征的所述结构化篇章编码器的状态,将当前EDU的局部非结构化特征输入所述结构化篇章编码器,改变所述结构化篇章编码器的状态,以获得当前EDU的结构化特征。
方案6.根据方案1-5中任一项所述的篇章解析方法,其特征在于,在所述针对当前EDU的处理中,在获得当前EDU的父亲EDU之后还包括:
获得当前EDU及其父亲EDU之间的依赖关系类型。
方案7.根据方案6所述的篇章解析方法,其特征在于,所述获得当前EDU及其父亲EDU之间的依赖关系类型包括:
通过第二多层神经网络,根据当前EDU的非结构化特征,以及根据当前EDU的父亲EDU的非结构化特征和结构化特征,获得当前EDU及其父亲EDU之间依赖链接所对应的依赖关系类型是多个预设关系类型中各类型的概率,以及
在所述多个预设关系类型中,选择对应概率最大的预设关系类型,作为当前EDU及其父亲EDU之间的依赖链接对应的依赖关系类型。
方案8.根据方案7所述的篇章解析方法,其特征在于,所述获得当前EDU的结构化特征的步骤包括:
利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径、该路径中各依赖链接对应的依赖关系类型进行编码,以获得当前EDU的结构化特征。
方案9.根据方案8所述的篇章解析方法,其特征在于,所述对从根节点EDU至当前EDU的路径、该路径中各依赖链接对应的依赖关系类型进行编码的步骤包括:
基于获取当前EDU的父亲EDU的结构化特征的所述结构化篇章编码器的状态,将当前EDU的局部非结构化特征以及当前EDU与其父亲EDU之间依赖链接所对应的依赖关系类型输入所述结构化篇章编码器,改变所述结构化篇章编码器的状态,以获得当前EDU的结构化特征。
方案10.根据方案1-9中任一项所述的篇章解析方法,其特征在于,在所述针对当前EDU的处理中:
对于当前EDU所属路径中的每个节点,
若该节点的发言人与当前EDU的发言人相同,则该节点的结构化特征采用对应的第一结构化篇章编码器编码实现,以及
若该节点的发言人与当前EDU的发言人不同,则该节点的结构化特征采用对应的第二结构化篇章编码器编码实现。
方案11.根据方案1-10中任一项所述的篇章解析方法,其特征在于,在所述针对当前EDU的处理中:
针对所述多方对话所涉及的所有发言人中的每一个,
判定当前EDU的发言人是否为该发言人:若是,采用所述第一结构化篇章编码器编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用;否则,采用所述第二结构化篇章编码器编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用。
方案12.根据方案1-11中任一项所述的篇章解析方法,其特征在于,在所述针对当前EDU的处理中,还包括计算当前EDU的非结构化特征。
方案13.根据方案1-11中任一项所述的篇章解析方法,其特征在于,所述EDU序列中的每个EDU的非结构化特征是预先获得的。
方案14.根据方案1-13中任一项所述的篇章解析方法,其特征在于,所述通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度的步骤包括:
对于当前EDU之前的每个EDU,将该EDU的结构化特征和非结构化特征以及当前EDU的非结构化特征输入所述第一多层神经网络,获得当前EDU与该EDU之间的相关性分数;
至少基于当前EDU之前的每个EDU与当前EDU之间的相关性分数,获得所述当前EDU之前的每个EDU与当前EDU之间的依赖程度。
方案15.根据方案14所述的篇章解析方法,其特征在于,所述当前EDU之前的每个EDU与当前EDU之间的依赖程度通过如下方式获得:
通过对当前EDU之前的各EDU与当前EDU之间的相关性分数进行归一化,获得当前EDU之前的每个EDU与当前EDU之间的依赖概率,用于描述每个EDU与当前EDU之间的依赖程度。
方案16.根据方案1-15中任一项所述的篇章解析方法,其特征在于,在针对当前EDU的处理中,通过如下方式获得当前EDU与当前EDU之前的每个EDU之间的依赖程度:
对于当前EDU之前的每个EDU,
将通过对当前EDU的非结构化特征、该EDU的非结构化特征以及结构化特征进行拼接所得到的输入向量输入所述第一多层神经网络,以获得该EDU与当前EDU之间的依赖程度。
方案17.根据方案16所述的篇章解析方法,其特征在于,在针对当前EDU的处理中,对于当前EDU之前的每个EDU,所述将通过对当前EDU的非结构化特征、该EDU的非结构化特征以及结构化特征进行拼接所得到的第一输入向量输入所述第一多层神经网络的步骤包括:
将通过对当前EDU的局部非结构化特征、全局非结构化特征、该EDU的全局非结构化特征和结构化特征进行拼接所得的输入向量输入所述第一多层神经网络。
方案18.用于多方对话的篇章解析装置,其特征在于包括:
EDU获取单元,适于获得所述篇章的待解析的包括有多个EDU的EDU序列,其中,所述EDU序列中的多个EDU按照其所属多方对话中的发言顺序排序;以及
处理单元,适于按照发言顺序依次对所述EDU序列中的每个EDU进行处理;
其中,所述处理单元包括:
第一解析单元,适于在针对当前EDU的处理中,根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度,
第二解析单元,适于将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU,以及
第三解析单元,适于在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,确定当前已解析的篇章结构并获得当前EDU的结构化特征。
方案19.根据方案18所述的篇章解析装置,其特征在于,每个EDU的非结构化特征包括:
采用句子编码器对该EDU进行编码所得到的局部非结构化特征。
方案20.根据方案19所述的篇章解析装置,其特征在于,每个EDU的非结构化特征还包括:
采用非结构化篇章编码器对从所述EDU序列中的首个EDU至该EDU所对应的多个局部非结构化特征进行编码所得到的全局非结构化特征。
方案21.根据方案18-20中任一项所述的篇章解析装置,其特征在于,所述第三解析单元适于:
利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径进行编码,以获得当前EDU的结构化特征。
方案22.根据方案21所述的篇章解析装置,其特征在于,所述第三解析单元适于:
基于获取当前EDU的父亲EDU的结构化特征的所述结构化篇章编码器的状态,将当前EDU的局部非结构化特征输入所述结构化篇章编码器,改变所述结构化篇章编码器的状态,以获得当前EDU的结构化特征。
方案23.根据方案18-22中任一项所述的篇章解析装置,其特征在于,所述处理单元还包括:
第四解析单元,适于在所述针对当前EDU的处理中,在通过所述第二解析单元获得当前EDU的父亲EDU之后,获得当前EDU及其父亲EDU之间的依赖关系类型。
方案24.根据方案23所述的篇章解析装置,其特征在于,所述第四解析单元适于:
通过第二多层神经网络,根据当前EDU的非结构化特征,以及根据当前EDU的父亲EDU的非结构化特征和结构化特征,获得当前EDU及其父亲EDU之间的依赖关系类型是多个预设关系类型中各类型的概率;以及在所述多个预设关系类型中,选择对应概率最大的预设关系类型,作为当前EDU及其父亲EDU之间的依赖链接对应的依赖关系类型。
方案25.根据方案24所述的篇章解析装置,其特征在于,所述第三解析单元适于:
利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径、该路径中各依赖链接对应的依赖关系类型进行编码,以获得当前EDU的结构化特征。
方案26.根据方案25所述的篇章解析装置,其特征在于,所述第三解析单元适于:
基于获取当前EDU的父亲EDU的结构化特征的所述结构化篇章编码器的状态,将当前EDU的局部非结构化特征以及当前EDU与其父亲EDU之间依赖链接所对应的依赖关系类型输入所述结构化篇章编码器,改变所述结构化篇章编码器的状态,以获得当前EDU的结构化特征。
方案27.根据方案18-26中任一项所述的篇章解析装置,其特征在于,所述第三解析单元适于:
在所述针对当前EDU的处理中,对于当前EDU所属路径中的每个节点:
若该节点的发言人与当前EDU的发言人相同,则采用对应的第一结构化篇章编码器实现对该节点的结构化特征的编码,以及
若该节点的发言人与当前EDU的发言人不同,则采用对应的第二结构化篇章编码器实现对该节点的结构化特征的编码。
方案28.根据方案18-26中任一项所述的篇章解析装置,其特征在于,所述第三解析单元适于:
在所述针对当前EDU的处理中:
针对所述多方对话所涉及的所有发言人中的每一个,
判定当前EDU的发言人是否为该发言人:若是,采用所述第一结构化篇章编码器编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用;否则,采用所述第二结构化篇章编码器编码编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用。
方案29.根据方案18-28中任一项所述的篇章解析装置,其特征在于,所述第一解析单元还适于在所述针对当前EDU的处理中,在通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度之前,计算当前EDU的非结构化特征。
方案30.根据方案18-29中任一项所述的篇章解析装置,其特征在于还包括:
非结构化特征获取单元,适于在所述EDU获取单元获取到所述EDU序列之后,获取所述EDU序列中的每个EDU的非结构化特征。
方案31.根据方案18-20中任一项所述的篇章解析装置,其特征在于,所述第一解析单元适于:
在针对当前EDU的处理中,对于当前EDU之前的每个EDU,将该EDU的结构化特征和非结构化特征以及当前EDU的非结构化特征输入所述第一多层神经网络,获得当前EDU与该EDU之间的相关性分数;以及至少基于当前EDU之前的每个EDU与当前EDU之间的相关性分数,获得所述当前EDU之前的每个EDU与当前EDU之间的依赖程度。
方案32.根据方案31所述的篇章解析装置,其特征在于,所述第一解析单元适于通过对当前EDU之前的各EDU与当前EDU之间的相关性分数进行归一化,获得当前EDU之前的每个EDU与当前EDU之间的依赖概率,用于描述每个EDU与当前EDU之间的依赖程度。
方案33.根据方案18-32中任一项所述的篇章解析装置,其特征在于,所述第一解析单元适于在针对当前EDU的处理中,通过如下方式获得当前EDU与当前EDU之前的每个EDU之间的依赖程度:对于当前EDU之前的每个EDU,将通过对当前EDU的非结构化特征、该EDU的非结构化特征以及结构化特征进行拼接所得到的输入向量输入所述第一多层神经网络,以获得该EDU与当前EDU之间的依赖程度。
方案34.根据方案33所述的篇章解析装置,其特征在于,所述第一解析单元适于在针对当前EDU的处理中,对于当前EDU之前的每个EDU,通过对当前EDU的局部非结构化特征、全局非结构化特征、该EDU的全局非结构化特征和结构化特征进行拼接来得到所述输入向量。
方案35.一种存储有程序的存储介质,所述程序被处理器执行时实现如方案1到17中的任一项所述的用于多方对话的篇章解析方法。
方案36.一种计算设备,包括如方案35所述的存储介质。

Claims (32)

1.用于多方对话的篇章解析方法,其特征在于包括:
获得所述篇章的待解析的包括有多个基本篇章单元(EDU)的EDU序列,其中,所述EDU序列中的多个EDU按照其所属多方对话中的发言顺序排序;以及
按照发言顺序依次对所述EDU序列中的每个EDU进行处理,其中,在针对当前EDU的处理中:
根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度,
将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU,以及
在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,确定当前已解析的篇章结构并获得当前EDU的结构化特征;
其中,每个EDU的非结构化特征包括:
采用句子编码器对该EDU进行编码所得到的局部非结构化特征;
以及,采用非结构化篇章编码器对从所述EDU序列中的首个EDU至该EDU所对应的多个局部非结构化特征进行编码所得到的全局非结构化特征。
2.根据权利要求1所述的篇章解析方法,其特征在于,所述获得当前EDU的结构化特征的步骤包括:
利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径进行编码,以获得当前EDU的结构化特征。
3.根据权利要求2所述的篇章解析方法,其特征在于,所述对从根节点EDU至当前EDU的路径进行编码的步骤包括:
基于获取当前EDU的父亲EDU的结构化特征的所述结构化篇章编码器的状态,将当前EDU的局部非结构化特征输入所述结构化篇章编码器,改变所述结构化篇章编码的状态,以获得当前EDU的结构化特征。
4.根据权利要求1-3中任一项所述的篇章解析方法,其特征在于,在所述针对当前EDU的处理中,在获得当前EDU的父亲EDU之后还包括:
获得当前EDU及其父亲EDU之间的依赖关系类型。
5.根据权利要求4所述的篇章解析方法,其特征在于,所述获得当前EDU及其父亲EDU之间的依赖关系类型包括:
通过第二多层神经网络,根据当前EDU的非结构化特征,以及根据当前EDU的父亲EDU的非结构化特征和结构化特征,获得当前EDU及其父亲EDU之间依赖链接所对应的依赖关系类型是多个预设关系类型中各类型的概率,以及
在所述多个预设关系类型中,选择对应概率最大的预设关系类型,作为当前EDU及其父亲EDU之间的依赖链接对应的依赖关系类型。
6.根据权利要求5所述的篇章解析方法,其特征在于,所述获得当前EDU的结构化特征的步骤包括:
利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径、该路径中各依赖链接对应的依赖关系类型进行编码,以获得当前EDU的结构化特征。
7.根据权利要求6所述的篇章解析方法,其特征在于,所述对从根节点EDU至当前EDU的路径、该路径中各依赖链接对应的依赖关系类型进行编码的步骤包括:
基于获取当前EDU的父亲EDU的结构化特征的所述结构化篇章编码器的状态,将当前EDU的局部非结构化特征以及当前EDU与其父亲EDU之间依赖链接所对应的依赖关系类型输入所述结构化篇章编码器,改变所述结构化篇章编码器的状态,以获得当前EDU的结构化特征。
8.根据权利要求1-3中任一项所述的篇章解析方法,其特征在于,在所述针对当前EDU的处理中:
对于当前EDU所属路径中的每个节点,
若该节点的发言人与当前EDU的发言人相同,则该节点的结构化特征采用对应的第一结构化篇章编码器编码实现,以及
若该节点的发言人与当前EDU的发言人不同,则该节点的结构化特征采用对应的第二结构化篇章编码器编码实现。
9.根据权利要求8所述的篇章解析方法,其特征在于,在所述针对当前EDU的处理中:
针对所述多方对话所涉及的所有发言人中的每一个,
判定当前EDU的发言人是否为该发言人:若是,采用所述第一结构化篇章编码器编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用;否则,采用所述第二结构化篇章编码器编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用。
10.根据权利要求1-3中任一项所述的篇章解析方法,其特征在于,在所述针对当前EDU的处理中,还包括计算当前EDU的非结构化特征。
11.根据权利要求1-3中任一项所述的篇章解析方法,其特征在于,所述EDU序列中的每个EDU的非结构化特征是预先获得的。
12.根据权利要求1-3中任一项所述的篇章解析方法,其特征在于,所述通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度的步骤包括:
对于当前EDU之前的每个EDU,将该EDU的结构化特征和非结构化特征以及当前EDU的非结构化特征输入所述第一多层神经网络,获得当前EDU与该EDU之间的相关性分数;
至少基于当前EDU之前的每个EDU与当前EDU之间的相关性分数,获得所述当前EDU之前的每个EDU与当前EDU之间的依赖程度。
13.根据权利要求12所述的篇章解析方法,其特征在于,所述当前EDU之前的每个EDU与当前EDU之间的依赖程度通过如下方式获得:
通过对当前EDU之前的各EDU与当前EDU之间的相关性分数进行归一化,获得当前EDU之前的每个EDU与当前EDU之间的依赖概率,用于描述每个EDU与当前EDU之间的依赖程度。
14.根据权利要求1-3中任一项所述的篇章解析方法,其特征在于,在针对当前EDU的处理中,通过如下方式获得当前EDU与当前EDU之前的每个EDU之间的依赖程度:
对于当前EDU之前的每个EDU,
将通过对当前EDU的非结构化特征、该EDU的非结构化特征以及结构化特征进行拼接所得到的输入向量输入所述第一多层神经网络,以获得该EDU与当前EDU之间的依赖程度。
15.根据权利要求14所述的篇章解析方法,其特征在于,在针对当前EDU的处理中,对于当前EDU之前的每个EDU,所述将通过对当前EDU的非结构化特征、该EDU的非结构化特征以及结构化特征进行拼接所得到的第一输入向量输入所述第一多层神经网络的步骤包括:
将通过对当前EDU的局部非结构化特征、全局非结构化特征、该EDU的全局非结构化特征和结构化特征进行拼接所得的输入向量输入所述第一多层神经网络。
16.用于多方对话的篇章解析装置,其特征在于包括:
EDU获取单元,适于获得所述篇章的待解析的包括有多个EDU的EDU序列,其中,所述EDU序列中的多个EDU按照其所属多方对话中的发言顺序排序;以及
处理单元,适于按照发言顺序依次对所述EDU序列中的每个EDU进行处理;
其中,所述处理单元包括:
第一解析单元,适于在针对当前EDU的处理中,根据当前EDU的非结构化特征以及当前EDU之前的每个EDU的非结构化特征和结构化特征,通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度,
第二解析单元,适于将当前EDU之前的多个EDU之中与当前EDU之间依赖程度最大的EDU,作为当前EDU的父亲EDU,以及
第三解析单元,适于在当前EDU及其父亲EDU之间构建依赖链接,以基于已构建的依赖链接,确定当前已解析的篇章结构并获得当前EDU的结构化特征;
其中,每个EDU的非结构化特征包括:
采用句子编码器对该EDU进行编码所得到的局部非结构化特征;
以及,采用非结构化篇章编码器对从所述EDU序列中的首个EDU至该EDU所对应的多个局部非结构化特征进行编码所得到的全局非结构化特征。
17.根据权利要求16所述的篇章解析装置,其特征在于,所述第三解析单元适于:
利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径进行编码,以获得当前EDU的结构化特征。
18.根据权利要求17所述的篇章解析装置,其特征在于,所述第三解析单元适于:
基于获取当前EDU的父亲EDU的结构化特征的所述结构化篇章编码器的状态,将当前EDU的局部非结构化特征输入所述结构化篇章编码器,改变所述结构化篇章编码器的状态,以获得当前EDU的结构化特征。
19.根据权利要求16-18中任一项所述的篇章解析装置,其特征在于,所述处理单元还包括:
第四解析单元,适于在所述针对当前EDU的处理中,在通过所述第二解析单元获得当前EDU的父亲EDU之后,获得当前EDU及其父亲EDU之间的依赖关系类型。
20.根据权利要求19所述的篇章解析装置,其特征在于,所述第四解析单元适于:
通过第二多层神经网络,根据当前EDU的非结构化特征,以及根据当前EDU的父亲EDU的非结构化特征和结构化特征,获得当前EDU及其父亲EDU之间的依赖关系类型是多个预设关系类型中各类型的概率;以及在所述多个预设关系类型中,选择对应概率最大的预设关系类型,作为当前EDU及其父亲EDU之间的依赖链接对应的依赖关系类型。
21.根据权利要求20所述的篇章解析装置,其特征在于,所述第三解析单元适于:
利用结构化篇章编码器,基于当前已解析的篇章结构,对从根节点EDU至当前EDU的路径、该路径中各依赖链接对应的依赖关系类型进行编码,以获得当前EDU的结构化特征。
22.根据权利要求21所述的篇章解析装置,其特征在于,所述第三解析单元适于:
基于获取当前EDU的父亲EDU的结构化特征的所述结构化篇章编码器的状态,将当前EDU的局部非结构化特征以及当前EDU与其父亲EDU之间依赖链接所对应的依赖关系类型输入所述结构化篇章编码器,改变所述结构化篇章编码器的状态,以获得当前EDU的结构化特征。
23.根据权利要求16-18中任一项所述的篇章解析装置,其特征在于,所述第三解析单元适于:
在所述针对当前EDU的处理中,对于当前EDU所属路径中的每个节点:
若该节点的发言人与当前EDU的发言人相同,则采用对应的第一结构化篇章编码器实现对该节点的结构化特征的编码,以及
若该节点的发言人与当前EDU的发言人不同,则采用对应的第二结构化篇章编码器实现对该节点的结构化特征的编码。
24.根据权利要求23所述的篇章解析装置,其特征在于,所述第三解析单元适于:
在所述针对当前EDU的处理中:
针对所述多方对话所涉及的所有发言人中的每一个,
判定当前EDU的发言人是否为该发言人:若是,采用所述第一结构化篇章编码器编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用;否则,采用所述第二结构化篇章编码器编码获得当前EDU的结构化特征,用于确定其后续的子EDU以及由后续确定的其子EDU使用。
25.根据权利要求16-18中任一项所述的篇章解析装置,其特征在于,所述第一解析单元还适于在所述针对当前EDU的处理中,在通过第一多层神经网络获得当前EDU与当前EDU之前的每个EDU之间的依赖程度之前,计算当前EDU的非结构化特征。
26.根据权利要求16-18中任一项所述的篇章解析装置,其特征在于还包括:
非结构化特征获取单元,适于在所述EDU获取单元获取到所述EDU序列之后,获取所述EDU序列中的每个EDU的非结构化特征。
27.根据权利要求16-18中任一项所述的篇章解析装置,其特征在于,所述第一解析单元适于:
在针对当前EDU的处理中,对于当前EDU之前的每个EDU,将该EDU的结构化特征和非结构化特征以及当前EDU的非结构化特征输入所述第一多层神经网络,获得当前EDU与该EDU之间的相关性分数;以及至少基于当前EDU之前的每个EDU与当前EDU之间的相关性分数,获得所述当前EDU之前的每个EDU与当前EDU之间的依赖程度。
28.根据权利要求27所述的篇章解析装置,其特征在于,所述第一解析单元适于通过对当前EDU之前的各EDU与当前EDU之间的相关性分数进行归一化,获得当前EDU之前的每个EDU与当前EDU之间的依赖概率,用于描述每个EDU与当前EDU之间的依赖程度。
29.根据权利要求16-18中任一项所述的篇章解析装置,其特征在于,所述第一解析单元适于在针对当前EDU的处理中,通过如下方式获得当前EDU与当前EDU之前的每个EDU之间的依赖程度:对于当前EDU之前的每个EDU,将通过对当前EDU的非结构化特征、该EDU的非结构化特征以及结构化特征进行拼接所得到的输入向量输入所述第一多层神经网络,以获得该EDU与当前EDU之间的依赖程度。
30.根据权利要求29所述的篇章解析装置,其特征在于,所述第一解析单元适于在针对当前EDU的处理中,对于当前EDU之前的每个EDU,通过对当前EDU的局部非结构化特征、全局非结构化特征、该EDU的全局非结构化特征和结构化特征进行拼接来得到所述输入向量。
31.一种存储有程序的存储介质,所述程序被处理器执行时实现如权利要求1到15中的任一项所述的用于多方对话的篇章解析方法。
32.一种计算设备,包括如权利要求31所述的存储介质。
CN201811403349.4A 2018-11-22 2018-11-22 用于多方对话的篇章解析方法、装置、介质及计算设备 Active CN109635282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811403349.4A CN109635282B (zh) 2018-11-22 2018-11-22 用于多方对话的篇章解析方法、装置、介质及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811403349.4A CN109635282B (zh) 2018-11-22 2018-11-22 用于多方对话的篇章解析方法、装置、介质及计算设备

Publications (2)

Publication Number Publication Date
CN109635282A CN109635282A (zh) 2019-04-16
CN109635282B true CN109635282B (zh) 2021-07-20

Family

ID=66068884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811403349.4A Active CN109635282B (zh) 2018-11-22 2018-11-22 用于多方对话的篇章解析方法、装置、介质及计算设备

Country Status (1)

Country Link
CN (1) CN109635282B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110331B (zh) * 2019-04-30 2021-02-26 清华大学 文本生成方法、装置、介质和计算设备
US20220269868A1 (en) * 2021-02-22 2022-08-25 Tencent America LLC Structure self-aware model for discourse parsing on multi-party dialogues
CN113157907B (zh) * 2021-03-16 2022-05-03 中南大学 一种基于语篇结构的层次文本摘要获取方法、系统、终端设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915337A (zh) * 2015-06-18 2015-09-16 中国科学院自动化研究所 基于双语篇章结构信息的译文篇章完整性评估方法
CN108491514A (zh) * 2018-03-26 2018-09-04 清华大学 对话系统中提问的方法及装置、电子设备、计算机可读介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087316A1 (en) * 2000-12-29 2002-07-04 Lee Victor Wai Leung Computer-implemented grammar-based speech understanding method and system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104915337A (zh) * 2015-06-18 2015-09-16 中国科学院自动化研究所 基于双语篇章结构信息的译文篇章完整性评估方法
CN108491514A (zh) * 2018-03-26 2018-09-04 清华大学 对话系统中提问的方法及装置、电子设备、计算机可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Discourse parsing for multi-party chat dialogues;Stergos Afantenos 等;《Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing》;20150101;928-937 *

Also Published As

Publication number Publication date
CN109635282A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
US20220292269A1 (en) Method and apparatus for acquiring pre-trained model
CN112131366B (zh) 训练文本分类模型及文本分类的方法、装置及存储介质
US10762305B2 (en) Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium
CN112613303B (zh) 一种基于知识蒸馏的跨模态图像美学质量评价方法
CN110096567B (zh) 基于qa知识库推理的多轮对话回复选择方法、系统
CN112633010B (zh) 基于多头注意力和图卷积网络的方面级情感分析方法及系统
CN111344779A (zh) 训练和/或使用编码器模型确定自然语言输入的响应动作
JP2021182430A (ja) 意味解析モデルのトレーニング方法及び装置、電子機器並びに記憶媒体
CN109635282B (zh) 用于多方对话的篇章解析方法、装置、介质及计算设备
CN109766557B (zh) 一种情感分析方法、装置、存储介质及终端设备
CN113987179B (zh) 基于知识增强和回溯损失的对话情绪识别网络模型、构建方法、电子设备及存储介质
CN111401084A (zh) 一种机器翻译的方法、设备以及计算机可读存储介质
CN115495568B (zh) 一种对话模型的训练方法及装置、对话响应方法及装置
CN112967739B (zh) 一种基于长短期记忆网络的语音端点检测方法及系统
CN111460132A (zh) 一种基于图卷积神经网络的生成式会议摘要方法
CN115309877A (zh) 对话生成方法、对话模型训练方法及装置
CN115618045A (zh) 一种视觉问答方法、装置及存储介质
CN114528398A (zh) 一种基于交互双重图卷积网络的情感预测方法及系统
CN111653270A (zh) 语音处理方法、装置、计算机可读存储介质及电子设备
Kasai et al. End-to-end graph-based TAG parsing with neural networks
CN113505583B (zh) 基于语义决策图神经网络的情感原因子句对提取方法
CN112349294B (zh) 语音处理方法及装置、计算机可读介质、电子设备
CN114169408A (zh) 一种基于多模态注意力机制的情感分类方法
CN113780418A (zh) 一种数据的筛选方法、系统、设备和存储介质
US20240046921A1 (en) Method, apparatus, electronic device, and medium for speech processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant