CN111507070B

CN111507070B - 自然语言生成方法和装置

Info

Publication number: CN111507070B
Application number: CN202010297512.4A
Authority: CN
Inventors: 俞凯; 赵晏彬
Original assignee: Sipic Technology Co Ltd
Current assignee: Sipic Technology Co Ltd
Priority date: 2020-04-15
Filing date: 2020-04-15
Publication date: 2023-08-01
Anticipated expiration: 2040-04-15
Also published as: CN111507070A

Abstract

本发明公开一种自然语言生成方法和装置，其中，方法包括：接收AMR图以及与所述AMR图对应的线图，将所述AMR图和所述线图作为编码器的输入；在所述编码器中，使用图神经网络对所述AMR图和所述线图分别进行编码，其中，在使用所述图神经网络编码的过程中融入所述AMR图的高阶邻接信息，所述高阶邻接信息的阶数大于1；编码完成后，使用解码器解析出与所述AMR图对应的自然语言中的每一个词。本申请实施例的方案由于在编码时，非直接相邻节点之间的关系在编码时也会被考虑其中，使得模型可以更好地发掘AMR图中的信息。

Description

自然语言生成方法和装置

技术领域

本发明属于自然语言生成技术领域，尤其涉及自然语言生成方法和装置。

背景技术

现有技术中，抽象语义表示(AMR，Abstract Meaning Representation)是一种句子级别的语义表示，用于结构化地描述一个句子中蕴含的语义。AMR是以图的结构存储在计算机中的，其中，图的每个节点表示一个语义概念，而图中的边表示语义概念之间的关系。图1展示了一个AMR图(抽象语义表示示意图)，而它反映的就是语句“He runs as fast asthe wind”的语义。

抽象语义文本生成任务是将这种高度抽象化和结构化的语义图表示还原为相对应的自然语言。这是一个典型的“图到序列”的自然语言生成任务，可以广泛地应用在智能对话系统当中。针对这个任务目前流行的有三种做法：

1)基于规则的序列生成模型；

2)基于传统循环神经网络的“序列到序列(Seq2Seq)”模型；

3)基于图神经网络的“图到序列(Graph2Seq)”模型。

其中，基于规则的序列生成模型是一种较为直接的生成方式，这种系统充分考虑图中各个节点之间的多种关系，通过构造大量的规则将其映射为对应的自然语言。基于循环神经网络的Seq2Seq模型借鉴了神经机器翻译思想，采用了编码器—解码器(Encoder-Decoder)结构。首先通过编码器将AMR进行编码，再通过对应的解码器解析出对应的自然语言。通过大量的平行语料数据对神经网络进行训练来拟合出合适的映射函数。但是由于在这项任务中，神经网络的输入是一个图结构的AMR，并非是一个序列，因此需要通过一些手段将图进行序列化，然后进行进一步的训练。基于图神经网络的Graph2Seq模型是近年来兴起的新模型。它同样采用了编码器—解码器结构，不过不同的是在编码器段使用图神经网络直接对AMR图结构进行编码，从而省略的序列化的过程

发明人在实现本申请的过程中发现，现有技术的方案主要存在以下缺陷：

对于规则型模型来说，由于自然语言的复杂性和多样性，规则往往不能涵盖所有模式。还原出的自然语言往往比较生硬，很多时候丧失语言的流畅性。目前，基于规则的系统已经逐渐被淘汰。

基于神经网络的Seq2Seq模型需要将图序列化后再进行编码，然而，将图序列化意味着图中结构信息的丢失，无法对图中信息进行有效的编码。从而使得效果大打折扣。

而基于图神经网络的Graph2Seq模型虽然可以很好地保留图的结构信息。然而现有的图神经网络模型仍然存在两点问题：a.当前的图神经网络结构往往只考虑了相邻节点之间的关系，而忽略了更高阶的图邻接关系；b.当前图编码器只考虑了图中节点之间的关系，而忽略的边之间的相互关系。这两个缺点使得模型无法发掘更多的图信息，在图变得更大、更复杂时，模型的性能会大大降低。

发明内容

本发明实施例提供一种自然语言生成方法和装置，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种自然语言生成方法，包括：接收AMR图以及与所述AMR图对应的线图，将所述AMR图和所述线图作为编码器的输入；在所述编码器中，使用图神经网络对所述AMR图和所述线图分别进行编码，其中，在使用所述图神经网络编码的过程中融入所述AMR图的高阶邻接信息，所述高阶邻接信息的阶数大于1；以及编码完成后，使用解码器解析出与所述AMR图对应的自然语言中的每一个词。

第二方面，本发明实施例提供一种自然语言生成的方法，包括：接收模块，配置为接收AMR图以及与所述AMR图对应的线图，将所述AMR图和所述线图作为编码器的输入；编码模块，配置为在所述编码器中，使用图神经网络对所述AMR图和所述线图分别进行编码，其中，在所述图神经网络中，采用图注意力网络分别对所述原始AMR图和所述线图进行编码，并在编码的过程中融入所述AMR图的高阶邻接信息，所述高阶邻接信息的阶数大于1；以及解码模块，配置为编码完成后，使用解码器解析出与所述AMR图对应的自然语言中的每一个词。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的自然语言生成方法的步骤。

第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的自然语言生成方法的步骤。

本申请的方法和装置提供的方案通过在先接收AMR图及与该AMR图对应的线图，之后将AMR图和线图分别输入至图神经网络进行编码，在编码的过程中融入AMR图的高阶邻接信息，最后，通过解码器输出与AMR图对应的自然语言。由于在编码时，非直接相邻节点之间的关系在编码时也会被考虑其中，使得模型可以更好地发掘AMR图中的信息。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的抽象语义表示示意图；

图2为本发明一实施例提供的一种自然语言生成方法的流程图；

图3示出了原始的AMR图以及其对应的线图；

图4示出了邻居信息以不同顺序排列；

图5示出了本申请实施例提供模型的概述；

图6示出了查找折线图的示例；

图7示出了相对于AMR图大小，具有不同阶数K的模型之间的BLEU变化；

图8示出了具有不同Ke的模型之间的BLEU变化关于AMR图的大小和(左)和折返数(右)；

图9中(a)示出了不同方法之间的示例比较，图9中(b)示出了我们的方法和几个基准；

图10为本发明一实施例提供的一种用于云服务器的自然语言生成装置的框图；

图11是本发明一实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图2，其示出了本申请的自然语言生成方法一实施例的流程图，本实施例的自然语言生成方法可以适用于将抽象语义表示的图转换成自然语言，本申请在此没有限制。

如图2所示，在步骤201中，接收AMR图以及与所述AMR图对应的线图，将所述AMR图和所述线图作为编码器的输入；

在步骤202中，在所述编码器中，使用图神经网络对所述AMR图和所述线图分别进行编码；

在步骤203中，编码完成后，使用解码器解析出与所述AMR图对应的自然语言中的每一个词。

在本实施例中，对于步骤201，自然语言生成装置采用编码器-解码器结构，首先自然语言生成装置接收AMR图以及与所述AMR图对应的线图，并将所述AMR图和所述线图作为编码器的输入。

之后，对于步骤202，在编码器中，自然语言生成装置使用图神经网络对所述AMR图和所述线图分别进行编码，其中，在使用所述图神经网络编码的过程中融入所述AMR图的高阶邻接信息，所述高阶邻接信息的阶数大于1。其中，对于图中的节点x_i，其一阶邻接信息R¹(x_i)表示x_i可以在1步之内到达的节点的集合(邻居节点)；而二阶邻接信息R²(x_i)表示的是x_i可以在2步之内到达的节点的集合；以此类推，K阶邻接信息P^K(x_i)表示的是x_i可以在K步之内到达的节点的集合。

最后，对于步骤203，编码完成后，使用解码器解析出与所述AMR图对应的自然语言中的每一个词。

本申请实施例的方案通过在先接收AMR图及与该AMR图对应的线图，之后将AMR图和线图分别输入至图神经网络进行编码，在编码的过程中融入AMR图的高阶邻接信息，最后，通过解码器输出与AMR图对应的自然语言。由于在编码时，非直接相邻节点之间的关系在编码时也会被考虑其中，使得模型可以更好地发掘AMR图中的信息。

在一些可选的实施例中，在所述接收AMR图以及与所述AMR图对应的线图之前，所述方法还包括：接收ARM图，将所述ARM图中边上的属性转化成对应的节点以生成与所述ARM图对应的线图，所述线图反映所述ARM图的各条边之间的关系。从而，当只有AMR图时，先得到与AMR图对应的线图，之后再进行后续处理，进而用户只需要提供AMR图就能得到相应的线图。

在一些可选的实施例中，所述使用图神经网络对所述AMR图和所述线图分别进行编码包括：在所述图神经网络中，采用图注意力网络分别对所述原始AMR图和所述线图进行编码。

在一些可选的实施例中，在所述使用图神经网络对所述AMR图和所述线图分别进行编码之后，所述方法还包括：编码完成后，在所述AMR图和所述线图之间使用注意力机制进行所述AMR图和所述线图之间的信息传递，以对所述AMR图和所述线图中节点和边之间的关系进行建模。从而能，融合了边之间的关系可以进一步增强模型对图的编码能力。

在一些可选的实施例中，所述使用解码器解析出与所述AMR图对应的自然语言中的每一个词包括：使用解码器通过自回归的方式迭代解析出与所述AMR图对应的自然语言中的每一个词。

在一些可选的实施例中，所述高阶邻接信息的阶数大于等于1，进一步的，高阶邻接信息的阶数可以大于等于4。发明人发现当高阶邻接信息中阶数大于等于4时，整个模型的性能能够达到最佳。

下面对通过描述发明人在实现本发明的过程中遇到的一些问题和对最终确定的方案的一个具体实施例进行说明，以使本领域技术人员更好地理解本申请的方案。

发明人在实现本申请的过程中发现，以上缺陷的根本原理可以归纳为图的编码问题。现有的模型无法对图结构的信息进行有效编码，无法全面发掘图中的各种信息，因此在将图转化为自然语言时，编码的误差会进一步影响文本生成的性能。

发明人还发现，本领域技术人员为了解决图编码的问题，许多研究人员往往会从模型的结构出发，通过优化模型的结构来更好地对图进行编码。而忽略了从图本身提取更丰富的信息来对其进行编码。

本申请实施例的方案我们提出了两种改进策略。首先我们在图编码的过程中融入了更高阶的邻接信息。如图2所示。对于图中的节点x_i，其一阶邻接信息R¹(x_i)表示x_i可以在1步之内到达的节点的集合(邻居节点)；而二阶邻接信息R²(x_i)表示的是x_i可以在2步之内到达的节点的集合；以此类推，K阶邻接信息R^K(x_i)表示的是x_i可以在两部之内到达的节点的集合。

传统的图神经网络模型往往只考虑了一阶邻接信息R¹(x_i)，在进行图神经网络运算时，每个节点只和其相邻节点进行交互。而在我们的方法中，每个节点会和R¹(x_i)，R²(x_i)...R^K(x_i)中的节点分别进行交互。这样，非直接相邻节点之间的关系在编码时也会被考虑其中，使得模型可以更好地发掘AMR图中的信息。

第二，除了AMR图中节点之间的关系外，我们进一步地考虑了图中边之间的关系。为了实现这一点，我们在模型的输入中引入了线图来反映AMR图中边之间的关系。

线图是图论中的概念，其定义如下：给定一个图G，它的线图L(G)满足两个条件：

1、L(G)中的每个节点表示G中的一条边；

2、L(G)中两个节点之间连边，当且仅当它们代表的边在G中有公共点。

图3展示了原始的AMR图以及其对应的线图。可以看到，原始AMR图中边上的属性转化成了相应的节点，并单独组成了一个新的图(线图)。这个图反映了边之间的关系。在图编码中，我们一并将原始AMR图对应的线图也一并进行编码。融合了边之问的关系可以进一步增强模型对图的编码能力。

图5展示了我们模型的结构。我们的模型也遵循编码器-解码器结构。在编码器方面，编码器接受原始的AMR图以及其线图作为输入。作为输入的两种图分别使用图神经网络进行编码。在本系统中，我们采用了图注意力网络(GAT)对图进行编码，同时，在编码的过程中融入了图的高阶邻接信息。在对原始的AMR图以及其线图编码完成后，两图之间还会进行一次信息的传递。这一步的目的是为了对图中节点和边之间的关系进行建模。在本模型中，我们使用注意力机制(Attention)来完成图之间的信息传递。

在对AMR图完成编码后，我们使用解码器对编码后的图进行进一步的解码以生成对应的自然语句。解码器采用了传统的Transformer结构，通过自回归的方式迭代解析出自然语言中的每一个词。这样就完成了从抽象语义表示AMR到自然语言的过程。

本申请实施例能够实现的技术效果：本方案主要应用在图到序列的生成任务中，通过引入图的高阶邻接信息以及图中边之间的关系，可以大大提升模型对图的编码能力，可以生成更加流畅，正确的自然文本。更深层次的，传统的模型在图变的更大、更复杂时性能会有极大的下降。而本模型由于融合了更多的信息，使得在面对复杂的情况时更具有优势。

以下通过分析和实验的过程与结果解析本申请的技术方案，以使本领域技术人员能够更好地理解本申请的方案。

基于线图增强和高阶图神经网络的抽象语义文本生成

摘要

在许多基于图的模型中，对含有属性边的图进行有效的结构编码是一个重要但又具有挑战性的方面。这项工作主要研究了抽象语义表示的文本生成-一种图到序列的任务，旨在从抽象语义表示(AMR)中恢复出相应的自然语言。现有的图到序列方法通常使用图神经网络作为其编码器，但有两个主要的缺点：1)AMR图中的消息传播过程仅考虑了相邻节点之间的关系，而忽略了更高阶的图邻接关系；2)只考虑了图中节点之间的关系，而忽略边之间的相互关系。在本申请实施例中，我们提出了一种新颖的图编码框架，可以有效地探索图中边之间的关系。我们还将高阶邻接信息融入到图注意力网络中，以便于模型对AMR图中的丰富结构进行编码。实验结果表明，本申请实施例提供的方法在英语AMR基准数据集上获得了最佳的性能。实验分析还表明，边的关系和高阶信息对图到序列的建模十分有帮助。

1引言

抽象语义表示(AMR，Abstract Meaning Representation)是由有向图表示形式化的句子级语义表示，其中节点是概念，边是语义关系。由于AMR是高度结构化的含义表示形式，因此它可以促进许多与语义相关的任务，例如机器翻译和摘要。但是，AMR图的使用可能具有挑战性，因为要完全捕获基于图的数据中的丰富结构信息并非易事，特别是当图的边具有属性标签时。从AMR生成的目的是将AMR语义转换为表面形式(自然语言)。

继续参考图3，其示出了原始的AMR图以及其对应的线图及其概念图和关系图(线图)，其中：图3左边的AMR表达的自然语言含义为“He runs as fast as the wind”。基于原始图中的节点边缘关系彼此对齐。

这是一个直接从AMR作为输入的基本图到序列任务。图3(左)给出了标准的AMR图及其对应的自然语言形式。早期工作通过线性化整个图来利用序列到序列的框架。这样的表示可能会丢失有用的结构信息。在最近的研究中，图神经网络(GNNs，Graph NeuralNetworks)在此任务上处于主导地位，并实现了最先进的性能。但是，在这些基于GNN的模型中，每个概念节点的表示仅由来自其邻居的汇总信息更新，这导致两个限制：1)间接连接的节点之间的交互很大程度上取决于堆叠层的数量。当图的大小变大时，遥远的AMR概念之间的依赖关系将无法得到充分的探索。2)他们只关注概念之间的关系建模，而忽略边缘关系及其结构。一些研究人员使用Transformer建模任意概念对，无论是否直接相连，但它们仍然忽略了整个AMR图中边缘的拓扑结构。

为了解决上述局限性，我们提出了一种基于图注意力网络的新颖的图序列模型。我们将边缘标签转换为关系节点，并构造一个直接反映边缘关系的新图。在图论中，这样的图称为线图。如图3所示，因此我们将原始AMR图分为两个没有标记边缘的子图-概念图和关系图。这两张图分别描述了AMR概念和边缘的依赖性，这有助于对这些关系进行建模(尤其是对于边缘)。我们的模型将这些子图作为输入，并且两个图之间的通信基于注意力机制。此外，对于两个图，我们将高阶邻接信息混合到相应的图编码器中，以便对间接连接的节点之间的关系进行建模。

对两个英文基准数据集的经验研究表明，我们的模型在LDC2015E86和LDC2017T10上分别达到了30.58和32.46BLEU的最新性能。总而言之，我们的贡献包括：

·我们提出了一种新颖的图形到序列模型，该模型首先使用线形图对AMR边之间的关系进行建模。

·将高阶邻居信息集成到图形编码器中，以对间接连接的节点之间的关系进行建模。

·我们证明，高阶邻接信息和边缘关系对于图到序列建模都很重要。

2混合顺序图注意网络

在此，我们首先介绍图注意力网络(GAT)及其混合顺序扩展，它们是我们提出的模型的基础。

2.1图注意网络(GAT，Graph Attention Networks)

GAT是一种特殊类型的网络，它通过注意力机制处理图结构数据。给定一个图G＝(V，E)，其中V和E是节点xi的集合以及边(e_ij，l_e)，其中，l_e的集合是在GAT层中未考虑的边缘标签。

图4示出了邻居信息以不同顺序排列。

分别地，N(xi)表示通过xi直接连接的节点，N+(xi)是包括xi及其所有直接邻居的集合。我们有N+(xi)＝N(xi)∪{xi}。

图中的每个节点x_i具有初始特征其中d是特征维。每个节点的表示通过图关注操作进行迭代更新。在第1步骤，每个节点xi通过参加其邻居和自身来聚合上下文信息。更新的表示hli由连接节点的加权平均值计算得出：

其中关注系数αij的计算公式为：

其中σ是非线性激活函数，例如ReLU。W^l，和和/>是投影的可学习参数。经过L个步骤，每个节点最终将具有一个上下文感知的表示/>为了实现稳定的训练过程，我们还采用了残差连接，然后在两个图形注意层之间进行了层归一化。

2.2混合高阶信息(Mixing Higher Order Information)

在传统的图形关注层中，间接连接的节点之间的关系被忽略。但是，混合顺序GAT(Mix-Order GAT)可以通过混合高阶邻接信息以单步操作的方式探索这些关系。在描述混合顺序GAT的细节之前，我们首先给出一些注释。我们使用R^K＝R¹，...R^K表示从1阶到K阶的邻域信息。R^k(x_i)表示第k阶邻域，这意味着R^k(x_i)中的所有节点对于k跳内的x_i都是可到达的。

R¹(xi)＝N+(x_i)，如图4所示，我们可以得出：

K-Mix GAT集成邻域信息RK。在第1个更新步骤中，每个x_i将以不同的顺序与其可达的邻居进行交互，并独立计算注意力特征。表示由来自不同顺序的连接特征更新，即

其中，||代表级联，是第k阶的注意力权重，/>是投影的可学习权重。在下一节中，我们将使用MixGAT(·)表示Mix-OrderGAT层。

3方法

图5示出了我们提出的模型的概述。我们的方法的体系结构如图5所示。如上所述，我们将AMR图分为两个没有标记边缘的子图。我们的模型遵循Encoder-Decoder架构，其中编码器将两个子图作为输入，而解码器从编码信息中生成相应的文本。我们首先给出有关折线图和输入表示的一些详细说明。

3.1线图&输入表示

图G的线图是另一个图L(G)，它表示G边之间的临接关系。L(G)定义为：·L(G)的每个节点代表G的边缘·L(G)的两个节点相邻当且仅当它们的相应边共享G中的公共节点时。对于有向图，方向将保持在相应的线图中。折线图中删除了两个关系节点之间的冗余边。图6提供了几个示例。在我们的模型中，我们使用线图将标记的边缘组织起来并将原始AMR图转换为两个子图。给定一个AMR图Ga＝(Va，Ea)，我们将其分为概念图Ge＝(Vc，Ec)和关系图Ge＝(Ve，Ee)，其中Ge＝L(Ga)。对于概念图Gc，其拓扑结构与Ga相同，但消除了边缘标记，即

是没有标签信息的边缘集。G_c和G_e图中的边都是没有属性标签，可以通过Mix-Order GAT(混合顺序GAT)有效地编码。我们用/>和/>表示Gc和Ge的/>阶邻域信息。用初始嵌入/>表示每个概念节点x_i∈Vc，用嵌入/>表示每个关系节点yi∈Ve。节点嵌入的集合表示为/>和/>其中m＝|Vc|，n＝|Ve|。

图6示出了查找折线图的示例。在左侧，e1和e2具有相反的方向，因此每个方向都在线图中保持不变。在右部分中，e1和e2遵循相同的方向，因此在相应的线图中只有一个方向。

分别表示概念节点和关系节点的数量。因此，我们系统的输入可以由表示。

3.2自更新

我们系统的编码器由N个堆叠的图形编码层组成。如图5所示，每个图编码层都有两部分：每张图的自我更新和掩盖的交叉注意。对于Gc和Ge，我们使用知/>来表示第1个编码层的输入节点嵌入。混合软件图注意网络(MixGAT)分别更新表示法。

在第1步(层)，我们有：

其中，Clself和/>Elself是根据混合顺序邻域信息RK c和RK e更新的表示。应该注意的一件事是Gc和Ge都是有向图。这意味着图中的信息传播遵循自上而下的方式，遵循预先指定的方向。但是，单向传播会在反向方向上丢失结构信息。为了建立双向交流，我们采用了Dual Graph。对偶图与原始图相比具有相同的节点表示，但边缘方向相反。例如，如果边A→B在原始图中，则在对应的对偶图中变为B→A。由于对偶图具有相同的节点表示，因此我们只需更改邻域信息。将Gc和Ge表示为Gc和Ge的对偶图。e RK c和e RK e是相应的邻域信息。我们有：

由于我们已经在两个方向上更新了节点嵌入，因此独立图更新过程的最终表示是双向嵌入的组合，即

其中，和/>是投影的可训练矩阵。/>和/>是自我更新过程的结果。

3.3带有掩码的交叉注意力机制(MaskedCrossAttention)

Gc和Ge的自更新可以分别对AMR概念和边之间的关系进行建模。但是，也有必要探索概念节点和关系节点之间的依赖关系。因此，Gc和Ge之间的跨图通信非常重要。从原始AMR图的结构，我们可以轻松地在Gc和Ge之间建立对齐方式。如果xi是与yi对应的边的起点/终点，则关系节点yi将直接与概念节点xi对齐。如图3所示，ARG0是run-02和he之间的边缘。结果，Ge中的节点ARG0直接连接到run-02，而他在Gc中。我们应用注意力机制来完成两个图之间的交互，并使用M∈R^n×m掩盖Gc和Ge之间未对齐对的注意权重。对于M中的mij，如果yi∈Ve与xj∈Vc对齐，则让mij＝0，否则让mij＝-∞。在表示集和/>之间采用了掩盖的交叉注意，注意权重矩阵A_l可以计算为：

其中和/>是可学习的投影矩阵。未对齐对的权重分数根据M设置为-∞。对于/>中的节点，使用A_l标识来自/>的相关表示形式为：

其中是/>的掩码加权和。对/>中的节点执行相同的计算，如下所示：

图编码层的最终输出是原始嵌入和另一张图的上下文表示的组合。我们还将上一层的输出作为残差输入，即

FFN是前馈网络，其中包括两个线性变换。经过N个堆叠的图编码层之后，两个图Gc和Ge最终编码为CN和EN。

3.4解码器

我们系统的解码器类似于Transformer解码器。在每个生成步骤，输出词语的表示都会通过多轮关注来更新，其中包括先前生成的令牌和编码器输出。请注意，我们的图形编码器的输出分为两部分：概念表示CN和关系表示EN。对于生成而言，概念信息更为重要，因为概念图直接包含自然词。随着多步骤的交叉关注，CN也带来了丰富的关系信息。为简单起见，我们仅将CN用作解码器一侧上的编码器输出。为了解决序列生成中的数据稀疏性问题，我们根据Zhu等人的设置采用了字节对编码(BPE)。我们将AMR图和参考句子中的单词节点分为子单词，并且解码器词汇与概念图的编码器共享。

4实验

4.1设置

数据和预处理我们使用两个基准数据集LDC2015E85和LDC2017T10进行实验。这两个数据集包含16833和36521训练样本，它们使用包含1368个样本的通用开发集和包含1371个样本的通用测试集。我们将AMR图和参考中的自然词细分为子词。结果，可以将AMR图中的单词节点划分为几个子单词节点。我们使用特殊的边缘子字链接相应的子字节点。然后，对于每个AMR图，我们分别找到其对应的线图并分别生成Gc和Ge。

训练细节

对于模型参数，图形编码层的数量固定为6，表示维数d设置为512。我们为Gc和Ge设置图形邻域顺序K＝1，2和4。Transformer解码器基于Open-NMT，具有6层，512尺寸和8个磁头。我们使用Adam(Kingma and Ba，2015)作为优化器，β＝(0.9，0.98)。与Vaswani等人类似，在训练过程中学习率也有所不同：

lr＝γd^-0.5·min(t^-0.5，t*w^-1.5)，(13)

其中t表示累积训练步骤，w表示预热步骤。我们使用w＝16000，系数γ设置为0.75。至于批量大小，我们对LDC2015E86使用80，对LDC2017T10使用120。

4.2结果

我们将我们的系统与几个基线进行比较，包括传统的序列到序列模型，带有多个图形编码器的几个图形到序列模型以及基于变压器的模型。所有模型都在单个数据集中进行训练，而没有集成或其他未标记的数据。对于性能评估，我们使用BLEU作为主要指标。我们还使用了Meteor，它考虑了预测句子和参照之间的同义词。

表1中报告了LDC2015E86和LDC2017T10测试集的实验结果。我们可以看到，基于序列的模型表现最差，因为它们会丢失图中的有用结构信息。基于图的模型可以通过各种图编码器获得更好的结果，以捕获图中的结构信息。基于Transformer的模型采用结构感知的自注意方法达到了以前的最新水平，可以更好地对间接连接的概念之间的关系进行建模。

表1：我们的方法的主要结果以及LDC2015E86和LDC2017T10的测试集中的几个基准。

其中，模型一栏示出了以往的各种模型的名称，Sequence-Based Model表示基于序列的模型，Graph-Based Model表示基于图的模型，Transformer-Based Model表示基于转换器的模型，Our Approach表示我们的方法；LDC2015E86和LDC2017T10为测试数据集的名称编号，BLEU：Bilingual Evaluation Understudy：翻译辅助评估，Meteor：Metric forEvaluation of Translation with Explicit ordering：带有显示排序的翻译评价指标。

与之前的研究相比，我们的K＝4阶邻域信息方法达到了最佳的BLEU分数，在两个数据集上的最新模型均提高了0.92。在Meteor的其他指标上也可以找到类似的现象。

5分析

如上所述，我们的系统有两个关键点：高阶图邻域信息和AMR边之间的关系。为了验证这两种设置的有效性，我们基于图形的不同特征进行了一系列的实验测试。

5.1邻域信息消融研究

如表1所示，如果图节点仅与其直接邻居互动(K＝1)，则其性能要比以前基于Transformer的模型差。但是，当我们集成高阶邻接信息时，可以观察到显着改善。随着K从1增长到4，BLEU分数在LDC2015E86和LDC2017T10上分别增加1.94和2.50。如上所述，如果仅考虑一阶邻域，则当图的大小变大时，无法完全探究远距离AMR概念之间的依赖性。为了验证这一假设，我们根据AMR图的大小(即概念数量)将测试集分为不同的部分。我们在不同分区上以K＝4和K＝1的阶数评估模型。所有模型都在LDC2015E86set上进行训练。图5显示了结果。K＝4的模型明显优于K＝1的模型。此外，我们发现，当图变大时，两个模型之间的性能差距会增加。结果，高阶邻接信息在图到序列生成中确实起着重要作用，尤其是对于较大的AMR图而言。

图7示出了相对于AMR图大小，具有不同阶数K的模型之间的BLEU变化。

图8示出了具有不同Ke的模型之间的BLEU变化关于AMR图的大小和(左)和可重入节点的个数(右)。

5.2标记边缘关系的消融研究

我们通过在系统中集成线图(关系图)Ge来思考AMR图中标记边之间的关系。本节将深入分析这一贡献的有效性。在以前的设置中，Gc和Ge的图形邻域顺序K相同。为了进行消融测试，我们将邻阶Kc固定为Gc，将阶数Ke固定为关系图Ge。我们设置Ke＝0，1和4，其中Ke＝0表示Ge中的关系节点只能与其自身交互。这意味着将完全忽略AMR边缘之间的依赖性，并且将边缘信息与相应的概念简单地组合在一起。我们在表2中报告了这两个测试集的结果。

表2：关系图Ge具有不同邻域顺序的模型结果。BLEU评分与最佳模型有显着差异，用*标记(p＜0.01)，并通过自举重采样进行了测试。如果我们忽略AMR边沿之间的依赖性(Ke＝0)，则性能将显着下降：LDC2015E86和LDC2017T10的BLEU得分分别下降1.69和1.38。当Ke＞0时，性能会提高，这意味着边缘关系确实为图形编码和序列生成带来了好处。当Ke＝4时，将以不同的邻域顺序充分探索边缘关系，并且在两个数据集上均达到最佳性能。对AMR图大小的不同分区进行性能测试(图8，左)还表明，当图变大时，边缘之间的关系会有所帮助。

我们还研究了处理重入节点时边缘关系的有效性。重入节点是具有多个父节点的节点。在AMR图中可以很容易地识别出这样的结构我们认为关系图Ge有助于探索具有相同概念的不同依赖关系，这可以为包含更多重入性的图带来好处。为了检验该假设，我们还将测试集根据其重入次数分成不同的部分，并在不同分区上使用Ke＝4和Ke＝0评估我们的模型。如图8(右)所示，当重入数量增加到5时，两者之间的差距会变大。而且，与图的大小相比，边关系在处理具有重入图的图形中更为重要。

5.3案例研究

深入了解模型性能。表3提供了一些示例。所有示例中的AMR图都包含重入节点(用粗体标记)。在示例(a)中，他们的两个父母的概念相同-想要。尽管我们的Ke＝0模型成功地找到了它们是两者都想要的主题，但它未能认识到金钱和面孔对象之间的平行关系并将面孔视为动词。相比之下，我们的Ke＝4的模型完美地找到了AMR图中的并行结构并重建了正确的句子。

在示例(b)中，我们将最佳模型与两个基线进行比较：GhuSEQ和StructuresTransformer(表示为ST-Transformer)。例(b)中的AMR图具有两个重入点，这使得模型更难恢复对应的句子。如我们所见，传统的基于图的模型GCNSEQ无法预测谓词can的正确主语。Structural-Transformer使用正确的主语，但是由于多余的单词“people”的存在，生成的句子不是很流畅。这种过代问题主要是由于再发引起的。但是，我们的模型可以有效地处理此问题，并生成具有正确语义的正确句子。

图9中(a)(上部分)示出了不同方法之间的示例比较。图9中(b)(下部分)示出了我们的方法和几个基准。

6相关工作

AMR到文本的生成是典型的图形到序列的任务。早期的研究采用基于规则的方法来解决此问题。使用两阶段方法，首先将图划分为生成树，并使用多个树转换器生成自然语言。使用启发式提取算法来学习图到字符串规则。更多作品将图到序列作为翻译任务，并使用基于短语的模型或基于神经的模型。这些方法通常需要通过深度遍历来线性化输入图。通过利用其他语法信息获得了更好的基于序列的模型。

转向图到序列方法，研究人员首次表明，图神经网络可以通过显式编码图的结构来显着提高生成性能。从那以后，从那以后，近年来就提出了带有可变图形编码器的模型，诸如图LSTM，门控图神经网络(GGNN)和图卷积神经网络等新方法。后续还有人引入了密集的连接性，以允许跨不同层的信息交换。学习双重表示，以捕获图表的自上而下和自下而上的辅助视图，并在基于图的模型中达到最佳性能。尽管图神经网络取得了巨大的成功，但它们都仅基于一阶邻域来限制节点表示的更新，并依赖于堆叠的层来建模间接连接的节点之间的关系。为了解决这个问题，最近的研究扩展了Transformer以对图结构进行编码。有研究人员使用关系感知自注意编码概念对的结构标记序列，可以对任意概念对进行建模，无论它们是否直接连接。有研究人员利用子词和共享词汇等多种机制。在此任务上取得了最先进的表现。

我们的模型遵循探索间接连接节点之间关系的相同精神，但是我们的方法有很大不同：(1)我们使用基于图的方法与高阶邻接信息集成在一起，同时保留图的显式结构。(2)我们首先通过引入线图来考虑标记边缘之间的关系。

7结论和未来工作

在这项工作中，我们提出了一种新颖的图到序列生成方法，该方法使用线图来建模原始AMR图中标记边缘之间的关系。发现混合顺序图注意网络在处理间接连接的节点时有效。消融研究还表明，探索边缘关系为图形到序列建模带来了好处。此外，我们的框架可以有效地应用于其他图到序列任务，例如WebNLG和基于语法的神经机器翻译。在以后的工作中，我们希望对其他相关任务进行一些实验，以测试我们框架的多功能性。另外，我们计划使用大规模的未标记数据来进一步提高性能。

请参考图10，其示出了本发明一实施例提供的一种用于语音模组的自然语言生成装置的框图。

如图10所示，一种自然语言生成装置1000，包括接收模块1010、编码模块1020和解码模块1030。

其中，接收模块1010，配置为接收AMR图以及与所述AMR图对应的线图，将所述AMR图和所述线图作为编码器的输入；编码模块1020，配置为在所述编码器中，使用图神经网络对所述AMR图和所述线图分别进行编码，其中，在所述图神经网络中，采用图注意力网络分别对所述原始AMR图和所述线图进行编码，并在编码的过程中融入所述AMR图的高阶邻接信息，所述高阶邻接信息的阶数大于1；以及解码模块1030，配置为编码完成后，使用解码器解析出与所述AMR图对应的自然语言中的每一个词。

在一些可选的实施例中，上述自然语言生成装置，还包括：节点和边关系建模模块(图中未示出)，配置为编码完成后，在所述AMR图和所述线图之间使用注意力机制进行所述AMR图和所述线图之间的信息传递，以对所述AMR图和所述线图中节点和边之间的关系进行建模。

应当理解，图10中记载的诸模块与参考图2中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图10中的诸模块，在此不再赘述。

值得注意的是，本申请的实施例中的模块并不用于限制本申请的方案，例如解码模块可以描述为编码完成后，使用解码器解析出与所述AMR图对应的自然语言中的每一个词的模块。另外，还可以通过硬件处理器来实现相关功能模块，例如结果返回模块也可以用处理器实现，在此不再赘述。

在另一些实施例中，本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的自然语言生成方法；

作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：

接收AMR图以及与所述AMR图对应的线图，将所述AMR图和所述线图作为编码器的输入；

在所述编码器中，使用图神经网络对所述AMR图和所述线图分别进行编码，其中，在使用所述图神经网络编码的过程中融入所述AMR图的高阶邻接信息，所述高阶邻接信息的阶数大于1；

编码完成后，使用解码器解析出与所述AMR图对应的自然语言中的每一个词。

非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据自然语言生成装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至自然语言生成装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施例还提供一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一项自然语言生成方法。

图11是本发明实施例提供的电子设备的结构示意图，如图11所示，该设备包括：一个或多个处理器1110以及存储器1120，图11中以一个处理器1110为例。自然语言生成方法的设备还可以包括：输入装置1130和输出装置1140。处理器1110、存储器1120、输入装置1130和输出装置1140可以通过总线或者其他方式连接，图11中以通过总线连接为例。存储器1120为上述的非易失性计算机可读存储介质。处理器1110通过运行存储在存储器1120中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例自然语言生成方法。输入装置1130可接收输入的数字或字符信息，以及产生与自然语言生成装置的用户设置以及功能控制有关的键信号输入。输出装置1140可包括显示屏等显示设备。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

作为一种实施方式，上述电子设备应用于自然语言生成装置中，用于语音模组，包括：

至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：

本申请实施例的电子设备以多种形式存在，包括但不限于：

(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种自然语言生成方法，包括：

接收AMR图以及与所述AMR图对应的线图，将所述AMR图和所述线图作为编码器的输入，其中，所述线图是将所述AMR图中边上的属性转化成对应的节点生成的，所述线图反映所述AMR图的各条边之间的关系；

编码完成后，使用解码器解析出与所述AMR图对应的自然语言中的每一个词；

其中，在所述图神经网络中，采用图注意力网络分别对原始AMR图和所述线图进行编码。

2.根据权利要求1所述的方法，其中，在所述使用图神经网络对所述AMR图和所述线图分别进行编码之后，所述方法还包括：

编码完成后，在所述AMR图和所述线图之间使用注意力机制进行所述AMR图和所述线图之间的信息传递，以对所述AMR图和所述线图中节点和边之间的关系进行建模。

3.根据权利要求1或2中任一项所述的方法，其中，所述使用解码器解析出与所述AMR图对应的自然语言中的每一个词包括：

使用解码器通过自回归的方式迭代解析出与所述AMR图对应的自然语言中的每一个词。

4.根据权利要求3所述的方法，其中，所述高阶邻接信息的阶数大于等于4。

5.一种自然语言生成装置，包括：

接收模块，配置为接收AMR图以及与所述AMR图对应的线图，将所述AMR图和所述线图作为编码器的输入，其中，接收所述AMR图，将所述AMR图中边上的属性转化成对应的节点以生成与所述AMR图对应的线图，所述线图反映所述AMR图的各条边之间的关系；

编码模块，配置为在所述编码器中，使用图神经网络对所述AMR图和所述线图分别进行编码，其中，在所述图神经网络中，采用图注意力网络分别对原始AMR图和所述线图进行编码，并在编码的过程中融入所述AMR图的高阶邻接信息，所述高阶邻接信息的阶数大于1；

解码模块，配置为编码完成后，使用解码器解析出与所述AMR图对应的自然语言中的每一个词；

其中，在所述图神经网络中，采用图注意力网络分别对所述原始AMR图和所述线图进行编码。

6.根据权利要求5所述的装置，还包括：

节点和边关系建模模块，配置为编码完成后，在所述AMR图和所述线图之间使用注意力机制进行所述AMR图和所述线图之间的信息传递，以对所述AMR图和所述线图中节点和边之间的关系进行建模。

7.一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行权利要求1至4中任一项所述方法的步骤。

8.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至4任一项所述方法的步骤。