CN110612536A - 神经机器翻译的逐深度可分离卷积 - Google Patents

Abstract

用于执行机器翻译任务的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。一种方法包括：接收输入语言的输入文本段；使用编码器神经网络处理输入文本段以生成编码器神经网络输出，该编码器神经网络包括多个逐深度可分离卷积神经网络层；使用自回归解码器神经网络处理编码器神经网络输出以生成解码器神经网络输出；以及处理解码器神经网络输出以生成预测的目标自然语言的输出文本段。

Description

神经机器翻译的逐深度可分离卷积

相关申请的交叉引用

本申请是于2017年5月19日提交的美国临时专利申请No.62/509,038的非临时申请并且要求其优先权，该申请的全部内容通过引用并入本文。

背景技术

本说明书涉及神经网络。

神经网络是采用一层或多层非线性单元来针对接收到的输入预测输出的机器学习模型。除了输出层之外，一些神经网络包括一个或多个隐藏层。每个隐藏层的输出被用作对网络中的下一层的输入，该下一层即下一隐藏层或输出层。网络的每个层根据相应参数集的当前值来从接收到的输入生成输出。可以使用训练数据在机器学习任务上对神经网络进行训练以确定层参数的经训练的值，并且可以将其用于对神经网络输入执行机器学习任务。

发明内容

本说明书描述了用于执行机器翻译任务的方法和系统，包括在计算机存储介质上编码的计算机程序。具体地，描述了基于逐深度可分离卷积(depth wise separableconvolution)运算的用于将输入自然语言的输入文本段翻译为目标自然语言的对应输出文本段的示例神经网络架构。

通常，本说明书中描述的主题的一个创新方面可以体现在一种用于将输入自然语言的输入文本段翻译为对应的目标自然语言的输出文本段的方法中，该方法包括：接收输入语言的输入文本段；使用编码器神经网络处理输入文本段以生成编码器神经网络输出，该编码器神经网络包括多个逐深度可分离卷积神经网络层；以及使用自回归解码器神经网络处理编码器神经网络输出以生成解码器神经网络输出，所生成的解码器神经网络输出表示预测的目标自然语言的输出文本段。

该方面的其他实施例包括记录在一个或多个计算机存储设备上的对应的系统、装置和计算机程序，其中每个系统、装置和计算机程序都被配置为执行方法的动作。一个或多个计算机的系统可以被配置为借助于安装在系统上的在操作中可以使系统执行动作的软件、固件、硬件或其任何组合来执行特定操作或动作。一个或多个计算机程序可以被配置为借助于包括在由数据处理装置执行时使装置执行动作的指令来执行特定操作或动作。

可选地，前述和其他实施例均可以单独地或组合地包括以下特征中的一个或多个。在一些实施方式中，使用编码器神经网络处理输入文本段以生成编码器神经网络输出包括：使用输入嵌入神经网络层预处理输入文本段以生成嵌入的输入文本段，该输入嵌入神经网络层被配置为接收输入语言的输入文本段并且将接收到的输入文本段嵌入到预定的特征深度中；以及使用编码器神经网络处理嵌入的输入文本段以生成编码器神经网络输出。

在一些实施方式中，每个卷积神经网络层包括(i)修正线性单元非线性组成部分，(ii)逐深度可分离卷积组成部分，以及(iii)神经网络层归一化组成部分。

在一些实施方式中，编码器神经网络进一步包括一个或多个残差连接。

在一些实施方式中，编码器神经网络包括四个逐深度可分离卷积神经网络层，该四个逐深度可分离卷积神经网络层在对第一逐深度可分离卷积神经网络层的输入与第二和第四逐深度可分离卷积神经网络层的输出之间具有两个跳跃连接。

在一些实施方式中，编码器神经网络包括输入编码器子神经网络和输入-输出混合器子神经网络。

在一些实施方式中，输入编码器子神经网络被配置为处理接收到的输入文本段并且生成编码的输入文本段作为输出。

在一些实施方式中，输入-输出混合器神经网络被配置为处理(i)编码的输入文本段，以及(ii)先前的解码器输出，以生成编码的输入-输出混合器神经网络输出。

在一些实施方式中，自回归解码器神经网络被配置为从输入编码器子神经网络和输入-输出混合器神经网络接收输入。

在一些实施方式中，编码器神经网络输出包括拼接的(concatenated)输入编码器子神经网络输出和输入-输出混合器神经网络输出。

在一些实施方式中，自回归解码器神经网络包括一个或多个卷积神经网络层。

在一些实施方式中，自回归解码器神经网络和编码器神经网络包括注意力机制。

在一些实施方式中，注意力机制包括内积注意力机制，该内积注意力机制接收(i)形状为[M,深度]的源张量，以及(ii)形状为[N,深度]的目标张量作为输入。

在一些实施方式中，注意力机制是通过给出的。

在一些实施方式中，逐深度可分离卷积神经网络层中的一个或多个包括超可分离卷积神经网络层，其中，超可分离卷积神经网络层是其最终卷积运算被分解的逐深度可分离卷积神经网络层。

在一些实施方式中，逐深度可分离卷积神经网络层包括大小为k·c+c²的可分离卷积，其中，k表示感受野大小并且c表示卷积通道的数目，并且超可分离卷积神经网络层包括大小为k·c+c²/g的可分离卷积，其中，g表示被分组的深度维度的数目。

本说明书中描述的主题可以实施在特定实施例中，以便实现以下优点中的一个或多个。

本说明书中描述的机器翻译系统代表了对现有技术机器翻译系统的重大技术改进。具体地，如本说明书中所描述的，与传统的机器翻译系统相比，使用逐深度可分离卷积的机器翻译系统使得机器翻译任务能够以类似的准确度执行，同时需要更少的系统参数和减少的计算成本。可替代地，使用具有(与传统的机器翻译系统相比的)类似数目的系统参数的逐深度可分离卷积的机器翻译系统可以用于执行具有更高准确度的机器翻译任务。使用如本说明书中所描述的“超可分离”卷积可以进一步提高机器翻译系统的性能。

如本说明书中所描述的，使用逐深度可分离卷积的机器翻译系统可以实施具有增加长度的卷积窗口，并且因此，与其他机器翻译系统不同的是，不需要滤波器膨胀。

在下面的附图和描述中陈述了本说明书的主题的一个或多个实施例的细节。主题的其他特征、方面和优点将通过描述、附图和权利要求而变得显而易见。

附图说明

图1是用于执行机器翻译任务的示例系统的框图。

图2是示例卷积模块的框图。

图3是示例输入编码器神经网络的框图。

图4是示例输入/输出混合器神经网络的框图。

图5是示例解码器神经网络的框图。

图6是用于将输入自然语言的输入文本段翻译为目标自然语言的对应输出文本段的示例过程的流程图。

在各个附图中，相同的附图标记和标号指示相同的元件。

具体实施方式

本说明书描述了用于执行机器学习任务的卷积序列到序列神经网络架构。神经网络架构包括具有残差连接的逐深度可分离卷积层的堆叠。输入自然语言的文本段输入和目标自然语言的文本段输出被嵌入到相同的特征深度中，被两个单独的子网络编码并且在被馈送到自回归地生成输出的每个元素的解码器之前被拼接。在每个步骤中，自回归解码器会在给定编码输入和现有预测输出的编码的情况下产生新的输出预测。编码器和解码器由包括逐深度可分离、次可分离或超可分离卷积层的卷积模块的堆叠构成。在一些情况下，注意力机制可以用于允许解码器从编码器获得信息。

图1是示例机器翻译系统100的框图。机器翻译系统100包括编码器神经网络102和解码器神经网络104。机器翻译系统100是被实施为一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，在该系统中可以实施下面描述的系统、组件和技术。

机器翻译系统100被配置为接收例如输入文本段106的输入自然语言的文本段作为输入。机器翻译系统100使用编码器神经网络102和解码器神经网络104处理接收到的输入文本段，以生成例如输出文本段122的目标自然语言的预测输出文本段作为输出。可以在训练期间或在执行机器翻译任务时接收输入文本段，即，输入文本段可以表示训练示例或要翻译的文本。例如，机器翻译系统100可以在训练期间从训练数据集接收输入文本段，或者可以在推理机器翻译过程期间从用户设备接收输入文本段。

编码器神经网络102被配置为接收和处理输入文本段106并且生成例如编码输出112的编码器神经网络输出作为输出。编码器神经网络102包括多个例如逐深度可分离卷积神经网络层110的逐深度可分离卷积神经网络层的一个或多个卷积模块，例如，卷积模块108。为了方便起见，编码器神经网络102被图示为包括具有一个逐深度可分离卷积神经网络层的一个卷积模块108。然而，编码器神经网络102可以包括具有多个逐深度可分离卷积神经网络层以及层之间的不同类型的连接的更多的卷积模块。下面参照图2图示了示例卷积模块。

逐深度可分离卷积神经网络层是被配置为执行逐深度可分离卷积的神经网络层。逐深度可分离卷积是在输入的每个通道上独立执行的空间卷积，其后跟随将通过逐深度卷积输出的通道投影到新的通道空间上的逐点卷积，即，1x 1卷积。逐深度可分离卷积可以被描述为将在联合的“空间跨通道范围”上通过常规卷积Conv运算的特征学习替换为两个更简单的步骤：空间特征学习步骤和通道组合步骤。例如，逐深度可分离卷积运算可以被定义为SepCon v(W_p，W_d，y)_(i，j)＝Pointwise Con v_(i，j)(W_p，DepthwiseConv_(i，j)(W_d，y))

其中，并且其中，表示逐元素乘积(要注意的是，标准的卷积运算可以被定义为)。

在一些实施方式中，包括在卷积模块108中的逐深度可分离卷积神经网络层中的一个或多个可以包括超可分卷积神经网络层。超可分卷积神经网络层是通过将输入张量分成多个分组并且将可分离卷积运算应用于每个分离的分组来实现的具有更高的分离度的逐深度可分离卷积神经网络层。

更具体地，具有分组g的超可分卷积运算SuperSC是可以应用于张量x的运算。该运算包括将在深度维度上的将x划分为g个组分组，单独地对每个组分组应用可分离卷积SepConv，并且在深度维度上将结果拼接Concat_depth，即，

其中，x¹，...，x^g表示在深度轴上的x划分，并且i＝1，...，g的表示每个可分离卷积的参数。由于每个具有大小k·c/g并且每个具有大小c²/g²，所以超可分离卷积运算的大小是k·c+c²/g(而可分离卷积运算具有大小k·c+c²)。由于超可分离卷积不允许单独分组中的通道交换信息，所以在一些实施方式中，超可分离卷积运算可以被堆叠在层中，其中互质数例如在g＝2与g＝3之间交替。

在一些情况下，多个逐深度可分离卷积神经网络层可以包括(i)作用于对神经网络层的输入的修正线性单元(ReLU)非线性组成部分，(ii)逐深度可分离卷积组成部分SepConv，以及(iii)作用在下面的神经网络层的h个隐藏单元上的神经网络层归一化组成部分。例如，由逐深度可分离卷积神经网络层执行的卷积运算可以被定义为

ConvStep_d，s(W，x)＝LN(SepConv_d，s(W，ReLU(x))) (2)

其中，d、s表示步长(stride)和膨胀因子(dilation factor)，W表示卷积神经网络层权重，x表示输入张量，并且LN表示通过给出的层归一化，其中G、B缩放和偏移归一化单位的标量经学习的参数并且其中其中，对x的最后一个深度维度求和。下面参考图2描述了堆叠的逐深度可分离卷积神经网络层的示例卷积模块。

多个逐深度可分离卷积神经网络层的卷积模块108接收和处理输入文本段106(或者，可替代地，下面描述的嵌入的输入文本段)，以生成编码的输入文本段(或编码的嵌入的输入文本段)，例如，编码的输入文本段118。

可选地，编码器神经网络102可以进一步包括输入嵌入神经网络层114。输入嵌入神经网络层114是被配置为接收例如输入文本段106的输入语言的输入文本段并且生成嵌入的输入文本段(例如，每个单词、每个字符或每个子词单元具有一个嵌入)的神经网络层。嵌入的输入文本段可以包括预定的特征深度。在一些实施方式中，可以学习或预定由输入嵌入神经网络层执行的嵌入。

然后可以将嵌入的输入文本段提供给卷积模块108作为输入。

可选地，编码器神经网络102可以进一步包括输入/输出混合器神经网络116。输入输出混合器神经网络116是被配置为处理例如编码的输入文本段118的编码的输入文本段(或编码的嵌入的输入文本段)和例如解码器输出120的先前的解码器神经网络104输出，以生成相应的编码的输入输出混合器神经网络输出的神经网络。可以包括编码器神经网络102，因为该模型是自回归的-该模型基于所有先前输出单词产生输出的下一单词-因此，输入/输出混合器神经网络可以将先前的输出(例如，被部分翻译的句子)与原始语言的输入句子混合。

在一些实施方式中，输入-输出混合器神经网络116可以包括注意力机制，例如，接收(i)形状为[M,深度]的源张量，以及(ii)形状为[N,深度]的目标张量作为输入的内积注意力。注意力机制计算每个位置处的特征向量相似度并根据深度重新缩放，并且可以通过给出。下面参照图4图示和描述了示例输入/输出混合器神经网络。

例如编码输出112的来自编码器神经网络102的输出被提供给解码器神经网络104。

解码器神经网络104是自回归神经网络，其被配置为接收和处理编码的输出112并且生成表示目标自然语言的预测输出文本段的解码器神经网络输出作为输出，该解码器神经网络输出例如是输出文本段122。在编码器神经网络102包括输入/输出混合器神经网络116的情况下，解码器神经网络104可以被配置为接收和处理与来自输入输出混合器神经网络116的输出拼接的来自卷积模块108的输出。

解码器神经网络104可以包括多个卷积神经网络层。在一些情况下，解码器神经网络104可以包括注意力机制。在一些情况下，注意力机制可能类似于由输入输出混合器神经网络116所使用的注意力机制并且包括内积注意力机制，该内积注意力机制接收(i)形状为[M,深度]的源张量，以及(ii)形状为[N,深度]的目标张量作为输入。例如，注意力机制可以通过给出。下面参照图5图示和描述了示例解码器神经网络。

可以使用训练数据来训练机器翻译系统100以执行机器翻译任务。例如，训练数据可以包括训练自然语言的训练文本段和目标自然语言的对应文本段。例如，训练数据可以包括多个训练示例，每个训练示例包括(i)输入自然语言的文本段，以及(ii)表示对输入自然语言的文本段的翻译的目标自然语言的对应文本段。训练数据可以用于例如通过使用机器翻译系统处理训练示例并且使用梯度下降和反向传播来调整编码器神经网络102和解码器神经网络104权重以最小化对应的损失函数来将编码器神经网络102和解码器神经网络104权重从初始值调整为经训练的值。

一旦机器翻译系统100已经被训练，机器翻译系统100就可以被用于执行推理机器翻译任务。例如，用户设备可以通过网络向机器翻译系统100发送数据，该数据(i)表示输入自然语言的输入文本段，以及(ii)指示目标语言。机器翻译系统100可以处理接收到的数据并且将表示目标自然语言的输入文本段的翻译的数据提供给用户设备。然后翻译可以被显示、被添加到文档、被提交给应用或者以其他方式被用户设备使用。

如上面参照图1介绍的，图2是示例卷积模块200的框图。示例卷积模块200是被实施为一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，在该系统中可以实施下面描述的系统、组件和技术。

示例卷积模块200包括四个逐深度可分离卷积神经网络层202至208的堆叠，其中每个逐深度可分离卷积神经网络层执行上面参照图1定义的卷积运算ConvStep。逐深度可分离卷积神经网络层的堆叠在堆叠输入210与(i)第二卷积步骤204和(ii)第四卷积步骤208的输出之间包括两个跳跃连接(skip connection)220、222。逐深度可分离卷积神经网络层的堆叠还包括两个残差连接214和216。由四个逐深度可分离卷积神经网络层202至208中的每一个和卷积模块200作为整体所执行的运算可以被描述为

其中，表示每个可分离卷积的参数，并且在上面的等式(2)中定义ConvStep。当训练机器翻译系统100时，会将50％的丢弃Dropout(hidden4(x)，0.5)添加到卷积模块200的末尾，然而，在训练之后即在推理期间，卷积模块200的输出等于最后一个卷积神经网络层的输出，例如，hidden4(x)。

图3是上面参照图1介绍的示例输入编码器神经网络300的框图。示例输入编码器神经网络300是被实施为一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，在该系统中可以实施下面描述的系统、组件和技术。

示例输入编码器神经网络300包括(可选地，嵌入的的)输入文本段302与时序信号304之间的残差连接306。时序信号304是通过将不同频率的正弦函数和余弦函数拼接而定义的任何形状为[k,深度]的张量，计算到k为止：

timing(t，2d)＝sin(t/10000^2d/depth)

时序信号304允许在上面和下面参照图1和图5描述的解码器神经网络中包括的注意力机制从输入编码器神经网络300访问位置信息。例如，包括在解码器神经网络中的完全注意力机制可以包括将时序信号添加到目标，执行两个卷积步骤并且注意源，例如，

其中，在上面的等式(2)中定义ConvStep，在上面的等式(3)中定义并且在上面的等式(4)中定义timing。

在将时序信号304添加到输入302之后，将组合的输入提供给卷积模块308以进行处理。如上面参照图1和图2所描述的，卷积模块308包括多个逐深度可分离卷积神经网络层。卷积模块308生成例如是编码输出310的编码的输入文本段作为输出。示例输入编码器神经网络300的动作可以被概括为InputEncoder(x)＝ConvModule(x+timimg). (6)

其中，在上面的等式(3)中定义ConvModule，并且在上面的等式(4)中定义timing。

如上面参照图1介绍的，图4是示例输入/输出混合器神经网络400的框图。示例输入/输出混合器神经网络400是被实施为一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，在该系统中可以实施下面描述的系统、组件和技术。

示例输入/输出混合器神经网络400包括注意力机制406，该注意力机制406从上面参照图1和图3描述的编码器神经网络接收编码输入402，并且接收由在上面和下面参照图1和图5描述的解码器神经网络生成的输出404。输入/输出混合器神经网络400沿着第二维度将注意力机制406的输出和输出404拼接在一起408。然后，使用多个逐深度可分离卷积神经网络层的卷积模块410来处理拼接的输出，如上面参考图1和图2所描述的。卷积模块410生成编码的混合输出(例如，编码的输出412)作为输出。示例输入/输出混合器神经网络400的动作可以被概括为

IOMixer(i，o)＝ConvStep_1，1(W^3×1，[attention(i，o)||₂o]) (7)

其中，[a||_d b]表示沿着第d个维度的张量a和b的拼接，在上面的等式(2)中定义ConvStep，并且在上面的等式(5)中定义attention。

如上面参照图1介绍的，图5是示例解码器神经网络500的框图。示例解码器神经网络500是被实施为一个或多个位置中的一个或多个计算机上的计算机程序的系统的示例，在该系统中可以实施下面描述的系统、组件和技术。

示例解码器神经网络500包括多个逐深度可分离卷积神经网络层的卷积模块504、注意力机制506和残差连接508。卷积模块504被配置为从上面参照图4描述的输入/输出混合器神经网络400接收混合的输入/输出502并且处理接收到的混合的输入/输出502以生成被提供给注意力机制506和残差连接508的卷积输出。注意力机制506被配置为接收和处理混合的输入/输出502和来自卷积模块504的卷积输出并且生成被提供给残差连接508的输出。残差连接将两个输出相加以生成编码的输出510。示例解码器神经网络500的动作可以被概括为

AttnConvModule(x，source)＝ConvModule(x)+attention(source，x)

Decoder(x)＝AttnConvModule(x，InputEncoder(inputs)). (8)

其中，在上面的等式(3)中定义ConvModule，并且在上面的等式(5)中定义attention。

图6是用于将输入自然语言的输入文本段翻译为对应的目标自然语言的输出文本段的示例过程600的流程图。为了方便起见，过程600将被描述为由位于一个或多个位置中的一个或多个计算机的系统执行。例如，例如是图1的机器翻译系统100的机器翻译系统可以执行过程600。

系统接收输入语言的输入文本段(步骤602)。例如，输入文本段可以是特定自然语言的句子。

可选地，系统可以使用输入嵌入神经网络层对接收到的输入文本段进行预处理。如上面参照图1所描述的，输入嵌入神经网络层是被配置为接收输入语言的输入文本段并且将接收到的输入文本段嵌入到预定的特征深度中的神经网络层。

系统使用包括多个逐深度可分离卷积神经网络层的编码器神经网络来处理输入文本段或嵌入的输入文本段以生成编码器神经网络输出(步骤604)。在一些实施方式中，逐深度可分离卷积神经网络层中的一个或多个可以包括超可分离卷积神经网络层-其最终卷积运算被分解的逐深度可分离卷积神经网络层。上面参照图1详细描述了超可分离卷积神经网络层。

在一些实施方式中，编码器神经网络可以包括注意力机制，例如，接收(i)形状为[M,深度]的源张量，以及(ii)形状为[N,深度]的目标张量作为输入的内积注意力机制或者通过给出的注意力机制。

在一些实施方式中，编码器神经网络可以进一步包括输入/输出混合器神经网络。在这些实施方式中，处理输入文本段或嵌入的输入文本段包括：通过多个逐深度可分离卷积神经网络层处理输入以生成编码的输入文本段或编码的嵌入的输入文本段，并且使用输入/输出混合器神经网络处理编码的输入文本段以及先前的解码器输出以生成编码的输入-输出混合器神经网络输出。

例如，该系统可以使用上面参照图1描述的编码器神经网络102来处理输入文本段。

该系统使用自回归解码器神经网络处理编码器神经网络输出，以生成目标自然语言的预测输出文本段(步骤606)。在一些实施方式中，自回归解码器神经网络可以包括一个或多个卷积神经网络层，例如，诸如超可分离卷积神经网络层的逐深度可分离卷积神经网络层和/或注意力机制(如上面参照步骤604所描述的)。

在编码器神经网络包括输入/输出混合器神经网络的情况下，该系统可以处理编码的输入文本段或编码的嵌入的输入文本段以及输入-输出混合器神经网络输出——例如作为拼接的输入——以生成目标自然语言的预测输出文本段。

例如，该系统可以使用上面参照图1和图5描述的解码器神经网络104和500来处理编码器神经网络输出。

可以在包括在本说明书中所公开的结构及其结构等效物的数字电子电路系统、有形地体现的计算机软件或固件、计算机硬件中或者它们中的一个或多个的组合中实施本说明书中所描述的主题和功能操作的实施例。可以将本说明书中描述的主题的实施例实施为一个或多个计算机程序，即，编码在有形的非暂时性程序载体上以由数据处理装置执行或者控制该数据处理装置的操作的计算机程序指令的一个或多个模块。可替代地或者另外，程序指令可以被编码在人工生成的传播信号上，该传播信号例如是机器生成的电气、光学或电磁信号，该传播信号被生成以编码信息以用于传输至合适的接收器装置供数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基片、随机或串行存取存储器设备或者它们中的一个或多个的组合。然而，计算机存储介质不是传播的信号。

术语“数据处理装置”包含了用于处理数据的所有装置、设备和机器，包括：例如，可编程处理器、计算机或者多个处理器或计算机。该装置可以包括专用逻辑电路系统，例如，FPGA(现场可编程门阵列)或者ASIC(专用集成电路)。除了硬件之外，装置还可以包括为所述的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或者它们中的一个或多个的组合的代码。

计算机程序(也可以称为或者描述为程序、软件、软件应用、模块、软件模块、脚本或代码)可以用任何形式的编程语言来编写并且可以按照任何形式来部署，该编程语言包括编译语言或解释语言或者说明性语言或程序语言，该形式包括作为独立式程序或者作为模块、组件、子例程或适合用于计算环境的其他单元。计算机程序可以但并非必须与文件系统中的文件对应。可以将程序存储在保持其他程序或数据的文件的一部分中，例如存储在标记语言文档中的一个或多个脚本；或者存储在专用于所述的程序的单个文件中；或者存储在多个协作文件中，例如存储一个或多个模块、子程序或者部分代码的文件。可以将计算机程序部署为在一个计算机上执行或者在位于一个站点处或者分布在多个站点上的多个计算机上执行。

如本说明书中所使用的，“引擎”或“软件引擎”是指提供与输入不同的输出的软件实施的输入/输出系统。引擎可以是功能的编码块，诸如库、平台、软件开发工具包(“SDK”)或对象。可以在任何适当类型的包括一个或多个处理器和计算机可读介质的计算设备上实施每个引擎，该计算设备例如是服务器、移动电话、平板计算机、笔记本计算机、音乐播放器、电子书阅读器、膝上型计算机或台式计算机、PDA、智能电话或其他固定或便携式设备。另外，两个或多个引擎可以在同一计算设备上或在不同的计算设备上实施。

可以通过一个或多个可编程计算机来执行本说明书中所描述的过程和逻辑流程，该一个或多个可编程计算机执行一个或多个计算机程序以通过对输入数据进行操作并且生成输出来执行功能。也可以通过专用逻辑电路系统来执行过程和逻辑流程，并且也可以将装置实施为专用逻辑电路系统，该专用逻辑电路系统例如是FPGA(现场可编程门阵列)或者ASIC(专用集成电路)。

适合执行计算机程序的计算机包括例如可以基于通用或专用微处理器或两者或者任何其他类型的中央处理单元。通常，中央处理单元将接收来自只读存储器或者随机存取存储器或者两者的指令和数据。计算机的必要元件是用于执行或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个海量存储设备或者计算机可操作地耦合以接收来自该海量存储设备的数据或者将数据传输至该海量存储设备或者两者，海量存储设备例如是磁盘、磁光盘或者光盘。然而，计算机无需具有这种设备。而且，计算机可以嵌入到另一设备中，例如，仅举数例，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏机、全球定位系统(GPS)接收器或者便携式存储设备，例如通用串行总线(USB)闪存驱动。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括：例如，半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或者可移动盘；磁光盘；和CD ROM盘和DVD-ROM盘。处理器和存储器可以由专用逻辑电路系统补充或者可以并入该专用逻辑电路系统中。

为了提供与用户的交互，可以在计算机上实施本说明书中所描述的主题的实施例，该计算机具有：用于向用户显示信息的显示设备，例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器；以及用户可以通过其向计算机提供输入的键盘和指向设备，例如，鼠标或者轨迹球。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈，例如，视觉反馈、听觉反馈或者触觉反馈；并且可以以包括声学输入、语音输入或者触觉输入的任何形式来接收来自用户的输入。另外，计算机可以通过将文档发送到用户所使用的设备并且接收来自用户所使用的设备的文档来与用户交互，例如，通过响应于从web浏览器接收到的请求而将网页发送到在用户的客户端设备上的web浏览器。

可以将本说明书中所描述的主题的实施例实施在计算系统中，该计算系统包括后端组件，例如作为数据服务器；或者包括中间件组件，例如应用服务器；或者包括前端组件，例如具有用户可以通过其与本说明书中所描述的主题的实施方式交互的图形用户界面或者web浏览器的客户端计算机；或者包括一个或多个这种后端组件、中间件组件或前端组件的任何组合。可以通过任何形式或者介质的数字数据通信来将系统的组件相互连接，该数字数据通信例如是通信网络。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如互联网。

计算系统可以包括客户端和服务器。客户端和服务器通常远离彼此并且通常通过通信网络进行交互。客户端和服务器的关系通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生。在一些实施例中，服务器将例如是HTML页面的数据传输给用户设备，例如为了向与充当客户端的用户设备交互的用户显示数据并且接收来自该用户的用户输入。可以在服务器处从用户设备接收在用户设备处生成的数据，例如用户交互的结果。

虽然本说明书包含了许多具体实施细节，但是不应该将这些细节解释为对任何发明或者可能被要求保护的内容的范围的限制，而是作为针对特定发明的特定实施例的特征的描述。在本说明书中在单独实施例的上下文中描述的某些特征还可以组合地实施在单个实施例中。相反，在单个实施例的上下文中描述的各种特征也可以单独地或者按照任何合适的子组合实施在多个实施例中。而且，尽管上文可以将特征描述为以某些组合起作用并且甚至最初这样要求保护，但是在一些情况下，可以从该组合中去除所要求保护的组合的一个或多个特征。

同样地，虽然在附图中按照特定次序描绘了操作，但是不应该将其理解为需要按照所示的特定次序或者按照顺序次序来执行这种操作，或者执行所有图示的操作以实现期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。而且，不应该将在上述实施例中的各种系统模块和组件的分离理解为在所有实施例中都需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。

已经描述了本主题的特定实施例。其他实施例在以下权利要求的范围内。例如，在权利要求中叙述的动作可以按照不同的次序来执行并且仍然实现期望的结果。作为一个示例，附图中描绘的过程不一定需要所示的特定次序或顺序次序来实现期望的结果。在某些实施方式中，多任务处理和并行处理可能是有利的。

Claims (18)

1.一种用于将输入自然语言的输入文本段翻译为目标自然语言的对应输出文本段的计算机实施的方法，所述方法包括：

接收所述输入语言的输入文本段；

使用编码器神经网络处理所述输入文本段，以生成编码器神经网络输出，所述编码器神经网络包括多个逐深度可分离卷积神经网络层；以及

使用自回归解码器神经网络处理所述编码器神经网络输出以生成解码器神经网络输出，所生成的解码器神经网络输出表示所述目标自然语言的预测输出文本段。

2.根据权利要求1所述的方法，其中，使用编码器神经网络处理所述输入文本段以生成编码器神经网络输出包括：

使用输入嵌入神经网络层来预处理所述输入文本段以生成嵌入的输入文本段，所述输入嵌入神经网络层被配置为接收所述输入语言的输入文本段并且将所接收的输入文本段嵌入到预定的特征深度中；以及

使用所述编码器神经网络处理所述嵌入的输入文本段以生成编码器神经网络输出。

3.根据权利要求1或2所述的方法，其中，每个卷积神经网络层包括(i)修正线性单元非线性组成部分，(ii)逐深度可分离卷积组成部分，以及(iii)神经网络层归一化组成部分。

4.根据权利要求3所述的方法，其中，所述编码器神经网络进一步包括一个或多个残差连接。

5.根据权利要求4所述的方法，其中，所述编码器神经网络包括四个逐深度可分离卷积神经网络层，所述逐四个深度可分离卷积神经网络层在第一逐深度可分离卷积神经网络层的输入与第二和第四逐深度可分离卷积神经网络层的输出之间具有两个跳跃的连接。

6.根据权利要求1至5中任一项所述的方法，其中，所述编码器神经网络包括输入编码器子神经网络和输入-输出混合器子神经网络。

7.根据权利要求6所述的方法，其中，所述输入编码器子神经网络被配置为处理所接收的输入文本段并且生成编码的输入文本段作为输出。

8.根据权利要求7所述的方法，其中，所述输入-输出混合器神经网络被配置为处理(i)所述编码的输入文本段，以及(ii)先前的解码器输出，以生成编码的输入-输出混合器神经网络输出。

9.根据权利要求8所述的方法，其中，所述自回归解码器神经网络被配置为从所述输入编码器子神经网络和所述输入-输出混合器神经网络接收输入。

10.根据权利要求9所述的方法，其中，所述编码器神经网络输出包括拼接的输入编码器子神经网络输出和输入-输出混合器神经网络输出。

11.根据权利要求1至10中任一项所述的方法，其中，所述自回归解码器神经网络包括一个或多个卷积神经网络层。

12.根据权利要求1至11中任一项所述的方法，其中，所述自回归解码器神经网络和所述编码器神经网络包括注意力机制。

13.根据权利要求12所述的方法，其中，所述注意力机制包括内积注意力机制，所述内积注意力机制接收(i)形状为[M,深度]的源张量，以及(ii)形状为[N,深度]的目标张量，作为输入。

14.根据权利要求12所述的方法，其中，所述注意力机制是通过给出的。

15.根据权利要求1至14中任一项所述的方法，其中，所述逐深度可分离卷积神经网络层中的一个或多个包括超可分离卷积神经网络层，其中，超可分离卷积神经网络层是最终卷积运算被分解的逐深度可分离卷积神经网络层。

16.根据权利要求15所述的方法，其中，逐深度可分离卷积神经网络层包括大小为k·c+c²的可分离卷积，其中，k表示感受野大小并且c表示卷积通道的数目，并且其中，超可分离卷积神经网络层包括大小为k·c+c²/g的可分离卷积，其中，g表示被分组的深度维度的数目。

17.一种包括一个或多个计算机以及存储指令的一个或多个存储设备的系统，所述指令在由所述一个或多个计算机执行时能够操作以使所述一个或多个计算机执行根据权利要求1至16中任一项的操作。

18.一种包括存储在其上的指令的计算机可读存储介质，所述指令可由处理设备执行并且在所述执行时使所述处理设备执行根据权利要求1至16中任一项的操作。