CN107632981B - 一种引入源语组块信息编码的神经机器翻译方法 - Google Patents

Abstract

本发明涉及一种引入源语组块信息编码的神经机器翻译方法，输入双语句子级平行数据，分别对源语和目标语分词，得到分词后的双语平行句对；对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，对输入的源语句按块进行切分；根据源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息；将时序编码信息与块编码信息联合起来，获得最终的源语句记忆信息；解码器网络通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测。本发明自动对源语句进行块切分，不需要任何事先分块好的句子参与训练；能够捕捉到对源语句最新和最佳的分块方式。

Description

一种引入源语组块信息编码的神经机器翻译方法

技术领域

本发明涉及机器翻译领域，具体为一种引入源语组块信息编码的神经机器翻译方法。

背景技术

神经机器翻译技术通常采用基于神经网络的编码器-解码器框架来对整个翻译过程进行端到端的建模，采用这种方法在许多不同语种的互译中已经实现了最佳翻译性能。其中，编码器网络负责把输入的源语句编码成带有记忆信息的固定维度的向量，而解码器将通过编码器得到的编码向量生成对应的翻译结果。对于编码器，通常把输入的源语句看作是分词后按顺序出现的单词序列。当编码器读入源语句时，就可以针对源语句构建相应的记忆信息，在编码过程中，源语句单词序列中的每个单词都会生成对应的记忆单元。一个编码器编码的示例如下：

源语句：她有许多漂亮的衣服

单词序列：她有许多漂亮的衣服

记忆单元：h1 h2 h3 h4 h5

其中，输入编码器的源语句是“她有许多漂亮的衣服”，源语句分词所对应的单词序列是{“她”、“有”、“许多”、“漂亮的”、“衣服”}，经过编码器编码后上述单词序列中的每个单词对应的记忆单元分别是h1、h2、h3、h4、h5，则源语句的记忆信息为H＝{h1,...,h5}。

在传统神经机器翻译系统的编码过程中，通常按时序对源语句的每个单词进行编码，而最终得到的源语句的记忆信息缺少了结构化的依赖表示(树、块)。上述示例中“漂亮的”和“衣服”之间存在着明显的依赖关系，单纯的按时序对源语句中的每个单词进行编码并不能完整的表达源语句所包含的信息。而采用一些已有的外部工具，通过句法分析等方法可以获得这部分信息。但由于这些外部工具本身并不完善，这样做又有可能引进新的错误，而这些错误将会影响后续工作。

另外，目前采用一些外部工具，通过句法分析等方法来获得源语句的分块信息。但由于这些外部工具本身并不完善，在获得分块信息时有可能引入新的错误，而这些错误会在后续工作中继续蔓延，产生错误累积。

发明内容

针对现有技术中神经机器翻译技术中对源语句按单词顺序进行编码的方式未能考虑源语句的结构化信息表示(树、块)，导致所产生的错误向后续工作进行传播，从而对翻译性能产生影响等不足，本发明要解决的技术问题是提供一种能够自动对源语句进行块切分的引入源语组块信息编码的神经机器翻译方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种引入源语组块信息编码的神经机器翻译方法，包括以下步骤：

1)输入双语句子级平行数据，分别对源语和目标语分词，得到分词后的双语平行句对；

2)用神经机器翻译系统对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，即每个时序下的编码信息；

3)在进行编码的过程中，对输入的源语句按块进行切分；

4)根据步骤2)、3)得到的源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息；

5)将步骤2)和4)产生的时序的编码信息与块编码信息联合起来，获得最终的源语句记忆信息；

6)得到最终的源语句记忆信息后，解码器网络通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测。

步骤2)中，用神经机器翻译系统对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，具体如下：

H是源语句的记忆信息，通过双向循环神经网络得到，H＝(h₁,...,h_Ls)，其中

由两个记忆单元拼接而成，为第i个单词记忆单元，即编码信息，Ls为源语句的单词个数，

为正向标注向量，

为反向标注向量；

其中

和

为两个独立的门循环单元，

为源语句单词序列中第i个单词的词向量。

步骤3)中在进行编码的过程中，对输入的源语句按块进行切分，具体为：

在神经机器翻译的编码端的最上面构建识别层，识别层的输出代表标记的概率，针对源语句的每个时序，看成带有两个标记的序列标注问题；

定义两个标记B、M，其中B为切分的开始位置，M为切分块的中间部分；首先使用一个单层前馈神经网络，将每一个位置的编码信息进行非线性变换，得到一个新的隐藏状态向量，即自动抽取出的特征表示：

f(h_i)＝tanh(W₁*h_i+b₁)

其中h_i是当前位置i的编码表示，W₁,b₁是模型参数，W₁是形状为(h，l)的实数矩阵，b₁是维度为l的实数向量，h是原编码表示维度的大小，l是标签特征维度的大小。

然后对该特征进行logistic regression操作，得到一个取值范围为(0,1)之间的标量，表示当前位置被标注为B的概率：

P(B|h_i)＝sigmoid(W₂*f(h_i)+b₂)

其中W₂是形状为(l，1)的实数矩阵，b₂是维度为1的实数向量；

根据之前得到的每个位置被标记为B的概率值P(B|h_i)，即可得到相应位置被标记为M的概率，即

P(M|h_i)＝1-P(B|h_i)

然后采用贪心策略，选择最优的标记序列，即遵从：

L(i)表示位置i被标记的标签类别。

步骤4)中根据步骤2)、3)得到的源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息，具体为：

假设所有可能的分块为

X为输入的源语句，

i和j分别为块的起始和结束位置，Ls代表源语句单词的数目；

取一个子集

来表示源语句的分块集合，其中|S(X)|＝m表示源语句中存在m个分块，源语句的块编码为S＝(s₁,...,s_m)，其中s_i代表的是第i(1≤i≤m)个块的编码信息；

通过RNN-MINUS方法对块进行编码，假设对分块进行编码之前的记忆信息是I_s，经过分块之后的编码的记忆信息是I_e，将这个分块所代表的信息表示成I_e-I_s；

给定双向循环神经网络编码

采用RNN-MINUS方法对块

进行编码，得到：

将步骤2)和4)产生的时序的编码信息与块编码信息联合起来，得到最后的源语句的记忆信息H^*：

H^*＝[H；S]

＝[(h₁,...,h_Ls)；(s₁,...,s_m)]

其中H^*由两部分组成，分别为H和S，其中H由每个单词所对应的记忆单元构成，为每个单词时序上编码记忆信息；S代为每个分块上的编码记忆信息。

步骤6)中，得到源语句的记忆信息H^*后，解码器网络与传统方法一样，通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测，包括以下过程：

601)得到解码时刻的隐藏状态t_i:

是当前时刻输入的目标语词的词向量，t表示隐藏状态，i为当前解码时刻；

602)动态计算当前时刻的上下文向量c_i：

e_i，j＝t_i*W*[h_i；s_i]

其中W是形状为(h，2h)的实数矩阵，e_i，j表示当前解码时刻i的状态与编码时刻j的状态之间的势能大小，a_i，j表示解码时刻i的状态与编码时刻j的状态之间的对齐概率；

603)生成特征向量g(i)：

g(i)＝W_b*(tanh(W_a*t_i+U_a*c_i+b_a))+b_b

其中，W_a是形状为(h，h)的实数矩阵，U_a是形状为(h，h)的实数矩阵，b_a是维度为1的实数向量，W_b是形状为(h，v_t)的实数矩阵，b_b是维度为v_t的实数向量，v_t是目标语词汇表大小；

604)词汇预测P(w_k|i)：

O＝W_b*g(i)+b

其中，w_k表示第k个目标语词，w_b是形状为(h，v_t)的实数矩阵，b_b是维度为v_t的实数向量，v_t是目标语词汇表大小，因此O是一个维度为v_t的实数向量，O_k表示第k维的实数值。

本发明具有以下有益效果及优点：

1.本发明方法在机器翻译模型中又联合了一个切分模型，能够自动对源语句进行块切分，该切分模型通过端到端的方式训练得到，不需要任何事先分块好的句子参与训练；这个模型在翻译模型的训练过程中能够捕捉到对源语句最新和最佳的分块方式。

2.本发明通过采用源语块编码的神经机器翻译方法不需要在传统的方法上做太大的改变，实验结果显示，在中英翻译任务上，相比较于基线系统，采用源语组块编码的神经机器翻译方法在不同测试集上平均能提升2.1个blue值。

附图说明

图1为本发明方法涉及的生成第i个单词的词向量示意图；

图2为本发明方法涉及的语句的块切分示意图；

图3为本发明方法涉及的块编码示意图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

本发明一种引入源语组块信息编码的神经机器翻译方法，包括以下步骤：

1)输入双语句子级平行数据，分别对源语和目标语分词，得到分词后的双语平行句对；

2)用神经机器翻译系统对分词后的双语平行句对的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，即每个时序下的编码信息；

3)在进行编码的过程中，对输入的源语句按块进行切分；

4)根据步骤2)、3)得到的源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息；

5)将步骤2)和4)产生的时序的编码信息与块编码信息联合起来，获得最终的源语句记忆信息；

6)得到最终的源语句记忆信息后，解码器网络与传统方法一样，通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测。

步骤1)中，输入的是双语互译的句对集合，每个句对由源语和目标语组成。在本发明中，采用的编码方法只针对源语句。

步骤2)中，用神经机器翻译系统对分词后的源语句按时序进行编码，获得最后一层隐藏层下每个时序的输出，即每个时序下的编码信息。

H＝(h₁,...,h_Ls)，H是源语句的记忆信息，H是通过双向RNN得到的，双向RNN由一个正向RNN和一个反向RNN组成。其中

是由两个记忆单元拼接而成的，代表的是第i个单词记忆单元，即编码信息，Ls代表源语句的单词个数，

代表的是正向标注向量，

是方向标注向量。

其中

和

是两个GRUs(Gated Recurrent Unit，独立的门循环单元)，

表示的是源语句单词序列中第i个单词的词向量，如图1所示。

步骤3)中，在学习机器翻译模型的同时，又得到了一个针对源语句进行块切分的模型。通过这个切分模型，可以获得对当前源语句最新和最优的切分方式。

在这个切分模型中，本发明定义了两个标记：B、M。B代表切分的开始位置，M代表切分块的中间部分。首先使用一个单层前馈神经网络，将每一个位置的编码信息进行非线性变换(激活函数使用双曲正切函数)，得到一个新的隐藏状态向量，即自动抽取出的特征表示：

f(h_i)＝tanh(W₁*h_i+b₁)

其中h_i是当前位置i的编码表示，W₁,b₁是模型参数，W₁是形状为(h，l)的实数矩阵，b₁是维度为l的实数向量，h是原编码表示维度的大小，l是标签特征维度的大小。

然后对该特征进行logistic regression操作，得到一个取值范围为(0,1)之间的标量，表示当前位置被标注为B的概率：

P(B|h_i)＝sigmoid(W₂*f(h_i)+b₂)

其中W₂是形状为(l，1)的实数矩阵，b₂是维度为1的实数向量。

根据之前得到的每个位置被标记为B的概率值P(B|h_i)，即可得到相应位置被标记为M的概率，即

P(M|h_i)＝1-P(B|h_i)

然后采用贪心策略，选择最优的标记序列，即遵从：

L(i)表示位置i被标记的标签类别。

为了得到这个切分模型，本发明在神经机器翻译的编码端的最上面构建了一个识别层，识别层的输出代表的是标记的概率。因此针对源语句的每个时序，可以把它看成是带有两个标记的序列标注问题。如图2所示，示例如下：

源语句：她有许多漂亮的衣服

单词序列：她 有 许多 漂亮的 衣服

标记：B B B B M

块切分：[她][有][许多][漂亮的衣服]

步骤4)中，假设已经得到源语句中每个时序的编码信息H＝(h₁,...,h_Ls)，Ls是源语句单词的个数，其中

是由两个记忆单元拼接而成的，

代表的是正向标注向量，

是方向标注向量。如何根据已知的编码信息来得到块的编码信息呢？假设所有可能的分块为

1≤i≤j≤Ls，X代表输入的源语句，

i和j分别表示块的起始和结束位置，Ls代表源语句单词的数目。这里取一个子集

来表示源语句的分块集合，其中|S(X)|＝m，表示源语句中存在m个分块，则源语句的块编码为S＝(s₁,...,s_m)，其中s_i代表的是第i(1≤i≤m)个块的编码信息。本发明提出一种叫做RNN-MINUS的方法来对块进行编码。RNN-MINUS的思想很简单：假设对分块进行编码之前的记忆信息是I_s，而经过分块之后的编码的记忆信息是I_e，因此把这个分块所代表的信息表示成I_e-I_s。给定双向RNN编码

采用RNN-MINUS方法对块

进行编码，得到：

假设源语句的分块为：{[她],[有],[许多],[漂亮的衣服]}。源语句对应的记忆信息如图3所示，其中<s>和</s>表示的是句子的开始和结束标记。以[漂亮的衣服]这个分块为例，它所对应的块编码为

步骤5)中，可以得到最后的源语句的记忆信息H*：

H^*＝[H；S]

＝[(h₁,...,h_Ls)；(s₁,...,s_m)]

其中H^*由两部分组成，分别是H和S。H是由每个单词所对应的记忆单元构成，代表的是每个单词时序上编码记忆信息；而S代表的是每个分块上的编码记忆信息。

步骤6)中，得到源语句的记忆信息H^*后，解码器网络与传统方法一样，通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测，包括以下过程：

601)得到解码时刻的隐藏状态t_i:

是当前时刻输入的目标语词的词向量，t表示隐藏状态，i为当前解码时刻；

602)动态计算当前时刻的上下文向量c_i：

e_i，j＝t_i*W*[h_i；s_i]

其中W是形状为(h，2h)的实数矩阵，e_i，j表示当前解码时刻i的状态与编码时刻j的状态之间的势能大小，a_i，j表示解码时刻i的状态与编码时刻j的状态之间的对齐概率；

603)生成特征向量g(i):

g(i)＝W_b*(tanh(W_a*t_i+U_a*c_i+b_a))+b_b

其中，W_a是形状为(h，h)的实数矩阵，U_a是形状为(h，h)的实数矩阵，b_a是维度为1的实数向量，W_b是形状为(h，v_t)的实数矩阵，b_b是维度为v_t的实数向量，v_t是目标语词汇表大小；

604)词汇预测P(w_k|i)：

O＝W_b*g(i)+b

其中，w_k表示第k个目标语词，W_b是形状为(h，v_t)的实数矩阵，b_b是维度为v_t的实数向量，v_t是目标语词汇表大小，因此O是一个维度为v_t的实数向量，O_k表示第k维的实数值。

本发明提出了一种引入源语组块信息编码的神经机器翻译方法，第一，考虑到传统机器翻译编码过程中缺少结构化的依赖表示，在原有的记忆单元中加入了组块编码信息。组块是源语句的子序列，它由源语句单词序列中连续的单词组成。组块编码示例如下：

源语句：她有许多漂亮的衣服

单词序列：她 有 许多 漂亮的 衣服

分块：[她] [有] [许多] [漂亮的衣服]

块编码：s1 s2 s3 s4

其中，输入编码器的源语句是“她有许多漂亮的衣服”，得到的分块序列是{[她],[有],[许多],[漂亮的衣服]}，它对应的块编码信息是S＝{s1,s2,s3,s4}，则该源语句最终的记忆信息H*＝[H；S]＝[(h1,...,h5)；(s1,...,s4)]。

第二，目前采用一些外部工具，通过句法分析等方法来获得源语句的分块信息。但由于这些外部工具本身并不完善，在获得分块信息时有可能引入新的错误，而这些错误会在后续工作中继续蔓延，产生错误累积。因此，本发明在机器翻译模型中又联合了一个切分模型，这个切分模型是通过端到端的方式训练得到的，不需要任何事先分块好的句子参与训练。这个模型在翻译模型的训练过程中能够捕捉到对源语句最新和最佳的分块方式。

此外，采用源语块编码的神经机器翻译方法不需要在传统的方法上做太大的改变。实验结果显示，在中英翻译任务上，相比较于基线系统，采用源语组块编码的神经机器翻译方法在不同测试集上平均能提升2.1个blue值。

Claims (5)

1.一种引入源语组块信息编码的神经机器翻译方法，其特征在于包括以下步骤：

1)输入双语句子级平行数据，分别对源语和目标语分词，得到分词后的双语平行句对；

2)用神经机器翻译系统对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，即每个时序下的编码信息；

3)在神经机器翻译的编码端的最上面构建一个识别层，对输入的源语句按块进行切分；

4)根据步骤2)、3)得到的源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息；

5)将步骤2)和4)产生的时序的编码信息与块编码信息联合起来，获得最终的源语句记忆信息；

6)得到最终的源语句记忆信息后，解码器网络通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测；

步骤4)中根据步骤2)、3)得到的源语句的每个时序状态以及源语句的切分信息，获得源语句的块编码信息，具体为：

假设所有可能的分块为

X为输入的源语句，

i和j分别为块的起始和结束位置，Ls代表源语句单词的数目；

取一个子集

来表示源语句的分块集合，其中|S(X)|＝m表示源语句中存在m个分块，源语句的块编码为S＝(s₁，...，s_m)，其中s_i代表的是第i(1≤i≤m)个块的编码信息；

通过RNN-MINUS方法对块进行编码，即：假设对分块进行编码之前的记忆信息是I_s，经过分块之后的编码的记忆信息是I_e，将这个分块所代表的信息表示成I_e-I_s；

给定双向循环神经网络编码

采用RNN-MINUS方法对块

进行编码，得到：

2.根据权利要求1所述的引入源语组块信息编码的神经机器翻译方法，其特征在于步骤2)中，用神经机器翻译系统对分词后的双语平行句对中的源语句子按时序进行编码，获取最后一层隐藏层上每个时序的状态，具体如下：

H是源语句的记忆信息，通过双向循环神经网络得到，H＝(h₁，...，h_Ls)，其中

由两个记忆单元拼接而成，为第i个单词记忆单元，即编码信息，Ls为源语句的单词个数，

为正向标注向量，

为反向标注向量；

其中

和

为两个独立的门循环单元，

为源语句单词序列中第i个单词的词向量。

3.根据权利要求1所述的引入源语组块信息编码的神经机器翻译方法，其特征在于步骤3)中在进行编码的过程中，对输入的源语句按块进行切分，具体为：

在神经机器翻译的编码端的最上面构建识别层，识别层的输出代表标记的概率，针对源语句的每个时序，看成带有两个标记的序列标注问题；

定义两个标记B、M，其中B为切分的开始位置，M为切分块的中间部分；首先使用一个单层前馈神经网络，将每一个位置的编码信息进行非线性变换，得到一个新的隐藏状态向量，即自动抽取出的特征表示：f(h_i)＝tanh(W₁*h_i+b₁)

其中h_i是当前位置i的编码表示，W₁，b₁是模型参数，W₁是形状为(h，l)的实数矩阵，b₁是维度为l的实数向量，h是原编码表示维度的大小，l是标签特征维度的大小；

然后对该特征进行logistic regression操作，得到一个取值范围为(0，1)之间的标量，表示当前位置被标注为B的概率：

P(B|h_i)＝sigmoid(W₂*f(h_i)+b₂)

其中W₂是形状为(l，1)的实数矩阵，b₂是维度为1的实数向量；

根据之前得到的每个位置被标记为B的概率值P(B|h_i)，即可得到相应位置被标记为M的概率，即

P(M|h_i)＝1-P(B|h_i)

然后采用贪心策略，选择最优的标记序列，即遵从：

L(i)表示位置i被标记的标签类别。

4.根据权利要求1所述的引入源语组块信息编码的神经机器翻译方法，其特征在于将步骤2)和4)产生的时序的编码信息与块编码信息联合起来，得到最后的源语句的记忆信息H^*：

H^*＝[H；S]

＝[(h₁，...，h_Ls)；(s₁，...，s_m)]

其中H^*由两部分组成，分别为H和S，其中H由每个单词所对应的记忆单元构成，为每个单词时序上编码记忆信息；S代为每个分块上的编码记忆信息。

5.根据权利要求1所述的引入源语组块信息编码的神经机器翻译方法，其特征在于步骤6)中，得到源语句的记忆信息H^*后，解码器网络通过动态地查询源语句的记忆信息，利用注意力机制产生每一个时刻的上下文向量，并抽取特征向量，进行词汇预测，包括以下过程：

601)得到解码时刻的隐藏状态t_i：

是当前时刻输入的目标语词的词向量，t表示隐藏状态，i为当前解码时刻；

602)动态计算当前时刻的上下文向量c_i：

e_i，j＝t_i*W*[h_i；s_i]

其中W是形状为(h，2h)的实数矩阵，e_i，j表示当前解码时刻i的状态与编码时刻j的状态之间的势能大小，a_i，j表示解码时刻i的状态与编码时刻j的状态之间的对齐概率；

603)生成特征向量g(i)：

g(i)＝W_b*(tanh(W_a*t_i+U_a*c_i+b_a))+b_b

其中，W_a是形状为(h，h)的实数矩阵，U_a是形状为(h，h)的实数矩阵，b_a是维度为1的实数向量，W_b是形状为(h，v_t)的实数矩阵，b_b是维度为v_t的实数向量，v_t是目标语词汇表大小；

604)词汇预测P(w_k|i)：

O＝W_b*g(i)+b

其中，w_k表示第k个目标语词，W_b是形状为(h，v_t)的实数矩阵，v_t是目标语词汇表大小，因此O是一个维度为v_t的实数向量，O_k表示第k维的实数值。

Images