CN113392656A - 一种融合推敲网络和字符编码的神经机器翻译方法 - Google Patents

Abstract

本发明提供了一种融合推敲网络和字符编码的神经机器翻译方法，属于数据处理技术领域，采用了预先训练词向量和推敲网络中的预先模型的方法，以Transformer为基础预先训练一个基础的翻译模型，通过拼接的多表征融合的词向量表示，作为一个基础模型架构，在此的基础之上，加入推敲网络结构，对基础模型的解码器部分和编码器部分分别进行相关的注意力计算，获取解码语句的全局信息，为推敲解码部分提供更加丰富的语义信息和全局信息，使得翻译可以更加精准。同时采用了波束搜索的方法，提高了生成词语的更多的可能性，得到更加逼近全局最优的翻译答案。

Description

一种融合推敲网络和字符编码的神经机器翻译方法

技术领域

本发明属于数据处理技术领域，尤其涉及一种融合推敲网络和字符编码的神经机器翻译方法。

背景技术

随着人工智能的领域研究的深入，神经机器翻译领域被各类新模型不断的刷新翻译效果，目前在深度学习的各项任务中，都少不了其结构的身影。从机器翻译被提出到现在的几十年间，所有的机器翻译都无法逃避去思考翻译过程中。对于以深度学习为基础的机器翻译，最早使用的是以词作为网络的基本单位。相比句子而言，单词更加符合本发明的第一感觉，且使用词作为模型建模的基本单位需要的资源更少，模型的可解释更高。然而随着词向量的研究不断的深入，许多问题也渐渐地浮现了出来。社会的发展造成了词表不停地有新词出现，词表过大等问题，齐夫定律表示词出现次数的排名和其出现的次数成反比。而目前的机器翻译模型，从向量空间的角度就是建立一个从源序列到目标序列的完美词映射。但是根据齐夫定律可知，很多的词在文本中出现的次数不高，这严重的拖慢了模型训练的速度。一些罕见的词汇导致翻译的质量降低很多，为了解决上述的问题，研究者们提出了字词的概念，在基于CNN和RNN网络结构中都获得了显著的效果。通过对词进一步的划分，在不影响整个模型的效果的同时，在大多数情况下缓解了罕见词的问题，研究人员发现将字词融入网络，可以缓解齐夫定律带来的不良影响。

随着神经机器翻译的探索不断加深，几乎所有的翻译模型都是以编码器解码器框架为基础的，虽然其结构取得不错的效果，但是所有的翻译都是从左到右一次性的翻译结束。相反人类在翻译的时候往往会先翻译自己会的，然后通读全文再做最后的翻译，这样才能有准确、可信且雅致的翻译。解码过程的单向性，导致其只可以利用已经生成的单词，而缺乏对目标译文表达内容的整体把握。基于这个方面的考虑以及受到人类翻译过程的启发，微软研究院提出了推敲神经网络，旨在模型最终的翻译不仅可以利用源文本而且可以获取初次翻译的草稿信息。

基于上述论证，本发明会对字符级编码进行研究，针对翻译的词向量提出多表征融合，对输入的数据采用多种粒度进行编码。同时会结合推敲神经网络的思想，结合Transformer网络提出新的神经机器翻译模型。

发明内容

针对现有技术中的上述不足，本发明提供的一种融合推敲网络和字符编码的神经机器翻译方法，提高了生成词语的更多的可能性，同时避免的贪心策略中出现的局部最优，导致最后完整的翻译不流畅效果不好的情况，本发明能得到更加逼近全局最优的翻译答案。

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种融合推敲网络和字符编码的神经机器翻译方法，包括以下步骤：

S1、以Transformer模型为基础训练模型架构，并通过拼接多表征融合的词向量表示得到翻译模型；

S2、利用推敲网络，对翻译模型的解码部分和编码部分分别进行相关的注意力计算得到解码语句的全局信息；

S3、根据所述解码语句的全局信号，利用波束搜索方法得到全局最优翻译，完成融合推敲网络和字符编码的神经机器翻译。

进一步地，所述步骤S1包括以下步骤：

S101、以Transformer模型为基础训练模型架构，对输入序列分别进行词级和字符级的编码，并通过拼接方式作为文本的最后特征向量；

S102、训练词向量的编码，并利用文本的最后特征向量对Transformer模型进行训练，得到翻译模型。

再进一步地，所述步骤S101中字符级编码具体为：将输入序列经过卷积和GLU网络进行信息补充。

再进一步地，所述步骤S2中推敲网络包括编码单元、第一解码单元和第二解码单元；

所述编码单元为6层的堆叠层结构，各所述结构层由两个子层堆叠，所述两个子层包括多头自注意力层和位置前馈神经网络层，且多头自注意力层和位置前馈神经网络层均使用了残差网络和层级归一化；

所述第一解码单元为6层的堆叠层结构，每一层包括具有掩码功能的自注意力层、交叉注意力层以及位置前馈神经网络层，且每一层均使用了残差网络和归一化进行了连接；

所述第二解码单元为6层的堆叠层结构，每一层包括具有掩码功能的自注意力层、与编码单元连接的交叉注意力计算层、与第一解码单元连接的交叉注意力计算层以及位置前馈神经网络，且每一层均使用了残差网络和归一化进行了连接。

再进一步地，所述步骤S3中全局最优翻译的表达式如下：

其中，score(y₁,y₂,...,y_t)表示全局最优翻译，y_t表示解码器中输出的序列，y_i表示目标生成的单词序列，x表示词向量，i表示目标单词的个数。

本发明的有益效果：

(1)本发明先采用了预先训练词向量和推敲网络中的预先模型的方法，以Transformer为基础预先训练一个基础的翻译模型，通过拼接的多表征融合的词向量表示，作为一个基础模型架构，在此的基础之上，加入推敲网络结构对基础模型的解码器部分和编码器部分分别进行相关的注意力计算，获取解码语句的全局信息，为推敲解码部分提供更加丰富的语义信息和全局信息，使得翻译可以更加精准。

(2)本发明采用了波束搜索的方法，提高了生成词语的更多的可能性，同时避免的贪心策略中出现的局部最优，导致最后完整的翻译不流畅效果不好的情况，通过波束搜索的方法本发明可以得到更加逼近全局最优的翻译答案。

附图说明

图1为本发明的方法流程图。

图2为本实施例中波束算法实例演示示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

近些年，深度神经网络的科研工作不断深入，作为神经机器翻译基础元件的词向量表征，其蕴含了单词的词义和句子句意信息。因而，针对文本数据精准的词向量表征至关重要，目前大部分自然语言处理模型都是单词级别的嵌入向量，而单词的组成单位字符其蕴含了众多有效信息。有实验证明，在数据集足够的情况下，通过CNN网络可以不需要句子的信息，仅仅依赖字符间组合信息也可以取得不凡的效果。除此之外，字符信息的使用可以有效的处理特别符号与拼写错误等问题。

有鉴于此，本发明提供了一种融合推敲网络和字符编码的神经机器翻译方法，其实现方法如下：

S1、以Transformer模型为基础训练模型架构，并通过拼接多表征融合的词向量表示得到翻译模型，其实现方法如下：

S101、以Transformer模型为基础训练模型架构，对输入序列分别进行词级和字符级的编码，并通过拼接方式作为文本的最后特征向量；

S102、训练词向量的编码，并利用文本的最后特征向量对Transformer模型进行训练，得到翻译模型。

本实施例中，虽然在神经机器翻译中单词级别的向量获得了不俗的效果，但是还是有许多缺陷不可避免。例如无法解决罕见词和训练词汇表中未出现词准确表达，导致一般只运用在翻译一些语料丰富的语言，如英语、德语和法语等语言。有些时候研究者们通过增加词汇量来解决问题，但是训练和解码时候的算法复杂度伴随着使用词汇量表现为线性增长，导致了恶性循环，面对这些存在的问题，本发明先将输入的序列映射到相应的字符嵌入向量，然后使用具有不同窗口大小的卷积内核进行卷积操作，并连接输出。至此，从最开始的输入字符嵌入得到语言综合的片段嵌入。再接下来就是，将所有片段嵌入经过HighwayNetwork层(其功能类似残差网络，通过增加一些门控系统来控制信息流)和双向的GRU，这样最后可以得到编码器输出，最后，解码器再利用注意力机制以及字符级编码的GRU网络进行解码。经过试验结果表明，基于字符编码的网络结构可以有效处理未登录词的问题，并且面对多语言的情况，可以很好的学习到多个语言之间的共通词素。基于卷积神经网络，不需要显式地分段源句子序列，这也是该类编码器具有的很大优势。同时字符模型中不存在单词模型中的分段错误情况。

本实施例中，本发明采用CNN为基础的字符级编码结构，由于单个字符包含的信息不大，没有丰富的语义信息，因而采用将输入的序列经过卷积和GLU网络进行信息的补充，最后拼接词向量再输入Transformer中一起训练。

本实施例中，采用的是向量直接拼接的策略，对词向量w_t和字符级编码向量chr_t进行连接得到词x的最终表示向量x_t，最后将向量x_t输入上下文编码层。采用这种看似十分简单的方法，但是实验结果表明却十分高效，不仅仅在进行神经机器翻译研究时频繁采用这种策略，在其它的自然语言处理任务中，通过将向量拼接也是比较通用的策略：

x_t＝[w_t；chr_t]

本实施例中，将搜集到的所有的预料数据充分的利用，对输入分别进行词级和字符级的编码，再通过拼接的方式作为文本最后的特征向量。这两个通过不同的输入粒度的表征去尽可能的表达完全每一个单词的所蕴含的信息。在面对罕见词和未在训练集词表中出现的未登录词，通过字符级的编码向量可以获得更多的信息，从而达到缓解该类问题带来的影响。词级编码再训练后可以获得更多的语义和句义信息，有助于句子整体的信息的完整性。在训练推敲神经网络前面部分的时候，先训练词向量的编码，待到模型有所收敛后，加入字符级编码进行一起训练。保证了模型的高效性，模型预训练阶段，使用Transformer的模型结构，模型优化部分本发明采用了交叉熵类型的损失函数。

S2、利用推敲网络，对翻译模型的解码部分和编码部分分别进行相关的注意力计算得到解码语句的全局信息；

步骤S2中推敲网络包括编码单元、第一解码单元和第二解码单元；

所述编码单元为6层的堆叠层结构，各所述结构层由两个子层堆叠，所述两个子层包括多头自注意力层和位置前馈神经网络层，且多头自注意力层和位置前馈神经网络层均使用了残差网络和层级归一化；

所述第一解码单元为6层的堆叠层结构，每一层包括具有掩码功能的自注意力层、交叉注意力层以及位置前馈神经网络层，且每一层均使用了残差网络和归一化进行了连接；

所述第二解码单元为6层的堆叠层结构，每一层包括具有掩码功能的自注意力层、与编码单元连接的交叉注意力计算层、与第一解码单元连接的交叉注意力计算层以及位置前馈神经网络，且每一层均使用了残差网络和归一化进行了连接；

S3、根据所述解码语句的全局信号，利用波束搜索方法得到全局最优翻译，完成融合推敲网络和字符编码的神经机器翻译。

本实施例中编码器部分，主要的作用是对输入的源文本序列进行编码，并输出解码器可以使用的隐藏层状态。也就是说，编码器将向量表示形式X＝(x₁,...,x_n)的输入序列映射到连续表征序列Z＝(z₁,...,z_n)。编码器部分使用6个一样的结构层堆叠组成，所有结构层都通过两个子层堆叠，分别为多头自注意力层与位置前馈神经网络层。两个子层一样都使用了残差网络和层级归一经。

本实施例中，第一解码器部分主要的作用对编码器生成的表征序列Z＝(z₁,...,z_n)，进行解码输出需要翻译语言的文本序列Y＝{y₁,...,y_p}，并提供给推敲解码部分获取更多更跟准确的目标译文信息。和编码器部分一样采用6层的堆叠层级结构，每一层有三个添加了残差网络和归一化的子层组成，分别是具有掩码功能的自注意力层和交叉注意力层以及位置前馈神经网络层。

本实施例中，第二解码器部分也可以称为推敲解码部分，主要作用是对上面解码生成的序列Y＝{y₁,...,y_p}和编码器部分产生的序列Z＝(z₁,...,z_n)，进行综合润色生成更加符合要求的目标语言句子。该部分也是将6个一样的结构层堆叠在一起，但是每个层包含了4不同的子层。第一个子层是具有掩码功能的自注意力机制，第二子层是和编码器部分进行交叉注意力计算层，第三子层是和第一解码器部分进行交叉注意力计算层，最后一个子层是位置前馈神经网络。同样的，每一个子层都使用了残差网络和归一化进行了链接。

本实施例中，相关的注意部分的功能各不相同，但是其注意力机制可以简述为将查询Q与匹配的键值对(K-V)映射至结果，当然查询Q、键K、值V和输出具有相同维度的向量。经过查询和匹配键K的相关函数来计算所有V值的权值，再通过权值和V进行加权求和得到输出。

本实施例中的每个步骤中，模型符合自动回归特征，每产生下一个词，都将之前时刻生成的词当作额外输入。由于是推敲神经网络的特殊性，在训练的过程中采用了分步训练的方式，先训练一个初始网络只包括编码器和第一解码部分的机器翻译模型，在模型收敛且翻译的效果尚可的时候，本发明加入推敲解码器部分进行完整的模型结构的训练。

本实施例中，在计算机研究领域，波束搜索(beam search)算法属于启发式搜索中的一类，同时也是一种最佳优先的优化算法，其求解不一定是全局最优解。近年来，伴随深度学习不断地发展和探究的加深，对计算机性能的要求也同样的与日俱增。在机器翻译解码阶段，如果每一次预测生成词都具有很大的备选空间，那么随着预测句子的长度不断地变大，计算机内部储存的空间需求就会增大。显然这在机器翻译中是行不通的，因而，需要一个合适的算法去改进。对机器翻译来说，数据集过于庞大，而且翻译结果大多数不只存在唯一的正确译文，本发明的目标只需要寻找到和最接近正确译文的翻译答案就可以了。

本实施例中，在神经机器翻译中，如下式所示，下式表示当前句子的得分，正如机器翻译的每一步不去考虑其所有可能的翻译，而只保存k个最可能的假设翻译：

为了更加清楚的描述波束搜索算法的过程，下面将通过一个语言模型中的例子来说明模型在解码过程中，算法是如何具体工作的，首先，如图2所示，通过上式计算得到，第一步生成概率最高的2个词，图中的he和I，然后，对于这k个假设中的每一个词，都对其计算概率最高的k个词，并且计算整句的分数。在本例中，计算出对于he的最高概率的2个词为hit和stuck，而对于I的最高概率的2个词为was和got，其得分如为：1.6(was)、1.7(hit)、1.8(got)、2.9(stuck)，所以下一步停止对stuck和got的计算。接下来，就是不停的迭代刚才的步骤，相当于每次计算4个保存2个最高的得分生成词，直到结束就停止算法。然后输出分数最高的那一句，在本例中最后一轮最高分为-4.3，因而，最终输出“he hit me with apie”作为结果。通过上述的介绍，可以知道特殊情况下，当k＝1时，波束搜索就等同于常规的贪心算法。然而，大多数的时候都是采用大于等于2的，因此可以得到更优解。

Claims (5)

1.一种融合推敲网络和字符编码的神经机器翻译方法，其特征在于，包括以下步骤：

S1、以Transformer模型为基础训练模型架构，并通过拼接多表征融合的词向量表示得到翻译模型；

S2、利用推敲网络，对翻译模型的解码部分和编码部分分别进行相关的注意力计算得到解码语句的全局信息；

S3、根据所述解码语句的全局信号，利用波束搜索方法得到全局最优翻译，完成融合推敲网络和字符编码的神经机器翻译。

2.根据权利要求1所述的融合推敲网络和字符编码的神经机器翻译方法，其特征在于，所述步骤S1包括以下步骤：

S101、以Transformer模型为基础训练模型架构，对输入序列分别进行词级和字符级的编码，并通过拼接方式作为文本的最后特征向量；

S102、训练词向量的编码，并利用文本的最后特征向量对Transformer模型进行训练，得到翻译模型。

3.根据权利要求2所述的融合推敲网络和字符编码的神经机器翻译方法，其特征在于，所述步骤S101中字符级编码具体为：将输入序列经过卷积和GLU网络进行信息补充。

4.根据权利要求1所述的融合推敲网络和字符编码的神经机器翻译方法，其特征在于，所述步骤S2中推敲网络包括编码单元、第一解码单元和第二解码单元；

所述编码单元为6层的堆叠层结构，各所述结构层由两个子层堆叠，所述两个子层包括多头自注意力层和位置前馈神经网络层，且多头自注意力层和位置前馈神经网络层均使用了残差网络和层级归一化；

所述第一解码单元为6层的堆叠层结构，每一层包括具有掩码功能的自注意力层、交叉注意力层以及位置前馈神经网络层，且每一层均使用了残差网络和归一化进行了连接；

所述第二解码单元为6层的堆叠层结构，每一层包括具有掩码功能的自注意力层、与编码单元连接的交叉注意力计算层、与第一解码单元连接的交叉注意力计算层以及位置前馈神经网络，且每一层均使用了残差网络和归一化进行了连接。

5.根据权利要求1所述的融合推敲网络和字符编码的神经机器翻译方法，其特征在于，所述步骤S3中全局最优翻译的表达式如下：

其中，score(y₁,y₂,...,y_t)表示全局最优翻译，y_t表示解码器中输出的序列，y_i表示目标生成的单词序列，x表示词向量，i表示目标单词的个数。

Images