CN113392655A - 一种基于多分支网络结构加速翻译模型训练速度的方法 - Google Patents

Abstract

本发明涉及一种基于多分支网络结构加速翻译模型训练速度的方法，步骤为：清洗来自公开数据集的训练数据，去除数据中包含乱码的句子，分别对双语数据进行分词、去重和平行语料的长度比过滤，得到可靠的双语数据；修改开源的翻译模型结构，构建新的多分支翻译模型；使用与翻译模型不同的训练策略对多分支翻译模型进行训练；用户向模型输入源文，多分支翻译模型使用束搜索进行模型推断，生成用户输入源文的译文。本发明更加有效地学习语料知识，在能保证模型性能的条件下，具有更快的训练速度，一定程度上缓解了传统模型训练较慢的缺陷，将多分支网络结构成功地运用在了神经机器翻译中，完备了多分支网络在神经机器翻译中的应用。

Description

一种基于多分支网络结构加速翻译模型训练速度的方法

技术领域

本发明涉及一种神经机器翻译技术领域，具体为一种基于多分支网络结构加速翻译模型训练速度的方法，构建一个全新的翻译模型，在保证翻译性能的前提下提高了翻译模型训练速度。

背景技术

2015年以来神经机器翻译普遍被接受，呈现全面发展状态。早在这之前，机器翻译常用范式仍是统计机器翻译。神经机器翻译的基本建模思想和统计机器翻译相同，均是依赖统计建模和数据驱动，然而神经机器翻译使用人工神经网络结构，通过人工神经元之间的连接建立数学模型，使计算机可以进行分析、学习和推理。神经机器翻译的这种建模方式使其不需要对语言进行特征工程，即不需要人为设计语言特征，由于不同语种、不同语言使用领域语言的特征均不同，在此神经机器翻译节省了很大的人力物力。并且错误的特征工程将导致错误的结果，神经机器翻译通过自动学习到的这些语言特征对问题的描述会更加全面和准确。并且神经机器翻译模型结构统一，不需要依赖比如语言模型模块、词对齐模型模块等等，仅由一个端到端的人工神经网络模型就能完成上述模块工作。然而神经机器翻译需要人工设计网络结构，不同的结构对模型性能有很大的影响。

其中深度神经网络和宽度神经网络都能够提高网络性能，越深的网络越能捕获更高级的句子特征，而越宽的网络可以捕获的特征种类越多。在神经机器翻译中，为了达到更好的效果，模型结构愈加复杂。早期，研究人员主要使用循环神经网络对单词序列进行建模，即通常使用单向浅层循环神经网络学习单词的词嵌入表示。其后为了更有效的利用循环神经网络进行机器翻译建模，更高效的循环神经单元如长短记忆结构、门控循环单元等被提出，同时更复杂的模型结构，如双向循环神经网络(为了同时捕获网络当前时刻前文和后文的信息)、多层循环神经网络(提高模型抽象能力)也被提出。并且注意力机制的引入帮助模型获得更好的效果。谷歌于2016年推出的谷歌神经机器翻译系统，构建了8层双向循环神经网络，且编码器和解码器之间运用了注意力机制进行连接，该模型的翻译效果在当时处于领导地位，为神经机器翻译性能带来了很大提升。然而循环神经网络中每个循环单元均有前向依赖性，模型并行运算困难，效率低，对此，一种全新的完全基于自注意力机制的模型结构——Transformer被提出。该模型最基础的结构是由6层的编码器和6层的解码器堆叠而成，然后随着科研人员的探索，类似的更深的Transformer能够获得更好的性能。纵观来看，模型结构都是向着更加复杂，更能捕获句子特征，更有效的方向发展。

除了更深和更宽，在图像领域，网络结构更是丰富多彩，更多支路、更轻量等的结构在图像领域的卷积神经网络中运用广泛，然而这些结构鲜有在神经机器翻译系统中出现，相较于简单模型，多分支结构能够帮助模型捕获不同维度空间的信息，换句话说，在多分支网络中，模型能够学习更多的语义信息，因此更有可能解码出质量更高的译文。同时，由于多分支网络特别的初始化策略，其能够更快的收敛。

发明内容

针对现有神经机器翻译模型结构中，模型性能越好的模型其结构越深，参数量越大，模型所需训练时间越长，且图像领域中更高效的多分支网络结构鲜有被探索于神经机器翻译中，为了解决以上问题本发明提供一种基于多分支网络结构加速翻译模型训练速度的方法，能够在保证模型性能的条件下，大幅缩短模型训练所需时间。

为解决上述技术问题，本发明采用的技术方案是：

本发明提供一种基于多分支网络结构加速翻译模型训练速度的方法，包括以下步骤：

1)清洗训练数据，去除数据中包含乱码的句子，分别对双语数据进行分词、去重和平行语料的长度比过滤，得到可靠的双语数据；

2)修改开源的翻译模型结构，构建新的多分支翻译模型；

3)使用近端初始化算法对翻译模型进行参数初始化，设置优化器参数、学习率策略并利用步骤一清洗好的数据利用多GPU设备进行翻译模型训练；

4)使用束搜索进行模型推断。

步骤1)主要完成神经机器翻译模型训练所需数据的清洗和预处理工作，具体为：

101)去除数据中包含乱码的句对、去除重复的双语句对；

102)利用现有开源分词工具分别对双语数据进行分词处理；

103)去除双语句子单词数量差异过大的句对；

104)使用双字节编码构建子词词表，并对双语句对进行子词切分。

步骤2)中修改开源的翻译模型结构，构建新的多分支翻译模型，具体为：

201)修改Transformer模型结构中编码器的自注意力子层为多分支子层，同时修改解码器的自注意力层和编解码注意力子层为多分支自注意力子层；

202)设置每个子层中每个分支的输入相同，然后利用不同权重对每个分支的输出进行加权求和，具体计算公式如下：

其中Q、K、V对应源语言或目标语言的表示，在编码器的自注意力子层中，Q、K、V相同，均为源语言每个位置的表示，在解码器的自注意力子层中，Q、K、V也相同，均为目标语言每个位置的表示，在解码器的编解码注意力子层中，Q为目标语言每个位置的表示，K、V为源语言每个位置的表示。W_i表示第i个分支的权重大小，θ_i表示第i个分支的网络结构参数集合，b是偏置值，

表示第i个分支中Q对应的权重参数，

表示第i个分支中K对应的权重参数，

表示第i个分支中V对应的权重参数，d_k表示K对应的维度大小。

步骤3)中，使用近端初始化算法对翻译模型进行参数初始化，设置优化器参数、学习率策略并利用步骤一清洗好的数据利用多GPU设备进行翻译模型训练，具体为：

301)使用一个已经训练好的翻译模型的模型参数初始化多分支网络结构中的参数，包括每个分支的参数，每个分支的参数的初始值相等，均等于已经训练好的网络中的对应子层的参数；

302)设置模型优化器参数β₁＝0.9，β₂＝0.98和∈＝10^-9；

303)选用合适的学习率策略帮助模型进行训练，此处使用学习率预热策略，其计算公式为：

其中d_model表示模型维度大小，step表示更新的次数，warmup_steps表示网络更新前预热的步数，在此warmup_steps＝4000。

304)利用清洗好的数据利用多GPU设备进行翻译模型训练。

步骤4)中，在神经机器翻译系统解码时采用束搜索策略搜索译文序列，翻译模型如下式所示：

其中y表示目标语序列，x表示源语序列，y_j表示第j个目标语单词，y_<j表示前j个目标语片段。

束搜索策略即每次搜索m个最优的y_j，最终得到m句候选句子，从中选取最优的一句最为最终的译文。

本发明具有以下有益效果及优点：

1.本发明所提到的模型结构更加有效地学习语料知识，在能保证模型性能的条件下，具有更快的训练速度，一定程度上缓解了传统模型训练较慢的缺陷；

2.本发明探索了图像领域较为成熟的多分支网络结构，并将其成功地运用在了神经机器翻译中，丰富了多分支网络的应用场景，完备了多分支网络在神经机器翻译中的应用。

附图说明

图1为本发明中多分支网络结构图；

图2为本发明中数据清洗步骤流程图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

本发明提出一种基于多分支网络结构加速翻译模型训练速度的方法。该方法保证模型性能不变，通过修改模型结构、利用预训练好的模型参数初始化模型结构，使用学习率预热、束搜索等策略完成模型训练。

本发明方法包括以下步骤：

1)清洗来自公开数据集的训练数据，去除数据中包含乱码的句子，分别对双语数据进行分词、去重和平行语料的长度比过滤，得到可靠的双语数据，具体清洗流程如图2所示；

2)修改开源的翻译模型结构，构建新的多分支翻译模型，多分支结构如图1所示；

3)使用与翻译模型不同的训练策略对多分支翻译模型进行训练；

4)用户向模型输入源文，多分支翻译模型使用束搜索进行模型推断，生成用户输入源文的译文。

步骤1)主要完成神经机器翻译模型训练所需数据的清洗和预处理工作，具体为：

101)去除数据中包含乱码的句对、去除重复的双语句对；

102)利用现有开源分词工具分别对双语数据进行分词处理；

103)去除双语句子单词数量差异过大的句对；

104)使用双字节编码构建子词词表，并对双语句对进行子词切分。

步骤2)中修改开源的翻译模型结构，构建新的多分支翻译模型，具体为：

201)修改开源的翻译模型结构中编码器的自注意力子层为多分支子层，同时修改解码器的自注意力层和编解码注意力子层为多分支自注意力子层；

202)设置每个多分支自注意力子层中每个分支的输入矩阵为相同矩阵，然后利用不同权重对每个分支的输出进行加权求和，具体计算公式如下：

其中Q、K、V对应源语言或目标语言的表示，在编码器的自注意力子层中，Q、K、V相同，均为源语言每个位置的表示，在解码器的自注意力子层中，Q、K、V也相同，均为目标语言每个位置的表示，在解码器的编解码注意力子层中，Q为目标语言每个位置的表示，K、V为源语言每个位置的表示。W_i表示第i个分支的权重大小，θ_i表示第i个分支的网络结构参数集合，b是偏置值，

表示第i个分支中Q对应的权重参数，

表示第i个分支中K对应的权重参数，

表示第i个分支中V对应的权重参数，d_k表示K对应的维度大小。

步骤3)中，使用近端初始化算法对翻译模型进行参数初始化，设置优化器参数、学习率策略并利用步骤一清洗好的数据利用多GPU设备进行翻译模型训练，具体为：

301)使用一个已经训练好的翻译模型的模型参数初始化多分支网络结构中的参数，包括每个分支的参数，每个分支的参数的初始值相等，均等于已经训练好的网络中的对应子层的参数；

302)设置模型优化器参数β₁＝0.9，β₂＝0.98和∈＝10^-9；

303)选用合适的学习率策略帮助模型进行训练，此处使用学习率预热策略，其计算公式为：

其中d_model表示模型维度大小，step表示更新的次数，warmup_steps表示网络更新前预热的步数，在此warmup_steps＝4000。

304)利用清洗好的数据利用多GPU设备进行翻译模型训练。

步骤4)中，在神经机器翻译系统解码时采用束搜索策略搜索译文序列，翻译模型如下式所示：

其中y表示目标语序列，x表示源语序列，y_j表示第j个目标语单词，y_<j表示前j个目标语片段。

束搜索策略即每次搜索m个最优的y_j，最终得到m句候选句子，从中选取最优的一句最为最终的译文。

为验证方法的有效性，本实施例将基于多分支网络结构加速翻译模型训练速度的方法在机器翻译任务上进行实验。具体来说在WMT2014英德任务上进行实验，该实验大概包含一千万条双语句对，实验基线使用标准的包含六层堆叠编码器和六层堆叠解码器的Transformer模型。实验结果如下表所示：

Claims (4)

1.一种基于多分支网络结构加速翻译模型训练速度的方法，其特征在于包括以下步骤：

1)清洗来自公开数据集的训练数据，去除数据中包含乱码的句子，分别对双语数据进行分词、去重和平行语料的长度比过滤，得到可靠的双语数据；

2)修改开源的翻译模型结构，构建新的多分支翻译模型；

3)使用与翻译模型不同的训练策略对多分支翻译模型进行训练；

4)用户向模型输入源文，多分支翻译模型使用束搜索进行模型推断，生成用户输入源文的译文。

2.按权利要求1所述的基于多分支网络结构加速翻译模型训练速度的方法，其特征在于：步骤2)中修改开源的翻译模型结构，构建新的多分支翻译模型，具体为：

201)修改开源的翻译模型结构中编码器的自注意力子层为多分支子层，同时修改解码器的自注意力层和编解码注意力子层为多分支自注意力子层；

202)设置每个多分支自注意力子层中每个分支的输入矩阵为相同矩阵，然后利用不同权重对每个分支的输出进行加权求和，具体计算公式如下：

其中，mAttention(Q,K,V)为多分支注意力公式，atten_i(Q,K,V；θ_i)为第i个分支的注意力计算公式，Attention(Q,K,V)为点乘注意力公式，Q、K、V为源语言/目标语言的表示，W_i表示第i个分支的权重，θ_i表示第i个分支的网络结构参数集合，b是偏置值，

表示第i个分支中Q对应的权重参数，

表示第i个分支中K对应的权重参数，

表示第i个分支中V对应的权重参数，d_k表示K对应的维度大小。

3.按权利要求1所述的基于多分支网络结构加速翻译模型训练速度的方法，其特征在于：步骤3)中，使用与翻译模型不同的训练策略对多分支翻译模型进行训练，具体为：

301)使用一个已经训练好的翻译模型的模型参数初始化多分支网络结构中的参数，包括每个分支的参数，每个分支的参数的初始值相等，均等于已经训练好的网络中的对应子层的参数；

302)设置模型优化器参数β₁、β₂和∈；

303)选用合适的学习率策略帮助多分支模型进行训练；

304)利用清洗好的数据通过多GPU设备进行翻译模型训练。

4.按权利要求1所述的基于多分支网络结构加速翻译模型训练速度的方法，其特征在于：步骤4)中，束搜索策略用于搜索译文序列。

Images