CN113505614A - 一种面向小型cpu设备的小模型训练方法 - Google Patents

Abstract

本发明公开一种面向小型CPU设备的小模型训练方法，步骤为：构建训练平行语料及基于注意力机制的神经机器翻译的标准基线模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的标准基线模型；训练适用于小型CPU设备的小模型作为对比的小模型基线；通过知识精炼方法利用标准基线模型构造双语伪数据；读取小模型基线参数作为改进训练方法后模型的初始化参数，同时使用标准基线模型构造的双语伪数据将标准基线模型中知识迁移到小模型中。本发明能够在多个机器翻译任务数据集上显著加速模型CPU解码速度，并保证模型的性能没有明显下降，降低神经机器翻译系统翻译解码过程中的冗余计算，节省计算资源和存储资源。

Description

一种面向小型CPU设备的小模型训练方法

技术领域

本发明涉及一种神经机器翻译模型训练技术，具体为面向小型CPU设备的小模型训练方法。

背景技术

小型智能移动设备成为人们不可缺少的知识获取来源，CPU为小型智能移动设备中主要用来计算的元件。由于人们对各种类型应用的需求，各类APP软件频繁被小型智能移动设备用户下载并存储，导致小型智能移动设备出现卡顿的问题。单纯增大小型智能移动设备容量会导致硬件成本过高，增加用户经济负担，因此如何训练一个翻译性能良好的小模型是一个非常重要的问题。本文中小模型是指相比于标准的基线模型参数量更少的模型。

机器翻译在现阶段有着广泛的应用需求，智能翻译软件也被广泛应用于移动设备中。端到端的神经机器翻译通过神经网络模型直接实现从源语言到目标语言的翻译，所采用的主要框架是编码器-解码器(Encoder-Decoder)框架。编码器-解码器框架将翻译任务看作序列到序列的转换，即将翻译过程看作从源语言序列转换成目标语言序列的过程。该过程主要包括两个步骤：(1)源语言端，编码器将源语言序列编码成源语言上下文向量；(2)目标语言端，解码器根据编码器提供的源语言上下文向量生成目标语言序列。

谷歌在2017年提出了完全基于注意力机制的模型结构，这种网络结构完全由注意力机制组成，更准确地讲，它仅由注意力机制和前馈神经网络组成。基于注意力机制的模型仍是基于编码器-解码器框架，通过堆叠多个相同的栈，分别组成了编码器和解码器，编码器和解码器的子层结构略有不同，在机器翻译任务的多个数据集上翻译性能得到显著提高，并达到了当时的最好性能，而且具备更快的训练速度。在生成一个目标语单词时，基于注意力机制的神经网络会基于得到的不同的注意力对不同源语位置向量进行加权求和，得到不同的上下文向量。注意力机制的引入使得不同源语言位置对目标语单词生成的贡献度不同，神经网络中信息流的传递变得更为高效，有助于神经网络模型的学习。

虽然当前这种模型已经取得了不错的性能，但仍存在着一个问题：当前的神经网络模型规模过于庞大，虽然模型性能不断增强，但在存储和计算资源受限的小型智能移动设备(如：手机、平板电脑等移动设备)部署此类模型却面临着巨大的挑战。由于此类设备的资源受限又要求实时的响应速度，因此如何训练一个模型性能良好的小模型，满足用户的翻译需求，是一个非常重要的问题。

发明内容

针对现有技术中机器翻译的计算过于复杂而不能部署在存储资源和计算资源受限的小设备上的问题，本发明要解决的技术问题是提供一种面向小型CPU设备的小模型训练方法，通过知识精炼方法利用标准的基线构造双语伪数据，并读取小模型基线参数作为改进训练方法后模型的初始化参数，减小模型规模，到达解码加速的目的并保证模型性能。

本发明提供一种面向小型CPU设备的小模型训练方法，包括以下步骤：

1)构建训练平行语料及基于注意力机制的神经机器翻译的标准基线模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的标准基线模型；

2)训练适用于小型CPU设备的小模型作为对比的小模型基线；

3)通过知识精炼方法利用标准基线模型构造双语伪数据；

4)读取小模型基线参数作为改进训练方法后模型的初始化参数，同时使用标准基线模型构造的双语伪数据将标准基线模型中知识迁移到小模型中。

步骤1)中，构建训练平行语料及基于注意力机制的神经机器翻译的模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的标准基线模型；基于注意力机制的神经机器翻译模型包括编码端和解码端，由前馈神经网络模块和注意力模块组成；

前馈神经网络模块计算公式为：

FFN(x)＝max(0,xW₁+b₁)W₂+b₂

其中，FFN(x)为前馈神经网络模块，x为输入，max为取最大函数，W₁和W₂为两个线性变换矩阵，b₁和b₂为两个线性变换的偏置矩阵；

使用注意力机制的计算方式为：

MultiHead(Q，K,V)＝concat(head₁,head₂,...,head_h)W^°

其中concat为级联操作，MultiHead(Q,K,V)为多头注意力机制，head₁,head₂,...,head_h代表模型中的h个头，其中每个头的注意力计算公式为：

其中SoftMax(·)为归一化函数，Q、K和V分别为参与计算的不同的线性变换矩阵，d_k为K矩阵每个头的维度大小。

步骤2)中，训练适用于小型CPU设备的小模型作为对比的小模型基线，具体为：

和标准基线模型相比，小模型结构不变，将解码器6层堆叠变为1层。

步骤3)中，通过知识精炼方法利用标准基线模型构造双语伪数据，具体为：

用标准基线模型翻译训练数据集得到其所构造的双语伪数据，此双语伪数据中包含标准基线模型知识，作为知识精炼的一种手段。

步骤4)中，读取小模型基线参数作为改进训练方法后模型的初始化参数，具体为：

取出小模型基线参数，并将其作为改进训练方法后模型的初始化参数，此参数包含模型知识，作为一种良好的模型初始化状态以及双语伪数据的一种补充手段。

本发明具有以下有益效果及优点：

1.本发明应用于小型智能移动设备中，通过改进基于机器翻译模型训练方法，使神经机器翻译的解码过程在CPU上得到加速与模型压缩效果，同时保证解码性能。

2.本发明能够有效地降低神经机器翻译系统翻译解码过程中的冗余计算，节省计算资源和存储资源。

2.本发明能够在多个机器翻译任务数据集上显著加速模型解码速度，同时压缩模型大小，并保证模型的性能没有明显下降。

附图说明

图1为本发明方法流程图；

图2为神经机器翻译编码解码注意力机制示意图；

图3为多头注意力机制示意图；

图4为本发明方法的翻译效果图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

本发明追求更有效的训练方法，减小模型规模是当前机器翻译模型加速常用的一种手段，但现有技术中直接训练一个小模型性能往往达不到要求。本发明通过改进模型训练方法，可以在减小模型规模的同时不损失模型性能，从而达到加速模型的解码过程的目的。

如图1所示，本发明提供一种面向小型CPU设备的小模型训练方法，包括以下步骤：

1)构建训练平行语料及基于注意力机制的神经机器翻译的标准基线模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的标准基线模型；

2)训练适用于小型CPU设备的小模型作为对比的小模型基线；

3)通过知识精炼方法利用标准基线模型构造双语伪数据；

4)读取小模型基线参数作为改进训练方法后模型的初始化参数，同时使用标准基线模型构造的双语伪数据将标准基线模型中知识迁移到小模型中。

在步骤1)中，训练基于注意力机制的神经机器翻译模型，得到符合要求的基线模型；基于注意力机制的神经机器翻译模型包括编码端和解码端，主要由前馈神经网络模块和注意力模块组成；

前馈神经网络模块计算公式为：

FFN(x)＝max(0,xW₁+b₁)W₂+b₂

其中，FFN(x)为前馈神经网络模块，x为输入，max为取最大函数，W₁和W₂为两个线性变换矩阵，b₁和b₂为两个线性变换的偏置矩阵；

使用注意力机制的计算方式为：

MultiHead(Q，K，V)＝concat(head₁,head₂，...，head_h)W^°

其中concat为级联操作，MultiHead(Q，K，V)为多头注意力机制，head₁，head₂，...，head_h代表模型中的h个头，其中每个头的注意力计算公式为：

其中SoftMax(·)为归一化函数，Q、K和V分别为参与计算的不同的输入矩阵，d_k为K矩阵每个头的维度大小。

本步骤中编码端和解码端结构如图2所示。注意力机制是神经机器翻译模型中重要的组成部分，如图3所示，Q、K和V经过线性变换后，进行基于点乘的注意力计算，通过级联操作连接在一起，最后再经过一个线性维度变换得到多头注意力的计算结果。

注意力机制是神经机器翻译模型中重要的组成部分，如图2所示，矩阵Q包括了l个词向量，组成了一个查询(Query)矩阵，矩阵K^T包括了l个词向量的转置，组成了一个关键值(Key)矩阵，其中词向量为模型中间层的数值表示。在最初的编码器-解码器框架中，由于上述原因导致神经网络难以学习到源端和目标端的对应信息，翻译系统对输入较长的句子的翻译效果较差。

步骤2)训练适用于小型CPU设备的小模型(编码器6层，解码器1层)作为对比的小模型基线，具体为：

直接减少神经机器翻译模型解码器的堆叠层数，模型的其他设置和步骤1)中相同。

步骤3)通过知识精炼方法利用标准基线模型构造双语伪数据，具体为：

选取训练数据的源语言数据，用标准基线模型翻译此源语言训练数据集得到构造的双语伪数据，将此包含标准基线模型知识的双语伪数据作为知识精炼的一种手段，将标准基线模型中学习到的知识迁移到小模型中，从而提升小模型的学习能力和表示能力。

步骤4)读取小模型基线参数作为改进训练方法后模型的初始化参数，具体为：

取出小模型基线参数，并将其作为改进训练方法后模型的初始化参数，此参数不仅包含模型知识，还可作为一种良好的模型初始化状态，因此可作为双语伪数据的一种补充手段。运用此方法训练的小模型不仅有快速解码的特性，而且模型性能并没有明显下降，更有利于小型CPU设备上的模型部署和应用。

为了验证改进后训练方法的训练效果，本实施例对改进训练方法后模型与标准基线模型的性能、在小型CPU设备上的解码速度以及模型大小进行了比较，具体为：根据步骤1)和2)中所训练的标准基线模型系统以及小模型基线系统和步骤4)中改进训练方法后小模型进行解码，得到改进后神经机器翻译模型的解码速度以及翻译性能，与标准基线模型系统比较解码加速倍数和模型压缩率，与小模型基线系统比较性能以获得性能涨幅。

本发明训练方法能够在多个机器翻译任务数据集上显著加速模型解码速度并达到压缩效果，并保证模型的性能没有明显下降。

在基于自注意力机制的神经机器翻译系统中，从某种程度上而言，模型结构的可解释性更强了。本实施例以编码端为例，在每一层内主要包含自注意力的子层和前馈网络的子层。其中前馈网络的结构主要目的在于增加模型的表达能力，将自注意力子层的信息进行整合后送入下一层。而自注意力机制的操作则可以看作是对源语词向量的富集抽象。但当前的神经网络模型模型规模过于庞大，虽然有着性能上的优势，但将此规模的模型部署在存储和计算资源受限的小设备上却面临着巨大的挑战。模型结构改进是当前机器翻译模型加速常用的一种手段，通过改进模型结构，消除冗余的计算，可以在不明显损失模型性能的前提下加速模型的计算过程。

本发明延续模型训练方法的改进方法，提出了一种面向小型CPU设备的小模型训练方法。为验证本发明方法的有效性，实验在WMT14英德、WMT14英法双向翻译总共4个语言方向进行，性能与强大的基线相当。本发明实验在Intel Pentium和AMD K6-2+进行，在两种硬件上的平均加速分别为2.87倍和2.61倍。图4为本发明方法的翻译效果图。

通过比较改进训练方法后模型与标准基线模型的性能及在小型CPU设备上的解码速度，本发明能够在多个机器翻译任务数据集上显著加速模型CPU解码速度，并保证模型的性能没有明显下降。

Claims (5)

1.一种面向小型CPU设备的小模型训练方法，其特征在于包括以下步骤：

1)构建训练平行语料及基于注意力机制的神经机器翻译的标准基线模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的标准基线模型；

2)训练适用于小型CPU设备的小模型作为对比的小模型基线；

3)通过知识精炼方法利用标准基线模型构造双语伪数据；

4)读取小模型基线参数作为改进训练方法后模型的初始化参数，同时使用标准基线模型构造的双语伪数据将标准基线模型中知识迁移到小模型中。

2.按权利要求1所述的面向小型CPU设备的小模型训练方法，其特征在于：步骤1)中，构建训练平行语料及基于注意力机制的神经机器翻译的模型，利用平行语料生成机器翻译词表，进一步训练得到训练收敛后的模型作为对比的标准基线模型；基于注意力机制的神经机器翻译模型包括编码端和解码端，由前馈神经网络模块和注意力模块组成；

前馈神经网络模块计算公式为：

FFN(x)＝max(0，xW₁+b₁)W₂+b₂

其中，FFN(x)为前馈神经网络模块，x为输入，max为取最大函数，W₁和W₂为两个线性变换矩阵，b₁和b₂为两个线性变换的偏置矩阵；

使用注意力机制的计算方式为：

MultiHead(Q,K,V)＝concat(head₁,head₂,...,head_h)W°

其中concat为级联操作，MultiHead(Q，K，V)为多头注意力机制，head₁，head₂，...，head_h代表模型中的h个头，其中每个头的注意力计算公式为：

其中SoftMax(·)为归一化函数，Q、K和V分别为参与计算的不同的线性变换矩阵，d_k为K矩阵每个头的维度大小。

3.按权利要求1所述的面向小型CPU设备的小模型训练方法，其特征在于：步骤2)中，训练适用于小型CPU设备的小模型作为对比的小模型基线，具体为：

和标准基线模型相比，小模型结构不变，将解码器6层堆叠变为1层。

4.按权利要求1所述的面向小型CPU设备的小模型训练方法，其特征在于：步骤3)中，通过知识精炼方法利用标准基线模型构造双语伪数据，具体为：

用标准基线模型翻译训练数据集得到其所构造的双语伪数据，此双语伪数据中包含标准基线模型知识，作为知识精炼的一种手段。

5.按权利要求1所述的面向小型CPU设备的小模型训练方法，其特征在于：步骤4)中，读取小模型基线参数作为改进训练方法后模型的初始化参数，具体为：

取出小模型基线参数，并将其作为改进训练方法后模型的初始化参数，此参数包含模型知识，作为一种良好的模型初始化状态以及双语伪数据的一种补充手段。

Images