CN110245364A - 零平行语料多模态神经机器翻译方法 - Google Patents

Abstract

本发明公开了一种零平行语料多模态神经机器翻译方法，包括：利用带有相应图片信息的源语言和目标语言单语语料，对预先构建的神经机器翻译模型进行预训练；使用预训练的神经机器翻译模型将源语言中的句子翻译为目标语言的句子，根据翻译得到的句子与对应图片之间的内在联系计算句子级别的奖励值，并以最大化期望的总的奖励值为优化目标，采用策略梯度的强化学习方法对预训练的神经机器翻译模型参数进行更新，从而得到训练好的神经机器翻译模型；使用训练好的神经机器翻译模型对给定的源语言句子进行翻译。该方法通过利用图片与文字的内在联系，可以建立零资源语言对的神经机器翻译模型。

Description

零平行语料多模态神经机器翻译方法

技术领域

本发明涉及机器翻译技术领域，尤其涉及一种零平行语料多模态神经机器翻译方法。

背景技术

端到端的神经机器翻译(以下简称神经机器翻译)近几年在国内外都取得了突飞猛进的发展。神经机器翻译摒弃了统计机器翻译中繁琐的结构和复杂的特征设计，直接把平行语料交给神经网络，从而完成一个完整的翻译系统的训练。

在神经机器翻译中，即使是一个最简单的单层模型也有着大量的参数(通常为数千万的参数)需要优化，而在机器学习中训练一个具有大量参数的复杂模型就需要大量的训练数据。随着神经机器翻译的模型设计越来越复杂，模型的深度不断增加，相应地就需要更多的训练数据。然而实际中高质量的平行语料的获取需要大量的人工翻译，是极为耗时又昂贵的。因此，如何解决在没有平行语料，即零平行语料资源下的神经机器翻译问题是神经机器翻译亟需解决的一个重要问题。

围绕这个研究问题，研究者们提出了多种解决方法。其中，以单语语料相对应的图片等视觉信息为中轴构建机器翻译模型的方法是为零平行语料资源语言对构建翻译模型的一种有效方式。相关研究主要将图片当作两种语言的中轴，通过将图片用图片描述模型进行文字描述而形成平行的语料来训练翻译模型，而忽略了图片与文字信息在语义上的内在联系。上述方法虽然能通过构造平行语料来实现神经机器翻译模型的训练，但是由于图片描述模型效果有限，其产生的错误描述将会导致形成低质量的平行语料训练数据，从而影响训练的神经机器翻译模型的质量，最终导致翻译结果的准确度较低。

发明内容

本发明的目的是提供一种零平行语料多模态神经机器翻译方法，通过利用图片与文字的内在联系，可以建立零平行语料多模态神经机器翻译模型。

本发明的目的是通过以下技术方案实现的：

一种零平行语料多模态神经机器翻译方法，包括：

利用带有相应图片信息的源语言和目标语言单语语料，对预先构建的神经机器翻译模型进行预训练；

使用预训练的神经机器翻译模型将源语言中的句子翻译为目标语言的句子，根据翻译得到的句子与对应图片之间的内在联系计算句子级别的奖励值，并以最大化期望的总的奖励值为优化目标，采用策略梯度的强化学习方法对预训练的神经机器翻译模型参数进行更新，从而得到训练好的神经机器翻译模型；

使用训练好的神经机器翻译模型对给定的源语言句子进行翻译。

由上述本发明提供的技术方案可以看出，针对多模态单语语料，采用强化学习的方法，通过图片和对应文字描述之间的语义联系定义奖励的计算方法，从而实现对神经机器翻译模型的建模和训练，最终实现零平行语料多模态的神经机器翻译，使这种情况下翻译结果更加准确。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种零平行语料多模态神经机器翻译方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种零平行语料多模态神经机器翻译方法，如图1所示，其主要包括如下步骤：

步骤11、利用带有相应图片信息的源语言和目标语言单语语料，对预先构建的神经机器翻译模型进行预训练。

本发明实施例中，所述带有相应图片信息的源语言和目标语言单语语料分别记为D_Z,X和D_Z',Y：

其中，X^(m)为源语言单语语料中的句子，m为句子的序号，Z(m)为句子X(m)对应的图片，M为源语言单语语料中的句子数量；X⁽ⁿ⁾为目标语言单语语料中的句子，n为句子的序号，Z⁽ⁿ⁾为句子X(n)对应的图片，N为目标语言单语语料中的句子数量。

所述神经机器翻译模型表示为P_θ(Y|X)；其中X表示源语言单语语料中的句子，Y表示目标语言单语语料中的句子，θ为神经机器翻译模型的参数。

本发明实施例，根据源语言和目标语言单语语料中的图片是否重合，即对于一张图片，是否同时具有源语言和目标语言两种描述，分别采取不同的策略对预先构建的神经机器翻译模型进行预训练；具体来说：

1)若图片不重合，即对于一张图片，只有源语言的描述或者目标语言的描述，则利用源语言或者目标语言单语语料生成伪平行语料对预先构建的神经机器翻译模型进行预训练；主要包括：

使用预训练的目标语言的图片描述模型结合语料D_Z,X中的图片生成相应的目标语言的描述句子，从而与语料D_Z,X中的相应图片的源语言描述句子形成伪平行语料，从而对预先构建的神经机器翻译模型进行预训练。

或者，使用预训练的源语言的图片描述模型结合语料D_Z',Y中的图片生成相应的源语言的描述句子，从而与语料D_Z',Y中的相应图片的目标语言描述句子形成伪平行语料，从而对预先构建的神经机器翻译模型进行预训练。

2)若图片重合，即对于一张图片，既有源语言的描述又有目标语言的描述，则利用源语言与目标语言单语语料生成平行语料对预先构建的神经机器翻译模型进行预训练；主要包括：

将一张图片对应的任意一对源语言-目标语言的句子看作是对应的翻译，从而得到平行语料。

示例性的，可以使用极大似然估计的方法进行预训练，预训练阶段的优化目标为：

其中，D_X，Y为生成的伪平行语料或平行语料。

本发明实施例中，源语言的图片描述模型以及目标语言的图片描述模型均为带有注意力机制的图片描述模型，二者均采用极大似然估计的方法进行预训练：

其中，Φ_Z→X和Φ_Z'→Y分别表示源语言和目标语言的图片描述模型的参数。

步骤12、使用预训练的神经机器翻译模型将源语言中的句子翻译为目标语言的句子，根据翻译得到的句子与对应图片之间的内在联系计算句子级别的奖励值，并以最大化期望的总的奖励值为优化目标，采用策略梯度的强化学习方法对预训练的神经机器翻译模型参数进行更新，从而得到训练好的神经机器翻译模型。

采用策略梯度的强化学习方法对模型参数进行更新，在学习过程中，神经机器翻译模型P_θ(Y|X)为智能体，不断地与环境进行交互，智能体的参数θ定义了策略，策略的执行使得智能体采取一步动作；在以翻译模型为智能体的情况下，一步动作为模型在每个时间点所生成的单词；在采取了一步动作之后，智能体会更新它的状态；对源语言的单语语料D_Z,X中的任意句子X，使用神经机器翻译模型P_θ(Y|X)将句子X翻译为目标语言的句子即智能体生成一个完整的序列；针对生成的完整序列产生一个奖励强化学习的训练目标即为最大化期望的总的奖励。

具体而言，本发明实施例，根据句子与句子X对应的图片Z之间的内在联系，计算相应的奖励值

奖励值采用如下任一种方式进行计算，下述两种方式计算得到的奖励值分别记为与

第一种：利用带有注意力机制的目标语言的图片描述模型来计算给定源语言句子X相应图片Z的情况下，生成目标语言的句子的概率，计算结果作为奖励值：

其中，中的Y表示目标语言单语语料中的句子，Z'表示句子Y对应的图片，Φ_Z'→Y表示目标语言的图片描述模型的参数；

第二种：将源语言的单语语料中句子X与翻译得到的句子分别表示为X＝(x₁,x2,...,x_S)和其中，S和T分别是句子X和句子的长度；

使用预训练的卷积神经网络模型提取图片Z的特征，并将图片Z表示为特征矩阵Z＝(z₁,z₂,...,z_L)，L表示特征数量，特征矩阵每一列都为一个特征向量，代表图片中一个栅格的特征；

利用带有注意力机制的图片描述模型和对于给句子X、句子以及图片Z分别使用两个图片描述模型进行正向计算，并根据计算得到的模型权重中的注意力机制部分，分别得到句子X和句子对于图片的注意力权重和其中，表示带有注意力机制的源语言的图片描述模型，Φ_Z→X表示源语言的图片描述模型的参数；和均为L维的向量，各自代表当前单词x_s和y_t关于图片每一列特征的注意力向量；

分别计算注意力权重和中每一列向量和的加和：

由于两个句子的长度S和T无法保证是相等的，为了使和可以比较，将和对应的正则化为和使两个句子的长度相等，从而计算奖励值：

其中，distance表示计算余弦距离。

给定单语语料以最大化期望的总的奖励值为优化目标，则训练目标为：

其中，K代表生成的所有可能的候选目标语言句子的空间；X^(m)为源语言单语语料中的句子，M为源语言单语语料中的句子数量；

由于所有可能的候选句子的空间是非常庞大的，目标函数O_RL无法准确计算；于是，利用P_θ(Y|X)对K进行一次采样得到一个目标语言句子并对目标函数O_RL中的期望值进行估计，则神经机器翻译模型的参数θ的梯度如下：

由于仅使用一次采样得到的对翻译模型参数θ的梯度进行估计，此估计值有着较大的方差，为了减小方差，在计算得到的奖励值中减去一个平均奖励值b，得到翻译模型参数θ的梯度如下：

为了使强化学习的训练过程更加稳定，将预训练阶段的优化目标L(θ)记为O_MLE，并强化学习的目标进行线性的结合，最终的训练目标为：

O_com＝(1-α)×O_MLE+α×O_RL

其中，α为取值在0到1之间的参数；

采用梯度下降的更新算法，在开始第一轮迭代之前，初始化延迟的策略P_θ′，使θ′＝θ；在每一轮迭代中，利用延迟的策略P_θ′进行采样，并根据训练目标对神经机器翻译模型的参数θ求偏导数，从而进行参数θ的更新；在一轮迭代末尾，更新延迟策略P_θ′的参数θ′，更新方式如下：

θ′＝γθ+(1-γ)θ′；

其中，γ为控制延迟策略P_θ′的参数θ′更新速度的参数；

重复进行迭代直至神经机器翻译模型收敛，最终得到训练好的神经机器翻译模型。

步骤13、使用训练好的神经机器翻译模型对给定的源语言句子进行翻译。

通过上述步骤的处理，得到训练好的神经机器翻译模型，该神经机器翻译模型可以实现源语言至目标语言的翻译，因而，直接将源语言句子输入至训练好的神经机器翻译模型从而得到相应的目标语言句子。

本发明实施例上述方案，针对多模态单语语料，采用强化学习的方法，通过图片和对应文字描述之间的语义联系定义奖励的计算方法，从而实现对神经机器翻译模型的建模和训练，最终实现零平行语料多模态的神经机器翻译。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种零平行语料多模态神经机器翻译方法，其特征在于，包括：

利用带有相应图片信息的源语言和目标语言单语语料，对预先构建的神经机器翻译模型进行预训练；

使用预训练的神经机器翻译模型将源语言中的句子翻译为目标语言的句子，根据翻译得到的句子与对应图片之间的内在联系计算句子级别的奖励值，并以最大化期望的总的奖励值为优化目标，采用策略梯度的强化学习方法对预训练的神经机器翻译模型参数进行更新，从而得到训练好的神经机器翻译模型；

使用训练好的神经机器翻译模型对给定的源语言句子进行翻译。

2.根据权利要求1所述的一种零平行语料多模态神经机器翻译方法，其特征在于，所述带有相应图片信息的源语言和目标语言单语语料分别记为D_Z,X和D′_Z,Y：

其中，X^(m)为源语言单语语料中的句子，m为句子的序号，Z^(m)为句子X^(m)对应的图片，M为源语言单语语料中的句子数量；X⁽ⁿ⁾为目标语言单语语料中的句子，n为句子的序号，Z⁽ⁿ⁾为句子X⁽ⁿ⁾对应的图片，N为目标语言单语语料中的句子数量；

根据源语言和目标语言单语语料中的图片是否重合，分别采取不同的策略对预先构建的神经机器翻译模型进行预训练；其中：若图片不重合，则利用源语言或者目标语言单语语料生成伪平行语料对预先构建的神经机器翻译模型进行预训练；若图片重合，则利用源语言与目标语言单语语料生成平行语料对预先构建的神经机器翻译模型进行预训练。

3.根据权利要求2所述的一种零平行语料多模态神经机器翻译方法，其特征在于，所述神经机器翻译模型表示为P_θ(Y|X)；其中X表示源语言单语语料中的句子，Y表示目标语言单语语料中的句子，θ为神经机器翻译模型的参数；

使用极大似然估计的方法进行预训练，预训练阶段的优化目标为：

其中，D_X，Y为生成的伪平行语料或平行语料。

4.根据权利要求2所述的一种零平行语料多模态神经机器翻译方法，其特征在于，

若D_Z,X和D_Z',Y中的图片不重合，即对于一张图片，只有源语言的描述或者目标语言的描述，则使用预训练的目标语言的图片描述模型结合语料D_Z,X中的图片生成相应的目标语言的描述句子，从而与语料D_Z,X中的相应图片的源语言描述句子形成伪平行语料；或者，使用预训练的源语言的图片描述模型集合语料D_Z',Y中的图片生成相应的源语言的描述句子，从而与语料D_Z',Y中的相应图片的目标语言描述句子形成伪平行语料；源语言的图片描述模型以及目标语言的图片描述模型均为带有注意力机制的图片描述模型，Φ_Z→X和Φ_Z'→Y分别表示源语言和目标语言的图片描述模型的参数；

若D_Z,X和D_Z',Y中的图片重合，即对于一张图片，既有源语言的描述又有目标语言的描述，则将一张图片对应的任意一对源语言-目标语言的句子看作是对应的翻译，从而得到平行语料。

5.根据权利要求4所述的一种零平行语料多模态神经机器翻译方法，其特征在于，所述源语言的图片描述模型以及目标语言的图片描述模型均采用极大似然估计的方法进行预训练：

6.根据权利要求1所述的一种零平行语料多模态神经机器翻译方法，其特征在于，所述使用预训练的神经机器翻译模型将源语言中的句子翻译为目标语言的句子，根据翻译得到的句子与对应图片之间的内在联系计算句子级别的奖励值包括：

对于源语言的单语语料D_Z,X中的任意句子X，使用预训练的神经机器翻译模型P_θ(Y|X)将句子X翻译为目标语言的句子

再根据句子与句子X对应的图片Z之间的内在联系，计算相应的奖励值

7.根据权利要求6所述的一种零平行语料多模态神经机器翻译方法，其特征在于，奖励值采用如下任一种方式进行计算，下述两种方式计算得到的奖励值分别记为与

第一种：利用带有注意力机制的目标语言的图片描述模型来计算给定源语言句子X相应图片Z的情况下，生成目标语言的句子的概率，计算结果作为奖励值：

其中，中的Y表示目标语言单语语料中的句子，Z'表示句子Y对应的图片，Φ_Z'→Y表示目标语言的图片描述模型的参数；

第二种：将源语言的单语语料中句子X与翻译得到的句子分别表示为X＝(x₁,x₂,...,x_S)和其中，S和T分别是句子X和句子的长度；

使用预训练的卷积神经网络模型提取图片Z的特征，并将图片Z表示为特征矩阵Z＝(z₁,z₂,...,z_L)，L表示特征数量，特征矩阵每一列都为一个特征向量，代表图片中一个栅格的特征；

利用带有注意力机制的图片描述模型和分别得到句子X和句子对于图片的注意力权重和其中，表示带有注意力机制的源语言的图片描述模型，Φ_Z→X表示源语言的图片描述模型的参数；和均为L维的向量，各自代表当前单词x_s和y_t关于图片每一列特征的注意力向量；

分别计算注意力权重和中每一列向量和的加和：

将和对应的正则化为和使两个句子的长度相等，从而计算奖励值：

其中，distance表示计算余弦距离。

8.根据权利要求6所述的一种零平行语料多模态神经机器翻译方法，其特征在于，

以最大化期望的总的奖励值为优化目标，则训练目标为：

其中，K代表生成的所有可能的候选目标语言句子的空间；X^(m)为源语言单语语料中的句子，M为源语言单语语料中的句子数量；

利用神经机器翻译模型P_θ(Y|X)对K进行一次采样得到一个目标语言句子并对目标函数O_RL中的期望值进行估计，则神经机器翻译模型的参数θ的梯度如下：

其中，b为平均奖励值；

将预训练阶段的优化目标L(θ)记为O_MLE，并与强化学习的目标进行线性的结合，最终的训练目标为：

O_com＝(1-α)×O_MLE+α×O_RL

其中，α为取值在0到1之间的参数；

采用梯度下降的更新算法，在开始第一轮迭代之前，初始化延迟的策略P_θ′，使θ′＝θ；在每一轮迭代中，利用延迟的策略P_θ′进行采样，并根据训练目标对神经机器翻译模型的参数θ求偏导数，从而进行参数θ的更新；在一轮迭代末尾，更新延迟策略P_θ′的参数θ′，更新方式如下：

θ′＝γθ+(1-γ)θ′；

其中，γ为控制延迟策略P_θ′的参数θ′更新速度的参数；

重复进行迭代直至神经机器翻译模型收敛，最终得到训练好的神经机器翻译模型。