CN110085215A - 一种基于生成对抗网络的语言模型数据增强方法 - Google Patents

Abstract

本发明涉及一种基于生成对抗网络的语言模型数据增强方法，该方法包括：训练集S包含的都是正样本数据，生成模型G_θ生成的数据都是负样本数据，通过单独交替迭代训练生成模型G_θ和判别模型D_φ，迭代一定次数后，直到生成模型G_θ收敛，利用生成模型G_θ采样生成序列数据集合在上估计N元文法语言模型在训练数据集上估计N元文法语言模型最终通过插值算法得到增强的语言模型。针对现有技术中语言模型数据增强方法的存在的暴露偏差问题，本发明可以在一定程度上缓解暴露偏差问题，提高生成文本数据的质量，进而提高语言模型的性能，还可以有效提升低资源条件下N元文法语言模型的性能，以及相应语音识别系统的性能。

Description

一种基于生成对抗网络的语言模型数据增强方法

技术领域

本发明涉及语音识别和自然语言处理领域，特别涉及一种基于生成对抗网络的语言模型数据增强方法。

背景技术

语言模型(Language model,LM)是描述词序列概率分布的数学模型，其广泛应用于语音识别(Automatic speech recognition,ASR)、机器翻译、分词、词性标注等自然语言处理任务中。

N元文法语言模型(N-gram LM)是一种常用的统计语言模型。由于实际自然语言中词汇组合的多样性，利用有限数据训练得到的N元文法语言模型不可避免的存在数据稀疏(Data sparsity)问题，即由于训练数据不充足，N元文法语言模型无法鲁棒地估计某些不常见文法的概率值。数据增强(Data augmentation)是一种有效缓解数据稀疏问题的方法。就语言模型建模任务而言，常见的数据增强方法包括基于外部数据的方法和基于递归神经网络(Recurrent neural network,RNN)随机采样的方法。前者按照一定的规则从其他来源(如互联网)的数据中挑选部分数据扩充训练集，后者则是利用训练好的RNN模型随机生成词序列以丰富训练集中包含的语言现象。

在难以获取领域相关的外部数据的情况下，基于RNN模型随机采样的数据增强方法可以有效提升N元文法语言模型参数估计的鲁棒性。该方法将RNN模型作为一个生成模型，随机生成词序列。现有的序列生成模型均采用最大似然估计(Maximum likelihoodestimation,MLE)算法估计模型参数。然而，MLE方法会使得生成模型在生成采样序列的过程中会遇到暴露偏差(Exposure bias)问题。即在生成下一个词汇时，如果所依赖的历史序列(即已生成的词序列)未在训练数据中出现，偏差则会在序列生成过程中逐渐累积，最终导致生成的词序列缺乏长时语义信息，进而限制了数据增强技术对语言模型及相关系统所带来的性能提升。

发明内容

本发明的目的在于，克服现有语言模型数据增强方法的存在的暴露偏差问题、提高生成文本数据的质量，进而提高语言模型的性能，从而提供一种基于生成对抗网络的语言模型数据增强方法。

为了解决上述技术问题，本发明实施例提供一种基于生成对抗网络的语言模型数据增强方法，包括：

步骤1，建立生成模型G_θ和判别模型D_φ；

步骤2，获取包含语言序列数据的训练集S，在所述训练集上利用MLE算法对生成模型G_θ进行预训练；

步骤3，利用生成模型G_θ生成m个采样序列作为负样本，从所述训练集中随机抽取m个序列作为正样本，组合所述负样本与正样本作为训练数据对判别模型D_φ进行预训练；

步骤4，利用生成模型G_θ生成n个采样序列，并用判别模型D_φ对所述n个采样序列进行判别；

步骤5，利用当前的生成模型G_θ生成n个负样本序列，从训练集S中随机抽取n个正样本序列，组合所述n个负样本与正样本作为判别模型D_φ的训练数据；

步骤6，重复执行步骤4和5，直到生成模型G_θ收敛；

步骤7，利用生成模型G_θ采样生成序列数据集合在上估计N元文法语言模型在训练数据集S上估计N元文法语言模型通过插值算法得到增强的语言模型。

作为上述方法的一种改进，所述生成模型G_θ和判别模型D_φ均采用神经网络结构，G_θ与D_φ的参数采用Adam随机梯度下降算法更新。

作为上述方法的又一种改进，利用MLE算法对生成模型G_θ进行预训练包括：最大化给定训练序列的对数概率；

其中，x_1：T表示词序列x₁，x₂，...，x_T，x_t表示序列中第t个词。

作为上述方法的再一种改进，所述步骤3包括：

利用Adam算法最大化以下目标函数：

式中，x_1：T表示从训练集中抽取的正样本，y_1：T表示生成模型G_θ生成的负样本，表示对m个正/负样本取期望，log()表示取对数，D_φ(y_1：T)表示输入序列y_1：T的得分。

作为上述方法的还一种改进，所述步骤4包括：

利用Adam算法最大化以下目标函数：

式中，y_1：T表示生成模型G_θ生成的负样本，定示对n个采样序列取期望，G_θ(y_1：T)表示生成模型G_θ生成序列y_1：T的概率。

作为上述方法的进一步改进，所述步骤5包括：利用Adam算法最大化以下目标函数：

式中，x_1：T表示从训练集中抽取的正样本，y_1：T表示生成模型G_θ生成的负样本，，表示对n个正/负样本取期望，log()表示取对数，D_φ(y_1：T)表示输入序列y_1：T的得分。

作为上述方法的进一步改进，通过插值算法得到增强的语言模型

其中λ表示插值系数。

本发明的优点在于，本发明的一种基于生成对抗网络的语言模型数据增强方法，针对现有技术中语言模型数据增强方法的存在的暴露偏差问题，本发明可以在一定程度上缓解暴露偏差问题，提高生成文本数据的质量，进而提高语言模型的性能，还可以有效提升低资源条件下N元文法语言模型的性能，以及相应语音识别系统的性能。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的基于生成对抗网络的语言模型数据增强方法流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种基于生成对抗网络的语言模型数据增强方法，包括：

1)建立生成模型G_θ、判别模型D_φ，所有模型均采用神经网络结构，G_θ与D_φ的参数采用Adam随机梯度下降算法更新。

2)在包含序列数据的训练集上利用MLE算法对G_θ进行预训练。即最大化给定训练序列的对数概率：

其中，x_1：T表示词序列x₁，x₂，...，x_T，x_t表示序列中第t个词。

3)利用G_θ生成m个采样序列{y_1：T}作为负样本，从训练集和随机抽取m个序列{x_1：T}作为正样本，组合正负样本作为训练数据对判别模型D_φ进行预训练。即利用Adam算法最大化以下目标函数：

式中，表示对m个正/负样本取期望，log()表示取对数，D_φ(y_1：T)表示输入序列y_1：T的得分(一个取值范围在0～1之间的标量值，表示输入序列是真实数据的概率)。

4)用生成模型G_θ生成n个采样序列{y_1：T}，并用判别模型D_φ对生成的序列进行评价，即计算每个生成序列的得分D_φ(y_1：T)。然后利用Adam算法最大化以下目标函数：

式中，表示对n个采样序列取期望，G_θ(y_1：T)表示生成模型G_θ生成序列y_1：T的概率。

5)用G_θ生成n个负样本{y_1：T}序列，并从中随机抽取n个正样本{x_1：T}序列。

组合正负样本作为D_φ的训练数据。然后利用Adam算法最大化以下目标函数：

6)重复步骤4)、5)直到G_θ收敛。

7)利用G_θ采样生成序列数据集合在上估计N元文法语言模型在训练数据集上估计N元文法语言模型最终通过插值算法得到增强的语言模型

其中λ表示插值系数。

上述步骤1)-7)是一个迭代过程，一个完整的迭代包括步骤4)、5)，每次迭代中生成模型G_θ是不同的，每次迭代后会更新模型参数，因此生成的序列y_1：T的质量也是不同的。

上步骤3)可以看做是第0次迭代，即预训练。

在每次迭代中判别模型D_φ的更新公式即目标函数是相同的，只是训练数据不一样，因为生成模型G_θ发生变化，生成的训练数据也不一样。

发明步骤3)中公式一中的y_1：T来自预训练的生成模型G_θ。而发明步骤5)中的y_1：T来自第t次(t＝1，2，3...)更新后的生成模型G_θ。

训练集S包含的都是正样本数据，生成模型G_θ生成的数据都是负样本数据，通过单独交替迭代训练生成模型G_θ和判别模型D_φ，迭代一定次数后，直到生成模型G_θ收敛。

在生成模型G_θ的训练过程中，一般采用公式二的相反数(即：-1*公式二)作为损失函数(loss function)，并且在训练过程中最小化损失函数。

由于G_θ生成的序列数据具有随机性，因此损失函数并不是单调下降的，而是波动下降的。因此生成模型G_θ收敛应该满足以下条件：

1、在迭代训练中生成模型损失函数呈下降趋势；

2、当连续H次(比如本实例中可取H＝50)迭代中损失函数的最大值和最小值相差小于事先设定的阈值d(比如本实例可取d＝10)。

参照图1所示，为本发明实施例提供的基于生成对抗网络的语言模型数据增强方法流程图，包括S101-S109：

S101、获取包含序列数据的训练集S；训练集S包含的都是正样本数据。

S102、建立生成模型G、判别模型D；

S103、获取利用MLE算法对G在S上进行预训练；

S104、利用G生成m个采样序列作为负样本，从S中随机抽取m个序列作为正样本。组合正负样本作为训练数据以公式一为目标函数对D进行预训练；

S105、利用G生成n个采样序列，计算损失函数即公式二，使用Adam算法更新生成模型G的参数，此时模型D的参数固定；

S106、用当前的G生成n个负样本序列，从S中随机抽取n个正样本序列，组合正负样本作为D的训练数据，计算损失函数即公式一，使用Adam算法更新判别模型D的参数，此时模型G参数固定；

S107、判断G是否收敛；是则执行S108，否则执行S105；

S108、利用G采样生成序列数据集合

S109、在S上估计N元文法语言模型在上估计N元文法语言模型按照上述步骤7)中公式三计算增强的语言模型M_E。

本发明的一种基于生成对抗网络的语言模型数据增强方法，针对现有技术中语言模型数据增强方法的存在的暴露偏差问题，本发明可以在一定程度上缓解暴露偏差问题，提高生成文本数据的质量，进而提高语言模型的性能，还可以有效提升低资源条件下N元文法语言模型的性能，以及相应语音识别系统的性能。

下面通过希尔贝壳中文普通话语音数据库，来具体说明本发明的增强方法。

本实例在AISHELL(希尔贝壳中文普通话语音数据库)语音识别任务上说明本发明的实施方法及与MLE方法的性能对比。本实例采用AISHELL语音库对应的转录文本作为生成模型G_θ的训练数据集共包含12万句文本。

a)利用kaldi语音识别工具搭建识别系统，声学模型为高斯混合模型GMM(Gaussian Mixture Model)-隐马尔可夫模型(Hidden Markov Model，HMM)，简称HMM-GMM模型。基线语言模型为在数据集上估计得到的Kneser-Ney平滑的3阶N元文法语言模型

b)建立生成模型G_θ和判别模型D_φ，本实例中G_θ为LSTM-RNN模型，包含两层LSTM层，输入层与输出层节点数等于词典大小，词典共包含55590个中文词。判别模型D_φ为卷积神经网络(Convolutional neural network，CNN)模型。D_φ分别采用窗长为1、2、3、4、5、10的卷积核进行卷积操作，每个窗长分别使用50个不同的卷积核。输出层包含1个节点，表示输入序列与真实数据相似程度。

c)在数据集上按照发明步骤2中的公式对G_θ进行预训练，采用Adam算法更新生成模型参数，学习率为0.01，预训练得到的模型记为 即是按照MLE方法训练得到的生成模型。

d)利用果样生成100万句文本序列，记为数据集台在上估计Kneser-Ney平滑三阶N元文法语言模型M^MLE。并在上估计Kneser-Ney平滑三阶N元文法语言模型M。然后计算基于MLE算法增强的语言模型

其中λ＝0.5，表示插值系数。此增强语言模型作为本发明实例的对比方法。

e)利用预训练得到的G_θ(即)采样12万句词序列{y_1：T}(T为句子长度，本实例取T＝20)作为负样本，将数据集作为正样本，按照发明步骤3中的公式对D_φ进行训练，采用Adam算法更新判别模型参数，学习率为0.0001。

f)用G_θ生成35个采样序列{y_1：T}，然后按照发明步骤4中的目标函数对G_θ进行训练。并采用Adam算法更新生成模型参数，学习率为0.01。

g)用G_θ生成35个负样本{y_1：T}序列，并从中随机抽取35个正样本{x_1：T}序列。组合正负样本作为D_φ的训练数据。然后按照发明步骤5中的目标函数对D_φ进行训练。并采用Adam算法更新判别模型参数，学习率为0.0001。

h)重复步骤f)、g)直到G_θ收敛。

i)利用G_θ采样生成100万句文本序列，记为数据集合在上估计Kneser-Ney平滑三阶N元文法语言模型M^GAN。然后计算增强的语言模型

其中μ＝0.5，表示插值系数。

将增强的语言模型和分别应用于AISHELL语音识别任务中(即分别片和替换识别系统中的基线语言模型M)的具体实验结果如表1所示。其中Dev和Eva1分别表示AISHLL数据集的开发集和测试集。结果表明本发明的方法相比于传统的基于MLE的数据增强方法可以进一步提升语言模型的性能、降低识别字错误率。

表1：基于生成对抗网络的数据增强技术对识别字错误率的影响

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于生成对抗网络的语言模型数据增强方法，其特征在于，包括：

步骤1，建立生成模型G_θ和判别模型D_φ；

步骤2，获取包含语言序列数据的训练集S，在所述训练集上利用MLE算法对生成模型G_θ进行预训练；

步骤3，利用生成模型G_θ生成m个采样序列作为负样本，从所述训练集中随机抽取m个序列作为正样本，组合所述负样本与正样本作为训练数据对判别模型D_φ进行预训练；

步骤4，利用生成模型G_θ生成n个采样序列，并用判别模型D_φ对所述n个采样序列进行判别；

步骤5，利用当前的生成模型G_θ生成n个负样本序列，从训练集S中随机抽取n个正样本序列，组合所述n个负样本与正样本作为判别模型D_φ的训练数据；

步骤6，重复执行步骤4和5，直到生成模型G_θ收敛；

步骤7，利用生成模型G_θ采样生成序列数据集合在上估计N元文法语言模型在训练数据集S上估计N元文法语言模型通过插值算法得到增强的语言模型。

2.如权利要求1所述的方法，其特征在于，所述生成模型G_θ和判别模型D_φ均采用神经网络结构，G_θ与D_φ的参数采用Adam随机梯度下降算法更新。

3.如权利要求1所述的方法，其特征在于，利用MLE算法对生成模型G_θ进行预训练包括：最大化给定训练序列的对数概率；

其中，x_1:T表示词序列x₁,x₂,…,x_T，x_t表示序列中第t个词。

4.如权利要求1所述的方法，其特征在于，所述步骤3包括：

利用Adam算法最大化以下目标函数：

公式一

式中，x_1:T表示从训练集中抽取的正样本，y_1:T表示生成模型G_θ生成的负样本，表示对m个正/负样本取期望，log()表示取对数，D_φ(y_1：T)表示输入序列y_1：T的得分。

5.如权利要求1所述的方法，其特征在于，所述步骤4包括：

利用Adam算法最大化以下目标函数：

公式二

式中，y_1：T表示生成模型G_θ生成的负样本，表示对n个采样序列取期望，G_θ(y_1：T)表示生成模型G_θ生成序列y_1：T的概率。

6.如权利要求1所述的方法，其特征在于，所述步骤5包括：利用Adam算法最大化以下目标函数：

公式一

式中，x_1：T表示从训练集中抽取的正样本，y_1：T表示生成模型G_θ生成的负样本，表示对n个正/负样本取期望，log()表示取对数，D_φ(y_1：T)表示输入序列y_1：T的得分。

7.如权利要求1所述的方法，其特征在于，通过插值算法得到增强的语言模型

公式三

其中λ表示插值系数。