CN114328853A - 一种基于Unilm优化语言模型的中文问题生成方法 - Google Patents

Abstract

本发明公开了一种基于Unilm优化语言模型的中文问题生成方法，本发明在Unilm模型中加入每个单字和领域词汇的相对位置信息时设置了一种相对位置遮盖矩阵，将该矩阵融入模型不仅能学到更多的位置关系也可以在针对目标领域输入生成问题时具有更好的效果。同时使用copy机制，使得输出在一定程度上能从原句中拷贝，提高了输出语句和原句的相关性。为了提高训练数据样本，使用了回译与实体词替换相结合的策略实现数据的增强。领域预训练也被应用于模型用于增强模型在特定领域的推断能力。基于这三个策略同样的问答数据集本发明提出模型具有更好的效果。

Description

一种基于Unilm优化语言模型的中文问题生成方法

技术领域

本发明属于面向中文自然语言处理中的问题生成技术领域，提供了一种 基于Unilm优化语言模型的中文问题生成方法。

背景技术

近年来信息技术和互联网技术迎来的爆炸式的大发展，产生了大量的信 息，同时在计算机的和大量的数据催生了人工智能的发展。这其中自然语言 处理是其中发展较为迅猛的一个，也是应用较为广泛的一个。最常见的有智 能对话系统，和机器翻译、打击垃圾邮件、信息提取、文本感情分析、个性 化推荐等。

在自然语言处理领域中，智能问答系统QG(Question Generation)是其中 的热点。智能问答系统主要应用于聊天机器人，在当今世界聊天机器人在我 们身边随处可见，最常见的聊天机器人就是各种智能手机中的语音助手。另 一个非常重要的应用领域是教育领域，由于当前学生在学习阶段往往会接触 大量的专业词汇和知识，为了能够更好的让学生记住专业知识。老师们往往 需要人工设置题目来帮助学生记忆。问题生成模型可以帮助老师快速生成题 目样本，最后再经过人工审查，能大幅度简化老师的工作，减轻教学压力。 综上所述，生成高质量的问题不但可以推进自然语言处理方面的研究，也可 以促进，心里治疗、教育等领域的发展。因此，研究可以提出高质量问题的 问答系统具有非常重要的现实意义。

近年来自注意力机制可以有效的从输入语料中获取上下文信息。通过大 量的文本对Transformer模型进行训练可以使得模型学习到自然语言中上下 文的隐含关系。例如Bert、RoBert、GPT、GPT2、Unilm等，这些模型都在 NLP领域取得了优秀的表现，其中Unilm语言模型由词嵌入层和12个 Transformer中的编码器(encoder)以及1个Transformer中的解码器层 (decoder)组成。并且这些模型可以针对不同的下游任务进行迁移，通过预 训练之后，下游任务使用少量的标注文本就可以让模型收敛，并且迁移后的 模型在下游任务具有更加优秀的表现。其中Unilm语言模型结合了其他模型 的各种遮盖训练思想，根据不同的具体任务，采用双向、从左到右、从右到 左、序列到序列，不同的遮盖思想会使得模型更擅长不同的方向。例如在文 本生成方面，使用从左到右的遮盖思想可以提高文本得生成能力。在提高输 入与输出的关联度方面有Pointer network等，(指针网络)Pointer network是Sequence to Sequence中encoder RNN和decoder RNN的扩展。通过对输 入的复制使得输出中有一部分来自于输入，提高了模型输出与输入的相关性， 但由于循环神经网络一些固有的缺陷导致指针网络并没有较好的发挥。

发明内容

本发明的目的是提供一种基于Unilm优化语言模型的中文问题生成方 法，通过回译和实体词替换进行数据增强，融合和相对位置遮盖嵌入，同时 加入特殊的copy机制，结合领域预训练，提高了模型在目标领域的生成精 度，更高效的生成有意义的问句。

本发明所采用的技术方案是，一种基于Unilm优化语言模型的中文问题 生成方法，具体包括如下步骤：

步骤1，使用从网络爬取的目标领域的语料对bert模型进行预训练，获 得参数，并将参数同步迁移至Unilm语言模型；

步骤2，使用回忆机制和随机替换实体词机制对中文问答数据做数据增 强处理，得到增强数据文本，将增强数据文本分为训练集和测试集；

步骤3，构建包含相对位置遮盖矩阵的编码器层

将中文语料切分成字和词，并根据这些字和词在中文语料中的位置，将 字和词的头索引和尾索引分别生成头信息向量以及尾信息向量，设定字的头 索引和尾索引相等；在头信息向量中词的尾索引设置为0，在尾信息向量中 词的头索引设置为0，将头信息向量和尾信息向量彼此相减，生成四组位置 矩阵；将四组位置矩阵拼接后输入全连接神经网络生成相对位置遮盖嵌入矩 阵，将相对位置遮盖嵌入矩阵与编码器自注意力矩阵相加得到优化的 Transformer编码器层；

步骤4，将步骤3融入了相对位置遮盖嵌入矩阵的Transformer编码器层 替换Unilm语言模型中的最后一个编码器层，形成优化后unilm语言模型；

步骤5，构建包含copy机制的特殊解码器层，并替换在步骤4优化后的 unilm语言模型的解码器层；将步骤2得到的训练集输入优化后unilm语言 模型进行训练，获得问题生成模型；

步骤6：将步骤2得到的测试集输入问题生成模型，得到最终问题生成 结果。

本发明的特点还在于，

步骤1对bert模型采用双向遮盖机制和下半句预测机制两个任务进行训 练。

步骤2具体如下：

回忆机制是使用机器翻译将中文数据翻译成其他语言，再将其回译回中 文数据；经过两次翻译后数据得到增强；

随机替换实体词机制是使用实体词替换的方法，首先对中文问答数据做 命名实体识别并进行同义词替换；

将两种数据增强方法获得的增强文本数据分为训练集和测试集。

步骤3中具体的拼接方法为：

其中，

表示张量的拼接操作，

分别表示头信 息向量的转置减头信息向量，头信息向量转置减尾信息向量，尾信息向量转 置减头信息向量，尾信息向量转置减尾信息向量；

将R_i，j输入输入全连接神经网络生成相对位置遮盖嵌入矩阵

将

与Transformer中自注意力矩阵相加得到融入了相对位置遮盖嵌入矩阵的 Transformer编码器层。

步骤4具体为：

将Transformer编码器层替换Unilm语言模型的最后的一个编码器层， 同时将Unilm语言模型最后一层的参数初始化为步骤1预训练后的参数。

步骤5具体为：

根据优化后Unilm语言模型的词嵌入层和最后一个编码器层的输出计 算解码生成概率p_gen，解码器解码后作为问题生成模型的输出，

ouput＝decoder((1-p_gen)*h_emb*w_cp+p_gen*h_de)

其中，ouput表示问题生成模型的输出，decoder表示对括号中的内容进 行解码；h_emb为词嵌入层输出，h_de为最后一个编码器层的输入，w_cp表示解 码器中的权重矩阵。

本发明的有益效果是：

本发明提出了一种基于Unilm优化语言模型的中文问题生成方法。 Unilm语言模型的核心在于针对Unilm在用做问题生成任务时，在词嵌入阶 段和解码阶段分别提出相对位置遮盖嵌入和copy等提高问题生成能力的机 制，同时提出了针对问题生成的数据增强方法。由于本发明在词汇嵌入时加 入了特殊的遮盖机制，完整的嵌入了输入语料的所有位置信息。同在解码器 中特殊的copy机制能帮助模型在输出一定概率从原句中复制。由于以上的 优化方法，本模型在针对问题生成任务上具有较好的表现。基于同样的问答 数据集本发明提出的模型具有更好的效果。

附图说明

图1是本发明一种基于Unilm优化语言模型的中文问题生成方法的流程 图；

图2是本发明中提出的数据增强的具体流程；

图3是本发明在进行相对位置遮盖嵌入时的流程；

具体实施方式

下面结合附图和具体实施方式，一种基于Unilm优化语言模型的中文问 题生成方法进行进一步详细说明。

步骤1：使用从网络爬取的目标领域的语料对bert模型进行预训练，并 将参数迁移至seq2seq遮盖矩阵Unilm语言模型

具体步骤1.1：领域预训练数据获取；

在领域预训练中模型的Transformer block初始参数取自Wiki百科语料 训练的基础bert，然后对互联网上爬取的领域信息文本进行上下句切分，之 后将预训练语料送入模型进行预训练。预训练使用了bert的双向遮盖预训练 机制和下半句预测机制。通过使用这两种机制，我们对模型的预处理进行了 优化。

具体步骤1.2：bert的双向遮盖预训练机制和下半句预测机制

首先对双向遮盖预训练进行介绍，这种遮盖方式每个字能看到输入文本 的前后内容。并且随机对字进行替换。对输入文本中的15％进行替换，其中 每个字有80％的可能被遮盖，10％替换为其他字，10％不替换。在上下句的 预测中，后半句有50％的可能被替换成其他句子。由Bert模型来判断下句 是否为正确的下半句。通过上下句的预测可能提高生成正确问题的可能。

Bert模型使用交叉熵损失函数对Bert模型生成和模型输入进行损失计 算，从而训练得到最优的模型参数，之后再将训练之后的Bert模型参数迁移 至Unilm语言模型。

步骤2：使用回忆机制和随机替换实体词机制，对标注样本做数据增强 处理

步骤2.1：回忆机制的数据增强

参考图2机器翻译存在的一些特性，当把一句话翻译成其他语言再回译。 得到的句子和原句的意思相近，但表达方式回存在一些差异。这里我们利用 这种特性对标注数据进行回译来增大样本数量，进行提高模型的生成能力。

具体步骤2.2：随机替换实体词

为了进一步增加训练的数据量这里提出了实体词替换的方法。通过将训 练语料进行命名实体识别，识别出的实体通过近义词词库进行查询。将识别 出的实体一定概率替换为他的近义词。在替换时我们需要满足一定的条件， 一个输入句中根据其长短设置替换的比列，每个替换词之间需要有一定的距 离以保证输入的语义信息不会发生较大的改变。

在双向遮盖中对语料信息中15％的字进行随机替换，对随机替换的15％ 的字中的每个字有80％的可能被遮盖，10％替换为其他字，10％不替换；在 下半句预测中，后半句有50％的可能被替换成其他句子，由bert模型来判断 下句是否为正确的下半句。

步骤3：构建包含相对位置遮盖矩阵的编码器层：

为了更好的将词汇信息的位置信息嵌入模型中，这里提出相对位置遮盖 嵌入矩阵。为了更好的利用词汇的位置信息，此阶段将输入的中文语料切分 成字和词，并且记录这些词在输入中的头和尾索引，另外对单个字而言，头 索引和尾索引是一致的。将输入的头索引生成头信息向量，尾索引生成尾信 息向量。

在词汇嵌入时如果在头信息向量中只输入词汇的头位置，则在头向量中 和尾向量中会丢失词汇之间的位置信息。这里提出一种遮盖的思想，在词汇 相对位置嵌入时，在头信息向量中将词汇的尾信息设为[padding]，在尾信息 向量中将词汇的头信息设置为[padding]，其中[padding]在代码编写是实际设 置为0。

具体的，head[i]和tail[i]是第i个词汇的第一个字在整个句子中的索引 和最后一个字在句子中的索引，四种相对位置矩阵计算以如下方式进行：

表示第i个实体词到第j个实体词头索引和头索引的距离、

表示第i个实体词到第j个实体词头索引和尾索引的距离

表示第i个实体词到第j个实体词尾索引和头索引的距离、

分别第i个实体词到第j个实体词尾索引和尾索引的距离；

相对位置遮盖嵌入矩阵被如下计算，并通过激活函数进行激活：

其中，p_d的计算是根据Bert官方的绝对位置嵌入方式进行的，

表示 编码到第d个字符编码到第k个维度是的位置编码，W^p是可学习的参数， d mod e l表示编码的总维度，

表示张量的拼接操作，通过计算的位置编码 嵌入维度将变为[hiddenSize*hiddenSize]，其表示了字与字词与词之间的位置 关联信息。

为了使模型充分学习这种关联信息，我们使用了Transformer一种变体自 注意力机制，其被定义为如下形式：

其中，所有的W_q，W_s，E分别表示维度为[3072，1536]、[768，768]、 [1536，3072]的全连接层神经网络，参数均为自学习。V表示参数自学习的权 重矩阵。

为相对位置遮盖矩阵，将

与Transformer中自注意力矩阵相 加得到融入了相对位置遮盖矩阵的编码器层。

步骤4：将步骤3融入了相对位置遮盖嵌入矩阵的Transformer编码器层 替换Unilm语言模型中的最后一个编码器层，形成优化后unilm语言模型；

为了节省计算资源，和对较小数据集的适应，需要采用预训练模型的迁 移方案来提供足够的常用百科知识信息。因此，本发明将融入了相对位置遮 盖嵌入编码的Transformer编码器层的参数初始化来自于百科知识训练的 bert参数的第12层，并将该层替换Unilm模型最后一层，进行百科知识的 迁移。

步骤5，将步骤3融入了相对位置遮盖嵌入矩阵的Transformer编码器层 替换Unilm语言模型中的最后一个编码器层，形成优化后unilm语言模型；

由于在现实中的问答，问句往往会包含和原句重复的部分。这里我们提 出一种特殊的copy机制。通过输入语句的embedding和最后一层encoder的 输出分别乘以权重矩阵计算生成概率p_gen。具体计算如下：

P_gen＝σ(w_e*h_emb+w_d*h_de)

其中，w_e、w_d和σ为模型自学习参数矩阵，h_emb为模型词嵌入层输出， h_de为解码器的输入。

最终将embedding变换之后的结果与一个位置变换矩阵相乘之后再与 copy概率1-p_gen相乘，将两结果相加作为最终的解码向量。

步骤6：将步骤2得到的测试集输入问题生成模型，得到最终问题生成 结果。

算法分析与对比：

在这部分实验中，我们使用人工标注的6000条土木领域数据对模型进 行使用。使用100条数据对模型进行测试。

考虑到最终计算结果的有效性，结果值中我们除掉了最终结果中的异常 值，例如BLEU为0或为1的值。最终计算其在每条序列上30次的生成结 果平均值和最大值，结果显示我们设计的模型达到了较好的性能水准。

上表展示了所有模型在BLEU指标下的实验结果。在两种不同的指标结 果中，从基线模型开始，到加入了特殊的copy机制从结果上看大幅提升了 输出语句和输入语句的相关性。其中效果最好的是加入了paddinglattice机制 的模型，因为这里完整的融入了输入语句的相对位置信息。从对比试验结果 可以看出我们提出的模型具有较好的生成性能。

本发明提出了一种基于Unilm优化语言模型的中文问题生成方法，区别 于以往的相对位置编码，提出了对词汇进行遮盖的嵌入方式为模型输入了更 多的位置信息。同时提出了一种copy机制能从输入预料中拷贝一不部分作 为输出。使用了领域预训练，这一定程度上提高了模型在目标领域的生成能 力。

Claims (6)

1.一种基于Unilm优化语言模型的中文问题生成方法，其特征在于，具体包括如下步骤：

步骤1，使用从网络爬取的目标领域的语料对bert模型进行预训练，获得参数，并将所述参数同步迁移至Unilm语言模型；

步骤2，使用回忆机制和随机替换实体词机制对中文问答数据做数据增强处理，得到增强数据文本，将增强数据文本分为训练集和测试集；

步骤3，构建包含相对位置遮盖矩阵的编码器层

将中文语料切分成字和词，并根据这些字和词在中文语料中的位置，将字和词的头索引和尾索引分别生成头信息向量以及尾信息向量，设定字的头索引和尾索引相等；在头信息向量中词的尾索引设置为0，在尾信息向量中词的头索引设置为0，将头信息向量和尾信息向量彼此相减，生成四组位置矩阵；将四组位置矩阵拼接后输入全连接神经网络生成相对位置遮盖嵌入矩阵，将相对位置遮盖嵌入矩阵与编码器自注意力矩阵相加得到优化的Transformer编码器层；

步骤4，将步骤3融入了相对位置遮盖嵌入矩阵的Transformer编码器层替换Unilm语言模型中的最后一个编码器层，形成优化后unilm语言模型；

步骤5，构建包含copy机制的特殊解码器层，并替换在步骤4优化后的unilm语言模型的解码器层；将步骤2得到的训练集输入优化后unilm语言模型进行训练，获得问题生成模型；

步骤6：将步骤2得到的测试集输入问题生成模型，得到最终问题生成结果。

2.根据权利要求1所述的一种基于Unilm优化语言模型的中文问题生成方法，其特征在于，步骤1对所述bert模型采用双向遮盖机制和下半句预测机制两个任务进行训练。

3.根据权利要求1所述的一种基于Unilm优化语言模型的中文问题生成方法，其特征在于，步骤2具体如下：

所述回忆机制是使用机器翻译将中文数据翻译成其他语言，再将其回译回中文数据；经过两次翻译后数据得到增强；

所述随机替换实体词机制是使用实体词替换的方法，首先对中文问答数据做命名实体识别并进行同义词替换；

将两种数据增强方法获得的增强文本数据分为训练集和测试集。

4.根据权利要求1所述的一种基于Unilm优化语言模型的中文问题生成方法，其特征在于，步骤3中具体的拼接方法为：

其中，

表示张量的拼接操作，

分别表示头信息向量的转置减头信息向量，头信息向量转置减尾信息向量，尾信息向量转置减头信息向量，尾信息向量转置减尾信息向量；

将R_i，j输入输入全连接神经网络生成相对位置遮盖嵌入矩阵

将

与Transformer中自注意力矩阵相加得到融入了相对位置遮盖嵌入矩阵的Transformer编码器层。

5.根据权利要求1所述的一种基于Unilm优化语言模型的中文问题生成方法，其特征在于，步骤4具体为：

将所述Transformer编码器层替换Unilm语言模型的最后的一个编码器层，同时将Unilm语言模型最后一层的参数初始化为步骤1预训练后的参数。

6.根据权利要求1所述的一种基于Unilm优化语言模型的中文问题生成方法，其特征在于，所述步骤5具体步骤为：

根据优化后Unilm语言模型的词嵌入层和最后一个编码器层的输出计算解码生成概率p_gen，解码器解码后作为问题生成模型的输出，

ouput＝decoder((1-p_gen)*h_emb*w_cp+p_gen*h_de)

其中，ouput表示问题生成模型的输出，decoder表示对括号中的内容进行解码；h_emb为词嵌入层输出，h_de为最后一个编码器层的输入，w_cp表示解码器中的权重矩阵。

Images