CN115345169A

CN115345169A - 一种基于知识增强的文本生成模型及其训练方法

Info

Publication number: CN115345169A
Application number: CN202210866196.7A
Authority: CN
Inventors: 姜怀臣; 张毅阳; 李冬冬
Original assignee: Linyi Zhongke Haoyun Intelligent Technology Co ltd
Current assignee: Linyi Zhongke Haoyun Intelligent Technology Co ltd
Priority date: 2022-07-22
Filing date: 2022-07-22
Publication date: 2022-11-15

Abstract

本发明提供一种基于知识增强的文本生成模型，用于根据输入文本序列生成与之相关的文本序列，该模型包括编码模块和解码模块，编码模块包括：编码单元，用于将输入文本序列中的每个词编码为隐藏向量，根据每个词隐藏向量得到该词的第一语义向量；知识图谱注意力单元，用于基于知识图谱获得与每个词对应的知识图谱向量，并将每个词的知识图谱向量与该词的第一语义向量拼接得到每个词的第二语义向量；第一变分采样单元，用于对第二语义向量进行变分采样，得到第一隐空间向量；回归采样变换单元，用于对第一隐空间向量进行自回归采样，得到第二隐空间向量；解码模块包括：解码单元，用于根据第二隐空间向量进行解码生成与输入文本序列相关的文本序列。

Description

一种基于知识增强的文本生成模型及其训练方法

技术领域

本发明涉及自然语言处理技术领域，具体来说涉及一种基于知识增强的文本生成模型及其训练方法。

背景技术

在自然语言生成中，生成问题一直都是自然语言处理的一大挑战，而深度学习的应用在自然语言生成中起到了重大作用。虽然针对自然语言生成提出的模型很多，但是大部分模型的实际应用效果都不理想。其中，导致模型生成文本的效果不理想的问题的根本原因如下：

1)在小数据集的背景下训练得到的大部分模型的实际生成的文本单一枯燥、文本不够准确。一方面，通过简单的模型堆叠且仅用数据集监督训练得到的模型，导致生成文本序列趋于数据集的文字风格，文本单一枯燥，没有新颖的、脱离数据集的文字，并且生成的文本不可控。另一方面，小数据集下训练的模型会导致模型收敛太慢，很难准确获取数据中的普遍特征。因此，大部分模型初始化的参数无法契合基于小数据集的训练，会导致最终模型收敛慢、不准确，同时，还会导致生成的文本单一枯燥。

2)现有基于Encoder-Decoder的框架下衍生出一代经典的序列到序列(Seq-to-Seq)模型实际生成的文本不准确。该序列到序列模型将序列输入到其编码器进行编码，通过解码器解码获得目标序列，这一方式类似于压缩解压的过程，中间难免会有语义的缺失，导致最终测试生成文本不准确，实际应用中往往不理想。

现有技术中为了克服以上文本输出不准确的问题，在序列到序列模型中会加入多个记忆网络(如LSTM等记忆网络)形成的长期记忆网络组件，目的是为了解决循环神经网络RNN在处理长期记忆(Long Term Memory)的不足导致生成文本不准确的问题；或是加入GRU网络以提升文本准确性并在一定程度上减少运算量。但是这些改进方法都是从输入文本的内部处理角度去生成，没有外部知识的加持，使得模型生成的文本格式依旧单一且枯燥，因此，亟需一种既能保障生成文本的准确性，也能提高生成文本的多样性的文本生成模型。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种基于知识增强的文本生成模型及其训练方法。

本发明的目的是通过以下技术方案实现的：

根据本发明的第一方面，提供一种基于知识增强的文本生成模型，用于根据输入文本序列生成与之相关的文本序列，所述模型包括编码模块和解码模块，其中：所述编码模块包括：编码单元，用于将输入文本序列中的每个词编码为隐藏向量，根据每个词的隐藏向量得到该词对应的第一语义向量；知识图谱注意力单元，用于基于知识图谱获得与输入文本序列中每个词对应的知识图谱向量，并将每个词的知识图谱向量与该词对应的第一语义向量拼接，得到每个词对应的第二语义向量；第一变分采样单元，用于对输入文本序列中所有词的第二语义向量进行变分采样，得到第一隐空间向量；回归采样变换单元，用于对第一隐空间向量进行自回归采样，得到第二隐空间向量；所述解码模块包括：解码单元，用于根据第二隐空间向量进行解码得到隐藏状态信息，并基于隐藏状态信息生成与输入文本序列相关的文本序列。

在本发明的一些实施例中，所述知识图谱注意力单元包括：嵌入注意力层，用于获取与输入文本序列中的每个词相关联的知识图谱，基于每个词对应的知识图谱得到每个词的用于增强语义结构化信息的语义关系图向量；图注意力层，用于基于每个词的第一语义向量和语义关系图向量，得到对应词的知识图谱向量；其中，知识图谱注意力单元将每个词的知识图谱向量与该词对应的第一语义向量拼接，得到每个词的第二语义向量。

在本发明的一些实施例中，所述回归采样变换单元包括全连接神经网络层，全连接神经网络层用于对第一隐空间向量进行自回归采样，得到第二隐空间向量。

在本发明的一些实施例中，所述第一变分采样单元用于基于高斯分布的方式对输入文本序列中所有词的第二语义向量进行变分采样，以得到第一隐空间向量，其中，所述第一变分采样单元包括：第一噪声网络层，用于生成满足高斯分布的第一噪声值；第一取均值网络层，用于确定输入文本序列中所有词的第二语义向量的均值；第一取方差网络层，用于确定输入文本序列中所有词的第二语义向量的方差值；第一变分采样层，用于基于第一噪声值、输入文本序列中所有词的第二语义向量的均值和方差值对多个第二语义向量进行变分采样操作，得到第一隐空间向量。

在本发明的一些实施例中，所述模型还包括：注意力机制单元，利用注意力机制基于每个词的隐藏向量对解码得到的隐藏状态信息进行处理，得到每个词的上下文语义向量；第二变分采样单元，用于基于高斯分布的方式对所有词的上下文语义向量进行变分采样，得到第三隐空间向量；其中，所述解码单元用于根据第二隐空间向量和第三隐空间向量进行解码生成与输入文本序列相关的文本序列。

在本发明的一些实施例中，所述第二变分采样单元包括：第二噪声网络层，用于生成满足高斯分布的第二噪声值；第二取均值网络层，用于确定所有词的上下文语义向量的均值；第二取方差网络层，用于确定所有词的上下文语义向量的方差值；第二变分采样层，用于基于第二噪声值、所有词的上下文语义向量的均值和方差值对上下文语义向量进行变分采样操作，得到第三隐空间向量。

根据本发明的第一方面，提供一种用于本发明第一方面的文本生成模型的训练方法，所述方法包括对模型进行多次迭代训练，其中，每次迭代训练包括：获取训练集，其中，训练集中的样本数据为输入文本序列，标签为与输入文本序列相关的文本序列；利用训练集训练文本生成模型根据样本的输入文本序列学习生成与该输入文本序列相关的文本序列；基于当轮全部样本的标签和生成的文本序列间的差异以及输入文本序列对应的隐空间向量的真实分布与预设的先验分布间的差异，计算总损失；根据总损失进行反向传播更新文本生成模型的参数。

在本发明的一些实施例中，所述总损失通过以下方式进行计算：

其中，

表示总损失，

表示基于输入文本序列x生成的文本序列y和标签之间的差异值，

表示第一隐空间向量z服从先验分布

表示第三隐空间向量att服从先验分布

γ_KL表示权重参数，α_kg表示权重参数，

表示第三隐空间向量att的先验分布

和其真实分布p(att)间的差异值，KL(·)表示散度，β_att表示权重参数，

表示第一隐空间向量z的先验分布

和其真实分布p(z)间的差异值，其中，α_kg大于β_att，α_kh+β_att＝1。

根据本发明的第三方面，提供一种用于文本生成的方法，所述方法包括：利用本发明第二方面所述方法训练的文本生成模型对输入文本序列进行处理，生成与输入文本序列相关的文本序列。

根据本发明的第四方面，提供一种电子设备，包括：一个或多个处理器；以及存储器，其中存储器用于存储可执行指令；所述一个或多个处理器被配置为经由执行所述可执行指令以实现本发明的第二方面和/或本发明的第三方面所述方法的步骤。

与现有技术相比，本发明的优点在于：

1、本发明首先在编码模块中加入知识图谱注意力单元，使模型生成的文本更丰富多样；其次，在采样输出端加入回归采样变换单元，以得到更平滑的隐空间向量，生成文本序列更为连贯。

2、本发明在解码模块与编码模块之间加入了注意力机制单元用于加强保留原始文本语义信息，避免模型脱离原始文本随机生成，进一步加入第二变分采样单元进行变分采样操作，避免加入注意力机制单元的效果过于显著而掩盖融合知识图谱的语义信息。

3、本发明在训练文本生成模型时，计算损失时通过设置的权重参数，以平衡重构损失和KL散度损失，同时，使得文本生成模型更偏向于加入知识图谱的第二语义向量的采样以生成更多样性的文本。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1为根据本发明一个实施例的文本生成模型的结构示意图；

图2为根据本发明一个实施例的文本生成模型的结构示意图；

图3为根据本发明一个实施例的与输入文本序列相关联的知识图谱示意图；

图4为根据本发明一个实施例的回归采样变换单元输出的第二隐空间向量的分布和输入文本序列的真实分布的对比图；

图5为根据本发明一个实施例的文本生成模型的解码模块的结构原理示意图；

图6为根据本发明另一个实施例的文本生成模型的结构示意图；

图7为根据本发明另一个实施例的文本生成模型中的第一变分采样单元和第二变分采样单元的采样结果对比图；

图8为根据本发明另一个实施例的文本生成模型的解码模块的结构原理示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如在背景技术部分提到的，现有技术中多是从输入文本的内部处理角度去生成，没有外部知识的加持，使得模型生成的文本格式单一且枯燥。为了解决该问题，本发明提供一种基于知识增强的文本生成模型，在文本生成模型的编码模块中加入知识图谱注意力单元，在原有编码模块生成的语义向量(为了理解，本发明实施例中称之为第一语义向量)基础上融合与之关联的知识图谱中提取的知识图谱向量，得到改进的语义向量(本发明实施例中称之为第二语义向量)，该改进的语义向量所蕴含的知识更丰富且更具结构化，使得到文本生成模型生成的文本序列更丰富新颖，多样性更强；其次，在文本生成模型中加入回归采样变换单元，以基于本发明改进的语义向量得到更平滑的隐空间向量，生成文本序列更为准确连贯。

进一步的，本发明为了避免文本生成模型脱离原始输入文本序列随机生成，在编码模块和解码模块间加入了注意力机制单元用于加强保留原始文本的语义信息，并进一步加入变分采样单元(为了理解，本发明实施例中称之为第二变分采样单元)进行变分采样操作，避免加入注意力机制单元的效果过于显著而掩盖融合知识图谱的语义向量。

为了更好地理解本发明的文本生成模型，下面结合附图和具体的实施例对该模型结构进行详细说明。

本发明的文本生成模型基于序列到序列seq2seq的结构，用于根据输入文本序列生成与之相关的文本序列，如变分自编码器模型(Variational Auto Encoder，VAE)、条件变分自编码器模型(Conditional Variational Auto Encoder，CVAE)等均为序列到序列seq2seq的结构，该结构包括编码模块和解码模块。为了说明本发明的方案，本发明实施例中主要描述如何对文本生成模型的编码模块进行改进，以及文本生成模型基于改进后的编码模块对文本序列进行编码得到隐空间向量，以使得文本生成模型的解码模块根据改进的编码模块输出的隐空间向量进行解码，生成新颖且准确的文本序列。

根据本发明的一个实施例，提供一种基于知识增强的文本生成模型，该文本生成模型基于VAE模型结构为例进行改进得到，示意性的，改进的VAE模型的编码模块中加入了知识图谱注意力单元KGA和回归采样变换单元；应当理解，此处仅为示意，本发明根据该实施例的启示也可以基于CVAE等其他属于序列到序列seq2seq的结构中进行改进，得到文本生成模型，本发明对此不作任何限制。下面基于VAE模型结构进行改进得到的文本生成模型结构进行详细说明。

参见图1，文本生成模型的结构包括编码模块1和解码模块2。所述编码模块1包括嵌入单元11、编码单元12、知识图谱注意力单元13、第一变分采样单元14和回归采样变换单元15，所述解码模块2包括解码单元21。其中，嵌入单元11对输入文本序列中的每个词进行嵌入处理；编码单元12将嵌入处理后的输入文本序列中的每个词编码为隐藏向量，并根据每个词的隐藏向量得到该词对应的第一语义向量；知识图谱注意力单元13基于知识图谱获得与输入文本序列中每个词对应的知识图谱向量，并将每个词的知识图谱向量与该词对应的第一语义向量拼接，得到每个词对应的第二语义向量；第一变分采样单元14对输入文本序列中所有词的第二语义向量进行变分采样，得到第一隐空间向量；回归采样变换单元15对第一隐空间向量进行自回归采样，得到第二隐空间向量；解码单元21根据第二隐空间向量进行解码得到隐藏状态信息，并基于隐藏状态信息生成与输入文本序列相关的文本序列。

现结合图1给出文本生成模型的数据处理过程，如输入文本序列X为x1、x2、x3…xn，x1、x2、x3…xn分别为语句X中的第一个词、第二个词、第三个词…第n个词，嵌入单元11对语句X中的每个词进行嵌入处理，编码单元12将嵌入处理后的每个词编码为隐藏向量，即x1、x2、x3…xn各自对应隐藏向量为h₀,h₁,h₂…h_n，根据隐藏向量h₀,h₁,h₂…h_n得到各自对应的第一语义向量c₀,c₁,c₂…c_n，将全部词的第一语义向量记为c＝c₀,c₁,c₂…c_n，知识图谱注意力单元13获得每个词的知识图谱向量k₀,k₁,k₂…k_n，全部词的知识图谱向量记为k＝k₀,k₁,k₂…k_n，将每个词的知识图谱向量与该词对应的第一语义向量拼接，得到全部词各自对应的第二语义向量[k₀:c₀]、[k₁:c₁]、[k₂:c₂]…[k_n:c_n]，通过第一变分采样单元14和回归采样变换单元15依次对全部词的第二语义向量进行采样处理，得到第二隐空间向量z，解码模块2通过解码单元基于第二隐空间向量z进行解码，生成与输入文本序列相关的文本序列y₁、y₂、y₃…y_t。应当理解的是，由于对第二语义向量进行采样处理，使得采样后得到的第二隐空间向量的总长度比第二语义向量的总长度更短，即：y_t中的t比[k_n:c_n]中的n的数值小。相关的文本序列可根据实施者的需要配置，本发明对此不作任何限制；例如，相关的文本序列是输入文本序列的摘要序列、关键词序列或者问题序列。实施者可根据具体要执行的预测任务，配置训练数据中的相关的文本序列对应的标签(将标签设为摘要序列、关键词序列或者问题序列中的任一种)，由此以训练模型执行对应的预测任务。当标签是问题序列时，相当于是训练模型根据文本序列提炼该文本序列所对应的问题，该文本序列是相关的文本序列所提问题的答案。

下面以相关的文本序列是输入文本序列对应的问题序列为例，进行说明：

根据本发明的一个实施例，参见图2，编码单元12和解码单元21均采用多个双向长短期记忆网络Bi-LSTM进行编码和解码，另外，编码模块12和解码模块21还可以采用GRU神经网络或其他RNN神经网络等进行编码和解码，知识图谱注意力单元13包括嵌入注意力层131和图注意力层132，第一变分采样单元14包括第一噪声网络层141、第一取均值网络层142、第一取方差网络层143和第一变分采样层144。

现结合图2给出示例，如输入文本序列为“In a united states geologicalsurvey usgs study preliminary rupture models of the earthquake indicateddisplacement of up to 9meters along a fault 240km long by 20km deep”，经过嵌入单元11和编码单元12对输入文本序列的每个词进行处理，得到隐藏向量h₀,h₁,h₂…h_n，其中，通过Bi-LSTM输出的隐藏向量

表示第i个词的前向隐藏向量，

表示第i个词的后向隐藏向量，h₀,h₁,h₂…h_n，基于各个词的隐藏向量得到第一语义向量c＝c₀,c₁,c₂…c_n，嵌入注意力层131用于获取与输入文本序列中的每个词相关联的知识图谱，基于每个词对应的知识图谱得到每个词的用于增强语义结构化信息的语义关系图向量，如第i个词的语义关系图向量为

图注意力层132用于基于每个词的第一语义向量和语义关系图向量，得到对应词的知识图谱向量，全部词的知识图谱向量为k＝k₀，k₁，k₂...k_n；其中，知识图谱注意力单元将每个词的知识图谱向量与该词对应的第一语义向量拼接，得到每个词的第二语义向量，全部词的第二语义向量[k：c]＝[k₀：c₀]、[k₁：c₁]、[k₂：c₂]...[k_n：c_n]，第一变分采样单元14用于基于高斯分布的方式对输入文本序列中所有词的第二语义向量进行变分采样，以得到第一隐空间向量，其中，第一噪声网络层141生成满足高斯分布的第一噪声值∈；第一取均值网络层142用于确定输入文本序列中所有词的第二语义向量的均值m；第一取方差网络层143用于确定输入文本序列中所有词的第二语义向量的方差值σ；第一变分采样层144用于基于第一噪声值∈、输入文本序列中所有词的第二语义向量的均值m和方差值σ对多个第二语义向量进行变分采样操作，得到第一隐空间向量z′，回归采样变换单元15对第一隐空间向量z′进行自回归采样，得到第二隐空间向量z。解码模块2的解码单元根据第二隐空间向量z进行解码，最终生成与输入文本序列相关的文本序列“What was the estimated displacement of the earthquake in the US？”。

根据本发明的一个实施例，嵌入注意力层131获取与输入文本序列中的每个词相关联的知识图谱，当输入文本序列X_k中有l个词，则有l个实体，其中，每个实体相关联的知识图谱为一个或多个知识三元组，知识三元组记为tri＝(R，r，T)，表示头节点R和尾节点T拥有关系r，当相应实体对应的知识图谱为N个知识三元组时，记为tri₁，tri₂，...，tri_N，根据该词相关联的知识图谱得到该词对应的语义关系图向量，记为

参见图3，图3为从常识知识图谱库ConceptNet中获取的与图2中的输入文本序列中的部分词相关联的知识图谱，其中，以输入文本序列中的词为关键实体，如以输入文本序列中的第31个词“deep”作为关键实体来检索整个常识知识图谱库ConceptNet，得到与该关键实体deep关联的相邻实体long、scale、profound，关键实体deep、其中一个相邻实体及关键实体和相邻实体间的关系RelatedTo(有向边)组成一个知识三元组，得到三个知识三元组，其中，虚线框内的相邻实体为知识三元组中的头节点而对应关键实体作为尾结点，表示为tri₁＝(scale，RelatedTo，deep)，实线框内的相邻实体为知识三元组中的尾节点而对应关键实体作为头结点，表示为tri₂＝(deep，RelatedTo，long)，tri₃＝(deep，RelatedTo，profound)，得到词deep的语义关系图向量

同样的，以输入文本序列中的第11个词的单数形式“model”作为关键实体检索整个常识知识图谱库ConceptNet，得到词model的语义关系图向量

其中，RelatedTo表示两个词为相互关联的形式，Formof表示两个词为同一意思的不同形式，DerivedForm表示一个词为另一个词的派生词。以输入文本序列中的第14个词“earthquake”作为关键实体检索整个常识知识图谱库ConceptNet，得到词earthquake的语义关系图向量

对于常识知识图谱库ConceptNet中检索不到的词，例如介词in、of、to、by等，将该词的语义关系词向量置为空值Empty，最终，得到每个词的语义关系图向量。

根据本发明的一个实施例，嵌入注意力层131基于每个词对应的知识图谱得到每个词的用于增强语义结构化信息的语义关系图向量，可通过如下方式得到；

其中，

表示第l个词的语义关系图向量，是第l个词的全部知识三元组的头节点H和尾节点T语义关系的加权和，

表示第n个知识三元组的嵌入注意力权重参数，是头结点H_n和尾结点T_n间关系的关联程度，τ_n＝W_rr_ntanh(W_hH_n+W_tT_n)，W_r表示关系r_n的权重参数，W_h表示头节点H_n的权重参数，W_t表示尾节点T_n的权重参数。

根据本发明的一个实施例，图注意力层132基于每个词的第一语义向量和语义关系图向量，得到对应词的知识图谱向量；

其中，k_l表示第l个词的知识图谱向量，是对语义关系图向量嵌入的加权和，

表示第l个词在t时刻的图注意力权重参数，

c_t表示对应词在t时刻的第一语义向量，W_c为可训练参数。最后，将第l个词的知识图谱向量k_l与第l个词对应的第一语义向量c_l拼接，得到第l个词的第二语义向量[k_l:c_l]。

根据本发明的一个实施例，第一变分采样单元14对输入文本序列中所有词的第二语义向量进行变分采样，得到第一隐空间向量，变分采样例如可以采用如下方式：

z′＝m+exp(σ)*∈，

其中，z′表示第一隐空间向量，∈表示第一噪声值、m表示输入文本序列中所有词的第二语义向量的均值，σ表示输入文本序列中所有词的第二语义向量的方差值，exp表示指数函数。

本发明实施例中由于加入了知识图谱，第一变分采样单元14对第二语义向量进行采样的采样空间大于对原始输入文本序列作为输入直接得到的第一语义向量进行采样的采样空间，会导致采样不准确的问题，因此，为克服以上问题，根据本发明的一个实施例，在加入知识图谱注意力单元13的基础上，还加入回归采样变换单元15对第一隐空间向量进行一次或多次自回归采样。参见图4，图4为回归采样变换单元15对第一隐空间向量进行多次自回归采样得到的第二隐空间向量的分布和输入文本序列的真实分布的对比图，其横轴表示对应的候选词，纵轴表示候选词概率，可以看出，回归采样变换单元15避免了以上问题，使得到第二隐空间向量分布接近真实分布，确保了生成文本序列的准确性。应当理解，本领域技术人员为增加生成文本序列的多样性和准确性，可以根据该实施例的启示进行改进以应用到其他seq2seq的结构中。

根据本发明的一个实施例，所述回归采样变换单元15包括全连接神经网络层，全连接神经网络层为多个MLP网络组成，全连接神经网络层用于对第一隐空间向量进行自回归采样，得到第二隐空间向量。例如，第一个MLP网络对第一隐空间向量进行自回归采样，第二个MLP网络对第一个MLP自回归采样的结果进行再次自回归采样，以此，以最后一个MLP网络对前一个MLP输出的结果进行自回归采样得到的结果作为最终的第二隐空间向量z。自回归采样可通过如下方式进行：

z_i＝w′_if(w_iz′_i-1+b_i)，

其中，z_i表示第i个MLP网络进行第i次自回归采样时得到的结果，i＝1，2，3…n，当i为1时，对应的z′_i-1表示第一隐空间向量，i大于1时，z′_i-1表示第i-1个MLP网络的输出结果，w′_i表示第i个MLP网络的权重参数，f(·)是PRelu激活函数，w_i表示第i个MLP网络的权重参数，b_i为第i个MLP网络的偏置参数。

根据本发明的一个实施例，解码单元21根据第二隐空间向量z进行解码得到隐藏状态信息s＝s₀，s₁，s₂...s_m，并基于隐藏状态信息生成与输入文本序列相关的文本序列。本发明实施例中的解码模块2中的解码单元21包括多个Bi-LSTM网络，因此，通过解码模块2对z进行解码，基于前一时刻的隐藏状态信息、前一时刻的单元状态和前一时刻输出的文本得到文本当前时刻的隐藏状态信息，根据当前时刻的隐藏状态信息输出的概率分布来生成下一个文本，应当理解，此处仅为示意，当解码单元21中为多个GRU网络时，不需计算每个时刻的单元状态，解码单元21仅基于前一时刻的隐藏状态信息和前一时刻输出的文本得到文本当前时刻的隐藏状态信息，并根据当前时刻的隐藏状态信息输出的概率分布来生成下一个文本。

下面根据图5说明利用解码模块2对z进行解码的详细过程，首先，第一个Bi-LSTM网络基于第二隐空间向量z、初始隐藏状态信息s′₀和初始单元状态C′₀进行解码得到第一时刻的隐藏状态信息s₀和单元状态C₀，解码模块2基于s₀对应输出的第一时刻的概率分布来生成What，第二个Bi-LSTM网络基于s₀、C₀和前一时刻输出的单词“What”解码得到第二时刻的隐藏状态信息s₁和单元状态C₁，解码模块2基于s₁对应输出的第二时刻的概率分布来生成was，第三个Bi-LSTM网络基于s₁、C₁和前一时刻输出的单词“was”解码得到第三时刻的隐藏状态信息s₂和单元状态C₂，解码模块2基于s₂对应输出的第三时刻的概率分布来生成the，以此方式，第m个Bi-LSTM网络基于s_m-1、C_m-1和前一时刻输出的单词解码得到第三时刻的隐藏状态信息s_m和单元状态C_m(图中并未示出)，再基于s_m对应输出第m时刻的概率分布来生成US，最后，得到与输入文本序列相关的文本序列。

进一步，为了促进了模型对文本的准确生成，还可以加入注意力机制(Attention)或拷贝机制(指针神经网络，Pointer-Generator-Network)。因此，根据本发明的另一个实施例，参见图6，本发明文本生成模型在上述实施例的基础上，还设置有注意力机制单元3，注意力机制单元3用于加强保留原始文本语义信息，避免模型脱离原始文本随机生成，确保文本的准确生成，同时，还在注意力机制单元3的输出端设置有第二变分采样单元4，第二变分采样单元4用于避免加入注意力机制单元的效果过于显著而掩盖融合知识图谱的语义信息。其中，注意力机制单元3利用注意力机制基于每个词的隐藏向量对解码得到的隐藏状态信息进行处理，得到每个词的上下文语义向量，即基于隐藏向量h＝h₀，h₁，h₂...h_n和隐藏状态信息s＝s₀，s₁，s₂...s_m，得到每个词的上下文语义向量；第二变分采样单元4基于高斯分布的方式对所有词的上下文语义向量进行变分采样，得到第三隐空间向量att；第二变分采样单元4包括第二噪声网络层41、第二取方差网络层42、第二取方差网络层43和第二变分采样层44。其中，第二噪声网络层41用于生成满足高斯分布的第二噪声值∈′；第二取均值网络层42，用于确定所有词的上下文语义向量的均值m′；第二取方差网络层43，用于确定所有词的上下文语义向量的方差值σ′；第二变分采样层44，用于基于第二噪声值∈′、所有词的上下文语义向量的均值m′和方差值σ′对上下文语义向量进行变分采样操作，得到第三隐空间向量att。所述解码单元21根据第二隐空间向量z和第三隐空间向量att进行解码生成与输入文本序列相关的文本序列。

根据本发明的另一个实施例，注意力机制单元3得到每个词的上下文语义向量的具体方式如下：

其中，context_j表示第j个词的上下文语义向量，α_ij＝softmax(e_ij)表示注意力参数，

表示注意力向量，

表示第i个隐藏向量的转置，W_e表示可训练权重参数，h_i表示第i个隐藏向量，s_j表示解码得到的第j个隐藏状态信息。

由于在文本生成模型加入注意力机制单元3，解码模块2直接将第二隐空间向量与上下文语义向量进行拼接的结果进行解码，会导致注意力机制单元的效果过于显著而掩盖融合知识图谱的第二语义向量，生成文本序列单一。因此，为克服以上问题，进一步的，在注意力机制单元3输出端加入第二变分采样单元4对上下文语义向量进行变分采样。参见图7，图7为文本生成模型中的第一变分采样单元14和第二变分采样单元4的采样结果对比图，其横轴表示对应的候选词，纵轴表示候选词概率，两个采样结果的分布相近，使得到的第二隐空间向量z和第三隐空间向量att对齐，将两个向量拼接并进行解码，不仅避免以上问题，还确保了生成文本序列的准确性。应当理解，本领域技术人员为增加生成文本序列的多样性和准确性，可以根据该实施例的启示进行改进以应用到其他seq2seq的结构中。

根据本发明的另一个实施例，第二变分采样单元4基于高斯分布的方式对所有词的上下文语义向量进行变分采样，得到第三隐空间向量，变分采样方式如下：

att＝m′+exp(σ′)*∈′，

其中，att表示第三隐空间向量，∈′表示第一噪声值、m′表示输入文本序列中所有词的上下文语义向量的均值，σ′表示输入文本序列中所有词的上下文语义向量的方差值，exp表示指数函数。

根据本发明的另一个实施例，解码单元21根据第二隐空间向量z和第三隐空间向量att进行解码生成与输入文本序列相关的文本序列。例如，将编码模块1采样的z和第二变分采样单元4采样的att拼接得到z_att，通过解码模块2对z_att进行解码，并基于前一时刻的隐藏状态信息、前一时刻的单元状态和前一时刻的输出的文本得到文本当前时刻的隐藏状态信息，根据当前时刻的隐藏状态信息输出的概率分布来生成下一个文本。

下面根据图8说明解码模块2对z和att拼接得到结果进行解码的详细过程，首先，第一个单词是第一个Bi-LSTM网络根据z和att拼接得到结果、初始隐藏状态信息s′₀和初始单元状态C′₀进行解码得到第一时刻的隐藏状态信息s₀和单元状态C₀，基于s₀输出第一时刻的概率分布来生成What，第二个Bi-LSTM网络基于s₀、C₀和前一时刻输出的单词“What”解码得到第二时刻的隐藏状态信息s₁和单元状态C₁，基于s₁对应输出第二时刻的概率分布来生成was，第三个Bi-LSTM网络基于s₁、C₁和前一时刻输出的单词“was”解码得到第三时刻的隐藏状态信息s₂和单元状态C₂，再基于s₂对应输出第三时刻的概率分布来生成the，以此方式，第m个Bi-LSTM网络基于s_m-1、C_m-1和前一时刻输出的单词解码得到第三时刻的隐藏状态信息s_m和单元状态C_m(图中并未示出)，再基于s_m对应输出第m时刻的概率分布来生成US，最后，得到与输入文本序列相关的文本序列。

根据本发明的另一个实施例，根据当前时刻的隐藏状态信息输出的概率分布来生成一个文本可通过如下计算生成：

其中，y_t表示根据t时刻的概率分布生成的一个文本，p表示概率分布，s_t＝Bi-LSTM(e(y_t-1)，C_t-1，s_t-1)，s_t表示t时刻的隐藏状态信息，e(y_t-1)＝[embed(y_t-1)：z_att]，C_t-1表示Bi-LSTM网络输出的t-1时刻的单元状态信息，y_t-1表示t-1时刻生成的文本，s_t-1表示t-1时刻的隐藏状态信息。

根据本发明的一个实施例，为保证文本生成模型的精确度，需通过大量的样本对其进行训练。当需要将文本生成模型应用到对话模式中，就获取大量的问答形式的样本(即答案作为输入文本序列，问题作为标签)对该模型进行训练；当需要将文本生成模型应用到提取文章摘要中，就获取对应形式的样本(即文章作为输入文本序列，文章摘要作为标签)对该模型进行训练，本发明对此并不限定。

根据本发明的一个实施例，提供一种用于上述实施例的文本生成模型的训练方法，包括按照以下步骤S1、S2、S3和S4，对模型进行多次迭代训练：

步骤S1：获取训练集，其中，训练集中的样本数据为输入文本序列，标签为与输入文本序列相关的文本序列。

根据本发明的一个实施例，将文本生成模型应用到对话模式中，样本数据的输入文本序列为一段文本描述，样本标签为针对该段文本描述的提问文本序列。如示例一：样本输入文本序列为“In a united states geological survey usgs study preliminaryrupture models of the earthquake indicated displacement of up to 9metersalong a fault 240km long by 20km deep”，标签为“How large was thedisplacement？”

步骤S2：利用训练集训练文本生成模型根据样本的输入文本序列学习生成与该输入文本序列相关的文本序列。如根据上述实施例的示例一，生成针对示例一的输入文本序列的提问文本序列：“What was the estimated displacement of the earthquake inthe US？”。

步骤S3：基于当轮全部样本的标签和生成的文本序列间的差异以及输入文本序列对应的隐空间向量的真实分布与预设的先验分布间的差异，计算总损失。

根据本发明的一个实施例，所述总损失通过以下方式进行计算：

其中，

表示总损失，

表示重构损失，为输入文本序列x生成的文本序列y和标签之间的差异值，

表示第一隐空间向量z服从先验分布

表示第三隐空间向量att服从先验分布

γ_KL表示权重参数，α_kg表示权重参数，

表示第三隐空间向量att的先验分布

表示第一隐空间向量z的先验分布

和其真实分布p(z)间的差异值，其中，α_kg大于β_att，α_kg+β_att＝1。将α_kg设置为大于β_att，使得文本生成模型更偏向于加入知识图谱的第二语义向量的采样以生成更多样性的文本。

步骤S4：根据总损失进行反向传播更新文本生成模型的参数。通常，对文本生成模型进行多次训练，直至达到预设迭代轮次或总损失达到预设阈值范围内，则停止更新。

根据本发明的一个实施例，提供一种用于文本生成的方法，所述方法包括：利用本发明上述实施例中的训练方法训练的文本生成模型对输入文本序列进行处理，生成与输入文本序列相关的文本序列。

最后，利用数据集对文本生成模型进行实验验证，得到如下表所示的实验数据。

	BLEU-1	BLEU-2	BLEU-3	BLEU-4
					VSS	32.02	15.68	9.12	5.49
VSS-Graph	32.58	16.05	9.41	5.71
					CVSS-Graph	33.01	16.2	9.47	5.77

其中，上述数据中，VSS是在VAE模型的基础上加入Attention注意力机制单元3和第二变分采样单元4的文本生成模型。VSS-Graph是在VSS基础上加了知识图谱注意力单元13的文本生成模型。CVSS-Graph是在VSS-Graph基础上加入了回归采样变换单元15，并结合上述实施例中的训练方法得到的文本生成模型。BLEU-1、BLEU-2、BLEU-3、BLEU-4分别表示包含一个单词的短语，包含2个单词的短语，包含3个单词的短语，包含4个单词的短语对应的BLEU-1分数、BLEU-2分数、BLEU-1分数和BLEU-1分数，分数越高，准确率越高。

根据实验数据可以看出，在VSS模型中加入了知识图谱注意力单元13的文本生成模型比未加知识图谱注意力单元13的VSS文本生成模型预测准确率更高，而在VSS模型中同时增加了知识图谱注意力单元13和回归变换采样单元15的文本生成模型比VSS文本生成模型的预测准确率提高了0.99，说明增加了知识图谱注意力单元13和回归变换采样单元15的VSS文本生成模型效果更好。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。