CN111651557B

CN111651557B - 一种自动化文本生成方法、装置及计算机可读存储介质

Info

Publication number: CN111651557B
Application number: CN202010388608.1A
Authority: CN
Inventors: 郑海涛; 刘昊; 周岚; 沈颖; 肖喜
Original assignee: Shenzhen International Graduate School of Tsinghua University
Current assignee: Shenzhen International Graduate School of Tsinghua University
Priority date: 2020-05-09
Filing date: 2020-05-09
Publication date: 2023-03-31
Anticipated expiration: 2040-05-09
Also published as: CN111651557A

Abstract

本发明提供一种自动化文本生成方法、装置及计算机可读存储介质，方法包括：训练Transformer编码‑解码的深度学习模型,包括：将话题词分别进行文本编码和知识图谱编码得到对应的隐藏状态表示，其中，在知识图谱编码过程中为每个所述话题词添加多个知识图谱三元组；根据所述文本编码和所述知识图谱的三元组编码的隐藏状态表示解码得到生成文本；利用训练好的所述深度学习模型，根据新输入的话题词自动化生成新的文本。装置用于实现方法。通过使用Transformer编码‑解码的深度学习模型，利用Tansformer充分学习了文本之间、知识图谱三元组之间、文本和三元组之间的关系，并产生更为丰富的生成结果。

Description

一种自动化文本生成方法、装置及计算机可读存储介质

技术领域

本发明涉及文本生成技术领域，尤其涉及一种自动化文本生成方法、装置及计算机可读存储介质。

背景技术

文本生成技术，旨在通过机器，根据一段原文本，自动化的产生具有高度可读性的相关文本。这一技术自诞生以来，一直是人工智能领域中的热点课题。文本生成技术可以在有效理解原文本内容的基础上，通过对文字的处理与改造，产生全新的文本。这为人们提供一种更为高效、智能的文本转换模式。人们可以根据自身所需，利用文本生成的方法产生形式和内容多种多样的文本。正是由于文本生成技术的灵活性，学界、工业界在过去一段时间内对其进行了一系列的探索性工作。诸如“智能客服机器人”、“写稿机器人”、“写诗机器人”等应用相继出现，有效地提升了相关行业工作人员的工作效率，节约了人力物力成本。

通过长期的研究工作，文本生成技术已经取得了长足的发展。但是，文本作为信息的一种重要载体，其具有丰富的形式及含义。因此，处理及生成文本的过程中，涉及到大量自然语言处理技术和自然语言理解技术，这也使得文本生成技术成为人工智能领域内的一个难点问题。以往大量有关文本生成技术的成果，还在利用甚至完全依赖人工编写的模板来提升生成的效果。这极大地限制了生成内容的多样性和灵活性。近些年，深度学习模型在文本生成方面取得了巨大的进步，但在实际应用中，仍然存在着一些挑战，其中最为突出的就是：模型生成的文本存在着内容单一、容易重复、可读性差的问题。

近些年，知识图谱领域，蓬勃发展。许多深度学习的研究者开始考虑在深度学习模型中引入知识图谱作为外部信息，辅助模型产生更好的生成效果。这其中应用最为广泛的就是利用知识图谱辅助问答系统的建设。问答系统利用深度学习模型接收用户输入之后，在知识图谱中寻找相应的答案，并利用语言模型产生最后的回答。而在文本生成领域，目前也有一些工作使用知识图谱进行生成，但是主要存在两个问题：

1.这些模型为每个目标实体只添加了一个知识图谱三元组，因此知识图谱对于生成效果的提升效果比较有限，并不能很好地将知识信息融入生成结果当中。

2.这些模型主要使用了基于循环神经网络的编码-解码模型。循环神经网络对于文本的表示能力不足，生成的文本容易产生重复、不连贯的问题。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明为了解决现有的问题，提供一种自动化文本生成方法、装置及计算机可读存储介质。

为了解决上述问题，本发明采用的技术方案如下所述：

一种自动化文本生成方法，包括如下步骤：S1：训练Transformer编码-解码的深度学习模型,包括：将话题词分别进行文本编码和知识图谱编码得到对应的隐藏状态表示，其中，在知识图谱编码过程中为每个所述话题词添加多个知识图谱三元组；根据所述文本编码和所述知识图谱的三元组编码的隐藏状态表示解码得到生成文本；S2：利用训练好的所述深度学习模型，根据新输入的话题词自动化生成新的文本。

优选地，还包括：所述话题词在进入所述深度学习模型之前，使用预训练的Bert模型进行文本编码，对于输入的话题词T_i，通过所述Bert模型得到其隐藏状态向量x_i：

x_i＝Bert(T_i)

通过所述隐藏状态向量得到输入的一组话题词的T＝{T₁,T₂,T₃,…,T_n}对应的隐藏状态表示

优选地，对于所述知识图谱编码得到的图G＝(V,E)中的任意节点w，使用预训练的Bert模型对其产生一个词向量v_x：

v_x＝Bert(w)

将所有所述节点的词向量合并在一起组成初始输入V_x；

在所述深度学习模型的自注意力机制中，对于任意节点向量v_i与其他节点向量v_j的注意力权重a(v_i,v_j)计算为：

其中，W_k、W_q为参数矩阵，C_i为所有与节点i相连的节点组成的集合；

在获得所述节点的权重之后，使用多头自注意力机制更新每个所述节点的中间隐藏状态向量：

其中，v_i为当前对应的结点向量，C_i为所有与节点i相连的节点组成的集合，concat为合并每个Self-Attention的输出；

将

通过一个残差网络resnet和规范化层Norm进行处理，并利用一个全连接的前馈神经网络FFN得到更新的隐藏状态向量/>

向量

即代表节点v_i的隐藏状态向量；

对于所述节点的总数为m的输入V，其中m为预先设定的任意正整数，获得其对应的隐藏状态表示

优选地，根据所述文本编码和所述知识图谱的三元组编码得到的隐藏状态表示解码得到生成文本包括：

对于多头自注意力机制，在第i个时间步下，其中i为介于0和预先设置的最大输出长度之间的任意整数，机制以0到i-1步产生的词语对应的词向量X作为输入，获得第i个时间步对应的输出：

其中，a(x_i-1,x_j)为Self-Attention的权重，Norm为规范化层，concat为合并每个Self-Attention的输出，W_x为自学习参数；

通过话题多头自注意力机制，以普通的Multi-head Self-Attention的输出x_i作为输入，得到对应的更新：

其中，H^T为文本编码单元产生的编码，

为Self-Attention的权重，concat为合并每个Self-Attention的输出，W_T为自学习参数；

通过知识多头自注意力机制，以普通的Multi-head Self-Attention的输出x_i作为输入，得到对应的更新

其中，H^K为知识图谱编码产生的编码，

为Self-Attention的权重，concat为合并每个Self-Attention的输出，W_K为自学习参数；

为了权衡话题信息与知识图谱信息在生成过程中的权重，添加了一个自学习参数weight：

其中，W_T、W_K、b为自学习参数；

最终，对于第t个时间步，所述隐藏状态表示h_t计算为：

产生对应的词表分布P_vocab：

P_vocab(y_t)＝softmax(linear(h_t))

其中，linear为线性函数，y_t为生成的词语。

优选地，还包括：在自动化生成新的文本的每一个生成词语的时间步中，通过选择门判断是生成一个词，还是从知识图谱中拷贝一个词语。

优选地，选择门gate的计算同时与多头自注意力的输出x_t、知识多头自注意力的输出

以及所述隐藏状态表示h_t有关：

其中，linear是线性函数，σ为激活函数；

获得所述选择门gate的值之后，计算此时新的词表的分布概率：

其中，H^K为所述知识图谱编码产生的编码，

为所述知识多头自注意力中x_i所对应的权重。

本发明还提供一种自动化文本生成装置，包括：编码单元，包括文本编码单元和知识图谱编码单元，用于将话题词分别进行文本编码和知识图谱编码得到对应的隐藏状态表示，其中，在知识图谱编码过程中为每个所述话题词添加多个知识图谱三元组；

解码单元，用于根据所述文本编码和所述知识图谱的三元组编码的隐藏状态表示解码得到生成文本。

优选地，所述编码单元，是由N个复合层组成，其中N为预先设定好的任意正整数，每个复合层包含两个单层，分别是多头自注意力层和全连接的前馈网络层；每个单层之间使用一个残差网络和规范化层进行处理；所述解码单元，具有N个复合层，每个复合层具有四个单层：普通的多头自注意力层、话题多头自注意力层、知识多头自注意力层以及全连接的前馈神经网络层。

优选地，所述解码单元还包括拷贝单元，用于从知识图谱三元组中复制一部分词语到生成文本中去。

本发明再提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。

本发明的有益效果为：提供一种自动化文本生成方法、装置及计算机可读存储介质，通过使用Transformer编码-解码的深度学习模型，利用Tansformer充分学习了文本之间、知识图谱三元组之间、文本和三元组之间的关系，并产生更为丰富的生成结果。

进一步的，本发明可以为每个实体添加了多个知识图谱三元组，并设计了知识图谱三元组信息的编码方式，实现了将大量知识融入深度学习模型的效果。

再进一步的，还在模型中添加了拷贝机制，将三元组中的实体拷贝到生成结果当中，将知识图谱最大化的加以利用，更进一步的提升了生成效果。

附图说明

图1是本发明实施例中一种自动化文本生成方法的方法示意图。

图2是本发明实施例中Transformer编码-解码的深度学习模型的示意图。

图3是本发明实施例中解码单元的示意图。

图4是本发明实施例中一种自动化文本生成方法的流程示意图。

图5是本发明实施例中三元组转换方法示意图。

图6是本发明实施例中文本解码模块结构示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

如图1所示，本发明提供一种自动化文本生成方法，包括如下步骤：

S1：训练Transformer编码-解码的深度学习模型,包括：

将话题词分别进行文本编码和知识图谱编码得到对应的隐藏状态表示，其中，在知识图谱编码过程中为每个所述话题词添加多个知识图谱三元组；

根据所述文本编码和所述知识图谱的三元组编码的隐藏状态表示解码得到生成文本；

S2：利用训练好的所述深度学习模型，根据新输入的话题词自动化生成新的文本。

如图2所示，在训练过程中，使用的Transformer编码-解码的深度学习模型，主要由两个部分构成：编码单元和解码单元。编码单元负责将输入文本和知识图谱编码为对应的隐藏状态向量，其又可细分为文本编码单元和知识图谱编码单元两个子单元。

解码单元包括文本解码单元，用于根据所述文本编码和所述知识图谱的三元组编码的隐藏状态表示解码得到生成文本。

如图3所示，解码单元还包括拷贝单元，用于从知识图谱三元组中复制一部分词语到生成文本中去。

本发明使用Transformer编码-解码的深度学习模型，利用Tansformer充分学习了文本之间、知识图谱三元组之间、文本和三元组之间的关系，并产生更为丰富的生成结果。

再进一步的，还在模型中添加了拷贝机制，将三元组中的实体拷贝到生成结果当中，将知识图谱最大化的加以利用，更近一步的提升了生成效果。

如图4所示，用户将话题词输入文本编码单元，文本编码单元将其编码为代表话题词语义信息的向量形式。同时，这些话题词也作为知识图谱编码单元的输入。知识图谱编码单元又可以细分为三元组的查找、三元组的重组、三元组的编码三个步骤。在三元组的查找步骤中，单元以话题词为头节点，查找与之关联的三元组信息。三元组重组步骤中，将查找得到的三元组表示为图的形式，然后该图在三元组编码过程中得到对应的编码。话题词的编码和知识图谱的编码经过融合之后，输入文本解码单元，并逐词产生文本内容。为了更进一步的利用知识图谱的实体信息，在解码的过程中，还加入了拷贝机制从知识图谱三元组中拷贝实体到生成文本中去。下面分别介绍各个单元。

本发明的方法包括两个阶段：训练阶段和生成阶段。训练阶段即通过现有的文章内容对编码单元和解码单元进行训练，训练结束后就得到了最后的文本生成模型。生成阶段就是利用训练好的文本生成模型，对给定的新的话题词输入，生成与话题词相关的文本。

文本编码单元：

本单元完成将输入的每个话题词转化为其对应的语义向量表达形式，并以此得到全部话题词的隐藏状态向量。编码单元采用Transformer结构，这一结构是由Google团队在2017年时提出的。Transformer采用了以Self-Attention作为基础单元的结构，相比与普通的模型使用长短时记忆单元(LSTM)，Transformer可以更为有效地学习输入的上下文关系，从而给出更丰富准确的词语表征向量。使用的Transformer由6个相同的复合层组成。每个复合层由多头自注意力机制和全连接的位置前馈网络组成。除了第一个复合层，其他复合层以前一层的输出作为输入。在复合层中，每一个单层之后，都会通过一个类似于残差结构的网络和一个规范化层进行处理。

对于每个话题词，首先使用预先训练好的Bert模型对应的向量，接着通过矩阵得到可以得到话题词对应的低维的表示。之后，将每个话题词的表示输入到Transformer模型当中，产生话题词对应的隐藏状态向量。

具体的，使用了Transformer的结构，对话题词进行编码。在进入Transformer之前使用了预训练的Bert模型对文本进行向量化。对于输入的话题词T_i，通过Bert得到其向量表示x_i：

x_i＝Bert(T_i)

将所获得的向量表示通过一个Transformer的编码单元。该编码单元是由N个复合层组成的，每个复合层包含两个单层，分别是Multi-head Self-Attention和全连接的前馈网络。每个单层之间使用一个残差网络和规范化层进行处理。这样对于一组话题词的T＝{T₁,T₂,T₃,…,T_n}作为输入，可以得到它们对应的隐藏状态表示

知识图谱编码单元：

在三元组的查找阶段，以输入的话题词为头节点，查找到m条三元组信息，然后以这m条三元组的尾节点为新的头节点，再在知识图谱中找到k条三元组信息，一共搜索得到km条三元组，作为模型的扩充知识。此处，m、k的值可以自行定义。

如图5所示，对于三元组的重组，每条三元组，都将其关系结点拆分为正反两个对应的关系，然后与头尾节点分别建立连接，其过程如图2所示。这样就可以将三元组表示为图的形式，同时，通过建立正反两个关系节点，可以有效地在图中表示出尾节点对头节点的影响。在三元组的编码阶段，使用了改进的Transformer对其进行编码。在Transformer的Self-Attention的具体计算过程中，只选取与当前节点存在边的那些节点参与到计算过程中，对于没有边的节点，不参与注意力权重的计算。最后，每一个抽取的得到的三元组实体或关系，都可以得到一个对应的隐藏状态向量。

具体的，对于知识图谱得到的图G＝(V,E)，使用了改进的Transformer对其进行编码。对于图中的任意节点w，首先使用已经完成预训练的Bert模型对其产生一个词向量v_x：

v_x＝Bert(w)

然后，将所有节点的词向量合并在一起组成初始输入V_x。

在Transformer的Self-Attention机制中，对于任意节点向量v_i，它与其他节点向量v_j的注意力权重a(v_i,v_j)可以计算为：

其中，W_k、W_q为参数矩阵，C_i为所有与节点i相连的节点组成的集合。在获得节点权重之后，使用Multi-head Self-Attention更新每个节点的中间向量表示：

其中，v_i为当前对应的结点向量，C_i为所有与节点i相连的节点组成的集合，concat为合并每个Self-Attention的输出。然后将

通过一个残差网络resnet(residualnetwork)和规范化层Norm(normalisation layer)进行处理，并利用一个全连接的前馈神经网络FFN得到更新的向量表示/>

然后，向量

即可以代表节点v_i的向量表示。对于节点的总数为m的输入V，可以获得其对应的隐藏状态表示/>

其中，m为预先设定的任意正整。

文本解码单元：

如图6所示，本单元主要根据话题词和知识图谱三元组编码的到的隐藏状态隐藏状态向量，解码得到对应的生成文本。使用了基于Transformer的解码器来产生文本内容。解码器同样具有N个复合层，不同的是，每个复合层具有四个单层：一层普通的Multi-headSelf-Attention、一个处理话题词之间关系的Multi-headSelf-Attention(称为话题多头自注意力)、一个处理知识图谱信息的Multi-headSelf-Attention(称为知识多头自注意力)以及一个全链接的前馈神经网络。每个单层之间同样使用规范化层进行处理。其中，对于话题多头自注意力机制，使用话题词的隐藏状态向量来进行权重计算。在知识多头自注意力机制中，使用三元组的隐藏状态向量来进行权重计算。为了权衡话题信息与知识图谱信息，添加了一个自学习参数weight，让模型自主学习两者在生成过程中的权重，从而充分调动模型的能力来产生更丰富的生成文本。

从编码器获得输入的隐藏状态表示之后，通过基于Transformer的解码器来产生文本内容。解码器同样具有N个复合层，不同的是，每个复合层具有四个单层：一层普通的Multi-head Self-Attention、一个话题多头自注意力、一个知识多头自注意力以及一个全链接的前馈神经网络。

其中，上述其中N为预先设定好的任意正整数，通常为6或12。

对于第一层普通的Multi-headSelf-Attention，在第i个时间步下，该层以0到i-1步产生的词语对应的词向量X作为输入，其中为介于0和预先设置的最大输出长度之间的任意整数。获得第i个时间步对应的输出：

其中a(x_i-1,x_j)为Self-Attention的权重，Norm为规范化层，concat为合并每个Self-Attention的输出，W_x为自学习参数。

对于话题多头自注意力机制，以普通的Multi-headSelf-Attention的输出x_i作为输入，得到它对应的更新：

其中，H^T为文本编码模块产生的编码，

为Self-Attention的权重，concat为合并每个Self-Attention的输出，W_T为自学习参数。

对于知识多头自注意力机制，以普通的Multi-headSelf-Attention的输出x_i作为输入，得到它对应的更新

其中，H^K为知识图谱编码模块产生的编码，

为Self-Attention的权重，concat为合并每个Self-Attention的输出，W_K为自学习参数。

其中，W_T、W_K、b为自学习参数。

最终，对于第t个时间步，编码器的隐藏状态h_t可计算为：

通过解码器，模型可以产生对应的词表分布P_vocab：

P_vocab(y_t)＝softmax(linear(h_t))

其中，linear为线性函数，y_t为生成的词语。

拷贝单元：

为了减少生成文本中出现表外词的问题，使用了拷贝机制。该机制可以让模型从知识图谱三元组中复制一部分词语到生成文本中去，从而提升文本的可读性。设计了一个参数gate作为选择门。在每一个生成词语的时间步中，该选择门可以判断此时模型是应该生成一个词，还是从知识信息中拷贝一个词语。gate的计算同时与当前话题多头自注意力的输出、知识多头自注意力的输出以及当前解码器隐藏状态有关。在计算得到gate之后，模型综合文本解码单元和拷贝单元的结果，产生最终的生成文本。

为了减少生成文本中出现表外词的问题，使用了拷贝机制。设计了一个参数gate作为选择门。在每一个生成词语的时间步中，该选择门可以判断此时模型是应该生成一个词，还是从知识信息中拷贝一个词语。gate的计算同时与当前话题多头自注意力的输出x_t、知识多头自注意力的输出

以及当前编码器隐藏状态h_t有关：

其中，linear是线性函数，σ为激活函数。

获得gate的值之后，模型便可以计算此时新的词表的分布概率：

其中，H^K为知识图谱编码模块产生的编码，

为知识多头自注意力中x_i所对应的权重。

在一种具体的实施例中，输入的文本为(秋天、秋高气爽、丰收、交响乐)，利用本发明的方法和装置中的知识图谱，提取出一些与之相关的三元组信息来辅助生成。

表1生成效果实例

/>

由表1可知，LSTM编码器-解码器模型的生成结果，内容较为单一，只涵盖了两个输入的词“秋天”“丰收”，而且生成内容有大量的重复片段。而Transformer编码器-解码器，即使在没有拷贝机制的情况下，也能生成较为丰富的文本，且能涵盖更多输入的词语。在添加拷贝机制之后，生成结果的丰富性进一步加强，通过从知识图谱中进行拷贝的方法，“秋高气爽”也被生成文本有效包含了。

本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。

本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。

本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。

所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact DiscRead-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random AccessMemory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced SynchronousDynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。