CN113656569A - 一种基于上下文信息推理的生成式对话方法 - Google Patents

Abstract

本发明涉及人机交互技术，其公开了一种基于上下文信息推理的生成式对话方法，提高生成式对话系统回复生成的质量。本发明首先对获取的输入信息进行数据清洗，并处理为后续模型需要的输入格式，然后引入自注意力机制分别对历史上下文中的重要单词和重要句子进行关注权重计算，得到相应的语义向量表示，并使用该语义向量表示选取与历史上下文相关的外部知识，在解码过程中通过两步解码，分别将筛选的历史上下文信息和选取的外部知识融入回复的成过程中，得到更加准确的高质量回复。

Description

一种基于上下文信息推理的生成式对话方法

技术领域

本发明涉及人机交互技术，具体涉及一种基于上下文信息推理的生成式对话方法。

背景技术

随着深度学习技术和大数据的发展，为数据驱动对话系统的成长提供了强有力的支持。端到端的生成式对话系统作为一种完全由数据驱动的对话系统不仅需要大量的数据进行训练，同时为了使对话系统能够越加接近人类的对话水平，应当具备分析历史对话信息的能力，并通过历史信息来使用相关的知识信息。如何提高对话系统回复的生成质量，是生成式对话系统研究的重点。

作为一个对话系统，最终研究目标是希望它能够拥有像人一样的思维方式，有效理解与用户的交谈内容，所以需要系统对多轮对话的历史上下文信息进行把握，相比于以往研究的单轮对话，多轮对话系统的难点在于：多轮对话一般会围绕相应的主题开展，如何从历史上下文中得到有助于回复生成的有益信息，帮助系统理解历史对话内容、主题非常重要；同时在人进行对话交流时，会根据对话内容来搜寻自己大脑中具备的知识库，利用相关的知识丰富自己的回复，因此，对话系统中引入外部知识，也是提升机器智能水平的重要方法。

目前的生成式对话研究中，被广泛应用的策略是不加区分地接收全部的历史信息，这样做可能会有许多的信息噪声被输入到模型中，对回复生成造成负面影响。为此一些研究者尝试使用相似度测量来定义对话上下文的相关性。还有研究者尝试将传统Attention(注意力)机制引入模型中，但是在多轮对话过程中，当前回复需要注意的重要信息可能已经不在相近的历史会话中，而是被多句无用话语隔开，该模型通过利用RNN(循环神经网络)，虽然能够关注比较相近的历史上下文信息，但是并不能很好地把握距离较远的有用话语。

因此，现有生成式对话系统存在的不足为：

1、对历史上下文中的信息区分度不足，不能很好地把握与对话相关的关键词句；

2、对外部知识的利用程度较低，无法很好地将其融入回复的生成过程中。

换言之，现有生成式对话系统难以筛选历史上下文中的有效信息，并通过有效信息选用相关的知识辅助回复生成，因此生成的回复质量不高，难以保持主题一致。

发明内容

本发明所要解决的技术问题是：提出一种基于上下文信息推理的生成式对话方法，提高生成式对话系统回复生成的质量。

本发明解决上述技术问题采用的技术方案是：

一种基于上下文信息推理的生成式对话方法，应用于对话系统中，该方法包括以下步骤：

S1、对用户输入信息及历史上下文信息数据进行预处理，获得输入文本数据；

S2、将输入文本数据转化为词向量表示，并通过词级编码器编码后获得输入文本数据的语义向量；

S3、使用自注意力机制对输入文本数据的语义向量进行计算，分别关注历史上下文中的重要句子和句子中的重要单词，获得筛选后的历史上下文语义向量；

S4、对外部知识进行编码，通过自注意力网络，根据所述筛选后的历史上下文语义向量，选取与历史上下文相关的外部知识；

S5、采用两步解码器，在第一步解码中将筛选后的历史上下文语义向量与用户输入信息在对话系统中对应的参考回复结合，得到初步回复，在第二步解码中，将选取的外部知识的语义向量与初步回复结合，生成最终回复。

作为进一步优化，步骤S1具体包括：

S11、进行数据清洗，包括将用户输入信息及历史上下文信息数据进行分词、大小写转换、全角半角格式转换；

S12、将清洗好的数据使用“__eou__”符号进行句子分割，并转换成下游模型处理需要的文本格式，得到输入文本数据。

作为进一步优化，步骤S2具体包括：

S21、利用Word2Vec模型，将输入文本数据转换为词向量；

S22、将输入文本数据的词向量，通过Bi-GRU编码器进行编码，获得输入文本数据的语义向量。

作为进一步优化，步骤S3具体包括：

S31、将输入文本数据的语义向量，按句子输入词级信息筛选器，利用自注意力机制对其关键单词进行关注，计算注意力权重，得到新的语义向量表示，并拼接成上下文初步表示语义向量；

S32、将所述上下文初步表示语义向量，输入句子级信息筛选器，利用自注意力机制对关键句子进行关注，计算注意力权重，完成对历史上下文信息的筛选，获得筛选后的历史上下文语义向量。

作为进一步优化，步骤S4具体包括：

S41、将知识库的外部知识，通过Word2Vec模型转化成词向量；

S42、通过Bi-GRU编码器，对外部知识的词向量进行编码，得到外部知识语义向量；

S43、利用注意力机制，将所述外部知识语义向量与步骤S3中得到的筛选后的历史上下文语义向量进行结合，通过计算所述外部知识语义向量的注意力权重，选取与历史上下文相关的外部知识。

作为进一步优化，步骤S5具体包括：

S51、在两步解码器的第一步解码中，将步骤S3得到的筛选后的历史上下文语义向量与用户输入信息在对话系统中对应的参考回复通过注意力机制进行融合，获得初步回复的自注意力表示；

S52、在两步解码器的第二部解码中，将步骤S4得到的选取的外部知识的语义向量与所述初步回复的自注意力表示通过注意力机制进行融合；

S53、基于步骤S52融合后的向量，通过softmax函数计算单词预测概率，根据预测概率选择单词生成最终回复。

本发明的有益效果是：

通过自注意力机制能够对序列自身进行计算获得内部依赖关系，使模型能够在历史对话上下文中获取到与当前回复生成最相关的句子以及句子中与主题信息相关的单词，从而为模型生成回复提供最有效的信息辅助；

同时，在生成回复的过程中利用了外部知识来增强回复的事实准确性，并通过两步解码器来规避生成过程中筛选出的上下文信息与选取的外部知识之间的相互影响，首先通过第一步解码初步融合了参考回复与筛选出的上下文历史信息，得到第一步解码状态，然后再加入选取的外部知识，完成第二步解码，生成最终的回复，这样既考虑了对历史上下文的充分把握，又在其基础上增加了必要的外部知识，提升回复的质量。

附图说明

图1为本发明实施例中的基于上下文信息推理的生成式对话方法流程图；

图2为本发明中将输入文本数据转换为词向量的流程图；

图3为本发明中的筛选历史上下文语义向量的流程图；

图4为本发明中的筛选外部知识的语义向量的流程图；

图5为本发明中的采用两步解码器进行回复生成的流程图。

具体实施方式

本发明旨在提出一种基于上下文信息推理的生成式对话方法，提高生成式对话系统回复生成的质量。其核心思想是：首先对获取的输入信息进行数据清洗，并处理为后续模型需要的输入格式，然后引入自注意力机制分别对历史上下文中的重要单词和重要句子进行关注权重计算，得到相应的语义向量表示，并使用该语义向量表示选取与历史上下文相关的外部知识，在解码过程中通过两步解码，分别将筛选的历史上下文信息和选取的外部知识融入回复的成过程中，得到更加准确的高质量回复。

实施例：

如图1所示，本实施例中的基于上下文信息推理的生成式对话方法主要包括数据预处理、语义表示、历史上下文信息筛选、外部知识选择和两步解码生成回复几个步骤，具体实施如下：

S1、数据预处理：

本步骤中，对用户输入信息及历史上下文信息数据进行预处理，获得输入文本数据，具体方法包括：

S11、将输入的对话信息，包括用户输入信息及历史上下文信息数据，进行分词、大小写转换、全角半角格式转换等数据清洗工作；

S12、将清洗好的数据使用“_eou_”符号进行句子分割，转换成下游模型需要的格式。

S2、语义表示：

本步骤中，使用Word2Vec模型，将输入文本数据转化成词向量表示，然后采用基于Bi-GRU的词级编码器进行编码，得到语义向量表示。具体的方法如图2所示，其包括：

S21、使用Word2Vec的方法，将清洗好的数据进行向量化表示，获得向量化的输入序列input＝{s₁，s₂，...，s_N}，其中N为句子个数，其中每个句子表示为s_i＝{w₁，w₂，...，w_M}，M为句子中单词的数量。

S22、将步骤S21得到的向量化的句子表示，通过Bi-GRU编码器进行编码，编码过程如下公式所示，

h_M＝BGRU_s({x₁，x₂，...，x_M})

其中，

是通过正向Bi-GRU在t时刻通过x_t和

计算出的向量表示，x_t表示句子中第t个单词的词嵌入，第t个单词也即是在Bi-GRU的第t步(时刻)中计算得到；

是通过反向Bi-GRU在t时刻通过x_t和

计算出的向量表示；h_t由

和

两者拼接组合而成；h_M为最终状态，M为句子中的单词数量。

使用h_M表示句子向量，最终得到句子语义向量为：

其中，

指的是输入句子中第M个单词W_M的语义表示，

指的是第M个单词W_M的语义表示的置信度。

并由历史上下文信息全部句子的语义向量，最终得到上下文语义向量为：

其中，

表示历史上文全部句子的向量表示，

表示每一个句子，N为句子数量；

表示上下文句子中第N个句子的语义表示的置信度。

S3、语义表示：

本步骤中，使用自注意力机制关注对输入文本数据的语义向量进行计算，分别关注历史上下文中的重要句子和句子中的重要单词，获得筛选后的历史上下文语义向量。上述输入文本数据的语义向量，也即步骤S2中由用户输入信息和历史上下文信息数据，编码得到的各句子的句子语义向量

具体的方法如图3所示，包括：

S31、将输入文本数据的语义向量，按句子输入词级信息筛选器，利用自注意力机制对其关键单词进行关注，将

作为Q，K，V，按照如下公式计算注意力权重：

head_i＝selfAttention(QW_i ^Q，KW_i ^K，VW_i ^V)

M＝Concat(head₁，head₂，...，head_H)

O＝MW

其中，采用H个平行头来关注向量的不同维度，对于第i个头，W_i ^Q，W_i ^K，W_i ^V是与n维向量矩阵Q，K，V相关的权重矩阵，通过多个头分别计算后连接组成最终的向量，记为上下文初步表示语义向量O_s。

S32、将上下文初步表示语义向量O_s，也即经过单词筛选的上下文语义向量，输入句子级信息筛选器，利用自注意力机制对关键句子进行关注，计算注意力权重，完成对历史上下文信息的筛选，获得筛选后的历史上下文语义向量。

也即，将O_s输入句子级信息筛选器，按照与步骤S31中词级信息筛选器同样的公式进行计算，得到包含了单词和句子两种粒度信息的历史上下文表示O_c，再通过一个前馈神经网络输出最终的注意力表示

由此完成对历史上下文信息的筛选，获得筛选后的历史上下文语义向量。

S4、外部知识选择：

本步骤中，使用Bi-GRU对外部知识进行编码，并根据筛选出的历史上下文信息，使用知识选择器选择有关的外部知识，得到知识的语义向量表示。具体的流程如图4所示，其包括：

S41、将知识库的外部知识通过Word2Vec转化成词向量，K＝{K₁，K₂，...，K_n}，其中每条知识为

其中

是指第i个外部知识中的第m个单词对于该知识的贡献度。

S42、通过Bi-GRU对外部知识的词向量进行编码，编码过程如下：

其中x_t表示知识序列中第t个单词的词嵌入，

是通过正向Bi-GRU在t时刻通过x_t和

计算出的向量表示，

是通过反向Bi-GRU在t时刻通过x_t和

计算出的向量表示，k_t由两者拼接组合而成。最终的到知识的语义向量k＝{k₁，k₂，...，k_n}，n为知识数量。

S43、使用注意力机制将步骤S3中句子级筛选得到的语义向量、词级筛选得到的语义向量与步骤S42得到的外部知识的语义向量进行结合，计算知识语义向量的注意力权重，实现选取与历史上下文相关的知识，具体计算如下公式所示：

其中U_a，V_a，W_a为学习参数，α_i为第i条知识向量分配的权重，所以经过筛选后的全部知识表示即为所有向量表示的加权和，记为K_a。

S5、两步解码生成回复：

本步骤中，使用两步解码器，在第一步将筛选后的历史上下文语义向量与当前状态向量结合，得到初步回复，然后在第二步将选取的知识的语义向量与初步回复结合，生成最终回复。上述当前状态向量指用户输入信息在对话系统中对应的参考回复O_r，其是由用户输入信息，在不结合历史上下文以及外部知识库的前提下，仅根据用户输入信息，直接由Bi-GRU编码模型得到的语义向量，由步骤S2中获取。

具体的流程如图5所示，其包括：

S51、将步骤S3得到的历史上下文语义向量

与用户输入信息在对话系统中对应的参考回复O_r，通过注意力机制进行融合，计算方式如下：

head_i＝Attention(QW_i ^Q，KW_i ^K，VW_i ^V)

M＝Concat(head₁，head₂，...，head_H)

O＝MW

其中，采用H个平行头来关注向量的不同维度，对于第i个头，W_i ^Q，W_i ^K，W_i ^V是与n维向量矩阵Q，K，V相关的权重矩阵，通过多个头分别计算后连接组成最终的向量表示，这里

作为K，V矩阵，O_r作为Q矩阵。融合后，通过一个前馈神经网络得到初步回复表示

S52、将步骤S4得到的知识语义向量与初步回复的自注意力表示通过注意力机制进行融合，计算方式如下：

Q＝selfattention(K_a)

O_d+k＝Attention(K，Q，V)

融合后，通过一个前馈神经网络得到最终向量，表示

S53、基于融合后的向量，采用注意力分数，通过softmax函数计算单词预测概率。具体计算公式如下：

L(y，p(y|x))＝-logp(y|x)

其中，x为输入，y为目标单词；input为输入序列，r₁，...，r_t-1为已生成的单词，r_t为目标单词，W_O表示参数矩阵。

Claims (6)

1.一种基于上下文信息推理的生成式对话方法，应用于对话系统，其特征在于，该方法包括以下步骤：

S1、对用户输入信息及历史上下文信息数据进行预处理，获得输入文本数据；

S2、将输入文本数据转化为词向量表示，并通过词级编码器编码后获得输入文本数据的语义向量；

S3、使用自注意力机制对输入文本数据的语义向量进行计算，分别关注历史上下文中的重要句子和句子中的重要单词，获得筛选后的历史上下文语义向量；

S4、对外部知识进行编码，通过自注意力网络，根据所述筛选后的历史上下文语义向量，选取与历史上下文相关的外部知识；

S5、采用两步解码器，在第一步解码中将筛选后的历史上下文语义向量与用户输入信息在对话系统中对应的参考回复结合，得到初步回复，在第二步解码中，将选取的外部知识的语义向量与初步回复结合，生成最终回复。

2.如权利要求1所述的一种基于上下文信息推理的生成式对话方法，其特征在于，

步骤S1具体包括：

S11、进行数据清洗，包括将输入的对话信息进行分词、大小写转换、全角半角格式转换；

S12、将清洗好的数据使用“__eou__”符号进行句子分割，并转换成下游模型处理需要的文本格式，得到输入文本数据。

3.如权利要求1所述的一种基于上下文信息推理的生成式对话方法，其特征在于，

步骤S2具体包括：

S21、利用Word2Vec模型，将输入文本数据转换为词向量；

S22、将输入文本数据的词向量，通过Bi-GRU编码器进行编码，获得输入文本数据的语义向量。

4.如权利要求1所述的一种基于上下文信息推理的生成式对话方法，其特征在于，步骤S3具体包括：

S31、将输入文本数据的语义向量，按句子输入词级信息筛选器，利用自注意力机制对其关键单词进行关注，计算注意力权重，得到新的语义向量表示，并拼接成上下文初步表示语义向量；

S32、将所述上下文初步表示语义向量，输入句子级信息筛选器，利用自注意力机制对关键句子进行关注，计算注意力权重，完成对历史上下文信息的筛选，获得筛选后的历史上下文语义向量。

5.如权利要求1所述的一种基于上下文信息推理的生成式对话方法，其特征在于，

步骤S4具体包括：

S41、将知识库的外部知识，通过Word2Vec模型转化成词向量；

S42、通过Bi-GRU编码器，对外部知识的词向量进行编码，得到外部知识语义向量；

S43、利用注意力机制，将所述外部知识语义向量与步骤S3中得到的筛选后的历史上下文语义向量进行结合，通过计算所述外部知识语义向量的注意力权重，选取与历史上下文相关的外部知识。

6.如权利要求1-5任意一项所述的一种基于上下文信息推理的生成式对话方法，其特征在于，

步骤S5具体包括：

S51、在两步解码器的第一步解码中，将步骤S3得到的筛选后的历史上下文语义向量与用户输入信息在对话系统中对应的参考回复通过注意力机制进行融合，获得初步回复的自注意力表示；

S52、在两步解码器的第二部解码中，将步骤S4得到的选取的外部知识的语义向量与所述初步回复的自注意力表示通过注意力机制进行融合；

S53、基于步骤S52融合后的向量，通过softmax函数计算单词预测概率，根据预测概率选择单词生成最终回复。

Images