CN109063164A - 一种基于深度学习的智能问答方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的智能问答方法，包括如下步骤：步骤1，采集原始对话数据；步骤2，数据预处理，所述数据预处理包括对原始对话数据的文本的向量化表示和标记，步骤3，构建Seq2seq模型，建立编码层(Encoder)和解码层(Decoder)，连接Encoder层与Decoder层得到Seq2seq模型；步骤4，模型预测，所述模型预测是根据上述构建的Seq2seq模型，并用原始对话数据加以训练后，以问题数据为输入，模型自动生成评论数据。达到通过深度学习，将问题直接映射到回答，从而对问答方法的整体进行优化，避免了误差传递的问题，而且极大的降低了系统的复杂性的效果。

Description

一种基于深度学习的智能问答方法

技术领域

本发明涉及自然语言处理领域，特别是涉及一种基于深度学习的智能问答方法。

背景技术

随着人工智能时代的带来，走在潮流最前沿的领域是对话式交互(个人助理或聊天机器人)和计算机视觉以及自动驾驶——由于硬件和大数据的进步，以及有着革命性发展的机器学习技术(仅仅在几年内就在一定范围内取得了巨大进步)。人工智能的进步使得以前那些被认为是超出了机器可处理范围的问题在现在也能被迎刃而解了，并且这种技术产品已经成为了我们日常生活中触手可及的商品。

个人助理或聊天机器人的本质大多是开放领域的智能问答，在目前的问答系统中，基于检索匹配结合传统机器学习的思想仍然是NLP的主流，一般先通过语义分析提取关键词、关键词匹配、算法判定句子功能(计算距离这个句子最近的标识好的句子)，最后再从提前准备的数据库里提供用户输出结果。显然，这明显谈不上智能，只能算一种搜索功能的实现，而缺乏真正的语言能力。而且应用场景在国内主要还是垂直领域如客服机器人，其特点是知识有限，稳定性高。但是对于开放领域的智能问答，仅仅依靠知识库的检索是远远不够的，如日常对话、闲聊等对话场景，这就需要基于深度学习的对话生成构建策略。首先，从数据上看，经过前些年互联网的发展，很多应用都积累到了足够量的数据。当数据量增大，以SVM、CRF等为代表的浅层模型，因为模型较浅，无法对海量数据中的非线性关系进行建模，所以不能带来性能的提升。相反，以CNN、RNN为代表的深度模型，能够随着模型复杂性的增加，对数据进行更精准的建模，从而得到更好的效果。其次，从算法上看，基于深度学习的方法，可以使用end to end方式进行解决。比如聊天对话任务，如果用传统的方法，需要分词、提取关键词、关键词匹配、相似度计算等冗长的流程，每一步产生的误差都有可能对其他步骤产生影响，这使得原来的传统方法的构建复杂度很大。

因此需要一种更好的办法，将问题直接映射到回答，从而对问答方法的整体进行优化，避免了误差传递的问题，而且极大的降低了系统的复杂性。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种基于深度学习的智能问答方法。

为解决上述技术问题，本发明提供一种基于深度学习的智能问答方法，其特征在于，包括如下步骤：

采集原始对话数据；

步骤2，数据预处理，所述数据预处理包括对原始对话数据的文本的向量化表示和标记，所述对原始对话数据的文本的向量化表示是指将原始对话数据的文本转化为模型可理解的数字，所述对原始对话数据的文本的标记是指在原始对话数据的文本中加入标识符，所述标识符包括起始标识符和结束标识符；

步骤3，构建Seq2seq模型，先建立编码层(Encoder)和解码层(Decoder)，连接Encoder层与Decoder层得到Seq2seq模型；所述编码层中，首先定义输入的张量(Tensor)，同时要对字母进行嵌入(Embedding)，再输入到递归神经网络层(RNN)；在解码层中，将评论数据的序列作为输入传给解码层中递归神经网络层的每个阶段，所述解码层包括训练(training)解码层和预测(predicting)解码层；

步骤4，模型预测，所述模型预测是根据上述构建的Seq2seq模型，并用原始对话数据加以训练后，以问题数据为输入，模型自动生成评论数据。

所述步骤1中，所述原始对话数据包括问题数据与评论数据，所述问题数据记为source_data，所述评论数据记为target_data；所述步骤2中，先对原始对话数据的文本进行分词，再采用独热编码(One-Hot Encoding)的编码形式将原始对话数据的文本转化为模型可理解的数字。

所述步骤2中，对原始对话数据的文本进行标记是指：加入以下四种字符，<PAD>主要用来进行字符补全；<EOS>和<GO>都是用在解码层的序列中，告诉解码器句子的起始与结束；<UNK>则用来替代一些未出现过的词或者低频词；即：

<PAD>:补全字符；

<EOS>:解码器端的句子结束标识符；

<UNK>:低频词或者一些未遇到过的词等；

<GO>:解码器端的句子起始标识符；

具体实现步骤包括：

2.1，构造映射表，根据原始数据的情况确定向量空间；

2.2，将原始单词转换为向量空间中的一个向量。

所述步骤3中，使用TensorFlow中的tf.contrib.layers.embed_sequence来对输入进行嵌入(Embedding)，具体实现步骤包括：

3.1，词嵌入，通过Embedding得到低维度的语义向量；

3.2，构造Encoder，这里我们采用LSTM的单元。

所述步骤3中，在解码层中，需要对target数据进行预处理然后构造解码层，所述对target数据进行预处理是指，将target数据序列中的最后一个字符去掉，同时还需要在前面添加<go>标识，告诉模型这代表一个句子的开始。

所述步骤3中，构造解码层包含以下5个部分：

1)对target数据进行嵌入；

2)构造解码层的RNN单元；

3)构造输出层，从而得到每个时间序列上的预测结果；

4)构造训练解码层(training decoder)；

5)构造预测解码层(predicting decoder)；

这里将解码层分为了训练解码层(training decoder)和预测解码层(predictingdecoder)，训练解码层(training decoder)和预测解码层(predicting decoder)是共享参数的，也就是通过训练解码层(training decoder)学得的参数，预测解码层(predictingdecoder)会拿来进行预测，在训练阶段，直接使用target data中序列的元素输入到解码层中，而在预测阶段，没有target data，只有t-1阶段的输出和隐层状态。

本发明所达到的有益效果:通过深度学习，将问题直接映射到回答，从而对问答方法的整体进行优化，避免了误差传递的问题，而且极大的降低了系统的复杂性。不同于传统基于特定数据库进行检索的方法，由数据驱动的自动生成对话方法可以生成一种全新的回复，因此相对更为灵活，也更适用于开放域的问答场景。

附图说明

图1为本发明的示例性实施例的流程简图；

图2为本发明的示例性实施例的编码层与解码层中的target序列结构示意图。

具体实施方式

下面结合附图和示例性实施例对本发明作进一步的说明：

如图1所示，示例性实施例的流程包括以下步骤：

步骤1，采集原始对话数据，利用互联网爬虫技术抓取了百万级的某社交网络平台的评论数据，包括问题数据与评论数据，分别记为source_data和target_data；

步骤2，数据预处理，先对原始对话数据(包括问题数据与评论数据)进行分词，中文分词技术作为一个独立的研究领域，技术繁杂，本文不再赘述其具体技术细节，而直接采用现成的分词工具(Jieba)，同时采用独热编码(One-Hot Encoding)的编码形式将文本转化为模型可理解的数字，。独热编码，直观来说就是有多少个状态就有多少比特，而且只有一个比特为1，其他全为0的一种码制。在本专利中，每一个单词编码后的向量长度由原始文本数据分词后所有的单词数决定，每个单词即为空间的一维，编码后的向量该维度的取值为1，其他为0。因为计算机只能处理数字信号，独热编码完成了原始数据从文本向数学向量的转换，即文本向量化表示。同时对原始文本进行标记，加入以下四种字符，<PAD>主要用来进行字符补全，<EOS>和<GO>都是用在解码层(Decoder)的序列中，告诉解码器句子的起始与结束，<UNK>则用来替代一些未出现过的词或者低频词。

<PAD>:补全字符。

<EOS>:解码器端的句子结束标识符。

<UNK>:低频词或者一些未遇到过的词等。

<GO>:解码器端的句子起始标识符。

具体实现步骤包括：1.构造映射表，根据原始数据的情况确定向量空间；2.将原始单词转换为向量空间中的一个向量。使用代码如下：

步骤3构建Seq2seq模型，主要包括Encoder层与Decoder层。在Encoder层，首先需要对定义输入的tensor，同时要对字母进行Embedding，再输入到RNN层。关于工具的选择，TensorFlow作为深度学习最流行的开源框架，由谷歌开源并维护，可用性高，灵活性好，运行效率高，而且有强大的社区、企业支持。所以在这里，使用TensorFlow中的tf.contrib.layers.embed_sequence来对输入进行embedding。具体地，假如有一个batch＝2，sequence_length＝5的样本，features＝[[1,2,3,4,5],[6,7,8,9,10]]，使用代码如下：

那么会得到一个2*5*10的输出，其中特征(features)中的每个数字都被嵌入(embed)成了一个10维向量。具体实现步骤包括：1.词嵌入，由于独热编码后的向量面临着维度过高和单词之间是孤立的问题，进一步通过Embedding得到低维度的语义向量；2.构造Encoder，这里我们采用LSTM的单元(Tensorflow中已将LSTM单元完全封装好，这里我们直接采用，不再赘述具体实现细节)。使用代码如下：

在解码层(Decoder)，需要对target数据进行处理然后构造解码层。

target数据有两个作用：

1、在训练过程中需要将target序列作为输入传给Decoder端RNN的每个阶段，而不是使用前一阶段预测输出，这样会使得模型更加准确；

2、需要用target数据来计算模型的loss指标。

我们首先需要对target数据进行预处理。在我们将target中的序列作为输入给Decoder端的RNN时，序列中的最后一个字母(或单词)其实是没有用的。

我们此时只看右边的Decoder层，可以看到我们的target序列是[<go>,W,X,Y,Z,<eos>]，其中<go>，W，X，Y，Z是每个时间序列上输入给RNN的内容，我们发现，<eos>并没有作为输入传递给RNN。因此我们需要将target中的最后一个字符去掉，同时还需要在前面添加<go>标识，告诉模型这代表一个句子的开始。使用代码如下：

构造解码层包含以下5个部分

1)对target数据进行embedding。

2)构造decoder端的RNN单元。

3)构造输出层，从而得到每个时间序列上的预测结果。

4)构造training decoder。

5)构造predicting decoder。

这里将decoder分为了training decoder和predicting decoder，这两个decoder实际上是共享参数的，也就是通过training decoder学得的参数，predicting会拿来进行预测。在training阶段，为了能够让模型更加准确，我们并不会把t-1的预测输出作为t阶段的输入，而是直接使用target data中序列的元素输入到decoder中，这样采用可以避免将t-1时刻的误差传递到t时刻，因为在训练阶段，我们有target data，这是真实数据，这相比预测出的数据更准确。而在predict阶段，我们没有target data，只有t-1阶段的输出和隐层状态。使用代码如下：

构建好了Encoder层与Decoder层以后，我们需要将它们连接起来得到我们的Seq2seq模型。具体实现步骤包括：1.获取encoder的状态输出；2.预处理decoder输入；3.将状态向量与输入传递给decoder，得到最终的输出。使用代码如下：

步骤4模型预测，根据上述构建的Seq2seq模型，并用对话数据加以训练后，以日常问题为输入，模型自动生成回复，模型效果如表1，可见，基于深度学习的对话生成策略可用。值得一提的是，当前并没有一个很好的技术指标能解决对话系统的评估问题，所以我们采用了人工评价的方式，从响应的适当性、流畅度、相关性进行考量，得到了上述结论。

表1基于深度学习的应答结果

以上，本发明设计一套完整建模流程，针对开放领域智能问答这一主题使用了一种基于深度学习的对话生成构建策略，基于Seq2seq模型，利用大规模对话集进行训练，以得到对不同的问题自动生成回答的问答模块，此模块可作为开放领域智能问答系统中的核心模块。

本发明主要用于提供一种基于深度学习的智能问答方法，通过深度学习，将问题直接映射到回答，从而对问答方法的整体进行优化，避免了误差传递的问题，而且极大的降低了系统的复杂性。

以上实施例不以任何方式限定本发明，凡是对以上实施例以等效变换方式做出的其它改进与应用，都属于本发明的保护范围。

Claims (6)

1.一种基于深度学习的智能问答方法，其特征在于，包括如下步骤：

步骤1，采集原始对话数据；

步骤2，数据预处理，所述数据预处理包括对原始对话数据的文本的向量化表示和标记，所述对原始对话数据的文本的向量化表示是指将原始对话数据的文本转化为模型可理解的数字，所述对原始对话数据的文本的标记是指在原始对话数据的文本中加入标识符，所述标识符包括起始标识符和结束标识符；

步骤3，构建Seq2seq模型，先建立编码层(Encoder)和解码层(Decoder)，连接Encoder层与Decoder层得到Seq2seq模型；所述编码层中，首先定义输入的张量(Tensor)，同时要对字母进行嵌入(Embedding)，再输入到递归神经网络层(RNN)；在解码层中，将评论数据的序列作为输入传给解码层中递归神经网络层的每个阶段，所述解码层包括训练(training)解码层和预测(predicting)解码层；

步骤4，模型预测，所述模型预测是根据上述构建的Seq2seq模型，并用原始对话数据加以训练后，以问题数据为输入，模型自动生成评论数据。

2.如权利要求1所述的一种基于深度学习的智能问答方法，其特征在于：所述步骤1中，所述原始对话数据包括问题数据与评论数据，所述问题数据记为source_data，所述评论数据记为target_data；所述步骤2中，先对原始对话数据的文本进行分词，再采用独热编码(One-Hot Encoding)的编码形式将原始对话数据的文本转化为模型可理解的数字。

3.如权利要求2所述的一种基于深度学习的智能问答方法，其特征在于：所述步骤2中，对原始对话数据的文本进行标记是指：加入以下四种字符，<PAD>主要用来进行字符补全；<EOS>和<GO>都是用在解码层的序列中，告诉解码器句子的起始与结束；<UNK>则用来替代一些未出现过的词或者低频词；即：

<PAD>:补全字符；

<EOS>:解码器端的句子结束标识符；

<UNK>:低频词或者一些未遇到过的词等；

<GO>:解码器端的句子起始标识符；

具体实现步骤包括：

2.1，构造映射表，根据原始数据的情况确定向量空间；

2.2，将原始单词转换为向量空间中的一个向量。

4.如权利要求3所述的一种基于深度学习的智能问答方法，其特征在于：所述步骤3中，使用TensorFlow中的tf.contrib.layers.embed_sequence来对输入进行嵌入(Embedding)，具体实现步骤包括：

3.1，词嵌入，通过Embedding得到低维度的语义向量；

3.2，构造Encoder，这里我们采用LSTM的单元。

5.如权利要求4所述的一种基于深度学习的智能问答方法，其特征在于：所述步骤3中，在解码层中，需要对target数据进行预处理然后构造解码层，所述对target数据进行预处理是指，将target数据序列中的最后一个字符去掉，同时还需要在前面添加<go>标识，告诉模型这代表一个句子的开始。

6.如权利要求5所述的一种基于深度学习的智能问答方法，其特征在于，所述步骤3中，构造解码层包含以下5个部分：

1)对target数据进行嵌入；

2)构造解码层的RNN单元；

3)构造输出层，从而得到每个时间序列上的预测结果；

4)构造训练解码层(training decoder)；

5)构造预测解码层(predicting decoder)；

这里将解码层分为了训练解码层(training decoder)和预测解码层(predictingdecoder)，训练解码层(training decoder)和预测解码层(predicting decoder)是共享参数的，也就是通过训练解码层(training decoder)学得的参数，预测解码层(predictingdecoder)会拿来进行预测，在训练阶段，直接使用target data中序列的元素输入到解码层中，而在预测阶段，没有target data，只有t-1阶段的输出和隐层状态。