CN109299229A - 一种自然语言对话系统意图深度学习方法 - Google Patents

Abstract

本发明公开一种自然语言对话系统意图深度学习方法，可以根据问题类别自动分类标注原始问句，通过神经网络自动调整分词关联权重，自动通过PCA方法去除噪声干扰，最后通过分类器得出精度较高的意图分类结果，获得精度较高的意图分类结果以后，就可以准确掌握用户意图，针对用户意图生成准确的答案，提高用户体验。

Description

一种自然语言对话系统意图深度学习方法

技术领域

本发明涉及一种自然语言对话系统意图深度学习方法，属于人工智能、自然语言理解与服务机器人领域。

背景技术

近些年，自然语言理解与对话技术普遍兴起。如何在多轮会话中，取得比较好的客户体验是业界研究的热点。基于规则和Vector向量的学习方法已取得了一些进展，但是基于规则的方法需要大量的样本标注，而基于Vector向量的方法准确度普遍不高。导致自然语言对话系统的用户意图不能准确被获知，影响客户体验。

发明内容

本发明要解决的技术问题是提供一种自然语言对话系统意图深度学习方法，可以根据问题类别自动分类标注原始问句，通过神经网络自动调整分词关联权重，通过PCA方法去除噪声干扰，最后通过分类器得出精度较高的意图分类结果。

为了解决所述技术问题，本发明采用的技术方案是：一种自然语言对话系统意图深度学习方法，包括以下步骤：S01)、获取原始问句，并对所述原始问句进行样本分组和自动编码，将原始问句转化为V向量空间；S02)、通过深度学习引擎对V向量空间进行训练，得到问题匹配的每一个意图的向量空间；S03)、对所有向量空间进行PCA降维以去除噪声；S04)、对降维后的向量进行分类，将向量变为统一尺寸，输入分类器中进行训练。

进一步的，对原始问句进行样本分组和自动编码的过程为：首先得到所有原始问句的分词一维空间U，将U扩展为行列分词名一样的二维相关分词矩阵V，V的初始值为常数C；原始问句的X0维分词与V中分词重叠部分的自相关值设为C1，相邻的分词互相关值设为C2，相关值与V中原相应值相加，属于相关语音的原始问句按上述方法生成训练样本后，标记为分组N0，不同原始问句用不同的符号进行标记。

进一步的，深度学习引擎采用基于tanh激活函数的RNN卷积算法，神经元节点分别设计为：z_t＝σ(W_z·[h_t-1,x_t])，

r_t＝σ(W_r·[h_t-1,x_t])，

其中，σ代表卷积运算，tanh代表激活函数，z_t代表遗忘神经元节点，W_z代表遗忘神经元节点权重矩阵，h_t-1代表深度学习引擎上一时刻的输出，x_t代表深度学习引擎当前时刻的激励输入，[h_t-1,x_t]表示将h_t-1、x_t在水平方向拼接为一个长向量，r_t代表输入申请元节点，W_r代表输入神经元节点权重矩阵，代表当前输入的单元状态，W代表当前输入的单元状态的权重矩阵，h_t代表深度学习引擎当前时刻的输出。

进一步的，W_z、W_r、W为动态调整的参数。

进一步的，PCA降维去噪的具体过程为：逐步减少向量空间维度，PCA重新计算降维后的特征矩阵能量，然后根据公式计算能量损耗，其中||y_t||为同属于一类意图的输出特征矩阵的能量，||y′_t||为逐步降维后的特征矩阵能量，直到至少有一个向量的能量损耗不大于设置值，最终得出降维后的矩阵M。

进一步的，采用SVM或者LDA方法对降维后的向量进行训练分类，将向量变为固定大小的尺寸，长度不足部分补零，形成向量Y3，Y3输入分类器中进行训练。

进一步的，PCA根据矩阵的二阶范数计算降维后的特征矩阵能量。

进一步的，能量损耗设置值为5％。

进一步的，当有X问题输入自然语言对话系统时，X经步骤S01、S02处理得到的特征向量与M点乘得到PCA特征向量Y2，Y2经过分类变为固定大小的尺寸，然后输入分类器中进行训练。

进一步的，分类后的向量长度为2048字节。

本发明的有益效果：本发明可以根据问题类别自动分类标注原始问句，通过神经网络自动调整分词关联权重，自动通过PCA方法去除噪声干扰，最后通过分类器得出精度较高的意图分类结果，获得精度较高的意图分类结果以后，就可以准确掌握用户意图，针对用户意图生成准确的答案，提高用户体验。

附图说明

图1为实施例所述方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

实施例1

本实施例公开一种自然语言对话系统意图深度学习方法，如图1所示，包括以下步骤：

S01)、获取原始问句，并对原始问句进行样本分组和自动编码，将原始问句转化为V向量空间；

本实施例中，对原始问句进行样本分组和自动编码的具体过程为：首先得到所有原始问句的分词一维空间U，将U扩展为行列分词名一样的二维相关分词矩阵V，V的初始值为常数C；原始问句的X0维分词与V中分词重叠部分的自相关值设为C1，相邻的分词互相关值设为C2，相关值与V中原相应值相加，属于相关语音的原始问句按上述方法生成训练样本后，标记为分组N0，不同原始问句用不同的符号进行标记。

如原始问句为“今天天气如何，我要根据天气情况决定上学地点”，经过分词处理后的训练样本为“今天天气”、“天气情况”、“上学地点”，则原始分局的分词一维空间U为[今天，天气，情况，上学，地点]，上述训练样本为N0分类(标记为N0组)，则以U为下横坐标与纵坐标(假设C0＝1，C1＝1)，经过样本分组和自动编码N0的V向量为：

S02)、通过深度学习引擎对V向量空间进行训练，得到问题匹配的每一个意图的向量空间；

sigmoid导数值范围为(0,0.25]，反向传播时会导致“梯度消失”，不适合做文本计算处理；tanh函数导数值范围更大，相对好一点,sigmoid函数不是0中心对称，因此本实施例的深度学习引擎采用基于tanh激活函数的RNN卷积算法，可以使网络收敛的更好。

深度神经网络中农，神经元节点分别设计为：

z_t＝σ(W_z·[h_t-1,x_t])，

r_t＝σ(W_r·[h_t-1,x_t])，

其中，σ代表卷积运算，tanh代表激活函数，z_t代表遗忘神经元节点，W_z代表遗忘神经元节点权重矩阵，h_t-1代表深度学习引擎上一时刻的输出，x_t代表深度学习引擎当前时刻的激励输入，[h_t-1,x_t]表示将h_t-1、x_t在水平方向拼接为一个长向量，r_t代表输入申请元节点，Wr代表输入神经元节点权重矩阵，代表当前输入的单元状态，W代表当前输入的单元状态的权重矩阵，ht代表深度学习引擎当前时刻的输出。

本实施例中，W_z、W_r、W为动态调整的参数，可以自动调整分词关联权重。

S03)、对所有向量空间进行PCA降维，本降维的目的是为了去除信号噪声干扰信号，得到降维后的向量Y2。

本实施例中，PCA降维去噪的具体过程为：逐步减少向量空间维度(典型的减少梯度为1)，PCA根据矩阵的二阶范数计算降维后的特征矩阵能量，然后根据公式计算能量损耗，其中||y_t||为同属于一类意图的输出特征矩阵的能量，||y_t'′t||为逐步降维后的特征矩阵能量，直到至少有一个向量的能量损耗不大于设置值，最终得出降维后的矩阵M。

本实施例中，能量损耗设置值为5％，降维后的向量尺寸是根据损耗值决定的，也就是根据损耗动态调整降维幅度。

S04)、对降维后的向量进行分类，将向量变为统一尺寸，输入分类器中进行训练。

本实施例中，采用SVM(支持向量机)或者LDA(线性判别分析)方法对降维后的向量进行训练分类，因为不同类别形成的Y2向量尺度可能不一样的，为了统一训练向量的大小，将Y2变为固定大小的尺寸(如固定长度为2048)，长度不足部分补零，形成向量Y3，Y3输入分类器中进行训练。

当继续有X问题输入自然语言对话系统时，X经步骤S01、S02处理得到的特征向量与M点乘得到PCA特征向量Y2，Y2经过分类变为固定大小的尺寸，然后输入分类器中进行训练。、

本实施例所述方法可以根据问题类别自动分类标注训练数据，通过神经网络自动调整分词关联权重，自动通过PCA方法去除噪声干扰，最后通过分类器得出精度较高的意图分类结果。

以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。

Claims (10)

1.一种自然语言对话系统意图深度学习方法，其特征在于：包括以下步骤：S01)、获取原始问句，并对原始问句进行样本分组和自动编码，将原始问句转化为V向量空间；S02)、通过深度学习引擎对V向量空间进行训练，得到问题匹配的每一个意图的向量空间；S03)、对所有向量空间进行PCA降维以去除噪声；S04)、对降维后的向量进行分类，将向量变为统一尺寸，输入分类器中进行训练。

2.根据权利要求1所述的自然语言对话系统意图深度学习方法，其特征在于：对原始问句进行样本分组和自动编码的过程为：首先得到所有原始问句的分词一维空间U，将U扩展为行列分词名一样的二维相关分词矩阵V，V的初始值为常数C；原始问句的X0维分词与V中分词重叠部分的自相关值设为C1，相邻的分词互相关值设为C2，相关值与V中原相应值相加，属于相关语音的原始问句按上述方法生成训练样本后，标记为分组N0，不同原始问句用不同的符号进行标记。

3.根据权利要求1所述的自然语言对话系统意图深度学习方法，其特征在于：深度学习引擎采用基于tanh激活函数的RNN卷积算法，神经元节点分别设计为z_t＝σ(W_z·[h_t-1,x_t])，

r_t＝σ(W_r·[h_t-1,x_t])，

其中，σ代表卷积运算，tanh代表激活函数，z_t代表遗忘神经元节点，W_z代表遗忘神经元节点权重矩阵，h_t-1代表深度学习引擎上一时刻的输出，x_t代表深度学习引擎当前时刻的激励输入，[h_t-1,x_t]表示将h_t-1、x_t在水平方向拼接为一个长向量，r_t代表输入申请元节点，W_r代表输入神经元节点权重矩阵，代表当前输入的单元状态，W代表当前输入的单元状态的权重矩阵，h_t代表深度学习引擎当前时刻的输出。

4.根据权利要求3所述的自然语言对话系统意图深度学习方法，其特征在于：W_z、W_r、W为动态调整的参数。

5.根据权利要求1所述的自然语言对话系统意图深度学习方法，其特征在于：PCA降维去噪的具体过程为：逐步减少向量空间维度，PCA重新计算降维后的特征矩阵能量，然后根据公式▽P＝(||y_t||-||y'_t||)/||y_t||计算能量损耗，其中||y_t||为同属于一类意图的输出特征矩阵的能量，||y'_t||为逐步降维后的特征矩阵能量，直到至少有一个向量的能量损耗不大于设置值，最终得出降维后的矩阵M。

6.根据权利要求1所述的自然语言对话系统意图深度学习方法，其特征在于：采用SVM或者LDA方法对降维后的向量进行训练分类，将向量变为固定大小的尺寸，长度不足部分补零，形成向量Y3，Y3输入分类器中进行训练。

7.根据权利要求5所述的自然语言对话系统意图深度学习方法，其特征在于：PCA根据矩阵的二阶范数计算降维后的特征矩阵能量。

8.根据权利要求5所述的自然语言对话系统意图深度学习方法，其特征在于：能量损耗设置值为5％。

9.根据权利要求5所述的自然语言对话系统意图深度学习方法，其特征在于：当有X问题输入自然语言对话系统时，X经步骤S01、S02处理得到的特征向量与M点乘得到PCA特征向量Y2，Y2经过分类变为固定大小的尺寸，然后输入分类器中进行训练。

10.根据权利要求6所述的自然语言对话系统意图深度学习方法，其特征在于：分类后的向量长度为2048字节。