CN109299229B - 一种自然语言对话系统意图深度学习方法 - Google Patents

一种自然语言对话系统意图深度学习方法 Download PDF

Info

Publication number
CN109299229B
CN109299229B CN201811462697.9A CN201811462697A CN109299229B CN 109299229 B CN109299229 B CN 109299229B CN 201811462697 A CN201811462697 A CN 201811462697A CN 109299229 B CN109299229 B CN 109299229B
Authority
CN
China
Prior art keywords
deep learning
vector
natural language
learning method
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811462697.9A
Other languages
English (en)
Other versions
CN109299229A (zh
Inventor
朱锦雷
张传锋
申冲
王太浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN201811462697.9A priority Critical patent/CN109299229B/zh
Publication of CN109299229A publication Critical patent/CN109299229A/zh
Application granted granted Critical
Publication of CN109299229B publication Critical patent/CN109299229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Neurology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开一种自然语言对话系统意图深度学习方法，可以根据问题类别自动分类标注原始问句，通过神经网络自动调整分词关联权重，自动通过PCA方法去除噪声干扰，最后通过分类器得出精度较高的意图分类结果，获得精度较高的意图分类结果以后，就可以准确掌握用户意图，针对用户意图生成准确的答案，提高用户体验。

Description

一种自然语言对话系统意图深度学习方法
技术领域
本发明涉及一种自然语言对话系统意图深度学习方法，属于人工智能、自然语言理解与服务机器人领域。
背景技术
近些年，自然语言理解与对话技术普遍兴起。如何在多轮会话中，取得比较好的客户体验是业界研究的热点。基于规则和Vector向量的学习方法已取得了一些进展，但是基于规则的方法需要大量的样本标注，而基于Vector向量的方法准确度普遍不高。导致自然语言对话系统的用户意图不能准确被获知，影响客户体验。
发明内容
本发明要解决的技术问题是提供一种自然语言对话系统意图深度学习方法，可以根据问题类别自动分类标注原始问句，通过神经网络自动调整分词关联权重，通过PCA方法去除噪声干扰，最后通过分类器得出精度较高的意图分类结果。
为了解决所述技术问题，本发明采用的技术方案是：一种自然语言对话系统意图深度学习方法，包括以下步骤：S01)、获取原始问句，并对所述原始问句进行样本分组和自动编码，将原始问句转化为V向量空间；S02)、通过深度学习引擎对V向量空间进行训练，得到问题匹配的每一个意图的向量空间；S03)、对所有向量空间进行PCA降维以去除噪声；S04)、对降维后的向量进行分类，将向量变为统一尺寸，输入分类器中进行训练。
进一步的，对原始问句进行样本分组和自动编码的过程为：首先得到所有原始问句的分词一维空间U，将U扩展为行列分词名一样的二维相关分词矩阵V，V的初始值为常数C；原始问句的X0维分词与V中分词重叠部分的自相关值设为C1，相邻的分词互相关值设为C2，相关值与V中原相应值相加，属于相关语音的原始问句按上述方法生成训练样本后，标记为分组N0，不同原始问句用不同的符号进行标记。
进一步的，深度学习引擎采用基于tanh激活函数的RNN卷积算法，神经元节点分别设计为：zt＝σ(Wz·[ht-1,xt])，
rt＝σ(Wr·[ht-1,xt])，
Figure BDA0001887564910000011
Figure BDA0001887564910000012
其中，σ代表卷积运算，tanh代表激活函数，zt代表遗忘神经元节点，Wz代表遗忘神经元节点权重矩阵，ht-1代表深度学习引擎上一时刻的输出，xt代表深度学习引擎当前时刻的激励输入，[ht-1,xt]表示将ht-1、xt在水平方向拼接为一个长向量，rt代表输入申请元节点，Wr代表输入神经元节点权重矩阵，
Figure BDA0001887564910000021
代表当前输入的单元状态，W代表当前输入的单元状态的权重矩阵，ht代表深度学习引擎当前时刻的输出。
进一步的，Wz、Wr、W为动态调整的参数。
进一步的，PCA降维去噪的具体过程为：逐步减少向量空间维度，PCA重新计算降维后的特征矩阵能量，然后根据公式
Figure BDA0001887564910000022
计算能量损耗，其中||yt||为同属于一类意图的输出特征矩阵的能量，||y′t||为逐步降维后的特征矩阵能量，直到至少有一个向量的能量损耗不大于设置值，最终得出降维后的矩阵M。
进一步的，采用SVM或者LDA方法对降维后的向量进行训练分类，将向量变为固定大小的尺寸，长度不足部分补零，形成向量Y3，Y3输入分类器中进行训练。
进一步的，PCA根据矩阵的二阶范数计算降维后的特征矩阵能量。
进一步的，能量损耗设置值为5％。
进一步的，当有X问题输入自然语言对话系统时，X经步骤S01、S02处理得到的特征向量与M点乘得到PCA特征向量Y2，Y2经过分类变为固定大小的尺寸，然后输入分类器中进行训练。
进一步的，分类后的向量长度为2048字节。
本发明的有益效果：本发明可以根据问题类别自动分类标注原始问句，通过神经网络自动调整分词关联权重，自动通过PCA方法去除噪声干扰，最后通过分类器得出精度较高的意图分类结果，获得精度较高的意图分类结果以后，就可以准确掌握用户意图，针对用户意图生成准确的答案，提高用户体验。
附图说明
图1为实施例所述方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
实施例1
本实施例公开一种自然语言对话系统意图深度学习方法，如图1所示，包括以下步骤：
S01)、获取原始问句，并对原始问句进行样本分组和自动编码，将原始问句转化为V向量空间；
本实施例中，对原始问句进行样本分组和自动编码的具体过程为：首先得到所有原始问句的分词一维空间U，将U扩展为行列分词名一样的二维相关分词矩阵V，V的初始值为常数C；原始问句的X0维分词与V中分词重叠部分的自相关值设为C1，相邻的分词互相关值设为C2，相关值与V中原相应值相加，属于相关语音的原始问句按上述方法生成训练样本后，标记为分组N0，不同原始问句用不同的符号进行标记。
如原始问句为“今天天气如何，我要根据天气情况决定上学地点”，经过分词处理后的训练样本为“今天天气”、“天气情况”、“上学地点”，则原始分局的分词一维空间U为[今天，天气，情况，上学，地点]，上述训练样本为N0分类(标记为N0组)，则以U为下横坐标与纵坐标(假设C0＝1，C1＝1)，经过样本分组和自动编码N0的V向量为：
Figure BDA0001887564910000031
S02)、通过深度学习引擎对V向量空间进行训练，得到问题匹配的每一个意图的向量空间；
sigmoid导数值范围为(0,0.25]，反向传播时会导致“梯度消失”，不适合做文本计算处理；tanh函数导数值范围更大，相对好一点,sigmoid函数不是0中心对称，因此本实施例的深度学习引擎采用基于tanh激活函数的RNN卷积算法，可以使网络收敛的更好。
深度神经网络中农，神经元节点分别设计为：
zt＝σ(Wz·[ht-1,xt])，
rt＝σ(Wr·[ht-1,xt])，
Figure BDA0001887564910000032
Figure BDA0001887564910000033
其中，σ代表卷积运算，tanh代表激活函数，zt代表遗忘神经元节点，Wz代表遗忘神经元节点权重矩阵，ht-1代表深度学习引擎上一时刻的输出，xt代表深度学习引擎当前时刻的激励输入，[ht-1,xt]表示将ht-1、xt在水平方向拼接为一个长向量，rt代表输入申请元节点，Wr代表输入神经元节点权重矩阵，
Figure BDA0001887564910000034
代表当前输入的单元状态，W代表当前输入的单元状态的权重矩阵，ht代表深度学习引擎当前时刻的输出。
本实施例中，Wz、Wr、W为动态调整的参数，可以自动调整分词关联权重。
S03)、对所有向量空间进行PCA降维，本降维的目的是为了去除信号噪声干扰信号，得到降维后的向量Y2。
本实施例中，PCA降维去噪的具体过程为：逐步减少向量空间维度(典型的减少梯度为1)，PCA根据矩阵的二阶范数计算降维后的特征矩阵能量，然后根据公式
Figure BDA0001887564910000035
计算能量损耗，其中||yt||为同属于一类意图的输出特征矩阵的能量，||yt'′t||为逐步降维后的特征矩阵能量，直到至少有一个向量的能量损耗不大于设置值，最终得出降维后的矩阵M。
本实施例中，能量损耗设置值为5％，降维后的向量尺寸是根据损耗值决定的，也就是根据损耗动态调整降维幅度。
S04)、对降维后的向量进行分类，将向量变为统一尺寸，输入分类器中进行训练。
本实施例中，采用SVM(支持向量机)或者LDA(线性判别分析)方法对降维后的向量进行训练分类，因为不同类别形成的Y2向量尺度可能不一样的，为了统一训练向量的大小，将Y2变为固定大小的尺寸(如固定长度为2048)，长度不足部分补零，形成向量Y3，Y3输入分类器中进行训练。
当继续有X问题输入自然语言对话系统时，X经步骤S01、S02处理得到的特征向量与M点乘得到PCA特征向量Y2，Y2经过分类变为固定大小的尺寸，然后输入分类器中进行训练。、
本实施例所述方法可以根据问题类别自动分类标注训练数据，通过神经网络自动调整分词关联权重，自动通过PCA方法去除噪声干扰，最后通过分类器得出精度较高的意图分类结果。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。

Claims (9)

1.一种自然语言对话系统意图深度学习方法，其特征在于：包括以下步骤：S01)、获取原始问句，并对原始问句进行样本分组和自动编码，将原始问句转化为V向量空间；S02)、通过深度学习引擎对V向量空间进行训练，得到问题匹配的每一个意图的向量空间；S03)、对所有向量空间进行PCA降维以去除噪声；S04)、对降维后的向量进行分类，将向量变为统一尺寸，输入分类器中进行训练；
对原始问句进行样本分组和自动编码的过程为：首先得到所有原始问句的分词一维空间U，将U扩展为行列分词名一样的二维相关分词矩阵V，V的初始值为常数C；原始问句的X0维分词与V中分词重叠部分的自相关值设为C1，相邻的分词互相关值设为C2，相关值与V中原相应值相加，属于相关语音的原始问句按上述方法生成训练样本后，标记为分组N0，不同原始问句用不同的符号进行标记。
2.根据权利要求1所述的自然语言对话系统意图深度学习方法，其特征在于：深度学习引擎采用基于tanh激活函数的RNN卷积算法，神经元节点分别设计为zt＝σ(Wz·[ht-1,xt])，
rt＝σ(Wr·[ht-1,xt])，
Figure FDA0002716646880000011
Figure FDA0002716646880000012
其中，σ代表卷积运算，tanh代表激活函数，zt代表遗忘神经元节点，Wz代表遗忘神经元节点权重矩阵，ht-1代表深度学习引擎上一时刻的输出，xt代表深度学习引擎当前时刻的激励输入，[ht-1,xt]表示将ht-1、xt在水平方向拼接为一个长向量，rt代表输入申请元节点，Wr代表输入神经元节点权重矩阵，
Figure FDA0002716646880000013
代表当前输入的单元状态，W代表当前输入的单元状态的权重矩阵，ht代表深度学习引擎当前时刻的输出。
3.根据权利要求2所述的自然语言对话系统意图深度学习方法，其特征在于：Wz、Wr、W为动态调整的参数。
4.根据权利要求1所述的自然语言对话系统意图深度学习方法，其特征在于：PCA降维去噪的具体过程为：逐步减少向量空间维度，PCA重新计算降维后的特征矩阵能量，然后根据公式▽P＝(||yt||-||y′t||)/||yt||计算能量损耗，其中||yt||为同属于一类意图的输出特征矩阵的能量，||y′t||为逐步降维后的特征矩阵能量，直到至少有一个向量的能量损耗不大于设置值，最终得出降维后的矩阵M。
5.根据权利要求1所述的自然语言对话系统意图深度学习方法，其特征在于：采用SVM或者LDA方法对降维后的向量进行训练分类，将向量变为固定大小的尺寸，长度不足部分补零，形成向量Y3，Y3输入分类器中进行训练。
6.根据权利要求4所述的自然语言对话系统意图深度学习方法，其特征在于：PCA根据矩阵的二阶范数计算降维后的特征矩阵能量。
7.根据权利要求4所述的自然语言对话系统意图深度学习方法，其特征在于：能量损耗设置值为5％。
8.根据权利要求4所述的自然语言对话系统意图深度学习方法，其特征在于：当有X问题输入自然语言对话系统时，X经步骤S01、S02处理得到的特征向量与M点乘得到PCA特征向量Y2，Y2经过分类变为固定大小的尺寸，然后输入分类器中进行训练。
9.根据权利要求5所述的自然语言对话系统意图深度学习方法，其特征在于：分类后的向量长度为2048字节。
CN201811462697.9A 2018-11-30 2018-11-30 一种自然语言对话系统意图深度学习方法 Active CN109299229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811462697.9A CN109299229B (zh) 2018-11-30 2018-11-30 一种自然语言对话系统意图深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811462697.9A CN109299229B (zh) 2018-11-30 2018-11-30 一种自然语言对话系统意图深度学习方法

Publications (2)

Publication Number Publication Date
CN109299229A CN109299229A (zh) 2019-02-01
CN109299229B true CN109299229B (zh) 2021-02-19

Family

ID=65142324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811462697.9A Active CN109299229B (zh) 2018-11-30 2018-11-30 一种自然语言对话系统意图深度学习方法

Country Status (1)

Country Link
CN (1) CN109299229B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314451A (zh) * 2020-02-07 2020-06-19 普强时代(珠海横琴)信息技术有限公司 一种基于云计算应用的语言处理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707401A (zh) * 2009-11-27 2010-05-12 甄为忠 基于虹膜身份识别的电力防误闭锁系统及防误闭锁方法
WO2018058994A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 基于深度学习的对话方法、装置及设备
CN107909014A (zh) * 2017-10-31 2018-04-13 天津大学 一种基于深度学习的视频理解方法
CN108491386A (zh) * 2018-03-19 2018-09-04 上海携程国际旅行社有限公司 自然语言理解方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039198A1 (en) * 2014-05-15 2017-02-09 Sentient Technologies (Barbados) Limited Visual interactive search, scalable bandit-based visual interactive search and ranking for visual interactive search
CN108363690A (zh) * 2018-02-08 2018-08-03 北京十三科技有限公司 基于神经网络的对话语义意图预测方法及学习训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707401A (zh) * 2009-11-27 2010-05-12 甄为忠 基于虹膜身份识别的电力防误闭锁系统及防误闭锁方法
WO2018058994A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 基于深度学习的对话方法、装置及设备
CN107909014A (zh) * 2017-10-31 2018-04-13 天津大学 一种基于深度学习的视频理解方法
CN108491386A (zh) * 2018-03-19 2018-09-04 上海携程国际旅行社有限公司 自然语言理解方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Recurrent neural network-based language models with variation in net topology, language, and granularity";Tzu-Hsuan Yang 等;《2016 International Conference on Asian Language Processing (IALP)》;20161123;第71-74页 *
"深度学习算法在问句意图分类中的应用研究";杨志明 等;《计算机工程与应用》;20180914(第10期);第154-160页 *

Also Published As

Publication number Publication date
CN109299229A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN108920445B (zh) 一种基于Bi-LSTM-CRF模型的命名实体识别方法和装置
CN110188358B (zh) 自然语言处理模型的训练方法及装置
KR20180125905A (ko) 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치
CN106650813A (zh) 一种基于深度残差网络和lstm的图像理解方法
CN110222178A (zh) 文本情感分类方法、装置、电子设备及可读存储介质
CN114090780B (zh) 一种基于提示学习的快速图片分类方法
CN113268974B (zh) 多音字发音标注方法、装置、设备及存储介质
CN111104513B (zh) 一种游戏平台用户问答业务的短文本分类方法
Park et al. Emotion recognition and acoustic analysis from speech signal
Asemi et al. Adaptive neuro-fuzzy inference system for evaluating dysarthric automatic speech recognition (ASR) systems: a case study on MVML-based ASR
US10741184B2 (en) Arithmetic operation apparatus, arithmetic operation method, and computer program product
CN113254582A (zh) 一种基于预训练模型的知识驱动对话方法
CN110120231B (zh) 基于自适应半监督非负矩阵分解的跨语料情感识别方法
CN109299229B (zh) 一种自然语言对话系统意图深度学习方法
CN106297769A (zh) 一种应用于语种识别的鉴别性特征提取方法
Sivaram et al. Data-driven and feedback based spectro-temporal features for speech recognition
CN108829675A (zh) 文档表示方法及装置
Yamamoto et al. Denoising autoencoder-based speaker feature restoration for utterances of short duration.
CN113128235A (zh) 一种语义理解方法
CN114692615B (zh) 一种针对小语种的小样本意图识别方法
Ko et al. Recurrent neural network based language modeling with controllable external memory
CN112667808A (zh) 一种基于bert模型的关系抽取方法及其系统
CN113139382A (zh) 命名实体识别方法及装置
Grigore et al. Self-organizing maps for identifying impaired speech
CN113128661A (zh) 信息处理装置和信息处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant