CN105786798B - 一种人机交互中自然语言意图理解方法 - Google Patents

Abstract

本发明公开了一种人机交互中自然语言意图理解的方法，首先对文本自然语言指令数据进行意图标注，将每句文本标注一个意图；然后将文本向量化，这里在传统的文本向量空间模型的基础上，融合了文本指令的词性信息，定义了一种新的文本表示模型——词性向量空间模型；然后，将堆栈式去噪自编码器应用于自然语言指令意图理解，提取指令的高阶特征；最后，用支持向量机进行训练和预测，实现自然语言指令的意图理解。本发明能够挖掘自然语言指令中更多的语义信息，提高意图理解的识别率，还采用了堆栈式去噪自编码器，在训练时加入随机噪声，更贴近实际应用场景，使得训练得到的模型具有更强的泛化能力。

Description

一种人机交互中自然语言意图理解方法

技术领域

本发明涉及人机交互技术领域，具体地说是人机交互中，机器对人说出的自然语言进行意图理解的方法，可广泛应用于服务机器人、智能家居、智能家电、语音导航等领域中人机交互语音控制指令的理解。

背景技术

随着社会经济的发展，对于机器的需求日益加大，其应用范围也越来越广泛。高效、友好的人机交互是影响其广泛应用的非常重要的一个环节。在实际应用中，交互方式多种多样，主要包括：触控交互、体感交互、语音交互等。在诸多交互方式当中，通过语音，尤其是使用自然语言与机器进行交互是最直接、最便捷的方式。特别是对于老龄用户以及其他肢体活动不方便的用户，基于自然语言的语音交互技术显得尤为重要。它的实现主要依靠语音识别、语音合成与语义理解等技术。语音识别和语音合成技术已经相对比较成熟，语义理解技术则依旧存在着许多难点。一般基于自然语言的语音交互系统框架图如图1所示，本发明即应用于意图理解模块。

传统的语音交互系统中，系统只能对特定的用户指令进行响应，即对用户指令与数据库中指令进行简单的匹配。用户需要对系统实现进行较长时间的学习，学习成本过高，用户体验也大打折扣，这严重影响了该技术的推广。近年来也出现了一些基于自然语言的语音交互系统，如基于语法的自然语言理解，虽然可以实现语义理解的功能，但是口语当中很多时候是很不规则，甚至不符合语法的，这将导致识别失败或错误。同时，基于语法的自然语言理解还难以推广到其他应用中，一旦按照特定场景设置好之后，就很难对其进行拓展。

经过对现有技术文献的检索发现，发明专利(公告号：102968409A)是一种智能人机交互语义分析方法，通过一种智能化的语义网络对用户输入的语音信号进行语义匹配，其主要是通过一些预设的语义关系库和句型关系模板等，对语义分析的内容进行语义匹配，对用户使用的语言有较高限制，一旦出现没有经过预设的指令，则很难识别。发明专利(公告号:104360994A)是一种自然语言理解方法及系统，该方法通过预先构建排序模型，利用机器学习的方法学习出参数权重，实现基于统计的排序方法，对多场景语义解析结果与用户输入的自然语言之间的相关度进行排序。这里采用的方法是Ranking SVM(基于支持向量机的排序学习算法)，通过对文本提取特征向量，然后采用线性核的SVM。该方法的不足在于：容易受噪声干扰，且容易产生过拟合。

发明内容

本发明针对现有技术的不足和缺陷，提出了一种人机交互中自然语言意图理解方法，能有效对自然语言指令进行意图理解，从而实现友好的语音人机交互。针对口语中语句短小、经常不符合语法规范等特点，提出了一种新的量化模型，可以深入地挖掘其中的语义信息。同时引入了一种主动去噪的压缩感知方法，提取高阶特征，提高了系统泛化能力。

本发明是通过以下技术方案实现的：

一种人机交互中自然语言意图理解方法，其特点在于，包括训练阶段和预测阶段，具体步骤如下：

步骤1、建立指令体系数据库：根据对话应用场景，将对话的逻辑以及顺序以树形结构排列，树伸展

的方向为对话进行的顺序，树的结点为一个意图；

步骤2、对文本自然语言指令数据进行意图标注，将每句训练数据标注一个意图；

步骤3、将文本自然语言指令数据向量化，构建词性向量空间模型；

步骤4、用堆栈式去噪自编码器对词性向量空间模型中的向量进行压缩感知，提取指令的高阶特征，即高阶特征向量；

步骤5、用支持向量机进行训练和预测，实现自然语言指令的意图理解。

步骤2中所述的意图标注是通过对每句训练数据进行意图标注，将意图理解问题转化为文本分类问题。即训练数据是“文本自然语言指令——意图”数据对的形式，如果需要对系统进行拓展，只需在这里增加相应的训练数据即可。

步骤3中所述的词性向量空间模型，即在向量空间模型中增加词性维度，权值策略与向量空间模型类似，采用TF-IDF权值，局部因子使用词性频率作为量化指标，即每种词性出现的次数。全局因子取为log((N+1)/n_i)，其中N为所有文本指令集合中的文本指令数目，n_i为出现该词或词性的文本指令数。

步骤4中所述的用堆栈式去噪自编码器提取指令高阶特征，在堆栈式去噪自编码器中输入步骤3中向量化得到的向量，并在助词、叹词、语气词等维度增加随机噪声，以减少过拟合现象，提高系统的泛化能力。训练堆栈式自编码器时，采用逐层训练，再对整个网络进行微调的方式进行训练。

步骤5中所述的用支持向量机进行训练和预测，输入是经过堆栈式去噪自编码器提取的高阶特征。该高阶特征是线性不可分的，支持向量机采用的是高斯核支持向量机。训练过程是指训练样本为经过堆栈式自编码器提取的高阶特征，标签为事先人工标注的意图，将其输入高斯核支持向量机，即SVM分类器，得到SVM模型。预测过程是指将高阶特征输入到训练得到的SVM模型中，得出预测结果及对应概率。

与现有技术相比，本发明的有益效果是：能够挖掘自然语言指令中更多的语义信息，提高意图理解的识别率。同时，还采用了堆栈式去噪自编码器，在训练时加入随机噪声，更贴近实际应用场景，使得训练得到的模型具有更强的泛化能力。可广泛地应用于各种人机对话的应用中，具有广阔的市场前景。

附图说明

图1是语音交互系统框架

图2是本实施例的指令体系

图3是本发明人机交互中自然语言意图理解方法的流程图，其中a为训练阶段，b为预测阶段

图4是堆栈式去噪自编码器SDAE的训练过程，其中a为预训练阶段，b为微调阶段

具体实施方式

以下结合附图对本发明的实施例作详细说明：以下实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

实施例

本发明实施例中，实现了通过自然语言与家庭服务机器人进行交互，包含了音乐播放、邮件收发、电视控制、煮饭、电话、空调控制、天气预报及系统设置八大类指令，共60个意图，基本涵盖了家庭服务的主要内容，并用一个树形结构表示这个指令体系，如图2所示。当用户想发起一个给张三打电话的操作，可以说“给张三拨打电话”。在这个指令体系中设置了一个四层的意图树，层层递进，对操作进行了很详细的划分。我们所指的意图便是意图树当中的节点，将每句用户指令进行识别，识别出对应意图树中处于哪个节点，然后根据前后文进行一个对话管理，将用户引导至意图树的终点完成对应操作。

图3是本发明人机交互中自然语言意图理解方法的流程图，如图所示，本实施例包括训练和预测两部分。

训练过程如下：

(1)对文本数据进行意图标注，得到训练的原始数据。格式为每行一条“意图——自然语言文本指令”形式的数据对，在本实施例中共6000余条。

(2)通过SynMap将同义词进行转换，该表将原始数据中所有同义词统一转化为同一个词，达到降维的目的。其中Synmap是一个事先根据场景人工建立的同义词表，包含了该场景下，可能出现的词及常用的一些同义词。经过同义词转换，得到的数据称为归一化数据。

(3)对归一化数据进行统计分析，生成一个字典文件，然后通过该字典将归一化数据向量化，得到向量化数据。这个过程不同于传统的向量空间模型，本发明通过融合词性的方式，提出一个新的模型，即词性向量空间模型。具体地，该字典包含两列，即“词”和“权重”。词就是归一化数据中出现的所有词和词性，即将词和词性以同等重要性进行统计。字典中，每行存储一个词或词性及其权重，共计D个词和词性，本实施例中共661个。权重采用逆文本频率(IDF)，这里称为全局因子。具体量化策略为：log₂(N/n_k)，其中N为归一化数据中的文本指令数目，n_k为出现该词语或词性的文本指令数。然后，将归一化数据通过字典向量化，即将归一化数据中每行数据都转化为一个D维向量，在本实施例中是一个661维向量。具体地，统计每行数据中各个词和词性的词频(TF)，称为局部因子。最后，根据将局部因子和全局因子相乘，得到所需向量，即如果一个词在字典中出现，则对应维度权值为局部因子*全局因子，如果未出现，则取0。最后，将该向量归一化，使其模为1，完成向量化过程。

(4)对向量化数据用堆栈式去噪自编码器进行压缩，提取高阶特征，具体见图4堆栈式去噪自编码器训练过程。本实施例中共设置了两个隐层，第一个隐层有200个节点，第二个隐层有100个节点，即通过堆栈式去噪自编码器将661维的向量压缩为100维。为了更真实地模拟实际应用场景，在输入的661维向量中，在助词、叹词、语气词等维度添加随机噪声，使得堆栈式去噪自编码器提取的特征具有更强的鲁棒性。训练时采用逐层训练的方式进行预训练，初值采用随机值，然后再通过在堆栈式去噪自编码器顶端增加一个单层感知机的方式进行微调，得到最终的堆栈式去噪自编码器，同时得到100维的高阶特征向量。

(5)高阶特征向量输入SVM分类器，本发明采用的是高斯核SVM，通过训练得到SVM模型。

至此，训练过程结束，得到包含“Synmap”、“字典”、“堆栈式去噪自编码器”和“SVM模型”四部分构成的意图理解模型。

预测过程如下：

(1)与训练过程类似，将预测数据通过“Synmap”降维，得到归一化数据。

(2)将归一化数据通过字典向量化，得到向量化数据。

(3)将向量化数据输入堆栈式去噪自编码器，得到高阶特征向量。

(4)将高阶特征向量输入SVM模型，得到预测结果列表。

至此，预测过程结束，得到自然语言指令的意图及其概率。

最后，应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种人机交互中自然语言意图理解方法，其特征在于，包括训练阶段和预测阶段，具体步骤如下：

步骤1、建立指令体系数据库：根据对话应用场景，将对话的逻辑以及顺序以树形结构排列，树伸展的方向为对话进行的顺序，树的结点为一个意图；

步骤2、对文本自然语言指令数据进行意图标注，将每句训练数据标注一个意图；

步骤3、将文本自然语言指令数据向量化，构建词性向量空间模型，具体构建步骤是：

步骤3.1归一化数据：根据预先建立的同义词表将训练数据中的同义词转换为同一个词；

步骤3.2建立字典文件：该字典文件包含两列，即“词”和“权重”，词是归一化数据中出现的所有词和词性，即将词和词性以同等重要性进行统计，每行存储一个词或词性及其权重，共计D个词和词性；权重是每种词或词性出现的次数，采用逆文本频率log₂(N/n_k)其中N为归一化数据中的文本指令数目，n_k为出现该词或词性的文本指令数；

步骤3.3将归一化数据通过字典向量化：即将归一化数据中每行数据转化为一个D维向量；

步骤3.4向量归一化：将得到的向量除以它的模，得到模为1的归一化向量；

步骤4、用堆栈式去噪自编码器对词性向量空间模型中的向量进行压缩感知，提取指令的高阶特征，即高阶特征向量；

步骤5、用支持向量机进行训练和预测，实现自然语言指令的意图理解。

2.根据权利要求1所述的人机交互中自然语言意图理解方法，其特征在于，所述的步骤4用堆栈式去噪自编码器提取指令高阶特征的具体步骤如下：

步骤4.1在随机堆栈式去噪自编码器中输入步骤3量化得到的向量，并在助词、叹词、语气词维度增加随机噪声，即在对应维度随机增加一个服从高斯分布的零均值随机量；

步骤4.2采用逐层训练的方式对随机堆栈式自编码器进行预训练；

步骤4.3在网络的顶端连接一个单层感知机，对整个网络进行微调，得到最终堆栈式自编码器和高阶特征向量。

3.根据权利要求1所述的人机交互中自然语言意图理解的方法，其特征是，步骤5所述的用支持向量机进行训练和预测的具体步骤如下：

(1)训练过程：训练样本为经过堆栈式自编码器提取的高阶特征，标签为事先人工标注的意图，将其输入高斯核支持向量机，即SVM分类器，得到SVM模型；

(2)预测过程：将高阶特征输入到训练得到的SVM模型中，得出预测结果及对应概率。