CN111078844B - 软件众包的任务型对话系统及方法 - Google Patents

Abstract

一种软件众包的任务型对话系统及方法，包括：意图提取模块、槽填充模块、对话管理模块，任务执行模块和答案生成模块，其中：意图提取模块从用户的自然语言对话中提取出用户意图，槽填充模块根据用户意图填充关键槽位信息，对话管理模块管理多轮对话的上下文关系以及维护空缺的槽位信息，任务执行模块根据完整的槽位信息调用软件众包平台提供的API来执行具体任务，答案生成模块通过模板生成最终的答案或者发起新一轮的提问，要求用户对确实的槽位信息进行补充回答。本发明通过知识图谱利用软件工程领域的知识来更准确地提取用户的意图，从而帮助用户更高效地寻找到目标结果，提高对话系统回答的准确度。

Description

软件众包的任务型对话系统及方法

技术领域

本发明涉及一种信息处理领域的技术，具体涉及一种软件众包的任务型对话系统及方法。

背景技术

近年来，随着互联网的发展和软件众包产业的兴起，日益增多的用户加入到软件众包平台中来发布需求以及寻求工作。在软件众包平台上，项目发布者可以将项目发布到众包平台，并提供相应的报酬；众包平台的开发人员可以报名感兴趣的项目，成功完成项目后获得相应的报酬。项目发布者和开发人员都可以通过文本搜索的方式，找到感兴趣的开发人员或众包项目。然而对于传统的软件众包平台，通过用户繁琐的点击、搜索、查找过程，只能进行简单的文本字符串匹配，系统很难有效地理解用户的意图并返回与之相匹配的结果。

发明内容

本发明针对现有任务型对话系统的现有技术中用户意图提取不够精确、领域知识利用不够充分等缺陷，提出一种软件众包的任务型对话系统及方法，并通过知识图谱利用软件工程领域的知识来更准确地提取用户的意图，从而帮助用户更高效地寻找到目标结果，提高对话系统回答的准确度。

本发明是通过以下技术方案实现的：

本发明涉及一种在软件众包平台上基于知识图谱的任务型对话系统，包括：意图提取模块、槽填充模块、对话管理模块，任务执行模块和答案生成模块，其中：意图提取模块从用户的自然语言对话中提取出用户意图，槽填充模块根据用户意图填充关键槽位信息，对话管理模块管理多轮对话的上下文关系以及维护空缺的槽位信息，任务执行模块根据完整的槽位信息调用软件众包平台提供的API来执行具体任务，答案生成模块通过模板生成最终的答案或者发起新一轮的提问，要求用户对缺失的槽位信息进行补充回答。

所述的用户意图包括：寻找掌握指定编程技术的开发人员、寻找符合心理价位或运用特定编程技术的开发项目等。

所述的关键槽位信息包括：软件开发类型、编程语言、价位等。

所述的上下文关系是指，在多轮对话中不同轮次的对话之间包含的上下文关系。例如，开发人员A和对话系统R发生如下多轮对话：A：“可以帮我找到运用Java语言的Web项目吗？”；R:“好的，请问你需要找运用什么框架的Web项目？”；A：“使用SSM框架的”；R：“好的，已为您找到一些如下项目…”。在第一轮对话中，A提到了Java的Web项目，它成为了下一轮对话的上下文。在下一轮对话中R询问A使用何种框架，暗含的语义是何种Java框架，而不是别的编程语言(如Python)的框架。如果不对上下文加以维护和记录，系统将无法将Java语言和后面的框架联系起来，从而会产生语义的混淆和意图理解上的模糊。因此维护上下文是十分重要的。

所述的软件众包平台提供的API包括：按特定条件如编程语言、薪酬范围等获取相应的人员列表或项目列表等。

所述的具体任务包括：返回符合条件的开发人员列表；返回符合条件的开发项目列表等。

所述的模板包括：预先设置好的提问或回答模板，如：“好的，已为您找到一些以()为开发技术的项目如下：()”，“您所要找的开发人员的()要求是什么？”等。括号中为模板需要填充的内容。

本发明涉及上述系统的控制方法，包括以下步骤：

步骤1)通过知识图谱技术构建软件服务知识库，协助系统理解用户意图，具体为：利用知识图谱对实体进行归一化，然后分别使用基于规则的方法与SVM-NaiveBayes-C4.5集成学习的方法得到分类结果，经加权求和得到用户的自然查询语句中的最终意图。

步骤2)使用条件随机场模型(CRF)作为基础模型进行槽填充，并为CRF模型设计转移特征、起点特征、终点特征、词特征、句法特征和语义特征，使用知识图谱对软件服务的关键槽位进行预定义，从而实现意图语义理解。

步骤3)当对话管理模块获取到用户的查询语义后，采用有限状态机记录人机对话状态；当检测到槽位缺失时，通过答案生成模块再发起新一轮的对话，从用户的再次回答中获取缺失的槽位信息，当所有槽位填满后，即获取完整的意图语义信息，通过任务执行模块调用软件众包平台提供的API来执行具体任务。

所述的知识图谱技术是指：将软件服务的领域知识通过诸多(实体，关系，实体)三元组的形式组成的有向图，每一个三元组连接两个实体，并表明两个实体之间的关系。如三元组(软件开发，subsumption，网页开发)就表明实体“软件开发”和“网页开发”是从属关系，并且这个关系是单向的。由这些三元组构成的知识图谱代表软件服务领域的先验知识。该软件服务知识图谱的具体结构为：其中：第一层为“软件服务”；第二层为“软件服务”的不同类型，如“软件开发”、“软件测试”、“架构设计”、“运维开发”等；第三层为各个特定软件服务具体子类别。以“软件开发”为例，它可以分为“网站开发”、“app开发”、“嵌入式系统开发”等。第四层包含不同软件服务特有的属性。以“网站开发”为例，它的属性包括“开发语言”、“开发框架”、“数据库”等。知识图谱中的每一个节点即表示一个实体。每一个实体都有一个简短的描述以及会含有零至多个的同义词。

所述的实体是指从用户的自然语言查询语句中提取出的实体。实体是代表一个具体事物或概念的名词。如“我想要寻找懂Spring开发的程序员”。这里“Spring开发”、“程序员”就是实体。获取实体以及实体之间的关系是理解用户意图语义的关键。

所述的归一化是指：通过知识图谱中实体的同义词属性将词语归一化，即将属于同义词的两个词用同一个词来代替，从而避免用户在表达自己的查询意图和回答问题时用词随意导致词语的多样性(如缩略词、同义词等)会对理解意图造成干扰。

所述的基于规则的方法是指：每一种意图都包含一系列的查询规则，该规则能够描述用户查询语句的实体关系。每一条规则都包含若干个标识(token)。每一个标识包含三个属性：“match_pattern”、“weight”和“indispensable”。“match_pattern”为标识的候选词，“weight”表示该标识对整条规则的重要程度，“indispensable”表示该标识是否为必要的，值1为必要，值0为不必要。

所述的SVM-NaiveBayes-C4.5集成学习的方法是指：首先设计语义特征、N-gram特征和word2vec特征；然后采用支持向量机、朴素贝叶斯和C4.5决策树作为基本模型来进行训练，并采用bagging和AdaBoost的策略进行集成学习，其中：

1)Bagging集成学习策略是指：每一次所有训练数据都会被等分成三部分，每一部分作为其中：一个基本模型的输入，同时对三个基本模型进行训练；

2)AdaBoost集成学习策略是指：将使用如下公式：

其中：f_t(x)是一个弱分类器，返回的是该分类器认为的某事物x的类别。F_t(x)是在某一轮训练中的增强分类器。E_t＝∑_iE(F_t-1(x_i)+α_th(x_i)).其中：F_t-1(x_i)是上一轮训练得到的增强分类器，E(F)是误差函数，训练的目标是使得E(F)最小化。

所述的语义特征由POS(part of Speech，表示一个词的词性)得到，表征一个词语的词性，如名词、形容词、动词等；

所述的N-gram特征包含句子的词语序列信息，用以分析整个句子的语义。本发明中N的值取3；

所述的word2vec特征映射每个词到一个向量，用于表示词对词之间的关系以及词语更深层次的语义特征。

所述的条件随机场模型为概率无向图模型，具体是在给定一组输入随机变量条件下，另外一组输出随机变量的条件概率分布模型。

所述的转移特征，描述的是标签之间是否会因为某个特征而转移。根据马尔可夫链的属性，只考虑相邻标签的转移特征：

其中：l_k，l_j表示特定的标签，l_k.B，l_k.I为IOB表示。IOB是一种槽位语义标记方法，I表示in，O表示end，B表示beginning。

所述的起点特征是指：当一个标签位于初始位置，则起点特征为1，否则为0；

所述的终点特征是指：当一个标签位于末尾位置，则重点特征为1，否则为0；

所述的词特征是指：描述的是一个词和一个标签是否共现，具体为：

其中：w_j表示的是一个特定的单词。

所述的句法特征是指：描述的是单词的词性标签(POS tag)和标签是否共现，它用到信息的句法结构信息，具体为：

其中：pk是一个特定的POS标签，POS(xi)是根据POS标签算法算出的xi属于的POS标签。

所述的语义特征是指：通过设计词汇表的方式来表达语义特征。先设计两个词汇表，第一个词汇表是知识图谱中第三层的所有实体组成的集合；第二个词汇表是知识图谱中所有实体组成的集合，它同时也包含所有的属性，如编程语言、框架等。语义特征的表征为

其中：l_k代表某一个特定标签，L代表某一个词汇表。

所述的槽填充是指：通过利用条件随机场(CRF)模型从用户对话中抽取与任务相关的关键信息，并以槽位的形式进行填充。

所述的槽填充优选采用两种策略实现：

策略1)：意图I_i对应的训练数据T_i用于训练模型M_i，模型训练完成后，给定一个用户的自然语言表达，获取到最有可能的用户意图I之后，即使用I对应的模型M进行槽填充；

策略2)：采用与策略1)相同的训练模型过程，通过概率分布来选择最后的槽填充模型。例如，在给定一个用户的自然语言表达，可以获取可能性最大的前n个用户意图I₁，I₂，…，I_n，分别对应n个模型M₁，M₂，…，M_n.对于用户自然语言表达中的每一个单词，计算所有模型中的标签的加权平均值。加权平均值最高的标签将作为该单词的标签，从而通过这种方式完成槽位的填充。

所述的关键槽位进行预定义是指：根据知识图谱的内容结构对一些关键槽位进行预定义。例如，在知识图谱中，和实体“数据库”连接的有属于包含关系("subsumption")的实体“关系型数据库”和“非关系型数据库”，那么当用户的提问中含有关于数据库的信息时，就可以预先定义好“数据库类型”这一关键槽位。

技术效果

与现有技术相比，本发明通过对话系统的形式，使用基于规则和集成学习加权求和的机器学习方法，以及构建软件服务领域的知识图谱，通过两者结合，提高了意图理解的准确度。在用于测试的数据中，使用基于规则和集成学习加权求和的机器学习组合模型，以及为槽填充设计的转移特征、起点特征、终点特征、词特征、句法特征、语义特征，和利用知识图谱对命名实体的归一化的操作，都提高了意图理解的准确率和召回率。

附图说明

图1为任务型对话系统的技术架构图；

图2为软件服务知识图谱的片段示例图；

图3为意图提取流程图；

图4为利用条件随机场模型进行槽填充的流程图；

图5为实施例流程示意图。

具体实施方式

如图1所示，涉及一种软件众包平台上的任务型对话系统，包括：意图提取模块、槽填充模块、对话管理模块，任务执行模块和答案生成模块。

如图5所示，本实施例涉及上述系统的控制方法，具体包括以下步骤：

步骤1)用户以自然语言的方式表达自己的意图。通过如图2所示的知识图谱中实体的同义词属性将词语归一化，然后通过如图3所示的基于规则的方法与SVM-NaiveBayes-C4.5集成学习的方法得到分类结果，经加权求和得到用户的自然查询语句中的最终意图。

所述的基于规则的方法具体是指：在软件众包平台上，每一种意图都对应着一个查询规则集合，该规则描述用户查询语句的本体结构，对于每一条用户查询语句，将会计算它和每一条规则之间的匹配程度并采用匹配程度最高的规则；

所述的规则包含若干个标识，每一个标识包含：样式匹配属性(match_pattern)、权重属性(weight)、必要属性(indispensable)，其中：match_pattern为标识的候选词，weight为该标识对整条规则的重要程度，indispensable为该标识是否为必要。

所述的SVM-NaiveBayes-C4.5集成学习的方法具体是指：首先设计语义特征、N-gram特征和word2vec特征，其中：语义特征由POS(part of Speech，表示一个词的词性)得到，表征一个词语的词性，如名词、形容词、动词等；N-gram特征可以将句子的词语序列信息考虑进来；word2vec特征则考虑更深层次的单词语义。然后采用支持向量机(SVM)、朴素贝叶斯(

Bayes)、C4.5决策树(C 4.5Decision Tree)三种机器学习方法作为基本模型来进行训练，并采用bagging和AdaBoost的策略进行集成学习。

对于bagging策略，所有训练数据将等分为三部分，分别作为三种基本模型的输入进行训练。对于AdaBoost策略，模型由以下公式决定：

其中：f_t(x)是一个弱分类器，返回的是该分类器认为的某事物x的类别。F_t(x)是在某一轮训练中的增强分类器。E_t＝Σ_iE(F_t-1(x_i)+α_th(x_i))，其中：F_t-1(x_i)是上一轮训练得到的增强分类器，E(F)是误差函数，训练的目标是使得E(F)最小化。

所述的加权求和是指：R＝W₁R₁+W₂R₂，其中：W₁为基于规则方法的权重，R₁是用户查询语句和每个意图之间的匹配度向量。同理，W₂为SVM-NaiveBayes-C4.5集成学习方法的权重，R₂是用户查询语句和每个意图之间的匹配度向量。

步骤2)如图4所示，使用条件随机场模型(CRF)作为基础模型进行槽填充：给定一个单词的序列X＝(x₁x₂，…，x_m)，CRF的目标是计算一个对应的标签序列y＝(y₁，y₂，…，y_m)的条件概率，并找到使得条件概率p(y|x)最大的标签序列y，其中：

f(y，x)}.可以认为f(y，x)的计算仅与邻近的标签有关，所以

f(y_i-1，y_i，x，i)}，其中：z_λ(x)是正则化因子，λ是特征方程的权重向量，训练目标是找到一个合适的特征方程的权重向量λ。为CRF模型设计的特征有转移特征、起点特征、终点特征、词特征、句法特征、语义特征。

本实施例中采用两种策略来进行槽填充，具体如下：

策略2.1)意图I_i对应的训练数据T_i用于训练模型M_i，模型训练完成后，给定一个用户的自然语言表达，获取到最有可能的用户意图I之后，即使用I对应的模型M进行槽填充；

策略2.2)训练模型的过程和策略2.1)相同，其通过概率分布来选择最后的槽填充模型。例如，在给定一个用户的自然语言表达，可以获取可能性最大的前n个用户意图I_1，I_2，…，I_n，分别对应n个模型M_1，M_2，…，M_n.对于用户自然语言表达中的每一个单词，计算所有模型中的标签的加权平均值。加权平均值最高的标签将作为该单词的标签，通过这种方式完成槽位的填充。

当获取到槽位的值之后，将会使用知识图谱来帮助检查是否所有关键的槽位信息都已获得，以及根据有限状态机来追踪状态。

所述的条件随机场模型为概率无向图模型，具体是在给定一组输入随机变量条件下，另外一组输出随机变量的条件概率分布模型。

步骤3)由于所需的槽位信息不可能在一轮对话中就能够完全获取，任务型对话系统必须支持多轮对话，并能够记录上下文的交互状态。由于是面向任务的而不是开放域的对话系统，需要获取哪些关键信息是清楚明的，因此采用有限状态机来记录对话状态。当缺少槽位信息时，会发起新的提问，要求用户补充回答。同时使用知识图谱来对软件服务的关键槽位进行预定义，从而获取所有槽位信息。

步骤4)当槽填充任务完成后，将会进入任务执行模块。该模块用于执行用户任务，调用软件众包平台提供的API来执行具体任务，并且可以向对话管理模块返回执行结果。

步骤5)采用基于模板的方法来生成对话。根据有限状态机中记录的状态，系统可以决定使用哪一个模板来回答用户的问题或者时提出新的问题。相比于适合在开放域中使用的端到端模型，基于模板的方法更为简单有效。

本方法结合机器统计学习、有效的特征工程和条件随机场集成模型，提高意图理解能力和槽填充的准确度。

选择国内著名的软件众包平台“解放号”进行评估实验。选取平台上1458条用户查询语句作为实验数据。这些语句可分为6种查询意图，分别为“推荐合格的开发人员”、“项目需求搜索”、“项目竞标”、“服务质量评估”、“总销售额查询”、“项目进展查询”。从每一个意图种挑选200条进行手动打标签做为训练数据。另寻求专家设计65条规则。

在意图理解模块，用集成学习和单一的统计模型以及深度学习作比较。采用准确率和召回率以及F-score来作为评判指标，其中准确率为

召回率

从表1种可以看到，使用集成学习的效果最好。采用深度学习的效果更差是因为它不适用于数据规模较小的情形。使用集成学习模型能达到最好的效果，其中采用AdaBoost的模型其F1-score能达到83％。

表1不同机器学习模型的意图理解效果

模型	准确率(precision)	召回率(recall)	F1-score
				集成学习(Bagging)	0.78	0.85	0.80
集成学习(AdaBoost)	0.83	0.89	0.83
				SVM	0.77	0.81	0.78
Naive Bayes	0.65	0.73	0.68
				DT(C4.5)	0.75	0.75	0.75
RNN	0.76	0.82	0.78

在意图理解模块，比较组合模型和基于规则的、基于集成机器学习的单一模型的意图理解效果。如表2所示，组合模型比单一模型效果更佳。组合模型在意图理解上能够达到87％的F1-score值。

表2组合模型和单一模型的意图理解效果

方法	准确率(precision)	召回率(recall)	F1-score
				基于规则	0.90	0.61	0.73
集成统计学习	0.83	0.89	0.83
				两者组合	0.90	0.85	0.87

在槽填充模块，比较不同的特征对槽填充是否由积极贡献以及贡献程度。如表3所示，可以看到，所有设计的特征对最终的结果都有一定程度的贡献，其中词语特征(wordfeature，WF)，转移特征(transition feature，TF)和语义特征(sematic feature)的贡献最大。从表中可以看到，当使用所有的特征时，能够达到最好的效果，F1-score能达到0.93。

表3不同特征对槽填充的效果

特征	准确率(precision)	召回率(recall)	F1-score
				WF	0.76	0.83	0.79
WF+TF	0.82	0.85	0.86
				WF+TF+EF	0.86	0.87	0.80
WF+TF+EF+SyF	0.86	0.89	0.87
				WF+TF+EF+SyF+StF	0.88	0.93	0.90
WF+TF+EF+StF+SyF+SeF	0.92	0.94	0.93

知识图谱在该系统中有着很重要的角色。表4显示知识图谱在预处理阶段将实体归一化对槽填充结果的影响。可以看到，实体的归一化能够帮助提高槽填充的效果，准确理解用户意图。借助知识图谱能够将槽填充的F1-score提升至0.93。

表4借助知识图谱将实体归一化对槽填充结果的影响

是否对命名实体归一化	准确率(precision)	召回率(recall)F1-score
			是	0.92	0.940.93
否	0.83	0.920.87

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (8)

1.一种基于在软件众包平台上基于知识图谱的任务型对话系统的控制方法，其特征在于，该任务型对话系统包括：意图提取模块、槽填充模块、对话管理模块，任务执行模块和答案生成模块，其中：意图提取模块从用户的自然语言对话中提取出用户意图，槽填充模块根据用户意图填充关键槽位信息，对话管理模块管理多轮对话的上下文关系以及维护空缺的槽位信息，任务执行模块根据完整的槽位信息调用软件众包平台提供的API来执行具体任务，答案生成模块通过模板生成最终的答案或者发起新一轮的提问，要求用户对确实的槽位信息进行补充回答；

所述的用户意图包括：寻找掌握指定编程技术的开发人员、寻找符合心理价位或运用特定编程技术的开发项目；

所述的关键槽位信息包括：软件开发类型、编程语言、价位；

所述的上下文关系是指：在多轮对话中不同轮次的对话之间包含的上下文关系；

所述的软件众包平台提供的API包括：按特定条件如编程语言、薪酬范围获取相应的人员列表或项目列表；

所述的具体任务包括：返回符合条件的开发人员列表；返回符合条件的开发项目列表；

所述的模板包括：预先设置好的提问或回答模板；

所述的控制方法包括以下步骤：

步骤1)通过知识图谱技术构建软件服务知识库，协助系统理解用户意图，具体为：利用知识图谱对实体进行归一化，然后分别基于规则的方法与SVM-NaiveBayes-C4.5集成学习的方法得到分类结果，经加权求和得到用户的自然查询语句中的最终意图；

步骤2)使用CRF作为基础模型进行槽填充，并为CRF模型设计转移特征、起点特征、终点特征、词特征、句法特征和语义特征，使用知识图谱对软件服务的关键槽位进行预定义，从而实现意图语义理解；

步骤3)当对话管理模块获取到用户的查询语义后，采用有限状态机记录人机对话状态；当检测到槽位缺失时，通过答案生成模块再发起新一轮的对话，从用户的再次回答中获取缺失的槽位信息，当所有槽位填满后，即获取完整的意图语义信息，通过任务执行模块调用软件众包平台提供的API来执行具体任务；

所述的转移特征是指，描述的是标签之间是否会因为某个特征而转移：

其中：l_k，l_j为特定的标签，l_k.B、l_k.I分别为IOB槽位语义标记方法，即I为in，O为end，B为beginning；

所述的起点特征是指：当一个标签位于初始位置，则起点特征为1，否则为0；

所述的终点特征是指：当一个标签位于末尾位置，则重点特征为1，否则为0；

所述的词特征是指：描述的为一个词和一个标签是否共现，具体为：

其中：w_j为的为一个特定的单词；

所述的句法特征是指：单词的词性标签POS tag和标签是否共现，具体为：

其中：p_k为一个特定的POS标签，POS(x_i)为根据POS标签算法算出的x_i属于的POS标签；

所述的语义特征通过设计词汇表的方式实现，具体为：先设计两个词汇表，第一个词汇表为知识图谱中第三层的所有实体组成的集合；第二个词汇表为知识图谱中包含所有的属性的所有实体组成的集合；语义特征的表征为

其中：l_k代表某一个特定标签，L代表某一个词汇表。

2.根据权利要求1所述的方法，其特征是，所述的知识图谱技术是指：将软件服务的领域知识通过诸多(实体，关系，实体)三元组的形式组成的有向图，每一个三元组连接两个实体，并表明两个实体之间的关系；

所述的实体是指从用户的自然语言查询语句中提取出的实体，代表一个具体事物或概念的名词。

3.根据权利要求1所述的方法，其特征是，所述的归一化是指：通过知识图谱中实体的同义词属性将词语归一化，即将属于同义词的两个词用同一个词来代替。

4.根据权利要求1所述的方法，其特征是，所述的基于规则的方法具体是指：在软件众包平台上，每一种意图都对应着一个查询规则集合，该规则描述用户查询语句的本体结构，对于每一条用户查询语句，将会计算它和每一条规则之间的匹配程度并采用匹配程度最高的规则；

所述的规则包含若干个标识，每一个标识包含：样式匹配属性match_pattern、权重属性weight、必要属性indispensable，其中：match_pattern为标识的候选词，weight为该标识对整条规则的重要程度，indispensable为该标识是否为必要。

5.根据权利要求1所述的方法，其特征是，所述的SVM-NaiveBayes-C4.5集成学习的方法是指：首先设计语义特征、N-gram特征和word2vec特征；然后采用支持向量机、朴素贝叶斯和C4.5决策树作为基本模型来进行训练，并采用bagging和AdaBoost的策略进行集成学习，其中：

1)Bagging集成学习策略是指：每一次所有训练数据都会被分成三部分，每一部分作为其中：一个基本模型的输入，同时对三个基本模型进行训练；

2)AdaBoost集成学习策略是指：将使用如下公式：

其中：f_t(x)是一个弱分类器，返回的是该分类器认为的某事物x的类别，F_t(x)是在某一轮训练中的增强分类器，E_t＝∑_iE(F_t-1(x_i)+α_th(x_i)).其中：F_t-1(x_i)是上一轮训练得到的增强分类器，E(F)是误差函数，训练的目标是使得E(F)最小化。

6.根据权利要求5所述的方法，其特征是，所述的语义特征由POS得到，表征一个词语的词性；所述的N-gram特征包含句子的词语序列信息，用以分析整个句子的语义；所述的word2vec特征映射每个词到一个向量，用于表示词对词之间的关系以及词语更深层次的语义特征。

7.根据权利要求1所述的方法，其特征是，所述的槽填充是指：通过利用CRF模型从用户对话中抽取与任务相关的关键信息，并以槽位的形式进行填充。

8.根据权利要求1或7所述的方法，其特征是，所述的槽填充采用两种策略实现：

策略1)意图I_i对应的训练数据T_i用于训练模型M_i，模型训练完成后，给定一个用户的自然语言表达，获取到最有可能的用户意图I之后，即使用I对应的模型M进行槽填充；

策略2)采用与策略1相同的训练模型过程，通过概率分布来选择最后的槽填充模型；

对于用户自然语言表达中的每一个单词，计算所有模型中的标签的加权平均值；加权平均值最高的标签将作为该单词的标签，从而通过这种方式完成槽位的填充。

Images