CN111078844A - 软件众包的任务型对话系统及方法 - Google Patents
软件众包的任务型对话系统及方法 Download PDFInfo
- Publication number
- CN111078844A CN111078844A CN201811211909.6A CN201811211909A CN111078844A CN 111078844 A CN111078844 A CN 111078844A CN 201811211909 A CN201811211909 A CN 201811211909A CN 111078844 A CN111078844 A CN 111078844A
- Authority
- CN
- China
- Prior art keywords
- user
- module
- word
- intention
- software
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
一种软件众包的任务型对话系统及方法,包括:意图提取模块、槽填充模块、对话管理模块,任务执行模块和答案生成模块,其中:意图提取模块从用户的自然语言对话中提取出用户意图,槽填充模块根据用户意图填充关键槽位信息,对话管理模块管理多轮对话的上下文关系以及维护空缺的槽位信息,任务执行模块根据完整的槽位信息调用软件众包平台提供的API来执行具体任务,答案生成模块通过模板生成最终的答案或者发起新一轮的提问,要求用户对确实的槽位信息进行补充回答。本发明通过知识图谱利用软件工程领域的知识来更准确地提取用户的意图,从而帮助用户更高效地寻找到目标结果,提高对话系统回答的准确度。
Description
技术领域
本发明涉及一种信息处理领域的技术,具体涉及一种软件众包的任务型对话系统及方法。
背景技术
近年来,随着互联网的发展和软件众包产业的兴起,日益增多的用户加入到软件众包平台中来发布需求以及寻求工作。在软件众包平台上,项目发布者可以将项目发布到众包平台,并提供相应的报酬;众包平台的开发人员可以报名感兴趣的项目,成功完成项目后获得相应的报酬。项目发布者和开发人员都可以通过文本搜索的方式,找到感兴趣的开发人员或众包项目。然而对于传统的软件众包平台,通过用户繁琐的点击、搜索、查找过程,只能进行简单的文本字符串匹配,系统很难有效地理解用户的意图并返回与之相匹配的结果。
发明内容
本发明针对现有任务型对话系统的现有技术中用户意图提取不够精确、领域知识利用不够充分等缺陷,提出一种软件众包的任务型对话系统及方法,并通过知识图谱利用软件工程领域的知识来更准确地提取用户的意图,从而帮助用户更高效地寻找到目标结果,提高对话系统回答的准确度。
本发明是通过以下技术方案实现的:
本发明涉及一种在软件众包平台上基于知识图谱的任务型对话系统,包括:意图提取模块、槽填充模块、对话管理模块,任务执行模块和答案生成模块,其中:意图提取模块从用户的自然语言对话中提取出用户意图,槽填充模块根据用户意图填充关键槽位信息,对话管理模块管理多轮对话的上下文关系以及维护空缺的槽位信息,任务执行模块根据完整的槽位信息调用软件众包平台提供的API来执行具体任务,答案生成模块通过模板生成最终的答案或者发起新一轮的提问,要求用户对缺失的槽位信息进行补充回答。
所述的用户意图包括:寻找掌握指定编程技术的开发人员、寻找符合心理价位或运用特定编程技术的开发项目等。
所述的关键槽位信息包括:软件开发类型、编程语言、价位等。
所述的上下文关系是指,在多轮对话中不同轮次的对话之间包含的上下文关系。例如,开发人员A和对话系统R发生如下多轮对话:A:“可以帮我找到运用Java语言的Web项目吗?”;R:“好的,请问你需要找运用什么框架的Web项目?”;A:“使用SSM框架的”;R:“好的,已为您找到一些如下项目…”。在第一轮对话中,A提到了Java的Web项目,它成为了下一轮对话的上下文。在下一轮对话中R询问A使用何种框架,暗含的语义是何种Java框架,而不是别的编程语言(如Python)的框架。如果不对上下文加以维护和记录,系统将无法将Java语言和后面的框架联系起来,从而会产生语义的混淆和意图理解上的模糊。因此维护上下文是十分重要的。
所述的软件众包平台提供的API包括:按特定条件如编程语言、薪酬范围等获取相应的人员列表或项目列表等。
所述的具体任务包括:返回符合条件的开发人员列表;返回符合条件的开发项目列表等。
所述的模板包括:预先设置好的提问或回答模板,如:“好的,已为您找到一些以()为开发技术的项目如下:()”,“您所要找的开发人员的()要求是什么?”等。括号中为模板需要填充的内容。
本发明涉及上述系统的控制方法,包括以下步骤:
步骤1)通过知识图谱技术构建软件服务知识库,协助系统理解用户意图,具体为:利用知识图谱对实体进行归一化,然后分别使用基于规则的方法与SVM-NaiveBayes-C4.5集成学习的方法得到分类结果,经加权求和得到用户的自然查询语句中的最终意图。
步骤2)使用条件随机场模型(CRF)作为基础模型进行槽填充,并为CRF模型设计转移特征、起点特征、终点特征、词特征、句法特征和语义特征,使用知识图谱对软件服务的关键槽位进行预定义,从而实现意图语义理解。
步骤3)当对话管理模块获取到用户的查询语义后,采用有限状态机记录人机对话状态;当检测到槽位缺失时,通过答案生成模块再发起新一轮的对话,从用户的再次回答中获取缺失的槽位信息,当所有槽位填满后,即获取完整的意图语义信息,通过任务执行模块调用软件众包平台提供的API来执行具体任务。
所述的知识图谱技术是指:将软件服务的领域知识通过诸多(实体,关系,实体)三元组的形式组成的有向图,每一个三元组连接两个实体,并表明两个实体之间的关系。如三元组(软件开发,subsumption,网页开发)就表明实体“软件开发”和“网页开发”是从属关系,并且这个关系是单向的。由这些三元组构成的知识图谱代表软件服务领域的先验知识。该软件服务知识图谱的具体结构为:其中:第一层为“软件服务”;第二层为“软件服务”的不同类型,如“软件开发”、“软件测试”、“架构设计”、“运维开发”等;第三层为各个特定软件服务具体子类别。以“软件开发”为例,它可以分为“网站开发”、“app开发”、“嵌入式系统开发”等。第四层包含不同软件服务特有的属性。以“网站开发”为例,它的属性包括“开发语言”、“开发框架”、“数据库”等。知识图谱中的每一个节点即表示一个实体。每一个实体都有一个简短的描述以及会含有零至多个的同义词。
所述的实体是指从用户的自然语言查询语句中提取出的实体。实体是代表一个具体事物或概念的名词。如“我想要寻找懂Spring开发的程序员”。这里“Spring开发”、“程序员”就是实体。获取实体以及实体之间的关系是理解用户意图语义的关键。
所述的归一化是指:通过知识图谱中实体的同义词属性将词语归一化,即将属于同义词的两个词用同一个词来代替,从而避免用户在表达自己的查询意图和回答问题时用词随意导致词语的多样性(如缩略词、同义词等)会对理解意图造成干扰。
所述的基于规则的方法是指:每一种意图都包含一系列的查询规则,该规则能够描述用户查询语句的实体关系。每一条规则都包含若干个标识(token)。每一个标识包含三个属性:“match_pattern”、“weight”和“indispensable”。“match_pattern”为标识的候选词,“weight”表示该标识对整条规则的重要程度,“indispensable”表示该标识是否为必要的,值1为必要,值0为不必要。
所述的SVM-NaiveBayes-C4.5集成学习的方法是指:首先设计语义特征、N-gram特征和word2vec特征;然后采用支持向量机、朴素贝叶斯和C4.5决策树作为基本模型来进行训练,并采用bagging和AdaBoost的策略进行集成学习,其中:
1)Bagging集成学习策略是指:每一次所有训练数据都会被等分成三部分,每一部分作为其中:一个基本模型的输入,同时对三个基本模型进行训练;
2)AdaBoost集成学习策略是指:将使用如下公式:其中:ft(x)是一个弱分类器,返回的是该分类器认为的某事物x的类别。Ft(x)是在某一轮训练中的增强分类器。Et=∑iE(Ft-1(xi)+αth(xi)).其中:Ft-1(xi)是上一轮训练得到的增强分类器,E(F)是误差函数,训练的目标是使得E(F)最小化。
所述的语义特征由POS(part of Speech,表示一个词的词性)得到,表征一个词语的词性,如名词、形容词、动词等;
所述的N-gram特征包含句子的词语序列信息,用以分析整个句子的语义。本发明中N的值取3;
所述的word2vec特征映射每个词到一个向量,用于表示词对词之间的关系以及词语更深层次的语义特征。
所述的条件随机场模型为概率无向图模型,具体是在给定一组输入随机变量条件下,另外一组输出随机变量的条件概率分布模型。
所述的转移特征,描述的是标签之间是否会因为某个特征而转移。根据马尔可夫链的属性,只考虑相邻标签的转移特征:其中:lk,lj表示特定的标签,lk.B,lk.I为IOB表示。IOB是一种槽位语义标记方法,I表示in,O表示end,B表示beginning。
所述的起点特征是指:当一个标签位于初始位置,则起点特征为1,否则为0;
所述的终点特征是指:当一个标签位于末尾位置,则重点特征为1,否则为0;
所述的句法特征是指:描述的是单词的词性标签(POS tag)和标签是否共现,它用到信息的句法结构信息,具体为:其中:pk是一个特定的POS标签,POS(xi)是根据POS标签算法算出的xi属于的POS标签。
所述的语义特征是指:通过设计词汇表的方式来表达语义特征。先设计两个词汇表,第一个词汇表是知识图谱中第三层的所有实体组成的集合;第二个词汇表是知识图谱中所有实体组成的集合,它同时也包含所有的属性,如编程语言、框架等。语义特征的表征为
所述的槽填充是指:通过利用条件随机场(CRF)模型从用户对话中抽取与任务相关的关键信息,并以槽位的形式进行填充。
所述的槽填充优选采用两种策略实现:
策略1):意图Ii对应的训练数据Ti用于训练模型Mi,模型训练完成后,给定一个用户的自然语言表达,获取到最有可能的用户意图I之后,即使用I对应的模型M进行槽填充;
策略2):采用与策略1)相同的训练模型过程,通过概率分布来选择最后的槽填充模型。例如,在给定一个用户的自然语言表达,可以获取可能性最大的前n个用户意图I1,I2,…,In,分别对应n个模型M1,M2,…,Mn.对于用户自然语言表达中的每一个单词,计算所有模型中的标签的加权平均值。加权平均值最高的标签将作为该单词的标签,从而通过这种方式完成槽位的填充。
所述的关键槽位进行预定义是指:根据知识图谱的内容结构对一些关键槽位进行预定义。例如,在知识图谱中,和实体“数据库”连接的有属于包含关系("subsumption")的实体“关系型数据库”和“非关系型数据库”,那么当用户的提问中含有关于数据库的信息时,就可以预先定义好“数据库类型”这一关键槽位。
技术效果
与现有技术相比,本发明通过对话系统的形式,使用基于规则和集成学习加权求和的机器学习方法,以及构建软件服务领域的知识图谱,通过两者结合,提高了意图理解的准确度。在用于测试的数据中,使用基于规则和集成学习加权求和的机器学习组合模型,以及为槽填充设计的转移特征、起点特征、终点特征、词特征、句法特征、语义特征,和利用知识图谱对命名实体的归一化的操作,都提高了意图理解的准确率和召回率。
附图说明
图1为任务型对话系统的技术架构图;
图2为软件服务知识图谱的片段示例图;
图3为意图提取流程图;
图4为利用条件随机场模型进行槽填充的流程图;
图5为实施例流程示意图。
具体实施方式
如图1所示,涉及一种软件众包平台上的任务型对话系统,包括:意图提取模块、槽填充模块、对话管理模块,任务执行模块和答案生成模块。
如图5所示,本实施例涉及上述系统的控制方法,具体包括以下步骤:
步骤1)用户以自然语言的方式表达自己的意图。通过如图2所示的知识图谱中实体的同义词属性将词语归一化,然后通过如图3所示的基于规则的方法与SVM-NaiveBayes-C4.5集成学习的方法得到分类结果,经加权求和得到用户的自然查询语句中的最终意图。
所述的基于规则的方法具体是指:在软件众包平台上,每一种意图都对应着一个查询规则集合,该规则描述用户查询语句的本体结构,对于每一条用户查询语句,将会计算它和每一条规则之间的匹配程度并采用匹配程度最高的规则;
所述的规则包含若干个标识,每一个标识包含:样式匹配属性(match_pattern)、权重属性(weight)、必要属性(indispensable),其中:match_pattern为标识的候选词,weight为该标识对整条规则的重要程度,indispensable为该标识是否为必要。
所述的SVM-NaiveBayes-C4.5集成学习的方法具体是指:首先设计语义特征、N-gram特征和word2vec特征,其中:语义特征由POS(part of Speech,表示一个词的词性)得到,表征一个词语的词性,如名词、形容词、动词等;N-gram特征可以将句子的词语序列信息考虑进来;word2vec特征则考虑更深层次的单词语义。然后采用支持向量机(SVM)、朴素贝叶斯( Bayes)、C4.5决策树(C 4.5Decision Tree)三种机器学习方法作为基本模型来进行训练,并采用bagging和AdaBoost的策略进行集成学习。
对于bagging策略,所有训练数据将等分为三部分,分别作为三种基本模型的输入进行训练。对于AdaBoost策略,模型由以下公式决定:其中:ft(x)是一个弱分类器,返回的是该分类器认为的某事物x的类别。Ft(x)是在某一轮训练中的增强分类器。Et=ΣiE(Ft-1(xi)+αth(xi)),其中:Ft-1(xi)是上一轮训练得到的增强分类器,E(F)是误差函数,训练的目标是使得E(F)最小化。
所述的加权求和是指:R=W1R1+W2R2,其中:W1为基于规则方法的权重,R1是用户查询语句和每个意图之间的匹配度向量。同理,W2为SVM-NaiveBayes-C4.5集成学习方法的权重,R2是用户查询语句和每个意图之间的匹配度向量。
步骤2)如图4所示,使用条件随机场模型(CRF)作为基础模型进行槽填充:给定一个单词的序列X=(x1x2,…,xm),CRF的目标是计算一个对应的标签序列y=(y1,y2,…,ym)的条件概率,并找到使得条件概率p(y|x)最大的标签序列y,其中:f(y,x)}.可以认为f(y,x)的计算仅与邻近的标签有关,所以f(yi-1,yi,x,i)},其中:zλ(x)是正则化因子,λ是特征方程的权重向量,训练目标是找到一个合适的特征方程的权重向量λ。为CRF模型设计的特征有转移特征、起点特征、终点特征、词特征、句法特征、语义特征。
本实施例中采用两种策略来进行槽填充,具体如下:
策略2.1)意图I_i对应的训练数据T_i用于训练模型M_i,模型训练完成后,给定一个用户的自然语言表达,获取到最有可能的用户意图I之后,即使用I对应的模型M进行槽填充;
策略2.2)训练模型的过程和策略2.1)相同,其通过概率分布来选择最后的槽填充模型。例如,在给定一个用户的自然语言表达,可以获取可能性最大的前n个用户意图I_1,I_2,…,I_n,分别对应n个模型M_1,M_2,…,M_n.对于用户自然语言表达中的每一个单词,计算所有模型中的标签的加权平均值。加权平均值最高的标签将作为该单词的标签,通过这种方式完成槽位的填充。
当获取到槽位的值之后,将会使用知识图谱来帮助检查是否所有关键的槽位信息都已获得,以及根据有限状态机来追踪状态。
所述的条件随机场模型为概率无向图模型,具体是在给定一组输入随机变量条件下,另外一组输出随机变量的条件概率分布模型。
步骤3)由于所需的槽位信息不可能在一轮对话中就能够完全获取,任务型对话系统必须支持多轮对话,并能够记录上下文的交互状态。由于是面向任务的而不是开放域的对话系统,需要获取哪些关键信息是清楚明的,因此采用有限状态机来记录对话状态。当缺少槽位信息时,会发起新的提问,要求用户补充回答。同时使用知识图谱来对软件服务的关键槽位进行预定义,从而获取所有槽位信息。
步骤4)当槽填充任务完成后,将会进入任务执行模块。该模块用于执行用户任务,调用软件众包平台提供的API来执行具体任务,并且可以向对话管理模块返回执行结果。
步骤5)采用基于模板的方法来生成对话。根据有限状态机中记录的状态,系统可以决定使用哪一个模板来回答用户的问题或者时提出新的问题。相比于适合在开放域中使用的端到端模型,基于模板的方法更为简单有效。
本方法结合机器统计学习、有效的特征工程和条件随机场集成模型,提高意图理解能力和槽填充的准确度。
选择国内著名的软件众包平台“解放号”进行评估实验。选取平台上1458条用户查询语句作为实验数据。这些语句可分为6种查询意图,分别为“推荐合格的开发人员”、“项目需求搜索”、“项目竞标”、“服务质量评估”、“总销售额查询”、“项目进展查询”。从每一个意图种挑选200条进行手动打标签做为训练数据。另寻求专家设计65条规则。
在意图理解模块,用集成学习和单一的统计模型以及深度学习作比较。采用准确率和召回率以及F-score来作为评判指标,其中准确率为召回率 从表1种可以看到,使用集成学习的效果最好。采用深度学习的效果更差是因为它不适用于数据规模较小的情形。使用集成学习模型能达到最好的效果,其中采用AdaBoost的模型其F1-score能达到83%。
表1不同机器学习模型的意图理解效果
模型 | 准确率(precision) | 召回率(recall) | F1-score |
集成学习(Bagging) | 0.78 | 0.85 | 0.80 |
集成学习(AdaBoost) | 0.83 | 0.89 | 0.83 |
SVM | 0.77 | 0.81 | 0.78 |
Naive Bayes | 0.65 | 0.73 | 0.68 |
DT(C4.5) | 0.75 | 0.75 | 0.75 |
RNN | 0.76 | 0.82 | 0.78 |
在意图理解模块,比较组合模型和基于规则的、基于集成机器学习的单一模型的意图理解效果。如表2所示,组合模型比单一模型效果更佳。组合模型在意图理解上能够达到87%的F1-score值。
表2组合模型和单一模型的意图理解效果
方法 | 准确率(precision) | 召回率(recall) | F1-score |
基于规则 | 0.90 | 0.61 | 0.73 |
集成统计学习 | 0.83 | 0.89 | 0.83 |
两者组合 | 0.90 | 0.85 | 0.87 |
在槽填充模块,比较不同的特征对槽填充是否由积极贡献以及贡献程度。如表3所示,可以看到,所有设计的特征对最终的结果都有一定程度的贡献,其中词语特征(wordfeature,WF),转移特征(transition feature,TF)和语义特征(sematic feature)的贡献最大。从表中可以看到,当使用所有的特征时,能够达到最好的效果,F1-score能达到0.93。
表3不同特征对槽填充的效果
特征 | 准确率(precision) | 召回率(recall) | F1-score |
WF | 0.76 | 0.83 | 0.79 |
WF+TF | 0.82 | 0.85 | 0.86 |
WF+TF+EF | 0.86 | 0.87 | 0.80 |
WF+TF+EF+SyF | 0.86 | 0.89 | 0.87 |
WF+TF+EF+SyF+StF | 0.88 | 0.93 | 0.90 |
WF+TF+EF+StF+SyF+SeF | 0.92 | 0.94 | 0.93 |
知识图谱在该系统中有着很重要的角色。表4显示知识图谱在预处理阶段将实体归一化对槽填充结果的影响。可以看到,实体的归一化能够帮助提高槽填充的效果,准确理解用户意图。借助知识图谱能够将槽填充的F1-score提升至0.93。
表4借助知识图谱将实体归一化对槽填充结果的影响
是否对命名实体归一化 | 准确率(precision) | 召回率(recall)F1-score |
是 | 0.92 | 0.940.93 |
否 | 0.83 | 0.920.87 |
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整,本发明的保护范围以权利要求书为准且不由上述具体实施所限,在其范围内的各个实现方案均受本发明之约束。
Claims (10)
1.一种在软件众包平台上基于知识图谱的任务型对话系统,其特征在于,包括:意图提取模块、槽填充模块、对话管理模块,任务执行模块和答案生成模块,其中:意图提取模块从用户的自然语言对话中提取出用户意图,槽填充模块根据用户意图填充关键槽位信息,对话管理模块管理多轮对话的上下文关系以及维护空缺的槽位信息,任务执行模块根据完整的槽位信息调用软件众包平台提供的API来执行具体任务,答案生成模块通过模板生成最终的答案或者发起新一轮的提问,要求用户对确实的槽位信息进行补充回答;
所述的用户意图包括:寻找掌握指定编程技术的开发人员、寻找符合心理价位或运用特定编程技术的开发项目;
所述的关键槽位信息包括:软件开发类型、编程语言、价位;
所述的上下文关系是指:在多轮对话中不同轮次的对话之间包含的上下文关系;
所述的软件众包平台提供的API包括:按特定条件如编程语言、薪酬范围获取相应的人员列表或项目列表;
所述的具体任务包括:返回符合条件的开发人员列表;返回符合条件的开发项目列表;
所述的模板包括:预先设置好的提问或回答模板。
2.一种基于权利要求1所述系统的控制方法,其特征在于,包括以下步骤:
步骤1)通过知识图谱技术构建软件服务知识库,协助系统理解用户意图,具体为:利用知识图谱对实体进行归一化,然后分别基于规则的方法与SVM-NaiveBayes-C4.5集成学习的方法得到分类结果,经加权求和得到用户的自然查询语句中的最终意图;
步骤2)使用CRF作为基础模型进行槽填充,并为CRF模型设计转移特征、起点特征、终点特征、词特征、句法特征和语义特征,使用知识图谱对软件服务的关键槽位进行预定义,从而实现意图语义理解;
步骤3)当对话管理模块获取到用户的查询语义后,采用有限状态机记录人机对话状态;当检测到槽位缺失时,通过答案生成模块再发起新一轮的对话,从用户的再次回答中获取缺失的槽位信息,当所有槽位填满后,即获取完整的意图语义信息,通过任务执行模块调用软件众包平台提供的API来执行具体任务。
3.根据权利要求2所述的方法,其特征是,所述的知识图谱技术是指:将软件服务的领域知识通过诸多(实体,关系,实体)三元组的形式组成的有向图,每一个三元组连接两个实体,并表明两个实体之间的关系;
所述的实体是指从用户的自然语言查询语句中提取出的实体,代表一个具体事物或概念的名词。
4.根据权利要求2所述的方法,其特征是,所述的归一化是指:通过知识图谱中实体的同义词属性将词语归一化,即将属于同义词的两个词用同一个词来代替。
5.根据权利要求2所述的方法,其特征是,所述的基于规则的方法具体是指:在软件众包平台上,每一种意图都对应着一个查询规则集合,该规则描述用户查询语句的本体结构,对于每一条用户查询语句,将会计算它和每一条规则之间的匹配程度并采用匹配程度最高的规则;
所述的规则包含若干个标识,每一个标识包含:样式匹配属性(match_pattern)、权重属性(weight)、必要属性(indispensable),其中:match_pattern为标识的候选词,weight为该标识对整条规则的重要程度,indispensable为该标识是否为必要。
6.根据权利要求2所述的方法,其特征是,所述的SVM-NaiveBayes-C4.5集成学习的方法是指:首先设计语义特征、N-gram特征和word2vec特征;然后采用支持向量机、朴素贝叶斯和C4.5决策树作为基本模型来进行训练,并采用bagging和AdaBoost的策略进行集成学习,其中:
1)Bagging集成学习策略是指:每一次所有训练数据都会被分成三部分,每一部分作为其中:一个基本模型的输入,同时对三个基本模型进行训练;
7.根据权利要求6所述的方法,其特征是,所述的语义特征由POS得到,表征一个词语的词性;所述的N-gram特征包含句子的词语序列信息,用以分析整个句子的语义;所述的word2vec特征映射每个词到一个向量,用于表示词对词之间的关系以及词语更深层次的语义特征。
8.根据权利要求2所述的方法,其特征是,所述的转移特征是指,描述的是标签之间是否会因为某个特征而转移:其中:lk,lj为特定的标签,lk.B、lk.I分别为IOB槽位语义标记方法,即I为in,O为end,B为beginning;
所述的起点特征是指:当一个标签位于初始位置,则起点特征为1,否则为0;
所述的终点特征是指:当一个标签位于末尾位置,则重点特征为1,否则为0;
所述的词特征是指:描述的为一个词和一个标签是否共现,具体为:
9.根据权利要求2所述的方法,其特征是,所述的槽填充是指:通过利用CRF模型从用户对话中抽取与任务相关的关键信息,并以槽位的形式进行填充。
10.根据权利要求2或9所述的方法,其特征是,所述的槽填充采用两种策略实现:
策略1)意图Ii对应的训练数据Ti用于训练模型Mi,模型训练完成后,给定一个用户的自然语言表达,获取到最有可能的用户意图I之后,即使用I对应的模型M进行槽填充;
策略2)采用与策略1)相同的训练模型过程,通过概率分布来选择最后的槽填充模型;
对于用户自然语言表达中的每一个单词,计算所有模型中的标签的加权平均值。加权平均值最高的标签将作为该单词的标签,从而通过这种方式完成槽位的填充。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811211909.6A CN111078844B (zh) | 2018-10-18 | 2018-10-18 | 软件众包的任务型对话系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811211909.6A CN111078844B (zh) | 2018-10-18 | 2018-10-18 | 软件众包的任务型对话系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111078844A true CN111078844A (zh) | 2020-04-28 |
CN111078844B CN111078844B (zh) | 2023-03-14 |
Family
ID=70308029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811211909.6A Active CN111078844B (zh) | 2018-10-18 | 2018-10-18 | 软件众包的任务型对话系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111078844B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111813903A (zh) * | 2020-05-25 | 2020-10-23 | 车智互联(北京)科技有限公司 | 一种问句匹配方法和计算设备 |
CN111966809A (zh) * | 2020-08-21 | 2020-11-20 | 支付宝(杭州)信息技术有限公司 | 基于多轮对话来进行知识问答的方法及装置 |
CN111966895A (zh) * | 2020-08-07 | 2020-11-20 | 中国科学院信息工程研究所 | 一种基于Watson对话服务的电影问答系统构建方法、装置及系统 |
CN112001180A (zh) * | 2020-07-14 | 2020-11-27 | 北京百度网讯科技有限公司 | 多模态预训练模型获取方法、装置、电子设备及存储介质 |
CN112100322A (zh) * | 2020-08-06 | 2020-12-18 | 复旦大学 | 一种基于知识图谱的api元素比较结果自动生成方法 |
CN112183075A (zh) * | 2020-10-10 | 2021-01-05 | 网易(杭州)网络有限公司 | 一种对话中的槽提取方法、装置、电子设备及存储介质 |
CN112199486A (zh) * | 2020-10-21 | 2021-01-08 | 中国电子科技集团公司第十五研究所 | 一种办公场景的任务型多轮对话方法及系统 |
CN112256851A (zh) * | 2020-10-23 | 2021-01-22 | 大连东软教育科技集团有限公司 | 一种教育机器人对话数据集的生成方法、装置及存储介质 |
CN112328808A (zh) * | 2020-11-03 | 2021-02-05 | 四川长虹电器股份有限公司 | 基于知识图谱的问答方法、装置、电子设备及存储介质 |
CN112380332A (zh) * | 2020-11-17 | 2021-02-19 | 深圳追一科技有限公司 | 交互式的知识反馈方法、装置及计算机存储介质 |
CN112417110A (zh) * | 2020-10-27 | 2021-02-26 | 联想(北京)有限公司 | 一种信息处理方法及装置 |
CN112528002A (zh) * | 2020-12-23 | 2021-03-19 | 北京百度网讯科技有限公司 | 对话识别方法、装置、电子设备和存储介质 |
CN112597748A (zh) * | 2020-12-18 | 2021-04-02 | 深圳赛安特技术服务有限公司 | 语料生成方法、装置、设备及计算机可读存储介质 |
CN112882679A (zh) * | 2020-12-21 | 2021-06-01 | 广州橙行智动汽车科技有限公司 | 一种语音交互的方法和装置 |
CN112905087A (zh) * | 2021-02-05 | 2021-06-04 | 腾竞体育文化发展(上海)有限公司 | 交互状态的显示方法、装置、设备及可读存储介质 |
CN112992128A (zh) * | 2021-02-04 | 2021-06-18 | 北京淇瑀信息科技有限公司 | 一种智能语音机器人的训练方法、装置和系统 |
CN113326697A (zh) * | 2021-05-31 | 2021-08-31 | 云南电网有限责任公司电力科学研究院 | 一种基于知识图谱的电力文本实体语义理解方法 |
CN113326367A (zh) * | 2021-06-30 | 2021-08-31 | 四川启睿克科技有限公司 | 基于端到端文本生成的任务型对话方法和系统 |
CN113468303A (zh) * | 2021-06-25 | 2021-10-01 | 北京房江湖科技有限公司 | 对话交互处理方法及计算机可读存储介质 |
CN113495900A (zh) * | 2021-08-12 | 2021-10-12 | 国家电网有限公司大数据中心 | 基于自然语言的结构化查询语言语句获取方法及装置 |
CN113609824A (zh) * | 2021-08-10 | 2021-11-05 | 上海交通大学 | 基于文本编辑和语法纠错的多轮对话改写方法及系统 |
CN113806473A (zh) * | 2020-06-17 | 2021-12-17 | 华为技术有限公司 | 意图识别方法和电子设备 |
WO2023042988A1 (en) * | 2021-09-14 | 2023-03-23 | Samsung Electronics Co., Ltd. | Methods and systems for determining missing slots associated with a voice command for an advanced voice interaction |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868313A (zh) * | 2016-03-25 | 2016-08-17 | 浙江大学 | 一种基于模板匹配技术的知识图谱问答系统及方法 |
CN106503035A (zh) * | 2016-09-14 | 2017-03-15 | 海信集团有限公司 | 一种知识图谱的数据处理方法和装置 |
CN107053208A (zh) * | 2017-05-24 | 2017-08-18 | 北京无忧创新科技有限公司 | 一种主动交互式对话机器人系统及该系统主动对话的方法 |
CN108563790A (zh) * | 2018-04-28 | 2018-09-21 | 科大讯飞股份有限公司 | 一种语义理解方法及装置、设备、计算机可读介质 |
-
2018
- 2018-10-18 CN CN201811211909.6A patent/CN111078844B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105868313A (zh) * | 2016-03-25 | 2016-08-17 | 浙江大学 | 一种基于模板匹配技术的知识图谱问答系统及方法 |
CN106503035A (zh) * | 2016-09-14 | 2017-03-15 | 海信集团有限公司 | 一种知识图谱的数据处理方法和装置 |
CN107053208A (zh) * | 2017-05-24 | 2017-08-18 | 北京无忧创新科技有限公司 | 一种主动交互式对话机器人系统及该系统主动对话的方法 |
CN108563790A (zh) * | 2018-04-28 | 2018-09-21 | 科大讯飞股份有限公司 | 一种语义理解方法及装置、设备、计算机可读介质 |
Non-Patent Citations (5)
Title |
---|
WEIRI LIANG AND MENG YANG: "Scalable multi-domain dialogue state tracking" * |
WEN T等: "A Network-based End-to-End Trainable Task-oriented Dialogue System" * |
俞凯等: "任务型人机对话系统中的认知技术——概念、进展及其未来" * |
张文迪: "类人答题系统中立体几何问题自动求解的研究及实现" * |
徐梓翔: "任务型对话系统平台的设计与实现" * |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111813903B (zh) * | 2020-05-25 | 2023-10-20 | 车智互联(北京)科技有限公司 | 一种问句匹配方法和计算设备 |
CN111813903A (zh) * | 2020-05-25 | 2020-10-23 | 车智互联(北京)科技有限公司 | 一种问句匹配方法和计算设备 |
WO2021254411A1 (zh) * | 2020-06-17 | 2021-12-23 | 华为技术有限公司 | 意图识别方法和电子设备 |
CN113806473A (zh) * | 2020-06-17 | 2021-12-17 | 华为技术有限公司 | 意图识别方法和电子设备 |
CN112001180A (zh) * | 2020-07-14 | 2020-11-27 | 北京百度网讯科技有限公司 | 多模态预训练模型获取方法、装置、电子设备及存储介质 |
US11928432B2 (en) | 2020-07-14 | 2024-03-12 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Multi-modal pre-training model acquisition method, electronic device and storage medium |
CN112100322A (zh) * | 2020-08-06 | 2020-12-18 | 复旦大学 | 一种基于知识图谱的api元素比较结果自动生成方法 |
CN111966895A (zh) * | 2020-08-07 | 2020-11-20 | 中国科学院信息工程研究所 | 一种基于Watson对话服务的电影问答系统构建方法、装置及系统 |
CN111966895B (zh) * | 2020-08-07 | 2023-07-25 | 中国科学院信息工程研究所 | 一种基于Watson对话服务的电影问答系统构建方法、装置及系统 |
CN111966809A (zh) * | 2020-08-21 | 2020-11-20 | 支付宝(杭州)信息技术有限公司 | 基于多轮对话来进行知识问答的方法及装置 |
CN112183075A (zh) * | 2020-10-10 | 2021-01-05 | 网易(杭州)网络有限公司 | 一种对话中的槽提取方法、装置、电子设备及存储介质 |
CN112183075B (zh) * | 2020-10-10 | 2023-06-30 | 网易(杭州)网络有限公司 | 一种对话中的槽提取方法、装置、电子设备及存储介质 |
CN112199486A (zh) * | 2020-10-21 | 2021-01-08 | 中国电子科技集团公司第十五研究所 | 一种办公场景的任务型多轮对话方法及系统 |
CN112256851A (zh) * | 2020-10-23 | 2021-01-22 | 大连东软教育科技集团有限公司 | 一种教育机器人对话数据集的生成方法、装置及存储介质 |
CN112417110A (zh) * | 2020-10-27 | 2021-02-26 | 联想(北京)有限公司 | 一种信息处理方法及装置 |
CN112328808A (zh) * | 2020-11-03 | 2021-02-05 | 四川长虹电器股份有限公司 | 基于知识图谱的问答方法、装置、电子设备及存储介质 |
CN112380332A (zh) * | 2020-11-17 | 2021-02-19 | 深圳追一科技有限公司 | 交互式的知识反馈方法、装置及计算机存储介质 |
CN112597748B (zh) * | 2020-12-18 | 2023-08-11 | 深圳赛安特技术服务有限公司 | 语料生成方法、装置、设备及计算机可读存储介质 |
CN112597748A (zh) * | 2020-12-18 | 2021-04-02 | 深圳赛安特技术服务有限公司 | 语料生成方法、装置、设备及计算机可读存储介质 |
CN112882679A (zh) * | 2020-12-21 | 2021-06-01 | 广州橙行智动汽车科技有限公司 | 一种语音交互的方法和装置 |
CN112528002B (zh) * | 2020-12-23 | 2023-07-18 | 北京百度网讯科技有限公司 | 对话识别方法、装置、电子设备和存储介质 |
CN112528002A (zh) * | 2020-12-23 | 2021-03-19 | 北京百度网讯科技有限公司 | 对话识别方法、装置、电子设备和存储介质 |
CN112992128A (zh) * | 2021-02-04 | 2021-06-18 | 北京淇瑀信息科技有限公司 | 一种智能语音机器人的训练方法、装置和系统 |
CN112905087B (zh) * | 2021-02-05 | 2022-08-05 | 腾竞体育文化发展(上海)有限公司 | 交互状态的显示方法、装置、设备及可读存储介质 |
CN112905087A (zh) * | 2021-02-05 | 2021-06-04 | 腾竞体育文化发展(上海)有限公司 | 交互状态的显示方法、装置、设备及可读存储介质 |
CN113326697A (zh) * | 2021-05-31 | 2021-08-31 | 云南电网有限责任公司电力科学研究院 | 一种基于知识图谱的电力文本实体语义理解方法 |
CN113468303B (zh) * | 2021-06-25 | 2022-05-17 | 贝壳找房(北京)科技有限公司 | 对话交互处理方法及计算机可读存储介质 |
CN113468303A (zh) * | 2021-06-25 | 2021-10-01 | 北京房江湖科技有限公司 | 对话交互处理方法及计算机可读存储介质 |
CN113326367A (zh) * | 2021-06-30 | 2021-08-31 | 四川启睿克科技有限公司 | 基于端到端文本生成的任务型对话方法和系统 |
CN113609824A (zh) * | 2021-08-10 | 2021-11-05 | 上海交通大学 | 基于文本编辑和语法纠错的多轮对话改写方法及系统 |
CN113495900A (zh) * | 2021-08-12 | 2021-10-12 | 国家电网有限公司大数据中心 | 基于自然语言的结构化查询语言语句获取方法及装置 |
CN113495900B (zh) * | 2021-08-12 | 2024-03-15 | 国家电网有限公司大数据中心 | 基于自然语言的结构化查询语言语句获取方法及装置 |
WO2023042988A1 (en) * | 2021-09-14 | 2023-03-23 | Samsung Electronics Co., Ltd. | Methods and systems for determining missing slots associated with a voice command for an advanced voice interaction |
Also Published As
Publication number | Publication date |
---|---|
CN111078844B (zh) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111078844B (zh) | 软件众包的任务型对话系统及方法 | |
Lin et al. | Traceability transformed: Generating more accurate links with pre-trained bert models | |
CN109493166B (zh) | 一种针对电子商务导购场景任务型对话系统的构建方法 | |
Bhutani et al. | Learning to answer complex questions over knowledge bases with query composition | |
CN104462066B (zh) | 语义角色标注方法及装置 | |
Ren et al. | Conversational query understanding using sequence to sequence modeling | |
CN109101537A (zh) | 基于深度学习的多轮对话数据分类方法、装置和电子设备 | |
CN110019736B (zh) | 基于语言模型的问答匹配方法、系统、设备及存储介质 | |
US20140337814A1 (en) | Rapid development of virtual personal assistant applications | |
US20140337266A1 (en) | Rapid development of virtual personal assistant applications | |
CN108959482A (zh) | 基于深度学习的单轮对话数据分类方法、装置和电子设备 | |
Wang et al. | Mining product reviews for needs-based product configurator design: A transfer learning-based approach | |
Dai et al. | A survey on dialog management: Recent advances and challenges | |
Xu et al. | ZeroPrompt: scaling prompt-based pretraining to 1,000 tasks improves zero-shot generalization | |
Singh et al. | Multichannel CNN model for biomedical entity reorganization | |
Cao et al. | Relmkg: reasoning with pre-trained language models and knowledge graphs for complex question answering | |
Jain et al. | Bayesian optimization based score fusion of linguistic approaches for improving legal document summarization | |
Liu et al. | A Hybrid Neural Network BERT‐Cap Based on Pre‐Trained Language Model and Capsule Network for User Intent Classification | |
CN112487154A (zh) | 一种基于自然语言的智能搜索方法 | |
Wehnert et al. | Applying BERT embeddings to predict legal textual entailment | |
Huang et al. | Prompt-based self-training framework for few-shot named entity recognition | |
Alwaneen et al. | Stacked dynamic memory-coattention network for answering why-questions in Arabic | |
Paaß et al. | Pre-trained Language Models | |
CN113688222A (zh) | 基于上下文语义理解的保险销售任务话术推荐方法、系统以及设备 | |
Rao et al. | Machine Learning based Custom Named Entity Recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |