CN111737436A - 语料的意图识别方法及装置、电子设备、存储介质 - Google Patents
语料的意图识别方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN111737436A CN111737436A CN202010594499.9A CN202010594499A CN111737436A CN 111737436 A CN111737436 A CN 111737436A CN 202010594499 A CN202010594499 A CN 202010594499A CN 111737436 A CN111737436 A CN 111737436A
- Authority
- CN
- China
- Prior art keywords
- intention
- corpus
- model
- recognized
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请提供一种语料的意图识别方法及装置、电子设备、存储介质,该方法包括:提取待识别语料的语料特征;根据语料特征确定待识别语料的至少两个相似意图;将待识别语料作为相似意图所对应意图模型的输入,得到意图模型输出的置信度;根据置信度,确定待识别语料的目标意图。本申请提供的技术方案,不同意图模型之间相互独立,其中一个意图模型在训练时,不影响其他意图模型的识别,从而无需离线训练,反馈更及时,模型更新更快速。
Description
技术领域
本申请涉及数据处理技术领域,特别涉及一种语料的意图识别方法及装置、电子设备、计算机可读存储介质。
背景技术
文字游戏是以文字为载体,以一定规则为约束的一种游戏,最终的目的都是为了达成一定的游戏目标。因此需要一种方法来判断玩家是否达成了系统所认可的游戏目标。比如,假设游戏的目标是为了让某个游戏内人物说出“日历”等相关表述,玩家可以通过猜灯谜的方式,问:“一物生来身穿三百多件衣,每天脱一件,年底剩张皮,猜是什么?”,当游戏内人物回答为“日历”、“是日历”等相似表述时,则游戏终结。此类话语可以被定义为一个意图,然后通过意图识别的方式来判断游戏内人物所说的话是否触发到了某个与游戏终结关联的意图。
可见,对于游戏终结的判断可以转化为意图识别问题,意图识别就是一个典型的文本分类问题,而大部分的文本分类模型都是基于离线训练方式的,但是这种方式反馈不及时,模型更新慢。
发明内容
本申请实施例提供了一种语料的意图识别方式,用以快速实现意图识别。
本申请实施例提供了一种语料的意图识别方法,包括:
提取待识别语料的语料特征;
根据所述语料特征确定所述待识别语料的至少两个相似意图;
将所述待识别语料作为所述相似意图所对应意图模型的输入,得到所述意图模型输出的置信度;
根据所述置信度,确定所述待识别语料的目标意图。
在一实施例中,所述提取待识别语料的语料特征,包括:
将所述待识别语料作为语言模型的输入,获得所述语言模型输出的所述待识别语料的语料特征。
在一实施例中,所述提取待识别语料的语料特征,包括:
根据不同意图对应配置的话术规则,进行所述待识别语料与所述话术规则的匹配;
当不存在与所述待识别语料匹配的话术规则时,提取所述待识别语料的语料特征。
在一实施例中,所述话术规则包括正样本语料和/或所述正样本语料对应的正则表达式;所述根据不同意图对应配置的话术规则,进行所述待识别语料与所述话术规则的匹配之后,所述方法还包括:
若所述待识别语料与任一意图对应配置的正样本语料或正则表达式匹配,则确定存在与所述待识别语料匹配的话术规则;
将所述话术规则对应的意图,作为所述待识别语料的目标意图。
在一实施例中,本申请实施例提供的方法还包括:
若接收到指定意图新增的正样本语料,根据所述新增的正样本语料更新所述指定意图对应的话术规则。
在一实施例中,本申请实施例提供的方法还包括:
若接收到指定意图新增的样本语料,根据所述新增的样本语料在线重新训练所述指定意图对应的意图模型。
在一实施例中,本申请实施例提供的方法还包括:
若接收到新增意图的样本语料,在线执行所述新增意图对应的意图模型的训练。
在一实施例中,本申请实施例提供的方法还包括:
在数据库中以文件形式保存训练得到的所述意图模型;
从数据库拉取训练得到的所述意图模型,更新线上参与识别的意图模型。
在一实施例中,所述根据所述语料特征确定所述待识别语料的至少两个相似意图,包括:
根据不同意图对应的意图特征,筛选出意图特征与所述语料特征相似的至少两个相似意图。
在一实施例中,所述根据不同意图对应的意图特征,筛选出意图特征与所述语料特征相似的至少两个相似意图,包括:
针对不同意图的意图特征,计算所述意图特征与所述语料特征之间的相似度;
根据不同意图的意图特征与所述语料特征之间的相似度,筛选出意图特征与所述语料特征相似度最高的至少两个相似意图。
在一实施例中,所述根据不同意图对应的意图特征,筛选出意图特征与所述语料特征相似的至少两个相似意图之前,所述方法还包括:
对于任一意图,根据所述意图对应的正样本语料的特征向量,计算向量中心点,得到所述意图对应的意图特征。
在一实施例中,在所述对于任一意图,根据所述意图对应的正样本语料的特征向量,计算向量中心点,得到所述意图对应的意图特征之后,所述方法还包括:
若接收到指定意图新增的正样本语料,根据新增的正样本语料的特征向量以及所述指定意图已有的正样本语料的特征向量,重新计算所述指定意图的向量中心点;
根据重新计算得到的所述指定意图的向量中心点,更新所述指定意图的意图特征。
在一实施例中,所述根据所述置信度,确定所述待识别语料的目标意图,包括:
根据所述待识别语料属于不同相似意图的置信度,筛选出置信度最高的相似意图,作为所述待识别语料的目标意图。
在一实施例中,所述意图模型采用以下方式训练得到:
针对任一意图,获取所述意图对应的样本语料;
通过语言模型,提取所述样本语料的特征向量;
根据所述样本语料的特征向量,训练所述意图对应的意图模型。
在一实施例中,所述获取所述意图对应的样本语料,包括:
从文本文件中提取属于指定意图的正样本语料以及不属于指定意图的负样本语料。
在一实施例中,在训练所述意图对应的意图模型之后,所述方法还包括:
若接收到指定意图改变后的样本语料,根据所述改变后的样本语料重新训练所述指定意图对应的意图模型。
在一实施例中,在训练所述意图对应的意图模型之后,所述方法还包括:
若接收到新增意图的样本语料,根据所述新增意图的样本语料训练所述新增意图对应的意图模型。
在一实施例中,所述根据所述样本语料的特征向量,训练所述意图对应的意图模型,包括
将所述样本语料的特征向量作为多层感知机模型的输入,通过调整所述多层感知机模型的参数,使所述多层感知机模型输出的样本语料的意图识别结果与实际结果之间的误差最小,得到所述意图模型。
本申请实施例还提供了一种语料的意图识别装置,包括:
特征提取模块,用于提取待识别语料的语料特征;
相似匹配模块,用于根据所述语料特征确定所述待识别语料的至少两个相似意图;
模型计算模块,用于将所述待识别语料作为所述相似意图所对应意图模型的输入,得到所述意图模型输出的置信度;
意图确定模块,用于根据所述置信度,确定所述待识别语料的目标意图。
本申请实施例还提供了一种电子设备,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述语料的意图识别方法。
本申请实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序可由处理器执行以完成上述语料的意图识别方法。
本申请上述实施例提供的技术方案,一个意图对应一个意图模型,从而先根据待识别语料的语料特征确定待识别语料的相似意图,由此得到相似意图对应的意图模型。之后可以通过相似意图对应的意图模型判断待识别语料属于对应相似意图的置信度,根据置信度从相似意图中来确定待识别语料的目标意图。由此不同意图模型之间相互独立,其中一个意图模型在训练时,不影响其他意图模型的识别,从而无需离线训练,反馈更及时,模型更新更快速。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的语料的意图识别方法的应用场景示意图;
图2是本申请实施例提供的电子设备的结构示意图;
图3是本申请实施例提供的语料的意图识别方法的流程示意图;
图4是本申请实施例提供的意图以及正样本语料的示意图;
图5是本申请另一实施例提供的语料的意图识别方法的流程示意图;
图6是本申请实施例提供的意图模型的训练流程示意图;
图7是本申请实施例提供的增量式训练的模型效果示意图;
图8是本申请实施例提供的语料的意图识别装置的框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
图1为本申请实施例提供的语料的意图识别方法的应用场景示意图。如图1所示,该应用场景包括服务端110以及多个客户端120。服务端110与客户端120之间采用有线或无线网络通信。客户端120可以是运行游戏等应用程序的手机、平板电脑、笔记本电脑或台式电脑。服务端110可以是服务器、服务器集群或云计算中心。服务端110可以采用本申请实施例提供的方法,对语料进行意图的识别。其中,语料可以由客户端120发送到服务端。
举例来说,在文字游戏这个领域内,假设出现意图“断桥在杭州”,则认为游戏目标达到,游戏结束。服务端110采用本申请实施例提供的方法,当接收到语料“杭州有一座断桥”、“断桥在临安”等,可以识别出意图是“断桥在杭州”,从而完成游戏目标是否达成的判断。现有的文字游戏由于无法识别语料的意图,故只能限制用户输入语料的种类,通常只能提前配置几种语料,让用户从中选择一种,因而玩家自由度较低。将本申请实施例提供的技术方案,应用到文字游戏领域时,用户可以自由输入语料,只要识别出语料的意图是配置的游戏目标意图时,即可判定为游戏终结,从而玩家自由度高,游戏体验更好。
图2是本申请实施例提供的电子设备的结构示意图。该电子设备200可以是上述实施例中的服务端110,如图2所示,该电子设备200包括:处理器210;用于存储处理器210可执行指令的存储器220;其中,所述处理器210被配置为执行本申请实施例提供的语料的意图识别方法。
存储器220可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Red-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。
本申请实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序可由处理器210执行以完成本申请实施例提供的语料的意图识别方法。
图3是本申请实施例提供的语料的意图识别方法的流程示意图。如图3所示,该方法包括以下步骤S310-步骤S340。
步骤S310:提取待识别语料的语料特征。
其中,待识别语料是指意图未知的语句,待识别语料可以由客户端上传到服务端,也可以提前存储在服务端。语料特征是指待识别语料的语义特征,用于区分不同语料的语义。在一实施例中,语料特征可以用特征向量表示,通过特征向量之间的距离来表示语料之间语义的近似程度,两个语料的特征向量之间的距离越小,则这两个语料的语义越接近。
在一实施例中,可以利用语言模型提取待识别语料的语料特征。将待识别语料作为语言模型的输入,通过语言模型输出待识别语料的语料特征。举例来说,语言模型可以是word2vec,ELMo,BERT等模型,可以将待识别语料转换成可以进行数学公式操作的向量。
在一实施例中,可以利用MaskLanguageModel(掩码语言模型)提取待识别语料的语料特征,其中,掩码语言模型的输入是部分文字被遮挡的句子(例如“我想x荔x”),输出是完整句子(例如“我想吃荔枝”),可以使用adam优化器优化BERT模型的参数,使交叉熵损失函数的值最小,从而得到掩码语言模型。之后,将待识别语料输入掩码语言模型,通过掩码语言模型的特征层提取待识别语料的语料特征。
步骤S320:根据所述语料特征确定所述待识别语料的至少两个相似意图。
其中,意图可以认为是语料要表达的观点。相似意图是指估计出的待识别语料可能表达的观点。例如,“今天难道不是要上班的吗”这句语料,可能存在的相似意图是“今天要上班”、“今天不上班”。
在一实施例中,可以将意图转换为意图特征,然后根据不同意图对应的意图特征以及待识别语料的语料特征,筛选出意图特征与语料特征相似的至少两个相似意图。
其中,意图特征可以是意图的语义特征,用于区分不同意图的语义,与语料特征相同,可以用向量的形式表示意图特征。在一实施例中,根据每个意图的意图特征,可以计算每个意图特征与语料特征之间的相似度,从所有意图中筛选出意图特征与语料特征的相似度最高的至少两个相似意图。其中,意图特征和语料特征之间的相似度可以通过计算意图特征与语料特征之间的欧式距离得到,欧式距离小,相似度越高,故可以挑选出与语料特征的欧式距离最小的前若干个意图特征,将这些意图特征对应的意图,作为相似意图。
在一实施例中,对于任一意图,可以根据所述意图对应的正样本语料的特征向量,计算向量中心点,得到所述意图对应的意图特征。
其中,意图的正样本语料是指已知表达该意图的语句。如图4所示,第一列表示意图,第二列表示意图的正样本语料。第一个意图“你喂我吃荔枝”,对应的正样本语料有“我要你喂我吃荔枝”、“你不喂我吃吗”、“你剥给我吃吧”……“难道你不想剥给我吃吗”;第二个意图“我剥的荔枝不好吃”,对应的正样本语料有“我怎么觉得不好吃”、“我自己剥的没有味道”……“我吃了自己剥的荔枝觉得不好吃”。
向量中心点可以是正样本语料的特征向量的平均值。举例来说,针对意图“你喂我吃荔枝”,可以先通过语言模型抽取正样本语料“我要你喂我吃荔枝”、“你不喂我吃吗”、“你剥给我吃吧”……“难道你不想剥给我吃吗”的特征向量,然后计算这些特征向量的平均值(即向量中心点)。正样本语料的特征向量的平均值可以认为是意图“你喂我吃荔枝”的意图特征。同理,针对其他意图,基于其他意图的正样本语料,可以计算出其他意图的意图特征。
由于意图的意图特征可以是此意图正样本语料的特征向量的向量中心点,因此,在一实施例中,若接收到指定意图新增的正样本语料,服务端可以根据新增的正样本语料的特征向量以及指定意图已有的正样本语料的特征向量,重新计算所指定意图的向量中心点。
指定意图是指所有意图中的任意一个意图。新增的正样本语料是指相比此步骤之前存在的正样本语料,新添加的正样本语料。故可以计算新增的正样本语料的特征向量以及指定意图已有的正样本语料的特征向量之间的平均值,作为指定意图的向量中心点。之后根据重新计算得到的指定意图的向量中心点,更新所述指定意图的意图特征。即利用重新计算得到特征向量之间的平均值作为指定意图的意图特征。在计算出每个意图的意图特征后,从而快速筛选出意图特征与语料特征相似度最高的至少两个相似意图。
步骤S330:将所述待识别语料作为所述相似意图所对应意图模型的输入,得到所述意图模型输出的置信度。
其中,一个意图可以对应一个意图模型。举例来说,意图A对应意图模型A,意图模型A可以用于判断待识别语料是意图A的概率。意图B对应意图模型B,意图模型B可以用于判断待识别语料是意图B的概率。其中,意图模型可以通过已知意图的样本语料训练得到,具体训练过程可以参见下文。置信度用于表征待识别语料属于某个意图的概率。置信度越高,则越可能属于此意图。
举例来说,假设相似意图是意图X、意图Y、意图Z,意图X具有对应的意图模型X,意图Y具有对应的意图模型Y,意图Z具有对应的意图模型Z。可以将待识别语料的语料特征作为意图模型X的输入,从而意图模型X输出待识别语料属于意图X的置信度,同理,将待识别语料的语料特征作为意图模型Y、意图模型Z的输入,可以得到待识别语料属于意图Y的置信度和意图Z的置信度。
步骤S340:根据所述置信度,确定所述待识别语料的目标意图。
其中,目标意图是指待识别语料正确的意图,在一实施例中,根据待识别语料属于不同相似意图的置信度,可以筛选出置信度最高的相似意图,作为所述待识别语料的目标意图
举例来说,假设意图模型X输出待识别语料属于意图X的置信度为60%,意图模型Y输出待识别语料属于意图Y的置信度为70%;意图模型Z输出待识别语料属于意图Z的置信度为95%,由于待识别语料属于意图Z的置信度最高,故可以确定待识别语料的目标意图是意图Z。
本申请上述实施例提供的技术方案,一个意图对应一个意图模型,从而先根据待识别语料的语料特征确定待识别语料的相似意图,由此得到相似意图对应的意图模型。之后可以通过相似意图对应的意图模型判断待识别语料属于对应相似意图的置信度,根据置信度从相似意图中来确定待识别语料的目标意图。由此不同意图模型之间相互独立,其中一个意图模型在训练时,不影响其他意图模型的识别,从而无需离线训练,反馈更及时,模型更新更快速。
在一实施例中,如图5所示,在语料的意图识别过程中,服务端还可以执行以下步骤S300:根据不同意图对应配置的话术规则,进行待识别语料与话术规则的匹配;当不存在与所述待识别语料匹配的话术规则时,执行步骤S310提取所述待识别语料的语料特征。
其中,话术规则是指罗列出的意图可能采用的表达方式。话术规则可以是意图的正样本语料,可以是正样本语料的正则表达式,还可以是上述二者的结合。意图的正样本语料是指确定属于此意图的语句。
一种意图对应一种话术规则,进行待识别语料与话术规则的匹配是指判断待识别语料是否属于话术规则规定的正样本语料之一,判断待识别语料是否符合正则表达式。举例来说,正则表达式为“来一首*的*呢”,假设待识别语料为“来一首碧昂丝的Naughty Girl呢”,那么,该待识别语料就与正则表达式匹配。如果待识别语料属于某个意图的正样本语料之一,则认为待识别语料与此意图的话术规则匹配。
在一实施例中,如果待识别语料与任一意图对应配置的正样本语料或正则表达式匹配,则确定存在与所述待识别语料匹配的话术规则;将所述话术规则对应的意图,作为所述待识别语料的目标意图。
也就是说,如果待识别语料属于某个意图的正样本语料之一或者符合某个意图的正则表达式,则可以认为存在与待识别语料匹配的正样本语料或正则表达式(即所谓的话术规则),此正样本语料或正则表达式对应的意图,可以认为是待识别语料的目标意图。相反的,如果待识别语料既不属于任意一个意图的正样本语料之一,也不符合任何一个意图的正则表达式,则可以认为不存在与待识别语料匹配的正则表达式,可以执行步骤S310-步骤S340的方法对待识别语料进行意图识别。
在一实施例中,服务端若接收到指定意图新增的正样本语料,可以根据所述新增的正样本语料更新所述指定意图对应的话术规则。
指定意图是指所有意图中的任意一个意图。新增的正样本语料是相比在此步骤之前存在的正样本语料而言的,新添加的正样本语料。由于意图的话术规则可以是此意图的正样本语料,因此服务端如果接收到指定意图新增的正样本语料,可以利用新增的正样本语料补充指定意图已有的正样本语料。
上述实施例提供的技术方案,针对每个意图配置了对应的话术规则,可以先判断待识别语料是否与某个意图的话术规则匹配,如果与某个意图的话术规则匹配,可以认为此意图就是待识别语料的目标意图,从而提高识别准确性和识别效率。
在一实施例中,本申请实施例提供的方法还包括:若接收到指定意图新增的样本语料,根据所述新增的样本语料在线重新训练所述指定意图对应的意图模型。
其中,样本语料可以包括正样本语料以及负样本语料。正样本语料是指确定属于某个意图的语句,而负样本语料是指确定不属于此意图的语句。在线重新训练是相对离线训练而言的,即可以在语料的意图识别过程中,同步进行意图模型的训练。由于本申请实施例一个意图对应一个意图模型,故不同意图模型的训练相比独立,如果接收到指定意图新增的样本语料,可以根据新增的样本语料在线重新训练指定意图的意图模型,不影响除指定意图外,其他意图模型的识别。
在指定意图的意图模型重新训练完成后,可以在数据库中以文件形式保存训练得到的意图模型;之后服务端可以从数据库拉取训练得到的意图模型,更新线上参与识别的意图模型。
在一实施例中,服务端可以保存指定意图重新训练得到的意图模型的参数,并利用此参数替换线上指定意图已存在的意图模型的参数,从而完成指定意图的意图模型的线上更新。
在一实施例中,本申请实施例提供的方法还包括:若接收到新增意图的样本语料,在线执行所述新增意图对应的意图模型的训练。
新增意图是指在此步骤之前,不存在的意图,即新添加的意图。参见上文,由于一个意图对应一个意图模型,故无需离线训练,在新增意图对应的意图模型的训练过程中,其他意图模型仍可继续参与意图识别,无需等待所有意图模型训练完成。在线执行是相对离线训练而言的,即服务端可以在语料的意图识别过程中,同步进行新增意图的意图模型的训练。之后同样的,服务端可以在数据库中以文件形式保存训练得到的意图模型;并从数据库拉取训练得到的意图模型,更新线上参与识别的意图模型。
图6是本申请实施例提供的意图模型的训练方法的流程示意图,训练得到的意图模型可以用于在步骤S330中判断待识别语料属于不同相似意图的置信度。如图6所示,该方法可以包括以下步骤S610-步骤S630。
步骤S610:针对任一意图,获取所述意图对应的样本语料。
其中,意图对应的样本语料可以包括属于此意图的正样本语料以及不属于此意图的负样本语料。每种意图的样本语料可以提前存储在服务端,样本语料需要尽量与目标领域相近,比如游戏领域,可以收集游戏内的聊天数据,作为样本语料。样本语料可以以xlsx文件格式的形式进行存储,即通过表格存储正样本语料和负样本语料。服务端可以从文本文件中提取属于指定意图的正样本语料以及不属于指定意图的负样本语料。即针对任一意图,服务端可以从表格中获取此意图的正样本语料和负样本语料。
步骤S620:通过语言模型,提取所述样本语料的特征向量。
具体过程可以参见图3对应实施例中的步骤S310,可以将样本语料作为语言模型的输入,将语言模型的输出作为样本语料的特征向量。
步骤S630:根据所述样本语料的特征向量,训练所述意图对应的意图模型。
在一实施例中,针对每个意图对应的意图模型,可以将此意图的样本语料的特征向量作为MLP模型(Multilayer Perceptron,多层感知机模型)的输入,通过调整MLP模型的参数,使MLP模型输出的样本语料的意图识别结果与实际结果之间的误差最小。将参数优化后的MLP模型作为此意图的意图模型。
其中,意图识别结果是指MLP模型输出的样本语料属于某个意图的概率,意图的正样本语料的实际结果可以为1,负样本语料的实际结果可以为0,通过调整MLP模型的参数,可以使MLP模型输出的正样本语料的意图识别结果越接近于1,负样本语料的意图识别结果越接近于0。MLP模型的参数优化目标可以是使交叉熵损失函数的值最小,即真实概率分布与预测概率分布之间的差异最小。交叉熵的值越小,模型预测效果就越好。
在上述步骤S630训练意图对应的意图模型之后,本申请实施例提供的方法还包括:若接收到指定意图改变后的样本语料,根据所述改变后的样本语料重新训练所述指定意图对应的意图模型。
指定意图是指已存在的其中任意一个意图。如果某个意图的样本语料发生了变化,客户端可以将改变后的样本语料上传到服务端,从而服务端接收到改变后的样本语料。由于本申请实施例一个意图对应一个意图模型,故本申请实施例提供的技术方案,只需根据改变后的样本语料重新训练指定意图的意图模型,而无需重新训练所有的意图模型,从而提高模型训练效率。
在上述步骤S630训练意图对应的意图模型之后,本申请实施例提供的方法还包括:若接收到新增意图的样本语料,根据所述新增意图的样本语料训练所述新增意图对应的意图模型。
新增意图是指原来不存在的,新添加的意图。服务端如果接收到新增意图的样本语料,只需训练新增意图对应的意图模型,无需重新训练所有的意图模型。本申请实施例采用增量式训练方式,可以提高模型训练效率,缩短模型更新时间。
上述增量式训练方式应用到游戏领域时,可以缩短游戏版本更新的时间,让玩家快速体验到最新的游戏版本。通过采用本申请实施例提供的语料的意图识别方法,游戏可以支持多种游戏结局,不同的玩家可以通过多种方式达成游戏目标,大大增加游戏的可玩性。
相比于全量式训练,增量式训练最大的优点是速度快。图7是本申请实施例提供的增量式训练的效果示意图。X轴表示轮数,Y轴表示模型效果,同一轮中左侧条形框表示正样本语料的识别准确性,右侧条形框表示负样本语料的识别准确性。从图7中可以看出,增量式学习在正样本语料的判断准确率上一直保持较高水平。上述增量式训练方式,在缩短更新时间的同时,最大程度地保证了模型对于新增意图的识别效果,能对多种相似话语做到正确识别。
下述为本申请装置实施例,可以用于执行本申请上述语料的意图识别方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请语料的意图识别方法实施例。
图8为本申请一实施例示出的语料的意图识别装置的框图。如图8所示,该装置包括:特征提取模块810、相似匹配模块820、模型计算模块830以及意图确定模块840。
特征提取模块810,用于提取待识别语料的语料特征;
相似匹配模块820,用于根据所述语料特征确定所述待识别语料的至少两个相似意图;
模型计算模块830,用于将所述待识别语料作为所述相似意图所对应意图模型的输入,得到所述意图模型输出的置信度;
意图确定模块840,用于根据所述置信度,确定所述待识别语料的目标意图。
上述装置中各个模块的功能和作用的实现过程具体详见上述语料的意图识别方法中对应步骤的实现过程,在此不再赘述。
在本申请所提供的几个实施例中,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (21)
1.一种语料的意图识别方法,其特征在于,包括:
提取待识别语料的语料特征;
根据所述语料特征确定所述待识别语料的至少两个相似意图;
将所述待识别语料作为所述相似意图所对应意图模型的输入,得到所述意图模型输出的置信度;
根据所述置信度,确定所述待识别语料的目标意图。
2.根据权利要求1所述的方法,其特征在于,所述提取待识别语料的语料特征,包括:
将所述待识别语料作为语言模型的输入,获得所述语言模型输出的所述待识别语料的语料特征。
3.根据权利要求1所述的方法,其特征在于,所述提取待识别语料的语料特征,包括:
根据不同意图对应配置的话术规则,进行所述待识别语料与所述话术规则的匹配;
当不存在与所述待识别语料匹配的话术规则时,提取所述待识别语料的语料特征。
4.根据权利要求3所述的方法,其特征在于,所述话术规则包括正样本语料和/或所述正样本语料对应的正则表达式;所述根据不同意图对应配置的话术规则,进行所述待识别语料与所述话术规则的匹配之后,所述方法还包括:
若所述待识别语料与任一意图对应配置的正样本语料或正则表达式匹配,则确定存在与所述待识别语料匹配的话术规则;
将所述话术规则对应的意图,作为所述待识别语料的目标意图。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
若接收到指定意图新增的正样本语料,根据所述新增的正样本语料更新所述指定意图对应的话术规则。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若接收到指定意图新增的样本语料,根据所述新增的样本语料在线重新训练所述指定意图对应的意图模型。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若接收到新增意图的样本语料,在线执行所述新增意图对应的意图模型的训练。
8.根据权利要求6或7所述的方法,其特征在于,所述方法还包括:
在数据库中以文件形式保存训练得到的所述意图模型;
从数据库拉取训练得到的所述意图模型,更新线上参与识别的意图模型。
9.根据权利要求1所述的方法,其特征在于,所述根据所述语料特征确定所述待识别语料的至少两个相似意图,包括:
根据不同意图对应的意图特征,筛选出意图特征与所述语料特征相似的至少两个相似意图。
10.根据权利要求9所述的方法,其特征在于,所述根据不同意图对应的意图特征,筛选出意图特征与所述语料特征相似的至少两个相似意图,包括:
针对不同意图的意图特征,计算所述意图特征与所述语料特征之间的相似度;
根据不同意图的意图特征与所述语料特征之间的相似度,筛选出意图特征与所述语料特征相似度最高的至少两个相似意图。
11.根据权利要求9的方法,其特征在于,所述根据不同意图对应的意图特征,筛选出意图特征与所述语料特征相似的至少两个相似意图之前,所述方法还包括:
对于任一意图,根据所述意图对应的正样本语料的特征向量,计算向量中心点,得到所述意图对应的意图特征。
12.根据权利要求11所述的方法,其特征在于,在所述对于任一意图,根据所述意图对应的正样本语料的特征向量,计算向量中心点,得到所述意图对应的意图特征之后,所述方法还包括:
若接收到指定意图新增的正样本语料,根据新增的正样本语料的特征向量以及所述指定意图已有的正样本语料的特征向量,重新计算所述指定意图的向量中心点;
根据重新计算得到的所述指定意图的向量中心点,更新所述指定意图的意图特征。
13.根据权利要求1所述的方法,其特征在于,所述根据所述置信度,确定所述待识别语料的目标意图,包括:
根据所述待识别语料属于不同相似意图的置信度,筛选出置信度最高的相似意图,作为所述待识别语料的目标意图。
14.根据权利要求1所述的方法,其特征在于,所述意图模型采用以下方式训练得到:
针对任一意图,获取所述意图对应的样本语料;
通过语言模型,提取所述样本语料的特征向量;
根据所述样本语料的特征向量,训练所述意图对应的意图模型。
15.根据权利要求14所述的方法,其特征在于,所述获取所述意图对应的样本语料,包括:
从文本文件中提取属于指定意图的正样本语料以及不属于指定意图的负样本语料。
16.根据权利要求14所述的方法,其特征在于,在训练所述意图对应的意图模型之后,所述方法还包括:
若接收到指定意图改变后的样本语料,根据所述改变后的样本语料重新训练所述指定意图对应的意图模型。
17.根据权利要求14所述的方法,其特征在于,在训练所述意图对应的意图模型之后,所述方法还包括:
若接收到新增意图的样本语料,根据所述新增意图的样本语料训练所述新增意图对应的意图模型。
18.根据权利要求14所述的方法,其特征在于,所述根据所述样本语料的特征向量,训练所述意图对应的意图模型,包括:
将所述样本语料的特征向量作为多层感知机模型的输入,通过调整所述多层感知机模型的参数,使所述多层感知机模型输出的样本语料的意图识别结果与实际结果之间的误差最小,得到所述意图模型。
19.一种语料的意图识别装置,其特征在于,包括:
特征提取模块,用于提取待识别语料的语料特征;
相似匹配模块,用于根据所述语料特征确定所述待识别语料的至少两个相似意图;
模型计算模块,用于将所述待识别语料作为所述相似意图所对应意图模型的输入,得到所述意图模型输出的置信度;
意图确定模块,用于根据所述置信度,确定所述待识别语料的目标意图。
20.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-18任意一项所述的语料的意图识别方法。
21.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序可由处理器执行以完成权利要求1-18任意一项所述的语料的意图识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010594499.9A CN111737436A (zh) | 2020-06-24 | 2020-06-24 | 语料的意图识别方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010594499.9A CN111737436A (zh) | 2020-06-24 | 2020-06-24 | 语料的意图识别方法及装置、电子设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111737436A true CN111737436A (zh) | 2020-10-02 |
Family
ID=72651256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010594499.9A Pending CN111737436A (zh) | 2020-06-24 | 2020-06-24 | 语料的意图识别方法及装置、电子设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111737436A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112800227A (zh) * | 2021-01-29 | 2021-05-14 | 科大讯飞股份有限公司 | 文本分类模型的训练方法及其设备、存储介质 |
CN112860871A (zh) * | 2021-03-17 | 2021-05-28 | 网易(杭州)网络有限公司 | 自然语言理解模型训练方法、自然语言理解方法及装置 |
CN112989000A (zh) * | 2021-03-29 | 2021-06-18 | 网易(杭州)网络有限公司 | 意图识别系统更新方法、装置、电子设备及存储介质 |
CN113065364A (zh) * | 2021-03-29 | 2021-07-02 | 网易(杭州)网络有限公司 | 意图识别方法、装置、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100312726A1 (en) * | 2009-06-09 | 2010-12-09 | Microsoft Corporation | Feature vector clustering |
CN105910827A (zh) * | 2016-04-25 | 2016-08-31 | 东南大学 | 基于判别性卷积特征学习的感应电机故障诊断方法 |
CN108090503A (zh) * | 2017-11-28 | 2018-05-29 | 东软集团股份有限公司 | 多分类器的在线调整方法、装置、存储介质及电子设备 |
CN109471938A (zh) * | 2018-10-11 | 2019-03-15 | 平安科技(深圳)有限公司 | 一种文本分类方法及终端 |
CN109727598A (zh) * | 2018-12-28 | 2019-05-07 | 浙江省公众信息产业有限公司 | 大噪音语境下的意图识别方法 |
CN109815492A (zh) * | 2019-01-04 | 2019-05-28 | 平安科技(深圳)有限公司 | 一种基于识别模型的意图识别方法、识别设备及介质 |
CN110019739A (zh) * | 2017-11-30 | 2019-07-16 | 上海智臻智能网络科技股份有限公司 | 基于必要条件的问答方法和装置、计算机设备和存储介质 |
CN110377911A (zh) * | 2019-07-23 | 2019-10-25 | 中国工商银行股份有限公司 | 对话框架下的意图识别方法和装置 |
-
2020
- 2020-06-24 CN CN202010594499.9A patent/CN111737436A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100312726A1 (en) * | 2009-06-09 | 2010-12-09 | Microsoft Corporation | Feature vector clustering |
CN105910827A (zh) * | 2016-04-25 | 2016-08-31 | 东南大学 | 基于判别性卷积特征学习的感应电机故障诊断方法 |
CN108090503A (zh) * | 2017-11-28 | 2018-05-29 | 东软集团股份有限公司 | 多分类器的在线调整方法、装置、存储介质及电子设备 |
CN110019739A (zh) * | 2017-11-30 | 2019-07-16 | 上海智臻智能网络科技股份有限公司 | 基于必要条件的问答方法和装置、计算机设备和存储介质 |
CN109471938A (zh) * | 2018-10-11 | 2019-03-15 | 平安科技(深圳)有限公司 | 一种文本分类方法及终端 |
CN109727598A (zh) * | 2018-12-28 | 2019-05-07 | 浙江省公众信息产业有限公司 | 大噪音语境下的意图识别方法 |
CN109815492A (zh) * | 2019-01-04 | 2019-05-28 | 平安科技(深圳)有限公司 | 一种基于识别模型的意图识别方法、识别设备及介质 |
CN110377911A (zh) * | 2019-07-23 | 2019-10-25 | 中国工商银行股份有限公司 | 对话框架下的意图识别方法和装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112800227A (zh) * | 2021-01-29 | 2021-05-14 | 科大讯飞股份有限公司 | 文本分类模型的训练方法及其设备、存储介质 |
CN112800227B (zh) * | 2021-01-29 | 2023-01-17 | 科大讯飞股份有限公司 | 文本分类模型的训练方法及其设备、存储介质 |
CN112860871A (zh) * | 2021-03-17 | 2021-05-28 | 网易(杭州)网络有限公司 | 自然语言理解模型训练方法、自然语言理解方法及装置 |
CN112860871B (zh) * | 2021-03-17 | 2022-06-14 | 网易(杭州)网络有限公司 | 自然语言理解模型训练方法、自然语言理解方法及装置 |
CN112989000A (zh) * | 2021-03-29 | 2021-06-18 | 网易(杭州)网络有限公司 | 意图识别系统更新方法、装置、电子设备及存储介质 |
CN113065364A (zh) * | 2021-03-29 | 2021-07-02 | 网易(杭州)网络有限公司 | 意图识别方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111737436A (zh) | 语料的意图识别方法及装置、电子设备、存储介质 | |
US11132988B1 (en) | Dialogue system, a dialogue method, and a method of training | |
CN108305643B (zh) | 情感信息的确定方法和装置 | |
CN111145729B (zh) | 语音识别模型训练方法、系统、移动终端及存储介质 | |
CN110555095A (zh) | 人机对话方法和装置 | |
CN111104513B (zh) | 一种游戏平台用户问答业务的短文本分类方法 | |
JP6450138B2 (ja) | 情報処理装置及び発話内容出力方法 | |
CN111046652A (zh) | 文本纠错方法、文本纠错装置、存储介质和电子设备 | |
CN113297366B (zh) | 多轮对话的情绪识别模型训练方法、装置、设备及介质 | |
CN111554276B (zh) | 语音识别方法、装置、设备及计算机可读存储介质 | |
KR20210047709A (ko) | 음성 인식 방법 및 음성 인식 장치 | |
CN112632242A (zh) | 智能对话方法及装置、电子设备 | |
CN112767925B (zh) | 语音信息识别方法及装置 | |
CN109033073B (zh) | 基于词汇依存三元组的文本蕴含识别方法及装置 | |
US20210280168A1 (en) | Speech recognition error correction apparatus | |
CN115293132A (zh) | 虚拟场景的对话处理方法、装置、电子设备及存储介质 | |
CN110706710A (zh) | 一种语音识别方法、装置、电子设备及存储介质 | |
CN115463424A (zh) | 虚拟角色的显示控制方法、装置和电子设备 | |
Chai et al. | Utterance censorship of online reinforcement learning chatbot | |
CN112925894B (zh) | 对话中标问匹配方法、系统及装置 | |
CN111428487B (zh) | 模型训练方法、歌词生成方法、装置、电子设备及介质 | |
CN113032559A (zh) | 一种用于低资源黏着性语言文本分类的语言模型微调方法 | |
CN110708619B (zh) | 一种智能设备的词向量训练方法及装置 | |
CN116680387A (zh) | 基于检索增强的对话答复方法、装置、设备及存储介质 | |
CN115238068A (zh) | 语音转录文本聚类方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |