CN114490996A - 意图识别方法、装置、计算机设备和存储介质 - Google Patents
意图识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114490996A CN114490996A CN202210407186.7A CN202210407186A CN114490996A CN 114490996 A CN114490996 A CN 114490996A CN 202210407186 A CN202210407186 A CN 202210407186A CN 114490996 A CN114490996 A CN 114490996A
- Authority
- CN
- China
- Prior art keywords
- question
- preset
- target
- similar
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
Abstract
本申请涉及一种意图识别方法、装置、计算机设备和存储介质。所述方法包括:确定与待进行意图识别的目标问句相似的至少一条预设相似问句;其中,预设相似问句是对预设标准问句采用不同表达方式进行表达的问句;从所述至少一条预设相似问句中确定至少一条待验证的预设相似问句;获取各待验证的预设相似问句对应的预设标准问句,得到至少一条预设标准问句;每条预设标准问句具有对应的意图信息;分别对各所述预设标准问句和所述目标问句进行语义一致性验证,以从所述至少一条预设标准问句中确定与所述目标问句语义一致的目标标准问句;基于所述目标标准问句对应的意图信息确定所述目标问句的意图。采用本方法能够提高意图识别的准确性。
Description
技术领域
本申请涉及机器学习技术领域,特别是涉及一种意图识别方法、装置、计算机设备和存储介质。
背景技术
随着机器学习技术的快速发展,出现了智能问答机器人,越来越多的企业使用智能问答机器人向用户提供问答服务。比如,电子商务平台的广泛普及促进了电子商务的发展,由此产生了线上提供客户服务的需求,越来越多的从业者为了节约人工成本,采用智能问答机器人线上提供客户服务。
传统方法中,智能问答机器人直接从每一个问句中预测出多种意图信息,并按照预测出的意图信息回答问句。但是,由于直接从问句中预测出意图信息的准确率不高,会导致智能问答机器人答非所问的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高准确性的意图识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种意图识别方法。所述方法包括:
确定与待进行意图识别的目标问句相似的至少一条预设相似问句;其中,预设相似问句是对预设标准问句采用不同表达方式进行表达的问句;
从所述至少一条预设相似问句中确定至少一条待验证的预设相似问句;
获取各待验证的预设相似问句对应的预设标准问句,得到至少一条预设标准问句;每条预设标准问句具有对应的意图信息;
分别对各所述预设标准问句和所述目标问句进行语义一致性验证,以从所述至少一条预设标准问句中确定与所述目标问句语义一致的目标标准问句;
基于所述目标标准问句对应的意图信息确定所述目标问句的意图。
第二方面,本申请还提供了一种意图识别装置。所述装置包括:
意图分类模块,用于确定与待进行意图识别的目标问句相似的至少一条预设相似问句;其中,预设相似问句是对预设标准问句采用不同表达方式进行表达的问句;
确定模块,用于从所述至少一条预设相似问句中确定至少一条待验证的预设相似问句;获取各待验证的预设相似问句对应的预设标准问句,得到至少一条预设标准问句;每条预设标准问句具有对应的意图信息;
意图验证模块,用于分别对各所述预设标准问句和所述目标问句进行语义一致性验证,以从所述至少一条预设标准问句中确定与所述目标问句语义一致的目标标准问句;基于所述目标标准问句对应的意图信息确定所述目标问句的意图。
在其中一个实施例中,所述意图分类模块,还用于确定输入的目标问句的目标句向量,以及确定多条候选的预设相似问句的候选句向量;分别计算所述目标句向量与各所述候选句向量之间的相似度,并基于计算的各相似度,从所述多条候选的预设相似问句中,确定出与所述目标问句相似的至少一条预设相似问句。
在其中一个实施例中,所述确定模块,还用于若所述至少一条预设相似问句均不满足准确识别条件,则从所述至少一条预设相似问句中筛选至少一条满足意图验证条件的预设相似问句,得到待验证的预设相似问句。
在其中一个实施例中,所述确定模块,还用于确定所述至少一条预设相似问句分别对应的相似得分;所述相似得分用于表征所述预设相似问句与所述目标问句之间的相似程度;若所述至少一条预设相似问句对应的相似得分均达不到准确识别阈值,则从所述至少一条预设相似问句中确定相似得分位于意图验证区间的待验证的预设相似问句。
在其中一个实施例中,所述意图验证模块,还用于分别对每一条所述预设标准问句和所述目标问句进行联合编码,得到每一条所述预设标准问句和所述目标问句的联合句向量;对所述联合句向量进行特征提取,得到语义特征数据;基于所述语义特征数据对每一条所述预设标准问句与所述目标问句进行语义一致性验证,以确定出与所述目标问句语义一致的目标标准问句。
在其中一个实施例中,所述意图分类模块,还用于将所述目标问句输入至意图识别模型中的双向预训练层,通过所述双向预训练层得到所述目标问句的句向量;按照所述目标问句的句向量,从预设相似问句库中检索出与所述目标问句相似的至少一条相似语句;将每个所述预设标准问句和所述目标问句拼接后分别输入至所述双向预训练层中,得到每个所述预设标准问句和所述目标问句的联合句向量;通过所述意图识别模型中的验证自注意力层基于所述联合句向量进行语义一致性验证,以从所述至少一条预设标准问句中确定与所述目标问句语义一致的目标标准问句。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法的步骤。
上述意图识别方法、装置、计算机设备、存储介质和计算机程序产品,确定与待进行意图识别的目标问句相似的至少一条预设相似问句;其中,预设相似问句是对预设标准问句采用不同表达方式进行表达的问句;从至少一条预设相似问句中确定至少一条待验证的预设相似问句;获取各待验证的预设相似问句对应的预设标准问句,得到至少一条预设标准问句;每条预设标准问句具有对应的意图信息;分别对各预设标准问句和目标问句进行语义一致性验证,以从至少一条预设标准问句中确定与目标问句语义一致的目标标准问句;基于目标标准问句对应的意图信息确定目标问句的意图。能够在确定出与目标问句相似的各待验证的预设相似问句之后,对相应的预设标准句和目标问句进行语义一致性验证,从而能够基于与目标问句语义一致的目标标准问句确定意图,提高了准确性。
附图说明
图1为一个实施例中意图识别方法的应用环境图;
图2为一个实施例中意图识别方法的流程示意图;
图3为一个实施例中意图识别模型的示意图;
图4为一个实施例中意图识别方法的简易流程示意图;
图5为一个实施例中意图识别装置的结构框图;
图6为一个实施例中计算机设备的内部结构图;
图7为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的意图识别方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。服务器104可以确定与待进行意图识别的目标问句相似的至少一条预设相似问句;其中,预设相似问句是对预设标准问句采用不同表达方式进行表达的问句;服务器104可以从至少一条预设相似问句中确定至少一条待验证的预设相似问句;服务器104可以获取各待验证的预设相似问句对应的预设标准问句,得到至少一条预设标准问句;每条预设标准问句具有对应的意图信息;服务器104可以分别对各预设标准问句和目标问句进行语义一致性验证,以从至少一条预设标准问句中确定与目标问句语义一致的目标标准问句;服务器104可以基于目标标准问句对应的意图信息确定目标问句的意图。可以理解,服务器104可以将确定出的目标问句的意图返回至终端102。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种意图识别方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤202,确定与待进行意图识别的目标问句相似的至少一条预设相似问句。
其中,预设相似问句是对预设标准问句采用不同表达方式进行表达的问句。可以理解,预设标准问句可以是具有相同意图的一系列预设相似问句的总结,预设标准问句中涵盖的信息相较于预设相似问句更加全面。
具体地,服务器可以获取待进行意图识别的目标问句,并计算目标问句的句向量,以利用句向量与预设相似问句库中的预设相似问句进行相似度比对,从而查找出与目标问句相似的至少一条预设相似问句。其中,预设相似问句库中包括各预设标准问句和各预设标准问句对应的预设相似问句。
步骤204,从至少一条预设相似问句中确定至少一条待验证的预设相似问句;获取各待验证的预设相似问句对应的预设标准问句,得到至少一条预设标准问句。
其中,每条预设标准问句具有对应的意图信息。可以理解,不同的预设标准问句实质上是不同意图的标准问句,一种意图对应于一条预设标准问句,一条预设标准问句对应于至少一条预设相似问句。预设标准问句中包含的意图信息与相应的预设相似问句中包含的意图信息所表征的意图相同。
具体地,若确定出的预设相似问句均不满足准确识别条件,则仅根据预设相似问句的意图信息无法准确确定目标问句的意图,服务器可以从至少一条预设相似问句中筛选出至少一条待验证的预设相似问句。可以理解,服务器也可以直接将确定出的预设相似问句作为待验证的预设相似问句。服务器可以获取各待验证的预设相似问句对应的预设标准问句,得到至少一条预设标准问句。准确识别条件用于评价预设相似问句的意图信息与目标问句的意图信息是否准确一致。可以理解,满足准确识别条件则表明预设相似问句的意图信息与目标问句的意图信息准确一致。
在一个实施例中,准确识别条件可以包括预设相似问句与目标问句之间的相似度达到准确识别阈值和位于准确识别区间中的至少一种。可以理解,若确定出的预设相似问句中存在满足上述准确识别条件的预设相似问句,则服务器可以基于与目标问句之间的相似度最高的预设相似问句对应的意图信息确定目标问句的意图,无需再分别对各预设标准问句和目标问句进行语义一致性验证。
步骤206,分别对各预设标准问句和目标问句进行语义一致性验证,以从至少一条预设标准问句中确定与目标问句语义一致的目标标准问句;基于目标标准问句对应的意图信息确定目标问句的意图。
其中,目标标准问句是与目标问句语义一致的预设标准问句。
具体地,服务器可以通过意图识别模型分别对各预设标准问句和目标问句进行语义一致性验证,以从至少一条预设标准问句中确定与目标问句语义一致的目标标准问句。可以理解,目标标准问句与目标问句的语义一致,二者的意图也是一致的,因此,服务器可以将目标标准问句对应的意图信息作为目标问句的意图信息,以确定目标问句的意图。
上述意图识别方法中,确定与待进行意图识别的目标问句相似的至少一条预设相似问句;其中,预设相似问句是对预设标准问句采用不同表达方式进行表达的问句;从至少一条预设相似问句中确定至少一条待验证的预设相似问句;获取各待验证的预设相似问句对应的预设标准问句,得到至少一条预设标准问句;每条预设标准问句具有对应的意图信息;分别对各预设标准问句和目标问句进行语义一致性验证,以从至少一条预设标准问句中确定与目标问句语义一致的目标标准问句;基于目标标准问句对应的意图信息确定目标问句的意图。能够在确定出与目标问句相似的各待验证的预设相似问句之后,对相应的预设标准句和目标问句进行语义一致性验证,从而能够基于与目标问句语义一致的目标标准问句确定意图,提高了准确性。
此外,通过在召回与目标问句相似的预设相似问句之后,再分别对相应的各预设标准问句和目标问句进行语义一致性验证,这种后验证的方式能够有效降低答非所问的比例,大幅提升了用户的使用体验。
在一个实施例中,确定与待进行意图识别的目标问句相似的至少一条预设相似问句包括:确定输入的目标问句的目标句向量,以及确定多条候选的预设相似问句的候选句向量;分别计算目标句向量与各候选句向量之间的相似度,并基于计算的各相似度,从多条候选的预设相似问句中,确定出与目标问句相似的至少一条预设相似问句。
其中,目标句向量是目标问句的句向量。候选句向量是候选的预设相似问句的句向量。可以理解,语言表示可以分为字、词、句子、篇章等不同粒度的表示。句向量就是句子粒度的向量表示,即,句子映射成的一个固定维度的向量,句向量可以用于表示这个句子的语义特征。
具体地,服务器可以获取输入的目标问句,将目标问句输入至意图识别模型进行向量生成,得到目标问句的目标量。预设相似问句库中存储有各预设标准问句和各预设相似问句的句向量。可以理解,预设相似问句库中的预设相似问句都是候选的预设相似问句。服务器可以从预测相似问句库中确定多条候选的预设相似问句的候选句向量,并分别计算目标句向量与各候选句向量之间的相似度。服务器可以基于计算的各相似度,从多条候选的预设相似问句中,召回与目标问句相似的至少一条预设相似问句。可以理解,服务器可以通过对预设相似问句进行打分,确定目标句向量与候选的预设相似问句之间的相似得分。相似得分越高,则表明目标句向量与候选的预设相似问句之间的相似度越高。
在一个实施例中,服务器可以针对各预设相似问句进行向量生成,得到候选句向量。可以理解,服务器可以将候选句向量预先存储于预设相似问句库。服务器也可以在确定与目标问句相似的至少一条预设相似问句时,针对多条候选的预设相似问句进行向量生成,得到候选句向量。
本实施例中,通过计算目标问句的目标句向量和多条候选的预设相似问句的候选句向量之间的相似度,确定出与目标问句相似的至少一条预设相似问句,从而能够基于与目标问句相似的预设相似问句确定目标问句的意图,相较于直接从问句中预测出意图的方式,提高了准确率。
在一个实施例中,从至少一条预设相似问句中确定至少一条待验证的预设相似问句包括:若至少一条预设相似问句均不满足准确识别条件,则从至少一条预设相似问句中筛选至少一条满足意图验证条件的预设相似问句,得到待验证的预设相似问句。
其中,意图验证条件是用于评价预设相似问句的意图信息与目标问句的意图信息是否粗略一致。可以理解,满足意图验证条件则表明预设相似问句的意图信息与目标问句的意图信息粗略一致,服务器可以对粗略一致的预设相似问句进行意图验证。准确一致相较于粗略一致一致性更高。
具体地,准确识别条件和意图验证条件可以是针对目标问句与预设相似问句之间的相似度确定的。满足准确识别条件的相似度大于满足意图验证条件的相似度。若至少一条预设相似问句中的各预设相似问句与目标问句之间的相似度均不满足准确识别条件,则服务器可以从至少一条预设相似问句中筛选至少一条满足意图验证条件的预设相似问句,得到待验证的预设相似问句。可以理解,待验证的预设相似问句是指与目标问句之间的相似度满足意图验证条件的预设相似问句。待验证的预设相似问句实质上是意图信息不足以作为目标问句的意图信息,需要进行验证的预设相似问句。可以理解,意图验证是从粗略一致的预设相似问句对应的预设标准句中验证出与目标问句语义更加一致的目标标准问句。
在一个实施例中,意图验证条件可以包括目标问句与预设相似问句之间的相似度达到意图验证阈值和位于意图验证区间中的至少一种。可以理解,服务器可以确定出满足上述意图验证条件的预设相似语句,得到待验证的预设相似语句。
本实施例中,若至少一条预设相似问句均不满足准确识别条件,则从至少一条预设相似问句中筛选至少一条满足意图验证条件的预设相似问句,得到待验证的预设相似问句,以进行意图验证,相较于直接将最大相似度对应的预设相似问句的意图信息作为目标问句的意图信息的方式,更加准确。
在一个实施例中,方法还包括:确定至少一条预设相似问句分别对应的相似得分;相似得分用于表征预设相似问句与目标问句之间的相似程度;若至少一条预设相似问句均不满足准确识别条件,则从至少一条预设相似问句中筛选至少一条满足意图验证条件的预设相似问句,得到待验证的预设相似问句包括:若至少一条预设相似问句对应的相似得分均达不到准确识别阈值,则从至少一条预设相似问句中确定相似得分位于意图验证区间的待验证的预设相似问句。
具体地,服务器可以确定至少一条预设相似问句分别对应的相似得分,以及相似得分中的最大相似得分。可以理解,相似得分越大则预设相似问句与目标问句之间的相似程度越高。服务器可以比对最大相似得分和准确识别阈值,若最大相似得分小于准确识别阈值,则服务器可以从至少一条预设相似问句中筛选至少一条相似得分位于意图验证区间的预设相似问句,得到待验证的预设相似问句。可以理解,若最大相似得分大于或等于准确识别阈值,则服务器可以直接根据相应预设相似问句对应的意图信息作为目标问句的意图信息。其中,准确识别阈值大于或等于意图验证区间的最大边界值。
在一个实施例中,准确识别阈值和意图验证区间可以是预设的。比如,意图验证区间可以是 [0.6,0.75],相似得分位于[0.6,0.75]中的预设相似问句均可作为待验证的预设相似问句。准确识别阈值可以是0.75,相似得分大于或等于0.75的预设相似问句的意图信息可以直接作为目标问句的意图信息。可以理解,意图验证区间可以是多个。比如,若相似得分位于第一意图验证区间的待验证的预设相似问句所对应的预设标准问句均与目标问句的语义不一致,则可以将相似得分位于第二意图验证区间的预设相似问句作为待验证的预设相似问句。其中,第一意图验证区间大于第二意图验证区间。
在一个实施例中,服务器也可以根据召回预设相似问句的情况,确定准确识别阈值和意图验证区间。比如,服务器可以根据相似得分位于意图验证区间的预设相似问句的数量,调整预设的意图验证区间。可以理解,数量过多则服务器可以调小意图验证区间的范围,数量过少则服务器可以调大意图验证区间的范围。
本实施例中,确定至少一条预设相似问句分别对应的相似得分;若至少一条预设相似问句对应的相似得分均达不到准确识别阈值,则从至少一条预设相似问句中确定相似得分位于意图验证区间的待验证的预设相似问句,以进行意图验证,相较于直接将最大相似度对应的预设相似问句的意图信息作为目标问句的意图信息的方式,更加准确。
在一个实施例中,分别对各预设标准问句和目标问句进行语义一致性验证,以从至少一条预设标准问句中确定与目标问句语义一致的目标标准问句包括:分别对每一条预设标准问句和目标问句进行联合编码,得到每一条预设标准问句和目标问句的联合句向量;对联合句向量进行特征提取,得到语义特征数据;基于语义特征数据对每一条预设标准问句与目标问句进行语义一致性验证,以确定出与目标问句语义一致的目标标准问句。
其中,语义特征数据是指表征联合句向量的语义特征的数据。
具体地,服务器可以将每一条预设标准问句和目标问句拼接后分别输入至意图识别模型中,利用意图识别模型进行联合编码,得到每一条预设标准问句和目标问句的联合句向量。服务器可以通过意图识别模型对联合句向量进行特征提取,得到语义特征数据,并通过对语义特征数据进行二分类判定,实现对每一条预设标准问句与目标问句进行语义一致性验证,以确定出与目标问句语义一致的目标标准问句。可以理解,二分类判定的结果包括语义一致和语义不一致两种。
本实施例中,通过分别对每一条预设标准问句和目标问句进行联合编码得到联合句向量,并对联合句向量进行特征提取,得到语义特征数据,再基于语义特征数据进行语义一致性验证,以确定出目标标准问句,从而能够基于目标标准问句确定出目标问句的意图,目标标准问句涵盖的信息更加全面,相较于直接采用预设相似问句的意图信息确定目标问句的意图,提高了准确性。
在一个实施例中,确定与待进行意图识别的目标问句相似的至少一条预设相似问句包括:将目标问句输入至意图识别模型中的双向预训练层,通过双向预训练层得到目标问句的句向量;按照目标问句的句向量,从预设相似问句库中检索出与目标问句相似的至少一条相似语句;分别对各预设标准问句和目标问句进行语义一致性验证,以从至少一条预设标准问句中确定与目标问句语义一致的目标标准问句包括:将每个预设标准问句和目标问句拼接后分别输入至双向预训练层中,得到每个预设标准问句和目标问句的联合句向量;通过意图识别模型中的验证自注意力层基于联合句向量进行语义一致性验证,以从至少一条预设标准问句中确定与目标问句语义一致的目标标准问句。
其中,双向预训练层用于生成句向量。验证自注意力层用于进行语义一致性验证。
具体地,将目标问句输入至意图识别模型中的双向预训练层,通过双向预训练层得到目标问句的句向量。预设相似问句库可以是向量检索库。服务器可以利用预设相似问句库的检索功能,将目标问句的句向量输入至预设相似问句库,使得预设相似问句库检索出与目标问句相似的至少一条相似语句。服务器可以将每个预设标准问句和目标问句拼接后分别输入至双向预训练层中,得到双向预训练层生成的每个预设标准问句和目标问句的联合句向量。服务器可以通过意图识别模型中的验证自注意力层对联合句向量进行特征提取,得到语义特征数据,并通过验证自注意力层中的全连接层对语义特征数据进行二分类判定,实现对每一条预设标准问句与目标问句进行语义一致性验证,以确定出与目标问句语义一致的目标标准问句。可以理解,验证自注意力层中的全连接层可以对语义特征数据进行卷积运算以实现维度转换,得到二分类判定结果。
在一个实施例中,向量检索库可以包括费斯向量检索库(faiss)和鸢属向量检索库(milvus)中的至少一种。
在一个实施例中,还包括意图识别模型训练的步骤。服务器可以执行意图识别模型训练的步骤,将双向预训练模型作为意图识别模型的主干模型,针对双向预训练模型进行意图分类任务的训练。意图分类任务是指意图识别模型预测与目标问句的相似的预设相似问句的任务。服务器可以针对双向预训练模型添加一层验证自注意力层,以进行意图验证任务的训练。意图验证任务是指意图识别模型从至少一条预设标准问句中确定与目标问句语义一致的目标标准问句的任务。在意图验证任务和意图分类任务训练完毕后,得到意图识别模型。
在一个实施例中,意图识别模型的主干模型可以是三层双向预训练层(MT-Bert)。可以理解,后续可以增加或减少双向预训练层,并对加层或减层的效果进行验证,从而实现对意图识别模型的压缩或者效果提升。
在一个实施例中,如图3所示,提供了意图识别模型的示意图。意图识别模型包括编码层、双向预训练层、验证自注意力层和输出层。意图识别模型可以通过编码层对输入的问句进行编码,通过双向预训练层对编码后的问句进行句向量生成,通过验证自注意力层对双向预训练层生成的联合句向量进行语义一致性验证,通过输出层输出识别出的目标问句的意图。服务器在调用训练模型确定与目标问句相似的至少一条预设相似问句时,不使用验证自注意力层。在一个实施例中,服务器可以采用 [CLS]目标问句[SEP]预设标准问句[SEP]的输入方式,将每个预设标准问句和目标问句拼接后分别输入至双向预训练层中。其中,[CLS]标志放在第一个句子的首位,经过双向预训练层得到的句向量C可以用于后续的分类任务。 [SEP]标志用于分开两个输入句子,例如输入句子A和B,要在句子A,B后面增加[SEP]标志。例如,目标问句为:什么时候发货目标问句的意图对应的目标标准问句为:快递的发货时效,那么输入的格式为:[CLS]什么时候发货 [SEP]快递的发货时效[SEP],通过该输入经图3中的编码层可以获取目标问句与目标标准问句的联合编码。可以理解,各预设标准问句实质上是各种意图对应的标准问句。
在一个实施例中,意图识别模型中的验证自注意力层可以提供一个序列输出,服务器可以取[CLS]位置即第一个位置的输出,并连接一个全连接层,进行二分类,从而获取目标问句和预设标准问句之间的语义一致性验证的结果。
本实施例中,意图识别模型是多任务模型,能够基于意图识别模型按照目标问句的句向量,从预设相似问句库中检索出与目标问句相似的至少一条相似语句,以及得到每个预设标准问句和目标问句的联合句向量,再基于联合句向量进行语义一致性验证,以从至少一条预设标准问句中确定与目标问句语义一致的目标标准问句,通过一个意图识别模型就能够实现意图分类和意图验证,提高意图识别的效率。
在一个实施例中,如图4所示,提供了一种意图识别方法的简易流程示意图。可以理解,意图识别方法可以应用于智能客服机器人的意图识别场景中。智能客服机器人中内置有意图识别模型。智能客服机器人可以获取与目标问句相似的预设相似问句,并将目标问句和预设标准问句拼接后输入至意图识别模型中的编码层。智能客服机器人可以通过意图识别模型的双向预训练层得到联合句向量,以及通过验证自注意力层针对联合句向量进行语义一致性验证,从而通过输出层输出语义一致性验证结果,以确定与目标问句语义一致的目标标准问句。智能客服机器人可以基于目标标准问句对应的意图信息确定目标问句的意图。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的意图识别方法的意图识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个意图识别装置实施例中的具体限定可以参见上文中对于意图识别方法的限定,在此不再赘述。
在一个实施例中,如图5所示,提供了一种意图识别装置500,包括:意图分类模块502、确定模块504和意图验证模块506,其中:
意图分类模块502,用于确定与待进行意图识别的目标问句相似的至少一条预设相似问句;其中,预设相似问句是对预设标准问句采用不同表达方式进行表达的问句;
确定模块504,用于从至少一条预设相似问句中确定至少一条待验证的预设相似问句;获取各待验证的预设相似问句对应的预设标准问句,得到至少一条预设标准问句;每条预设标准问句具有对应的意图信息;
意图验证模块506,用于分别对各预设标准问句和目标问句进行语义一致性验证,以从至少一条预设标准问句中确定与目标问句语义一致的目标标准问句;基于目标标准问句对应的意图信息确定目标问句的意图。
在一个实施例中,意图分类模块502,还用于确定输入的目标问句的目标句向量,以及确定多条候选的预设相似问句的候选句向量;分别计算目标句向量与各候选句向量之间的相似度,并基于计算的各相似度,从多条候选的预设相似问句中,确定出与目标问句相似的至少一条预设相似问句。
在一个实施例中,确定模块504,还用于若至少一条预设相似问句均不满足准确识别条件,则从至少一条预设相似问句中筛选至少一条满足意图验证条件的预设相似问句,得到待验证的预设相似问句。
在一个实施例中,确定模块504,还用于确定至少一条预设相似问句分别对应的相似得分;相似得分用于表征预设相似问句与目标问句之间的相似程度;若至少一条预设相似问句对应的相似得分均达不到准确识别阈值,则从至少一条预设相似问句中确定相似得分位于意图验证区间的待验证的预设相似问句。
在一个实施例中,意图验证模块506,还用于分别对每一条预设标准问句和目标问句进行联合编码,得到每一条预设标准问句和目标问句的联合句向量;对联合句向量进行特征提取,得到语义特征数据;基于语义特征数据对每一条预设标准问句与目标问句进行语义一致性验证,以确定出与目标问句语义一致的目标标准问句。
在一个实施例中,意图分类模块502,还用于将目标问句输入至意图识别模型中的双向预训练层,通过双向预训练层得到目标问句的句向量;按照目标问句的句向量,从预设相似问句库中检索出与目标问句相似的至少一条相似语句;将每个预设标准问句和目标问句拼接后分别输入至双向预训练层中,得到每个预设标准问句和目标问句的联合句向量;通过意图识别模型中的验证自注意力层基于联合句向量进行语义一致性验证,以从至少一条预设标准问句中确定与目标问句语义一致的目标标准问句。
上述意图识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设相似问句、预设标准问句和意图识别模型相关数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种意图识别方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种意图识别方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6和图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种意图识别方法,其特征在于,所述方法包括:
确定与待进行意图识别的目标问句相似的至少一条预设相似问句;其中,预设相似问句是对预设标准问句采用不同表达方式进行表达的问句;
从所述至少一条预设相似问句中确定至少一条待验证的预设相似问句;
获取各待验证的预设相似问句对应的预设标准问句,得到至少一条预设标准问句;每条预设标准问句具有对应的意图信息;
分别对各所述预设标准问句和所述目标问句进行语义一致性验证,以从所述至少一条预设标准问句中确定与所述目标问句语义一致的目标标准问句;
基于所述目标标准问句对应的意图信息确定所述目标问句的意图。
2.根据权利要求1所述的方法,其特征在于,所述确定与待进行意图识别的目标问句相似的至少一条预设相似问句包括:
确定输入的目标问句的目标句向量,以及确定多条候选的预设相似问句的候选句向量;
分别计算所述目标句向量与各所述候选句向量之间的相似度,并基于计算的各相似度,从所述多条候选的预设相似问句中,确定出与所述目标问句相似的至少一条预设相似问句。
3.根据权利要求1所述的方法,其特征在于,所述从所述至少一条预设相似问句中确定至少一条待验证的预设相似问句包括:
若所述至少一条预设相似问句均不满足准确识别条件,则从所述至少一条预设相似问句中筛选至少一条满足意图验证条件的预设相似问句,得到待验证的预设相似问句。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
确定所述至少一条预设相似问句分别对应的相似得分;所述相似得分用于表征所述预设相似问句与所述目标问句之间的相似程度;
所述若所述至少一条预设相似问句均不满足准确识别条件,则从所述至少一条预设相似问句中筛选至少一条满足意图验证条件的预设相似问句,得到待验证的预设相似问句包括:
若所述至少一条预设相似问句对应的相似得分均达不到准确识别阈值,则从所述至少一条预设相似问句中确定相似得分位于意图验证区间的待验证的预设相似问句。
5.根据权利要求1所述的方法,其特征在于,所述分别对各所述预设标准问句和所述目标问句进行语义一致性验证,以从所述至少一条预设标准问句中确定与所述目标问句语义一致的目标标准问句包括:
分别对每一条所述预设标准问句和所述目标问句进行联合编码,得到每一条所述预设标准问句和所述目标问句的联合句向量;
对所述联合句向量进行特征提取,得到语义特征数据;
基于所述语义特征数据对每一条所述预设标准问句与所述目标问句进行语义一致性验证,以确定出与所述目标问句语义一致的目标标准问句。
6.根据权利要求1所述的方法,其特征在于,所述确定与待进行意图识别的目标问句相似的至少一条预设相似问句包括:
将所述目标问句输入至意图识别模型中的双向预训练层,通过所述双向预训练层得到所述目标问句的句向量;
按照所述目标问句的句向量,从预设相似问句库中检索出与所述目标问句相似的至少一条相似语句;
所述分别对各所述预设标准问句和所述目标问句进行语义一致性验证,以从所述至少一条预设标准问句中确定与所述目标问句语义一致的目标标准问句包括:
将每个所述预设标准问句和所述目标问句拼接后分别输入至所述双向预训练层中,得到每个所述预设标准问句和所述目标问句的联合句向量;
通过所述意图识别模型中的验证自注意力层基于所述联合句向量进行语义一致性验证,以从所述至少一条预设标准问句中确定与所述目标问句语义一致的目标标准问句。
7.一种意图识别装置,其特征在于,所述装置包括:
意图分类模块,用于确定与待进行意图识别的目标问句相似的至少一条预设相似问句;其中,预设相似问句是对预设标准问句采用不同表达方式进行表达的问句;
确定模块,用于从所述至少一条预设相似问句中确定至少一条待验证的预设相似问句;获取各待验证的预设相似问句对应的预设标准问句,得到至少一条预设标准问句;每条预设标准问句具有对应的意图信息;
意图验证模块,用于分别对各所述预设标准问句和所述目标问句进行语义一致性验证,以从所述至少一条预设标准问句中确定与所述目标问句语义一致的目标标准问句;基于所述目标标准问句对应的意图信息确定所述目标问句的意图。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210407186.7A CN114490996B (zh) | 2022-04-19 | 2022-04-19 | 意图识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210407186.7A CN114490996B (zh) | 2022-04-19 | 2022-04-19 | 意图识别方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114490996A true CN114490996A (zh) | 2022-05-13 |
CN114490996B CN114490996B (zh) | 2023-02-28 |
Family
ID=81489419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210407186.7A Active CN114490996B (zh) | 2022-04-19 | 2022-04-19 | 意图识别方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114490996B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111782762A (zh) * | 2020-05-12 | 2020-10-16 | 北京三快在线科技有限公司 | 问答应用中相似问题确定方法、装置、电子设备 |
CN112182180A (zh) * | 2020-09-27 | 2021-01-05 | 京东方科技集团股份有限公司 | 问答处理的方法、电子设备、计算机可读介质 |
CN112949297A (zh) * | 2021-02-25 | 2021-06-11 | 深圳追一科技有限公司 | 意图识别方法、装置、计算机设备和计算机可读存储介质 |
CN113420113A (zh) * | 2021-06-21 | 2021-09-21 | 平安科技(深圳)有限公司 | 语义召回模型训练、召回问答方法、装置、设备及介质 |
-
2022
- 2022-04-19 CN CN202210407186.7A patent/CN114490996B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111782762A (zh) * | 2020-05-12 | 2020-10-16 | 北京三快在线科技有限公司 | 问答应用中相似问题确定方法、装置、电子设备 |
CN112182180A (zh) * | 2020-09-27 | 2021-01-05 | 京东方科技集团股份有限公司 | 问答处理的方法、电子设备、计算机可读介质 |
WO2022062707A1 (zh) * | 2020-09-27 | 2022-03-31 | 京东方科技集团股份有限公司 | 问答处理的方法、电子设备、计算机可读介质 |
CN112949297A (zh) * | 2021-02-25 | 2021-06-11 | 深圳追一科技有限公司 | 意图识别方法、装置、计算机设备和计算机可读存储介质 |
CN113420113A (zh) * | 2021-06-21 | 2021-09-21 | 平安科技(深圳)有限公司 | 语义召回模型训练、召回问答方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114490996B (zh) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021159632A1 (zh) | 智能问答方法、装置、计算机设备及计算机存储介质 | |
CN110321537B (zh) | 一种文案生成方法和装置 | |
CN110234018B (zh) | 多媒体内容描述生成方法、训练方法、装置、设备及介质 | |
CN110362798B (zh) | 裁决信息检索分析方法、装置、计算机设备和存储介质 | |
CN110837586A (zh) | 问答匹配方法、系统、服务器及存储介质 | |
CN111242710A (zh) | 业务的分类处理方法、装置、服务平台及存储介质 | |
CN110532229B (zh) | 证据文件检索方法、装置、计算机设备和存储介质 | |
CN110377618B (zh) | 裁决结果分析方法、装置、计算机设备和存储介质 | |
CN114860892A (zh) | 层次类目预测方法、装置、设备和介质 | |
CN111506596A (zh) | 信息检索方法、装置、计算机设备和存储介质 | |
CN114706945A (zh) | 意图识别方法、装置、电子设备及存储介质 | |
CN114490996B (zh) | 意图识别方法、装置、计算机设备和存储介质 | |
CN115186085A (zh) | 回复内容处理方法以及媒体内容互动内容的交互方法 | |
CN115129863A (zh) | 意图识别方法、装置、设备、存储介质和计算机程序产品 | |
CN113033912A (zh) | 问题解决人推荐方法及装置 | |
CN115017291B (zh) | 热点问题分析方法、装置、计算机设备和存储介质 | |
CN114139031B (zh) | 数据分类方法、装置、电子设备及存储介质 | |
CN115374273A (zh) | 会话文本分析方法、装置、计算机设备和存储介质 | |
CN114118059A (zh) | 样本语句处理方法、装置、计算机设备和存储介质 | |
CN114239603A (zh) | 业务需求匹配方法、装置、计算机设备和存储介质 | |
CN117407418A (zh) | 信息获取方法、装置、计算机设备、存储介质和程序产品 | |
CN116860972A (zh) | 交互信息分类方法、装置、设备、存储介质和程序产品 | |
CN117407504A (zh) | 运维处理方法、装置、设备、存储介质和程序产品 | |
CN117033625A (zh) | 网关日志分类方法、装置、设备、介质和产品 | |
CN116975211A (zh) | 信息生成方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |