CN112507704A - 多意图识别方法、装置、设备及存储介质 - Google Patents
多意图识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112507704A CN112507704A CN202011481328.1A CN202011481328A CN112507704A CN 112507704 A CN112507704 A CN 112507704A CN 202011481328 A CN202011481328 A CN 202011481328A CN 112507704 A CN112507704 A CN 112507704A
- Authority
- CN
- China
- Prior art keywords
- vector
- text
- intention
- preset
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本申请提供一种多意图识别方法、装置、设备及存储介质。首先根据预设意图分类模型确定待识别文本的掩码向量,预设意图分类模型通过预设数据格式表征不同的意图类别。然后根据预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度,基于相似度得到包括候选参考文本的掩码向量。再对候选参考文本的掩码向量与待识别文本的掩码向量进行预设与运算,根据运算结果确定待识别文本对应的目标意图。从而在实际应用场景中对待识别文本可能包含的多个意图进行有效识别,克服了现有技术中无法对多个意图进行识别的技术缺陷,且无需单独训练分类器,节约了计算资源和时间,有利于被广泛使用。
Description
技术领域
本申请涉及语言处理技术领域,尤其涉及一种多意图识别方法、装置、设备及存储介质。
背景技术
随着人工智能技术的快速发展及广泛应用,越来越多的行业领域涉及人机对话系统,因而需要对用户的语言需求信息进行有效的意图识别,以为用户提供准确的相应服务。目前,意图识别的相关解决方案通常有基于多分类的意图识别方法、基于one-vs-all多标签分类的意图识别方法以及基于few shot learning的意图识别方法等。
对于多分类的意图识别方法,其思想为将多标签转换为多个分类器进行意图识别。首先训练多个分类模型,然后针对每个分类模型单独采用传统分类算法进行意图识别。其中,分类模型的单独训练会省略待识别语言中的相关性含义。并且,不同的分类模型会预测出完全不匹配的意图组合。另外,此解决方案需训练多个分类模型,会占用较多的计算资源,浪费预测时间。而基于one-vs-all多标签分类的意图识别方法,通过标签的多种组合形成唯一的类别标签,可以解决相关联一个意图识别,无法适用于多个联合意图识别的应用场景,比如对于“我想充值话费,但是想先查一下余额”中的“充值-话费”和“查询-余额”两个联合意图无法进行识别。另外,基于few shot learning的意图识别方法主要用于解决标注数据太少时意图识别准确率较低的应用场景,但也只能用于单个意图的识别。
可见,上述的解决方案用于对单个意图进行识别,对于多个联合意图识别存在一定的技术缺陷。但是在实际应用中,用户的一句话当中往往会包含多个联合意图,因而,亟需一种解决方案以解决上述技术缺陷。
发明内容
本申请提供一种多意图识别方法、装置、设备及存储介质,用于解决现有的意图识别解决方案无法或者不利于对多个联合意图进行有效识别的技术问题。
第一方面,本申请提供一种多意图识别方法,包括:
根据预设意图分类模型确定待识别文本的掩码向量,预设意图分类模型用于通过预设数据格式表征不同的意图类别;
根据预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度,并根据所述相似度确定候选参考文本,以得到候选掩码向量集合,所述候选掩码向量集合包括所述候选参考文本的掩码向量;
对所述候选参考文本的掩码向量与所述待识别文本的掩码向量进行预设与运算,以根据运算结果确定所述待识别文本对应的目标意图。
在一种可能的设计中,所述根据预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度之前,还包括:
根据训练文本和参考文本对预设语句向量编码器进行训练,以得到目标语句向量编码器,所述参考文本为每个意图类别对应的标准文本;
通过所述目标语句向量编码器对所述待识别文本和各参考文本进行句子编码,以得到所述目标向量和各参考向量;
将所述目标向量与各参考向量进行拼接,以得到拼接组合后的各句子对。
在一种可能的设计中,所述根据所述相似度确定为候选参考文本,以得到候选掩码向量集合,包括:
将所述相似度大于预设阈值的所述参考向量对应的所述参考文本确定为所述候选参考文本;
根据所述预设意图分类模型确定所述候选参考文本的掩码向量,以得到所述候选掩码向量集合。
在一种可能的设计中,所述根据运算结果确定所述待识别文本对应的目标意图,包括:
判断所述运算结果与对应的所述候选参考文本的掩码向量是否一致;
若是,则保存对应的所述运算结果,并将每个被保存的所述运算结果对应的意图都确定为所述目标意图;
若否,则删除对应的所述运算结果。
在一种可能的设计中,所述根据训练文本和参考文本对预设语句向量编码器进行训练,包括:
将每一条训练文本与具有相同意图类别的所述参考文本确定为正例训练样本;
将每一条训练文本与不具有相同意图类别的所述参考文本确定为负例训练样本;
根据所述正例训练样本和所述负例训练样本对所述预设语句向量编码器进行训练。
第二方面,本申请提供一种多意图识别装置,包括:
第一处理模块,用于根据预设意图分类模型确定待识别文本的掩码向量,预设意图分类模型用于通过预设数据格式表征不同的意图类别;
第二处理模块,用于根据预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度,并根据所述相似度确定候选参考文本,以得到候选掩码向量集合,所述候选掩码向量集合包括所述候选参考文本的掩码向量;
第三处理模块,用于对所述候选参考文本的掩码向量与所述待识别文本的掩码向量进行预设与运算,以根据运算结果确定所述待识别文本对应的目标意图。
在一种可能的设计中,所述多意图识别装置,还包括:
训练模块,用于根据训练文本和参考文本对预设语句向量编码器进行训练,以得到目标语句向量编码器,所述参考文本为每个意图类别对应的标准文本;
编码模块,用于通过所述目标语句向量编码器对所述待识别文本和各参考文本进行句子编码,以得到所述目标向量和各参考向量;
拼接模块,用于将所述目标向量与各参考向量进行拼接,以得到拼接组合后的各句子对。
在一种可能的设计中,所述第二处理模块,具体用于:
将所述相似度大于预设阈值的所述参考向量对应的所述参考文本确定为所述候选参考文本;
根据所述预设意图分类模型确定所述候选参考文本的掩码向量,以得到所述候选掩码向量集合。
在一种可能的设计中,所述第三处理模块,具体用于:
判断所述运算结果与对应的所述候选参考文本的掩码向量是否一致;
若是,则保存对应的所述运算结果,并将每个被保存的所述运算结果对应的意图都确定为所述目标意图;
若否,则删除对应的所述运算结果。
在一种可能的设计中,所述训练模块,具体用于:
将每一条训练文本与具有相同意图类别的所述参考文本确定为正例训练样本;
将每一条训练文本与不具有相同意图类别的所述参考文本确定为负例训练样本;
根据所述正例训练样本和所述负例训练样本对所述预设语句向量编码器进行训练。
第三方面,本申请提供一种电子设备,包括:
处理器;以及,
存储器,用于存储所述处理器的计算机程序;
其中,所述处理器配置为经由执行所述计算机程序来执行第一方面所提供的任一项所述的多意图识别方法。
第四方面,本申请提供一种时计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所提供的任一项所述的多意图识别方法。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面所提供的任一项所述的多意图识别方法。
本申请提供一种多意图识别方法、装置、设备及存储介质。首先根据预设意图分类模型确定待识别文本的掩码向量,其中,预设意图分类模型用于通过预设数据格式表征不同的意图类别。然后根据预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度,基于相似度从参考向量对应的参考文本中确定候选参考文本,以得到包括候选参考文本的掩码向量的候选掩码向量集合。最后对候选参考文本的掩码向量与待识别文本的掩码向量进行预设与运算,根据运算结果确定待识别文本对应的目标意图。对待识别文本可能包含的多个意图进行有效识别,克服了现有技术中无法对多个意图进行识别的技术缺陷。并且无需针对不同的意图分类单独训练分类器,节约了计算资源和时间,适用于多个联合意图识别的实际应用场景,有利于在不同行业领域中的广泛使用。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图;
图2为本申请实施例提供的一种多意图识别方法的流程示意图;
图3为本申请实施例提供的另一种多意图识别方法的流程示意图;
图4为本申请实施例提供的再一种多意图识别方法的流程示意图;
图5为本申请实施例提供的一种多意图识别装置的结构示意图;
图6为本申请实施例提供的另一种多意图识别装置的结构示意图;
图7为本申请提供的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和装置的例子。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
现有技术中的意图识别相关解决方案例如基于多分类的意图识别方法、基于one-vs-all多标签分类的意图识别方法以及基于few shot learning的意图识别方法在进行意图识别,尤其是对于多个意图的识别存在一些技术缺陷。例如,对于多分类的意图识别方法,其训练多个分类模型,然后针对每个分类模型单独采用传统分类算法进行意图识别。其中,分类模型的单独训练会自动省略待识别语言中的相关性含义。并且,不同的分类模型可能会预测出完全不匹配的意图组合。另外,该解决方案需要训练多个分类模型,占用计算资源较多,且浪费预测时间。而另外两种现有的意图识别方法仅能对单一意图进行识别,无法对多个意图进行识别。可是,在实际应用场景中,用户语言往往包含多个联合意图,因此,亟需一种解决方案以克服现有技术缺陷。
为了解决现有技术中的上述问题,本申请实施例提供了一种多意图识别方法、装置、设备及存储介质,其发明构思在于:首先利用预设意图分类模型确定待识别文本的掩码向量,以通过预设数据格式体现待识别文本中包含的不同的意图类别。然后基于预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度,其中,目标向量是待识别文本对应的句向量,参考向量是参考文本对应的句向量,而参考文本是表达单一意图的标准文本。基于相似度确定候选参考文本,得到候选参考文本的掩码向量。由于句子对的存在,保留了待识别文本中可能包含的各意图的相关性和依赖性。最后将候选参考文本的掩码向量与待识别文本的掩码向量进行预设与运算,将运算结果与待识别文本的掩码向量表征的意图一致的候选参考文本对应的意图确定为目标意图。达到将待识别文本中可能包含的多个意图进行有效识别的目的。为实际应用中多个联合意图的有效识别提供了解决方案。
以下,对本申请实施例的示例性应用场景进行介绍。
图1为本申请实施例提供的一种应用场景示意图,如图1所示,本申请实施例提供的多意图识别方法可以由本申请实施例提供的多意图识别装置执行。本申请实施例提供的多意图识别装置对应的电子设备可以是终端设备、服务器或服务器集群等设备,图1中以服务器10为例示出。服务器10中的处理器可以被配置为执行本申请实施例提供的多意图识别方法。服务器10与终端设备11之间基于网络的通信链路介质处于通信连接状态,以通过网络进行信息交互,终端设备11可以用于采集用户的待识别文本,并将所采集的待识别文本基于网络传输至服务器10,以使服务器10通过执行本申请实施提供的多意图识别方法对待识别文本包含的意图进行识别,并反馈至终端设备11。值得说明的是,终端设备11与服务器10之间可以通过无线或有线进行通信连接。当然,也可以将采集用户的待识别文本以及对待识别文本的意图识别都配置于同一电子设备进行,对此,本实施例不作限定。另外,本申请实施例中的终端设备11可以是智能手机、个人电脑、平板电脑、可穿戴设备、车载终端等,对于终端设备11的类型不作限定。
需要说明的是,上述应用场景仅仅是示意性的,本申请实施例提供的多意图识别方法、装置、设备及存储介质包括但不仅限于上述应用场景。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图2为本申请实施例提供的一种多意图识别方法的流程示意图,如图2所示,本实施例提供的多意图识别方法,包括:
S101:根据预设意图分类模型确定待识别文本的掩码向量。
其中,预设意图分类模型用于通过预设数据格式表征不同的意图类别。
待识别文本为用户的自然语言,例如“我想查询一下我的余额”。将自然语言格式的待识别文本通过预设意图分类模型确定其对应的掩码向量,以用于电子设备进行数据处理。
其中,预设意图分类模型可以用于预设数据格式的形式将不同的意图类别进行表征。例如,针对业务内容,首先设置多个不同意图类别,假设意图一包含m个类别,意图二包含n个类别,则预设意图分类模型即为m+n维的向量。其中前m维表示意图一的类别,后n维表示意图二的类别。比如意图一可以包括查询、办理、充值三个类别,意图二可以包括话费、流量、余额、套餐、积分五个类别,其中,待识别文本中包含的意图类别为“1”表示,不包含的用“0”表示,这里“1”和“0”即为预设数据格式。那么针对待识别文本“我想查询一下我的话费”,根据预设意图分类模型确定的其所对应的掩码向量则可以表示为[1,0,0,1,0,0,0,0],其对应的意图为“查询-话费”。
可以理解的是,为了符合计算机处理的二级制运算,将预设数据格式设置为“1”和“0”的形式,但并不是对其的表现形式限制于此。
S102:根据预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度,并根据相似度确定候选参考文本,以得到候选掩码向量集合。
其中,候选掩码向量集合包括候选参考文本的掩码向量。
每个句子对包含目标向量和参考向量,目标向量为待识别文本所对应的句子向量,参考向量为参考文本对应的句子向量。参考文本为表达预设意图分类模型中的各单个意图所对应的标准文本,例如“我想查询话费”、“我要办理套餐”等等。对于上述的意图分类,可以理解的是,参考文本为符合自然语言以及明确业务内容的标准文本,例如“我要办理余额”则并不能作为参考文本。
另外,将目标向量和表达预设意图分类模型中各单个意图的各参考文本进行组合,以形成多个句子对。本步骤中通过预设相似度计算模型确定每个句子对中的目标向量与参考向量之间的相似度,通过每个句子对各自对应的相似度对参考向量进行筛选,将筛选后的参考向量对应的参考文本确定为候选参考文本,进而形成候选掩码向量集合。
其中,预设相似度模型可以是能够进行向量之间相似度计算的任意算法模型,例如可以通过运行pyspark等算法获得向量对应的相似度。对此,本实施例不作限定。
在一种可能的设计中,本步骤S102中根据相似度确定候选参考文本,以得到候选掩码向量集合的可能实现方式可以包括:
将相似度大于预设阈值的参考向量对应的参考文本确定为候选参考文本。
根据预设意图分类模型确定候选参考文本的掩码向量,以得到候选掩码向量集合。
可以根据经验值设置预设阈值,例如,预设阈值设置为50%,然后将预设阈值与所确定的各相似度进行比较,将大于预设阈值的相似度筛选出来。再将被筛选出来的相似度对应的参考向量所对应的参考文本都确定为候选参考文本。进一步第,根据预设意图分类模型确定每个候选参考文本的掩码向量,多个候选参考文本的掩码向量形成候选掩码向量集合。
例如,筛选出相似度大于预设阈值的参考向量对应的参考文本为“我想充话费”、“我想查询余额”和“我想充值流量”,即候选参考文本为“我想充话费”、“我想查询余额”和“我想充值流量”,则根据预设意图分类模型确定各参考文本的掩码向量依次为[0,0,1,1,0,0,0,0]、[1,0,0,0,0,1,0,0]和[0,0,1,0,1,0,0,0],进而所形成的候选掩码向量集合为{[0,0,1,1,0,0,0,0],[1,0,0,0,0,1,0,0],[0,0,1,0,1,0,0,0]}。
S103:对候选参考文本的掩码向量与待识别文本的掩码向量进行预设与运算,以根据运算结果确定待识别文本对应的目标意图。
在得到候选参考文本的掩码向量之后,将各候选参考文本的掩码向量与待识别文本的掩码向量进行预设与运算,得到对应的运算结果。再进一步根据运算结果确定待识别文本对应的目标意图。
其中,预设与运算是将参加运算的两个数据对象,按二进制位进行“与”运算。运算规则如下所示:
0&0=0;0&1=0;1&0=0;1&1=1
例如待识别文本的掩码向量为[1,0,1,1,0,1,0,0],各候选参考文本的掩码向量依次为[0,0,1,1,0,0,0,0]、[1,0,0,0,0,1,0,0]和[0,0,1,0,1,0,0,0],则分别将每个候选参考文本的掩码向量与待识别文本的掩码向量进行预设与运算,则得到的运算结果依次为[0,0,1,1,0,0,0,0]、[1,0,0,0,0,1,0,0]和[0,0,1,0,0,0,0,0]。进一步则可以根据运算结果确定待识别文本对应的目标意图。
由于运算结果是候选参考文本与待识别文本进行预设与运算所确定的,因而基于运算结果可以确定待识别文本中所包含的多个意图。
在一种可能的设计中,本步骤S103中根据运算结果确定待识别文本对应的目标意图的可能实现方式如图3所示,图3为本申请实施例提供的另一种多意图识别方法的流程示意图,如图3所示,本实施例提供的多意图识别方法中根据运算结果确定待识别文本对应的目标意图,包括:
S1031:判断运算结果与对应的候选参考文本的掩码向量是否一致;
S1032:若是,则保存对应的运算结果,并将每个被保存的运算结果对应的意图都确定为目标意图;
S1033:若否,则删除对应的运算结果。
在得到运算结果之后,对运算结果与候选掩码向量集合中进行预设与运算的对应候选参考文本的掩码向量的一致性进行判断,即针对每个运算结果,判断该运算结果与对应的进行预设与运算的候选参考文本的掩码向量是否一致。若是,即一致,则保存该运算结果。反之,则不一致,删除该运算结果,以剔除相应数据。
在对一致的运算结果进行保存之后,将每个被保存的运算结果对应的意图都确定为目标意图,从而实现对待识别文本的多个意图的有效识别。
例如,上述候选掩码向量集合中的候选参考文本的掩码向量分别以向量A、向量B以及向量C表示,则各候选参考文本的掩码向量可以表示为:A=[0,0,1,1,0,0,0,0]、B=[1,0,0,0,0,1,0,0]以及C=[0,0,1,0,1,0,0,0]。将每个候选参考文本的掩码向量与待识别文本的掩码向量X=[1,0,1,1,0,1,0,0]进行预设与运算,得到的运算结果假设分别以向量A1、向量B1和向量C1表示,则运算结果为:A1=[0,0,1,1,0,0,0,0]、B1=[1,0,0,0,0,1,0,0]以及C1=[0,0,1,0,0,0,0,0],将运算结果与对应的候选参考文本的掩码向量进行对比,判断是否一致,换言之,分别判断A1与A是否一致、B1与B是否一致以及C1与C是否一致,若一致则保留对应运算结果,若不一致,则删除对应的运算结果。经过一致性的判断,显然,A1=A、B1=B,C1≠C,因而保留A1和B1该两运算结果,并将每个被保留的运算结果各自对应的意图都确定为目标意图,即将A1对应的意图“充值-话费”和B1对应的意图“查询-余额”都确定为目标意图,相应地,删除C1,以舍弃该运算结果,从而实现对待识别文本多个意图的有效识别。
本申请提供的多意图识别方法,首先根据预设意图分类模型确定待识别文本的掩码向量,其中,预设意图分类模型用于通过预设数据格式表征不同的意图类别。然后根据预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度,基于相似度从参考向量对应的参考文本中确定候选参考文本,以得到包括候选参考文本的掩码向量的候选掩码向量集合。最后对候选参考文本的掩码向量与待识别文本的掩码向量进行预设与运算,根据运算结果确定待识别文本对应的目标意图。对待识别文本可能包含的多个意图进行有效识别,无需针对不同的意图分类单独训练分类器,节约了计算资源和时间。实现对实际应用场景中多个意图的有效识别,克服了现有技术中无法对多个意图进行识别的技术缺陷,有利于在不同行业领域的多意图识别场景中的广泛使用。
在一种可能的设计中,在步骤S102之前还可以包括如图4所示步骤,图4为本申请实施例提供的再一种多意图识别方法的流程示意图,如图4所示,本实施例提供的多意图识别方法,还包括:
S201:根据训练文本和参考文本对预设语句向量编码器进行训练,以得到目标语句向量编码器。
其中,参考文本为每个意图类别对应的标准文本。
训练文本可以为前述的业务内容所涉及的尽可能多的用户自然语言,参考文本为每个意图类别对应的标准文本。将多个训练文本和多个参考文本作为训练样本,对预设语句向量编码器进行训练,例如针对业务内容进行微调,以得到训练后的预设语句向量编码器,并将其确定为目标语句向量编码器。其中,预设语句向量编码器可以为Bert预训练模型。
在将训练文本和参考文本作为训练样本对预设语句向量编码器进行训练时,具体地,可以将每一条训练文本与具有相同意图类别的参考文本确定为正例训练样本,将每一条训练文本与不具有相同意图类别的参考文本确定为负例训练样本,然后基于正例样本和负例样本对预设语句向量编码器进行相应训练。
S202:通过目标语句向量编码器对待识别文本和各参考文本进行句子编码,以得到目标向量和各参考向量。
得到目标语句向量编码器之后,通过目标语句向量编码器对待识别文本和各参考文本进行句子编码,将待识别文本的编码结果确定为目标向量,将各参考文本对应的编码结果确定为相应的各参考向量,每个参考文本与相应的参考向量一一对应。可以理解的是,目标语句向量编码器的作用在于对语言文本进行识别,将其翻译为向量的表现形式。
S203:将目标向量与各参考向量进行拼接,以得到拼接组合后的各句子对。
在得到目标向量和各参考向量之后,将目标向量与每个参考向量进行拼接,以得到拼接组合后对应的各句子对,即得到的每个句子对中都包括有目标向量和一个参考向量。例如,目标向量为[P1],参考向量分别有[a1]、[a2]、…[an],则得到的句子对为{[P1],[a1]}、{[P1],[a2]}等等,其中n为大于1的自然数,具体根据实际工况中所能确定的参考向量数量决定,对比,本实施例不作限定。
本申请实施例中的目标语句向量编码器是基于训练文本和参考文本通过对预设语句向量编码器进行训练得到。由于在进行训练时所采用的训练样本包括有训练文本和参考文本,训练文本为提前采集到的针对业务内容的用户自然语言,参考文本为每个意图类别对应的标准文本。因而,所确定的目标语句向量编码器能够识别相同文本在不同语义环境中的特定含义。换言之,所确定的目标语句向量编码器对待识别文本进行句子编码得到的目标向量,能够结合上下文语境表达其在具体应用场景中的具体含义。从而可以克服现有技术中词向量中每个词语仅对应唯一词语含义的相应缺陷。
另外,本申请实施例提供的目标语句向量编码器确定目标向量和各参考向量,不同于现有技术中通过神经网络编码确定文本表征向量,在训练阶段不需要大规模的数据也能得到较为广泛的语义编码向量。
本申请实施例提供的多意图识别方法,在根据预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度之前,根据训练文本和参考文本对预设语句向量编码器进行训练,首先得到目标语句向量编码器,然后通过目标语句向量编码器对待识别文本和各参考文本进行句子编码,得到目标向量和各参考向量。最后将目标向量与各参考向量进行拼接,得到拼接组合后的各句子对。其中,采用目标语句向量编码器确定目标向量和参考向量,不同于现有技术确定语义编码向量的方式,可以克服现有技术中词向量中每个词语仅对应唯一词语含义的相应缺陷。并且,在获得目标语句向量编码器的过程中,无需基于大规模的训练数据进行深度学习也能得到较为广泛的语义编码向量。使得本申请实施例提供的多意图识别方法具有较高的适用性以及实用性,可以被广泛使用。
下述为本申请装置实施例,可以用于执行本申请对应的方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请对应的方法实施例。
图5为本申请实施例提供的一种多意图识别装置的结构示意图,如图5所示,本实施例提供的多意图识别装置100,包括:
第一处理模块101,用于根据预设意图分类模型确定待识别文本的掩码向量。
其中,预设意图分类模型用于通过预设数据格式表征不同的意图类别。
第二处理模块102,用于根据预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度,并根据相似度确定候选参考文本,以得到候选掩码向量集合。
其中,候选掩码向量集合包括候选参考文本的掩码向量。
第三处理模块103,用于对候选参考文本的掩码向量与待识别文本的掩码向量进行预设与运算,以根据运算结果确定待识别文本对应的目标意图。
在一种可能的设计中,第二处理模块102,具体用于:
将相似度大于预设阈值的参考向量对应的参考文本确定为候选参考文本;
根据预设意图分类模型确定候选参考文本的掩码向量,以得到候选掩码向量集合。
在一种可能的设计中,第三处理模块103,具体用于:
判断运算结果与对应的候选参考文本的掩码向量是否一致;
若是,则保存对应的运算结果,并将每个被保存的运算结果对应的意图都确定为目标意图;
若否,则删除对应的运算结果。
在图5基础上,图6为本申请实施例提供的另一种多意图识别装置的结构示意图,如图6所示,本实施例提供的多意图识别装置100,还包括:
训练模块104,用于根据训练文本和参考文本对预设语句向量编码器进行训练,以得到目标语句向量编码器,参考文本为每个意图类别对应的标准文本;
编码模块105,用于通过目标语句向量编码器对待识别文本和各参考文本进行句子编码,以得到目标向量和各参考向量;
拼接模块106,用于将目标向量与各参考向量进行拼接,以得到拼接组合后的各句子对。
在一种可能的设计中,训练模块104,具体用于:
将每一条训练文本与具有相同意图类别的参考文本确定为正例训练样本;
将每一条训练文本与不具有相同意图类别的参考文本确定为负例训练样本;
根据正例训练样本和负例训练样本对预设语句向量编码器进行训练。
本申请上述实施例提供的多意图识别装置,可用于执行上述实施例提供的多意图识别方法的对应步骤,具体实现方式、原理以及技术效果与前述方法实施例类似,在此不再赘述。
需要说明的是,本申请所提供的上述装置实施例仅仅是示意性的,其中的模块划分仅仅是一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个模块可以结合或者可以集成到另一个系统。各个模块相互之间的耦合可以是通过一些接口实现,这些接口通常是电性通信接口,但是也不排除可能是机械接口或其它的形式接口。因此,作为分离部件说明的模块可以是或者也可以不是物理上分开的,既可以位于一个地方,也可以分布到同一个或不同设备的不同位置上。
图7为本申请提供的一种电子设备的结构示意图,如图7所示,本实施例提供的电子设备200,包括:至少一个处理器201和存储器202,其中,图7示出的是以一个处理器为例的电子设备。
存储器202,用于存放计算机程序。具体地,程序可以包括程序代码,程序代码包括计算机操作指令。
存储器202可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器201用于执行存储器202存储的计算机执行指令,以实现以上各方法实施例的方法。
其中,处理器201可能是一个中央处理器(central processing unit,简称为CPU),或者是特定集成电路(application specific integrated circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
可选地,存储器202既可以是独立的,也可以跟处理器201集成在一起。当存储器202是独立于处理器201之外的器件时,电子设备200,还可以包括:
总线203,用于连接处理器201以及存储器202。总线可以是工业标准体系结构(industry standard architecture,简称为ISA)总线、外部设备互连(peripheralcomponent,PCI)总线或扩展工业标准体系结构(extended industry standardarchitecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器202和处理器201集成在一块芯片上实现,则存储器202和处理器201可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random accessmemory,RAM)、磁盘或者光盘等各种可以存储程序代码的介质,具体的,该计算机可读存储介质中存储有程序指令,程序指令用于上述各实施例中的多意图识别的方法。
本申请还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各实施例中的多意图识别的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种多意图识别方法,其特征在于,包括:
根据预设意图分类模型确定待识别文本的掩码向量,预设意图分类模型用于通过预设数据格式表征不同的意图类别;
根据预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度,并根据所述相似度确定候选参考文本,以得到候选掩码向量集合,所述候选掩码向量集合包括所述候选参考文本的掩码向量;
对所述候选参考文本的掩码向量与所述待识别文本的掩码向量进行预设与运算,以根据运算结果确定所述待识别文本对应的目标意图。
2.根据权利要求1所述的多意图识别方法,其特征在于,所述根据预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度之前,还包括:
根据训练文本和参考文本对预设语句向量编码器进行训练,以得到目标语句向量编码器,参考文本为每个意图类别对应的标准文本;
通过所述目标语句向量编码器对所述待识别文本和各参考文本进行句子编码,以得到所述目标向量和各参考向量;
将所述目标向量与各参考向量进行拼接,以得到拼接组合后的各句子对。
3.根据权利要求2所述的多意图识别方法,其特征在于,所述根据所述相似度确定为候选参考文本,以得到候选掩码向量集合,包括:
将所述相似度大于预设阈值的所述参考向量对应的所述参考文本确定为所述候选参考文本;
根据所述预设意图分类模型确定所述候选参考文本的掩码向量,以得到所述候选掩码向量集合。
4.根据权利要求1-3任一项所述的多意图识别方法,其特征在于,所述根据运算结果确定所述待识别文本对应的目标意图,包括:
判断所述运算结果与对应的所述候选参考文本的掩码向量是否一致;
若是,则保存对应的所述运算结果,并将每个被保存的所述运算结果对应的意图都确定为所述目标意图;
若否,则删除对应的所述运算结果。
5.根据权利要求2所述的多意图识别方法,其特征在于,所述根据训练文本和参考文本对预设语句向量编码器进行训练,包括:
将每一条训练文本与具有相同意图类别的所述参考文本确定为正例训练样本;
将每一条训练文本与不具有相同意图类别的所述参考文本确定为负例训练样本;
根据所述正例训练样本和所述负例训练样本对所述预设语句向量编码器进行训练。
6.一种多意图识别装置,其特征在于,包括:
第一处理模块,用于根据预设意图分类模型确定待识别文本的掩码向量,预设意图分类模型用于通过预设数据格式表征不同的意图类别;
第二处理模块,用于根据预设相似度模型确定每个句子对中的目标向量与参考向量之间的相似度,并根据所述相似度确定候选参考文本,以得到候选掩码向量集合,所述候选掩码向量集合包括所述候选参考文本的掩码向量;
第三处理模块,用于对所述候选参考文本的掩码向量与所述待识别文本的掩码向量进行预设与运算,以根据运算结果确定所述待识别文本对应的目标意图。
7.根据权利要求6所述的多意图识别装置,其特征在于,所述多意图识别装置,还包括:
训练模块,用于根据训练文本和参考文本对预设语句向量编码器进行训练,以得到目标语句向量编码器,所述参考文本为每个意图类别对应的标准文本;
编码模块,用于通过所述目标语句向量编码器对所述待识别文本和各参考文本进行句子编码,以得到所述目标向量和各参考向量;
拼接模块,用于将所述目标向量与各参考向量进行拼接,以得到拼接组合后的各句子对。
8.一种电子设备,其特征在于,包括:
处理器;以及,
存储器,用于存储所述处理器的计算机程序;
其中,所述处理器配置为经由执行所述计算机程序来执行权利要求1-5中任一项所述的多意图识别方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5任一项所述的多意图识别方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-5中任一项所述的多意图识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011481328.1A CN112507704B (zh) | 2020-12-15 | 2020-12-15 | 多意图识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011481328.1A CN112507704B (zh) | 2020-12-15 | 2020-12-15 | 多意图识别方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112507704A true CN112507704A (zh) | 2021-03-16 |
CN112507704B CN112507704B (zh) | 2023-10-03 |
Family
ID=74972143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011481328.1A Active CN112507704B (zh) | 2020-12-15 | 2020-12-15 | 多意图识别方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112507704B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113220828A (zh) * | 2021-04-28 | 2021-08-06 | 平安科技(深圳)有限公司 | 意图识别模型处理方法、装置、计算机设备及存储介质 |
CN113434656A (zh) * | 2021-07-21 | 2021-09-24 | 广州华多网络科技有限公司 | 电商客服匹配方法及其相应的装置、设备、介质 |
CN113553824A (zh) * | 2021-07-07 | 2021-10-26 | 临沂中科好孕智能技术有限公司 | 一种句子向量模型训练方法 |
CN114154509A (zh) * | 2021-11-26 | 2022-03-08 | 深圳集智数字科技有限公司 | 一种意图确定方法及装置 |
CN114238579A (zh) * | 2021-12-20 | 2022-03-25 | 北京聆心智能科技有限公司 | 文本分析方法、装置、介质和计算设备 |
CN114357973A (zh) * | 2021-12-10 | 2022-04-15 | 马上消费金融股份有限公司 | 意图识别方法、装置、电子设备及存储介质 |
CN115017313A (zh) * | 2022-06-01 | 2022-09-06 | 阿里巴巴(中国)有限公司 | 意图识别及模型训练方法、电子设备及计算机存储介质 |
CN116112256A (zh) * | 2023-02-08 | 2023-05-12 | 电子科技大学 | 一种面向应用加密流量识别的数据处理方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109657229A (zh) * | 2018-10-31 | 2019-04-19 | 北京奇艺世纪科技有限公司 | 一种意图识别模型生成方法、意图识别方法及装置 |
US20200004821A1 (en) * | 2018-06-30 | 2020-01-02 | Wipro Limited | Method and device for extracting action of interest from natural language sentences |
CN110968671A (zh) * | 2019-12-03 | 2020-04-07 | 北京声智科技有限公司 | 一种基于Bert的意图确定方法及装置 |
CN111159358A (zh) * | 2019-12-31 | 2020-05-15 | 苏州思必驰信息科技有限公司 | 多意图识别训练和使用方法及装置 |
CN111191457A (zh) * | 2019-12-16 | 2020-05-22 | 浙江大搜车软件技术有限公司 | 自然语言语义识别方法、装置、计算机设备和存储介质 |
CN111221944A (zh) * | 2020-01-13 | 2020-06-02 | 平安科技(深圳)有限公司 | 文本意图识别方法、装置、设备和存储介质 |
CN111597320A (zh) * | 2020-05-26 | 2020-08-28 | 成都晓多科技有限公司 | 基于层次分类的意图识别装置、方法、设备及存储介质 |
CN111738017A (zh) * | 2020-06-24 | 2020-10-02 | 深圳前海微众银行股份有限公司 | 一种意图识别方法、装置、设备及存储介质 |
CN112069828A (zh) * | 2020-07-31 | 2020-12-11 | 飞诺门阵(北京)科技有限公司 | 一种文本意图的识别方法及装置 |
-
2020
- 2020-12-15 CN CN202011481328.1A patent/CN112507704B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200004821A1 (en) * | 2018-06-30 | 2020-01-02 | Wipro Limited | Method and device for extracting action of interest from natural language sentences |
CN109657229A (zh) * | 2018-10-31 | 2019-04-19 | 北京奇艺世纪科技有限公司 | 一种意图识别模型生成方法、意图识别方法及装置 |
CN110968671A (zh) * | 2019-12-03 | 2020-04-07 | 北京声智科技有限公司 | 一种基于Bert的意图确定方法及装置 |
CN111191457A (zh) * | 2019-12-16 | 2020-05-22 | 浙江大搜车软件技术有限公司 | 自然语言语义识别方法、装置、计算机设备和存储介质 |
CN111159358A (zh) * | 2019-12-31 | 2020-05-15 | 苏州思必驰信息科技有限公司 | 多意图识别训练和使用方法及装置 |
CN111221944A (zh) * | 2020-01-13 | 2020-06-02 | 平安科技(深圳)有限公司 | 文本意图识别方法、装置、设备和存储介质 |
CN111597320A (zh) * | 2020-05-26 | 2020-08-28 | 成都晓多科技有限公司 | 基于层次分类的意图识别装置、方法、设备及存储介质 |
CN111738017A (zh) * | 2020-06-24 | 2020-10-02 | 深圳前海微众银行股份有限公司 | 一种意图识别方法、装置、设备及存储介质 |
CN112069828A (zh) * | 2020-07-31 | 2020-12-11 | 飞诺门阵(北京)科技有限公司 | 一种文本意图的识别方法及装置 |
Non-Patent Citations (1)
Title |
---|
冷画屏 等: "舰艇战术意图识别技术", 《火力与指挥控制》, no. 11, pages 35 - 37 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113220828A (zh) * | 2021-04-28 | 2021-08-06 | 平安科技(深圳)有限公司 | 意图识别模型处理方法、装置、计算机设备及存储介质 |
CN113220828B (zh) * | 2021-04-28 | 2023-07-21 | 平安科技(深圳)有限公司 | 意图识别模型处理方法、装置、计算机设备及存储介质 |
CN113553824A (zh) * | 2021-07-07 | 2021-10-26 | 临沂中科好孕智能技术有限公司 | 一种句子向量模型训练方法 |
CN113434656A (zh) * | 2021-07-21 | 2021-09-24 | 广州华多网络科技有限公司 | 电商客服匹配方法及其相应的装置、设备、介质 |
CN113434656B (zh) * | 2021-07-21 | 2023-04-25 | 广州华多网络科技有限公司 | 电商客服匹配方法及其相应的装置、设备、介质 |
CN114154509A (zh) * | 2021-11-26 | 2022-03-08 | 深圳集智数字科技有限公司 | 一种意图确定方法及装置 |
CN114357973A (zh) * | 2021-12-10 | 2022-04-15 | 马上消费金融股份有限公司 | 意图识别方法、装置、电子设备及存储介质 |
CN114238579A (zh) * | 2021-12-20 | 2022-03-25 | 北京聆心智能科技有限公司 | 文本分析方法、装置、介质和计算设备 |
CN114238579B (zh) * | 2021-12-20 | 2023-02-10 | 北京聆心智能科技有限公司 | 文本分析方法、装置、介质和计算设备 |
CN115017313A (zh) * | 2022-06-01 | 2022-09-06 | 阿里巴巴(中国)有限公司 | 意图识别及模型训练方法、电子设备及计算机存储介质 |
CN116112256A (zh) * | 2023-02-08 | 2023-05-12 | 电子科技大学 | 一种面向应用加密流量识别的数据处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112507704B (zh) | 2023-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112507704B (zh) | 多意图识别方法、装置、设备及存储介质 | |
CN111695352A (zh) | 基于语义分析的评分方法、装置、终端设备及存储介质 | |
CN111222305A (zh) | 一种信息结构化方法和装置 | |
CN111858843B (zh) | 一种文本分类方法及装置 | |
US11429810B2 (en) | Question answering method, terminal, and non-transitory computer readable storage medium | |
CN114330475A (zh) | 内容匹配方法、装置、设备、存储介质及计算机程序产品 | |
CN110619051A (zh) | 问题语句分类方法、装置、电子设备及存储介质 | |
CN112699686B (zh) | 基于任务型对话系统的语义理解方法、装置、设备及介质 | |
CN110633475A (zh) | 基于计算机场景的自然语言理解方法、装置、系统和存储介质 | |
CN108205524B (zh) | 文本数据处理方法和装置 | |
CN112101042A (zh) | 文本情绪识别方法、装置、终端设备和存储介质 | |
CN112115702A (zh) | 意图识别方法、装置、对话机器人和计算机可读存储介质 | |
CN112668333A (zh) | 命名实体的识别方法和设备、以及计算机可读存储介质 | |
CN111639185B (zh) | 关系信息抽取方法、装置、电子设备和可读存储介质 | |
CN112560506A (zh) | 文本语义解析方法、装置、终端设备及存储介质 | |
CN113051380A (zh) | 信息生成方法、装置、电子设备和存储介质 | |
CN113140012A (zh) | 图像处理方法、装置、介质及电子设备 | |
CN112232070A (zh) | 自然语言处理模型构建方法、系统、电子设备及存储介质 | |
CN111354354B (zh) | 一种基于语义识别的训练方法、训练装置及终端设备 | |
CN111523301B (zh) | 合同文档合规性检查方法及装置 | |
CN112528657A (zh) | 基于双向lstm的文本意图识别方法及装置、服务器和介质 | |
CN114078471A (zh) | 网络模型处理方法、装置、设备及计算机可读存储介质 | |
CN111680514B (zh) | 信息处理和模型训练方法、装置、设备及存储介质 | |
CN107656627B (zh) | 信息输入方法和装置 | |
CN114444514B (zh) | 语义匹配模型训练、语义匹配方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |