CN114357973A - 意图识别方法、装置、电子设备及存储介质 - Google Patents
意图识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114357973A CN114357973A CN202111503621.8A CN202111503621A CN114357973A CN 114357973 A CN114357973 A CN 114357973A CN 202111503621 A CN202111503621 A CN 202111503621A CN 114357973 A CN114357973 A CN 114357973A
- Authority
- CN
- China
- Prior art keywords
- sentence
- intention
- training
- standard
- sentences
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
本申请公开一种意图识别方法、装置、电子设备及存储介质,包括:首先获取预设场景下的待识别语句和预先构建的标准语句,每个标准语句对应一个真实意图,真实意图预先基于每个样本语句的意图间的相关性而确定,将待识别语句及标准语句输入意图识别模型。在意图识别模型中确定待识别语句与每个标准语句间的第一相似度,根据第一相似度确定待识别语句的目标意图。本申请根据样本语句间的相关性确定真实意图且根据真实意图构建标准语句,可使对应于真实意图的标准语句更具辨识性,通过计算待识别语句与每个标准语句间的相似度,可准确识别出待识别语句的意图。此外,根据训练语料以及标准语句训练意图识别模型,可使意图识别模型的识别准确率更高。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种意图识别方法、装置、电子设备及存储介质。
背景技术
随着自然语言处理(Natural Language Processing,NLP)技术的不断发展,意图识别在越来越多的领域发挥着重要的作用,诸如智能客服之类的对话产品。用户意图识别是从用户输入的语句中理解用户的需求,以便根据用户需求为用户提供更加准确的服务。但是,已有的意图识别方法大多都是将意图识别当作普通分类来看,意图识别的准确率不高。
发明内容
鉴于上述问题,本申请提出了一种意图识别方法、装置、电子设备及存储介质,能解决上述问题。
第一方面,本申请实施例提供了一种意图识别方法,所述方法包括:获取预设场景下的待识别语句和预先构建的多个标准语句,每个所述标准语句对应一个真实意图,所述真实意图为预先基于每个样本语句的意图之间的相关性而确定的;将所述待识别语句及每个所述标准语句输入预先构建的意图识别模型;在所述意图识别模型中,确定所述待识别语句与每个所述标准语句之间的第一相似度;根据所述第一相似度确定所述待识别语句的目标意图。
第二方面,本申请实施例提供了一种意图识别装置,所述装置包括:语句获取单元、模型输入单元、第一确定单元以及模型识别单元。其中,语句获取单元用于获取预设场景下的待识别语句和预先构建的多个标准语句,每个所述标准语句对应一个真实意图,所述真实意图为预先基于每个样本语句的意图之间的相关性而确定的;模型输入单元用于将所述待识别语句及每个所述标准语句输入预先构建的意图识别模型;第一确定单元用于在所述意图识别模型中,确定所述待识别语句与每个所述标准语句之间的第一相似度;模型识别单元用于根据所述第一相似度确定所述待识别语句的目标意图。
第三方面,本申请实施例提供了一种意图识别模型训练方法,所述方法包括:获取所述预设场景下的训练语料,所述训练语料包括多个训练语句及对每个所述训练语句预先标注的意图标签;通过待训练的意图识别模型确定每个所述训练语句以及预先构建的多个标准语句之间的第二相似度,其中,每个所述标准语句对应一个真实意图,所述真实意图为预先基于每个样本语句的意图之间的相关性而确定;基于所述第二相似度确定每个所述训练语句对应的目标标准语句,将所述目标标准语句的真实意图作为所述训练语句的训练标签;基于所述意图标签与所述训练标签训练所述待训练的意图识别模型,以使所述待训练的意图识别模型的识别准确率达到预设准确阈值,所述识别准确率为所述训练语句的训练标签被识别为对应的意图标签的准确率。
第四方面,本申请实施例提供了一种意图识别模型训练装置,所述装置包括:语料获取单元、第二确定单元、标签预测单元以及模型训练单元。其中,语料获取单元,用于获取所述预设场景下的训练语料,所述训练语料包括多个训练语句及对每个所述训练语句预先标注的意图标签;第二确定单元,用于通过待训练的意图识别模型确定每个所述训练语句以及预先构建的多个标准语句之间的第二相似度,其中,每个所述标准语句对应一个真实意图,所述真实意图为预先基于每个样本语句的意图之间的相关性而确定;标签预测单元,用于基于所述第二相似度确定每个所述训练语句对应的目标标准语句,将所述目标标准语句的真实意图作为所述训练语句的训练标签;模型训练单元,用于基于所述意图标签与所述训练标签训练所述待训练的意图识别模型,以使所述待训练的意图识别模型的识别准确率达到预设准确阈值,所述识别准确率为所述训练语句的训练标签被识别为对应的意图标签的准确率。
第五方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中,所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行上述方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述方法。
第七方面,本申请实施例提供了一种包含指令的计算机程序产品,其特征在于,所述计算机程序产品中存储有指令,当其在计算机上运行时,使得计算机实现上述方法。
可以看出,在本申请实施例中,通过预先根据样本语句之间的相关性确定真实意图并且根据真实意图构建标准语句,可以使对应于真实意图的标准语句更具有辨识性,再通过计算待识别语句与每个标准语句之间的相似度,则可以更加准确地识别出待识别语句的意图。此外,根据训练语料以及预先构建的多个标准语句训练意图识别模型,可以使意图识别模型的识别准确率更高。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的意图识别方法的一种应用环境示意图;
图2示出了本申请一实施例提供的意图识别方法的流程示意图;
图3示出了本申请一实施例提供在线客服的问答页面示意图;
图4示出了本申请一实施例提供的样本语句、标准语句以及真实意图之间的对应关系;
图5示出了本申请又一实施例提供的意图识别方法的流程示意图;
图6示出了本申请另一实施例提供的意图识别方法的流程示意图;
图7示出了本申请一实施例提供的意图识别模型训练方法的流程示意图;
图8示出了本申请又一实施例提供的意图识别模型训练方法的流程框图;
图9示出了本申请一实施例提供的训练语料的标注过程示意图;
图10示出了本申请另一实施例提供的意图识别模型训练方法的流程示意图;
图11示出了本申请一实施例提供的意图识别装置的模块框图;
图12示出了本申请一实施例提供的意图识别模型训练装置的模块框图;
图13示出了本申请一实施例提供的电子设备的结构框图;
图14示出了本申请一实施例提供的计算机可读存储介质的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
随着互联网产业的高速发展,近年来以机器学习与深度学习为标志性技术的人工智能技术在视频图像、语音识别、自然语言处理等相关领域得到了广泛应用,尤其在对自然语言的意图识别中的应用越加广泛。用户意图识别是从用户的输入理解用户的需求,例如:“我要开机”和“我要用电脑”对应意图为都是“使用电脑”。传统的用户意图识别方法是首先获取用户输入的对话文本,然后通过对对话文本进行分类而得到对话文本的意图。例如根据用户输入的对话文本确定用户当前的情绪,则通过情感分类可以将用户输入分为正向情感和负向情感;根据用户输入的对话文本确定当前的对话主题,则通过主题分类可以将会把对话文本分为军事、娱乐、生活等类别。但是,这些意图识别的方式都是将意图识别当作普通分类来看,意图识别的准确率不高。
为解决上述问题,本申请发明人经过仔细研究后发现,对于意图识别来说,意图类别通常都具有较为完整的语义,如“提前还款的利息”,“怎么修改手机号”,“已经审核完成多久可以提现”这类。从已有的意图识别方法来看,他们大多将意图识别作为普通分类来看,而忽略了意图类别的语义信息,导致意图识别的准确率不高。
因此,发明人提出,通过预先根据样本语句之间的相关性确定真实意图并且根据真实意图构建标准语句,可以使对应于真实意图的标准语句更具有辨识性,再通过计算待识别语句与每个标准语句之间的相似度,由此可以得到更加准确的意图识别结果。
为了更好理解本申请实施例提供的一种意图识别方法、装置、电子设备及存储介质,下面先对适用于本申请实施例的应用环境进行描述。
请参阅图1,图1示出了本申请一实施例提供的意图识别方法的一种应用环境示意图。示例性地,本申请实施例提供的意图识别方法、装置、电子设备及存储介质可以应用电子设备,其中,电子设备可以是如图1中所示的服务器110,服务器110可以通过网络与终端设备120相连。其中,网络用以在服务器110和终端设备120之间提供通信链路的介质。网络可以包括各种连接类型,例如有线通信链路、无线通信链路等等,本申请实施例对此不作限制。可选地,在另一些实施例中,电子设备也可以是智能手机、笔记本电脑等等。
应该理解,图1中的服务器110、网络和终端设备120仅仅是示意性的。根据实现需要,可以具有任意数目的服务器、网络和终端设备。示例性地,服务器110可以是物理服务器,也可以是由多个服务器组成的服务器集群等,终端设备120可以是手机、平板、台式电脑、笔记本电脑等等设备。可以理解的是,本申请的实施例还可以允许多台终端设备120同时接入服务器110。
在一些实施例中,终端设备120可以通过网络向服务器110发送用户输入的文本语句,在电子设备接收到这些文本语句后,可以通过本申请实施例所述的意图识别方法对文本语句进行意图识别,可以识别出用户所蕴含的真实意图。示例性地,终端设备120还可以接收用户输入的语音数据或包含文字的图片数据等,再将这些语音数据或图片数据识别为文字后,再对这些文字进行意图识别。
上述应用环境仅为方便理解所作的示例,可以理解的是,本申请实施例不仅局限于上述应用环境。
下面将通过具体实施例对本申请实施例提供的意图识别方法、装置、电子设备及存储介质进行详细说明。
请参阅图2,其示出了本申请一实施例提供的意图识别方法的流程示意图。下面将针对图2所示的流程进行详细的阐述,所述意图识别方法具体可以包括如下步骤:
步骤S210:获取预设场景下的待识别语句和预先构建的多个标准语句,每个所述标准语句对应一个真实意图,所述真实意图为预先基于每个样本语句的意图之间的相关性而确定的。
在本申请的实施例中,待识别语句可以由终端设备获取的用户输入的语句。例如,在在线问答场景下,用户可以在终端设备的问答页面输入语句,从而向终端设备提出自己的需求,终端设备在接收到用户输入的语句后,可以将该语句转发到后台的服务器中,在服务器中识别出该语句的用户意图后再查找与该用户意图相对应的回复文本,然后将回复文本发送到用户使用的终端设备,最后在终端设备的问答页面显示该回复文本。在图3所示的在线客服的问答页面中,用户输入的语句为“不绑定银行卡能否贷款?”,那么通过意图识别应该识别到用户的意图是“贷款”而不是“还款”。
可以理解的是,对应于同一个需求,待识别语句可能存在多种不同的表达方式,例如“我要开机”和“我要用电脑”对应的意图均确定为“使用电脑”等等,因此,对于不同的场景,可以该场景下预先获取的与用户相关的历史语句构建多个标准语句,其中,每个标准语句可以对应一个用户的真实意图,该真实意图可以明确地表示出用户的需求。
可以理解的是,由于不同场景下用户的需求可能存在较大的区别,例如金融系统内用户的需求可能与理财以及金融系统的用户账户有关,如“提前还款的利息”,“怎么修改手机号”,“已经审核完成多久可以提现”这类,而IT知识库场景下用户的需求可以与计算机有关,如“如何修复电脑蓝屏”、“笔记本卡顿怎么办”等等。因此,在对不同场景下的待识别语句进行意图识别时,可以构建不同的标准语句,也就是说,对于预设场景下识别到的待识别语句,可以根据同样在预设场景下获得的历史语句来预先构建多个标准语句。
此外,为避免出现标准语句所表示的真实意图出现重复的情况,首先可以从预设场景下用户输入的历史语句中提炼出样本语句,再通过计算每个样本语句的意图之间的相关性来确定用户的真实意图,进而根据该真实意图构建出标准语句。可以理解的是,即便是包含不同意图的语句之间也可能存在相同或相似的词语,因此,通过利用每个样本语句的意图之间相关性,可以识别出每个样本语句的意图之间的差异(相似或不相似,以及相似的程度多高),避免因部分词语相似而得到错误的真实意图。例如,样本语句“如何提前还款?”及“提前还款需要多少钱?”,虽然两者同样含有“提前还款”的词语,但通过计算这两个样本语句的意图之间相关性,可以得出两个意图之间的相关性较大,如图4所示,可以将两个样本语句确定为不同的真实意图(例如将“如何提前还款?”的真实意图确定为“意图1”,将“提前还款需要多少钱?”的真实意图确定为“意图2”)。由此可知,通过每个样本语句的意图之间相关性构建出来的标准语句可以更好地区分对应的真实意图,使真实意图之间具有更好的辨识性。
可选地,在一些典型的实施方式中,将样本语句表示为语义向量后,可以通过自注意力机制(self-attention)对每个样本语句的语义向量进行处理,从而得出每个样本语句的意图之间的相关性。
其中,样本语句可以是问句的表达方式,但需要注意的是,每个样本语句所表示的用户需求,即每个样本语句的意图之间可以存在较大的差异。在一些典型的实施例中,对于金融系统的在线客服,可以从金融客服机器人或者金融系统的人工客服日志中提取相应场景的客服数据作为历史语句,若没有相应的客服数据可以将金融领域的公开语料作为历史语句。示例性地,对于金融系统场景下提取得到的样本语句、标准语句及真实意图例如可以如图4所示。
步骤S220:将所述待识别语句及每个所述标准语句输入预先构建的意图识别模型。
在本申请的实施例中,在获取得到预设场景下的待识别语句和标准语句后,可以将待识别语句和所有的标准语句输入预先构建的意图识别模型中,进而在意图识别模型中根据标准语句识别出待识别语句的意图。
可选地,意图识别模型可以由预设场景下的训练语料以及上述多个标准语句训练而得到,其中,该训练语料可以包括多个训练语句及对每个所述训练语句预先标注的意图标签。
步骤S230:在所述意图识别模型中,确定所述待识别语句与每个所述标准语句之间的第一相似度。
在本申请实施例中的意图识别模型中,可以根据待识别语句与每个标准语句之间的相似程度来确定待识别语句的意图。也就是说,首先可以确定待识别语句与每个标准语句之间的第一相似度。
在一些实施方式中,第一相似度可以基于待识别语句的语义信息及每个标准语句的语义信息而得到。示例性地,可以通过计算待识别语句内每个词语的权重,以及每个标准语句内每个词语的权重而得到对应语句的语义信息。例如,可以通过词嵌入(wordembeddings)的方式分别计算待识别语句与每个标准语句内每个词语的权重,然后通过权重计算二者之间的余弦相似度(cosine similarity)以得到第一相似度。在另一些实施方式中,可以通过计算待识别语句与每个标准语句之间的距离来确定第一相似度。例如可以以每个标准语句为聚类中心,计算待识别语句到每个聚类中心的距离,从而得到第一相似度。
可以理解的是,上述第一相似度的计算方式仅仅是示例性地,根据现实需要还可以采用其他方式计算待识别语句与每个标准语句之间的第一相似度。
步骤S240:根据所述第一相似度确定所述待识别语句的目标意图。
由前述实施例可知,第一相似度可以表示待识别语句与每个标准语句之间的相似程度,其中,第一相似度越高,表示待识别语句所蕴含的语义信息与该标准语句所蕴含的语义信息的重合度越高,进而表示待识别语句所表达的意图越接近于该标准语句对应的真实意图,因此,可以将第一相似度满足预设相似阈值对应的真实意图作为待识别语句的目标意图。例如,若待识别语句与图4中每个标准意图之间的第一相似度分别是88(对应于“意图1”)、80(对应于“意图2”)、75(对应于“意图3”)、78(对应于“意图4”)以及62(对应于“意图5”),其中,预设相似阈值为85,则可以将“意图1”作为待识别语句的目标意图。在一些具体的实施方式中,还可以将第一相似度最高的真实意图作为待识别语句的目标意图。
在一些实施方式中,在得到待识别语句的目标意图之后,还可以根据该目标意图对应的标准语句查找对应的回复文本,将该回复文本发送到用户使用的终端设备,然后在终端设备的问答页面上显示该回复文本。例如,确定得到待识别语句的目标意图为“意图1”,对应的标准语句为“获取提前还款的方式”,那么可以根据该标准意图查找提前还款具体可以有哪几种方式,例如查找出来提前还款的方式有“银行卡还款”、“现金还款”、“线上支付”等等,则可以在用户使用终端设备上显示这几种提前还款的方式。最终,在准确地识别出用户输入的待识别语句的目标意图后,可以根据目标意图对用户的需求作为回应,由此可以为用户提供更加准确的服务。
综上所述,本实施例提供的意图识别方法,可以首先获取预设场景下的待识别语句和预先构建的多个标准语句,其中每个标准语句对应一个真实意图,该真实意图可以预先基于每个样本语句的意图之间的相关性而确定。将获得的待识别语句及每个标准语句输入预先构建的意图识别模型。在意图识别模型中,可以确定待识别语句与每个标准语句之间的第一相似度,再根据第一相似度确定待识别语句的目标意图。本申请通过预先根据样本语句之间的相关性确定真实意图并且根据真实意图构建标准语句,可以使对应于真实意图的标准语句更具有辨识性,再通过计算待识别语句与每个标准语句之间的相似度,则可以更加准确地识别出待识别语句的意图。
在一些实施方式中,可选地,本实施例在上述实施例的基础上,在获取得到预设场景下的待识别语句和多个标准语句之前,可以获取预先构建的样本语句集合,其中,样本语句集合中包括多个样本语句,然后基于每个样本语句的意图之间的相关性确定每个样本语句的真实意图,接着构建与每个样本语句的真实意图相对应的标准语句。
在一些实施例中,样本语句集合中的每个样本语句可以是从预设场景下用户数据的历史语句中确定得出的。每个样本语句的意图之间可以示例性地存在较大的差异,可以通过计算每个样本语句的意图之间的相关性来表示样本语句之间的差异,进而可以根据该相关性确定不同的真实意图。
进一步地,为了方便在意图识别模型中可以利用该真实意图识别出待识别语句的目标意图,可以根据每个真实意图构建对应的标准语句。可以理解的是,由于确定真实意图时考虑到了每个样本语句的意图之间的相关性,可以避免因不同样本语句中存在相似词语而得到错误的真实意图,因此,这样构建出来的标准语句可以更好地区分对应的真实意图,使真实意图之间具有更好的辨识性。
具体地,请参阅图5,其示出了本申请又一实施例提供的意图识别方法的流程示意图。所述基于每个所述样本语句的意图之间的相关性确定每个所述样本语句的真实意图,具体可以包括如下步骤:
步骤S510:识别每个所述样本语句的语义信息。
步骤S520:对每个所述样本语句的语义信息进行相似度计算,得到每个所述样本语句的语义信息与其他样本语句的语义信息之间的相关性。
在一些实施方式中,可对每个样本语句的语义信息与除该样本语句外的每一个样本语句的语义信息之间进行相似度计算,从而得到每个样本语句的语义信息与其他样本语句的语义信息之间的相似性。可选地,可以通过计算样本语句内每个词语的权重而得到对应语句的语义信息。可选地,权重可以表示该词语所蕴含的语义信息的重要程度。例如,权重越大可以表示该词语所蕴含的语义信息在语句中越重要。
可选地,可以通过神经网络模型对每个样本语句的语义信息进行相似度计算。示例性地,在神经网络模型中,可以提取每个样本的语义向量,再进一步对每个样本语句的语义向量及除该样本语句外的每一个样本语句的语义向量进行相似度计算,从而得到相关性。可选地,可以采用余弦相似度的方式计算两个语义向量之间的相似度。
步骤S530:基于每个所述样本语句的语义信息与其他样本语句的语义信息之间的相关性,对多个样本语句的语义信息分类,以得到多个真实意图。
在本申请的实施例中,相关性可以以相关性分值的方式给出,进一步地,可以通过比较每个所述样本语句的语义信息与其他样本语句的语义信息之间的相关性分值来确定真实意图。可选地,若每个所述样本语句的语义信息与其他样本语句的语义信息之间的相关性分值均满足预设相关条件,则可以将该样本语句的意图作为一个真实意图。预设相关条件可以为每条样本语句与其他样本语句的语义信息之间的相关性分值均小于预设相关阈值。
示例性地,在神经网络模型中,若样本语句的总数量为D,在对每个样本语句的语义向量及除该样本语句外的每一个样本语句的语义向量进行相似度计算时,可以得到每个所述样本语句的语义信息与其他样本语句的语义信息之间的D-1个相关性分值。例如,对于第一样本语句,可以得到第一样本语句的语义向量与第二样本语句的语义向量的相关性分值1,第一样本语句的语义向量与第三样本语句的语义向量的相关性分值2,…,第一样本语句的语义向量与第D样本语句的语义向量的相关性分值D-1,如果确定相关性分值1、相关性分值2、…以及相关性分值D-1都小于预设相关阈值,则可以将第一样本语句的意图作为一个真实意图。对于其他的样本语句也可以进行类似的相关性分值的计算,最终可以从D个样本语句中确定出E个真实意图,其中E可以小于或等于D。
在本实施例中,通过对每个样本语句的语义信息与其他样本语句的语义信息进行相似度计算,可以使最终确定的真实意图之间存在较大的差异,从而更好地区分每一个真实意图。
可选地,在本申请的一些实施方式的意图识别模型中,可以根据待识别语句与每个标准语句之间的第一相似度来确定待识别语句的目标意图。其中,可选地,第一相似度可以通过对所述待识别语句的语义信息与每个所述标准语句的语义信息进行相似度计算而得到。
具体地,可以神经网络模型分别提取待识别语句的第一语义向量和每个标准语句的第二语义向量,在进一步对第一语义向量及每个标准语句的第二语义向量进行相似度计算,从而得到相关性。可选地,在提取语义向量时,可以将待识别语句输入到第一模型,在第一模型中,将该待识别语句表示为第一语义向量。
可以理解的是,在同一个预设场景下对不同的待识别语义进行意图识别时可以使用同样的标准语句。因此,在对待识别语句进行意图识别前,预先将标准语句输入到第二模型中,使得第二模型可以将每个标准语句处理为对应的第二语义向量。接着,在获取得到待识别语句并且得到待识别语句的第一语义向量后,可以在意图识别模型中对第一语义向量和第二语义向量进行相似度计算,从而得到待识别语句与每个标准语句之间的第一相似度。
在本申请的一些实施方式中,由于第一语义向量由第一模型处理得到,而第二语义向量由第二模型处理得到,第一模型与第二模型对语句的处理方式不同,导致第一语义向量与第二语义向量属于不同的语义空间,因此在计算相似度之前,需要将第一语义向量转移到第二语义向量所在的语义空间。示例性地,可以使用语义空间转移模型将第一语义向量转移到第二语义向量所在的语义空间。然后对每个标准意图的第二语义向量与转移后的第一语义向量进行相似度计算得到第一相似度。
示例性地,待识别语句的第一语义向量可以使用Ux表示,每个标准意图的第二语义向量可以分别使用Ui1,Ui2…Uin表示,其中n表示标准意图的数量。可选地,可以通过对第一语义向量及每个标准意图的第二语义向量进行语义交互得到第一相似度,语义交互的过程如下:
需要说明的是,·表示内积,MF表示多层全连接层,*表示普通乘法,语义交互后得到的向量U由n个交互向量组成,其中,每个交互向量可以表示待识别语句与对应的标准语句之间的第一相似度。
可选地,也可以通过余弦相似度计算待识别语句的第一语义向量与每个标准语句的第二语义向量之间的第一相似度。
应当说明,由于第二模型用于得到每个标准语句的第二语义向量,其中,为了加快意图识别模型的识别效率,可以在对待识别语句进行意图识别前,例如,在对意图识别模型训练的过程中,使用第二模型将每个标准语句处理为对应的第二语义向量。进一步地,在意图识别模型训练完成后,可以保存第二语义向量,只需要每次对待识别语句进行意图识别获取第二语义向量即可。此外,由于第一模型用于得到待识别语句的第一语义向量,需要每次获取到用户输入的待识别语句时,都使用第一模型将该待识别语句表示为第一语义向量,因此,第一模型的模型复杂度可以小于第二模型的模型复杂度,由此可以使第一模型的处理速度快于第二模型,达到加快意图识别效率的目的。
在一些典型的实施例中,第一模型可以为基于双向自注意力机制的Bert模型,第二模型可以为3层的双向LSTM(长短期记忆网络,Long Short-Term Memory)模型。
请参阅图6,其示出了本申请另一实施例提供的意图识别方法的流程示意图。在一些实施方式中,在第一相似度确定所述待识别语句的真实意图时,还可以先根据第一相似度确定待识别语句属于每个标准语句对应的各个真实意图的概率,然后将概率满足预设标准的真实意图作为待识别语句的目标意图,通过概率可以更加直观地得到待识别语句与各个真实意图是否匹配。具体可以包括如下步骤:
步骤S610:根据所述第一相似度确定所述待识别语句属于每个所述标准语句对应的各个真实意图的概率。
需要说明的是,第一相似度可以表示待识别语句与对应的标准语句之间的相似程度。可选地,第一相似度越高,表示待识别语句与对应的标准语句越相似,该待识别语句的意图与对应标准语句的真实意图就越匹配,因此可以确定,第一相似度可以与待识别语句属于该第一相似度对应的真实意图的概率正相关。在一些实施方式中,可以将第一相似度进行归一化后得到待识别语句属于每个所述标准语句对应的各个真实意图的概率。
示例性地,可以对前述实施例中语义交互后得到的向量U中的每个交互向量进行归一化后,得到待识别语句属于每个标准语句对应的各个真实意图的概率。例如,若向量U由[U1,U2…Un]组成,其中U1是与第一真实意图相对应的交互向量,U2是与第二真实意图相对应的交互向量,…,Un是与第n真实意图相对应的交互向量,可以将向量U经过softmax转化后得到待识别语句属于各个真实意图的概率[P1,P2…Pn],其中,P1表示待识别语句属于第一真实意图的概率,以此类推。
步骤S620:将概率满足预设标准的真实意图作为所述待识别语句的目标意图。
可以理解的是,概率越大,表示待识别语句的意图与该概率对应的真实意图越匹配,因此可以对概率设置一个预设概率阈值来确定哪个真实意图可以作为目标意图。示例性地,可以将概率大于预设概率阈值的概率对应的真实意图作为待识别语句的目标意图。在一些典型的实施例中,可以将概率最高的真实意图作为待识别语句的目标意图。例如,请参见图4,若待识别语句属于图4中五个真实意图的概率分别为P1=0.75(对应于意图1),P2=0.9(对应于意图2),P3=0.66(对应于意图3),P4=0.51(对应于意图4),P5=0.38(对应于意图5),则可以将意图2确定为待识别语句的目标意图。
请参阅图7,其示出了本申请一实施例提供的意图识别模型训练方法的流程示意图。可选地,在训练得到意图识别模型后,可以将该意图识别模型应用于前述实施例中的意图识别方法中。模型训练的过程具体可以包括如下步骤:
步骤S710:获取所述预设场景下的训练语料,所述训练语料包括多个训练语句及对每个所述训练语句预先标注的意图标签。
在本申请的实施例中,如图8所示,在获取训练语料之前首先可以获取原始语料。示例性地,可以将同一个预设场景下获取的历史语句作为原始语料,然后标注出原始语料中的每一个语句的意图后,将标注后的原始语料作为训练语料。其中,训练语料中的训练语句为原始语料(即历史语句)中的每一个语句,每个训练语句的意图标签是标注得到的原始语料中的每一个语句的意图。可以理解的是,意图标签可以从标准语句对应的真实意图中挑选出来的与训练语句相匹配的意图,可以通过人工标注得到。
在一些典型的实施方式中,如图9所示,获取到预设场景下的原始语料之后,可以对原始语料进行首次聚类得到第一训练语料。在首次聚类的过程中,可以首先使用预训练模型bert对所有的原始语料进行编码,接着使用DBSCAN密度聚类对编码后得到的语义向量进行首次聚类以获得第一训练语料。其中,在一些实施方式中,可以将首次聚类后获得的第一训练语料交由业务人员,由业务人员通过对第一训练语料进行分析后确定样本语句。根据该样本语句可以用于根据每个样本语句之间的相关性确定出用户的真实意图,进而根据真实意图构建标准语句。请再次参见图8,在一些典型的实施方式中,可以将样本语句表示为语义向量后,通过自注意力机制对每个样本语句的语义向量进行处理,得出每个样本语句的意图之间的相关性。根据样本语句构建标准语句具体过程可以参考前述实施例中的对应内容,本实施例在此不再赘述。
紧接着,可以使用多个标准语句作为聚类中心对首次聚类后得到的第一训练语料进行二次聚类,可以得到第二训练语料。示例性地,可以将所有标准语句经过bert编码后得到句向量,然后将标准语句的句向量作为聚类中心,采用KMeans聚类算法对第一训练语料进行二次聚类。二次聚类完成后得到的第二训练语料中,每一条语料都可以得到一个初始的意图类别。但是,可以理解的是,聚类算法得出的意图类别可能存在误差,因此还需通过进一步标注才能确定第二训练语料中每条语料的意图。也就是说,在得到第二训练语料后,可以将第二训练语料发送至标注端,在标注端确定了每条语料的意图标签之后,可以获取由标注端发送的标注后的第二训练语料,以得到训练语料,由此训练语料中不仅包括训练语句,还包括对每条训练语句进行标注得到的该训练语句的意图标签。
可以理解的是,标注端对第二训练语料的标注可以由数据标注人员人工完成。例如,数据标注人员可以对第二训练语料中的每一条语料以及对应的初始的意图类别进行核对,以使每一条语料的意图标签都可以在标准语句对应的真实意图中找到。其中,由于二次聚类后的第二训练语料是带有类别信息的数据,因此可以极大地减少标注端的工作量。
步骤S720:通过待训练的意图识别模型确定每个所述训练语句以及预先构建的多个标准语句之间的第二相似度,其中,每个所述标准语句对应一个真实意图,所述真实意图为预先基于每个样本语句的意图之间的相关性而确定。
在本申请的实施例中,模型训练时使用的多个标准语句可以与前述实施例中的标准语句一致,本申请实施例对此不再赘述。
当获取到训练语料以及标准语句后,可以根据训练语料和每一个标准语句来训练待训练的意图识别模型,最终使待训练的意图识别模型对训练语料的识别准确率可以达到预设准确阈值。
可选地,在训练过程中,可以使用待训练的意图识别模型确定每个训练语句与每个标准语句之间的第二相似度,然后根据第二相似度来训练待训练的意图识别模型。例如,可以通过不断调整待训练的意图识别模型的参数,以使每个训练语句与该训练语句的意图标签对应的标准语句之间的第二相似度达到预设条件,该预设条件例如可以通过识别准确率而确定。
在一些实施方式中,第二相似度可以基于训练语句的语义信息及每个标准语句的语义信息而得到。示例性地,可以通过计算训练语句内每个词语的权重,以及每个标准语句内每个词语的权重而得到对应语句的语义信息。在另一些实施方式中,可以通过计算训练语句与每个标准语句之间的距离来确定第二相似度。例如可以以每个标准语句为聚类中心,计算训练语句到每个聚类中心的距离,从而得到第二相似度。
在一些典型的实施方式中,可以通过第一模型对训练语句进行处理后得到每个训练语句的第三语义向量,对第三语义向量及每个标准意图的第二语义向量进行相似度计算后得到第二相似度。
在本申请的一些实施方式中,由于第三语义向量由第一模型处理得到,而第二语义向量由第二模型处理得到,第一模型与第二模型对语句的处理方式不同,导致第三语义向量与第二语义向量属于不同的语义空间,因此在计算相似度之前,需要将第三语义向量转移到第二语义向量所在的语义空间。示例性地,可以使用语义空间转移模型将第三语义向量转移到第二语义向量所在的语义空间。然后对每个标准意图的第二语义向量与转移后的第三语义向量进行相似度计算得到第二相似度。
可以理解的是,每个训练语句与每个标准语句之间的第二相似度的确定过程可以参考前述实施例中第一相似度对应的内容,本申请实施例在此不再赘述。
步骤S730:基于所述第二相似度确定每个所述训练语句对应的目标标准语句,将所述目标标准语句的真实意图作为所述训练语句的训练标签。
因此,在一些实施例中,可以直接对比同一个训练语句与不同标准语句之间的第二相似度,将符合相似度条件的第二相似度对应的标准语句作为目标标准语句。示例性地,可以将第二相似度最大的标准语句作为目标标准语句,将该目标标准语句对应的真实意图作为该训练语句的训练标签。
在本申请的一些典型的实施例中,第二相似度可以表示该训练语句与第二相似度对应的标准语句之间的相似程度。可选地,第二相似度越高,表示该训练语句与第二相似度对应的标准语句越相似,该训练语句的意图与对应标准语句的真实意图就越匹配,因此可以确定,第二相似度可以与该训练语句属于该第二相似度对应的真实意图的概率正相关。因此,根据第二相似度可以确定每个训练语句属于各个真实意图的分布概率,示例性地,分布概率例如表示为[P1’,P2’…Pn’],其中,P1’表示训练语句属于第一真实意图的概率,以此类推。
在一些实施方式中,可以将每个第二相似度进行归一化后得到训练语句属于每个标准语句对应的各个真实意图的分布概率。
示例性地,可以通过对第三语义向量及每个标准意图的第二语义向量进行语义交互得到第一相似度,语义交互后得到的向量U’中的每个交互向量进行归一化后,得到训练语句属于每个标准语句对应的各个真实意图的分布概率。例如,若向量U’由[U1’,U2’…Un’]组成,其中U1’是与第一真实意图相对应的交互向量,U2’是与第二真实意图相对应的交互向量,…,Un’是与第n真实意图相对应的交互向量,可以将向量U’经过softmax转化后得到训练语句属于各个真实意图的分布概率。
因此,可以对分布概率设置一个概率分布阈值来确定哪个标准语句可以作为目标标准语句,哪个标准语句对应的真实意图可以作为该训练语句的训练标签。示例性地,可以将概率大于概率分布阈值的分布概率对应的真实意图作为该训练语句的训练标签。在一些典型的实施例中,可以将分布概率最高的真实意图作为训练语句的训练标签。
步骤S740:基于所述意图标签与所述训练标签训练所述待训练的意图识别模型,以使所述待训练的意图识别模型的识别准确率达到预设准确阈值,所述识别准确率为所述训练语句的训练标签被识别为对应的意图标签的准确率。
在本申请的实施例中,通过待训练的意图识别模型对训练语句确定的训练标签可能存在错误,因此,可以对比该训练语句的意图标签与该训练标签,通过对比结果来训练待训练的意图识别模型。
其中,可以使用识别准确率来表示所述训练语句的训练标签被识别为对应的意图标签的准确率,示例性地,识别准确率可以通过统计意图标签与训练标签一致的训练语句的数量而确定。由此,根据训练语料以及预先构建的多个标准语句训练待训练的意图识别模型,可以使意图识别模型的识别准确率更高。
可以理解的是,预设准确阈值可以预先设置,识别准确率例如可以设置为0.9。
在一些实施方式中,如图10所示,根据所述意图标签与所述训练标签训练待训练的意图识别模型的过程具体可以包括如下步骤:
步骤S1010:基于所述意图标签与所述训练标签确定每个所述训练语句的意图识别误差。
可选地,可以根据训练语句的意图标签确定训练语句的意图在各个真实意图中的真实分布,根据训练标签确定训练语句的意图在各个真实意图中的预测分布,然后根据该训预测分布以及真实分布确定每个所述训练语句的意图识别误差。
示例性地,由前述实施例可知,训练语句的意图标签可以是从标准语句对应的真实意图中挑选出来的与训练语句相匹配的真实意图,因此,根据训练语句的意图标签可以确定训练语句对应的标准语句,在根据该标准语句可以确定训练语句的意图标签在各个真实意图中的真实分布。例如,若训练语句对应的意图标签为真实意图中的第二真实意图,则真实分布可以表示为[0,1,…,0]。可选地,可以采用同样的方式确定同一个训练语句的训练标签对应的预测分布。示例性地,在初始情况下待训练的意图识别模型的识别准确率可能较低,将该训练语句对应的训练标签识别为真实意图中的第一真实意图,则预测分布可以表示为[1,0,…,0]。可选地,可以根据预测分布以及真实分布构建交叉熵函数来表示每个训练语句的意图识别误差。
步骤S1020:基于所述意图识别误差调整所述意图识别模型,直至所述意图识别误差满足预设误差阈值,其中,所述预设误差阈值基于所述预设准确阈值而确定。
在本申请的实施例中,意图识别误差可以表示训练过程中意图识别模型对训练语句的意图进行预测而得到的预测分布与真实分布之间的差距,因此,可以在训练过程中基于意图识别误差来调整意图识别模型,例如通过调整意图识别模型的参数来不断减少意图识别误差,直到意图识别误差小于预设误差阈值。其中,由于识别准确率为所述训练语句的训练标签被识别为对应的意图标签的准确率,因此,根据意图识别误差也可以确定意图识别模型的识别准确率。反之,在设置了意图识别模型的预设准确阈值时,也可以根据预设准确阈值确定预设误差阈值。
可选地,若在模型训练时确定了意图识别模型的预设准确阈值,那么也可以将该预设准确阈值确定前述实施例中的预设标准。具体地,可以根据意图识别模型达到该预设准确阈值时对应的识别准确率,也就是每个训练语句的意图被识别的对应的意图标签的概率,来确定上述预设标准。
在本申请的实施例中,可以在调整意图识别模型的参数的过程中,计算交叉熵函数的函数值,通过调整意图识别模型的参数来不断降低交叉熵函数的函数值,直到交叉熵函数的函数值小于预设误差阈值。可以理解的是,意图识别误差与识别准确率呈负相关关系,即意图识别误差越小,识别准确率越高,因此,通过所述意图识别误差调整意图识别模型可以使模型的识别准确率越来越高,从而再使用训练完成的意图识别模型识别待识别语句的意图时,可以得到更加准确的意图识别结果。
需要说明的是,在本申请的一些实施例中,还可以在模型训练的过程中将训练语料划分为训练集和测试集,通过使用训练集、测试集及多个标准语句对意图识别模型进行交叉验证,得到意图识别模型对所述训练语料中每个训练语句的训练标签。示例性地,在交叉验证中可以将训练集和测试集中的训练语句互换,也就是说,在使用训练集中的训练语句训练得到的意图识别模型对测试集中的训练语句进行测试,得到测试集中所有训练语句的训练标签后,可以接着使用原本的测试集中的训练语句训练意图识别模型,然后使用意图识别模型对原本的训练集中的训练语句进行测试,得到训练集中所有训练语句的训练标签,最后将两部分训练标签合起来就可以得到所有训练语料的训练标签。
可选地,还可以将训练语料划分为多个训练集和测试集,同样可以通过使用多个训练集、多个测试集及多个标准语句对意图识别模型进行交叉验证,交叉验证的具体过程可以参考上述实施例中的对应过程,在此不再赘述。
在一些实施方式中,可以对比每个训练语料的训练标签与预先标注的意图标签,将训练标签与意图标签不一致的训练语句作为错误样本,请再次参见图8,接着对错误样本进行重新标注后组成新的训练语料,再使用新的训练语料及多个标准语句重新训练意图识别模型,直至错误样本的数量小于预设数量。这样,通过交叉验证以及重新标注错误样本来训练意图识别模型,可以不断提高意图识别模型的识别准确率。
请参阅图11,示出了本申请一实施例提供的意图识别装置的模块框图。具体地,该装置可以包括:语句获取单元1110、模型输入单元1120、第一确定单元1130以及模型识别单元1140。
其中,语句获取单元1110,用于获取预设场景下的待识别语句和预先构建的多个标准语句,每个所述标准语句对应一个真实意图,所述真实意图为预先基于每个样本语句的意图之间的相关性而确定的;模型输入单元1120,用于将所述待识别语句及每个所述标准语句输入预先构建的意图识别模型;第一确定单元1130,用于在所述意图识别模型中,确定所述待识别语句与每个所述标准语句之间的第一相似度;模型识别单元1140,用于根据所述第一相似度确定所述待识别语句的目标意图。
在一些实施方式中,该意图识别装置还可以包括:样本获取单元,用于获取预先构建的样本语句集合,所述样本语句集合中包括多个样本语句;样本确定单元,用于基于每个所述样本语句的意图之间的相关性确定每个所述样本语句的真实意图;标准确定单元,用于构建与每个所述样本语句的真实意图相对应的标准语句。
可选地,上述样本确定单元可以包括:语义识别单元,用于识别每个所述样本语句的语义信息;第一相似度计算单元,用于对每个所述样本语句的语义信息进行相似度计算,得到每个所述样本语句的语义信息与其他样本语句的语义信息之间的相关性;样本确定子单元,用于基于每个所述样本语句的语义信息与其他样本语句的语义信息之间的相关性,对多个样本语句的语义信息分类,以得到多个真实意图。
在一些实施例中,第一确定单元1130包括:第二相似度计算单元,用于对所述待识别语句的语义信息与每个所述标准语句的语义信息进行相似度计算,得到所述待识别语句与每个所述标准语句之间的第一相似度。
进一步地,上述模型识别单元1140可以包括:第一概率确定单元,用于根据所述第一相似度确定所述待识别语句属于每个所述标准语句对应的各个真实意图的概率;模型识别子单元,用于将概率满足预设标准的真实意图作为所述待识别语句的目标意图。
更近一步地,上述模型识别子单元可以包括:最高概率确定单元,用于将概率最高的真实意图作为所述待识别语句的目标意图。
可选地,在一些实施例中,上述第二相似度计算单元可以包括:第一向量单元,用于通过第一模型将所述待识别语句表示为第一语义向量;第二向量单元,用于获取与每个所述标准语句相对应的第二语义向量,所述第二语义向量预先通过第二模型处理而得到;第二相似度计算子单元,用于对所述第一语义向量与每个所述样本意图对应的第二语义向量进行相似度计算,得到所述待识别语句与每个所述标准语句之间的第一相似度。
请参阅图12,示出了本申请一实施例提供的意图识别模型训练装置的模块框图。具体地,该装置可以包括:语料获取单元1210、第二确定单元1220、标签预测单元1230以及模型训练单元1240。
语料获取单元1210,用于获取所述预设场景下的训练语料,所述训练语料包括多个训练语句及对每个所述训练语句预先标注的意图标签;第二确定单元1220,用于通过待训练的意图识别模型确定每个所述训练语句以及预先构建的多个标准语句之间的第二相似度,其中,每个所述标准语句对应一个真实意图,所述真实意图为预先基于每个样本语句的意图之间的相关性而确定;标签预测单元1230,用于基于所述第二相似度确定每个所述训练语句对应的目标标准语句,将所述目标标准语句的真实意图作为所述训练语句的训练标签;模型训练单元1240,用于基于所述意图标签与所述训练标签训练所述待训练的意图识别模型,以使所述待训练的意图识别模型的识别准确率达到预设准确阈值,所述识别准确率为所述训练语句的训练标签被识别为对应的意图标签的准确率。
进一步地,上述模型训练单元1240可以包括:误差确定单元,用于基于所述意图标签与所述训练标签确定每个所述训练语句的意图识别误差;第一训练单元,用于基于所述意图识别误差调整所述意图识别模型,直至所述意图识别误差满足预设误差阈值,其中,所述预设误差阈值基于所述预设准确阈值而确定。
在一些实施方式中,进一步地,上述模型训练单元1240还可以包括:错误样本确定单元,用于将所述意图标签与所述训练标签不一致的训练语句作为错误样本;第二训练单元,用于对所述错误样本进行重新标注后组成新的训练语料,使用所述新的训练语料及所述多个标准语句重新训练所述意图识别模型,直至所述错误样本的数量小于预设数量。
在一些实施方式中,上述语料获取单元1210可以包括:原始语料获取单元,用于获取所述预设场景下的原始语料;首次聚类单元,用于对所述原始语料进行首次聚类得到第一训练语料;二次聚类单元,用于使用所述多个标准语句作为聚类中心对所述第一训练语料进行二次聚类,得到第二训练语料;标注单元,用于将所述第二训练语料发送至标注端,并获取所述标注端发送的标注后的第二训练语料,以得到所述训练语料。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置中模块/单元/子单元/组件的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参阅图13,其示出了本申请一实施例提供的电子设备的结构框图。本实施例中的所述电子设备可以包括一个或多个如下部件:处理器1310、存储器1320以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器1320中并被配置为由一个或多个处理器1310执行,一个或多个应用程序配置用于执行如前述方法实施例所描述的方法。
其中,电子设备可以为移动、便携式并执行无线通信的各种类型的计算机系统设备中的任何一种。具体的,电子设备可以为移动电话或智能电话(例如,基于iPhone TM,基于Android TM的电话)、便携式游戏设备(例如Nintendo DS TM,PlayStation PortableTM,Gameboy Advance TM,iPhone TM)、膝上型电脑、PDA、便携式互联网设备、音乐播放器以及数据存储设备,其他手持设备以及诸如智能手表、智能手环、耳机、吊坠等,电子设备还可以为其他的可穿戴设备(例如,诸如电子眼镜、电子衣服、电子手镯、电子项链、电子纹身、电子设备或头戴式设备(HMD))。
电子设备还可以是多个电子设备中的任何一个,多个电子设备包括但不限于蜂窝电话、智能电话、智能手表、智能手环、其他无线通信设备、个人数字助理、音频播放器、其他媒体播放器、音乐记录器、录像机、照相机、其他媒体记录器、收音机、医疗设备、车辆运输仪器、计算器、可编程遥控器、寻呼机、膝上型计算机、台式计算机、打印机、上网本电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器,便携式医疗设备以及数码相机及其组合。
在一些情况下,电子设备可以执行多种功能(例如,播放音乐,显示视频,存储图片以及接收和发送电话呼叫)。如果需要,电子设备可以是诸如蜂窝电话、媒体播放器、其他手持设备、腕表设备、吊坠设备、听筒设备或其他紧凑型便携式设备。
可选地,电子设备也可以是服务器,例如可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,还可以是提供人脸识别、自动驾驶、工业互联网服务、数据通信(如4G、5G等)等专门或平台服务器。
处理器1310可以包括一个或者多个处理核。处理器1310利用各种接口和线路连接整个电子设备内的各个部分,通过运行或执行存储在存储器1320内的指令、应用程序、代码集或指令集,以及调用存储在存储器1320内的数据,执行电子设备的各种功能和处理数据。可选地,处理器1310可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器1310可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1310中,单独通过一块通信芯片进行实现。
存储器1320可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器1320可用于存储指令、应用程序、代码、代码集或指令集。存储器1320可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的电子设备的处理器1310、存储器1320的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
请参考图14,其示出了本申请一实施例提供的计算机可读存储介质的结构框图。该计算机可读存储介质1400中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质1400可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质1400包括非易失性计算机可读存储介质(non-transitory computer-readable storagemed ium)。计算机可读存储介质1400具有执行上述方法中的任何方法步骤的程序代码1410的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1410可以例如以适当形式进行压缩。其中,计算机可读存储介质1400可以是如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random AccessMemory,简称RAM)、SSD、带电可擦可编程只读存储器(Electrically ErasableProgrammable read only memory,简称EEPROM)或快闪存储器(Flash Memory,简称Flash)等。
在一些实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、SSD、Flash)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例的方法。
本申请提供的意图识别方法、装置、电子设备及存储介质,可以首先获取预设场景下的待识别语句和预先构建的多个标准语句,其中每个标准语句对应一个真实意图,该真实意图可以预先基于每个样本语句的意图之间的相关性而确定。将获得的待识别语句及每个标准语句输入预先构建的意图识别模型。在意图识别模型中,可以确定待识别语句与每个标准语句之间的第一相似度,再根据第一相似度确定待识别语句的目标意图。本申请通过预先根据样本语句之间的相关性确定真实意图并且根据真实意图构建标准语句,可以使对应于真实意图的标准语句更具有辨识性,再通过计算待识别语句与每个标准语句之间的相似度时,则可以更加准确地识别出待识别语句的意图。此外,根据训练语料以及预先构建的多个标准语句训练意图识别模型,可以使意图识别模型的识别准确率更高。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (16)
1.一种意图识别方法,其特征在于,所述方法包括:
获取预设场景下的待识别语句和预先构建的多个标准语句,每个所述标准语句对应一个真实意图,所述真实意图为预先基于每个样本语句的意图之间的相关性而确定的;
将所述待识别语句及每个所述标准语句输入预先构建的意图识别模型;
在所述意图识别模型中,确定所述待识别语句与每个所述标准语句之间的第一相似度;
根据所述第一相似度确定所述待识别语句的目标意图。
2.根据权利要求1所述的方法,其特征在于,所述获取预设场景下的待识别语句和预先构建的多个标准语句之前,还包括:
获取预先构建的样本语句集合,所述样本语句集合中包括多个样本语句;
基于每个所述样本语句的意图之间的相关性确定每个所述样本语句的真实意图;
构建与每个所述样本语句的真实意图相对应的标准语句。
3.根据权利要求2所述的方法,其特征在于,所述基于每个所述样本语句的意图之间的相关性确定每个所述样本语句的真实意图,包括:
识别每个所述样本语句的语义信息;
对每个所述样本语句的语义信息进行相似度计算,得到每个所述样本语句的语义信息与其他样本语句的语义信息之间的相关性;
基于每个所述样本语句的语义信息与其他样本语句的语义信息之间的相关性,对多个样本语句的语义信息分类,以得到多个真实意图。
4.根据权利要求1所述的方法,其特征在于,所述确定所述待识别语句与每个所述标准语句之间的第一相似度,包括:
对所述待识别语句的语义信息与每个所述标准语句的语义信息进行相似度计算,得到所述待识别语句与每个所述标准语句之间的第一相似度。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第一相似度确定所述待识别语句的目标意图,包括:
根据所述第一相似度确定所述待识别语句属于每个所述标准语句对应的各个真实意图的概率;
将概率满足预设标准的真实意图作为所述待识别语句的目标意图。
6.根据权利要求5所述的方法,其特征在于,所述将概率满足预设标准的真实意图作为所述待识别语句的目标意图,包括:
将概率最高的真实意图作为所述待识别语句的目标意图。
7.根据权利要求4所述的方法,其特征在于,所述对所述待识别语句的语义信息与每个所述标准语句的语义信息进行相似度计算,得到所述待识别语句与每个所述标准语句之间的第一相似度,包括:
通过第一模型将所述待识别语句表示为第一语义向量;
获取与每个所述标准语句相对应的第二语义向量,所述第二语义向量预先通过第二模型处理而得到;
对所述第一语义向量与每个所述样本意图对应的第二语义向量进行相似度计算,得到所述待识别语句与每个所述标准语句之间的第一相似度。
8.一种意图识别模型训练方法,其特征在于,所述方法包括:
获取所述预设场景下的训练语料,所述训练语料包括多个训练语句及对每个所述训练语句预先标注的意图标签;
通过待训练的意图识别模型确定每个所述训练语句以及预先构建的多个标准语句之间的第二相似度,其中,每个所述标准语句对应一个真实意图,所述真实意图为预先基于每个样本语句的意图之间的相关性而确定;
基于所述第二相似度确定每个所述训练语句对应的目标标准语句,将所述目标标准语句的真实意图作为所述训练语句的训练标签;
基于所述意图标签与所述训练标签训练所述待训练的意图识别模型,以使所述待训练的意图识别模型的识别准确率达到预设准确阈值,所述识别准确率为所述训练语句的训练标签被识别为对应的意图标签的准确率。
9.根据权利要求8所述的方法,其特征在于,所述基于所述意图标签与所述训练标签训练所述待训练的意图识别模型,包括:
基于所述意图标签与所述训练标签确定每个所述训练语句的意图识别误差;
基于所述意图识别误差调整所述意图识别模型,直至所述意图识别误差满足预设误差阈值,其中,所述预设误差阈值基于所述预设准确阈值而确定。
10.根据权利要求8所述的方法,其特征在于,所述基于所述意图标签与所述训练标签训练所述待训练的意图识别模型,包括:
将所述意图标签与所述训练标签不一致的训练语句作为错误样本;
对所述错误样本进行重新标注后组成新的训练语料,使用所述新的训练语料及所述多个标准语句重新训练所述意图识别模型,直至所述错误样本的数量小于预设数量。
11.根据权利要求8所述的方法,其特征在于,所述获取所述预设场景下的训练语料,包括:
获取所述预设场景下的原始语料;
对所述原始语料进行首次聚类得到第一训练语料;
使用所述多个标准语句作为聚类中心对所述第一训练语料进行二次聚类,得到第二训练语料;
将所述第二训练语料发送至标注端,并获取所述标注端发送的标注后的第二训练语料,以得到所述训练语料。
12.一种意图识别装置,其特征在于,所述装置包括:
语句获取单元,用于获取预设场景下的待识别语句和预先构建的多个标准语句,每个所述标准语句对应一个真实意图,所述真实意图为预先基于每个样本语句的意图之间的相关性而确定的;
模型输入单元,用于将所述待识别语句及每个所述标准语句输入预先构建的意图识别模型;
第一确定单元,用于在所述意图识别模型中,确定所述待识别语句与每个所述标准语句之间的第一相似度;
模型识别单元,用于根据所述第一相似度确定所述待识别语句的目标意图。
13.一种意图识别模型训练装置,其特征在于,所述装置包括:
语料获取单元,用于获取所述预设场景下的训练语料,所述训练语料包括多个训练语句及对每个所述训练语句预先标注的意图标签;
第二确定单元,用于通过待训练的意图识别模型确定每个所述训练语句以及预先构建的多个标准语句之间的第二相似度,其中,每个所述标准语句对应一个真实意图,所述真实意图为预先基于每个样本语句的意图之间的相关性而确定;
标签预测单元,用于基于所述第二相似度确定每个所述训练语句对应的目标标准语句,将所述目标标准语句的真实意图作为所述训练语句的训练标签;
模型训练单元,用于基于所述意图标签与所述训练标签训练所述待训练的意图识别模型,以使所述待训练的意图识别模型的识别准确率达到预设准确阈值,所述识别准确率为所述训练语句的训练标签被识别为对应的意图标签的准确率。
14.一种电子设备,其特征在于,包括处理器、存储器,所述存储器存储有计算机程序,所述处理器通过调用所述计算机程序,用于执行如权利要求1至7任一项所述的方法,或者,如权利要求8至11任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一项所述的方法,或者,如权利要求8至11任一项所述的方法。
16.一种包含指令的计算机程序产品,其特征在于,所述计算机程序产品中存储有指令,当其在计算机上运行时,使得计算机实现如权利要求1至7任一项所述的方法,或者,如权利要求8至11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111503621.8A CN114357973B (zh) | 2021-12-10 | 2021-12-10 | 意图识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111503621.8A CN114357973B (zh) | 2021-12-10 | 2021-12-10 | 意图识别方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114357973A true CN114357973A (zh) | 2022-04-15 |
CN114357973B CN114357973B (zh) | 2023-04-07 |
Family
ID=81098897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111503621.8A Active CN114357973B (zh) | 2021-12-10 | 2021-12-10 | 意图识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114357973B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114722839A (zh) * | 2022-06-01 | 2022-07-08 | 阿里巴巴达摩院(杭州)科技有限公司 | 人机协同对话交互系统及方法 |
CN115269809A (zh) * | 2022-09-19 | 2022-11-01 | 支付宝(杭州)信息技术有限公司 | 意图识别模型的训练方法和装置及意图识别方法和装置 |
CN115658891A (zh) * | 2022-10-18 | 2023-01-31 | 支付宝(杭州)信息技术有限公司 | 一种意图识别的方法、装置、存储介质及电子设备 |
CN115860012A (zh) * | 2022-05-25 | 2023-03-28 | 北京中关村科金技术有限公司 | 用户意图识别方法、装置、电子设备及介质 |
CN115879458A (zh) * | 2022-04-08 | 2023-03-31 | 北京中关村科金技术有限公司 | 一种语料扩充方法、装置及存储介质 |
WO2024041350A1 (zh) * | 2022-08-25 | 2024-02-29 | 马上消费金融股份有限公司 | 意图识别方法、装置、电子设备及存储介质 |
CN117689998A (zh) * | 2024-01-31 | 2024-03-12 | 数据空间研究院 | 非参数自适应的情绪识别模型、方法、系统和存储介质 |
CN117725414A (zh) * | 2023-12-13 | 2024-03-19 | 北京海泰方圆科技股份有限公司 | 训练内容生成模型方法、确定输出内容方法、装置及设备 |
CN117909508A (zh) * | 2024-03-20 | 2024-04-19 | 成都赛力斯科技有限公司 | 意图识别方法、模型训练方法、装置、设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109446300A (zh) * | 2018-09-06 | 2019-03-08 | 厦门快商通信息技术有限公司 | 一种语料预处理方法、语料预标注方法及电子设备 |
CN110674292A (zh) * | 2019-08-27 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 一种人机交互方法、装置、设备及介质 |
CN111046667A (zh) * | 2019-11-14 | 2020-04-21 | 深圳市优必选科技股份有限公司 | 一种语句识别方法、语句识别装置及智能设备 |
CN111159358A (zh) * | 2019-12-31 | 2020-05-15 | 苏州思必驰信息科技有限公司 | 多意图识别训练和使用方法及装置 |
CN111177186A (zh) * | 2019-12-20 | 2020-05-19 | 北京淇瑀信息科技有限公司 | 基于问题检索的单句意图识别方法、装置和系统 |
CN111274797A (zh) * | 2020-01-13 | 2020-06-12 | 平安国际智慧城市科技股份有限公司 | 用于终端的意图识别方法、装置、设备及存储介质 |
CN111581388A (zh) * | 2020-05-11 | 2020-08-25 | 北京金山安全软件有限公司 | 一种用户意图识别方法、装置及电子设备 |
CN111581361A (zh) * | 2020-04-22 | 2020-08-25 | 腾讯科技(深圳)有限公司 | 一种意图识别方法及装置 |
CN111858865A (zh) * | 2019-04-30 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种语义识别方法、装置、电子设备及计算机可读存储介质 |
CN112507704A (zh) * | 2020-12-15 | 2021-03-16 | 中国联合网络通信集团有限公司 | 多意图识别方法、装置、设备及存储介质 |
CN113343677A (zh) * | 2021-05-28 | 2021-09-03 | 中国平安人寿保险股份有限公司 | 一种意图识别方法、装置、电子设备及存储介质 |
-
2021
- 2021-12-10 CN CN202111503621.8A patent/CN114357973B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109446300A (zh) * | 2018-09-06 | 2019-03-08 | 厦门快商通信息技术有限公司 | 一种语料预处理方法、语料预标注方法及电子设备 |
CN111858865A (zh) * | 2019-04-30 | 2020-10-30 | 北京嘀嘀无限科技发展有限公司 | 一种语义识别方法、装置、电子设备及计算机可读存储介质 |
CN110674292A (zh) * | 2019-08-27 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 一种人机交互方法、装置、设备及介质 |
CN111046667A (zh) * | 2019-11-14 | 2020-04-21 | 深圳市优必选科技股份有限公司 | 一种语句识别方法、语句识别装置及智能设备 |
CN111177186A (zh) * | 2019-12-20 | 2020-05-19 | 北京淇瑀信息科技有限公司 | 基于问题检索的单句意图识别方法、装置和系统 |
CN111159358A (zh) * | 2019-12-31 | 2020-05-15 | 苏州思必驰信息科技有限公司 | 多意图识别训练和使用方法及装置 |
CN111274797A (zh) * | 2020-01-13 | 2020-06-12 | 平安国际智慧城市科技股份有限公司 | 用于终端的意图识别方法、装置、设备及存储介质 |
CN111581361A (zh) * | 2020-04-22 | 2020-08-25 | 腾讯科技(深圳)有限公司 | 一种意图识别方法及装置 |
CN111581388A (zh) * | 2020-05-11 | 2020-08-25 | 北京金山安全软件有限公司 | 一种用户意图识别方法、装置及电子设备 |
CN112507704A (zh) * | 2020-12-15 | 2021-03-16 | 中国联合网络通信集团有限公司 | 多意图识别方法、装置、设备及存储介质 |
CN113343677A (zh) * | 2021-05-28 | 2021-09-03 | 中国平安人寿保险股份有限公司 | 一种意图识别方法、装置、电子设备及存储介质 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115879458A (zh) * | 2022-04-08 | 2023-03-31 | 北京中关村科金技术有限公司 | 一种语料扩充方法、装置及存储介质 |
CN115860012A (zh) * | 2022-05-25 | 2023-03-28 | 北京中关村科金技术有限公司 | 用户意图识别方法、装置、电子设备及介质 |
CN114722839A (zh) * | 2022-06-01 | 2022-07-08 | 阿里巴巴达摩院(杭州)科技有限公司 | 人机协同对话交互系统及方法 |
WO2024041350A1 (zh) * | 2022-08-25 | 2024-02-29 | 马上消费金融股份有限公司 | 意图识别方法、装置、电子设备及存储介质 |
CN115269809A (zh) * | 2022-09-19 | 2022-11-01 | 支付宝(杭州)信息技术有限公司 | 意图识别模型的训练方法和装置及意图识别方法和装置 |
CN115269809B (zh) * | 2022-09-19 | 2022-12-30 | 支付宝(杭州)信息技术有限公司 | 意图识别模型的训练方法和装置及意图识别方法和装置 |
CN115658891A (zh) * | 2022-10-18 | 2023-01-31 | 支付宝(杭州)信息技术有限公司 | 一种意图识别的方法、装置、存储介质及电子设备 |
CN117725414A (zh) * | 2023-12-13 | 2024-03-19 | 北京海泰方圆科技股份有限公司 | 训练内容生成模型方法、确定输出内容方法、装置及设备 |
CN117689998A (zh) * | 2024-01-31 | 2024-03-12 | 数据空间研究院 | 非参数自适应的情绪识别模型、方法、系统和存储介质 |
CN117689998B (zh) * | 2024-01-31 | 2024-05-03 | 数据空间研究院 | 非参数自适应的情绪识别模型、方法、系统和存储介质 |
CN117909508A (zh) * | 2024-03-20 | 2024-04-19 | 成都赛力斯科技有限公司 | 意图识别方法、模型训练方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114357973B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114357973B (zh) | 意图识别方法、装置、电子设备及存储介质 | |
CN109101537B (zh) | 基于深度学习的多轮对话数据分类方法、装置和电子设备 | |
CN111241237B (zh) | 一种基于运维业务的智能问答数据处理方法及装置 | |
CN110020009B (zh) | 在线问答方法、装置及系统 | |
WO2022142006A1 (zh) | 基于语义识别的话术推荐方法、装置、设备及存储介质 | |
CN112380853B (zh) | 业务场景交互方法、装置、终端设备及存储介质 | |
CN108986790A (zh) | 语音识别联系人的方法和装置 | |
CN110765294B (zh) | 图像搜索方法、装置、终端设备及存储介质 | |
WO2023045605A1 (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
CN114706945A (zh) | 意图识别方法、装置、电子设备及存储介质 | |
CN111159358A (zh) | 多意图识别训练和使用方法及装置 | |
CN112632244A (zh) | 一种人机通话的优化方法、装置、计算机设备及存储介质 | |
CN110633475A (zh) | 基于计算机场景的自然语言理解方法、装置、系统和存储介质 | |
CN112101042A (zh) | 文本情绪识别方法、装置、终端设备和存储介质 | |
CN112632248A (zh) | 问答方法、装置、计算机设备和存储介质 | |
CN111242710A (zh) | 业务的分类处理方法、装置、服务平台及存储介质 | |
CN113158656A (zh) | 讽刺内容识别方法、装置、电子设备以及存储介质 | |
CN110399473B (zh) | 为用户问题确定答案的方法和装置 | |
CN116522905B (zh) | 文本纠错方法、装置、设备、可读存储介质及程序产品 | |
CN113505293B (zh) | 信息推送方法、装置、电子设备及存储介质 | |
CN114818665B (zh) | 一种基于bert+bilstm+crf与xgboost模型的多意图识别方法和系统 | |
CN114610887A (zh) | 坐席违规话术识别方法、装置、电子设备、存储介质 | |
CN114218356A (zh) | 基于人工智能的语义识别方法、装置、设备及存储介质 | |
CN113886539A (zh) | 话术推荐方法、装置、客服设备及存储介质 | |
CN113505292A (zh) | 信息推送方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |