CN114297344A - 文本匹配方法、装置、存储介质及终端 - Google Patents
文本匹配方法、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN114297344A CN114297344A CN202111593339.3A CN202111593339A CN114297344A CN 114297344 A CN114297344 A CN 114297344A CN 202111593339 A CN202111593339 A CN 202111593339A CN 114297344 A CN114297344 A CN 114297344A
- Authority
- CN
- China
- Prior art keywords
- sample
- text
- neural network
- network model
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本公开涉及一种文本匹配方法、装置、存储介质及终端,该方法可以通过第一文本匹配模型确定目标文本与每个相似文本之间的第一相关度,并根据多个第一相关度从多个相似文本中确定该目标文本对应的匹配文本,由于该第一文本匹配模型是通过第一样本组训练得到的,该第一样本组包括样本文本、该样本文本对应的第一正例样本和多个第一负例样本,因此,该第一文本匹配模型不仅能够体现该样本文本与该第一正例样本和多个第一负例样本之间的相关性,也能够体现该第一正例样本与多个第一负例样本之间的相关性,从而使得根据该第一文本匹配模型得到的该目标文本与该相似文本之间的第一相关度的准确更高,这样,可以提高文本匹配的准确率。
Description
技术领域
本公开涉及自然语言处理技术领域,尤其涉及一种文本匹配方法、装置、存储介质及终端。
背景技术
随着消费者主权意识的觉醒,对消费体验的要求随之升级,作为消费体验的核心环节,客户服务连接消费者与商家,成为影响消费者黏性的重要因素,而消费者海量咨询需求与有限人工客服供给之间不可调和的矛盾,为了提高客服响应效率、优化消费体验,智能客服应运而生。
相关技术中,将用户的高频业务知识类问题收集整理成Q-A问答对的知识库,构建基于知识库的检索式问答系统,为智能客服提供最核心的业务场景,但是,这种检索式问答方式首先需要进行文本匹配,从知识库中检索到与用户问题最匹配的标准问题,以确定该用户问题对应的答案,因此,如何提高文本匹配的准确率称为亟待解决的问题。
发明内容
为克服相关技术中存在的问题,本公开提供一种文本匹配方法、装置、存储介质及终端。
根据本公开实施例的第一方面,提供一种文本匹配方法,所述方法包括:
获取目标文本;
将所述目标文本和所述目标文本对应的多个相似文本输入预先训练的第一文本匹配模型,以获取所述第一文本匹配模型输出的所述目标文本与每个所述相似文本之间的第一相关度;
根据多个所述第一相关度,从多个所述相似文本中确定所述目标文本对应的匹配文本;
其中,所述第一文本匹配模型通过以下方式训练得到:
获取多个样本文本;
针对每个所述样本文本,从样本知识库中确定与所述样本文本相关度最高的多个相似样本,从多个所述相似样本中确定所述样本文本对应的第一正例样本和多个第一负例样本,根据所述样本文本、所述第一正例样本和多个所述第一负例样本,确定所述样本文本对应的多个第一样本组;
通过每个所述样本文本对应的多个所述第一样本组对第一目标神经网络模型进行训练,得到所述第一文本匹配模型。
可选地,所述从多个所述相似样本中确定所述样本文本对应的第一正例样本和多个第一负例样本包括:
将多个所述相似样本中与所述样本文本相关度最高的目标相似样本,作为所述样本文本对应的所述第一正例样本;
从待定样本中确定所述样本文本对应的多个所述第一负例样本,所述待定样本包括多个所述相似样本中除所述目标相似样本之外的相似样本。
可选地,所述根据所述样本文本、所述第一正例样本和多个所述第一负例样本,确定所述样本文本对应的多个第一样本组包括:
针对每个所述第一负例样本,将所述样本文本、所述第一正例样本以及所述第一负例样本作为所述第一样本组。
可选地,所述通过每个所述样本文本对应的多个所述第一样本组对第一目标神经网络模型进行训练,得到所述第一文本匹配模型包括:
循环执行第一模型训练步骤,直至根据预测相关度确定训练后的所述第一目标神经网络模型满足第一预设停止迭代条件,将训练后的第一目标神经网络模型作为所述第一文本匹配模型;所述预测相关度为所述第一样本组输入训练后的第一目标神经网络模型后输出的相关度;
所述第一模型训练步骤包括:
将多个所述第一样本组输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的每个所述第一样本组对应的预测相关度;
在根据所述预测相关度确定所述第一目标神经网络模型不满足所述第一预设停止迭代条件的情况下,根据所述预测相关度确定第一目标损失值,根据所述第一目标损失值更新所述第一目标神经网络模型的参数,得到训练后的第一目标神经网络模型,并将训练后的第一目标神经网络模型作为新的第一目标神经网络模型。
可选地,所述预测相关度包括第一预测相关度和第二预测相关度;所述将多个所述第一样本组输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的每个所述第一样本组对应的预测相关度包括:
针对每个所述第一样本组,将所述第一样本组对应的所述样本文本和所述第一正例样本输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的所述第一样本组对应的第一预测相关度,将所述第一样本组对应的所述样本文本和所述第一负例样本输入第一关联目标神经网络模型,以获取所述第一关联目标神经网络模型输出的所述第一样本组对应的第二预测相关度;所述第一关联目标神经网络模型为与所述第一目标神经网络模型结构相同,且与所述第一目标神经网络模型共享模型参数的模型。
可选地,所述根据所述预测相关度确定第一目标损失值包括:
针对每个所述第一样本组,根据所述第一预测相关度和所述第二预测相关度,确定所述第一样本组对应的关联度概率;
根据所述第一预测相关度、多个所述第二预测相关度以及多个所述关联度概率,计算得到所述第一目标损失值。
可选地,所述根据所述第一预测相关度和所述第二预测相关度,确定所述第一样本组对应的关联度概率包括:
在所述第一预测相关度大于所述第二预测相关度的情况下,确定所述关联度概率为第一预设概率阈值;
在所述第一预测相关度小于或等于所述第二预测相关度的情况下,确定所述关联度概率为第二预设概率阈值,所述第二预设概率阈值小于所述第二预设概率阈值。
可选地,所述将多个所述第一样本组输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的每个所述第一样本组对应的预测相关度包括:
针对每个所述第一样本组,将所述第一样本组对应的所述样本文本和所述第一负例样本输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的所述第一样本组对应的第一预测相关度,将所述第一样本组对应的所述样本文本和所述第一正例样本输入所述第一关联目标神经网络模型,以获取所述第一关联目标神经网络模型输出的所述第一样本组对应的第二预测相关度。
可选地,所述根据多个所述第一相关度,从多个所述相似文本中确定所述目标文本对应的匹配文本包括:
根据多个所述第一相关度,从多个所述相似文本中确定多个待匹配文本;
将所述目标文本和多个所述待匹配文本输入预先训练的第二文本匹配模型,以获取所述第二文本匹配模型输出的所述目标文本与每个所述待匹配文本之间的第二相关度;
根据多个所述第二相关度,从多个所述待匹配文本中确定所述目标文本对应的所述匹配文本。
可选地,所述第二文本匹配模型通过以下方式训练得到:
针对每个所述样本文本,执行样本获取步骤,以获取所述样本文本对应的多个第二样本组;
通过多个所述第二样本组对第二目标神经网络模型进行训练,得到所述第二文本匹配模型;
其中,所述样本获取本步骤包括:
将所述样本文本和多个所述相似样本输入所述第一文本匹配模型,以获取所述第一文本匹配模型输出的所述样本文本与每个所述相似样本之间的样本相关度;
根据多个所述样本相关度,确定所述样本文本对应的第二正例样本和多个第二负例样本;
根据所述样本文本、所述第二正例样本和多个所述第二负例样本,确定所述样本文本对应的多个所述第二样本组。
可选地,所述通过多个所述第二样本组对第二目标神经网络模型进行训练,得到所述第二文本匹配模型包括:
循环执行第二模型训练步骤,直至根据预测分值确定训练后的所述第二目标神经网络模型满足第二预设停止迭代条件,将训练后的第二目标神经网络模型作为所述第二文本匹配模型;所述预测分值为所述第二样本组输入训练后的第二目标神经网络模型后输出的分值;
所述第二模型训练步骤包括:
将多个所述第二样本组输入所述第二目标神经网络模型,以获取所述第二目标神经网络模型输出的每个所述第二样本组对应的预测分值;
在根据所述预测分值确定所述第二目标神经网络模型不满足所述第二预设停止迭代条件的情况下,根据所述预测分值确定第二目标损失值,根据所述第二目标损失值更新所述第二目标神经网络模型的参数,得到训练后的第二目标神经网络模型,并将训练后的第二目标神经网络模型作为新的第二目标神经网络模型。
可选地,所述将多个所述第二样本组输入所述第二目标神经网络模型,以获取所述第二目标神经网络模型输出的每个所述第二样本组对应的预测分值包括:
针对每个所述第二样本组,执行预测分值获取步骤:
其中,所述预测分值获取步骤包括:
将所述第二样本组对应的所述样本文本、所述第二正例样本和多个所述第二负例样本输入所述第二目标神经网络模型,以获取所述第二目标神经网络模型输出的所述样本文本与所述第二正例样本之间的正例预测分值,以及所述样本文本与每个所述第二负例样本之间的负例预测分值;
根据所述正例预测分值和多个所述负例预测分值,确定所述第二样本组对应的所述预测分值。
根据本公开实施例的第二方面,提供一种文本匹配装置,所述装置包括:
文本获取模块,被配置为获取目标文本;
第一相关度获取模块,被配置为将所述目标文本和所述目标文本对应的多个相似文本输入预先训练的第一文本匹配模型,以获取所述第一文本匹配模型输出的所述目标文本与每个所述相似文本之间的第一相关度;
匹配文本确定模块,被配置为根据多个所述第一相关度,从多个所述相似文本中确定所述目标文本对应的匹配文本;
其中,所述第一文本匹配模型通过以下方式训练得到:
获取多个样本文本;
针对每个所述样本文本,从样本知识库中确定与所述样本文本相关度最高的多个相似样本,从多个所述相似样本中确定所述样本文本对应的第一正例样本和多个第一负例样本,根据所述样本文本、所述第一正例样本和多个所述第一负例样本,确定所述样本文本对应的多个第一样本组;
通过每个所述样本文本对应的多个所述第一样本组对第一目标神经网络模型进行训练,得到所述第一文本匹配模型。
可选地,所述第一相关度获取模块,还被配置为:
将多个所述相似样本中与所述样本文本相关度最高的目标相似样本,作为所述样本文本对应的所述第一正例样本;
从待定样本中确定所述样本文本对应的多个所述第一负例样本,所述待定样本包括多个所述相似样本中除所述目标相似样本之外的相似样本。
可选地,所述第一相关度获取模块,还被配置为:
针对每个所述第一负例样本,将所述样本文本、所述第一正例样本以及所述第一负例样本作为所述第一样本组。
可选地,所述第一相关度获取模块,还被配置为:
循环执行第一模型训练步骤,直至根据预测相关度确定训练后的所述第一目标神经网络模型满足第一预设停止迭代条件,将训练后的第一目标神经网络模型作为所述第一文本匹配模型;所述预测相关度为所述第一样本组输入训练后的第一目标神经网络模型后输出的相关度;
所述第一模型训练步骤包括:
将多个所述第一样本组输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的每个所述第一样本组对应的预测相关度;
在根据所述预测相关度确定所述第一目标神经网络模型不满足所述第一预设停止迭代条件的情况下,根据所述预测相关度确定第一目标损失值,根据所述第一目标损失值更新所述第一目标神经网络模型的参数,得到训练后的第一目标神经网络模型,并将训练后的第一目标神经网络模型作为新的第一目标神经网络模型。
可选地,所述预测相关度包括第一预测相关度和第二预测相关度;所述第一相关度获取模块,还被配置为:
针对每个所述第一样本组,将所述第一样本组对应的所述样本文本和所述第一正例样本输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的所述第一样本组对应的第一预测相关度,将所述第一样本组对应的所述样本文本和所述第一负例样本输入第一关联目标神经网络模型,以获取所述第一关联目标神经网络模型输出的所述第一样本组对应的第二预测相关度;所述第一关联目标神经网络模型为与所述第一目标神经网络模型结构相同,且与所述第一目标神经网络模型共享模型参数的模型。
可选地,所述第一相关度获取模块,还被配置为:
针对每个所述第一样本组,根据所述第一预测相关度和所述第二预测相关度,确定所述第一样本组对应的关联度概率;
根据所述第一预测相关度、多个所述第二预测相关度以及多个所述关联度概率,计算得到所述第一目标损失值。
可选地,所述第一相关度获取模块,还被配置为:
在所述第一预测相关度大于所述第二预测相关度的情况下,确定所述关联度概率为第一预设概率阈值;
在所述第一预测相关度小于或等于所述第二预测相关度的情况下,确定所述关联度概率为第二预设概率阈值,所述第二预设概率阈值小于所述第二预设概率阈值。
可选地,所述第一相关度获取模块,还被配置为:
针对每个所述第一样本组,将所述第一样本组对应的所述样本文本和所述第一负例样本输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的所述第一样本组对应的第一预测相关度,将所述第一样本组对应的所述样本文本和所述第一正例样本输入所述第一关联目标神经网络模型,以获取所述第一关联目标神经网络模型输出的所述第一样本组对应的第二预测相关度。
可选地,所述匹配文本确定模块,还被配置为:
根据多个所述第一相关度,从多个所述相似文本中确定多个待匹配文本;
将所述目标文本和多个所述待匹配文本输入预先训练的第二文本匹配模型,以获取所述第二文本匹配模型输出的所述目标文本与每个所述待匹配文本之间的第二相关度;
根据多个所述第二相关度,从多个所述待匹配文本中确定所述目标文本对应的所述匹配文本。
可选地,所述匹配文本确定模块,还被配置为:
针对每个所述样本文本,执行样本获取步骤,以获取所述样本文本对应的多个第二样本组;
通过多个所述第二样本组对第二目标神经网络模型进行训练,得到所述第二文本匹配模型;
其中,所述样本获取本步骤包括:
将所述样本文本和多个所述相似样本输入所述第一文本匹配模型,以获取所述第一文本匹配模型输出的所述样本文本与每个所述相似样本之间的样本相关度;
根据多个所述样本相关度,确定所述样本文本对应的第二正例样本和多个第二负例样本;
根据所述样本文本、所述第二正例样本和多个所述第二负例样本,确定所述样本文本对应的多个所述第二样本组。
可选地,所述匹配文本确定模块,还被配置为:
循环执行第二模型训练步骤,直至根据预测分值确定训练后的所述第二目标神经网络模型满足第二预设停止迭代条件,将训练后的第二目标神经网络模型作为所述第二文本匹配模型;所述预测分值为所述第二样本组输入训练后的第二目标神经网络模型后输出的分值;
所述第二模型训练步骤包括:
将多个所述第二样本组输入所述第二目标神经网络模型,以获取所述第二目标神经网络模型输出的每个所述第二样本组对应的预测分值;
在根据所述预测分值确定所述第二目标神经网络模型不满足所述第二预设停止迭代条件的情况下,根据所述预测分值确定第二目标损失值,根据所述第二目标损失值更新所述第二目标神经网络模型的参数,得到训练后的第二目标神经网络模型,并将训练后的第二目标神经网络模型作为新的第二目标神经网络模型。
可选地,所述匹配文本确定模块,还被配置为:
针对每个所述第二样本组,执行预测分值获取步骤:
其中,所述预测分值获取步骤包括:
将所述第二样本组对应的所述样本文本、所述第二正例样本和多个所述第二负例样本输入所述第二目标神经网络模型,以获取所述第二目标神经网络模型输出的所述样本文本与所述第二正例样本之间的正例预测分值,以及所述样本文本与每个所述第二负例样本之间的负例预测分值;
根据所述正例预测分值和多个所述负例预测分值,确定所述第二样本组对应的所述预测分值。
根据本公开实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的文本匹配方法的步骤。
根据本公开实施例的第四方面,提供一种终端,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面所提供的文本匹配方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:通过获取目标文本;将所述目标文本和所述目标文本对应的多个相似文本输入预先训练的第一文本匹配模型,以获取所述第一文本匹配模型输出的所述目标文本与每个所述相似文本之间的第一相关度;根据多个所述第一相关度,从多个所述相似文本中确定所述目标文本对应的匹配文本;其中,所述第一文本匹配模型通过以下方式训练得到:获取多个样本文本;针对每个所述样本文本,从样本知识库中确定与所述样本文本相关度最高的多个相似样本,从多个所述相似样本中确定所述样本文本对应的第一正例样本和多个第一负例样本,根据所述样本文本、所述第一正例样本和多个所述第一负例样本,确定所述样本文本对应的多个第一样本组;通过每个所述样本文本对应的多个所述第一样本组对第一目标神经网络模型进行训练,得到所述第一文本匹配模型。也就是说,本公开可以通过第一文本匹配模型确定目标文本与每个相似文本之间的第一相关度,并根据多个第一相关度从多个相似文本中确定该目标文本对应的匹配文本,由于该第一文本匹配模型是通过第一样本组训练得到的,该第一样本组包括样本文本、该样本文本对应的第一正例样本和多个第一负例样本,因此,该第一文本匹配模型不仅能够体现该样本文本与该第一正例样本和多个第一负例样本之间的相关性,也能够体现该第一正例样本与多个第一负例样本之间的相关性,从而使得根据该第一文本匹配模型得到的该目标文本与该相似文本之间的第一相关度的准确更高,这样,可以提高文本匹配的准确率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据本公开一示例性实施例示出的一种文本匹配方法的流程图;
图2是根据本公开一示例性实施例示出的一种文本匹配模型的训练方法的流程图;
图3是根据本公开一示例性实施例示出的一种模型示意图;
图4是根据本公开一示例性实施例示出的另一种文本匹配方法的流程图;
图5是根据本公开一示例性实施例示出的第二种文本匹配模型的训练方法的流程图;
图6是根据本公开一示例性实施例示出的一种样本获取方法的流程图;
图7是根据本公开一示例性实施例示出的第二种模型示意图;
图8是根据本公开一示例性实施例示出的一种文本匹配装置的框图;
图9是根据本公开一示例性实施例示出的一种终端的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
首先,对本公开的应用场景进行介绍。检索式问答系统是从给定的知识库中匹配与用户输入问题最相近的预设问题,并将预设问题对应的答案返回给用户。一般处理流程包括:
(1)构建知识库,并建立倒排索引。
业务人员将用户的高频问题整理成知识点,该知识点可以包括:标准问题、标准问题对应的标准答案以及与相似问题,该相似问题是与标准问题语义相似可以使用同一个答案的问题。
(2)问题解析。
线上用户问题输入后,对该用户问题进行解析处理,该解析处理包括但不限于:分词、词性标注、依存分析、NER(Named Entity Recognition,命名实体识别)、问题纠错、关键词提取、同义词挖掘、问题分类等。
(3)召回处理。
将解析处理的结果作为召回模块的输入,得到检索结果,并对检索结果进行排序,获取排序靠前的预设数量的待定检索结果。
(4)排序处理。
通过深度文本匹配模型,对待定检索结果进行进一步排序,并将排序靠前的目标检索结果对应的答案返回给用户。
本申请发明人发现,检索式问答系统的核心是文本匹配,相关技术中,可以通过BERT(Bidirectional Encoder Representation from Transformers,基于转换器的双向编码表征)双语句分类模型进行文本匹配,但是,该模型的输入为用户问题和知识点中的标准问题,输出为该用户问题与该标准问题的相关性打分,基于此,该模型仅能体现用户问题与标准问题的相关性,忽略了知识点中的标准问题之间的相关性,导致模型的准确率比较低,从而使得文本匹配的准确率也比较低。
下面结合具体实施例对本公开进行说明。
图1是根据本公开一示例性实施例示出的一种文本匹配方法的流程图,如图1所示,该方法可以包括:
S101、获取目标文本。
其中,该目标文本可以是用户通过人工智能系统触发的用户问题,也可以是用户通过问答检索系统触发的检索文本,本公开对该目标文本的类型不作限定。
S102、将该目标文本和该目标文本对应的多个相似文本输入预先训练的第一文本匹配模型,以获取该第一文本匹配模型输出的该目标文本与每个相似文本之间的第一相关度。
在本步骤中,在获取该目标文本后,可以从预先创建的知识库中确定该目标文本对应的多个相似文本,该知识库可以包括多个预设标准问题、每个预设标准问题对应的答案以及每个预设标准问题对应的预设相似问题,该预设相似问题可以是与该预设标准问题对应的答案相同的问题,例如,若该预设标准问题为“如何查询话费”,则该预设相似问题可以是“怎么查询电话卡话费信息”。示例地,在得到该目标文本后,可以通过召回处理方式,确定该目标文本对应的多个相似文本,例如,通过ES检索(Elastic Search,弹性搜索)方式从该知识库中确定与该目标文本最相关的第一相似文本集,该第一相似文本集可以包括与该目标文本的关键词相同的预设问题,该预设问题包括预设标准问题或预设相似问题,通过语义向量检索方式确定与该目标文本最相关的第二相似文本集,该第二相似文本集可以包括与该目标文本意思相同的预设问题。该第一相似文本集和该第二相似文本集中可能会存在重复的预设问题,将该第一相似文本集和该第二相似文本集中的重复预设问题去除后,得到第三相似文本集,对该第三相似文本集中的每个预设问题对应的相关度进行归一化处理,并按照归一化处理后的相关度对该第三相似文本集中的预设问题按照由高到低的顺序进行排序,将排在最前面的预设数量个预设问题作为该目标文本对应的相似文本。该预设数量可以根据经验预先设置,例如,该预设数量可以是60。
进一步地,在得到该目标文本和该目标文本对应的多个相似文本后,可以将该目标文本和多个相似文本输入该第一文本匹配模型,通过该第一文本匹配模型获取该目标文本与每个相似文本之间的第一相关度。
图2是根据本公开一示例性实施例示出的一种文本匹配模型的训练方法的流程图,如图2所示,该第一文本匹配模型的训练方法可以包括:
S21、获取多个样本文本。
该样本文本可以是用户触发的多个用户问题。
S22、针对每个样本文本,从样本知识库中确定与该样本文本相关度最高的多个相似样本,从多个相似样本中确定该样本文本对应的第一正例样本和多个第一负例样本,根据该样本文本、该第一正例样本和多个第一负例样本,确定该样本文本对应的多个第一样本组。
该相似样本的获取方法可以参照上述相似文本的获取方法,此处不再赘述。针对每个样本文本,在得到该样本文本对应的多个相似样本后,可以将多个相似样本中与该样本文本相关度最高的目标相似样本,作为该样本文本对应的第一正例样本,之后,从待定样本中确定该样本文本对应的多个第一负例样本,该待定样本包括多个相似样本中除该目标相似样本之外的相似样本。
示例地,针对每个样本文本,在得到该样本文本对应的多个相似样本后,可以按照相关度由高到低的顺序对多个相似样本进行排序,得到相似样本队列,将该相似样本队列中的第一个相似样本作为该样本文本对应的第一正例样本,将该相似样本队列中的第二个相似样本、第三个相似样本、第四个相似样本、最中间的两个相似样本以及最后一个相似样本作为该样本文本对应的第一负例样本。
需要说明的是,上述第一负例样本的确定方式只是举例说明,也可以通过其它方式确定该样本文本对应的第一负例样本,本公开对此不作限定。
在确定该样本文本对应的第一正例样本和多个第一负例样本后,针对每个第一负例样本,可以将该样本文本、该第一正例样本以及该第一负例样本作为该第一样本组。继续以上述示例的第一负例样本为例,可以得到该样本文本对应的八个第一样本组。
S23、通过每个样本文本对应的多个第一样本组对第一目标神经网络模型进行训练,得到该第一文本匹配模型。
在得到每个样本文本对应的多个第一样本组后,可以循环执行第一模型训练步骤,直至根据预测相关度确定训练后的第一目标神经网络模型满足第一预设停止迭代条件,将训练后的第一目标神经网络模型作为该第一文本匹配模型;该预测相关度为该第一样本组输入训练后的第一目标神经网络模型后输出的相关度。其中,该第一目标神经网络模型可以包括BERT模型、2个全连接层以及分类器(softmax),该第一预设停止迭代条件可以是现有的模型训练中的停止迭代条件,本公开对此不作限定。
其中,该第一模型训练步骤可以包括:
S231、将多个第一样本组输入该第一目标神经网络模型,以获取该第一目标神经网络模型输出的每个第一样本组对应的预测相关度。
在一种可能的实现方式中,该预测相关度可以包括第一预测相关度和第二预测相关度,在得到每个样本文本对应的多个第一样本组后,针对每个第一样本组,可以将该第一样本组对应的该样本文本和该第一正例样本输入该第一目标神经网络模型,以获取该第一目标神经网络模型输出的该第一样本组对应的第一预测相关度,将该第一样本组对应的该样本文本和该第一负例样本输入第一关联目标神经网络模型,以获取该第一关联目标神经网络模型输出的该第一样本组对应的第二预测相关度;该第一关联目标神经网络模型为与该第一目标神经网络模型结构相同,且与该第一目标神经网络模型共享模型参数的模型。
图3是根据本公开一示例性实施例示出的一种模型示意图,如图3所示,该模型包括两个分支,左侧的分支为该第一目标神经网络模型,右侧的分支为该第一关联目标神经网络模型,将该第一正例样本和该样本文本输入左侧BERT模型后,通过该BERT模型输出该第一正例样本和该样本文本的语义相关性特征,之后,再通过两个全连接层和一个分类器处理后,得到该第一样本组对应的第一预测相关度。将该第一负例样本和该样本文本输入右侧BERT模型后,通过该BERT模型输出该第一负例样本和该样本文本的语义相关性特征,之后,再通过两个全连接层和一个分类器处理后,得到该第一样本组对应的第二预测相关度。
在获取该样本文本对应的每个第一样本组对应的第一预测相关度和该第二预测相关度后,针对每个第一样本组,可以根据该第一预测相关度和该第二预测相关度确定该第一样本组对应的关联度概率,并根据该第一预测相关度、多个第二预测相关度以及多个关联度概率,计算得到该第一目标损失值。其中,在该第一预测相关度大于该第二预测相关度的情况下,确定该关联度概率为第一预设概率阈值,在该第一预测相关度小于或等于该第二预测相关度的情况下,确定该关联度概率为第二预设概率阈值,该第二预设概率阈值小于该第二预设概率阈值。该第一预设概率阈值可以是1,该第二预设概率阈值可以是-1。在该第一预测相关度大于该第二预测相关度的情况下,表示相比该第一负例样本,该第一正例样本与该样本文本更相关,符合预期;在该第一预测相关度小于该第二预测相关度的情况下,表示相比该第一正例样本,该第一负例样本与该样本文本更相关,不符合预期。示例地,可以通过以下公式计算该第一样本组对应的关联度概率:
其中,Sij为该关联度概率,Si为该第一预测关联度,Sj为该第二预测关联度,σ为常量。
在另一种可能的实现方式中,针对每个第一样本组,可以将该第一样本组对应的样本文本和第一负例样本输入该第一目标神经网络模型,以获取该第一目标神经网络模型输出的该第一样本组对应的第一预测相关度,将该第一样本组对应的样本文本和第一正例样本输入该第一关联目标神经网络模型,以获取该第一关联目标神经网络模型输出的该第一样本组对应的第二预测相关度。
需要说明的是,上述两种实现方式中的第一样本组相同,区别在于该第一目标神经网络模型和该第一关联目标神经网络模型的输入不同,可以将第一种实现方式中的第一样本组作为正样本,将第二种实现方式中的第一样本组作为负样本,这样,可以提高模型的准确率。
S232、在根据该预测相关度确定该第一目标神经网络模型不满足该第一预设停止迭代条件的情况下,根据该预测相关度确定第一目标损失值,根据该第一目标损失值更新该第一目标神经网络模型的参数,得到训练后的第一目标神经网络模型,并将训练后的第一目标神经网络模型作为新的第一目标神经网络模型。
在根据该预测相关度确定该第一目标神经网络模型不满足该第一预设停止迭代条件的情况下,可以根据该预测相关度,通过以下公式计算得到该第一目标损失值:
其中,C为该第一目标损失值,N为该样本文本对应的第一样本组的数量。
S103、根据多个第一相关度,从多个相似文本中确定该目标文本对应的匹配文本。
在本步骤中,在得到该目标文本与每个相似文本之间的第一相关度后,可以将该第一相关度最高的相似文本作为该目标文本对应的匹配文本。
采用上述方法,可以通过第一文本匹配模型确定目标文本与每个相似文本之间的第一相关度,并根据多个第一相关度从多个相似文本中确定该目标文本对应的匹配文本,由于该第一文本匹配模型是通过第一样本组训练得到的,该第一样本组包括样本文本、该样本文本对应的第一正例样本和多个第一负例样本,因此,该第一文本匹配模型不仅能够体现该样本文本与该第一正例样本和多个第一负例样本之间的相关性,也能够体现该第一正例样本与多个第一负例样本之间的相关性,从而使得根据该第一文本匹配模型得到的该目标文本与该相似文本之间的第一相关度的准确更高,这样,可以提高文本匹配的准确率。
图4是根据本公开一示例性实施例示出的另一种文本匹配方法的流程图,如图4所示,该方法可以包括:
S401、获取目标文本。
其中,该目标文本可以是用户通过人工智能系统触发的用户问题,也可以是用户通过问答检索系统触发的检索文本,本公开对该目标文本的类型不作限定。
S402、将该目标文本和该目标文本对应的多个相似文本输入预先训练的第一文本匹配模型,以获取该第一文本匹配模型输出的该目标文本与每个相似文本之间的第一相关度。
S403、根据多个第一相关度,从多个相似文本中确定多个待匹配文本。
在本步骤中,在得到该目标文本与每个相似文本之间的第一相关度后,可以按照多个第一相关度由高到低的顺序,对多个相似文本进行排序,将排列在最前面的多个相似文本作为待匹配文本。其中,多个待匹配文本的数量可以根据试验预先设置,例如,该待匹配文本的数量可以是8。
S404、将该目标文本和多个待匹配文本输入预先训练的第二文本匹配模型,以获取该第二文本匹配模型输出的该目标文本与每个待匹配文本之间的第二相关度。
在本步骤中,在确定该目标文本对应的多个待匹配文本后,可以将该目标文本和多个待匹配文本输入该第二文本匹配模型,通过该第二文本匹配模型获取该目标文本与每个待匹配文本之间的第二相关度。
图5是根据本公开一示例性实施例示出的第二种文本匹配模型的训练方法的流程图,如图5所示,该第二文本匹配模型的训练方法可以包括:
S51、针对每个样本文本,执行样本获取步骤,以获取该样本文本对应的多个第二样本组。
图6是根据本公开一示例性实施例示出的一种样本获取方法的流程图,如图6所示,该样本获取本步骤可以包括:
S61、将该样本文本和多个相似样本输入该第一文本匹配模型,以获取该第一文本匹配模型输出的该样本文本与每个相似样本之间的样本相关度。
S62、根据多个样本相关度,确定该样本文本对应的第二正例样本和多个第二负例样本。
其中,确定该样本文本对应的第二正例样本和多个第二负例样本的方法,可以参照步骤S22中确定该样本文本对应的第一正例样本和多个第一负例样本的方法,此处不再赘述。
S63、根据该样本文本、该第二正例样本和多个第二负例样本,确定该样本文本对应的多个第二样本组。
其中,确定该样本文本对应的多个第二样本组的方法,可以参照步骤S22中确定该样本文本对应的多个第一样本组的方法,此处不再赘述。
S52、通过多个第二样本组对第二目标神经网络模型进行训练,得到该第二文本匹配模型。
在得到每个样本文本对应的多个第二样本组后,可以循环执行第二模型训练步骤,直至根据预测分值确定训练后的第二目标神经网络模型满足第二预设停止迭代条件,将训练后的第二目标神经网络模型作为该第二文本匹配模型;该预测分值为该第二样本组输入训练后的第二目标神经网络模型后输出的分值;
该第二模型训练步骤包括:
S521、将多个第二样本组输入该第二目标神经网络模型,以获取该第二目标神经网络模型输出的每个第二样本组对应的预测分值。
其中,该第二目标神经网络模型可以包括BERT模型、MLP(MultiLayerPerceptron,多层感知机)以及分类器(softmax)。针对每个第二样本组,可以执行预测分值获取步骤,以获取该第二样本组对应的预测分值。该预测分值获取步骤可以包括:
S1、将该第二样本组对应的样本文本、第二正例样本和多个第二负例样本输入该第二目标神经网络模型,以获取该第二目标神经网络模型输出的该样本文本与该第二正例样本之间的正例预测分值,以及该样本文本与每个第二负例样本之间的负例预测分值。
S2、根据该正例预测分值和多个负例预测分值,确定该第二样本组对应的预测分值。
图7是根据本公开一示例性实施例示出的第二种模型示意图,如图7所示,将该样本文本、第二正例样本和多个第二负例样本输入BERT模型,在输入该第二正例样本和多个第二负例样本时,可以将多个第二负例样本拼接在该第二正例样本之后,通过BERT模型输出该样本文本与第二正例样本和每个第二负例样本之间的文本表示,若该第二负例样本包括7个,则该文本表示包括h1~h8,之后,将h1~h8输入多层感知机,得到该样本文本与该第二正例样本之间的正例预测分值r1,该样本文本与每个第二负例样本之间的负例预测分值r2~r8,之后,再将r1~r8输入softmax(分类器)进行归一化处理,得到S1~S8,最后,根据S1~S8计算得到该第二样本组对应的预测分值。
示例地,可以通过以下计算公式计算得到该第二样本组对应的预测分值:
其中,scorei为该预测分值,n为该第二负例样本的数量,ri为该正例预测分值,rj为第j个负例预测分值。
S522、在根据该预测分值确定该第二目标神经网络模型不满足该第二预设停止迭代条件的情况下,根据该预测分值确定第二目标损失值,根据该第二目标损失值更新该第二目标神经网络模型的参数,得到训练后的第二目标神经网络模型,并将训练后的第二目标神经网络模型作为新的第二目标神经网络模型。
其中,可以通过以下公式计算得到该第二目标损失值:
其中,T为该第二目标损失值,n+为该第二正例样本的数量。
S405、根据多个第二相关度,从多个待匹配文本中确定该目标文本对应的匹配文本。
在本步骤中,在得到该目标文本与每个待匹配文本之间的第二相关度后,可以将第二相关度最高的待匹配文本作为该目标文本对应的匹配文本。
采用上述方法,可以通过第一文本匹配模型确定目标文本与每个相似文本之间的第一相关度,根据多个第一相关度,从多个相似文本中确定多个待匹配文本,之后,再通过第二文本匹配模型确定该目标文本与每个待匹配文本之间的第二相关度,根据多个第二相关度,从多个待匹配文本中确定该目标文本对应的匹配文本,也就是说,先通过第一文本匹配模型对多个相似文本进行一次初步筛选,得到多个待匹配文本之后,再通过该第二文本匹配模型对多个待匹配文本进行精细筛选,这样,得到的该目标文本对应的匹配文本更加准确,从而进一步提高了文本匹配的准确率。
图8是根据本公开一示例性实施例示出的一种文本匹配装置的框图,如图8所示,该装置可以包括:
文本获取模块801,被配置为获取目标文本;
第一相关度获取模块802,被配置为将该目标文本和该目标文本对应的多个相似文本输入预先训练的第一文本匹配模型,以获取该第一文本匹配模型输出的该目标文本与每个该相似文本之间的第一相关度;
匹配文本确定模块803,被配置为根据多个该第一相关度,从多个该相似文本中确定该目标文本对应的匹配文本;
其中,该第一文本匹配模型通过以下方式训练得到:
获取多个样本文本;
针对每个该样本文本,从样本知识库中确定与该样本文本相关度最高的多个相似样本,从多个该相似样本中确定该样本文本对应的第一正例样本和多个第一负例样本,根据该样本文本、该第一正例样本和多个该第一负例样本,确定该样本文本对应的多个第一样本组;
通过每个该样本文本对应的多个该第一样本组对第一目标神经网络模型进行训练,得到该第一文本匹配模型。
可选地,该第一相关度获取模块802,还被配置为:
将多个该相似样本中与该样本文本相关度最高的目标相似样本,作为该样本文本对应的该第一正例样本;
从待定样本中确定该样本文本对应的多个该第一负例样本,该待定样本包括多个该相似样本中除该目标相似样本之外的相似样本。
可选地,该第一相关度获取模块802,还被配置为:
针对每个该第一负例样本,将该样本文本、该第一正例样本以及该第一负例样本作为该第一样本组。
可选地,该第一相关度获取模块802,还被配置为:
循环执行第一模型训练步骤,直至根据预测相关度确定训练后的该第一目标神经网络模型满足第一预设停止迭代条件,将训练后的第一目标神经网络模型作为该第一文本匹配模型;该预测相关度为该第一样本组输入训练后的第一目标神经网络模型后输出的相关度;
该第一模型训练步骤包括:
将多个该第一样本组输入该第一目标神经网络模型,以获取该第一目标神经网络模型输出的每个该第一样本组对应的预测相关度;
在根据该预测相关度确定该第一目标神经网络模型不满足该第一预设停止迭代条件的情况下,根据该预测相关度确定第一目标损失值,根据该第一目标损失值更新该第一目标神经网络模型的参数,得到训练后的第一目标神经网络模型,并将训练后的第一目标神经网络模型作为新的第一目标神经网络模型。
可选地,该预测相关度包括第一预测相关度和第二预测相关度;该第一相关度获取模块802,还被配置为:
针对每个该第一样本组,将该第一样本组对应的该样本文本和该第一正例样本输入该第一目标神经网络模型,以获取该第一目标神经网络模型输出的该第一样本组对应的第一预测相关度,将该第一样本组对应的该样本文本和该第一负例样本输入第一关联目标神经网络模型,以获取该第一关联目标神经网络模型输出的该第一样本组对应的第二预测相关度;该第一关联目标神经网络模型为与该第一目标神经网络模型结构相同,且与该第一目标神经网络模型共享模型参数的模型。
可选地,该第一相关度获取模块802,还被配置为:
针对每个该第一样本组,根据该第一预测相关度和该第二预测相关度,确定该第一样本组对应的关联度概率;
根据该第一预测相关度、多个该第二预测相关度以及多个该关联度概率,计算得到该第一目标损失值。
可选地,该第一相关度获取模块802,还被配置为:
在该第一预测相关度大于该第二预测相关度的情况下,确定该关联度概率为第一预设概率阈值;
在该第一预测相关度小于或等于该第二预测相关度的情况下,确定该关联度概率为第二预设概率阈值,该第二预设概率阈值小于该第二预设概率阈值。
可选地,该第一相关度获取模块802,还被配置为:
针对每个该第一样本组,将该第一样本组对应的该样本文本和该第一负例样本输入该第一目标神经网络模型,以获取该第一目标神经网络模型输出的该第一样本组对应的第一预测相关度,将该第一样本组对应的该样本文本和该第一正例样本输入该第一关联目标神经网络模型,以获取该第一关联目标神经网络模型输出的该第一样本组对应的第二预测相关度。
可选地,该匹配文本确定模块803,还被配置为:
根据多个该第一相关度,从多个该相似文本中确定多个待匹配文本;
将该目标文本和多个该待匹配文本输入预先训练的第二文本匹配模型,以获取该第二文本匹配模型输出的该目标文本与每个该待匹配文本之间的第二相关度;
根据多个该第二相关度,从多个该待匹配文本中确定该目标文本对应的该匹配文本。
可选地,该匹配文本确定模块803,还被配置为:
针对每个该样本文本,执行样本获取步骤,以获取该样本文本对应的多个第二样本组;
通过多个该第二样本组对第二目标神经网络模型进行训练,得到该第二文本匹配模型;
其中,该样本获取本步骤包括:
将该样本文本和多个该相似样本输入该第一文本匹配模型,以获取该第一文本匹配模型输出的该样本文本与每个该相似样本之间的样本相关度;
根据多个该样本相关度,确定该样本文本对应的第二正例样本和多个第二负例样本;
根据该样本文本、该第二正例样本和多个该第二负例样本,确定该样本文本对应的多个该第二样本组。
可选地,该匹配文本确定模块803,还被配置为:
循环执行第二模型训练步骤,直至根据预测分值确定训练后的该第二目标神经网络模型满足第二预设停止迭代条件,将训练后的第二目标神经网络模型作为该第二文本匹配模型;该预测分值为该第二样本组输入训练后的第二目标神经网络模型后输出的分值;
该第二模型训练步骤包括:
将多个该第二样本组输入该第二目标神经网络模型,以获取该第二目标神经网络模型输出的每个该第二样本组对应的预测分值;
在根据该预测分值确定该第二目标神经网络模型不满足该第二预设停止迭代条件的情况下,根据该预测分值确定第二目标损失值,根据该第二目标损失值更新该第二目标神经网络模型的参数,得到训练后的第二目标神经网络模型,并将训练后的第二目标神经网络模型作为新的第二目标神经网络模型。
可选地,该匹配文本确定模块803,还被配置为:
针对每个该第二样本组,执行预测分值获取步骤:
其中,该预测分值获取步骤包括:
将该第二样本组对应的该样本文本、该第二正例样本和多个该第二负例样本输入该第二目标神经网络模型,以获取该第二目标神经网络模型输出的该样本文本与该第二正例样本之间的正例预测分值,以及该样本文本与每个该第二负例样本之间的负例预测分值;
根据该正例预测分值和多个该负例预测分值,确定该第二样本组对应的该预测分值。
通过上述装置,可以通过第一文本匹配模型确定目标文本与每个相似文本之间的第一相关度,并根据多个第一相关度从多个相似文本中确定该目标文本对应的匹配文本,由于该第一文本匹配模型是通过第一样本组训练得到的,该第一样本组包括样本文本、该样本文本对应的第一正例样本和多个第一负例样本,因此,该第一文本匹配模型不仅能够体现该样本文本与该第一正例样本和多个第一负例样本之间的相关性,也能够体现该第一正例样本与多个第一负例样本之间的相关性,从而使得根据该第一文本匹配模型得到的该目标文本与该相似文本之间的第一相关度的准确更高,这样,可以提高文本匹配的准确率。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种终端的框图。例如,终端900可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图9,终端900可以包括以下一个或多个组件:处理组件902,存储器904,电力组件906,多媒体组件908,音频组件910,输入/输出(I/O)的接口912,传感器组件914,以及通信组件916。
处理组件902通常控制终端900的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令,以完成上述的文本匹配方法的全部或部分步骤。此外,处理组件902可以包括一个或多个模块,便于处理组件902和其他组件之间的交互。例如,处理组件902可以包括多媒体模块,以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在终端900的操作。这些数据的示例包括用于在终端900上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件906为终端900的各种组件提供电力。电力组件906可以包括电源管理系统,一个或多个电源,及其他与为终端900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述终端900和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件908包括一个前置摄像头和/或后置摄像头。当终端900处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如,音频组件910包括一个麦克风(MIC),当终端900处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中,音频组件910还包括一个扬声器,用于输出音频信号。
I/O接口912为处理组件902和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器,用于为终端900提供各个方面的状态评估。例如,传感器组件914可以检测到终端900的打开/关闭状态,组件的相对定位,例如所述组件为终端900的显示器和小键盘,传感器组件914还可以检测终端900或终端900一个组件的位置改变,用户与终端900接触的存在或不存在,终端900方位或加速/减速和终端900的温度变化。传感器组件914可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件914还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件916被配置为便于终端900和其他设备之间有线或无线方式的通信。终端900可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件916还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,终端900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述文本匹配方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器904,上述指令可由终端900的处理器920执行以完成上述文本匹配方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的文本匹配方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (15)
1.一种文本匹配方法,其特征在于,所述方法包括:
获取目标文本;
将所述目标文本和所述目标文本对应的多个相似文本输入预先训练的第一文本匹配模型,以获取所述第一文本匹配模型输出的所述目标文本与每个所述相似文本之间的第一相关度;
根据多个所述第一相关度,从多个所述相似文本中确定所述目标文本对应的匹配文本;
其中,所述第一文本匹配模型通过以下方式训练得到:
获取多个样本文本;
针对每个所述样本文本,从样本知识库中确定与所述样本文本相关度最高的多个相似样本,从多个所述相似样本中确定所述样本文本对应的第一正例样本和多个第一负例样本,根据所述样本文本、所述第一正例样本和多个所述第一负例样本,确定所述样本文本对应的多个第一样本组;
通过每个所述样本文本对应的多个所述第一样本组对第一目标神经网络模型进行训练,得到所述第一文本匹配模型。
2.根据权利要求1所述的方法,其特征在于,所述从多个所述相似样本中确定所述样本文本对应的第一正例样本和多个第一负例样本包括:
将多个所述相似样本中与所述样本文本相关度最高的目标相似样本,作为所述样本文本对应的所述第一正例样本;
从待定样本中确定所述样本文本对应的多个所述第一负例样本,所述待定样本包括多个所述相似样本中除所述目标相似样本之外的相似样本。
3.根据权利要求1所述的方法,其特征在于,所述根据所述样本文本、所述第一正例样本和多个所述第一负例样本,确定所述样本文本对应的多个第一样本组包括:
针对每个所述第一负例样本,将所述样本文本、所述第一正例样本以及所述第一负例样本作为所述第一样本组。
4.根据权利要求1所述的方法,其特征在于,所述通过每个所述样本文本对应的多个所述第一样本组对第一目标神经网络模型进行训练,得到所述第一文本匹配模型包括:
循环执行第一模型训练步骤,直至根据预测相关度确定训练后的所述第一目标神经网络模型满足第一预设停止迭代条件,将训练后的第一目标神经网络模型作为所述第一文本匹配模型;所述预测相关度为所述第一样本组输入训练后的第一目标神经网络模型后输出的相关度;
所述第一模型训练步骤包括:
将多个所述第一样本组输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的每个所述第一样本组对应的预测相关度;
在根据所述预测相关度确定所述第一目标神经网络模型不满足所述第一预设停止迭代条件的情况下,根据所述预测相关度确定第一目标损失值,根据所述第一目标损失值更新所述第一目标神经网络模型的参数,得到训练后的第一目标神经网络模型,并将训练后的第一目标神经网络模型作为新的第一目标神经网络模型。
5.根据权利要求4所述的方法,其特征在于,所述预测相关度包括第一预测相关度和第二预测相关度;所述将多个所述第一样本组输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的每个所述第一样本组对应的预测相关度包括:
针对每个所述第一样本组,将所述第一样本组对应的所述样本文本和所述第一正例样本输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的所述第一样本组对应的第一预测相关度,将所述第一样本组对应的所述样本文本和所述第一负例样本输入第一关联目标神经网络模型,以获取所述第一关联目标神经网络模型输出的所述第一样本组对应的第二预测相关度;所述第一关联目标神经网络模型为与所述第一目标神经网络模型结构相同,且与所述第一目标神经网络模型共享模型参数的模型。
6.根据权利要求5所述的方法,其特征在于,所述根据所述预测相关度确定第一目标损失值包括:
针对每个所述第一样本组,根据所述第一预测相关度和所述第二预测相关度,确定所述第一样本组对应的关联度概率;
根据所述第一预测相关度、多个所述第二预测相关度以及多个所述关联度概率,计算得到所述第一目标损失值。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第一预测相关度和所述第二预测相关度,确定所述第一样本组对应的关联度概率包括:
在所述第一预测相关度大于所述第二预测相关度的情况下,确定所述关联度概率为第一预设概率阈值;
在所述第一预测相关度小于或等于所述第二预测相关度的情况下,确定所述关联度概率为第二预设概率阈值,所述第二预设概率阈值小于所述第二预设概率阈值。
8.根据权利要求5所述的方法,其特征在于,所述将多个所述第一样本组输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的每个所述第一样本组对应的预测相关度包括:
针对每个所述第一样本组,将所述第一样本组对应的所述样本文本和所述第一负例样本输入所述第一目标神经网络模型,以获取所述第一目标神经网络模型输出的所述第一样本组对应的第一预测相关度,将所述第一样本组对应的所述样本文本和所述第一正例样本输入所述第一关联目标神经网络模型,以获取所述第一关联目标神经网络模型输出的所述第一样本组对应的第二预测相关度。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述根据多个所述第一相关度,从多个所述相似文本中确定所述目标文本对应的匹配文本包括:
根据多个所述第一相关度,从多个所述相似文本中确定多个待匹配文本;
将所述目标文本和多个所述待匹配文本输入预先训练的第二文本匹配模型,以获取所述第二文本匹配模型输出的所述目标文本与每个所述待匹配文本之间的第二相关度;
根据多个所述第二相关度,从多个所述待匹配文本中确定所述目标文本对应的所述匹配文本。
10.根据权利要求9所述的方法,其特征在于,所述第二文本匹配模型通过以下方式训练得到:
针对每个所述样本文本,执行样本获取步骤,以获取所述样本文本对应的多个第二样本组;
通过多个所述第二样本组对第二目标神经网络模型进行训练,得到所述第二文本匹配模型;
其中,所述样本获取本步骤包括:
将所述样本文本和多个所述相似样本输入所述第一文本匹配模型,以获取所述第一文本匹配模型输出的所述样本文本与每个所述相似样本之间的样本相关度;
根据多个所述样本相关度,确定所述样本文本对应的第二正例样本和多个第二负例样本;
根据所述样本文本、所述第二正例样本和多个所述第二负例样本,确定所述样本文本对应的多个所述第二样本组。
11.根据权利要求10所述的方法,其特征在于,所述通过多个所述第二样本组对第二目标神经网络模型进行训练,得到所述第二文本匹配模型包括:
循环执行第二模型训练步骤,直至根据预测分值确定训练后的所述第二目标神经网络模型满足第二预设停止迭代条件,将训练后的第二目标神经网络模型作为所述第二文本匹配模型;所述预测分值为所述第二样本组输入训练后的第二目标神经网络模型后输出的分值;
所述第二模型训练步骤包括:
将多个所述第二样本组输入所述第二目标神经网络模型,以获取所述第二目标神经网络模型输出的每个所述第二样本组对应的预测分值;
在根据所述预测分值确定所述第二目标神经网络模型不满足所述第二预设停止迭代条件的情况下,根据所述预测分值确定第二目标损失值,根据所述第二目标损失值更新所述第二目标神经网络模型的参数,得到训练后的第二目标神经网络模型,并将训练后的第二目标神经网络模型作为新的第二目标神经网络模型。
12.根据权利要求11所述的方法,其特征在于,所述将多个所述第二样本组输入所述第二目标神经网络模型,以获取所述第二目标神经网络模型输出的每个所述第二样本组对应的预测分值包括:
针对每个所述第二样本组,执行预测分值获取步骤:
其中,所述预测分值获取步骤包括:
将所述第二样本组对应的所述样本文本、所述第二正例样本和多个所述第二负例样本输入所述第二目标神经网络模型,以获取所述第二目标神经网络模型输出的所述样本文本与所述第二正例样本之间的正例预测分值,以及所述样本文本与每个所述第二负例样本之间的负例预测分值;
根据所述正例预测分值和多个所述负例预测分值,确定所述第二样本组对应的所述预测分值。
13.一种文本匹配装置,其特征在于,所述装置包括:
文本获取模块,被配置为获取目标文本;
第一相关度获取模块,被配置为将所述目标文本和所述目标文本对应的多个相似文本输入预先训练的第一文本匹配模型,以获取所述第一文本匹配模型输出的所述目标文本与每个所述相似文本之间的第一相关度;
匹配文本确定模块,被配置为根据多个所述第一相关度,从多个所述相似文本中确定所述目标文本对应的匹配文本;
其中,所述第一文本匹配模型通过以下方式训练得到:
获取多个样本文本;
针对每个所述样本文本,从样本知识库中确定与所述样本文本相关度最高的多个相似样本,从多个所述相似样本中确定所述样本文本对应的第一正例样本和多个第一负例样本,根据所述样本文本、所述第一正例样本和多个所述第一负例样本,确定所述样本文本对应的多个第一样本组;
通过每个所述样本文本对应的多个所述第一样本组对第一目标神经网络模型进行训练,得到所述第一文本匹配模型。
14.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1-12中任一项所述方法的步骤。
15.一种终端,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-12中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111593339.3A CN114297344A (zh) | 2021-12-23 | 2021-12-23 | 文本匹配方法、装置、存储介质及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111593339.3A CN114297344A (zh) | 2021-12-23 | 2021-12-23 | 文本匹配方法、装置、存储介质及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114297344A true CN114297344A (zh) | 2022-04-08 |
Family
ID=80969589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111593339.3A Pending CN114297344A (zh) | 2021-12-23 | 2021-12-23 | 文本匹配方法、装置、存储介质及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114297344A (zh) |
-
2021
- 2021-12-23 CN CN202111593339.3A patent/CN114297344A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111460150B (zh) | 一种分类模型的训练方法、分类方法、装置及存储介质 | |
CN107608532B (zh) | 一种联想输入方法、装置及电子设备 | |
CN110781305B (zh) | 基于分类模型的文本分类方法及装置,以及模型训练方法 | |
CN110008401B (zh) | 关键词提取方法、关键词提取装置和计算机可读存储介质 | |
CN111368541B (zh) | 命名实体识别方法及装置 | |
CN108345612B (zh) | 一种问题处理方法和装置、一种用于问题处理的装置 | |
CN109710732B (zh) | 信息查询方法、装置、存储介质和电子设备 | |
CN109815396B (zh) | 搜索词权重确定方法及装置 | |
CN110069624B (zh) | 文本处理方法及装置 | |
CN116166843B (zh) | 基于细粒度感知的文本视频跨模态检索方法和装置 | |
CN111832315B (zh) | 语义识别的方法、装置、电子设备和存储介质 | |
CN111753091A (zh) | 分类方法、分类模型的训练方法、装置、设备及存储介质 | |
CN111708943A (zh) | 一种搜索结果展示方法、装置和用于搜索结果展示的装置 | |
CN113095085A (zh) | 文本的情感识别方法、装置、电子设备和存储介质 | |
CN112148923A (zh) | 搜索结果的排序方法、排序模型的生成方法、装置及设备 | |
CN111274389B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
CN112328809A (zh) | 实体分类方法、装置及计算机可读存储介质 | |
CN110858099B (zh) | 候选词生成方法及装置 | |
CN116484828A (zh) | 相似案情确定方法、装置、设备、介质和程序产品 | |
CN112579767B (zh) | 搜索处理方法、装置和用于搜索处理的装置 | |
CN107301188B (zh) | 一种获取用户兴趣的方法及电子设备 | |
CN113609380B (zh) | 标签体系更新方法、搜索方法、装置以及电子设备 | |
CN112052395B (zh) | 一种数据处理方法及装置 | |
CN112836026B (zh) | 基于对话的问诊方法及装置 | |
CN112825076B (zh) | 一种信息推荐方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |