CN113947131A - 模型训练方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种模型训练方法、装置、设备及存储介质，属于计算机技术领域。所述方法包括：获取针对期望分类的输入信息；以及获取待分类样本信息，输入信息是与属于期望分类的信息具有关联关系的信息；通过至少两种匹配方式，分别在待分类样本信息中确定与输入信息匹配的召回信息；获取针对召回信息进行确认的确认信息，确认信息用于反映召回信息是否属于期望分类；基于确认信息确认的召回信息，对机器学习模型进行训练，机器学习模型用于基于属于期望分类的信息确定待分类信息中属于期望分类的信息。在训练机器学习模型的过程中无需用户收集大量信息并进行标注，仅需对召回信息进行确认，能够提升训练机器学习模型的效率。

Description

模型训练方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种模型训练方法、装置、设备及存储介质。

背景技术

服务器在为用户提供信息进行查阅时，通常会将信息进行分类，以便用户快速查找到想要查阅的信息。例如，该分类包括美食、旅行、娱乐、宠物等。

通常由服务器的运营人员，为样本信息添加分类标签，来指示样本信息的分类。服务器根据具有分类标签的样本信息来训练机器学习模型，使机器学习模型学习到不同类型的信息的特征，之后通过机器学习模型来对服务器中的待分类信息进行分类。

在训练机器学习模型的过程中，为保证分类的结果的准确性，运营人员需要收集大量样本信息，并为收集的每个样本信息人工标注标签，导致效率较低。

发明内容

本申请提供了一种模型训练方法、装置、设备及存储介质，可以提升对信息进行分类的效率。所述技术方案如下：

根据本申请的一方面，提供了一种模型训练方法，所述方法包括：

获取针对期望分类的输入信息；以及获取待分类样本信息，所述输入信息是与属于所述期望分类的信息具有关联关系的信息；

通过至少两种匹配方式，分别在所述待分类样本信息中确定与所述输入信息匹配的召回信息；

获取针对所述召回信息进行确认的确认信息，所述确认信息用于反映所述召回信息是否属于所述期望分类；

基于所述确认信息确认的召回信息，对机器学习模型进行训练，所述机器学习模型用于基于属于所述期望分类的信息确定待分类信息中属于所述期望分类的信息。

根据本申请的另一方面，提供了一种模型训练装置，所述装置包括：

获取模块，用获取针对期望分类的输入信息，以及获取待分类样本信息，所述输入信息是与属于所述期望分类的信息具有关联关系的信息；

确定模块，用于通过至少两种匹配方式，分别在所述待分类样本信息中确定与所述输入信息匹配的召回信息；

所述获取模块，还用于获取针对所述召回信息进行确认的确认信息，所述确认信息用于反映所述召回信息是否属于所述期望分类；

训练模块，用于基于所述确认信息确认的召回信息，对机器学习模型进行训练，所述机器学习模型用于基于属于所述期望分类的信息确定待分类信息中属于所述期望分类的信息。

在一个可选的设计中，所述输入信息包括如下信息中的至少一种：

属于所述期望分类的正样本信息；

不属于所述期望分类的负样本信息；

用于描述所述期望分类的描述信息。

在一个可选的设计中，所述获取模块，用于：

在所述输入信息包括所述正样本信息的情况下，获取针对第一召回信息进行确认的第一确认信息，所述第一确认信息用于反映所述第一召回信息是否属于所述期望分类，所述第一召回信息是基于所述正样本信息进行匹配得到的；

所述训练模块，用于：

根据第一分类标签与所述第一确认信息的误差，对所述机器学习模型进行训练，所述第一分类标签用于反映所述第一召回信息属于所述期望分类；

根据所述正样本信息以及所述第一召回信息，采用与使用所述输入信息训练所述机器学习模型相同的方式继续训练所述机器学习模型。

在一个可选的设计中，所述获取模块，用于：

在所述输入信息包括所述负样本信息的情况下，获取针对第二召回信息进行确认的第二确认信息，所述第二确认信息用于反映所述第二召回信息是否属于所述期望分类，所述第二召回信息是基于所述负样本信息进行匹配得到的；

所述训练模块，用于：

根据第二分类标签与所述第二确认信息的误差，对所述机器学习模型进行训练，所述第二分类标签用于反映所述第二召回信息不属于所述期望分类；

根据所述负样本信息以及所述第二召回信息，采用与使用所述输入信息训练所述机器学习模型相同的方式继续训练所述机器学习模型。

在一个可选的设计中，所述获取模块，用于：

在所述输入信息包括所述描述信息的情况下，获取针对第三召回信息进行确认的第三确认信息，所述第三确认信息用于反映所述第三召回信息是否属于所述期望分类，所述第三召回信息是基于所述描述信息进行匹配得到的；

所述训练模块，用于：

根据第三分类标签与所述第三确认信息的误差，对所述机器学习模型进行训练，所述第三分类标签用于反映所述第三召回信息属于所述期望分类。

在一个可选的设计中，所述确定模块，用于：

响应于所述机器学习模型的准确度满足准确度阈值，确定完成训练所述机器学习模型；

其中，所述准确度是根据所述机器学习模型第i次输出的输出信息中，准确输出信息的数量与所述输出信息的总数量的比值确定的，所述准确输出信息是基于针对所述输出信息进行确认的第四确认信息确定的，所述第四确认信息用于反映所述输出信息是否属于所述期望分类。

在一个可选的设计中，所述确定模块，用于：

根据所述至少两种匹配方式中每种所述匹配方式对应的权重，确定每种所述匹配方式对应的信息召回数量，所述权重与所述信息召回数量正相关；

基于所述信息召回数量，通过所述至少两种匹配方式，分别在所述待分类样本信息中确定所述召回信息。

在一个可选的设计中，所述装置还包括：

所述确定模块，用于根据所述确认信息，确定每种所述匹配方式的召回准确率；

调整模块，用于根据所述召回准确率调整每种所述匹配方式对应的所述权重；

所述训练模块，用于基于调整后的权重、所述输入信息以及所述召回信息，采用与使用所述输入信息训练所述机器学习模型相同的方式继续训练所述机器学习模型；

其中，所述召回准确率是根据每种所述匹配方式确定的所述召回信息中的准确召回信息与全部召回信息的比值确定的，所述准确召回信息是基于所述确认信息确定的预测正确的召回信息，所述召回准确率与所述调整后的权重正相关。

在一个可选的设计中，所述匹配方式包括如下至少两种：

基于协同过滤算法匹配；

基于文本相似度匹配；

基于图像相似度匹配；

基于所述待分类样本信息的分类标签匹配；

基于多模态特征向量匹配。

在一个可选的设计中，所述装置还包括：

筛选模块，用于对所述召回信息按照匹配度进行排序，筛选出前n个召回信息，所述匹配度用于反映所述召回信息与所述输入信息的特征相似的程度；

所述获取模块，用于：

获取针对所述前n个召回信息进行确认的确认信息。

在一个可选的设计中，所述筛选模块，用于：

按照预设规则对所述召回信息进行排序，筛选出所述前n个召回信息，所述预设规则包括按照所述召回信息在不同所述匹配方式确定的召回信息中的出现次数，对所述召回信息进行排序。

在一个可选的设计中，所述筛选模块，用于：

基于排序算法对所述召回信息进行排序，筛选出所述前n个召回信息，所述排序算法是基于所述召回信息与所述输入信息的相似度对所述召回信息进行排序的算法。

在一个可选的设计中，所述获取模块，用于：

获取第一分类信息以及所述待分类信息，所述第一分类信息属于所述期望分类；

所述确定模块，用于使用完成训练的所述机器学习模型，通过所述至少两种匹配方式，分别在所述待分类信息中确定与所述第一分类信息匹配的第二分类信息。

在一个可选的设计中，所述确定模块，用于：

基于所述第一分类信息以及所述第二分类信息，采用与确定所述第二分类信息相同的方式继续确定第三分类信息；

其中，所述第三分类信息是预测属于所述期望分类的信息，所述第二分类信息的数量多于所述第一分类信息，所述第三分类信息的数量多于所述第二分类信息。

根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的模型训练方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的模型训练方法。

根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的模型训练方法。

本申请提供的技术方案带来的有益效果至少包括：

通过在训练机器学习模型的过程中，通过至少两种匹配方式能够实现从待分类样本信息中确定召回信息，根据召回信息的确认信息能够训练机器学习模型。在训练机器学习模型的过程中无需用户收集大量信息并进行标注，仅需对召回信息进行确认，能够提升训练机器学习模型的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的实现信息分类的过程的示意图；

图2是本申请一个示例性实施例提供的模型训练方法的流程示意图；

图3是本申请一个示例性实施例提供的模型训练方法的流程示意图；

图4是本申请一个示例性实施例提供的用户界面的示意图；

图5是本申请一个示例性实施例提供的模型训练装置的结构示意图；

图6是本申请一个示例性实施例提供的模型训练装置的结构示意图；

图7是本申请一个示例性实施例提供的模型训练装置的结构示意图；

图8是本申请一个示例性实施例提供的计算机设备的结构示意图。

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1是本申请一个示例性实施例提供的实现信息分类的过程的示意图。如图1所示，在步骤S1中，计算机设备获取管理人员的用户帐号针对期望分类标注的正样本信息和负样本信息。可选地，计算机设备还会获取描述信息。其中，正样本信息属于期望分类，负样本信息不属于期望分类，描述信息用于描述期望分类。

在步骤S2中，计算机设备通过至少两种匹配方式，在计算机设备的信息池中的待分类样本信息中，确定出与正样本信息匹配的第一召回信息，以及与负样本信息匹配的第二召回信息。可选地，计算机设备还会确定与描述信息匹配的第三召回信息，第三召回信息属于第一召回信息。可选地，上述匹配方式包括如下至少两种：基于协同过滤算法匹配、基于文本相似度匹配、基于图像相似度匹配、基于信息池中信息的分类标签匹配以及基于多模态特征向量匹配。每种匹配方式对应有权重，不同匹配方式确定的召回信息的数量，与匹配方式对应的权重正相关。

在步骤S3中，计算机设备通过预设规则或排序算法对第一召回信息以及第二召回信息进行排序，筛选出前n个第一召回信息，和前m个第二召回信息。可选地，预设规则包括按照召回信息在不同匹配方式确定的召回信息中的出现次数，对召回信息进行排序。排序算法是基于召回信息与确定召回信息的信息的相似度对召回信息进行排序的算法。

在步骤S4中，计算机设备将筛选出的第一召回信息和第二召回信息发送至管理人员的用户帐号，并获取用户帐号针对筛选出的第一召回信息进行确认的第一确认信息和对筛选出的第二召回信息进行确认的第二确认信息。第一确认信息用于反映第一召回信息是否属于期望分类。第二确认信息用于反映第二召回信息是否属于期望分类。之后根据第一分类标签与第一确认信息的误差，以及第二分类标签与第二确认信息的误差，来训练步骤S2以及步骤S3中使用的机器学习模型。第一分类标签用于反映第一召回信息属于期望分类。第二分类标签用于反映第二召回信息不属于期望分类。该机器学习模型能够包括多种相关性度量算法以及排序算法。在此过程中，计算机设备还会基于根据确认信息确定的各匹配方式的召回准确率，以调整各匹配方式的权重。计算机设备之后还能循环执行上述步骤，基于正样本信息、负样本信息、描述信息、召回和排序的结果以及用户帐号进行确认的确认信息继续训练上述机器学习模型，直至机器学习模型预测的信息的准确度达到用户帐号设置的阈值。

完成训练后，计算机设备即可根据用户帐号圈定的属于期望分类的第一分类信息，通过上述方式从信息池的待分类信息中筛选出属于期望分类的第二分类信息，并且能够根据筛选出的信息继续从信息池中继续筛选出更多属于期望分类的信息。

在训练机器学习模型的过程中，通过至少两种匹配方式能够实现确定召回信息，根据召回信息的确认信息能够训练机器学习模型。在训练机器学习模型的过程中无需用户收集大量信息并进行标注，仅需对召回信息进行确认。并且，召回信息可作为训练样本，用于继续训练机器学习模型以提升机器学习模型的准确度，能够提升训练机器学习模型的效率。在确定属于期望分类的信息时，只需筛选出少量属于期望分类的信息，并输入完成训练的机器学习模型即可确定出大量属于期望分类的信息，能够提升对信息进行分类的效率。

图2是本申请一个示例性实施例提供的模型训练方法的流程示意图。该方法可以用于计算机设备。如图2所示，该方法包括：

步骤202：获取针对期望分类的输入信息，以及获取待分类样本信息。

该期望分类是用户帐号设置的，例如该期望分类是用户帐号为计算机设备中存储的信息新建的分类。该用户帐号能够为运营人员、开发人员、产品人员的帐号，还能够为其他用户的帐号。

该输入信息是与属于期望分类的信息具有关联关系的信息，该输入信息是用户帐号确定的。可选地，该输入信息包括属于期望分类的正样本信息，不属于期望分类的负样本信息，以及用于描述期望分类的描述信息中的至少一种。该正样本信息以及负样本信息能够包括文本、图片以及视频。

待分类样本信息包括计算机设备中存储的，除输入信息以外的信息。待分类样本信息是需要进行分类的信息，进行分类指确定待分类样本信息是否属于期望分类。该待分类样本信息包括文本、图片以及视频。待分类样本信息的格式与输入信息的格式相同或者不同。

可选地，计算机设备能够为服务器，该服务器为一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心中的虚拟服务器等。

步骤204：通过至少两种匹配方式，分别在待分类样本信息中确定与输入信息匹配的召回信息。

召回信息是待分类样本信息中与输入信息匹配的信息，具体为与输入信息具有相似特征的信息。计算机设备根据不同的输入信息，能够确定与其对应的召回信息，例如根据正样本信息确定第一召回信息，第一召回信息是预测属于期望分类的信息。根据负样本信息确定第二召回信息，第二召回信息是预测不属于期望分类的信息。根据描述信息确定第三召回信息，第三召回信息是预测属于期望分类的信息。

可选地，上述匹配方式包括基于协同过滤算法匹配，基于文本相似度匹配，基于图像相似度匹配，基于待分类样本信息的分类标签匹配以及基于多模态特征向量匹配中的至少两种。对于不同的输入信息，计算机在确定召回信息时，使用的匹配方式相同或者不相同。可选地，每种匹配方式还对应有权重，匹配方式的权重与通过该匹配方式确定的召回信息的数量正相关。该权重是计算机设备确定的。

步骤206：获取针对召回信息进行确认的确认信息。

该确认信息用于反映召回信息是否属于期望分类。可选地，该确认信息是上述用户帐号针对召回信息进行确认得到的。在确定召回信息后，计算机设备会将召回信息发送至用户帐号进行确认，从而获取到用户帐号发送的确认信息。

可选地，计算机设备还会按照匹配度对召回信息进行排序，从而筛选出前n个召回信息，并发送至用户帐号。之后获取用户帐号针对该前n个召回信息进行确认的确认信息。其中，n是计算机设备确定的。该匹配度用于反映召回信息与输入信息的特征相似的程度，通过上述方式能够避免相关度较低的信息发给用户帐号确认，导致模型训练效率下降。

步骤208：基于确认信息确认的召回信息，对机器学习模型进行训练。

该机器学习模型用于基于属于期望分类的信息确定待输入信息中属于期望分类的信息。计算机设备根据召回信息的分类标签以及确认信息之间的误差，能够训练机器学习模型。当召回信息是通过正样本信息确定的时，该分类标签用于反映召回信息属于期望分类。当召回信息是通过负样本信息确定的时，该分类标签用于反映召回信息不属于期望分类。当召回信息是通过描述信息确定的时，该分类标签用于反映召回信息属于期望分类。

可选地，通过不同匹配方式确定召回信息以及对召回信息进行排序的过程中，会使用该机器学习模型。例如通过机器学习模型实现文本相似度匹配、图像相似度匹配，提取信息的多模态特征向量以进行匹配以及实现基于排序算法进行排序，通过训练该机器学习模型，能够实现基于少量属于期望分类的信息准确的确定大量属于期望分类的信息。

综上所述，本实施例提供的方法，在训练机器学习模型的过程中，通过至少两种匹配方式能够实现从待分类样本信息中确定召回信息，根据召回信息的确认信息能够训练机器学习模型。在训练机器学习模型的过程中无需用户收集大量信息并进行标注，仅需对召回信息进行确认，能够提升训练机器学习模型的效率。

图3是本申请一个示例性实施例提供的模型训练方法的流程示意图。该方法可以用于计算机设备。如图3所示，该方法包括：

步骤302：获取针对期望分类的输入信息，以及获取待分类样本信息。

该期望分类是用户帐号设置的。输入信息是与属于期望分类的信息具有关联关系的信息，该输入信息是用户帐号确定的。待分类样本信息包括计算机设备中存储的，除输入信息以外的信息。待分类样本信息是需要进行分类的信息，进行分类指确定待分类样本信息是否属于期望分类。

可选地，输入信息包括如下信息中的至少一种：

属于期望分类的正样本信息；

不属于期望分类的负样本信息；

用于描述期望分类的描述信息。

正样本信息以及负样本信息能够包括文本、图片以及视频。描述信息为文本。待分类样本信息包括文本、图片以及视频。待分类样本信息的格式与输入信息的格式相同或者不同。

步骤304：通过至少两种匹配方式，分别在待分类样本信息中确定与输入信息匹配的召回信息。

召回信息是待分类样本信息中与输入信息匹配的信息，具体为与输入信息具有相似特征的信息。计算机设备根据正样本信息，能够确定第一召回信息，第一召回信息是与正样本信息匹配的信息。计算机设备根据负样本信息，能够确定第二召回信息，第二召回信息是与负样本信息匹配的信息。计算机设备根据描述信息，能够确定第三召回信息，第三召回信息是与描述信息匹配的信息。

可选地，匹配方式包括如下至少两种：

基于协同过滤算法匹配；

基于文本相似度匹配；

基于图像相似度匹配；

基于待分类样本信息的分类标签匹配；

基于多模态特征向量匹配。

其中，协同过滤算法包括基于物品的协同过滤(Item-based CollaborationFilter，ItemCF)算法。在使用ItemCF确定召回信息时，计算机设备首先会确定输入信息与待分类样本信息之间的相似度，之后根据输入信息与待分类样本信息之间的相似度以及样本用户帐号的历史行为信息对待分类样本信息进行筛选，从而确定出召回信息。

示例性的，计算机设备会根据历史行为信息，确定与输入信息和待分类样本信息都产生过交互行为的样本用户帐号的第一数量，以及与输入信息产生过交互行为的样本用户帐号的第二数量。该交互行为包括点击、点赞、收藏、评论以及转发等。之后基于第一数量和第二数量的比值确定相似度。再根据对输入信息感兴趣的样本用户帐号，对待分类样本信息的感兴趣程度，结合输入信息与待分类样本信息的相似度，对待分类样本信息进行排序，从而筛选出召回信息。样本用户帐号对某一信息是否感兴趣以及感兴趣程度，是根据历史行为信息确定的。例如产生过点击行为即为感兴趣，产生过评论行为的感兴趣程度高于点击行为。

计算机设备在使用基于文本相似度匹配的方式，从待分类样本信息中确定召回信息时，能够使用机器学习模型实现。例如，计算机设备能够通过基于变换器的双向编码器表征(Bidirectional Encoder Representations from Transformer，BERT)模型，实现基于文本相似度匹配。在此过程中，BERT模型会提取待分类样本信息的语义特征向量以及输入信息的语义特征向量，之后根据确定的语义向量来实现文本相似度匹配，从而确定出召回信息。可选地，当输入信息包括文本时，计算机设备会通过基于文本相似度匹配的方式，确定召回信息，此时确定的召回信息也为文本。

计算机设备在使用基于图像相似度匹配的方式，从待分类样本信息中确定召回信息时，能够使用机器学习模型实现。例如，计算机设备能够通过基于神经网络(NeuralNetworks，NN)的机器学习模型，实现基于图像相似度匹配得到召回信息。该机器学习模型的输入为图片对，输出为图片对中的图片之间的相似度。通过该机器学习模型，计算机设备能够确定待分类样本信息与输入信息之间的图像相似度，从而能够实现筛选出召回信息。可选地，当输入信息包括图片或视频时，计算机设备会通过基于图像相似度匹配的方式，确定召回信息，此时确定的召回信息也为图片或视频。在此过程中，针对视频是基于视频中的视频帧(即图片)进行处理的。

计算机设备在使用基于待分类样本信息的分类标签匹配的方式，从待分类样本信息中确定召回信息时，会将待分类样本信息的分类标签与输入信息的分类标签进行匹配，从而确定出召回信息。待分类样本信息的分类标签是计算机设备中已有的标签，输入信息的分类标签是用户帐号确定的。

计算机设备在使用基于多模态特征向量匹配的方式，从待分类样本信息中确定召回信息时，能够使用机器学习模型实现。多模态特征向量指在相同的特征空间，表示文本和图片等多种模态的信息的特征的向量。例如，计算机设备能够通过机器学习模型，将不同格式的输入信息映射至相同的特征空间，从而得到输入信息的特征向量，以及将待分类样本信息映射至该特征空间，从而得到待分类样本信息的特征向量，之后根据特征向量之间的相似度，能够确定召回信息。

可选地，计算机设备在确定召回信息的过程中，会根据至少两种匹配方式中每种匹配方式对应的权重，确定每种匹配方式对应的信息召回数量，之后基于信息召回数量，通过至少两种匹配方式，分别在待分类样本信息中确定召回信息。其中，匹配方式的权重与匹配方式对应的信息召回数量正相关。即匹配方式的权重越高，计算机设备通过该匹配方式确定的召回信息的数量越多，该权重是计算机设备设置的。

步骤306：对召回信息按照匹配度进行排序，筛选出前n个召回信息。

该匹配度用于反映召回信息与输入信息的特征相似的程度。

可选地，计算机设备能够按照预设规则对召回信息进行排序，筛选出前n个召回信息。该预设规则包括按照召回信息在不同匹配方式确定的召回信息中的出现次数，对召回信息进行排序。在通过不同的输入信息以及不同的匹配方式确定召回信息时，同一召回信息可能出现多次，因此计算机设备能够按照召回信息在不同匹配方式确定的召回信息中的出现次数，对召回信息进行排序。

可选地，计算机设备还能够基于排序算法对召回信息进行排序，筛选出前n个召回信息，排序算法是基于召回信息与输入信息的相似度对召回信息进行排序的算法。计算机设备能够通过机器学习模型，实现基于排序算法对召回信息进行排序。该机器学习模型由神经网络构成，能够确定召回信息与输入信息的相似度，从而实现对召回信息按照相似度进行排序。

在输入信息不包括描述信息的情况下，计算机设备还能够通过描述信息对召回信息进行排序。计算机设备通过机器学习模型提取描述信息的特征向量以及召回信息的特征向量，之后根据特征向量之间的相似度，能够实现对召回信息进行排序，并对召回信息进行筛选。计算机设备针对通过不同输入信息确定的召回信息，在筛选时筛选的数量相同或不同，该数量是计算机设备设置的。

可选地，在召回信息的集合收敛之前，计算机设备在进行排序时，以收集最能帮助计算机设备确认召回信息的集合的范围的导向进行。在召回信息的集合收敛后，计算机设备在进行排序时，排序以最相关为导向进行。

步骤308：获取针对前n个召回信息进行确认的确认信息。

该确认信息用于反映召回信息是否属于期望分类。可选地，该确认信息是上述用户帐号针对召回信息进行确认得到的。在确定召回信息后，计算机设备会将召回信息发送至用户帐号进行确认，从而获取到用户帐号发送的确认信息。

在输入信息包括正样本信息的情况下，计算机设备会获取针对第一召回信息进行确认的第一确认信息。其中，第一确认信息用于反映第一召回信息是否属于期望分类，第一召回信息是基于正样本信息进行匹配得到的。

在输入信息包括负样本信息的情况下，计算机设备会获取针对第二召回信息进行确认的第二确认信息。其中，第二确认信息用于反映第二召回信息是否属于期望分类，第二召回信息是基于负样本信息进行匹配得到的。

在输入信息包括描述信息的情况下，计算机设备会获取针对第三召回信息进行确认的第三确认信息。其中，第三确认信息用于反映第三召回信息是否属于期望分类，第三召回信息是基于描述信息进行匹配得到的。

步骤310：基于确认信息确认的召回信息，对机器学习模型进行训练。

该机器学习模型用于基于属于期望分类的信息确定待分类信息中属于期望分类的信息。通过不同匹配方式确定召回信息以及对召回信息进行排序的过程中，会使用该机器学习模型。通过训练该机器学习模型，能够实现基于少量属于期望分类的信息准确的确定大量属于期望分类的信息。

在输入信息包括正样本信息的情况下，计算机设备能够根据第一分类标签与第一确认信息的误差，对机器学习模型进行训练。其中，第一分类标签用于反映第一召回信息属于期望分类。

在输入信息包括负样本信息的情况下，计算机设备能够根据第二分类标签与第二确认信息的误差，对机器学习模型进行训练。其中，第二分类标签用于反映第二召回信息不属于期望分类。

在输入信息包括描述信息的情况下，计算机设备能够根据第三分类标签与第三确认信息的误差，对机器学习模型进行训练。其中，第三分类标签用于反映第三召回信息属于期望分类。

可选地，在通过上述信息对机器学习模型进行训练后，计算机设备还能够根据确定的召回信息以及输入信息，采用与使用输入信息训练机器学习模型相同的方式继续循环的训练机器学习模型，以此不断提升机器学习模型的准确度。

例如，计算机设备根据正样本信息以及第一召回信息，采用与使用输入信息训练机器学习模型相同的方式继续训练机器学习模型。计算机设备根据负样本信息以及第二召回信息，采用与使用输入信息训练机器学习模型相同的方式继续训练机器学习模型。当输入信息包括多种信息时，计算机设备能够根据输入信息以及多种输入信息确定的召回信息，继续训练机器学习模型。

在循环训练机器学习模型的过程中，响应于机器学习模型的准确度满足准确度阈值，确定完成训练机器学习模型。其中，准确度是根据机器学习模型第i次输出的输出信息中，准确输出信息的数量与输出信息的总数量的比值确定的。准确输出信息是基于针对输出信息进行确认的第四确认信息确定的，第四确认信息用于反映输出信息是否属于期望分类。该准确度阈值是用户帐号设置的。

示例地，第i次输出的输出信息包括信息一，信息一是根据正样本信息确定的，第四确认信息反映信息一属于期望分类，则信息一为准确输出信息。第i次输出的输出信息包括信息二，信息二是根据负样本信息确定的，第四确认信息反映信息二属于期望分类，则信息二为准确输出信息。

可选地，在循环训练机器学习模型的过程中，计算机设备还能够对每种匹配方式的权重进行调整。计算机设备根据确认信息，确定每种匹配方式的召回准确率。根据召回准确率能够调整每种匹配方式对应的权重。之后再基于调整后的权重、输入信息以及召回信息，采用与使用输入信息训练机器学习模型相同的方式继续训练机器学习模型，即继续循环训练机器学习模型。其中，召回准确率是根据每种匹配方式确定的召回信息中的准确召回信息与全部召回信息的比值确定的，准确召回信息是基于确认信息确定的预测正确的召回信息，召回准确率与调整后的权重正相关。

步骤312：获取第一分类信息以及待分类信息。

该第一分类信息是属于期望分类的信息。该第一分类信息是用户帐号确定的。当需要根据少量属于期望分类的信息圈定大量同类信息时，用户帐号会确定该第一分类信息。

步骤314：使用完成训练的机器学习模型，通过至少两种匹配方式，分别在待分类信息中确定与第一分类信息匹配的第二分类信息。

可选地，在确定第二分类信息后，计算机设备还能够基于第一分类信息以及第二分类信息，采用与确定第二分类信息相同的方式继续确定第三分类信息。其中，第三分类信息是预测属于期望分类的信息，第二分类信息的数量多于第一分类信息，第三分类信息的数量多于第二分类信息。即计算机设备能够根据圈定的同类信息，继续圈定更多的同类信息。

当需要圈定某一类的信息时，计算机设备会训练该分类对应的机器学习模型，从而实现通过少量信息圈定出大量同类信息。并且，由于计算机设备中存储的信息会频繁更新，计算机设备会定期实用更新的数据再次训练机器学习模型，以保证机器学习模型的准确度。

需要说明的是，上述步骤302至310可以单独实现成为模型训练侧的模型训练方法，上述步骤312至314可以单独实现成为模型应用侧的信息分类方法。

综上所述，本实施例提供的方法，在训练机器学习模型的过程中，通过至少两种匹配方式能够实现从待分类样本信息中确定召回信息，根据召回信息的确认信息能够训练机器学习模型。在训练机器学习模型的过程中无需用户收集大量信息并进行标注，仅需对召回信息进行确认，能够提升训练机器学习模型的效率。

另外，根据不同的输入信息训练机器学习模型，能够加强机器学习模型的学习能力，从而提升机器学习模型的准确度。根据召回信息以及输入信息继续训练机器学习模型，能够不断提升机器学习模型的准确度。根据准确度阈值判断是否完成训练机器学习模型，能够实现灵活控制期望的机器学习模型的准确度，提升训练效率。通过对召回信息进行排序筛选，能够避免针对相关度较低的信息进行确认，导致模型训练效率下降。针对不同的匹配方式设置权重，能够使准确度较高的方式召回更多召回信息，提升信息召回的效率。通过多种匹配方式确定召回信息，能够提升确定召回信息的丰富度和准确度。

需要说明的是，本申请实施例提供的方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。

在一个具体的例子中，在管理人员需要圈定能够提供与宠物狗进行互动的服务的商家的相关信息时，会确定期望分类为宠物狗互动(撸狗)，并针对该期望分类确定输入信息。该输入信息包括正样本信息、负样本信息以及描述信息。该正样本信息包括第一商家的商家名称、商家的介绍信息、商家门店的介绍照片、商家门店的介绍视频、商家提供的商品的介绍信息、针对第一商家进行评论的评论信息、评论照片以及评论视频等。第一商家是能够提供与宠物狗进行互动的服务的商家。该负样本信息包括第二商家的上述信息，第二商家是不能够提供与宠物狗进行互动的服务的商家，例如包括仅提供就餐的餐饮商家，仅提供住宿的酒店商家、景区以及洗浴商家等。该描述信息例如能够为“提供与宠物狗玩耍服务的餐厅，提供与宠物狗玩耍服务的酒吧，提供与宠物狗玩耍服务的休息场所”。

服务器会通过上述输入信息，使用基于协同过滤算法匹配、基于文本相似度匹配、基于图像相似度匹配、基于所述待分类样本信息的分类标签匹配以及基于多模态特征向量匹配的方式，在待分类样本信息中召回与正样本信息匹配的第一召回信息，与负样本信息匹配的第二召回信息以及与描述信息匹配的第三召回信息。并对第一召回信息、第二召回信息以及第三召回信息按照匹配度进行排序，从而针对第一召回信息、第二召回信息以及第三召回信息各自进行筛选。之后将筛选完成的第一召回信息、第二召回信息以及第三召回信息发送至管理人员进行确认，得到针对第一召回信息进行确认的第一确认信息，针对第二召回信息进行确认的第二确认信息以及针对第三召回信息进行确认的第三确认信息。并根据第一确认信息与第一分类标签的误差，第二确认信息与第二分类标签的误差以及第三确认信息与第三分类标签的误差，训练机器学习模型。并且，还会根据第一确认信息、第二确认信息以及第三确认信息调整各个匹配方式的权重。之后根据对应有第一确认信息的第一召回信息、对应有第二确认信息的第二召回信息、对应有第三确认信息的第三召回信息、正样本信息、负样本信息以及描述信息，采用上述方式继续循环的训练机器学习模型，直至机器学习模型的准确度满足管理人员设置的准确度阈值。

在完成训练机器学习模型后，管理人员会确定少量属于该期望分类的信息并上传至服务器。例如直接使用上述正样本信息，以及训练机器学习模型的过程中确定的属于期望分类的信息。服务器通过完成训练的机器学习模型，根据上传的属于期望分类的信息，能够在待分类信息中确定出大量属于该期望分类的信息，从而实现在服务器的待分类信息中圈定出属于该期望分类的信息。

图4是本申请一个示例性实施例提供的用户界面的示意图。如图4所示，服务器在圈定属于宠物狗互动分类的信息后，能够向用户展示属于该分类的信息。用户通过服务器对应的客户端打开信息推荐界面401时，客户端会向服务器发送信息推荐请求。服务器确定该用户对属于上述期望分类的信息感兴趣，会从通过上述方式确定的属于期望分类的信息中确定出推荐信息，并发送至客户端。该信息推荐界面401包括信息类目筛选按钮402，该信息类目包括期望分类。客户端在接收到推荐信息后，会在信息推荐界面401显示该推荐信息403。从而实现圈定属于期望分类的信息，进而实现按照期望分类向用户推荐信息。向用户推荐的推荐信息包括能够提供“撸狗”服务的商家(餐厅、酒吧)的介绍、此类商家的商品的介绍以及针对此类商家进行体验的评论(文字、图片、视频)等。

图5是本申请一个示例性实施例提供的模型训练装置的结构示意图。该装置可以用于计算机设备。如图5所示，该装置包括：

获取模块501，用获取针对期望分类的输入信息，以及获取待分类样本信息，输入信息是与属于期望分类的信息具有关联关系的信息。

确定模块502，用于通过至少两种匹配方式，分别在待分类样本信息中确定与输入信息匹配的召回信息。

获取模块501，还用于获取针对召回信息进行确认的确认信息，确认信息用于反映召回信息是否属于期望分类。

训练模块503，用于基于确认信息确认的召回信息，对机器学习模型进行训练，机器学习模型用于基于属于期望分类的信息确定待分类信息中属于期望分类的信息。

在一个可选的设计中，输入信息包括如下信息中的至少一种：

属于期望分类的正样本信息；

不属于期望分类的负样本信息；

用于描述期望分类的描述信息。

在一个可选的设计中，获取模块501，用于：

在输入信息包括正样本信息的情况下，获取针对第一召回信息进行确认的第一确认信息，第一确认信息用于反映第一召回信息是否属于期望分类，第一召回信息是基于正样本信息进行匹配得到的。

训练模块503，用于：

根据第一分类标签与第一确认信息的误差，对机器学习模型进行训练，第一分类标签用于反映第一召回信息属于期望分类。根据正样本信息以及第一召回信息，采用与使用输入信息训练机器学习模型相同的方式继续训练机器学习模型。

在一个可选的设计中，获取模块501，用于：

在输入信息包括负样本信息的情况下，获取针对第二召回信息进行确认的第二确认信息，第二确认信息用于反映第二召回信息是否属于期望分类，第二召回信息是基于负样本信息进行匹配得到的。

训练模块503，用于：

根据第二分类标签与第二确认信息的误差，对机器学习模型进行训练，第二分类标签用于反映第二召回信息不属于期望分类。根据负样本信息以及第二召回信息，采用与使用输入信息训练机器学习模型相同的方式继续训练机器学习模型。

在一个可选的设计中，获取模块501，用于：

在输入信息包括描述信息的情况下，获取针对第三召回信息进行确认的第三确认信息，第三确认信息用于反映第三召回信息是否属于期望分类，第三召回信息是基于描述信息进行匹配得到的。

训练模块503，用于：

根据第三分类标签与第三确认信息的误差，对机器学习模型进行训练，第三分类标签用于反映第三召回信息属于期望分类。

在一个可选的设计中，确定模块502，用于：

响应于机器学习模型的准确度满足准确度阈值，确定完成训练机器学习模型。其中，准确度是根据机器学习模型第i次输出的输出信息中，准确输出信息的数量与输出信息的总数量的比值确定的，准确输出信息是基于针对输出信息进行确认的第四确认信息确定的，第四确认信息用于反映输出信息是否属于期望分类。

在一个可选的设计中，确定模块502，用于：

根据至少两种匹配方式中每种匹配方式对应的权重，确定每种匹配方式对应的信息召回数量，权重与信息召回数量正相关。基于信息召回数量，通过至少两种匹配方式，分别在待分类样本信息中确定召回信息。

在一个可选的设计中，如图6所示，装置还包括：

确定模块502，用于根据确认信息，确定每种匹配方式的召回准确率。

调整模块504，用于根据召回准确率调整每种匹配方式对应的权重。

训练模块503，用于基于调整后的权重、输入信息以及召回信息，采用与使用输入信息训练机器学习模型相同的方式继续训练机器学习模型。

其中，召回准确率是根据每种匹配方式确定的召回信息中的准确召回信息与全部召回信息的比值确定的，准确召回信息是基于确认信息确定的预测正确的召回信息，召回准确率与调整后的权重正相关。

在一个可选的设计中，匹配方式包括如下至少两种：

基于协同过滤算法匹配；

基于文本相似度匹配；

基于图像相似度匹配；

基于待分类样本信息的分类标签匹配；

基于多模态特征向量匹配。

在一个可选的设计中，如图7所示，装置还包括：

筛选模块505，用于对召回信息按照匹配度进行排序，筛选出前n个召回信息，匹配度用于反映召回信息与输入信息的特征相似的程度。

获取模块501，用于：

获取针对前n个召回信息进行确认的确认信息。

在一个可选的设计中，筛选模块505，用于：

按照预设规则对召回信息进行排序，筛选出前n个召回信息，预设规则包括按照召回信息在不同匹配方式确定的召回信息中的出现次数，对召回信息进行排序。

在一个可选的设计中，筛选模块505，用于：

基于排序算法对召回信息进行排序，筛选出前n个召回信息，排序算法是基于召回信息与输入信息的相似度对召回信息进行排序的算法。

在一个可选的设计中，获取模块501，用于：

获取第一分类信息以及待分类信息，第一分类信息属于期望分类。

确定模块502，用于使用完成训练的机器学习模型，通过至少两种匹配方式，分别在待分类信息中确定与第一分类信息匹配的第二分类信息。

在一个可选的设计中，确定模块502，用于：

基于第一分类信息以及第二分类信息，采用与确定第二分类信息相同的方式继续确定第三分类信息。其中，第三分类信息是预测属于期望分类的信息，第二分类信息的数量多于第一分类信息，第三分类信息的数量多于第二分类信息。

需要说明的是：上述实施例提供的模型训练装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的模型训练装置与模型训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请的实施例还提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的模型训练方法。

可选地，该计算机设备为服务器。示例地，图8是本申请一个示例性实施例提供的计算机设备的结构示意图。

所述计算机设备800包括中央处理单元(Central Processing Unit，CPU)801、包括随机存取存储器(Random Access Memory，RAM)802和只读存储器(Read-Only Memory，ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。所述计算机设备800还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统(Input/Output系统，I/O系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。

所述基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中所述显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。所述基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。所述大容量存储设备807及其相关联的计算机可读存储介质为计算机设备800提供非易失性存储。也就是说，所述大容量存储设备807可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读存储介质(未示出)。

不失一般性，所述计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读存储指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read OnlyMemory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable ProgrammableRead-Only Memory，EEPROM)、闪存或其他固态存储设备，CD-ROM、数字多功能光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。

存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元801执行，一个或多个程序包含用于实现上述方法实施例的指令，中央处理单元801执行该一个或多个程序实现上述各个方法实施例提供的方法。

根据本申请的各种实施例，所述计算机设备800还可以通过诸如因特网等网络连接到网络上的远程计算机设备运行。也即计算机设备800可以通过连接在所述系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机设备系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。

本申请实施例中还提供了一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，当该至少一条指令、至少一段程序、代码集或指令集由计算机设备的处理器加载并执行时，实现上述各方法实施例提供的模型训练方法。

本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例提供的模型训练方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的可读存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同切换、改进等，均应包含在本申请的保护范围之内。

Claims (17)

1.一种模型训练方法，其特征在于，所述方法包括：

获取针对期望分类的输入信息；以及获取待分类样本信息，所述输入信息是与属于所述期望分类的信息具有关联关系的信息；

通过至少两种匹配方式，分别在所述待分类样本信息中确定与所述输入信息匹配的召回信息；

获取针对所述召回信息进行确认的确认信息，所述确认信息用于反映所述召回信息是否属于所述期望分类；

基于所述确认信息确认的召回信息，对机器学习模型进行训练，所述机器学习模型用于基于属于所述期望分类的信息确定待分类信息中属于所述期望分类的信息。

2.根据权利要求1所述的方法，其特征在于，所述输入信息包括如下信息中的至少一种：

属于所述期望分类的正样本信息；

不属于所述期望分类的负样本信息；

用于描述所述期望分类的描述信息。

3.根据权利要求2所述的方法，其特征在于，所述获取针对所述召回信息进行确认的确认信息，包括：

在所述输入信息包括所述正样本信息的情况下，获取针对第一召回信息进行确认的第一确认信息，所述第一确认信息用于反映所述第一召回信息是否属于所述期望分类，所述第一召回信息是基于所述正样本信息进行匹配得到的；

所述基于所述确认信息确认的召回信息，对机器学习模型进行训练，包括：

根据第一分类标签与所述第一确认信息的误差，对所述机器学习模型进行训练，所述第一分类标签用于反映所述第一召回信息属于所述期望分类；

根据所述正样本信息以及所述第一召回信息，采用与使用所述输入信息训练所述机器学习模型相同的方式继续训练所述机器学习模型。

4.根据权利要求2所述的方法，其特征在于，所述获取针对所述召回信息进行确认的确认信息，包括：

在所述输入信息包括所述负样本信息的情况下，获取针对第二召回信息进行确认的第二确认信息，所述第二确认信息用于反映所述第二召回信息是否属于所述期望分类，所述第二召回信息是基于所述负样本信息进行匹配得到的；

所述基于所述确认信息确认的召回信息，对机器学习模型进行训练，包括：

根据第二分类标签与所述第二确认信息的误差，对所述机器学习模型进行训练，所述第二分类标签用于反映所述第二召回信息不属于所述期望分类；

根据所述负样本信息以及所述第二召回信息，采用与使用所述输入信息训练所述机器学习模型相同的方式继续训练所述机器学习模型。

5.根据权利要求2所述的方法，其特征在于，所述获取针对所述召回信息进行确认的确认信息，包括：

在所述输入信息包括所述描述信息的情况下，获取针对第三召回信息进行确认的第三确认信息，所述第三确认信息用于反映所述第三召回信息是否属于所述期望分类，所述第三召回信息是基于所述描述信息进行匹配得到的；

所述基于所述确认信息确认的召回信息，对机器学习模型进行训练，包括：

根据第三分类标签与所述第三确认信息的误差，对所述机器学习模型进行训练，所述第三分类标签用于反映所述第三召回信息属于所述期望分类。

6.根据权利要求3至5任一所述的方法，其特征在于，所述方法还包括：

响应于所述机器学习模型的准确度满足准确度阈值，确定完成训练所述机器学习模型；

其中，所述准确度是根据所述机器学习模型第i次输出的输出信息中，准确输出信息的数量与所述输出信息的总数量的比值确定的，所述准确输出信息是基于针对所述输出信息进行确认的第四确认信息确定的，所述第四确认信息用于反映所述输出信息是否属于所述期望分类。

7.根据权利要求1至5任一所述的方法，其特征在于，所述通过至少两种匹配方式，分别在所述待分类样本信息中确定与所述输入信息匹配的召回信息，包括：

根据所述至少两种匹配方式中每种所述匹配方式对应的权重，确定每种所述匹配方式对应的信息召回数量，所述权重与所述信息召回数量正相关；

基于所述信息召回数量，通过所述至少两种匹配方式，分别在所述待分类样本信息中确定所述召回信息。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

根据所述确认信息，确定每种所述匹配方式的召回准确率；

根据所述召回准确率调整每种所述匹配方式对应的所述权重；

基于调整后的权重、所述输入信息以及所述召回信息，采用与使用所述输入信息训练所述机器学习模型相同的方式继续训练所述机器学习模型；

其中，所述召回准确率是根据每种所述匹配方式确定的所述召回信息中的准确召回信息与全部召回信息的比值确定的，所述准确召回信息是基于所述确认信息确定的预测正确的召回信息，所述召回准确率与所述调整后的权重正相关。

9.根据权利要求1至5任一所述的方法，其特征在于，所述匹配方式包括如下至少两种：

基于协同过滤算法匹配；

基于文本相似度匹配；

基于图像相似度匹配；

基于所述待分类样本信息的分类标签匹配；

基于多模态特征向量匹配。

10.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

对所述召回信息按照匹配度进行排序，筛选出前n个召回信息，所述匹配度用于反映所述召回信息与所述输入信息的特征相似的程度；

所述获取针对所述召回信息进行确认的确认信息，包括：

获取针对所述前n个召回信息进行确认的确认信息。

11.根据权利要求10所述的方法，其特征在于，所述对所述召回信息按照匹配度进行排序，筛选出前n个召回信息，包括：

按照预设规则对所述召回信息进行排序，筛选出所述前n个召回信息，所述预设规则包括按照所述召回信息在不同所述匹配方式确定的召回信息中的出现次数，对所述召回信息进行排序。

12.根据权利要求10所述的方法，其特征在于，所述对所述召回信息按照匹配度进行排序，筛选出前n个召回信息，包括：

基于排序算法对所述召回信息进行排序，筛选出所述前n个召回信息，所述排序算法是基于所述召回信息与所述输入信息的相似度对所述召回信息进行排序的算法。

13.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

获取第一分类信息以及所述待分类信息，所述第一分类信息属于所述期望分类；

使用完成训练的所述机器学习模型，通过所述至少两种匹配方式，分别在所述待分类信息中确定与所述第一分类信息匹配的第二分类信息。

14.根据权利要求13所述的方法，其特征在于，所述方法还包括：

基于所述第一分类信息以及所述第二分类信息，采用与确定所述第二分类信息相同的方式继续确定第三分类信息；

其中，所述第三分类信息是预测属于所述期望分类的信息，所述第二分类信息的数量多于所述第一分类信息，所述第三分类信息的数量多于所述第二分类信息。

15.一种模型训练装置，其特征在于，所述装置包括：

获取模块，用获取针对期望分类的输入信息，以及获取待分类样本信息，所述输入信息是与属于所述期望分类的信息具有关联关系的信息；

确定模块，用于通过至少两种匹配方式，分别在所述待分类样本信息中确定与所述输入信息匹配的召回信息；

所述获取模块，还用于获取针对所述召回信息进行确认的确认信息，所述确认信息用于反映所述召回信息是否属于所述期望分类；

训练模块，用于基于所述确认信息确认的召回信息，对机器学习模型进行训练，所述机器学习模型用于基于属于所述期望分类的信息确定待分类信息中属于所述期望分类的信息。

16.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至14任一所述的模型训练方法。

17.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至14任一所述的模型训练方法。

Images