CN110969208B - 多个模型结果的融合方法和装置 - Google Patents

Abstract

本说明书实施例提供一种多个模型结果的融合方法和装置。方法包括：获取各个分类模型分别输出的针对第一候选标签集合的第一输出结果；获取各个匹配模型分别输出的针对第二候选标签集合的第二输出结果；其中，第一子集是第二候选标签集合与第一候选标签集合的交集；针对第一候选标签集合，对各第一输出结果和各第二输出结果进行初步融合；针对第二候选标签集合，对各第二输出结果进行初步融合；对两种初步融合的结果进行综合融合，得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数。在标签不一致的情况下，实现对分类模型和匹配模型的结果进行融合。

Description

多个模型结果的融合方法和装置

技术领域

本说明书一个或多个实施例涉及计算机领域，尤其涉及多个模型结果的融合方法和装置。

背景技术

当前，在神经网络模型的应用中常常会涉及分类问题。由于一个模型很难全面保证整体效果，所以通常会对多个模型的结果进行融合，以便综合确定最终的分类。

由于各模型采用的分类标签可能不一致，导致多个模型的结果难以融合。比如分类模型和匹配模型的结果会有不一致。因为匹配模型可以解决冷启动问题，一旦业务变换标签，分类模型需要重新训练模型才能上线，但是匹配模型仅仅更新标签，不需要重新训练模型了，因此匹配模型返回的可以是随时更换的标签，而分类模型无法实时更新标签。

因此，希望能有改进的方案，在标签不一致的情况下，实现对分类模型和匹配模型的结果进行融合。

发明内容

本说明书一个或多个实施例描述了一种多个模型结果的融合方法和装置，在标签不一致的情况下，实现对分类模型和匹配模型的结果进行融合。

第一方面，提供了一种多个模型结果的融合方法，方法包括：

获取多个分类模型中各个分类模型分别对应的各第一输出结果，所述第一输出结果包括待分类目标对应第一候选标签集合中的各分类标签的各类别概率；

获取多个匹配模型中各个匹配模型分别对应的各第二输出结果，所述第二输出结果包括所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数；其中，所述第二候选标签集合包括第一子集和第二子集，所述第一子集是所述第二候选标签集合与所述第一候选标签集合的交集；

根据各所述第一输出结果包括的所述待分类目标对应第一候选标签集合中的各分类标签的各类别概率，以及各所述第二输出结果包括的所述待分类目标对应所述第一子集中的各分类标签的各匹配分数，综合确定所述第一候选标签集合中的各分类标签分别对应的各第一融合分数；

根据各所述第二输出结果包括的所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数，综合确定所述第二候选标签集合中的各分类标签分别对应的各第二融合分数；

将所述第一候选标签集合中的各分类标签分别对应的各第一融合分数，以及所述第二候选标签集合中的各分类标签分别对应的各第二融合分数，输入预先训练的综合融合模型，得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数。

在一种可能的实施方式中，所述得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数后，所述方法还包括：

确定所述各综合融合分数中的最大值对应的分类标签，将该分类标签确定为所述待分类目标的目标类别。

在一种可能的实施方式中，所述综合融合模型通过如下方式训练：

以综合融合分数的分布逼近第二融合分数的分布为训练目标，以所述第一候选标签集合中的各分类标签分别对应的综合融合分数的排序，与各分类标签分别对应的第一融合分数的排序一致为约束条件，对所述综合融合模型进行训练。

在一种可能的实施方式中，所述第一子集为所述第一候选标签集合，所述第二子集为非空集合。

在一种可能的实施方式中，所述第一子集为所述第二候选标签集合，所述第二子集为空集。

在一种可能的实施方式中，所述第一子集为所述第一候选标签集合的子集，且所述第二子集为非空集合。

在一种可能的实施方式中，所述待分类目标为目标用户问句；

所述分类标签包括：

所述目标用户问句对应的标准问句。

在一种可能的实施方式中，所述待分类目标为目标用户问句；

所述分类标签包括：

所述目标用户问句对应的人工客服技能组。

第二方面，提供了一种多个模型结果的融合装置，装置包括：

第一获取单元，用于获取多个分类模型中各个分类模型分别对应的各第一输出结果，所述第一输出结果包括待分类目标对应第一候选标签集合中的各分类标签的各类别概率；

第二获取单元，用于获取多个匹配模型中各个匹配模型分别对应的各第二输出结果，所述第二输出结果包括所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数；其中，所述第二候选标签集合包括第一子集和第二子集，所述第一子集是所述第二候选标签集合与所述第一候选标签集合的交集；

第一融合单元，用于根据所述第一获取单元获取的各所述第一输出结果包括的所述待分类目标对应第一候选标签集合中的各分类标签的各类别概率，以及所述第二获取单元获取的各所述第二输出结果包括的所述待分类目标对应所述第一子集中的各分类标签的各匹配分数，综合确定所述第一候选标签集合中的各分类标签分别对应的各第一融合分数；

第二融合单元，用于根据所述第二获取单元获取的各所述第二输出结果包括的所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数，综合确定所述第二候选标签集合中的各分类标签分别对应的各第二融合分数；

综合融合单元，用于将所述第一融合单元确定的所述第一候选标签集合中的各分类标签分别对应的各第一融合分数，以及所述第二融合单元确定的所述第二候选标签集合中的各分类标签分别对应的各第二融合分数，输入预先训练的综合融合模型，得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数。

第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。

第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。

通过本说明书实施例提供的方法和装置，首先获取各个分类模型针对第一候选标签集合的各第一输出结果，以及获取各个匹配模型针对第二候选标签集合的各第二输出结果，其中，第一候选标签集合与第二候选标签集合的交集为第一子集，然后针对第一候选标签集合中的各分类标签，对各第一输出结果和各第二输出结果进行初步融合；针对第二候选标签集合中的各分类标签，对各第二输出结果进行初步融合，最后对两种初步融合的结果进行总的融合，从而得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数。由上可见，本说明书实施例，在标签不一致的情况下，实现对分类模型和匹配模型的结果进行融合，相应的根据融合后的结果可以准确的分类。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本说明书披露的一个实施例的实施场景示意图；

图2示出根据一个实施例的针对用户问句的处理方法流程图；

图3示出根据一个实施例的多个模型结果的融合方法流程图；

图4示出根据一个实施例的多个模型结果的融合方法示意图；

图5示出根据一个实施例的多个模型结果的融合装置的示意性框图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

图1为本说明书披露的一个实施例的实施场景示意图。该实施场景涉及多个模型结果的融合，需要说明的是，本说明书实施例提供的融合方案是一个通用的融合方案，为便于理解，仅给出智能客服中针对用户问句的分类这一实施场景作为示例。通过多个模型结果的融合确定用户问句归属的类别，上述类别可以但不限于包括用户问句对应的标准问句，或者，用户问句对应的人工客服技能组。参照图1，第一阶段，进行的是用户跟机器对话，也就是说，由机器人客服回答用户问题。第二阶段，进行的是用户跟小二对话，可以理解的是，小二即人工客服，也就是说，由人工客服回答用户问题。在第一阶段，机器无法回答用户问题时，会进入第二阶段，由人工客服回答用户问题。

图2示出根据一个实施例的针对用户问句的处理方法流程图，该方法涵盖了图1所示的第一阶段和第二阶段的处理过程。在第一阶段，引导用户说出需求，机器跟用户对话，详细分析用户需求，进行问题识别，也就是识别用户问句对应的标准问句。当问题识别不成功时，进入第二阶段，智能派单，小二跟用户对话并且标注用户问题，其中，智能派单即确定用户问句对应的人工客服技能组，标注用户问题即标注用户问句对应的标准问句。

在一个示例中，机器在接收到用户问句后，针对用户问句，确定该用户问句对应的标准问句，并将确定的标准问句展示给用户，由用户确认该标准问句是否满足其述求，如果用户确认该标准问句不满足其述求，则由用户补充部分描述，机器会针对该用户问句，再次确定该用户问句对应的标准问句。当确定标准问句的次数达到预定次数，并且仍然不满足用户述求时，确定用户问句对应的人工客服技能组，由人工客服跟用户对话并且标注用户问句对应的标准问句。

图3示出根据一个实施例的多个模型结果的融合方法流程图，该方法可以基于图1所示的实施场景。如图3所示，该实施例中多个模型结果的融合方法包括以下步骤：步骤31，获取多个分类模型中各个分类模型分别对应的各第一输出结果，所述第一输出结果包括待分类目标对应第一候选标签集合中的各分类标签的各类别概率；步骤32，获取多个匹配模型中各个匹配模型分别对应的各第二输出结果，所述第二输出结果包括所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数；其中，所述第二候选标签集合包括第一子集和第二子集，所述第一子集是所述第二候选标签集合与所述第一候选标签集合的交集；步骤33，根据各所述第一输出结果包括的所述待分类目标对应第一候选标签集合中的各分类标签的各类别概率，以及各所述第二输出结果包括的所述待分类目标对应所述第一子集中的各分类标签的各匹配分数，综合确定所述第一候选标签集合中的各分类标签分别对应的各第一融合分数；步骤34，根据各所述第二输出结果包括的所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数，综合确定所述第二候选标签集合中的各分类标签分别对应的各第二融合分数；步骤35，将所述第一候选标签集合中的各分类标签分别对应的各第一融合分数，以及所述第二候选标签集合中的各分类标签分别对应的各第二融合分数，输入预先训练的综合融合模型，得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数。下面描述以上各个步骤的具体执行方式。

首先在步骤31，获取多个分类模型中各个分类模型分别对应的各第一输出结果，所述第一输出结果包括待分类目标对应第一候选标签集合中的各分类标签的各类别概率。可以理解的是，针对第一候选标签集合中的各分类标签对各个分类模型进行了预先训练。

本说明书实施例，第一候选标签集合包括多个分类标签，例如，包括分类标签1、分类标签2、分类标签3和分类标签4，将待分类目标输入各个分类模型后，各个分类模型会得出各自的第一输出结果，第一输出结果为各分类标签与各类别概率的对应关系，例如，表一所示为各分类标签与各类别概率的对应关系表。

表一：各分类标签与各类别概率的对应关系表

分类标签	类别概率
		分类标签1	85％
分类标签2	5％
		分类标签3	8％
分类标签4	2％

参照表一，若一个分类模型对应的第一输出结果为表一所示的对应关系，则按照各类别概率的排序，则分类标签1最有可能为待分类目标所属的目标类别。可以理解的是，各个分类模型的输出结果通常不同，通过综合各个分类模型的输出结果，可以使得对待分类目标的分类更为准确。

在一个示例中，所述待分类目标为目标用户问句；所述分类标签包括：所述目标用户问句对应的标准问句，和/或，所述目标用户问句对应的人工客服技能组。

可以理解的是，标准问句也称为标准问题，是根据业务整理的一些用户可能问的问题。每个问题有一个问题id。人工客服技能组对应多个标准问题。

在一个示例中，分类模型可以根据目标用户的问题描述(即目标用户问句)、该目标用户的行为轨迹的序列数据以及该目标用户的预设历史行为的行为特征等来得到所述第一输出结果。

然后在步骤32，获取多个匹配模型中各个匹配模型分别对应的各第二输出结果，所述第二输出结果包括所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数；其中，所述第二候选标签集合包括第一子集和第二子集，所述第一子集是所述第二候选标签集合与所述第一候选标签集合的交集。可以理解的是，匹配分数反映的是待分类目标与分类标签是否匹配，匹配模型可以解决冷启动问题，无需针对第一候选标签集合中的各分类标签对各个匹配模型进行预先训练。

在一个示例中，所述第一子集为所述第一候选标签集合，所述第二子集为非空集合。举例来说，第二候选标签集合包括分类标签1、分类标签2、分类标签3、分类标签4、分类标签5和分类标签6，第一候选标签集合包括分类标签1、分类标签2、分类标签3和分类标签4，此时第一子集包括分类标签1、分类标签2、分类标签3和分类标签4，第二子集包括分类标签5和分类标签6。该示例对应于如下更新标签的场景，第一候选标签集合为旧标签集合，第二候选标签集合为新标签集合，第二候选标签集合相对于第一候选标签集合添加了新的标签。

在另一个示例中，所述第一子集为所述第二候选标签集合，所述第二子集为空集。举例来说，第二候选标签集合包括分类标签1、分类标签2、分类标签3和分类标签4，第一候选标签集合包括分类标签1、分类标签2、分类标签3、分类标签4、分类标签5和分类标签6，此时第一子集包括分类标签1、分类标签2、分类标签3和分类标签4，第二子集为空集。该示例对应于如下更新标签的场景，第一候选标签集合为旧标签集合，第二候选标签集合为新标签集合，第二候选标签集合相对于第一候选标签集合删除了部分旧的标签。

在另一个示例中，所述第一子集为所述第一候选标签集合的子集，且所述第二子集为非空集合。举例来说，第二候选标签集合包括分类标签2、分类标签3、分类标签4、分类标签5和分类标签6，第一候选标签集合包括分类标签1、分类标签2、分类标签3、分类标签4，此时第一子集包括分类标签2、分类标签3和分类标签4，第二子集包括分类标签5和分类标签6。该示例对应于如下更新标签的场景，第一候选标签集合为旧标签集合，第二候选标签集合为新标签集合，第二候选标签集合相对于第一候选标签集合删除了部分旧的标签，并且添加了新的标签。

可以理解的是，将待分类目标输入各个匹配模型后，各个匹配模型会得出各自的第二输出结果，第二输出结果为各分类标签与各匹配分数的对应关系，例如，表二所示为各分类标签与各匹配分数的对应关系表。

表二：各分类标签与各匹配分数的对应关系表

分类标签	匹配分数
		分类标签1	0.8
分类标签2	0.6
		分类标签3	0.3
分类标签4	0.4
		分类标签5	0.9
分类标签6	0.7

参照表二，若一个匹配模型对应的第二输出结果为表二所示的对应关系，则按照各匹配分数的排序，则分类标签5最有可能为待分类目标所属的目标类别。可以理解的是，各个匹配模型的输出结果通常不同，通过综合各个匹配模型的输出结果，可以使得对待分类目标的分类更为准确。

在一个示例中，匹配模型可以根据目标用户的问题描述(即目标用户问句)来得到所述第二输出结果。

接着在步骤33，根据各所述第一输出结果包括的所述待分类目标对应第一候选标签集合中的各分类标签的各类别概率，以及各所述第二输出结果包括的所述待分类目标对应所述第一子集中的各分类标签的各匹配分数，综合确定所述第一候选标签集合中的各分类标签分别对应的各第一融合分数。可以理解的是，第一子集是所述第二候选标签集合与所述第一候选标签集合的交集，当第二候选标签集合包含所述第一候选标签集合时，第一子集与第一候选标签集合相同，否则，第一子集是第一候选标签集合的子集。

在一个示例中，对于第一子集是第一候选标签集合的子集的情况，可以先假定第一候选标签集合中第一子集之外的各分类标签的各匹配分数为0，然后再根据第一候选标签集合中的各分类标签的各类别概率，以及所述第一候选标签集合中的各分类标签的各匹配分数，综合确定所述第一候选标签集合中的各分类标签分别对应的各第一融合分数。

可以理解的是，各类别概率的大小可以确定各分类标签的排序，各匹配分数的大小也可以确定各分类标签的排序，综合确定所述第一候选标签集合中的各分类标签分别对应的各第一融合分数，也就是说，综合确定各分类标签的排序。

其中，上述步骤33可以通过神经网络模型来实现，例如，采用树模型xgboost或深度神经网络(deep neural networks，DNN)模型。

再在步骤34，根据各所述第二输出结果包括的所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数，综合确定所述第二候选标签集合中的各分类标签分别对应的各第二融合分数。可以理解的是，各匹配分数反映了待分类目标与各分类标签是否匹配，各匹配模型可能输出不同的第二输出结果，通过综合各第二输出结果可以使第二融合分数更准确的反映待分类目标与各分类标签是否匹配。

其中，上述步骤34可以通过神经网络模型来实现，例如，采用树模型xgboost或DNN模型。

最后在步骤35，将所述第一候选标签集合中的各分类标签分别对应的各第一融合分数，以及所述第二候选标签集合中的各分类标签分别对应的各第二融合分数，输入预先训练的综合融合模型，得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数。可以理解的是，第一候选标签集合与第二候选标签集合不同，但二者具有交集，该交集即前述第一子集。

在一个示例中，所述得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数后，确定所述各综合融合分数中的最大值对应的分类标签，将该分类标签确定为所述待分类目标的目标类别。

在一个示例中，所述综合融合模型通过如下方式训练：

以综合融合分数的分布逼近第二融合分数的分布为训练目标，以所述第一候选标签集合中的各分类标签分别对应的综合融合分数的排序，与各分类标签分别对应的第一融合分数的排序一致为约束条件，对所述综合融合模型进行训练。

综合融合模型是一个线性规划。上述训练目标是让综合融合分数f的分布尽量逼近第二融合分数p的分布，损失函数可以采用平方损失函数(squareloss)，或者kl散度等损失函数。例如，上述训练目标可以表示为：

min_f(f-p+α)²

其中，α为常量。

上述约束条件保证排序一致，只要保证临近的两两标签之间的顺序，就可以保证整个第一候选标签集合中各分类标签的顺序。可以表示为：

其中，i,j代表第一候选标签集合中的任意两个分类标签，y代表第一融合分数，f代表综合融合分数。

经过线性规划之后，f满足了匹配的分布，因此第二候选标签集合中相对于第一候选标签集合中添加的新标签，可以按照f分值直接插入第一融合分数对应的各分类标签的排序对列中，得到第二候选标签集合中各分类标签最终的排序结果。

图4示出根据一个实施例的多个模型结果的融合方法示意图，该方法中以对分类模型a、分类模型b、分类模型c、分类模型d、匹配模型a、匹配模型b、匹配模型c的结果进行融合为例。其中，第一候选标签集合是旧标签集合，第二候选标签集合是新标签集合，二者的交集为第一子集，融合模块a是融合分类模型和匹配模型的旧标签的结果，即融合第一候选标签集合的结果，融合模块b是融合匹配模型的新标签的结果，即融合第二候选标签集合的结果。融合模块b输出的融合结果再与融合模块a输出的融合结果，经过新老标签融合模块输出最终融合结果。

可以理解的是，其中，融合模块b输出的融合结果对应于前述第二融合分数，融合模块a输出的融合结果对应于前述第一融合分数，新老标签融合模块对应于前述综合融合模型，最终融合结果对应于前述综合融合分数。

通过本说明书实施例提供的方法，首先获取各个分类模型针对第一候选标签集合的各第一输出结果，以及获取各个匹配模型针对第二候选标签集合的各第二输出结果，其中，第一候选标签集合与第二候选标签集合的交集为第一子集，然后针对第一候选标签集合中的各分类标签，对各第一输出结果和各第二输出结果进行初步融合；针对第二候选标签集合中的各分类标签，对各第二输出结果进行初步融合，最后对两种初步融合的结果进行总的融合，从而得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数。由上可见，本说明书实施例，在标签不一致的情况下，实现对分类模型和匹配模型的结果进行融合，相应的根据融合后的结果可以准确的分类。

根据另一方面的实施例，还提供一种多个模型结果的融合装置，该装置用于执行本说明书实施例提供的多个模型结果的融合方法。图5示出根据一个实施例的多个模型结果的融合装置的示意性框图。如图5所示，该装置500包括：

第一获取单元51，用于获取多个分类模型中各个分类模型分别对应的各第一输出结果，所述第一输出结果包括待分类目标对应第一候选标签集合中的各分类标签的各类别概率；

第二获取单元52，用于获取多个匹配模型中各个匹配模型分别对应的各第二输出结果，所述第二输出结果包括所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数；其中，所述第二候选标签集合包括第一子集和第二子集，所述第一子集是所述第二候选标签集合与所述第一候选标签集合的交集；

第一融合单元53，用于根据所述第一获取单元51获取的各所述第一输出结果包括的所述待分类目标对应第一候选标签集合中的各分类标签的各类别概率，以及所述第二获取单元52获取的各所述第二输出结果包括的所述待分类目标对应所述第一子集中的各分类标签的各匹配分数，综合确定所述第一候选标签集合中的各分类标签分别对应的各第一融合分数；

第二融合单元54，用于根据所述第二获取单元52获取的各所述第二输出结果包括的所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数，综合确定所述第二候选标签集合中的各分类标签分别对应的各第二融合分数；

综合融合单元55，用于将所述第一融合单元53确定的所述第一候选标签集合中的各分类标签分别对应的各第一融合分数，以及所述第二融合单元54确定的所述第二候选标签集合中的各分类标签分别对应的各第二融合分数，输入预先训练的综合融合模型，得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数。

可选地，作为一个实施例，所述装置还包括：

确定单元，用于在所述综合融合单元55得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数后，确定所述各综合融合分数中的最大值对应的分类标签，将该分类标签确定为所述待分类目标的目标类别。

可选地，作为一个实施例，所述综合融合模型通过如下方式训练：

以综合融合分数的分布逼近第二融合分数的分布为训练目标，以所述第一候选标签集合中的各分类标签分别对应的综合融合分数的排序，与各分类标签分别对应的第一融合分数的排序一致为约束条件，对所述综合融合模型进行训练。

可选地，作为一个实施例，所述第一子集为所述第一候选标签集合，所述第二子集为非空集合。

可选地，作为一个实施例，所述第一子集为所述第二候选标签集合，所述第二子集为空集。

可选地，作为一个实施例，所述第一子集为所述第一候选标签集合的子集，且所述第二子集为非空集合。

可选地，作为一个实施例，所述待分类目标为目标用户问句；

所述分类标签包括：

所述目标用户问句对应的标准问句。

可选地，作为一个实施例，所述待分类目标为目标用户问句；

所述分类标签包括：

所述目标用户问句对应的人工客服技能组。

通过本说明书实施例提供的装置，首先第一获取单元51获取各个分类模型针对第一候选标签集合的各第一输出结果，以及第二获取单元52获取各个匹配模型针对第二候选标签集合的各第二输出结果，其中，第一候选标签集合与第二候选标签集合的交集为第一子集，然后第一融合单元53针对第一候选标签集合中的各分类标签，对各第一输出结果和各第二输出结果进行初步融合；第二融合单元54针对第二候选标签集合中的各分类标签，对各第二输出结果进行初步融合，最后综合融合单元55对两种初步融合的结果进行总的融合，从而得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数。由上可见，本说明书实施例，在标签不一致的情况下，实现对分类模型和匹配模型的结果进行融合，相应的根据融合后的结果可以准确的分类。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图3所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图3所描述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (18)

1.一种多个模型结果的融合方法，所述方法包括：

获取多个分类模型中各个分类模型分别对应的各第一输出结果，所述第一输出结果包括待分类目标对应第一候选标签集合中的各分类标签的各类别概率；其中，针对第一候选标签集合中的各分类标签对各个分类模型进行了预先训练；

获取多个匹配模型中各个匹配模型分别对应的各第二输出结果，所述第二输出结果包括所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数；其中，匹配分数反映的是待分类目标与分类标签是否匹配，无需针对第二候选标签集合中的各分类标签对各个匹配模型进行预先训练，所述第二候选标签集合包括第一子集和第二子集，所述第一子集是所述第二候选标签集合与所述第一候选标签集合的交集，所述第二候选标签集合与所述第一候选标签集合不一致；

根据各所述第一输出结果包括的所述待分类目标对应第一候选标签集合中的各分类标签的各类别概率，以及各所述第二输出结果包括的所述待分类目标对应所述第一子集中的各分类标签的各匹配分数，综合确定所述第一候选标签集合中的各分类标签分别对应的各第一融合分数；

根据各所述第二输出结果包括的所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数，综合确定所述第二候选标签集合中的各分类标签分别对应的各第二融合分数；

将所述第一候选标签集合中的各分类标签分别对应的各第一融合分数，以及所述第二候选标签集合中的各分类标签分别对应的各第二融合分数，输入预先训练的综合融合模型，通过综合融合分数的分布逼近第二融合分数的分布，得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数。

2.如权利要求1所述的方法，其中，所述得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数后，所述方法还包括：

确定所述各综合融合分数中的最大值对应的分类标签，将该分类标签确定为所述待分类目标的目标类别。

3.如权利要求1所述的方法，其中，所述综合融合模型通过如下方式训练：

以综合融合分数的分布逼近第二融合分数的分布为训练目标，以所述第一候选标签集合中的各分类标签分别对应的综合融合分数的排序，与各分类标签分别对应的第一融合分数的排序一致为约束条件，对所述综合融合模型进行训练。

4.如权利要求1所述的方法，其中，所述第一子集为所述第一候选标签集合，所述第二子集为非空集合。

5.如权利要求1所述的方法，其中，所述第一子集为所述第二候选标签集合，所述第二子集为空集。

6.如权利要求1所述的方法，其中，所述第一子集为所述第一候选标签集合的子集，且所述第二子集为非空集合。

7.如权利要求1所述的方法，其中，所述待分类目标为目标用户问句；

所述分类标签包括：

所述目标用户问句对应的标准问句。

8.如权利要求1所述的方法，其中，所述待分类目标为目标用户问句；

所述分类标签包括：

所述目标用户问句对应的人工客服技能组。

9.一种多个模型结果的融合装置，所述装置包括：

第一获取单元，用于获取多个分类模型中各个分类模型分别对应的各第一输出结果，所述第一输出结果包括待分类目标对应第一候选标签集合中的各分类标签的各类别概率；其中，针对第一候选标签集合中的各分类标签对各个分类模型进行了预先训练；

第二获取单元，用于获取多个匹配模型中各个匹配模型分别对应的各第二输出结果，所述第二输出结果包括所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数；其中，匹配分数反映的是待分类目标与分类标签是否匹配，无需针对第二候选标签集合中的各分类标签对各个匹配模型进行预先训练，所述第二候选标签集合包括第一子集和第二子集，所述第一子集是所述第二候选标签集合与所述第一候选标签集合的交集，所述第二候选标签集合与所述第一候选标签集合不一致；

第一融合单元，用于根据所述第一获取单元获取的各所述第一输出结果包括的所述待分类目标对应第一候选标签集合中的各分类标签的各类别概率，以及所述第二获取单元获取的各所述第二输出结果包括的所述待分类目标对应所述第一子集中的各分类标签的各匹配分数，综合确定所述第一候选标签集合中的各分类标签分别对应的各第一融合分数；

第二融合单元，用于根据所述第二获取单元获取的各所述第二输出结果包括的所述待分类目标对应第二候选标签集合中的各分类标签的各匹配分数，综合确定所述第二候选标签集合中的各分类标签分别对应的各第二融合分数；

综合融合单元，用于将所述第一融合单元确定的所述第一候选标签集合中的各分类标签分别对应的各第一融合分数，以及所述第二融合单元确定的所述第二候选标签集合中的各分类标签分别对应的各第二融合分数，输入预先训练的综合融合模型，通过综合融合分数的分布逼近第二融合分数的分布，得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数。

10.如权利要求9所述的装置，其中，所述装置还包括：

确定单元，用于在所述综合融合单元得到所述第二候选标签集合中的各分类标签分别对应的各综合融合分数后，确定所述各综合融合分数中的最大值对应的分类标签，将该分类标签确定为所述待分类目标的目标类别。

11.如权利要求9所述的装置，其中，所述综合融合模型通过如下方式训练：

以综合融合分数的分布逼近第二融合分数的分布为训练目标，以所述第一候选标签集合中的各分类标签分别对应的综合融合分数的排序，与各分类标签分别对应的第一融合分数的排序一致为约束条件，对所述综合融合模型进行训练。

12.如权利要求9所述的装置，其中，所述第一子集为所述第一候选标签集合，所述第二子集为非空集合。

13.如权利要求9所述的装置，其中，所述第一子集为所述第二候选标签集合，所述第二子集为空集。

14.如权利要求9所述的装置，其中，所述第一子集为所述第一候选标签集合的子集，且所述第二子集为非空集合。

15.如权利要求9所述的装置，其中，所述待分类目标为目标用户问句；

所述分类标签包括：

所述目标用户问句对应的标准问句。

16.如权利要求9所述的装置，其中，所述待分类目标为目标用户问句；

所述分类标签包括：

所述目标用户问句对应的人工客服技能组。

17.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8中任一项的所述的方法。

18.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-8中任一项的所述的方法。

Images