CN116932349A - 推荐系统的评估方法、评估装置及电子设备 - Google Patents

Abstract

本申请公开一种推荐系统的评估方法、评估装置及电子设备，该评估方法包括：获得所述推荐系统的目标模块从物料库中选取的第一物料集，其中，所述目标模块包括召回模块或粗排模块，所述第一物料集由第一预设数量的物料组成；将所述物料库中的物料输入所述推荐系统的精排模块，得到所述精排模块输出的与所述物料对应的第一分数值；按照第一分数值从大到小的排列顺序，从所述物料库中选取排序靠前的所述第一预设数量的物料，组成第二物料集；基于所述第一物料集和所述第二物料集之间物料的重合度，评估所述目标模块与所述精排模块的一致性，其中，所述目标模块与所述精排模块的一致性用于反映所述目标模块选取物料的准确度。

Description

推荐系统的评估方法、评估装置及电子设备

技术领域

本申请涉及信息流推荐领域，尤其涉及一种推荐系统的评估方法、评估装置及电子设备。

背景技术

在进行物料推荐的过程中，涉及到推荐系统的多个模块，以微博推荐为例，物料库中包括几百万条候选物料，物料库中的候选物料首先经过召回模块，将百万级别的物料库压缩成万级别的候选集，然后再经过粗排模块，通过对候选集中的物料进行打分排序，选出得分高的千级别的物料送入精排模块，最终推荐系统仅选出少量物料曝光给用户。目前大多数推荐系统，都是通过用户对最终推荐物料的点击率、互动率或者消费时长衡量用户对推荐物料的喜爱程度，以此评估推荐系统的优劣。

发明内容

本申请公开一种推荐系统的评估方法、评估装置及电子设备，以解决相关技术中无法直接反映推荐系统中召回模块或粗排模块选取物料的准确度的问题。

为了解决上述问题，本申请采用下述技术方案：

第一方面，本申请实施例提供了一种推荐系统的评估方法，包括：获得所述推荐系统的目标模块从物料库中选取的第一物料集，其中，所述目标模块包括召回模块或粗排模块，所述第一物料集由第一预设数量的物料组成；将所述物料库中的物料输入所述推荐系统的精排模块，得到所述精排模块输出的与所述物料对应的第一分数值，所述第一分数值表征所述精排模块对所述物料的推荐程度；按照第一分数值从大到小的排列顺序，从所述物料库中选取排序靠前的所述第一预设数量的物料，组成第二物料集；基于所述第一物料集和所述第二物料集之间物料的重合度，评估所述目标模块与所述精排模块的一致性，其中，所述目标模块与所述精排模块的一致性用于反映所述目标模块选取物料的准确度。

第二方面，本申请实施例提供了一种推荐系统的评估装置，包括：第一获取模块，用于获得所述推荐系统的目标模块从物料库中选取的第一物料集，其中，所述目标模块包括召回模块或粗排模块，所述第一物料集由第一预设数量的物料组成；第二获取模块，用于将所述物料库中的物料输入所述推荐系统的精排模块，得到所述精排模块输出的与所述物料对应的第一分数值，所述第一分数值表征所述精排模块对所述物料的推荐程度；组成模块，用于按照第一分数值从大到小的排列顺序，从所述物料库中选取排序靠前的所述第一预设数量的物料，组成第二物料集；评估模块，用于基于所述第一物料集和所述第二物料集之间物料的重合度，评估所述目标模块与所述精排模块的一致性，其中，所述目标模块与所述精排模块的一致性用于反映所述目标模块选取物料的准确度。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

本申请实施例提供了一种推荐系统的评估方法，通过获得推荐系统的目标模块从物料库中选取的由第一预设数量的物料组成的第一物料集，目标模块包括召回模块或粗排模块，将物料库中的物料输入精排模块，得到精排模块输出的与物料对应的第一分数值，并按照第一分数值从大到小的排列顺序，从物料库中选取排序靠前的第一预设数量的物料组成第二物料集，然后基于第一物料集和第二物料集之间物料的重合度，评估目标模块与精排模块的一致性，由于目标模块与精排模块的一致性用于反映目标模块选取物料的准确度，因此，通过上述方法，能够以精排模块为基准，直接且准确地反映目标模块选取物料的准确度。

附图说明

图1为本申请实施例公开的一种推荐系统的评估方法的流程示意图；

图2为本申请实施例公开的一种推荐系统的评估装置的结构示意图；

图3为本申请实施例公开的电子设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

如前所述，目前大多数推荐系统，都是通过用户对最终推荐物料的点击率、互动率或者消费时长衡量用户对推荐物料的喜爱程度，以此评估推荐系统的优劣。发明人在发明过程中发现，推荐系统最终推荐给用户的物料质量，是与推荐系统中的每个模块息息相关的，具体的，召回模块和粗排模块都会过滤掉一大部分物料，只是将一小部分物料传递到下一阶段，最后由精排模块进行最终物料推荐，在这个过程中，如果召回模块和粗排模块在对应的阶段将精排模块认为好的物料过滤掉了，则最后精排模块的最终推荐物料质量较差，因此，前期召回模块和粗排模块选取物料的准确度，能够直接影响后续精排模块的最终推荐物料质量。但是，相关技术中，并未提供能够直接反映推荐系统中召回模块或粗排模块选取物料的准确度的解决方案。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的推荐系统的评估方法、评估装置及电子设备进行详细地说明。

本申请实施例提供了一种推荐系统的评估方法，图1为本申请实施例公开的一种推荐系统的评估方法的流程示意图。如图1所示，该方法包括如下步骤。

S120、获得所述推荐系统的目标模块从物料库中选取的第一物料集。

其中，所述目标模块包括召回模块或粗排模块，所述第一物料集由第一预设数量的物料组成。

上述物料库为全量物料库，也就是说，获得推荐系统的召回模块从全量物料库中选取的第一物料集，或获得推荐系统的粗排模块从全量物料库中选取的第一物料集，第一物料集包括第一预设数量的物料，在本申请中，第一预设数量的具体数值可以根据实际情况进行设置，示例性的，在目标模块为召回模块的情况下，第一预设数量可以为5500条，在目标模块为粗排模块的情况下，第一预设数量可以为1000条，当然，第一预设数量还可以为其它数值，本申请对此不作具体限定。

需要说明的是，召回模块和粗排模块，均可以为预先训练的模型。

S140、将所述物料库中的物料输入所述推荐系统的精排模块，得到所述精排模块输出的与所述物料对应的第一分数值，所述第一分数值表征所述精排模块对所述物料的推荐程度。

需要说明的是，精排模块可以为预先训练的模型。通过将物料库中的物料输入精排模块，可以得到精排模块输出的与各个物料分别对应的第一分数值。

在本申请中，可以将得到的第一分数值以数据表的形式进行记录，该数据表中可以包括某次请求的标识(identify，ID)，发起请求的用户ID、物料ID、召回源ID、第一分数值以及与第一分数值对应的排名等，需要说明的是，此处的召回源可以为单路召回子模块。

S160、按照第一分数值从大到小的排列顺序，从所述物料库中选取排序靠前的所述第一预设数量的物料，组成第二物料集。

在得到精排模块输出的与各个物料分别对应的第一分数值之后，将各个第一分数值按照从大到小的排列顺序，从物料库中选取排序靠前的第一预设数量的物料组成第二物料集。示例性的，在第一物料集由5500条物料组成的情况下，从物料库选取第一分数值属于top5500的物料，组成第二物料集，在第一物料集由1000条物料组成的情况下，从物料库选取第一分数值属于top1000的物料，组成第二物料集。

S180、基于所述第一物料集和所述第二物料集之间物料的重合度，评估所述目标模块与所述精排模块的一致性，其中，所述目标模块与所述精排模块的一致性用于反映所述目标模块选取物料的准确度，所述第一物料集和所述第二物料集之间物料的重合度越高，所述目标模块与所述精排模块的一致性越高。

在本申请中，根据经目标模块得到的第一物料集和经精排模块得到的第二物料集之间物料的重合度，评估目标模块与精排模块的一致性，也就是说，以精排模型为基准，评估目标模块选取物料的准确度，判断目标模块是否存在问题，示例性的，在第一物料集和第二物料集之间物料的重合度低于预设阈值的情况下，评估目标模块与精排模块的一致性较低，判定目标模块选取物料的准确度较低，目标模块存在问题。此处的预设阈值可以为根据历史第一物料集和第二物料集之间物料的重合度数据设置的值。

本申请实施例提供了一种推荐系统的评估方法，通过获得推荐系统的目标模块从物料库中选取的由第一预设数量的物料组成的第一物料集，目标模块包括召回模块或粗排模块，将物料库中的物料输入精排模块，得到精排模块输出的与物料对应的第一分数值，并按照第一分数值从大到小的排列顺序，从物料库中选取排序靠前的第一预设数量的物料组成第二物料集，然后基于第一物料集和第二物料集之间物料的重合度，评估目标模块与精排模块的一致性，由于目标模块与精排模块的一致性用于反映目标模块选取物料的准确度，因此，通过上述方法，能够以精排模块为基准，直接且准确地反映目标模块选取物料的准确度。

在本申请实施例中，所述目标模块为召回模块的情况下，所述召回模块可以包括至少两个单路召回子模块，各个单路召回子模块对应不同的召回策略；获得所述推荐系统的目标模块从物料库中选取的第一物料集，可以包括：获得各个单路召回子模块按照各自对应的召回策略，从物料库中召回的物料；在所有单路召回子模块召回的物料数量之和等于所述第一预设数量的情况下，将所有单路召回子模块召回的物料组成所述第一物料集；在所有单路召回子模块召回的物料数量之和大于所述第一预设数量的情况下，从所有单路召回子模块召回的物料中，选取所述第一预设数量的物料组成所述第一物料集，所述第一物料集中具有每个单路召回子模块所召回的物料。

示例性的，单路召回子模块可以为兴趣召回子模块、热点召回子模块、协同召回子模块、模型召回子模块等，各个单路召回子模块均各自对应不同的召回策略，兴趣召回子模块和热点召回子模块为按照一定的规则进行匹配，进而召回物料，协同召回子模块包括物料协同和用户协同，例如，根据本次发起推荐请求的用户所属的用户群所感兴趣的物料，进行物料召回，或根据本次发起推荐请求的用户感兴趣的物料A，对与物料A相似的物料B进行物料召回，模型召回子模块为采用深度学习模型进行物料召回。

在本申请中，各个单路召回子模块从物料库中召回的物料数量可以相等，或者，各个单路召回子模块可以分别按照不同设定比例，从物料库中召回物料，即各个单路召回子模块从物料库中召回的物料数量可以不等，例如，第一单路召回子模块召回物料数量占召回模块召回总量的10％，第二单路召回子模块召回物料数量占召回模块召回总量的20％。需要说明的是，本申请中的设定数量可以根据实际情况进行设置，本申请对此不作具体限制。

在一种实现方式中，在所有单路召回子模块从物料库中召回的物料数量之和大于第一预设数量的情况下，从所有单路召回子模块召回的物料中，按照预设规则选取第一预设数量的物料组成第一物料集。

示例性的，可以按照平均数从所有单路召回子模块召回的物料中选取第一预设数量的物料组成第一物料集，平均数＝第一预设数量/单路召回子模块的数量，即从各个单路召回子模块召回的物料中选取数量相同的物料，共得到第一预设数量的物料，组成第一物料集；或者，可以按照与各个单路召回子模块对应的设定比例(即权重数量)，分别从各个单路召回子模块召回的物料中选取对应数量的物料，共得到第一预设数量的物料，组成第一物料集；或者，召回的物料携带有该物料生成的时间，可以按照物料生成的时间顺序，从所有单路召回子模块召回的物料中选取最接近当前时间的第一预设数量的物料组成第一物料集。此外，也可以根据物料的其它指标(例如，阅读量、点击率、转发数等)，从召回的物料中选取第一预设数量的物料组成第一物料集。

在本申请实施例中，所述方法还可以包括：在所述得到所述精排模块输出的与所述物料对应的第一分数值之后，按照第一分数值从大到小的排列顺序，从所述物料库中选取排序靠前的第二预设数量的物料，组成第三物料集；分别计算由各个单路召回子模块召回的物料在所述第三物料集中的物料占比；基于各个物料占比，分别评估各个单路召回子模块与所述精排模块的一致性，其中，所述单路召回子模块与所述精排模块的一致性用于反映所述单路召回子模块的召回准确度，所述物料占比越大，所述单路召回子模块与所述精排模块的一致性越高。由于单路召回子模块与精排模块的一致性用于反映单路召回子模块的召回准确度，因此，通过上述方法，能够以精排模块为基准，直接且准确地反映单路召回子模块的召回准确度。

在本申请中，第二预设数量可以小于第一预设数量，示例性的，第一预设数量可以为5500条，第二预设数量可以为1000条，本申请对第二预设数量的具体数值不作具体限定，该数值可以根据实际需要进行设置。示例性的，在第三物料集包括1000条物料，其中，第一单路召回子模块召回的物料为100条，第二单路召回子模块召回的物料为200条，第三单路召回子模块召回的物料为400条的情况下，由第一单路召回子模块召回的物料在第三物料集中的物料占比为1/10，由第二单路召回子模块召回的物料在第三物料集中的物料占比为1/5，由第三单路召回子模块召回的物料在第三物料集中的物料占比为2/5，进而各个单路召回子模块与精排模块的一致性按照从高到低进行排序为：第三单路召回子模块与精排模块的一致性＞第二单路召回子模块与精排模块的一致性＞第一单路召回子模块与精排模块的一致性，即在第一单路召回子模块、第二单路召回子模块和第三单路召回子模块中，以精排模块为基准，第三单路召回子模块的召回准确度最高，即第三单路召回子模块召回的物料最贴近精排模块选取的物料。

在一种实现方式中，在各个单路召回子模块分别按照不同设定比例，从物料库中召回物料，即各个单路召回子模块从物料库中召回的物料数量不等的情况下，基于各个物料占比，分别评估各个单路召回子模块与所述精排模块的一致性，可以包括：对各个物料占比进行归一化处理，基于归一化处理后的各个物料占比，分别评估各个单路召回子模块与精排模块的一致性。需要说明的是，此处的归一化处理可以为：单路召回子模块选出的物料在第三物料集中的物料占比/与该单路召回子模块对应的设定比例。

在一种实现方式中，在所述基于各个物料占比，分别评估各个单路召回子模块与所述精排模块的一致性之后，还可以包括：基于各个单路召回子模块与所述精排模块的一致性，判断是否需要对各个单路召回子模块进行调整，在判定需要对第一单路召回子模块进行调整的情况下，根据所述第一单路召回子模块的自身定位以及特征，对所述第一单路召回子模块的参数按照提高一致性的方向进行调整，其中，所述第一单路召回子模块为各个单路召回子模块中的任一单路召回子模块。

在本申请实施例中，所述目标模块为粗排模块的情况下，所述获得所述推荐系统的目标模块从物料库中选取的第一物料集，可以包括：将物料库中的物料输入粗排模块，得到所述粗排模块输出的与所述物料对应的第二分数值，所述第二分数值表征所述粗排模块对所述物料的推荐程度；按照第二分数值从大到小的排列顺序，从所述物料库中选取排序靠前的第一预设数量的物料，组成第一物料集。

在本申请中，通过将物料库中的物料输入粗排模块，可以得到粗排模块输出的与各个物料分别对应的第二分数值，可以将得到的第二分数值以数据表的形式进行记录，该数据表中可以包括某次请求的标识ID，发起请求的用户ID、物料ID、召回源ID、第二分数值以及与第二分数值对应的排名等。在得到粗排模块输出的与各个物料分别对应的第二分数值之后，将各个第二分数值按照从大到小的顺序，从物料库中选取排序靠前的第一预设数量的物料组成第一物料集。

在一种实现方式中，在所述基于所述第一物料集和所述第二物料集之间物料的重合度，评估所述目标模块与所述精排模块的一致性之后，还可以包括：基于所述目标模块与所述精排模块的一致性，判断是否需要对所述目标模块进行调整；在判定需要对所述目标模块进行调整的情况下，对所述目标模块的参数按照提高一致性的方向进行调整。

示例性的，在目标模块与精排模块的一致性低于设定阈值的情况下，判定目标模块存在问题，需要对目标模块进行调整，进而通过对目标模块的参数进行调整，以提高目标模块与精排模块的一致性。本申请通过根据目标模块与精排模块的一致性，判断是否需要对目标模块进行调整，相较于通过大量数据试验判断是否需要对目标模块进行调整，能够提高目标模块的迭代速度，并且能够快速发现推荐系统中存在的问题。

在本申请中，可以将第一物料集、与物料对应的第一分数值、第二物料集、第三物料集、与物料对应的第二分数值、评估得到的目标模块与精排模块的一致性、各个单路召回子模块与精排模块的一致性、评估时间等数据均使用kafka作数据传输，写入数据库，以便于进行数据分析以及后期数据查找，此处的数据库可以为clickhouse。

需要说明的是，本申请公开的推荐系统的评估方法，为离线/线下评估方法，若将上述评估方法组合使用，则能够实现多角度对召回模块、粗排模块进行评估。

另外，本申请实施例提供的评估方法，也可用于其它搜索或广告领域中对大量物料进行过滤的模块的评估。

本申请实施例提供的推荐系统的评估方法，执行主体可以为推荐系统的评估装置。本申请实施例中以推荐系统的评估装置执行推荐系统的评估方法为例，说明本申请实施例提供的推荐系统的评估装置。

图2为本申请实施例公开的一种推荐系统的评估装置的结构示意图。如图2所示，推荐系统的评估装置200包括：第一获取模块210、第二获取模块220、组成模块230和评估模块240。

在本申请中，第一获取模块210，用于获得所述推荐系统的目标模块从物料库中选取的第一物料集，其中，所述目标模块包括召回模块或粗排模块，所述第一物料集由第一预设数量的物料组成；第二获取模块220，用于将所述物料库中的物料输入所述推荐系统的精排模块，得到所述精排模块输出的与所述物料对应的第一分数值，所述第一分数值表征所述精排模块对所述物料的推荐程度；组成模块230，用于按照第一分数值从大到小的排列顺序，从所述物料库中选取排序靠前的所述第一预设数量的物料，组成第二物料集；评估模块240，用于基于所述第一物料集和所述第二物料集之间物料的重合度，评估所述目标模块与所述精排模块的一致性，其中，所述目标模块与所述精排模块的一致性用于反映所述目标模块选取物料的准确度。

在一种实现方式中，所述目标模块为召回模块的情况下，所述召回模块包括至少两个单路召回子模块，各个单路召回子模块对应不同的召回策略；所述第一获取模块210获得所述推荐系统的目标模块从物料库中选取的第一物料集，包括：获得各个单路召回子模块按照各自对应的召回策略，从物料库中召回的物料；在所有单路召回子模块召回的物料数量之和等于所述第一预设数量的情况下，将所有单路召回子模块召回的物料组成所述第一物料集；在所有单路召回子模块召回的物料数量之和大于所述第一预设数量的情况下，从所有单路召回子模块召回的物料中，选取所述第一预设数量的物料组成所述第一物料集，所述第一物料集中具有每个单路召回子模块所召回的物料。

在一种实现方式中，所述评估装置还包括计算模块，其中：所述组成模块230，还用于在所述得到所述精排模块输出的与所述物料对应的第一分数值之后，按照第一分数值从大到小的排列顺序，从所述物料库中选取排序靠前的第二预设数量的物料，组成第三物料集；所述计算模块，用于分别计算由各个单路召回子模块召回的物料在所述第三物料集中的物料占比；所述评估模块240，还用于基于各个物料占比，分别评估各个单路召回子模块与所述精排模块的一致性，其中，所述单路召回子模块与所述精排模块的一致性用于反映所述单路召回子模块的召回准确度，所述物料占比越大，所述单路召回子模块与所述精排模块的一致性越高。

在一种实现方式中，所述目标模块为粗排模块的情况下，所述第一获取模块210获得所述推荐系统的目标模块从物料库中选取的第一物料集，包括：将物料库中的物料输入粗排模块，得到所述粗排模块输出的与所述物料对应的第二分数值，所述第二分数值表征所述粗排模块对所述物料的推荐程度；按照第二分数值从大到小的排列顺序，从所述物料库中选取排序靠前的第一预设数量的物料，组成第一物料集。

在一种实现方式中，还包括：判断模块，用于在所述基于所述第一物料集和所述第二物料集之间物料的重合度，评估所述目标模块与所述精排模块的一致性之后，基于所述目标模块与所述精排模块的一致性，判断是否需要对所述目标模块进行调整；调整模块，用于在判定需要对所述目标模块进行调整的情况下，对所述目标模块的参数按照提高一致性的方向进行调整。

本申请实施例中的推荐系统的评估装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。

本申请实施例提供的推荐系统的评估装置能够实现推荐系统的评估方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图3所示，本申请实施例还提供一种电子设备300，包括处理器301和存储器302，存储器302上存储有可在所述处理器301上运行的程序或指令，该程序或指令被处理器301执行时实现上述推荐系统的评估方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述推荐系统的评估方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述推荐系统的评估方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述推荐系统的评估方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种推荐系统的评估方法，其特征在于，包括：

获得所述推荐系统的目标模块从物料库中选取的第一物料集，其中，所述目标模块包括召回模块或粗排模块，所述第一物料集由第一预设数量的物料组成；

将所述物料库中的物料输入所述推荐系统的精排模块，得到所述精排模块输出的与所述物料对应的第一分数值，所述第一分数值表征所述精排模块对所述物料的推荐程度；

按照第一分数值从大到小的排列顺序，从所述物料库中选取排序靠前的所述第一预设数量的物料，组成第二物料集；

基于所述第一物料集和所述第二物料集之间物料的重合度，评估所述目标模块与所述精排模块的一致性，其中，所述目标模块与所述精排模块的一致性用于反映所述目标模块选取物料的准确度。

2.根据权利要求1所述的评估方法，其特征在于，所述目标模块为召回模块的情况下，所述召回模块包括至少两个单路召回子模块，各个单路召回子模块对应不同的召回策略；

获得所述推荐系统的目标模块从物料库中选取的第一物料集，包括：

获得各个单路召回子模块按照各自对应的召回策略，从物料库中召回的物料；

在所有单路召回子模块召回的物料数量之和等于所述第一预设数量的情况下，将所有单路召回子模块召回的物料组成所述第一物料集；

在所有单路召回子模块召回的物料数量之和大于所述第一预设数量的情况下，从所有单路召回子模块召回的物料中，选取所述第一预设数量的物料组成所述第一物料集，所述第一物料集中具有每个单路召回子模块所召回的物料。

3.根据权利要求2所述的评估方法，其特征在于，所述方法还包括：

在所述得到所述精排模块输出的与所述物料对应的第一分数值之后，按照第一分数值从大到小的排列顺序，从所述物料库中选取排序靠前的第二预设数量的物料，组成第三物料集；

分别计算由各个单路召回子模块召回的物料在所述第三物料集中的物料占比；

基于各个物料占比，分别评估各个单路召回子模块与所述精排模块的一致性，其中，所述单路召回子模块与所述精排模块的一致性用于反映所述单路召回子模块的召回准确度，所述物料占比越大，所述单路召回子模块与所述精排模块的一致性越高。

4.根据权利要求1所述的评估方法，其特征在于，所述目标模块为粗排模块的情况下，所述获得所述推荐系统的目标模块从物料库中选取的第一物料集，包括：

将物料库中的物料输入粗排模块，得到所述粗排模块输出的与所述物料对应的第二分数值，所述第二分数值表征所述粗排模块对所述物料的推荐程度；

按照第二分数值从大到小的排列顺序，从所述物料库中选取排序靠前的第一预设数量的物料，组成第一物料集。

5.根据权利要求1所述的评估方法，其特征在于，在所述基于所述第一物料集和所述第二物料集之间物料的重合度，评估所述目标模块与所述精排模块的一致性之后，还包括：

基于所述目标模块与所述精排模块的一致性，判断是否需要对所述目标模块进行调整；

在判定需要对所述目标模块进行调整的情况下，对所述目标模块的参数按照提高一致性的方向进行调整。

6.一种推荐系统的评估装置，其特征在于，包括：

第一获取模块，用于获得所述推荐系统的目标模块从物料库中选取的第一物料集，其中，所述目标模块包括召回模块或粗排模块，所述第一物料集由第一预设数量的物料组成；

第二获取模块，用于将所述物料库中的物料输入所述推荐系统的精排模块，得到所述精排模块输出的与所述物料对应的第一分数值，所述第一分数值表征所述精排模块对所述物料的推荐程度；

组成模块，用于按照第一分数值从大到小的排列顺序，从所述物料库中选取排序靠前的所述第一预设数量的物料，组成第二物料集；

评估模块，用于基于所述第一物料集和所述第二物料集之间物料的重合度，评估所述目标模块与所述精排模块的一致性，其中，所述目标模块与所述精排模块的一致性用于反映所述目标模块选取物料的准确度。

7.根据权利要求6所述的评估装置，其特征在于，所述目标模块为召回模块的情况下，所述召回模块包括至少两个单路召回子模块，各个单路召回子模块对应不同的召回策略；

所述第一获取模块获得所述推荐系统的目标模块从物料库中选取的第一物料集，包括：

获得各个单路召回子模块按照各自对应的召回策略，从物料库中召回的物料；

在所有单路召回子模块召回的物料数量之和等于所述第一预设数量的情况下，将所有单路召回子模块召回的物料组成所述第一物料集；在所有单路召回子模块召回的物料数量之和大于所述第一预设数量的情况下，从所有单路召回子模块召回的物料中，选取所述第一预设数量的物料组成所述第一物料集，所述第一物料集中具有每个单路召回子模块所召回的物料。

8.根据权利要求7所述的评估装置，其特征在于，还包括计算模块，其中：

所述组成模块，还用于按照第一分数值从大到小的排列顺序，从所述物料库中选取排序靠前的第二预设数量的物料，组成第三物料集；

所述计算模块，用于分别计算由各个单路召回子模块召回的物料在所述第三物料集中的物料占比；

所述评估模块，还用于基于各个物料占比，分别评估各个单路召回子模块与所述精排模块的一致性，其中，所述单路召回子模块与所述精排模块的一致性用于反映所述单路召回子模块的召回准确度，所述物料占比越大，所述单路召回子模块与所述精排模块的一致性越高。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的推荐系统的评估方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的推荐系统的评估方法的步骤。