CN112925978A - 一种推荐系统评测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了推荐系统评测方法、装置、电子设备、介质和计算机程序产品，涉及人工智能领域，尤其涉及大数据领域。具体实现方案为：挖掘用户的负反馈结果实例；对负反馈结果实例进行筛选，得到至少一个目标负反馈结果实例；根据目标负反馈结果实例中的推荐信息的推荐原因，确定推荐系统的对应问题。本申请实施例中，基于反馈结果实例中的推荐信息对应的推荐原因，可以准确挖掘出推荐系统存在的问题，为后续优化推荐系统提供了保证。

Description

一种推荐系统评测方法、装置、电子设备和存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及大数据领域，具体涉及一种推系统果评测方法、装置、电子设备、存储介质和计算机程序产品。

背景技术

个性化推荐是根据用户的特征和偏好，通过采集、分析和定义其在端上的历史行为，最终理解和得出符合平台规则的用户特征和偏好，从而向用户推荐感兴趣的信息和商品。

目前，个性化推荐在内容、广告、商品等场景推荐中早已广泛应用，在这种千人千面的推荐系统中，应用了大规模机器学习等技术，使得推荐系统异常黑盒和复杂，进而使得如何找到推荐系统存在的问题，以及如何解释推荐效果成为亟待解决的问题。

发明内容

本申请提供了一种推荐系统评测方法、装置、电子设备、存储介质和计算机程序产品。

根据本申请的一方面，提供了一种推荐系统评测方法，包括：

挖掘用户的负反馈结果实例；

对负反馈结果实例进行筛选，得到至少一个目标负反馈结果实例；

根据目标负反馈结果实例中的推荐信息的推荐原因，确定推荐系统的对应问题。

根据本申请的另一方面，提供了一种推荐系统评测装置，包括：

挖掘模块，用于挖掘用户的负反馈结果实例；

筛选模块，用于对负反馈结果实例进行筛选，得到至少一个目标负反馈结果实例；

分析模块，用于根据目标负反馈结果实例中的推荐信息的推荐原因，确定推荐系统的对应问题。

根据本申请的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意实施例的推荐系统评测方法。

根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本申请任意实施例的推荐系统评测方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本申请任意实施例的推荐系统评测方法

根据本申请的技术，可以准确挖掘出推荐系统存在的问题，为后续优化推荐系统提供了保证。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请实施例的一种推荐系统评测方法的示意图；

图2a是根据本申请实施例的一种推荐系统评测方法的示意图；

图2b是根据本申请实施例的确定推荐原因的示意图；

图3是根据本申请实施例的一种推荐系统评测方法的示意图；

图4是根据本申请实施例的推荐系统评测方法的逻辑示意图；

图5是根据本申请实施例的召回问题深度分析的逻辑示意图；

图6是根据本申请实施例的模型预估问题深度分析的逻辑示意图；

图7是根据本申请实施例的一种推荐系统评测装置的示意图；

图8是用来实现本申请实施例的推荐系统评测推荐系统评测方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本申请实施例中，用户对推荐系统的推荐满意度可以分为满意/一般/反感三种，而令推荐系统产品最头痛的就是对广告反感的方面，这个方面直接影响用户对于产品的最重要的口碑和体验，因此本申请实施例首先需从用户反感的推荐入手，降低用户反感的推荐比例从而使得整体效果提升；其次用户对推荐的满意度是一种主观行为，所以导致推荐效果没有所谓的准确率，因此需要收集用户主观不满意的推荐实例(即负反馈结果实例)；最后针对用户不满意的问题需要推荐可解释，再通过批量问题找到推荐系统问题洼地或短板。具体的实现过程参见如下具体的实施例。

图1为本申请实施例的推荐系统评测方法的流程示意图，本实施例可适用于挖掘推荐系统存在的问题，以及如何解释推荐效果的情况。该方法可由一种推荐系统评测制装置来执行，该装置采用软件和/或硬件的方式实现，并集成在电子设备上。

具体的，参见图1，推荐系统评测方法如下：

S101、挖掘用户的负反馈结果实例。

其中，负反馈结果实例中至少包括推荐系统中用户不满意的推荐信息和不满意的原因，推荐信息可选的为广告、商品、内容等。推荐系统所做的事情就是匹配出和用户当下兴趣需求最相关的推荐信息，并展示给用户，然后收集用户的反馈，继续推荐。推荐系统推送信息需要经过多个阶段，如用户画像识别、推荐信息模型识别、召回、点击率预估和排序(粗排、精排、重排)、策略过滤，且大部分阶段的计算依靠复杂的机器学习模型。

本申请实施例中，用户的负反馈结果实例可以从如下任一反馈源进行挖掘：1)内部评估数据：依托于自建评估平台的能力，双周粒度推动产品内部PM(Product Manager，产品经理)、RD(Research and Development engineer，研发工程师)QA(Qualtiy Assurance，品质保证)进行自评和代入式满意度评估反馈。2)权威机构数据：月度发起对产品的众测，针对不同地区画像等用户进行问卷调研和回收。3)Dislike负反馈数据：来源于应用软件上线的体验反馈渠道，所有用户都可以进行反馈不喜欢推荐信息以及不喜欢的原因。4)投诉数据：同Dslike负反馈数据。5)舆情数据：来源于商业舆情数据组，针对外部对商业产品的评价进行舆情收集。

各个反馈源各有优缺点，具体的参见表1。

表1反馈来源

在综合考虑的基础上，可内部自评，Dislike负反馈，权威机构数据作为反馈源。

进一步的，若反馈源为Dislike负反馈，由于Dislike反馈源存在数据噪声大的特点，则在挖掘用户的负反馈结果实例时，可通过对反馈源包括的负反馈结果实例进行噪声处理和行为识别，得到用户的负反馈结果实例，以保证获得的真实的负反馈结果实例。具体的，首先去除疑似机器行为的数据，例如用户点击dislike比例过高(机器)，则过滤掉该用户；其次筛选留下针对需求或者兴趣类满意度的发反馈结果实例，将因为重复、物料质量等因素导致的负反馈结果实例过滤；最后根据历史用户行为进行权重的平滑加权处理，根据阈值最后保留相应反馈的真实数据。

针对权威机构数据和内部评估数据作为反馈源时，这两种数据是用户满意度评估的高质数据，其针对用户发放设计好的问卷，可以获得用户对于广告各个层面的真实评价，同时基于用户在短期内需求和兴趣不会发生巨大转移的原则，针对此部分用户可以持续追踪在后续产品推荐中，推荐系统的广告推荐内容和表现，通过后验数据挖掘的到更多负反馈结果实例。

S102、对负反馈结果实例进行筛选，得到至少一个目标负反馈结果实例。

本申请实施例中，在S101中挖掘到用户的负反馈结果实例后，为了对其进行统计分析，筛选出突出问题或行业的负反馈结果实例，以便后续有针对性性的优化推荐系统。

在一种可选的实施方式中，可采用大盘统计分析的方式，针对不同的推荐阶段进行对负反馈结果实例进行筛选，得到至少一个目标负反馈结果实例。

S103、根据目标负反馈结果实例中的推荐信息的推荐原因，确定推荐系统的对应问题。

本申请实施例中，推荐信息的推荐原因是指推荐系统为什么把用户不满意的推荐信息推送给用户的解释。而要确定推荐信息的推荐原因，则需要推荐系统具备推荐可解释的能力，然而复杂的系统和机器学习方法造成了推荐系统的理解困难。基于此发明人提出一种推荐可解释的方法，具体的，将埋点技术应用到推荐系统中，针对推荐系统的在线推荐和离线模型等进行全面的跟踪链路打点收集，达到针对每一次信息推荐从画像识别->广告模型->广告召回->点击预估排序->策略过滤的各个步骤的信息收集和追踪，进而根据收集的信息确定推荐原因。

而在得到推荐原因后，即可确定推荐系统的对应问题，其中推荐系统的对应问题是指推荐系统中待优化的问题。示例性的，推荐原因是根据用户搜索关键词推荐的，由于用户不满意推荐信息，则认为推荐系统存在的对应问题是搜索关键词与推荐信息的相关性差的问题，后续可提升推荐系统相关性阈值，以优化系统。

本申请实施例中，通过筛选操作，可选出突出问题或行业的负反馈结果实例，以便后续有针对性性的优化推荐系统；而且基于反馈结果实例中的推荐信息对应的推荐原因，可以准确挖掘出推荐系统存在的对应问题，为后续优化推荐系统提供了保证。

图2a是根据本申请实施例的推荐系统评测方法的流程示意图，本实施例是在上述实施例的基础上进行优化，参见图2a，推荐系统评测方法具体如下：

S201、挖掘用户的负反馈结果实例。

其中，负反馈结果实例中至少包括推荐系统中用户不满意的推荐信息和不满意的原因。

S202、确定负反馈结果实例中推荐信息在召回阶段中至少两个维度的负反馈率，并将负反馈率最大维度所在的负反馈结果实例作为目标负反馈结果实例。

本申请实施例中，召回阶段的维度包括不同行业(例如游戏，小说，美妆等)、产品通道(例如关键词，兴趣，LBS等)和召回分支(例如关键词-一阶时序模型，关键词-ernie触发等)，而在确定负反馈率时，可在三个维度下进行偏好度(TGI)分析，并将分析结果作为对应维度的负反馈率，进一步的，将负反馈率最大维度所在的负反馈结果实例作为目标负反馈结果实例，由此可以找到产生负反馈结果实例最多召回渠道，使得后续可针对该召回渠道进行系统优化。

S203、根据目标负反馈结果实例中的推荐信息在召回阶段的关键信息，确定目标负反馈结果实例中推荐信息的推荐原因，并根据推荐原因确定推荐系统的对应问题。

本申请实施例中，可通过埋点跟踪的方式确定召回阶段的关键信息，其中，关键信息包括推荐信息的触发分支、召回词以及召回词原始信号(即用户搜索关键词)；进而根据关键信息确定推荐原因。示例性的，参见图2b，其示出了确定推荐原因的示意图，其中用户为属性“男，35-44岁，IT通讯电子，专业技术人员”，推送的推荐信息为热风炉的广告，在分析推荐原因是，通过埋点跟踪获得的召回阶段的关键信息有：召回分支为“宽泛搜索关键词”，召回词为“燃气锅炉”，召回词原始信号为“燃气缴费”和“北京燃气公司”，由此可知，由于用户搜索过“燃气”一词，推荐系统通过扩词操作召回“燃气锅炉”，由此可知，推荐系统是根据相关性进行推荐的。由于用户并不满意该条推荐信息，因此认为推荐系统存在相关性问题，例如，召回词和召回词原始信号之间相关性差的问题。

本申请实施例中，通过召回阶段的关键信息科准确确定推荐原因，实现了推荐可解释，而且根据推荐原因可以快速发现推荐系统存在的问题。

进一步的，对应问题包括如下至少一项：推荐信息的触发词与用户输入信号不相关的问题，推荐信息的触发词与触发词购买方不相关的问题，以及用户输入信号与触发词购买方不相关的问题。在此需要说明的是，通过对推荐系统的对应问题进行归类，便于后续评估分析。

进一步的，在确定推荐系统的对应问题后，还需要进一步的深度分析，以衡量用户对推荐系统的满意程度，进而给出度量指标。可选的，在得到推荐信息的触发词(即召回词)后，确定用户输出的原始信号(即召回词的原始信号)，进而计算推荐信息的触发词与用户输入的原始信号之间的第一相关性，由于有的触发词无法查到对应的用户输入原始信号，因此可以计算推荐信息的触发词与用户历史周期内(例如一周内)浏览点击数据之间的第二相关性；后续可通过调整第一相关性和第二相关性的阈值，增强触发词与用户的原始信号之间的相关度，以优化推荐系统。

为了衡量触发词购买方购买与自身相关程度，可计算推荐信息的触发词分别与推荐信息实体、推荐信息行业、推荐信息标题和豁免关键词之间的第三相关性；后续可通过调整第三相关性，确保购买方尽可能购买与自身相关的触发词。

进一步的，为了衡量用户输入的原始信号与推荐信息的标题之间的相关程度，还需计算用户输入的原始信号和推荐信息的标题之间的第四相关性。

将第一相关性、第二相关性、第三相关性和第四相关性作为推荐系统的推荐效果度量指标。在此需要说明的是，由于是批量的进行计算分析，因此输出的推荐效果度量指标是以曲线形式表示的，由此通过输出推荐效果度量指标，可直观的确定用户对推荐系统的满意度。

进一步的，在发现问题后，需要对推荐系统进行项目优化，具体的，可以再推荐系统迭代过程中，根据推荐效果度量指标进行项目拦截，例如针对某一项目，若发现某一指标不满足预设条件，则将该项目进行下线，以降低效果损失。而且在推荐系统上线后，还可以对推荐效果的度量指标进行实时监控，以便能够实时了解用户对推荐系统的满意程度。

图3是根据本申请实施例的推荐系统评测方法的流程示意图，本实施例是在上述实施例的基础上进行优化，参见图3，推荐系统评测方法具体如下：

S301、挖掘用户的负反馈结果实例。

其中，负反馈结果实例中至少包括推荐系统中用户不满意的推荐信息和不满意的原因。

S302、确定负反馈结果实例中推荐信息在模型预估阶段中至少两个维度的被高估程度，并将被高估程度大于阈值的负反馈结果实例作为目标负反馈结果实例。

本申请实施例中，在推荐场景下模型高估问题会导致用户不满意推荐信息的竞得率高，因此针对模型进行高估的规则计算，确定负反馈结果实例中推荐信息在模型预估阶段中至少两个维度的被高估程度，以便根据高估程度筛选模型预估高估的负反馈结果实例。需要说明的是，高估程度可选的为预设阈值，通过高估程度可快速筛选被高估的负反馈实例。

本申请实施例中，模型高估可以是用户历史偏好、图片美观等因素造成的。示例性的，通过高估规则计算，得到用户历史点击率为3.7％，推荐信息历史点击率为0.94％，模型预估的点击率为3.26％，由此可知，预估的点击率明显高于推荐信息的历史点击率，也即用户历史偏好导致点击率被高估。

S303、根据目标负反馈结果实例中的推荐信息的推荐原因，确定推荐系统的对应问题。

其中，推荐系统的对应问题还包括模型高估问题。

进一步的，为了进一步挖掘推荐系统的问题，方法还包括：针对目标负反馈结果实例，确定在模型预估阶段使用的特征数据，其中特征数据是通过埋点跟踪确定的，特征数据示例性的为用户性别，年龄等，也可以为其他特征；对特征数据进行替换，基于替换后的特征数据重新进行预估，并根据重新预估结果对特征数据按照重要性进行排序，其中重要性用于衡量特征数据对模型预估的影响，特征数据越重要，对模型预估的影响越大；根据排序结果进行共性挖掘，得到模型预估阶段的偏差问题，以便进行模型优化。在此需要说明的是，并非推荐的所有特征都已经应用于模型，随着环境的变化，未包含在模型预估中的特征会影响重要特征，因此需要再针对同类重要特征下的负反馈实例进行共性挖掘以找到模型问题。

图4是根据本申请实施例的推荐系统评测方法的逻辑示意图，本实施例是在上述实施例的基础上进行优化，参见图4，推荐系统评测逻辑主要涉及效果问题的挖掘，具体的，首先进行大盘统计分析，针对不同的阶段例如“广告召回”，“模型预估”等进行不同维度的负反馈问题分析率的计算。例如在广告召回阶段，在不同广告行业(游戏，小说，美妆等)、产品通道(例如关键词，兴趣，LBS等)、召回分支(关键词-一阶时序模型，关键词-ernie触发等)三个重要特征下进行TGI分析，从而找到问题最多的广告召回渠道。在模型预估阶段，在大盘、用户、广告等维度对模型进行高估的规则计算，筛选模型预估高估的负反馈结果实例。通过两个阶段的筛选，得到负反馈结果集合。

进而对负反馈结果集合中的各负反馈结果实例进行推荐解释，得到每个负反馈结果实例对应的推荐原因，进而根据推荐原因进行问题归类，也即是确定推荐系统存在的问题。进一步的，做进一步的评估挖掘分析，以产出推荐效果指标以及产品闭环。

进一步的，由于流量波动和系统波动引起的新风险问题，因此还需要将该类风行问题挖掘召回。具体的，基于反馈数据，通过人工分析，得到及其评估策略，进而通过机器探索，挖掘共性问题，以得到新风险问题。

图5是根据本申请实施例的召回问题深度分析的逻辑示意图，参见图5，其具体示出了广告召回中的一种显式召回的策略挖掘分析方法，通过大盘统计分析，针对游戏/小说等突出行业中投放的触发词产品(Query一阶/ernie翻译等)突出问题进行深度分析，发现存在信号变换相关性，广告主定向相关性，端到端相关性的三大问题。

在进行机器评估挖掘时，针对信号变换相关性，基于触发词word，反查原始信号，若没有查到原始信号，则获取用户历史1周浏览点击数据；进而计算word与原始信号的相关性，以及计算word与用户历史1周浏览点击数据的相关性，后续推荐系统项目优化时，只需调整这两个相关性的阈值，即可解决信号变换相关性问题。

针对广告主定向相关性，分别计算word与广告行业、广告实体、标题以及豁免关键词的相关性。由于word与广告行业的相关性对广告主定向相关性问题的影响最大，因此后续推荐系统项目优化时，可通过调整分行业阈值。

针对端到端相关性，基于word反查原始信号以及广告标题，进而计算原始信号与广告标题的相关性。在计算完上述的相关性后，将结算结果作为推荐系统的推荐效果度量指标产出，后续可根据效果指标进行产品闭环。

图6是根据本申请实施例的模型预估问题深度分析的逻辑示意图，参见图6，通过大盘统计分析筛选出模型高估的负反馈结果实例，通过深度分析发现模型高估主要是由用户历史偏好和图片美观误导造成的。针对每个高估的负反馈结果实例进行解释：依托模型的明文特征解释工具，随机进行特征替换或者按照定制规则进行替换，得到影响本次预估的最重要的特征集合，再通过批量用户不满意负反馈结果实例进行共性分析，从而找到模型预估中存在的偏差问题，从而进行模型优化，最后并非推荐的所有特征都已经应用于模型，随着环境的变化，未包含在模型预估中的特征会影响重要特征，因此需要再针对同类重要特征下的负反馈结果实例进行共性挖掘找到模型问题。最终产出评估负反馈实例的政府效果集合，后续可将该集合数据用评价用户对推荐系统的满意度。

图7是根据本申请实施例的推荐系统评测装置的结构示意图，本实施例可适用于挖掘推荐系统存在的问题，以及如何解释推荐效果的情况。如图7所示，该装置具体包括：

挖掘模块701，用于挖掘用户的负反馈结果实例；

筛选模块702，用于对负反馈结果实例进行筛选，得到至少一个目标负反馈结果实例；

分析模块703，用于根据目标负反馈结果实例中的推荐信息的推荐原因，确定推荐系统的对应问题。

在上述实施例的基础上，可选的，筛选模块包括：

第一筛选单元，用于确定负反馈结果实例中推荐信息在召回阶段中至少两个维度的负反馈率，并将负反馈率最大维度所在的负反馈结果实例作为目标负反馈结果实例。

在上述实施例的基础上，可选的，分析模块用于：

根据目标负反馈结果实例中的推荐信息在召回阶段的关键信息，确定目标负反馈结果实例中推荐信息的推荐原因，并根据推荐原因确定推荐系统的对应问题。

在上述实施例的基础上，可选的，推荐系统的对应问题包括如下至少一项：推荐信息的触发词与用户输入信号不相关的问题，推荐信息的触发词与触发词购买方不相关的问题，以及用户输入信号与触发词购买方不相关的问题。

在上述实施例的基础上，可选的，装置还包括：

第一计算模块，用于计算推荐信息的触发词与用户输入的原始信号之间的第一相关性，以及计算推荐信息的触发词与用户历史周期内浏览点击数据之间的第二相关性；

第二计算模块，用于计算推荐信息的触发词分别与推荐信息实体、推荐信息行业、推荐信息标题和豁免关键词之间的第三相关性；

第三计算模块，用于计算用户输入的原始信号和推荐信息的标题之间的第四相关性；

指标确定模块，用于将第一相关性、第二相关性、第三相关性和第四相关性作为推荐系统的推荐效果度量指标。

在上述实施例的基础上，可选的，还包括：

监控与拦截模块，用于对推荐效果的度量指标进行实时监控；或者根据推荐效果度量指标进行项目拦截。

在上述实施例的基础上，可选的，筛选模块还包括：

第二筛选单元，用于确定负反馈结果实例中推荐信息在模型预估阶段中至少两个维度的被高估程度，并将被高估程度大于阈值的负反馈结果实例作为目标负反馈结果实例。

在上述实施例的基础上，可选的，推荐系统的对应问题还包括模型高估问题；装置还包括：

特征数据炔烃模块，用于针对目标负反馈结果实例，确定在模型预估阶段使用的特征数据；

替换排序模块，用于对特征数据进行替换，基于替换后的特征数据重新进行预估，并根据重新预估结果对特征数据按照重要性进行排序；

共性挖掘模块，用于根据排序结果进行共性挖掘，得到模型预估阶段的偏差问题。

在上述实施例的基础上，可选的，挖掘模块用于：

对反馈源包括的负反馈结果实例进行噪声处理和行为识别，得到用户的负反馈结果实例。

本申请实施例提供的推荐系统评测装置可执行本申请任意实施例提供的推荐系统评测方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本申请任意方法实施例中的描述。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本申请的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如推荐系统评测方法。例如，在一些实施例中，推荐系统评测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的推荐系统评测方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行推荐系统评测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (21)

1.一种推荐系统评测方法，包括：

挖掘用户的负反馈结果实例；

对所述负反馈结果实例进行筛选，得到至少一个目标负反馈结果实例；

根据所述目标负反馈结果实例中的推荐信息的推荐原因，确定所述推荐系统的对应问题。

2.根据权利要求1所述的方法，其中，对所述负反馈结果实例进行筛选，得到至少一个目标负反馈结果实例，包括：

确定负反馈结果实例中推荐信息在召回阶段中至少两个维度的负反馈率，并将负反馈率最大维度所在的负反馈结果实例作为所述目标负反馈结果实例。

3.根据权利要求2所述的方法，其中，根据所述目标负反馈结果实例中的推荐信息的推荐原因，确定所述推荐系统的对应问题，包括：

根据所述目标负反馈结果实例中的推荐信息在召回阶段的关键信息，确定所述目标负反馈结果实例中推荐信息的推荐原因，并根据所述推荐原因确定所述推荐系统的对应问题。

4.根据权利要求2所述的方法，其中，所述对应问题包括如下至少一项：所述推荐信息的触发词与用户输入信号不相关的问题，所述推荐信息的触发词与触发词购买方不相关的问题，以及用户输入信号与触发词购买方不相关的问题。

5.根据权利要求4所述的方法，所述方法还包括：

计算所述推荐信息的触发词与用户输入的原始信号之间的第一相关性，以及计算所述推荐信息的触发词与用户历史周期内浏览点击数据之间的第二相关性；

计算所述推荐信息的触发词分别与推荐信息实体、推荐信息行业、推荐信息标题和豁免关键词之间的第三相关性；

计算用户输入的原始信号和所述推荐信息的标题之间的第四相关性；

将所述第一相关性、第二相关性、第三相关性和第四相关性作为推荐系统的推荐效果度量指标。

6.根据权利要求5所述的方法，还包括：

对所述推荐效果的度量指标进行实时监控；或者根据所述推荐效果度量指标进行项目拦截。

7.根据权利要求1所述的方法，其中，对所述负反馈结果实例进行筛选，得到至少一个目标负反馈结果实例，包括：

确定负反馈结果实例中推荐信息在模型预估阶段中至少两个维度的被高估程度，并将被高估程度大于阈值的负反馈结果实例作为所述目标负反馈结果实例。

8.根据权利要求7所述的方法，所述推荐系统的对应问题还包括模型高估问题；所述方法还包括：

针对所述目标负反馈结果实例，确定在模型预估阶段使用的特征数据；

对所述特征数据进行替换，基于替换后的特征数据重新进行预估，并根据重新预估结果对所述特征数据按照重要性进行排序；

根据排序结果进行共性挖掘，得到模型预估阶段的偏差问题。

9.根据权利要求1所述的方法，其中，挖掘用户的负反馈结果实例，包括：

对反馈源包括的负反馈结果实例进行噪声处理和行为识别，得到用户的负反馈结果实例。

10.一种推荐系统评测装置，包括：

挖掘模块，用于挖掘用户的负反馈结果实例；

筛选模块，用于对所述负反馈结果实例进行筛选，得到至少一个目标负反馈结果实例；

分析模块，用于根据所述目标负反馈结果实例中的推荐信息的推荐原因，确定所述推荐系统的对应问题。

11.根据权利要求10所述的装置，其中，筛选模块包括：

第一筛选单元，用于确定负反馈结果实例中推荐信息在召回阶段中至少两个维度的负反馈率，并将负反馈率最大维度所在的负反馈结果实例作为所述目标负反馈结果实例。

12.根据权利要求11所述的装置，其中，分析模块用于：

根据所述目标负反馈结果实例中的推荐信息在召回阶段的关键信息，确定所述目标负反馈结果实例中推荐信息的推荐原因，并根据所述推荐原因确定所述推荐系统的对应问题。

13.根据权利要求11所述的装置，其中，所述对应问题包括如下至少一项：所述推荐信息的触发词与用户输入信号不相关的问题，所述推荐信息的触发词与触发词购买方不相关的问题，以及用户输入信号与触发词购买方不相关的问题。

14.根据权利要求13所述的装置，所述装置还包括：

第一计算模块，用于计算所述推荐信息的触发词与用户输入的原始信号之间的第一相关性，以及计算所述推荐信息的触发词与用户历史周期内浏览点击数据之间的第二相关性；

第二计算模块，用于计算所述推荐信息的触发词分别与推荐信息实体、推荐信息行业、推荐信息标题和豁免关键词之间的第三相关性；

第三计算模块，用于计算用户输入的原始信号和所述推荐信息的标题之间的第四相关性；

指标确定模块，用于将所述第一相关性、第二相关性、第三相关性和第四相关性作为推荐系统的推荐效果度量指标。

15.根据权利要求14所述的装置，还包括：

监控与拦截模块，用于对所述推荐效果的度量指标进行实时监控；或者根据所述推荐效果度量指标进行项目拦截。

16.根据权利要求10所述的装置，其中，筛选模块还包括：

第二筛选单元，用于确定负反馈结果实例中推荐信息在模型预估阶段中至少两个维度的被高估程度，并将被高估程度大于阈值的负反馈结果实例作为所述目标负反馈结果实例。

17.根据权利要求16所述的装置，所述推荐系统的对应问题还包括模型高估问题；所述装置还包括：

特征数据炔烃模块，用于针对所述目标负反馈结果实例，确定在模型预估阶段使用的特征数据；

替换排序模块，用于对所述特征数据进行替换，基于替换后的特征数据重新进行预估，并根据重新预估结果对所述特征数据按照重要性进行排序；

共性挖掘模块，用于根据排序结果进行共性挖掘，得到模型预估阶段的偏差问题。

18.根据权利要求10所述的装置，其中，挖掘模块用于：

对反馈源包括的负反馈结果实例进行噪声处理和行为识别，得到用户的负反馈结果实例。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。

Images