CN110995529B - 推荐系统的配置数据测试方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种推荐系统的配置数据测试方法、装置、电子设备及存储介质。该方法包括：获取确定的待测配置数据，待测配置数据用于验证与待测配置数据对应的目标收益指标的有效性；继而获取推荐系统中与目标收益指标对应的第一运行监测参数；再判断第一运行监测参数所表征的推荐收益是否满足目标条件；若不满足，则下线待测配置数据。从而通过获取推荐系统中与目标收益指标对应的第一运行监测参数，在判断第一运行监测参数所表征的推荐收益不满足目标条件的情况下，下线待测配置数据，实现了通过筛选推荐系统的配置数据，以提升推荐系统的内容推送转化率，从而提升推荐系统的推荐效果，提升用户体验。

Description

推荐系统的配置数据测试方法、装置及电子设备

技术领域

本申请涉及互联网技术领域，更具体地，涉及一种推荐系统的配置数据测试方法、装置、电子设备及存储介质。

背景技术

推荐系统(Recommender system)是一种通过运用深度学习、神经网络等技术帮助用户快速获取有用信息的复杂系统，通过分析用户的历史行为，对用户画像进行建模，从而主动给用户推荐能够满足他们兴趣和需求的内容。目前的推荐系统产品多样，涉及衣食住行的各个行业，涉及范围广。然而，随着推荐系统数据的巨量递增，现有的推荐系统并不能准确地向用户推荐用户所感兴趣的内容，甚至一些频繁推送还会给用户带来打扰，极大地降低了用户体验，因此，推荐系统的优化成为了一个亟待解决的问题。

发明内容

鉴于上述问题，本申请提出了一种推荐系统的配置数据测试方法、装置、电子设备及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种推荐系统的配置数据测试方法，该方法包括：获取确定的待测配置数据，所述待测配置数据用于验证与所述待测配置数据对应的目标收益指标的有效性，所述目标收益指标用于验证推荐系统的推荐效果；获取所述推荐系统中与所述目标收益指标对应的第一运行监测参数，所述第一运行监测参数为第一用户流量的运行监测参数；判断所述第一运行监测参数所表征的推荐收益是否满足目标条件；若不满足，下线所述待测配置数据。

第二方面，本申请实施例提供了一种推荐系统的配置数据测试装置，该装置包括：第一获取模块，用于获取确定的待测配置数据，所述待测配置数据用于验证与所述待测配置数据对应的目标收益指标的有效性，所述目标收益指标用于验证推荐系统的推荐效果；第二获取模块，用于获取所述推荐系统中与所述目标收益指标对应的第一运行监测参数，所述第一运行监测参数为第一用户流量的运行监测参数；判断模块，用于判断所述第一运行监测参数所表征的推荐收益是否满足目标条件；处理模块，用于若不满足，下线所述待测配置数据。

第三方面，本申请实施例提供了一种电子设备，包括存储器以及一个或多个处理器；一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有程序代码，其中，在程序代码由处理器运行时执行上述第一方面所述的方法。

本申请实施例提供的一种推荐系统的配置数据测试方法、装置、电子设备及存储介质。本方法通过获取确定的待测配置数据，待测配置数据用于验证与待测配置数据对应的目标收益指标的有效性，目标收益指标用于验证推荐系统的推荐效果；继而获取推荐系统中与目标收益指标对应的第一运行监测参数，第一运行监测参数为第一用户流量的运行监测参数；再判断第一运行监测参数所表征的推荐收益是否满足目标条件；若不满足，则下线待测配置数据。从而通过获取推荐系统中与目标收益指标对应的第一运行监测参数，在判断第一运行监测参数所表征的推荐收益不满足目标条件的情况下，下线待测配置数据，实现了通过筛选推荐系统的配置数据，以提升推荐系统的内容推送转化率，从而提升推荐系统的推荐效果，提升用户体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请一实施例提供的一种推荐系统的配置数据测试方法的方法流程图。

图2示出了本申请另一实施例提供的一种推荐系统的配置数据测试方法的方法流程图。

图3示出了本申请又一实施例提供的一种推荐系统的配置数据测试方法的方法流程图。

图4示出了本申请再一实施例提供的一种推荐系统的配置数据测试方法的方法流程图。

图5示出了本申请实施例提供的一种推荐系统的配置数据测试装置的结构框图。

图6示出了本申请实施例提供的一种电子设备的结构框图。

图7示出了本申请实施例的用于保存或者携带实现根据本申请实施例的推荐系统的配置数据测试方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

推荐系统是一种通过运用深度学习、神经网络等技术帮助用户快速获取有用信息的复杂系统，通过分析用户的历史行为，对用户画像进行建模，从而主动给用户推荐能够满足他们兴趣和需求的内容。目前的推荐系统产品多样，涉及衣食住行的各个行业，涉及范围广。例如，作为一种方式，可以根据用户的浏览内容推荐与用户的浏览内容相似的小视频或直播，或者是推荐用户感兴趣的短视频ID等。

然而，随着推荐系统数据的巨量递增，现有的推荐系统并不能准确地向用户推荐用户所感兴趣的内容，甚至一些频繁推送还会给用户带来打扰，极大地降低了用户体验。

针对上述的问题，发明人经过长期的研究发现，可以通过获取确定的待测配置数据，待测配置数据用于验证与待测配置数据对应的目标收益指标的有效性，目标收益指标用于验证推荐系统的推荐效果；继而获取推荐系统中与目标收益指标对应的第一运行监测参数，第一运行监测参数为第一用户流量的运行监测参数；再判断第一运行监测参数所表征的推荐收益是否满足目标条件；若不满足，则下线待测配置数据。从而通过获取推荐系统中与目标收益指标对应的第一运行监测参数，在判断第一运行监测参数所表征的推荐收益不满足目标条件的情况下，下线待测配置数据，实现了通过筛选推荐系统的配置数据，以提升推荐系统的内容推送转化率，通过保留与有效的目标收益指标对应的待测配置数据，从而可以提升推荐系统的推荐效果，提升用户体验。因此，提出了本申请实施例提供的一种推荐系统的配置数据测试方法、装置、电子设备及存储介质。

下面将结合附图具体描述本申请的各实施例。

请参阅图1，示出了本申请一实施例提供的一种推荐系统的配置数据测试方法的流程图，本实施例提供一种推荐系统的配置数据测试方法，可应用于推荐系统，该推荐系统可以用于推荐用户感兴趣的各种内容(例如，这些内容可以包括直播，主播、视频、游戏)等，该方法包括：

步骤S110：获取确定的待测配置数据。

需要说明的是，本申请实施例中的待测配置数据可以用于验证与待测配置数据对应的目标收益指标的有效性，目标收益指标可以用于验证推荐系统的推荐效果。

可以理解的是，机械的按照固有的推荐策略来为各种用户推荐内容并不能满足不同类型用户的推荐需求。例如，假设某条推荐策略为“早上推荐热门时事新闻、短视频，中午推送热播电视剧，晚上推荐美食”，对于一些用户(例如不需要按照工作日工作制上班的用户)可能会有时间去点开这些推送信息查看，而对于那些早上着急赶时间上班，白天忙于工作，晚上又还有应酬的用户则可能会忽略掉这些推送信息。

作为一种改善上述问题的方式，本实施例将被推荐内容的推荐策略作为实验配置数据，通过修改实验配置数据，得到确定的待测配置数据。其中，确定的待测配置数据可以理解为：为了用于验证目标收益指标的有效性，所配置的待推荐内容的推荐策略，包括待推荐内容的具体内容，推荐频率、推荐次数、推荐时间以及推荐方式等。可选的，待推荐内容可以是根据用户喜好，个性化推荐给用户的短视频、直播、主播的直播间、游戏等。例如，可以将“早上推荐热门时事新闻、短视频，中午推送热播电视剧，晚上推荐美食”修改为“早上推荐趣味笑话，中午推送轻音乐，晚上推荐路况信息”，那么可以将“早上推荐趣味笑话，中午推送轻音乐，晚上推荐路况信息”作为确定的待测配置数据。

目标收益指标可以预先设定，可选的，目标收益指标可以包括但不限于被推荐内容的用户留存、时长、内容点击率、直播间进入率、用户观看次数以及消费金额等，具体内容可以根据实际情况进行增减设定，在此不作限定。

作为一种方式，在对推荐系统的推荐效果进行测试的过程中，可以根据测试效果不断地修改实验配置数据，得到对应确定的待测配置数据。

步骤S120：获取所述推荐系统中与所述目标收益指标对应的第一运行监测参数。

其中，第一运行监测参数可以为第一用户流量的运行监测参数。第一用户流量为配置的第一层级用户流量。例如，可以将推荐系统平台的全体用户进行流量划分，得到100个桶，在这种方式下，全体用户就落在了100个实验桶里面，可以将10个桶的用户作为第一用户流量，可选的，第一用户流量的具体数值可以根据实际情况进行设定，全体用户可以划分为多个层级的用户流量。

作为一种实施方式，当获取了确定的待测配置数据之后，推荐系统可以基于该待测配置数据进行内容推送，继而产生运行日志，该运行日志存储于日志管理模块。可选的，不同的待测配置数据对应的运行日志可以不同。在该种方式下，可以将与当前的目标收益指标对应的运行日志的参数作为与第一用户流量对应的第一运行日志参数。

可选的，可以通过向日志管理模块发送运行监测参数获取请求的方式获取与目标收益指标对应的第一运行监测参数。可选的，也可以通过日志回传的方式获取与目标收益指标对应的第一运行监测参数，即接收日志管理模块主动上传的第一运行监测参数。

步骤S130：判断所述第一运行监测参数所表征的推荐收益是否满足目标条件。

其中，推荐收益可以理解为运行确定的待测配置参数后给推荐系统带来的收益，包括正向收益以及负向收益。目标条件可以包括该推荐收益大于预先设定的预设收益或者该推荐收益达到预期效果。可选的，若第一运行监测参数所表征的推荐收益靠近预设收益，那么可以将当前推荐收益作为正向收益；而若第一运行监测参数所表征的推荐收益远离预设收益，那么可以将当前推荐收益作为负向收益。

在一个具体的应用场景中，假设目标收益指标为时长，若与第一运行监测参数对应的时长为110，那么可以将该时长与预设时长进行比较。可选的，若预设时长为100，即该时长大于预设时长，那么可以判定第一运行监测参数所表征的推荐收益满足目标条件；可选的，若该时长小于100，那么可以判定第一运行监测参数所表征的推荐收益不满足目标条件。

步骤S140：下线所述待测配置数据。

作为一种方式，若第一运行监测参数所表征的推荐收益不满足目标条件，则可以下线当前待测配置数据，从而可以通过筛除推荐系统中不符合推荐预期的配置数据，以提升推荐系统的推送内容的推送转化率。可选的，下线可以理解为删除该待测配置数据；或者可以理解为对当前的待测配置数据进行修改。

步骤S150：判断所述第一用户流量是否达到设定阈值。

作为另一种方式，若第一运行监测参数所表征的推荐收益满足目标条件，为了提升该待测配置数据在推荐系统的整体业务基线上的普适性，可以增加用户流量以验证当前待测配置数据给推荐系统带来的推荐收益是否稳定。可选的，若稳定，那么可以继续增加用户流量进行验证。需要说明的是，任何一条待测配置数据，可以设定一个其所能容纳的用户流量的设定阈值，以防止因用户流量过多导致的系统瘫痪等带来的损失。

作为一种实施方式，在第一运行监测参数所表征的推荐收益满足目标条件的情况下，可以对第一用户流量是否达到设定阈值进行判断。可选的，若没有达到阈值，那么可以继续增加用户流量；可选的，若达到设定阈值，那么将不再继续增加用户流量。可选的，可以通过将第一用户流量的值与设定阈值进行比较的方式判断第一用户流量是否达到设定阈值，若第一用户流量的值大于等于设定阈值，那么可以判定第一用户流量达到设定阈值；若第一用户流量的值小于设定阈值，那么可以判定第一用户流量没有达到设定阈值。

步骤S160：获取所述推荐系统中与所述目标收益指标对应的第二运行监测参数。

可选的，若第一用户流量没有达到设定阈值，则可以继续获取推荐系统中与目标收益指标对应的第二运行监测参数。需要说明的是，第二运行监测参数为第二用户流量的运行监测参数，第二用户流量的值大于第一用户流量的值。

可以理解的是，在第一用户流量没有达到设定阈值，且第一运行监测参数所表征的推荐收益满足目标条件的情况下，可以扩大用户流量。可选的，可以使用与待测配置数据对应的推荐方式继续为第二用户流量的用户进行内容推送，得到第二运行监测参数，进而可以通过第二运行监测参数所表征的推荐收益进一步判断当前待测配置数据的稳定性。

例如，在一个具体的应用场景中，以前述示例为例，假设确定待测配置数据为“早上推荐趣味笑话，中午推送轻音乐，晚上推荐路况信息”，若推荐系统的全体用户为100桶，若先用了10桶用户验证了待测配置数据对应的目标收益指标是有效的，那么可以将用户流量增加至20桶，将获取到的与20桶用户流量对应的运行监测参数作为第二运行监测参数，以便于可以通过第二运行监测参数所表征的推荐收益验证待测数据的稳定性与系统收益的稳定性。

可选的，若第一用户流量达到设定阈值，则可以结束测试。在这种方式下，可以基于当前的待测配置数据进行内容推送。

步骤S170：判断所述第二运行监测参数所表征的推荐收益是否满足目标条件。

作为一种方式，在获取了与目标收益指标对应的第二运行监测参数之后，可以进一步判断第二运行监测参数所表征的推荐收益是否满足目标条件。可选的，其判断原理以及具体的判断方式可以参考前述步骤S130中的描述，在此不再赘述。

步骤S180：判断所述第二用户流量是否达到所述设定阈值。

作为一种方式，若第二运行监测参数所表征的推荐收益满足目标条件，则可以继续判断第二用户流量是否达到设定阈值。需要说明的是，若第二用户流量没有达到设定阈值，将会进入一个循环增加用户流量并且循环判断增加后的用户流量是否达到设定阈值的循环模式，其中，增加用户流量循环至所增加后的用户流量达到设定阈值时将不再继续增加，相应地，将不再循环判断用户流量是否达到设定阈值，以实现增加推荐策略的可靠性。

而若第二运行监测参数所表征的推荐收益不满足目标条件，则可以下线待测配置数据，实现了通过筛除推荐系统中不符合推荐预期的配置数据，以提升推荐系统的推送内容的推送转化率。

步骤S190：结束测试。

可选的，若第二用户流量达到设定阈值，则可以结束测试。

本实施例提供的推荐系统的配置数据测试方法，通过获取确定的待测配置数据，待测配置数据用于验证与待测配置数据对应的目标收益指标的有效性，目标收益指标用于验证推荐系统的推荐效果；继而获取推荐系统中与目标收益指标对应的第一运行监测参数，第一运行监测参数为第一用户流量的运行监测参数；再判断第一运行监测参数所表征的推荐收益是否满足目标条件；若不满足，则下线待测配置数据。从而通过获取推荐系统中与目标收益指标对应的第一运行监测参数，在判断第一运行监测参数所表征的推荐收益不满足目标条件的情况下，下线待测配置数据，实现了通过筛选推荐系统的配置数据，以提升推荐系统的内容推送转化率，从而提升推荐系统的推荐效果，提升用户体验。

请参阅图2，示出了本申请另一实施例提供的一种推荐系统的配置数据测试方法的流程图，本实施例提供一种推荐系统的配置数据测试方法，可应用于推荐系统，该方法包括：

步骤S210：获取确定的待测配置数据。

步骤S220：获取所述推荐系统中与所述目标收益指标对应的第一运行监测参数。

步骤S230：获取所述第一运行监测参数所表征的推荐收益。

本实施例中，目标收益指标可以包括一个收益指标，也可以包括多个收益指标的组合。例如，目标收益指标可以为时长，或者可以为内容点击率与用户留存等。可选的，若目标收益指标包括多个收益指标，具体的多个收益指标组合的内容可以不受限制。

作为一种方式，可以通过统计第一运行监测参数中与目标收益指标关联的数据来获取第一运行参数所表征的推荐收益。例如，假设待测配置数据为“时长为10分钟的搞笑短视频”，目标收益指标为内容点击率与用户留存，那么可以将推荐系统推荐该时长为10分钟的搞笑短视频之后，获得的可以表征内容点击率的具体数值与可以表征用户留存的具体数值作为第一运行监测参数所表征的推荐收益。

步骤S240：判断所述推荐收益是否大于与所述目标收益指标对应的预设推荐收益。

其中，预设推荐收益可以是预先设定的某一目标收益指标的预期收益或者是某一目标收益指标组合的预期收益，也可以是目标收益指标的历史收益。可选的，预设推荐收益的具体数值可以根据实际情况进行设定，具体数值可以不作限定。

作为一种方式，可以通过判断第一运行监测参数所表征的推荐收益是否大于目标收益指标对应的预设推荐收益的方式判断第一运行参数所表征的推荐收益是否满足目标条件。

步骤S250：判定所述第一运行参数所表征的推荐收益满足目标条件。

作为一种方式，若第一运行监测参数所表征的推荐收益大于目标收益指标对应的预设推荐收益，那么可以判定第一运行参数所表征的推荐收益满足目标条件。在该种方式下，第一运行参数所表征的推荐收益可以达到目标收益指标的预期收益，从而可以实现提升待推送内容的推送转化率。

步骤S260：基于所述待测配置数据进行内容推荐。

作为一种实施方式，在第一运行监测参数所表征的推荐收益满足目标条件的情况下，可以基于待测配置数据进行内容推荐，以便于可以提升推荐系统的推荐效果。

步骤S270：判定所述第一运行参数所表征的推荐收益不满足目标条件。

作为另一种方式，若第一运行监测参数所表征的推荐收益不大于(即小于等于)目标收益指标对应的预设推荐收益，那么可以判定第一运行参数所表征的推荐收益不满足目标条件。在该种方式下，可以下线待测配置数据，以便于通过筛选推荐系统的配置数据，以提升推荐系统的内容推送转化率，从而提升推荐系统的推荐效果。

本实施例提供的推荐系统的配置数据测试方法，通过获取推荐系统中与目标收益指标对应的第一运行监测参数，在判断第一运行监测参数所表征的推荐收益满足目标条件的情况下，基于待测配置数据进行内容推荐，实现了通过筛选推荐系统的配置数据，以提升推荐系统的内容推送转化率。

请参阅图3，示出了本申请又一实施例提供的一种推荐系统的配置数据测试方法的流程图，本实施例提供一种推荐系统的配置数据测试方法，可应用于推荐系统，该方法包括：

步骤S310：获取确定的待测配置数据。

步骤S320：获取所述推荐系统中与所述目标收益指标对应的第一运行监测参数。

步骤S330：获取所述第一运行监测参数所表征的推荐收益。

步骤S340：判断所述推荐收益是否大于与所述目标收益指标对应的预设推荐收益。

步骤S350：判定所述第一运行参数所表征的推荐收益不满足目标条件。

其中，若第一运行监测参数所表征的推荐收益不大于(即小于等于)目标收益指标对应的预设推荐收益，那么可以判定第一运行参数所表征的推荐收益不满足目标条件。

步骤S360：判断所述推荐收益在指定时间段内是否存在变化。

可选的，若第一运行监测参数所表征的推荐收益大于目标收益指标对应的预设推荐收益，为了提升待测配置数据运行的可靠性与准确性，可以在第一运行监测参数所表征的推荐收益大于目标收益指标对应的预设推荐收益的情况下，继续判断该推荐收益在指定时间段内是否存在变化。

可选的，若可以在指定时间段内维持该推荐收益，那么可以判定与该待测配置数据对应的推荐方式是可靠的与稳定的；可选的，若该推荐收益无法在指定时间段内维持，那么可以判定与该待测配置数据对应的推荐方式是不稳定的。

例如，在一个具体的应用场景中，假设目标收益指标为观看时长，预设推荐收益对应的观看时长为30分钟，而推荐收益对应的观看时长为40分钟，若指定时间段为半小时，若在推荐系统运行的过程中，推荐收益在半小时内可以持续维持在40分钟左右(包括大于等于40分钟或者无限靠近40分钟)，那么可以判定推荐收益在指定时间段内不存在变化；而若推荐收益在半小时内变化波动较大，那么将可以判定推荐收益在指定时间段内存在变化。

步骤S361：下线所述待测配置数据。

作为一种方式，若推荐收益在指定时间段内存在变化，那么可以下线待测配置数据，以防由于配置数据设置不当造成的收益不稳定而影响推荐系统的推荐效果与整体推荐收益。

步骤S362：判定所述第一运行参数所表征的推荐收益满足目标条件。

作为另一种方式，若推荐收益在指定时间段内不存在变化，那么可以判定第一运行参数所表征的推荐收益满足目标条件。

本实施例提供的推荐系统的配置数据测试方法，通过获取推荐系统中与目标收益指标对应的第一运行监测参数，再获取第一运行监测参数所表征的推荐收益，在判定该推荐收益大于目标收益指标对应的预设推荐收益的情况下，进一步判断推荐收益在指定时间段内是否存在变化，在不存在变化，则判断第一运行监测参数所表征的推荐收益满足目标条件，通过多层判断，提升了数据的可靠性，同时提升了推荐系统基于待测配置数据进行个性化推荐的准确性。

请参阅图4，示出了本申请再一实施例提供的一种推荐系统的配置数据测试方法的流程图，本实施例提供一种推荐系统的配置数据测试方法，可应用于推荐系统，该方法包括：

步骤S410：获取确定的待测配置数据。

需要说明的是，本实施例中，待测配置数据为与第一分组关联的配置数据，目标条件可以包括与第二分组关联的预设收益。其中，第一分组为测试组，第二分组为对照组，作为一种方式，可以通过改变与第一分组对应的待测配置数据的实验配置以及与第一分组对应的用户流量的方式，测试不同的实验配置已经不同的用户流量给推荐系统带来的推荐收益，从而筛选出给推荐系统带来可靠收益的待测配置数据，使推荐系统以与该待测配置数据对应的推荐方式进行内容推荐，从而实现增加推荐系统的推荐收益，提升推荐系统的推荐效果。

步骤S420：获取所述推荐系统中与所述目标收益指标对应的第一运行监测参数。

步骤S430：获取所述第一运行监测参数所表征的推荐收益。

步骤S440：获取与所述目标收益指标对应的预设收益。

其中，本实施例中的预设收益可以为与已上线的配置数据对应的推荐收益。例如，某条配置数据在测试的过程中，其给推荐系统带来的收益十分稳定，那么可以将该条配置数据进行上线，以便于推荐系统可以基于与该条配置数据对应的推荐方式向用户推荐内容。在测试过程中，若需要再次测试与该条配置数据对应的某目标收益指标的当前收益时，可选的，在这种方式下，可以将该条配置数据给推荐系统带来的历史收益获取作为与该目标收益指标对应的预设收益。

可选的，对于与目标收益指标对应的预设收益的具体获取方式可以不作限定，例如，可以向日志管理模块请求获取与目标收益指标对应的运行监测参数，从而分析获取与目标收益指标对应的预设收益。可选的，也可以接收来自日志管理模块的日志回流信息(包括目标收益指标对应的历史运行监测参数)，通过读取日志回流信息的内容的方式获取与目标收益指标对应的预设收益。

步骤S450：将所述推荐收益与所述预设收益进行比对，得到目标结果数据。

其中，目标结果数据指的是在对第一分组的配置数据进行测试的过程中，将与不同数量的用户流量对应的推荐收益分别与预设收益进行比对后的结果数据。可选的，不同用户流量对应的推荐收益均与相同的目标收益指标对应。

例如，假设第一分组用户包括五个层级的用户流量，每一层级包括10桶用户流量，即第一用户流量为10桶，第二用户流量为20桶，第三用户流量为30桶，第四用户流量为40桶，第五用户流量为50桶；第二分组用户包括50桶用户流量，第二分组作为对照组。可选的，若用户流量的预设阈值为50桶，在对第一分组的配置数据进行测试的过程中，将第一分组中不同层级的用户流量对应的推荐收益分别与预设收益进行比对后，可以得到不同的比对结果，为了便于直观的查看推荐系统的收益的变化情况，可以将这些比对结果作为目标结果数据。

需要说明的是，本申请实施例中，若当前的待测配置数据在被测试的过程中，采用第一用户流量测试时，与第一用户流量对应的第一运行监测参数所表征的推荐收益满足目标条件，且该推荐收益可以在指定时间段内进行维持，那么将自动将用户流量增加至第二用户流量，以便于验证在流量扩大后，对应的运行监测参数所表征的推荐收益是否仍然满足目标条件，并且可以验证在流量扩大后对应的运行监测参数所表征的推荐收益是否任然可以在指定时间段内进行维持。

可选的，若直至用户流量增加至用户流量的预设阈值，对应的运行监测参数所表征的推荐收益任然满足目标条件且该推荐收益可以在指定时间段内进行维持，那么可以将对应的待测配置数据进行上线，可以判定当前的目标收益指标给推荐系统带来的推荐收益是有效的。

步骤S460：以可视化的方式展示所述目标结果数据。

可选的，为了可以直观的观测推荐系统的收益的变化情况，以便于分析目标收益指标的有效性，可以以可视化的方式展示上述目标结果数据。其中，可视化的方式可以是在Web界面以数据图表的方式进行展示，例如，以柱状图、饼图、折线图等方式展示各个数据指标(包括目标收益指标的收益情况、用户流量变化情况)之间的变化情况。可选的，也可以是以其他可视化的方式进行展示，在此不一一例举，并且不作为限定。

本实施例提供的推荐系统的配置数据测试方法，通过获取推荐系统中与目标收益指标对应的第一运行监测参数，再将第一运行监测参数所表征的推荐收益与预设收益进行比对，得到目标结果数据，然后以可视化的方式展示目标结果数据。实现了通过可视化的方式实时监测推荐系统的收益以及各项数据指标的变化情况，提升用户体验。

请参阅图5，为本申请实施例提供的一种推荐系统的配置数据测试装置的结构框图，本实施例提供一种推荐系统的配置数据测试装置500，运行于推荐系统，所述装置500包括：第一获取模块510、第二获取模块520、判断模块530以及处理模块540：

第一获取模块510，用于获取确定的待测配置数据，所述待测配置数据用于验证与所述待测配置数据对应的目标收益指标的有效性，所述目标收益指标用于验证推荐系统的推荐效果。

第二获取模块520，用于获取所述推荐系统中与所述目标收益指标对应的第一运行监测参数，所述第一运行监测参数为第一用户流量的运行监测参数。

判断模块530，用于判断所述第一运行监测参数所表征的推荐收益是否满足目标条件。

作为一种实施方式，判断模块530具体可以用于获取所述第一运行监测参数所表征的推荐收益；判断所述推荐收益是否大于与所述目标收益指标对应的预设推荐收益；若是，判定所述第一运行监测参数所表征的推荐收益满足目标条件；若否，判定所述第一运行监测参数所表征的推荐收益不满足目标条件。

其中，若是，判定所述第一运行监测参数所表征的推荐收益满足目标条件可以包括：若是，判断所述推荐收益在指定时间段内是否存在变化；若不存在变化，判定所述第一运行监测参数所表征的推荐收益满足目标条件；若存在变化，下线所述待测配置数据。

处理模块540，用于若不满足，下线所述待测配置数据。

若第一运行监测参数所表征的推荐收益不满足目标条件，则可以下线待测配置数据。

作为一种方式，装置500还可以包括：判断模块，用于若第一运行监测参数所表征的推荐收益满足目标条件，判断所述第一用户流量是否达到设定阈值。可选的，若未达到设定阈值，获取所述推荐系统中与所述目标收益指标对应的第二运行监测参数，所述第二运行监测参数为第二用户流量的运行监测参数，所述第二用户流量的值大于所述第一用户流量的值。可选的，判断所述第二运行监测参数所表征的推荐收益是否满足目标条件；若满足目标条件，判断所述第二用户流量是否达到所述设定阈值；若达到所述设定阈值，则结束测试。

作为另一种方式，装置500还可以包括：内容推荐模块，用于若所述第一运行监测参数所表征的推荐收益满足目标条件，基于所述待测配置数据进行内容推荐。

作为又一种方式，装置500还可以包括：可视化展示模块，该可视化展示模块具体可以用于获取所述第一运行监测参数所表征的推荐收益；获取与所述目标收益指标对应的预设收益，所述预设收益为与已上线的配置数据对应的推荐收益；将所述推荐收益与所述预设收益进行比对，得到目标结果数据；以可视化的方式展示所述目标结果数据。

其中，所述待测配置数据为与第一分组关联的配置数据，所述目标条件包括与第二分组关联的预设收益。

本实施例提供的一种推荐系统的配置数据测试装置，通过获取确定的待测配置数据，待测配置数据用于验证与待测配置数据对应的目标收益指标的有效性，目标收益指标用于验证推荐系统的推荐效果；继而获取推荐系统中与目标收益指标对应的第一运行监测参数，第一运行监测参数为第一用户流量的运行监测参数；再判断第一运行监测参数所表征的推荐收益是否满足目标条件；若不满足，则下线待测配置数据。从而通过获取推荐系统中与目标收益指标对应的第一运行监测参数，在判断第一运行监测参数所表征的推荐收益不满足目标条件的情况下，下线待测配置数据，实现了通过筛选推荐系统的配置数据，以提升推荐系统的内容推送转化率，从而提升推荐系统的推荐效果，提升用户体验。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参阅图6，基于上述的推荐系统的配置数据测试方法及装置，本申请实施例还提供了一种可以执行前述推荐系统的配置数据测试方法的电子设备100。电子设备100包括存储器102以及相互耦合的一个或多个(图中仅示出一个)处理器104，存储器102以及处理器104之间通信线路连接。存储器102中存储有可以执行前述实施例中内容的程序，而处理器104可以执行存储器102中存储的程序。

其中，处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器104可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器104可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器104中，单独通过一块通信芯片进行实现。

存储器102可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现前述各个实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图7，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质600中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质600包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种推荐系统的配置数据测试方法，其特征在于，所述方法包括：

获取确定的待测配置数据，所述待测配置数据用于验证与所述待测配置数据对应的目标收益指标的有效性，所述目标收益指标用于验证推荐系统的推荐效果；

获取所述推荐系统中与所述目标收益指标对应的第一运行监测参数，所述第一运行监测参数为第一用户流量的运行监测参数；

判断所述第一运行监测参数所表征的推荐收益是否满足目标条件；

若不满足，下线所述待测配置数据；

所述方法还包括：

若满足，判断所述第一用户流量是否达到设定阈值；

若未达到设定阈值，获取所述推荐系统中与所述目标收益指标对应的第二运行监测参数，所述第二运行监测参数为第二用户流量的运行监测参数，所述第二用户流量的值大于所述第一用户流量的值；

判断所述第二运行监测参数所表征的推荐收益是否满足目标条件；

若满足目标条件，判断所述第二用户流量是否达到所述设定阈值；

若达到所述设定阈值，则结束测试；

若没有达到所述设定阈值，将进入一个循环增加用户流量并且循环判断增加后的用户流量是否达到设定阈值的循环模式，其中，增加用户流量循环至所增加后的用户流量达到设定阈值时将不再继续增加。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一运行监测参数所表征的推荐收益满足目标条件，基于所述待测配置数据进行内容推荐。

3.根据权利要求1所述的方法，其特征在于，所述判断所述第一运行监测参数所表征的推荐收益是否满足目标条件，包括：

获取所述第一运行监测参数所表征的推荐收益；

判断所述推荐收益是否大于与所述目标收益指标对应的预设推荐收益；

若是，判定所述第一运行监测参数所表征的推荐收益满足目标条件；

若否，判定所述第一运行监测参数所表征的推荐收益不满足目标条件。

4.根据权利要求3所述的方法，其特征在于，所述若是，判定所述第一运行监测参数所表征的推荐收益满足目标条件，包括：

若是，判断所述推荐收益在指定时间段内是否存在变化；

若不存在变化，判定所述第一运行监测参数所表征的推荐收益满足目标条件；

若存在变化，下线所述待测配置数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述第一运行监测参数所表征的推荐收益；

获取与所述目标收益指标对应的预设收益，所述预设收益为与已上线的配置数据对应的推荐收益；

将所述推荐收益与所述预设收益进行比对，得到目标结果数据；

以可视化的方式展示所述目标结果数据。

6.根据权利要求5所述的方法，其特征在于，所述待测配置数据为与第一分组关联的配置数据，所述目标条件包括与第二分组关联的预设收益。

7.一种推荐系统的配置数据测试装置，其特征在于，所述装置包括：

第一获取模块，用于获取确定的待测配置数据，所述待测配置数据用于验证与所述待测配置数据对应的目标收益指标的有效性，所述目标收益指标用于验证推荐系统的推荐效果；

第二获取模块，用于获取所述推荐系统中与所述目标收益指标对应的第一运行监测参数，所述第一运行监测参数为第一用户流量的运行监测参数；

判断模块，用于判断所述第一运行监测参数所表征的推荐收益是否满足目标条件；

处理模块，用于若不满足，下线所述待测配置数据；

所述处理模块，还用于若满足，判断所述第一用户流量是否达到设定阈值；若未达到设定阈值，获取所述推荐系统中与所述目标收益指标对应的第二运行监测参数，所述第二运行监测参数为第二用户流量的运行监测参数，所述第二用户流量的值大于所述第一用户流量的值；判断所述第二运行监测参数所表征的推荐收益是否满足目标条件；若满足目标条件，判断所述第二用户流量是否达到所述设定阈值；若达到所述设定阈值，则结束测试；若没有达到所述设定阈值，将进入一个循环增加用户流量并且循环判断增加后的用户流量是否达到设定阈值的循环模式，其中，增加用户流量循环至所增加后的用户流量达到设定阈值时将不再继续增加。

8.一种电子设备，其特征在于，包括存储器；

一个或多个处理器；

一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-6任一所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码由处理器运行时执行权利要求1-6任一所述的方法。

Images