CN106354841B - 推荐算法的测试方法及装置 - Google Patents

Abstract

本发明提供一种推荐算法的测试方法及装置。该方法包括：根据预设策略，从推荐位对应的多个推荐算法中选择所述推荐位的目标推荐算法，所述预设策略用于指示同一时间段内多次显示所述推荐位时所述多个推荐算法轮流作为所述目标推荐算法的轮流规则；将所述目标推荐算法生成的推荐数据显示在所述推荐位中。本发明提高了测试结果准确性。

Description

推荐算法的测试方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种推荐算法的测试方法及装置。

背景技术

随着互联网技术的发展，网络逐渐成为人们获取信息的重要来源。通常，为了向目标受众推荐一些厂商的推荐数据，如热门话题、热门用户、活动、广告等信息，往往在网页的固定位置设置推荐位，用来投放推荐数据。

现有技术中，推荐数据是由推荐算法产生的。并且，开发人员通常会设计多种推荐算法，并通过线上测试的方式，以选择出推荐效果最好的推荐算法。目前，在进行推荐算法的线上测试时，通常是选取一定的测试周期，并通过在不同测试周期中将不同推荐算法所产生的推荐数据在推荐位中进行展示，来实现对多个推荐算法的测试。然而在不同的测试周期中，网页的排版、网页中所显示的内容等测试场景通常都是不相同的。

因此，现有技术中，存在由于不同推荐算法的测试场景不同，而导致测试结果不准确性的问题。

发明内容

本发明提供一种推荐算法的测试方法及装置，用以解决现有技术中存在由于不同推荐算法的测试场景不同，而导致测试结果不准确性的问题。

第一方面，本发明提供一种推荐算法的测试方法，包括：

根据预设策略，从推荐位对应的多个推荐算法中选择所述推荐位的目标推荐算法，所述预设策略用于指示同一时间段内多次显示所述推荐位时所述多个推荐算法轮流作为所述目标推荐算法的轮流规则；

将所述目标推荐算法生成的推荐数据显示在所述推荐位中。

在一种可能实现的设计中，所述多个推荐算法中各推荐算法的轮流次数相同；或者，所述多个推荐算法中各推荐算法的轮流次数与所述各推荐算法的优先级成正比。

在一种可能实现的设计中，所述方法还包括：根据用户输入，确定所述预设策略。

在一种可能实现的设计中，所述方法还包括：获取所述目标推荐算法生成的推荐数据。

在一种可能实现的设计中，所述获取所述目标推荐算法生成的推荐数据，包括：

向服务端引擎发送数据请求消息，所述数据请求消息用于请求所述目标推荐算法生成的推荐数据，并接收所述服务端引擎返回的所述推荐数据。

第二方面，本发明提供一种推荐算法的测试装置，包括：

选择模块，用于根据预设策略，从推荐位对应的多个推荐算法中选择所述推荐位的目标推荐算法，所述预设策略用于指示同一时间段内多次显示所述推荐位时所述多个推荐算法轮流作为所述目标推荐算法的轮流规则；

显示模块，用于将所述目标推荐算法生成的推荐数据显示在所述推荐位中。

在一种可能实现的设计中，所述多个推荐算法中各推荐算法的轮流次数相同；或者，所述多个推荐算法中各推荐算法的轮流次数与所述各推荐算法的优先级成正比。

在一种可能实现的设计中，所述装置还包括：确定模块，用于根据用户输入，确定所述预设策略。

在一种可能实现的设计中，所述装置还包括：获取模块，用于获取所述目标推荐算法生成的推荐数据。

在一种可能实现的设计中，所述获取模块，具体用于：

向服务端引擎发送数据请求消息，所述数据请求消息用于请求所述目标推荐算法生成的推荐数据，并接收所述服务端引擎返回的所述推荐数据。

本发明提供的推荐算法的测试方法及装置，通过根据用于指示同一时间段内多次显示推荐位网页时所述推荐位对应的多个推荐算法轮流作为所述推荐位的目标推荐算法的轮流规则的预设策略，从所述多个推荐算法中选择所述推荐位的目标推荐算法，并将所述目标推荐算法生成的推荐数据显示在所述推荐位中，实现了不同推荐算法同一时间段内同时部署在线上的同一个推荐位上，并根据预设策略轮流作为该推荐位的目标推荐算法进行线上测试，从而实现了在相同测试场景对不同推荐算法的测试，提高了测试结果准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明推荐算法的测试方法实施例一的流程图；

图2为本发明推荐算法的测试方法实施例二的流程图；

图3为本发明推荐算法的测试方法实施例三的流程图；

图4为本发明存储及获取推荐数据的示意图；

图5为本发明推荐算法的测试装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明推荐算法的测试方法实施例一的流程图，本实施例的方法的执行主体可以为部署推荐引擎的设备。所述推荐引擎可以包括客户端引擎和服务端引擎，相应的，本实施例的方法的执行主体具体可以为部署所述客户端引擎的设备。如图1所示，本实施例的方法可以包括：

步骤101、根据预设策略，从推荐位对应的多个推荐算法中选择所述推荐位的目标推荐算法，所述预设策略用于指示同一时间段内多次显示所述推荐位时所述多个推荐算法轮流作为所述目标推荐算法的轮流规则。

本步骤中，所述推荐位对应的多个推荐算法具体可以为开发人员为所述推荐位设计的，并需要进行线上测试的多个推荐算法。所述同一时间段的时间长度可以灵活设置，且不需要确保在所述同一时间段内的测试场景完全相同。例如，可以为1天、7天、10天等。所述预设策略的目的是为了给出同一时间段内多次显示所述推荐位时所述多个推荐算法轮流作为所述目标推荐算法的轮流规则。例如，所述预设策略可以为2016年8月1日至2016年8月7日，第1次显示推荐位1时推荐位1的目标推荐算法为推荐算法A，第2次显示推荐位1时其目标推荐算法为推荐算法B，第3次显示推荐位1时其目标推荐算法为推荐算法C，第4次显示推荐位1时其目标推荐算法为推荐算法A，第5次显示推荐位1时其目标推荐算法为推荐算法B，第6次显示推荐位1时其目标推荐算法为推荐算法C，……。需要说明的是，这里仅是对预设策略进行举例说明，并不对具体的轮流规则进行限制，任何轮流规则都属于本发明的保护范围。需要说明的是，由于推荐位设置在网页的固定位置中，因此在显示网页时则相应的需要对网页中设置的推荐位进行显示。

步骤102、将所述目标推荐算法生成的推荐数据显示在所述推荐位中。

本步骤中，所述推荐位中所显示的推荐数据具体为从所述推荐位对应的多个推荐算法中选择所述推荐位的目标推荐算法生成的推荐数据。具体的，可以由所述推荐引擎或客户端引擎直接将所述目标推荐算法生成的推荐数据显示在所述推荐位中，或者也可以由所述推荐引擎或客户端引擎通知其他模块(例如，浏览器)将所述目标算法生成的推荐数据显示在所述推荐位中。基于上述关于预设策略的举例，其实现效果具体可以为：当2016年8月1日至2016年8月7日第一次有用户(例如，用户1)打开网页1时，在网页1中设置的推荐位1中显示推荐算法A产生的推荐数据；当第二次有用户(例如用户1或用户2)打开网页1时，网页1的推荐位1中显示推荐算法B产生的推荐数据；当第三次有用户(例如用户1、用户2或用户3)打开网页1时，网页1的推荐位1中显示推荐算法C所产生的推荐数据，……。

本实施例中，通过根据用于指示同一时间段内多次显示推荐位网页时所述推荐位对应的多个推荐算法轮流作为所述推荐位的目标推荐算法的轮流规则的预设策略，从所述多个推荐算法中选择所述推荐位的目标推荐算法，并将所述目标推荐算法生成的推荐数据显示在所述推荐位中，实现了不同推荐算法同一时间段内同时部署在线上的同一个推荐位上，并根据预设策略轮流作为该推荐位的目标推荐算法进行线上测试，从而实现了在相同测试场景对不同推荐算法的测试，提高了测试结果准确性。

图2为本发明推荐算法的测试方法实施例二的流程图，本实施例在图1所示实施例的基础上，主要描述了获取所述预设策略的具体实现方式。如图2所示，本实施例的方法可以包括：

步骤201、根据用户输入，确定预设策略；所述预设策略用于指示同一时间段内多次显示推荐位时所述推荐位对应的多个推荐算法轮流作为所述推荐位的目标推荐算法的轮流规则。

本步骤中，用户可以根据实际需求对预设策略进行设定。例如，可以设定所述推荐位对应的推荐算法的个数、推荐算法的标识，也可以设定所述同一时间段的时间范围，还可以设定多个推荐算法轮流作为目标推荐算法的轮流规则等等。可替换的，也可以由其他方式(例如，通过算法)来确定所述预设策略，本发明对此并不做限制。可选的，所述多个推荐算法中各推荐算法的轮流次数可以相同也可以不同。当轮流次数不同时，所述多个推荐算法中各推荐算法的轮流次数可以与所述各推荐算法的优先级成正比，即推荐算法的优先级越高则轮流次数越大。对于推荐算法A、推荐算法B和推荐算法C：当各推荐算法的轮流次数相同时，其轮流规则例如可以为以推荐算法C、推荐算法B、推荐算法A的顺序进行循环轮流；当各推荐算法的轮流次数不同时，其轮流规则例如可以为以推荐算法C、推荐算法A、推荐算法C、推荐算法A、推荐算法B、推荐算法C的顺序进行循环轮流。可选的，步骤201之后还可以包括：将所述预设策略存储至存储设备中，使得在需要获取所述预设策略时可以直接从存储设备中读取。

步骤202、根据所述预设策略，从所述多个推荐算法中选择所述推荐位的目标推荐算法。

本步骤中，基于上述关于预设策略的举例，假设第三次显示推荐位1，则推荐位1的目标推荐算法为推荐算法C。

步骤203、将所述目标推荐算法生成的推荐数据显示在所述推荐位中。

需要说明的是，步骤203与步骤102类似，在此不再赘述。

本实施例中，通过根据用户输入，确定预设策略，使得用户可以根据需求对预设策略进行灵活设置。

图3为本发明推荐算法的测试方法实施例三的流程图，本实施例在图1或图2所示实施例的基础上，主要描述了获取推荐数据的具体实现方式。如图3所示，本实施例的方法可以包括：

步骤301、根据预设策略，从推荐位对应的多个推荐算法中选择所述推荐位的目标推荐算法，所述预设策略用于指示同一时间段内多次显示所述推荐位时所述多个推荐算法轮流作为所述目标推荐算法的轮流规则。

需要说明的是，步骤301与步骤101、步骤202类似，在此不再赘述。

步骤302、获取所述目标推荐算法生成的推荐数据。

本步骤中，当所述推荐引擎包括所述客户端引擎和所述服务端引擎时，可以从部署所述客户端引擎的设备中获取所述目标算法生成的推荐数据，或者也可以从其他设备(例如，部署与所述客户端引擎对应的服务端引擎的设备)中获取所述目标算法生成的推荐数据。可选的，具体可以为：向所述服务端引擎发送数据请求消息，所述数据请求消息用于请求所述目标推荐算法生成的推荐数据，并接收所述服务端引擎返回的所述推荐数据。在具体实现时，所述推荐位可以有对应的推荐位标识(ID，Identity)。对于所述推荐位对应的多个推荐算法中每个推荐算法生成的推荐数据可以以算法名称+推荐位ID的方式进行命名并存储(例如，存储至HBASE数据库中)。之后，需要获取其中一个推荐算法生成的推荐数据时可以根据算法名称+推荐位ID来获取对应的推荐数据。具体的，可以将目标推荐算法的算法名称+推荐位ID发送至服务端引擎，由服务端引擎根据该算法名称+推荐位ID从HBASE中获取对应的推荐数据并返回给客户端引擎。可选的，所述服务端引擎可以包括多个推荐算法分别对应的算法引擎。如图4所示，推荐算法A产生的推荐数据以算法A0001命名并存储至HBASE数据库中，推荐算法B产生的推荐数据以算法B0001命名并存储至HBASE数据库中，推荐算法C产生的推荐数据以算法C0001命名并存储至HBASE数据库中，算法A引擎从HABSE数据库中获取推荐算法A对应的推荐数据(即，以算法A0001命名的推荐数据)，算法B引擎从HABSE数据库中获取以算法B0001命名的推荐数据，算法C引擎从HABSE数据库中获取以算法C0001命名的推荐数据。其中，推荐算法A、推荐算法B和推荐算法C可以由算法模型生成。

当所述推荐引擎不包括所述客户端引擎和所述服务端引擎时，可以从部署所述推荐引擎的设备中或其他存储设备中获取所述目标推荐算法生成的推荐数据。这里，所述推荐引擎可以包括多个推荐算法分别对应的算法引擎。其获取推荐数据的方式可以与图4类似，在此不再赘述。

步骤303、将所述目标推荐算法生成的推荐数据显示在所述推荐位中。

需要说明的是，步骤303与步骤102类似，在此不再赘述。

本实施例中，通过根据用于指示同一时间段内多次显示推荐位网页时所述推荐位对应的多个推荐算法轮流作为所述推荐位的目标推荐算法的轮流规则的预设策略，从所述多个推荐算法中选择所述推荐位的目标推荐算法，并将所述目标推荐算法生成的推荐数据显示在所述推荐位中，实现了不同推荐算法同一时间段内同时部署在线上的同一个推荐位上，并根据预设策略轮流作为该推荐位的目标推荐算法进行线上测试，从而实现了在相同测试场景对不同推荐算法的测试，提高了测试结果准确性。同时，由于实现了不同推荐算法同一时间段内同时部署在线上的同一个推荐位上进行线上测试，在线上测试的过程中使得开发人员不需要在不同推荐算法间进行切换，因此也节省了开发时间。

图5为本发明推荐算法的测试装置的结构示意图，本实施例提供的装置可以应用于图1-图3实施例的方法中，实现其设备的功能。如图5所示，本实施例的装置可以包括：选择模块501和显示模块502。其中，选择模块501，用于根据预设策略，从推荐位对应的多个推荐算法中选择所述推荐位的目标推荐算法，所述预设策略用于指示同一时间段内多次显示所述推荐位时所述多个推荐算法轮流作为所述目标推荐算法的轮流规则；显示模块502，用于将所述目标推荐算法生成的推荐数据显示在所述推荐位中。

可选的，所述多个推荐算法中各推荐算法的轮流次数相同；或者，所述多个推荐算法中各推荐算法的轮流次数与所述各推荐算法的优先级成正比。

可选的，所述装置还包括：确定模块503，用于根据用户输入，确定所述预设策略。

可选的，所述装置还包括：获取模块504，用于获取所述目标推荐算法生成的推荐数据。

可选的，获取模块504，具体用于：向服务端引擎发送数据请求消息，所述数据请求消息用于请求所述目标推荐算法生成的推荐数据，并接收所述服务端引擎返回的所述推荐数据。

本实施例的装置，可以用于执行图1-图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种推荐算法的测试方法，其特征在于，包括：

根据预设策略，从推荐位对应的多个推荐算法中选择所述推荐位的目标推荐算法，所述预设策略用于指示同一时间段内多次显示所述推荐位时所述多个推荐算法轮流作为所述目标推荐算法的轮流规则；所述推荐位显示在对应网页的固定位置中；

将所述目标推荐算法生成的推荐数据显示在所述推荐位中。

2.根据权利要求1所述的方法，其特征在于，所述多个推荐算法中各推荐算法的轮流次数相同；或者，所述多个推荐算法中各推荐算法的轮流次数与所述各推荐算法的优先级成正比。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：根据用户输入，确定所述预设策略。

4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取所述目标推荐算法生成的推荐数据。

5.根据权利要求4所述的方法，其特征在于，所述获取所述目标推荐算法生成的推荐数据，包括：

向服务端引擎发送数据请求消息，所述数据请求消息用于请求所述目标推荐算法生成的推荐数据，并接收所述服务端引擎返回的所述推荐数据。

6.一种推荐算法的测试装置，其特征在于，包括：

选择模块，用于根据预设策略，从推荐位对应的多个推荐算法中选择所述推荐位的目标推荐算法，所述预设策略用于指示同一时间段内多次显示所述推荐位时所述多个推荐算法轮流作为所述目标推荐算法的轮流规则；所述推荐位显示在对应网页的固定位置中；

显示模块，用于将所述目标推荐算法生成的推荐数据显示在所述推荐位中。

7.根据权利要求6所述的装置，其特征在于，所述多个推荐算法中各推荐算法的轮流次数相同；或者，所述多个推荐算法中各推荐算法的轮流次数与所述各推荐算法的优先级成正比。

8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：确定模块，用于根据用户输入，确定所述预设策略。

9.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：获取模块，用于获取所述目标推荐算法生成的推荐数据。

10.根据权利要求9所述的装置，其特征在于，所述获取模块，具体用于：

向服务端引擎发送数据请求消息，所述数据请求消息用于请求所述目标推荐算法生成的推荐数据，并接收所述服务端引擎返回的所述推荐数据。

Images