CN107562632A - 针对推荐策略的a/b测试方法及装置 - Google Patents
针对推荐策略的a/b测试方法及装置 Download PDFInfo
- Publication number
- CN107562632A CN107562632A CN201710818257.1A CN201710818257A CN107562632A CN 107562632 A CN107562632 A CN 107562632A CN 201710818257 A CN201710818257 A CN 201710818257A CN 107562632 A CN107562632 A CN 107562632A
- Authority
- CN
- China
- Prior art keywords
- generalization bounds
- recommendation
- information
- pingback
- unique identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Debugging And Monitoring (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种针对推荐策略的A/B测试方法及装置，为每一个推荐请求分配全局唯一标识号，分别记录响应每一个推荐请求调用的，包括推荐策略名和对应推荐请求的全局唯一标识号的推荐策略信息，然后收集客户端返回的pingback信息，该pingback信息中包含其对应的推荐请求的全局唯一标识号，根据全局唯一标识号确定推荐策略名与pingback信息的对应关系，并基于多个确定对应关系的数据进行推荐效果分析。该针对推荐策略的A/B测试方法及装置，采用全局唯一标识号标记一个请求过程中产生的数据，并利用全局唯一标识号将相关数据关联起来，基于关联起来的数据进行效果分析，避免了全路径策略名的收集，能够对多层级服务架构中的任意的服务策略进行独立的效果分析。
Description
技术领域
本发明涉及推荐服务领域，更具体的说，是涉及一种针对推荐策略的A/B测试方法及装置。
背景技术
推荐服务能够根据用户的兴趣爱好或搜索意愿，按照一定的推荐策略，为用户推荐展示出产品信息，便于用户查看浏览。为了提高推荐效果，在推荐策略的选择上，需要以线上A/B测试结果为基准，判断推荐策略的推荐效果。在使用某个推荐策略时，当前端展示和点击推荐策略计算出的推荐内容时，推荐服务系统会收到pingback(自动引用通知)，返回推荐策略名，后续再统计返回的推荐策略名，并根据统计结果判断推荐策略的推荐效果。
现有的推荐服务架构为层级化的服务架构，在接收到推荐请求后，会调用推荐服务架构中的多个微服务，而每个微服务都有自己的推荐策略和A/B测试需求。现有技术中，在推荐策略的A/B测试阶段，收集策略名采用全路径策略名收集法，例如，一个推荐请求调用微服务的过程是A->B->C，其中每个服务有一个策略名，假设A服务对应的策略名叫a，B服务对应的策略名叫b，C服务对应的策略名叫c，则a+b+c称为全路径策略名。但实际情况中，推荐请求的服务调用过程和路径可能会非常复杂，这就使得最终的全路径策略名非常庞大复杂，而且间接影响系统运行效率。
发明内容
有鉴于此，本发明提供了一种针对推荐策略的A/B测试方法及装置，以方便的实现对多层级服务架构下的任意的任务策略进行独立的效果分析。
为实现上述目的，本发明提供如下技术方案：
一种针对推荐策略的A/B测试方法，包括：
为每一个推荐请求分配全局唯一标识号；
分别记录响应每一个推荐请求调用的推荐策略信息；所述推荐策略信息包括推荐策略名和推荐策略服务的推荐请求的全局唯一标识号；
收集记录客户端根据推荐结果的展示和/或点击信息返回的pingback信息，所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号；
根据全局唯一标识号，确定推荐策略名与pingback信息的对应关系；
基于多个所述确定对应关系的推荐策略名和pingback信息进行推荐效果分析。
可选的，所述记录响应所述推荐请求调用的推荐策略信息，包括：
通过服务日志收集器记录响应所述推荐请求调用的推荐策略信息。
可选的，还包括：
基于多个所述确定对应关系的推荐策略名和pingback信息，确定推荐策略名对应的推荐策略的推荐内容的点击率；
根据所述推荐策略的推荐内容的所述点击率，确定所述推荐策略的推荐效果。
可选的，在所述基于对应上的推荐策略名和pingback信息进行推荐效果分析后，还包括：
根据推荐效果分析的结果以及预设规则对推荐策略进行优先级别排序。
一种针对推荐策略的A/B测试装置，包括：
标识号分配模块，用于为每一个推荐请求分配全局唯一标识号；
策略记录模块，用于分别记录响应每一个推荐请求调用的推荐策略信息；所述推荐策略信息包括推荐策略名和推荐策略服务的推荐请求的全局唯一标识号；
Pingback收集模块，用于收集记录客户端根据推荐结果的展示和/或点击信息返回的pingback信息，所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号；
信息对应模块，用于根据全局唯一标识号，确定推荐策略名与pingback信息的对应关系；
效果分析模块，用于基于多个所述确定对应关系的推荐策略名和pingback信息进行推荐效果分析。
可选的，所述策略记录模块具体用于：
通过服务日志收集器记录响应所述推荐请求调用的推荐策略信息。
可选的，所述效果分析模块包括：
点击率确定子模块，用于基于多个所述确定对应关系的推荐策略名和pingback信息，确定推荐策略名对应的推荐策略的推荐内容的点击率；
效果确定子模块，用于根据所述推荐策略的推荐内容的所述点击率，确定所述推荐策略的推荐效果。
可选的，还包括：
策略设定模块，用于根据推荐效果分析的结果以及预设规则对推荐策略进行优先级别排序。
经由上述的技术方案可知，与现有技术相比，本发明实施例公开了一种针对推荐策略的A/B测试方法及装置，为每一个推荐请求分配全局唯一标识号，分别记录响应每一个推荐请求调用的推荐策略信息，该推荐策略信息包括推荐策略名和推荐策略服务的推荐请求的全局唯一标识号，然后收集记录客户端根据推荐结果的展示和/或点击信息返回的pingback信息，所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号，最后根据全局唯一标识号，确定推荐策略名与pingback信息的对应关系，并基于多个所述确定对应关系的推荐策略名和pingback信息进行推荐效果分析。该针对推荐策略的A/B测试方法及装置，采用全局唯一标识号标记一个请求过程中产生的数据，并利用全局唯一标识号将相关数据关联起来，基于关联起来的数据进行效果分析，从而避免了全路径策略名的收集，能够灵活的对多层级服务架构中的任意的服务策略进行独立的效果分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的针对推荐策略的A/B测试方法的流程图；
图2为本发明实施例公开的另一种针对推荐策略的A/B测试方法的流程图；
图3为本发明实施例公开的又一种针对推荐策略的A/B测试方法的流程图；
图4为本发明实施例公开的针对推荐策略的A/B测试装置的结构示意图；
图5为本发明实施例公开的效果分析模块的结构示意图；
图6为本发明实施例公开的另一种针对推荐策略的A/B测试装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅附图1，为本发明公开的针对推荐策略的A/B测试方法的流程图，如图1所示，所述方法可以包括：
步骤101：为每一个推荐请求分配全局唯一标识号。
每一个推荐请求都有自己的全局唯一标识号，且每一个推荐请求的全局唯一标识号都不相同。所述全局唯一标识号可以是推荐请求的身份ID，每一个全局唯一标识号代表唯一的一个推荐请求。
步骤102：分别记录响应每一个推荐请求调用的推荐策略信息。
其中，所述推荐策略信息包括推荐策略名和推荐策略服务的推荐请求的全局唯一标识号。
所述推荐请求可以是由用户操作触发的，例如，用户在搜索框中输入一个关键词，并点击搜索，则触发推荐请求，该推荐请求中携带有用户输入的所述关键词，则推荐服务系统根据用户触发的所述推荐请求，提供推荐服务。所述推荐请求也可以是推荐服务系统根据用户的浏览界面或用户以往的搜索历史，自动生成推荐请求，并根据自动生成的推荐请求执行推荐服务，例如，用户在浏览某个视频的简介信息时，系统会在显示界面为用户推荐展示出与显示视频主题相似的视频信息。
在所述推荐服务系统接收到推荐请求后，会调用相关的服务策略，计算出相应的推荐结果响应所述推荐请求，也即展示推荐结果给用户的过程。在响应所述推荐请求的过程中，推荐服务系统会调用多个微服务的推荐策略，根据这些推荐策略计算出推荐结果。在响应所述推荐请求的过程中，需要记录下响应所述推荐请求调用的推荐策略信息。所述推荐策略信息包括推荐策略名称，也即推荐策略名。例如，在响应全局唯一标识号为123的推荐请求的过程中，调用了第一微服务的A推荐策略，则记录下所述推荐请求对应的全局唯一标识号123和响应所述推荐策略调用的A推荐策略。其中，A即为推荐策略名。当然，记录的信息不限定为仅包括推荐请求的全局唯一标识号和推荐请求调用的推荐策略名，也可以根据实际需要包括其它的信息，例如推荐策略的调用时间，在此不再详细介绍。
需要说明的是,所述推荐策略信息之所以包含推荐策略名和推荐策略服务的推荐请求的全局唯一标识号，目的就是将调用的推荐策略的推荐策略名和所述推荐策略服务的推荐请求的全局唯一标识号绑定在一起，后续好和同样记录绑定全局唯一标识号的pingback信息，通过全局唯一标识号关联对应上。
在一个示意性的示例中，所述记录响应所述推荐请求调用的推荐策略信息，具体可以为：通过服务日志收集器记录响应所述推荐请求调用的推荐策略信息。
步骤103：收集记录客户端根据推荐结果的展示和/或点击信息返回的pingback信息。
其中，所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号。
在响应所述推荐请求的过程中或之后，浏览器端会有展示和点击推荐结果的动作，当浏览器端发生展示和点击推荐结果的动作时，会自动生成pingback信息，并返回给推荐服务系统。所述推荐服务系统可以收集记录所述pingback信息，所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号，以明确pingback信息是针对哪个推荐请求的pingback信息。
步骤104：根据全局唯一标识号，确定推荐策略名与pingback信息的对应关系。
在一次推荐请求生成且推荐服务系统响应所述推荐请求的整个过程中，记录的调用的推荐策略以及前端展示或点击推荐结果返回的pingback信息中，都会标记所述推荐请求的全局唯一标识号。因此，根据所述推荐请求的全局唯一标识号，就可以将响应所述推荐请求过程中调用的推荐策略和收集记录的pingback信息对应起来，也即确定某个推荐策略的推荐结果的展示和点击情况。
步骤105：基于多个所述确定对应关系的推荐策略名和pingback信息进行推荐效果分析。
在确定的某个推荐策略的推荐结果的展示和点击情况后，就可以根据预设规则，计算确定所述推荐策略名对应的推荐策略的推荐效果。也即根据客户端展示和点击推荐结果内容的情况来分析推荐策略是否更加贴合用户的真实意愿。
需要说明的是，针对每一个推荐请求，都需要按照上述步骤101-104进行操作处理。判断某个推荐策略的推荐效果，要以许多次的结果反馈为依据，这样才能够保证结果的准确度。因此，步骤105基于多个所述确定对应关系的推荐策略名和pingback信息进行推荐效果分析。在分析一个推荐策略时，需要多个调用该推荐策略时记载的信息以及调用该推荐策略后，推出推荐结果后的pingback信息，因此，上述多个对应上的推荐策略名和pingback信息中，推荐策略名是一致的，而pingback信息不一致，例如，在所述多个对应上的推荐策略名和pingback信息中，每个信息中的推荐策略名都是推荐策略A，而每个信息中的pingback信息可以是展示1，点击0；也可以是展示1、点击1。
本实施例中，所述针对推荐策略的A/B测试方法采用全局唯一标识号标记一个请求过程中产生的数据，并利用全局唯一标识号将相关数据关联起来，基于关联起来的数据进行效果分析，从而避免了全路径策略名的收集，能够灵活的对多层级服务架构中的任意的服务策略进行独立的效果分析。
图2为本发明实施例公开的另一种针对推荐策略的A/B测试方法的流程图，参见图2所示，所述方法可以包括：
步骤201：为每一个推荐请求分配全局唯一标识号。
步骤202：分别记录响应每一个推荐请求调用的推荐策略信息。
所述推荐策略信息包括推荐策略名和推荐策略服务的推荐请求的全局唯一标识号。
步骤203：收集记录客户端根据推荐结果的展示和/或点击信息返回的pingback信息。
所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号。
步骤204：根据全局唯一标识号，确定推荐策略名与pingback信息的对应关系。
步骤205：基于多个所述确定对应关系的推荐策略名和pingback信息，确定推荐策略名对应的推荐策略的推荐内容的点击率。
根据对应上的推荐策略名和pingback信息，能够确定所述推荐策略名对应的推荐策略的推荐结果的展示和点击情况，并计算出所述推荐策略名对应的推荐策略的推荐内容的点击率。
步骤206：根据所述推荐策略的推荐内容的所述点击率，确定所述推荐策略的推荐效果。
本实施例中，以推荐策略的推荐内容的点击率确定所述推荐策略的推荐效果。推荐结果的点击率越高，说明推荐结果越贴合用户的真实意愿，推荐效果越佳。
需要说明的是，判断推荐策略的推荐效果的方法有很多种，根据实际需求，相关运营商会选择不同的推荐效果的确定方法。由于本发明实施例的重点在于如何获取推荐策略的展示和点击数据，因此，对于后续如何根据获取的数据计算确定推荐效果的不做过于详细的介绍。
本实施例中，所述针对推荐策略的A/B测试方法采用全局唯一标识号标记一个请求过程中产生的数据，并利用全局唯一标识号将推荐策略和pingback信息关联起来，确定所述推荐策略的推荐结果的点击率，并根据点击率确定所述推荐策略的推荐效果。避免了全路径策略名的收集，实现了对多层级服务架构中的固定服务策略的独立效果分析。
图3为本发明实施例公开的又一种针对推荐策略的A/B测试方法的流程图。如图3所示，所述方法可以包括：
步骤301：为每一个推荐请求分配全局唯一标识号。
步骤302：分别记录响应每一个所述推荐请求调用的推荐策略信息。
所述推荐策略信息包括推荐策略名和推荐策略服务的推荐请求的全局唯一标识号。
步骤303：收集记录客户端根据推荐结果的展示和/或点击信息返回的pingback信息。
其中，所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号。
步骤304：根据全局唯一标识号，确定推荐策略名与pingback信息的对应关系。
步骤305：基于多个所述确定对应关系的推荐策略名和pingback信息进行推荐效果分析。
步骤306：根据推荐效果分析的结果以及预设规则对推荐策略进行优先级别排序。
在一个微服务内，确定了推荐效果最好的推荐策略后，将所述推荐效果最好的推荐策略设定为所述微服务的默认推荐策略，以给用户提供更贴合用户真实意愿的推荐结果。
本实施例中，在基于确定对应关系的推荐策略名和pingback信息进行推荐效果分析，并可以根据推荐效果分析的结果以及预设规则对推荐策略进行优先级别排序，这样确定了推荐效果最好的推荐策略后，将所述推荐策略设置为默认推荐策略，以为用户提供更加贴合用户意愿的推荐结果，有利于提升用户的使用体验，增加用户粘性。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。
图4为本发明实施例公开的针对推荐策略的A/B测试装置的结构示意图，其特征在于，所述针对推荐策略的A/B测试装置40可以包括：
标识号分配模块401，用于为每一个推荐请求分配全局唯一标识号。
每一个推荐请求都有自己全局唯一标识号，且每一个推荐请求的全局唯一标识号都不相同。所述全局唯一标识号可以是推荐请求的身份ID，每一个全局唯一标识号代表唯一的一个推荐请求。
策略记录模块402，用于分别记录响应每一个所述推荐请求调用的推荐策略信息。
其中，所述推荐策略信息包括推荐策略名和推荐策略服务的推荐请求的全局唯一标识号。
所述推荐请求可以是由用户操作触发的，例如，用户在搜索框中输入一个关键词，并点击搜索，则触发推荐请求，该推荐请求中携带有用户输入的所述关键词，则推荐服务系统根据用户触发的所述推荐请求，提供推荐服务。所述推荐请求也可以是推荐服务系统根据用户的浏览界面或用户以往的搜索历史，自动生成推荐请求，并根据自动生成的推荐请求执行推荐服务，例如，用户在浏览某个视频的简介信息时，系统会在显示界面为用户推荐展示出与显示视频主题相似的视频信息。
在所述推荐服务系统接收到推荐请求后，会调用相关的服务策略，计算出相应的推荐结果响应所述推荐请求，也即展示推荐结果给用户的过程。在响应所述推荐请求的过程中，推荐服务系统会调用多个微服务的推荐策略，根据这些推荐策略计算出推荐结果。在响应所述推荐请求的过程中，需要记录下响应所述推荐请求调用的推荐策略信息。所述推荐策略信息包括推荐策略名称，也即推荐策略名。例如，在响应全局唯一标识号为123的推荐请求的过程中，调用了第一微服务的A推荐策略，则记录下所述推荐请求对应的全局唯一标识号123和响应所述推荐策略调用的A推荐策略。其中，A即为推荐策略名。当然，记录的信息不限定为仅包括推荐请求的全局唯一标识号和推荐请求调用的推荐策略名，也可以根据实际需要包括其它的信息，在此不再详细介绍。
需要说明的是,所述推荐策略信息之所以包含推荐策略名和推荐策略服务的推荐请求的全局唯一标识号，目的就是将调用的推荐策略的推荐策略名和所述推荐策略服务的推荐请求的全局唯一标识号绑定在一起，后续好和同样记录绑定全局唯一标识号的pingback信息，通过全局唯一标识号关联对应上。
所述策略记录模块具体可以用于：通过服务日志收集器记录响应所述推荐请求调用的推荐策略信息。
Pingback收集模块403，用于收集记录客户端根据推荐结果的展示和/或点击信息返回的pingback信息。
其中，所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号。
在响应所述推荐请求的过程中或之后，浏览器端会有展示和点击推荐结果的动作，当浏览器端发生展示和点击推荐结果的动作时，会自动生成pingback信息，并返回给推荐服务系统。所述推荐服务系统可以收集记录所述pingback信息，所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号，以明确pingback信息是针对哪个推荐请求的pingback信息。
信息对应模块404，用于根据全局唯一标识号，确定推荐策略名与pingback信息的对应关系。
在一次推荐请求生成且推荐服务系统响应所述推荐请求的整个过程中，记录的调用的推荐策略以及前端展示或点击推荐结果返回的pingback信息中，都会标记所述推荐请求的全局唯一标识号。因此，根据所述推荐请求的全局唯一标识号，就可以将响应所述推荐请求过程中调用的推荐策略和收集记录的pingback信息对应起来，也即确定某个推荐策略的推荐结果的展示和点击情况。
效果分析模块405，用于基于多个所述确定对应关系的推荐策略名和pingback信息进行推荐效果分析。
在确定的某个推荐策略的推荐结果的展示和点击情况后，就可以根据预设规则，计算确定所述推荐策略名对应的推荐策略的推荐效果。也即根据客户端展示和点击推荐结果内容的情况来分析推荐策略是否更加贴合用户的真实意愿。
需要说明的是，针对每一个推荐请求，都需要经过上述模块的操作处理。判断某个推荐策略的推荐效果，要以许多次的结果反馈为依据，这样才能够保证结果的准确度。
本实施例中，所述针对推荐策略的A/B测试装置采用全局唯一标识号标记一个请求过程中产生的数据，并利用全局唯一标识号将相关数据关联起来，基于关联起来的数据进行效果分析，从而避免了全路径策略名的收集，能够灵活的对多层级服务架构中的任意的服务策略进行独立的效果分析。
上述实施例中，所述效果分析模块405的具体结构可以参见图5，图5为本发明实施例公开的效果分析模块的结构示意图，如图5所示，所述效果分析模块405可以包括：
点击率确定子模块501，用于基于多个所述确定对应关系的推荐策略名和pingback信息，确定推荐策略名对应的推荐策略的推荐内容的点击率。
根据多个对应上的推荐策略名和pingback信息，能够确定所述推荐策略名对应的推荐策略的推荐结果的展示和点击情况，并计算出所述推荐策略名对应的推荐策略的推荐内容的点击率。
效果确定子模块502，用于根据所述推荐策略的推荐内容的所述点击率，确定所述推荐策略的推荐效果。
本实施例中，以推荐策略的推荐内容的点击率确定所述推荐策略的推荐效果。推荐结果的点击率越高，说明推荐结果越贴合用户的真实意愿，推荐效果越佳。
需要说明的是，判断推荐策略的推荐效果的方法有很多种，根据实际需求，相关运营商会选择不同的推荐效果的确定方法。由于本发明实施例的重点在于如何获取推荐策略的展示和点击数据，因此，对于后续如何根据获取的数据计算确定推荐效果的不做过于详细的介绍。
本实施例中，所述针对推荐策略的A/B测试装置采用全局唯一标识号标记一个请求过程中产生的数据，并利用全局唯一标识号将推荐策略和pingback信息关联起来，确定所述推荐策略的推荐结果的点击率，并根据点击率确定所述推荐策略的推荐效果。避免了全路径策略名的收集，实现了对多层级服务架构中的固定服务策略的独立效果分析。
图6为本发明实施例公开的另一种针对推荐策略的A/B测试装置的结构示意图，如图6所示，所述针对推荐策略的A/B测试装置60可以包括：
标识号分配模块401，用于为每一个推荐请求分配全局唯一标识号。
策略记录模块402，用于分别记录响应每一个所述推荐请求调用的推荐策略信息。
所述推荐策略信息包括推荐策略名和推荐策略服务的推荐请求的全局唯一标识号。
Pingback收集模块403，用于收集记录客户端根据推荐结果的展示和/或点击信息返回的pingback信息。
其中，所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号。
信息对应模块404，用于根据全局唯一标识号，确定推荐策略名与pingback信息的对应关系。
效果分析模块405，用于基于多个所述确定对应关系的推荐策略名和pingback信息进行推荐效果分析。
策略设定模块601，用于根据推荐效果分析的结果以及预设规则对推荐策略进行优先级别排序。
在一个微服务内，确定了推荐效果最好的推荐策略后，将所述推荐效果最好的推荐策略设定为所述微服务的默认推荐策略，以给用户提供更贴合用户真实意愿的推荐结果。
本实施例中，在基于确定对应关系的推荐策略名和pingback信息进行推荐效果分析，并可以根据推荐效果分析的结果以及预设规则对推荐策略进行优先级别排序，这样确定了推荐效果最好的推荐策略后，将所述推荐策略设置为默认推荐策略，以为用户提供更加贴合用户意愿的推荐结果，有利于提升用户的使用体验，增加用户粘性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种针对推荐策略的A/B测试方法，其特征在于，包括：
为每一个推荐请求分配全局唯一标识号；
分别记录响应每一个推荐请求调用的推荐策略信息；所述推荐策略信息包括推荐策略名和推荐策略服务的推荐请求的全局唯一标识号；
收集记录客户端根据推荐结果的展示和/或点击信息返回的pingback信息，所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号；
根据全局唯一标识号，确定推荐策略名与pingback信息的对应关系；
基于多个所述确定对应关系的推荐策略名和pingback信息进行推荐效果分析。
2.根据权利要求1所述的针对推荐策略的A/B测试方法，其特征在于，所述记录响应所述推荐请求调用的推荐策略信息，包括：
通过服务日志收集器记录响应所述推荐请求调用的推荐策略信息。
3.根据权利要求1所述的针对推荐策略的A/B测试方法，其特征在于，还包括：
基于多个所述确定对应关系的推荐策略名和pingback信息，确定推荐策略名对应的推荐策略的推荐内容的点击率；
根据所述推荐策略的推荐内容的所述点击率，确定所述推荐策略的推荐效果。
4.根据权利要求1所述的针对推荐策略的A/B测试方法，其特征在于，在所述基于对应上的推荐策略名和pingback信息进行推荐效果分析后，还包括：
根据推荐效果分析的结果以及预设规则对推荐策略进行优先级别排序。
5.一种针对推荐策略的A/B测试装置，其特征在于，包括：
标识号分配模块，用于为每一个推荐请求分配全局唯一标识号；
策略记录模块，用于分别记录响应每一个推荐请求调用的推荐策略信息；所述推荐策略信息包括推荐策略名和推荐策略服务的推荐请求的全局唯一标识号；
Pingback收集模块，用于收集记录客户端根据推荐结果的展示和/或点击信息返回的pingback信息，所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号；
信息对应模块，用于根据全局唯一标识号，确定推荐策略名与pingback信息的对应关系；
效果分析模块，用于基于多个所述确定对应关系的推荐策略名和pingback信息进行推荐效果分析。
6.根据权利要求5所述的针对推荐策略的A/B测试装置，其特征在于，所述策略记录模块具体用于：
通过服务日志收集器记录响应所述推荐请求调用的推荐策略信息。
7.根据权利要求5所述的针对推荐策略的A/B测试装置，其特征在于，所述效果分析模块包括：
点击率确定子模块，用于基于多个所述确定对应关系的推荐策略名和pingback信息，确定推荐策略名对应的推荐策略的推荐内容的点击率；
效果确定子模块，用于根据所述推荐策略的推荐内容的所述点击率，确定所述推荐策略的推荐效果。
8.根据权利要求5所述的针对推荐策略的A/B测试装置，其特征在于，还包括：
策略设定模块，用于根据推荐效果分析的结果以及预设规则对推荐策略进行优先级别排序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710818257.1A CN107562632B (zh) | 2017-09-12 | 2017-09-12 | 针对推荐策略的a/b测试方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710818257.1A CN107562632B (zh) | 2017-09-12 | 2017-09-12 | 针对推荐策略的a/b测试方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107562632A true CN107562632A (zh) | 2018-01-09 |
| CN107562632B CN107562632B (zh) | 2020-08-28 |
Family
ID=60980688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710818257.1A Active CN107562632B (zh) | 2017-09-12 | 2017-09-12 | 针对推荐策略的a/b测试方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107562632B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109542639A (zh) * | 2018-11-06 | 2019-03-29 | 用友网络科技股份有限公司 | 一种保障微服务调用数据一致性的处理方法、处理装置 |
| CN109829757A (zh) * | 2019-01-18 | 2019-05-31 | 泰康保险集团股份有限公司 | 一种最优营销方案的选择方法及装置 |
| CN110995529A (zh) * | 2019-11-14 | 2020-04-10 | 广州华多网络科技有限公司 | 推荐系统的配置数据测试方法、装置及电子设备 |
| CN111176965A (zh) * | 2019-12-19 | 2020-05-19 | 广州华多网络科技有限公司 | 推荐系统预发布测试方法、装置及电子设备 |
| CN111190801A (zh) * | 2019-12-19 | 2020-05-22 | 广州华多网络科技有限公司 | 推荐系统测试方法、装置及电子设备 |
| CN112579422A (zh) * | 2019-09-27 | 2021-03-30 | 腾讯科技（深圳）有限公司 | 一种方案测试方法、装置、服务器及存储介质 |
| CN113434432A (zh) * | 2021-07-20 | 2021-09-24 | 北京百度网讯科技有限公司 | 一种推荐平台的性能测试方法、装置、设备、及介质 |
| CN114331209A (zh) * | 2022-01-10 | 2022-04-12 | 北京蓝莓时节科技有限公司 | 推荐策略数据追踪方法、装置、系统和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101227433A (zh) * | 2008-02-04 | 2008-07-23 | 华为软件技术有限公司 | 在网络电视业务系统中实现信息共享的方法和终端 |
| US20100325493A1 (en) * | 2008-09-30 | 2010-12-23 | Hitachi, Ltd. | Root cause analysis method, apparatus, and program for it apparatuses from which event information is not obtained |
| CN103473291A (zh) * | 2013-09-02 | 2013-12-25 | 中国科学院软件研究所 | 一种基于隐语义概率模型的个性化服务推荐系统及方法 |
| CN106599107A (zh) * | 2016-11-28 | 2017-04-26 | 北京小米移动软件有限公司 | 获得用户行为的方法、装置及服务器 |
-
2017
- 2017-09-12 CN CN201710818257.1A patent/CN107562632B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101227433A (zh) * | 2008-02-04 | 2008-07-23 | 华为软件技术有限公司 | 在网络电视业务系统中实现信息共享的方法和终端 |
| US20100325493A1 (en) * | 2008-09-30 | 2010-12-23 | Hitachi, Ltd. | Root cause analysis method, apparatus, and program for it apparatuses from which event information is not obtained |
| CN103473291A (zh) * | 2013-09-02 | 2013-12-25 | 中国科学院软件研究所 | 一种基于隐语义概率模型的个性化服务推荐系统及方法 |
| CN106599107A (zh) * | 2016-11-28 | 2017-04-26 | 北京小米移动软件有限公司 | 获得用户行为的方法、装置及服务器 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109542639A (zh) * | 2018-11-06 | 2019-03-29 | 用友网络科技股份有限公司 | 一种保障微服务调用数据一致性的处理方法、处理装置 |
| CN109542639B (zh) * | 2018-11-06 | 2021-05-11 | 用友网络科技股份有限公司 | 一种保障微服务调用数据一致性的处理方法、处理装置 |
| CN109829757A (zh) * | 2019-01-18 | 2019-05-31 | 泰康保险集团股份有限公司 | 一种最优营销方案的选择方法及装置 |
| CN109829757B (zh) * | 2019-01-18 | 2021-02-26 | 泰康保险集团股份有限公司 | 一种最优营销方案的选择方法及装置 |
| CN112579422A (zh) * | 2019-09-27 | 2021-03-30 | 腾讯科技（深圳）有限公司 | 一种方案测试方法、装置、服务器及存储介质 |
| CN110995529A (zh) * | 2019-11-14 | 2020-04-10 | 广州华多网络科技有限公司 | 推荐系统的配置数据测试方法、装置及电子设备 |
| CN111176965A (zh) * | 2019-12-19 | 2020-05-19 | 广州华多网络科技有限公司 | 推荐系统预发布测试方法、装置及电子设备 |
| CN111190801A (zh) * | 2019-12-19 | 2020-05-22 | 广州华多网络科技有限公司 | 推荐系统测试方法、装置及电子设备 |
| CN111176965B (zh) * | 2019-12-19 | 2023-10-13 | 广州方硅信息技术有限公司 | 推荐系统预发布测试方法、装置及电子设备 |
| CN113434432A (zh) * | 2021-07-20 | 2021-09-24 | 北京百度网讯科技有限公司 | 一种推荐平台的性能测试方法、装置、设备、及介质 |
| CN113434432B (zh) * | 2021-07-20 | 2022-11-08 | 北京百度网讯科技有限公司 | 一种推荐平台的性能测试方法、装置、设备、及介质 |
| CN114331209A (zh) * | 2022-01-10 | 2022-04-12 | 北京蓝莓时节科技有限公司 | 推荐策略数据追踪方法、装置、系统和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107562632B (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107562632A (zh) | 针对推荐策略的a/b测试方法及装置 | |
| US6934687B1 (en) | Computer architecture and method for supporting and analyzing electronic commerce over the world wide web for commerce service providers and/or internet service providers | |
| Wolcott et al. | A framework for assessing the global diffusion of the Internet | |
| Eppler et al. | Measuring Information Quality in the Web Context: A Survey of State-of-the-Art Instruments and an Application Methodology. | |
| US6917921B1 (en) | Method and apparatus for distributing it management practice information | |
| US7673340B1 (en) | System and method for analyzing system user behavior | |
| US20040176992A1 (en) | Method and system for evaluating performance of a website using a customer segment agent to interact with the website according to a behavior model | |
| US20020196277A1 (en) | Method and system for automating the creation of customer-centric interfaces | |
| EP0953922A2 (en) | Method and apparatus for forming user sessions and presenting internet data according to the user sessions | |
| CN105512153A (zh) | 一种在线客服系统的服务提供方法、装置及系统 | |
| CN106021479A (zh) | 一种项目关键指标的自动关联方法及系统 | |
| WO2011069255A1 (en) | A method and system for efficient and exhaustive url categorization | |
| CN108632111A (zh) | 一种基于日志的服务链路监控方法 | |
| Proehl et al. | Topics and applied theories in it service management | |
| CN104270654A (zh) | 互联网视频播放监测方法和装置 | |
| CN108964967A (zh) | 一种对cdn加速服务进行智能监控与分析的方法和系统 | |
| Chen et al. | Understanding social sustainability for smart cities: The importance of inclusion, equity, and citizen participation as both inputs and long-term outcomes | |
| Lai | Critical factors of ISDN implementation: An exploratory study | |
| CN104142952B (zh) | 报表展示方法和装置 | |
| CN103248511A (zh) | 一种单点业务性能的分析方法、装置和系统 | |
| Chokki et al. | Open government data for non-expert citizens: understanding content and visualizations’ expectations | |
| Wißotzki | Exploring the nature of capability research | |
| Ahmed et al. | A systematic literature review on challenges in service oriented software engineering | |
| CN112667869A (zh) | 数据处理方法、设备、系统及存储介质 | |
| Gotz et al. | An empirical study of user interaction behavior during visual analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |