CN111177561B - 一种测试方法和装置 - Google Patents
一种测试方法和装置 Download PDFInfo
- Publication number
- CN111177561B CN111177561B CN201911423187.5A CN201911423187A CN111177561B CN 111177561 B CN111177561 B CN 111177561B CN 201911423187 A CN201911423187 A CN 201911423187A CN 111177561 B CN111177561 B CN 111177561B
- Authority
- CN
- China
- Prior art keywords
- value
- parameter
- page
- user group
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供了一种测试方法和装置，所述方法包括：将多个测试用户分别划分为第一用户组和第二用户组；向所述第一用户组推送第一页面，向所述第二用户组推送第二页面；根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值；根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值。在上述方法中，通过一次测试确定了两个目标取值，相比于传统的AB测试中一次测试确定一个目标取值，本方案相当于只用传统的AB测试中一半的测试时间取得了同样数量的测试结果。因此，大大缩短了实验测试周期。
Description
技术领域
本发明涉及推荐领域，特别是涉及一种测试方法和装置。
背景技术
随着科技的日益进步和互联网的普及，越来越多的人通过网页来获取信息和分享生活，网页上个性化的内容推荐可以使用户快速获取自己感兴趣的内容，同时也可以使网页内容获得更好的点击率和转化率，因此，各种推荐算法也在不断改进以提升推荐效果。
现阶段大量采用AB测试方式来评估新的推荐算法的优劣。AB测试是指找出一部分用户把他们平均分成两组，让其中一组用户使用改版过后的A版本，再让另外一组用户使用改版过后的B版本，通过这个测试得到的大量数据中分析出哪一个版本才是最受用户喜爱的。推荐系统需要大量的AB测试来检测推荐算法是否能够提升推荐效果。AB测试需要大量宝贵的线上用户流量资源去验证算法的优劣，对于线上用户流量资源较少的项目来说，只能通过拉长测试周期的方式积累足够的样本量进行比较。但是AB测试周期过长，会导致系统需要长期同时维护多个可用的版本，无疑加大了系统的复杂性。
发明内容
本发明实施例的目的在于提供一种测试方法和装置，以实现解决现有的AB测试周期过长的问题。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种测试方法，所述方法包括：
将多个测试用户分别划分为第一用户组和第二用户组；
向所述第一用户组推送第一页面，向所述第二用户组推送第二页面；所述第一页面由第一内容展示元素和第二内容展示元素组成；所述第二页面由第三内容展示元素和第四内容展示元素组成；
根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值；
根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值；
其中，所述第一内容展示元素是根据第一参数的第一取值和第二参数的第二取值生成的，所述第二内容展示元素是根据所述第一参数的第三取值和所述第二参数的第二取值生成的；所述第三内容展示元素是根据所述第一参数的第一取值和所述第二参数的第四取值生成的，所述第四内容展示元素是根据所述第三取值和所述第四取值生成的。
可选地，所述第一行为数据包括：针对第一页面的第一访问次数和第一访问时长，所述第二行为数据包括：针对第二页面的第二访问次数和第二访问时长，所述根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值，包括：
根据所述第一访问次数、所述第一访问时长，以及针对所述第一访问次数和所述第二访问次数预设的第一权值和针对所述第一访问时长和所述第二访问时长预设的第二权值，确定所述第一行为数据的第一得分；
根据第二用户组针对第二页面的所述第二访问次数、所述第二访问时长，以及所述第一权值和所述第二权值，确定所述第二行为数据的第二得分；
若所述第一得分大于所述第二得分，则将所述第二取值确定为第二参数的第二目标取值；
若所述第一得分小于所述第二得分，则将所述第四取值确定为第二参数的第二目标取值。
可选地，所述第一行为数据包括针对所述第一内容展示元素的第一子行为数据和针对所述第二内容展示元素的第二子行为数据，所述第一子行为数据包括第三访问次数和第三访问时长，所述第二子行为数据包括第四访问次数和第四访问时长，所述根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值，包括：
根据所述第三访问次数、所述第三访问时长，以及针对所述第三访问次数和所述第四访问次数预设的第三权值和针对所述第三访问时长和所述第四访问时长预设的第四权值，确定所述第一子行为数据的第三得分；
根据所述第四访问次数、所述第四访问时长，以及所述第三权值和所述第四权值，确定所述第二子行为数据的第四得分；
若所述第三得分大于所述第四得分，则将所述第一取值确定为第一参数的第一目标取值；
若所述第三得分小于所述第四得分，则将所述第三取值确定为第一参数的第一目标取值。
可选地，在向所述第一用户组推送第一页面之前，包括：
在接收到所述第一用户组的其中一个用户的第一请求指令的情况下，采用第一配置文件和第二配置文件分别对所述第一请求指令进行处理，得到第一处理结果和第二处理结果；所述第一配置文件配置有第一参数的第一取值和第二参数的第二取值，所述第二配置文件配置有所述第一参数的第三取值和所述第二参数的第二取值；
根据所述第一处理结果确定第一内容展示元素，以及，根据所述第二处理结果确定第二内容展示元素；
将所述第一内容展示元素和所述第二内容展示元素按照预设规则进行排列，得到第一页面。
可选地，在向所述第二用户组推送第二页面之前，包括：
在接收到所述第二用户组的其中一个用户的第二请求指令的情况下，采用第三配置文件和第四配置文件分别对所述第二请求指令进行处理，得到第三处理结果和第四处理结果；所述第三配置文件配置第一参数的第一取值和第二参数的第四取值，所述第四配置文件配置有所述第一参数的第三取值和所述第二参数的第四取值；
根据所述第三处理结果确定第三内容展示元素，以及，根据所述第四处理结果确定第四内容展示元素；
将所述第三内容展示元素和所述第四内容展示元素按照预设规则进行排列，得到第二页面。
可选地，所述第一内容展示元素包括至少一个按序排列的第一子元素，所述第二内容展示元素包括至少一个按序排列的第二子元素，所述将所述第一内容展示元素和所述第二内容展示元素按照预设规则进行排列，包括：
对所述第一子元素和所述第二子元素进行去重处理；
将去重处理之后的所述第一子元素和所述第二子元素按序进行穿插排列。
在本发明实施例的第二方面，提供了一种测试装置，所述装置包括：
分组模块，用于将多个测试用户分别划分为第一用户组和第二用户组；
推送模块，用于向所述第一用户组推送第一页面，向所述第二用户组推送第二页面；所述第一页面由第一内容展示元素和第二内容展示元素组成；所述第二页面由第三内容展示元素和第四内容展示元素组成；
第一取值确定模块，用于根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值；
第二取值确定模块，用于根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值；
其中，所述第一内容展示元素是根据第一参数的第一取值和第二参数的第二取值生成的，所述第二内容展示元素是根据所述第一参数的第三取值和所述第二参数的第二取值生成的；所述第三内容展示元素是根据所述第一参数的第一取值和所述第二参数的第四取值生成的，所述第四内容展示元素是根据所述第三取值和所述第四取值生成的。
可选地，所述第一行为数据包括：针对第一页面的第一访问次数和第一访问时长，所述第二行为数据包括：针对第二页面的第二访问次数和第二访问时长，所述第二取值确定模块，包括：
第一得分确定子模块，用于根据所述第一访问次数、所述第一访问时长，以及针对所述第一访问次数和所述第二访问次数预设的第一权值和针对所述第一访问时长和所述第二访问时长预设的第二权值，确定所述第一行为数据的第一得分；
第二得分确定子模块，用于根据第二用户组针对第二页面的所述第二访问次数、所述第二访问时长，以及所述第一权值和所述第二权值，确定所述第二行为数据的第二得分；
第一取值确定子模块，用于若所述第一得分大于所述第二得分，则将所述第二取值确定为第二参数的第二目标取值；
第二取值确定子模块，用于若所述第一得分小于所述第二得分，则将所述第四取值确定为第二参数的第二目标取值。
可选地，所述第一行为数据包括针对所述第一内容展示元素的第一子行为数据和针对所述第二内容展示元素的第二子行为数据，所述第一子行为数据包括第三访问次数和第三访问时长，所述第二子行为数据包括第四访问次数和第四访问时长，所述第一取值确定模块，包括：
第三得分确定子模块，用于根据所述第三访问次数、所述第三访问时长，以及针对所述第三访问次数和所述第四访问次数预设的第三权值和针对所述第三访问时长和所述第四访问时长预设的第四权值，确定所述第一子行为数据的第三得分；
第四得分确定子模块，用于根据所述第四访问次数、所述第四访问时长，以及所述第三权值和所述第四权值，确定所述第二子行为数据的第四得分。
第三取值确定子模块，用于若所述第三得分大于所述第四得分，则将所述第一取值确定为第一参数的第一目标取值；
第四取值确定子模块，用于若所述第三得分小于所述第四得分，则将所述第三取值确定为第一参数的第一目标取值。
可选地，所述装置还包括：
第一处理模块，用于在接收到所述第一用户组的其中一个用户的第一请求指令的情况下，采用第一配置文件和第二配置文件分别对所述第一请求指令进行处理，得到第一处理结果和第二处理结果；所述第一配置文件配置有第一参数的第一取值和第二参数的第二取值，所述第二配置文件配置有所述第一参数的第三取值和所述第二参数的第二取值；
展示元素确定第一模块，用于根据所述第一处理结果确定第一内容展示元素，以及，根据所述第二处理结果确定第二内容展示元素；
第一页面确定模块，用于将所述第一内容展示元素和所述第二内容展示元素按照预设规则进行排列，得到第一页面。
可选地，所述装置还包括：
第二处理模块，用于在接收到所述第二用户组的其中一个用户的第二请求指令的情况下，采用第三配置文件和第四配置文件分别对所述第二请求指令进行处理，得到第三处理结果和第四处理结果；所述第三配置文件配置第一参数的第一取值和第二参数的第四取值，所述第四配置文件配置有所述第一参数的第三取值和所述第二参数的第四取值；
展示元素确定第二模块，用于根据所述第三处理结果确定第三内容展示元素，以及，根据所述第四处理结果确定第四内容展示元素；
第二页面确定模块，用于将所述第三内容展示元素和所述第四内容展示元素按照预设规则进行排列，得到第二页面。
可选地，所述第一内容展示元素包括至少一个按序排列的第一子元素，所述第二内容展示元素包括至少一个按序排列的第二子元素，所述第一页面确定模块，包括：
去重子模块，用于对所述第一子元素和所述第二子元素进行去重处理；
排列子模块，用于将去重处理之后的所述第一子元素和所述第二子元素按序进行穿插排列。
在本发明实施的第三方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的测试方法。
在本发明实施的第四方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的测试方法。
综上所述，本发明实施例提供的测试方法和装置，将多个测试用户分别划分为第一用户组和第二用户组；向所述第一用户组推送第一页面，向所述第二用户组推送第二页面；所述第一页面由第一内容展示元素和第二内容展示元素组成；所述第二页面由第三内容展示元素和第四内容展示元素组成；根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值；根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值。在上述方法中，通过第一用户组的第一行为数据，可确定第一参数的第一目标取值，且根据所述第一行为数据与第二用户组的第二行为数据，可确定第二参数的第二目标取值，即通过一次测试确定了两个目标取值，相比于传统的AB测试中一次测试确定一个目标取值，本方案相当于只用传统的AB测试中一半的测试时间取得了同样数量的测试结果。因此，大大缩短了实验测试周期。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中的测试方法的流程图之一；
图2为本发明实施例中的测试方法的流程图之二；
图3为本发明实施例中的测试方法的数据流图；
图4为本发明实施例中的测试装置的结构框图之一；
图5为本发明实施例中的测试装置的结构框图之二；
图6为本发明实施例中的电子设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
图1是本发明实施例中的测试方法的流程图之一。如图1所示，所述方法包括以下步骤：
步骤101，将多个测试用户分别划分为第一用户组和第二用户组。
在本发明实施例中，测试对象为Web(网站)或App(application，应用)界面，从测试对象的历史访问用户中获取多个测试用户。将多个测试用户分为组成成分相同或相似的两个用户组，即第一用户组和第二用户组。
步骤102，向所述第一用户组推送第一页面，向所述第二用户组推送第二页面；所述第一页面由第一内容展示元素和第二内容展示元素组成；所述第二页面由第三内容展示元素和第四内容展示元素组成。
本发明实施例的大体流程是：分别让第一用户组和第二用户组的用户随机访问测试对象的不同版本，收集各组用户的体验数据和业务数据，最后分析评估出最好版本正式采用。其中，测试用户的随机访问行为可以是测试用户主动请求测试对象的页面的行为，也可以是系统向测试用户发出邀请，促使用户产生的请求测试对象的页面的行为，本发明实施例对此不做具体限定。
测试用户请求测试对象的页面，即测试用户打开测试对象对应的web页面或App页面的行为。测试用户打开页面，相当于向后台服务器发出了请求页面内容的请求指令，服务器接收到该请求指令并发送至测试模块，以进行测试实验。
服务器在接收到第一用户组的用户的请求后，向第一用户组的用户推送第一页面；服务器在接收到第二用户组的用户的请求后，向第二用户组的用户推送第二页面。第一页面和第二页面即为测试对象不同的版本，是由不同的配置文件生成的，不同的配置文件背后对应不同的推荐算法。
对于第一页面中的内容，分别由两种不同的推荐算法生成，例如第一推荐算法和第二推荐算法，两种不同的推荐算法生成页面中两种不同的内容展示元素，即第一内容展示元素和第二内容展示元素。内容展示元素指构成页面内容的展示元素，例如，对于视频网站来说，其内容展示元素为带有超链接的视频作品的图片；对于音乐网站来说，其内容展示元素为带有超链接的音乐作品的图片。第一内容展示元素和第二内容展示元素在页面上为同种类型的展示元素，例如，同为带有超链接的视频作品的图片。
对于第二页面中的内容，也分别由另外两种不同的推荐算法生成，如第三推荐算法和第四推荐算法，也使第二页面展现两种不同的内容展示元素，即第三内容展示元素和第四内容展示元素。
步骤103，根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值。
在本发明实施例中，第一内容展示元素是根据第一参数的第一取值和第二参数的第二取值生成的，第二内容展示元素是根据第一参数的第三取值和第二参数的第二取值生成的；第三内容展示元素是根据第一参数的第一取值和第二参数的第四取值生成的，第四内容展示元素是根据第一参数的第三取值和第二参数的第四取值生成的。其中，第一取值和第三取值不相等，第二取值和第四取值不相等。
例如，第一参数为A，第一参数的第一取值为A＝1，第一参数的第三取值为A＝2；第二参数为B，第二参数的第二取值为B＝1，第二参数的第四取值为B＝2。则第一内容展示元素是根据A＝1和B＝1生成的，第二内容展示元素是根据A＝2和B＝1生成的。第三内容展示元素是根据A＝1，B＝2生成的，第四内容展示元素是根据A＝2和B＝2生成的。
第一用户组的用户在浏览第一页面的过程中，会对内容展示元素产生点击、观看等行为，可以将这些用户行为进行采集，得到第一用户组针对第一页面的第一行为数据。其中，第一行为数据包括针对第一内容展示元素的行为数据和针对第二内容展示元素的行为数据。分别统计第一行为数据中针对第一内容展示元素、第二内容展示元素的行为数据，可以确定第一用户组对哪种内容展示元素更为感兴趣。因为第一用户组中包括多个用户，可以将多个用户的行为数据进行统计分析，以确定第一用户组对第一内容展示元素，还是第二内容展示元素更感兴趣。
因第一内容展示元素是根据第一参数的第一取值和第二参数的第二取值生成的，第二内容展示元素是根据第一参数的第三取值和第二参数的第二取值生成的，两种内容展示元素都使用了第二参数的第二取值，使用的第一参数的取值不同，因此，说明两种内容展示元素导致的用户行为数据的差异是由于第一参数的取值不同造成的。所以，可以根据第一用户组对哪种内容展示元素更为感兴趣，从第一取值和第三取值中确定出更优的取值，即第一参数的第一目标取值。
类似的，根据第二用户组的第二行为数据，也可以确定出第一参数的第一目标取值。因为第一用户组和第二用户组的用户组成成分相同或相似，因此两组用户具有相同或相似的兴趣爱好，因此，根据第一行为数据和第二行为数据确定的第一目标取值一般是相同的。
步骤104，根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值；
在本发明实施例中，第二用户组的用户的第二行为数据的产生过程与第一行为数据类似。具体地，第二用户组的用户在浏览第二页面的过程中，会对内容展示元素产生点击、观看等行为，可以将这些用户行为进行采集，得到第二用户组针对第二页面的第二行为数据。
综合来看，第一用户组的第一行为数据是由第一参数的第一取值、第二参数的第二取值、第一参数的第三取值生成的，第二用户组的第二行为数据是由第一参数的第一取值、第二参数的第四取值、第一参数的第三取值生成的。由此可见，第一参数的第一取值和第三取值同时对两组用户的行为数据产生影响，也就是说，第一参数对两组用户的行为数据的影响是相同的，是第二参数的取值差异导致了第一行为数据和第二行为数据的差异。因第一用户组和第二用户组的用户组成成分相同或相似，兴趣爱好相似，因此，第一行为数据和第二行为数据之间的差异仅仅是由第二参数的取值差异造成的。
因此，根据第一行为数据和第二行为数据确定用户对第一页面还是第二页面更感兴趣，可以进一步确定第二参数取第二取值更优还是第四取值更优，并将第二取值或第四取值确定为第二参数的第二目标取值；
对于传统的AB测试来说，需要利用两组测试用户从一种参数的两个取值中测试得到一个目标取值。而对于本方案来说，由于采用了将两种参数的四个取值混合分配给第一用户组和第二用户组共两组测试用户的方案，使得在同样数量的测试用户下，得到了两个目标取值，即取得了双倍的测试结果。这样，相比于传统的一次测试确定一个目标取值，本方案同样的测试时间可确定两个目标取值，相当于只用传统AB测试一半的时间即可取得同样数量的测试结果，大大缩短了测试时间。
综上，本发明实施例提供的测试方法，将多个测试用户分别划分为第一用户组和第二用户组；向所述第一用户组推送第一页面，向所述第二用户组推送第二页面；所述第一页面由第一内容展示元素和第二内容展示元素组成；所述第二页面由第三内容展示元素和第四内容展示元素组成；根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值；根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值。在上述方法中，通过第一用户组的第一行为数据，可确定第一参数的第一目标取值，且根据所述第一行为数据与第二用户组的第二行为数据，可确定第二参数的第二目标取值。上述过程通过一次测试确定了两个目标取值，相比于传统的AB测试中一次测试确定一个目标取值，本方案相当于只用传统的AB测试中一半的测试时间取得了同样数量的测试结果。因此，大大缩短了实验测试周期。
图2是本发明实施例中的测试方法的流程图之二。如图2所示，所述方法包括以下步骤：
步骤201，将多个测试用户分别划分为第一用户组和第二用户组。
在本发明实施例中，步骤201可以参照步骤101，此处不再赘述。
步骤202，在接收到所述第一用户组的其中一个用户的第一请求指令的情况下，采用第一配置文件和第二配置文件分别对所述第一请求指令进行处理，得到第一处理结果和第二处理结果；所述第一配置文件配置有第一参数的第一取值和第二参数的第二取值，所述第二配置文件配置有所述第一参数的第三取值和所述第二参数的第二取值。
在本发明实施例中，第一用户组的用户产生打开网站页面的行为，即相当于向网站的后台服务器发出了请求网页内容的请求指令，服务器将该请求指令发送至测试模块，以进行参数的测试实验。在测试模块中，该请求指令被复制为两份，分别采用第一配置文件和第二配置文件对这两个请求指令进行处理。具体地，第一配置文件中配置有第一推荐算法，第一推荐算法中包括第一参数的第一取值和第二参数的第二取值，第二配置文件中配置有第二推荐算法，第二推荐算法中包括第一参数的第三取值和第二参数的第二取值。通过第一配置文件和第二配置文件的处理，可以分别得到第一处理结果和第二处理结果。
步骤203，根据所述第一处理结果确定第一内容展示元素，以及，根据所述第二处理结果确定第二内容展示元素。
在本发明实施例中，通过第一处理结果可以确定一定数量的推荐元素，组成第一内容展示元素；通过第二处理结果可以确定一定数量的推荐元素，组成第二内容展示元素。
步骤204，将所述第一内容展示元素和所述第二内容展示元素按照预设规则进行排列，得到第一页面。
在本发明实施例中，在确定第一内容展示元素和第二内容展示元素后，需要将第一内容展示元素和第二内容展示元素按照一定的规则排列在页面上，进而得到第一用户组所看到的第一页面。
例如，第一用户组打开的是视频网站的网页，则第一用户组的请求指令被第一配置文件和第二配置文件处理后，第一用户组在第一页面上看到若干推荐视频对应的带有超链接的视频图片。其中，一半数量的推荐视频是第一配置文件生成的第一内容展示元素，另外一半数量的推荐视频是第二配置文件生成的第二内容展示元素。并且，这些来自不同推荐算法的推荐视频是按照一定的规则排列在页面上的。
在本发明实施例中，步骤204包括以下步骤2041-步骤2042：
步骤2041，对所述第一子元素和所述第二子元素进行去重处理。
在本发明实施例中，所述第一内容展示元素包括至少一个按序排列的第一子元素，所述第二内容展示元素包括至少一个按序排列的第二子元素。第一子元素和第二子元素中可能包括重复的元素，可以将重复元素进行去重处理。具体地，为了保证第一内容展示元素和第二内容展示元素能够在第一页面上具有同等的关注度，可以在多个第一用户组用户对应的多个第一页面中，将排序第一的元素进行平均分配。例如，第一用户组共有10个用户，可以在其中5个用户的第一页面中，将第一子元素作为排序第一的推荐内容，将第二子元素作为排序第二的推荐内容，将第一子元素作为排序第三的推荐内容，将第二子元素作为排序第四的推荐内容，后面依次类推；在另外5个用户的第一页面中，将第二子元素作为排序第一的推荐元素，将第一子元素作为排序第二的推荐元素，将第二子元素作为排序第三的推荐元素，将第一子元素作为排序第四的推荐元素，后面依次类推。根据上述排序，在后面子元素的排列中，遇到与前面重复的子元素，可以删除重复子元素。
例如，第一内容展示元素中包括按序排列的A1、A2、A3、A4、A5五个第一子元素，第二内容展示元素中包括按序排列的B1、B2、B3、B4、B5五个第二子元素。其中，A1和B2为内容重复的子元素，那么，在将A1作为排序第一的推荐视频的情况下，可以将排序在后的B2删除，B2的位置将由顺延的B3代替。
步骤2042，将去重处理之后的所述第一子元素和所述第二子元素按序进行穿插排列。
在本发明实施例中，将第一子元素和第二子元素穿插排列得到新序列，其中，所有的第一子元素和第二子元素在新序列中均按照原有顺序排列。例如，若第一内容展示元素中包括按序排列的A1、A2、A3、A4、A5五个第一子元素，第二内容展示元素中包括按序排列的B1、B2、B3、B4、B5五个第二子元素。在第一子元素和第二子元素不存在重复内容的情况下，若选择第一子元素在前，则得到的新序列是：A1、B1、A2、B2、A3、B3、A4、B4、A5、B5；若选择第二子元素在前，则得到的新序列是：B1、A1、B2、A2、B3、A3、B4、A4、B5、A5。
在第一子元素和第二子元素存在重复内容的情况下，则需要先进行去重处理。例如，若A1和B2为内容重复的子元素，那么，可以将排序在前的A1保留，将B2删除，B2的位置将由顺延的B3代替，并为了保证两种内容数量相等，加入排序在B5后的第二子元素B6。具体地，若选择第一子元素在前，则得到的新序列是：A1、B1、A2、B3、A3、B4、A4、B5、A5、B6；若选择第二子元素在前，则得到的新序列是：B1、A1、B3、A2、B4、A3、B5、A4、B6、A5。
在本发明实施例中，采用第一配置文件和第二配置文件分别对第一请求指令进行处理，可以使第一请求指令同时得到两种推荐算法的处理，相当于利用一份用户流量进行了两次测试，充分利用了有限的用户流量资源；并且，将第一内容展示元素和第二内容展示元素按照预设规则进行排列，可以使第一内容展示元素和第二内容展示元素获得同等的曝光率，使测试结果更为客观、公正；对第一子元素和第二子元素进行去重处理，去掉了冗余数据，使其他有用数据获得了更好的曝光。
步骤205，在接收到所述第二用户组的其中一个用户的第二请求指令的情况下，采用第三配置文件和第四配置文件分别对所述第二请求指令进行处理，得到第三处理结果和第四处理结果；所述第三配置文件配置第一参数的第一取值和第二参数的第四取值，所述第四配置文件配置有所述第一参数的第三取值和所述第二参数的第四取值。
在本发明实施例中，第二用户组在打开网站页面的过程中，即相当于向网站的后台服务器发出了请求网页内容的请求指令，服务器将该请求指令发送至测试模块，以进行参数的测试实验。在测试模块中，该请求指令被复制为两份，分别采用第三配置文件和第四配置文件对这两个请求指令进行处理。具体地，第三配置文件中配置有第一参数的第一取值和第二参数的第四取值，第四配置文件中配置有第一参数的第三取值和第二参数的第四取值。可以将第三配置文件和第四配置文件分别看作不同的推荐算法，通过推荐算法的处理，可以分别得到第三处理结果和第四处理结果。
步骤206，根据所述第三处理结果确定第三内容展示元素，以及，根据所述第四处理结果确定第四内容展示元素。
在本发明实施例中，通过第三处理结果可以确定一定数量的推荐元素，组成第三内容展示元素；通过第四处理结果可以确定一定数量的推荐元素，组成第四内容展示元素。
步骤207，将所述第三内容展示元素和所述第四内容展示元素按照预设规则进行排列，得到第二页面。
在本发明实施例中，在确定第三内容展示元素和第四内容展示元素后，需要将第三内容展示元素和第四内容展示元素按照一定的规则排列在页面上，进而得到第二用户组所看到的第二页面。具体排列方法可以参照步骤2041-步骤2042中的方法。
步骤208，向所述第一用户组推送第一页面，向所述第二用户组推送第二页面；所述第一页面由第一内容展示元素和第二内容展示元素组成；所述第二页面由第三内容展示元素和第四内容展示元素组成。
在本发明实施例中，步骤208可以参照步骤102，此处不再赘述。
步骤209，根据所述第三访问次数、所述第三访问时长，以及针对所述第三访问次数和所述第四访问次数预设的第三权值和针对所述第三访问时长和所述第四访问时长预设的第四权值，确定所述第一子行为数据的第三得分。
在本发明实施例中，所述第一行为数据包括针对所述第一内容展示元素的第一子行为数据和针对所述第二内容展示元素的第二子行为数据，所述第一子行为数据包括第三访问次数和第三访问时长，所述第二子行为数据包括第四访问次数和第四访问时长。
访问次数是指用户点击页面中的子元素的次数。因为第一用户组的用户有多个，因此，第三访问次数指第一用户组的用户针对第一内容展示元素的平均访问次数；第四访问次数指第一用户组的用户针对第二内容展示元素的平均访问次数。
访问时长是指用户在页面中停留的时长，包括用户在页面上的浏览时长、用户在页面中子元素对应的超链接页面里的停留时长，即用户对子元素内容的观看或播放时长。第三访问时长指第一用户组的用户针对第一内容展示元素的平均访问时长，第四访问时长指第一用户组的用户针对第二内容展示元素的平均访问时长。
针对第三访问次数和第四访问次数预设第三权值，针对第三访问时长和第四访问时长预设第四权值。具体地，因为访问时长比访问次数更能代表用户对于访问对象的喜好，因此第四权值可以大于第三权值，且第三权值和第四权值的和为1。将针对第一页面展示元素的第三访问次数和第三访问时长进行加权求和，得到第三得分。具体地，第三得分的求取公式为：
第三得分＝第三访问次数*第三权值+第三访问时长*第四权值(公式1)
步骤210，根据所述第四访问次数、所述第四访问时长，以及所述第三权值和所述第四权值，确定所述第二子行为数据的第四得分。
与步骤209类似，将针对第二页面展示元素的第四访问次数和第四访问时长进行加权求和，得到第四得分。具体地，第四得分的求取公式为：
第四得分＝第四访问次数*第三权值+第四访问时长*第四权值(公式2)
在步骤210之后，根据第三得分与第四得分的大小比较结果，选择执行步骤211或步骤212。
步骤211，若所述第三得分大于所述第四得分，则将所述第一取值确定为第一参数的第一目标取值。
在本发明实施例中，若第三得分大于第四得分，说明第一行为子数据的得分更高，说明第一内容展示元素获得了第一用户组更高的关注和访问，更受第一用户组喜爱。第一内容展示元素由第一参数的第一取值和第二参数的第二取值生成，第二内容展示元素由第一参数的第三取值和第二参数的第二取值生成，在两种内容展示元素中，第二参数的取值同为第二取值，因此，得分的差异是由第一参数的不同取值引起的。若第三得分大于第四得分，说明第一参数的取值为第一取值比第三取值推荐效果更好，因此，将第一取值确定为第一参数的第一目标取值。
步骤212，若所述第三得分小于所述第四得分，则将所述第三取值确定为第一参数的第一目标取值。
若第三得分小于第四得分，说明第一参数的取值中，第二取值比第一取值推荐效果更好，因此，将第三取值确定为第一参数的第一目标取值。
可选地，若所述第三得分等于所述第四得分，则将所述第三取值和所述第一取值中的任意一个确定为第一参数的第一目标取值。
在本发明实施例中，第三得分等于第四得分，说明用户对第一页面展示元素和第二页面展示元素的喜好完全相同，因此，可以从第三取值和第一取值中任意确定一个取值作为第一参数的第一目标取值。
在本发明实施例中，根据第一行为子数据的第三得分和第二行为子数据的第四得分，可以确定第一内容展示元素和第二内容展示元素中哪个更受第一用户组喜爱，从而在第一参数的第一取值和第三取值中确定第一目标取值，方法比较简单，最终得到的结果准确。
步骤213，根据所述第一访问次数、所述第一访问时长，以及针对所述第一访问次数和所述第二访问次数预设的第一权值和针对所述第一访问时长和所述第二访问时长预设的第二权值，确定所述第一行为数据的第一得分。
在本发明实施例中，所述第一行为数据包括：针对第一页面的第一访问次数和第一访问时长。其中，第一访问次数可以为所有第一用户组的用户针对第一页面上的展示元素的平均访问次数，第一访问时长可以为所有第一用户组的用户针对第一页面上的展示元素的平均访问时长。第一访问次数、第一访问时长代表多个第一用户组用户的平均统计结果。第一访问次数为步骤209中的第三访问次数和第四访问次数的和，第一访问时长为步骤209中的第三访问时长和第四访问时长的和。
针对第一访问次数和第二访问次数预设第一权值，针对第一访问时长和第二访问时长预设第二权值。具体地，因为访问时长比访问次数更能代表用户对于访问对象的喜好，因此第二权值可以大于第一权值，且第二权值和第一权值的和为1。将针对第一页面的第一访问次数和第一访问时长进行加权求和，得到第一行为数据的第一得分。具体地，第一得分的求取公式为：
第一得分＝第一访问次数*第一权值+第一访问时长*第二权值(公式3)
步骤214，根据第二用户组针对第二页面的所述第二访问次数、所述第二访问时长，以及所述第一权值和所述第二权值，确定所述第二行为数据的第二得分。
在本发明实施例中，所述第二行为数据包括：针对第二页面的第二访问次数和第二访问时长。其中，第二访问次数可以为所有第二用户组的用户针对第二页面上的展示元素的平均访问次数，第二访问时长可以为所有第二用户组的用户针对第二页面上的展示元素的平均访问时长。
将针对第二页面的第二访问次数和第二访问时长利用第一权值和第二权值进行加权求和，得到第二行为数据的第二得分。具体地，第二得分的求取公式为：
第二得分＝第二访问次数*第一权值+第二访问时长*第二权值(公式4)
在步骤214之后，根据第一得分与第二得分的大小比较结果，选择执行步骤215或步骤216。
步骤215，若所述第一得分大于所述第二得分，则将所述第二取值确定为第二参数的第二目标取值。
在本发明实施例中，若第一得分大于第二得分，说明第一行为数据的得分更高，说明第一页面获得了测试用户更高的关注和访问，第一页面更受测试用户喜爱。
综合来看，第一用户组的第一行为数据是由第一参数的第一取值、第二参数的第二取值、第一参数的第三取值生成的，第二用户组的第二行为数据是由第一参数的第一取值、第二参数的第四取值、第一参数的第三取值生成的。由此可见，第一参数的第一取值和第三取值同时对两组用户的行为数据产生影响，也就是说，第一参数对两组用户的行为数据的影响是相同的，是第二参数的取值差异导致了第一行为数据和第二行为数据的差异。因第一用户组和第二用户组的用户组成成分相同或相似，兴趣爱好相似，因此，第一行为数据和第二行为数据之间的差异仅仅是由第二参数的取值差异造成的，也就是说，第一得分和第二得分的差异是由于第二参数的取值不同造成的。
因此，若第一得分大于第二得分，说明第二参数取值为第二取值的推荐效果优于第四取值，因此，将第二取值确定为第二参数的第二目标取值。
步骤216，若所述第一得分小于所述第二得分，则将所述第四取值确定为第二参数的第二目标取值。
相反地，若第一得分小于第二得分，说明第二参数取值为第四取值的推荐效果优于第二取值，因此，将第四取值确定为第二参数的第二目标取值。
可选地，若所述第一得分等于所述第二得分，则将所述第二取值和所述第四取值中的任意一个确定为第二参数的第二目标取值。
在本发明实施例中，第一得分等于第二得分，说明用户对第一页面和第二页面的喜好完全相同，因此，可以从第二取值和第四取值中任意确定一个取值作为第二参数的第二目标取值。
可选地，根据所述第一参数的第一目标取值和所述第二参数的第二目标取值确定推荐页面的内容。
在本发明实施例中，在确定了第一参数的第一目标取值和所述第二参数的第二目标取值之后，可以将第一参数的第一目标取值和第二参数的第二目标取值共同配置在配置文件的推荐算法中，对用户的请求指令进行处理，生成推荐页面的内容。该推荐页面的内容因为是由第一目标取值、第二目标取值生成的，因此具有较好的推荐效果。
综上，本发明实施例提供的测试方法，除具有图1中的测试方法的有益效果外，还采用第一配置文件和第二配置文件分别对第一请求指令进行处理，可以使第一请求指令同时得到两种推荐算法的处理，相当于利用一份用户流量进行了两次测试，充分利用了有限的用户流量资源；并且，将第一内容展示元素和第二内容展示元素按照预设规则进行排列，可以使第一内容展示元素和第二内容展示元素获得同等的曝光率，使测试结果更为客观、公正；对第一子元素和第二子元素进行去重处理，去掉了冗余数据，使其他有用数据获得了更好的曝光。此外，根据第一子行为数据的第三得分和第二子行为数据的第四得分，可以确定第一内容展示元素和第二内容展示元素哪个更受第一用户组喜爱，从而从第一取值和第三取值中确定第一目标取值，方法比较简单，最终结果精确可靠。并且，根据第一行为数据的第一得分和第二行为数据的第二得分，可以确定第一页面和第二页面哪个更受用户喜爱，从而从第二取值和第四取值中确定第二目标取值。上述方法将第二用户组的第二行为数据与第一用户组的第一行为数据融合起来确定第二目标取值，最大化利用了用户流量资源，测试周期缩短为原来的一半，且测试结果精确可靠。
图3是本发明实施例中的测试方法的数据流图。
在图3中，第一用户组发出请求指令，分别选择第一配置文件和第二配置文件处理请求指令。在第一配置文件对请求指令进行处理时，对第一参数配置了第一取值，对第二参数配置了第二取值，得到第一处理结果，最终确定了第一内容展示元素；在第二配置文件对请求指令进行处理时，对第一参数配置了第三取值，对第二参数配置了第二取值，得到第二处理结果，最终确定了第二内容展示元素。根据第一内容展示元素和第二内容展示元素，可以得到第一页面。通过第一用户组的用户针对第一页面的第一行为数据，可以从第一取值或第三取值中确定第一参数的第一目标取值。
相似地，第二用户组发出请求指令，分别选择第三配置文件和第四配置文件处理请求指令。在第三配置文件对请求指令进行处理时，对第一参数配置了第一取值，对第二参数配置了第四取值，得到第三处理结果，最终确定了第三内容展示元素；在第四配置文件对请求指令进行处理时，对第一参数配置了第三取值，对第二参数配置了第四取值，得到第四处理结果，最终确定了第四内容展示元素。根据第三内容展示元素和第四内容展示元素，可以得到第二页面。同样，通过第二用户组的用户针对第二页面的第二行为数据，可以从第一取值或第三取值中确定第一参数的第一目标取值。
通过第二用户组针对第二页面的第二行为数据和第一用户组针对第一页面的第一行为数据，可以从第二取值和第四取值中确定第二参数的第二目标取值。这样，最终可得到第一参数的第一目标取值和第二参数的第二目标取值。
图4为本发明实施例中的测试装置的结构框图之一。如图4所示，所述测试装置400包括：
分组模块401，用于将多个测试用户分别划分为第一用户组和第二用户组；
推送模块402，用于向所述第一用户组推送第一页面，向所述第二用户组推送第二页面；所述第一页面由第一内容展示元素和第二内容展示元素组成；所述第二页面由第三内容展示元素和第四内容展示元素组成；
第一取值确定模块403，用于根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值；
第二取值确定模块404，用于根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值；
其中，所述第一内容展示元素是根据第一参数的第一取值和第二参数的第二取值生成的，所述第二内容展示元素是根据所述第一参数的第三取值和所述第二参数的第二取值生成的；所述第三内容展示元素是根据所述第一参数的第一取值和所述第二参数的第四取值生成的，所述第四内容展示元素是根据所述第三取值和所述第四取值生成的。
综上，本发明实施例提供的测试方法，将多个测试用户分别划分为第一用户组和第二用户组；向所述第一用户组推送第一页面，向所述第二用户组推送第二页面；所述第一页面由第一内容展示元素和第二内容展示元素组成；所述第二页面由第三内容展示元素和第四内容展示元素组成；根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值；根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值。在上述方法中，通过第一用户组的第一行为数据，可确定第一参数的第一目标取值，且根据所述第一行为数据与第二用户组的第二行为数据，可确定第二参数的第二目标取值，即通过一次测试确定了两个目标取值，相比于传统的AB测试中一次测试确定一个目标取值，本方案相当于只用传统的AB测试中一半的测试时间取得了同样数量的测试结果。因此，大大缩短了实验测试周期。
在图4的基础上，图5为本发明实施例中的测试装置的结构框图之二。如图5所示，其中，所述第二取值确定模块404，包括：
第一得分确定子模块4041，用于根据所述第一访问次数、所述第一访问时长，以及针对所述第一访问次数和所述第二访问次数预设的第一权值和针对所述第一访问时长和所述第二访问时长预设的第二权值，确定所述第一行为数据的第一得分；
第二得分确定子模块4042，用于根据第二用户组针对第二页面的所述第二访问次数、所述第二访问时长，以及所述第一权值和所述第二权值，确定所述第二行为数据的第二得分；
第一取值确定子模块4043，用于若所述第一得分大于所述第二得分，则将所述第二取值确定为第二参数的第二目标取值；
第二取值确定子模块4044，用于若所述第一得分小于所述第二得分，则将所述第四取值确定为第二参数的第二目标取值。
可选地，所述第一行为数据包括针对所述第一内容展示元素的第一子行为数据和针对所述第二内容展示元素的第二子行为数据，所述第一子行为数据包括第三访问次数和第三访问时长，所述第二子行为数据包括第四访问次数和第四访问时长，所述第一取值确定模块403，包括：
第三得分确定子模块4031，用于根据所述第三访问次数、所述第三访问时长，以及针对所述第三访问次数和所述第四访问次数预设的第三权值和针对所述第三访问时长和所述第四访问时长预设的第四权值，确定所述第一子行为数据的第三得分；
第四得分确定子模块4032，用于根据所述第四访问次数、所述第四访问时长，以及所述第三权值和所述第四权值，确定所述第二子行为数据的第四得分。
第三取值确定子模块4033，用于若所述第三得分大于所述第四得分，则将所述第一取值确定为第一参数的第一目标取值；
第四取值确定子模块4034，用于若所述第三得分小于所述第四得分，则将所述第三取值确定为第一参数的第一目标取值。
可选地，所述装置400还包括：
第一处理模块405，用于在接收到所述第一用户组的其中一个用户的第一请求指令的情况下，采用第一配置文件和第二配置文件分别对所述第一请求指令进行处理，得到第一处理结果和第二处理结果；所述第一配置文件配置有第一参数的第一取值和第二参数的第二取值，所述第二配置文件配置有所述第一参数的第三取值和所述第二参数的第二取值；
展示元素确定第一模块406，用于根据所述第一处理结果确定第一内容展示元素，以及，根据所述第二处理结果确定第二内容展示元素；
第一页面确定模块407，用于将所述第一内容展示元素和所述第二内容展示元素按照预设规则进行排列，得到第一页面。
可选地，所述装置400还包括：
第二处理模块408，用于在接收到所述第二用户组的其中一个用户的第二请求指令的情况下，采用第三配置文件和第四配置文件分别对所述第二请求指令进行处理，得到第三处理结果和第四处理结果；所述第三配置文件配置第一参数的第一取值和第二参数的第四取值，所述第四配置文件配置有所述第一参数的第三取值和所述第二参数的第四取值；
展示元素确定第二模块409，用于根据所述第三处理结果确定第三内容展示元素，以及，根据所述第四处理结果确定第四内容展示元素；
第二页面确定模块410，用于将所述第三内容展示元素和所述第四内容展示元素按照预设规则进行排列，得到第二页面。
可选地，所述第一内容展示元素包括至少一个按序排列的第一子元素，所述第二内容展示元素包括至少一个按序排列的第二子元素，所述第一页面确定模块407，包括：
去重子模块4071，用于对所述第一子元素和所述第二子元素进行去重处理；
排列子模块4072，用于将去重处理之后的所述第一子元素和所述第二子元素按序进行穿插排列。
综上所述，本发明实施例提供的测试装置，除具有图4中的测试方法的有益效果外，还采用第一配置文件和第二配置文件分别对第一请求指令进行处理，可以使第一请求指令同时得到两种推荐算法的处理，相当于利用一份用户流量进行了两次测试，充分利用了有限的用户流量资源；并且，将第一内容展示元素和第二内容展示元素按照预设规则进行排列，可以使第一内容展示元素和第二内容展示元素获得同等的曝光率，使测试结果更为客观、公正；对第一子元素和第二子元素进行去重处理，去掉了冗余数据，使其他有用数据获得了更好的曝光。此外，根据第一子行为数据的第三得分和第二子行为数据的第四得分，可以确定第一内容展示元素和第二内容展示元素哪个更受第一用户组喜爱，从而从第一取值和第三取值中确定第一目标取值，方法比较简单，最终结果精确可靠。并且，根据第一行为数据的第一得分和第二行为数据的第二得分，可以确定第一页面和第二页面哪个更受用户喜爱，从而从第二取值和第四取值中确定第二目标取值。上述方法将第二用户组的第二行为数据与第一用户组的第一行为数据融合起来确定第二目标取值，最大化利用了用户流量资源，测试周期缩短为原来的一半，且测试结果精确可靠。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
将多个测试用户分别划分为第一用户组和第二用户组；
向所述第一用户组推送第一页面，向所述第二用户组推送第二页面；所述第一页面由第一内容展示元素和第二内容展示元素组成；所述第二页面由第三内容展示元素和第四内容展示元素组成；
根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值；
根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值；
其中，所述第一内容展示元素是根据第一参数的第一取值和第二参数的第二取值生成的，所述第二内容展示元素是根据所述第一参数的第三取值和所述第二参数的第二取值生成的；所述第三内容展示元素是根据所述第一参数的第一取值和所述第二参数的第四取值生成的，所述第四内容展示元素是根据所述第一参数的第三取值和所述第二参数的第四取值生成的。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的测试方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的测试方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种测试方法，其特征在于，所述方法包括：
将多个测试用户分别划分为第一用户组和第二用户组，其中，所述第一用户组和所述第二用户组的用户组成成分相同或相似；
向所述第一用户组推送第一页面，向所述第二用户组推送第二页面；所述第一页面由第一内容展示元素和第二内容展示元素组成；所述第二页面由第三内容展示元素和第四内容展示元素组成，其中，所述第一页面和所述第二页面为测试对象不同的版本；
根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值；
根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值；
其中，所述第一内容展示元素是根据所述第一参数的第一取值和所述第二参数的第二取值生成的，所述第二内容展示元素是根据所述第一参数的第三取值和所述第二参数的第二取值生成的；所述第三内容展示元素是根据所述第一参数的第一取值和所述第二参数的第四取值生成的，所述第四内容展示元素是根据所述第一参数的第三取值和所述第二参数的第四取值生成的。
2.根据权利要求1所述的方法，其特征在于，所述第一行为数据包括：针对第一页面的第一访问次数和第一访问时长，所述第二行为数据包括：针对第二页面的第二访问次数和第二访问时长，所述根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值，包括：
根据所述第一访问次数、所述第一访问时长，以及针对所述第一访问次数和所述第二访问次数预设的第一权值和针对所述第一访问时长和所述第二访问时长预设的第二权值，确定所述第一行为数据的第一得分；
根据第二用户组针对第二页面的所述第二访问次数、所述第二访问时长，以及所述第一权值和所述第二权值，确定所述第二行为数据的第二得分；
若所述第一得分大于所述第二得分，则将所述第二取值确定为第二参数的第二目标取值；
若所述第一得分小于所述第二得分，则将所述第四取值确定为第二参数的第二目标取值。
3.根据权利要求1所述的方法，其特征在于，所述第一行为数据包括针对所述第一内容展示元素的第一子行为数据和针对所述第二内容展示元素的第二子行为数据，所述第一子行为数据包括第三访问次数和第三访问时长，所述第二子行为数据包括第四访问次数和第四访问时长，所述根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值，包括：
根据所述第三访问次数、所述第三访问时长，以及针对所述第三访问次数和所述第四访问次数预设的第三权值和针对所述第三访问时长和所述第四访问时长预设的第四权值，确定所述第一子行为数据的第三得分；
根据所述第四访问次数、所述第四访问时长，以及所述第三权值和所述第四权值，确定所述第二子行为数据的第四得分；
若所述第三得分大于所述第四得分，则将所述第一取值确定为第一参数的第一目标取值；
若所述第三得分小于所述第四得分，则将所述第三取值确定为第一参数的第一目标取值。
4.根据权利要求1所述的方法，其特征在于，在向所述第一用户组推送第一页面之前，包括：
在接收到所述第一用户组的其中一个用户的第一请求指令的情况下，采用第一配置文件和第二配置文件分别对所述第一请求指令进行处理，得到第一处理结果和第二处理结果；所述第一配置文件配置有第一参数的第一取值和第二参数的第二取值，所述第二配置文件配置有所述第一参数的第三取值和所述第二参数的第二取值；
根据所述第一处理结果确定第一内容展示元素，以及，根据所述第二处理结果确定第二内容展示元素；
将所述第一内容展示元素和所述第二内容展示元素按照预设规则进行排列，得到第一页面。
5.根据权利要求1所述的方法，其特征在于，在向所述第二用户组推送第二页面之前，包括：
在接收到所述第二用户组的其中一个用户的第二请求指令的情况下，采用第三配置文件和第四配置文件分别对所述第二请求指令进行处理，得到第三处理结果和第四处理结果；所述第三配置文件配置第一参数的第一取值和第二参数的第四取值，所述第四配置文件配置有所述第一参数的第三取值和所述第二参数的第四取值；
根据所述第三处理结果确定第三内容展示元素，以及，根据所述第四处理结果确定第四内容展示元素；
将所述第三内容展示元素和所述第四内容展示元素按照预设规则进行排列，得到第二页面。
6.根据权利要求4所述的方法，其特征在于，所述第一内容展示元素包括至少一个按序排列的第一子元素，所述第二内容展示元素包括至少一个按序排列的第二子元素，所述将所述第一内容展示元素和所述第二内容展示元素按照预设规则进行排列，包括：
对所述第一子元素和所述第二子元素进行去重处理；
将去重处理之后的所述第一子元素和所述第二子元素按序进行穿插排列。
7.一种测试装置，其特征在于，所述装置包括：
分组模块，用于将多个测试用户分别划分为第一用户组和第二用户组，其中，所述第一用户组和所述第二用户组的用户组成成分相同或相似；
推送模块，用于向所述第一用户组推送第一页面，向所述第二用户组推送第二页面；所述第一页面由第一内容展示元素和第二内容展示元素组成；所述第二页面由第三内容展示元素和第四内容展示元素组成，其中，所述第一页面和所述第二页面为测试对象不同的版本；
第一取值确定模块，用于根据所述第一用户组针对所述第一页面的第一行为数据，将第一取值或第三取值确定为第一参数的第一目标取值；
第二取值确定模块，用于根据所述第一行为数据与所述第二用户组针对第二页面的第二行为数据，将第二取值或第四取值确定为第二参数的第二目标取值；
其中，所述第一内容展示元素是根据第一参数的第一取值和第二参数的第二取值生成的，所述第二内容展示元素是根据所述第一参数的第三取值和所述第二参数的第二取值生成的；所述第三内容展示元素是根据所述第一参数的第一取值和所述第二参数的第四取值生成的，所述第四内容展示元素是根据所述第三取值和所述第四取值生成的。
8.根据权利要求7所述的装置，其特征在于，所述第一行为数据包括：针对第一页面的第一访问次数和第一访问时长，所述第二行为数据包括：针对第二页面的第二访问次数和第二访问时长，所述第二取值确定模块，包括：
第一得分确定子模块，用于根据所述第一访问次数、所述第一访问时长，以及针对所述第一访问次数和所述第二访问次数预设的第一权值和针对所述第一访问时长和所述第二访问时长预设的第二权值，确定所述第一行为数据的第一得分；
第二得分确定子模块，用于根据第二用户组针对第二页面的所述第二访问次数、所述第二访问时长，以及所述第一权值和所述第二权值，确定所述第二行为数据的第二得分；
第一取值确定子模块，用于若所述第一得分大于所述第二得分，则将所述第二取值确定为第二参数的第二目标取值；
第二取值确定子模块，用于若所述第一得分小于所述第二得分，则将所述第四取值确定为第二参数的第二目标取值。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911423187.5A CN111177561B (zh) | 2019-12-31 | 2019-12-31 | 一种测试方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911423187.5A CN111177561B (zh) | 2019-12-31 | 2019-12-31 | 一种测试方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111177561A CN111177561A (zh) | 2020-05-19 |
| CN111177561B true CN111177561B (zh) | 2023-08-15 |
Family
ID=70654326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911423187.5A Active CN111177561B (zh) | 2019-12-31 | 2019-12-31 | 一种测试方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111177561B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7046131B2 (ja) * | 2020-08-26 | 2022-04-01 | 楽天グループ株式会社 | サーバ、情報処理方法およびプログラム |
| CN113298573A (zh) * | 2021-06-18 | 2021-08-24 | 北京有竹居网络技术有限公司 | 内容投放策略比较方法、装置、可读介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273290A (zh) * | 2017-06-13 | 2017-10-20 | 北京奇艺世纪科技有限公司 | 一种页面服务的a/b测试方法和装置 |
| CN108345539A (zh) * | 2018-01-31 | 2018-07-31 | 北京云测信息技术有限公司 | 一种用于进行ab测试的方法和装置 |
| CN109710511A (zh) * | 2018-12-04 | 2019-05-03 | 北京达佳互联信息技术有限公司 | Ab测试方法、装置、服务器及存储介质 |
| CN110245069A (zh) * | 2019-04-28 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 页面版本的测试方法和装置、页面的展示方法和装置 |
| CN110532180A (zh) * | 2019-08-15 | 2019-12-03 | 中国银行股份有限公司 | 一种测试数据的生成方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10630789B2 (en) * | 2016-07-13 | 2020-04-21 | Adobe Inc. | Facilitating consistent A/B testing assignment |
-
2019
- 2019-12-31 CN CN201911423187.5A patent/CN111177561B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107273290A (zh) * | 2017-06-13 | 2017-10-20 | 北京奇艺世纪科技有限公司 | 一种页面服务的a/b测试方法和装置 |
| CN108345539A (zh) * | 2018-01-31 | 2018-07-31 | 北京云测信息技术有限公司 | 一种用于进行ab测试的方法和装置 |
| CN109710511A (zh) * | 2018-12-04 | 2019-05-03 | 北京达佳互联信息技术有限公司 | Ab测试方法、装置、服务器及存储介质 |
| CN110245069A (zh) * | 2019-04-28 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 页面版本的测试方法和装置、页面的展示方法和装置 |
| CN110532180A (zh) * | 2019-08-15 | 2019-12-03 | 中国银行股份有限公司 | 一种测试数据的生成方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111177561A (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929052B (zh) | 多媒体资源推荐方法、装置、电子设备及存储介质 | |
| RU2632132C1 (ru) | Способ и устройство для создания рекомендаций содержимого в системе рекомендаций | |
| Khalid et al. | What do mobile app users complain about? | |
| Mathioudakis et al. | Twittermonitor: trend detection over the twitter stream | |
| CN111159564A (zh) | 信息推荐方法、装置、存储介质及计算机设备 | |
| US20140310691A1 (en) | Method and device for testing multiple versions | |
| US20150213368A1 (en) | Information recommendation method, apparatus, and server | |
| US20150095267A1 (en) | Techniques to dynamically generate real time frequently asked questions from forum data | |
| CN101266620B (zh) | 向用户提供目标信息的方法及设备 | |
| CN109753601B (zh) | 推荐信息点击率确定方法、装置及电子设备 | |
| CN110442788A (zh) | 一种信息推荐方法及装置 | |
| CN105868256A (zh) | 处理用户行为数据的方法和系统 | |
| CN111177561B (zh) | 一种测试方法和装置 | |
| US8793236B2 (en) | Method and apparatus using historical influence for success attribution in network site activity | |
| US11423096B2 (en) | Method and apparatus for outputting information | |
| US20140358731A1 (en) | Consumer purchase decision scoring tool | |
| CN106656741A (zh) | 一种信息推送方法和系统 | |
| CN111159563A (zh) | 用户兴趣点信息的确定方法、装置、设备及存储介质 | |
| CN112669078A (zh) | 一种行为预测模型训练方法、装置、设备及存储介质 | |
| CN112100221A (zh) | 一种资讯推荐方法、装置、推荐服务器及存储介质 | |
| CN107730271B (zh) | 基于虚拟交互对象的相似用户确定方法、装置及电子设备 | |
| CN112989118A (zh) | 视频召回方法及装置 | |
| CN111460181A (zh) | 多媒体资源推荐方法、电子设备及存储介质 | |
| CN115034826A (zh) | 一种广告投放方法、装置、电子设备及可读存储介质 | |
| CN113836412A (zh) | 一种信息推荐方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |