CN111950821B - 测试方法、装置以及服务器 - Google Patents

测试方法、装置以及服务器 Download PDF

Info

Publication number
CN111950821B
CN111950821B CN201910401214.2A CN201910401214A CN111950821B CN 111950821 B CN111950821 B CN 111950821B CN 201910401214 A CN201910401214 A CN 201910401214A CN 111950821 B CN111950821 B CN 111950821B
Authority
CN
China
Prior art keywords
user group
user
test
groups
identifications
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910401214.2A
Other languages
English (en)
Other versions
CN111950821A (zh
Inventor
陆鹏
郭俊
程平峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910401214.2A priority Critical patent/CN111950821B/zh
Publication of CN111950821A publication Critical patent/CN111950821A/zh
Application granted granted Critical
Publication of CN111950821B publication Critical patent/CN111950821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063118—Staff planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种测试方法、装置以及服务器，属于互联网技术领域。所述方法包括：展示测试配置界面，获取测试任务，确定该测试任务需要的用户组的第一数量，根据用户组集群中处于未被占用状态的用户组的用户组标识，选择第一数量个用户组，通过第一数量个用户组的测试数据进行测试任务，在进行测试任务的过程中，将第一数量个用户组的状态设置为被占用状态；当测试任务结束时，获取测试分析结果，将第一数量个用户组的状态修改为未被占用状态。保证了测试任务在进行过程中参与该测试任务的用户组不会发生改变，且所有用户组都可以参与测试，避免了用户组标识较小的用户长期参与测试，导致这些用户被训练，从而影响测试结果的准确性的问题。

Description

测试方法、装置以及服务器
技术领域
本发明涉及互联网技术领域，特别涉及一种测试方法、装置以及服务器。
背景技术
互联网行业是一个需要快速迭代的行业，无论是业务的更新还是算法的更新，迭代周期都很快。在推出一项新功能之时，不会直接全线更新，而是需要通过测试系统对即将上线的新功能进行算法调优、功能灰度、策略控制、用户体验比较以及展示效果比较等测试。例如网站内容商业化广告投放时，需要经过多重测试以寻找商业化和用户体验之间的平衡点。
在进行测试前，往往会将流量用户进行分组，均匀的配置每个用户组内的用户数量，每个用户组具有唯一的用户组标识。在每次进行测试时，都会从最小用户组标识开始，依次将用户组分配给待进行的测试。
上述技术存在的问题是，由于每次都会将最小用户组标识的用户组分配给待进行的测试，导致用户组标识较小的用户组里的用户长期参与测试，影响测试结果的准确性。
发明内容
本发明实施例提供了一种测试方法、装置以及服务器，解决了相关技术存在的用户组标识较小的用户组里的用户长期参与测试，影响测试结果的准确性的问题。所述技术方案如下：
一方面，提供了一种测试方法，所述方法包括：
展示测试配置界面；
获取基于所述测试配置界面配置的测试任务；
确定所述测试任务需要的用户组的第一数量；
根据用户组集群中处于未被占用状态的用户组的用户组标识，从所述用户组集群中选择所述第一数量个用户组，所述用户组集群为所述测试任务对应的测试层中的多个用户组；
通过所述第一数量个用户组的测试数据进行所述测试任务；
在进行所述测试任务的过程中，将所述第一数量个用户组的状态设置为被占用状态；
当所述测试任务结束时，获取测试分析结果，将所述第一数量个用户组的状态由被占用状态修改为未被占用状态。
在一种可能的实现方式中，所述根据用户组集群中处于未被占用状态的用户组的用户组标识，从所述用户组集群中选择所述第一数量个用户组，包括：
确定上一次选择结束时的第一用户组标识；
根据用户组集群中处于未被占用状态的用户组的用户组标识，从所述第一用户组标识开始，对所述处于未被占用状态的用户组进行遍历；
当存在连续的第一数量个用户组标识时，选择所述连续的第一数量个用户组标识对应的第一数量个用户组；
当存在不连续的第一数量个用户组标识时，从所述用户组集群中选择不连续的第一数量个用户组标识对应的第一数量个用户组。
在另一种可能的实现方式中，所述根据用户组集群中处于未被占用状态的用户组的用户组标识，从所述用户组集群中选择所述第一数量个用户组，包括：
在所述用户组集群中处于未被占用状态的用户组的用户组标识中，从用户组标识最小的开始，对所述处于未被占用状态的用户组的用户组标识进行遍历；
当存在连续的第一数量个用户组标识时，选择所述连续的第一数量个用户组标识对应的第一数量个用户组；
当存在不连续的第一数量个用户组标识时，从所述用户组集群中选择不连续的第一数量个用户组标识对应的第一数量个用户组。
在另一种可能的实现方式中，所述当存在不连续的第一数量个用户组标识时，从所述用户组集群中选择不连续的第一数量个用户组标识对应的第一数量个用户组，包括：
当不存在连续的第一数量个用户组标识时，确定第二用户组标识；
从所述第二用户组标识开始进行选择，直到选出所述第一数量个用户组为止。
在另一种可能的实现方式中，所述当存在不连续的第一数量个用户组标识时，从所述用户组集群中选择不连续的第一数量个用户组标识对应的第一数量个用户组，包括：
当存在不连续的第一数量个用户组标识时，确定多个连续的用户组标识的数量；
根据所述多个连续的用户组标识的数量，选择第二数量个用户组标识对应的第二数量个用户组，所述第二数量为所述多个连续的用户组标识的数量中的最大值；
确定第三数量，所述第三数量为所述第一数量和已选择的用户组的数量之间的差；
当剩余的连续的用户组标识中存在数量为所述第三数量的用户组标识时，选择数量为所述第三数量个用户组标识对应的第三数量个用户组；
当剩余的连续的用户组标识中不存在数量为所述第三数量个用户组标识时，确定第四数量，所述第四数量为当前剩余的连续的用户组标识中的数量的最大值；
根据所述第三数量和所述第四数量，从所述剩余的连续的用户组标识中选择所述第三数量个用户组标识对应的第三数量个用户组。
在另一种可能的实现方式中，所述根据所述第三数量和所述第四数量，从所述剩余的连续的用户组标识中选择所述第三数量个用户组标识对应的第三数量个用户组，包括：
当所述第三数量小于所述第四数量时，从所述第四数量个用户组标识中选择第三数量个用户组标识对应的第三数量个用户组；
当所述第三数量大于所述第四数量时，选择所述第四数量个用户组；
更新所述第三数量和所述第四数量的值，直到选择出所述第一数量个用户组。
在另一种可能的实现方式中，所述获取基于所述测试配置界面配置的测试任务之前，所述方法还包括：
确定所述用户组集群中每个用户的用户标识和所述用户组集群参与的测试层的测试层标识；
根据所述每个用户的用户标识和所述每个测试层的测试层标识，确定所述每个用户在每个测试层的用户组标识。
在另一种可能的实现方式中，所述方法还包括：
展示结果查询界面；
获取基于所述结果查询界面触发的查询指令，所述查询指令携带待查询时长；
根据所述查询指令查询所述待查询时长内的测试分析结果；
展示所述查询时长内的测试分析结果。
另一方面，提供了一种测试装置，所述装置包括：
第一展示模块，被配置为展示测试配置界面；
第一获取模块，被配置为获取基于所述测试配置界面配置的测试任务；
第一确定模块，被配置为确定所述测试任务需要的用户组的第一数量；
选择模块，被配置为根据用户组集群中处于未被占用状态的用户组的用户组标识，从所述用户组集群中选择所述第一数量个用户组，所述用户组集群为所述测试任务对应的测试层中的多个用户组；
测试模块，被配置为通过所述第一数量个用户组的测试数据进行所述测试任务；
设置模块，被配置为在进行所述测试任务的过程中，将所述第一数量个用户组的状态设置为被占用状态；
第二获取模块，被配置为当所述测试任务结束时，获取测试分析结果，将所述第一数量个用户组的状态由被占用状态修改为未被占用状态。
在一种可能的实现方式中，所述选择模块，还被配置为确定上一次选择结束时的第一用户组标识；根据用户组集群中处于未被占用状态的用户组的用户组标识，从所述第一用户组标识开始，对所述处于未被占用状态的用户组进行遍历；当存在连续的第一数量个用户组标识时，选择所述连续的第一数量个用户组标识对应的第一数量个用户组；当存在不连续的第一数量个用户组标识时，从所述用户组集群中选择不连续的第一数量个用户组标识对应的第一数量个用户组。
在另一种可能的实现方式中，所述选择模块，还被配置为在所述用户组集群中处于未被占用状态的用户组的用户组标识中，从用户组标识最小的开始，对所述处于未被占用状态的用户组的用户组标识进行遍历；当存在连续的第一数量个用户组标识时，选择所述连续的第一数量个用户组标识对应的第一数量个用户组；当存在不连续的第一数量个用户组标识时，从所述用户组集群中选择不连续的第一数量个用户组标识对应的第一数量个用户组。
在另一种可能的实现方式中，所述选择模块，还被配置为当不存在连续的第一数量个用户组标识时，确定第二用户组标识；从所述第二用户组标识开始进行选择，直到选出所述第一数量个用户组为止。
在另一种可能的实现方式中，所述选择模块，还被配置为当存在不连续的第一数量个用户组标识时，确定多个连续的用户组标识的数量；根据所述多个连续的用户组标识的数量，选择第二数量个用户组标识对应的第二数量个用户组，所述第二数量为所述多个连续的用户组标识的数量中的最大值；确定第三数量，所述第三数量为所述第一数量和已选择的用户组的数量之间的差；当剩余的连续的用户组标识中存在数量为所述第三数量的用户组标识时，选择数量为所述第三数量个用户组标识对应的第三数量个用户组；当剩余的连续的用户组标识中不存在数量为所述第三数量个用户组标识时，确定第四数量，所述第四数量为当前剩余的连续的用户组标识中的数量的最大值；根据所述第三数量和所述第四数量，从所述剩余的连续的用户组标识中选择所述第三数量个用户组标识对应的第三数量个用户组。
在另一种可能的实现方式中，所述选择模块，还被配置为当所述第三数量小于所述第四数量时，从所述第四数量个用户组标识中选择第三数量个用户组标识对应的第三数量个用户组；当所述第三数量大于所述第四数量时，选择所述第四数量个用户组；更新所述第三数量和所述第四数量的值，直到选择出所述第一数量个用户组。
在另一种可能的实现方式中，所述装置还包括：
第二确定模块，被配置为确定所述用户组集群中每个用户的用户标识和所述用户组集群参与的测试层的测试层标识；
第三确定模块，被配置为根据所述每个用户的用户标识和所述每个测试层的测试层标识，确定所述每个用户在每个测试层的用户组标识。
在另一种可能的实现方式中，所述装置还包括：
第二展示模块，被配置为展示结果查询界面；
第三获取模块，被配置为获取基于所述结果查询界面触发的查询指令，所述查询指令携带待查询时长；
查询模块，被配置为根据所述查询指令查询所述待查询时长内的测试分析结果；
第三展示模块，被配置为展示所述查询时长内的测试分析结果。
另一方面，提供了一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的测试方法。
另一方面，提供了一种服务器，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的测试方法。
本发明实施例提供的技术方案带来的有益效果是：
通过展示测试配置界面，获取测试任务，确定该测试任务需要的用户组的第一数量，根据用户组集群中处于未被占用状态的用户组的用户组标识，从用户组集群中选择第一数量个用户组，通过上述第一数量个用户组的测试数据进行该测试任务，在进行该测试任务的过程中，将第一数量个用户组的状态设置为被占用状态；当该测试任务结束时，获取测试分析结果，将第一数量个用户组的状态由被占用状态修改为未被占用状态。保证了测试任务在进行过程中参与该测试任务的用户组不会发生改变，且所有用户组都可以参与测试，避免了用户组标识较小的用户长期参与测试，导致这些用户被训练，从而影响测试结果的准确性的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种测试方法的实施环境图；
图2是本发明实施例提供的一种测试体系的示意图；
图3是本发明实施例提供的一种测试方法的流程图；
图4是本发明实施例提供的另一种测试方法的流程图；
图5是本发明实施例提供的一种测试系统的示意图；
图6是本发明实施例提供的一种测试装置的结构示意图；
图7是本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
在对本发明实施例进行详细地解释说明之前，先对本发明实施例涉及的一些名词进行解释说明。
CAtest：指内容商业化测试系统，也即ABtest(A/B测试)系统，是一种网页优化的方法。支持算法调优、功能灰度、策略控制，样式展示等功能。CAtest系统中可以创建、修改、删除以及查找多个测试。
测试：指在进行内容商业化之前，将需要推广的内容或者功能作为测试组，将原有的功能作为对照组，对照组通常可以有一个或者多个，测试组也可以有一个或者多个，至少一个对照组和至少一个测试组组成了一个测试。
图1是本发明实施例提供的一种测试方法的实施环境图，如图1所示，该实施环境包括多台用户终端101，至少一台服务器102，上述服务器用于承载CAtest系统即内容商业化测试系统，该服务器可以是服务器设备或者服务终端设备。上述用户终端101可以为台式机、笔记本电脑、手机或者可穿戴设备等，用户可以通过该用户终端101浏览互联网内容。上述多台用户终端101和上述至少一台服务器102可以通过有线网络或者无线网络建立连接。上述至少一台服务器102可以接收上述多台用户终端101的访问。
当用户通过上述用户终端101浏览互联网内容时，用户会浏览到广告内容，为了使广告达到投放效果，且不影响用户浏览网站时的体验，上述CAtest系统会设置多种测试任务，覆盖多种功能模块，例如广告的位置、广告窗口的大小以及广告字体的颜色等均可以作为测试任务，不同的用户在浏览相同的网站时，CAtest系统会为不同的用户展示不同广告样式，例如A用户看到的广告窗口在网页的左侧，B用户看到的广告窗口的网页的右侧；或者A用户看到的广告样式与B用户看到的广告样式不同。CAtest通过收集分析多个用户的行为来判断哪种方式效益高且不影响用户体验。
相应的以上述CAtest系统为核心，可以构建一套测试体系，参见图2所示，图2是本发明实施例提供的一种测试体系的示意图。以商业广告的投放为例，在该测试体系中，商业广告的显示方式、投放策略以及投放算法均可以作为CAtest系统的测试任务，在测试结束后，CAtest系统根据新闻用户的停留时长、播放时长、用户留存以及整体PV(Page View，网站浏览量)/VV(Visit View，访客的访问次数)等数据进行分析，得出测试结论，选择最优的广告投放方案，进而最大化商业价值。
图3是本发明实施例提供的一种测试方法的流程图，如图3所示，在本发明实施例中，该测试方法至少包括如下步骤：
步骤301，展示测试配置界面。
步骤302，获取基于上述测试配置界面配置的测试任务。
步骤303，确定上述测试任务需要的用户组的第一数量。
步骤304，根据用户组集群中处于未被占用状态的用户组的用户组标识，从用户组集群中选择第一数量个用户组，该用户组集群为测试任务对应的测试层中的多个用户组。
步骤305，通过第一数量个用户组的测试数据进行测试任务。
步骤306，在进行测试任务的过程中，将第一数量个用户组的状态设置为被占用状态。
步骤307，当测试任务结束时，获取测试分析结果，将第一数量个用户组的状态由被占用状态修改为未被占用状态。
在本发明实施例中，通过展示测试配置界面，获取测试任务，确定该测试任务需要的用户组的第一数量，根据用户组集群中处于未被占用状态的用户组的用户组标识，从用户组集群中选择第一数量个用户组，通过上述第一数量个用户组的测试数据进行该测试任务，在进行该测试任务的过程中，将第一数量个用户组的状态设置为被占用状态；当该测试任务结束时，获取测试分析结果，将第一数量个用户组的状态由被占用状态修改为未被占用状态。保证了测试任务在进行过程中参与该测试任务的用户组不会发生改变，且所有用户组都可以参与测试，避免了用户组标识较小的用户长期参与测试，导致这些用户被训练，从而影响测试结果的准确性的问题。
图4是本发明实施例提供的另一种测试方法的流程图，如图4所示，在本发明实施例中，该测试方法应用于服务器，至少包括如下步骤：
步骤401，服务器确定每个用户在每个测试层的用户组标识。
在服务器中测试系统执行测试任务时，通常有单层测试模式和多层测试模式两种测试模式。
单层测试模式是将所有的测试任务放在一起执行，或者将不同类型的测试任务错开时间分别执行，这样存在的问题是，由于测试任务需要用户的参与，在参与测试任务的用户的数量一定的情况下，为保证测试任务所需的测试次数，将所有的测试任务放在一起执行或者将不同类型的测试任务错开时间分别执行，会造成测试周期长的问题。
在本发明中，测试系统采用的是多层测试模式，本发明将测试模型抽象成一个多叉树的形式，测试层与测试层之间正交，互相不影响，每个测试层中包括多个测试任务，该多个测试任务即为上述多叉树的多个叶子节点。其中，每个测试层可以对应一个待测试的模块或者功能，该测试层中包括的多个测试任务为同一类型的功能，通常有一个对照组以及至少一个测试组，对照组可以是现有正在使用的功能，测试组是需要进行测试的功能。上述功能测试也可以称之为实验，即一个测试任务可以有多个实验，每个实验测试一个功能，对应上述一个测试组。
例如，参见图5所示，图5是本发明实施例提供的一种测试系统的示意图，该测试系统为树状结构，包含三个测试层测试层1、测试层2和测试层3。测试层1中有测试1和测试2两个实验，这两个实验需要相同数量个用户组，均为10个；测试层2中有测试3和测试4两个实验，测试3需要20个用户组参与，测试4需要50个用户组参与；测试层3中有测试5、测试6和测试7三个实验，测试5需要10个用户组参与，测试6需要10个用户组参与，测试需要20个用户组参与。
确定测试层后，对于每个测试层，需要将参与测试的用户进行分组，每个测试层包括多个用户组，在不同的测试层，用户可能在不同的用户组中，每个用户组具有唯一的用户组标识。上述用户分组过程也可以抽象为用户分桶过程，将每个用户分在不同的桶内。
在确定每个用户在不同的测试层所在的用户组时，可以先确定用户组集群中每个用户的用户标识和用户组集群参与的测试层的测试层标识，根据每个用户的用户标识和每个测试层的测试层标识，可以通过正交算法来确定每个用户在每个测试层的用户组标识。该正交算法的公式为：
Numberlayerid＝Hash(MD5(layerid+openid))％TotalbucketNum
其中，Numberlayerid为用户在每个测试层的唯一用户组标识，Hash为哈希算法，MD5是MD5(Message-Digest Algorithm，消息摘要)算法，layerid为测试层的ID(identification，身份证明)，TotalbucketNum是总的用户组数量。
例如，测试系统被对三个不同功能进行测试，将待进行的测试分层三个测试层：测试层1、测试层2以及测试层3。需要将1000万的用户分配到100个组中，其中一用户的openid为c54a380493d33643a589135bceabfd996188001021180f，则根据上述正交算法的公式，可得：
Number1＝Hash(MD5(1+c54a380493d33643a589135bceabfd996188001021180f))％100＝13；
Number2＝Hash(MD5(2+c54a380493d33643a589135bceabfd996188001021180f))％100＝5；
即，该用户在测试层1中的分组号为13，在测试层2中的分组号为5。
需要说明的是，上述参与测试的用户可以来自SSP(Sell-SidePlatform，供应方平台)、招商广告投放平台以及游戏活动大厅中的一个或者多个，参见图5所示。
还需要说明的是，上述步骤401在CAtest系统运行过程中仅执行一次即可，除非添加了新的测试层，需要确定用户在该测试层的唯一用户组标识；或者需要更换参与测试的用户时，需要重新确定用户在每个测试层的唯一用户组标识。
步骤402，服务器展示测试配置界面。
该测试配置界面可以用于增加测试、修改测试、删除测试、查找测试以及配置各测试任务的参数等。在该测试配置界面上至少包括增加按钮、修改按钮、删除按钮、查找按钮、搜索框、参数输入框以及确认按钮中的一个或者多个。
在配置测试时，可以通过输入测试参数来进行测试任务的配置，该测试参数包括但不限于测试任务的名称、测试任务的开始时间、测试任务的执行周期、测试任务的配置人员信息以及测试任务的预期效果等信息；还可以通过拖拽的方式将预设的配置信息模块与当前正在配置的测试任务进行连接，建立映射关系，完成测试任务参数的配置。
上述测试配置界面可以展示在服务器的屏幕上，还可以展示在与服务器连接的终端的屏幕上，还可以展示在任意可以访问服务器中的测试系统的电子设备上，本发明对此不进行具体限制。
步骤403，服务器获取基于测试配置界面配置的测试任务。
该测试任务可以是对已有测试任务的修改，也可以是新配置的测试任务。其中，对已有测试任务进行修改时，可以是在原有测试任务的基础上新增加一个或者多个功能的测试。
步骤404，服务器确定测试任务需要的用户组的第一数量。
上述测试任务可以包括多个功能测试，每个功能测试都需要一定数量的用户参与测试，服务器可以根据配置该测试任务是输入的参数来确定该测试任务中需要用到的用户组的第一数量；也可以根据相同测试层的其他功能测试使用的用户组的数量来确定第一数量。
在本发明中，以该第一数量与同一测试层中其他功能测试用到的用户组的数量相同为例进行说明，即该测试任务是新添加的功能测试。
步骤405，服务器根据用户组集群中处于未被占用状态的用户组的用户组标识，从用户组集群中选择第一数量个用户组。
其中，用户组集群为测试任务对应的测试层中的多个用户组。
相应的，在本公开实施例中，示例性的列举出两种动态分配用户组的方式，第一种是从上次选择结束的用户组标识开始选择，第二种是每次都从用户组标识最小的开始选择。
相应的，当采用第一种实现方式时，本步骤可以通过以下步骤(1-1)至步骤(1-4)来实现：
(1-1)确定上一次选择结束时的第一用户组标识；
每次选择结束时，可以记录下当前选择结束时的用户组标识，将下一个未被选择的用户组的用户组标识作为第一用户组标识。如果本次是第一次进行选择，则将最小的用户组标识作为该第一用户组标识。
(1-2)根据用户组集群中处于未被占用状态的用户组的用户组标识，从第一用户组标识开始，对处于未被占用状态的用户组进行遍历；
上述用户组集群为上述测试系统中用户组的集合，每个测试层具有唯一的用户组集群，用户组集群包含相同数量的用户组。正在参与测试的用户组为占用状态的用户组，未参与测试的用户组为未被占用状态的用户组。
上述遍历过程可以将所有处于未被占用状态的用户组都遍历到，根据遍历到的用户组标识，确定是否存在连续的用户组标识，以及连续的用户组标识的连续数量。
根据是否存在连续的用户组标识以及连续的用户组标识的连续数量，执行步骤(1-3)或者步骤(1-4)。
(1-3)当存在连续的第一数量个用户组标识时，选择连续的第一数量个用户组标识对应的第一数量个用户组；
从上述第一用户组标识开始进行遍历，当出现两个相邻的用户组标识时，确定存在连续的用户组标识，继续遍历，记录该连续的用户组标识的连续数量，当该连续数量达到第一数量时，选择该第一数量个用户组标识对应的第一数量用户组，将该第一数量个用户组分配给上述测试任务。
(1-4)当存在不连续的第一数量个用户组标识时，从用户组集群中选择不连续的第一数量个用户组标识对应的第一数量个用户组。
选择不连续的第一数量个用户组标识对应的第一数量个用户组的方式有很多，这里先不进行说明。
相应的，当采用第二种实现方式时，本步骤可以通过以下步骤(2-1)至步骤(2-3)来实现：
(2-1)在用户组集群中处于未被占用状态的用户组的用户组标识中，从用户组标识最小的开始，对处于未被占用状态的用户组的用户组标识进行遍历；
上述遍历方式与上述从第一用户组标识开始遍历的方式类似，不同点在于，在本步骤中是从用户组标识最小的开始遍历的。
(2-2)当存在连续的第一数量个用户组标识时，选择连续的第一数量个用户组标识对应的第一数量个用户组；
本步骤和上述步骤(1-3)类似，不同点在于是从上述用户组标识最小的开始遍历，在此不再赘述。
(2-3)当存在不连续的第一数量个用户组标识时，从用户组集群中选择不连续的第一数量个用户组标识对应的第一数量个用户组。
下面示例性的列举出两种存在不连续的第一数量个用户组标识时，选择不连续的第一数量个用户组标识对应的第一数量个用户组的方法：第一种方法是从第二用户组标识开始选择，直到选择出第一数量个用户组；第二种方法是从当前最大连续的用户组标识中选择，直到选择出第一数量个用户组。
当选用第一种实现方法时，可以通过以下步骤来实现：当不存在连续的第一数量个用户组标识时，先确定第二用户组标识，然后从该第二用户组标识开始进行选择，每次都选择与上一次选择的用户组标识相邻的用户组标识，直到选出第一数量个用户组标识对应的用户组为止。上述第二用户组标识可以为上次为测试任务选择的用户组选择结束时的第一用户组标识，也可以为当前用户组集群中处于未被占用状态的用户组的用户组标识中最小的用户组标识。
当选用第二种实现方法时，可以通过以下步骤(1)-(6)来实现：
(1)当存在不连续的第一数量个用户组标识时，确定多个连续的用户组标识的数量。上述第一数量可以为10、15、20或者30等，上述多个连续的用户组标识的数量小于第一数量，可以为8、11、17或者20等。
(2)根据多个连续的用户组标识的数量，选择第二数量个用户组标识对应的第二数量个用户组。
上述第二数量为多个连续的用户组标识的数量中的最大值。在选择第二数量个用户组标识时，可以对上述多个连续的用户组标识进行排序，按照从大到小或者从小到大的顺序进行排列，从中选择出连续的用户组标识的数量的最大值；还可以对上述多个连续的用户组标识进行遍历，在遍历过程中，选择当前已遍历到的最大数量，当下一个遍历到的连续的用户组标识的数量大于当前已遍历到的最大数量时，记录更大的数量的连续的用户组的标识，直到选择出最大值，即第二数量个用户组标识。
(3)确定第三数量。
该第三数量为第一数量和已选择的用户组的数量之间的差，也就是剩余的需要选择的用户组的数量。如果第三数量为零，则表示已经选择够第一数量个用户组，不用再执行后续(4)或者(5)-(6)的步骤，如果第三数量不为零，则需继续执行后续(4)或者(5)-(6)的步骤。
(4)当剩余的连续的用户组标识中存在数量为第三数量的用户组标识时，选择数量为第三数量个用户组标识对应的第三数量个用户组。
即当剩余的连续的用户组标识中正好有第三数量个连续的用户组标识时，直接选择第三数量个用户组标识对应的用户组，此时进行了两次选择，即第一次选择第二数量个用户组标识对应的用户组，第二次选择第三数量个用户组标识对应的用户组，第一数量＝第二数量+第三数量。
(5)当剩余的连续的用户组标识中不存在数量为第三数量个用户组标识时，确定第四数量。
上述第四数量为当前剩余的连续的用户组标识中的数量的最大值。也可以说上述第四数量为未选择时的连续的用户组标识中的数量的第二大值，而上述第二数量为未选择时的连续的用户组标识中的数量的最大值。
(6)根据第三数量和第四数量，从剩余的连续的用户组标识中选择第三数量个用户组标识对应的第三数量个用户组。
当第三数量小于第四数量时，从第四数量个用户组标识中选择第三数量个用户组标识对应的第三数量个用户组。即从第四数量个用户组中选择第三数量个用户组，完成第一数量个用户组的选择。剩余的用户组标识对应的用户组可以在后续被选择，由于剩余的用户组标识连续数量较小或者为单独的一个用户组标识，不与其他用户组标识连续，因此可以称之为碎片用户组标识。
在一种可能的实现方式中，为了避免碎片用户组标识过多，可以将小于第一阈值且相邻的碎片用户组标识进行组合，组合后的用户组标识可以认为是连续的用户组标识，且组合后的用户组标识的连续数量不大于第二阈值，上述第一阈值可以为2或者3，上述第二阈值可以为10或者20等，本公开对此不进行具体限制。
在另一种可能的实现方式中，为了避免碎片用户组标识过多，可以在第三数量小于第四数量时，对当前剩余的连续的用户组标识进行排序，从大到小开始遍历，确定第五数量，该第五数量为遍历过程中第一个出现的小于第三数量的连续用户组标识。选择第五数量个用户组标识对应的用户组，此时第三数量更新，为第三数量＝第一数量-第二数量-第五数量。重复上述遍历选择过程，直到选择出第一数量个用户组标识对应的用户组。
当第三数量大于第四数量时，选择第四数量个用户组，更新第三数量和第四数量的值，此时，第三数量＝第一数量-第二数量-第四数量，第四数量为选择第四数量个用户组标识后的最大值，即选择第四数量个用户组标识前的第二大值，重复上述选择用户组标识，并更新第三数量和第四数量的步骤，直到选择出第一数量个用户组。
在本发明中，采用了动态分配用户组的方式来对用户组进行分配，避免用户组标识较低的用户多次参与测试，保证所有用户均能参与到测试，且增加新测试或者删除已有测试不会对同测试层的其他测试造成影响。
步骤406，服务器通过第一数量个用户组的测试数据进行测试任务。
上述第一测试具有测试周期，在上述测试周期内通过上述选择出的第一数量个用户组中的用户进行测试。
步骤407，在进行测试任务的过程中，服务器将第一数量个用户组的状态设置为被占用状态。
服务器可以为被选择的用户组添加占用标识，来将用户组的状态设置为被占用状态，也可以将被选择的用户组设置为不可选择状态，来将用户组的状态设置为被占用状态。
通过将进行测试的第一数量个用户组的状态设置为被占用状态，这样其他测试就不会选择该第一数量个用户组，保证参与测试的用户的一致性，并且，在第一测试结束前，第一数量个用户组的状态设置会保持在被占用状态。
步骤408，当测试任务结束时，服务器获取测试分析结果，将第一数量个用户组的状态由被占用状态修改为未被占用状态。
当测试任务结束时，可以将该测试任务中的功能测试删除，也可以仅停止该测试任务中的功能测试，仍旧保留该功能测试。服务器获取个功能测试的分析结果，该实验分析结果可以是每个功能测试单独的，也可以是汇总后的。服务器将测试任务占用的用户组释放，即将被占用的用户组的状态由被占用状态更改为未被占用状态。测试周期结束不代表测试任务结束。
步骤409，服务器接收查询指令以及展示测试分析结果。
可以在服务器的屏幕上展示结果查询界面，该结果查询界面包括输入框和查询按钮等。服务器基于该结果查询界面触发的查询指令，根据查询指令查询待查询时长内的测试分析结果，在服务器的屏幕上，展示查询时长内的测试分析结果，上述查询指令携带待查询时长，该查询时长可以是一个时间范围，可以是测试开始的时间点，还可以是测试结束的时间点。
需要说明的是，上述测试分析结果可以与内容商业化处理系统进行数据交互，还可以根据测试的类型与其他测试系统互通，例如参见图5所示，上述测试与新闻测试系统互通，并与内容商业化处理系统进行数据交互。可以将测试任务从新闻实验系统中迁移至上述测试系统中进行测试，还可以与新闻实验系统中的测试分析结果进行比对验证，保证测试结果的准确性；内容商业化处理系统可以将测试任务执行时的收益信息等与测试系统进行数据互通，从而可以找到收益与用户体验之间的平衡点。
在本发明实施例中，通过展示测试配置界面，获取测试任务，确定该测试任务需要的用户组的第一数量，根据用户组集群中处于未被占用状态的用户组的用户组标识，从用户组集群中选择第一数量个用户组，通过上述第一数量个用户组的测试数据进行该测试任务，在进行该测试任务的过程中，将第一数量个用户组的状态设置为被占用状态；当该测试任务结束时，获取测试分析结果，将第一数量个用户组的状态由被占用状态修改为未被占用状态。保证了测试任务在进行过程中参与该测试任务的用户组不会发生改变，且所有用户组都可以参与测试，避免了用户组标识较小的用户长期参与测试，导致这些用户被训练，从而影响测试结果的准确性的问题。
图6是本发明实施例提供的一种测试装置的结构示意图。参见图6，该装置包括：第一展示模块601、第一获取模块602、第一确定模块603、选择模块604、测试模块605、设置模块606以及第二获取模块607。
第一展示模块601，被配置为展示测试配置界面；
获取模块602，被配置为获取基于测试配置界面配置的测试任务；
第一确定模块603，被配置为确定测试任务需要的用户组的第一数量；
选择模块604，被配置为根据用户组集群中处于未被占用状态的用户组的用户组标识，从用户组集群中选择第一数量个用户组，用户组集群为测试任务对应的测试层中的多个用户组；
测试模块605，被配置为通过第一数量个用户组的测试数据进行测试任务；
设置模块606，被配置为在进行测试任务的过程中，将第一数量个用户组的状态设置为被占用状态；
第二获取模块607，被配置为当测试任务结束时，获取测试分析结果，将第一数量个用户组的状态由被占用状态修改为未被占用状态。
在另一种实施方式中，选择模块604，还被配置为确定上一次选择结束时的第一用户组标识；根据用户组集群中处于未被占用状态的用户组的用户组标识，从所述第一用户组标识开始，对所述处于未被占用状态的用户组进行遍历；当存在连续的第一数量个用户组标识时，选择所述连续的第一数量个用户组标识对应的第一数量个用户组；当存在不连续的第一数量个用户组标识时，从所述用户组集群中选择不连续的第一数量个用户组标识对应的第一数量个用户组。
在另一种实施方式中，选择模块604，还被配置为在所述用户组集群中处于未被占用状态的用户组的用户组标识中，从用户组标识最小的开始，对所述处于未被占用状态的用户组的用户组标识进行遍历；当存在连续的第一数量个用户组标识时，选择所述连续的第一数量个用户组标识对应的第一数量个用户组；当存在不连续的第一数量个用户组标识时，从所述用户组集群中选择不连续的第一数量个用户组标识对应的第一数量个用户组。
在另一种实施方式中，选择模块604，还被配置为当不存在连续的第一数量个用户组标识时，确定第二用户组标识；从所述第二用户组标识开始进行选择，直到选出所述第一数量个用户组为止。
在另一种实施方式中，选择模块604，还被配置为当存在不连续的第一数量个用户组标识时，确定多个连续的用户组标识的数量；根据所述多个连续的用户组标识的数量，选择第二数量个用户组标识对应的第二数量个用户组，所述第二数量为所述多个连续的用户组标识的数量中的最大值；确定第三数量，所述第三数量为所述第一数量和已选择的用户组的数量之间的差；当剩余的连续的用户组标识中存在数量为所述第三数量的用户组标识时，选择数量为所述第三数量个用户组标识对应的第三数量个用户组；当剩余的连续的用户组标识中不存在数量为所述第三数量个用户组标识时，确定第四数量，所述第四数量为当前剩余的连续的用户组标识中的数量的最大值；根据所述第三数量和所述第四数量，从所述剩余的连续的用户组标识中选择所述第三数量个用户组标识对应的第三数量个用户组。
在另一种实施方式中，选择模块604，还被配置为当所述第三数量小于所述第四数量时，从所述第四数量个用户组标识中选择第三数量个用户组标识对应的第三数量个用户组；当所述第三数量大于所述第四数量时，选择所述第四数量个用户组；更新所述第三数量和所述第四数量的值，直到选择出所述第一数量个用户组。
在另一种实施方式中，该装置还包括：
第二确定模块，被配置为确定所述用户组集群中每个用户的用户标识和所述用户组集群参与的测试层的测试层标识；
第三确定模块，被配置为根据所述每个用户的用户标识和所述每个测试层的测试层标识，确定所述每个用户在每个测试层的用户组标识。
在另一种实施方式中，该装置还包括：
第二展示模块，被配置为展示结果查询界面；
第三获取模块，被配置为获取基于所述结果查询界面触发的查询指令，所述查询指令携带待查询时长；
查询模块，被配置为根据所述查询指令查询所述待查询时长内的测试分析结果；
第三展示模块，被配置为展示所述查询时长内的测试分析结果。
在本公开实施实例中，通过第一展示模块展示测试配置界面；第一获取模块获取基于测试配置界面配置的测试任务；第一确定模块确定第一测试需要的用户组的第一数量；选择模块根据用户组集群中处于未被占用状态的用户组的用户组标识，从用户组集群中选择第一数量个用户组；测试模块通过第一数量个用户组的测试数据进行测试任务；设置模块在进行测试任务的过程中，将第一数量个用户组的状态设置为被占用状态；第二获取模块在当测试任务结束时，获取测试分析结果，将第一数量个用户组的状态由被占用状态修改为未被占用状态。保证了第一测试在测试过程中参与该第一测试的用户组不会发生改变，且所有用户组都可以参与测试，避免了用户组标识较小的用户长期参与测试，导致被训练，影响测试结果的准确性的问题。
图7是本发明实施例提供的一种服务器700的结构示意图，该设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)701和一个或一个以上的存储器702，其中，所述存储器702中存储有至少一条指令，所述至少一条指令由所述处理器701加载并执行以实现上述各个方法实施例提供的测试方法。当然，该设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由服务器中的处理器执行以完成上述实施例中的测试方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种测试方法，其特征在于，所述方法包括：
展示测试配置界面；
获取基于所述测试配置界面配置的测试任务；
确定所述测试任务需要的用户组的第一数量；
根据用户组集群中处于未被占用状态的用户组的用户组标识，对所述处于未被占用状态的用户组进行遍历，所述用户组集群为所述测试任务对应的测试层中的多个用户组；
当存在不连续的第一数量个用户组标识时，确定多个连续的用户组标识的数量；
根据所述多个连续的用户组标识的数量，选择第二数量个用户组标识对应的第二数量个用户组，所述第二数量为所述多个连续的用户组标识的数量中的最大值；
确定第三数量，所述第三数量为所述第一数量和已选择的用户组的数量之间的差；
当剩余的连续的用户组标识中存在数量为所述第三数量的用户组标识时，选择数量为所述第三数量个用户组标识对应的第三数量个用户组；
当剩余的连续的用户组标识中不存在数量为所述第三数量个用户组标识时，确定第四数量，所述第四数量为当前剩余的连续的用户组标识中的数量的最大值；
根据所述第三数量和所述第四数量，从所述剩余的连续的用户组标识中选择所述第三数量个用户组标识对应的第三数量个用户组，得到第一数量个用户组；
通过所述第一数量个用户组的测试数据进行所述测试任务；
在进行所述测试任务的过程中，将所述第一数量个用户组的状态设置为被占用状态；
当所述测试任务结束时，获取测试分析结果，将所述第一数量个用户组的状态由被占用状态修改为未被占用状态。
2.根据权利要求1所述的方法，其特征在于，所述根据用户组集群中处于未被占用状态的用户组的用户组标识，对所述处于未被占用状态的用户组进行遍历，包括：
确定上一次选择结束时的第一用户组标识；
根据用户组集群中处于未被占用状态的用户组的用户组标识，从所述第一用户组标识开始，对所述处于未被占用状态的用户组进行遍历。
3.根据权利要求1所述的方法，其特征在于，所述根据用户组集群中处于未被占用状态的用户组的用户组标识，对所述处于未被占用状态的用户组进行遍历，包括：
在所述用户组集群中处于未被占用状态的用户组的用户组标识中，从用户组标识最小的开始，对所述处于未被占用状态的用户组的用户组标识进行遍历。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当不存在连续的第一数量个用户组标识时，确定第二用户组标识；
从所述第二用户组标识开始进行选择，直到选出所述第一数量个用户组为止。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当存在连续的第一数量个用户组标识时，选择所述连续的第一数量个用户组标识对应的第一数量个用户组。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第三数量和所述第四数量，从所述剩余的连续的用户组标识中选择所述第三数量个用户组标识对应的第三数量个用户组，包括：
当所述第三数量小于所述第四数量时，从所述第四数量个用户组标识中选择第三数量个用户组标识对应的第三数量个用户组；
当所述第三数量大于所述第四数量时，选择所述第四数量个用户组；
更新所述第三数量和所述第四数量的值，直到选择出所述第一数量个用户组。
7.根据权利要求1所述的方法，其特征在于，所述获取基于所述测试配置界面配置的测试任务之前，所述方法还包括：
确定所述用户组集群中每个用户的用户标识和所述用户组集群参与的测试层的测试层标识；
根据所述每个用户的用户标识和每个测试层的测试层标识，确定所述每个用户在每个测试层的用户组标识。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
展示结果查询界面；
获取基于所述结果查询界面触发的查询指令，所述查询指令携带待查询时长；
根据所述查询指令查询所述待查询时长内的测试分析结果；
展示所述查询时长内的测试分析结果。
9.一种测试装置，其特征在于，所述装置包括：
第一展示模块，被配置为展示测试配置界面；
第一获取模块，被配置为获取基于所述测试配置界面配置的测试任务；
第一确定模块，被配置为确定所述测试任务需要的用户组的第一数量；
选择模块，被配置为根据用户组集群中处于未被占用状态的用户组的用户组标识，对所述处于未被占用状态的用户组进行遍历，所述用户组集群为所述测试任务对应的测试层中的多个用户组；
所述选择模块，还被配置为当存在不连续的第一数量个用户组标识时，确定多个连续的用户组标识的数量；根据所述多个连续的用户组标识的数量，选择第二数量个用户组标识对应的第二数量个用户组，所述第二数量为所述多个连续的用户组标识的数量中的最大值；确定第三数量，所述第三数量为所述第一数量和已选择的用户组的数量之间的差；当剩余的连续的用户组标识中存在数量为所述第三数量的用户组标识时，选择数量为所述第三数量个用户组标识对应的第三数量个用户组；当剩余的连续的用户组标识中不存在数量为所述第三数量个用户组标识时，确定第四数量，所述第四数量为当前剩余的连续的用户组标识中的数量的最大值；根据所述第三数量和所述第四数量，从所述剩余的连续的用户组标识中选择所述第三数量个用户组标识对应的第三数量个用户组，得到第一数量个用户组；
测试模块，被配置为通过所述第一数量个用户组的测试数据进行所述测试任务；
设置模块，被配置为在进行所述测试任务的过程中，将所述第一数量个用户组的状态设置为被占用状态；
第二获取模块，还被配置为当所述测试任务结束时，获取测试分析结果，将所述第一数量个用户组的状态由被占用状态修改为未被占用状态。
10.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的权利要求1至8任一项所述的测试方法。
CN201910401214.2A 2019-05-15 2019-05-15 测试方法、装置以及服务器 Active CN111950821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910401214.2A CN111950821B (zh) 2019-05-15 2019-05-15 测试方法、装置以及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910401214.2A CN111950821B (zh) 2019-05-15 2019-05-15 测试方法、装置以及服务器

Publications (2)

Publication Number Publication Date
CN111950821A CN111950821A (zh) 2020-11-17
CN111950821B true CN111950821B (zh) 2023-07-25

Family

ID=73335683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910401214.2A Active CN111950821B (zh) 2019-05-15 2019-05-15 测试方法、装置以及服务器

Country Status (1)

Country Link
CN (1) CN111950821B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592305A (zh) * 2021-07-29 2021-11-02 北京百度网讯科技有限公司 测试方法、装置、电子设备以及存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068171A (zh) * 2007-06-25 2007-11-07 中兴通讯股份有限公司 用于网络测速系统的测速资源动态分配方法及系统
WO2009002997A2 (en) * 2007-06-26 2008-12-31 Topcoder, Inc. System and method for distributed software testing
CN104008055A (zh) * 2014-05-30 2014-08-27 广州华多网络科技有限公司 软件测试的方法、设备及系统
CN104281611A (zh) * 2013-07-08 2015-01-14 阿里巴巴集团控股有限公司 网站测试系统中的用户流量分配方法及装置
CN104348679A (zh) * 2013-08-08 2015-02-11 阿里巴巴集团控股有限公司 一种分桶测试的方法、装置和系统
CN104536888A (zh) * 2014-12-24 2015-04-22 网易（杭州）网络有限公司 移动设备的游戏测试方法与系统
US9170926B1 (en) * 2011-05-08 2015-10-27 Panaya Ltd. Generating a configuration test based on configuration tests of other organizations
CN106959925A (zh) * 2017-04-25 2017-07-18 北京云测信息技术有限公司 一种版本测试方法及装置
CN107402881A (zh) * 2017-04-14 2017-11-28 阿里巴巴集团控股有限公司 一种项目测试的选取方法及装置
CN107665135A (zh) * 2017-10-20 2018-02-06 维沃移动通信有限公司 一种升级程序的推送方法及装置
CN108446222A (zh) * 2018-03-05 2018-08-24 百度在线网络技术（北京）有限公司 应用测试方法、装置及设备
CN108664397A (zh) * 2018-05-03 2018-10-16 北京奇虎科技有限公司 一种用于应用测试的用户分流方法和装置
CN109039800A (zh) * 2018-06-28 2018-12-18 腾讯科技（深圳）有限公司 在流量实验中进行流量分配的方法、装置和计算机设备
CN109144857A (zh) * 2018-08-01 2019-01-04 武汉普利商用机器有限公司 跨平台的算法测试方法及系统
CN109240914A (zh) * 2018-08-14 2019-01-18 平安普惠企业管理有限公司 安全测试任务的监控管理方法及终端设备
CN109254913A (zh) * 2018-08-13 2019-01-22 北京奇虎科技有限公司 设备共享方法、装置、电子设备及计算机存储介质
CN109302522A (zh) * 2018-09-11 2019-02-01 北京京东金融科技控股有限公司 测试方法、装置以及计算机系统和介质
CN109582579A (zh) * 2018-11-30 2019-04-05 腾讯音乐娱乐科技（深圳）有限公司 应用程序测试方法、装置、电子设备及存储介质
CN109710511A (zh) * 2018-12-04 2019-05-03 北京达佳互联信息技术有限公司 Ab测试方法、装置、服务器及存储介质
CN109739757A (zh) * 2018-12-28 2019-05-10 微梦创科网络科技（中国）有限公司 一种ab测试方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090197233A1 (en) * 2008-02-06 2009-08-06 Ordinate Corporation Method and System for Test Administration and Management
US20130104105A1 (en) * 2011-04-18 2013-04-25 Julian M. Brown Test data supply chain manager for an integrated testing platform
US9529699B2 (en) * 2013-06-11 2016-12-27 Wipro Limited System and method for test data generation and optimization for data driven testing
US10299066B2 (en) * 2013-07-08 2019-05-21 Capital One Services, Llc Systems and methods for testing mobile application functions
US11494293B2 (en) * 2014-11-18 2022-11-08 King.Com Limited Testing systems and methods

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068171A (zh) * 2007-06-25 2007-11-07 中兴通讯股份有限公司 用于网络测速系统的测速资源动态分配方法及系统
WO2009002997A2 (en) * 2007-06-26 2008-12-31 Topcoder, Inc. System and method for distributed software testing
US9170926B1 (en) * 2011-05-08 2015-10-27 Panaya Ltd. Generating a configuration test based on configuration tests of other organizations
CN104281611A (zh) * 2013-07-08 2015-01-14 阿里巴巴集团控股有限公司 网站测试系统中的用户流量分配方法及装置
CN104348679A (zh) * 2013-08-08 2015-02-11 阿里巴巴集团控股有限公司 一种分桶测试的方法、装置和系统
CN104008055A (zh) * 2014-05-30 2014-08-27 广州华多网络科技有限公司 软件测试的方法、设备及系统
CN104536888A (zh) * 2014-12-24 2015-04-22 网易（杭州）网络有限公司 移动设备的游戏测试方法与系统
CN107402881A (zh) * 2017-04-14 2017-11-28 阿里巴巴集团控股有限公司 一种项目测试的选取方法及装置
CN106959925A (zh) * 2017-04-25 2017-07-18 北京云测信息技术有限公司 一种版本测试方法及装置
CN107665135A (zh) * 2017-10-20 2018-02-06 维沃移动通信有限公司 一种升级程序的推送方法及装置
CN108446222A (zh) * 2018-03-05 2018-08-24 百度在线网络技术（北京）有限公司 应用测试方法、装置及设备
CN108664397A (zh) * 2018-05-03 2018-10-16 北京奇虎科技有限公司 一种用于应用测试的用户分流方法和装置
CN109039800A (zh) * 2018-06-28 2018-12-18 腾讯科技（深圳）有限公司 在流量实验中进行流量分配的方法、装置和计算机设备
CN109144857A (zh) * 2018-08-01 2019-01-04 武汉普利商用机器有限公司 跨平台的算法测试方法及系统
CN109254913A (zh) * 2018-08-13 2019-01-22 北京奇虎科技有限公司 设备共享方法、装置、电子设备及计算机存储介质
CN109240914A (zh) * 2018-08-14 2019-01-18 平安普惠企业管理有限公司 安全测试任务的监控管理方法及终端设备
CN109302522A (zh) * 2018-09-11 2019-02-01 北京京东金融科技控股有限公司 测试方法、装置以及计算机系统和介质
CN109582579A (zh) * 2018-11-30 2019-04-05 腾讯音乐娱乐科技（深圳）有限公司 应用程序测试方法、装置、电子设备及存储介质
CN109710511A (zh) * 2018-12-04 2019-05-03 北京达佳互联信息技术有限公司 Ab测试方法、装置、服务器及存储介质
CN109739757A (zh) * 2018-12-28 2019-05-10 微梦创科网络科技（中国）有限公司 一种ab测试方法及装置

Also Published As

Publication number Publication date
CN111950821A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
Bakshy et al. Designing and deploying online field experiments
US10275345B2 (en) Application experiment system
CN110944048B (zh) 业务逻辑配置方法及装置
CN104052803A (zh) 一种去中心化的分布式渲染方法及渲染系统
CN107480205A (zh) 一种进行数据分区的方法和装置
CN111143039B (zh) 一种虚拟机的调度方法、装置及计算机存储介质
CN108616525A (zh) 网站访问方法和装置、电子设备及存储介质
US9536445B2 (en) System and method for visually tracking a learned process
CN111209067A (zh) 一种多媒体资源处理方法、装置、存储介质及计算设备
CN106856438A (zh) 一种网络业务实例化的方法、装置及nfv系统
DE112005003037T5 (de) Bestimmen höchster Arbeitslasten für Knoten in einem Überlagerungsnetzwerk
US20140123075A1 (en) System and method for generating and accessing trails
CN111950821B (zh) 测试方法、装置以及服务器
CN103049574A (zh) 实现文件动态副本的键值文件系统及方法
CN112491609A (zh) 基于业务服务的系统应用架构发现方法及系统
CN111651187A (zh) 一种基于h5微端进行版本增量更新的方法及其系统
US20140122404A1 (en) System and method for displaying a trail
CN108897858A (zh) 分布式集群索引分片的评估方法及装置、电子设备
US20140118338A1 (en) System and method for managing a trail
DE102022002707A1 (de) Maschinell lernende Konzepte zur Schnittstellenmerkmalseinführung über Zeitzonen oder grafische Bereiche hinweg
CN114090911A (zh) 界面处理方法、装置、计算机设备及计算机可读存储介质
CN114371969A (zh) 一种页面性能测试方法、装置、电子设备及存储介质
CN104579793B (zh) 网络资源的调度方法和系统
CN106649297A (zh) 网页音频文件播放的方法、浏览器和服务器
CN106649370B (zh) 网站访问信息的获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant