CN112333246A - 一种ABtest实验方法、装置、智能终端及存储介质 - Google Patents

一种ABtest实验方法、装置、智能终端及存储介质 Download PDF

Info

Publication number
CN112333246A
CN112333246A CN202011153856.4A CN202011153856A CN112333246A CN 112333246 A CN112333246 A CN 112333246A CN 202011153856 A CN202011153856 A CN 202011153856A CN 112333246 A CN112333246 A CN 112333246A
Authority
CN
China
Prior art keywords
target
strategy
target object
proportion
configuration file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011153856.4A
Other languages
English (en)
Other versions
CN112333246B (zh
Inventor
谭文亮
刘鹏
董开旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Coocaa Network Technology Co Ltd
Original Assignee
Shenzhen Coocaa Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Coocaa Network Technology Co Ltd filed Critical Shenzhen Coocaa Network Technology Co Ltd
Priority to CN202011153856.4A priority Critical patent/CN112333246B/zh
Publication of CN112333246A publication Critical patent/CN112333246A/zh
Application granted granted Critical
Publication of CN112333246B publication Critical patent/CN112333246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种ABtest实验方法、装置、智能终端及存储介质，其中，上述ABtest实验方法包括：获取满足目标条件的目标对象集合；基于openresty组件配置至少两个目标策略以及各上述目标策略对应的策略比例，生成比例配置文件；基于上述比例配置文件对上述目标对象集合进行分流并获取分流结果；基于上述分流结果控制上述目标对象集合中的目标对象执行对应的目标策略；统计上述目标对象的执行结果并输出。本发明方案通过openresty组件直接配置目标策略以及各目标策略对应的策略比例，生成比例配置文件，通过配置文件直接对访问目标策略的对象进行分流，用户不需访问特定服务器进行测试。因此，本发明方案可实现高并发、降低服务器压力、提高测试效率。

Description

一种ABtest实验方法、装置、智能终端及存储介质
技术领域
本发明涉及网络测试技术领域，尤其涉及的是一种ABtest实验方法、装置、智能终端及存储介质。
背景技术
随着互联网技术的发展，互联网行业的软件开发和迭代变得越来越快，代码的发布也变得越来越快。在代码高速发布的过程中，不能提前预料结果与期望是否复合，需要实际上线测试才能判断结果是趋于正面还是趋于负面。常用的方法是小流量上线测试，上线后对这份测试流量进行效果追踪，根据追踪结果作出后续决定。
ABtest实验方法是一种适用于上述场景中的测试新产品或新功能的方法，具体为，为同一个目标设计两种(或多种)不同的分流方案，将两种(或多种)方案随机投放到市场中，让组成成分相同的用户去随机体验两种(或多种)方案之一，根据观测结果判断哪个方案效果更好。
现有技术中，通常将上述两种(或多种)不同的分流方案投放到单一服务器上，通过服务器对用户进行分流测试并获取测试结果。现有技术的问题在于，所有的用户必须访问特定的一个服务器才能实现分流测试，不能实现高并发，且容易造成服务器压力大，造成测试效率低。
因此，现有技术还有待改进和发展。
发明内容
针对现有技术中将两种(或多种)不同的分流方案投放到单一服务器上，通过服务器对用户进行分流测试并获取测试结果造成的不能实现高并发以及测试效率低的技术问题，本发明提供一种ABtest实验方法、装置、智能终端及存储介质，可通过获取满足目标条件的目标对象集合；基于openresty组件配置目标策略以及各目标策略对应的策略比例，生成比例配置文件；基于比例配置文件对目标对象集合直接进行分流并获取分流结果；在目标对象集合中的目标对象访问请求时，基于分流结果控制目标对象集合中的目标对象执行对应的目标策略；统计上述目标对象的执行结果并输出。通过openresty组件直接配置目标策略以及各上述目标策略对应的策略比例，生成比例配置文件，通过配置文件直接对访问目标策略的对象(即同一组ABteset策略的目标对象)进行分流，用户不需访问特定服务器进行测试，从而可达到实现高并发、降低服务器压力、提高测试效率的技术效果。
为了实现上述技术效果，本发明第一方面提供一种ABtest实验方法，其中，上述方法包括：
获取满足目标条件的目标对象集合；
基于openresty组件配置至少两个目标策略以及各上述目标策略对应的策略比例，生成比例配置文件；
基于上述比例配置文件对上述目标对象集合进行分流并获取分流结果；
基于上述分流结果控制上述目标对象集合中的目标对象执行对应的目标策略；
统计上述目标对象的执行结果并输出。
可选的，上述获取满足目标条件的目标对象集合包括：
获取所有待判断对象的待判断属性；
依次判断各上述待判断对象的待判断属性是否满足预设的目标条件；
将所有对应的待判断属性满足预设的目标条件的待判断对象的集合作为目标对象集合。
可选的，上述配置至少两个目标策略以及各上述目标策略对应的策略比例，生成比例配置文件，包括：
获取至少两个目标策略及各上述目标策略对应的策略比例；
启动openresty组件，控制openresty upstream模块将上述目标策略、上述策略比例以及上述目标策略与上述策略比例的对应关系加载到内存，生成比例配置文件。
可选的，上述基于上述比例配置文件对上述目标对象集合进行分流并获取分流结果，包括：
获取上述比例配置文件中的目标策略、策略比例以及上述目标策略与上述策略比例的对应关系；
获取上述目标对象集合中各目标对象的目标对象ID；
将上述目标对象ID按照上述策略比例进行分流，并与上述策略比例对应的目标策略关联；
将分流后各上述目标对象ID与上述目标策略的关联关系保存为分流结果。
可选的，上述基于上述分流结果控制上述目标对象集合中的目标对象执行对应的目标策略，包括：
获取上述分流结果中的目标对象ID与上述目标策略的关联关系；
基于上述关联关系，控制上述目标对象ID对应的目标对象执行对应的目标策略。
可选的，上述统计上述目标对象的执行结果并输出，包括：
获取所有上述目标对象执行上述目标策略的执行结果；
统计上述执行结果，获取各上述目标策略的执行效果评价值；
输出上述执行效果评价值最高的目标策略。
本发明第二方面提供一种ABtest实验装置，其中，上述装置包括：
目标对象集合获取模块，用于获取满足目标条件的目标对象集合；
比例配置文件生成模块，用于基于openresty组件配置至少两个目标策略以及各上述目标策略对应的策略比例，生成比例配置文件；
分流模块，用于基于上述比例配置文件对上述目标对象集合进行分流并获取分流结果；
执行控制模块，用于基于上述分流结果控制上述目标对象集合中的目标对象执行对应的目标策略；
输出模块，用于统计上述目标对象的执行结果并输出。
可选的，上述比例配置文件生成模块包括：
数据获取单元，用于获取至少两个目标策略及各上述目标策略对应的策略比例；
数据生成单元，用于启动openresty组件，控制openresty upstream模块将上述目标策略、上述策略比例以及上述目标策略与上述策略比例的对应关系加载到内存，生成比例配置文件。
本发明第三方面提供一种智能终端，包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的程序，上述程序被上述处理器执行时实现上述任意一种ABtest实验方法的步骤。
本发明第四方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述任意一种ABtest实验方法的步骤。
由上可见，本发明方案获取满足目标条件的目标对象集合后，基于openresty组件配置目标策略以及各目标策略对应的策略比例，生成比例配置文件；基于比例配置文件对目标对象集合直接进行分流并获取分流结果；在目标对象集合中的目标对象访问请求时，基于分流结果控制目标对象集合中的目标对象执行对应的目标策略；统计用户的执行结果并输出。由于本发明方案通过openresty组件直接配置目标策略以及各目标策略对应的策略比例，生成比例配置文件，通过配置文件直接对访问目标策略的对象(即同一组ABteset策略的目标对象)进行分流，用户不需访问特定服务器进行测试。因此，相较于现有技术中将两种(或多种)不同的分流方案投放到单一服务器上、通过服务器对用户进行分流测试的方案，本发明方案可实现高并发、降低服务器压力、提高测试效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种ABtest实验方法的流程示意图；
图2是本发明实施例图1中步骤S100的具体流程示意图；
图3是本发明实施例图1中步骤S200的具体流程示意图；
图4是本发明实施例图1中步骤S300的具体流程示意图；
图5是本发明实施例图1中步骤S400的具体流程示意图；
图6是本发明实施例图1中步骤S500的具体流程示意图；
图7是本发明实施例提供的一种ABtest实验装置的结构示意图；
图8是本发明实施例图7中比例配置文件生成模块720的具体结构示意图；
图9是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
当软件完善到一定阶段时，对于软件的一种进一步开发和改进的方案并不一定是符合用户期望的，其带来的效果也并不一定是正面的。或者不同的改进方案之间很难主观判断出哪一个是更好的方案。这种情况下，ABtest测试方法是一种有效的测试方法。通过ABtest测试方法可以获得用户的真实数据反馈，从而制定产品策略。现有的ABtest测试过程中，通常将多种不同的分流方案投放到一个服务器上，通过服务器对访问该服务器的用户进行分流测试并获取测试结果。在此基础上，所有的用户必须访问特定的一个服务器才能实现分流测试，不能实现高并发，且容易造成服务器压力大，造成测试效率低。
为了解决现有技术中存在的问题，本发明提供一种ABtest实验方法，在本发明实施例中，当要进行ABtest实验时，先获取满足目标条件的目标对象集合；然后基于openresty组件配置至少两个目标策略以及各上述目标策略对应的策略比例，生成比例配置文件；基于上述比例配置文件直接对目标对象集合进行分流并获取分流结果；基于上述分流结果控制上述目标对象集合中的目标对象执行对应的目标策略；最后统计上述目标对象的执行结果并输出。如此，在基于openresty组件生成比例配置文件后，可通过配置文件直接对访问目标策略的对象(即同一组ABteset策略的目标对象)进行分流，用户不需访问特定服务器进行测试，从而可达到实现高并发、降低服务器压力、提高测试效率的技术效果。
示例性方法
如图1所示，本发明实施例提供一种ABtest实验方法，上述方法包括如下步骤：
步骤S100，获取满足目标条件的目标对象集合。
其中，上述目标对象为用于进行ABtest实验的对象，本实施例中，上述目标对象为用于进行ABtest实验的用户，上述目标对象集合由满足目标条件的用户组成。
可选的，上述目标条件可以是根据实际需求预先设置的目标对象筛选条件，也可以是在使用过程中直接输入的目标对象筛选条件。上述目标条件应当是清楚的，计算机等电子设备可以明确的判断一个用户满足该目标条件或者不满足该目标条件，而不会有不能判断的情况。从而保证目标对象集合中的每一个用户都是能够进一步进行ABtest实验的有效用户，提高测试效率和准确度。
步骤S200，基于openresty组件配置至少两个目标策略以及各上述目标策略对应的策略比例，生成比例配置文件。
可选的，可以通过openresty组件的lua-resty-balancer模块配置上述目标策略以及上述目标策略对应的策略比例，生成比例配置文件，在此不做具体限定。
可选的，上述目标策略及其对应的策略比例可以根据实际需求预先设置，也可以在使用过程中经操作人员输入。其中，上述策略比例以百分数的形式表示，且所有目标策略的策略比例的和小于或等于100％。当所有目标策略的策略比例之和为100％时，说明目标对象集合中的所有目标对象都分配有当前目标策略中的一种策略，对目标对象集合中的所有目标对象进行测试。当所有目标策略的策略比例之和小于100％时，说明目标对象集合中还有部分对象未参与本次测试，可以保留作为下次新增的其它相应目标策略的测试对象。例如，某一软件计划有四种不同的改进版本，目前只完成了两种版本，但需要先对这两种版本进行测试，其它版本等后续完成后再进行测试。此时，可以设置本次ABtest试验中的目标策略为版本一和版本二，其策略比例之和为50％，预留50％的用户对之后的版本三和版本四进行测试，从而满足实际需求。本实施例中，所有目标策略的策略比例之和等于100％。
可选的，对于不同的目标策略，其对应的策略比例的值可以不同，也可以相同。在一种应用场景中，需要判断两个付款界面哪个效果更好，则可以设置其策略比例相同。在另一种应用场景中，需要对某软件进行升级测试，将该软件的原始版本作为第一目标策略，新版本作为第二目标策略。在测试过程中为了避免因新版本不完善而造成大范围不利影响，可以仅分配很小一部分用户(如1％)进行新版本的测试，即设置第二目标策略对应的策略比例为1％，设置第一目标策略对应的策略比例为99％，从而即使新版本存在较大缺陷也可以将其影响控制在可接收范围内。
可选的，上述策略比例还可以有其它形式，如小数或分数，在此不做具体限定。
步骤S300，基于上述比例配置文件对上述目标对象集合进行分流并获取分流结果。
可选的，上述配置文件中包括各目标策略、策略比例以及各目标策略与策略比例的对应关系。步骤S300中，基于策略比例将目标对象集合分流成不同用户群体，每一个用户群体对应一种目标策略，每一个用户群体中用户的数目等于该用户群体对应的策略比例与目标对象集合中的目标对象数的乘积。
步骤S400，基于上述分流结果控制上述目标对象集合中的目标对象执行对应的目标策略。
可选的，在步骤S300中确定用户群体及各用户群体对应的目标策略之后，向每一个用户发送对应的目标策略的内容并控制每一个用户执行对应的目标策略，从而进行ABtest实验。
步骤S500，统计上述目标对象的执行结果并输出。
本实施例中，获取每一个用户执行目标策略的结果并进行统计，根据统计结果获取所有目标策略中最优的一个目标策略并输出，从而帮助操作人员制定后续的产品策略。
由上可见，本发明实施例提供的ABtest实验方法获取满足目标条件的目标对象集合后，基于openresty组件配置目标策略以及各目标策略对应的策略比例，生成比例配置文件；基于比例配置文件对目标对象集合直接进行分流并获取分流结果；在目标对象集合中的目标对象访问请求时，基于分流结果控制目标对象集合中的目标对象执行对应的目标策略；统计用户的执行结果并输出。由于本实施例方案通过openresty组件直接配置目标策略以及各目标策略对应的策略比例，生成比例配置文件，通过配置文件直接对访问目标策略的对象(即同一组ABteset策略的目标对象)进行分流，用户不需访问特定服务器进行测试。因此，相较于现有技术中将两种(或多种)不同的分流方案投放到单一服务器上、通过服务器对用户进行分流测试的方案，本实施例方案可实现高并发、降低服务器压力、提高测试效率。
具体的，如图2所示，本实施例中，上述步骤S100包括：
步骤S101，获取所有待判断对象的待判断属性。
可选的，上述待判断属性可以是根据实际需求在待判断对象对应的属性中选择的一个或多个属性。例如，在对某一个软件进行升级测试时，上述待判断属性可以为待判断对象使用的移动设备的系统版本，也可以包括用户使用的移动设备的系统版本以及移动设备上当前安装的该软件的版本。本实施例中，上述待判断属性是根据实际需求在待判断对象对应的属性中选择的一个属性。本实施例中，上述待判断对象为待判断是否满足目标条件的用户。
步骤S102，依次判断各上述待判断对象的待判断属性是否满足预设的目标条件。
步骤S103，将所有对应的待判断属性满足预设的目标条件的待判断对象的集合作为目标对象集合。
可选的，可以对每一个待判断对象进行多次判断，以免判断过程中出现失误，提高判断的准确性。进一步的，可以为每一个待判断对象设置一个判断标记，上述判断标记初始值设为1。
本实施例中，上述步骤S102具体包括：对于当前待判断对象，当判断该待判断对象满足预设的目标条件时，将该待判断对象加入目标对象集合；当判断该待判断对象不满足预设的目标条件时，令其判断标记自加1，并判断上述判断标记是否大于预设的判断阈值，当上述判断标记不大于预设的判断阈值时，对当前待判断对象重新返回执行上述步骤S102；反之则跳转到对下一个待判断对象执行上述步骤S102进行判断；直到所有待判断对象都判断完毕。
在另一种应用场景中，上述步骤S100还可以包括：基于上述待判断属性将上述所有待判断对象划分为至少两个待判断对象目标对象集合，其中，各待判断对象目标对象集合对应的待判断属性互斥；将对应的待判断属性满足预设的目标条件待判断对象目标对象集合作为上述目标对象集合。从而实现更快速简便的判断，获得目标对象集合。
具体的，如图3所示，本实施例中，上述步骤S200包括：
步骤S201，获取至少两个目标策略及各上述目标策略对应的策略比例。
步骤S202，启动openresty组件，控制openresty upstream模块将上述目标策略、上述策略比例以及上述目标策略与上述策略比例的对应关系加载到内存，生成比例配置文件。
可选的，上述目标策略及其对应的策略比例可以根据实际需求预先设置，也可以在使用过程中经操作人员输入。本实施例中，上述目标策略及其对应的策略比例可以在使用过程中通过openresty组件的openresty reload指令进行改变。
本实施例中，通过openresty组件的一致性哈希算法生成的比例配置文件可以保证目标对象在多次开机过程中都命中同一目标策略，有利于提高ABtest实验的准确性。且服务器可以仅存储目标对象的唯一识别码(如目标对象ID)与目标策略的对应关系，不需存储复杂的目标对象的内容和目标策略内容，有利于降低服务器压力。
具体的，如图4所示，本实施例中，上述步骤S300包括：
步骤S301，获取上述比例配置文件中的目标策略、策略比例以及上述目标策略与上述策略比例的对应关系。
步骤S302，获取上述目标对象集合中各目标对象的目标对象ID。
可选的，上述步骤S302中还可以获取其它能作为目标对象唯一识别方式的特征，如目标对象为用户时，上述目标对象ID可以为用户编码、用户的设备ID、用户预存的电话号码等，在此不做具体限制。
步骤S303，将上述目标对象ID按照上述策略比例进行分流，并与上述策略比例对应的目标策略关联。
可选的，上述将上述目标对象ID按照上述策略比例进行分流的方式可以是随机分配，也可以是将上述目标对象ID进行排序，按顺序进行分流，还可以有其它分流方式，在此不做具体限制。
步骤S304，将分流后各上述目标对象ID与上述目标策略的关联关系保存为分流结果。
具体的，如图5所示，本实施例中，上述步骤S400包括：
步骤S401，获取上述分流结果中的目标对象ID与上述目标策略的关联关系。
步骤S402，基于上述关联关系，控制上述目标对象ID对应的目标对象执行对应的目标策略。
本实施例中，仅存储目标对象ID与目标策略的关联关系到服务器就可以使得各服务器控制目标对象集合中的各用户执行对应的目标策略，不需存储复杂的目标对象的内容和目标策略内容，有利于降低各服务器的压力。
具体的，如图6所示，本实施例中，上述步骤S500包括：
步骤S501，获取所有上述目标对象执行上述目标策略的执行结果。
步骤S502，统计上述执行结果，获取各上述目标策略的执行效果评价值。
其中，上述执行效果评价值可以根据上述执行结果以及预先设置的评价特征获得。可选的，上述预先设置的评价特征可以为点击通过率或下单率。例如，在一次ABtest实验中，涉及的目标策略为两个不同的付款界面，为上述两个不同的付款界面设置的策略比例各为50％，则可以将两个不同付款界面对应的下单率作为其执行效果评价值，下单率越高，对应的执行效果评价值越高，也说明对应的目标策略更优。可选的，也可以综合用户在上述两个不同付款界面的停留时间和下单率获得对应的执行效果评价值，还可以有其它获的执行效果评价值的方法，在此不做具体限制。
步骤S503，输出上述执行效果评价值最高的目标策略。
本实施例中，上述执行效果评价值最高的目标策略即为各目标策略中最佳的目标策略，输出上述执行效果评价值最高的目标策略可以帮助制定产品的研发和发展策略。
示例性设备
如图7中所示，对应于上述ABtest实验方法，本发明实施例还提供一种ABtest实验装置，上述ABtest实验装置包括：
目标对象集合获取模块710，用于获取满足目标条件的目标对象集合。
其中，上述目标对象为用于进行ABtest实验的对象，本实施例中，上述目标对象为用于进行ABtest实验的用户，上述目标对象集合由满足目标条件的用户组成。
可选的，上述目标条件可以是根据实际需求预先设置的目标对象筛选条件，也可以是在使用过程中直接输入的目标对象筛选条件。上述目标条件应当是清楚的，计算机等电子设备可以明确的判断一个用户满足该目标条件或者不满足该目标条件，而不会有不能判断的情况。从而保证目标对象集合中的每一个用户都是能够进一步进行ABtest实验的有效用户，提高测试效率和准确度。
比例配置文件生成模块720，用于基于openresty组件配置至少两个目标策略以及各上述目标策略对应的策略比例，生成比例配置文件。
可选的，上述比例配置文件生成模块720可以基于openresty组件的lua-resty-balancer模块配置上述目标策略以及上述目标策略对应的策略比例，生成比例配置文件，在此不做具体限定。
可选的，上述目标策略及其对应的策略比例可以根据实际需求预先设置，也可以在使用过程中经操作人员输入。其中，上述策略比例以百分数的形式表示，且所有目标策略的策略比例的和小于或等于100％。当所有目标策略的策略比例之和为100％时，说明目标对象集合中的所有目标对象都分配有当前目标策略中的一种策略，对目标对象集合中的所有目标对象进行测试。当所有目标策略的策略比例之和小于100％时，说明目标对象集合中还有部分对象未参与本次测试，可以保留作为下次新增的其它相应目标策略的测试对象。例如，某一软件计划有四种不同的改进版本，目前只完成了两种版本，但需要先对这两种版本进行测试，其它版本等后续完成后再进行测试。此时，可以设置本次ABtest试验中的目标策略为版本一和版本二，其策略比例之和为50％，预留50％的用户对之后的版本三和版本四进行测试，从而满足实际需求。本实施例中，所有目标策略的策略比例之和等于100％。
可选的，对于不同的目标策略，其对应的策略比例的值可以不同，也可以相同。在一种应用场景中，需要判断两个付款界面哪个效果更好，则可以设置其策略比例相同。在另一种应用场景中，需要对某软件进行升级测试，将该软件的原始版本作为第一目标策略，新版本作为第二目标策略。在测试过程中为了避免因新版本不完善而造成大范围不利影响，可以仅分配很小一部分用户(如1％)进行新版本的测试，即设置第二目标策略对应的策略比例为1％，设置第一目标策略对应的策略比例为99％，从而即使新版本存在较大缺陷也可以将其影响控制在可接收范围内。
可选的，上述策略比例还可以有其它形式，如小数或分数，在此不做具体限定。
分流模块730，用于基于上述比例配置文件对上述目标对象集合进行分流并获取分流结果。
可选的，上述配置文件中包括各目标策略、策略比例以及各目标策略与策略比例的对应关系。上述分流模块730基于策略比例将目标对象集合分流成不同用户群体，每一个用户群体对应一种目标策略，每一个用户群体中用户的数目等于该用户群体对应的策略比例与目标对象集合中的目标对象数的乘积。
执行控制模块740，用于基于上述分流结果控制上述目标对象集合中的目标对象执行对应的目标策略。
可选的，在上述分流模块730确定用户群体及各用户群体对应的目标策略之后，上述执行控制模块740向每一个用户发送对应的目标策略的内容并控制每一个用户执行对应的目标策略，从而进行ABtest实验。
输出模块750，用于统计上述目标对象的执行结果并输出。
本实施例中，上述输出模块750获取每一个用户执行目标策略的结果并进行统计，根据统计结果获取所有目标策略中最优的一个目标策略并输出，从而帮助操作人员制定后续的产品策略。
由上可见，本发明实施例提供的ABtest实验装置通过目标对象集合获取模块710获取满足目标条件的目标对象集合后，通过比例配置文件生成模块720基于openresty组件配置目标策略以及各目标策略对应的策略比例，生成比例配置文件；通过分流模块730基于比例配置文件对目标对象集合直接进行分流并获取分流结果；在目标对象集合中的目标对象访问请求时，通过执行控制模块740基于分流结果控制目标对象集合中的目标对象执行对应的目标策略；通过输出模块750统计用户的执行结果并输出。由于本实施例方案通过openresty组件直接配置目标策略以及各目标策略对应的策略比例，生成比例配置文件，通过配置文件直接对访问目标策略的对象(即同一组ABteset策略的目标对象)进行分流，用户不需访问特定服务器进行测试。因此，相较于现有技术中将两种(或多种)不同的分流方案投放到单一服务器上、通过服务器对用户进行分流测试的方案，本实施例方案可实现高并发、降低服务器压力、提高测试效率。
可选的，上述目标对象集合获取模块710具体用于：获取所有待判断对象的待判断属性；依次判断各上述待判断对象的待判断属性是否满足预设的目标条件；将所有对应的待判断属性满足预设的目标条件的待判断对象的集合作为目标对象集合。
可选的，上述待判断属性可以是根据实际需求在待判断对象对应的属性中选择的一个或多个属性。例如，在对某一个软件进行升级测试时，上述待判断属性可以为待判断对象使用的移动设备的系统版本，也可以包括用户使用的移动设备的系统版本以及移动设备上当前安装的该软件的版本。本实施例中，上述待判断属性是根据实际需求在待判断对象对应的属性中选择的一个属性。本实施例中，上述待判断对象为待判断是否满足目标条件的用户。
可选的，可以对每一个待判断对象进行多次判断，以免判断过程中出现失误，提高判断的准确性。进一步的，可以为每一个待判断对象设置一个判断标记，上述判断标记初始值设为1。
可选的，上述目标对象集合获取模块710具体用于：基于上述待判断属性将上述所有待判断对象划分为至少两个待判断对象目标对象集合，其中，各待判断对象目标对象集合对应的待判断属性互斥；将对应的待判断属性满足预设的目标条件待判断对象目标对象集合作为上述目标对象集合。从而实现更快速简便的判断，获得目标对象集合。
可选的，如图8所示，上述比例配置文件生成模块720具体包括：
数据获取单元721，用于获取至少两个目标策略及各上述目标策略对应的策略比例；
数据生成单元722，用于启动openresty组件，控制openresty upstream模块将上述目标策略、上述策略比例以及上述目标策略与上述策略比例的对应关系加载到内存，生成比例配置文件。
可选的，上述目标策略及其对应的策略比例可以根据实际需求预先设置，也可以在使用过程中经操作人员输入。本实施例中，上述目标策略及其对应的策略比例可以在使用过程中通过openresty组件的openresty reload指令进行改变。
本实施例中，通过openresty组件的一致性哈希算法生成的比例配置文件可以保证目标对象在多次开机过程中都命中同一目标策略，有利于提高ABtest实验的准确性。且服务器可以仅存储目标对象的唯一识别码(如目标对象ID)与目标策略的对应关系，不需存储复杂的目标对象的内容和目标策略内容，有利于降低服务器压力。
可选的，上述分流模块730具体用于：获取上述比例配置文件中的目标策略、策略比例以及上述目标策略与上述策略比例的对应关系；获取上述目标对象集合中各目标对象的目标对象ID；将上述目标对象ID按照上述策略比例进行分流，并与上述策略比例对应的目标策略关联；将分流后各上述目标对象ID与上述目标策略的关联关系保存为分流结果。
可选的，上述分流模块730还可用于获取其它能作为目标对象唯一识别方式的特征，如目标对象为用户时，上述目标对象ID可以为用户编码、用户的设备ID、用户预存的电话号码等，在此不做具体限制。上述将上述目标对象ID按照上述策略比例进行分流的方式可以是随机分配，也可以是将上述目标对象ID进行排序，按顺序进行分流，还可以有其它分流方式，在此不做具体限制。
可选的，上述执行模块740具体用于：获取上述分流结果中的目标对象ID与上述目标策略的关联关系；基于上述关联关系，控制上述目标对象ID对应的目标对象执行对应的目标策略。
本实施例中，仅存储目标对象ID与目标策略的关联关系到服务器就可以使得各服务器控制目标对象集合中的各用户执行对应的目标策略，不需存储复杂的目标对象的内容和目标策略内容，有利于降低各服务器的压力。
可选的，上述输出模块750具体用于：获取所有上述目标对象执行上述目标策略的执行结果；统计上述执行结果，获取各上述目标策略的执行效果评价值；输出上述执行效果评价值最高的目标策略。
其中，上述执行效果评价值可以根据上述执行结果以及预先设置的评价特征获得。可选的，上述预先设置的评价特征可以为点击通过率或下单率。例如，在一次ABtest实验中，涉及的目标策略为两个不同的付款界面，为上述两个不同的付款界面设置的策略比例各为50％，则可以将两个不同付款界面对应的下单率作为其执行效果评价值，下单率越高，对应的执行效果评价值越高，也说明对应的目标策略更优。可选的，也可以综合用户在上述两个不同付款界面的停留时间和下单率获得对应的执行效果评价值，还可以有其它获的执行效果评价值的方法，在此不做具体限制。
本实施例中，上述执行效果评价值最高的目标策略即为各目标策略中最佳的目标策略，输出上述执行效果评价值最高的目标策略可以帮助制定产品的研发和发展策略。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图9所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时实现上述任意一种ABtest实验方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
本领域技术人员可以理解，图9中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的程序，上述程序被上述处理器执行时进行以下操作指令：
获取满足目标条件的目标对象集合；
基于openresty组件配置至少两个目标策略以及各上述目标策略对应的策略比例，生成比例配置文件；
基于上述比例配置文件对上述目标对象集合进行分流并获取分流结果；
基于上述分流结果控制上述目标对象集合中的目标对象执行对应的目标策略；
统计上述目标对象的执行结果并输出。
本发明实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现本发明实施例提供的任一种ABtest实验方法所述的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于以计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种ABtest实验方法，其特征在于，所述方法包括：
获取满足目标条件的目标对象集合；
基于openresty组件配置至少两个目标策略以及各所述目标策略对应的策略比例，生成比例配置文件；
基于所述比例配置文件对所述目标对象集合进行分流并获取分流结果；
基于所述分流结果控制所述目标对象集合中的目标对象执行对应的目标策略；
统计所述目标对象的执行结果并输出。
2.根据权利要求1所述的ABtest实验方法，其特征在于，所述获取满足目标条件的目标对象集合包括：
获取所有待判断对象的待判断属性；
依次判断各所述待判断对象的待判断属性是否满足预设的目标条件；
将所有对应的待判断属性满足预设的目标条件的待判断对象的集合作为目标对象集合。
3.根据权利要求1所述的ABtest实验方法，其特征在于，所述配置至少两个目标策略以及各所述目标策略对应的策略比例，生成比例配置文件，包括：
获取至少两个目标策略及各所述目标策略对应的策略比例；
启动openresty组件，控制openresty upstream模块将所述目标策略、所述策略比例以及所述目标策略与所述策略比例的对应关系加载到内存，生成比例配置文件。
4.根据权利要求3所述的ABtest实验方法，其特征在于，所述基于所述比例配置文件对所述目标对象集合进行分流并获取分流结果，包括：
获取所述比例配置文件中的目标策略、策略比例以及所述目标策略与所述策略比例的对应关系；
获取所述目标对象集合中各目标对象的目标对象ID；
将所述目标对象ID按照所述策略比例进行分流，并与所述策略比例对应的目标策略关联；
将分流后各所述目标对象ID与所述目标策略的关联关系保存为分流结果。
5.根据权利要求4所述的ABtest实验方法，其特征在于，所述基于所述分流结果控制所述目标对象集合中的目标对象执行对应的目标策略，包括：
获取所述分流结果中的目标对象ID与所述目标策略的关联关系；
基于所述关联关系，控制所述目标对象ID对应的目标对象执行对应的目标策略。
6.根据权利要求1至5任一项所述的ABtest实验方法，其特征在于，所述统计所述目标对象的执行结果并输出，包括：
获取所有所述目标对象执行所述目标策略的执行结果；
统计所述执行结果，获取各所述目标策略的执行效果评价值；
输出所述执行效果评价值最高的目标策略。
7.一种ABtest实验装置，其特征在于，所述装置包括：
目标对象集合获取模块，用于获取满足目标条件的目标对象集合；
比例配置文件生成模块，用于基于openresty组件配置至少两个目标策略以及各所述目标策略对应的策略比例，生成比例配置文件；
分流模块，用于基于所述比例配置文件对所述目标对象集合进行分流并获取分流结果；
执行控制模块，用于基于所述分流结果控制所述目标对象集合中的目标对象执行对应的目标策略；
输出模块，用于统计所述目标对象的执行结果并输出。
8.根据权利要求7所述的ABtest实验装置，其特征在于，所述比例配置文件生成模块包括：
数据获取单元，用于获取至少两个目标策略及各所述目标策略对应的策略比例；
数据生成单元，用于启动openresty组件，控制openresty upstream模块将所述目标策略、所述策略比例以及所述目标策略与所述策略比例的对应关系加载到内存，生成比例配置文件。
9.一种智能终端，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1-6任意一项所述方法的步骤。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的方法的步骤。
CN202011153856.4A 2020-10-26 2020-10-26 一种ABtest实验方法、装置、智能终端及存储介质 Active CN112333246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011153856.4A CN112333246B (zh) 2020-10-26 2020-10-26 一种ABtest实验方法、装置、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011153856.4A CN112333246B (zh) 2020-10-26 2020-10-26 一种ABtest实验方法、装置、智能终端及存储介质

Publications (2)

Publication Number Publication Date
CN112333246A true CN112333246A (zh) 2021-02-05
CN112333246B CN112333246B (zh) 2023-05-05

Family

ID=74311547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011153856.4A Active CN112333246B (zh) 2020-10-26 2020-10-26 一种ABtest实验方法、装置、智能终端及存储介质

Country Status (1)

Country Link
CN (1) CN112333246B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076195A (zh) * 2021-03-31 2021-07-06 北京字节跳动网络技术有限公司 对象的分流方法、装置、可读介质和电子设备
CN113760680A (zh) * 2021-02-25 2021-12-07 北京沃东天骏信息技术有限公司 一种系统压力性能测试的方法和装置
CN114462890A (zh) * 2022-04-07 2022-05-10 第四范式（北京）技术有限公司 一种评估辅助方法及装置、电子设备、存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052809A (zh) * 2014-06-17 2014-09-17 北京京东尚科信息技术有限公司 一种网站测试的分流控制方法和装置
US20150312867A1 (en) * 2014-04-28 2015-10-29 Sony Corporation Apparatus and method for controlling a change of operation state of a cell
CN105376151A (zh) * 2015-12-15 2016-03-02 广州唯品会信息科技有限公司 ABtest平台的分流方法及系统
CN105373480A (zh) * 2015-12-15 2016-03-02 广州唯品会信息科技有限公司 优化ABTest系统分流的方法及系统
CN108510311A (zh) * 2018-02-28 2018-09-07 阿里巴巴集团控股有限公司 一种确定营销方案的方法、装置及电子设备
CN110046092A (zh) * 2019-03-12 2019-07-23 北京创鑫旅程网络技术有限公司 实验分流方法、装置、电子设备和计算机可读存储介质
CN110838031A (zh) * 2019-11-11 2020-02-25 深圳乐信软件技术有限公司 一种基于ABtest的数据运营方法和装置
CN111460298A (zh) * 2020-03-31 2020-07-28 深圳市酷开网络科技有限公司 业务数据处理方法、装置、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150312867A1 (en) * 2014-04-28 2015-10-29 Sony Corporation Apparatus and method for controlling a change of operation state of a cell
CN104052809A (zh) * 2014-06-17 2014-09-17 北京京东尚科信息技术有限公司 一种网站测试的分流控制方法和装置
CN105376151A (zh) * 2015-12-15 2016-03-02 广州唯品会信息科技有限公司 ABtest平台的分流方法及系统
CN105373480A (zh) * 2015-12-15 2016-03-02 广州唯品会信息科技有限公司 优化ABTest系统分流的方法及系统
CN108510311A (zh) * 2018-02-28 2018-09-07 阿里巴巴集团控股有限公司 一种确定营销方案的方法、装置及电子设备
CN110046092A (zh) * 2019-03-12 2019-07-23 北京创鑫旅程网络技术有限公司 实验分流方法、装置、电子设备和计算机可读存储介质
CN110838031A (zh) * 2019-11-11 2020-02-25 深圳乐信软件技术有限公司 一种基于ABtest的数据运营方法和装置
CN111460298A (zh) * 2020-03-31 2020-07-28 深圳市酷开网络科技有限公司 业务数据处理方法、装置、计算机设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113760680A (zh) * 2021-02-25 2021-12-07 北京沃东天骏信息技术有限公司 一种系统压力性能测试的方法和装置
CN113076195A (zh) * 2021-03-31 2021-07-06 北京字节跳动网络技术有限公司 对象的分流方法、装置、可读介质和电子设备
CN113076195B (zh) * 2021-03-31 2023-04-07 抖音视界有限公司 对象的分流方法、装置、可读介质和电子设备
CN114462890A (zh) * 2022-04-07 2022-05-10 第四范式（北京）技术有限公司 一种评估辅助方法及装置、电子设备、存储介质
CN114462890B (zh) * 2022-04-07 2022-07-26 第四范式（北京）技术有限公司 一种评估辅助方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN112333246B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN112333246A (zh) 一种ABtest实验方法、装置、智能终端及存储介质
KR102193502B1 (ko) 지불 임계값을 취득하기 위한 방법 및 디바이스
CN103763346B (zh) 一种分布式资源调度方法及装置
CN110830234B (zh) 一种用户流量分配方法及装置
CN108255707B (zh) 测试用例的开发角色创建方法、装置、设备及存储介质
CN109345108A (zh) 任务分配方法、装置、设备及存储介质
CN111045933A (zh) 一种回归策略更新方法、装置、存储介质及终端设备
CN108388509B (zh) 一种软件测试方法、计算机可读存储介质及终端设备
CN111026500B (zh) 云计算模拟平台及其创建方法、装置和存储介质
CN113591068B (zh) 一种在线登录设备管理方法、装置及电子设备
CN109509461B (zh) 显示面板的亮度调节方法及装置
CN109473121B (zh) 语音合成质量测试方法及装置
CN110389822A (zh) 执行任务的节点调度方法、装置和服务器
CN111352791A (zh) 一种系统应用的检测方法、装置、终端设备及存储介质
WO2022095847A1 (zh) 系统升级方法、装置、设备和存储介质
CN108632085B (zh) 灰度用户管理方法、装置、平台及存储介质
CN109492759B (zh) 神经网络模型预测方法、装置和终端
CN108961071B (zh) 自动预测组合业务收益的方法及终端设备
CN106528162A (zh) 一种目标对象的显示方法、装置及电子设备
CN110795251A (zh) 终端运行参数的确定方法和设备
CN115080412A (zh) 软件更新质量评估方法、装置、设备及计算机存储介质
CN109002324A (zh) 一种处理指令的方法和装置
CN112527276A (zh) 一种可视化编程工具中的数据更新方法、装置及终端设备
CN113518119A (zh) ABTest的服务分发方法、装置、设备及存储介质
CN114070659B (zh) 一种设备锁定方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Room 2306, east block, Skyworth semiconductor design building, 18 Gaoxin South 4th Road, Gaoxin community, Yuehai street, Nanshan District, Shenzhen, Guangdong 518052

Applicant after: Shenzhen Kukai Network Technology Co.,Ltd.

Address before: 518052 Room 601, block C, Skyworth building, 008 Gaoxin South 1st Road, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Coocaa Network Technology Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant