CN109299014B - 一种在版本测试中自动调整流量的方法 - Google Patents

一种在版本测试中自动调整流量的方法 Download PDF

Info

Publication number
CN109299014B
CN109299014B CN201811140065.0A CN201811140065A CN109299014B CN 109299014 B CN109299014 B CN 109299014B CN 201811140065 A CN201811140065 A CN 201811140065A CN 109299014 B CN109299014 B CN 109299014B
Authority
CN
China
Prior art keywords
version
test
flow
participatable
default
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811140065.0A
Other languages
English (en)
Other versions
CN109299014A (zh
Inventor
蒋晓海
霍威
刘麒赟
宋子文
朱开运
高飞
郭凯航
刘金升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Testin Information Technology Co Ltd
Original Assignee
Beijing Testin Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Testin Information Technology Co Ltd filed Critical Beijing Testin Information Technology Co Ltd
Priority to CN201811140065.0A priority Critical patent/CN109299014B/zh
Publication of CN109299014A publication Critical patent/CN109299014A/zh
Application granted granted Critical
Publication of CN109299014B publication Critical patent/CN109299014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/368—Test management for test version control, e.g. updating test cases to a new software version
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Monitoring And Testing Of Exchanges (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种在版本测试中自动调整流量的方法，包括如下步骤：S1、为需要测试的工程创建四个版本，分别为原始版本、基准版本、默认版本、新版本；S2、设置可参与版本测试流量调整频率；S3、设置可参与版本测试流量调整量；S4、设置可参与版本测试流量最小量；S5、设置除新版本之外的其他版本的初始流量份额；S6、开启版本测试后，各个新版本之间开始动态抢夺可参与版本测试流量，定期执行可参与版本测试流量调整算法，直至选出最优版本。本发明可以有效解决运营人员在版本测试中频繁手动调节流量的问题。

Description

一种在版本测试中自动调整流量的方法
技术领域
本发明涉及ab测试技术领域，具体涉及一种在版本测试中根据版本中的指标转化率智能调节进入某一版本流量的方法。
背景技术
在互联网快速发展的今天，移动应用APP、WEB网站的版本快速迭代已经成为常态，运营人员会根据所有版本的转化率进行对比，选出最优版本进行流量调节。
但是在普通的版本测试中需要人工根据每个版本的转化率手动调节最优版本的流量，并且需要不定时的去手动调节流量，版本较多的情况下对比繁琐，运营人员需要花费大量的时间和精力，人工干预度较高。
发明内容
针对现有技术的不足，本发明旨在提供一种在版本测试中自动调整流量的方法，可以有效解决运营人员在版本测试中频繁手动调节流量的问题。
为了实现上述目的，本发明采用如下技术方案：
一种在版本测试中自动调整流量的方法，包括如下步骤：
S1、为需要测试的工程创建四个版本，分别为原始版本、基准版本、默认版本、新版本，其中：
原始版本为最初创建的版本，整个版本测试过程中一直存在；
基准版本用于在版本测试过程中为动态抢夺可参与版本测试流量的新版本提供数据对比；
默认版本为不参与版本测试流量所在的版本，作为流量池使用，各个新版本的流量的增加或者减少都相应地从默认版本中减少或者增加；
新版本：用户创建的版本，用于自动流量调节使用；
S2、设置可参与版本测试流量调整频率，在所述可参与版本测试流量调整频率下定时执行一次可参与版本测试流量调整算法；
S3、设置可参与版本测试流量调整量，即每次增加或减少的流量大小；
S4、设置可参与版本测试流量最小量，无论如何调整流量，可参与版本测试流量都不能低于所述可参与版本测试流量最小量；
S5、设置除新版本之外的原始版本、默认版本和基准版本的初始流量份额，默认版本的流量份额为不参与版本测试流量，可参与版本测试流量＝1-默认版本的流量份额；
S6、开启版本测试后，各个新版本之间开始动态抢夺可参与版本测试流量，按照步骤S2中设置的可参与版本测试流量调整频率，周期执行如下可参与版本测试流量调整算法：
计算出参与动态抢夺可参与版本测试流量的新版本的最大历史累计转化率和基准版本的历史累计转化率；如果新版本中的某个版本的最大历史累计转化率大于基准版本的历史累计转化率，则称该版本为最优版本，默认版本和最优版本分别按照步骤S3中设置的可参与版本测试流量调整量减少和增加相应的流量，直至有新版本取得设定的最大流量份额时停止循环并自动发布该最优版本；如果基准版本的历史累计转化率大于各个新版本的最大历史累计转化率，则默认版本和可参与版本测试流量分别按照步骤S3中设置的可参与版本测试流量调整量增加和减少相应的流量，版本测试效果不明显，需重新设置版本。
进一步地，步骤S2中，可参与版本测试流量调整频率默认为24小时。
进一步地，步骤S3中，可参与版本测试流量调整量默认为5％。
进一步地，步骤S4中，可参与版本测试流量最小量默认为1％。
进一步地，步骤S5中，默认为原始版本的流量份额为5％，基准版本的流量份额为5％，默认版本的流量份额为85％。
进一步地，步骤S6中，在进行默认版本和最优版本分别按照步骤S3中设置的可参与版本测试流量调整量减少和增加相应的流量之后，先判断默认版本的流量份额是否小于0％，如果是设置默认版本的流量份额等于0％，再根据默认版本的流量份额调整可参与版本测试流量，否则直接根据默认版本的流量份额调整可参与版本测试流量；在进行默认版本和可参与版本测试流量分别按照步骤S3中设置的可参与版本测试流量调整量增加和减少相应的流量，先判断默认版本的流量份额是否大于1-可参与版本测试流量最小量，如果是，设置默认版本的流量份额等于1-可参与版本测试流量最小量，然后根据默认版本的流量份额调整可参与版本测试流量，否则直接根据默认版本的流量份额调整可参与版本测试流量。
本发明的有益效果在于：
本发明方法通过分别创建多个测试版本来进行并行实验，并向各个测试版本设置默认流量份额，各个并行版本开始测试时同时抢夺流量，一段周期后(周期可调节)，根据各个版本的历史累计转化率确定出周期内的最优版本，并调整最优版本的流量，然后重复进行此流程，直到满足循环终止条件时，获取流量最多的版本将成为最优版本并进行自动发布。
本发明方法相对于现有的运营人员需要频繁地手动调节不同版本的流量值、人为判断最优版本手动发布最优版本的繁琐方法，提高了运营人员工作效率，加快了版本测试中新版本的发布速度，节省了人力成本和时间成本。
附图说明
图1为本发明实施例中的方法实施流程示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，以下实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
如图1所示，一种在版本测试中自动调整流量的方法，包括如下步骤：
S1、为需要测试的工程创建四个版本，分别为原始版本、基准版本、默认版本、新版本，其中：
原始版本为最初创建的版本，整个版本测试过程中一直存在；
基准版本用于在版本测试过程中为动态抢夺可参与版本测试流量的新版本提供数据对比；
默认版本为不参与版本测试流量所在的版本，作为流量池使用，各个新版本的流量的增加或者减少都相应地从默认版本中减少或者增加；
新版本：用户创建的版本，用于自动流量调节使用；
S2、设置可参与版本测试流量调整频率，在所述可参与版本测试流量调整频率下(默认24小时)定时执行一次可参与版本测试流量调整算法；
S3、设置可参与版本测试流量调整量，即每次增加或减少的流量大小。以D(Delta)代表。默认5％；
S4、设置可参与版本测试流量最小量，无论如何调整流量，可参与版本测试流量都不能低于所述可参与版本测试流量最小量。以R(Reserve)代表。默认1％；
S5、设置除新版本之外的其他版本的初始流量份额，默认为原始版本的流量份额为5％，基准版本的流量份额为5％，默认版本的流量份额为85％，则可参与版本测试流量为15％；
S6、开启版本测试后，各个新版本之间开始动态抢夺可参与版本测试流量，按照步骤S2中设置的可参与版本测试流量调整频率，周期执行如下可参与版本测试流量调整算法：
计算出参与动态抢夺可参与版本测试流量的新版本的最大历史累计转化率和基准版本的历史累计转化率；如果新版本中的某个版本的最大历史累计转化率大于或等于基准版本的历史累计转化率，则称该版本为最优版本，默认版本和最优版本分别按照步骤S3中设置的可参与版本测试流量调整量减少和增加相应的流量，直至有新版本取得设定的最大流量份额(例如本实施例中，设置为取得全部默认版本的流量份额)时停止循环并自动发布该最优版本；如果基准版本的历史累计转化率高于各个新版本的最大历史累计转化率，则默认版本和可参与版本测试流量分别按照步骤S3中设置的可参与版本测试流量调整量增加和减少相应的流量，版本测试效果不明显，需重新设置版本。
在本实施例中，步骤S6中，在进行默认版本和最优版本分别按照步骤S3中设置的可参与版本测试流量调整量减少和增加相应的流量之后，先判断默认版本的流量份额是否小于0％，如果是设置默认版本的流量份额等于0％，再根据默认版本的流量份额调整可参与版本测试流量，否则直接根据默认版本的流量份额调整可参与版本测试流量；在进行默认版本和可参与版本测试流量分别按照步骤S3中设置的可参与版本测试流量调整量增加和减少相应的流量，先判断默认版本的流量份额是否大于1-可参与版本测试流量最小量，如果是，设置默认版本的流量份额等于1-可参与版本测试流量最小量，然后根据默认版本的流量份额调整可参与版本测试流量，否则直接根据默认版本的流量份额调整可参与版本测试流量。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (5)

1.一种在版本测试中自动调整流量的方法，其特征在于，包括如下步骤：
S1、为需要测试的工程创建四个版本，分别为原始版本、基准版本、默认版本、新版本，其中：
原始版本为最初创建的版本，整个版本测试过程中一直存在；
基准版本用于在版本测试过程中为动态抢夺可参与版本测试流量的新版本提供数据对比；
默认版本为不参与版本测试流量所在的版本，作为流量池使用，各个新版本的流量的增加或者减少都相应地从默认版本中减少或者增加；
新版本：用户创建的版本，用于自动流量调节使用；
S2、设置可参与版本测试流量调整频率，在所述可参与版本测试流量调整频率下定时执行一次可参与版本测试流量调整算法；
S3、设置可参与版本测试流量调整量，即每次增加或减少的流量大小；
S4、设置可参与版本测试流量最小量，无论如何调整流量，可参与版本测试流量都不能低于所述可参与版本测试流量最小量；
S5、设置除新版本之外的原始版本、默认版本和基准版本的初始流量份额，默认版本的流量份额为不参与版本测试流量，可参与版本测试流量＝1-默认版本的流量份额；
S6、开启版本测试后，各个新版本之间开始动态抢夺可参与版本测试流量，按照步骤S2中设置的可参与版本测试流量调整频率，周期执行如下可参与版本测试流量调整算法：
计算出参与动态抢夺可参与版本测试流量的新版本的最大历史累计转化率和基准版本的历史累计转化率；如果新版本中的某个版本的最大历史累计转化率大于基准版本的历史累计转化率，则称该版本为最优版本，默认版本和最优版本分别按照步骤S3中设置的可参与版本测试流量调整量减少和增加相应的流量，直至有新版本取得设定的最大流量份额时停止循环并自动发布该最优版本；如果基准版本的历史累计转化率大于各个新版本的最大历史累计转化率，则默认版本和可参与版本测试流量分别按照步骤S3中设置的可参与版本测试流量调整量增加和减少相应的流量，版本测试效果不明显，需重新设置版本；
步骤S6中，在进行默认版本和最优版本分别按照步骤S3中设置的可参与版本测试流量调整量减少和增加相应的流量之后，先判断默认版本的流量份额是否小于0％，如果是设置默认版本的流量份额等于0％，再根据默认版本的流量份额调整可参与版本测试流量，否则直接根据默认版本的流量份额调整可参与版本测试流量；在进行默认版本和可参与版本测试流量分别按照步骤S3中设置的可参与版本测试流量调整量增加和减少相应的流量，先判断默认版本的流量份额是否大于1-可参与版本测试流量最小量，如果是，设置默认版本的流量份额等于1-可参与版本测试流量最小量，然后根据默认版本的流量份额调整可参与版本测试流量，否则直接根据默认版本的流量份额调整可参与版本测试流量。
2.根据权利要求1所述的在版本测试中自动调整流量的方法，其特征在于，步骤S2中，可参与版本测试流量调整频率默认为24小时。
3.根据权利要求1所述的在版本测试中自动调整流量的方法，其特征在于，步骤S3中，可参与版本测试流量调整量默认为5％。
4.根据权利要求1所述的在版本测试中自动调整流量的方法，其特征在于，步骤S4中，可参与版本测试流量最小量默认为1％。
5.根据权利要求1所述的在版本测试中自动调整流量的方法，其特征在于，步骤S5中，默认为原始版本的流量份额为5％，基准版本的流量份额为5％，默认版本的流量份额为85％。
CN201811140065.0A 2018-09-28 2018-09-28 一种在版本测试中自动调整流量的方法 Active CN109299014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811140065.0A CN109299014B (zh) 2018-09-28 2018-09-28 一种在版本测试中自动调整流量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811140065.0A CN109299014B (zh) 2018-09-28 2018-09-28 一种在版本测试中自动调整流量的方法

Publications (2)

Publication Number Publication Date
CN109299014A CN109299014A (zh) 2019-02-01
CN109299014B true CN109299014B (zh) 2021-10-08

Family

ID=65164811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811140065.0A Active CN109299014B (zh) 2018-09-28 2018-09-28 一种在版本测试中自动调整流量的方法

Country Status (1)

Country Link
CN (1) CN109299014B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392018B (zh) * 2021-06-28 2024-01-16 北京字节跳动网络技术有限公司 流量分发方法、装置、存储介质及电子设备
CN113411269B (zh) * 2021-07-07 2022-05-17 杭州网易云音乐科技有限公司 限流控制方法、限流控制装置、存储介质及电子设备
CN114490372B (zh) * 2022-01-20 2023-12-26 北京火山引擎科技有限公司 测试方案确定方法、装置、计算机可读介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106959925A (zh) * 2017-04-25 2017-07-18 北京云测信息技术有限公司 一种版本测试方法及装置
CN107402881A (zh) * 2017-04-14 2017-11-28 阿里巴巴集团控股有限公司 一种项目测试的选取方法及装置
CN108345539A (zh) * 2018-01-31 2018-07-31 北京云测信息技术有限公司 一种用于进行ab测试的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170235661A1 (en) * 2013-03-05 2017-08-17 NetSuite Inc. Integration of Software Systems via Incremental Verification
US10649753B2 (en) * 2016-12-14 2020-05-12 Verizon Patent And Licensing Inc. Enabling user device application modularity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107402881A (zh) * 2017-04-14 2017-11-28 阿里巴巴集团控股有限公司 一种项目测试的选取方法及装置
CN106959925A (zh) * 2017-04-25 2017-07-18 北京云测信息技术有限公司 一种版本测试方法及装置
CN108345539A (zh) * 2018-01-31 2018-07-31 北京云测信息技术有限公司 一种用于进行ab测试的方法和装置

Also Published As

Publication number Publication date
CN109299014A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN109299014B (zh) 一种在版本测试中自动调整流量的方法
CN105786985A (zh) 一种文件系统自动扩容方法及装置
CN104142460A (zh) 雪崩光电二极管最佳工作电压的测试方法
CN105739956A (zh) 计算机系统的构建智能规则模型的方法及系统
CN109861238B (zh) 一种储能电站自动发电与电压协调控制方法、系统及介质
CN113872230B (zh) 一种新能源故障穿越控制参数优化方法及装置
CN105824687A (zh) 一种Java虚拟机性能自动调优的方法及装置
CN111796655B (zh) Ddr内存控制器自动变频的方法及系统
CN112751926B (zh) 一种集群中工作节点的管理方法、系统及相关装置
CN108279934A (zh) 服务器bios性能参数设置方法、装置及存储介质
CN104158878A (zh) 一种自适应调度的分布式监控数据采集方法和系统
CN105163334B (zh) Lte小区支持最大用户数能力的动态调整方法及系统
CN103179285A (zh) 一种话单文件的采集方法及装置
CN107800507B (zh) 一种集群系统中语音业务调度的mcs选择方法和设备
CN113434256B (zh) 一种云资源横向扩展方法、可读存储介质
CN112181639B (zh) 基于龙芯平台的动态调频调压方法
CN109068351A (zh) 基站容量调整方法、装置和通信系统
CN109149654A (zh) 确定跨区域水电-风电直流输电水电机组调节能力的方法
CN105302280A (zh) 一种功耗优化系统及方法
CN105244888B (zh) 一种考虑离散变量的电力系统无功优化方法
CN104202095B (zh) 一种降低基站底噪的方法和设备
CN109120720A (zh) 一种自动调节版本测试流量的方法
CN103716564B (zh) 一种控制参数值的调节方法和装置
CN114443283B (zh) 一种应用实例的伸缩方法和装置
CN110149685B (zh) 一种多波束配置下的grant free发送功率控制方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant