CN115509890A - 基于强化学习的测试方法、装置、电子设备和存储介质 - Google Patents
基于强化学习的测试方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115509890A CN115509890A CN202210964208.XA CN202210964208A CN115509890A CN 115509890 A CN115509890 A CN 115509890A CN 202210964208 A CN202210964208 A CN 202210964208A CN 115509890 A CN115509890 A CN 115509890A
- Authority
- CN
- China
- Prior art keywords
- test
- version
- experimental
- experimental version
- experiment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002787 reinforcement Effects 0.000 title claims abstract description 15
- 238000010998 test method Methods 0.000 title claims abstract description 10
- 238000012360 testing method Methods 0.000 claims abstract description 384
- 238000002474 experimental method Methods 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 13
- 238000013100 final test Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种基于强化学习的测试方法、装置、电子设备和存储介质，其中，基于强化学习的测试方法包括：获取测试对象的实验版本集，其中，所述实验版本集包括至少两个实验版本；确定每个所述实验版本在当前测试周期内的测试流量；基于每个所述实验版本在当前测试周期内的测试流量，测试每个所述实验版本并得到每个所述实验版本的测试结果数据；判断所述实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合所述预设条件，则将所述实验版本的测试流量分配至所述实验版本集中的其他所述实验版本。本申请能够在降低测试成本的前提下，提高测试结果的准确性。
Description
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种基于强化学习的测试方法、装置、电子设备和存储介质。
背景技术
目前，AB测试是一种随机测试，用来测试某一个变量两个或多个不同版本的差异，一般是让A和B只有该变量不同，测试其他人对于A和B的反应差异，再收集到相应的表现数据后，统计A和B的方式何者指标(转化率)较佳，最后选择AB中的最优方案。如，一个电商网站的购买流程中可以对产品列表的UI做A/B测试，进而通过改进的文字内容、架构、图片、颜色优化销售转化率。如一个信息流平台的推荐系统，可以对推荐策略做A/B测试，进而通过改进推荐模型优化点击率。如广告投放中，将客户群分为两组或多组，每组群体展示不同的广告形式。在测试结束时，针对测试结果选择最优的形式做大量投放。
然而，现有AB测试具有成本高或者测试结果准确性低的缺点。
发明内容
本申请实施例的目的在于提供一种基于强化学习的测试方法、基于强化学习的测试装置、电子设备和存储介质，用以在降低测试成本的前提下，提高测试结果的准确性。
第一方面，本发明提供一种基于强化学习的测试方法，所述测试方法包括：
获取测试对象的实验版本集，其中，所述实验版本集包括至少两个实验版本；
确定每个所述实验版本在当前测试周期内的测试流量；
基于每个所述实验版本在当前测试周期内的测试流量，测试每个所述实验版本并得到每个所述实验版本的测试结果数据；
判断所述实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合所述预设条件，则将所述实验版本的测试流量分配至所述实验版本集中的其他所述实验版本。
在本申请第一方面中，通过获取测试对象的实验版本集和确定每个实验版本在当前测试周期内的测试流量，能够基于每个实验版本在当前测试周期内的测试流量，测试每个实验版本并得到每个实验版本的测试结果数据，进而判断实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合预设条件，则将实验版本的测试流量分配至实验版本集中的其他实验版本。
与现有技术相比，本申请能够在测试过程中，不再为测试结果数据不符合预设条件的实验版本分配测试流量，而是将测试流量分配至其他符合预设条件的实验版本，这样一来，一方面能够使用更少的测试流量完成测试，另一方面，能够使测试流量逐渐分配至符合预设条件的实验版本，使得符合预设条件的实验版本得到更多的测试流量，进而能够基于更多的测试流量对该实验版本进行测试，从而提高符合预设条件的实验版本的最终测试结果的准确性。
在可选的实施方式中，所述确定每个所述实验版本在当前测试周期内的测试流量，包括:
获取实验上下文信息；
基于所述实验上下文信息读取用户个性化流量分配信息；
基于所述用户个性化流量分配信息确定所述实验版本在当前测试周期内的测试流量。
在本可选的实施方式中，通过获取实验上下文信息，进而能够基于所述实验上下文信息读取用户个性化流量分配信息，进而能够基于所述用户个性化流量分配信息确定所述实验版本在当前测试周期内的测试流量。
在可选的实施方式中，在所述确定每个所述实验版本在当前测试周期内的测试流量之前，所述方法还包括：
获取实验上下文信息；
基于所述实验上下文信息读取所述实验版本所属的版本集合；
基于所述实验版本所属的版本集合的测试流量确定所述实验版本在当前测试周期内的测试流量。
在本可选的实施方式中，通过获取实验上下文信息，进而能够基于所述实验上下文信息读取所述实验版本所属的版本集合，从而鞥能够基于所述实验版本所属的版本集合的测试流量确定所述实验版本在当前测试周期内的测试流量。
在可选的实施方式中，所述判断所述实验版本的测试结果数据是否符合预设条件，包括：
基于所述实验版本的测试结果数据，计算所述实验版本的价值指标的值；
将所述实验版本的价值指标的值与预设阈值进行比较；
当所述实验版本的价值指标的值小于所述预设阈值时，则确定所述实验版本的测试结果数据不符合所述预设条件。
在本可选的实施方式中，基于所述实验版本的测试结果数据能够计算所述实验版本的价值指标的值，进而能够将所述实验版本的价值指标的值与预设阈值进行比较，进而当所述实验版本的价值指标的值小于所述预设阈值时，能够确定所述实验版本的测试结果数据不符合所述预设条件。
在可选的实施方式中，所述实验版本的价值指标包括转化率指标和平均收益指标。
在可选的实施方式中，所述基于所述实验版本的测试结果数据，计算所述实验版本的价值指标的值，包括：
基于所述实验版本的测试结果数据，确定所述实验版本的转化数；
基于所述实验版本的测试流量和所述实验版本的转化数，计算所述实验版本的转化率指标的值。
在本可选的实施方式中，基于所述实验版本的测试结果数据，能够确定所述实验版本的转化数，进而能够基于所述实验版本的测试流量和所述实验版本的转化数，计算所述实验版本的转化率指标的值。
在可选的实施方式中，所述方法还包括：
当经过至少两个测试周期之后，输出所述实验版本集中回报最大的实验版本。
在本可选的实施方式中，当经过至少两个测试周期之后，能够输出所述实验版本集中回报最大的实验版本。
第二方面，本发明提供一种基于强化学习的测试装置，所述测试装置包括：
获取模块，用于获取测试对象的实验版本集，其中，所述实验版本集包括至少两个实验版本；
确定模块，用于确定每个所述实验版本在当前测试周期内的测试流量；
测试模块，用于基于每个所述实验版本在当前测试周期内的测试流量，测试每个所述实验版本并得到每个所述实验版本的测试结果数据；
修正模块，用于判断所述实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合所述预设条件，则将所述实验版本的测试流量分配至所述实验版本集中的其他所述实验版本。
在本申请第二方面中，通过获取测试对象的实验版本集和确定每个实验版本在当前测试周期内的测试流量，能够基于每个实验版本在当前测试周期内的测试流量，测试每个实验版本并得到每个实验版本的测试结果数据，进而判断实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合预设条件，则将实验版本的测试流量分配至实验版本集中的其他实验版本。
与现有技术相比，本申请能够在测试过程中，不再为测试结果数据不符合预设条件的实验版本分配测试流量，而是将测试流量分配至其他符合预设条件的实验版本，这样一来，一方面能够使用更少的测试流量完成测试，另一方面，能够使测试流量逐渐分配至符合预设条件的实验版本，使得符合预设条件的实验版本得到更多的测试流量，进而能够基于更多的测试流量对该实验版本进行测试，从而提高符合预设条件的实验版本的最终测试结果的准确性。
第三方面，本发明提供一种电子设备，包括：
处理器；以及
存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，执行如前述实施方式任一项所述的测试方法。
本申请第三方面的电子设备通过执行测试方法，能够获取测试对象的实验版本集和确定每个实验版本在当前测试周期内的测试流量，能够基于每个实验版本在当前测试周期内的测试流量，测试每个实验版本并得到每个实验版本的测试结果数据，进而判断实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合预设条件，则将实验版本的测试流量分配至实验版本集中的其他实验版本。
与现有技术相比，本申请能够在测试过程中，不再为测试结果数据不符合预设条件的实验版本分配测试流量，而是将测试流量分配至其他符合预设条件的实验版本，这样一来，一方面能够使用更少的测试流量完成测试，另一方面，能够使测试流量逐渐分配至符合预设条件的实验版本，使得符合预设条件的实验版本得到更多的测试流量，进而能够基于更多的测试流量对该实验版本进行测试，从而提高符合预设条件的实验版本的最终测试结果的准确性。
第四方面，本发明提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行如前述实施方式任一项所述的测试方法。
本申请第四方面的存储介质通过执行测试方法，能够获取测试对象的实验版本集和确定每个实验版本在当前测试周期内的测试流量，能够基于每个实验版本在当前测试周期内的测试流量，测试每个实验版本并得到每个实验版本的测试结果数据，进而判断实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合预设条件，则将实验版本的测试流量分配至实验版本集中的其他实验版本。
与现有技术相比，本申请能够在测试过程中，不再为测试结果数据不符合预设条件的实验版本分配测试流量，而是将测试流量分配至其他符合预设条件的实验版本，这样一来，一方面能够使用更少的测试流量完成测试，另一方面，能够使测试流量逐渐分配至符合预设条件的实验版本，使得符合预设条件的实验版本得到更多的测试流量，进而能够基于更多的测试流量对该实验版本进行测试，从而提高符合预设条件的实验版本的最终测试结果的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例公开的一种基于强化学习的测试方法的流程示意图；
图2是本申请实施例公开的一种版本集合的示意图；
图3是本申请实施例公开的一种基于强化学习的测试装置的结构示意图；
图4是本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
实施例一
请参阅图1，图1是本申请实施例公开的一种基于强化学习的测试方法的流程示意图，如图1所示，本申请实施例的方法包括以下步骤：
101、获取测试对象的实验版本集，其中，实验版本集包括至少两个实验版本；
102、确定每个实验版本在当前测试周期内的测试流量；
103、基于每个实验版本在当前测试周期内的测试流量，测试每个实验版本并得到每个实验版本的测试结果数据；
104、判断实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合预设条件，则将实验版本的测试流量分配至实验版本集中的其他实验版本。
在本申请实施例中，通过获取测试对象的实验版本集和确定每个实验版本在当前测试周期内的测试流量，能够基于每个实验版本在当前测试周期内的测试流量，测试每个实验版本并得到每个实验版本的测试结果数据，进而判断实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合预设条件，则将实验版本的测试流量分配至实验版本集中的其他实验版本。
与现有技术相比，本申请实施例能够在测试过程中，不再为测试结果数据不符合预设条件的实验版本分配测试流量，而是将测试流量分配至其他符合预设条件的实验版本，这样一来，一方面能够使用更少的测试流量完成测试，另一方面，能够使测试流量逐渐分配至符合预设条件的实验版本，使得符合预设条件的实验版本得到更多的测试流量，进而能够基于更多的测试流量对该实验版本进行测试，从而提高符合预设条件的实验版本的最终测试结果的准确性。
在本申请实施例中，作为一个示例，假设有3个实验版本，并且使用4 个测试周期对3个实验版本进行测试，其中，在第一个测试周期中，3个实验版本每个实验版本分配5个测试流量，这样一来，如果在第一个测试周期结束之后，如果第一个实验版本的测试结果数据不符合预设条件，则在第二测试周期后，不再为该实验版本分配测试流量，而是将该实验版本对应的 5个测试流量分配至其他两个实验版本，使其他两个实验版本的测试流量增加，例如，第二个实验版本的测试流量为7个，第三个实验版本的测试流量为8个。进一步地，如果在第二个测试周期结束后，第二实验版本不符合预设条件，则再将第二个实验版本的测试流量分配到第三个实验版本，这样一来，第三个实验版本就能够基于15个测试流量完成剩下的测试周期，即第三个实验版本能够基于足够的测试流量完成测试。
相比现有技术，现有技术为了保证测试的准确性，是为3个实验版本均分配15个测试流量，使每个实验版本均基于15个测试流量完成测试，这样一来，就需要总共45个测试流量，因此其需要更多的测试流量，从而成本更高。
在本申请实施例中，测试对象可以是应用程序中的UI，也可以是应用程序的推荐策略，例如，在开发过程中，如果不清楚用户更喜欢应用程序中的UI成型何种样式，可以对应用程序中的UI进行测试，以判断何种UI样式更受用户欢迎。
在本申请实施例中，实验版本是指测试对象的代码版本，例如，应用程序中的UI采用样式1时，对应为实验版本1，而当应用程序中的UI采用样式2时，对应为实验版本2。进一步地，在本申请实施例中，多个实验版构成实验版本集，其中，实验版本集可以包括2个实验版本，或3个实验版本，或4个实验版本。
在可选的实施方式中，步骤102：确定每个实验版本在当前测试周期内的测试流量，包括以下子步骤:
获取实验上下文信息；
基于实验上下文信息读取用户个性化流量分配信息；
基于用户个性化流量分配信息确定实验版本在当前测试周期内的测试流量。
在本可选的实施方式中，通过获取实验上下文信息，进而能够基于实验上下文信息读取用户个性化流量分配信息，进而能够基于用户个性化流量分配信息确定实验版本在当前测试周期内的测试流量。
在本可选的实施方式中，实验上下文信息相当于测试过程中所使用到配置信息，通过该配置信息能够配置测试过程。进一步地，实验上下文信息的作用域可以是全局，这样一来，在任何一个测试周期内，当前进程都能够获取实验上下文信息。
在本可选的实施方式中，作为一个示例，在一些场景中，针对3个实验版本，开发人员根据经验认为第三个实验版本更有价值时，可在一个测试周期内多为第三个实验版本分配测试流量，例如，在第一个测试周期中，为第一个实验版本分配4个测试流量，第二个实验版本分配5个测试流量，第三个实验版本分配6个测试流量，也就是说，本申请实施例还能够实现用户自定义测试流量。
在可选的实施方式中，在步骤102：确定每个实验版本在当前测试周期内的测试流量之前，本申请实施例的方法还包括：
获取实验上下文信息；
基于实验上下文信息读取实验版本所属的版本集合；
基于实验版本所属的版本集合的测试流量确定实验版本在当前测试周期内的测试流量。
在本可选的实施方式中，通过获取实验上下文信息，进而能够基于实验上下文信息读取实验版本所属的版本集合，从而能够基于实验版本所属的版本集合的测试流量确定实验版本在当前测试周期内的测试流量，其中，如果版本集合中有两个或两个以上应用程序的实验版本，则使用相同的测试流量对两个或两个以上应用程序的实验版本进行测试，具体地，请参阅图2，图2是本申请实施例公开的一种版本集合的示意图。如图2所示，层1、层2和层3分别表示一个应用程序，其中，层3依赖层2，层2依赖层1，此时，使用测试流量对层1中的各实验版本进行测试，并使用相同的流量依次对层2中的各实验版本、层3中的各实验版本进行测试，这样一来，就能够提高测试流量的利用率，例如，假设有30个测试流量对层1中的各实验版本进行测试，层1测试完后，利用层1用到的30个测试流量依次对层 2和层3进行测试，进而不需要单独为层2和层3分配测试流量，相比而言，现有技术没有划分实验版本的层级，进而是对层1单独分配30测试流量、对层2单独分配30个测试流量，对层3单独分配30个测试流量，这样方式，需要更多的测试流量，其测试流量的利用率低小。
在本可选的实施方式中，版本集合以变量的形式存储在实验上下文信息中。
在可选的实施方式中，步骤：判断实验版本的测试结果数据是否符合预设条件，包括：
基于实验版本的测试结果数据，计算实验版本的价值指标的值；
将实验版本的价值指标的值与预设阈值进行比较；
当实验版本的价值指标的值小于预设阈值时，则确定实验版本的测试结果数据不符合预设条件。
在本可选的实施方式中，基于实验版本的测试结果数据能够计算实验版本的价值指标的值，进而能够将实验版本的价值指标的值与预设阈值进行比较，进而当实验版本的价值指标的值小于预设阈值时，能够确定实验版本的测试结果数据不符合预设条件。
在可选的实施方式中，实验版本的价值指标包括转化率指标和平均收益指标。
在可选的实施方式中，基于实验版本的测试结果数据，计算实验版本的价值指标的值，包括：
基于实验版本的测试结果数据，确定实验版本的转化数；
基于实验版本的测试流量和实验版本的转化数，计算实验版本的转化率指标的值。
在本可选的实施方式中，基于实验版本的测试结果数据，能够确定实验版本的转化数，进而能够基于实验版本的测试流量和实验版本的转化数，计算实验版本的转化率指标的值。
在本可选的实施方式中，通过将转化数除/测试流量，可计算转化率指标的值。
在可选的实施方式中，本申请实施例的方法还包括以下步骤：
当经过至少两个测试周期之后，输出实验版本集中回报最大的实验版本。
在本可选的实施方式中，当经过至少两个测试周期之后，能够输出实验版本集中回报最大的实验版本，示例性，假设经过3个测试周期后，有两个实验版本A、B保留下来，且如果实验版本A的回报大于实验版本B，则输出实验版本B的标识。
实施例二
请参阅图3，图3是本申请实施例公开的一种基于强化学习的测试装置的结构示意图，如图3所示，本申请实施例的测试装置包括以下功能模块：
获取模块201，用于获取测试对象的实验版本集，其中，实验版本集包括至少两个实验版本；
确定模块202，用于确定每个实验版本在当前测试周期内的测试流量；
测试模块203，用于基于每个实验版本在当前测试周期内的测试流量，测试每个实验版本并得到每个实验版本的测试结果数据；
修正模块204，用于判断实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合预设条件，则将实验版本的测试流量分配至实验版本集中的其他实验版本。
在本申请实施例中，通过获取测试对象的实验版本集和确定每个实验版本在当前测试周期内的测试流量，能够基于每个实验版本在当前测试周期内的测试流量，测试每个实验版本并得到每个实验版本的测试结果数据，进而判断实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合预设条件，则将实验版本的测试流量分配至实验版本集中的其他实验版本。
与现有技术相比，本申请实施例能够在测试过程中，不再为测试结果数据不符合预设条件的实验版本分配测试流量，而是将测试流量分配至其他符合预设条件的实验版本，这样一来，一方面能够使用更少的测试流量完成测试，另一方面，能够使测试流量逐渐分配至符合预设条件的实验版本，使得符合预设条件的实验版本得到更多的测试流量，进而能够基于更多的测试流量对该实验版本进行测试，从而提高符合预设条件的实验版本的最终测试结果的准确性。
需要说明的是，关于本申请实施例的装置的其他详细说明，请参阅本申请实施例一的相关说明，本申请实施例对此不作赘述。
实施例三
请参阅图4，图4是本申请实施例公开的一种电子设备的结构示意图，如图4所示，本申请实施例的电子设备包括：
处理器301；以及
存储器302，配置用于存储机器可读指令，指令在由处理器301执行时，执行如前述实施方式任一项的测试方法。
本申请实施例的电子设备通过执行测试方法，能够获取测试对象的实验版本集和确定每个实验版本在当前测试周期内的测试流量，能够基于每个实验版本在当前测试周期内的测试流量，测试每个实验版本并得到每个实验版本的测试结果数据，进而判断实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合预设条件，则将实验版本的测试流量分配至实验版本集中的其他实验版本。
与现有技术相比，本申请实施例能够在测试过程中，不再为测试结果数据不符合预设条件的实验版本分配测试流量，而是将测试流量分配至其他符合预设条件的实验版本，这样一来，一方面能够使用更少的测试流量完成测试，另一方面，能够使测试流量逐渐分配至符合预设条件的实验版本，使得符合预设条件的实验版本得到更多的测试流量，进而能够基于更多的测试流量对该实验版本进行测试，从而提高符合预设条件的实验版本的最终测试结果的准确性。
实施例四
本申请实施例公开一种存储介质，该存储介质存储有计算机程序，计算机程序被处理器执行如前述实施方式任一项的测试方法。
本申请实施例的存储介质通过执行测试方法，能够获取测试对象的实验版本集和确定每个实验版本在当前测试周期内的测试流量，能够基于每个实验版本在当前测试周期内的测试流量，测试每个实验版本并得到每个实验版本的测试结果数据，进而判断实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合预设条件，则将实验版本的测试流量分配至实验版本集中的其他实验版本。
与现有技术相比，本申请实施例能够在测试过程中，不再为测试结果数据不符合预设条件的实验版本分配测试流量，而是将测试流量分配至其他符合预设条件的实验版本，这样一来，一方面能够使用更少的测试流量完成测试，另一方面，能够使测试流量逐渐分配至符合预设条件的实验版本，使得符合预设条件的实验版本得到更多的测试流量，进而能够基于更多的测试流量对该实验版本进行测试，从而提高符合预设条件的实验版本的最终测试结果的准确性。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory， ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于强化学习的测试方法，其特征在于，所述测试方法包括：
获取测试对象的实验版本集，其中，所述实验版本集包括至少两个实验版本；
确定每个所述实验版本在当前测试周期内的测试流量；
基于每个所述实验版本在当前测试周期内的测试流量，测试每个所述实验版本并得到每个所述实验版本的测试结果数据；
判断所述实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合所述预设条件，则将所述实验版本的测试流量分配至所述实验版本集中的其他所述实验版本。
2.如权利要求1所述的方法，其特征在于，所述确定每个所述实验版本在当前测试周期内的测试流量，包括:
获取实验上下文信息；
基于所述实验上下文信息读取用户个性化流量分配信息；
基于所述用户个性化流量分配信息确定所述实验版本在当前测试周期内的测试流量。
3.如权利要求1所述的方法，其特征在于，在所述确定每个所述实验版本在当前测试周期内的测试流量之前，所述方法还包括：
获取实验上下文信息；
基于所述实验上下文信息读取所述实验版本所属的版本集合；
基于所述实验版本所属的版本集合的测试流量确定所述实验版本在当前测试周期内的测试流量。
4.如权利要求1所述的方法，其特征在于，所述判断所述实验版本的测试结果数据是否符合预设条件，包括：
基于所述实验版本的测试结果数据，计算所述实验版本的价值指标的值；
将所述实验版本的价值指标的值与预设阈值进行比较；
当所述实验版本的价值指标的值小于所述预设阈值时，则确定所述实验版本的测试结果数据不符合所述预设条件。
5.如权利要求4所述的方法，其特征在于，所述实验版本的价值指标包括转化率指标和平均收益指标。
6.如权利要求4所述的方法，其特征在于，所述基于所述实验版本的测试结果数据，计算所述实验版本的价值指标的值，包括：
基于所述实验版本的测试结果数据，确定所述实验版本的转化数；
基于所述实验版本的测试流量和所述实验版本的转化数，计算所述实验版本的转化率指标的值。
7.如权利要求4所述的方法，其特征在于，所述方法还包括：
当经过至少两个测试周期之后，输出所述实验版本集中回报最大的实验版本。
8.一种基于强化学习的测试装置，其特征在于，所述测试装置包括：
获取模块，用于获取测试对象的实验版本集，其中，所述实验版本集包括至少两个实验版本；
确定模块，用于确定每个所述实验版本在当前测试周期内的测试流量；
测试模块，用于基于每个所述实验版本在当前测试周期内的测试流量，测试每个所述实验版本并得到每个所述实验版本的测试结果数据；
修正模块，用于判断所述实验版本的测试结果数据是否符合预设条件，如果实验版本的测试结果数据不符合所述预设条件，则将所述实验版本的测试流量分配至所述实验版本集中的其他所述实验版本。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，执行如权利要求1-7任一项所述的测试方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行如权利要求1-7任一项所述的测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210964208.XA CN115509890B (zh) | 2022-08-11 | 2022-08-11 | 基于强化学习的测试方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210964208.XA CN115509890B (zh) | 2022-08-11 | 2022-08-11 | 基于强化学习的测试方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115509890A true CN115509890A (zh) | 2022-12-23 |
| CN115509890B CN115509890B (zh) | 2024-01-26 |
Family
ID=84502054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210964208.XA Active CN115509890B (zh) | 2022-08-11 | 2022-08-11 | 基于强化学习的测试方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115509890B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308255A (zh) * | 2017-07-28 | 2019-02-05 | 北京京东尚科信息技术有限公司 | 一种用于a/b测试实验的方法和装置 |
| CN113268414A (zh) * | 2021-05-10 | 2021-08-17 | Oppo广东移动通信有限公司 | 实验版本的分配方法、装置、存储介质及计算机设备 |
| CN113392018A (zh) * | 2021-06-28 | 2021-09-14 | 北京字节跳动网络技术有限公司 | 流量分发方法、装置、存储介质及电子设备 |
| CN113485931A (zh) * | 2021-07-14 | 2021-10-08 | 广州虎牙科技有限公司 | 测试方法、装置、电子设备及计算机可读存储介质 |
| WO2022142013A1 (zh) * | 2020-12-30 | 2022-07-07 | 平安科技（深圳）有限公司 | 基于人工智能的ab测试方法、装置、计算机设备及介质 |
| CN114880223A (zh) * | 2022-05-10 | 2022-08-09 | 拉扎斯网络科技（上海）有限公司 | 基于分桶实验的应用发布方法、装置、电子设备及介质 |
-
2022
- 2022-08-11 CN CN202210964208.XA patent/CN115509890B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308255A (zh) * | 2017-07-28 | 2019-02-05 | 北京京东尚科信息技术有限公司 | 一种用于a/b测试实验的方法和装置 |
| WO2022142013A1 (zh) * | 2020-12-30 | 2022-07-07 | 平安科技（深圳）有限公司 | 基于人工智能的ab测试方法、装置、计算机设备及介质 |
| CN113268414A (zh) * | 2021-05-10 | 2021-08-17 | Oppo广东移动通信有限公司 | 实验版本的分配方法、装置、存储介质及计算机设备 |
| CN113392018A (zh) * | 2021-06-28 | 2021-09-14 | 北京字节跳动网络技术有限公司 | 流量分发方法、装置、存储介质及电子设备 |
| CN113485931A (zh) * | 2021-07-14 | 2021-10-08 | 广州虎牙科技有限公司 | 测试方法、装置、电子设备及计算机可读存储介质 |
| CN114880223A (zh) * | 2022-05-10 | 2022-08-09 | 拉扎斯网络科技（上海）有限公司 | 基于分桶实验的应用发布方法、装置、电子设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 王嘉捷;郭涛;张普含;章磊;: "基于软件代码差异分析的智能模糊测试", 清华大学学报(自然科学版), no. 12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115509890B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537289B (zh) | 数据识别模型的训练方法、装置及存储介质 | |
| CN106547798B (zh) | 信息推送方法及装置 | |
| CN104834731A (zh) | 一种自媒体信息的推荐方法及装置 | |
| CN111737646B (zh) | 广告推广的效果评估数据处理方法、系统和存储介质 | |
| CN106919957A (zh) | 处理数据的方法及装置 | |
| CN110866698A (zh) | 用于评定服务提供方的服务分值的装置 | |
| CN111861605A (zh) | 业务对象推荐方法 | |
| CN111626879A (zh) | 数据预测方法、装置、设备及存储介质 | |
| CN114398560A (zh) | 基于web平台的营销界面设置方法、装置、设备及介质 | |
| CN110362751A (zh) | 业务推荐方法、装置、计算机设备和存储介质 | |
| US10304081B1 (en) | Yielding content recommendations based on serving by probabilistic grade proportions | |
| CN114285896B (zh) | 信息推送方法、装置、设备、存储介质及程序产品 | |
| CN115509890A (zh) | 基于强化学习的测试方法、装置、电子设备和存储介质 | |
| CN113139826A (zh) | 广告位的分配权限确定方法、装置、计算机设备 | |
| CN108241643B (zh) | 关键词的指标数据分析方法及装置 | |
| CN112346951A (zh) | 业务的测试方法及装置 | |
| CN113095939B (zh) | 一种区块链智能合约推荐方法及装置 | |
| CN110148019B (zh) | 信息流运营模板创建方法和信息流运营模板创建系统 | |
| CN111198986B (zh) | 信息发送方法、装置、电子设备及存储介质 | |
| CN112532406B (zh) | 对照实验的数据处理方法、装置、计算机设备及存储介质 | |
| CN114461630A (zh) | 智能归因分析方法、装置、设备及存储介质 | |
| CN109360032B (zh) | 客户评估方法、装置、设备以及存储介质 | |
| CN108629610B (zh) | 推广信息曝光量的确定方法和装置 | |
| CN113554448A (zh) | 一种用户流失预测方法、装置及电子设备 | |
| CN114040013B (zh) | 书籍流量的分发方法、计算设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |