CN106991039A

CN106991039A - 用于平台自适应引擎系统的测试方法及装置

Info

Publication number: CN106991039A
Application number: CN201610039735.4A
Authority: CN
Inventors: 王子玲; 官祥建; 王孝佳
Original assignee: Didi (china) Technology Co Ltd
Current assignee: Beijing Didi Infinity Technology and Development Co Ltd
Priority date: 2016-01-20
Filing date: 2016-01-20
Publication date: 2017-07-28

Abstract

本公开提供了一种用于平台自适应引擎系统的测试方法及装置。该测试方法包括：获取正在上线测试评估的多个分组的统计结果；每个分组包括多个测试对象，每个测试对象包括多个被测试的参数；根据预设的评估目标函数结合上述统计结果获取每一个分组的目标函数值；从满足预设的约束条件的分组中获取最优组，该最优组的目标函数值最大；该最优组对应的多个被测试的参数解为最优参数解；获取与该最优参数解中每个参数解的差值小于相应预设值的多个可能参数组；将上述多个可能参数组随机分配到N个测试对象组，然后将该N个测试对象组进行上线测试，N为正整数。本测试装置基于上述测试方法实现。本公开无需人工参与，提高了评估结果的准确性。

Description

用于平台自适应引擎系统的测试方法及装置

技术领域

本公开涉及计算机处理技术领域，尤其涉及一种用于平台自适应引擎系统的测试方法及装置。

背景技术

叫车服务系统作为沟通乘客和司机两大群体的平台，目标是尽可能更好的匹配司机和乘客。为了降低策略对上线系统可能引起的负向风险，目前业内通常采用互联网行业ABtest的方法。先取小流量上线新策略，剩余流量仍然采用旧策略；待系统运行一段时间，观察比对新旧策略的效果，从而判断新策略是否达到预期效果。如果效果负向，则新策略下线重新调研开发；如果效果正向，则全流量上线。

实际应用中，上述传统ABtest方法的处理结果在每次测试后需要由人工干预去分析判断，或者调整相应的新策略后再继续分组测试。由于需要人工参与导致上述测试方法的工作效率较低。

公开内容

针对现有技术的缺陷，本公开提供一种用于平台自适应引擎系统的测试方法及装置，用于解决现有技术中传统ABtest方法需要人工参与而引起的工作效率较低的技术问题。

第一方面，本公开提供了一种用于平台自适应引擎系统的测试方法，所述测试方法包括：

获取正在上线测试评估的多个分组的统计结果；每个分组包括多个测试对象，每个测试对象包括多个被测试的参数；

根据预设的评估目标函数结合上述统计结果获取每一个分组的目标函数值；

从满足预设的约束条件的分组中获取最优组，该最优组的目标函数值最大；该最优组对应的多个被测试的参数解为最优参数解；

获取与该最优参数解中每个参数解的差值小于相应预设值的多个可能参数组；

将上述多个可能参数组随机分配到N个测试对象组，然后将该N个测试对象组进行上线测试，N为正整数。

优选地，所述获取正在上线测试评估的多个分组的统计结果；每个分组包括多个测试对象，每个测试对象包括多个被测试的参数的步骤之前，所述测试方法包括：

查看上次对多个测试对象组进行上线测试评估后的时间段是否到达预设时间段，若到达预设时间段则执行效果测试评估任务且输出多个分组的统计结果。

优选地，所述执行效果测试评估任务且输出多个分组的统计结果的步骤中，若为第一轮测试评估任务，则将全体测试对象随机分成多个分组。

优选地，所述评估目标函数为：

和/或，

所述约束条件为：U_i>U_ave且R_i>R_ave；

式中，N表示测试全体对象；U_i表示第i组券使用频次；P_i表示第i组单均价；R_i表示第i组补贴率；U_ave表示本时间段全体平均使用频次；R_ave表示本时间段全体平均补贴率。

优选地，所述从满足预设的约束条件的分组中获取最优组，该最优组的目标函数值最大的步骤包括：

若没有找到满足所述约束条件的分组则保留上一轮的最优参数解。

优选地，采用平均分配法将所述多个可能参数组随机分配到所述多个测试对象组中，以使每个测试对象组中包含数量相同或者相近的可能参数组。

第二方面，本公开实施例还提供了一种用于平台自适应引擎系统的测试装置，基于上文所述的测试方法实现，所述测试装置包括：

统计数据获取单元，用于获取正在上线测试评估的多个分组的统计结果；每个分组包括多个测试对象，每个测试对象包括多个被测试的参数；

目标函数值获取单元，用于根据预设的评估目标函数结合上述统计结果获取每一个分组的目标函数值；

最优参数解获取单元，用于从满足预设的约束条件的分组中获取最优组，该最优组的目标函数值最大；该最优组对应的多个被测试的参数解为最优参数解；

可能参数解获取单元，用于获取与该最优参数解中每个参数解的差值小于相应预设值的多个可能参数组；

上线测试单元，用于将上述多个可能参数组随机分配到N个测试对象组，然后将该N个测试对象组进行上线测试，N为正整数。

优选地，所述测试装置还包括定时测试单元；

该定时测试单元用于查看上次对多个测试对象组进行上线测试评估后的时间段是否到达预设时间段，若到达预设时间段则执行效果测试评估任务且输出多个分组的统计结果。

优选地，若为第一轮测试评估任务，所述定时测试单元将全体测试对象随机分成多个分组。

优选地，所述统计数据获取单元获取的评估目标函数和约束条件采用如下数学式表示：

所述评估目标函数为：

和/或，

所述约束条件为：U_i>U_ave且R_i>R_ave。

优选地，若没有找到满足所述约束条件的分组，则所述最优参数解获取单元保留上一轮的最优参数解。

优选地，所述上线测试单元采用平均分配法将多个可能参数组随机分配到所述多个测试对象组中，以使每个测试对象组中包含数量相同或者相近的可能参数组。

由上述技术方案可知，本公开通过获取正在上线测试评估的多个分组的统计结果，根据评估目标函数与约束条件获取最优级以及最优参数解；然后在该最优参数解的预设值范围内进行扩散以获取多个可能参数解，对该多个可能参数解进行随机组合得到多个可能参数解；将该多个可能参数解随机分为N个分组进行上线测试。本公开可以使平台自适应引擎系统自动进行效果评估、分组以及迭代，通过持续测试和优化使系统保持在最稳定的工作状态。可以看出，本公开不需要人工参与，从而可以提高系统测试方法的工作效率。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1是本公开一实施例提供的用于平台自适应引擎系统的测试方法的流程示意图；

图2是图1所示测试方法的具体应用流程示意图；

图3是本公开另一实施例提供的用于平台自适应引擎系统的测试装置的流程示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

以下对本公开实施例中提及的部分词语进行举例说明。

本公开实施例中提及的平台自适应引擎系统：平台是指服务器，为用户设备以及终端之间提供匹配服务。自适应引擎系统是指该服务器所使用操作系统，用于为用户设备UE以及终端提供优质服务。

用户设备(User Equipment，简称UE)是指呼叫服务方，如交通工具叫车服务中的乘客，所使用的移动终端或个人计算机(PersonalComputer，简称PC)等设备。例如智能手机、个人数码助理(PDA)、平板电脑、笔记本电脑、车载电脑(carputer)、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备(如GoogleGlass、Oculus Rift、Hololens、Gear VR)等。

本公开实施例中提及的终端为提供服务方，如交通工具叫车服务中的司机，所使用的用于接单的移动终端或PC端等设备。诸如上述呼叫服务方所使用各设备。本实施例中，为了区别乘客和司机，分别采用用户设备UE和终端来分别表示乘客和司机所持的移动终端等设备。

如图1所示，本公开一实施例提供的用于平台自适应引擎系统的测试方法，该测试方法包括如下步骤：

S1：获取正在上线测试评估的多个分组的统计结果；每个分组包括多个测试对象，每个测试对象包括多个被测试的参数。

本公开提供的测试方法在平台自适应引擎系统中是循环执行的，每次执行本方法时，都会根据正在上线测试评估的多个分组的统计结果。需要说明的是，本公开中每个分组都包括多个被测试的参数。也就是说上述统计结果包括所有分组的每个测试参数的测试评估数据。

实际应用中，在获取正在上线测试评估的多个分组的统计结果，优选地，该测试方法还包括：

需要说明的是，上述预设时间段为一天、一周或者一月。本公开一实施例中设置为一周。换言之，本实施例中每次获取前一轮分组之前判断当天是否为周一。当然，本领域技术人员也可以根据需要设置该预设时间段的长短，本公开不作限定。

本步骤S1中，当正在上线测试评估的多个分组的统计结果不存在即当前循环为第一轮测试评估任务时，那么根据分组生成机制对所有测试对象进行随机分组。需要注意的是，上述分组生成机制采用现有技术中的分组函数即可实现，当然本领域技术人员也可以设置其他分组方法实现，本公开不作限定。

S2：根据预设的评估目标函数结合上述统计结果获取每一个分组的目标函数值。

需要说明的是，每一个分组包括多个测试对象，并且每个测试对象具有多个测试参数，即每个分组包括多个测试参数。评估目标函数需要根据测试对象的参数进行合理选择。

本实施例中根据评估目标函数计算每一个分组的目标函数值时，优选地，采用以下数学式表示评估目标函数和约束条件：

评估目标函数为：

和/或，

所述约束条件为：U_i>U_ave且R_i>R_ave；

式中，N表示全体测试对象；U_i表示第i组券使用频次；P_i表示第i组单均价；R_i表示第i组补贴率；U_ave表示本时间段全体平均使用频次，即本时间段内全体测试对象使用券的次数之和与全体测试对象的比值；R_ave表示本时间段全体平均补贴率，即本时间段内全部测试对象使补贴之和与总消费额的比值。

S3：从满足预设的约束条件的分组中获取最优组，该最优组的目标函数值最大；该最优组对应的多个被测试的参数解为最优参数解。

将不满足上述约束条件的分组的目标函数值去除。对剩下的目标函数值进行排序以获取数值最大的目标函数值。本实施例中将数值最大的目标函数值对应的分组设置为最优组，该最优组所包括的多个测试参数为得到最大目标函数值的最优参数解。

需要说明的是，本实施例中先根据评估目标函数计算目标函数值，然后再判断各个分组是否满足约束条件。当然，也可以先判断各个分组是否满足约束条件再计算目标函数值，从而减小计算量。本领域技术人员可以根据分组的数量以及测试对象选择合适的顺序，本公开不作限定。

实际应用中，可能出现所有分组都不满足上述约束条件的情况，本实施例中优选地保留上一轮的最优参数解。然后根据该上一轮的最优参数解执行持续的步骤。

S4：获取与该最优参数解中每个参数解的差值小于相应预设值的多个可能参数组。

需要说明的是，相应预设值是指，分别为最优参数解中每个参数解设定的预设值，该预设值能够使所求得的可能参数解分布在对应参数解的周围小邻域内。即本公开以最优参数解为基准，在该最优参数解中每个参数解周围小邻居内扩散生成多个可能参数解。具体来说，求取每个分组测试对象的每个参数与最优参数解中的对应参数的差值，若该差值小于在相应预设值时，此时该分组的这个参数满足要求是可能参数解。

需要说明的是，本公开中多个可能参数组中包含多个相同的参数，只是每个可能参数组中每个参数解的不同。

例如，某个分组的其中一个参数x0，该参数x0对应预设值△，则在该参数x0周围小领域内扩散生成(x0-△，x0+△)。当任意一个分组中参数x0在(x0-△，x0+△)内时，就成为其中的一个可能参数解。

S5、将上述多个可能参数组随机分配到N个测试对象组，然后将该N个测试对象组进行上线测试，N为正整数。

当所有分组中的全部参数按照上述方法筛选完成后，所获取的多个可能参数组进行随机分配生成多个测试对象组。例如，每个可能参数组具有5个参数，经过上述方法筛选后每个参数可能存在3个数值，那么对这5个可能参数组随机分组可得243个可能参数组。

优选地，本实施例中采用平均分配法将全体测试对象随机分配到所述多个测试对象组中，以使每个测试对象组中包含数量相同或者相近的测试对象。

需要说明的是，在步骤S5之后，平台自适应引擎系统则对该N个测试对象组进行测试，以看哪个分组方案更符合设计要求。

下面以为乘客分配打车券为例进行说明。如图2所示，定时启动程序判断当天是否为周一，若否结束当前判断过程继续下一次的判断过程；若是，则由统计结果统计程序获取前一轮分组的统计结果并记录。然后根据该统计结果利用评估目标函数获取各个分组的目标函数值并记录。从满足约束条件的分组中，获取目标函数值最大的分组设置为最优组，以及该最优组所对应的最优参数解。在该最优参数解的周围按照预设步长生成27组可能参数组。将全体测试对象分配到27个分组中，然后计算需要为每个分组的测试对象的优惠比例，并将该优惠比例记录到数据库中。

本实施例还可以应用到网页页面优化场景。首先通过系统生成多个均匀分组，每个分组中每类用户均衡分布。该多个分组对应不同的页面属性，其中，每个转化节点作为输入参数，上线测试后定期由系统评估出最优组。然后将该最优组的最优参数解继续分组测试，如此循环，直至系统找不到更好的最优组，此时根据前一轮的最优参数解调整网页页面，保留最优属性的页面供用户使用。

本公开实施例提供的测试方法可以应用于叫车服务系统进行司乘客匹配、优惠券分发或者网页页面优化等方面，当然本领域技术人员也可以根据具体使用场合，利用本公开提供的测试方法用于需要进行ABtest的场合以及方法优化的其它场合，也能解决相应的技术问题，达到相应的技术效果，本公开不作限定。

如图3所示，本公开实施例还提供了一种用于平台自适应引擎系统的测试装置，基于上文所述的测试方法实现，所述测试装置包括：

统计数据获取单元10，用于获取正在上线测试评估的多个分组的统计结果；每个分组包括多个测试对象，每个测试对象包括多个被测试的参数；

目标函数值获取单元20，用于根据预设的评估目标函数结合上述统计结果获取每一个分组的目标函数值；

最优参数解获取单元30，用于从满足预设的约束条件的分组中获取最优组，该最优组的目标函数值最大；该最优组对应的多个被测试的参数解为最优参数解；

可能参数解获取单元40，用于获取与该最优参数解中每个参数解的差值小于相应预设值的多个可能参数组；

上线测试单元50，用于将上述多个可能参数组随机分配到N个测试对象组，然后将该N个测试对象组进行上线测试，N为正整数。

优选地，所述测试装置还包括定时测试单元；

优选地，所述统计数据获取单元10获取的评估目标函数和约束条件采用如下数学式表示：

评估目标函数为：

和/或，

约束条件为：U_i>U_ave且R_i>R_ave。

优选地，若没有找到满足所述约束条件的分组，则所述最优参数解30获取单元保留上一轮的最优参数解。

优选地，所述上线测试单元50采用平均分配法将全体测试对象随机分配到所述多个测试对象组中，以使每个测试对象组中包含数量相同或者相近的测试对象。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

应当注意的是，在本实施例公开的装置的各个部件中，根据其要实现的功能而对其中的部件进行了逻辑划分，但是，本公开不受限于此，可以根据需要对各个部件进行重新划分或者组合，例如，可以将一些部件组合为单个部件，或者可以将一些部件进一步分解为更多的子部件。

本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开实施例的系统中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

由上述技术方案可知，本公开实施例提供的用于平台自适应引擎系统的测试方法及装置，通过获取正在上线测试评估的多个分组的统计结果，根据评估目标函数与约束条件获取最优级以及最优参数解；然后在该最优参数解的预设值范围内进行扩散以获取多个可能参数解，对该多个可能参数解进行随机组合得到多个可能参数解；将该多个可能参数解随机分为N个分组进行上线测试。本公开可以使平台自适应引擎系统自动进行效果评估、分组以及迭代，通过持续测试和优化使系统保持在最稳定的工作状态。可以看出，本公开适合大数据与高纬度复杂计算的情况，不需要人工参与，从而可以提高系统测试方法的工作效率。

应该注意的是，上述实施例对本公开进行说明而不是对本公开进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上实施方式仅适于说明本公开，而并非对本公开的限制，有关技术领域的普通技术人员，在不脱离本公开的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本公开的范畴，本公开的专利保护范围应由权利要求限定。

Claims

1.一种用于平台自适应引擎系统的测试方法，其特征在于，所述测试方法包括：

2.根据权利要求1所述的测试方法，其特征在于，所述获取正在上线测试评估的多个分组的统计结果；每个分组包括多个测试对象，每个测试对象包括多个被测试的参数的步骤之前，所述测试方法包括：

3.根据权利要求2所述的测试方法，其特征在于，所述执行效果测试评估任务且输出多个分组的统计结果的步骤中，若为第一轮测试评估任务，则将全体测试对象随机分成多个分组。

4.根据权利要求1～3任意一项所述的测试方法，其特征在于，所述评估目标函数为：

m a x Σ_{i = 1}^{M} [N \times U_{i} \times P_{i} \times (1 - R_{i})];

和/或，

所述约束条件为：U_i>U_ave且R_i>R_ave；

5.根据权利要求4所述的测试方法，其特征在于，所述从满足预设的约束条件的分组中获取最优组，该最优组的目标函数值最大的步骤包括：

6.根据权利要求1所述的测试方法，其特征在于，采用平均分配法将所述多个可能参数组随机分配到所述多个测试对象组中，以使每个测试对象组中包含数量相同或者相近的可能参数组。

7.一种用于平台自适应引擎系统的测试装置，基于权利要求1～6任意一项所述的测试方法实现，其特征在于，所述测试装置包括：

8.根据权利要求7所述的测试装置，其特征在于，所述测试装置还包括定时测试单元；

9.根据权利要求8所述的测试装置，其特征在于，若为第一轮测试评估任务，所述定时测试单元将全体测试对象随机分成多个分组。

10.根据权利要求7～9任意一项所述的测试装置，其特征在于，所述统计数据获取单元获取的评估目标函数和约束条件采用如下数学式表示：

所述评估目标函数为：

m a x Σ_{i = 1}^{M} [N \times U_{i} \times P_{i} \times (1 - R_{i})];

和/或，

所述约束条件为：U_i>U_ave且R_i>R_ave。

11.根据权利要求10所述的测试装置，其特征在于，若没有找到满足所述约束条件的分组，则所述最优参数解获取单元保留上一轮的最优参数解。

12.根据权利要求7所述的测试装置，其特征在于，所述上线测试单元采用平均分配法将多个可能参数组随机分配到所述多个测试对象组中，以使每个测试对象组中包含数量相同或者相近的可能参数组。