CN112905476A

CN112905476A - 测试的执行方法及装置、电子设备、存储介质

Info

Publication number: CN112905476A
Application number: CN202110273211.2A
Authority: CN
Inventors: 周逸恒; 胡志鹏
Original assignee: Netease Hangzhou Network Co Ltd
Current assignee: Netease Hangzhou Network Co Ltd
Priority date: 2021-03-12
Filing date: 2021-03-12
Publication date: 2021-06-04
Anticipated expiration: 2041-03-12
Also published as: CN112905476B

Abstract

本申请提供一种测试的执行方法及装置、电子设备、计算机可读存储介质，该方法包括：依据候选用户集中的多个用户在指定时间段的指定特征参数，构建用户对应的时间序列；计算多个用户的时间序列之间的相似度；依据多个相似度从所述候选用户集中筛选出多个受试用户；将所述受试用户划分至预设数量的用户分组；根据所述用户分组执行针对待测方案的测试任务。本方案以时间序列筛选出最为相似的多个受试用户后，对划分至各分组的受试用户执行针对待测方案的测试任务，可以在执行AB测试时可以得到各待测方案普遍性的效果，避免了用户群体差异对测试产生的影响。

Description

测试的执行方法及装置、电子设备、存储介质

技术领域

本申请涉及大数据领域，特别涉及一种测试的执行方法及装置、电子设备、计算机可读存储介质。

背景技术

在大数据应用领域中，AB测试是重要的优化迭代工具。AB测试将总流量样本划分至两组或多组，然后为各个分组的流量提供不同版本的产品。示例性的，A为原方案，B为待评估的迭代方案，则将总流量样本划分为两组，为一组提供A方案，为另一组提供B方案。经过一段时间的运营后，收集各组用户的行为数据，从而依据行为数据对各组对应产品的收益进行分析，为最终产品的设计和迭代提供决策依据。

在相关技术中，一般通过随机分配的方式进行分组，以确定受试组中用户名单。示例性的，可以对用户UUID(Universally Unique Identifier，通用唯一识别码)的最后一位数字进行取模，以取模结果确定用户所在的受试组。

上述分组方法没有考虑用户特征。不同的用户具有不同的行为模型，对于同一迭代方案也会有不同的反应。如果以随机分配的方式进行分组，可能会因为不同受试组中用户群体的差异过大，导致各组的行为数据无法准确反应不同方案普遍性的效果。为解决上述问题，相关技术以较大数量的受试用户进行分组，从而减少不同受试组中用户群体的差异，但是这会提高AB测试的成本，进而造成更高的运营风险。

发明内容

本申请实施例的目的在于提供一种测试的执行方法及装置、电子设备、计算机可读存储介质，用以在用户精确分组的情况下进行测试，从而获得准确的测试结果。

一方面，本申请提供了一种测试的执行方法，包括：

依据候选用户集中的多个用户在指定时间段的指定特征参数，构建所述用户对应的时间序列；

计算所述多个用户的时间序列之间的相似度；

依据多个所述相似度从所述候选用户集中筛选出多个受试用户；

将所述受试用户划分至预设数量的用户分组；

根据所述用户分组执行针对待测方案的测试任务。

在一实施例中，在构建所述用户对应的时间序列之前，所述方法还包括：

响应于用户筛选指令，依据所述用户筛选指令中与至少一个筛选特征对应的筛选策略，筛选出满足所述筛选策略的用户，构成所述候选用户集。

在一实施例中，所述依据多个所述相似度从所述候选用户集中筛选多个受试用户，包括：

依据多个所述相似度构建距离矩阵；

依据所述距离矩阵从所述候选用户集中筛选多个受试用户。

在一实施例中，所述依据所述距离矩阵从所述候选用户集中筛选出多个受试用户，包括：

将所述距离矩阵每一行的元素进行升序排列，得到初排列矩阵；

根据所述受试用户的用户数量，确定所述初排列矩阵中与所述用户数量对应的候选元素列；

从所述候选元素列选择最小元素，确定所述最小元素和所述最小元素所在行中小于所述最小元素的元素对应的用户为受试用户。

在一实施例中，所述将所述受试用户的划分至预设数量的用户分组，包括：

依据至少一个离散特征，确定多个离散特征参数；

筛选出与每一离散特征参数对应的受试用户；

针对任一离散特征参数对应的受试用户，根据在候选元素行与所述受试用户对应元素从小到大的次序，将所述受试用户逐个分入各用户分组。

在一实施例中，所述计算所述多个用户的时间序列之间的相似度，包括：

依据衰减系数公式，计算所述时间序列对应的衰减系数序列；

基于所述衰减系数序列，计算所述多个用户的时间序列之间的相似度。

在一实施例中，在所述计算所述时间序列对应的衰减系数序列之前，所述方法还包括：

依据测试对象的用户平均留存时间，确定第一衰减常数、第二衰减常数和步长；

依据所述第一衰减常数、所述第二衰减常数和所述步长构建衰减系数公式。

在一实施例中，在所述计算多个用户的时间序列之间的相似度之前，所述方法还包括：

依据平滑系数公式对所述用户的时间序列进行平滑变换，获得平滑变换后的时间序列。

在一实施例中，在所述依据平滑系数公式对所述用户的时间序列进行平滑变换之前，所述方法还包括：

依据测试对象的用户行为周期，确定第一平滑常数、第二平滑常数和归一化系数；

依据所述第一平滑常数、所述第二平滑常数和所述归一化系数，确定所述平滑系数公式。

在一实施例中，所述根据所述用户分组执行针对待测方案的测试任务，包括：

根据所述用户分组和预设白名单，执行针对待测方案的测试任务。

另一方面，本申请还提供了一种测试的执行装置，包括：

构建模块，用于依据候选用户集中的多个用户在指定时间段的指定特征参数，构建所述用户对应的时间序列；

计算模块，用于计算所述多个用户的时间序列之间的相似度；

筛选模块，用于依据多个所述相似度从所述候选用户集中筛选多个受试用户；

划分模块，用于将所述受试用户划分至预设数量的用户分组；

执行模块，用于根据所述用户分组执行针对待测方案的测试任务。

进一步的，本申请还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述测试的执行方法。

另外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述测试的执行方法。

在本申请方案中，依据以用户的指定特征参数构建的时间序列，确定用户之间的相似度，从而从候选用户集中筛选出最为相似的多个受试用户，并在分组过程中保证各用户分组在指定特征上分布均衡，使得执行AB测试时可以得到各待测方案普遍性的效果，避免了用户群体差异对测试产生的影响。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。

图1为本申请一实施例提供的测试的执行方法的应用场景示意图；

图2为本申请一实施例提供的电子设备的结构示意图；

图3为本申请一实施例提供的测试的执行方法的流程示意图；

图4为本申请一实施例提供的受试用户的筛选方法的流程示意图；

图5为本申请一实施例提供的受试用户的分组方法的流程示意图；

图6为本申请一实施例提供的测试的执行装置的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1为本申请实施例提供的测试的执行方法的应用场景示意图。如图1所示，该应用场景包括客户端20和服务端30；客户端20可以是手机、平板、个人电脑等用户终端，用于向服务端30发起测试的相关指令，以控制服务端30执行测试；服务端30可以是服务器、服务器集群或云计算中心，可以获取客户端20发送的测试指令，确定待测方案、筛选受试用户的条件和特征，从而在筛选出受试用户后，对受试用户分组后，执行测试。

如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述服务端30，用于执行测试的执行方法。

存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本申请提供的测试的执行方法。

参见图3，为本申请一实施例提供的测试的执行方法的流程示意图，如图3所示，该方法可以包括以下步骤310-步骤350。

步骤310：依据候选用户集中的多个用户在指定时间段的指定特征参数，构建用户对应的时间序列。

其中，候选用户集中包括多个用户，候选用户集中的用户可以基于用户标识来表示。示例性的，用户标识可以是用户UUID。

指定时间段为筛选指定特征参数的时间段。指定特征参数为用户在指定特征的参数。指定特征为用于构建时间序列的特征。示例性的，指定特征为单日上线时间，指定特征参数为用户个体单日上线时间的具体数值。

时间序列是将用户在指定时间段的指定特征参数，按照指定特征参数对应时间的先后顺序排列而成的数列。

对于候选用户集中的多个用户，服务端可以基于用户标识获取指定时间段内指定特征参数，从而构建该用户的时间序列。这里，候选用户集中的多个用户可以是全部用户，也可以是部分用户。示例性的，AB测试的对象是网络游戏，指定特征可以是单日上线时间，指定时间段可以是执行AB测试当日之前一个月，服务端可以根据指定时间段内每天用户单日上线时间的具体数值，构建时间序列。时间序列可通过如下公式(1)来表示：

X＝{x₀,x₁,x₂,…,x_n} (1)

其中，X表示时间序列；x_i表示指定特征参数；x₀表示当前日期的指定特征参数，x₁表示当前日期的前一天的指定特征参数，以此类推，x_n表示当前日志的前n天的指定特征参数。

步骤320：计算多个用户的时间序列之间的相似度。

其中，时间序列之间的相似度可以以欧式距离、海明距离、DTW(Dynamic TimeWarping，动态时间归整)等任意一种方式来表示，也可以依据自定义公式计算出的距离来表示，示例性的，以欧式距离的二次方表示相似度。这里，两个时间序列之间的距离越大，则相似度越小。

服务端可以对多个用户中每两个用户的时间序列计算相似度，从而获得多个相似度。

步骤330：依据多个相似度从候选用户集中筛选出多个受试用户。

在获得多个用户的时间序列之间的相似度后，服务端可以确定在指定时间段内指定特征上不同用户之间的相似度，从而可以通过聚类的方式筛选出多个受试用户。其中，受试用户的数量可以预配置，或者，受试用户占候选用户集中用户的比值可以预配置。服务端可以通过直接得到的受试用户的数量或通过受试用户比值确定的数量，并根据聚类结果筛选出在满足受试用户数量时，相似度最高的用户，作为受试用户。

步骤340：将受试用户划分至预设数量的用户分组。

步骤350：根据用户分组执行针对待测方案的测试任务。

其中，用户分组的数量可以根据待测方案的数量来确定。示例性的，待测方案包括一个产品现有方案和一个用于产品迭代的方案，用户分组的数量可以为2，每一用户分组对应于一个待测方案。

服务端可以以聚类结果位于中心点的受试用户作为基准，从而将与该受试用户的距离由近及远的其他受试用户逐个划分至各用户分组。示例性的，受试用户的总量为1000，将位于中心点的受试用户作为0号用户，然后以其它受试用户与0号用户之间距离由近及远的顺序，对其他受试用户进行编号，得到1号用户、2号用户……999号用户。若用户分组的数量为w，服务端可将0号用户分入第1组、将1号用户分入第2组、将w-1号用户分入第w组、将w号用户分入第1组，以此类推，直至完成对所有受试用户的分组。

服务端可以向每一用户分组中的受试用户，提供与该用户分组对应的待测方案，开始测试任务。在测试过程中，服务端可以通过贝叶斯检验即时获得测试结果，并输出测试结果，使得AB测试的决策者可以实时查看。在测试过程中，服务端可以响应于测试结束指令，提前结束测试任务；服务端可以响应于方案更改指令，更改待测方案；服务端可以响应于测试延时指令，延长测试任务的执行时长。

通过上述措施，服务端依据以用户的指定特征参数构建的时间序列，确定用户之间的相似度，从而从候选用户集中筛选出最为相似的多个受试用户，并在分组过程中保证各用户分组在指定特征上分布均衡，使得执行AB测试时可以得到各待测方案普遍性的效果，避免了用户群体差异对测试产生的影响。

在一实施例中，服务端可以根据用户分组和预设白名单执行针对待测方案。其中，白名单内包含预先添加的受试用户，白名单中的受试用户可以包括AB测试的对象的开发者、运营者等。每一待测方案可以预配置不同的白名单。

通过上述措施，在AB测试过程中，可以让AB测试的对象更直观地体会待测方案的使用体验，有助于选择用于迭代的方案。

在一实施例中，为保证AB测试时用户群体的相似性，服务端可以响应于用户筛选指令，依据用户筛选指令中与至少一个筛选特征对应的筛选策略，筛选出满足筛选策略的用户，构成候选用户集。

其中，用户筛选指令用于控制服务端筛选用户。筛选特征是用于筛选用户的特征，筛选特征可以包括指定特征，或者，筛选特征可以是指定特征以外的其它特征。筛选策略可以包括以下一种或多种的组合：

1.筛选出筛选特征参数的历史总数位于预设总数范围的用户；示例性的，筛选特征为充值额度，筛选特征参数为用户个体单次充值额度的数值，筛选策略可以是筛选充值额度的总额大于500元的用户。

2.筛选出筛选特征参数的最后数值为预设值的用户；示例性的，筛选特征为充值额度，筛选特征参数为用户个体单次充值额度的数值，筛选策略可以是筛选出最后一次充值额度为100元的用户。

3.筛选出距今若干天内最大筛选特征参数位于预设范围的用户；示例性的，筛选特征为充值额度，筛选特征参数为用户个体单次充值额度的数值，筛选策略可以是筛选出最近一周单次最大充值额度大于300元的用户。

4.筛选出距今若干天内，连续指定天内筛选特征参数位于预设范围的用户；示例性的，筛选特征为登录时长，筛选特征参数为用户个体每日登录时长数值，筛选策略可以是筛选出最近一个月连续七天登录时长达到五小时的用户。

服务端可以在依据用户筛选指令筛选出用户后，将筛选出的用户作为候选用户，构建候选用户集。此外，服务端可以在依据用户筛选指令筛选出用户后，可以向用户筛选指令的来源返回筛选出的用户数量，从而反馈筛选结果，便于后续接收新的用户筛选指令重新筛选，从而筛选出用户数量满足需求的用户，作为候选用户。

在一实施例中，基于业务实践和对用户行为分析可以发现，离当前日期越近的指定特征参数，对于用户行为模式的分类识别贡献最大，因此，可通过衰减系数对时间序列之间的相似度进行修正。

服务端可以依据衰减系数公式，计算时间序列对应的衰减系数序列。其中，衰减系数序列中的衰减系数与时间序列中的指定特征参数一一对应。衰减系数公式可通过如下公式(2)表示：

其中，a_i表示时间序列中第i个指定特征参数对应的衰减系数；p为第一衰减常数，用于控制衰减系数下降的平缓程度；k为第二衰减常数，用于控制衰减系数的平移；s为从时间序列中选择的第一个指定特征参数的序号；L为步长。

上述衰减系数公式用于计算时间序列中序号从s到L-1的指定特征参数对应的衰减系数；而对于其它指定特征参数，衰减系数为0。换而言之，时间序列之间的相似度通过序号从s到L-1的指定特征参数来确定。在一实施例中，s和L可以依据实际需求进行设置，示例性的，s可以是0，L可以是7或30。表示从当前日期开始，以最近一周或一个月的指定特征参数确定不同用户的差异性。

服务端可以根据与时间序列中每一指定特征参数对应的衰减系数，构建衰减系数序列。进一步的，服务端可以基于衰减系数序列，计算每一用户的时间序列与候选用户集中其他用户的时间序列之间的相似度。

示例性的，通过欧式距离表示时间序列之间的相似度，则可以通过如下公式(3)来表示依据衰减系数序列计算的欧式距离：

其中，X和Y表示两个不同的时间序列；x_i表示时间序列X的指定特征参数，y_i表示时间序列Y的指定特征参数；a_i表示与x_i、y_i对应的衰减系数；s为从时间序列中选择的第一个指定特征参数的序号；L为步长。

在一实施例中，服务端在依据衰减系数公式计算衰减系数序列之前，可以构建衰减系数公式。

服务端可以依据测试对象的用户平均留存时间，确定第一衰减常数、第二衰减常数和步长。其中，留存时间是指用户在开始使用AB测试对象到最终放弃测试对象之间的天数；示例性的，AB测试对象为网络游戏，留存时间为用户注册游戏账号到用户最后一次登陆之间的天数。用户平均留存时间是运营方根据大量用户的留存时间计算出的平均值。

服务端可以通过如下公式(4)来确定第一衰减常数：

其中，p为第一衰减常数；F为用户平均留存时间。

服务端可以通过如下公式(5)来确定第二衰减常数：

k＝F (5)

其中，k为第二衰减常数；F为用户平均留存时间。

服务端可以通过如下公式(6)来确定步长：

L＝2F (6)

其中，L为步长；F为用户平均留存时间。

服务端可以依据计算出的第一衰减常数、第二衰减常数和步长，构建上述衰减系数公式。

在一实施例中，对于一些AB测试的对象而言，用户的时间序列均匀平移所代表的行为模式是非常类似的。示例性的，AB测试的对象是游戏，一个每周六在产品上进行高频行为(比如，时间序列上对应于周六的上线时间很高)的用户和一个每周日在产品上进行高频行为的用户，两者的行为模式是高度相似的。如果以每日对应的指定特征参数的差异来确定时间序列的相似度(比如：欧式距离)，则无法正常反应上述相似性。

服务端可以通过平滑系数公式对每一用户的时间序列进行平滑变换，获得平滑变换后的时间序列。示例性的，平滑系数公式可以通过如下公式(7)所示：

其中，p_i为平滑系数；α为归一化系数；e为自然常数；k为第一平滑常数，k用于控制平滑系数的尖锐程度；r为第二平滑常数，r控制时间序列中每一指定特征参数被展开的宽度，每一指定特征参数被展开为(2r+1)个数值。

在上述公式中各参数固定的情况下，可以确定一组平滑系数。示例性的，r为3，则每一指定特征参数被展开为7个数值，存在7个平滑系数。

服务端可以将时间序列中每一指定特征参数与每个平滑系数相乘，从而得到多个待合并参数。对于时间序列中的指定特征参数x_i，经过平滑变换后，可以将待合并参数表示为x_ji，其中，j的取值在-r+i到r+i之间，待合并参数x_ji表示由序号为i的指定特征参数平滑变换得到的序号为j的待合并参数。示例性的，r为3，每一指定特征参数被展开为7个待合并参数，序号为4的指定特征参数x₄与多个平滑系数相乘后，得到待合并参数x₁₄、x₂₄、x₃₄、x₄₄、x₅₄、x₆₄、x₇₄。序号为j的待合并参数用于合并经过平滑处理后的时间序列中序号为j的指定特征参数。

在计算出每一指定特征参数对应的待合并参数后，服务端可以对待合并参数进行合并处理，从而得到经过平滑处理的时间序列。经过平滑处理后，长度为n的时间序列变为长度为n+2r的时间序列。服务端可以合并序号相同的待合并参数，从而得到平滑处理后时间序列中的指定特征参数。对于待合并参数x_ji，服务端可以将序号j相同的待合并参数进行合并。示例性的，r为3，每一指定特征参数被展开为7个待合并参数，序号为4的待合并参数有x₄₁、x₄₂、x₄₃、x₄₄、x₄₅、x₄₆、x₄₇，将这7个待合并参数相加，可以得到平滑处理后时间序列中序号为4的指定特征参数。平滑处理后的时间序列可通过如下公式(8)来表示：

其中，X^s表示经过平滑处理的时间序列，x^s _i表示指定特征参数；x^s ₀表示当前日期的指定特征参数，x^s ₁表示当前日期的前一天的指定特征参数，以此类推，x^s _n表示当前日志的前n天的指定特征参数。

在对每一用户的时间序列进行平滑变换后，服务端可以基于平滑变换后的时间序列计算相似度，从而更准确地展示不同用户的差异性。

在一实施例中，服务端在依据平滑系数公式对时间序列进行平滑变换之前，可以构建平滑系数公式。

服务端可以依据测试对象的用户行为周期，确定第一平滑常数、第二平滑常数和归一化系数。其中，用户行为周期由运营方根据测试对象性质而确定。示例性的，测试对象为网络游戏，且网络游戏根据策划每周有吸引用户参与的活动，则用户行为周期为一周。

服务端可以通过如下公式(9)来确定第一平滑常数：

其中，k为第一平滑常数；T为用户行为周期。

在计算出第一平滑常数后，服务端可以通过如下公式(10)来确定第二平滑常数：

其中，r为第二平滑常数；k为第一平滑常数。

在计算出第一平滑常数和第二平滑常数之后，服务端可以通过如下公式(11)来确定归一化系数：

其中，α为归一化系数；k为第一平滑常数；r为第二平滑常数。

服务端可以依据上述归一化系数、第一平滑常数和第二平滑常数，构建上述平滑系数公式。

在一实施例中，服务端对每一用户的时间序列平滑变换后，可以通过预设衰减系数公式，计算时间序列对应的衰减系数序列，衰减系数公式可参照上述公式(2)，在此不再赘述。服务端可以基于衰减系数序列，计算用户的时间序列与候选用户集中其他用户的时间序列之间的距离。

示例性的，通过欧式距离表示时间序列之间的相似度，则可以通过如下公式(12)来表示依据衰减系数序列计算的欧式距离：

其中，X^s和Y^s表示两个不同的平滑处理后的时间序列，x^s _i表示时间序列X^s的指定特征参数，y^s _i表示时间序列Y^s的指定特征参数，a_i表示与x^s _i、y^s _i对应的衰减系数；s为从时间序列中选择的第一个指定特征参数的序号；L为步长。对于平滑处理后的时间序列，s可以为负数，示例性的，s可为-1。

在一实施例中，服务端在依据多个相似度从候选用户集中筛选多个受试用户时，可以依据多个相似度构建距离矩阵。

服务端针对候选用户集中的用户两两计算时间序列之间的以距离表示的相似度后，可以得到距离矩阵。距离矩阵可通过如下公式(13)来表示：

其中，D为距离矩阵；d_ij表示第i个用户的时间序列与第j个用户的时间序列之间的距离。

服务端可以基于上述距离矩阵从候选用户集中筛选多个受试用户。

在一实施例中，参见图4，为本申请一实施例提供的受试用户的筛选方法的流程示意图，服务端在依据距离矩阵从候选用户集中筛选受试用户时，可以执行如下步骤331-步骤333。

步骤331：将距离矩阵每一行的元素进行升序排列，得到初排列矩阵。

其中，初排列矩阵指对距离矩阵中每行元素升序排列得到的矩阵。

以上述公式(13)表示的距离矩阵，通过升序排列后，得到的初排列矩阵可以通过如下公式(14)来表示：

其中，D^A为初排列矩阵；

表示第i个用户的时间序列与其他用户的时间序列之间的距离，且该距离在第i个用户的时间序列与其他用户的时间序列之间的距离中依从小到大的顺序排在第c位。

在获得初排列矩阵之后，对于候选用户集中每一用户，服务端可以确定距离该用户由近及远的其他用户的排列顺序。

步骤332：根据受试用户的用户数量，确定初排列矩阵中与用户数量对应的候选元素列。

其中，受试用户的用户数量可以预先配置；或者，受试用户占候选用户集中用户的比值可以预先配置，服务端可依据该比值确定受试用户的用户数量。

候选元素列指初排列矩阵的第h列，h为受试用户的用户数量。

服务端可以在确定受试用户的用户数量h之后，选择初排列矩阵的第h列作为候选元素列。候选元素列中每一元素表示以该元素所在行对应的用户为中心，以该中心为圆心选择h个受试用户时圆的半径。

示例性的，候选用户集中共有1000个候选用户，预设受试用户的比值为10％，需要筛选100个受试用户。在获得初排列矩阵后，确定第100列为候选元素列，候选元素列中的元素即为以元素所在行对应的用户为中心，以该中心为圆心选择100个受试用户时圆的半径。

步骤333：从候选元素列选择最小元素，确定最小元素和最小元素所在行中小于最小元素的元素对应的用户为受试用户。

服务端可以将候选元素列的元素进行升序排列，从而确定最小元素。服务端可以确定该最小元素和最小元素所在行中小于最小元素的元素对应的用户为受试用户。这里，最小元素所在行中的元素均为其他用户与该行对应用户之间的时间序列的距离，元素对应的用户为其他用户。示例性的，公式(13)表示距离矩阵，在确定最小元素所在行为第i行之后，将第i行中最小元素和小于最小元素对应的第j个用户作为受试用户。

示例性的，在1000行1000列的初排列矩阵中，受试用户的用户数量为100，服务端确定第100列为候选元素列，并从候选元素列中确定第7行的元素为最小元素，则可将第7行中第1到100个元素对应的用户作为受试用户。

通过上述措施，可以快速筛选出受试用户，相比一般的聚类方案提高了筛选效率，且极大地降低了计算量。

在一实施例中，服务端可以依据用户的离散特征参数将受试用户划分至预设数量的用户分组，参见图5，为本申请一实施例提供的受试用户的分组方法的流程示意图，如图5所示，该方法可以包括以下步骤341-步骤343。

步骤341：依据至少一个离散特征，确定多个离散特征参数。

其中，离散特征为特征值离散的特征。示例性的，离散特征包括用户性别、用户所属国家、用户所属地区等。

离散特征参数是离散特征的具体特征值。示例性的，离散特征为性别，离散特征参数为“男”、“女”。

如果用于分组的离散特征只有一个，服务端可以直接获得多个离散特征参数。

如果存在至少两个用于分组的离散特征，服务端可以基于不同离散特征的特征值做直积，从而构建多个离散特征参数。示例性的，用于分组的离散特征包括性别和地区，与性别对应的特征值为“男”、“女”，与地区对应的特征值为“湖州”、“嘉兴”、“杭州”，通过直积可以得到离散特征参数“男-湖州”、“男-嘉兴”、“男-杭州”、“女-湖州”、“女-嘉兴”、“女-杭州”。

步骤342：筛选出与每一离散特征参数对应的受试用户。

步骤343：针对任一离散特征参数对应的受试用户，根据在候选元素行与受试用户对应元素从小到大的次序，将受试用户逐个分入各用户分组。

其中，候选元素行为候选元素列的最小元素所在行。候选元素行中的元素为受试用户与所有受试用户中位于中心点的受试用户的距离。

针对每一离散特征参数，服务端可以筛选出与该离散特征参数匹配的受试用户，构成与该离散特征参数对应的子受试用户集。对于每一子受试用户集中的受试用户，服务端可以根据在候选元素行与受试用户对应元素从小到大的次序，将受试用户逐个分入各用户分组。

示例性的，存在离散特征参数“男-湖州”、“男-嘉兴”、“女-湖州”、“女-嘉兴”，服务端筛选出与各离散特征参数匹配的受试用户后，将受试用户放入对应于离散特征参数的子受试用户集。进一步的，针对任一子受试用户集，受试用户以候选元素行中对应元素从小到大的次序，可编号为1号用户、2号用户、3号用户……n号用户(n为子受试用户集中用户总数)。若用户分组的数量为w，服务端可将0号用户分入第1组、将1号用户分入第2组、将w-1号用户分入第w组、将w号用户分入第1组，以此类推，直至完成对该子受试用户集中所有受试用户的分组。

当每个子受试用户集中的受试用户都被进行分组后，实现了对所有受试用户的分组。

图6是本发明一实施例的一种测试的执行装置，如图6所示，该装置可以包括：构建模块610、计算模块620、筛选模块630、划分模块640、执行模块650。

构建模块610，用于依据候选用户集中的多个用户在指定时间段的指定特征参数，构建所述用户对应的时间序列；

计算模块620，用于计算所述多个用户的时间序列之间的相似度；

筛选模块630，用于依据多个所述相似度从所述候选用户集中筛选多个受试用户；

划分模块640，用于将所述受试用户划分至预设数量的用户分组；

执行模块650，用于根据所述用户分组执行针对待测方案的测试任务。

上述装置中各个模块的功能和作用的实现过程具体详见上述测试的执行方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种测试的执行方法，其特征在于，包括：

计算所述多个用户的时间序列之间的相似度；

将所述受试用户划分至预设数量的用户分组；

根据所述用户分组执行针对待测方案的测试任务。

2.根据权利要求1所述的方法，其特征在于，在构建所述用户对应的时间序列之前，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述依据多个所述相似度从所述候选用户集中筛选多个受试用户，包括：

依据多个所述相似度构建距离矩阵；

依据所述距离矩阵从所述候选用户集中筛选多个受试用户。

4.根据权利要求3所述的方法，其特征在于，所述依据所述距离矩阵从所述候选用户集中筛选出多个受试用户，包括：

5.根据权利要求4所述的方法，其特征在于，所述将所述受试用户的划分至预设数量的用户分组，包括：

依据至少一个离散特征，确定多个离散特征参数；

筛选出与每一离散特征参数对应的受试用户；

6.根据权利要求1所述的方法，其特征在于，所述计算所述多个用户的时间序列之间的相似度，包括：

7.根据权利要求6所述的方法，其特征在于，在所述计算所述时间序列对应的衰减系数序列之前，所述方法还包括：

8.根据权利要求1或6所述的方法，其特征在于，在所述计算所述多个用户的时间序列之间的相似度之前，所述方法还包括：

9.根据权利要求8所述的方法，其特征在于，在所述依据平滑系数公式对所述用户的时间序列进行平滑变换之前，所述方法还包括：

10.根据权利要求1所述的方法，其特征在于，所述根据所述用户分组执行针对待测方案的测试任务，包括：

11.一种测试的执行装置，其特征在于，包括：

筛选模块，用于依据多个所述相似度从所述候选用户集中筛选出多个受试用户；

12.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-10任意一项所述的测试的执行方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-10任意一项所述的测试的执行方法。