CN113742199A - 功能测试方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开关于功能测试方法、装置、电子设备和存储介质，所述方法包括：响应于应用程序的功能测试需求，提取与功能测试需求对应的待测功能的参数；基于账户库中账户的功能参数，从账户库中确定出与待测功能的参数相匹配的候选账户，其中，账户库中账户的功能参数是根据账户库中账户的用户标识和用户标签从多个功能参数中确定的；根据确定出的候选账户生成实验样本集合，其中，候选账户登录的应用程序中配置有待测功能；记录实验样本集合和对照样本集合的账户在使用应用程序的过程中产生的行为数据，对照样本集合中的各个账户登录的应用程序配置的待测功能区别于待测功能；根据行为数据确定待测功能的测试结果。

Description

功能测试方法、装置、电子设备和存储介质

技术领域

本公开涉及技术测试领域，尤其涉及功能测试方法、装置、电子设备和存储介质。

背景技术

随着互联网技术的快速发展和电子设备的应用普及，用户可便捷地使用终端中的应用程序获取相应的功能服务，诸如获取音视频信息、进行即时通讯等。然而，不同用户对于应用程序往往存在差异化的应用需求，相关技术中通过AB实验平台对配置相应参数的应用程序进行测试，以确定配置应用程序而选定的参数是否适合扩大流量。

在通过AB实验平台对配置相应参数的应用程序进行测试的过程中，相关技术中采用对实验组中的用户设置统一的策略参数，然而，统一的策略参数会对实验组中的一部分用户有正向影响而对于另一部分的用户有负向影响，按照统一的功能配置方式无法准确地与用户相匹配。

发明内容

本公开提供了功能测试方法、装置、电子设备和存储介质，以至少解决相关技术中的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提出一种功能测试方法，

响应于应用程序的功能测试需求，提取与所述功能测试需求对应的待测功能的参数；

基于账户库中账户的功能参数，从所述账户库中确定出与所述待测功能的参数相匹配的候选账户，其中，所述账户库中账户的功能参数是根据所述账户库中账户的用户标识和用户标签从多个功能参数中确定的；

根据确定出的候选账户生成实验样本集合，其中，所述候选账户登录的应用程序中配置有所述待测功能；

记录所述实验样本集合和对照样本集合的账户在使用应用程序的过程中产生的行为数据，所述对照样本集合中的各个账户登录的应用程序配置的待测功能区别于所述待测功能；

根据所述行为数据确定所述待测功能的测试结果。

可选的，在基于账户库中账户的功能参数，从所述账户库中确定出与所述待测功能的参数相匹配的候选账户之前，所述方法还包括：

使用训练完成的与多个待测功能分别对应的功能推荐模型对账户库中账户的用户标识和用户标签进行特征提取；

根据提取的特征确定所述多个待测功能中与所述账户相匹配的待测功能；

将所述待测功能的功能参数确定为所述账户的功能参数。

可选的，所述与多个待测功能分别对应的功能推荐模型是根据作为训练样本的用户标识和用户标签预先训练完成的，所述方法还包括：

确定由包含用户标识和用户标签的训练样本构成的模型探索样本集合；

将所述模型探索样本集合中的用户标识和用户标签输入功能推荐模型，其中，所述训练样本中预先标注有所述用户标识对应的账户与所述功能推荐模型的实际匹配结果；

根据功能推荐模型确定的预测匹配结果与所述实际匹配结果的差异反向调整所述功能推荐模型的模型参数，以减小所述预测匹配结果与所述实际匹配结果的差异。

可选的，所述根据所述行为数据确定所述待测功能的测试结果，包括：

根据所述行为数据分别确定实验样本集合和对照样本集合对应于预设评估指标的实验组评估数据和对照组评估数据，所述预设评估指标包括下述至少之一：在预设评估时长内产生行为数据的账户的数量、产生于预设评估时长内的行为数据的行为时长总值；

基于所述实验组评估数据、所述对照组评估数据和预设的假设检验算法确定账户所处的组别与预设评估指标之间是否具有相关性，其中，所述预设的假设检验算法对应的假设为账户所处的组别与预设评估指标有关；

在根据所述假设检验算法的检验结果确定账户所处的组别与预设评估指标具有相关性的情况下，确定对所述实验样本集合的功能配置方式通过测试检验。

可选的，所述账户库中账户的用户标签是在与所述用户标识对应的用户属性信息集合中根据预先指定的属性类型所对应的属性信息而确定；或者，

所述账户库中账户的用户标签是根据预先训练得到的画像提取模型对所述用户标识对应的用户属性信息集合进行特征提取，并根据提取的特征而确定的。

根据本公开实施例的第二方面，提出一种功能测试的应用装置，所述装置包括：

参数提取模块，被配置为执行响应于应用程序的功能测试需求，提取与所述功能测试需求对应的待测功能的参数；

候选账户确定模块，被配置为执行基于账户库中账户的功能参数，从所述账户库中确定出与所述待测功能的参数相匹配的候选账户，其中，所所述账户库中账户的功能参数是根据所述账户库中账户的用户标识和用户标签从多个功能参数中确定的；

实验样本集合生成模块，被配置为执行根据确定出的候选账户生成实验样本集合，其中，所述候选账户登录的应用程序中配置有所述待测功能；

行为数据记录模块，被配置为执行记录所述实验样本集合和对照样本集合的账户在使用应用程序的过程中产生的行为数据，所述对照样本集合中的各个账户登录的应用程序配置的待测功能区别于所述待测功能；

测试结果确定模块，被配置为执行根据所述行为数据确定所述待测功能的测试结果。

可选的，在基于账户库中账户的功能参数，从所述账户库中确定出与所述待测功能的参数相匹配的候选账户之前，所述装置还包括：

特征提取模块，被配置为执行使用训练完成的与多个待测功能分别对应的功能推荐模型对账户库中账户的用户标识和用户标签进行特征提取；

待测功能确定模块，被配置为执行根据提取的特征确定所述多个待测功能中与所述账户相匹配的待测功能；

功能参数确定模块，被配置为执行将所述待测功能的功能参数确定为所述账户的功能参数。

可选的，所述与多个待测功能分别对应的功能推荐模型是根据作为训练样本的用户标识和用户标签预先训练完成的，所述装置还包括：

样本确定模块，被配置为执行确定由包含用户标识和用户标签的训练样本构成的模型探索样本集合；

样本输入模块，被配置为执行将所述模型探索样本集合中的用户标识和用户标签输入功能推荐模型，其中，所述训练样本中预先标注有所述用户标识对应的账户与所述功能推荐模型的实际匹配结果；

模型训练模块，被配置为执行根据功能推荐模型确定的预测匹配结果与所述实际匹配结果的差异反向调整所述功能推荐模型的模型参数，以减小所述预测匹配结果与所述实际匹配结果的差异。

可选的，所述测试结果确定模块具体用于：

根据所述行为数据分别确定实验样本集合和对照样本集合对应于预设评估指标的实验组评估数据和对照组评估数据，所述预设评估指标包括下述至少之一：在预设评估时长内产生行为数据的账户的数量、产生于预设评估时长内的行为数据的行为时长总值；

基于所述实验组评估数据、所述对照组评估数据和预设的假设检验算法确定账户所处的组别与预设评估指标之间是否具有相关性，其中，所述预设的假设检验算法对应的假设为账户所处的组别与预设评估指标有关；

在根据所述假设检验算法的检验结果确定账户所处的组别与预设评估指标具有相关性的情况下，确定对所述实验样本集合的功能配置方式通过测试检验。

可选的，所述账户库中账户的用户标签是在与所述用户标识对应的用户属性信息集合中根据预先指定的属性类型所对应的属性信息而确定；或者，

所述账户库中账户的用户标签是根据预先训练得到的画像提取模型对所述用户标识对应的用户属性信息集合进行特征提取，并根据提取的特征而确定的。

根据本公开实施例的第三方面，提出一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的功能测试方法。

根据本公开实施例的第四方面，提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的功能测试方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的功能测试方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

由上述实施例可知，在应用程序的功能测试中，根据与待测功能的参数相匹配的候选账户生成实验样本集合，并对对照样本集合中的各个账户登录的应用程序配置区别于待测功能的应用功能，进而根据实验样本集合和对照样本集合分别产生的行为数据确定对应用程序中待测功能的测试结果，由于实验样本集合中的账户与针对该账户生效的待测功能相匹配，从而避免了所生效的待测功能对用户产生负向影响的情况，以至少解决了相关技术中因按照统一的功能配置方式而无法准确地与用户相匹配的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是本公开根据一示例性实施例之一示出的一种功能测试方法的流程图；

图2是本公开根据一示例性实施例之二示出的一种功能测试方法的流程图；

图3是本公开根据一示例性实施例示出的一种功能参数配置方法的流程图；

图4是根据本公开的实施例之一示出的一种功能测试的应用装置的示意框图；

图5是根据本公开的实施例之二示出的一种功能测试的应用装置的示意框图；

图6是根据本公开的实施例之三示出的一种功能测试的应用装置的示意框图；

图7是根据本公开的实施例示出的一种电子设备的示意框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

随着互联网技术的快速发展和电子设备的应用普及，用户可便捷地使用终端中的应用程序获取相应的功能服务，诸如获取音视频信息、进行即时通讯等。然而，不同用户对于应用程序往往存在差异化的应用需求，相关技术中通过AB实验平台对配置相应参数的应用程序进行测试，以确定配置应用程序而选定的参数是否适合扩大流量。

在通过AB实验平台对配置相应参数的应用程序进行测试的过程中，针对实验组中的用户生效关于该应用程序的一种模型或者参数，然后通过重采样的方法确定实验是否取得了预期效果，并在实验通过测试检验的情况下，加大实验流量，直到推全。

然而，相关技术在执行AB实验的过程中，对实验组中的用户设置统一参数的配置方式，不仅对该实验组中的一部分用户产生正向影响，而且也会对该实验组中的另一部分的用户产生负向影响，至少因按照统一的功能配置方式而导致无法准确地与用户相匹配的问题。

有鉴于此，本公开提出了一种功能测试方法、装置、电子设备和存储介质，以至少解决相关技术中存在的技术问题，下面通过多个实施例对本公开的技术方案进行详细阐述。

图1是本公开根据一示例性实施例之一示出的一种功能测试方法的流程图，如图1所示，可以包括以下步骤：

在步骤101中，响应于应用程序的功能测试需求，提取与所述功能测试需求对应的待测功能的参数。

在一实施例中，使用训练完成的与多个待测功能分别对应的功能推荐模型对账户库中账户的用户标识和用户标签进行特征提取，以根据提取的特征确定所述多个待测功能中与所述账户相匹配的待测功能，从而将所述待测功能的功能参数确定为所述账户的功能参数。

进一步的，与多个待测功能分别对应的功能推荐模型的训练过程可以包括：确定由包含用户标识和用户标签的训练样本构成的模型探索样本集合；

将所述模型探索样本集合中的用户标识和用户标签输入功能推荐模型，其中，所述训练样本中预先标注有所述用户标识对应的账户与所述功能推荐模型的实际匹配结果；

根据功能推荐模型确定的预测匹配结果与所述实际匹配结果的差异反向调整所述功能推荐模型的模型参数，以减小所述预测匹配结果与所述实际匹配结果的差异。

在本实施例中，预先训练完成的与多个待测功能分别对应的功能推荐模型可以根据账户的用户标识和用户标签，确定出该账户分别与所述多个待测功能对应的匹配结果，进而根据该匹配结果筛选出多个待测功能中与该账户相匹配的待测功能，以将该待测功能的功能参数确定为该账户的功能参数，使得所构建的实验样本集合中的各个账户均生效与之相匹配的待测功能的功能参数，避免了因设置统一的功能参数而导致对实验样本集合中的一部分用户产生负向影响，以及因按照统一的功能配置方式导致无法准确地与用户相匹配的问题。

在步骤102中，基于账户库中账户的功能参数，从所述账户库中确定出与所述待测功能的参数相匹配的候选账户，其中，所述账户库中账户的功能参数是根据所述账户库中账户的用户标识和用户标签从多个功能参数中确定的。

在一实施例中，账户库中账户的用户标签可以是在与用户标识对应的用户属性信息集合中根据预先指定的属性类型所对应的属性信息而确定的，诸如预存储的用户属性信息可以包括姓名、性别、年龄、地域、消费行为、内容偏好等多个类别，而预先指定的属性类型可以为用户属性信息集合中的至少之一，例如预先指定的属性类型可以包括年龄、内容偏好或者性别、年龄、内容偏好等。

在另一实施例中，账户库中账户的用户标签是根据预先训练得到的画像提取模型对所述用户标识对应的用户属性信息集合进行特征提取，并根据提取的特征而确定的。

在实际应用的过程中，预先训练得到的画像提取模型可以包含随机森林算法等，在本实施例中，可以预先通过多组用于训练画像提取模型的训练样本确定画像提取模型，其中，用于训练画像提取模型的训练样本中可以包含预标注有画像特征标注信息的用户属性信息，根据画像提取模型对用户属性信息的分析，确定对应于用户属性信息的画像特征预测信息，进而根据画像特征标注信息和画像特征预测信息之间的差异对画像提取模型进行训练，直至基于画像特征标注信息、画像特征预测信息和画像提取模型确定的损失函数的值低于阈值，将损失函数的值低于阈值时的画像提取模型作为训练完成的画像提取模型。

在步骤103中，根据确定出的候选账户生成实验样本集合，其中，所述候选账户登录的应用程序中配置有所述待测功能。

在步骤104中，记录所述实验样本集合和对照样本集合的账户在使用应用程序的过程中产生的行为数据，所述对照样本集合中的各个账户登录的应用程序配置的待测功能区别于所述待测功能。

在步骤105中，根据所述行为数据确定所述待测功能的测试结果。

在一实施例中，可以根据行为数据分别确定实验样本集合和对照样本集合对应于预设评估指标的实验组评估数据和对照组评估数据，进而基于所述实验组评估数据、所述对照组评估数据和预设的假设检验算法确定账户所处的组别与预设评估指标之间是否具有相关性，其中，所述预设的假设检验算法对应的假设为账户所处的组别与预设评估指标有关；在根据所述假设检验算法的检验结果确定账户所处的组别与预设评估指标具有相关性的情况下，确定对所述实验样本集合的功能配置方式通过测试检验。

在本实施例中，可以对实验组评估数据、对照组评估数据进行基于假设检验算法的检验分析，以根据检验结果确定对实验样本集合的功能配置方式是否通过测试检验，即在根据假设检验算法的检验结果确定账户所处的组别与预设评估指标具有相关性的情况下，确定对实验样本集合的功能配置方式通过测试检验。在实际应用中，假设检验算法可以为连列表卡方检验，相应的，检验结果以显著性水平值的方式进行表现，即在显著性水平值处于预设的接受域的情况下，确定接受账户所处的组别与预设评估指标有关的假设，当然，除了连列表卡方检验之外，还可以为F检验等，本公开对此不做限制。

进一步的，预设评估指标可以包括下述至少之一：在预设评估时长内产生行为数据的账户的数量、产生于预设评估时长内的行为数据的行为时长总值。

由上述实施例可知，在应用程序的功能测试中，根据与待测功能的参数相匹配的候选账户生成实验样本集合，并对对照样本集合中的各个账户登录的应用程序配置区别于待测功能的应用功能，进而根据实验样本集合和对照样本集合分别产生的行为数据确定对应用程序中待测功能的测试结果，由于实验样本集合中的账户与针对该账户生效的待测功能相匹配，从而避免了所生效的待测功能对用户产生负向影响的情况，以至少解决了相关技术中因按照统一的功能配置方式而无法准确地与用户相匹配的问题。

图2是本公开根据一示例性实施例之二示出的一种功能测试方法的流程图，如图2所示，可以包括以下步骤：

在步骤201a中，基于预先训练完成的与多个待测功能分别对应的功能推荐模型对账户库中账户的用户标识和用户标签进行特征提取，以根据提取的特征确定账户库中的账户与所述多个待测功能分别对应的多组预测结果。

与多个待测功能分别对应的多个功能推荐模型可以通过区别于当前测试实验的预先实验而训练完成，或者通过区别于当前实验阶段的预先测试实验阶段而训练完成。在实际应用的过程中，功能推荐模型可以包括下述之一算法所构建的分类器：XGBoost算法(eXtreme Gradient Boosting，极端梯度提升算法)、Random Forest算法(Random Forest，随机森林算法)、SVM算法(support vector machines，支持向量机算法)、逻辑回归算法、Causal Tree算法(因果树算法)、Causal Forest算法(因果森林算法)、Double MachineLearning算法(双机器学习算法)、双鲁棒学习算法。

基于预先训练得到的与多个待测功能分别对应的多个功能推荐模型分别对实验组中的各个账户的用户标识和用户标签进行特征提取和预测，以得到与实验组中的各个用户分别对应的多组预测结果。

进一步的，用于进行特征提取和预测的用户标签可以根据预存储的用户属性信息而确定。在参与测试方案的用户流量为实验平台根据历史用户数据而模拟配置的情况下，可以根据所确定的历史用户数据获取与之对应的用户属性信息，进而根据所获取的用户属性信息确定用于进行特征提取和预测的用户标签；在参与测试方案的用户流量为对所创建的实验平台进行访问的实时流量的情况下，可以根据接收到的实时流量读取用户属性信息，进而根据所读取的用户属性信息确定用于进行特征提取和预测的用户标签。

根据所读取的用户属性信息确定用于进行特征提取和预测的用户标签，诸如用户画像的过程中，可以有多种方式：

在一实施例中，可以直接根据预存储的用户属性信息中与预设的属性类型对应的属性信息确定目标用户的用户画像，例如：在预存储的用户属性信息包括姓名、性别、年龄、地域、消费行为、内容偏好等多个类别，而预设的属性类型包括性别、年龄、内容偏好，则可以将用户属性信息中与性别、年龄、内容偏好这三个属性类型对应的属性信息确定为用户画像，诸如用户A的用户画像中包括：性别男，年龄30岁，内容偏好二次元、动漫；用户B的用户画像中包括：性别女，年龄55岁，内容偏好广场舞、房地产；用户C的用户画像中包括：性别男，年龄15岁，内容偏好物理竞赛、英语翻译。

在另一实施例中，可以直接根据预先训练得到的画像提取模型对用户属性信息中对应于目标用户的属性信息进行特征分析，进而根据提取的特征确定目标用户的用户画像，通过本实施例能够预先对用户属性信息中的重要特征进行筛选，降低通过功能推荐模型进行特征提取时的复杂度。

预先训练得到的画像提取模型可以包含随机森林算法等，在本实施例中，可以预先通过多组用于训练画像提取模型的训练样本确定画像提取模型，其中，用于训练画像提取模型的训练样本中可以包含预标注有画像特征标注信息的用户属性信息，根据画像提取模型对用户属性信息的分析，确定对应于用户属性信息的画像特征预测信息，进而根据画像特征标注信息和画像特征预测信息之间的差异对画像提取模型进行训练，直至基于画像特征标注信息、画像特征预测信息和画像提取模型确定的损失函数的值低于阈值，将损失函数的值低于阈值时的画像提取模型作为训练完成的画像提取模型。

在预先的训练过程中，可以分别基于包括用户标签的模型探索样本集合对功能推荐模型进行训练，进而生成与多个待测功能分别对应的多个功能推荐模型，诸如应用于短视频平台中的视频打散策略1、视频打散策略2、视频打散策略3，以及与视频打散策略1、视频打散策略2和视频打散策略3分别对应的功能推荐模型1、功能推荐模型2和功能推荐模型3。

功能推荐模型1的训练：构建与视频打散策略1对应的模型探索样本集合1，其中，模型探索样本集合1中包含多组预先标注有模型匹配概率值的用户画像，将模型探索样本集合1中各个账户的用户画像输入功能推荐模型1，以由功能推荐模型1对模型探索样本集合1中各个账户的用户画像进行特征提取，并根据功能推荐模型1中的注意力向量的权重概率分布确定加权处理结果，进而根据加权处理结果确定的匹配概率预测值与预先标注的模型匹配概率值之间的差异调整功能推荐模型1的模型参数，基于模型探索样本集合1中的样本数据重复对功能推荐模型1的模型参数进行训练，直至达到对应于功能推荐模型1的终止条件，诸如损失函数取得最低值或者模型的迭代次数达到次数阈值。

功能推荐模型2的训练：构建与视频打散策略2对应的模型探索样本集合2，其中，模型探索样本集合2中包含多组预先标注有模型匹配概率值的用户画像，将模型探索样本集合2中各个账户的用户画像输入功能推荐模型2，以由功能推荐模型2对模型探索样本集合2中各个账户的用户画像进行特征提取，并根据功能推荐模型2中的注意力向量的权重概率分布确定加权处理结果，进而根据加权处理结果确定的匹配概率预测值与预先标注的模型匹配概率值之间的差异调整功能推荐模型2的模型参数，基于模型探索样本集合2中的样本数据重复对功能推荐模型2的模型参数进行训练，直至达到对应于功能推荐模型2的终止条件，诸如损失函数取得最低值或者模型的迭代次数达到次数阈值。

功能推荐模型3的训练：构建与视频打散策略3对应的模型探索样本集合3，其中，模型探索样本集合3中包含多组预先标注有模型匹配概率值的用户画像，将模型探索样本集合3中各个账户的用户画像输入功能推荐模型3，以由功能推荐模型3对模型探索样本集合3中各个账户的用户画像进行特征提取，并根据功能推荐模型3中的注意力向量的权重概率分布确定加权处理结果，进而根据加权处理结果确定的匹配概率预测值与预先标注的模型匹配概率值之间的差异调整功能推荐模型3的模型参数，基于模型探索样本集合3中的样本数据重复对功能推荐模型3的模型参数进行训练，直至达到对应于功能推荐模型3的终止条件，诸如损失函数取得最低值或者模型的迭代次数达到次数阈值。

需要说明的是：此处虽然列举了对于与多个待测功能对应的多个功能推荐模型的训练过程，但仅表明了对多个功能推荐模型的训练过程进行阐述的先后顺序，而并不用于限制训练功能推荐模型与基于多个功能推荐模型进行特征提取的实际进行顺序，实际上，在分别对实验组中的各个账户的用户标签进行特征提取和预测的过程中，与多个不同应用功能对应的多个功能推荐模型均为预先训练完成的。

基于预先训练完成的功能推荐模型1、功能推荐模型2和功能推荐模型3分别对实验组中的各个账户的用户标签进行特征提取和预测，进而得到与实验组中的各个用户分别对应的多组预测结果。

以实验组中包括的用户a到用户c、各个账户的用户标签为预先确定的用户画像为例，功能推荐模型1对用户a的用户画像进行特征提取，进而得到与用户a对应的预测结果a1、功能推荐模型2对用户a的用户画像进行特征提取，进而得到与用户a对应的预测结果a2、功能推荐模型3对用户a的用户画像进行特征提取，进而得到与用户a对应的预测结果a3，即基于预先训练完成的功能推荐模型1、功能推荐模型2和功能推荐模型3分别对用户a进行特征提取和预测，得到与用户a对应的多组预测结果：预测结果a1、预测结果a2和预测结果a3。

类似的，基于预先训练完成的功能推荐模型1、功能推荐模型2和功能推荐模型3分别对用户b进行特征提取和预测，得到与用户b对应的多组预测结果：预测结果b1、预测结果b2和预测结果b3；

类似的，基于预先训练完成的功能推荐模型1、功能推荐模型2和功能推荐模型3分别对用户c进行特征提取和预测，得到与用户c对应的多组预测结果：预测结果c1、预测结果c2和预测结果c3。

在步骤202中，确定多组预测结果中与最优预测结果对应的功能推荐模型，以对该账户所登录的应用程序中配置该功能推荐模型对应的待测功能的功能参数。

在一实施例中，各个用户的多组预测结果中的最优预测结果可以为多组预测结果中的最大值，或者匹配于预设次序的值。诸如在与用户a对应的多组预测结果：预测结果a1、预测结果a2和预测结果a3中，在预测结果a1的值大于预测结果a2的值，且预测结果a2的值大于预测结果a3的值的情况下，用户a的多组预测结果中的最优预测结果可以为多组预测结果中的最大值，比如预测结果a1的值；或者匹配于预设顺序次数为二次，比如预测结果a2的值。

以最优预测结果为a1为例，相应的，对用户a执行的策略则为与预测结果a1所属的功能推荐模型1对应的策略。

在步骤201b中，向对照组中的各个账户所登录的应用程序中配置区别于实验组中待测功能的功能参数。

在步骤203中，根据所登录的应用程序中配置有待测功能的功能参数的账户生成实验组，根据所登录的应用程序中配置有区别于实验组中待测功能的功能参数的账户生成对照组。

管理员可以通过实验平台创建测试实验，所创建的测试实验可以为基于两个版本的AB实验，或者基于多个版本的A/B/n实验，测试方案中不同版本之间可以表现为针对用户所实施的功能参数的差异。

在一实施例中，参与测试方案的用户流量可以为实验平台根据历史用户数据而模拟配置的，或者对所创建的实验平台进行访问的实时流量。为了便于后期的信息搜集，可以对所创建的测试实验生成日志采集的脚本或者加载日志采集器，以对于测试实验中的实验组和对照组的反馈数据进行收集。

以应用于短视频平台中的多种视频打散策略为例，实验组的账户所登录的应用程序中可以配置与待测功能1、待测功能2、待测功能3分别对应的功能参数，诸如：视频打散策略1、视频打散策略2、视频打散策略3；对照组中的账户所登录的应用程序中可以配置区别于视频打散策略1、视频打散策略2、视频打散策略3的视频打散策略0。

在步骤204中，根据实验组和对照组产生的行为数据，分别确定对应于预设评估指标的实验组评估数据和对照组评估数据，以基于预设的假设检验算法、所述实验组评估数据和所述对照组评估数据对用户所处的组别与预设评估指标之间的相关性进行检验计算。

在步骤205中，根据检验结果结果账户所处的组别与预设评估指标具有相关性的情况下，确定对所述实验样本集合的功能配置方式通过测试检验。

以实验组中的用户a到用户c为例，且与用户a对应的最优预测结果为a1、与用户b对应的最优预测结果为b3和与用户c对应的最优预测结果为c2。

相应的，在接收到用户a对视频聚合页面的获取请求后，可以按照与功能推荐模型1对应的视频打散策略1对多个视频进行打散处理，进而将包含打散处理后的视频流的视频聚合页面发送至用户a；在接收到用户b对视频聚合页面的获取请求后，可以按照与功能推荐模型3对应的视频打散策略3对多个视频进行打散处理，进而将包含打散处理后的视频流的视频聚合页面发送至用户b；在接收到用户c对视频聚合页面的获取请求后，可以按照与功能推荐模型2对应的视频打散策略2对多个视频进行打散处理，进而将包含打散处理后的视频流的视频聚合页面发送至用户c，实现了对实验组中的各个用户能够接收到按照该用户对应的个性化打散策略处理后的视频推荐信息。

示例性的，预设评估指标可以包括下述至少之一：在预设评估时长内产生行为数据的账户的数量、产生于预设评估时长内的行为数据的行为时长总值，进一步的，在向实验组中的账户所登录的应用程序中配置与该账户的特征相匹配的待测功能的功能参数，向对照组中的各个账户所登录的应用程序中配置区别于实验组中待测功能的功能参数之后，可以基于日志采集脚本或者日志采集器获取实验组和对照组中对应于预设评估指标的反馈数据。

在确定的实验组和对照组中的用户数量相等的情况下，可以将实验组中各个用户对应于预设评估指标的反馈数据的加和作为实验组中对应于预设评估指标的反馈数据，将对照组中各个用户对应于预设评估指标的反馈数据的加和作为对照组中对应与预设评估指标的反馈数据；在确定的实验组和对照组中的用户数量不相等的情况下，可以将实验组中各个用户对应于预设评估指标的反馈数据的均值作为实验组中对应于预设评估指标的反馈数据，将对照组中各个用户对应于预设评估指标的反馈数据的均值作为对照组中对应与预设评估指标的反馈数据。

进一步的，基于预设的假设检验算法、所述实验组评估数据和所述对照组评估数据确定用户所处的组别与预设评估指标之间的相关性进行计算，所述假设检验算法对应的假设为预设评估指标与用户所处的组别有关，在计算结果的数值大于预设阈值的情况下，确定对实验组中的各个账户所登录的应用程序中配置的功能参数通过功能测试。

在实际应用过程中，所使用的评估方法可以有多种，诸如卡方检验(R*C)或者P值检验等，相应的，在卡方检验的结果大于预设阈值或者P值大于预设阈值的情况下，确定假设成立，即预设评估指标与用户所处的组别有关，换言之，对实验组中的各个账户所登录的应用程序中配置的功能参数与对照组中各个账户所登录的应用程序中配置的功能参数能够就相应用户的行为数据产生不同影响，进一步的，可以根据实验组用户针对各个预设评估指标的显著性数值是否大于预设显著阈值确定实验组用户针对预设评估指标是否显著，即在确定根据实验组用户针对各个预设评估指标的显著性数值大于预设显著阈值确定实验组用户针对预设评估指标的情况下，确定针对各个预设评估指标显著。

图3是本公开根据一示例性实施例示出的一种功能参数配置方法的流程图，如图3所示，可以包括以下步骤：

在步骤301中，根据预存储的用户属性信息确定目标用户的用户画像。

在步骤302中，基于预先训练得到的与多个待测功能对应的多个功能推荐模型分别对目标用户的用户画像进行特征提取，以根据提取的特征确定所述目标用户与所述多个不同的功能推荐模型分别对应的多个匹配概率。

在步骤303中，将多个匹配概率中的最大匹配概率对应的功能推荐模型确定为最优预测结果所属的功能推荐模型。

在步骤304中，按照该功能推荐模型对应的功能参数配置该账户所登录的应用程序。

各个步骤的相关细节与图2中的各个步骤对应的实施例类似，这里不再赘述。

与前述功能测试方法的实施例相对应地，本公开还提出了功能测试的应用装置的实施例。

图4是根据本公开的实施例之一示出的一种功能测试的应用装置的示意框图。本实施例所示的功能测试的应用装置可以适用于视频播放应用，所述应用适用于终端，所述终端包括但不限于手机、平板电脑、可穿戴设备、个人计算机等电子设备。所述视频播放应用可以是安装在终端中的应用程序，也可以是集成在浏览器中的网页版应用，用户可以通过视频播放应用播放视频，其中，所述播放的视频可以是长视频，例如电影、电视剧，也可以是短视频，例如视频剪辑、情景短剧等。

如图4所示，所述功能测试的应用装置可以包括：

参数提取模块401，被配置为执行响应于应用程序的功能测试需求，提取与所述功能测试需求对应的待测功能的参数；

候选账户确定模块402，被配置为执行基于账户库中账户的功能参数，从所述账户库中确定出与所述待测功能的参数相匹配的候选账户，其中，所所述账户库中账户的功能参数是根据所述账户库中账户的用户标识和用户标签从多个功能参数中确定的；

实验样本集合生成模块403，被配置为执行根据确定出的候选账户生成实验样本集合，其中，所述候选账户登录的应用程序中配置有所述待测功能；

行为数据记录模块404，被配置为执行记录所述实验样本集合和对照样本集合的账户在使用应用程序的过程中产生的行为数据，所述对照样本集合中的各个账户登录的应用程序配置的待测功能区别于所述待测功能；

测试结果确定模块405，被配置为执行根据所述行为数据确定所述待测功能的测试结果。

可选的，所述测试结果确定模块具体用于：

根据所述行为数据分别确定实验样本集合和对照样本集合对应于预设评估指标的实验组评估数据和对照组评估数据，所述预设评估指标包括下述至少之一：在预设评估时长内产生行为数据的账户的数量、产生于预设评估时长内的行为数据的行为时长总值；

基于所述实验组评估数据、所述对照组评估数据和预设的假设检验算法确定账户所处的组别与预设评估指标之间是否具有相关性，其中，所述预设的假设检验算法对应的假设为账户所处的组别与预设评估指标有关；

在根据所述假设检验算法的检验结果确定账户所处的组别与预设评估指标具有相关性的情况下，确定对所述实验样本集合的功能配置方式通过测试检验。

可选的，所述账户库中账户的用户标签是在与所述用户标识对应的用户属性信息集合中根据预先指定的属性类型所对应的属性信息而确定；或者，

所述账户库中账户的用户标签是根据预先训练得到的画像提取模型对所述用户标识对应的用户属性信息集合进行特征提取，并根据提取的特征而确定的。

如图5所示，图5是根据本公开的实施例之二示出的一种功能测试的应用装置的示意框图，该实施例在前述图4所示实施例的基础上，所述功能测试的应用装置还可以包括：

特征提取模块406，被配置为执行使用训练完成的与多个待测功能分别对应的功能推荐模型对账户库中账户的用户标识和用户标签进行特征提取；

待测功能确定模块407，被配置为执行根据提取的特征确定所述多个待测功能中与所述账户相匹配的待测功能；

功能参数确定模块408，被配置为执行将所述待测功能的功能参数确定为所述账户的功能参数。

如图6所示，图6是根据本公开的实施例之三示出的一种功能测试的应用装置的示意框图，该实施例在前述图4所示实施例的基础上，所述功能测试的应用装置还可以包括：

样本确定模块409，被配置为执行确定由包含用户标识和用户标签的训练样本构成的模型探索样本集合；

样本输入模块410，被配置为执行将所述模型探索样本集合中的用户标识和用户标签输入功能推荐模型，其中，所述训练样本中预先标注有所述用户标识对应的账户与所述功能推荐模型的实际匹配结果；

模型训练模块411，被配置为执行根据功能推荐模型确定的预测匹配结果与所述实际匹配结果的差异反向调整所述功能推荐模型的模型参数，以减小所述预测匹配结果与所述实际匹配结果的差异。

本公开的实施例还提出一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的功能测试方法。

本公开的实施例还提出一种一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的功能测试方法。

本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的功能测试方法。

图7是根据本公开的实施例示出的一种电子设备的示意框图。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述功能测试方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，被配置为执行便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，被配置为执行以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件706为电子设备700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。

多媒体组件708包括在电子设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到电子设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，被配置为执行以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在本公开一实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述功能测试方法。

在本公开一实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述功能测试方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

需要说明的是，本申请涉及的账户或用户信息均为经用户授权而采集、并进行后续处理的。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本公开实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (10)

1.一种功能测试方法，其特征在于，所述方法包括：

响应于应用程序的功能测试需求，提取与所述功能测试需求对应的待测功能的参数；

基于账户库中账户的功能参数，从所述账户库中确定出与所述待测功能的参数相匹配的候选账户，其中，所述账户库中账户的功能参数是根据所述账户库中账户的用户标识和用户标签从多个功能参数中确定的；

根据确定出的候选账户生成实验样本集合，其中，所述候选账户登录的应用程序中配置有所述待测功能；

记录所述实验样本集合和对照样本集合的账户在使用应用程序的过程中产生的行为数据，所述对照样本集合中的各个账户登录的应用程序配置的待测功能区别于所述待测功能；

根据所述行为数据确定所述待测功能的测试结果。

2.根据权利要求1所述方法，其特征在于，在基于账户库中账户的功能参数，从所述账户库中确定出与所述待测功能的参数相匹配的候选账户之前，所述方法还包括：

使用训练完成的与多个待测功能分别对应的功能推荐模型对账户库中账户的用户标识和用户标签进行特征提取；

根据提取的特征确定所述多个待测功能中与所述账户相匹配的待测功能；

将所述待测功能的功能参数确定为所述账户的功能参数。

3.根据权利要求2所述方法，其特征在于，所述与多个待测功能分别对应的功能推荐模型是根据作为训练样本的用户标识和用户标签预先训练完成的，所述方法还包括：

确定由包含用户标识和用户标签的训练样本构成的模型探索样本集合；

将所述模型探索样本集合中的用户标识和用户标签输入功能推荐模型，其中，所述训练样本中预先标注有所述用户标识对应的账户与所述功能推荐模型的实际匹配结果；

根据功能推荐模型确定的预测匹配结果与所述实际匹配结果的差异反向调整所述功能推荐模型的模型参数，以减小所述预测匹配结果与所述实际匹配结果的差异。

4.根据权利要求1所述方法，其特征在于，所述根据所述行为数据确定所述待测功能的测试结果，包括：

根据所述行为数据分别确定实验样本集合和对照样本集合对应于预设评估指标的实验组评估数据和对照组评估数据，所述预设评估指标包括下述至少之一：在预设评估时长内产生行为数据的账户的数量、产生于预设评估时长的行为数据的行为时长总值；

基于所述实验组评估数据、所述对照组评估数据和预设的假设检验算法确定账户所处的组别与预设评估指标之间是否具有相关性，其中，所述预设的假设检验算法对应的假设为账户所处的组别与预设评估指标有关；

在根据所述假设检验算法的检验结果确定账户所处的组别与预设评估指标具有相关性的情况下，确定对所述实验样本集合的功能配置方式通过测试检验。

5.根据权利要求1所述方法，其特征在于，所述账户库中账户的用户标签是在与所述用户标识对应的用户属性信息集合中根据预先指定的属性类型所对应的属性信息而确定；或者，

所述账户库中账户的用户标签是根据预先训练得到的画像提取模型对所述用户标识对应的用户属性信息集合进行特征提取，并根据提取的特征而确定的。

6.一种功能测试装置，其特征在于，所述装置包括：

参数提取模块，被配置为执行响应于应用程序的功能测试需求，提取与所述功能测试需求对应的待测功能的参数；

候选账户确定模块，被配置为执行基于账户库中账户的功能参数，从所述账户库中确定出与所述待测功能的参数相匹配的候选账户，其中，所述账户库中账户的功能参数是根据所述账户库中账户的用户标识和用户标签从多个功能参数中确定的；

实验样本集合生成模块，被配置为执行根据确定出的候选账户生成实验样本集合，其中，所述候选账户登录的应用程序中配置有所述待测功能；

行为数据记录模块，被配置为执行记录所述实验样本集合和对照样本集合的账户在使用应用程序的过程中产生的行为数据，所述对照样本集合中的各个账户登录的应用程序配置的待测功能区别于所述待测功能；

测试结果确定模块，被配置为执行根据所述行为数据确定所述待测功能的测试结果。

7.根据权利要求6所述装置，其特征在于，在基于账户库中账户的功能参数，从所述账户库中确定出与所述待测功能的参数相匹配的候选账户之前，所述装置还包括：

特征提取模块，被配置为执行使用训练完成的与多个待测功能分别对应的功能推荐模型对账户库中账户的用户标识和用户标签进行特征提取；

待测功能确定模块，被配置为执行根据提取的特征确定所述多个待测功能中与所述账户相匹配的待测功能；

功能参数确定模块，被配置为执行将所述待测功能的功能参数确定为所述账户的功能参数。

8.根据权利要求7所述装置，其特征在于，所述与多个待测功能分别对应的功能推荐模型是根据作为训练样本的用户标识和用户标签预先训练完成的，所述装置还包括：

样本确定模块，被配置为执行确定由包含用户标识和用户标签的训练样本构成的模型探索样本集合；

样本输入模块，被配置为执行将所述模型探索样本集合中的用户标识和用户标签输入功能推荐模型，其中，所述训练样本中预先标注有所述用户标识对应的账户与所述功能推荐模型的实际匹配结果；

模型训练模块，被配置为执行根据功能推荐模型确定的预测匹配结果与所述实际匹配结果的差异反向调整所述功能推荐模型的模型参数，以减小所述预测匹配结果与所述实际匹配结果的差异。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的功能测试方法。

10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至5中任一项所述的功能测试方法。

Images