CN110955593A - 客户端测试方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种客户端测试方法、装置、电子设备及可读存储介质，旨在提高客户端的测试效率。所述方法包括：获得基础用例；将所述基础用例和预设期望结果输入用例生成模型，通过所述用例生成模型，根据所述预设期望结果对所述基础用例的用例特征进行扩展，得到与所述基础用例对应的多个测试用例；从所述多个测试用例中筛选出至少部分数量的测试用例，形成测试用例集合；通过所述待测客户端执行所述测试用例集合包括的多个测试用例，得到所述测试用例集合对应的综合测试得分；在所述测试用例集合对应的综合测试得分大于预设阈值的情况下，确定所述测试用例集合为优选测试用例集合，以输入到所述用例生成模型中。

Description

客户端测试方法、装置、电子设备及可读存储介质

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种客户端测试方法、装置、电子设备及可读存储介质。

背景技术

随着互联网技术的发展和智能设备的普及，各种各样的客户端被开发并推向用户。通常情况下，在新客户端的开发阶段或者旧版本客户端的更新迭代阶段，软件开发人员需要通过大量的测试用例，对客户端进行测试。

对客户端进行测试，一方面是为了检测客户端是否存在性能问题，从而在客户端存在问题的情况下，对客户端进行调整优化。另一方面是为了从大量测试用例中确定出一些客户端响应较好的测试用例，然后基于这些测试用例，对用户进行使用宣导，使用户尽可能仿照这些测试用例来使用客户端。

以具有语音识别功能的客户端为例，软件开发人员在针对该客户端进行测试时，首先需要手动编写大量语音类的测试用例，这些测试用例通常覆盖了多种词条和多种环境参数，然后将这些测试用例依次输入该客户端。假设这些测试用例中，语音速度这一环境参数大约是1字/秒至2.5字/秒，于是可以提示用户在1字/秒至2.5字/秒的语速下向客户端录入语音，客户端的识别成功率最高。

然而如上所述，软件开发人员在对客户端进行测试时，需要手动编写大量测试用例，如此，导致客户端测试效率低，软件开发人员不能迅速确定出客户端响应较好的测试用例。

发明内容

本申请实施例提供一种客户端测试方法、装置、电子设备及可读存储介质，旨在提高客户端的测试效率，从而快速确定客户端响应较好的测试用例。

本申请实施例第一方面提供了一种客户端测试方法，所述方法包括：

获得基础用例，所述基础用例包括至少一个用例特征；

基于所述基础用例生成测试用例：将所述基础用例和预设期望结果输入用例生成模型，通过所述用例生成模型，根据所述预设期望结果对所述基础用例的用例特征进行扩展，得到与所述基础用例对应的多个测试用例；

从所述多个测试用例中筛选出至少部分数量的测试用例，形成测试用例集合；

通过待测客户端执行所述测试用例集合中的多个测试用例，得到所述测试用例集合对应的综合测试得分；

在所述测试用例集合对应的综合测试得分大于预设阈值的情况下，确定所述测试用例集合为优选测试用例集合，以供输入到所述用例生成模型中。

可选地，所述测试用例集合中的每一个测试用例包括执行次数、用例权重以及扩展后的用例特征；

通过所述待测客户端执行所述测试用例集合包括的多个测试用例，得到所述测试用例集合对应的综合测试得分，包括：

针对所述测试用例集合包括的多个测试用例中的每个测试用例，将该测试用例输入待测客户端，按照该测试用例对应的执行次数，通过所述待测客户端多次执行该测试用例，得到相应的多个测试得分；

根据每个测试用例各自对应的测试得分、执行次数以及用例权重，确定所述测试用例集合对应的综合测试得分。

可选地，所述待测客户端是具有识别功能的客户端，测试用例集合对应的综合测试得分表征该测试用例集合中的各个测试用例被所述待测客户端识别的成功率；

可选地，所述待测客户端是具有语音识别功能的客户端；

所述基于所述基础用例生成测试用例包括：

将所述基础用例结合预设期望结果和环境参数输入用例生成模型，通过所述用例生成模型，根据所述预设期望结果和环境参数对所述基础用例的用例特征进行扩展，得到与所述基础用例对应的多个测试用例。

所述基础用例的用例特征包括词条，所述环境参数包括语速、输入间隔、输入音量、噪音中的一个或多个的音频特征；

通过所述用例生成模型，根据所述预设期望结果对所述基础用例的用例特征进行扩展，包括：

通过所述用例生成模型，根据所述预设期望结果对所述基础用例的词条、语速、输入间隔、输入音量、噪音中的至少一者进行扩展。

可选地，所述环境参数还包括硬件性能参数；

通过所述待测客户端执行所述测试用例集合包括的多个测试用例，包括：

针对所述测试用例集合包括的多个测试用例中的每个测试用例，根据该测试用例对应的扩展后的硬件性能参数，将该测试用例输入目标硬件设备上运行的待测客户端中，以通过待测客户端执行该测试用例，所述目标硬件设备的硬件性能参数与该测试用例的硬件性能参数匹配。

可选地，所述方法还包括：

根据所述综合测试得分，对所述用例生成模型进行更新。

本申请实施例第二方面提供一种客户端测试装置，所述装置包括：

基础用例获得模块，用于获得基础用例，所述基础用例包括至少一个用例特征；

基础用例扩展模块，用于基于所述基础用例生成测试用例：将所述基础用例和预设期望结果输入用例生成模型，通过所述用例生成模型，根据所述预设期望结果对所述基础用例的用例特征进行扩展，得到与所述基础用例对应的多个测试用例；

测试用例筛选模块，用于从所述多个测试用例中筛选出至少部分数量的测试用例，形成测试用例集合；

客户端测试模块，用于通过待测客户端执行所述测试用例集合中的多个测试用例，得到所述测试用例集合对应的综合测试得分；

优选集合确定模块，用于在所述测试用例集合对应的综合测试得分大于预设阈值的情况下，确定所述测试用例集合为优选测试用例集合，以供输入到所述用例生成模型中。

可选地，所述测试用例集合中的每一个测试用例包括执行次数、用例权重以及扩展后的用例特征；

所述客户端测试模块包括：

客户端测试子模块，用于针对多个测试用例集合中的每个测试用例集合，并针对该测试用例集合包括的多个测试用例中的每个测试用例，将该测试用例输入待测客户端，按照该测试用例对应的执行次数，通过所述待测客户端多次执行该测试用例，得到相应的多个测试得分；

综合测试得分确定子模块，用于针对多个测试用例集合中的每个测试用例集合，根据该测试用例集合中每个测试用例各自对应的测试得分、执行次数以及用例权重，确定该测试用例集合对应的综合测试得分。

可选地，所述待测客户端是具有语音识别功能的客户端；

所述基础用例扩展模块包括：

基础用例扩展子模块，将所述基础用例结合预设期望结果和环境参数输入用例生成模型，通过所述用例生成模型，根据所述预设期望结果和环境参数对所述基础用例的用例特征进行扩展，得到与所述基础用例对应的多个测试用例。

可选地，所述基础用例的用例特征包括词条，所述环境参数包括语速、输入间隔、输入音量、噪音中的一个或多个的音频特征；

所述基础用例扩展模块包括：

扩展子模块，用于通过所述用例生成模型，根据所述预设期望结果对所述基础用例的词条、语速、输入间隔、输入音量、噪音中的至少一者进行扩展。

可选地，所述环境参数还包括硬件性能参数；

所述客户端测试模块包括：

客户端测试子模块，用于针对多个测试用例集合中的每个测试用例集合，并针对该测试用例集合包括的多个测试用例中的每个测试用例，根据该测试用例对应的扩展后的硬件性能参数，将该测试用例输入目标硬件设备上运行的待测客户端中，以通过待测客户端执行该测试用例，所述目标硬件设备的硬件性能参数与该测试用例的硬件性能参数匹配。

可选地，所述装置还包括：

模型更新模块，用于根据所述多个综合测试得分，对所述用例生成模型进行更新。

本申请实施例第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。

本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。

采用本申请实施例提供的客户端测试方法，通过用例生成模型对基础用例进行扩展，得到与基础用例各自对应的多个测试用例，从而自动扩充了用例的数量；然后基于基础用例生成测试用例，具体的，从多个测试用例中筛选至少部分数量的测试用例，形成测试用例集合；然后将测试用例集合包括的多个测试用例输入待测客户端，对客户端进行测试，得到测试用例集合对应的综合测试得分；在测试用例集合对应的综合测试得分大于预设阈值的情况下，确定该测试用例集合为优选测试用例集合，即确定该测试用例集合为客户端响应较好的测试用例集合；最后将优选测试用例集合中的各测试用例作为基础用例，循环上述步骤，于是可以不断地对用例进行扩充、利用扩充的用例对待测客户端进行测试、以及得到响应较好的测试用例集合，从而有效提高了客户端测试效率，并帮助软件开发人员迅速确定多个客户端响应较好的测试用例。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提出的客户端测试方法的流程图；

图2是本申请一实施例提出的客户端测试方法的示意图；

图3是本申请另一实施例提出的客户端测试方法的流程图；

图4是本申请一实施例提出的客户端测试装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，均应属于本申请保护的范围。

相关技术中，软件开发人员在多种应用场景下，都会产生对客户端进行测试的需求。例如，在新客户端的开发阶段，或者在旧版本客户端的更新迭代阶段，软件开发人员需要通过大量的测试用例，对客户端进行测试，一方面是为了检测客户端是否存在性能问题，从而在客户端存在问题的情况下，对客户端进行调整优化。另一方面是为了从大量测试用例中确定出一些客户端响应较好的测试用例，然后基于这些测试用例，对用户进行使用宣导，使用户尽可能仿照这些测试用例来使用客户端。

本申请发明人发现，软件开发人员在对客户端进行测试时，需要手动编写大量测试用例，如此，导致客户端测试效率低，软件开发人员不能迅速确定出客户端响应较好的测试用例。有鉴于此，本申请发明人在客户端测试期间引入用例生成模型，通过用例生成模型自动对基础用例进行扩充；然后利用扩充后得到的多个测试用例对客户端进行测试，得到多个测试得分；再根据各测试得分，确定出一些客户端响应较好的测试用例；最后将这些客户端响应较好的测试用例作为基础用例，循环上述步骤。

参考图1，图1是本申请一实施例提出的客户端测试方法的流程图。如图1所示，该方法包括以下步骤：

步骤S11：获得基础用例，所述基础用例包括至少一条用例特征。

本实施例中，用例特征通常可以是用例的实质内容。以待测客户端具有图像识别功能为例，在对待测客户端的图像识别功能进行测试时，用例的用例特征可以是具体图像这一实质内容，比如人脸图像、动物图像、街景图像等等。

此外，基础用例的用例特征还可以包括环境参数等。

步骤S12：基于所述基础用例生成测试用例：将所述基础用例和预设期望结果输入用例生成模型，通过所述用例生成模型，根据所述预设期望结果对所述基础用例的用例特征进行扩展，得到与所述基础用例对应的多个测试用例。

在一种实施方式中，基础用例的数量可以是一个或多个。

以基础用例的数量是多个为例，多个基础用例可以是预先通过测试用例设计环节而手动制作的少量用例，例如手动制作的5个、10个或20个用例等等。这些手动制作的用例可预先存储于存储空间，在测试系统开始对待测客户端进行测试后，可以自动从存储空间中调取这些用例，作为基础用例。此外，为了达到物尽其用的目的，如图2所示，这些手动制作的用例也可以直接用于对待测客户端进行测试，并得到测试得分。

本实施例中，预设期望结果是指待测客户端当前阶段执行用例时能达到的最佳响应程度，或者在最佳响应程度的基础上进行微调后的一个响应程度。

以待测客户端具有识别功能为例，假设该待测客户端当前的识别成功率大约可达到0.6，于是在对该待测客户端进行本次测试时，可以将预设期望结果设置为0.55、0.6或0.65等。假设在经过本次测试，并调整优化该待测客户端后，该待测客户端的识别成功率大约可达到0.8，于是对该待测客户端进行下次测试时，可以将预设期望结果设置为0.75、0.8或0.85等。通过反复测试和调整优化，使得待测客户端的识别成功率逼近于1。

本申请实施例中，通过为基础用例配置环境参数，可以使得基础用例表征的测试情景更接近于真实情景，一方面有利于提高测试的准确性和可靠性，另一方面有助于在整个测试流程结束后，确定出一些客户端响应较好的环境参数，从而对用户进行宣导。

此外，根据基础用例形式的不同，例如包括的用例特征数量、类型不同，通常需要选用不同类型的用例生成模型。其中，用例生成模型可以是预先利用样本训练好的成品或半成品模型，也可以是一个初始模型，该初始模型一边参与对待测客户端的测试，一边被训练。

步骤S13：从所述多个测试用例中筛选出至少部分数量的测试用例，形成测试用例集合。

本申请实施例中，在通过用例生成模型对基础用例的用例特征进行扩展，得到与基础用例对应的多个测试用例后，可以从中筛选部分测试用例，形成测试用例集合。

在一种实施方式中，基础用例的数量是一个，从该基础用例对应的测试用例中筛选全部或部分测试用例，所筛选出的多个测试用例形成测试用例集合。例如：基础用例为基础用例a，与基础用例a对应的多个测试用例为a₁、a₂……a_n，则可以筛选出全部的测试用例a₁、a₂……a_n形成测试用例集合，或者，可以筛选出部分的测试用例，例如测试用例a₁、a₂，形成测试用例集合。

在另一种实施方式中，基础用例的数量是多个，从每个基础用例对应的多个测试用例中筛选一部分测试用例，所筛选出的多个测试用例形成测试用例集合。例如：基础用例有2个，分别是基础用例a和基础用例b，与基础用例a对应的多个测试用例为a₁、a₂……a_m，与基础用例b对应的多个测试用例为b₁、b₂……b_n，则可以筛选出部分的测试用例，例如测试用例a₁、a₂及测试用例b₁、b₂形成测试用例集合。

在又一种实施方式中，基础用例的数量是多个，从每个基础用例对应的多个测试用例中筛选全部测试用例，所筛选出的多个测试用例形成测试用例集合。例如：基础用例有2个，分别是基础用例a和基础用例b，与基础用例a对应的多个测试用例为a₁、a₂……a_m，与基础用例b对应的多个测试用例为b₁、b₂……b_n，则可以筛选出全部的测试用例a₁、a₂……a_m、b₁、b₂……b_n形成测试用例集合。

步骤S14：通过待测客户端执行所述测试用例集合中的多个测试用例，得到所述测试用例集合对应的综合测试得分。

本申请实施例中，待测客户端每次执行完一个测试用例后，可以向软件开发人员反馈测试得分。

一方面，本实施例中，测试用例集合中的每个测试用例可以具体包括执行次数、用例权重以及扩展后的用例特征。其中，除了扩展后的用例特征，每个测试用例的执行次数和用例权重也可以是用例生成模型自动赋予该测试用例的。

如此，在执行步骤S14时，具体可以是针对测试用例集合，执行以下子步骤：

步骤S14-1：针对该测试用例集合包括的多个测试用例中的每个测试用例，将该测试用例输入待测客户端，按照该测试用例对应的执行次数，通过所述待测客户端多次执行该测试用例，得到相应的多个测试得分；

步骤S14-2：根据每个测试用例各自对应的测试得分、执行次数以及用例权重，确定该测试用例集合对应的综合测试得分。

在执行步骤S14-1时，针对测试用例集合中的多个测试用例，可以分别将测试用例1至5依次输入待测客户端，使待测客户端对测试用例1执行4次，得到4个测试得分；对测试用例2执行3次，得到3个测试得分；对测试用例3执行3次，得到3个测试得分；对测试用例4执行5次，得到5个测试得分；对测试用例5执行4次，得到4个测试得分。然后在执行步骤S14-2时，根据5个测试用例各自的多个测试得分、执行次数以及用例权重，确定测试用例集合的综合测试得分。

示例地，在执行步骤S14-2时，具体可首先根据每个测试用例的多个测试得分和执行次数，确定各测试用例的平均测试得分；然后根据各测试用例的平均测试得分和用例权重，加权平均，得到测试用例集合的综合测试得分。

在一种可能的实施方式中，对于包括N个测试用例的测试用例集合，可以按照以下公式确定该测试用例集合的综合测试得分：

公式中，以测试用例1为例，测试用例1测试了M次，以测试用例N为例，测试用例N测试了T次。实际应用中，每个测试用例的测试次数可以根据测试需求设定，本申请实施例不做具体限定。

沿用上述示例，测试用例集合的综合测试得分＝测试用例1的平均测试得分*测试用例1的用例权重+测试用例2的平均测试得分*测试用例2的用例权重+测试用例3的平均测试得分*测试用例3的用例权重+测试用例4的平均测试得分*测试用例4的用例权重+测试用例5的平均测试得分*测试用例5的用例权重＝(测试用例1的测试得分1+…+测试用例1的测试得分4)/4*30％+(测试用例2的测试得分1+…+测试用例2的测试得分3)/3*10％+(测试用例3的测试得分1+…+测试用例3的测试得分3)/3*10％+(测试用例4的测试得分1+…+测试用例4的测试得分5)/5*30％+(测试用例5的测试得分1+…+测试用例5的测试得分4)/4*20％。

通过执行步骤S14-1和步骤S14-2，即可将测试用例集合中的每个测试用例输入至待测客户端，对待测客户端进行测试，得到测试得分，并最终得到该测试用例集合对应的综合测试得分。此外，由于测试用例集合中各测试用例配置有执行次数和用例权重等属性，因此测试用例集合不仅可具有多个不同的测试用例，还具有了测试用例重要性这一维度，进而增加了测试用例集合的多样性，提高了测试用例集合的覆盖率。

步骤S15：在所述测试用例集合对应的综合测试得分大于预设阈值的情况下，确定所述测试用例集合为优选测试用例集合，以输入到所述用例生成模型中。

示例地，假设原有5个基础用例，在经过步骤S11至步骤S15后，在测试用例集合对应的综合测试得分大于预设阈值的情况下，将该测试用例集合确定为最佳测试用例集合。于是可保存该最佳测试用例集合中每个测试用例的用例特征，作为用户的最佳体验特征，并将每个测试用例作为新的基础用例，循环步骤S12至步骤S15。其中，被保存的用例特征是一些客户端响应较好的特征，软件开发人员可在客户端上线后向用户宣导，使用户尽量仿照这些特征来操作客户端，从而提升用户体验。

通过执行上述包括步骤S11至步骤S15的客户端测试方法，通过用例生成模型对基础用例进行扩展，得到基础用例对应的多个测试用例，从而自动扩充了用例的数量；然后从多个测试用例中筛选至少部分数量的测试用例，形成测试用例集合，并将测试用例集合包括的多个测试用例输入待测客户端，对客户端进行测试，得到测试用例集合对应的综合测试得分；在测试用例集合对应的综合测试得分大于预设阈值的情况下，确定该测试用例集合为优选测试用例集合，即确定该测试用例集合为客户端响应较好的测试用例集合；最后将优选测试用例集合中的各测试用例作为基础用例，循环上述步骤，于是可以不断地对用例进行扩充、利用扩充的用例对待测客户端进行测试、以及得到响应较好的测试用例集合，从而有效提高了客户端测试效率，并帮助软件开发人员迅速确定多个客户端响应较好的测试用例。

上述实施例中的待测客户端可以是任一客户端，例如：具有图像识别功能的客户端，具有语音识别功能的客户端。下面以待测客户端是具有语音识别功能的客户端为例，对本申请实施例提供的客户端测试方法进行说明。

参考图1和图2，图2是本申请一实施例提出的客户端测试方法的示意图，图2所示的客户端测试方法中，以待测客户端具有语音识别功能，并对该语音识别功能进行测试为例。

首先，执行步骤S11，获得基础用例，所述基础用例包括至少一个用例特征。

对具有语音识别功能的客户端而言，基础用例的用例特征包括词条，所述环境参数包括语速、输入间隔、输入音量、噪音中的一个或多个的音频特征。

相应地，在对待测客户端的语音识别功能进行测试时，基础用例的用例特征除了包括词条这一实质内容，还可以包括语速、句间停顿时间、环境风速、环境噪声分贝、语音接收设备的硬件性能等环境参数。

然后，执行步骤S12，具体包括以下步骤：

将所述基础用例结合预设期望结果和环境参数输入用例生成模型，通过所述用例生成模型，根据所述预设期望结果和环境参数对所述基础用例的用例特征进行扩展，得到与所述基础用例对应的多个测试用例。

其中，通过所述用例生成模型，根据所述预设期望结果对所述基础用例的用例特征进行扩展，包括：

通过所述用例生成模型，根据所述预设期望结果对所述基础用例的词条、语速、输入间隔、输入音量、噪音中的至少一者进行扩展。

以待测客户端是具有语音识别功能的客户端为例，每个基础用例包括的至少一个用例特征可以为词条和环境参数，该环境参数表征该词条的音频特征。在通过用例生成模型，根据预设期望结果对所述基础用例的用例特征进行扩展时，具体可以包括：通过所述用例生成模型，根据所述预设期望结果，通过所述用例生成模型，根据所述预设期望结果对所述基础用例的词条、语速、输入间隔、输入音量、噪音中的至少一者进行扩展。

例如，假设预设期望结果是0.8，一个基础用例的词条是“订单已送达”，环境参数是：环境风速5m/s，噪音30分贝，语速2字/秒，句间停顿时间0.8秒(s)等。将该预设期望结果和基础用例输入用例生成模型后，用例生成模型将该基础用例扩充为5个测试用例，这5个测试用例组成测试用例集合。如表1所示，表1是该基础用例对应的测试用例表。

表1测试用例表

沿用上述示例，如果基础用例包括的至少一个用例特征仅是词条，则用例生成模型对该基础用例进行扩充时，仅针对基础用例的词条进行扩充。

接着，执行步骤S13和步骤S14。

对具有语音识别的客户端而言，步骤S13的执行过程与前述实施例相同，在此就不再赘述。

针对具有语音识别的客户端，基础用例的环境参数还包括硬件性能参数。本申请实施例中，考虑到客户端通常是运行在用户的硬件设备之上，并且各用户的硬件设备的性能也互不相同。例如硬件设备的新旧程度不同、CPU性能不同、网络速度不同。进一步考虑到这些硬件性能会影响客户端对用例的响应结果，因此本实施例中，基础用例的环境参数这一用例特征中，还可以包括硬件参数。

如此，在执行步骤S14时，执行以下子步骤：

步骤S14-3：针对该测试用例集合包括的多个测试用例中的每个测试用例，根据该测试用例对应的扩展后的硬件性能参数，将该测试用例输入目标硬件设备上运行的待测客户端中，以通过待测客户端执行该测试用例，所述目标硬件设备的硬件性能参数与该测试用例的硬件性能参数匹配。

示例地，针对待测客户端的测试系统中，可以包括多个性能不同的硬件设备，比如包括多个新旧程度、CPU性能以及网络速度不同的手机，每个硬件设备上均运行有该待测客户端。

在携带有硬件性能参数的基础用例被输入用例生成模型后，用例生成模型对该基础用例进行扩充，得到多个测试用例，进而得到测试用例集合。该测试用例集合中每个测试用例均具有扩展后的硬件性能参数，通常情况下，各测试用例的硬件性能参数间具有差异。

在执行步骤S14-3时，针对每个测试用例，首先根据该测试用例的硬件性能参数，从多个硬件设备中确定出硬件性能参数与该测试用例的硬件性能参数最接近的硬件设备，将该硬件设备作为目标硬件设备。然后将该测试用例输入该目标硬件设备上运行的待测客户端中，使得该测试用例基于目标硬件设备的硬件性能，被待测客户端执行，得到测试得分。如图2所示，为了简化附图，图2中仅示出了一个硬件设备，该硬件设备作为目标硬件设备，接收测试用例。

通过执行步骤S14-3，即可根据测试用例集合中每个测试用例的硬件性能参数，将该测试用例输入对应硬件性能的硬件设备上所运行的待测客户端中，对待测客户端进行测试，得到测试得分，并最终得到该测试用例集合对应的综合测试得分。此外，由于各测试用例配置有硬件性能参数属性，因此可以进一步提高测试用例的多样性，进而提高测试用例的覆盖率，使得测试用例表征的测试情景更接近于真实情景。

再一方面，本实施例中，还可以在用例的环境参数中不包括硬件性能参数的情况下，针对不同硬件性能的硬件设备，分别为其下载安装待测客户端。然后分别针对各硬件设备中的待测客户端，完整地执行本申请实施例提供的客户端测试方法的各个步骤，确定出该硬件设备对应的硬件性能下，该待测客户端响应较好的一些测试用例。

示例地，现有手机1、手机2以及手机3等三个网络速度互不相同的手机，其中手机1启用的网络是2G网络，手机2启用的是4G网络，手机3启用的网络是5G网络。分别为各手机下载安装待测客户端，假设该待测客户端具有语音识别功能，本次测试任务是针对该语音识别功能进行测试。

首先针对运行于手机1中的待测客户端执行本申请实施例提供的客户端测试方法的各个步骤，得到一些该待测客户端响应较好的测试用例，这些测试用例中的语速大约为1字/秒，则暗示在2G网络的情况下，用户以1字/秒的语速向客户端输入语音，客户端具有更高的识别成功率。

然后针对运行于手机2中的待测客户端执行步骤S11至步骤S15，得到一些该待测客户端响应较好的测试用例，这些测试用例中的语速大约为2字/秒，则暗示在4G网络的情况下，用户以2字/秒的语速向客户端输入语音，客户端具有更高的识别成功率。

最后针对运行于手机3中的待测客户端执行步骤S11至步骤S15，得到一些该待测客户端响应较好的测试用例，这些测试用例中的语速大约为3.2字/秒，则暗示在5G网络的情况下，用户以3.2字/秒的语速向客户端输入语音，客户端具有更高的识别成功率。

步骤S15：在所述测试用例集合对应的综合测试得分大于预设阈值的情况下，确定所述测试用例集合为优选测试用例集合，以输入到所述用例生成模型中。

示例地，假设原有5个基础用例，在经过步骤S11至步骤S15后，在测试用例集合对应的综合测试得分大于预设阈值的情况下，将该测试用例集合确定为最佳测试用例集合。于是可保存该最佳测试用例集合中每个测试用例的用例特征，作为用户的最佳体验特征，并将每个测试用例作为新的基础用例，循环步骤S12至步骤S15。其中，被保存的用例特征是一些客户端响应较好的特征，软件开发人员可在客户端上线后向用户宣导，使用户尽量仿照这些特征来操作客户端，从而提升用户体验。

通过执行上述包括步骤S11至步骤S15的客户端测试方法，通过用例生成模型对基础用例进行扩展，得到基础用例对应的多个测试用例，从而自动扩充了用例的数量；然后从多个测试用例中筛选至少部分数量的测试用例，形成测试用例集合，并将测试用例集合包括的多个测试用例输入待测客户端，对客户端进行测试，得到测试用例集合对应的综合测试得分；在测试用例集合对应的综合测试得分大于预设阈值的情况下，确定该测试用例集合为优选测试用例集合，即确定该测试用例集合为客户端响应较好的测试用例集合；最后将优选测试用例集合中的各测试用例作为基础用例，循环上述步骤，于是可以不断地对用例进行扩充、利用扩充的用例对待测客户端进行测试、以及得到响应较好的测试用例集合，从而有效提高了客户端测试效率，并帮助软件开发人员迅速确定多个客户端响应较好的测试用例。

本实施例中，在待测客户端是具有识别功能的客户端的情况下，测试用例集合对应的综合测试得分可用于表征：该测试用例集合中的各个测试用例被所述待测客户端识别的成功率。

如此，在执行步骤S15时，可以在所述测试用例集合对应的综合测试得分接近于1的情况下，确定所述测试用例集合为优选测试用例集合。

示例地，如上所述，通过用例生成模型得到多个测试用例，进而得到测试用例集合，该测试用例集合中的每个测试用例可以具体包括执行次数、用例权重以及扩展后的用例特征。在确定测试用例集合的综合测试得分时，可根据首先根据每个测试用例的多个测试得分和执行次数，确定各测试用例的平均测试得分；然后根据各测试用例的平均测试得分和用例权重，加权平均，得到测试用例集合的综合测试得分。其中，每个测试得分可以是待测客户端在执行测试用例后输出的识别置信度。如此，最终得到的综合测试得分能够表征：测试用例集合中的各个测试用例被所述待测客户端识别的成功率。

在本申请被实施期间，通常情况下，某一测试用例集合的综合测试得分越接近于1，该测试用例集合被待测客户端执行时，待测客户端的响应情况越接近于预设期望结果。

应当理解的，本申请中，综合测试得分并不局限于表征测试用例集合中的各个测试用例被所述待测客户端识别的成功率。例如在待测客户端是语音处理软件的情况下，假设测试任务是针对待测客户端的噪声抑制功能进行测试，则综合测试得分可用于表征：测试用例集合中的各个测试用例被所述待测客户端进行噪声抑制的平均抑制程度。

此外，如图2所示，考虑到测试用例集合的综合测试得分可以反映用例生成模型生成的测试用例是否合适，因此可以将综合测试得分作为反馈、奖励或惩罚等样本数据，对用例生成模型进行更新。

如此，参考图3，图3是本申请另一实施例提出的客户端测试方法的流程图。如图3所示，该方法还包括步骤S15’：根据所述综合测试得分，对所述用例生成模型进行更新。

本实施例中，综合测试得分作为反馈、奖励或惩罚等，帮助用例生成模型以非监督学习的方式进行更新调整。更新后的用例生成模型可应用于下一循环轮次中，对基础用例的扩充。如此，随着测试的循环轮次的增加，用例生成模型生成的测试用例被待测客户端执行时，待测客户端的响应情况越来越接近于预设期望结果，生成的测试用例的用例特征越来越接近最佳用户体验特征。

应当理解的，本实施例中，步骤S15和步骤S15’在执行顺序上并无限定。步骤S15’可先于步骤S15执行、或者晚于步骤S15执行、或者与步骤S15同时执行。

基于同一发明构思，本申请一实施例提供一种客户端测试装置。参考图4，图4是本申请一实施例提供的客户端测试装置的示意图。如图4所示，该装置包括：

基础用例获得模块，用于获得基础用例，所述基础用例包括至少一个用例特征；

基础用例扩展模块，用于基于所述基础用例生成测试用例：将所述基础用例和预设期望结果输入用例生成模型，通过所述用例生成模型，根据所述预设期望结果对所述基础用例的用例特征进行扩展，得到与所述基础用例对应的多个测试用例；

测试用例筛选模块，用于从所述多个测试用例中筛选出至少部分数量的测试用例，形成测试用例集合；

客户端测试模块，用于通过待测客户端执行所述测试用例集合中的多个测试用例，得到所述测试用例集合对应的综合测试得分；

优选集合确定模块，用于在所述测试用例集合对应的综合测试得分大于预设阈值的情况下，确定所述测试用例集合为优选测试用例集合，以供输入到所述用例生成模型中。

可选地，所述测试用例集合中的每一个测试用例包括执行次数、用例权重以及扩展后的用例特征；

所述客户端测试模块包括：

客户端测试子模块，用于针对多个测试用例集合中的每个测试用例集合，并针对该测试用例集合包括的多个测试用例中的每个测试用例，将该测试用例输入待测客户端，按照该测试用例对应的执行次数，通过所述待测客户端多次执行该测试用例，得到相应的多个测试得分；

综合测试得分确定子模块，用于针对多个测试用例集合中的每个测试用例集合，根据该测试用例集合中每个测试用例各自对应的测试得分、执行次数以及用例权重，确定该测试用例集合对应的综合测试得分。

可选地，所述待测客户端是具有语音识别功能的客户端；

所述基础用例扩展模块包括：

基础用例扩展子模块，将所述基础用例结合预设期望结果和环境参数输入用例生成模型，通过所述用例生成模型，根据所述预设期望结果和环境参数对所述基础用例的用例特征进行扩展，得到与所述基础用例对应的多个测试用例。

可选地，所述基础用例的用例特征包括词条，所述环境参数包括语速、输入间隔、输入音量、噪音中的一个或多个的音频特征；

所述基础用例扩展模块包括：

扩展子模块，用于通过所述用例生成模型，根据所述预设期望结果对所述基础用例的词条、语速、输入间隔、输入音量、噪音中的至少一者进行扩展。

可选地，所述环境参数还包括硬件性能参数；

所述客户端测试模块包括：

客户端测试子模块，用于针对多个测试用例集合中的每个测试用例集合，并针对该测试用例集合包括的多个测试用例中的每个测试用例，根据该测试用例对应的扩展后的硬件性能参数，将该测试用例输入目标硬件设备上运行的待测客户端中，以通过待测客户端执行该测试用例，所述目标硬件设备的硬件性能参数与该测试用例的硬件性能参数匹配。

可选地，所述装置还包括：

模型更新模块，用于根据所述多个综合测试得分，对所述用例生成模型进行更新。

基于同一发明构思，本申请另一实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请上述任一实施例所述的方法中的步骤。

基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请上述任一实施例所述的方法中的步骤。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种客户端测试方法、装置、电子设备及可读存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种客户端测试方法，其特征在于，所述方法包括：

获得基础用例，所述基础用例包括至少一个用例特征；

基于所述基础用例生成测试用例：将所述基础用例和预设期望结果输入用例生成模型，通过所述用例生成模型，根据所述预设期望结果对所述基础用例的用例特征进行扩展，得到与所述基础用例对应的多个测试用例；

从所述多个测试用例中筛选出至少部分数量的测试用例，形成测试用例集合；

通过待测客户端执行所述测试用例集合中的多个测试用例，得到所述测试用例集合对应的综合测试得分；

在所述测试用例集合对应的综合测试得分大于预设阈值的情况下，确定所述测试用例集合为优选测试用例集合，以供输入到所述用例生成模型中。

2.根据权利要求1所述的客户端测试方法，其特征在于，所述测试用例集合中的每一个测试用例包括执行次数、用例权重以及扩展后的用例特征；

通过所述待测客户端执行所述测试用例集合包括的多个测试用例，得到所述测试用例集合对应的综合测试得分，包括：

针对所述测试用例集合包括的多个测试用例中的每个测试用例，将该测试用例输入待测客户端，按照该测试用例对应的执行次数，通过所述待测客户端多次执行该测试用例，得到相应的多个测试得分；

根据每个测试用例各自对应的测试得分、执行次数以及用例权重，确定所述测试用例集合对应的综合测试得分。

3.根据权利要求1所述的客户端测试方法，其特征在于，所述待测客户端是具有语音识别功能的客户端；

所述基于所述基础用例生成测试用例包括：

将所述基础用例结合预设期望结果和环境参数输入用例生成模型，通过所述用例生成模型，根据所述预设期望结果和环境参数对所述基础用例的用例特征进行扩展，得到与所述基础用例对应的多个测试用例。

4.根据权利要求3所述的客户端测试方法，其特征在于，所述基础用例的用例特征包括词条，所述环境参数包括语速、输入间隔、输入音量、噪音中的一个或多个的音频特征；

通过所述用例生成模型，根据所述预设期望结果对所述基础用例的用例特征进行扩展，包括：

通过所述用例生成模型，根据所述预设期望结果对所述基础用例的词条、语速、输入间隔、输入音量、噪音中的至少一者进行扩展。

5.根据权利要求4所述的客户端测试方法，其特征在于，所述环境参数还包括硬件性能参数；

通过所述待测客户端执行所述测试用例集合包括的多个测试用例，包括：

针对所述测试用例集合包括的多个测试用例中的每个测试用例，根据该测试用例对应的扩展后的硬件性能参数，将该测试用例输入目标硬件设备上运行的待测客户端中，以通过待测客户端执行该测试用例，所述目标硬件设备的硬件性能参数与该测试用例的硬件性能参数匹配。

6.根据权利要求1所述的客户端测试方法，其特征在于，所述方法还包括：

根据所述综合测试得分，对所述用例生成模型进行更新。

7.一种客户端测试装置，其特征在于，所述装置包括：

基础用例获得模块，用于获得基础用例，所述基础用例包括至少一个用例特征；

基础用例扩展模块，用于基于所述基础用例生成测试用例：将所述基础用例和预设期望结果输入用例生成模型，通过所述用例生成模型，根据所述预设期望结果对所述基础用例的用例特征进行扩展，得到与所述基础用例对应的多个测试用例；

测试用例筛选模块，用于从所述多个测试用例中筛选出至少部分数量的测试用例，形成测试用例集合；

客户端测试模块，用于通过待测客户端执行所述测试用例集合中的多个测试用例，得到所述测试用例集合对应的综合测试得分；

优选集合确定模块，用于在所述测试用例集合对应的综合测试得分大于预设阈值的情况下，确定所述测试用例集合为优选测试用例集合，以供输入到所述用例生成模型中。

8.根据权利要求7所述的装置，其特征在于，所述测试用例集合中的每一个测试用例包括执行次数、用例权重以及扩展后的用例特征；

所述客户端测试模块包括：

客户端测试子模块，用于针对多个测试用例集合中的每个测试用例集合，并针对该测试用例集合包括的多个测试用例中的每个测试用例，将该测试用例输入待测客户端，按照该测试用例对应的执行次数，通过所述待测客户端多次执行该测试用例，得到相应的多个测试得分；

综合测试得分确定子模块，用于针对多个测试用例集合中的每个测试用例集合，根据该测试用例集合中每个测试用例各自对应的测试得分、执行次数以及用例权重，确定该测试用例集合对应的综合测试得分。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1至6任一所述的客户端测试方法中的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至6任一所述的客户端测试方法的步骤。

Images