CN115687078A - 测试案例评估方法、装置、设备、介质和程序产品 - Google Patents

Abstract

本公开提供了一种测试案例评估方法、装置、设备、介质和程序产品，涉及计算机技术领域，具体涉及软件测试技术领域，可以应用于金融技术领域。该测试案例评估方法包括：确定测试案例集合中任意两个测试案例之间的相似度数值；根据相似度数值，对测试案例集合中的测试案例进行聚类，得到至少一个测试案例聚类集合；以及根据评估规则，确定每一个测试案例聚类集合中的每一个测试案例的评估值，其中，评估规则表征评估测试案例的参考优先顺序的规则。

Description

测试案例评估方法、装置、设备、介质和程序产品

技术领域

本公开涉及计算机技术领域，具体涉及软件测试技术领域，更具体地涉及一种测试案例评估方法、装置、设备、介质和程序产品。

背景技术

软件测试作为当前软件研发过程中的一个重要环节，工作质量和效率非常重要，测试用例是对一项特定的软件产品进行测试任务的描述，体现测试方案、方法、技术和策略。

发明内容

鉴于上述问题，本公开提供了一种测试案例评估方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种测试案例评估方法，包括：确定测试案例集合中任意两个测试案例之间的相似度数值；根据相似度数值，对测试案例集合中的测试案例进行聚类，得到至少一个测试案例聚类集合；以及根据评估规则，确定每一个测试案例聚类集合中的每一个测试案例的评估值，其中，评估规则表征评估测试案例的参考优先顺序的规则。

根据本公开的实施例，测试案例包括输入参数数据和步骤描述数据，相似度数值包括第一相似度数值、第二相似度数值和目标相似度数值；确定测试案例集合中任意两个测试案例之间的相似度数值包括：根据输入参数数据，确定任意两个测试案例之间的第一相似度数值；根据步骤描述数据，确定任意两个测试案例之间的第二相似度数值；以及根据第一相似度数值和第二相似度数值，确定测试案例集合中任意两个测试案例之间的目标相似度数值。

根据本公开的实施例，测试案例聚类集合包括第一聚类集合和第二聚类集合；根据相似度数值，对测试案例集合中的测试案例进行聚类，得到至少一个测试案例聚类集合包括：将第一相似度数值大于或者等于第一阈值的两个测试案例作为第一聚类集合的元素，得到至少一个第一聚类集合；以及将第二相似度数值大于或者等于第二阈值的两个测试案例作为第二聚类集合的元素，得到至少一个第二聚类集合。

根据本公开的实施例，评估值包括基础评估值和目标评估值；根据评估规则，确定每一个测试案例聚类集合中的每一个测试案例的评估值包括：初始化每一个测试案例的基础评估值；以及根据第一维度、第二维度以及第三维度中的至少一个，调整基础评估值，得到每一个测试案例的目标评估值，其中，第一维度表征测试案例是否由执行脚本执行、第二维度表征测试案例的执行脚本是否执行成功、第三维度表征测试案例是否被引用。

根据本公开的实施例的测试案例评估方法，还包括：针对任意一个第一聚类集合，根据自动化测试案例的基础评估值的总和与第一聚类集合的全量测试案例的目标评估值的总和之间的比值，确定第一聚类集合参考优先比值，其中，自动化测试案例是第一维度对应由执行脚本执行的测试案例；针对任意一个第二聚类集合，根据自动化测试案例的基础评估值的总和与第二聚类集合的全量测试案例的目标评估值的总和之间的比值，确定第二聚类集合参考优先比值；以及根据第一聚类集合参考优先比值与第二聚类集合参考优先比值，确定目标参考优先比值。

根据本公开的实施例的测试案例评估方法，还包括以下中的至少一个：根据目标参考优先比值，对第一聚类集合与第二聚类集合进行排序，得到排序后的第一聚类集合与第二聚类集合；或者根据目标相似度数值，对第一聚类集合与第二聚类集合的测试案例进行排序，得到排序后的测试案例。

根据本公开的实施例的测试案例评估方法，还包括：根据评估值，从测试案例集合中确定待实现自动化测试案例的参考测试案例；以及根据参考测试案例对应的执行脚本，确定以下中的至少一个：执行脚本参考数据、执行脚本执行时间参考数据。

本公开的又一方面提供了一种测试案例评估装置，包括：相似度数值确定模块、聚类模块以及评估值确定模块。相似度数值确定模块，用于确定测试案例集合中任意两个测试案例之间的相似度数值；聚类模块，用于根据相似度数值，对测试案例集合中的测试案例进行聚类，得到至少一个测试案例聚类集合；评估值确定模块，用于根据评估规则，确定每一个测试案例聚类集合中的每一个测试案例的评估值，其中，评估规则表征评估测试案例的参考优先顺序的规则。

本公开的又一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述测试案例评估方法。

本公开的又一方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述测试案例评估方法。

本公开的又一方面还提供了一种计算机程序产品，包括计算机程序，计算机程序存储于可读存储介质和电子设备其中至少之一上，该计算机程序被处理器执行时实现上述测试案例评估方法。

根据本公开实施例的测试案例评估方法，至少可以实现以下技术效果之一。

(1)通过根据测试案例集合中任意两个测试案例之间的相似度数值，对测试案例集合中的测试案例进行聚类，得到测试案例聚类集合，同属于一个测试案例聚类集合的测试案例的相似程度更高，相似程度例如体现在对应相同或者类似的测试功能等，这将使得测试人员在遇到例如需要从测试案例集合中查找可供当前测试参考的测试案例时，可以将测试案例聚类集合的测试案例作为参考，高效地为测试人员提供更为充足的参考资源。

(2)评估规则表征评估测试案例的参考优先顺序的规则，因此，通过评估规则确定的测试案例的评估值可以反映测试案例的参考意义的高低。由此，可以准确地向例如测试人员等提供测试案例集合中每一个测试案例的参考优先级，便于测试人员有区分地、高效地从测试案例集合中确定对于当前测试任务更具参考意义的测试案例。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的测试案例评估方法、装置、设备、介质和程序产品的架构图；

图2示意性示出了根据本公开实施例的测试案例评估方法的流程图；

图3示意性示出了根据本公开另一实施例的测试案例评估方法的确定测试案例集合中任意两个测试案例之间的相似度数值的流程图；

图4示意性示出了根据本公开又一实施例的测试案例评估方法的得到至少一个测试案例聚类集合的流程图；

图5示意性示出了根据本公开又一实施例的测试案例评估方法的确定测试案例的评估值的流程图；

图6示意性示出了根据本公开又一实施例的测试案例评估方法的流程图；

图7示意性示出了根据本公开实施例的测试案例评估装置的结构框图；以及

图8示意性示出了根据本公开实施例的适于实现测试案例评估方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

在互联网技术、计算机技术发展越来越成熟的今天，企业大量的业务转向通过线上系统进行办理，不再通过手工纸质办理的模式，随着信息化技术的发展，各种应用系统的研发架构也越来越复杂，各类软件系统的功能也越来越多，对于软件研发部门来说，系统中研发上线的功能也随着版本研发的多期迭代，研发规模变的原来越大。

软件测试作为当前软件研发过程中的一个重要环节，工作质量和效率非常重要，测试用例是对一项特定的软件产品进行测试任务的描述，体现测试方案、方法、技术和策略。企业等在进行软件开发时，需要对新开发或者更新的版本、功能等进行测试，测试案例作为软件测试的描述，是一种测试资产。例如可以通过人工或者执行脚本的自动化的方式，根据测试案例执行测试。

例如，在面对大型系统进行功能优化研发时，每期版本会编写大量的测试案例。因为有很多功能不是版本当前修改的内容，但为了保证版本修改对这些功能确实没有影响，通常会通过建设测试案例资产库的模式，来提高测试案例的复用度，降低每期版本重复编写相同功能测试案例的工作量投入。

在版本进入测试阶段后，测试案例资产库中的案例会被测试人员进行引用的方式，引入到当期版本中进行当期版本需要测试的内容，当测试人员对该测试案例对应的功能测试验证完成后，再通过对测试案例状态进行反馈的方式，形成一个测试案例验证结果的闭环。当测试阶段结束后，测试质控岗位角色人员对所有测试案例的验证情况进行归集，然后经过评估后，作出该版本是否达到可交付投产上线的决策。

当测试案例资产库中的测试案例数量少时，测试人员在版本测试的过程中可以通过手工执行验证的模式进行验证，但随着现在每个系统的功能规模原来越庞大，相互之间的交互关系也越来越复杂，测试案例资产库中的案例积累的数量也越来越多，在当前版本研发周期越来越短的趋势下，传统手工执行验证的模式已经无法满足当前版本研发节奏的需要。

在这种情况下，大量的大型企业引入了自动化测试技术来解决测试执行人员资源有限与测试案例资产库中需验证测试案例数量庞大的矛盾，因为测试案例资产库中的测试案例在每期版本中都需要进行测试验证，实现自动化测试的投入产出性价比较高，成为了各个企业在自动化测试实施工程落地过程中主要目标。

受限于企业可用的人力资源投入限制，具备自动化测试脚本开发能力的人员是有限的，但测试案例资产库中的测试案例数量又非常庞大，自动化测试开发人员在对需进行自动化实现的测试案例进行工程实施排程的过程中，缺乏有效的实现计划决策依据。同时，对纳入实现计划的测试案例进行自动化测试脚本研发时，无法有效地对测试案例库中的已自动化资产进行智能分析，导致自动化测试开发人员每次编制脚本时都基于自己的经验或者是主观判断来进行分析和复用，导致自动化脚本编写的工作效率低下。

需要说明的是，本公开实施例确定的方法和装置可用于金融领域，也可用于除金融领域之外的任意领域，本公开实施例对测试用例评估方法和装置的应用领域不做限定。

在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

图1示意性示出了根据本公开实施例的测试案例评估方法和装置的架构图。

如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103、网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。终端设备101、102、103上可以存储测试案例集合。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。服务器105可以对测试案例集合中的测试案例进行评估。

需要说明的是，本公开实施例所提供的测试案例评估方法一般可以由服务器105执行。相应地，本公开实施例所提供的测试案例评估装置一般可以设置于服务器105中。本公开实施例所提供的测试案例评估方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的测试案例评估装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的系统架构，通过图2～图6对公开实施例的测试案例评估方法进行详细描述。

图2示意性示出了根据本公开实施例的测试案例评估方法200的流程图。

如图2所示，该实施例的测试案例评估方法200包括操作S210～操作S230。

在操作S210，确定测试案例集合中任意两个测试案例之间的相似度数值。

例如，在一些企业中，测试案例集合以测试案例资产库的形式存在。测试案例集合例如可以包括存量的测试案例。

在操作S220，根据相似度数值，对测试案例集合中的测试案例进行聚类，得到至少一个测试案例聚类集合。

在操作S230，根据评估规则，确定每一个测试案例聚类集合中的每一个测试案例的评估值。

评估规则表征评估测试案例的参考优先顺序的规则。

根据本公开实施例的测试案例评估方法，通过根据测试案例集合中任意两个测试案例之间的相似度数值，对测试案例集合中的测试案例进行聚类，得到测试案例聚类集合，同属于一个测试案例聚类集合的测试案例的相似程度更高，相似程度例如体现在对应相同或者类似的测试功能等，这将使得测试人员在遇到例如需要从测试案例集合中查找可供当前测试参考的测试案例时，可以将测试案例聚类集合的测试案例作为参考，高效地为测试人员提供更为充足的参考资源。

根据本公开实施例的测试案例评估方法，评估规则表征评估测试案例的参考优先顺序的规则，因此，通过评估规则确定的测试案例的评估值可以反映测试案例的参考意义的高低。由此，可以准确地向例如测试人员等提供测试案例集合中每一个测试案例的参考优先级，便于测试人员有区分地、高效地从测试案例集合中确定对于当前测试任务更具参考意义的测试案例。

图3示意性示出了根据本公开另一实施例的测试案例评估方法的确定测试案例集合中任意两个测试案例之间的相似度数值的流程图。

测试案例包括输入参数数据和步骤描述数据，相似度数值包括第一相似度数值、第二相似度数值和目标相似度数值。

如图3所示，例如可以利用以下实施例实现操作S310的确定测试案例集合中任意两个测试案例之间的相似度数值的具体示例。

在操作S311，根据输入参数数据，确定任意两个测试案例之间的第一相似度数值。

测试案例可以反映操作流程，可以理解，软件系统的操作涉及输入数据和输出数据等，输入参数输入可以理解为输入数据的参数数据，例如，参数数据为恒量或者变量等。输入参数数据与当前的具体操作相关。根据输入参数数据，确定的测试案例之间的第一相似度数值可以准确地反映测试案例之间的相似程度。

在操作S312，根据步骤描述数据，确定任意两个测试案例之间的第二相似度数值。

步骤描述数据可以理解为描述操作步骤的数据，步骤描述数据的细粒度更小，因此，根据步骤描述数据确定的测试案例之间的第二相似度数值也可以更准确地反映测试案例之间的相似程度。

在操作S313，根据第一相似度数值和第二相似度数值，确定测试案例集合中任意两个测试案例之间的目标相似度数值。

由于测试案例是一种描述测试操作流程的文本。因此测试案例与操作流程紧密相关，根据本公开实施例的测试案例评估方法，匹配于测试案例与软件系统的操作流程紧密相关的特点，根据输入参数数据与步骤描述综合反映操作流程，由此，结合输入参数数据和步骤描述数据这两个维度确定的目标相似度数值可以准确地反映测试案例之间的相似程度。

示例性地，例如可以在操作S220之前执行上述操作S311～操作S313。

图4示意性示出了根据本公开又一实施例的测试案例评估方法的得到至少一个测试案例聚类集合的流程图。

测试案例聚类集合包括第一聚类集合和第二聚类集合。

如图4所示，例如可以利用以下实施例实现根据相似度数值，对测试案例集合中的测试案例进行聚类，得到至少一个测试案例聚类集合的具体示例。

在操作S421，将第一相似度数值大于或者等于第一阈值的两个测试案例作为第一聚类集合的元素，得到至少一个第一聚类集合。

在操作S422，将第二相似度数值大于或者等于第二阈值的两个测试案例作为第二聚类集合的元素，得到至少一个第二聚类集合。

示例性地，第一阈值和第二阈值可以在0.4～0.8的范围内取值。

第一相似度数值表征测试案例之间关于输入参数数据的相似程度，第二相似度数值表征测试案例之间关于步骤描述数据的相似程度，根据本公开实施例的测试案例评估方法，分别通过根据第一相似度数值与第二相似度数值聚合得到的第一聚类集合、第二聚类集合也分别与输入参数数据、步骤描述数据相关，可以实现细粒度的测试案例聚合。

需要说明的是，对于任意两个测试案例，可以分别从输入参数数据的维度和步骤描述数据的维度进行第一相似度数值和第二相似度数值的表征，基于此，可以分别得到与第一相似度数值对应的第一聚类集合和与第二相似度数值对应的第二聚类集合。

示例性地，例如可以在操作S210之后执行上述操作S421～操作S422。

图5示意性示出了根据本公开又一实施例的测试案例评估方法的确定测试案例的评估值的流程图。

评估值包括基础评估值和目标评估值。

如图5所示，例如可以利用以下实施例实现根据评估规则，确定每一个测试案例聚类集合中的每一个测试案例的评估值的具体示例。

在操作S531，初始化每一个测试案例的基础评估值。

在操作S532，根据第一维度、第二维度以及第三维度中的至少一个，调整基础评估值，得到每一个测试案例的目标评估值。

第一维度表征测试案例是否由执行脚本执行、第二维度表征测试案例的执行脚本是否执行成功，第三维度表征测试案例是否被引用。

示例性地，例如可以将每一个测试案例的基础评估值设置为5。

示例性地，针对每一个测试案例，在第一维度，在测试案例由执行脚本执行的情况下，例如可以在基础评估值的基础上加10。在测试案例不是由执行脚本执行的情况下，例如可以在基础评估值的基础上减2。

示例性地，针对每一个测试案例，在第二维度，测试案例的执行脚本在最近的5次执行记录中，每执行成功一次，例如可以在基础评估值的基础上加1，每执行失败一次，例如可以在基础评估值的基础上减1。

示例性地，针对每一个测试案例，在第三维度，如果在最近的5次历史引用记录中，测试案例每被引用一次，例如可以在基础评估值的基础上加2，如果测试案例没有被引用，则不调整基础评估值。

以根据第一维度、第二维度以及第三维度，确定目标评估值为例进行说明。例如，某一测试案例Test-case1具有执行脚本(可以理解为该测试案例实现自动化)，在最近的5次执行记录中，执行成功了两次，失败三次，该测试案例在历史的5次引用记录中均被引用，则可以确定该测试案例Test-case1的目标评估值为24。即目标评估值24＝5(基础评估值)+10(第一维度)+(2-3)(第二维度)+10(第三维度)。

第一维度表征测试案例是否由执行脚本执行。可以理解，由执行脚本执行的测试案例实现自动化，在实际的应用场景中，测试人员处理测试任务时，已经自动化的测试案例对应的执行脚本例如可以复用，因此，本公开实施例的测试案例评估方法，通过将第一维度纳入目标评估值的确定因素，可以有效提高测试案例以及测试案例对应的执行脚本的复用性。

第二维度表征测试案例的执行脚本是否执行成功。可以理解，执行脚本是否执行成功是执行脚本可以反映执行脚本的有效性。本公开实施例的测试案例评估方法，通过将第二维度纳入目标评估值的确定因素，可以提高测试案例对应的执行脚本的复用效率。

第三维度表征测试案例是否被引用。测试案例被引用可以反映测试案例重要性等特点，例如，核心功能对应的测试案例在每一次版本测试中均需要被引用(被测试)或者基础功能对应的测试案例在每一次版本测试中也常被引用。本公开实施例的测试案例评估方法，通过将第三维度纳入目标评估值的确定因素，确定的目标评估值可以准确反映对应的测试案例的参考优先顺序。

根据本公开实施例的测试案例评估方法，以第一维度、第二维度以及第三维度中的至少一个，综合确定的测试案例的目标评估值可以更加准确和全面地评估测试案例的参考优先顺序，目标评估值可以作为测试人员参考的依据。测试人员例如可以根据目标评估值，作出测试任务的安排等。

示例性地，例如可以在操作S220之后执行上述操作S531～操作S532。

图6示意性示出了根据本公开又一实施例的测试案例评估方法600的流程图。

如图6所示，根据本公开又一实施例的测试案例评估方法600例如可以包括：操作S640～操作S660。

在操作S640，针对任意一个第一聚类集合，根据自动化测试案例的目标评估值的总和与第一聚类集合的全量测试案例的目标评估值的总和之间的比值，确定第一聚类集合参考优先比值。

自动化测试案例是第一维度对应由执行脚本执行的测试案例。

例如，某一个第一聚类集合Set1，包括T-case1至T-case5的5个测试案例。T-case1至T-case3的第一维度对应由执行脚本执行(即T-case1至T-case3为自动化测试案例)，T-case1至T-case5的目标评估值分别为：12、21、14、3、3(T-case4和T-case5的目标评估值为3＝基础评估值5-2)，由此可以确定第一聚类集合Set1的第一聚类集合参考优先比值为0.8868(四舍五入后的数值)。

在操作S650，针对任意一个第二聚类集合，根据自动化测试案例的目标评估值的总和与第二聚类集合的全量测试案例的目标评估值的总和之间的比值，确定第二聚类集合参考优先比值。

在操作S660，根据第一聚类集合参考优先比值与第二聚类集合参考优先比值，确定目标参考优先比值。

第一聚类集合参考优先比值可以反映第一聚类集合的测试案例整体的参考优先顺序，第二聚类集合参考优先比值可以反映第二聚类集合的测试案例整体的参考优先顺序。根据本公开实施例的测试案例评估方法，通过根据第一聚类集合参考优先比值与第二聚类集合参考优先比值确定的目标参考优先比值，可以从测试案例聚类集合的维度，表征测试案例集合的测试案例的参考优先顺序。

示例性地，例如可以在操作S230之后执行上述的操作S640～操作S660。

图6还示意性示出了根据本公开又一实施例的测试案例评估方法的流程图。

如图6所示，根据本公开又一实施例的测试案例评估方法例如还可以包括以下中的至少一个：操作S670～ 操作S680。

在操作S670，根据目标参考优先比值，对第一聚类集合与第二聚类集合进行排序，得到排序后的第一聚类集合与第二聚类集合。

在操作S680，根据目标相似度数值，对第一聚类集合与第二聚类集合的测试案例进行排序，得到排序后的测试案例。

根据本公开实施例的测试案例评估方法，通过根据目标参考优先比值对第一聚类集合与第二聚类集合进行排序或者根据目标相似度数值，对第一聚类集合与第二聚类集合的测试案例进行排序，可以将更具参考意义的测试案例或者测试案例聚类集合排在前面，例如可以向测试人员提供直观的参考。

示例性地，例如可以根据目标参考优先比值，对第一聚类集合与第二聚类集合进行排序，得到排序后的第一聚类集合与第二聚类集合，然后根据目标相似度数值，对每一个第一聚类集合与每一个第二聚类集合的测试案例进行排序，得到每一个第一聚类集合中排序后的测试案例和每一个第二聚类集合中排序后的测试案例。

示例性地，例如可以在操作S230之后执行上述操作S670～操作S680。

图6还示意性示出了根据本公开又一实施例的测试案例评估方法的流程图。

如图6所示，根据本公开又一实施例的测试案例评估方法例如可以包括以下操作：操作S690～操作S611。

在操作S690，根据评估值，从测试案例集合中确定待实现自动化测试案例的参考测试案例。

在操作S611，根据参考测试案例对应的执行脚本，确定以下中的至少一个：执行脚本参考数据、执行脚本执行时间参考数据。

示例性地，例如可以将参考测试案例所属的测试案例聚类集合中评估值最高的三个测试案例的执行脚本的执行时间平均值作为执行脚本执行时间参考数据。

根据本公开实施例的测试案例评估方法，可以根据评估值，从测试案例集合中确定待实现自动化测试案例的参考测试案例，还可以根据参考测试案例对应的执行脚本，确定执行脚本参考数据、执行脚本执行时间参考数据等用于测试人员参考并编写当前测试任务的执行脚本，实现当前测试任务的测试案例自动化以及合理计划测试任务等。

综上所述，根据本公开实施例的测试案例评估方法，可以综合考虑测试案例相似度、测试案例引用情况等因子，并将相关分析信息提供给测试人员对自动化测试工程计划编排进行动态调整是进行参考，同时在编制执行时，能够智能地对已有的测试案例对应的自动化脚本代码资产进行分析，通过智能评估的方式，形成高效的资产复用机制，提高自动化工程实施的效率。

具体地，通过对测试案例集合的测试案例本身信息进行相似度分析的结果，结合近期版本的测试案例引用情况，例如可以对待实现自动化的测试案例清单进行智能评估，形成有序清单列表及每个测试案例预估完成所需时长，供自动化测试人员排布实施计划时进行参考。

通过对近期执行脚本执行结果和执行频度的分析，在测试人员编制待实现测试案例的执行脚本时，免去了测试人员手工筛选、查阅、比较的工作量，通过智能化的评估结果，形成可复用度高的脚本代码模块，形成自动化脚本草稿模板，供自动化测试人员进行改造使用。测试案例聚类集合中的测试案例相似度更高，因此其可复用的资产越高，相似度越高的测试案例实现自动化后，执行越频繁，成功率越高，说明自动化的性价比越高，这部分测试案例自动化优先实现，可以极大的提高执行脚本开发效率，节约了宝贵的人力资源和时间资源。

基于上述测试案例评估方法，本公开还提供了一种测试案例评估装置。以下将结合图7对该装置进行详细描述。

图7示意性示出了根据本公开实施例的测试案例评估装置的结构框图。

如图7所示，该实施例的测试案例评估装置700包括相似度数值确定模块710、聚类模块720和评估值确定模块730。

相似度数值确定模块710，用于确定测试案例集合中任意两个测试案例之间的相似度数值。

聚类模块720，用于根据相似度数值，对测试案例集合中的测试案例进行聚类，得到至少一个测试案例聚类集合。

评估值确定模块730，用于根据评估规则，确定每一个测试案例聚类集合中的每一个测试案例的评估值。

评估规则表征评估测试案例的参考优先顺序的规则。

根据本公开的实施例，测试案例包括输入参数数据和步骤描述数据，相似度数值包括第一相似度数值、第二相似度数值和目标相似度数值。相似度数值确定模块包括：

第一相似度数值确定子模块，用于根据输入参数数据，确定任意两个测试案例之间的第一相似度数值。

第二相似度数值确定子模块，用于根据步骤描述数据，确定任意两个测试案例之间的第二相似度数值。

目标相似度数值确定子模块，用于根据第一相似度数值和第二相似度数值，确定测试案例集合中任意两个测试案例之间的目标相似度数值。

根据本公开的实施例，测试案例聚类集合包括第一聚类集合和第二聚类集合。聚类模块包括：第一聚类集合确定子模块和第二聚类集合确定子模块。

第一聚类集合确定子模块，用于将第一相似度数值大于或者等于第一阈值的两个测试案例作为第一聚类集合的元素，得到至少一个第一聚类集合。

第二聚类集合确定子模块，用于将第二相似度数值大于或者等于第二阈值的两个测试案例作为第二聚类集合的元素，得到至少一个第二聚类集合。

根据本公开的实施例，评估值包括基础评估值和目标评估值。评估值确定模块包括：基础评估值确定子模块和目标评估值确定子模块。

基础评估值确定子模块，用于初始化每一个测试案例的基础评估值。

目标评估值确定子模块，用于根据第一维度、第二维度以及第三维度中的至少一个，调整基础评估值，得到每一个测试案例的目标评估值。

第一维度表征测试案例是否由执行脚本执行、第二维度表征测试案例的执行脚本是否执行成功、第三维度表征测试案例是否被引用。

根据本公开的实施例的测试案例评估装置还包括：第一聚类集合参考优先比值确定模块、第二聚类集合参考优先比值确定模块以及目标参考优先比值确定模块。

第一聚类集合参考优先比值确定模块，用于针对任意一个第一聚类集合，根据自动化测试案例的目标评估值的总和与第一聚类集合的全量测试案例的目标评估值的总和之间的比值，确定第一聚类集合参考优先比值。自动化测试案例是第一维度对应由执行脚本执行的测试案例。

第二聚类集合参考优先比值确定模块，用于针对任意一个第二聚类集合，根据自动化测试案例的目标评估值的总和与第二聚类集合的全量测试案例的目标评估值的总和之间的比值，确定第二聚类集合参考优先比值。

目标参考优先比值确定模块，用于根据第一聚类集合参考优先比值与第二聚类集合参考优先比值，确定目标参考优先比值。

根据本公开的实施例的测试案例评估装置还包括以下中的至少一个：第一排序模块或者第二排序模块。

第一排序模块，用于根据目标参考优先比值，对第一聚类集合与第二聚类集合进行排序，得到排序后的第一聚类集合与第二聚类集合。

第二排序模块，用于根据目标相似度数值，对第一聚类集合与第二聚类集合的测试案例进行排序，得到排序后的测试案例。

根据本公开的实施例的测试案例评估装置还包括参考测试案例确定模块和参考数据确定模块。

参考测试案例确定模块，用于根据评估值，从测试案例集合中确定待实现自动化测试案例的参考测试案例。

参考数据确定模块，用于根据参考测试案例对应的执行脚本，确定以下中的至少一个：执行脚本参考数据、执行脚本执行时间参考数据。

根据本公开的实施例，相似度数值确定模块710、聚类模块720和评估值确定模块730中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，相似度数值确定模块710、聚类模块720和评估值确定模块730中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，相似度数值确定模块710、聚类模块720和评估值确定模块730中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

应该理解，本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似，所解决的技术问题和所达到的技术效果也对应相同或类似，本公开在此不再赘述。

图8示意性示出了根据本公开实施例的适于实现测试案例评估方法的电子设备的方框图。

如图8所示，根据本公开实施例的电子设备800包括处理器801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 803中，存储有电子设备800操作所需的各种程序和数据。处理器801、ROM802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除ROM802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备800还可以包括输入/输出(I/O)接口805，输入/输出(I/O)接口805也连接至总线804。电子设备800还可以包括连接至I/O接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的方法。

在该计算机程序被处理器801执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (11)

1.一种测试案例评估方法，包括：

确定测试案例集合中任意两个测试案例之间的相似度数值；

根据所述相似度数值，对所述测试案例集合中的所述测试案例进行聚类，得到至少一个测试案例聚类集合；以及

根据评估规则，确定每一个所述测试案例聚类集合中的每一个所述测试案例的评估值，其中，所述评估规则表征评估所述测试案例的参考优先顺序的规则。

2.根据权利要求1所述的方法，其中，所述测试案例包括输入参数数据和步骤描述数据，所述相似度数值包括第一相似度数值、第二相似度数值和目标相似度数值；所述确定测试案例集合中任意两个测试案例之间的相似度数值包括：

根据所述输入参数数据，确定任意两个所述测试案例之间的所述第一相似度数值；

根据所述步骤描述数据，确定任意两个所述测试案例之间的所述第二相似度数值；以及

根据所述第一相似度数值和所述第二相似度数值，确定所述测试案例集合中任意两个所述测试案例之间的所述目标相似度数值。

3.根据权利要求2所述的方法，其中，所述测试案例聚类集合包括第一聚类集合和第二聚类集合；所述根据所述相似度数值，对所述测试案例集合中的所述测试案例进行聚类，得到至少一个测试案例聚类集合包括：

将所述第一相似度数值大于或者等于第一阈值的两个所述测试案例作为第一聚类集合的元素，得到至少一个所述第一聚类集合；以及

将所述第二相似度数值大于或者等于第二阈值的两个所述测试案例作为第二聚类集合的元素，得到至少一个所述第二聚类集合。

4.根据权利要求3所述的方法，其中，所述评估值包括基础评估值和目标评估值；所述根据评估规则，确定每一个所述测试案例聚类集合中的每一个所述测试案例的评估值包括：

初始化每一个所述测试案例的基础评估值；以及

根据第一维度、第二维度以及第三维度中的至少一个，调整所述基础评估值，得到每一个所述测试案例的所述目标评估值，其中，所述第一维度表征所述测试案例是否由执行脚本执行、所述第二维度表征所述测试案例的所述执行脚本是否执行成功、所述第三维度表征所述测试案例是否被引用。

5.根据权利要求4所述的方法，还包括：

针对任意一个所述第一聚类集合，根据自动化测试案例的所述目标评估值的总和与所述第一聚类集合的全量所述测试案例的所述目标评估值的总和之间的比值，确定第一聚类集合参考优先比值，其中，所述自动化测试案例是所述第一维度对应由所述执行脚本执行的所述测试案例；

针对任意一个所述第二聚类集合，根据所述自动化测试案例的所述目标评估值的总和与所述第二聚类集合的全量所述测试案例的所述目标评估值的总和之间的比值，确定第二聚类集合参考优先比值；以及

根据所述第一聚类集合参考优先比值与所述第二聚类集合参考优先比值，确定目标参考优先比值。

6.根据权利要求5所述的方法，还包括以下中的至少一个：

根据所述目标参考优先比值，对所述第一聚类集合与所述第二聚类集合进行排序，得到排序后的所述第一聚类集合与所述第二聚类集合；或者

根据所述目标相似度数值，对所述第一聚类集合与所述第二聚类集合的所述测试案例进行排序，得到排序后的所述测试案例。

7.根据权利要求1-5中任一项所述的方法，还包括：

根据所述评估值，从所述测试案例集合中确定待实现自动化测试案例的参考测试案例；以及

根据所述参考测试案例对应的执行脚本，确定以下中的至少一个：执行脚本参考数据、执行脚本执行时间参考数据。

8.一种测试案例评估装置，包括：

相似度数值确定模块，用于确定测试案例集合中任意两个测试案例之间的相似度数值；

聚类模块，用于根据所述相似度数值，对所述测试案例集合中的所述测试案例进行聚类，得到至少一个测试案例聚类集合；以及

评估值确定模块，用于根据评估规则，确定每一个所述测试案例聚类集合中的每一个所述测试案例的评估值，其中，所述评估规则表征评估所述测试案例的参考优先顺序的规则。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～7中任一项所述的方法。

11.一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序被处理器执行时实现根据权利要求1～7中任一项所述的方法。

Images