CN114416518A - 测试用例指标的验证方法及装置、电子设备和存储介质 - Google Patents

Abstract

本公开公开了测试用例指标的验证方法、装置、电子设备和存储介质，涉及车辆技术领域，主要技术方案包括：根据测试用例需求获取待验证用例指标，所述待验证用例指标是基于所述测试用例需求得到的执行结果信息，确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，所述执行步骤是验证所述待验证用例指标需要执行的操作步骤，根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证，以确定所述待验证用例指标是否可用。与相关技术相比，本申请实施例在基于测试用例需求获取待验证用例指标，并根据待验证用例指标的执行步骤执行验证后，以预先设定的目标数据为参考，能确保待验证用例指标的验证结果的准确性。

Description

测试用例指标的验证方法及装置、电子设备和存储介质

技术领域

本公开涉及车辆技术领域，尤其涉及一种测试用例指标的验证方法及装置、电子设备和存储介质。

背景技术

随着科技快速发展，车辆的功能及逻辑日趋复杂，为保证车辆功能稳定及安全，需要通过大量的测试用例进行覆盖，由于在生成测试用例时，所需的测试用例指标均需人工确认，且由人工完成测试用例指标的验证，导致验证测试用例指标的效率较低，并且出错率高。

发明内容

本公开提供了一种测试用例指标的验证方及装置、电子设备和存储介质。

根据本公开的一方面，提供了一种测试用例指标的验证方法，其中，包括：

根据测试用例需求获取待验证用例指标，所述待验证用例指标是基于所述测试用例需求得到的执行结果信息；

确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，所述执行步骤是验证所述待验证用例指标需要执行的操作步骤；

根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证，以确定所述待验证用例指标是否可用。

可选的，根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证，以确定所述待验证用例指标是否可用包括：

当所述待验证用例指标的执行结果与所述目标数据的差异在允许误差范围内时，确认所述待验证用例指标未存在异常，并基于验证后的用例指标生成测试用例；

当所述待验证用例指标的执行结果与所述目标数据的差异超过所述允许误差范围时，确认所述待验证用例指标存在异常，并输出所述待验证用例指标异常的提示信息。

可选的，确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，包括：

从预先定义的配置文件中确定所述待验证用例指标的执行步骤；

从所述配置文件中确定所述执行步骤对应的实现方式或执行参数；

根据所述实现方式或执行参数执行所述待验证用例指标。

可选的，在完成一次对所述待验证用例指标的验证后，所述方法还包括：

若确定任意所述执行步骤对应的实现方式或执行参数存在更新，则跳过对未更新的实现方式或执行参数的验证；

对存在更新的实现方式或执行参数进行重新执行及验证。

可选的，所述测试用例需求中包括N个待验证用例指标，N为大于等于一的正整数；

确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标包括：

对N个待验证用例指标分别基于预设调度器确定与所述待验证用例指标对应的执行步骤。

可选的，在完成第一个所述待验证用例指标的验证后，所述方法还包括：

根据第N+1个待验证用例指标，从所述预先定义的配置文件中确定第二执行步骤，所述第二执行步骤为所述第N+1个待验证用例指标的至少两个执行步骤；

确定所述第二执行步骤与第一个待验证用例指标至第N个待验证用例指标的执行步骤中是否存在相同执行步骤；

若确定存在相同执行步骤，则获取所述相同执行步骤的执行结果；

执行并验证所述第二执行步骤中除所述相同执行步骤外的其他执行步骤。

可选的，在根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证之后，所述方法还包括：

将验证结果通过离线方式推送至数据接收端，以便所述数据接收端对所述验证结果进行实时查看。

根据本公开的另一方面，还提供一种测试用例指标的验证装置，包括：

获取单元，用于根据测试用例需求获取待验证用例指标，所述待验证用例指标是基于所述测试用例需求得到的执行结果信息；

执行单元，用于确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，所述执行步骤是验证所述待验证用例指标需要执行的操作步骤；

第一验证单元，用于根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证，以确定所述待验证用例指标是否可用。

可选的，所述第一验证单元包括：

第一确认模块，用于当所述待验证用例指标的执行结果与所述目标数据的差异在允许误差范围内时，确认所述待验证用例指标未存在异常，并基于验证后的用例指标生成测试用例；

第二确认模块，用于当所述待验证用例指标的执行结果与所述目标数据的差异超过所述允许误差范围时，确认所述待验证用例指标存在异常，并输出所述待验证用例指标异常的提示信息。

可选的，所述执行单元包括：

第一确定模块，用于在所述执行单元确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标之前，从预先定义的配置文件中确定所述待验证用例指标的执行步骤，所述执行步骤包括对车辆的操作事件、对车辆的执行事件或对流程控制事件中的至少两个；

第二确定模块，用于从所述配置文件中确定所述执行步骤对应的实现方式或执行参数；

执行模块，用于根据所述实现方式或执行参数执行所述待验证用例指标。

可选的，所述测试用例需求中包括N个待验证用例指标，N为大于等于一的正整数；

所述执行单元，还用于对N个待验证用例指标分别基于预设调度器确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标。

可选的，在完成第一个所述待验证用例指标的验证后，所述装置还包括：

第三确定单元，用于根据第N+1个待验证用例指标，从所述预先定义的配置文件中确定第二执行步骤，所述第二执行步骤为所述第N+1个待验证用例指标的至少两个执行步骤；

第四确定单元，用于确定所述第二执行步骤与第一个待验证用例指标至第N个待验证用例指标的执行步骤中是否存在相同执行步骤；

第二获取单元，用于当确定存在相同执行步骤时，获取所述相同执行步骤的执行结果；

第二验证单元，用于执行并验证所述第二执行步骤中除所述相同执行步骤外的其他执行步骤。

可选的，所述装置还包括：

发送单元，用于在所述验证单元根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证之后，将验证结果通过离线方式推送至数据接收端，以便所述数据接收端对所述验证结果进行实时查看。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述一方面所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述一方面所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如前述一方面所述的方法。

本公开提供的测试用例指标的验证方法及装置、电子设备和存储介质，根据测试用例需求获取待验证用例指标，所述待验证用例指标是基于所述测试用例需求得到的执行结果信息，确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，所述执行步骤是验证所述待验证用例指标需要执行的操作步骤，根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证，以确定所述待验证用例指标是否可用。与相关技术相比，本申请实施例在基于测试用例需求获取待验证用例指标，并根据待验证用例指标的执行步骤执行验证后，以预先设定的目标数据为参考，能确保待验证用例指标的验证结果的准确性。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开实施例所提供的一种测试用例指标的验证方法的流程示意图；

图2为本公开实施例提供的一种测试用例指标的验证装置的结构示意图；

图3为本公开实施例提供的另一种测试用例指标的验证装置的结构示意图；

图4为本公开实施例提供的示例电子设备300的示意性框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本公开实施例的测试用例指标的验证方法、装置、电子设备和存储介质。

相关技术中，针对车辆的集成测试指标的获取均是手动执行，人工的方式导致测试用例开发的方法无法满足自动化测试的需求。

图1为本公开实施例所提供的一种测试用例指标的验证方法的流程示意图。

如图1所示，该方法包含以下步骤：

101.根据测试用例需求获取待验证用例指标，所述待验证用例指标是基于所述测试用例需求得到的执行结果信息。

该测试需求可以根据具体的应用场景进行设定，为了便于对测试用例需求进行理解，举例说明如下：

测试用例需求包括但不限于对车辆行驶数据的需求，如变道、车辆控制的需求，例如，启动后备箱、对有效里程的需求等中的至少一种，上述举例仅为了便于理解，而非是对测试用例需求的进一步限定，为了便于理解，下述实施例中以测试用例需求为：测试变道数据为例进行说明。

待验证用例指标为根据测试需求确定的执行结果信息，呈由上述示例测试用例需求为：测试变道数据时，待验证用例指标为指标，具体实施过程中，待验证用例指标一般从获取，所述的源数据一般为车辆，通过在车辆设置埋点获取源数据，具体的，本申请实施例对待验证用例指标的获取来源不进行限定。

102.确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，所述执行步骤是验证所述待验证用例指标需要执行的操作步骤。

所述待验证用例指标通常包含多个操作步骤，呈由步骤101的示例，当待验证用例指标为变道时，其操作步骤分为：车辆上电-当前时速-左右车道是否有行车-转向灯-等待-方向盘转向-完成变道，该些执行步骤记录于预先定义的配置文件中。

所述预先定义的配置文件中配置的执行步骤包含车辆的操作事件、对车辆的执行事件或对流程控制事件中的至少两个，每个执行步骤还对应一种实现方式或者一类执行参数。呈由上述示例，车辆上电为车辆的操作事件，当前时速为车辆执行事件，等待为对流程控制事件，方向盘转向为车辆的操作事件，具体的该些事件与操作步骤在配置文件中均有记录。

103.根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证，以确定所述待验证用例指标是否可用。

该验证过程的参考依据是预先设定的目标数据，该执行接收后直接比对针对待验证测试指标的执行结果与预先设定的目标数据即可。

作为本申请实施例的一种实现方式，在步骤101获取待验证测试指标后，将其存储于mysql数据库中，mysql数据库中除了存储有待验证测试指标外，还包含有步骤103的待验证用例指标的执行结果，mysql数据库在表设计上都预留了字段，为后期迭代准备，且考虑到测试报告数据读取频繁，会使用redis进行存储，以便加快读取速度。

本申请实施例提供的测试用例指标的验证方法，根据测试用例需求获取待验证用例指标，所述待验证用例指标是基于所述测试用例需求得到的执行结果信息，确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，所述执行步骤是验证所述待验证用例指标需要执行的操作步骤，根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证，以确定所述待验证用例指标是否可用。与相关技术相比，本申请实施例在基于测试用例需求获取待验证用例指标，并根据待验证用例指标的执行步骤执行验证后，以预先设定的目标数据为参考，能确保待验证用例指标的验证结果的准确性。

作为对步骤102的进一步细化，在步骤102执行确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，包括：从预先定义的配置文件中确定所述待验证用例指标的执行步骤，所述执行步骤包括对车辆的操作事件、对车辆的执行事件或对流程控制事件中的至少两个，从所述配置文件中确定所述执行步骤对应的实现方式或执行参数，根据所述实现方式或执行参数执行所述待验证用例指标。举例而言，如下表1所示，表1示出了本申请实施例提供的一种配置文件的部分内容：

表1

表1给出的示例呈由图1的示例，需要说明的是表1仅为示例性的说明，本发明实施例中对配置文件的具体内容不进行限定。

作为对步骤103的细化，当所述待验证用例指标的执行结果与所述目标数据的差异在允许误差范围内时，确认所述待验证用例指标未存在异常，并基于验证后的用例指标生成测试用例，在确定待验证用例指标正确后基于验证后用例指标生成测试用例，以确保测试用例生成的准确性；当所述待验证用例指标的执行结果与所述目标数据的差异超过所述允许误差范围时，确认所述待验证用例指标存在异常，并输出所述待验证用例指标异常的提示信息。上述允许误差范围为一经验值，每个执行步骤可能会对应一个允许误差范围，不同的执行步骤所对应的允许误差范围也会存在差异，该允许误差范围需要根据不同应用场景及不同执行步骤灵活变动，在此本申请实施例不再对允许误差范围进行举例说明。

输出提示信息的目的在于对存在异常的待验证用例指标进行报警，当确定待验证用例指标存在异常时，说明该车辆数据存在或者潜在存在故障，为了行车安全，对该异常数据进行预警提示，避免发生意外。

为了节省处理资源，本申请实施例中当存在下述两种场景时，当待验证用例指标中包含已验证的执行步骤时，直接跳过已验证的执行步骤，获取该执行步骤的执行结果即可：

应用场景一：

在完成一次对所述待验证用例指标的验证后，若确定任意所述执行步骤对应的实现方式或执行参数存在更新，则跳过对未更新的实现方式或执行参数的验证，对存在更新的实现方式或执行参数进行重新执行及验证。为了便于理解，举例而言，待验证用例指标的执行步骤包含5个步骤，分别为步骤1、步骤2、步骤3、步骤4以及步骤5，当步骤4中的执行参数发生变化时，如(时速由10km/h，更新为4km/h)，只对步骤4进行重新验证即可，无需对步骤1、步骤2、步骤3、以及步骤5进行重复验证，而是直接获取先前的验证结果，该种方式节省了处理资源。

应用场景二：

具体应用过程中，所述测试用例需求中包括N个待验证用例指标，N为大于等于一的正整数，确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标包括：对N个待验证用例指标分别基于预设调度器确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标。举例而言，预设调度器为azkaban，具体包括基于azkaban将确定的执行步骤存储至KV文件格式的文件中，基于所述预设调度器根据执行步骤对所述待验证用例指标进行调度。实际应用中，所述预设调度器还可以为相关技术中的任一种，例如Oozie、Hamake、Cascading中的任一种能够实现调度功能的调度器，具体调度算法可参阅相关技术，本申请实施例在此不再进行一一赘述。

当验证完第一个待验证用例之后，会顺序执行第二个、第N个验证用例的验证，不管验证多少待验证用例的数量是多少，其验证方法相同，本申请实施例对验证第N个待验证用例的方法不再进行一一赘述，可参阅上述实施例的相关描述。

为了节省计算资源，可能会存在不同待验证用例指标中包含相同执行步骤的场景，该种场景下，也无需重复对相同执行步骤进行重复验证，直接其对应的执行结果即可。具体包括：根据第N+1个待验证用例指标，从所述预先定义的配置文件中确定第二执行步骤，所述第二执行步骤为所述第N+1个待验证用例指标的至少两个执行步骤，确定所述第二执行步骤与第一个待验证用例指标至第N个待验证用例指标的执行步骤中是否存在相同执行步骤，若确定存在相同执行步骤，则获取所述相同执行步骤的执行结果，执行并验证所述第二执行步骤中除所述相同执行步骤外的其他执行步骤。

举例而言，当前执行第4个待验证用例指标的验证，执行步骤包含：步骤1、步骤2、步骤3、步骤4、步骤5以及步骤6，在执行第4个待验证用例指标之前，或确定第1个到第3个待验证用例指标对应的执行步骤中是否包含上述步骤1、步骤2、步骤3、步骤4、步骤5以及步骤6中的任一项，若第1个到第3个待验证用例指标对应的执行步骤包含步骤1与步骤6，则执行获取步骤1与步骤6的执行结果即可，仅需要对步骤2、步骤3、步骤4以及步骤5进行验证，验证方法可参与上述相关说明，本申请实施例在此不再进行赘述。上述验证方式不但能节省处理资源，还能加快验证速度。

作为对上述实施例的扩展在根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证之后，所述方法还包括：将验证结果通过离线方式推送至数据接收端，以便所述数据接收端对所述验证结果进行实时查看。所述离线方式包括但不限于邮件、电话、短消息或多端交流平台等将验证结果进行反馈，具体的本申请实施例不进行限定。

图2为本公开实施例提供的一种测试用例指标的验证装置的结构示意图，如图2所示，包括：

获取单元21，用于根据测试用例需求获取待验证用例指标，所述待验证用例指标是基于所述测试用例需求得到的执行结果信息；

执行单元22，用于确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，所述执行步骤是验证所述待验证用例指标需要执行的操作步骤；

第一验证单元23，用于根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证，以确定所述待验证用例指标是否可用。

本公开提供的测试用例指标的验证装置，根据测试用例需求获取待验证用例指标，所述待验证用例指标是基于所述测试用例需求得到的执行结果信息，确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，所述执行步骤是验证所述待验证用例指标需要执行的操作步骤，根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证，以确定所述待验证用例指标是否可用。与相关技术相比，本申请实施例在基于测试用例需求获取待验证用例指标，并根据待验证用例指标的执行步骤执行验证后，以预先设定的目标数据为参考，能确保待验证用例指标的验证结果的准确性。

进一步地，在本实施例一种可能的实现方式中，如图3所示，第一验证单元23包括：

第一确认模块231，用于当所述待验证用例指标的执行结果与所述目标数据的差异在允许误差范围内时，确认所述待验证用例指标未存在异常，并基于验证后的用例指标生成测试用例；

第二确认模块232，用于当所述待验证用例指标的执行结果与所述目标数据的差异超过所述允许误差范围时，确认所述待验证用例指标存在异常，并输出所述待验证用例指标异常的提示信息。

进一步地，在本实施例一种可能的实现方式中，如图3所示，所述执行单元22包括：

第一确定模块221，用于在所述执行单元确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标之前，从预先定义的配置文件中确定所述待验证用例指标的执行步骤，所述执行步骤包括对车辆的操作事件、对车辆的执行事件或对流程控制事件中的至少两个；

第二确定模块222，用于从所述配置文件中确定所述执行步骤对应的实现方式或执行参数；

执行模块223，用于根据所述实现方式或执行参数执行所述待验证用例指标。

进一步地，在本实施例一种可能的实现方式中，如图3所示，所述测试用例需求中包括N个待验证用例指标，N为大于等于一的正整数；

所述执行单元22，还用于对N个待验证用例指标分别基于预设调度器确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标。

进一步地，在本实施例一种可能的实现方式中，如图3所示，在完成第一个所述待验证用例指标的验证后，所述装置还包括：

第三确定单元24，用于根据第N+1个待验证用例指标，从所述预先定义的配置文件中确定第二执行步骤，所述第二执行步骤为所述第N+1个待验证用例指标的至少两个执行步骤；

第四确定单元25，用于确定所述第二执行步骤与第一个待验证用例指标至第N个待验证用例指标的执行步骤中是否存在相同执行步骤；

第二获取单元26，用于当确定存在相同执行步骤时，获取所述相同执行步骤的执行结果；

第二验证单元27，用于执行并验证所述第二执行步骤中除所述相同执行步骤外的其他执行步骤。

进一步地，在本实施例一种可能的实现方式中，如图3所示，所述装置还包括：

发送单元28，用于在所述验证单元根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证之后，将验证结果通过离线方式推送至数据接收端，以便所述数据接收端对所述验证结果进行实时查看。

需要说明的是，前述对方法实施例的解释说明，也适用于本实施例的装置，原理相同，本实施例中不再限定。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图4示出了可以用来实施本公开的实施例的示例电子设备300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图3所示，设备300包括计算单元301，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)302中的计算机程序或者从存储单元308加载到RAM(Random AccessMemory，随机访问/存取存储器)303中的计算机程序，来执行各种适当的动作和处理。在RAM303中，还可存储设备300操作所需的各种程序和数据。计算单元301、ROM 302以及RAM 303通过总线304彼此相连。I/O(Input/Output，输入/输出)接口305也连接至总线304。

设备300中的多个部件连接至I/O接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理，例如测试用例指标的验证方法。例如，在一些实施例中，测试用例指标的验证方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 302和/或通信单元309而被载入和/或安装到设备300上。当计算机程序加载到RAM 303并由计算单元301执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行前述测试用例指标的验证方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种测试用例指标的验证方法，其特征在于，包括：

根据测试用例需求获取待验证用例指标，所述待验证用例指标是基于所述测试用例需求得到的执行结果信息；

确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，所述执行步骤是验证所述待验证用例指标需要执行的操作步骤；

根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证，以确定所述待验证用例指标是否可用。

2.根据权利要求1所述的验证方法，其特征在于，根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证，以确定所述待验证用例指标是否可用，包括：

当所述待验证用例指标的执行结果与所述目标数据的差异在允许误差范围内时，确认所述待验证用例指标未存在异常，并基于验证后的用例指标生成测试用例；

当所述待验证用例指标的执行结果与所述目标数据的差异超过所述允许误差范围时，确认所述待验证用例指标存在异常，并输出所述待验证用例指标异常的提示信息。

3.根据权利要求1所述的验证方法，其特征在于，确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，包括：

从预先定义的配置文件中确定所述待验证用例指标的执行步骤；

从所述配置文件中确定所述执行步骤对应的实现方式或执行参数；

根据所述实现方式或执行参数执行所述待验证用例指标。

4.根据权利要求3所述的验证方法，其特征在于，所述测试用例需求中包括N个待验证用例指标，N为大于等于一的正整数；

确定与所述待验证用例指标对应的执行步骤包括：对N个待验证用例指标分别基于预设调度器确定与所述待验证用例指标对应的执行步骤。

5.根据权利要求4所述的验证方法，其特征在于，在完成第一个所述待验证用例指标的验证后，所述方法还包括：

根据第N+1个待验证用例指标，从所述预先定义的配置文件中确定第二执行步骤，所述第二执行步骤为所述第N+1个待验证用例指标的至少两个执行步骤；

确定所述第二执行步骤与第一个待验证用例指标至第N个待验证用例指标的执行步骤中是否存在相同执行步骤；

若确定存在相同执行步骤，则获取所述相同执行步骤的执行结果；

执行并验证所述第二执行步骤中除所述相同执行步骤外的其他执行步骤。

6.根据权利要求1-5中任一项所述的验证方法，其特征在于，在根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证之后，所述方法还包括：

将验证结果通过离线方式推送至数据接收端，以便所述数据接收端对所述验证结果进行实时查看。

7.一种测试用例指标的验证装置，其特征在于，包括：

获取单元，用于根据测试用例需求获取待验证用例指标，所述待验证用例指标是基于所述测试用例需求得到的执行结果信息；

执行单元，用于确定与所述待验证用例指标对应的执行步骤，执行所述待验证用例指标，所述执行步骤是验证所述待验证用例指标需要执行的操作步骤；

第一验证单元，用于根据预先设定的目标数据对所述待验证用例指标的执行结果进行验证，以确定所述待验证用例指标是否可用。

8.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

9.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。

Images