CN113326209A - 面向大规模并行测试任务的分层分段的监控和干预方法 - Google Patents

Abstract

本公开涉及一种面向大规模并行测试任务的分层分段的监控和干预方法，其中，方法包括：分别在测试项目管理、测试任务管理、测试脚本管理、测试工具封装、测试环境中部署监控代理，实现对不同类型的对象的监控，每个测试代理对应多个监控钩子点，监控代理负责接收来自监控服务器下发的监控策略，解析监控策略后，下发监控策略到各监控钩子点，每个监控钩子点采集监控数据，并对监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对异常测试任务进行处理。由此，实现对测试项目、测试任务、测试工具、测试环境等不同层次的信息统计，减少人工处理、流程干预对测试任务的性能影响，提升测试系统性能。

Description

面向大规模并行测试任务的分层分段的监控和干预方法

技术领域

本公开涉及软件测试技术领域，尤其涉及一种面向大规模并行测试任务的分层分段的监控和干预方法。

背景技术

基于大数据技术的信息流处理、智能决策、高精度仿真应用已经在航天工程项目中得到广泛推广。针对这些应用的大规模并行测试平台的研发面临诸多问题。首先，由于不同应用类型的测试任务在功能、性能、资源利用、安全性、兼容性、可靠性等方面特点，采用的测试工具、测试方法、异常诊断模式、测试记录等有较大差异。其次，大规模的并行测试任务在控中会产生大量的监控数据记录，对检测对象会形成较大的性能影响。再次，检测过程中对目标观察对象的干预使得软硬件系统的行为复杂化，进一步影响测试数据的准确性。第四，软件运行过程中，异常表征形态多样，异常触发条件与表征通常无直观的联系，难以快速定位和及时检测。最后，自动化测试系统在无人干预的环境中，对异常的检测及智能决策干预等功能设计都面临极大的技术挑战。

相关技术中，关键基础软件系统它们在整个信息生态中起到至关重要的作用。它们存在的缺陷、漏洞可能对整个系统产生影响；关键基础软件的缺陷和漏洞一旦被触发，将会产生大量的不可以预知的行为；严重的异常可能会导致应用或者系统崩溃、系统陷入死机或者死循环、导致关键资源被破坏等严重后果。关键基础软件测试触发的异常将会导致整个测试流程中断，甚至会对其它测试任务产生影响，产生不正确的测试结果。在大规模并行自动化测试过程中，测试系统必须能够对测试活动进行全方位、多层次的监控，确保软件故障发生或者性能异常时，可以通过监控信息准确、快速地定位软件异常的引发因素对于云测试系统是一个重大的挑战。目前基于云计算环境的监控管理程序多关注于单一测试应用的运行环境，默认系统硬件及虚拟化环境稳定性高、健壮可靠，监控记录信息不够充分全面。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种面向大规模并行测试任务的分层分段的监控和干预方法。

本公开提供了一种面向大规模并行测试任务的分层分段的监控和干预方法，包括：在测试项目管理、测试任务管理、测试脚本管理、测试工具封装和测试环境中部署监控代理，每个所述监控代理对应多个监控钩子点；

通过测试监控服务器获取测试项目，并获取所述测试项目对应的测试任务、测试脚本、测试工具，生成与所述测试项目、所述测试任务、所述测试脚本、所述测试工具对应的监控策略；

通过所述监控代理接收测试监控服务器下发的所述监控策略，对所述监控策略进行解析，确定对应每个所述监控钩子点的监控开关状态，并根据所述监控开关状态控制每个所述监控钩子点的监控开关，将所述监控策略下发给每个所述监控钩子点，以使每个所述监控钩子点根据接收的监控策略进行采集，获取监控数据；

通过所述监控代理接收每个所述监控钩子点采集到的监控数据，并将所述监控数据按照所述测试项目、所述测试任务、所述测试脚本、所述测试工具的模式，存储到测试监控数据库中；

通过测试监控服务器从所述测试监控数据库中获取所述监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对所述异常测试任务进行处理。

在本公开一个可选实施例中，所述通过测试监控服务器从所述测试监控数据库中获取所述监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对所述异常测试任务进行处理，包括：

所述测试监控服务器根据所述分析结果确定在测试程序运行时间超过预定阈值激活的测试超时标志事件，在设定宽限时间内继续执行测试程序，并记录超时异常测试程序名称，进程信息，超时事件，测试虚拟机平台快照中的一种或者多种信息；和/或，

所述测试监控服务器根据所述分析结果确定在测试脚本运行时出现命令未发现错误时激活命令缺失事件，根据未知命令从软件源下载并分发到测试虚拟机平台，或者从所述测试监控服务器分发到所述测试虚拟机平台并进行安装，所述测试监控服务器记录缺失命令名称，并控制测试平台从缺失命令名称对应的命令开始恢复运行；和/或，

所述测试监控服务器根据所述分析结果确定在虚拟机活跃状态数据为非运行或者无法找到虚拟机时激活测试环境异常事件，对测试环境进行重新初始化，并重新启动测试任务，同时记录环境失败事件和重启测试任务事件及测试结果文件；和/或，

所述测试监控服务器根据所述分析结果确定监控内存使用率超过预设内存阈值，所述测试监控服务器控制测试程序停止运行，并记录当前资源使用率，根据当前总空闲内存资源，按照比例扩展测试环境的虚拟机资源，同时调整并发测试的虚拟机数量，重启测试步骤；和/或，

所述测试监控服务器根据所述分析结果确定测试任务运行过程中有程序出现异常退出情况，激活测试任务中断事件，并将中断出现次数记录值加一，在记录值小于预设中断阈值内，记录错误信息，修改新任务为出错程序之后的运行脚本内容，发送到所述监控代理，继续测试；和/或，

所述监控服务器根据所述分析结果确定测试项没有运行结果时激活非正常退出事件，通过测试日志匹配错误内容，终止包含错误运行程序的测试任务，合并相同的错误信息及出错的程序记录。

在本公开一个可选实施例中，所述的面向大规模并行测试任务的分层分段的监控和干预方法，还包括：

获取监控指标，并将监控指标关联多个标签；

根据所述监控指标将所述监控数据进行任意维度的组合存储在所述测试监控数据库中。

在本公开一个可选实施例中，所述测试监控数据库为本地时序数据库。

在本公开一个可选实施例中，所述的面向大规模并行测试任务的分层分段的监控和干预方法，还包括：

新建、导入测试任务或打开一个历史测试任务，将测试任务加载到工作界面，启动测试任务后，在面板上会显示测试任务执行进度和执行结果；或，

通过操作页面中查看所有测试任务的执行情况，并暂停指定执行中测试任务，以及对已停止运行的测试任务进行恢复执行操作，任务将恢复前一次暂停状态现场，继续执行；或，

通过操作页面中查看所有测试任务的运行情况，并停止指定执行中的测试任务，以及对已停止的测试任务进行关闭操作，则测试任务会成为已完成状态；或，

跟踪和记录通过任务调度功能下发的测试任务执行结果，以供用户查看；或，

指定测试任务行动步骤的特定阶段进行启动操作，只执行特定阶段行动；

指定测试任务行动步骤执行中的特定阶段进行暂停执行的操作，暂停特定阶段行动，针对已暂停的行动步骤，进行恢复执行操作，行动将恢复前一次暂停状态现场，继续执行；

终止指定测试任务行动步骤的特定阶段，暂停特定阶段行动；

任务从接收、策划、执行、结果进行跟踪并全生命周期记录详细的操作日志与运行日志，以使用户查看、检索与跟踪分析。

本公开提供了一种面向大规模并行测试任务的分层分段的监控和干预装置，在测试项目管理、测试任务管理、测试脚本管理、测试工具封装和测试环境中部署监控代理，每个所述监控代理对应多个监控钩子点；

生成策略模块，用于通过测试监控服务器获取测试项目，并获取所述测试项目对应的测试任务、测试脚本、测试工具，生成与所述测试项目、所述测试任务、所述测试脚本、所述测试工具对应的监控策略；

发送策略模块，用于通过所述监控代理接收测试监控服务器下发的所述监控策略，对所述监控策略进行解析，确定对应每个所述监控钩子点的监控开关状态，并根据所述监控开关状态控制每个所述监控钩子点的监控开关，将所述监控策略下发给每个所述监控钩子点，以使每个所述监控钩子点根据接收的监控策略进行采集，获取监控数据；

接收存储数据模块，用于通过所述监控代理接收每个所述监控钩子点采集到的监控数据，并将所述监控数据按照所述测试项目、所述测试任务、所述测试脚本、所述测试工具的模式，存储到测试监控数据库中；

分析干预模块，用于通过测试监控服务器从所述测试监控数据库中获取所述监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对所述异常测试任务进行处理。

在本公开一个可选实施例中，所述分析干预模块，具体用于：

所述测试监控服务器根据所述分析结果确定在测试程序运行时间超过预定阈值激活的测试超时标志事件，在设定宽限时间内继续执行测试程序，并记录超时异常测试程序名称，进程信息，超时事件，测试虚拟机平台快照中的一种或者多种信息；和/或，

所述测试监控服务器根据所述分析结果确定在测试脚本运行时出现命令未发现错误时激活命令缺失事件，根据未知命令从软件源下载并分发到测试虚拟机平台，或者从所述测试监控服务器分发到所述测试虚拟机平台并进行安装，所述测试监控服务器记录缺失命令名称，并控制测试平台从缺失命令名称对应的命令开始恢复运行；和/或，

所述测试监控服务器根据所述分析结果确定在虚拟机活跃状态数据为非运行或者无法找到虚拟机时激活测试环境异常事件，对测试环境进行重新初始化，并重新启动测试任务，同时记录环境失败事件和重启测试任务事件及测试结果文件；和/或，

所述测试监控服务器根据所述分析结果确定监控内存使用率超过预设内存阈值，所述测试监控服务器控制测试程序停止运行，并记录当前资源使用率，根据当前总空闲内存资源，按照比例扩展测试环境的虚拟机资源，同时调整并发测试的虚拟机数量，重启测试步骤；和/或，

所述测试监控服务器根据所述分析结果确定测试任务运行过程中有程序出现异常退出情况，激活测试任务中断事件，并将中断出现次数记录值加一，在记录值小于预设中断阈值内，记录错误信息，修改新任务为出错程序之后的运行脚本内容，发送到所述监控代理，继续测试；和/或，

所述监控服务器根据所述分析结果确定测试项没有运行结果时激活非正常退出事件，通过测试日志匹配错误内容，终止包含错误运行程序的相关测试任务，合并相同的错误信息及出错的程序记录。

在本公开一个可选实施例中，所述的面向大规模并行测试任务的分层分段的监控和干预装置，还包括：

获取关联模块，用于获取监控指标，并将监控指标关联多个标签；

组合存储模块，用于根据所述监控指标将所述监控数据进行任意维度的组合存储在所述测试监控数据库中。

本公开提供了一种电子设备，其特征在于，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现前述所述的面向大规模并行测试任务的分层分段的监控和干预方法。

本公开提供了一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行前述所述的面向大规模并行测试任务的分层分段的监控和干预方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

通过分别在测试项目管理、测试任务管理、测试脚本管理、测试工具封装、测试环境中部署监控代理，实现对不同类型的对象的监控，每个测试代理对应多个监控钩子点，监控代理负责接收来自监控服务器下发的监控策略，解析监控策略后，下发监控策略到各监控钩子点，每个监控钩子点采集监控数据，并对监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对异常测试任务进行处理。由此，实现对测试项目、测试任务、测试工具、测试环境等不同层次的信息统计，减少人工处理、流程干预对测试任务的性能影响，提升测试系统性能。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种面向大规模并行测试任务的分层分段的监控和干预方法的流程示意图；

图2为本公开实施例所述面向大规模并行测试任务的分层分段的监控和干预方法的场景示例图；

图3为本公开实施例提供的一种面向大规模并行测试任务的分层分段的监控和干预方法装置的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

目前，支持虚拟化和高性能集群的云计算平台为上述测试需求提供了解决途径。由于云计算平台的灵活性、高弹性、可扩展性、良好的独立性，大规模并行自动化测试任务也可以在云平台上进行快速测试环境创建、测试工具部署以及高级测试任务调度。

基于云计算平台的大规模并行测试管理系统的核心包括：测试监控功能框架、深度监控模块、测试控制模块。测试监控框架采用基于网络的服务器/客户端方案的测试控制模式，并通过数据库的交互操作进行测试数据的收集、整理、持久化存储。在此框架上实行深度监控功能，完成对测试任务、测试数据集、测试用例、测试环境、测试工具、被测部件的全面监控。框架还须实行对同一测试环境下的不同测试组合进行配置，框架可对测试任务模块及其动作步骤的各阶段的启动、暂停、终止等状态实施控制并记录运行结果，完成日志存储等功能。

本公开针对大规模并行测试任务，提出一种通用的分层分段式的深度监控和自动干预测试系统，该测试系统集成到云计算环境中，支持自动化软件环境部署、多配置并发测试、分层式深度监控、智能测试行为控制干预、测试结果持久化等。

具体地，面向大规模并行测试任务的分层分段测试自动干预是本公开面临的一个关键技术挑战之一。传统测试过程中测试异常的处理往往需要人工干预，利用测试人员的知识和技能作为支撑，采取恰当措施进行干预，然后手动恢复软件测试流程，而在大规模自动化并行测试中，测试管理系统需要自动检测并捕获测试软件异常，根据知识库推断异常的原因，并通过技术手段恢复异常中断并使测试软件继续运行，测试系统的自动化干预测试异常的智能决策处理面临极大的技术挑战。目前大多数的测试程序或系统缺失自动干预功能，在测试对象出现运行异常的情况下很难处理异常并恢复运行。

本公开的目的是提供一种面向大规模并行测试任务的分层分段的监控和干预方法，解决大规模云测试平台环境下的自动化测试部署、网格化信息监控、智能化异常干预的核心问题。本公开实现分层、分段监控方法，实现对测试项目、测试任务、测试集、测试用例、被测件、测试工具、测试环境等不同层次监控；对同一测试环境中的不同测试组合的横向分段监控。

本公开研究典型的测试异常，结合关键基础软件的测试经验和知识，形成典型测试异常的处理策略，比如监控服务器将监控指标及对应的监控数据进行处理后与控制干预策略进行匹配，在异常匹配的情况下，包括：监控服务器在测试程序运行时间超过预定阈值激活的测试超时标志事件，干预策略在设定宽限时间内继续执行测试程序，并记录此超时异常测试程序名称，进程信息，超时事件，测试虚拟机平台快照等信息，干预策略进行主动的超时等待，保证测试任务的持续进行；监控服务器在测试脚本运行时出现命令未发现错误时激活命令缺失事件，干预策略根据未知命令自动从软件源下载并分发到测试虚拟机平台，或者从监控服务器分发到测试虚拟机并进行安装，监控服务器记录相关的缺失命令名称，并控制测试平台从该命令开始恢复运行，干预策略可恢复测试中由于工具缺失造成的测试中断；监控服务器在虚拟机活跃状态数据为非运行或者无法找到虚拟机时激活测试环境异常事件，干预策略对测试环境进行重新初始化，并重新启动测试任务的尝试，同时记录环境失败事件和重启测试任务事件及测试结果文件，该策略可以减少系统不稳定情况下的重启测试任务的人工操作步骤。监控的内存使用率超过阈值激活资源不足标志事件，监控服务器终止相关测试程序，并记录资源使用率，干预策略根据系统当前的总空闲内存资源，按照比例扩展测试环境的虚拟机资源，同时调整并发测试的虚拟机数量，重启测试步骤。该策略可减少人工的参数配置干预，提高测试的自动化程度。监控服务器检测到程序并未正常结束，相关测试项没有运行结果时激活非正常退出事件，干预策略通过测试日志匹配相关错误内容，自动终止包含错误运行程序的相关测试任务，合并相同的错误信息及出错的程序记录，避免测试资源的浪费，提高人工排查的效率，实现已知异常的自动化快速处理，从而提高系统监控的信息完整性，提升云计算测试平台的智能水平，提高测试任务的工作效率。

图1为本公开实施例提供的一种面向大规模并行测试任务的分层分段的监控和干预方法的流程示意图。

具体地，在测试项目管理、测试任务管理、测试脚本管理、测试工具封装和测试环境中部署监控代理，实现对不同类型的对象的监控。每个监控代理对应多个监控钩子点，监控代理与测试监控服务器建立连接。

如图1所示，包括：

步骤101，通过测试监控服务器获取测试项目，并获取测试项目对应的测试任务、测试脚本、测试工具，生成与测试项目、测试任务、测试脚本、测试工具对应的监控策略。

在本公开实施例中，测试项目可以包括一个或者多个测试任务，测试任务可以包括一个或者多个测试脚本，测试脚本可以包括一个或者多个测试工具的封装。

在本公开实施例中，监控策略指的是监控哪些测试项目，以及特定项目中哪些测试任务、测试脚本、测试工具需要监控，以及监控时间、监控频率等。

在本公开实施例中，测试人员可以配置监控策略，对不同测试项目、不同的测试任务实施不同的监控策略，从而实现横向分段监控能力。

在本公开实施例中，对于任意的测试项目，可以从测试项目、测试任务、测试脚本、测试工具和测试环境分别配置不同的监控策略，从而实现纵向层次化监控。

步骤102，通过监控代理接收测试监控服务器下发的监控策略，对监控策略进行解析，确定对应每个监控钩子点的监控开关状态，并根据监控开关状态控制每个监控钩子点的监控开关，将监控策略下发给每个监控钩子点，以使每个监控钩子点根据接收的监控策略进行采集，获取监控数据。

步骤103，通过监控代理接收每个监控钩子点采集到的监控数据，并将监控数据按照测试项目、测试任务、测试脚本、测试工具的模式，存储到测试监控数据库中。

在本公开实施例中，测试监控服务器负责发布监控策略，以及接收来自于监控钩子点采集到的监控数据，并且将监控数据按照分层分段的模式，存储到测试监控数据库中。为了追溯测试执行活动的时序特征，还可以接入时态数据库作实行测试监控数据的持久化功能。

在本公开实施例中，每个测试代理存在多个监控钩子点，每个监控钩子点采集某具体的状态或者事件数据。监控代理负责接收来自测试监控服务器下发的监控策略，解析监控策略后，下发监控策略到各监控钩子点。每个监控钩子点设置一个监控开关，根据监控策略要求处于On/off（开/关）状态之一。

由此，测试监控服务器下发监控策略，监控代理可以设置各种层次的监控钩子点的监控开关，从而形成灵活的监控能力。

步骤104，通过测试监控服务器从测试监控数据库中获取监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对异常测试任务进行处理。

在本公开实施例中，将监控数据与监控阈值进行比较，在监控数据超过监控阈值的情况下，则确定监控数据对应的测试任务为异常测试任务。

作为一种场景举例，如图2所示，测试监控服务器与测试监控数据库连接，测试监控服务器与监控代理连接，每个监控代理对应多个监控钩子点，监控代理负责接收来自监控服务器下发的监控策略，解析监控策略后，下发监控策略到各监控钩子点，每个监控钩子点采集监控数据，并对监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对异常测试任务进行处理。

综上所述，本公开的一种面向大规模并行测试任务的分层分段的监控和干预方法，通过分别在测试项目管理、测试任务管理、测试脚本管理、测试工具封装、测试环境中部署监控代理，实现对不同类型的对象的监控，每个测试代理对应多个监控钩子点，监控代理负责接收来自监控服务器下发的监控策略，解析监控策略后，下发监控策略到各监控钩子点，每个监控钩子点采集监控数据，并对监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对异常测试任务进行处理。由此，实现对测试项目、测试任务、测试工具、测试环境等不同层次的信息统计，减少人工处理、流程干预对测试任务的性能影响，提升测试系统性能。

在本公开一个可选实现方式中，获取监控指标，并将监控指标关联多个标签，根据监控指标将监控数据进行任意维度的组合存储在测试监控数据库中。

具体地，提供多维度数据模型和灵活的查询方式，通过将监控指标关联多个标签，来将监控数据进行任意维度的组合，并且提供简单的查询方式，还提供超文本传输协议查询接口，可以结合图形用户界面组件展示数据。

举例而言，监控计算密集型应用时，多维数据模型指的是虚拟机平台的相关资源检测指标数据，应用程序的相关功能模块测试指标数据，（纵向平台数据指标，横向的多种测试程序的多种监测参数指标），假设监控指标为程序的计算性能FOO_CPU_METRIC，关联测试任务标签code，虚拟机平台的物理参数标签instance，测试程序标签job，监控服务通过目标出安装的数据采集模块提供的HTTP（Hyper Text Transfer Protocol，超文本传输协议）接口查询收集数据，数据例子为：

FOO_CPU_METRIC {code=’100’，instance=’192.168.1.145:9090’， job=’Foo’}54.12，其中，54.12为记录数值，数据最终通过webUI（Website User Interface，网络产品界面设计）组件显示在网页中）。

在本公开一个可选实现方式中，测试监控数据库为本地时序数据库。

具体地，在不依赖外部存储的情况下，支持服务器节点的本地存储，通过与本地时序数据库通讯，可以完成每秒千万级的数据存储；在保存大量历史数据的场景中，也可以对接第三方时序数据库等。

在本公开一个可选实现方式中，定义了开放指标数据标准，以基于超文本传输协议的拉取方式采集和Prometheus系统（一个云计算基础项目，是一个系统和服务监控系统）兼容OpenTSDB（开源监控系统）时序数据，只有实现了Prometheus格式的监控数据格式的监控数据才可以被系统采集、汇总，并支持以推送方式向中间网关（大量的虚拟机收集测试数据结果发送到存储数据库，中间网关根据检测内容、标签将这些数据进行分流到不同的数据库中，减少流量压力，网关同时实现数据服务功能提供HTTP查询接口）推送时序列数据，能更加灵活地应对多种监控场。

在本公开一个可选实现方式中，支持通过yml（以.yml为后缀的文件，是一种直观的能够被电脑识别的数据序列化格式，并且容易被人类阅读，容易和脚本语言交互的，一种专门用来写配置文件的语言），json（JavaScript Object Notation，一种轻量级的数据交换格式）等格式的包含虚拟机资源，测试软件环境，测试程序，测试参数等静态文件配置和动态发现机制（询问目标的HTTP接口）发现包含（多层次的虚拟机、测试程序）等监控对象，自动完成数据采集。支持多种服务发现机制，可以减少运维人员的手动配置环节，在容器运行环境中尤为重要。

在本公开一个可选实现方式中，支持监控数据的分层分段采样和云平台部署，支持大规模集群监控。

在本公开一个可选实现方式中，通过测试监控服务器从测试监控数据库中获取监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对异常测试任务进行处理，包括：测试监控服务器根据分析结果确定在测试程序运行时间超过预定阈值激活的测试超时标志事件，在设定宽限时间内继续执行测试程序，并记录超时异常测试程序名称，进程信息，超时事件，测试虚拟机平台快照中的一种或者多种信息；和/或，测试监控服务器根据所述分析结果确定在测试脚本运行时出现命令未发现错误时激活命令缺失事件，根据未知命令从软件源下载并分发到测试虚拟机平台，或者从测试监控服务器分发到测试虚拟机平台并进行安装，测试监控服务器记录缺失命令名称，并控制测试平台从缺失命令名称对应的命令开始恢复运行；和/或，测试监控服务器根据分析结果确定在虚拟机活跃状态数据为非运行或者无法找到虚拟机时激活测试环境异常事件，对测试环境进行重新初始化，并重新启动测试任务，同时记录环境失败事件和重启测试任务事件及测试结果文件；和/或，测试监控服务器根据分析结果确定监控内存使用率超过预设内存阈值，测试监控服务器控制测试程序停止运行，并记录当前资源使用率，根据当前总空闲内存资源，按照比例扩展测试环境的虚拟机资源，同时调整并发测试的虚拟机数量，重启测试步骤；和/或，测试监控服务器根据分析结果确定测试任务运行过程中有程序出现异常退出情况，激活测试任务中断事件，并将中断出现次数记录值加一，在记录值小于预设中断阈值内，记录错误信息，修改新任务为出错程序之后的运行脚本内容，发送到监控代理，继续测试；和/或，监控服务器根据分析结果确定测试项没有运行结果时激活非正常退出事件，通过测试日志匹配错误内容，终止包含错误运行程序的相关测试任务，合并相同的错误信息及出错的程序记录。

具体地，测试监控服务器将监控指标及对应的监控数据进行处理后与控制干预策略进行匹配，在异常匹配的情况下，包括：测试监控服务器在测试程序运行时间超过预定阈值激活的测试超时标志事件，干预策略在设定宽限时间内继续执行测试程序，并记录此超时异常测试程序名称，进程信息，超时事件，测试虚拟机平台快照等信息，干预策略进行主动的超时等待，保证测试任务的持续进行；测试监控服务器在测试脚本运行时出现命令未发现错误时激活命令缺失事件，干预策略根据未知命令自动从软件源下载并分发到测试虚拟机平台，或者从监控服务器分发到测试虚拟机并进行安装，监控服务器记录相关的缺失命令名称，并控制测试平台从该命令开始恢复运行，干预策略可恢复测试中由于工具缺失造成的测试中断；测试监控服务器在虚拟机活跃状态数据为非运行或者无法找到虚拟机时激活测试环境异常事件，干预策略对测试环境进行重新初始化，并重新启动测试任务的尝试，同时记录环境失败事件和重启测试任务事件及测试结果文件，该策略可以减少系统不稳定情况下的重启测试任务的人工操作步骤；测试监控的内存使用率超过阈值激活资源不足标志事件，测试监控服务器终止相关测试程序，并记录资源使用率，干预策略根据系统当前的总空闲内存资源，按照比例扩展测试环境的虚拟机资源，同时调整并发测试的虚拟机数量，重启测试步骤，该策略可减少人工的参数配置干预，提高测试的自动化程度；测试监控服务器检测到测试任务运行过程中有程序出现异常退出情况，此时激活测试任务中断事件，并将中断出现次数记录值加1，为了使测试可持续进行，在预设中断允许最大次数范围内，干预策略记录错误信息，然后修改新任务为出错程序之后的运行脚本内容，发送到测试代理，继续测试，这样可以尽可能的快速完成整体测试任务，尽快得到相对完整的测试结果。

在本公开一个可选实现方式中，新建、导入测试任务或打开一个历史测试任务，将测试任务加载到工作界面，启动测试任务后，在面板上会显示测试任务执行进度和执行结果；或，通过操作页面中查看所有测试任务的执行情况，并暂停指定执行中测试任务，以及对已停止运行的测试任务进行恢复执行操作，任务将恢复前一次暂停状态现场，继续执行；或，通过操作页面中查看所有测试任务的运行情况，并停止指定执行中的测试任务，以及对已停止的测试任务进行关闭操作，则测试任务会成为已完成状态；或，跟踪和记录通过任务调度功能下发的测试任务执行结果，以供用户查看；或，指定测试任务行动步骤的特定阶段进行启动操作，只执行特定阶段行动；或，根据监控系统的干预指令进行相关操作；指定测试任务行动步骤执行中的特定阶段进行暂停执行的操作，暂停特定阶段行动，针对已暂停的行动步骤，进行恢复执行操作，行动将恢复前一次暂停状态现场，继续执行；终止指定测试任务行动步骤的特定阶段，暂停特定阶段行动；任务从接收、策划、执行、结果进行跟踪并全生命周期记录详细的操作日志与运行日志，以使用户查看、检索与跟踪分析。

另外，监控的内存使用率超过阈值激活资源不足标志事件，监控服务器终止相关测试程序，并记录资源使用率，干预策略根据系统当前的总空闲内存资源，按照比例扩展测试环境的虚拟机资源，同时调整并发测试的虚拟机数量，重启测试步骤，该策略可减少人工的参数配置干预，提高测试的自动化程度。监控服务器检测到程序并未正常结束，相关测试项没有运行结果时激活非正常退出事件，干预策略通过测试日志匹配相关错误内容，自动终止包含错误运行程序的相关测试任务，合并相同的错误信息及出错的程序记录，避免测试资源的浪费，提高人工排查的效率，实现已知异常的自动化快速处理，从而提高系统监控的信息完整性，提升云计算测试平台的智能水平，提高测试任务的工作效率。

本公开通过分层分段的深度监控和自动干预测试方式，实现对测试项目、测试任务、测试集、测试用例、被测件、测试工具、测试环境等不同层次的信息统计，通过智能化的测试任务干预方法，减少人工处理、流程干预对测试任务的性能影响，从而提升测试系统性能。

具体地，云平台测试框架的引入（kubernetes, 基于容器的集群管理平台），可以实行快速的测试环境创建、测试任务部署，虚拟化的技术在降低不同测试项目和任务之间的干扰的同时，降低了测试费用便于本测试技术的推广使用。

具体地，以监控配置策略为指导的立方网格实现分层、分段监控模式，可部署灵活、全面的系统信息收集方案，对测试系统和目标任务进行实现状态、流程、进度和异常等多角度、多层次的时统监控。

具体地，对于测试任务中可能出现的异常中断现象，可以根据软件知识及工程师经验形成智能决策系统，干预处理异常（监控测试运行时间，超长了，决策系统仍然继续运行程序保证测试的持续；运行时间远超预测时间3-4倍未结束，智能决策系统测试程序出问题，提前结束运行，记录系统运行快照；监控系统运行提升缺失相关程序中断，智能决策系统自动下载程序，恢复测试继续运行；云平台系统存在不稳定因素导致虚拟机关闭，决策系统尝试重启虚拟机，重新开始测试任务；虚拟机运行中资源占用率过高，智能决策系统根据云平台的资源利用情况，自动调整虚拟机资源种类及并行任务数量），保证测试任务持续运行。

由此，本公开分层分段的深度监控和自动干预测试方式，可以更加灵活的配置更加测试场景，完整立体地记录软件测试场景信息，引入智能的管理干预方法处理测试任务流程中的异常及中断事件，保证测试流水线执行顺畅。从而提升测试平台的性能。

图3为本公开实施例提供的一种面向大规模并行测试任务的分层分段的监控和干预方法装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中。在测试项目管理、测试任务管理、测试脚本管理、测试工具封装和测试环境中部署监控代理，每个所述监控代理对应多个监控钩子点。

如图3所示，该装置包括：

生成策略模块301，用于通过测试监控服务器获取测试项目，并获取测试项目对应的测试任务、测试脚本、测试工具，生成与测试项目、测试任务、测试脚本、测试工具对应的监控策略。

发送策略模块302，用于通过监控代理接收测试监控服务器下发的监控策略，对监控策略进行解析，确定对应每个监控钩子点的监控开关状态，并根据监控开关状态控制每个监控钩子点的监控开关，将监控策略下发给每个监控钩子点，以使每个监控钩子点根据接收的监控策略进行采集，获取监控数据。

接收存储数据模块303，用于通过监控代理接收每个监控钩子点采集到的监控数据，并将监控数据按照测试项目、测试任务、测试脚本、测试工具的模式，存储到测试监控数据库中。

分析干预模块304，用于通过测试监控服务器从测试监控数据库中获取监控数据进行分析，根据分析结果确定异常测试任时，根据干预策略对异常测试任务进行处理。

可选的，分析干预模块304，具体用于：测试监控服务器根据分析结果确定在测试程序运行时间超过预定阈值激活的测试超时标志事件，在设定宽限时间内继续执行测试程序，并记录超时异常测试程序名称，进程信息，超时事件，测试虚拟机平台快照中的一种或者多种信息；和/或，测试监控服务器根据分析结果确定在测试脚本运行时出现命令未发现错误时激活命令缺失事件，根据未知命令从软件源下载并分发到测试虚拟机平台，或者从测试监控服务器分发到所述测试虚拟机平台并进行安装，测试监控服务器记录缺失命令名称，并控制测试平台从缺失命令名称对应的命令开始恢复运行；和/或，测试监控服务器根据分析结果确定在虚拟机活跃状态数据为非运行或者无法找到虚拟机时激活测试环境异常事件，对测试环境进行重新初始化，并重新启动测试任务，同时记录环境失败事件和重启测试任务事件及测试结果文件；和/或，测试监控服务器根据分析结果确定监控内存使用率超过预设内存阈值，测试监控服务器控制测试程序停止运行，并记录当前资源使用率，根据当前总空闲内存资源，按照比例扩展测试环境的虚拟机资源，同时调整并发测试的虚拟机数量，重启测试步骤；和/或，测试监控服务器根据分析结果确定测试任务运行过程中有程序出现异常退出情况，激活测试任务中断事件，并将中断出现次数记录值加一，在记录值小于预设中断阈值内，记录错误信息，修改新任务为出错程序之后的运行脚本内容，发送到监控代理，继续测试；和/或，监控服务器根据分析结果确定测试项没有运行结果时激活非正常退出事件，通过测试日志匹配错误内容，终止包含错误运行程序的相关测试任务，合并相同的错误信息及出错的程序记录。

可选的，所述装置，还包括：获取关联模块，用于获取监控指标，并将监控指标关联多个标签；组合存储模块，用于根据监控指标将监控数据进行任意维度的组合存储在测试监控数据库中。

可选的，测试监控数据库为本地时序数据库。

可选的，所述装置，还包括任务处理模块，用于新建、导入测试任务或打开一个历史测试任务，将测试任务加载到工作界面，启动测试任务后，在面板上会显示测试任务执行进度和执行结果；或，通过操作页面中查看所有测试任务的执行情况，并暂停指定执行中测试任务，以及对已停止运行的测试任务进行恢复执行操作，任务将恢复前一次暂停状态现场，继续执行；或，通过操作页面中查看所有测试任务的运行情况，并停止指定执行中的测试任务，以及对已停止的测试任务进行关闭操作，则测试任务会成为已完成状态；或，跟踪和记录通过任务调度功能下发的测试任务执行结果，以供用户查看；或，指定测试任务行动步骤的特定阶段进行启动操作，只执行特定阶段行动；指定测试任务行动步骤执行中的特定阶段进行暂停执行的操作，暂停特定阶段行动，针对已暂停的行动步骤，进行恢复执行操作，行动将恢复前一次暂停状态现场，继续执行；终止指定测试任务行动步骤的特定阶段，暂停特定阶段行动；任务从接收、策划、执行、结果进行跟踪并全生命周期记录详细的操作日志与运行日志，以使用户查看、检索与跟踪分析。

综上所述，本公开的一种面向大规模并行测试任务的分层分段的监控和干预装置，通过分别在测试项目管理、测试任务管理、测试脚本管理、测试工具封装、测试环境中部署监控代理，实现对不同类型的对象的监控，每个测试代理对应多个监控钩子点，监控代理负责接收来自监控服务器下发的监控策略，解析监控策略后，下发监控策略到各监控钩子点，每个监控钩子点采集监控数据，并对监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对异常测试任务进行处理。由此，实现对测试项目、测试任务、测试工具、测试环境等不同层次的信息统计，减少人工处理、流程干预对测试任务的性能影响，提升测试系统性能。

根据本公开的一个或多个实施例，本公开提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开提供的任一所述的面向大规模并行测试任务的分层分段的监控和干预方法。

根据本公开的一个或多个实施例，本公开提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开提供的任一所述的面向大规模并行测试任务的分层分段的监控和干预方法。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种面向大规模并行测试任务的分层分段的监控和干预方法，其特征在于，包括：在测试项目管理、测试任务管理、测试脚本管理、测试工具封装和测试环境中部署监控代理，每个所述监控代理对应多个监控钩子点；

通过测试监控服务器获取测试项目，并获取所述测试项目对应的测试任务、测试脚本、测试工具，生成与所述测试项目、所述测试任务、所述测试脚本、所述测试工具对应的监控策略；

通过所述监控代理接收测试监控服务器下发的所述监控策略，对所述监控策略进行解析，确定对应每个所述监控钩子点的监控开关状态，并根据所述监控开关状态控制每个所述监控钩子点的监控开关，将所述监控策略下发给每个所述监控钩子点，以使每个所述监控钩子点根据接收的监控策略进行采集，获取监控数据；

通过所述监控代理接收每个所述监控钩子点采集到的监控数据，并将所述监控数据按照所述测试项目、所述测试任务、所述测试脚本、所述测试工具的模式，存储到测试监控数据库中；

通过测试监控服务器从所述测试监控数据库中获取所述监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对所述异常测试任务进行处理。

2.根据权利要求1所述的面向大规模并行测试任务的分层分段的监控和干预方法，其特征在于，所述通过测试监控服务器从所述测试监控数据库中获取所述监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对所述异常测试任务进行处理，包括：

所述测试监控服务器根据所述分析结果确定在测试程序运行时间超过预定阈值激活的测试超时标志事件，在设定宽限时间内继续执行测试程序，并记录超时异常测试程序名称，进程信息，超时事件，测试虚拟机平台快照中的一种或者多种信息；和/或，

所述测试监控服务器根据所述分析结果确定在测试脚本运行时出现命令未发现错误时激活命令缺失事件，根据未知命令从软件源下载并分发到测试虚拟机平台，或者从所述测试监控服务器分发到所述测试虚拟机平台并进行安装，所述测试监控服务器记录缺失命令名称，并控制测试平台从缺失命令名称对应的命令开始恢复运行；和/或，

所述测试监控服务器根据所述分析结果确定在虚拟机活跃状态数据为非运行或者无法找到虚拟机时激活测试环境异常事件，对测试环境进行重新初始化，并重新启动测试任务，同时记录环境失败事件和重启测试任务事件及测试结果文件；和/或，

所述测试监控服务器根据所述分析结果确定监控内存使用率超过预设内存阈值，所述测试监控服务器控制测试程序停止运行，并记录当前资源使用率，根据当前总空闲内存资源，按照预设比例扩展测试环境的虚拟机资源，同时调整并发测试的虚拟机数量，重启测试步骤；和/或，

所述测试监控服务器根据所述分析结果确定测试任务运行过程中有程序出现异常退出情况，激活测试任务中断事件，并将中断出现次数记录值加一，在记录值小于预设中断阈值内，记录错误信息，修改新任务为出错程序之后的运行脚本内容，发送到所述监控代理，继续测试；和/或，

所述监控服务器根据所述分析结果确定测试项没有运行结果时激活非正常退出事件，通过测试日志匹配错误内容，终止包含错误运行程序的测试任务，合并相同的错误信息及出错的程序记录。

3.根据权利要求1所述的面向大规模并行测试任务的分层分段的监控和干预方法，其特征在于，还包括：

获取监控指标，并将监控指标关联多个标签；

根据所述监控指标将所述监控数据进行任意维度的组合存储在所述测试监控数据库中。

4.根据权利要求1所述的面向大规模并行测试任务的分层分段的监控和干预方法，其特征在于，

所述测试监控数据库为本地时序数据库。

5.根据权利要求1所述的面向大规模并行测试任务的分层分段的监控和干预方法，其特征在于，还包括：

新建、导入测试任务或打开一个历史测试任务，将测试任务加载到工作界面，启动测试任务后，在面板上会显示测试任务执行进度和执行结果；或，

通过操作页面中查看所有测试任务的执行情况，并暂停指定执行中测试任务，以及对已停止运行的测试任务进行恢复执行操作，任务将恢复前一次暂停状态现场，继续执行；或，

通过操作页面中查看所有测试任务的运行情况，并停止指定执行中的测试任务，以及对已停止的测试任务进行关闭操作，则测试任务会成为已完成状态；或，

跟踪和记录通过任务调度功能下发的测试任务执行结果，以供用户查看；或，

指定测试任务行动步骤的特定阶段进行启动操作，只执行特定阶段行动；

指定测试任务行动步骤执行中的特定阶段进行暂停执行的操作，暂停特定阶段行动，针对已暂停的行动步骤，进行恢复执行操作，行动将恢复前一次暂停状态现场，继续执行；

终止指定测试任务行动步骤的特定阶段，暂停特定阶段行动；

任务从接收、策划、执行、结果进行跟踪并全生命周期记录详细的操作日志与运行日志，以使用户查看、检索与跟踪分析。

6.一种面向大规模并行测试任务的分层分段的监控和干预装置，其特征在于，包括：在测试项目管理、测试任务管理、测试脚本管理、测试工具封装和测试环境中部署监控代理，每个所述监控代理对应多个监控钩子点；

生成策略模块，用于通过测试监控服务器获取测试项目，并获取所述测试项目对应的测试任务、测试脚本、测试工具，生成与所述测试项目、所述测试任务、所述测试脚本、所述测试工具对应的监控策略；

发送策略模块，用于通过所述监控代理接收测试监控服务器下发的所述监控策略，对所述监控策略进行解析，确定对应每个所述监控钩子点的监控开关状态，并根据所述监控开关状态控制每个所述监控钩子点的监控开关，将所述监控策略下发给每个所述监控钩子点，以使每个所述监控钩子点根据接收的监控策略进行采集，获取监控数据；

接收存储数据模块，用于通过所述监控代理接收每个所述监控钩子点采集到的监控数据，并将所述监控数据按照所述测试项目、所述测试任务、所述测试脚本、所述测试工具的模式，存储到测试监控数据库中；

分析干预模块，用于通过测试监控服务器从所述测试监控数据库中获取所述监控数据进行分析，根据分析结果确定异常测试任务时，根据干预策略对所述异常测试任务进行处理。

7.根据权利要求6所述的面向大规模并行测试任务的分层分段的监控和干预装置，其特征在于，所述分析干预模块，具体用于：

所述测试监控服务器根据所述分析结果确定在测试程序运行时间超过预定阈值激活的测试超时标志事件，在设定宽限时间内继续执行测试程序，并记录超时异常测试程序名称，进程信息，超时事件，测试虚拟机平台快照中的一种或者多种信息；和/或，

所述测试监控服务器根据所述分析结果确定在测试脚本运行时出现命令未发现错误时激活命令缺失事件，根据未知命令从软件源下载并分发到测试虚拟机平台，或者从所述测试监控服务器分发到所述测试虚拟机平台并进行安装，所述测试监控服务器记录缺失命令名称，并控制测试平台从缺失命令名称对应的命令开始恢复运行；和/或，

所述测试监控服务器根据所述分析结果确定在虚拟机活跃状态数据为非运行或者无法找到虚拟机时激活测试环境异常事件，对测试环境进行重新初始化，并重新启动测试任务，同时记录环境失败事件和重启测试任务事件及测试结果文件；和/或，

所述测试监控服务器根据所述分析结果确定监控内存使用率超过预设内存阈值，所述测试监控服务器控制测试程序停止运行，并记录当前资源使用率，根据当前总空闲内存资源，按照比例扩展测试环境的虚拟机资源，同时调整并发测试的虚拟机数量，重启测试步骤；和/或，

所述测试监控服务器根据所述分析结果确定测试任务运行过程中有程序出现异常退出情况，激活测试任务中断事件，并将中断出现次数记录值加一，在记录值小于预设中断阈值内，记录错误信息，修改新任务为出错程序之后的运行脚本内容，发送到所述监控代理，继续测试；和/或，

所述监控服务器根据所述分析结果确定测试项没有运行结果时激活非正常退出事件，通过测试日志匹配错误内容，终止包含错误运行程序的测试任务，合并相同的错误信息及出错的程序记录。

8.根据权利要求6所述的面向大规模并行测试任务的分层分段的监控和干预装置，其特征在于，还包括：

获取关联模块，用于获取监控指标，并将监控指标关联多个标签；

组合存储模块，用于根据所述监控指标将所述监控数据进行任意维度的组合存储在所述测试监控数据库中。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-5中任一所述的面向大规模并行测试任务的分层分段的监控和干预方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-5中任一所述的面向大规模并行测试任务的分层分段的监控和干预方法。

Images