CN117648237B - 性能测试过程自动监控方法 - Google Patents

Abstract

本发明公开了一种性能测试过程自动监控方法，其通过采集历史测试数据，包含历史测试记录及其标签，以及采集本次测试数据，并在后端引入机器学习算法来进行历史测试数据和本次测试数据的时序协同分析，以此来判断服务器资源是否达到资源瓶颈。这样，能够实现对性能测试过程的实时监控和自动判断，减少人工介入的需求，提高测试的效率和准确性。同时，利用历史测试数据和机器学习模型进行训练，可以提高对异常情况的检测能力，减少误判的可能性。

Description

性能测试过程自动监控方法

技术领域

本发明涉及智能化自动监控技术领域，尤其涉及一种性能测试过程自动监控方法。

背景技术

性能测试是软件开发过程中的重要环节，用于评估系统在不同负载条件下的性能表现，如响应时间、吞吐量、资源消耗等。性能测试的目的是发现和解决软件系统的性能瓶颈，提高软件系统的稳定性和可靠性。

传统的性能测试工具通常通过监控服务器资源使用情况（如CPU利用率、内存占用、网络带宽等）来评估系统的性能。然而，这些工具在测试过程中通常只提供数据的展示，需要测试人员手动查看和分析监控数据，判断测试执行状况是否出现异常，并决定是否继续执行或停止测试。

这种人工介入的方式存在一些问题。首先，它占用了人力资源和测试资源，增加了测试的成本和时间。其次，测试执行状况的判断依赖于测试人员的经验，存在误判的可能性。例如，测试人员可能无法及时发现异常并停止执行已经出现问题的测试，或者当监控数据由于某些原因出现正常波动，但是被错误地认为性能异常而提前中止测试，导致资源和成本的浪费。

因此，期望一种优化的性能测试过程自动监控方案。

发明内容

本发明实施例提供一种性能测试过程自动监控方法，其通过采集历史测试数据，包含历史测试记录及其标签，以及采集本次测试数据，并在后端引入机器学习算法来进行历史测试数据和本次测试数据的时序协同分析，以此来判断服务器资源是否达到资源瓶颈。这样，能够实现对性能测试过程的实时监控和自动判断，减少人工介入的需求，提高测试的效率和准确性。同时，利用历史测试数据和机器学习模型进行训练，可以提高对异常情况的检测能力，减少误判的可能性。

本发明实施例还提供了一种性能测试过程自动监控方法，其包括：

获取历史测试数据，其中，所述历史测试数据包括多条历史测试记录以及各条历史测试记录的标签，所述各条历史测试记录包含预定时间段内多个预定时间点的服务器资源使用值，所述各条历史测试记录的标签为服务器资源是否达到资源瓶颈；

将所述各条历史测试记录按照时间维度排列为服务器资源使用值时序输入向量后通过基于深度神经网络模型的时序特征提取器以得到多个服务器资源使用时序特征向量；

分别对所述各条历史测试记录的标签进行独热编码以得到多个标签独热编码向量；

将所述多个服务器资源使用时序特征向量和所述多个标签独热编码向量进行拼接以得到包含标签信息的服务器资源使用时序特征向量的序列；

获取本次测试数据，所述本次测试数据包含预定时间段内多个预定时间点的服务器资源使用值；

将所述本次测试数据按照时间维度排列为输入向量后通过所述基于深度神经网络模型的时序特征提取器以得到测试服务器资源使用时序特征向量；

对所述包含标签信息的服务器资源使用时序特征向量的序列和所述测试服务器资源使用时序特征向量进行特征嵌入查询编码以得到嵌入查询特征；以及

基于所述嵌入查询特征，确定服务器资源是否达到资源瓶颈。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中提供的一种性能测试过程自动监控方法的流程图。

图2为本发明实施例中提供的一种性能测试过程自动监控方法的系统架构的示意图。

图3为本发明实施例中提供的性能测试过程自动监控流程的示意图。

图4为本发明实施例中提供的监控数据分析模型生成流程的示意图。

图5为本发明实施例中提供的测试活动监控平台的结构示意图。

图6为本发明实施例中提供的测试模型训练平台的结构示意图。

图7为本发明实施例中提供的一种性能测试过程自动监控系统的框图。

图8为本发明实施例中提供的一种性能测试过程自动监控方法的应用场景图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。

在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。

既存性能测试工具的测试过程监控只单纯获取并展示数据，需要人工介入对监控数据进行查看和分析，判断当前测试执行状况是否出现异常，确认继续执行或停止测试。需要停止测试的情形，同样需要手动操作、触发停止执行测试的命令。

这种方式使得整个测试执行过程不可避免需占用一定人力资源和测试资源，且测试执行状况的判断依赖测试人员经验，存在发生误判的可能性，例如：已经出现异常、无需继续执行的测试，未能发现异常，仍然持续长时间执行；监控数据由于某些原因出现正常波动，误认为性能异常、提前中止测试，未能收集完整测试数据等等，导致资源及成本的浪费。

针对既存性能测试工具测试监控过程必须人工值守的问题，引入机器学习方法生成监控数据分析模型，结合测试人员设置的预警规则，实现性能测试过程的自动监控。

在本发明的一个实施例中，图1为本发明实施例中提供的一种性能测试过程自动监控方法的流程图。图2为本发明实施例中提供的一种性能测试过程自动监控方法的系统架构的示意图。如图1和图2所示，根据本发明实施例的性能测试过程自动监控方法，包括：110，获取历史测试数据，其中，所述历史测试数据包括多条历史测试记录以及各条历史测试记录的标签，所述各条历史测试记录包含预定时间段内多个预定时间点的服务器资源使用值，所述各条历史测试记录的标签为服务器资源是否达到资源瓶颈；120，将所述各条历史测试记录按照时间维度排列为服务器资源使用值时序输入向量后通过基于深度神经网络模型的时序特征提取器以得到多个服务器资源使用时序特征向量；130，分别对所述各条历史测试记录的标签进行独热编码以得到多个标签独热编码向量；140，将所述多个服务器资源使用时序特征向量和所述多个标签独热编码向量进行拼接以得到包含标签信息的服务器资源使用时序特征向量的序列；150，获取本次测试数据，所述本次测试数据包含预定时间段内多个预定时间点的服务器资源使用值；160，将所述本次测试数据按照时间维度排列为输入向量后通过所述基于深度神经网络模型的时序特征提取器以得到测试服务器资源使用时序特征向量；170，对所述包含标签信息的服务器资源使用时序特征向量的序列和所述测试服务器资源使用时序特征向量进行特征嵌入查询编码以得到嵌入查询特征；以及，180，基于所述嵌入查询特征，确定服务器资源是否达到资源瓶颈。

其中，所述基于深度神经网络模型的时序特征提取器为基于一维卷积层的时序特征提取器。

在所述步骤110中，获取历史测试数据，在这一步骤中，收集多条历史测试记录以及它们的标签。历史测试记录应包含预定时间段内多个预定时间点的服务器资源使用值，这可以包括CPU利用率、内存占用、网络带宽等。标签应指示该次历史测试记录的服务器资源是否达到资源瓶颈。确保历史测试数据的准确性和完整性，数据采集过程应该涵盖各种负载条件下的测试，并记录相应的标签以指示是否达到资源瓶颈。这样，历史测试数据提供了对系统在不同负载条件下的性能表现的全面了解，通过分析历史测试数据，可以揭示系统在过去的测试中是否存在性能瓶颈，为后续的性能测试提供参考和指导。

在所述步骤120中，将各条历史测试记录按照时间维度排列为服务器资源使用值的时序输入向量，并通过基于深度神经网络模型的时序特征提取器提取多个服务器资源使用时序特征向量。确保时序输入向量的顺序正确，并且时序特征提取器能够准确提取服务器资源使用的关键特征。其中，时序特征提取可以捕捉到服务器资源使用的演化趋势和模式，帮助识别潜在的性能瓶颈因素。

在所述步骤130中，对各条历史测试记录的标签进行独热编码，以得到多个标签独热编码向量。确保标签的正确编码，并且每个标签都能准确地表示服务器资源是否达到资源瓶颈。独热编码将标签转换为机器学习算法可以处理的形式，为后续的模型训练和预测提供了便利。

在所述步骤140中，将多个服务器资源使用时序特征向量和多个标签独热编码向量进行拼接，以得到包含标签信息的服务器资源使用时序特征向量的序列。确保特征向量的拼接顺序正确，并且维度匹配。特征拼接将服务器资源使用时序特征向量和标签信息结合在一起，为后续的嵌入查询特征提取和资源瓶颈判断提供了基础。

在所述步骤150中，收集本次测试数据，包含预定时间段内多个预定时间点的服务器资源使用值。确保本次测试数据的准确性和完整性，涵盖不同负载条件下的测试。本次测试数据提供了当前系统性能的实时信息，用于判断系统是否存在资源瓶颈。

在所述步骤160中，将本次测试数据按照时间维度排列为输入向量，并通过基于深度神经网络模型的时序特征提取器提取测试服务器资源使用时序特征向量。确保时序输入向量的顺序正确，并且时序特征提取器能够准确提取服务器资源使用的关键特征。时序特征提取可以捕捉到本次测试中服务器资源使用的演化趋势和模式，为后续的资源瓶颈判断提供依据。

在所述步骤170中，对包含标签信息的服务器资源使用时序特征向量的序列和测试服务器资源使用时序特征向量进行特征嵌入查询编码，以得到嵌入查询特征。确保特征嵌入查询编码的正确实施，使得特征能够更好地表示服务器资源使用的关键特征。特征嵌入查询编码将时序特征向量转换为更具表达能力的嵌入查询特征，为资源瓶颈判断提供更准确的输入。

在所述步骤180中，基于嵌入查询特征，确定服务器资源是否达到资源瓶颈。确保资源瓶颈判断算法的准确性和鲁棒性，以减少误判的可能性。通过嵌入查询特征和资源瓶颈判断算法的结合，可以实现对服务器资源是否达到资源瓶颈的自动判断，减少人工介入的需求，提高测试的效率和准确性。

针对上述技术问题，本申请的技术构思为通过采集历史测试数据，包含历史测试记录及其标签，以及采集本次测试数据，并在后端引入机器学习算法来进行历史测试数据和本次测试数据的时序协同分析，以此来判断服务器资源是否达到资源瓶颈。这样，能够实现对性能测试过程的实时监控和自动判断，减少人工介入的需求，提高测试的效率和准确性。同时，利用历史测试数据和机器学习模型进行训练，可以提高对异常情况的检测能力，减少误判的可能性。

具体地，在本申请的技术方案中，首先，获取历史测试数据，其中，所述历史测试数据包括多条历史测试记录以及各条历史测试记录的标签，所述各条历史测试记录包含预定时间段内多个预定时间点的服务器资源使用值，所述各条历史测试记录的标签为服务器资源是否达到资源瓶颈。接着，对于所述各条历史测试纪录来说，其分别包括所述预定时间段内多个预定时间点的服务器资源使用值，而所述服务器资源使用值在时间维度上具有着时序的动态变化规律，为了能够对于所述各条历史测试纪录的资源使用值分别在时间维度上的时序动态特征进行分析和刻画，在本申请的技术方案中，进一步将所述各条历史测试记录按照时间维度排列为服务器资源使用值时序输入向量后通过基于一维卷积层的时序特征提取器中进行特征挖掘，以提取出所述各条历史测试记录的服务器资源使用值分别在时间维度上的时序特征信息，从而得到多个服务器资源使用时序特征向量。

然后，考虑到所述各条历史测试记录的标签为服务器资源是否达到资源瓶颈，其通常是一个离散的值，表示某个特定时间点的服务器资源状态。为了在机器学习模型中使用这些标签，需要对其进行编码。具体地，在本申请的技术方案中，分别对所述各条历史测试记录的标签进行独热编码以得到多个标签独热编码向量。

在性能测试过程中，需要将所述各个历史测试记录的服务器资源使用时序特征向量和对应的标签编码特征信息进行拼接，以便于在后续的自动监控和判断阶段，能够同时考虑服务器资源使用的时序特征和对应的标签，以更准确地判断服务器是否达到资源瓶颈。因此，进一步将所述多个服务器资源使用时序特征向量和所述多个标签独热编码向量进行拼接以得到包含标签信息的服务器资源使用时序特征向量的序列。通过将所述服务器资源使用时序特征向量和所述标签独热编码向量进行拼接，可以将两者的信息融合在一起，形成一个更完整的特征表示。这样的特征表示不仅包含了服务器资源使用的时序模式，还包含了对应的标签信息，即服务器是否达到资源瓶颈。

在自动监控性能测试过程中，需要对本次测试数据进行处理，以获取测试服务器资源使用的时序特征信息。因此，在本申请的技术方案中，进一步获取本次测试数据，所述本次测试数据包含预定时间段内多个预定时间点的服务器资源使用值，并将所述本次测试数据按照时间维度排列为输入向量，以此来整合所述本次测试数据的时序分布信息时保留数据在时间上的顺序关系后，将其通过所述基于一维卷积层的时序特征提取器中进行特征挖掘，以提取出所述本次测试数据的服务器资源使用值在时间维度上的时序特征，从而得到测试服务器资源使用时序特征向量。这样，可以捕捉到服务器资源使用的时序模式和变化趋势，这对于性能测试的监控和判断非常重要。

进一步地，考虑到所述测试服务器资源使用时序特征向量和所述包含标签信息的服务器资源使用时序特征向量的序列分别表达所述测试服务器资源使用时序特征和所述历史测试数据中包含标签信息的服务器资源使用时序特征，为了能够有效地综合这两者的语义特征来更为准确地进行所述测试服务器资源是否达到资源瓶颈的评估，在本申请的技术方案中，进一步将所述测试服务器资源使用时序特征向量和所述包含标签信息的服务器资源使用时序特征向量的序列通过特征嵌入模块以得到嵌入查询特征向量。应可以理解，通过所述特征嵌入模块进行处理，可以基于所有历史测试数据中包含标签信息的服务器资源使用时序特征作为参考来对所述测试服务器资源使用时序特征进行特征嵌入，从而提升所述测试服务器资源使用时序特征向量在历史测试数据中的包含标签信息的服务器资源使用时序特征约束下的特征表达。

在本申请的一个具体实施例中，对所述包含标签信息的服务器资源使用时序特征向量的序列和所述测试服务器资源使用时序特征向量进行特征嵌入查询编码以得到嵌入查询特征，包括：将所述测试服务器资源使用时序特征向量和所述包含标签信息的服务器资源使用时序特征向量的序列通过特征嵌入模块以得到嵌入查询特征向量作为所述嵌入查询特征。

进一步地，将所述测试服务器资源使用时序特征向量和所述包含标签信息的服务器资源使用时序特征向量的序列通过特征嵌入模块以得到嵌入查询特征向量作为所述嵌入查询特征，包括：基于所述包含标签信息的服务器资源使用时序特征向量的序列作为参考来对所述测试服务器资源使用时序特征向量进行特征嵌入以得到所述嵌入查询特征向量。

继而，再将所述嵌入查询特征向量通过分类器以得到分类结果，所述分类结果用于表示服务器资源是否达到资源瓶颈。也就是说，利用所述测试数据的服务器资源使用时序特征嵌入查询化表达来进行分类处理，以此来判断服务器资源是否达到资源瓶颈。这样，能够实现对性能测试过程的实时监控和自动判断，减少人工介入的需求，提高测试的效率和准确性。同时，利用历史测试数据和机器学习模型进行训练，可以提高对异常情况的检测能力，减少误判的可能性。

在本申请的一个具体实施例中，基于所述嵌入查询特征，确定服务器资源是否达到资源瓶颈，包括：将所述嵌入查询特征向量通过分类器以得到分类结果，所述分类结果用于表示服务器资源是否达到资源瓶颈。

将嵌入查询特征向量通过分类器进行分类是为了进一步确定服务器资源是否达到资源瓶颈。分类器是一种机器学习模型，可以根据输入的特征向量预测其所属的类别，在这种情况下，分类器可以根据嵌入查询特征向量判断服务器资源是否达到资源瓶颈。

通过使用分类器，可以自动判断服务器资源是否达到资源瓶颈，而无需人工干预，这提高了测试的效率，减少了人工分析的工作量。分类器可以对实时收集的嵌入查询特征向量进行分类，从而实时监测服务器资源的状态，这使得系统管理员或运维团队能够及时发现资源瓶颈并采取相应的措施，以避免系统性能下降或崩溃。分类器可以基于历史数据和嵌入查询特征向量的趋势，预测服务器资源是否即将达到资源瓶颈，这可以帮助规划和优化资源分配，提前采取措施以应对潜在的问题。通过持续监测和分类资源瓶颈，可以及时识别系统中的性能瓶颈，并采取相应的优化措施，有助于提高系统的可靠性和稳定性，确保系统能够在高负载情况下正常运行。

将嵌入查询特征向量通过分类器进行分类可以提供自动化的资源瓶颈判断，并帮助实时监测性能、预测未来趋势以及提高系统可靠性，这些效果有助于优化资源管理和提升系统性能，从而提供更好的用户体验和服务质量。

在本申请的一个实施例中，所述性能测试过程自动监控方法，还包括训练步骤：用于对所述基于一维卷积层的时序特征提取器、所述特征嵌入模块和所述分类器进行训练。所述训练步骤，包括：获取历史训练测试数据，其中，所述历史训练测试数据包括多条训练历史测试记录以及各条训练历史测试记录的标签，所述各条训练历史测试记录包含预定时间段内多个预定时间点的训练服务器资源使用值，所述各条训练历史测试记录的标签为服务器资源是否达到资源瓶颈的真实值； 将所述各条训练历史测试记录按照时间维度排列为训练服务器资源使用值时序输入向量后通过基于深度神经网络模型的时序特征提取器以得到多个训练服务器资源使用时序特征向量；分别对所述各条训练历史测试记录的标签进行独热编码以得到多个训练标签独热编码向量；将所述多个训练服务器资源使用时序特征向量和所述多个训练标签独热编码向量进行拼接以得到包含训练标签信息的服务器资源使用时序特征向量的序列；获取本次训练测试数据，所述本次训练测试数据包含预定时间段内多个预定时间点的训练服务器资源使用值；将所述本次训练测试数据按照时间维度排列为训练输入向量后通过所述基于深度神经网络模型的时序特征提取器以得到训练测试服务器资源使用时序特征向量；将所述训练测试服务器资源使用时序特征向量和所述包含训练标签信息的服务器资源使用时序特征向量的序列通过特征嵌入模块以得到训练嵌入查询特征向量作为所述嵌入查询特征；对所述训练嵌入查询特征向量进行优化以得到优化训练嵌入查询特征向量；将所述优化训练嵌入查询特征向量通过分类器以得到分类损失函数值；以及，基于所述分类损失函数值对所述基于一维卷积层的时序特征提取器、所述特征嵌入模块和所述分类器进行训练。

在本申请的一个实施例中，将所述优化训练嵌入查询特征向量通过分类器以得到分类损失函数值，包括：使用所述分类器以如下训练分类公式对所述优化训练嵌入查询特征向量进行处理以生成训练分类结果，其中，所述训练分类公式为：

，其中/>表示所述优化训练嵌入查询特征向量，/>至/>为权重矩阵，/>至/>表示偏置矩阵；以及，计算所述训练分类结果与真实值之间的交叉熵值作为所述分类损失函数值。

特别地，在本申请的技术方案中，所述包含训练标签信息的服务器资源使用时序特征向量的序列包含多条训练测试数据的训练服务器资源使用值的时序关联特征和标签编码特征，而所述训练测试服务器资源使用时序特征向量包含单条训练测试数据的训练服务器资源使用值的时序关联特征，由此，将所述训练测试服务器资源使用时序特征向量和所述包含训练标签信息的服务器资源使用时序特征向量的序列通过特征嵌入模块，可以基于所述包含训练标签信息的服务器资源使用时序特征向量的序列的动态分布来进行本次单条训练测试数据的服务器资源使用值的时序关联特征的特征分布嵌入，从而使得所述训练嵌入查询特征向量包含跨样本域的多模态（即时序关联特征和标签语义特征）特征分布。

但是，考虑到跨样本域的多模态特征分布差异会给所述训练嵌入查询特征向量的整体特征表示带来局部特征分布稀疏化，即相对于整体高维特征流形的分布外稀疏化子流形，当所述训练嵌入查询特征向量通过分类器进行分类时，难以稳定地聚焦于特征的显著局部分布，从而影响训练速度。

因此，优选地，本申请在每次所述训练嵌入查询特征向量通过分类器进行分类回归的迭代时，对所述训练嵌入查询特征向量进行优化，具体为：以如下优化公式对所述训练嵌入查询特征向量进行优化以得到所述优化训练嵌入查询特征向量；其中，所述优化公式为：

其中，是所述训练嵌入查询特征向量，/>是所述训练嵌入查询特征向量/>的第/>个位置的特征值，/>和/>分别是所述训练嵌入查询特征向量/>的1范数和2范数的平方，/>是所述训练嵌入查询特征向量/>的长度，且/>是权重超参数，/>表示以2为底的对数函数值，/>是所述优化训练嵌入查询特征向量。

也就是，通过基于所述训练嵌入查询特征向量的尺度和结构参数来进行其高维特征流形形状的几何注册，可以关注所述训练嵌入查询特征向量/>的特征值构成的特征集合中的具有丰富特征语义信息的特征，也就是，在分类器进行分类时的基于局部上下文信息表示不相似性的可区分的稳定兴趣特征，从而实现所述训练嵌入查询特征向量/>在分类过程中的特征信息显著性标注，提升分类器的训练速度。这样，能够基于历史训练测试数据和本次训练测试数据的时序协同信息来判断服务器资源是否达到资源瓶颈，通过这样的方式，能够实现对性能测试过程的实时监控和自动判断，减少人工介入的需求，减少误判的可能性，从而提高性能测试的效率和准确性。

在本申请的一个实施例中，性能测试过程自动监控流程如图3所示，其包括步骤：

步骤11：测试人员根据需要设置监控过程预警规则；

步骤12：测试人员配置并执行测试活动，测试监控平台实时监控、根据所获取的监控数据自动分析当前测试活动的执行状况，判断是否发生异常、需要停止测试；

步骤13：如果需要停止测试，测试监控平台自动发送停止执行测试的命令，测试活动结束；

步骤14：如果不需要停止测试，测试监控平台继续监控，重复步骤12分析判断，直至测试结束。

在本申请的一个实施例中，监控数据分析模型生成流程如图4所示，其包括步骤：

步骤21：收集历史测试数据及性能诊断意见，进行数据清洗、转换等预处理；

步骤22：基于性能测试专家经验抽取性能分析特征、并进行特征处理，建立专家规则库；

步骤23：训练模型、并在训练过程中实施特征监控，及时调整训练方案或更新专家规则库，生成被测系统性能、服务器资源、数据库资源的瓶颈判断模型和瓶颈原因分析模型；

步骤24：部署模型到测试活动监控平台。

在本申请的一个实施例中，性能测试过程自动监控技术结构包括如图5所示的测试活动监控平台，提供对测试过程数据的实时监控、系统性能分析，基于监控数据和分析结果进行执行状况分析和执行控制，包括实时监控层、数据分析层、执行控制层。

测试活动监控平台包括：实时监控层，实时获取被测系统性能监控数据、服务器资源监控数据、数据库资源监控数据，输出到数据分析层。同时提供监控数据的可视化展示。

测试活动监控平台还包括：数据分析层，使用数据分析模型库中已部署的模型对实时监控数据进行分析，得出当前系统性能分析结果（包括被测系统是否达到性能瓶颈、服务器/数据库是否达到资源瓶颈、达到瓶颈原因），输出到执行控制层。

测试活动监控平台还包括：执行控制层，根据当前系统性能分析结果、及用户所设置的预警规则进行执行状况分析，判断是否达到测试停止条件，达到条件则触发执行控制、自动发送测试停止命令。

进一步地，性能测试过程自动监控技术结构还包括如图6所示的测试模型训练平台，通过测试活动监控平台搜集数据，定期训练、优化数据分析模型，并将优化完成的数据分析模型部署更新到监控平台的模型库中。包括数据加工、特征工程、模型训练、模型监控、模型部署模块。

其中，特征工程结合业界资深性能测试专家经验，提取有效关键特征，建立专家规则库，提升数据分析模型训练效率；数据分析模型训练过程实施特征监控，特征关联发生异常变化时，及时分析调整、优化特征规则及训练方案。

通过性能测试过程自动监控方法，可实现性能测试执行的无人值守，高效利用测试资源，节省性能测试监控环节的人力、时间成本，同时可提高有效测试监控数据比例，缩短测试结果分析时间，达到提升整体性能测试效率的效果。

综上，基于本发明实施例的性能测试过程自动监控方法被阐明，其能够实现对性能测试过程的实时监控和自动判断，减少人工介入的需求，提高测试的效率和准确性。同时，利用历史测试数据和机器学习模型进行训练，可以提高对异常情况的检测能力，减少误判的可能性。

图7为本发明实施例中提供的一种性能测试过程自动监控系统的框图。如图7所示，所述性能测试过程自动监控系统200，包括：历史测试数据获取模块210，用于获取历史测试数据，其中，所述历史测试数据包括多条历史测试记录以及各条历史测试记录的标签，所述各条历史测试记录包含预定时间段内多个预定时间点的服务器资源使用值，所述各条历史测试记录的标签为服务器资源是否达到资源瓶颈；第一时序特征提取模块220，用于将所述各条历史测试记录按照时间维度排列为服务器资源使用值时序输入向量后通过基于深度神经网络模型的时序特征提取器以得到多个服务器资源使用时序特征向量；独热编码模块230，用于分别对所述各条历史测试记录的标签进行独热编码以得到多个标签独热编码向量；向量拼接模块240，用于将所述多个服务器资源使用时序特征向量和所述多个标签独热编码向量进行拼接以得到包含标签信息的服务器资源使用时序特征向量的序列；本次测试数据获取模块250，用于获取本次测试数据，所述本次测试数据包含预定时间段内多个预定时间点的服务器资源使用值；第二时序特征提取模块260，用于将所述本次测试数据按照时间维度排列为输入向量后通过所述基于深度神经网络模型的时序特征提取器以得到测试服务器资源使用时序特征向量；特征嵌入查询编码模块270，用于对所述包含标签信息的服务器资源使用时序特征向量的序列和所述测试服务器资源使用时序特征向量进行特征嵌入查询编码以得到嵌入查询特征；以及，资源瓶颈判断模块280，用于基于所述嵌入查询特征，确定服务器资源是否达到资源瓶颈。

本领域技术人员可以理解，上述性能测试过程自动监控系统中的各个步骤的具体操作已经在上面参考图1到图6的性能测试过程自动监控方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本发明实施例的性能测试过程自动监控系统200可以实现在各种终端设备中，例如用于性能测试过程自动监控的服务器等。在一个示例中，根据本发明实施例的性能测试过程自动监控系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该性能测试过程自动监控系统200可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该性能测试过程自动监控系统200同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该性能测试过程自动监控系统200与该终端设备也可以是分立的设备，并且该性能测试过程自动监控系统200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图8为本发明实施例中提供的一种性能测试过程自动监控方法的应用场景图。如图8所示，在该应用场景中，首先，获取历史测试数据，其中，所述历史测试数据包括多条历史测试记录（例如，如图8中所示意的C1）以及各条历史测试记录的标签（例如，如图8中所示意的C2）；以及，获取本次测试数据，所述本次测试数据包含预定时间段内多个预定时间点的服务器资源使用值（例如，如图8中所示意的C3）；然后，将获取的多条历史测试记录、各条历史测试记录的标签以及服务器资源使用值输入至部署有性能测试过程自动监控算法的服务器（例如，如图8中所示意的S）中，其中所述服务器能够基于性能测试过程自动监控算法对所述多条历史测试记录、所述各条历史测试记录的标签以及所述服务器资源使用值进行处理，以确定服务器资源是否达到资源瓶颈。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种性能测试过程自动监控方法，其特征在于，包括：

获取历史测试数据，其中，所述历史测试数据包括多条历史测试记录以及各条历史测试记录的标签，所述各条历史测试记录包含预定时间段内多个预定时间点的服务器资源使用值，所述各条历史测试记录的标签为服务器资源是否达到资源瓶颈；

将所述各条历史测试记录按照时间维度排列为服务器资源使用值时序输入向量后通过基于深度神经网络模型的时序特征提取器以得到多个服务器资源使用时序特征向量；

分别对所述各条历史测试记录的标签进行独热编码以得到多个标签独热编码向量；

将所述多个服务器资源使用时序特征向量和所述多个标签独热编码向量进行拼接以得到包含标签信息的服务器资源使用时序特征向量的序列；

获取本次测试数据，所述本次测试数据包含预定时间段内多个预定时间点的服务器资源使用值；

将所述本次测试数据按照时间维度排列为输入向量后通过所述基于深度神经网络模型的时序特征提取器以得到测试服务器资源使用时序特征向量；

对所述包含标签信息的服务器资源使用时序特征向量的序列和所述测试服务器资源使用时序特征向量进行特征嵌入查询编码以得到嵌入查询特征；以及

基于所述嵌入查询特征，确定服务器资源是否达到资源瓶颈。

2.根据权利要求1所述的性能测试过程自动监控方法，其特征在于，所述基于深度神经网络模型的时序特征提取器为基于一维卷积层的时序特征提取器。

3.根据权利要求2所述的性能测试过程自动监控方法，其特征在于，对所述包含标签信息的服务器资源使用时序特征向量的序列和所述测试服务器资源使用时序特征向量进行特征嵌入查询编码以得到嵌入查询特征，包括：将所述测试服务器资源使用时序特征向量和所述包含标签信息的服务器资源使用时序特征向量的序列通过特征嵌入模块以得到嵌入查询特征向量作为所述嵌入查询特征。

4.根据权利要求3所述的性能测试过程自动监控方法，其特征在于，将所述测试服务器资源使用时序特征向量和所述包含标签信息的服务器资源使用时序特征向量的序列通过特征嵌入模块以得到嵌入查询特征向量作为所述嵌入查询特征，包括：

基于所述包含标签信息的服务器资源使用时序特征向量的序列作为参考来对所述测试服务器资源使用时序特征向量进行特征嵌入以得到所述嵌入查询特征向量。

5.根据权利要求4所述的性能测试过程自动监控方法，其特征在于，基于所述嵌入查询特征，确定服务器资源是否达到资源瓶颈，包括：将所述嵌入查询特征向量通过分类器以得到分类结果，所述分类结果用于表示服务器资源是否达到资源瓶颈。

6.根据权利要求5所述的性能测试过程自动监控方法，其特征在于，还包括训练步骤：用于对所述基于一维卷积层的时序特征提取器、所述特征嵌入模块和所述分类器进行训练。

7.根据权利要求6所述的性能测试过程自动监控方法，其特征在于，所述训练步骤，包括：

获取历史训练测试数据，其中，所述历史训练测试数据包括多条训练历史测试记录以及各条训练历史测试记录的标签，所述各条训练历史测试记录包含预定时间段内多个预定时间点的训练服务器资源使用值，所述各条训练历史测试记录的标签为服务器资源是否达到资源瓶颈的真实值；

将所述各条训练历史测试记录按照时间维度排列为训练服务器资源使用值时序输入向量后通过基于深度神经网络模型的时序特征提取器以得到多个训练服务器资源使用时序特征向量；

分别对所述各条训练历史测试记录的标签进行独热编码以得到多个训练标签独热编码向量；

将所述多个训练服务器资源使用时序特征向量和所述多个训练标签独热编码向量进行拼接以得到包含训练标签信息的服务器资源使用时序特征向量的序列；

获取本次训练测试数据，所述本次训练测试数据包含预定时间段内多个预定时间点的训练服务器资源使用值；

将所述本次训练测试数据按照时间维度排列为训练输入向量后通过所述基于深度神经网络模型的时序特征提取器以得到训练测试服务器资源使用时序特征向量；

将所述训练测试服务器资源使用时序特征向量和所述包含训练标签信息的服务器资源使用时序特征向量的序列通过特征嵌入模块以得到训练嵌入查询特征向量作为所述嵌入查询特征；

对所述训练嵌入查询特征向量进行优化以得到优化训练嵌入查询特征向量；

将所述优化训练嵌入查询特征向量通过分类器以得到分类损失函数值；以及

基于所述分类损失函数值对所述基于一维卷积层的时序特征提取器、所述特征嵌入模块和所述分类器进行训练。

8.根据权利要求7所述的性能测试过程自动监控方法，其特征在于，将所述优化训练嵌入查询特征向量通过分类器以得到分类损失函数值，包括：

使用所述分类器以如下训练分类公式对所述优化训练嵌入查询特征向量进行处理以生成训练分类结果，其中，所述训练分类公式为：

，其中/>表示所述优化训练嵌入查询特征向量，/>至/>为权重矩阵，/>至/>表示偏置矩阵；以及

计算所述训练分类结果与真实值之间的交叉熵值作为所述分类损失函数值。