CN112988506B - 一种大数据服务器节点性能监测方法及系统 - Google Patents

Abstract

本申请公开了一种大数据服务器节点性能监测方法及系统，该方法包括：根据大数据服务器节点的IP地址和性能基线数据，建立性能基线池；获取大数据服务器节点的实际性能状态数据；根据实际性能状态数据和性能基线池中性能基线数据的比对结果，采用二进制算法标识大数据服务器节点性能监测状态；对大数据服务器节点性能监测状态进行校正；输出校正后的大数据服务器节点性能监测数据。该系统包括：性能基线建立模块、实际性能状态数据获取模块、性能监测识别模块、校正模块和数据输出模块。通过本申请，能够实现自动化监测节点性能数据，避免人工手动监测，能够有效提高测试效率和测试结果的准确性。

Description

一种大数据服务器节点性能监测方法及系统

技术领域

本申请涉及服务器节点性能测试技术领域，特别是涉及一种大数据服务器节点性能监测方法及系统。

背景技术

随着云时代的到来，大数据依托于云计算的分布式处理、分布式数据库和分布式存储等技术，进行大型数据的分析、存储和展示等。通常，在分布式架构中需要十、数百甚至数千个服务器分工协作处理。在大数据和云计算分布式架构中的分布式大数据服务器节点，对于大数据业务的正常运行起着非常重要的作用。因此，如何对大数据服务器节点的性能和运行状态进行监测，是个重要的技术问题。

目前，对大数据服务器节点的性能和运行状态进行监测的方法，通常包括服务器正式上线前的监测和正式上线后的监测。具体地，服务器正式上线前使用性能压力测试工具，进行一次集中测试，将测试结果进行逐项人工分析比对，确认该大数据服务器节点性能是否良好。服务器正式上线后，交接到运维阶段，由运维工程师对大数据服务器性能状态进行人工监测比对。

然而，目前对大数据服务器节点性能的监测方法中，由于服务器上线前后都是采用人工监测比对的方法，导致测试结果的准确性不够高。而且，划分服务器正式上线前和正式上线后两段性能监测，存在上线前的性能压测基线数据没有准确交接至运维阶段的可能性，这就会导致出现新的性能问题，需要重新建立性能测试基线，从而影响测试效率。

发明内容

本申请提供了一种大数据服务器节点性能监测方法及系统，以解决现有技术中的监测方法对大数据服务器节点性能监测准确不够高、影响测试效率的问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种大数据服务器节点性能监测方法，所述方法包括：

根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据，建立性能基线池；

获取大数据服务器节点的实际性能状态数据；

根据所述实际性能状态数据和性能基线池中性能基线数据的比对结果，采用二进制算法标识大数据服务器节点性能监测状态，其中，二进制标志位的数量与性能基线池中性能基线数据的数量相同，且任一二进制标志位与一个性能基线数据相匹配；

对所述大数据服务器节点性能监测状态进行校正，获取校正后的大数据服务器节点性能监测数据；

输出校正后的大数据服务器节点性能监测数据。

可选地，所述性能基线数据包括：磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线。

可选地，所述根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据，建立性能基线池，包括：

根据大数据服务器节点的IP地址，获取大数据服务器节点在集中性能压力测试阶段形成的性能基线数据；

对所述性能基线数据进行分类保存，形成性能基线池。

可选地，根据所述实际性能状态数据和性能基线池中性能基线数据的比对结果，采用二进制算法标识大数据服务器节点性能监测状态，包括：

按照磁盘、内存、CPU、网络和业务，分别判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90％；

如果是，将当前大数据服务器节点性能监测状态对应的标志位标识为1；

如果否，将当前大数据服务器节点性能监测状态对应的标志位标识为0。

可选地，对所述大数据服务器节点性能监测状态进行校正，获取校正后的大数据服务器节点性能监测数据，包括：

当磁盘、内存、CPU、网络和业务的大数据服务器节点性能监测状态对应的标志位均为1时，判定大数据服务器节点性能正常，否则，判定大数据服务器节点性能异常；

当大数据服务器节点性能正常时，流程结束；

当大数据服务器节点性能异常时，根据异常信息重新判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90％；

如果是，将当前大数据服务器节点性能监测状态重置对应的标志位标识为1；

如果否，判定当前大数据服务器节点性能故障。

可选地，对所述大数据服务器节点性能监测状态进行校正，获取校正后的大数据服务器节点性能监测数据之后，所述方法还包括：

利用当前业务处理时间内大数据节点的系统负载率，对大数据服务器节点的综合性能进行实时跟踪，所述系统负载率的计算公式为：

其中，L为系统负载率，T为系统响应时间，S为系统吞吐量，N为大数据节点的标准性能值。

一种大数据服务器节点性能监测系统，所述系统包括：

性能基线建立模块，用于根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据，建立性能基线池，所述性能基线数据包括：磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线；

实际性能状态数据获取模块，用于获取大数据服务器节点的实际性能状态数据；

性能监测识别模块，用于根据所述实际性能状态数据和性能基线池中性能基线数据的比对结果，采用二进制算法标识大数据服务器节点性能监测状态，其中，二进制标志位的数量与性能基线池中性能基线数据的数量相同，且任一二进制标志位与一个性能基线数据相匹配；

校正模块，用于对所述大数据服务器节点性能监测状态进行校正，获取校正后的大数据服务器节点性能监测数据；

数据输出模块，用于输出校正后的大数据服务器节点性能监测数据。

可选地，所述性能监测识别模块包括：

第一判断单元，用于按照磁盘、内存、CPU、网络和业务，分别判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90％；

标识单元，用于当大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90％时，将当前大数据服务器节点性能监测状态对应的标志位标识为1，否则，将当前大数据服务器节点性能监测状态对应的标志位标识为0。

可选地，所述校正模块包括：

第二判断单元，用于当磁盘、内存、CPU、网络和业务的大数据服务器节点性能监测状态对应的标志位均为1时，判定大数据服务器节点性能正常，否则，判定大数据服务器节点性能异常；

第三判断单元，用于当大数据服务器节点性能异常时，根据异常信息重新判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90％，当大数据服务器节点实际性能状态数据小于对应性能基线数据的90％时，判定当前大数据服务器节点性能故障；

标识重置单元，用于当大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90％时，将当前大数据服务器节点性能监测状态重置对应的标志位标识为1。

可选地，所述系统中还包括：

综合性能跟踪模块，用于利用当前业务处理时间内大数据节点的系统负载率，对大数据服务器节点的综合性能进行实时跟踪，所述系统负载率的计算公式为：

其中，L为系统负载率，T为系统响应时间，S为系统吞吐量，N为大数据节点的标准性能值。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请提供一种大数据服务器节点性能监测方法，该方法首先根据大数据服务器节点的IP地址和在集中性能压力测试阶段的性能基线数据建立性能基线池，其次获取实际性能状态数据，然后根据实际性能状态数据和性能基线数据的比对结果，采用二进制算法标识大数据服务器节点性能监测状态，最后对性能监测状态进行校正并输出校正结果。本实施例全程采用自动化方法建立性能基线池、获取实际性能状态数据和性能基线数据的比对结果，并进行校正，避免人工监测性能状态数据，能够有效提高测试结果的准确性，而且不分服务器上线前后阶段，采集到集中性能压力测试结果的性能基线数据后直接建立性能基线池，并以此为基准采集实际性能状态数据，也就避免出现新的性能问题，有利于提高测试效率。另外，本实施例采用二进制算法标识的大数据服务器节点性能监测状态，使任一二进制标志位与一个性能基线数据相匹配，能够避免服务器节点性能诊断混乱的情况，有利于提高测试结果的准确性。而且，本实施例中包括对大数据服务器节点性能监测状态进行校正的步骤，通过校正，有利于进一步提高测试结果的准确性。

本申请还提供一种大数据服务器节点性能监测系统，该系统主要包括：性能基线建立模块、实际性能状态数据获取模块、性能监测识别模块、校正模块和数据输出模块。本实施例采用自动化模块实现大数据服务器节点性能监测，避免人工手动监测，有利于提高测试效率和测试结果的准确性。性能监测识别模块的设置，采用二进制算法标识节点性能监测状态，且任一二进制标志位与一个性能基线数据相匹配，能够避免服务器节点性能诊断混乱的情况，有利于提高测试结果的准确性。校正模块的设置，能够对获取到的节点性能监测状态进行进一步的校正，有利于提高测试结果的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种大数据服务器节点性能监测方法的流程示意图；

图2为5个二进制标识为的大数据服务器节点性能监测原理示意图；

图3为本申请实施例所提供的一种大数据服务器节点性能监测系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

为了更好地理解本申请，下面结合附图来详细解释本申请的实施方式。

实施例一

参见图1，图1为本申请实施例所提供的一种大数据服务器节点性能监测方法的流程示意图。由图1可知，本实施例中大数据服务器节点性能监测方法，主要包括如下过程：

S1：根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据，建立性能基线池。

本实施例中性能基线数据至少包括：磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线。

具体地，步骤S1包括如下过程：

S11：根据大数据服务器节点的IP地址，获取大数据服务器节点在集中性能压力测试阶段形成的性能基线数据。

S12：对性能基线数据进行分类保存，形成性能基线池。

通过以上步骤S11和S12可知，本实施例中性能基线池以大数据服务器节点的IP地址作为标签，将大数据服务器在集中性能压力测试阶段形成的性能基线数据分类保存，包括：磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线。

S2：获取大数据服务器节点的实际性能状态数据。

继续参见图1可知，建立性能基线池并获取实际性能状态数据之后，执行步骤S3：根据实际性能状态数据和性能基线池中性能基线数据的比对结果，采用二进制算法标识大数据服务器节点性能监测状态。其中，二进制标志位的数量与性能基线池中性能基线数据的数量相同，且任一二进制标志位与一个性能基线数据相匹配。

具体地，步骤S3包括如下过程：

S31：按照磁盘、内存、CPU、网络和业务，分别判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90％。

如果大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90％，执行步骤S32：将当前大数据服务器节点性能监测状态对应的标志位标识为1。

如果大数据服务器节点实际性能状态数据小于对应性能基线数据的90％，执行步骤S33：将当前大数据服务器节点性能监测状态对应的标志位标识为0。

根据以上步骤S31-S33，且以大数据服务器节点性能包括：磁盘、内存、CPU、网络和业务五种性能为例，本实施例中以5位二进制标志位来标识大数据服务器节点性能监测状态。5个二进制标识为的大数据服务器节点性能监测原理示意图，可以参见图2所示。

由图2可知，首先按照磁盘(a)、内存(b)、CPU(c)、网络(d)、业务(e)的顺序，依次对大数据服务器节点性能进行分析对比，对比条件为：大数据服务器节点实际性能状态数据与性能基线池的中对应性能基线数据的百分之九十进行对比，大数据服务器节点实际性能状态数据表示为β，对应性能基线数据的90％表示为α。如果β大于等于α，则对应标志位flag为1；如果β小于α，则对应标志位flag为0。由于每个性能基线数据对应有两种状态0和1，共5个状态位，按照二进制算法，本实施例中总共可以标识32种大数据服务器节点性能监测状态。总的性能监测状态以AIM.flag标识，将5位二进制值赋予AIM.flag，输出对应的性能解释。

继续参见图1可知，采用二进制算法标识大数据服务器节点性能监测状态之后，执行步骤S4：对大数据服务器节点性能监测状态进行校正，获取校正后的大数据服务器节点性能监测数据。

具体地，步骤S4包括如下过程：

S41：当磁盘、内存、CPU、网络和业务的大数据服务器节点性能监测状态对应的标志位均为1时，判定大数据服务器节点性能正常，否则，判定大数据服务器节点性能异常。

也就是，如果5个标志位flag1、flag2…flag5全为1，表示当前节点性能正常；如果5个标志位flag1、flag2…flag5中有一个或者多个0，表示节点异常。

S42：当大数据服务器节点性能正常时，流程结束。

S43：当大数据服务器节点性能异常时，根据异常信息重新判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90％。

如果大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90％，执行步骤S44：将当前大数据服务器节点性能监测状态重置对应的标志位标识为1。

如果大数据服务器节点实际性能状态数据小于对应性能基线数据的90％，执行步骤S45：判定当前大数据服务器节点性能故障。

由以上步骤S44和S45可知，通过校正，如果大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90％，判定初始的性能故障是误报，通过步骤S44对性能监测状态的标志位重置，修订为正确的性能状态。如果大数据服务器节点实际性能状态数据小于对应性能基线数据的90％，判定初始的性能故障判断是正确的，继续执行步骤S6。

S6：输出校正后的大数据服务器节点性能监测数据。

具体地，将校正后的性能故障记录形成报告文档，并输出校正后的大数据服务器节点性能监测数据。

进一步地，在步骤S4之后，还包括步骤S5：利用当前业务处理时间内大数据节点的系统负载率，对大数据服务器节点的综合性能进行实时跟踪。其中，系统负载率的计算公式为：

其中，L为系统负载率，T为系统响应时间，也就是大数据服务器节点处理当前业务所需要的时间，S为系统吞吐量，也就是单位时间内大数据服务器节点处理逻辑运算的次数，N为大数据节点的标准性能值。

通过对大数据服务器节点的综合性能进行实时跟踪，能够从整体上进一步提高测试结果的准确性。本实施例中通过系统负载率计算公式获取服务器节点系统负载率，利用系统负载率衡量大数据服务器节点的综合性能，能够更加便捷而准确地获取大数据服务器节点的综合性能，有利于进一步提高测试结果的准确性和测试效率。

实施例二

在图1和图2所示实施例的基础之上参见图3，图3为本申请实施例所提供的一种大数据服务器节点性能监测系统的结构示意图。由图3可知，本实施例中的大数据服务器节点性能监测系统，主要包括：性能基线建立模块、实际性能状态数据获取模块、性能监测识别模块、校正模块和数据输出模块。

其中，性能基线建立模块，用于根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据，建立性能基线池，性能基线数据包括：磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线；实际性能状态数据获取模块，用于获取大数据服务器节点的实际性能状态数据；性能监测识别模块，用于根据实际性能状态数据和性能基线池中性能基线数据的比对结果，采用二进制算法标识大数据服务器节点性能监测状态，其中，二进制标志位的数量与性能基线池中性能基线数据的数量相同，且任一二进制标志位与一个性能基线数据相匹配；校正模块，用于对大数据服务器节点性能监测状态进行校正，获取校正后的大数据服务器节点性能监测数据；数据输出模块，用于输出校正后的大数据服务器节点性能监测数据。

进一步地，性能监测识别模块包括：第一判断单元和标识单元。其中，第一判断单元，用于按照磁盘、内存、CPU、网络和业务，分别判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90％；标识单元，用于当大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90％时，将当前大数据服务器节点性能监测状态对应的标志位标识为1，否则，将当前大数据服务器节点性能监测状态对应的标志位标识为0。

校正模块包括：第二判断单元、第三判断单元和标识重置单元。其中，第二判断单元，用于当磁盘、内存、CPU、网络和业务的大数据服务器节点性能监测状态对应的标志位均为1时，判定大数据服务器节点性能正常，否则，判定大数据服务器节点性能异常；第三判断单元，用于当大数据服务器节点性能异常时，根据异常信息重新判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90％，当大数据服务器节点实际性能状态数据小于对应性能基线数据的90％时，判定当前大数据服务器节点性能故障；标识重置单元，用于当大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90％时，将当前大数据服务器节点性能监测状态重置对应的标志位标识为1。

进一步地，该大数据服务器节点性能监测系统中还包括有综合性能跟踪模块，用于利用当前业务处理时间内大数据节点的系统负载率，对大数据服务器节点的综合性能进行实时跟踪，系统负载率的计算公式为：

其中，L为系统负载率，T为系统响应时间，S为系统吞吐量，N为大数据节点的标准性能值。

该实施例中大数据服务器节点性能监测系统的工作原理和工作方法，在图1和图2所示的实施例中已经详细阐述，在此不再赘述。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种大数据服务器节点性能监测方法，其特征在于，所述方法包括：

根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据，建立性能基线池，所述性能基线数据包括：磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线；

获取大数据服务器节点的实际性能状态数据；

根据所述实际性能状态数据和性能基线池中性能基线数据的比对结果，采用二进制算法标识大数据服务器节点性能监测状态，其中，二进制标志位的数量与性能基线池中性能基线数据的数量相同，且任一二进制标志位与一个性能基线数据相匹配；

对所述大数据服务器节点性能监测状态进行校正，获取校正后的大数据服务器节点性能监测数据；

输出校正后的大数据服务器节点性能监测数据；

其中，根据所述实际性能状态数据和性能基线池中性能基线数据的比对结果，采用二进制算法标识大数据服务器节点性能监测状态，包括：

按照磁盘、内存、CPU、网络和业务，分别判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90％；

如果是，将当前大数据服务器节点性能监测状态对应的标志位标识为1；

如果否，将当前大数据服务器节点性能监测状态对应的标志位标识为0；

对所述大数据服务器节点性能监测状态进行校正，获取校正后的大数据服务器节点性能监测数据，包括：

当磁盘、内存、CPU、网络和业务的大数据服务器节点性能监测状态对应的标志位均为1时，判定大数据服务器节点性能正常，否则，判定大数据服务器节点性能异常；

当大数据服务器节点性能正常时，流程结束；

当大数据服务器节点性能异常时，根据异常信息重新判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90％；

如果是，将当前大数据服务器节点性能监测状态重置对应的标志位标识为1；

如果否，判定当前大数据服务器节点性能故障。

2.根据权利要求1所述的一种大数据服务器节点性能监测方法，其特征在于，所述根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据，建立性能基线池，包括：

根据大数据服务器节点的IP地址，获取大数据服务器节点在集中性能压力测试阶段形成的性能基线数据；

对所述性能基线数据进行分类保存，形成性能基线池。

3.根据权利要求1或2所述的一种大数据服务器节点性能监测方法，其特征在于，对所述大数据服务器节点性能监测状态进行校正，获取校正后的大数据服务器节点性能监测数据之后，所述方法还包括：

利用当前业务处理时间内大数据节点的系统负载率，对大数据服务器节点的综合性能进行实时跟踪，所述系统负载率的计算公式为：

其中，L为系统负载率，T为系统响应时间，S为系统吞吐量，N为大数据节点的标准性能值。

4.一种大数据服务器节点性能监测系统，其特征在于，所述系统包括：

性能基线建立模块，用于根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据，建立性能基线池，所述性能基线数据包括：磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线；

实际性能状态数据获取模块，用于获取大数据服务器节点的实际性能状态数据；

性能监测识别模块，用于根据所述实际性能状态数据和性能基线池中性能基线数据的比对结果，采用二进制算法标识大数据服务器节点性能监测状态，其中，二进制标志位的数量与性能基线池中性能基线数据的数量相同，且任一二进制标志位与一个性能基线数据相匹配；

校正模块，用于对所述大数据服务器节点性能监测状态进行校正，获取校正后的大数据服务器节点性能监测数据；

数据输出模块，用于输出校正后的大数据服务器节点性能监测数据；

其中，所述性能监测识别模块包括：

第一判断单元，用于按照磁盘、内存、CPU、网络和业务，分别判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90％；

标识单元，用于当大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90％时，将当前大数据服务器节点性能监测状态对应的标志位标识为1，否则，将当前大数据服务器节点性能监测状态对应的标志位标识为0；

所述校正模块包括：

第二判断单元，用于当磁盘、内存、CPU、网络和业务的大数据服务器节点性能监测状态对应的标志位均为1时，判定大数据服务器节点性能正常，否则，判定大数据服务器节点性能异常；

第三判断单元，用于当大数据服务器节点性能异常时，根据异常信息重新判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90％，当大数据服务器节点实际性能状态数据小于对应性能基线数据的90％时，判定当前大数据服务器节点性能故障；

标识重置单元，用于当大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90％时，将当前大数据服务器节点性能监测状态重置对应的标志位标识为1。

5.根据权利要求4所述的一种大数据服务器节点性能监测系统，其特征在于，所述系统中还包括：

综合性能跟踪模块，用于利用当前业务处理时间内大数据节点的系统负载率，对大数据服务器节点的综合性能进行实时跟踪，所述系统负载率的计算公式为：

其中，L为系统负载率，T为系统响应时间，S为系统吞吐量，N为大数据节点的标准性能值。

Images