CN112988506A - 一种大数据服务器节点性能监测方法及系统 - Google Patents

一种大数据服务器节点性能监测方法及系统 Download PDF

Info

Publication number
CN112988506A
CN112988506A CN202110191636.9A CN202110191636A CN112988506A CN 112988506 A CN112988506 A CN 112988506A CN 202110191636 A CN202110191636 A CN 202110191636A CN 112988506 A CN112988506 A CN 112988506A
Authority
CN
China
Prior art keywords
performance
server node
big data
data server
baseline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110191636.9A
Other languages
English (en)
Other versions
CN112988506B (zh
Inventor
梁永林
杜彦魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yingxin Computer Technology Co Ltd
Original Assignee
Shandong Yingxin Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yingxin Computer Technology Co Ltd filed Critical Shandong Yingxin Computer Technology Co Ltd
Priority to CN202110191636.9A priority Critical patent/CN112988506B/zh
Publication of CN112988506A publication Critical patent/CN112988506A/zh
Application granted granted Critical
Publication of CN112988506B publication Critical patent/CN112988506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3055Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种大数据服务器节点性能监测方法及系统,该方法包括:根据大数据服务器节点的IP地址和性能基线数据,建立性能基线池;获取大数据服务器节点的实际性能状态数据;根据实际性能状态数据和性能基线池中性能基线数据的比对结果,采用二进制算法标识大数据服务器节点性能监测状态;对大数据服务器节点性能监测状态进行校正;输出校正后的大数据服务器节点性能监测数据。该系统包括:性能基线建立模块、实际性能状态数据获取模块、性能监测识别模块、校正模块和数据输出模块。通过本申请,能够实现自动化监测节点性能数据,避免人工手动监测,能够有效提高测试效率和测试结果的准确性。

Description

一种大数据服务器节点性能监测方法及系统
技术领域
本申请涉及服务器节点性能测试技术领域,特别是涉及一种大数据服务器节点性能监测方法及系统。
背景技术
随着云时代的到来,大数据依托于云计算的分布式处理、分布式数据库和分布式存储等技术,进行大型数据的分析、存储和展示等。通常,在分布式架构中需要十、数百甚至数千个服务器分工协作处理。在大数据和云计算分布式架构中的分布式大数据服务器节点,对于大数据业务的正常运行起着非常重要的作用。因此,如何对大数据服务器节点的性能和运行状态进行监测,是个重要的技术问题。
目前,对大数据服务器节点的性能和运行状态进行监测的方法,通常包括服务器正式上线前的监测和正式上线后的监测。具体地,服务器正式上线前使用性能压力测试工具,进行一次集中测试,将测试结果进行逐项人工分析比对,确认该大数据服务器节点性能是否良好。服务器正式上线后,交接到运维阶段,由运维工程师对大数据服务器性能状态进行人工监测比对。
然而,目前对大数据服务器节点性能的监测方法中,由于服务器上线前后都是采用人工监测比对的方法,导致测试结果的准确性不够高。而且,划分服务器正式上线前和正式上线后两段性能监测,存在上线前的性能压测基线数据没有准确交接至运维阶段的可能性,这就会导致出现新的性能问题,需要重新建立性能测试基线,从而影响测试效率。
发明内容
本申请提供了一种大数据服务器节点性能监测方法及系统,以解决现有技术中的监测方法对大数据服务器节点性能监测准确不够高、影响测试效率的问题。
为了解决上述技术问题,本申请实施例公开了如下技术方案:
一种大数据服务器节点性能监测方法,所述方法包括:
根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据,建立性能基线池;
获取大数据服务器节点的实际性能状态数据;
根据所述实际性能状态数据和性能基线池中性能基线数据的比对结果,采用二进制算法标识大数据服务器节点性能监测状态,其中,二进制标志位的数量与性能基线池中性能基线数据的数量相同,且任一二进制标志位与一个性能基线数据相匹配;
对所述大数据服务器节点性能监测状态进行校正,获取校正后的大数据服务器节点性能监测数据;
输出校正后的大数据服务器节点性能监测数据。
可选地,所述性能基线数据包括:磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线。
可选地,所述根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据,建立性能基线池,包括:
根据大数据服务器节点的IP地址,获取大数据服务器节点在集中性能压力测试阶段形成的性能基线数据;
对所述性能基线数据进行分类保存,形成性能基线池。
可选地,根据所述实际性能状态数据和性能基线池中性能基线数据的比对结果,采用二进制算法标识大数据服务器节点性能监测状态,包括:
按照磁盘、内存、CPU、网络和业务,分别判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90%;
如果是,将当前大数据服务器节点性能监测状态对应的标志位标识为1;
如果否,将当前大数据服务器节点性能监测状态对应的标志位标识为0。
可选地,对所述大数据服务器节点性能监测状态进行校正,获取校正后的大数据服务器节点性能监测数据,包括:
当磁盘、内存、CPU、网络和业务的大数据服务器节点性能监测状态对应的标志位均为1时,判定大数据服务器节点性能正常,否则,判定大数据服务器节点性能异常;
当大数据服务器节点性能正常时,流程结束;
当大数据服务器节点性能异常时,根据异常信息重新判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90%;
如果是,将当前大数据服务器节点性能监测状态重置对应的标志位标识为1;
如果否,判定当前大数据服务器节点性能故障。
可选地,对所述大数据服务器节点性能监测状态进行校正,获取校正后的大数据服务器节点性能监测数据之后,所述方法还包括:
利用当前业务处理时间内大数据节点的系统负载率,对大数据服务器节点的综合性能进行实时跟踪,所述系统负载率的计算公式为:
Figure BDA0002944554990000031
其中,L为系统负载率,T为系统响应时间,S为系统吞吐量,N为大数据节点的标准性能值。
一种大数据服务器节点性能监测系统,所述系统包括:
性能基线建立模块,用于根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据,建立性能基线池,所述性能基线数据包括:磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线;
实际性能状态数据获取模块,用于获取大数据服务器节点的实际性能状态数据;
性能监测识别模块,用于根据所述实际性能状态数据和性能基线池中性能基线数据的比对结果,采用二进制算法标识大数据服务器节点性能监测状态,其中,二进制标志位的数量与性能基线池中性能基线数据的数量相同,且任一二进制标志位与一个性能基线数据相匹配;
校正模块,用于对所述大数据服务器节点性能监测状态进行校正,获取校正后的大数据服务器节点性能监测数据;
数据输出模块,用于输出校正后的大数据服务器节点性能监测数据。
可选地,所述性能监测识别模块包括:
第一判断单元,用于按照磁盘、内存、CPU、网络和业务,分别判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90%;
标识单元,用于当大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90%时,将当前大数据服务器节点性能监测状态对应的标志位标识为1,否则,将当前大数据服务器节点性能监测状态对应的标志位标识为0。
可选地,所述校正模块包括:
第二判断单元,用于当磁盘、内存、CPU、网络和业务的大数据服务器节点性能监测状态对应的标志位均为1时,判定大数据服务器节点性能正常,否则,判定大数据服务器节点性能异常;
第三判断单元,用于当大数据服务器节点性能异常时,根据异常信息重新判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90%,当大数据服务器节点实际性能状态数据小于对应性能基线数据的90%时,判定当前大数据服务器节点性能故障;
标识重置单元,用于当大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90%时,将当前大数据服务器节点性能监测状态重置对应的标志位标识为1。
可选地,所述系统中还包括:
综合性能跟踪模块,用于利用当前业务处理时间内大数据节点的系统负载率,对大数据服务器节点的综合性能进行实时跟踪,所述系统负载率的计算公式为:
Figure BDA0002944554990000041
其中,L为系统负载率,T为系统响应时间,S为系统吞吐量,N为大数据节点的标准性能值。
本申请的实施例提供的技术方案可以包括以下有益效果:
本申请提供一种大数据服务器节点性能监测方法,该方法首先根据大数据服务器节点的IP地址和在集中性能压力测试阶段的性能基线数据建立性能基线池,其次获取实际性能状态数据,然后根据实际性能状态数据和性能基线数据的比对结果,采用二进制算法标识大数据服务器节点性能监测状态,最后对性能监测状态进行校正并输出校正结果。本实施例全程采用自动化方法建立性能基线池、获取实际性能状态数据和性能基线数据的比对结果,并进行校正,避免人工监测性能状态数据,能够有效提高测试结果的准确性,而且不分服务器上线前后阶段,采集到集中性能压力测试结果的性能基线数据后直接建立性能基线池,并以此为基准采集实际性能状态数据,也就避免出现新的性能问题,有利于提高测试效率。另外,本实施例采用二进制算法标识的大数据服务器节点性能监测状态,使任一二进制标志位与一个性能基线数据相匹配,能够避免服务器节点性能诊断混乱的情况,有利于提高测试结果的准确性。而且,本实施例中包括对大数据服务器节点性能监测状态进行校正的步骤,通过校正,有利于进一步提高测试结果的准确性。
本申请还提供一种大数据服务器节点性能监测系统,该系统主要包括:性能基线建立模块、实际性能状态数据获取模块、性能监测识别模块、校正模块和数据输出模块。本实施例采用自动化模块实现大数据服务器节点性能监测,避免人工手动监测,有利于提高测试效率和测试结果的准确性。性能监测识别模块的设置,采用二进制算法标识节点性能监测状态,且任一二进制标志位与一个性能基线数据相匹配,能够避免服务器节点性能诊断混乱的情况,有利于提高测试结果的准确性。校正模块的设置,能够对获取到的节点性能监测状态进行进一步的校正,有利于提高测试结果的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种大数据服务器节点性能监测方法的流程示意图;
图2为5个二进制标识为的大数据服务器节点性能监测原理示意图;
图3为本申请实施例所提供的一种大数据服务器节点性能监测系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
为了更好地理解本申请,下面结合附图来详细解释本申请的实施方式。
实施例一
参见图1,图1为本申请实施例所提供的一种大数据服务器节点性能监测方法的流程示意图。由图1可知,本实施例中大数据服务器节点性能监测方法,主要包括如下过程:
S1:根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据,建立性能基线池。
本实施例中性能基线数据至少包括:磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线。
具体地,步骤S1包括如下过程:
S11:根据大数据服务器节点的IP地址,获取大数据服务器节点在集中性能压力测试阶段形成的性能基线数据。
S12:对性能基线数据进行分类保存,形成性能基线池。
通过以上步骤S11和S12可知,本实施例中性能基线池以大数据服务器节点的IP地址作为标签,将大数据服务器在集中性能压力测试阶段形成的性能基线数据分类保存,包括:磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线。
S2:获取大数据服务器节点的实际性能状态数据。
继续参见图1可知,建立性能基线池并获取实际性能状态数据之后,执行步骤S3:根据实际性能状态数据和性能基线池中性能基线数据的比对结果,采用二进制算法标识大数据服务器节点性能监测状态。其中,二进制标志位的数量与性能基线池中性能基线数据的数量相同,且任一二进制标志位与一个性能基线数据相匹配。
具体地,步骤S3包括如下过程:
S31:按照磁盘、内存、CPU、网络和业务,分别判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90%。
如果大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90%,执行步骤S32:将当前大数据服务器节点性能监测状态对应的标志位标识为1。
如果大数据服务器节点实际性能状态数据小于对应性能基线数据的90%,执行步骤S33:将当前大数据服务器节点性能监测状态对应的标志位标识为0。
根据以上步骤S31-S33,且以大数据服务器节点性能包括:磁盘、内存、CPU、网络和业务五种性能为例,本实施例中以5位二进制标志位来标识大数据服务器节点性能监测状态。5个二进制标识为的大数据服务器节点性能监测原理示意图,可以参见图2所示。
由图2可知,首先按照磁盘(a)、内存(b)、CPU(c)、网络(d)、业务(e)的顺序,依次对大数据服务器节点性能进行分析对比,对比条件为:大数据服务器节点实际性能状态数据与性能基线池的中对应性能基线数据的百分之九十进行对比,大数据服务器节点实际性能状态数据表示为β,对应性能基线数据的90%表示为α。如果β大于等于α,则对应标志位flag为1;如果β小于α,则对应标志位flag为0。由于每个性能基线数据对应有两种状态0和1,共5个状态位,按照二进制算法,本实施例中总共可以标识32种大数据服务器节点性能监测状态。总的性能监测状态以AIM.flag标识,将5位二进制值赋予AIM.flag,输出对应的性能解释。
继续参见图1可知,采用二进制算法标识大数据服务器节点性能监测状态之后,执行步骤S4:对大数据服务器节点性能监测状态进行校正,获取校正后的大数据服务器节点性能监测数据。
具体地,步骤S4包括如下过程:
S41:当磁盘、内存、CPU、网络和业务的大数据服务器节点性能监测状态对应的标志位均为1时,判定大数据服务器节点性能正常,否则,判定大数据服务器节点性能异常。
也就是,如果5个标志位flag1、flag2…flag5全为1,表示当前节点性能正常;如果5个标志位flag1、flag2…flag5中有一个或者多个0,表示节点异常。
S42:当大数据服务器节点性能正常时,流程结束。
S43:当大数据服务器节点性能异常时,根据异常信息重新判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90%。
如果大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90%,执行步骤S44:将当前大数据服务器节点性能监测状态重置对应的标志位标识为1。
如果大数据服务器节点实际性能状态数据小于对应性能基线数据的90%,执行步骤S45:判定当前大数据服务器节点性能故障。
由以上步骤S44和S45可知,通过校正,如果大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90%,判定初始的性能故障是误报,通过步骤S44对性能监测状态的标志位重置,修订为正确的性能状态。如果大数据服务器节点实际性能状态数据小于对应性能基线数据的90%,判定初始的性能故障判断是正确的,继续执行步骤S6。
S6:输出校正后的大数据服务器节点性能监测数据。
具体地,将校正后的性能故障记录形成报告文档,并输出校正后的大数据服务器节点性能监测数据。
进一步地,在步骤S4之后,还包括步骤S5:利用当前业务处理时间内大数据节点的系统负载率,对大数据服务器节点的综合性能进行实时跟踪。其中,系统负载率的计算公式为:
Figure BDA0002944554990000071
其中,L为系统负载率,T为系统响应时间,也就是大数据服务器节点处理当前业务所需要的时间,S为系统吞吐量,也就是单位时间内大数据服务器节点处理逻辑运算的次数,N为大数据节点的标准性能值。
通过对大数据服务器节点的综合性能进行实时跟踪,能够从整体上进一步提高测试结果的准确性。本实施例中通过系统负载率计算公式获取服务器节点系统负载率,利用系统负载率衡量大数据服务器节点的综合性能,能够更加便捷而准确地获取大数据服务器节点的综合性能,有利于进一步提高测试结果的准确性和测试效率。
实施例二
在图1和图2所示实施例的基础之上参见图3,图3为本申请实施例所提供的一种大数据服务器节点性能监测系统的结构示意图。由图3可知,本实施例中的大数据服务器节点性能监测系统,主要包括:性能基线建立模块、实际性能状态数据获取模块、性能监测识别模块、校正模块和数据输出模块。
其中,性能基线建立模块,用于根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据,建立性能基线池,性能基线数据包括:磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线;实际性能状态数据获取模块,用于获取大数据服务器节点的实际性能状态数据;性能监测识别模块,用于根据实际性能状态数据和性能基线池中性能基线数据的比对结果,采用二进制算法标识大数据服务器节点性能监测状态,其中,二进制标志位的数量与性能基线池中性能基线数据的数量相同,且任一二进制标志位与一个性能基线数据相匹配;校正模块,用于对大数据服务器节点性能监测状态进行校正,获取校正后的大数据服务器节点性能监测数据;数据输出模块,用于输出校正后的大数据服务器节点性能监测数据。
进一步地,性能监测识别模块包括:第一判断单元和标识单元。其中,第一判断单元,用于按照磁盘、内存、CPU、网络和业务,分别判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90%;标识单元,用于当大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90%时,将当前大数据服务器节点性能监测状态对应的标志位标识为1,否则,将当前大数据服务器节点性能监测状态对应的标志位标识为0。
校正模块包括:第二判断单元、第三判断单元和标识重置单元。其中,第二判断单元,用于当磁盘、内存、CPU、网络和业务的大数据服务器节点性能监测状态对应的标志位均为1时,判定大数据服务器节点性能正常,否则,判定大数据服务器节点性能异常;第三判断单元,用于当大数据服务器节点性能异常时,根据异常信息重新判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90%,当大数据服务器节点实际性能状态数据小于对应性能基线数据的90%时,判定当前大数据服务器节点性能故障;标识重置单元,用于当大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90%时,将当前大数据服务器节点性能监测状态重置对应的标志位标识为1。
进一步地,该大数据服务器节点性能监测系统中还包括有综合性能跟踪模块,用于利用当前业务处理时间内大数据节点的系统负载率,对大数据服务器节点的综合性能进行实时跟踪,系统负载率的计算公式为:
Figure BDA0002944554990000091
其中,L为系统负载率,T为系统响应时间,S为系统吞吐量,N为大数据节点的标准性能值。
该实施例中大数据服务器节点性能监测系统的工作原理和工作方法,在图1和图2所示的实施例中已经详细阐述,在此不再赘述。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种大数据服务器节点性能监测方法,其特征在于,所述方法包括:
根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据,建立性能基线池;
获取大数据服务器节点的实际性能状态数据;
根据所述实际性能状态数据和性能基线池中性能基线数据的比对结果,采用二进制算法标识大数据服务器节点性能监测状态,其中,二进制标志位的数量与性能基线池中性能基线数据的数量相同,且任一二进制标志位与一个性能基线数据相匹配;
对所述大数据服务器节点性能监测状态进行校正,获取校正后的大数据服务器节点性能监测数据;
输出校正后的大数据服务器节点性能监测数据。
2.根据权利要求1所述的一种大数据服务器节点性能监测方法,其特征在于,所述性能基线数据包括:磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线。
3.根据权利要求1所述的一种大数据服务器节点性能监测方法,其特征在于,所述根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据,建立性能基线池,包括:
根据大数据服务器节点的IP地址,获取大数据服务器节点在集中性能压力测试阶段形成的性能基线数据;
对所述性能基线数据进行分类保存,形成性能基线池。
4.根据权利要求2所述的一种大数据服务器节点性能监测方法,其特征在于,根据所述实际性能状态数据和性能基线池中性能基线数据的比对结果,采用二进制算法标识大数据服务器节点性能监测状态,包括:
按照磁盘、内存、CPU、网络和业务,分别判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90%;
如果是,将当前大数据服务器节点性能监测状态对应的标志位标识为1;
如果否,将当前大数据服务器节点性能监测状态对应的标志位标识为0。
5.根据权利要求4所述的一种大数据服务器节点性能监测方法,其特征在于,对所述大数据服务器节点性能监测状态进行校正,获取校正后的大数据服务器节点性能监测数据,包括:
当磁盘、内存、CPU、网络和业务的大数据服务器节点性能监测状态对应的标志位均为1时,判定大数据服务器节点性能正常,否则,判定大数据服务器节点性能异常;
当大数据服务器节点性能正常时,流程结束;
当大数据服务器节点性能异常时,根据异常信息重新判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90%;
如果是,将当前大数据服务器节点性能监测状态重置对应的标志位标识为1;
如果否,判定当前大数据服务器节点性能故障。
6.根据权利要求1-5中任一所述的一种大数据服务器节点性能监测方法,其特征在于,对所述大数据服务器节点性能监测状态进行校正,获取校正后的大数据服务器节点性能监测数据之后,所述方法还包括:
利用当前业务处理时间内大数据节点的系统负载率,对大数据服务器节点的综合性能进行实时跟踪,所述系统负载率的计算公式为:
Figure FDA0002944554980000021
其中,L为系统负载率,T为系统响应时间,S为系统吞吐量,N为大数据节点的标准性能值。
7.一种大数据服务器节点性能监测系统,其特征在于,所述系统包括:
性能基线建立模块,用于根据大数据服务器节点的IP地址和大数据服务器节点在集中性能压力测试阶段形成的性能基线数据,建立性能基线池,所述性能基线数据包括:磁盘性能基线、内存性能基线、CPU性能基线、网络性能基线和业务性能基线;
实际性能状态数据获取模块,用于获取大数据服务器节点的实际性能状态数据;
性能监测识别模块,用于根据所述实际性能状态数据和性能基线池中性能基线数据的比对结果,采用二进制算法标识大数据服务器节点性能监测状态,其中,二进制标志位的数量与性能基线池中性能基线数据的数量相同,且任一二进制标志位与一个性能基线数据相匹配;
校正模块,用于对所述大数据服务器节点性能监测状态进行校正,获取校正后的大数据服务器节点性能监测数据;
数据输出模块,用于输出校正后的大数据服务器节点性能监测数据。
8.根据权利要求7所述的一种大数据服务器节点性能监测系统,其特征在于,所述性能监测识别模块包括:
第一判断单元,用于按照磁盘、内存、CPU、网络和业务,分别判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90%;
标识单元,用于当大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90%时,将当前大数据服务器节点性能监测状态对应的标志位标识为1,否则,将当前大数据服务器节点性能监测状态对应的标志位标识为0。
9.根据权利要求8所述的一种大数据服务器节点性能监测系统,其特征在于,所述校正模块包括:
第二判断单元,用于当磁盘、内存、CPU、网络和业务的大数据服务器节点性能监测状态对应的标志位均为1时,判定大数据服务器节点性能正常,否则,判定大数据服务器节点性能异常;
第三判断单元,用于当大数据服务器节点性能异常时,根据异常信息重新判断大数据服务器节点实际性能状态数据是否大于等于对应性能基线数据的90%,当大数据服务器节点实际性能状态数据小于对应性能基线数据的90%时,判定当前大数据服务器节点性能故障;
标识重置单元,用于当大数据服务器节点实际性能状态数据大于等于对应性能基线数据的90%时,将当前大数据服务器节点性能监测状态重置对应的标志位标识为1。
10.根据权利要求7-9中任一所述的一种大数据服务器节点性能监测系统,其特征在于,所述系统中还包括:
综合性能跟踪模块,用于利用当前业务处理时间内大数据节点的系统负载率,对大数据服务器节点的综合性能进行实时跟踪,所述系统负载率的计算公式为:
Figure FDA0002944554980000031
其中,L为系统负载率,T为系统响应时间,S为系统吞吐量,N为大数据节点的标准性能值。
CN202110191636.9A 2021-02-19 2021-02-19 一种大数据服务器节点性能监测方法及系统 Active CN112988506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110191636.9A CN112988506B (zh) 2021-02-19 2021-02-19 一种大数据服务器节点性能监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110191636.9A CN112988506B (zh) 2021-02-19 2021-02-19 一种大数据服务器节点性能监测方法及系统

Publications (2)

Publication Number Publication Date
CN112988506A true CN112988506A (zh) 2021-06-18
CN112988506B CN112988506B (zh) 2022-05-17

Family

ID=76394252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110191636.9A Active CN112988506B (zh) 2021-02-19 2021-02-19 一种大数据服务器节点性能监测方法及系统

Country Status (1)

Country Link
CN (1) CN112988506B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103441906A (zh) * 2013-09-25 2013-12-11 哈尔滨工业大学 基于自主计算的代理缓存集群异常检测系统
CN104009869A (zh) * 2014-05-15 2014-08-27 华南理工大学 电力二次系统信息安全等级保护在线合规性检测方法
WO2017031988A1 (zh) * 2015-08-24 2017-03-02 中兴通讯股份有限公司 资源监控方法、装置及系统
CN107784440A (zh) * 2017-10-23 2018-03-09 国网辽宁省电力有限公司 一种电力信息系统资源调配系统及方法
CN109726234A (zh) * 2018-09-14 2019-05-07 上海华岭集成电路技术股份有限公司 基于工业互联网的集成电路测试信息化管理系统
CN109818825A (zh) * 2019-01-07 2019-05-28 郑州云海信息技术有限公司 一种Rack服务器智能化测试方法及系统
CN110333995A (zh) * 2019-07-09 2019-10-15 英赛克科技(北京)有限公司 对工业设备运行状态进行监测的方法及装置
CN111541647A (zh) * 2020-03-25 2020-08-14 杭州数梦工场科技有限公司 安全检测方法、装置、存储介质及计算机设备
US20200378867A1 (en) * 2019-05-31 2020-12-03 Greene, Tweed Technologies, Inc. Smart Seals for Monitoring and Analysis of Seal Properties Useful in Semiconductor Valves
CN112306837A (zh) * 2020-11-10 2021-02-02 光大兴陇信托有限责任公司 一种云压力测试方法及平台、设备及可读存储介质
CN113468043A (zh) * 2020-03-31 2021-10-01 福建天泉教育科技有限公司 一种基于多服务部署的自动化测试方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103441906A (zh) * 2013-09-25 2013-12-11 哈尔滨工业大学 基于自主计算的代理缓存集群异常检测系统
CN104009869A (zh) * 2014-05-15 2014-08-27 华南理工大学 电力二次系统信息安全等级保护在线合规性检测方法
WO2017031988A1 (zh) * 2015-08-24 2017-03-02 中兴通讯股份有限公司 资源监控方法、装置及系统
CN107784440A (zh) * 2017-10-23 2018-03-09 国网辽宁省电力有限公司 一种电力信息系统资源调配系统及方法
CN109726234A (zh) * 2018-09-14 2019-05-07 上海华岭集成电路技术股份有限公司 基于工业互联网的集成电路测试信息化管理系统
CN109818825A (zh) * 2019-01-07 2019-05-28 郑州云海信息技术有限公司 一种Rack服务器智能化测试方法及系统
US20200378867A1 (en) * 2019-05-31 2020-12-03 Greene, Tweed Technologies, Inc. Smart Seals for Monitoring and Analysis of Seal Properties Useful in Semiconductor Valves
CN110333995A (zh) * 2019-07-09 2019-10-15 英赛克科技(北京)有限公司 对工业设备运行状态进行监测的方法及装置
CN111541647A (zh) * 2020-03-25 2020-08-14 杭州数梦工场科技有限公司 安全检测方法、装置、存储介质及计算机设备
CN113468043A (zh) * 2020-03-31 2021-10-01 福建天泉教育科技有限公司 一种基于多服务部署的自动化测试方法
CN112306837A (zh) * 2020-11-10 2021-02-02 光大兴陇信托有限责任公司 一种云压力测试方法及平台、设备及可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
常政威等: "WebLogic服务器运行状态监测系统的研究和应用", 《计算机测量与控制》 *
王焘等: "一种基于自适应监测的云计算系统故障检测方法", 《计算机学报》 *
蔡尊煌: "大数据环境下任务调度和资源部署算法研究", 《重庆科技学院学报(自然科学版)》 *
薛金川: "Web系统压力测试方法研究与实践", 《科技创新与应用》 *
郑际树: "浅析信息系统性能风险点及优化", 《福建电脑》 *

Also Published As

Publication number Publication date
CN112988506B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US11657309B2 (en) Behavior analysis and visualization for a computer infrastructure
CN110968061B (zh) 设备故障的预警方法、装置、存储介质和计算机设备
CN110955550B (zh) 一种云平台故障定位方法、装置、设备及存储介质
CN112631913B (zh) 应用程序的运行故障监控方法、装置、设备和存储介质
CN111814999B (zh) 一种故障工单生成方法、装置、设备
CN110764980A (zh) 日志处理方法和装置
CN112380089A (zh) 一种数据中心监控预警方法及系统
CN112527484A (zh) 工作流断点续跑方法、装置、计算机设备及可读存储介质
JP5007247B2 (ja) ジョブ処理システムおよびジョブ管理方法
CN111476381A (zh) 基于国产化信息技术创新应用系统运维服务的方法和系统
CN113392000B (zh) 测试用例执行结果分析方法、装置、设备及存储介质
CN113487182B (zh) 设备健康状态评估方法、装置、计算机设备和介质
CN112988506B (zh) 一种大数据服务器节点性能监测方法及系统
CN114793132A (zh) 一种光模块的检测方法、装置、电子设备及存储介质
JP2010015246A (ja) 故障情報分析管理システム
CN112363893B (zh) 时序指标异常检测方法、设备及装置
CN111813872B (zh) 一种故障排查模型的生成方法、装置、设备
CN111258788B (zh) 磁盘故障预测方法、装置及计算机可读存储介质
US20230336409A1 (en) Combination rules creation device, method and program
US20230273850A1 (en) Rule generation apparatus, rule generation method, and program
CN114006840B (zh) 一种电路流量异常识别方法
JP5068351B2 (ja) ネットワーク評価システム、ネットワーク評価方法、及びプログラム
CN113505344B (zh) 机台插槽的异常侦测方法、修复方法和异常侦测系统
CN112114242B (zh) 一种自动化ic测试的在线监测和分析方法
CN117114651A (zh) 基于机理与数据分析融合的设备管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant