CN116708217A - 一种数据中心设备监控方法、系统、电子设备及存储介质 - Google Patents
一种数据中心设备监控方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116708217A CN116708217A CN202310707486.1A CN202310707486A CN116708217A CN 116708217 A CN116708217 A CN 116708217A CN 202310707486 A CN202310707486 A CN 202310707486A CN 116708217 A CN116708217 A CN 116708217A
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- monitoring
- acquisition
- monitored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 406
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000004458 analytical method Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims description 23
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 238000004140 cleaning Methods 0.000 claims description 16
- 238000007405 data analysis Methods 0.000 claims description 16
- 230000000295 complement effect Effects 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 10
- 238000004806 packaging method and process Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000005538 encapsulation Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000012417 linear regression Methods 0.000 claims description 4
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 37
- 230000005856 abnormality Effects 0.000 abstract description 8
- 230000004044 response Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 15
- 238000013480 data collection Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 5
- 238000010223 real-time analysis Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种数据中心设备监控系统、装置、电子设备及存储介质,本发明在进行设备监控时,预先构建了监控不同采集指标所使用的数据采集协议,如此,在使用时,根据待监控指标,来选择相对应的协议,即可实现待监控指标相对应数据的采集,因此,相比于传统技术,本发明无需用户进行功能配置,不仅降低了使用门槛和人员成本,还便于推广;同时,本发明还能够对采集到的数据进行分析处理,能够得到设备运行的实时监控分析数据和运行预测数据,基于此,则可实现设备运行的实时告警以及设备运行状态的提前预警,从而可及时发现设备的异常和故障,以便进行快速响应和处理;由此,则可减少设备宕机和故障的风险,进而提高设备运行的可靠性和稳定性。
Description
技术领域
本发明属于数据监控技术领域,具体涉及一种数据中心设备监控方法、系统、电子设备及存储介质。
背景技术
目前,对于各个网络设备的运行监控,大多都是基于Zabbix,并使用客户端/服务器架构来进行监控,其中,Zabbix是一款开源的网络监控软件,Zabbix支持多种监控方式,也可监控各种指标(如CPU使用率、内存使用率、网络带宽使用率等),因此,用户可以在待监控的设备上安装该软件,以基于该软件来实时采集待监控设备的运行数据,并定期发送至服务器,从而实现设备的运行监控。
但是,使用Zabbix进行设备运行监控存在以下不足:(1)需要用户基于监控的功能,对Zabbix进行功能配置,如此,则要求使用者需要具备一定的专业技术水平和经验,从而导致使用门槛较高,不仅增加了人员成本,还不便于推广;(2)Zabbix仅仅只能实现数据采集功能,而不能实现数据分析以及报警功能,由此,则无法实现数据中心设备异常的实时告警以及设备运行状态的预测;基于此,如何提供一种使用门槛低以及具备数据分析报警功能的监控方法,已成为一个亟待解决的问题。
发明内容
本发明的目的是提供一种数据中心设备监控方法、系统、电子设备及存储介质,用以解决现有技术中所存在的使用门槛高,以及不能实现数据分析以及报警功能的问题。
为了实现上述目的,本发明采用以下技术方案:
第一方面,提供了一种数据中心设备监控方法,包括:
获取设备采集指标协议抽象类,其中,所述设备采集指标协议抽象类包含有多个采集指标的采集协议以及各个采集指标的指标属性,且任一采集指标的指标属性包括该任一采集指标的名称、该任一采集指标对应的数据类型和数据取值范围;
基于所述设备采集指标协议抽象类,构建出用于获取不同采集指标的数据采集协议;
将各个数据采集协议进行封装处理,得到各个数据采集协议对应的设备监控配置文件;
获取至少一个设备监控任务,其中,所述至少一个设备监控任务中的每个设备监控任务均包括待监控指标,且每个设备监控任务均对应一待监控设备;
根据各个设备监控任务中的待监控指标,确定出各个设备监控任务对应的设备监控配置文件,并利用确定出的设备监控配置文件,对各个待监控设备进行数据采集,以得到各个设备监控任务对应的监控数据;
对各个设备监控任务对应的监控数据进行数据分析处理,得到各个待监控设备的监控分析数据以及运行预测数据,并在识别出任一待监控设备的监控分析数据和/或预测数据中存在异常数据时,生成报警提示。
基于上述公开的内容,本发明预先构建有设备采集指标协议抽象类,其中,该设备采集指标协议抽象类内存储有各个采集指标所使用的采集协议,以及各个采集指标对应的指标属性;如此,相当于为设备运行监控,提供了包含有数据采集所使用协议和采集内容的数据库;基于此,在具体应用时,则可根据设备采集指标协议抽象类,来构建出采集不同指标时所使用的数据采集协议;然后,将各个数据采集协议进行封装,则可得到各个设备监控配置文件;如此,在获取到设备监控任务时,则可根据设备监控任务对应的待监控指标,来确定出该待监控指标对应的设备监控配置文件;接着,即可基于确定出的设备监控配置文件,来采集待监控设备上与该待监控指标相对应的运行数据,从而得到监控数据;而后,通过对采集得到的监控数据进行分析处理,即可得到设备的监控分析数据和运行预测数据;最后,根据监控分析数据,则可实现设备运行的实时报警,而基于运行预测数据,则可实现设备运行异常的提前预警。
通过上述设计,本发明在进行设备监控时,预先构建了监控不同采集指标所使用的数据采集协议,如此,在使用时,根据待监控指标,来选择相对应的协议,即可实现待监控指标相对应数据的采集,因此,相比于传统技术,本发明无需用户自行进行功能配置,不仅降低了使用门槛和人员成本,还便于推广;同时,本发明还能够对采集到的数据进行分析处理,能够得到设备运行的实时监控分析数据和运行预测数据,基于此,则可实现设备运行的实时告警以及设备运行状态的提前预警,从而可及时发现设备的异常和故障,以便进行快速响应和处理;由此,则可减少设备宕机和故障的风险,进而提高设备运行的可靠性和稳定性。
在一个可能的设计中,将各个数据采集协议进行封装处理,得到各个数据采集协议对应的设备监控配置文件,包括:
将各个数据采集协议进行打包处理,得到各个数据采集协议对应的jar包;
通过Java SPI机制,将各个数据采集协议对应的jar包注册至预设的配置路径文件中,以在注册后,得到各个数据采集协议对应的设备监控配置文件。
在一个可能的设计中,任一设备监控任务还包括对应待监控设备的设备属性,且所述设备属性包括该任一设备监控任务对应待监控设备的IP地址;
其中,利用确定出的设备监控配置文件,对各个待监控设备进行数据采集,以得到各个设备监控任务对应的监控数据,包括:
对于至少一个设备监控任务中的任一设备监控任务,基于所述任一设备监控任务的设备监控配置文件,确定出所述任一设备监控任务对应的待监控指标的采集协议、名称、数据类型以及数据取值范围;
根据所述任一设备监控任务对应的待监控指标的采集协议、名称、数据类型以及数据取值范围,生成采集请求;
基于目标设备的IP地址,向目标设备发送所述采集请求,以使所述目标设备在接收到所述采集请求后,通过内部的目标协议代理组件,在目标设备的管理信息库中查找出与所述采集请求中的待监控指标相对应的设备运行数据,并依据目标协议封装所述设备运行数据,以便将封装后的设备运行数据发送至数据中心设备监控系统,其中,所述目标设备为所述任一设备监控任务相对应的待监控设备,所述目标协议为所述采集请求中的采集协议,且所述目标协议代理组件为所述采集请求中的采集协议所对应的代理服务组件;
接收所述目标设备发送的封装后的设备运行数据,并对所述封装后的设备运行数据进行解析处理,以在解析后,得到所述任一设备监控任务对应的监控数据。
在一个可能的设计中,任一设备监控任务还包括:监控间隔时间;
其中,在根据各个设备监控任务中的待监控指标,确定出各个设备监控任务对应的设备监控配置文件前,所述方法还包括:
构建时间轮询器,其中,所述时间轮询器用于定时触发执行各个设备监控任务;
将各个设备监控任务添加至所述时间轮询器中,以便基于时间轮询器读取各个设备监控任务中的监控间隔时间,并按照各个设备监控任务中的监控间隔时间,定时基于各个设备监控任务中的待监控指标,确定出各个设备监控任务对应的设备监控配置文件,并利用确定出的设备监控配置文件,对各个待监控设备进行数据采集,以得到各个设备监控任务对应的监控数据。
在一个可能的设计中,对各个设备监控任务对应的监控数据进行数据分析处理,得到各个待监控设备的监控分析数据以及运行预测数据,包括:
对各个设备监控任务对应的监控数据进行预处理,得到各个设备监控任务对应的预处理后的监控数据;
获取初始运行数据预测模型,并利用各个预处理后的监控数据,训练所述初始运行数据预测模型,以在训练后,得到设备运行数据预测模型;
对于任一设备监控任务,对所述任一设备监控任务对应的预处理后的监控数据进行统计分析处理,确定出所述任一设备监控任务对应待监控设备的运行统计数据,其中,运行统计数据包括所述任一设备监控任务对应待监控设备的待监控指标的数量、名称和异常待监控指标;
根据所述运行统计数据生成监控报表和/或数据图表,并利用所述监控报表和/或数据图表组成所述任一设备监控任务对应待监控设备的监控分析数据;以及
利用所述设备运行数据预测模型,对所述任一设备监控任务对应的待监控设备进行状态预测处理,以得到所述任一设备监控任务对应的待监控设备的运行预测数据。
在一个可能的设计中,对各个设备监控任务对应的监控数据进行预处理,得到各个设备监控任务对应的预处理后的监控数据,包括:
对于任一设备监控任务对应的监控数据,对所述任一设备监控任务对应的监控数据依次进行数据类型检测处理、数据异常检测处理、数据去重处理以及数据格式化处理,以在处理完毕后,得到预清洗数据;
采用如下公式(1),对所述预清洗数据进行平滑处理,得到平滑数据;
St=α×yt+(1-α)×St-1,t=1,2,...,T (1)
上述公式(1)中,yt表示所述预清洗数据中的第t时刻对应的数据,St表示yt对应的平滑数据,St-1表示第t-1时刻对应的平滑数据,α表示平滑系数,T表示所述预清洗数据中数据的采集时刻总数,且当t为1时,St-1为初始值;
判断所述平滑数据中是否存在缺失数据;
若是,则采用如下公式(2),对所述平滑数据中的缺失数据进行补全处理,以在补全处理后,得到所述预处理后的监控数据;
Ft+1=2St-St-1+α×(St-St-1) (2)
上述公式(2)中,Ft+1表示所述平滑数据中第t+1时刻的补全值。
在一个可能的设计中,利用各个预处理后的监控数据,训练所述初始运行数据预测模型,以在训练后,得到设备运行数据预测模型,包括:
对各个预处理后的监控数据进行特征提取,得到若干特征向量,
利用所述若干特征向量,构建出特征矩阵,并利用主成分分析法,对所述特征矩阵进行降维处理,得到若干特征数据;
将若干特征数据作为训练数据,并利用所述训练数据训练所述初始运行数据预测模型,以在训练完成后,得到所述设备运行数据预测模型,其中,所述初始运行数据预测模型为线性回归模型。
第二方面,提供了一种数据中心设备监控系统,所述数据中心设备监控系统采用分布式系统,部署在多个监控节点上,且所述数据中心设备监控系统包括:
获取单元,用于获取设备采集指标协议抽象类,其中,所述设备采集指标协议抽象类包含有多个采集指标的采集协议以及各个采集指标的指标属性,且任一采集指标的指标属性包括该任一采集指标的名称、该任一采集指标对应的数据类型和数据取值范围;
协议构建单元,用于基于所述设备采集指标协议抽象类,构建出用于获取不同采集指标的数据采集协议;
协议封装单元,用于将各个数据采集协议进行封装处理,得到各个数据采集协议对应的设备监控配置文件;
任务创建单元,用于获取至少一个设备监控任务,其中,所述至少一个设备监控任务中的每个设备监控任务均包括待监控指标,且每个设备监控任务均对应一待监控设备;
数据采集单元,用于根据各个设备监控任务中的待监控指标,确定出各个设备监控任务对应的设备监控配置文件,并利用确定出的设备监控配置文件,对各个待监控设备进行数据采集,以得到各个设备监控任务对应的监控数据;
数据分析单元,用于对各个设备监控任务对应的监控数据进行数据分析处理,得到各个待监控设备的监控分析数据以及运行预测数据,并在识别出任一待监控设备的监控分析数据和/或预测数据中存在异常数据时,生成报警提示。
第三方面,提供了一种数据中心设备监控装置,以装置为电子设备为例,包括依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如第一方面或第一方面中任意一种可能设计的所述数据中心设备监控方法。
第四方面,提供了一种存储介质,存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面或第一方面中任意一种可能设计的所述数据中心设备监控方法。
第五方面,提供了一种包含指令的计算机程序产品,当指令在计算机上运行时,使计算机执行如第一方面或第一方面中任意一种可能设计的所述数据中心设备监控方法。
有益效果:
(1)本发明在进行设备监控时,预先构建了监控不同采集指标所使用的数据采集协议,如此,在使用时,根据待监控指标,来选择相对应的协议,即可实现待监控指标相对应数据的采集,因此,相比于传统技术,本发明无需用户自行进行功能配置,不仅降低了使用门槛和人员成本,还便于推广;同时,本发明还能够对采集到的数据进行分析处理,能够得到设备运行的实时监控分析数据和运行预测数据,基于此,则可实现设备运行的实时告警以及设备运行状态的提前预警,从而可及时发现设备的异常和故障,以便进行快速响应和处理;由此,则可减少设备宕机和故障的风险,进而提高设备运行的可靠性和稳定性。
(2)本发明可实现自动化告警,系统可以及时通知相关人员进行处理,减少了运维人员的工作量,提高了运维效率和效益;同时,也可提高用户的体验和满意度,从而增加用户的信任和忠诚度。
(3)本发明通过Java SPI服务发现机制加载注册协议,并创建时间轮询器,将监控任务添加到时间轮询器,以基于时间轮询器来定时轮询执行任务,这种实现方式具有较高的灵活性,可以根据需要随时添加、修改或删除协议和采集策略,如此,可满足不同数据中心的实际需求。
(4)本发明所提供的系统采用分布式技术,系统可以支持在不同的服务器和数据中心之间进行数据共享和传输,从而扩展了系统的规模和能力,提高了系统的可扩展性和可用性。
附图说明
图1为本发明实施例提供的数据中心设备监控方法的步骤流程示意图;
图2为本发明实施例提供的数据中心设备监控系统的结构示意图;
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍,显而易见地,下面关于附图结构的描述仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在此需要说明的是,对于这些实施例方式的说明用于帮助理解本发明,但并不构成对本发明的限定。
应当理解,尽管本文可能使用术语第一、第二等等来描述各种单元,但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元,同时不脱离本发明的示例实施例的范围。
应当理解,对于本文中可能出现的术语“和/或”,其仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,单独存在B,同时存在A和B三种情况;对于本文中可能出现的术语“/和”,其是描述另一种关联对象关系,表示可以存在两种关系,例如,A/和B,可以表示:单独存在A,单独存在A和B两种情况;另外,对于本文中可能出现的字符“/”,一般表示前后关联对象是一种“或”关系。
实施例:
参见图1所示,本实施例所提供的数据中心设备监控方法,在进行设备监控时,无需用户自行进行功能配置,不仅降低了使用门槛和人员成本,还便于推广;同时,本方法还能够对采集到的数据进行分析处理,能够得到设备运行的实时监控分析数据和运行预测数据,基于此,则可实现设备运行的实时告警以及设备运行状态的提前预警,从而能够及时发现设备的异常和故障,由此,可使运维人员进行快速响应和处理,保障了设备运行的稳定性和可靠性,适用于在设备数据监控领域的大规模应用与推广;在本实施例中,举例该方法可以但不限于在数据中心设备监控系统侧运行,可以理解的,前述执行主体并不构成对本申请实施例的限定,相应的,本方法的运行步骤可以但不限于如下述步骤S1~S6所示。
S1.获取设备采集指标协议抽象类,其中,所述设备采集指标协议抽象类包含有多个采集指标的采集协议以及各个采集指标的指标属性,且任一采集指标的指标属性包括该任一采集指标的名称、该任一采集指标对应的数据类型和数据取值范围;在本实施例中,设备采集指标协议抽象类定义了不同设备内各个采集指标对应数据的通用采集属性和方法,而不同的采集协议则实现了具体的采集方式和采集数据的分类,通过预先构建前述设备采集指标协议抽象类,使得整个系统能够支持多种设备的数据采集,并可对采集的数据进行分类和处理;同时,采集指标的名称、描述、数据类型、取值范围等属性,可以帮助确定采集的数据内容;具体来说,采集指标的名称描述了采集的数据类型,数据类型描述了采集数据的格式,取值范围描述了采集数据的取值范围,这些属性都是确定采集数据内容的关键因素;例如,设备的CPU利用率、内存使用率、接口带宽使用率等采集指标,可使用SNMP协议采集,又如,设备的文件系统使用情况、进程状态、网络连接状态等采集指标,可使用SSH协议采集;当然,其余不同设备的采集指标所使用的采集协议,则不再一一赘述。
在构建完成前述设备采集指标协议抽象类后,即可基于前述设备采集指标协议抽象类,来构建出获取不同采集指标时,所使用的协议,以便后续在进行设备监控时,直接调用前述构建的协议,来完成设备对应运行数据的采集;其中,不同采集指标所使用的协议的构建过程,可以但不限于如下述步骤S2所示。
S2.基于所述设备采集指标协议抽象类,构建出用于获取不同采集指标的数据采集协议;在本实施例中,相当于是将设备采集指标协议抽象类按照采集指标所使用的采集协议,来进行分类,从而得到各个采集指标对应的采集协议,而后,再结合各个采集指标的指标属性,即可生成获取不同采集指标的数据采集协议;如设备的CPU利用率、内存使用率、接口带宽使用率等采集指标,均使用SNMP协议采集,那么生成的SNMP数据采集协议,包含的采集指标则为CPU利用率、内存使用率和接口带宽使用率,以及前述三个采集指标的数据类型和数据取值范围;当然,其余数据采集协议的构建原理,与前述举例相同,于此不再赘述。
基于前述步骤S2,即可构建出获取不同采集指标的数据采集协议,而后,将其进行封装,则可得到监控不同采集指标时所使用的配置文件;如此,在进行设备监控时,调用不同的配置文件,即可实现不同采集指标相对应运行数据的采集;在本实施例中,数据采集协议的封装过程可以但不限于如下述步骤S3所示。
S3.将各个数据采集协议进行封装处理,得到各个数据采集协议对应的设备监控配置文件;在本实施例中,可以但不限于基于Java SPI机制,来进行数据采集协议的封装;可选的,具体封装过程可以但不限于如下述步骤S31和步骤S32所示。
S31.将各个数据采集协议进行打包处理,得到各个数据采集协议对应的jar包。
S32.通过Java SPI机制,将各个数据采集协议对应的jar包注册至预设的配置路径文件中,以在注册后,得到各个数据采集协议对应的设备监控配置文件;在本实施例中,通过Java SPI(Service Provider Interface)服务发现机制加载注册协议,实质是将步骤S31中的jar包中的数据采集协议进行注册,以便在实际使用时,自动加载,以实现不同设备的运行数据的采集;其中,Java SPI是Java SE提供的一种服务发现机制,它可以在不修改代码的情况下,动态地将接口实现类注册到系统中;如此,当需要采集新类型的数据时,可以编写相应的数据采集协议,并将其打包成一个Jar包,在系统运行时将其添加到类路径中(即前述配置路径文件),即可完成新类型数据的自动采集;即系统会自动扫描并加载该Jar包中的数据采集协议,并将其注册到系统中,从而实现对新类型的数据采集;基于此,该种方式可以有效地避免系统升级或扩展时的停机维护,提高了系统的可用性和灵活性。
在基于前述步骤S31和步骤S32完成各个数据采集协议的封装后,则可得到采集不同采集指标对应数据的监控配置文件;而后,在获取到设备监控任务时,即可根据监控任务所要监控的指标,来确定出对应的监控配置文件,以便基于确定出的监控配置文件,来实现设备中待监控指标对应数据的自动采集,其中,数据采集过程可以但不限于如下述步骤S4和步骤S5所示。
S4.获取至少一个设备监控任务,其中,所述至少一个设备监控任务中的每个设备监控任务均包括待监控指标,且每个设备监控任务均对应一待监控设备;在具体应用时,举例任一设备监控任务还可以包括对应待监控设备的设备属性和监控间隔时间,且设备属性包括该任一设备监控任务对应待监控设备的IP地址;同时,本实施例还构建时间轮询器,来定时发起设备监控任务,从而保证监控的实时性。
可选的,定时触发执行设备监控任务的过程可以但不限于如下述步骤S41和步骤S42所示。
S31.构建时间轮询器,其中,所述时间轮询器用于定时触发执行各个设备监控任务;在本实施例中,时间轮询器实质为一个定时器,它可以按照预设的时间间隔定时触发任务。
在构建出时间轮询器后,即可将设备监控任务添加至该时间轮询器中,以便实现各个设备监控任务的定时触发,其触发过程如下述步骤S42所示。
S42.将各个设备监控任务添加至所述时间轮询器中,以便基于时间轮询器读取各个设备监控任务中的监控间隔时间,并按照各个设备监控任务中的监控间隔时间,定时执行各个设备监控任务;在本实施例中,监控间隔时间一个重要的参数,它决定了设备监控任务的执行频率,可根据具体的设备类型和采集协议,以及用户的需求来设置,在本实施例中,对于一些重要的设备或者指标,可以设置更短的监控间隔时间,以实现更加实时的数据采集和监控,而对于一些不太重要的设备或者指标,可以设置较长的监控间隔时间,以减少系统的负载和资源消耗。
由此,通过采用时间轮询器来定时发起设备监控任务,能够有效地收集、处理和实时洞察实时数据流,提高了数据处理的效率和实时性。
更进一步的,在本实施例中,举例当时间轮询器中某个设备监控任务到期时,可调用数据收集策略工厂执行采集动作,即数据收集策略工厂根据设备监控任务中的待监控指标,来确定待监控指标相对应的监控配置文件,并基于配置文件中的数据采集协议等信息,来进行数据的采集;其中,数据采集过程可以但不限于如描述步骤S5所示。
S5.根据各个设备监控任务中的待监控指标,确定出各个设备监控任务对应的设备监控配置文件,并利用确定出的设备监控配置文件,对各个待监控设备进行数据采集,以得到各个设备监控任务对应的监控数据;在本实施例中,以任一设备监控任务为例,来具体阐述,即根据任一设备监控任务中的待监控指标,在各个设备监控配置文件中,筛选出与待监控指标相同的采集指定数所对应的设备监控配置文件,从而作为该任一设备监控任务的设备配置文件;而后,即可基于该筛选出设备监控配置文件,来进行待监控指标对应数据的采集;如,假设待监控指标为cpu利用率,那么即可将SNMP数据采集协议对应的设备监控配置文件,作为该任一设备监控任务对应的备监控配置文件,也就是使用SNMP协议,来采集待监控设备的CPU的使用率;当然,其余各设备监控任务对应的设备监控配置文件的确定过程,与前述举例相同,于此则不再一一赘述。
在得到进行数据采集的设备监控配置文件后,即可采集待监控设备上与待监控指标相对应的数据,其中,具体采集过程可以但不限于如下述步骤S51~S54所示。
S51.对于至少一个设备监控任务中的任一设备监控任务,基于所述任一设备监控任务的设备监控配置文件,确定出所述任一设备监控任务对应的待监控指标的采集协议、名称、数据类型以及数据取值范围;在本实施例中,还是在前述举例的基础上进行阐述,若待监控指标为CPU使用率,那么则确定出的则是:CPU使用率所使用的采集协议(即SNMP协议),CPU使用率的数据类型和数据取值范围;又如,待监控指标为内存使用率,那么,则确定出的则是:内存使用率所使用的采集协议(也为SNMP协议),内存使用率的数据类型和数据取值范围;当然,前述举例仅是示意,更多待监控指标的采集协议以及属性的确定过程,则不再一一赘述。
在得到任一设备监控任务对应的待监控指标的采集协议以及属性数据后,则可生成采集请求,以便基于采集请求,来获取待监控设备上的运行数据;其中,采集请求的生成过程可以但不限于如下述步骤S52所示。
S52.根据所述任一设备监控任务对应的待监控指标的采集协议、名称、数据类型以及数据取值范围,生成采集请求;在实施例中,生成采集请求后,则可将该采集请求发送至任一设备监控任务对应的待监控设备,以便该待监控设备依据采集请求,来查询与该采集请求中待监控指标相对应的数据,其中,查询过程如下述步骤S53所示。
S53.基于目标设备的IP地址,向目标设备发送所述采集请求,以使所述目标设备在接收到所述采集请求后,通过内部的目标协议代理组件,在目标设备的管理信息库中查找出与所述采集请求中的待监控指标相对应的设备运行数据,并依据目标协议封装所述设备运行数据,以便将封装后的设备运行数据发送至数据中心设备监控系统,其中,所述目标设备为所述任一设备监控任务相对应的待监控设备,所述目标协议为所述采集请求中的采集协议,且所述目标协议代理组件为所述采集请求中的采集协议所对应的代理服务组件。
在本实施例中,相当于是目标设备向目标设备发送采集请求,请求特定OID(对象标识符)的值,然后,目标设备内部的目标协议代理组件,则基于采集请求,在MIB库(即管理信息库)中,查找出与该OID相对应的值,也就是查找出待监控指标对应的运行数据;而后,将采集到的运行数据进行封装,并返回至数据中心设备监控系统,即可完成一次数据采集;如,假设待监控指标为CPU使用率,那么,则是在MIB库中查找出CPU使用率对应的值,作为设备运行数据,然后进行封装,并返回至数据中心设备监控系统;当然,其余不同待监控指标对应运行数据的采集过程与前述举例相同,于此不再赘述。
目标设备在基于采集请求,得到该任一设备监控任务对应待监控指标的设备运行数据后,则可将其发送至数据中心设备监控系统,而数据中心设备监控系统对其进行解析,即可到任一设备监控任务对应的监控数据;其中,解析过程如下述步骤S54所示。
S54.接收所述目标设备发送的封装后的设备运行数据,并对所述封装后的设备运行数据进行解析处理,以在解析后,得到所述任一设备监控任务对应的监控数据;在本实施例中,解析得到监控数据后,可将监控数据保存至数据库,以实现数据的留存。
在本实施例中,前述各个设备监控任务的执行,则是基于时间轮询器来完成的,也就是时间轮询器读取各个设备监控任务中的监控间隔时间,并按照各个设备监控任务中的监控间隔时间,定时基于各个设备监控任务中的待监控指标,确定出各个设备监控任务对应的设备监控配置文件,并利用确定出的设备监控配置文件,对各个待监控设备进行数据采集,以得到各个设备监控任务对应的监控数据。
由此,本实施例则可基于前述步骤S3所构建的设备监控配置文件,来快速采集不同设备监控任务内待监控指标对应的设备数据,从而实现各待监控设备运行的实时监控;而在采集得到各待监控设备运行时的监控数据后,即可进行设备运行的实时分析与预测,以便实现设备运行的实时报警,以及运行的提前预警,其中,数据分析过程可以但不限于如下述步骤S6所示。
S6.对各个设备监控任务对应的监控数据进行数据分析处理,得到各个待监控设备的监控分析数据以及运行预测数据,并在识别出任一待监控设备的监控分析数据和/或预测数据中存在异常数据时,生成报警提示;在本实施例中,举例可以但不限于先将各个监控数据进行预处理,然后用预处理后的监控数据,来进行设备的运行分析,以及利用预处理后的监控数据来训练模型,从而得到设备运行数据预测模型;如此,即可实现设备运行的实时分析,以及未来时刻的运行状态的预测。
可选的,前述数据分析处理过程可以但不限于如下述步骤S61~S65所示。
S61.对各个设备监控任务对应的监控数据进行预处理,得到各个设备监控任务对应的预处理后的监控数据;在本实施例中,以任一监控数据为例,来具体阐述预处理的过程,该过程可以但不限于如下述步骤S61a~S61d所示。
S61a.对于任一设备监控任务对应的监控数据,对所述任一设备监控任务对应的监控数据依次进行数据类型检测处理、数据异常检测处理、数据去重处理以及数据格式化处理,以在处理完毕后,得到预清洗数据;在本实施例中,数据类型检测,是对采集到的数据类型进行检查,确保数据的正确性和完整性;数据异常检测,则是对采集到的数据进行数据范围、数据边界和数据分布等方面的检测,以基于前述检测结果判断数据是否存在异常情况;数据去重处理则是避免重复的数据对后续分析造成干扰;而数据个数化处理则是将采集到的数据转换成统一格式,以方便后续处理;同时,在本实例中,还可删除数据中不必要的空格、回车以及其他格式化字符等,以保证数据的准确性;可选的,步骤S61中的数据处理过程,可以但不限于借助Hive表来实现,即利用Hive表中的数据清洗函数(如REGEXP_REPLACE函数进行字符串匹配和替换,CASE WHEN语句进行条件判断和处理等)、清洗表达式、查询语句来实现前述数据处理;当然,利用Hive表来进行数据处理,是数据预处理的常用技术,其原理不再赘述。
在得到预清洗数据后,还可对预清洗数据进行归一化处理;而后,则可对前述预清洗数据来进行平滑处理和数据补全处理,以提高数据的准确性;其中,平滑处理过程可以但不限于如下述步骤S61b所示。
S61b.采用如下公式(1),对所述预清洗数据进行平滑处理,得到平滑数据。
St=α×yt+(1-α)×St-1,t=1,2,...,T (1)
上述公式(1)中,yt表示所述预清洗数据中的第t时刻对应的数据,St表示yt对应的平滑数据,St-1表示第t-1时刻对应的平滑数据,α表示平滑系数,T表示所述预清洗数据中数据的采集时刻总数,且当t为1时,St-1为初始值。
由此通过前述公式(1),即可对预清洗数据中不同时刻的数据进行平滑处理,得到平滑数据,同时,在采集过程中,还可能出现数据丢失问题,因此,平滑处理后,还需对缺失的数据进行补全,以保证数据的完整性;其中,数据补全过程如下述步骤S61c和步骤S61d所示。
S61c.判断所述平滑数据中是否存在缺失数据;在本实施例中,当平滑数据中某个时刻数据为空时,则可判定该时刻缺失了数据;而缺失数据的补全过程,则如下述步骤S61d所示。
S61d.若是,则采用如下公式(2),对所述平滑数据中的缺失数据进行补全处理,以在补全处理后,得到所述预处理后的监控数据;
Ft+1=2St-St-1+α×(St-St-1) (2)
上述公式(2)中,Ft+1表示所述平滑数据中第t+1时刻的补全值。
基于前述公式(2),即可利用第t时刻时的平滑数据,和第t-1时刻时的平滑数据,来预测第t+1时刻时的数据值,而该预测的数据值,则作为第t+1时刻时的补全值;由此,基于前述公式(2),即可完成平滑数据中各缺失数据的补全,得到预处理后的监控数据;当然,其余各个设备监控任务的监控数据的预处理过程与前述步骤S61a~S61d相同,其原理不再赘述。
在完成各个设备监控任务对应监控数据的预处理后,即可利用各个预处理后的监控数据,来训练模型,从而得到设备运行数据预测模型,其中,模型训练过程可以但不限于如下述步骤S62所示。
S62.获取初始运行数据预测模型,并利用各个预处理后的监控数据,训练所述初始运行数据预测模型,以在训练后,得到设备运行数据预测模型;在本实施例中,举例所述初始运行数据预测模型可以但不限于为线性回归模型,且可以但不限于先对各个预处理后的监控数据进行特征提取,得到若干特征向量;然后利用所述若干特征向量,构建出特征矩阵,并利用主成分分析法,对所述特征矩阵进行降维处理,得到若干特征数据;最后,将若干特征数据作为训练数据,并利用所述训练数据训练所述初始运行数据预测模型,以在训练完成后,得到所述设备运行数据预测模型;更进一步的,举例任一预处理后的监控数据的特征向量,由该任一预处理后的监控数据内各个时刻的数据组成,而特征矩阵的每一行则代表一个特征向量;另外,进行模型训练是,可定义一个损失函数(loss function),它衡量预测值与真实值之间的差异,然后使用梯度下降法或正规方程法,来最小化损失函数,如使用梯度下降法,进行多轮迭代,并在每一轮迭代计算损失函数的梯度以及更新模型参数,直至损失函数值达到阈值或不再变化时,得到设备运行数据预测模型;具体的,则是对前述特征数据进行线性回归拟合,来得到线性拟合回归模型,而该回归模型,则作为设备运行数据预测模型。
如此,在基于前述步骤S61得到各个设备监控任务对应的预处理后的监控数据,以及基于步骤S62得到设备运行数据预测模型后,则可进行各个待监控设备运行状态的实时分析,以及运行状态的预测,其中,实时分析过程如下述步骤S63和步骤S64所示,而运行状态预测,则如下述步骤S65所示。
S63.对于任一设备监控任务,对所述任一设备监控任务对应的预处理后的监控数据进行统计分析处理,确定出所述任一设备监控任务对应待监控设备的运行统计数据,其中,运行统计数据包括所述任一设备监控任务对应待监控设备的待监控指标的数量、名称和异常待监控指标;在本实施例中,可以但不限于先预设告警规则,以便基于告警规则,来确定出该任一设备监控任务对应的预处理后的监控数据中的异常数据,如数据阈值、采集频率、异常持续时间等数据,而后,即可进行异常数据与正常数据的统计,得到运行统计数据;更进一步的,还可基于前述运行统计数据,来生成相应的报表和图表,以便直观的展示该任一设备监控任务对应待监控设备的运行状态;其中,报表和图表的生成过程可以但不限于如下述步骤S64所示。
S64.根据所述运行统计数据生成监控报表和/或数据图表,并利用所述监控报表和/或数据图表组成所述任一设备监控任务对应待监控设备的监控分析数据;在本实施例中,可基于前述运行统计数据生成监控报表,报表内容可以包括监控数据的指标、异常信息的数量等内容,当然,还可包括故障处理情况等内容;同时,举例可使用D3.js等软件将数据可视化为线图、散点图等图表,以便用户更直观地了解数据变化趋势。
在完成设备运行状态的实时分析后,还可基于前述训练的设备运行数据预测模块,来进行该任一设备监控任务对应待监控设备的状态预测,其中,预测过程如下述步骤S65所示。
S65.利用所述设备运行数据预测模型,对所述任一设备监控任务对应的待监控设备进行状态预测处理,以得到所述任一设备监控任务对应的待监控设备的运行预测数据;在本实施例中,将待预测的特征(即预测时刻)输入到模型中,即可得到设备未来时刻的运行预测数据。
在本实施例中,基于预测结果,可以使用警戒线来警示用户,表明数据点是否超出预期范围;例如,如果预测结果中某些数据点超过了预期范围,则可以自动生成警告通知,以通知相关用户进行必要的后续操作。
同时,前述告警提示可以通过邮件、短信、微信等方式通知相关人员进行处理,且可设置告警等级,并根据告警级别和紧急程度进行分类,以保证告警信息的及时性和准确性;由此,即可实现设备运行的实时告警以及设备运行状态的提前预警,从而可及时发现设备的异常和故障,基于此,可提高设备运行的可靠性和稳定。
由此通过前述步骤S1~S6所详细描述的数据中心设备监控方法,本发明在进行设备监控时,无需用户自行进行功能配置,不仅降低了使用门槛和人员成本,还便于推广;同时,本方法还能够对采集到的数据进行分析处理,能够得到设备运行的实时监控分析数据和运行预测数据,基于此,则可实现设备运行的实时告警以及设备运行状态的提前预警,从而能够及时发现设备的异常和故障,由此,可使运维人员进行快速响应和处理,保障了设备运行的稳定性和可靠性,适用于在设备数据监控领域的大规模应用与推广。
如图2所示,本实施例第二方面提供了一种实现实施例第一方面中所述的数据中心设备监控方法的硬件系统,其中,举例该数据中心设备监控系统采用分布式系统,部署在多个监控节点上,且举例该系统可以但不限于包括:
获取单元,用于获取设备采集指标协议抽象类,其中,所述设备采集指标协议抽象类包含有多个采集指标的采集协议以及各个采集指标的指标属性,且任一采集指标的指标属性包括该任一采集指标的名称、该任一采集指标对应的数据类型和数据取值范围。
协议构建单元,用于基于所述设备采集指标协议抽象类,构建出用于获取不同采集指标的数据采集协议。
协议封装单元,用于将各个数据采集协议进行封装处理,得到各个数据采集协议对应的设备监控配置文件。
任务创建单元,用于获取至少一个设备监控任务,其中,所述至少一个设备监控任务中的每个设备监控任务均包括待监控指标,且每个设备监控任务均对应一待监控设备。
数据采集单元,用于根据各个设备监控任务中的待监控指标,确定出各个设备监控任务对应的设备监控配置文件,并利用确定出的设备监控配置文件,对各个待监控设备进行数据采集,以得到各个设备监控任务对应的监控数据。
数据分析单元,用于对各个设备监控任务对应的监控数据进行数据分析处理,得到各个待监控设备的监控分析数据以及运行预测数据,并在识别出任一待监控设备的监控分析数据和/或预测数据中存在异常数据时,生成报警提示。
另外,在本实施例中,通过采用分布式技术,系统可以支持在不同的服务器和数据中心之间进行数据共享和传输,从而扩展了系统的规模和能力,提高了系统的可扩展性和可用性。
本实施例提供的装置的工作过程、工作细节和技术效果,可以参见实施例第一方面,于此不再赘述。
如图3所示,本实施例第三方面提供了一种数据中心设备监控装置,以装置为电子设备为例,包括:依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如实施例第一方面所述的数据中心设备监控方法。
具体举例的,所述存储器可以但不限于包括随机存取存储器(random accessmemory,RAM)、只读存储器(Read Only Memory,ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output,FIFO)和/或先进后出存储器(First In Last Out,FILO)等等;具体地,处理器可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现,同时,处理器也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在一些实施例中,处理器可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制,例如,所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机(reduced instruction setcomputer,RISC)微处理器、X86等架构处理器或集成嵌入式神经网络处理器(neural-network processing units,NPU)的处理器;所述收发器可以但不限于为无线保真(WIFI)无线收发器、蓝牙无线收发器、通用分组无线服务技术(General Packet Radio Service,GPRS)无线收发器、紫蜂协议(基于IEEE802.15.4标准的低功耗局域网协议,ZigBee)无线收发器、3G收发器、4G收发器和/或5G收发器等。此外,所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例提供的电子设备的工作过程、工作细节和技术效果,可以参见实施例第一方面,于此不再赘述。
本实施例第四方面提供了一种存储包含有实施例第一方面所述的数据中心设备监控方法的指令的存储介质,即所述存储介质上存储有指令,当所述指令在计算机上运行时,执行如实施例第一方面所述的数据中心设备监控方法。
其中,所述存储介质是指存储数据的载体,可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例提供的存储介质的工作过程、工作细节和技术效果,可以参见实施例第一方面,于此不再赘述。
本实施例第五方面提供了一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如实施例第一方面所述的数据中心设备监控方法,其中,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据中心设备监控方法,其特征在于,包括:
获取设备采集指标协议抽象类,其中,所述设备采集指标协议抽象类包含有多个采集指标的采集协议以及各个采集指标的指标属性,且任一采集指标的指标属性包括该任一采集指标的名称、该任一采集指标对应的数据类型和数据取值范围;
基于所述设备采集指标协议抽象类,构建出用于获取不同采集指标的数据采集协议;
将各个数据采集协议进行封装处理,得到各个数据采集协议对应的设备监控配置文件;
获取至少一个设备监控任务,其中,所述至少一个设备监控任务中的每个设备监控任务均包括待监控指标,且每个设备监控任务均对应一待监控设备;
根据各个设备监控任务中的待监控指标,确定出各个设备监控任务对应的设备监控配置文件,并利用确定出的设备监控配置文件,对各个待监控设备进行数据采集,以得到各个设备监控任务对应的监控数据;
对各个设备监控任务对应的监控数据进行数据分析处理,得到各个待监控设备的监控分析数据以及运行预测数据,并在识别出任一待监控设备的监控分析数据和/或预测数据中存在异常数据时,生成报警提示。
2.根据权利要求1所述的方法,其特征在于,将各个数据采集协议进行封装处理,得到各个数据采集协议对应的设备监控配置文件,包括:
将各个数据采集协议进行打包处理,得到各个数据采集协议对应的jar包;
通过Java SPI机制,将各个数据采集协议对应的jar包注册至预设的配置路径文件中,以在注册后,得到各个数据采集协议对应的设备监控配置文件。
3.根据权利要求1所述的方法,其特征在于,任一设备监控任务还包括对应待监控设备的设备属性,且所述设备属性包括该任一设备监控任务对应待监控设备的IP地址;
其中,利用确定出的设备监控配置文件,对各个待监控设备进行数据采集,以得到各个设备监控任务对应的监控数据,包括:
对于至少一个设备监控任务中的任一设备监控任务,基于所述任一设备监控任务的设备监控配置文件,确定出所述任一设备监控任务对应的待监控指标的采集协议、名称、数据类型以及数据取值范围;
根据所述任一设备监控任务对应的待监控指标的采集协议、名称、数据类型以及数据取值范围,生成采集请求;
基于目标设备的IP地址,向目标设备发送所述采集请求,以使所述目标设备在接收到所述采集请求后,通过内部的目标协议代理组件,在目标设备的管理信息库中查找出与所述采集请求中的待监控指标相对应的设备运行数据,并依据目标协议封装所述设备运行数据,以便将封装后的设备运行数据发送至数据中心设备监控系统,其中,所述目标设备为所述任一设备监控任务相对应的待监控设备,所述目标协议为所述采集请求中的采集协议,且所述目标协议代理组件为所述采集请求中的采集协议所对应的代理服务组件;
接收所述目标设备发送的封装后的设备运行数据,并对所述封装后的设备运行数据进行解析处理,以在解析后,得到所述任一设备监控任务对应的监控数据。
4.根据权利要求1所述的方法,其特征在于,任一设备监控任务还包括:监控间隔时间;
其中,在根据各个设备监控任务中的待监控指标,确定出各个设备监控任务对应的设备监控配置文件前,所述方法还包括:
构建时间轮询器,其中,所述时间轮询器用于定时触发执行各个设备监控任务;
将各个设备监控任务添加至所述时间轮询器中,以便基于时间轮询器读取各个设备监控任务中的监控间隔时间,并按照各个设备监控任务中的监控间隔时间,定时基于各个设备监控任务中的待监控指标,确定出各个设备监控任务对应的设备监控配置文件,并利用确定出的设备监控配置文件,对各个待监控设备进行数据采集,以得到各个设备监控任务对应的监控数据。
5.根据权利要求1所述的方法,其特征在于,对各个设备监控任务对应的监控数据进行数据分析处理,得到各个待监控设备的监控分析数据以及运行预测数据,包括:
对各个设备监控任务对应的监控数据进行预处理,得到各个设备监控任务对应的预处理后的监控数据;
获取初始运行数据预测模型,并利用各个预处理后的监控数据,训练所述初始运行数据预测模型,以在训练后,得到设备运行数据预测模型;
对于任一设备监控任务,对所述任一设备监控任务对应的预处理后的监控数据进行统计分析处理,确定出所述任一设备监控任务对应待监控设备的运行统计数据,其中,运行统计数据包括所述任一设备监控任务对应待监控设备的待监控指标的数量、名称和异常待监控指标;
根据所述运行统计数据生成监控报表和/或数据图表,并利用所述监控报表和/或数据图表组成所述任一设备监控任务对应待监控设备的监控分析数据;以及
利用所述设备运行数据预测模型,对所述任一设备监控任务对应的待监控设备进行状态预测处理,以得到所述任一设备监控任务对应的待监控设备的运行预测数据。
6.根据权利要求5所述的方法,其特征在于,对各个设备监控任务对应的监控数据进行预处理,得到各个设备监控任务对应的预处理后的监控数据,包括:
对于任一设备监控任务对应的监控数据,对所述任一设备监控任务对应的监控数据依次进行数据类型检测处理、数据异常检测处理、数据去重处理以及数据格式化处理,以在处理完毕后,得到预清洗数据;
采用如下公式(1),对所述预清洗数据进行平滑处理,得到平滑数据;
St=α×yt+(1-α)×St-1,t=1,2,...,T (1)
上述公式(1)中,yt表示所述预清洗数据中的第t时刻对应的数据,St表示yt对应的平滑数据,St-1表示第t-1时刻对应的平滑数据,α表示平滑系数,T表示所述预清洗数据中数据的采集时刻总数,且当t为1时,St-1为初始值;
判断所述平滑数据中是否存在缺失数据;
若是,则采用如下公式(2),对所述平滑数据中的缺失数据进行补全处理,以在补全处理后,得到所述预处理后的监控数据;
Ft+1=2St-St-1+α×(St-St-1) (2)
上述公式(2)中,Ft+1表示所述平滑数据中第t+1时刻的补全值。
7.根据权利要求5所述的方法,其特征在于,利用各个预处理后的监控数据,训练所述初始运行数据预测模型,以在训练后,得到设备运行数据预测模型,包括:
对各个预处理后的监控数据进行特征提取,得到若干特征向量,
利用所述若干特征向量,构建出特征矩阵,并利用主成分分析法,对所述特征矩阵进行降维处理,得到若干特征数据;
将若干特征数据作为训练数据,并利用所述训练数据训练所述初始运行数据预测模型,以在训练完成后,得到所述设备运行数据预测模型,其中,所述初始运行数据预测模型为线性回归模型。
8.一种数据中心设备监控系统,其特征在于,所述数据中心设备监控系统采用分布式系统,部署在多个监控节点上,且所述数据中心设备监控系统包括:
获取单元,用于获取设备采集指标协议抽象类,其中,所述设备采集指标协议抽象类包含有多个采集指标的采集协议以及各个采集指标的指标属性,且任一采集指标的指标属性包括该任一采集指标的名称、该任一采集指标对应的数据类型和数据取值范围;
协议构建单元,用于基于所述设备采集指标协议抽象类,构建出用于获取不同采集指标的数据采集协议;
协议封装单元,用于将各个数据采集协议进行封装处理,得到各个数据采集协议对应的设备监控配置文件;
任务创建单元,用于获取至少一个设备监控任务,其中,所述至少一个设备监控任务中的每个设备监控任务均包括待监控指标,且每个设备监控任务均对应一待监控设备;
数据采集单元,用于根据各个设备监控任务中的待监控指标,确定出各个设备监控任务对应的设备监控配置文件,并利用确定出的设备监控配置文件,对各个待监控设备进行数据采集,以得到各个设备监控任务对应的监控数据;
数据分析单元,用于对各个设备监控任务对应的监控数据进行数据分析处理,得到各个待监控设备的监控分析数据以及运行预测数据,并在识别出任一待监控设备的监控分析数据和/或预测数据中存在异常数据时,生成报警提示。
9.一种电子设备,其特征在于,包括:依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如权利要求1~7任意一项所述的数据中心设备监控方法。
10.一种存储介质,其特征在于,所述存储介质上存储有指令,当所述指令在计算机上运行时,执行如权利要求1~7任意一项所述的数据中心设备监控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310707486.1A CN116708217A (zh) | 2023-06-14 | 2023-06-14 | 一种数据中心设备监控方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310707486.1A CN116708217A (zh) | 2023-06-14 | 2023-06-14 | 一种数据中心设备监控方法、系统、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116708217A true CN116708217A (zh) | 2023-09-05 |
Family
ID=87837102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310707486.1A Pending CN116708217A (zh) | 2023-06-14 | 2023-06-14 | 一种数据中心设备监控方法、系统、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116708217A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117176613A (zh) * | 2023-11-01 | 2023-12-05 | 建信金融科技有限责任公司 | 一种数据采集方法和装置 |
-
2023
- 2023-06-14 CN CN202310707486.1A patent/CN116708217A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117176613A (zh) * | 2023-11-01 | 2023-12-05 | 建信金融科技有限责任公司 | 一种数据采集方法和装置 |
CN117176613B (zh) * | 2023-11-01 | 2024-01-26 | 建信金融科技有限责任公司 | 一种数据采集方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110740141A (zh) | 一体化网络安全态势感知方法、装置及计算机设备 | |
CN107070692A (zh) | 一种基于大数据分析的云平台监控服务系统及方法 | |
CN110351150A (zh) | 故障根源确定方法及装置、电子设备和可读存储介质 | |
CN103716173B (zh) | 一种存储监控系统及监控告警发布的方法 | |
CN203933662U (zh) | 一种云存储服务器集群的运维装置及系统 | |
CN112615742A (zh) | 用于预警的方法、装置、设备以及存储介质 | |
CN111200526B (zh) | 网络设备的监控系统及方法 | |
Hauser et al. | Reviewing cloud monitoring: Towards cloud resource profiling | |
CN116708217A (zh) | 一种数据中心设备监控方法、系统、电子设备及存储介质 | |
CN114328102A (zh) | 设备状态监控方法、装置、设备及计算机可读存储介质 | |
CN112162829B (zh) | 一种边缘计算场景下的资源监控数据预处理系统 | |
CN116166505A (zh) | 金融行业双态it架构的监控平台、方法、存储介质及设备 | |
CN112152874A (zh) | 分布式系统中应用监控数据的采集与分析系统及方法 | |
CN117370053A (zh) | 一种面向信息系统业务运行全景监测方法及系统 | |
CN112257065A (zh) | 一种进程事件处理方法和装置 | |
CN113672472A (zh) | 磁盘监控方法及装置 | |
CN115495231A (zh) | 一种高并发任务复杂场景下的动态资源调度方法及系统 | |
CN116319398A (zh) | 一种网络巡检方法、网络设备及网络管理设备 | |
CN114356764A (zh) | 软件调测方法、装置、设备、系统和介质 | |
CN103944777B (zh) | 分布式监控系统信息处理方法和系统 | |
CN113485891A (zh) | 业务日志监控方法、装置、存储介质及电子设备 | |
CN107566187B (zh) | 一种sla违例监测方法、装置和系统 | |
CN113794719B (zh) | 一种基于Elasticsearch技术网络异常流量分析方法、装置和电子设备 | |
CN116450485B (zh) | 一种应用性能干扰的检测方法和系统 | |
CN116743508B (zh) | 一种电力系统网络攻击链检测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |