CN115473781B - 一种分布式snmp数据中心设备监控方法 - Google Patents
一种分布式snmp数据中心设备监控方法 Download PDFInfo
- Publication number
- CN115473781B CN115473781B CN202211355983.1A CN202211355983A CN115473781B CN 115473781 B CN115473781 B CN 115473781B CN 202211355983 A CN202211355983 A CN 202211355983A CN 115473781 B CN115473781 B CN 115473781B
- Authority
- CN
- China
- Prior art keywords
- data
- equipment
- cluster
- manager
- data center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/042—Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/0213—Standardised network management protocols, e.g. simple network management protocol [SNMP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Selective Calling Equipment (AREA)
Abstract
本申请涉及一种分布式SNMP数据中心设备监控方法,包括如下步骤:基于数据中心网络规模构建数据中心网络管理的成本函数,得到最优管理者的数量;获取设备一段时间的历史运行数据,基于运行数据的一阶差分序列对设备进行分簇;在同簇设备中,综合考虑设备的运行情况和设备的性能指标选择最合适的设备作为该簇的管理者,簇管理者采用SNMP轮询的方式对同簇其他设备进行信息的采集;簇管理者对接收到的设备数据按照合适的密度进行聚类,对于在数值上具有相似性的设备数据进行均值融合;簇管理者将融合后的数据发送给数据中心的主管理者。本申请减少了各簇管理者最终需要发送的数据量,降低了网络资源的负担。
Description
技术领域
本申请涉及数据中心设备信息监控领域,尤其涉及一种分布式SNMP数据中心设备监控方法。
背景技术
数据中心是新型电力系统数字化和智能化的基础支撑设施,数据中心的稳定运行是电力系统各类业务稳定运行的保障。数据中心设备信息的监控是对数据中心的设备进行运行维护的基础,通过对设备运行信息的持续监控,及时或者提前发现设备的异常状态,有助于提高数据中心的运维效率,保障各项业务的稳定运行。
现阶段数据中心主要通过SNMP协议对各类设备进行监控,SNMP协议通过polling和trap的方式达到监控设备的目的,polling方式的优点是可以持续的获取监视设备的信息,管理员可据此及时规划网络升级,更易于维护,但代价是需要花费更长的时间和更多的网络和系统资源;trap方式的有点是具有更高的效率,只有当受监视设备出现问题时才向管理员通知,但缺点是需要在每个设备上进行配置,维护起来更加复杂。
发明内容
本申请实施例针对数据中心设备信息监控的需求提供一种分布式SNMP数据中心设备监控方法,通过设置多个管理者,每个管理者对具有相似运行特征的设备进行数据采集,再利用管理者自身的计算能力对获取到的数据进行分析和融合,在减少了设备数据采集时间的同时也降低了所需要发送的数据量。
为实现上述目的,本申请提供如下技术方案:
本申请实施例提供一种分布式SNMP数据中心设备监控方法,包括如下步骤:
步骤3:在同簇设备中,综合考虑设备的运行情况和设备的性能指标选择最合适的设备作为该簇的管理者,簇管理者采用SNMP轮询的方式对同簇其他设备进行信息的采集;
步骤4:簇管理者对接收到的设备数据按照合适的密度进行聚类,对于在数值上具有相似性的设备数据进行均值融合;
步骤5:簇管理者将融合后的数据发送给数据中心的主管理者。
所述步骤1中数据中心网络管理的成本函数为:
所述步骤2中分簇方法为自顶向下的划分方法,划分过程以最小化分簇后的SSE为目标,SSE为聚类后的簇离该簇聚类中心的平方和:
所述步骤4中为了减少簇管理者所需发送的数据量,对于簇管理者接收到数据之后进行相似数据均值融合:
与现有技术相比,本发明的有益效果是:
通过最小化网络管理成本和基于设备运行特征对设备进行分簇,选择合适的簇管理者对数据中心的设备进行分簇管理,减少了获取全体设备的数据所需要花费的时间,通过利用簇管理者的计算能力对同簇设备数据进行密度聚类,对相似数据进行均值融合,减少了簇管理者所需要发送的数据量,提高了整体数据中心设备监控的效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本申请实施例的方法流程示意图;
图2是本申请实施例的设备分簇的流程图;
图3是本申请实施例的同簇设备数据融合的流程图;
图4是本申请实施例的成本曲线示意图;
图5是本申请实施例的分簇结果示意图;
图6是本申请实施例的簇1的服务器CPU利用率的变化情况示意图;
图7是本申请实施例的簇2的服务器CPU利用率的变化情况示意图;
图8是本申请实施例的簇2经过密度聚类后示意图;
图9是本申请实施例的簇2经过均值融合示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合图1至图3,介绍本申请的一种分布式SNMP数据中心设备监控方法,包括以下具体步骤:
其中,成本函数定义为:
设备运行数据的一阶差分序列为:
步骤2.1:将所有设备视为同一个簇;
步骤2.3:计算当前每个簇的SSE:
步骤2.4:对当前每个簇分别进行k-means聚类(k=2);
步骤3:在同簇设备中,综合考虑的设备的运行情况和设备的性能指标选择最合适的设备作为该簇的管理者,簇管理者采用SNMP轮询的方式对同簇其他设备进行信息的采集;
步骤4:簇管理者对接收到的设备数据按照合适的密度进行聚类,对于在数值上具有相似性的设备数据进行均值融合;
步骤4.1:簇管理者采集同簇设备的运行数据(CPU利用率);
步骤4.2:将所有数据标记为unvisited,随机选取一条unvisited数据,记为p;
步骤4.8:簇管理者对同类数据进行均值融合:
步骤5:簇管理者将融合后的数据发送给数据中心的主管理者。
下面结合应用实例进行进一步的说明,采集了500台服务器在过去6个时刻的CPU利用率作为服务器的运行数据。每台服务器的CPU利用率的值在0%到100%之间。设置α为1,t0为0.2,通过最小化网络管理成本函数可以计算出成本曲线,如图4所示,横轴为管理者的数量,纵轴为网络管理成本,当管理者数量为10时,成本最低,与x*的计算结果相吻合。
依据最优管理者的数量和设备的历史运行数据对设备进行分簇对500台服务器进行分簇,分簇结果如图5所示,从图中可以发现服务器被分为了10个簇,每个簇的数量为33至68不等,图6和图7分别展示了簇1和簇2的服务器CPU利用率的变化情况,可以发现具有相似CPU利用率变化趋势的设备被很好的分在了同一个簇。
簇管理者对获取到的数据在本地进行密度聚类并对同簇设备进行数据融合,以簇2为例,如图8所示,簇2管理者接收到的设备数据经过密度聚类后可以分为3类,同类数据在数值上极为接近。再经过均值融合后,融合结果如图9所示,簇2管理者可用3条数据表示簇2所有设备的运行数据特征,且只需发送3条数据给主管理者。
相较于现有技术,本发明提出一种分布式SNMP数据中心设备监控方法。通过最小化网络管理成本和基于设备运行特征对设备进行分簇,选择合适的簇管理者对数据中心的设备进行分簇管理,减少了获取全体设备的数据所需要花费的时间,通过利用簇管理者的计算能力对同簇设备数据进行密度聚类,对相似数据进行均值融合,减少了簇管理者所需要发送的数据量,提高了整体数据中心设备监控的效率。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (4)
1.一种分布式SNMP数据中心设备监控方法,其特征在于,包括如下步骤:
步骤3:在同簇设备中,综合考虑设备的运行情况和设备的性能指标选择最合适的设备作为该簇的管理者,簇管理者采用SNMP轮询的方式对同簇其他设备进行信息的采集;
步骤4:簇管理者对接收到的设备数据按照合适的密度进行聚类,对于在数值上具有相似性的设备数据进行均值融合;
步骤5:簇管理者将融合后的数据发送给数据中心的主管理者。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211355983.1A CN115473781B (zh) | 2022-11-01 | 2022-11-01 | 一种分布式snmp数据中心设备监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211355983.1A CN115473781B (zh) | 2022-11-01 | 2022-11-01 | 一种分布式snmp数据中心设备监控方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115473781A CN115473781A (zh) | 2022-12-13 |
CN115473781B true CN115473781B (zh) | 2023-02-28 |
Family
ID=84337788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211355983.1A Active CN115473781B (zh) | 2022-11-01 | 2022-11-01 | 一种分布式snmp数据中心设备监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115473781B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109583727A (zh) * | 2018-11-19 | 2019-04-05 | 中国电力科学研究院有限公司 | 一种利用电缆线路移动巡检数据确定电缆状态的方法及系统 |
CN114298123A (zh) * | 2021-10-22 | 2022-04-08 | 腾讯科技(深圳)有限公司 | 聚类处理方法、装置、电子设备及可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101917730B (zh) * | 2010-07-16 | 2012-11-21 | 北京邮电大学 | 基于场景自适应能量均衡的传感器网络矢量量化分簇方法 |
US20190197011A1 (en) * | 2017-12-22 | 2019-06-27 | At&T Intellectual Property I, L.P. | Network-based machine learning model discovery and benchmarking |
CN110087273B (zh) * | 2019-03-13 | 2022-07-22 | 西安电子科技大学 | 无线传感器网络分簇路由的方法、无线传感器网络协议平台 |
US11042247B2 (en) * | 2019-06-14 | 2021-06-22 | Valve Corporation | Cluster-based sensor assignment |
-
2022
- 2022-11-01 CN CN202211355983.1A patent/CN115473781B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109583727A (zh) * | 2018-11-19 | 2019-04-05 | 中国电力科学研究院有限公司 | 一种利用电缆线路移动巡检数据确定电缆状态的方法及系统 |
CN114298123A (zh) * | 2021-10-22 | 2022-04-08 | 腾讯科技(深圳)有限公司 | 聚类处理方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (3)
Title |
---|
云计算下分布式大数据智能融合算法仿真;靳紫辉等;《计算机仿真》;20181015(第10期);全文 * |
基于K-means算法的电网用户标签特征分类软件缺陷检测;王炼等;《电子设计工程》;20200918(第18期);全文 * |
流数据挖掘在网络流量分析中的应用研究;赖军;《信息科技辑》;20120115;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115473781A (zh) | 2022-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10666525B2 (en) | Distributed multi-data source performance management | |
US11966319B2 (en) | Identifying anomalies in a data center using composite metrics and/or machine learning | |
US20150286507A1 (en) | Method, node and computer program for enabling automatic adaptation of resource units | |
EP1394984A1 (en) | Method and Apparatus for Network Resource Utilization Assessment | |
US11573878B1 (en) | Method and apparatus of establishing customized network monitoring criteria | |
US20130117423A1 (en) | Methods for managing data synchronization and devices thereof | |
CN112769605B (zh) | 一种异构多云的运维管理方法及混合云平台 | |
CN112130999A (zh) | 一种基于边缘计算的电力异构数据处理方法 | |
US20090070425A1 (en) | Data processing system, method of updating a configuration file and computer program product | |
CN111753875A (zh) | 一种电力信息系统运行趋势分析方法、装置及存储介质 | |
CN112688822A (zh) | 基于多点协同的边缘计算故障或安全威胁监测系统与方法 | |
CN110474799A (zh) | 故障定位方法及装置 | |
CN115473781B (zh) | 一种分布式snmp数据中心设备监控方法 | |
US20220245485A1 (en) | Multi-model block capacity forecasting for a distributed storage system | |
US7461037B2 (en) | Clustering technique for cyclic phenomena | |
CN113726856A (zh) | 基于微服务的调控画面综合数据轻量化交互方法及系统 | |
CN115883392B (zh) | 算力网络的数据感知方法、装置、电子设备及存储介质 | |
CN110099116A (zh) | 一种基于大数据的子网安全性评估方法 | |
CN114266288A (zh) | 一种网元检测方法及相关装置 | |
CN110531988B (zh) | 应用程序的状态预测方法及相关装置 | |
CN109120439B (zh) | 分布式集群告警输出方法、装置、设备及可读存储介质 | |
CN112087323A (zh) | 告警相关性分析方法、装置、设备及可读存储介质 | |
CN117715088B (zh) | 基于边缘计算的网络切片管理方法、装置、设备及介质 | |
Wang et al. | Intelligent Network operation and maintenance based on deep learning technology | |
CN113687849B (zh) | 一种固件批量升级方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |