CN108092815A - 一种多通道并行处理信号集群性能监测方法 - Google Patents

一种多通道并行处理信号集群性能监测方法 Download PDF

Info

Publication number
CN108092815A
CN108092815A CN201711407350.XA CN201711407350A CN108092815A CN 108092815 A CN108092815 A CN 108092815A CN 201711407350 A CN201711407350 A CN 201711407350A CN 108092815 A CN108092815 A CN 108092815A
Authority
CN
China
Prior art keywords
nagios
node
monitoring
control nodes
plugin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711407350.XA
Other languages
English (en)
Inventor
陈拥权
郑荣稳
陈学三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Huanjing Information Technology Co Ltd
Original Assignee
Hefei Huanjing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Huanjing Information Technology Co Ltd filed Critical Hefei Huanjing Information Technology Co Ltd
Priority to CN201711407350.XA priority Critical patent/CN108092815A/zh
Publication of CN108092815A publication Critical patent/CN108092815A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种多通道并行处理信号集群性能监测方法。涉及多通道并行处理信号集群性能监测技术领域。包括如下步骤：Ganglia控制节点上gmated收集各监控节点上gmond传递的节点性能数据；Nagios控制节点上Nagios‑Plugin收集各监控节点上Nagios‑Plugin传递的网络性能数据；判断是否存在节点性能数据大于对应的告警阀值或网络节点数据大于对应的告警阀值，若存在，则Nagios控制节点控制告警后执行步骤七，若不存在，则执行步骤三；Nagios控制节点上Nagios‑Plugin存储网络性能数据至MongoDB。本发明通过Ganglia控制节点和Nagios控制节点对监控节点的监控，实现了对Hadoop分布式集群中节点性能和网络性能的监测，解决了现有Hadoop分布式集群对节点信息和网络性能监测困难的问题。

Description

一种多通道并行处理信号集群性能监测方法
技术领域
本发明属于多通道并行处理信号集群性能监测技术领域，特别是涉及一种多通道并行处理信号集群性能监测方法。
背景技术
分布式并行处理集群多采用Hadoop分布式集群；Hadoop集群的分布式节点的性能监测对集群运算效率以及集群资源调控起着关键的作用。Hadoop集群性能的监控节点信息包括：获取NameNode和DataNode运行指标，以及从JobTracker、taskTracker中获取MapReduce任务的执行状态，其中包括启动时间、运行时间、调度策略等。Hadoop集群中对网络节点的监测关系着节点间数据信号处理的性能包括：网络使用量、I/O负载及数据传输速度等。
本发明致力于发明一种并行处理信号集群性能监测方法，用于对Hadoop分布式集群中节点性能监测和网络性能监测，已解决现有Hadoop分布式集群对节点信息和网络性能监测困难的问题。
发明内容
本发明的目的在于提供一种多通道并行处理信号集群性能监测方法，通过Ganglia控制节点和Nagios控制节点对监控节点的监控，实现了对Hadoop分布式集群中节点性能和网络性能的监测，解决了现有Hadoop分布式集群对节点信息和网络性能监测困难的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种多通道并行处理信号集群性能监测方法，包括如下步骤：
步骤一：监控节点上gmond监测本地节点性能并传递节点性能数据至Ganglia控制节点；
步骤二：监控节点上Nagios-Plugin监测本地网络节点并传递网络性能数据至Nagios控制节点；
步骤三：Ganglia控制节点上gmated收集各监控节点上gmond传递的节点性能数据；
步骤四：Ganglia控制节点上gmated存储节点性能数据至MongoDB；
步骤五：Nagios控制节点上Nagios-Plugin收集各监控节点上Nagios-Plugin传递的网络性能数据；
步骤六：判断是否存在节点性能数据大于对应的告警阀值或网络节点数据大于对应的告警阀值，若存在，则Nagios控制节点控制告警后执行步骤七，若不存在，则执行步骤三；
步骤七：Nagios控制节点上Nagios-Plugin存储网络性能数据至MongoDB。
优选地，所述节点性能数据包括CPU利用率、进程数量、内存剩余空间、硬盘利用百分比、I/O负载；所述网路性能数据包括交换机设置、路由器设置、系统状态。
优选地，所述监控节点安装gmond，用于收集和分发当前节点性能数据；所述监控节点安装Nagios-Plugin，用于收集当前节点网络性能数据。
优选地，所述Ganglia控制节点安装gmated，用于收集各监控节点上gmond收集的节点性能数据；所述Nagios控制节点安装Nagios、Nagios-Plugin；所述Nagios-Plugin用于收集监控节点上Nagios-Plugin收集的网络性能数据。
优选地，步骤六中Nagios控制节点内设有各节点性能数据对应的告警阀值和各网络节点数据对应的告警阀值。
本发明具有以下有益效果：
本发明通过Ganglia控制节点和Nagios控制节点对监控节点的监控，实现了对Hadoop分布式集群中节点性能和网络性能的监测，解决了现有Hadoop分布式集群对节点信息和网络性能监测困难的问题。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种多通道并行处理信号集群性能监测方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种多通道并行处理信号集群性能监测方法，包括如下步骤：
步骤一：监控节点上gmond监测本地节点性能并传递节点性能数据至Ganglia控制节点；
步骤二：监控节点上Nagios-Plugin监测本地网络节点并传递网络性能数据至Nagios控制节点；
步骤三：Ganglia控制节点上gmated收集各监控节点上gmond传递的节点性能数据；
步骤四：Ganglia控制节点上gmated存储节点性能数据至MongoDB；
步骤五：Nagios控制节点上Nagios-Plugin收集各监控节点上Nagios-Plugin传递的网络性能数据；
步骤六：判断是否存在节点性能数据大于对应的告警阀值或网络节点数据大于对应的告警阀值，若存在，则Nagios控制节点控制告警后执行步骤七，若不存在，则执行步骤三；
步骤七：Nagios控制节点上Nagios-Plugin存储网络性能数据至MongoDB。
其中，所述节点性能数据包括CPU利用率、进程数量、内存剩余空间、硬盘利用百分比、I/O负载；所述网路性能数据包括交换机设置、路由器设置、系统状态。
其中，所述监控节点安装gmond，用于收集和分发当前节点性能数据；所述监控节点安装Nagios-Plugin，用于收集当前节点网络性能数据。
其中，所述Ganglia控制节点安装gmated，用于收集各监控节点上gmond收集的节点性能数据；所述Nagios控制节点安装Nagios、Nagios-Plugin；所述Nagios-Plugin用于收集监控节点上Nagios-Plugin收集的网络性能数据。
其中，步骤六中所述Nagios控制节点内设有各节点性能数据对应的告警阀值和各网络节点数据对应的告警阀值。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种多通道并行处理信号集群性能监测方法，其特征在于，包括如下步骤：
步骤一：监控节点上gmond监测本地节点性能并传递节点性能数据至Ganglia控制节点；
步骤二：监控节点上Nagios-Plugin监测本地网络节点并传递网络性能数据至Nagios控制节点；
步骤三：Ganglia控制节点上gmated收集各监控节点上gmond传递的节点性能数据；
步骤四：Ganglia控制节点上gmated存储节点性能数据至MongoDB；
步骤五：Nagios控制节点上Nagios-Plugin收集各监控节点上Nagios-Plugin传递的网络性能数据；
步骤六：判断是否存在节点性能数据大于对应的告警阀值或网络节点数据大于对应的告警阀值，若存在，则Nagios控制节点控制告警后执行步骤七，若不存在，则执行步骤三；
步骤七：Nagios控制节点上Nagios-Plugin存储网络性能数据至MongoDB。
2.根据权利要求1所述的一种多通道并行处理信号集群性能监测方法，其特征在于，所述节点性能数据包括CPU利用率、进程数量、内存剩余空间、硬盘利用百分比、I/O负载；所述网路性能数据包括交换机设置、路由器设置、系统状态。
3.根据权利要求1所述的一种多通道并行处理信号集群性能监测方法，其特征在于，所述监控节点安装gmond，用于收集和分发当前节点性能数据；所述监控节点安装Nagios-Plugin，用于收集当前节点网络性能数据。
4.根据权利要求1所述的一种多通道并行处理信号集群性能监测方法，其特征在于，所述Ganglia控制节点安装gmated，用于收集各监控节点上gmond收集的节点性能数据；所述Nagios控制节点安装Nagios、Nagios-Plugin；所述Nagios-Plugin用于收集监控节点上Nagios-Plugin收集的网络性能数据。
5.根据权利要求1所述的一种多通道并行处理信号集群性能监测方法，其特征在于，步骤六中Nagios控制节点内设有各节点性能数据对应的告警阀值和各网络节点数据对应的告警阀值。
CN201711407350.XA 2017-12-22 2017-12-22 一种多通道并行处理信号集群性能监测方法 Pending CN108092815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711407350.XA CN108092815A (zh) 2017-12-22 2017-12-22 一种多通道并行处理信号集群性能监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711407350.XA CN108092815A (zh) 2017-12-22 2017-12-22 一种多通道并行处理信号集群性能监测方法

Publications (1)

Publication Number Publication Date
CN108092815A true CN108092815A (zh) 2018-05-29

Family

ID=62178697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711407350.XA Pending CN108092815A (zh) 2017-12-22 2017-12-22 一种多通道并行处理信号集群性能监测方法

Country Status (1)

Country Link
CN (1) CN108092815A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183996A (zh) * 2007-12-13 2008-05-21 浪潮电子信息产业股份有限公司 一种集群信息的监控方法
CN103618644A (zh) * 2013-11-26 2014-03-05 曙光信息产业股份有限公司 一种基于hadoop集群的分布式监控系统及其方法
CN104917836A (zh) * 2015-06-10 2015-09-16 北京奇虎科技有限公司 基于集群监控分析计算设备可用性的方法及装置
CN104917639A (zh) * 2015-06-10 2015-09-16 北京奇虎科技有限公司 基于集群监控分配数据业务方法及装置
WO2017019684A1 (en) * 2015-07-27 2017-02-02 Datagrid Systems, Inc. Techniques for evaluating server system reliability, vulnerability and component compatibility using crowdsourced server and vulnerability data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183996A (zh) * 2007-12-13 2008-05-21 浪潮电子信息产业股份有限公司 一种集群信息的监控方法
CN103618644A (zh) * 2013-11-26 2014-03-05 曙光信息产业股份有限公司 一种基于hadoop集群的分布式监控系统及其方法
CN104917836A (zh) * 2015-06-10 2015-09-16 北京奇虎科技有限公司 基于集群监控分析计算设备可用性的方法及装置
CN104917639A (zh) * 2015-06-10 2015-09-16 北京奇虎科技有限公司 基于集群监控分配数据业务方法及装置
WO2017019684A1 (en) * 2015-07-27 2017-02-02 Datagrid Systems, Inc. Techniques for evaluating server system reliability, vulnerability and component compatibility using crowdsourced server and vulnerability data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHU,QIAO等: "Hadoop real-time monitoring system based on Ganglia,Nagios and MongoDB", 《ENERGY SCIENCE AND APPLIED TECHNOLOGY-FANG(ED.)》 *
赵志勇: "移动Hadoop集群监控系统的设计与实现", 《中国优秀硕士学位论文全文数据库》 *

Similar Documents

Publication Publication Date Title
Liao et al. Density cluster based approach for controller placement problem in large-scale software defined networkings
US7996510B2 (en) Virtual clustering for scalable network control and management
Ma et al. Load-balancing multiple controllers mechanism for software-defined networking
CN101883039B (zh) 大规模集群系统的数据传输网络及其构建方法
ATE463120T1 (de) Verbindungsverwaltung in peer-to-peer- datenverteilungsnetzen
Huang et al. Software-defined QoS provisioning for fog computing advanced wireless sensor networks
CN105721354B (zh) 片上网络互联方法及装置
CN103441918A (zh) 一种自组织集群服务器系统及其自组织方法
CN104995604A (zh) 虚拟机的资源分配方法及装置
Rout et al. Energy efficiency in software defined networking: A survey
CN102394903B (zh) 一种主动重构计算体系构建系统
Gupta et al. A technique based on ant colony optimization for load balancing in cloud data center
WO2007040932A8 (en) System, method, and computer-readable medium for resource migration in a distributed telecommunication system
Patni et al. Distributed load balancing model for grid computing environment
CN112202679A (zh) 用于分层网络拓扑自动路由分发的硬件设备量化方法及系统
Wickramaarachchi et al. Real-time analytics for fast evolving social graphs
Al-kahtani et al. An efficient distributed algorithm for big data processing
CN109218138B (zh) 网络节点监测方法及系统
CN108092815A (zh) 一种多通道并行处理信号集群性能监测方法
JP5331549B2 (ja) 分散処理システム及び分散処理方法
CN108696436A (zh) 一种分布式网络拓扑探查与路由分发系统及方法
CN105677440A (zh) 一种虚拟机自动迁移系统
CN113806084A (zh) 一种集群节点内存负载均衡的方法、系统、设备和介质
CN114035906A (zh) 虚拟机迁移方法、装置、电子设备及存储介质
Yang et al. Evolution of the Internet and its measures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180529