CN104363280A - 一种基于双通道传输的集群监控管理方法及系统 - Google Patents

一种基于双通道传输的集群监控管理方法及系统 Download PDF

Info

Publication number
CN104363280A
CN104363280A CN201410641056.5A CN201410641056A CN104363280A CN 104363280 A CN104363280 A CN 104363280A CN 201410641056 A CN201410641056 A CN 201410641056A CN 104363280 A CN104363280 A CN 104363280A
Authority
CN
China
Prior art keywords
cluster
equipment
node device
communication node
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410641056.5A
Other languages
English (en)
Other versions
CN104363280B (zh
Inventor
陆峰
李锋
付正全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wave Cloud Computing Service Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201410641056.5A priority Critical patent/CN104363280B/zh
Publication of CN104363280A publication Critical patent/CN104363280A/zh
Application granted granted Critical
Publication of CN104363280B publication Critical patent/CN104363280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种基于双通道传输的集群监控管理方法及系统，上述方法包括以下步骤：集群监控管理设备分别向集群主控节点设备、集群通信节点设备发送监控数据采集请求；所述集群主控节点设备、所述集群通信节点设备接受所述监控数据采集请求后，将采集的监控数据分别发送至所述集群监控管理设备；所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制集群通信节点设备执行所述负载均衡策略。本发明不仅提高了集群对外的运算处理能力，而且降低了单通道传输时阻塞、延迟等的不足，有效提升了集群性能监控的实时性和准确性，进而大大提高了集群的使用性能。

Description

一种基于双通道传输的集群监控管理方法及系统
技术领域
本发明属于集群通信领域，尤其涉及一种基于双通道传输的集群监控管理方法及系统。
背景技术
随着互联网的飞速发展，大规模的集群越来越为现代数据中心所需要，这就为集群的监控管理难度带来巨大挑战，一个拥有几万个节点的集群的监控难度已非常大，更何况目前的发展趋势下几十万甚至几百万个节点的超大规模集群正在逐步产生。一个具有十万个节点规模的集群的监控，用传统的单通道传输监控方式已经无法满足，即使传统的分布式监控方式能够满足的几千个节点规模的集群监控，也无法保证监控数据的实时性，往往造成监控数据延迟很大、准确性不够，也进一步使集群性能无法最大化，使整个分布式监控数据采集系统无法真正达到最理想的效果。
图1所示为现有技术的单通道集群性能监控管理示意图，包括集群监控管理设备；集群主控节点设备；集群通信节点设备1、集群通信节点设备2、集群通信节点设备3、集群通信节点设备4…集群通信节点设备100000。
集群监控管理设备通过集群主控节点设备与100000个集群通信节点设备相连，对10万个集群通信节点进行监控，由于集群通信节点数目过于庞大，无法保证监控数据的实时性，往往造成监控数据延迟很大、准确性不够，也进一步使集群性能无法最大化，使整个分布式监控数据采集系统无法真正达到最理想的效果。
以上为大规模集群的监控数据采集、大规模集群的性能最大化、大规模集群的运算处理能力保证均带了极大的局限性，严重影响大规模集群应用的发展。
发明内容
本发明提供一种基于双通道传输的集群监控管理方法及系统，以解决上述问题。
本发明提供一种基于双通道传输的集群监控管理方法，上述方法包括以下步骤：
集群监控管理设备分别向集群主控节点设备、集群通信节点设备发送监控数据采集请求；
所述集群主控节点设备、所述集群通信节点设备接受所述监控数据采集请求后，将采集的监控数据分别发送至所述集群监控管理设备；
所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制集群通信节点设备执行所述负载均衡策略。
本发明还提供了一种基于双通道传输的集群监控管理系统，包括集群监控管理设备、多个集群主控节点设备、多个集群通信节点设备；其中，所述集群监控管理设备分别与多个集群主控节点设备直接相连；所述集群监控管理设备分别与多个集群通信节点设备直接相连；集群主控节点设备分别与多个集群通信节点设备相连；
集群监控管理设备，用于分别向多个集群主控节点设备、多个集群通信节点设备发送监控数据采集请求；
所述多个集群主控节点设备、所述多个集群通信节点设备接受所述监控数据采集请求后，将采集的监控数据分别发送至所述集群监控管理设备；
所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制多个集群通信节点设备执行所述负载均衡策略。
相较于之前技术，本发明提供的一种基于双通道传输的集群监控管理方法及系统，不仅提高了集群对外的运算处理能力，而且降低了单通道传输时阻塞、延迟等的不足，有效提升了集群性能监控的实时性和准确性，进而大大提高了集群的使用性能。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1所示为现有技术的单通道集群性能监控管理示意图；
图2所示为本发明的双通道传输的集群性能监控管理原理示意图；
图3所示为本发明实施例3的基于双通道传输的集群监控管理方法流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图2所示为本发明的双通道传输的集群性能监控管理原理示意图，包括集群监控管理设备；集群主控节点设备1、集群主控节点设备2、集群主控节点设备3；集群通信节点设备1…集群通信节点设备100；集群通信节点设备101…集群通信节点设备200；集群通信节点设备201…集群通信节点设备300。
集群监控管理设备分别与集群主控节点设备1、集群主控节点设备2、集群主控节点设备3相互连接；集群监控管理设备与集群通信节点设备1…集群通信节点设备300分别直接相连；
集群主控节点设备1与集群通信节点设备1…集群通信节点设备100直接相连；集群主控节点设备2与集群通信节点设备101…集群通信节点设备200直接相连；集群主控节点设备3与集群通信节点设备201…集群通信节点设备300直接相连。
集群监控管理设备分别向集群主控节点设备1、集群主控节点设备2、集群主控节点设备3发送监控数据采集请求；
集群主控节点设备1、集群主控节点设备2、集群主控节点设备3向集群监控管理设备分别发送采集的监控数据；
集群监控管理设备对采集的监控数据进行分析，制定负载均衡策略并控制集群通信节点设备执行所述负载均衡策略。
集群监控管理设备分别向集群通信节点设备1…集群通信节点设备300直接发送监控数据采集请求；
集群通信节点设备1…集群通信节点设备300向集群监控管理设备分别发送采集的监控数据；
集群监控管理设备对采集的监控数据进行分析，制定负载均衡策略并控制集群通信节点设备执行所述负载均衡策略。
图3所示为本发明实施例3的基于双通道传输的集群监控管理方法流程图，包括以下步骤：
步骤301：集群监控管理设备分别向集群主控节点设备、集群通信节点设备发送监控数据采集请求；
预先为各个集群主控节点设备分别分配对应的集群通信节点设备；其中，所述集群主控节点设备、所述集群通信节点设备均为多个。
集群监控管理设备中的调度器分别向集群主控节点设备、集群通信节点设备发送监控数据采集请求。
步骤302：所述集群主控节点设备、所述集群通信节点设备接受所述监控数据采集请求后，将采集的监控数据分别发送至所述集群监控管理设备；
所述集群主控节点设备、所述集群通信节点设备接受所述监控数据采集请求后，将采集的监控数据分别发送至所述集群监控管理设备中的调度器；
步骤303：所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制集群通信节点设备执行所述负载均衡策略。
所述集群监控管理设备中的调度器将所述监控数据发送至所述集群监控管理设备中的性能分析执行模块；
所述集群监控管理设备中的性能分析执行模块对接收到的所述监控数据进行分析，制定负载均衡策略并控制集群通信节点设备执行所述负载均衡策略。
所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制集群通信节点设备执行所述负载均衡策略的过程为：
所述集群监控管理设备对接收到的所述监控数据进行分析，若集群系统中的处于空闲状态的集群通信节点设备数目大于第一预设值(例如：100)，则关闭预设比例(10％)数目的处于空闲状态的没有业务处理的集群通信节点设备。
所述空闲状态是指：CPU利用率小于第二预设值(例如：5％)。
所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制集群通信节点设备执行所述负载均衡策略的过程为：
所述集群监控管理设备对接收到的所述监控数据进行分析，若集群系统中的处于繁忙状态的集群通信节点设备数目大于第二预设值(例如：50)，则将处于繁忙状态的集群通信节点设备上处理的没有关联关系的业务迁移至处于空闲状态的集群通信节点设备上进行处理。
所述繁忙状态是指：CPU利用率大于第三预设值(例如：80％)。
业务的关联关系分为：有关联关系的业务、没有关联关系的业务。
有关联关系的业务是指：处理的业务之间具有关联性，例如：登录业务、验证业务具有关联性(因为登录后，还必须经过验证，才能进入具体的业务系统，处理具体的业务)。
没有关联关系的业务，例如：查询业务、系统检测业务；这两个业务之间没有关联关系。
所述集群监控管理设备将处于繁忙状态的集群通信节点设备上处理的没有关联关系的业务迁移至处于空闲状态的集群通信节点设备上进行处理的过程为：
所述集群监控管理设备将处于繁忙状态的集群通信节点设备上处理的没有关联关系的业务平均分配至处于空闲状态的集群通信节点设备上。
所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制集群通信节点执行所述负载均衡策略的过程为：
所述集群监控管理设备对接收到的所述监控数据进行分析，若存在集群主控节点设备对应的处于繁忙状态的集群通信节点设备数目大于第四预设值(例如：100)，则所述集群监控管理设备将该集群主控节点设备对应的处于繁忙状态的集群通信节点设备上没有关联关系的业务迁移至处于繁忙状态的集群通信节点设备数目小于第四预设值的目标集群主控节点设备并由所述目标集群主控节点设备在其对应的处于空闲状态的集群通信节点设备上对迁移过来的业务进行处理。
本发明还提供了一种基于双通道传输的集群监控管理系统，包括集群监控管理设备、多个集群主控节点设备、多个集群通信节点设备；其中，所述集群监控管理设备分别与多个集群主控节点设备直接相连；所述集群监控管理设备分别与多个集群通信节点设备直接相连；集群主控节点设备分别与多个集群通信节点设备相连；
集群监控管理设备，用于分别向多个集群主控节点设备、多个集群通信节点设备发送监控数据采集请求；
所述多个集群主控节点设备、所述多个集群通信节点设备接受所述监控数据采集请求后，将采集的监控数据分别发送至所述集群监控管理设备；
所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制多个集群通信节点设备执行所述负载均衡策略。
相较于之前技术，本发明提供的一种基于双通道传输的集群监控管理方法及系统，不仅提高了集群对外的运算处理能力，而且降低了单通道传输时阻塞、延迟等的不足，有效提升了集群性能监控的实时性和准确性，进而大大提高了集群的使用性能。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于双通道传输的集群监控管理方法，其特征在于，包括以下步骤：
集群监控管理设备分别向集群主控节点设备、集群通信节点设备发送监控数据采集请求；
所述集群主控节点设备、所述集群通信节点设备接受所述监控数据采集请求后，将采集的监控数据分别发送至所述集群监控管理设备；
所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制集群通信节点设备执行所述负载均衡策略。
2.根据权利要求1所述的方法，其特征在于：预先为各个集群主控节点设备分别分配对应的集群通信节点设备；其中，所述集群主控节点设备、所述集群通信节点设备均为多个。
3.根据权利要求1所述的方法，其特征在于：集群监控管理设备中的调度器分别向集群主控节点设备、集群通信节点设备发送监控数据采集请求。
4.根据权利要求1所述的方法，其特征在于：所述集群主控节点设备、所述集群通信节点设备接受所述监控数据采集请求后，将采集的监控数据分别发送至所述集群监控管理设备中的调度器。
5.根据权利要求4所述的方法，其特征在于：所述集群监控管理设备中的调度器将所述监控数据发送至所述集群监控管理设备中的性能分析执行模块；
所述集群监控管理设备中的性能分析执行模块对接收到的所述监控数据进行分析，制定负载均衡策略并控制集群通信节点设备执行所述负载均衡策略。
6.根据权利要求1所述的方法，其特征在于：所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制集群通信节点设备执行所述负载均衡策略的过程为：
所述集群监控管理设备对接收到的所述监控数据进行分析，若集群系统中的处于空闲状态的集群通信节点设备数目大于第一预设值，则关闭预设比例数目的处于空闲状态的没有业务处理的集群通信节点设备。
7.根据权利要求1所述的方法，其特征在于：所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制集群通信节点设备执行所述负载均衡策略的过程为：
所述集群监控管理设备对接收到的所述监控数据进行分析，若集群系统中的处于繁忙状态的集群通信节点设备数目大于第二预设值，则将处于繁忙状态的集群通信节点设备上处理的没有关联关系的业务迁移至处于空闲状态的集群通信节点设备上进行处理。
8.根据权利要求7所述的方法，其特征在于：所述集群监控管理设备将处于繁忙状态的集群通信节点设备上处理的没有关联关系的业务迁移至处于空闲状态的集群通信节点设备上进行处理的过程为：
所述集群监控管理设备将处于繁忙状态的集群通信节点设备上处理的没有关联关系的业务平均分配至处于空闲状态的集群通信节点设备上。
9.根据权利要求1所述的方法，其特征在于：所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制集群通信节点执行所述负载均衡策略的过程为：
所述集群监控管理设备对接收到的所述监控数据进行分析，若存在集群主控节点设备对应的处于繁忙状态的集群通信节点设备数目大于第四预设值，则所述集群监控管理设备将该集群主控节点设备对应的处于繁忙状态的集群通信节点设备上没有关联关系的业务迁移至处于繁忙状态的集群通信节点设备数目小于第四预设值的目标集群主控节点设备并由所述目标集群主控节点设备在其对应的处于空闲状态的集群通信节点设备上对迁移过来的业务进行处理。
10.一种基于双通道传输的集群监控管理系统，其特征在于，包括集群监控管理设备、多个集群主控节点设备、多个集群通信节点设备；其中，所述集群监控管理设备分别与多个集群主控节点设备直接相连；所述集群监控管理设备分别与多个集群通信节点设备直接相连；集群主控节点设备分别与多个集群通信节点设备相连；
集群监控管理设备，用于分别向多个集群主控节点设备、多个集群通信节点设备发送监控数据采集请求；
所述多个集群主控节点设备、所述多个集群通信节点设备接受所述监控数据采集请求后，将采集的监控数据分别发送至所述集群监控管理设备；
所述集群监控管理设备对接收到的所述监控数据进行分析，制定负载均衡策略并控制多个集群通信节点设备执行所述负载均衡策略。
CN201410641056.5A 2014-11-13 2014-11-13 一种基于双通道传输的集群监控管理方法及系统 Active CN104363280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410641056.5A CN104363280B (zh) 2014-11-13 2014-11-13 一种基于双通道传输的集群监控管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410641056.5A CN104363280B (zh) 2014-11-13 2014-11-13 一种基于双通道传输的集群监控管理方法及系统

Publications (2)

Publication Number Publication Date
CN104363280A true CN104363280A (zh) 2015-02-18
CN104363280B CN104363280B (zh) 2018-06-12

Family

ID=52530506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410641056.5A Active CN104363280B (zh) 2014-11-13 2014-11-13 一种基于双通道传输的集群监控管理方法及系统

Country Status (1)

Country Link
CN (1) CN104363280B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109067621A (zh) * 2018-09-28 2018-12-21 郑州云海信息技术有限公司 设备监控方法、装置及系统
CN112152854A (zh) * 2020-09-25 2020-12-29 绿盟科技集团股份有限公司 一种信息处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1805379A (zh) * 2006-01-05 2006-07-19 西安交通大学 一种具有弹性体系架构的集群管理监控系统的构建方法
EP1727312A1 (en) * 2004-03-10 2006-11-29 ZTE Corporation A method for achieving load balance between access point devices in the wireless local area network
CN101183996A (zh) * 2007-12-13 2008-05-21 浪潮电子信息产业股份有限公司 一种集群信息的监控方法
CN102130938A (zh) * 2010-12-03 2011-07-20 中国科学院软件研究所 一种面向Web应用宿主平台的资源供给方法
CN102594881A (zh) * 2012-02-08 2012-07-18 中兴通讯股份有限公司 一种虚拟机负载均衡方法、管理模块及虚拟机集群系统
CN202906979U (zh) * 2012-08-29 2013-04-24 浪潮集团有限公司 一种实现云存储服务器负载均衡的装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1727312A1 (en) * 2004-03-10 2006-11-29 ZTE Corporation A method for achieving load balance between access point devices in the wireless local area network
CN1805379A (zh) * 2006-01-05 2006-07-19 西安交通大学 一种具有弹性体系架构的集群管理监控系统的构建方法
CN101183996A (zh) * 2007-12-13 2008-05-21 浪潮电子信息产业股份有限公司 一种集群信息的监控方法
CN102130938A (zh) * 2010-12-03 2011-07-20 中国科学院软件研究所 一种面向Web应用宿主平台的资源供给方法
CN102594881A (zh) * 2012-02-08 2012-07-18 中兴通讯股份有限公司 一种虚拟机负载均衡方法、管理模块及虚拟机集群系统
CN202906979U (zh) * 2012-08-29 2013-04-24 浪潮集团有限公司 一种实现云存储服务器负载均衡的装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109067621A (zh) * 2018-09-28 2018-12-21 郑州云海信息技术有限公司 设备监控方法、装置及系统
CN112152854A (zh) * 2020-09-25 2020-12-29 绿盟科技集团股份有限公司 一种信息处理方法及装置
CN112152854B (zh) * 2020-09-25 2023-11-07 绿盟科技集团股份有限公司 一种信息处理方法及装置

Also Published As

Publication number Publication date
CN104363280B (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
CN104780080B (zh) 深度报文检测方法及系统
CN104378262A (zh) 一种云计算下智能监控分析方法及系统
CN101547150B (zh) 数据通信输入端口调度的方法及装置
CN107220123A (zh) 一种解决Spark数据倾斜方法及系统
CN103812949A (zh) 一种面向实时云平台的任务调度与资源分配方法及系统
GB2567570A (en) Detecting and predicting bottlenecks in complex systems
CN106383771A (zh) 一种主机集群监控方法及装置
CN106714189B (zh) 一种小区过覆盖的分析方法及装置
CN107479966B (zh) 一种基于多核心cpu的信令采集方法
CN104363280A (zh) 一种基于双通道传输的集群监控管理方法及系统
CN114285855B (zh) 一种基于智能边缘物联的云边协同方法
CN109614228B (zh) 基于动态负载均衡方式的综合监控前置系统及工作方法
CN105592141A (zh) 一种连接数控制方法及装置
CN104822175A (zh) 一种适用于蜂窝网络的代码迁移方法及系统
CN105743676B (zh) 一种多数据源综合采集装置及方法
EP2988476B1 (en) Method and apparatus for processing operation on endpoint peripheral
CN111245878A (zh) 一种基于混合云计算和雾计算的计算卸载通信网络的方法
CN102566521A (zh) 工厂自动化系统、自动化消息处理方法和装置
CN107132990B (zh) 基于超融合存储的读io调度方法及装置
CN102904964A (zh) 基于完成端口模型的海量集中器并发处理方法
CN210274135U (zh) 一种远程连接系统
CN102752304B (zh) 防止半连接攻击的方法及系统
CN103595795B (zh) 分布式数据的处理方法和装置
CN103401793B (zh) 一种调节设备带宽的方法、装置
CN111384997A (zh) C-hpav系统的节能方法、存储介质、及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180827

Address after: 200436 Room 411, No. three, JIANGCHANG Road, Jingan District, Shanghai, 411

Patentee after: Shanghai wave Cloud Computing Service Co., Ltd.

Address before: 100085 floor 1, C 2-1, No. 2, Shang Di Road, Haidian District, Beijing.

Patentee before: Electronic information industry Co.,Ltd of the tide (Beijing)