CN110519316A - 一种实现基于arm平台的集群资源监控方法 - Google Patents
一种实现基于arm平台的集群资源监控方法 Download PDFInfo
- Publication number
- CN110519316A CN110519316A CN201810491762.4A CN201810491762A CN110519316A CN 110519316 A CN110519316 A CN 110519316A CN 201810491762 A CN201810491762 A CN 201810491762A CN 110519316 A CN110519316 A CN 110519316A
- Authority
- CN
- China
- Prior art keywords
- data
- resource
- information
- node
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种实现基于ARM平台的集群资源监控方法,通过每隔一段时间获取自己信息并做筛选和过滤工作,将信息转换成预定的格式保存在本地,当主节点需要获取资源节点信息时,资源节点首先上传与当前时间最接近的本地数据,同时开始获取处理当前资源信息并上传到主节点,主节点接收到资源节点数据后进行汇总。本发明可以通过将处理数据工作分散到集群中每台服务器,减轻主服务器处理数据的负担,同时提高了处理数据的效率,资源节点数据处理工作由资源节点自己完成,减少主节点工作量,主节点只负责汇总资源节点上传的数据。
Description
技术领域
本发明涉及一种监控方法,具体是一种实现基于ARM平台的集群资源监控方法。
背景技术
随着云技术,大数据的广泛应用,服务器需要处理的数据越来越多,用于数据存储和 计算所需的服务器成直线性增长。提供高并发的稳定服务十分重要,但是随着集群中服务 器节点越来越多,要维持集群的稳定性变得十分困难,用户要了解集群中所有服务器的运 行状态变得不可能,此时提供用户关心的集群相关参数指标及状态显得尤为必要,用户通 过监控集群状态,掌握集群运行状态,以便根据需要及时做出调整。
现有集群资源监控主要基于X86平台。还没有运行于ARM平台的集群资源监控。已有 的数据采集实现通过主节点主动获取资源节点信息,且未进行任何信息处理或者只做简单 筛选及上传给主节点。这种实现方式存在以下两个问题:
1.随着服务器节点数据不断增加,主节点获取更多的资源信息,延迟增加,无法及时 更新所有服务器节点信息。
2.由于数据处理集中于主节点服务器,随着集群规模的不断扩大,服务器数量越来越 多,需要处理的数据成直线型增加,主服务器负担越来越重,这不仅增加了数据处理时间, 增加数据处理时间,更重要的是由此导致主节点出现故障的概率增加,从而影响集群稳定 性。
3.由于上传的数据有很大的延时性,导致用户获取的监控信息无法保持相应的连续 性。或者当前显示信息是过时的数据,或者当前需要的监控信息延后很长时间才能显示出 来。
针对目前监控集群资源存在处理不均衡,主服务器负担重,数据采集延时大,显示数 据过时等问题,通过本方法集群中各资源节点数据处理工作有资源节点自己完成,减小主 节点工作量,然后再上传到主节点进行组合。由此可以将处理任务充分分散到每台服务器, 减少主服务器工作量,降低主服务器处理数据延时。
发明内容
本发明的目的在于提供一种实现基于ARM平台的集群资源监控方法,以解决上述背景 技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种实现基于ARM平台的集群资源监控方法,通过每隔一段时间获取自己信息并做筛 选和过滤工作,将信息转换成预定的格式保存在本地,当主节点需要获取资源节点信息时, 资源节点首先上传与当前时间最接近的本地数据,同时开始获取处理当前资源信息并上传 到主节点,主节点接收到资源节点数据后进行汇总。
作为本发明进一步的方案:采用主控模块,接收用户监控资源请求,将请求发送给集 群所有资源节点,同时负责接收资源节点数据,将节点信息汇总显示给用户。
作为本发明进一步的方案:采用数据采集模块采集资源服务器监控信息,将采集到的 信息进行分析,筛选处理,如果主控没有采集信息请求,采集模块将隔一段时间自动采集 处理数据保存到本地。
作为本发明再进一步的方案:采用提交模块收集处理好的信息提交给主控模块,如果 本地没有最新信息,则重新获取并提交,如果有最新数据直接提交,并采集数据。
与现有技术相比,本发明的有益效果是:本发明可以通过将处理数据工作分散到集群 中每台服务器,减轻主服务器处理数据的负担,同时提高了处理数据的效率,资源节点数 据处理工作由资源节点自己完成,减少主节点工作量,主节点只负责汇总资源节点上传的 数据。由此可以将处理任务充分分散到每台服务器,上传数据格式统一,可以直接使用, 减少主服务器工作量,降低主服务器处理数据延时。并且每台服务器需要上传的数据量减 少,数据传输延时缩短,大大提高了数据传输的实时性。即时数据与资源节点的缓存数据 结合,提高了数据的连续性。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例 仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通 技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范 围。
本发明实施例中,一种实现基于ARM平台的集群资源监控方法,通过每隔一段时间获取自己信息并做筛选和过滤工作,将信息转换成预定的格式保存在本地, 当主节点需要获取资源节点信息时,资源节点首先上传与当前时间最接近的 本地数据,同时开始获取处理当前资源信息并上传到主节点。主节点接收到 资源节点数据后进行简单汇总。
本发明可以通过将处理数据工作分散到集群中每台服务器,减轻主服务 器处理数据的负担,同时提高了处理数据的效率,资源节点数据处理工作由 资源节点自己完成,减少主节点工作量,主节点只负责汇总资源节点上传的 数据。由此可以将处理任务充分分散到每台服务器,上传数据格式统一,可 以直接使用,减少主服务器工作量,降低主服务器处理数据延时。并且每台 服务器需要上传的数据量减少,数据传输延时缩短,大大提高了数据传输的 实时性。即时数据与资源节点的缓存数据结合,提高了数据的连续性。
本发明提供一种可将数据采集处理任务负载到集群所有节点服务器,减 轻主服务器工作负担,缩短主节点获取处理数据时间,提高响应速度的方法。
一、组成模块:
本发明组成:主控模块,触发模块,同步模块,重构模块
1.主控模块
主控模块负责两方面任务:
1)接收用户监控资源请求,将请求发送给集群所有资源节点。
2)负责接收资源节点数据,将节点信息汇总显示给用户。
2.数据采集模块
数据采集模块负责采集资源服务器监控信息,将采集到的信息进行分 析,筛选处理,此模块运行于所有资源服务器。如果主控没有采集信息请求, 采集模块会隔一段时间自动采集处理数据保存到本地,以便及时响应主控请 求和保持监控信息的连续性。
3.提交模块
提交模块负责收集处理好的信息提交给主控模块,如果本地没有最新信 息,则需要重新获取并提交。如果有最新数据直接提交,并采集数据。
二、实现原理:
实现基于ARM平台的集群资源监控是在通用资源监控基础上做的改进及 优化,并运行于ARM平台,可实时获取资源信息。集群中每个资源服务器作 为一个采集处理数据的节点,将主服务器处理数据工作量分散到整个集群中, 主服务器只负责接收请求和汇集资源信息,其它工作都在各自节点上完成, 大大减轻了主服务器的负担,解决了处理大量数据在主服务器上的瓶颈,提 高了主服务器的响应时间。各个资源节点负责采集数据以及对数据的分析处 理,将需要的数据转换成固定格式,提高了数据传输到主服务器的效率,缩短了数据传输时间,提高响应时间。各资源服务器还会定时采集数据,处理 后保存在本地,当有提交资源的请求时,判断缓存数据是否在要求时间范围 内,如果处于范围内可以直接提交缓存数据,提高数据处理响应速度,同时 启用采集任务。如果不在时间范围内,直接启用采集任务获取实时信息。采 集的信息按约定的格式处理好后,发送给主服务器,主服务器接收到所有资 源节点信息后,进行简单的汇总处理即可显示。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背 离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从 哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权 利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有 变化囊括在本发明内。此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每 个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领 域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成 本领域技术人员可以理解的其他实施方式。
Claims (4)
1.一种实现基于ARM平台的集群资源监控方法,其特征在于,通过每隔一段时间获取自己信息并做筛选和过滤工作,将信息转换成预定的格式保存在本地,当主节点需要获取资源节点信息时,资源节点首先上传与当前时间最接近的本地数据,同时开始获取处理当前资源信息并上传到主节点,主节点接收到资源节点数据后进行汇总。
2.根据权利要求1所述的实现基于ARM平台的集群资源监控方法,其特征在于,采用主控模块,接收用户监控资源请求,将请求发送给集群所有资源节点,同时负责接收资源节点数据,将节点信息汇总显示给用户。
3.根据权利要求1或2所述的实现基于ARM平台的集群资源监控方法,其特征在于,采用数据采集模块采集资源服务器监控信息,将采集到的信息进行分析,筛选处理,如果主控没有采集信息请求,采集模块将隔一段时间自动采集处理数据保存到本地。
4.根据权利要求1或2或3所述的实现基于ARM平台的集群资源监控方法,其特征在于,采用提交模块收集处理好的信息提交给主控模块,如果本地没有最新信息,则重新获取并提交,如果有最新数据直接提交,并采集数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810491762.4A CN110519316A (zh) | 2018-05-22 | 2018-05-22 | 一种实现基于arm平台的集群资源监控方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810491762.4A CN110519316A (zh) | 2018-05-22 | 2018-05-22 | 一种实现基于arm平台的集群资源监控方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110519316A true CN110519316A (zh) | 2019-11-29 |
Family
ID=68622236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810491762.4A Pending CN110519316A (zh) | 2018-05-22 | 2018-05-22 | 一种实现基于arm平台的集群资源监控方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110519316A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103955533A (zh) * | 2014-05-13 | 2014-07-30 | 中国工商银行股份有限公司 | 一种基于缓冲队列的页面树形数据获取装置及方法 |
US20140301213A1 (en) * | 2013-04-06 | 2014-10-09 | Citrix Systems, Inc. | Systems and methods for capturing and consolidating packet tracing in a cluster system |
CN105187512A (zh) * | 2015-08-13 | 2015-12-23 | 航天恒星科技有限公司 | 一种虚拟机集群负载均衡方法及系统 |
CN106708815A (zh) * | 2015-07-15 | 2017-05-24 | 中兴通讯股份有限公司 | 数据处理方法、装置和系统 |
CN206611434U (zh) * | 2017-02-24 | 2017-11-03 | 中国科学院高能物理研究所 | 一种监控装置 |
CN107844402A (zh) * | 2017-11-17 | 2018-03-27 | 北京联想超融合科技有限公司 | 一种基于超融合存储系统的资源监控方法、装置及终端 |
US20180089269A1 (en) * | 2016-09-26 | 2018-03-29 | Splunk Inc. | Query processing using query-resource usage and node utilization data |
-
2018
- 2018-05-22 CN CN201810491762.4A patent/CN110519316A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140301213A1 (en) * | 2013-04-06 | 2014-10-09 | Citrix Systems, Inc. | Systems and methods for capturing and consolidating packet tracing in a cluster system |
CN103955533A (zh) * | 2014-05-13 | 2014-07-30 | 中国工商银行股份有限公司 | 一种基于缓冲队列的页面树形数据获取装置及方法 |
CN106708815A (zh) * | 2015-07-15 | 2017-05-24 | 中兴通讯股份有限公司 | 数据处理方法、装置和系统 |
CN105187512A (zh) * | 2015-08-13 | 2015-12-23 | 航天恒星科技有限公司 | 一种虚拟机集群负载均衡方法及系统 |
US20180089269A1 (en) * | 2016-09-26 | 2018-03-29 | Splunk Inc. | Query processing using query-resource usage and node utilization data |
CN206611434U (zh) * | 2017-02-24 | 2017-11-03 | 中国科学院高能物理研究所 | 一种监控装置 |
CN107844402A (zh) * | 2017-11-17 | 2018-03-27 | 北京联想超融合科技有限公司 | 一种基于超融合存储系统的资源监控方法、装置及终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104065741B (zh) | 数据采集系统和数据采集方法 | |
CN103516807B (zh) | 一种云计算平台服务器负载均衡系统及方法 | |
CN105281981B (zh) | 网络服务的数据流量监控方法和装置 | |
CN105227488B (zh) | 一种用于分布式计算机平台的网络流组调度方法 | |
CN102227121B (zh) | 基于机器学习的分布式缓存策略自适应切换方法及系统 | |
CN106033476B (zh) | 一种云计算环境中分布式计算模式下的增量式图计算方法 | |
CN106980678A (zh) | 基于zookeeper技术的数据分析方法及系统 | |
CN107067365A (zh) | 基于深度学习的分布嵌入式实时视频流处理系统及方法 | |
CN109067859A (zh) | 一种面向跨域协同服务的双层云架构系统及实现方法 | |
CN106919445A (zh) | 一种在集群中并行调度容器的方法和装置 | |
CN111459986B (zh) | 数据计算系统及方法 | |
CN110569252B (zh) | 一种数据处理系统及方法 | |
CN106790381A (zh) | 基于加权最小连接的动态反馈负载均衡方法 | |
CN103297543A (zh) | 一种基于计算机集群作业调度的方法 | |
CN108270860A (zh) | 环境质量在线监测数据的采集系统及方法 | |
CN109995865A (zh) | 一种基于移动边缘计算的数据信息的请求响应方法及装置 | |
CN108519942A (zh) | 一种日志分析系统 | |
CN110460534A (zh) | 一种请求消息上报方法、装置、设备及存储介质 | |
CN106453460A (zh) | 一种文件分发方法、装置和系统 | |
CN109327511A (zh) | 一种基于http协议的数据请求方法和服务器 | |
CN109242435A (zh) | 一种用于办公室的新型岗位调动系统 | |
CN107968808A (zh) | 分布式系统中资源状态同步的方法和系统 | |
CN105847358A (zh) | 一种云计算环境下大数据节点分布的实现方法及其系统 | |
CN110519316A (zh) | 一种实现基于arm平台的集群资源监控方法 | |
CN105336143A (zh) | 基于云计算的供电质量检测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191129 |
|
RJ01 | Rejection of invention patent application after publication |