CN110519316A - 一种实现基于arm平台的集群资源监控方法 - Google Patents

一种实现基于arm平台的集群资源监控方法 Download PDF

Info

Publication number
CN110519316A
CN110519316A CN201810491762.4A CN201810491762A CN110519316A CN 110519316 A CN110519316 A CN 110519316A CN 201810491762 A CN201810491762 A CN 201810491762A CN 110519316 A CN110519316 A CN 110519316A
Authority
CN
China
Prior art keywords
data
resource
information
node
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810491762.4A
Other languages
English (en)
Inventor
李元骅
朱云
樊笑冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shudun Information Technology Co Ltd
Original Assignee
Shandong Shudun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shudun Information Technology Co Ltd filed Critical Shandong Shudun Information Technology Co Ltd
Priority to CN201810491762.4A priority Critical patent/CN110519316A/zh
Publication of CN110519316A publication Critical patent/CN110519316A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种实现基于ARM平台的集群资源监控方法,通过每隔一段时间获取自己信息并做筛选和过滤工作,将信息转换成预定的格式保存在本地,当主节点需要获取资源节点信息时,资源节点首先上传与当前时间最接近的本地数据,同时开始获取处理当前资源信息并上传到主节点,主节点接收到资源节点数据后进行汇总。本发明可以通过将处理数据工作分散到集群中每台服务器,减轻主服务器处理数据的负担,同时提高了处理数据的效率,资源节点数据处理工作由资源节点自己完成,减少主节点工作量,主节点只负责汇总资源节点上传的数据。

Description

一种实现基于ARM平台的集群资源监控方法
技术领域
本发明涉及一种监控方法,具体是一种实现基于ARM平台的集群资源监控方法。
背景技术
随着云技术,大数据的广泛应用,服务器需要处理的数据越来越多,用于数据存储和 计算所需的服务器成直线性增长。提供高并发的稳定服务十分重要,但是随着集群中服务 器节点越来越多,要维持集群的稳定性变得十分困难,用户要了解集群中所有服务器的运 行状态变得不可能,此时提供用户关心的集群相关参数指标及状态显得尤为必要,用户通 过监控集群状态,掌握集群运行状态,以便根据需要及时做出调整。
现有集群资源监控主要基于X86平台。还没有运行于ARM平台的集群资源监控。已有 的数据采集实现通过主节点主动获取资源节点信息,且未进行任何信息处理或者只做简单 筛选及上传给主节点。这种实现方式存在以下两个问题:
1.随着服务器节点数据不断增加,主节点获取更多的资源信息,延迟增加,无法及时 更新所有服务器节点信息。
2.由于数据处理集中于主节点服务器,随着集群规模的不断扩大,服务器数量越来越 多,需要处理的数据成直线型增加,主服务器负担越来越重,这不仅增加了数据处理时间, 增加数据处理时间,更重要的是由此导致主节点出现故障的概率增加,从而影响集群稳定 性。
3.由于上传的数据有很大的延时性,导致用户获取的监控信息无法保持相应的连续 性。或者当前显示信息是过时的数据,或者当前需要的监控信息延后很长时间才能显示出 来。
针对目前监控集群资源存在处理不均衡,主服务器负担重,数据采集延时大,显示数 据过时等问题,通过本方法集群中各资源节点数据处理工作有资源节点自己完成,减小主 节点工作量,然后再上传到主节点进行组合。由此可以将处理任务充分分散到每台服务器, 减少主服务器工作量,降低主服务器处理数据延时。
发明内容
本发明的目的在于提供一种实现基于ARM平台的集群资源监控方法,以解决上述背景 技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种实现基于ARM平台的集群资源监控方法,通过每隔一段时间获取自己信息并做筛 选和过滤工作,将信息转换成预定的格式保存在本地,当主节点需要获取资源节点信息时, 资源节点首先上传与当前时间最接近的本地数据,同时开始获取处理当前资源信息并上传 到主节点,主节点接收到资源节点数据后进行汇总。
作为本发明进一步的方案:采用主控模块,接收用户监控资源请求,将请求发送给集 群所有资源节点,同时负责接收资源节点数据,将节点信息汇总显示给用户。
作为本发明进一步的方案:采用数据采集模块采集资源服务器监控信息,将采集到的 信息进行分析,筛选处理,如果主控没有采集信息请求,采集模块将隔一段时间自动采集 处理数据保存到本地。
作为本发明再进一步的方案:采用提交模块收集处理好的信息提交给主控模块,如果 本地没有最新信息,则重新获取并提交,如果有最新数据直接提交,并采集数据。
与现有技术相比,本发明的有益效果是:本发明可以通过将处理数据工作分散到集群 中每台服务器,减轻主服务器处理数据的负担,同时提高了处理数据的效率,资源节点数 据处理工作由资源节点自己完成,减少主节点工作量,主节点只负责汇总资源节点上传的 数据。由此可以将处理任务充分分散到每台服务器,上传数据格式统一,可以直接使用, 减少主服务器工作量,降低主服务器处理数据延时。并且每台服务器需要上传的数据量减 少,数据传输延时缩短,大大提高了数据传输的实时性。即时数据与资源节点的缓存数据 结合,提高了数据的连续性。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例 仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通 技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范 围。
本发明实施例中,一种实现基于ARM平台的集群资源监控方法,通过每隔一段时间获取自己信息并做筛选和过滤工作,将信息转换成预定的格式保存在本地, 当主节点需要获取资源节点信息时,资源节点首先上传与当前时间最接近的 本地数据,同时开始获取处理当前资源信息并上传到主节点。主节点接收到 资源节点数据后进行简单汇总。
本发明可以通过将处理数据工作分散到集群中每台服务器,减轻主服务 器处理数据的负担,同时提高了处理数据的效率,资源节点数据处理工作由 资源节点自己完成,减少主节点工作量,主节点只负责汇总资源节点上传的 数据。由此可以将处理任务充分分散到每台服务器,上传数据格式统一,可 以直接使用,减少主服务器工作量,降低主服务器处理数据延时。并且每台 服务器需要上传的数据量减少,数据传输延时缩短,大大提高了数据传输的 实时性。即时数据与资源节点的缓存数据结合,提高了数据的连续性。
本发明提供一种可将数据采集处理任务负载到集群所有节点服务器,减 轻主服务器工作负担,缩短主节点获取处理数据时间,提高响应速度的方法。
一、组成模块:
本发明组成:主控模块,触发模块,同步模块,重构模块
1.主控模块
主控模块负责两方面任务:
1)接收用户监控资源请求,将请求发送给集群所有资源节点。
2)负责接收资源节点数据,将节点信息汇总显示给用户。
2.数据采集模块
数据采集模块负责采集资源服务器监控信息,将采集到的信息进行分 析,筛选处理,此模块运行于所有资源服务器。如果主控没有采集信息请求, 采集模块会隔一段时间自动采集处理数据保存到本地,以便及时响应主控请 求和保持监控信息的连续性。
3.提交模块
提交模块负责收集处理好的信息提交给主控模块,如果本地没有最新信 息,则需要重新获取并提交。如果有最新数据直接提交,并采集数据。
二、实现原理:
实现基于ARM平台的集群资源监控是在通用资源监控基础上做的改进及 优化,并运行于ARM平台,可实时获取资源信息。集群中每个资源服务器作 为一个采集处理数据的节点,将主服务器处理数据工作量分散到整个集群中, 主服务器只负责接收请求和汇集资源信息,其它工作都在各自节点上完成, 大大减轻了主服务器的负担,解决了处理大量数据在主服务器上的瓶颈,提 高了主服务器的响应时间。各个资源节点负责采集数据以及对数据的分析处 理,将需要的数据转换成固定格式,提高了数据传输到主服务器的效率,缩短了数据传输时间,提高响应时间。各资源服务器还会定时采集数据,处理 后保存在本地,当有提交资源的请求时,判断缓存数据是否在要求时间范围 内,如果处于范围内可以直接提交缓存数据,提高数据处理响应速度,同时 启用采集任务。如果不在时间范围内,直接启用采集任务获取实时信息。采 集的信息按约定的格式处理好后,发送给主服务器,主服务器接收到所有资 源节点信息后,进行简单的汇总处理即可显示。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背 离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从 哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权 利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有 变化囊括在本发明内。此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每 个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领 域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成 本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种实现基于ARM平台的集群资源监控方法,其特征在于,通过每隔一段时间获取自己信息并做筛选和过滤工作,将信息转换成预定的格式保存在本地,当主节点需要获取资源节点信息时,资源节点首先上传与当前时间最接近的本地数据,同时开始获取处理当前资源信息并上传到主节点,主节点接收到资源节点数据后进行汇总。
2.根据权利要求1所述的实现基于ARM平台的集群资源监控方法,其特征在于,采用主控模块,接收用户监控资源请求,将请求发送给集群所有资源节点,同时负责接收资源节点数据,将节点信息汇总显示给用户。
3.根据权利要求1或2所述的实现基于ARM平台的集群资源监控方法,其特征在于,采用数据采集模块采集资源服务器监控信息,将采集到的信息进行分析,筛选处理,如果主控没有采集信息请求,采集模块将隔一段时间自动采集处理数据保存到本地。
4.根据权利要求1或2或3所述的实现基于ARM平台的集群资源监控方法,其特征在于,采用提交模块收集处理好的信息提交给主控模块,如果本地没有最新信息,则重新获取并提交,如果有最新数据直接提交,并采集数据。
CN201810491762.4A 2018-05-22 2018-05-22 一种实现基于arm平台的集群资源监控方法 Pending CN110519316A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810491762.4A CN110519316A (zh) 2018-05-22 2018-05-22 一种实现基于arm平台的集群资源监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810491762.4A CN110519316A (zh) 2018-05-22 2018-05-22 一种实现基于arm平台的集群资源监控方法

Publications (1)

Publication Number Publication Date
CN110519316A true CN110519316A (zh) 2019-11-29

Family

ID=68622236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810491762.4A Pending CN110519316A (zh) 2018-05-22 2018-05-22 一种实现基于arm平台的集群资源监控方法

Country Status (1)

Country Link
CN (1) CN110519316A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955533A (zh) * 2014-05-13 2014-07-30 中国工商银行股份有限公司 一种基于缓冲队列的页面树形数据获取装置及方法
US20140301213A1 (en) * 2013-04-06 2014-10-09 Citrix Systems, Inc. Systems and methods for capturing and consolidating packet tracing in a cluster system
CN105187512A (zh) * 2015-08-13 2015-12-23 航天恒星科技有限公司 一种虚拟机集群负载均衡方法及系统
CN106708815A (zh) * 2015-07-15 2017-05-24 中兴通讯股份有限公司 数据处理方法、装置和系统
CN206611434U (zh) * 2017-02-24 2017-11-03 中国科学院高能物理研究所 一种监控装置
CN107844402A (zh) * 2017-11-17 2018-03-27 北京联想超融合科技有限公司 一种基于超融合存储系统的资源监控方法、装置及终端
US20180089269A1 (en) * 2016-09-26 2018-03-29 Splunk Inc. Query processing using query-resource usage and node utilization data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301213A1 (en) * 2013-04-06 2014-10-09 Citrix Systems, Inc. Systems and methods for capturing and consolidating packet tracing in a cluster system
CN103955533A (zh) * 2014-05-13 2014-07-30 中国工商银行股份有限公司 一种基于缓冲队列的页面树形数据获取装置及方法
CN106708815A (zh) * 2015-07-15 2017-05-24 中兴通讯股份有限公司 数据处理方法、装置和系统
CN105187512A (zh) * 2015-08-13 2015-12-23 航天恒星科技有限公司 一种虚拟机集群负载均衡方法及系统
US20180089269A1 (en) * 2016-09-26 2018-03-29 Splunk Inc. Query processing using query-resource usage and node utilization data
CN206611434U (zh) * 2017-02-24 2017-11-03 中国科学院高能物理研究所 一种监控装置
CN107844402A (zh) * 2017-11-17 2018-03-27 北京联想超融合科技有限公司 一种基于超融合存储系统的资源监控方法、装置及终端

Similar Documents

Publication Publication Date Title
CN104065741B (zh) 数据采集系统和数据采集方法
CN103516807B (zh) 一种云计算平台服务器负载均衡系统及方法
CN105281981B (zh) 网络服务的数据流量监控方法和装置
CN105227488B (zh) 一种用于分布式计算机平台的网络流组调度方法
CN102227121B (zh) 基于机器学习的分布式缓存策略自适应切换方法及系统
CN106033476B (zh) 一种云计算环境中分布式计算模式下的增量式图计算方法
CN106980678A (zh) 基于zookeeper技术的数据分析方法及系统
CN107067365A (zh) 基于深度学习的分布嵌入式实时视频流处理系统及方法
CN109067859A (zh) 一种面向跨域协同服务的双层云架构系统及实现方法
CN106919445A (zh) 一种在集群中并行调度容器的方法和装置
CN111459986B (zh) 数据计算系统及方法
CN110569252B (zh) 一种数据处理系统及方法
CN106790381A (zh) 基于加权最小连接的动态反馈负载均衡方法
CN103297543A (zh) 一种基于计算机集群作业调度的方法
CN108270860A (zh) 环境质量在线监测数据的采集系统及方法
CN109995865A (zh) 一种基于移动边缘计算的数据信息的请求响应方法及装置
CN108519942A (zh) 一种日志分析系统
CN110460534A (zh) 一种请求消息上报方法、装置、设备及存储介质
CN106453460A (zh) 一种文件分发方法、装置和系统
CN109327511A (zh) 一种基于http协议的数据请求方法和服务器
CN109242435A (zh) 一种用于办公室的新型岗位调动系统
CN107968808A (zh) 分布式系统中资源状态同步的方法和系统
CN105847358A (zh) 一种云计算环境下大数据节点分布的实现方法及其系统
CN110519316A (zh) 一种实现基于arm平台的集群资源监控方法
CN105336143A (zh) 基于云计算的供电质量检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129

RJ01 Rejection of invention patent application after publication