CN109657005A - 一种分布式集群系统的数据缓存方法、装置及设备 - Google Patents

一种分布式集群系统的数据缓存方法、装置及设备 Download PDF

Info

Publication number
CN109657005A
CN109657005A CN201811506266.8A CN201811506266A CN109657005A CN 109657005 A CN109657005 A CN 109657005A CN 201811506266 A CN201811506266 A CN 201811506266A CN 109657005 A CN109657005 A CN 109657005A
Authority
CN
China
Prior art keywords
data information
node
data
cluster system
distributed cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811506266.8A
Other languages
English (en)
Inventor
李兴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201811506266.8A priority Critical patent/CN109657005A/zh
Publication of CN109657005A publication Critical patent/CN109657005A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)

Abstract

本申请公开了一种分布式集群系统的数据缓存方法,包括:主节点接收各从节点采集的各自身的第一数据信息;然后在采集到自身的第二数据信息之后,将各第一数据信息和第二数据信息存储至目标位置,从而实现对各节点的数据信息的缓存。本方法通过将采集各从节点的数据信息的任务分配给各从节点,由各从节点将采集到的自身的数据信息主动发送给主节点,主节点只需将接收到的数据信息进行存储,因此降低了主节点的资源占用率和负载压力,从而提高了分布式集群系统的稳定性;并且大大降低了主节点获取各从节点的数据信息的时间差,达到及时获取各节点的数据信息的效果。本申请还公开了一种分布式集群系统的数据缓存装置及设备,均具有上述有益效果。

Description

一种分布式集群系统的数据缓存方法、装置及设备
技术领域
本发明涉及数据处理领域,特别涉及一种分布式集群系统的数据缓存方法、装置及设备。
背景技术
随着分布式集群系统的规模越来越大,通常需要对系统中各节点的数据信息进行缓存,以便在接收到需要使用节点的数据信息的请求指令时,能够快速对请求指令进行响应,从而减少等待时间,提高系统反馈数据信息的效率。
图1为现有技术中一种分布式集群系统的数据缓存方法的示意图,如图所示,分布式集群系统由若干台服务器组成,每台服务器称为一个节点,其中,用于存储所有节点的数据信息的节点为主节点,其他的节点为从节点。主节点通过远程调用各从节点的SNMP接口或者通过在自身执行SSH命令以运行用于采集从节点的数据信息的脚本,从而获取各从节点的数据信息,然后将获取到的数据信息进行存储,从而实现对各节点的数据信息的缓存。但是,在这种通过主节点主动采集各从节点的数据信息的方式中,若是主节点同时启动多线程去采集各从节点的数据信息,将会导致主节点的资源占用率比较高,使得主节点上的负载压力过大,进而降低分布式集群系统的稳定性;若是主节点使用单线程依次去采集各节点的数据信息,将导致获取数据信息的周期过长,不能及时获取到各节点的数据信息。
因此,如何既能保障分布式集群系统的稳定性,又能够及时地获取各节点的数据信息,是本领域技术人员目前需要解决的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种分布式集群系统的数据缓存方法,既能保障分布式集群系统的稳定性,又能够及时地获取各节点的数据信息;本发明的另一目的是提供一种分布式集群系统的数据缓存装置及设备,均具有上述有益效果。
为解决上述技术问题,本发明提供一种应用于主节点的分布式集群系统的数据缓存方法,包括:
接收各从节点采集的各自身的第一数据信息;
采集自身的第二数据信息;
将各所述第一数据信息和所述第二数据信息存储至目标位置。
优选地,在所述将各所述第一数据信息和所述第二数据信息存储至目标位置之后,进一步包括:
将各所述第一数据信息和所述第二数据信息分别与各对应的标准阈值进行比较,并在检测出超出各所述标准阈值的所述第一数据信息或所述第二数据信息时,发出对应的告警信息。
为解决上述技术问题,本发明提供另一种应用于从节点的分布式集群系统的数据缓存方法,包括:
采集自身的第一数据信息;
将所述第一数据信息发送至主节点,以便所述主节点将多个所述从节点发送的所述第一数据信息和自身的第二数据信息存储至目标位置。
优选地,所述采集自身的第一数据信息具体包括:
按照预设规则运行预先设置的用于采集各功能项目的数据信息的脚本,得到所述第一数据信息。
优选地,所述脚本与各所述功能项目一一对应。
优选地,所述脚本具体为由SNMP命令或SSH命令构建得到的脚本。
优选地,所述将所述第一数据信息发送至主节点具体为:
通过RabbitMQ将所述第一数据信息发送至所述主节点。
为解决上述技术问题,本发明还提供一种应用于主节点的分布式集群系统的数据缓存装置,包括:
接收模块,用于接收各从节点采集的各自身的第一数据信息;
采集模块,用于采集自身的第二数据信息;
存储模块,用于将各所述第一数据信息和所述第二数据信息存储至目标位置。
为解决上述技术问题,本发明还提供另一种应用于从节点的分布式集群系统的数据缓存装置,包括:
采集模块,用于采集自身的第一数据信息;
发送模块,用于将所述第一数据信息发送至主节点,以便所述主节点将多个所述从节点发送的所述第一数据信息和自身的第二数据信息存储至目标位置。
为解决上述技术问题,本发明还提供一种分布式集群系统的数据缓存设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述任一种分布式集群系统的数据缓存方法的步骤。
本发明提供的分布式集群系统的数据缓存方法,包括:主节点接收各从节点采集的各自身的第一数据信息;然后在采集到自身的第二数据信息之后,将各第一数据信息和第二数据信息存储至目标位置,从而实现对各节点的数据信息的缓存。相较于现有技术中,利用主节点主动采集各从节点的数据信息并进行存储的方式,本方法通过将采集各从节点的数据信息的任务分配给各从节点,由各从节点将采集到的自身的数据信息主动发送给主节点,主节点只需将接收到的数据信息进行存储,因此降低了主节点的资源占用率和负载压力,从而提高了分布式集群系统的稳定性;并且由于各从节点发送数据信息给主节点的时间可以是同步的,因此大大降低了主节点获取各从节点的数据信息的时间差,达到及时获取各节点的数据信息的效果。
为解决上述技术问题,本发明还提供了一种分布式集群系统的数据缓存装置及设备,均具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为现有技术中一种分布式集群系统的数据缓存方法的示意图;
图2为本发明实施例提供的一种分布式集群系统的数据缓存方法的流程图;
图3为本发明实施例提供的另一种分布式集群系统的数据缓存方法的流程图;
图4为本发明实施例提供的另一种分布式集群系统的数据缓存方法的示意图;
图5为本发明实施例提供的一种分布式集群系统的数据缓存装置的结构图;
图6为本发明实施例提供的另一种分布式集群系统的数据缓存装置的结构图;
图7为本发明实施例提供的一种分布式集群系统的数据缓存设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的核心是提供一种分布式集群系统的数据缓存方法,既能保障分布式集群系统的稳定性,又能够及时地获取各节点的数据信息;本发明的另一核心是提供一种分布式集群系统的数据缓存装置及设备,均具有上述有益效果。
为了使本领域技术人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
图2为本发明实施例提供的一种分布式集群系统的数据缓存方法的流程图。如图2所示,一种分布式集群系统的数据缓存方法,应用于主节点,包括:
S101:接收各从节点采集的各自身的第一数据信息。
具体的,分布式集群系统是包括多个节点(服务器)的分布式系统或集群系统,并且多个节点分为主节点和从节点。其中,主节点指的是接收并存储分布式集群系统中所有的节点(包括主节点和从节点)的数据信息的节点,以便后期能够在主节点上获取任一节点的数据信息。需要说明的是,为了使得分布式集群系统中的数据信息集中、统一管理,一般是在一个分布式集群系统中设置一个主节点,其他的节点均为从节点;但是在具体实施中,也可以根据实际需求设置两个或两个以上的主节点,利用多个主节点分别接收所有节点的数据信息,从而实现在多个主节点上均缓存有分布式集群系统的节点的数据信息。
需要说明的是,此处的第一数据信息指的是从节点的数据信息,只是为了与下文的主节点的数据信息(也即第二数据信息)进行区分,实际上,第一数据信息和第二数据信息指的都是节点中各功能项目的数据信息,由于各节点中的功能项目相同,所以第一数据信息和第二数据信息的类型是相同的。
S102:采集自身的第二数据信息。
本步骤的目的是获取主节点自身的第二数据信息。一般的,主节点可以通过直接调用主节点中的各功能项目的接口的方式直接获取第二数据信息。需要说明的是,在一些具体实施中,主节点中用于采集自身的第二数据信息的功能模块与用于存储所有的数据信息的功能模块为分开的两个功能模块,则在此步骤中,主节点可以采用与各从节点采集各自身的第一数据信息相同的方式采集自身的第二数据信息,并将采集到的数据信息发送给用于存储所有的数据信息的功能模块。本实施例对此不做具体的限定。
S103:将各第一数据信息和自身的第二数据信息存储至目标位置。
需要说明的是,主节点在接收到各从节点发送的第一数据信息,并采集到自身的第二数据信息之后,将所有的第一数据信息和第二数据信息存储至目标位置。需要说明的是,当主节点中用于采集自身的第二数据信息的功能模块与用于存储所有的数据信息的功能模块为一个集成的功能模块时,则可以将采集到的自身的第二数据信息通过数据转移的方式进行存储。
可以理解的是,主节点通过接收各从节点主动发送的第一数据信息,并采集自身的第二数据信息,然后将各第一数据信息和第二数据信息进行存储,也即实现各个节点的数据信息的持久化,因此,当需要使用各节点的数据信息时,就可以直接从主节点的目标位置查询或调用,相较于在需要使用各节点的数据信息时,再通过主节点主动从各节点中获取对应的数据信息的方式,本方法通过将各节点的数据信息进行缓存,因此能够更快速地获取到数据信息,从而能够对用户请求进行快速响应。
具体的,目标位置可以是主节点上的数据库或者文件;其中,数据库可以是SQLServer、MYSQL等类型的数据库,文件可以是日志或者文本文档类型的文件,本实施例对此不做限定,具体可以根据实际需求选择相应类型的存储位置作为目标位置。
本发明实施例提供的分布式集群系统的数据缓存方法,包括:主节点接收各从节点采集的各自身的第一数据信息;然后在采集到自身的第二数据信息之后,将各第一数据信息和第二数据信息存储至目标位置,从而实现对各节点的数据信息的缓存。相较于现有技术中,利用主节点主动采集各从节点的数据信息并进行存储的方式,本方法通过将采集各从节点的数据信息的任务分配给各从节点,由各从节点将采集到的自身的数据信息主动发送给主节点,主节点只需将接收到的数据信息进行存储,因此降低了主节点的资源占用率和负载压力,从而提高了分布式集群系统的稳定性;并且由于各从节点发送数据信息给主节点的时间可以是同步的,因此大大降低了主节点获取各从节点的数据信息的时间差,达到及时获取各节点的数据信息的效果。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,在将各第一数据信息和第二数据信息存储至目标位置之后,进一步包括:
将各第一数据信息和第二数据信息分别与各对应的标准阈值进行比较,并在检测出超出各标准阈值的第一数据信息或第二数据信息时,发出对应的告警信息。
可以理解的是,数据信息表示的是功能项目的状态,不同的功能项目的数据信息对应的标准阈值是不同的,因此在本步骤中,是在将各第一数据信息和第二数据信息存储至目标位置之后,进一步将各第一数据信息和第二数据信息分别与各对应的标准阈值进行比较,以确定各数据信息对应的功能项目是否出现异常。具体的,当检测出超出标准阈值的第一数据信息或第二数据信息时,表示该第一数据信息或第二数据信息对应的功能项目为异常状态,因此发出对应的告警信息,以便操作者及时知晓对应的节点的运行状态。
需要说明的是,在本实施例中对告警信息的类型以及发出告警信息的方式均不做限定,例如告警信息可以是蜂鸣音,对应的告警方式可以是通过蜂鸣器发出对应的告警信息;告警信息可以是文字信息,对应的告警方式可以是通过发送邮件的方式发出对应的告警信息等。
可见,本实施例通过将各第一数据信息和第二数据信息分别与对应的标准阈值进行比较,并在检测出超出标准阈值的第一数据信息或第二数据信息时,发出对应的告警信息,从而实现对分布式集群系统中出现异常节点的情况进行提示,以便能够及时对异常节点进行处理维护,提高分布式集群系统的稳定性。
图3为本发明实施例提供的另一种分布式集群系统的数据缓存方法的流程图。如图3所示,一种分布式集群系统的数据缓存方法,应用于从节点,包括:
S201:采集自身的第一数据信息;
S202:将第一数据信息发送至主节点,以便主节点将多个从节点发送的第一数据信息和自身的第二数据信息存储至目标位置。
本发明实施例提供的分布式集群系统的数据缓存方法,包括:从节点采集自身的第一数据信息,然后将第一数据信息发送至主节点,以便主节点将多个从节点发送的第一数据信息和自身的第二数据信息存储至目标位置。相较于现有技术中,利用主节点主动采集各从节点的数据信息并进行存储的方式,本方法通过将采集各从节点的数据信息的任务分配给各从节点,由各从节点将采集到的自身的数据信息主动发送给主节点,主节点只需将接收到的数据信息进行存储,因此降低了主节点的资源占用率和负载压力,从而提高了分布式集群系统的稳定性;并且由于各从节点发送数据信息给主节点的时间可以是同步的,因此大大降低了主节点获取各从节点的数据信息的时间差,达到及时获取各节点的数据信息的效果。
在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,采集自身的第一数据信息具体包括:
按照预设规则运行预先设置的用于采集各功能项目的数据信息的脚本,得到第一数据信息。
在本实施例中,是通过预先在从节点中设置用于采集各功能项目的第一数据信息的脚本,然后按照预设规则运行脚本,从而获取到各功能项目的数据信息,也即得到从节点的第一数据信息。
需要说明的是,功能项目指的是节点中的部件或业务功能,通过采集部件或业务功能的数据信息,以获取节点的运行状态。更具体的,部件包括磁盘、风扇等硬件设备,业务功能包括吞吐量、读写速度等软件功能,本实施例对功能项目具体包括的类型不做限定。可以理解的是,在采集各功能项目的数据信息的过程中,采集的功能项目的类型越多,越便于后续用户对节点的数据信息进行查询、使用。
在一些具体实施中,也可以将数据信息称为度量数据,也即不同的功能项目对应的不同类型的数据信息。换句话说,一种类型的功能项目的数据信息称为一种度量数据,例如,CPU的数据信息表示一种度量数据,磁盘的数据信息表示另一种度量数据。
需要说明的是,各节点在采集到自身的数据信息之后,根据各数据信息的类型,将各数据信息包装成预设格式的json(JavaScript Object Notation,JS对象简谱)数据。例如,各节点的磁盘信息均为一种json数据格式数据、各节点的风扇信息均为另一种json数据格式数据等。
需要说明的是,可以在一个节点中设置一组脚本,获取该节点中所有的功能项目的数据信息,从而得出该节点的数据信息;也可以在一个节点中设置多组脚本,通过不同的脚本获取该节点中不同功能项目的数据信息,从而得出节点的数据信息。
在本实施例中,作为优选的实施方式,脚本与各功能项目一一对应。
也就是说,一组脚本对应采集一个功能项目的数据信息,各脚本相互独立工作。例如,一组脚本采集磁盘的数据信息,另一组脚本采集风扇的数据信息等。因此,当存在新增的需要采集的功能项目的数据信息时,只需为该新增的功能项目设置对应的脚本,用于采集该新增的功能项目的数据信息即可,而不需要对其他的脚本进行改动,因此能够大大提高采集各功能项目的数据信息的可扩展性。
需要说明的是,本实施例对脚本的类型不做限定,如脚本可以是python脚本或shell脚本,作为优选的实施方式,本实施例中的脚本具体为由SNMP命令或SSH命令构建得到的脚本。
具体的,由SNMP(简单网络管理协议)命令构建得到的脚本,也即由依据SNMP协议编写的多条命令构建得到的脚本;由SSH(安全外壳协议)命令构建得到的脚本,也即由依据SSH协议编写的多条命令构建得到的脚本。通过相应的指令控制运行脚本,使得脚本执行采集对应的功能项目的数据信息的操作。需要说明的是,依据SNMP协议或SSH协议编写命令,使得多条命令构建成相应的脚本是目前构建脚本的常用方式,构建脚本的方式简单易行。
在本实施例中,作为优选的实施方式,各节点是按照预设时间周期运行脚本,以周期性地获取各功能项目的数据信息的。
具体的,预设时间周期也即相邻两次运行脚本、采集各功能项目的数据信息的时间间隔,可以通过设置定时器的方式实现按照预设时间周期运行脚本的功能,本实施例对预设时间周期不做限定。通过周期性地采集各功能项目的数据信息,能够获取同一节点中的同一功能项目在不同时刻的数据信息,进而能够通过比较不同时刻的数据信息,以得出该功能性项目的运行状态的变化情况,另外也避免了通过人工手动获取数据信息的繁琐。
请参考图4所示的另一种分布式集群系统的数据缓存方法的示意图。在上述实施例的基础上,本实施例对技术方案作了进一步的说明和优化,具体的,如图4所示,将第一数据信息发送至主节点具体为:
通过RabbitMQ将第一数据信息发送至主节点。
在图4中,IPMI接口(智能平台管理接口)、操作系统或SNMP协议均指的是节点中的功能项目,节点中设置的cache-agentd用于实现采集各功能项目的数据信息以及将采集到的数据信息发送给主节点的功能。具体的,通过在主节点中设置cache-masterd,用于接收各cache-agentd发送的数据信息(包括各从节点的第一数据信息和主节点的第二数据信息)、将接收到的数据信息进行解析,并将解析后的数据信息存储至目标位置。
各节点在采集到自身的数据信息之后,通过MQ(Message Queue,消息队列)定期地将各自的数据信息发送给主节点,具体的,MQ可以是ActiveMQ、ZeroMQ和RabbitMQ等。本实施例中,各节点是通过RabbitMQ将各自的数据信息发送给主节点,其中,主节点中的cache-agentd也通过RabbitMQ将将自身的数据信息发送给自身的cache-masterd。具体的,RabbitMQ是一个消息系统的媒介,且支持多种消息传递协议。本实施例通过RabbitMQ传输数据信息,不仅能够保证数据信息在传输过程中的安全性,而且使得各节点发送数据信息的时间与主节点接收数据信息的时间可以是不同时的,这种异步处理方式大大节省了主节点的响应时间,降低从节点与主节点之间的耦合,从而提高了主节点的吞吐量。
上文对于本发明提供的一种分布式集群系统的数据缓存方法的实施例进行了详细的描述,本发明还提供了一种与该方法对应的分布式集群系统的数据缓存装置、设备及计算机可读存储介质,由于装置、设备及计算机可读存储介质部分的实施例与方法部分的实施例相互照应,因此装置、设备及计算机可读存储介质部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
图5为本发明实施例提供的一种分布式集群系统的数据缓存装置的结构图,如图5所示,一种应用于主节点的分布式集群系统的数据缓存装置500包括:
接收模块51,用于接收各从节点采集的各自身的第一数据信息;
采集模块52,用于采集自身的第二数据信息;
存储模块53,用于将各第一数据信息和第二数据信息存储至目标位置。
本发明实施例提供的分布式集群系统的数据缓存装置,具有上述分布式集群系统的数据缓存方法的有益效果。
图6为本发明实施例提供的另一种分布式集群系统的数据缓存装置的结构图,如图6所示,一种应用于从节点的分布式集群系统的数据缓存装置600包括:
采集模块61,用于采集自身的第一数据信息;
发送模块62,用于将第一数据信息发送至主节点,以便主节点将多个从节点发送的第一数据信息和自身的第二数据信息存储至目标位置。
本发明实施例提供的分布式集群系统的数据缓存装置,具有上述分布式集群系统的数据缓存方法的有益效果。
图7为本发明实施例提供的一种分布式集群系统的数据缓存设备的结构图,如图7所示,一种分布式集群系统的数据缓存设备包括:
存储器71,用于存储计算机程序;
处理器72,用于执行计算机程序时实现如上述分布式集群系统的数据缓存方法的步骤。
本发明实施例提供的分布式集群系统的数据缓存设备,具有上述分布式集群系统的数据缓存方法的有益效果。
为解决上述技术问题,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述分布式集群系统的数据缓存方法的步骤。
本发明实施例提供的一种计算机可读存储介质,由于可以通过处理器调用计算机可读存储介质存储的与分布式集群系统的数据缓存装置中的计算机程序相同的程序,从而实现如上述任一实施例提到的分布式集群系统的数据缓存装置所具有的步骤,所以本实施例提供的计算机可读存储介质具有同上述分布式集群系统的数据缓存装置同样的实际效果。
以上对本发明所提供的分布式集群系统的数据缓存方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

Claims (10)

1.一种分布式集群系统的数据缓存方法,其特征在于,应用于主节点,包括:
接收各从节点采集的各自身的第一数据信息;
采集自身的第二数据信息;
将各所述第一数据信息和所述第二数据信息存储至目标位置。
2.根据权利要求1所述的方法,其特征在于,在所述将各所述第一数据信息和所述第二数据信息存储至目标位置之后,进一步包括:
将各所述第一数据信息和所述第二数据信息分别与各对应的标准阈值进行比较,并在检测出超出各所述标准阈值的所述第一数据信息或所述第二数据信息时,发出对应的告警信息。
3.一种分布式集群系统的数据缓存方法,其特征在于,应用于从节点,包括:
采集自身的第一数据信息;
将所述第一数据信息发送至主节点,以便所述主节点将多个所述从节点发送的所述第一数据信息和自身的第二数据信息存储至目标位置。
4.根据权利要求3所述的方法,其特征在于,所述采集自身的第一数据信息具体包括:
按照预设规则运行预先设置的用于采集各功能项目的数据信息的脚本,得到所述第一数据信息。
5.根据权利要求4所述的方法,其特征在于,所述脚本与各所述功能项目一一对应。
6.根据权利要求5所述的方法,其特征在于,所述脚本具体为由SNMP命令或SSH命令构建得到的脚本。
7.根据权利要求3至6任一项所述的方法,其特征在于,所述将所述第一数据信息发送至主节点具体为:
通过RabbitMQ将所述第一数据信息发送至所述主节点。
8.一种分布式集群系统的数据缓存装置,其特征在于,应用于主节点,包括:
接收模块,用于接收各从节点采集的各自身的第一数据信息;
采集模块,用于采集自身的第二数据信息;
存储模块,用于将各所述第一数据信息和所述第二数据信息存储至目标位置。
9.一种分布式集群系统的数据缓存装置,其特征在于,应用于从节点,包括:
采集模块,用于采集自身的第一数据信息;
发送模块,用于将所述第一数据信息发送至主节点,以便所述主节点将多个所述从节点发送的所述第一数据信息和自身的第二数据信息存储至目标位置。
10.一种分布式集群系统的数据缓存设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至2任一项所述的应用于主节点的分布式集群系统的数据缓存方法的步骤和/或权利要求3至7任一项所述的应用于从节点的分布式集群系统的数据缓存方法的步骤。
CN201811506266.8A 2018-12-10 2018-12-10 一种分布式集群系统的数据缓存方法、装置及设备 Pending CN109657005A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811506266.8A CN109657005A (zh) 2018-12-10 2018-12-10 一种分布式集群系统的数据缓存方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811506266.8A CN109657005A (zh) 2018-12-10 2018-12-10 一种分布式集群系统的数据缓存方法、装置及设备

Publications (1)

Publication Number Publication Date
CN109657005A true CN109657005A (zh) 2019-04-19

Family

ID=66113967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811506266.8A Pending CN109657005A (zh) 2018-12-10 2018-12-10 一种分布式集群系统的数据缓存方法、装置及设备

Country Status (1)

Country Link
CN (1) CN109657005A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225133A (zh) * 2019-06-20 2019-09-10 恒生电子股份有限公司 消息发送方法、节点、装置、系统及相关设备
CN114003313A (zh) * 2021-10-31 2022-02-01 济南浪潮数据技术有限公司 一种集群管理方法、系统、存储介质及设备
CN114138825A (zh) * 2021-11-24 2022-03-04 聚好看科技股份有限公司 一种服务器及为应用程序提供数据查询服务的方法
CN115174651A (zh) * 2022-06-24 2022-10-11 浪潮工业互联网股份有限公司 一种多主机与一从机的通信方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408071A (zh) * 2014-10-30 2015-03-11 北京思特奇信息技术股份有限公司 一种基于集群管理器的分布式数据库高可用方法及系统
CN106936623A (zh) * 2015-12-31 2017-07-07 五八同城信息技术有限公司 分布式缓存系统及缓存集群的管理方法
CN108763026A (zh) * 2018-05-31 2018-11-06 郑州云海信息技术有限公司 一种磁盘监控告警方法、系统、设备及计算机存储介质
CN108874623A (zh) * 2018-05-31 2018-11-23 郑州云海信息技术有限公司 分布式集群性能监控方法、装置、设备、系统及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408071A (zh) * 2014-10-30 2015-03-11 北京思特奇信息技术股份有限公司 一种基于集群管理器的分布式数据库高可用方法及系统
CN106936623A (zh) * 2015-12-31 2017-07-07 五八同城信息技术有限公司 分布式缓存系统及缓存集群的管理方法
CN108763026A (zh) * 2018-05-31 2018-11-06 郑州云海信息技术有限公司 一种磁盘监控告警方法、系统、设备及计算机存储介质
CN108874623A (zh) * 2018-05-31 2018-11-23 郑州云海信息技术有限公司 分布式集群性能监控方法、装置、设备、系统及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110225133A (zh) * 2019-06-20 2019-09-10 恒生电子股份有限公司 消息发送方法、节点、装置、系统及相关设备
CN110225133B (zh) * 2019-06-20 2022-01-21 恒生电子股份有限公司 消息发送方法、节点、装置、系统及相关设备
CN114003313A (zh) * 2021-10-31 2022-02-01 济南浪潮数据技术有限公司 一种集群管理方法、系统、存储介质及设备
CN114003313B (zh) * 2021-10-31 2023-12-22 济南浪潮数据技术有限公司 一种集群管理方法、系统、存储介质及设备
CN114138825A (zh) * 2021-11-24 2022-03-04 聚好看科技股份有限公司 一种服务器及为应用程序提供数据查询服务的方法
CN115174651A (zh) * 2022-06-24 2022-10-11 浪潮工业互联网股份有限公司 一种多主机与一从机的通信方法、设备及介质
CN115174651B (zh) * 2022-06-24 2023-10-27 浪潮工业互联网股份有限公司 一种多主机与一从机的通信方法、设备及介质

Similar Documents

Publication Publication Date Title
CN109657005A (zh) 一种分布式集群系统的数据缓存方法、装置及设备
US11934868B2 (en) Systems and methods for scheduling tasks
CN105337755B (zh) 主从架构服务器及其处理业务的方法和处理业务的系统
CN107241281B (zh) 一种数据处理方法及其装置
US11321139B2 (en) Streaming traffic pattern for public cloud auto scaling
US10904303B2 (en) Control message from streaming source to facilitate scaling
US9201715B2 (en) Event overflow handling by coalescing and updating previously-queued event notification
CN109788315A (zh) 视频转码方法、装置及系统
JP2012521607A (ja) 分散アプリケーションの監視
US11095717B2 (en) Minimizing data loss in a computer storage environment with non-guaranteed continuous network connectivity
CN113742031A (zh) 节点状态信息获取方法、装置、电子设备及可读存储介质
US20160344582A1 (en) Call home cluster
CN110705893B (zh) 一种业务节点管理方法、装置、设备以及存储介质
CN104618466A (zh) 基于消息传递的负载均衡和过负荷控制系统及其控制方法
CN111400041A (zh) 服务器配置文件的管理方法、装置及计算机可读存储介质
CN113672500A (zh) 深度学习算法的测试方法、装置、电子装置和存储介质
CN109428926B (zh) 一种调度任务节点的方法和装置
CN108958942A (zh) 一种分布式系统分配任务方法、调度器和计算机设备
CN112860504A (zh) 监控方法及装置、计算机存储介质、电子设备
CN110162443A (zh) 多批量流程监控方法、装置、计算机设备和存储介质
CN110620722B (zh) 一种订单处理的方法和装置
CN106790354B (zh) 一种防数据拥堵的通信方法及其装置
WO2017219775A1 (zh) 一种配置状态回退方法、装置和计算机存储介质
CN116010065A (zh) 分布式任务调度方法、装置以及设备
CN111263120A (zh) 基于流计算的视频设备在线时长的统计方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190419