CN115329005A - 多集群的协同方法、系统、装置及计算机可读存储介质 - Google Patents

多集群的协同方法、系统、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN115329005A
CN115329005A CN202211041834.8A CN202211041834A CN115329005A CN 115329005 A CN115329005 A CN 115329005A CN 202211041834 A CN202211041834 A CN 202211041834A CN 115329005 A CN115329005 A CN 115329005A
Authority
CN
China
Prior art keywords
cluster
remote
target
local
available resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211041834.8A
Other languages
English (en)
Inventor
乔波波
董俊明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202211041834.8A priority Critical patent/CN115329005A/zh
Publication of CN115329005A publication Critical patent/CN115329005A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明公开了一种多集群的协同方法、系统、装置及计算机可读存储介质,涉及数据处理技术领域,包括获取待与本端集群建立关联的各个远端集群的IP,并将各个IP存储于数据库中,以便后续建立本端集群与远端集群的关联;在接收监控指令时,在数据库中查询监控指令指定的目标远端集群的目标IP,并通过目标IP访问目标远端集群,然后在目标远端集群的数据库中获取目标远端集群的数据信息以便将数据信息在展示界面上进行展示,优化本端集群的展示界面也即可以在本端集群的展示界面上监控各个远端集群的信息,节省时间且易于操作。

Description

多集群的协同方法、系统、装置及计算机可读存储介质
技术领域
本发明涉及数据处理技术领域,特别是涉及一种多集群的协同方法、系统、装置及计算机可读存储介质。
背景技术
随着大数据时代的来临,越来越多的企业认识到数据处理的重要性,因此企业通常会为各个不同的业务场景分别部署独立的集群,但是各个集群之间不能进行数据交互,也即各个集群之间缺乏协同和合作,这就导致企业使用的集群会遇到许多困难无法解决。例如,由于各个集群之间不能进行数据交互导致每个集群对应的终端设备的展示界面只能展示本集群的相关信息,用户想要监控各个集群的信息时需要不停地切换各个集群对应的终端设备,过程比较繁琐。因此,提高各个集群之间的协同能力是非常重要的。
发明内容
本发明的目的是提供一种多集群的协同方法、系统、装置及计算机可读存储介质,能够将多个集群进行关联从而增加集群之间的协同性,并且能够在本端集群的展示界面上监控各个远端集群的信息,易于监控和管理。
为解决上述技术问题,本发明提供了一种多集群的协同方法,应用于本端集群中的处理器,所述多集群的协同方法包括:
获取待与所述本端集群建立关联的各个远端集群的IP,并将各个所述IP存储于数据库中;
在接收到监控指令时,在所述数据库中查询所述监控指令指定的目标远端集群的目标IP;
通过所述目标IP访问所述目标远端集群,并在所述目标远端集群的数据库中获取所述目标远端集群的数据信息以便将所述数据信息在所述本端集群对应的展示界面上进行展示。
优选的,还包括:
在所述本端集群中的待处理任务的任务量大于预设任务量阈值时,将所述待处理任务按照预设分配原则分配至所述本端集群以及各个所述远端集群;
在各个所述远端集群将所述待处理任务完毕时,获取各个所述远端集群返回的处理结果。
优选的,将所述待处理任务按照预设分配原则分配至所述本端集群以及各个所述远端集群,包括:
确定所述本端集群内的CPU以及各个所述远端集群内的CPU的可用资源量,并将各个所述可用资源量相加得到总体可用资源量;
分别将各个所述可用资源量除以所述总体可用资源量的商得到分配比例数组;
将所述分配比例数组中的各个数与所述待处理任务的任务总个数相乘得到所述本端集群以及各个所述远端集群分别承担的任务子个数;
向所述本端集群以及各个所述远端集群分配所述任务子个数个所述待处理任务。
优选的,在将各个所述可用资源量相加得到总体可用资源量之前,还包括:
分别判断所述本端集群内的CPU以及各个所述远端集群内的CPU的可用资源量是否大于预设资源量下限;
若是,则进入将各个所述可用资源量相加得到所述总体可用资源量的步骤;
若否,则不向与所述可用资源量对应的集群分配所述待处理任务。
优选的,通过所述目标IP访问所述目标远端集群,并在所述目标远端集群的数据库中获取所述目标远端集群的数据信息,包括:
通过所述目标IP定时访问所述目标远端集群,并在所述目标远端集群的数据库中定时获取所述目标远端集群的数据信息以便在所述本端集群的展示界面上定时更新所述数据信息。
优选的,还包括:
监控所述远端集群中出现异常的远端集群的相关信息,并将所述相关信息保存至所述本端集群的数据库内。
优选的,还包括:
在接收到巡检信号时访问所述数据库中存储的各个IP对应的远端集群,并遍历所述远端集群的所有节点;
获取所有所述节点的节点信息,并将所述节点信息存储至所述数据库中。
为解决上述技术问题本申请还提供了一种多集群的协同系统,应用于本端集群中的处理器,所述多集群的协同系统包括:
关联建立单元,用于获取用户输入的需要与所述本端集群建立关联的各个远端集群的IP,并将各个所述IP存储于数据库中;
目标IP查询单元,用于在接收到所述用户输入的监控指令时,在所述数据库中查询所述监控指令指定的目标远端集群的目标IP;
数据信息获取单元,用于通过所述目标IP访问所述目标远端集群,并在所述目标远端集群的数据库中获取所述目标远端集群的数据信息以便将所述数据信息在所述本端集群对应的展示界面上进行展示。
优选的,还包括:
任务分配单元,用于在所述本端集群中的待处理任务的任务量大于预设任务量阈值时,将所述待处理任务按照预设分配原则分配至所述本端集群以及各个所述远端集群;
处理结果获取单元,用于在各个所述远端集群将所述待处理任务完毕时,获取各个所述远端集群返回的处理结果。
优选的,所述任务分配单元包括:
可用资源量确定单元,用于在所述本端集群中的待处理任务的任务量大于预设任务量阈值时,确定所述本端集群内的CPU以及各个所述远端集群内的CPU的可用资源量,并将各个所述可用资源量相加得到总体可用资源量;
分配比例确定单元,用于分别将各个所述可用资源量除以所述总体可用资源量的商得到分配比例数组;
任务子个数确定单元,用于将所述分配比例数组中的各个数与所述待处理任务的任务总个数相乘得到所述本端集群以及各个所述远端集群分别承担的任务子个数;
任务分配子单元,用于向所述本端集群以及各个所述远端集群分配所述任务子个数个所述待处理任务。
优选的,还包括:
下限判断单元,用于在将各个所述可用资源量相加得到总体可用资源量之前,分别判断所述本端集群内的CPU以及各个所述远端集群内的CPU的可用资源量是否大于预设资源量下限;若是,则进入将各个所述可用资源量相加得到所述总体可用资源量的步骤;若否,则不向与所述可用资源量对应的集群分配所述待处理任务。
优选的,所述数据信息获取单元具体用于:
通过所述目标IP定时访问所述目标远端集群,并在所述目标远端集群的数据库中定时获取所述目标远端集群的数据信息以便在所述本端集群的展示界面上定时更新所述数据信息。
优选的,还包括:
相关信息监控单元,用于监控所述远端集群中出现异常的远端集群的相关信息,并将所述相关信息保存至所述本端集群的数据库内。
优选的,还包括:
巡检单元,用于在接收到巡检信号时访问所述数据库中存储的各个IP对应的远端集群,并遍历所述远端集群的所有节点;
节点信息获取单元,用于获取所有所述节点的节点信息,并将所述节点信息存储至所述数据库中。
为解决上述技术问题本申请还提供了一种多集群的协同装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述多集群的协同方法的步骤。
为解决上述技术问题本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述多集群的协同方法的步骤。
综上,本申请提供了一种多集群的协同方法、系统、装置及计算机可读存储介质,包括获取用户输入的需要与本端集群建立关联的各个远端集群的IP,并将各个IP存储于数据库中,以便后续建立本端集群与远端集群的关联;在接收到用户输入的监控指令时,在数据库中查询监控指令指定的目标远端集群的目标IP,并通过目标IP访问目标远端集群,然后在目标远端集群的数据库中获取目标远端集群的数据信息以便将数据信息在展示界面上进行展示,优化本端集群的展示界面,也即可以在本端集群的展示界面上监控各个远端集群的信息,节省时间且易于操作。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对现有技术和实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种多集群的协同方法的流程图;
图2为本申请提供的一种多集群的协同方法中的一种集群关联方式的结构示意图;
图3为本申请提供一种多集群的协同方法中的另一种集群关联方式的结构示意图;
图4为本申请提供的一种多集群的协同方法中多集群相互监控的结构示意图;
图5为本申请提供的一种多集群的协同方法中分配待处理任务的过程示意图;
图6为本申请提供的一种多集群的协同系统的结构示意图;
图7为本申请提供的一种多集群的协同装置的结构示意图。
具体实施方式
本发明的核心是提供一种多集群的协同方法、系统、装置及计算机可读存储介质,能够将多个集群进行关联从而增加集群之间的协同性,并且能够在本端集群的展示界面上监控各个远端集群的信息,易于监控和管理。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参照图1,图1为本申请提供的一种多集群的协同方法的流程图,多集群的协同方法应用于本端集群中的处理器,该方法包括:
S1:获取待与本端集群建立关联的各个远端集群的IP,并将各个IP存储于数据库中;
现有技术对于集群的应用还仅限于针对各个不同的业务场景而部署多个相互独立的集群,各个集群之间无法进行协同合作,因此本申请提供了一种多集群的协同方法,首先将多个集群进行关联,相互关联的集群能够进行数据交互,从而能够在本端集群的展示界面上监控任意一个与本端集群建立关联的远端集群。需要说明的是,本端集群可以为相互关联的多个集群之间的任意一个集群。
具体的,建立本端集群与远端集群的关联首先需要获取待与本端集群建立关联的各个远端集群的IP,并且将各个远端集群的IP存储于数据库以便本端集群通过IP访问其他的远端集群,进而可以通过本端集群获取到其他远端集群的数据信息,极大程度地方便了用户对各个集群的监控和管理等操作。
此外,对于待与本端集群建立关联的各个远端集群的IP的获取方式本申请不作特别限定,例如可以获取用户通过本端集群的终端设备输入的待与本端集群建立关联的各个远端集群的IP。
此外,数据库中除了存储待与本端集群建立关联的各个远端集群的IP之外还可以存储各个远端集群的一些基本配置信息,基本配置信息包括远端集群的集群名称、与本端集群建立关联的时间以及远端集群的节点信息等。因此,当用户需要了解远端集群的基本配置信息时无需切换到远端集群对应的终端设备,也无需本端设备先通过远端集群的IP访问远端集群再从远端集群的数据库中获取远端集群的基本配置信息,可以从数据库中直接获取已存储的远端设备的基本配置信息,过程更加方便快捷。
S2:在接收到监控指令时,在数据库中查询监控指令指定的目标远端集群的目标IP;
本申请中能够建立多集群之间的关联就是指各个集群能够相互访问并进行数据共享,当本端集群接收到监控指令时会在数据库中查询监控指令指定的目标远端集群的目标IP,以便本端集群通过目标IP访问目标远端集群。
此外,本申请中的监控指令可以为用户输入的指令,监控指令中包括待通过本端集群的展示界面展示数据信息的目标远端集群的IP也即目标IP。
S3:通过目标IP访问目标远端集群,并在目标远端集群的数据库中获取目标远端集群的数据信息以便将数据信息在本端集群对应的展示界面上进行展示。
为了实现在本端集群的展示界面展示目标远端集群的数据信息,本端集群在确定目标IP之后会通过目标IP访问目标远端集群,并从目标远端集群中的数据库内获取数据信息,从而可以在本端集群的展示界面上展示目标远端集群的数据信息,并且不需要用户切换展示界面。
此外,本申请对本端集群获取的目标远端集群的数据信息的种类不作特别限定,例如用户在监控指令中添加待获取的数据信息的种类的要求,本端集群在接收到监控指令后从监控指令中解析用户对于数据信息的种类的要求。本端集群通过目标IP访问目标远端集群的方式可以为ssh方式,本申请对比不作特别限定。
还需要说明的是,本申请中建立多集群的关联的方式可以为一对多关联,也可以为多对多关联。请参照图2和图3,图2为本申请提供的一种多集群的协同方法中的一种集群关联方式的结构示意图,图3为本申请提供一种多集群的协同方法中的另一种集群关联方式的结构示意图。在图2中,集群A、集群B和集群C均可作为本端集群,以集群A作为本端集群为例,通过集群A的展示界面即可监控集群B或集群C的数据信息。在图3中,集群A为本端集群,通过集群A的展示界面可以监控集群B或集群C或集群D的数据信息。
请参照图4,图4为本申请提供的一种多集群的协同方法中多集群相互监控的结构示意图,图4中的集群A与集群B相互关联,以集群A为本端集群为例,集群A中的管理系统A除了可以从集群A自身的数据库中获取数据信息并在展示界面进行展示之外,还可以从集群B中的数据库内获取数据信息并在展示界面上进行展示,从而实现通过一个集群监控多个集群的效果,无频繁切换各个集群的展示界面。
综上,本申请提供了一种多集群的协同方法,包括获取用户输入的需要与本端集群建立关联的各个远端集群的IP,并将各个IP存储于数据库中,以便后续建立本端集群与远端集群的关联;在接收到用户输入的监控指令时,在数据库中查询监控指令指定的目标远端集群的目标IP,并通过目标IP访问目标远端集群,然后在目标远端集群的数据库中获取目标远端集群的数据信息以便将数据信息在展示界面上进行展示,优化本端集群的展示界面,也即可以在本端集群的展示界面上监控各个远端集群的信息,节省时间,且易于操作。
在上述实施例的基础上:
作为一种优选的实施例,还包括:
在本端集群中的待处理任务的任务量大于预设任务量阈值时,将待处理任务按照预设分配原则分配至本端集群以及各个远端集群;
在各个远端集群将待处理任务完毕时,获取各个远端集群返回的处理结果。
考虑到集群有时会接收到后台批量下发的待处理任务,会给集群带来很大的处理压力。因此,在本实施例中,当本端集群中的待处理任务的任务量大于预设任务量阈值时会按照预设分配原则将待处理任务分配给本端集群以及各个远端集群。对于预设任务量阈值的具体数值本申请不作特别限定,可根据本端集群的实际性能进行设定。此外,预设分配原则可以是将待处理任务平均分配给本端集群以及各个远端集群,也可以按照本端集群以及各个远端集群的可用资源量的比例进行分配等。各个远端集群接收到待处理任务后会对待处理任务进行处理,并在处理完毕后将处理结果返回至本端集群,本端集群获取各个远端集群返回的处理结果完成待处理任务。
综上,在本实施例中,当本端集群的待处理任务的任务量比较大时将本端集群的待处理任务分配给远端集群协同处理,也即基于建立关联的多集群的协同性,利用闲置的集群实现待处理任务的均衡处理,从而加快待处理任务的处理速度,减轻处理压力。
作为一种优选的实施例,将待处理任务按照预设分配原则分配至本端集群以及各个远端集群,包括:
确定本端集群内的CPU以及各个远端集群内的CPU的可用资源量,并将各个可用资源量相加得到总体可用资源量;
分别将各个可用资源量除以总体可用资源量的商得到分配比例数组;
将分配比例数组中的各个数与待处理任务的任务总个数相乘得到本端集群以及各个远端集群分别承担的任务子个数;
向本端集群以及各个远端集群分配任务子个数个待处理任务。
在本实施例中提供了预设分配原则的具体实现形式,按照本端集群以及各个远端集群的可用资源量的比例来对待处理任务进行分配。具体的,首先确定本端集群内的CPU的可用资源量以及各个远端集群内的CPU的可用资源量,并且将各个集群的可用资源量相加得到总体可用资源量,从而可以分别确定各个集群的可用资源量占总体可用资源量的比例也即本实施例中的分配比例数组。将待处理任务的任务总个数分别与分配比例数组中的各个比例相乘即可得到每个集群需要被分配的待处理任务的任务子个数,最终本端集群按照上述任务子个数分别向各个集群分配待处理任务。
综上,在本实施例中以各个集群的可用资源量作为分配待处理任务的依据,在实现人物均衡、减轻本端集群的任务处理压力以及加快任务处理进度的基础上进一步保证待处理任务分配的合理性,从而保证对集群的正常的稳定的运行。
作为一种优选的实施例,在将各个可用资源量相加得到总体可用资源量之前,还包括:
分别判断本端集群内的CPU以及各个远端集群内的CPU的可用资源量是否大于预设资源量下限;
若是,则进入将各个可用资源量相加得到总体可用资源量的步骤;
若否,则不向与可用资源量对应的集群分配待处理任务。
考虑到各个集群也要处理自身已有的待处理任务,因此,在本实施例中在确定总体可用资源量以及确定各个集群的分配比例之前先判断本端集群的可用资源量以及各个远端集群的可用资源量是否大于预设资源量下限。若集群的可用资源量大于预设资源量下限则表示该集群有充足的资源处理本端集群的待处理任务,因此进入将各个可用资源量相加得到总体可用资源量的步骤,以便后续确定该集群的分配比例;若集群的可用资源量不大于预设资源量下限则表示该集群无法额外承担本端集群的待处理任务,因此本端集群不会像该集群分配待处理任务。
需要说明的是,本申请对于预设资源量的具体数值不作特别限定,可根据各个集群的性能进行设置。
请参照图5,图5为本申请提供的一种多集群的协同方法中分配待处理任务的过程示意图。首先本端集群A对各个远端集群的可用资源数进行获取,并将本端集群的可用资源数a、集群B的可用资源数b、集群C的可用资源数c、集群D的可用资源数d以及集群E的可用资源数e进行获取。然后以此判断a、b、c、d及e是否均大于预设资源量下限min limit,此处以各个可用资源量均大于预设资源量下限为例,将各个集群的可用资源量构成可用资源量数组[a,b,c,d,e],总体资源可用量z=a+b+c+d+e,因此分配比例数组为[a/z,b/z,c/z,d/z,e/z],假设待处理任务的总个数为20,则集群A、集群B、集群C、集群D以及集群E分别对应的任务子个数为20*a/z、20*b/z、20*c/z、20*d/z以及20*e/z。
综上,在本实施例中通过判断集群的可用资源量是否大于预设资源量下限来确保集群优先完成自身已有的待处理任务,从而保证各个集群均能够正常工作,提升多集群整体的稳定性。
作为一种优选的实施例,通过目标IP访问目标远端集群,并在目标远端集群的数据库中获取目标远端集群的数据信息,包括:
通过目标IP定时访问目标远端集群,并在目标远端集群的数据库中定时获取目标远端集群的数据信息以便在本端集群的展示界面上定时更新数据信息。
在本实施例中通过本端集群的展示界面展示目标远端集群的数据信息具体为通过目标IP定时访问目标远端集群,进而在目标远端集群中的数据库中定时获取目标远端集群的数据信息,从而可以在本端集群的展示界面上定时更新目标远端集群的数据信息,保证本端集群的展示界面对数据信息进行展示的时效性和准确性。
需要说明的是,本申请对于本端集群定时访问目标远端集群的具体频次不作特别限定,可根据实际情况进行设置。
作为一种优选的实施例,还包括:
监控远端集群中出现异常的远端集群的相关信息,并将相关信息保存至本端集群的数据库内。
考虑到集群有时会出现离线升级或者故障等导致用户无法通过该集群的终端设备获取该集群的异常信息的特殊情况,因此在本实施例中,本端集群还会监控出现异常的远端集群的相关信息(例如出现异常的远端集群的数据量、节点信息、告警信息以及日志等)。同时为了便于用户对集群出现异常的原因进行分析,本端集群还会将出现异常的远端集群的相关信息保存在本端集群的数据库中。
综上,本实施例基于多集群建立关联后的协同作用来增加集群的抗风险能力和修复能力,在集群出现异常时能够及时获取出现异常的集群的相关信息以便及时处理异常问题,保证多集群的安全。
作为一种优选的实施例,还包括:
在接收到巡检信号时访问数据库中存储的各个IP对应的远端集群,并遍历远端集群的所有节点;
获取所有节点的节点信息,并将节点信息存储至数据库中。
为了进一步提升多集群的安全性,在本实施例中,当本端集群接收到巡检信号时自动访问与本端集群关联的远端集群的数据库,也即自动访问本端集群的数据库中存储的各个IP对应的远端集群中的数据库。本端集群访问各个远端集群时均会遍历远端集群中的所有节点,并获取所有节点的节点信息。同时为了便于用户及时对节点信息进行分析处理从而确定集群是否出现异常,本端集群还将远端集群的各个节点的节点信息均存储在本端集群的数据库中。
还需要说明的是,巡检信号可以为用户通过本端集群对应的终端设备输入,也可以为本端集群定时生成巡检信号并进行后续巡检过程,本实施例对此不作特别限定。
综上,本实施例通过本端集群及时对各个集群的节点信息进行检测,基于多集群建立关联后的协同作用来增加集群的抗风险能力和修复能力。
请参照图6,图6为本申请提供的一种多集群的协同系统的结构示意图,该系统应用于本端集群中的处理器,多集群的协同系统包括:
关联建立单元11,用于获取用户输入的需要与本端集群建立关联的各个远端集群的IP,并将各个IP存储于数据库中;
目标IP查询单元12,用于在接收到用户输入的监控指令时,在数据库中查询监控指令指定的目标远端集群的目标IP;
数据信息获取单元13,用于通过目标IP访问目标远端集群,并在目标远端集群的数据库中获取目标远端集群的数据信息以便将数据信息在本端集群对应的展示界面上进行展示。
对于本申请提供的一种多集群的协同系统的相关介绍请参照上述多集群的协同方法的实施例,在此不做赘述。
在上述实施例的基础上:
作为一种优选的实施例,还包括:
任务分配单元,用于在本端集群中的待处理任务的任务量大于预设任务量阈值时,将待处理任务按照预设分配原则分配至本端集群以及各个远端集群;
处理结果获取单元,用于在各个远端集群将待处理任务完毕时,获取各个远端集群返回的处理结果。
作为一种优选的实施例,任务分配单元包括:
可用资源量确定单元,用于在本端集群中的待处理任务的任务量大于预设任务量阈值时,确定本端集群内的CPU以及各个远端集群内的CPU的可用资源量,并将各个可用资源量相加得到总体可用资源量;
分配比例确定单元,用于分别将各个可用资源量除以总体可用资源量的商得到分配比例数组;
任务子个数确定单元,用于将分配比例数组中的各个数与待处理任务的任务总个数相乘得到本端集群以及各个远端集群分别承担的任务子个数;
任务分配子单元,用于向本端集群以及各个远端集群分配任务子个数个待处理任务。
作为一种优选的实施例,还包括:
下限判断单元,用于在将各个可用资源量相加得到总体可用资源量之前分别判断本端集群内的CPU以及各个远端集群内的CPU的可用资源量是否大于预设资源量下限;若是,则进入将各个可用资源量相加得到总体可用资源量的步骤;若否,则不向与可用资源量对应的集群分配待处理任务。
作为一种优选的实施例,数据信息获取单元13具体用于:
通过目标IP定时访问目标远端集群,并在目标远端集群的数据库中定时获取目标远端集群的数据信息以便在本端集群的展示界面上定时更新数据信息。
作为一种优选的实施例,还包括:
相关信息监控单元,用于监控远端集群中出现异常的远端集群的相关信息,并将相关信息保存至本端集群的数据库内。
作为一种优选的实施例,还包括:
巡检单元,用于在接收到巡检信号时访问数据库中存储的各个IP对应的远端集群,并遍历远端集群的所有节点;
节点信息获取单元,用于获取所有节点的节点信息,并将节点信息存储至数据库中。
请参照图7,图7为本申请提供的一种多集群的协同装置的结构示意图,多集群的协同装置包括:
存储器21,用于存储计算机程序;
处理器22,用于执行计算机程序时实现上述多集群的协同方法的步骤。
对于本申请提供的一种多集群的协同装置的相关介绍请参照上述多集群的协同方法的实施例,在此不做赘述。
本申请还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述多集群的协同方法的步骤。
对于本申请提供的一种计算机可读存储介质的相关介绍请参照上述多集群的协同方法的实施例,在此不做赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种多集群的协同方法,其特征在于,应用于本端集群中的处理器,所述多集群的协同方法包括:
获取待与所述本端集群建立关联的各个远端集群的IP,并将各个所述IP存储于数据库中;
在接收到监控指令时,在所述数据库中查询所述监控指令指定的目标远端集群的目标IP;
通过所述目标IP访问所述目标远端集群,并在所述目标远端集群的数据库中获取所述目标远端集群的数据信息以便将所述数据信息在所述本端集群对应的展示界面上进行展示。
2.如权利要求1所述的多集群的协同方法,其特征在于,还包括:
在所述本端集群中的待处理任务的任务量大于预设任务量阈值时,将所述待处理任务按照预设分配原则分配至所述本端集群以及各个所述远端集群;
在各个所述远端集群将所述待处理任务完毕时,获取各个所述远端集群返回的处理结果。
3.如权利要求2所述的多集群的协同方法,其特征在于,将所述待处理任务按照预设分配原则分配至所述本端集群以及各个所述远端集群,包括:
确定所述本端集群内的CPU以及各个所述远端集群内的CPU的可用资源量,并将各个所述可用资源量相加得到总体可用资源量;
分别将各个所述可用资源量除以所述总体可用资源量的商得到分配比例数组;
将所述分配比例数组中的各个数与所述待处理任务的任务总个数相乘得到所述本端集群以及各个所述远端集群分别承担的任务子个数;
向所述本端集群以及各个所述远端集群分配所述任务子个数个所述待处理任务。
4.如权利要求3所述的多集群的协同方法,其特征在于,在将各个所述可用资源量相加得到总体可用资源量之前,还包括:
分别判断所述本端集群内的CPU以及各个所述远端集群内的CPU的可用资源量是否大于预设资源量下限;
若是,则进入将各个所述可用资源量相加得到所述总体可用资源量的步骤;
若否,则不向与所述可用资源量对应的集群分配所述待处理任务。
5.如权利要求1所述的多集群的协同方法,其特征在于,通过所述目标IP访问所述目标远端集群,并在所述目标远端集群的数据库中获取所述目标远端集群的数据信息,包括:
通过所述目标IP定时访问所述目标远端集群,并在所述目标远端集群的数据库中定时获取所述目标远端集群的数据信息以便在所述本端集群的展示界面上定时更新所述数据信息。
6.如权利要求1所述的多集群的协同方法,其特征在于,还包括:
监控所述远端集群中出现异常的远端集群的相关信息,并将所述相关信息保存至所述本端集群的数据库内。
7.如权利要求1至6任一项所述的多集群的协同方法,其特征在于,还包括:
在接收到巡检信号时访问所述数据库中存储的各个IP对应的远端集群,并遍历所述远端集群的所有节点;
获取所有所述节点的节点信息,并将所述节点信息存储至所述数据库中。
8.一种多集群的协同系统,其特征在于,应用于本端集群中的处理器,所述多集群的协同系统包括:
关联建立单元,用于获取用户输入的需要与所述本端集群建立关联的各个远端集群的IP,并将各个所述IP存储于数据库中;
目标IP查询单元,用于在接收到所述用户输入的监控指令时,在所述数据库中查询所述监控指令指定的目标远端集群的目标IP;
数据信息获取单元,用于通过所述目标IP访问所述目标远端集群,并在所述目标远端集群的数据库中获取所述目标远端集群的数据信息以便将所述数据信息在所述本端集群对应的展示界面上进行展示。
9.一种多集群的协同装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述多集群的协同方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多集群的协同方法的步骤。
CN202211041834.8A 2022-08-29 2022-08-29 多集群的协同方法、系统、装置及计算机可读存储介质 Pending CN115329005A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211041834.8A CN115329005A (zh) 2022-08-29 2022-08-29 多集群的协同方法、系统、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211041834.8A CN115329005A (zh) 2022-08-29 2022-08-29 多集群的协同方法、系统、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115329005A true CN115329005A (zh) 2022-11-11

Family

ID=83928012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211041834.8A Pending CN115329005A (zh) 2022-08-29 2022-08-29 多集群的协同方法、系统、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115329005A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431430A (zh) * 2023-03-01 2023-07-14 合芯科技有限公司 一种对Zookeeper集群监控分析系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431430A (zh) * 2023-03-01 2023-07-14 合芯科技有限公司 一种对Zookeeper集群监控分析系统及方法

Similar Documents

Publication Publication Date Title
CN109660607B (zh) 一种业务请求分发方法、接收方法、装置及服务器集群
CN110266716B (zh) 电网统一服务平台系统
CN111522641B (zh) 任务调度方法、装置、计算机设备和存储介质
US7631034B1 (en) Optimizing node selection when handling client requests for a distributed file system (DFS) based on a dynamically determined performance index
JP4738144B2 (ja) 情報監視方法、システム及びプログラム
US8572621B2 (en) Selection of server for relocation of application program based on largest number of algorithms with identical output using selected server resource criteria
CN108881512B (zh) Ctdb的虚拟ip均衡分配方法、装置、设备及介质
CN112333249B (zh) 一种业务服务系统及方法
CN109510878B (zh) 一种长连接会话保持方法和装置
CN106844055B (zh) 一种任务的执行方法和装置
US20160344582A1 (en) Call home cluster
CN108616424B (zh) 一种资源调度方法、计算机设备和系统
CN110781015A (zh) 消息队列的分配方法、装置、设备及计算机可读存储介质
CN106533961B (zh) 一种流量控制方法及装置
CN115329005A (zh) 多集群的协同方法、系统、装置及计算机可读存储介质
CN111163140A (zh) 资源获取和分配的方法、装置和计算机可读存储介质
CN111159131A (zh) 性能优化方法、装置、设备及计算机可读存储介质
CN107332703B (zh) 一种多应用日志的查看方法及装置
CN110955460B (zh) 一种服务进程启动方法、装置、电子设备和存储介质
CN111835809B (zh) 工单消息分配方法、装置、服务器及存储介质
CN112631805A (zh) 数据处理方法、装置、终端设备及存储介质
CN111913784A (zh) 任务调度方法及装置、网元、存储介质
CN116302467A (zh) 任务的分配方法、装置及存储介质
CN111600771B (zh) 网络资源探测系统、方法
CN112597173A (zh) 一种分布式数据库集群系统对等处理系统及处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination