CN111338647B - 一种大数据集群管理方法和装置 - Google Patents
一种大数据集群管理方法和装置 Download PDFInfo
- Publication number
- CN111338647B CN111338647B CN201811546587.0A CN201811546587A CN111338647B CN 111338647 B CN111338647 B CN 111338647B CN 201811546587 A CN201811546587 A CN 201811546587A CN 111338647 B CN111338647 B CN 111338647B
- Authority
- CN
- China
- Prior art keywords
- cluster
- node
- unit
- big data
- cluster node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 3
- 206010033799 Paralysis Diseases 0.000 abstract description 7
- 230000002085 persistent effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/61—Installation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Abstract
本申请提供了一种大数据集群管理方法和装置，应用于大数据集群中安装有zookeeper的任一集群节点上，所述方法包括：第一集群节点选举临时主节点；所述第一集群节点被选为临时主节点时，确定在zookeeper中是否存在cluster节点；如果是，则使用zookeeper中的集群信息管理cluster节点单元存储并管理所述大数据集群的集群服务数据；否则，在zookeeper中创建cluster节点单元，使用该cluster节点单元存储并管理所述大数据集群的集群服务数据。该方法能够解决集群系统中的主节点单点故障导致系统瘫痪的问题。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种大数据集群管理方法和装置。
背景技术
现有管理大数据集群的方法应用在包括由WEB端、Server端和多Agent端构成的分布式架构，Java服务器由Server和多个Agent实现，由Server端进行统一的管理，并提供基于Ember.is/Angular JS的web端可视化操作。
上述管理大数据集群的方法无法解决主节点单点故障的问题，当Server端发生宕机，整个集群管理就会瘫痪。
发明内容
有鉴于此，本申请提供一种大数据集群管理方法和装置，能够解决集群系统中的主节点单点故障导致系统瘫痪的问题。
为解决上述技术问题，本申请的技术方案是这样实现的：
一种大数据集群管理方法，应用于大数据集群中安装有分布式应用程序协调服务zookeeper的任一集群节点上，所述方法包括：
第一集群节点选举临时主节点；
当所述第一集群节点被选为临时主节点时，确定在zookeeper中是否存在集群信息管理cluster节点单元；
如果是，则使用zookeeper中的cluster节点单元存储并管理所述大数据集群的集群服务数据；
否则，在zookeeper中创建cluster节点单元，使用该cluster节点单元存储并管理所述大数据集群的集群服务数据。
一种大数据集群管理装置，应用于大数据集群中安装有分布式应用程序协调服务zookeeper的任一集群节点上，所述装置包括：选举单元、确定单元和处理单元；
所述选举单元，用于选举临时主节点；
所述确定单元，用于当本单元所在集群节点被选为临时主节点时，确定在zookeeper中是否存在集群信息管理cluster节点单元；
所述处理单元，用于当所述确定单元确定在zookeeper中存在cluster节点单元时，使用zookeeper中的cluster节点单元存储并管理所述大数据集群的集群服务数据；否则，在zookeeper中创建cluster节点单元，使用该cluster节点存储并管理所述大数据集群的集群服务数据。
一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行所述大数据集群管理方法的步骤。
一种电子设备，包括所述非瞬时计算机可读存储介质、以及可访问所述非瞬时计算机可读存储介质的所述处理器。
由上面的技术方案可知，本申请中无论设备初始启动，或者临时主节点不可用，均会通过选举确定临时主节点，由首个临时主节点在zookeeper中创建cluster节点单元之后，均有系统中的当前临时主节点使用所述cluster节点单元存储并统一管理集群中的服务数据。该方案中集群的服务数据由zookeeper中的cluster节点单元统一管理，不会因为某个集群节点不可用导致集群中的服务数据丢失；能够解决集群系统中的主节点单点故障导致系统瘫痪的问题。
附图说明
图1为本申请实施例中大数据集群管理的流程示意图；
图2为本申请实施例中应用于上述技术的装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。
本申请实施例中提供的一种大数据集群管理方法，应用于大数据集群中安装有分布式应用程序协调服务(zookeeper)的任一集群节点上，无论设备初始启动，或者临时主节点不可用，均会通过选举确定临时主节点，由首个临时主节点在zookeeper中创建cluster节点单元之后，均有系统中的当前临时主节点使用所述cluster节点单元存储并统一管理集群中的服务数据。该方案中集群的服务数据由zookeeper中的cluster节点单元统一管理，不会因为某个集群节点不可用导致集群中的服务数据丢失；能够解决集群系统中的主节点单点故障导致系统瘫痪的问题。
下面结合附图，详细说明本申请实施例中大数据集群管理的过程。
本申请实施例在具体实现时，若限制了某个角色执行的操作，则只有该角色的集群节点执行对应的操作；如指挥节点、临时主节点；若未限制角色执行的操作，则为所有集群节点均进行的操作。
本申请实施例中的集群节点在本领域也会被称为Agent，本申请实施例中为了描述上的统一、清楚均使用集群节点来描述。
在进行大数据集群管理之前，本申请实施例中需要先进行集群系统部署，具体部署过程如下：
每个集群节点安装有大数据java服务的同时安装zookeeper和超文本传输协议(HTTP)和反向代理服务(Nginx)。
其中，Zookeeper，是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。本申请实施例中主要用到zookeeper统一配置维护的功能，zookeeper中的节点为zookeeper存储管理数据的单元。
每个集群节点在zookeeper中都会创建对应的持久节点单元，用于存储并管理各自的集群数据；
每个集群节点在zookeeper中还会创建临时节点单元，用于判断集群节点的可用不可用。
作为临时主节点的集群节点通过在zookeeper中创建集群信息管理(cluster)节点单元，来存储并管理集群中的服务数据。
反向代理服务(Nginx)，客户端本来可以直接通过HTTP协议访问某网站应用服务器，网站管理员可以在中间加上一个Nginx，客户端请求Nginx，通过Nginx请求应用服务器，然后将结果返回给客户端，此时Nginx就是反向代理服务。
在服务器端以分布式版本控制系统(Git)仓库的方式存储大数据组件，如hadoop，spark等。
其中，Git是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理。
在集群系统中的多个集群节点中指定一个集群节点作为指挥节点，这里指定指挥节点的方式可以为任意指定，即在可用的集群节点中任意指定一个集群节点作为指挥节点，即用于通知其它节点到什么位置去下载所需大数据组件。
在具体实现时，可以通过用户输入指令来指定指挥节点，也可以通过配置一个配置文件到集群节点上，在配置文件中指定指挥节点。
任一集群节点被指定为指挥节点，向其它各集群节点发送从Server端的Git仓库中下载所需大数据组件的通知；并从Server端的Git仓库中下载所需大数据组件后，在本地解压安装；
该集群节点未被指定为指挥节点，接收到从Server端的Git仓库中下载所需大数据组件的通知时，从Server端的Git仓库中下载所需大数据组件，并在本地解压安装。
如大数据集群系统中包括3个集群节点，分别为集群节点1、集群节点2和集群节点3。
假设集群节点2接收到用户指令，被指定为指挥节点，则向集群节点1和集群节点3发送从Server端的Git仓库中下载所需大数据组件的通知。
集群节点2从Server端的Git仓库中下载所需大数据组件后，在本地解压安装；
集群节点1和集群节点3接收到集群节点2发送的从Server端的Git仓库中下载所需大数据组件的通知时，从Server端的Git仓库中下载所需大数据组件，并在本地解压安装。
这种各集群节点独立下载安装大数据组件的实现方式，可以大大减少大规模集群部署的时间。
在集群系统中选择一个集群节点作为临时主节点，通过所述Nginx监听配置的虚拟IP地址对应的请求；这里监听的请求为web端的请求；
当监听到所述虚拟IP地址对应的请求时，通过所述Nginx将所述请求转发到所述第一集群节点上，并响应web端的请求。
这里配置的虚拟IP地址为集群的IP地址。
集群系统部署完之后，对集群系统进行如下管理：
每个集群节点在zookeeper中创建对应的持久节点单元，用于存储并管理各自的集群数据。
其中，在持久节点单元中存储的集群数据包括：各组件的角色数据，配置数据，服务器磁盘数据，网络数据等。
参见图1，图1为本申请实施例中大数据集群管理的流程示意图。具体步骤为：
步骤101，第一集群节点选举临时主节点。
各集群节点选择一个集群节点作为临时主节点的过程可以但不限于下述实现方式：
为各集群节点编号，每个集群节点上配置各集群节点的编号；各集群节点分配有唯一的编号，这里的唯一指全局唯一，也就是说在该集群系统中各集群节点的编号各不相同。
具体实现时，为了管理方便，可以从0或1开始，以递增1的方式进行编号。
任一集群节点的编号在当前可用的集群节点的编号中为最小时，选择该集群节点作为临时主节点。也就是说当一个集群节点的编号在当前可用的集群节点的编号中为最小时，选择自身作为临时主节点。
本步骤中的第一集群节点若在当前可用的集群节点的编号中为最小时，会被选举为临时主节点。
每个集群节点上均记录了各集群节点被分配的编号，每个集群节点自行进行临时主节点的选择；由于记录的各集群节点的编号是一致的，因此，最终选择的临时主节点是一致的。
这里的集群节点为集群系统中的任一节点，如集群系统中存在四个集群节点分别为：集群节点1、集群节点2、集群节点3和集群节点4。
设第一集群节点为集群节点1(1为该集群节点分配的编号)，编号最小的集群节点被选举为临时主节点，由于第一集群节点的编号最小，因此，在进行临时主节点选举时，第一集群节点会被选举为临时主节点。
设第一集群节点为集群节点3(3为该集群节点分配的编号)，编号最小的集群节点被选举为临时主节点，由于第一集群节点的编号不为最小，因此，在进行临时主节点选举时，集群节点1点会被选举为临时主节点。
步骤102，第一集群节点被选为临时主节点时，确定在zookeeper中是否存在cluster节点单元；如果是，执行步骤103；否则，执行步骤104。
本申请实施例中的临时主节点与现有实现中的主节点不同，现有实现中的主节点是不会改变的，一旦作为主节点的集群节点故障，整个集群管理就会瘫痪；而本申请中临时主节点的角色是临时的，若其不可用，会在可用的集群节点中重新选择临时主节点。
因此，这里作为临时主节点的集群节点有两种情况，一种是集群系统中初始选择的临时主节点，这时还未在zookeeper中创建cluster节点单元，需要执行步骤103，即直接在zookeeper中创建cluster节点单元；一种是由于集群系统中临时主节点不可用，如宕机等不能通信，在可用的集群节点中重新选择的临时主节点，这时已在zookeeper中创建了cluster节点单元，已存储了相关服务数据，需要执行步骤104，即直接管理即可。
各集群各节点除了在zookeeper创建持久节点单元外，还需以预设周期为周期周期性在zookeeper中创建临时节点单元；以此来证明对应的集群节点在线；
若任一所述预设周期性内，确定zookeeper中不存在该集群节点的临时节点单元，则确定对应集群节点不可用。
当当前的临时主节点不可用时，会重新选择临时主节点，具体更换过程如下：
第一集群节点当确定本节点可用，且被选举为临时主节点的集群节点不可用时，在可用的集群节点中重新选举临时主节点。
第一集群节点确定本节点不可用，也就不需要进行任何处理了。
任一集群节点若由不可用状态变为可用状态，则被分配比当前可用的集群节点的编号大的编号。
具体实现时，再为该集群节点重新分配编号比已分配编号大的编号时，可以为当前可用的集群节点的最大编号加1。
如，集群系统中存在四个集群节点分别为：集群节点1、集群节点2、集群节点3和集群节点4；1、2、3、4分别为为对应集群节点分配的编号；
若集群节点2不可用，然后由不可用变为可用时，重新为集群节点分配编号为5，大于当前已分配的编号。
步骤103，第一集群节点使用zookeeper中的cluster节点单元存储并管理所述大数据集群的集群服务数据；结束本流程。
步骤104，第一集群节点在zookeeper中创建cluster节点单元，使用该cluster节点单元存储并管理所述大数据集群的集群服务数据。
cluster节点单元存储的集群数据只能由临时主节点管理，如修改等操作；临时主节点之外的集群节点不能管理。
本申请实施例中由zookeeper统一管理集群中的服务信息，不会因为个别集群节点不可用，如宕机，导致集群信息丢失；可以解决一般主从(server/agent)部署方案单点故障的问题，集群系统中的所有集群节点都可能是临时主节点。
基于同样的发明构思，本申请实施例中还提出一种大数据集群管理装置。应用于大数据集群中安装有分布式应用程序协调服务zookeeper的任一集群节点上。参见图2，图2为本申请实施例中应用于上述技术的装置结构示意图。该装置包括：选举单元201、确定单元202和处理单元203；
选举单元201，用于选举临时主节点；
确定单元202，用于当本单元所在集群节点被选为临时主节点时，确定在zookeeper中是否存在集群信息管理cluster节点单元；
处理单元203，用于当确定单元202确定在zookeeper中存在cluster节点单元时，使用zookeeper中的cluster节点单元存储并管理所述大数据集群的集群服务数据；否则，在zookeeper中创建cluster节点单元，使用该cluster节点存储并管理所述大数据集群的集群服务数据。
较佳地，所述装置进一步包括：Nginx单元204；
Nginx单元204，用于本单元所在第一集群节点被选为临时主节点时，监听配置的虚拟IP地址对应的请求；当监听到所述虚拟IP地址对应的请求时，通过所述Nginx将所述请求转发到所述第一集群节点上，并响应web端的请求。
较佳地，
处理单元203，进一步用于以预设周期为周期在zookeeper中创建临时节点单元；若任一所述预设周期内，确定zookeeper中不存在所述大数据集群中的任一集群节点的临时节点单元，则确定该集群节点不可用。
较佳地，
选举单元201，进一步用于当本单元所在集群节点确定本节点可用，且被选举为临时主节点的集群节点不可用时，执行选举临时主节点的操作。
较佳地，所述装置进一步包括：分配单元205；
分配单元，用于本单元所在集群节点由不可用变为可用，则被分配比当前可用的集群节点的编号大的编号。
较佳地，
选举单元201，具体用于当本单元所在集群节点的编号在当前可用的集群节点的编号中为最小时，选择自身所在集群节点作为临时主节点；其中，所述大数据集群中的各集群节点分配有唯一的编号。
较佳地，
处理单元203，进一步用于本单元所在群节点若被设置为指挥节点，则通知其它集群节点从Server端的分布式版本控制系统Git仓库中下载所需大数据组；并从Server端的Git仓库中下载所需大数据组件，在本地解压安装；用于本单元所在集群节点若未被设置为指挥节点，则在接收到指挥节点发送的通知时，从Server端的Git仓库中下载所需大数据组件，并在本地解压安装。
上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。
此外，本申请实施例中还出一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行上述大数据集群管理方法的步骤。
此外，还提供一种电子设备，包括如上所述的非瞬时计算机可读存储介质、以及可访问所述非瞬时计算机可读存储介质的所述处理器。
综上所述，本申请通过每个集群节点在zookeeper中创建对应的持久节点，用于存储并管理各自的集群数据；作为临时主节点的集群节点通过在zookeeper中创建cluster节点，来存储并管理集群中的服务数据；当临时主节点不可用时，会重新选择临时主节点，即集群中的每个集群节点都可能为临时主节点。该方案中集群的服务数据由zookeeper统一管理，不会因为某个集群节点不可用导致集群中的服务数据丢失；能够解决集群系统中的主节点单点故障导致系统瘫痪的问题。
并在部署集群系统时，从Git仓库下载所需大数据组件，并且各集群节点独立下载部署，极大增加了大规模集群部署的效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (14)
1.一种大数据集群管理方法，其特征在于，应用于大数据集群中安装有分布式应用程序协调服务zookeeper的任一集群节点上，所述方法包括：
第一集群节点选举临时主节点；
当所述第一集群节点被选为临时主节点时，确定在zookeeper中是否存在集群信息管理cluster节点单元；
如果是，则使用zookeeper中的cluster节点单元存储并管理所述大数据集群的集群服务数据；
否则，在zookeeper中创建cluster节点单元，使用该cluster节点单元存储并管理所述大数据集群的集群服务数据；
其中，所述方法进一步包括：
所述第一集群节点以预设周期为周期在zookeeper中创建临时节点单元；
若任一所述预设周期内，确定zookeeper中不存在所述大数据集群中的任一集群节点的临时节点单元，则确定该集群节点不可用。
2.根据权利要求1所述的方法，其特征在于，所述集群节点进一步安装有反向代理服务Nginx；
所述方法进一步包括：
所述第一集群节点被选为临时主节点时，通过所述Nginx监听配置的虚拟IP地址对应的请求；
当监听到所述虚拟IP地址对应的请求时，通过所述Nginx将所述请求转发到所述第一集群节点上，并响应web端的请求。
3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
当所述第一集群节点确定本节点可用，且被选举为临时主节点的集群节点不可用时，执行选举临时主节点的步骤。
4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
所述第一集群节点若确定本节点由不可用变为可用，则被分配比当前可用的集群节点的编号大的编号。
5.根据权利要求1所述的方法，其特征在于，所述大数据集群中的各集群节点分配有唯一的编号，所述第一集群节点选举临时主节点，包括：
当所述第一集群节点的编号在当前可用的集群节点的编号中为最小时，第一集群节点选择自身作为临时主节点。
6.根据权利要求1-5任意一项所述的方法，其特征在于，所述方法进一步包括：
所述第一集群节点若被设置为指挥节点，则通知其它集群节点从Server端的分布式版本控制系统Git仓库中下载所需大数据组，并从Server端的Git仓库中下载所需大数据组件，在本地解压安装；
所述第一集群节点若未被设置为指挥节点，则在接收到指挥节点发送的通知时，从Server端的Git仓库中下载所需大数据组件，并在本地解压安装。
7.一种大数据集群管理装置，其特征在于，应用于大数据集群中安装有分布式应用程序协调服务zookeeper的任一集群节点上，所述装置包括：选举单元、确定单元和处理单元；
所述选举单元，用于选举临时主节点；
所述确定单元，用于当本单元所在集群节点被选为临时主节点时，确定在zookeeper中是否存在集群信息管理cluster节点单元；
所述处理单元，用于当所述确定单元确定在zookeeper中存在cluster节点单元时，使用zookeeper中的cluster节点单元存储并管理所述大数据集群的集群服务数据；否则，在zookeeper中创建cluster节点单元，使用该cluster节点存储并管理所述大数据集群的集群服务数据；
其中，
所述处理单元，进一步用于以预设周期为周期在zookeeper中创建临时节点单元；若任一所述预设周期内，确定zookeeper中不存在所述大数据集群中的任一集群节点的临时节点单元，则确定该集群节点不可用。
8.根据权利要求7所述的装置，其特征在于，所述装置进一步包括：反向代理服务Nginx单元；
所述Nginx单元，用于本单元所在第一集群节点被选为临时主节点时，监听配置的虚拟IP地址对应的请求；当监听到所述虚拟IP地址对应的请求时，通过所述Nginx将所述请求转发到所述第一集群节点上，并响应web端的请求。
9.根据权利要求7所述的装置，其特征在于，
所述选举单元，进一步用于当本单元所在集群节点确定本节点可用，且被选举为临时主节点的集群节点不可用时，执行选举临时主节点的操作。
10.根据权利要求7所述的装置，其特征在于，所述装置进一步包括：分配单元；
所述分配单元，用于本单元所在集群节点由不可用变为可用，则被分配比当前可用的集群节点的编号大的编号。
11.根据权利要求7所述的装置，其特征在于，
所述选举单元，具体用于当本单元所在集群节点的编号在当前可用的集群节点的编号中为最小时，选择自身所在集群节点作为临时主节点；其中，所述大数据集群中的各集群节点分配有唯一的编号。
12.根据权利要求7-11任意一项所述的装置，其特征在于，
所述处理单元，进一步用于本单元所在群节点若被设置为指挥节点，则通知其它集群节点从Server端的分布式版本控制系统Git仓库中下载所需大数据组；并从Server端的Git仓库中下载所需大数据组件，在本地解压安装；用于本单元所在集群节点若未被设置为指挥节点，则在接收到指挥节点发送的通知时，从Server端的Git仓库中下载所需大数据组件，并在本地解压安装。
13.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至6中任一项所述的大数据集群管理方法的步骤。
14.一种电子设备，其特征在于，包括如权利要求13所述的非瞬时计算机可读存储介质、以及可访问所述非瞬时计算机可读存储介质的所述处理器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811546587.0A CN111338647B (zh) | 2018-12-18 | 2018-12-18 | 一种大数据集群管理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811546587.0A CN111338647B (zh) | 2018-12-18 | 2018-12-18 | 一种大数据集群管理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111338647A CN111338647A (zh) | 2020-06-26 |
| CN111338647B true CN111338647B (zh) | 2023-09-12 |
Family
ID=71181318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811546587.0A Active CN111338647B (zh) | 2018-12-18 | 2018-12-18 | 一种大数据集群管理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111338647B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112055099A (zh) * | 2020-08-21 | 2020-12-08 | 上海擎感智能科技有限公司 | 单号生成方法及电子设备 |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101977124A (zh) * | 2010-11-05 | 2011-02-16 | 山东中创软件工程股份有限公司 | 基于ZooKeeper技术的业务集群方法及系统 |
| CN102710554A (zh) * | 2012-06-25 | 2012-10-03 | 深圳中兴网信科技有限公司 | 分布式消息系统和分布式消息系统的服务状态检测方法 |
| CN103019626A (zh) * | 2012-12-17 | 2013-04-03 | 华为技术有限公司 | 存储系统、控制集群元数据的方法及装置 |
| CN103118130A (zh) * | 2013-02-25 | 2013-05-22 | 汉柏科技有限公司 | 一种用于分布式服务的集群管理方法和系统 |
| CN103607297A (zh) * | 2013-11-07 | 2014-02-26 | 上海爱数软件有限公司 | 一种计算机集群系统的故障处理方法 |
| CN103905537A (zh) * | 2014-03-20 | 2014-07-02 | 冶金自动化研究设计院 | 分布式环境下管理工业实时数据存储的系统 |
| CN104063486A (zh) * | 2014-07-03 | 2014-09-24 | 四川中亚联邦科技有限公司 | 一种大数据分布式存储方法和系统 |
| CN104753994A (zh) * | 2013-12-27 | 2015-07-01 | 杭州海康威视系统技术有限公司 | 基于集群服务器系统的数据同步方法及其装置 |
| CN104933132A (zh) * | 2015-06-12 | 2015-09-23 | 广州巨杉软件开发有限公司 | 基于操作序列号的分布式数据库有权重选举方法 |
| CN105471995A (zh) * | 2015-12-14 | 2016-04-06 | 山东省农业机械科学研究院 | 基于SOA的大规模Web服务机群高可用实现方法 |
| CN105554106A (zh) * | 2015-12-15 | 2016-05-04 | 上海仪电(集团)有限公司 | 一种memcache分布式缓存系统 |
| CN105706065A (zh) * | 2014-06-04 | 2016-06-22 | 纯存储公司 | 存储群集 |
| CN105933391A (zh) * | 2016-04-11 | 2016-09-07 | 青岛海信传媒网络技术有限公司 | 一种节点扩容方法、装置及系统 |
| CN106453120A (zh) * | 2015-08-05 | 2017-02-22 | 北京网御星云信息技术有限公司 | 一种动态集群方法和系统 |
| CN106603281A (zh) * | 2016-12-07 | 2017-04-26 | 乐视控股（北京）有限公司 | 配置文件管理方法及系统 |
| CN106850260A (zh) * | 2016-12-23 | 2017-06-13 | 曙光云计算技术有限公司 | 一种虚拟化资源管理平台的部署方法和装置 |
| CN106850621A (zh) * | 2017-02-07 | 2017-06-13 | 南京云创大数据科技股份有限公司 | 一种基于容器云技术快速搭建Hadoop集群的方法 |
| CN107329820A (zh) * | 2016-04-28 | 2017-11-07 | 杭州海康威视数字技术股份有限公司 | 一种用于集群系统的任务处理方法及装置 |
| CN107547654A (zh) * | 2017-09-12 | 2018-01-05 | 郑州云海信息技术有限公司 | 一种分布式对象存储集群、部署、服务方法及系统 |
| CN107819605A (zh) * | 2016-09-14 | 2018-03-20 | 北京百度网讯科技有限公司 | 用于在服务器集群中切换服务器的方法和装置 |
| CN107948253A (zh) * | 2017-11-10 | 2018-04-20 | 江苏通付盾科技有限公司 | 去中心化数据存储方法及系统、电子设备、存储介质 |
| CN108255592A (zh) * | 2017-12-19 | 2018-07-06 | 武汉市烽视威科技有限公司 | 一种Quartz集群定时任务处理系统及方法 |
| CN108762932A (zh) * | 2018-05-31 | 2018-11-06 | 安徽四创电子股份有限公司 | 一种集群任务调度系统及处理方法 |
| CN108984635A (zh) * | 2018-06-21 | 2018-12-11 | 郑州云海信息技术有限公司 | 一种hdfs存储系统以及数据存储方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8156082B2 (en) * | 2006-10-06 | 2012-04-10 | Sybase, Inc. | System and methods for temporary data management in shared disk cluster |
| US8949828B2 (en) * | 2011-01-11 | 2015-02-03 | International Business Machines Corporation | Single point, scalable data synchronization for management of a virtual input/output server cluster |
| US9063939B2 (en) * | 2011-11-03 | 2015-06-23 | Zettaset, Inc. | Distributed storage medium management for heterogeneous storage media in high availability clusters |
| US10177994B2 (en) * | 2014-08-13 | 2019-01-08 | Microsoft Technology Licensing, Llc | Fault tolerant federation of computing clusters |
| US10764366B2 (en) * | 2017-01-03 | 2020-09-01 | Wipro Limited | System and method for storing data in data storage unit of virtual storage area network |
-
2018
- 2018-12-18 CN CN201811546587.0A patent/CN111338647B/zh active Active
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101977124A (zh) * | 2010-11-05 | 2011-02-16 | 山东中创软件工程股份有限公司 | 基于ZooKeeper技术的业务集群方法及系统 |
| CN102710554A (zh) * | 2012-06-25 | 2012-10-03 | 深圳中兴网信科技有限公司 | 分布式消息系统和分布式消息系统的服务状态检测方法 |
| CN103019626A (zh) * | 2012-12-17 | 2013-04-03 | 华为技术有限公司 | 存储系统、控制集群元数据的方法及装置 |
| CN103118130A (zh) * | 2013-02-25 | 2013-05-22 | 汉柏科技有限公司 | 一种用于分布式服务的集群管理方法和系统 |
| CN103607297A (zh) * | 2013-11-07 | 2014-02-26 | 上海爱数软件有限公司 | 一种计算机集群系统的故障处理方法 |
| CN104753994A (zh) * | 2013-12-27 | 2015-07-01 | 杭州海康威视系统技术有限公司 | 基于集群服务器系统的数据同步方法及其装置 |
| CN103905537A (zh) * | 2014-03-20 | 2014-07-02 | 冶金自动化研究设计院 | 分布式环境下管理工业实时数据存储的系统 |
| CN105706065A (zh) * | 2014-06-04 | 2016-06-22 | 纯存储公司 | 存储群集 |
| CN104063486A (zh) * | 2014-07-03 | 2014-09-24 | 四川中亚联邦科技有限公司 | 一种大数据分布式存储方法和系统 |
| CN104933132A (zh) * | 2015-06-12 | 2015-09-23 | 广州巨杉软件开发有限公司 | 基于操作序列号的分布式数据库有权重选举方法 |
| CN106453120A (zh) * | 2015-08-05 | 2017-02-22 | 北京网御星云信息技术有限公司 | 一种动态集群方法和系统 |
| CN105471995A (zh) * | 2015-12-14 | 2016-04-06 | 山东省农业机械科学研究院 | 基于SOA的大规模Web服务机群高可用实现方法 |
| CN105554106A (zh) * | 2015-12-15 | 2016-05-04 | 上海仪电(集团)有限公司 | 一种memcache分布式缓存系统 |
| CN105933391A (zh) * | 2016-04-11 | 2016-09-07 | 青岛海信传媒网络技术有限公司 | 一种节点扩容方法、装置及系统 |
| CN107329820A (zh) * | 2016-04-28 | 2017-11-07 | 杭州海康威视数字技术股份有限公司 | 一种用于集群系统的任务处理方法及装置 |
| CN107819605A (zh) * | 2016-09-14 | 2018-03-20 | 北京百度网讯科技有限公司 | 用于在服务器集群中切换服务器的方法和装置 |
| CN106603281A (zh) * | 2016-12-07 | 2017-04-26 | 乐视控股（北京）有限公司 | 配置文件管理方法及系统 |
| CN106850260A (zh) * | 2016-12-23 | 2017-06-13 | 曙光云计算技术有限公司 | 一种虚拟化资源管理平台的部署方法和装置 |
| CN106850621A (zh) * | 2017-02-07 | 2017-06-13 | 南京云创大数据科技股份有限公司 | 一种基于容器云技术快速搭建Hadoop集群的方法 |
| CN107547654A (zh) * | 2017-09-12 | 2018-01-05 | 郑州云海信息技术有限公司 | 一种分布式对象存储集群、部署、服务方法及系统 |
| CN107948253A (zh) * | 2017-11-10 | 2018-04-20 | 江苏通付盾科技有限公司 | 去中心化数据存储方法及系统、电子设备、存储介质 |
| CN108255592A (zh) * | 2017-12-19 | 2018-07-06 | 武汉市烽视威科技有限公司 | 一种Quartz集群定时任务处理系统及方法 |
| CN108762932A (zh) * | 2018-05-31 | 2018-11-06 | 安徽四创电子股份有限公司 | 一种集群任务调度系统及处理方法 |
| CN108984635A (zh) * | 2018-06-21 | 2018-12-11 | 郑州云海信息技术有限公司 | 一种hdfs存储系统以及数据存储方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111338647A (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111290834B (zh) | 一种基于云管理平台实现业务高可用的方法、装置及设备 | |
| US9960964B2 (en) | System, method and apparatus to manage services in a network | |
| US20070244999A1 (en) | Method, apparatus, and computer product for updating software | |
| CN108628716B (zh) | 信息纳管系统、方法及装置 | |
| JP6548540B2 (ja) | 管理システムおよび管理システムの制御方法 | |
| JP2011257847A (ja) | 通信システムおよび通信システム更新方法 | |
| CN106790092B (zh) | 远程过程调用服务端控制系统及方法 | |
| CN107210924B (zh) | 用于配置通信系统的方法和设备 | |
| CN105939389A (zh) | 负载均衡方法及装置 | |
| CN113742031A (zh) | 节点状态信息获取方法、装置、电子设备及可读存储介质 | |
| CN113382077B (zh) | 微服务调度方法、装置、计算机设备和存储介质 | |
| CN109697078B (zh) | 非高可用性组件的修复方法、大数据集群和容器服务平台 | |
| CN111078238A (zh) | 容器环境下应用配置集中处理方法及装置 | |
| CN114900449B (zh) | 一种资源信息管理方法、系统及装置 | |
| US7552215B2 (en) | Method, system, and computer program product for supporting a large number of intermittently used application clusters | |
| CN114338670B (zh) | 一种边缘云平台和具有其的网联交通三级云控平台 | |
| CN111338647B (zh) | 一种大数据集群管理方法和装置 | |
| JP2016177324A (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
| CN115225645B (zh) | 一种服务更新方法、装置、系统和存储介质 | |
| US9973569B2 (en) | System, method and computing apparatus to manage process in cloud infrastructure | |
| CN114615320A (zh) | 服务治理方法、装置、电子设备及计算机可读存储介质 | |
| JP4229288B2 (ja) | 分配情報生成システム、及び、分配情報生成方法 | |
| CN113760843A (zh) | 一种站点部署方法及终端 | |
| CN114443059A (zh) | Kubernetes集群的部署方法、装置及设备 | |
| CN113783712A (zh) | 默认网关管理方法、网关管理器、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |