CN104935618A - 一种集群部署方法 - Google Patents

一种集群部署方法 Download PDF

Info

Publication number
CN104935618A
CN104935618A CN201410103457.5A CN201410103457A CN104935618A CN 104935618 A CN104935618 A CN 104935618A CN 201410103457 A CN201410103457 A CN 201410103457A CN 104935618 A CN104935618 A CN 104935618A
Authority
CN
China
Prior art keywords
subtask
data
division
node
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410103457.5A
Other languages
English (en)
Other versions
CN104935618B (zh
Inventor
刘志海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FOXIT SOFTWARE INCORPORATED
Original Assignee
BEIJING BRANCH OF FUJIAN FOXIT SOFTWARE DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING BRANCH OF FUJIAN FOXIT SOFTWARE DEVELOPMENT Co Ltd filed Critical BEIJING BRANCH OF FUJIAN FOXIT SOFTWARE DEVELOPMENT Co Ltd
Priority to CN201410103457.5A priority Critical patent/CN104935618B/zh
Priority to PCT/CN2015/000159 priority patent/WO2015139510A1/zh
Publication of CN104935618A publication Critical patent/CN104935618A/zh
Application granted granted Critical
Publication of CN104935618B publication Critical patent/CN104935618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种集群部署的方法，包括以下步骤：主节点将子任务分别与子节点通过临时任务ID相关联，同时所述主节点在其状态数据源构建各子任务的状态数据节点，所述子任务的状态数据由与其关联的所述子节点反馈至所述主节点，所述主节点检测所述各子任务之间的依赖关系，其中，没有依赖关系的所述子任务允许同时执行；当被依赖的子任务执行完毕，需要执行依赖于该被依赖的子任务执行的子任务时，该被依赖的子任务相关联的所述子节点将其数据部分和环境部分进行分离，并将所述环境部分进行镜像打包，及配置文件参数化；所述主节点所述环境部分及数据部分还原至依赖于该被依赖的子任务执行的子任务相关联的节点。

Description

一种集群部署方法
技术领域
本发明涉及计算机集群领域，具体而言，涉及一种集群部署的方法。
背景技术
目前，在服务器运维时，针对于集群部署，数据迁移都是分步骤进行，没有一个统一的解决方案，较难实现自动化。现有的方案通过Puppet（puppet是一种Linux、Unix、windows平台的集中配置管理系统，使用自有的puppet描述语言，可管理配置文件、用户、cron任务、软件包及系统服务等），Mcollective（集中控制Puppet系统的运行，也是用来管理Puppet系统的），ActiveMQ（能力强劲的开源消息总线，多种语言和协议编写客户端）来解决自动化部署问题，但不能进行多服务器同时部署时，进行同步任务控制，如：集群迁移时，分为环境部署与数据迁移两步，其过程过多需要人工参与，通过这个方案数据迁移的时机无法确定，数据迁移需要依赖于所有服务器环境部署完整才能执行，此方案无法提供机器之间自动的状态检查，只能适用于较为单一的场景，无法对现有系统进行解析，进行镜像克隆。
本发明旨在提供一种方法，可以很好的进行集群环境下，简单的进行数据中心迁移，减少人工参与，降低出错率。
发明内容
本发明提供一种集群部署的方法，用以在集群管理中，简单的进行数据中心迁移，减少人工参与，降低出错率。
为达到上述目的，本发明提供了一种集群部署的方法，包括以下步骤：
主节点将子任务分别与子节点通过临时任务ID相关联，同时所述主节点在其状态数据源构建各子任务的状态数据节点，所述子任务的状态数据由与其关联的所述子节点反馈至所述主节点且由所述主节点更新相应所述子任务的状态数据节点下的所述子任务的状态数据，所述主节点检测所述各子任务之间的依赖关系，其中，没有依赖关系的所述子任务允许同时执行；
当被依赖的子任务执行完毕，需要执行依赖于该被依赖的子任务执行的子任务时：
该被依赖的子任务相关联的所述子节点将其数据部分和环境部分进行分离，同时，将所述环境部分进行镜像打包，并将环境配置文件参数化；所述主节点通过集群镜像部署模板，调用虚拟化系统接口，将镜像打包的所述环境数据迁移至依赖于该被依赖的子任务执行的子任务相关联的所述子节点，并在依赖于该被依赖的子任务执行的子任务相关联的所述子节点上根据参数化的环境配置文件，还原所述环境部分并进行更新；所述主节点提取所述数据部分的内容，并将数据配置文件参数化；所述主节点通过集群数据迁移模板，将所述数据部分迁移至依赖于该被依赖的子任务执行的子任务相关联的所述子节点，并在依赖于该被依赖的子任务执行的子任务相关联的所述子节点上根据参数化的数据配置文件，还原所述数据部分。
其中，所述数据部分的数据，是所述环境部分具有的数据备份功能包含的数据备份模板或者用户指定的数据备份方案备份的数据。
其中，在所述环境部分的镜像打包过程中，接受用户对环境部分需要打包内容的目录选择。
其中，提取所述数据部分的内容，为全量提取或增量提取。
其中，还原所述数据部分通过数据还原脚本或者数据还原模板.
其中，提取所述数据部分的内容时，使用的数据备份模板为Mysql、NFS、Mongodb或TFS。
其中，还原所述数据部分的内容时，使用的数据还原份模板为Mysql、NFS、Mongodb或TFS。
与现有技术相比，本发明的有益效果表现在：
本发明提供的集群部署的方法，任务编排、节点状态和脚本控制，实现了集群部署的高度自动化，通过机器来自动检测任务状态，自动运行下一个任务，减少人工操作；通过检测各子任务的依赖关系，实现多任务的无交叉调度，保证任务准确性；通过环境部分的镜像打包和环境配置参数的参数化，实现快速系统迁移；通过脚本控制，实现数据的快速自动迁移。
附图说明
图1为本发明一实施例的集群部署的方法流程图。
具体实施方式
请参阅图1。图1为本发明一个实施例的集群部署的方法流程图。如图1所示，本发明的集群部署的方法，包括以下步骤：
S110，主节点将子任务分别与子节点通过临时任务ID相关联，同时所述主节点在其状态数据源构建所述主节点的状态数据节点以及各子任务的状态数据节点，其中，所述主节点的任务状态数据存放于所述主节点的状态数据节点下，所述子任务的状态数据由与其关联的所述子节点反馈至所述主节点且由所述主节点更新相应所述子任务的状态数据节点下的所述子任务的状态数据，所述主节点检测所述各子任务之间的依赖关系，进行子任务执行的调度。
其中，没有依赖关系的所述子任务允许同时执行。
S120，当被依赖的子任务执行完毕，需要执行依赖于该被依赖的子任务执行的子任务时，执行以下步骤：
S130，该被依赖的子任务相关联的所述子节点将其数据部分和环境部分进行分离；
S140，进行环境迁移，环境迁移包括操作系统的迁移和安装在该操作系统的应用程序的共同迁移。由于当前环境是虚拟化环境，因此可以进行当前环境的逆向镜像化。具体实施时，用户可以对迁移的应用程序进行目录选择。将操作系统和用户选择迁移的应用程序进行镜像打包，并将环境配置文件参数化，实施时，如将环境配置文件编写成脚本以控制操作系统的安装时间、安装过程及应用程序的安装时间、安装顺序、安装属性。迁移时，所述主节点通过集群镜像部署模板，调用虚拟化系统接口，将镜像打包的所述环境数据迁移至依赖于该被依赖的子任务执行的子任务相关联的所述子节点，并在依赖于该被依赖的子任务执行的子任务相关联的所述子节点上还原所述环境部分。具体实施时，对还原的环境参数根据参数化的环境配置文件进行更新。
进行数据迁移，实施时，该数据可以是所述应用程序的数据或者被依赖的子任务执行时产生的数据或其他数据。具体实施时，所述应用程序产生的数据可以有自己的存储模板，或者指定的存储位置，也有可能存储于远程服务器，迁移时用户可以指定数据备份方案，以便所述主节点确定是否需要远程下载该数据。实施时，该数据也可以使用本方案提供的数据备份模板，如Mysql、NFS、Mongodb或TFS等。所述主节点提取所述数据部分的内容，并将数据配置文件参数化，具体实施时，如编写脚本以控制数据的还原时间、还原顺序。具体实施时，所述主节点提取所述数据部分的内容，可以为全量提取或者增量提取，全量提取，即一次提取，增量提取，即在前一次提取的基础上，提取当前时间与上次提取时间内产生的增量数据。所述主节点通过集群数据迁移模板，将所述数据部分迁移至依赖于该被依赖的子任务执行的子任务相关联的所述子节点，并在依赖于该被依赖的子任务执行的子任务相关联的所述子节点上根据参数化的数据配置文件，还原所述数据部分。具体实施时，还原数据根据用户编写的脚本进行，或者使用本方案提供的数据还原模板，如Mysql、NFS、Mongodb或TFS等进行。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (7)

1.一种集群部署的方法，其特征在于，包括以下步骤： 
主节点将子任务分别与子节点通过临时任务ID相关联，同时所述主节点在其状态数据源构建各子任务的状态数据节点，所述子任务的状态数据由与其关联的所述子节点反馈至所述主节点且由所述主节点更新相应所述子任务的状态数据节点下的所述子任务的状态数据，所述主节点检测所述各子任务之间的依赖关系，其中，没有依赖关系的所述子任务允许同时执行； 
当被依赖的子任务执行完毕，需要执行依赖于该被依赖的子任务执行的子任务时： 
该被依赖的子任务相关联的所述子节点将其数据部分和环境部分进行分离，同时，将所述环境部分进行镜像打包，并将环境配置文件参数化；所述主节点通过集群镜像部署模板，调用虚拟化系统接口，将镜像打包的所述环境数据迁移至依赖于该被依赖的子任务执行的子任务相关联的所述子节点，并在依赖于该被依赖的子任务执行的子任务相关联的所述子节点上根据参数化的环境配置文件，还原所述环境部分并进行更新；所述主节点提取所述数据部分的内容，并将数据配置文件参数化；所述主节点通过集群数据迁移模板，将所述数据部分迁移至依赖于该被依赖的子任务执行的子任务相关联的所述子节点，并在依赖于该被依赖的子任务执行的子任务相关联的所述子节点上根据参数化的数据配置文件，还原所述数据部分。 
2.根据权利要求1所述的集群部署的方法，其特征在于，所述数据部分的数据，是所述环境部分具有的数据备份功能包含的数据备份模板或者用户指定的数据备份方案备份的数据。 
3.根据权利要求1所述的集群部署的方法，其特征在于，在所述环境部分的镜像打包过程中，接受用户对环境部分需要打包内容的目录选择。 
4.根据权利要求1所述的集群部署的方法，其特征在于，提取所述数据部分的内容，为全量提取或增量提取。 
5.根据权利要求1所述的集群部署的方法，其特征在于，还原所述数据部分通过数据还原脚本或者数据还原模板。 
6.根据权利要求2所述的集群部署的方法，其特征在于，提取所述数据部分的内容时，使用的数据备份模板为Mysql、NFS、Mongodb或TFS。 
7.根据权利要求5所述的集群部署的方法，其特征在于，还原所述数据部分的内容时，使用的数据还原份模板为Mysql、NFS、Mongodb或TFS。 
CN201410103457.5A 2014-03-19 2014-03-19 一种集群部署方法 Active CN104935618B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410103457.5A CN104935618B (zh) 2014-03-19 2014-03-19 一种集群部署方法
PCT/CN2015/000159 WO2015139510A1 (zh) 2014-03-19 2015-03-09 一种集群部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410103457.5A CN104935618B (zh) 2014-03-19 2014-03-19 一种集群部署方法

Publications (2)

Publication Number Publication Date
CN104935618A true CN104935618A (zh) 2015-09-23
CN104935618B CN104935618B (zh) 2018-01-19

Family

ID=54122590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410103457.5A Active CN104935618B (zh) 2014-03-19 2014-03-19 一种集群部署方法

Country Status (2)

Country Link
CN (1) CN104935618B (zh)
WO (1) WO2015139510A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373450A (zh) * 2015-11-30 2016-03-02 国网北京市电力公司 数据备份的方法及装置
CN106603592A (zh) * 2015-10-15 2017-04-26 中国电信股份有限公司 一种用于基于服务模型的应用集群迁移的方法和迁移装置
CN108664496A (zh) * 2017-03-29 2018-10-16 腾讯科技（深圳）有限公司 数据迁移方法及装置
CN109144791A (zh) * 2018-09-30 2019-01-04 北京金山云网络技术有限公司 数据转存方法、装置和数据管理服务器
CN112003744A (zh) * 2020-08-14 2020-11-27 苏州浪潮智能科技有限公司 一种云平台服务集群的备份恢复方法及系统
CN114924772A (zh) * 2022-07-15 2022-08-19 浙江大华技术股份有限公司 一种算法包的更新方法及设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095497A (zh) * 2016-06-07 2016-11-09 中国建设银行股份有限公司 一种可执行文件的参数化配置方法及其执行系统
CN111538625B (zh) * 2020-04-29 2023-03-28 西安交通大学 基于Docker技术的Ambari集群部署、数据备份方法及电子设备
CN112055087B (zh) * 2020-09-10 2023-04-07 厦门市美亚柏科信息股份有限公司 一种Mongodb集群快速部署、迁移和维护的方法及系统
CN115242812B (zh) * 2022-07-25 2024-10-15 济南浪潮数据技术有限公司 一种节点数据同步方法、装置及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007061444A1 (en) * 2005-11-22 2007-05-31 Invista Technologies S.A.R.L. Spandex from poly (tetramethylene-co-ethyleneether) glycols having low ethyleneether content
CN102629906A (zh) * 2012-03-30 2012-08-08 浪潮电子信息产业股份有限公司 一种将集群管理节点做双机实现提高集群业务可用性的设计办法
CN103577122A (zh) * 2013-11-06 2014-02-12 杭州华为数字技术有限公司 分布式应用系统在平台间迁移的实现方法及装置
CN103605561A (zh) * 2013-11-28 2014-02-26 中标软件有限公司 一种云计算集群系统及其在线迁移物理服务器的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007061440A2 (en) * 2005-11-15 2007-05-31 Bea Systems, Inc. System and method for providing singleton services in a cluster

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007061444A1 (en) * 2005-11-22 2007-05-31 Invista Technologies S.A.R.L. Spandex from poly (tetramethylene-co-ethyleneether) glycols having low ethyleneether content
CN102629906A (zh) * 2012-03-30 2012-08-08 浪潮电子信息产业股份有限公司 一种将集群管理节点做双机实现提高集群业务可用性的设计办法
CN103577122A (zh) * 2013-11-06 2014-02-12 杭州华为数字技术有限公司 分布式应用系统在平台间迁移的实现方法及装置
CN103605561A (zh) * 2013-11-28 2014-02-26 中标软件有限公司 一种云计算集群系统及其在线迁移物理服务器的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603592A (zh) * 2015-10-15 2017-04-26 中国电信股份有限公司 一种用于基于服务模型的应用集群迁移的方法和迁移装置
CN106603592B (zh) * 2015-10-15 2019-10-01 中国电信股份有限公司 一种用于基于服务模型的应用集群迁移的方法和迁移装置
CN105373450A (zh) * 2015-11-30 2016-03-02 国网北京市电力公司 数据备份的方法及装置
CN108664496A (zh) * 2017-03-29 2018-10-16 腾讯科技（深圳）有限公司 数据迁移方法及装置
CN109144791A (zh) * 2018-09-30 2019-01-04 北京金山云网络技术有限公司 数据转存方法、装置和数据管理服务器
CN112003744A (zh) * 2020-08-14 2020-11-27 苏州浪潮智能科技有限公司 一种云平台服务集群的备份恢复方法及系统
CN114924772A (zh) * 2022-07-15 2022-08-19 浙江大华技术股份有限公司 一种算法包的更新方法及设备

Also Published As

Publication number Publication date
CN104935618B (zh) 2018-01-19
WO2015139510A1 (zh) 2015-09-24

Similar Documents

Publication Publication Date Title
CN104935618A (zh) 一种集群部署方法
US10474438B2 (en) Intelligent cloud engineering platform
WO2018036342A1 (zh) 基于csar的模型文件的可视化设计方法及装置
CN107733985B (zh) 一种云计算系统功能组件部署方法及装置
US20060265469A1 (en) XML based scripting framework, and methods of providing automated interactions with remote systems
CN112269640B (zh) 一种实现容器云组件的生命周期管理的方法
CN107632937B (zh) 一种对虚拟机集群进行测试的方法、装置、可读存储介质
CN105677736A (zh) 一种增加、删除服务器节点的方法及装置
CN105446806A (zh) 一种应用程序无响应的处理方法及装置
CN104133717A (zh) 一种用于数据开放系统的服务自动化生成和部署方法
WO2017020459A1 (zh) 一种为宿主配置插件包的方法与装置
CN111752581A (zh) 一种分布式系统的升级方法、装置和计算机系统
WO2016121869A1 (ja) 仮想化管理・オーケストレーション装置、仮想化管理・オーケストレーション方法、および、プログラム
CN109800226A (zh) 一种数据治理中的任务管理方法及装置
CN110737437A (zh) 一种基于代码集成的编译方法和装置
CN102779191A (zh) 一种MySQL数据库平滑升级的实现系统及实现方法
CN111158743B (zh) 大数据运维管理平台
US20210271458A1 (en) Managing an app method and system
CN109725916B (zh) 流处理的拓扑结构更新系统和方法
CN113448650A (zh) 直播功能插件加载方法、装置、设备及存储介质
CN106815010B (zh) 一种操作数据库的方法及装置
CN104462344B (zh) 在目标服务器构建etl系统的处理方法及装置
CN110019059B (zh) 一种定时同步的方法和装置
CN112231231B (zh) 云端服务的调试方法、系统及装置
CN104331425A (zh) 一种电网监控系统实时数据库的数据同步方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171225

Address after: 350003 Gulou District, Fuzhou, Fuzhou Software Park, No. 89, software park, building G, No. 5

Applicant after: FOXIT SOFTWARE INCORPORATED

Address before: 100098 Beijing, Zhichun Road, No., China Sea industrial building, layer 56, 9

Applicant before: Beijing Branch of Fujian Foxit Software Development Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant