CN104935618B - 一种集群部署方法 - Google Patents

一种集群部署方法 Download PDF

Info

Publication number
CN104935618B
CN104935618B CN201410103457.5A CN201410103457A CN104935618B CN 104935618 B CN104935618 B CN 104935618B CN 201410103457 A CN201410103457 A CN 201410103457A CN 104935618 B CN104935618 B CN 104935618B
Authority
CN
China
Prior art keywords
subtask
data
division
node
relied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410103457.5A
Other languages
English (en)
Other versions
CN104935618A (zh
Inventor
刘志海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FOXIT SOFTWARE INCORPORATED
Original Assignee
Foxit Software Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foxit Software Inc filed Critical Foxit Software Inc
Priority to CN201410103457.5A priority Critical patent/CN104935618B/zh
Priority to PCT/CN2015/000159 priority patent/WO2015139510A1/zh
Publication of CN104935618A publication Critical patent/CN104935618A/zh
Application granted granted Critical
Publication of CN104935618B publication Critical patent/CN104935618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种集群部署的方法，包括以下步骤：主节点将子任务分别与子节点通过临时任务ID相关联，同时所述主节点在其状态数据源构建各子任务的状态数据节点，所述子任务的状态数据由与其关联的所述子节点反馈至所述主节点，所述主节点检测所述各子任务之间的依赖关系，其中，没有依赖关系的所述子任务允许同时执行；当被依赖的子任务执行完毕，需要执行依赖于该被依赖的子任务执行的子任务时，该被依赖的子任务相关联的所述子节点将其数据部分和环境部分进行分离，并将所述环境部分进行镜像打包，及配置文件参数化；所述主节点所述环境部分及数据部分还原至依赖于该被依赖的子任务执行的子任务相关联的节点。

Description

一种集群部署方法
技术领域
本发明涉及计算机集群领域，具体而言，涉及一种集群部署的方法。
背景技术
目前，在服务器运维时，针对于集群部署，数据迁移都是分步骤进行，没有一个统一的解决方案，较难实现自动化。现有的方案通过Puppet（puppet是一种Linux、Unix、windows平台的集中配置管理系统，使用自有的puppet描述语言，可管理配置文件、用户、cron任务、软件包及系统服务等），Mcollective（集中控制Puppet系统的运行，也是用来管理Puppet系统的），ActiveMQ（能力强劲的开源消息总线，多种语言和协议编写客户端）来解决自动化部署问题，但不能进行多服务器同时部署时，进行同步任务控制，如：集群迁移时，分为环境部署与数据迁移两步，其过程过多需要人工参与，通过这个方案数据迁移的时机无法确定，数据迁移需要依赖于所有服务器环境部署完整才能执行，此方案无法提供机器之间自动的状态检查，只能适用于较为单一的场景，无法对现有系统进行解析，进行镜像克隆。
本发明旨在提供一种方法，可以很好的进行集群环境下，简单的进行数据中心迁移，减少人工参与，降低出错率。
发明内容
本发明提供一种集群部署的方法，用以在集群管理中，简单的进行数据中心迁移，减少人工参与，降低出错率。
为达到上述目的，本发明提供了一种集群部署的方法，包括以下步骤：
主节点将子任务分别与子节点通过临时任务ID相关联，同时所述主节点在其状态数据源构建各子任务的状态数据节点，所述子任务的状态数据由与其关联的所述子节点反馈至所述主节点且由所述主节点更新相应所述子任务的状态数据节点下的所述子任务的状态数据，所述主节点检测所述各子任务之间的依赖关系，其中，没有依赖关系的所述子任务允许同时执行；
当被依赖的子任务执行完毕，需要执行依赖于该被依赖的子任务执行的子任务时：
该被依赖的子任务相关联的所述子节点将其数据部分和环境部分进行分离，同时，将所述环境部分进行镜像打包，并将环境配置文件参数化；所述主节点通过集群镜像部署模板，调用虚拟化系统接口，将镜像打包的所述环境数据迁移至依赖于该被依赖的子任务执行的子任务相关联的所述子节点，并在依赖于该被依赖的子任务执行的子任务相关联的所述子节点上根据参数化的环境配置文件，还原所述环境部分并进行更新；所述主节点提取所述数据部分的内容，并将数据配置文件参数化；所述主节点通过集群数据迁移模板，将所述数据部分迁移至依赖于该被依赖的子任务执行的子任务相关联的所述子节点，并在依赖于该被依赖的子任务执行的子任务相关联的所述子节点上根据参数化的数据配置文件，还原所述数据部分。
其中，所述数据部分的数据，是所述环境部分具有的数据备份功能包含的数据备份模板或者用户指定的数据备份方案备份的数据。
其中，在所述环境部分的镜像打包过程中，接受用户对环境部分需要打包内容的目录选择。
其中，提取所述数据部分的内容，为全量提取或增量提取。
其中，还原所述数据部分通过数据还原脚本或者数据还原模板.
其中，提取所述数据部分的内容时，使用的数据备份模板为Mysql、NFS、Mongodb或TFS。
其中，还原所述数据部分的内容时，使用的数据还原份模板为Mysql、NFS、Mongodb或TFS。
与现有技术相比，本发明的有益效果表现在：
本发明提供的集群部署的方法，任务编排、节点状态和脚本控制，实现了集群部署的高度自动化，通过机器来自动检测任务状态，自动运行下一个任务，减少人工操作；通过检测各子任务的依赖关系，实现多任务的无交叉调度，保证任务准确性；通过环境部分的镜像打包和环境配置参数的参数化，实现快速系统迁移；通过脚本控制，实现数据的快速自动迁移。
附图说明
图1为本发明一实施例的集群部署的方法流程图。
具体实施方式
请参阅图1。图1为本发明一个实施例的集群部署的方法流程图。如图1所示，本发明的集群部署的方法，包括以下步骤：
S110，主节点将子任务分别与子节点通过临时任务ID相关联，同时所述主节点在其状态数据源构建所述主节点的状态数据节点以及各子任务的状态数据节点，其中，所述主节点的任务状态数据存放于所述主节点的状态数据节点下，所述子任务的状态数据由与其关联的所述子节点反馈至所述主节点且由所述主节点更新相应所述子任务的状态数据节点下的所述子任务的状态数据，所述主节点检测所述各子任务之间的依赖关系，进行子任务执行的调度。
其中，没有依赖关系的所述子任务允许同时执行。
S120，当被依赖的子任务执行完毕，需要执行依赖于该被依赖的子任务执行的子任务时，执行以下步骤：
S130，该被依赖的子任务相关联的所述子节点将其数据部分和环境部分进行分离；
S140，进行环境迁移，环境迁移包括操作系统的迁移和安装在该操作系统的应用程序的共同迁移。由于当前环境是虚拟化环境，因此可以进行当前环境的逆向镜像化。具体实施时，用户可以对迁移的应用程序进行目录选择。将操作系统和用户选择迁移的应用程序进行镜像打包，并将环境配置文件参数化，实施时，如将环境配置文件编写成脚本以控制操作系统的安装时间、安装过程及应用程序的安装时间、安装顺序、安装属性。迁移时，所述主节点通过集群镜像部署模板，调用虚拟化系统接口，将镜像打包的所述环境数据迁移至依赖于该被依赖的子任务执行的子任务相关联的所述子节点，并在依赖于该被依赖的子任务执行的子任务相关联的所述子节点上还原所述环境部分。具体实施时，对还原的环境参数根据参数化的环境配置文件进行更新。
进行数据迁移，实施时，该数据可以是所述应用程序的数据或者被依赖的子任务执行时产生的数据或其他数据。具体实施时，所述应用程序产生的数据可以有自己的存储模板，或者指定的存储位置，也有可能存储于远程服务器，迁移时用户可以指定数据备份方案，以便所述主节点确定是否需要远程下载该数据。实施时，该数据也可以使用本方案提供的数据备份模板，如Mysql、NFS、Mongodb或TFS等。所述主节点提取所述数据部分的内容，并将数据配置文件参数化，具体实施时，如编写脚本以控制数据的还原时间、还原顺序。具体实施时，所述主节点提取所述数据部分的内容，可以为全量提取或者增量提取，全量提取，即一次提取，增量提取，即在前一次提取的基础上，提取当前时间与上次提取时间内产生的增量数据。所述主节点通过集群数据迁移模板，将所述数据部分迁移至依赖于该被依赖的子任务执行的子任务相关联的所述子节点，并在依赖于该被依赖的子任务执行的子任务相关联的所述子节点上根据参数化的数据配置文件，还原所述数据部分。具体实施时，还原数据根据用户编写的脚本进行，或者使用本方案提供的数据还原模板，如Mysql、NFS、Mongodb或TFS等进行。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (7)

1.一种集群部署的方法，其特征在于，包括以下步骤：
主节点将子任务分别与子节点通过临时任务ID相关联，同时所述主节点在其状态数据源构建各子任务的状态数据节点，所述子任务的状态数据由与其关联的所述子节点反馈至所述主节点且由所述主节点更新相应所述子任务的状态数据节点下的所述子任务的状态数据，所述主节点检测所述各子任务之间的依赖关系，其中，没有依赖关系的所述子任务允许同时执行；
当被依赖的子任务执行完毕，需要执行依赖于该被依赖的子任务执行的子任务时：
该被依赖的子任务相关联的所述子节点将其数据部分和环境部分进行分离，同时，将所述环境部分进行镜像打包，并将环境配置文件参数化；所述主节点通过集群镜像部署模板，调用虚拟化系统接口，将镜像打包的环境数据迁移至依赖于该被依赖的子任务执行的子任务相关联的所述子节点，并在依赖于该被依赖的子任务执行的子任务相关联的所述子节点上根据参数化的环境配置文件，还原所述环境部分并进行更新；所述主节点提取所述数据部分的内容，并将数据配置文件参数化；所述主节点通过集群数据迁移模板，将所述数据部分迁移至依赖于该被依赖的子任务执行的子任务相关联的所述子节点，并在依赖于该被依赖的子任务执行的子任务相关联的所述子节点上根据参数化的数据配置文件，还原所述数据部分。
2.根据权利要求1所述的集群部署的方法，其特征在于，所述数据部分的数据，是所述环境部分具有的数据备份功能包含的数据备份模板或者用户指定的数据备份方案备份的数据。
3.根据权利要求1所述的集群部署的方法，其特征在于，在所述环境部分的镜像打包过程中，接受用户对环境部分需要打包内容的目录选择。
4.根据权利要求1所述的集群部署的方法，其特征在于，提取所述数据部分的内容，为全量提取或增量提取。
5.根据权利要求1所述的集群部署的方法，其特征在于，还原所述数据部分通过数据还原脚本或者数据还原模板。
6.根据权利要求2所述的集群部署的方法，其特征在于，提取所述数据部分的内容时，使用的数据备份模板为Mysql、NFS、Mongodb或TFS。
7.根据权利要求5所述的集群部署的方法，其特征在于，还原所述数据部分的内容时，使用的数据还原模板为Mysql、NFS、Mongodb或TFS。
CN201410103457.5A 2014-03-19 2014-03-19 一种集群部署方法 Active CN104935618B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410103457.5A CN104935618B (zh) 2014-03-19 2014-03-19 一种集群部署方法
PCT/CN2015/000159 WO2015139510A1 (zh) 2014-03-19 2015-03-09 一种集群部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410103457.5A CN104935618B (zh) 2014-03-19 2014-03-19 一种集群部署方法

Publications (2)

Publication Number Publication Date
CN104935618A CN104935618A (zh) 2015-09-23
CN104935618B true CN104935618B (zh) 2018-01-19

Family

ID=54122590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410103457.5A Active CN104935618B (zh) 2014-03-19 2014-03-19 一种集群部署方法

Country Status (2)

Country Link
CN (1) CN104935618B (zh)
WO (1) WO2015139510A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106603592B (zh) * 2015-10-15 2019-10-01 中国电信股份有限公司 一种用于基于服务模型的应用集群迁移的方法和迁移装置
CN105373450A (zh) * 2015-11-30 2016-03-02 国网北京市电力公司 数据备份的方法及装置
CN106095497A (zh) * 2016-06-07 2016-11-09 中国建设银行股份有限公司 一种可执行文件的参数化配置方法及其执行系统
CN108664496B (zh) * 2017-03-29 2022-03-25 腾讯科技（深圳）有限公司 数据迁移方法及装置
CN109144791B (zh) * 2018-09-30 2020-12-22 北京金山云网络技术有限公司 数据转存方法、装置和数据管理服务器
CN111538625B (zh) * 2020-04-29 2023-03-28 西安交通大学 基于Docker技术的Ambari集群部署、数据备份方法及电子设备
CN112003744B (zh) * 2020-08-14 2023-01-10 苏州浪潮智能科技有限公司 一种云平台服务集群的备份恢复方法及系统
CN112055087B (zh) * 2020-09-10 2023-04-07 厦门市美亚柏科信息股份有限公司 一种Mongodb集群快速部署、迁移和维护的方法及系统
CN114924772B (zh) * 2022-07-15 2022-10-25 浙江大华技术股份有限公司 一种算法包的更新方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007061444A1 (en) * 2005-11-22 2007-05-31 Invista Technologies S.A.R.L. Spandex from poly (tetramethylene-co-ethyleneether) glycols having low ethyleneether content
CN102629906A (zh) * 2012-03-30 2012-08-08 浪潮电子信息产业股份有限公司 一种将集群管理节点做双机实现提高集群业务可用性的设计办法
CN103577122A (zh) * 2013-11-06 2014-02-12 杭州华为数字技术有限公司 分布式应用系统在平台间迁移的实现方法及装置
CN103605561A (zh) * 2013-11-28 2014-02-26 中标软件有限公司 一种云计算集群系统及其在线迁移物理服务器的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007061440A2 (en) * 2005-11-15 2007-05-31 Bea Systems, Inc. System and method for providing singleton services in a cluster

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007061444A1 (en) * 2005-11-22 2007-05-31 Invista Technologies S.A.R.L. Spandex from poly (tetramethylene-co-ethyleneether) glycols having low ethyleneether content
CN102629906A (zh) * 2012-03-30 2012-08-08 浪潮电子信息产业股份有限公司 一种将集群管理节点做双机实现提高集群业务可用性的设计办法
CN103577122A (zh) * 2013-11-06 2014-02-12 杭州华为数字技术有限公司 分布式应用系统在平台间迁移的实现方法及装置
CN103605561A (zh) * 2013-11-28 2014-02-26 中标软件有限公司 一种云计算集群系统及其在线迁移物理服务器的方法

Also Published As

Publication number Publication date
CN104935618A (zh) 2015-09-23
WO2015139510A1 (zh) 2015-09-24

Similar Documents

Publication Publication Date Title
CN104935618B (zh) 一种集群部署方法
US10474438B2 (en) Intelligent cloud engineering platform
US9875133B2 (en) Virtual machine disk image installation
US9503522B2 (en) Parallel migration of data objects to clustered storage
US9661071B2 (en) Apparatus, systems and methods for deployment and management of distributed computing systems and applications
CN107733985B (zh) 一种云计算系统功能组件部署方法及装置
CN107463418B (zh) 一种服务器中间件的配置文件生成方法及装置
US11086662B2 (en) Method and system of migrating applications to a cloud-computing environment
CN111641515B (zh) Vnf的生命周期管理方法及装置
WO2018036342A1 (zh) 基于csar的模型文件的可视化设计方法及装置
CN104615598B (zh) 元数据服务器的迁移处理方法及装置
WO2017041649A1 (zh) 一种应用部署方法及设备
US9892122B2 (en) Method and apparatus for determining a range of files to be migrated
WO2019000629A1 (zh) 多数据源数据同步方法、系统、应用服务器及计算机可读存储介质
WO2017020459A1 (zh) 一种为宿主配置插件包的方法与装置
CN103077034B (zh) 混合虚拟化平台java应用迁移方法与系统
WO2016121869A1 (ja) 仮想化管理・オーケストレーション装置、仮想化管理・オーケストレーション方法、および、プログラム
CN106294496B (zh) 一种基于hadoop集群的数据迁移方法和工具
CN106354566A (zh) 一种命令处理的方法以及服务器
US9485308B2 (en) Zero copy volume reconstruction
CN110019059B (zh) 一种定时同步的方法和装置
CN112667393B (zh) 分布式任务计算调度框架搭建的方法、装置及计算机设备
CN114564211A (zh) 集群部署方法、集群部署装置、设备及介质
KR20170080773A (ko) 경량형 PaaS 시스템 및 그 제공 방법
Pauković et al. Usage of Information Technologies in the Digitalization Process of the Modern Architectural Office

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171225

Address after: 350003 Gulou District, Fuzhou, Fuzhou Software Park, No. 89, software park, building G, No. 5

Applicant after: FOXIT SOFTWARE INCORPORATED

Address before: 100098 Beijing, Zhichun Road, No., China Sea industrial building, layer 56, 9

Applicant before: Beijing Branch of Fujian Foxit Software Development Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant