CN106959950A - 应用集群之间迁移数据的方法和装置 - Google Patents

Abstract

本发明提供一种应用集群之间迁移数据的方法和装置，通过引入一组集群迁移工具来进行数据流和状态数据的配合迁移，能够实现半自动化集群迁移，从而实现平滑，简单，高效的应用集群迁移。本发明的应用集群之间迁移数据的方法包括：断开源应用集群的输入流并缓存所述输入流；提取所述源应用集群的状态数据；加载所提取的状态数据到目标应用集群；把缓存的输入流发送到所述目标应用集群，之后把当前的输入流发送给所述目标应用集群。

Description

应用集群之间迁移数据的方法和装置

技术领域

本发明涉及计算机技术领域，特别地涉及一种应用集群之间迁移数据的方法和装置。

背景技术

随着信息技术(IT)的发展，IT服务越来越快速地渗透到社会生活的方方面面，在为提高社会生产效率和改善生活环境做出巨大贡献的同时，IT系统的复杂度和处理能力也在飞速发展，同时，应用集群的规模和数量的增长也非常迅猛。应用集群是指由一组应用和数据库服务器组成的、服务于特定应用场景的、物理上隔离的分布式系统。例如：银行业务系统。

随着应用集群的规模和数量的快速增长，集群扩容、容灾、分裂、迁移等的需求也越来越频繁。但由于集群本身构造和功能的复杂性，在每次进行集群迁移时，运维需要实施的工作量都非常大。如何简化集群迁移的过程，降低集群迁移的成本，是目前大中型IT企业面临的重大课题。

目前常用的集群迁移方法主要有两种：共享数据型迁移和人工迁移。

共享数据型迁移方法的特点是只迁移应用，数据库保持不变。如图1所示，为共享数据型集群的迁移过程示意图。该集群迁移方法实施的前提条件是应用系统是无状态或者应用系统的状态可丢弃(比如缓存)。

该方法的优点是，较之数据库迁移，应用系统迁移比较容易，只需要在目标应用系统中复制源应用系统的配置(包括网络以及数据库等的访问地址等)即可平滑过去到目标集群，而且支持不间断服务。

相应地，该方法也具有一些缺点，主要表现在：适用面比较窄，仅适用于计算密集型应用，比如科学计算；对于输入输出(I/O)密集型应用等需要频繁访问数据库的应用不太适合。而且由于目前应用设计的方法多采用模型驱动，故数据库在应用集群中作用非常大，仅仅迁移应用系统难以达到可扩展的要求。

人工迁移的方法是在共享数据型迁移方法的基础之上，增加了人工迁移数据库的环节。数据库管理员DBA(Database Administrator)或数据库运维人员按照迁移要求，首先把数据库复制到目标集群，然后清理源集群的数据，重新调整目标应用系统的配置(比如：网络或者数据库的访问地址等)。

人工迁移方法的优点是迁移比较彻底，能够满足可扩展性的要求。相应地，该方法的缺点是操作复杂，工程量比较大，而且切换过程中在进行数据库迁移时需要终止服务，无法提供连续服务，故会导致丢失部分数据。

综上，目前常用的两种集群迁移方法都具有一定的局限性，主要表现在：

1、共享数据型迁移：迁移不彻底，适用范围窄；

2、人工迁移：迁移过程复杂，工程量大，成本高，需中断服务。

发明内容

有鉴于此，本发明提供一种应用集群之间迁移数据的方法和装置，通过引入一组集群迁移工具来进行数据流和状态数据的配合迁移，能够实现半自动化集群迁移，从而实现平滑，简单，高效的应用集群之间数据的迁移。

为实现上述目的，根据本发明的一个方面，提供了一种应用集群之间迁移数据的方法。

一种应用集群之间迁移数据的方法，所述应用集群具有数据输入流，所述方法包括：断开源应用集群的输入流并缓存所述输入流；提取所述源应用集群的状态数据；加载所提取的状态数据到目标应用集群；把缓存的输入流发送到所述目标应用集群，之后把当前的输入流发送给所述目标应用集群。

可选地，断开源应用集群的输入流的步骤之前，还包括：初始化所述目标应用集群。

可选地，所述提取所述源应用集群的状态数据的步骤包括：根据所述状态数据产生数据快照，并且所述加载所提取的状态数据到目标应用集群的步骤包括把数据快照恢复成状态数据，然后把所述状态数据加载到所述目标应用集群。

可选地，把当前的输入流发送给所述目标应用集群的步骤之后，还包括：从所述源应用集群中删除被提取的状态数据。

可选地，所述集群迁移包括完整迁移和部分迁移。

根据本发明的另一方面，提供了一种应用集群之间迁移数据的装置。

一种应用集群之间迁移数据的装置，所述应用集群具有数据输入流，所述装置包括：输入流截取模块，用于断开源应用集群的输入流并缓存所述输入流；状态数据提取模块，用于提取所述源应用集群的状态数据；状态数据加载模块，用于加载所提取的状态数据到目标应用集群；输入流转发模块，用于把缓存的输入流发送到所述目标应用集群，之后把当前的输入流发送给所述目标应用集群。

可选地，还包括：集群初始化模块，用于在断开源应用集群的输入流之前，初始化所述目标应用集群。

可选地，所述状态数据提取模块还用于根据所述状态数据产生数据快照，并且所述状态数据加载模块还用于把数据快照恢复成状态数据，然后把所述状态数据加载到所述目标应用集群。

可选地，还包括：集群清理模块，用于在把当前的输入流发送给所述目标应用集群之后，从所述源应用集群中删除被提取的状态数据。

可选地，所述集群迁移包括完整迁移和部分迁移。

根据本发明的技术方案，提出了一种应用集群的规范模型，以及对满足该规范模型的应用集群进行迁移的方法。通过对源应用集群的断开的输入流进行缓存，待数据迁移完成后再将输入流进行转发，可以保证输入数据的完整性和先后顺序；通过以数据快照的形式将源应用集群的状态数据转移到目标应用集群，可以既安全又高效地进行状态数据的迁移，迁移彻底。使用本发明的技术方案进行集群迁移可以简化集群之间数据迁移的步骤，降低集群迁移的工作量，从而提高集群迁移的效率；通过规范应用集群的结构，可以降低集群对数据库的高度依赖，从而引导应用集群向轻量化、模块化演进，进而实现了平滑、简单、高效的应用集群迁移。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是现有技术中共享数据型集群的迁移过程示意图；

图2是根据本发明实施例的应用集群之间迁移数据的方法的主要步骤示意图；

图3是根据本发明实施例的应用集群之间迁移数据的装置的主要模块示意图；

图4是根据本发明实施例的应用集群之间迁移数据的系统的框架图；

图5是根据本发明实施例的应用集群之间迁移数据的流程示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图2是根据本发明实施例的应用集群之间迁移数据的方法的主要步骤示意图。其中，源应用集群是需要迁出数据的集群，目标应用集群是要迁入数据的集群，源应用集群所承载的部分或全部负荷在迁移完成以后由目标应用集群承担。另外，本发明的应用集群具有数据输入流。如图2所示，本发明的应用集群之间迁移数据的方法主要包括如下的步骤S21至步骤S24：

步骤S21：断开源应用集群的输入流并缓存所述输入流；

步骤S22：提取源应用集群的状态数据；

步骤S23：加载所提取的状态数据到目标应用集群；

步骤S24：把缓存的输入流发送到所述目标应用集群，之后把当前的输入流发送给所述目标应用集群。

在执行步骤S21断开源应用集群的输入流之前，还可以预先初始化目标应用集群。

其中，步骤S22中提取源应用集群的状态数据包括：根据状态数据产生数据快照，并且步骤S23加载所提取的状态数据到目标应用集群包括把数据快照恢复成状态数据，然后把该状态数据加载到目标应用集群。

另外，在步骤S24把当前的输入流发送给所述目标应用集群之后，还可以从源应用集群中删除被提取的状态数据。

本发明中的集群迁移包括完整迁移和部分迁移。其中完整迁移是指将源应用集群的负荷全部转移到目标集群，部分迁移是指将源应用集群中的部分负荷转移到目标集群。例如：某网站的集群资源从北京机房转移到上海机房是完整迁移；该网站新设上海机房负责处理华东区的业务即属于部分迁移。

图3是根据本发明实施例的应用集群之间迁移数据的装置的主要模块示意图。其中，源应用集群是需要迁出数据的集群，目标应用集群是要迁入数据的集群，源应用集群所承载的部分或全部负荷在迁移完成以后由目标应用集群承担。另外，本发明的应用集群具有数据输入流。如图3所示，本发明的应用集群之间迁移数据的装置30主要包括输入流截取模块31、状态数据提取模块32、状态数据加载模块33和输入流转发模块34。

输入流截取模块31用于断开源应用集群的输入流并缓存所述输入流；状态数据提取模块32用于提取源应用集群的状态数据；状态数据加载模块33用于加载所提取的状态数据到目标应用集群；输入流转发模块34用于把缓存的输入流发送到所述目标应用集群，之后把当前的输入流发送给所述目标应用集群。

另外，本发明的应用集群之间迁移数据的装置30还可以包括集群初始化模块，用于在断开源应用集群的输入流之前，初始化目标应用集群。

其中，状态数据提取模块32还可以用于根据所述状态数据产生数据快照，并且状态数据加载模块33还可以用于把数据快照恢复成状态数据，然后把状态数据加载到目标应用集群。

本发明的应用集群之间迁移数据的装置30还可以包括集群清理模块，用于在把当前的输入流发送给所述目标应用集群之后，从源应用集群中删除被提取的状态数据。

本发明中的集群迁移包括完整迁移和部分迁移。

图4是根据本发明实施例的应用集群之间迁移数据的系统的框架图。如图4所示，本发明包含一个应用集群的规范模型和一组迁移工具。其中，该迁移工具包括流路由单元和状态数据迁移单元。

源应用集群是需要迁出数据的集群，目标应用集群是要迁入数据的集群，源应用集群所承载的部分或全部负荷在迁移完成以后由目标应用集群承担。为了满足应用集群的可迁移性，本发明的源应用集群和目标应用集群需要满足如表1所示的规范模型。

表1 应用集群规范模型

在本发明中，状态数据指的是会随输入流而发生变化的数据，也就是在应用系统运行过程中生成以及保存的数据。由于一个应用集群的状态数据的保存以数据库为主，同时还可以包括在本地持久化保存的文件和缓存的数据(例如：保存在集群服务器的磁盘上等的数据)。因此，为了保证状态数据迁移的完整性，需要应用集群具有数据提取Extract和数据加载Load的功能，可以将集群中所有的状态数据提取并保存为快照，同时还可以加载到新的集群中。

其中，表1中的数据加载Load服务，通过将状态迁移组件中暂存的数据快照加载到当前集群中，并把数据快照恢复成状态数据，即可实现将源应用集群中的状态数据加载到目标应用集群中。例如：假设集群A把某一时刻数据的状态S保存到快照中，集群B加载该快照完成后，集群B的数据的状态应该是S。

流路由单元可以用于在进行应用集群迁移时，断开源应用集群的输入流并进行缓存，以保证输入流不丢失；同时还可以用于按照设定的规则把输入流切换到不同的集群中。设定的规则例如：“把奇数的电子单据发给A集群，把偶数的单据发给B集群”，或者“把所有单据全量转发给A集群，把未完结的单据转发给B集群”，等等。

如果该集群迁移是完整迁移，即源应用集群的负荷全部迁移到目标应用集群，则流路由单元负责把全部的输入流切换到目标集群；如果该集群迁移是部分迁移，则流路由组件负责按照分流规则，把符合规则的数据输入流切换到目标集群。

状态数据迁移单元主要用于通过调用源应用集群的数据提取Extract服务，把源应用集群的当前数据状态保存为快照，然后再调用目标集群的数据加载Load服务，把状态数据迁移单元中暂存的快照加载到目标集群中并恢复成状态数据。

图5是根据本发明实施例的应用集群之间迁移数据的流程示意图。图中标示了本发明应用集群之间迁移数据的主要步骤和先后顺序。

另外，在应用集群迁移之前需要先初始化目标集群。初始化目标集群主要有3个关键环节。首先是保证集群的物理资源全部到位，包括基础网络，应用服务器和数据库服务器等；其次是初始化应用服务器中的应用系统，主要包括应用系统的部署和运行环境的配置，例如：网络和数据库的访问地址配置等；最后是初始化数据库配置，主要包括数据库程序安装、库表初始化，以及基础数据的初始化等，其中基础数据和状态数据的区别在于基础数据和输入流无关，即基础数据不会随着输入流而改变。

目标集群初始化完成后，即可实施应用集群的数据迁移。如图5所示，应用集群的数据迁移主要包括如下的步骤：

步骤S51：断开源应用集群的输入流。通过流路由单元断开或截流对源应用集群的输入流(如果是完整迁移则断开所有输入流，如果是部分迁移则断开要迁移到目标应用集群的输入流)，此后源应用集群将不再接收即将迁入目标应用集群的输入流；

步骤S52：缓存断开的输入流。为了保证输入流不丢失，需要在流路由单元中缓存输入流中的信息，在进行输入流缓存时，可以消息队列的形式将输入流保存在缓存中，也可以其他形式进行逐条记录保存；

步骤S53：提取源应用集群的状态数据，并保存为数据快照。状态数据迁移单元通过调用源应用集群的数据提取Extract服务，把源应用集群数据库、磁盘文件及缓存中保存的状态数据导出为数据快照，并暂存到状态数据迁移单元中；

步骤S54：加载数据快照，并把数据快照恢复成状态数据后保存到目标集群中。状态数据迁移单元通过调用目标应用集群的数据加载Load服务，把状态数据迁移单元中暂存的数据快照加载并恢复成状态数据后，保存到目标应用集群中；

步骤S55：将缓存的输入流恢复到目标应用集群。在开放输入流之前需要保证输入数据的先后顺序，故需要首先把缓存中的输入流恢复到目标应用集群中，再把当前的输入流转发给目标应用集群；

步骤S56：待缓存的输入流恢复完成后，把当前的输入流转发给目标应用集群。

根据如上述的步骤S51至步骤S56，即可实现在不丢失输入数据的前提下执行状态数据的迁移，从而实现应用集群之间的数据迁移。

集群迁移完成后，目标应用集群即可开始正常工作。另外，还可以对源应用集群进行收尾处理。对源应用集群的收尾处理要根据不同场景区别对待。如果此次集群迁移是完整迁移，即所有负荷已经全部迁移到目标应用集群，那么，此时源应用集群需要关闭集群运行并回收资源；如果此次集群迁移是部分迁移，则需要对源应用集群的数据库做精简操作，删除不需要继续维护的相关状态数据，即：删除已被提取的状态数据。

以上所述为本发明实施例的实施过程。

根据本发明实施例的技术方案，提出了一种应用集群的规范模型，以及对满足该规范模型的应用集群进行迁移的方法。通过对源应用集群的断开的输入流进行缓存，待数据迁移完成后再将输入流进行转发，可以保证输入数据的完整性和先后顺序；通过以数据快照的形式将源应用集群的状态数据转移到目标应用集群，可以既安全又高效地进行状态数据的迁移，迁移彻底。使用本发明的技术方案进行集群迁移可以简化集群之间数据迁移的步骤，降低集群迁移的工作量，从而提高集群迁移的效率；通过规范应用集群的结构，可以降低集群对数据库的高度依赖，从而引导应用集群向轻量化、模块化演进，进而实现了平滑、简单、高效的应用集群迁移。

另外，本发明的应用集群之间不存在强依赖，且如果应用集群有输出，则其输出不依赖于下游集群的物理模型。当下游集群的物理模型发生变化时，本发明的应用集群的输出流不受影响。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种应用集群之间迁移数据的方法，其特征在于，所述应用集群具有数据输入流，所述方法包括：

断开源应用集群的输入流并缓存所述输入流；

提取所述源应用集群的状态数据；

加载所提取的状态数据到目标应用集群；

把缓存的输入流发送到所述目标应用集群，之后把当前的输入流发送给所述目标应用集群。

2.根据权利要求1所述的方法，其特征在于，断开源应用集群的输入流的步骤之前，还包括：

初始化所述目标应用集群。

3.根据权利要求1所述的方法，其特征在于，

所述提取所述源应用集群的状态数据的步骤包括：根据所述状态数据产生数据快照，并且所述加载所提取的状态数据到目标应用集群的步骤包括把数据快照恢复成状态数据，然后把所述状态数据加载到所述目标应用集群。

4.根据权利要求1所述的方法，其特征在于，把当前的输入流发送给所述目标应用集群的步骤之后，还包括：

从所述源应用集群中删除被提取的状态数据。

5.根据权利要求1所述的方法，其特征在于，所述集群迁移包括完整迁移和部分迁移。

6.一种应用集群之间迁移数据的装置，其特征在于，所述应用集群具有数据输入流，所述装置包括：

输入流截取模块，用于断开源应用集群的输入流并缓存所述输入流；

状态数据提取模块，用于提取所述源应用集群的状态数据；

状态数据加载模块，用于加载所提取的状态数据到目标应用集群；

输入流转发模块，用于把缓存的输入流发送到所述目标应用集群，之后把当前的输入流发送给所述目标应用集群。

7.根据权利要求6所述的装置，其特征在于，还包括：

集群初始化模块，用于在断开源应用集群的输入流之前，初始化所述目标应用集群。

8.根据权利要求6所述的装置，其特征在于，

所述状态数据提取模块还用于根据所述状态数据产生数据快照，并且所述状态数据加载模块还用于把数据快照恢复成状态数据，然后把所述状态数据加载到所述目标应用集群。

9.根据权利要求6所述的装置，其特征在于，还包括：

集群清理模块，用于在把当前的输入流发送给所述目标应用集群之后，从所述源应用集群中删除被提取的状态数据。

10.根据权利要求6所述的装置，其特征在于，所述集群迁移包括完整迁移和部分迁移。