CN110597609A - 一种集群迁移与自动恢复方法及系统 - Google Patents

Abstract

本发明公开了一种集群迁移与自动恢复方法及系统，所述方法包括如下步骤：选定需要迁移和恢复的集群与任务后发起集群迁移的请求；接受到请求以后，首先会汇总出集群里所有的任务，并根据任务状态对任务列表进行过滤，得到本次需要进行迁移的任务列表，并将过滤失败的任务返回；将所有任务的状态修改为准备迁移中，而后依次根据任务的原状态继续对应处理。所述方法具有操作简单、状态可追踪、可打破资源瓶颈且能恢复异常等优点。

Description

一种集群迁移与自动恢复方法及系统

技术领域

本发明涉及一种信息检索及其数据库结构技术领域，尤其涉及一种集群迁移与自动恢复方法及系统。

背景技术

随着移动通信与互联网技术的蓬勃发展，越来越多的人开始由信息的接受者开始转变为传播者乃至创造者，每个人每天都在创造大量的数据。现代的互联网公司为了处理这些达到TB甚至PB级别的数据，往往需要使用大量的服务器资源来这些数据进行清洗、提炼。由于单一的高性能服务器价格昂贵，出于成本考虑，企业通常采用在多台一般性能的服务器搭建集群的方式，来进行统一的资源管理。但是集群的使用在简化了资源管理的同时也带来了新的问题与挑战：

资源瓶颈：虽然理论上来说集群拥有的资源可以是没有限制的，但是通常需要在开始创建的时候就需要指定需要使用的资源，但是随着时间的推移，在集群上面运行的任务越来越多，最后往往会出现集群资源不足的情况。如何在集群缺乏资源且无法扩容的情况下去启动新的任务成了必须要面对的问题。

维护成本：集群的使用在很大程度上简化了我们的资源管理，不必关心与底层服务器资源的交互。但是集群本身作为一个应用，依然有着自己的生命周期，我们需要在集群遇到极端异常情况下异常终止时，能够在最短的时间内重新运行并且恢复到重启前的状态。

发明内容

本发明所要解决的技术问题是如何提供一种操作简单、状态可追踪、可打破资源瓶颈且能恢复异常的集群迁移与自动恢复方法。

为解决上述技术问题，本发明所采取的技术方案是：一种集群迁移与自动恢复方法，其特征在于包括如下步骤：

选定需要迁移和恢复的集群与任务后发起集群迁移的请求；

接受到请求以后，首先会汇总出集群里所有的任务，并根据任务状态对任务列表进行过滤，得到本次需要进行迁移的任务列表，并将过滤失败的任务返回；

将所有任务的状态修改为准备迁移中，而后依次根据任务的原状态继续对应处理。

进一步的技术方案在于，所述方法还包括：迁移完成以后，通过后台查看所有任务的迁移记录以及最终的迁移状态，如果任务迁移失败，根据需要对任务进行重新迁移或者回滚操作。

进一步的技术方案在于，所述依次根据任务的原状态继续对应处理的方法如下：

如果任务状态为运行中，首先将任务在原集群中进行取消，取消成功则进入下一步操作；取消失败则就此结束，任务归入迁移失败状态；

取消成功以后，任务将与失败状态和未知状态的任务一起开始在新集群中进行启动，启动成功则将状态表更改为迁移启动成功->迁移成功状态；启动失败则进入迁移启动失败->迁移失败状态；

所有处于准备迁移、迁移启动成功、迁移启动失败、迁移取消失败的任务统称为处于迁移中状态，如果迁移时遇到该状态的任务则代表该任务迁移未完成，不进行任何操作。

本发明还公开了一种集群迁移与自动恢复系统，其特征在于包括：

迁移请求模块：用于选定需要迁移和恢复的集群与任务后发起集群迁移的请求；

请求过滤模块：接受到请求以后，首先会汇总出集群里所有的任务，并根据任务状态对任务列表进行过滤，得到本次需要进行迁移的任务列表，并将过滤失败的任务返回；

集群迁移与恢复模块：将所有任务的状态修改为准备迁移中，而后依次根据任务的原状态继续对应处理。

进一步的技术方案在于，所述系统还包括：

后台处理模块：用于迁移完成以后，查看所有任务的迁移记录以及最终的迁移状态，如果任务迁移失败，根据需要对任务进行重新迁移或者回滚操作。

进一步的技术方案在于，所述集群迁移与恢复模块包括：

任务取消子模块：用于判断任务状态是否在运行中，如果任务状态为运行中，首先将任务在原集群中进行取消，取消成功则进入下一步操作；取消失败则就此结束，任务归入迁移失败状态；

任务启动子模块：当任务取消成功以后，任务将与失败状态和未知状态的任务一起开始在新集群中进行启动，启动成功则将状态表更改为迁移启动成功->迁移成功状态；启动失败则进入迁移启动失败->迁移失败状态；

任务状态表达子模块：所有处于准备迁移、迁移启动成功、迁移启动失败、迁移取消失败的任务统称为处于迁移中状态，如果迁移时遇到该状态的任务则代表该任务迁移未完成，不进行任何操作。

采用上述技术方案所产生的有益效果在于：1)操作简化：维护人员无需关心每个任务具体的状态，只需要选择相关的任务与状态以后由系统自动进行迁移操作。2)状态可追踪：通过使用状态机，使得可以在迁移结束以后直观的看到每个任务当前的迁移状态，对于异常的任务可以直接进行再次迁移。3)打破资源瓶颈：当原集群资源不足时，可随时启动新的集群，将任务全部转移到新集群中。4)异常恢复：当集群遇到极端异常情况死亡时，可以在最快的时间内将任务在新集群中恢复到原来的状态，把损失降到最低。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例所述方法的流程图；

图2是本发明实施例所述系统的原理框图；

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

总体的，本发明实施例公开了一种集群迁移与自动恢复方法，所述方法包括如下步骤：

当集群资源不足或者监测到集群状态异常且无法重启时，创建新的集群资源，准备开始将任务迁移到新的集群中。

在页面上选择需要进行迁移的集群或任务以及目标集群，开发人员可通过指定任务状态来筛选出需要迁移的任务。

正式开始迁移以后，系统会首先获取原来的任务状态(已经终止的集群不会获取)，对任务进行初始过滤，决定要迁移的任务列表。而后根据任务的不同状态进行相应的迁移操作，比如处于RUNNING状态的任务会首先在原集群中进行取消操作，而后在新集群中进行恢复；而对于已经FAIL或者原集群死亡的任务，会直接在原集群中进行重启。任务取消或者异常终止时，我们会保存任务运行的当前状态，确保任务在新集群中重启时能够恢复。除此之外，集群迁移过程中所有任务的迁移全部由状态机进行管理，保证当任务迁移过程中遇到异常情况时，能够追踪到任务当前状态并且能够进行回滚或重试等操作。

集群迁移结束后，可以查看当前迁移批次迁移的任务列表以及对应的任务状态，对于迁移失败的任务可以根据需求直接进行再次迁移或者将任务状态重置。

系统内部维护了一个当前运行中的集群资源列表，系统会定时去监测每个集群的健康情况，当集群资源即将不足时会进行告警，通知对应维护人员进行处理。当监测到某个集群已死亡，无法进行通信时，系统会即刻开始监测剩余集群的健康情况与资源，当剩余集群满足条件时，会自动开始进行集群迁移动作，将异常集群上运行的所有任务全部迁移到健康的集群上面，确保受影响的任务能够第一时间在新集群中恢复原来的状态并运行。如果剩余集群无法承载恢复任务的需要时，会马上进行告警，通过相关人员手工进行迁移处理。

进一步的，如图1所述，所述方法包括如下步骤：

选定需要迁移和恢复的集群与任务后发起集群迁移的请求；

接受到请求以后，首先会汇总出集群里所有的任务，并根据任务状态对任务列表进行过滤，得到本次需要进行迁移的任务列表，并将过滤失败的任务返回；

所述依次根据任务的原状态继续对应处理的方法如下：

如果任务状态为运行中，首先将任务在原集群中进行取消，取消成功则进入下一步操作；取消失败则就此结束，任务归入迁移失败状态；

取消成功以后，任务将与失败状态和未知状态的任务一起开始在新集群中进行启动，启动成功则将状态表更改为迁移启动成功->迁移成功状态；启动失败则进入迁移启动失败->迁移失败状态；

所有处于准备迁移、迁移启动成功、迁移启动失败、迁移取消失败的任务统称为处于迁移中状态，如果迁移时遇到该状态的任务则代表该任务迁移未完成，不进行任何操作。

将所有任务的状态修改为准备迁移中，而后依次根据任务的原状态继续对应处理。

迁移完成以后，通过后台查看所有任务的迁移记录以及最终的迁移状态，如果任务迁移失败，根据需要对任务进行重新迁移或者回滚操作。

如图2所示，本发明实施例还公开了一种集群迁移与自动恢复系统，包括：

迁移请求模块：用于选定需要迁移和恢复的集群与任务后发起集群迁移的请求；

请求过滤模块：接受到请求以后，首先会汇总出集群里所有的任务，并根据任务状态对任务列表进行过滤，得到本次需要进行迁移的任务列表，并将过滤失败的任务返回；

所述集群迁移与恢复模块包括：

任务取消子模块：用于判断任务状态是否在运行中，如果任务状态为运行中，首先将任务在原集群中进行取消，取消成功则进入下一步操作；取消失败则就此结束，任务归入迁移失败状态；

任务启动子模块：当任务取消成功以后，任务将与失败状态和未知状态的任务一起开始在新集群中进行启动，启动成功则将状态表更改为迁移启动成功->迁移成功状态；启动失败则进入迁移启动失败->迁移失败状态；

任务状态表达子模块：所有处于准备迁移、迁移启动成功、迁移启动失败、迁移取消失败的任务统称为处于迁移中状态，如果迁移时遇到该状态的任务则代表该任务迁移未完成，不进行任何操作。

集群迁移与恢复模块：将所有任务的状态修改为准备迁移中，而后依次根据任务的原状态继续对应处理。

后台处理模块：用于迁移完成以后，查看所有任务的迁移记录以及最终的迁移状态，如果任务迁移失败，根据需要对任务进行重新迁移或者回滚操作。

所述方法和系统具有如下优点：1)操作简化：维护人员无需关心每个任务具体的状态，只需要选择相关的任务与状态以后由系统自动进行迁移操作。2)状态可追踪：通过使用状态机，使得可以在迁移结束以后直观的看到每个任务当前的迁移状态，对于异常的任务可以直接进行再次迁移。3)打破资源瓶颈：当原集群资源不足时，可随时启动新的集群，将任务全部转移到新集群中。4)异常恢复：当集群遇到极端异常情况死亡时，可以在最快的时间内将任务在新集群中恢复到原来的状态，把损失降到最低。

Claims (6)

1.一种集群迁移与自动恢复方法，其特征在于包括如下步骤：

选定需要迁移和恢复的集群与任务后发起集群迁移的请求；

接受到请求以后，首先会汇总出集群里所有的任务，并根据任务状态对任务列表进行过滤，得到本次需要进行迁移的任务列表，并将过滤失败的任务返回；

将所有任务的状态修改为准备迁移中，而后依次根据任务的原状态继续对应处理。

2.如权利要求1所述的集群迁移与自动恢复方法，其特征在于：所述方法还包括：迁移完成以后，通过后台查看所有任务的迁移记录以及最终的迁移状态，如果任务迁移失败，根据需要对任务进行重新迁移或者回滚操作。

3.如权利要求1所述的集群迁移与自动恢复方法，其特征在于：所述依次根据任务的原状态继续对应处理的方法如下：

如果任务状态为运行中，首先将任务在原集群中进行取消，取消成功则进入下一步操作；取消失败则就此结束，任务归入迁移失败状态；

取消成功以后，任务将与失败状态和未知状态的任务一起开始在新集群中进行启动，启动成功则将状态表更改为迁移启动成功->迁移成功状态；启动失败则进入迁移启动失败->迁移失败状态；

所有处于准备迁移、迁移启动成功、迁移启动失败、迁移取消失败的任务统称为处于迁移中状态，如果迁移时遇到该状态的任务则代表该任务迁移未完成，不进行任何操作。

4.一种集群迁移与自动恢复系统，其特征在于包括：

迁移请求模块：用于选定需要迁移和恢复的集群与任务后发起集群迁移的请求；

请求过滤模块：接受到请求以后，首先会汇总出集群里所有的任务，并根据任务状态对任务列表进行过滤，得到本次需要进行迁移的任务列表，并将过滤失败的任务返回；

集群迁移与恢复模块：将所有任务的状态修改为准备迁移中，而后依次根据任务的原状态继续对应处理。

5.如权利要求4所述的集群迁移与自动恢复系统，其特征在于，所述系统还包括：

后台处理模块：用于迁移完成以后，查看所有任务的迁移记录以及最终的迁移状态，如果任务迁移失败，根据需要对任务进行重新迁移或者回滚操作。

6.如权利要求4所述的集群迁移与自动恢复系统，其特征在于，所述集群迁移与恢复模块包括：

任务取消子模块：用于判断任务状态是否在运行中，如果任务状态为运行中，首先将任务在原集群中进行取消，取消成功则进入下一步操作；取消失败则就此结束，任务归入迁移失败状态；

任务启动子模块：当任务取消成功以后，任务将与失败状态和未知状态的任务一起开始在新集群中进行启动，启动成功则将状态表更改为迁移启动成功->迁移成功状态；启动失败则进入迁移启动失败->迁移失败状态；

任务状态表达子模块：所有处于准备迁移、迁移启动成功、迁移启动失败、迁移取消失败的任务统称为处于迁移中状态，如果迁移时遇到该状态的任务则代表该任务迁移未完成，不进行任何操作。