CN107547607B - 一种集群迁移方法及装置 - Google Patents

Abstract

本发明实施例公开了一种集群迁移方法及装置，应用于微视云集群中的一个服务器S，该方法包括：从微视云集群中各个服务器上获取目的管理数据，并将目的管理数据导入至标准云集群的管理服务器上；卸载服务器S上的虚拟服务信息，并向微视云集群中的其他服务器发送卸载指令，以使其他服务器卸载本地的虚拟服务信息；将管理服务器确定为微视云集群中各个服务器的虚拟服务入口；向管理服务器发送重启指令，管理服务器重启管理服务进程，进而完成微视云集群向标准云集群的迁移。应用本发明实施例，实现了微视云集群向标准云集群的迁移。

Description

一种集群迁移方法及装置

技术领域

本发明涉及云存储技术领域，特别涉及一种集群迁移方法及装置。

背景技术

为了应对不同的应用场景，视频云存储系统中服务器集群的规模会根据业务需求和硬件资源等实际情况，选择不同的组建方式。按照不同的组建方式，服务器集群包括：微视云集群和标准云集群，其中，微视云集群为轻量化部署的无独立管理节点的云存储系统，具体地，微视云集群中包含至少一台服务器，其中每一台服务器既作为管理服务器，又作为存储服务器，也就是管理服务器和存储服务器对应于同一台物理机，这样就是没有独立的管理服务器，即没有独立的管理节点，微视云集群适用于处理数据量很小的业务，这种微视云集群的部署可以有效地节省硬件成本；标准云集群为标准部署的有独立管理节点的云存储系统，具体地，标准云集群中包含至少一台服务器，这些服务器分为管理服务器和存储服务器，也就是管理服务器和存储服务器对应于不同的物理机，这样也就是存在独立的管理服务器，即存在独立的管理节点，标准云集群适用于处理数据量大的业务。另外，通常情况下微视云集群所包含的服务器的数量一般比标准云集群所包含的服务器的数量少。

虽然微视云兼顾了性能和资源之间的平衡，但是随着云存储技术的发展，业务数据量可能随时间的推移呈现爆发式增长，而微视云集群能够处理的业务数据量较小，这样，微视云集群将无法满足用户的需求。

因此，如何将微视云集群升级为标准云集群，也就是将微视云集群迁移到标准云集群将是一个亟待解决的技术难题。

发明内容

本发明实施例公开了一种集群迁移方法及装置，以实现微视云集群向标准云集群的迁移。

为达到上述目的，本发明实施例公开了一种集群迁移方法，应用于微视云集群中的一个服务器S，所述方法包括：

从所述微视云集群中各个服务器上获取目的管理数据，并将所述目的管理数据导入至标准云集群的管理服务器上；

卸载所述服务器S上的虚拟服务信息，并向所述微视云集群中的其他服务器发送卸载指令，以使所述其他服务器卸载本地的虚拟服务信息；

将所述管理服务器确定为所述微视云集群中各个服务器的虚拟服务入口；

向所述管理服务器发送重启指令，以使所述管理服务器重启管理服务进程，进而完成所述微视云集群向所述标准云集群的迁移。

可选的，所述微视云集群中包含一个主服务器，所述主服务器为所述微视云集群的虚拟服务入口；

所述从所述微视云集群中的各个服务器上获取目的管理数据之前，还包括：

关闭所述主服务器上的管理服务进程。

可选的，所述从所述微视云集群中各个服务器上获取目的管理数据，包括：

确定所述微视云集群中处于正常工作状态的服务器，从所确定的服务器上获取包含预设关键字的管理数据；

从所获取的管理数据中选择最新的管理数据，并将所述最新的管理数据确定为目的管理数据。

可选的，所述管理数据包含版本号；

所述从所获取的管理数据中选择最新的管理数据，并将所述最新的管理数据确定为目的管理数据，包括：

从所获取的管理数据中选择版本号最大的管理数据，并将所选择的管理数据确定为目的管理数据。

可选的，所述管理服务器为所述标准云集群的虚拟服务入口；

所述将所述管理服务器确定为所述微视云集群中各个服务器的虚拟服务入口，包括：

将所述管理服务器绑定的虚拟服务地址修改为所述微视云集群的虚拟服务地址，进而将所述管理服务器确定为所述微视云集群中各个服务器的虚拟服务入口。

为达到上述目的，本发明实施例还公开了一种集群迁移装置，应用于微视云集群中的一个服务器S，所述装置包括：

数据获取单元，用于从所述微视云集群中各个服务器上获取目的管理数据，并将所述目的管理数据导入至标准云集群的管理服务器上；

信息卸载单元，用于卸载所述服务器S上的虚拟服务信息，并向所述微视云集群中的其他服务器发送卸载指令，以使所述其他服务器卸载本地的虚拟服务信息；

入口确定单元，用于将所述管理服务器确定为所述微视云集群中各个服务器的虚拟服务入口；

指令发送单元，用于向所述管理服务器发送重启指令，以使所述管理服务器重启管理服务进程，进而完成所述微视云集群向所述标准云集群的迁移。

可选的，所述微视云集群中包含一个主服务器，所述主服务器为所述微视云集群的虚拟服务入口；

所述装置还包括：

进程关闭单元，用于从所述微视云集群中的各个服务器上获取目的管理数据之前，关闭所述主服务器上的管理服务进程。

可选的，所述数据获取单元，包括：

数据获取子单元，用于确定所述微视云集群中处于正常工作状态的服务器，从所确定的服务器上获取包含预设关键字的管理数据；

数据确定子单元，用于从所获取的管理数据中选择最新的管理数据，并将所述最新的管理数据确定为目的管理数据。

可选的，所述管理数据包含版本号；

所述数据确定子单元，具有用于：

从所获取的管理数据中选择版本号最大的管理数据，并将所选择的管理数据确定为目的管理数据。

可选的，所述管理服务器为所述标准云集群的虚拟服务入口；

所述入口确定单元，具体用于：

将所述管理服务器绑定的虚拟服务地址修改为所述微视云集群的虚拟服务地址，进而将所述管理服务器确定为所述微视云集群中各个服务器的虚拟服务入口。

由上可知，本发明实施例中，微视云集群中的一个服务器S，从微视云集群中各个服务器上获取目的管理数据，并将目的管理数据导入至标准云集群的管理服务器上，卸载服务器S上的虚拟服务信息，并向微视云集群中的其他服务器发送卸载指令，其他服务器卸载本地的虚拟服务信息，微视云集群中各个服务器不再提供任何管理服务，仅作为存储服务器；将管理服务器确定为微视云集群中各个服务器的虚拟服务入口，向管理服务器发送重启指令，管理服务器重启管理服务进程，管理服务器接管微视云集群的所有服务，进而实现了微视云集群向标准云集群的迁移。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的集群的结构示意图；

图2为本发明实施例提供的一种集群迁移方法的流程示意图；

图3为本发明实施例提供的一种集群迁移装置的结构示意图；

图4为本发明实施例提供的另一种集群迁移装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面通过具体实施例，对本发明进行详细说明。

参考图1，图1为本发明实施例提供的集群的结构示意图，该集群分为微视云集群001和标准云集群002，微视云集群001中包括至少一台服务器100，该服务器100既作为管理服务器，又作为存储服务器；标准云集群002中包含至少一台服务器，这些服务器分为管理服务器210和存储服务器220。

在本发明的一个实施例中，为了保证微视云集群001向标准云集群002的迁移，在每台服务器100上可以都设置一个转换模块。当需要将微视云集群001迁移至标准云集群002时，运行任一一台服务器100上的转换模块，通过运行上述转换模块将微视云集群001迁移至标准云集群002。

转换模块可以包括：数据重建子模块和虚拟服务切换子模块。

这种情况下，当需要将微视云集群001迁移至标准云集群002时，首先运行数据重建子模块，将微视云集群001中各个服务器100上的管理数据重建至标准云集群的管理服务器210上；再运行虚拟服务切换子模块，停止服务器100上的虚拟服务信息，将管理服务器210上绑定的虚拟服务IP(Internet Protocol，网络协议)地址修改为服务器100的虚拟服务IP地址，并重启管理服务器210的管理服务进程，进而完成微视云集群001向标准云集群002的迁移。

这里，虚拟服务信息可以包括：LVS(Linux Virtual Server，虚拟服务器)服务、Zookeeper(开源的分布式应用程序协调服务)进程和Zookeeper配置文件等；管理服务进程可以为CVM(Cloud Video Master，云存储管理服务器)进程。

Zookeeper是一个分布式的、开放源码的分布式应用程序协调服务，其包含一个简单的原语集，是Hadoop和HBase的重要组件。Zookeeper可以实现统一命名服务、配置管理、分布式锁服务和集群管理等功能。Zookeeper配置文件中包含Zookeeper运行需要的参数。以便于运行Zookeeper，进而使服务器100基于运行的Zookeeper管理数据的存储。

在本发明的一个实施例中，微视云集群001向标准云集群002的迁移的方法可参考图2，图2为本发明实施例提供的一种集群迁移方法的流程示意图，应用于微视云集群中的一个服务器S，该方法包括：

S201：从微视云集群中各个服务器上获取目的管理数据，并将目的管理数据导入至标准云集群的管理服务器上；

在本发明的一个实施例中，管理数据可以存储在数据库中，也就是，微视云集群中各个服务器上的管理数据存储在一个数据库中，标准云集群的管理服务器上的管理数据存储在另一个数据库中。当需要将微视云集群迁移至标准云集群时，需要将从微视云集群中各个服务器上获取目的管理数据，并将目的管理数据导入至标准云集群的管理服务器上。

另外，微视云集群和标准云集群可以采用不同的数据库，如：微视云集群各个服务器上的第一数据库采用的是Mysql数据库，标准云集群各个管理服务器上的第二数据库采用的是HBase数据库。当需要将微视云集群迁移至标准云集群时，需要将获取的管理数据转换为满足第二数据库存储规则的数据后，导入至第二数据库中。

在本发明的一个实施例中，服务器S可以从该微视云集群中各个服务器上直接获取目的管理数据，也就是获取需要的管理数据；服务器S也可以先从该微视云集群中各个服务器上获取所有的管理数据，再对获取的管理数据进行筛选，获得目的管理数据。

另外，微视云集群中可能会存在服务器处于非正常工作状态，如服务器关机、服务器崩溃、服务器断电等，服务器S并不能从这些处于非正常工作状态的服务器中获得管理数据，因此，在获取管理数据前，服务器S需要逐个访问微视云集群中的其他各个服务器，记录处于正常工作状态的服务器。这种情况下，可以仅从这些处于正常工作状态的服务器上获取管理数据。

在服务器S上还可以预先设置关键字，这样，从处于正常工作状态的服务器上获取管理数据，可以为：从处于正常工作状态的服务器上获取包含预设关键字的管理数据。这里，包含预设关键字的管理数据可以理解为：关键的管理数据，将关键的管理数据导入管理服务器中，就可以认为完成了集群的迁移。这种情况下，仅仅从处于正常工作状态的服务器上获取包含预设关键字的管理数据，减少了服务器S获取的数据量，提高了服务器S的数据处理速度。

在本发明的一个实施例中，微视云集群中各个服务器都可以作为管理服务器，理论上每台服务器上的管理功能都是相同的，但服务器在运行过程中，可能存在宕机、Zookeeper故障等现象，进而使得一些服务器的管理数据不能够同步。这种情况下，在集群迁移时，服务器S需要对比所获取的管理数据，从中选择出最新的管理数据，并将最新的管理数据确定为目的管理数据。

在本发明的一个实施例中，微视云集群中各个服务器在存储管理数据时，可以包含版本信息(版本号)，越新的管理数据，其对应的版本号越大，在确定目的管理数据时，可以将版本号最大的管理数据确定为目的管理数据。

值得一提的是，微视云集群中可以包含一个主服务器，该主服务器为微视云集群的虚拟服务入口，负责将管理数据发送给该微视云集群中的其他服务器，并负责将用户上传的数据发送至其他服务器，再由其他服务器存储用户上传的数据。此时，为了避免主服务器不断更新其他服务器中的管理数据，影响集群的迁移，从微视云集群中各个服务器上获取目的管理数据之前，若服务器S为主服务器，则直接关闭本地的管理服务进程；若服务器S不是主服务器，则向主服务器发送关闭指令，主服务器接收到关闭指令后，关闭本地的管理服务进程。这种情况下，微视云集群中不再写入管理数据，用户不能根据管理数据从该微视云集群的读取已存储的数据，但用户依然可以将数据存储至该微视云集群的服务器中。这里，集群的迁移独立于存储业务之外，不影响正常的存储业务，使得集群迁移的过程更为平滑。

管理数据分为多种，按照用途可以分为：针对图片的管理数据、针对录像的管理数据、针对文本的管理数据和针对表格的管理数据等。在获取目的管理数据，并将目的管理数据导入至标准云集群的管理服务器上时，可以按照类别依次将目的管理数据导入标准云集群的管理服务器上。

将目的管理数据导入标准云集群的管理服务器上之后，还可以对服务器S确定的目的管理数据和管理服务器获得管理数据进行比较，当两者一致时，可以确定管理数据导入成功，继续执行集群的迁移；当两者不一致时，可以确定管理数据导入不成功，此时还可以输出提示信息，以便用户根据提示信息，及时发现并解决问题，确保集群的迁移。

S202：卸载服务器S上的虚拟服务信息，并向微视云集群中的其他服务器发送卸载指令，以使其他服务器卸载本地的虚拟服务信息；

在本发明的一个实施例中，虚拟服务信息可以包括：LVS服务、Zookeeper进程和Zookeeper配置文件等。

此时，卸载服务器S上的虚拟服务信息，可以为：卸载服务器S上的LVS服务，停止服务器S上的Zookeeper进程，删除服务器S上的Zookeeper配置文件。这样，微视云集群中的服务器S将不再提供任何的管理服务。另外，其他服务器根据卸载指令卸载本地的虚拟服务信息，这样，微视云集群中的所有服务器将都不再提供任何的管理服务，而仅仅只是作为了存储服务器，为集群的迁移奠定了基础。

S203：将管理服务器确定为微视云集群中各个服务器的虚拟服务入口；

微视云集群中各个服务器的虚拟服务入口为该微视云集群中的主服务器，也就是，微视云集群中各个服务器的网卡绑定的虚拟服务IP地址为主服务器的虚拟服务IP地址；标准云集群的虚拟服务入口为管理服务器，标准云集群中各个存储服务器的上报地址为管理服务器的虚拟服务IP地址。若需要将微视云集群迁移至标准云集群，需要将管理服务器确定为微视云集群中各个服务器的虚拟服务入口，也就是，修改管理服务器的虚拟服务IP为微视云集群的虚拟服务IP。

为了确保集群的迁移，管理服务器中还需要有对应的配置文件(Zookeeper配置文件)协调管理微视云集群中各个服务器。这里，Zookeeper配置文件中可能包含有管理服务器的虚拟服务IP的信息，在进行集群迁移时，可以将Zookeeper配置文件包含的管理服务器的虚拟服务IP的信息修改为微视云集群的虚拟服务IP的信息。

S204：向管理服务器发送重启指令，以使管理服务器重启管理服务进程。

管理服务器重启管理服务进程之后，该管理服务器就可以接管之前微视云集群的所有管理服务，完成微视云集群向标准云集群的迁移。由于微视云集群的虚拟服务入口切换为了该管理服务器，用户可以通过该管理服务器进行数据读取、数据查询和存储数据等上层业务。

需要说明的是，本发明中所提到的服务器为微视云集群中设备，具有存储功能和管理功能；本发明中所提到的管理服务器和存储服务为标准云集群中的设备，其中，管理服务器具有管理功能，存储服务器具有存储功能。

应用图2所示实施例，微视云集群中的一个服务器S，从微视云集群中各个服务器上获取目的管理数据，并将目的管理数据导入至标准云集群的管理服务器上，卸载服务器S上的虚拟服务信息，并向微视云集群中的其他服务器发送卸载指令，其他服务器卸载本地的虚拟服务信息，微视云集群中各个服务器不再提供任何管理服务，仅作为存储服务器；将管理服务器确定为微视云集群中各个服务器的虚拟服务入口，向管理服务器发送重启指令，管理服务器重启管理服务进程，管理服务器接管微视云集群的所有服务，进而实现了微视云集群向标准云集群的迁移。

参考图3，图3为本发明实施例提供的一种集群迁移装置的结构示意图，应用于微视云集群中的一个服务器S，该装置包括：

数据获取单元301，用于从所述微视云集群中各个服务器上获取目的管理数据，并将所述目的管理数据导入至标准云集群的管理服务器上；

信息卸载单元302，用于卸载所述服务器S上的虚拟服务信息，并向所述微视云集群中的其他服务器发送卸载指令，以使所述其他服务器卸载本地的虚拟服务信息；

入口确定单元303，用于将所述管理服务器确定为所述微视云集群中各个服务器的虚拟服务入口；

指令发送单元304，用于向所述管理服务器发送重启指令，以使所述管理服务器重启管理服务进程，进而完成所述微视云集群向所述标准云集群的迁移。

在本发明的一个实施例中，微视云集群中可以包含一个主服务器，该主服务器为所述微视云集群的虚拟服务入口；

这种情况下，上述集群迁移装置还可以包括：

进程关闭单元，用于从所述微视云集群中的各个服务器上获取目的管理数据之前，关闭所述主服务器上的管理服务进程(图3中未示出)。

在本发明的一个实施例中，可参考图4，图4为本发明实施例提供的另一种集群迁移装置的结构示意图，该装置中，数据获取单元301，可以包括：

数据获取子单元3011，用于确定所述微视云集群中处于正常工作状态的服务器，从所确定的服务器上获取包含预设关键字的管理数据；

数据确定子单元3012，用于从所获取的管理数据中选择最新的管理数据，并将所述最新的管理数据确定为目的管理数据。

在本发明的一个实施例中，所述管理数据包含版本号；

数据确定子单元3012，具有用于：

从所获取的管理数据中选择版本号最大的管理数据，并将所选择的管理数据确定为目的管理数据。

在本发明的一个实施例中，所述管理服务器为所述标准云集群的虚拟服务入口；

这种情况下，入口确定单元303，具体用于：

将所述管理服务器绑定的虚拟服务地址修改为所述微视云集群的虚拟服务地址，进而将所述管理服务器确定为所述微视云集群中各个服务器的虚拟服务入口。

应用图上述各个实施例，微视云集群中的一个服务器S，从微视云集群中各个服务器上获取目的管理数据，并将目的管理数据导入至标准云集群的管理服务器上，卸载服务器S上的虚拟服务信息，并向微视云集群中的其他服务器发送卸载指令，其他服务器卸载本地的虚拟服务信息，微视云集群中各个服务器不再提供任何管理服务，仅作为存储服务器；将管理服务器确定为微视云集群中各个服务器的虚拟服务入口，向管理服务器发送重启指令，管理服务器重启管理服务进程，管理服务器接管微视云集群的所有服务，进而实现了微视云集群向标准云集群的迁移。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种集群迁移方法，其特征在于，应用于微视云集群中的一个服务器S，所述方法包括：

从所述微视云集群中各个服务器上获取目的管理数据，并将所述目的管理数据导入至标准云集群的管理服务器上；

卸载所述服务器S上的虚拟服务信息，并向所述微视云集群中的其他服务器发送卸载指令，以使所述其他服务器卸载本地的虚拟服务信息；

将所述管理服务器确定为所述微视云集群中各个服务器的虚拟服务入口；

向所述管理服务器发送重启指令，以使所述管理服务器重启管理服务进程，进而完成所述微视云集群向所述标准云集群的迁移；

其中，所述管理服务器为所述标准云集群的虚拟服务入口；

所述将所述管理服务器确定为所述微视云集群中各个服务器的虚拟服务入口，包括：将所述管理服务器绑定的虚拟服务地址修改为所述微视云集群的虚拟服务地址，进而将所述管理服务器确定为所述微视云集群中各个服务器的虚拟服务入口。

2.根据权利要求1所述的方法，其特征在于，所述微视云集群中包含一个主服务器，所述主服务器为所述微视云集群的虚拟服务入口；

所述从所述微视云集群中的各个服务器上获取目的管理数据之前，还包括：

关闭所述主服务器上的管理服务进程。

3.根据权利要求1或2所述的方法，其特征在于，所述从所述微视云集群中各个服务器上获取目的管理数据，包括：

确定所述微视云集群中处于正常工作状态的服务器，从所确定的服务器上获取包含预设关键字的管理数据；

从所获取的管理数据中选择最新的管理数据，并将所述最新的管理数据确定为目的管理数据。

4.根据权利要求3所述的方法，其特征在于，所述管理数据包含版本号；

所述从所获取的管理数据中选择最新的管理数据，并将所述最新的管理数据确定为目的管理数据，包括：

从所获取的管理数据中选择版本号最大的管理数据，并将所选择的管理数据确定为目的管理数据。

5.一种集群迁移装置，其特征在于，应用于微视云集群中的一个服务器S，所述装置包括：

数据获取单元，用于从所述微视云集群中各个服务器上获取目的管理数据，并将所述目的管理数据导入至标准云集群的管理服务器上；

信息卸载单元，用于卸载所述服务器S上的虚拟服务信息，并向所述微视云集群中的其他服务器发送卸载指令，以使所述其他服务器卸载本地的虚拟服务信息；

入口确定单元，用于将所述管理服务器确定为所述微视云集群中各个服务器的虚拟服务入口；

指令发送单元，用于向所述管理服务器发送重启指令，以使所述管理服务器重启管理服务进程，进而完成所述微视云集群向所述标准云集群的迁移；

其中，所述管理服务器为所述标准云集群的虚拟服务入口；

所述入口确定单元，具体用于：将所述管理服务器绑定的虚拟服务地址修改为所述微视云集群的虚拟服务地址，进而将所述管理服务器确定为所述微视云集群中各个服务器的虚拟服务入口。

6.根据权利要求5所述的装置，其特征在于，所述微视云集群中包含一个主服务器，所述主服务器为所述微视云集群的虚拟服务入口；

所述装置还包括：

进程关闭单元，用于从所述微视云集群中的各个服务器上获取目的管理数据之前，关闭所述主服务器上的管理服务进程。

7.根据权利要求5或6所述的装置，其特征在于，所述数据获取单元，包括：

数据获取子单元，用于确定所述微视云集群中处于正常工作状态的服务器，从所确定的服务器上获取包含预设关键字的管理数据；

数据确定子单元，用于从所获取的管理数据中选择最新的管理数据，并将所述最新的管理数据确定为目的管理数据。

8.根据权利要求7所述的装置，其特征在于，所述管理数据包含版本号；

所述数据确定子单元，具有用于：

从所获取的管理数据中选择版本号最大的管理数据，并将所选择的管理数据确定为目的管理数据。

Images