CN109788077A - 一种支持集群的云备份系统及其方法 - Google Patents

Abstract

本发明涉及一种支持集群的云备份系统及其方法，该系统包括：客户端模块，用于负责获取备份数据；元数据管理模块，用于负责查询、记录备份数据的存储信息及数据信息；数据读写模块，用于负责数据的处理、数据读写调度；节点管理模块，用于负责节点的管理、元数据节点及数据节点的分配；云存储读写模块，用于负责从云存储读取数据及向云存储写入数据；服务管理模块，用于负责云备份系统服务的管理。与现有技术相比，本发明能积极有效的帮助用户更快、更及时的完成数据保护，从而节省更多的物力成本和人力成本等优点。

Description

一种支持集群的云备份系统及其方法

技术领域

本发明涉及数据存储领域，尤其是涉及一种支持集群的云备份系统及其方法，实现将生产环境中的数据通过该云备份系统备份至云端，完成生产数据的保护，同时通过负载均衡提升集群环境的备份性能，缩短数据保护窗口时间。

背景技术

随着计算机的不断发展，数据保护也逐步在加强。然而随着数据的迅速增加，数据保护变得越来越难，存储数据的成本也变得越来越大。随着云存储的出现，大大降低了数据存储的成本，越来越多的用户选择将生产环境的数据备份至云存储，减少数据保护的成本。但随着生产数据的变多，将数据备份至云存储的数据保护窗口时间也相应的变长，单个服务器的备份系统已经很难满足用户的需求。

集群环境的出现就是为了解决单个服务器性能瓶颈的问题。集群环境可以将多个任务均衡的分配给多个服务器，以保证整个备份系统的吞吐能力是整个集群的总和。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种支持集群的云备份系统及其方法，支持将用户的生产数据备份至云存储，并利用集群环境提升备份系统的吞吐能力，缩短数据保护的窗口时间。

本发明的目的可以通过以下技术方案来实现：

一种支持集群的云备份系统，包括：

客户端模块，用于负责获取备份数据；

元数据管理模块，用于负责查询、记录备份数据的存储信息及数据信息；

数据读写模块，用于负责数据的处理、数据读写调度；

节点管理模块，用于负责节点的管理、元数据节点及数据节点的分配；

云存储读写模块，用于负责从云存储读取数据及向云存储写入数据；

服务管理模块，用于负责云备份系统服务的管理。

优选地，所述的节点管理模块包括一个节点客户端及一个节点服务端；

集群中每一个节点均存在节点管理模块，每一个节点的节点客户端均循环的向集群主节点的节点服务端发送自身节点的节点信息，集群主节点的节点服务端根据各个节点发送过来的节点信息分配元数据节点及数据节点。

优选地，所述的元数据节点，用于负责管理元数据的一个节点，一个集群在同一时间只会存在一个元数据节点，当当前的元数据节点宕机后由集群主节点的节点服务端重新分配元数据节点。

优选地，在云备份系统备份和恢复过程中元数据的读写均交由元数据节点的元数据管理模块进行处理。

优选地，所述的数据节点是负责读写数据的一个节点，一个集群在同一时间可能存在一个或多个数据节点，一个备份或恢复任务只会获取一个数据节点。

优选地，所述的在云备份系统备份和恢复过程中数据的读写均交由数据节点的数据读写模块进行处理。

一种采用所述的支持集群的云备份系统的方法，包括云备份系统的数据备份过程，和云备份系统的数据恢复过程。

优选地，所述的云备份系统的数据备份过程具体为：

1)初始化云备份系统；

1.1)加载客户端模块；

1.2)客户端模块获取集群主节点信息；

1.3)客户端模块根据步骤1.2)中获取的主节点信息连接至集群主节点的节点管理模块；

1.4)客户端模块从步骤1.3)中已连接的节点管理模块获取元数据节点信息；

1.5)客户端模块根据步骤1.4)中获取的元数据节点信息连接至元数据节点的元数据管理模块；

1.6)客户端模块从步骤1.3)中已连接的节点管理模块获取数据节点信息；

1.7)客户端模块根据步骤1.6)中获取的数据节点信息连接至数据节点的数据读写模块；

1.8)客户端模块将云存储信息发送至步骤1.5)中已连接的元数据管理模块；

1.9)客户端模块将云存储信息发送至步骤1.7)中已连接的数据读写模块；

1.10)客户端模块初始化步骤1.7)中已连接的数据读写模块；

2)客户端模块获取需要备份的数据；

3)检测步骤2)中是否存在需要备份的数据，若是则继续执行步骤4)，否则执行步骤7)；

4)备份数据；

4.1)客户端模块对步骤2)获取的数据进行加密或重复数据删除处理；

4.2)客户端模块获取步骤2)获取的数据的数据信息；

4.3)客户端模块将步骤4.1)处理后的数据发送至步骤1.7)已连接的数据读写模块；

4.4)数据读写模块接收步骤4.3)发送过来的数据；

4.5)数据读写模块将步骤4.4)接收到的数据进行合并、压缩处理；

4.6)数据读写模块将步骤4.5)处理后的数据传入云存储读写模块；

4.7)云存储读写模块并发将传入的数据写入云存储并将存储信息返回数据读写模块；

4.8)数据读写模块将步骤4.7)中数据在云存储的存储信息发送至客户端模块；

5)记录数据信息及存储信息；

5.1)客户端模块接收步骤4.7)发送过来的存储信息；

5.2)客户端模块将步骤4.2)获取的数据信息和步骤5.1)接收的存储信息进行关联；

5.3)客户端模块将步骤5.2)关联后的数据信息和存储信息发送至步骤1.5)中已连接的元数据管理模块；

5.4)元数据管理模块接收步骤5.3)发送过来的数据信息和存储信息；

5.5)元数据管理模块对数据信息和存储信息进行组织和处理；

5.6)元数据管理模块将步骤5.5)处理后的信息存入数据库；

6)继续执行步骤2)；

7)结束备份；

7.1)元数据管理模块将该次备份所记录的数据信息和存储信息传入云存储读写模块；

7.2)云存储读写模块将步骤7.1)传入的数据信息及存储信息写入云存储；

7.3)客户端模块断开步骤1.3)、步骤1.5)及步骤1.7)中产生的连接。

优选地，所述的云备份系统的数据恢复过程具体为：

1)初始化云备份系统；

1.1)加载客户端模块；

1.2)客户端模块获取集群主节点信息；

1.3)客户端模块根据步骤1.2)中获取的主节点信息连接至集群主节点的节点管理模块；

1.4)客户端模块从步骤1.3)中已连接的节点管理模块获取元数据节点信息；

1.5)客户端模块根据步骤1.4)中获取的元数据节点信息连接至元数据节点的元数据管理模块；

1.6)客户端模块从步骤1.3)中已连接的节点管理模块获取数据节点信息；

1.7)客户端模块根据步骤1.6)中获取的数据节点信息连接至数据节点的数据读写模块；

1.8)客户端模块将云存储信息发送至步骤1.5)中已连接的元数据管理模块；

1.9)客户端模块将云存储信息发送至步骤1.7)中已连接的数据读写模块；

1.10)客户端模块初始化步骤1.7)中已连接的数据读写模块；

2)客户端模块从步骤1.5)连接的元数据管理模块读取数据信息及存储信息；

3)检测步骤2)是否存在需要恢复的数据，若是则继续执行步骤4)，否则执行步骤6)；

4)恢复数据；

4.1)客户端模块将步骤2)获取的存储信息发送至步骤1.7)连接的数据读写模块；

4.2)数据读写模块接收步骤4.1)发送过来的存储信息并解析；

4.3)数据读写模块将步骤4.2)解析后的存储信息传入云存储读写模块；

4.4)云存储读写模块根据步骤4.3)传入的存储信息读取数据并返回至数据读写模块；

4.5)数据读写模块对步骤4.4)读取的数据进行分解、解压、合并处理；

4.6)数据读写模块将步骤4.5)处理后数据发送至客户端模块；

4.7)客户端模块接收步骤4.6)发送过来的数据；

4.8)客户端模块对步骤4.7)接收到的数据进行解密、合并处理；

4.9)客户端模块将步骤4.8)处理后的数据传入应用；

5)继续执行步骤2)；

6)结束恢复，客户端模块断开步骤1.3)、步骤1.5)及步骤1.7)中产生的连接。

与现有技术相比，本发明能将生产数据直接备份至云存储，且支持从云存储直接恢复至生产环境。该系统能够支持集群，解决了单节点服务器因性能瓶颈导致数据保护窗口时间变长、数据无法得到及时保护的问题。该系统能积极有效的帮助用户更快、更及时的完成数据保护，从而节省更多的物力成本和人力成本。

附图说明

图1表示该云备份系统的备份流程。

图2表示该云备份系统的恢复流程。

图3表示该云备份系统备份流程及恢复流程中的初始化云备份系统流程。

图4表示该云备份系统备份流程中的备份数据流程。

图5表示该云备份系统备份流程中的记录数据信息及存储信息流程。

图6表示该云备份系统恢复流程中的恢复数据流程。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

该实例生产环境采用的操作系统为RedHat Enterprise 5，生产数据采用1000个文件大小为1GB的数据文件，生产环境的IP为172.17.2.20。集群环境包含3个节点，集群VIP为172.17.1.10，集群节点IP分别为172.17.1.11、172.17.1.12、172.17.1.13。假设VIP所在节点为172.17.1.11，即172.17.1.11节点为主节点。集群环境的所有节点操作系统均为RedHat Enterprise 5。

客户端模块名称为csClient，部署在172.17.2.20环境上；元数据管理模块名称为csMeta，分别部署在集群的3个节点上；数据读写模块名称csData，分别部署在集群的3个节点上；

节点管理模块名称为csNode，分别部署在集群的3个节点上；云存储读写模块名称为csCloud，分别部署在集群的3个节点上；服务管理模块名称为csService,分别部署在集群的3个节点上。

该实例的数据备份包含如下步骤：

1、初始化云备份系统

1.1、加载csClient；

1.2、csClient获取集群主节点信息，主节点IP为172.17.1.11；

1.3、csClient根据步骤1.2中获取的主节点信息连接至172.17.1.11节点中的csNode；

1.4、csClient从172.17.1.11节点中的csNode获取元数据节点信息，元数据节点IP为172.17.1.12；

1.5、csClient根据步骤1.4中获取的元数据节点信息连接至172.17.1.12节点中的csMeta；

1.6、csClient从172.17.1.11节点中的csNode获取数据节点信息，数据节点的IP为172.17.1.13；

1.7、csClient根据步骤1.6中获取的数据节点信息连接至172.17.1.13节点中的csData；

1.8、csClient将云存储信息发送至172.17.1.12节点中的csMeta；

1.9、csClient将云存储信息发送至172.17.1.13节点中的csData；

1.10、csClient初始化172.17.1.13节点中的csData；

2、csClient依次获取生产数据；

3、检测步骤2中1000个文件大小为1GB的数据文件是否存在未备份的数据，若是则继续执行，否则执行步骤7；

4、备份数据

4.1、csClient对步骤2获取的数据进行加密或重复数据删除等处理；

4.2、csClient获取步骤2获取的数据的数据信息，包含文件名、文件大小、创建时间、修改时间、文件属性等信息；

4.3、csClient将步骤4.1处理后的数据发送至172.17.1.13节点中的csData；

4.4、172.17.1.13节点中的csData接收步骤4.3发送过来的数据；

4.5、172.17.1.13节点中的csData将步骤4.4接收到的数据进行合并、压缩等处理；

4.6、172.17.1.13节点中的csData将步骤4.5处理后的数据传入172.17.1.13节点中的csCloud；

4.7、172.17.1.13节点中的csCloud并发将传入的数据写入云存储并将存储信息返回csData，存储信息包含对象名称、数据在对象数据中的偏移位置、数据大小等信息；

4.8、172.17.1.13节点中的csData将步骤4.7中数据在云存储的存储信息发送至csClient；

5、记录数据信息及存储信息；

5.1、csClient接收步骤4.7发送过来的存储信息；

5.2、csClient将步骤4.2获取的数据信息和步骤5.1接收的存储信息进行关联；

5.3、csClient将步骤5.2关联后的数据信息和存储信息发送至172.17.1.12节点中的csMeta；

5.4、172.17.1.12节点中的csMeta接收步骤5.3发送过来的数据信息和存储信息；

5.5、172.17.1.12节点中的csMeta对数据信息和存储信息进行组织和处理；

5.6、172.17.1.12节点中的csMeta将步骤5.5处理后的信息存入数据库；

6、继续执行步骤2；

7、结束备份

7.1、172.17.1.12节点中的csMeta将该次备份所记录的数据信息和存储信息传入172.17.1.12节点中的csCloud；

7.2、172.17.1.12节点中的csCloud将步骤7.1传入的数据信息及存储信息写入云存储；

7.3、csClient断开与节点172.17.1.11、172.17.1.12、172.17.1.13的连接；

该云备份系统的数据恢复步骤包括：

1、初始化云备份系统

1.1、加载csClient；

1.2、csClient获取集群主节点信息，主节点IP为172.17.1.11；

1.3、csClient根据步骤1.2中获取的主节点信息连接至172.17.1.11节点中的csNode；

1.4、csClient从172.17.1.11节点中的csNode获取元数据节点信息，元数据节点IP为172.17.1.12；

1.5、csClient根据步骤1.4中获取的元数据节点信息连接至172.17.1.12节点中的csMeta；

1.6、csClient从172.17.1.11节点中的csNode获取数据节点信息，数据节点的IP为172.17.1.13；

1.7、csClient根据步骤1.6中获取的数据节点信息连接至172.17.1.13节点中的csData；

1.8、csClient将云存储信息发送至172.17.1.12节点中的csMeta；

1.9、csClient将云存储信息发送至172.17.1.13节点中的csData；

1.10、csClient初始化172.17.1.13节点中的csData；

2、csClient从172.17.1.12节点中的csMeta读取数据信息及存储信息；

3、检测步骤2是否存在需要恢复的数据，若是则继续执行，否则执行步骤6；

4、恢复数据

4.1、csClient将步骤2获取的存储信息发送至172.17.1.13节点中的csData；

4.2、172.17.1.13节点中的csData接收步骤4.1发送过来的存储信息并解析；

4.3、172.17.1.13节点中的csData将步骤4.2解析后的存储信息传入172.17.1.13节点中的csCloud；

4.4、172.17.1.13节点中的csCloud根据步骤4.3传入的存储信息读取数据并返回至172.17.1.13节点中的csData；

4.5、172.17.1.13节点中的csData对步骤4.4读取的数据进行分解、解压、合并等处理；

4.6、172.17.1.13节点中的csData将步骤4.5处理后数据发送至csClient；

4.7、csClient接收步骤4.6发送过来的数据；

4.8、csClient对步骤4.7接收到的数据进行解密、合并等处理；

4.9、csClient将步骤4.8处理后的数据传入应用；

5、继续执行步骤2；

6、结束恢复，csClient断开与节点172.17.1.11、172.17.1.12、172.17.1.13的连接。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种支持集群的云备份系统，其特征在于，包括：

客户端模块，用于负责获取备份数据；

元数据管理模块，用于负责查询、记录备份数据的存储信息及数据信息；

数据读写模块，用于负责数据的处理、数据读写调度；

节点管理模块，用于负责节点的管理、元数据节点及数据节点的分配；

云存储读写模块，用于负责从云存储读取数据及向云存储写入数据；

服务管理模块，用于负责云备份系统服务的管理。

2.根据权利要求1所述的一种支持集群的云备份系统，其特征在于，所述的节点管理模块包括一个节点客户端及一个节点服务端；

集群中每一个节点均存在节点管理模块，每一个节点的节点客户端均循环的向集群主节点的节点服务端发送自身节点的节点信息，集群主节点的节点服务端根据各个节点发送过来的节点信息分配元数据节点及数据节点。

3.根据权利要求1所述的一种支持集群的云备份系统，其特征在于，所述的元数据节点，用于负责管理元数据的一个节点，一个集群在同一时间只会存在一个元数据节点，当当前的元数据节点宕机后由集群主节点的节点服务端重新分配元数据节点。

4.根据权利要求3所述的一种支持集群的云备份系统，其特征在于，在云备份系统备份和恢复过程中元数据的读写均交由元数据节点的元数据管理模块进行处理。

5.根据权利要求1所述的一种支持集群的云备份系统，其特征在于，所述的数据节点是负责读写数据的一个节点，一个集群在同一时间可能存在一个或多个数据节点，一个备份或恢复任务只会获取一个数据节点。

6.根据权利要求5所述的一种支持集群的云备份系统，其特征在于，所述的在云备份系统备份和恢复过程中数据的读写均交由数据节点的数据读写模块进行处理。

7.一种采用权利要求1所述的支持集群的云备份系统的方法，其特征在于，包括云备份系统的数据备份过程，和云备份系统的数据恢复过程。

8.根据权利要求7所述的方法，其特征在于，所述的云备份系统的数据备份过程具体为：

1)初始化云备份系统；

1.1)加载客户端模块；

1.2)客户端模块获取集群主节点信息；

1.3)客户端模块根据步骤1.2)中获取的主节点信息连接至集群主节点的节点管理模块；

1.4)客户端模块从步骤1.3)中已连接的节点管理模块获取元数据节点信息；

1.5)客户端模块根据步骤1.4)中获取的元数据节点信息连接至元数据节点的元数据管理模块；

1.6)客户端模块从步骤1.3)中已连接的节点管理模块获取数据节点信息；

1.7)客户端模块根据步骤1.6)中获取的数据节点信息连接至数据节点的数据读写模块；

1.8)客户端模块将云存储信息发送至步骤1.5)中已连接的元数据管理模块；

1.9)客户端模块将云存储信息发送至步骤1.7)中已连接的数据读写模块；

1.10)客户端模块初始化步骤1.7)中已连接的数据读写模块；

2)客户端模块获取需要备份的数据；

3)检测步骤2)中是否存在需要备份的数据，若是则继续执行步骤4)，否则执行步骤7)；

4)备份数据；

4.1)客户端模块对步骤2)获取的数据进行加密或重复数据删除处理；

4.2)客户端模块获取步骤2)获取的数据的数据信息；

4.3)客户端模块将步骤4.1)处理后的数据发送至步骤1.7)已连接的数据读写模块；

4.4)数据读写模块接收步骤4.3)发送过来的数据；

4.5)数据读写模块将步骤4.4)接收到的数据进行合并、压缩处理；

4.6)数据读写模块将步骤4.5)处理后的数据传入云存储读写模块；

4.7)云存储读写模块并发将传入的数据写入云存储并将存储信息返回数据读写模块；

4.8)数据读写模块将步骤4.7)中数据在云存储的存储信息发送至客户端模块；

5)记录数据信息及存储信息；

5.1)客户端模块接收步骤4.7)发送过来的存储信息；

5.2)客户端模块将步骤4.2)获取的数据信息和步骤5.1)接收的存储信息进行关联；

5.3)客户端模块将步骤5.2)关联后的数据信息和存储信息发送至步骤1.5)中已连接的元数据管理模块；

5.4)元数据管理模块接收步骤5.3)发送过来的数据信息和存储信息；

5.5)元数据管理模块对数据信息和存储信息进行组织和处理；

5.6)元数据管理模块将步骤5.5)处理后的信息存入数据库；

6)继续执行步骤2)；

7)结束备份；

7.1)元数据管理模块将该次备份所记录的数据信息和存储信息传入云存储读写模块；

7.2)云存储读写模块将步骤7.1)传入的数据信息及存储信息写入云存储；

7.3)客户端模块断开步骤1.3)、步骤1.5)及步骤1.7)中产生的连接。

9.根据权利要求7所述的方法，其特征在于，所述的云备份系统的数据恢复过程具体为：

1)初始化云备份系统；

1.1)加载客户端模块；

1.2)客户端模块获取集群主节点信息；

1.3)客户端模块根据步骤1.2)中获取的主节点信息连接至集群主节点的节点管理模块；

1.4)客户端模块从步骤1.3)中已连接的节点管理模块获取元数据节点信息；

1.5)客户端模块根据步骤1.4)中获取的元数据节点信息连接至元数据节点的元数据管理模块；

1.6)客户端模块从步骤1.3)中已连接的节点管理模块获取数据节点信息；

1.7)客户端模块根据步骤1.6)中获取的数据节点信息连接至数据节点的数据读写模块；

1.8)客户端模块将云存储信息发送至步骤1.5)中已连接的元数据管理模块；

1.9)客户端模块将云存储信息发送至步骤1.7)中已连接的数据读写模块；

1.10)客户端模块初始化步骤1.7)中已连接的数据读写模块；

2)客户端模块从步骤1.5)连接的元数据管理模块读取数据信息及存储信息；

3)检测步骤2)是否存在需要恢复的数据，若是则继续执行步骤4)，否则执行步骤6)；

4)恢复数据；

4.1)客户端模块将步骤2)获取的存储信息发送至步骤1.7)连接的数据读写模块；

4.2)数据读写模块接收步骤4.1)发送过来的存储信息并解析；

4.3)数据读写模块将步骤4.2)解析后的存储信息传入云存储读写模块；

4.4)云存储读写模块根据步骤4.3)传入的存储信息读取数据并返回至数据读写模块；

4.5)数据读写模块对步骤4.4)读取的数据进行分解、解压、合并处理；

4.6)数据读写模块将步骤4.5)处理后数据发送至客户端模块；

4.7)客户端模块接收步骤4.6)发送过来的数据；

4.8)客户端模块对步骤4.7)接收到的数据进行解密、合并处理；

4.9)客户端模块将步骤4.8)处理后的数据传入应用；

5)继续执行步骤2)；

6)结束恢复，客户端模块断开步骤1.3)、步骤1.5)及步骤1.7)中产生的连接。