CN109582443A - 基于分布式存储技术的虚拟机备份系统 - Google Patents

Abstract

本发明属于数据备份技术领域，涉及一种基于分布式存储技术的虚拟机备份系统，该备份系统包括代理端和服务器端，代理端包含磁盘管理模块、通信模块，服务器端包含备份模块、恢复模块、数据存储模块、数据安全模块和虚拟机管理模块分为磁盘管理模块、通信模块、备份模块、恢复模块、数据存储模块、虚拟机管理模块，数据安全模块。本发明的有益效果为：备份虚拟机所需要的时间和空间开销都能有效降低；能在灾难发生时直接使用备份数据，达到即时恢复目的并利用元数据进行异地恢复；能通过备份链信息管理旧备份，快速删除旧备份，释放存储空间；对备份数据实现加密，提高了备份数据的安全性。

Description

基于分布式存储技术的虚拟机备份系统

技术领域

本发明属于数据备份技术领域，涉及一种基于分布式存储技术的虚拟机备份系统。

背景技术

近年来，虚拟化和云计算的浪潮席卷了整个IT行业，引领了IT基础设施的发展以及产业的革新。Openstack作为一个开源的云环境管理平台，可支持几乎所有类型的云环境，因此大量的数据和业务运行在由Openstack创建的虚拟机之上。但Openstack的数据备份存在以下问题：快照备份功能功能单一；备份数据类型没有提供统一的管理；无法进行有效的周期性的自动化备份；备份所消耗的时间和存储空间都较大，并且在灾难发生时不能利用元数据进行异地恢复。由于Openstack在虚拟机备份功能上薄弱的特点，无法可靠保障虚拟机的数据安全，因此寻求安全可靠的备份技术是行业内面临的迫切需求。

发明内容

本发明的目的就是提供一种基于分布式存储技术，能满足对openstack虚拟机根磁盘、临时磁盘、挂载的云硬盘等多种类型的数据备份和统一管理。并且可根据策略实现自动备份、增量备份、多磁盘备份等功能，能有效节省备份时间和存储空间，提供安全性和可靠性的openstack虚拟机备份方法。

本发明提供一种基于分布式存储技术的虚拟机备份系统，该备份系统利用分布式存储技术实现Openstack虚拟机的数据备份，该备份系统包括代理端和服务器端，代理端包含磁盘管理模块、通信模块，服务器端包含备份模块、恢复模块、数据存储模块、数据安全模块和虚拟机管理模块；

磁盘管理模块位于每一个计算节点，用于管理与该备份系统的连接、生成快照、计算快照点Bitmap、读取和写入磁盘数据；

通信模块负责备份服务器与计算节点即代理端的数据通信；

备份模块通过调度其他模块实现虚拟机数据备份功能并建立备份链；

恢复模块通过调度其他模块实现虚拟机数据恢复功能；

数据存储模块负责存储虚拟机数据；

数据安全模块负责对备份数据的压缩和加密，对还原数据的解压和解密；

虚拟机管理模块负责与Openstack的连接并获取虚拟机配置、磁盘列表和路径信息。

优选的，所述磁盘管理模块位于每一个openstack虚拟机计算节点即代理端，用于管理与该备份系统服务器端的连接、生成快照、计算快照点Bitmap、读取和写入磁盘数据；

所述通信模块用于提供备份服务器端与代理端的通信基础，负责备份服务器与不同计算节点之间通信数据包的转发和分配，提供三种数据的传输，分别是：虚拟化平台的命令和返回信息、磁盘操作的处理和回馈、备份恢复数据的请求和传输；

所述备份模块用于数据备份管理；当Openstack云环境加入到备份系统时，会首先通过虚拟机管理模块获取所有虚拟机的状态列表，用户可以选择某台或多台虚拟机创建备份任务，备份任务可分为全量备份、增量备份两种方式，任务创建完成后，后续流程由备份模块控制管理；

所述恢复模块通过调用其他模块控制恢复的流程，通过创建相同配置的新虚拟机并将备份数据写入覆盖到新虚拟机的磁盘，实现整机数据恢复；

所述数据存储模块用于保存虚拟机磁盘快照点的备份数据；存储结构上，按照存储根目录、虚拟机、快照点时间和磁盘的层次划分；数据存储文件保存全量备份点的有效数据或增量快照点的变化数据，所有数据库拥有同样的块大小，按顺序写入数据文件中；

所述数据安全模块用于对虚拟机备份数据进行压缩和加密，对需要恢复的数据进行反向操作，即对数据进行解压和解密。

所述虚拟机管理模块用于处理与Openstack云环境平台的连接、验证用户权限；获取云环境平台的相关信息；创建、删除虚拟机；获取虚拟机配置信息、磁盘列表和路径。

优选的，所述备份模块的备份控制管理过程如下：

1）根据任务类型和状态，如果是全量备份任务，则直接执行全量备份；如果是增量备份任务，找到全量备份作为第一个备份点，后续增量备份点均依赖于前一个备份点执行；

2）通过虚拟机管理模块获取虚拟机的配置信息以及磁盘列表，包括根磁盘、临时磁盘、挂载的云硬盘，获取所有磁盘的存储路径；

3）对于磁盘列表中的每一个磁盘，根据磁盘路径，调用磁盘管理模块创建当前时间点Tn的快照，记录快照的ID信息；

4）通过磁盘管理模块，如果是全量备份点，根据Tn时刻的快照计算每个磁盘的全量数据Bitmap，如果是增量备份点，结合Tn-1和Tn时刻的快照计算每个磁盘的增量数据Bitmap；

5）根据备份任务类型，选择不同的Bitmap用于数据备份，调用通信模块进行传输，调用数据安全模块进行数据压缩加密，调用数据存储模块保存磁盘数据；

6）等待所有磁盘数据备份完成，将虚拟机的配置信息保存至数据库文件；

7）如果是全量备份任务，删除Tn时刻的快照；如果是增量备份任务，删除Tn-1时刻的快照，保留Tn时刻的快照；

8）备份任务完成。

优选的，所述恢复模块的恢复控制管理过程如下：

1）用户选择需要恢复的虚拟机以及时间点；

2）通过虚拟机管理模块获取可恢复到的环境和用户，验证用户拥有的权限范围；

3）获取所选用户的可选网络和可用域，允许用户配置新虚拟机的名称、网络和可用域选项；

4）根据保存的原虚拟机云主机类型和云硬盘挂载信息，调用虚拟机管理模块创建与原虚拟机硬件配置相同的新虚拟机，保证与原机磁盘数量、大小、挂载顺序一致，然后获取新虚拟机的磁盘列表和路径信息；

5）根据磁盘列表，将新虚拟机与原虚拟机的磁盘一一对应，针对每一对磁盘，从数据存储模块，根据所选时间点原磁盘的Bitmap信息依次读取有效数据块，调用数据安全模块解压，再调用磁盘管理模块写入覆盖新磁盘相同的偏移位置；

6）等待所有磁盘数据恢复完成，任务成功。

本发明的有益效果为：基于分布式存储技术的虚拟机备份系统可满足对虚拟机根磁盘、临时磁盘、挂载的云硬盘多类型数据备份；可制定策略并根据策略实现自动备份；备份虚拟机所需要的时间和空间开销都能有效降低；能在灾难发生时直接使用备份数据，达到即时恢复目的并利用元数据进行异地恢复；能通过备份链信息管理旧备份，快速删除旧备份，释放存储空间；对备份数据实现加密，提高了备份数据的安全性。

附图说明

图1是基于分布式存储技术的虚拟机备份系统的总体结构示意图。

具体实施方式

如图1所示，基于分布式存储技术的虚拟机备份系统利用分布式存储技术实现Openstack虚拟机的数据备份，该备份系统包括代理端和服务器端，代理端包含磁盘管理模块、通信模块，服务器端包含备份模块、恢复模块、数据存储模块、数据安全模块和虚拟机管理模块分为磁盘管理模块、通信模块、备份模块、恢复模块、数据存储模块、虚拟机管理模块，数据安全模块。下面详述：

磁盘管理模块位于每一个openstack虚拟机计算节点（以下称代理端），用于管理与本发明软件系统服务器端的连接、生成快照、计算快照点Bitmap、读取和写入磁盘数据等。

通信模块提供备份服务器端与代理端的通信基础，负责备份服务器与不同计算节点之间通信数据包的转发和分配，提供三种数据的传输，分别是：虚拟化平台的命令和返回信息、磁盘操作的处理和回馈、备份恢复数据的请求和传输。

当Openstack云环境加入到备份系统时，会首先通过虚拟机管理模块获取所有虚拟机的状态列表，用户可以选择某台或多台虚拟机创建备份任务，备份任务可分为全量备份、增量备份两种方式，任务创建完成后，后续流程由备份模块控制，备份具体步骤如下：

1）根据任务类型和状态，如果是全量备份任务，则直接执行全量备份；如果是增量备份任务，找到全量备份作为第一个备份点，后续增量备份点均依赖于前一个备份点执行；

2）通过虚拟机管理模块获取虚拟机的详细配置以及磁盘列表，包括根磁盘、临时磁盘、挂载的云硬盘，获取所有磁盘的存储路径。

3）对于磁盘列表中的每一个磁盘，根据磁盘路径，调用磁盘管理模块创建当前时间点Tn的快照，记录快照的ID信息。

4）通过磁盘管理模块，如果是全量备份点，根据Tn时刻的快照计算每个磁盘的全量数据Bitmap，如果是增量备份点，结合Tn-1和Tn时刻的快照计算每个磁盘的增量数据Bitmap。

5）根据备份任务类型，选择不同的Bitmap用于数据备份，调用通信模块进行传输，调用数据安全模块进行数据压缩加密，调用数据存储模块保存磁盘数据。

6）等待所有磁盘数据备份完成，将虚拟机的配置信息保存至数据库文件。

7）如果是全量备份任务，删除Tn时刻的快照；如果是增量备份任务，删除Tn-1时刻的快照，保留Tn时刻的快照。

8）备份任务完成。

恢复模块通过调用其他模块，控制恢复的流程，通过创建相同配置的新虚拟机并将备份数据写入到覆盖到新虚拟机的磁盘，可以实现整机数据恢复。恢复过程中虚拟机需要是关机状态，恢复过程如下：

1）用户选择需要恢复的虚拟机以及时间点；

2）通过虚拟机管理模块获取可恢复到的环境和用户，验证用户拥有的权限范围；

3）获取所选用户的可选网络和可用域，允许用户配置新虚拟机的名称、网络和可用域等选项；

4）根据保存的原虚拟机云主机类型和云硬盘挂载信息，调用虚拟机管理模块创建与原虚拟机硬件配置相同的新虚拟机，保证与原机磁盘数量、大小、挂载顺序一致，然后获取新虚拟机的磁盘列表和路径信息；

5）根据磁盘列表，将新虚拟机与原虚拟机的磁盘一一对应，针对每一对磁盘，从数据存储模块，根据所选时间点原磁盘的Bitmap信息依次读取有效数据块，调用数据安全模块解压，再调用磁盘管理模块写入覆盖新磁盘相同的偏移位置；

6）等待所有磁盘数据恢复完成，任务成功。

数据存储模块负责保存虚拟机磁盘快照点的备份数据。存储结构上，按照存储根目录、虚拟机、快照点时间和磁盘的层次划分。数据存储文件保存全量备份点的有效数据或增量快照点的变化数据，所有数据库拥有同样的块大小，按顺序写入数据文件中。

数据安全模块负责对虚拟机备份数据进行压缩和加密，对需要恢复的数据，进行反向操作，即对数据进行解压和解密。

虚拟机管理模块用于处理与Openstack云环境平台的连接、验证用户权限；获取云环境平台的相关信息；创建、删除虚拟机；获取虚拟机配置信息、磁盘列表和路径等。

本发明的Openstack虚拟机备份系统及方法，是利用分布式存储技术对Openstack虚拟机进行备份的。本发明的虚拟机备份系统及方法可对接Openstack的cinder后端存储、glance的镜像存储和虚拟机的数据存储。

备份时：基于分布式存储技术的快照备份，计算出虚拟机磁盘对象的有效数据或变化数据区域，读取磁盘数据并按快照点的顺序保存至备份服务器，同时保存原虚拟机的硬件配置、元数据等信息，即备份链信息；备份数据时，可实现备份数据压缩加密，实现节约备份时间和存储空间，并增强备份数据的安全性。

恢复时：创建一个配置相同的新虚拟机并将所选快照点的数据恢复到新的磁盘。

本发明的基于分布式存储技术的虚拟机备份系统，利用分布式存储实现对Openstack虚拟机的备份，与Openstack自带的快照备份相比具有以下优点：

1、虚拟机可根据策略实现自动备份；

2、备份虚拟机所需要的时间开销有效降低；

3、备份虚拟机所需要的存储空间开销有效降低；

4、满足对虚拟机根磁盘、临时磁盘、挂载的云硬盘的数据备份；

5、能在灾难发生时直接使用备份数据，达到即时恢复目的；

6、能在灾难发生时利用元数据进行异地恢复；

7、能通过备份链信息管理旧备份，快速删除旧备份，释放存储空间；

对备份数据实现加密，提高了备份数据的安全性。

Claims (4)

1.基于分布式存储技术的Openstack虚拟机备份系统，其特征在于：该备份系统利用分布式存储技术实现Openstack虚拟机的数据备份，该备份系统包括代理端和服务器端，代理端包含磁盘管理模块、通信模块，服务器端包含备份模块、恢复模块、数据存储模块、数据安全模块和虚拟机管理模块；

磁盘管理模块位于每一个计算节点，用于管理与该备份系统的连接、生成快照、计算快照点Bitmap、读取和写入磁盘数据；

通信模块负责备份服务器与计算节点即代理端的数据通信；

备份模块通过调度其他模块实现虚拟机数据备份功能并建立备份链；

恢复模块通过调度其他模块实现虚拟机数据恢复功能；

数据存储模块负责存储虚拟机数据；

数据安全模块负责对备份数据的压缩和加密，对还原数据的解压和解密；

虚拟机管理模块负责与Openstack的连接并获取虚拟机配置、磁盘列表和路径信息。

2.根据权利要求1所述的基于分布式存储技术的Openstack虚拟机备份系统，其特征在于：

所述磁盘管理模块位于每一个openstack虚拟机计算节点即代理端，用于管理与该备份系统服务器端的连接、生成快照、计算快照点Bitmap、读取和写入磁盘数据；

所述通信模块用于提供备份服务器端与代理端的通信基础，负责备份服务器与不同计算节点之间通信数据包的转发和分配，提供三种数据的传输，分别是：虚拟化平台的命令和返回信息、磁盘操作的处理和回馈、备份恢复数据的请求和传输；

所述备份模块用于数据备份管理；当Openstack云环境加入到备份系统时，会首先通过虚拟机管理模块获取所有虚拟机的状态列表，用户可以选择某台或多台虚拟机创建备份任务，备份任务可分为全量备份、增量备份两种方式，任务创建完成后，后续流程由备份模块控制管理；

所述恢复模块通过调用其他模块控制恢复的流程，通过创建相同配置的新虚拟机并将备份数据写入覆盖到新虚拟机的磁盘，实现整机数据恢复；

所述数据存储模块用于保存虚拟机磁盘快照点的备份数据；存储结构上，按照存储根目录、虚拟机、快照点时间和磁盘的层次划分；数据存储文件保存全量备份点的有效数据或增量快照点的变化数据，所有数据库拥有同样的块大小，按顺序写入数据文件中；

所述数据安全模块用于对虚拟机备份数据进行压缩和加密，对需要恢复的数据进行反向操作，即对数据进行解压和解密。

所述虚拟机管理模块用于处理与Openstack云环境平台的连接、验证用户权限；获取云环境平台的相关信息；创建、删除虚拟机；获取虚拟机配置信息、磁盘列表和路径。

3.根据权利要求1所述的基于分布式存储技术的Openstack虚拟机备份系统，其特征在于：所述备份模块的备份控制管理过程如下：

1）根据任务类型和状态，如果是全量备份任务，则直接执行全量备份；如果是增量备份任务，找到全量备份作为第一个备份点，后续增量备份点均依赖于前一个备份点执行；

2）通过虚拟机管理模块获取虚拟机的配置信息以及磁盘列表，包括根磁盘、临时磁盘、挂载的云硬盘，获取所有磁盘的存储路径；

3）对于磁盘列表中的每一个磁盘，根据磁盘路径，调用磁盘管理模块创建当前时间点Tn的快照，记录快照的ID信息；

4）通过磁盘管理模块，如果是全量备份点，根据Tn时刻的快照计算每个磁盘的全量数据Bitmap，如果是增量备份点，结合Tn-1和Tn时刻的快照计算每个磁盘的增量数据Bitmap；

5）根据备份任务类型，选择不同的Bitmap用于数据备份，调用通信模块进行传输，调用数据安全模块进行数据压缩加密，调用数据存储模块保存磁盘数据；

6）等待所有磁盘数据备份完成，将虚拟机的配置信息保存至数据库文件；

7）如果是全量备份任务，删除Tn时刻的快照；如果是增量备份任务，删除Tn-1时刻的快照，保留Tn时刻的快照；

8）备份任务完成。

4.根据权利要求1所述的基于分布式存储技术的Openstack虚拟机备份系统，其特征在于：所述恢复模块的恢复控制管理过程如下：

1）用户选择需要恢复的虚拟机以及时间点；

2）通过虚拟机管理模块获取可恢复到的环境和用户，验证用户拥有的权限范围；

3）获取所选用户的可选网络和可用域，允许用户配置新虚拟机的名称、网络和可用域选项；

4）根据保存的原虚拟机云主机类型和云硬盘挂载信息，调用虚拟机管理模块创建与原虚拟机硬件配置相同的新虚拟机，保证与原机磁盘数量、大小、挂载顺序一致，然后获取新虚拟机的磁盘列表和路径信息；

5）根据磁盘列表，将新虚拟机与原虚拟机的磁盘一一对应，针对每一对磁盘，从数据存储模块，根据所选时间点原磁盘的Bitmap信息依次读取有效数据块，调用数据安全模块解压，再调用磁盘管理模块写入覆盖新磁盘相同的偏移位置；

6）等待所有磁盘数据恢复完成，任务成功。