CN102316131A - 云平台系统智能备份 - Google Patents

Abstract

本发明提出了一种云平台系统数据智能备份方法。本方法在吸收了目前关键备份技术的思想后，提供一种可靠有效的云平台系统数据备份的技术。首先使用数据库DUMP命令将数据库备份为数据库差异文件，然后对备份的数据库差异文件进行安全性检查，再将其上传到云存储资源池。在资源池内对备份的数据库文件进行重复数据删除，最后向用户提交备份报告。可以使用工具定期对数据库完成备份和检查。该方法对防止云平台系统数据容灾(指各种原因造成的数据损坏、丢失、误操作)，以及灾后数据恢复有着十分重要的意义。

Description

云平台系统智能备份

技术领域

本发明专利属于云计算领域，涉及网络存储系统。用于支撑大规模云计算环境下数据的容灾备份与恢复，并且高效利用存储资源，合理分配网络资源。

背景技术

如今的数据中心越来越复杂，不仅系统规模每年翻番，系统的复杂性及面临的风险也与日俱增，另一面，业务部门对业务连续运行的要求却是不断提高的，甚至越来越多的系统要求“零数据丢失”。为了提高数据的安全性，作为数据保护的最后一道防线-备份的重要性就不言而喻了。但是根据国际知名调研机构对世界五百强大企业的技术主管的回访记录和巡检记录来看，大部分企业用户的平均备份成功率在75％左右。事实上，我们还注意到很多时候的备份成功率小于50％，恢复率就更低。一方面我们面临的实际情况是每天需要备份的数据量在增长，但在另一方面，备份系统预算的增长却远远小于这个速度。为了应对这一现实所带来的问题，本专利提供了一种智能备份的方法，在保障数据可靠性，可恢复性的同时，也达到充分利用、合理调度系统资源的目的。

发明内容

传统的网络备份特性为共享，无法提供数据及传输加密服务，重要数据、信息和私密文件等只能通过本地磁盘或移动存储备份。一方面，随着信息化进程的深入，各行各业对数据的依赖性，数据本身的重要性，都对容灾备份，容灾恢复提出了迫切的要求。另一方面，现有技术对存储资源利用效率低下，无法有效的支持云计算环境下大规模，海量数据的备份要求。为了克服上述问题，本发明专利提供一种有效安全的云平台智能备份系统设计方案。

采用以下的技术解决方案：

云平台智能备份系统在对数据进行备份的过程中，会进行一定的压缩和加密，这种压缩和加密主要是提高单位存储容量可以包含的信息，同时在内网(云系统内部)进行数据传输时提高对资源的利用率。这种压缩和加密是以不妨害有关部门的必要监管为前提的。根据数据的规模，重要性，及其使用对象，本专利能提供异地，异机的备份服务，从而提高数据在重大灾害和事故面前的可恢复性。本专利也支持各种不同的备份策略，包括一(中心)对一(用户)，一(中心)对多(用户)，多(中心)对一(用户)，多(中心)对多(用户)的备份机制，这样可以为不同的用户提供其所需的容灾可靠性级别。

云平台智能备份系统按照需要来做备份内容，提高存储资源的有效利用。当数据更新时，系统记录用户的操作，并记录数据的差异。以最常见的数据库数据为例，系统使用数据库DUMP命令将数据库备份为数据库差异文件，然后对备份的数据库差异文件进行安全性检查，再将其上传到云存储资源池。在资源池内对备份的数据库文件进行重复数据删除，最后向用户提交备份报告。这种方法节省了对数据存储部分大量且却不必要的I/O操作，而是通过版本管理的方式，通过记录对数据的操作和改变，来实现备份。由于历史数据的变化可以通过原始数据备份加上操作和差异文件一一重现，这样就不需要每次修改都为备份做一次更新，对于某些需要长期保留历史数据的用户来说也不需要存储每一个不同的历史版本。具体来说，对于数据操作，不必对操作后的数据进行再次备份，而是(在上一个版本的基础上)以操作记录和差异文件的形式备份下来(上一个版本的数据不必复制一遍)；系统可以定期，或者在历史操作数据针与差异文件已经累积到一定程度的时候(这个标准可以根据具体应用背景来决定，一个简单的标准可以是“当历史操作数据和差异文件的大小已经超过数据库数据的大小的时候”)，进行一次备份版本升级，产生一个新版本的备份数据库和当前的数据完全一致，以后的数据操作和改变都会基于新版本的数据和数据备份来进行。

云平台智能备份系统可进行有效的资源整合。这些资源包括存储资源和网络带宽资源。一个正常运营的云计算系统中，用户数据只占很小部分，大量的信息是用户对数据的操作和用户执行的应用，这一特点不仅是由于云计算系统以虚拟化的方式向用户提供资源，同时也是云计算系统安全性和可管理性的要求。本专利中的智能备份系统针对磁盘I/O以及带宽资源的的限制，可以对有限的资源加以分时复用。具体来说，对于用户提交的数据操作，特别是涉及数据复制，移动等需要大量磁盘I/O和传输带宽的操作，系统在记录用户操作后，根据资源当时使用的情况，现在逻辑上完成操作，并反馈给用户。随后，当物理资源有空闲的时候，把逻辑上完成的操作进行物理实现。这个过程首先要保证数据完整性，一致性的要求。所以，对于针对同一个数据的并发访问和操作，在逻辑层完成并发控制和完整性检验。只有当所有操作完成，并通过完整性检验后，才会被确认并排入等待物理实现的队列。这些等待物理实现的信息本身也会被系统暂存备份在云存储池中，以防止硬件故障造成操作信息的丢失。

具体实施方式

技术实现方案：

1)备份虚拟化技术引入及部署-建立一个可扩展的基础架构

在云备份架构中将备份SA(System Architecture体系结构)从生产SA分离出来，使得原有数据中心中，那些分散在各个应用系统中的备份设备通过备份SA虚拟化地呈现给整个数据中心，形成了一个集中的备份资源池。同时备份的SA可以根据业务的变化，备份任务的变化灵活的扩展和回收，实现了备份资源的灵活调度和灵活的缩放，对生产SA没有任何影响。

2)一个共享的、弹性的备份架构

基于云备份架构上的各个关键要素——数据、网络、存储资源，分别细化、组合、封装，最后形成备份服务。对不同的用户来说，云备份架构可以根据他们不同的需求，特别是备份可靠性级别以及数据存储生命周期，来定制相应的备份服务方案，不同服务标准的备份作业会自动寻找合适的存储资源，备份数据也可以根据设定的数据存储生命周期在存储资源间进行流动。

3)操作记录和完整性检验

用户操作和应用的记录都会被详细的记录下来，作为云系统庞大的日志的一部分，这些用户操作记录构成了智能备份的核心。围绕着这些操作，首先在逻辑上满足数据完整性、一致性的检验，这种检验参照事务流程的模式，即只有当一系列相关联的操作一起提交后才进行检验，而不是逐步检验。为此，对于完整性相关的数据，特别是数据库数据，需要调用相应的完整性规则信息。操作记录本身和系统日志一样，会被物理保存于云存储池中。

4)版本控制和差异文件

差异文件记录的是当前的数据和前一个版本数据上的差别信息。这些信息和用户操作一起构成智能备份的实体。完整地恢复最近版本地数据需要上一个版本的数据加上差异文件和操作记录(一般来说，差异文件本身就已经足够，操作记录可以用来验证恢复的结果)。版本控制就是要记录数据不同版本的版本信息，并且根据用户的需要，定期或按照指定规则来更新实际备份的数据。一个典型的例子就是，当操作记录和差异文件大过数据文件本身的时候，我们可以将这些内容变成一个新版本的备份数据。至于是否代替原有的备份数据，则取决于用户所要求的数据存储生命周期。

5)统一调度的任务管理

用户提交的操作一般来说不会马上得到物理实现，而是以操作记录的方式暂时存储下来，这些操作被逻辑实现，并迅速反馈结果给用户，物理操作通常会先排在任务队列里，被系统统一调度。任务本身根据用户的不同，任务性质的不同，等待时间的不同，需求资源(I/O资源和带宽资源)的不同而拥有不同的优先级别和调度策略。

6)数据压缩，加密和解压缩，解密模块

数据在提交存储池之前，都会被压缩，加密，这些压缩和加密算法可以按照用户要求定制，并向有关部门报备。算法本身并不属于本专利的一部分，本专利所提供的是一个可以面向不同用户的压缩/解压缩，加密/解密模块。这个模块不止是为了提高存储和传输的效率，也是为了增强数据传输过程中的私密性，更重要的是，这个模块也给公共云环境的有关部门的监管提供接口。

Claims (4)

1.一种云平台系统智能备份服务，其特征在于：

通过集群应用、网格技术或分布式文件系统等功能，将大量不同类型的存储设备通过应用软件整合并协同工作，共同对外提供数据存储备份和业务访问的功能服务。

2.一种权力要求1中系统环境下高可靠性的容灾保护机制，其特征在于：

上传到云存储资源池的数据，根据用户需要进行异地、异机数据备份。在不妨害必要监管的前提下，备份数据被压缩和加密。依据实际需求，可实现一(中心)对多(用户)、多(中心)对多(用户)、多(中心)对一(用户)等不同备份方案。

3.一种权力要求1中系统环境下备份数据管理机制，其特征在于：

按需确定备份内容；参照代码管理的思想对原始数据、备份数据以及不同版本备份数据之间进行版本管理：①使用数据库DUMP命令将数据库备份为数据库差异文件②对备份的数据库差异文件进行安全性检查③将其上传到云存储资源池并对备份的数据库文件进行重复数据删除④向用户提交备份报告。

4.一种权力要求1中系统环境下文件传输机制，其特征在于：

根据网络传输资源的实际情况，数据恢复或异地备份时的数据传输请求会被有效处理。具体实现方式为：用户提交文件传输请求时，智能备份系统记录其操作内容，若网络空闲，则立即进行传输至任务结束；若网络繁忙，则首先完成逻辑传输操作并迅速响应，用户之后的操作同样被记录，等到网络空闲，智能备份系统优化用户之前提交的一系列操作，上传数据操作的结果和操作日志，把之前在逻辑上完成的内容在物理设备上实现。