CN104932956A - 一种面向大数据的云容灾备份方法 - Google Patents

Abstract

本发明公开的一种面向大数据的云容灾备份方法，包含以下步骤：建立文件块哈希指纹和快照指针实现对文件不同版本的压缩存储备份，同时将文件块指纹传输给私有云存储系统；私有云建立文件块指纹索引数据库，通过MapReduce任务比对哈希指纹来对传输块进行初步去重，对数据块进行细粒度的基于内容的再次分块哈希，通过另一个MapReduce子任务计算数据块的相似度矩阵和块指针分布，统计数据块的访问热度，并将指纹索引数据库与热数据缓存在存储前段，将冷数据以及归档备份数据集中存储并建立版本快照，定时备份在公有云存储系统。本发明的方法，通过缓存指纹库和热数据解决了传统容灾备份中的数据去重技术实时性较差等问题。

Description

一种面向大数据的云容灾备份方法

技术领域

本发明涉及数据备份领域，特别涉及一种面向大数据的云容灾备份方法。

背景技术

以往的数据保护方案都是基于单机设备的数据去重，而数据存储备份网络的发展趋势是大规模的分布式存储网络，多台存储和数据处理设备通过高速通讯线路连接协同提供云存储和高可用服务。海量异构数据的容灾备份通常使用分布式云存储网络，一个备份集以数据块形式分散存储到不同设备，这样好处是可以分担每台设备的负载，提高数据的容错能力，但是可能会有相同的数据块重复存储到不同设备，在云存储网络内堆积大量冗余数据，浪费成倍以上的存储空间，增加巨大的经济开支。分布式云存储网络存在多台存储设备，在接入网络节点部署分布式数据去重系统，集中管理分布式网络中所有设备的重复数据删除工作。本专利研发的容灾备份平台的分布式数据去重功能，不会直接在业务系统所在网络进行，而是部署在云存储网络的二级存储层的VTL、NAS或磁盘阵列等设备。

随着大数据时代的到来，当前企业数据中心管理的数据量已从TB级上升到PB甚至EB级，数据构成越来越复杂，不仅包括常规的关系型结构化数据，也包括半结构或无结构数据。面对日趋复杂的庞大数据集，对备份数据的容量和实时性都有更高的要求。以往的一些如SHA、MD5等重复数据删除技术，对备份数据块进行哈希码序列划分，以进行新旧哈希码对比来找出冗余数据，效率不低，但存在些问题，当存储容量不断增大时，数据块产生的哈希码列表太大，会给内存、系统带来较大的负荷，而且可能产生哈希冲突，会导致有用数据被丢弃(概率较低)。

存储系统通常将数据块哈希指纹存储在指纹数据库用以快速查重和检索，但对于实时性要求较高的在线系统来说，检索会受到存储系统吞吐量瓶颈以及存储介质的I/O性能的限制。目前对于指纹数据库的去重备份方法通常是使用数据库DUMP命令将数据库备份为数据库差异文件，然后对备份的数据库差异文件进行安全性检查，再将其上传到云存储资源池。在资源池内对备份的数据库文件进行重复数据删除，但随着数据库文件的增长，这种差分删除方法也会造成系统性能瓶颈。另一方面利用客户端压缩存储分解存储服务器的高负载问题通常为客户端对输入文件运行重复数据删除程序，用以生成切分数据块与相应的指纹特征值；客户端向派发服务器发送具有指纹特征值的查询要求；派发服务器纪录切分数据块的储存位置；派发服务器根据指纹特征值将查询要求转发至相应的重复数据处理装置；重复数据处理装置判断指纹特征值是否已经存在；若不存在该笔指纹特征值，则重复数据处理装置根据新的指纹特征值将新的切分数据块存储至存储服务端，但此类操作通常加重了客户端的负载。在实践中表明大数据存储系统中数据具有不同的访问热度，通常热数据的访问量和更新率远远超过了一些时间较久的冷数据，在区分数据热度时不可避免要面对大量的数据块的分割和重组，而存储介质的I/O性能和存储网络的带宽通常限制了大数据存储系统的吞吐率。

目前的容灾备份体系通常以私有云上的HDFS为平台，用MapReduce任务实现数据分块和结合了基于内容识别的重复数据删除技术，或者直接将数据存储在公有云，依赖公有云的去重技术和多副本异地容灾策略等，这些方法仅适合离线存储备份服务，通常不能满足现在的实时系统需求。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种面向大数据的云容灾备份方法。

本发明的目的通过以下的技术方案实现：

一种面向大数据的云容灾备份方法，包含以下顺序的步骤：

客户端通过建立文件块哈希指纹和快照指针实现对文件不同版本的压缩存储备份，同时客户端将文件块指纹传输给私有云存储系统；私有云建立文件块指纹索引数据库，通过MapReduce任务比对哈希指纹来对传输块进行初步去重，对数据块进行细粒度的基于内容的再次分块哈希，通过另一个MapReduce子任务计算数据块的相似度矩阵和块指针分布，由HDFS统计数据块的访问热度，并将指纹索引数据库与热数据缓存在存储前段，将冷数据以及归档备份数据集中存储并建立版本快照，定时备份在公有云存储系统实现异地容灾。

所述的面向大数据的云容灾备份方法，具体包含以下步骤：

S1.建立文件存储系统客户端，客户端按照基于内容的分块算法对文件进行分块，对每个数据块生成指纹信息，通过建立数据块快照对文件进行本地压缩存储备份并传输至私有云存储系统；

S2.以控制与传输分离的数据传输方式建立基于HDFS的私有云存储系统，在快速存储介质SSD上创建分布式数据块指纹数据库索引层和块数据缓存层；

S3.通过对数据块指纹的并行检索和相似度计算来实现重复数据删除，运行两个以流水技术相互叠加的MapReduce任务，其中，第一个MapReduce任务实现对数据块指纹的快速索引，在索引未命中时，启动第二个MapReduce任务对数据块进行基于内容识别的相似度计算，生成指纹相似度矩阵和块指针分布进一步增强重复数据删除技术；

S4.在私有云平台上建立基于内容识别的数据分块和统计，在分类基础上对用户访问进行统计，将访问频率较高的数据重组和缓存，重新生成指纹和指针分布，对访问频率较低的数据进行压缩和归档；

S5.建立基于公有云的异地容灾策略，对冷数据的定时归档和对热数据的按计划定时备份，所述冷数据为访问频率较低的数据，热数据为访问频率较高的数据。

所述的客户端以非对称加密技术对客户端数据加密存储，将私钥存储在服务端的密钥数据库，同时建立基于密文的检索系统。这样做的目的是对客户端实行数据保密技术增强安全性，而建立基于密文的检索系统是为了增强检索效率。

所述的客户端对文件进行本地压缩备份，是以MD5压缩技术生成数据块摘要，以库文件的形式提供一组与POSIX和WebDAV规范兼容的接口，模拟出各种已知的应用协议(如WebDAV，CIFS，NFS等)，客户端通过操作系统的统一接口来透明地访问私有云的存储空间。

所述的定时备份具体为：通过将加密之后的私有云存储逻辑卷定时上传到公有云中做备份来实现每周一次或每日一次的数据归档。对于冷数据来说，由于数据未被更改或极少被更改，在公有云内的去重技术支持下，归档将迅速完成，只会影响文件版本快照和少量的变更。对于热数据来说，借助公有云的备份不宜太频繁，大约每周对热数据进行一次公有云备份。当然可以选择其他策略，如设定优先级策略，将数据按照优先级来进行公有云备份。

本发明与现有技术相比，具有如下优点和有益效果：

(1)与传统的私有云数据备份系统相比，本体系下的私有云去重备份层级不但提供了重复数据删除及基于内容的Hash指纹识别，而且通过缓存排序等组织方式让企业的热数据的访问更加有效率。

(2)本体系借助公有云的异地容灾策略在数据加密的基础之上，同时密钥分离保管的方式，降低了传统意义上的公有云容灾面临的数据泄露的风险，并通过加密数据检索来提高访问加密数据的效率。

(3)本体系的三级结构进一步增强了企业数据的可靠性，在私有云内部备份系统异常时，仍可以通过公有云恢复企业数据。

(4)本发明中的三级容灾备份体系，通过缓存指纹库和热数据解决了传统容灾备份中的数据去重技术实时性较差等问题，将传统的容灾备份流程拆分为客户端压缩存储和私有云去重备份两部分，缓解了存储服务器负载过高的问题，在公有云存储系统上增强了异地容灾功能，同时也节省了容灾成本。

附图说明

图1为一种面向大数据的云容灾备份方法的流程图；

图2为图1所述方法的客户端备份流程图；

图3为图1所述方法的私有云去重备份流程图；

图4为图1所述方法的公有云异地容灾备份流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

本发明利用基于内容识别的重复数据删除技术做分布式数据去重。云存储网络的服务端对生产系统的客户端做容灾备份后，读取并提取备份集中数据对象的元数据，存入云存储网络的缓存节点，当有新的元数据进入时，把新旧版本的元数据阵列空间进行对比，如果发现相同版本的元数据，则进一步把数据对象进行逐字节的对比，从而发现变化数据(即使元数据版本相同)。如果数据对象是重复的，给该数据对象分配指针，最后删除数据对象。这样可以避免哈希冲突以及利用元数据间的联系更快查找到重复数据。

如今越来越多的TB级，甚至PB级的数据中心涌现，海量数据容灾需求促进了公有云容灾技术的发展，目前越来越多的公有云提供企业级数据容灾服务，但企业数据量太大，网络带宽有限，我们不能完全依赖公有云来进行企业级容灾，但公有云提供的存储服务又使得我们可以在Internet上随处得到我们需要的企业数据，鉴于此我们提出了面向大数据的三级容灾备份体系，在保证了企业内部私有云的容灾备份的同时又将部分数据推向公有云进行异地存储备份，在这种三级体系结构下，可以开发出适合企业的多重数据保护方案，以及在公有云环境下面向企业数据的文件系统。

本发明的一种面向大数据的云容灾备份方法，通过三级备份容灾体系来提高备份数据的安全性和数据访问性能，从而满足大数据的备份需求。提出的三级备份容灾体系由数据本地压缩备份、私有云内部数据去重备份、公有云的异地容灾备份三级组成。第一级本地备份是指将数据压缩存储在客户端；第二级私有云内部数据复制备份是指将数据从客户端复制到私有云存储，通过数据去重技术降低重复数据存储率，控制与传输分离的数据传输方式提高传输效率，在私有内部实现去重备份；第三级公有云的数据复制备份是指将关键数据复制到公有云中备份，实现异地容灾。

如图2，所述客户端负责对文件的分块压缩存储，以MD5等压缩技术生成数据块摘要，通过非对称加密异地加密存储密钥等方式实现数据安全，以库文件的形式提供一组与POSIX和WebDAV规范兼容的接口，模拟出各种已知的应用协议(如WebDAV，CIFS，NFS等)，客户端可以通过操作系统的统一接口来透明地访问私有云的存储空间。

私有云利用P2P技术将异构存储空间整合在一起，通过一台或多台元数据服务器作为索引服务器，将数据分成多个块，通过块数据服务器进行管理企业现有存储设备的剩余空间。对于元数据服务器来说，每个块数据服务器只是一个存储空间，客户端只需要注册到元数据服务器既可，客户端访问存储空间的过程是：首先访问元数据服务器节点，获取将要与之进行交互的块数据服务器信息；然后直接访问这些块数据服务器完成数据存取，实现控制流和数据流的分离。

如图3，私有云备份依赖于数据去重技术，在我们的体系结构中，数据去重技术由客户端和服务器端共同完成，其中客户端主要包含分块模块、指纹计算模块和数据流发送模块。其中分块模块主要利用固定大小分块算法、基于内容分块算法和滑动窗口分块算法对待处理的文件进行分块，切分成块级别的粒度，能提高重复数据的识别率。指纹计算模块利用md5算法对切分好的数据块计算hash指纹值，用于唯一标识数据块。数据流发送模块负责发送唯一数据块数据到服务端存储。

而服务器端主要包括指纹预取模块、指纹查找模块和存储模块。其中指纹预取模块负责将指纹提前读取到cache中，提高cache命中率，从而提高指纹查找的速度。指纹查找模块用于根据给定指纹到系统指纹库中进行查找。存储模块负责分配唯一的ChunkID以及将块数据写入磁盘。

如图4，为了提高可靠性，我们在企业级私有云备份的基础上，引入了利用公有云的异地容灾策略，借助公有云实现异地容灾需要一个已经连接到公有云存储系统的客户端或云主机，以及较高的传输带宽，通过指定逻辑目录或逻辑卷作为备份单位，也可以把文件作为备份单位，按照计划执行每日备份或每周备份，借助公有云的好处是方便管理和维护，减少企业容灾的开销，增强可靠性。

一种面向大数据的云容灾备份方法，如图1，可按如下步骤进行实施：

步骤一：建立文件存储系统客户端，客户端按照基于内容的分块算法对文件进行分块，对每个数据块生成指纹信息，通过建立数据块快照对文件进行本地压缩备份。

步骤二：以控制与传输分离的数据传输方式建立基于HDFS的私有云存储系统，在快速存储介质SSD上创建分布式数据块指纹数据库索引层和块数据缓存层。

步骤三：通过实现对数据块指纹的并行检索和相似度计算来实现重复数据删除，这需要两个以流水技术相互叠加的MapReduce任务，其中，任务1实现对数据块指纹的快速索引，在索引未命中时，启动任务2对数据块进行基于内容识别的相似度计算，生成指纹相似度矩阵和块指针分布进一步增强重复数据删除技术。

步骤四：在私有云平台上建立基于内容识别的数据分块和统计，这需要一个语义识别模组来实现数据分类，在分类基础上对用户访问进行统计，将访问频率较大的(热)数据重组和缓存，重新生成指纹和指针分布，对访问频率较低的(冷)数据进行压缩和归档。

步骤五：对客户端实行数据保密技术增强安全性，需要以非对称加密技术对客户端数据加密存储，将私钥存储在服务端的密钥数据库，同时为了增强检索效率，需要建立基于密文的检索系统。

步骤六：建立基于公有云的异地容灾策略，该策略主要是对冷数据的定时归档和对热数据的按计划备份。通过将加密之后的私有云存储逻辑卷定时上传到公有云中做备份来实现每周一次或每日一次的数据归档，一般对于冷数据来说，由于数据未被更改或极少被更改，在公有云内的去重技术支持下，归档将迅速完成，只会影响文件版本快照和少量的变更。对于热数据来说，借助公有云的备份不宜太频繁，大约每周对热数据进行一次公有云备份。当然可以选择其他策略，如设定优先级策略，将数据按照优先级来进行公有云备份。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种面向大数据的云容灾备份方法，其特征在于，包含以下顺序的步骤：客户端通过建立文件块哈希指纹和快照指针实现对文件不同版本的压缩存储备份，同时客户端将文件块指纹传输给私有云存储系统；私有云建立文件块指纹索引数据库，通过MapReduce任务比对哈希指纹来对传输块进行初步去重，对数据块进行细粒度的基于内容的再次分块哈希，通过另一个MapReduce子任务计算数据块的相似度矩阵和块指针分布，由HDFS统计数据块的访问热度，并将指纹索引数据库与热数据缓存在存储前段，将冷数据以及归档备份数据集中存储并建立版本快照，定时备份在公有云存储系统实现异地容灾。

2.根据权利要求1所述的面向大数据的云容灾备份方法，其特征在于，该方法具体包含以下步骤：

S1.建立文件存储系统客户端，客户端按照基于内容的分块算法对文件进行分块，对每个数据块生成指纹信息，通过建立数据块快照对文件进行本地压缩存储备份并传输至私有云存储系统；

S2.以控制与传输分离的数据传输方式建立基于HDFS的私有云存储系统，在快速存储介质SSD上创建分布式数据块指纹数据库索引层和块数据缓存层；

S3.通过对数据块指纹的并行检索和相似度计算来实现重复数据删除，运行两个以流水技术相互叠加的MapReduce任务，其中，第一个MapReduce任务实现对数据块指纹的快速索引，在索引未命中时，启动第二个MapReduce任务对数据块进行基于内容识别的相似度计算，生成指纹相似度矩阵和块指针分布进一步增强重复数据删除技术；

S4.在私有云平台上建立基于内容识别的数据分块和统计，在分类基础上对用户访问进行统计，将访问频率较高的数据重组和缓存，重新生成指纹和指针分布，对访问频率较低的数据进行压缩和归档；

S5.建立基于公有云的异地容灾策略，对冷数据的定时归档和对热数据的按计划定时备份，所述冷数据为访问频率较低的数据，热数据为访问频率较高的数据。

3.根据权利要求1所述的面向大数据的云容灾备份方法，其特征在于：所述的客户端以非对称加密技术对客户端数据加密存储，将私钥存储在服务端的密钥数据库，同时建立基于密文的检索系统。

4.根据权利要求1所述的面向大数据的云容灾备份方法，其特征在于：步所述的客户端对文件进行本地压缩存储备份，是以MD5压缩技术生成数据块摘要，以库文件的形式提供一组与POSIX和WebDAV规范兼容的接口，模拟出各种已知的应用协议，客户端通过操作系统的统一接口来透明地访问私有云的存储空间。

5.根据权利要求1所述的面向大数据的云容灾备份方法，其特征在于：所述的定时备份具体为：通过将加密之后的私有云存储逻辑卷定时上传到公有云中做备份来实现每周一次或每日一次的数据归档。