CN101751474A - 基于集中式存储连续数据保护方法 - Google Patents
基于集中式存储连续数据保护方法 Download PDFInfo
- Publication number
- CN101751474A CN101751474A CN201010011489A CN201010011489A CN101751474A CN 101751474 A CN101751474 A CN 101751474A CN 201010011489 A CN201010011489 A CN 201010011489A CN 201010011489 A CN201010011489 A CN 201010011489A CN 101751474 A CN101751474 A CN 101751474A
- Authority
- CN
- China
- Prior art keywords
- data
- protection
- file
- residual quantity
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 9
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 238000013500 data storage Methods 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000005192 partition Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- 238000011084 recovery Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于集中式存储连续数据保护方法，是在数据传输上使用差量算法对文件进行差异传输，存储上使用镜像与差量结合的方式记录文件的变化，该系统运行在Linux操作系统之上，用户保护的数据及元数据信息直接保存于服务器的文件系统上，系统为每个用户建立元数据目录、存储保护实例列表和用户信息内容，并包含一个指向实际数据存储空间的软连接，时间数据存储空间为不同用户组分配一个单独的目录、逻辑卷或分区，其下为每个用户建立相应的目录，用户目录下每个保护实例建立一个目录，保存该保护实例的所有版本差量数据，本发明是项目组块级和文件级连续数据保护系统的一个重要组成部分，在部分企业关键数据保护业务中，取得良好的效益。
Description
技术领域
本发明涉及一种基于文件的连续数据保护系统，此系统可以实时捕获单个文件的变化，提供任意时间点的文件恢复。在数据的传输上使用的差量算法对文件进行差异传输，存储上使用镜像与差量结合的方式记录文件的变化。该方法有效的利用网络带宽，节约了存储资源。
背景技术
对一个企业来说，数据的安全极为重要。一旦重要的数据被破坏或丢失，就会对企业的日常生成造成重大影响，甚至是难以弥补的损失。企业在进行数据保护时大多采用传统的数据备份技术，如备份、RAID、远程镜像、快照等。这几种方法具有各自的用途，大企业的数据保护一般需要整合这几种方法。然而，传统的数据保护解决方案专注于数据的周期性备份上，因此一直伴随有备份窗口以及对生产系统的影响等问题，很难保证灵活的目标恢复点(Recovery pointobjectives，RPO)及更快的目标恢复时间(Recovery time objectives，RTO)，而RPO和RTO已经成了衡量容灾体系应急能力和数据保护能力的关键性指标。
为了满足用户对数据进行连续保护，以便在灾难发生后能以最快的速度恢复到距故障点最近时刻的需求，连续数据保护(continuous data protection，CDP)技术应运而生。连续数据保护是一种连续捕获和保存数据变化，并将变化后的数据独立与初始数据进行保存的技术，该技术可以实现过去任意一个时间点的数据恢复。
根据实现的层次的不同，连续数据保护技术可以分为如下几类：基于应用的、基于文件的和基于数据块大的连续数据保护三类。其中基于文件的连续数据保护功能作用在文件系统上，它可以捕捉文件系统数据或者元数据的变化事件(例如创建、修改、删除等)，并及时记录文件的变化信息，以便来实现任意时间点的文件恢复。相对基于数据块的连续数据保护系统，文件级实现简单，与特定的文件系统紧耦合。
因此如何提供一种方法，在数据传输上使用差量算法对文件进行差异传输，存储上使用快速有效的记录方式来记录文件的变化，并有效的利用网络带宽节约存储资源是目前数据急剧增加面临的挑战。
发明内容
本发明提供一种基于文件的连续数据保护系统，此系统可以实时捕获单个文件的变化，提供任意时间点的文件恢复。
步骤如下：在数据传输上使用差量算法对文件进行差异传输，存储上使用镜像与差量结合的方式记录文件的变化，该系统运行在Linux操作系统之上，用户保护的数据及元数据信息直接保存于服务器的文件系统上，系统为每个用户建立元数据目录、存储保护实例列表和用户信息内容，并包含一个指向实际数据存储空间的软连接，时间数据存储空间为不同用户组分配一个单独的目录、逻辑卷或分区，其下为每个用户建立相应的目录，用户目录下每个保护实例建立一个目录，保存该保护实例的所有版本差量数据，其中：
1)监控保护实例的变化，维护任务队列和数据差量同步；
2)保护实例的变化在Windows系统中通过FileSystemWatcher类实现；
3)系统通过监控保护实例的OnChanged和OnClosed事件；
4)在保护实例发生变化并关闭后，监控模块向任务队列中插入一个新版本任务；
5)在产生新版本时，系统首先将客户端的最新版本同步至服务器，再由服务器比较两个版本的差异计算出文件差量，Rsync算法是一种有效地比较两个类似文件之间差异的算法，它通过对两个主机上的文件进行一次扫描，准确找到它们之间的差异部分；
6)每次保存最新版本的完整副本，而对较旧版本的数据采用差量方式保存，每次产生新版本时均只需进行一次数据比较即能计算差量，在差量算法上，采用rdiff算法计算出保护实例的不同版本的差量数据，恢复历史版本时，首先要根据各个版本差量计算出所指定的镜像，再将该镜像同步到客户端。
7)服务器针对每个保护实例在服务器上需分配三块存储空间，即历史版本数据区、新版本缓冲区、恢复版本缓冲区，新版本缓冲区保存一份指向当前最新版本镜像文件的硬连接，新版本区和历史版本缓存区在物理上是同一空间，不需要额外的存储空间。
本发明的优异效果是：此系统可以实时捕获单个文件的变化，提供任意时间点的文件恢复。
(1)不增加客户端的存储空间，对本地保护实例不会在磁盘上的另外一个物理位置保存一份历史数据备份。(2)尽量减少本地计算资源。在传送差量时，由于本地监控模块能监控到具体的变化文件，在传输差量时只传输变化文件的差量部分。(3)引入了队列管理，能处理多任务请求，同时能在没有连接网络的时候，依然可以很好记录变化内容，在网络恢复时继续执行任务。连续数据保护技术是对传统数据保护技术的一个重大突破，是数据保护技术的发展趋势。本设计对局域网内的连续数据保护系统方案实现基于文件的连续数据保护系统。该系统是项目组块级和文件级连续数据保护系统的一个重要组成部分，在部分企业关键数据保护业务中，取得良好的效益。
附图说明
附图1是系统部署图；
附图2是客户端提交数据存储图；
附图3是提交新版本数据流程。
具体实施方式
下面参照附图，对本发明的内容以一个具体实例来描述实现这一体系结构的过程。本系统可以实时捕获单个文件的变化，提供任意时间点的文件恢复。
具体步骤如下：
在数据传输上使用差量算法对文件进行差异传输，存储上使用镜像与差量结合的方式记录文件的变化，该系统运行在Linux操作系统之上，用户保护的数据及元数据信息直接保存于服务器的文件系统上，系统为每个用户建立元数据目录，存储保护实例列表、用户信息等内容，并包含一个指向实际数据存储空间的软连接。时间数据存储空间可以为不同用户组分配一个单独的目录、逻辑卷或分区，其下为每个用户建立相应的目录，用户目录下每个保护实例建立一个目录，保存该保护实例的所有版本差量数据。
在本系统中有下面三个特征
(1)不增加客户端的存储空间，对本地保护实例不会在磁盘上的另外一个物理位置保存一份历史数据备份。
(2)尽量减少本地计算资源。在传送差量时，由于本地监控模块能监控到具体的变化文件，在传输差量时只传输变化文件的差量部分。
(3)引入了队列管理，能处理多任务请求，同时能在没有连接网络的时候，依然可以很好记录变化内容，在网络恢复时继续执行任务。
客户端设计的关键是监控保护实例的变化，维护任务队列和数据差量同步。保护实例的变化在Windows系统中通过FileSystemWatcher类实现，本系统通过监控保护实例的OnChanged和OnClosed事件。在保护实例发生变化并关闭后，监控模块想任务队列中插入一个新版本任务。
在产生新版本时，系统首先将客户端的最新版本同步至服务器，再由服务器比较两个版本的差异计算出文件差量。Rsync算法是一种有效地比较两个类似文件之间差异的算法，它通过对两个主机上的文件进行一次扫描，即可准确找到它们之间的差异部分。
每次保存最新版本的完整副本，而对较旧版本的数据采用差量方式保存。这样设计可以在每次产生新版本时均只需进行一次数据比较即可计算差量。在差量算法上，采用rdiff算法计算出保护实例的不同版本的差量数据。恢复历史版本时，首先要根据各个版本差量计算出所指定的镜像，再将该镜像同步到客户端。
服务器针对每个保护实例在服务器上需分配三块存储空间，即历史版本数据区、新版本缓冲区、恢复版本缓冲区。新版本缓冲区保存一份指向当前最新版本镜像文件的硬连接，新版本区和历史版本缓存区在物理上是同一空间，不需要额外的存储空间。
Claims (1)
1.基于集中式存储连续数据保护方法，其特征在于，步骤如下：在数据传输上使用差量算法对文件进行差异传输，存储上使用镜像与差量结合的方式记录文件的变化，该系统运行在Linux操作系统之上，用户保护的数据及元数据信息直接保存于服务器的文件系统上，系统为每个用户建立元数据目录、存储保护实例列表和用户信息内容，并包含一个指向实际数据存储空间的软连接，时间数据存储空间为不同用户组分配一个单独的目录、逻辑卷或分区，其下为每个用户建立相应的目录，用户目录下每个保护实例建立一个目录，保存该保护实例的所有版本差量数据，其中：
1)监控保护实例的变化，维护任务队列和数据差量同步；
2)保护实例的变化在Windows系统中通过FileSystemWatcher类实现；
3)系统通过监控保护实例的OnChanged和OnClosed事件；
4)在保护实例发生变化并关闭后，监控模块向任务队列中插入一个新版本任务；
5)在产生新版本时，系统首先将客户端的最新版本同步至服务器，再由服务器比较两个版本的差异计算出文件差量，Rsync算法是一种有效地比较两个类似文件之间差异的算法，它通过对两个主机上的文件进行一次扫描，准确找到它们之间的差异部分；
6)每次保存最新版本的完整副本，而对较旧版本的数据采用差量方式保存，每次产生新版本时均只需进行一次数据比较即能计算差量，在差量算法上，采用rdiff算法计算出保护实例的不同版本的差量数据，恢复历史版本时，首先要根据各个版本差量计算出所指定的镜像，再将该镜像同步到客户端。
7)服务器针对每个保护实例在服务器上需分配三块存储空间，即历史版本数据区、新版本缓冲区、恢复版本缓冲区，新版本缓冲区保存一份指向当前最新版本镜像文件的硬连接，新版本区和历史版本缓存区在物理上是同一空间，不需要额外的存储空间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010011489A CN101751474A (zh) | 2010-01-19 | 2010-01-19 | 基于集中式存储连续数据保护方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010011489A CN101751474A (zh) | 2010-01-19 | 2010-01-19 | 基于集中式存储连续数据保护方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101751474A true CN101751474A (zh) | 2010-06-23 |
Family
ID=42478453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010011489A Pending CN101751474A (zh) | 2010-01-19 | 2010-01-19 | 基于集中式存储连续数据保护方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101751474A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103164294A (zh) * | 2013-01-30 | 2013-06-19 | 浪潮(北京)电子信息产业有限公司 | 一种实现计算机还原点的系统、装置及方法 |
| CN103237062A (zh) * | 2013-04-10 | 2013-08-07 | 何钦淋 | 文件管理系统及方法 |
| CN103827870A (zh) * | 2011-09-30 | 2014-05-28 | 甲骨文国际公司 | 集群中的有效高速缓存管理 |
| WO2014180348A1 (zh) * | 2013-11-22 | 2014-11-13 | 中兴通讯股份有限公司 | 版本文件去重处理方法及装置 |
| CN105743669A (zh) * | 2014-12-09 | 2016-07-06 | 中兴通讯股份有限公司 | 一种数据通信方法和装置 |
| CN109710453A (zh) * | 2017-10-26 | 2019-05-03 | 深圳市沃土科技有限公司 | 一种连续数据保存方法 |
| CN110019010A (zh) * | 2017-11-14 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 处理方法、装置、设备和机器可读介质 |
| CN110109869A (zh) * | 2018-01-22 | 2019-08-09 | 上海鹰信智能技术有限公司 | 一种快速定位连接设备文档的方法 |
| CN111225248A (zh) * | 2018-11-26 | 2020-06-02 | 中国电信股份有限公司 | 点播内容的管理方法及内容分发网络点播服务器 |
| CN111480154A (zh) * | 2017-11-27 | 2020-07-31 | 斯诺弗雷克公司 | 在数据库系统中的批量数据摄取 |
| CN112464044A (zh) * | 2020-12-09 | 2021-03-09 | 上海爱数信息技术股份有限公司 | 一种文件数据块变化信息监控管理系统及其方法 |
| CN116862117A (zh) * | 2023-09-05 | 2023-10-10 | 深圳市银通商智能卡有限公司 | 一种基于感应式的id卡管理系统及管理方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007109685A2 (en) * | 2006-03-20 | 2007-09-27 | Emc Corporation | High efficiency portable archive |
-
2010
- 2010-01-19 CN CN201010011489A patent/CN101751474A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007109685A2 (en) * | 2006-03-20 | 2007-09-27 | Emc Corporation | High efficiency portable archive |
Non-Patent Citations (2)
| Title |
|---|
| 生拥宏，刘川意，鞠大鹏，汪东升: "《差量存储的集中式文件级连续数据保护方法》", 《计算机科学与探索》 * |
| 穆裕: "《浪潮持续数据保护软件LiveFile》", 《科技浪潮》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103827870A (zh) * | 2011-09-30 | 2014-05-28 | 甲骨文国际公司 | 集群中的有效高速缓存管理 |
| CN103164294A (zh) * | 2013-01-30 | 2013-06-19 | 浪潮(北京)电子信息产业有限公司 | 一种实现计算机还原点的系统、装置及方法 |
| CN103237062A (zh) * | 2013-04-10 | 2013-08-07 | 何钦淋 | 文件管理系统及方法 |
| CN103237062B (zh) * | 2013-04-10 | 2016-01-06 | 何钦淋 | 文件管理系统及方法 |
| WO2014180348A1 (zh) * | 2013-11-22 | 2014-11-13 | 中兴通讯股份有限公司 | 版本文件去重处理方法及装置 |
| CN105743669A (zh) * | 2014-12-09 | 2016-07-06 | 中兴通讯股份有限公司 | 一种数据通信方法和装置 |
| CN109710453A (zh) * | 2017-10-26 | 2019-05-03 | 深圳市沃土科技有限公司 | 一种连续数据保存方法 |
| CN110019010A (zh) * | 2017-11-14 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 处理方法、装置、设备和机器可读介质 |
| CN110019010B (zh) * | 2017-11-14 | 2023-06-13 | 阿里巴巴集团控股有限公司 | 处理方法、装置、设备和机器可读介质 |
| CN111480154B (zh) * | 2017-11-27 | 2022-02-11 | 斯诺弗雷克公司 | 批量数据摄取的方法、系统和介质 |
| CN111480154A (zh) * | 2017-11-27 | 2020-07-31 | 斯诺弗雷克公司 | 在数据库系统中的批量数据摄取 |
| US11294890B2 (en) | 2017-11-27 | 2022-04-05 | Snowflake Inc. | Batch data ingestion in database systems |
| CN110109869A (zh) * | 2018-01-22 | 2019-08-09 | 上海鹰信智能技术有限公司 | 一种快速定位连接设备文档的方法 |
| CN110109869B (zh) * | 2018-01-22 | 2021-01-12 | 上海鹰信智能技术有限公司 | 一种快速定位连接设备文档的方法 |
| CN111225248A (zh) * | 2018-11-26 | 2020-06-02 | 中国电信股份有限公司 | 点播内容的管理方法及内容分发网络点播服务器 |
| CN112464044A (zh) * | 2020-12-09 | 2021-03-09 | 上海爱数信息技术股份有限公司 | 一种文件数据块变化信息监控管理系统及其方法 |
| CN116862117A (zh) * | 2023-09-05 | 2023-10-10 | 深圳市银通商智能卡有限公司 | 一种基于感应式的id卡管理系统及管理方法 |
| CN116862117B (zh) * | 2023-09-05 | 2023-12-19 | 深圳市银通商智能卡有限公司 | 一种基于感应式的id卡管理系统及管理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101751474A (zh) | 基于集中式存储连续数据保护方法 | |
| US11294768B2 (en) | Live browsing of backed up data residing on cloned disks | |
| US11663099B2 (en) | Snapshot-based disaster recovery orchestration of virtual machine failover and failback operations | |
| US11836156B2 (en) | Snapshot replication operations based on incremental block change tracking | |
| US12003581B2 (en) | Enhanced network attached storage (NAS) interoperating with and overflowing to cloud storage resources | |
| US11323531B2 (en) | Methods for backing up virtual-machines | |
| US11061714B2 (en) | System for assignment of proxies for virtual-machine secondary copy operations | |
| US11321195B2 (en) | Hypervisor-independent reference copies of virtual machine payload data based on block-level pseudo-mount | |
| US10963350B2 (en) | Dynamic triggering of block-level backups based on block change thresholds and corresponding file identities using indexing in a data storage management system | |
| US20210271758A1 (en) | Ransomware detection and data pruning management | |
| US11201919B2 (en) | Offline messaging between a repository storage operation cell and remote storage operation cells via an intermediary media agent | |
| US20190108340A1 (en) | Ransomware detection | |
| US20190109870A1 (en) | Ransomware detection and intelligent restore |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| ASS | Succession or assignment of patent right |
Owner name: SHANDONG LANGCHAO HUICAI INVESTMENT HOLDING CO., L Free format text: FORMER OWNER: SHANDONG HIGH-END SERVER + STORAGE RESEARCH INSTITUTE Effective date: 20120925 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 250014 JINAN, SHANDONG PROVINCE TO: 250101 JINAN, SHANDONG PROVINCE |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20120925 Address after: Xinluo Avenue high tech Zone of Ji'nan City, Shandong province 250101 No. 1768 Qilu Software building B block 3 layer Applicant after: Shandong wave color Klc Holdings Ltd Address before: 250014 No. 224 mountain road, Lixia District, Shandong, Ji'nan Applicant before: Shandong High-End Server & Storage Research Institute |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: LANGCHAO ELECTRONIC INFORMATION INDUSTRY CO., LTD. Free format text: FORMER OWNER: SHANDONG LANGCHAO HUICAI INVESTMENT HOLDING CO., LTD. Effective date: 20130724 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20130724 Address after: 250101 Shandong Province, Ji'nan City hi tech Development Zone, Nga Road No. 1036 Applicant after: Langchao Electronic Information Industry Co., Ltd. Address before: Xinluo Avenue high tech Zone of Ji'nan City, Shandong province 250101 No. 1768 Qilu Software building B block 3 layer Applicant before: Shandong wave color Klc Holdings Ltd |
|
| C05 | Deemed withdrawal (patent law before 1993) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20100623 |