CN102331955B - 一种多时间粒度的数据备份方法 - Google Patents
一种多时间粒度的数据备份方法 Download PDFInfo
- Publication number
- CN102331955B CN102331955B CN 201110270306 CN201110270306A CN102331955B CN 102331955 B CN102331955 B CN 102331955B CN 201110270306 CN201110270306 CN 201110270306 CN 201110270306 A CN201110270306 A CN 201110270306A CN 102331955 B CN102331955 B CN 102331955B
- Authority
- CN
- China
- Prior art keywords
- data
- snapshot
- module
- storage area
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种多时间粒度的数据备份方法，包括以下步骤：步骤1、系统主控模块进行初始化处理；步骤2、数据同步模块进行源端数据同步处理；步骤3、前端接收模块接收源端的数据流，读取读取数据块、位置信息和时间戳信息并填入记录的数据结构中，此时，如果增量存储文件空间已满则进行快照生成处理，如果增量存储区域内可用文件数量小于最少可用个数则进行快照回收处理，然后将新数据流写入到增量存储区域的可用文件中。本发明有效地将定时备份方法和CDP备份方法结合在一起，提高了CDP服务器端的读写效率和并发性，同时支持对源端数据的定时、实时不同时间粒度的数据备份方法，提供了离线备份功能，保证了CDP服务器上数据的安全。
Description
技术领域
本发明属于数据备份技术领域，尤其是一种多时间粒度的数据备份方法。
背景技术
目前，现有的数据备份类方法主要包括定时备份方法和CDP(持续数据保护)备份方法。
定时备份方法：通过备份代理和备份服务器来实现，通过在备份服务器上设定备份任务，备份代理每隔一定时间(时间粒度至少为1小时)对数据(包括文件和数据库)进行备份，备份介质可以为在线磁盘或离线磁带库，恢复时由备份代理在备份服务器的控制下从在线磁盘或离线磁带库调用备份过的数据进行恢复，恢复的时间粒度由需要恢复的数据量而定，一般在几十分钟到几个小时之间。定时备份方法的缺点是：对数据备份的时间粒度过大，不能对数据进行实时保护，数据恢复速度慢。
CDP备份方法：通过CDP代理端和CDP服务器来实现，CDP代理端通过对底层卷或裸设备写IO的捕获和复制，获得需要保护卷或裸设备中变化的数据块，然后加入控制信息传输到CDP服务器端，在CDP服务器端存储变化的数据块，同时保留原有的数据块，这样CDP服务器端就不仅保留了当前时刻的数据，而且记录了以前的数据，它实际上反映了数据的变化历史，允许将数据回滚到以前的某个时刻。CDP备份方法能够实时记录数据(包括文件和数据库)的变化，可以使数据备份的时间粒度减少到秒级，数据恢复时，可以直接加载CDP备份过的数据，时间粒度不受需要恢复的数据量的限制，一般在几分钟-几十分钟之间。CDP备份方法要求实现对随机IO读写的高速访问。CDP备份方法的缺点是：多采用先读出原有数据块、将原有数据块写入另外区域、写入变化数据块的方式实现，增加了CDP服务器端读写的次数，降低了性能；对历史数据的记录占用了大量的CDP服务器端存储空间，为了降低对存储空间的占用，使得CDP服务器端只能记载几天到一周的数据，对于再早的数据不能提供保护；备份的数据全部存储在CDP服务器上，一旦发生问题，则会失去所有备份过的数据。
综上所述，现有的数据备份方法普遍存在安全性差、工作效率低等问题，不能有效地对数据进行实时保护，如果用户需要完善的数据备份方案，往往需要购买定时备份产品和CDP两套不同的产品，增加了用户的采购成本和维护压力。
发明内容
本发明的目的在于克服现有技术的不足，提供一种安全性好、工作效率高并能够有效地对数据进行实时保护的多时间粒度的数据备份方法。
本发明解决现有的技术问题是采取以下技术方案实现的：
一种多时间粒度的数据备份方法，包括以下步骤：
步骤1：系统主控模块进行初始化处理；
步骤2：数据同步模块进行源端数据同步处理；
步骤3：前端接收模块接收源端的数据流，读取读取数据块、位置信息和时间戳信息并填入记录的数据结构中，此时，如果增量存储文件空间已满则进行快照生成处理，如果增量存储区域内可用文件数量小于最少可用个数则进行快照回收处理，然后将新数据流写入到增量存储区域的可用文件中。
而且，还包括一定时器处理步骤，该定时器处理步骤通过定时器模块判断快照生成触发时间或快照回收触发时间是否达到，当到达快照生成触发时间或快照回收触发时间时，分别触发快照生成处理和快照回收触处理。
而且，所述步骤1包括系统主控模块进行系统参数的设定、创建镜像存储区域和增量存储区域、调用数据同步模块并且启动前端接收模块和定时器模块的处理过程。
而且，所述步骤2包括将源端数据同步到镜像存储区域中并且生成当前镜像存储区域的一个只读快照的处理过程。
而且，所述的快照生成处理包括以下处理步骤：
(1)将增量存储区域内记录写入镜像存储区域；
(2)生成当前镜像存储区域的一个只读快照。
而且，所述快照回收处理包括以下处理步骤：
(1)搜索创建时间最早的一个文件和与之对应的快照；
(2)加载对应的快照，进行离线磁带备份；
(3)删除最早的一个文件和与之对应的快照。
本发明的优点和积极效果是：
本发明有效地将定时备份方法和CDP备份方法结合在一起，其将CDP代理端产生的数据按顺序写入前端接收模块，将随机IO模式转变为顺序IO模式，并且通过对SSD(固态硬盘)的支持，提高了CDP服务器端的读写效率和并发性，同时支持对源端数据的定时、实时不同时间粒度的数据备份方法，提供了离线备份功能，保证了CDP服务器上数据的安全。
附图说明
图1是本发明的应用拓扑图；
图2是本发明的处理模块连接示意图；
图3是本发明的处理过程示意图；
图4是快照生成处理方法示意图；
图5是快照回收处理方法示意图；
图6是初始化处理流程图；
图7是数据同步处理流程图；
图8是前端接收处理流程图；
图9是定时处理流程图；
图10是快照生成处理流程图；
图11是快照回收处理流程图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
一种多时间粒度的数据备份方法，是在图1所示的网络拓扑结构上实现的，该网络拓扑结构包括客户端、CDP服务器、CDP代理端、磁带机、光纤交换机，客户端、CDP服务器、CDP代理端、磁带机、光纤交换机连接在一起组成千兆以太网。在CDP服务器中安装有本发明的多时间粒度的数据备份软件，该CDP服务器使用X86 PC服务器或SPARC小型机，其采用的ZFS(Zettabyte File System)文件系统。
本发明以CDP代理端(源端)至CDP服务器的数据流作为数据输入，以CDP服务器输出到离线磁带库的备份数据数据流作为数据输出，从而完成将源端至离线磁带库的数据备份功能。为此，本发明利用硬件平台磁盘已有存储空间，划分出两块特定的系统用存储区域：一块区域为镜像存储区域：该区域用于存储某一时刻源端数据的全部备份版本，存储方式为裸设备存储方式；另一块区域为增量存储区域：该区域用于存储一定时间内源端数据的增量备份版本，存储方式为一组固定大小的文件。
如图2所示，本发明包括以下功能处理模块：
1、系统主控模块：初始化并协调调度各个子模块；
2、前端接收模块：以后台进程的方式运行，用于实时接收源端传输过来的数据流(变化的数据块、位置信息和时间戳信息)，填入到一个数据结构中(记录)并存储到增量存储区域的一个文件中；
3、快照生成模块：按照一定算法和机制生成镜像存储区域的只读快照；
4、快照回收模块：按照一定算法和机制生成回收镜像存储区域的只读快照；
5、数据同步模块：将源端数据同步到镜像存储区域；
6、定时器模块：以后台进程的方式运行，用于触发快照生成模块或快照回收模块。
一种多时间粒度的数据备份方法，包括以下步骤：
步骤1：系统主控模块进行初始化处理
在本步骤中，系统主控模块进行系统参数的设定、创建镜像存储区域和增量存储区域、调用数据同步模块并且启动前端接收模块和定时器模块。
步骤2：数据同步模块进行源端数据同步处理
在本步骤中，数据同步模块主要将源端数据同步到镜像存储区域中，生成当前镜像存储区域的一个只读快照。
步骤3：前端接收模块接收新数据流并将新数据流写入到增量存储区域的可用文件中
在本步骤中，前端接收模块接收源端的数据流，读取读取数据块、位置信息和时间戳信息，填入记录的数据结构中，判断增量存储文件空间是否已满或增量存储区域内可用文件数量是否小于最少可用个数，如果增量存储文件空间已满则进行快照生成处理，如果增量存储区域内可用文件数量小于最少可用个数则进行快照回收处理，然后将新数据流写入到增量存储区域的可用文件中。
本数据备份方法还包括一个定时器处理步骤，快照生成处理和快照回收处理除了按照上述实时方式触发外，还可以通过定时器处理步骤通过定时方式触发，即通过设定快照生成触发时间和快照回收触发时间，当定时器模块判断快照生成触发时间到或快照回收触发时间到时，分别触发快照生成处理和快照回收触处理。
如图4所示，快照生成处理主要完成以下任务：
1、将增量存储区域内记录写入镜像存储区域；
2、生成当前镜像存储区域的一个只读快照。
如图5所示，快照回收处理完成以下任务：
1、搜索创建时间最早的一个文件和与之对应的快照；
2、加载对应的快照，进行离线磁带备份；
3、删除最早的一个文件和与之对应的快照。
通过上述步骤即可实现实时和定时数据备份功能。
下面结合在CDP服务器上的多时间粒度的数据备份软件的流程图，详细软件中各个模块的处理过程。
一、初始化
如图6所示，初始化包括以下步骤：
1、初始化设定镜像存储区域大小和位置，创建镜像存储区域；
2、初始化设定增量存储区域文件总个数、最少可用个数、每个文件的大小和位置，创建增量存储区域；增量存储区域的介质如果采用SSD(固态硬盘)会有更好的效果；
3、调用数据同步模块；
4、启动前端接收模块；
5、启动定时器模块。
二、数据同步模块
如图7所示，数据同步模块包括以下步骤：
1、通知源端暂停应用；
2、将源端数据同步到镜像存储区域中；
3、打开增量存储区域内的下一个可用的文件；
4、在可用文件开始位置添加快照标志位，并置快照标志位为1，后面采用伪数据填充记录数据结构；
5、生成当前镜像存储区域的一个只读快照，名称为：marst-TS(TS：系统当前时间)；
三、前端接收模块
如图8所示，前端接收模块包括以下步骤：
1、等待新数据块的到来；
2、当新数据流到来时，读取数据块、位置信息和时间戳信息，填入记录的数据结构中；
3、判断当前可用文件是否还用存储空间，如有转到步骤4，没有转到步骤5；
4、添加快照标志位，置快照标志位为0，将记录添加到增量存储区域内当前打开的文件中，转到步骤1；
5、调用快照生成模块和/或快照回收模块；
6、关闭当前可用文件，打开下一个可用的文件，转到步骤4。
四、定时器模块
如图9所示，定时器模块包括以下步骤：
1、设定快照生成模块和快照回收模块触发的时间间隔；
2、启动快照生成模块定时器；
3、启动快照回收模块定时器；
4、快照生成模块触发时间间隔是否已到，是调用快照生成模块，转到步骤5；否转到步骤5；
5、快照回收模块触发时间间隔是否已到，是调用快照回收模块，转到步骤4；否转到步骤4。
五、快照生成模块
如图10所示，快照生成模块包括以下步骤：
1、记录当前系统时间：t；
2、定位到增量存储区域内当前打开的文件中最近一次快照标志为1的记录：*loc；
3、计算*loc之后的记录中时间戳＜t的记录个数N；
4、*loc++，N-；
5、将记录中的数据块按照位置信息写入当前镜像存储区域的对应位置中；
6、判断N＝0？是则将记录中快照标志置1，提取时间戳为TS，转到步骤7；否，转到步骤4；
7、生成当前镜像存储区域的一个只读快照，名称为：marst-TS；
8、结束。
六、快照回收模块
如图11所示，快照回收模块包括以下步骤：
1、增量存储区域内可用文件数量＜最少可用个数？是，转到步骤2，否，转到步骤8；
2、搜索增量存储区域内创建时间最早的一个文件；
3、定位最早的文件到最后一条记录，读取记录的时间戳信息ts；
4、计算只读快照中TS＜＝ts的只读快照(TS：快照创建时名称中的时间信息)数量：M；
5、M--，加载只读快照，进行离线磁带库备份；
6、M＝0？是，转到步骤7，否，转到步骤5；
7、删除该文件，创建一个新的可用文件；
8、结束。
本发明所述的实施例是说明性的，而不是限定性的，因此发明并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
Claims (4)
1.一种多时间粒度的数据备份方法，其特征在于：包括以下步骤：
步骤1：系统主控模块进行初始化处理；
步骤2：数据同步模块进行源端数据同步处理；
步骤3：前端接收模块接收源端的数据流，读取读取数据块、位置信息和时间戳信息并填入记录的数据结构中，此时，如果增量存储文件空间已满则进行快照生成处理，如果增量存储区域内可用文件数量小于最少可用个数则进行快照回收处理，然后将新数据流写入到增量存储区域的可用文件中；
所述快照生成处理包括以下步骤：
⑴将增量存储区域内记录写入镜像存储区域；
⑵生成当前镜像存储区域的一个只读快照；
所述快照回收处理包括以下步骤：
⑴搜索创建时间最早的一个文件和与之对应的快照；
⑵加载对应的快照，进行离线磁带备份；
⑶删除最早的一个文件和与之对应的快照。
2.根据权利要求1所述的一种多时间粒度的数据备份方法，其特征在于：还包括一定时器处理步骤，该定时器处理步骤通过定时器模块判断快照生成触发时间或快照回收触发时间是否达到，当到达快照生成触发时间或快照回收触发时间时，分别触发快照生成处理和快照回收触处理。
3.根据权利要求1或2所述的一种多时间粒度的数据备份方法，其特征在于：所述步骤1包括系统主控模块进行系统参数的设定、创建镜像存储区域和增量存储区域、调用数据同步模块并且启动前端接收模块和定时器模块的处理过程。
4.根据权利要求1或2所述的一种多时间粒度的数据备份方法，其特征在于：所述步骤2包括将源端数据同步到镜像存储区域中并且生成当前镜像存储区域的一个只读快照的处理过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110270306 CN102331955B (zh) | 2011-09-14 | 2011-09-14 | 一种多时间粒度的数据备份方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110270306 CN102331955B (zh) | 2011-09-14 | 2011-09-14 | 一种多时间粒度的数据备份方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102331955A CN102331955A (zh) | 2012-01-25 |
| CN102331955B true CN102331955B (zh) | 2012-12-19 |
Family
ID=45483739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110270306 Active CN102331955B (zh) | 2011-09-14 | 2011-09-14 | 一种多时间粒度的数据备份方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102331955B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514063B (zh) * | 2012-06-21 | 2017-02-01 | 浙江大华技术股份有限公司 | 一种flash数据处理方法以及装置 |
| CN102819615A (zh) * | 2012-08-30 | 2012-12-12 | 天津火星科技有限公司 | 一种基于应用快照的数据库持续数据保护方法 |
| CN103064766B (zh) * | 2013-01-07 | 2015-04-22 | 天津火星科技有限公司 | 一种持续数据保护技术中数据快速同步方法 |
| CN105138426B (zh) * | 2015-08-20 | 2018-04-13 | 浪潮(北京)电子信息产业有限公司 | 一种基于快照的业务级数据一致性保护方法及装置 |
| CN105511986A (zh) * | 2015-12-07 | 2016-04-20 | 上海爱数信息技术股份有限公司 | 一种基于磁带库的数据保护系统和方法 |
| CN107391312B (zh) * | 2017-07-31 | 2020-11-24 | 苏州浪潮智能科技有限公司 | 数据云备份方法及系统 |
| CN107885616A (zh) * | 2017-09-29 | 2018-04-06 | 上海爱数信息技术股份有限公司 | 一种基于文件系统解析的海量小文件备份恢复方法 |
| CN107632792A (zh) * | 2017-10-13 | 2018-01-26 | 郑州云海信息技术有限公司 | 云数据系统中管理虚拟磁盘的方法和装置 |
| CN107918650A (zh) * | 2017-11-14 | 2018-04-17 | 郑州云海信息技术有限公司 | 一种快照创建方法、装置、系统及计算机可读存储介质 |
| CN112269681A (zh) * | 2020-10-16 | 2021-01-26 | 苏州浪潮智能科技有限公司 | 一种持续保护虚拟机数据的方法、装置及设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6665815B1 (en) * | 2000-06-22 | 2003-12-16 | Hewlett-Packard Development Company, L.P. | Physical incremental backup using snapshots |
| US7546428B1 (en) * | 2004-07-01 | 2009-06-09 | Emc Corporation | Computer architecture for managing replication of data in a data storage environment |
| CN100464334C (zh) * | 2007-06-06 | 2009-02-25 | 中国工商银行股份有限公司 | 应用于数据仓库的数据增量备份与恢复的方法 |
| CN101387976B (zh) * | 2008-11-07 | 2010-06-02 | 清华大学 | 一种基于数据差异的逻辑卷快速同步方法 |
-
2011
- 2011-09-14 CN CN 201110270306 patent/CN102331955B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN102331955A (zh) | 2012-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102331955B (zh) | 一种多时间粒度的数据备份方法 | |
| US7577806B2 (en) | Systems and methods for time dependent data storage and recovery | |
| US7991748B2 (en) | Virtual data store creation and use | |
| CN103780638B (zh) | 数据同步方法及系统 | |
| US8689047B2 (en) | Virtual disk replication using log files | |
| CN101286127B (zh) | 一种多叉日志存储的连续数据保护和恢复方法 | |
| CN100498796C (zh) | 逻辑日志生成方法、数据库备份/恢复方法与系统 | |
| CN102981931A (zh) | 虚拟机备份方法及装置 | |
| CN100464307C (zh) | 一种实现数据备份和恢复的方法及系统 | |
| CN103197988A (zh) | 一种数据备份、恢复的方法、设备和数据库系统 | |
| CN102779080B (zh) | 生成快照的方法、利用快照进行数据恢复的方法及装置 | |
| CN102609333A (zh) | 一种加密环境中保证文件备份完整性的系统及方法 | |
| CN101739307A (zh) | 基于嵌入式一体化虚拟磁带库的数据归档保护系统和方法 | |
| CN112099989A (zh) | 一种Kubernetes云原生应用灾备、迁移与恢复的方法 | |
| CN103914359A (zh) | 一种数据恢复方法及装置 | |
| CN103902410A (zh) | 云存储系统的数据备份加速方法 | |
| CN103761165A (zh) | 日志备份方法及装置 | |
| US20150312340A1 (en) | Method and system for data synchronization | |
| CN104461773A (zh) | 一种虚拟机备份去重的方法 | |
| CN103902405A (zh) | 一种准连续性数据复制方法及装置 | |
| CN101937378B (zh) | 一种对存储设备的数据进行备份保护的方法及计算机系统 | |
| CN106155843A (zh) | 一种虚拟机备份和逆向恢复方法 | |
| CN110442648A (zh) | 数据同步方法和装置 | |
| CN110413565A (zh) | 一种多台存储设备同步快照的方法、设备及介质 | |
| CN101364163B (zh) | 一种逻辑卷创建系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210120 Address after: 100190 Room 308, 3 / F, building 6, No.13, Beiertiao, Zhongguancun, Haidian District, Beijing Patentee after: BEIJING ASIA CREATION TECHNOLOGY Co.,Ltd. Address before: 300384 room 1301, block D, Haitai Information Plaza, 8 Huatian Road, Huayuan Industrial Park, Nankai District, Tianjin Patentee before: TIANJIN MARSTOR TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 301, floor 3, building 5, yard 16, Meiliyuan Middle Road, Haidian District, Beijing 100097 Patentee after: Beijing Mars high tech digital technology Co., Ltd Address before: 100190 Room 308, 3 / F, building 6, No.13, Beiertiao, Zhongguancun, Haidian District, Beijing Patentee before: Beijing Asia Zhiye Technology Co., Ltd |