CN104407944A - 一种容灾备份方法和系统 - Google Patents
一种容灾备份方法和系统 Download PDFInfo
- Publication number
- CN104407944A CN104407944A CN201410816971.3A CN201410816971A CN104407944A CN 104407944 A CN104407944 A CN 104407944A CN 201410816971 A CN201410816971 A CN 201410816971A CN 104407944 A CN104407944 A CN 104407944A
- Authority
- CN
- China
- Prior art keywords
- data
- cache space
- space
- data cache
- local data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明公开了一种容灾备份方法和系统，包括：当上层应用的输入输出IO数据量达到或超过预定的阈值时，将容灾数据缓存到本地数据缓存空间；当IO数据量低于预定的阈值时，将本地数据缓存空间中存储的容灾数据传输至远程备份数据端。通过本发明的方案，能够在低成本条件下实现容灾备份。
Description
技术领域
本发明涉及数据安全和数据容灾备份领域，具体涉及一种容灾备份方法和系统。
背景技术
数据安全对任何一个公司、部门、组织或者是个人都是至关重要要。据相关统计得出，凡是数据丢失过的公司95％在3年之内破产，可见数据安全对于数据拥有者的重要性，数据即公司的生命。近些年来，越来越多的公司在数据中心的新建或者扩建中考虑数据的容灾和备份，比如两地三中心等典型的容灾备份方案。但是，容灾备份方案和技术不仅仅是提供冗余的存储系统、服务器系统和交换设备等基本设施，还需要租用高昂的链路带宽。链路租用费用十分昂贵，一般中小型企业都难以承受。所以降低带宽需求，在低成本条件下实现数据的容灾备份显得尤其重要。
发明内容
为了解决上述问题，本发明提出了一种容灾备份方法和系统，能够在低成本条件下实现容灾备份。
为了达到上述目的，本发明提出了一种容灾备份方法，该方法包括：
当上层应用的输入输出IO数据量达到或超过预定的阈值时，将容灾数据缓存到本地数据缓存空间。
当IO数据量低于预定的阈值时，将本地数据缓存空间中存储的容灾数据传输至远程备份数据端。
优选地，在将容灾数据缓存到本地数据缓存空间的步骤之前，还包括：
在本地存储系统上预先设定用于缓存容灾数据的本地数据缓存空间的总数据存储量。
优选地，该方法还包括：
当判断存储在本地数据缓存空间的数据量占据本地数据缓存空间的总数据存储量的百分比大于第一预设值时，扩大本地数据缓存空间的总数据存储量。
当判断存储在本地数据缓存空间的数据量占据本地数据缓存空间的总数据存储量的百分比小于第二预设值时，缩小本地数据缓存空间的总数据存储量。
优选地，第一预设值选自75％-95％范围中的任一值，第二预设值是小于或等于55％任一值。
优选地，将本地数据缓存空间中存储的容灾数据传输至远程备份数据端的步骤还包括：通过远程镜像的方式将本地数据缓存空间中存储的容灾数据传输至远程备份数据端；本地数据缓存空间为机械硬盘HDD和/或固态硬盘SSD的存储空间。
本发明还提出一种容灾备份系统，该系统包括：缓存模块、传输模块。
缓存模块，用于当上层应用的输入输出IO数据量达到或超过预定的阈值时，将容灾数据缓存到本地数据缓存空间。
传输模块，用于当IO数据量低于预定的阈值时，将本地数据缓存空间中存储的容灾数据传输至远程备份数据端。
优选地，该系统还包括设定模块：用于在本地存储系统上预先设定用于缓存容灾数据的本地数据缓存空间的总数据存储量。
优选地，设定模块还用于：
当判断存储在本地数据缓存空间的数据量占据本地数据缓存空间的总数据存储量的百分比大于第一预设值时，扩大本地数据缓存空间的总数据存储量。
当判断存储在本地数据缓存空间的数据量占据本地数据缓存空间的总数据存储量的百分比小于第二预设值时，缩小本地数据缓存空间的总数据存储量。
优选地，第一预设值选自75％-95％范围中的任一值，第二预设值是小于或等于55％任一值。
优选地，传输模块还用于：通过远程镜像的方式将本地数据缓存空间中存储的容灾数据传输至远程备份数据端；本地数据缓存空间为机械硬盘HDD和/或固态硬盘SSD的存储空间。
与现有技术相比，本发明包括：当上层应用的输入输出IO数据量达到或超过预定的阈值时，将容灾数据缓存到本地数据缓存空间；当IO数据量低于预定的阈值时，将本地数据缓存空间中存储的容灾数据传输至远程备份数据端。通过本发明的方案，能够在低成本条件下实现容灾备份。
附图说明
下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明的进一步理解，与说明书一起用于解释本发明，并不构成对本发明保护范围的限制。
图1为本发明的容灾备份方法流程图；
图2为本发明的容灾备份方法示意图；
图3为本发明的容灾备份系统框图；
图4为本发明实施例中使用本发明的容灾备份方法之前的容灾备份链路需求情况示意图；
图5为本发明实施例中使用本发明的容灾备份方法之后的容灾备份链路需求情况示意图。
具体实施方式
为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述，并不能用来限制本发明的保护范围。
容灾备份方案和技术不仅仅是提供冗余的存储系统、服务器系统和交换设备等基本设施，还需要租用高昂的链路带宽。链路租用费用十分昂贵，一般中小型企业都难以承受。所以降低带宽需求，在低成本条件下实现数据的容灾备份显得尤其重要。然而，带宽需求完全由业务高峰期的峰值带宽决定，所以降低业务峰值带宽即可实现降低租用带宽。使用本地的特定存储空间将高峰期的数据进行缓存，待业务压力较少时进行容灾数据的传输，本设计在此技术背景下提出了基于数据缓存空间、降低带宽要求的容灾备份技术。
具体地，本发明提出了一种容灾备份方法，如图1、图2所示，该方法包括：
S101、当上层应用的输入输出IO数据量达到或超过预定的阈值时，将容灾数据缓存到本地数据缓存空间。
优选地，在将容灾数据缓存到本地数据缓存空间的步骤之前，还包括：
在本地存储系统上预先设定用于缓存容灾数据的本地数据缓存空间的总数据存储量。
优选地，该方法还包括：
当判断存储在本地数据缓存空间的数据量占据本地数据缓存空间的总数据存储量的百分比大于第一预设值时，扩大本地数据缓存空间的总数据存储量。
当判断存储在本地数据缓存空间的数据量占据本地数据缓存空间的总数据存储量的百分比小于第二预设值时，缩小本地数据缓存空间的总数据存储量。
优选地，第一预设值选自75％-95％范围中的任一值，第二预设值是小于或等于55％任一值。
S102、当IO数据量低于预定的阈值时，将本地数据缓存空间中存储的容灾数据传输至远程备份数据端。
优选地，将本地数据缓存空间中存储的容灾数据传输至远程备份数据端的步骤还包括：通过远程镜像的方式将本地数据缓存空间中存储的容灾数据传输至远程备份数据端；本地数据缓存空间为机械硬盘HDD和/或固态硬盘SSD的存储空间。
本发明还提出一种容灾备份系统01，如图3所示，该系统包括：缓存模块02、传输模块03。
缓存模块02，用于当上层应用的输入输出IO数据量达到或超过预定的阈值时，将容灾数据缓存到本地数据缓存空间。
传输模块03，用于当IO数据量低于预定的阈值时，将本地数据缓存空间中存储的容灾数据传输至远程备份数据端。
优选地，该系统还包括设定模块04：用于在将容灾数据缓存到本地数据缓存空间的步骤之前，在本地存储系统上预先设定用于缓存容灾数据的本地数据缓存空间的总数据存储量。
优选地，设定模块04还用于：
当判断存储在本地数据缓存空间的数据量占据本地数据缓存空间的总数据存储量的百分比大于第一预设值时，扩大本地数据缓存空间的总数据存储量。
当判断存储在本地数据缓存空间的数据量占据本地数据缓存空间的总数据存储量的百分比小于第二预设值时，缩小本地数据缓存空间的总数据存储量。
优选地，第一预设值选自75％-95％范围中的任一值，第二预设值是小于或等于55％任一值；本地数据缓存空间为机械硬盘HDD或固态硬盘SSD的存储空间。
优选地，传输模块03还用于：通过远程镜像的方式将本地数据缓存空间中存储的容灾数据传输至远程备份数据端。
通过本地数据缓存空间的使用，将高峰时期的容灾数据暂时缓存在本地存储系统的特定空间中，在渡过高峰期后，在进行数据的容灾备份，达到削减带宽峰值，节省带宽，降低容灾系统对链路的带宽要求，节省方案技术实施成本。
在本发明的具体实施例中，本地需要容灾备份的数据缓存在特定的存储空间中，该特定存储空间可以是来自于HDD/SSD的存储空间，大小可以自行设定，这样当上层IO很大时，数据先缓存在本地的特定的存储空间中，待上层IO较少、压力较小时，再将高峰时期缓存的数据备份到远端系统，这样就能避免高峰时期的峰值高带宽要求。如下是采用本发明方案前后的容灾备份链路要求情况：
处理前，从图4中可以发现峰值出现在中午12:00为170MB/S，这就决定了容灾备份方案技术的实施必须要满足最低带宽为170MB/S，但是整体上平均带宽仅为80MB/S，这就造成了巨大的带宽浪费，同时使得方案成本骤然升高。使用本发明方案以后链路使用情况如图5所示，从图5中可以看出，通过本地特定缓存空间的缓冲作用，有效避免了峰值的出现，使得带宽要求在均值上下，如图中所示，最大带宽在85MB/S左右，即该容灾链路只需要满足最低带宽为85MB/S即可，相比该技术运用之前的170MB/S的要求，有一半的带宽节省。
通过上述实施例可知，通过使用本发明方案实现了降低容灾链路带宽的要求，实现了高压业务情况下的波峰削减，实现了数据的缓冲传输机制。
总之，本文提出的基于数据缓存空间、降低带宽要求的容灾备份技术，通过对高峰期容灾数据的缓存，实现了削减波峰，降低了容灾链路要求。与传统的容灾技术相比大大降低了对容灾链路的需求，节省了带宽资源，为容灾系统的建立提供了一套很好的解决方案。
需要说明的是，以上所述的实施例仅是为了便于本领域的技术人员理解而已，并不用于限制本发明的保护范围，在不脱离本发明的发明构思的前提下，本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。
Claims (10)
1.一种容灾备份方法，其特征在于，所述方法包括：
当上层应用的输入输出IO数据量达到或超过预定的阈值时，将容灾数据缓存到本地数据缓存空间；
当所述IO数据量低于所述预定的阈值时，将所述本地数据缓存空间中存储的所述容灾数据传输至远程备份数据端。
2.如权利要求1所述的方法，其特征在于，在所述将所述容灾数据缓存到所述本地数据缓存空间的步骤之前，还包括：
在本地存储系统上预先设定用于缓存所述容灾数据的所述本地数据缓存空间的总数据存储量。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
当判断存储在所述本地数据缓存空间的数据量占据所述本地数据缓存空间的总数据存储量的百分比大于第一预设值时，扩大所述本地数据缓存空间的总数据存储量；
当判断存储在所述本地数据缓存空间的数据量占据所述本地数据缓存空间的总数据存储量的百分比小于第二预设值时，缩小所述本地数据缓存空间的总数据存储量。
4.如权利要求3所述的方法，其特征在于，其中，所述第一预设值选自75％-95％范围中的任一值，所述第二预设值是小于或等于55％任一值。
5.如权利要求1-4任一项所述的方法，其特征在于，所述将所述本地数据缓存空间中存储的所述容灾数据传输至远程备份数据端的步骤还包括：通过远程镜像的方式将所述本地数据缓存空间中存储的所述容灾数据传输至所述远程备份数据端；所述本地数据缓存空间为机械硬盘HDD和/或固态硬盘SSD的存储空间。
6.一种容灾备份系统，其特征在于，所述系统包括：缓存模块、传输模块；
所述缓存模块，用于当上层应用的输入输出IO数据量达到或超过预定的阈值时，将容灾数据缓存到本地数据缓存空间；
所述传输模块，用于当所述IO数据量低于所述预定的阈值时，将所述本地数据缓存空间中存储的所述容灾数据传输至远程备份数据端。
7.如权利要求6所述的系统，其特征在于，所述系统还包括设定模块：用于在本地存储系统上预先设定用于缓存所述容灾数据的所述本地数据缓存空间的总数据存储量。
8.如权利要求7所述的系统，其特征在于，所述设定模块还用于：
当判断存储在所述本地数据缓存空间的数据量占据所述本地数据缓存空间的总数据存储量的百分比大于第一预设值时，扩大所述本地数据缓存空间的总数据存储量；
当判断存储在所述本地数据缓存空间的数据量占据所述本地数据缓存空间的总数据存储量的百分比小于第二预设值时，缩小所述本地数据缓存空间的总数据存储量。
9.如权利要求8所述的系统，其特征在于，其中，所述第一预设值选自75％-95％范围中的任一值，所述第二预设值是小于或等于55％任一值。
10.如权利要求6-9任一项所述的系统，其特征在于，所述传输模块还用于：通过远程镜像的方式将所述本地数据缓存空间中存储的所述容灾数据传输至所述远程备份数据端；所述本地数据缓存空间为机械硬盘HDD和/或固态硬盘SSD的存储空间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410816971.3A CN104407944A (zh) | 2014-12-24 | 2014-12-24 | 一种容灾备份方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410816971.3A CN104407944A (zh) | 2014-12-24 | 2014-12-24 | 一种容灾备份方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104407944A true CN104407944A (zh) | 2015-03-11 |
Family
ID=52645577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410816971.3A Pending CN104407944A (zh) | 2014-12-24 | 2014-12-24 | 一种容灾备份方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104407944A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106055425A (zh) * | 2016-05-20 | 2016-10-26 | 长春理工大学 | 基于博弈论的云容灾数据备份方法 |
| CN106407307A (zh) * | 2016-08-31 | 2017-02-15 | 天津南大通用数据技术股份有限公司 | 一种分布式数据库节点数据交互方法及装置 |
| CN113391951A (zh) * | 2021-05-20 | 2021-09-14 | 广西飞创信息科技有限公司 | 一种基于以太网精简传输的多点集中远程备份容灾技术与系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040024975A1 (en) * | 2002-07-30 | 2004-02-05 | Noboru Morishita | Storage system for multi-site remote copy |
| CN103036946A (zh) * | 2012-11-21 | 2013-04-10 | 中国电信股份有限公司云计算分公司 | 一种用于云平台处理文件备份任务的方法和系统 |
| CN103533450A (zh) * | 2013-06-09 | 2014-01-22 | 浙江宇视科技有限公司 | 一种媒体流可靠传输和接收的方法以及装置 |
| CN104104735A (zh) * | 2014-08-06 | 2014-10-15 | 汉柏科技有限公司 | 利用空闲带宽进行数据备份的方法及系统 |
| CN104123198A (zh) * | 2013-04-28 | 2014-10-29 | 国际商业机器公司 | 管理数据复制模式的方法和装置 |
-
2014
- 2014-12-24 CN CN201410816971.3A patent/CN104407944A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040024975A1 (en) * | 2002-07-30 | 2004-02-05 | Noboru Morishita | Storage system for multi-site remote copy |
| CN103036946A (zh) * | 2012-11-21 | 2013-04-10 | 中国电信股份有限公司云计算分公司 | 一种用于云平台处理文件备份任务的方法和系统 |
| CN104123198A (zh) * | 2013-04-28 | 2014-10-29 | 国际商业机器公司 | 管理数据复制模式的方法和装置 |
| CN103533450A (zh) * | 2013-06-09 | 2014-01-22 | 浙江宇视科技有限公司 | 一种媒体流可靠传输和接收的方法以及装置 |
| CN104104735A (zh) * | 2014-08-06 | 2014-10-15 | 汉柏科技有限公司 | 利用空闲带宽进行数据备份的方法及系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106055425A (zh) * | 2016-05-20 | 2016-10-26 | 长春理工大学 | 基于博弈论的云容灾数据备份方法 |
| CN106055425B (zh) * | 2016-05-20 | 2018-09-18 | 长春理工大学 | 基于博弈论的云容灾数据备份方法 |
| CN106407307A (zh) * | 2016-08-31 | 2017-02-15 | 天津南大通用数据技术股份有限公司 | 一种分布式数据库节点数据交互方法及装置 |
| CN113391951A (zh) * | 2021-05-20 | 2021-09-14 | 广西飞创信息科技有限公司 | 一种基于以太网精简传输的多点集中远程备份容灾技术与系统 |
| CN113391951B (zh) * | 2021-05-20 | 2021-12-24 | 广西飞创信息科技有限公司 | 一种基于以太网精简传输的多点集中远程备份容灾方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101539873B (zh) | 数据恢复的方法、数据节点及分布式文件系统 | |
| CN104407944A (zh) | 一种容灾备份方法和系统 | |
| US20150372711A1 (en) | Data compression method, data restoration method, apparatuses, and system | |
| CN104375904A (zh) | 一种基于快照差异化数据传输的容灾备份方法 | |
| WO2007098380A3 (en) | Method for improving mean time to data loss (mtdl) in a fixed content distributed data storage | |
| EP2565772A1 (en) | Storage array, storage system, and data access method | |
| CN104572355A (zh) | 一种异步远程复制数据的方法和设备 | |
| CN103150427A (zh) | 一种基于ssd硬盘缓存加速与备份的raid设计方法 | |
| CN102387040A (zh) | 一种前置机保持高速稳定运行的方法及系统 | |
| CN104202255A (zh) | 一种高效多链路数据传输实现方法 | |
| CN102523410B (zh) | 一种写入视频数据的方法及视频数据存储设备 | |
| CN204481959U (zh) | 一种高可靠性的图像处理平台 | |
| CN102281557A (zh) | 一种上行流量控制方法、装置、级联设备及基站 | |
| CN205039620U (zh) | Led显示屏电源信号双备份电路 | |
| CN103823766B (zh) | Flash存储器的高效率存储方法 | |
| CN104156369A (zh) | 一种数据库镜像制作方法和一种数据库 | |
| CN102821489A (zh) | 基站及基站侧数据压缩方法 | |
| CN104008153A (zh) | 一种面向大数据处理的数据处理方法和装置 | |
| CN107291390B (zh) | 一种数据分级存储方法及装置 | |
| CN105162866A (zh) | 一种应用系统并发访问控制方法 | |
| CN103092533A (zh) | 一种数据远程同步的方法和系统 | |
| CN102480375A (zh) | 日志信息处理方法 | |
| CN105517058A (zh) | 移动终端数据传输控制方法及装置 | |
| CN107547817A (zh) | 视频存储及其备份方法 | |
| CN103049388A (zh) | 一种分页存储器件的压缩管理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150311 |
|
| RJ01 | Rejection of invention patent application after publication |