CN112685231A - 一种执行数据重删的云硬盘备份与恢复的系统与方法 - Google Patents
一种执行数据重删的云硬盘备份与恢复的系统与方法 Download PDFInfo
- Publication number
- CN112685231A CN112685231A CN202110008014.8A CN202110008014A CN112685231A CN 112685231 A CN112685231 A CN 112685231A CN 202110008014 A CN202110008014 A CN 202110008014A CN 112685231 A CN112685231 A CN 112685231A
- Authority
- CN
- China
- Prior art keywords
- backup
- fingerprint
- hard disk
- data
- encrypted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004891 communication Methods 0.000 description 8
- 241000700605 Viruses Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种执行数据重删的云硬盘备份与恢复的系统与方法，属于块存储技术领域。本发明的执行数据重删的云硬盘备份与恢复的系统包括云硬盘、输入缓冲区、备份服务器、指纹服务器和存储服务器，云硬盘与输入缓冲区相通信，备份服务器、指纹服务器与输入缓冲区分别通信，指纹服务器与备份服务器相通信，存储容器与备份服务器相通信。该发明的执行数据重删的云硬盘备份与恢复的系统能够极大的节省用户的存储空间，减少数据恢复时的动态合并过程，节省恢复时间，具有很好的推广应用价值。
Description
技术领域
本发明涉及块存储技术领域，具体提供一种执行数据重删的云硬盘备份与恢复的系统与方法。
背景技术
随着数据时代的到来，数据量正呈现爆发性的增长，数据容灾备份正面临严峻的挑战。一方面当遇到一些病毒、人为入侵、硬件故障及种种自然灾害导致用户数据丢失、业务中断，需要使用备份来执行数据恢复；另一方面当用户以一定的策略去执行备份后，备份数据在不断增加，不断占用用户的存储空间；同时在用户执行恢复后，通常要根据版本所依赖的每一个版本进行动态合并，这一过程中会涉及到许多数据操作，如数据的复制与回写，在不知经历多少版本的更新过程中，往往需要使用大量的恢复时间。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种能够极大的节省用户的存储空间，减少数据恢复时的动态合并过程，节省恢复时间的执行数据重删的云硬盘备份与恢复的系统。
本发明进一步的技术任务是提供一种执行数据重删的云硬盘备份与恢复的方法。
为实现上述目的，本发明提供了如下技术方案：
一种执行数据重删的云硬盘备份与恢复的系统，包括云硬盘、输入缓冲区、备份服务器、指纹服务器和存储服务器，云硬盘与输入缓冲区相通信，备份服务器、指纹服务器与输入缓冲区分别通信，指纹服务器与备份服务器相通信，存储容器与备份服务器相通信。
一种执行数据重删的云硬盘备份与恢复的方法，具体包括以下步骤：
S1、从云硬盘中获取某一块的数据流；
S2、将步骤S1获取的数据流进行MD5加密，生成加密指纹；
S3、将步骤S2生成的加密指纹与数据库中已存在的记录进行比较判断；
S4、若步骤S3中判断结果一致，则进行下一块数据流的判断，若不一致则进行存储容器封装，生成加密指纹与存储容器的二元组，并将加密指纹与存储容器的对应关系存入数据库中；
S5、重复步骤S1至步骤S4，直至云硬盘的全部数据均完成去重操作；
S6、恢复过程中获取备份时刻的备份索引并从中取出全部加密指纹，根据加密指纹从数据库中获取存储容器，执行数据的恢复。
本发明所述的执行数据重删的云硬盘备份与恢复的方法基于执行数据重删的云硬盘备份与恢复的系统来实现，包括云硬盘、输入缓冲区、备份服务器、指纹服务器和存储服务器，云硬盘与输入缓冲区相通信，备份服务器、指纹服务器与输入缓冲区分别通信，指纹服务器与备份服务器相通信，存储容器与备份服务器相通信。
作为优选，步骤S1中将从云硬盘获取的数据流写入到缓冲区，并将输入缓冲区的数据从数据块的起始位置以固定长度的窗口在数据库上进行滑动，通过哈希算法计算出落入窗口内的每一段数据的加密指纹。
作为优选，将计算出的加密指纹按照顺序生成一串文件索引，其中文件索引顺序与窗口移动顺序一致。
作为优选，步骤S2中，将生成的文件索引进行MD5加密，生成该数据流的加密指纹，并将生成的加密指纹发送至指纹服务器进行指纹判断。
作为优选，从数据库中取出指纹服务器接收到的加密指纹对应的信息，判断取出的信息数目是否为0，若不为0则该段数据流执行过备份操作，若为0则该段数据未执行过备份操作。
作为优选，若该段数据流执行过备份操作，则将该段数据流的加密指纹存入备份索引中，并继续对下一段数据流进行判断。
作为优选，若该段数据流未执行过备份操作，通知备份服务器该段数据流需要执行备份操作，将输入缓冲区的数据流向下发送执行备份请求，获取备份操作返回的备份存储容器地址进行加密，并与该段数据流的加密指纹进行组合成一个新的加密指纹与存储容器二元组，发送至指纹服务器。
作为优选，将指纹服务器接收到的二元组存储数据库中，并将该段数据流的加密指纹存入备份索引中，并继续对下一段数据流进行判断。
作为优选，步骤S6中，从选取的备份时刻获取备份索引并从中取出全部的加密指纹发送至指纹服务器，从数据库中取出指纹服务器接收到的加密指纹对应的信息，获取信息中对应的存储容器，从存储容器中取出备份数据写入输入缓冲区，并依次写入云硬盘中。
与现有技术相比，本发明的执行数据重删的云硬盘备份与恢复的方法具有以下突出的有益效果：该执行数据重删的云硬盘备份与恢复的方法实现简单，通过所述执行数据重删的云硬盘备份与恢复的方法能够实现备份数据块的去重操作，极大的节省用户的存储空间，同时在恢复时能够极大的节省用户的恢复时间，提高恢复的效率，对于用户更为人性化与便捷，提高了用户体验，具有良好的推广应用价值。
附图说明
图1是本发明所述执行数据重删的云硬盘备份与恢复的系统的框架图；
图2是本发明所述执行数据重删的云硬盘备份与恢复的方法的流程图。
具体实施方式
下面将结合附图和实施例，对本发明的执行数据重删的云硬盘备份与恢复的系统与方法作进一步详细说明。
实施例
如图1所示，本发明的执行数据重删的云硬盘备份与恢复的系统，包括云硬盘、输入缓冲区、备份服务器、指纹服务器和存储服务器，云硬盘与输入缓冲区相通信，备份服务器、指纹服务器与输入缓冲区分别通信，指纹服务器与备份服务器相通信，存储容器与备份服务器相通信。
该执行数据重删的云硬盘备份与恢复的系统工作过程中，对数据块中的数据流通过MD5算法进行加密处理生成加密指纹。用生成的加密指纹从数据库中筛选判断是否已存在，并将生成的加密指纹发送至指纹服务器进行校验。通过加密指纹查询数据库获取对应信息，并根据信息数目进行判断。若加密指纹已存在则继续对下一段数据流进行处理，得到的数目不为0则将加密指纹记录在备份索引中并对下一块数据块的数据流进行处理。若不存在则获取备份所在存储容器，生成加密指纹与存储容器二元组，并将二元组存入数据库，并对下一段数据流进行处理。得到的数目为0则将数据流发送至备份服务器进行备份操作，获取备份存储容器地址，并与加密指纹生成加密指纹与存储容器二元组，发送至指纹服务器存入数据库中。将加密指纹记录在备份索引中并对下一块数据块的数据流进行处理。
如图2所示，本发明的执行数据重删的云硬盘备份与恢复的方法基于执行数据重删的云硬盘备份与恢复的系统来实现，包括云硬盘、输入缓冲区、备份服务器、指纹服务器和存储服务器，云硬盘与输入缓冲区相通信，备份服务器、指纹服务器与输入缓冲区分别通信，指纹服务器与备份服务器相通信，存储容器与备份服务器相通信。具体包括以下步骤：
S1、从云硬盘中获取某一块的数据流。
将从云硬盘获取到的数据流写入到输入缓冲区。将输入缓冲区的数据从数据块的起始位置开始，以一个固定长度的窗口在数据块上进行滑动，通过哈希算法计算出落入窗口内的每一段数据的加密指纹。将计算出的加密指纹按照顺序生成一串文件索引，索引顺序需与窗口移动顺序一致。
S2、将步骤S1获取的数据流进行MD5加密，生成加密指纹。
将步骤1中生成的文件索引进行MD5加密，生成该数据流的加密指纹。
S3、将步骤S2生成的加密指纹与数据库中已存在的记录进行比较判断。
将生成的加密指纹发送至指纹服务器进行指纹判断，从数据库中取出指纹服务器接收到的加密指纹对应的信息，首先判断取出的信息数目是否为0。
S4、若步骤S3中判断结果一致，则进行下一块数据流的判断，若不一致则进行存储容器封装，生成加密指纹与存储容器的二元组，并将加密指纹与存储容器的对应关系存入数据库中。
通过步骤S3获取到信息数目不为0，说明该段数据流已经执行过备份操作。通知备份服务器该段数据流已经执行过备份操作，无需再次备份。将该段数据流的加密指纹存入备份索引中，并继续对下一段数据流进行判断。通过步骤S3获取到信息数目为0，说明该段数据流未执行过备份操作，通知备份服务器该段数据流需执行备份操作，将输入缓冲区的数据流向下发送执行备份请求，获取备份操作返回的备份存储容器地址进行加密处理，并与该段数据流的加密指纹进行对应组合成为一个全新的加密指纹与存储容器二元组，并发送至指纹服务器。将指纹服务器接收到的二元组存入数据库中，并将该段数据流的加密指纹存入备份索引中，并继续对下一段数据流进行判断。
S5、重复步骤S1至步骤S4，直至云硬盘的全部数据均完成去重操作。
S6、恢复过程中获取备份时刻的备份索引并从中取出全部加密指纹，根据加密指纹从数据库中获取存储容器，执行数据的恢复。
从选取的备份时刻获取备份索引并从中取出全部的加密指纹发送至指纹服务器，从数据库中取出指纹服务器接收到的加密指纹对应的信息，获取信息中对应的存储容器，从存储容器中取出备份数据写入输入缓冲区，并依次写入云硬盘中。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (10)
1.一种执行数据重删的云硬盘备份与恢复的系统，其特征在于：包括云硬盘、输入缓冲区、备份服务器、指纹服务器和存储服务器，云硬盘与输入缓冲区相通信，备份服务器、指纹服务器与输入缓冲区分别通信，指纹服务器与备份服务器相通信，存储容器与备份服务器相通信。
2.一种执行数据重删的云硬盘备份与恢复的方法，其特征在于：具体包括以下步骤：
S1、从云硬盘中获取某一块的数据流；
S2、将步骤S1获取的数据流进行MD5加密，生成加密指纹；
S3、将步骤S2生成的加密指纹与数据库中已存在的记录进行比较判断；
S4、若步骤S3中判断结果一致，则进行下一块数据流的判断，若不一致则进行存储容器封装，生成加密指纹与存储容器的二元组，并将加密指纹与存储容器的对应关系存入数据库中；
S5、重复步骤S1至步骤S4，直至云硬盘的全部数据均完成去重操作；
S6、恢复过程中获取备份时刻的备份索引并从中取出全部加密指纹，根据加密指纹从数据库中获取存储容器，执行数据的恢复。
3.根据权利要求2所述的执行数据重删的云硬盘备份与恢复的方法，其特征在于：步骤S1中将从云硬盘获取的数据流写入到缓冲区，并将输入缓冲区的数据从数据块的起始位置以固定长度的窗口在数据库上进行滑动，通过哈希算法计算出落入窗口内的每一段数据的加密指纹。
4.根据权利要求3所述的执行数据重删的云硬盘备份与恢复的方法，其特征在于：将计算出的加密指纹按照顺序生成一串文件索引，其中文件索引顺序与窗口移动顺序一致。
5.根据权利要求4所述的执行数据重删的云硬盘备份与恢复的方法，其特征在于：步骤S2中，将生成的文件索引进行MD5加密，生成该数据流的加密指纹，并将生成的加密指纹发送至指纹服务器进行指纹判断。
6.根据权利要求5所述的执行数据重删的云硬盘备份与恢复的方法，其特征在于：从数据库中取出指纹服务器接收到的加密指纹对应的信息，判断取出的信息数目是否为0，若不为0则该段数据流执行过备份操作，若为0则该段数据未执行过备份操作。
7.根据权利要求6所述的执行数据重删的云硬盘备份与恢复的系统，其特征在于：若该段数据流执行过备份操作，则将该段数据流的加密指纹存入备份索引中，并继续对下一段数据流进行判断。
8.根据权利要求7所述的执行数据重删的云硬盘备份与恢复的方法，其特征在于：若该段数据流未执行过备份操作，通知备份服务器该段数据流需要执行备份操作，将输入缓冲区的数据流向下发送执行备份请求，获取备份操作返回的备份存储容器地址进行加密，并与该段数据流的加密指纹进行组合成一个新的加密指纹与存储容器二元组，发送至指纹服务器。
9.根据权利要求8所述的执行数据重删的云硬盘备份与恢复的方法，其特征在于：将指纹服务器接收到的二元组存储数据库中，并将该段数据流的加密指纹存入备份索引中，并继续对下一段数据流进行判断。
10.根据权利要求9所述的执行数据重删的云硬盘备份与恢复的方法，其特征在于：步骤S6中，从选取的备份时刻获取备份索引并从中取出全部的加密指纹发送至指纹服务器，从数据库中取出指纹服务器接收到的加密指纹对应的信息，获取信息中对应的存储容器，从存储容器中取出备份数据写入输入缓冲区，并依次写入云硬盘中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110008014.8A CN112685231A (zh) | 2021-01-05 | 2021-01-05 | 一种执行数据重删的云硬盘备份与恢复的系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110008014.8A CN112685231A (zh) | 2021-01-05 | 2021-01-05 | 一种执行数据重删的云硬盘备份与恢复的系统与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112685231A true CN112685231A (zh) | 2021-04-20 |
Family
ID=75457272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110008014.8A Pending CN112685231A (zh) | 2021-01-05 | 2021-01-05 | 一种执行数据重删的云硬盘备份与恢复的系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112685231A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100106691A1 (en) * | 2008-09-25 | 2010-04-29 | Kenneth Preslan | Remote backup and restore |
| US20110167221A1 (en) * | 2010-01-06 | 2011-07-07 | Gururaj Pangal | System and method for efficiently creating off-site data volume back-ups |
| US8392384B1 (en) * | 2010-12-10 | 2013-03-05 | Symantec Corporation | Method and system of deduplication-based fingerprint index caching |
-
2021
- 2021-01-05 CN CN202110008014.8A patent/CN112685231A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100106691A1 (en) * | 2008-09-25 | 2010-04-29 | Kenneth Preslan | Remote backup and restore |
| US20110167221A1 (en) * | 2010-01-06 | 2011-07-07 | Gururaj Pangal | System and method for efficiently creating off-site data volume back-ups |
| US8392384B1 (en) * | 2010-12-10 | 2013-03-05 | Symantec Corporation | Method and system of deduplication-based fingerprint index caching |
Non-Patent Citations (2)
| Title |
|---|
| 付印金等: "面向大数据备份的应用感知并行重删存储系统", 《计算机研究与发展》 * |
| 王兴虎等: "一种基于源端数据重删的数据备份和恢复系统设计与实现", 《南京师大学报(自然科学版)》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10705919B2 (en) | Data backup using metadata mapping | |
| CN103870514B (zh) | 重复数据删除方法和装置 | |
| US20070208918A1 (en) | Method and apparatus for providing virtual machine backup | |
| US8812455B1 (en) | Efficient data backup | |
| CN110941514B (zh) | 一种数据备份方法、恢复方法、计算机设备和存储介质 | |
| CN102902762B (zh) | 一种删除重复数据的方法、装置和系统 | |
| CN112612576B (zh) | 虚拟机备份方法、装置、电子设备及存储介质 | |
| CN102339321A (zh) | 具有版本控制的网络文件系统及方法 | |
| CN109683825B (zh) | 一种存储系统在线数据压缩方法、装置及设备 | |
| CN104077380A (zh) | 一种重复数据删除方法、装置及系统 | |
| CN103838645B (zh) | 一种基于哈希的远程差异合成备份实现方法 | |
| CN106681865B (zh) | 业务恢复方法及装置 | |
| CN107340971A (zh) | 一种数据存储与恢复架构与方法 | |
| CN111506253A (zh) | 一种分布式存储系统及其存储方法 | |
| CN105183399A (zh) | 一种基于弹性块存储的数据写、读方法及装置 | |
| CN107798063B (zh) | 快照处理方法和快照处理装置 | |
| CN109753381B (zh) | 一种基于对象存储的持续数据保护方法 | |
| CN106528703A (zh) | 一种重复删除的模式切换方法及装置 | |
| CN108959614A (zh) | 一种快照管理方法、系统、装置、设备及可读存储介质 | |
| CN112685231A (zh) | 一种执行数据重删的云硬盘备份与恢复的系统与方法 | |
| CN111625506A (zh) | 一种基于删除队列的分布式数据删除方法、装置及设备 | |
| WO2024021491A1 (zh) | 一种数据切片方法、装置和系统 | |
| WO2015054992A1 (zh) | 一种数据的备份方法、装置及系统 | |
| CN110209530B (zh) | 一种恢复cdp系统io数据的方法及系统 | |
| CN108241557A (zh) | Hdfs中数据备份的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210420 |
|
| RJ01 | Rejection of invention patent application after publication |