CN115623016A - 一种基于云存储技术的备份断点续传实现方法及系统 - Google Patents

一种基于云存储技术的备份断点续传实现方法及系统 Download PDF

Info

Publication number
CN115623016A
CN115623016A CN202211142881.1A CN202211142881A CN115623016A CN 115623016 A CN115623016 A CN 115623016A CN 202211142881 A CN202211142881 A CN 202211142881A CN 115623016 A CN115623016 A CN 115623016A
Authority
CN
China
Prior art keywords
backup
data
continuous transmission
node
cloud storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211142881.1A
Other languages
English (en)
Inventor
赵益鑫
谢涛涛
宋伟
张晓帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202211142881.1A priority Critical patent/CN115623016A/zh
Publication of CN115623016A publication Critical patent/CN115623016A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Retry When Errors Occur (AREA)

Abstract

本发明涉及云计算数据存储技术领域，具体为一种基于云存储技术的备份断点续传实现方法包括以下步骤：进行备份进度存储；进行续传时的初始化；续传节点选择；计算指纹值的数据块，计算完后使用zstd算法压缩数据，压缩后的数据称为一个组成备份的对象，然后将备份对象存储到备份后端；有益效果为：本发明提出的基于云存储技术的备份断点续传实现方法及系统采用断点续传代替了原有备份失败后只能重新备份的补救方式，并且在备份过程中将备份中断之前已经备份数据利用起来，减少了垃圾数据，有效提高存储后端空间利用率；进行断点续传时，传输数据的操作从中断的点开始，减少备份创建时间，节省网络带宽占用，提高了备份效率。

Description

一种基于云存储技术的备份断点续传实现方法及系统
技术领域
本发明涉及云计算数据存储技术领域，具体为一种基于云存储技术的备份断点续传实现方法及系统。
背景技术
OpenStack是一个旨在为私有云和公有云提供可扩展的弹性的云计算服务的开源项目，其中Cinder-Backup组件旨在提供备份服务，来确保用户数据的可靠性。
现有技术中，备份服务在备份失败时并没有相应的容灾措施，因此如何实现利用失败前已经备份的数据来进行断点续传是目前亟待解决的技术问题。
但是，目前的备份服务本身不具备容灾功能，面对突发意外导致的备份失败，并没有相对应的处理措施，备份失败前上传的数据占用大量后端存储空间，重新备份的数据量大，备份时间长，对于需要备份的数据也失去时效性；并且当前系统的备份存在缺乏容灾保护，客户因需主动中断的功能，一旦发生备份打断，需要重新从头开始备份，不仅会造成时间的大量浪费，甚至有可能导致客户产生不可逆的损失。
发明内容
本发明的目的在于提供一种基于云存储技术的备份断点续传实现方法及系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于云存储技术的备份断点续传实现方法，所述基于云存储技术的备份断点续传实现方法包括以下步骤：
进行备份进度存储；
进行续传时的初始化；
续传节点选择；
计算指纹值的数据块，计算完后使用zstd算法压缩数据，压缩后的数据称为一个组成备份的对象，然后将备份对象存储到备份后端。
优选的，对一个volume进行备份的时候，次从volume读入Chunk_size 字节的数据，然后从头开始，每Sha_block_size(chunk_size必须是 Sha_block_size的整数倍)个字节做一次SHA计算，并将结果保存起来，然后会把Chunk_size的数据进行压缩(可以配置不压缩)，并保存到对应的存储上。
优选的，备份服务在重启或初始化阶段，会查询数据库，把未完成的处于创建中状态的备份状态全部修改为失败，如果用户主动进行了暂停，则将备份状态更改为暂停状态。
优选的，如果驱动存储部署在一个固定节点，则续传时直接传入该节点即可。如果驱动节点部署在不同节点，此时则需要通过scheduler调度筛选到指定节点；如果续传之前已经指定节点，则需要获取此节点，本次备份仍需要使用此节点；同时需要判断当前节点是否可用。
优选的，当完成计算指纹值的数据量大于等于偏移量之后，下一个进行计算指纹值的数据块，重复计算过程，直到所有的数据都备份完成，最终再生成两个文件，元数据文件记录组成备份的所有对象，包括中断之前的对象和续传创建的对象；指纹文件记录每一块数据的指纹值。
一种基于云存储技术的备份断点续传实现系统，该系统由存储模块、初始化模块、选择模块以及计算模块构成；
存储模块，用于进行备份进度存储；
初始化模块，用于进行续传时的初始化；
选择模块，用于续传节点选择；
计算模块，用于计算指纹值的数据块，计算完后使用zstd算法压缩数据，压缩后的数据称为一个组成备份的对象，然后将备份对象存储到备份后端。
优选的，所述存储模块，对一个volume进行备份的时候，次从volume 读入Chunk_size字节的数据，然后从头开始，每Sha_block_size，chunk_size 必须是Sha_block_size的整数倍个字节做一次SHA计算，并将结果保存起来，然后会把Chunk_size的数据进行压缩，并保存到对应的存储上。
优选的，所述初始化模块，备份服务在重启或初始化阶段，会查询数据库，把未完成的处于创建中状态的备份状态全部修改为失败，如果用户主动进行了暂停，则将备份状态更改为暂停状态。
优选的，所述选择模块，如果驱动存储部署在一个固定节点，则续传时直接传入该节点即可。如果驱动节点部署在不同节点，此时则需要通过 scheduler调度筛选到指定节点；如果续传之前已经指定节点，则需要获取此节点，本次备份仍需要使用此节点；同时需要判断当前节点是否可用。
优选的，所述计算模块，当完成计算指纹值的数据量大于等于偏移量之后，下一个进行计算指纹值的数据块，重复计算过程，直到所有的数据都备份完成，最终再生成两个文件，元数据文件记录组成备份的所有对象，包括中断之前的对象和续传创建的对象；指纹文件记录每一块数据的指纹值。
与现有技术相比，本发明的有益效果是：
本发明提出的基于云存储技术的备份断点续传实现方法及系统采用断点续传代替了原有备份失败后只能重新备份的补救方式，并且在备份过程中将备份中断之前已经备份数据利用起来，减少了垃圾数据，有效提高存储后端空间利用率；进行断点续传时，传输数据的操作从中断的点开始，减少备份创建时间，节省网络带宽占用，提高了备份效率。
附图说明
图1为本发明实施基于云存储技术的备份断点续传实现方法的流程框架图。
具体实施方式
为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本发明一部分实施例，而不是全部的实施例，仅仅用以解释本发明实施例，并不用于限定本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“一”、“第一”、“第二”、“第三”、“第四”、“第五”、“第六”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
出于简明和说明的目的，实施例的原理主要通过参考例子来描述。在以下描述中，很多具体细节被提出用以提供对实施例的彻底理解。然而明显的是，对于本领域普通技术人员，这些实施例在实践中可以不限于这些具体细节。在一些实例中，没有详细地描述公知方法和结构，以避免无必要地使这些实施例变得难以理解。另外，所有实施例可以互相结合使用。
实施例一
请参阅图1，本发明提供一种技术方案：一种基于云存储技术的备份断点续传实现方法，所述基于云存储技术的备份断点续传实现方法包括以下步骤：
进行备份进度存储，对一个volume进行备份的时候，次从volume读入 Chunk_size字节的数据，然后从头开始，每Sha_block_size(chunk_size必须是Sha_block_size的整数倍)个字节做一次SHA计算，并将结果保存起来，然后会把Chunk_size的数据进行压缩(可以配置不压缩)，并保存到对应的存储上；
进行续传时的初始化，备份服务在重启或初始化阶段，会查询数据库，把未完成的处于创建中状态的备份状态全部修改为失败，如果用户主动进行了暂停，则将备份状态更改为暂停状态；
续传节点选择，如果驱动存储部署在一个固定节点，则续传时直接传入该节点即可。如果驱动节点部署在不同节点，此时则需要通过scheduler调度筛选到指定节点；如果续传之前已经指定节点，则需要获取此节点，本次备份仍需要使用此节点；同时需要判断当前节点是否可用；
计算指纹值的数据块，计算完后使用zstd算法压缩数据，压缩后的数据称为一个组成备份的对象，然后将备份对象存储到备份后端，当完成计算指纹值的数据量大于等于偏移量之后，下一个进行计算指纹值的数据块，重复计算过程，直到所有的数据都备份完成，最终再生成两个文件，元数据文件记录组成备份的所有对象，包括中断之前的对象和续传创建的对象；指纹文件记录每一块数据的指纹值。
实施例二
一种基于云存储技术的备份断点续传实现方法，包括以下步骤：
一、对一个volume第一次进行备份；
1、对卷进行快照，为备份做准备；
2、通过快照对卷进行备份，格式为openstack volume backup create <volumeid>–-snapshotid<snapshot>；
3、进行主动中断或者手动模拟意外中断；
4、此时备份状态变为error或者paused；
二、对中断备份进行续传；
1、请求备份接口，需传入中断前的备份id格式为openstack volume backupcreate<volumeid>–-snapshotid<snapshot> --backupid<backupid>；
2、此时备份的状态由error或paused变为creating；
3、备份完成。
实施例三
一种基于云存储技术的备份断点续传实现系统，其特征在于：该系统由存储模块、初始化模块、选择模块以及计算模块构成；
存储模块，用于进行备份进度存储；对一个volume进行备份的时候，次从volume读入Chunk_size字节的数据，然后从头开始，每Sha_block_size， chunk_size必须是Sha_block_size的整数倍个字节做一次SHA计算，并将结果保存起来，然后会把Chunk_size的数据进行压缩，并保存到对应的存储；
初始化模块，用于进行续传时的初始化；备份服务在重启或初始化阶段，会查询数据库，把未完成的处于创建中状态的备份状态全部修改为失败，如果用户主动进行了暂停，则将备份状态更改为暂停状态；
选择模块，用于续传节点选择；如果驱动存储部署在一个固定节点，则续传时直接传入该节点即可。如果驱动节点部署在不同节点，此时则需要通过scheduler调度筛选到指定节点；如果续传之前已经指定节点，则需要获取此节点，本次备份仍需要使用此节点；同时需要判断当前节点是否可用；
计算模块，用于计算指纹值的数据块，计算完后使用zstd算法压缩数据，压缩后的数据称为一个组成备份的对象，然后将备份对象存储到备份后端，当完成计算指纹值的数据量大于等于偏移量之后，下一个进行计算指纹值的数据块，重复计算过程，直到所有的数据都备份完成，最终再生成两个文件，元数据文件记录组成备份的所有对象，包括中断之前的对象和续传创建的对象；指纹文件记录每一块数据的指纹值。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于云存储技术的备份断点续传实现方法，其特征在于：所述基于云存储技术的备份断点续传实现方法包括以下步骤：
进行备份进度存储；
进行续传时的初始化；
续传节点选择；
计算指纹值的数据块，计算完后使用zstd算法压缩数据，压缩后的数据称为一个组成备份的对象，然后将备份对象存储到备份后端。
2.根据权利要求1所述的一种基于云存储技术的备份断点续传实现方法，其特征在于：对一个volume进行备份的时候，次从volume读入Chunk_size字节的数据，然后从头开始，每Sha_block_size(chunk_size必须是Sha_block_size的整数倍)个字节做一次SHA计算，并将结果保存起来，然后会把Chunk_size的数据进行压缩(可以配置不压缩)，并保存到对应的存储上。
3.根据权利要求2所述的一种基于云存储技术的备份断点续传实现方法，其特征在于：备份服务在重启或初始化阶段，会查询数据库，把未完成的处于创建中状态的备份状态全部修改为失败，如果用户主动进行了暂停，则将备份状态更改为暂停状态。
4.根据权利要求3所述的一种基于云存储技术的备份断点续传实现方法，其特征在于：如果驱动存储部署在一个固定节点，则续传时直接传入该节点即可。如果驱动节点部署在不同节点，此时则需要通过scheduler调度筛选到指定节点；如果续传之前已经指定节点，则需要获取此节点，本次备份仍需要使用此节点；同时需要判断当前节点是否可用。
5.根据权利要求4所述的一种基于云存储技术的备份断点续传实现方法，其特征在于：当完成计算指纹值的数据量大于等于偏移量之后，下一个进行计算指纹值的数据块，重复计算过程，直到所有的数据都备份完成，最终再生成两个文件，元数据文件记录组成备份的所有对象，包括中断之前的对象和续传创建的对象；指纹文件记录每一块数据的指纹值。
6.一种如上述权利要求1-5任意一项所述的基于云存储技术的备份断点续传实现系统，其特征在于：该系统由存储模块、初始化模块、选择模块以及计算模块构成；
存储模块，用于进行备份进度存储；
初始化模块，用于进行续传时的初始化；
选择模块，用于续传节点选择；
计算模块，用于计算指纹值的数据块，计算完后使用zstd算法压缩数据，压缩后的数据称为一个组成备份的对象，然后将备份对象存储到备份后端。
7.根据权利要求6所述的一种基于云存储技术的备份断点续传实现系统，其特征在于：所述存储模块，对一个volume进行备份的时候，次从volume读入Chunk_size字节的数据，然后从头开始，每Sha_block_size，chunk_size必须是Sha_block_size的整数倍个字节做一次SHA计算，并将结果保存起来，然后会把Chunk_size的数据进行压缩，并保存到对应的存储上。
8.根据权利要求7所述的一种基于云存储技术的备份断点续传实现系统，其特征在于：所述初始化模块，备份服务在重启或初始化阶段，会查询数据库，把未完成的处于创建中状态的备份状态全部修改为失败，如果用户主动进行了暂停，则将备份状态更改为暂停状态。
9.根据权利要求8所述的一种基于云存储技术的备份断点续传实现系统，其特征在于：所述选择模块，如果驱动存储部署在一个固定节点，则续传时直接传入该节点即可。如果驱动节点部署在不同节点，此时则需要通过scheduler调度筛选到指定节点；如果续传之前已经指定节点，则需要获取此节点，本次备份仍需要使用此节点；同时需要判断当前节点是否可用。
10.根据权利要求9所述的一种基于云存储技术的备份断点续传实现系统，其特征在于：所述计算模块，当完成计算指纹值的数据量大于等于偏移量之后，下一个进行计算指纹值的数据块，重复计算过程，直到所有的数据都备份完成，最终再生成两个文件，元数据文件记录组成备份的所有对象，包括中断之前的对象和续传创建的对象；指纹文件记录每一块数据的指纹值。
CN202211142881.1A 2022-09-20 2022-09-20 一种基于云存储技术的备份断点续传实现方法及系统 Pending CN115623016A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211142881.1A CN115623016A (zh) 2022-09-20 2022-09-20 一种基于云存储技术的备份断点续传实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211142881.1A CN115623016A (zh) 2022-09-20 2022-09-20 一种基于云存储技术的备份断点续传实现方法及系统

Publications (1)

Publication Number Publication Date
CN115623016A true CN115623016A (zh) 2023-01-17

Family

ID=84858571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211142881.1A Pending CN115623016A (zh) 2022-09-20 2022-09-20 一种基于云存储技术的备份断点续传实现方法及系统

Country Status (1)

Country Link
CN (1) CN115623016A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202098A (zh) * 2011-05-25 2011-09-28 成都市华为赛门铁克科技有限公司 数据处理方法及装置
CN104484242A (zh) * 2014-12-10 2015-04-01 上海爱数软件有限公司 一种写时拷贝快照备份过程中可断点传输的方法
CN104883265A (zh) * 2014-02-27 2015-09-02 中兴通讯股份有限公司 备份文件的数据重传方法及装置、系统
CN114020522A (zh) * 2021-09-26 2022-02-08 新华三大数据技术有限公司 数据备份方法、装置、电子设备及系统
CN114138559A (zh) * 2021-12-01 2022-03-04 浪潮云信息技术股份公司 一种基于合成技术的快速备份方法及系统
CN114666322A (zh) * 2022-03-22 2022-06-24 通号智慧城市研究设计院有限公司 断点续传方法、装置和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202098A (zh) * 2011-05-25 2011-09-28 成都市华为赛门铁克科技有限公司 数据处理方法及装置
CN104883265A (zh) * 2014-02-27 2015-09-02 中兴通讯股份有限公司 备份文件的数据重传方法及装置、系统
CN104484242A (zh) * 2014-12-10 2015-04-01 上海爱数软件有限公司 一种写时拷贝快照备份过程中可断点传输的方法
CN114020522A (zh) * 2021-09-26 2022-02-08 新华三大数据技术有限公司 数据备份方法、装置、电子设备及系统
CN114138559A (zh) * 2021-12-01 2022-03-04 浪潮云信息技术股份公司 一种基于合成技术的快速备份方法及系统
CN114666322A (zh) * 2022-03-22 2022-06-24 通号智慧城市研究设计院有限公司 断点续传方法、装置和电子设备

Similar Documents

Publication Publication Date Title
US11003533B2 (en) Data processing method, system, and apparatus
CN102902600B (zh) 有效的应用感知的灾难恢复
US7797279B1 (en) Merging of incremental data streams with prior backed-up data
US9477682B1 (en) Parallel compression of data chunks of a shared data object using a log-structured file system
US10102076B2 (en) System and method for implementing a block-based backup restart
CN112835743B (zh) 分布式账本数据存储优化方法、装置、电子设备及介质
CN109783014B (zh) 一种存储数据的方法及装置
CN113064760B (zh) 数据库合成备份方法、装置、计算机设备和存储介质
CN102136941B (zh) 一种综合接入设备备份数据方法、设备以及系统
WO2017088129A1 (zh) 存储系统中数据备份的方法及装置
CN106170968A (zh) 一种数据压缩存储方法、装置，及分布式文件系统
US7512756B2 (en) Performance improvement for block span replication
CN111211993B (zh) 流式计算的增量持久化方法、装置及存储介质
CN109766218A (zh) 基于分布式存储的数据备份方法
CN111414277B (zh) 数据恢复方法、装置、电子设备和介质
CN115623016A (zh) 一种基于云存储技术的备份断点续传实现方法及系统
CN109101639B (zh) 一种提高文件系统性能的聚合模式
US9921918B1 (en) Cloud-based data backup and management
CN113535482B (zh) 云备份链数据备份方法及装置、设备、可读介质
JP2017142605A (ja) バックアップリストアシステム及びリストア方法
CN114138559A (zh) 一种基于合成技术的快速备份方法及系统
CN112988461B (zh) 数据备份方法、边缘节点、数据中心及计算机存储介质
CN114281246B (zh) 一种基于云管理平台的云硬盘在线迁移方法、装置、设备
CN112068993A (zh) 跨域数据灾备装置
WO2020219124A1 (en) Garbage collection for a deduplicated cloud tier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination