CN112650621A - 一种基于文件存储的备份实现方法 - Google Patents
一种基于文件存储的备份实现方法 Download PDFInfo
- Publication number
- CN112650621A CN112650621A CN202011547088.0A CN202011547088A CN112650621A CN 112650621 A CN112650621 A CN 112650621A CN 202011547088 A CN202011547088 A CN 202011547088A CN 112650621 A CN112650621 A CN 112650621A
- Authority
- CN
- China
- Prior art keywords
- backup
- snapshot
- instance
- file storage
- tar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 27
- RBZXVDSILZXPDM-UHFFFAOYSA-N 1-(2,5-dimethoxy-3,4-dimethylphenyl)propan-2-amine Chemical compound COC1=CC(CC(C)N)=C(OC)C(C)=C1C RBZXVDSILZXPDM-UHFFFAOYSA-N 0.000 claims abstract description 10
- 238000011084 recovery Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000006837 decompression Effects 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于文件存储的备份实现方法，涉及文件存储技术领域，采用技术方案包括：搭建分布式存储系统ceph集群，创建文件存储所需的数据池和元数据池，创建cephfs服务，安装ganesha服务，将cephfs协议转换到nfs协议；在用户发出备份请求时，ceph集群开启快照模式，在文件存储的快照目录中生成文件存储实例的快照，在非快照目录中拉取文件存储实例的快照生成实例备份，通过tar命令打包生成的实例备份，并进一步生成全量备份的tar包和tar包的全量快照；原始数据发生变化，对比之前生成tar包的全量快照，生成增量的tar包快照，然后将全量的tar包快照和新生成的增量快照上传到对象存储中。本发明可以减少备份生成时所占用的临时空间，缩短备份上传的时间周期。
Description
技术领域
本发明涉及文件存储技术领域，具体的说是一种基于文件存储的备份实现方法。
背景技术
近随着云时代的到来，存储数据、分析数据、共享信息不在局限于传统的硬盘上。传统的硬盘对于业务的支撑存在造价高、不易于扩容、不易于分享的缺点。2006年亚马逊退出了简易存储服务也就是云存储产品，开启了云存储服务的发展。
云存储服务发展阶段，存储技术经历了云硬盘、文件存储、对象存储的发展阶段。其中，文件存储以低廉的价格，可以共享数据以及在线编辑的特点，在交通和金融行业有广泛的应用。文件存储采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，可扩展性好、价格便宜、用户易管理，如目前在集群计算中应用较多的NFS文件系统，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。
既然数据存在文件存储中，那么就要保证数据的安全性和可靠性。备份在保证数据的安全性和可恢复性上具有统治地位。传统文件存储备份会出现无法增量备份，或者备份时要预留出一定的空间才可以操作，给予用户的体验感是很差的。往往因为备份时间过长，或者空间不足导致备份失败，进而这个功能被弃用或者遗忘。一旦发生不可逆转的数据破坏，用户和运营商会处于尴尬的境地。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种基于文件存储的备份实现方法，避免了无法增量备份的问题，解决了每次备份都会全量备份的痛点。
本发明的一种基于文件存储的备份实现方法，解决上述技术问题采用的技术方案如下：
一种基于文件存储的备份实现方法，其实现内容包括：
搭建分布式存储系统ceph集群，创建文件存储所需的数据池和元数据池，并基于数据池和元数据池创建cephfs服务，随后在ceph集群外安装ganesha服务，将cephfs协议转换到nfs协议；
在用户登录云平台发起创建文件存储实例的请求时，在cephfs服务中生成1个文件存储实例和对应的实例挂载点，用户登录虚机后，通过挂载点信息进行挂载文件存储和使用；
在用户发出备份请求时，ceph集群开启快照模式，在文件存储的快照目录中生成文件存储实例的快照，在非快照目录中拉取文件存储实例的快照生成实例备份，通过tar命令打包生成的实例备份，并进一步生成全量备份的tar包和tar包的全量快照，将全量备份的快照和tar包的全量快照上传到对象存储服务中；
当原始数据发生变化，拉取对象存储中的tar包的快照到本地进行对比，发生变化的数据会生成一个新的增量tar包的快照，并将之前生成tar包的全量快照和新生成的增量tar包快照一起上传到对象存储服务中。
进一步的，在搭建分布式存储系统ceph集群后，安装文件存储和对象存储所需的组件mds和rgw网关。
进一步的，在四台虚机或者硬件服务器上搭建分布式存储系统ceph集群，四台虚机或者硬件服务器划分为1个master节点和3个salve节点，其中，master节点安装部署工具ceph-deploy，3个salve节点通过ceph-deploy工具进行mon节点、osd节点、mds节点的安装，安装完成后，进行相关配置修改，并重新启动，随后用ceph health进行节点检查及确认ceph的正常运行。
更进一步的，在ceph集群外准备两台虚机节点，安装ganesha服务，并通过ganesha.conf文件引用ceph集群，将cephfs协议转换到nfs协议。
进一步的，通过tar命令打包生成的实例备份时，预先设置切片参数，通过tar命令对实例备份进行压缩切片，同时，采用java sdk编写上传切片的方法形成线程，来进行切片的上传。
更进一步的，进行切片的时候，会有一个标志位进行标识，当实例备份没有完成切片任务的时候，该标志位为false，当实例备份完成切片的时候，该标志位为true；
作为上传切片的主线程，会时刻的去检测切片的标志位，直到标志位变为true时，表示当前实例备份的切片任务完成。
更进一步的，当原始数据发生变化触发备份任务时，对象存储端会预先根据规则生成一个文件夹，用于本次备份的存储，切片进行上传的时候，也会存入到预先生成的文件夹内。
优选的，通过java sdk，将当前生成tar包的全量快照和发生变化的数据备份上传到对象存储服务中。
进一步的，如果文件存储的数据遭到破坏或者被恶意删除，触发恢复功能，随后根据实例备份的命名规则从对象存储上拉下所需要的实例备份切片，然后根据tar命令进行切片合成，最后执行解压缩命令进行数据恢复。
本发明的一种基于文件存储的备份实现方法，与现有技术相比具有的有益效果是：
(1)本发明基于文件存储，将生成的备份上传到对象存储，而且，在第一次备份的时候，只需要预先留出很少一部分空间进行备份，在备份的过程中产生备份切片，对接对象存储接口上传到对象存储端即可，可以避免无法增量备份的问题，解决每次备份都会全量备份的痛点，还可以减少备份生成时所占用的临时空间，缩短备份上传的时间周期；
(2)本发明进行备份时，采用边生成实例备份、边切片、边上传切片的方式，即使大容量的备份也不会觉得时间漫长，从而解决了由于网络等原因上传失败的问题；
(3)本发明还使租户存入文件存储数据的安全性得到了保证，能够在可接受时间范围进行数据的恢复。
附图说明
附图1是本发明实施例一中用户发出备份请求的流程示意图。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
实施例一：
本实施例提出一种基于文件存储的备份实现方法，其实现内容包括：
(1)搭建分布式存储系统ceph集群，创建文件存储所需的数据池和元数据池，并基于数据池和元数据池创建cephfs服务，随后在ceph集群外安装ganesha服务，将cephfs协议转换到nfs协议.
执行(1)的过程中，在四台虚机或者硬件服务器上搭建分布式存储系统ceph集群，四台虚机或者硬件服务器划分为1个master节点和3个salve节点，其中，master节点安装部署工具ceph-deploy，3个salve节点通过ceph-deploy工具进行mon节点、osd节点、mds节点的安装，安装完成后，进行相关配置修改，并重新启动，随后用ceph health进行节点检查及确认ceph的正常运行。
在ceph集群外准备两台虚机节点，安装ganesha服务，并通过ganesha.conf文件引用ceph集群，将cephfs协议转换到nfs协议。
搭建分布式存储系统ceph集群后，安装文件存储和对象存储所需的组件mds和rgw网关。
(2)在用户登录云平台发起创建文件存储实例的请求时，在cephfs服务中生成1个文件存储实例和对应的实例挂载点，用户登录虚机后，通过挂载点信息进行挂载文件存储和使用。
(3)参考附图1，在用户发出备份请求时，ceph集群开启快照模式，在文件存储的快照目录中生成文件存储实例的快照，在非快照目录中拉取文件存储实例的快照生成实例备份，通过tar命令打包生成的实例备份，并进一步生成全量备份的tar包和tar包的全量快照，通过java sdk将全量备份的快照和tar包的全量快照上传到对象存储服务中。
执行(3)的过程中，预先设置切片参数，通过tar命令对实例备份进行压缩切片，同时，采用java sdk编写上传切片的方法形成线程，来进行切片的上传。需要补充的是，进行切片的时候，会有一个标志位进行标识，当实例备份没有完成切片任务的时候，该标志位为false，当实例备份完成切片的时候，该标志位为true；作为上传切片的主线程，会时刻的去检测切片的标志位，直到标志位变为true时，表示当前实例备份的切片任务完成。
(4)当原始数据发生变化，拉取对象存储中的tar包的快照到本地进行对比，发生变化的数据会生成一个新的增量tar包的快照，并将之前生成tar包的全量快照和新生成的增量tar包快照一起上传到对象存储服务中。
需要补充的是，当原始数据发生变化时，触发备份任务，对象存储端会预先根据规则生成一个文件夹，用于本次备份的存储，切片进行上传的时候，也会存入到预先生成的文件夹内。
本实施例中，如果文件存储的数据遭到破坏或者被恶意删除，触发恢复功能，随后根据实例备份的命名规则从对象存储上拉下所需要的实例备份切片，然后根据tar命令进行切片合成，最后执行解压缩命令进行数据恢复。
综上可知，采用本发明的一种基于文件存储的备份实现方法，可以减少备份生成时所占用的临时空间，缩短备份上传的时间周期。
基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。
Claims (9)
1.一种基于文件存储的备份实现方法，其特征在于,其实现内容包括：
搭建分布式存储系统ceph集群，创建文件存储所需的数据池和元数据池，并基于数据池和元数据池创建cephfs服务，随后在ceph集群外安装ganesha服务，将cephfs协议转换到nfs协议；
在用户登录云平台发起创建文件存储实例的请求时，在cephfs服务中生成1个文件存储实例和对应的实例挂载点，用户登录虚机后，通过挂载点信息进行挂载文件存储和使用；
在用户发出备份请求时，ceph集群开启快照模式，在文件存储的快照目录中生成文件存储实例的快照，在非快照目录中拉取文件存储实例的快照生成实例备份，通过tar命令打包生成的实例备份，并进一步生成全量备份的tar包和tar包的全量快照，将全量备份的快照和tar包的全量快照上传到对象存储服务中；
当原始数据发生变化，拉取对象存储中的tar包的快照到本地进行对比，发生变化的数据会生成一个新的增量tar包的快照，并将之前生成tar包的全量快照和新生成的增量tar包快照一起上传到对象存储服务中。
2.根据权利要求1所述的一种基于文件存储的备份实现方法，其特征在于，在搭建分布式存储系统ceph集群后，安装文件存储和对象存储所需的组件mds和rgw网关。
3.根据权利要求1所述的一种基于文件存储的备份实现方法，其特征在于，在四台虚机或者硬件服务器上搭建分布式存储系统ceph集群，四台虚机或者硬件服务器划分为1个master节点和3个salve节点，其中，master节点安装部署工具ceph-deploy，3个salve节点通过ceph-deploy工具进行mon节点、osd节点、mds节点的安装，安装完成后，进行相关配置修改，并重新启动，随后用ceph health进行节点检查及确认ceph的正常运行。
4.根据权利要求3所述的一种基于文件存储的备份实现方法，其特征在于，在ceph集群外准备两台虚机节点，安装ganesha服务，并通过ganesha.conf文件引用ceph集群，将cephfs协议转换到nfs协议。
5.根据权利要求1所述的一种基于文件存储的备份实现方法，其特征在于，通过tar命令打包生成的实例备份时，预先设置切片参数，通过tar命令对实例备份进行压缩切片，同时，采用java sdk编写上传切片的方法形成线程，来进行切片的上传。
6.根据权利要求5所述的一种基于文件存储的备份实现方法，其特征在于，进行切片的时候，会有一个标志位进行标识，当实例备份没有完成切片任务的时候，该标志位为false，当实例备份完成切片的时候，该标志位为true；
作为上传切片的主线程，会时刻的去检测切片的标志位，直到标志位变为true时，表示当前实例备份的切片任务完成。
7.根据权利要求5所述的一种基于文件存储的备份实现方法，其特征在于，当原始数据发生变化触发备份任务时，对象存储端会预先根据规则生成一个文件夹，用于本次备份的存储，切片进行上传的时候，也会存入到预先生成的文件夹内。
8.根据权利要求1所述的一种基于文件存储的备份实现方法，其特征在于，通过javasdk，将当前生成tar包的全量快照和发生变化的数据备份上传到对象存储服务中。
9.根据权利要求1-8中任一项所述的一种基于文件存储的备份实现方法，其特征在于，如果文件存储的数据遭到破坏或者被恶意删除，触发恢复功能，随后根据实例备份的命名规则从对象存储上拉下所需要的实例备份切片，然后根据tar命令进行切片合成，最后执行解压缩命令进行数据恢复。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011547088.0A CN112650621A (zh) | 2020-12-24 | 2020-12-24 | 一种基于文件存储的备份实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011547088.0A CN112650621A (zh) | 2020-12-24 | 2020-12-24 | 一种基于文件存储的备份实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112650621A true CN112650621A (zh) | 2021-04-13 |
Family
ID=75359863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011547088.0A Pending CN112650621A (zh) | 2020-12-24 | 2020-12-24 | 一种基于文件存储的备份实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112650621A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113157497A (zh) * | 2021-04-30 | 2021-07-23 | 重庆紫光华山智安科技有限公司 | 数据存储方法、装置、设备及介质 |
| CN114385090A (zh) * | 2022-03-23 | 2022-04-22 | 深圳市杉岩数据技术有限公司 | 基于对象存储站点同步机制的数据自动处理方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106445741A (zh) * | 2016-09-28 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种基于ceph实现oracle数据库容灾备份方法 |
| US20190384495A1 (en) * | 2018-06-19 | 2019-12-19 | Trilio Data, Inc. | Object Store Backup Method and System |
| CN111767166A (zh) * | 2019-04-01 | 2020-10-13 | 广州精选速购网络科技有限公司 | 数据备份的方法和装置 |
| CN112069127A (zh) * | 2020-09-01 | 2020-12-11 | 南京卓盛云信息科技有限公司 | 一种CephFS文件系统的备份方法及系统 |
-
2020
- 2020-12-24 CN CN202011547088.0A patent/CN112650621A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106445741A (zh) * | 2016-09-28 | 2017-02-22 | 郑州云海信息技术有限公司 | 一种基于ceph实现oracle数据库容灾备份方法 |
| US20190384495A1 (en) * | 2018-06-19 | 2019-12-19 | Trilio Data, Inc. | Object Store Backup Method and System |
| CN111767166A (zh) * | 2019-04-01 | 2020-10-13 | 广州精选速购网络科技有限公司 | 数据备份的方法和装置 |
| CN112069127A (zh) * | 2020-09-01 | 2020-12-11 | 南京卓盛云信息科技有限公司 | 一种CephFS文件系统的备份方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| TONY_ZBY: "通过ganesha-nfs导出Ceph为NFS（Luminous）", 《SEGMENTFAULT》 * |
| 杨皓森，胡晓勤，黄传波: "面向OpenStack/Ceph的虚拟机备份系统研究", 《计算机系统应用》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113157497A (zh) * | 2021-04-30 | 2021-07-23 | 重庆紫光华山智安科技有限公司 | 数据存储方法、装置、设备及介质 |
| CN114385090A (zh) * | 2022-03-23 | 2022-04-22 | 深圳市杉岩数据技术有限公司 | 基于对象存储站点同步机制的数据自动处理方法及装置 |
| CN114385090B (zh) * | 2022-03-23 | 2022-06-07 | 深圳市杉岩数据技术有限公司 | 基于对象存储站点同步机制的数据自动处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104951474B (zh) | 一种用于获取MySQL binlog增量日志的方法和装置 | |
| CN106250270B (zh) | 一种云计算平台下的数据备份方法 | |
| WO2017050141A1 (zh) | 基于分布式存储的文件分发系统及方法 | |
| EP3223165B1 (en) | File processing method, system and server-clustered system for cloud storage | |
| US8839031B2 (en) | Data consistency between virtual machines | |
| US9753944B2 (en) | System and method for streaming files through differential compression | |
| CN112650621A (zh) | 一种基于文件存储的备份实现方法 | |
| CN106156359A (zh) | 一种云计算平台下的数据同步更新方法 | |
| CN111338893B (zh) | 进程日志处理方法、装置、计算机设备以及存储介质 | |
| US9131015B2 (en) | High availability event log collection in a networked system | |
| WO2010121330A1 (en) | Data storage system | |
| CN104320401A (zh) | 一种基于分布式文件系统的大数据存储访问系统及方法 | |
| CN111651523B (zh) | 一种Kubernetes容器平台的MySQL数据同步方法及系统 | |
| CN105159795A (zh) | 数据同步方法、装置和系统 | |
| US20130282653A1 (en) | Initializing replication in a virtual machine | |
| CN102360321A (zh) | 一种基于云架构的终端程序快速备份及恢复方法 | |
| CN101216794A (zh) | 改进的Server-Less备份方法、存储设备及备份服务器 | |
| CN112612939A (zh) | 一种爬虫部署方法、系统、装置、设备及存储介质 | |
| KR100912127B1 (ko) | 메타데이터 관리 시스템 및 메타데이터 관리 방법 | |
| CN104991739A (zh) | 元数据服务器失效接替中精确一次执行语义的方法及系统 | |
| CN104778214A (zh) | 基于资源定位器跳转的分布式文件系统及其数据同步方法 | |
| CN107547645B (zh) | Linux服务端与windows客户端之间跨平台文件的传输方法 | |
| JP5756379B2 (ja) | データ転送システム、転送元システム及び転送先システム並びにプログラム | |
| CN113965582B (zh) | 一种模式转换方法和系统，及存储介质 | |
| CN112416878A (zh) | 一种基于云平台的文件同步管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210413 |