CN106648979A - 分布式实时文件系统的备份方法及备份系统 - Google Patents
分布式实时文件系统的备份方法及备份系统 Download PDFInfo
- Publication number
- CN106648979A CN106648979A CN201611131896.2A CN201611131896A CN106648979A CN 106648979 A CN106648979 A CN 106648979A CN 201611131896 A CN201611131896 A CN 201611131896A CN 106648979 A CN106648979 A CN 106648979A
- Authority
- CN
- China
- Prior art keywords
- backup
- file
- tasks
- engine
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
Abstract
本发明公开了一种分布式实时文件系统的备份方法及备份系统，该备份方法包括：主备份引擎获取备份文件；主备份引擎将备份文件分解为备份任务；主备份引擎根据多个本地备份客户端的负载分发备份任务；多个本地备份客户端将备份任务的数据发送至其对端备份客户端，对端备份客户端将备份任务的数据写入磁盘。本发明通过采用分布式的本地备份客户端，并由主备份引擎管理控制本地备份客户端，使传输能力具有弹性扩展的空间，提高了对文件系统备份的能力。
Description
技术领域
本发明涉及计算机领域，具体来说，涉及一种分布式实时文件系统的备份方法及备份系统。
背景技术
文件系统备份是一种常见的应用场景。现有技术的一种方法是在备份方案时，业务需要全部离线，然后拷贝备份。在这种方法中，业务需要离线拷贝备份，这就需要两套业务系统，一套业务系统作为主业务节点，另一套业务系统作为从业务节点。为了维护两套业务系统，需要定期维护数据的迁移，保持数据的“一致性”。
现有技术的另一种方法是采用多份数据冗余作为集群，选择一份完整的数据冻结，作为有效静态数据，当备份完成，将多份数据同步。在这种采用集群方式的方法中，需要选择有效静态数据，以及需要同步集群间的冗余数据，由此就会产生频繁的数据传输和输入输出操作。
针对现有技术中需要定期维护数据的迁移以及频繁的数据传输和输入输出操作问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中需要定期维护数据的迁移以及频繁的数据传输和输入输出操作问题，本发明提出一种分布式实时文件系统的备份方法及备份系统，能够使传输能力具有弹性扩展的空间，提高对文件系统备份的能力。
本发明的技术方案是这样实现的：根据本发明的一个方面，提供了一种分布式实时文件系统的备份方法。
该分布式实时文件系统的备份方法包括：主备份引擎获取备份文件；主备份引擎将备份文件分解为备份任务；主备份引擎根据多个本地备份客户端的负载分发备份任务；多个本地备份客户端将备份任务的数据发送至其对端备份客户端，对端备份客户端将备份任务的数据写入磁盘。
优选地，备份任务为差分备份任务。
优选地，主备份引擎将备份文件分解为备份任务包括：判断新增加的文件和被修改过的文件，根据新增加的文件和被修改过的文件，按固定块将备份文件划分成差分备份任务。
优选地，进一步包括：对端备份客户端对备份任务的数据进行完整性判断。
优选地，进一步包括：将差分备份任务的md5值与对端的md5值进行比对，得出差分数据，并将差分数据拷贝到对端。
优选地，在将备份文件分解为备份任务前，还包括：主备份引擎将备份文件分为大文件和小文件。
优选地，进一步包括：故障修复过程；故障修复过程包括：主备份引擎监控各个本地备份客户端的工作状态；在发现有工作异常的本地备份客户端时，主备份引擎将工作异常的本地备份客户端上未完成的备份任务发送到其他工作正常的本地备份客户端，并不再给工作异常的本地备份客户端发送任务。
根据本发明的另一方面，提供了一种分布式实时文件系统的备份系统。
该分布式实时文件系统的备份系统包括：对端备份引擎；主备份引擎，用于从对端备份引擎获取备份文件，将备份文件分解为备份任务，根据多个本地备份客户端的负载分发备份任务；本地备份客户端，用于传输数据；对端备份客户端，用于将备份任务的数据写入磁盘。
优选地，对端备份客户端还用于判断备份任务的数据的完整性。
本发明通过采用分布式的本地备份客户端，并由主备份引擎管理控制本地备份客户端，使传输能力具有弹性扩展的空间，提高了对文件系统备份的能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的分布式实时文件系统的备份方法的流程图；
图2是根据本发明另一实施例的分布式实时文件系统的备份方法的流程图；
图3是根据本发明实施例的故障修复过程的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种分布式实时文件系统的备份方法。
如图1所示，根据本发明实施例的分布式文件系统的事务处理方法包括以下步骤：
S101，主备份引擎获取备份文件；
S103，主备份引擎将备份文件分解为备份任务；
S105，主备份引擎根据多个本地备份客户端的负载分发备份任务；
S107，多个本地备份客户端将备份任务的数据发送至其对端备份客户端，对端备份客户端将备份任务的数据写入磁盘。
下面为了更好的理解本发明的上述技术方案，下面结合图2来对本发明的上述技术方案进行详细阐述，分布式实时文件系统的备份方法包括以下步骤：
a1，获取对端监控信息，主备份引擎请求从对端备份引擎备份信息；
a2，应答获取监控信息，对端备份引擎应答并返回信息；
a3，报告本地备份客户端状态，主备份引擎监控本地客户端的负载情况及工作状态；
a4，根据状态分发备份任务，主备份引擎选择适合的本地备份客户端并向其分发备份任务；
a5，传输数据，本地备份客户端发送备份数据给对端备份客户端；
a6，对端备份客户端应答任务完成。
其中，在一个实施例中，备份任务为差分备份任务。
其中，主备份引擎将备份文件分解为差分备份任务包括：判断新增加的文件和被修改过的文件，根据新增加的文件和被修改过的文件，按固定块将备份文件划分成差分备份任务。
其中，对端备份客户端对备份任务的数据进行完整性判断。
其中，进一步地，将差分备份任务的md5(Message-Digest Algorithm 5，信息-摘要算法5)值与对端的md5值进行比对，得出差分数据，并将差分数据拷贝到对端。
另外，在一个实施例中，在将备份文件分解为备份任务前，还包括：主备份引擎将备份文件分为大文件和小文件。
此外，在一个实施例中，进一步包括故障修复过程。该故障修复过程包括：主备份引擎监控各个本地备份客户端的工作状态；在发现有工作异常的本地备份客户端时，主备份引擎将工作异常的本地备份客户端上未完成的备份任务发送到其他工作正常的本地备份客户端，并不再给工作异常的本地备份客户端发送任务。
具体到图3中的故障修复过程的工作流程，实现故障修复过程可以包括以下步骤：
b1，主备份引擎监控到本地备份客户端的备份故障信息；
b2，主备份引擎向其他工作正常的本地备份客户端重发未完成的备份任务；
b3，传输数据，工作正常的本地备份客户端接收到重发的未完成的备份任务后，发送备份数据给对端备份客户端；
b4，对端备份客户端应答任务完成。
根据本发明的实施例，还提供了一种分布式实时文件系统的备份系统。
该分布式实时文件系统的备份系统包括：
对端备份引擎；
主备份引擎，用于从对端备份引擎获取备份文件，将备份文件分解为备份任务，根据多个本地备份客户端的负载分发备份任务；
本地备份客户端，用于传输数据；
对端备份客户端，用于将备份任务的数据写入磁盘。
其中，在一个实施例中，对端备份客户端还用于判断备份任务的数据的完整性。
综上所述，借助于本发明的上述技术方案，通过采用分布式的本地备份客户端，并由主备份引擎管理控制本地备份客户端，使传输能力具有弹性扩展的空间，提高了对文件系统备份的能力。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种分布式实时文件系统的备份方法，其特征在于，包括：
主备份引擎获取备份文件；
所述主备份引擎将所述备份文件分解为备份任务；
所述主备份引擎根据多个本地备份客户端的负载分发所述备份任务；
所述多个本地备份客户端将所述备份任务的数据发送至其对端备份客户端，所述对端备份客户端将所述备份任务的数据写入磁盘。
2.根据权利要求1所述的备份方法，其特征在于，所述备份任务为差分备份任务。
3.根据权利要求2所述的备份方法，其特征在于，所述主备份引擎将所述备份文件分解为备份任务包括：
判断新增加的文件和被修改过的文件，根据所述新增加的文件和被修改过的文件，按固定块将所述备份文件划分成所述差分备份任务。
4.根据权利要求2所述的备份方法，其特征在于，进一步包括：
所述对端备份客户端对所述备份任务的数据进行完整性判断。
5.根据权利要求4所述的备份方法，其特征在于，进一步包括：
将所述差分备份任务的md5值与对端的md5值进行比对，得出差分数据，并将所述差分数据拷贝到所述对端。
6.根据权利要求1所述的备份方法，其特征在于，在将所述备份文件分解为备份任务前，还包括：
所述主备份引擎将所述备份文件分为大文件和小文件。
7.根据权利要求1所述的备份方法，其特征在于，进一步包括：故障修复过程；
其中，所述故障修复过程包括：
所述主备份引擎监控所述各个本地备份客户端的工作状态；
在发现有工作异常的所述本地备份客户端时，所述主备份引擎将所述工作异常的本地备份客户端上未完成的所述备份任务发送到其他工作正常的本地备份客户端，并不再给所述工作异常的本地备份客户端发送任务。
8.一种分布式实时文件系统的备份系统，其特征在于，包括：
对端备份引擎；
主备份引擎，用于从所述对端备份引擎获取备份文件，将所述备份文件分解为备份任务，根据多个本地备份客户端的负载分发所述备份任务；
本地备份客户端，用于传输数据；
对端备份客户端，用于将所述备份任务的数据写入磁盘。
9.根据权利要求8所述的备份系统，其特征在于，所述对端备份客户端还用于判断所述备份任务的数据的完整性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611131896.2A CN106648979A (zh) | 2016-12-09 | 2016-12-09 | 分布式实时文件系统的备份方法及备份系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611131896.2A CN106648979A (zh) | 2016-12-09 | 2016-12-09 | 分布式实时文件系统的备份方法及备份系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106648979A true CN106648979A (zh) | 2017-05-10 |
Family
ID=58824830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611131896.2A Pending CN106648979A (zh) | 2016-12-09 | 2016-12-09 | 分布式实时文件系统的备份方法及备份系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106648979A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107741890A (zh) * | 2017-10-16 | 2018-02-27 | 郑州云海信息技术有限公司 | 一种备份管理方法及装置 |
| CN110597659A (zh) * | 2019-08-28 | 2019-12-20 | 华为技术有限公司 | 备份处理方法及服务器 |
| WO2022143158A1 (zh) * | 2020-12-30 | 2022-07-07 | 花瓣云科技有限公司 | 一种数据备份方法、电子设备、数据备份系统及芯片系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8214611B2 (en) * | 2009-06-04 | 2012-07-03 | Hitachi, Ltd. | Storage subsystem and its data processing method, and computer system |
| CN103793425A (zh) * | 2012-10-31 | 2014-05-14 | 国际商业机器公司 | 用于分布式系统的数据处理方法及装置 |
| CN104320401A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种基于分布式文件系统的大数据存储访问系统及方法 |
| CN104852857A (zh) * | 2014-02-14 | 2015-08-19 | 航天信息股份有限公司 | 基于负载均衡的分布式数据传输方法和系统 |
-
2016
- 2016-12-09 CN CN201611131896.2A patent/CN106648979A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8214611B2 (en) * | 2009-06-04 | 2012-07-03 | Hitachi, Ltd. | Storage subsystem and its data processing method, and computer system |
| CN103793425A (zh) * | 2012-10-31 | 2014-05-14 | 国际商业机器公司 | 用于分布式系统的数据处理方法及装置 |
| CN104852857A (zh) * | 2014-02-14 | 2015-08-19 | 航天信息股份有限公司 | 基于负载均衡的分布式数据传输方法和系统 |
| CN104320401A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种基于分布式文件系统的大数据存储访问系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 黄晶: "数据备份系统的研究与实现", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107741890A (zh) * | 2017-10-16 | 2018-02-27 | 郑州云海信息技术有限公司 | 一种备份管理方法及装置 |
| CN110597659A (zh) * | 2019-08-28 | 2019-12-20 | 华为技术有限公司 | 备份处理方法及服务器 |
| WO2021036330A1 (zh) * | 2019-08-28 | 2021-03-04 | 华为技术有限公司 | 备份处理方法及服务器 |
| US11971786B2 (en) | 2019-08-28 | 2024-04-30 | Huawei Technologies Co., Ltd. | Backup processing method and server |
| WO2022143158A1 (zh) * | 2020-12-30 | 2022-07-07 | 花瓣云科技有限公司 | 一种数据备份方法、电子设备、数据备份系统及芯片系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110971684B (zh) | 一种基于pbft的区块链网络节点负载均衡方法 | |
| US7685227B2 (en) | Message forwarding backup manager in a distributed server system | |
| CN102411637B (zh) | 分布式文件系统的元数据管理方法 | |
| CN106951559B (zh) | 分布式文件系统中数据恢复方法及电子设备 | |
| US20120278817A1 (en) | Event distribution pattern for use with a distributed data grid | |
| CN106648979A (zh) | 分布式实时文件系统的备份方法及备份系统 | |
| CN108255994A (zh) | 一种基于数据库快照的数据库版本管理方法 | |
| CN110727508A (zh) | 一种任务调度系统和调度方法 | |
| CN105184501A (zh) | 一种高效的异步订单处理方法 | |
| CN112492022A (zh) | 提高数据库可用性的集群、方法、系统及存储介质 | |
| CN105991752A (zh) | 一种数据块更新方法及设备 | |
| CN110569124A (zh) | 一种任务分配方法和装置 | |
| WO2016209644A1 (en) | Crowd-source calendar sharing | |
| CN103281254B (zh) | 动态配置带宽的方法 | |
| JP5760350B2 (ja) | 情報処理システム | |
| US10944850B2 (en) | Methods, devices and systems for non-disruptive upgrades to a distributed coordination engine in a distributed computing environment | |
| CN111209084A (zh) | 一种faas分布式计算方法和装置 | |
| CN105245375B (zh) | 一种基于网络的高效存储方法 | |
| US11115446B2 (en) | Chat system and chat management apparatus | |
| US11381642B2 (en) | Distributed storage system suitable for sensor data | |
| CN110086660B (zh) | 一种数据处理方法及装置 | |
| US11044324B2 (en) | Method and device for maintaining session of network storage device | |
| US10191815B2 (en) | Parallel node backup for CSV | |
| US20160070596A1 (en) | Workflow Execution System and Method for Cloud Environment | |
| JP2924779B2 (ja) | データ階層配信処理方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |