CN112214355A - 一种海量数据备份处理方法及系统 - Google Patents

一种海量数据备份处理方法及系统 Download PDF

Info

Publication number
CN112214355A
CN112214355A CN202011129951.0A CN202011129951A CN112214355A CN 112214355 A CN112214355 A CN 112214355A CN 202011129951 A CN202011129951 A CN 202011129951A CN 112214355 A CN112214355 A CN 112214355A
Authority
CN
China
Prior art keywords
backup
data
mark
source
fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011129951.0A
Other languages
English (en)
Inventor
韩抒豪
杜晋瑞
姚国军
陈勇铨
江俊
胡军擎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yingfang Software Co ltd
Original Assignee
Shanghai Yingfang Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yingfang Software Co ltd filed Critical Shanghai Yingfang Software Co ltd
Priority to CN202011129951.0A priority Critical patent/CN112214355A/zh
Publication of CN112214355A publication Critical patent/CN112214355A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种海量数据备份处理方法及系统，所述方法包括如下步骤：步骤S1，于备份过程中，当源端向备端每备份预设数据量的数据，于源端数据相应位置增加备份标记，于备端接收并存储源端所传送的预设数据量的备份数据后，于备端数据相应位置增加相应的备份标记；步骤S2，当数据备份过程中出现备份中断时，删除备端最后一个备份标记后的数据；步骤S3，当中断恢复后，以相邻备份标记之间的数据为一个分片，对比源端与备端相应的分片数据是否相同，以根据对比结果更新相应分片的数据备份；步骤S4，获取源端的最后一个备份标记，于该备份标记的数据位置处恢复继续备份。

Description

一种海量数据备份处理方法及系统
技术领域
本发明涉及数据备份技术领域，特别是涉及一种对海量数据备份过程中意外中断的衔接处理的海量数据备份处理方法及系统。
背景技术
数据备份是容灾的基础，其是为了防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障，而且其恢复时间也很长。随着技术的不断发展，数据的海量增加，不少的企业开始采用网络备份。
但是，无论是哪种备份，在备份过程中，都难免会出现一些情况导致备份意外中断，比如断电、断网等。如果已经备份的数据量不太大的情况下，可以重新做一次备份。但是如果在已经备份了大量数据的情况下意外中断，重新备份将会给企业或个人带来很多时间上的损失。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种海量数据备份处理方法及系统，以解决海量数据备份过程中意外中断的衔接备份问题。
为达上述目的，本发明提出一种海量数据备份处理方法，包括如下步骤：
步骤S1，于备份过程中，当源端向备端每备份预设数据量的数据，于源端数据相应位置增加备份标记，于备端接收并存储源端所传送的预设数据量的备份数据后，于备端数据相应位置增加相应的备份标记；
步骤S2，当数据备份过程中出现备份中断时，删除备端最后一个备份标记后的数据；
步骤S3，当中断恢复后，以相邻备份标记之间的数据为一个分片，对比源端与备端相应的分片数据是否相同，以根据对比结果更新相应分片的数据备份步骤S4，获取源端的最后一个备份标记，于该备份标记的数据位置处恢复继续备份。
优选地，于步骤S1之前，还包括如下步骤：
步骤S0，设置一个常量作为所述预设数据量，以便源端根据所述预设数据量备份数据，以及设置变量offset作为所述备份标记。
优选地，所述变量offset为递增变量，在备份之前，所述变量offset设为0，每备份1个常量n大小的数据，于源端数据相应位置增加一个offset标记，所述变量offset每次递增1。
优选地，当备份进行到最后一段数据之后，于源端数据的末尾处标记offset标记为-1。
优选地，于步骤S3中，当比对源端与备端某段相应的分片数据不同时，则重新备份相应端的分片数据。
优选地，于步骤S4后，还包括如下步骤：
当备份完成后，删除源端与备端的备份标记。
为达到上述目的，本发明还提供一种海量数据备份处理系统，包括：
备份处理模块，用于在备份过程中，当源端向备端每备份预设数据量的数据，于源端数据相应位置增加备份标记，于备端接收并存储源端所传送的预设数据量的备份数据时，于备端数据相应位置增加相应的备份标记；
中断处理模块，用于当数据备份过程中出现备份中断时，删除备端最后一个备份标记后的数据；
中断恢复处理模块，用于在中断恢复后，以相邻备份标记之间的数据为一个分片，对比源端与备端相应的分片数据是否相同，以根据对比结果更新相应分片的数据备份；
中断恢复模块，用于获取源端数据的最后一个备份标记，于该备份标记的数据位置处恢复继续备份。
优选地，所述系统还包括设置模块，用于设置一个常量作为所述预设数据量，以便源端根据所述预设数据量备份数据，以及设置变量offset作为所述备份标记。
优选地，所述变量offset为递增变量，在备份之前，所述变量offset设为0，每备份1个常量n大小的数据，于源端数据相应位置增加一个offset标记，所述变量offset每次递增1。
优选地，当备份处理模块的备份进行到最后一段数据时，于源端数据的末尾处标记offset标记为-1。
与现有技术相比，本发明一种海量数据备份处理方法及系统通过在备份过程中，当源端向备端每备份预设数据量的数据，于源端数据相应位置增加一备份标记，于备端接收并存储源端所传送的预设数据量的备份数据后，于备端数据相应位置增加相应的备份标记，并数据备份过程中出现备份中断时，删除备端最后一备份标记后的数据，在中断恢复后，则以相邻备份标记之间的数据为一个分片，对比源端与备端相应的分片数据是否相同，以根据对比结果更新相应分片的数据备份，最后获取源端的最后一个备份标记，于该备份标记的数据位置处恢复继续备份，解决了海量数据备份过程中意外中断的衔接备份问题。。
附图说明
图1为本发明一种海量数据备份处理方法的步骤流程图；
图2为本发明一种海量数据备份处理方法的步骤流程图；
图3为本发明实施例的步骤流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种海量数据备份处理方法的步骤流程图。如图1所示，本发明一种海量数据备份处理方法，包括如下步骤：
步骤S1，于备份过程中，当源端向备端每备份预设数据量的数据，于源端数据相应位置增加一备份标记，于备端接收并存储源端所传送的预设数据量的备份数据后，于备端数据相应位置增加相应的备份标记。
在本发明具体实施例中，所述预设数据量为一常量，也就是说，以源端每备份该常量大小的数据，会于相应位置设置备份标记，在本发明具体实施例中，该备份标记采用递增的偏移量offset为标记，即每备份该常量大小的数据后，以上一次备份的备份标记加1，并记录于源端数据相应位置，这里需说明的是，当源端备份到最后一段数据时，其数据量会等于或小于预设数据量，于源端数据的末尾处设置备份标记offset为-1。
优选地，于步骤S1之前，还包括如下步骤：
设置一个常量n(n为大于0的数)作为所述预设数据量，以便源端根据所述预设数据量备份数据，并设置一个递增的偏移量offset变量作为所述备份标记，offset初始值设为0。相应地，当进行正常备份时，在备份过程中，当源端每备份1个常量的数据，则给源端数据相应位置增加一个offset标记，offset每次递增1；当备份进行到最后一段数据之后，给源端数据的末尾处标记offset为-1。
步骤S2，当数据备份过程中出现备份中断时，删除备端最后一备份标记后的数据。
也就是说，在数据备份过程中，当发生意外情况，例如出现断电、断网等情况，会导致备份中断，此时备端需删除其在备份过程中记录的最后一备份标记后的数据，以避免在中断恢复后有重复数据。
步骤S3，当中断恢复后，以相邻备份标记之间的数据为一个分片，对比源端与备端相应的分片数据是否相同，以根据对比结果更新相应分片的数据备份。具体地，依序从起始位置开始，以相邻两个offset标记之间为一个分片进行对源端及备端相应的分片数据进行比对，当源端与备端相应的分片数据不同时，则重新备份该段分片数据，即源端该段分片数据重新传送至备端存储至对应位置，若相同，则继续下一分片数据继续进行比对，直至到最后一个offset标记。
步骤S4，获取源端数据的最后一个备份标记，于该备份标记的数据位置处恢复继续备份。在本发明具体实施例中，获取源端数据的最后一个offset标记，并于此位置开始继续备份，即于此位置开始源端向备端备份预设数据量的数据，并于源端数据相应位置增加一offset标记，当备端接收并存储源端所传送的预设数据量的备份数据后，于备端数据相应位置增加相应的备份标记offset标记，该offset标记为递增变量。
优选地，于步骤S4后，还包括如下步骤：
当备份完成后，删除源端与备端的备份标记，即offset标记。
图2为本发明一种海量数据备份处理系统的系统架构图。如图2所示，本发明一种海量数据备份处理系统，包括：
备份处理模块201，用于在备份过程中，当源端向备端每备份预设数据量的数据，于源端数据相应位置增加一备份标记，于备端接收并存储源端所传送的预设数据量的备份数据时，于备端数据相应位置增加相应的备份标记。
在本发明具体实施例中，所述预设数据量为一常量，也就是说，以源端每备份该常量大小的数据，会于相应位置设置备份标记，在本发明具体实施例中，该备份标记采用递增的偏移量offset为标记，即每备份该常量大小的数据后，以上一次备份的备份标记加1，并记录于源端数据相应位置，这里需说明的是，当源端备份到最后一段数据时，其数据量会等于或小于预设数据量，于源端数据的末尾处设置备份标记offset为-1。
优选地，于步骤S1之前，还包括如下步骤：
设置模块，用于设置一个常量n(n为大于0的数)作为所述预设数据量，以便源端根据所述预设数据量备份数据，并设置一个递增的偏移量offset变量作为所述备份标记，offset初始值设为0。相应地，当进行正常备份时，在备份过程中，当源端每备份1个常量的数据，则给源端数据相应位置增加一个offset标记，offset每次递增1；当备份进行到最后一段数据之后，给源端数据的末尾处标记offset为-1。
中断处理模块202，用于当数据备份过程中出现备份中断时，删除备端最后一备份标记后的数据。
也就是说，在数据备份过程中，当发生意外情况，例如出现断电、断网等情况，会导致备份中断，此时备端需删除其在备份过程中记录的最后一备份标记后的数据，以避免在中断恢复后有重复数据。
中断恢复处理模块203，用于在中断恢复后，以相邻备份标记之间的数据为一个分片，对比源端与备端相应的分片数据是否相同，以根据对比结果更新相应分片的数据备份。具体地，依序从起始位置开始，以相邻两个offset标记之间为一个分片进行对源端及备端相应的分片数据进行比对，当源端与备端相应的分片数据不同时，则重新备份该段分片数据，即源端该段分片数据重新传送至备端存储至对应位置，若相同，则继续下一分片数据继续进行比对，直至到最后一个offset标记。
中断恢复模块204，用于获取源端数据的最后一个备份标记，于该备份标记的数据位置处恢复继续备份。在本发明具体实施例中，中断恢复模块204获取源端数据的最后一个offset标记，并于此位置开始继续备份，即于此位置开始源端向备端备份预设数据量的数据，并于源端数据相应位置增加一offset标记，当备端接收并存储源端所传送的预设数据量的备份数据后，于备端数据相应位置增加相应的备份标记offset标记，该offset标记为递增变量。
优选地，当备份完成后，备份处理模块201则删除源端与备端的备份标记，即offset标记。
实施例
在本实施例中，如图3所示，所述海量数据备份处理方法过程如下：
步骤1，备份之前：给备份设置一个数据大小的常量n(n为大于0的数)，以及一个offset递增变量作为备份标记。在备份之前，offset设为0。
步骤2，正常备份过程：在备份过程中，每备份1个常量大小的数量，则于源端数据相应位置增加一个offset标记，offset每次递增1；当备份进行到最后一段数据之后，给源端数据的末尾处标记offset为-1。
步骤3，备份中断之后：当数据备份过程中发生意外情况(如断电、断网等)导致备份中断，则查看备端最后一个offset标记并删除备端最后一次offset标记后的数据，以避免继续备份后有重复数据，等到有电或者有网等情况使得中断恢复之后，首先查看源端数据是否发生变化，即以源备端每两次offset标记之间为一个分片，对比源端与备端的分片数据是否相同，如果不同则重新备份该段分片，当对比结束后，查找源端数据的最后一个offset标记，并从该标记处的数据位置继续备份，也就是说，如果分片数据有更新，则需要首先备份更新的那段分片，当所有分片对比完成后，再从之前中断的点恢复继续备份。
步骤4，当备份完成之后，删除源端与备端的offset标记。
综上所述，本发明一种海量数据备份处理方法及系统通过在备份过程中，当源端向备端每备份预设数据量的数据，于源端数据相应位置增加一备份标记，于备端接收并存储源端所传送的预设数据量的备份数据后，于备端数据相应位置增加相应的备份标记，并数据备份过程中出现备份中断时，删除备端最后一备份标记后的数据，在中断恢复后，则以相邻备份标记之间的数据为一个分片，对比源端与备端相应的分片数据是否相同，以根据对比结果更新相应分片的数据备份，最后获取源端的最后一个备份标记，于该备份标记的数据位置处恢复继续备份，解决了海量数据备份过程中意外中断的衔接备份问题。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种海量数据备份处理方法，包括如下步骤：
步骤S1，于备份过程中，当源端向备端每备份预设数据量的数据，于源端数据相应位置增加备份标记，在备端接收并存储源端所传送的预设数据量的备份数据后，于备端数据相应位置增加相应的备份标记；
步骤S2，当数据备份过程中出现备份中断时，删除备端最后一个备份标记后的数据；
步骤S3，当中断恢复后，以相邻备份标记之间的数据为一个分片，对比源端与备端相应的分片数据是否相同，以根据对比结果更新相应分片的数据备份；
步骤S4，获取源端的最后一个备份标记，于该备份标记的数据位置处恢复继续备份。
2.如权利要求1所述的一种海量数据备份处理方法，其特征在于，于步骤S1之前，还包括如下步骤：
步骤S0，设置一个常量作为所述预设数据量，以便源端根据所述预设数据量备份数据，以及设置变量offset作为所述备份标记。
3.如权利要求2所述的一种海量数据备份处理方法，其特征在于，所述变量offset为递增变量，在备份之前，所述变量offset设为0，每备份1个常量n大小的数据，于源端数据相应位置增加一个offset标记，所述变量offset每次递增1。
4.如权利要求3所述的一种海量数据备份处理方法，其特征在于：当备份进行到最后一段数据之后，于源端数据的末尾处标记offset标记为-1。
5.如权利要求1所述的一种海量数据备份处理方法，其特征在于：于步骤S3中，当比对源端与备端某段相应的分片数据不同时，则重新备份相应端的分片数据。
6.如权利要求3所述的一种海量数据备份处理方法，其特征在于，于步骤S4后，还包括如下步骤：
当备份完成后，删除源端与备端的备份标记。
7.一种海量数据备份处理系统，包括：
备份处理模块，用于在备份过程中，当源端向备端每备份预设数据量的数据，于源端数据相应位置增加备份标记，于备端接收并存储源端所传送的预设数据量的备份数据时，于备端数据相应位置增加相应的备份标记；
中断处理模块，用于当数据备份过程中出现备份中断时，删除备端最后一个备份标记后的数据；
中断恢复处理模块，用于在中断恢复后，以相邻备份标记之间的数据为一个分片，对比源端与备端相应的分片数据是否相同，以根据对比结果更新相应分片的数据备份；
中断恢复模块，用于获取源端数据的最后一个备份标记，于该备份标记的数据位置处恢复继续备份。
8.如权利要求7所述的一种海量数据备份处理系统，其特征在于，所述系统还包括设置模块，用于设置一个常量作为所述预设数据量，以便源端根据所述预设数据量备份数据，以及设置变量offset作为所述备份标记。
9.如权利要求8所述的一种海量数据备份处理系统，其特征在于：所述变量offset为递增变量，在备份之前，所述变量offset设为0，每备份1个常量n大小的数据，于源端数据相应位置增加一个offset标记，所述变量offset每次递增1。
10.如权利要求8所述的一种海量数据备份处理系统，其特征在于：当备份处理模块的备份进行到最后一段数据时，于源端数据的末尾处标记offset标记为-1。
CN202011129951.0A 2020-10-21 2020-10-21 一种海量数据备份处理方法及系统 Pending CN112214355A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011129951.0A CN112214355A (zh) 2020-10-21 2020-10-21 一种海量数据备份处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011129951.0A CN112214355A (zh) 2020-10-21 2020-10-21 一种海量数据备份处理方法及系统

Publications (1)

Publication Number Publication Date
CN112214355A true CN112214355A (zh) 2021-01-12

Family

ID=74056184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011129951.0A Pending CN112214355A (zh) 2020-10-21 2020-10-21 一种海量数据备份处理方法及系统

Country Status (1)

Country Link
CN (1) CN112214355A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325785A (zh) * 2008-07-28 2008-12-17 深圳华为通信技术有限公司 数据备份与恢复方法及装置、移动设备
CN102073560A (zh) * 2011-01-17 2011-05-25 北京深思洛克软件技术股份有限公司 一种数据备份方法和装置
CN106528335A (zh) * 2016-10-25 2017-03-22 广东欧珀移动通信有限公司 一种数据备份方法、装置和终端
CN111581028A (zh) * 2020-05-12 2020-08-25 上海英方软件股份有限公司 一种基于数据块的数据快速备份和一致性验证方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325785A (zh) * 2008-07-28 2008-12-17 深圳华为通信技术有限公司 数据备份与恢复方法及装置、移动设备
CN102073560A (zh) * 2011-01-17 2011-05-25 北京深思洛克软件技术股份有限公司 一种数据备份方法和装置
CN106528335A (zh) * 2016-10-25 2017-03-22 广东欧珀移动通信有限公司 一种数据备份方法、装置和终端
CN111581028A (zh) * 2020-05-12 2020-08-25 上海英方软件股份有限公司 一种基于数据块的数据快速备份和一致性验证方法及系统

Similar Documents

Publication Publication Date Title
US8335770B2 (en) Method of restoring data
CN111475340B (zh) 用于创建复制品的方法、装置和计算机程序产品
US9575849B2 (en) Synchronized backup and recovery of database systems
US8341460B2 (en) Verification of computer backup data
US7310654B2 (en) Method and system for providing image incremental and disaster recovery
US8086569B2 (en) Asynchronous detection of local event based point-in-time state of local-copy in the remote-copy in a delta-set asynchronous remote replication
JP4594928B2 (ja) フラッシュバックデータベース
US7197665B2 (en) Physical incremental backup using snapshots
US20050182797A1 (en) Method and apparatus for file system snapshot persistence
US20090024813A1 (en) Recoverability of a dataset associated with a multi-tier storage system
KR100515890B1 (ko) 효율적인 데이터베이스 복구방법
EP1307876A2 (en) Data storage system and process
US20110282843A1 (en) Method and system for data backup and replication
US7900088B1 (en) System for performing incremental file system check
CN111581028A (zh) 一种基于数据块的数据快速备份和一致性验证方法及系统
US8799211B1 (en) Cascaded replication system with remote site resynchronization after intermediate site failure
CN111400248B (zh) 写数据、恢复数据的方法及文件系统
CN112214355A (zh) 一种海量数据备份处理方法及系统
CN113535482B (zh) 云备份链数据备份方法及装置、设备、可读介质
CN108089942B (zh) 一种数据备份、恢复方法及装置
US10684922B2 (en) Enhanced data storage using compressed data
US20220398169A1 (en) Method, system and computer-readable medium for synthetic incremental data backup
US20170300387A1 (en) Always Current backup and recovery method on large databases with minimum resource utilization.
US11995042B1 (en) Fast recovery for replication corruptions
CN113094207B (zh) 数据备份方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210112