CN110188068A - 一种保证文件系统数据一致性的卷级备份方法及装置 - Google Patents

一种保证文件系统数据一致性的卷级备份方法及装置 Download PDF

Info

Publication number
CN110188068A
CN110188068A CN201910406648.1A CN201910406648A CN110188068A CN 110188068 A CN110188068 A CN 110188068A CN 201910406648 A CN201910406648 A CN 201910406648A CN 110188068 A CN110188068 A CN 110188068A
Authority
CN
China
Prior art keywords
bitmap
local
volume
module
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910406648.1A
Other languages
English (en)
Other versions
CN110188068B (zh
Inventor
鲍苏宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN201910406648.1A priority Critical patent/CN110188068B/zh
Publication of CN110188068A publication Critical patent/CN110188068A/zh
Application granted granted Critical
Publication of CN110188068B publication Critical patent/CN110188068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/188—Virtual file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0664—Virtualisation aspects at device level, e.g. emulation of a storage device or system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes

Abstract

本发明涉及一种保证文件系统数据一致性的卷级备份方法及装置，所述方法包括：通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上；复制本地生产卷的数据到对应的虚拟磁盘，同时创建第一位图和第二位图，启动第一位图记录系统变化I/O；启动第二位图记录本地生产卷系统变化I/O，然后对本地生产卷执行快照操作，产生生产卷快照；对第一位图和第二位图进行位或运算，结果更新到第一位图；扫描第一位图，读取生产卷快照对应的数据块；每隔一个同步周期，第一位图与第二位图交替循环，不断将有I/O变化的数据块写入本地虚拟磁盘中。与现有技术相比，本发明采用位图和卷快照的方式提升了卷备份的稳定性和体验性。

Description

一种保证文件系统数据一致性的卷级备份方法及装置
技术领域
本发明涉及计算机信息存储技术领域，尤其是涉及一种保证文件系统数据一致性的卷级备份方法及装置。
背景技术
随着计算机技术的迅猛发展，如今绝大部分企业都使用计算机来运作自己的核心业务，由此而产生的数据也成为企业的核心财富，如何有效地保护这些核心数据也成为了企业面临的巨大挑战和关注的焦点。
卷级备份是企业数据保护中比较常用的一种方法。卷级备份可以实现一次完全备份，后续永久增量备份，实现对卷的高效保护。卷级备份可以通过多种方式实现，例如一次完全备份后，后续增量备份时，采用对比卷数据块Hash值的方式，只备份那些有变化的数据块，以此达到增量备份的目的。一种更好的方式是采用块级CDP技术实现永久增量备份，在完全备份前开启CDP监控，完全备份后获取CDP监控到的增量数据，后续每隔一段时间，获取一次CDP监控到的增量数据，即可实现永久增量备份。
现有的卷级备份并不能保证恢复后文件系统数据的一致性，即恢复出来的卷可能是损坏的，不能使用的，或者需要经过修复才能正常使用，这对于卷备份来说是一个巨大的缺陷。如何保证每次恢复后的卷都能正常使用，是提升卷备份稳定性和体验性的重大挑战。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种保证文件系统数据一致性的卷级备份方法及装置。
本发明的目的可以通过以下技术方案来实现：
一种保证文件系统数据一致性的卷级备份方法，包括以下步骤：
S1：通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上；
S2：将本地生产卷的数据复制到本地虚拟磁盘中，同时创建第一位图和第二位图，启动第一位图记录本地生产卷复制期间系统变化I/O；
S3：启动第二位图记录本地生产卷系统变化I/O，然后对本地生产卷执行快照操作(需要一定的时间)，产生生产卷快照，；
S4：快照操作完成后，对第一位图和第二位图进行位或运算，结果更新到第一位图，第二位图继续记录本地生产卷系统变化I/O；
S5：扫描第一位图，如果第一位图中存在bit位为1，则读取生产卷快照对应的数据块，并存储到本地虚拟磁盘中，之后本地虚拟磁盘便处于文件系统数据一致性的状态；然后清零第一位图，并删除生产卷快照，同时对本地虚拟磁盘执行快照操作，即可产生一个能够保证文件系统数据一致性的虚拟磁盘快照和初始的可恢复时间点；
S6：设置一个同步周期，数据同步周期即为一定时间后，将该时间段内系统的变化I/O从生产卷快照中读取并写入到对应的虚拟磁盘中；每隔一个同步周期，第一位图与第二位图交替，循环依次执行S3～S5，不断将有I/O变化的数据块写入本地虚拟磁盘中，即可实现在保证文件系统数据一致性的情况下对生产卷的永久增量备份。
进一步地，所述将本地生产卷的数据复制到本地虚拟磁盘中包括以下步骤：
S201：获取本地生产卷的系统位图；该位图由文件系统自身提供，其记录了当前生产卷上各个块的使用情况；
S202：扫描系统位图，如果系统位图中存在bit位为1，则读取本地生产卷对应的数据块，并存储到本地虚拟磁盘中。
进一步地，所述第一位图与第二位图都是一块大小相同的内存缓冲区，该内存缓冲区的每一个bit位对应于本地生产卷的一个数据块，如果bit位为1，表示该数据块有系统变化I/O；如果bit位为0，表示该数据块没有系统变化I/O。
第二位图主要是和第一位图一起交替记录系统变化I/O，使得系统能够周期性将有变化I/O的数据块写入虚拟磁盘中。
进一步地，所述记录系统变化I/O具体为，获取系统变化I/O，根据I/O的偏移和长度，将第一位图或第二位图相应的bit位设置为1。
进一步地，所述对生产卷执行快照，是指操作系统提供的对卷进行快照操作的功能或服务，该功能或服务可以保证在快照执行完成后，快照里面的数据能够保证文件系统数据的一致性。Windows下采用VSS(Volume Shadow Copy Service,VSS)对卷执行快照操作。Linux下采用LVM(Logical Volume Manager，LVM)对卷执行快照操作。
进一步地，所述对第一位图和第二位图执行位或运算，是指将第一位图的内容与第二位图的内容按照bit位进行位或运算。
本发明还提供一种保证文件系统数据一致性的卷级备份装置，包括：
数据传输模块，用于通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上；
内核驱动模块，用于捕获系统变化I/O；
位图记录模块，用于创建位图、启动位图记录系统变化I/O、位图位运算和位图扫描；
快照管理模块，用于执行快照操作，以及数据的读取、存储和删除；
控制模块，用于执行卷级备份程序；
调度模块，用于接收控制模块、位图记录模块和快照管理模块的指令，向控制模块、位图记录模块和快照管理模块发送控制消息；
所述控制模块执行的卷级备份程序包括以下步骤：
S1：控制模块发送控制指令给数据传输模块，数据传输模块将需备份磁盘区域挂载到本地生产卷上；
S2：控制模块发送控制指令给调度模块和内核驱动模块，调度模块发送控制指令给快照管理模块，快照管理模块将本地生产卷的数据复制到本地虚拟磁盘中，完成复制后，通过调度模块向控制模块发送复制完成消息；同时，内核驱动模块开始捕获系统变化I/O，并发送指令给位图记录模块，位图记录模块创建第一位图和第二位图，并启动第一位图记录系统变化I/O；控制模块接收复制完成消息后，通过调度模块发送控制指令给位图记录模块，位图记录模块关闭第一位图记录系统变化I/O；
S3：控制模块通过调度模块发送控制指令给快照管理模块和位图记录模块，位图记录模块启动第二位图记录本地生产卷系统变化I/O，然后快照管理模块对本地生产卷执行快照操作，产生生产卷快照后，通过调度模块向控制模块发送快照完成消息；
S4：控制模块接收快照完成消息后，通过调度模块发送控制指令给位图记录模块，位图记录模块对第一位图和第二位图进行位或运算，结果更新到第一位图；
S5：控制模块通过调度模块发送控制指令给位图记录模块，位图记录模块扫描第一位图，如果第一位图中存在bit位为1，则通过调度模块，控制快照管理模块读取生产卷快照对应的数据块，并存储到本地虚拟磁盘中，扫描完成后，通过调度模块向控制模块发送扫描完成消息；控制模块接收到扫描完成消息后，通过调度模块发送控制指令给位图记录模块和快照管理模块，位图记录模块清零第一位图；快照管理模块删除生产卷快照，并对本地虚拟磁盘执行快照操作，产生一个能够保证文件系统数据一致性的虚拟磁盘快照和初始的可恢复时间点；
S6：控制模块每隔一个同步周期，将第一位图与第二位图交替，循环依次执行S3～S5，不断将有I/O变化的数据块写入本地虚拟磁盘中，实现在保证文件系统数据一致性的情况下对生产卷的永久增量备份。
进一步地，所述快照管理模块将本地生产卷的数据复制到本地虚拟磁盘中具体包括以下步骤：
S201：获取本地生产卷的系统位图；
S202：扫描系统位图，如果系统位图中存在bit位为1，则读取本地生产卷对应的数据块，并存储到本地虚拟磁盘中。
进一步地，所述第一位图与第二位图都是一块大小相同的内存缓冲区，该内存缓冲区的每一个bit位对应于本地生产卷的一个数据块，如果bit位为1，表示该数据块有系统变化I/O；如果bit位为0，表示该数据块没有系统变化I/O。
进一步地，所述记录系统变化I/O具体为，获取内核驱动模块捕获的系统变化I/O，根据I/O的偏移和长度，将第一位图或第二位图相应的bit位设置为1。
与现有技术相比，本发明具有以下优点：
(1)本发明在读取系统变化I/O数据块时，先对生产卷执行快照操作，产生一个文件系统数据一致性的快照，然后从该快照中读取执行快照前和执行快照期间的变化I/O数据块，当所有变化I/O数据块都被读取并写入虚拟磁盘后，该虚拟磁盘也能够保证文件系统数据的一致性，再对该虚拟磁盘进行快照操作，即可产生一致性虚拟磁盘快照和可恢复时间点，这会大大提升卷备份的稳定性和体验性。
(2)本发明采用位图记录生产卷执行快照前和执行快照期间的变化I/O数据块，方便可靠，记录准确度高，有利于保证文件系统的数据一致性。
(3)本发明交替使用两个位图，能持续不间断地监控系统变化I/O，从而进行永久增量备份，有利于保证文件系统的数据一致性。
附图说明
图1为iSCSI协议结构图；
图2为本发明保证文件系统数据一致性的卷级备份方法的工作流程图；
图3为本发明保证文件系统数据一致性的卷级备份装置的结构示意图；
图4为本发明实施例3的保证文件系统数据一致性的卷级备份装置的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
一种保证文件系统数据一致性的卷级备份方法，其工作流程图如图2所示。
1、数据传输阶段
通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上，iSCSI协议结构图如图1所示。
2、数据备份阶段
1)获取本地生产卷的系统位图，该位图由文件系统自身提供，其记录了当前生产卷上各个块的使用情况。
2)扫描系统位图，如果系统位图中存在bit位为1，则读取本地生产卷对应的数据块，并存储到本地虚拟磁盘中。同时创建第一位图(bitmap1)和第二位图(bitmap2)，启动第一位图记录本地生产卷复制期间系统变化I/O。
第一位图与第二位图都是一块大小相同的内存缓冲区，该内存缓冲区的每一个bit位对应于本地生产卷的一个数据块，如果bit位为1，表示该数据块有系统变化I/O；如果bit位为0，表示该数据块没有系统变化I/O。
第二位图主要是和第一位图一起交替记录系统变化I/O，使得系统能够周期性将有变化I/O的数据块写入虚拟磁盘中。
记录系统变化I/O具体为，获取系统变化I/O，根据I/O的偏移和长度，将第一位图或第二位图相应的bit位设置为1。
3)启动第二位图记录本地生产卷快照期间系统变化I/O，然后对本地生产卷执行快照操作(需要一定的时间)，产生生产卷快照。
对生产卷执行快照，是指操作系统提供的对卷进行快照操作的功能或服务，该功能或服务可以保证在快照执行完成后，快照里面的数据能够保证文件系统数据的一致性。Windows下采用VSS(Volume Shadow Copy Service,VSS)对卷执行快照操作。Linux下采用LVM(Logical Volume Manager，LVM)对卷执行快照操作。
4)快照操作完成后，对第一位图和第二位图进行位或运算，即将第一位图的内容与第二位图的内容按照bit位进行位或运算。结果更新到第一位图，第二位图继续记录本地生产卷系统变化I/O。
5)扫描第一位图，如果第一位图中存在bit位为1，则读取生产卷快照对应的数据块，并存储到本地虚拟磁盘中，之后本地虚拟磁盘便处于文件系统数据一致性的状态；然后清零第一位图，并删除生产卷快照，同时对本地虚拟磁盘执行快照操作，即可产生一个能够保证文件系统数据一致性的虚拟磁盘快照和初始的可恢复时间点。
6)设置一个同步周期，数据同步周期即为一定时间后，将该时间段内系统的变化I/O从生产卷快照中读取并写入到对应的虚拟磁盘中。在达到数据同步周期的时间后，启用第一位图来记录系统变化I/O，并对生产卷执行快照操作，生产卷快照执行完成后，对第一位图和第二位图执行位或运算，并将结果更新到第二位图中，之后第一位图继续记录生产卷变化I/O，同时扫描第二位图，将该数据同步周期内和执行生产卷快照期间有I/O变化的数据块从生产卷快照中读取并存储到本地虚拟磁盘中，扫描完第二位图后，将第二位图的内容清零，并删除生产卷快照，对本地虚拟磁盘执行快照操作，得到文件系统数据一致性的虚拟磁盘快照和增量的可恢复时间点。依次类推，每隔一个同步周期，第一位图与第二位图交替，循环依次执行步骤3～5，不断将有I/O变化的数据块写入本地虚拟磁盘中，即可实现在保证文件系统数据一致性的情况下对生产卷的永久增量备份。
实施例2
一种保证文件系统数据一致性的卷级备份装置，其结构示意图如图3所示，包括：
1、数据传输模块，如图4所示，用于通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上。具体为，在需要进行卷备份的业务主机上安装备份客户端，同时在另外一台主机上安装备份控制台；备份控制台即为数据传输模块，包括控制模块和数据存储模块，主要用于数据的管理和任务的管理；客户端和控制台都需要运行iSCSI服务，以便可以挂载虚拟磁盘到客户端；
2、内核驱动模块，用于捕获系统变化I/O；
3、位图记录模块，用于创建位图、启动位图记录系统变化I/O、位图位运算和位图扫描；
4、快照管理模块，用于执行快照操作，以及数据的读取、存储和删除；
5、控制模块，用于执行卷级备份程序；
6、调度模块，用于接收控制模块、位图记录模块和快照管理模块的指令，向控制模块、位图记录模块和快照管理模块发送控制消息；
所述控制模块执行的卷级备份程序包括以下步骤：
S1：控制模块发送控制指令给数据传输模块，数据传输模块在控制台管理页面中选择某个连接到控制台的客户端作为卷级备份对象，创建基于该客户端的卷级备份任务，选择的生产卷为客户端的D卷，选择控制台通过iSCSI挂载到客户端的虚拟磁盘E作为卷级备份的目标存储磁盘；
S2：对卷级备份任务进行初始化操作，设置数据同步周期等相关参数；
S3：控制模块发送控制指令给调度模块和内核驱动模块，调度模块发送控制指令给快照管理模块，快照管理模块将本地D卷的数据复制到虚拟磁盘E中，完成复制后，通过调度模块向控制模块发送复制完成消息；同时，内核驱动模块开始捕获系统变化I/O，并发送指令给位图记录模块，位图记录模块创建第一位图和第二位图，并启动第一位图记录系统变化I/O；控制模块接收复制完成消息后，通过调度模块发送控制指令给位图记录模块，位图记录模块关闭第一位图记录系统变化I/O；
所述快照管理模块将本地D卷的数据复制到虚拟磁盘E中具体包括以下步骤：
S301：获取本地D卷的系统位图；
S302：扫描系统位图，如果系统位图中存在bit位为1，则读取本地D卷对应的数据块，并存储到虚拟磁盘E中。
所述第一位图与第二位图都是一块大小相同的内存缓冲区，该内存缓冲区的每一个bit位对应于本地D卷的一个数据块，如果bit位为1，表示该数据块有系统变化I/O；如果bit位为0，表示该数据块没有系统变化I/O。
所述记录系统变化I/O具体为，获取内核驱动模块捕获的系统变化I/O，根据I/O的偏移和长度，将第一位图或第二位图相应的bit位设置为1。
S4：控制模块通过调度模块发送控制指令给快照管理模块和位图记录模块，位图记录模块启动第二位图记录本地D卷系统变化I/O，然后快照管理模块对本地D卷执行快照操作，产生D卷快照后，通过调度模块向控制模块发送快照完成消息；
S5：控制模块接收快照完成消息后，通过调度模块发送控制指令给位图记录模块，位图记录模块对第一位图和第二位图进行位或运算，结果更新到第一位图；
S6：控制模块通过调度模块发送控制指令给位图记录模块，位图记录模块扫描第一位图，如果第一位图中存在bit位为1，则通过调度模块，控制快照管理模块读取D卷快照对应的数据块，并存储到虚拟磁盘E中，扫描完成后，通过调度模块向控制模块发送扫描完成消息；控制模块接收到扫描完成消息后，通过调度模块发送控制指令给位图记录模块和快照管理模块，位图记录模块清零第一位图；快照管理模块删除D卷快照，并对虚拟磁盘E执行快照操作，产生一个能够保证文件系统数据一致性的虚拟磁盘快照和初始的可恢复时间点；
S7：控制模块每隔一个同步周期，将第一位图与第二位图交替，循环依次执行S4～S6，不断将有I/O变化的数据块写入虚拟磁盘E中，实现在保证文件系统数据一致性的情况下对D卷的永久增量备份。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种保证文件系统数据一致性的卷级备份方法，其特征在于，包括以下步骤：
S1：通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上；
S2：复制本地生产卷的数据到对应的虚拟磁盘，同时创建第一位图和第二位图，启动第一位图记录本地生产卷复制期间系统变化I/O；
S3：启动第二位图记录本地生产卷系统变化I/O，然后对本地生产卷执行快照操作，产生生产卷快照；
S4：快照操作完成后，对第一位图和第二位图进行位或运算，结果更新到第一位图，第二位图继续记录本地生产卷系统变化I/O；
S5：扫描第一位图，如果第一位图中存在bit位为1，则读取生产卷快照对应的数据块，并存储到本地虚拟磁盘中，之后清零第一位图，并删除生产卷快照，同时对本地虚拟磁盘执行快照操作；
S6：每隔一个同步周期，交替利用第一位图与第二位图，循环依次执行S3～S5，不断将有I/O变化的数据块写入本地虚拟磁盘中。
2.根据权利要求1所述的一种保证文件系统数据一致性的卷级备份方法，其特征在于，所述将本地生产卷的数据复制到本地虚拟磁盘中包括以下步骤：
S201：获取本地生产卷的系统位图；
S202：扫描系统位图，如果系统位图中存在bit位为1，则读取本地生产卷对应的数据块，并存储到本地虚拟磁盘中。
3.根据权利要求1所述的一种保证文件系统数据一致性的卷级备份方法，其特征在于，所述第一位图与第二位图都是一块大小相同的内存缓冲区，该内存缓冲区的每一个bit位对应于本地生产卷的一个数据块，如果bit位为1，表示该数据块有系统变化I/O；如果bit位为0，表示该数据块没有系统变化I/O。
4.根据权利要求1所述的一种保证文件系统数据一致性的卷级备份方法，其特征在于，所述记录系统变化I/O具体为，获取系统变化I/O，根据I/O的偏移和长度，将第一位图或第二位图相应的bit位设置为1。
5.一种保证文件系统数据一致性的卷级备份装置，其特征在于，包括：
数据传输模块，用于通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上；
内核驱动模块，用于捕获系统变化I/O；
位图记录模块，用于创建位图、启动位图记录系统变化I/O、位图位运算和位图扫描；
快照管理模块，用于执行快照操作，以及数据的读取、存储和删除；
控制模块，用于执行卷级备份程序；
调度模块，用于接收控制模块、位图记录模块和快照管理模块的指令，向控制模块、位图记录模块和快照管理模块发送控制消息；
所述控制模块执行的卷级备份程序包括以下步骤：
S1：控制模块发送控制指令给数据传输模块，数据传输模块将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上；
S2：控制模块发送控制指令给调度模块和内核驱动模块，调度模块发送控制指令给快照管理模块，快照管理模块将本地生产卷的数据复制到本地虚拟磁盘中，完成复制后，通过调度模块向控制模块发送复制完成消息；同时，内核驱动模块开始捕获系统变化I/O，并发送指令给位图记录模块，位图记录模块创建第一位图和第二位图，并启动第一位图记录系统变化I/O；控制模块接收复制完成消息后，通过调度模块发送控制指令给位图记录模块，位图记录模块关闭第一位图记录系统变化I/O；
S3：控制模块通过调度模块发送控制指令给快照管理模块和位图记录模块，位图记录模块启动第二位图记录本地生产卷系统变化I/O；然后快照管理模块对本地生产卷执行快照操作，产生生产卷快照后，通过调度模块向控制模块发送快照完成消息；
S4：控制模块接收快照完成消息后，通过调度模块发送控制指令给位图记录模块，位图记录模块对第一位图和第二位图进行位或运算，结果更新到第一位图；
S5：控制模块通过调度模块发送控制指令给位图记录模块，位图记录模块扫描第一位图，如果第一位图中存在bit位为1，则通过调度模块，控制快照管理模块读取生产卷快照对应的数据块，并存储到本地虚拟磁盘中，扫描完成后，通过调度模块向控制模块发送扫描完成消息；控制模块接收到扫描完成消息后，通过调度模块发送控制指令给位图记录模块和快照管理模块，位图记录模块清零第一位图；快照管理模块删除生产卷快照，并对本地虚拟磁盘执行快照操作；
S6：控制模块每隔一个同步周期，交替利用第一位图与第二位图，循环依次执行S3～S5，不断将有I/O变化的数据块写入本地虚拟磁盘中。
6.根据权利要求5所述的一种保证文件系统数据一致性的卷级备份装置，其特征在于，所述快照管理模块将本地生产卷的数据复制到本地虚拟磁盘中具体包括以下步骤：
S201：获取本地生产卷的系统位图；
S202：扫描系统位图，如果系统位图中存在bit位为1，则读取本地生产卷对应的数据块，并存储到本地虚拟磁盘中。
7.根据权利要求5所述的一种保证文件系统数据一致性的卷级备份装置，其特征在于，所述第一位图与第二位图都是一块大小相同的内存缓冲区，该内存缓冲区的每一个bit位对应于本地生产卷的一个数据块，如果bit位为1，表示该数据块有系统变化I/O；如果bit位为0，表示该数据块没有系统变化I/O。
8.根据权利要求5所述的一种保证文件系统数据一致性的卷级备份装置，其特征在于，所述记录系统变化I/O具体为，获取内核驱动模块捕获的系统变化I/O，根据I/O的偏移和长度，将第一位图或第二位图相应的bit位设置为1。
CN201910406648.1A 2019-05-16 2019-05-16 一种保证文件系统数据一致性的卷级备份方法及装置 Active CN110188068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910406648.1A CN110188068B (zh) 2019-05-16 2019-05-16 一种保证文件系统数据一致性的卷级备份方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910406648.1A CN110188068B (zh) 2019-05-16 2019-05-16 一种保证文件系统数据一致性的卷级备份方法及装置

Publications (2)

Publication Number Publication Date
CN110188068A true CN110188068A (zh) 2019-08-30
CN110188068B CN110188068B (zh) 2024-01-23

Family

ID=67716479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910406648.1A Active CN110188068B (zh) 2019-05-16 2019-05-16 一种保证文件系统数据一致性的卷级备份方法及装置

Country Status (1)

Country Link
CN (1) CN110188068B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851302A (zh) * 2019-10-31 2020-02-28 上海爱数信息技术股份有限公司 一种数据库信息的备份方法及恢复方法
CN112148530A (zh) * 2020-09-28 2020-12-29 上海爱数信息技术股份有限公司 一种数据定时卷级备份方法及其系统
CN114356849A (zh) * 2022-03-21 2022-04-15 联想凌拓科技有限公司 文件系统的数据管理方法及装置、电子设备及存储介质
WO2023006024A1 (zh) * 2021-07-30 2023-02-02 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及可读存储介质
CN116431396A (zh) * 2023-06-07 2023-07-14 成都云祺科技有限公司 一种卷实时备份缓存数据处理方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095622A (zh) * 2016-06-22 2016-11-09 上海爱数信息技术股份有限公司 数据备份方法及装置
CN106126370A (zh) * 2016-06-15 2016-11-16 上海爱数信息技术股份有限公司 基于存储快照之间增量位图的Server‑free备份方法及系统
CN106844095A (zh) * 2016-12-27 2017-06-13 上海爱数信息技术股份有限公司 文件备份方法、系统及具有该系统的客户端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126370A (zh) * 2016-06-15 2016-11-16 上海爱数信息技术股份有限公司 基于存储快照之间增量位图的Server‑free备份方法及系统
CN106095622A (zh) * 2016-06-22 2016-11-09 上海爱数信息技术股份有限公司 数据备份方法及装置
CN106844095A (zh) * 2016-12-27 2017-06-13 上海爱数信息技术股份有限公司 文件备份方法、系统及具有该系统的客户端

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851302A (zh) * 2019-10-31 2020-02-28 上海爱数信息技术股份有限公司 一种数据库信息的备份方法及恢复方法
WO2021082675A1 (zh) * 2019-10-31 2021-05-06 上海爱数信息技术股份有限公司 数据库信息的备份方法和恢复方法、电子设备以及计算机可读存储介质
CN110851302B (zh) * 2019-10-31 2021-06-18 上海爱数信息技术股份有限公司 一种数据库信息的备份方法及恢复方法
US20230015095A1 (en) * 2019-10-31 2023-01-19 Aishu Technology Corp. Database information backup method and recovery method, electronic device, and computer readable storage medium
CN112148530A (zh) * 2020-09-28 2020-12-29 上海爱数信息技术股份有限公司 一种数据定时卷级备份方法及其系统
WO2023006024A1 (zh) * 2021-07-30 2023-02-02 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及可读存储介质
CN114356849A (zh) * 2022-03-21 2022-04-15 联想凌拓科技有限公司 文件系统的数据管理方法及装置、电子设备及存储介质
CN114356849B (zh) * 2022-03-21 2022-05-17 联想凌拓科技有限公司 文件系统的数据管理方法及装置、电子设备及存储介质
CN116431396A (zh) * 2023-06-07 2023-07-14 成都云祺科技有限公司 一种卷实时备份缓存数据处理方法、系统及存储介质
CN116431396B (zh) * 2023-06-07 2023-08-25 成都云祺科技有限公司 一种卷实时备份缓存数据处理方法、系统及存储介质

Also Published As

Publication number Publication date
CN110188068B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN110188068A (zh) 一种保证文件系统数据一致性的卷级备份方法及装置
CN103970585B (zh) 创建虚拟机的方法及装置
CN1902595B (zh) 维持存储器数据一致性的方法和系统
CN102959518B (zh) 把文件系统恢复到目标存储器的计算机执行的方法和系统
US7594138B2 (en) System and method of error recovery for backup applications
CN104166606B (zh) 文件备份方法和主存储设备
JP4704893B2 (ja) 計算機システム及び管理計算機とストレージシステム並びにバックアップ管理方法
US11360688B2 (en) Cascading snapshot creation in a native replication 3-site configuration
Zhao et al. Exploring reliability of exascale systems through simulations.
CN105550062B (zh) 基于持续数据保护与时间点浏览恢复的数据回流方法
CN106790713B (zh) 云计算环境下的跨数据中心虚拟机迁移方法
CN110188000A (zh) 基于虚拟化以及iSCSI或FC的应用容灾方法及系统
CN103902405B (zh) 一种准连续性数据复制方法及装置
JP2008077287A (ja) データベース管理システム、記憶装置システム、データ回復方法及び情報処理システム
CN113886143B (zh) 虚拟机持续数据保护方法、装置及数据恢复方法、装置
CN104077380A (zh) 一种重复数据删除方法、装置及系统
US20110078115A1 (en) Methods of consistent data protection for multi-server applications
CN111274065B (zh) 一种基于软件的灾备方法及装置
US11880284B2 (en) Storage restore system, storage restore method, and storage medium
CN114003439B (zh) 数据备份方法、装置、设备及存储介质
CN111045865A (zh) 一种基于块复制的实时同步方法及系统
CN110515767A (zh) 快照数据备份方法、装置、设备及可读存储介质
US20140201149A1 (en) Consistent bookmark
JP2006072684A (ja) ストレージネットワークシステム及び管理サーバ、ホストとストレージ装置
JP5291166B2 (ja) 記憶装置システム及びデータ回復方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant