CN110188068B - 一种保证文件系统数据一致性的卷级备份方法及装置 - Google Patents

一种保证文件系统数据一致性的卷级备份方法及装置 Download PDF

Info

Publication number
CN110188068B
CN110188068B CN201910406648.1A CN201910406648A CN110188068B CN 110188068 B CN110188068 B CN 110188068B CN 201910406648 A CN201910406648 A CN 201910406648A CN 110188068 B CN110188068 B CN 110188068B
Authority
CN
China
Prior art keywords
bitmap
snapshot
module
production volume
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910406648.1A
Other languages
English (en)
Other versions
CN110188068A (zh
Inventor
鲍苏宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN201910406648.1A priority Critical patent/CN110188068B/zh
Publication of CN110188068A publication Critical patent/CN110188068A/zh
Application granted granted Critical
Publication of CN110188068B publication Critical patent/CN110188068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/188—Virtual file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0664—Virtualisation aspects at device level, e.g. emulation of a storage device or system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种保证文件系统数据一致性的卷级备份方法及装置，所述方法包括：通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上；复制本地生产卷的数据到对应的虚拟磁盘，同时创建第一位图和第二位图，启动第一位图记录系统变化I/O；启动第二位图记录本地生产卷系统变化I/O，然后对本地生产卷执行快照操作，产生生产卷快照；对第一位图和第二位图进行位或运算，结果更新到第一位图；扫描第一位图，读取生产卷快照对应的数据块；每隔一个同步周期，第一位图与第二位图交替循环，不断将有I/O变化的数据块写入本地虚拟磁盘中。与现有技术相比，本发明采用位图和卷快照的方式提升了卷备份的稳定性和体验性。

Description

一种保证文件系统数据一致性的卷级备份方法及装置
技术领域
本发明涉及计算机信息存储技术领域，尤其是涉及一种保证文件系统数据一致性的卷级备份方法及装置。
背景技术
随着计算机技术的迅猛发展，如今绝大部分企业都使用计算机来运作自己的核心业务，由此而产生的数据也成为企业的核心财富，如何有效地保护这些核心数据也成为了企业面临的巨大挑战和关注的焦点。
卷级备份是企业数据保护中比较常用的一种方法。卷级备份可以实现一次完全备份，后续永久增量备份，实现对卷的高效保护。卷级备份可以通过多种方式实现，例如一次完全备份后，后续增量备份时，采用对比卷数据块Hash值的方式，只备份那些有变化的数据块，以此达到增量备份的目的。一种更好的方式是采用块级CDP技术实现永久增量备份，在完全备份前开启CDP监控，完全备份后获取CDP监控到的增量数据，后续每隔一段时间，获取一次CDP监控到的增量数据，即可实现永久增量备份。
现有的卷级备份并不能保证恢复后文件系统数据的一致性，即恢复出来的卷可能是损坏的，不能使用的，或者需要经过修复才能正常使用，这对于卷备份来说是一个巨大的缺陷。如何保证每次恢复后的卷都能正常使用，是提升卷备份稳定性和体验性的重大挑战。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种保证文件系统数据一致性的卷级备份方法及装置。
本发明的目的可以通过以下技术方案来实现：
一种保证文件系统数据一致性的卷级备份方法，包括以下步骤：
S1：通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上；
S2：将本地生产卷的数据复制到本地虚拟磁盘中，同时创建第一位图和第二位图，启动第一位图记录本地生产卷复制期间系统变化I/O；
S3：启动第二位图记录本地生产卷系统变化I/O，然后对本地生产卷执行快照操作(需要一定的时间)，产生生产卷快照；
S4：快照操作完成后，对第一位图和第二位图进行位或运算，结果更新到第一位图，第二位图继续记录本地生产卷系统变化I/O；
S5：扫描第一位图，如果第一位图中存在bit位为1，则读取生产卷快照对应的数据块，并存储到本地虚拟磁盘中，之后本地虚拟磁盘便处于文件系统数据一致性的状态；然后清零第一位图，并删除生产卷快照，同时对本地虚拟磁盘执行快照操作，即可产生一个能够保证文件系统数据一致性的虚拟磁盘快照和初始的可恢复时间点；
S6：设置一个同步周期，数据同步周期即为一定时间后，将该时间段内系统的变化I/O从生产卷快照中读取并写入到对应的虚拟磁盘中；每隔一个同步周期，第一位图与第二位图交替，循环依次执行S3～S5，不断将有I/O变化的数据块写入本地虚拟磁盘中，即可实现在保证文件系统数据一致性的情况下对生产卷的永久增量备份。
进一步地，所述将本地生产卷的数据复制到本地虚拟磁盘中包括以下步骤：
S201：获取本地生产卷的系统位图；该位图由文件系统自身提供，其记录了当前生产卷上各个块的使用情况；
S202：扫描系统位图，如果系统位图中存在bit位为1，则读取本地生产卷对应的数据块，并存储到本地虚拟磁盘中。
进一步地，所述第一位图与第二位图都是一块大小相同的内存缓冲区，该内存缓冲区的每一个bit位对应于本地生产卷的一个数据块，如果bit位为1，表示该数据块有系统变化I/O；如果bit位为0，表示该数据块没有系统变化I/O。
第二位图主要是和第一位图一起交替记录系统变化I/O，使得系统能够周期性将有变化I/O的数据块写入虚拟磁盘中。
进一步地，所述记录系统变化I/O具体为，获取系统变化I/O，根据I/O的偏移和长度，将第一位图或第二位图相应的bit位设置为1。
进一步地，所述对生产卷执行快照，是指操作系统提供的对卷进行快照操作的功能或服务，该功能或服务可以保证在快照执行完成后，快照里面的数据能够保证文件系统数据的一致性。Windows下采用VSS(Volume Shadow Copy Service,VSS)对卷执行快照操作。Linux下采用LVM(Logical Volume Manager，LVM)对卷执行快照操作。
进一步地，所述对第一位图和第二位图执行位或运算，是指将第一位图的内容与第二位图的内容按照bit位进行位或运算。
本发明还提供一种保证文件系统数据一致性的卷级备份装置，包括：
数据传输模块，用于通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上；
内核驱动模块，用于捕获系统变化I/O；
位图记录模块，用于创建位图、启动位图记录系统变化I/O、位图位运算和位图扫描；
快照管理模块，用于执行快照操作，以及数据的读取、存储和删除；
控制模块，用于执行卷级备份程序；
调度模块，用于接收控制模块、位图记录模块和快照管理模块的指令，向控制模块、位图记录模块和快照管理模块发送控制消息；
所述控制模块执行的卷级备份程序包括以下步骤：
S1：控制模块发送控制指令给数据传输模块，数据传输模块将需备份磁盘区域挂载到本地生产卷上；
S2：控制模块发送控制指令给调度模块和内核驱动模块，调度模块发送控制指令给快照管理模块，快照管理模块将本地生产卷的数据复制到本地虚拟磁盘中，完成复制后，通过调度模块向控制模块发送复制完成消息；同时，内核驱动模块开始捕获系统变化I/O，并发送指令给位图记录模块，位图记录模块创建第一位图和第二位图，并启动第一位图记录系统变化I/O；控制模块接收复制完成消息后，通过调度模块发送控制指令给位图记录模块，位图记录模块关闭第一位图记录系统变化I/O；
S3：控制模块通过调度模块发送控制指令给快照管理模块和位图记录模块，位图记录模块启动第二位图记录本地生产卷系统变化I/O，然后快照管理模块对本地生产卷执行快照操作，产生生产卷快照后，通过调度模块向控制模块发送快照完成消息；
S4：控制模块接收快照完成消息后，通过调度模块发送控制指令给位图记录模块，位图记录模块对第一位图和第二位图进行位或运算，结果更新到第一位图；
S5：控制模块通过调度模块发送控制指令给位图记录模块，位图记录模块扫描第一位图，如果第一位图中存在bit位为1，则通过调度模块，控制快照管理模块读取生产卷快照对应的数据块，并存储到本地虚拟磁盘中，扫描完成后，通过调度模块向控制模块发送扫描完成消息；控制模块接收到扫描完成消息后，通过调度模块发送控制指令给位图记录模块和快照管理模块，位图记录模块清零第一位图；快照管理模块删除生产卷快照，并对本地虚拟磁盘执行快照操作，产生一个能够保证文件系统数据一致性的虚拟磁盘快照和初始的可恢复时间点；
S6：控制模块每隔一个同步周期，将第一位图与第二位图交替，循环依次执行S3～S5，不断将有I/O变化的数据块写入本地虚拟磁盘中，实现在保证文件系统数据一致性的情况下对生产卷的永久增量备份。
进一步地，所述快照管理模块将本地生产卷的数据复制到本地虚拟磁盘中具体包括以下步骤：
S201：获取本地生产卷的系统位图；
S202：扫描系统位图，如果系统位图中存在bit位为1，则读取本地生产卷对应的数据块，并存储到本地虚拟磁盘中。
进一步地，所述第一位图与第二位图都是一块大小相同的内存缓冲区，该内存缓冲区的每一个bit位对应于本地生产卷的一个数据块，如果bit位为1，表示该数据块有系统变化I/O；如果bit位为0，表示该数据块没有系统变化I/O。
进一步地，所述记录系统变化I/O具体为，获取内核驱动模块捕获的系统变化I/O，根据I/O的偏移和长度，将第一位图或第二位图相应的bit位设置为1。
与现有技术相比，本发明具有以下优点：
(1)本发明在读取系统变化I/O数据块时，先对生产卷执行快照操作，产生一个文件系统数据一致性的快照，然后从该快照中读取执行快照前和执行快照期间的变化I/O数据块，当所有变化I/O数据块都被读取并写入虚拟磁盘后，该虚拟磁盘也能够保证文件系统数据的一致性，再对该虚拟磁盘进行快照操作，即可产生一致性虚拟磁盘快照和可恢复时间点，这会大大提升卷备份的稳定性和体验性。
(2)本发明采用位图记录生产卷执行快照前和执行快照期间的变化I/O数据块，方便可靠，记录准确度高，有利于保证文件系统的数据一致性。
(3)本发明交替使用两个位图，能持续不间断地监控系统变化I/O，从而进行永久增量备份，有利于保证文件系统的数据一致性。
附图说明
图1为iSCSI协议结构图；
图2为本发明保证文件系统数据一致性的卷级备份方法的工作流程图；
图3为本发明保证文件系统数据一致性的卷级备份装置的结构示意图；
图4为本发明实施例3的保证文件系统数据一致性的卷级备份装置的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例1
一种保证文件系统数据一致性的卷级备份方法，其工作流程图如图2所示。
1、数据传输阶段
通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上，iSCSI协议结构图如图1所示。
2、数据备份阶段
1)获取本地生产卷的系统位图，该位图由文件系统自身提供，其记录了当前生产卷上各个块的使用情况。
2)扫描系统位图，如果系统位图中存在bit位为1，则读取本地生产卷对应的数据块，并存储到本地虚拟磁盘中。同时创建第一位图(bitmap1)和第二位图(bitmap2)，启动第一位图记录本地生产卷复制期间系统变化I/O。
第一位图与第二位图都是一块大小相同的内存缓冲区，该内存缓冲区的每一个bit位对应于本地生产卷的一个数据块，如果bit位为1，表示该数据块有系统变化I/O；如果bit位为0，表示该数据块没有系统变化I/O。
第二位图主要是和第一位图一起交替记录系统变化I/O，使得系统能够周期性将有变化I/O的数据块写入虚拟磁盘中。
记录系统变化I/O具体为，获取系统变化I/O，根据I/O的偏移和长度，将第一位图或第二位图相应的bit位设置为1。
3)启动第二位图记录本地生产卷快照期间系统变化I/O，然后对本地生产卷执行快照操作(需要一定的时间)，产生生产卷快照。
对生产卷执行快照，是指操作系统提供的对卷进行快照操作的功能或服务，该功能或服务可以保证在快照执行完成后，快照里面的数据能够保证文件系统数据的一致性。Windows下采用VSS(Volume Shadow Copy Service,VSS)对卷执行快照操作。Linux下采用LVM(Logical Volume Manager，LVM)对卷执行快照操作。
4)快照操作完成后，对第一位图和第二位图进行位或运算，即将第一位图的内容与第二位图的内容按照bit位进行位或运算。结果更新到第一位图，第二位图继续记录本地生产卷系统变化I/O。
5)扫描第一位图，如果第一位图中存在bit位为1，则读取生产卷快照对应的数据块，并存储到本地虚拟磁盘中，之后本地虚拟磁盘便处于文件系统数据一致性的状态；然后清零第一位图，并删除生产卷快照，同时对本地虚拟磁盘执行快照操作，即可产生一个能够保证文件系统数据一致性的虚拟磁盘快照和初始的可恢复时间点。
6)设置一个同步周期，数据同步周期即为一定时间后，将该时间段内系统的变化I/O从生产卷快照中读取并写入到对应的虚拟磁盘中。在达到数据同步周期的时间后，启用第一位图来记录系统变化I/O，并对生产卷执行快照操作，生产卷快照执行完成后，对第一位图和第二位图执行位或运算，并将结果更新到第二位图中，之后第一位图继续记录生产卷变化I/O，同时扫描第二位图，将该数据同步周期内和执行生产卷快照期间有I/O变化的数据块从生产卷快照中读取并存储到本地虚拟磁盘中，扫描完第二位图后，将第二位图的内容清零，并删除生产卷快照，对本地虚拟磁盘执行快照操作，得到文件系统数据一致性的虚拟磁盘快照和增量的可恢复时间点。依次类推，每隔一个同步周期，第一位图与第二位图交替，循环依次执行步骤3～5，不断将有I/O变化的数据块写入本地虚拟磁盘中，即可实现在保证文件系统数据一致性的情况下对生产卷的永久增量备份。
实施例2
一种保证文件系统数据一致性的卷级备份装置，其结构示意图如图3所示，包括：
1、数据传输模块，如图4所示，用于通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上。具体为，在需要进行卷备份的业务主机上安装备份客户端，同时在另外一台主机上安装备份控制台；备份控制台即为数据传输模块，包括控制模块和数据存储模块，主要用于数据的管理和任务的管理；客户端和控制台都需要运行iSCSI服务，以便可以挂载虚拟磁盘到客户端；
2、内核驱动模块，用于捕获系统变化I/O；
3、位图记录模块，用于创建位图、启动位图记录系统变化I/O、位图位运算和位图扫描；
4、快照管理模块，用于执行快照操作，以及数据的读取、存储和删除；
5、控制模块，用于执行卷级备份程序；
6、调度模块，用于接收控制模块、位图记录模块和快照管理模块的指令，向控制模块、位图记录模块和快照管理模块发送控制消息；
所述控制模块执行的卷级备份程序包括以下步骤：
S1：控制模块发送控制指令给数据传输模块，数据传输模块在控制台管理页面中选择某个连接到控制台的客户端作为卷级备份对象，创建基于该客户端的卷级备份任务，选择的生产卷为客户端的D卷，选择控制台通过iSCSI挂载到客户端的虚拟磁盘E作为卷级备份的目标存储磁盘；
S2：对卷级备份任务进行初始化操作，设置数据同步周期等相关参数；
S3：控制模块发送控制指令给调度模块和内核驱动模块，调度模块发送控制指令给快照管理模块，快照管理模块将本地D卷的数据复制到虚拟磁盘E中，完成复制后，通过调度模块向控制模块发送复制完成消息；同时，内核驱动模块开始捕获系统变化I/O，并发送指令给位图记录模块，位图记录模块创建第一位图和第二位图，并启动第一位图记录系统变化I/O；控制模块接收复制完成消息后，通过调度模块发送控制指令给位图记录模块，位图记录模块关闭第一位图记录系统变化I/O；
所述快照管理模块将本地D卷的数据复制到虚拟磁盘E中具体包括以下步骤：
S301：获取本地D卷的系统位图；
S302：扫描系统位图，如果系统位图中存在bit位为1，则读取本地D卷对应的数据块，并存储到虚拟磁盘E中。
所述第一位图与第二位图都是一块大小相同的内存缓冲区，该内存缓冲区的每一个bit位对应于本地D卷的一个数据块，如果bit位为1，表示该数据块有系统变化I/O；如果bit位为0，表示该数据块没有系统变化I/O。
所述记录系统变化I/O具体为，获取内核驱动模块捕获的系统变化I/O，根据I/O的偏移和长度，将第一位图或第二位图相应的bit位设置为1。
S4：控制模块通过调度模块发送控制指令给快照管理模块和位图记录模块，位图记录模块启动第二位图记录本地D卷系统变化I/O，然后快照管理模块对本地D卷执行快照操作，产生D卷快照后，通过调度模块向控制模块发送快照完成消息；
S5：控制模块接收快照完成消息后，通过调度模块发送控制指令给位图记录模块，位图记录模块对第一位图和第二位图进行位或运算，结果更新到第一位图；
S6：控制模块通过调度模块发送控制指令给位图记录模块，位图记录模块扫描第一位图，如果第一位图中存在bit位为1，则通过调度模块，控制快照管理模块读取D卷快照对应的数据块，并存储到虚拟磁盘E中，扫描完成后，通过调度模块向控制模块发送扫描完成消息；控制模块接收到扫描完成消息后，通过调度模块发送控制指令给位图记录模块和快照管理模块，位图记录模块清零第一位图；快照管理模块删除D卷快照，并对虚拟磁盘E执行快照操作，产生一个能够保证文件系统数据一致性的虚拟磁盘快照和初始的可恢复时间点；
S7：控制模块每隔一个同步周期，将第一位图与第二位图交替，循环依次执行S4～S6，不断将有I/O变化的数据块写入虚拟磁盘E中，实现在保证文件系统数据一致性的情况下对D卷的永久增量备份。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种保证文件系统数据一致性的卷级备份方法，其特征在于，包括以下步骤：
S1：通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上；
S2：复制本地生产卷的数据到对应的虚拟磁盘，同时创建第一位图和第二位图，启动第一位图记录本地生产卷复制期间系统变化I/O；
S3：启动第二位图记录本地生产卷系统变化I/O，然后对本地生产卷执行快照操作，产生生产卷快照；
S4：快照操作完成后，对第一位图和第二位图进行位或运算，结果更新到第一位图，第二位图继续记录本地生产卷系统变化I/O；
S5：扫描第一位图，如果第一位图中存在bit位为1，则读取生产卷快照对应的数据块，并存储到本地虚拟磁盘中，之后清零第一位图，并删除生产卷快照，同时对本地虚拟磁盘执行快照操作；
S6：每隔一个同步周期，交替利用第一位图与第二位图，循环依次执行S3～S5，不断将有I/O变化的数据块写入本地虚拟磁盘中，具体地，在达到数据同步周期的时间后，启用第一位图来记录系统变化I/O，并对生产卷执行快照操作，生产卷快照执行完成后，对第一位图和第二位图执行位或运算，并将结果更新到第二位图中，之后第一位图继续记录生产卷变化I/O，同时扫描第二位图，将该数据同步周期内和执行生产卷快照期间有I/O变化的数据块从生产卷快照中读取并存储到本地虚拟磁盘中，扫描完第二位图后，将第二位图的内容清零，并删除生产卷快照，对本地虚拟磁盘执行快照操作，得到文件系统数据一致性的虚拟磁盘快照和增量的可恢复时间点；
将本地生产卷的数据复制到本地虚拟磁盘中包括以下步骤：
S201：获取本地生产卷的系统位图；
S202：扫描系统位图，如果系统位图中存在bit位为1，则读取本地生产卷对应的数据块，并存储到本地虚拟磁盘中。
2.根据权利要求1所述的一种保证文件系统数据一致性的卷级备份方法，其特征在于，所述第一位图与第二位图都是一块大小相同的内存缓冲区，该内存缓冲区的每一个bit位对应于本地生产卷的一个数据块，如果bit位为1，表示该数据块有系统变化I/O；如果bit位为0，表示该数据块没有系统变化I/O。
3.根据权利要求1所述的一种保证文件系统数据一致性的卷级备份方法，其特征在于，所述记录系统变化I/O具体为，获取系统变化I/O，根据I/O的偏移和长度，将第一位图或第二位图相应的bit位设置为1。
4.一种保证文件系统数据一致性的卷级备份装置，其特征在于，包括：
数据传输模块，用于通过iSCSI协议将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上；
内核驱动模块，用于捕获系统变化I/O；
位图记录模块，用于创建位图、启动位图记录系统变化I/O、位图位运算和位图扫描；
快照管理模块，用于执行快照操作，以及数据的读取、存储和删除；
控制模块，用于执行卷级备份程序；
调度模块，用于接收控制模块、位图记录模块和快照管理模块的指令，向控制模块、位图记录模块和快照管理模块发送控制消息；
所述控制模块执行的卷级备份程序包括以下步骤：
S1：控制模块发送控制指令给数据传输模块，数据传输模块将控制台上的多个磁盘区域挂载到本地的多个虚拟磁盘上；
S2：控制模块发送控制指令给调度模块和内核驱动模块，调度模块发送控制指令给快照管理模块，快照管理模块将本地生产卷的数据复制到本地虚拟磁盘中，完成复制后，通过调度模块向控制模块发送复制完成消息；同时，内核驱动模块开始捕获系统变化I/O，并发送指令给位图记录模块，位图记录模块创建第一位图和第二位图，并启动第一位图记录系统变化I/O；控制模块接收复制完成消息后，通过调度模块发送控制指令给位图记录模块，位图记录模块关闭第一位图记录系统变化I/O；
S3：控制模块通过调度模块发送控制指令给快照管理模块和位图记录模块，位图记录模块启动第二位图记录本地生产卷系统变化I/O；然后快照管理模块对本地生产卷执行快照操作，产生生产卷快照后，通过调度模块向控制模块发送快照完成消息；
S4：控制模块接收快照完成消息后，通过调度模块发送控制指令给位图记录模块，位图记录模块对第一位图和第二位图进行位或运算，结果更新到第一位图；
S5：控制模块通过调度模块发送控制指令给位图记录模块，位图记录模块扫描第一位图，如果第一位图中存在bit位为1，则通过调度模块，控制快照管理模块读取生产卷快照对应的数据块，并存储到本地虚拟磁盘中，扫描完成后，通过调度模块向控制模块发送扫描完成消息；控制模块接收到扫描完成消息后，通过调度模块发送控制指令给位图记录模块和快照管理模块，位图记录模块清零第一位图；快照管理模块删除生产卷快照，并对本地虚拟磁盘执行快照操作；
S6：控制模块每隔一个同步周期，交替利用第一位图与第二位图，循环依次执行S3～S5，不断将有I/O变化的数据块写入本地虚拟磁盘中，具体地，在达到数据同步周期的时间后，启用第一位图来记录系统变化I/O，并对生产卷执行快照操作，生产卷快照执行完成后，对第一位图和第二位图执行位或运算，并将结果更新到第二位图中，之后第一位图继续记录生产卷变化I/O，同时扫描第二位图，将该数据同步周期内和执行生产卷快照期间有I/O变化的数据块从生产卷快照中读取并存储到本地虚拟磁盘中，扫描完第二位图后，将第二位图的内容清零，并删除生产卷快照，对本地虚拟磁盘执行快照操作，得到文件系统数据一致性的虚拟磁盘快照和增量的可恢复时间点；
所述快照管理模块将本地生产卷的数据复制到本地虚拟磁盘中具体包括以下步骤：
S201：获取本地生产卷的系统位图；
S202：扫描系统位图，如果系统位图中存在bit位为1，则读取本地生产卷对应的数据块，并存储到本地虚拟磁盘中。
5.根据权利要求4所述的一种保证文件系统数据一致性的卷级备份装置，其特征在于，所述第一位图与第二位图都是一块大小相同的内存缓冲区，该内存缓冲区的每一个bit位对应于本地生产卷的一个数据块，如果bit位为1，表示该数据块有系统变化I/O；如果bit位为0，表示该数据块没有系统变化I/O。
6.根据权利要求4所述的一种保证文件系统数据一致性的卷级备份装置，其特征在于，所述记录系统变化I/O具体为，获取内核驱动模块捕获的系统变化I/O，根据I/O的偏移和长度，将第一位图或第二位图相应的bit位设置为1。
CN201910406648.1A 2019-05-16 2019-05-16 一种保证文件系统数据一致性的卷级备份方法及装置 Active CN110188068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910406648.1A CN110188068B (zh) 2019-05-16 2019-05-16 一种保证文件系统数据一致性的卷级备份方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910406648.1A CN110188068B (zh) 2019-05-16 2019-05-16 一种保证文件系统数据一致性的卷级备份方法及装置

Publications (2)

Publication Number Publication Date
CN110188068A CN110188068A (zh) 2019-08-30
CN110188068B true CN110188068B (zh) 2024-01-23

Family

ID=67716479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910406648.1A Active CN110188068B (zh) 2019-05-16 2019-05-16 一种保证文件系统数据一致性的卷级备份方法及装置

Country Status (1)

Country Link
CN (1) CN110188068B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851302B (zh) * 2019-10-31 2021-06-18 上海爱数信息技术股份有限公司 一种数据库信息的备份方法及恢复方法
CN112148530A (zh) * 2020-09-28 2020-12-29 上海爱数信息技术股份有限公司 一种数据定时卷级备份方法及其系统
CN115690235A (zh) * 2021-07-30 2023-02-03 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及可读存储介质
CN114356849B (zh) * 2022-03-21 2022-05-17 联想凌拓科技有限公司 文件系统的数据管理方法及装置、电子设备及存储介质
CN116431396B (zh) * 2023-06-07 2023-08-25 成都云祺科技有限公司 一种卷实时备份缓存数据处理方法、系统及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126370A (zh) * 2016-06-15 2016-11-16 上海爱数信息技术股份有限公司 基于存储快照之间增量位图的Server‑free备份方法及系统
CN106095622A (zh) * 2016-06-22 2016-11-09 上海爱数信息技术股份有限公司 数据备份方法及装置
CN106844095B (zh) * 2016-12-27 2020-04-28 上海爱数信息技术股份有限公司 文件备份方法、系统及具有该系统的客户端

Also Published As

Publication number Publication date
CN110188068A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110188068B (zh) 一种保证文件系统数据一致性的卷级备份方法及装置
US8229896B1 (en) Method and apparatus for identifying data blocks required for restoration
CN110188000B (zh) 基于虚拟化以及iSCSI或FC的应用容灾方法及系统
CN103019888B (zh) 备份方法与装置
CN102929750B (zh) 非易失性介质肮脏区段跟踪
AU2014374256B2 (en) Systems and methods for improving snapshot performance
US20190332477A1 (en) Method, device and computer readable storage medium for writing to disk array
JP5669823B2 (ja) チェンジトラッキングを用いたシステムリカバリ方法
CN110058791B (zh) 存储系统以及相应的方法和计算机可读介质
WO2011110542A1 (en) Buffer disk in flashcopy cascade
US20210181992A1 (en) Data storage method and apparatus, and storage system
CN102999564B (zh) 写入数据的方法、装置和设备
CN104077380A (zh) 一种重复数据删除方法、装置及系统
CN112506616B (zh) 一种基于云平台卷实现虚拟机跨云快速恢复的系统及方法
US20130173555A1 (en) Reducing a Backup Time of a Backup of Data Files
US9378092B2 (en) Storage control apparatus and storage control method
US8433864B1 (en) Method and apparatus for providing point-in-time backup images
KR101738965B1 (ko) 가비지 컬렉션 저널링 장치 및 방법
CN113076220A (zh) 数据处理方法、装置、电子设备及计算机可读介质
US20190317686A1 (en) Method, apparatus, device and storage medium for processing data location of storage device
JP2008033527A (ja) ストレージ装置、ディスク装置及びデータ復元方法
JP2005050073A (ja) データ復旧方法およびデータ記録装置
CN112148530A (zh) 一种数据定时卷级备份方法及其系统
KR100501414B1 (ko) 파일 시스템의 메타 데이터 회복을 위한 로깅과 회복 방법및 장치
CN115328696A (zh) 一种数据库中的数据备份方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant