CN116431396A - 一种卷实时备份缓存数据处理方法、系统及存储介质 - Google Patents

一种卷实时备份缓存数据处理方法、系统及存储介质 Download PDF

Info

Publication number
CN116431396A
CN116431396A CN202310667437.XA CN202310667437A CN116431396A CN 116431396 A CN116431396 A CN 116431396A CN 202310667437 A CN202310667437 A CN 202310667437A CN 116431396 A CN116431396 A CN 116431396A
Authority
CN
China
Prior art keywords
change
data
block
tracking table
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310667437.XA
Other languages
English (en)
Other versions
CN116431396B (zh
Inventor
黄传波
王东
姜咏杰
陈云
谢俊峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Vinchin Science And Technology Co
Original Assignee
Chengdu Vinchin Science And Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Vinchin Science And Technology Co filed Critical Chengdu Vinchin Science And Technology Co
Priority to CN202310667437.XA priority Critical patent/CN116431396B/zh
Publication of CN116431396A publication Critical patent/CN116431396A/zh
Application granted granted Critical
Publication of CN116431396B publication Critical patent/CN116431396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种卷实时备份缓存数据处理方法、系统及存储介质。所述方法包括：将生产卷磁盘拆分为若干数据块；创建与生产卷对应的块变化追踪表；捕获I/O变化数据，并其写入缓存；当缓存写满时，启动块变化追踪表，根据I/O变化数据，更新块变化追踪表；当缓存清空时，创建生产卷磁盘快照，通过更新后的块变化追踪表和捕捉的变化数据进行差异同步，再删除快照。所述系统包括：拆分生产卷磁盘模块；创建块变化追踪表模块；捕获I/O变化数据模块；更新块变化追踪表模块；差异同步模块。本发明在缓存被占满的情况，通过采用差异同步的方式避免数据丢失，避免重新做首次完全同步，提高同步效率，确保卷实时备份任务正常运行。

Description

一种卷实时备份缓存数据处理方法、系统及存储介质
技术领域
本发明属于数据容灾备份技术领域，涉及一种卷实时备份缓存数据处理方法、系统及存储介质。
背景技术
在实时备份领域，在生产端中，缓存是用于暂时存放数据，然后由数据发送程序读取缓存中的数据，并将读取到的数据同步发送。
实时备份是指实时地对业务数据进行备份的方式。相对于传统定时备份的方式，实时备份可以达到极小的RPO(Recovery Point Objective)，最大程度上避免由于故障导致的数据丢失。
卷实时备份是一种针对卷的实时备份技术，该技术一般结合存储I/O监控技术，可以分为两个主要步骤：步骤1.生产卷完全同步：任务启动后，通过对生产卷创建快照，通过备份客户端将快照数据通过网络备份到服务端的镜像空间，完成首次同步；步骤2.实时生产卷变化数据监控：一旦快照创建后，备份客户端的监控驱动模块会监控生产卷I/O的变化，将实时变化数据同步到备份系统的日志空间。卷实时备份是数据容灾备份领域的重点研究问题。
目前，由于计算机总线和网络带宽不匹配，可能引起短时间网络中断和影响生产端性能，一般会在上述步骤2中增加缓存机制，即将捕获到的I/O变化数据暂放到缓存，再从缓存里读取I/O变化数据进行数据同步，这样可以规避带宽不匹配的情况。但是，由于网络波动、I/O变化数据写入速度过快等因素，会造成缓存被占满，此时业务I/O受到阻塞，卷实时备份任务则会失败，用户一般只能重新启动任务，重新进行上述步骤1和步骤2，这样不仅影响了备份效率，还可能造成数据丢失。
因此，在卷实时备份进行过程中，一旦缓存被快速写满，如何避免卷实时备份任务终止，并且避免数据丢失，是当前急需解决的技术问题。
发明内容
本发明为了解决上述背景技术中的技术问题，提供一种卷实时备份缓存数据处理方法、系统及存储介质。
本发明解决上述技术问题的技术方案如下：
第一个方面，提供了一种卷实时备份缓存数据处理方法，所述方法包括步骤：
将生产卷磁盘拆分为若干大小相同的数据块；
在内存中创建与生产卷对应的块变化追踪表，所述块变化追踪表由若干变化记录元素组成，所述变化记录元素与所述数据块一一对应，所述变化记录元素的变化值为0或1；
捕获I/O变化数据，并将所述I/O变化数据写入缓存；
当缓存写满时，启动所述块变化追踪表，根据所述I/O变化数据，更新所述块变化追踪表；
当缓存清空时，创建生产卷磁盘快照，通过更新后的块变化追踪表和捕捉的变化数据进行差异同步，再删除所述快照。
在其中一个实施例中，所述将生产卷磁盘拆分为若干大小相同的数据块步骤，包括：
将所述生产卷磁盘拆分为若干数据块，每个所述数据块的大小为2N千字节，N为整数，取值为6-13；
对全部所述数据块进行依次编号。
在其中一个实施例中，在所述在内存中创建与生产卷对应的块变化追踪表，所述块变化追踪表由若干变化记录元素组成，所述变化记录元素与所述数据块一一对应，所述变化记录元素的变化值为0或1步骤中，采用Bit-map方法对所述变化记录元素进行排列。
在其中一个实施例中，所述当缓存写满时，启动所述块变化追踪表，根据所述I/O变化数据，更新所述块变化追踪表步骤，包括：
接收到缓存写满信号，启动所述块变化追踪表；
获取I/O变化数据基本信息，所述基本信息为I/O变化数据的偏移和I/O变化数据的长度；
根据所述基本信息，计算获取生产卷磁盘中变化数据块的位置；
根据所述变化数据块的位置，对块变化追踪表中相应的变化记录元素进行变化值调整。
在其中一个实施例中，所述当缓存清空时，创建生产卷磁盘快照，通过更新后的块变化追踪表和捕捉的变化数据进行差异同步，再删除所述快照步骤，包括：
接收到缓存清空信号，创建生产卷磁盘快照并重新进入实时监控；
通过更新后的块变化追踪表和捕捉的变化数据,获取差异清单；
根据所述差异清单，同步差异数据；
待完成差异同步后，删除快照。
第二个方面，提供了一种卷实时备份缓存数据处理系统，所述系统包括：
拆分生产卷磁盘模块，用于将生产卷磁盘拆分为若干大小相同的数据块；
创建块变化追踪表模块，用于在内存中创建与生产卷对应的块变化追踪表，所述块变化追踪表由若干变化记录元素组成，所述变化记录元素与所述数据块一一对应，所述变化记录元素的变化值为0或1；
捕获I/O变化数据模块，用于捕获I/O变化数据，并将所述I/O变化数据写入缓存；
更新块变化追踪表模块，用于当缓存写满时，启动所述块变化追踪表，根据所述I/O变化数据，更新所述块变化追踪表；
差异同步模块，用于当缓存清空时，创建生产卷磁盘快照，通过更新后的块变化追踪表和捕捉的变化数据进行差异同步，再删除所述快照。
在其中一个实施例中，所述拆分生产卷磁盘模块，包括：
拆分生产卷磁盘单元，用于将所述生产卷磁盘拆分为若干数据块，每个所述数据块的大小为2N千字节，N为整数，取值为6-13；
编号数据块单元，用于对全部所述数据块进行依次编号。
在其中一个实施例中，所述更新块变化追踪表模块，包括：
第一接收信号单元，用于接收到缓存写满信号，启动所述块变化追踪表；
获取基本信息单元，用于获取I/O变化数据基本信息，所述基本信息为I/O变化数据的偏移和I/O变化数据的长度；
获取变化数据块位置单元，用于根据所述基本信息，计算获取生产卷磁盘中变化数据块的位置；
调整变化值单元，用于根据所述变化数据块的位置，对块变化追踪表中相应的变化记录元素进行变化值调整。
在其中一个实施例中，所述差异同步模块，包括：
第二接收信号单元，用于接收到缓存清空信号，创建生产卷磁盘快照并重新进入实时监控；
获取差异清单单元，用于通过更新后的块变化追踪表和捕捉的变化数据,获取差异清单；
同步差异数据单元，用于根据所述差异清单，同步差异数据；
删除快照单元，用于待完成差异同步后，删除快照。
第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的卷实时备份缓存数据处理方法。
本发明的有益效果是：
（1）本发明块变化追踪表记录了某一时间段磁盘块是否发生IO变化，并可以快速且精准地获知变化数据的区域，不用进行复杂的计算和比对，简便有效，为后续进行差异同步奠定了基础；
（2）针对缓存被占满的情况，本发明提供了一种新的处理思路，通过采用差异同步的方式来避免数据丢失，避免重新做首次完全同步，提高同步效率，确保卷实时备份任务正常运行；
（3）本发明能确保备份系统稳定运行，在生产效率和卷实时备份网络中断容忍度两方面实现了一定平衡。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中卷实时备份缓存数据处理方法流程示意图。
图2为本发明实施例1中生产卷磁盘与块变化追踪表对应关系图。
图3为本发明实施例1中缓存写满时更新块变化追踪表的操作图。
图4为本发明实施例2中卷实时备份缓存数据处理系统的结构示意图。
图5为本发明实施例2中拆分生产卷磁盘模块结构示意图。
图6为本发明实施例2中更新块变化追踪表模块结构示意图。
图7为本发明实施例2中差异同步模块结构示意图。
附图中，各标号所代表的部件列表如下：
100、拆分生产卷磁盘模块，200、创建块变化追踪表模块，300、捕获I/O变化数据模块，400、更新块变化追踪表模块，500、差异同步模块，1001、拆分生产卷磁盘单元，1002、编号数据块单元，4001、第一接收信号单元，4002、获取基本信息单元，4003、获取变化数据块位置单元，4004、调整变化值单元，5001、第二接收信号单元，5002、获取差异清单单元，5003、同步差异数据单元，5004、删除快照单元。
实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
术语解释：
Bit-map：Bitmap，也被称为位图或比特图，针对本发明的计算机卷环境，Bitmap它由一系列比特或二进制位组成，可以记录哪些存储块(通常是磁盘扇区)已被分配，哪些还未被分配。Bitmap将数据存储在一个位向量中，每个位表示一个磁盘块的状态，通常分为已分配和未分配两种状态。
实施例1
在一个实施例中，如图1所示，提供一种卷实时备份缓存数据处理方法，该方法包括：
S1.将生产卷磁盘拆分为若干大小相同的数据块。
可选的，所述步骤S1包括：
S11.将所述生产卷磁盘拆分为若干数据块，每个所述数据块的大小为2N 千字节，N为整数，取值为6-13。具体的，本实施例中每个数据块的大小为1兆。
S12.对全部所述数据块进行依次编号。
S2.在内存中创建与生产卷对应的块变化追踪表，所述块变化追踪表由若干变化记录元素组成，所述变化记录元素与所述数据块一一对应，所述变化记录元素的变化值为0或1；所述块变化追踪表采用Bit-map方法对所述变化记录元素进行排列，每个比特位的初始化值为0。
值得说明的是，本实施例通过在生产端监控磁盘I/O，并将磁盘拆分为若干大小相同的数据块，让块变化追踪表中的变化记录元素与拆分后的数据块一一对应，那么块变化追踪表就可以记录某一时间段磁盘的某一数据块是否发生IO变化，进而能够快速获知差异同步的数据区域。
还值得说明的是，由于本实施例变化记录元素的变化值取为0或1，变化记录元素具体可以采用Bit、整型、长整型或字符串等作为储存单元，但为了节约内存占用空间，本实施例采用Bit-map方法对变化记录元素进行排列。
为了便于理解，如图2所示，我们提供一个步骤S1和步骤S2的操作实例：卷实时备份任务启动后，将Windows C盘（即生产卷磁盘）拆分为若干1M大小的数据块，每个数据块下标对应C盘的块号，块号从0开始编号，指定块号的计算方式为offset/1M（即数据块总数等于C盘的总大小除以1M）。监控驱动在内存中创建与生产卷对应的块变化追踪表，块变化追踪表由若干Bit组成,并将所有值初始化为0。
S3.捕获I/O变化数据，并将所述I/O变化数据写入缓存。
值得说明的是，在卷实时备份的过程中，会在生产应用与备份源（生产卷，例如Windows C盘）之间设置监控驱动，在生产应用进行写磁盘时，监控驱动将捕获的I/O变化数据写入到发送缓存中；之后由应用层的备份系统客户端发送程序读取出I/O变化数据，再将实时变化数据发送至备份系统服务端程序存储。
S4.当缓存写满时，启动所述块变化追踪表，根据所述I/O变化数据，更新所述块变化追踪表。
可选的，所述步骤S4包括：
S41.接收到缓存写满信号，启动所述块变化追踪表；
S42.获取I/O变化数据基本信息，所述基本信息为I/O变化数据的偏移和I/O变化数据的长度；
S43.根据所述基本信息，计算获取生产卷磁盘中变化数据块的位置；
S44.根据所述变化数据块的位置，对块变化追踪表中相应的变化记录元素进行变化值调整。
为了便于理解，如图3所示，对步骤S41-S44，我们提供一个操作实例：
监控驱动接收到缓存写满信号，启动上述块变化追踪表，此后监控驱动继续捕获到一个写I/O变化数据，进行了步骤（1）和步骤（2）：（1）监控驱动获得生产应用对Windows C盘（生产卷）的写I/O变化数据，该写I/O变化数据的偏移为0，长度4M；（2）对编号为0-3的4个数据块所对应的4个Bit所有值进行设置1操作，其余Bit所有值仍然为0。
S5.当缓存清空时，创建生产卷磁盘快照，通过更新后的块变化追踪表和捕捉的变化数据进行差异同步，再删除所述快照。
可选的，所述步骤S5包括：
S51.接收到缓存清空信号，创建生产卷磁盘快照并重新进入实时监控；
S52.通过更新后的块变化追踪表和捕捉的变化数据,获取差异清单；
S53.根据所述差异清单，同步差异数据;
S54.待完成差异同步后，删除快照。
值得说明的是，为了尽量避免时间差造成的数据损失，在创建生产卷磁盘快照同时，即可设置重新进入实时监控。
本实施例在缓存被占满的情况，提供了一种新的处理思路，通过块变化追踪表记录了某一时间段磁盘块是否发生IO变化，可以快速且精准地获知变化数据的区域,实现了采用差异同步的方式来来避免数据丢失，避免重新做首次完全同步，提高同步效率，确保卷实时备份任务正常运行。
实施例2
在一个实施例中，如图4所示，提供一种卷实时备份缓存数据处理系统，该系统包括：
拆分生产卷磁盘模块100，用于将生产卷磁盘拆分为若干大小相同的数据块；
创建块变化追踪表模块200，用于在内存中创建与生产卷对应的块变化追踪表，所述块变化追踪表由若干变化记录元素组成，所述变化记录元素与所述数据块一一对应，所述变化记录元素的变化值为0或1；
捕获I/O变化数据模块300，用于捕获I/O变化数据，并将所述I/O变化数据写入缓存；
更新块变化追踪表模块400，用于当缓存写满时，启动所述块变化追踪表，根据所述I/O变化数据，更新所述块变化追踪表；
差异同步模块500，用于当缓存清空时，创建生产卷磁盘快照，通过更新后的块变化追踪表和捕捉的变化数据进行差异同步，再删除所述快照。
在其中一个实施例中，如图5所示，所述拆分生产卷磁盘模块100，包括：
拆分生产卷磁盘单元1001，用于将所述生产卷磁盘拆分为若干数据块，每个所述数据块的大小为2N千字节，N为整数，取值为6-13；
编号数据块单元1002，用于对全部所述数据块进行依次编号。
在其中一个实施例中，如图6所示，所述更新块变化追踪表模块400，包括：
第一接收信号单元4001，用于接收到缓存写满信号，启动所述块变化追踪表；
获取基本信息单元4002，用于获取I/O变化数据基本信息，所述基本信息为I/O变化数据的偏移和I/O变化数据的长度；
获取变化数据块位置单元4003，用于根据所述基本信息，计算获取生产卷磁盘中变化数据块的位置；
调整变化值单元4004，用于根据所述变化数据块的位置，对块变化追踪表中相应的变化记录元素进行变化值调整。
在其中一个实施例中，如图7所示，所述差异同步模块500，包括：
第二接收信号单元5001，用于接收到缓存清空信号，创建生产卷磁盘快照并重新进入实时监控；
获取差异清单单元5002，用于通过更新后的块变化追踪表和捕捉的变化数据,获取差异清单；
同步差异数据单元5003，用于根据所述差异清单，同步差异数据；
删除快照单元5004，用于待完成差异同步后，删除快照。
本实施例拆分生产卷磁盘模块100，用于将生产卷磁盘拆分为若干数据块；创建块变化追踪表模块200，用于在内存中创建与生产卷对应的块变化追踪表；捕获I/O变化数据模块300，用于捕获I/O变化数据，并将所述I/O变化数据写入缓存；更新块变化追踪表模块400，用于当缓存写满时，启动所述块变化追踪表，根据所述I/O变化数据，更新所述块变化追踪表；差异同步模块500，用于当缓存清空时，创建生产卷磁盘快照，通过更新后的块变化追踪表和捕捉的变化数据进行差异同步，再删除所述快照。采用本实施例，能确保备份系统稳定运行，在生产效率和卷实时备份网络中断容忍度两方面实现了一定平衡。
实施例3
在本实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例1所述的卷实时备份缓存数据处理方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Ruby、Go，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种卷实时备份缓存数据处理方法，其特征在于，包括步骤：
将生产卷磁盘拆分为若干大小相同的数据块；
在内存中创建与生产卷对应的块变化追踪表，所述块变化追踪表由若干变化记录元素组成，所述变化记录元素与所述数据块一一对应，所述变化记录元素的变化值为0或1；
捕获I/O变化数据，并将所述I/O变化数据写入缓存；
当缓存写满时，启动所述块变化追踪表，根据所述I/O变化数据，更新所述块变化追踪表；
当缓存清空时，创建生产卷磁盘快照，通过更新后的块变化追踪表和捕捉的变化数据进行差异同步，再删除所述快照。
2.根据权利要求1所述的卷实时备份缓存数据处理方法，其特征在于，所述将生产卷磁盘拆分为若干大小相同的数据块步骤，包括：
将所述生产卷磁盘拆分为若干数据块，每个所述数据块的大小为2N千字节，N为整数，取值为6-13；
对全部所述数据块进行依次编号。
3.根据权利要求1所述的卷实时备份缓存数据处理方法，其特征在于，在所述在内存中创建与生产卷对应的块变化追踪表，所述块变化追踪表由若干变化记录元素组成，所述变化记录元素与所述数据块一一对应，所述变化记录元素的变化值为0或1步骤中，所述块变化追踪表采用Bit-map方法对所述变化记录元素进行排列。
4.根据权利要求1所述的卷实时备份缓存数据处理方法，其特征在于，所述当缓存写满时，启动所述块变化追踪表，根据所述I/O变化数据，更新所述块变化追踪表步骤，包括：
接收到缓存写满信号，启动所述块变化追踪表；
获取I/O变化数据基本信息，所述基本信息为I/O变化数据的偏移和I/O变化数据的长度；
根据所述基本信息，计算获取生产卷磁盘中变化数据块的位置；
根据所述变化数据块的位置，对块变化追踪表中相应的变化记录元素进行变化值调整。
5.根据权利要求1所述的卷实时备份缓存数据处理方法，其特征在于，所述当缓存清空时，创建生产卷磁盘快照，通过更新后的块变化追踪表和捕捉的变化数据进行差异同步，再删除所述快照步骤，包括：
接收到缓存清空信号，创建生产卷磁盘快照并重新进入实时监控；
通过更新后的块变化追踪表和捕捉的变化数据,获取差异清单；
根据所述差异清单，同步差异数据；
待完成差异同步后，删除快照。
6.一种卷实时备份缓存数据处理系统，其特征在于，所述系统包括：
拆分生产卷磁盘模块，用于将生产卷磁盘拆分为若干大小相同的数据块；
创建块变化追踪表模块，用于在内存中创建与生产卷对应的块变化追踪表，所述块变化追踪表由若干变化记录元素组成，所述变化记录元素与所述数据块一一对应，所述变化记录元素的变化值为0或1；
捕获I/O变化数据模块，用于捕获I/O变化数据，并将所述I/O变化数据写入缓存；
更新块变化追踪表模块，用于当缓存写满时，启动所述块变化追踪表，根据所述I/O变化数据，更新所述块变化追踪表；
差异同步模块，用于当缓存清空时，创建生产卷磁盘快照，通过更新后的块变化追踪表和捕捉的变化数据进行差异同步，再删除所述快照。
7.根据权利要求6所述卷实时备份缓存数据处理系统，其特征在于，所述拆分生产卷磁盘模块，包括：
拆分生产卷磁盘单元，用于将所述生产卷磁盘拆分为若干数据块，每个所述数据块的大小为2N千字节，N为整数，取值为6-13；
编号数据块单元，用于对全部所述数据块进行依次编号。
8.根据权利要求6所述卷实时备份缓存数据处理系统，其特征在于，所述更新块变化追踪表模块，包括：
第一接收信号单元，用于接收到缓存写满信号，启动所述块变化追踪表；
获取基本信息单元，用于获取I/O变化数据基本信息，所述基本信息为I/O变化数据的偏移和I/O变化数据的长度；
获取变化数据块位置单元，用于根据所述基本信息，计算获取生产卷磁盘中变化数据块的位置；
调整变化值单元，用于根据所述变化数据块的位置，对块变化追踪表中相应的变化记录元素进行变化值调整。
9.根据权利要求6所述卷实时备份缓存数据处理系统，其特征在于，所述差异同步模块，包括：
第二接收信号单元，用于接收到缓存清空信号，创建生产卷磁盘快照并重新进入实时监控；
获取差异清单单元，用于通过更新后的块变化追踪表和捕捉的变化数据,获取差异清单；
同步差异数据单元，用于根据所述差异清单，同步差异数据；
删除快照单元，用于待完成差异同步后，删除快照。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5任一所述的卷实时备份缓存数据处理方法。
CN202310667437.XA 2023-06-07 2023-06-07 一种卷实时备份缓存数据处理方法、系统及存储介质 Active CN116431396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310667437.XA CN116431396B (zh) 2023-06-07 2023-06-07 一种卷实时备份缓存数据处理方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310667437.XA CN116431396B (zh) 2023-06-07 2023-06-07 一种卷实时备份缓存数据处理方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN116431396A true CN116431396A (zh) 2023-07-14
CN116431396B CN116431396B (zh) 2023-08-25

Family

ID=87091024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310667437.XA Active CN116431396B (zh) 2023-06-07 2023-06-07 一种卷实时备份缓存数据处理方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116431396B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116975159A (zh) * 2023-09-25 2023-10-31 云筑信息科技(成都)有限公司 一种增量数据同步的处理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070156956A1 (en) * 2006-01-03 2007-07-05 Emc Corporation Methods, systems, and computer program products for optimized copying of logical units (LUNs) in a redundant array of inexpensive disks (RAID) environment using buffers that are larger than LUN delta map chunks
CN104866435A (zh) * 2015-06-06 2015-08-26 成都云祺科技有限公司 一种连续数据保护方法
CN106776123A (zh) * 2016-11-25 2017-05-31 上海爱数信息技术股份有限公司 一种容灾实时数据复制方法及系统、备份客户端
CN109542673A (zh) * 2016-04-28 2019-03-29 南京壹进制信息科技有限公司 一种卷镜像中断后快速增量初始化的方法
CN110188068A (zh) * 2019-05-16 2019-08-30 上海爱数信息技术股份有限公司 一种保证文件系统数据一致性的卷级备份方法及装置
CN112698789A (zh) * 2020-12-29 2021-04-23 广州鼎甲计算机科技有限公司 数据缓存方法、装置、设备及存储介质
CN114461456A (zh) * 2022-04-11 2022-05-10 成都云祺科技有限公司 基于连续写cdp备份方法、系统、存储介质及恢复方法
CN115509806A (zh) * 2022-08-26 2022-12-23 苏州浪潮智能科技有限公司 基于row的实时保护异步远程复制方法、装置、设备
CN115599601A (zh) * 2022-10-12 2023-01-13 南京云信达科技有限公司（Cn） 基于磁盘cbt的卷备份方法和系统
CN115827322A (zh) * 2022-11-30 2023-03-21 天翼云科技有限公司 一种云存储数据全量灾备方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070156956A1 (en) * 2006-01-03 2007-07-05 Emc Corporation Methods, systems, and computer program products for optimized copying of logical units (LUNs) in a redundant array of inexpensive disks (RAID) environment using buffers that are larger than LUN delta map chunks
CN104866435A (zh) * 2015-06-06 2015-08-26 成都云祺科技有限公司 一种连续数据保护方法
CN109542673A (zh) * 2016-04-28 2019-03-29 南京壹进制信息科技有限公司 一种卷镜像中断后快速增量初始化的方法
CN106776123A (zh) * 2016-11-25 2017-05-31 上海爱数信息技术股份有限公司 一种容灾实时数据复制方法及系统、备份客户端
CN110188068A (zh) * 2019-05-16 2019-08-30 上海爱数信息技术股份有限公司 一种保证文件系统数据一致性的卷级备份方法及装置
CN112698789A (zh) * 2020-12-29 2021-04-23 广州鼎甲计算机科技有限公司 数据缓存方法、装置、设备及存储介质
CN114461456A (zh) * 2022-04-11 2022-05-10 成都云祺科技有限公司 基于连续写cdp备份方法、系统、存储介质及恢复方法
CN115509806A (zh) * 2022-08-26 2022-12-23 苏州浪潮智能科技有限公司 基于row的实时保护异步远程复制方法、装置、设备
CN115599601A (zh) * 2022-10-12 2023-01-13 南京云信达科技有限公司（Cn） 基于磁盘cbt的卷备份方法和系统
CN115827322A (zh) * 2022-11-30 2023-03-21 天翼云科技有限公司 一种云存储数据全量灾备方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LUIS TOMÁS等: "Disaster Recovery Layer for Distributed OpenStack Deployments", 《IEEE TRANSACTIONS ON CLOUD COMPUTING》, vol. 8, no. 1, pages 112 - 123, XP011776623, DOI: 10.1109/TCC.2017.2745560 *
SKYBIUBIU: "[云计算]HCIE-Cloud 云计算灾备 - 华为灾备技术", pages 1 - 21, Retrieved from the Internet <URL:https://www.cnblogs.com/Skybiubiu/p/15000268.html> *
刘正伟: "海量数据持续数据保护技术研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 138 - 69 *
李峰等: "远程异步复制系统的数据多缓冲方法", 《计算机工程与设计》, vol. 31, no. 19, pages 4168 - 4171 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116975159A (zh) * 2023-09-25 2023-10-31 云筑信息科技(成都)有限公司 一种增量数据同步的处理方法
CN116975159B (zh) * 2023-09-25 2024-02-23 云筑信息科技(成都)有限公司 一种增量数据同步的处理方法

Also Published As

Publication number Publication date
CN116431396B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
US8145603B2 (en) Method and apparatus for data recovery using storage based journaling
US20070276884A1 (en) Method and apparatus for managing backup data and journal
US9092379B2 (en) Method and apparatus for backup and recovery using storage based journaling
CN116431396B (zh) 一种卷实时备份缓存数据处理方法、系统及存储介质
US6665815B1 (en) Physical incremental backup using snapshots
US9558072B1 (en) Block-level incremental recovery of a storage volume
US7398422B2 (en) Method and apparatus for data recovery system using storage based journaling
US8819362B1 (en) Managing replication and reservations
US7225371B2 (en) Method and apparatus for storing and retrieving multiple point-in-time consistent data sets
US7334098B1 (en) Producing a mass storage backup using a log of write commands and time information
US20070277012A1 (en) Method and apparatus for managing backup data and journal
CN110188000A (zh) 基于虚拟化以及iSCSI或FC的应用容灾方法及系统
US20080168218A1 (en) Backup system with continuous data protection
CN110187998A (zh) 基于虚拟化平台和ceph存储的应用容灾系统及方法
US20110282843A1 (en) Method and system for data backup and replication
JP2007018312A (ja) ディスクアレイ装置及びその制御方法
US20210223957A1 (en) Storage apparatus and storage control method
US10430115B2 (en) System and method for optimizing multiple packaging operations in a storage system
CN116450418B (zh) 基于卷备份的断点差异同步方法、系统及卷实时备份方法
CN112882859A (zh) 一种虚拟机合成备份方法及系统
KR20190113359A (ko) Nvdimm을 이용한 인-메모리 데이터베이스 기반의 데이터 저장 및 복원 방법
CN113419897A (zh) 一种文件处理方法、装置、电子设备及其存储介质
CN115987759A (zh) 数据处理方法、装置、电子设备及存储介质
CN113886352B (zh) 分布式文件系统的元数据恢复方法、装置、设备及介质
CN115328696A (zh) 一种数据库中的数据备份方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant