CN111949447A - 一种数据处理方法及数据处理系统 - Google Patents
一种数据处理方法及数据处理系统 Download PDFInfo
- Publication number
- CN111949447A CN111949447A CN202010800713.1A CN202010800713A CN111949447A CN 111949447 A CN111949447 A CN 111949447A CN 202010800713 A CN202010800713 A CN 202010800713A CN 111949447 A CN111949447 A CN 111949447A
- Authority
- CN
- China
- Prior art keywords
- data
- log
- time point
- snapshot
- writing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000011084 recovery Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种数据处理方法及数据处理系统,该方法包括:获取数据恢复请求,其中,数据恢复请求中包含数据恢复的目标时间点;获取包含目标时间点的日志文件,其中日志文件包括按照写入时间排列成数据队列的日志数据和标签,标签用于标识在相应写入时间生成的快照数据;在数据队列中位于目标时间点处的队列单元为日志数据的情况下,确定数据队列中位于目标时间点之前且紧邻目标时间点的第一标签;获取第一标签相关联的第一快照数据,以及数据队列中位于第一标签相应的第一时间点和目标时间点之间日志数据;基于获取的第一快照数据和日志数据进行数据恢复。应用该数据处理方法有益于提高数据恢复速度。
Description
技术领域
本申请涉及数据库技术领域,特别涉及一种数据处理方法及数据处理系统。
背景技术
分布式存储系统作为超融合系统的重要组成部分,存储着整个系统和客户的重要数据,数据的完整性和保护关系到整个系统能否正常运行。但是由于人为操作、系统和应用错误、硬件故障或自然灾害等不可抗力因素都可能造成数据的损坏或丢失。所以容灾备份和数据保护技术已成为业界关注的热点问题。普通的容灾备份基于快照备份,数据可以恢复到上一次快照的时间,但是还是会丢失一段时间的数据。
持续数据保护技术(Continuous Data Protection,CDP)的出现使上述技术问题得以解决,持续数据保护是一种在不影响主要数据运行的前提下,可以实现持续捕捉或跟踪目标数据所发生的任何改变,并且能够恢复到此前任意时间点的方法,避免误操作造成了数据的丢失。
但是持续数据保护技术通常依赖外置的CDP服务器,由CDP服务器来记录所有写入(IO)数据,回滚数据时根据CDP服务器记录的IO数据来重写数据,需要消耗较大的存储资源,且恢复时间比较长。
申请内容
有鉴于现有技术中存在的上述问题,本申请提供了一种能够提高数据恢复速度的数据处理方法及数据处理系统。
为了解决上述技术问题,本申请实施例采用的技术方案如下:
一种数据处理方法,包括:
获取数据恢复请求,其中,所述数据恢复请求中包含数据恢复的目标时间点;
获取包含所述目标时间点的日志文件,其中所述日志文件包括按照写入时间排列成数据队列的日志数据和标签,所述标签用于标识在相应写入时间生成的快照数据;
在所述数据队列中位于所述目标时间点处的队列单元为日志数据的情况下,确定所述数据队列中位于所述目标时间点之前且紧邻所述目标时间点的第一标签;
获取所述第一标签相关联的第一快照数据,以及所述数据队列中位于所述第一标签相应的第一时间点和所述目标时间点之间所述日志数据;
基于获取的所述第一快照数据和所述日志数据进行数据恢复。
在一些实施例中,所述方法还包括:
在所述数据队列中位于所述目标时间点处的队列单元为第二标签的情况下,获取所述第二标签相关联的第二快照数据,基于所述第二快照数据进行数据恢复。
在一些实施例中,所述方法还包括数据写入,其包括:
按预设频率生成快照数据,将所述快照数据写入第一存储装置;
生成用于标识所述快照数据的标签,将所述标签写入位于第二存储装置中的所述日志文件中;
基于数据写入请求向所述日志文件中写入日志数据。
在一些实施例中,所述数据写入还包括:
创建日志文件,基于创建所述日志文件的时间点生成快照数据和用于标识所述快照数据的标签;
在所述日志文件的数据队列中首个队列单元写入所述标签。
在一些实施例中,所述方法还包括:
在向位于所述第一存储装置中的所述日志文件中写入日志数据的情况下,生成位图和索引表,
其中
所述位图包含所述日志数据的写入时间点,以及用于标识所述日志数据存储于所述第一存储装置中的标识符;
所述索引表包含所述日志数据的写入时间点,以及用于标识所述日志数据在所述日志文件中写入位置的第一位置信息。
在一些实施例中,所述方法还包括:
获取数据读取请求,其中,所述数据读取请求包含表征数据读取的目标时间的第二时间点;
在基于所述位图确定所述第二存储装置中存储有与所述第二时间点相应的日志数据的情况下;
从所述索引表获取与所述第二时间点相应的所述日志数据的第一位置信息;
基于所述第一位置信息从所述日志文件中读取所述日志数据。
在一些实施例中,所述方法还包括:
在基于所述位图确定所述第二存储装置中未存储有与所述第二时间点相应的日志数据的情况下;
在所述第一存储装置中查找与所述第二时间点相应的快照数据。
一种数据处理系统,包括存储装置和处理装置,所述存储装置内存储有快照数据和日志文件,所述日志文件包括按照写入时间排列成数据队列的日志数据和标签,所述标签用于标识在相应写入时间生成的所述快照数据;所述处理装置用于:
获取数据恢复请求,其中,所述数据恢复请求中包含数据恢复的目标时间点;
获取包含所述目标时间点的所述日志文件;
在所述数据队列中位于所述目标时间点处的队列单元为日志数据的情况下,确定所述数据队列中位于所述目标时间点之前且紧邻所述目标时间点的第一标签;
获取所述第一标签相关联的第一快照数据,以及所述数据队列中位于所述第一标签相应的第一时间点和所述目标时间点之间所述日志数据;
基于获取的所述第一快照数据和所述日志数据进行数据恢复。
在一些实施例中,所述处理装置还用于:
在所述数据队列中位于所述目标时间点处的队列单元为第二标签的情况下,获取所述第二标签相关联的第二快照数据,基于所述第二快照数据进行数据恢复。
在一些实施例中,所述处理装置还用于执行数据写入,所述处理装置包括:
第一处理装置,用于按预设频率生成快照数据,将所述快照数据写入第一存储装置;
第二处理装置,用于生成用于标识所述快照数据的标签,将所述标签写入位于第二存储装置中的所述日志文件中;
所述第二处理装置还用于:基于数据写入请求向所述日志文件中写入日志数据。
本申请实施例的数据处理方法,日志文件中按照时间顺序写入有日志数据和标签,当日志文件中与目标时间点对应的队列单元写入的是日志数据的情况下,确定日志文件中位于目标时间点之前且距该目标时间点最近的第一标签,基于第一标签获取相关联的第一快照数据,基于第一快照数据恢复第一时间点之前的数据,基于第一时间点和目标时间点之间的日志数据可恢复第一时间点和目标时间点之间的数据,由于快照数据恢复速度较快,且仅需基于日志数据恢复第一时间点至目标时间点之间的数据,所以,整体恢复速度较快。
附图说明
图1为本申请实施例的数据处理方法的流程图;
图2为本申请实施例的数据处理方法中的日志文件的结构示意图;
图3为本申请实施例的数据处理方法的一种具体实施方式的流程图;
图4为本申请实施例的数据处理方法中的索引表和日志文件的对应关系示意图;
图5为本申请实施例的数据处理方法的另一种具体实施方式的流程图;
图6为本申请实施例的数据处理方法对日志数据和快照数据进行分层读取方式示意图;
图7为本申请实施例的数据处理系统的结构框图;
图8为本申请实施例的数据处理系统的一种具体实施方式的结构框图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是,可以对此处申请的实施例做出各种修改。因此,上述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例,并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本申请的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本申请进行了描述,但本领域技术人员能够确定地实现本申请的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例;然而,应当理解,所申请的实施例仅仅是本申请的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此,本文所申请的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本申请的相同或不同实施例中的一个或多个。
图1为本申请实施例的数据处理方法的流程图,参见图1所示,本申请实施例的数据处理方法具体包括如下步骤:
S1,获取数据恢复请求,其中,所述数据恢复请求中包含数据恢复的目标时间点。
在源数据删除、丢失或损坏的情况下,生成数据恢复请求,该数据恢复请求包含请求进行数据恢复的目标时间点。
S2,获取包含所述目标时间点的日志文件,其中所述日志文件包括按照写入时间排列成数据队列的日志数据和标签,所述标签用于标识在相应写入时间生成的快照数据。
在具体实施时,在进行数据恢复之前,首先需要基于数据写入请求对数据进行写入,例如可通过第一存储装置存储源数据,通过第二存储装置存储备份数据,其中,快照数据可存储在第一存储装置中,日志数据(I/0)可存储在第二存储装置中。具体的,每次获取到数据写入请求时,向第二存储装置中的日志文件中写入日志数据,每间隔特定时间或特定频次会生成一个快照数据,生成快照数据的同时还会生成用于标识该快照数据的标签,并将该标签写入到第二存储装置中的日志文件中的相应时间节点处,如此就能够在日志文件中形成按照时间顺序排列的数据队列,该数据队列中的队列单元是由日志数据和标签形成的。当一个日志文件达到预设数据量时,还会创建新的日志文件,所以第二存储装置中存储有多个日志文件。在确定数据恢复的目标时间点后,可从多个日志文件中查找并获取包含该目标时间点的日志文件。
S3,在所述数据队列中位于所述目标时间点处的队列单元为日志数据的情况下,确定所述数据队列中位于所述目标时间点之前且紧邻所述目标时间点的第一标签。
在获取到包含目标时间点的日志文件的情况下,确定日志文件中的数据队列中与该目标时间点相应的队列单元是日志数据,亦或是标签,也即确定该目标时间点相应的目标数据是以日志数据的形式存储的,还是以标签所标识的快照数据的形式存储的。如果与目标时间点相应的队列单元中写入的是日志数据,还需确定数据队列中位于目标时间点之前且紧邻目标时间点的第一标签。此处所述的紧邻目标时间点是指第一标签对应的第一时间点与目标时间点之间写入有至少一个日志数据,但未写入标签。也即,该第一标签是目标时间点之前距目标时间点最近的标签。例如,如图2所示,当确定包含目标时间点(T)的日志文件为日志文件2,并确定目标时间点(T)处的队列单元为日志数据(I/O),进而确定位于该目标时间点(T)之前且距离该目标时间点(T)最近的标签为第一标签(S3)。
S4,获取所述第一标签相关联的第一快照数据,以及所述数据队列中位于所述第一标签相应的第一时间点和所述目标时间点之间所述日志数据。
在具体实施时,可基于第一标签从第一存储装置中获取相关联的第一快照数据,并从第二存储装置中的日志文件中获取第一时间点和目标时间点之间的日志数据。
S5,基于获取的所述第一快照数据和所述日志数据进行数据恢复。
基于第一快照数据可恢复第一时间点之前的数据,基于第一时间点和目标时间点之间的日志数据能够恢复第一时间点和目标时间点之间的数据。在具体实施时,第一存储装置可为源数据的存储装置,第二存储装置可为备份数据的存储装置,获取到第一快照数据和相应的日志数据后,可回写到第一存储装置中。
本申请实施例的数据处理方法,日志文件中按照时间顺序写入有日志数据和标签,当日志文件中与目标时间点对应的队列单元写入的是日志数据的情况下,确定日志文件中位于目标时间点之前且距该目标时间点最近的第一标签,基于第一标签获取相关联的第一快照数据,基于第一快照数据恢复第一时间点之前的数据,基于第一时间点和目标时间点之间的日志数据可恢复第一时间点和目标时间点之间的数据,由于快照数据恢复速度较快,且仅需基于日志数据恢复第一时间点至目标时间点之间的数据,所以,整体恢复速度较快。
配合图3所示,在一些实施例中,所述方法还包括:
S6,在所述数据队列中位于所述目标时间点处的队列单元为第二标签的情况下,获取所述第二标签相关联的第二快照数据,基于所述第二快照数据进行数据恢复。
也即,当目标时间点处恰好有第二快照数据的情况下,可仅基于该第二快照数据进行数据恢复,而无需从日志文件中获取日志数据。在具体实施时,快照数据写在第一存储装置中,快照数据的备份写在第二存储装置中,也即快照备份写在第二存储装置。在确定了标签后,可查找第一存储装置中的源数据是否存在,如果源数据还存在,则基于第一存储装置中的快照数据进行快照回滚,如果源数据不存在了,则获取第二存储装置中的快照备份进行快照备份恢复,无论是快照回滚,亦或是快照备份恢复,数据的回写速度均较快。
在一些实施例中,所述数据写入过程中还可包括:
创建日志文件,基于创建所述日志文件的时间点生成快照数据和用于标识所述快照数据的标签;
在所述日志文件的数据队列中首个队列单元写入所述标签。
在具体实施时,日志文件可具有预设数据量要求,当日志文件达到预设数据量时,可视为该日志文件已经存满,需要创建一个新的日志文件。每次创建日志文件时,都基于创建该日志文件的时间点生成一个快照数据,并生成用于标识该快照数据的标签,之后将该标签写入到所创建的日志文件的数据队列中的首个队列单元。这样,每个日志文件的数据队列中的首个队列单元均是标签,进行数据恢复时,最多只需要基于一个日志文件中的日志数据进行数据恢复,该日志文件所包含的时间点之前的数据,可通过该日志文件中首个队列单元中的标签所对应快照数据进行恢复,而无需查找多个日志文件中的日志数据,有益于提高数据恢复速度,缩短数据恢复时间。
在需要进行数据恢复时,如果数据恢复的时间点有误,在完成数据恢复后才发现时间点有误,则需要重新执行数据恢复过程,时间成本较高。本申请实施例通过数据读取操作来预览所选定时间点的数据,在确定所选定时间点的数据确为所需数据的情况下,执行数据恢复操作,如此能够避免因重新执行数据恢复而耗费时间。
在一些实施例中,在向位于所述第一存储装置中的所述日志文件中写入日志数据的情况下,生成位图和索引表。其中,所述位图包含所述日志数据的写入时间点,以及用于标识所述日志数据存储于所述第一存储装置中的标识符。也即位图用于标识日志数据是否存储在第一存储装置中,如果日志数据写入了第一存储装置中的日志文件中,就在位图中添加标识符。索引表包含所述日志数据的写入时间点,以及用于标识所述日志数据在所述日志文件中写入位置的第一位置信息,如图4所示。在给定时间点的情况下,可直接确定该时间点相应的日志数据在日志文件中的写入位置,并进行读取。
在此基础上,配合图5所示,数据读取过程可包括如下步骤:
获取数据读取请求,其中,所述数据读取请求包含表征数据读取的目标时间的第二时间点;
在基于所述位图确定所述第二存储装置中存储有与所述第二时间点相应的日志数据的情况下;
从所述索引表获取与所述第二时间点相应的所述日志数据的第一位置信息;
基于所述第一位置信息从所述日志文件中读取所述日志数据;
在基于所述位图确定所述第二存储装置中未存储有与所述第二时间点相应的日志数据的情况下;
在所述第一存储装置中查找与所述第二时间点相应的快照数据。
具体的,在获取到数据读取请求的情况下,基于该数据读取请求所包含的第二时间点和位图,确定第二存储装置中是否存储有与第二时间点相应的日志数据,在确定第二存储装置中存储有与第二时间点相应的日志数据的情况下,在基于索引表获取与该第二时间点相应的日志数据的第一位置信息,基于该第一位置信息可以直接从日志文件中读取该第二时间点相应的日志数据,而无需对日志文件中位于该第二时间点之前的数据进行恢复或读取,读取速度较快。在确定第二存储装置中未存储有与第二时间内点相应的日志数据的情况下,可直接去第一存储装置中查找与第二时间点相应的快照数据。
配合图6所示,实际上是将数据分成两层,分别为日志数据层和快照数据层,在基于位图确定第二时间点相应的数据在日志数据层的情况下,也即第二时间点相应的数据位于日志数据层,以日志数据的形式写入了日志文件中,基于索引表确定第二时间点相应的日志数据在日志文件中的写入位置,并直接进行读取;在基于位图确定第二时间点相应的数据未写入日志数据层,则表明该第二时间点相应的数据在快照数据层,可直接从第一存储装置中查找相应的快照数据,并进行读取。由于位图中仅存储有用于标识日志数据存储于第一存储装置中的标识符,而不包含日志数据的具体写入位置信息等,所以位图的数据量较小,占用空间较小,查找速度较快。
参见图7所示,本申请实施例还提供了一种数据处理系统,其包括存储装置20和处理装置10,所述存储装置20内存储有快照数据和日志文件,所述日志文件包括按照写入时间排列成数据队列的日志数据和标签,所述标签用于标识在相应写入时间生成的所述快照数据;所述处理装置10用于:
获取数据恢复请求,其中,所述数据恢复请求中包含数据恢复的目标时间点;
获取包含所述目标时间点的所述日志文件;
在所述数据队列中位于所述目标时间点处的队列单元为日志数据的情况下,确定所述数据队列中位于所述目标时间点之前且紧邻所述目标时间点的第一标签;
获取所述第一标签相关联的第一快照数据,以及所述数据队列中位于所述第一标签相应的第一时间点和所述目标时间点之间所述日志数据;
基于获取的所述第一快照数据和所述日志数据进行数据恢复。
在一些实施例中,所述处理装置10还用于:
在所述数据队列中位于所述目标时间点出的队列单元为第二标签的情况下,获取所述第二标签相关联的第二快照数据,基于所述第二快照数据进行数据恢复。
配合图8所示,所述处理装置10可包括第一处理装置11和第二处理装置12,所述存储装置20可包括第一存储装置21和第二存储装置22,该第一处理装置11可分别与第一存储装置21和第二处理装置12连接,第二处理装置12可与第二存储装置22连接;其中,第一处理装置11作为该数据处理系统的前端主机,用于完成数据接收和转发等功能,第一处理装置11可连接有多个第一存储装置21,第一存储装置21可用于存储源数据,快照数据可存储在该第一存储装置21中,第一存储装置21中可具有多个数据盘,写入数据时,可将源数据抽象成存储组件,将存储组件存放在数据盘中。第二处理装置12可为持续数据保护技术的处理装置10,用于完成备份数据的接收、转发和数据恢复等功能。第二存储装置22可用于存储备份数据,具体实施时,第二存储装置22也可连接多个第二存储装置22,第二存储装置22可包括多个数据盘,数据盘中以日志文件的形式对备份数据进行存储,也即将备份数据以日志数据的形式写入到日志文件中。
在执行数据写入时,第一处理装置11用于按预设频率生成快照数据,将所述快照数据写入第一存储装置21;
第二处理装置12用于生成用于标识所述快照数据的标签,将所述标签写入位于第二存储装置22中的所述日志文件中;
第二处理装置12还用于基于数据写入请求向所述日志文件中写入日志数据。
在一些实施例中,所述第二处理装置12还用于:
创建日志文件,基于创建所述日志文件的时间点生成快照数据和用于标识所述快照数据的标签;
在所述日志文件的数据队列中首个队列单元写入所述标签。
在一些实施例中,所述第二处理装置12还用于:
在向位于所述第二存储装置22中的所述日志文件中写入日志数据的情况下,生成位图和索引表,
其中
所述位图包含所述日志数据的写入时间点,以及用于标识所述日志数据存储于所述第二存储装置22中的标识符;该位图可存储在第一处理装置11中所创建的虚拟磁盘中。
所述索引表包含所述日志数据的写入时间点,以及用于标识所述日志数据在所述日志文件中写入位置的第一位置信息。
在一些实施例中,所述第一处理装置11还用于:
获取数据读取请求,其中,所述数据读取请求包含表征数据读取的目标时间的第二时间点;
基于所述位图确定所述第二存储装置22中是否存储有与所述第二时间点相应的日志数据;
所述第二处理装置12还用于:
在确定所述第二存储装置22中存储有与所述第二时间点相应的日志数据的情况下,从所述索引表获取与所述第二时间点相应的所述日志数据的第一位置信息;
基于所述第一位置信息从所述日志文件中读取所述日志数据。
在一些实施例中,所述第一处理装置11还用于:
在基于所述位图确定所述第二存储装置22中未存储有与所述第二时间点相应的日志数据的情况下;
在所述第一存储装置21中查找与所述第二时间点相应的快照数据。
以上实施例仅为本申请的示例性实施例,不用于限制本申请,本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内,对本申请做出各种修改或等同替换,这种修改或等同替换也应视为落在本申请的保护范围内。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
获取数据恢复请求,其中,所述数据恢复请求中包含数据恢复的目标时间点;
获取包含所述目标时间点的日志文件,其中所述日志文件包括按照写入时间排列成数据队列的日志数据和标签,所述标签用于标识在相应写入时间生成的快照数据;
在所述数据队列中位于所述目标时间点处的队列单元为日志数据的情况下,确定所述数据队列中位于所述目标时间点之前且紧邻所述目标时间点的第一标签;
获取所述第一标签相关联的第一快照数据,以及所述数据队列中位于所述第一标签相应的第一时间点和所述目标时间点之间所述日志数据;
基于获取的所述第一快照数据和所述日志数据进行数据恢复。
2.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
在所述数据队列中位于所述目标时间点处的队列单元为第二标签的情况下,获取所述第二标签相关联的第二快照数据,基于所述第二快照数据进行数据恢复。
3.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括数据写入,其包括:
按预设频率生成快照数据,将所述快照数据写入第一存储装置;
生成用于标识所述快照数据的标签,将所述标签写入位于第二存储装置中的所述日志文件中;
基于数据写入请求向所述日志文件中写入日志数据。
4.根据权利要求3所述的数据处理方法,其特征在于,所述数据写入还包括:
创建日志文件,基于创建所述日志文件的时间点生成快照数据和用于标识所述快照数据的标签;
在所述日志文件的数据队列中首个队列单元写入所述标签。
5.根据权利要求3所述的数据处理方法,其特征在于,所述方法还包括:
在向位于所述第一存储装置中的所述日志文件中写入日志数据的情况下,生成位图和索引表,
其中
所述位图包含所述日志数据的写入时间点,以及用于标识所述日志数据存储于所述第一存储装置中的标识符;
所述索引表包含所述日志数据的写入时间点,以及用于标识所述日志数据在所述日志文件中写入位置的第一位置信息。
6.根据权利要求5所述的数据处理方法,其特征在于,所述方法还包括:
获取数据读取请求,其中,所述数据读取请求包含表征数据读取的目标时间的第二时间点;
在基于所述位图确定所述第二存储装置中存储有与所述第二时间点相应的日志数据的情况下;
从所述索引表获取与所述第二时间点相应的所述日志数据的第一位置信息;
基于所述第一位置信息从所述日志文件中读取所述日志数据。
7.根据权利要求6所述的数据处理方法,其特征在于,所述方法还包括:
在基于所述位图确定所述第二存储装置中未存储有与所述第二时间点相应的日志数据的情况下;
在所述第一存储装置中查找与所述第二时间点相应的快照数据。
8.一种数据处理系统,其特征在于,包括存储装置和处理装置,所述存储装置内存储有快照数据和日志文件,所述日志文件包括按照写入时间排列成数据队列的日志数据和标签,所述标签用于标识在相应写入时间生成的所述快照数据;所述处理装置用于:
获取数据恢复请求,其中,所述数据恢复请求中包含数据恢复的目标时间点;
获取包含所述目标时间点的所述日志文件;
在所述数据队列中位于所述目标时间点处的队列单元为日志数据的情况下,确定所述数据队列中位于所述目标时间点之前且紧邻所述目标时间点的第一标签;
获取所述第一标签相关联的第一快照数据,以及所述数据队列中位于所述第一标签相应的第一时间点和所述目标时间点之间所述日志数据;
基于获取的所述第一快照数据和所述日志数据进行数据恢复。
9.根据权利要求8所述的数据处理系统,其特征在于,所述处理装置还用于:
在所述数据队列中位于所述目标时间点处的队列单元为第二标签的情况下,获取所述第二标签相关联的第二快照数据,基于所述第二快照数据进行数据恢复。
10.根据权利要求8所述的数据处理系统,其特征在于,所述处理装置还用于执行数据写入,所述处理装置包括:
第一处理装置,用于按预设频率生成快照数据,将所述快照数据写入第一存储装置;
第二处理装置,用于生成用于标识所述快照数据的标签,将所述标签写入位于第二存储装置中的所述日志文件中;
所述第二处理装置还用于:基于数据写入请求向所述日志文件中写入日志数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010800713.1A CN111949447B (zh) | 2020-08-11 | 2020-08-11 | 一种数据处理方法及数据处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010800713.1A CN111949447B (zh) | 2020-08-11 | 2020-08-11 | 一种数据处理方法及数据处理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111949447A true CN111949447A (zh) | 2020-11-17 |
CN111949447B CN111949447B (zh) | 2024-06-21 |
Family
ID=73332653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010800713.1A Active CN111949447B (zh) | 2020-08-11 | 2020-08-11 | 一种数据处理方法及数据处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111949447B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101777017A (zh) * | 2010-02-08 | 2010-07-14 | 北京同有飞骥科技有限公司 | 一种连续数据保护系统的快速恢复方法 |
CN102521269A (zh) * | 2011-11-22 | 2012-06-27 | 清华大学 | 一种基于索引的计算机连续数据保护方法 |
CN103221925A (zh) * | 2012-11-23 | 2013-07-24 | 华为技术有限公司 | 数据处理方法和存储设备 |
CN105373448A (zh) * | 2015-10-27 | 2016-03-02 | 北京百度网讯科技有限公司 | 数据库中故障数据的恢复方法和系统 |
CN109885427A (zh) * | 2019-01-31 | 2019-06-14 | 郑州云海信息技术有限公司 | 一种数据库短期数据保护方法、装置、存储器及设备 |
CN110825559A (zh) * | 2018-08-10 | 2020-02-21 | 华为技术有限公司 | 一种数据处理方法及设备 |
-
2020
- 2020-08-11 CN CN202010800713.1A patent/CN111949447B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101777017A (zh) * | 2010-02-08 | 2010-07-14 | 北京同有飞骥科技有限公司 | 一种连续数据保护系统的快速恢复方法 |
CN102521269A (zh) * | 2011-11-22 | 2012-06-27 | 清华大学 | 一种基于索引的计算机连续数据保护方法 |
CN103221925A (zh) * | 2012-11-23 | 2013-07-24 | 华为技术有限公司 | 数据处理方法和存储设备 |
CN105373448A (zh) * | 2015-10-27 | 2016-03-02 | 北京百度网讯科技有限公司 | 数据库中故障数据的恢复方法和系统 |
CN110825559A (zh) * | 2018-08-10 | 2020-02-21 | 华为技术有限公司 | 一种数据处理方法及设备 |
CN109885427A (zh) * | 2019-01-31 | 2019-06-14 | 郑州云海信息技术有限公司 | 一种数据库短期数据保护方法、装置、存储器及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111949447B (zh) | 2024-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10146640B2 (en) | Recovering a volume table and data sets | |
US6529995B1 (en) | Method and apparatus for maintaining and restoring mapping table entries and data in a raid system | |
EP3519969B1 (en) | Physical media aware spacially coupled journaling and replay | |
US7774565B2 (en) | Methods and apparatus for point in time data access and recovery | |
US8433867B2 (en) | Using the change-recording feature for point-in-time-copy technology to perform more effective backups | |
US8799232B2 (en) | Method for generating copy of database | |
US7783848B2 (en) | Method and apparatus for backup and recovery using storage based journaling | |
US7337288B2 (en) | Instant refresh of a data volume copy | |
CN102063348B (zh) | 分区表信息备份方法和装置以及存储系统 | |
US7975171B2 (en) | Automated file recovery based on subsystem error detection results | |
US20130013874A1 (en) | Data store page recovery | |
US8762347B1 (en) | Method and apparatus for processing transactional file system operations to enable point in time consistent file data recreation | |
US10977143B2 (en) | Mirrored write ahead logs for data storage system | |
US7620785B1 (en) | Using roll-forward and roll-backward logs to restore a data volume | |
CN104077380A (zh) | 一种重复数据删除方法、装置及系统 | |
US11429498B2 (en) | System and methods of efficiently resyncing failed components without bitmap in an erasure-coded distributed object with log-structured disk layout | |
CN105354109A (zh) | 视频监控索引数据的备份方法和装置 | |
CN116483284B (zh) | 一种读写虚拟硬盘的方法、装置、介质及电子设备 | |
US8078905B1 (en) | Restoring configurations of data storage systems | |
CN111949447B (zh) | 一种数据处理方法及数据处理系统 | |
CN110618897B (zh) | 一种基于vgda信息恢复vg数据的方法 | |
US11403189B2 (en) | System and method of resyncing data in erasure-coded objects on distributed storage systems without requiring checksum in the underlying storage | |
US20230333946A1 (en) | Method and system for continuous data protection | |
CN113760604A (zh) | 异地重删数据快速恢复容灾方法、系统、终端及存储介质 | |
CN113127476A (zh) | 一种平台数据更新系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |