CN109725895A - 一种数据备份方法及装置 - Google Patents

一种数据备份方法及装置 Download PDF

Info

Publication number
CN109725895A
CN109725895A CN201811641105.XA CN201811641105A CN109725895A CN 109725895 A CN109725895 A CN 109725895A CN 201811641105 A CN201811641105 A CN 201811641105A CN 109725895 A CN109725895 A CN 109725895A
Authority
CN
China
Prior art keywords
data
time
apmb package
type
kind data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811641105.XA
Other languages
English (en)
Inventor
李军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201811641105.XA priority Critical patent/CN109725895A/zh
Publication of CN109725895A publication Critical patent/CN109725895A/zh
Pending legal-status Critical Current

Links

Abstract

本发明提供一种数据备份方法及装置,在获得第一时间至第二时间得到的各条第一类型数据后,将各条第一类型数据压缩至至少一个第一类型包文件中;在获得第二时间之前得到的各条第二类型数据后,将各条第二类型数据压缩至一个第二类型包文件中,对至少一个第一类型包文件和第二类型包文件进行备份,实现对第一时间至第二时间得到的各条第一类型数据以及第二时间之前的各条第二类型数据的备份,且在备份第一类型数据时仅对第一时间至第二时间得到的进行备份,实现对第一类型数据的增量备份,从而提高备份速率以降低备份时长,并且将第一类型数据和第二类型数据压缩至不同包文件中,实现分类压缩。

Description

一种数据备份方法及装置
技术领域
本发明属于数据处理技术领域,更具体地说,尤其涉及一种数据备份方法及装置。
背景技术
目前程序代码可存储到Gitlab服务器,而程序代码是保证程序运行的重要数据,因此为了保证程序代码的安全性,需要对Gitlab服务器上存储的程序代码进行备份,其中对Gitlab服务器上存储的程序代码进行备份的方式是:定期将Gitlab服务器上的程序代码进行备份,但是Gitlab服务器上的程序代码可以视为是独立文件,并且Gitlab服务器上所有的独立文件的数量巨大,若将Gitlab服务器上所有的独立文件进行一次备份则会花费很长时间。
发明内容
有鉴于此,本发明的目的在于提供一种数据备份方法及装置,用于提高备份速率,从而降低备份时长。技术方案如下:
一种数据备份方法,所述方法包括:
获得第一时间至第二时间得到的各条第一类型数据,将各条第一类型数据压缩至至少一个第一类型包文件中,其中所述第二时间晚于所述第一时间,各个第一类型包文件中的第一类型数据互不重叠;
获得所述第二时间之前得到的各条第二类型数据,将所述各条第二类型数据压缩至一个第二类型包文件中,其中所述第二类型数据不同于所述第一类型数据;
对所述至少一个第一类型包文件和所述第二类型包文件进行备份。
可选的,对每个所述第一类型包文件:该第一类型包文件中的第一类型数据分别与该第一类型包文件之前得到的各个第一类型包文件中的第一类型数据互不重叠;
和/或
对每个所述第二类型包文件:该第二类型包文件中的第二类型数据分别与该第二类型包文件之前得到的各第二类型包文件中的第二类型数据之间有重叠。
可选的,所述将各条第一类型数据压缩至至少一个第一类型包文件中包括:
若所述各条第一类型数据符合预设条件,则将各条第一类型数据压缩至一个第一类型包文件中;
若所述各条第一类型数据不符合所述预设条件,则触发获得所述第二时间之后的其他时间得到的其他第一类型数据,并在各条第一类型数据和其他第一类型数据符合所述预设条件时将各条第一类型数据和其他第一类型数据压缩至一个第一类型包文件中。
可选的,所述获得第一时间至第二时间得到的各条第一类型数据,将各条第一类型数据压缩至至少一个第一类型包文件中包括:
至少每间隔所述第一时间至所述第二时间之间的时间差,获得每个项目在所述时间差内得到的各条第一类型数据;
对每个项目中的任一项目:将该项目在所述时间差内得到的各条第一类型数据压缩至一个第一类型包文件中。
可选的,所述将该项目在所述时间差内得到的各条第一类型数据压缩至一个第一类型包文件中包括:
若该项目在所述时间差内得到的各条第一类型数据符合预设条件,则将该项目在所述时间差内得到的各条第一类型数据压缩至一个第一类型包文件中;
若该项目在所述时间差内得到的各条第一类型数据不符合所述预设条件,则触发获得该项目在该时间差之后的其他时间差得到的其他第一类型数据,并在各条第一类型数据和其他第一类型数据符合所述预设条件时将各条第一类型数据和其他第一类型数据压缩至一个第一类型包文件中。
一种数据备份装置,所述装置包括:第一数据获得单元、第二数据获得单元和备份单元,
所述第一数据获得单元,用于获得第一时间至第二时间得到的各条第一类型数据,将各条第一类型数据压缩至至少一个第一类型包文件中,其中所述第二时间晚于所述第一时间,各个第一类型包文件中的第一类型数据互不重叠;
所述第二数据获得单元,用于获得所述第二时间之前得到的各条第二类型数据,将所述各条第二类型数据压缩至一个第二类型包文件中,其中所述第二类型数据不同于所述第一类型数据;
所述备份单元,用于对所述至少一个第一类型包文件和所述第二类型包文件进行备份。
可选的,对每个所述第一类型包文件:该第一类型包文件中的第一类型数据分别与该第一类型包文件之前得到的各个第一类型包文件中的第一类型数据互不重叠;
和/或
对每个所述第二类型包文件:该第二类型包文件中的第二类型数据分别与该第二类型包文件之前得到的各第二类型包文件中的第二类型数据之间有重叠。
可选的,所述第一数据获得单元具体用于:获得第一时间至第二时间得到的各条第一类型数据,若所述各条第一类型数据符合预设条件,则将各条第一类型数据压缩至一个第一类型包文件中;若所述各条第一类型数据不符合所述预设条件,则触发获得所述第二时间之后的其他时间得到的其他第一类型数据,并在各条第一类型数据和其他第一类型数据符合所述预设条件时将各条第一类型数据和其他第一类型数据压缩至一个第一类型包文件中,其中所述第二时间晚于所述第一时间,各个第一类型包文件中的第一类型数据互不重叠。
可选的,所述第一数据获得单元包括:时间间隔子单元和压缩子单元,
所述时间间隔子单元,用于至少每间隔所述第一时间至所述第二时间之间的时间差,获得每个项目在所述时间差内得到的各条第一类型数据;
所述压缩子单元,用于对每个项目中的任一项目:将该项目在所述时间差内得到的各条第一类型数据压缩至一个第一类型包文件中,其中所述第二时间晚于所述第一时间,各个第一类型包文件中的第一类型数据互不重叠。
可选的,所述压缩子单元具体用于:对每个项目中的任一项目:
若该项目在所述时间差内得到的各条第一类型数据符合预设条件,则将该项目在所述时间差内得到的各条第一类型数据压缩至一个第一类型包文件中;
若该项目在所述时间差内得到的各条第一类型数据不符合所述预设条件,则触发获得该项目在该时间差之后的其他时间差得到的其他第一类型数据,并在各条第一类型数据和其他第一类型数据符合所述预设条件时将各条第一类型数据和其他第一类型数据压缩至一个第一类型包文件中。
从上述技术方案可知,在获得第一时间至第二时间得到的各条第一类型数据后,将各条第一类型数据压缩至至少一个第一类型包文件中;在获得第二时间之前得到的各条第二类型数据后,将各条第二类型数据压缩至一个第二类型包文件中,对至少一个第一类型包文件和第二类型包文件进行备份,实现对第一时间至第二时间得到的各条第一类型数据以及第二时间之前的各条第二类型数据的备份,且在备份第一类型数据时仅对第一时间至第二时间得到的进行备份,实现对第一类型数据的增量备份,从而提高备份速率以降低备份时长,并且将第一类型数据和第二类型数据压缩至不同包文件中,实现分类压缩。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据备份方法的流程图;
图2是本发明实施例提供的第一类型数据和第二类型数据分别压缩的示意图;
图3是本发明实施例提供的另一种数据备份方法的流程图;
图4是本发明实施例提供的一种数据备份装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本发明实施例提供的一种数据备份方法的流程图,用于提高备份速率以降低备份时长,其中图1所示数据备份方法可以包括以下步骤:
S101:获得第一时间至第二时间得到的各条第一类型数据,将各条第一类型数据压缩至至少一个第一类型包文件中,其中第二时间晚于第一时间,各个第一类型包文件中的第一类型数据互不重叠。
其中,互不重叠用于表明各个第一类型包文件中的第一类型数据互不相同。
例如将各条第一类型数据划分至不同数据集合中,每个数据集合中的第一类型数据互不相同,这样就可以将一个数据集合中的第一类型数据压缩至一个第一类型包文件中,其中对各条第一类型数据的划分可以是:随意划分或按照某种规则进行划分,如按照第一类型数据所属项目、第一类型数据的作用、第一类型数据对应应用等中的至少一种规则进行划分。
并且上述第一时间至第二时间可以是:包含第一时间和第二时间其中之一,以第二时间为例,上述各条第一类型数据中含有第二时间生成的第一类型数据。当然也可以包含第一时间和第二时间这两个时间,或者第一时间和第二时间中任一时间均不包括,可以根据实际应用调整是否需要包含第一时间和第二时间。此外第一时间和第二时间这两个时间也可以根据实际应用确定,对此本实施例不再阐述。
在本实施例中,将各条第一类型数据压缩至至少一个第一类型包文件的其他方式可以是:若各条第一类型数据符合预设条件,则将各条第一类型数据压缩至一个第一类型包文件中;若各条第一类型数据不符合所述预设条件,则触发获得第二时间之后的其他时间得到的其他第一类型数据,并在各条第一类型数据和其他第一类型数据符合预设条件时将各条第一类型数据和其他第一类型数据压缩至一个第一类型包文件中,从而实现将符合预设条件的第一类型数据压缩至一个第一类型包文件中。
如获得的第一类型数据的总条数,若获得的第一类型数据的总条数大于预设阈值,则说明各条第一类型数据符合预设条件,若获得的第一类型数据的总条数小于或等于预设阈值,则说明各条第一类型数据不符合预设条件,当然除此之外还可以通过其他方式来设置预设条件,如各条第一类型数据中含有预设要求(如预设功能)的数据。
S102:获得第二时间之前得到的各条第二类型数据,将各条第二类型数据压缩至一个第二类型包文件中,其中第二类型数据不同于第一类型数据。
例如两种类型数据不同可以是但不限于是:第一类型数据和第二类型数据隶属不同项目、第一类型数据和第二类型数据的作用不同、第一类型数据和第二类型数据对应不同的应用等中的至少一种。
与上述各条第一类型数据类似,在本实施例中各条第二类型数据中含有或不含有第二时间生成的第二类型数据,如以第二时间为截止时间,获得从该截止时间至开始时间这一连续时间上的第二类型数据,其中开始时间可以根据实际应用而定,如开始时间是第一条第二类型数据生成的时间,或者以一个周期的起始时间作为该开始时间,这样就可以每间隔一个周期来压缩一次该周期内得到的所有第二类型数据,当然在一个周期内也可以进行时间划分,以将划分出的每个时间段进行一次第二类型数据的压缩。
并且上述各条第二类型数据是第二时间之前的至少部分(如所有)第二类型数据,进而将这些第二类型数据压缩至一个第二类型包文件中,由此可知上述各条第一类型数据可压缩至多个第一类型包文件中,而各条第二类型数据仅能压缩至一个第二类型包文件中。
S103:对至少一个第一类型包文件和第二类型包文件进行备份。
如可以在执行本实施例提供的数据备份方法的服务器中进行备份,如将第一类型包文件和第二类型包文件备份至与上述数据不同的存储空间中,又或者可以将第一类型包文件和第二类型包文件存储在可与该服务器通信的其他设备中。
下面以Gitlab服务器执行本实施例提供的数据备份方法进行说明,在Gitlab服务器中第一类型数据可以是git object(Git代码仓库的内容存储对象)、第二类型数据可以是loose git object(Git松散对象),对于git object来说,git object的文件名与gitobject的文件内容相关,如通过git object的文件内容计算得到git object的文件名,并且git是记录一个项目修改记录的工具,在针对项目进行修改且提交该修改之后,均会生成一个git object来记录本次修改内容(文本内容),由此在项目修改过程中会记录一个gitobject。
对于视为第一类型数据的git object来说,采用增量备份方式将第一时间至第二时间内得到的git object压缩至至少一个permanent pack(可视为是第一类型包文件)中,然后将这些permanent pack进行备份,由此当次仅备份第一时间至第二时间内得到的gitobject,而在备份git object时会丢失一些git object,则这些丢失的git object视为是loose git object,对于第二时间之前得到的loose git object会压缩至一个temporarypack(可视为是第二类型包文件)中,如图2所示。
在这里需要说明的一点是:在对第一类型数据进行压缩时,会将不同的第一类型数据压缩至不同的第一类型包文件中,使得各个第一类型包文件中的第一类型数据互不相同,并且若第一类型数据是在第一时间至第二时间生成的数据,则意味着在第一时间至第二时间得到的第一类型数据与其他时间的第一类型数据不同,使得各个第一类型包文件中的第一类型数据与之前得到的各个第一类型包文件中的第一类型数据互不重叠(即互不相同)。而第二类型数据是第二时间之前的至少部分数据,这就意味着当前得到的第二类型包文件中的第二类型数据与之前得到的第二类型包文件中的第二类型数据之间有重叠,如在第二类型数据是第二时间之前的所有数据,则当前生成的第二类型包文件中包含之前得到的第二类型包文件中的所有第二类型数据,那么在压缩得到第二类型包文件中,也可以获得在得到第二时间至该第二时间之前得到的第二类型包文件对应的时间之间生成的第二类型数据,然后将这部分第二类型数据压缩至第二类型包文件中,使得服务器中仅存在一个第二类型包文件。
可选的,对每个所述第一类型包文件:该第一类型包文件中的第一类型数据分别与该第一类型包文件之前得到的各个第一类型包文件中的第一类型数据互不重叠。
可选的,对每个所述第二类型包文件:该第二类型包文件中的第二类型数据分别与该第二类型包文件之前得到的各第二类型包文件中的第二类型数据之间有重叠。
从上述技术方案可知,在获得第一时间至第二时间得到的各条第一类型数据后,将各条第一类型数据压缩至至少一个第一类型包文件中;在获得第二时间之前得到的各条第二类型数据后,将各条第二类型数据压缩至一个第二类型包文件中,对至少一个第一类型包文件和第二类型包文件进行备份,实现对第一时间至第二时间得到的各条第一类型数据以及第二时间之前的各条第二类型数据的备份,且在备份第一类型数据时仅对第一时间至第二时间得到的进行备份,实现对第一类型数据的增量备份,从而提高备份速率以降低备份时长,并且将第一类型数据和第二类型数据压缩至不同包文件中,实现分类压缩。
请参阅图3,其示出了本发明实施例提供的另一种数据备份方法的流程图,通过周期性获取方式将任一时间差内属于同一个项目的第一类型数据压缩至一个第一类型包文件中,具体可以包括以下步骤:
S301:至少每间隔第一时间至第二时间之间的时间差,获得每个项目在时间差内得到的各条第一类型数据。
也就是说每间隔第一时间至第二时间之间的时间差,则会获取一次每个项目在该时间差内得到的各条第一类型数据,如上述git object来说,每间隔一个时间差获得该时间差下每个项目生成的git object。
为实现周期性获得各条第一类型数据,在本实施例中可设置一个定时压缩任务,每达到该定时压缩任务的开始时间,通过定时压缩任务获得该定时压缩任务对应的时间范围生成的第一类型数据并进行压缩,如该时间范围可以是但不限于是:该定时压缩任务的结束时间至上一个定时压缩任务的结束时间,对于第一个定时压缩任务来说,第一个定时压缩任务对应的时间范围可以是但不限于是:第一个定时压缩任务对应的开始时间至第一个定时压缩任务对应的结束时间。并且第一个定时压缩任务的开始时间可以根据实际应用而定,而除第一个定时压缩任务之外的其他定时压缩任务的开始时间为:上一个定时压缩任务的开始时间与第一时间至第二时间之间的时间差的和,以实现每间隔一个时间差重新启动一次定时压缩任务,对于各个定时压缩任务的结束时间可以根据实际应用而定,但是为了保证第一类型包文件中的第一类型数据的不同,需要使得定时压缩任务的结束时间不得晚于该定时压缩任务的开始时间与第一时间至第二时间之间的时间差的和,这样可以防止相邻的定时压缩任务获得相同的第一类型数据。
S302:对每个项目中的任一项目:将该项目在时间差内得到的各条第一类型数据压缩至一个第一类型包文件中。
步骤S302可以实现将同一个项目在某个时间差内得到的各条第一类型数据压缩至一个第一类型包文件的目的。
在本实施例中将该项目在时间差内得到的各条第一类型数据压缩至一个第一类型包文件中的可行方式包括但不限于:若该项目在时间差内得到的各条第一类型数据符合预设条件,则将该项目在时间差内得到的各条第一类型数据压缩至一个第一类型包文件中。
若该项目在时间差内得到的各条第一类型数据不符合预设条件,则继续获得该项目在该时间差之后的其他时间差得到的其他第一类型数据,并在各条第一类型数据和其他第一类型数据符合预设条件时将各条第一类型数据和其他第一类型数据压缩至一个第一类型包文件中。
如获得的第一类型数据的总条数,若获得的第一类型数据的总条数大于预设阈值,则说明各条第一类型数据符合预设条件,若获得的第一类型数据的总条数小于或等于预设阈值,则说明各条第一类型数据不符合预设条件,当然除此之外还可以通过其他方式来设置预设条件,如各条第一类型数据中含有预设要求(如预设功能)的数据。
S303:获得第二时间之前得到的各条第二类型数据,将各条第二类型数据压缩至一个第二类型包文件中,其中第二类型数据不同于第一类型数据。
S304:对至少一个第一类型包文件和第二类型包文件进行备份。
从上述技术方案可知,在对第一类型数据和第二类型数据采用不同方式压缩的情况下,还能够将同一个项目但对应不同时间的各条第一类型数据压缩至不同的第一类型包文件中,实现基于项目和时间这两种因素对第一类型数据的分类压缩。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
与上述本发明实施例提供的一种数据备份方法相对应,本发明实施例还提供了一种数据备份装置。
如图4所示,本发明实施例提供的一种数据备份装置,可以包括:第一数据获得单元100、第二数据获得单元200和备份单元300,
所述第一数据获得单元100,用于获得第一时间至第二时间得到的各条第一类型数据,将各条第一类型数据压缩至至少一个第一类型包文件中,其中所述第二时间晚于所述第一时间,各个第一类型包文件中的第一类型数据互不重叠;
例如将各条第一类型数据划分至不同数据集合中,每个数据集合中的第一类型数据互不相同,这样就可以将一个数据集合中的第一类型数据压缩至一个第一类型包文件中,其中对各条第一类型数据的划分可以是:随意划分或按照某种规则进行划分,如按照第一类型数据所属项目、第一类型数据的作用、第一类型数据对应应用等中的至少一种规则进行划分。
并且上述第一时间至第二时间可以是:包含第一时间和第二时间其中之一,以第二时间为例,上述各条第一类型数据中含有第二时间生成的第一类型数据。当然也可以包含第一时间和第二时间这两个时间,或者第一时间和第二时间中任一时间均不包括,可以根据实际应用调整是否需要包含第一时间和第二时间。此外第一时间和第二时间这两个时间也可以根据实际应用确定,对此本实施例不再阐述。
所述第二数据获得单元200,用于获得所述第二时间之前得到的各条第二类型数据,将所述各条第二类型数据压缩至一个第二类型包文件中,其中所述第二类型数据不同于所述第一类型数据;
与上述各条第一类型数据类似,在本实施例中各条第二类型数据中含有或不含有第二时间生成的第二类型数据,如以第二时间为截止时间,获得从该截止时间至开始时间这一连续时间上的第二类型数据,其中开始时间可以根据实际应用而定,如开始时间是第一条第二类型数据生成的时间,或者以一个周期的起始时间作为该开始时间,这样就可以每间隔一个周期来压缩一次该周期内得到的所有第二类型数据,当然在一个周期内也可以进行时间划分,以将划分出的每个时间段进行一次第二类型数据的压缩。
并且上述各条第二类型数据是第二时间之前的至少部分(如所有)第二类型数据,进而将这些第二类型数据压缩至一个第二类型包文件中,由此可知上述各条第一类型数据可压缩至多个第一类型包文件中,而各条第二类型数据仅能压缩至一个第二类型包文件中。
所述备份单元300,用于对所述至少一个第一类型包文件和所述第二类型包文件进行备份。
可选的,对每个所述第一类型包文件:该第一类型包文件中的第一类型数据分别与该第一类型包文件之前得到的各个第一类型包文件中的第一类型数据互不重叠;
和/或
对每个所述第二类型包文件:该第二类型包文件中的第二类型数据分别与该第二类型包文件之前得到的各第二类型包文件中的第二类型数据之间有重叠。
可选的,所述第一数据获得单元100具体用于:获得第一时间至第二时间得到的各条第一类型数据,若所述各条第一类型数据符合预设条件,则将各条第一类型数据压缩至一个第一类型包文件中;若所述各条第一类型数据不符合所述预设条件,则触发获得所述第二时间之后的其他时间得到的其他第一类型数据,并在各条第一类型数据和其他第一类型数据符合所述预设条件时将各条第一类型数据和其他第一类型数据压缩至一个第一类型包文件中,其中所述第二时间晚于所述第一时间,各个第一类型包文件中的第一类型数据互不重叠。
如获得的第一类型数据的总条数,若获得的第一类型数据的总条数大于预设阈值,则说明各条第一类型数据符合预设条件,若获得的第一类型数据的总条数小于或等于预设阈值,则说明各条第一类型数据不符合预设条件,当然除此之外还可以通过其他方式来设置预设条件,如各条第一类型数据中含有预设要求(如预设功能)的数据。
可选的,所述第一数据获得单元100包括:时间间隔子单元和压缩子单元,
所述时间间隔子单元,用于至少每间隔所述第一时间至所述第二时间之间的时间差,获得每个项目在所述时间差内得到的各条第一类型数据;
所述压缩子单元,用于对每个项目中的任一项目:将该项目在所述时间差内得到的各条第一类型数据压缩至一个第一类型包文件中,其中所述第二时间晚于所述第一时间,各个第一类型包文件中的第一类型数据互不重叠。
可选的,所述压缩子单元具体用于:对每个项目中的任一项目:
若该项目在所述时间差内得到的各条第一类型数据符合预设条件,则将该项目在所述时间差内得到的各条第一类型数据压缩至一个第一类型包文件中;
若该项目在所述时间差内得到的各条第一类型数据不符合预设条件,则触发获得该项目在该时间差之后的其他时间差得到的其他第一类型数据,并在各条第一类型数据和其他第一类型数据符合预设条件时将各条第一类型数据和其他第一类型数据压缩至一个第一类型包文件中。
本发明提供的一种数据备份装置,在获得第一时间至第二时间得到的各条第一类型数据后,将各条第一类型数据压缩至至少一个第一类型包文件中;在获得第二时间之前得到的各条第二类型数据后,将各条第二类型数据压缩至一个第二类型包文件中,对至少一个第一类型包文件和第二类型包文件进行备份,实现对第一时间至第二时间得到的各条第一类型数据以及第二时间之前的各条第二类型数据的备份,且在备份第一类型数据时仅对第一时间至第二时间得到的进行备份,实现对第一类型数据的增量备份,从而提高备份速率以降低备份时长,并且将第一类型数据和第二类型数据压缩至不同包文件中,实现分类压缩。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据备份方法,其特征在于,所述方法包括:
获得第一时间至第二时间得到的各条第一类型数据,将各条第一类型数据压缩至至少一个第一类型包文件中,其中所述第二时间晚于所述第一时间,各个第一类型包文件中的第一类型数据互不重叠;
获得所述第二时间之前得到的各条第二类型数据,将所述各条第二类型数据压缩至一个第二类型包文件中,其中所述第二类型数据不同于所述第一类型数据;
对所述至少一个第一类型包文件和所述第二类型包文件进行备份。
2.根据权利要求1所述的方法,其特征在于,对每个所述第一类型包文件:该第一类型包文件中的第一类型数据分别与该第一类型包文件之前得到的各个第一类型包文件中的第一类型数据互不重叠;
和/或
对每个所述第二类型包文件:该第二类型包文件中的第二类型数据分别与该第二类型包文件之前得到的各第二类型包文件中的第二类型数据之间有重叠。
3.根据权利要求1所述的方法,其特征在于,所述将各条第一类型数据压缩至至少一个第一类型包文件中包括:
若所述各条第一类型数据符合预设条件,则将各条第一类型数据压缩至一个第一类型包文件中;
若所述各条第一类型数据不符合所述预设条件,则触发获得所述第二时间之后的其他时间得到的其他第一类型数据,并在各条第一类型数据和其他第一类型数据符合所述预设条件时将各条第一类型数据和其他第一类型数据压缩至一个第一类型包文件中。
4.根据权利要求1所述的方法,其特征在于,所述获得第一时间至第二时间得到的各条第一类型数据,将各条第一类型数据压缩至至少一个第一类型包文件中包括:
至少每间隔所述第一时间至所述第二时间之间的时间差,获得每个项目在所述时间差内得到的各条第一类型数据;
对每个项目中的任一项目:将该项目在所述时间差内得到的各条第一类型数据压缩至一个第一类型包文件中。
5.根据权利要求4所述的方法,其特征在于,所述将该项目在所述时间差内得到的各条第一类型数据压缩至一个第一类型包文件中包括:
若该项目在所述时间差内得到的各条第一类型数据符合预设条件,则将该项目在所述时间差内得到的各条第一类型数据压缩至一个第一类型包文件中;
若该项目在所述时间差内得到的各条第一类型数据不符合所述预设条件,则触发获得该项目在该时间差之后的其他时间差得到的其他第一类型数据,并在各条第一类型数据和其他第一类型数据符合所述预设条件时将各条第一类型数据和其他第一类型数据压缩至一个第一类型包文件中。
6.一种数据备份装置,其特征在于,所述装置包括:第一数据获得单元、第二数据获得单元和备份单元,
所述第一数据获得单元,用于获得第一时间至第二时间得到的各条第一类型数据,将各条第一类型数据压缩至至少一个第一类型包文件中,其中所述第二时间晚于所述第一时间,各个第一类型包文件中的第一类型数据互不重叠;
所述第二数据获得单元,用于获得所述第二时间之前得到的各条第二类型数据,将所述各条第二类型数据压缩至一个第二类型包文件中,其中所述第二类型数据不同于所述第一类型数据;
所述备份单元,用于对所述至少一个第一类型包文件和所述第二类型包文件进行备份。
7.根据权利要求6所述的装置,其特征在于,对每个所述第一类型包文件:该第一类型包文件中的第一类型数据分别与该第一类型包文件之前得到的各个第一类型包文件中的第一类型数据互不重叠;
和/或
对每个所述第二类型包文件:该第二类型包文件中的第二类型数据分别与该第二类型包文件之前得到的各第二类型包文件中的第二类型数据之间有重叠。
8.根据权利要求6所述的装置,其特征在于,所述第一数据获得单元具体用于:获得第一时间至第二时间得到的各条第一类型数据,若所述各条第一类型数据符合预设条件,则将各条第一类型数据压缩至一个第一类型包文件中;若所述各条第一类型数据不符合所述预设条件,则触发获得所述第二时间之后的其他时间得到的其他第一类型数据,并在各条第一类型数据和其他第一类型数据符合所述预设条件时将各条第一类型数据和其他第一类型数据压缩至一个第一类型包文件中,其中所述第二时间晚于所述第一时间,各个第一类型包文件中的第一类型数据互不重叠。
9.根据权利要求6所述的装置,其特征在于,所述第一数据获得单元包括:时间间隔子单元和压缩子单元,
所述时间间隔子单元,用于至少每间隔所述第一时间至所述第二时间之间的时间差,获得每个项目在所述时间差内得到的各条第一类型数据;
所述压缩子单元,用于对每个项目中的任一项目:将该项目在所述时间差内得到的各条第一类型数据压缩至一个第一类型包文件中,其中所述第二时间晚于所述第一时间,各个第一类型包文件中的第一类型数据互不重叠。
10.根据权利要求9所述的装置,其特征在于,所述压缩子单元具体用于:对每个项目中的任一项目:
若该项目在所述时间差内得到的各条第一类型数据符合预设条件,则将该项目在所述时间差内得到的各条第一类型数据压缩至一个第一类型包文件中;
若该项目在所述时间差内得到的各条第一类型数据不符合所述预设条件,则触发获得该项目在该时间差之后的其他时间差得到的其他第一类型数据,并在各条第一类型数据和其他第一类型数据符合所述预设条件时将各条第一类型数据和其他第一类型数据压缩至一个第一类型包文件中。
CN201811641105.XA 2018-12-29 2018-12-29 一种数据备份方法及装置 Pending CN109725895A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811641105.XA CN109725895A (zh) 2018-12-29 2018-12-29 一种数据备份方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811641105.XA CN109725895A (zh) 2018-12-29 2018-12-29 一种数据备份方法及装置

Publications (1)

Publication Number Publication Date
CN109725895A true CN109725895A (zh) 2019-05-07

Family

ID=66298573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811641105.XA Pending CN109725895A (zh) 2018-12-29 2018-12-29 一种数据备份方法及装置

Country Status (1)

Country Link
CN (1) CN109725895A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479118A (zh) * 2010-11-30 2012-05-30 英业达集团(天津)电子技术有限公司 数据块的增量备份方法
CN102571897A (zh) * 2010-12-20 2012-07-11 中华电信股份有限公司 数据备份系统及数据备份与回溯方法
CN108021470A (zh) * 2017-10-27 2018-05-11 努比亚技术有限公司 一种资料备份方法、移动终端及计算机可读存储介质
CN108241557A (zh) * 2016-12-26 2018-07-03 航天信息股份有限公司 Hdfs中数据备份的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479118A (zh) * 2010-11-30 2012-05-30 英业达集团(天津)电子技术有限公司 数据块的增量备份方法
CN102571897A (zh) * 2010-12-20 2012-07-11 中华电信股份有限公司 数据备份系统及数据备份与回溯方法
CN108241557A (zh) * 2016-12-26 2018-07-03 航天信息股份有限公司 Hdfs中数据备份的方法
CN108021470A (zh) * 2017-10-27 2018-05-11 努比亚技术有限公司 一种资料备份方法、移动终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN101604268B (zh) 一种监控目录变化事件过滤方法
CN103186624A (zh) 一种数据同步方法和数据同步装置
CN104750573B (zh) 分布式数据系统数据节点的全局一致性备份和还原方法
EP3474143B1 (en) Method and apparatus for incremental recovery of data
CN105487940B (zh) 灾备端、生产端及两者之间的数据恢复方法
CN109992624A (zh) 一种区块链Block chain的同步存储方法、装置及计算机设备
CN101771548A (zh) 文件同步方法及系统
CN109491832A (zh) 数据容灾方法与站点
CN108549550A (zh) 一种硬盘挂载方法及装置
CN109144792A (zh) 数据恢复方法、装置及、系统及计算机可读存储介质
CN107017958A (zh) 一种基于ntp的时间同步方法及相应系统
CN109976942A (zh) 一种数据备份和恢复方法、备份服务器和源服务器
CN102541683B (zh) 一种数据文件备份方法及装置
CN109725895A (zh) 一种数据备份方法及装置
CN104536852B (zh) 数据恢复方法及装置
CN108256311A (zh) 一种授权认证方法及装置
CN116701063A (zh) 数联网数据语用内存状态数据的持久化方法、装置及系统
CN107291576A (zh) 一种异步的快照卷解耦合的方法及装置
CN103428022A (zh) 一种备份和恢复网元上配置数据文件的方法及系统
CN103488549B (zh) 多镜像数据的回滚处理系统和回滚处理方法
CN105790975A (zh) 一种业务处理操作的执行方法及装置
CN104793904B (zh) 逻辑卷设定硬盘禁区并利用硬盘禁区备份配置信息的方法
CN103678592A (zh) 一种数据备份方法及系统
CN106209737A (zh) 控制远程服务调用频率的方法和装置
CN106980555A (zh) 一种超时线程处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190507