CN114020522A - 数据备份方法、装置、电子设备及系统 - Google Patents
数据备份方法、装置、电子设备及系统 Download PDFInfo
- Publication number
- CN114020522A CN114020522A CN202111130640.0A CN202111130640A CN114020522A CN 114020522 A CN114020522 A CN 114020522A CN 202111130640 A CN202111130640 A CN 202111130640A CN 114020522 A CN114020522 A CN 114020522A
- Authority
- CN
- China
- Prior art keywords
- data
- backup
- incremental
- attribute information
- snapshot identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Retry When Errors Occur (AREA)
Abstract
本发明涉及云备份技术领域,具体涉及数据备份方法、装置、电子设备及系统,所述方法包括获取备份属性信息,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度;将所述备份属性信息发送给源数据端;接收所述源数据端基于所述备份属性信息反馈的增量数据,以将所述增量数据写入目标对象存储。将增量数据的确定过程放在存储端处理,对于本地而言仅需要对存储端反馈的增量数据进行处理,而不需要处理全部的数据,大大提高了数据读取速度;且增量数据的确定与增量数据的处理是并行处理的,优化了整个读取性能,提高了增量备份性能。
Description
技术领域
本发明涉及云备份技术领域,具体涉及数据备份方法、装置、电子设备及系统。
背景技术
目前越来越多企业选择数据上云,而大部分的商业云平台软件几乎都采用了OpenStack架构,基于云的备份成了企业不能或缺的硬性需求。目前通过OpenStack备份程序按照固定大小读取卷数据,计算SHA256值比对上一次备份的SHA256值,有增量数据就进行备份,需要将卷的全部读取完毕进行比较。
具体地,对一个卷(即,volume)做全量备份时,每次从volume读入第一字节(例如,chunk_size字节)的数据,从LBA=0开始,每sha_block_size个字节做一次SHA计算(chunk_size必须是sha_block_size的整数倍),并将结果保存起来,然后会把chunk_size的数据进行压缩(可配置不压缩),并保存到对应的对象存储Bucket中,这就形成了Swift或S3存储中的一个object,循环下去直到把整个volume都保存到对象存储中,最后会生成两个文件,即元数据文件Metadata和哈希文件Sha256file,也存到对象存储中。其中,Metadata记录了这个云硬盘对应存储上哪些文件(或objects),每个文件(或object)的大小、压缩算法、长度、偏移量等;Sha256file按顺序记录了每次SHA计算的结果。备份时会将整个volume全部再次读取一遍,将每sha_block_size数据计算的SHA256值与上次备份SHA256值比较,如果相同则只保存计算结果,如果不同就会将对应的sha_block进行备份。
由此可知,每次增量备份虽然最终数据是只存入了增量数据,但是每次都需要将原来卷的数据按照chunk_size切割全部读取一遍来计算SHA256。这样一来整体备份性能就会堵塞在读取数据上面,并且卷越大读取时间越长,极大地造成了备份性能低下问题,同时也造成了客户网络资源的浪费。
发明内容
有鉴于此,本发明实施例提供了一种数据备份方法、装置、电子设备及系统,以解决备份性能低下的问题。
根据第一方面,本发明实施例提供了一种数据备份方法,包括:
获取备份属性信息,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度;
将所述备份属性信息发送给源数据端;
接收所述源数据端基于所述备份属性信息反馈的增量数据,以将所述增量数据写入目标对象存储。
本发明实施例提供的数据备份方法,将增量数据的确定过程放在存储端处理,对于本地而言仅需要对存储端反馈的增量数据进行处理,而不需要处理全部的数据,大大提高了数据读取速度;且增量数据的确定与增量数据的处理是并行处理的,优化了整个读取性能,提高了增量备份性能。
结合第一方面,在第一方面第一实施方式中,所述接收所述源数据端反馈的所述增量数据,以将所述增量数据写入目标对象存储,包括:
获取备份元数据;
对所述增量数据进行处理,以得到目标备份数据;
基于所述目标备份数据对所述备份元数据进行更新,得到更新后的备份元数据;
将所述目标备份数据以及所述更新后的备份元数据写入所述目标对象存储。
本发明实施例提供的数据备份方法,利用块存储到对象存储的方式对数据进行备份,可以实现云存储,提高了数据备份的性能。
结合第一方面第一实施方式,在第一方面第二实施方式中,所述对所述增量数据进行处理,以得到目标备份数据,包括:
基于备份端的配置对所述增量数据进行处理,确定目标增量数据;
计算所述增量数据对应的哈希值,确定备份哈希值;
基于所述目标增量数据以及所述备份哈希值,确定所述目标备份数据。
本发明实施例提供的数据备份方法,依据备份端的配置将增量数据处理为目标增量数据,可以保证所得到的目标增量数据能够满足备份端的需求。
结合第一方面,在第一方面第三实施方式中,所述获取备份属性信息,包括:
接收所述源数据端发送的所述第二快照标识,所述第二快照标识是所述源数据端在对数据备份时生成的;
从备份元数据中读取所述第一快照标识以及所述数据长度,以确定所述备份属性信息。
本发明实施例提供的数据备份方法,将快照标识存储在备份元数据中,可以避免由于数据库损坏而造成无法进行备份和恢复操作,提高了数据备份的可靠性。
根据第二方面,本发明实施例还提供了一种数据备份方法,包括:
接收服务端发送的备份属性信息,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度;
基于所述第一快照标识以及第二快照标识,确定所述第一快照标识以及第二快照标识之间是否存在数据差异;
当存在数据差异时,基于所述数据长度从源数据提取相应长度的数据,确定所述增量数据;
将所述增量数据反馈给所述服务端,以使得所述服务端将所述增量数据写入目标对象存储。
本发明实施例提供的数据备份方法,将增量数据的确定过程放在存储端处理,使得增量数据的处理与增量数据的确定是并行处理的,优化了整个读取性能,提高了增量备份性能。
根据第三方面,本发明实施例还提供了一种数据备份装置,包括:
获取模块,用于获取备份属性信息,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度;
发送模块,用于将所述备份属性信息发送给源数据端;
存储模块,用于接收所述源数据端基于所述备份属性信息反馈的增量数据,以将所述增量数据写入目标对象存储。
本发明实施例提供的数据备份装置,将增量数据的确定过程放在存储端处理,对于本地而言仅需要对存储端反馈的增量数据进行处理,而不需要处理全部的数据,大大提高了数据读取速度;且数据读取与增量数据的确定是并行处理的,又花了整个读取性能,提高了增量备份性能。
根据第四方面,本发明实施例还提供了一种数据备份装置,包括:
接收模块,用于接收服务端发送的备份属性信息,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度;
差异确定模块,用于基于所述第一快照标识以及第二快照标识,确定所述第一快照标识以及第二快照标识之间是否存在数据差异;
提取模块,用于当存在数据差异时,基于所述数据长度从源数据提取相应长度的数据,确定所述增量数据;
反馈模块,用于将所述增量数据反馈给所述服务端,以使得所述服务端将所述增量数据写入目标对象存储。
本发明实施例提供的数据备份装置,将增量数据的确定过程放在存储端处理,且数据读取与增量数据的确定是并行处理的,优化了整个读取性能,提高了增量备份性能。
根据第五方面,本发明实施例还提供了一种电子设备,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行本发明第一方面,或第一方面任意实施方式,或第二方面所述的数据备份方法。
根据第六方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行本发明第一方面,或第一方面任意实施方式,或第二方面所述的数据备份方法。
根据第七方面,本发明实施例还提供了一种数据存储系统,包括:
服务端以及源数据端,所述服务端与所述源数据端连接;
所述服务端用于,获取备份属性信息,将备份属性信息发送给源数据端,接收所述源数据端基于所述备份属性信息反馈的所述增量数据,以将所述增量数据写入目标对象存储;其中,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度。
本发明实施例提供的数据备份系统,将增量数据的确定过程放在存储端进行处理,使得增量数据的处理与增量数据的确定是并行处理的,提高了备份速率,提高了增量备份性能。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例中数据备份系统的结构图;
图2是根据本发明实施例的数据备份方法的流程图;
图3是根据本发明实施例的数据备份方法的流程图;
图4是根据本发明实施例的数据备份方法的流程图;
图5是根据本发明实施例的数据备份方法的流程图;
图6是根据本发明实施例的数据备份方法的示意图;
图7是根据本发明实施例的数据备份装置的结构框图;
图8是根据本发明实施例的数据备份装置的结构框图;
图9是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种数据备份系统,如图1所示,包括源数据端10以及服务端20。其中,源数据端10用于存储原始数据,例如,存储卷等等;服务端20上运行有云服务,例如OpenStack,用于将数据备份至备份端30。备份端30用于对存储备份数据,其可以是另一个存储卷等等。在此对源数据端10、服务端20以及备份端30的具体形式并不做任何限定,具体可以根据实际需求进行相应的设置。
具体地,当需要进行数据备份时,源数据端10生成当前备份的第一快照标识,并将第一备份标识发送给服务端20;服务端20确定出备份属性信息,包括上一次备份的第二快照标识以及数据长度,并将备份属性信息发送给源数据端10。源数据端10基于第一快照标识以及第二快照标识确定增量数据,并将增量数据反馈给服务端20,服务端20对增量数据写入目标对象存储,即写入备份端。
本实施例提供的数据备份系统,将增量数据的确定过程放在存储端进行处理,使得增量数据的处理与增量数据的确定是并行处理的,提高了备份速率,提高了增量备份性能。同时,该系统还用于在云场景下提高云硬盘增量备份性能。
本发明实施例提供的数据备份方法是通过块存储的快照技术识别两次备份之间的增量数据,并将增量数据返回给服务端的备份程序进行备份。备份程序备份增量数据,优化了原先的必须读取整个卷来逐个比对SHA256信息的流程。在该方法中引入了存储端快照技术,极大优化了整个读取性能,从而提高了增量备份性能。
根据本发明实施例,提供了一种数据备份方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种数据备份方法,可用于上述的服务端,图2是根据本发明实施例的数据备份方法的流程图,如图2所示,该流程包括如下步骤:
S11,获取备份属性信息。
其中,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度。
服务端每接收到一次备份的快照标识时,将该快照标识进行存储。因此,在需要进行数据备份时,服务端就可以直接提取出上一次备份的第一快照标识。可选地,服务端可以将接收到的快照标识存储在备份元数据,即metadata中。
当前备份的第二快照标识是存储端生成发送给服务端的,数据长度可以是预先确定的,也可以是根据实际需求设置的,在此对其具体数值并不做任何限定。
S12,将备份属性信息发送给源数据端。
服务端获取到备份属性信息之后,将其发送给源数据端,以使得源数据端基于备份属性信息反馈增量数据。其中,增量数据表示当前备份与上一次备份的差异或新增数据。
关于源数据端确定增量数据的具体处理,请参见下文存储端实施例的相关描述。
S13,接收源数据端基于备份属性信息反馈的增量数据,以将增量数据写入目标对象存储。
源数据端确定出增量数据之后,将增量数据反馈给源数据端。相应地,服务端就能够接收到源数据端反馈的增量数据。服务端对增量数据进行处理后,将其写入到目标对象存储中。其中,对增量数据的处理包括但不限于指纹处理、增量数据的重新组合、压缩等等。具体可以根据实际需求进行相应的设置,在此对其并不做任何限定。
所述的指纹处理,可以是计算增量数据的哈希值,例如基于SHA256计算,也可以是基于其他方式进行计算等等。进一步地,由于源数据端反馈的增量数据是字节形式表示的,需要对其进行重新组合以符合对象存储的需求。
关于该步骤具体将在下文中进行详细描述。
本实施例提供的数据备份方法,将增量数据的确定过程放在存储端处理,对于本地而言仅需要对存储端反馈的增量数据进行处理,而不需要处理全部的数据,大大提高了数据读取速度;且增量数据的确定与增量数据的处理是并行处理的,优化了整个读取性能,提高了增量备份性能。
在本实施例中提供了一种数据备份方法,可用于上述的服务端,图3是根据本发明实施例的数据备份方法的流程图,如图3所示,该流程包括如下步骤:
S21,获取备份属性信息。
其中,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度。
具体地,上述S21包括:
S211,接收源数据端发送的第二快照标识。
其中,所述第二快照标识是源数据端在对数据备份时生成的。
在需要进行数据备份时,源数据端对待备份数据进行快照处理,生成第二快照标识,并将第二快照标识发送给服务端。服务端接收到第二快照标识之后,会对其进行存储,以便于下一次备份时提取出该快照标识。具体地,服务端依据第二快照标识对应的时间点的先后,对接收到的第二快照标识进行依次存储,以便于确定相邻两次备份所对应的第二快照标识。
S212,从备份元数据中读取第一快照标识以及所述数据长度,以确定备份属性信息。
如上文所述,服务端会对接收到的第二快照标识进行存储。例如,时间点1,服务端接收到源数据端发送的第二快照标识,服务端基于所述的数据备份方法进行数据备份处理,那么,该第二快照标识就可以认为是已经处理过的快照标识,即上一次备份的快照标识,又称之为第一快照标识。
具体地,在备份元数据中存储有所接收到的所有快照标识,该快照标识称之为第一快照标识。当服务端接收到第二快照标识之后,表示此时需要进行数据备份,那么,服务端从备份元数据中提取出上一次备份的第一快照标识以及数据长度。其中,所述的数据长度表示当前备份对应的数据长度,对于每次备份而言,可以约定对应的数据长度相同。
服务端将第二快照标识、第一快照标识以及数据长度作为备份属性信息,通过函数传参的方式发送给源数据端。
S22,将备份属性信息发送给源数据端。
详细请参见图2所示实施例的S12,在此不再赘述。
S23,接收源数据端基于备份属性信息反馈的增量数据,以将增量数据写入目标对象存储。
具体地,上述S23包括:
S231,获取备份元数据。
备份元数据metadata用于存储目标备份数据,所述目标备份数据包括对应于增量数据的两种内容形式,一种为增量数据的指纹,另一种为增量数据的内容。
S232,对增量数据进行处理,以得到目标备份数据。
对应于上述增量数据的两种形式,服务端需要分别对增量数据进行相应的处理,以得到目标备份数据。
在本实施例的一些可选实施方式中,上述S232可以包括:
(1)基于备份端的配置对增量数据进行处理,确定目标增量数据。
备份端与目标对象存储对应,服务端依据备份端的配置需求对增量数据进行重新组合整理,确定出目标增量数据。即,以备份端的存储需求对增量数据进行处理。
(2)计算增量数据对应的哈希值,确定备份哈希值。
哈希值的计算所采用的算法可以根据实际需求进行设置,例如,SHA256等等,在此对其并不做任何限定,具体可以根据实际情况进行设置。服务端在对增量数据计算哈希值之后,即可确定出增量数据对应的备份哈希值。
(3)基于目标增量数据以及备份哈希值,确定目标备份数据。
服务端将增量数据对应的目标增量数据以及备份哈希值确定为目标备份数据。
依据备份端的配置将增量数据处理为目标增量数据,可以保证所得到的目标增量数据能够满足备份端的需求。
S233,基于目标备份数据对备份元数据进行更新,得到更新后的备份元数据。
服务端将目标备份数据对应的大小、压缩算法、长度、偏移量等存储在备份元数据中,以对备份元数据进行更新。
S234,将目标备份数据以及更新后的备份元数据写入目标对象存储。
服务端通过调用swift或S3 driver将目标备份数据以及更新后的备份元数据写入目标对象存储中。其中,目标对象存储包括但不限于swift对象存储、S3对象存储、gluster存储,nfs存储。
本实施例提供的数据备份方法,将快照标识存储在备份元数据中,可以避免由于数据库损坏而造成无法进行备份和恢复操作,提高了数据备份的可靠性。利用块存储到对象存储的方式对数据进行备份,可以实现云存储,提高了数据备份的性能。
在本实施例中提供了一种数据备份方法,可用于上述的存储端,图4是根据本发明实施例的数据备份方法的流程图,如图4所示,该流程包括如下步骤:
S31,接收服务端发送的备份属性信息。
其中,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度。
关于备份属性信息的具体描述,请参见上文所述。该步骤与图2所示实施例的S12对应。
S32,基于第一快照标识以及第二快照标识,确定第一快照标识以及第二快照标识之间是否存在数据差异。
源数据端在生成快照之后,每一个快照都有一个指针记录了变化了的数据逻辑地址,就可以确定两个快照标识之间是否存在数据差异。
当存在数据差异时,执行S33;否则,表示两次快照标识之间不存在数据差异,则执行其它操作。所述的其它操作可以是返回空,或者返回预设字符等等。
S33,基于数据长度从源数据提取相应长度的数据,确定增量数据。
源数据端通过比较快照之间有差异的地方,读取有差异的数据逻辑地址的数据就可以返回增量数据。具体地,源数据端基于数据长度,从对应的源数据中提取出相应长度的数据,就可以确定出增量数据。进一步地,在返回增量数据的同时还反馈增量数据对应的数据偏移量。
S34,将增量数据反馈给服务端,以使得服务端将增量数据写入目标对象存储。
源数据端将增量数据反馈给服务端,以使得服务端在接收到增量数据之后,将其写入到对象存储中。该步骤与上述图2所示实施例的S13,或者,与上述图3所示实施例的23对应,在此不再赘述。
本实施例提供的数据备份方法,将增量数据的确定过程放在存储端处理,使得增量数据的处理与增量数据的确定是并行处理的,优化了整个读取性能,提高了增量备份性能。
本发明实施例还提供一种数据备份方法,应用于图1所示的数据备份系统中。如图5所示,所述的数据备份方法,包括:
S41,服务端获取备份属性信息,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度。详细请参见图2所示实施例的S11,在此不再赘述。
S42,服务端将所述备份属性信息发送给源数据端。详细请参见图2所示实施例的S12,在此不再赘述。
S43,源数据端基于所述第一快照标识以及第二快照标识,确定所述第一快照标识以及第二快照标识之间是否存在数据差异。详细请参见图4所示实施例的S32,在此不再赘述。
S44,当存在数据差异时,源数据端基于所述数据长度从源数据从提取相应长度的数据,确定所述增量数据。详细请参见图4所示实施例的S33,在此不再赘述。
S45,源数据端将所述增量数据反馈给所述服务端。详细请参见图4所示实施例的S34,在此不再赘述。
S46,服务端将所述增量数据写入目标对象存储。详细请参见图3所示实施例的S23,在此不再赘述。
在本实施例的一个具体实施方式中,如图6所示,服务端运行有OpenStack备份程序,利用源数据端存储可识别快照的增量数据的能力,在源数据端改造返回OpenStack备份程序想要的数据。同时,对OpenStack备份程序进行改进,将每次备份时都调用volumedriver进行源数据端打快照,同时将快照标识(snapshot_id)存入Metadata文件中。下次增量备份时取出上次备份Metadata文件中snapshot_id,将两个snapshot_id传给源数据端,由源数据端按照数据长度(chunk_size)的大小返回增量数据给OpenStack备份程序,该备份程序再进行备份操作,这样可极大地提高整体备份速度。
具体地,结合图6所示,源数据端在需要进行备份时,生成备份快照snapshot_id将其发送给服务端,服务端调用Manager.py函数获取该备份快照标识,即当前备份的第二快照标识。服务端利用chunkeddriver.py函数调用volume driver增量备份,读取上一次备份的metadata中的第一快照标识,并将第一快照标识、第二快照标识以及数据长度发送给源数据端;源数据端判断两个快照之间的差异数据,在存在差异时,按照数据长度切割LUN,返回有差异的data offset和data。服务端调用chunkeddriver.py重新生成此次备份的增量SHA256file、metadata以及data。最后,服务端利用chunkeddriver.py调用swift或S3driver写入目标对象存储中。
本实施例提供的数据备份方法,通过改造OpenStack备份程序,并结合源数据端识别差异数据的能力进行增量备份,在云场景下提高云硬盘增量备份的性能。
在本实施例中还提供了一种数据备份装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种数据备份装置,应用于服务端,如图7所示,包括:
获取模块51,用于获取备份属性信息,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度;
发送模块52,用于将所述备份属性信息发送给源数据端;
存储模块53,用于接收所述源数据端基于所述备份属性信息反馈的增量数据,以将所述增量数据写入目标对象存储。
本实施例还提供了一种数据备份装置,应用于源数据端,如图8所示,包括:
接收模块61,用于接收服务端发送的备份属性信息,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度;
差异确定模块62,用于基于所述第一快照标识以及第二快照标识,确定所述第一快照标识以及第二快照标识之间是否存在数据差异;
提取模块63,用于当存在数据差异时,基于所述数据长度从源数据从提取相应长度的数据,确定所述增量数据;
反馈模块64,用于将所述增量数据反馈给所述服务端,以使得所述服务端将所述增量数据写入目标对象存储。
上述本实施例提供的数据备份装置,将增量数据的确定过程放在存储端处理,对于本地而言仅需要对存储端反馈的增量数据进行处理,而不需要处理全部的数据,大大提高了数据读取速度;且数据读取与增量数据的确定是并行处理的,又花了整个读取性能,提高了增量备份性能。
本实施例中的数据备份装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本发明实施例还提供一种电子设备,具有上述图7或图8所示的数据备份装置。
请参阅图9,图9是本发明可选实施例提供的一种电子设备的结构示意图,如图9所示,该电子设备可以包括:至少一个处理器71,例如CPU(Central Processing Unit,中央处理器),至少一个通信接口73,存储器74,至少一个通信总线72。其中,通信总线72用于实现这些组件之间的连接通信。其中,通信接口73可以包括显示屏(Display)、键盘(Keyboard),可选通信接口73还可以包括标准的有线接口、无线接口。存储器74可以是高速RAM存储器(Random Access Memory,易挥发性随机存取存储器),也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器74可选的还可以是至少一个位于远离前述处理器71的存储装置。其中处理器71可以结合图7或图8所描述的装置,存储器74中存储应用程序,且处理器71调用存储器74中存储的程序代码,以用于执行上述任一方法步骤。
其中,通信总线72可以是外设部件互连标准(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture,简称EISA)总线等。通信总线72可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器74可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard diskdrive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器74还可以包括上述种类的存储器的组合。
其中,处理器71可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
其中,处理器71还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic arraylogic,缩写:GAL)或其任意组合。
可选地,存储器74还用于存储程序指令。处理器71可以调用程序指令,实现如本申请任一实施例中所示的数据备份方法。
本发明实施例还提供了一种非暂态计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的数据备份方法。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random Access Memory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种数据备份方法,其特征在于,包括:
获取备份属性信息,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度;
将所述备份属性信息发送给源数据端;
接收所述源数据端基于所述备份属性信息反馈的增量数据,以将所述增量数据写入目标对象存储。
2.根据权利要求1所述的方法,其特征在于,所述接收所述源数据端反馈的所述增量数据,以将所述增量数据写入目标对象存储,包括:
获取备份元数据;
对所述增量数据进行处理,以得到目标备份数据;
基于所述目标备份数据对所述备份元数据进行更新,得到更新后的备份元数据;
将所述目标备份数据以及所述更新后的备份元数据写入所述目标对象存储。
3.根据权利要求2所述的方法,其特征在于,所述对所述增量数据进行处理,以得到目标备份数据,包括:
基于备份端的配置对所述增量数据进行处理,确定目标增量数据;
计算所述增量数据对应的哈希值,确定备份哈希值;
基于所述目标增量数据以及所述备份哈希值,确定所述目标备份数据。
4.根据权利要求1所述的方法,其特征在于,所述获取备份属性信息,包括:
接收所述源数据端发送的所述第二快照标识,所述第二快照标识是所述源数据端在对数据备份时生成的;
从备份元数据中读取所述第一快照标识以及所述数据长度,以确定所述备份属性信息。
5.一种数据备份方法,其特征在于,包括:
接收服务端发送的备份属性信息,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度;
基于所述第一快照标识以及第二快照标识,确定所述第一快照标识以及第二快照标识之间是否存在数据差异;
当存在数据差异时,基于所述数据长度从源数据提取相应长度的数据,确定所述增量数据;
将所述增量数据反馈给所述服务端,以使得所述服务端将所述增量数据写入目标对象存储。
6.一种数据备份装置,其特征在于,包括:
获取模块,用于获取备份属性信息,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度;
发送模块,用于将所述备份属性信息发送给源数据端;
存储模块,用于接收所述源数据端基于所述备份属性信息反馈的增量数据,以将所述增量数据写入目标对象存储。
7.一种数据备份装置,其特征在于,包括:
接收模块,用于接收服务端发送的备份属性信息,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度;
差异确定模块,用于基于所述第一快照标识以及第二快照标识,确定所述第一快照标识以及第二快照标识之间是否存在数据差异;
提取模块,用于当存在数据差异时,基于所述数据长度从源数据提取相应长度的数据,确定所述增量数据;
反馈模块,用于将所述增量数据反馈给所述服务端,以使得所述服务端将所述增量数据写入目标对象存储。
8.一种电子设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-4中任一项,或权利要求5所述的数据备份方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使计算机执行权利要求1-4中任一项,或权利要求5所述的数据备份方法。
10.一种数据存储系统,其特征在于,包括:
服务端以及源数据端,所述服务端与所述源数据端连接;
所述服务端用于,获取备份属性信息,将备份属性信息发送给源数据端,接收所述源数据端基于所述备份属性信息反馈的所述增量数据,以将所述增量数据写入目标对象存储;其中,所述备份属性信息包括上一次备份的第一快照标识、当前备份的第二快照标识以及数据长度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111130640.0A CN114020522A (zh) | 2021-09-26 | 2021-09-26 | 数据备份方法、装置、电子设备及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111130640.0A CN114020522A (zh) | 2021-09-26 | 2021-09-26 | 数据备份方法、装置、电子设备及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114020522A true CN114020522A (zh) | 2022-02-08 |
Family
ID=80054948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111130640.0A Pending CN114020522A (zh) | 2021-09-26 | 2021-09-26 | 数据备份方法、装置、电子设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114020522A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115577017A (zh) * | 2022-11-21 | 2023-01-06 | 四川蜀天信息技术有限公司 | 一种基于序列化和反序列化检索数据的方法 |
CN115623016A (zh) * | 2022-09-20 | 2023-01-17 | 浪潮云信息技术股份公司 | 一种基于云存储技术的备份断点续传实现方法及系统 |
-
2021
- 2021-09-26 CN CN202111130640.0A patent/CN114020522A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115623016A (zh) * | 2022-09-20 | 2023-01-17 | 浪潮云信息技术股份公司 | 一种基于云存储技术的备份断点续传实现方法及系统 |
CN115577017A (zh) * | 2022-11-21 | 2023-01-06 | 四川蜀天信息技术有限公司 | 一种基于序列化和反序列化检索数据的方法 |
CN115577017B (zh) * | 2022-11-21 | 2023-02-28 | 四川蜀天信息技术有限公司 | 一种基于序列化和反序列化检索数据的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109597717B (zh) | 一种数据备份、恢复方法、装置、电子设备及存储介质 | |
CN107229420B (zh) | 数据存储方法、读取方法、删除方法和数据操作系统 | |
EP3896564A1 (en) | Data processing method and device, and computer readable storage medium | |
CN114020522A (zh) | 数据备份方法、装置、电子设备及系统 | |
CN110998537B (zh) | 一种过期备份处理方法及备份服务器 | |
CN111125033B (zh) | 一种基于全闪存阵列的空间回收方法及系统 | |
US20190227710A1 (en) | Incremental data restoration method and apparatus | |
US11409766B2 (en) | Container reclamation using probabilistic data structures | |
CN110019873B (zh) | 人脸数据处理方法、装置及设备 | |
CN113296709B (zh) | 用于去重的方法和设备 | |
US10585604B2 (en) | Tool for selectively deploying inline compression | |
US11093453B1 (en) | System and method for asynchronous cleaning of data objects on cloud partition in a file system with deduplication | |
CN112463026A (zh) | 分布式对象存储系统中追加数据的重复删除的方法和设备 | |
CN112632008A (zh) | 一种数据分片的传输方法、装置及计算机设备 | |
EP3432168B1 (en) | Metadata separated container format | |
EP3396554A1 (en) | Backup control method and backup control device | |
CN113055455A (zh) | 文件上传方法及设备 | |
CN110019056B (zh) | 用于云层的容器元数据分离 | |
CN113535482B (zh) | 云备份链数据备份方法及装置、设备、可读介质 | |
CN115470186A (zh) | 一种数据切片方法、装置和系统 | |
CN109614370B (zh) | 磁盘文件扫描方法、装置、计算机设备及存储介质 | |
CN114064361A (zh) | 备份相关操作中执行的写数据方法和备份网关系统 | |
CN111625186B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN112688905A (zh) | 数据传输方法、装置、客户端、服务器及存储介质 | |
CN114138552B (zh) | 数据动态重删方法、系统、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |