CN103488550A - 数据保护的处理方法和装置 - Google Patents
数据保护的处理方法和装置 Download PDFInfo
- Publication number
- CN103488550A CN103488550A CN201310465478.7A CN201310465478A CN103488550A CN 103488550 A CN103488550 A CN 103488550A CN 201310465478 A CN201310465478 A CN 201310465478A CN 103488550 A CN103488550 A CN 103488550A
- Authority
- CN
- China
- Prior art keywords
- data
- newly
- increased data
- increased
- backup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种数据保护的处理方法和装置,该方法包括:在当前同步周期的起始时刻,第一装置向第二装置发送所述第一装置在所述起始时刻之前存储在本装置内的第一数据,并开始依次获得各个新增数据;第一装置复制各个新增数据,获得各个新增数据对应的各个备份的新增数据;第一装置将各个新增数据存储至本装置内,并将各个新增数据对应的各个备份的新增数据发送至第三装置,以使第二装置根据第三装置内的各个备份的新增数据和第二装置接收的第一数据,对第一装置进行数据保护。通过该方法和装置,可以提高数据保护的可靠性,保障数据零丢失。
Description
技术领域
本发明实施例涉及数据存储领域,尤其涉及一种数据保护的处理方法和装置。
背景技术
随着对数据保护的意识越来越强烈,数据安全性越来越受到重视,为了保障的数据的安全性,通常会向一个第一系统配置容灾系统,该第一系统具体可以包括一级存储(primary storage),用于存储第一系统所需的数据,而容灾系统中的容灾存储(disaster recovery storage)用于备份一级存储中的数据,则当第一系统故障后,可通过容灾系统备份的数据,使由于第一系统故障所致的数据丢失而引起的灾难风险降至最低。
通常来说,应用第一系统的站点和应用容灾系统的站点在物理上距离比较远,为了避免对I/O(input/output,输入输出)请求的响应的延迟较高,因此通常使用异步远程复制技术来实现数据备份。图1为现有技术中数据保护的处理方法的场景示意图。如图1所示,第一系统至少包括生产服务器11、交换机12和一级存储13;容灾系统中至少包括容灾服务器21、交换机22和容灾存储23;其中,生产服务器11通过第一系统中的交换机12执行步骤S1:生产服务器11向第一系统中的一级存储13下发I/O请求(具体为写I/O),该写I/O请求包括存储命令和待存储数据;随后一级存储执行步骤S2:一级存储13向生产服务器11响应存储完成;最后一级存储执行步骤S3:一级存储13对容灾存储23进行远程数据复制,使容灾存储23获得了一级存储13已存储的数据,即实现容灾存储23和一级存储13的数据同步,则容灾系统可以对第一系统中的数据起到保护作用。
在现有技术中采用上述方案进行数据保护时发现,由于一级存储在向容灾存储备份数据(即一级存储和容灾存储进行数据同步)是周期进行的,即一级存储和容灾存储各自所存储的数据之间存在同步周期内的数据差异。因此在第一系统故障时,容灾系统不能提供完整有效的数据保护。
举例来说,第一系统中的一级存储和容灾系统中的容灾存储之间是每隔一个小时进行一次数据同步,即同步周期为1小时,假设8点开始进行数据同步,一级存储开始向容灾存储发送7点至8点之间一级存储写入的所有数据,与此同时,一级存储持续接受上层的生产服务器13的写I/O请求,因此持续存储新增数据;直至8点20分,一级存储与容灾存储完成数据同步;随后到9点一级存储再次向容灾存储发送8点至9点之间一级存储写入的新增数据;但若第一系统在8点40分出现故障,导致8点40分之前所存储数据丢失,而此时容灾存储内仅复制了8点之前的数据,而没有复制一级存储在8点至8点40分之间存储的数据,即使使用容灾存储恢复数据也无法恢复第一系统在8点至8点40这时间内的数据,也就是说,第一系统不能通过容灾系统实现数据零丢失的完整恢复,必然导致第一系统出现数据丢失。
发明内容
本发明实施例提供一种用于数据保护的处理方法和装置,用于提高数据保护的可靠性,保障数据的零丢失。
第一方面,本发明实施例提供一种数据保护的处理方法,包括:
在当前同步周期的起始时刻,第一装置向第二装置发送所述第一装置在所述起始时刻之前存储在本装置内的第一数据,并开始依次获得各个新增数据;
所述第一装置复制所述各个新增数据,获得各个新增数据对应的各个备份的新增数据;
所述第一装置将所述各个新增数据存储至本装置内,并将各个新增数据对应的各个备份的新增数据发送至第三装置,以使所述第二装置根据第三装置内的所述各个备份的新增数据和所述第二装置接收的所述第一数据,对所述第一装置进行数据保护。
结合第一方面,第一实施方式中,所述将各个新增数据对应的各个备份新增数据发送至第三装置,包括:
所述第一装置将各个所述备份的新增数据处理为各个差异数据;各个所述差异数据包括所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,各个所述差异数据的各个所述时间戳对应于各个所述新增数据的获得时刻;
所述第一装置向所述第三装置发送各个所述差异数据。
结合第一方面的第一实施方式,第二实施方式中,第一装置向第二装置发送所述第一装置在所述起始时刻之前存储在本装置内的第一数据之后,在所述当前同步周期的结束时刻之前,所述处理方法还包括:
所述第一装置接收第二装置发送的数据存储完成响应;
所述第一装置向所述第三装置发送所述起始时刻对应的删除消息,以使所述第三装置将所述第三装置中位于所述起始时刻之前的时间戳所对应的数据删除。
第二方面,本发明实施例提供一种数据保护的处理方法,包括:
在当前同步周期的起始时刻,第三装置开始依次获得各个备份的新增数据;各个所述备份的新增数据是第一装置复制各个新增数据获得的;
所述第三装置存储各个所述备份的新增数据。
结合第二方面,第一实施方式中,所述第三装置开始依次获得各个备份的新增数据,包括:
所述第三装置接收各个差异数据,所述差异数据是所述第一装置将各个所述备份的新增数据进行处理得到的;各个所述差异数据包括所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,各个所述差异数据的各个所述时间戳对应于各个所述新增数据的获得时刻。
结合第二方面第一实施方式,第二实施方式中,在所述当前同步周期的起始时刻之后,所述处理方法还包括:
当所述第一装置故障,所述第三装置接收第二装置发送的数据保护请求;
所述第三装置根据已存储的各个所述差异数据所包括的所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,获得各个恢复数据;
所述第三装置将所述各个恢复数据发送至所述第二装置,以使第二装置对第一装置进行数据保护。
第三方面,本发明实施例提供一种数据保护的处理装置,包括:
处理模块,用于在当前同步周期的起始时刻,向第二装置发送第一装置在所述起始时刻之前存储在本装置内的第一数据,并开始依次获得各个新增数据;
复制模块,用于复制所述各个新增数据,获得各个新增数据对应的各个备份的新增数据;
所述处理模块还用于将所述各个新增数据存储至所述第一装置内,并将各个新增数据对应的各个备份的新增数据发送至第三装置,以使所述第二装置根据第三装置内的所述各个备份的新增数据和所述第二装置接收的所述第一数据,对所述第一装置进行数据保护。
结合第三方面,第一实施方式中,所述处理装置具体用于将各个所述备份的新增数据处理为各个差异数据;各个所述差异数据包括所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,各个所述差异数据的各个所述时间戳对应于各个所述新增数据的获得时刻;
所述处理装置还用于向所述第三装置发送各个所述差异数据。
结合第一方面第一实施方式,第二实施方式中,所述处理装置还用于接收第二装置发送的数据存储完成响应;
则所述处理装置用于向所述第三装置发送所述起始时刻对应的删除消息,以使所述第三装置将所述第三装置中位于所述起始时刻之前的时间戳所对应的数据删除。
第四方面,本发明实施例提供一种数据保护的处理装置,包括:
接收模块,用于在当前同步周期的起始时刻,开始依次获得各个备份的新增数据;各个所述备份的新增数据是第一装置复制各个新增数据获得的;
存储模块,用于存储各个所述备份的新增数据。
结合第四方面,第一实施方式中,所述接收模块具体用于接收各个差异数据,所述差异数据是所述第一装置将各个所述备份的新增数据进行处理得到的;各个所述差异数据包括所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,各个所述差异数据的各个所述时间戳对应于各个所述新增数据的获得时刻。
结合第四方面第一实施方式,第二实施方式中,当所述第一装置故障,所述接收模块还用于接收第二装置发送的数据保护请求;
则所述处理装置还包括处理模块和发送模块,所述处理模块用于根据已存储的各个所述差异数据所包括的所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,获得各个恢复数据;
所述发送模块用于将所述各个恢复数据发送至所述第二装置,以使第二装置对第一装置进行数据保护。
本发明实施例提供的数据保护的处理方法和装置,由于第一装置在与第二装置进行第一数据的同步时,同时也存储新增数据,且该新增数据对应的备份的新增数据也实时的存储至第三装置,则第二装置在对故障的第一装置进行数据恢复时,可以通过第三装置获得新增数据,则第二装置可以无损的对第一装置进行数据恢复,有效的对第一装置实现数据保护。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中数据保护的处理方法的场景示意图;
图2为本发明数据保护的处理方法实施例一的流程图;
图3为本发明数据保护的处理方法实施例二的流程图;
图4为本发明数据保护的处理方法实施例三的信令图;
图5本发明实施例三中第三装置的逻辑架构示意图;
图6为本发明数据保护的处理方法实施例四的信令图;
图7为本发明数据保护的处理装置实施例一的结构示意图;
图8为本发明数据保护的处理装置实施例二的结构示意图;
图9为本发明数据保护的处理装置实施例三的结构示意图;
图10为本发明数据保护的处理装置实施例四的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图2为本发明数据保护的处理方法实施例一的流程图。如图2所示,实施本实施例的主体为第一装置,该第一装置可采用软件和/或硬件的方式实现,具有收发数据、处理数据及存储数据的功能,优选的,该第一装置可以设置在一个系统中的一个设备中,该设备可以存储该系统运作时生成的或所需的数据,具体的,该方法包括:
S101、在当前同步周期的起始时刻,第一装置向第二装置发送所述第一装置在所述起始时刻之前存储在本装置内的第一数据,并开始依次获得各个新增数据。
为了保障第一装置存储的数据的安全性,通常第一装置会周期性的与第二装置进行数据同步,使得第二装置获得第一装置已存储的数据后,当第一装置故障丢失数据后,第二装置可使用之前通过数据同步获得的数据使第一装置实现数据恢复;该第二装置也可可采用软件和/或硬件的方式实现,具有收发数据、处理数据及存储数据的功能,优选的,该第二装置可以设置在容灾系统中的一个设备中,该设备可以用于对第一装置实现数据保护。
通常第一装置中所存储的数据较多,如果频繁的与第二装置进行同步,会使第一装置和第二装置之间的通信通道的数据负担过重,因此,第一装置和第二装置之间的数据同步是周期性的进行;例如周期长度为1小时,则在8点时为当前周期的起始时刻,则第一装置和第二装置之间开始进行数据同步,即第一装置将当前周期的起始时刻,即8点之前存储在本装置内的第一数据发送至第二装置;由于数据的发送需要一定的时间,而第一装置还需要正常工作,则第一装置在与第二装置进行数据同步的过程中,仍然依次获得各个新增数据,该新增数据可以理解为第一装置由8点开始陆续获得的数据;例如,第一装置位于一个生产站点内,该生产站点内的生产服务器不断的向第一装置发送I/O命令,以使第一装置持续存储新接收到的数据,这些在8点以后接收到的数据,相对于8点以前所存储的第一数据,可理解为新增数据。
S102、第一装置复制各个新增数据,获得各个新增数据对应的各个备份的新增数据。
第一装置每获得一个新增数据,在将该新增数据存储至本装置内之前,即第一装置执行S103之前,需要将各个新增数据进行复制,获得各个新增数据对应的各个备份的新增数据,例如第一装置得到了一个新增数据A,将该新增数据进行复制,得到备份的新增数据A1,该备份的新增数据A1与上述新增数据A所包括的具体信息是完全一样的。
S103、第一装置将所述各个新增数据存储至本装置内,并将各个新增数据对应的各个备份的新增数据发送至第三装置。
第一装置在执行S101时,第二装置所同步的数据是当前同步周期的起始时刻之前第一装置已存储的数据,而第二装置在进行数据同步的过程中,第一装置获得了新增数据,也就是说,即使第二装置在当前同步周期的周期内完成了数据同步,此时第二装置所存储的数据也仅仅为当前同步周期的起始时刻之前第一装置已存储的数据,没有当前同步周期的起始时刻之后第一装置存储的新增数据,因此,为了避免在当前同步周期的周期内第一装置发生故障,第二装置由于缺少当前同步周期的周期内第一装置所存储的新增数据,以致第二装置无法实现完整的数据恢复,不能有效的对第一装置实施数据保护,因此,第一装置通过S103,将在当前同步周期的周期内写入的新增数据,实时的存储至第三装置,即第三装置存储了各个新增数据对应的各个备份的新增数据,则当第一装置故障后,第二装置可以根据第三装置内的各个备份的新增数据和第二装置接收的第一数据,对所述第一装置进行数据保护,以实现完整的数据恢复。
本实施例中,第一装置在与第二装置进行第一数据的同步时,同时也存储新增数据,且该新增数据对应的备份的新增数据也实时的存储至第三装置,则第二装置在对故障的第一装置进行数据恢复时,可以通过第三装置获得新增数据,则第二装置可以对第一装置进行数据零丢失的数据恢复,有效的对第一装置实现数据保护。
图3为本发明数据保护的处理方法实施例二的流程图。如图3所示,实施本实施例的执行主体为第三装置,该第三装置可采用软件和/或硬件的方式实现,具有收发数据、处理数据及存储数据的功能,该第三装置可以与前述第一装置设置在同一个系统中的一个设备中,可以同时关联多个第一装置,实现对多个第一装置的数据保护。也可以设置在其他设备中;该第三装置还可以是前述第一装置内的一个功能模块,具体的,该方法包括:
S201、在当前同步周期的起始时刻,第三装置开始依次获得各个备份的新增数据。
各个备份的新增数据是第一装置复制各个新增数据获得的,即第一装置在存储各个新增数据的同时,将各个新增数据进行复制,得到各个新增数据对应的备份的新增数据,并将该备份的新增数据发送给第三装置,具体可参考图2所示的实施例一。
S202、第三装置存储各个备份的新增数据。
第三装置存储的各个备份的新增数据,可用于与第二装置接收的第一数据相配合,以实现对第一装置的数据保护。
本实施例中,第一装置存储新增数据时,第三装置同时实时的存储了与新增数据对应的备份的新增数据,则第二装置通过第三装置存储的备份的新增数据,可以无损的对第一装置进行数据恢复,不会出现数据丢失,有效的对第一装置实现数据保护。
图4为本发明数据保护的处理方法实施例三的信令图。如图4所示,本实施例是在图2和图3所示的实施例的基础上,进一步的描述数据保护的处理方法,为便于描述,在本实施例中的第一装置可以为前述第一系统中的一级存储,第二装置可以为前述容灾存储,该一级存储与容灾存储仅为示例,并不以此为限制,该方法具体包括:
S301、第一装置向第二装置发送第一装置在当前同步周期的起始时刻之前存储在本装置内的第一数据。
该S301发生在在当前同步周期的起始时刻,第一装置在执行S301的同时,接收到了生产服务器下发的I/O命令,该I/O命令指示第一装置存储该I/O命令对应的新增数据。
可补充的,第一装置在执行S301时,具体可以在向第二装置发送第一数据之前,向第二装置发送数据同步请求,当第二装置返回响应后,第一装置便将在上述起始时刻之前存储在本装置内的数据,即将第一数据,由于该第一数据的数据量较大,因此第一装置是将该第一数据分成每一小份数据,依次发送至第二装置,直至将最后一小份数据发送完成;该第二装置存储每一小份数据时,与第一装置的存储方式和数据格式保持一致。
S302、第一装置复制各个新增数据,获得各个新增数据对应的各个备份的新增数据。
需要说明的是,第一数据的数据量较大,所以第一装置在执行S301的过程中,第一装置陆续接受到了多个I/O命令,各I/O命令指示第一装置存储各该I/O命令对应的新增数据,则针对每一个I/O命令,第一装置按照S302处理。
S303、第一装置向第三装置发送各个差异数据。
也就是说,第三装置接收各个差异数据。需要说明的是,第一数据的数据量较大,所以第一装置在执行S301的过程中,第一装置陆续接受到了多个I/O命令,各I/O命令指示第一装置存储各该I/O命令对应的新增数据,则针对每一个I/O命令,第一装置重复执行S302和S303。
进一步的,第一装置在执行S302时,第一装置将各个备份的新增数据处理为各个差异数据;也就是说,第三装置接收的差异数据是第一装置将各个备份的新增数据进行处理得到的;各个差异数据包括前述新增数据、时间戳和第一装置存储新增数据所使用的存储地址,各个差异数据的各个时间戳对应于各个新增数据的获得时刻,即第一装置接收到新增数据的时刻。以前述一级存储和容灾存储的应用场景为例,则各个时间戳可以与I/O命令的接收时刻相对应。另外,第一装置和第三装置可以采用装置间的异步复制。进一步的,上述差异数据的结构可以采用表1所示的结构:
表1
上述表1所示的结构用于举例说明,但本实施例不以此为限制,其中I/O命令对应的数据内容下LBA(Logical Block Address,逻辑区块地址)的开始地址和该LBA的结束地址所表示的地址范围,作为上述第一装置存储新增数据所使用的存储地址,而前述时间戳可以具体为表1中I/O命令对应的时间戳,而I/O命令对应的数据内容即为第一装置需要存储的新增数据(等同于第二装置所存储的备份的新增数据),且第一装置是将采用上述结构的一个差异数据作为一个整体I/O数据发送给第三装置。
S304、第三装置存储各个差异数据。
差异数据被第三装置直接存储。由于各个差异数据是通过第一装置将备份的新增数据进行处理得到的,则第三装置存储了各个差异数据,也可以理解为第三装置存储了各个备份的新增数据。
该第三装置可以应用在任意平台上,以X86(一个指令集架构家族,最早由英特尔在Intel8086CPU上开发出来)平台为例,由多个硬盘组成的硬件盒子,硬盘可以是SSD(Solid State Disk,固态硬盘),SAS(Serial AttachedSCSI,串行连接SCSI(Small Computer System Interface,小型计算机系统接口)),SATA(Serial ATA,串口硬盘)。当第三装置接收了第一装置发送的各个差异数据后,采用队列形式进行存储。具体的,图5本发明实施例三中第三装置的逻辑架构示意图。如图5所示,该第三装置包括控制器、驱动及存储池,该存储池可以采用下述表2所示的队列形式:
表2
其中N为正整数,可根据存储需要进行设置。当第三装置接收了第一装置发送的各个差异数据后,采用队列形式在存储池中进行存储;具体的,第三装置按照各个差异数据的时间戳的先后顺序,依次将各个差异数据进行存储,例如第一差异数据的时间戳对应第一时刻,而第二差异数据的时间戳对应第二时刻,第一时刻早于第二时刻,则将第一差异数据存储在记录队列中的第一位,将第二差异数据存储在队列中的第二位,且在存储差异数据时,保持数据格式不变,即第三装置接收到的差异数据的结构如同表1,则存储在队列中的差异数据仍然为表1所示的结构。
S305、第一装置接收第二装置发送的数据存储完成响应。
需要说明的是,在当前同步周期内,本实施例中随着新增数据的陆续到来,S302至S304是重复被执行的,在与此同时,第二装置会完成第一数据的接收,则第二装置会向第一装置发送数据存储完成响应,用于通知第一装置,第二装置已存储了第一装置在当前同步周期的起始时刻之前存储在第一装置内的全部数据,即第一数据。
S306、第一装置向所述第三装置发送当前同步周期的起始时刻对应的删除消息。
该当前同步周期为一个相对概念,举例来说,当前同步周期的起始时刻为8点,而在当前同步周期之前的同步周期的起始时刻为7点,则可以理解的,在7点至8点的时间段内,为了完成第一装置的数据保护,前述S301至S305同样被执行,则7至8点的时间段是作为当前同步周期的,随着时间的推移,在8点时第一装置与第二装置再次进行数据同步,则此时8点至9点的时间段是作为新的当前周期。由此可知,在上一个同步周期内,第三装置时正常运行的,则时间在进入了当前同步周期内时,第三装置中仍然存储当前同步周期的起始时刻之前,第一装置发送的差异数据;但此时第二装置已经获得了当前同步周期的起始时刻之前第一装置存储的数据,为了不使第三装置造成存储冗余,影响第三装置的存储速度,则第一装置通过发送当前同步周期的起始时刻对应的删除消息,使第三装置删除当前同步周期的起始时刻之前的差异数据。
S307、第三装置进行数据删除。
第三装置根据存储的各个差异数据的时间戳,与当前同步周期的起始时刻比较,确定时间戳所对应的时刻早于当前同步周期的起始时刻的差异数据,并删除该差异数据。
可以理解的,随着I/O命令的不断下发,本实施例中的S302至S304持续被执行,直至下一个同步周期起始时刻的到来;当下一个同步周期起始时刻的到来时,该下一个同步周期作为新的当前同步周期,对应的,在上述当前同步周期内第一装置存储的全部新增数据作为新的第一数据,则上述S301至S307再次被执行。
本实施例中,第一装置在与第二装置进行第一数据的同步时,同时也存储新增数据,且该新增数据对应的备份的新增数据也实时的存储至第三装置,则第二装置在对故障的第一装置进行数据恢复时,可以通过第三装置获得新增数据,则第二装置可以无损的对第一装置进行数据恢复,有效的对第一装置实现数据保护。
图6为本发明数据保护的处理方法实施例四的信令图。如图6所示,本实施例是在图4所示的实施例的基础上,进一步进行所述处理方法的描述,该处理方法还包括:
S401、第三装置接收第二装置发送的数据保护请求。
该S401是在前述第一装置故障时发生,即该S401的发生时刻可能与前述图4所示的实施例三中任意一个步骤的发生时刻相同;具体来说,第一装置在8点40分发生故障,8点40分之前所存储的所有数据,则第二装置需要对8点40分之前的所有数据进行恢复,则执行S401。
S402、第三装置进行数据整合。
第三装置根据已存储的各个所述差异数据所包括的所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,对各个所述差异数据进行整合,获得各个恢复数据。
举例来说,差异数据采用表1所示的结构,第三装置根据各个差异数据的时间戳,和差异数据关联的LBA起始结束地址,依次确定第一至第三差异数据,其中第一差异数据的LBA的地址范围为(0000~0004),第二差异数据的LBA的地址范围为(0005~0014),第三差异数据的LBA的地址范围为(0003~0007),上述三个差异数据在LBA地址范围上有重叠关系,属于同一个LBA的地址范围(0000~0014),则将三个差异数据整合为一份恢复数据。
S403、第三装置向第二装置发送恢复数据。
S404、第二装置对恢复数据进行解析并存储。
上述恢复数据是根据差异数据整合而成,因此该恢复数据与第一装置中存储的新增数据的结构是不同的,因此第二装置需要对各个恢复数据进行解析,获得可直接使用的数据,即获得与前述第一数据的数据结构相同的数据,并进行存储;具体的,第二装置依据第三装置发送来的各个恢复数据中的数据内容,时间戳,存储地址来更新第二装置中已存储的数据,随后便可以对第一装置进行数据恢复;以上述示例说明,第一装置在8点40分故障,而第二装置在8点20完成数据同步,但此时第二装置中仅存储了8点之前的第一数据,没有8点至8点40的数据,但第二装置通过与第三装置的交互,即执行上述S401至S404,获得了8点至8点40时间段内第一装置存储的全部数据,从而可以对第一装置进行数据无损的数据恢复,对第一装置起到了有效的数据保护。
也可以理解的,若第一装置在8点15分故障,此时第二装置还没有完成数据同步,但此时第三装置没有接收到删除消息,则第三装置中还存储有上一个同步周期内第一装置存储的全部数据,即8点至8点15分第一装置存储的数据,则第二装置仍然可以通过与第三装置的交互,对第一装置进行数据恢复。
另外,当第一装置没有发生故障,则本实施例的各个步骤是不需要执行的。
本实施例中,由于设置了第三装置,第一装置和第二装置之间的数据同步可以继续周期性的进行,不需进行实时性的数据同步以保障有效的数据保护,便于优化现有的数据保护的处理方法。
图7为本发明数据保护的处理装置实施例一的结构示意图。如图7所示,本实施例的处理装置为前述的第一装置,该处理装置包括:
处理模块51,用于在当前同步周期的起始时刻,向第二装置发送第一装置在所述起始时刻之前存储在本装置内的第一数据,并开始依次获得各个新增数据;
复制模块52,用于复制所述各个新增数据,获得各个新增数据对应的各个备份的新增数据;
所述处理模块51还用于将所述各个新增数据存储至所述第一装置内,并将各个新增数据对应的各个备份的新增数据发送至第三装置,以使所述第二装置根据第三装置内的所述各个备份的新增数据和所述第二装置接收的所述第一数据,对所述第一装置进行数据保护。
进一步的,处理装置51具体用于将各个所述备份的新增数据处理为各个差异数据;各个所述差异数据包括所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,各个所述差异数据的各个所述时间戳对应于各个所述新增数据的获得时刻;该处理装置51还用于向所述第三装置发送各个所述差异数据。
进一步的,所述处理装置51还用于接收第二装置发送的数据存储完成响应;
则所述处理装置51用于向所述第三装置发送所述起始时刻对应的删除消息,以使所述第三装置将所述第三装置中位于所述起始时刻之前的时间戳所对应的数据删除。
本实施例中,第一装置在与第二装置进行第一数据的同步时,同时也存储新增数据,且该新增数据对应的备份的新增数据也实时的存储至第三装置,则第二装置在对故障的第一装置进行数据恢复时,可以通过第三装置获得新增数据,则第二装置可以无损的对第一装置进行零丢失数据恢复,有效的对第一装置实现数据保护。
图8为本发明数据保护的处理装置实施例二的结构示意图。如图8所示,该处理装置为前述第三装置,具体的,该处理装置包括:
接收模块61,用于在当前同步周期的起始时刻,开始依次获得各个备份的新增数据;各个所述备份的新增数据是所述第一装置复制所述各个新增数据获得的;
存储模块62,用于存储各个所述备份的新增数据。
进一步的,所述接收模块61具体用于接收各个差异数据,所述差异数据是所述第一装置将各个所述备份的新增数据进行处理得到的;各个所述差异数据包括所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,各个所述差异数据的各个所述时间戳对应于各个所述新增数据的获得时刻。
所述接收模块61还用于接收第二装置发送的数据保护请求;
则所述处理装置还包括处理模块63和发送模块64,所述处理模块63用于根据已存储的各个所述差异数据所包括的所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,获得各个恢复数据;
所述发送模块64用于将所述各个恢复数据发送至所述第二装置,以使第二装置对第一装置进行数据保护。
本实施例中,第一装置存储新增数据时,第三装置同时实时的存储了与新增数据对应的备份的新增数据,则第二装置通过第三装置存储的备份的新增数据,可以无损的对第一装置进行数据恢复,不会出现数据丢失,有效的对第一装置实现数据保护。
图9为本发明数据保护的处理装置实施例三的结构示意图。如图9所示,本实施例的处理装置为前述的第一装置,该处理装置包括:
发送器71和接收器72,所述发送器71用于在当前同步周期的起始时刻,向第二装置发送第一装置在所述起始时刻之前存储在本装置内的第一数据,且所述接收器72,用于开始依次获得各个新增数据;
处理器73,用于复制所述各个新增数据,获得各个新增数据对应的各个备份的新增数据;
所述处理器73还用于将所述各个新增数据存储至所述第一装置内,并将各个新增数据对应的各个备份的新增数据发送至第三装置,以使所述第二装置根据第三装置内的所述各个备份的新增数据和所述第二装置接收的所述第一数据,对所述第一装置进行数据保护。
进一步的,处理器73具体用于将各个所述备份的新增数据处理为各个差异数据;各个所述差异数据包括所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,各个所述差异数据的各个所述时间戳对应于各个所述新增数据的获得时刻;则处理器73还用于控制所述发送器71,向所述第三装置发送各个所述差异数据。
进一步的,所述处理器73还用于控制接收器72,接收第二装置发送的数据存储完成响应;
则处理器73还用于控制发送器71,向所述第三装置发送所述起始时刻对应的删除消息,以使所述第三装置将所述第三装置中位于所述起始时刻之前的时间戳所对应的数据删除。
本实施例中,第一装置在与第二装置进行第一数据的同步时,同时也存储新增数据,且该新增数据对应的备份的新增数据也实时的存储至第三装置,则第二装置在对故障的第一装置进行数据恢复时,可以通过第三装置获得新增数据,则第二装置可以无损的对第一装置进行零丢失数据恢复,有效的对第一装置实现数据保护。
图10为本发明数据保护的处理装置实施例四的结构示意图。如图10所示,该处理装置为前述第三装置,具体的,该处理装置包括:
接收器81,用于在当前同步周期的起始时刻,开始依次获得各个备份的新增数据;各个所述备份的新增数据是所述第一装置复制所述各个新增数据获得的;
处理器82,用于存储各个所述备份的新增数据。
进一步的,所述接收器81具体用于接收各个差异数据,所述差异数据是所述第一装置将各个所述备份的新增数据进行处理得到的;各个所述差异数据包括所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,各个所述差异数据的各个所述时间戳对应于各个所述新增数据的获得时刻。
所述接收器81还用于接收第二装置发送的数据保护请求;
所述处理器81还用于根据已存储的各个所述差异数据所包括的所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,获得各个恢复数据;
所述处理装置还包括发送器83,用于将所述各个恢复数据发送至所述第二装置,以使第二装置对第一装置进行数据保护。
本实施例中,第一装置存储新增数据时,第三装置同时实时的存储了与新增数据对应的备份的新增数据,则第二装置通过第三装置存储的备份的新增数据,可以无损的对第一装置进行数据恢复,不会出现数据丢失,有效的对第一装置实现数据保护。
需要说明的是,上述各个装置实施例中的各个装置,对应地用于执行前述各个方法实施例中的各个步骤,在此不再赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种数据保护的处理方法,其特征在于,包括:
在当前同步周期的起始时刻,第一装置向第二装置发送所述第一装置在所述起始时刻之前存储在本装置内的第一数据,并开始依次获得各个新增数据;
所述第一装置复制所述各个新增数据,获得各个新增数据对应的各个备份的新增数据;
所述第一装置将所述各个新增数据存储至本装置内,并将各个新增数据对应的各个备份的新增数据发送至第三装置,以使所述第二装置根据第三装置内的所述各个备份的新增数据和所述第二装置接收的所述第一数据,对所述第一装置进行数据保护。
2.根据权利要求1所述的处理方法,其特征在于,所述将各个新增数据对应的各个备份新增数据发送至第三装置,包括:
所述第一装置将各个所述备份的新增数据处理为各个差异数据;各个所述差异数据包括所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,各个所述差异数据的各个所述时间戳对应于各个所述新增数据的获得时刻;
所述第一装置向所述第三装置发送各个所述差异数据。
3.根据权利要求2所述的处理方法,其特征在于,第一装置向第二装置发送所述第一装置在所述起始时刻之前存储在本装置内的第一数据之后,在所述当前同步周期的结束时刻之前,所述处理方法还包括:
所述第一装置接收第二装置发送的数据存储完成响应;
所述第一装置向所述第三装置发送所述起始时刻对应的删除消息,以使所述第三装置将所述第三装置中位于所述起始时刻之前的时间戳所对应的数据删除。
4.一种数据保护的处理方法,其特征在于,包括:
在当前同步周期的起始时刻,第三装置开始依次获得各个备份的新增数据;各个所述备份的新增数据是第一装置复制各个新增数据获得的;
所述第三装置存储各个所述备份的新增数据。
5.根据权利要求4中所述的处理方法,其特征在于,所述第三装置开始依次获得各个备份的新增数据,包括:
所述第三装置接收各个差异数据,所述差异数据是所述第一装置将各个所述备份的新增数据进行处理得到的;各个所述差异数据包括所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,各个所述差异数据的各个所述时间戳对应于各个所述新增数据的获得时刻。
6.根据权利要求5中所述的处理方法,其特征在于,在所述当前同步周期的起始时刻之后,所述处理方法还包括:
当所述第一装置故障,所述第三装置接收第二装置发送的数据保护请求;
所述第三装置根据已存储的各个所述差异数据所包括的所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,获得各个恢复数据;
所述第三装置将所述各个恢复数据发送至所述第二装置,以使第二装置对第一装置进行数据保护。
7.一种数据保护的处理装置,其特征在于,包括:
处理模块,用于在当前同步周期的起始时刻,向第二装置发送第一装置在所述起始时刻之前存储在本装置内的第一数据,并开始依次获得各个新增数据;
复制模块,用于复制所述各个新增数据,获得各个新增数据对应的各个备份的新增数据;
所述处理模块还用于将所述各个新增数据存储至所述第一装置内,并将各个新增数据对应的各个备份的新增数据发送至第三装置,以使所述第二装置根据第三装置内的所述各个备份的新增数据和所述第二装置接收的所述第一数据,对所述第一装置进行数据保护。
8.根据权利要求7所述的处理装置,其特征在于,所述处理装置具体用于将各个所述备份的新增数据处理为各个差异数据;各个所述差异数据包括所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,各个所述差异数据的各个所述时间戳对应于各个所述新增数据的获得时刻;
所述处理装置还用于向所述第三装置发送各个所述差异数据。
9.根据权利要求8所述的处理装置,其特征在于,所述处理装置还用于接收第二装置发送的数据存储完成响应;
则所述处理装置用于向所述第三装置发送所述起始时刻对应的删除消息,以使所述第三装置将所述第三装置中位于所述起始时刻之前的时间戳所对应的数据删除。
10.一种数据保护的处理装置,其特征在于,包括:
接收模块,用于在当前同步周期的起始时刻,开始依次获得各个备份的新增数据;各个所述备份的新增数据是第一装置复制各个新增数据获得的;
存储模块,用于存储各个所述备份的新增数据。
11.根据权利要求10中所述的处理装置,其特征在于,所述接收模块具体用于接收各个差异数据,所述差异数据是所述第一装置将各个所述备份的新增数据进行处理得到的;各个所述差异数据包括所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,各个所述差异数据的各个所述时间戳对应于各个所述新增数据的获得时刻。
12.根据权利要求11中所述的处理装置,其特征在于,当所述第一装置故障,所述接收模块还用于接收第二装置发送的数据保护请求;
则所述处理装置还包括处理模块和发送模块,所述处理模块用于根据已存储的各个所述差异数据所包括的所述新增数据、时间戳和所述第一装置存储所述新增数据所使用的存储地址,获得各个恢复数据;
所述发送模块用于将所述各个恢复数据发送至所述第二装置,以使第二装置对第一装置进行数据保护。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310465478.7A CN103488550A (zh) | 2013-09-30 | 2013-09-30 | 数据保护的处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310465478.7A CN103488550A (zh) | 2013-09-30 | 2013-09-30 | 数据保护的处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103488550A true CN103488550A (zh) | 2014-01-01 |
Family
ID=49828804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310465478.7A Pending CN103488550A (zh) | 2013-09-30 | 2013-09-30 | 数据保护的处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103488550A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550367A (zh) * | 2015-06-30 | 2016-05-04 | 巫立斌 | 一种存储器异步远程复制方法 |
CN110287153A (zh) * | 2019-06-29 | 2019-09-27 | 潍柴动力股份有限公司 | 一种a2l标定量地址范围冲突的检测方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102508741A (zh) * | 2011-10-31 | 2012-06-20 | 北京联创信安科技有限公司 | 一种跨磁盘磁带的集成数据保护装置方法和装置 |
US8255731B1 (en) * | 2011-06-03 | 2012-08-28 | Apple Inc. | Methods and apparatus for power state based backup |
CN103049353A (zh) * | 2012-12-21 | 2013-04-17 | 华为技术有限公司 | 一种数据备份方法及相关装置 |
-
2013
- 2013-09-30 CN CN201310465478.7A patent/CN103488550A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8255731B1 (en) * | 2011-06-03 | 2012-08-28 | Apple Inc. | Methods and apparatus for power state based backup |
CN102508741A (zh) * | 2011-10-31 | 2012-06-20 | 北京联创信安科技有限公司 | 一种跨磁盘磁带的集成数据保护装置方法和装置 |
CN103049353A (zh) * | 2012-12-21 | 2013-04-17 | 华为技术有限公司 | 一种数据备份方法及相关装置 |
Non-Patent Citations (2)
Title |
---|
国林: "基于层次模型的数据容灾技术研究", 《CNKI博士学位论文全文库》 * |
国林: "基于层次模型的数据容灾技术研究", 《CNKI博士学位论文全文库》, 31 May 2012 (2012-05-31), pages 16 - 30 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105550367A (zh) * | 2015-06-30 | 2016-05-04 | 巫立斌 | 一种存储器异步远程复制方法 |
CN110287153A (zh) * | 2019-06-29 | 2019-09-27 | 潍柴动力股份有限公司 | 一种a2l标定量地址范围冲突的检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100369005C (zh) | 执行拷贝操作的方法和系统 | |
US9600553B1 (en) | Distributed replication in cluster environments | |
CN101840362B (zh) | 一种改进的写时拷贝快照的实现方法和装置 | |
US5615329A (en) | Remote data duplexing | |
EP3179359B1 (en) | Data sending method, data receiving method, and storage device | |
US7966463B2 (en) | Asynchronous remote copy system and control method for the same | |
CN103780638B (zh) | 数据同步方法及系统 | |
US10678663B1 (en) | Synchronizing storage devices outside of disabled write windows | |
US9251230B2 (en) | Exchanging locations of an out of synchronization indicator and a change recording indicator via pointers | |
CN106407356A (zh) | 一种数据备份方法及装置 | |
CN103617096A (zh) | 一种存储数据的复制方法、设备及系统 | |
JP2007183930A (ja) | 異なるコピー技術を用いてデータをミラーリングするときの整合性の維持 | |
JP2007310701A (ja) | データベースシステム、ストレージ装置、初期コピー方法及びログ適用方法 | |
US20190317872A1 (en) | Database cluster architecture based on dual port solid state disk | |
US9998537B1 (en) | Host-side tracking of data block changes for incremental backup | |
CN102073556A (zh) | 虚拟机的热备份和恢复方法、设备及系统 | |
CN106815095A (zh) | 一种云平台环境下虚拟机数据保护方法 | |
CN103970834A (zh) | 一种异构数据库同步系统中增量数据同步故障的恢复方法 | |
KR20100063739A (ko) | 정센터의 가상 테이프 장치, 부센터의 가상 테이프 장치, 가상 라이브러리 시스템 및 가상 테이프 제어 방법 | |
CN101937378B (zh) | 一种对存储设备的数据进行备份保护的方法及计算机系统 | |
US20080109621A1 (en) | Suspension of Asynchronous Remote Copying System | |
US9015433B2 (en) | Resiliency with a destination volume in a replication environment | |
CN103488550A (zh) | 数据保护的处理方法和装置 | |
CN104391760B (zh) | 一种数据备份的方法、服务器和系统 | |
CN103843309A (zh) | 数据同步方法和数据同步系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140101 |