CN103838646B - 一种用于地面应用大数据异地容灾备份的系统和方法 - Google Patents
一种用于地面应用大数据异地容灾备份的系统和方法 Download PDFInfo
- Publication number
- CN103838646B CN103838646B CN201410050264.8A CN201410050264A CN103838646B CN 103838646 B CN103838646 B CN 103838646B CN 201410050264 A CN201410050264 A CN 201410050264A CN 103838646 B CN103838646 B CN 103838646B
- Authority
- CN
- China
- Prior art keywords
- data
- disaster
- center end
- application
- disaster preparation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明公开了一种用于地面应用大数据异地容灾备份的系统和方法,该系统中,部署在数据生产中心端的业务应用服务器用于正常情况下运行业务应用;部署在灾备中心端的业务应用服务器用于在发生灾难时接管并运行数据生产中心的核心业务;灾备管理应用服务器,用于在发生灾难时,将数据生产中心的核心业务切换至灾备中心,并在灾难恢复后回切至数据生产中心;部署在数据生产中心端的存储系统用于存储所生产的所有数据;部署在灾备中心端的存储系统用于存储需要做容灾备份的所有数据,以及灾难发生时业务切换后灾备中心新接收和处理的数据;持续数据保护应用装置,用于实时地将写入待保护区域的数据发送至对端存储系统中实现持续的数据备份保护。
Description
技术领域
本发明属于容灾备份领域,具体涉及一种适用于地面应用系统的、在逻辑上将业务容灾和数据容灾相分离的容灾备份系统和方法。
背景技术
目前,随着电子计算机技术及网络通信技术的日益广泛应用,以及不同领域的业务种类的日益丰富,研究与建立数据中心异地容灾备份的系统及方法变得越来越重要,它可以为用户业务系统提供风险预防机制和灾难恢复措施,在确保数据安全的基础上提高业务连续运行能力,降低运营风险,将业务损失降低到可接受的程度,从而提高数据中心的服务质量和水平。
现有的用于数据中心容灾备份的系统和方法在某些方面并不适用于地面应用系统中的应用,主要体现在以下几个方面:1)地面应用系统从数据接收、有效载荷运行监控、数据处理到数据存档的整个应用流程中,环节众多、算法复杂、计算量巨大,如果灾备中心配备与数据中心同等的业务功能,并达到与数据中心同等的计算与处理能力则造价太高;2)地面应用系统接收、处理和存储的月球探测数据都是非结构化的,单个数据文件比较大,传统的适合结构化数据的事务性实时处理的灾备系统不适合地面应用系统的业务应用,灾备发生后保证业务系统的实时不间断运行十分困难,代价昂贵;3)在保障业务不间断运行的前提下,地面应用系统需要的不仅仅是传统意义上的数据冗余备份,而是一种持续数据保护方案。
因此,需要研究一种系统和方法针对地面应用系统的实际情况解决上述的几个需求,在保障业务的实时连续同时兼顾数据的备份与持续保护。
发明内容
有鉴于此,本发明提出了一种基于持续数据保护技术实现实时业务和大数据异地容灾备份的系统和方法,以较好地满足地面系统的应用需求。
本发明提出的一种用于地面应用大数据异地容灾备份的系统,其由数据生产中心和灾备中心两个部分组成,所述两个部分分别都包括业务应用服务器、灾备管理应用服务器、存储设备和持续数据保护应用装置;其中:
业务应用服务器,部署在数据生产中心端的业务应用服务器用于正常情况下运行业务应用;部署在灾备中心端的业务应用服务器用于在发生灾难时接管并运行数据生产中心的核心业务;
灾备管理应用服务器,用于在发生灾难时,将数据生产中心的核心业务切换至灾备中心,并在灾难恢复后回切至数据生产中心;
存储设备,部署在数据生产中心端的存储系统用于存储所生产的所有数据;部署在灾备中心端的存储系统用于存储需要做容灾备份的所有数据,以及灾难发生时业务切换后灾备中心新接收和处理的数据;
持续数据保护应用装置,用于实时地将写入待保护区域的数据发送至对端存储系统中实现持续的数据备份保护。
本发明还提出了一种用于地面应用大数据异地容灾备份的方法,该方法包括步骤:
数据生产中心端的业务应用系统执行业务流程,并将核心应用所生产数据写入工作区文件系统A中,并同时同步到灾备中心端的同步区文件系统A’中,其中数据的同步通过底层的存储系统和持续数据保护应用装置来实现;
数据生产中心端的存储系统在接收到写操作后,将写入受保护LUN中的数据分成两份,一份写入存储系统中的生产卷,另一份分写入日志卷并发送给数据生产中心端的持续数据保护应用装置;
数据生产中心端的持续数据保护应用装置在接收到数据后,返回确认信号,并将接收到的数据进行压缩打包、消除冗余数据块、对写操作进行排序、并与它们对应的时间戳和标签信息存储在一起,进行MD5校验,随后通过IP网络发送给所述的灾备中心端的持续数据保护应用装置;
灾备中心端的持续数据保护应用装置对接收到的数据包进行检验,并将其解压写入到灾备中心端存储系统的日志卷中,并把数据按照严格的写入顺序写入到目标副本卷;
发生灾难后,运行于灾备中心的灾备管理应用服务器将系统从数据生产中心切换到灾备中心,其检查系统的配置和参数,启用业务应用服务器运行核心业务;并检查灾备中心端业务应用的同步区文件系统A’内所包含的数据文件,根据同步到灾备中心端的数据库中的记录内容,验证数据是否已经同步以及已同步的数据文件是否完整;随后,将同步区内包含的、对端已经接收但未及时处理的数据,与工作区内新接收的数据进行合并存档,同时修改已同步数据库中对应的记录;
灾备中心端的存储系统存储新接收生产的数据并将写入受保护LUN中的数据分成两份,一份写入存储系统中的生产卷,另一份分写入日志卷;
灾难恢复后,运行于数据生产中心的灾备管理应用将系统从灾备中心切换到数据生产中心,其检查系统的配置和参数,启用业务应用服务器运行整个业务;并检查数据生产中心端业务应用的同步区文件系统A内所包含的数据文件,根据同步到数据生产中心端的数据库中的记录内容,验证数据是否已经同步以及已同步的数据文件是否完整;随后,将同步区内包含的、对端已经接收但未及时处理的数据,与工作区内新接收的数据进行合并存档,同时修改已同步数据库中对应的记录;灾备管理应用服务器将灾难发生期间,灾备中心新接收处理的数据进行统一备份;
灾备中心端的持续数据保护应用装置根据数据块的时间标签,从存储系统中将灾难发生期间灾备中心接收处理的新数据同步回数据生产中心的存储系统。
本发明提出的上述方案实现了业务容灾和数据容灾的有效分离,有效地解决了地面应用系统关键业务的容灾快速接管以及大数据的异地容灾备份。整个容灾系统实现了业务容灾和数据容灾的分离。
附图说明
图1示出了本发明提出的适用于地面应用大数据异地容灾备份系统的组成结构示意图;
图2示出了本发明中从数据中心切换到灾备中心的具体业务处理流程图;
图3示出了本发明中灾备中心切换至数据中心的具体业务处理流程图;
图4示出了本发明中底层数据同步的具体处理流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
图1为本发明提出的适用于地面应用大数据异地容灾备份系统的组成结构示意图。如图1所示,系统分为数据生产中心和灾备中心两个部分,这两个中心部署的系统部件组成一致,分别都由业务应用服务器、灾备管理应用服务器、存储设备和持续数据保护应用装置等四个系统部件组成。两端对应的组成部件在功能和性能上存在差异,在不同的阶段,在各自端侧执行不同的功能和流程。
(1)业务应用服务器,部署在数据生产中心端的业务应用服务器用于正常生产时完成数据的接收、监视显示、处理、归档、管理和发布等业务;部署在灾备中心端的业务应用服务器为最小业务应用系统,包括数据的接收、监视显示、遥科学处理和归档等关键业务,用于在发生灾难时接管数据生产中心最关键的核心业务,保障核心业务的不间断持续运行。
(2)灾备管理应用服务器,用于在发生灾难时,将最关键的核心业务切换至灾备中心,由灾备中心的最小业务应用系统接管关键核心业务,以及在灾难恢复后回切至数据生产中心,使数据生产中心端的业务应用系统恢复生产。
(3)存储设备,是系统底层的存储设备,部署在数据生产中心端的存储系统用于存储所生产的所有数据文件和数据库内容;部署在灾备中心端的存储系统用于存储需要做容灾备份的所有数据文件和数据库内容,以及灾难发生时业务切换后灾备中心新接收和处理的数据。
(4)持续数据保护应用装置,分别部署在数据生产中心端和灾备中心端,用于实时地将写入待保护区域的数据发送至对端存储系统中实现持续的数据备份保护。两地的容灾系统的四个部件协同工作,实现了业务容灾和数据容灾的有效分离,有效地解决了地面应用系统关键业务的容灾快速接管以及大数据的异地容灾备份。
数据生产中心的业务应用服务器是一台整合业务服务器,分为运行管理、数据接收、遥科学应用、数据预处理、数据管理和信息发布等六个分区,每个分区服务器上都部署着各自的业务应用软件。灾备中心的业务应用服务器是数据生产中心的最小业务运行系统,只包括运行管理、数据接收、遥科学应用和数据管理等四个最核心的业务应用。灾备管理应用服务器上面部署着灾备管理应用软件,协调数据中心与灾备中心之间业务应用服务器的快速切换,保持业务系统的连续性。部署在数据中心的灾备管理应用服务器上主要包括灾备切换、数据检查、数据合并和数据备份等几个主要功能模块,部署在灾备中心的灾备管理应用服务器上主要包括灾备切换、数据检查和数据合并等几个主要功能模块。存储设备构建在SAN架构之上,主要包括磁盘阵列和光纤交换机等设备。磁盘阵列的控制器上配置有数据拆分(克隆)模块,磁盘空间划分为文件系统组成的卷和数据库体的日志卷,数据拆分(克隆)模块用于将写入受保护LUN中的数据分成两份,一份写入存储系统中的生产卷,另一份写入日志卷并发送给持续数据保护应用装置。其中,数据中心的卷为生产卷,灾备中心的卷为目标卷。持续数据保护应用装置主要包括RecoverPiont服务器(RPA),两端的RPA通过光纤交换机与本地IP网络互相连接,利用持续数据保护(CDP)和持续远程复制(CRR)实现从任一时间点的接近即时的数据恢复,实现运营恢复和灾难恢复。所述的持续数据保护应用装置用于将接收到的数据进行压缩打包、消除冗余数据块、对写操作进行排序、并与它们对应的时间戳和标签信息存储在一起,进行MD5校验,随后通过IP网络发送给所述的灾备中心端的持续数据保护应用装置;所述的灾备中心端的持续数据保护应用装置用于检验接收到的数据包,将其解压写入到灾备中心端的存储系统的日志卷中,并把数据按照严格的写入顺序写入到目标副本卷;所述的目标副本卷可以随时被主机识别并进行读写操作,使其得以更好的利用。所述数据中心的持续数据保护应用装置捕获并记录每一个写I/O的操作,当数据需要恢复时,用户可从时间点中选择,使应用程序能够基于以前的事务快速地从任一时间点恢复。同时可以选择由应用程序和系统自动生成的事件书签来恢复数据,从而确保恢复数据的正确性。因为事件书签记录了系统范围的事件(端口故障、系统错误等)与潜在的损坏事件的关联信息。在灾难恢复后,所述的灾备中心端的持续数据保护应用装置能够根据时间标签,将所述的灾备中心端的存储系统在灾难期间接收生产的新数据同步回所述的灾备中心端的存储系统。
本发明实现了业务容灾和数据容灾的分离,其中,业务容灾由两端各自的业务应用系统、灾备管理应用在文件系统层级之上实现,数据容灾由两端各自的存储系统和持续数据保护应用装置来实现,主要包括要保护的文件系统和数据库。针对要保护的最关键核心应用模块,设置了由文件系统A和文件系统B组成的双数据区。为区别起见,数据中心的称为文件系统A和文件系统B,灾备中心的称为A’和文件系统B’。数据中心的文件系统A用作工作区,而文件系统B用作同步区;灾备中心的文件系统B’用作工作区,而文件系统A’用作同步区。数据生产中心端的文件系统A用作对应的核心应用的工作区,文件系统B用于在灾难恢复后的回切时,作为同步区接收来自灾备中心工作区的同步数据,其他次要的、可不予保护的应用只设置单文件系统作为其工作区。在数据生产中心正常运行时,运行管理服务器将接收到的数据和数据清单写入工作区文件系统A中指定的位置并通知数据处理服务器,数据预处理服务器根据数据清单依次进行处理,数据管理服务器将处理好的数据进行存储,同时将数据信息记录到数据库中。写入工作区A中的数据以及数据库会实时同步到灾备中心端的同步区文件系统A’中,文件系统A和文件系统A’中的数据始终保持一致,文件系统B和文件系统B’则不写入任何数据,也无须同步。
当数据生产中心出现灾难故障时,灾备中心的灾备管理应用服务器启用。服务器主要包括灾备切换、数据检查和数据合并三个功能模块。
图2示出了本发明中从数据中心切换到灾备中心的具体业务处理流程图。如图2所示,该处理过程具体包括:
灾备中心的灾备切换模块设置系统切换信息,根据灾备中心的硬件环境信息调整业务应用服务器的运行环境参数,从而启动灾备中心端的业务应用服务器,保证业务运行的连续性,将新接收和生产的数据写入到灾备中心端的文件系统B’中指定的位置;
数据检查模块对同步到灾备中心的文件系统A’中数据的完整性进行检查,核对出那些仅存盘但尚未被处理同时未将文件信息记录到数据库中的数据;
数据合并模块将灾备中心的文件系统A’中被检查出未处理的数据合并到灾备中心的文件系统B’中,以便进行处理。
这样,既保证了业务系统的不间断性,同时支持了后续的数据处理,从而实现了业务的持续性和数据的完整性。
当数据生产中心恢复正常后,业务应用系统由业务应用服务器的灾备中心端切换到数据生产中心时,数据中心的灾备管理服务器启用,其主要负责协调系统的切换。数据中心的灾备管理服务器主要包括灾备切换、数据检查、数据合并和数据备份等主要功能模块。
图3示出了本发明中灾备中心切换至数据中心的具体业务处理流程图。如图3所示,该处理流程具体包括:
灾备切换模块调整业务应用服务器的运行环境参数,启用数据中心端的业务应用服务器,将实时接收和处理的数据写入文件系统A中,同时将灾备中心端文件系统B’的数据同步到数据生产中心的文件系统B中;
数据检查模块检查文件系统B中数据的完整性,发生灾难故障后,在灾备中心端新接收的数据会存放到灾备中心的文件系统B’中,这些数据会在数据生产中心恢复正常后同步到数据生产中心的文件系统B中;
数据合并将在灾备中心已同步到数据生产中心文件系统B中的数据合并到数据生产中心文件系统A中,并同步更新数据库中相关的文件信息。数据合并完成后,文件系统A中就包含了全部的业务数据,实现了业务的平滑衔接和对数据的统一管理;数据备份主要是将在灾难发生后灾备中心新接收的数据生成备份文件列表,提交给备份软件进行统一备份。
上述业务流程中涉及的数据同步是通过底层的存储设备和持续数据保护应用装置来实现的。
图4示出了本发明中底层数据同步的具体处理流程图。如图4所示,所述同步处理具体包括:
磁盘阵列上的写操作拆分模块截取数据生产中心的应用服务器进行写操作时的数据,在保证该写入操作继续正常写入数据生产中心磁盘阵列的同时,将该写入操作并行地复制到数据生产中心本地的持续数据保护设备上。
数据生产中心的持续数据保护应用装置设备在接收到上述数据之后返回写确认操作,然后持续数据保护应用装置对数据进行压缩打包,将FC协议转换成IP协议,并通过IP网络同步到灾备中心的持续数据保护设备;
灾备中心的持续数据保护应用装置对所接收到的同步数据进行数据验证和解包后写入灾备中心磁盘阵列上的日志卷。
灾备中心磁盘阵列按照严格的写入顺序把上述数据写入到相应的磁盘空间,形成副本卷,从而实现数据的一致性异地保存。
本发明还公开了一种用于地面应用大数据异地容灾备份的方法,该方法包括步骤:
数据生产中心端的业务应用系统执行业务流程,其最关键的核心应用将生产数据写入工作区文件系统A中,并同时同步到灾备中心端的同步区文件系统A’中,这种数据的同步通过底层的存储系统和持续数据保护应用装置来实现。
存储系统在接收到应用的写操作后,其写操作拆分模块将写入受保护LUN中的数据分成两份,一份写入存储系统中的生产卷,另一份分写入日志卷并发送给持续数据保护应用装置。
持续数据保护应用装置在接收到数据后,一方面返回确认信号,另一方面将接收到的数据进行压缩打包、消除冗余数据块、对写操作进行排序、并与它们对应的时间戳和标签信息存储在一起,进行MD5校验,随后通过IP网络发送给所述的灾备中心端的持续数据保护应用装置;
灾备中心端的持续数据保护应用装置对接收到的数据包进行检验,以确保数据在传输中未损坏,随后将其解压写入到灾备中心端存储系统的日志卷中,并把数据按照严格的写入顺序写入到目标副本卷;
发生灾难后,运行于数据生产中心的灾备管理应用启用,其灾备切换模块将系统从数据生产中心切换到灾备中心,检查系统的配置和参数,启用最小业务应用系统接管最关键的核心业务;数据检查模块对灾备中心端最小业务应用的同步区文件系统A’内所包含的数据文件进行检查,根据同步到灾备中心端的数据库中的记录内容,验证数据是否已经同步以及已同步的数据文件是否完整;随后,数据合并模块将同步区内包含的、对端已经接收但未及时处理的数据,与工作区内新接收的数据进行合并存档,同时修改已同步数据库中对应的记录;灾备中心接管后,最小业务应用系统执行将文件系统B’作为其工作区,执行最关键的核心业务。
灾备中心端的存储系统在切换后成为执行最关键业务的工作系统,其工作模式与数据生产中心正常运行时,数据生产中心端的存储系统相同,存储新接收生产的数据。不同之处在于,由于发生灾难后数据生产中心不可用,此时灾备中心端的持续数据保护应用装置并不向数据生产中心端的持续数据保护应用装置传送数据。
灾难恢复后,运行于灾备中心的灾备管理应用启用,并将系统从灾备中心切换到数据生产中心,整个切换模式与发生灾难时切换到灾备中心相同。不同之处在于,在数据同步回数据生产中心后,灾备管理应用的数据备份管理模块将会把灾难发生期间,灾备中心新接收处理的数据进行统一备份。
在底层,灾备中心端的持续数据保护应用装置根据数据块的时间标签,从存储系统中将灾难发生期间灾备中心接收处理的新数据同步回数据生产中心的存储系统,写入日志卷并按照严格的写入顺序写入到生产卷。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于地面应用大数据异地容灾备份的系统,其由数据生产中心端和灾备中心端两个部分组成,所述两个部分分别都包括业务应用服务器、灾备管理应用服务器、存储系统和持续数据保护应用装置;其中:
业务应用服务器,部署在数据生产中心端的业务应用服务器用于正常情况下运行业务应用,其执行业务流程,并将核心应用所生产数据写入工作区文件系统A中,并同时同步到灾备中心端的同步区文件系统A’中,其中数据的同步通过底层的存储系统和持续数据保护应用装置来实现;部署在灾备中心端的业务应用服务器用于在发生灾难时接管并运行数据生产中心端的核心业务;
灾备管理应用服务器,在发生灾难时,部署在数据生产中心端的灾备管理应用服务器将数据生产中心端的核心业务切换至灾备中心端,部署在灾备中心端的灾备管理应用服务器检查系统的配置和参数,启用部署在灾备中心端的业务应用服务器运行核心业务;并检查灾备中心端业务应用的同步区文件系统A’内所包含的数据文件,根据同步到灾备中心端的数据库中的记录内容,验证数据是否已经同步以及已同步的数据文件是否完整;随后,将同步区内包含的、对端已经接收但未及时处理的数据,与工作区内新接收的数据进行合并存档,同时修改已同步数据库中对应的记录;在灾难恢复后,部署在灾备中心端的灾备管理应用服务器将系统从灾备中心端切换到数据生产中心端,部署在数据生产中心端的灾备管理应用服务器检查系统的配置和参数,启用部署在数据生产中心端的业务应用服务器运行整个业务;并检查数据生产中心端业务应用的同步区文件系统A内所包含的数据文件,根据同步到数据生产中心端的数据库中的记录内容,验证数据是否已经同步以及已同步的数据文件是否完整;随后,将同步区内包含的、对端已经接收但未及时处理的数据,与工作区内新接收的数据进行合并存档,同时修改已同步数据库中对应的记录;部署在灾备中心端的灾备管理应用服务器将灾难发生期间,灾备中心端新接收处理的数据进行统一备份;
存储系统,部署在数据生产中心端的存储系统用于存储所生产的所有数据,其在接收到写操作后,将写入受保护LUN中的数据分成两份,一份写入存储系统中的生产卷,另一份分写入日志卷并发送给数据生产中心端的持续数据保护应用装置;部署在灾备中心端的存储系统用于存储需要做容灾备份的所有数据,以及灾难发生时业务切换后灾备中心端新接收和处理的数据;
持续数据保护应用装置,用于实时地将写入待保护区域的数据发送至对端存储系统中实现持续的数据备份保护;数据生产中心端的持续数据保护应用装置在接收到数据后,返回确认信号,并将接收到的数据进行压缩打包、消除冗余数据块、对写操作进行排序、并与它们对应的时间戳和标签信息存储在一起,进行MD5校验,随后通过IP网络发送给所述的灾备中心端的持续数据保护应用装置;灾备中心端的持续数据保护应用装置对接收到的数据包进行检验,并将其解压写入到灾备中心端存储系统的日志卷中,并把数据按照严格的写入顺序写入到目标副本卷。
2.根据权利要求1所述的用于地面应用大数据异地容灾备份的系统,其特征在于,所述的用于地面应用大数据异地容灾备份的系统将业务容灾和数据容灾进行了分离,其中,业务容灾由两端各自的业务应用服务器、灾备管理应用服务器实现,数据容灾由两端各自的存储系统和持续数据保护应用装置来实现。
3.根据权利要求1所述的用于地面应用大数据异地容灾备份的系统,其特征在于,所述的数据生产中心端的业务应用服务器实现适用于整个业务流程的完整功能,灾备中心端包括发生灾难时需要切换的核心应用功能。
4.根据权利要求1所述的用于地面应用大数据异地容灾备份的系统,其特征在于,所述的数据生产中心端还设置了由文件系统A和文件系统B组成的双数据区;其中,文件系统A用作对应的核心应用的工作区,文件系统B用于在灾难恢复后的回切时,作为同步区接收来自灾备中心端工作区的同步数据,而非核心应用只设置单文件系统作为其工作区。
5.根据权利要求1所述的用于地面应用大数据异地容灾备份的系统,其特征在于,所述的灾备中心端设置了文件系统A和文件系统B,其中,文件系统B用作灾备中心端对应的核心应用的工作区,而文件系统A则作为同步区,在数据生产中心端正常存储数据时实时接收来自对端工作区的同步数据。
6.根据权利要求1所述的用于地面应用大数据异地容灾备份的系统,其特征在于,所述灾备中心端的灾备管理应用服务器在将核心业务切换至灾备中心端时,对灾备中心端业务应用服务器的运行环境参数进行调整;所述数据生产中心端的灾备管理应用服务器在将核心业务切换回数据生产中心端时,对数据生产中心端业务应用服务器的运行环境参数进行调整。
7.根据权利要求1所述的用于地面应用大数据异地容灾备份的系统,其特征在于,所述的灾备管理应用服务器还用于在发生切换和回切后,检查数据文件是否已同步以及已同步的数据文件是否完整;并用于将同步区内包含的、对端已经接收但未及时处理的数据,与工作区内新接收的数据进行合并存档;所述的数据生产中心端的灾备管理应用服务器还用于在灾难恢复并回切至数据生产中心端后,对灾难期间所有新接收的数据进行备份。
8.根据权利要求1所述的用于地面应用大数据异地容灾备份的系统,其特征在于,所述数据生产中心端的持续数据保护应用装置用于将接收到的数据进行压缩打包、消除冗余数据块、对写操作进行排序、并与它们对应的时间戳和标签信息存储在一起,进行MD5校验,随后通过IP网络发送给所述的灾备中心端的持续数据保护应用装置;所述的灾备中心端的持续数据保护应用装置用于检验接收到的数据包,将其解压写入到灾备中心端的存储系统的日志卷中,并把数据按照严格的写入顺序写入到目标副本卷。
9.根据权利要求8所述的用于地面应用大数据异地容灾备份的系统,其特征在于,所述数据生产中心端的持续数据保护应用装置用于捕获并记录每一个写I/O的操作,可供数据恢复使用;
所述的灾备中心端的持续数据保护应用装置在灾难恢复后,根据时间标签,将所述的灾备中心端的存储系统在灾难期间接收生产的新数据同步回所述的数据生产中心端的存储系统。
10.一种用于地面应用大数据异地容灾备份的方法,该方法包括步骤:
数据生产中心端的业务应用系统执行业务流程,并将核心应用所生产数据写入工作区文件系统A中,并同时同步到灾备中心端的同步区文件系统A’中,其中数据的同步通过底层的存储系统和持续数据保护应用装置来实现;
数据生产中心端的存储系统在接收到写操作后,将写入受保护LUN中的数据分成两份,一份写入存储系统中的生产卷,另一份分写入日志卷并发送给数据生产中心端的持续数据保护应用装置;
数据生产中心端的持续数据保护应用装置在接收到数据后,返回确认信号,并将接收到的数据进行压缩打包、消除冗余数据块、对写操作进行排序、并与它们对应的时间戳和标签信息存储在一起,进行MD5校验,随后通过IP网络发送给所述的灾备中心端的持续数据保护应用装置;
灾备中心端的持续数据保护应用装置对接收到的数据包进行检验,并将其解压写入到灾备中心端存储系统的日志卷中,并把数据按照严格的写入顺序写入到目标副本卷;
发生灾难后,运行于灾备中心端的灾备管理应用服务器将系统从数据生产中心端切换到灾备中心端,其检查系统的配置和参数,启用业务应用服务器运行核心业务;并检查灾备中心端业务应用的同步区文件系统A’内所包含的数据文件,根据同步到灾备中心端的数据库中的记录内容,验证数据是否已经同步以及已同步的数据文件是否完整;随后,将同步区内包含的、对端已经接收但未及时处理的数据,与工作区内新接收的数据进行合并存档,同时修改已同步数据库中对应的记录;
灾备中心端的存储系统存储新接收生产的数据并将写入受保护LUN中的数据分成两份,一份写入存储系统中的生产卷,另一份分写入日志卷;
灾难恢复后,运行于数据生产中心端的灾备管理应用将系统从灾备中心端切换到数据生产中心端,其检查系统的配置和参数,启用业务应用服务器运行整个业务;并检查数据生产中心端业务应用的同步区文件系统A内所包含的数据文件,根据同步到数据生产中心端的数据库中的记录内容,验证数据是否已经同步以及已同步的数据文件是否完整;随后,将同步区内包含的、对端已经接收但未及时处理的数据,与工作区内新接收的数据进行合并存档,同时修改已同步数据库中对应的记录;灾备管理应用服务器将灾难发生期间,灾备中心端新接收处理的数据进行统一备份;
灾备中心端的持续数据保护应用装置根据数据块的时间标签,从存储系统中将灾难发生期间灾备中心端接收处理的新数据同步回数据生产中心端的存储系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410050264.8A CN103838646B (zh) | 2014-02-13 | 2014-02-13 | 一种用于地面应用大数据异地容灾备份的系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410050264.8A CN103838646B (zh) | 2014-02-13 | 2014-02-13 | 一种用于地面应用大数据异地容灾备份的系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103838646A CN103838646A (zh) | 2014-06-04 |
CN103838646B true CN103838646B (zh) | 2017-10-20 |
Family
ID=50802175
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410050264.8A Active CN103838646B (zh) | 2014-02-13 | 2014-02-13 | 一种用于地面应用大数据异地容灾备份的系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103838646B (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104317675B (zh) * | 2014-11-21 | 2017-08-11 | 华为技术有限公司 | 应用的容灾处理方法和装置 |
CN104461775A (zh) * | 2014-11-26 | 2015-03-25 | 英业达科技有限公司 | 异地备援系统及备份方法 |
CN104539663A (zh) * | 2014-12-16 | 2015-04-22 | 北京中交兴路车联网科技有限公司 | 跨数据中心的数据同步方法和系统 |
CN104516795A (zh) * | 2015-01-15 | 2015-04-15 | 浪潮(北京)电子信息产业有限公司 | 一种数据存取方法及系统 |
CN104679607B (zh) * | 2015-02-04 | 2016-02-24 | 山东省计算中心(国家超级计算济南中心) | 一种异构存储的容灾系统及方法 |
CN104932956B (zh) * | 2015-06-19 | 2018-02-27 | 华南理工大学 | 一种面向大数据的云容灾备份方法 |
CN107688584A (zh) * | 2016-08-05 | 2018-02-13 | 华为技术有限公司 | 一种容灾切换的方法、节点及系统 |
CN107135097A (zh) * | 2017-04-14 | 2017-09-05 | 北京金融资产交易所有限公司 | 基于簿记建档的容灾系统及容灾方法 |
CN109274986B (zh) * | 2017-07-17 | 2021-02-12 | 中兴通讯股份有限公司 | 多中心容灾方法、系统、存储介质和计算机设备 |
CN109426588B (zh) * | 2017-08-28 | 2023-03-14 | 中兴通讯股份有限公司 | 实现数据保护的方法及系统、数据分发处理模块 |
CN108123831A (zh) * | 2017-12-15 | 2018-06-05 | 安徽长泰信息安全服务有限公司 | 一种互联网应用中的容灾服务系统及方法 |
CN108958969B (zh) * | 2018-05-08 | 2019-09-17 | 杭州数梦工场科技有限公司 | 数据库灾备方法、装置及灾备系统 |
CN108776670B (zh) * | 2018-05-11 | 2021-08-03 | 创新先进技术有限公司 | 一种异地容灾方法、系统和电子设备 |
CN110647425A (zh) * | 2018-05-18 | 2020-01-03 | 杭州数梦工场科技有限公司 | 一种数据库恢复方法及装置 |
CN109672717B (zh) * | 2018-09-25 | 2023-02-03 | 平安普惠企业管理有限公司 | 维持系统一致性方法、设备、存储介质及装置 |
CN109344011B (zh) * | 2018-10-22 | 2022-03-08 | 郑州云海信息技术有限公司 | 一种数据备份方法及装置 |
CN109376037A (zh) * | 2018-11-01 | 2019-02-22 | 郑州云海信息技术有限公司 | 一种数据备份方法及相关装置 |
CN109901949B (zh) * | 2019-02-25 | 2021-06-18 | 中国工商银行股份有限公司 | 双活数据中心的应用灾备系统及方法 |
CN109839912B (zh) * | 2019-02-26 | 2024-09-17 | 宝信软件(武汉)有限公司 | 汽车生产线数据管理系统以及方法 |
CN109960613B (zh) * | 2019-03-11 | 2023-05-12 | 中国银联股份有限公司 | 一种数据批处理的方法及装置 |
CN109976952A (zh) * | 2019-04-09 | 2019-07-05 | 苏州浪潮智能科技有限公司 | 云计算系统中跨域备份的方法和装置 |
CN110677469B (zh) * | 2019-09-23 | 2022-07-15 | 上交所技术有限责任公司 | 一种证券灾备系统及灾备实现方法 |
CN110781032A (zh) * | 2019-09-26 | 2020-02-11 | 北京大米科技有限公司 | 数据传输方法、装置、电子设备及介质 |
CN111581016B (zh) * | 2020-04-14 | 2021-05-18 | 上海爱数信息技术股份有限公司 | 一种现代应用的副本数据管理系统及方法 |
CN111581015B (zh) * | 2020-04-14 | 2021-06-29 | 上海爱数信息技术股份有限公司 | 一种现代应用的持续数据保护系统及方法 |
CN111581026A (zh) * | 2020-05-09 | 2020-08-25 | 天津七一二通信广播股份有限公司 | 基于大数据机架感知技术的异地容灾备份方法及系统 |
CN112235142B (zh) * | 2020-10-15 | 2022-04-15 | 国网江苏省电力有限公司营销服务中心 | 一种可实现关键业务容灾的用电信息采集系统及其运行方法 |
CN112380054A (zh) * | 2020-10-29 | 2021-02-19 | 中科热备(北京)云计算技术有限公司 | 基于灾备实时挂载的方法 |
CN112540876B (zh) * | 2020-12-21 | 2024-05-31 | 中国人民解放军61623部队 | 一种人工电话交换异地容灾备份方法及系统 |
CN112667440A (zh) * | 2020-12-28 | 2021-04-16 | 紫光云技术有限公司 | 一种高可用MySQL的异地灾备方法 |
CN112783694B (zh) * | 2021-02-01 | 2023-03-10 | 紫光云技术有限公司 | 一种高可用Redis的异地灾备方法 |
CN113946474A (zh) * | 2021-10-29 | 2022-01-18 | 蜂巢科技(南通)有限公司 | 一种储存系统高效容灾保护方法及容灾处理系统 |
CN116521452B (zh) * | 2023-06-30 | 2023-09-22 | 建信金融科技有限责任公司 | 灾备系统以及基于灾备系统的业务处理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1753373A (zh) * | 2004-09-23 | 2006-03-29 | 华为技术有限公司 | 一种远程容灾系统及方法 |
CN101635638A (zh) * | 2008-07-25 | 2010-01-27 | 中兴通讯股份有限公司 | 一种容灾系统及其容灾方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010080152A1 (en) * | 2009-01-08 | 2010-07-15 | Oracle International Corporation | Server management system |
US9442748B2 (en) * | 2010-03-17 | 2016-09-13 | Zerto, Ltd. | Multi-RPO data protection |
-
2014
- 2014-02-13 CN CN201410050264.8A patent/CN103838646B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1753373A (zh) * | 2004-09-23 | 2006-03-29 | 华为技术有限公司 | 一种远程容灾系统及方法 |
CN101635638A (zh) * | 2008-07-25 | 2010-01-27 | 中兴通讯股份有限公司 | 一种容灾系统及其容灾方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103838646A (zh) | 2014-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103838646B (zh) | 一种用于地面应用大数据异地容灾备份的系统和方法 | |
WO2019154394A1 (zh) | 分布式数据库集群系统、数据同步方法及存储介质 | |
CN106815097A (zh) | 数据库容灾系统和方法 | |
US10834186B2 (en) | Disaster recovery switchover method and system, and node | |
US7428657B2 (en) | Method for rolling back from snapshot with log | |
US9098455B2 (en) | Systems and methods of event driven recovery management | |
CN105069160A (zh) | 一种基于自主可控数据库的高可用性方法及构架 | |
US7822715B2 (en) | Data mirroring method | |
CN101094154B (zh) | 一种多主控模式的数据备份异地保护系统以及保护方法 | |
US20060253731A1 (en) | Data Backup System and Method | |
US10216589B2 (en) | Smart data replication recoverer | |
CN103136070B (zh) | 一种数据容灾处理的方法和装置 | |
CN106776121B (zh) | 一种数据灾备装置、系统及方法 | |
CN103077242A (zh) | 一种实现数据库服务器双机热备的方法 | |
CN103593264B (zh) | 远距离广域网络容灾备份系统及方法 | |
CN107368388A (zh) | 一种监控文件系统变化的数据库实时备份方法 | |
CN1983202A (zh) | 用于管理故障的方法和系统 | |
CN101741536A (zh) | 数据级容灾方法、系统和生产中心节点 | |
US20060259723A1 (en) | System and method for backing up data | |
CN107135097A (zh) | 基于簿记建档的容灾系统及容灾方法 | |
WO2017014814A1 (en) | Replicating memory volumes | |
CN112948484A (zh) | 分布式数据库系统和数据灾备演练方法 | |
CN112929438B (zh) | 一种双站点分布式数据库的业务处理方法及装置 | |
CN106878063B (zh) | 一种从网元中恢复网络拓扑和业务配置数据的方法 | |
CN102508741B (zh) | 一种跨磁盘磁带的集成数据保护装置方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |