CN107038091B - 一种基于异步远程镜像的数据安全性保护系统与电力应用系统数据保护方法 - Google Patents

Abstract

本发明公开了一种基于异步远程镜像的数据安全性保护系统，包括日志模块，完成对本地数据的修改；快照模块，通过cow机制，对本地数据做一个快照；监控模块，不断检查主系统是否有新的数据变化；重放模块，拉取主系统的日志和数据，并在从系统进行重放操作。还提供了一种电力应用系统数据保护方法，包括以下步骤：监控模块启动；监控模块发现主系统有数据更新，通知重放模块进行数据同步；重放模块拉取最新日志信息，并进行重放，进行元数据同步；对比主系统中快照中的数据与从系统中的数据，进行数据同步。对存储系统构建了一个远程镜像，当主数据中心遭受人为或自然灾难时，可以立即将数据IO切换到镜像系统中，从而保证业务系统的正常运行。

Description

一种基于异步远程镜像的数据安全性保护系统与电力应用系 统数据保护方法

技术领域

本发明涉及电力应用系统遭受数据损坏，甚至数据中心遭受灾难时保证数据安全性的方法。更进一步说，涉及到电力应用系统中基于异步远程镜像的数据安全性保护系统，在系统遭受数据损坏，甚至数据中心灾难时，保证数据安全性的方法。

背景技术

当由于人为或自然的原因，造成信息系统严重故障或瘫痪时，保证用户数据的安全性具有非常重要的意义。目前，多数业务应用系统将数据存放到分布式存储中，但是目前的分布式存储，缺乏合理且有效的数据保护机制。大部分分布式存储系统采用如下几种数据保护机制：

(1)本地数据备份。该方案会定时对系统数据进行备份，如果系统出现故障时，可以通过备份恢复数据，以保证应用系统可以恢复运行。但是该方案不能应对数据中心发生人为或自然灾难的场景。比如一个数据中心遭受地震，会导致整个数据中心数据包括备份数据同时丢失。

(2)远程数据备份。该方案会定时将系统数据备份到远程数据中心，以此保证在应用系统遭受认为或自然灾难时，可以通过远程数据中心的备份数据进行数据恢复。但是该方案有两种方式：如果采用全量备份，则在数据备份时耗时很长，业务需要中断；如果采用增量备份，则数据恢复时耗时较长，导致业务系统中断时间超过可接受范围。

(3)远程同步镜像。该方案将本地数据以完全同步的方式复制到异地，每一本地的I/O事务均需等待远程复制的完成确认信息，方予以释放。当主站点出现故障时，用户的应用程序切换到备份的替代站点后，镜像的远程副本可 以保证业务继续执行而没有数据的丢失。但该方案往返传播造成延时较长，大大影响存储系统性能。而且为了保证同步复制，传输距离不能太长，网络带宽要求高，成本可能超出可接受范围。

发明内容

本发明的目的是提供一种基于异步远程镜像的数据安全性保护系统与电力应用系统数据保护方法，通过远程异步镜像方案，实现分布式存储系统的异地容灾机制，远程的数据复制是以后台异步的方式进行的。

为实现上述目的，本发明采用下述技术方案：

一种基于异步远程镜像的数据安全性保护系统，将本地数据以同步的方式复制到异地，形成主系统到从系统的映射，包括日志模块，完成对本地数据的修改，日志模块将每一个操作记录成一个event，然后从系统使用日志记录的信息对所有的event根据时间顺序进行replay，从而得到完整的数据状态；

快照模块，通过cow机制，对本地数据做一个快照；

监控模块，不断检查主系统是否有新的数据变化，通过检查日志头，并对比已经完成复制的日志头，如果不相同，通知重放模块进行数据重放；

重放模块，拉取主系统的日志和数据，并在从系统进行重放操作。

一种电力应用系统数据保护方法，包括以下步骤：

步骤1、监控模块在指定的时间间隔后，不断的对主系统进行检查，对比主系统的日志头和上次数据同步记录下来的日志头信息，如果上一次同步数据记录的日志头信息为空，说明是第一次进行数据同步，不需要对比，直接通知重放模块进行全量数据同步；如果在主系统的日志中没有找到上次记录的日志信息，备份数据遭受损坏，直接通知重放模块进行全量数据同步；如果主系统的日志头和上次同步的日志头相同，不进行数据同步，等待指定的时间间隔之后进行下一次日志检查；

步骤2：监控模块发现主系统有数据更新，通知重放模块进行数据同步；重放模块通知快照模块首先对需要同步的数据做一个快照，数据快照使用的是cow机制，当主系统有新的数据操作时：

1)数据要被读取

当主系统中数据被业务系统读取，不需要对快照数据做任何修改，快照和业务系统还是共享同一份数据；

2)数据要被更新

当主系统中的数据要被业务系统更新，这是主系统将首先自动将以前的数据copy到另一个数据块中，供快照模块使用，保证通过快照模块读到的数据是打快照时刻的数据，这时，业务系统和快照模块将不再共享同一个数据块；

3)数据被删除

当主系统中的数据要被业务系统删除时，主系统不会删除相应的数据块，会保留下来供快照模块使用。

步骤3：重放模块拉取最新日志信息，并进行重放，进行元数据同步，该阶段根据日志对比情况分成全量元数据同步和增量元数据同步：

1)全量元数据同步

新建一个与主系统对应的数据块，并且拉取所有对应的日志信息，然后根据时间顺序按照拉取的日志信息，对每一个event进行重放，这样将得到一个与主系统一致的元数据状态；

2)增量元数据同步

在日志模块中找到上一次数据同步记录下来的日志头信息，然后将新的日志全部拉取到从系统中，然后根据时间顺序，对每一个event进行重放，从而得到一个与主系统一致的元数据状态。

步骤4：对比主系统快照中的数据与从系统中的数据，进行数据同步，数据同步也分为全量同步和增量同步：

1)全量数据同步

系统会将数据切分成大小可配置的小数据块，对每一个数据块进行同步，当数据块有数据时进行数据同步，将切分成的小数据块数据从主系统复制到从 系统，并保存到从存储系统相同位置；当数据块没数据不进行数据同步，这块数据是一个空洞数据；

2)增量数据同步

系统会将数据切分成大小可配置的小数据块，对每个数据块进行现有快照与上一次同步快照对比，如果数据块没有数据，不进行数据同步，该数据块仍然是一个空洞数据；如果数据块没有数据，但是引用了另一个数据块，同步引用数据块，并在从系统中做同样的引用关系；如果数据块有数据，但是与上一次同步的数据一致，不需要做数据同步，从系统数据已经和主系统一致；如果数据块有数据，且与上一次同步数据不一致，进行一次增量复制，将增量部分数据传输到从系统中，在从系统的相同数据块中进行一次数据增量应用操作。

本发明的有益效果是，

(1)有效的保证数据安全性。不仅在数据损坏时可以恢复数据，即使在数据中心遭受人为或自然灾难时，也可以恢复数据，为业务系统提供数据服务。

(2)数据恢复时间短。当数据中心遭受灾难时，恢复存储系统的功能只需要直接切换到远程镜像数据中心。业务恢复时间在分钟单位。

(3)对本地存储系统性能几乎无影响。由于使用异步复制的方式，本地存储系统不需要等待远程备份结束才返回IO。所以远程镜像对于所有的本地IO不会有任何影响。而且远程数据传输使用专有网络，也不会对业务网络造成影响。

(4)成本低。异步远程镜像方案不会对本地存储系统性能造成影响，所以不需要采用昂贵的光纤网络，大大降低了数据保护系统的成本。

附图说明

图1是基于异步远程镜像的数据安全性保护系统系统结构示意图；

图2是电力应用系统数据保护方法流程图。

具体实施方式

如图1所示，图中对存储系统构建了一个远程镜像，当主数据中心遭受人 为或自然灾难是，可以立即将数据IO切换到镜像系统中，从而保证业务系统的正常运行。具体系统结构组成包括：

(1)日志模块

日志模块记录对元数据的所有修改，包括resize，snapshot，trim，create，delete等操作。日志模块将每一个操作记录成一个event，然后系统可以使用日志记录的信息对所有的event根据时间顺序进行replay从而得到完整的数据状态。但是日志模块只会记录元数据变化，不会记录数据本身。

(2)快照模块

快照模块可以对数据做一个快照，通过cow的机制，快照的做成基本上不需要耗费时间成本。如果一个数据被打了快照，所有新的数据修改都不会影响到快照的数据。通过快照，远程镜像才能保证在增量复制的过程中不会有新的数据修改，从而保证这一次复制的数据的一致性。

(3)监控模块

监控模块会不断的检查主系统是否有了新的数据变化。通过检查日志头，并对比已经完成复制的日志头，如果不相同，说明有了新的日志操作，就说明主系统有了新的数据变化。这时就需要通知重放模块进行数据重放。监控模块的运行间隔时间是可以配置的，可根据系统需求，配置最合适的同步时间。

(4)重放模块

重放模块主要是拉取主系统的日志和数据，并在从系统进行重放操作。重放模块是异步远程镜像系统中最核心的模块，需要跟其他所有模块进行交互。首先需要得到监控模块的通知，开始进行数据重放。重放最开始就需要使用快照模块对主系统的数据做一个快照，从而保证在数据同步过程中的数据一致性。然后就需要对日志和增量数据进行拉取操作，从主系统拉倒从系统，而且 拉取的所有数据，都不会影响到业务数据网络。最后进行重放操作，将从系统的数据更新到和主系统一致。

如图2所示，一种电力应用系统数据保护方法，包括以下步骤：

步骤1监控模块启动。

监控模块将在指定的时间间隔后，不断的对主系统进行检查，对比主系统的日志头和上次数据同步记录下来的日志头信息。将出现一下几种情况

1)如果上一次同步数据记录的日志头信息为空，说明是第一次进行数据同步，不需要对比，直接通知重放模块进行全量数据同步。

2)如果在主系统的日志中没有找到上次记录的日志信息，可能是备份数据遭受损坏，直接通知重放模块进行全量数据同步。

3)如果主系统的日志头和上次同步的日志头相同，将不进行数据同步，将等待指定的时间间隔之后进行下一次日志检查。

步骤2：监控模块发现主系统有数据更新，通知重放模块进行数据同步。

重放模块会通知快照模块首先对需要同步的数据做一个快照。为了保证在数据同步过程中，想要同步的数据不会有新的修改，从而保证数据的一致性。数据快照使用的是cow机制，也就是说快照和业务系统共享同一个数据块，所以制作快照几乎不需要耗费时间成本。当主系统有新的数据操作时：

1)数据要被读取。

当主系统中数据被业务系统读取，我们不需要对快照数据做任何修改，快照和业务系统还是共享同一份数据。

2)数据要被更新。

当主系统中的数据要被业务系统更新，这是主系统将首先自动将以前的数据copy到另一个数据块中，供快照快照使用，保证通过快照读到的数据是打快照时刻的数据。这时，业务系统和快照将不再共享同一个数据块。

3)数据被删除。

当主系统中的数据要被业务系统删除时，主系统不会删除相应的数据块，会保留下来供快照使用。所以即使业务系统在下一时刻删除了数据，我们还是可以保证这一次数据同步中该数据是存在的，保证了数据的一致性。

步骤3：重放模块拉取最新日志信息，并进行重放，进行元数据同步。

该阶段根据日志对比情况分成全量元数据同步和增量元数据同步：

1)全量元数据同步。

新建一个与主系统对应的数据块，并且拉取所有的对应的日志信息。然后根据拉取的日志信息，根据时间顺序，对每一个event进行重放一遍。这样将得到一个与主系统一致的元数据状态。

2)增量元数据同步

在日志模块中找到上一次数据同步记录下来的日志头信息，然后将新的日志全部拉取到从系统中。然后根据时间顺序，对每一个event进行重放一遍。从而得到一个与主系统一致的元数据状态。

步骤4：对比主系统中快照中的数据与从系统中的数据，进行数据同步。

同样的，数据同步也分为全量同步和增量同步。

1)全量数据同步。

系统会将数据切分成大小为4M(可配置)的小数据块，对每一个数据块进行同步。

a)数据块有数据。

进行数据同步，将4M数据从主系统复制到从系统，并保存到从存储系统相同位置。

b)数据块没数据。

不进行数据同步，这块数据是一个空洞数据。

2)增量数据同步。

系统会将数据切分成大小为4M(可配置)的小数据块，对每个数据块进行现有快照与上一次同步快照对比。

a)如果数据块没有数据。

不进行数据同步。该数据块仍然是一个空洞数据。

b)如果数据块没有数据，但是引用了另一个数据块。

同步引用数据块，并在从系统中做同样的引用关系。

c)如果数据块有数据，但是遇上一次同步的数据一致。

不需要做数据同步，从系统数据已经和主系统一致。

d)如果数据块有数据，且与上一次同步数据不一致。

进行一次增量复制，将增量部分数据传输到从系统中，在从系统的相同数据块中进行一次数据增量应用操作。

根据国家标准GB/T 20988-2007《信息系统灾难恢复规范》，信息系统灾难恢复能力等级与恢复时间目标(RTO)和恢复点目标(RPO)具有一定的对应关系，各行业可根据行业特点和信息技术的应用情况制定相应的灾难恢复能力等级要求和指标体系。在《规范》中，也给出了行业应用中灾难恢复能力等级与RTO、RPO之间关系的示例，如下表所示：

本发明可以在成本可控的基础上，两项关键指标RTO和RPO都是分钟级别，达到了《规范》中定义的5+等级的灾难恢复能力，满足商用级别数据容灾需求，提供有效的应用数据保护。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (1)

1.一种电力应用系统数据保护方法，采用一种基于异步远程镜像的数据安全性保护系统，所述系统将本地数据以同步的方式复制到异地，形成主系统到从系统的映射，包括日志模块，完成对本地数据的修改，日志模块将每一个操作记录成一个event，然后从系统使用日志记录的信息对所有的event根据时间顺序进行replay，从而得到完整的数据状态；

快照模块，通过cow机制，对本地数据做一个快照；

监控模块，不断检查主系统是否有新的数据变化，通过检查日志头，并对比已经完成复制的日志头，如果不相同，通知重放模块进行数据重放；

重放模块，拉取主系统的日志和数据，并在从系统进行重放操作；其特征在于，包括以下步骤：

步骤1、监控模块在指定的时间间隔后，不断的对主系统进行检查，对比主系统的日志头和上次数据同步记录下来的日志头信息，如果上一次同步数据记录的日志头信息为空，说明是第一次进行数据同步，不需要对比，直接通知重放模块进行全量数据同步；如果在主系统的日志中没有找到上次记录的日志信息，备份数据遭受损坏，直接通知重放模块进行全量数据同步；如果主系统的日志头和上次同步的日志头相同，不进行数据同步，等待指定的时间间隔之后进行下一次日志检查；

步骤2：监控模块发现主系统有数据更新，通知重放模块进行数据同步；重放模块通知快照模块首先对需要同步的数据做一个快照，数据快照使用的是cow机制，当主系统有新的数据操作时：

1)数据要被读取

当主系统中数据被业务系统读取，不需要对快照数据做任何修改，快照和业务系统还是共享同一份数据；

2)数据要被更新

当主系统中的数据要被业务系统更新，这是主系统将首先自动将以前的数据copy到另一个数据块中，供快照模块使用，保证通过快照模块读到的数据是打快照时刻的数据，这时，业务系统和快照模块将不再共享同一个数据块；

3)数据被删除

当主系统中的数据要被业务系统删除时，主系统不会删除相应的数据块，会保留下来供快照模块使用；

步骤3：重放模块拉取最新日志信息，并进行重放，进行元数据同步，所述进行元数据同步根据日志对比情况分成全量元数据同步和增量元数据同步：

1)全量元数据同步

新建一个与主系统对应的数据块，并且拉取所有对应的日志信息，然后根据时间顺序按照拉取的日志信息，对每一个event进行重放，这样将得到一个与主系统一致的元数据状态；

2)增量元数据同步

在日志模块中找到上一次数据同步记录下来的日志头信息，然后将新的日志全部拉取到从系统中，然后根据时间顺序，对每一个event进行重放，从而得到一个与主系统一致的元数据状态；

步骤4：对比主系统快照中的数据与从系统中的数据，进行数据同步，数据同步也分为全量同步和增量同步：

1)全量数据同步

系统会将数据切分成大小可配置的小数据块，对每一个数据块进行同步，当数据块有数据时进行数据同步，将切分成的小数据块数据从主系统复制到从系统，并保存到从存储系统相同位置；当数据块没数据不进行数据同步，这块数据是一个空洞数据；

2)增量数据同步

系统会将数据切分成大小可配置的小数据块，对每个数据块进行现有快照与上一次同步快照对比，如果数据块没有数据，不进行数据同步，该数据块仍然是一个空洞数据；如果数据块没有数据，但是引用了另一个数据块，同步引用数据块，并在从系统中做同样的引用关系；如果数据块有数据，但是与上一次同步的数据一致，不需要做数据同步，从系统数据已经和主系统一致；如果数据块有数据，且与上一次同步数据不一致，进行一次增量复制，将增量部分数据传输到从系统中，在从系统的相同数据块中进行一次数据增量应用操作。