CN105119949A - 基于多级切片差异分布统计的数据同步方法及系统 - Google Patents

Abstract

本发明涉及一种基于多级切片差异分布统计的数据同步方法及系统，其中包括以下步骤：1)主系根据备系同步请求更新本地备系数据同步状态和偏移，并根据请求信息决定采用多周期实同步还是差异切片编码同步，产生同步数据后，将同步数据发送给备系；2)备系对收到的主系同步数据进行解码覆盖，并以CRC32对本地同步数据进行完整性和正确性校验，最后将同步结果以同步请求的方式发给主系。与现有技术相比，本发明具有采用多级切片差异编码同步策略来提高同步数据的有效性，从而大大减少通信数据量，并辅以多周期实同步策略来建立差异编码条件等优点。

Description

基于多级切片差异分布统计的数据同步方法及系统

技术领域

本发明涉及轨道交通的数据同步技术，尤其是涉及一种基于多级切片差异分布统计的数据同步方法及系统。

背景技术

2乘2取2安全平台由于其维护方便和便于脱机调试的优点，其在国内外铁路和城市轨道交通领域广泛使用。

2乘2结构通常包括一个主系和一个备系，数据同步算法是2乘2平台的核心技术之一，通过将主系的相关状态同步给备系，从而达到双系平滑切换的目的。随着应用(例如：ZC和LC)逐渐合并以及通信节点的不断增加，需要同步的数据将会越来越大，相对应用周期而言，同步数据的性能将会是2乘2平台的一个很重要的指标。

目前，在2乘2数据同步的设计上，一般采用单周期实同步方法以满足周期级数据同步的要求，从而导致数据同步时间在整个应用周期的比占将会很大，这将大大限制应用的时间，因此被认为平台有效执行应用的时间降低了。因此需要设计更有效的方法来满足数据同步的性能需求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多级切片差异分布统计的数据同步方法及系统，采用多级切片差异编码同步策略来提高同步数据的有效性，从而大大减少通信数据量，并辅以多周期实同步策略来建立差异编码条件。

本发明的目的可以通过以下技术方案来实现：

一种基于多级切片差异分布统计的数据同步方法，其特征在于，包括以下步骤：

1)主系根据备系同步请求更新本地备系数据同步状态和偏移，并根据请求信息决定采用多周期实同步还是差异切片编码同步，产生同步数据后，将同步数据发送给备系；

2)备系对收到的主系同步数据进行解码覆盖，并以CRC32对本地同步数据进行完整性和正确性校验，最后将同步结果以同步请求的方式发给主系。

所述的步骤1)中的备系发给主系的请求信息包括备系同步状态State和未同步数据起始偏移Req，所述的State表示有四种状态：

(1)St_F：全同步，此时是真正的数据同步，CRC32校验一致；

(2)St_H：半同步，表示数据多周期接收已经完成，但CRC32不一致，需要等待主系的下一轮同步数据；

(3)St_N：不同步，表示多周期数据接收未完成；

(4)St_U：未知状态，初始化时状态。

所述的步骤1)具体为：

101)主系根据接收的备系请求消息更新本地的同步状态和同步数据偏移；

102)如果备系同步状态为全同步St_F或半同步St_H，执行步骤103，否则表示同步正在进行中或者同步还没有开始，执行步骤104)；

103)调用NM方法获取非固定切片同步NFS、多级固定切片同步MFS的差异切片统计信息，取实同步MRL、NFS、MFS中最小同步数据m，并判断m是否小于等于最大同步数据量M，若为是，执行步骤106)，否则执行步骤105)；

104)判断同步状态是否为不同步St_N，若为是，根据同步偏移取数据并按照MRL结构体打包数据置同步状态为St_N，更新同步数据偏移，并执行步骤109)；否则执行步骤105)；

105)按照MRL结构体打包待发送数据，置同步状态为St_N，置同步数据偏移为M，并执行步骤109)；

106)判断m是否为MRL类型，若为是，按照MRL结构体打包待发送数据，置同步数据偏移为T，并执行步骤109)，否则，执行步骤107)；

107)判断m是否为NFS类型，若为是，按照NFS结构体打包待发送数据，置同步数据偏移为T，并执行步骤109)，否则，执行步骤108)；

108)判断m是否为MFS类型，若为是，按照MFS结构体打包待发送数据，置同步数据偏移为T，并执行步骤109)，否则，执行步骤110)；

109)将待发送同步数据发送给备系，并执行步骤110)；

110)结束。

所述的步骤2)具体为：

201)备系从主系接收数据，判断是否收到主系同步数据，若为否，将上周期的备系同步状态和偏移发给主系，直接结束；若为是，根据同步数据中的偏移更新备系同步偏移，并执行步骤202)；

202)判断主系同步数据中的CRC32与备系的CRC32是否一致，若为是，置同步状态为全同步St_F，置同步偏移为0，并执行步骤204)；否则，执行步骤203)；

203)按照不同类型同步方法来解析主系同步数据，并更新备系RT，再次判断主系同步数据中的CRC32与备系的CRC32是否一致，若为是，置同步状态为全同步St_F，置同步偏移为0，并执行步骤204)；否则，检查同步数据中的offset，如果offset为T，表示多周期同步已完成，置同步状态为半同步，置同步偏移为0，并执行步骤204)；如果不为T，置同步状态为不同步，更新同步偏移为主系同步数据的Offset，并执行步骤204)；

204)将同步结果以同步请求的方式发给主系。

一种基于多级切片差异分布统计的数据同步系统，其特征在于，包括主系和备系，

所述的主系包括：

同步发送模块，用于主系向备系发送同步数据；

主系同步处理模块，用于实现同步方法决策逻辑及相应方法下对应的同步数据生成；

主系差异编码模块，用于主系实现多级切片差异编码功能；

请求接收模块，用于主系接收同步状态和偏移；

主系存储模块，用于主系的最新同步数据以及对备系已同步数据的备份，备系同步状态及偏移的存储；

所述的备系包括：

同步接收模块：用于备系接收来自主系的同步数据；

备系同步处理模块，用于实现同步状态及偏移更新和解码过程控制；

备系差异解码模块，用于备系实现不同的同步方法下多级切片差异解码还原功能；

请求发送模块，用于备系发送同步状态和偏移；

备系存储模块，用于存储本系的同步数据，同步状态及偏移。

与现有技术相比，本发明具有以下优点：

1)采用多级切片差异编码，大大减少同步数据量，同步数据有效率高；

2)通过一次遍历总的同步数据就可以定位多级切片分布，算法效率高；

3)多级切片差异同步与多周期实同步相结合，可适应多种情况，算法适应性强。

附图说明

图1为本发明的软件结构示意图；

图2-1为MRL同步方法数据结构示意图；

图2-2为NFS同步方法数据结构示意图；

图2-3为MFS同步方法数据结构示意图；

图2-4为本发明的同步请求结构示意图；

图3-1为本发明主系总体逻辑流程图；

图3-2为本发明主系NM逻辑流程图；

图3-3为本发明备系总体逻辑流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

2乘2平台下的同步数据具有以下两个特点：1)同步数据集通常是由一些状态变量组成的集合，这个集合中的元素总量不会发生变化；2)绝大多少情况，本周期的同步数据与上周期相比，往往只是其中的部分状态量发生了改变。本发明基于以上两个特点提供了一种高效的数据同步方法，采用多级切片差异编码同步策略来提高同步数据的有效性，从而大大减少通信数据量，并辅以多周期实同步策略来建立差异编码条件。

本发明的数据同步方法，其主要的工作原理如下：

主系根据备系同步请求更新本地备系数据同步状态和偏移，决定采用多周期实同步还是差异切片编码同步，产生同步数据，最后将同步数据发送给备系；备系对收到的主系同步数据进行解码覆盖，并以CRC32对本地同步数据进行完整性和正确性校验，最后将同步结果以同步请求的方式发给主系。

如图1所示，本发明数据同步系统，其特征在于，包括主系和备系，

所述的主系包括：

同步发送模块，用于主系向备系发送同步数据；

主系同步处理模块，用于实现同步方法决策逻辑及相应方法下对应的同步数据生成；

主系差异编码模块，用于主系实现多级切片差异编码功能；

请求接收模块，用于主系接收同步状态和偏移；

主系存储模块，用于主系的最新同步数据以及对备系已同步数据的备份，备系同步状态及偏移的存储；

所述的备系包括：

同步接收模块：用于备系接收来自主系的同步数据；

备系同步处理模块，用于实现同步状态及偏移更新和解码过程控制；

备系差异解码模块，用于备系实现不同的同步方法下多级切片差异解码还原功能；

请求发送模块，用于备系发送同步状态和偏移；

备系存储模块，用于存储本系的同步数据，同步状态及偏移。

图1为软件结构示意图，主系用N表示，备系用R表示。总的同步数据量为T，NT表示主系存储的同步数据，RT表示备系存储的同步数据，主系存储模块中RT表示对备系已同步数据RT的一个备份。

图1为软件结构示意图，本发明包含主系和备系，由存储模块，同步发送模块，同步接收模块，同步处理模块，差异编码模块，差异解码模块，请求接收模块和请求发送模块组成，其中同步处理模块是中心，调用其它模块来处理相关逻辑，并将数据交给存储模块存储，差异编解码模块是核心，是提升数据同步效率的关键。

假设最大同步数据量为M，也就是说规定时间内主备系之间传递的最大数据量为M。M一般由主周期分给数据同步的时间、系统处理通信性能，以及实际链路带宽等因素影响。另外为了方便描述，涉及M的地方不考虑头部和CRC32的所占的大小，毕竟也就几个字节而已，对整体性能几乎没有影响。

同步方法类型共有三种，使用Type表示，定义如下：

实同步：MRL，采用多周期实同步，每个周期同步M大小的数据(最后一个周期可能不是M)，如图2-1所示，为此方法描述的同步数据结构。

非固定切片同步：NFS，数据切片的大小是不固定的，根据实际的差异来决定，采用此方法的不因针对切片较小而且比较零散的情况，如图2-2所示，为此方法描述的同步数据结构。

多级固定切片同步：MFS，数据切片的大小是多级固定的，最终使用差异同步数据最小的一级切片，此方法是针对NFS的缺陷设计的，如图2-3所示，为此方法描述的同步数据结构。

图2-1，2-2，2-3，2-4系列为数据结构示意图，其中前三幅图描述了主系发送给备系的同步数据结构，所有结构均由头部、索引区、数据区、校验区(校验区可使用CRC32，也可使用其它的校验方法)。头部由同步方法类型Type和偏移Offset组成，索引区由索引大小和索引数组组成，数据区由数据大小DtSz和实际数据Data组成。

Offset表示剩下的需要同步的数据在T中偏移，当Offset＝＝T表示此数据结构最后一个周期的同步数据(不考虑T<＝M的情况，这种情况直接使用MRL同步就行了)。对MRL类型的同步数据是没有索引区的；对于NFS类型的，后面的索引是成对的，每一对的前一个表示起始索引，后一个表示结束索引；对于MFS类型的，后面的索引是单个的，表示切片的编号；CRC32是根据当前NT计算出来的，用以确认备系是否与主系数据同步。

最后一幅图描述了备系发给主系的请求消息，其结构包括表示备系同步状态State和未同步数据起始偏移Req，其中State表示有四种状态：1)St_F：全同步，此时是真正的数据同步，CRC32校验一致；2)St_H：半同步，表示数据多周期接收已经完成，但CRC32不一致，需要等待主系的下一轮同步数据；3)St_N：不同步，表示多周期数据接收未完成；St_U：未知状态，初始化时状态。

MFS和NFS相关说明如下(MRL就不介绍了，将T分成多个M，每周期同步一个M)：

图3-2中的描述是以3级切片为例。(S1，n1，MFS1)：表示T被划分为n1个连续的大小为S1的切片，按此切片需要同步的数据数据量为MFS1，同理(S2，n2，MFS1),(S3，n3，MFS3)；

S3是S2的整数倍，S2是S1的整数倍，S1是S0(S0是最小比较单位，也是NFS统计的最小单元，它根据CPU位数决定，例如32位CPU为4Byte)的整数倍。假设不同级别的切片之间的具体数量关系为：S3＝k2*S2，S2＝k1*S1，S1＝k0*S0，因此有k2*n3＝n2,k1*n2＝n1,k0*n1＝n0，另外设NFS同步方法下的数据量为NFS0，它是根据S0来统计的。之所以按照层级倍数关系来设计，主要是为了提高统计差异切片的消息，这样设计可以实现一次遍历获取各级差异切片的统计信息。

图3-1、3-2图描述了主系的同步逻辑。主系根据备系同步请求更新本地备系数据同步状态和偏移，决定采用多周期实同步还是差异切片编码同步，如果采用差异编码同步，则调用NM方法(NM方法的逻辑由图3-2完成)统计出NFS和MFS下的最小数据量，然后通过min方法取MRL、NFS、MFS中最小数据量并生成同步数据m，再看根据是否超过了M，不超过直接发送m给备系，超过则采取MRL同步方法，这种情况下，后续周期将继续使用此同步方法，直到完成一次完整的MRL同步为止。

图3-3描述了备系的同步逻辑，备系对收到的主系同步数据进行分析，按照不同方法进行解码覆盖，并以校验码CRC32对本地同步数据进行完整性和正确性校验，最后将同步结果(包含同步状态和未同步数据起始偏移)以同步请求的方式发给主系。

本发明的实施过程如下：

1)主系根据备系同步请求更新本地备系数据同步状态和偏移，并根据请求信息决定采用多周期实同步还是差异切片编码同步，产生同步数据后，将同步数据发送给备系；

2)备系对收到的主系同步数据进行解码覆盖，并以CRC32对本地同步数据进行完整性和正确性校验，最后将同步结果以同步请求的方式发给主系。

所述的步骤1)具体为：

101)主系根据接收的备系请求消息更新本地的同步状态和同步数据偏移；

102)如果备系同步状态为全同步St_F或半同步St_H，执行步骤103，否则表示同步正在进行中或者同步还没有开始，执行步骤104)；

103)调用NM方法获取非固定切片同步NFS、多级固定切片同步MFS的差异切片统计信息，取实同步MRL、NFS、MFS中最小同步数据m，并判断m是否小于等于最大同步数据量M，若为是，执行步骤106)，否则执行步骤105)；

104)判断同步状态是否为不同步St_N，若为是，根据同步偏移取数据并按照MRL结构体打包数据置同步状态为St_N，更新同步数据偏移，并执行步骤109)；否则执行步骤105)；

105)按照MRL结构体打包待发送数据，置同步状态为St_N，置同步数据偏移为M，并执行步骤109)；

106)判断m是否为MRL类型，若为是，按照MRL结构体打包待发送数据，置同步数据偏移为T，并执行步骤109)，否则，执行步骤107)；

107)判断m是否为NFS类型，若为是，按照NFS结构体打包待发送数据，置同步数据偏移为T，并执行步骤109)，否则，执行步骤108)；

108)判断m是否为MFS类型，若为是，按照MFS结构体打包待发送数据，置同步数据偏移为T，并执行步骤109)，否则，执行步骤110)；

109)将待发送同步数据发送给备系，并执行步骤110)；

110)结束。

所述的步骤2)具体为：

201)备系从主系接收数据，判断是否收到主系同步数据，若为否，将上周期的备系同步状态和偏移发给主系，直接结束；若为是，根据同步数据中的偏移更新备系同步偏移，并执行步骤202)；

202)判断主系同步数据中的CRC32与备系的CRC32是否一致，若为是，置同步状态为全同步St_F，置同步偏移为0，并执行步骤204)；否则，执行步骤203)；

203)按照不同类型同步方法来解析主系同步数据，并更新备系RT，再次判断主系同步数据中的CRC32与备系的CRC32是否一致，若为是，置同步状态为全同步St_F，置同步偏移为0，并执行步骤204)；否则，检查同步数据中的offset，如果offset为T，表示多周期同步已完成，置同步状态为半同步，置同步偏移为0，并执行步骤204)；如果不为T，置同步状态为不同步，更新同步偏移为主系同步数据的Offset，并执行步骤204)；

204)将同步结果以同步请求的方式发给主系。

其中调用NM方法获取非固定切片同步NFS、多级固定切片同步MFS的差异切片统计信息，如图3-2所示。NM方法使用上文的NFS和MFS差异切片描述方法，并通过多重循环(针对多级切片)一次遍历(对同步数据而言)的方式将历史同步数据与当前同步数据进行比较，从而统计出在NFS和MFS方式下各种差异切片数据描述，并从中选择出最小差异描述数据。

以上方法应用范围不局限于轨道交通领域，也可以在其他二乘二系统中都可以得到应用；检验码不限于32位循环冗余码(CRC32)，使用的差异编码技术不局限于特定的一个或多个级别切片进行同步操作。

Claims (5)

1.一种基于多级切片差异分布统计的数据同步方法，其特征在于，包括以下步骤：

1)主系根据备系同步请求更新本地备系数据同步状态和偏移，并根据请求信息决定采用多周期实同步还是差异切片编码同步，产生同步数据后，将同步数据发送给备系；

2)备系对收到的主系同步数据进行解码覆盖，并以CRC32对本地同步数据进行完整性和正确性校验，最后将同步结果以同步请求的方式发给主系。

2.根据权利要求1所述的一种基于多级切片差异分布统计的数据同步方法，其特征在于，所述的步骤1)中的备系发给主系的请求信息包括备系同步状态State和未同步数据起始偏移Req，所述的State表示有四种状态：

(1)St_F：全同步，此时是真正的数据同步，CRC32校验一致；

(2)St_H：半同步，表示数据多周期接收已经完成，但CRC32不一致，需要等待主系的下一轮同步数据；

(3)St_N：不同步，表示多周期数据接收未完成；

(4)St_U：未知状态，初始化时状态。

3.根据权利要求2所述的一种基于多级切片差异分布统计的数据同步方法，其特征在于，所述的步骤1)具体为：

101)主系根据接收的备系请求消息更新本地的同步状态和同步数据偏移；

102)如果备系同步状态为全同步St_F或半同步St_H，执行步骤103，否则表示同步正在进行中或者同步还没有开始，执行步骤104)；

103)调用NM方法获取非固定切片同步NFS、多级固定切片同步MFS的差异切片统计信息，取实同步MRL、NFS、MFS中最小同步数据m，并判断m是否小于等于最大同步数据量M，若为是，执行步骤106)，否则执行步骤105)；

104)判断同步状态是否为不同步St_N，若为是，根据同步偏移取数据并按照MRL结构体打包数据置同步状态为St_N，更新同步数据偏移，并执行步骤109)；否则执行步骤105)；

105)按照MRL结构体打包待发送数据，置同步状态为St_N，置同步数据偏移为M，并执行步骤109)；

106)判断m是否为MRL类型，若为是，按照MRL结构体打包待发送数据，置同步数据偏移为T，并执行步骤109)，否则，执行步骤107)；

107)判断m是否为NFS类型，若为是，按照NFS结构体打包待发送数据，置同步数据偏移为T，并执行步骤109)，否则，执行步骤108)；

108)判断m是否为MFS类型，若为是，按照MFS结构体打包待发送数据，置同步数据偏移为T，并执行步骤109)，否则，执行步骤110)；

109)将待发送同步数据发送给备系，并执行步骤110)；

110)结束。

4.根据权利要求3所述的一种基于多级切片差异分布统计的数据同步方法，其特征在于，所述的步骤2)具体为：

201)备系从主系接收数据，判断是否收到主系同步数据，若为否，将上周期的备系同步状态和偏移发给主系，直接结束；若为是，根据同步数据中的偏移更新备系同步偏移，并执行步骤202)；

202)判断主系同步数据中的CRC32与备系的CRC32是否一致，若为是，置同步状态为全同步St_F，置同步偏移为0，并执行步骤204)；否则，执行步骤203)；

203)按照不同类型同步方法来解析主系同步数据，并更新备系RT，再次判断主系同步数据中的CRC32与备系的CRC32是否一致，若为是，置同步状态为全同步St_F，置同步偏移为0，并执行步骤204)；否则，检查同步数据中的offset，如果offset为T，表示多周期同步已完成，置同步状态为半同步，置同步偏移为0，并执行步骤204)；如果不为T，置同步状态为不同步，更新同步偏移为主系同步数据的Offset，并执行步骤204)；

204)将同步结果以同步请求的方式发给主系。

5.一种如权利要求4所述的基于多级切片差异分布统计的数据同步系统，其特征在于，包括主系和备系，

所述的主系包括：

同步发送模块，用于主系向备系发送同步数据；

主系同步处理模块，用于实现同步方法决策逻辑及相应方法下对应的同步数据生成；

主系差异编码模块，用于主系实现多级切片差异编码功能；

请求接收模块，用于主系接收同步状态和偏移；

主系存储模块，用于主系的最新同步数据以及对备系已同步数据的备份，备系同步状态及偏移的存储；

所述的备系包括：

同步接收模块：用于备系接收来自主系的同步数据；

备系同步处理模块，用于实现同步状态及偏移更新和解码过程控制；

备系差异解码模块，用于备系实现不同的同步方法下多级切片差异解码还原功能；

请求发送模块，用于备系发送同步状态和偏移；

备系存储模块，用于存储本系的同步数据，同步状态及偏移。