CN1816039A - 进行数据一致性校验及同步的方法和分布式系统 - Google Patents

Abstract

一种进行数据一致性校验及同步的方法和分布式系统，其核心是首先将数据划分为若干组数据；然后主系统分别获取每个子系统数据对应在主、子系统内的校验字；最后主系统将所述的每个子系统数据对应在主、子系统内的校验字进行比较，若一致，则结束校验；否则，同步对应的不一致的数据。本发明即使在需校验数据不兼容的情况下也能够很好地实现数据的一致性校验及同步。另外由于本发明采用将数据划分为若干组数据，不仅减少了每次校验的计算量和通信量，而且便于根据具体组进行单独的处理，从而提高主、子系统数据校验及同步处理的灵活性。

Description

进行数据一致性校验及同步的方法和分布式系统

技术领域

本发明涉及通信领域，尤其是涉及一种进行数据一致性校验及同步的方法和分布式系统。

背景技术

分布式系统是指多个具有独立处理能力的系统通过某种通信方式联系在一起，共同完成全部功能的设备或多个设备。通常是由一个主系统和多个子系统组成，主系统可以有备份，对于处于备份状态的主系统，当前主系统认为其是一个子系统(仅子系统类型和普通业务子系统不一样而已)。如果整个分布式系统中所有系统都是对等关系，则没有主系统和子系统概念。

在分布式系统中，由于每个系统都具有独立处理能力，数据需要在主系统和多个子系统中保留。主系统保留自身的数据和所有子系统的数据，子系统仅保留自身的数据；如果某几个子系统需要完成相互之间的保护或备份，则该子系统可能也需要保留其它子系统的数据。

通常情况下，各个子系统的数据是通过主系统下发的，以及某子系统产生的数据上报给主系统，此时保留在主系统和子系统中的关于这个子系统的数据是一致的。

但如果是对主系统本身进行配置，则数据不用下发给子系统。一个特例是：对于备份状态的主系统，虽然在默认情况将其视为一个特殊类型的子系统，但是所有对主系统的配置同时也会发给备份主系统，以便保持工作和备份状态的主系统数据完全一致。

此外，当某子系统产生的数据上报给主系统时，这些数据同时也要发给备份主系统(可以由该子系统直接发给备份主系统，或者由主系统将收到的子系统上报数据转发给备份子系统)，以便保持工作和备份状态的主系统数据完全一致。

在某些情况下，可能会不通过主系统直接管理子系统，如单独调试子系统时；或者在子系统脱机状态下，在主系统上管理子系统；或者在主系统向子系统下发数据时(或子系统向主系统上报数据时)，忽然遇到系统掉电、复位、通信异常等情况，系统仅收到部分数据，从而出现数据错误，即出现主系统和子系统的数据不一致的情况；此外也有可能在分布式系统长期运行过程中，出现某些意外情况，如软件处理异常、电信号异常导致数据跳变，从而造成了主系统或者子系统的数据变化，即出现数据不一致的情况。

当主、子系统出现数据不一致的情况时，如果没有一种有效的方法来发现和修正这种错误，会对整个分布式系统的正常功能构成危险。

专利号为99814506.8的现有技术：数据和源数据每个均被安排在一个或优选的几个数据组中。为每个数据组计算参考校验和。接收单元确定接收单元中数据的每个数据组的内容是否与相应的参考校验和相匹配。接收单元请求源单元发送已检测到不匹配的那些数据组中源数据的拷贝到接收单元。被请求的数据从源单元被下载到接收单元。

由上述描述可以看出现有技术中主系统将校验字和数据一起下发给子系统，然后由子系统进行比较，若发现数据不一致，则主动向主系统申请下载数据，从而实现主、子系统数据的一致性校验及同步。

由于主系统将校验字和数据一起下发给子系统，如果需校验的数据不兼容时，就不能很好地实现数据的一致性校验及同步。例如由于主、子系统的版本、功能升级等情况而引起校验数据不一致，包括数据的定义、类型、格式、排列顺序、组合等，甚至包括以前需校验的内容后来不需校验，以前不需校验的内容后来需要校验的情况。

此外，由于此种校验方式是把数据和校验字一起下发给子系统的，因此存在系统间通信量较大的不足，当整个分布式系统比较大时，校验产生的通信量过大会影响分布式系统的正常功能。而且校验字的比较是在每个子系统实现的，不便于集中控制校验及同步策略。

发明内容

本发明的目的是提供一种进行数据一致性校验及同步方法和分布式系统，以解决现有技术中在当数据不兼容时，就不能很好地实现数据的一致性校验及同步的问题。

本发明的目的是通过以下技术方案实现的：

本发明提供的一种进行数据一致性校验及同步的方法，包括：

A、主系统分别获取每个子系统数据对应在主、子系统内的校验字；

B、主系统将所述的每个子系统数据对应在主、子系统内的校验字进行比较，若一致，则结束校验；否则，同步对应的不一致的数据。

其中，所述步骤A具体包括：

A1、主系统发送校验命令给子系统；

A2、子系统接收校验命令，计算自己支持的数据的校验字，返回响应命令包给主系统；

A3、主系统接收该响应命令包，并根据该响应命令包中的内容计算得到对应该子系统的数据的校验字。

其中，步骤A2和步骤A3中所述响应命令包包括：子系统的编号及数据的校验字。

其中，在步骤A之前还包括：子系统依据子系统的类型和数据的类型将数据划分为若干组数据。

其中，步骤A2和步骤A3中所述响应命令包包括：子系统的编号、数据组的组号和数据组的校验字及可选的包括数据组的数目。

其中，在步骤B中，所述同步对应的不一致的数据的过程包括：

上报校验失败告警，通知人工同步子系统不一致的数据；和/或

向对应子系统的不一致的数据下发正确数据，同步子系统不一致的数据；和/或

向对应子系统的全部数据下发正确数据，同步子系统不一致的数据；和/或

向所有子系统的全部数据下发正确数据，同步子系统不一致的数据。

其中，所述步骤B中，当一致并结束校验之后，还包括对该子系统所有数据的校验失败计数器清零的过程。

其中，本发明所述的方法还包括：

C、校验退出；

D、校验失败时对该子系统对应的校验失败计数器累计加1；

E、判断该子系统对应的校验失败计数器的数值是否小于设定值，如小于设定值，则继续执行步骤A；否则，根据定义的处理策略同步对应该子系统不一致的数据。

其中，所述校验命令无需参数。

其中，在步骤A1之前还包括：

A4、子系统调用校验字算法计算数据的校验字；

A5、将数据及校验字上传给主系统。

其中，所述校验字算法包括：MD5算法、校验和Checksum算法或循环冗余校验码CRC算法。

本发明提供的一种进行数据一致性校验及同步的分布式系统，包括主系统、子系统、数据检查单元和数据同步管理单元；

所述数据检查单元用于分别获取每个子系统数据对应在主、子系统内的校验字，并进行比较，若一致，则结束校验；否则，通知数据同步管理单元产生告警和/或同步所述的不一致的数据；

所述数据同步管理单元用于响应数据检查单元的通知，产生告警和/或同步所述的不一致的数据。

其中，本发明所述的系统还包括主系统校验字计算单元和子系统校验字计算单元；

所述主系统校验字计算单元用于计算主系统内对应子系统数据的校验字，并将该校验字提供给数据检查单元；

所述子系统校验字计算单元用于计算子系统内数据的校验字，并将该校验字提供给数据检查单元。

由上述本发明提供的技术方案可以看出，本发明所述的方法采用主系统来完成子系统上报的校验字和主系统中对应该子系统的数据的校验字比较，如果比较结果不一致，则通知主系统的同步管理模块进行相应的处理，进而实现数据的一致性校验及同步，所以即使在需校验数据不兼容的情况下也能够很好地实现数据的一致性校验及同步。

再者，本发明由于采用主系统发送校验命令给子系统，即主系统统一控制校验调度的方式，以及采用子系统根据定义的处理策略自行决定返回校验内容的方式，提高了主、子系统数据校验的灵活性。

另外由于采用将数据划分为若干组数据，不仅减少了每次校验的计算量和通信量，而且便于根据具体组进行单独的处理，从而更加提高主、子系统数据校验的灵活性。

由于采用数据按照子系统类型、数据类型等方式定义数据组，从而保证开发的重用性，提高了开发效率。

附图说明

图1为本发明第一实施例的流程图；

图2为本发明第二实施例的流程图；

图3为本发明系统的原理图。

具体实施方式

本发明所述方法的第一实施例如图1所示，首先执行步骤S203，主系统发送校验命令给子系统。具体实现为：在主系统任务初始时生成一个定时器，所述定时触发器用于定时触发主系统，按照轮询的顺序对子系统发送校验命令。主系统对子系统的校验是否使能、校验周期以及对关键子系统校验比一般子系统更为频繁等可以进行设置。

上述校验命令无需参数。本发明所设置的校验命令由于不需要参数，能够保证在子系统不支持校验特性时，可以直接丢掉该命令，所以在校验的数据不兼容时，不会出现副作用。当然通常情况下，主系统知道子系统数据的类型，不会向不支持校验的子系统下发校验命令，但是由于分布式系统是一个长期运行的复杂系统，存在主系统和子系统分别进行升级的情况，这时就不一定能保证最初的匹配关系，所以本发明所设置的校验命令无参数，为以后的系统升级提供了更多的灵活性。

接着执行步骤S204，子系统接收校验命令，计算自己支持的、需校验数据的校验字，返回响应命令包给主系统。具体实现为：子系统接收到检验命令后，分别计算自己支持的、需校验数据的校验字，然后返回给主系统一个响应命令包，所述的响应命令包包含：该返回有数据的校验字以及子系统的编号。一个特殊情况，如果子系统正处于某种状态，不适合进行校验时，可以忽略主系统的校验命令。

随后执行步骤S205，主系统接收上述响应命令包，并根据该响应命令包中的内容计算并得到对应该子系统的数据的校验字。具体实现为：主系统接收到子系统的响应命令后，解开该命令包，得到数据的校验字，根据对应子系统编号，由主系统的校验计算单元对事先保存在系统中的对应该子系统数据进行计算，得到对应该子系统中数据的校验字。

紧接着执行步骤S206，主系统比较主、子系统中对应于需校验数据的子系统中数据的校验字，如果本次返回的校验字一致，则执行步骤S207，检验顺利结束，并且对该子系统所有组的校验失败计数器清零。如果本次返回校验字不一致，表明该子系统中的数据与主系统中与该系统对应的数据不一致，则执行步骤S208，本次检验退出，重新向该子系统下发一次校验命令，并且对该子系统的对应校验失败计数器增加1；接着执行步骤S209，判断连续该子系统的相同分组校验失败的次数是否超过设定值，如果连续该子系统的相同分组校验失败的次数超过设定值，则执行步骤S210；否则，执行步骤S203。

最后，执行步骤S210，主系统的同步管理模块根据定义的处理策略同步子系统不一致的数据。具体实现为：主系统根据事先定义的处理策略，可以进行如下操作(可选择1种或多种操作)：

(1)向分布式系统上报校验失败告警，然后由人工干预进行同步子系统不一致的数据；

(2)向对应子系统的不一致的数据下发正确数据，同步子系统不一致的数据；

(3)向对应子系统下发全部数据，同步子系统不一致的数据；

(4)向所有子系统下发全部数据，同步子系统不一致的数据；以及其它待定义操作；

(5)触发分布式系统预定义的其它操作。

由上述可以看出，由于本发明采用子系统可根据自身状态自行决定是否响应校验请求、自行决定返回校验内容的方式进行主、子系统数据的一致性校验，并且集中在主系统上设置分布式系统校验失败后的同步处理策略，从而提高了系统的灵活性。

本发明所述方法的第二实施例，也是本发明的优选实施方案，其具体操作如图2所示：

首先执行步骤S302，子系统依据子系统的类型和数据的类型将数据划分为若干组数据。

主系统和多个子系统进行一致性校验的数据很多，包括分布式系统的各种类型数据，如果采用一起打包处理，计算量大、计算时占用内存也较多，所以采取按照子系统、按照模块、按照数据类型等分成数据组的方法，减少每次数据的计算量。在将数据分组的过程中，尽量保证对主系统而言，各个子系统的数据组可重用。

为了便于对分组进行管理，减小生成校验字时的计算量和内存消耗，由主系统和子系统统一规定分组号，每组数据不要过大，否则该组可再定义一个组号。分组号如果使用一个字节，共有0-255个组号；如果使用两个字节，共有0-65535个组号。每组数据定义由主系统和各个子系统开发人员共同确定，包括数据和数据排列方式。

下面是将某分布式系统的业务、保护和系统参数等类型数据分成若干个数据组的数据分组规则的例子。如：

0：保留

1-10：子系统类型A

11-20：子系统类型B

21-30：子系统类型C

101-110：子系统G的特定模块MA

111-120：子系统G的特定模块MB

121-130：子系统G的特定模块MC

160-255：保留

由于将数据划分为若干分组，不仅减小了每次校验的计算量，而且便于根据具体分组进行单独划分处理策略，从而保证数据校验的灵活性。

此外，由于采用校验字比较的方式来判断数据组数据是否一致，极大的改善了分布式系统间由于数据校验引起的通信量大的问题。

执行步骤S303，主系统发送校验命令给子系统。

接着执行步骤S304，子系统接收校验命令，计算自己支持的数据的校验字，返回响应命令包给主系统。具体实现为：子系统接收到检验命令后，计算自己支持的数据组的数据校验字，然后返回给主系统一个响应命令包，所述的响应命令包中包含：该返回有几组数据、数据组号、数据组的校验字以及子系统的编号。下面举例说明包括3组数据的响应命令包的数据参数。

举例如下：

参数1：3个组

参数2：第1组的组号

参数3：第1组的校验字

参数4：第2组的组号

参数5：第2组的校验字

参数6：第3组的组号

参数7：第3组的校验字

对于参数1，一共有几组数据是由子系统决定的，比如在运行状态A时，它可能仅支持1组数据的校验；在运行状态B时，则支持3组数据的校验。更进一步而言，如果子系统正处于初始化阶段、或者升级过程中、甚至本版本子系统不支持校验功能，它可以不响应校验命令的要求。

从上述分析可以看出，虽然主系统可以对各个子系统发起校验，但是子系统是否接受校验以及校验什么内容，可以按照系统状态、预定义策略等自行决定，从而保证分布式系统的灵活性。

随后执行步骤S305，主系统接收上述响应命令包，并根据该响应命令包中的内容计算并得到对应该子系统的数据组的校验字。具体实现为：主系统接收到子系统的相应命令后，解开该响应命令包，得到每个数据组的组号和校验字，根据对应子系统编号及类型、需校验的数据组的组号，经主系统的校验计算单元对保存在主系统中对应该子系统数据组的数据进行计算，得到主系统对应的校验字。

紧接着执行步骤S306，主系统校验单元比较主、子系统中对应于需校验数据的校验字，如果本次返回的校验字一致，则执行步骤S307，检验顺利结束，并且对该子系统校验失败计数器清零。如果本次返回中有某一组校验不一致，则执行步骤S308，检验退出，重新向该子系统下发一次校验命令，并且对该子系统的对应校验失败计数器增加1；接着执行步骤S309，判断连续该子系统的相同分组校验失败的次数是否超过设定值，如果连续该子系统的相同分组校验失败的次数超过设定值，则执行步骤S310，否则，执行步骤S303。

最后，执行步骤S310，主系统根据定义的处理策略同步子系统不一致的数据。具体实现为：主系统根据事先定义的处理策略，可以进行如下操作(可选择1种或多种操作)：

(1)向分布式系统上报校验失败告警，然后由人工干预进行同步子系统不一致的数据；

(2)向对应子系统的不一致的数据组下发正确数据，同步子系统不一致的数据；

(3)向对应子系统下发全部数据，同步子系统不一致的数据；

(4)向所有子系统下发全部数据，同步子系统不一致的数据；以及其它待定义操作；

(5)触发分布式系统预定义的其它操作。

另外，当子系统由于突然掉电或其它情况意外复位后，以及预定义了某种情况下需要校验时，子系统可自行发起数据校验，向主系统自动上报自己需要校验的校验组号和校验字，此时，主系统收到子系统的触发，对该子系统需校验的数据进行一致性校验。在这种情况下，本发明的第三实施例是在所述步骤S302之前还包括下面两个步骤：

首先执行步骤S201，子系统调用校验字算法计算数据的校验字；数据校验字的计算方法，可根据整个系统的实际情况(系统的CPU处理能力和内存大小，以及是否满足系统校验的差错能力要求)进行选择，比如MD5、校验和Checksum和循环冗余校验码CRC，甚至自定义的某种算法等。

接着执行步骤S202，将数据组的组号及数据组的校验字上传给主系统。

本发明所述系统的实施例如图3所示，该系统包括子系统311、主子系统数据一致性检查单元312、主系统校验字计算单元313、数据同步管理单元314和子系统校验字计算单元315。

所述主子系统数据一致性检查单元312下发校验命令给子系统311，子系统311响应所述校验命令，调度子系统校验字计算单元315计算其数据的校验字，并将包括校验字的数据有关信息(数据组的组号和数据组的数目等)反馈给主子系统数据一致性检查单元312，主子系统数据一致性检查单元312根据子系统311的反馈信息得到子系统中对应该子系统数据的校验字，并根据所述反馈信息(数据组的组号和数据组的数目)向所述主系统校验字计算单元313下发查询主系统中对应该子系统数据的校验字，主系统校验字计算单元313接到查询命令，则读取主系统中事先保存的对应该子系统的数据，计算并得到主系统中对应该子系统数据的校验字，然后将该校验字反馈给主子系统数据一致性检查单元312，主子系统数据一致性检查单元312将主、子系统中对应该子系统数据的校验字进行比较，若一致，则结束校验；否则，通知数据同步管理单元314进行数据一致性校验及同步；所述数据同步管理单元314接收主子系统数据一致性检查单元的通知，并产生告警和/或进行同步处理。

本发明提供的技术方案，具有如下的有益效果：

由于本发明所述的方法采用主系统来完成子系统上报的校验字和主系统中对应该子系统的数据的校验字比较，如果比较结果不一致，则通知主系统的同步管理模块进行相应的处理，进而实现数据的一致性校验及同步，所以即使在需校验数据不兼容的情况下也能够很好地实现数据的一致性校验及同步。

再者，本发明由于采用主系统发送校验命令给子系统，即主系统统一控制校验调度的方式，以及采用子系统根据定义的处理策略自行决定返回校验内容的方式，提高了主、子系统数据校验的灵活性。

另外由于采用将数据划分为若干组数据，不仅减少了每次校验的计算量和通信量，而且便于根据具体组进行单独的处理，从而更加提高主、子系统数据校验的灵活性。

由于采用数据按照子系统类型、数据类型等方式定义数据组，从而保证开发的重用性，提高了开发效率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (12)

1、一种进行数据一致性校验及同步的方法，其特征在于，包括如下步骤：

A、主系统分别获取每个子系统数据对应在主、子系统内的校验字；

B、主系统将所述的每个子系统数据对应在主、子系统内的校验字进行比较，若一致，则结束校验；否则，同步对应的不一致的数据。

2、按照权利要求1所述的方法，其特征在于，所述步骤A具体包括：

A1、主系统发送校验命令给子系统；

A2、子系统接收校验命令，计算自己支持的数据的校验字，返回响应命令包给主系统；

A3、主系统接收该响应命令包，并根据该响应命令包中的内容计算得到对应该子系统的数据的校验字。

3、按照权利要求2所述的方法，其特征在于，步骤A2和步骤A3中所述响应命令包包括：子系统的编号及数据的校验字。

4、按照权利要求2所述的方法，其特征在于，

在步骤A之前还包括步骤：子系统依据子系统的类型和数据的类型将数据划分为若干组数据；

步骤A2和步骤A3中所述响应命令包包括：子系统的编号、数据组的组号和数据组的校验字及可选的包括数据组的数目。

5、按照权利要求3或4所述的方法，其特征在于，在步骤B中，所述同步对应的不一致的数据的过程包括：

上报校验失败告警，通知人工同步子系统不一致的数据；和/或

向对应子系统的不一致的数据下发正确数据，同步子系统不一致的数据；和/或

向对应子系统的全部数据下发正确数据，同步子系统不一致的数据；和/或

向所有子系统的全部数据下发正确数据，同步子系统不一致的数据。

6、按照权利要求5所述的方法，其特征在于，

所述步骤B中，当一致并结束校验之后，还包括对该子系统所有数据的校验失败计数器清零的过程。

7、按照权利要求1、2、3、4或6所述的方法，其特征在于，还包括：

C、校验退出；

D、校验失败时对该子系统对应的校验失败计数器累计加1；

E、判断该子系统对应的校验失败计数器的数值是否小于设定值，如小于设定值，则继续执行步骤A；否则，根据定义的处理策略同步对应该子系统不一致的数据。

8、按照权利要求7所述的方法，其特征在于，所述校验命令无需参数。

9、按照权利要求8所述的方法，其特征在于，在步骤A1之前还包括：

A4、子系统调用校验字算法计算数据的校验字；

A5、将数据及校验字上传给主系统。

10、按照权利要求9所述的方法，其特征在于，所述校验字算法包括：MD5算法、校验和Checksum算法或循环冗余校验码CRC算法。

11、一种进行数据一致性校验及同步的分布式系统，包括主、子系统，其特征在于，还包括：数据检查单元和数据同步管理单元；

所述数据检查单元用于分别获取每个子系统数据对应在主、子系统内的校验字，并进行比较，若一致，则结束校验；否则，通知数据同步管理单元产生告警和/或同步所述的不一致的数据；

所述数据同步管理单元用于响应数据检查单元的通知，产生告警和/或同步所述的不一致的数据。

12、按照权利要求11所述的分布式系统，其特征在于，还包括主系统校验字计算单元和子系统校验字计算单元；

所述主系统校验字计算单元用于计算主系统内对应子系统数据的校验字，并将该校验字提供给数据检查单元；

所述子系统校验字计算单元用于计算子系统内数据的校验字，并将该校验字提供给数据检查单元。

Images