CN101009703A - 一种验证数据同步的方法及系统 - Google Patents

Abstract

本发明提供了一种验证数据同步的系统，包括多个等待验证数据是否同步的数据存储单元，所述系统还包括计算单元和比较单元，其中，计算单元用以对所述多个数据存储单元中的待验证数据分别进行加工计算获得各自的计算结果，并将所述计算结果输出至比较单元，所述计算结果的数据容量小于其对应的待验证数据的数据容量；比较单元用以对所述计算单元输入的各计算结果进行一致性比较，并根据所述一致性比较结果判定对应的所述各待验证数据是否同步。本发明还提过了一种验证数据同步的方法。通过本发明提供的技术方案，在一定程度上解决了现有验证数据同步时的比较性能瓶颈问题。

Description

一种验证数据同步的方法及系统

技术领域

本发明属于数据通信技术领域，尤其涉及一种验证数据同步的方法及系统。

背景技术

现代通信系统为了提高系统性能，往往采取多系统并行执行的分布式处理架构，每个分布式处理模块拥有自己的处理器和业务表，对于本模块接收到的数据，根据自己的业务表信息来处理数据业务流量。这种分布式处理架构，可以成倍地提高系统的性能。但同时，也为系统带来了一定的附加要求。其中一个要求就是要保证各个分布式处理模块的业务表信息保持一致，如果各个分布式处理模块的业务表信息不一致，会导致数据业务流量在分布式系统各个单元中的处理方式不一致，进而造成处理错误。

在一个成熟的分布式处理系统中，各分布式处理模块中的业务表绝大多数情况下是能够保持一致性的，进而系统可以正常地处理业务。但是，在某些偶然情况下，比如系统中的某些部分由于拥塞等因素，导致部分业务表同步信息丢失，会造成各业务表信息不一致，一些商用的系统往往会采取一些容错机制：比如在无法获知各个分布式处理模块业务表是否一致的情况下，在某个空闲时段强制同步各个业务表。

业务表不一致是系统运行过程中很少发生的小概率事件，但在该事件发生后能够及时将其检测出来是一个良好的系统需要具备的能力。业界普遍的做法是花费大量的时间与精力去验证各个分布式处理模块的业务表是否一致(即是否同步)。现有方案一般是在分布式系统的各个分布式处理模块之间互相传递业务表，逐个比较每个表项，如果所有表项相等则认为业务表是同步的。请参阅图1，其为现有验证主控业务表与各个线卡上业务表是否同步的过程示意图。各个线卡可以将自己的业务表传递给主控板，由主控板接收到的线卡业务表与自己的业务表(主控业务表)进行逐一比较，如果相等则认为表项同步；如果不相等，则认为表项不同步，启动表项同步更新操作。

根据上述现有验证分布式数据是否同步的过程可知，现有数据同步验证方案是将分布式系统中各分布式处理模块的待验证数据(如业务表)集中传输到一个分布式处理模块上进行一致性比较。由于每个分布式处理模块的待验证数据量非常大，而对大量数据进行比较会消耗大量的处理器时间和资源，因此，负责集中进行一致性比较的所述分布式处理模块会极大消耗自己的系统资源，进而，容易造成该模块上其它业务的延迟或中断，有些业内人士称这种现象为表项一致性比较的性能瓶颈。

发明内容

本发明的目的是提供一种验证数据同步的系统及方法，以解决现有验证数据同步时造成的比较性能瓶颈问题。

为解决上述问题，本发明提供了一种验证数据同步的系统，包括多个等待验证数据是否同步的数据存储单元，所述系统还包括计算单元和比较单元，其中，计算单元用以对所述多个数据存储单元中的待验证数据分别进行加工计算获得各自的计算结果，并将所述计算结果输出至比较单元，所述计算结果的数据容量小于其对应的待验证数据的数据容量；比较单元用以对所述计算单元输入的各计算结果进行一致性比较，并根据所述一致性比较结果判定对应的所述各待验证数据是否同步。

优选的，所述计算单元包括多个计算子单元，每个计算子单元对应于一个数据存储单元，所述计算子单元用于为其对应的数据存储单元中的待验证数据进行加工计算并向比较单元输出计算结果。

优选的，所述系统具体为分布式处理系统，其中，所述每个数据存储单元与其对应的计算子单元属于同一个分布式处理模块。

优选的，所述计算单元具体为循环冗余校验计算引擎或校验和计算引擎。

优选的，所述计算单元具体为分布式处理系统中各分布式处理模块的硬件计算引擎。

优选的，所述系统还包括：计算策略单元，用以告知所述计算单元对待验证数据进行加工计算的具体计算策略。

优选的，所述系统还包括：比较策略单元，用以告知所述比较单元根据所述一致性比较结果判定各待验证数据是否同步的具体判定依据。

本发明还提供了一种验证数据同步的方法，所述方法包括：将等待验证是否同步的各待验证数据分别进行加工计算获得各自的计算结果，所述待验证数据的数据容量大于其对应的计算结果的数据容量；将所述获得的各计算结果进行一致性比较，根据所述一致性比较结果判定对应的所述各待验证数据是否同步。

优选的，所述各待验证数据具体为分布式处理系统中各分布式处理模块中的待验证数据。

优选的，如果所述待验证数据相同，则将所述待验证数据加工计算后获得的计算结果也相同。

优选的，所述将待验证数据进行加工计算的过程具体为：将待验证数据进行循环冗余校验计算，所述计算结果具体为待验证数据的循环冗余校验值；或者

所述将待验证数据进行加工计算的过程具体为：将待验证数据进行校验和计算，所述计算结果具体为待验证数据的校验和。

通过以上技术方案可以看出，在本发明中，并不是对各待验证数据直接进行比较，而是对各待验证数据进行加工计算后获得的容量更小的计算结果进行比较，进而根据所述各计算结果的一致性比较结果来判定所述各待验证数据是否同步。由于计算结果的数据容量一般远远小于对应的待验证数据，因此进行一致性比较时消耗的系统资源、时间相对较少，因此在一定程度上解决了现有验证数据同步时的比较性能瓶颈问题。

附图说明

图1为现有验证主控业务表与各个线卡上业务表是否同步的过程示意图；

图2为本发明一种验证数据同步的系统实施例结构示意图；

图3为本发明一种更为具体的验证数据同步的系统实施方式结构示意图；

图4为本发明一种验证数据同步的方法实施例流程示意图。

具体实施方式

以下结合附图对本发明各实施例进行详细介绍。

请参阅图2，其为本发明公开的一种验证数据同步的系统实施例结构示意图。在本实施例中仅以分布式系统中对三个分布式处理模块中的待验证数据进行同步验证为例，进行说明。

从图中可以看出，所述系统包括三个数据存储单元、三个计算子单元和一个比较单元24。具体而言，第一数据存储单元211和第一计算子单元212位于第一分布式处理模块中；第二数据存储单元221和第二计算子单元222位于第二分布式处理模块中；第三数据存储单元231和第三计算子单元232位于第三分布式处理模块中。第一数据存储单元211中的第一待验证数据、第二数据存储单元221中的第二待验证数据和第三数据存储单元231中的第三待验证数据是三种应该保持一致性的数据(如业务表数据)。本系统为了保持这三个数据的一致性，通过各计算子单元和比较单元24进行同步验证，下面结合该系统的工作原理进一步介绍其内部结构。

首先，各数据存储单元向对应的计算子单元输入待验证数据。具体而言，第一数据存储单元211向第一计算子单元212输入第一待验证数据；第二数据存储单元221向第二计算子单元222输入第二待验证数据；第三数据存储单元231向第三计算子单元232输入第三待验证数据。

进而，各计算子单元对输入的待验证数据进行加工计算，向比较单元24输出计算结果。具体而言，第一计算子单元212通过对第一待验证数据进行加工计算得出第一计算结果，并输出至比较单元24；第二计算子单元222通过对第二待验证数据进行加工计算得出第二计算结果，并输出至比较单元24；第三计算子单元232通过对第三待验证数据进行加工计算得出第三计算结果，并输出至比较单元24。所述各计算子单元的加工计算方式是相同的，换而言之，如果输入各计算子单元的待验证数据相同，那么输出的各计算结果也相同。所述各计算子单元可以是循环冗余校验计算引擎或校验和计算引擎，例如分布式处理系统中各分布式处理模块的硬件计算引擎一般都具有循环冗余校验计算功能或校验和计算功能。经过计算子单元加工计算后获得的计算结果在数据容量上比对应的待校验数据远远小的多。例如，对数据进行循环冗余校验，无论输入数据长度多大，按照CRC(Cyclic Redundancy Check，循环冗余校验)32算法，都会得到固定长度的32位计算结果。

可选的，当计算子单元具有多种计算功能的情况下，可以通过一个计算策略单元告知各计算子单元应该对待验证数据进行加工计算的具体策略。当然，如果各计算子单元的加工计算功能比较单一，对每种输入数据都进行相同的计算操作，那么也可以不需要设置计算策略单元。

最后，由比较单元14对各计算子单元输入的计算结果进行一致性比较，并根据一致性比较结果判定所述第一、第二以及第三待验证数据是否同步。具体而言，比较单元14将第一计算结果、第二计算结果以及第三计算结果进行比较，判断三者是否一致，如果完全一致即可判定所述第一、第二以及第三待验证数据是同步的；如果不一致，可以根据不一致的差异度以及预先设置的宽容度得出是否同步的结果，例如，当得出的不一致差异度小于某个范围时，也可以认为这三项数据是同步的。当然，也可以不设置宽容度，认为只要各计算结果不一致就认为这三项数据不同步。可选的，可以在系统中设置一个比较策略单元来告知比较单元24根据一致性比较结果判定各待验证数据是否同步的具体判定依据。本领域技术人员应该意识到，也可以直接在比较单元24中直接配置具体的比较策略。

请参阅图3，其为本发明一种更为具体的验证数据同步的系统实施方式结构示意图。本实施方式中，主要是对业务板业务表与各线卡业务表之间是否同步进行验证，其中利用各分布式处理模块的处理器中集成的一些硬件计算引擎实现计算单元的功能。本系统包括主控板业务表31、线卡1业务表341、线卡2业务表342、线卡3业务表343、多个硬件计算引擎32以及比较单元33。

现代处理器往往会集成一些硬件计算引擎，例如MD5(message-digestalgorithm5，信息-摘要算法)功能引擎，这些硬件计算引擎可以用来实现循环冗余校验、校验和计算等功能。这类计算引擎通常具有3个主要特点：

1、如果输入数据相同，那么计算之后的结果也是相同的。

2、将输入的较大容量数据进行计算，输出很小容量的计算结果。比如，对数据进行循环冗余校验，无论输入数据长度多大，按照CRC32算法，都会得到固定长度的32位计算结果。

3、因为是专用的硬件引擎，通常具有较快的计算速度。

如果能够利用系统中的这些硬件计算引擎，将本分布式处理模块内的容量较大的业务表进行计算，得到容量较小的计算结果，再将计算结果传递给比较单元进行比较。这样只传递计算结果会比传递整个表会显著地减少在系统总线上传输的带宽，而且比较单元在进行一致性比较时也会减少消耗的时间和系统资源。比较单元通过比较结果以及系统设定的比较策略，可以在使用很少的CPU资源和总线资源的情况下，得出分布式系统各个处理模块之间的业务表同步或不同步的结论。

在阐述本实施方式所示系统的具体工作原理之前，先介绍和本实施方式有关的几个概念：

1、一致性验证时间点：是指系统中需要对各业务表进行一致性验证的时间点，时间点的设定可以根据系统需要和业务表的特点决定，可以是事件驱动的，也可以是按某个定长或变长的周期性时钟设置。如果系统中存在多种业务表需要验证，那么每种业务表的一致性验证时间点可以分别设置。当到达一致性验证时间点时，各个分布式处理模块即开始进行一致性计算和验证。

2、计算策略：是指对系统中哪些业务表，或一个业务表的哪个部分，采用什么算法进行计算。比如约定对某种业务表进行32位的校验和计算，对另外一种业务表采用循环冗余校验计算。此外，还可以将业务表分割为若干个较小的部分，对这些较小的部分分别进行计算并得出各自的计算结果，然后把这些计算结果发送给比较单元进行一致性判定。

3、比较策略：是指根据计算结果的一致性比较结果判定业务表是否同步的具体判定依据。判定依据包括但不限于：本次计算的计算结果、历史计算结果、如何根据本次比较结果和前几次的比较结果得出是否同步的结论。如果根据计算策略，一个表的计算被分分割为多个较小的部分分别进行计算，就会有多个计算结果的一致性比较结果。如果在表项动荡较快的时候，也可以将比较策略配置成有较大的宽容度，即认为计算结果的不一致性小于某个数值时，也可以认为对应的业务表是同步的。

4、发起单元：是指负责通知系统中各个分布式处理模块在某个特定的时间点开始进行按照指定的计算策略进行计算，并将计算结果发给指定的比较单元。发起单元可以是系统中任意一个分布式处理模块，同时自己也可以接收消息并对消息进行响应。如果分布式系统中的各个分布式处理模块不需要他人通知就可以准确获得一致性验证时间点、计算策略和比较策略，而且知道应该把计算结果发给哪个比较单元，那么发起单元是可以省略的。

5、比较单元：是指负责接收系统中所有计算单元输出的计算结果，并对所述计算结果进行一致性比较，然后结合系统的比较策略得出各业务表是否同步结论的单元。比较单元可以设置于任意一个分布式处理模块中。

以上介绍了本具体实施方式所示系统涉及的几个概念，下面详细公开该系统的工作原理：

1、对系统进行配置。如果各分布式处理模块都具有发起单元的功能，那么需要指定一个发起单元；配置具体的计算策略和比较策略；如果各分布式处理模块都具有比较单元的功能，则指定其中一个作为比较单元。

2、系统中的发起单元按照一致性验证时间点发送一个广播消息，通知系统中各分布式处理模块对指定的业务表进行一致性验证。消息中可以指定需要同步的业务表名称、计算策略信息、比较策略信息以及比较单元的具体信息等。

3、收到消息的各分布式处理模块按照消息中的内容，对指定的业务表按照计算策略进行计算，得到计算结果。具体而言，主控板业务表31通过本板上的硬件计算引擎32进行加工计算得出计算结果；同理，线卡1业务表341、线卡2业务表342以及线卡3业务表343也分别通过各自板上的硬件计算引擎32得出各自对应的计算结果。

4、各硬件计算引擎将计算结果通过消息发送给比较单元33。具体而言，业务板以及各线卡都将经过硬件计算引擎加工计算后得到的计算结果输入至比较单元33。

5、比较单元对输入的各计算结果进行一致性比较，并根据比较结果和比较策略得出业务表是否同步的结论。如果判定业务表不同步，则启动表项同步操作；如果判定业务表同步，则等待下一个同步验证周期的到来。

如果系统中存在多个需要验证数据是否同步的业务表，则可以反复应用上述过程，逐个验证。也可以通过在计算策略和比较策略中并行处理多个业务表，即各个分布式处理模块同时计算多个业务表，分别得出计算结果，然后把这些计算结果发给比较单元，比较单元再根据比较结果以及比较策略判定业务表是否同步。

请参阅图4，其为本发明一种验证数据同步的方法实施例的流程示意图。

步骤410：将等待验证是否同步的各待验证数据分别进行加工计算获得各自的计算结果，所述待验证数据的数据容量大于其对应的计算结果的数据容量。

所述各待验证数据具体为分布式处理系统中各分布式处理模块中的待验证数据。如果所述各待验证数据相同，则将所述待验证数据加工计算后获得的计算结果也相同。具体而言，可以将待验证数据进行循环冗余校验计算，得出的计算结果是所述待验证数据的循环冗余校验值；或者将待验证数据进行校验和计算，得出的计算结果是待验证数据的校验和。

步骤420：将所述获得的各计算结果进行一致性比较，根据所述一致性比较结果判定对应的所述各待验证数据是否同步。

通过以上多个实施例以及具体实施方式可以看出，在本发明技术方案中，并不是对各待验证数据直接进行比较，而是对各待验证数据进行加工计算后获得的容量更小的计算结果进行比较，进而根据所述各计算结果的一致性比较结果来判定所述各待验证数据是否同步。由于计算结果的数据容量一般远远小于对应的待验证数据，因此进行一致性比较时消耗的系统资源、时间相对较少，较好的解决了现有验证数据同步时的比较性能瓶颈问题。

进一步，由于一般情况下，待验证数据的数据存储单元与其对应的计算单元属于同一个分布式处理模块，因此，各分布式处理模块之间不必传递大容量的待验证数据，只需传递容量较小的计算结果，因此节约了分布式系统各个分布式处理模块之间的通信带宽。

更进一步，由于只需要对数据容量较小的计算结果进行一致性验证，因此缩短了验证时间，进而也就减少了验证过程中表项变化的概率，从而提高了验证的准确性。

虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。

Claims (11)

1、一种验证数据同步的系统，包括多个等待验证数据是否同步的数据存储单元，其特征在于，所述系统还包括计算单元和比较单元，其中，

计算单元，用以对所述多个数据存储单元中的待验证数据分别进行加工计算获得各自的计算结果，并将所述计算结果输出至比较单元，所述计算结果的数据容量小于其对应的待验证数据的数据容量；

比较单元，用以对所述计算单元输入的各计算结果进行一致性比较，并根据所述一致性比较结果判定对应的所述各待验证数据是否同步。

2、根据权利要求1所述的系统，其特征在于，所述计算单元包括多个计算子单元，每个计算子单元对应于一个数据存储单元，所述计算子单元用于为其对应的数据存储单元中的待验证数据进行加工计算并向比较单元输出计算结果。

3、根据权利要求2所述的系统，其特征在于，所述系统具体为分布式处理系统，其中，所述每个数据存储单元与其对应的计算子单元属于同一个分布式处理模块。

4、根据权利要求1所述的系统，其特征在于，所述计算单元具体为循环冗余校验计算引擎或校验和计算引擎。

5、根据权利要求1所述的系统，其特征在于，所述计算单元具体为分布式处理系统中各分布式处理模块的硬件计算引擎。

6、根据权利要求1至5中任意一项所述的系统，其特征在于，所述系统还包括：

计算策略单元，用以告知所述计算单元对待验证数据进行加工计算的具体计算策略。

7、根据权利要求1至5中任意一项所述的系统，其特征在于，所述系统还包括：

比较策略单元，用以告知所述比较单元根据所述一致性比较结果判定各待验证数据是否同步的具体判定依据。

8、一种验证数据同步的方法，其特征在于，所述方法包括：

将等待验证是否同步的各待验证数据分别进行加工计算获得各自的计算结果，所述待验证数据的数据容量大于其对应的计算结果的数据容量；

将所述获得的各计算结果进行一致性比较，根据所述一致性比较结果判定对应的所述各待验证数据是否同步。

9、根据权利要求8所述的方法，其特征在于，所述各待验证数据具体为分布式处理系统中各分布式处理模块中的待验证数据。

10、根据权利要求8所述的方法，其特征在于，如果所述待验证数据相同，则将所述待验证数据加工计算后获得的计算结果也相同。

11、根据权利要求8至10中任意一项所述的方法，其特征在于，

所述将待验证数据进行加工计算的过程具体为：将待验证数据进行循环冗余校验计算，所述计算结果具体为待验证数据的循环冗余校验值；或者

所述将待验证数据进行加工计算的过程具体为：将待验证数据进行校验和计算，所述计算结果具体为待验证数据的校验和。

Images