CN102354292A

CN102354292A - 主、备数据库记录一致性校验方法及系统

Info

Publication number: CN102354292A
Application number: CN2011102810438A
Authority: CN
Inventors: 徐倩华; 夏光升; 马捷; 李小标; 张鸿; 郝振江; 樊冬进
Original assignee: National Computer Network and Information Security Management Center
Current assignee: National Computer Network and Information Security Management Center
Priority date: 2011-09-21
Filing date: 2011-09-21
Publication date: 2012-02-15

Abstract

本发明公开了一种主、备数据库记录一致性校验方法，包括如下步骤：在数据备份之前，对每条记录增加标识码字段和校验码字段，其中标识码字段是对记录的编号，校验码字段用于标识记录值的特征；在考察时间段内，将记录分成M个分片，并且对每个分片计算校验码，M为自然数；逐个对主、备数据库中对应的分片进行一致性检验；如果校验通过，则判定该分片内的记录一致，如果校验不通过，则再对该分片中的记录逐个进行一致性校验，以找出不一致的记录。采用本发明方法，不仅校验准确，而且校验效率较高，并具有技术方案简单，成本低等优点。本发明还相应公开了一种主、备数据库记录一致性校验系统，包括字段增加模块、分片模块和一致性校验模块。

Description

主、备数据库记录一致性校验方法及系统

技术领域

本发明属于数据库技术领域，尤其涉及一种主、备数据库记录一致性校验方法及系统。

背景技术

数据库备份主要解决主数据库出现故障时的数据安全问题，备份程序需要根据策略将主数据库中的记录同步到备份数据库，按照备份系统的设计，主、备数据库中的记录内容应该一致。但是实际应用时，由于网络、备份软件、计算机硬件或操作系统等故障，可能会出现备份数据库中的记录内容与主数据库中的记录不一致的情况，因而有必要对主、备数据库的记录进行检查，以发现主、备份数据库中不一致的记录，并对其进行修复。

现有技术中，对主、备数据库记录的一致性进行判断的方法主要有：

1、比较数据库大小：对数据库的记录的数量进行比较，或者对数据文件的大小进行比较。

2、比较数据文件的校验码：对数据文件计算校验码，并比较校验码是否一致。

3、比较记录的校验码：对每条数据库记录计算校验码，并比较校验码是否一致。

上述第1种方法，仅比较数据库记录数量，还不能确定记录内容是否一致；上述第2种方法，比较数据库记录文件，但由于数据库在不同系统中存写文件的差异，虽然文件不一致，数据记录仍然可能是一致的，因而该方法也容易存在误判；上述第3种方法，比较数据记录的校验码，可以很好地检查主、备数据库的记录是否一致，但由于要计算并比较每一条记录的校验码，工作量很大，严重影响系统的性能。

因此有必要开发一种新的主、备数据库记录一致性校验方法，既能够准确校验主、备数据库记录的一致性，又能够较现有方法显著提高校验效率。

发明内容

本发明要解决的技术问题是针对现有技术中存在的要么校验不准确，要么校验效率低的问题，提出一种校验准确，同时校验效率较高的主、备数据库记录一致性校验方法及系统。

为解决上述技术问题，本发明主、备数据库记录一致性校验方法包括如下步骤：

在数据备份之前，对每条记录增加标识码字段和校验码字段，其中标识码字段是对记录的编号，标识记录的唯一性，校验码字段用于标识记录值的特征；

在考察时间段内，将记录分成M个分片，并且对每个分片计算校验码，M为自然数；

逐个对主、备数据库中对应的分片进行一致性检验；如果校验通过，则判定该分片内的记录一致，如果校验不通过，则再对该分片中的记录逐个进行一致性校验，以找出不一致的记录。

进一步地，所述记录的校验码字段是对记录的原有各字段进行计算得到的。

更进一步地，对记录的原有各字段进行计算，可以是采用HASH算法进行计算，也可以是采用签名算法或其它专门算法进行计算。

进一步地，在考察时间段内，将记录分成M个分片的方法为：

在考察时间段内，以N个记录为一个分片，对该考察时间段内生成的所有记录依次进行分片，最后一个分片允许不足N个记录，N为自然数。

进一步地，对分片计算校验码的方法为：

采用专门算法对该分片中各记录的校验码字段进行计算，来得到分片的校验码。采用的专门算法可以是HASH算法，也可以是签名算法或其它专门算法。

进一步地，对主、备数据库中对应的分片进行一致性检验，采用的方法为：

判断主、备数据库中对应的分片的校验值以及记录个数是否一致，当主、备数据库中对应的分片的校验值以及记录个数均一致时，一致性校验通过；否则一致性校验不通过。

一种主、备数据库记录一致性校验系统，包括：

字段增加模块，用于在数据备份之前，对每条记录增加标识码字段和校验码字段，其中标识码字段是对记录的编号，标识记录的唯一性，校验码字段用于标识记录值的特征；

分片模块，用于在考察时间段内，将记录分成M个分片，并且对每个分片计算校验码，M为自然数；

一致性校验模块，用于逐个对主、备数据库中对应的分片进行一致性检验；如果校验通过，则判定该分片内的记录一致，如果校验不通过，则再对该分片中的记录逐个进行一致性校验，以找出不一致的记录。

进一步地，所述分片模块包括分片子模块和分片校验码计算子模块；其中，所述分片子模块用于在考察时间段内，以N个记录为一个分片，对该考察时间段内生成的所有记录依次进行分片，最后一个分片允许不足N个记录，N为自然数；所述分片校验码计算子模块用于对分片中各记录的校验码字段进行计算，可以是采用HASH算法进行计算，也可以是采用签名算法或其它专门算法进行计算，来得到该分片的校验码。

进一步地，所述一致性校验模块包括第一校验子模块和第二校验子模块；其中第一校验子模块用于判断主、备数据库中对应的分片的校验值以及记录个数是否一致，仅当主、备数据库中对应的分片的校验值以及记录个数均一致时，判定主、备数据库中对应分片的记录一致，其它情况判定为主、备数据库中对应分片的记录不一致；所述第二校验子模块用于，当所述第一校验子模块判定主、备数据库中对应分片的记录不一致时，对该对应分片中的记录逐个进行一致性校验，以找出不一致的记录。

本发明的有益效果为：

本发明使用标识码字段标识记录，使用校验码字段标识记录值的特征，并且在考察时间段内，将记录分成M个分片，为了提高一致性校验效率，本发明将一致性校验过程划分为两个阶段实施，其中第一阶段校验主、备数据库中对应分片的整体特征，若整体特征相符，则认为对应分片内的记录一致，若对应分片的整体特征不符，则进入第二阶段，对主、备数据库中该对应分片内的各记录的特征分别进行比较，以查找出该对应分片内不一致的记录。

采用本发明方案能够显著提高主、备数据库记录一致性校验的效率，并且本发明还具有技术方案实施简便、成本低等优点。

附图说明

图1为本发明第一实施例的主、备数据库记录一致性校验方法流程示意图；

图2为本发明第二实施例的主、备数据库记录一致性校验系统结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细说明。

本发明第一实施例提供了一种主、备数据库记录一致性校验方法，如图1所示，该实施例中，本发明主、备数据库记录一致性校验方法具体包括如下步骤：

步骤101，在数据备份之前，对每条记录增加标识码字段和校验码字段，其中标识码字段即记录的编号，用于标识记录的唯一性，校验码字段用于标识记录值的特征。该实施例中，可以单独增加一个包含这两个字段的数据表，如表一所示。

表一、包含标识码字段和校验码字段的数据表

记录的校验码字段可以是对记录的原有各字段进行计算得到的，可以是用HASH算法进行计算，也可以是用签名算法或其它专门算法进行计算。当然，记录的校验码字段也可以采用其它合理的方式来得到，只要其能够表征记录值的特征即可。

步骤102，在某个考察时间段Δt(Δt表示起点t1和终端t2均确定的一段时间)内，将记录分成M个分片，并且对每个分片计算校验码，M为自然数。得到的分片如表二所示，其中记录生成时间段即上述考察时间段。

表二、分片示意表

该实施例中，在考察时间段内，将记录分成M个分片的方法为：

在考察时间段内，以N个记录为一个分片，对该考察时间段内生成的所有记录依次进行分片，最后一个分片允许不足N个记录，其中N为自然数。

当然，在考察时间段内，将记录分成M个分片还可以采用其它方法，并不局限于本实施例提供的方法，例如前M-1个分片的记录个数也不一定要求相等，即不一定均为N个。

该实施例中，对分片计算校验码的方法可以为：

对该分片中各记录的校验码字段进行计算，可以是采用HASH算法进行计算，也可以是采用签名算法或其它专门算法进行计算，来得到分片的校验码。

当然，分片的校验码也可以采用其它合理的方式来得到，只要其能够表征该分片的特征即可。

步骤103，逐个对主、备数据库中对应的分片进行一致性检验；如果校验通过，则判定该分片内的记录一致，如果校验不通过，则再对该分片中的记录逐个进行一致性校验，以找出不一致的记录。

该实施例中，对主、备数据库中对应的分片进行一致性检验，采用的方法为：

该步骤具体可以按如下方式来实现：

步骤1031，将主用数据库中某个分片的记录个数、考察时间段Δt、最小记录R_min、最大记录标识码R_ma和分片校验码V_N发送至备用数据库端。

步骤1032，在备用数据库端，根据Δt、R_min和R_max查询记录，如果：

1)查询的记录个数与主用数据库端发送来的分片记录个数不一致，则该对应的记录分片不一致；

2)查询的记录个数与主用数据库端发送来的分片记录个数相一致，但根据备用数据库的该分片计算得到的分片验证码与主用数据库端发送来的对应分片的验证码V_N不一致，则该对应分片的记录不一致；

3)查询的记录个数与主用数据库端发送来的分片记录个数相一致否则，并且根据备用数据库的该分片计算得到的分片验证码与主用数据库端发送来的对应分片的验证码V_N相一致，则判定主、备数据库的该对应分片的记录一致。

对于记录不一致的对应分片记录集，再做后续处理：

向主用数据库端请求该对应分片内各记录的记录标识码和记录校验码{＜Ri，Vi＞|i＝1，2，3，...，N}，并以这些数据与备用数据库中的记录逐条进行比较，直到找到有问题的记录。

在找到不一致的记录时，可以从主数据库中将不一致的数据同步到备份数据库。

本发明第二实施例提供了一种主、备数据库记录一致性校验系统，如图2所示，该实施例中，本发明主、备数据库记录一致性校验系统包括字段增加模块201、分片模块202和一致性校验模块203。

其中，字段增加模块201用于在数据备份之前，对每条记录增加标识码字段和校验码字段，其中标识码字段即记录的编号，用于标识记录的唯一性，校验码字段用于标识记录值的特征。

该实施例中，记录的校验码字段可以是对记录的原有各字段进行计算得到的，具体地，可以是用HASH算法进行计算，也可以是用签名算法或其它专门算法进行计算得到的。当然，记录的校验码字段也可以采用其它合理的方式来得到，只要其能够表征记录值的特征即可。

分片模块202用于在考察时间段内，将记录分成M个分片，并且对每个分片计算校验码，M为自然数。

分片模块202包括分片子模块2021和分片校验码计算子模块2022。其中，分片子模块2021用于在考察时间段内，以N个记录为一个分片，对该考察时间段内生成的所有记录依次进行分片，最后一个分片允许不足N个记录，N为自然数；分片校验码计算子模块2022用于对分片中各记录的校验码字段进行计算，可以是采用HASH算法进行计算，也可以是采用签名算法或其它专门算法进行计算，来得到该分片的校验码。

当然，分片子模块2021在考察时间段内，将记录分成M个分片还可以采用其它方案，并不局限于本实施例提供的上述方案，例如前M-1个分片的记录个数也不一定要求相等，即不一定均为N个。

分片的校验码也可以采用其它合理的方式来得到，只要其能够表征该分片的特征即可。

一致性校验模块203用于逐个对主、备数据库中对应的分片进行一致性检验；如果校验通过，则判定该分片内的记录一致，如果校验不通过，则再对该分片中的记录逐个进行一致性校验，以找出不一致的记录。

一致性校验模块203包括第一校验子模块2031和第二校验子模块2032；其中第一校验子模块2031用于判断主、备数据库中对应的分片的校验值以及记录个数是否一致，仅当主、备数据库中对应的分片的校验值以及记录个数均一致时，判定主、备数据库中对应分片的记录一致，其它情况判定为主、备数据库中对应分片的记录不一致；第二校验子模块2032用于，当第一校验子模块2031判定主、备数据库中对应分片的记录不一致时，对该对应分片中的记录逐个进行一致性校验，以找出不一致的记录。

以上所述的具体实施例，对本发明的技术方案进行了进一步详细说明，所应注意的是，以上所述仅为本发明的具体实施例而已，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求记载的技术方案及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种主、备数据库记录一致性校验方法，其特征在于，包括如下步骤：

在数据备份之前，对每条记录增加标识码字段和校验码字段，其中标识码字段是对记录的编号，校验码字段标识记录值的特征；

2.根据权利要求1所述的主、备数据库记录一致性校验方法，其特征在于，所述记录的校验码字段是对记录的原有各字段进行计算得到的。

3.根据权利要求2所述的主、备数据库记录一致性校验方法，其特征在于，对记录的原有各字段进行计算，采用的算法为HASH算法或签名算法。

4.根据权利要求1所述的主、备数据库记录一致性校验方法，其特征在于，在考察时间段内，将记录分成M个分片的方法为：

5.根据权利要求1所述的主、备数据库记录一致性校验方法，其特征在于，对分片计算校验码的方法为：

采用专门算法对该分片中各记录的校验码字段进行计算，得到分片的校验码。

6.根据权利要求1至5中任一项所述的主、备数据库记录一致性校验方法，其特征在于，对主、备数据库中对应的分片进行一致性检验，采用的方法为：

7.一种主、备数据库记录一致性校验系统，其特征在于，包括：

字段增加模块，用于在数据备份之前，对每条记录增加标识码字段和校验码字段，其中标识码字段是对记录的编号，校验码字段标识记录值的特征；

8.根据权利要求7所述的主、备数据库记录一致性校验系统，其特征在于，所述记录的校验码字段是对记录的原有各字段进行计算得到的。

9.根据权利要求7所述的主、备数据库记录一致性校验系统，其特征在于，所述分片模块包括分片子模块和分片校验码计算子模块；

其中，所述分片子模块用于在考察时间段内，以N个记录为一个分片，对该考察时间段内生成的所有记录依次进行分片，最后一个分片允许不足N个记录，N为自然数；

所述分片校验码计算子模块用于对分片中各记录的校验码字段进行计算，可以是采用HASH算法进行计算，也可以是采用签名算法或其它专门算法进行计算，来得到该分片的校验码。

10.根据权利要求7或8或9所述的主、备数据库记录一致性校验系统，其特征在于，所述一致性校验模块包括第一校验子模块和第二校验子模块；

其中第一校验子模块用于判断主、备数据库中对应的分片的校验值以及记录个数是否一致，仅当主、备数据库中对应的分片的校验值以及记录个数均一致时，判定主、备数据库中对应分片的记录一致，其它情况判定为主、备数据库中对应分片的记录不一致；

所述第二校验子模块用于，当所述第一校验子模块判定主、备数据库中对应分片的记录不一致时，对该对应分片中的记录逐个进行一致性校验，以找出不一致的记录。