CN104111937A - 主、备数据库及其数据一致性检测、修复方法和装置 - Google Patents

Abstract

本发明公开了一种主、备数据库及其数据一致性检测、修复方法和装置，从主数据库导出待检测的主文件；并从备数据库导出与该主文件对应的备文件；进而将主文件和备文件进行比较，根据比较结果判断该主文件和备文件的一致性，且可进一步根据一致性的检测结果修复备数据库中的数据。可见，本发明提供的主备数据库数据一致性检测方法及装置可实现对主数据库和备数据库中数据一致性的检测；且本发明提供的主备数据库数据一致性修复方法及装置可根据检测结果进一步实现对备数据库中数据的修复；当发生数据冲突以后，可及时修复不一致的数据，提高数据质量和复制系统的稳定性。

Description

主、备数据库及其数据一致性检测、修复方法和装置

技术领域

本发明涉及电信业务数据库应用领域，尤其涉及数据库复制过程中，通过对主、备数据库数据一致性检测和修复，提高数据库复制系统稳定性的技术。

背景技术

在软件行业，数据库作为存储中心，各种数据库应用都是在数据库上开展。在电信业务数据库软件行业，人们对数据库要求越来越高。一方面需要在平时提供7×24小时的不间断服务，保证关键数据完整性；另一方面，当发生灾难主数据库数据遭受损坏时，需要在不丢失或者少丢失数据的前提下，迅速恢复数据库，保证业务的连续性。为此，人们发明了数据库复制技术，该技术建立主、备两个数据库，将主数据库数据的变化同步到备数据库，备数据库处于待命状态。此外，数据库复制技术还应用于数据分发与集中、负荷分担等各种场景。

保证主、备数据库数据的一致性非常重要。当发生主数据库发生故障时，系统发生切换，备数据库升级为主用状态。这种机制只有在主备数据库的数据完全一致时，才能保证业务正常进行。如果主备数据库的数据不一致，当主数据库数据的变化同步到备数据库的时候，会发生数据冲突。数据冲突将使系统稳定性降低，需要尽快解决。如果没有及时解决，相应的复制进程将暂停或终止，数据库复制功能将失效。

在实现本发明的过程中，发明人发现现有的复制技术没有提供任何有效的措施对主、备份数据的一致性进行检测和修复，至少存在以下缺点：目前主流数据库厂商提供了数据库复制技术，但是缺少数据一致性检测、修复功能或产品；在电信业务数据库应用软件领域，由应用软件实现的主备数据库复制系统缺乏一种快速、有效的主备数据库数据比较方法，不能在线发现主备数据不一致性，当发生数据冲突以后，也不能及时修复不一致的数据，造成复制系统稳定性下降。

所以，主、备数据库数据的一致性检测和修复是一项重要的工作，如何实时地检测主、备数据库的数据是否一致，在系统不繁忙时，对不一致的数据进行修复以使主、备数据库的数据达到一致，成为了一个亟待解决的重要问题。

发明内容

本发明要解决的主要技术问题是，提供一种主、备数据库及其数据一致性检测、修复方法和装置。

为解决上述技术问题，本发明提供一种主备数据库数据一致性检测方法,所述方法包括：

从主数据库导出待检测的主文件；并从备数据库导出与所述主文件对应的备文件；

将所述主文件和所述备文件进行比较，根据比较结果判断所述主文件和所述备文件的一致性。

在本发明的一种实施例中，所述将所述主文件和所述备文件比较包括：

比较所述主文件和所述备文件的文件大小是否相同，和/或比较所述主文件和所述备文件存储数据的行数是否相同,和/或基于唯一索引比较所述主文件和所述备文件是否相同，和/或比较所述主文件和所述备文件的摘要值是否相同。

在本发明的一种实施例中，判断主文件和备文件是否相同包括：

分别计算所述主文件和所述备文件的消息摘要得到主文件摘要值和备文件摘要值；

比较所述主文件摘要值和所述备文件摘要值是否一致；如是，则所述主文件和所述备文件一致；否则，将所述主文件和所述备文件进行进一步比较。

在本发明的一种实施例中，所述从主数据库导出待检测的主文件包括：

确定所述主数据库中待检测的主数据表，所述主数据表包括主唯一索引字段；

获取所述主数据表的表属性信息和主唯一索引字段并保存在所述主文件中，并根据所述主唯一索引字段从所述主数据表中导出对应的数据保存在所述主文件中；

所述从备数据库导出与所述主文件对应的备文件包括：

确定所述备数据库中与所述主数据表对应的备数据表，所述备数据表包括备唯一索引字段；

获取所述备数据表的表属性信息和备唯一索引字段并保存在所述备文件中，并根据所述备唯一索引字段从所述备数据表中导出对应的数据保存在所述备文件中。

在本发明的一种实施例中，将所述主文件和所述备文件进行进一步比较为基于唯一索引比较所述主文件和所述备文件是否相同，包括：

分别依次按行读取所述主文件和所述备文件的数据；

分别获取所述主文件和所述备文件中当前行数据中的主唯一索引列数据和备唯一索引列数据；

将所述主唯一索引列数据和所述备唯一索引列数据进行比较判断是否一致，如否，根据比较结果生成修复指令；如是，则分别获取所述主文件和所述备文件中当前行的其他列数据进行比较判断是否一致，如不一致，根据比较结果生成修复指令后转至下一行，如一致，直接转至下一行，直至所述主文件或所述备文件的最后一行。

在本发明的一种实施例中，所述主文件和所述备文件中的数据分别按照所述主唯一索引列数据和所述备唯一索引列数据升序排列；

当所述主唯一索引列数据和所述备唯一索引列数据不一致时，生成修复指令包括：

如所述备唯一索引列数据比所述主唯一索引数据大，生成的修复指令为在所述备数据库中插入所述主文件中该行的数据；

如所述备唯一索引列数据比所述主唯一索引数据小，生成的修复指令为在所述备数据库中删除所述备文件中该行的数据；

当所述主文件和所述备文件中当前行的其他列数据不一致时，生成的修复指令为：

将备数据库中该行的数据更新为所述主文件中该行的数据。

在本发明的一种实施例中，从主数据库导出待检测的主文件，并从备数据库导出与所述主文件对应的备文件之前，还包括：

接收检测流程触发指令，所述检测流程触发指令在非业务高峰期发送，和/或在所述主、备数据库数据同步后发送，和/或主、备数据库配置数据修改成功后发送。

在本发明的一种实施例中，根据所述比较结果判断所述主文件和所述备文件不一致时，还包括发送告警。

为了解决上述问题，本发明还提供了一种主备数据库数据一致性修复方法，所述方法包括：

根据如上所述的主备数据库数据一致性检测方法检测所述主数据库和所述备数据库中待检测的数据是否一致；根据检测结果对所述备数据库中相应的数据进行修复。

为了解决上述问题，本发明还提供了一种主备数据库数据一致性检测装置,所述装置包括文件导出模块、比较模块；

所述文件导出模块用于从主数据库导出待检测的主文件，以及用于从备数据库导出与所述主文件对应的备文件；

所述比较模块用于将所述主文件和所述备文件进行比较，根据比较结果判断所述主文件和所述备文件的一致性。

在本发明的一种实施例中，所述比较模块将所述主文件和所述备文件比较包括：

比较所述主文件和所述备文件的文件大小是否相同，和/或比较所述主文件和所述备文件存储数据的行数是否相同,和/或基于唯一索引比较所述主文件和所述备文件是否相同，和/或比较所述主文件和所述备文件的摘要值是否相同。

在本发明的一种实施例中，所述比较模块包括摘要计算子模块、摘要比较子模块；

所述摘要计算子模块用于分别计算所述主文件和所述备文件的消息摘要得到主文件摘要值和备文件摘要值；

所述摘要比较子模块用于比较所述主文件摘要值和所述备文件摘要值是否一致；如是，则所述主文件和所述备文件一致。

在本发明的一种实施例中，所述文件导出模块从主数据库导出待检测的主文件包括：

确定所述主数据库中待检测的主数据表，所述主数据表包括主唯一索引字段；

获取所述主数据表的表属性信息和主唯一索引字段并保存在所述主文件中，并根据所述主唯一索引字段从所述主数据表中导出对应的数据保存在所述主文件中；

所述文件导出模块从备数据库导出与所述主文件对应的备文件包括：

确定所述备数据库中与所述主数据表对应的备数据表，所述备数据表包括备唯一索引字段；

获取所述备数据表的表属性信息和备唯一索引字段并保存在所述备文件中，并根据所述备唯一索引字段从所述备数据表中导出对应的数据保存在所述备文件中。

在本发明的一种实施例中，所述比较模块包括文件比较子模块，所述摘要比较子模块比较所述主文件摘要值和所述备文件摘要值是不一致时，通知所述文件比较子模块；

所述文件比较子模块基于唯一索引比较所述主文件和所述备文件是否相同，包括：

分别依次按行读取所述主文件和所述备文件的数据；

分别获取所述主文件和所述备文件中当前行数据中的主唯一索引列数据和备唯一索引列数据；

将所述主唯一索引列数据和所述备唯一索引列数据进行比较判断是否一致，如否，根据比较结果生成修复指令；如是，则分别获取所述主文件和所述备文件中当前行的其他列数据进行比较判断是否一致，如不一致，根据比较结果生成修复指令后转至下一行，如一致，直接转至下一行，直至所述主文件或所述备文件的最后一行。

在本发明的一种实施例中，所述装置还包括修复指令生成模块，所述主文件和所述备文件中的数据分别按照所述主唯一索引列数据和所述备唯一索引列数据升序排列；

所述修复指令生成模块用于当所述主唯一索引列数据和所述备唯一索引列数据不一致时，生成修复指令，包括：

如所述备唯一索引列数据比所述主唯一索引数据大，生成的修复指令为在所述备数据库中插入所述主文件中该行的数据；

如所述备唯一索引列数据比所述主唯一索引数据小，生成的修复指令为在所述备数据库中删除所述备文件中该行的数据；

所述修复指令生成模块还用于当所述主文件和所述备文件中当前行的其他列数据不一致时，生成的修复指令，包括：

将备数据库中该行的数据更新为所述主文件中该行的数据。

为了解决上述问题，本发明还提供了一种主备数据库数据一致性修复装置,所述装置包括修复模块和如上所述的主备数据库数据一致性检测装置，所述主备数据库数据一致性检测装置用于检测所述主数据库和所述备数据库中待检测的数据是否一致；所述修复模块用于根据所述主备数据库数据一致性检测装置的检测结果对所述备数据库中相应的数据进行修复。

为了解决上述问题，本发明还提供了一种主数据库，所述主数据库包括指令接收模块和数据发送模块，所述指令接收模块用于接收主备数据库数据一致性检测装置发送的文件导出指令，以及用于收到所述文件导出指令后通知所述数据发送模块向所述主备数据库数据一致性检测装置发送对应的数据。

为了解决上述问题，本发明还提供了一种备数据库，所述备数据库包括指令接收模块和数据发送模块，所述指令接收模块用于接收主备数据库数据一致性检测装置发送的文件导出指令，以及用于收到所述文件导出指令后通知所述数据发送模块向所述主备数据库数据一致性检测装置发送对应的数据。

本发明的有益效果是：

本发明提供的主、备数据库及其数据一致性检测、修复方法和装置可实现对主数据库和备数据库中数据一致性的检测；且本发明提供的主备数据库数据一致性修复方法及装置可根据检测结果进一步实现对备数据库中数据的修复；当发生数据冲突以后，可及时修复不一致的数据，提高数据质量和复制系统的稳定性。

附图说明

图1为本发明实施例一中主备数据库数据一致性检测装置的结构示意图一；

图2为本发明实施例一中主备数据库数据一致性检测装置的结构示意图二；

图3为本发明实施例一中文件格式示意图；

图4为本发明实施例一中主备数据库数据一致性检测装置的结构示意图三；

图5为本发明实施例一中主备数据库数据一致性检测装置的结构示意图四；

图6为本发明实施例一中主备数据库数据一致性检测装置的结构示意图五；

图7为本发明实施例一中主备数据库数据一致性修复装置的结构示意图；

图8为本发明实施例二中主备数据库数据一致性检测的流程示意图一；

图9为本发明实施例二中主备数据库数据一致性检测的流程示意图二；

图10为本发明实施例二中主备数据库数据一致性检测的流程示意图三；

图11为本发明实施例二中比较主、备文件的流程示意图；

图12为本发明实施例二中主备数据库数据一致性修复过程的流程示意图。

具体实施方式

本发明从主数据库导出待检测的主文件；并从备数据库导出与该主文件对应的备文件；进而将主文件和备文件进行比较，根据比较结果判断该主文件和备文件的一致性，且可进一步根据一致性的检测结果修复备数据库中的数据；因此，当发生数据冲突以后，可及时修复不一致的数据，提高数据质量和复制系统的稳定性。为了更好的理解本发明，下面结合具体的实施例对本发明做进一步的说明：

实施例一：

为了更好的理解本发明，下面首先对几个概念进行说明：

主数据库：也叫源数据库，指复制前存放被复制数据的关系数据库。在电信业务数据库应用软件领域，主数据库是物理数据库，主要保存配置数据。配置数据包括：系统配置属性，包括用户姓名、身份证号码、手机号码、号码归属地区号等信息。配置数据主要通过管理员在web页面进行管理。本实施例中的主数据库可包括指令接收模块和数据发送模块，指令接收模块用于接收主备数据库数据一致性检测装置发送的文件导出指令，以及用于收到文件导出指令后通知数据发送模块向主备数据库数据一致性检测装置发送对应的数据，以供主备数据库数据一致性检测装置生成待检测的主文件。

备数据库：也叫目标数据库，指存放复制后的数据的关系数据库。在电信业务数据库应用软件领域，备数据库可以是内存数据库，当作为内存数据库时，还保存运行数据，运行数据是系统运行过程中产生和变化。运行数据包括：设备状态、用户状态、接通时间、漫游地点等信息。本实施例中的备数据库包括指令接收模块和数据发送模块，指令接收模块用于接收主备数据库数据一致性检测装置发送的文件导出指令，以及用于收到文件导出指令后通知数据发送模块向主备数据库数据一致性检测装置发送对应的数据，以供主备数据库数据一致性检测装置生成待检测的备文件。

数据库复制：将数据从主数据库复制到备数据库，可以是整个数据库复制，也可以是针对部分表的复制，还可以是针对某些表的部分字段的复制。在电信业务数据库应用软件领域，数据包括配置数据和业务数据，可以复制配置数据。本实施例中对数据的复制过程，也即，主、备数据库的同步过程不再进行赘述。本实施例中主要针对主数据库和备数据库中存储的数据的一致性进行检测，以及根据检测结果修复不一致的数据进行说明。

请参考图1，该图所示为本实施例中主备数据库数据一致性检测装置的结构示意图，包括文件导出模块、比较模块，其中：

文件导出模块用于从主数据库导出待检测的主文件，以及用于从备数据库导出与所述主文件对应的备文件；本实施例中的文件导出模块可直接与主数据库和备数据库连接，从而分别从主数据库和备数据库中导出相应的主文件和备文件；

比较模块用于将所述主文件和所述备文件进行比较，根据比较结果判断所述主文件和所述备文件的一致性；本实施例中，将主文件和备文件进行比较的方法的包括但不限于：

比较所述主文件和所述备文件的文件大小是否相同，和/或比较所述主文件和所述备文件存储数据的行数是否相同,和/或基于唯一索引比较所述主文件和所述备文件是否相同，和/或比较所述主文件和所述备文件的摘要值是否相同。

也即，本实施例中可采用上述方法中的一种或几种对主文件和备文件进行比较，进而判断二者的一致性；由于主文件和备文件是分别根据主数据库和备数据库中对应的数据生成的，因此进而可判断主数据和备数据库中对应数据的一致性。下面以具体的两种比较方法为例对本发明做进一步说明：

本实施例中可先采用摘要值比较主文件和备文件的一致性，当不一致时，然后再进一步基于唯一索引比较所述主文件和所述备文件是否相同。请参见图2所示，本实施例中的比较模块包括摘要计算子模块和摘要比较子模块；

摘要计算子模块用于分别计算主文件和备文件的消息摘要得到主文件摘要值和备文件摘要值；本实施例中，对主文件和备文件的摘要值的计算具体可采用MD5算法等，在此不再赘述；

摘要比较子模块用于比较所述主文件摘要值和所述备文件摘要值是否一致；如是，则所述主文件和所述备文件一致；否则，则不一致，需要进一步判断主文件和备文件。

本实施例中文件导出模块从主数据库导出待检测的主文件包括以下过程：

确定主数据库中待检测的主数据表，主数据表中包括唯一索引字段，为了便于表述，称之为主唯一索引字段；

获取并保存所述主数据表的表属性信息和主唯一索引字段在所述主文件中，并根据所述主唯一索引字段从所述主数据表中导出对应的数据保存在所述主文件中；请参见图3所示，本实施例中，可优选将主数据表的属性信息和主唯一索引字段信息保存在文件的文件头中，将根据主唯一索引字段从主数据表中导出对应的数据保存在主文件的文件体中。

本实施例中文件导出模块从备数据库导出与主文件对应的备文件包括以下过程：

确定备数据库中与上述主数据表对应的备数据表，备数据表包括唯一索引字段，为了便于表述，称之为备唯一索引字段；

获取并保存所述备数据表的表属性信息和备唯一索引字段在备文件中，并根据所述备唯一索引字段从所述备数据表中导出对应的数据保存在备文件中，请参见图3所示，本实施例中，也可优选将主数据表的属性信息和主唯一索引字段信息保存在文件的文件头中，将根据主唯一索引字段从主数据表中导出对应的数据保存在主文件的文件体中。

由图3可知，本实施例中由数据库中的数据表导出的文件包括文件头和文件体，文件头包括数据表的表属性信息、以及唯一索引字段信息，文件体则保存该数据表中的数据。

数据表的表属性信息包括数据表的名称列表，字段之间用间隔隔开，还可用括号括起来，字段后加空格，紧跟字段类型和字段长度说明，字段长度也用括号括起来。

唯一索引字段信息，每张数据表包括一个唯一索引，且在对应的主数据表和备数据表的唯一索引字段应一致，包括索引名称，索引列名称列表，字段之间也可用逗号隔开，用括号括起来。

文件体时保存上述数据内容的区域；本实施例中文件体的格式是：每条数据库记录对应一行数据，字段之间用竖线分隔符“|”隔开。

对应的，在本实施例中，在设计数据库时，可设计每张数据表具有唯一性索引，数据表的内容不包括回车、换行和竖线分隔符“|”。

请参见图4所示，本实施例中的比较模块还可进一步包括文件比较子模块，摘要比较子模块比较所述主文件摘要值和所述备文件摘要值是不一致时，通知文件比较子模块对主文件和备文件进行进一步比较，本实施例中的比较模块可基于上述方法中除利用摘要值进行比较外的任意一种进行进一步比较，下面以文件比较子模块基于唯一索引比较主文件和备文件是否相同为例对本发明做进一步说明，其包括：

分别依次按行读取主文件和所述备文件的数据；

分别获取主文件和备文件中当前行数据中的主唯一索引列数据和备唯一索引列数据；

将主唯一索引列数据和备唯一索引列数据进行比较判断是否一致，如否，根据比较结果生成修复指令；如是，则分别获取所述主文件和所述备文件中当前行的其他列数据进行比较判断是否一致，如不一致，根据比较结果生成修复指令后转至下一行，如一致，直接转至下一行，直至所述主文件或所述备文件的最后一行；当存在多个主文件和备文件需要检测时，则转至下一个主文件和备文件进行上述比较过程。

请参见图5所示，本实施例中的主备数据库数据一致性修复装置还可包括修复指令生成模块，主文件和备文件中的数据分别按照主唯一索引列数据和备唯一索引列数据升序排列；

修复指令生成模块用于当主文件的主唯一索引列数据和备文件的备唯一索引列数据不一致时，生成修复指令包括：

如备唯一索引列数据比主唯一索引数据大，生成的修复指令为在备数据库中插入所述主文件中该行的数据；

如备唯一索引列数据比主唯一索引数据小，生成的修复指令为在备数据库中删除所述备文件中该行的数据；

本实施例中的修复指令生成模块还用于当主文件和备文件中当前行的其他列数据不一致时，生成的修复指令包括：将备数据库中该行的数据更新为主文件中该行的数据；也即将备数据库中改行的数据更新为主数据库中对应行的数据；因为本实施例中以主数据库为准。

请参见图6所示，本实施例中的主备数据库数据一致性修复装置还可进一步包括告警模块，该告警模块用于在判断主文件和备文件不一致时，发出告警，具体可为将检测结果上报给网络系统实现告警；本实施例中的告警模块还可用于在检测到该告警修复后，恢复告警。

在本实施例中，当检测出主文件和备文件不一致时，

请参见图7所示，该图所示为本实施例中的主备数据库数据一致性修复装置结构示意图，其在上述主备数据库数据一致性检测装置基础上还进一步包括修复模块，修复模块用于根据主备数据库数据一致性检测装置的检测结果对备数据库中相应的数据进行修复；具体可根据修复指令生成模块生成的修复指令进行修复；且在修复之后，还可进一步发送修复通知给告警模块，告警模块根据该通知恢复相应的告警。

实施例二：

上述实施例一通过主备数据库数据一致性检测装置和主备数据库数据一致性修复装置对本发明进行了说明，下面结合具体的方法流程为例对本发明做进一步说明，以便于更好的理解本发明。

请参见图8所示，主备数据库数据一致性检测的过程包括以下步骤：

步骤81：从主数据库导出待检测的主文件；并从备数据库导出与该主文件对应的备文件；

步骤82：将该主文件和该备文件进行比较，根据比较结果判断该主文件和该备文件的一致性。

上述图3示出了主文件和备文件的文件格式示意图，且由上述分析可知，主数据库中的一个主数据表对应一个主文件，备数据库中的一个备数据表则对应一个备文件；本实施例中以主文件和备文件采用ASII编码为例进行说明。请参见图9所示，实现主数据库和备数据库中的数据一致性检测以及修复的流程如下：

步骤801，按照指定的排列顺序和格式，分别从主、备数据库导出指定数据表中的指定数据，并将内容转换为字符格式，输出到ASII格式文本文件，也即分别生成待检测的主、备文件；优选的，本实施例中以数据表中的唯一索引字段的顺序进行排列；

步骤802，依据摘要算法，分别计算待检测的主文件和备文件的消息摘要，对于每张数据表表，主、备数据库分别对应一个摘要值；优选地，采用MD5算法；

步骤803，比较主文件和备文件的摘要值，输出比较结果；如果主、备数据库中的每张主数据表和备数据表对应的主文件和备文件的摘要值都相同，则主、备数据库中的数据一致，如果不同，则采用步骤804进一步比较数据不一致的表对应的文件；如比较结果为相同，则该主、备文件的比较流程结束。

步骤804，对于摘要值不同的主文件和备文件，进一步比较这两个文本文件，进而输出比较结果和数据修复命令；本实施例中根据预定的比对算法检测主文件和备文件是否一致。其中，有多种比对算法可供选择，例如：检测文件大小是否相同，检测文件行数是否相同。优选地，提供基于唯一性索引的比较算法。

步骤805，如经检测主、备数据库数据不一致，发送告警，上报网管系统，还可提醒管理员修复数据。

在本实施例中是否自动修复数据是可配置的，优选地，设置为自动修复。

在本实施例中，在上述步骤801之前，还包括接收检测触发消息的步骤，在本实施例中检测触发消息可以是系统预先设置的，该触发消息可以按如下方式设置：非业务高峰期触发，和/或配置数据修改成功后触发，和/或数据复制之后触发；当然该检测触发消息还可以是上述几种方式中的两种或两种以上的组合，例如：如在非业务高峰期并配置数据修改成功后触发等。

另外，本实施例中还可采用手动检测的方式，由管理员主观给出检测结果。例如对于主、备数据是否一致，管理员可以通过执行检测命令直接给出检测结果，以将数据保存成文件，自行比较两个配置数据文件的差异。手动检测一般作为自动检测的辅助手段，用来确认为什么不一致。

经上述检测不一致生成修复命令后，本实施例中还可进一步根据该修复命令实现对不一致的数据进行修复，包括如下步骤：

步骤一，分别连接主、备数据库，根据修复命令修复相应的数据；本实施例中可以主数据库为准，修复备用数据库中与主数据库中不一致的数据；

步骤二，将数据修复结果通知告警模块，如果修复成功，告警模块发送恢复告警。

另外，本实施例中数据恢复还可采用手动方式，由管理员手工进行。管理员根据检测结果，找到需要修复的数据，向备数据库发出sql命令，修改数据。手工恢复配置数据分为以下两种情况：

如果主数据库比备数据库多几条记录，管理员需要在备数据库上执行命令，插入缺少的数据。

如果备数据库比主数据库多几条记录，则需要根据实际情况选择合适的方式：如果备数据库上多的数据是有效的，则管理员在主数据库上执行命令，插入缺少的数据；如果备数据库上多的数据是无效的，则管理员在备数据库上执行命令，删除多余的数据。当以主数据库为准时，则直接删除备数据库中多余的数据。

如果备数据库与主数据库某些的部分字段内容不同，则管理员在备数据库上执行修复命令，修改不同的数据

下面结合完整的检测、以及修复流程为例对本发明做进一步说明：

请参考图10所示，该图是本实施例提供的主、备数据库数据一致性检测处理流程示意图，主要包括以下步骤：

步骤900，确定主、备数据库中需要检测的数据表，由于数据库对大小写不敏感的情况，要协调一致。找到待比较的所有数据表后，按照升序排列，得到待比较数据表的列表，后续根据该列表依次处理；从该列表中的第一张数据表开始，进行步骤901；

步骤901，分别登陆主、备数据库，导出对应的待比较的主文件和备文件，优选地，由于每张表都有唯一性索引，所以导出的数据按照唯一性列升序排列。数据内容转换为字符格式，输出到ASII格式文本文件，每条记录输出一行数据，字段之间用分隔符号“|”隔开；

步骤902，根据摘要算法，分别计算主文件和备文件的消息摘要，输出摘要值，优选地，本实施例中采用MD5算法；

步骤903，采用字符串比较方法，比较主文件和备文件的摘要值；

步骤904，判断主文件和备文件的摘要值是否一致，如果一致，则主、备数据库中当前数据表中的数据一致；转至步骤907；如果不一致，则当前数据表中的数据不一致，需进一步比较该主文件和备文件，转至步骤905；

步骤905，比较主文件和备文件，输出比较结果，并在比较结果为不一致时，生成并输出修复命令；本实施例中根据预定的比对算法检测该主文件和备文件是否一致，其中，有多种比对算法可供选择，例如：检测文件大小是否相同，检测文件行数是否相同，基于唯一性索引的比较算法，也可结合上述几种方法进行比较，例如，先检测文件大小是否相同，然后再基于唯一性索引的比较算法进行比较等等；

步骤906，判断主文件和备文件比较结果，如比较结果一致，转至步骤907；如不一致，表明当前表数据需要修复，转至步骤908；

步骤907，判断当前比较的主、备文件是否是上述列表中最后一对待比较的主、备文件；如是，转至步骤910；否则，转至步骤909；

步骤908，发送告警，转至步骤907；

步骤909，换上述列表中的下一数据表，转至901；

步骤910，输出经分析和整理的比较结果和修复指令。

请参见图11所示，上述步骤905中涉及到的主文件和备文件进一步比较的过程如下：

步骤1001，分别打开主、备文件，准备读取；

步骤1002，分别读取两个文件的文件头，分析文件头内容，准备后续处理；分析出以下内容：待读取的字段是哪些；唯一性字段是哪些，每一行数据按照唯一性索引字段的顺序排列，比较算法基于唯一性索引字段来进；每个字段的数据类型是什么，如果不是字符类型，找到与字符类型互相转换的函数或者方法；

步骤1003，分别依次按行读取两个文件的数据，得到两行待比较的主、备数据；

步骤1004，根据上述唯一性列定义和上述排列顺序，从主、备文件中提取唯一性列数据，采用字符串比较方式，比较唯一性列数据，得到比较结果；

步骤1005，判断该行中的主、备唯一性列是否相等；分为以下三种情况：

如果备唯一性列大于主唯一性列，转至步骤1006，由于数据按照唯一性列升序排列，所以当前行主文件数据在备数据库中不存在，生成的修复指令为需要在备数据库中插入该行数据，转至步骤1007；

如果备唯一性列小于主唯一性列，转至步骤1008，由于数据按照唯一性列升序排列，所以当前行备文件数据在主数据库中不存在，数据以主数据库为准，生成的修复指令为需要在备数据库中删除该行数据，转至步骤1009；

如果主、备文件的唯一性列相等，则转至步骤1010；

步骤1006，生成修复指令，需要在备数据库中插入当前行行数据，根据步骤1002分析结果，如果字段非字符类型，采用对应的转换函数或者方法对字段数据进行必要的转换，输出在备数据库中执行的insert修复命令，转至步骤1007；

步骤1007，读取主文件下一行数据；

步骤1008，生成修复指令，需要在备数据库中删除该行数据。根据步骤1002分析结果，如果字段非字符类型，采用对应的转换函数或者方法对字段数据进行必要的转换，输出在备数据库执行的delete修复命令，转至步骤1009；

步骤1009，读取备文件下一行数据；

步骤1010，采用字符串比较方式，继续比较该行其它所有剩余数据列；

步骤1011，判断其他数据列是否一致，如是，转至步骤1012；否则，转至步骤1013；

步骤1012，判断当前行是否是主文件和/或本文件的最后一行，通过判断读取是否为空，判断是否其中某个文件结束。分为以下两种情况：

如果主备文件都没有结束，则说明还需要继续比较，转至步骤1014；

当其中任何一个文件结束，则说明不需要继续比较了，转至步骤1015；

步骤1013，生成修复指令，需要在备数据库中更新该行数据，根据步骤1002分析结果，如果字段非字符类型，采用对应的转换函数或者方法对字段数据进行必要的转换，输出在备数据库执行的update修复命令，然后转至步骤1012；

步骤1014，分别读取主备文件下一行数据，转至步骤1004；

步骤1015，输出生成的修复指令；当主、备文件中的至少一个文件读取为空，则说明不再需要比较可能需要。在结束之前，根据是否有文件内容为空，判断是否有剩余数据需要修复。由于数据按照唯一性列升序排列，所以具有以下三种情况：

如果主文件内容非空，说明当前主文件剩余数据在备数据库中不存在，需要在备数据库中插入这些数据。根据步骤1002分析结果，如果字段非字符类型，采用对应的转换函数或者方法对字段数据进行必要的转换，输出在备数据库中执行的insert修复命令。

如果备文件内容非空，说明当前备文件数据在主数据库中不存在。数据以主数据库为主，需要在备数据库中删除这些数据。根据步骤1002分析结果，如果字段非字符类型，采用对应的转换函数或者方法对字段数据进行必要的转换，输出在备数据库执行的delete修复命令。

如果主备文件内容都为空，则不需要修复，最后完成处理，得到比较结果和数据修复命令。

请参见图12所示，该图所示为根据上述步骤所生成的修复指令对相应数据进行修复的流程示意图，具体包括：

步骤1100，根据上述主、备数据库数据一致性检测结果，修复模块首先分析需要修复哪些数据表，转至步骤1101。

步骤1101，登陆主、备数据库，准备修复；

步骤1102，根据当前数据表中表数据一致性检测结果，选择对应的数据库执行对应的修复命令；在业务软件数据库应用领域，优选地，配置数据以主数据库为准，数据不一致时修复备数据库；运行数据以备数据库为准，数据不一致时修复主数据库；

步骤1103，判断修复当前数据表是否成功。分以下两种情况：

如果当前数据表修复成功，则需要恢复当前表的告警，转至步骤1104；

如果当前数据表修复不成功，则转至步骤1105；

步骤1104，告警模块发送恢复告警通知；

步骤1105，判断当前数据表是否是最后一张待修复的数据表，如否，转至步骤1106；否则，修复结束。

步骤1106：数修复模块选择下一张待修复的数据表，转至步骤1102。

可见，本发明在不影响业务的前提下，从主数据库导出待检测的主文件；并从备数据库导出与该主文件对应的备文件；进而将主文件和备文件进行比较，根据比较结果判断该主文件和备文件的一致性，且可进一步根据一致性的检测结果修复备数据库中的数据；因此，当数据发生冲突时，能及时发现冲突，还能修复不一致的数据，提高数据质量，进一步提高复制系统的稳定性。

进一步的，本发明在对主、备文件进行比较时，先采用摘要值比较方法，相对于直接比较文件的方式，所需的网络流量更小，对网络带宽要求更低，检测速度更快，不会对生产系统性能产生不良影响。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (18)

1.一种主备数据库数据一致性检测方法,其特征在于，所述方法包括：

向主数据库发送文件导出指令从该主数据库中导出待检测的主文件；并向备数据库发送文件导出指令从该备数据库中导出与所述主文件对应的备文件；

将所述主文件和所述备文件进行比较，根据比较结果判断所述主文件和所述备文件的一致性。

2.如权利要求1所述的主备数据库数据一致性检测方法，其特征在于，将所述主文件和所述备文件进行比较包括：

比较所述主文件和所述备文件的文件大小是否相同，和/或比较所述主文件和所述备文件存储数据的行数是否相同,和/或基于唯一索引比较所述主文件和所述备文件是否相同，和/或比较所述主文件和所述备文件的摘要值是否相同。

3.如权利要求2所述的主备数据库数据一致性检测方法，其特征在于，

比较所述主文件和所述备文件的摘要值是否相同，包括：

分别计算所述主文件和所述备文件的消息摘要，得到主文件摘要值和备文件摘要值；

比较所述主文件摘要值和所述备文件摘要值是否一致；如是，则所述主文件和所述备文件一致；否则，将所述主文件和所述备文件进行进一步比较。

4.如权利要求3所述的主备数据库数据一致性检测方法，其特征在于，

从主数据库导出待检测的主文件包括：

确定所述主数据库中待检测的主数据表，所述主数据表包括主唯一索引字段；

获取所述主数据表的表属性信息和主唯一索引字段并保存在所述主文件中，并根据所述主唯一索引字段从所述主数据表中导出对应的数据保存在所述主文件中；

所述从备数据库导出与所述主文件对应的备文件包括：

确定所述备数据库中与所述主数据表对应的备数据表，所述备数据表包括备唯一索引字段；

获取所述备数据表的表属性信息和备唯一索引字段并保存在所述备文件中，并根据所述备唯一索引字段从所述备数据表中导出对应的数据保存在所述备文件中。

5.如权利要求4所述的主备数据库数据一致性检测方法，其特征在于，

将所述主文件和所述备文件进行进一步比较为基于唯一索引比较所述主文件和所述备文件是否相同，包括：

分别依次按行读取所述主文件和所述备文件的数据；

分别获取所述主文件和所述备文件中当前行数据中的主唯一索引列数据和备唯一索引列数据；

将所述主唯一索引列数据和所述备唯一索引列数据进行比较判断是否一致，如否，根据比较结果生成修复指令；如是，则分别获取所述主文件和所述备文件中当前行的其他列数据进行比较判断是否一致，如不一致，根据比较结果生成修复指令后转至下一行，如一致，直接转至下一行，直至所述主文件或所述备文件的最后一行。

6.如权利要求5所述的主备数据库数据一致性检测方法，其特征在于，

所述主文件和所述备文件中的数据分别按照所述主唯一索引列数据和所述备唯一索引列数据升序排列；

当所述主唯一索引列数据和所述备唯一索引列数据不一致时，生成修复指令包括：

如所述备唯一索引列数据比所述主唯一索引数据大，生成的修复指令为在所述备数据库中插入所述主文件中该行的数据；

如所述备唯一索引列数据比所述主唯一索引数据小，生成的修复指令为在所述备数据库中删除所述备文件中该行的数据；

当所述主文件和所述备文件中当前行的其他列数据不一致时，生成的修复指令为：

将备数据库中该行的数据更新为所述主文件中该行的数据。

7.如权利要求1或2所述的主备数据库数据一致性检测方法，其特征在于，从主数据库导出待检测的主文件，并从备数据库导出与所述主文件对应的备文件之前，还包括：

接收检测流程触发指令，所述检测流程触发指令在非业务高峰期发送，和/或在所述主、备数据库数据同步后发送，和/或主、备数据库配置数据修改成功后发送。

8.如权利要求1或2所述的主备数据库数据一致性检测方法，其特征在于，根据所述比较结果判断所述主文件和所述备文件不一致时，还包括发送告警。

9.一种主备数据库数据一致性修复方法,其特征在于，所述方法包括：

根据权利要求1-8任一项所述的主备数据库数据一致性检测方法检测所述主数据库和所述备数据库中待检测的数据是否一致；根据检测结果对所述备数据库中相应的数据进行修复。

10.一种主备数据库数据一致性检测装置,其特征在于，所述装置包括文件导出模块、比较模块；

所述文件导出模块用于向主数据库发送文件导出指令从该主数据库中导出待检测的主文件；并向备数据库发送文件导出指令从该备数据库中导出与所述主文件对应的备文件；

所述比较模块用于将所述主文件和所述备文件进行比较，根据比较结果判断所述主文件和所述备文件的一致性。

11.如权利要求10所述的主备数据库数据一致性检测装置，其特征在于，所述比较模块将所述主文件和所述备文件比较进行包括：

比较所述主文件和所述备文件的文件大小是否相同，和/或比较所述主文件和所述备文件存储数据的行数是否相同,和/或基于唯一索引比较所述主文件和所述备文件是否相同，和/或比较所述主文件和所述备文件的摘要值是否相同。

12.如权利要求11所述的主备数据库数据一致性检测装置，其特征在于，

所述比较模块包括摘要计算子模块、摘要比较子模块；

所述摘要计算子模块用于分别计算所述主文件和所述备文件的消息摘要得到主文件摘要值和备文件摘要值；

所述摘要比较子模块用于比较所述主文件摘要值和所述备文件摘要值是否一致；如是，则所述主文件和所述备文件一致。

13.如权利要求12所述的主备数据库数据一致性检测装置，其特征在于，

所述文件导出模块从主数据库导出待检测的主文件包括：

确定所述主数据库中待检测的主数据表，所述主数据表包括主唯一索引字段；

获取所述主数据表的表属性信息和主唯一索引字段并保存在所述主文件中，并根据所述主唯一索引字段从所述主数据表中导出对应的数据保存在所述主文件中；

所述文件导出模块从备数据库导出与所述主文件对应的备文件包括：

确定所述备数据库中与所述主数据表对应的备数据表，所述备数据表包括备唯一索引字段；

获取所述备数据表的表属性信息和备唯一索引字段并保存在所述备文件中，并根据所述备唯一索引字段从所述备数据表中导出对应的数据保存在所述备文件中。

14.如权利要求13所述的主备数据库数据一致性检测装置，其特征在于，

所述比较模块包括文件比较子模块，所述摘要比较子模块比较所述主文件摘要值和所述备文件摘要值是不一致时，通知所述文件比较子模块；

所述文件比较子模块基于唯一索引比较所述主文件和所述备文件是否相同，包括：

分别依次按行读取所述主文件和所述备文件的数据；

分别获取所述主文件和所述备文件中当前行数据中的主唯一索引列数据和备唯一索引列数据；

将所述主唯一索引列数据和所述备唯一索引列数据进行比较判断是否一致，如否，根据比较结果生成修复指令；如是，则分别获取所述主文件和所述备文件中当前行的其他列数据进行比较判断是否一致，如不一致，根据比较结果生成修复指令后转至下一行，如一致，直接转至下一行，直至所述主文件或所述备文件的最后一行。

15.如权利要求14所述的主备数据库数据一致性检测装置，其特征在于，所述装置还包括修复指令生成模块，所述主文件和所述备文件中的数据分别按照所述主唯一索引列数据和所述备唯一索引列数据升序排列；

所述修复指令生成模块用于当所述主唯一索引列数据和所述备唯一索引列数据不一致时，生成修复指令，包括：

如所述备唯一索引列数据比所述主唯一索引数据大，生成的修复指令为在所述备数据库中插入所述主文件中该行的数据；

如所述备唯一索引列数据比所述主唯一索引数据小，生成的修复指令为在所述备数据库中删除所述备文件中该行的数据；

所述修复指令生成模块还用于当所述主文件和所述备文件中当前行的其他列数据不一致时，生成的修复指令，包括：

将备数据库中该行的数据更新为所述主文件中该行的数据。

16.一种主备数据库数据一致性修复装置,其特征在于，所述装置包括修复模块和如权利要求10-15所述的主备数据库数据一致性检测装置，所述主备数据库数据一致性检测装置用于检测所述主数据库和所述备数据库中待检测的数据是否一致；所述修复模块用于根据所述主备数据库数据一致性检测装置的检测结果对所述备数据库中相应的数据进行修复。

17.一种主数据库，其特征在于，所述主数据库包括指令接收模块和数据发送模块，所述指令接收模块用于接收主备数据库数据一致性检测装置发送的文件导出指令，以及用于收到所述文件导出指令后通知所述数据发送模块向所述主备数据库数据一致性检测装置发送对应的数据。

18.一种备数据库，其特征在于，所述备数据库包括指令接收模块和数据发送模块，所述指令接收模块用于接收主备数据库数据一致性检测装置发送的文件导出指令，以及用于收到所述文件导出指令后通知所述数据发送模块向所述主备数据库数据一致性检测装置发送对应的数据。