CN105335443A - 一种用于数据同步中的异常检测的方法与设备 - Google Patents

Abstract

本申请的目的是提供一种用于数据同步中的异常检测的方法和设备。具体地，在主数据库与备份数据库的同步过程中确定所述备份数据库中待检测的同步数据所对应的目标范围；获取与所述目标范围相对应的基准数据；根据所述基准数据检测所述待检测的同步数据是否与所述主数据库中的对应数据相一致。与现有技术相比，本申请通过在主数据库与备份数据库的同步过程中确定备份数据库中待检测的目标范围及其所对应的基准数据，并根据该基准数据检测备份数据库中待检测的同步数据是否与主数据库中的对应数据相一致，实时、高效且准确地实现了主数据库与备份数据库之间同步数据的一致性检测。

Description

一种用于数据同步中的异常检测的方法与设备

技术领域

本申请涉及计算机领域，尤其涉及一种用于数据同步中的异常检测的技术。

背景技术

在现有技术中，一种典型的数据库系统部署模式为主备模式，即，数据库系统由主数据库和与该主数据库对应的备份数据库构成。其中，数据库系统通过数据同步复制机制保证主数据库和备份数据库的数据一致性。具体地，在对数据库系统执行数据更新操作时，将待更新的数据写入主数据库中并在数据写入完成之后，将该数据同步复制到备份数据库中。如此一来，如果主数据库出现失效的情况，可以由备份数据库接管主数据库的任务以不间断地向用户提供数据服务，从而达到容灾备份的目的。

在主数据库和备份数据库进行数据同步复制的过程中，由于数据需要经历解析、传输、写入等处理环节，而在任一处理环节内都可能存在数据丢失、损坏等隐患，从而导致同步至备份数据库中数据发生错误，进而导致备份数据库在接管主数据库的任务之后无法正常运行的可能。在这种情况下，同步复制机制将无法百分之百地起到保证主数据库和备份数据库的数据一致性的作用。

目前，针对于主数据库和备份数据库之间数据同步复制过程的自我校验技术几乎是空白。而且即使是在主数据库和备份数据库的数据同步复制机制中加入自我校验功能，但是由于数据同步复制的同时进行同步数据的校验，也将在一定程度上导致数据同步复制过程本身性能的严重下降。此外，如果数据同步复制过程本身出现异常，那么自我校验功能也将无法有效地执行。

发明内容

本申请的目的是提供一种用于数据同步中的异常检测的方法与设备。

根据本申请的一个方面，提供了一种用于数据同步中的异常检测的方法，其中，该方法包括：

在主数据库与备份数据库的同步过程中确定所述备份数据库中待检测的同步数据所对应的目标范围；

获取与所述目标范围相对应的基准数据；

根据所述基准数据检测所述待检测的同步数据是否与所述主数据库中的对应数据相一致。

根据本申请的另一方面，还提供了一种用于数据同步中的异常检测的设备，其中，该设备包括：

第一装置，用于在主数据库与备份数据库的同步过程中确定所述备份数据库中待检测的同步数据所对应的目标范围；

第二装置，用于获取与所述目标范围相对应的基准数据；

第三装置，用于根据所述基准数据检测所述待检测的同步数据是否与所述主数据库中的对应数据相一致。

与现有技术相比，本申请通过在主数据库与备份数据库的同步过程中确定备份数据库中待检测的同步数据的目标范围以及该目标范围所对应的基准数据，并根据该基准数据检测备份数据库中待检测的同步数据是否与主数据库中的对应数据相一致，实时、高效且准确地实现了主数据库与备份数据库之间同步数据的一致性检测，在不影响主数据库与备份数据库之间同步性能的同时，保证了主数据库与备份数据库之间同步数据的一致性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种用于数据同步中的异常检测的设备示意图；

图2示出根据本申请一个优选实施例的一种用于数据同步中的异常检测的设备示意图；

图3示出根据本申请另一个优选实施例的一种用于数据同步中的异常检测的设备示意图；

图4示出根据本申请另一个方面的一种用于数据同步中的异常检测的方法流程图；

图5示出根据本申请一个优选实施例的一种用于数据同步中的异常检测的方法流程图；

图6示出根据本申请另一个优选实施例的一种用于数据同步中的异常检测的方法流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

图1示出根据本申请一个方面的一种用于数据同步中的异常检测的设备10，其中，该设备10包括第一装置100、第二装置110和第三装置120。具体地，第一装置100在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围；第二装置110获取与所述目标范围相对应的基准数据；第三装置120根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致。

在此，设备10可以是本地设备，也可以是网络设备。其中，网络设备可由网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云等实现。在此，云由基于云计算(CloudComputing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。在此，所述设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。

具体地，数据库系统部署为主备模式，即数据库系统包括主数据库20和与该主数据库20对应的备份数据库30。当主数据库20中的数据发生变化时，例如新数据的写入或原始数据的修改，为了使备份数据库30中的数据和主数据库20中的数据一致，主数据库20和备份数据库30之间需要进行数据的同步。在主数据库20和备份数据库30的同步过程中，设备10对同步至备份数据库30的数据进行一致性的检测，其中，下文中将该数据称为待检测的同步数据。需要说明的是，在本实施例中，所述设备10优选地以第三方设备的方式出现，即所述设备10独立于主数据库20以及备份数据库30，如此一来，即使主数据库20和/或备份数据库30出现任何异常状况(例如宕机等)，设备10也不会受到影响，可以正常工作。

第一装置100在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围。其中，当主数据库20和备份数据库30进行数据同步时，同步数据将写入备份数据库30中，也就是说，一旦备份数据库30中发生数据写操作，则表明主数据库20和备份数据库30之间在进行数据同步。因此，在一个优选实施例中，在主数据库20与备份数据库30进行数据同步的过程中，第一装置100根据对所述备份数据库30的数据写操作确定所述备份数据库30中待检测的同步数据所对应的目标范围。以备份数据库30是MySQL数据库为例进行说明。在主数据库20和备份数据库30进行数据同步的过程中，同步数据在写入备份数据库30时会将该写操作记录在binlog(二进制日志)中，备份数据库30检测binlog的变化并解析binlog以还原该写操作以获得实时写入备份数据30的数据流，因此，第一装置100通过获取解析binlog后还原的写操作即可抓取到实时写入备份数据库30的数据流，也就是待检测的同步数据所对应的目标范围。

本领域技术人员应能理解上述在主数据库与备份数据库的同步过程中根据对所述备份数据库的数据写操作确定所述备份数据库中待检测的同步数据所对应的目标范围的方式仅为举例，其他现有的或今后可能出现的在主数据库与备份数据库的同步过程中确定所述备份数据库中待检测的同步数据所对应的目标范围的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

第一装置100在确定了备份数据库30中待检测的同步数据所对应的目标范围之后，第二装置110获取与该目标范围相对应的基准数据。其中，所述基准数据包括备份数据库30中与所述目标范围所对应的一条或者多条数据库记录。

在一个优选实施例中，第二装置110获取与该目标范围相对应的基准数据，包括：第二装置110首先通过解析所述备份数据库30的预写日志(WAL，WriteAheadLogging)实现所述备份数据库30中数据变化的回放。例如，若所述备份数据库30是MySQL数据库，第二装置110则通过该MySQL数据库中的数据复制中心(DRC，DataReplicationCenter)解析binlog来实现数据变化的回放；又例如，若所述备份数据库30是HBase数据库，第二装置110则通过该HBase数据库中的iback解析Hlog来实现数据变化的回放。其中，通过解析数据库的预写日志实现该数据库中数据变化的回放是本领域技术人员所熟悉的技术手段，为了简明起见，在此不再对所有解析数据库的预写日志的方式进行一一列举。接着，第二装置110根据所述目标范围从该回放数据中获取相对应的基准数据。

本领域技术人员应能理解上述通过解析所述备份数据库的预写日志实现所述备份数据库中数据变化的回放以从中获取与所述目标范围相对应的基准数据的方式仅为举例，其他现有的或今后可能出现的获取与该目标范围相对应的基准数据的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

第二装置110获取与所述目标范围相对应的基准数据之后，第三装置120根据该基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致。第二装置110获得的基准数据是备份数据库30中与所述目标范围所对应的一条或者多条数据库记录，因此，在一个优选实施例中，第三装置120可以通过比较所述基准数据所对应的数据库主键在所述备份数据库30与所述主数据库20中的赋值，来检测所述备份数据库30中待检测的同步数据是否与所述主数据库20中的对应数据相一致。具体地，第三装置120首先获取所述基准数据的关键字段，在本实施例中也就是获取所述基准数据的数据库主键。然后第三装置120利用所述数据库主键分别在主数据库20和备份数据库30中进行查询，相应获得该数据库主键在主数据库20和备份数据库30中的赋值，下文中分别用第一数据和第二数据表示。例如，主数据库20和备份数据库30均是SQL数据库，可以采用SQL语句(例如select*fromtablewherekey＝数据库主键)进行查询；又例如，主数据库20和备份数据库30均是列存数据库，可以采用Rowkey的方式进行查询。为了简明起见，在此不再针对于不同数据库的不同查询方法进行一一列举。接着，第三装置120对该第一数据和第二数据进行对比。如果对比结果显示第一数据与第二数据相同，第三装置120则判断主数据库20和备份数据库30之间的同步数据是一致的；如果对比结果显示第一数据与第二数据不同，第三装置120则判断主数据库20和备份数据库30之间的同步数据不一致，也就是说，主数据库20和备份数据库30之间的数据同步过程存在问题。

在主数据库20和备份数据库30进行数据同步的过程中，由于数据复制延迟、数据频繁变更等现象的影响，第三装置120针对于主数据库20和备份数据库30之间每一次数据同步过程的首次检测中可能出现同步数据不一致的检测结果，但实际上，在数据复制延迟、数据频繁变更等现象发生的一段时间之后，主数据库20和备份数据库30最终的同步数据是一致的。因此，为了避免上述误检的发生，在另一优选实施例中，当第三装置120检测得所述备份数据库30中待检测的同步数据与所述主数据库20中的对应数据不一致时，第三装置120将延时后再检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致。其中，延时后第三装置120再次检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致所采用的方法，和第三装置120针对所述待检测的同步数据的首次检测所采用的方法是相同的，为了简明起见，在此不再赘述。需要说明的是，数据一致性的检测实时性和检测误检率之间是存在负相关的关系，即，检测实时性越高则检测误检率越低，而检测实时性越低则检测误检率越高。因此，在设定两次检测之间延时的具体延迟时长时需要根据实际情况在检测实时性和检测误检率两者之间做出平衡。此外，在设定两次检测之间延时的具体延迟时长时也需要考虑主数据库20中数据变化的频度。因此，综上所述，两次检测之间延时的具体延迟时长可以根据检测同步数据的实时性指标信息(用于反映检测实时性)、检测同步数据的误检指标信息(用于反映检测误检率)、所述主数据库的数据操作频度信息(用于反映主数据库中数据变化的频度)中的一项或者多项进行确定。

设备10的各步骤之间是持续不断工作的。具体地，第一装置100持续在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围；第二装置110持续获取与所述目标范围相对应的基准数据；第三装置120持续根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致。在此，本领域技术人员应能理解“持续”是指设备10的各装置之间分别不断地根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致，直至设备10在较长时间内停止在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围。

图2示出根据本申请一个优选实施例的一种用于数据同步中的异常检测的设备10，其中，该设备10包括第一装置100’、第二装置110’、第三装置120’和第四装置130’。具体地，第一装置100’在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围；第二装置110’获取与所述目标范围相对应的基准数据；第三装置120’根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致；第四装置130’存储经检测与所述主数据库20中的对应数据不一致的同步数据。在此，第一装置100’、第二装置110’和第三装置120’分别与图1中第一装置100、第二装置110和第三装置120的内容相同或基本相同，为简明起见，故在此不再赘述，并以引用的方式包含于此。

具体地，如果第三装置120’检测到备份数据库30中的待检测的同步数据与主数据库20中的对应数据不一致，则第四装置130’对经检测与所述主数据库20中的对应数据不一致的同步数据的进行存储，形成同步数据检测历史记录。其中，第四装置130’可以通过WEB页面的方式将该不一致的同步数据提供给数据库管理人员进行查询，数据库管理人员可以根据该不一致的同步数据对同步过程中所产生问题进行定位以及对备份数据库30中的同步数据进行修复等后续操作。

本领域技术人员应能理解上述通过WEB页面的方式将该不一致的同步数据提供给数据库管理人员进行查询的方式仅为举例，其他现有的或今后可能出现的将该不一致的同步数据提供给数据库管理人员进行查询的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

基于同步数据检测历史记录，第一装置100’除了根据对所述备份数据库30的数据写操作，还可以结合对应的同步数据检测历史记录，确定所述备份数据库30中待检测的同步数据所对应的目标范围。也就是说，第一装置100’在根据对设备30的数据写操作获得实时同步数据所对应的目标范围之外，还对同步数据检测历史记录进行检测，如果同步数据检测历史记录中记载了主数据库20和备份数据库30在历史数据同步过程中存在数据不一致的情况，此时，第一装置100’将所述不一致数据和所述实时同步数据一起作为待检测的同步数据，并将所述不一致数据所对应的目标范围与所述实时同步数据所对应的目标范围一起作为待检测的同步数据的目标范围。

图3示出根据本申请另一个优选实施例的一种用于数据同步中的异常检测的设备10，其中，该设备10包括第一装置100”、第二装置110”、第三装置120”、第四装置130”和第五装置140”。具体地，第一装置100”在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围；第二装置110”获取与所述目标范围相对应的基准数据；第三装置120”根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致；第四装置130”存储经检测与所述主数据库20中的对应数据不一致的同步数据；第五装置140”根据所述不一致的同步数据进行对应的报警处理或对所述备份数据库30的修复处理。在此，第一装置100”、第二装置110”和第三装置120”分别与图1中第一装置100、第二装置110和第三装置120的内容相同或基本相同，第四装置130”与图2中第四装置130’的内容相同或基本相同，为简明起见，故在此不再赘述，并以引用的方式包含于此。

具体地，在一个实施例中，第五装置140”根据检测到的不一致的同步数据直接产生报警信号，并将该报警信号通过例如弹出提示窗口、发送邮件、发送短信等方式提供给数据库管理人员，提示数据库管理人员主数据库20和备份数据库30在数据同步过程中出现了数据不一致的问题，数据库管理人员收到报警信号后即可访问第四装置130”中存储的不一致的同步数据来对数据同步过程中所产生的问题进行定位，进而对备份数据库30中的同步数据进行修复；在另一个实施例中，第五装置140”可以进一步地对检测到的不一致的同步数据进行分析，并根据分析结果对数据同步过程中所产生的问题进行定位，然后将定位结果通过例如弹出提示窗口、发送邮件、发送短信等方式提供给数据库管理人员，数据库管理人员根据该定位结果可以快速、准确地对备份数据库30中的同步数据进行修复；在又一个实施例中，第五装置140”对不一致的同步数据进行分析以获得数据同步过程中所产生的问题进行定位后，可以根据定位结果直接对备份数据库30进行修复处理，而无需数据库管理人员进行手动修复。数据库管理人员或设备10对备份数据库30进行修复结束后，将同步数据不一致的记录修改为“已修复”即可。

本领域技术人员应能理解上述将该报警信号通过例如弹出提示窗口、发送邮件、发送短信等方式提供给数据库管理人员的方式仅为举例，其他现有的或今后可能出现的将该报警信号以较为醒目的形式提供给数据库管理人员的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

图4示出根据本申请另一个方面的一种用于数据同步中的异常检测的方法流程图。

该方法包括步骤S1、步骤S2和步骤S3。具体地，在步骤S1中，设备10在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围；在步骤S2中，设备10获取与所述目标范围相对应的基准数据；在步骤S3中，设备10根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致。

在此，设备10可以是本地设备，也可以是网络设备。其中，网络设备可由网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云等实现。在此，云由基于云计算(CloudComputing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。在此，所述设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。

具体地，在步骤S1中，数据库系统部署为主备模式，即数据库系统包括主数据库20和与该主数据库20对应的备份数据库30。当主数据库20中的数据发生变化时，例如新数据的写入或原始数据的修改，为了使备份数据库30中的数据和主数据库20中的数据一致，主数据库20和备份数据库30之间需要进行数据的同步。在主数据库20和备份数据库30的同步过程中，设备10对同步至备份数据库30的数据进行一致性的检测，其中，下文中将该数据称为待检测的同步数据。需要说明的是，在本实施例中，所述设备10优选地以第三方设备的方式出现，即所述设备10独立于主数据库20以及备份数据库30，如此一来，即使主数据库20和/或备份数据库30出现任何异常状况(例如宕机等)，设备10也不会受到影响，可以正常工作。

设备10在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围。其中，当主数据库20和备份数据库30进行数据同步时，同步数据将写入备份数据库30中，也就是说，一旦备份数据库30中发生数据写操作，则表明主数据库20和备份数据库30之间在进行数据同步。因此，在一个优选实施例中，在主数据库20与备份数据库30进行数据同步的过程中，设备10根据对所述备份数据库30的数据写操作确定所述备份数据库30中待检测的同步数据所对应的目标范围。以备份数据库30是MySQL数据库为例进行说明。在主数据库20和备份数据库30进行数据同步的过程中，同步数据在写入备份数据库30时会将该写操作记录在binlog中，备份数据库30检测binlog的变化并解析binlog以还原该写操作以获得实时写入备份数据30的数据流，因此，设备10通过获取解析binlog后还原的写操作即可抓取到实时写入备份数据库30的数据流，也就是待检测的同步数据所对应的目标范围。

本领域技术人员应能理解上述在主数据库与备份数据库的同步过程中根据对所述备份数据库的数据写操作确定所述备份数据库中待检测的同步数据所对应的目标范围的方式仅为举例，其他现有的或今后可能出现的在主数据库与备份数据库的同步过程中确定所述备份数据库中待检测的同步数据所对应的目标范围的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在步骤S2中，设备10在确定了备份数据库30中待检测的同步数据所对应的目标范围之后，进一步获取与该目标范围相对应的基准数据。其中，所述基准数据是备份数据库30中与所述目标范围所对应的一条或者多条数据库记录。

在一个优选实施例中，设备10获取与该目标范围相对应的基准数据的步骤包括：设备10首先通过解析所述备份数据库30的预写日志(WAL，WriteAheadLogging)实现所述备份数据库30中数据变化的回放。例如，若所述备份数据库30是MySQL数据库，设备10则通过该MySQL数据库中的数据复制中心(DRC，DataReplicationCenter)解析binlog来实现数据变化的回放；又例如，若所述备份数据库30是HBase数据库，设备10则通过该HBase数据库中的iback解析Hlog来实现数据变化的回放。其中，通过解析数据库的预写日志实现该数据库中数据变化的回放是本领域技术人员所熟悉的技术手段，为了简明起见，在此不再对所有解析数据库的预写日志的方式进行一一列举。接着，设备10根据所述目标范围从该回放数据中获取相对应的基准数据。

本领域技术人员应能理解上述通过解析所述备份数据库的预写日志实现所述备份数据库中数据变化的回放以从中获取与所述目标范围相对应的基准数据的方式仅为举例，其他现有的或今后可能出现的获取与该目标范围相对应的基准数据的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在步骤S3中，设备10在获取与所述目标范围相对应的基准数据之后，根据该基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致。在步骤S2中获得的基准数据是备份数据库30中与所述目标范围所对应的一条或者多条数据库记录，因此，在一个优选实施例中，设备10可以通过比较所述基准数据所对应的数据库主键在所述备份数据库30与所述主数据库20中的赋值，来检测所述备份数据库30中待检测的同步数据是否与所述主数据库20中的对应数据相一致。具体地，设备10首先获取所述基准数据的关键字段，在本实施例中也就是获取所述基准数据的数据库主键。然后设备10利用所述数据库主键分别在主数据库20和备份数据库30中进行查询，相应获得该数据库主键在主数据库20和备份数据库30中的赋值，下文中分别用第一数据和第二数据表示。例如，主数据库20和备份数据库30均是SQL数据库，可以采用SQL语句(例如select*fromtablewherekey＝数据库主键)进行查询；又例如，主数据库20和备份数据库30均是列存数据库，可以采用Rowkey的方式进行查询。为了简明起见，在此不再针对于不同数据库的不同查询方法进行一一列举。接着，设备10对该第一数据和第二数据进行对比。如果对比结果显示第一数据与第二数据相同，设备10则判断主数据库20和备份数据库30之间的同步数据是一致的；如果对比结果显示第一数据与第二数据不同，设备10则判断主数据库20和备份数据库30之间的同步数据不一致，也就是说，主数据库20和备份数据库30之间的数据同步过程存在问题。

在主数据库20和备份数据库30进行数据同步的过程中，由于数据复制延迟、数据频繁变更等现象的影响，设备10针对于主数据库20和备份数据库30之间每一次数据同步过程的首次检测中可能出现同步数据不一致的检测结果，但实际上，在数据复制延迟、数据频繁变更等现象发生的一段时间之后，主数据库20和备份数据库30最终的同步数据是一致的。因此，为了避免上述误检的发生，在另一优选实施例中，在步骤S3中，当设备10检测得所述备份数据库30中待检测的同步数据与所述主数据库20中的对应数据不一致时，设备10将延时后再检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致。其中，延时后设备10再次检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致所采用的方法，和步骤S3中针对所述待检测的同步数据的首次检测所采用的方法是相同的，为了简明起见，在此不再赘述。需要说明的是，数据一致性的检测实时性和检测误检率之间是存在负相关的关系，即，检测实时性越高则检测误检率越低，而检测实时性越低则检测误检率越高。因此，在设定两次检测之间延时的具体延迟时长时需要根据实际情况在检测实时性和检测误检率两者之间做出平衡。此外，在设定两次检测之间延时的具体延迟时长时也需要考虑主数据库20中数据变化的频度。因此，综上所述，两次检测之间延时的具体延迟时长可以根据检测同步数据的实时性指标信息(用于反映检测实时性)、检测同步数据的误检指标信息(用于反映检测误检率)、所述主数据库的数据操作频度信息(用于反映主数据库中数据变化的频度)中的一项或者多项进行确定。

设备10的各步骤之间是持续不断工作的。具体地，在步骤S1中，设备10持续在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围；在步骤S2中，设备10持续获取与所述目标范围相对应的基准数据；在步骤S3中，设备10持续根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致。在此，本领域技术人员应能理解“持续”是指设备10的各步骤之间分别不断地根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致，直至设备10在较长时间内停止在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围。

图5示出根据本申请一个优选实施例的一种用于数据同步中的异常检测的方法流程图。

该方法包括步骤S1’、步骤S2’、步骤S3’和步骤S4’。具体地，在步骤S1’中，设备10在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围；在步骤S2’中，设备10获取与所述目标范围相对应的基准数据；在步骤S3’中，设备10根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致；在步骤S4’中，设备10存储经检测与所述主数据库中的对应数据不一致的同步数据。在此，步骤S1’、步骤S2’和步骤S3’分别与图4中步骤S1、步骤S2和步骤S3的内容相同或基本相同，为简明起见，故在此不再赘述，并以引用的方式包含于此。

具体地，如果在步骤S3’中设备10检测到备份数据库30中的待检测的同步数据与主数据库20中的对应数据不一致，则在步骤S4’中，设备10对经检测与所述主数据库20中的对应数据不一致的同步数据的进行存储，形成同步数据检测历史记录。其中，存储后的所述不一致的同步数据可以通过WEB页面的方式提供给数据库管理人员进行查询，数据库管理人员可以根据该不一致的同步数据对同步过程中所产生问题进行定位以及对备份数据库30中的同步数据进行修复等后续操作。

本领域技术人员应能理解上述通过WEB页面的方式将该不一致的同步数据提供给数据库管理人员进行查询的方式仅为举例，其他现有的或今后可能出现的将该不一致的同步数据提供给数据库管理人员进行查询的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

基于同步数据检测历史记录，在步骤S1’中，设备10除了根据对所述备份数据库30的数据写操作，还可以结合对应的同步数据检测历史记录，确定所述备份数据库30中待检测的同步数据所对应的目标范围。也就是说，设备10在根据对设备30的数据写操作获得实时同步数据所对应的目标范围之外，还对同步数据检测历史记录进行检测，如果同步数据检测历史记录中记载了主数据库20和备份数据库30在历史数据同步过程中存在数据不一致的情况，此时，将所述不一致数据和所述实时同步数据一起作为待检测的同步数据，并将所述不一致数据所对应的目标范围与所述实时同步数据所对应的目标范围一起作为待检测的同步数据的目标范围。

图6示出根据本申请另一个优选实施例的一种用于数据同步中的异常检测的方法流程图。

该方法包括步骤S1”、步骤S2”、步骤S3”、步骤S4”和步骤S5”。具体地，在步骤S1”中，设备10在主数据库20与备份数据库30的同步过程中确定所述备份数据库30中待检测的同步数据所对应的目标范围；在步骤S2”中，设备10获取与所述目标范围相对应的基准数据；在步骤S3”中，设备10根据所述基准数据检测所述待检测的同步数据是否与所述主数据库20中的对应数据相一致；在步骤S4”中，设备10存储经检测与所述主数据库中的对应数据不一致的同步数据；在步骤S5”中，设备10根据所述不一致的同步数据进行对应的报警处理或对所述备份数据库的修复处理。在此，步骤S1”、步骤S2”和步骤S3”分别与图4中步骤S1、步骤S2和步骤S3的内容相同或基本相同，步骤S4”与图5中步骤S4’的内容相同或基本相同，为简明起见，故在此不再赘述，并以引用的方式包含于此。

具体地，在步骤S5”中，在一个实施例中，设备10根据检测到的不一致的同步数据直接产生报警信号，并将该报警信号通过例如弹出提示窗口、发送邮件、发送短信等方式提供给数据库管理人员，提示数据库管理人员主数据库20和备份数据库30在数据同步过程中出现了数据不一致的问题，数据库管理人员收到报警信号后即可访问设备10中存储的不一致的同步数据来对数据同步过程中所产生的问题进行定位，进而对备份数据库30中的同步数据进行修复；在另一个实施例中，设备10可以进一步地对检测到的不一致的同步数据进行分析，并根据分析结果对数据同步过程中所产生的问题进行定位，然后将定位结果通过例如弹出提示窗口、发送邮件、发送短信等方式提供给数据库管理人员，数据库管理人员根据该定位结果可以快速、准确地对备份数据库30中的同步数据进行修复；在又一个实施例中，设备10对不一致的同步数据进行分析以获得数据同步过程中所产生的问题进行定位后，可以根据定位结果直接对备份数据库30进行修复处理，而无需数据库管理人员进行手动修复。数据库管理人员或设备10对备份数据库30进行修复结束后，将同步数据不一致的记录修改为“已修复”即可。

本领域技术人员应能理解上述将该报警信号通过例如弹出提示窗口、发送邮件、发送短信等方式提供给数据库管理人员的方式仅为举例，其他现有的或今后可能出现的将该报警信号以较为醒目的形式提供给数据库管理人员的方式如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (18)

1.一种用于数据同步中的异常检测的方法，其中，该方法包括：

在主数据库与备份数据库的同步过程中确定所述备份数据库中待检测的同步数据所对应的目标范围；

获取与所述目标范围相对应的基准数据；

根据所述基准数据检测所述待检测的同步数据是否与所述主数据库中的对应数据相一致。

2.根据权利要求1所述的方法，其中，所述根据所述基准数据检测所述待检测的同步数据是否与所述主数据库中的对应数据相一致包括：

通过比较所述基准数据所对应的数据库主键在所述备份数据库与所述主数据库中的赋值，来检测所述待检测的同步数据是否与所述主数据库中的对应数据相一致。

3.根据权利要求1或2所述的方法，其中，所述根据所述基准数据检测所述待检测的同步数据是否与所述主数据库中的对应数据相一致还包括：

当检测得所述待检测的同步数据与所述主数据库中的对应数据不一致时，延时后再检测所述待检测的同步数据是否与所述主数据库中的对应数据相一致。

4.根据权利要求3所述的方法，其中，所述延时的延迟时长是与以下至少任一项相对应的：

检测同步数据的实时性指标信息；

检测同步数据的误检指标信息；

所述主数据库的数据操作频度信息。

5.根据权利要求1至4中任一项所述的方法，其中，所述获取与所述目标范围相对应的基准数据包括：

通过解析所述备份数据库的预写日志来获取与所述目标范围相对应的基准数据。

6.根据权利要求1至5中任一项所述的方法，其中，该方法还包括：

存储经检测与所述主数据库中的对应数据不一致的同步数据。

7.根据权利要求6所述的方法，其中，该方法还包括：

根据所述不一致的同步数据进行对应的报警处理或对所述备份数据库的修复处理。

8.根据权利要求1至7中任一项所述的方法，其中，所述在主数据库与备份数据库的同步过程中确定所述备份数据库中待检测的同步数据所对应的目标范围包括：

在主数据库与备份数据库的同步过程中，根据对所述备份数据库的数据写操作确定所述备份数据库中待检测的同步数据所对应的目标范围。

9.根据权利要求8所述的方法，其中，根据对所述备份数据库的数据写操作确定所述备份数据库中待检测的同步数据所对应的目标范围包括：

根据对所述备份数据库的数据写操作，并结合对应的同步数据检测历史记录，确定所述备份数据库中待检测的同步数据所对应的目标范围。

10.一种用于数据同步中的异常检测的设备，其中，该设备包括：

第一装置，用于在主数据库与备份数据库的同步过程中确定所述备份数据库中待检测的同步数据所对应的目标范围；

第二装置，用于获取与所述目标范围相对应的基准数据；

第三装置，用于根据所述基准数据检测所述待检测的同步数据是否与所述主数据库中的对应数据相一致。

11.根据权利要求10所述的设备，其中，所述第三装置用于：

通过比较所述基准数据所对应的数据库主键在所述备份数据库与所述主数据库中的赋值，来检测所述待检测的同步数据是否与所述主数据库中的对应数据相一致。

12.根据权利要求10或11所述的设备，其中，所述第三装置还用于：

当检测得所述待检测的同步数据与所述主数据库中的对应数据不一致时，延时后再检测所述待检测的同步数据是否与所述主数据库中的对应数据相一致。

13.根据权利要求12所述的设备，其中，所述延时的延迟时长是与以下至少任一项相对应的：

检测同步数据的实时性指标信息；

检测同步数据的误检指标信息；

所述主数据库的数据操作频度信息。

14.根据权利要求10至13中任一项所述的设备，其中，所述第二装置用于：

通过解析所述备份数据库的预写日志来获取与所述目标范围相对应的基准数据。

15.根据权利要求10至14中任一项所述的设备，其中，该设备还包括：

第四装置，用于存储经检测与所述主数据库中的对应数据不一致的同步数据。

16.根据权利要求15所述的设备，其中，该设备还包括：

第五装置，用于根据所述不一致的同步数据进行对应的报警处理或对所述备份数据库的修复处理。

17.根据权利要求10至16中任一项所述的设备，其中，所述第一装置用于：

在主数据库与备份数据库的同步过程中，根据对所述备份数据库的数据写操作确定所述备份数据库中待检测的同步数据所对应的目标范围。

18.根据权利要求17所述的设备，其中，根据对所述备份数据库的数据写操作确定所述备份数据库中待检测的同步数据所对应的目标范围包括：

根据对所述备份数据库的数据写操作，并结合对应的同步数据检测历史记录，确定所述备份数据库中待检测的同步数据所对应的目标范围。