CN103186624A - 一种数据同步方法和数据同步装置 - Google Patents

Abstract

本发明提供一种数据同步方法，用于将源数据库中的数据搬移到目标数据库中，其特征在于，包括如下步骤：当前时间是否等于或者晚于数据时间点加延迟时间；若是，则进入数据同步步骤；若否，则等待若干时间后，重新进行上述判断；数据同步，即将源数据库的数据搬移到目标数据库的对应位置；同时，记录所搬移的数据的条数；判断数据同步的条数是否大于当前的经验条数与预设的作为系数的阈值的乘积；若是，则搬移结束；若否，则等待预设的等候时长，然后返回数据同步的步骤；同时，记录累计的等候时长；根据本次数据同步记录的搬移数据条数，重新计算确定所述经验条数和延迟时间；回到开始步骤。

Description

一种数据同步方法和数据同步装置

技术领域

本发明数据存储技术，具体是一种数据同步的方法。本发明同时提供一种数据同步装置。

背景技术

在网络管理系统、通信系统、电子商务、银行系统中，不断产生大量的系统数据。如果系统出现故障，这些数据丢失，就会造成严重影响。为此，需要对数据进行及时的备份。同时，这些数据可能随时面临大量的查询，为了加快查询的进度，也有必要在多个不同地点的数据库进行存储。

现有技术下， 对这些数据进行备份的方式主要有以下两种。

1、人工操作使用数据库自带的工具，将数据导出成文件，然后对文件进行处理再导入到另一个数据库。该方法一般是用于搬移前后数据库结构相同或较相似，不需要对数据做太多处理的情况，经常用于实时性要求不高、数据量较大的数据应用。

2、为特定的数据背景开发特定的程序，用于搬移指定的若干数据。如由于一个应用的要求，需要搬移A、B、C三张数据表的数据到另一个库，就开发一个程序/工具可以实现这个功能。这种方法比较灵活，可以在搬移时按照应用的需要对数据进行计算，如简单的数学计算、聚合操作、去重等。但开发出来的工具与该应用场景耦合性高，由于搬移数据的内容、算法、周期等的限制，工具很难复用。

对于各种不断产生新数据的网络管理、通信系统，及时进行数据同步、实现数据备份至关重要，但上述现有技术均无法实现可靠的周期性数据同步。第一种方案需要不断的人工干预，不仅效率低不经济，而且也容易出现差错。第二种方案通常与具体应用场景的耦合性高，不能复用在不同的数据同步场合。尤其是不能定义数据同步中涉及的各种参数，并且也很难对数据同步中出现的差错进行纠正。

发明内容

本发明提供一种数据同步方法，该数据同步方法能够适应多种情况的数据同步工作，自动进行，并能够可靠的进行周期性的数据同步。

本发明同时提供一种实现上述数据同步方法的数据同步装置。

一种数据同步方法，用于将源数据库中的数据搬移到目标数据库中，其特征在于，包括如下步骤：

当前时间是否等于或者晚于数据时间点加延迟时间；若是，则进入数据同步步骤；若否，则等待若干时间后，重新进行上述判断；

数据同步，即将源数据库的数据搬移到目标数据库的对应位置；同时，记录所搬移的数据的条数；

判断数据同步的条数是否大于当前的经验条数与预设的作为系数的阈值的乘积；若是，则搬移结束；若否，则等待预设的等候时长，然后返回数据同步的步骤；同时，记录累计的等候时长；

根据本次数据同步记录的搬移数据条数，重新计算确定所述经验条数和延迟时间；

回到开始步骤。

优选地，所述数据时间点以如下方式确定：

读取上次同步的数据时间点，加上预设的数据同步的周期，即获得本次同步的数据时间点。

优选地，所述经验条数为所同步的数据所在的数据表在一预设的时间长度内的各次同步的同步条数中的最大值。

优选地，所述阈值为一小于1的系数值。

优选地，在进行数据同步之前，根据元数据中记录的源数据库的数据表参数，判断目标数据库的数据表结构是否完整准确，若否，则根据元数据中的相关参数将数据表修补完整。

优选地，在每次数据同步完成之后，根据本次数据同步的搬移条数除以经验条数，获得本次数据同步的齐全率；若数据同步的齐全率一次或者多次过低，则发出报警。

优选地，所述延迟时间，在每次数据同步完成后，以原延迟时间加上累计的等候时长作为下次同步的延迟时间；若上述计算获得的延迟时间超过了预设的极限值，则发出警报。

优选地，还包括以预设的周期进行的下述步骤：

删除存储在目标数据库中的超过规定存储时间的数据。

本发明还涉及一种数据同步装置，其特征在于，包括：

时间判断单元，用于获得数据时间点、延迟时间数据，并用当前时间与上述数据时间点加延迟时间进行比较，判断当前时间是否晚于数据时间点加延迟时间；若是，则发出数据同步启动指令；该时间判断单元，还接收所述判断计算单元发出的等待指令，并在等待预设的等待时长后，发出数据同步启动指令；

数据同步单元，用于接收所述数据同步启动指令，并据此启动数据同步，将源数据库的数据搬移到目标数据库的对应位置；

计数单元，用于在数据同步单元进行数据同步时，记录同步数据条数，并将最终获得的计数结果输出；

判断计算单元，用于接收来自所述计数单元的同步数据条数，并判断该数据是否大于当前的经验条数和预设的阈值的乘积；若是，则向时间判断单元发出本次同步结束信号，使其启动是否开始下一次同步的判断；若否，则向所述时间判断单元发出等待指令；

元数据存储单元，用于存储上述各个单元需要使用的相关参数。

最好，包括：

数据结构修补单元，用于读取元数据存储单元中存储的源数据库的数据结构参数，判断目标数据库的数据结构是否完整准确，若否，则将目标数据库的数据结构修补完整。

优选地，还包括：

齐全率计算单元，用于计算每次数据同步的齐全率，若齐全率过低，则发出报警；所述齐全率的计算方式为，以本次数据同步搬移的数据条目除以经验条数，作为本次数据同步的齐全率；将该数值和一预设的最低齐全率阈值相比较，即可以判断齐全率是否过低。

优选地，还包括：

数据清理单元，用于定期执行下述操作：根据预设的数据存储时间，将目标数据库中超过存储时间的数据条目删除。

优选地，还包括通过excel表格构造的元数据编辑器，用于对所述元数据存储单元存储的元数据进行编辑，以及显示所述元数据存储单元在同步过程中记录的元数据。

最好，包括数据缺失报警单元，该单元根据元数据存储单元中存储的齐全率最低值指标以及延迟时间最大值指标，判断每次同步完成后的齐全率和延迟时间是否在指标范围内，若超过则发出报警信息。

有利地包括任务监控单元，该任务监控单元用于监控各个单元是否正常运行，若某个单元执行的任务停滞，则重启该单元。

本发明提供的数据同步方法，能够对各种数据进行及时的周期性同步，并判断数据同步是否完整，并通过统计搬移数据的条目的方法，判断数据同步是否完整，若不完整，则间隔一定时间继续进行数据同步。在每次同步过程中，还及时更新经验条数和延迟时间等参数，确保每次同步的数据完整。这样，该同步方法就能够自动适应不同的同步场合

本发明提供的数据同步方法，其优选的实施方式，还能够根据元数据记录的数据表结构判断数据表是否完整准确，并据此对目标数据库的元数据参数将数据表修补完整。

在本发明的优选实施方案中，还根据每次同步搬移的数据条数与经验条数的比对，获得对数据齐全率的判断，从而在数据齐全率过低的情况下发出报警。

本发明的优选实施方案中，通过设置元数据中与数据同步相关的参数，可以使本方法通过简单的参数变更适用于不同的同步场合，使该方法能够满足不同场景的数据同步的需要。具体而言，针对不同同步场合，只需要定义一套相应的元数据，既可以适应新的场合。

本发明同时提供实现上述方法的装置。该装置能够有效的实现上述数据同步方法，并且，其优选实施例能够在数据同步中发现数据生成的故障，及时报警。其另外一个优选实施方案中，还采用excel表格构造元数据表编辑器，作为编辑元数据的接口，实现了人机界面的充分友好。

附图说明

图1为本发明第一实施例提供的数据同步方法的流程图；

图2为本发明第二实施例提供的数据同步装置的单元框图。

具体实施方式

本发明第一实施例提供一种数据同步的方法。

请参看图1，该图为该数据同步方法的流程图。以下结合该图进行说明。

步骤S101，开始。

在该步骤中进行若干初始化工作，包括读取相关的元数据。所谓元数据，是关于数据的数据，即描述数据的相关特性的数据。例如，以下会用到的各种相关参数的初始值，以及源数据库的数据结构。

第一次执行本步骤时，根据元数据记录的源数据库I的数据结构创建目标数据库II的相应结构，以便目标数据库II能够对应存储相关的数据。在本实施例中，假设需要同步的源数据库数据采用数据表的方式存储。因此，需要在目标数据库II中创建相应的数据表，并且对应的数据表有同样的字段结构。具体包括检查目标数据库II该表是否存在，如果不存在读取元数据建表、并建主键、索引；如果该表存在，检查该表的表结构，与元数据里的字段比较，如果不同，则对目标数据库的表增加字段。

在以后执行本步骤时，需要根据元数据对目标数据库II的数据表进行调整修改，这样可以确保源数据库I的数据表结构发生改变时，目标数据库II的数据表结构及时随之修改。

步骤S102，判断当前时间是否等于或者晚于数据时间点加延迟时间；若是，则进入步骤S103；若否，则等待预设的时间量后，重新进行上述判断。

该步骤中，当前时间取自系统时间，所述数据时间点是一个时间段的截至点，例如，四点到五点这一时间段，五点是截至时间点，作为数据时间点。本次同步的数据即为同步四点到五点这一时间段这一时间段的数据。网络管理系统或者通讯系统中的每一条数据均含有数据产生时间的时间字段，因此，可以获知其产生的时间。由于上述时间段的数据通过采集进入源数据库需要一段时间，所以，需要等待一个延迟时间开始数据同步。在第一次同步时，上述数据时间点和延迟时间均为预设，以后的数据同步过程，数据时间点为上一次的数据时间点加上一个预设的数据同步的周期，如一个小时；延迟时间根据上一同步周期的实际延迟时间调整，如下述步骤S105所述。

步骤S103，数据同步，即将源数据库I的数据搬移到目标数据库II的对应位置；同时记录所搬移的数据的条数。

本步骤实际上是对应每一个数据表进行，可启动多个线程，分别搬移每一个数据表的数据。即将源数据库I中的某个数据表的内容，搬移到目标数据库II中的相应表中。搬移时，每一个数据条目中的具体数据项，根据其对应的字段名进行同名字段名数据项的搬移即可。

在该步骤中，同时记录所搬移数据的条数，以便在后面的步骤中，对经验条数和延迟时间等数据进行修正。

步骤S104，判断数据同步的条数是否大于等于当前的经验条数与预设的同步完整性阈值的乘积；若是，则搬移结束，进入下一个步骤；若否，则等待预设的等候时长t后，返回上述步骤S103。

由于数据进入源数据库的延迟，一次同步不一定能够将该次同步对应的数据时间点的数据全部搬移完，在这种情况下，需要再启动一次数据同步过程，搬移尚未这些数据。由于本实施例针对的网络管理系统和通讯系统，或者其他系统，固定时间段产生的数据大致相同，因此，可以以经验条数，即前面的同步过程中统计的搬移条数作为判断依据。具体确定经验条数的方法在不同场合可以不同，在本实施例中，采用所搬移的数据所在的数据表在一预设的时间长度内的各次搬移条数中的最大值。例如，对于数据表A，在预设的时间段24小时内，以1小时为周期进行了24次搬移，其中，统计获得的最大的搬移条数值为20000条，则以20000条为当前的经验条数。当然，所述预设的时间段根据不同的同步场合可以采用不同的值，例如，也可以采用一周作为预设的时间段，甚至采用一个月作为预设的时间段。

由于上述方法中，采用各次搬移条数的最大值为经验条数，实际上，并不是每个周期都会产生这么大的数据量，因此，需要设置一个反应同步数据完整性的阈值，称为同步完整性阈值，该同步完整性阈值为一个小于1的系数。例如0.9。

以上方案只是判断数据同步是否完整的转移了数据的一种方式，也可以采用其他方案。

上述等候时长可以累计并且进行记录，以便后续使用。例如，t设置为5分钟，延迟一次进行补充数据同步后，回到本步骤，仍然没有大于等于经验条数和作为系数的阈值的乘积所要求的条数，则需要再次延迟5分钟，则记录的等候时长应当为10分钟。

另外，还可以为等候的次数设置一个极限值，当超过该极限值时，无论如何进入下一个步骤，以免出现无限期等待的情况。出现这种情况时，也可以进行报警，要求人工干预。

步骤S105，根据本次数据同步记录的搬移数据条数，重新计算确定所述经验条数和延迟时间。

通过上述步骤S104和步骤S105，可以获得完成后的本次数据同步记录的搬移数据条数，以及原延迟时间加上本次累计的等候时长获得的总的延迟时间。这些对以后的数据同步都有重要参考价值，应当根据这些新数据，重新计算确定所述经验条数，以及延迟时间。所述延迟时间采用本次记录的累计等候时长加上原来的延迟时间，因为这个数据反映了最近的系统中数据搜集的速度；所述经验条数，则将本次数据同步记录的搬移数据条数放入预设时间段的各次记录内，进行比较，计算新的经验条数。如果本次搬移的数据条数大于预设时间段内的各次记录的数据条数，则本次搬移的数据条数即作为经验条数使用。通过本步骤，能够及时修改参数，以反映源数据库的数据搜集的情况，避免数据同步不完整。

步骤S106，结束。

本次同步过程结束，回到步骤S101，进行下一次循环。

在该步骤S106前，还可以根据所获的数据计算数据同步的齐全率，该齐全率的计算是以本次同步搬移的数据条数除以经验条数，如果过低，则认为系统数据搜集存在问题，可以提出报警。

另外，可以为延迟时间设定极限值，在所述步骤S105计算获得所述延迟时间后，将其与该预先设定的延迟时间的极限值比较，如果超过该极限值，则意味着数据搜集存在问题，也可以提出报警。这个报警和步骤S104中等待次数超过预先设置的极限次数的报警可以是一致的，也可以设置两个不同的标准，采用两个不同的报警信息。

具体的报警方式，可以通过短信方式直接向相关管理人员发送报警短信。根据不同的报警原因，可以发送不同的报警信息。

另外，由于大多数数据存在的意义均在一定的时间周期内，所以，配合上述数据同步的过程，也可以设置定期清理数据的程序，定期将目标数据库II中的过期数据清理掉。这样可以避免数据库容量无限膨胀，以及影响有效数据的检索速度。

在上述实施例中，假设数据采用数据表存储，因此，同步数据时可以针对每个数据表分别启动对应的线程。

在该实施例中，由于对每次数据同步的数据条目的数量都有记录，并将其与以前同步的数据条目数量进行比较，并以此作为同步是否完全的判断标准。这样可以基本保证数据同步的完整性。

在该实施例中，还对同步数据中条目过少或者等待的延迟时间过长的情况作出报警处理，这样可以使系统中出现的问题能够获得及时的处理，保证数据搜集和同步都能够正常进行。

本发明第二实施例提供一个数据同步装置，该装置能够根据上述方法完成数据同步。

请参看图2，该图为该数据同步装置的单元框图。

如图2所示，该数据同步装置包括：时间判断单元1、数据同步单元2、计数单元3、判断计算单元4、元数据存储单元5；还包括：数据表结构修补单元6、齐全率计算单元7、数据清理单元8、元数据编辑器9、数据缺失报警单元10、任务监控单元11。

所述时间判断单元1，用于获得数据时间点、延迟时间数据，并从系统读取当前时间，与上述数据时间点加延迟时间进行比较，若是，则发出数据同步启动指令；所述数据时间点是上次数据同步的截止时间点加上预设的数据同步的周期计算获得；所述延迟时间采用上次数据同步的实际延迟时间；如果是第一次进行数据同步，则所述数据时间点以及数据同步的延迟时间从元数据存储单元5读取初始值即可。该时间判断单元1还从所述判断计算单元4接收等待指令，并在接收到该指令后，等待元数据中给定的等待时长后，向所述数据同步单元2发出数据同步启动指令。

所述数据同步单元2，用于接收所述数据同步启动指令，并据此启动数据同步，将源数据库I的数据搬移到目标数据库II的对应位置。根据源数据库I存储数据的方式的不同，同步的方式也有所不同。在本实施例中，假设源数据库I中以多个数据表的形式存储数据，相应的，在所述目标数据库II中，对应设置同样的数据表，并且对应的数据表具有相同的字段。同步过程就是将源数据库I的各个数据表中的数据条目逐个拷贝到目标数据库II的相应的数据表中。针对每一个需要同步的数据表，可以启动一个单独的线程进行数据同步。同步时，根据每一条数据条目中的生成时间数据判断是否需要搬移，若需要搬移，则从源数据库的数据表读取该数据条目，然后拷贝到目标数据库II的相应数据表中。例如，某此同步的数据时间点为五点，数据同步的周期为1小时，则数据同步时，需要搬移四点到五点的数据，四点之前，五点之后的数据都不同步。这样才可以保证每次数据同步不会出现重复搬移数据的情况。搬移后的数据条目，可以加一个已经同步的标记，以免重复搬移。

所述计数单元3，在数据同步单元进行数据同步时，记录同步数据条数，并将计数获得的同步单元2在一次同步过程中同步的数据条数提供给判断计算单元。该计数实际上针对每个数据表进行。

所述判断计算单元4，用于接收来自所述计数单元3的同步数据条数，与当前的经验条数和预设的同步完整性阈值的乘积相比较，判断所述同步数据条数是否大于所述经验条数和同步完整性阈值的乘积，若是，向时间判断单元发出本次同步结束信号，使其启动是否开始下一次同步的判断；若否，则向所述时间判断单元发出等待指令。该单元将一次同步周期中的等待时间加上原先的延迟时间获得本次同步的实际延迟时间，并将这个数据记录在元数据库中，以便下次使用。该单元能够根据计数单元3获得的同步数据条目，将其与经验条数和预设的阈值乘积比较，判断同步是否完成，通过这个判断，能够确保数据同步的完整性，避免遗漏大量数据。

所述元数据存储单元5，用于存储上述各个单元需要使用的相关参数，以及源数据库、目标数据库的相关参数，以便数据同步中使用。例如，源表名、目标表名、唯一主键的字段、搬移的筛选条件、数据保存时间，如果该表是性能数据还要描述时间字段、时间周期。对字段的描述如：源表字段名（可以是SQL语法的计算公式）、目标表字段名、字段含义，上述同步过程中使用的延迟时间、数据时间点，数据同步周期等内容。元数据存储单元5的结构设计为便于各个单元读取，这种数据结构可能并不利于数据的输入。为了便于对元数据进行修改，可以采用excel表设计元数据编辑器9，通过excel表记录各种元数据，该元数据编辑器9通过接口程序和元数据存储单元5连接，能够方便元数据的输入和修改，并增强控制界面的友好性，使该装置能够方便的应用于不同的数据同步场合。

该装置还包括数据结构修补单元6，该读取元数据存储单元5中存储的源数据库的数据结构参数，判断目标数据库II的数据结构是否完整，若否，则将目标数据库II的数据结构修补完整。例如，当数据以数据表的形式存储时，该单元根据元数据存储单元5中存储的关于源数据库I中的数据表的字段信息，判断目标数据库II中的相应的数据表的字段是否完整准确，若是，则不作处理；若否，则将目标数据库的数据结构修补完整。上述判断和修补的操作可以在每次同步单元2开始同步之前进行一次，以免同步过程中出现错误。

该装置还包括齐全率计算单元7，该齐全率计算单元7用于计算每次数据同步的齐全率，将该齐全率记录到元数据库中。若齐全率过低，还可以通知数据缺失报警单元10发出报警。所述齐全率的计算方式为，在一个时间点的数据同步完全完成以后，将该次数据同步搬移的数据条目除以经验条数，作为本次数据同步的齐全率；将该数值和一预设的最低齐全率阈值相比较，即可以判断齐全率是否过低。所述经验条数，就是同步计算单元2所用的经验条数，所述最低齐全率阈值为一个小于1的值，该值大于等于所述同步完整性阈值。

所述数据清理单元8，用于根据预设的数据存储时间，将目标数据库II中超过存储时间的数据条目删除。由于在该装置的应用环境中，所同步的数据具有一定的时效性，超过一定时间的数据失去意义，为了节省存储空间，有必要根据情况实时清除相关的存储数据。例如，规定数据存储的时间不得超过三个月，该数据清理单元8定期运行，根据数据条目中的数据生成时间字段，清除超过三个月的数据条目。该数据清理单元8执行数据清理的时间一般应当在所述数据同步单元2没有执行同步的时间段内执行。

所述元数据编辑器9，如前所述，采用excel表格形式提供人机接口的界面，在excel的不同页面存储不同类型的元数据，包括对描述数据库结构的数据，各种参数等，还可以记录同步过程中产生的各种数据。这样就可以方便的进行输入以及获得同步中的相关数据情况。可以通过设置密码等方式，使编辑者具有不同的编辑权限。

数据缺失报警单元10，用于读取所述齐全率计算单元7写入元数据存储单元5中的齐全率数据，以及所述判断计算单元4写入元数据存储单元5中的实际延迟时间数据，将这两个数据与元数据存储单元5中存储的指标值比较，如果所述齐全率数据低于齐全率最低值指标，则认为数据不完整，系统存在故障，发出报警；如果所述实际延迟时间数据长于延迟时间最大值指标，则认为系统数据搜集存在故障，发出报警。具体的报警方式，可以采用短信报警的方法，向相关负责人员发出报警短信，报警短信的具体内容可以根据报警原因不同而不同。相关负责人员的手机号码可以存储在元数据存储单元5中，并可以通过元数据编辑器9进行编辑。

所述任务监控单元11，是个“看门狗”程序，专门用于监测数据同步单元2、历史数据清理8、数据缺失报警单元10等模块的运行状态。如果检测到其中一个任务停滞，则重启该任务，这样可以预防本同步装置异常退出。

以上数据同步装置的各个单元，除了所述元数据编辑器9外，具体可采用在服务器中以常驻程序的形式运行。

采用上述数据同步装置，就可以实现可靠的自动数据同步，并可以及时发现异常情况，确保数据同步的有效运行。并且，该数据同步装置可以适应不同背景的同步要求，只要通过元数据编辑器9输入不同的元数据即可，这样，其适用性就非常广泛。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明基本原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种数据同步方法，用于将源数据库中的数据搬移到目标数据库中，其特征在于，包括如下步骤：

当前时间是否等于或者晚于数据时间点加延迟时间；若是，则进入数据同步步骤；若否，则等待若干时间后，重新进行上述判断；

数据同步，即将源数据库的数据搬移到目标数据库的对应位置；同时，记录所搬移的数据的条数；

判断数据同步的条数是否大于当前的经验条数与预设的作为系数的阈值的乘积；若是，则搬移结束；若否，则等待预设的等候时长，然后返回数据同步的步骤；同时，记录累计的等候时长；

根据本次数据同步记录的搬移数据条数，重新计算确定所述经验条数和延迟时间；

回到开始步骤。

2.根据权利要求1所述的数据同步方法，其特征在于，所述数据时间点以如下方式确定：

读取上次同步的数据时间点，加上预设的数据同步的周期，即获得本次同步的数据时间点。

3.根据权利要求1所述的数据同步方法，其特征在于，所述经验条数为所同步的数据所在的数据表在一预设的时间长度内的各次同步的同步条数中的最大值。

4.根据权利要求3所述的数据同步方法，其特征在于，所述阈值为一小于1的系数值。

5.根据权利要求1所述的数据同步方法，其特征在于，在进行数据同步之前，根据元数据中记录的源数据库的数据表参数，判断目标数据库的数据表结构是否完整准确，若否，则根据元数据中的相关参数将数据表修补完整。

6.根据权利要求1所述的数据同步方法，其特征在于，在每次数据同步完成之后，根据本次数据同步的搬移条数除以经验条数，获得本次数据同步的齐全率；若数据同步的齐全率一次或者多次过低，则发出报警。

7.根据权利要求1所述的数据同步方法，其特征在于，所述延迟时间，在每次数据同步完成后，以原延迟时间加上累计的等候时长作为下次同步的延迟时间；若上述计算获得的延迟时间超过了预设的极限值，则发出警报。

8.根据权利要求1所述的数据同步方法，其特征在于，还包括以预设的周期进行的下述步骤：

删除存储在目标数据库中的超过规定存储时间的数据。

9.一种数据同步装置，其特征在于，包括：

时间判断单元，用于获得数据时间点、延迟时间数据，并用当前时间与上述数据时间点加延迟时间进行比较，判断当前时间是否晚于数据时间点加延迟时间；若是，则发出数据同步启动指令；该时间判断单元，还接收所述判断计算单元发出的等待指令，并在等待预设的等待时长后，发出数据同步启动指令；

数据同步单元，用于接收所述数据同步启动指令，并据此启动数据同步，将源数据库的数据搬移到目标数据库的对应位置；

计数单元，用于在数据同步单元进行数据同步时，记录同步数据条数，并将最终获得的计数结果输出；

判断计算单元，用于接收来自所述计数单元的同步数据条数，并判断该数据是否大于当前的经验条数和预设的阈值的乘积；若是，则向时间判断单元发出本次同步结束信号，使其启动是否开始下一次同步的判断；若否，则向所述时间判断单元发出等待指令；

元数据存储单元，用于存储上述各个单元需要使用的相关参数。

10.根据权利要求9所述的数据同步装置，其特征在于，包括：

数据结构修补单元，用于读取元数据存储单元中存储的源数据库的数据结构参数，判断目标数据库的数据结构是否完整准确，若否，则将目标数据库的数据结构修补完整。

11.根据权利要求9所述的数据同步装置，其特征在于，还包括：

齐全率计算单元，用于计算每次数据同步的齐全率，若齐全率过低，则发出报警；所述齐全率的计算方式为，以本次数据同步搬移的数据条目除以经验条数，作为本次数据同步的齐全率；将该数值和一预设的最低齐全率阈值相比较，即可以判断齐全率是否过低。

12.根据权利要求9所述的数据同步装置，其特征在于，还包括：

数据清理单元，用于定期执行下述操作：根据预设的数据存储时间，将目标数据库中超过存储时间的数据条目删除。

13.根据权利要求9所述的数据同步装置，其特征在于，还包括通过excel表格构造的元数据编辑器，用于对所述元数据存储单元存储的元数据进行编辑，以及显示所述元数据存储单元在同步过程中记录的元数据。

14.根据权利要求9所述的数据同步装置，其特征在于，包括数据缺失报警单元，该单元根据元数据存储单元中存储的齐全率最低值指标以及延迟时间最大值指标，判断每次同步完成后的齐全率和延迟时间是否在指标范围内，若超过则发出报警信息。

15.根据权利要求9-14任意一项所述的数据同步装置，其特征在于，包括任务监控单元，该任务监控单元用于监控各个单元是否正常运行，若某个单元执行的任务停滞，则重启该单元。

Images