CN108009252A - 数据同步的方法及装置 - Google Patents

Abstract

本发明公开了数据同步的方法及装置，属于数据库技术领域。该方法包括：当监听到消息队列中存在第一格式同步数据时，将所述第一格式同步数据封装成传输对象数据，其中，所述第一格式同步数据是当根据设定的采集规则确定源数据库日志发生变化时，采集的所述源数据库的日志数据生成的；当所述传输对象数据的传输属性信息与设定的同步作业信息匹配时，将所述源数据库中与所述传输对象数据对应的源数据同步到与所述传输属性匹配的目标数据库中。这样，可将数据同步功能与业务功能进行解耦，提高了业务系统功能的稳定性。

Description

数据同步的方法及装置

技术领域

本发明涉及数据库技术领域，特别涉及数据同步的方法及装置。

背景技术

在互联网公司分布式系统架构中，会存在各种子系统，每个子系统之间存在数据的交叉联系，必然会带来数据同步的需求。在大数据的场景中，需要针对业务平台中的数据进行分析计算，为了使分析计算跟业务平台解耦，那么分析平台需要对业务平台数据进行抽取，抽取的这个过程也是数据同步的需求。

目前，可将同步的方式以代码的形式写入到各个业务系统中，并提供接口给调用方，这样可实现数据同步。但是，当平台中的系统越来多，这种同步接口也会增多，不仅会使业务系统更加复杂而且功能不够纯粹，而且还会导致业务逻辑功能与同步功能强耦合。并且，同步功能的变化会导致业务功能存在风险。

发明内容

本发明实施例提供了一种数据同步的方法及装置。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明实施例的第一方面，提供了一种数据同步的方法，包括：

当监听到消息队列中存在第一格式同步数据时，将所述第一格式同步数据封装成传输对象数据，其中，所述第一格式同步数据是当根据设定的采集规则确定源数据库日志发生变化时，采集的所述源数据库的日志数据生成的；

当所述传输对象数据的传输属性信息与设定的同步作业信息匹配时，将所述源数据库中与所述传输对象数据对应的源数据同步到与所述传输属性匹配的目标数据库中。

本发明一实施例中，所述监听到消息队列中存在第一格式同步数据之前，还包括：

配置进行数据同步的数据源；

配置数据同步作业的所述设定的同步作业信息，其中，所述设定的采集规则是根据所述设定的同步作业信息生成的；

配置将所述源数据库中数据一次性导入所述目标数据库中的数据初始化功能。

本发明一实施例中，所述第一格式同步数据的生成过程包括：

当根据所述设定的采集规则确定源数据库日志发生变化时，获取记录的前次截取所述日志数据的前次日志坐标值；

从所述源数据库日志中，截取所述前次日志坐标值之后的当前日志数据；

当解析所述当前日志数据后的解析数据信息与所述设定的同步作业信息匹配时，将与所述设定的同步作业信息匹配的日志数据封装成所述第一格式同步数据，并放入所述消息队列中。

本发明一实施例中，所述截取所述前次日志坐标值之后的当前日志数据之后，还包括：

记录当前日志坐标值。

本发明一实施例中，所述将所述源数据库中与所述传输对象数据对应的源数据同步到与所述传输属性匹配的目标数据库中包括：

从所述源数据库中，获取与所述传输对象数据中输入流对象对应的源数据；

根据所述传输对象数据中输出流对象对应的输出顺序信息，将所述源数据输出到与所述传输属性匹配的目标数据库中。

根据本发明实施例的第二方面，提供一种数据同步的装置，包括：

监控单元，用于当监听到消息队列中存在第一格式同步数据时，将所述第一格式同步数据封装成传输对象数据，其中，所述第一格式同步数据是当根据设定的采集规则确定源数据库日志发生变化时，采集的所述源数据库的日志数据生成的；

同步单元，用于当所述传输对象数据的传输属性信息与设定的同步作业信息匹配时，将所述源数据库中与所述传输对象数据对应的源数据同步到与所述传输属性匹配的目标数据库中。

本发明一实施例中，还包括：

配置单元，用于配置进行数据同步的数据源；配置数据同步作业的所述设定的同步作业信息，其中，所述设定的采集规则是根据所述设定的同步作业信息生成的；以及，配置将所述源数据库中数据一次性导入所述目标数据库中的数据初始化功能。

本发明一实施例中，还包括：

采集单元，用于当根据所述设定的采集规则确定源数据库日志发生变化时，获取记录的前次截取所述日志数据的前次日志坐标值；从所述源数据库日志中，截取所述前次日志坐标值之后的当前日志数据；当解析所述当前日志数据后的解析数据信息与所述设定的同步作业信息匹配时，将与所述设定的同步作业信息匹配的日志数据封装成所述第一格式同步数据，并放入所述消息队列中。

本发明一实施例中，所述采集单元，还用于记录当前日志坐标值。

本发明一实施例中，所述同步单元，具体用于从所述源数据库中，获取与所述传输对象数据中输入流对象对应的源数据；以及，根据所述传输对象数据中输出流对象对应的输出顺序信息，将所述源数据输出到与所述传输属性匹配的目标数据库中.

本发明实施例提供的技术方案可以包括以下有益效果：

本发明实施例中，可只需根据数据库日志变化来进行数据同步，不需要侵入数据库对应的业务系统，也不影响业务系统的功能以及代码侵入，这样，可将数据同步功能与业务功能进行解耦，提高了业务系统功能的稳定性，也实现了数据同步的实时性以及智能性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种数据同步方法的流程图；

图2是根据一示例性实施例示出的一种数据源配置网页页面示意图；

图3是根据一示例性实施例示出的一种同步作业信息配置网页页面示意图；

图4是根据一示例性实施例示出的一种数据初始化配置网页页面示意图；

图5是根据一示例性实施例示出的一种日志数据采集的流程图；

图6是根据一示例性实施例示出的一种数据同步的流程图；

图7是根据一示例性实施例示出的一种数据同步装置的框图；

图8是根据一示例性实施例示出的一种数据同步装置的框图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的结构、产品等而言，由于其与实施例公开的部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

分布式系统架构中有数据实时同步的需求，本发明实施例中，可根据数据库日志变化来进行数据同步，不需要侵入数据库对应的业务系统，也不影响业务系统的功能以及代码侵入，这样，可将数据同步功能与业务功能进行解耦，提高了业务系统功能的稳定性，也实现了数据同步的实时性以及智能性。

图1是根据一示例性实施例示出的一种数据同步方法的流程图。如图1所示，数据同步的过程包括：

步骤101：当监听到消息队列中存在第一格式同步数据时，将第一格式同步数据封装成传输对象数据。

本发明实施例中的数据同步过程独立于分布式业务系统的业务功能之外，因此，可通过监听消息队列是否存在第一格式同步数据，来启动数据实时同步的过程。而第一格式同步数据是当根据设定的采集规则确定源数据库日志发生变化时，采集的源数据库的日志数据生成的。

在进行数据同步之前，可进行数据同步的相关配置，包括：数据源配置，作业配置，以及数据初始化配置，通过这些配置，可确定进行数据同步的数据源，需进行数据同步的源数据库，目标数据库，作业相关信息等等。即监听到消息队列中存在第一格式同步数据之前，还包括：配置进行数据同步的数据源；配置数据同步作业的设定的同步作业信息，其中，设定的采集规则是根据设定的同步作业信息生成的；配置将源数据库中数据一次性导入目标数据库中的数据初始化功能。

较佳地，配置过程可全部通过网页进行页面化配置，这样，不需要人为修改代码，进一步提高数据同步的自动化以及智能性。

对数据源、同步作业信息以及数据初始化进行配置后，可根据配置的同步作业信息生成设定的采集规则。配置的同步作业信息即设定的同步作业信息中可包括：介绍当前同步作业的功能的作业名称，待采集的实例名，源数据库，目标数据库，待监控的表和字段，作业信息等等，从而，可根据配置的同步作业信息生成对应的设定的采集规则。

这样，可根据设定的采集规则，来监控源数据库日志。当根据设定的采集规则确定源数据库日志发生变化时，获取记录的前次截取日志数据的前次日志坐标值；从源数据库日志中，截取前次日志坐标值之后的当前日志数据；当解析当前日志数据后的解析数据信息与设定的同步作业信息匹配时，将与设定的同步作业信息匹配的日志数据封装成第一格式同步数据，并放入消息队列中。

这样，一旦将第一格式同步数据投放到消息队列中后，即可监听到消息队列中存在第一格式同步数据，可将第一格式同步数据封装成传输对象数据。

其中，第一格式同步数据是根据与设定的同步作业信息匹配的日志数据封装成的，因此，第一格式同步数据可包括：源数据库，目标数据库，待监控的表和字段，以及操作信息。而传输对象数据是根据第一格式同步数据封装成的，则也可从传输对象数据中提取源数据库，目标数据库，待监控的表和字段，以及操作信息等等这些传输属性信息。

步骤102：当传输对象数据的传输属性信息与设定的同步作业信息匹配时，将源数据库中与传输对象数据对应的源数据同步到与传输属性匹配的目标数据库中。

提取传输对象数据的传输属性信息，传输属性信息包括源数据库，目标数据库，待监控的表和字段，以及操作信息中一种，两种或多种信息。而在配置的过程中，设定的同步作业信息也包括：介绍当前同步作业的功能的作业名称，待采集的实例名，源数据库，目标数据库，待监控的表和字段，作业信息等等这些信息，因此，可在设定的同步作业信息中进行查询，若设定的同步作业信息中存在传输对象数据中的这些传输属性信息，即可确定传输对象数据的传输属性信息与设定的同步作业信息匹配。

从而，可将源数据库中与传输对象数据对应的源数据同步到与传输属性匹配的目标数据库中。较佳地，从源数据库中，获取与传输对象数据中输入流对象对应的源数据；根据传输对象数据中输出流对象对应的输出顺序信息，将源数据输出到与传输属性匹配的目标数据库中。

可见，可只需根据数据库日志变化来进行数据同步，不需要侵入数据库对应的业务系统，也不影响业务系统的功能以及代码侵入，这样，可将数据同步功能与业务功能进行解耦，提高了业务系统功能的稳定性，也实现了数据同步的实时性以及智能性。

当然，在第一格式同步数据的生成过程中，截取前次日志坐标值之后的当前日志数据之后，还包括：记录当前日志坐标值。这样，可便于进行下一次日志数据的截取，以及分布式业务系统中的数据同步，进一步提高数据同步的持续性以及智能性。

下面结合具体实施例，描述数据同步中的配置过程、采集过程以及同步过程。

图2是根据一示例性实施例示出的一种数据源配置网页页面示意图。

图3是根据一示例性实施例示出的一种同步作业信息配置网页页面示意图。

图4是根据一示例性实施例示出的一种数据初始化配置网页页面示意图。

本实施例中，可通过网页进行页面化的配置，因此，可预先生成对应的配置页面，从而，每次进行数据同步前，可通过如图2所示的网页来配置进行数据同步的数据源，可包括每个数据库的名称，地址等等信息。可通过如图3所示的网页来配置同步作业信息，可包括：数据库名，表，字段，作业名等等，即设定的同步作业信息可包括：作业名称，待采集的实例名，源数据库，目标数据库，待监控的表和字段，作业信息等等这些信息。

一般，在初次运行时，需要将源数据库中的数据一次性导入到目标数据库中，或者当数据同步出现了问题导致源数据库和目标数据库中数据不一致，也可以通过数据初始化配置来修复数据，即可将目标数据库中的数据全部清空，然后，将源数据库中的数据全量拉取一次性导入到目标数据库中。因此，可如图4所示，配置将源数据库中数据一次性导入目标数据库中的数据初始化功能。

配置了同步作业所需各种功能后，可进行日志数据的采集。

图5是根据一示例性实施例示出的一种日志数据采集的流程图。如图5所示，日志数据采集的过程包括：

步骤501：根据设定的采集规则判断源数据库日志是否发生变化？若是，执行步骤502，否者，继续监控，返回步骤501。

在配置的过程中，已经配置了同步作业信息，因此，可生成对应的设定的采集规则，这样，可根据设定的采集规则来监控源数据库日志是否发生变化？若发生变化了，可执行步骤502，否者，继续监控。

步骤502：获取记录的前次截取日志数据的前次日志坐标值。

一般是监控数据库日志是否发生变化，因此，只需截取最新的日志数据，这样，需获取记录的前次截取日志数据的前次日志坐标值，一般可从对应的缓存中获取前次日志坐标值。

步骤503：从源数据库日志中，截取前次日志坐标值之后的当前日志数据。

步骤504：解析当前日志数据，获取解析数据信息。

步骤505：判断解析数据信息是否与设定的同步作业信息匹配？若是，执行步骤506，否者，流程结束。

设定的同步作业信息中包括了数据库，表和字段，以及操作信息等等，若设定的同步作业信息中包含了解析数据信息中的数据库，表和字段，以及操作信息，即可确定解析数据信息与设定的同步作业信息匹配，执行步骤506。

步骤506：将与设定的同步作业信息匹配的日志数据封装成第一格式同步数据，并放入消息队列。

这里，第一格式可为JSON(JavaScript Object Notation，JS对象标记)格式，这是一种轻量级的数据交换格式。它基于ECMAScript(w3c制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。数据库日志，一般都是二进制文件，因此，可将与设定的同步作业信息匹配的日志数据封装成JSON格式的同步数据，并放入消息队列中。

当然，本发明实施例也不限于此，也可是其他的数据交换格式，例如：可扩展语言(Extensible Markup Language，XML)格式，或标记语言

(YAML Ain't Markup Language，YAML)格式等等。

步骤507：记录当前日志坐标值。

可在缓存中记录当前日志坐标值，这样，可便于进行下一次日志数据的截取，以及分布式业务系统中的数据同步，进一步提高数据同步的持续性以及智能性。当然，步骤507可在步骤503后直接执行。

可见，本实施例中，只需监控数据库日志是否发生变化，不需要浸入业务系统中，即可采集到对应的日志数据，从而，形成同步消息进入消息队列中，以实现实时同步数据。

图6是根据一示例性实施例示出的一种数据同步的流程图。如图6所示，数据同步的过程包括：

步骤601：判断是否监听到消息队列中存在第一格式同步数据？若是，执行步骤602，否则，继续监听，执行步骤601。

例如，可监听消息队列中是否存在JSON同步数据？若存在，执行步骤602，否则，继续监听。

步骤602：从消息队列取出第一格式同步数据，并将第一格式同步数据封装成传输对象数据。

例如：可将JSON同步数据封装为传输对象数据dataDTO，该传输对象数中可包括：实例名destination，库名dbname，表名table，操作operation信息等等。

步骤603：判断传输对象数据的传输属性信息与设定的同步作业信息是否匹配？若是，执行步骤604，否者，流程结束。

从传输对象数据提取传输属性信息包括：实例名destination，库名dbname，表名table，操作operation信息等等。设定的同步作业信息包括了数据库，表和字段，以及操作信息等等，若设定的同步作业信息中包含了传输属性中的数据库，表和字段，以及操作信息等，即可确定传输属性信息与设定的同步作业信息匹配，执行步骤604。

步骤604：从源数据库中，获取与传输对象数据中输入流对象对应的源数据。

例如：可将传输对象数据保存到传输集合中，从而，传输线程可根据传输对象数据传输对应的数据。首先，传输线程可从传输集合trans_list中取出传输对象数据，并转换为实体对象syncTransDTO，该对象中包含作业配置syncJobModel对象，输入流syncInputModel对象，输出流syncOutputModel对象。因此，可先执行输入操作，从输入流syncInputModel对象中取出输入模板input_Template，模板对应参数名集合input_params。这样，可根据传输对象数据dataDTO中取出源数据库中对应的变化的源数据doc，如果input_Template为空，则将doc中的源数据封装到out_map中，如果input_Template不为空，按照input_params顺序依次以名称对应到input_Template中的变量，执行此input_Template模板获取源数据库对应源数据的结果集，在将结果集封装到out_map中。

步骤605：根据传输对象数据中输出流对象对应的输出顺序信息，将源数据输出到与传输属性匹配的目标数据库中。

同样，采用传输线程进行同步，从输出流syncOutputModel对象中取出输出模板out_Template，模板对应参数名集合out_params。这样，可将out_map中的数据依据out_params顺序依次以名称对应到out_Template中，最后执行此out_Template模板，完成源数据输出到与传输属性匹配的目标数据库中的操作。

可见，本实施例中，可只需根据数据库日志变化来进行数据同步，不需要侵入数据库对应的业务系统，也不影响业务系统的功能以及代码侵入，这样，可将数据同步功能与业务功能进行解耦，提高了业务系统功能的稳定性，也实现了数据同步的实时性以及智能性。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

根据上述数据同步的过程，可构建一种数据同步的装置。

图7是根据一示例性实施例示出的一种数据同步装置的框图。如图7所示，该装置包括：监控单元100和同步单元200，其中，

监控单元100，用于当监听到消息队列中存在第一格式同步数据时，将第一格式同步数据封装成传输对象数据，其中，第一格式同步数据是当根据设定的采集规则确定源数据库日志发生变化时，采集的源数据库的日志数据生成的。

同步单元200，用于当传输对象数据的传输属性信息与设定的同步作业信息匹配时，将源数据库中与传输对象数据对应的源数据同步到与传输属性匹配的目标数据库中。

本发明一实施例中，还包括：配置单元，用于配置进行数据同步的数据源；配置数据同步作业的设定的同步作业信息，其中，设定的采集规则是根据设定的同步作业信息生成的；以及，配置将源数据库中数据一次性导入目标数据库中的数据初始化功能。

本发明一实施例中，还包括：采集单元，用于当根据设定的采集规则确定源数据库日志发生变化时，获取记录的前次截取日志数据的前次日志坐标值；从源数据库日志中，截取前次日志坐标值之后的当前日志数据；当解析当前日志数据后的解析数据信息与设定的同步作业信息匹配时，将与设定的同步作业信息匹配的日志数据封装成第一格式同步数据，并放入消息队列中。

本发明一实施例中，采集单元，还用于记录当前日志坐标值。

本发明一实施例中，同步单元200，具体用于从源数据库中，获取与传输对象数据中输入流对象对应的源数据；以及，根据传输对象数据中输出流对象对应的输出顺序信息，将源数据输出到与传输属性匹配的目标数据库中。

下面结合具体实施例描述数据同步装置。

图8是根据一示例性实施例示出的一种数据同步装置的框图。如图8所示，该装置包括：监控单元100和同步单元200，还包括配置单元300和采集单元400。

配置单元300可通过如图2、图3以及图4所示的网页页面分别配置进行数据同步的数据源，设定的同步作业信息以及将源数据库中数据一次性导入目标数据库中的数据初始化功能。

这样，采集单元400可根据配置单元300配置的设定的同步作业信息生成设定的采集规则，然后，当根据设定的采集规则确定源数据库日志发生变化时，采集单元400可获取记录的前次截取日志数据的前次日志坐标值；从源数据库日志中，截取前次日志坐标值之后的当前日志数据，并记录当前日志坐标值；当解析当前日志数据后的解析数据信息与配置单元300配置的设定的同步作业信息匹配时，将与设定的同步作业信息匹配的日志数据封装成第一格式同步数据，并放入消息队列中。

这样，监控单元100可监听到消息队列中是否存在第一格式同步数据？当监听到消息队列中存在第一格式同步数据时，监控单元100从消息队列取出第一格式同步数据，并将第一格式同步数据封装成传输对象数据。

而当传输对象数据的传输属性信息与配置单元300配置的设定的同步作业信息匹配时，同步单元200可从源数据库中，获取与传输对象数据中输入流对象对应的源数据，并根据传输对象数据中输出流对象对应的输出顺序信息，将源数据输出到与传输属性匹配的目标数据库中。

可见，本实施例中，可只需根据数据库日志变化来进行数据同步，不需要侵入数据库对应的业务系统，也不影响业务系统的功能以及代码侵入，这样，可将数据同步功能与业务功能进行解耦，提高了业务系统功能的稳定性，也实现了数据同步的实时性以及智能性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据同步的方法，其特征在于，包括：

当监听到消息队列中存在第一格式同步数据时，将所述第一格式同步数据封装成传输对象数据，其中，所述第一格式同步数据是当根据设定的采集规则确定源数据库日志发生变化时，采集的所述源数据库的日志数据生成的；

当所述传输对象数据的传输属性信息与设定的同步作业信息匹配时，将所述源数据库中与所述传输对象数据对应的源数据同步到与所述传输属性匹配的目标数据库中。

2.如权利要求1所述的方法，其特征在于，所述监听到消息队列中存在第一格式同步数据之前，还包括：

配置进行数据同步的数据源；

配置数据同步作业的所述设定的同步作业信息，其中，所述设定的采集规则是根据所述设定的同步作业信息生成的；

配置将所述源数据库中数据一次性导入所述目标数据库中的数据初始化功能。

3.如权利要求1或2所述的方法，其特征在于，所述第一格式同步数据的生成过程包括：

当根据所述设定的采集规则确定源数据库日志发生变化时，获取记录的前次截取所述日志数据的前次日志坐标值；

从所述源数据库日志中，截取所述前次日志坐标值之后的当前日志数据；

当解析所述当前日志数据后的解析数据信息与所述设定的同步作业信息匹配时，将与所述设定的同步作业信息匹配的日志数据封装成所述第一格式同步数据，并放入所述消息队列中。

4.如权利要求3所述的方法，其特征在于，所述截取所述前次日志坐标值之后的当前日志数据之后，还包括：

记录当前日志坐标值。

5.如权利要求1所述的方法，其特征在于，所述将所述源数据库中与所述传输对象数据对应的源数据同步到与所述传输属性匹配的目标数据库中包括：

从所述源数据库中，获取与所述传输对象数据中输入流对象对应的源数据；

根据所述传输对象数据中输出流对象对应的输出顺序信息，将所述源数据输出到与所述传输属性匹配的目标数据库中。

6.一种数据同步的装置，其特征在于，包括：

监控单元，用于当监听到消息队列中存在第一格式同步数据时，将所述第一格式同步数据封装成传输对象数据，其中，所述第一格式同步数据是当根据设定的采集规则确定源数据库日志发生变化时，采集的所述源数据库的日志数据生成的；

同步单元，用于当所述传输对象数据的传输属性信息与设定的同步作业信息匹配时，将所述源数据库中与所述传输对象数据对应的源数据同步到与所述传输属性匹配的目标数据库中。

7.如权利要求6所述的装置，其特征在于，还包括：

配置单元，用于配置进行数据同步的数据源；配置数据同步作业的所述设定的同步作业信息，其中，所述设定的采集规则是根据所述设定的同步作业信息生成的；以及，配置将所述源数据库中数据一次性导入所述目标数据库中的数据初始化功能。

8.如权利要求6或7所述的装置，其特征在于，还包括：

采集单元，用于当根据所述设定的采集规则确定源数据库日志发生变化时，获取记录的前次截取所述日志数据的前次日志坐标值；从所述源数据库日志中，截取所述前次日志坐标值之后的当前日志数据；当解析所述当前日志数据后的解析数据信息与所述设定的同步作业信息匹配时，将与所述设定的同步作业信息匹配的日志数据封装成所述第一格式同步数据，并放入所述消息队列中。

9.如权利要求8所述的装置，其特征在于，

所述采集单元，还用于记录当前日志坐标值。

10.如权利要求6所述的装置，其特征在于，

所述同步单元，具体用于从所述源数据库中，获取与所述传输对象数据中输入流对象对应的源数据；以及，根据所述传输对象数据中输出流对象对应的输出顺序信息，将所述源数据输出到与所述传输属性匹配的目标数据库中。