CN113010607A - 系统间数据同步方法、装置、计算机系统、存储介质 - Google Patents

Abstract

本公开提供了一种系统间数据同步方法，包括：获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志，读取第一数据日志和第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志，将融合数据日志中的数据操作语句转换为第一数据库系统和第二数据库系统中的待同步数据库可识别的数据操作语句，将转换后的融合数据日志发送给待同步数据库，使待同步数据库执行数据操作语句，实现数据同步。该方法可以实现系统间的异构数据同步的问题。此外，本公开还提供了与该方法对应的装置、计算机系统和计算机可读存储介质。

Description

系统间数据同步方法、装置、计算机系统、存储介质

技术领域

本公开涉及计算机技术领域技术领域，更具体地，涉及一种系统间数据同步方法、装置、计算机系统、存储介质。

背景技术

随着技术发展，新的数据系统会逐步替代旧的数据系统。在新系统上线使用、旧系统逐步退出的双系统并轨运行期间，新、旧两套系统均对用户提供服务，用户在新系统、旧系统中操作所产生的数据库数据均需要准实时同步到对应的旧系统、新系统的数据库中。目前没有合理的解决各类不同数据库间数据准实时同步的方案。

发明内容

有鉴于此，本公开提供了一种系统间数据同步方法、装置、计算机系统、存储介质。

本公开的一个方面提供了一种系统间数据同步方法，包括：获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志；读取所述第一数据日志和所述第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志；将所述融合数据日志中的数据操作语句转换为所述第一数据库系统和所述第二数据库系统中的待同步数据库可识别的数据操作语句；将转换后的所述融合数据日志发送给所述待同步数据库，使所述待同步数据库执行所述数据操作语句，实现数据同步。

根据本公开的实施例，所述将所述融合数据日志中的数据操作语句转换为所述第一数据库系统和所述第二数据库系统中的待同步数据库可识别的数据操作语句包括：解析所述融合数据日志中的数据操作语句，获取所述数据操作语句包括的表、操作函数及字段名称；根据待同步数据库的类型，将所述操作函数转换为所述待同步数据库可识别的操作函数；基于所述表、所述待同步数据库可识别的操作函数及所述字段名称，重构所述数据操作语句，得到所述待同步数据库可操作的数据操作语句。

根据本公开的实施例，还包括：预设包括各类数据库的函数转换关系的函数转换库，基于所述函数转换库进行所述操作函数的转换。

根据本公开的实施例，还包括：在重构所述数据操作语句的过程中，忽略所述待同步数据库自身的所述第一数据日志或所述第二数据日志中在预设时间段内已执行的所述数据操作语句。

根据本公开的实施例，在所述待同步数据库执行所述数据操作语句，实现数据同步的过程中，包括：记录各所述数据操作语句、各所述数据操作语句的执行时间、执行结果。

根据本公开的实施例，所述第一数据库系统包括至少一个第一数据库，所述第二数据库系统包括至少一个第二数据库，所述获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志包括：定期获取各所述第一数据库的第一数据日志和各所述第二数据库的第二数据日志；将所有所述第一数据日志均存储于所述第一数据库系统中，将所有所述第二数据日志均存储于第二数据库系统中。

根据本公开的实施例，所述读取所述第一数据日志和所述第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志包括：读取所述第一数据库系统中全部的所述第一数据日志和所述第二数据库系统中全部的所述第二数据日志，将其中所包括的数据操作语句按照时间顺序排列，生成所述融合数据日志。

根据本公开的实施例，还包括：定时打包备份所述第一数据日志、所述第二数据日志和所述融合数据日志。

本公开另一方面提供了一种系统间数据同步装置，包括：日志获取模块，用于获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志；日志融合模块，用于读取所述第一数据日志和所述第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志；语句转换模块，用于将所述融合数据日志中的数据操作语句转换为所述第一数据库系统和所述第二数据库系统中的待同步数据库可识别的数据操作语句；数据同步模块，用于将转换后的所述融合数据日志发送给所述待同步数据库，使所述待同步数据库执行所述数据操作语句，实现数据同步。

根据本公开的实施例，所述语句转换模块包括：语句解析单元，用于解析所述融合数据日志中的数据操作语句，获取所述数据操作语句包括的表、操作函数及字段名称；函数转换单元，用于根据待同步数据库的类型，将所述操作函数转换为所述待同步数据库可识别的操作函数；语句重构单元，用于基于所述表、所述待同步数据库可识别的操作函数及所述字段名称，重构所述数据操作语句，得到所述待同步数据库可操作的数据操作语句。

根据本公开的实施例，所述数据同步模块包括：同步记录单元，用于记录各所述数据操作语句、各所述数据操作语句的执行时间、执行结果。

根据本公开的实施例，还包括：日志备份模块，用于定时打包备份所述第一数据日志、所述第二数据日志和所述融合数据日志。

本公开另一方面提供了一种计算机系统，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面中任一项所述的方法。

本公开另一方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现第一方面中任一项所述的方法。

根据本公开的实施例，通过将新、旧系统间的数据日志融合，可以实现新、旧系统间的数据同步，避免新、旧系统间存在数据差异，进一步的，在数据同步的过程中，通过转换数据操作语句，可实现新、旧系统间结构不同数据库的数据同步。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了可以应用本公开的用于系统间数据同步方法和装置的示例性系统架构；

图2示意性示出了可以应用本公开的用于系统间数据同步方法应用场景的示意图；

图3示意性示出了根据本公开实施例的系统间数据同步方法的流程图；

图4示意性示出了根据本公开实施例的系统间数据同步方法的操作S330的流程图；

图5示意性示出了根据本公开实施例的另一种系统间数据同步方法的流程图；

图6示意性示出了根据本公开实施例的系统间数据同步的框图；以及

图7示意性示出了根据本公开实施例的适于实现系统间数据同步方法的计算机系统700的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

本公开的实施例提供了一种系统间数据同步方法，包括：获取新、旧数据系统中的日志，将两个系统的日志的数据操作语句按照时间顺序重新排列，生成融合数据日志，将融合数据日志中的数据操作语句转换为待同步数据库可识别的数据操作语句，使待同步数据库执行数据操作语句，实现数据同步。该方法可以实现系统间的异构数据同步的问题。

图1示意性示出了根据本公开实施例的可以应用系统间数据同步方法的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的系统间数据同步方法一般可以由服务器105执行。相应地，本公开实施例所提供的系统间数据同步装置一般可以设置于服务器105中。本公开实施例所提供的系统间数据同步方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的系统间数据同步装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本公开实施例所提供的系统间数据同步方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本公开实施例所提供的系统间数据同步装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。

例如，第一数据日志、第二数据日志及融合数据日志可以原本存储在终端设备101、102、或103中的任意一个(例如，终端设备101，但不限于此)之中，或者存储在外部存储设备上并可以导入到终端设备101中。然后，终端设备101可以在本地执行本公开实施例所提供的系统间数据同步方法，或者将第一数据日志、第二数据日志及融合数据日志发送到其他终端设备、服务器、或服务器集群，并由接收该第一数据日志、第二数据日志及融合数据日志的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的系统间数据同步方法。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了可以应用本公开的用于系统间数据同步方法应用场景的示意图。

如图2所示，该应用场景中包括应用于实施该系统间数据同步方法的服务器集群210，即如图1所示的系统架构，还包括第一数据库系统220、第二数据库系统230，其中，第一数据库系统220、第二数据库系统230均可以为服务器集群，如图2所示，第一数据库系统220可以包括至少一个第一数据库221，多个具有该第一数据库221的服务器共同构成第一数据库系统220的服务器集群，同理，第二数据库系统230中可以包括至少一个第二数据库231，多个具有该第一数据库231的服务器共同构成第二数据库系统230的服务器集群，图中还示意性示出了第一数据库系统220中用于备份各数据库的第一数据日志文件的服务器222，第二数据库系统230也可以具有用于备份第二数据日志的服务器232，系统中还可以设置用于备份融合日志的服务器，在图中未示出。

第一数据库系统220、第二数据库系统230的数据日志路径可以与服务器集群210各应用节点mount挂载，用于服务器集群210读取第一数据库系统220、第二数据库系统230的数据日志。第一数据库系统220、第二数据库系统230中的各数据库节点221、231均可引入log4jdbc日志框架，log4jdbc是一个JDBC驱动器，能够生成记录数据操作和执行时间等信息的数据日志。第一数据库系统220、第二数据库系统230中的各数据库节点221、231均可以以滚动文件的方式，每隔预定时长生成一个数据日志，并通过第一数据库系统220、第二数据库系统230转发给服务器集群210进行处理，以实施系统间数据同步方法。此外，第一数据库系统220、第二数据库系统230以及服务器集群210中的各服务器均可以实现SSH互信，用于相互备份日志文件。

如图2所示，服务器集群210可以从第一数据库系统220和第二数据库系统230中获取第一数据库221和第二数据库231的数据操作日志，通过将日志内容进行转发，可使第一数据库221和第二数据库231依据对方的日志内容进行相应的数据操作，从而实现数据同步。具体的数据同步过程在下面会进行详细描述。

图3示意性示出了根据本公开实施例的系统间数据同步方法的流程图。

如图3所示，该方法包括操作S310～S340。

在操作S310，获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志。

在操作S320，读取第一数据日志和第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志。

在操作S330，将融合数据日志中的数据操作语句转换为第一数据库系统和第二数据库系统中的待同步数据库可识别的数据操作语句。

在操作S340，将转换后的融合数据日志发送给待同步数据库，使待同步数据库执行数据操作语句，实现数据同步。

根据本公开的实施例，第一数据库系统和第二数据库系统可以分别为执行同一功能的新旧系统，为了使新旧系统的数据保持一致，避免在新旧系统的同期使用中出现数据不同步的问题，将第一数据库系统的第一数据日志和第二数据库系统中的第二数据日志融合为一个融合数据日志，即获得第一数据库系统和第二数据库系统中按照时间顺序执行的数据操作过程，第一数据库系统和第二数据库系统中的待同步的数据库均可以基于融合数据日志继续数据同步，其中，由于各数据库的数据结构存在差异，数据操作语句也存在差异，为了使融合数据日志能被各类待同步数据库可读，需将融合数据日志中的数据操作居于均转换为待同步数据库可操作的数据操作语句。

在本公开实施例中，第一数据库系统包括至少一个第一数据库，第二数据库系统包括至少一个第二数据库，若第一数据库系统表示旧数据库系统，第二数据库系统表示新数据库系统。对于新数据库系统或者旧数据库系统，设置多个数据库节点可以保证系统的可用性和降低单数据库节点的负载压力，每个节点均可能生成数据日志，因此，需将全部数据库节点的数据进行同步，保证每个数据库节点的数据均为最新状态。

对于多个第一数据库和多个第二数据库的日志的获取方式包括操作S311～S312。

在操作S311，定期获取各第一数据库的第一数据日志和各第二数据库的第二数据日志。

在操作S312，将所有第一数据日志均存储于第一数据库系统中，将所有第二数据日志均存储于第二数据库系统中。

根据本公开的实施例，将第一数据日志和第二数据日志统一存储于各自对应的数据库系统中，便于日志统一传输和查看，使应用该系统间数据同步方法的系统可维护性高。

根据本公开实施例，在执行操作S320时，为了实现第一数据库系统和第二数据库系统中具有对应关系的第一数据库和第二数据库的数据同步，在实施数据同步时，操作S320具体包括：

读取第一数据库系统中全部的第一数据日志和第二数据库系统中全部的第二数据日志，将其中所包括的数据操作语句按照时间顺序排列，生成融合数据日志。

在本公开实施例中，通过将所有第一数据日志和第二数据日志融合在一起，可获知在第一数据库系统和第二数据库系统中的各个数据库节点(所有第一数据库节点和第二数据库节点)进行了哪些数据操作，将具有全部数据操作语句的融合数据日志发送给给给数据库节点，可使各个数据库节点根据融合数据日志执行其他数据库节点执行的数据操作，从而实现数据同步。

可选的，在进行数据融合时，可以根据实际需要，例如，仅是实现指定的第一数据库和第二数据库之间的数据同步，选取指定的第一数据库和第二数据库的日志生成融合数据日志，并使该指定的第一数据库和第二数据库根据融合数据日志进行日志同步。

图4示意性示出了根据本公开实施例的系统间数据同步方法的操作S330的流程图。

如图4所示，根据本公开的实施例，操作S330包括操作S331～S333。

在操作S331，解析融合数据日志中的数据操作语句，获取数据操作语句包括的表、操作函数及字段名称。

可选的，可使用druid的sql parser模块解析融合数据日志，从中获取数据操作语句，并将各条数据操作语句存储于redis的待处理SQL列表中。建立定时解析任务，定时任务读取redis中待处理语句列表，通过druid的sql parser模块解析其中的数据操作语句，获取该语句操作的表、操作方法及字段名称。

在操作S332，根据待同步数据库的类型，将操作函数转换为待同步数据库可识别的操作函数。

在本公开实施例中，可以预设包括各类数据库的函数转换关系的函数转换库，基于函数转换库中存储的各类型数据的函数的转换关系，进行操作函数、字段的转换。

在操作S333，基于表、待同步数据库可识别的操作函数及字段名称，重构数据操作语句，得到待同步数据库可操作的数据操作语句。

在本公开实施例中，根据待同步数据库的数据操作语句的格式，将表、待同步数据库可识别的操作函数及字段名称重新拼装，即可得到待同步数据库可操作的数据操作语句，使得待同步数据库可执行相应的数据处理，从而实现数据同步。

需要说明的是，在重构数据操作语句的过程中，忽略待同步数据库自身的第一数据日志或第二数据日志中在预设时间段内已执行的数据操作语句，这样可避免数据库本身一执行的数据操作被重复执行。

根据本公开实施例，在操作S340中，将融合数据日志发送给第一数据库系统和第二数据系统中的各待同步数据库，待同步数据库可以为第一数据库系统和第二数据库系统中的所有第一数据库和和第二数据库，也可以在仅根据部分第一数据库和部分第二数据库中的日志文件生成融合数据日志时，待同步数据库可以为这些参与生成融合数据日志的数据库，也可以为将融合数据日志发送给指定的数据库，即实际参与同步的数据库可以根据需要变化。

在根据操作S340进行数据同步的过程中，还可以包括操作S341。

操作S341，记录各数据操作语句、各数据操作语句的执行时间、执行结果。

将执行时间、执行节点、执行语句、执行结果等信息保存至数据库表中，便于查询及检查同步状态。

图5示意性示出了根据本公开实施例的另一种系统间数据同步方法的流程图。

如图5所示，在如图3～4所述的系统间数据同步方法的基础上，本公开实施例提供的另一种系统间数据同步方法的流程图包括以下操作。

在操作S310，获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志。

在操作S320，读取第一数据日志和第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志。

在操作S330，将融合数据日志中的数据操作语句转换为第一数据库系统和第二数据库系统中的待同步数据库可识别的数据操作语句。

在操作S340，将转换后的融合数据日志发送给待同步数据库，使待同步数据库执行数据操作语句，实现数据同步。

在操作S350，打包备份第一数据日志、第二数据日志和融合数据日志。

根据本公开实施例，在实现各数据库的数据同步的基础上，及时备份第一数据日志、第二数据日志和融合数据日志，可将这些文件单独存储于专门的备份装置上，避免由于数据库系统异常或单个数据库节点异常导致日志丢失的情况出现。

根据本公开实施例提供的系统间数据同步的方案，通过读取相关同步表、字段等配置信息，根据这些信息重写数据操作语句来提供数据库间表数据的同步功能，可保证新、旧系统间数据的准实时同步，避免新、旧系统的数据差异，同时实现了异构数据库之间的数据操作语句的准换，最大程度降低新、旧表结构不同带来的影响。

图6示意性示出了根据本公开实施例的系统间数据同步的框图。

如图6所示，本公开实施例提供的一种系统间数据同步装置600，包括：日志获取模块610，日志融合模块620，语句转换模块630，数据同步模块640。

日志获取模块610，用于获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志。

日志融合模块620，用于读取第一数据日志和第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志。

语句转换模块630，用于将融合数据日志中的数据操作语句转换为第一数据库系统和第二数据库系统中的待同步数据库可识别的数据操作语句。

数据同步模块640，用于将转换后的融合数据日志发送给待同步数据库，使待同步数据库执行数据操作语句，实现数据同步。

其中，语句转换模块630包括：语句解析单元631，函数转换单元632，语句重构单元633。

语句解析单元631，用于解析融合数据日志中的数据操作语句，获取数据操作语句包括的表、操作函数及字段名称。

函数转换单元632，用于根据待同步数据库的类型，将操作函数转换为待同步数据库可识别的操作函数。

语句重构单元633，用于基于表、待同步数据库可识别的操作函数及字段名称，重构数据操作语句，得到待同步数据库可操作的数据操作语句。

数据同步模块640包括：同步记录单元641，用于记录各数据操作语句、各数据操作语句的执行时间、执行结果。

该装置600还包括：日志备份模块650，用于定时打包备份第一数据日志、第二数据日志和融合数据日志。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，日志获取模块610、日志融合模块620、语句转换模块630、数据同步模块640中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，日志获取模块610、日志融合模块620、语句转换模块630、数据同步模块640中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，日志获取模块610、日志融合模块620、语句转换模块630、数据同步模块640中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

需要说明的是，本公开的实施例中系统间数据同步装置部分与本公开的实施例中系统间数据同步方法部分是相对应的，系统间数据同步装置部分的描述具体系统间数据同步方法部分，在此不再赘述。

图7示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图7示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，根据本公开实施例的计算机系统700包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 703中，存储有系统700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，系统700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。系统700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (14)

1.一种系统间数据同步方法，包括：

获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志；

读取所述第一数据日志和所述第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志；

将所述融合数据日志中的数据操作语句转换为所述第一数据库系统和所述第二数据库系统中的待同步数据库可识别的数据操作语句；

将转换后的所述融合数据日志发送给所述待同步数据库，使所述待同步数据库执行所述数据操作语句，实现数据同步。

2.根据权利要求1所述的方法，所述将所述融合数据日志中的数据操作语句转换为所述第一数据库系统和所述第二数据库系统中的待同步数据库可识别的数据操作语句包括：

解析所述融合数据日志中的数据操作语句，获取所述数据操作语句包括的表、操作函数及字段名称；

根据待同步数据库的类型，将所述操作函数转换为所述待同步数据库可识别的操作函数；

基于所述表、所述待同步数据库可识别的操作函数及所述字段名称，重构所述数据操作语句，得到所述待同步数据库可操作的数据操作语句。

3.根据权利要求2所述的方法，还包括：

预设包括各类数据库的函数转换关系的函数转换库，基于所述函数转换库进行所述操作函数的转换。

4.根据权利要求2所述的方法，还包括：

在重构所述数据操作语句的过程中，忽略所述待同步数据库自身的所述第一数据日志或所述第二数据日志中在预设时间段内已执行的所述数据操作语句。

5.根据权利要求1所述的方法，在所述待同步数据库执行所述数据操作语句，实现数据同步的过程中，包括：

记录各所述数据操作语句、各所述数据操作语句的执行时间、执行结果。

6.根据权利要求1所述的方法，所述第一数据库系统包括至少一个第一数据库，所述第二数据库系统包括至少一个第二数据库，所述获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志包括：

定期获取各所述第一数据库的第一数据日志和各所述第二数据库的第二数据日志；

将所有所述第一数据日志均存储于所述第一数据库系统中，将所有所述第二数据日志均存储于第二数据库系统中。

7.根据权利要求6所述的方法，所述读取所述第一数据日志和所述第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志包括：

读取所述第一数据库系统中全部的所述第一数据日志和所述第二数据库系统中全部的所述第二数据日志，将具有所包括的数据操作语句按照时间顺序排列，生成所述融合数据日志。

8.根据权利要求6所述的方法，还包括：

打包备份所述第一数据日志、所述第二数据日志和所述融合数据日志。

9.一种系统间数据同步装置，包括：

日志获取模块，用于获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志；

日志融合模块，用于读取所述第一数据日志和所述第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志；

语句转换模块，用于将所述融合数据日志中的数据操作语句转换为所述第一数据库系统和所述第二数据库系统中的待同步数据库可识别的数据操作语句；

数据同步模块，用于将转换后的所述融合数据日志发送给所述待同步数据库，使所述待同步数据库执行所述数据操作语句，实现数据同步。

10.根据权利要求9所述的装置，所述语句转换模块包括：

语句解析单元，用于解析所述融合数据日志中的数据操作语句，获取所述数据操作语句包括的表、操作函数及字段名称；

函数转换单元，用于根据待同步数据库的类型，将所述操作函数转换为所述待同步数据库可识别的操作函数；

语句重构单元，用于基于所述表、所述待同步数据库可识别的操作函数及所述字段名称，重构所述数据操作语句，得到所述待同步数据库可操作的数据操作语句。

11.根据权利要求9所述的装置，所述数据同步模块包括：

同步记录单元，用于记录各所述数据操作语句、各所述数据操作语句的执行时间、执行结果。

12.根据权利要求9所述的方法，还包括：

日志备份模块，用于定时打包备份所述第一数据日志、所述第二数据日志和所述融合数据日志。

13.一种计算机系统，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至8中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至8中任一项所述的方法。

Images