CN109657006A

CN109657006A - 数据同步方法、装置及计算机可读存储介质

Info

Publication number: CN109657006A
Application number: CN201811536127.XA
Authority: CN
Inventors: 谢传龙; 向继林
Original assignee: Wanyi Technology Co Ltd
Current assignee: Wanyi Technology Co Ltd
Priority date: 2018-12-14
Filing date: 2018-12-14
Publication date: 2019-04-19

Abstract

本发明公开了一种数据同步方法，包括以下步骤：在检测到数据同步请求时，获取所述数据同步请求对应的源数据库以及目标数据库；分别获取所述源数据库对应的源数据库驱动以及所述目标数据库对应的目标数据库驱动；根据所述源数据库驱动以及所述目标数据库驱动同步所述数据同步请求对应的数据。本发明还公开了一种数据同步装置以及计算机可读存储介质。本发明实现多个数据库之间的数据同步。

Description

数据同步方法、装置及计算机可读存储介质

技术领域

本发明涉及网络技术领域，尤其涉及一种数据同步方法、数据同步装置以及计算机可读存储介质。

背景技术

在现有技术中，很多数据库存在不一致的情况，例如数据库发行厂商不同，或者厂商相同却部署的数据库版本不同，这给多个数据库之间的数据同步带来了很大的难度。

发明内容

本发明的主要目的在于提供一种数据同步方法、数据同步装置以及计算机可读存储介质，旨在实现多个数据库之间的数据同步。

为实现上述目的，本发明提供一种数据同步方法，所述数据同步方法包括以下步骤：

在检测到数据同步请求时，获取所述数据同步请求对应的源数据库以及目标数据库；

分别获取所述源数据库对应的源数据库驱动以及所述目标数据库对应的目标数据库驱动；

根据所述源数据库驱动以及所述目标数据库驱动同步所述数据同步请求对应的数据。

可选的，所述根据所述源数据库驱动以及所述目标数据库驱动同步所述数据同步请求对应的数据的步骤包括：

根据所述源数据库驱动建立与所述源数据库之间的连接，根据所述目标数据库驱动建立与所述目标数据库之间的连接；

在所述源数据库与所述目标数据库之间同步所述数据同步请求对应的数据。

可选的，所述在所述源数据库与所述目标数据库之间同步所述数据同步请求对应的数据的步骤包括：

根据所述数据同步请求获取所述源数据库对应的源数据库访问语句，以及所述目标数据库对应的目标数据库访问语句；

根据所述源数据库访问语句以及所述目标数据库访问语句同步所述数据同步请求对应的数据。

可选的，所述根据所述源数据库驱动建立与所述源数据库之间的连接的步骤包括：

获取所述源数据库的连接地址；

根据所述连接地址建立与所述源数据库之间的连接。

通过多个数据处理入库线程把所述数据同步请求对应的数据分别导入至所述源数据库以及所述目标数据库中。

可选的，所述获取所述源数据库对应的源数据库驱动的步骤包括：

检测所述源数据库的源数据库信息，所述源数据库信息包括所述源数据库的类型信息以及版本信息；

根据所述源数据库信息确定所述源数据库驱动。

可选的，所述根据所述源数据库驱动以及所述目标数据库驱动同步所述数据同步请求对应的数据的步骤之前，还包括：

判断服务器当前的运行状态是否满足预设条件；

在所述服务器当前的运行状态满足所述预设条件时，执行所述根据所述源数据库驱动以及所述目标数据库驱动同步所述数据同步请求对应的数据的步骤。

为实现上述目的，本发明还提供一种数据同步装置，所述数据同步装置包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据同步程序，所述数据同步程序被所述处理器执行时实现上述数据同步方法的步骤。

为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据同步程序，所述数据同步程序被处理器执行时实现上述数据同步方法的步骤。

本发明提供的数据同步方法、数据同步装置以及计算机可读存储介质，在检测到数据同步请求时，获取数据同步请求对应的源数据库以及目标数据库，分别获取源数据库对应的源数据库驱动以及目标数据库对应的目标数据库驱动，根据源数据库驱动以及目标数据库驱动同步数据同步请求对应的数据。本发明实现多个数据库之间的数据同步。

附图说明

图1为本发明实施例方案涉及的终端的硬件运行环境示意图；

图2为本发明数据同步方法第一实施例的流程示意图；

图3为本发明数据同步方法第二实施例的流程示意图；

图4为本发明数据同步方法第三实施例的流程示意图；

图5为本发明数据同步方法第四实施例的流程示意图；

图6为本发明数据同步方法第五实施例的流程示意图；

图7为本发明数据同步方法第六实施例的流程示意图；

图8为本发明数据同步方法第七实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种数据同步方法，实现多个数据库之间的数据同步。

如图1所示，图1是本发明实施例方案涉及的终端的硬件运行环境示意图。

本发明实施例终端可以是JDBC。

如图1所示，该终端可以包括：处理器1001，通信总线1002，存储器1003。其中，通信总线1002用于实现这些组件之间的连接通信。存储器1003可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端的结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1003中可以包括Java应用程序、JDBC API、JDBC驱动程序管理器、数据库以及数据同步程序。

在图1所示的终端中，处理器1001可以用于调用存储器1003中存储的数据同步程序，并执行以下操作：

进一步地，处理器1001可以调用存储器1003中存储的数据同步程序，还执行以下操作：

获取所述源数据库的连接地址；

根据所述连接地址建立与所述源数据库之间的连接。

根据所述源数据库信息确定所述源数据库驱动。

判断服务器当前的运行状态是否满足预设条件；

参照图2，在第一实施例中，所述数据同步方法包括：

步骤S10、在检测到数据同步请求时，获取所述数据同步请求对应的源数据库以及目标数据库；

本实施例中，执行主体为JDBC。JDBC是实现Java应用程序和不同的数据库之间传递数据的桥梁，JDBC的架构包括以下四个层次：Java应用程序，JDBC API，JDBC驱动程序管理器和数据库。JDBC API定义了一系列抽象Java接口，实现通过一个接口访问多种关系数据库，执行SQL语句和处理返回结果。其中，JDBC API中重要的接口有：DriverManager：管理驱动程序的装载和创建新的数据库连接；Connection：代表某一指定数据库连接对象；Statement：用于执行在一个指定数据库连接上的SQL语句的工具接口；ResultSet：访问指定语句的原始结果。

本实施例中，源数据库和目标数据库可以是房地产行业中各个项目所使用的数据库，也可以是同个项目中所使用的数据库，所述项目可以是采筑项目、销售项目、服务项目、工程项目等。

步骤S20、分别获取所述源数据库对应的源数据库驱动以及所述目标数据库对应的目标数据库驱动；

本实施例中，源数据库驱动以及目标数据库驱动均为JDBC驱动。不同的数据库提供相对应的JDBC数据库驱动，因此可根据数据库对应的JDBC数据库实现JDBC与数据库之间的连接。具体的，根据数据库的类型信息以及版本信息确定数据库驱动。

JDBC API按照以下步骤进行源数据库或者目标数据库的相关操作：加载数据库驱动到Java虚拟机中；连接数据库：不同数据库厂商提供相应的连接地址，连接数据库对应的连接地址；使用SQL语句进行数据库操作：JDBC对数据库的数据操作分为更新和查询两种；关闭数据库连接：数据库操作完之后需要关闭数据库的连接以释放资源。

步骤S30、根据所述源数据库驱动以及所述目标数据库驱动同步所述数据同步请求对应的数据。

本实施例中，数据同步请求对应的数据来源可以是房地产行业中的各个项目，比如采筑项目、销售项目、服务项目、工程项目等。数据包括参数信息以及数据信息，其中参数信息可以是各个项目中的参数，以销售项目为例，参数信息可以是项目名称、成交总价、成交面积、成交套数等，数据信息即为项目名称、成交总价、成交面积、成交套数等各自对应的数据。

JDBC在接收到数据同步请求时，获取数据同步请求对应的目标数据库以及源数据库，并且将数据同步请求分别转换为目标数据库以及源数据库能够识别的访问语句，再将源数据库访问语句以及目标数据库访问语句分别传送至源数据库以及目标数据库，以供源数据库以及目标数据库分别导入数据同步请求对应的数据。

通过高速网络将多个数据库服务器联合起来组成数据库集群，数据库集群内部包含一个或多个控制节点，控制节点包括数据导入、并行计算、负载均衡与安全管理等功能。数据导入功能主要通过控制节点的数据导入模块以及交互控制模块来实现。数据导入模块按照设定的分片策略(哈希、范围、循环方式)计算待导入数据的存储位置；通过导入接口将待导入数据发往数据库节点，完成待导入数据的存储。交互控制模块响应驱动获取数据导入信息的请求，若数据库集群在数据导入期间需要进行修改表模式或数据备份操作，则需要由交互控制模块预先通知各个数据导入程序暂停或中止导入操作。

首先，数据导入模块向交互控制模块发送建立连接请求，交互控制模块响应所述连接请求，并向数据导入模块发送数据库节点连接信息，从而数据导入模块获取到集群的各个数据库节点连接信息。然后，数据导入模块与数据库集群进行时间同步，数据导入模块向交互控制模块询问目标表是否可用，交互控制模块检查目标表是否可用并回复；数据导入模块向交互控制模块获取目标表的模式信息和分片存储信息，交互控制模块将目标表的模式信息及分片存储信息传送给数据导入模块；数据导入模块通过JDBC、ODBC及OLEDB等标准的数据库访问方式同相关的数据库节点建立连接。最后，数据导入模块在数据导入过程时，开启一个独立的后台线程负责监控集群系统的控制消息，当数据库集群需要进行修改表模式或数据备份操作时，交互控制模块会通知数据导入模块暂停或中止导入；数据导入模块向交互控制模块发送集群导入结果通知：导入是否成功及导入数目，交互控制模块接收数据导入结果，并更新目标表的相关统计信息，同时数据导入模块释放数据库集群连接，导入处理结束。

在第一实施例中，在检测到数据同步请求时，获取数据同步请求对应的源数据库以及目标数据库，分别获取源数据库对应的源数据库驱动以及目标数据库对应的目标数据库驱动，根据源数据库驱动以及目标数据库驱动同步数据同步请求对应的数据。这样，实现多个数据库之间的数据同步。

在第二实施例中，如图3所示，在上述图2所示的实施例基础上，所述根据所述源数据库驱动以及所述目标数据库驱动同步所述数据同步请求对应的数据的步骤包括：

步骤S31、根据所述源数据库驱动建立与所述源数据库之间的连接，根据所述目标数据库驱动建立与所述目标数据库之间的连接；

步骤S32、在所述源数据库与所述目标数据库之间同步所述数据同步请求对应的数据。

本实施例中，JDBC API按照以下步骤进行源数据库或者目标数据库的相关操作：加载数据库驱动到Java虚拟机中；连接数据库：不同数据库厂商提供相应的连接地址，连接数据库对应的连接地址；使用SQL语句进行数据库操作：JDBC对数据库的数据操作分为更新和查询两种；关闭数据库连接：数据库操作完之后需要关闭数据库的连接以释放资源。

JDBC连接源数据库或者目标数据库的步骤如下：

不同的数据库具有对应的JDBC数据库驱动，将JDBC操作所需要的Jar包配置到classpath路径即可。在连接数据库之前，加载数据库驱动到JVM中，通常使用java.lang.Class类的静态方法forName(String classNarne)实现。比如MySQL数据库驱动为Class.forName(“com.mysql.jdbc.Driver”)。

如果数据库驱动可以正常加载，通过DriverManager类获取数据库连接。DriverManager类中常用方法如下：通过DriverManager类的getConnection方法建立与数据库之间的连接，该方法有两种重载形式，即需要传入一个参数：URL，或者需要传入三个参数：URL、用户名和密码。

与数据库连接后，Connection对象可创建几种不同类型的Statement对象，比如createStatemet()：创建向数据库发送要执行静态的，不带参数或者问号占位符的简单SQL语句的Statement对象；比如prepared(String sql):该对象返回预编译的Statement对象，该对象可以执行问号占位符的复杂SQL语句；比如prepareCall(String sql):该方法返回CallableStatement对象，该对象用于调用存储过程。

使用Statement执行SQL语句，Statement对象有几种方法可以执行SQL语句，比如当不清楚SQL语句的类型时，使用execute()方法执行SQL语句，因为它能执行所有类型的结构化查询语言，但返回值只是boolean值，它表明执行该SQL语句是否返回了ResultSet对象。

ResultSet对象中有实现访问查询结果的方法，例如next()、getlnt()等。操作完成以后需要回收数据库资源，把所有打开状态的对象全都关闭，以释放数据库资源，先关闭ResultSet对象，然后关闭Statement对象，最后关闭Connection对象。

在第二实施例中,根据源数据库驱动建立JDBC与源数据库之间的连接，并且根据目标数据库驱动建立JDBC与目标数据库之间的连接，这样，实现通过一个接口访问多种关系数据库。

在第三实施例中，如图4所示，在上述图2至图3所示的任一实施例基础，所述在所述源数据库与所述目标数据库之间同步所述数据同步请求对应的数据的步骤包括：

步骤S321、根据所述数据同步请求获取所述源数据库对应的源数据库访问语句，以及所述目标数据库对应的目标数据库访问语句；

步骤S322、根据所述源数据库访问语句以及所述目标数据库访问语句同步所述数据同步请求对应的数据。

本实施例中，JDBC在接收到数据同步请求时，获取数据同步请求对应的目标数据库以及源数据库，并且将数据同步请求分别转换为目标数据库以及源数据库能够识别的访问语句，再将源数据库访问语句以及目标数据库访问语句分别传送至源数据库以及目标数据库，以供源数据库以及目标数据库分别执行。其中，源数据库访问语句以及目标数据库访问语句均为SQL语句。

在第三实施例中，根据所述源数据库访问语句以及所述目标数据库访问语句同步所述数据同步请求对应的数据，这样，实现数据同步。

在第四实施例中，如图5所示，在上述图2至图4所示的任一实施例基础上，所述根据所述源数据库驱动建立与所述源数据库之间的连接的步骤包括：

步骤S311、获取所述源数据库的连接地址；

步骤S312、根据所述连接地址建立与所述源数据库之间的连接。

本实施例中，源数据库的连接地址是指源数据库的URL。需要说明的是，根据源数据库的连接地址建立与源数据库之间的连接，并且根据目标数据库的连接地址建立与目标数据库之间的连接。

下面以源数据库为例进行说明：

通过DriverManager类的getConnection方法建立与源数据库之间的连接，该方法有两种重载形式，即需要传入一个参数：URL，或者需要传入三个参数：URL、用户名和密码。

Connection getConnection(String url)

Connection getConnection(String url，String user，String password)

其中，参数url是一个符合JDBC URL规范的字符串，参数user和password是指登陆数据库所需的用户名以及密码。

JDBC URL字符串的格式如下：

jdbc:<subprotocol>:<subname>

其中，jdbc指连接数据库的协议，在JDBC URL中总是jdbc；<subprotocol>指驱动程序或者数据库连接机制，<subname>根据<subprotocol>不同，可能是数据源名称，或者定位数据库的一串字符。

在第四实施例中，根据源数据库的连接地址实现JDBC与源数据库之间的连接，并且根据目标数据库的连接地址实现JDBC与目标数据库之间的连接。

在第五实施例中，如图6所示，在上述图2至图5所示的任一实施例基础上，所述在所述源数据库与所述目标数据库之间同步所述数据同步请求对应的数据的步骤包括：

步骤S323、通过多个数据处理入库线程把所述数据同步请求对应的数据分别导入至所述源数据库以及所述目标数据库中。

本实施例中，各个数据处理入库线程分别从原始数据队列中读取预设数量的数据，并逐条进行预处理；各个数据处理入库线程分别把预处理后的数据存入至各自的预处理队列中；各个数据处理入库线程把预处理队列中的数据并行地写入到目标数据库中；各个数据处理入库线程清空预处理队列中的数据；各个所述数据处理入库线程分别确认原始数据队列中是否还有未处理过的数据，如果不存在未处理过的数据，则结束导入进程。

在第五实施例中，采用多线程批量处理的方式同步数据，提高了数据同步的效率。

在第六实施例中，如图7所示，在上述图2至图6所示的任一实施例基础上，所述获取所述源数据库对应的源数据库驱动的步骤包括：

步骤S21、检测所述源数据库的源数据库信息，所述源数据库信息包括所述源数据库的类型信息以及版本信息；

步骤S22、根据所述源数据库信息确定所述源数据库驱动。

本实施例中，源数据库驱动与目标数据库驱动均为JDBC驱动。不同的数据库提供相对应的JDBC数据库驱动，因此可根据源数据库驱动以及目标数据库分别对应的JDBC驱动实现连接。

具体的，根据源数据库的类型信息以及版本信息确定源数据库驱动，并且根据目标数据库的类型信息以及版本信息确定目标数据库驱动。

在第六实施例中，分别根据源数据库以及目标数据库的类型信息以及版本信息确定对应的JDBC驱动，实现准确获取源数据库驱动以及目标数据库驱动。

在第七实施例中，如图8所示，在上述图2至图7所示的任一实施例基础上，，所述根据所述源数据库驱动以及所述目标数据库驱动同步所述数据同步请求对应的数据的步骤之前，还包括：

步骤S40、判断服务器当前的运行状态是否满足预设条件；

步骤S50、在所述服务器当前的运行状态满足所述预设条件时，执行所述根据所述源数据库驱动以及所述目标数据库驱动同步所述数据同步请求对应的数据的步骤。

本实施例中，数据库集群的服务器性能决定了数据同步效率，当数据库集群出现高负载时，会造成数据同步的阻塞、延迟，数据的延迟导入进而会影响对新数据处理计算的实时性，并且该影响会随着数据同步量的增加而愈加明显。可实时监控服务器的运行状态，在检测到服务器的负载空闲或者正常时，在源数据库与目标数据库之间同步数据。

在第七实施例中，在服务器的负载空闲或者正常时，在源数据库与目标数据库之间同步数据，这样，实现数据的快速同步。

此外，本发明还提出一种数据同步装置，所述数据同步装置包括存储器、处理器及存储在存储器上并可在处理器上运行的数据同步程序，所述处理器执行所述数据同步程序时实现如以上实施例所述的数据同步方法的步骤。

此外，本发明还提出一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括数据同步程序，所述数据同步程序被处理器执行时实现如以上实施例所述的数据同步方法的步骤。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是电视机，手机，计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种数据同步方法，其特征在于，所述数据同步方法包括以下步骤：

2.如权利要求1所述的数据同步方法，其特征在于，所述根据所述源数据库驱动以及所述目标数据库驱动同步所述数据同步请求对应的数据的步骤包括：

3.如权利要求2所述的数据同步方法，其特征在于，所述在所述源数据库与所述目标数据库之间同步所述数据同步请求对应的数据的步骤包括：

4.如权利要求2所述的数据同步方法，其特征在于，所述根据所述源数据库驱动建立与所述源数据库之间的连接的步骤包括：

获取所述源数据库的连接地址；

根据所述连接地址建立与所述源数据库之间的连接。

5.如权利要求2所述的数据同步方法，其特征在于，所述在所述源数据库与所述目标数据库之间同步所述数据同步请求对应的数据的步骤包括：

6.如权利要求1所述的数据同步方法，其特征在于，所述获取所述源数据库对应的源数据库驱动的步骤包括：

根据所述源数据库信息确定所述源数据库驱动。

7.如权利要求1所述的数据同步方法，其特征在于，所述根据所述源数据库驱动以及所述目标数据库驱动同步所述数据同步请求对应的数据的步骤之前，还包括：

判断服务器当前的运行状态是否满足预设条件；

8.一种数据同步装置，其特征在于，所述数据同步装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据同步程序，所述数据同步程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据同步方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据同步程序，所述数据同步程序被处理器执行时实现如权利要求1至7中任一项所述的数据同步方法的步骤。