CN111241044B - 搭建异构数据库的方法、装置、设备及可读存储介质 - Google Patents

Abstract

本公开提供一种搭建异构数据库的方法、装置、设备及可读存储介质，方法包括获取待同步数据，其中，所述待同步数据包括至少一个数据库的业务数据和/或日志文件；将所述待同步数据同步至数据中转站；将所述数据中转站中的所述待同步数据同步至目标数据库。本公开提供的方法、装置、设备及计算机可读存储介质简化了异构数据库同步的过程，搭建了一个相对通用，代码耦合度比较低的异构数据库架构。

Description

搭建异构数据库的方法、装置、设备及可读存储介质

技术领域

本公开涉及搭建数据库技术，尤其涉及一种搭建异构数据库的技术，属于通信领域。

背景技术

异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和透明访问，几个数据库系统在加入异构数据库系统之前本身就已经存在，每个数据库系统有自己的应用特性、完整性控制和安全性控制。

现有的客服系统通过同步操作来实现异构数据库，在数据库中直接进行业务数据更新，将数据库中的内容传输到ElasticSearch。

但是，这种方式的效率太低，在每次对数据库进行改动时，都需要对代码进行修改，代码耦合度非常高；并且需要对数据库和目标数据库的操作进行一次手工“转译”操作，工作量很大。

发明内容

本公开提供一种搭建异构数据库的方法、装置、设备及计算机可读存储介质，以解决不通用、代码耦合度高、工作量很大的问题

本公开的第一个方面是提供一种方法，包括：

获取待同步数据，其中，所述待同步数据包括业务数据和/或日志文件；

将所述待同步数据同步至数据中转站；

将所述数据中转站中的所述待同步数据同步至目标数据库。

将所述数据中转站中的所述待同步数据同步至目标数据库。

可选的，所述将所述待同步数据同步至数据中转站，包括：

通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储；

通过Logstash工具将所述日志文件同步到Kafka中进行存储。

可选的，所述通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储，包括：

通过DTS创建同步作业；

配置所述业务数据所属数据库的源实例信息与Kafka目标实例信息的同步链路连接信息；

基于所述同步链路连接将所述业务数据同步至所述Kafka中。

可选的，所述通过Logstash工具将所述日志文件同步到Kafka中进行存储，包括：

通过filebeat提取所述日志文件中的数据得到日志记录；

通过所述logstash工具将所述日志记录同步至所述kafka中进行存储。

可选的，所述将所述数据中转站中的所述待同步数据同步至目标数据库包括：

将所述kafka中存储的待同步数据同步至ES数据库。

可选的，所述将所述kafka中存储的待同步数据同步至ES数据库，包括：

通过所述kafka中的生产者根据预先设置的topic获取所述待同步数据；

通过所述kafka中的消费者根据预先订阅的topic发布所述topic对应的所述待同步数据，以使Kafka connect将所述待同步数据传输到ES数据库。

本公开的另一个方面是提供一种装置，包括：

数据获取模块，用于获取待同步数据，其中，所述待同步数据包括数据库的业务数据和/或日志文件；

中转站同步模块，用于将所述待同步数据同步至数据中转站；

目标数据库同步模块，用于将所述数据中转站中的所述待同步数据同步至目标数据库。

可选的，所述中转站同步模块包括：

业务数据传输单元，用于通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储；

日志文件传输单元，用于通过Logstash工具将所述日志文件同步到Kafka中进行存储。

本公开的又一个方面是提供一种搭建异构数据库设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如上述第一方面所述的搭建异构数据库方法。

本公开的又一个方面是提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如上述第一方面所述的搭建异构数据库方法。

本公开提供的搭建异构数据库的方法、装置、设备及可读存储介质，包括：获取待同步数据，其中，待同步数据包括业务数据和/或日志文件；将待同步数据同步至数据中转站；将数据中转站中的待同步数据同步至目标数据库。本公开提供的方案简化了异构数据库同步的过程，搭建了一个相对通用，代码耦合度比较低的异构数据库架构。

附图说明

图1为本发明一示例性实施例示出的搭建异构数据库的方法的流程图；

图2为本发明另一示例性实施例示出搭建异构数据库的方法的流程图；

图3为本发明一示例性实施例示出搭建异构数据库的装置的结构图；

图4为本发明另一示例性实施例示出的搭建异构数据库装置的结构图；

图5为本发明一示例性实施例示出的搭建异构数据库设备的结构图。

具体实施方式

在客服系统数据同步过程中,将数据同时写入数据库与目标数据库，并且对数据库与目标数据库同时做业务程序的嵌入操作，当数据更新或改变时需要更改数据库和目标数据库的业务程序从而实现数据同步，这种方法代码耦合度非常高，工作量很大。

针对数据库代码耦合度高，工作人员工作量大的问题，本申请提出了一种搭建异构数据库方案，通过DTS同步数据源到Kafka，通过Kafka将数据存到ElasticSearch,实现异构数据库搭建，实现通过DTS,Kafka,ElasticSearch搭建异构数据库的效果。

图1为本发明一示例性实施例示出的搭建异构数据库的方法的流程图。

如图1所示，本实施例提供的搭建异构数据库的方法包括：

步骤101，获取待同步数据，其中，所述待同步数据包括业务数据和/或日志文件。

其中，本实施例提供的方法可以由具备计算能力的电子设备执行，例如可以是计算机。可以是多台计算机联合执行本实施例提供的方法，也可以是单台计算机执行。

具体的，该电子设备可以与数据库连接，该数据库例如可以设置在电子设备中，也可以设置在其他设备中。若设置在其他设备中，则执行本实施例提供的方法的电子设备可以与设置有数据库的设备连接。

进一步的，数据库中存储有待同步数据，不同数据库中存储的数据可以相同也可以不同，若不同，则需要将其同步至同一个数据库，进而为客服系统提供稳定、安全、数据一致性的大数据检索、存储方案。

实际应用时，电子设备可以从多个数据库中获取待同步数据。例如，可以通过数据传输技术，将数据库中的数据传输至电子设备中。

其中，待同步数据的来源可以是多个，例如DRDS数据库，也可以是RDS数据库，还可以是MySql数据库。

具体的，待同步的数据可以包括数据库的业务数据，还可以包括日志文件，即可以包括其中的一种，也可以包括两种，本实施例不对此进行限制。

进一步的，业务数据是待同步的数据通过DTS数据传输服务同步到kafka的数据，包含了用户办的业务，例如用户的交费，查询内容。

日志文件是指业务程序产生的文本，记录用户进行的操作，例如点击的按钮，操作的流程等。

步骤102，将所述待同步数据同步至数据中转站。

实际应用时，可以设置一中转站，用于临时存储待同步数据，该中转站例如可以是kafka。

Kafka可以作为消息队列、消息、总线或者数据存储平台来使用，此处Kafka的作用是作为一个数据存储平台来使用，为待同步数据提供数据中转站。

其中，若待同步数据中包括业务数据，则可以通过DTS将业务数据同步到中转站。

使用数据传输服务DTS(Data Transmission Service)的数据同步功能，可以将数据库的数据同步至Kafka，扩展消息处理能力。

其中，若待同步数据中包括日志文件，则可以通过Logstash工具将日志文件同步到中转站。

Logstash工具是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让根据需求在中间加上滤网，Logstash管道有两个必需的元素，输入和输出，以及一个可选的过滤器。输入端从数据源那里消费数据，过滤器根据期望修改数据，输出端将数据写入目的地，在此处Logstash将日志文件的数据同步至kafka。

步骤103，将所述数据中转站中的所述待同步数据同步至目标数据库。

其中，还可以将中转站中的待同步数据同步到目标数据库，从而实现多个数据库中的数据同步到一个数据库中。该目标数据库例如可以是ES数据库。

通过ElasticSearch提供大数据存储，检索服务，实现异构数据库的搭建。

当中转站是kafka队列时，可以利用kafka的生产、消费模式，向目标数据库同步数据，生产者用于向kafka中写入消息，一个应用程序在很多情况下需要往Kafka写入消息例如记录用户的活动(用于审计和分析)、记录度量指标、保存日志、消息、记录智能家电的信息、缓冲即将写入到数据库的数据，等等。消费者读取kafka中的消息，读取消息后通过kafka connect将数据传输到目标数据库。

具体的，kafka创建主题topic，基于kafka中的生产者获取topic对应的数据，再基于kafka中的消费者发布该topic对应的数据。进而使得目标数据库能够接收到消费者发布的数据。

具体的，还可以由中转站向目标数据库发送接收的待同步数据，使得目标数据库中能够存储多个数据库中的数据。

本实施例提供的方法用于搭建异构数据库该方法由设置有本实施例提供的方法的设备执行，该设备通常以硬件和/或软件的方式来实现。

图2为本发明另一示例性实施例示出搭建异构数据库的方法的流程图。

如图2所示，本实施例提供的方法，包括：

步骤201，获取待同步数据，其中，所述待同步数据包括业务数据和/或日志文件。

步骤201与步骤101的具体原理和实现方式类似，此处不再赘述。

步骤202，通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储；通过Logstash工具将所述日志文件同步到Kafka中进行存储。

通过DTS同步业务数据时，可以先创建同步作业，然后配置同步链路连接信息，同步链路连接信息可以包括源实例信息与目标实例信息，源实例为同步作业的源实例的数据库类型，例如可以是DRDS，目标实例为同步作业的目标实例的类型，例如可以是kafka。该同步链路连接可以用于将业务数据同步到Kafka中。

接下来可以授权数据源(DRDS)实例白名单，例如将DTS服务器的IP地址添加到DRDS实例的白名单中，用于保障DTS服务器能够正常连接DRDS。

接着创建目标库的同步账号，主要是在源实例信息DRDS与目标实例信息kafka上创建同步账号，在同步过程中，不能删除这个账号，否则会导致同步链路中断。

接着选择同步对象，实时同步的同步对象的选择粒度可以支持到表级别,即用户可以选择同步某些库或是同步某几张表；然后同步初始化配置，初始化是同步链路启动的第一步，它会将源实例DRDS中已经存在同步对象的结构及数据在目标实例kafka中初始化，作为后续增量同步数据的基线数据,当同步作业配置完成后，数据传输服务DTS会进行限制预检查，当预检查通过后，就可以启动同步作业。

当同步作业启动之后，即进入同步作业列表。此时刚启动的作业处于同步初始化状态。初始化的时间长度依赖于源实例中同步对象的数据量大小。当初始化完成后同步链路即进入同步中的状态，此时,源实例DRDS跟目标实例kafka的同步链路才真正建立完成。通过Logstash工具将所述日志文件同步到Kafka中进行存储时，可以先准备工具Filebeat与Logstash，利用Filebeat和Logstash进行之后的操作，若系统无Filebeat与Logstash要事先进行检查和安装。

通过filebeat提取所述日志文件中的数据得到日志记录；Filebeat读取日志记录，Filebeat是一个日志文件托运工具，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件(追踪文件的变化，不停的读)，利用Filebeat去监控日志文件，将Kafka作为Filebeat的输出端。

通过所述logstash工具将所述日志记录同步至所述kafka中进行存储，Kafka实时接收到Filebeat后以Logstash作为输出端输出，到Logstash的数据有时不是需要的的格式化或者特定业务的数据，这时可以通过Logstash的一些插件对数据进行过滤最后达到想要的数据格式以kafka作为输出端输出，从而将日志记录同步志kafka中进行存储。

步骤203，将所述kafka中存储的待同步数据同步至ES数据库。

本实施例提供的方法中，目标数据库可以是ES数据库。因此，可以将kafka中存储的待同步数据同步至ES数据库。ES数据库可提供大数据存储，检索服务，从而实现异构数据库的搭建。

具体在同步时，Kafka首先创建一个topic,Kafka中消息是以topic进行分类的，通过所述kafka生产者根据预先设置的topic获取所述待同步数据。

kafka生产者会将消息封装成一个ProducerRecord，并以分类为topic发送消息，发送的消息首先会经过序列化器进行序列化，以便在网络中传输,发送的消息需要经过分区器来决定该消息会分发到topic对应的partition，如果指定了分区，那么就不需要分区器了,这个时候消息离开生产者开始往kafka集群指定的topic和partition发送，如果写入成功，kafka集群会回应生产者一个RecordMetaData的消息，如果失败会根据配置的允许失败次数进行重试，如果还是失败，那么消息写入失败，并告诉生产者。

假设有一个应用程序需要从一个Kafka主题读取消息并验证这些消息，然后再把它们保存起来。应用程序需要创建一个消费者对象，订阅主题并开始接收消息，然后验证消息并保存结果。

通过所述kafka中的消费者订阅topic发布所述topic对应的所述待同步数据，Kafka connect将数据传输到ES数据库，以使所述ES数据库接收对应的所述待同步数据。

图3为本发明一示例性实施例示出搭建异构数据库的装置的结构图。

如图3所示，本实施例提供的装置，包括：

数据获取模块31，用于获取待同步数据，其中，所述待同步数据包括业务数据和/或日志文件；

中转站同步模块32，用于将所述待同步数据同步至数据中转站；

目标数据库同步模块33，用于将所述数据中转站中的所述待同步数据同步至目标数据库。

本实施例提供的搭建异构数据库装置，包括数据获取模块、中转站同步模块、目标数据库同步模块。数据获取模块用于获取待同步数据，其中，所述待同步数据包括数据库的业务数据和/或日志文件；中转站同步模块用于将所述待同步数据同步至数据中转站；目标数据库同步模块用于将所述数据中转站中的所述待同步数据同步至目标数据库。本实施例提供的装置简化了异构数据库同步的过程，搭建了一个相对通用，代码耦合度比较低的异构数据库架构。

本实施例提供的搭建异构数据库装置的具体原理和实现方式均与图1所示的实施例类似，此处不再赘述。

图4为本发明另一示例性实施例示出的搭建异构数据库装置的结构图。

如图4所示，在上述实施例的基础上，本实施例提供的装置中，所述中转站同步模块32包括：

业务数据传输单元321，用于通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储；

日志文件传输单元322，用于通过Logstash工具将所述日志文件同步到Kafka中进行存储。

可选的，所述业务数据传输单元321具体用于：

通过DTS创建同步作业；

配置所述业务数据所属数据库的源实例信息与Kafka目标实例信息的同步链路连接信息；

基于所述同步链路连接将所述业务数据同步至所述Kafka中。

可选的，所述日志文件传输单元322具体用于：

通过filebeat提取所述日志文件中的数据得到日志记录；

通过所述logstash工具将所述日志记录同步至所述kafka中进行存储。

可选的，所述目标数据库同步模块33具体用于：

将所述kafka中存储的待同步数据同步至ES数据库。

可选的，所述目标数据库同步模块33具体用于：

通过所述kafka中的生产者根据预先设置的topic获取所述待同步数据；

通过所述kafka中的消费者根据预先订阅的topic发布所述topic对应的所述待同步数据，以使Kafka connect将所述待同步数据传输到ES数据库。从而利用ES数据库提供大数据存储，检索服务，从而实现异构数据库的搭建的功能。

本实施例提供的装置的具体原理和实现方式均与图2所示的实施例类似，此处不再赘述。

图5为本发明一示例性实施例示出的搭建异构数据库设备的结构图。

如图5所示，本实施例提供的搭建异构数据库设备包括：

存储器51；

处理器52；以及

计算机程序；

其中，所述计算机程序存储在所述存储器51中，并配置为由所述处理器52执行以实现如上所述的任一种搭建异构数据库方法。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，

所述计算机程序被处理器执行以实现如上所述的任一种搭建异构数据库方法。

本实施例还提供一种计算机程序，包括程序代码，当计算机运行所述计算机程序时，所述程序代码执行如上所述的任一种搭建异构数据库方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种搭建异构数据库的方法，其特征在于，包括：

获取待同步数据，其中，所述待同步数据包括业务数据或业务数据和日志文件；所述业务数据包括用户办理的业务；

将所述待同步数据同步至数据中转站；

将所述数据中转站中的所述待同步数据同步至目标数据库；

其中，将所述待同步数据同步至数据中转站，包括：

通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储；

所述通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储，包括：

通过DTS创建同步作业；

配置所述业务数据所属数据库的源实例信息与Kafka目标实例信息的同步链路连接信息；所述同步链路连接信息包括源实例信息与目标实例信息，源实例为同步作业的源实例的数据库类型；

基于所述同步链路连接将所述业务数据同步至所述Kafka中。

2.根据权利要求1所述的方法，其特征在于，所述将所述待同步数据同步至数据中转站，还包括：

通过Logstash工具将所述日志文件同步到Kafka中进行存储。

3.根据权利要求2所述的方法，其特征在于，所述通过Logstash工具将所述日志文件同步到Kafka中进行存储，包括：

通过filebeat提取所述日志文件中的数据得到日志记录；

通过所述Logstash工具将所述日志记录同步至所述Kafka中进行存储。

4.根据权利要求1所述的方法，其特征在于，所述将所述数据中转站中的所述待同步数据同步至目标数据库包括：

将所述Kafka中存储的待同步数据同步至ES数据库。

5.根据权利要求4所述的方法，其特征在于，所述将所述Kafka中存储的待同步数据同步至ES数据库，包括：

通过所述Kafka中的生产者根据预先设置的topic获取所述待同步数据；

通过所述Kafka中的消费者根据预先订阅的topic发布所述topic对应的所述待同步数据，以使Kafka connect将所述待同步数据传输到ES数据库。

6.一种搭建异构数据库的装置，其特征在于，包括：

数据获取模块，用于获取待同步数据，其中，所述待同步数据包括业务数据或业务数据和日志文件；所述业务数据包括用户办理的业务；

中转站同步模块，用于将所述待同步数据同步至数据中转站；

目标数据库同步模块，用于将所述数据中转站中的所述待同步数据同步至目标数据库；

其中，所述中转站同步模块包括：业务数据传输单元，用于通过DTS数据传输服务将所述业务数据同步到Kafka中进行存储；

所述业务数据传输单元，具体用于：

通过DTS创建同步作业；

配置所述业务数据所属数据库的源实例信息与Kafka目标实例信息的同步链路连接信息；所述同步链路连接信息包括源实例信息与目标实例信息，源实例为同步作业的源实例的数据库类型；

基于所述同步链路连接将所述业务数据同步至所述Kafka中。

7.根据权利要求6所述的装置，其特征在于，所述中转站同步模块还包括：

日志文件传输单元，用于通过Logstash工具将所述日志文件同步到Kafka中进行存储。

8.一种搭建异构数据库的设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如权利要求1-5任一种所述的方法。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，

所述计算机程序被处理器执行以实现如权利要求1-5任一种所述的方法。