CN109669977A - 跨数据库的数据接入方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及一种跨数据库的数据接入方法、装置、计算机设备及存储介质。该方法包括：获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息；根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型；根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。利用该方法可以降低使用成本。

Description

跨数据库的数据接入方法、装置、计算机设备及存储介质

技术领域

本发明涉及互联网技术领域，特别是涉及一种跨数据库的数据接入方法、装置、计算机设备及存储介质。

背景技术

目前，把一个企业的数据从源数据库中转移到目的数据库中进行存储或计算时，需要使用数据接入工具来进行转移。当企业使用多种源数据库时，就需要使用多种接入工具将多种源数据库中的数据接入至目标数据库。

传统技术中，目标数据库从不同的源数据库中接入数据时，其根据不同的数据库以及实时还是离线的情况，可以选择使用不同的接入工具来分别接入数据。例如：使用DataX和Sqoop等数据接入工具，可以离线接入Mysql、Oracle等数据库中的数据；使用Canal等数据接入工具可以接入实时增量数据等。

但是上述数据接入方法在接入数据时，需要用户对每个接入工具的配置信息非常熟悉，其对用户专业知识要求较高；同时在需要切换不同的接入工具时，只能人工来接入，导致该接入方法的使用成本增大。

发明内容

基于此，有必要针对上述传统技术需要人工接入，其对用户专业知识要求较高，且人工接入导致使用成本增大的问题，提供一种跨数据库的数据接入方法、装置、计算机设备及存储介质。

一种跨数据库的数据接入方法，所述方法包括：

获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息；

根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型；

根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。

在其中一个实施例中，所述配置参数还包括源数据库权限信息；所述根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，包括：

根据所述接入类型信息确定所述源数据库的接入类型；

若所述接入类型为离线接入，则根据所述源数据库权限信息和所述源数据库地址，从所述源数据库中获取所述数据表信息；

若所述接入类型为实时接入，则根据所述源数据库地址获取所述源数据库中的文件类型，所述文件类型包括日志文件或者数据文件。

在其中一个实施例中，所述根据所述源数据库权限信息和所述源数据库地址，从所述源数据库中获取所述数据表信息，包括：

根据所述源数据库地址，判断所述源数据库权限信息是否与所述源数据库中预设的合法权限信息匹配；

若匹配，则从所述源数据库中获取所述数据表信息。

在其中一个实施例中，所述数据表信息包括：所述源数据库的类型、所述源数据库的数据量、所述源数据库有无主键、所述源数据库的文件格式中的至少一种。

在其中一个实施例中，所述根据所述参考信息和预设的路由规则库，确定所述数据接入工具，包括：

若所述源数据库类型是MongoDB，或者，所述源数据库无主键，或者，所述文件格式为ORC文件，则所述数据接入工具为DataX；

或者，

若所述源数据库的数据量大于预设的数据量阈值，则所述数据接入工具为Sqoop；若所述源数据库的数据量不大于预设的数据量阈值，则所述数据接入工具为DataX。

在其中一个实施例中，所述根据所述参考信息和预设的路由规则库，确定所述数据接入工具，包括：

若所述文件类型是日志文件，则所述数据接入工具包括Flume、Logstash中的任一个；

若所述文件类型是数据文件，则所述数据接入工具为Canal。

在其中一个实施例中，所述接入类型信息包括实时接入参数，所述根据所述参考信息和预设的路由规则库，确定所述数据接入工具，还包括：

根据所述实时接入参数确定所述源数据库中的日志文件是否需要处理；

若是，则确定所述数据接入工具为Logstash。

一种跨数据库的数据接入装置，所述装置包括：

第一获取模块，用于获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息；

第二获取模块，用于根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型；

接入模块，用于根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。

一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息；

根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型；

根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息；

根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型；

根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。

上述跨数据库接入方法、装置、计算机设备及存储介质，首先获取用户输入的配置参数，该配置参数包括源数据库地址、目标数据库地址、接入类型信息，然后根据接入类型信息和源数据库地址获取参考信息，最后根据该参考信息和预设的路由规则库确定出数据接入工具，并利用该数据接入工具和目标数据库地址，将源数据库中的数据导入至目标数据库中。利用本实施例的方法，一方面，由于其不需要用户输入数据接入工具的配置信息，因此，其可以使非专业技术人员也可以完成源数据库和目标数据库之间的数据导入；另一方面，由于其不是由人工来选择数据接入工具的，因此其可以降低使用成本，且可以提高数据接入的效率。

附图说明

图1为一个实施例中跨数据库接入方法的应用环境图；

图2为一个实施例提供的跨数据库的数据接入方法的流程示意图；

图3为另一个实施例提供的跨数据库的数据接入方法的流程示意图；

图4为一个实施例提供的跨数据库的数据接入装置的结构示意图；

图5为另一个实施例提供的跨数据库的数据接入装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本发明实施例提供的跨数据库的数据接入方法，可以适用于图1所示的计算机设备。如图1所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的计算机通过网络连接通信。该计算机程序被处理器执行时以实现一种跨数据库的数据接入方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

需要说明的是，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在介绍具体的实施例之前，这里对本发明实施例中涉及的专业术语或者概念进行解释说明：

Sqoop：是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql等)间进行数据的传递，可以将一个传统数据库(例如：MySQL，Oracle，Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到传统数据库中。

DataX：是一款支持任意异构数据系统离线数据交换的工具、框架、平台,实现了在任意的数据处理系统(RDBMS/Hdfs/Localfilesystem)之间的数据交换。

Canal：基于数据库增量日志解析，提供增量数据订阅&消费。

Flume：是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。

Logstash：是一个应用程序日志、事件的传输、处理、管理和搜索的平台。

数据接入：从各种系统、接口等，把源数据库中的数据接入到目标数据库中。

传统技术中，目标数据库从不同的源数据库中接入数据时，其根据不同的数据库以及实时还是离线的情况，可以选择使用不同的接入工具来分别接入数据。但是上述接入方法在接入数据时，需要用户对每个接入工具的配置信息非常熟悉，其对用户专业知识要求较高；同时在需要切换不同的接入工具时，只能人工来接入，导致该接入方法的使用成本增大。本发明实施例提供的跨数据库的数据接入方法、装置、计算机设备及存储介质，旨在解决传统技术的如上技术问题。

需要说明的是，下述方法实施例的执行主体可以是跨数据库的数据接入装置，该跨数据库的数据接入装置可以通过软件、硬件或者软硬件结合的方式实现成为上述计算机设备的部分或者全部。下述方法实施例以执行主体是计算机设备为例进行说明。

图2为一个实施例提供的跨数据库的数据接入方法的流程示意图。本实施例涉及的是计算机设备如何根据用户输入的一些简单的配置参数选择数据接入工具，然后将源数据库的数据接入至目标数据库的具体过程。如图2所示，该方法可以包括以下步骤：

S101，获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息。

具体的，计算机设备首先获取用户在计算机设备上输入的配置参数，可选的，该配置参数可以包括源数据库地址、目标数据库地址、接入类型信息，还可以包括源数据库权限信息等。可选的，上述用户输入的配置参数中可以是一个源数据库地址、一个目标数据库地址、一个接入类型信息，也可以是多个源数据库地址、多个目标数据库地址、多个接入类型信息。可选的，上述接入类型信息可以包括表征接入类型是离线接入和/或实时接入的信息。

另外，上述用户输入的配置参数只是源数据库和目标数据库的一些相关参数，不需要用户输入数据接入工具的配置参数，因此，其对用户的专业技能没有要求，即任何用户均可利用该方法来进行操作。

S102，根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型。

具体的，计算机设备在得到用户输入的配置参数后，可以根据用户输入的源数据库的地址去访问该地址对应的源数据库，其中，不同的源数据库地址对应的源数据库不同；计算机设备在确定了所要访问的源数据库之后，可以继续根据用户输入的接入类型信息，从该源数据库中获取与接入类型信息所对应的参考信息，用户输入的接入类型信息不同，计算机设备从上述源数据库中获取的参考信息就不同。

其中，上述参考信息可以是该源数据库的数据表信息，还可以是该源数据库中的文件类型，计算机设备得到的参考信息不同，则后续确定的源数据库的数据接入工具就不同。

S103，根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。

具体的，计算机设备可以根据上述得到的参考信息，以及不同的参考信息与数据接入工具之间的对应关系，在预设的路由规则库中查找与该参考信息对应的数据接入工具；在查找到对应的数据接入工具之后，计算机设备可以利用该数据接入工具将源数据库中的数据转移到目标数据库地址对应的目标数据库中。其中，不同的目标数据库地址对应不同的目标数据库。

由上述描述可知，本实施例中的跨数据库接入方法，采用的根据用户输入的关于源数据库和目标数据库的配置信息，然后由预设的路由规则库自动选择出与源数据库对应的数据接入工具，并利用该数据接入工具将源数据库中的数据接入到目标数据库中。其不需要用户输入数据接入工具的配置信息，因此，其可以使非专业技术人员也可以完成源数据库和目标数据库之间的数据导入；另外，由于上述数据接入方法并不是利用人工来选择数据接入工具的，而是根据用户输入的配置信息由预设的路由规则库自动选择数据接入工具的，因此利用该方法进行跨数据库的数据接入，不仅可以降低使用成本，还可以提高数据接入的效率。

本实施例提供的跨数据库的数据接入方法，计算机设备首先获取用户输入的配置参数，该配置参数包括源数据库地址、目标数据库地址、接入类型信息，然后计算机设备可以根据接入类型信息和源数据库地址获取参考信息，最后计算机设备可以根据该参考信息和预设的路由规则库确定出数据接入工具，并利用该数据接入工具和目标数据库地址，将源数据库中的数据导入至目标数据库中。利用本实施例的方法，一方面，由于其不需要用户输入数据接入工具的配置信息，因此，其可以使非专业技术人员也可以完成源数据库和目标数据库之间的数据导入；另一方面，由于其不是由人工来选择数据接入工具的，因此其可以降低使用成本，且可以提高数据接入的效率。

图3为另一个实施例提供的跨数据库的数据接入方法的流程示意图。本实施例涉及的是计算机设备如何根据用户输入的接入类型信息，并根据该接入类型信息和源数据库地址获取源数据库对应的参考信息的具体过程。在上述实施例的基础上，如图3所示，上述S102步骤包括以下步骤：

S201，根据所述接入类型信息确定所述源数据库的接入类型。

其中，接入类型信息是可以表征接入类型是离线或者实时的一些参数。如果该参数表征的接入类型是离线，则就可以确定源数据库的接入类型为离线接入；如果该参数表征的接入类型是实时，则就可以确定源数据库的接入类型为实时接入。可选的，上述接入类型信息还可以包括实时接入参数。

S202，若所述接入类型为离线接入，则根据所述源数据库权限信息和所述源数据库地址，从所述源数据库中获取所述数据表信息。

在该步骤中，如果上述计算机设备确定的接入类型为离线接入，则，可选的，计算机设备可以根据上述源数据库地址，判断上述源数据库权限信息是否与上述源数据库中预设的合法权限信息匹配；若匹配，则从上述源数据库中获取上述数据表信息。也就是说，计算机设备可以根据上述源数据库地址确定所要访问的源数据库，之后，计算机设备可以将用户输入的源数据库权限信息与预设的合法权限信息进行匹配，如果匹配不成功，则计算机设备只能确定要访问的源数据库，但是不能得到源数据库中的数据表信息。

可选的，上述源数据库权限信息可以包括源数据库名、用户名以及密码等。可选的，上述数据表信息可以包括：上述源数据库的类型、上述源数据库的数据量、上述源数据库有无主键、上述源数据库的文件格式中的至少一种。数据表信息不同，则后续选择的数据接入工具就不同。

S203，若所述接入类型为实时接入，则根据所述源数据库地址获取所述源数据库中的文件类型，所述文件类型包括日志文件或者数据文件。

在该步骤中，如果上述计算机设备确定的接入类型是实时接入，则计算机设备不需要源数据库的权限信息，直接可以根据上述源数据地址确定要访问的源数据库，之后可以根据该源数据库得到其中的文件类型，该文件类型可以包括日志文件或者数据文件。文件类型不同，后续选择的数据接入工具就不同。

本实施例提供的跨数据库的数据接入方法，计算机设备首先根据接入类型信息确定源数据库的接入类型，如果接入类型是离线接入，则根据源数据库权限信息和源数据库地址获取源数据库中的数据表信息；如果接入类型是实时接入，则根据源数据库地址获取源数据库中的文件类型。利用本实施例的方法，一方面，计算机设备可以根据不同的接入类型从源数据库中获取不同的参考信息，进而根据不同的参考信息选择不同的数据接入工具；另一方面，计算机设备在确定接入类型为离线接入时，可以根据源数据库权限信息确定是否获取源数据库中的数据表信息，利用该方法，可以避免其他用户误操作，造成源数据库中的数据丢失等问题，从而保证了源数据库中数据的安全性。

在另一个实施例中，若所述接入类型为离线接入，则计算机设备根据所述源数据库权限信息和所述源数据库地址，从所述源数据库中获取所述数据表信息。在上述实施例的基础上，上述步骤S103中根据参考信息和预设的路由规则库，确定所述数据接入工具可以包括以下步骤：

若上述源数据库类型是MongoDB，或者，上述源数据库无主键，或者，上述文件格式为ORC文件，则计算机设备确定的上述数据接入工具为DataX；

或者，

若上述源数据库的数据量大于预设的数据量阈值，则计算机设备确定的上述数据接入工具为Sqoop；若上述源数据库的数据量不大于预设的数据量阈值，则计算机设备确定的上述数据接入工具为DataX。可选的，预设的数据量阈值可以为200万条，还可以为其他数值，本实施例对此不做限定。

本实施例提供的跨数据库的数据接入方法，计算机设备在确定接入类型为离线接入，并得到源数据库中的数据表信息之后，可以根据该数据表信息在预设的路由规则库中查找，找到与该数据表信息对应的数据接入工具。利用本实施例的方法，计算机设备可以根据数据表信息的不同，准确地找到不同的数据接入工具，而且不用人工操作，因此，利用该方法可以降低数据接入工具的使用成本。

在另一个实施例中，若所述接入类型为实时接入，则计算机设备根据所述源数据库地址获取所述源数据库中的文件类型，所述文件类型包括日志文件或者数据文件。在上述实施例的基础上，上述步骤S103中根据参考信息和预设的路由规则库，确定所述数据接入工具可以包括以下步骤：

若上述文件类型是日志文件，则计算机设备确定的上述数据接入工具包括Flume、Logstash中的任一个。可选的，当上述接入类型信息可以包括实时接入参数时，该步骤还可以包括：根据该实时接入参数确定所述源数据库中的日志文件是否需要处理；若是，则确定上述数据接入工具为Logstash。

若上述文件类型是数据文件，则计算机设备确定的上述数据接入工具为Canal。

本实施例提供的跨数据库的数据接入方法，计算机设备在确定接入类型为实时接入，并得到源数据库中的文件类型之后，可以根据该文件类型在预设的路由规则库中查找，找到与该文件类型对应的数据接入工具。利用本实施例的方法，计算机设备可以根据文件类型的不同，准确地找到不同的数据接入工具，而且不用人工操作，因此，利用该方法可以降低数据接入工具的使用成本。

应该理解的是，虽然图2、3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图4为一个实施例提供的跨数据库的数据接入装置的结构示意图。如图4所示，该装置可以包括：第一获取模块10、第二获取模块11、接入模块12。

具体的，第一获取模块10，用于获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息；

第二获取模块11，用于根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型；

接入模块12，用于根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。

本实施例提供的跨数据库的数据接入装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

图5为另一个实施例提供的跨数据库的数据接入装置的结构示意图。在上述实施例的基础上，如图5所示，上述第一获取模块10中的配置参数还包括源数据库权限信息，上述第二获取模块11可以包括：确定单元111、第一获取单元112、第二获取单元113。

具体的，确定单元111，用于根据所述接入类型信息确定所述源数据库的接入类型；

第一获取单元112，用于若所述接入类型为离线接入，则根据所述源数据库权限信息和所述源数据库地址，从所述源数据库中获取所述数据表信息；

第二获取单元113，用于若所述接入类型为实时接入，则根据所述源数据库地址获取所述源数据库中的文件类型，所述文件类型包括日志文件或者数据文件。

可选的，上述第一获取单元112具体用于根据所述源数据库地址，判断所述源数据库权限信息是否与所述源数据库中预设的合法权限信息匹配；若匹配，则从所述源数据库中获取所述数据表信息。

在一个实施例中，所述数据表信息包括：所述源数据库的类型、所述源数据库的数据量、所述源数据库有无主键、所述源数据库的文件格式中的至少一种。

在一个实施例中，上述接入模块12具体用于若所述源数据库类型是MongoDB，或者，所述源数据库无主键，或者，所述文件格式为ORC文件，则所述数据接入工具为DataX；或者，若所述源数据库的数据量大于预设的数据量阈值，则所述数据接入工具为Sqoop；若所述源数据库的数据量不大于预设的数据量阈值，则所述数据接入工具为DataX。

在一个实施例中，上述接入模块12具体用于若所述文件类型是日志文件，则所述数据接入工具包括Flume、Logstash中的任一个；若所述文件类型是数据文件，则所述数据接入工具为Canal。

在一个实施例中，所述接入类型信息包括实时接入参数，则上述接入模块12还用于根据所述实时接入参数确定所述源数据库中的日志文件是否需要处理；若是，则确定所述数据接入工具为Logstash。

本实施例提供的跨数据库的数据接入装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

在一个实施例中，提供了一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息；

根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型；

根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。

在一个实施例中，所述配置参数还包括源数据库权限信息，所述处理器执行所述计算机程序时还实现以下步骤：

根据所述接入类型信息确定所述源数据库的接入类型；

若所述接入类型为离线接入，则根据所述源数据库权限信息和所述源数据库地址，从所述源数据库中获取所述数据表信息；

若所述接入类型为实时接入，则根据所述源数据库地址获取所述源数据库中的文件类型，所述文件类型包括日志文件或者数据文件。

在一个实施例中，所述处理器执行所述计算机程序时还实现以下步骤：

根据所述源数据库地址，判断所述源数据库权限信息是否与所述源数据库中预设的合法权限信息匹配；

若匹配，则从所述源数据库中获取所述数据表信息。

在一个实施例中，所述数据表信息包括：所述源数据库的类型、所述源数据库的数据量、所述源数据库有无主键、所述源数据库的文件格式中的至少一种。

在一个实施例中，所述处理器执行所述计算机程序时还实现以下步骤：

若所述源数据库类型是MongoDB，或者，所述源数据库无主键，或者，所述文件格式为ORC文件，则所述数据接入工具为DataX；

或者，

若所述源数据库的数据量大于预设的数据量阈值，则所述数据接入工具为Sqoop；若所述源数据库的数据量不大于预设的数据量阈值，则所述数据接入工具为DataX。

在一个实施例中，所述处理器执行所述计算机程序时还实现以下步骤：

若所述文件类型是日志文件，则所述数据接入工具包括Flume、Logstash中的任一个；

若所述文件类型是数据文件，则所述数据接入工具为Canal。

在一个实施例中，所述处理器执行所述计算机程序时还实现以下步骤：

根据所述实时接入参数确定所述源数据库中的日志文件是否需要处理；

若是，则确定所述数据接入工具为Logstash。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息；

根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型；

根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。

在一个实施例中，所述配置参数还包括源数据库权限信息，所述计算机程序被处理器执行时还实现以下步骤：

根据所述接入类型信息确定所述源数据库的接入类型；

若所述接入类型为离线接入，则根据所述源数据库权限信息和所述源数据库地址，从所述源数据库中获取所述数据表信息；

若所述接入类型为实时接入，则根据所述源数据库地址获取所述源数据库中的文件类型，所述文件类型包括日志文件或者数据文件。

在一个实施例中，所述计算机程序被处理器执行时还实现以下步骤：

根据所述源数据库地址，判断所述源数据库权限信息是否与所述源数据库中预设的合法权限信息匹配；

若匹配，则从所述源数据库中获取所述数据表信息。

在一个实施例中，所述数据表信息包括：所述源数据库的类型、所述源数据库的数据量、所述源数据库有无主键、所述源数据库的文件格式中的至少一种。

在一个实施例中，所述计算机程序被处理器执行时还实现以下步骤：

若所述源数据库类型是MongoDB，或者，所述源数据库无主键，或者，所述文件格式为ORC文件，则所述数据接入工具为DataX；

或者，

若所述源数据库的数据量大于预设的数据量阈值，则所述数据接入工具为Sqoop；若所述源数据库的数据量不大于预设的数据量阈值，则所述数据接入工具为DataX。

在一个实施例中，所述计算机程序被处理器执行时还实现以下步骤：

若所述文件类型是日志文件，则所述数据接入工具包括Flume、Logstash中的任一个；

若所述文件类型是数据文件，则所述数据接入工具为Canal。

在一个实施例中，所述计算机程序被处理器执行时还实现以下步骤：

根据所述实时接入参数确定所述源数据库中的日志文件是否需要处理；

若是，则确定所述数据接入工具为Logstash。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种跨数据库的数据接入方法，其特征在于，所述方法包括：

获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息；

根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型；

根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。

2.根据权利要求1所述的方法，其特征在于，所述配置参数还包括源数据库权限信息；所述根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，包括：

根据所述接入类型信息确定所述源数据库的接入类型；

若所述接入类型为离线接入，则根据所述源数据库权限信息和所述源数据库地址，从所述源数据库中获取所述数据表信息；

若所述接入类型为实时接入，则根据所述源数据库地址获取所述源数据库中的文件类型，所述文件类型包括日志文件或者数据文件。

3.根据权利要求2所述的方法，其特征在于，所述根据所述源数据库权限信息和所述源数据库地址，从所述源数据库中获取所述数据表信息，包括：

根据所述源数据库地址，判断所述源数据库权限信息是否与所述源数据库中预设的合法权限信息匹配；

若匹配，则从所述源数据库中获取所述数据表信息。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述数据表信息包括：所述源数据库的类型、所述源数据库的数据量、所述源数据库有无主键、所述源数据库的文件格式中的至少一种。

5.根据权利要求4所述的方法，其特征在于，所述根据所述参考信息和预设的路由规则库，确定所述数据接入工具，包括：

若所述源数据库类型是MongoDB，或者，所述源数据库无主键，或者，所述文件格式为ORC文件，则所述数据接入工具为DataX；

或者，

若所述源数据库的数据量大于预设的数据量阈值，则所述数据接入工具为Sqoop；若所述源数据库的数据量不大于预设的数据量阈值，则所述数据接入工具为DataX。

6.根据权利要求2所述的方法，其特征在于，所述根据所述参考信息和预设的路由规则库，确定所述数据接入工具，包括：

若所述文件类型是日志文件，则所述数据接入工具包括Flume、Logstash中的任一个；

若所述文件类型是数据文件，则所述数据接入工具为Canal。

7.根据权利要求2所述的方法，其特征在于，所述接入类型信息包括实时接入参数，所述根据所述参考信息和预设的路由规则库，确定所述数据接入工具，还包括：

根据所述实时接入参数确定所述源数据库中的日志文件是否需要处理；

若是，则确定所述数据接入工具为Logstash。

8.一种跨数据库的数据接入装置，其特征在于，所述装置包括：

第一获取模块，用于获取用户输入的配置参数，所述配置参数包括源数据库地址、目标数据库地址、接入类型信息；

第二获取模块，用于根据所述接入类型信息和所述源数据库地址获取源数据库对应的参考信息，所述参考信息用于确定所述源数据库的数据接入工具；所述参考信息包括从源数据库中获取的数据表信息或者所述源数据库中的文件类型；

接入模块，用于根据所述参考信息和预设的路由规则库，确定所述数据接入工具，并根据所述数据接入工具和所述目标数据库地址，将所述源数据库的数据接入至目标数据库；其中，所述路由规则库中包括不同的参考信息与数据接入工具之间的对应关系。

9.一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。