CN114281818A - 数据处理方法、装置、服务器和存储介质 - Google Patents

Abstract

本申请提供一种数据处理方法、装置、服务器和存储介质，该方法中，通过获取用户的数据同步请求，该数据同步请求用于指示将第一数据源中的待处理数据同步至第二数据源，并根据第一数据源和第二数据源，从预置的配置文件中读取相应的目标数据传输插件之后根据目标数据传输插件和用户输入的参数信息，将第一数据源中的待处理数据传输至第二数据源中，参数信息用于指示将第一数据源中待处理数据传输至第二数据源的传输参数。该技术方案中，从预设的数据传输插件和传输参数出发，解决现有技术中不同数据库之间传输数据时需要重新开发组件导致传输效率过低、复杂性较高的问题。

Description

数据处理方法、装置、服务器和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、服务器和存储介质。

背景技术

分布式任务调度框架Airflow是一个使用python语言编写的多种数据源datapipeline调度和监控工作流的平台。Airflow通过有向无环图(Directed Acyclic Graph，DAG)来管理任务流程的任务调度工具，不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度，而异构数据源离线同步工具DataX是一个异构数据源离线同步工具，致力于实现包括各种异构数据源之间稳定高效的数据同步功能。

在现有技术中，使用Airflow里的BashOperator的Bash命令调用DataX的Json文件，例如，从数据源Hive到数据源Oracle的数据传输，需要利用Airflow开发一个新的Operator实现，开发时需要熟悉Json文件格式。

然而，在实际应用中，当不同的数据源之间数据传输时，都需要不断开发新的Operator来实现，这导致了不同数据库之间传输效率过低、复杂性较高等问题出现。

发明内容

本申请提供一种数据处理方法、装置、服务器和存储介质，用以解决现有技术中不同数据库之间传输数据时需要重新开发组件导致传输效率过低、复杂性较高的问题。

第一方面，本申请实施例提供一种数据处理方法，包括：

获取用户的数据同步请求，所述数据同步请求用于指示将第一数据源中的待处理数据同步至第二数据源，所述第一数据源和所述第二数据源为不同的异构数据源；

根据所述第一数据源和所述第二数据源，从预置的配置文件中读取相应的目标数据传输插件，所述配置文件中存储有至少一个数据传输插件，所述数据传输插件包括：两个数据源的基本信息，所述基本信息包括：用户名、密码和所述数据源的域名；

根据所述目标数据传输插件和用户输入的参数信息，将所述第一数据源中的待处理数据传输至所述第二数据源中，所述参数信息用于指示将所述第一数据源中待处理数据传输至所述第二数据源的传输参数。

在第一方面一种可能的设计中，在所述从预置的配置文件中读取相应的目标数据传输插件之前，所述方法还包括：

获取至少两个数据源的基本信息；

根据所述至少两个数据源的基本信息，生成至少一个数据传输插件；

将所述至少一个数据传输插件存储至所述配置文件中。

在第一方面另一种可能的设计中，所述根据所述目标数据传输插件和用户输入的参数信息，将所述第一数据源中的待处理数据传输至所述第二数据源中，包括：

根据所述目标数据传输插件和用户的需求信息，生成数据传输的Json配置文本；

调用异构数据源离线同步工具，执行所述Json配置文本，将所述第一数据源中的待处理数据传输至所述第二数据源中。

在第一方面再一种可能的设计中，所述参数信息包括：所述第一数据源的传输参数；

其中，所述第一数据源的传输参数包括：所述第一数据源的连接地址、所述待处理数据的存储路径、所述第一数据源的文件分隔符和字段列。

可选的，所述参数信息还包括：所述第二数据源的传输参数；

其中，所述第二数据源的传输参数包括：所述第二数据源的连接地址、数据表、分区列名、文件编码、所述第二数据源的文件分隔符。

在第一方面还一种可能的设计中，所述方法还包括：

将所述待处理数据的传输结果记录在日志文件中；

显示所述日志文件。

第二方面，本申请实施例提供一种数据处理装置，包括：获取模块、确定模块和处理模块；

所述获取模块，用于获取用户的数据同步请求，所述数据同步请求用于指示将第一数据源中的待处理数据同步至第二数据源，所述第一数据源和所述第二数据源为不同的异构数据源；

所述确定模块，用于根据所述第一数据源和所述第二数据源，从预置的配置文件中读取相应的目标数据传输插件，所述配置文件中存储有至少一个数据传输插件，所述数据传输插件包括：两个数据源的基本信息，所述基本信息包括：用户名、密码和所述数据源的域名；

所述处理模块，用于根据所述目标数据传输插件和用户输入的参数信息，将所述第一数据源中的待处理数据传输至所述第二数据源中，所述参数信息用于指示将所述第一数据源中待处理数据传输至所述第二数据源的传输参数。

在第二方面一种可能的设计中，所述获取模块，还用于获取至少两个数据源的基本信息；

所述处理模块，还用于根据所述至少两个数据源的基本信息，生成至少一个数据传输插件，将所述至少一个数据传输插件存储至所述配置文件中。

在第二方面另一种可能的设计中，所述处理模块根据所述目标数据传输插件和用户输入的参数信息，将所述第一数据源中的待处理数据传输至所述第二数据源中，具体用于：

根据所述目标数据传输插件和用户的需求信息，生成数据传输的Json配置文本；

调用异构数据源离线同步工具，执行所述Json配置文本，将所述第一数据源中的待处理数据传输至所述第二数据源中。

在第二方面再一种可能的设计中，所述参数信息包括：所述第一数据源的传输参数；

其中，所述第一数据源的传输参数包括：所述第一数据源的连接地址、所述待处理数据的存储路径、所述第一数据源的文件分隔符和字段列。

可选的，所述参数信息还包括：所述第二数据源的传输参数；

其中，所述第二数据源的传输参数包括：所述第二数据源的连接地址、数据表、分区列名、文件编码、所述第二数据源的文件分隔符。

在第二方面还一种可能的设计中，所述处理模块，还用于将所述待处理数据的传输结果记录在日志文件中；

所述装置还包括：显示模块；

所述显示模块，用于显示所述日志文件。

第三方面，本申请实施例提供一种服务器，包括：处理器、存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述计算机执行指令，使得所述服务器执行如上述第一方面及各种可能的设计中所述的数据处理方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述第一方面及各种可能的设计中所述的数据处理方法。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于实现如上述第一方面及各种可能的设计中所述的数据处理方法。

本申请实施例提供的数据处理方法、装置、服务器和存储介质，该方法中，通过获取用户的数据同步请求，该数据同步请求用于指示将第一数据源中的待处理数据同步至第二数据源，第一数据源和第二数据源为不同的异构数据源，并根据第一数据源和第二数据源，从预置的配置文件中读取相应的目标数据传输插件，配置文件中存储有至少一个数据传输插件，数据传输插件包括：两个数据源的基本信息，该基本信息包括：用户名、密码和数据源的域名，之后根据目标数据传输插件和用户输入的参数信息，将第一数据源中的待处理数据传输至第二数据源中，参数信息用于指示将第一数据源中待处理数据传输至第二数据源的传输参数。该技术方案中，从预设的数据传输插件和传输参数出发，解决现有技术中不同数据库之间传输数据时需要重新开发组件导致传输效率过低、复杂性较高的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为本申请实施例提供的数据处理方法的应用场景示意图；

图2为本申请实施例提供的数据处理方法实施例一的流程示意图；

图3为本申请实施例提供的数据处理方法实施例二的流程示意图；

图4为本申请实施例提供的数据处理装置的结构示意图；

图5为本申请实施例提供的服务器的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在介绍本申请的实施例之前，首先对本申请的技术名词和背景技术进行解释说明：

分布式任务调度框架Airflow是一个使用python语言编写的多种数据源datapipeline调度和监控工作流的平台，通过有向无环图(Directed Acyclic Graph，DAG)来管理任务流程的任务调度工具，不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。

开源框架的异构数据源离线同步工具DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库管理系统MySQL、Oracle数据库(Oracle Database，Oracle)、分布式文件系统(Hadoop Distributed File System，HDFS)、数据仓库工具Hive、GB/TB/PB级数据仓库解决方案(Open Data Processing Service，ODPS)、开源数据库HBase、文件传输协议(File Transfer Protocol，FTP)等各种异构数据源之间稳定高效的数据同步功能。

在现有技术的数据同步时，都只是聚焦使用Airflow里的BashOperator的Bash命令调用DataX的Json文件，可以是使用DataX抽数的实现方式，然而BashOperator导致了无法发挥DataX的异构数据库互相传输的优点，比如从数据源Hive到数据源Oracle需要开发一个新的Operator，遇到Hive到数据源FTP则又要开发一个新的Operator，徒增开发时间，这也这导致了不同数据源之间传输效率过低、复杂性较高等问题出现。

在上述现有技术存在的问题基础上，图1为本申请实施例提供的数据处理方法的应用场景示意图，用以解决上述技术问题。如图1所示，该应用场景示意图包括：数据源集合11和服务器12。

其中，数据源集合11中包含有多个不同的异构数据源，例如，数据源111、数据源112、数据源113、数据源114和数据源115，应理解上述5个仅为示例，不对数据源的数量做限制。

在一种可能的示例中，数据源111可以是MySQL、数据源112可以是Oracle、数据源113可以是HDFS、数据源114可以是ODPS、数据源115可以是FTP。

在一种可能的实现中，用户需要将数据源111中某个路径中的数据A传输到数据源113中的某个路径下，此时，服务器12可以通过预先的配置文件，获取到数据源111和数据源113对应的目标数据传输插件，即包括常用的、既定的参数、以及两个数据源的用户名、密码和域名等，之后用户输入需要传输的数据A的具体信息，以及将要存储的位置等传输参数，从而服务器12中的Airflow自动生成一个临时Json配置文本，之后调用DataX读取该Json配置文本，从而实现将数据A传输至数据源113中的指定位置。

应理解，不限定上述数据源与服务器11之间的关系，即任意数据源可以是服务器11的数据库，也可以是其他服务器或计算机等的数据库。

其中，上述未纰述的部分详见下述实施例。

本申请针对上述技术问题，发明人的技术构思过程如下：可以利用Airflow的钩子HOOK和算子Operator功能DataX的各类数据传输插件提供一种以可配置，而无需写代码的方式实现数据源异构数据传输，其中，该数据传输插件中已经存在有常用的、既定的参数、以及两个数据源的用户名、密码和域名等信息，此时仅需要用户填充需要传输的数据的相关参数，便可以避免DataX只能完成数据传输，开发需要熟悉json文件格式，每个任务都需要配置json文件且容易写错以及时间成本，而让DataX成为Airflow的一部分，也让Airflow获得了DataX的优点，避免了Airflow的数据传输Operator的链式传输问题，从而避免为了某一种数据传输，专门开发一个Operator。

下面以图1所示的应用场景示意图，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请实施例提供的数据处理方法实施例一的流程示意图。如图2所示，该数据处理方法包括如下步骤：

步骤21、获取用户的数据同步请求。

其中，数据同步请求用于指示将第一数据源中的待处理数据同步至第二数据源，第一数据源和第二数据源为不同的异构数据源。

在本步骤中，用户需要将一个数据源中的一部分数据或者全部的数据同步至另一个数据源中，此时，向服务器下发数据同步请求，该数据同步请求中，可以指示有两个不同的异构数据源。

可选的，异构数据源可以指不同的数据库，可以是MySQL、Oracle、HDFS、Hive、ODPS、HBase、FTP、Hive等，用户发起的数据同步可以是上述以及未能尽述的其他数据源中的任意两个，也即数据提供侧为第一数据源，数据接收侧为第二数据源。

在一种可能的实现中，用户通过人机交互界面，点击并确定将数据源FTP的数据传输至数据源Hive，此时，服务器需要确定分别读取的两个数据源中的数据信息。

此外，该过程的实现可以是多个数据传输并行，例如，在同一时刻，D向B传输、B向C传输、F向E传输等。

步骤22、根据第一数据源和第二数据源，从预置的配置文件中读取相应的目标数据传输插件。

其中，配置文件中存储有至少一个数据传输插件，该数据传输插件包括：两个数据源的基本信息，其中，该基本信息又包括：用户名、密码和数据源的域名(连接的Host和Port等信息)。

在本步骤中，在预设的配置文件中，事先存储有不同数据源的基本信息，包括各个数据源的用户名、密码和域名，以及常用的、既定的其他参数。

可选的，第一数据源为数据提供侧，第二数据源为数据获取侧，在配置文件中确定出第一数据源和第二数据源对应的数据传输插件(例如，第一数据源FTP数据源，FtpReader对应的Hook是DataXFtpReadHook)(例如，第二数据源Hive数据源，HdfsWriter对应的Hook是DataXHdfsWriterHook)、也即目标数据传输插件。

在一种可能的实现中，利用上述举例，可以预先在Airflow创造一个Hook的类，用于映射DataX所支持的各类数据传输插件，比如DataX的FtpReader对应的Hook是DataXFtpReadHook，DataX的FtpWriter对应的Hook是DataXFtpWriterHook。Airflow的Hook用于生成DataX的Json文件所需要的内容，变成一个配置文件，其中各个异构数据库对应的数据源连接信息，比如用户名、密码、连接的Host和Port等信息。

可选的，上述各个数据源对应的数据源连接信息可以通过Airflow的Connection_id功能统一获取，填充进配置文件。

步骤23、根据目标数据传输插件和用户输入的参数信息，将第一数据源中的待处理数据传输至第二数据源中。

其中，参数信息用于指示将第一数据源中待处理数据传输至第二数据源的传输参数。

在本步骤中，在上述确定出第一数据源和第二数据源对应的目标数据传输插件，即示例中相应的DataXFtpReadHook(读)和DataXHdfsWriterHook(写)，此时，还需要对该两个Hook进行参数信息的输入，之后根据参数信息和目标数据传输插件，实现数据的传输。

示例性的，在人机交互界面上，根据提示信息，用户输入第一数据源和第二数据源分别对应的参数信息，在补充完参数信息之后，服务器根据目标数据传输插件和参数信息，生成数据传输需要的Json配置文本，也即DataX可以执行的Json配置文本，从而调用第一数据源中相应位置的数据，并加载至第二数据源中相应的位置。

可选的，参数信息包括：第一数据源的传输参数；

其中，第一数据源的传输参数包括：第一数据源的连接地址、待处理数据的存储路径、第一数据源的文件分隔符和字段列。

可选的，参数信息还包括：第二数据源的传输参数；

其中，第二数据源的传输参数包括：第二数据源的连接地址、数据表、分区列名、文件编码、第二数据源的文件分隔符。

在一种可能的实现中，该步骤可以通过如下方式实现：

第1步、根据目标数据传输插件和用户的需求信息，生成数据传输的Json配置文本。

示例性的，Airflow首先将读写配置项(目标数据传输插件和用户输入的需求信息)自动生成一个临时的Json配置文本。

第2步、调用异构数据源离线同步工具，执行Json配置文本，将第一数据源中的待处理数据传输至第二数据源中。

示例性的，DataXOperator引擎调用异构数据源离线同步工具DataX读取此该Json配置文本，从而执行Json配置文本，将第一数据源中的根据用户需求而配置的待处理数据传输至第二数据源中的指定位置。

具体的，作为一种示例，以将FTP里的文件传输到Hive中，结合DataX和Airflow的一个实例，对本申请实施例进行说明：

首先，需要生成读、写Hook的类aXFtpReadHook和DataXHdfsWriter Hook：

其中，DataXFtpReadHook的相关参数配置解释，此处对应着FTP上文件的读取：

进一步地，HdfsWriterHook的相关参数配置解释，此处对应着HDFS上数据的写入：

在填充之后，将其配置进DataXOperator中，Json配置的生成和同步任务的执行将在此发生：

然后按照Airflow运行DAG文件所需要的信息，配置好调度任务相关信息即可。

在此步骤之后，还可以将待处理数据的传输结果记录在日志文件中，在用户需要时，显示该日志文件。

此外，服务器还可以记录整个数据传输过程中涉及的数据源的信息和用户的需求信息，在下次执行数据传输时，展示出来，为用户提供参考。

具体的，可以通过Airflow观察Datax的执行情况，由于是通过Airflow调用的，DataX产生的日志会展示在Airflow的网络Web页面上。

本申请实施例提供的数据处理方法，通过获取用户的数据同步请求，数据同步请求用于指示将第一数据源中的待处理数据同步至第二数据源，第一数据源和第二数据源为不同的异构数据源，并根据第一数据源和第二数据源，从预置的配置文件中读取相应的目标数据传输插件，配置文件中存储有至少一个数据传输插件，之后根据目标数据传输插件和用户输入的参数信息，将第一数据源中的待处理数据传输至第二数据源中。该技术方案从预设的数据传输插件和传输参数出发，解决现有技术中不同数据库之间传输数据时需要重新开发组件导致传输效率过低、复杂性较高的问题。

在上述实施例的基础上，图3为本申请实施例提供的数据处理方法实施例二的流程示意图。如图3所示，在上述步骤22之前，该数据处理方法还包括：

步骤31、获取至少两个数据源的基本信息。

在本步骤中，服务器预先获取多个数据源的基本信息，即包括数据源的用户名、密码、连接的Host和Port等信息(其中，用户名和密码可以是对数据源进行读写操作的访问权限)。

其中，读写操作即，对第一数据源中用户需要传输的数据进行读取，和将用户需要将该数据写入至第二数据源。

可选的，获取的方式可以是服务器通过无线的方式获取，也可以是服务器通过有线的方式获取。

具体的，可以通过Airflow的查看Connection_id功能统一获取各个数据源的基本信息。

步骤32、根据至少两个数据源的基本信息，生成至少一个数据传输插件。

在本步骤中，在一次具体的传输中，可以基于两个数据源的基本信息，生成一个数据传输插件，也即一个数据源为数据提供侧，另一个数据源为数据需求侧，在具体的实现中，可以是创造一个Hook的类，比如DataX的FtpReader(第一数据源)对应的Hook是DataXFtpReadHook，HdfsWriter(第二数据源)对应的Hook是DataXHdfsWriterHook。

此外，生成一个数据传输插件，还需要配置常用的、既定的参数，即所有的数据源在数据传输时的通用的传输信息。

步骤33、将至少一个数据传输插件存储至配置文件中。

在本步骤中，将得到的数据传输插件存储至配置文件，当需要将第一数据源中的数据传输至第二数据源中时，从配置文件中获取第一数据源和第二数据源对应的数据传输插件。

可选的，在后续维护时，数据源的基本信息可能存在变动，用户可以随时提取数据传输插件进行修改，以避免出现数据传输插件不可用的情况。

因此，可以设置关于配置文件的更新、修改、删除和添加数据传输插件的相关功能，例如，当某个数据源的密码存在变动，可以通过Airflow的Connection_id功能按照一定的频次，更新配置文件中的数据传输插件，或者响应于技术人员的添加等操作，对数据传输插件进行修改。

本申请实施例提供的数据处理方法，通过获取至少两个数据源的基本信息，并根据至少两个数据源的基本信息，生成至少一个数据传输插件，之后将至少一个数据传输插件存储至配置文件中，该技术方案从所有数据源的基本信息出发，事先配置了需要生成Json文件的部分参数，为后续进行数据传输提供了高效的基础。

在上述方法实施例的基础上，图4为本申请实施例提供的数据处理装置的结构示意图。如图4所示，该装置包括：获取模块41、确定模块42和处理模块43；

获取模块41，用于获取用户的数据同步请求，数据同步请求用于指示将第一数据源中的待处理数据同步至第二数据源，第一数据源和第二数据源为不同的异构数据源；

确定模块42，用于根据第一数据源和第二数据源，从预置的配置文件中读取相应的目标数据传输插件，配置文件中存储有至少一个数据传输插件，数据传输插件包括：两个数据源的基本信息，基本信息包括：用户名、密码和数据源的域名；

处理模块43，用于根据目标数据传输插件和用户输入的参数信息，将第一数据源中的待处理数据传输至第二数据源中，参数信息用于指示将第一数据源中待处理数据传输至第二数据源的传输参数。

在本申请实施例一种可能的设计中，获取模块41，还用于获取至少两个数据源的基本信息；

处理模块43，还用于根据至少两个数据源的基本信息，生成至少一个数据传输插件，将至少一个数据传输插件存储至配置文件中。

在本申请实施例另一种可能的设计中，处理模块43根据目标数据传输插件和用户输入的参数信息，将第一数据源中的待处理数据传输至第二数据源中，具体用于：

根据目标数据传输插件和用户的需求信息，生成数据传输的Json配置文本；

调用异构数据源离线同步工具，执行Json配置文本，将第一数据源中的待处理数据传输至第二数据源中。

在本申请实施例再一种可能的设计中，参数信息包括：第一数据源的传输参数；

其中，第一数据源的传输参数包括：第一数据源的连接地址、待处理数据的存储路径、第一数据源的文件分隔符和字段列。

可选的，参数信息还包括：第二数据源的传输参数；

其中，第二数据源的传输参数包括：第二数据源的连接地址、数据表、分区列名、文件编码、第二数据源的文件分隔符。

在本申请实施例还一种可能的设计中，处理模块43，还用于将待处理数据的传输结果记录在日志文件中；

该装置还包括：显示模块44；

该显示模块44，用于显示日志文件。

本申请实施例提供的数据处理装置，可用于执行上述实施例中数据处理方法对应的技术方案，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

图5为本申请实施例提供的服务器的结构示意图。如图5所示，该服务器可以包括：处理器50、存储器51及存储在该存储器51上并可在处理器50上运行的计算机程序指令。

处理器50执行存储器51存储的计算机执行指令，使得处理器50执行上述实施例中的方案。处理器50可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可选的，该服务器还可以包括：收发器52。

存储器51和收发器52通过系统总线与处理器50连接并完成相互间的通信，存储器51用于存储计算机程序指令。

收发器52用于和其他设备进行通信，该收发器52构成通信接口。

可选的，在硬件实现上，上述图4所示实施例中的获取模块41对应于本实施例中的收发器52。

可选的，在硬件实现上，该服务器还可以包括显示器，对应上述图4所示实施例中的显示模块44，用于显示处理结果对应的日志。

系统总线可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

本申请实施例提供的服务器，可用于执行上述实施例中数据处理方法对应的技术方案，其实现原理和技术效果类似，在此不再赘述。

本申请实施例还提供一种运行指令的芯片，该芯片用于执行上述实施例中数据处理方法的技术方案。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在服务器上运行时，使得服务器执行上述实施例中数据处理方法的技术方案。

本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时用于执行上述实施例中数据处理方法的技术方案。

上述的计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

获取用户的数据同步请求，所述数据同步请求用于指示将第一数据源中的待处理数据同步至第二数据源，所述第一数据源和所述第二数据源为不同的异构数据源；

根据所述第一数据源和所述第二数据源，从预置的配置文件中读取相应的目标数据传输插件，所述配置文件中存储有至少一个数据传输插件，所述数据传输插件包括：两个数据源的基本信息，所述基本信息包括：用户名、密码和所述数据源的域名；

根据所述目标数据传输插件和用户输入的参数信息，将所述第一数据源中的待处理数据传输至所述第二数据源中，所述参数信息用于指示将所述第一数据源中待处理数据传输至所述第二数据源的传输参数。

2.根据权利要求1所述的方法，其特征在于，在所述从预置的配置文件中读取相应的目标数据传输插件之前，所述方法还包括：

获取至少两个数据源的基本信息；

根据所述至少两个数据源的基本信息，生成至少一个数据传输插件；

将所述至少一个数据传输插件存储至所述配置文件中。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述目标数据传输插件和用户输入的参数信息，将所述第一数据源中的待处理数据传输至所述第二数据源中，包括：

根据所述目标数据传输插件和用户的需求信息，生成数据传输的Json配置文本；

调用异构数据源离线同步工具，执行所述Json配置文本，将所述第一数据源中的待处理数据传输至所述第二数据源中。

4.根据权利要求1或2所述的方法，其特征在于，所述参数信息包括：所述第一数据源的传输参数；

其中，所述第一数据源的传输参数包括：所述第一数据源的连接地址、所述待处理数据的存储路径、所述第一数据源的文件分隔符和字段列。

5.根据权利要求4所述的方法，其特征在于，所述参数信息还包括：所述第二数据源的传输参数；

其中，所述第二数据源的传输参数包括：所述第二数据源的连接地址、数据表、分区列名、文件编码、所述第二数据源的文件分隔符。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

将所述待处理数据的传输结果记录在日志文件中；

显示所述日志文件。

7.一种数据处理装置，其特征在于，包括：获取模块、确定模块和处理模块；

所述获取模块，用于获取用户的数据同步请求，所述数据同步请求用于指示将第一数据源中的待处理数据同步至第二数据源，所述第一数据源和所述第二数据源为不同的异构数据源；

所述确定模块，用于根据所述第一数据源和所述第二数据源，从预置的配置文件中读取相应的目标数据传输插件，所述配置文件中存储有至少一个数据传输插件，所述数据传输插件包括：两个数据源的基本信息，所述基本信息包括：用户名、密码和所述数据源的域名；

所述处理模块，用于根据所述目标数据传输插件和用户输入的参数信息，将所述第一数据源中的待处理数据传输至所述第二数据源中，所述参数信息用于指示将所述第一数据源中待处理数据传输至所述第二数据源的传输参数。

8.根据权利要求7所述的装置，其特征在于，所述获取模块，还用于获取至少两个数据源的基本信息；

所述处理模块，还用于根据所述至少两个数据源的基本信息，生成至少一个数据传输插件，并将所述至少一个数据传输插件存储至所述配置文件中。

9.一种服务器，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序指令，所述处理器执行所述计算机程序指令时实现如上述权利要求1至6任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述权利要求1至6任一项所述的数据处理方法。

Images