CN105512168A - 一种集群数据库复合加载数据的方法及装置 - Google Patents

Abstract

本发明提供了一种集群数据库复合加载数据的方法及装置，所述方法包括：接收客户端发送的控制文件；解析所述控制文件，获取加载任务；依次向集群数据库加载所述任务。由于采用上述技术方案，能够支持从多种不同的数据源读取数据文件，支持从多种不同格式的数据文件读取数据，支持不同数据源与不同数据格式的任意组合，因此极大增加了集群数据库加载工具的功能多样性，极大增强了集群数据库加载工具功能的可扩充性，极大提高了集群数据库加载工具功能的实用灵活性。

Description

一种集群数据库复合加载数据的方法及装置

技术领域

本发明属于集群数据库领域，尤其是涉及一种集群数据库复合加载数据的方法及装置。

背景技术

集群数据库使用大量计算机节点提供高性能、大数据量的数据库服务。集群数据库的加载工具负责高性能地向集群数据库中加载大量数据。通过两台或者多台数据库服务器，提供透明的服务，集群向客户端提供的服务与单机系统向客户端提供的服务，从通讯协议上保持二进制兼容。在进行数据更新时，数据库客户端发出数据更新请求后，要等集群的每个节点全部更新后，才给客户端返回结果。

典型的集群数据库会解析用户所写的控制文件，确定待加载数据的来源、位置、类型等参数信息，然后读取数据文件，最后将数据文件中包含的数据加载进集群数据库。由于被加载的数据有各种不同的来源和格式，例如：数据来自不同的数据源，如本地文件系统、FTP服务、HDFS文件系统等；数据文件有各种压缩格式，如gzip格式、snappy格式、无压缩格式等；数据文件有各种不同的表达格式，如文本文件、支持转义的文本文件、二进制文件等。如何能够快速的将不同来源和格式的数据加载到集群数据库中，是当前亟需解决的问题。

发明内容

本发明实施例提供了一种集群数据库复合加载数据的方法及装置，用以实现快速的将不同来源和格式的数据加载到集群数据库的目的。

第一方面，本发明实施例提供了一种集群数据库复合加载数据的方法，所述方法包括：

接收客户端发送的控制文件；

解析所述控制文件，获取加载任务；

依次向集群数据库加载所述任务。

进一步的，所述获取加载任务包括：

解析所述控制文件，将获取的每个数据文件信息作为一个加载任务；

所述依次向集群数据库加载所述任务，包括：

依次根据获取的数据文件的基本信息加载所述数据文件。

进一步的，所述依次根据获取的数据文件的基本信息加载所述数据文件，包括：

根据所述数据文件信息中的数据文件格式，调用所述数据文件格式对应的插件处理所述数据文件，并将初始化后的数据加载进集群数据库，直到加载完所有的数据文件。

更进一步的，述解析所述控制文件，获取数据文件信息，包括：

解析控制文件，获取数据文件的来源、位置、类型信息。

第二方面，本发明实施例提供了一种集群数据库复合加载数据的装置，所述装置包括：

接收模块，用于接收客户端发送的控制文件；

任务获取模块，用于解析所述控制文件，获取加载任务；

加载模块，用于依次向集群数据库加载所述任务。

进一步的，，所述任务获取模块，用于：

解析所述控制文件，将获取的每个数据文件信息作为一个加载任务；

所述加载模块，用于：

依次根据获取的数据文件的基本信息加载所述数据文件。

进一步的，所述加载模块用于：

根据所述数据文件信息中的数据文件格式，调用所述数据文件格式对应的插件处理所述数据文件，并将初始化后的数据加载进集群数据库，直到加载完所有的数据文件。

更进一步的，所述解析模块，用于：

解析控制文件，获取数据文件的来源、位置、类型信息。

由于采用上述技术方案，能够支持从多种不同的数据源读取数据文件，支持从多种不同格式的数据文件读取数据，支持不同数据源与不同数据格式的任意组合，因此极大增加了集群数据库加载工具的功能多样性，极大增强了集群数据库加载工具功能的可扩充性，极大提高了集群数据库加载工具功能的实用灵活性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的集群数据库复合加载数据的方法的流程示意图；

图2是本发明第一实施例提供的集群数据库复合加载数据的方法中集群数据库加载工具的示意图；

图3是本发明第一实施例提供的集群数据库复合加载数据的方法中数据库加载工具中模块组成示意图；

图4是本发明第一实施例提供的集群数据库复合加载数据的方法中数据库加载过程示意图；

图5是本发明第一实施例提供的集群数据库复合加载数据的方法中一个实施方式中数据库加载过程示意图；

图6是本发明第二实施例提供的集群数据库复合加载数据的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明第一实施例提供的集群数据库复合加载数据的方法的流程示意图，所述方法依靠相应的装置来实现。所述装置可由软件/硬件实现，并一般集成于集群数据库中。图2是本发明第一实施例提供的集群数据库复合加载数据的方法中集群数据库加载工具的示意图；图3是本发明第一实施例提供的集群数据库复合加载数据的方法中数据库加载工具中模块组成示意图；图4是本发明第一实施例提供的集群数据库复合加载数据的方法中数据库加载过程示意图；图5是本发明第一实施例提供的集群数据库复合加载数据的方法中一个实施方式中数据库加载过程示意图；

参见图1、图2、图3、图4和图5，所述集群数据库复合加载数据的方法，包括：

步骤S101，接收客户端发送的控制文件。

用户可以对集群数据库中的数据进行增加、删除和修改。对集群数据库中的数据进行上述操作时，都需要使用集群数据库对应的客户端软件来实现彼此通信和信息交互。在用户需要对集群数据库中的数据进行操作时，用户在客户端进行操作，并通过客户端将控制文件发送到集群数据库。

步骤S102，解析所述控制文件，获取加载任务。

解析控制文件，获取加载任务，获取数据文件的来源、位置、类型信息。所述加载任务包括数据源和数据文件格式，示例性的，控制文件中包括5个数据源和数据文件格式，其中，解析到的加载任务的数据源和数据文件格式分别是：

1)HDFS+文本文件；

2)本地文件系统+GZip文件；

3)FTP+文本文件；

4)HDFS+Snappy文件；

5)HDFS+GZip文件。

将控制文件中的5个数据源和数据文件格式作为5个加载任务。

步骤S103，依次向集群数据库加载所述任务。

依次根据获取的数据文件的基本信息加载所述数据文件，示例性的，可按如下步骤加载：

1)获取第一个加载任务，初始化HDFS的数据源访问模块，初始化文本文件的格式处理模块，读取并加载数据；

2)获取第二个加载任务，初始化本地文件系统的数据源访问模块，初始化GZip文件的格式处理模块，读取并加载数据；

3)获取第三个加载任务，初始化FTP的数据源访问模块，初始化文本文件的格式处理模块，读取并加载数据；

4)获取第四个加载任务，初始化HDFS的数据源访问模块，初始化Snappy文件的格式处理模块，读取并加载数据；

5)获取第五个加载任务，初始化HDFS的数据源访问模块，初始化GZip文件的格式处理模块，读取并加载数据；

6)结束加载。

本实施例能够支持从多种不同的数据源读取数据文件，支持从多种不同格式的数据文件读取数据，支持不同数据源与不同数据格式的任意组合，因此极大增加了集群数据库加载工具的功能多样性，极大增强了集群数据库加载工具功能的可扩充性，极大提高了集群数据库加载工具功能的实用灵活性。

图6示出本发明第二实施例。

图6是本发明第二实施例提供的集群数据库复合加载数据的装置示意图。

由图6可以看出，所述的集群数据库复合加载数据的装置包括：接收模块210、任务获取模块220和加载模块230。

其中，所述接收模块210，用于接收客户端发送的控制文件；

所述任务获取模块220，用于解析所述控制文件，获取加载任务；

所述加载模块230，用于依次向集群数据库加载所述任务。

进一步的，所述任务获取模块220，用于：

解析所述控制文件，将获取的每个数据文件信息作为一个加载任务；

所述加载模块230，用于：

依次根据获取的数据文件的基本信息加载所述数据文件。

进一步的，所述加载模块230用于：

根据所述数据文件信息中的数据文件格式，调用所述数据文件格式对应的插件处理所述数据文件，并将初始化后的数据加载进集群数据库，直到加载完所有的数据文件。

进一步的，所述解析模块210，用于：

解析控制文件，获取数据文件的来源、位置、类型信息。

上述集群数据库复合加载数据的装置，能够执行从集群数据库复合加载数据的方法，具备方法执行的功能和有益效果。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种集群数据库复合加载数据的方法，其特征在于，所述方法包括：

接收客户端发送的控制文件；

解析所述控制文件，获取加载任务；

依次向集群数据库加载所述任务。

2.根据权利要求1所述的方法，其特征在于，所述获取加载任务包括：

解析所述控制文件，将获取的每个数据文件信息作为一个加载任务；

所述依次向集群数据库加载所述任务，包括：

依次根据获取的数据文件的基本信息加载所述数据文件。

3.根据权利要求2所述的方法，其特征在于，所述依次根据获取的数据文件的基本信息加载所述数据文件，包括：

根据所述数据文件信息中的数据文件格式，调用所述数据文件格式对应的工具处理所述数据文件，并将初始化后的数据加载进集群数据库，直到加载完所有的数据文件。

4.根据权利要求2所述的方法，其特征在于，所述解析所述控制文件，获取数据文件信息，包括：

解析控制文件，获取数据文件的来源、位置、类型信息。

5.根据权利要求1所述的方法，其特征在于，所述获取数据文件的基本信息，包括：

获取并缓存数据文件的基本信息。

6.一种集群数据库复合加载数据的装置，其特征在于，所述装置包括：

接收模块，用于接收客户端发送的控制文件；

任务获取模块，用于解析所述控制文件，获取加载任务；

加载模块，用于依次向集群数据库加载所述任务。

7.根据权利要求5所述的装置，其特征在于，所述任务获取模块，用于：

解析所述控制文件，将获取的每个数据文件信息作为一个加载任务；

所述加载模块，用于：

依次根据获取的数据文件的基本信息加载所述数据文件。

8.根据权利要求6所述的装置，其特征在于，所述加载模块用于：

根据所述数据文件信息中的数据文件格式，调用所述数据文件格式对应的插件处理所述数据文件，并将初始化后的数据加载进集群数据库，直到加载完所有的数据文件。

9.根据权利要求5所述的装置，其特征在于，所述解析模块，用于：

解析控制文件，获取数据文件的来源、位置、类型信息。