CN104135505B - 一种跨数据中心的数据联接方法及系统 - Google Patents

Abstract

本发明提供了一种跨HDFS的数据中心的数据联接方法，该方法包括：协调节点接收到数据联接操作请求后，从配置文件中获取元数据节点的IP地址，逐个与配置文件中的元数据节点建立连接，当查询到当前元数据节点中有被请求表时，获取该被请求元数据节点的元数据信息；被请求节点根据被请求的数据的信息来对本节点的数据进行过滤，筛选出本节点被请求的数据，向协调节点发送本节点所保存的结果集的大小；协调节点通知小结果集节点将本节点保存的结果集发送给所有大结果集节点；所有大结果集节点将本节点的结果集与所有小结果集节点发来的结果集进行哈希连接得到结果记录；协调节点汇聚结果记录。通过该方法及系统，能够实现跨数据中心的数据联接。

Description

一种跨数据中心的数据联接方法及系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种跨数据中心的数据联接方法及系统。

背景技术

当面临大数据应用需求时，在单机性能面临瓶颈，关系数据库集群系统已不能满足大数据应用需求的情况下，利用分布式存储系统保存数据并采用基于SQL语言标准用户接口已成为解决大规模结构化数据检索问题的有效方法。现有技术，通常采用HDFS（HadoopDistributedFile System，Hadoop分布式文件系统）存储数据文件，并通过维护一份元数据将HDFS文件及其内容映射为表结构。现有技术中的应用场景均面向同一个数据中心，即面向一套分布式文件系统，然而，很多应用场景要求系统对分布在不同数据中心的两表或多表进行联接操作，即对分布在不同HDFS的数据中心的数据表进行联接，现有技术中不能实现跨HDFS的数据中心的数据联接。

发明内容

本发明提供了一种跨数据中心的数据联接方法及系统，能够实现跨HDFS的数据中心的数据联接。

一方面，本发明提供了一种跨HDFS的数据中心的数据联接方法，所述方法包括：

协调节点接收到数据联接操作请求后，从配置文件中获取元数据节点的IP地址；

协调节点逐个与配置文件中的元数据节点建立连接，当查询到当前元数据节点中有被请求表时，获取该被请求元数据节点的元数据信息；

协调节点根据数据联接操作请求中的筛选条件对所述被请求表进行数据过滤；

协调节点根据过滤后的被请求表对应的数据所在的节点的IP信息与该IP信息对应的节点建立连接；

协调节点向建立连接的节点发送该节点中被请求的数据的信息；

被请求节点根据被请求的数据的信息来对本节点的数据进行过滤，筛选出本节点被请求的数据；

各个被请求节点向协调节点发送本节点所保存的结果集的大小；

协调节点比较任意待联接的两个表对应的结果集的大小，通知所有小结果集节点将本节点保存的结果集发送给所有大结果集节点；

所有大结果集节点将本节点的结果集与所有小结果集节点发来的结果集进行哈希连接得到结果记录；

协调节点汇聚所有大结果集节点的结果记录；

其中，所述配置文件中携带了数据中心的元数据节点的IP地址；所述协调节点为接收到数据联接操作请求的节点；所述被请求节点为接收到协调节点发来的被请求的数据的信息的节点；所述小结果集节点为结果集小的表对应的节点；所述大结果集节点为结果集大的表对应的节点；所述被请求表为数据连接操作请求所请求的表；所述被请求元数据节点为包含所述被请求表的元数据节点。

进一步地，所述数据联接操作请求通过SQL语句实现。

进一步地，在所述协调节点逐个与配置文件中的元数据节点建立连接之后，还包括协调节点调用元数据节点上的查询进程来查询当前元数据节点中有被请求表。

进一步地，所述被请求节点根据被请求的数据的信息来对本节点的数据进行过滤，筛选出本节点被请求的数据，包括：被请求节点通过本节点上的查询进程来查询本节点被请求的数据。

进一步地，在所述协调节点汇聚所有大结果集节点的结果记录之前，还包括：所有大结果集节点将本节点的结果记录发送给协调节点。

另一方面，本发明提供了一种跨Hadoop分布式文件系统HDFS的数据中心的数据联接系统，所述系统包括：

协调节点，用于接收到数据联接操作请求后，从配置文件中获取元数据节点的IP地址，逐个与配置文件中的元数据节点建立连接，当查询到当前元数据节点中有被请求表时，获取该被请求元数据节点的元数据信息，根据数据联接操作请求中的筛选条件对所述被请求表进行数据过滤，根据过滤后的被请求表对应的数据所在的节点的IP信息与该IP信息对应的节点建立连接，向建立连接的节点发送该节点中被请求的数据的信息，在接收到被请求节点发来的结果集后，比较任意待联接的两个表对应的结果集的大小，通知所有小结果集节点将本节点保存的结果集发送给所有大结果集节点，汇聚所有大结果集节点的结果记录；

被请求节点，用于根据被请求的数据的信息来对本节点的数据进行过滤，筛选出本节点被请求的数据，向协调节点发送本节点所保存的结果集的大小；

所述被请求节点还包括大结果集节点、小结果集节点；

所述小结果集节点，用于将本节点保存的结果集发送给所有大结果集节点；

大结果集节点，用于将本节点的结果集与所有小结果集节点发来的结果集进行哈希连接得到结果记录；

其中，所述配置文件中携带了数据中心的元数据节点的IP地址；所述协调节点为接收到数据联接操作请求的节点；所述被请求节点为接收到协调节点发来的被请求的数据的信息的节点；所述小结果集节点为结果集小的表对应的节点；所述大结果集节点为结果集大的表对应的节点；所述被请求表为数据连接操作请求所请求的表；所述被请求元数据节点为包含所述被请求表的元数据节点。

进一步地，所述数据联接操作请求通过SQL语句实现。

进一步地，所述协调节点，还用于在所述协调节点逐个与配置文件中的元数据节点建立连接之后，调用元数据节点上的查询进程来查询当前元数据节点中有被请求表。

进一步地，所述被请求节点，用于通过本节点上的查询进程来查询本节点被请求的数据。

进一步地，所述大结果集节点还用于，在所述协调节点汇聚所有大结果集节点的结果记录之前，将本节点的结果记录发送给协调节点。

本发明提供了一种跨HDFS的数据中心的数据联接方法及系统，协调节点通过获取配置文件中的元数据节点的IP地址来与非本数据中心的元数据节点连接，能够实现跨HDFS的数据中心的数据联接。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种跨HDFS的数据中心的数据联接方法流程图；

图2是本发明实施例提供的一种跨HDFS的数据中心的数据联接系统结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种跨HDFS的数据中心的数据联接方法，参见图1，所述方法包括：

步骤101：协调节点接收到数据联接操作请求后，从配置文件中获取元数据节点的IP地址；

步骤102：协调节点逐个与配置文件中的元数据节点建立连接，当查询到当前元数据节点中有被请求表时，获取该被请求元数据节点的元数据信息；

步骤103：协调节点根据数据联接操作请求中的筛选条件对所述被请求表进行数据过滤；

步骤104：协调节点根据过滤后的被请求表对应的数据所在的节点的IP信息与该IP信息对应的节点建立连接；

步骤105：协调节点向建立连接的节点发送该节点中被请求的数据的信息；

步骤106：被请求节点根据被请求的数据的信息来对本节点的数据进行过滤，筛选出本节点被请求的数据；

步骤107：各个被请求节点向协调节点发送本节点所保存的结果集的大小；

步骤108：协调节点比较任意待联接的两个表对应的结果集的大小，通知所有小结果集节点将本节点保存的结果集发送给所有大结果集节点；

步骤109：所有大结果集节点将本节点的结果集与所有小结果集节点发来的结果集进行哈希连接得到结果记录；

步骤110：协调节点汇聚所有大结果集节点的结果记录；

其中，所述配置文件中携带了数据中心的元数据节点的IP地址；所述协调节点为接收到数据联接操作请求的节点；所述被请求节点为接收到协调节点发来的被请求的数据的信息的节点；所述小结果集节点为结果集小的表对应的节点；所述大结果集节点为结果集大的表对应的节点；所述被请求表为数据连接操作请求所请求的表；所述被请求元数据节点为包含所述被请求表的元数据节点。

本发明实施例提供了一种跨HDFS的数据中心的数据联接方法，协调节点通过获取配置文件中的元数据节点的IP地址来与非本数据中心的元数据节点连接，能够实现跨HDFS的数据中心的数据联接。

在本发明实施例中，外部为协调节点提供了一个配置文件，在配置文件中记录了所有数据中心的元数据节点的IP地址，使协调节点可以通过该IP地址与非本数据中心的元数据节点进行连接。

协调节点通过逐个查询配置文件中的元数据节点来确定数据联接操作请求中要进行联接的表存在于哪个元数据节点中。在元数据节点中存有本数据中心的所有节点的IP信息和所有节点所存储的数据的信息，通过元数据节点能够获得被请求的数据所存储的节点。

由于数据联接操作请求中只是请求一个表中的部分数据，所在步骤103中，根据筛选条件对被请求表进行数据过滤，保留被请求表中要请求的数据的信息。

在步骤106中，被请求节点筛选出本节点被请求的数据后，暂时不进行汇聚操作，而是将被请求的数据存储在本节点中。

由于在数据联接时，需要每两个表进行联接，这两个被请求表中，比较这两个被请求表对应的结果集的大小，而被请求表对应的结果集为本表对应的所有被请求节点的结果集之和。在将这两个表联接后形成一个新表，再将这个新表与其他表按照相同的上述步骤进行联接。

在步骤109中，每一个大结果集节点会收到所有小结果集节点发来的本节点上的结果集，进而每一个大结果集上都会有结果集小的表的结果集。

其中，所述数据联接操作请求通过SQL语句实现。

在所述协调节点逐个与配置文件中的元数据节点建立连接之后，还包括协调节点调用元数据节点上的查询进程来查询当前元数据节点中有被请求表。

所述被请求节点根据被请求的数据的信息来对本节点的数据进行过滤，筛选出本节点被请求的数据，包括：被请求节点通过本节点上的查询进程来查询本节点被请求的数据。

在所述协调节点汇聚所有大结果集节点的结果记录之前，还包括：所有大结果集节点将本节点的结果记录发送给协调节点。

本发明实施例提供了一种跨HDFS的数据中心的数据联接系统，参见图2，该系统包括：

协调节点201，用于接收到数据联接操作请求后，从配置文件中获取元数据节点的IP地址，逐个与配置文件中的元数据节点建立连接，当查询到当前元数据节点中有被请求表时，获取该被请求元数据节点的元数据信息，根据数据联接操作请求中的筛选条件对所述被请求表进行数据过滤，根据过滤后的被请求表对应的数据所在的节点的IP信息与该IP信息对应的节点建立连接，向建立连接的节点发送该节点中被请求的数据的信息，在接收到被请求节点发来的结果集后，比较任意待联接的两个表对应的结果集的大小，通知所有小结果集节点将本节点保存的结果集发送给所有大结果集节点，汇聚所有大结果集节点的结果记录；

被请求节点202，用于根据被请求的数据的信息来对本节点的数据进行过滤，筛选出本节点被请求的数据，向协调节点发送本节点所保存的结果集的大小；

所述被请求节点202还包括大结果集节点、小结果集节点；

所述小结果集节点2021，用于将本节点保存的结果集发送给所有大结果集节点；

大结果集节点2022，用于将本节点的结果集与所有小结果集节点发来的结果集进行哈希连接得到结果记录；

其中，所述配置文件中携带了数据中心的元数据节点的IP地址；所述协调节点为接收到数据联接操作请求的节点；所述被请求节点202为接收到协调节点201发来的被请求的数据的信息的节点；所述小结果集节点2021为结果集小的表对应的节点；所述大结果集节点2022为结果集大的表对应的节点；所述被请求表为数据连接操作请求所请求的表；所述被请求元数据节点为包含所述被请求表的元数据节点。

所述数据联接操作请求通过SQL语句实现。

所述协调节点201，还用于在所述协调节点逐个与配置文件中的元数据节点建立连接之后，调用元数据节点上的查询进程来查询当前元数据节点中有被请求表。

所述被请求节点202，用于通过本节点上的查询进程来查询本节点被请求的数据。

所述大结果集节点2022还用于，在所述协调节点201汇聚所有大结果集节点2022的结果记录之前，将本节点的结果记录发送给协调节点201。

上述系统内的各单元、子单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

通过上述描述可见，本发明实施例具有如下有益效果：

本发明实施例提供了一种跨HDFS的数据中心的数据联接方法及系统，协调节点通过获取配置文件中的元数据节点的IP地址来与非本数据中心的元数据节点连接，能够实现跨HDFS的数据中心的数据联接。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种跨Hadoop分布式文件系统HDFS的数据中心的数据联接方法，其特征在于，所述方法包括：

协调节点接收到数据联接操作请求后，从配置文件中获取元数据节点的IP地址；

协调节点逐个与配置文件中的元数据节点建立连接，当查询到当前元数据节点中有被请求表时，获取该被请求元数据节点的元数据信息；

协调节点根据数据联接操作请求中的筛选条件对所述被请求表进行数据过滤；

协调节点根据过滤后的被请求表对应的数据所在的节点的IP信息与该IP信息对应的节点建立连接；

协调节点向建立连接的节点发送该节点中被请求的数据的信息；

被请求节点根据被请求的数据的信息来对本节点的数据进行过滤，筛选出本节点被请求的数据；

各个被请求节点向协调节点发送本节点所保存的结果集的大小；

协调节点比较任意待联接的两个表对应的结果集的大小，通知所有小结果集节点将本节点保存的结果集发送给所有大结果集节点，所述任意待联接的两个表为任意两个被请求节点对应的被请求表；

所有大结果集节点将本节点的结果集与所有小结果集节点发来的结果集进行哈希连接得到结果记录；

协调节点汇聚所有大结果集节点的结果记录；

其中，所述配置文件中携带了数据中心的元数据节点的IP地址；所述协调节点为接收到数据联接操作请求的节点；所述被请求节点为接收到协调节点发来的被请求的数据的信息的节点；所述小结果集节点为结果集小的表对应的节点；所述大结果集节点为结果集大的表对应的节点；所述被请求表为数据连接操作请求所请求的表；所述被请求元数据节点为包含所述被请求表的元数据节点。

2.根据权利要求1所述的方法，其特征在于，所述数据联接操作请求通过SQL语句实现。

3.根据权利要求1所述的方法，其特征在于，在所述协调节点逐个与配置文件中的元数据节点建立连接之后，还包括协调节点调用元数据节点上的查询进程来查询当前元数据节点中有无被请求表。

4.根据权利要求1所述的方法，其特征在于，所述被请求节点根据被请求的数据的信息来对本节点的数据进行过滤，筛选出本节点被请求的数据，包括：被请求节点通过本节点上的查询进程来查询本节点被请求的数据。

5.根据权利要求1所述的方法，其特征在于，在所述协调节点汇聚所有大结果集节点的结果记录之前，还包括：所有大结果集节点将本节点的结果记录发送给协调节点。

6.一种跨Hadoop分布式文件系统HDFS的数据中心的数据联接系统，其特征在于，所述系统包括：

协调节点，用于接收到数据联接操作请求后，从配置文件中获取元数据节点的IP地址，逐个与配置文件中的元数据节点建立连接，当查询到当前元数据节点中有被请求表时，获取该被请求元数据节点的元数据信息，根据数据联接操作请求中的筛选条件对所述被请求表进行数据过滤，根据过滤后的被请求表对应的数据所在的节点的IP信息与该IP信息对应的节点建立连接，向建立连接的节点发送该节点中被请求的数据的信息，在接收到被请求节点发来的结果集后，比较任意待联接的两个表对应的结果集的大小，通知所有小结果集节点将本节点保存的结果集发送给所有大结果集节点，汇聚所有大结果集节点的结果记录；

被请求节点，用于根据被请求的数据的信息来对本节点的数据进行过滤，筛选出本节点被请求的数据，向协调节点发送本节点所保存的结果集的大小；

所述被请求节点还包括大结果集节点、小结果集节点；

所述小结果集节点，用于将本节点保存的结果集发送给所有大结果集节点；

大结果集节点，用于将本节点的结果集与所有小结果集节点发来的结果集进行哈希连接得到结果记录；

其中，所述配置文件中携带了数据中心的元数据节点的IP地址；所述协调节点为接收到数据联接操作请求的节点；所述被请求节点为接收到协调节点发来的被请求的数据的信息的节点；所述小结果集节点为结果集小的表对应的节点；所述大结果集节点为结果集大的表对应的节点；所述被请求表为数据连接操作请求所请求的表；所述被请求元数据节点为包含所述被请求表的元数据节点。

7.根据权利要求6所述的方法，其特征在于，所述数据联接操作请求通过SQL语句实现。

8.根据权利要求6所述的方法，其特征在于，所述协调节点，还用于在所述协调节点逐个与配置文件中的元数据节点建立连接之后，调用元数据节点上的查询进程来查询当前元数据节点中有无被请求表。

9.根据权利要求6所述的方法，其特征在于，所述被请求节点，用于通过本节点上的查询进程来查询本节点被请求的数据。

10.根据权利要求6所述的方法，其特征在于，所述大结果集节点还用于，在所述协调节点汇聚所有大结果集节点的结果记录之前，将本节点的结果记录发送给协调节点。