CN111131361A - 集群查询系统中连接节点的处理方法及装置 - Google Patents

Abstract

本发明公开了一种集群查询系统中连接节点的处理方法及装置。其中，该方法包括：获取集群查询系统中主节点与查询客户端之间连接的连接状态；其中，在创建所述连接时，配置所述主节点的IP地址以及与所述主节点对应的备用节点的IP地址；根据所述连接状态确定是否选择备用节点的IP地址进行连接。本发明解决了相关技术中Impala/Hive的集群查询系统的连接处理方式维护成本高或维护过程繁琐的技术问题。

Description

集群查询系统中连接节点的处理方法及装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种集群查询系统中连接节点的处理方法及装置。

背景技术

在相关技术中对于Impala/Hive的连接的处理方式有两种。第一种：使用线程池去做处理，在线程池中维护多个Impala/Hive的连接，并手动控制，当某个连接失效时，切换到另一个连接。第二种：手动更改连接的Impala/Hive的连接节点。对于上述两种方式，采用线程池进行维护增加了维护成本，而采用手动更改的方式使得维护过程繁琐和不便。

针对相关技术中的上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种集群查询系统中连接节点的处理方法及装置，以至少解决相关技术中Impala/Hive的集群查询系统的连接处理方式维护成本高或维护过程繁琐的技术问题。

根据本发明实施例的一个方面，提供了一种集群查询系统中连接节点的处理方法，包括：获取集群查询系统中主节点与查询客户端之间连接的连接状态；其中，在创建所述连接时，配置所述主节点的IP地址以及与所述主节点对应的备用节点的IP地址；根据所述连接状态确定是否选择备用节点的IP地址进行连接。

可选地，获取所述主节点的连接状态，包括：获取所述主节点的IP地址，并判断所述主节点的IP地址是否可用；在所述主节点的IP地址可用的情况下，确定所述主节点为可连接状态；在所述主节点的IP地址不可用的情况下，确定所述主节点为不可连接状态。

可选地，根据所述连接状态确定是否选择备用节点的IP地址进行连接，包括：在所述主节点为可连接状态的情况下，继续使用与所述主节点的IP地址的对应的服务器进行连接；在所述主节点为不可连接状态的情况下，将连接切换到与所述备用节点的IP地址对应的服务器上。

可选地，所述方法还包括：在将连接切换到与所述备用节点的IP地址对应的服务器上后，如果所述主节点的IP地址恢复为可用IP地址，则将连接切回到与所述主节点的IP地址对应的服务器上。

可选地，判断所述主节点的IP地址是否可用，包括：每隔预定时间获取所述主节点的IP地址是否可用。

可选地，所述集群查询系统为Impala系统或Hive系统。

根据本发明的另一个方面，提供了一种Impala/Hive连接节点的处理装置，包括：获取模块，用于获取集群查询系统中主节点与查询客户端之间连接的连接状态；其中，在创建所述连接时，配置所述主节点的IP地址以及与所述主节点对应的备用节点的IP地址；处理模块，用于根据所述连接状态确定是否选择备用节点的IP地址进行连接。

可选地，所述获取模块包括：获取单元，用于获取所述主节点的IP地址，并判断所述主节点的IP地址是否可用；第一确定单元，用于在所述主节点的IP地址可用的情况下，确定所述主节点为可连接状态；第二确定单元，用于在所述主节点的IP地址不可用的情况下，确定所述主节点为不可连接状态。

根据本发明的再一个方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述集群查询系统中连接节点的处理方法。

根据本发明的又一个方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述集群查询系统中连接节点的处理方法。

通过本申请，在集群查询系统中主节点与查询客户端之间连接的过程中，配置主节点的IP地址以及与主节点对应的备用节点的IP地址，进而获取连接节点的连接状态确定是否选择备用节点的IP地址进行连接，也就是说，在本实施例中可以通过设置备用节点的IP地址，进而根据连接状态进行IP地址的选择，从而解决了相关技术中诸如Impala/Hive的集群查询系统的连接处理方式维护成本高或维护过程繁琐的技术问题，节约了成本同时也简化了操作。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的集群查询系统中连接节点的处理方法流程图；

图2是根据本发明实施例的集群查询系统中连接节点的处理装置的结构框图；

图3是根据本发明实施例的集群查询系统中连接节点的处理装置的可选结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

Impala是新型查询系统，它提供结构化查询语言(Structured Query Language，简称为SQL)语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。

实施例1

本实施例提供了一种集群查询系统中连接节点的处理方法，图1是根据本发明实施例的集群查询系统中连接节点的处理方法流程图，如图1所示，该方法的步骤包括：

步骤S102，获取集群查询系统中主节点与查询客户端之间连接的连接状态；其中，在创建连接时，配置主节点的IP地址以及与主节点对应的备用节点的IP地址；

步骤S104，根据连接状态确定是否选择备用节点的IP地址进行连接。

通过上述步骤S102至步骤S104，在集群查询系统中主节点与查询客户端之间连接的过程中，配置主节点的IP地址以及与主节点对应的备用节点的IP地址，进而获取连接节点的连接状态确定是否选择备用节点的IP地址进行连接，也就是说，在本实施例中可以通过设置备用节点的IP地址，进而根据连接状态进行IP地址的选择，从而解决了相关技术中的Impala/Hive的集群查询系统的连接处理方式维护成本高或维护过程繁琐的技术问题，节约了成本同时也简化了操作。

在本实施例的可选实施方式，对于本实施例步骤S102中涉及到的获取集群查询系统中主节点与查询客户端之间连接的连接状态的方式可以是：

步骤S102-1，获取主节点的IP地址，并判断主节点的IP地址是否可用；

步骤S102-2，在主节点的IP地址可用的情况下，确定主节点为可连接状态；

步骤S102-3，在主节点的IP地址不可用的情况下，确定主节点为不可连接状态。

由上述步骤可知，连接状态是由主节点的IP地址是否可用来决定的，也就是说，根据主节点的IP地址是否可用来确定连接状态。

需要说明的是，在本实施例的可选实施方式中对于上述步骤S102-1，进一步可以是：每隔预定时间获取主节点的IP地址是否可用。也就是说，周期性检测该主节点的IP地址是否可用，该预定时间可以根据实际情况进行相应的设置，在本申请并不限定其具体的时间。

基于上述步骤S102，对于本实施例中涉及到的步骤S104中根据连接状态确定是否选择备用节点的IP地址进行连接的方式，可以是：

步骤S104-1，在主节点为可连接状态的情况下，继续使用与主节点的IP地址的对应的服务器进行连接；

步骤S104-2，在主节点为不可连接状态的情况下，将连接切换到与备节点的IP地址对应的服务器上。

在本实施例的另一个可选实施方式中，本实施例的方法还可以包括：

步骤S106，在将连接切换到与备用节点的IP地址对应的服务器上后，如果主节点的IP地址恢复为可用IP地址，则将连接切回到与主节点的IP地址对应的服务器上。

也就是说，在主节点的IP地址不可用，且连接切换到与备用节点的IP地址对应的服务器上后，如果主节点的IP地址恢复为可用IP地址，则将连接切回到与主节点的IP地址对应的服务器上。即在主节点的IP地址可用的情况下，优先选用主节点的IP地址。

需要说明的是，本实施例中涉及到的集群查询系统优选为Impala系统或Hive系统。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种集群查询系统中连接节点的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图2是根据本发明实施例的集群查询系统中连接节点的处理装置的结构框图，如图2所示，该装置包括：获取模块22，用于获取集群查询系统中主节点与查询客户端之间连接的连接状态；其中，在创建连接时，配置主节点的IP地址以及与主节点对应的备用节点的IP地址；第一处理模块24，与获取模块22耦合连接，用于根据连接状态确定是否选择备用节点的IP地址进行连接。

可选地，本实施例中的获取模块24包括：获取单元，用于获取主节点的IP地址，并判断主节点的IP地址是否可用；第一确定单元，用于在主节点的IP地址可用的情况下，确定主节点为可连接状态；第二确定单元，用于在主节点的IP地址不可用的情况下，确定主节点为不可连接状态。

其中，该获取单元，还用于每隔预定时间获取主Impala/主Hive连接节点的IP地址是否可用。

可选地，本实施例的第一处理模块24包括：第一连接单元，用于在主节点为可连接状态的情况下，继续使用与主节点的IP地址的对应的服务器进行连接；第二连接单元，用于在主节点为不可连接状态的情况下，将连接切换到与备用节点的IP地址对应的服务器上。

图3是根据本发明实施例的Impala/Hive连接节点的处理装置的可选结构框图，如图3所示，该装置包括：第二处理模块32，与第一处理模块24耦合连接，用于在将连接切换到与备用节点的IP地址对应的服务器上后，如果主节点的IP地址恢复为可用IP地址，则将连接切回到与主节点的IP地址对应的服务器上。

需要说明的是，本实施例中涉及到的集群查询系统为Impala系统或Hive系统。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取集群查询系统中主节点与查询客户端之间连接的连接状态；其中，在创建连接时，配置主节点的IP地址以及与主节点对应的备用节点的IP地址；

S2，根据连接状态确定是否选择备用节点的IP地址进行连接。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种处理器，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取集群查询系统中主节点与查询客户端之间连接的连接状态；其中，在创建连接时，配置主节点的IP地址以及与主节点对应的备用节点的IP地址；

S2，根据连接状态确定是否选择备用节点的IP地址进行连接。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种集群查询系统中连接节点的处理方法，其特征在于，包括：

获取集群查询系统中主节点与查询客户端之间连接的连接状态；其中，在创建所述连接时，配置所述主节点的IP地址以及与所述主节点对应的备用节点的IP地址；

根据所述连接状态确定是否选择备用节点的IP地址进行连接。

2.根据权利要求1所述的方法，其特征在于，获取集群查询系统中主节点与查询客户端之间连接的连接状态，包括：

获取所述主节点的IP地址，并判断所述主节点的IP地址是否可用；

在所述主节点的IP地址可用的情况下，确定所述主节点为可连接状态；

在所述主节点的IP地址不可用的情况下，确定所述主节点为不可连接状态。

3.根据权利要求2所述的方法，其特征在于，根据所述连接状态确定是否选择备用节点的IP地址进行连接，包括：

在所述主节点为可连接状态的情况下，继续使用与所述主节点的IP地址的对应的服务器进行连接；

在所述主节点为不可连接状态的情况下，将连接切换到与所述备用节点的IP地址对应的服务器上。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在将连接切换到与所述备用节点的IP地址对应的服务器上后，如果所述主节点的IP地址恢复为可用IP地址，则将连接切回到与所述主节点的IP地址对应的服务器上。

5.根据权利要求2所述的方法，其特征在于，判断所述主节点的IP地址是否可用，包括：

每隔预定时间获取所述主节点的IP地址是否可用。

6.根据权利要求1所述的方法，其特征在于，所述集群查询系统为Impala系统或Hive系统。

7.一种集群查询系统中连接节点的处理装置，其特征在于，包括：

获取模块，用于获取集群查询系统中主节点与查询客户端之间连接的连接状态；其中，在创建所述连接时，配置所述主节点的IP地址以及与所述主节点对应的备用节点的IP地址；

处理模块，用于根据所述连接状态确定是否选择备用节点的IP地址进行连接。

8.根据权利要求7所述的装置，其特征在于，所述获取模块包括：

获取单元，用于获取所述主节点的IP地址，并判断所述主节点的IP地址是否可用；

第一确定单元，用于在所述主节点的IP地址可用的情况下，确定所述主节点为可连接状态；

第二确定单元，用于在所述主节点的IP地址不可用的情况下，确定所述主节点为不可连接状态。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至6中任意一项所述的集群查询系统中连接节点的处理方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的集群查询系统中连接节点的处理方法。

Images