CN112148745B - 一种多HBase集群访问方法、装置及存储介质 - Google Patents

Abstract

本公开提供了一种多HBase集群访问方法、装置及存储介质，用于实现对多个HBase集群的动态访问。本公开将HBase集群作为数据源进行注册，并在注册成功时自动触发HBase集群配置文件的采集和存储。在一个组件或装置需要对多个HBase集群进行访问时，通过所采集的HBase集群配置文件构造多个HBase客户端对象，并在内存中缓存HBase客户端对象，通过HBase客户端对象进行HBase集群的访问和操作。本公开能够实现对多个HBase集群配置文件的自动采集和维护以及多个HBase集群的客户端对象的动态构造，从而实现对多个HBase集群的便捷、高效的访问和操作，提高了访问处理效率。

Description

一种多HBase集群访问方法、装置及存储介质

技术领域

本公开涉及技术领域，尤其涉及一种多HBase集群访问方法、装置及存储介质。

背景技术

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，可以在极短的时间内存储、搜索和分析海量的数据，因此它在数据存储检索方面发挥着越来越重要的地位。在HBase体系架构中，HMaster是HBase集群中的主服务器，负责监控集群中的所有HRegionServer，并且是所有元数据更改的接口。HRegionServer负责维护HMaster分配的Region，处理对这些Region的IO请求。

HBase客户端Client是整个HBase集群的访问入口，使用HBase远程过程调用RPC机制与HMaster和HRegionServer进行通信，与HMaster通信进行管理类操作，与HRegionServer进行数据读写类操作，具有访问HBase的API接口，因此通过HBase Client就可以实现对HBase的访问和操作能力。

目前大部分HBase集群访问组件或装置，例如数据管理平台使用的数据查询中间件等，只支持对HBase单集群数据库的访问，为了实现对多HBase集群的访问，通常的做法是将多份HBase单集群数据库的配置文件直接放到程序运行本地，在程序需要访问HBase集群数据库时直接加载对应的本地配置文件的方式构造HBase Client客户端对象，但该方式无法做到动态添加和删除HBase集群，无法实现对配置文件动态的修改，需要手动干预，并需要中断服务，降低了业务的可用性，切换效率低下。

发明内容

有鉴于此，本公开提供一种多HBase集群访问方法、装置及存储介质，用于实现对多个HBase集群的动态访问。

基于本公开实施例，本公开提供了一种多HBase集群访问方法，该方法包括：

接收数据源注册请求，根据数据源注册请求中携带的HBase集群注册信息执行数据源的注册；

在数据源注册成功后，基于HBase集群的注册信息，自动采集HBase集群的配置文件；

使用采集的各HBase集群的配置文件构造HBase客户端对象并缓存在内存中，通过各HBase客户端对象实现对各HBase集群的访问。

基于本公开实施例，本公开还提供了一种多HBase集群访问装置，该装置包括：

数据源注册模块，用于接收数据源注册请求，根据数据源注册请求中携带的HBase集群注册信息执行数据源的注册；

配置文件采集模块，用于在数据源注册成功后，基于HBase集群的注册信息，自动采集HBase集群的配置文件；

客户端对象模块，用于使用采集的各HBase集群的配置文件构造HBase客户端对象并缓存在内存中，通过各HBase客户端对象实现对各HBase集群的访问。

本公开将HBase集群作为数据源进行注册，并在注册成功时自动触发HBase集群配置文件的采集和存储。在一个组件或装置需要对多个HBase集群进行访问时，通过所采集的HBase集群配置文件构造多个HBase客户端对象，并在内存中缓存HBase客户端对象，通过HBase客户端对象进行HBase集群的访问和操作。本公开能够实现对多个HBase集群配置文件的自动采集和维护以及多个HBase集群的客户端对象的动态构造，从而实现对多个HBase集群的便捷、高效的访问和操作，提高了访问处理效率。

附图说明

为了更加清楚地说明本公开实施例或者现有技术中的技术方案，下面将对本公开实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本公开实施例的这些附图获得其他的附图。

图1为本公开一实施例提供的一种多HBase集群访问方法的流程图；

图2为本公开一实施例中实现多HBase集群访问的信息交互示意图；

图3为本公开一实施例提供的一种多HBase访问装置结构示意图；

图4为本公开一实施例提供的一种多HBase访问设备结构示意图。

具体实施方式

在本公开实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本公开实施例。本公开实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。本公开中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开的目的是提供一种能够高效实现不同HBase集群访问的方法，该方法的基本思路是：将HBase集群作为数据源进行注册，根据数据源注册信息对HBase集群的客户端配置文件进行采集和管理，在需要对多个HBase集群进行访问时，通过预加载多个HBase集群的配置文件，在内存中构造和缓存HBase客户端对象，从而更快的支持对多个HBase集群的访问和切换。

图1为本公开一实施例提供的一种多HBase集群访问方法的流程图，该方法应用多HBase集群访问装置(也可以是多HBase集群访问组件、设备)，该方法包括；

步骤101.接收数据源注册请求，根据数据源注册请求中携带的HBase集群注册信息执行数据源的注册。

该步骤主要目的是根据数据源注册请求将HBase集群注册为一个数据源，数据源注册请求中至少包括数据源名称及HBase集群主节点IP地址，如果需要进行认证，则数据源注册请求中还可以包括HBase集群主节点的登录用户名、用户密码等信息。

HBase集群的数据源注册的主要操作是在配置数据库中记录HBase集群的注册信息，也可通过本地配置文件来存储注册信息。为了保证正确性，数据源注册步骤中还可以加入必要的验证步骤，例如验证HBase集群主节点IP地址是否有效，登录用户名和密码是否正确等。

步骤102.在数据源注册成功后，基于HBase集群的注册信息，自动采集HBase集群的配置文件；

该步骤中，当数据源注册成功后，自动从各HBase集群获取HBase集群的配置文件，在获得HBase集群配置文件后可以将配置文件存储在本地，同时将配置文件存储到配置数据库中，存储在本地可减少到配置数据库中读取的交互时间，从而提高通过HBase集群配置文件构造HBase客户端对象的效率。

在本公开一实施例中，HBase集群配置文件的采集方式采用脚本方式，基本步骤为：根据HBase集群注册信息，例如主节点IP、用户名和密码等，连接到HBase集群主节点后，将配置文件采集脚本传送到HBase集群主节点上并远程执行该配置文件采集脚本。配置文件采集脚本执行后，首先获取HMaster进程的主目录，从主目录下查找需要的配置文件，然后将配置文件回传给多HBase集群访问组件或装置。

在本公开另一实施中，也可以采用在HBase集群主节点上布置代理模块的方式来采集各HBase集群的配置文件，例如在需要采集时，首先建立与代理模块的连接，然后通过消息指令代理模块读取HBase集群的配置文件，代理模块读取配置文件后，通过消息或文件传输协议FTP等方式将配置文件回传给采集节点。

步骤103.使用采集的各HBase集群的配置文件构造HBase客户端对象并缓存在内存中，通过各HBase客户端对象实现对各HBase集群的访问。

在本公开一实施例中，在系统重启后，会根据HBase集群注册信息自动检查本地是否存在对应的HBase集群的配置文件，如果不存在，则会自动从配置数据库中读取配置文件并加载到本地，如果存在，则直接使用本地存储的HBase集群的配置文件构造对应的HBase客户端对象。可能在某些情况下，并不是所有HBase客户端对象都会被使用到，但预先构造各HBase客户端对象并缓存到内存中，可加快HBase集群的访问速度。

在本公开另一实施例中，当需要注册新的HBase集群数据源时，用户可通过管理终端在线发起新的HBase集群的数据源注册请求，当多HBase集群访问装置接收到数据源注册请求后，执行HBase集群的注册。同样地，当需要删除已有的HBase集群数据源时，用户也可通过管理终端在线发起删除已有的HBase数据源的删除请求。为了实现HBase集群数据源的动态增减，多HBase集群访问装置可轮询HBase集群的数据源列表，当发现有新的HBase数据源注册成功后，可自动触发相应的HBase集群配置文件的采集过程和构造HBase客户端对象的步骤。当发现有HBase数据源被删除后，可自动触发相应的删除本地HBase集群配置文件、删除HBase客户端对象的步骤。

图2为本公开一实施例中实现多HBase集群访问的信息交互示意图，该示意图中包括了数据源注册、配置文件采集和写入、配置生成、HBase客户端对象缓存以及配置文件热更新的处理步骤，以下对各步骤进行详细描述。

步骤1.接收数据源注册请求，根据数据源注册请求中携带的HBase集群注册信息执行数据源的注册。

本公开通过将HBase集群注册为数据源的方式对多个HBase集群进行管理，数据源注册请求可以是由HBase集群发起也可以由管理员通过管理终端发起。

HBase集群的数据源注册请求中携带HBase集群注册信息，注册信息包括但不限于数据源名称、HBase集群主节点IP地址、HBase集群主节点登录用户名和用户密码等，多HBase集群访问装置得到HBase集群注册信息后，可将注册信息写入关系型数据库的数据源信息表中，然后开始进行配置文件的采集和写入。数据源信息表用于存储HBase集群的注册信息，数据源表可包括数据源标识、数据源名称、HBase集群主节点IP地址、HBase集群主节点登录用户名和用户密码、注册时间等。其中，数据源名称应当唯一，通过数据源名称可区分不同的HBase集群，方便管理。

步骤2.根据HBase集群注册信息确定需要采集的HBase集群配置文件。

在完成HBase集群注册信息入库后，开始进行HBase集群配置文件的采集。HBase集群配置文件都有哪些，可通过本地配置文件或数据库进行配置和获取，例如默认HBase集群需要采集的配置文件包括hbase-site.xml、core-site.xml、hdfs-site.xml文件等，其中hbase-site.xml为HBase的客户端配置文件，可以用来构造hbase客户端对象。core-site.xml和hdfs-site.xml为HBase对应的存储数据的hdfs组件的客户端配置文件。

本公开一实施例中，HBase集群配置文件的采集使用脚本的方式获取，具体过程如下：

步骤S21.根据HBase集群注册信息中的HBase集群主节点IP地址、登录用户名、用户密码生成相应的HBase集群的配置文件采集脚本。该步骤可使用采集脚本模板来生成每个HBase集群对应的配置文件采集脚本。

步骤S22.将配置文件采集脚本上传到对应的HBase集群主节点上，并进行远程调度执行该配置文件采集脚本。

步骤S23.配置文件采集脚本获取HMaster进程的主目录，然后在主目录下读取HBase集群配置文件。

步骤S24.配置文件采集脚本将获取到的HBase集群配置文件回传给多HBase集群访问装置。

配置文件采集脚本在HBase集群中节点上可执行“source/etc/profile”命令，获取HBase主目录的环境变量如${HBASE_HOME}，如果存在该环境变量，则在该主目录下搜索需要的HBase集群配置文件，如果该环境变量不存在，可使用ps命令获取HMaster进程号，根据“pwdx进程号”命令可以获取进程的工作目录，在获取到HMaster进程的主目录后在该工作目录下查找需要的HBase集群配置文件。

步骤3.对HBase集群配置文件进行解析得到配置项，将配置项关联数据源后写入配置文件表。

该实施例中，在多HBase集群访问装置接收到HBase集群配置文件后，会对HBase集群配置文件进行解析和入库处理。首先遍历采集到的HBase集群配置文件，根据HBase集群配置文件的文件名及后缀，针对不同的文件类型，使用不同的文件解析工具进行文件的解析，最终将HBase集群配置文件解析为<key,value>对集合，key为配置项名称，value为配置项对应的值，然后将解析的配置项的内容以及对应数据源标识写入关系型数据库中的配置文件表中，配置文件表中可包括：数据源标识、配置文件名称、配置项名称、配置项值、配置时间等。

当需要新增一个HBase集群时，可重复执行步骤1～步骤3，在数据源表中新增HBase集群注册信息，在配置文件表中新增HBase集群配置文件相关的配置项。

步骤4.多HBase集群访问装置从配置文件表中读取HBase集群的配置项，在本地生成HBase集群的配置文件。

在新增数据源或者系统重启后，需调用接口加载HBase集群配置文件，从而构造HBase客户端对象，并将HBase客户端对象缓存在本地，方便后期调用。

该实施例中，在构造HBase客户端对象之前，多HBase集群访问装置读取数据库中配置文件表中HBase集群的配置项，获取对应HBase集群的所有配置项，然后根据文件名称和类型还原出原始的配置文件，然后基于配置文件构造HBase客户端对象。

在另一实施例中，多HBase集群访问装置也可先检测本地是否存在全部HBase集群的配置文件，如果缺少，则读取数据库中配置文件表中HBase集群的配置项，获取对应HBase集群的所有配置项，然后根据文件名称和类型还原出原始的配置文件，并存放在本地，例如在本地的存放路径为“$INSTALL_HOME/conf/hbase/数据源名称/”，通过数据源名称进行不同HBase集群配置文件的区分，然后再根据配置文件构造HBase客户端对象。

在另一实施例中，多HBase集群访问装置也可直接将采集的配置文件存储在以数据源名称命名的本地子目录中，在需要构造HBase客户端对象时，直接根据数据源名称在对应的本地子目录中读取。

在本地存储HBase集群配置文件目的是提高构造HBase客户端对象的速度，构造HBase客户端对象所使用的配置文件从本地直接加载，可以减少后期和数据库的交互次数，从而提高效率。该步骤可以是一个可选步骤，如果不太关注HBase客户端对象的构造效率，也可每次都从数据库中读取配置项，在内存中生成配置文件，然后再进行HBase客户端对象的构造。

步骤5.遍历数据源名称，加载数据源的HBase集群配置文件，构造HBase客户端对象。

该步骤中，多HBase集群访问装置在构造HBase客户端对象之前，先遍历数据源表，根据数据源名称检查本地目录中是否存在该数据源的HBase集群配置文件，如果存在则直接加载，如果不存在则调用接口在本地生成相应的配置文件并存放在本地规范化的路径下，然后再开始构造HBase客户端对象。

多HBase集群访问装置根据HBase集群配置文件构造HBase客户端对象时，将构造的HBase客户端对象放入键值对数据结构中(例如MAP集合中)，其中key为数据源名称，value为客户端对象。

步骤6～步骤8.当某个数据源对应的HBase集群配置文件有更新时，通过接口更新该数据源对应的配置项，并更新该数据源本地的HBase集群配置文件，然后再根据更新的HBase集群配置文件重新构造对应的HBase客户端对象并替换掉原有的HBase客户端对象。

针对HBase配置文件需要修改的场景，本公开实施例提供有修改接口，允许管理员进行动态的修改，能够实现在不重启服务的情况下，完成配置文件的更新和生效。

当某个数据源对应的HBase集群配置文件有更新时，通过与管理平台或管理终端之间接口，对指定的数据源下的配置文件进行修改，更新过程首先会更新配置数据库中该数据源的配置项(也可直接将配置文件存储在配置数据库中)，然后更新本地存储的该数据源对应的HBase配置文件。然后，从内存中HBase客户端对象集合中根据数据源名称删除该数据源对应的原有的客户端对象，然后重新读取该数据源的配置文件后构造出新的HBase客户端对象以替换之前的内存中缓存的HBase客户端对象。

如果数据源被删除，则需要清空该数据源对应的数据库信息，从数据源表中中删除该数据源信息、从配置项表中删除该数据源的所有配置项、删除本地缓存的该数据源的HBase集群配置文件以及删除内存中对应的HBase客户端对象。

图3为本公开一实施例提供的一种多HBase访问装置结构示意图，该装置300中的各功能模块可以采用软件模块形式实现，也可以采用硬件单元方式实现。该装置的各模块的功能与本公开实施提供的多HBase访问方法中的各步骤具有对应关系。该装置300中的各模块可以在一个硬件设备上执行，也可以由不同的硬件设备分别实施本公开提供的方法中的一个或多个步骤的功能。该装置300包括：数据源注册模块310、配置文件采集模块320、客户端对象模块330。

数据源注册模块310，用于接收数据源注册请求，根据数据源注册请求中携带的HBase集群注册信息执行数据源的注册。

配置文件采集模块320，用于在数据源注册成功后，基于HBase集群的注册信息，自动采集HBase集群的配置文件。

客户端对象模块330，用于使用采集的各HBase集群的配置文件构造HBase客户端对象并缓存在内存中，通过各HBase客户端对象实现对各HBase集群的访问。

本公开一实施例中，配置文件采集模块320在采集到HBase集群的配置文件后，将配置文件存储在本地，同时将配置文件存储到配置数据库中。客户端对象模块330在构造HBase客户端对象之前，首先从本地读取所述配置文件，如果本地不存在，则再从配置数据库中读取并加载到本地。

本公开一实施例中，配置文件采集模块320根据HBase集群注册信息，连接到HBase集群主节点后，将配置文件采集脚本传送到HBase集群主节点上并远程执行该配置文件采集脚本；配置文件采集脚本执行后，从HMaster进程的主目录下获取HBase集群的配置文件，并将配置文件回传给所述配置文件采集模块320。

本公开一实施例中，配置文件采集模块320根据HBase集群注册信息，连接HBase集群主节点上的代理模块，通过消息指令代理模块读取HBase集群的配置文件，由所述代理模块将配置文件回传给所述配置文件采集模块320。

图4为本公开一实施例提供的一种多HBase集群访问设备结构示意图，该设备400包括：诸如中央处理单元(CPU)的处理器410、内部总线420、网络接口440以及计算机可读存储介质430。其中，处理器410与计算机可读存储介质430可以通过内部总线420相互通信。计算机可读存储介质430内可存储本公开提供的用于实施多HBase集群访问方法的计算机程序，当计算机程序被处理器410执行时即可实现本公开提供的方法的各步骤功能。

以上所述仅为本公开的实施例而已，并不用于限制本公开。对于本领域技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种多HBase集群访问方法，其特征在于，所述方法包括：

接收数据源注册请求，根据数据源注册请求中携带的HBase集群注册信息执行数据源的注册；

在数据源注册成功后，基于HBase集群的注册信息，自动采集HBase集群的配置文件；

使用采集的各HBase集群的配置文件构造HBase客户端对象并缓存在内存中，通过各HBase客户端对象实现对各HBase集群的访问。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在采集到HBase集群的配置文件后，将配置文件存储在本地，同时将配置文件存储到配置数据库中；

在构造HBase客户端对象之前，首先从本地读取所述配置文件，如果本地不存在，则再从配置数据库中读取并加载到本地。

3.根据权利要求1所述的方法，其特征在于，所述自动采集HBase集群的配置文件的方法为：

根据HBase集群注册信息，连接到HBase集群主节点后，将配置文件采集脚本传送到HBase集群主节点上并远程执行该配置文件采集脚本；

配置文件采集脚本执行后，从HMaster进程的主目录下获取HBase集群的配置文件，并将配置文件回传。

4.根据权利要求1所述的方法，其特征在于，所述自动采集HBase集群的配置文件的方法为：

根据HBase集群注册信息，连接HBase集群主节点上的代理模块，通过消息指令代理模块读取HBase集群的配置文件，由所述代理模块将配置文件回传。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当某个数据源对应的HBase集群的配置文件有更新时，通过管理端之间的接口实现本地存储的HBase集群的配置文件及配置数据库中配置文件的更新，并根据更新的HBase集群的配置文件重新构造对应的HBase客户端对象并替换原有的HBase客户端对象。

6.一种多HBase集群访问装置，其特征在于，该装置包括：

数据源注册模块，用于接收数据源注册请求，根据数据源注册请求中携带的HBase集群注册信息执行数据源的注册；

配置文件采集模块，用于在数据源注册成功后，基于HBase集群的注册信息，自动采集HBase集群的配置文件；

客户端对象模块，用于使用采集的各HBase集群的配置文件构造HBase客户端对象并缓存在内存中，通过各HBase客户端对象实现对各HBase集群的访问。

7.根据权利要求6所述的装置，其特征在于，

配置文件采集模块在采集到HBase集群的配置文件后，将配置文件存储在本地，同时将配置文件存储到配置数据库中；

客户端对象模块在构造HBase客户端对象之前，首先从本地读取所述配置文件，如果本地不存在，则再从配置数据库中读取并加载到本地。

8.根据权利要求6所述的装置，其特征在于，

所述配置文件采集模块根据HBase集群注册信息，连接到HBase集群主节点后，将配置文件采集脚本传送到HBase集群主节点上并远程执行该配置文件采集脚本；配置文件采集脚本执行后，从HMaster进程的主目录下获取HBase集群的配置文件，并将配置文件回传给所述配置文件采集模块。

9.根据权利要求6所述的装置，其特征在于，

所述配置文件采集模块根据HBase集群注册信息，连接HBase集群主节点上的代理模块，通过消息指令代理模块读取HBase集群的配置文件，由所述代理模块将配置文件回传给所述配置文件采集模块。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序当被处理器执行时实现如权利要求1至5中任一项的方法步骤功能。

Images