CN108897748A - 一种HBase系统监控方法及HBase系统 - Google Patents

Abstract

本申请公开了一种HBase系统监控方法及HBase系统，涉及数据库领域，通过数据存储块服务器在服务层进行域的读写请求统计，在通过数据源端对域的读写请求统计进行数据采集，以及数据汇集端对数据源端采集的数据进行汇总获得表级监控数据并公布，实现对HBase系统的表级监控，进而及时定位到业务系统问题。

Description

一种HBase系统监控方法及HBase系统

技术领域

本公开一般涉及数据库领域，具体涉及分布式数据库，尤其涉及一种HBase系统监控方法及HBase系统。

背景技术

随着公司业务规模不断扩大，对数据存储要求也越来越大，大量业务场景开始考虑数据存储的水平扩展，使得存储服务可以快速执行客户端发来的请求，而目前的关系型数据库更专注一台机器。海量数据量存储成为提升应用性能的瓶颈，单台机器无法负载海量的数据处理，随之而来的出现了很多的分布式存储解决方案，HBase就是其中之一。

HBase是一个开源的非关系型分布式数据库(NoSQL)，它参考了Google的BigTable建模，基于LSM存储引擎，运行于HDFS文件系统之上，因而对大量数据写入，海量数据存储带有天然的优势，同时，HBase采用Java语言开发。它是Apache软件基金会顶级项目之一，作为Hadoop生态圈组成里重要的的一部分，提供PB规模数量级的实时存储、查询等服务。

在顺丰科技，线上HBase集群机器已经达到上百台，在HBase现有的官方监控指标中，通过监控、预警很难做到对问题的精准分析和定位。因而，往往出现问题都很难定位到是哪个业务系统出现问题，往往在沟通上就耗费很大的成本，还可能由于沟通的信息不对称或则时间延误导致更严重的连锁问题。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种HBase系统监控方法及HBase系统，以实现及时定位到业务系统问题。

第一方面，本发明实施例提供一种HBase系统监控方法，包括：

数据存储块服务器在服务层进行域的读写请求统计；

数据源端对所述域的读写请求统计进行数据采集；

数据汇集端对所述数据源端采集的数据进行汇总获得表级监控数据并公布。

进一步，所述数据汇集端对所述数据源端采集的数据进行汇总获得表级监控数据并公布，具体包括：

数据汇集端对所述数据源端采集的数据进行汇总获得表级监控数据；

数据汇集端通过接口公布所述表级监控数据。

更进一步，所述数据汇集端通过接口公布所述表级监控数据，具体包括：

数据汇集端通过Java管理扩展接口公布所述表级监控数据。

更进一步，所述数据汇集端对所述数据源端采集的数据进行汇总获得表级监控数据，具体包括：

数据汇集端定时获取数据源端采集的数据；

数据汇集端对获取的域的读写请求统计数据汇总为表级监控数据。

更进一步，所述数据源端采集的数据，具体为：

Metrics度量数据块。

第二方面，本发明实施例提供一种HBase系统，包括：

数据存储块服务器，用于在服务层进行域的读写请求统计；

数据源端，用于对所述域的读写请求统计进行数据采集；

数据汇集端，用于对所述数据源端采集的数据进行汇总获得表级监控数据并公布。

进一步，所述数据汇集端具体用于：

对所述数据源端采集的数据进行汇总获得表级监控数据；

通过接口公布所述表级监控数据。

更进一步，所述数据汇集端通过接口公布所述表级监控数据，具体包括：

数据汇集端通过Java管理扩展接口公布所述表级监控数据。

更进一步，所述数据汇集端对所述数据源端采集的数据进行汇总获得表级监控数据，具体包括：

数据汇集端定时获取数据源端采集的数据；

数据汇集端对获取的域的读写请求统计数据汇总为表级监控数据。

更进一步，所述数据源端采集的数据，具体为：

Metrics度量数据块。

本发明实施例提供一种HBase系统监控方法及HBase系统，通过数据存储块服务器在服务层进行域的读写请求统计，在通过数据源端对域的读写请求统计进行数据采集，以及数据汇集端对数据源端采集的数据进行汇总获得表级监控数据并公布，实现对HBase系统的表级监控，进而及时定位到业务系统问题。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的HBase系统监控方法流程图；

图2为本发明实施例提供的HBase系统结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，本发明实施例提供的HBase系统监控方法，包括：

步骤S101、数据存储块服务器在服务层进行域的读写请求统计；

步骤S102、数据源端对域的读写请求统计进行数据采集；

步骤S103、数据汇集端对数据源端采集的数据进行汇总获得表级监控数据并公布。

在HBase系统中进行Table(表)的TPS(Transactions Per Second，每秒传输的事物处理个数)监控之后，可以定制化的对各个业务做实时监控。例如，可以通过表的TPS请求量来对各个业务做实事监控，在业务问题还没有暴露或大规模发生问题之前给用户提前预警，在其萌芽状态就已经将其解决。

同时，可以通过对表的请求大小综合生产环境的压测基准数据对业务做出更加科学有效的资源评估、成本核算模型，使得资源得以更加合理有效的利用。例如，可以综合HBase压测基准数据和环境因素规定每台regionserver(数据存储块服务器)最大TPS，在计算regionserver机器数量，进行成本核算。

本发明实施例中，直接修改数据源端和数据汇集端的功能来实现表级监控，不影响系统进行修改变更和扩展。

用户在Hbase系统申请创建表资源后，会使用该系统存储大量的表(例如业务数据表)，每个表可以分割成多个域(region)，不同域分布在HBase系统的不同regionserver上，每个regionserver中保存一个或多个region，每个regionserver维护自身保存的region。

本发明实施例中，regionserver进行数据采集后，分别由source(数据源)端和sink(数据汇集)端进行采集和汇总输出，实现对HBase系统的表级监控。

进一步，步骤S103中，数据汇集端对数据源端采集的数据进行汇总获得表级监控数据并公布，具体包括：

数据汇集端对数据源端采集的数据进行汇总获得表级监控数据；

数据汇集端通过接口公布表级监控数据。

通常，HBase系统的对外接口为JMX(Java Management Extensions，Java管理扩展)接口，所以，更进一步的，数据汇集端通过接口公布表级监控数据，具体包括：

数据汇集端通过Java管理扩展接口公布表级监控数据。

进一步，数据汇集端对数据源端采集的数据进行汇总获得表级监控数据，具体包括：

数据汇集端定时获取数据源端采集的数据；

数据汇集端对获取的域的读写请求统计数据汇总为表级监控数据。

其中，数据源端采集的数据，通常是Metrics(指标)数据块的形式。

实际应用中，在HBase RegionServer RPC服务层注入读写RPC请求计数器，在Metrics的source端注册rpc读写请求计数器，最后在sink端定时去拉取source端Table的请求数据，但是由于HBase采用lsm-tree架构，其分布式存储最小粒度为region，在regionserver rpc服务层仅支持提供region数据服务，因此在sink端将所有region请求指标数据映射table的哈希表再做汇总计算，再通过jmx接口向外公布监控数据。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本发明实施例还提供一种HBase系统，如图2所示，该系统包括：

数据存储块服务器201，用于在服务层进行域的读写请求统计；

数据源端202，用于对域的读写请求统计进行数据采集；

数据汇集端203，用于对数据源端采集的数据进行汇总获得表级监控数据并公布。

进一步，数据汇集端203具体用于：

对数据源端采集的数据进行汇总获得表级监控数据；

通过接口公布表级监控数据。

更进一步，数据汇集端通过接口公布表级监控数据，具体包括：

数据汇集端通过Java管理扩展接口公布表级监控数据。

更进一步，数据汇集端对数据源端采集的数据进行汇总获得表级监控数据，具体包括：

数据汇集端定时获取数据源端采集的数据；

数据汇集端对获取的域的读写请求统计数据汇总为表级监控数据。

更进一步，数据源端采集的数据，具体为：

Metrics数据块。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种HBase系统监控方法，其特征在于，包括：

数据存储块服务器在服务层进行域的读写请求统计；

数据源端对所述域的读写请求统计进行数据采集；

数据汇集端对所述数据源端采集的数据进行汇总获得表级监控数据并公布。

2.如权利要求1所述的方法，其特征在于，所述数据汇集端对所述数据源端采集的数据进行汇总获得表级监控数据并公布，具体包括：

数据汇集端对所述数据源端采集的数据进行汇总获得表级监控数据；

数据汇集端通过接口公布所述表级监控数据。

3.如权利要求2所述的方法，其特征在于，所述数据汇集端通过接口公布所述表级监控数据，具体包括：

数据汇集端通过Java管理扩展接口公布所述表级监控数据。

4.如权利要求2所述的方法，其特征在于，所述数据汇集端对所述数据源端采集的数据进行汇总获得表级监控数据，具体包括：

数据汇集端定时获取数据源端采集的数据；

数据汇集端对获取的域的读写请求统计数据汇总为表级监控数据。

5.如权利要求4所述的方法，其特征在于，所述数据源端采集的数据，具体为：

Metrics度量数据块。

6.一种HBase系统，其特征在于，包括：

数据存储块服务器，用于在服务层进行域的读写请求统计；

数据源端，用于对所述域的读写请求统计进行数据采集；

数据汇集端，用于对所述数据源端采集的数据进行汇总获得表级监控数据并公布。

7.如权利要求6所述的系统，其特征在于，所述数据汇集端具体用于：

对所述数据源端采集的数据进行汇总获得表级监控数据；

通过接口公布所述表级监控数据。

8.如权利要求7所述的系统，其特征在于，所述数据汇集端通过接口公布所述表级监控数据，具体包括：

数据汇集端通过Java管理扩展接口公布所述表级监控数据。

9.如权利要求7所述的系统，其特征在于，所述数据汇集端对所述数据源端采集的数据进行汇总获得表级监控数据，具体包括：

数据汇集端定时获取数据源端采集的数据；

数据汇集端对获取的域的读写请求统计数据汇总为表级监控数据。

10.如权利要求9所述的系统，其特征在于，所述数据源端采集的数据，具体为：

Metrics度量数据块。