CN105138685A - 一种面向HBase的性能测试系统 - Google Patents

Abstract

本发明提供一种面向HBase的性能测试系统，其包括任务解析器、任务组织器、任务线程池、任务线程、HBase适配模块以及日志与测试报告生成器；由用户编写测试任务通过方案组件解析器解析测试方案，进而交给任务组织器创建测试作业任务线程池与测试作业任务线程展开测试工作，任务线程池监控任务线程的完成情况，测试作业线程通过HBase适配模块与HBase数据库交互实现扫描作业。由任务组织器监控任务线程池待所有测试作业线程完成后通过日志与测试报告生成器生成测试报告并输出。

Description

一种面向HBase的性能测试系统

技术领域

本发明涉及分布式数据库的测试领域，尤其涉及一种面向HBase的性能测试系统。

背景技术

随着信息技术的飞速发展，信息时代产生的数据日益在膨胀，Hadoop作为解决大数据领域的重要技术手段，目前被广泛应用着。而HBase作为Hadoop技术栈中的分布式数据库，负责大数据解决方案中的海量结构化数据存储服务这一重要职责。在实际的生产运行过程中，时常伴随着突发故障定位、持续性能优化等工作，这些工作需要借助性能测试工具得以开展。市面上已有针对于nosql数据库的通用性能测试工具，如雅虎ycsb、英特尔bigdatabenchmark，这些测试工具依托HBase的公开api，模拟HBase客户端或应用的行为，根据测试者的需求，来完成简单通用的并发读写性能测试，并生成测试报告。

但是现有的性能测试方案存在诸多的不足：

1、上述市面上已存在的nosql数据库通用测试工具，仅提供了基本、常见、通用的测试方式。用于测试HBase时，只能通过其发掘常见问题，无法针对HBase的产品特性，提供基于其特性的定制测试，难以支持数据库产品的新特性应用与调优工作。

2、上述测试工具在测试方案和测试数据制作的定制能力较为薄弱，无法一次执行多个测试案例，或对查询、写入动作进行细节定制。

3、上述测试工具均由国外企业开发，使用文档与资料匮乏，难以完全掌握其使用方法和技巧，测试结果的正确性存在隐患。

针对目前市场上采用的测试工具的诸多不足，因此需要提出一套新的测试方案。

发明内容

本发明要解决的技术问题，在于提供一种针对HBase的可配置测试系统，提供了与HBase自身特性相关联的测试方案，促进HBase在生产运维阶段的性能调整优化工作，相较于其他性能测试工具，更易于使用，便于扩展。

本发明是这样实现的：一种面向HBase的性能测试系统，包括：

任务解析器，导入测试任务并解析，并将解析好的测试任务传递给任务组织器，所述测试任务包括性能测试任务及并发测试任务；

任务组织器，通过获取测试任务创建任务线程池以及至少一个任务线程，所述任务组织器执行完一个测试任务自动执行下一个测试任务，直至所有测试任务执行完毕；

任务线程池，所述任务线程池管理任务线程，负责启动、监控所有任务线程；

任务线程，在性能测试工作中任务线程根据性能测试任务中配置的线程数，由任务组织器创建对应数量的任务线程，交由任务线程池管理，每个任务线程依次执行读取、扫描测试任务；在并发测试工作中由任务组织器创建对应的请求到任务线程中，并发执行并发请求测试任务；每个任务线程通过HBase适配模块与HBase数据库交互；

HBase适配模块，与HBase数据库进行交互；

日志与测试报告生成器，获得每个测试任务的执行结果，将测试报告写入日志中。

所述任务解析器包括：

配置文件解析器，导入已配置好的性能测试任务并解析，并将其传递给任务组织器；方案组件解析器，导入已配置好的并发测试任务并解析，并将其传递给任务组织器。

所述性能测试任务、并发测试任务的配置步骤包括：

分析HBase集群剩余容量与测试所需的数据量确定数据规模及测试需求；

根据测试目的以及HBase集群的承载能力，确定写入操作的分布情况以及HFile的数量，制定每批次导入的kv数以及是否立即持久化为HFile；

建立BloomFilter策略，确定建表方式的配置；

根据kerberos的开启情况，配置安全校验参数；

生成配置文件并导入所述配置文件解析器、方案组件解析器。

其中，如导入单位时间负载大于HBase集群的承载能力则终止导入，降低批次导入的kv数并重新执行导入工作；若导入异常终止则生成进度点，依据进度点实现断点续传。

其中，所述的导入包括按行导入或按列导入。

其中，所述数据规模包括：rowkey长度、value长度、kv总数。

其中，所述任务线程顺序、同时或乱序启动任务线程。

本发明的优点在于：

其一、本发明提供了更为贴近HBase自身特性的测试数据导入方案及测试方案，得以支持现阶段HBase的一些主要特性；针对HFile数量控制需求，市面上已有的测试工具几乎无法在测试数据导入阶段加以控制，本发明通过定制导入批次数据的数据量、持久化时机的能力，实现了较为精确的HFile总量控制，与HFile数量有关的特性测试将变得更加方便；本发明支持对HBase的方向扫描测试、BloomFilter策略性能测试、单位时间压力流量测试、请求响应顺序测试，这些功能是目前市面上已有的测试工具所不具备的。

其二、本发明采用配置好的测试任务，实现了测试数据结构的定制、总体数据规模较为精确的控制；本发明可一次执行多个测试任务，降低了测试过程对测试员的依赖。

其三、具备详实的使用文档与资料，以具备更多的特性测试功能，操作简易。

附图说明

图1为本发明的面向HBase的性能测试系统的结构框图。

标号说明：

配置文件解析器-001方案组件解析器-002任务组织器-003

任务线程池-004HBase适配模块-005HBase数据库-006

日志与测试报告生成器-007

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

HBase是一个分布式、面向列的开源数据库，它不同于一般的关系型数据库，它是一个适合于结构化/非结构化数据存储的数据库，基于列而非基于行，适宜处理海量数据，大批量操作响应速度很快。

HFile是HBase中的KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile做了轻量级包装，即StoreFile底层就是HFile。HFile文件是不定长的，长度固定的只有其中的两块。HFile里面的每个KeyValue对就是简单的byte数组，但是这个byte数组里面包含了很多项，并且有固定的结构，其结构具体如下：开始是两个固定长度的数值，分别表示key的长度和Value的长度，紧接着是Key，开始是固定长度的数值，表示RowKey的长度，紧接着是RowKey，然后是固定长度的数值，表示Family的长度，然后是Family，接着是Qualifier，然后是两个固定长度的数值，表示TimeStamp和KeyType。Value部分没有这么复杂的结构，就是纯粹的二进制数据。

以下结合附图1说明本发明提供一种面向HBase的性能测试系统，包括：

任务解析器，导入已配置的测试任务并解析，并将解析好的测试任务传递给任务组织器003，所述测试任务包括性能测试任务及并发测试任务；所述测试任务依据测试需求由人工进行编制，并将其导入所述的任务解析器进行测试任务的解析，所述解析的目的是将人工编制的测试作业配置文件如XML文件交由配置文件解析器001来读取，获取测试工作所需的配置参数，将此参数交给任务组织器003，由任务组织器003依据此参数配置来组织测试作业。所述的导入可采用常规的有线或者无线方式实现数据的传输，如可采用远程或者近程导入，导入可采用按行导入的方式或者按列导入的方式。在所述测试任务进行导入的过程中，若导入单位时间负载大于HBase集群的承载能力则终止导入，降低批次导入的KV数并重新执行导入工作；若导入异常终止则生成进度点，依据进度点实现断点续传。所述异常终止的情况包括集群网络故障、硬件故障、人为关闭Hdfs或人为关闭HBase服务等情况。

任务组织器003，通过获取测试任务创建任务线程池004以及至少一个任务线程，所述任务组织器003执行完一个测试任务自动执行下一个测试任务，直至所有测试任务执行完毕；在性能测试任务中，任务组织器003依据所配置的测试任务，制定读取/扫描测试操作的目标表、ColumnFamily、Column，确认读取/扫描的次数、起止rowkey、或起始rowkey与扫描行数，制定测试的线程数。在并发测试任务中，根据测试任务所定制的需求，确定各类请求的种类，如：读取、扫描、写入或批量写入，确定请求细节、请求顺序、执行顺序，所述的执行顺序可以为顺序执行、同时执行、乱序执行任务线程。

任务线程池004，所述任务线程池004管理任务线程，负责启动、监控所有任务线程；

任务线程，在性能测试工作中任务线程根据性能测试任务中配置的线程数，由任务组织器003创建对应数量的任务线程，交由任务线程池004管理，每个任务线程依据测试任务依次执行读取、扫描测试任务；在并发测试工作中由任务组织器003创建对应的请求到任务线程中，并发执行并发请求测试任务；每个任务线程通过HBase适配模块005与HBase数据库006交互；所述任务线程执行任务时各个任务线程可乱序、顺序或者同时执行任务。在性能测试任务中，如若用户需要测试BloomFilter的三个策略各自的性能，那么性能测试作业配置将呈现出依次执行的三次扫描测试作业的配置方法；而当用户需要收集单位时间内N个任务线程同时发起扫描时的HBase承载能力、数据吞吐量、每秒处理的操作数，那么测试作业配置将采用并发执行测试任务的方式，呈现出同一时间多个任务线程同时执行扫描作业的配置方法。

待所有任务线程完成任务，则将所有子任务执行结果提交给测试报告生成器。如图所示，所述任务线程控制着任务线程1、任务线程2、任务线程3、任务线程4、任务线程5。

HBase适配模块005，与HBase数据库006进行交互；所述HBase适配模块005使用HBaseJavaAPI与HBase数据库006进行交互，对任务线程提供查询、扫描、写入、建表、持久化等服务，依据任务线程的请求执行工作。

日志与测试报告生成器007，获得每个测试任务的执行结果，将测试报告写入日志中。

在一实施方式中，所述的任务解析器包括：

配置文件解析器001，解析已配置好的性能测试任务，并将其传递给任务组织器003；所述的配置文件解析器001为xml配置文件解析组件，用以解析测试员编辑的测试数据生成方案以及性能测试方案，并将配置信息包装传递给任务组织器003，将配置信息包装从而能够隔离不同作业间的配置信息。所述配置文件解析器001从外部导入测试数据生成方案以及性能测试任务。

方案组件解析器002，解析已配置好的并发测试任务，并将其传递给任务组织器003。所述的并发测试任务由测试人员开发重新打包导入所述的方案组件解析器002中。所述方案组件解析器002从外部导入并发测试方案任务。

所述性能测试任务、并发测试任务的配置步骤包括：

分析HBase集群剩余容量与测试所需的数据量确定数据规模及表名、ColumnFamily名；所述的数据规模包括rowkey长度、value长度、kv总数。

根据测试目的以及HBase集群的承载能力，确定写入操作的分布情况以及HFile的数量，制定每批次导入的kv数以及是否立即持久化为HFile；

建立BloomFilter策略，确定建表方式的配置；在用户创建BloomFilter测试任务的过程中，依据所创建的BloomFilter策略，在xml配置文件中的“bloom”标签内选择填入ROWCOL、ROW、NONE三个值中的一个，BloomFilter在HBase中主要用于记录数据索引，并在查询中进行分析，减少不必要的数据文件加载操作，是一种以空间换效率，并带有一定误判率的方法。不同BloomFilter策略针对不同的查询需求，他们之间的效率与空间占用各有差异。设定为NONE：关闭BloomFilter策略，HBase在记录数据时不建立BloomFilter索引，在查询时大面积加载数据文件进行HBase自带索引分析，空间占用最小，查询性能没有任何优化。设定为ROW：HBase在记录数据时基于行记录BloomFilter索引，在基于行查询时，将首先分析BloomFilter索引，剔除部分无需加载的数据文件，加快查询性能，空间占用增加3％。设定为ROWCOL：HBase在记录数据时基于列记录BloomFilter索引，在指定列查询时，将首先分析BloomFilter索引，剔除部分无需加载的数据文件，加快查询性能，空间占用增加6％，

根据kerberos的开启情况，配置安全校验参数；本发明可以通过设置参数使得kerberos校验过程能够自动开启进行校验的过程，具体的其设置的方式可为在xml配置文件中的“principal”标签内填入principal名，在keytab标签内填入keytab文件路径。

生成配置文件并导入所述配置文件解析器001、方案组件解析器002。在执行导入工作的过程中，导入顺序支持按行导入与按列导入，导入进度可通过所述的日子与测试报告生成器内进行查看。

采用上述实施方式所述的面向HBase的性能测试系统更为贴近HBase自身特性的测试数据导入方案及测试方案，得以支持现阶段HBase的一些主要特性；针对HFile数量控制需求，市面上已有的测试工具几乎无法在测试数据导入阶段加以控制，本发明通过定制导入批次数据的数据量、持久化时机的能力，实现了较为精确的HFile总量控制，与HFile数量有关的特性测试将变得更加方便；本发明采用配置好的测试任务，实现了测试数据结构的定制、总体数据规模较为精确的控制；本发明可一次执行多个测试任务，降低了测试过程对测试员的依赖；备详实的使用文档与资料，以具备更多的特性测试功能，操作简易。本发明支持对HBase的方向扫描测试、BLoomFilter策略性能测试、单位时间压力流量测试、请求响应顺序测试，这些功能是目前市面上已有的测试工具所不具备的。

所述HBase的方向扫描测试具体过程包括如下步骤：由用户编写测试作业配置文件，在性能测试方案配置中指定扫描方向，通过使用所述的配置文件解析器001进行作业配置解析获取测试任务参数，进而交给任务组织器003创建测试作业任务线程池004与测试作业任务线程，展开测试工作。任务线程池004监控任务线程的完成情况，测试作业线程通过HBase适配模块005与HBase交互实现方向扫描作业。由于任务组织器003监控任务线程池004，待所有测试作业线程完成后通过日志与测试报告生成器007生成测试报告并输出。

所述的BLoomFilter策略性能测试具体包括如下步骤：由用户编写测试作业配置文件包括测试数据生成方案配置、性能测试方案配置，将所述的测试作业配置文件传递给配置文件解析器001进行作业配置解析，进而交给任务组织器003创建测试作业任务线程池004与测试作业任务线程，展开测试工作。任务线程池004监控任务线程的完成情况，测试作业线程通过HBase适配模块005与HBase数据库006交互，进行测试表创建、BloomFilter策略设置、测试数据导入并刷新、多项扫描作业。由任务组织器003监控任务线程池004，待所有测试作业线程完成后，通过日志与测试报告生成器007生成测试报告并输出。不同的BloomFilter策略可通过配置多个测试表、多份测试数据、与此对应的多个扫描测试作业来实现性能差异分析。

所述的单位时间压力流量测试具体包括如下步骤：由用户编写测试作业配置文件包括性能测试方案配置，指定多个测试作业，通过所述的配置文件解析器001进行作业配置解析，进而交给任务组织器003创建测试作业任务线程池004与测试作业任务线程，展开测试工作。任务线程池004监控任务线程的完成情况，测试作业线程通过HBase适配模块005与HBase数据库006交互，实现方向扫描作业。由任务组织器003监控任务线程池004，待所有测试作业线程完成后，通过日志与测试报告生成器007生成测试报告并输出。

所述请求响应顺序测试包括如下步骤：由用户编写并发测试方案组件，由方案组件解析器002解析并发测试方案，进行测试方案解析，进而交给任务组织器003创建测试作业任务线程池004与测试作业任务线程，展开测试工作。“任务线程池004”监控任务线程的完成情况，测试作业线程通过HBase适配模块005与HBase数据库006交互，实现方向扫描作业。由任务组织器003监控任务线程池004，待所有测试作业线程完成后，通过日志与测试报告生成器007生成测试报告并输出。

上所述仅为本发明面向HBase的性能测试系统的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种面向HBase的性能测试系统，其特征在于包括：

任务解析器，导入测试任务并解析，并将解析好的测试任务传递给任务组织器，所述测试任务包括性能测试任务及并发测试任务；

任务组织器，通过获取测试任务创建任务线程池以及至少一个任务线程，所述任务组织器执行完一个测试任务自动执行下一个测试任务，直至所有测试任务执行完毕；

任务线程池，所述任务线程池管理任务线程，负责启动、监控所有任务线程；

任务线程，在性能测试工作中任务线程根据性能测试任务中配置的线程数，由任务组织器创建对应数量的任务线程，交由任务线程池管理，每个任务线程依次执行读取、扫描测试任务；在并发测试工作中由任务组织器创建对应的请求到任务线程中，并发执行并发请求测试任务；每个任务线程通过HBase适配模块与HBase数据库交互；

HBase适配模块，与HBase数据库进行交互，依据任务线程的请求执行工作；

日志与测试报告生成器，获得每个测试任务的执行结果，将测试报告写入日志中。

2.根据权利要求1所述的面向HBase的性能测试系统，其特征在于：

所述任务解析器包括：

配置文件解析器，导入配置好的性能测试任务并解析，将其传递给任务组织器；

方案组件解析器，导入配置好的并发测试任务并解析，将其传递给任务组织器。

3.根据权利要求2所述的面向HBase的性能测试系统，其特征在于：

所述性能测试任务、并发测试任务的配置步骤包括：

分析HBase集群剩余容量与测试所需的数据量确定数据规模、表名及ColumnFamily名；

根据测试目的以及HBase集群的承载能力，确定写入操作的分布情况以及HFile的数量，制定每批次导入的kv数以及是否立即持久化为HFile；

建立BloomFilter策略，确定建表方式的配置；

根据kerberos的开启情况，配置安全校验参数；

生成配置文件并导入所述配置文件解析器、方案组件解析器。

4.根据权利要求3所述的面向HBase的性能测试系统，其特征在于：

如导入单位时间负载大于HBase集群的承载能力则终止导入，降低批次导入的kv数并重新执行导入工作；

若导入异常终止则生成进度点，依据进度点实现断点续传。

5.根据权利要求4所述的面向HBase的性能测试系统，其特征在于：所述的导入包括按行导入或按列导入。

6.根据权利要求3所述的面向HBase的性能测试系统，其特征在于：所述数据规模包括：rowkey长度、value长度、kv总数。

7.根据权利要求1所述的面向HBase的性能测试系统，其特征在于：

所述任务线程顺序、同时或乱序启动执行工作。

8.根据权利要求7所述的面向HBase的性能测试系统，其特征在于：所述任务线程的请求包括查询、扫描、写入、建表以及持久化。