CN108984353A - 基于Vdbench构造热点数据测试数据分层的方法 - Google Patents

Abstract

本发明实施例公开了基于Vdbench构造热点数据测试数据分层的方法，包括创建存储池，并在所述存储池中创建不同性能的RAID；在所述存储池中创建LUN，并将该LUN映射到主机；获取不同性能磁盘的存储容量并记录；根据热点数据占比构建Vdbench配置文件，并对LUN下发带热点的业务；经过第一设定时间后，查验热点数据分层情况。本发明通过Vdbench测试工具构造配置文件，实现热点数据的构造，极大的简化了测试步骤，缩短了构造热点数据的时间，同时对数据分层功能进行有效准确的测试，使数据分层的测试简便化，且测试过程中无需人为参与，节省时间和人力成本。

Description

基于Vdbench构造热点数据测试数据分层的方法

技术领域

本发明涉及计算机存储技术领域,具体地说是基于Vdbench构造热点数据测试数据分层的方法。

背景技术

随着IT(Information Technology,信息科技和产业)行业的高速发展，信息化、大数据及云计算的发展对存储系统的规模及性能的要求也越来越高，数据分层技术被广泛应用于应对存储规模不断扩大的情况下，查询信息响应时长随之增加的问题中。

在存储系统中，将常用性热点数据迁移到性能更高的磁盘中，将不常用的数据迁移到性能相对较低的磁盘中，以此来实现整个存储系统的性能最大化，此功能即为数据分层。

为测试数据分层功能，测试人员需要在包含有不同性能磁盘的系统中构造大量数据，再对这些数据进行IO(Input/Output，输入/输出)操作，常规操作构造热点数据需要先在映射到主机端的卷中手动创建大量基础数据，再通过手动对这些基础数据中的部分数据进行大量重复性操作来完成热点数据的构造。

现有测试方法会耗费大量时间、人力成本。

发明内容

本发明实施例中提供了基于Vdbench构造热点数据测试数据分层的方法，以解决现有技术中测试需耗费大量时间和人力成本的问题。

为了解决上述技术问题，本发明实施例公开了如下技术方案：

本发明提供了基于Vdbench构造热点数据测试数据分层的方法，包括以下步骤：

创建存储池，并在所述存储池中创建不同性能的RAID(Redundant Arrays ofIndependent Disks，磁盘阵列)；

在所述存储池中创建LUN(Logical Unit Number，逻辑单元号)，并将该LUN映射到主机；

获取不同性能磁盘的存储容量并记录；

根据热点数据占比构建Vdbench配置文件，并对LUN下发带热点的业务；

经过第一设定时间后，查验热点数据分层情况。

进一步地，所述方法还包括：

经过第二设定时间后，查验热点数据的分层情况。

进一步地，所述不同性能的RAID通过不同的磁盘创建，具体为：

利用SSD(Solid State Drives，固态硬盘，简称固盘)磁盘创建RAID10；利用SAS(Serial Attached SCSI，串行连接SCSI；其中SCSI(Small Computer System Interface)是小型计算机系统接口)磁盘创建RAID5。

进一步地，所述配置文件内包括对测试磁盘、测试策略和运行方式的定义。

进一步地，对测试磁盘的定义包括定义测试磁盘的设备号、测试磁盘的容量和测试进程。

进一步地，对测试策略的定义包括测试磁盘、测试数据在整个测试磁盘内的位置和数据量、测试数据块的大小、读写比例、IO操作在数据层的占比以及IO读写方式的占比。

进一步地，对运行方式的定义包括运行最大IO性能、测试时间和测试结果刷新频率。

进一步地，所述不同性能磁盘的存储容量包括高性能数据层总容量、高性能数据层空余容量、低性能数据层总容量和低性能数据层空余容量。

进一步地，通过不同性能磁盘存储容量的变化查验热点数据分层情况，具体为：

低性能数据层的空余容量增加，高性能数据层的空余容量减少，则热点数据实现分层。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

1、通过Vdbench测试工具构造配置文件，实现热点数据的构造，极大的简化了测试步骤，缩短了构造热点数据的时间，同时对数据分层功能进行有效准确的测试，使数据分层的测试简便化，且测试过程中无需人为参与，节省时间和人力成本。

2、测试时间设置两个，包括第一设定时间和第二设定时间，在两个时间点后分别查验数据分层情况，考虑带宽等因素对数据分层速率的影响，确保测试结果的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所述方法实施例1的流程示意图；

图2是本发明所述方法实施例2的流程示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

实施例1

如图1所示，基于Vdbench构造热点数据测试数据分层的方法，包括以下步骤：

S1,创建存储池，并在存储池中创建不同性能的RAID：

存储池的创建通过mkmdiskgrp实现，如mkmdiskgrp–name TierPool，即创建名称为TierPool的存储池。

不同性能RAID的创建在TierPool存储池中，通过使用不同性能的磁盘实现，如使用高性能磁盘创建RAID10，通过低性能的磁盘创建RAID5，高性能磁盘选用SSD，低性能磁盘选用SAS。形成高性能数据层SSD层，低性能数据层SAS层。例如：

mkarray–level raid10–drive 1 2 3 4

mkarray–level raid5–drive 5 6 7

其中1，2，3，4为SSD盘id(identification，身份标识)，5，6，7为SAS盘id。

S2，在存储池中创建LUN，并将该LUN映射到主机：

在TierPool存储池中创建一个LUN，设置基础数据容量，将该LUN命名为TierLUN，可调用mkvidskhostmap–host A vdisk_name，将LUN映射到主机A。

S3,获取不同性能磁盘的存储容量并记录：

不同性能磁盘的存储容量包括高性能数据层总容量、高性能数据层空余容量、低性能数据层总容量和低性能数据层空余容量。

测试开始前获取到SSD层总容量为744.00GB，SSD层空余容量为737.00GB；SAS层总容量为3.23TB，SAS层空域容量为2.23TB，即SAS层中有1T数据容量已使用，1T即为基础数据。

S4,根据热点数据占比构建Vdbench配置文件，并对LUN下发带热点的业务：

根据热点数据占比构建Vdbench配置文件，例如将业务热点数据构建为1000GB中有40％的热点数据，即在1000GB中有大约400GB的数据进行读写。对配置文件的构建包括对测试磁盘、测试策略和运行方式的定义

对测试磁盘的定义可通过sd＝sd1,lun＝/dev/dm-3,size＝1000GB,openflags＝o_direct,threads＝64实现，其中sd为存储描述，定义测试磁盘。lun为定义测试磁盘设备号为为/dev/dm-3，size为定义测试磁盘容量为1000GB，opgen_flags＝o_direct为定义遍历整个磁盘，threads＝64为定义并行测试进程为64进程。

对测试策略的定义可通过wd＝wd1,sd＝sd1,rang＝(0,40),xfersize＝8k,rdpct＝80,skew＝90,seekpct＝10；wd＝wd2,sd＝sd1,rang＝(40,100),xersize＝8k,rdpct＝80,skew＝10,seekpct＝10实现，其中wd为工作描述，定义策略。sd为定义使用之前定义过的sd(测试磁盘定义过程中的sd)，rang＝(0,40)为定义测试数据为整个测试磁盘的前40％的数据量，xfersize＝8k为定义测试数据块大小为8k，rdpct＝80为定读写比例为80％读操作，20％写操作，skew＝90为定义整个测试中90％的IO操作在本层完成，seekpct＝10为定义测试IO为10％顺序读写，90％随机读写。

对运行方式的定义可通过rd＝rd1,wd＝wd*,iorate＝max,elapsed＝14400,interval＝1实现，其中rd为运行描述，定义运行方式。wd为定义之前定义过的wd，wd*即为全部wd，iorate＝max为定义运行最大io性能，elapsed＝14400为定义测试时间，单位为秒，interval＝1为定义测试结果刷新频率，单位为秒。

运行Vdbench，通过调用配置文件实现对TierLUN下发带热点的业务。

S5,经过第一设定时间后，查验热点数据分层情况：

经过第一设定时间后，获取不同性能磁盘的存储容量，根据磁盘存储容量的变化查验热点数据分层情况，若低性能数据层的空余容量增加，高性能数据层的空余容量减少，例如低性能数据层的空余容量已从测试开始前的2.23TB增加为2.35TB，即低性能数据层的数据量减少0.12TB，约为120GB；高性能数据层的空余容量从测试前的737.00GB减少为621.00GB，即高性能数据层的数据量增加117GN。表明低性能数据层中的数据已经迁移到高性能数据层，即热点数据实现分层。若低性能数据层的空余容量和高性能数据层的空余容量未发生变化，则表明热点数据未实现分层。

实施例2

如图2所示，在实施例1的基础上，本实施例还包括步骤：

经过第二设定时间后，查验热点数据的分层情况。

第二设定时间大于第一设定时间，在实际测试过程中，由于宽带等原因，往往影响测试数据的迁移速率，因此为保证测试结果的准确性，设置第二设定时间，在经过第二设定时间后，获取不同性能磁盘的存储容量，根据磁盘存储容量的变化查验热点数据分层情况，若低性能数据层的空余容量增加，高性能数据层的空余容量减少，表明低性能数据层中的数据已经迁移到高性能数据层，即热点数据实现分层，若低性能数据层的空余容量和高性能数据层的空余容量未发生变化，则热点数据未实现分层。

以上所述只是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视为本发明的保护范围。

Claims (9)

1.基于Vdbench构造热点数据测试数据分层的方法，其特征是，包括以下步骤：

创建存储池，并在所述存储池中创建不同性能的RAID；

在所述存储池中创建LUN，并将该LUN映射到主机；

获取不同性能磁盘的存储容量并记录；

根据热点数据占比构建Vdbench配置文件，并对LUN下发带热点的业务；

经过第一设定时间后，查验热点数据的分层情况。

2.根据权利要求1所述的基于Vdbench构造热点数据测试数据分层的方法，其特征是，所述方法还包括：

经过第二设定时间后，查验热点数据的分层情况。

3.根据权利要求1或2所述的基于Vdbench构造热点数据测试数据分层的方法，其特征是，所述不同性能的RAID通过不同的磁盘创建，具体为：

利用SSD磁盘创建RAID10；利用SAS磁盘创建RAID5。

4.根据权利要求1或2所述的基于Vdbench构造热点数据测试数据分层的方法，其特征是，所述配置文件内包括对测试磁盘、测试策略和运行方式的定义。

5.根据权利要求4所述的基于Vdbench构造热点数据测试数据分层的方法，其特征是，对测试磁盘的定义包括定义测试磁盘的设备号、测试磁盘的容量和测试进程。

6.根据权利要求4所述的基于Vdbench构造热点数据测试数据分层的方法，其特征是，对测试策略的定义包括测试磁盘、测试数据在整个测试磁盘内的位置和数据量、测试数据块的大小、读写比例、IO操作在数据层的占比以及IO读写方式的占比。

7.根据权利要求4所述的基于Vdbench构造热点数据测试数据分层的方法，其特征是，对运行方式的定义包括运行最大IO性能、测试时间和测试结果刷新频率。

8.根据权利要求1或2所述的基于Vdbench构造热点数据测试数据分层的方法，其特征是，所述不同性能磁盘的存储容量包括高性能数据层总容量、高性能数据层空余容量、低性能数据层总容量和低性能数据层空余容量。

9.根据权利要求8所述的基于Vdbench构造热点数据测试数据分层的方法，其特征是，通过不同性能磁盘存储容量的变化查验热点数据分层情况，具体为：

低性能数据层空余容量增加，高性能数据层空余容量减少，则热点数据实现分层。