CN106126407A - 一种针对分布式存储系统的性能监控调优系统及方法 - Google Patents

Abstract

本发明提供一种针对分布式存储系统的性能监控调优系统及方法：包括数据处理模块以及数据采集模块；数据采集模块在系统各个节点实时采集与IO栈各个分层相关的性能参数数据以及节点的硬件性能参数数据，数据处理模块采用贪心算法根据最耗时IO栈部分和变化率最大IO栈部分对系统对应的配置参数进行调优；本发明首先将分布式存储系统IO栈映射到真实的分布式存储系统，然后利用在系统运行中采集的数据完成分析调优任务；本发明能够应用于真实的分布式存储系统，自动化分析发现集群的瓶颈并调优，使分布式存储系统的性能得到提高。

Description

一种针对分布式存储系统的性能监控调优系统及方法

技术领域

本发明涉及计算机分布式存储系统领域，尤其涉及针对分布式存储系统的远程性能监控、自动化调优系统；应用了云存储技术、数据管理技术以及分布式监控技术构建了一个数据采集、性能分析和自动化调优平台。

背景技术

随着数据的爆炸性增长以及高速处理需求，应用程序对于数据的存储和访问性能的要求也越来越高。然而由于制造工艺和当前技术的限制，单个存储服务器或者存储阵列已经无法提供PB级或者更大的存储容量。单节点的处理性能和访问性能远不能满足现实应用。各大公司部署了分布式存储系统解决容量和性能问题。

分布式存储系统能够管理分布式的存储资源，提供了单一的命名空间，方便了数据共享，提供较高的聚集数据访问带宽。但是分布式存储系统为了保证高可靠性、一致性、有用性等要求，逻辑架构复杂，同时其可调参数众多，将分布式存储系统部署到数据中心并且调整软硬件参数以发挥集群最大性能对于运维人员是必须解决的问题。当前的性能监控软件大部分仅仅以WEB界面显示集群的运行状态，和一些半自动化工具如异常报警机制等，整体监控系统主要依靠运维人员的经验手动优化系统。

发明内容

为了克服现有技术存在的问题，本发明提供一种针对分布式存储系统的性能监控调优系统及方法，可实现自动化定位分布式存储系统瓶颈、调优分布式存储系统以及最大化发挥硬件性能。

为了实现上述目的，本发明采取的技术方案为：

一种针对分布式存储系统的性能监控调优系统，包括数据处理模块以及数据采集模块；数据采集模块与分布式存储系统的节点一一对应，每个数据采集模块通过探针实时获取对应节点的硬件性能参数和软件性能参数；数据处理模块包括瓶颈分析模块和系统调优模块；瓶颈分析模块根据所述软件性能参数确定对应节点上IO栈的各个分层中占据IO栈当前处理时间最大的IO栈分层以及确定该节点上IO栈的各个分层中与相同时间间隔的历史数据相比处理时间变化率最大的IO栈分层；系统调优模块依照贪心算法，在对应节点硬件性能未超出最大负载的情况下，对瓶颈分析模块确定的IO栈分层所对应的分布式存储系统配置参数进行调整；所述IO栈是指分布式存储系统中处理读写请求时所需要的各个层次阶段。

所述数据处理模块还包括性能反馈模块，性能反馈模块比较所述调整前后的系统性能变化，如果系统性能提升，则保留调整结果，若系统性能未提升，甚至变差，则回滚此次调整。

所述硬件性能参数和软件性能参数经所述数据采集模块处理为格式化数据后发送给所述数据处理模块，所述数据处理模块将接收的格式化数据存储在数据库中，格式化数据由参数名、参数值和时间戳组成。

所述数据处理模块还包括数据清理模块，数据清理模块周期性删除所述数据库中指定时间之前的数据，或者删除所述数据库中指定时间间隔内的数据。

所述系统调优模块在节点硬件性能超出最大负载的情况下，查找占用硬件资源较多的IO栈分层，并尝试释放该层占用的部分硬件资源，若释放资源后分布式存储系统性能波动较小，则确定释放资源，若分布式存储系统性能快速下降，则将资源重新分配给该层。

一种针对分布式存储系统的性能监控调优方法，包括以下步骤：

1)建立分布式存储系统IO栈并依据逻辑结构对IO栈进行分层；

2)在分布式存储系统各个节点实时采集与IO栈各个分层相关的性能参数(如分布式存储系统IO栈每一层内部的运行参数)数据以及对应节点的硬件性能参数(如CPU，内存，IO，网卡等性能参数)数据；

3)将采集自分布式存储系统各个节点的数据统一存放(例如，此处数据的存放可以采用数据库等方式)并定期整理(此类数据由于增长过快，需要定时压缩、清理，从而完成无意义数据的删除和数据压缩)；

4)基于时空比较方法对采集到的数据从两方面进行比较：针对分布式存储系统某节点，利用所述性能参数数据比较IO栈每一层的当前处理时间，并找出占IO栈处理时间最大的IO栈分层(最耗时IO栈部分)，同时，对比IO栈每一层的当前处理时间和相同时间间隔下的历史处理时间数据，并找出处理时间变化率最大的IO栈分层(变化率最大IO栈部分)，这两个部分的调优对于整体性能的优化具有很大的影响；

5)建立调优映射表，该映射表包括与IO栈每一层对应的分布式存储系统内的配置参数，此张表表示的配置参数主要由影响IO栈的最关键参数组成，这个表由用户分析并且输入到调优模块，同时这个表也很大程度上依靠不同的分布式存储系统自身特性；

6)从所述调优映射表查找所述占IO栈处理时间最大的IO栈分层和所述变化率最大的IO栈分层(即最耗时IO栈部分和变化率最大IO栈部分这两种关键IO栈部分)对应的配置参数，然后采用贪心算法，在不超过分布式存储系统对应节点的服务器硬件最大性能上限下，对查找到的配置参数进行自动化调优。

所述调优具体包括以下步骤：对查找到的配置参数进行调整，分析比较调整后和调整前的分布式存储系统的性能变化，确认此次调优是否成功；如果系统性能有所提升，则确认此次调整，如果性能下降，则回滚此次调整。

所述存放前，对采集的数据进行格式化，使采集的数据变为由参数名、参数值和时间戳组成的格式化数据。

所述定时整理具体包括以下步骤：周期性删除指定时间之前的数据，或者删除指定时间间隔内的数据。

所述步骤6)中，在超过对应节点的硬件最大性能上限的情况下，查找占用硬件资源较多的IO栈分层(某一层)，并尝试释放该层占用的部分硬件资源，若释放资源后分布式存储系统性能波动较小(在给定的阈值以内)，则确定释放资源，若分布式存储系统性能快速下降(超过给定的阈值)，则将资源重新分配给该层，以保证性能。

本发明的有益效果体现在：

本发明首先将分布式存储系统IO栈映射到真实的分布式存储系统，然后由数据采集模块、瓶颈分析模块、系统调优模块等模块完成分析调优任务，本发明能够应用于真实的分布式存储系统，自动化分析发现集群的瓶颈并调优。本发明通过建立一整套自动化分析调优系统，使分布式存储系统的性能得到了提高。

附图说明

图1是性能监控调优系统运行拓扑结构示意图；

图2是数据分析调优模块流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步地详细说明。应当理解，此处所描述的实施例仅仅用于解释本发明的基本构想，并不用于限定本发明。

不同的分布式存储系统虽然系统设计不同，各具特点，但是它们需要解决的问题是相同的，同时其设计逻辑构架大同小异，这是本发明的前提假设，同时它也是一定成立的。

本发明的性能监控、调优系统的部署拓扑如图1所示，该系统包括数据处理模块以及部署在分布式存储系统节点的数据采集模块。数据处理模块部署在任意服务器，此服务器可以和分布式存储系统节点运行在同一个服务器，也可以是不同的服务器。分布式存储系统当中不同角色的服务器安装与其相应的数据采集模块(因为分布式存储系统当中每个的服务器有其各自特定作用，部署在每个服务器的数据采集模块可能收集的数据种类有相同部分，也有不同部分)，数据采集模块和分布式存储节点是一一对应的，也就是一台服务器内运行的分布式存储系统节点部署一个数据采集模块，数据采集模块负责将不同服务器中实时系统性能的数据采集并进行初步处理后发送至管理节点(部署所述数据处理模块的服务器)，此处的数据传输可以使用网络传输、进程内通信等方式，管理节点负责接收数据采集模块发送的数据并进行存储和处理。

数据采集模块用于在分布式存储系统各个节点收集各项所需性能指标数据，并将数据向管理节点发送。在数据采集模块中，需要用户首先依据不同的分布式存储系统构架从逻辑层面划分IO栈，这里的IO栈指分布式存储系统中处理读写请求时系统处理数据所需要的不同层次阶段，由用户根据不同的分布式存储系统从IO的流程当中抽象出来。IO栈有两种：读IO栈和写IO栈。读IO栈是指从客户端发出读请求到集群收到读请求后返回客户端读取到的数据这一过程，写IO栈是指从客户端发出写请求到集群接收到写请求后经过一系列处理将请求的数据写入到底层存储设备完成数据持久化这一过程。读IO栈可以分为四层：应用层、网络传输层、数据流处理层和后端存储层；写IO栈可以分为五层：应用层、网络传输层、数据流处理层、事务层和后端存储层。其中应用层包括构建在分布式存储系统上层的应用软件，网络传输层包括客户端传输到分布式存储节点和本次读写当中涉及的存储节点主副本之间的网络通信，数据流处理层包含了从所有客户端发来的读写请求的初始处理，事务层将所有IO写请求序列化，后端存储层针对写请求，将数据写入到后端存储设备，完成数据的持久化，而针对读请求则将数据从后端存储设备读取。

当用户完成划分分布式存储系统的IO栈，需要将不同的性能参数分配至IO栈的不同层，以此来获得分布式存储系统中不同阶段的实时性能数据。然后，数据采集模块通过探针实时获取节点硬件性能参数和分布式存储系统软件中各层次的软件性能参数，其中，探针是指为了实时获取分布式存储系统运行中的性能数据而放入分布式存储系统代码不同阶段的数据采集程序，通过探针可以准确实时得到分布式存储系统的性能参数，硬件性能参数是指在每个服务器中CPU、内存、网络等方面的性能数据，软件性能参数是指分布式存储系统中每个阶段的延时、正在处理的操作数、请求队列长度等一系列可以展现系统内部性能的数据。

数据采集模块将获取的数据进行初步处理，具体包括将数据格式化成三元组格式(参数名，参数值，时间戳)，将数据初步处理后发送给管理节点。管理节点将各个节点通过数据采集模块发来的数据收集起来存储到数据库，以备下一步使用。同时管理节点也会周期性删除一些数据，或者依照一定的时间戳间隔，删掉时间戳间隔内的数据，保证数据库数据容量不至过大和较快检索速度。

数据处理模块主要包括数据清理模块和数据分析调优模块，数据清理模块定时清理用户指定时间间隔之前的数据和对用户指定时间间隔内的数据整理，比如，删除一个月之前的数据，并对一个月之内的数据按照15分钟间隔抽样，15分钟内的数据删除，增加相邻三元组格式(参数名，参数值，时间戳)数据的数据戳的间隔，数据分析调优模块周期性的进行数据分析调优，每个节点的数据是独立分析的，互不影响。数据分析调优模块主要有两个部分，第一个部分完成性能瓶颈的查找，即瓶颈分析模块，第二个部分完成系统性能的调优，即系统调优模块。此外，数据处理模块还包括性能反馈模块。

如图2所示，以下举例说明对于一个节点的性能瓶颈自动化分析和调优过程，其他节点的分析和调优过程和此节点相同。

1)瓶颈分析

首先从数据库将从任一节点收集来的三元组格式数据读取出来，此处读取数据量由用户决定，可以是从现在到过去半个小时的数据量，并计算在当前时刻到与当前时间固定的间隔内IO栈每层的平均延迟值，同时计算过去历史时间间隔内的IO栈每层平均延迟值，应当指出此处历史时间可以是根据实际实施时选定的，此时，已经获取到关于IO栈性能的当前值和历史值，下一步需要对当前IO栈每层的平均延迟值依照大小进行排序，选取最耗时的部分，同时依据IO栈每一层的当前值、历史值和其相对应的时间戳得到IO栈每一层的延迟值的变化率，对IO栈变化率进行比较，获取具有最大的变化率的部分。

2)系统调优

此时需要用户自定义的映射表，此映射表主要由IO栈每一层和其相对应的系统配置参数组成，根据映射表查找上一步确定的最耗时IO栈部分和变化率最大的IO栈部分所对应的系统配置参数，此时从数据库读取此节点传入的硬件性能参数，包含CPU、内存，IO和网络等，在不超出硬件最大负载的情况下，依照贪心算法尽可能的调整系统配置参数，此时所指的调整系统配置参数包括调整线程个数等分布式存储软件参数，管理节点将调整命令发给此节点进行对应系统配置参数调整。

3)性能反馈

比照调整前和调整后的分布式存储系统性能变化，如果系统性能提升，则此次调优成功，向用户提交此次调优(目的：第1，是向用户表明系统的可用性；第2，用户可以记录调优系统对存储系统的操作，方便后期人工对存储系统操作)，若系统性能并未优化，甚至变差，则回滚此次调整。

本发明中，由于自动化分析和调优过程周期性的运行，则不同周期运行时，单个节点IO栈耗时部分和IO栈变化率部分是不同的，则通过周期性的循环优化，对于IO栈每一层次都会进行优化调整。同时通过数据处理模块可实现对所有节点性能数据分析和调优，使每个节点都能发挥其硬件最大性能，则分布式存储系统性能得到最大发挥。例如，申请人所在的项目组针对ceph分布式对象存储系统，已经完成本发明的原型系统，相比于初始安装后ceph对象系统的IOPS性能提高了5％左右。

Claims (10)

1.一种针对分布式存储系统的性能监控调优系统，其特征在于：包括数据处理模块以及数据采集模块；数据采集模块与分布式存储系统的节点一一对应，每个数据采集模块通过探针实时获取对应节点的硬件性能参数和软件性能参数；数据处理模块包括瓶颈分析模块和系统调优模块；瓶颈分析模块根据所述软件性能参数确定对应节点上IO栈的各个分层中占据IO栈当前处理时间最大的IO栈分层以及确定该节点上IO栈的各个分层中与相同时间间隔的历史数据相比处理时间变化率最大的IO栈分层；系统调优模块依照贪心算法，在对应节点硬件性能未超出最大负载的情况下，对瓶颈分析模块确定的IO栈分层所对应的分布式存储系统配置参数进行调整；所述IO栈是指分布式存储系统中处理读写请求时所需要的各个层次阶段。

2.根据权利要求1所述一种针对分布式存储系统的性能监控调优系统，其特征在于：所述数据处理模块还包括性能反馈模块，性能反馈模块比较所述调整前后的分布式存储系统性能变化，如果系统性能提升，则保留调整结果，若系统性能未提升，甚至变差，则回滚此次调整。

3.根据权利要求1所述一种针对分布式存储系统的性能监控调优系统，其特征在于：所述硬件性能参数和软件性能参数经所述数据采集模块处理为格式化数据后发送给所述数据处理模块，所述数据处理模块将接收的格式化数据存储在数据库中，格式化数据由参数名、参数值和时间戳组成。

4.根据权利要求3所述一种针对分布式存储系统的性能监控调优系统，其特征在于：所述数据处理模块还包括数据清理模块，数据清理模块周期性删除所述数据库中指定时间之前的数据，或者删除所述数据库中指定时间间隔内的数据。

5.根据权利要求1所述一种针对分布式存储系统的性能监控调优系统，其特征在于：所述系统调优模块在节点硬件性能超出最大负载的情况下，查找占用硬件资源较多的IO栈分层，并尝试释放该层占用的部分硬件资源，若释放资源后分布式存储系统性能波动较小，则确定释放资源，若分布式存储系统性能快速下降，则将资源重新分配给该层。

6.一种针对分布式存储系统的性能监控调优方法，其特征在于：包括以下步骤：

1)建立分布式存储系统IO栈并依据逻辑结构对IO栈进行分层；

2)在分布式存储系统各个节点实时采集与IO栈各个分层相关的性能参数数据以及对应节点的硬件性能参数数据；

3)将采集自分布式存储系统各个节点的数据统一存放并定期整理；

4)针对分布式存储系统某节点，利用所述性能参数数据比较IO栈每一层的当前处理时间，并找出占IO栈处理时间最大的IO栈分层，同时，对比IO栈每一层的当前处理时间和相同时间间隔下的历史处理时间数据，并找出处理时间变化率最大的IO栈分层；

5)建立调优映射表，该映射表包括与IO栈每一层对应的分布式存储系统内的配置参数；

6)从所述调优映射表查找所述占IO栈处理时间最大的IO栈分层和所述变化率最大的IO栈分层对应的配置参数，然后采用贪心算法，在不超过分布式存储系统对应节点的硬件最大性能上限下，对查找到的配置参数进行调优。

7.根据权利要求6所述一种针对分布式存储系统的性能监控调优方法，其特征在于：所述调优具体包括以下步骤：对查找到的配置参数进行调整，分析比较调整后和调整前的分布式存储系统的性能变化，如果系统性能提升，则确认此次调整，如果性能下降，则回滚此次调整。

8.根据权利要求6所述一种针对分布式存储系统的性能监控调优方法，其特征在于：所述存放前，对采集的数据进行格式化，使采集的数据变为由参数名、参数值和时间戳组成的格式化数据。

9.根据权利要求6所述一种针对分布式存储系统的性能监控调优方法，其特征在于：所述定时整理具体包括以下步骤：周期性删除指定时间之前的数据，或者删除指定时间间隔内的数据。

10.根据权利要求6所述一种针对分布式存储系统的性能监控调优方法，其特征在于：所述步骤6)中，在超过对应节点的硬件最大性能上限的情况下，查找占用硬件资源较多的IO栈分层，并释放该层占用的部分硬件资源，若释放资源后分布式存储系统性能波动较小，则确定释放资源，若分布式存储系统性能快速下降，则将资源重新分配给该层。