CN107911252A - 一种非结构化分布式存储系统性能分析方法、系统及设备 - Google Patents

Abstract

本申请公开了一种非结构化分布式存储系统的性能分析方法、系统及设备，该方法包括：获取运行在服务器端的监测器监测到的监测数据；其中，运行在不同服务器上的监测器在启动前均已进行时间同步操作；获取客户端的性能数据；将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。本发明公开的性能分析方法，通过将获取到的上述性能数据和监测数据在同一参考时间轴上关联起来，进而实现对非结构化分布式存储系统进行更深层的性能分析与评测，帮助开发人员寻找与确定潜在的优化点，以实现对非结构化分布式存储系统的性能调优。

Description

一种非结构化分布式存储系统性能分析方法、系统及设备

技术领域

本发明涉及分布式存储领域，特别涉及一种非结构化分布式存储系统的性能分析方法、系统及设备。

背景技术

非结构化分布式存储技术是针对海量数据存储、数据高并发读写、高伸缩性的应用需求而产生的，其与传统关系型数据库系统的应用场景是不同的。由于非结构化分布式存储系统具有海量数据存储、高性能、高可用性、强伸缩性等特点，并且与传统关系型数据库的应用场景不同，传统关系型数据库的性能分析工具不能直接用于对非结构化分布式存储系统进行性能分析。现有技术中通过从客户端角度或从服务器端对非结构化分布式存储系统进行性能分析，然而前者只能用于帮助开发者针对自己的应用场景选择出合适的存储系统，并不能实现对非结构化分布式存储系统的性能调优；后者通常是用于已经发现了优化点或优化方式，或者己经明确了分析点，然后有针对性地进行监控，验证这些调优点或分析点对系统性能的影响，故在分析点不明确，或是没有明确优化点、优化途径下，并不能实现对非结构化分布式存储系统的性能调优。

由此可见，如何实现对非结构化分布式存储系统进行深度性能分析与评测，帮助开发人员确定出潜在优化点或优化方式，以达到对非结构化分布式存储系统性能的调优的目的，是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种非结构化分布式存储系统的性能分析方法、系统及设备，能够实现对非结构化分布式存储系统进行深度性能分析与评测，帮助开发人员确定出潜在优化点或优化方式，以达到对非结构化分布式存储系统性能的调优的目的。其具体方案如下：

本发明公开了一种非结构化分布式存储系统的性能分析方法，包括：

获取运行在服务器端的监测器监测到的监测数据；

获取客户端的性能数据；

将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。

优选的，所述获取运行在服务器端的监测器监测到的监测数据的步骤包括：

获取运行在服务器端的任务执行监测器对系统的运行时行为和数据流活动进行监测得到的任务监测数据；

获取运行在服务器端的系统信息监测器对系统资源使用情况进行监测得到的系统信息数据。

优选的，所述获取运行在服务器端的任务执行监测器对系统的运行时行为和数据流活动进行监测得到的任务监测数据的步骤之前，还包括：

所述任务执行监测器根据预先确定的数据流处理模型，对系统的运行时行为与数据流活动进行监测，得到任务监测数据，并将所述任务监测数据按照第一预设存储格式存储到服务器的系统本地文件中。

优选的，所述获取运行在服务器端的系统信息监测器对系统资源使用情况进行监测得到的系统信息数据的步骤之前，还包括：

所述系统信息监测器利用sysstat工具对系统资源进行监测，得到系统信息数据，并将所述系统信息数据按照第二预设存储格式存储到系统本地文件中。

优选的，所述任务监测数据包括当前任务的时间戳、任务名、值域、线程名以及主机名。

优选的，所述系统信息数据包括时间戳、系统信息类型、系统信息值以及主机名。

优选的，所述获取客户端的性能数据的步骤，包括：

根据预设的时间间隔，获取客户端的性能数据。

优选的，所述性能分析结果的表现形式包括图和/或表。

相应的，本发明还公开了一种非结构化分布式存储系统的性能分析系统，包括：

监测数据获取模块，用于获取运行在服务器端的监测器监测到的监测数据；其中，运行在不同服务器上的监测器在启动前均已进行时间同步操作；

性能数据获取模块，用于获取客户端的性能数据；

数据分析模块，用于将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。

相应的，本发明还公开了一种非结构化分布式存储系统的性能分析设备，包括存储器和处理器，其中，所述处理器用于执行所述存储器中存储的计算机程序以实现以下步骤：

获取运行在服务器端的监测器监测到的监测数据；

获取客户端的性能数据；

将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。

本发明公开的非结构化分布式存储系统的性能分析方法，包括：获取运行在服务器端的监测器监测到的监测数据；获取客户端的性能数据；其中，运行在不同服务器上的监测器在启动前均已进行时间同步操作；将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。

从本发明公开的性能分析方法的技术方案可以看出，该方法中服务器端采用分布式插装监测机制，通过获取客户端获取到的性能数据和运行在服务器端的监测器监测到的监测数据，然后将获取到的上述性能数据和监测数据在同一参考时间轴上关联起来，进而实现对非结构化分布式存储系统进行更底层更深入的性能分析与评测，帮助开发人员寻找与确定潜在的优化点，以实现对非结构化分布式存储系统的性能调优。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种非结构化分布式存储系统的性能分析方法流程图；

图2为本发明实施例公开的一种具体的非结构化分布式存储系统的性能分析方法流程图；

图3为本发明实施例公开的一种具体的非结构化分布式存储系统的性能分析方法中任务监测数据的存储格式示意图；

图4为本发明实施例公开的一种具体的非结构化分布式存储系统的性能分析方法中系统信息数据存储格式示意图；

图5为本发明实施例公开的一种非结构化分布式存储系统的性能分析系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种非结构化分布式存储系统的性能分析方法，参见图1所示，该方法包括：

步骤S11：获取运行在服务器端的监测器监测到的监测数据；其中，运行在不同服务器上的监测器在启动前均已进行时间同步操作。

其中，本申请实施例中的监测器是通过相应的技术手段插装在服务器端并且可以在该服务器端正常运行的监测器。上述检测数据可以具体包括系统运行时行为和数据流活动、系统信息数据。

可以理解的是，如果每台服务器之间不进行时间同步，那么不同的服务器上的监测器监测到的数据是孤立的，无法放到同一时间轴上进行分析。

步骤S12：获取客户端的性能数据。

需要说明的是，上述性能数据为客户端模块从客户端角度收集到的系统整体性能数据。具体的，客户端模块主要负责生成如读请求、写请求、更新请求等数据操作负载，然后通过调用非结构化分布式处理系统的客户端API(Application Programming Interface，即应用程序编程接口)将数据操作请求提交给存储系统进行处理，存储系统将执行结果返回给客户端，在这过程中，客户端模块可以从客户端角度定时收集系统的整体性能数据。

步骤S13：将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。

具体的，通过将每台非结构化分布式存储系统中服务器的数据流处理活动与客户端收集到的性能数据关联到同一时间轴上进行分析。上述性能分析结果的表现形式可以是图，也可以是表，当然也可以是其他形式，本申请实施例对性能分析结果的表现形式不做任何限定，只要合理即可。

本申请实施例公开的性能分析方法中，服务器端采用分布式插装监测机制，通过获取客户端收集到的性能数据和运行在服务器端的监测器监测到的监测数据，然后将收集到的上述性能数据和监测数据在同一参考时间轴上关联起来，根据时间戳重现出存储系统的数据流处理活动，进而实现对非结构化分布式存储系统进行更底层更深入的性能分析与评测，帮助开发人员寻找与确定潜在的优化点，以实现对非结构化分布式存储系统的性能调优。

本申请实施例还相应公开了一种具体的非结构化分布式存储系统的性能分析方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图2所示，具体包括以下步骤：

步骤S21：获取运行在服务器端的任务执行监测器对系统的运行时行为和数据流活动进行监测得到的任务监测数据。

需要说明的是，上述任务监测数据可以是预先存储到系统本地文件中相应的任务监测数据，当然也可以是在需要测试的时候，在测试过程中任务执行监测器实时监测到的数据。具体的，任务执行监测器根据预先确定的数据流处理模型，对系统的运行时行为与数据流活动进行监测，得到任务监测数据，并将所述任务监测数据按照第一预设存储格式存储到服务器的系统本地文件中。

其中，上述任务监测数据包括当前任务的时间戳、任务名、值域、线程名以及主机名，参见图3所示，图3为本申请实施例中任务监测数据的存储格式。需要说明的是，时间戳保存了记录的监测时间；其中，运行在系统服务器上的监测器在启动前进行了时间同步，所以记录中的时间戳是具有全局性；任务名标识了监测记录是来自系统运行时中的哪个任务；值域保存了具体的监测记录值，具体的值根据任务来决定；线程名标记了任务是由哪个线程执行的，在多线程的执行环境中，用于标识来不同线程的监测数据；主机名标识了监测数据来自于哪一台服务器。

步骤S22：获取运行在服务器端的系统信息监测器对系统资源使用情况进行监测得到的系统信息数据。

同样的，需要说明的是，上述系统信息数据可以是预先存储到系统本地文件中相应的系统信息数据，当然也可以是在需要测试的时候，在测试过程中通过系统信息监测器实时监测到的数据。可以理解的是，系统信息监测器是在测试过程中定时监测系统资源使用情况信息，包括占用时间百分比、内存使用率，网络带宽传输等信息。具体的，在本申请实施例中，系统信息监测器可以利用sysstat工具对系统资源进行监测，得到系统信息数据，并将所述系统信息数据按照第二预设存储格式存储到系统本地文件中。

其中，上述系统信息数据包括时间戳、系统信息类型、系统信息值以及主机名，参见图4所示，图4为本申请实施例中系统信息数据的存储格式。需要说明的是，时间戳保存了记录的监测时间，同步骤S21中的相关说明，运行在系统服务器上的监测器在启动前进行了时间同步，所以记录中的时间戳是具有全局性；类型标识了是什么类型的系统信息；值域保存了具体的系统信息值；主机名标识了数据是来自哪一台服务器。

步骤S23：获取客户端的性能数据。

步骤S24：将所述性能数据、所述任务监测数据和所述系统信息数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。

具体的，对于任务检测数据的处理，可以根据监测记录中的任务名、线程名、主机名，将监测记录归类，并按照时间戳进行排序，进而可以重现出数据流处理过程，并和客户端的性能数据在同一时间轴上进行分析，生成相关的性能分析结果，例如性能报告图。对于系统信息数据的处理，数据分析处理模块根据监测记录中的类型值、主机名将记录归类，并按照时间戳进行排序，按照测试执行时间，生成系统资源使用情况，例如系统资源使用图。

可以理解的是，本申请前述实施例中，获取客户端的性能数据的步骤，可以具体包括：

根据预设的时间间隔，获取客户端的性能数据。

同理，本申请前述实施例中，获取运行在服务器端的监测器监测到的监测数据的步骤，可以具体包括：

获取运行在服务器端的监测器监测到的监测数据。

需要说明的是，本申请实施例所具有的有益效果请参照本申请上述实施例，在此不再赘述。

相应的，本申请实施例还公开了一种非结构化分布式存储系统的性能分析系统，参见图5所示，该系统包括：

监测数据获取模块51，用于获取运行在服务器端的监测器监测到的监测数据；

性能数据获取模块52，用于获取客户端的性能数据；

数据分析模块53，用于将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。

需要说明的是，关于本实施例中各个模块之间的具体工作过程及带来的有益效果请参照本申请前述实施例公开的非结构化分布式存储系统的性能分析方法，在此不再赘述。

进一步的，本申请实施例还公开了一种非结构化分布式存储系统的性能分析设备，包括存储器和处理器，其中，所述处理器用于执行所述存储器中存储的计算机程序以实现以下步骤：

获取运行在服务器端的监测器监测到的监测数据；获取客户端的性能数据；将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。

需要说明的是，本实施例的技术部分的具体内容可参见本文上述实施例，在此不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种非结构化分布式存储系统的性能分析方法、系统及设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种非结构化分布式存储系统的性能分析方法，其特征在于，包括：

获取运行在服务器端的监测器监测到的监测数据；其中，运行在不同服务器上的监测器在启动前均已进行时间同步操作；

获取客户端的性能数据；

将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。

2.根据权利要求1所述的性能分析方法，其特征在于，所述获取运行在服务器端的监测器监测到的监测数据的步骤包括：

获取运行在服务器端的任务执行监测器对系统的运行时行为和数据流活动进行监测得到的任务监测数据；

获取运行在服务器端的系统信息监测器对系统资源使用情况进行监测得到的系统信息数据。

3.根据权利要求2所述的性能分析方法，其特征在于，所述获取运行在服务器端的任务执行监测器对系统的运行时行为和数据流活动进行监测得到的任务监测数据的步骤之前，还包括：

所述任务执行监测器根据预先确定的数据流处理模型，对系统的运行时行为与数据流活动进行监测，得到任务监测数据，并将所述任务监测数据按照第一预设存储格式存储到服务器的系统本地文件中。

4.根据权利要求2所述的性能分析方法，其特征在于，所述获取运行在服务器端的系统信息监测器对系统资源使用情况进行监测得到的系统信息数据的步骤之前，还包括：

所述系统信息监测器利用sysstat工具对系统资源进行监测，得到系统信息数据，并将所述系统信息数据按照第二预设存储格式存储到系统本地文件中。

5.根据权利要求3所述的性能分析方法，其特征在于，所述任务监测数据包括当前任务的时间戳、任务名、值域、线程名以及主机名。

6.根据权利要求4所述的性能分析方法，其特征在于，所述系统信息数据包括时间戳、系统信息类型、系统信息值以及主机名。

7.根据权利要求1至6任意一项所述的性能分析方法，其特征在于，所述获取客户端的性能数据的步骤，包括：

根据预设的时间间隔，获取客户端的性能数据。

8.根据权利要求7所述的性能分析方法，其特征在于，所述性能分析结果的表现形式包括图和/或表。

9.一种非结构化分布式存储系统的性能分析系统，其特征在于，包括：

监测数据获取模块，用于获取运行在服务器端的监测器监测到的监测数据；其中，运行在不同服务器上的监测器在启动前均已进行时间同步操作；

性能数据获取模块，用于获取客户端的性能数据；

数据分析模块，用于将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。

10.一种非结构化分布式存储系统的性能分析设备，其特征在于，包括存储器和处理器，其中，所述处理器用于执行所述存储器中存储的计算机程序以实现以下步骤：

获取运行在服务器端的监测器监测到的监测数据；

获取客户端的性能数据；

将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。