CN107451048A - 一种线上压力模拟测试的方法和设备 - Google Patents

Abstract

申请的目的是提供一种线上压力模拟测试的方法和设备，通过获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息；基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务；调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息，避免了测试人员在激发压力测试时需要对业务的理解和对测试程序的复杂的部署，有效地降低压力模拟测试成本，同时有效地提高了分布式文件系统线上压力模拟测试的准确度和测试效率。

Description

一种线上压力模拟测试的方法和设备

技术领域

本申请涉及计算机领域，尤其涉及一种线上压力模拟测试的技术。

背景技术

分布式文件系统作为一个底层的基础平台，不同于一般的单机文件系统它提供了丰富的接口和使用方法以支持离线和在线等用户的不同需求。随着海量用户的不断激增，传统的通过人力分析客户设备端的用户场景的主要特征维度并抽象出一个固定压力模型的方法，已经在可行性和准确性上越来越难以提高，造成分布式文件系统类的产品在经过压力测试并上线后，其在线上的行为与压测时有一定差异，严重时可能会造成回滚。

现有技术中，采用模拟线上压力测试方法对分布式文件系统进行测试的过程中，主要依靠相关测试人员对所支持的应用对应的业务场景的深入理解的情况下，针对各业务场景对应的业务特性进行测试程序的编写以实现压力测试，在此过程中测试人员需要充分理解用户对分布式文件系统的用法，用户的业务逻辑以及用户的业务增长所带来的潜在压力。为了准确有效地模拟线上压力，对测试人员的要求非常高，由于一个商业化的产品往往由不同层的业务链组成，并由不同层的业务链下的各个测试人员进行负责的，则负责整个商业化的产品中的所有的测试人员不仅要理解全链路的业务特性及自己负责的所在业务场景的业务特性，还需要对线上可能的压力变化进行评估，导致在具有海量用户的前提下，进行上述模拟线上压力测试的工作成本非常高；又由于在上述依赖人工判断的情况下，若对业务场景的理解没有及时更新，则测试程序难以及时维护和更新，经常会导致新版本业务发布后在线上出现随机严重问题，但由于新版本业务场景与测试程序对应的业务场景版本不一致，故利用旧版本的测试程序对新版本业务场景进行线下的测试无法复现，只能依靠线上集群重现，使得整个产品对应的业务场景及其测试准确度低；为了降低人工判断的复杂度和成本，压力测试往往采用综合部署业务系统的方法并通过对应用单元加压来模拟线上压力，由于在综合部署业务系统的方法中将整个产品分为多个业务场景，由不同的测试人员进行测试程序的编写和测试，并根据各个测试人员的测试结果来对整个产品进行评估，这极大地增强了测试的部署和问题调查的工作量和复杂度，造成测试效率低，同时随着支持的应用越来越多，即便有自动化测试也使得采用综合部署业务系统的测试方法的测试效率很低；又由于受限于时间和机器资源的限制，在实际模拟线上压力测试过程中都要不同程度的对机器规模和测试周期进行缩放，在缩放过程中可能会出现实际模拟线上压力测试的失真。

因此，现有技术中依赖人工判断对分布式文件系统进行模拟线上压力测试时导致成本高且测试效率低，以及，在测试过程中可能会出现测试失真以造成测试准确度低，以及测试的部署和问题调查的复杂度高。

发明内容

本申请的目的是提供一种线上压力模拟测试的方法与设备，以解决现有技术中依赖人工判断对分布式文件系统进行模拟线上压力测试时导致成本高且测试效率低的问题，以及，在测试过程中可能会出现测试失真以造成测试准确度低，以及测试的部署和问题调查的复杂度高的问题。

根据本申请的一个方面，提供了一种线上压力模拟测试的方法，包括：

获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息；

基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务；

调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息。

进一步地，所述基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务包括：

获取至少一个所述模拟分布模型，并分别与所述测试维度对应的数据信息进行相似度计算，确定对应所述测试维度与所述模拟分布模型的相似度信息；

基于所述相似度信息，确定对应所述测试维度的模拟分布模型；

基于所述测试分布模型，生成对应所述测试维度的模拟任务。

根据本申请的另一方面，还提供了一种线上压力模拟测试的设备，包括：

获取装置，用于获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息；

生成装置，用于基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务；

模拟装置，用于调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息。

进一步地，所述生成装置包括：

计算单元，用于获取至少一个所述模拟分布模型，并分别与所述测试维度对应的数据信息进行相似度计算，确定对应所述测试维度与所述模拟分布模型的相似度信息；

确定单元，用于基于所述相似度信息，确定对应所述测试维度的模拟分布模型；

生成单元，用于基于所述测试分布模型，生成对应所述测试维度的模拟任务。

此外，本申请还提供了一种线上压力模拟测试的设备，包括：

处理器；

以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息；

基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务；

调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息。

与现有技术相比，根据本申请的实施例提供的一种线上压力模拟测试的方法和设备，通过获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息；基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务；调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息。由于通过获取分布式文件系统的线上日志，通过分析所述线上日志并获取所述线上日志中的测试维度对应的模拟分布模型，从而避免了测试人员在激发压力测试时需要对业务的理解和对测试程序的复杂的部署，有效地降低压力测试成本；基于所述测试分布模型，生成对应所述测试维度的模拟任务，并调用分布式文件系统中待测试的所述集群设备进行执行，从而获得所述集群设备的相关线上压力模拟信息，有效地提高了分布式文件系统线上压力模拟测试的准确度和测试效率。

进一步地，根据本申请的实施例提供的一种线上压力模拟测试的方法和设备，所述基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务包括：获取至少一个所述模拟分布模型，并分别与所述测试维度对应的数据信息进行相似度计算，确定对应所述测试维度与所述模拟分布模型的相似度信息；基于所述相似度信息，确定对应所述测试维度的模拟分布模型；基于所述测试分布模型，生成对应所述测试维度的模拟任务。由于将所述线上日志中的测试维度及其数据信息分别与至少一个所述模拟分布模型进行相似度计算，基于相似度信息，将相似度最高的所述模拟分布模型确定为所述测试维度的模拟分布模型，并基于所述模拟分布模型生成对应所述测试维度的模拟任务，以待待测试的所述集群设备进行线上压力模拟测试，有效地提高了分布式文件系统线上压力模拟测试的准确度和测试效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种线上压力模拟测试的方法流程示意图；

图2示出根据本申请一个方面的一种线上压力模拟测试的方法中的步骤S11对应的流程示意图；

图3示出根据本申请一个方面的一种线上压力模拟测试的方法中的步骤S12对应的流程示意图；

图4示出根据本申请一个方面的一种线上压力模拟测试的方法中的步骤S13对应的流程示意图；

图5示出根据本申请一个方面的一种线上压力模拟测试的设备的结构示意图；

图6示出根据本申请一个方面的一种线上压力模拟测试的设备中的获取装置11的结构示意图；

图7示出根据本申请一个方面的一种线上压力模拟测试的设备中的生成装置12的结构示意图；

图8示出根据本申请一个方面的一种线上压力模拟测试的设备中的模拟装置13的结构示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

图1示出根据本申请一个方面的一种线上压力模拟测试的方法流程示意图。该方法包括步骤S11、步骤S12和步骤S13。

其中，所述步骤S11获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息；所述步骤S12基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务；所述步骤S13调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息。

需要说明的是，所述步骤S11中的所述线上日志包括所述分布式文件系统中的被测试业务场景中的相关的业务场景信息的日志，其中，所述线上日志可以是包括但不限于包括是二进制日志和日志事件。当然，其他现有的或今后可能出现的所述线上日志如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

需要说明的是，所述步骤S11中的所述测试维度可以是包括但不限于包括所述分布式文件系统中的一个被测试业务场景。优选地，所述测试维度对应一个或多个基本操作对应的最小执行单元。其中，所述基本操作包括创建文件、复制数据信息、设置存储路径及访问权限等信息。当然，其他现有的或今后可能出现的所述测试维度如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

进一步地，所述步骤S11包括步骤S111、步骤S112和步骤S113，如图2所示，图2示出根据本申请一个方面的一种线上压力模拟测试的方法中的步骤S11对应的流程示意图。其中，所述步骤S111获取来自用户设备的测试请求，基于所述测试请求确定待测试的所述集群设备；所述步骤S112从所述集群设备中获取所述线上日志；所述步骤S113基于所述线上日志获取至少一个所述测试维度及其对应数据信息。

需要说明的是，所述步骤S111中的所述用户设备的测试请求可以时包括但不限于包括是用户通过灵活的配置方式提交的配置文件信息和对所述分布式文件系统中的被测试业务场景进行测试的请求信息等。其中，所述配置文件信息包括待测试的所述集群设备及其待测试的场景、执行位置信息、所述线上日志及其日志时间等。在本申请的一个优选实施例中，优选所述配置文件信息作为本申请的所述测试请求的一个优选实施例。当然，本领域技术人员应能理解上述所述配置文件信息仅为本申请的一个优选实施例，其他现有的或今后可能出现的所述测试请求如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的一个优选实施例中，在所述步骤S111中获取来自用户设备提交的配置文件信息后，基于所述配置文件信息中的执行位置信息确定待测试的所述集群设备；接着，所述步骤S112从所述确定的待测试的所述集群设备中获取与分布式文件系统相关的所述线上日志；最后，所述步骤S113对所述线上日志中的所述测试维度对应的变化的数据信息进行提取，以获取至少一个所述测试维度及其对应数据信息。

进一步地，所述步骤S113包括：基于所述线上日志获取至少一个所述测试维度及其对应数据信息，具体地，所述步骤S113包括：基于所述线上日志，确定待测试的所述集群设备对应的集群业务信息；基于所述集群业务信息获取至少一个所述测试维度及其对应数据信息。

需要说明的是，所述集群业务信息可以是包括但不限于是所述集群设备中的被测业务场景对应的业务特征信息，其中，基于所述集群业务信息可以获取到相应的所述测试维度。当然，其他现有的或今后可能出现的所述集群业务信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

例如，基于所述线上日志反映出待测试的所述集群设备是进行文件的创建，则所述集群设备的集群业务信息包括创建文件的长度信息、创建文件的数量信息以及创建文件的大小信息等。

在本申请的实施例中，所述步骤S113对所述线上日志进行分析，确定待测试的所述集群设备对应的集群业务信息，所述步骤S113基于所述集群业务信息获取至少一个所述测试维度及其对应变化的数据信息。

例如，在所述步骤S113中对所述线上日志进行分析，所述线上日志反映出待测试的所述集群设备对应的被测试场景是处理访问请求，则基于所述线上日志确定出待测试的所述集群设备对应的集群业务信息包括处理吞吐量、处理正确度及访问响应时长等，在所述步骤S113中，基于所述集群业务信息获取所述集群设备在处理访问请求过程中的所述处理吞吐量及其对应的变化的数据信息、所述处理正确度及其对应的变化的数据信息以及所述访问响应时长及其对应的变化的数据信息。

进一步地，所述步骤S12包括步骤S121、步骤S122和步骤S123，如图3所示，图3示出根据本申请一个方面的一种用于进行分布式文件系统线上压力模拟测试的方法中的步骤S12对应的流程示意图。

所述步骤S121获取至少一个所述模拟分布模型，并分别与所述测试维度对应的数据信息进行相似度计算，确定对应所述测试维度与所述模拟分布模型的相似度信息；所述步骤S122基于所述相似度信息，确定对应所述测试维度的模拟分布模型；所述步骤S123基于所述测试分布模型，生成对应所述测试维度的模拟任务。

需要说明的是，所述步骤S121中的所述模拟分布模型可以是包括但不限于包括是根据系统或过程的特性，按一定规律用计算机程序语言模拟系统原型的数学分布，其中，所述数学分布包括柯西分布、经验分布、指数分布、几何分布、正态分布、对数正态分布、泊松分布、均匀分布及常数分布等。当然，其他现有的或今后可能出现的所述模拟分布模型如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

需要说明的是，所述步骤S121中的所述相似度计算可以是包括但不限于包括是皮尔逊相关系数(Pearson Correlation Coefficient)、欧几里德距离(EuclideanDistance)、余弦相似度(Cosine Similarity)、秩相关系数(Spearman Correlation)、对数似然相似度及曼哈顿距离等。当然，其他现有的或今后可能出现的所述相似度计算如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的实施例中，若所述步骤S121获取的所述模拟分布模型有如下四个，分别为柯西分布、指数分布、正态分布以及对数分布，将所述测试维度a对应的变化的数据信息分别与所述模拟分布模型进行相似度计算，得到对应所述测试维度a与所述柯西分布的相似度信息为55％，对应所述测试维度a与所述指数分布的相似度信息为98％，对应所述测试维度a与所述正态分布的相似度信息为72％，对应所述测试维度a与所述对数分布的相似度信息为72％；在所述步骤S122中基于所述相似度信息，将相似度信息最高为98％时对应的所述指数分布确定为对应所述测试维度a的模拟分布模型，即所述测试维度a的模拟分布模型为所述指数分布；在所述步骤S123中基于所述测试维度及其模拟分布模型，生成对应所述测试维度的模拟任务。

进一步地，所述步骤S121包括：获取至少一个所述模拟分布模型，并分别与所述测试维度对应的数据信息进行相似度计算，确定对应所述测试维度与所述模拟分布模型的相似度信息，具体地，所述步骤S121包括：获取模型存储路径，基于所述模型存储路径获取至少一个所述模拟分布模型；将所有所述模拟分布模型分别与所述测试维度对应的数据信息进行相似度计算，以确定对应所述测试维度与所述模拟分布模型的相似度信息。

需要说明的是，所述步骤S121中的所述模型存储路径可以是包括但不限于包括单独存储所述模拟分布模型的存储文件路径和记录在所述测试请求中，以便从所述测试请求中快速调用所述模拟分布模型进行相似度计算。在本申请的一个优选实施例中，优选所述模型存储路径记录在所述测试请求中，以便从所述测试请求中快速调用所述模拟分布模型进行相似度计算，则优选的记录于所述测试请求中的所述模拟存储路径作为本申请的所述模型存储路径的一个优选实施例。当然，本领域技术人员应能理解上述记录于所述测试请求中的所述模拟存储路径仅为本申请的一个优选实施例，其他现有的或今后可能出现的所述模型存储路径如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的一个优选实施例中，在所述步骤S121中根据所述测试请求中的所述模拟存储路径获取至少一个所述模拟分布模型，以对所述线上日志中的所有所述测试维度及其对应的变化的数据信息进行相似度计算；在所述步骤S121中将获取的所有所述模拟分布模型分别与所述测试维度对应的变化的数据信息进行相似度计算，以确定对应所述测试维度与所述模拟分布模型的相似度信息。

进一步地，所述步骤S123包括：基于所述测试分布模型，生成对应所述测试维度的模拟任务，具体地，所述步骤S123包括：获取待测试的所述集群设备所在集群的集群环境信息；基于所述集群环境信息和所述测试维度的模拟分布模型，生成对应所述测试维度的模拟任务。

需要说明的是，所述步骤S123中的所述集群环境信息可以是包括但不限于包括是所述集群设备所在的集群上的不同规模的环境信息、所述集群设备所在的集群上的模拟用户数量及所述集群设备中的业务场景信息等。当然，其他现有的或今后可能出现的所述集群环境信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的实施例中，在所述步骤S123中获取待测试的所述集群设备所在集群的集群规模信息、模拟用户数量及所述业务场景信息等；在所述步骤S123中基于所述集群环境信息和所述测试维度的模拟分布模型，生成对应所述测试维度的模拟任务。

例如，在所述步骤S123中获取的待测试的集群设备所在集群的集群规模信息为整个上海市，模拟用户数量为1000万，所述业务场景信息为接收呼叫请求；在所述步骤S123中基于所述集群环境信息和所述集群设备对应的所述测试维度及其模拟分布模型，生成对应所述测试维度的模拟任务。

进一步地，根据本申请的实施例提供的一种用于进行分布式文件系统线上压力模拟测试的方法，还包括：基于所述集群环境信息，将所述模拟任务部署到待测试的所述集群设备。

在本申请的实施例中，基于所述集群设备所在的集群上的不同规模的环境信息、所述集群设备所在的集群上的模拟用户数量及素数集群设备中的业务场景信息，将所述模拟任务部署到待测试的所述集群设备。

例如，若所述集群设备P所在的集群规模为一个省，且模拟用户数量高达1000万，同时所述集群设备P对应的业务场景信息为存储用户文件，则确定出所述与存储用户文件有关的所述测试维度，则所述测试维度有存储文件大小、存储文件数量及存储文件长度，则所述集群设备P中包括至少一个所述测试维度及其模拟分布模型，即所述集群设备P同时执行所述集群业务场景对应的至少一个模拟任务；则将所述存储用户文件对应的所述存储文件大小及其模拟分布模型对应的模拟任务A，所述存储文件数量及其模拟分布模型对应的模拟任务B及所述存储文件长度及其模拟分布模型对应的模拟任务C一起部署到待测试的所述集群设备P中。

又例如，若所述集群设备Q所在的集群规模为一个生活小区，且模拟用户数量在1000左右，同时所述集群设备Q对应的业务场景信息为银行支付业务，则与所述银行支付业务有关的所述测试维度有创建支付文件，支付吞吐量以及支付响应时长。基于所述集群设备Q所在的集群环境信息，将所述创建支付文件的模拟分布模型对应的模拟任务A1、所述支付吞吐量的模拟分布模型对应的模拟任务B1及所述支付响应时长的模拟分布模型对应的模拟任务C1一起部署到待测试的所述集群设备Q中。

进一步地，所述步骤S13包括步骤S131和步骤S132，如图4所示，图4示出根据本申请一个方面的一种线上压力模拟测试的方法中的步骤S13对应的流程示意图。其中，所述步骤S131基于所述测试维度的模拟任务，调用所述分布式文件系统中待测试的所述集群设备，以待所述集群设备执行各所述测试维度的模拟任务；所述步骤S132获取所有所述集群设备的相关线上压力模拟信息。

接着本申请的上述实施例，在所述步骤S131中基于所述创建支付文件的模拟分布模型对应的模拟任务A1、所述支付吞吐量的模拟分布模型对应的模拟任务B1及所述支付响应时长的模拟分布模型对应的模拟任务C1，调用所述分布式文件系统中待测试的所述集群设备Q，以待所述集群设备Q执行各所述测试维度对应的模拟任务；待所述集群设备Q执行完成所有的所述模拟任务后，在所述步骤S132中获取所有所述集群设备的相关线上压力模拟信息。

进一步地，所述相关线上压力模拟信息包括以下至少任一项：测试正确率、测试响应时间、吞吐量及所述集群设备负载。

接着本申请的上述实施例，若所述集群设备Q所在的集群规模为一个生活小区，且模拟用户数量在1000左右，同时所述集群设备Q对应的业务场景信息为银行支付业务，则调用所述集群设备Q执行完所述模拟任务A1、B1及C1之后，获得所述集群设备Q的相关线上压力模拟信息为银行的支付吞吐量和支付响应时长，基于所述支付吞吐量和所述支付响应时长，测试人员可以判断出所述集群设备模拟的线上压力，有效地提高了分布式文件系统线上压力模拟测试的准确度和测试效率，从而避免了测试人员在激发压力测试时需要对业务的理解和对测试程序的复杂的部署，有效地降低压力测试成本。

图5示出根据本申请一个方面的一种用于进行分布式文件系统线上压力模拟测试的设备的结构示意图。该设备包括获取装置11、生成装置12和模拟装置13。

其中，所述获取装置11获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息；所述生成装置12基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务；所述模拟装置13调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息。

在此，所述设备1包括但不限于客户设备、网络设备以及客户设备与网络设备通过网络相集成所构成的设备。所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备1还可以是运行于所述用户设备与网络设备通过网络相集成所构成的设备上的脚本程序。当然，本领域技术人员应能理解上述设备1仅为举例，其他现有的或今后可能出现的所述设备1如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

上述各装置之间是持续不断工作的，在此，本领域技术人员应理解“持续”是指上述各装置分别实时地或者按照设定的或实时调整的工作模式要求。

需要说明的是，所述获取装置11中的所述线上日志包括所述分布式文件系统中的被测试业务场景中的相关的业务场景信息的日志，其中，所述线上日志可以是包括但不限于包括是二进制日志和日志事件。当然，其他现有的或今后可能出现的所述线上日志如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

需要说明的是，所述获取装置11中的所述测试维度可以是包括但不限于包括所述分布式文件系统中的一个被测试业务场景。优选地，所述测试维度对应一个或多个基本操作对应的最小执行单元。其中，所述基本操作包括创建文件、复制数据信息、设置存储路径及访问权限等信息。当然，其他现有的或今后可能出现的所述测试维度如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

进一步地，所述获取装置11包括设备获取单元111、日志获取单元112和信息获取单元113，如图6所示，图6示出根据本申请一个方面的一种线上压力模拟测试的设备中的获取装置11的结构示意图。其中，所述设备获取单元111获取来自用户设备的测试请求，基于所述测试请求确定待测试的所述集群设备；所述日志获取单元112从所述集群设备中获取所述线上日志；所述信息获取单元113基于所述线上日志获取至少一个所述测试维度及其对应数据信息。

需要说明的是，所述设备获取单元111中的所述用户设备的测试请求可以时包括但不限于包括是用户通过灵活的配置方式提交的配置文件信息和对所述分布式文件系统中的被测试业务场景进行测试的请求信息等。其中，所述配置文件信息包括待测试的所述集群设备及其待测试的场景、执行位置信息、所述线上日志及其日志时间等。在本申请的一个优选实施例中，优选所述配置文件信息作为本申请的所述测试请求的一个优选实施例。当然，本领域技术人员应能理解上述所述配置文件信息仅为本申请的一个优选实施例，其他现有的或今后可能出现的所述测试请求如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的一个优选实施例中，在所述设备获取单元111中获取来自用户设备提交的配置文件信息后，基于所述配置文件信息中的执行位置信息确定待测试的所述集群设备；接着，所述日志获取单元112从所述确定的待测试的所述集群设备中获取与分布式文件系统相关的所述线上日志；最后，所述信息获取单元113对所述线上日志中的所述测试维度对应的变化的数据信息进行提取，以获取至少一个所述测试维度及其对应数据信息。

进一步地，所述信息获取单元113包括业务信息获取子单元(未示出)和数据信息获取子单元(未示出)，其中，所述业务信息获取子单元(未示出)基于所述线上日志，确定待测试的所述集群设备对应的集群业务信息；所述数据信息获取子单元(未示出)基于所述集群业务信息获取至少一个所述测试维度及其对应数据信息。

需要说明的是，所述集群业务信息可以是包括但不限于是所述集群设备中的被测业务场景对应的业务特征信息，其中，基于所述集群业务信息可以获取到相应的所述测试维度。当然，其他现有的或今后可能出现的所述集群业务信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

例如，基于所述线上日志反映出待测试的所述集群设备是进行文件的创建，则所述集群设备的集群业务信息包括创建文件的长度信息、创建文件的数量信息以及创建文件的大小信息等。

在本申请的实施例中，所述业务信息获取子单元(未示出)对所述线上日志进行分析，确定待测试的所述集群设备对应的集群业务信息，所述数据信息获取子单元(未示出)基于所述集群业务信息获取至少一个所述测试维度及其对应变化的数据信息。

例如，在所述业务信息获取子单元(未示出)中对所述线上日志进行分析，所述线上日志反映出待测试的所述集群设备对应的被测试场景是处理访问请求，则基于所述线上日志确定出待测试的所述集群设备对应的集群业务信息包括处理吞吐量、处理正确度及访问响应时长等，在所述数据信息获取子单元(未示出)中，基于所述集群业务信息获取所述集群设备在处理访问请求过程中的所述处理吞吐量及其对应的变化的数据信息、所述处理正确度及其对应的变化的数据信息以及所述访问响应时长及其对应的变化的数据信息。

进一步地，所述生成装置12包括计算单元121、步骤S122和步骤S123，如图7所示，图7示出根据本申请一个方面的一种用于进行分布式文件系统线上压力模拟测试的设备中的生成装置12的结构示意图。

所述计算单元121获取至少一个所述模拟分布模型，并分别与所述测试维度对应的数据信息进行相似度计算，确定对应所述测试维度与所述模拟分布模型的相似度信息；所述确定单元122基于所述相似度信息，确定对应所述测试维度的模拟分布模型；所述生成单元123基于所述测试分布模型，生成对应所述测试维度的模拟任务。

需要说明的是，所述计算单元121中的所述模拟分布模型可以是包括但不限于包括是根据系统或过程的特性，按一定规律用计算机程序语言模拟系统原型的数学分布，其中，所述数学分布包括柯西分布、经验分布、指数分布、几何分布、正态分布、对数正态分布、泊松分布、均匀分布及常数分布等。当然，其他现有的或今后可能出现的所述模拟分布模型如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

需要说明的是，所述计算单元121中的所述相似度计算可以是包括但不限于包括是皮尔逊相关系数(Pearson Correlation Coefficient)、欧几里德距离(EuclideanDistance)、余弦相似度(Cosine Similarity)、秩相关系数(Spearman Correlation)、对数似然相似度及曼哈顿距离等。当然，其他现有的或今后可能出现的所述相似度计算如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的实施例中，若所述计算单元121获取的所述模拟分布模型有如下四个，分别为柯西分布、指数分布、正态分布以及对数分布，将所述测试维度a对应的变化的数据信息分别与所述模拟分布模型进行相似度计算，得到对应所述测试维度a与所述柯西分布的相似度信息为55％，对应所述测试维度a与所述指数分布的相似度信息为98％，对应所述测试维度a与所述正态分布的相似度信息为72％，对应所述测试维度a与所述对数分布的相似度信息为72％；在所述确定单元122中基于所述相似度信息，将相似度信息最高为98％时对应的所述指数分布确定为对应所述测试维度a的模拟分布模型，即所述测试维度a的模拟分布模型为所述指数分布；在所述生成单元123中基于所述测试维度及其模拟分布模型，生成对应所述测试维度的模拟任务。

进一步地，所述计算单元121包括模型获取子单元(未示出)和计算子单元(未示出)，其中，所述模型获取子单元(未示出)获取模型存储路径，基于所述模型存储路径获取至少一个所述模拟分布模型；所述计算子单元(未示出)将所有所述模拟分布模型分别与所述测试维度对应的数据信息进行相似度计算，以确定对应所述测试维度与所述模拟分布模型的相似度信息。

需要说明的是，所述模型获取子单元(未示出)中的所述模型存储路径可以是包括但不限于包括单独存储所述模拟分布模型的存储文件路径和记录在所述测试请求中，以便从所述测试请求中快速调用所述模拟分布模型进行相似度计算。在本申请的一个优选实施例中，优选所述模型存储路径记录在所述测试请求中，以便从所述测试请求中快速调用所述模拟分布模型进行相似度计算，则优选的记录于所述测试请求中的所述模拟存储路径作为本申请的所述模型存储路径的一个优选实施例。当然，本领域技术人员应能理解上述记录于所述测试请求中的所述模拟存储路径仅为本申请的一个优选实施例，其他现有的或今后可能出现的所述模型存储路径如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的一个优选实施例中，在所述模型获取子单元(未示出)中根据所述测试请求中的所述模拟存储路径获取至少一个所述模拟分布模型，以对所述线上日志中的所有所述测试维度及其对应的变化的数据信息进行相似度计算；在所述计算子单元(未示出)中将获取的所有所述模拟分布模型分别与所述测试维度对应的变化的数据信息进行相似度计算，以确定对应所述测试维度与所述模拟分布模型的相似度信息。

进一步地，所述生成单元123包括环境获取子单元(未示出)和任务生成子单元(未示出)，其中，所述环境获取子单元(未示出)获取待测试的所述集群设备所在集群的集群环境信息；所述任务生成子单元(未示出)基于所述集群环境信息和所述测试维度的模拟分布模型，生成对应所述测试维度的模拟任务。

需要说明的是，所述环境获取子单元(未示出)中的所述集群环境信息可以是包括但不限于包括是所述集群设备所在的集群上的不同规模的环境信息、所述集群设备所在的集群上的模拟用户数量及所述集群设备中的业务场景信息等。当然，其他现有的或今后可能出现的所述集群环境信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的实施例中，在所述环境获取子单元(未示出)中获取待测试的所述集群设备所在集群的集群规模信息、模拟用户数量及所述业务场景信息等；在所述任务生成子单元(未示出)中基于所述集群环境信息和所述测试维度的模拟分布模型，生成对应所述测试维度的模拟任务。

例如，在所述环境获取子单元(未示出)中获取的待测试的集群设备所在集群的集群规模信息为整个上海市，模拟用户数量为1000万，所述业务场景信息为接收呼叫请求；在所述任务生成子单元(未示出)中基于所述集群环境信息和所述集群设备对应的所述测试维度及其模拟分布模型，生成对应所述测试维度的模拟任务。

进一步地，根据本申请的实施例提供的一种用于进行分布式文件系统线上压力模拟测试的方法，还包括：部署装置(未示出)，用于基于所述集群环境信息，将所述模拟任务部署到待测试的所述集群设备。

在本申请的实施例中，基于所述集群设备所在的集群上的不同规模的环境信息、所述集群设备所在的集群上的模拟用户数量及素数集群设备中的业务场景信息，将所述模拟任务部署到待测试的所述集群设备。

例如，若所述集群设备P所在的集群规模为一个省，且模拟用户数量高达1000万，同时所述集群设备P对应的业务场景信息为存储用户文件，则确定出所述与存储用户文件有关的所述测试维度，则所述测试维度有存储文件大小、存储文件数量及存储文件长度，则所述集群设备P中包括至少一个所述测试维度及其模拟分布模型，即所述集群设备P同时执行所述集群业务场景对应的至少一个模拟任务；则将所述存储用户文件对应的所述存储文件大小及其模拟分布模型对应的模拟任务A，所述存储文件数量及其模拟分布模型对应的模拟任务B及所述存储文件长度及其模拟分布模型对应的模拟任务C一起部署到待测试的所述集群设备P中。

又例如，若所述集群设备Q所在的集群规模为一个生活小区，且模拟用户数量在1000左右，同时所述集群设备Q对应的业务场景信息为银行支付业务，则与所述银行支付业务有关的所述测试维度有创建支付文件，支付吞吐量以及支付响应时长。基于所述集群设备Q所在的集群环境信息，将所述创建支付文件的模拟分布模型对应的模拟任务A1、所述支付吞吐量的模拟分布模型对应的模拟任务B1及所述支付响应时长的模拟分布模型对应的模拟任务C1一起部署到待测试的所述集群设备Q中。

进一步地，所述模拟装置13包括模拟调用单元131和压力获取单元132，如图8所示，图8示出根据本申请一个方面的一种线上压力模拟测试的设备中的模拟装置13的结构示意图。其中，所述模拟调用单元131基于所述测试维度的模拟任务，调用所述分布式文件系统中待测试的所述集群设备，以待所述集群设备执行各所述测试维度的模拟任务；所述压力获取单元132获取所有所述集群设备的相关线上压力模拟信息。

接着本申请的上述实施例，在所述模拟调用单元131中基于所述创建支付文件的模拟分布模型对应的模拟任务A1、所述支付吞吐量的模拟分布模型对应的模拟任务B1及所述支付响应时长的模拟分布模型对应的模拟任务C1，调用所述分布式文件系统中待测试的所述集群设备Q，以待所述集群设备Q执行各所述测试维度对应的模拟任务；待所述集群设备Q执行完成所有的所述模拟任务后，在所述压力获取单元132中获取所有所述集群设备的相关线上压力模拟信息。

进一步地，所述相关线上压力模拟信息包括以下至少任一项：测试正确率、测试响应时间、吞吐量及所述集群设备负载。

接着本申请的上述实施例，若所述集群设备Q所在的集群规模为一个生活小区，且模拟用户数量在1000左右，同时所述集群设备Q对应的业务场景信息为银行支付业务，则调用所述集群设备Q执行完所述模拟任务A1、B1及C1之后，获得所述集群设备Q的相关线上压力模拟信息为银行的支付吞吐量和支付响应时长，基于所述支付吞吐量和所述支付响应时长，测试人员可以判断出所述集群设备模拟的线上压力，有效地提高了分布式文件系统线上压力模拟测试的准确度和测试效率，从而避免了测试人员在激发压力测试时需要对业务的理解和对测试程序的复杂的部署，有效地降低压力测试成本。

此外，本申请还提供了一种线上压力模拟测试的设备，包括：

处理器；

以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息；

基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务；

调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息。

与现有技术相比，根据本申请的实施例提供的一种用于进行分布式文件系统线上压力模拟测试的方法和设备，通过获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息；基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务；调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息。由于通过获取分布式文件系统的线上日志，通过分析所述线上日志并获取所述线上日志中的测试维度对应的模拟分布模型，从而避免了测试人员在激发压力测试时需要对业务的理解和对测试程序的复杂的部署，有效地降低压力测试成本；基于所述测试分布模型，生成对应所述测试维度的模拟任务，并调用分布式文件系统中待测试的所述集群设备进行执行，从而获得所述集群设备的相关线上压力模拟信息，有效地提高了分布式文件系统线上压力模拟测试的准确度和测试效率。

进一步地，根据本申请的实施例提供的一种用于进行分布式文件系统线上压力模拟测试的方法和设备，所述基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务包括：获取至少一个所述模拟分布模型，并分别与所述测试维度对应的数据信息进行相似度计算，确定对应所述测试维度与所述模拟分布模型的相似度信息；基于所述相似度信息，确定对应所述测试维度的模拟分布模型；基于所述测试分布模型，生成对应所述测试维度的模拟任务。由于将所述线上日志中的测试维度及其数据信息分别与至少一个所述模拟分布模型进行相似度计算，基于相似度信息，将相似度最高的所述模拟分布模型确定为所述测试维度的模拟分布模型，并基于所述模拟分布模型生成对应所述测试维度的模拟任务，以待待测试的所述集群设备进行线上压力模拟测试，有效地提高了分布式文件系统线上压力模拟测试的准确度和测试效率。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (19)

1.一种线上压力模拟测试的方法，其中，所述方法包括：

获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息；

基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务；

调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息。

2.根据权利要求1所述的方法，其中，所述获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息包括：

获取来自用户设备的测试请求，基于所述测试请求确定待测试的所述集群设备；

从所述集群设备中获取所述线上日志；

基于所述线上日志获取至少一个所述测试维度及其对应数据信息。

3.根据权利要求2所述的方法，其中，所述基于所述线上日志获取至少一个所述测试维度及其对应数据信息包括：

基于所述线上日志，确定待测试的所述集群设备对应的集群业务信息；

基于所述集群业务信息获取至少一个所述测试维度及其对应数据信息。

4.根据权利要求1所述的方法，其中，所述基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务包括：

获取至少一个所述模拟分布模型，并分别与所述测试维度对应的数据信息进行相似度计算，确定对应所述测试维度与所述模拟分布模型的相似度信息；

基于所述相似度信息，确定对应所述测试维度的模拟分布模型；

基于所述测试分布模型，生成对应所述测试维度的模拟任务。

5.根据权利要求4所述的方法，其中，所述获取至少一个所述模拟分布模型，并分别与所述测试维度对应的数据信息进行相似度计算，确定对应所述测试维度与所述模拟分布模型的相似度信息包括：

获取模型存储路径，基于所述模型存储路径获取至少一个所述模拟分布模型；

将所有所述模拟分布模型分别与所述测试维度对应的数据信息进行相似度计算，以确定对应所述测试维度与所述模拟分布模型的相似度信息。

6.根据权利要求4所述的方法，其中，所述基于所述测试分布模型，生成对应所述测试维度的模拟任务包括：

获取待测试的所述集群设备所在集群的集群环境信息；

基于所述集群环境信息和所述测试维度的模拟分布模型，生成对应所述测试维度的模拟任务。

7.根据权利要求6所述的方法，其中，所述方法还包括：

基于所述集群环境信息，将所述模拟任务部署到待测试的所述集群设备。

8.根据权利要求1所述的方法，其中，所述调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息包括：

基于所述测试维度的模拟任务，调用所述分布式文件系统中待测试的所述集群设备，以待所述集群设备执行各所述测试维度的模拟任务；

获取所有所述集群设备的相关线上压力模拟信息。

9.根据权利要求1至8中任一项所述的方法，其中，所述相关线上压力模拟信息包括以下至少任一项：

测试正确率、测试响应时间、吞吐量及所述集群设备负载。

10.一种线上压力模拟测试的设备，其中，所述设备包括：

获取装置，用于获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息；

生成装置，用于基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务；

模拟装置，用于调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息。

11.根据权利要求10所述的设备，其中，所述获取装置包括：

设备获取单元，用于获取来自用户设备的测试请求，基于所述测试请求确定待测试的所述集群设备；

日志获取单元，用于从所述集群设备中获取所述线上日志；

信息获取单元，用于基于所述线上日志获取至少一个所述测试维度及其对应数据信息。

12.根据权利要求11所述的设备，其中，所述信息获取单元包括：

业务信息获取子单元，用于基于所述线上日志，确定待测试的所述集群设备对应的集群业务信息；

数据信息获取子单元，用于基于所述集群业务信息获取至少一个所述测试维度及其对应数据信息。

13.根据权利要求10所述的设备，其中，所述生成装置包括：

计算单元，用于获取至少一个所述模拟分布模型，并分别与所述测试维度对应的数据信息进行相似度计算，确定对应所述测试维度与所述模拟分布模型的相似度信息；

确定单元，用于基于所述相似度信息，确定对应所述测试维度的模拟分布模型；

生成单元，用于基于所述测试分布模型，生成对应所述测试维度的模拟任务。

14.根据权利要求13所述的设备，其中，所述计算单元包括：

模型获取子单元，用于获取模型存储路径，基于所述模型存储路径获取至少一个所述模拟分布模型；

计算子单元，用于将所有所述模拟分布模型分别与所述测试维度对应的数据信息进行相似度计算，以确定对应所述测试维度与所述模拟分布模型的相似度信息。

15.根据权利要求13所述的设备，其中，所述生成单元包括：

环境获取子单元，用于获取待测试的所述集群设备所在集群的集群环境信息；

任务生成子单元，用于基于所述集群环境信息和所述测试维度的模拟分布模型，生成对应所述测试维度的模拟任务。

16.根据权利要求15所述的设备，其中，所述设备还包括：

部署装置，用于基于所述集群环境信息，将所述模拟任务部署到待测试的所述集群设备。

17.根据权利要求10所述的设备，其中，所述模拟装置包括：

模拟调用单元，用于基于所述测试维度的模拟任务，调用所述分布式文件系统中待测试的所述集群设备，以待所述集群设备执行各所述测试维度的模拟任务；

压力获取单元，用于获取所有所述集群设备的相关线上压力模拟信息。

18.根据权利要求10至17中任一项所述的设备，其中，所述相关线上压力模拟信息包括以下至少任一项：

测试正确率、测试响应时间、吞吐量及所述集群设备负载。

19.一种线上压力模拟测试的设备，其中，包括：

处理器；

以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

获取分布式文件系统的线上日志，并基于所述线上日志获取至少一个测试维度及其对应数据信息；

基于所述数据信息确定对应所述测试维度的模拟分布模型，并基于所述测试分布模型，生成对应所述测试维度的模拟任务；

调用所述分布式文件系统中待测试的集群设备执行各所述测试维度的模拟任务，并获取所述集群设备的相关线上压力模拟信息。