CN107277146A - 一种分布式存储业务流量模型生成方法及系统 - Google Patents

Abstract

本发明涉及存储技术领域，提供一种分布式存储业务流量模型生成方法及系统，所述方法包括下述步骤：识别调用统计接口的触发动作；当识别到调用统计接口的触发动作时，判断存储系统当前所处的运行环境；当所述运行环境为业务测试环境时，通过所述统计接口调用预先定义的统计函数，对文件操作信息进行统计，生成分布式存储业务流量模型；当所述运行环境为生产环境时，通过所述统计接口调用预先定义的空函数，运行所述空函数，并返回成功的信息，实现对分布式存储系统业务流量数据的统计，即分布式存储业务流量模型的建立，为存储系统参数配置提供参考依据，同时也为模拟业务压力测试提供数据来源。

Description

一种分布式存储业务流量模型生成方法及系统

技术领域

本发明属于存储技术领域，尤其涉及一种分布式存储业务流量模型生成方法及系统。

背景技术

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

分布式存储系统在应用于不同的场景时，需要不同的参数或者方案进行配置，同时在测试分布式存储系统时，也要有对应的业务流量进行模拟测试，但是当前无具体的数据来支撑存储系统参数配置，需要较多的验证结果来证明参数配置正确性。而且不同客户使用的业务软件并不完全相同，表面上无法确定是否为同一业务流量模型，一次调优参数配置后，无法完全复制到其他客户应用。

发明内容

本发明的目的在于提供一种可为存储系统参数配置提供参考依据和为模拟业务流量测试提供数据源的分布式存储业务流量模型生成方法。

本发明是这样实现的，一种分布式存储业务流量模型生成方法，所述方法包括下述步骤：

识别调用统计接口的触发动作，所述触发动作包括业务应用的文件操作和文件信息变化调整动作；

当识别到调用统计接口的触发动作时，判断存储系统当前所处的运行环境，所述运行环境包括业务测试环境和生产环境；

当所述运行环境为业务测试环境时，通过所述统计接口调用预先定义的统计函数，对文件操作信息进行统计，生成分布式存储业务流量模型；

当所述运行环境为生产环境时，通过所述统计接口调用预先定义的空函数，运行所述空函数，并返回成功的信息。

作为一种改进的方案，所述业务应用包括网盘、视频、图片编辑和文件共享；

所述业务应用的文件操作信息包括文件打开、文件读、文件写、文件关闭和文件开始；

所述文件信息变化包括文件大小变化和文件权限属性变化。

作为一种改进的方案，所述方法还包括下述步骤：

预先对所述统计接口、空函数和统计函数进行定义，并存储在指定位置。

作为一种改进的方案，所述对文件操作信息进行统计，生成分布式存储业务流量模型的步骤具体包括下述步骤：

从不同纬度对业务应用的文件操作信息和文件信息变化调整信息进行统计；

获取单位时间内各种文件操作信息的统计数据，生成所述分布式存储业务流量模型。

作为一种改进的方案，所述获取单位时间内各种文件操作信息的统计数据，生成所述分布式存储业务流量模型的步骤之后还包括下述步骤：

输出单位时间内各种文件操作信息的统计数据。

本发明的另一目的在于提供一种分布式存储业务流量模型生成系统，所述系统包括：

触发动作识别模块，用于识别调用统计接口的触发动作，所述触发动作包括业务应用的文件操作和文件信息变化调整动作；

运行环境判断模块，用于当所述触发动作识别模块识别到调用统计接口的触发动作时，判断存储系统当前所处的运行环境，所述运行环境包括业务测试环境和生产环境；

流量模型生成模块，用于当所述运行环境判断模块判断运行环境为业务测试环境时，通过所述统计接口调用预先定义的统计函数，对文件操作信息进行统计，生成分布式存储业务流量模型；

空函数调用执行模块，用于当所述运行环境判断模块判断运行环境为生产环境时，通过所述统计接口调用预先定义的空函数，运行所述空函数，并返回成功的信息。

作为一种改进的方案，所述业务应用包括网盘、视频、图片编辑和文件共享；

所述业务应用的文件操作信息包括文件打开、文件读、文件写、文件关闭和文件开始；

所述文件信息变化包括文件大小变化和文件权限属性变化。

作为一种改进的方案，所述系统还包括：

预先定义模块，用于预先对所述统计接口、空函数和统计函数进行定义，并存储在指定位置。

作为一种改进的方案，所述流量模型生成模块具体包括：

统计模块，用于从不同纬度对业务应用的文件操作信息和文件信息变化调整信息进行统计；

模型生成模块，用于获取单位时间内各种文件操作信息的统计数据，生成所述分布式存储业务流量模型。

作为一种改进的方案，所述系统还包括：

统计数据输出模块，用于输出单位时间内各种文件操作信息的统计数据。

在本发明中，识别调用统计接口的触发动作；当识别到调用统计接口的触发动作时，判断存储系统当前所处的运行环境；当所述运行环境为业务测试环境时，通过所述统计接口调用预先定义的统计函数，对文件操作信息进行统计，生成分布式存储业务流量模型；当所述运行环境为生产环境时，通过所述统计接口调用预先定义的空函数，运行所述空函数，并返回成功的信息，实现对分布式存储系统业务流量数据的统计，即分布式存储业务流量模型的建立，为存储系统参数配置提供参考依据，同时也为模拟业务压力测试提供数据来源。

附图说明

图1是本发明提供的分布式存储业务流量模型生成方法的实现流程图；

图2是本发明提供的分布式存储业务流量模型生成系统的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明提供的分布式存储业务流量模型生成方法的实现流程图，其具体包括下述步骤：

在步骤S101中，识别调用统计接口的触发动作，所述触发动作包括业务应用的文件操作和文件信息变化调整动作。

其中，所述业务应用主要是文件操作类的应用，具体包括网盘、视频、图片编辑和文件共享；当然也可以包括其他内容，在此不再赘述。

所述业务应用的文件操作信息包括文件打开、文件读、文件写、文件关闭和文件开始；

所述文件信息变化包括文件大小变化和文件权限属性变化。

在步骤S102中，当识别到调用统计接口的触发动作时，判断存储系统当前所处的运行环境，所述运行环境包括业务测试环境和生产环境。

在步骤S103中，当所述运行环境为业务测试环境时，通过所述统计接口调用预先定义的统计函数，对文件操作信息进行统计，生成分布式存储业务流量模型。

在步骤S104中，当所述运行环境为生产环境时，通过所述统计接口调用预先定义的空函数，运行所述空函数，并返回成功的信息。

其中，不管存储系统当前所处的运行环境为何种类型，均需要执行调用上述统计接口的步骤，在此不再赘述。

在本发明实施例中，在执行上述步骤S101之前还需要执行下述步骤：

预先对所述统计接口、空函数和统计函数进行定义，并存储在指定位置。

其中，该空函数，即为不执行任何操作的函数，操作流程到此结束；该统计函数主要用于对上述文件操作信息进行统计，在此不再赘述。

在本发明实施例中，上述步骤对文件操作信息进行统计，生成分布式存储业务流量模型具体包括下述步骤：

(1)从不同纬度对业务应用的文件操作信息和文件信息变化调整信息进行统计；

(2)获取单位时间内各种文件操作信息的统计数据，生成所述分布式存储业务流量模型；

其中，该分布式存储业务流量模型即为一些统计数据的组合，例如大小文件比例、单位时间每个文件写入数据量(码率大小)和业务应用的读写比例等。

在上述步骤(2)之后还包括下述步骤：

输出单位时间内各种文件操作信息的统计数据，以便操作人员查看或者起到提醒作用。

当然，可以在上述流程中添加查询的步骤，具体为：当分布式存储业务流量模型建立后，可以提供查询服务，根据操作人员的查询请求，从模型统计数据中调用相应的文件操作信息展示给操作人员，在此不再赘述。

图2示出了本发明提供的分布式存储业务流量模型生成系统的结构框图，为了便于说明，图中仅给出了与本发明相关的部分。

触发动作识别模块11，用于识别调用统计接口的触发动作，所述触发动作包括业务应用的文件操作和文件信息变化调整动作；

运行环境判断模块12，用于当所述触发动作识别模块识别到调用统计接口的触发动作时，判断存储系统当前所处的运行环境，所述运行环境包括业务测试环境和生产环境；

流量模型生成模块13，用于当所述运行环境判断模块判断运行环境为业务测试环境时，通过所述统计接口调用预先定义的统计函数，对文件操作信息进行统计，生成分布式存储业务流量模型；

空函数调用执行模块14，用于当所述运行环境判断模块判断运行环境为生产环境时，通过所述统计接口调用预先定义的空函数，运行所述空函数，并返回成功的信息。

在该实施例中，业务应用包括网盘、视频、图片编辑和文件共享；

所述业务应用的文件操作信息包括文件打开、文件读、文件写、文件关闭和文件开始；

所述文件信息变化包括文件大小变化和文件权限属性变化。

在本发明实施例中，预先定义模块15，用于预先对所述统计接口、空函数和统计函数进行定义，并存储在指定位置。

上述流量模型生成模块13具体包括：

统计模块16，用于从不同纬度对业务应用的文件操作信息和文件信息变化调整信息进行统计；

模型生成模块17，用于获取单位时间内各种文件操作信息的统计数据，生成所述分布式存储业务流量模型。

在本发明实施例中，分布式存储业务流量模型生成系统还包括：

统计数据输出模块18，用于输出单位时间内各种文件操作信息的统计数据

其中，上述各个模块的结构如上述方法实施例所记载，在此不再赘述。

在本发明中，识别调用统计接口的触发动作；当识别到调用统计接口的触发动作时，判断存储系统当前所处的运行环境；当所述运行环境为业务测试环境时，通过所述统计接口调用预先定义的统计函数，对文件操作信息进行统计，生成分布式存储业务流量模型；当所述运行环境为生产环境时，通过所述统计接口调用预先定义的空函数，运行所述空函数，并返回成功的信息，实现对分布式存储系统业务流量数据的统计，即分布式存储业务流量模型的建立，为存储系统参数配置提供参考依据，同时也为模拟业务压力测试提供数据来源。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式存储业务流量模型生成方法，其特征在于，所述方法包括下述步骤：

识别调用统计接口的触发动作，所述触发动作包括业务应用的文件操作和文件信息变化调整动作；

当识别到调用统计接口的触发动作时，判断存储系统当前所处的运行环境，所述运行环境包括业务测试环境和生产环境；

当所述运行环境为业务测试环境时，通过所述统计接口调用预先定义的统计函数，对文件操作信息进行统计，生成分布式存储业务流量模型；

当所述运行环境为生产环境时，通过所述统计接口调用预先定义的空函数，运行所述空函数，并返回成功的信息。

2.根据权利要求1所述的分布式存储业务流量模型生成方法，其特征在于，所述业务应用包括网盘、视频、图片编辑和文件共享；

所述业务应用的文件操作信息包括文件打开、文件读、文件写、文件关闭和文件开始；

所述文件信息变化包括文件大小变化和文件权限属性变化。

3.根据权利要求1所述的分布式存储业务流量模型生成方法，其特征在于，所述方法还包括下述步骤：

预先对所述统计接口、空函数和统计函数进行定义，并存储在指定位置。

4.根据权利要求1所述的分布式存储业务流量模型生成方法，其特征在于，所述对文件操作信息进行统计，生成分布式存储业务流量模型的步骤具体包括下述步骤：

从不同纬度对业务应用的文件操作信息和文件信息变化调整信息进行统计；

获取单位时间内各种文件操作信息的统计数据，生成所述分布式存储业务流量模型。

5.根据权利要求1所述的分布式存储业务流量模型生成方法，其特征在于，所述获取单位时间内各种文件操作信息的统计数据，生成所述分布式存储业务流量模型的步骤之后还包括下述步骤：

输出单位时间内各种文件操作信息的统计数据。

6.一种分布式存储业务流量模型生成系统，其特征在于，所述系统包括：

触发动作识别模块，用于识别调用统计接口的触发动作，所述触发动作包括业务应用的文件操作和文件信息变化调整动作；

运行环境判断模块，用于当所述触发动作识别模块识别到调用统计接口的触发动作时，判断存储系统当前所处的运行环境，所述运行环境包括业务测试环境和生产环境；

流量模型生成模块，用于当所述运行环境判断模块判断运行环境为业务测试环境时，通过所述统计接口调用预先定义的统计函数，对文件操作信息进行统计，生成分布式存储业务流量模型；

空函数调用执行模块，用于当所述运行环境判断模块判断运行环境为生产环境时，通过所述统计接口调用预先定义的空函数，运行所述空函数，并返回成功的信息。

7.根据权利要求6所述的分布式存储业务流量模型生成系统，其特征在于，所述业务应用包括网盘、视频、图片编辑和文件共享；

所述业务应用的文件操作信息包括文件打开、文件读、文件写、文件关闭和文件开始；

所述文件信息变化包括文件大小变化和文件权限属性变化。

8.根据权利要求6所述的分布式存储业务流量模型生成系统，其特征在于，所述系统还包括：

预先定义模块，用于预先对所述统计接口、空函数和统计函数进行定义，并存储在指定位置。

9.根据权利要求6所述的分布式存储业务流量模型生成系统，其特征在于，所述流量模型生成模块具体包括：

统计模块，用于从不同纬度对业务应用的文件操作信息和文件信息变化调整信息进行统计；

模型生成模块，用于获取单位时间内各种文件操作信息的统计数据，生成所述分布式存储业务流量模型。

10.根据权利要求6所述的分布式存储业务流量模型生成系统，其特征在于，所述系统还包括：

统计数据输出模块，用于输出单位时间内各种文件操作信息的统计数据。