CN113886207A - 一种基于卷积神经网络的存储系统性能预测方法及装置 - Google Patents
一种基于卷积神经网络的存储系统性能预测方法及装置 Download PDFInfo
- Publication number
- CN113886207A CN113886207A CN202111176720.XA CN202111176720A CN113886207A CN 113886207 A CN113886207 A CN 113886207A CN 202111176720 A CN202111176720 A CN 202111176720A CN 113886207 A CN113886207 A CN 113886207A
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- network model
- iops
- vbench
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 91
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000011056 performance test Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000010606 normalization Methods 0.000 claims abstract description 19
- 238000011176 pooling Methods 0.000 claims abstract description 19
- 238000012216 screening Methods 0.000 claims abstract description 10
- 238000012795 verification Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 8
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3485—Performance evaluation by tracing or monitoring for I/O devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种基于卷积神经网络的存储系统性能预测方法及装置，所述方法步骤：通过IO性能测试工具对存储进行压力测试，采集不同IOPS值及对应IO性能测试工具的参数指标，作为样本数据集；将样本数据集进行归一化处理，并按照预设比例划分为训练集和测试集；将训练集数据输入到卷积神经网络模型，通过设定层级的卷积和池化对卷积神经网络进行调优筛选，得到训练好的卷积神经网络模型；将测试集数据输入到卷积神经网络模型对存储性能进行预测，并对卷积神经网络模型进行验证。本发明通过训练好的卷积神经网络模型，对存储的IOPS值进行预测，提前了解IOPS性能趋势，对业务系统的负载能力进行预判，从而提高运维效率。
Description
技术领域
本发明属于存储性能预测技术领域，具体涉及一种基于卷积神经网络的存储系统性能预测方法及装置。
背景技术
性能是存储系统提供的最重要能力之一，对数据中心的顺畅运维非常关键。作为IT系统IO栈的基座，存储如果出现性能问题，会导致上层应用的一系列问题，通常而言这些问题都非常难定位，往往需要全栈性能分析。因此对数据中心的运维人员，如何避免性能问题，确保存储性能满足业务系统的需求是一个重大挑战。
解决存储系统性能问题的前提，是对存储系统的性能需求有明确的了解，并能准确预测未来需求。业务系统的性能需求非常复杂，不同的业务系统有不同诉求，例如IOPS、带宽和时延；同一个业务系统在不同时间段有不同诉求，例如：工作时间与非工作时间，交易业务与月度/季度/年度结算等；随着企业发展，业务系统的性能诉求也在不断变化，例如如客户量提升带来的性能要求变化。这就导致很难通过人工来管理和预测性能变化，从而提前准备预案，例如存储扩容，业务迁移、均衡等。这也加大了出现性能问题的概率，增加了数据中心的运维成本。
此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种基于卷积神经网络的存储系统性能预测方法及装置，是非常有必要的。
发明内容
针对现有技术的上述不同业务系统对存储系统的性能需求不同，同一业务系统不同阶段对存储系统的性能需求也不同，而存储系统的性能变化很难通过人工进行管理和预测，从而加大了出现性能问题的概率，增加数据中心运维成本的缺陷，本发明提供一种基于卷积神经网络的存储系统性能预测方法及装置，以解决上述技术问题。
第一方面，本发明提供一种基于卷积神经网络的存储系统性能预测方法，包括如下步骤：
S1.通过IO性能测试工具对存储进行压力测试，采集不同IOPS值及对应IO性能测试工具的参数指标，将IO性能测试工具的参数指标作为样本数据集；
S2.将样本数据集进行归一化处理，并按照预设比例划分为训练集和测试集；
S3.将训练集数据输入到卷积神经网络模型，通过设定层级的卷积和池化对卷积神经网络进行调优筛选，得到训练好的卷积神经网络模型；
S4.将测试集数据输入到训练好的卷积神经网络模型对存储性能进行预测，并将预测的存储性能与实际存储性能进行比对，对卷积神经网络模型进行验证。
进一步地，步骤S1具体步骤如下：
S11.对IO性能测试工具vbench的参数设置不同指标；所述vbench参数包括存储定义、主机定义、工作负载定义以及运行定义；
S12.分别将每一组vbench参数的指标作为输入，对存储进行压力测试，得到不同的IOPS值；
S13.采集存储压力测试的所有IOPS值及对应vbench的参数的指标，各vbench参数的指标生成样本数据集。vbench为常用的IO性能测试工具，通过该工具对存储进行压力测试，获取IOPS值，测试之前需要为vbench参数设置具体指标值，一组vbench参数对应一组IOPS值作为输出。
进一步地，步骤S2具体步骤如下：
S21.将样本数据集中各vbench参数的指标进行归一化处理；
S22.获取预设划分比例，并按照预设划分比例将样本数据集划分为训练集和测试集。vbench参数的指标进行归一化处理，便于作为卷积神经网络的训练输入，训练集数据用于对卷积神经网络模型训练，而测试集数据用于对训练好的卷积神经网络模型进行验证。
进一步地，步骤S3具体步骤如下：
S31.将训练集数据依次输入到卷积神经网络模型，将输入的vbench参数的指标通过预设层级的卷积层和池化层间隔进行点积计算；
S32.对点积计算的结果在全连接层使用激活函数激活后，输出IOPS预测值；
S33.获取输入的vbench参数的指标对应的实际的IOPS值，通过均方误差损失函数计算实际的IOPS值与IOPS预测值的误差，判断误差是否收敛，并在误差收敛时，记录神经网络卷积模型的权重及偏置常量，得到训练好的卷积神经网络模型。对卷积神经网络进行训练，得到权重的具体值，从而确定训练好的卷积神经网络模型。
进一步地，步骤S4具体步骤如下：
S41.将测试集数据依次输入到卷积神经网络模型，每组vbench参数的指标对应一个IOPS预测值；
S42.获取每组vbench参数的指标对应的实际IOPS值；
S43.验证每组vbench参数的指标的IOPS预测值与实际的IOPS值误差是否小于设定阈值；
若是，进入步骤S44；
若否，返回步骤S31；
S44.判定训练好的卷积神经网络模型通过验证，使用验证通过的卷积神经网络模型对业务系统存储性能进行预测。通过测试集对卷积神经网络对存储性能的预测效果进行检验。
第二方面，本发明提供一种基于卷积神经网络的存储系统性能预测装置，包括：
数据采集模块，用于通过IO性能测试工具对存储进行压力测试，采集不同IOPS值及对应IO性能测试工具的参数指标，将IO性能测试工具的参数指标作为样本数据集；
数据处理及划分模块，用于将样本数据集进行归一化处理，并按照预设比例划分为训练集和测试集；
卷积神经网络模型训练模块，用于将训练集数据输入到卷积神经网络模型，通过设定层级的卷积和池化对卷积神经网络进行调优筛选，得到训练好的卷积神经网络模型；
卷积神经网络模型验证模块，用于将测试集数据输入到训练好的卷积神经网络模型对存储性能进行预测，并将预测的存储性能与实际存储性能进行比对，对卷积神经网络模型进行验证。
进一步地，数据采集模块包括：
参数指标设置单元，用于对IO性能测试工具vbench的参数设置不同指标；所述vbench参数包括存储定义、主机定义、工作负载定义以及运行定义；
压力测试单元，用于分别将每一组vbench参数的指标作为输入，对存储进行压力测试，得到不同的IOPS值；
数据采集单元，用于采集存储压力测试的所有IOPS值及对应vbench的参数的指标，各vbench参数的指标生成样本数据集。vbench为常用的IO性能测试工具，通过该工具对存储进行压力测试，获取IOPS值，测试之前需要为vbench参数设置具体指标值，一组vbench参数对应一组IOPS值作为输出。
进一步地，数据处理及划分模块包括：
数据处理单元，用于将样本数据集中各vbench参数的指标进行归一化处理；
数据集划分单元，用于获取预设划分比例，并按照预设划分比例将样本数据集划分为训练集和测试集。vbench参数的指标进行归一化处理，便于作为卷积神经网络的训练输入，训练集数据用于对卷积神经网络模型训练，而测试集数据用于对训练好的卷积神经网络模型进行验证。
进一步地，卷积神经网络模型训练模块包括：
卷积计算单元，用于将训练集数据依次输入到卷积神经网络模型，将输入的vbench参数的指标通过预设层级的卷积层和池化层间隔进行点积计算；
IOPS预测值输出单元，用于对点积计算的结果在全连接层使用激活函数激活后，输出IOPS预测值；
收敛判断单元，用于获取输入的vbench参数的指标对应的实际的IOPS值，通过均方误差损失函数计算实际的IOPS值与IOPS预测值的误差，判断误差是否收敛，并在误差收敛时，记录神经网络卷积模型的权重及偏置常量，得到训练好的卷积神经网络模型。对卷积神经网络进行训练，得到权重的具体值，从而确定训练好的卷积神经网络模型。
进一步地，卷积神经网络模型验证模块包括：
测试集数据输入单元，用于将测试集数据依次输入到卷积神经网络模型，每组vbench参数的指标对应一个IOPS预测值；
实际IOPS值获取单元，用于获取每组vbench参数的指标对应的实际IOPS值；
预测值与实际值比对单元，用于验证每组vbench参数的指标的IOPS预测值与实际的IOPS值误差是否小于设定阈值；
卷积神经网络模型使用单元，用于判定训练好的卷积神经网络模型通过验证，使用验证通过的卷积神经网络模型对业务系统存储性能进行预测。通过测试集对卷积神经网络对存储性能的预测效果进行检验。
本发明的有益效果在于，
本发明提供的基于卷积神经网络的存储系统性能预测方法及装置，通过IO性能测试工具进行压力测试的参数指标为输入，以存储的IPOS值为输出，对卷积神经网络模型进行训练，利用训练好的卷积神经网络模型对存储的IOPS值进行预测，提前了解IOPS性能趋势，对业务系统的负载能力进行预判，从而提高运维效率。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的基于卷积神经网络的存储系统性能预测方法实施例1流程示意图。
图2是本发明的基于卷积神经网络的存储系统性能预测方法实施例2流程示意图。
图3是本发明的基于卷积神经网络的存储系统性能预测装置示意图。
图中，1-数据采集模块；1.1-参数指标设置单元；1.2-压力测试单元；1.3-数据采集单元；2-数据处理及划分模块；2.1-数据处理单元；2.2-数据集划分单元；3-卷积神经网络模型训练模块；3.1-卷积计算单元；3.2-IOPS预测值输出单元；3.3-收敛判断单元；4-卷积神经网络模型验证模块；4.1-测试集数据输入单元；4.2-实际IOPS值获取单元；4.3-预测值与实际值比对单元；4.4-卷积神经网络模型使用单元。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得。的所有其他实施例，都应当属于本发明保护的范围。
IOPS，IO per second每秒读写次数，存储性能测试方法。
vdbench，是测试IO性能的工具。
实施例1：
如图1所示，本发明提供一种基于卷积神经网络的存储系统性能预测方法，包括如下步骤：
S1.通过IO性能测试工具对存储进行压力测试，采集不同IOPS值及对应IO性能测试工具的参数指标，将IO性能测试工具的参数指标作为样本数据集；
S2.将样本数据集进行归一化处理，并按照预设比例划分为训练集和测试集；
S3.将训练集数据输入到卷积神经网络模型，通过设定层级的卷积和池化对卷积神经网络进行调优筛选，得到训练好的卷积神经网络模型；
S4.将测试集数据输入到训练好的卷积神经网络模型对存储性能进行预测，并将预测的存储性能与实际存储性能进行比对，对卷积神经网络模型进行验证。
本发明提供的基于卷积神经网络的存储系统性能预测方法，通过IO性能测试工具进行压力测试的参数指标为输入，以存储的IPOS值为输出，对卷积神经网络模型进行训练，利用训练好的卷积神经网络模型对存储的IOPS值进行预测，提前了解IOPS性能趋势，对业务系统的负载能力进行预判，从而提高运维效率。
实施例2：
如图2所示，本发明提供一种基于卷积神经网络的存储系统性能预测方法，包括如下步骤：
S1.通过IO性能测试工具对存储进行压力测试，采集不同IOPS值及对应IO性能测试工具的参数指标，将IO性能测试工具的参数指标作为样本数据集；具体步骤如下：
S11.对IO性能测试工具vbench的参数设置不同指标；所述vbench参数包括存储定义、主机定义、工作负载定义以及运行定义；
S12.分别将每一组vbench参数的指标作为输入，对存储进行压力测试，得到不同的IOPS值；
S13.采集存储压力测试的所有IOPS值及对应vbench的参数的指标，各vbench参数的指标生成样本数据集；
S2.将样本数据集进行归一化处理，并按照预设比例划分为训练集和测试集；具体步骤如下：
S21.将样本数据集中各vbench参数的指标进行归一化处理；
S22.获取预设划分比例，并按照预设划分比例将样本数据集划分为训练集和测试集；
S3.将训练集数据输入到卷积神经网络模型，通过设定层级的卷积和池化对卷积神经网络进行调优筛选，得到训练好的卷积神经网络模型；具体步骤如下：
S31.将训练集数据依次输入到卷积神经网络模型，将输入的vbench参数的指标通过预设层级的卷积层和池化层间隔进行点积计算；
S32.对点积计算的结果在全连接层使用激活函数激活后，输出IOPS预测值；
S33.获取输入的vbench参数的指标对应的实际的IOPS值，通过均方误差损失函数计算实际的IOPS值与IOPS预测值的误差，判断误差是否收敛，并在误差收敛时，记录神经网络卷积模型的权重及偏置常量，得到训练好的卷积神经网络模型；
S4.将测试集数据输入到训练好的卷积神经网络模型对存储性能进行预测，并将预测的存储性能与实际存储性能进行比对，对卷积神经网络模型进行验证；具体步骤如下：
S41.将测试集数据依次输入到卷积神经网络模型，每组vbench参数的指标对应一个IOPS预测值；
S42.获取每组vbench参数的指标对应的实际IOPS值；
S43.验证每组vbench参数的指标的IOPS预测值与实际的IOPS值误差是否小于设定阈值；
若是，进入步骤S44；
若否，返回步骤S31；
S44.判定训练好的卷积神经网络模型通过验证，使用验证通过的卷积神经网络模型对业务系统存储性能进行预测。
实施例3：
如图2所示，本发明提供一种基于卷积神经网络的存储系统性能预测方法，包括如下步骤：
S1.通过IO性能测试工具对存储进行压力测试，采集不同IOPS值及对应IO性能测试工具的参数指标，将IO性能测试工具的参数指标作为样本数据集；具体步骤如下：
S11.对IO性能测试工具vbench的参数设置不同指标；所述vbench参数包括存储定义、主机定义、工作负载定义以及运行定义；
S12.分别将每一组vbench参数的指标作为输入，对存储进行压力测试，得到不同的IOPS值；对上述四类参数中不同指标设置不同的值，通过压力测试工具会测出不同的IOPS值；
S13.采集存储压力测试的所有IOPS值及对应vbench的参数的指标，各vbench参数的指标生成样本数据集；针对不同指标参数测试出的IOPS值，作为所需的输入模型的样本数据；
S2.将样本数据集进行归一化处理，并按照预设比例划分为训练集和测试集；具体步骤如下：
S21.将样本数据集中各vbench参数的指标进行归一化处理；
S22.获取预设划分比例，并按照预设划分比例将样本数据集划分为训练集和测试集；例如将样本数据集按照1:10的比例划分测试集和数据集；
S3.将训练集数据输入到卷积神经网络模型，通过设定层级的卷积和池化对卷积神经网络进行调优筛选，得到训练好的卷积神经网络模型；具体步骤如下：
S31.将训练集数据依次输入到卷积神经网络模型，将输入的vbench参数的指标通过预设层级的卷积层和池化层间隔进行点积计算；
S32.对点积计算的结果在全连接层使用激活函数激活后，输出IOPS预测值；
S33.获取输入的vbench参数的指标对应的实际的IOPS值，通过均方误差损失函数计算实际的IOPS值与IOPS预测值的误差，判断误差是否收敛，并在误差收敛时，记录神经网络卷积模型的权重及偏置常量，得到训练好的卷积神经网络模型；
卷积神经网络模型由具有可学习的权重和偏置常量的神经元组成，每个神经元都接收一些输入，并做一些点积计算，输出是IOPS的预测值；卷积神经网络模型包括卷积层、池化层、全链接层，其中，卷积层和池化层的组合可以在神经网络中出现多次，能够深层次挖掘出数据更多的信息；全连接层使用Sigmoid激活函数作为网络的输出，降低了模型的训练难度，使模型更容易收敛；Sigmoid激活函数如下：
通过mse均方误差损失函数对计算实际的IOPS值与IOPS预测值的误差，mse均方误差损失函数如下：
S4.将测试集数据输入到训练好的卷积神经网络模型对存储性能进行预测，并将预测的存储性能与实际存储性能进行比对，对卷积神经网络模型进行验证；具体步骤如下：
S41.将测试集数据依次输入到卷积神经网络模型，每组vbench参数的指标对应一个IOPS预测值；
S42.获取每组vbench参数的指标对应的实际IOPS值；
S43.验证每组vbench参数的指标的IOPS预测值与实际的IOPS值误差是否小于设定阈值；
若是，进入步骤S44；
若否，返回步骤S31；
S44.判定训练好的卷积神经网络模型通过验证，使用验证通过的卷积神经网络模型对业务系统存储性能进行预测。
实施例4：
如图3所示，本发明提供一种基于卷积神经网络的存储系统性能预测装置，包括：
数据采集模块1，用于通过IO性能测试工具对存储进行压力测试，采集不同IOPS值及对应IO性能测试工具的参数指标，将IO性能测试工具的参数指标作为样本数据集；
数据处理及划分模块2，用于将样本数据集进行归一化处理，并按照预设比例划分为训练集和测试集；
卷积神经网络模型训练模块3，用于将训练集数据输入到卷积神经网络模型，通过设定层级的卷积和池化对卷积神经网络进行调优筛选，得到训练好的卷积神经网络模型；
卷积神经网络模型验证模块4，用于将测试集数据输入到训练好的卷积神经网络模型对存储性能进行预测，并将预测的存储性能与实际存储性能进行比对，对卷积神经网络模型进行验证。
本发明提供的基于卷积神经网络的存储系统性能预测装置，通过IO性能测试工具进行压力测试的参数指标为输入，以存储的IPOS值为输出，对卷积神经网络模型进行训练，利用训练好的卷积神经网络模型对存储的IOPS值进行预测，提前了解IOPS性能趋势，对业务系统的负载能力进行预判，从而提高运维效率。
实施例5：
如图3所示，本发明提供一种基于卷积神经网络的存储系统性能预测装置，包括：
数据采集模块1，用于通过IO性能测试工具对存储进行压力测试，采集不同IOPS值及对应IO性能测试工具的参数指标，将IO性能测试工具的参数指标作为样本数据集；数据采集模块1包括：
参数指标设置单元1.1，用于对IO性能测试工具vbench的参数设置不同指标；所述vbench参数包括存储定义、主机定义、工作负载定义以及运行定义；
压力测试单元1.2，用于分别将每一组vbench参数的指标作为输入，对存储进行压力测试，得到不同的IOPS值；
数据采集单元1.3，用于采集存储压力测试的所有IOPS值及对应vbench的参数的指标，各vbench参数的指标生成样本数据集；
数据处理及划分模块2，用于将样本数据集进行归一化处理，并按照预设比例划分为训练集和测试集；数据处理及划分模块2包括：
数据处理单元2.1，用于将样本数据集中各vbench参数的指标进行归一化处理；
数据集划分单元2.2，用于获取预设划分比例，并按照预设划分比例将样本数据集划分为训练集和测试集；
卷积神经网络模型训练模块3，用于将训练集数据输入到卷积神经网络模型，通过设定层级的卷积和池化对卷积神经网络进行调优筛选，得到训练好的卷积神经网络模型；卷积神经网络模型训练模块3包括：
卷积计算单元3.1，用于将训练集数据依次输入到卷积神经网络模型，将输入的vbench参数的指标通过预设层级的卷积层和池化层间隔进行点积计算；
IOPS预测值输出单元3.2，用于对点积计算的结果在全连接层使用激活函数激活后，输出IOPS预测值；
收敛判断单元3.3，用于获取输入的vbench参数的指标对应的实际的IOPS值，通过均方误差损失函数计算实际的IOPS值与IOPS预测值的误差，判断误差是否收敛，并在误差收敛时，记录神经网络卷积模型的权重及偏置常量，得到训练好的卷积神经网络模型；
卷积神经网络模型验证模块4，用于将测试集数据输入到训练好的卷积神经网络模型对存储性能进行预测，并将预测的存储性能与实际存储性能进行比对，对卷积神经网络模型进行验证；卷积神经网络模型验证模块4包括：
测试集数据输入单元4.1，用于将测试集数据依次输入到卷积神经网络模型，每组vbench参数的指标对应一个IOPS预测值；
实际IOPS值获取单元4.2，用于获取每组vbench参数的指标对应的实际IOPS值；
预测值与实际值比对单元4.3，用于验证每组vbench参数的指标的IOPS预测值与实际的IOPS值误差是否小于设定阈值；
卷积神经网络模型使用单元4.4，用于判定训练好的卷积神经网络模型通过验证，使用验证通过的卷积神经网络模型对业务系统存储性能进行预测。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于卷积神经网络的存储系统性能预测方法，其特征在于，包括如下步骤：
S1.通过IO性能测试工具对存储进行压力测试，采集不同IOPS值及对应IO性能测试工具的参数指标，将IO性能测试工具的参数指标作为样本数据集；
S2.将样本数据集进行归一化处理，并按照预设比例划分为训练集和测试集；
S3.将训练集数据输入到卷积神经网络模型，通过设定层级的卷积和池化对卷积神经网络进行调优筛选，得到训练好的卷积神经网络模型；
S4.将测试集数据输入到训练好的卷积神经网络模型对存储性能进行预测，并将预测的存储性能与实际存储性能进行比对，对卷积神经网络模型进行验证。
2.如权利要求1所述的基于卷积神经网络的存储系统性能预测方法，其特征在于，步骤S1具体步骤如下：
S11.对IO性能测试工具vbench的参数设置不同指标；所述vbench参数包括存储定义、主机定义、工作负载定义以及运行定义；
S12.分别将每一组vbench参数的指标作为输入，对存储进行压力测试，得到不同的IOPS值；
S13.采集存储压力测试的所有IOPS值及对应vbench的参数的指标，各vbench参数的指标生成样本数据集。
3.如权利要求2所述的基于卷积神经网络的存储系统性能预测方法，其特征在于，步骤S2具体步骤如下：
S21.将样本数据集中各vbench参数的指标进行归一化处理；
S22.获取预设划分比例，并按照预设划分比例将样本数据集划分为训练集和测试集。
4.如权利要求3所述的基于卷积神经网络的存储系统性能预测方法，其特征在于，步骤S3具体步骤如下：
S31.将训练集数据依次输入到卷积神经网络模型，将输入的vbench参数的指标通过预设层级的卷积层和池化层间隔进行点积计算；
S32.对点积计算的结果在全连接层使用激活函数激活后，输出IOPS预测值；
S33.获取输入的vbench参数的指标对应的实际的IOPS值，通过均方误差损失函数计算实际的IOPS值与IOPS预测值的误差，判断误差是否收敛，并在误差收敛时，记录神经网络卷积模型的权重及偏置常量，得到训练好的卷积神经网络模型。
5.如权利要求4所述的基于卷积神经网络的存储系统性能预测方法，其特征在于，步骤S4具体步骤如下：
S41.将测试集数据依次输入到卷积神经网络模型，每组vbench参数的指标对应一个IOPS预测值；
S42.获取每组vbench参数的指标对应的实际IOPS值；
S43.验证每组vbench参数的指标的IOPS预测值与实际的IOPS值误差是否小于设定阈值；
若是，进入步骤S44；
若否，返回步骤S31；
S44.判定训练好的卷积神经网络模型通过验证，使用验证通过的卷积神经网络模型对业务系统存储性能进行预测。
6.一种基于卷积神经网络的存储系统性能预测装置，其特征在于，包括：
数据采集模块(1)，用于通过IO性能测试工具对存储进行压力测试，采集不同IOPS值及对应IO性能测试工具的参数指标，将IO性能测试工具的参数指标作为样本数据集；
数据处理及划分模块(2)，用于将样本数据集进行归一化处理，并按照预设比例划分为训练集和测试集；
卷积神经网络模型训练模块(3)，用于将训练集数据输入到卷积神经网络模型，通过设定层级的卷积和池化对卷积神经网络进行调优筛选，得到训练好的卷积神经网络模型；
卷积神经网络模型验证模块(4)，用于将测试集数据输入到训练好的卷积神经网络模型对存储性能进行预测，并将预测的存储性能与实际存储性能进行比对，对卷积神经网络模型进行验证。
7.如权利要求6所述的基于卷积神经网络的存储系统性能预测装置，其特征在于，数据采集模块(1)包括：
参数指标设置单元(1.1)，用于对IO性能测试工具vbench的参数设置不同指标；所述vbench参数包括存储定义、主机定义、工作负载定义以及运行定义；
压力测试单元(1.2)，用于分别将每一组vbench参数的指标作为输入，对存储进行压力测试，得到不同的IOPS值；
数据采集单元(1.3)，用于采集存储压力测试的所有IOPS值及对应vbench的参数的指标，各vbench参数的指标生成样本数据集。
8.如权利要求6所述的基于卷积神经网络的存储系统性能预测装置，其特征在于，数据处理及划分模块(2)包括：
数据处理单元(2.1)，用于将样本数据集中各vbench参数的指标进行归一化处理；
数据集划分单元(2.2)，用于获取预设划分比例，并按照预设划分比例将样本数据集划分为训练集和测试集。
9.如权利要求6所述的基于卷积神经网络的存储系统性能预测装置，其特征在于，卷积神经网络模型训练模块(3)包括：
卷积计算单元(3.1)，用于将训练集数据依次输入到卷积神经网络模型，将输入的vbench参数的指标通过预设层级的卷积层和池化层间隔进行点积计算；
IOPS预测值输出单元(3.2)，用于对点积计算的结果在全连接层使用激活函数激活后，输出IOPS预测值；
收敛判断单元(3.3)，用于获取输入的vbench参数的指标对应的实际的IOPS值，通过均方误差损失函数计算实际的IOPS值与IOPS预测值的误差，判断误差是否收敛，并在误差收敛时，记录神经网络卷积模型的权重及偏置常量，得到训练好的卷积神经网络模型。
10.如权利要求6所述的基于卷积神经网络的存储系统性能预测装置，其特征在于，卷积神经网络模型验证模块(4)包括：
测试集数据输入单元(4.1)，用于将测试集数据依次输入到卷积神经网络模型，每组vbench参数的指标对应一个IOPS预测值；
实际IOPS值获取单元(4.2)，用于获取每组vbench参数的指标对应的实际IOPS值；
预测值与实际值比对单元(4.3)，用于验证每组vbench参数的指标的IOPS预测值与实际的IOPS值误差是否小于设定阈值；
卷积神经网络模型使用单元(4.4)，用于判定训练好的卷积神经网络模型通过验证，使用验证通过的卷积神经网络模型对业务系统存储性能进行预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111176720.XA CN113886207A (zh) | 2021-10-09 | 2021-10-09 | 一种基于卷积神经网络的存储系统性能预测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111176720.XA CN113886207A (zh) | 2021-10-09 | 2021-10-09 | 一种基于卷积神经网络的存储系统性能预测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113886207A true CN113886207A (zh) | 2022-01-04 |
Family
ID=79005865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111176720.XA Withdrawn CN113886207A (zh) | 2021-10-09 | 2021-10-09 | 一种基于卷积神经网络的存储系统性能预测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113886207A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115185805A (zh) * | 2022-09-13 | 2022-10-14 | 浪潮电子信息产业股份有限公司 | 一种存储系统的性能预测方法、系统、设备及存储介质 |
| WO2023225996A1 (en) * | 2022-05-27 | 2023-11-30 | Nokia Shanghai Bell Co., Ltd. | Prediction of startup performance of communication device |
| CN117520086A (zh) * | 2023-10-18 | 2024-02-06 | 厦门国际银行股份有限公司 | 一种存储性能监控方法、系统及存储介质 |
-
2021
- 2021-10-09 CN CN202111176720.XA patent/CN113886207A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023225996A1 (en) * | 2022-05-27 | 2023-11-30 | Nokia Shanghai Bell Co., Ltd. | Prediction of startup performance of communication device |
| CN115185805A (zh) * | 2022-09-13 | 2022-10-14 | 浪潮电子信息产业股份有限公司 | 一种存储系统的性能预测方法、系统、设备及存储介质 |
| CN115185805B (zh) * | 2022-09-13 | 2023-01-24 | 浪潮电子信息产业股份有限公司 | 一种存储系统的性能预测方法、系统、设备及存储介质 |
| CN117520086A (zh) * | 2023-10-18 | 2024-02-06 | 厦门国际银行股份有限公司 | 一种存储性能监控方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520357B (zh) | 一种线损异常原因的判别方法、装置及服务器 | |
| CN113886207A (zh) | 一种基于卷积神经网络的存储系统性能预测方法及装置 | |
| CN111598143B (zh) | 基于信用评估的面向联邦学习中毒攻击的防御方法 | |
| CN106803799B (zh) | 一种性能测试方法和装置 | |
| WO2010037030A1 (en) | Evaluating loan access using online business transaction data | |
| CN112990330B (zh) | 用户用能异常数据检测方法及设备 | |
| CN112433896B (zh) | 一种服务器磁盘故障预测方法、装置、设备及存储介质 | |
| CN109525435A (zh) | 一种电网业务服务器运行状态预警方法 | |
| CN115841046B (zh) | 基于维纳过程的加速退化试验数据处理方法和装置 | |
| CN111143981A (zh) | 虚拟试验模型验证系统及方法 | |
| CN112765890A (zh) | 基于动态域适应网络的多工况旋转机械剩余寿命预测方法 | |
| US11972382B2 (en) | Root cause identification and analysis | |
| CN110874685A (zh) | 基于神经网络的智能电能表运行状态判别方法及系统 | |
| CN114266289A (zh) | 一种复杂装备健康状态评估方法 | |
| CN112433927A (zh) | 基于时间序列聚类和lstm的云服务器老化预测方法 | |
| Salomon et al. | Multidimensional resilience decision-making for complex and substructured systems | |
| US20080140748A1 (en) | Computer-implemented systems and methods for determining steady-state confidence intervals | |
| CN117330963A (zh) | 储能电站故障检测方法、系统及设备 | |
| CN109240927B (zh) | 基于gde3的多阶段动态多目标测试资源分配方法 | |
| CN115906669A (zh) | 一种顾及负样本选取策略的密集残差网络滑坡易发性评价方法 | |
| CN115184055A (zh) | 一种分级测试性优化的测试集确定方法及系统 | |
| CN115407753A (zh) | 一种多变量加权集成学习的工业故障诊断方法 | |
| CN102982231A (zh) | 软件可信度的定量计算方法 | |
| CN107491576B (zh) | 基于性能退化数据的导弹部件可靠性分析方法 | |
| CN111222736A (zh) | 一种基于混合相关向量机模型的弹药贮存可靠度评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220104 |