CN109189656A - 一种基于标准差算法分析存储设备iops性能数据的方法 - Google Patents

一种基于标准差算法分析存储设备iops性能数据的方法 Download PDF

Info

Publication number
CN109189656A
CN109189656A CN201810898320.1A CN201810898320A CN109189656A CN 109189656 A CN109189656 A CN 109189656A CN 201810898320 A CN201810898320 A CN 201810898320A CN 109189656 A CN109189656 A CN 109189656A
Authority
CN
China
Prior art keywords
data
storage
client
storage equipment
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810898320.1A
Other languages
English (en)
Inventor
李闯
李玲侠
胡超超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Langchao Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Langchao Electronic Information Industry Co Ltd filed Critical Langchao Electronic Information Industry Co Ltd
Priority to CN201810898320.1A priority Critical patent/CN109189656A/zh
Publication of CN109189656A publication Critical patent/CN109189656A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种基于标准差算法分析存储设备IOPS性能数据的方法，包括：将数据采用标准差算法处理后存入数据库；用户选择指定时间间隔、指定时间段查询数据，后台从数据库提取对应期间内的所有存储设备对应的数据，并传输到Web前端图形插件对应数据接口用于直接展示。步骤存储设备将产生的实时数据推送到客户端中，每分钟存储设备推送一次。步骤存储设备将产生的实时数据推送到客户端中，存储设备过SSH协议或FTP协议将实时产生的IOPS数据推送到客户端；客户端将按照数据类型分别将处理后的数据信息以时间为单位存入每个存储设备对应的数据表。

Description

一种基于标准差算法分析存储设备IOPS性能数据的方法
技术领域
本发明涉及计算机存储系统技术领域，具体涉及一种基于标准差算法分析存储设备IOPS性能数据的方法。
背景技术
随着科学计算和各种网络应用的快速发展，人类产生的信息量越来越多，这使的数据的存储越来越被人们所关注，从而使得存储部件在整个计算机体系中所处的地位越来越重要，存储已经由单一的磁盘、磁带转向磁盘阵列，进而发展到当前流行的存储网络，如NAS(Network Storage Technologies，网络存储技术),SAN(Storage Area Network，存储区域网络)和iscsi(Internet Small Computer System Interface，互联网小型计算机系统接口)等。大规模的数据应用需求不断涌现，海量数据及其应用也成为一个新的发展方向，数据存储已经对人们的工作和生活产生了巨大的影响，而其中对于存储设备的各项性能数据分析也自然越来越重要。
存储设备的历史性能数据为存储设备各项性能数据保存下来的历史记录，通过分析历史性能数据，可以有效的监控存储设备运行的情况、分析存储设备的优劣、进行存储设备未来运行状况的预测，因此一种合理的统计存储设备历史IOPS性能数据的方法尤为重要。
发明内容
本发明的目的针对现有的统计存储设备历史IOPS性能数据后，查看稳定性出现的不足之处，本发明提供一种基于标准差算法分析存储设备IOPS性能数据的方法，以解决上述技术问题。
为了达到上述目的，本发明的技术方案是：
一种基于标准差算法分析存储设备IOPS性能数据的方法，包括如下步骤：
存储设备将实时产生的IOPS数据推送到客户端；
客户端将数据采用标准差算法处理后存入数据库；
用户选择指定时间间隔、指定时间段查询数据，后台从数据库提取对应期间内的所有存储设备对应的数据，并传输到Web前端图形插件对应数据接口用于直接展示。
优选地，步骤存储设备将产生的实时数据推送到客户端中，每分钟存储设备推送一次。
优选地，步骤存储设备将产生的实时数据推送到客户端中，
存储设备过SSH协议或FTP协议将实时产生的IOPS数据推送到客户端。
优选地，步骤客户端将数据均值优化处理后存入数据库，包括：
数据库中创建数据表，其中，每个存储设备对应创建一个数据表；
客户端将按照数据类型分别将处理后的数据信息以时间为单位存入每个存储设备对应的数据表。
优选地，步骤客户端将数据采用标准差算法处理后存入数据库中，采用的标准方差如下式(1)：
其中，
i：表示用户查看的特定时间段内，指定存储设备的每一个IOPS性能数据的编号；
j：表示所监控的每一台存储设备；
n：表示用户查看的指定时间段内，共有多少个时间点；
X[i,j]：用户查看的特定时间段内的第j个存储设备推送来的第i个实时IOPS性能数据；
Xave[j]：表示用户查看的指定时间段内第j个存储设备IOPS性能数据的平均值，其中，
优选地，步骤客户端将按照数据类型分别将处理后的数据信息以时间为单位存入相应的数据表中，数据信息包括：
存储设备识别ID、产生时间、IOPS数据。
优选地，步骤客户端将数据均值优化处理后存入数据库，还包括：
在数据库中设置保存每条数据到达用户设置的时限自动清除超出时限的冗余数据。
优选地，用户设置的时限为365天。
优选地，步骤用户选择指定时间间隔、指定时间段查询数据，后台从数据库提取对应期间内的所有存储设备对应的数据，并传输到Web前端图形插件对应数据接口用于直接展示中，后台从数据库提取对应期间内的所有存储设备对应的数据，并传输到Web前端图形插件对应数据接口用于直接展示，包括：
提取将要展示的参数S[j]，并传输到Web前端图形显示插件对应数据接口用于直接展示。
优选地，图形显示插件中设定为柱状图展示。
优选地，图形显示插件为HighCharts。
获取的IOPS存储设备性能数据作为数据样本，用户选择指定时间段查看该时间段内所监控的所有设备历史IOPS性能数据稳定性状况，将S[j]数组传入图表展示接口，通过柱状图展示给用户，数值越大表示越不稳定，用户可以直接看到各个设备的稳定性状况。
从以上技术方案可以看出，本发明具有以下优点：采用标准差方法可以把所有IOPS数据按照特定标准差数学模型展示到图表中，同时监控多台设备进行对比，能够更好反映存储设备IOPS性能稳定性的变化，对于了解存储设备的运行状况提供帮助；可以更直观的满足用户对统计数据的特定需求，提高使用该统计系统的用户体验。
直观、实用性强，通过上述处理后在图表中可以直观的看到存储设备稳定性的大小，可以任选时间段进行查询，对多台存储设备进行展示和监控。
操作便利，不需要复杂处理和人为干预，用户直接查看，避免了用户监控展示存储设备IOPS性能稳定性状况时多余的处理。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
图1为一种基于标准差算法分析存储设备IOPS性能数据的方法流程图；
图2为标准差展示存储系统IOPS稳定性结果示例。
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。
如图1所示，一种基于标准差算法分析存储设备IOPS性能数据的方法，包括如下步骤：
S1：存储设备通过SSH协议或FTP协议将实时产生的IOPS数据每分钟推送一次到客户端；
S2：客户端将数据采用标准差算法处理后存入数据库；在数据库中设置保存每条数据到达365天自动清除超出时限的冗余数据。
数据库中创建数据表，其中，每个存储设备对应创建一个数据表；
客户端将按照数据类型分别将处理后的数据信息以时间为单位存入每个存储设备对应的数据表。
步骤客户端将数据采用标准差算法处理后存入数据库中，采用的标准方差如下式(1)：
其中，
i：表示用户查看的特定时间段内，指定存储设备的每一个IOPS性能数据的编号；
j：表示所监控的每一台存储设备；
n：表示用户查看的指定时间段内，共有多少个时间点；
X[i,j]：用户查看的特定时间段内的第j个存储设备推送来的第i个实时IOPS性能数据；
Xave[j]：表示用户查看的指定时间段内第j个存储设备IOPS性能数据的平均值，其中，
数据信息包括存储设备识别ID、产生时间、IOPS数据。
S3：用户选择指定时间间隔、指定时间段查询数据，后台从数据库提取对应期间内的所有存储设备对应的数据，并传输到Web前端图形插件对应数据接口用于直接展示。
提取将要展示的参数S[j]，并传输到Web前端图形显示插件对应数据接口设定为柱状图用于直接展示。
实施例二
一种基于标准差算法分析存储设备IOPS性能数据的方法，过程如下：
存储设备正常运行下都会产生一些实时的性能数据，取其中IOPS数据可以通过SSH协议或FTP协议推送到指定的收集历史性能数据客户端，并把数据当成样本如实存入数据库。数据库将按照不同存储分别存入相应的数据表中，以时间为单位，如IOPS数据每分钟记录一条，存入IOPS表中，该条信息包括存储设备识别ID、产生时间、IOPS等存储设备推送来的数据，数据如实记录实时数据大小，并保存每条数据至用户要求的时限(如365天)后方才自动清除超出时限的冗余数据；
采用的标准方差如下式(1)：
其中，
i：表示用户查看的特定时间段内，指定存储设备的每一个IOPS性能数据的编号；
j：表示所监控的每一台存储设备；
n：表示用户查看的指定时间段内，共有多少个时间点；
X[i,j]：用户查看的特定时间段内的第j个存储设备推送来的第i个实时IOPS性能数据；
Xave[j]：表示用户查看的指定时间段内第j个存储设备IOPS性能数据的平均值，其中，
用户输入想要查询的历史数据指定时间，后台从数据库提取各个表中对应期间内的所有数据，根据各个存储设备ID进行区分，分别存入相应数组，IOPS的X[i,j]代表存储设备j相应的IOPS数据，使用标准差理论计算，获取将要展示的参数S[j]，并传输到Web前端HighCharts插件对应数据接口用于直接展示。
如图2所示，展示了该系统所统计的五台存储设备IOPS标准差，用户选择想要查看的时间段2018-1-1 00:00至2018-1-31 24:00，即展示该时间段内所有存储的稳定性状况，标准差越小表示越稳定。
通过HighCharts开源图形显示插件，只需要传入上述S[j]数组，插件中设定为柱状图展示，即可通过标准差大小表示稳定性高低，标准差越小表示越稳定。
通常情况，存储设备的性能数据指标IOPS(I/O per second)，即每秒最大I/O数，可以用来衡量大量小文件并发随机读写的环境中，存储所能提供的最大文件并发数，如数据库应用等很多方面。统计的历史IOPS性能数据往往是一个波动的数值，波动振幅的大小可以反映存储系统稳定性的状况，振幅越小表示存储系统当前运行越稳定。
根据上述标准差理论，获取的IOPS存储设备性能数据作为数据样本，用户选择指定时间段查看该时间段内所监控的所有设备历史IOPS性能数据稳定性状况，将S[j]数组传入图表展示接口，通过柱状图展示给用户，数值越大表示越不稳定，用户可以直接看到各个设备的稳定性状况。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于标准差算法分析存储设备IOPS性能数据的方法，其特征在于，包括如下步骤：
存储设备将实时产生的IOPS数据推送到客户端；
客户端将数据采用标准差算法处理后存入数据库；
用户选择指定时间间隔、指定时间段查询数据，后台从数据库提取对应期间内的所有存储设备对应的数据，并传输到Web前端图形插件对应数据接口用于直接展示。
2.根据权利要求1所述的一种基于标准差算法分析存储设备IOPS性能数据的方法，其特征在于，步骤存储设备将产生的实时数据推送到客户端中，每分钟存储设备推送一次。
3.根据权利要求2所述的一种基于标准差算法分析存储设备IOPS性能数据的方法，其特征在于，步骤存储设备将产生的实时数据推送到客户端中，
存储设备过SSH协议或FTP协议将实时产生的IOPS数据推送到客户端。
4.根据权利要求2所述的一种基于标准差算法分析存储设备IOPS性能数据的方法，其特征在于，步骤客户端将数据均值优化处理后存入数据库，包括：
数据库中创建数据表，其中，每个存储设备对应创建一个数据表；
客户端将按照数据类型分别将处理后的数据信息以时间为单位存入每个存储设备对应的数据表。
5.根据权利要求3所述的一种基于标准差算法分析存储设备IOPS性能数据的方法，其特征在于，步骤客户端将数据采用标准差算法处理后存入数据库中，采用的标准方差如下式(1)：
其中，
i：表示用户查看的特定时间段内，指定存储设备的每一个IOPS性能数据的编号；
j：表示所监控的每一台存储设备；
n：表示用户查看的指定时间段内，共有多少个时间点；
X[i,j]：用户查看的特定时间段内的第j个存储设备推送来的第i个实时IOPS性能数据；
Xave[j]：表示用户查看的指定时间段内第j个存储设备IOPS性能数据的平均值，其中，
6.根据权利要求4所述的一种基于标准差算法分析存储设备IOPS性能数据的方法，其特征在于，步骤客户端将按照数据类型分别将处理后的数据信息以时间为单位存入相应的数据表中，数据信息包括：
存储设备识别ID、产生时间、IOPS数据。
7.根据权利要求3所述的一种基于标准差算法分析存储设备IOPS性能数据的方法，其特征在于，步骤客户端将数据均值优化处理后存入数据库，还包括：
在数据库中设置保存每条数据到达用户设置的时限自动清除超出时限的冗余数据。
8.根据权利要求7所述的一种基于标准差算法分析存储设备IOPS性能数据的方法，其特征在于，用户设置的时限为365天。
9.根据权利要求1所述的一种基于标准差算法分析存储设备IOPS性能数据的方法，其特征在于，步骤用户选择指定时间间隔、指定时间段查询数据，后台从数据库提取对应期间内的所有存储设备对应的数据，并传输到Web前端图形插件对应数据接口用于直接展示中，后台从数据库提取对应期间内的所有存储设备对应的数据，并传输到Web前端图形插件对应数据接口用于直接展示，包括：
提取将要展示的参数S[j]，并传输到Web前端图形显示插件对应数据接口用于直接展示。
10.根据权利要求9所述的一种基于标准差算法分析存储设备IOPS性能数据的方法，其特征在于，
图形显示插件中设定为柱状图展示。
CN201810898320.1A 2018-08-08 2018-08-08 一种基于标准差算法分析存储设备iops性能数据的方法 Pending CN109189656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810898320.1A CN109189656A (zh) 2018-08-08 2018-08-08 一种基于标准差算法分析存储设备iops性能数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810898320.1A CN109189656A (zh) 2018-08-08 2018-08-08 一种基于标准差算法分析存储设备iops性能数据的方法

Publications (1)

Publication Number Publication Date
CN109189656A true CN109189656A (zh) 2019-01-11

Family

ID=64920699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810898320.1A Pending CN109189656A (zh) 2018-08-08 2018-08-08 一种基于标准差算法分析存储设备iops性能数据的方法

Country Status (1)

Country Link
CN (1) CN109189656A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456986A (zh) * 2019-07-30 2019-11-15 北京智睿博信息技术有限公司 存储区域网络设备的性能数据存储方法及系统
CN110990235A (zh) * 2019-09-06 2020-04-10 深圳平安通信科技有限公司 异构存储设备的性能数据管理方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933203A (zh) * 2015-07-15 2015-09-23 中国科学院微电子研究所 一种无线传感网络中数据处理方法及装置
CN105354115A (zh) * 2015-09-28 2016-02-24 北京金山安全软件有限公司 一种获取硬件性能评分的方法及装置
CN106162710A (zh) * 2015-04-10 2016-11-23 富士通株式会社 故障检测装置、方法和系统
CN106470242A (zh) * 2016-09-07 2017-03-01 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
US9703664B1 (en) * 2015-06-24 2017-07-11 EMC IP Holding Company LLC Self adaptive workload classification and forecasting in multi-tiered storage system using ARIMA time series modeling
CN107276779A (zh) * 2016-04-07 2017-10-20 阿里巴巴集团控股有限公司 一种监控方法、系统及设备
CN107402969A (zh) * 2017-06-28 2017-11-28 郑州云海信息技术有限公司 一种存储性能统计方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162710A (zh) * 2015-04-10 2016-11-23 富士通株式会社 故障检测装置、方法和系统
US9703664B1 (en) * 2015-06-24 2017-07-11 EMC IP Holding Company LLC Self adaptive workload classification and forecasting in multi-tiered storage system using ARIMA time series modeling
CN104933203A (zh) * 2015-07-15 2015-09-23 中国科学院微电子研究所 一种无线传感网络中数据处理方法及装置
CN105354115A (zh) * 2015-09-28 2016-02-24 北京金山安全软件有限公司 一种获取硬件性能评分的方法及装置
CN107276779A (zh) * 2016-04-07 2017-10-20 阿里巴巴集团控股有限公司 一种监控方法、系统及设备
CN106470242A (zh) * 2016-09-07 2017-03-01 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
CN107402969A (zh) * 2017-06-28 2017-11-28 郑州云海信息技术有限公司 一种存储性能统计方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
米歇尔•刘易斯•伯克等: "《社会科学研究方法百科全书 第3卷》", 31 August 2017 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110456986A (zh) * 2019-07-30 2019-11-15 北京智睿博信息技术有限公司 存储区域网络设备的性能数据存储方法及系统
CN110990235A (zh) * 2019-09-06 2020-04-10 深圳平安通信科技有限公司 异构存储设备的性能数据管理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
Khurana et al. Efficient snapshot retrieval over historical graph data
EP3828723A1 (en) Transparent discovery of semi-structured data schema
CN103136335A (zh) 一种基于数据平台的数据控制方法
CN108446305A (zh) 多维度统计业务数据的系统和方法
CN105843842A (zh) 一种大数据环境下多维聚集查询与展示系统及方法
CN109189656A (zh) 一种基于标准差算法分析存储设备iops性能数据的方法
US20140337274A1 (en) System and method for analyzing big data in a network environment
CN113535788A (zh) 一种面向海洋环境数据的检索方法、系统、设备及介质
CN110851317A (zh) 一种预测存储设备iops性能数据的方法、装置、设备及存储介质
Jogekar et al. Design and implementation of algorithms for materialized view selection and maintenance in data warehousing environment
CN109213793A (zh) 一种流式数据处理方法和系统
US11520763B2 (en) Automated optimization for in-memory data structures of column store databases
JP2001282816A (ja) 多次元データベース処理方法および処理システム
CN109597575B (zh) 一种基于hdf5的分块式数据存储及读取方法
CN105574027A (zh) 基于oltp/olap混合应用下多维度性能数据存储方法、装置及系统
CN108306916A (zh) 大数据多网融合科研一体机平台装置
Ren et al. Efficient processing of shortest path queries in evolving graph sequences
CN114238478A (zh) 一种基于大数据分析的数据管理平台及访问方法
CN109189655A (zh) 一种基于均值优化算法统计存储设备历史性能数据的方法
CN107894942A (zh) 数据表访问量的监控方法和装置
CN109324948A (zh) 一种存储设备带宽性能数据的分析方法
Khurana An introduction to temporal graph data management
CN109408353A (zh) 一种存储分区利用率和iops的分析方法，系统及终端设备
CN108920597A (zh) 一种处理存储设备历史性能统计数据的方法
Wang et al. Zoomtree: Unrestricted zoom paths in multiscale visual analysis of relational databases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190111