CN108804037A - 基于箱型图处理存储设备历史性能数据的方法及系统 - Google Patents

基于箱型图处理存储设备历史性能数据的方法及系统 Download PDF

Info

Publication number
CN108804037A
CN108804037A CN201810531383.3A CN201810531383A CN108804037A CN 108804037 A CN108804037 A CN 108804037A CN 201810531383 A CN201810531383 A CN 201810531383A CN 108804037 A CN108804037 A CN 108804037A
Authority
CN
China
Prior art keywords
data
performance data
history performance
box
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810531383.3A
Other languages
English (en)
Inventor
李闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810531383.3A priority Critical patent/CN108804037A/zh
Publication of CN108804037A publication Critical patent/CN108804037A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了基于箱型图处理存储设备历史性能数据的方法及系统，方法包括获取存储设备产生的历史性能数据信息；利用箱型图理论，计算历史性能数据的四分位数，并得到异常值；将计算结果作为数据样本进行存储。本发明通过箱型图理论，计算历史性能数据的四分位数，从而得到异常值，克服了现有技术中缺乏对异常值分析的缺陷，提高了历史性能数据分析的准确性，根据分析结果，能够准确的掌握存储设备的现状，便于对存储设备未来运行状况的预测。

Description

基于箱型图处理存储设备历史性能数据的方法及系统
技术领域
本发明涉及计算机技术领域,具体地说是基于箱型图处理存储设备历史性能数据的方法及系统。
背景技术
随着科学计算和网络应用的快速发展，产生的信息量越来越多，数据的存储越来越被人们所关注，因此存储部件在整个计算机体系中所处的地位越来越重要。存储已经由单一的磁盘、磁带转向磁盘阵列，进而发展到当前流行的存储网络，如NAS(NetworkStorage Technologies，网络存储技术)、SAN(Storage Area Network，存储区域网络)和ISCSI(Internet Small Computer System Interface，互联网小型计算机系统接口)等。大规模的数据应用需求不断涌现，海量数据及其应用也成为一个新的发展方向，数据存储已经对人们的工作和生活产生了巨大的影响，而其中对于存储设备的各项性能数据分析也自然越来越重要。
存储设备的历史性能数据为存储设备各项性能数据保存下来的历史记录，通过分析历史性能数据，可以有效的监控存储设备运行的情况、分析存储设备的优劣、进行存储设备未来运行状况的预测，因此一种合理的统计存储设备历史性能数据的方法尤为重要。
通常情况，统计的历史性能数据往往是一个波动的数值。现有技术中对存储设备历史性能数据的统计和分析采用均值统计法，该方法缺乏对异常值的分析，因而数据处理的结果不准确，不能准确的反应存储设备的现状。
发明内容
本发明实施例中提供了基于箱型图处理存储设备历史性能数据的方法及系统，以解决现有技术中对存储设备历史性能数据的处理结果不准确，影响对存储设备现状准确掌握的问题。
为了解决上述技术问题，本发明实施例公开了如下技术方案：
本发明第一方面提供了基于箱型图处理存储设备历史性能数据的方法，包括以下步骤：
获取存储设备产生的历史性能数据信息；
利用箱型图理论，计算历史性能数据的四分位数，并得到异常值；
将计算结果作为数据样本进行存储。
结合第一方面，在第一方面第一种可能的实现方式中，所述方法还包括步骤：
利用图形展示工具，对样本中的数据以箱型图的形式展示。
结合第一方面，在第一方面第一种可能的实现方式中，所述历史性能数据信息包括历史性能数据和产生数据的时间，所述历史性能数据包括IOPS(I/O persecond，每秒最大输入/输出数)读数据、IOPS写数据、IOPS读写数据总值、MBPS(MB per second，每秒最大带宽数)数据和延时数据。
结合第一方面，在第一方面第一种可能的实现方式中，所述历史性能数据的四分位数包括上四分位数、中位数、下四分位数，利用四分位数和最值，得到异常值。
结合第一方面，在第一方面第二种可能的实现方式中，在利用箱型图理论进行计算之前，还包括设定时间段来获取计算数据的步骤。
结合第一方面，在第一方面第二种可能的实现方式中，所述计算结果为在设定时间段内，每个历史性能数据的四分位数、上边缘、下边缘和异常值。
结合第一方面，在第一方面第二种可能的实现方式中，所述将计算结果作为数据样本进行存储具体为：
将设定时间段内，每个历史性能数据的计算结果作为一个数据样本；
以时间为标准，对每个数据样本进行存储。
本发明第二方面提供了一种基于箱型图处理存储设备历史性能数据的系统，所述系统包括
信息获取模块，用于获取存储设备产生的历史性能数据信息；
第一数据处理模块，利用箱型图理论，计算历史性能数据的四分位数，并得到异常值；
存储模块，用于将计算结果作为数据样本进行存储。
结合第二方面，在第二方面第一种可能的实现方式中，所述系统还包括第二数据处理模块，所述第二数据处理模块利用图形展示工具，对样本中的数据以箱型图的形式展示。
本发明第二方面的所述处理存储设备历史性能数据的系统能够实现第一方面及第一方面的各实现方式中的方法，并取得相同的效果。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
1、通过箱型图理论，计算历史性能数据的四分位数，从而得到异常值，克服了现有技术中缺乏对异常值分析的缺陷，提高了历史性能数据分析的准确性，根据分析结果，能够准确的掌握存储设备的现状，便于对存储设备未来运行状况的预测。
2、将对历史性能数据的处理结果通过图形展示工具，以箱型图的形式展现出来，在查询历史性能数据的信息时，能够对分析处理的结果直观显示，实用性强。
3、利用箱型图进行数据处理时，利用实际数据，不需要事先假定数据服从特定的分布形式，没有对数据作任何限制性要求，客观真实的表现数据形状的本来面貌并识别出相应的异常值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明所述方法实施例1的流程示意图；
图2是本发明所述箱型图表示的数据意义示意图；
图3是本发明所述方法实施例2的流程示意图；
图4是本发明的图形展示工具展示的历史性能数据箱型图的示意图；
图5是本发明所述系统实施例1的结构示意图；
图6是本发明所述系统实施例2的结构示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
如图1所示，基于箱型图处理存储设备历史性能数据的方法，包括以下步骤：
S1,获取存储设备产生的历史性能数据信息；
存储设备在正常运行时，都会产生一些实时的性能数据，包括IOPS读数据、IOPS写数据、IOPS读写数据总值、MBPS数据和延时数据。历史性能数据信息除历史性能数据外，还包括产生该历史性能数据对应的时间。将数据产生的时间和对应的历史性能数据存储至数据库中。
IOPS数据用来衡量大量小文件并发随机读写的环境，存储设备所能提供的最大文件并发数，如数据库应用；MBPS用来衡量大量大文件顺序读写时，存储设备所能提供的最大带宽，如视频制作应用；存储设备的延时是指从接收到数据包到开始向目的端口发送数据包之间的时间间隔，一般对于系统相应时间要求较高的应用场景，如银行业务。
S2,利用箱型图理论，计算历史性能数据的四分位数，得到异常值；
在计算之前设置计算数据获取的时间段，作为一个样本数据，例如将十分钟设为一个时间段，利用箱型图理论计算时，统计每十分钟内的数据作为一个箱型图的计算数据。
统计学中，把所有数值由小到大排列并分成四等份，处于三个分割点位置的数值就是四分位数，记为上四分位数、中位数、下四分位数。
上四分位数等于该样本中所有数值由小到大排列后第75％的数字；中位数等于该样本中所有数值由小到大排列后第50％的数字；下四分位数等于该样本中所有数值由小到大排列后第25％的数字。
如图2所示，箱型图中除四分位数外还包括上边缘、下边缘和异常值。上边缘用Max表示，满足Max＝Q3+1.5*IQR，其中IQR(Inter Quartile Range)为四分位距；下边缘用Min表示，满足Min＝Q1－1.5*IQR。四分位距等于上四分位数与下四分位数的差值。所有大于Max和小于Min的数据均为异常值。
S3,将计算结果作为数据样本进行存储。
计算结果为在设定时间段内，每个历史性能数据的四分位数、上边缘、下边缘和异常值。将设定时间段内，每个历史性能数据的计算结果作为一个数据样本；以时间为标准，对每个数据样本进行存储。
如图3所示，在上述实施例的基础上，对存储设备历史性能数据的处理还包括步骤S4，利用图形展示工具，对样本中的数据以箱型图的形式展示。
通过High Charts等现有的免费开源图形显示插件，将5个性能数据(IOPS读数据、IOPS写数据、IOPS读写数据总值、MBPS数据和延时数据)各自的6个值(四分位数、上边缘、下边缘和异常值数据)，在某一设定时间段内，共30个参数，利用箱型图进行展示。
如图4所示，五个箱型图(横坐标1-5)分别代表IOPS读数据、IOPS写数据、IOPS读写数据总值、MBPS、时延五类性能数据，每个箱型图数据的来源取自设定时间段内所有数据库中相应类型的存储数值。且High Charts支持通过鼠标放置图表直接显示出统计的IOPS读/写/总值、MBPS、时延五种性能类型中四分位数、上边缘、下边缘和异常值数据的具体数据，实现对所查询的时间内存储设备性能的直观了解。
如图5所示，基于箱型图处理存储设备历史性能数据的系统包括信息获取模块1、第一数据处理模块2和存储模块3，信息获取模块1用于获取存储设备产生的历史性能数据信息；第一数据处理模块2，利用箱型图理论，计算历史性能数据的四分位数，并得到异常值；存储模块3用于将计算结果作为数据样本进行存储。
如图6所示，系统还包括第二数据处理模块4，利用图形展示工具，对样本中的数据以箱型图的形式展示，实现对所查询的时间内存储设备性能的直观了解。
以上所述只是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视为本发明的保护范围。

Claims (9)

1.基于箱型图处理存储设备历史性能数据的方法，其特征是：包括以下步骤：
获取存储设备产生的历史性能数据信息；
利用箱型图理论，计算历史性能数据的四分位数，并得到异常值；
将计算结果作为数据样本进行存储。
2.根据权利要求1所述的基于箱型图处理存储设备历史性能数据的方法，其特征是：所述方法还包括步骤：
利用图形展示工具，对样本中的数据以箱型图的形式展示。
3.根据权利要求1或2所述的基于箱型图处理存储设备历史性能数据的方法，其特征是：所述历史性能数据信息包括历史性能数据和产生数据的时间，所述历史性能数据包括IOPS读数据、IOPS写数据、IOPS读写数据总值、MBPS数据和延时数据。
4.根据权利要求1或2所述的基于箱型图处理存储设备历史性能数据的方法，其特征是：所述历史性能数据的四分位数包括上四分位数、中位数、下四分位数，利用四分位数以及上边缘、下边缘，得到异常值。
5.根据权利要求1或2所述的基于箱型图处理存储设备历史性能数据的方法，其特征是：在利用箱型图理论进行计算之前，还包括设定时间段来获取计算数据的步骤。
6.根据权利要求5所述的基于箱型图处理存储设备历史性能数据的方法，其特征是：所述计算结果为在设定时间段内，每个历史性能数据的四分位数、上边缘、下边缘和异常值。
7.根据权利要求6所述的基于箱型图处理存储设备历史性能数据的方法，其特征是：所述将计算结果作为数据样本进行存储具体为：
将设定时间段内，每个历史性能数据的计算结果作为一个数据样本；
以时间为标准，对每个数据样本进行存储。
8.基于箱型图处理存储设备历史性能数据的系统，其特征是：所述系统包括
信息获取模块，用于获取存储设备产生的历史性能数据信息；
第一数据处理模块，利用箱型图理论，计算历史性能数据的四分位数，并得到异常值；
存储模块，用于将计算结果作为数据样本进行存储。
9.根据权利要求8所述的基于箱型图处理存储设备历史性能数据的系统，其特征是：所述系统还包括第二数据处理模块，所述第二数据处理模块利用图形展示工具，对样本中的数据以箱型图的形式展示。
CN201810531383.3A 2018-05-29 2018-05-29 基于箱型图处理存储设备历史性能数据的方法及系统 Pending CN108804037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810531383.3A CN108804037A (zh) 2018-05-29 2018-05-29 基于箱型图处理存储设备历史性能数据的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810531383.3A CN108804037A (zh) 2018-05-29 2018-05-29 基于箱型图处理存储设备历史性能数据的方法及系统

Publications (1)

Publication Number Publication Date
CN108804037A true CN108804037A (zh) 2018-11-13

Family

ID=64090766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810531383.3A Pending CN108804037A (zh) 2018-05-29 2018-05-29 基于箱型图处理存储设备历史性能数据的方法及系统

Country Status (1)

Country Link
CN (1) CN108804037A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457367A (zh) * 2019-07-25 2019-11-15 阿里巴巴集团控股有限公司 发现数据异动的方法和系统
CN111615901A (zh) * 2020-04-30 2020-09-04 北京农业信息技术研究中心 一种果树施肥量预测方法及系统
CN112598446A (zh) * 2020-12-28 2021-04-02 深圳壹账通创配科技有限公司 配件定价方法、系统、设备及存储介质
CN113611130A (zh) * 2021-08-03 2021-11-05 中国环境科学研究院 一种本地与过境货车车流量获取方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645736A (zh) * 2009-09-07 2010-02-10 中兴通讯股份有限公司 历史性能数据的有效性检测方法及装置
CN101789878A (zh) * 2009-12-30 2010-07-28 中兴通讯股份有限公司 网管性能数据的处理方法及装置
CN106897941A (zh) * 2017-01-03 2017-06-27 北京国能日新系统控制技术有限公司 一种基于四分位箱线图的风机异常数据处理方法及装置
CN107402874A (zh) * 2017-07-28 2017-11-28 郑州云海信息技术有限公司 一种存储设备性能统计系统和方法
CN107450857A (zh) * 2017-08-11 2017-12-08 郑州云海信息技术有限公司 一种自动验证存储设备历史性能数据正确的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645736A (zh) * 2009-09-07 2010-02-10 中兴通讯股份有限公司 历史性能数据的有效性检测方法及装置
CN101789878A (zh) * 2009-12-30 2010-07-28 中兴通讯股份有限公司 网管性能数据的处理方法及装置
CN106897941A (zh) * 2017-01-03 2017-06-27 北京国能日新系统控制技术有限公司 一种基于四分位箱线图的风机异常数据处理方法及装置
CN107402874A (zh) * 2017-07-28 2017-11-28 郑州云海信息技术有限公司 一种存储设备性能统计系统和方法
CN107450857A (zh) * 2017-08-11 2017-12-08 郑州云海信息技术有限公司 一种自动验证存储设备历史性能数据正确的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457367A (zh) * 2019-07-25 2019-11-15 阿里巴巴集团控股有限公司 发现数据异动的方法和系统
CN110457367B (zh) * 2019-07-25 2023-10-27 创新先进技术有限公司 发现数据异动的方法和系统
CN111615901A (zh) * 2020-04-30 2020-09-04 北京农业信息技术研究中心 一种果树施肥量预测方法及系统
CN112598446A (zh) * 2020-12-28 2021-04-02 深圳壹账通创配科技有限公司 配件定价方法、系统、设备及存储介质
CN113611130A (zh) * 2021-08-03 2021-11-05 中国环境科学研究院 一种本地与过境货车车流量获取方法、系统及存储介质
CN113611130B (zh) * 2021-08-03 2023-08-25 中国环境科学研究院 一种本地与过境货车车流量获取方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN108804037A (zh) 基于箱型图处理存储设备历史性能数据的方法及系统
Oñorbe et al. How to zoom: bias, contamination and Lagrange volumes in multimass cosmological simulations
US20220284351A1 (en) Autonomous cloud-node scoping framework for big-data machine learning use cases
Zhu et al. Modeling data irregularities and structural complexities in data envelopment analysis
US9459980B1 (en) Varying cluster sizes in a predictive test load while testing a productive system
CN100507869C (zh) 基于关系模型分析系统性能采样数据的方法和设备
CN103399797B (zh) 服务器资源配置方法及装置
Cheng et al. A framework to visualize temporal behavioral relationships in streaming multivariate data
US9971669B2 (en) Predicting performance of a software application over a target system
CN108763299A (zh) 一种大规模数据处理计算加速系统
CN113763502B (zh) 一种图表生成方法、装置、设备和存储介质
CN116821646A (zh) 数据处理链构建方法、数据缩减方法、装置、设备及介质
Pahins et al. Real-time exploration of large spatiotemporal datasets based on order statistics
US20140365637A1 (en) Methods and systems for reducing metrics used to monitor resources
CN110084571A (zh) 一种简历筛选方法、装置、服务器和介质
Yoo et al. Patha: Performance analysis tool for hpc applications
Kaur et al. Performance analysis in bigdata
CN114266414A (zh) 贷款数额的预测方法、装置、电子设备和介质
CN110399396A (zh) 高效的数据处理
EP3905058A1 (en) Systems and methods for monitoring user-defined metrics
Ren et al. Towards realistic benchmarking for cloud file systems: Early experiences
Grier Graphical techniques for output analysis
WO2016013099A1 (ja) 素性データ管理システム、および素性データ管理方法
Henning Scalability benchmarking of cloud-native applications applied to event-driven microservices
Neves et al. Analysis of big data vendors for SMEs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181113

RJ01 Rejection of invention patent application after publication