CN116795655A - 一种基于人工智能的存储设备性能监测系统及方法 - Google Patents

一种基于人工智能的存储设备性能监测系统及方法 Download PDF

Info

Publication number
CN116795655A
CN116795655A CN202311077240.7A CN202311077240A CN116795655A CN 116795655 A CN116795655 A CN 116795655A CN 202311077240 A CN202311077240 A CN 202311077240A CN 116795655 A CN116795655 A CN 116795655A
Authority
CN
China
Prior art keywords
monitoring
time
performance
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311077240.7A
Other languages
English (en)
Other versions
CN116795655B (zh
Inventor
丁骏鹏
唐张杰
邓海蓉
蒋梦姣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yinshan Technology Co ltd
Original Assignee
Shenzhen Yinshan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yinshan Technology Co ltd filed Critical Shenzhen Yinshan Technology Co ltd
Priority to CN202311077240.7A priority Critical patent/CN116795655B/zh
Publication of CN116795655A publication Critical patent/CN116795655A/zh
Application granted granted Critical
Publication of CN116795655B publication Critical patent/CN116795655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及设备性能监测技术领域，具体为一种基于人工智能的存储设备性能监测系统及方法，包括：查询信息采集模块、数据库、时间调整选择模块、监测时间管理模块和性能监测管理模块，通过查询信息采集模块采集数据查询历史数据以及磁盘性能监测数据，将采集到的全部数据传输到数据库，通过数据库存储采集到的全部数据，通过时间调整选择模块建立监测时间调整判断模型，选择是否需要对监测磁盘性能的间隔时间进行调整，通过监测时间管理模块在选择需要调整时设置合适的监测磁盘性能的间隔时间，通过性能监测管理模块对磁盘进行性能监测，动态调整磁盘性能监测时间，提高了数据查询顺利的概率。

Description

一种基于人工智能的存储设备性能监测系统及方法
技术领域
本发明涉及设备性能监测技术领域，具体为一种基于人工智能的存储设备性能监测系统及方法。
背景技术
磁盘是信息系统的主要存储设备，它的性能好坏直接影响到信息系统总的性能，因此，需要对其进行性能监测以及时对异常磁盘进行维护，保障信息系统的正常运行；
然而，现有的磁盘性能监测方式仍存在一些弊端：现有技术中采用设置固定的时间定期对磁盘性能进行监测，但是，由于信息系统中数据被查询的次数和时间多变，在数据查询频繁时，若仍然以默认设置的期限来对磁盘性能进行监测，能够监测到磁盘异常的概率可能有所降低，现有技术无法针对性地对监测的时间进行调整，选择合适的时间对磁盘性能进行监测以在数据查询频繁时提高磁盘性能监测的有效性并进一步帮助用户顺利查询到正确数据。
所以，人们需要一种基于人工智能的存储设备性能监测系统及方法来解决上述问题。
发明内容
本发明的目的在于提供一种基于人工智能的存储设备性能监测系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于人工智能的存储设备性能监测系统，所述系统包括：查询信息采集模块、数据库、时间调整选择模块、监测时间管理模块和性能监测管理模块；
所述查询信息采集模块的输出端连接所述数据库的输入端，所述数据库的输出端连接所述时间调整选择模块的输入端，所述时间调整选择模块的输出端连接所述监测时间管理模块的输入端，所述监测时间管理模块的输出端连接所述性能监测管理模块的输入端；
通过所述查询信息采集模块采集数据查询历史数据以及磁盘性能监测数据，将采集到的全部数据传输到所述数据库；
通过所述数据库存储采集到的全部数据；
通过所述时间调整选择模块建立监测时间调整判断模型，选择是否需要对监测磁盘性能的间隔时间进行调整；
通过所述监测时间管理模块在选择需要调整时设置合适的监测磁盘性能的间隔时间；
通过所述性能监测管理模块对磁盘进行性能监测。
进一步的，所述查询信息采集模块包括查询时间采集单元和磁盘异常信息采集单元；
所述查询时间采集单元和磁盘异常信息采集单元的输出端连接所述数据库的输入端；
所述查询时间采集单元用于采集信息系统中数据以往不同时间段被查询的次数和被查询时间信息；
所述磁盘异常信息采集单元用于采集在以往不同时间段内，因磁盘性能出现异常但未被监测到导致数据查询失败的次数信息。
进一步的，所述时间调整选择模块包括频繁程度预测单元、监测时间分析单元和时间调整判断单元；
所述频繁程度预测单元的输入端连接所述数据库的输出端，所述频繁程度预测单元的输出端连接所述监测时间分析单元的输入端，所述监测时间分析单元的输出端连接所述时间调整判断单元的输入端；
所述频繁程度预测单元用于预测信息系统中存储的数据在时间段[a，b]内被查询的频繁程度；
所述监测时间分析单元用于分析默认设置的对磁盘性能进行监测的间隔时间，即每隔对应间隔时间监测一次磁盘性能；
所述时间调整判断单元用于分析以往不同时间段内信息系统中存储的数据被查询的频繁程度和对应时间段内数据查询失败的概率，依据频繁程度和概率数据建立监测时间调整判断模型，将预测到的频繁程度代入监测时间调整判断模型中，判断是否需要在时间段[a，b]内调整监测磁盘性能的间隔时间。
进一步的，所述监测时间管理模块包括输出数据调取单元和监测时间调整单元；
所述输出数据调取单元的输入端连接所述时间调整判断单元的输出端，所述输出数据调取单元的输出端连接所述监测时间调整单元的输入端；
所述输出数据调取单元用于若判断出需要在时间段[a，b]内调整监测磁盘性能的间隔时间，调取监测时间调整判断模型的输出数据至所述监测时间调整单元；
所述监测时间调整单元用于依据输出数据调整在时间段[a，b]内监测磁盘性能的间隔时间。
进一步的，所述性能监测管理模块包括监测时间设置单元、磁盘性能监测单元和异常预警单元；
所述监测时间设置单元的输入端连接所述监测时间调整单元的输出端，所述监测时间设置单元的输出端连接所述磁盘性能监测单元的输入端，所述磁盘性能监测单元的输出端连接所述异常预警单元的输入端；
所述监测时间设置单元用于将时间段[a，b]内监测磁盘性能的间隔时间设置为调整后的间隔时间；
所述磁盘性能监测单元用于每隔一次调整后的间隔时间对磁盘进行一次性能监测，监测的磁盘性能指标包括：监测磁盘的使用率、饱和度、IOPS、吞吐量和响应时间；
所述异常预警单元用于在监测到磁盘性能出现异常时发送异常预警信号至监测终端，利用人工智能技术对磁盘进行性能监测，磁盘性能出现异常指的是监测到的磁盘性能指标超出正常值的异常情况，例如：监测到磁盘的使用率超出80%时，判断磁盘I/O存在性能瓶颈，发送异常预警信号至监测终端。
一种基于人工智能的存储设备性能监测方法，包括以下步骤：
S1：采集数据查询历史数据以及磁盘性能监测数据；
S2：建立监测时间调整判断模型，判断是否需要对监测磁盘性能的间隔时间进行调整，若是，执行步骤S3；若否，执行步骤S4；
S3：设置合适的监测磁盘性能的间隔时间；
S4：依据设置的时间对磁盘进行性能监测。
进一步的，在步骤S1中：采集信息系统中数据以往从E到F时间段内的数据查询历史数据和磁盘性能监测数据，从E到F时间段默认设置的监测磁盘性能的间隔时间为T，将从E到F时间段平均分为n个时间段，采集到n个时间段内数据被查询的次数集合为A={A1，A2，…，An}，采集的数据中每个时间段内数据被查询的次数都大于1，采集到随机一个时间段内数据被查询时间之间的间隔时长集合为B={B1，B2，…，Bm}，其中，Bm表示对应时间段内数据第m+1次被查询时间与第m次被查询之间的间隔时长，对应时间段内数据共被查询了m+1次，采集所有时间段数据被查询时间之间的间隔时长，采集到n个时间段内，因磁盘性能出现异常但未被监测到异常导致数据查询失败的次数集合为D={D1，D2，…，Dn}。
进一步的，在步骤S2中：根据下列公式计算随机一个时间段内信息系统中存储的数据被查询的频繁程度Qi：
Qi=[Ai/(∑n i=1Ai)]×[1/((∑m j=1Bj)/m)]；
其中，Ai表示随机一个时间段内数据被查询的次数，Bj表示随机一个时间段内数据第j+1次被查询时间与第j次被查询时间之间的间隔时长，通过相同计算方式得到n个时间段内信息系统中存储的数据被查询的频繁程度集合为Q={Q1，Q2，…，Qi，…，Qn}，根据公式Pi=Di/Ai计算随机一个时间段内数据查询失败的概率Pi，其中，Di表示随机一个时间段内，因磁盘性能出现异常但未被监测到异常导致数据查询失败的次数，得到n个时间段内数据查询失败的概率集合为P={P1，P2，…，Pi，…，Pn}，对数据点{（Q1，P1），（Q2，P2），…，（Qi，Pi），…，（Qn，Pn）}进行直线拟合，建立监测时间调整判断模型：y=λ1*x+λ2，其中，λ1和λ2表示拟合系数；
通过大数据采集数据被用户查询的次数以及被查询的时间，分析数据被查询的频繁程度，数据被查询的次数越多、被查询的间隔时间越短，判断数据被查询得越频繁，在数据被查询得越频繁时，缩短磁盘性能监测的间隔时间，即增加磁盘性能监测频率，在磁盘性能出现异常但还未对数据查询造成影响前监测到异常情况的概率越高，历史数据中设置的磁盘性能监测间隔时间固定不变，在监测间隔时间不变的前提下，分析不同时间段数据被查询的频繁程度和对应时间段内因未及时发现磁盘性能出现异常导致数据查询失败的概率，将上述两种数据作为训练数据，建立监测时间调整判断模型，以历史实际数据作为判断是否需要调整未来对磁盘性能进行监测的间隔时间的参考数据，提高了判断结果的准确性。
进一步的，根据下列公式预测信息系统中存储的数据在第n+1个时间段内被查询的频繁程度Qn+1：
Qn+1=β*Qn+(1-β)*Sn；
其中，β表示平滑系数，Sn表示数据在第n个时间段内被查询的频繁程度指数平滑值，根据公式S1=β*Q1+(1-β)*(Q1+Q2+Q3/3)计算得到数据在第1个时间段内被查询的频繁程度指数平滑值S1，根据公式S2=β*Q1+(1-β)*S1计算得到数据在第二个时间段内被查询的频繁程度指数平滑值S2，以此类推根据公式Sn=β*Qn-1+(1-β)*Sn-1计算得到Sn，将Qn+1代入监测时间调整判断模型中，令x=Qn+1，预测得到在第n+1个时间段内数据查询失败的概率为λ1*Qn+1+λ2，设置概率阈值为w，比较λ1*Qn+1+λ2和w：若λ1*Qn+1+λ2<w，判断不需要对监测磁盘性能的间隔时间T进行调整，监测磁盘性能的间隔时间仍为T；若λ1*Qn+1+λ2≥w，判断需要对监测磁盘性能的间隔时间T进行调整，第n+1个时间段即为时间段[a，b]；
为判断未来时间段是否需要调整监测间隔时间，预先依据历史数据预测未来时间段数据被查询的频繁程度，将预测到的频繁程度代入到监测时间调整判断模型中，预测继续以默认的间隔时间T对磁盘性能进行监测时，对对应时间段数据被查询的频繁程度而言，数据查询失败的概率，依据预测到的概率判断需不需要调整监测间隔时间，有利于及时调整磁盘性能监测间隔时间以降低未能及时监测到磁盘性能异常对数据查询造成的不良影响。
进一步的，在步骤S3中：若λ1*Qn+1+λ2≥w，设置在第n+1个时间段内对磁盘性能进行监测的间隔时间为：T-T*(λ1*Qn+1+λ2-w)；
在步骤S4中：若λ1*Qn+1+λ2<w，在第n+1个时间段内每隔时间T监测一次磁盘性能；若λ1*Qn+1+λ2≥w，在第n+1个时间段内每隔时间T-T*(λ1*Qn+1+λ2-w)监测一次磁盘性能，在监测到磁盘性能出现异常时发送异常预警信号至监测终端；
在预测到的数据查询失败的概率小于概率阈值时，判断以默认设置的间隔时间T对磁盘性能进行监测，未能够及时监测到磁盘性能异常导致数据查询失败的概率小，选择以默认间隔时间T在第n+1个时间段对磁盘进行性能监测，在预测到的数据查询失败的概率达到或者超出概率阈值时，判断以间隔时间T对磁盘性能进行监测，未能够及时监测到磁盘性能异常导致数据查询失败的概率大，需要缩短监测间隔时间以增加监测次数，适当提高监测频率，对监测工作进行时间上的动态调整，有利于提高及时发现磁盘异常的概率以及时对磁盘进行维护，在保障了磁盘的良好性能基础上进一步帮助用户顺利查询到想要查询的数据。
与现有技术相比，本发明所达到的有益效果是：
本发明通过大数据采集数据被用户查询的次数以及被查询的时间，分析数据被查询的频繁程度，历史数据中设置的磁盘性能监测间隔时间固定不变，在监测间隔时间不变的前提下，分析不同时间段数据被查询的频繁程度和对应时间段内因未及时发现磁盘性能出现异常导致数据查询失败的概率，将上述两种数据作为训练数据，建立监测时间调整判断模型，以历史实际数据作为判断是否需要调整未来对磁盘性能进行监测的间隔时间的参考数据，提高了判断结果的准确性；预先依据历史数据预测未来时间段数据被查询的频繁程度，将预测到的频繁程度代入到监测时间调整判断模型中，预测继续以默认的间隔时间T对磁盘性能进行监测时，对对应时间段数据被查询的频繁程度而言，数据查询失败的概率，依据预测到的概率判断需不需要调整监测间隔时间，有利于及时调整磁盘性能监测间隔时间以降低未能及时监测到磁盘性能异常对数据查询造成的不良影响；
在预测到的数据查询失败的概率小于概率阈值时，判断以默认设置的间隔时间T对磁盘性能进行监测，未能够及时监测到磁盘性能异常导致数据查询失败的概率小，选择以默认间隔时间T在第n+1个时间段对磁盘进行性能监测，在预测到的数据查询失败的概率达到或者超出概率阈值时，判断以间隔时间T对磁盘性能进行监测，未能够及时监测到磁盘性能异常导致数据查询失败的概率大，需要缩短监测间隔时间以增加监测次数，适当提高监测频率，对监测工作进行时间上的动态调整，有利于提高及时发现磁盘异常的概率以及时对磁盘进行维护，提高了磁盘性能监测的有效性，在保障了磁盘的良好性能基础上进一步帮助用户顺利查询到想要查询的数据。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于人工智能的存储设备性能监测系统的结构图；
图2是本发明一种基于人工智能的存储设备性能监测方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
下面结合图1-图2和具体实施例对本发明作进一步的说明。
实施例1：如图1所示，本实施例提供了一种基于人工智能的存储设备性能监测系统，系统包括：查询信息采集模块、数据库、时间调整选择模块、监测时间管理模块和性能监测管理模块；
查询信息采集模块的输出端连接数据库的输入端，数据库的输出端连接时间调整选择模块的输入端，时间调整选择模块的输出端连接监测时间管理模块的输入端，监测时间管理模块的输出端连接性能监测管理模块的输入端；
通过查询信息采集模块采集数据查询历史数据以及磁盘性能监测数据，将采集到的全部数据传输到数据库；
通过数据库存储采集到的全部数据；
通过时间调整选择模块建立监测时间调整判断模型，选择是否需要对监测磁盘性能的间隔时间进行调整；
通过监测时间管理模块在选择需要调整时设置合适的监测磁盘性能的间隔时间；
通过性能监测管理模块对磁盘进行性能监测。
查询信息采集模块包括查询时间采集单元和磁盘异常信息采集单元；
查询时间采集单元和磁盘异常信息采集单元的输出端连接数据库的输入端；
查询时间采集单元用于采集信息系统中数据以往不同时间段被查询的次数和被查询时间信息；
磁盘异常信息采集单元用于采集在以往不同时间段内，因磁盘性能出现异常但未被监测到导致数据查询失败的次数信息。
时间调整选择模块包括频繁程度预测单元、监测时间分析单元和时间调整判断单元；
频繁程度预测单元的输入端连接数据库的输出端，频繁程度预测单元的输出端连接监测时间分析单元的输入端，监测时间分析单元的输出端连接时间调整判断单元的输入端；
频繁程度预测单元用于预测信息系统中存储的数据在时间段[a，b]内被查询的频繁程度；
监测时间分析单元用于分析默认设置的对磁盘性能进行监测的间隔时间，即每隔对应间隔时间监测一次磁盘性能；
时间调整判断单元用于分析以往不同时间段内信息系统中存储的数据被查询的频繁程度和对应时间段内数据查询失败的概率，依据频繁程度和概率数据建立监测时间调整判断模型，将预测到的频繁程度代入监测时间调整判断模型中，判断是否需要在时间段[a，b]内调整监测磁盘性能的间隔时间。
监测时间管理模块包括输出数据调取单元和监测时间调整单元；
输出数据调取单元的输入端连接时间调整判断单元的输出端，输出数据调取单元的输出端连接监测时间调整单元的输入端；
输出数据调取单元用于若判断出需要在时间段[a，b]内调整监测磁盘性能的间隔时间，调取监测时间调整判断模型的输出数据至监测时间调整单元；
监测时间调整单元用于依据输出数据调整在时间段[a，b]内监测磁盘性能的间隔时间。
性能监测管理模块包括监测时间设置单元、磁盘性能监测单元和异常预警单元；
监测时间设置单元的输入端连接监测时间调整单元的输出端，监测时间设置单元的输出端连接磁盘性能监测单元的输入端，磁盘性能监测单元的输出端连接异常预警单元的输入端；
监测时间设置单元用于将时间段[a，b]内监测磁盘性能的间隔时间设置为调整后的间隔时间；
磁盘性能监测单元用于每隔一次调整后的间隔时间对磁盘进行一次性能监测，利用人工智能技术对磁盘进行性能监测，监测的磁盘性能指标包括：监测磁盘的使用率、饱和度、IOPS、吞吐量和响应时间；
异常预警单元用于在监测到磁盘性能出现异常时发送异常预警信号至监测终端，磁盘性能出现异常指的是监测到的磁盘性能指标超出正常值的异常情况，例如：监测到磁盘的使用率超出80%时，判断磁盘I/O存在性能瓶颈，发送异常预警信号至监测终端。
实施例2：如图2所示，本实施例提供了一种基于人工智能的存储设备性能监测方法，其基于实施例中的监测系统实现，具体包括以下步骤：
S1：采集数据查询历史数据以及磁盘性能监测数据，采集信息系统中数据以往从E到F时间段内的数据查询历史数据和磁盘性能监测数据，从E到F时间段默认设置的监测磁盘性能的间隔时间为T，将从E到F时间段平均分为n个时间段，采集到n个时间段内数据被查询的次数集合为A={A1，A2，…，An}，采集的数据中每个时间段内数据被查询的次数都大于1，采集到随机一个时间段内数据被查询时间之间的间隔时长集合为B={B1，B2，…，Bm}，其中，Bm表示对应时间段内数据第m+1次被查询时间与第m次被查询之间的间隔时长，对应时间段内数据共被查询了m+1次，采集所有时间段数据被查询时间之间的间隔时长，采集到n个时间段内，因磁盘性能出现异常但未被监测到异常导致数据查询失败的次数集合为D={D1，D2，…，Dn}；
例如：采集信息系统中数据以往1个月内的数据查询历史数据和磁盘性能监测数据，默认设置的监测磁盘性能的间隔时间为：3天，将1个月平均分为3个时间段，采集到n个时间段内数据被查询的次数集合为A={A1，A2，A3}={6，12，22}，采集到第一个时间段内数据被查询时间之间的间隔时长集合为B={B1，B2，B3，B4，B5，B6}={5，2，15，20，6，12}，采集到3个时间段内，因磁盘性能出现异常但未被监测到异常导致数据查询失败的次数集合为D={D1，D2，D3}={2，3，5}；
S2：建立监测时间调整判断模型，根据下列公式计算随机一个时间段内信息系统中存储的数据被查询的频繁程度Qi：
Qi=[Ai/(∑n i=1Ai)]×[1/((∑m j=1Bj)/m)]；
其中，Ai表示随机一个时间段内数据被查询的次数，Bj表示随机一个时间段内数据第j+1次被查询时间与第j次被查询时间之间的间隔时长，通过相同计算方式得到n个时间段内信息系统中存储的数据被查询的频繁程度集合为Q={Q1，Q2，…，Qi，…，Qn}，根据公式Pi=Di/Ai计算随机一个时间段内数据查询失败的概率Pi，其中，Di表示随机一个时间段内，因磁盘性能出现异常但未被监测到异常导致数据查询失败的次数，得到n个时间段内数据查询失败的概率集合为P={P1，P2，…，Pi，…，Pn}，对数据点{（Q1，P1），（Q2，P2），…，（Qi，Pi），…，（Qn，Pn）}进行直线拟合，建立监测时间调整判断模型：y=λ1*x+λ2，其中，λ1和λ2表示拟合系数；
例如：根据公式Qi=[Ai/(∑n i=1Ai)]×[1/((∑m j=1Bj)/m)]计算得到第一个时间段内信息系统中存储的数据被查询的频繁程度Q1=0.015，通过相同计算方式得到3个时间段内信息系统中存储的数据被查询的频繁程度集合为Q={Q1，Q2，Q3}={0.015，0.08，0.05}，得到3个时间段内数据查询失败的概率集合为P={P1，P2，P3}={0.33，0.25，0.23}，建立监测时间调整判断模型：y=λ1*x+λ2=145x-6.7，λ1=[n∑n i=1(Qi*Pi)-∑n i=1(Qi)∑n i=1(Pi)]/[n∑n i=1(Qi)2-(∑n i=1(Qi))2]≈145，λ2=[∑n i=1(Pi)- λ1∑n i=1(Qi)]/n≈-6.7
判断是否需要对监测磁盘性能的间隔时间进行调整，根据下列公式预测信息系统中存储的数据在第n+1个时间段内被查询的频繁程度Qn+1：
Qn+1=β*Qn+(1-β)*Sn；
其中，β表示平滑系数，设置β=0.3，Sn表示数据在第n个时间段内被查询的频繁程度指数平滑值，根据公式S1=β*Q1+(1-β)*(Q1+Q2+Q3/3)计算得到数据在第1个时间段内被查询的频繁程度指数平滑值S1≈0.04，根据公式S2=β*Q1+(1-β)*S1计算得到数据在第二个时间段内被查询的频繁程度指数平滑值S2≈0.03，以此类推根据公式S3=β*Q2+(1-β)*S2计算得到S3=0.045，得到Q4=β*Q3+(1-β)*S3≈0.047，将Q4代入监测时间调整判断模型中，令x=Q4，预测得到在第4个时间段内数据查询失败的概率为λ1*Qn+1+λ2=0.12，设置概率阈值为w=0.3，比较λ1*Qn+1+λ2和w：λ1*Qn+1+λ2<w，判断不需要对监测磁盘性能的间隔时间T进行调整，监测磁盘性能的间隔时间仍为T，即每隔3天监测一次磁盘；
若λ1*Qn+1+λ2≥w，判断需要对监测磁盘性能的间隔时间T进行调整；
S3：设置合适的监测磁盘性能的间隔时间，若λ1*Qn+1+λ2≥w，设置在第n+1个时间段内对磁盘性能进行监测的间隔时间为：T-T*(λ1*Qn+1+λ2-w)；
例如：若预测得到在第4个时间段内数据查询失败的概率为0.4，0.4>w=0.3，设置在第4个时间段内对磁盘性能进行监测的间隔时间为：T-T*(λ1*Qn+1+λ2-w)=2.7，即每隔2.7天监测一次磁盘；
S4：依据设置的时间对磁盘进行性能监测，若λ1*Qn+1+λ2<w，在第n+1个时间段内每隔时间T监测一次磁盘性能；若λ1*Qn+1+λ2≥w，在第n+1个时间段内每隔时间T-T*(λ1*Qn+1+λ2-w)监测一次磁盘性能，在监测到磁盘性能出现异常时发送异常预警信号至监测终端。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人工智能的存储设备性能监测系统，其特征在于：所述系统包括：查询信息采集模块、数据库、时间调整选择模块、监测时间管理模块和性能监测管理模块；
所述查询信息采集模块的输出端连接所述数据库的输入端，所述数据库的输出端连接所述时间调整选择模块的输入端，所述时间调整选择模块的输出端连接所述监测时间管理模块的输入端，所述监测时间管理模块的输出端连接所述性能监测管理模块的输入端；
通过所述查询信息采集模块采集数据查询历史数据以及磁盘性能监测数据，将采集到的全部数据传输到所述数据库；
通过所述数据库存储采集到的全部数据；
通过所述时间调整选择模块建立监测时间调整判断模型，选择是否需要对监测磁盘性能的间隔时间进行调整；
通过所述监测时间管理模块在选择需要调整时设置合适的监测磁盘性能的间隔时间；
通过所述性能监测管理模块对磁盘进行性能监测。
2.根据权利要求1所述的一种基于人工智能的存储设备性能监测系统，其特征在于：所述查询信息采集模块包括查询时间采集单元和磁盘异常信息采集单元；
所述查询时间采集单元和磁盘异常信息采集单元的输出端连接所述数据库的输入端；
所述查询时间采集单元用于采集信息系统中数据以往不同时间段被查询的次数和被查询时间信息；
所述磁盘异常信息采集单元用于采集在以往不同时间段内，因磁盘性能出现异常但未被监测到导致数据查询失败的次数信息。
3.根据权利要求1所述的一种基于人工智能的存储设备性能监测系统，其特征在于：所述时间调整选择模块包括频繁程度预测单元、监测时间分析单元和时间调整判断单元；
所述频繁程度预测单元的输入端连接所述数据库的输出端，所述频繁程度预测单元的输出端连接所述监测时间分析单元的输入端，所述监测时间分析单元的输出端连接所述时间调整判断单元的输入端；
所述频繁程度预测单元用于预测信息系统中存储的数据在时间段[a，b]内被查询的频繁程度；
所述监测时间分析单元用于分析默认设置的对磁盘性能进行监测的间隔时间；
所述时间调整判断单元用于分析以往不同时间段内信息系统中存储的数据被查询的频繁程度和对应时间段内数据查询失败的概率，依据频繁程度和概率数据建立监测时间调整判断模型，将预测到的频繁程度代入监测时间调整判断模型中，判断是否需要在时间段[a，b]内调整监测磁盘性能的间隔时间。
4.根据权利要求3所述的一种基于人工智能的存储设备性能监测系统，其特征在于：所述监测时间管理模块包括输出数据调取单元和监测时间调整单元；
所述输出数据调取单元的输入端连接所述时间调整判断单元的输出端，所述输出数据调取单元的输出端连接所述监测时间调整单元的输入端；
所述输出数据调取单元用于若判断出需要在时间段[a，b]内调整监测磁盘性能的间隔时间，调取监测时间调整判断模型的输出数据至所述监测时间调整单元；
所述监测时间调整单元用于依据输出数据调整在时间段[a，b]内监测磁盘性能的间隔时间。
5.根据权利要求4所述的一种基于人工智能的存储设备性能监测系统，其特征在于：所述性能监测管理模块包括监测时间设置单元、磁盘性能监测单元和异常预警单元；
所述监测时间设置单元的输入端连接所述监测时间调整单元的输出端，所述监测时间设置单元的输出端连接所述磁盘性能监测单元的输入端，所述磁盘性能监测单元的输出端连接所述异常预警单元的输入端；
所述监测时间设置单元用于将时间段[a，b]内监测磁盘性能的间隔时间设置为调整后的间隔时间；
所述磁盘性能监测单元用于每隔一次调整后的间隔时间对磁盘进行一次性能监测，利用人工智能技术对磁盘进行性能监测；
所述异常预警单元用于在监测到磁盘性能出现异常时发送异常预警信号至监测终端。
6.一种基于人工智能的存储设备性能监测方法，其特征在于：包括以下步骤：
S1：采集数据查询历史数据以及磁盘性能监测数据；
S2：建立监测时间调整判断模型，判断是否需要对监测磁盘性能的间隔时间进行调整，若是，执行步骤S3；若否，执行步骤S4；
S3：设置合适的监测磁盘性能的间隔时间；
S4：依据设置的时间对磁盘进行性能监测。
7.根据权利要求6所述的一种基于人工智能的存储设备性能监测方法，其特征在于：在步骤S1中：采集信息系统中数据以往从E到F时间段内的数据查询历史数据和磁盘性能监测数据，从E到F时间段默认设置的监测磁盘性能的间隔时间为T，将从E到F时间段平均分为n个时间段，采集到n个时间段内数据被查询的次数集合为A={A1，A2，…，An}，采集的数据中每个时间段内数据被查询的次数都大于1，采集到随机一个时间段内数据被查询时间之间的间隔时长集合为B={B1，B2，…，Bm}，其中，Bm表示对应时间段内数据第m+1次被查询时间与第m次被查询之间的间隔时长，对应时间段内数据共被查询了m+1次，采集所有时间段数据被查询时间之间的间隔时长，采集到n个时间段内，因磁盘性能出现异常但未被监测到异常导致数据查询失败的次数集合为D={D1，D2，…，Dn}。
8.根据权利要求7所述的一种基于人工智能的存储设备性能监测方法，其特征在于：在步骤S2中：根据下列公式计算随机一个时间段内信息系统中存储的数据被查询的频繁程度Qi：
Qi=[Ai/(∑n i=1Ai)]×[1/((∑m j=1Bj)/m)]；
其中，Ai表示随机一个时间段内数据被查询的次数，Bj表示随机一个时间段内数据第j+1次被查询时间与第j次被查询时间之间的间隔时长，通过相同计算方式得到n个时间段内信息系统中存储的数据被查询的频繁程度集合为Q={Q1，Q2，…，Qi，…，Qn}，根据公式Pi=Di/Ai计算随机一个时间段内数据查询失败的概率Pi，其中，Di表示随机一个时间段内，因磁盘性能出现异常但未被监测到异常导致数据查询失败的次数，得到n个时间段内数据查询失败的概率集合为P={P1，P2，…，Pi，…，Pn}，对数据点{（Q1，P1），（Q2，P2），…，（Qi，Pi），…，（Qn，Pn）}进行直线拟合，建立监测时间调整判断模型：y=λ1*x+λ2，其中，λ1和λ2表示拟合系数。
9.根据权利要求8所述的一种基于人工智能的存储设备性能监测方法，其特征在于：根据下列公式预测信息系统中存储的数据在第n+1个时间段内被查询的频繁程度Qn+1：
Qn+1=β*Qn+(1-β)*Sn；
其中，β表示平滑系数，Sn表示数据在第n个时间段内被查询的频繁程度指数平滑值，根据公式S1=β*Q1+(1-β)*(Q1+Q2+Q3/3)计算得到数据在第1个时间段内被查询的频繁程度指数平滑值S1，根据公式S2=β*Q1+(1-β)*S1计算得到数据在第二个时间段内被查询的频繁程度指数平滑值S2，以此类推根据公式Sn=β*Qn-1+(1-β)*Sn-1计算得到Sn，将Qn+1代入监测时间调整判断模型中，令x=Qn+1，预测得到在第n+1个时间段内数据查询失败的概率为λ1*Qn+1+λ2，设置概率阈值为w，比较λ1*Qn+1+λ2和w：若λ1*Qn+1+λ2<w，判断不需要对监测磁盘性能的间隔时间T进行调整，监测磁盘性能的间隔时间仍为T；若λ1*Qn+1+λ2≥w，判断需要对监测磁盘性能的间隔时间T进行调整。
10.根据权利要求9所述的一种基于人工智能的存储设备性能监测方法，其特征在于：在步骤S3中：若λ1*Qn+1+λ2≥w，设置在第n+1个时间段内对磁盘性能进行监测的间隔时间为：T-T*(λ1*Qn+1+λ2-w)；
在步骤S4中：若λ1*Qn+1+λ2<w，在第n+1个时间段内每隔时间T监测一次磁盘性能；若λ1*Qn+1+λ2≥w，在第n+1个时间段内每隔时间T-T*(λ1*Qn+1+λ2-w)监测一次磁盘性能，在监测到磁盘性能出现异常时发送异常预警信号至监测终端。
CN202311077240.7A 2023-08-25 2023-08-25 一种基于人工智能的存储设备性能监测系统及方法 Active CN116795655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311077240.7A CN116795655B (zh) 2023-08-25 2023-08-25 一种基于人工智能的存储设备性能监测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311077240.7A CN116795655B (zh) 2023-08-25 2023-08-25 一种基于人工智能的存储设备性能监测系统及方法

Publications (2)

Publication Number Publication Date
CN116795655A true CN116795655A (zh) 2023-09-22
CN116795655B CN116795655B (zh) 2023-11-24

Family

ID=88045025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311077240.7A Active CN116795655B (zh) 2023-08-25 2023-08-25 一种基于人工智能的存储设备性能监测系统及方法

Country Status (1)

Country Link
CN (1) CN116795655B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117390495A (zh) * 2023-12-04 2024-01-12 江苏睿希信息科技有限公司 一种基于大数据的多源数据风险管理系统及方法
CN117452857A (zh) * 2023-11-14 2024-01-26 国网江苏省电力有限公司扬州市江都区供电分公司 一种基于数字孪生的it运维监控平台管理系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180081571A1 (en) * 2016-09-16 2018-03-22 Netscout Systems Texas, Llc System and method for predicting disk failure
CN108761509A (zh) * 2018-04-09 2018-11-06 吉林大学 一种基于历史数据的汽车行驶轨迹及里程预测方法
CN112559229A (zh) * 2020-12-24 2021-03-26 浪潮(北京)电子信息产业有限公司 非易失性内存寿命检测方法、装置、电子设备及存储介质
WO2021129055A1 (zh) * 2019-12-25 2021-07-01 百果园技术(新加坡)有限公司 信息预测模型训练方法及装置、信息预测方法及装置、存储介质、设备
CN114154677A (zh) * 2021-10-21 2022-03-08 广东申菱环境系统股份有限公司 空调运行负荷模型构建和预测方法、装置、设备和介质
CN114546765A (zh) * 2022-02-11 2022-05-27 苏州浪潮智能科技有限公司 一种集群监控方法、系统、设备以及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180081571A1 (en) * 2016-09-16 2018-03-22 Netscout Systems Texas, Llc System and method for predicting disk failure
CN108761509A (zh) * 2018-04-09 2018-11-06 吉林大学 一种基于历史数据的汽车行驶轨迹及里程预测方法
WO2021129055A1 (zh) * 2019-12-25 2021-07-01 百果园技术(新加坡)有限公司 信息预测模型训练方法及装置、信息预测方法及装置、存储介质、设备
CN112559229A (zh) * 2020-12-24 2021-03-26 浪潮(北京)电子信息产业有限公司 非易失性内存寿命检测方法、装置、电子设备及存储介质
CN114154677A (zh) * 2021-10-21 2022-03-08 广东申菱环境系统股份有限公司 空调运行负荷模型构建和预测方法、装置、设备和介质
CN114546765A (zh) * 2022-02-11 2022-05-27 苏州浪潮智能科技有限公司 一种集群监控方法、系统、设备以及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王焘等: "一种基于自适应监测的云计算系统故障检测方法", 《计算机学报》, pages 1112 - 1125 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117452857A (zh) * 2023-11-14 2024-01-26 国网江苏省电力有限公司扬州市江都区供电分公司 一种基于数字孪生的it运维监控平台管理系统及方法
CN117452857B (zh) * 2023-11-14 2024-04-12 国网江苏省电力有限公司扬州市江都区供电分公司 一种基于数字孪生的it运维监控平台管理系统及方法
CN117390495A (zh) * 2023-12-04 2024-01-12 江苏睿希信息科技有限公司 一种基于大数据的多源数据风险管理系统及方法
CN117390495B (zh) * 2023-12-04 2024-02-20 江苏睿希信息科技有限公司 一种基于大数据的多源数据风险管理系统及方法

Also Published As

Publication number Publication date
CN116795655B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN116795655B (zh) 一种基于人工智能的存储设备性能监测系统及方法
CN105956734B (zh) 动态设置it设备的性能的指标阈值的方法及系统
US8903801B2 (en) Fully automated SQL tuning
US7895323B2 (en) Hybrid event prediction and system control
CN110830450A (zh) 基于统计的异常流量监测方法、装置、设备及存储介质
WO2017008451A1 (zh) 一种面向云计算在线业务的异常负载检测方法
CN110475224B (zh) 一种基于边缘计算的传感器数据处理与协同预测方法
CN111865407B (zh) 光通道性能劣化智能预警方法、装置、设备及存储介质
JP4721362B2 (ja) 閾値設定方法とシステムおよびプログラム
EP3932025B1 (en) Computing resource scheduling method, scheduler, internet of things system, and computer readable medium
CN113590429B (zh) 一种服务器故障诊断方法、装置及电子设备
US10452666B2 (en) Sensor data search system, sensor data search method and management computer
CN110971488A (zh) 一种数据处理方法、装置、服务器和存储介质
CN109086816A (zh) 一种基于贝叶斯分类算法的用户行为分析系统
CN114283590B (zh) 车流量高峰预测方法及装置、电子设备
CN117492403B (zh) 一种大型仪器设备运行监控系统及方法
WO2024066331A1 (zh) 网络异常检测方法、装置、电子设备及存储介质
CN117149733A (zh) 一种基于大数据的多平台日志审计分析系统及方法
CN109271396B (zh) 一种调用链数据的处理方法、装置、设备及存储介质
CN108076086B (zh) 一种远程监控方法及设备
CN109918220B (zh) 一种异常数据检测参数的确定方法及确定装置
WO2021171387A1 (ja) 関係分析装置、関係分析方法、及び、関係分析プログラム
WO2009090944A1 (ja) ルールベース管理システム、ルールベース管理方法およびルールベース管理用プログラム
CN115454763A (zh) 一种指标异常判断方法和装置
US11761798B2 (en) Information processing system, information processing method, recording medium, node device, gateway device, manufacturing system, method of manufacturing product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant