CN110851333B - 根分区的监控方法、装置和监控服务器 - Google Patents

根分区的监控方法、装置和监控服务器 Download PDF

Info

Publication number
CN110851333B
CN110851333B CN201911117769.0A CN201911117769A CN110851333B CN 110851333 B CN110851333 B CN 110851333B CN 201911117769 A CN201911117769 A CN 201911117769A CN 110851333 B CN110851333 B CN 110851333B
Authority
CN
China
Prior art keywords
data
root partition
preset
state data
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911117769.0A
Other languages
English (en)
Other versions
CN110851333A (zh
Inventor
魏子昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201911117769.0A priority Critical patent/CN110851333B/zh
Publication of CN110851333A publication Critical patent/CN110851333A/zh
Application granted granted Critical
Publication of CN110851333B publication Critical patent/CN110851333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种根分区的监控方法、装置和监控服务器，其中，该方法包括：获取根分区的历史状态数据；将该历史状态数据输入至预设的状态预测模型中，得到根分区在未来预设时间段内的状态数据；如果该状态数据满足预设条件，生成根分区的报警信息和/或处理根分区中的数据。本发明通过根分区的历史状态数据，预测未来时间段内的状态数据，并根据预测的状态数据对根分区进行相应的处理，从而可提前处理可能发生报警的根分区，以减少服务器的报警量，同时提高服务器运行的稳定性。

Description

根分区的监控方法、装置和监控服务器
技术领域
本发明涉及分布式存储技术领域，尤其是涉及一种根分区的监控方法、装置和监控服务器。
背景技术
每台服务器都对应有根分区，当根分区的空间使用率超过阈值时会报警，工作人员接受到报警信号后，采取相应的措施减少根分区的空间使用率，但是该方式在多台服务器集中报警时，需要大量的人力去处理报警；另外，如果工作人员无法及时处理，也将导致服务器的报警不断积累增多，还会影响服务器的正常运行。
发明内容
本发明的目的在于提供一种根分区的监控方法、装置和监控服务器，以减少服务器的报警量，同时提高服务器运行的稳定性。
第一方面，本发明实施例提供一种根分区的监控方法，该方法包括：获取根分区的历史状态数据；将该历史状态数据输入至预设的状态预测模型中，得到根分区在未来预设时间段内的状态数据；其中，该状态预测模型通过时间序列预测模型建立；如果状态数据满足预设条件，生成该根分区的报警信息和/或处理根分区中的数据。
在本发明较佳的实施例中，上述方法还包括：建立状态预测模型；建立该状态预测模型包括：计算历史状态数据的自相关函数结果和偏自相关函数结果；根据该自相关函数结果的截尾状态或拖尾状态，以及所述偏自相关函数结果的截尾状态或拖尾状态，确定时间序列预测模型的初始阶数参数；通过预设的最小化信息量准则或贝叶斯信息准则，调整初始阶数参数，得到该时间序列预测模型的最终阶数参数；根据最终阶数参数确定时间序列预测模型的初始模型；通过该历史状态数据对初始模型进行训练，得到状态预测模型。
在本发明较佳的实施例中，上述计算历史状态数据的自相关函数结果和偏自相关函数结果的步骤之前，该方法还包括：对历史状态数据进行清洗处理；根据清洗后的历史状态数据的期望和方差，确定历史状态数据是否平稳；如果不平稳，对历史状态数据进行差分处理，直至历史状态数据平稳。
在本发明较佳的实施例中，上述将历史状态数据输入至预设的状态预测模型中，得到根分区在未来预设时间段内的状态数据的步骤，包括：根据状态预测模型的训练结果，确定状态预测模型的预测时间段；其中，在训练结果中，预测时间段内的预测准确率高于预设的准确率阈值；将历史状态数据输入至预设的状态预测模型中，得到输出结果；从该输出结果中截取预测时间段内的状态数据，将截取的状态数据确定为根分区在未来预设时间段内的状态数据。
在本发明较佳的实施例中，上述状态数据包括根分区的空间使用率；该预设条件包括：根分区的空间使用率高于预设的使用率阈值；如果状态数据满足预设条件，处理根分区中的数据的步骤，包括：如果根分区的空间使用率高于预设的使用率阈值，对根分区中的数据进行压缩或迁移。
在本发明较佳的实施例中，上述对根分区中的数据进行压缩或迁移的步骤，包括：判断根分区中的指定文件的数据量是否大于预设的第一数据量阈值；其中，该指定文件包括日志和/或目录文件；如果大于预设的数据量阈值，压缩该指定文件；如果小于或等于预设的数据量阈值，扫描该根分区，得到数据量大于预设的第二数据量阈值的数据，迁移扫描得到的数据。
第二方面，本发明实施例提供一种根分区的监控装置，该装置包括：数据获取模块，用于获取根分区的历史状态数据；数据预测模块，用于将历史状态数据输入至预设的状态预测模型中，得到该根分区在未来预设时间段内的状态数据；其中，状态预测模型通过时间序列预测模型建立；数据处理模块，用于如果状态数据满足预设条件，生成根分区的报警信息和/或处理根分区中的数据。
在本发明较佳的实施例中，上述数据预测模块，用于：根据状态预测模型的训练结果，确定状态预测模型的预测时间段；其中，在训练结果中，该预测时间段内的预测准确率高于预设的准确率阈值；将历史状态数据输入至预设的状态预测模型中，得到输出结果；从输出结果中截取预测时间段内的状态数据，将截取的状态数据确定为根分区在未来预设时间段内的状态数据。
在本发明较佳的实施例中，上述状态数据包括根分区的空间使用率；该预设条件包括：根分区的空间使用率高于预设的使用率阈值；数据处理模块，用于：如果根分区的空间使用率高于预设的使用率阈值，对根分区中的数据进行压缩或迁移。
第三方面，本发明实施例提供一种监控服务器，包括处理器和存储器，该存储器存储有能够被处理器执行的机器可执行指令，该处理器执行机器可执行指令以实现上述根分区的监控方法。
第四方面，本发明实施例提供一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述根分区的监控方法。
本发明实施例带来了以下有益效果：
本发明提供了一种根分区的监控方法、装置和监控服务器，首先获取根分区的历史状态数据；进而将该历史状态数据输入至预设的状态预测模型中，得到根分区在未来预设时间段内的状态数据；如果该状态数据满足预设条件，生成根分区的报警信息和/或处理根分区中的数据。该方式中，通过根分区的历史状态数据，预测未来时间段内的状态数据，并根据预测的状态数据对根分区进行相应的处理，从而可提前处理可能发生报警的根分区，以减少服务器的报警量，同时提高服务器运行的稳定性。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种根分区的监控场景示意图；
图2为本发明实施例提供的一种根分区的监控方法的流程图；
图3为本发明实施例提供的另一种根分区的监控方法的流程图；
图4为本发明实施例提供的另一种根分区的监控方法的流程图；
图5为本发明实施例提供的另一种根分区的监控方法的流程图；
图6为本发明实施例提供的一种根分区的监控装置的结构示意图；
图7为本发明实施例提供的一种监控服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于理解，首先示出一种根分区的监控场景，如图1所示，该场景包括根分区对应的服务器，以及监控该根分区的空间状态数据的监控服务器，通常该监控服务器与根分区对应的服务器通信连接，其中每个根分区都对应有一台服务器，如图1所示的服务器1、服务器2直到服务器N。相关技术中通过监控服务器采集各个服务器的根分区空间使用率，当该根分区的空间使用率超过预设阈值时，该根分区对应的服务器发出报警信号。该方式在多台服务器集中报警时，需要大量的人力去处理报警；另外，如果工作人员无法及时处理，也将导致服务器的报警不断积累增多，还会影响服务器运行的稳定性。
基于此，本发明提供一种根分区的监控方法、装置和监控服务器，其中，该根分区的监控方法可以应用于上述监控服务器，也可以应用于新设置的服务器，该服务器从上述监控服务器中获取历史数据。该技术可以应用于各种空间状态数据的监控和预测场景中，尤其是根分区的空间状态数据的监控场景。
基于上述描述，下面对本发明实施例所公开的一种根分区的监控方法进行详细介绍；如图2所示，该方法包括如下步骤：
步骤S202，获取根分区的历史状态数据。
根分区是服务器的操作系统的根目录所在分区，该根分区中可以包含有服务器对应操作系统的内核和在启动系统过程中所要用到的文件，例如，目录文件、日志文件或者下载文件等。根分区的历史状态数据是在过去的时间内，根分区存储空间的使用数据或者使用率，该历史状态数据可以反映根分区的存储空间在一天中哪个时间段使用率高、哪些文件占用的空间较大等。
在具体实现时，监控服务器可以从预设数据库获取根分区的历史状态数据，也可以从预设的监控系统中获取根分区的历史状态数据，其中，该监控系统可以实时采集并保存根分区的空间状态数据，该监控系统可以设置在根分区对应的服务器中，也可以设置在监控服务器中。
步骤S204，将上述历史状态数据输入至预设的状态预测模型中，得到该根分区在未来预设时间段内的状态数据；其中，该状态预测模型通过时间序列预测模型建立。
上述预设的状态预测模型可以通过时间序列预测模型建立，该时间序列预测模型也可称为时间序列模型，该时间序列模型通常包括AR(Auto Regression Model，自回归模型)模型、MA(Moving Average Model，移动平均模型)模型和ARMA(Auto RegressionMoving Average，自回归移动平均)模型，上述时间序列模型可以描述当前数据与历史数据之间的关系，并用历史时间数据对未来时刻的可能数据进行预测。
在通过时间序列模型建立状态预测模型的过程中，需要通过获取到的历史状态数据确定时间序列模型中的模型参数，以得到符合根分区的状态数据变化的模型，该模型可以根据输入的历史状态数据，输出未来预设时间段内的状态数据(相当于上述空间状态数据)。上述未来预设时间段可以根据状态预测模型的性能确定的，通常状态预测模型的性能越好，可预测的预设时间段越长；该未来预设时间段至少为一天，通常为几天，甚至是十几天。
步骤S206，如果上述状态数据满足预设条件，生成该根分区的报警信息和/或处理该根分区中的数据。
上述预设条件可以根据用户需求设定的，该预设条件可以是状态数据中的某一类文件的占用空间达到了预设上限，也可以是状态数据超过了预设阈值，例如，预设阈值设置为50GB，此时预测的未来预设时间段内的状态数据中某一天的状态数据大于50GB，此时监控服务器将采取相应的操作措施。监控服务器采取的措施可以仅包括生成根分区的报警信息，可以仅包括自动处理该根分区中的数据，也可以既包括生成根分区的报警信息又包括自动处理该根分区中的数据。
上述报警信息中可以包括满足预设条件的根分区对应的标识码，以及该根分区预测的状态数据，会将该报警信息通过预设的报警接口，以邮件、短信或者拨打电话等形式发送给相应的接口人，以使该接口人对该根分区进行处理。上述监控服务器自动处理根分区中的数据时，可以将该根分区中数据进行转移、压缩或者删除等。
本发明实施例提供了一种根分区的监控方法，首先获取根分区的历史状态数据；进而将该历史状态数据输入至预设的状态预测模型中，得到根分区在未来预设时间段内的状态数据；如果该状态数据满足预设条件，生成根分区的报警信息和/或处理根分区中的数据。该方式中，通过根分区的历史状态数据，预测未来时间段内的状态数据，并根据预测的状态数据对根分区进行相应的处理，从而可提前处理可能发生报警的根分区，以减少服务器的报警量，同时提高服务器运行的稳定性。
本发明实施例还提供了另一种根分区的监控方法，该方法在上述实施例方法的基础上实现；该方法重点描述建立状态预测模型的具体过程(通过下述步骤S304-S312实现)；如图3所示；该方法包括如下步骤：
步骤S302，获取根分区的历史状态数据。
步骤S304，计算上述历史状态数据的自相关函数结果和偏自相关函数结果。
上述自相关函数可以描述时间序列观测值与其过去值之间的相关性，也可以理解为可以描述当前状态数据与历史状态数据的相关性。上述自相关函数结果pk的计算公式可以表示为：其中k表示滞后期数，通常为正整数，yt表示当前状态数据，yt-k表示历史状态数据，cov(yt,yt-k)表示当前状态数据和历史状态数据的协方差，var(yt)表示当前状态数据的方差。
上述偏自相关函数可以描述在给定中间观测值的条件下，时间序列观测值预期过去的观测值之间的线性相关性。例如，假设上述公式中k＝3，那么自相关函数通常描述的是yt和yt-3之间的相关性，该相关性还会受到yt-1和yt-2的影响，但是偏自相关函数结果可以排除yt-1和yt-2的影响，也即是将yt-1和yt-2看成已知量。
建立时间序列预测模型的数据必须满足平稳性的要求，以使时间序列预测模型可以根据历史时间的状态数据的规律，预测未来时间的状态数据。平稳性通常要求经由样本时间序列所得到的拟合曲线在未来一段时间内仍能顺着现有的形态惯性地延续下去，也即是平稳性要求时间序列的均值和方差不发生明显变化。因此在上述步骤S304之前，需要通过下述步骤30-32对历史状态数据进行预处理：
步骤30，对历史状态数据进行清洗处理。该清洗处理可以去除获取的历史状态数据中的冗余数据，以获得待处理时间段的历史状态数据，也可以理解为通过清洗处理可以得到用户想要提取的某一历史时间段的状态数据。
步骤31，根据清洗后的历史状态数据的期望和方差，确定该历史状态数据是否平稳；如果平稳，不做任何处理；如果不平稳，执行下述步骤32。
从清洗后的历史状态数据中多次截取数据，每一次截取都计算截取数据对应的期望和方差，如果当前得到的期望和方差与上次得到的期望和方差相差较多，则确定该历史状态数据不平稳，否则，确定该历史状态数据平稳。在另一种方式中，也可以将清洗后的历史状态数据绘制成时间序列图，通过观测该时间序列图中数据的分布，判断历史状态数据是否平稳。
步骤32，对上述历史状态数据进行差分处理，直至该历史状态数据平稳。差分处理是一种微分方程数值方法，通过有限差分来近似导数，从而寻求微分方程的近似解。该差分处理可以是一阶差分处理和二阶差分处理。对历史状态数据进行一阶差分处理时，历史状态数据已经接近平稳，再对其进行二阶差分处理，可以使历史状态数据更加平稳。
步骤S306，根据上述自相关函数结果的截尾状态或拖尾状态，以及该偏自相关函数结果的截尾状态或拖尾状态，确定时间序列预测模型的初始阶数参数。
上述拖尾状态是指时间序列以指数率单调递减或震荡衰减；上述截尾状态是指时间序列从某个时间点开始，状态数据变得非常小。上述自相关函数结果或偏自相关函数的拖尾状态通常是时间序列中始终有非零取值，且会在k大于某个常数后在0附近随机波动，此时，可以确定拖尾阶数为k；上述自相关函数结果或偏自相关函数的截尾状态是时间序列在大于某个常数m后快速趋于0，此时截尾阶数为k；选取拖尾阶数和截尾阶数中较小的数据作为初始阶数参数。
步骤S308，通过预设的最小化信息量准则或贝叶斯信息准则，调整该初始阶数参数，得到时间序列预测模型的最终阶数参数。
上述最小化信息量准则是建立在熵的基础上，可以权衡所估计模型的复杂度和该模型拟合数据的优良性。上述贝叶斯信息准则是对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。
将上述初始阶数参数、时间序列预测模型中的参数个数和该模型的极大似然函数输入至最小化信息量准则或贝叶斯信息准则中，以得到时间序列预测模型的参数的最优值，以及该时间序列预测模型的最终阶数参数。该最终阶数参数可以与初始阶数参数相同，也可以不同。例如，初始阶数参数为2，时间序列预测模型为ARIMA模型，该模型的未知参数为p、d、q，其中，p表示自回归项数、d表示阶数参数、q表示滑动平均项数；将未知参数个数3、预设的极大似然函数以及初始阶数参数2输入至通过贝叶斯信息准则中，可以得到ARIMA模型对应的最终阶数为1。
步骤S310，根据上述最终阶数参数确定时间序列预测模型的初始模型。
通过最终阶数参数可以确定将最终阶数的时间序列预测模型作为初始模型，例如，将1阶ARIMA模型作为初始模型。
步骤S312，通过上述历史状态数据对初始模型进行训练，得到状态预测模型。
将历史状态输入至初始模型中，对初始模型进行训练，以确定初始模型中的参数，例如p、q。当初始模型中的参数收敛时，停止训练，并将此时得到的初始模型确定为状态预测模型。
步骤S314，将获取的历史状态数据输入至上述状态预测模型中，得到该根分区在未来预设时间段内的状态数据。
步骤S316，如果上述状态数据满足预设条件，生成该根分区的报警信息和/或处理该根分区中的数据。
上述根分区的监控方法，首先获取根分区的历史状态数据；然后计算该历史状态数据的自相关函数结果和偏自相关函数结果；再根据自相关函数结果的截尾状态或拖尾状态，以及该偏自相关函数结果的截尾状态或拖尾状态，确定时间序列预测模型的初始阶数参数；进而通过预设的最小化信息量准则或贝叶斯信息准则调整该初始阶数参数，得到时间序列预测模型的最终阶数参数；根据最终阶数参数确定时间序列预测模型的初始模型，并通过历史状态数据对初始模型进行训练，得到状态预测模型；再将获取的历史状态数据输入至上述状态预测模型中，得到该根分区在未来预设时间段内的状态数据；如果该状态数据满足预设条件，生成该根分区的报警信息或者处理该根分区中的数据。该方式中，通过历史状态数据的自相关函数结果和偏自相关函数结果的截尾状态或拖尾状态，来确定状态预测模型中的最终阶数和未知参数，该方式可以准确确定出符合根分区状态数据变化的预测模型，有利于通过该预测模型预测未来时间段内的状态数据。
本发明实施例还提供了另一种根分区的监控方法，该方法在上述实施例方法的基础上实现；该方法重点描述将历史状态数据输入至预设的状态预测模型中，得到根分区在未来预设时间段内的状态数据的具体过程(通过下述步骤S404-S408实现)；如图4所示，该方法包括如下步骤：
步骤S402，获取根分区的历史状态数据。
步骤S404，根据状态预测模型的训练结果，确定状态预测模型的预测时间段；其中，在训练结果中，该预测时间段内的预测准确率高于预设的准确率阈值。
上述训练结果是指状态预测模型的预测准确率(也可以称为预测性能)，其中，该预测准确率高于预设的标准率阈值。预设的标准率阈值为1天，该阈值标定了状态预测模型最好可预测天数。在具体实现时，可以将获取的历史状态数据分为测试数据和验证数据，将历史状态数据中时间靠前的数据确定为测试数据，将该测试数据后几天或者十几天的数据确定为验证数据，然后将测试数据输入至状态预测模型中，输出未来预设时间段(例如，7天)内的状态数据，通过predict函数比较该未来预设时间段内的状态数据和验证数据，以确定状态预测模型的预测准确率(例如，5天)，也即是确定状态预测模型可以准确预测未来多长时间段内的状态数据。上述predict函可以预测状态预测模型可预测的准确时间段。
例如，获取到30天根分区的历史状态数据，将前20天的状态数据作为测试数据，将后10天的状态数据最为验证数据；将测试数据输入至状态预测模型中，输出未来10天的状态数据，并通过predict函数将未来10天的状态数据与验证数据进行比对，如果比对结果中未来7天的状态数据是准确的或者准确率达到一定数值，确定状态预测模型可以准确预测后7天的状态数据，也即是状态预测模型的预测时间段为7天。
步骤S406，将上述历史状态数据输入至预设的状态预测模型中，得到输出结果。
通过forecast函数将历史状态数据输入至状态预测模型中，并输出该状态预测模型的预测结果。该forecast函数可以根据现有数据计算或预测未来数据。该forecast函数可以表示为FORECAST(x,known_y’s,known_x’s),其中，x表示状态预测模型，known_y’s为状态预测模型可输出的未来时间段，known_x’s为需要输入至状态预测模型中历史状态数据。
步骤S408，从上述输出结果中截取预测时间段内的状态数据，将截取的状态数据确定为根分区在未来预设时间段内的状态数据。
需要从输出结果中的一个状态数据开始截取，以获得预测时间段内的状态数据。例如，输出结果中包含未来10天的状态数据，预设时间段为5天，那么从输出结果中截取前5天的状态数据作为未来预设时间段内的状态数据。
步骤S410，如果上述状态数据满足预设条件，生成该根分区的报警信息和/或处理该根分区中的数据。
上述根分区的监控方法，首先获取根分区的历史状态数据；然后根据状态预测模型的训练结果，确定状态预测模型的预测时间段；进而将历史状态数据输入至预设的状态预测模型中，得到输出结果；再从该输出结果中截取预测时间段内的状态数据，将截取的状态数据确定为根分区在未来预设时间段内的状态数据；如果上述状态数据满足预设条件，生成该根分区的报警信息或处理该根分区中的数据。该方式中，根据状态预测模型的训练结果，得到准确的预测时间段，以状态预测模型的预测准确度，保证了状态预测模型的预测精度。
本发明实施例还提供了另一种根分区的监控方法，该方法在上述实施例方法的基础上实现；该方法重点描述如果预测的状态数据满足预设条件，处理根分区中的数据的具体过程(通过下述步骤S504-S506实现)；如图5所示，该方法包括如下步骤：
步骤S502，获取根分区的历史状态数据。
步骤S504，将上述历史状态数据输入至预设的状态预测模型中，得到该根分区在未来预设时间段内的状态数据；其中，该状态数据包括根分区的空间使用率。
上述状态数据可以为根分区的空间使用率，也即是根分区中的运行的数据占据总存储空间的比率，例如，根分区的总存储空间为1000GB，当前运行的数据占用的空间为500GB，确定空间使用率为50％。
步骤S506，如果上述根分区的空间使用率高于预设的使用率阈值，对所述根分区中的数据进行压缩或迁移。
根分区的状态数据满足预设条件时，需要对根分区中的数据进行相应的处理，其中该预设条件可以设置为根分区的空间使用率高于预设的使用率阈值。该预设的使用率阈值可以是用户根据需求设定的，该使用率值可以设置为80％或者75％等。
在具体实现时，需要判断预测的根分区的空间使用率是否高于使用率阈值，如果高于，将对该根分区中的数据进行压缩或者迁移。可以将过大的日志文件或者目录文件进行压缩处理，也可以将其他文件迁移至未超过使用率阈值的根分区中。上述步骤S506可以通过下述步骤50-53实现：
步骤50，判断根分区中的指定文件的数据量是否大于预设的第一数据量阈值；其中，该指定文件包括日志和/或目录文件；如果大于预设的第一数据量阈值，执行步骤51；否则，执行步骤52。
上述第一数据量阈值是根据用户需求设置的，例如，20GB或者25GB等；上述指定文件也可以称为常见的文件，可以仅包括日志文件，可以仅包括目录文件，也可以既包括日志文件又包括目录文件。
步骤51，压缩上述指定文件。对该指定文件压缩，可以减少该指定文件占用的空间，从而达到减少空间占用率的目的。
步骤52，扫描上述根分区，得到数据量大于预设的第二数据量阈值的数据，迁移扫描得到的数据。
当指定文件没有过大时，需要对根分区的数据进行全扫描，以确定大于预设第二数据量阈值的数据，其中，该第二数据量阈值是根据用户的需求设定的，例如30GB或者25GB等。在本发明一实施例中，可以将大于第二数据量阈值的数据迁移至其他根分区中，以减少该根分区的空间占用率，从而有效较少未来时间内根分区的报警次数。
上述根分区的监控方法，将获取的历史状态数据输入至预设的状态预测模型，可得到根分区在未来预设时间段内的空间使用率；如果该根分区的空间使用率高于预设的使用率阈值，对根分区中的数据进行压缩或迁移。该方式可以通过预测数据，提前处理可能发生报警的根分区中的数据，从而在一定程度上减少了根分区对应服务器的报警次数，有利于服务稳定运行。
对应于上述一种根分区的监控方法实施例，本发明实施例还提供了一种根分区的监控装置；如图6所示，该装置包括：
数据获取模块60，用于获取根分区的历史状态数据。
数据预测模块61，用于将上述历史状态数据输入至预设的状态预测模型中，得到根分区在未来预设时间段内的状态数据；其中，该状态预测模型通过时间序列预测模型建立。
数据处理模块62，用于如果上述状态数据满足预设条件，生成根分区的报警信息和/或处理根分区中的数据。
上述根分区的监控装置，首先获取根分区的历史状态数据；进而将该历史状态数据输入至预设的状态预测模型中，得到根分区在未来预设时间段内的状态数据；如果该状态数据满足预设条件，生成根分区的报警信息和/或处理根分区中的数据。该方式中，通过根分区的历史状态数据，预测未来时间段内的状态数据，并根据预测的状态数据对根分区进行相应的处理，从而可提前处理可能发生报警的根分区，以减少服务器的报警量，同时提高服务器运行的稳定性。
具体地，上述装置还包括模型建立模块，用于建立状态预测模型；该模型建立模型还用于：计算历史状态数据的自相关函数结果和偏自相关函数结果；根据自相关函数结果的截尾状态或拖尾状态，以及偏自相关函数结果的截尾状态或拖尾状态，确定时间序列预测模型的初始阶数参数；通过预设的最小化信息量准则或贝叶斯信息准则，调整该初始阶数参数，得到时间序列预测模型的最终阶数参数；根据该最终阶数参数确定时间序列预测模型的初始模型；通过历史状态数据对初始模型进行训练，得到状态预测模型。
进一步地，在建立状态预测模型之前，该装置还包括：数据预处理模块，用于：对历史状态数据进行清洗处理；根据清洗后的历史状态数据的期望和方差，确定历史状态数据是否平稳；如果不平稳，对历史状态数据进行差分处理，直至历史状态数据平稳。
进一步地，上述数据预测模块，用于：根据状态预测模型的训练结果，确定状态预测模型的预测时间段；其中，在训练结果中，该预测时间段内的预测准确率高于预设的准确率阈值；将该历史状态数据输入至预设的状态预测模型中，得到输出结果；从输出结果中截取预测时间段内的状态数据，将截取的状态数据确定为根分区在未来预设时间段内的状态数据。
进一步地，上述状态数据包括根分区的空间使用率；该预设条件包括：根分区的空间使用率高于预设的使用率阈值；上述数据处理模块，用于：如果根分区的空间使用率高于预设的使用率阈值，对根分区中的数据进行压缩或迁移。
进一步地，上述数据处理模块，还用于：判断根分区中的指定文件的数据量是否大于预设的第一数据量阈值；其中，指定文件包括日志和/或目录文件；如果大于预设的数据量阈值，压缩该指定文件；如果小于或等于预设的数据量阈值，扫描该根分区，得到数据量大于预设的第二数据量阈值的数据，迁移扫描得到的所述数据。
本发明实施例所提供的根分区的监控装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例还提供了一种监控服务器，用于运行根分区的监控方法，参见图7所示，该监控服务器包括处理器101和存储器100，该存储器100存储有能够被处理器101执行的机器可执行指令，该处理器101执行机器可执行指令以实现上述根分区的监控方法。
进一步地，图7所示的监控服务器还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述根分区的监控方法，具体实现可参见方法实施例，在此不再赘述。
本发明实施例所提供的文本区域的根分区的监控方法、装置和监控服务器的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种根分区的监控方法，其特征在于，所述方法包括：
获取所述根分区的历史状态数据；
将所述历史状态数据输入至预设的状态预测模型中，得到所述根分区在未来预设时间段内的状态数据；其中，所述状态预测模型通过时间序列预测模型建立；
如果所述状态数据满足预设条件，生成所述根分区的报警信息和/或处理所述根分区中的数据；
将所述历史状态数据输入至预设的状态预测模型中，得到所述根分区在未来预设时间段内的状态数据的步骤，包括：根据所述状态预测模型的训练结果，确定所述状态预测模型的预测时间段；其中，在所述训练结果中，所述预测时间段内的预测准确率高于预设的准确率阈值；将所述历史状态数据输入至预设的状态预测模型中，得到输出结果；从所述输出结果中截取所述预测时间段内的状态数据，将截取的状态数据确定为所述根分区在未来预设时间段内的状态数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：建立所述状态预测模型；
所述建立所述状态预测模型包括：
计算所述历史状态数据的自相关函数结果和偏自相关函数结果；
根据所述自相关函数结果的截尾状态或拖尾状态，以及所述偏自相关函数结果的截尾状态或拖尾状态，确定时间序列预测模型的初始阶数参数；
通过预设的最小化信息量准则或贝叶斯信息准则，调整所述初始阶数参数，得到所述时间序列预测模型的最终阶数参数；
根据所述最终阶数参数确定所述时间序列预测模型的初始模型；
通过所述历史状态数据对所述初始模型进行训练，得到所述状态预测模型。
3.根据权利要求2所述的方法，其特征在于，计算所述历史状态数据的自相关函数结果和偏自相关函数结果的步骤之前，所述方法还包括：
对所述历史状态数据进行清洗处理；
根据清洗后的所述历史状态数据的期望和方差，确定所述历史状态数据是否平稳；
如果不平稳，对所述历史状态数据进行差分处理，直至所述历史状态数据平稳。
4.根据权利要求1所述的方法，其特征在于，所述状态数据包括所述根分区的空间使用率；
所述预设条件包括：所述根分区的空间使用率高于预设的使用率阈值；
所述如果所述状态数据满足预设条件，处理所述根分区中的数据的步骤，包括：
如果所述根分区的空间使用率高于预设的使用率阈值，对所述根分区中的数据进行压缩或迁移。
5.根据权利要求4所述的方法，其特征在于，对所述根分区中的数据进行压缩或迁移的步骤，包括：
判断所述根分区中的指定文件的数据量是否大于预设的第一数据量阈值；其中，所述指定文件包括日志和/或目录文件；
如果大于预设的数据量阈值，压缩所述指定文件；
如果小于或等于预设的数据量阈值，扫描所述根分区，得到数据量大于预设的第二数据量阈值的数据，迁移扫描得到的所述数据。
6.一种根分区的监控装置，其特征在于，所述装置包括：
数据获取模块，用于获取所述根分区的历史状态数据；
数据预测模块，用于将所述历史状态数据输入至预设的状态预测模型中，得到所述根分区在未来预设时间段内的状态数据；其中，所述状态预测模型通过时间序列预测模型建立；
数据处理模块，用于如果所述状态数据满足预设条件，生成所述根分区的报警信息和/或处理所述根分区中的数据；
所述数据预测模块，用于：根据所述状态预测模型的训练结果，确定所述状态预测模型的预测时间段；其中，在所述训练结果中，所述预测时间段内的预测准确率高于预设的准确率阈值；将所述历史状态数据输入至预设的状态预测模型中，得到输出结果；从所述输出结果中截取所述预测时间段内的状态数据，将截取的状态数据确定为所述根分区在未来预设时间段内的状态数据。
7.根据权利要求6所述的装置，其特征在于，所述状态数据包括所述根分区的空间使用率；所述预设条件包括：所述根分区的空间使用率高于预设的使用率阈值；所述数据处理模块，用于：如果所述根分区的空间使用率高于预设的使用率阈值，对所述根分区中的数据进行压缩或迁移。
8.一种监控服务器，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至4任一项所述的根分区的监控方法。
9.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使处理器实现权利要求1至4任一项所述的根分区的监控方法。
CN201911117769.0A 2019-11-14 2019-11-14 根分区的监控方法、装置和监控服务器 Active CN110851333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911117769.0A CN110851333B (zh) 2019-11-14 2019-11-14 根分区的监控方法、装置和监控服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911117769.0A CN110851333B (zh) 2019-11-14 2019-11-14 根分区的监控方法、装置和监控服务器

Publications (2)

Publication Number Publication Date
CN110851333A CN110851333A (zh) 2020-02-28
CN110851333B true CN110851333B (zh) 2023-09-01

Family

ID=69600690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911117769.0A Active CN110851333B (zh) 2019-11-14 2019-11-14 根分区的监控方法、装置和监控服务器

Country Status (1)

Country Link
CN (1) CN110851333B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253938A (zh) * 2020-09-22 2022-03-29 中兴通讯股份有限公司 数据管理方法、数据管理装置及存储介质
CN112364077A (zh) * 2020-11-09 2021-02-12 光大理财有限责任公司 训练样本生成方法、机器学习模型训练方法及相关装置
CN112463531A (zh) * 2020-11-24 2021-03-09 中国建设银行股份有限公司 一种文件传输预警方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9323599B1 (en) * 2015-07-31 2016-04-26 AppDynamics, Inc. Time series metric data modeling and prediction
CN106920009A (zh) * 2017-03-03 2017-07-04 北京北青厚泽数据科技有限公司 医院服务量的预测方法
CN108052528A (zh) * 2017-11-09 2018-05-18 华中科技大学 一种存储设备时序分类预警方法
CN108921355A (zh) * 2018-07-03 2018-11-30 国家计算机网络与信息安全管理中心 一种基于时间序列预测模型的告警阈值设定方法及装置
CN109446041A (zh) * 2018-09-25 2019-03-08 平安普惠企业管理有限公司 一种服务器压力预警方法、系统及终端设备
CN109766234A (zh) * 2018-12-11 2019-05-17 国网甘肃省电力公司信息通信公司 基于时间序列模型的磁盘存储容量预测方法
CN109787855A (zh) * 2018-12-17 2019-05-21 深圳先进技术研究院 基于马尔可夫链和时间序列模型的服务器负载预测方法及系统
CN109995562A (zh) * 2017-12-30 2019-07-09 中国移动通信集团河北有限公司 网络业务量预测方法、装置、设备及介质
CN110276491A (zh) * 2019-06-24 2019-09-24 重庆锐云科技有限公司 粉丝预测管理方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9323599B1 (en) * 2015-07-31 2016-04-26 AppDynamics, Inc. Time series metric data modeling and prediction
CN106920009A (zh) * 2017-03-03 2017-07-04 北京北青厚泽数据科技有限公司 医院服务量的预测方法
CN108052528A (zh) * 2017-11-09 2018-05-18 华中科技大学 一种存储设备时序分类预警方法
CN109995562A (zh) * 2017-12-30 2019-07-09 中国移动通信集团河北有限公司 网络业务量预测方法、装置、设备及介质
CN108921355A (zh) * 2018-07-03 2018-11-30 国家计算机网络与信息安全管理中心 一种基于时间序列预测模型的告警阈值设定方法及装置
CN109446041A (zh) * 2018-09-25 2019-03-08 平安普惠企业管理有限公司 一种服务器压力预警方法、系统及终端设备
CN109766234A (zh) * 2018-12-11 2019-05-17 国网甘肃省电力公司信息通信公司 基于时间序列模型的磁盘存储容量预测方法
CN109787855A (zh) * 2018-12-17 2019-05-21 深圳先进技术研究院 基于马尔可夫链和时间序列模型的服务器负载预测方法及系统
CN110276491A (zh) * 2019-06-24 2019-09-24 重庆锐云科技有限公司 粉丝预测管理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110851333A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110851333B (zh) 根分区的监控方法、装置和监控服务器
CN106933650B (zh) 云应用系统的负载管理方法及系统
CN109697207B (zh) 时序数据的异常监控方法及系统
CN106685674B (zh) 网络事件预测以及建立网络事件预测模型的方法和装置
US9471544B1 (en) Anomaly detection in a signal
CN110263869B (zh) 一种Spark任务的时长预测方法及装置
CN112148557B (zh) 一种性能指标实时预测方法、计算机设备及存储介质
CN110880014B (zh) 数据处理方法、装置、计算机设备及存储介质
CN110890998B (zh) 一种确定阈值的方法及装置
CN110399268A (zh) 一种异常数据检测的方法、装置及设备
CN111680085A (zh) 数据处理任务分析方法、装置、电子设备和可读存储介质
CN111784160A (zh) 一种河流水文情势变化的评估方法及系统
US20210342691A1 (en) System and method for neural time series preprocessing
CN110795324A (zh) 一种数据处理方法及装置
CN117675866A (zh) 基于贝叶斯推断的资料处理方法、装置、设备及介质
CN108463813B (zh) 一种进行数据处理的方法和装置
CN111783883A (zh) 一种异常数据的检测方法及装置
CN111079830A (zh) 目标任务模型的训练方法、装置和服务器
CN107682409B (zh) 一种集群资源预伸缩方法及装置
CN112684398B (zh) 基于动态线损的电能表运行误差监测方法及系统
CN112783747B (zh) 一种应用程序的执行时间预测方法及装置
CN112396100B (zh) 一种细粒度分类模型的优化方法、系统及相关装置
CN111241159B (zh) 确定任务执行时间的方法及装置
CN107229621B (zh) 差异数据的清洗方法及装置
JP2023042919A (ja) 機械学習モデル評価システム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant