CN111310350A - 一种基于Prophet模型的SSD寿命预测方法及系统 - Google Patents

一种基于Prophet模型的SSD寿命预测方法及系统 Download PDF

Info

Publication number
CN111310350A
CN111310350A CN202010116740.7A CN202010116740A CN111310350A CN 111310350 A CN111310350 A CN 111310350A CN 202010116740 A CN202010116740 A CN 202010116740A CN 111310350 A CN111310350 A CN 111310350A
Authority
CN
China
Prior art keywords
ssd
trend
abrasion degree
term
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010116740.7A
Other languages
English (en)
Inventor
曹琪
王团结
李强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010116740.7A priority Critical patent/CN111310350A/zh
Publication of CN111310350A publication Critical patent/CN111310350A/zh
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于Prophet模型的SSD寿命预测方法及系统,包括:采集SSD盘在预设时间范围内工作负载介质的实际磨损度,得到磨损度时间序列;利用磨损度时间序列的趋势性、周期性和节假日效应构建Prophet模型;向Prophet模型输入所测SSD盘的磨损度时间序列,输出所测SSD盘的磨损度及其时间点;获取磨损度达到100%的时间点,所述时间点即为所测SSD寿命。本发明利用Prophet模型学习用户磨损度的趋势性、周期性及节假日效应,实现了通过SSD盘的磨损度随时间的变化序列来预测SSD寿命。

Description

一种基于Prophet模型的SSD寿命预测方法及系统
技术领域
本发明属于硬盘测试技术领域,具体涉及一种基于Prophet模型的SSD寿命预测方法及系统。
背景技术
随着科学技术的不断发展,SSD(固态硬盘)由于其读写速度快、抗震抗摔、低功耗和无噪音等特点被广泛应用于电力、医疗、军事、交通导航等诸多领域。SSD的寿命预测具有较高的客户价值及企业价值。作为HDD的高性能替代方案,基于闪存的固态硬盘(SSD)自问世以来就得到广泛追捧。并且伴随着闪存技艺的改进和价格的下降,SSD迎来更广阔的市场和发展前景。SSD的闪存芯片有寿命限制,即它的擦写次数有限,通常情况下SSD寿命预测是根据用户SSD历史磨损变化,预测其未来磨损度达到100%的时间。SSD SMART指标中磨损度的定义为:当前已发生的擦写次数/额定最大擦写次数,当SSD的磨损达到100%时,SSD达到厂商的质保期限,SSD性能和可靠性不再得到保证。
现有SSD寿命预测技术非常简单,在计算SSD寿命时,都是采用公式求平均值的方法,当前SSD厂商比如Intel、HP、HP等均采用上述方法,此方法的具体原理为:剩余寿命=Δ时间/Δ磨损变化×(1-磨损度)。基于上述原理产生一些较为先进的SSD寿命预测方法,如Prophet模型,Prophet模型为当前较先进的时间序列预测算法,其本质上是时间序列的分解,模型的输入为时间序列的时间戳和相应的值,给定需要预测的时间序列的长度,Prophet将输出未来的时间序列预测。原Prophet模型的趋势项设置的断点为固定值,默认情况下断点为25个,所表达的含义是将训练集划分为相同的25段,每段为独立的线性模型,线性模型参数也需单独训练,对于不同时长的训练数据集设置相同数量的分段函数显然不合理。
但是这些现有的计算方法仅在用户负载不变的情况下是可行的,由于用户的负载是时刻在变化的,因此现有SSD寿命预测技术的结果准确性较差。模型的参数需要人为手动提前设定,操作步骤繁琐,而且随着模型训练集的增大,既定参数对模型的拟合程度会逐渐下降,故需要整个预测区间上不断地进行人为调整参数,工作量庞大,造成SSD成本提高,不利于市场竞争。
发明内容
针对现有技术的上述不足,本发明提供一种基于Prophet模型的SSD寿命预测方法及系统,以解决上述技术问题。
第一方面,本发明一种基于Prophet模型的SSD寿命预测方法,包括:
采集SSD盘在预设时间范围内工作负载介质的实际磨损度,得到磨损度时间序列;
利用磨损度时间序列的趋势性、周期性和节假日效应构建Prophet模型;
向Prophet模型输入所测SSD盘的磨损度时间序列,输出所测SSD盘的磨损度及其时间点;
获取磨损度达到100%的时间点,所述时间点即为所测SSD寿命。
进一步的,所述方法还包括:
计算磨损度时间序列的增长趋势性变化,得到趋势项;
计算磨损度时间序列的周期性变化,得到周期项;
计算磨损度序列的节假日效应变化,得到节假日项;
计算模型训练时出现的异常变动,得到误差项εt;
将所述趋势项、周期项和节假日项带入Prophet模型进行训练,所述磨损度时间序列y(t)分为趋势项g(t)、周期项s(t)、节假日项h(t)和误差项εt,且Prophet模型公式为y(t)=g(t)+s(t)+h(t)+εt。
进一步的,所述处理磨损度时间序列的增长趋势性变化,得到趋势项,包括:
根据所述磨损度时间序列判断磨损度是否呈现饱和增长:
若是,则趋势项函数选择使用逻辑回归函数;
若否,则趋势项函数使用分段线性函数。
进一步的,所述方法还包括:
计算趋势项函数的变点参数,所述变点参数包括:变点个数、变点的分布区间和变点的影响强度;
将变点参数带入趋势项函数,得出趋势项。
进一步的,所述设置变点个数等于时间序列总天数除以N的值向下取整,所述N为预设时间范围的平均分段天数。
进一步的,所述方法还包括:
监控磨损度的采集天数,
当所述采集天数超出预设时间范围后,采集天数每累计增加N天,则自动增加1个变点个数。
进一步的,所述方法还包括:
SSD的剩余寿命即为所测SSD寿命与当前日期的差值。
第二方面,本发明一种基于Prophet模型的SSD寿命预测系统,包括:
数据采集单元,配置用于采集SSD盘在预设时间范围内工作负载介质的实际磨损度,得到磨损度时间序列;
模型构建单元,配置用于利用磨损度时间序列的趋势性、周期性和节假日效应构建Prophet模型;
模型训练单元,配置用于向Prophet模型输入所测SSD盘的磨损度时间序列,输出所测SSD盘的磨损度及其时间点;
结果获取单元,配置用于获取磨损度达到100%的时间点,所述时间点即为所测SSD寿命。
进一步的,所述模型训练单元包括:
趋势计算模块,配置用于计算磨损度时间序列的增长趋势性变化,得到趋势项;
周期计算模块,配置用于计算磨损度时间序列的周期性变化,得到周期项;
节假日计算模块,配置用于计算磨损度序列的节假日效应变化,得到节假日项;
误差计算模块,配置用于计算模型训练时出现的异常变动,得到误差项εt;
模型训练模块,配置用于将所述趋势项、周期项和节假日项带入Prophet模型进行训练,所述磨损度时间序列y(t)分为趋势项g(t)、周期项s(t)、节假日项h(t)和误差项εt,且Prophet模型公式为y(t)=g(t)+s(t)+h(t)+εt。
本发明的有益效果在于,
本发明提供的一种基于Prophet模型的SSD寿命预测方法,利用时间序列Prophet模型,依据SSD盘的磨损度随时间的变化序列来估算SSD寿命;通过Prophet模型学习用户磨损度的趋势性、周期性及节假日效应,预测磨损度达到100%的时间点,最终获得所测SSD的寿命;另外本发明可以依据训练集时间序列的大小,自动更改趋势项变点的个数,实现Prophet模型的自动优化。
此外,本发明设计原理可靠,结构简单,具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明一个实施例的系统的流程框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
下面对于本发明出现的关键术语进行解释。
SSD:Solid-state drive或Solid-state disk固态硬盘或固态驱动器
HDD:Hard Disk Drive机械硬盘
S.M.A.R.T.:Self-Monitoring Analysis and Reporting Technology自我监测、分析及报告技术。
smart_226Timed Workload Media Wear:smart_226定时工作负载介质磨损,在本发明中代表实际磨损度。
趋势项表示SSD主机写入量整体的变化趋势。
周期项s(t)用于表达主机写入的周期性变化,周期为每周或者每年。节假日项h(t)用于表达非规律性的节假日效应。
误差项εt用来反映未在模型中体现的异常变动。
图1是本发明一个实施例的方法的示意性流程图。
如图1所示,该方法100包括:
步骤110,采集SSD盘在预设时间范围内工作负载介质的实际磨损度,得到磨损度时间序列;
步骤120,利用磨损度时间序列的趋势性、周期性和节假日效应构建Prophet模型;
步骤130,向Prophet模型输入所测SSD盘的磨损度时间序列,输出所测SSD盘的磨损度及其时间点;
步骤140,获取磨损度达到100%的时间点,所述时间点即为所测SSD寿命。
可选地,作为本发明一个实施例,所述方法还包括:
计算磨损度时间序列的增长趋势性变化,得到趋势项;
计算磨损度时间序列的周期性变化,得到周期项;
计算磨损度序列的节假日效应变化,得到节假日项;
计算模型训练时出现的异常变动,得到误差项εt;
将所述趋势项、周期项和节假日项带入Prophet模型进行训练,所述磨损度时间序列y(t)分为趋势项g(t)、周期项s(t)、节假日项h(t)和误差项εt,且Prophet模型公式为y(t)=g(t)+s(t)+h(t)+εt。
可选地,作为本发明一个实施例,所述处理磨损度时间序列的增长趋势性变化,得到趋势项,包括:
根据所述磨损度时间序列判断磨损度是否呈现饱和增长:
若是,则趋势项函数选择使用逻辑回归函数;
若否,则趋势项函数使用分段线性函数。
可选地,作为本发明一个实施例,所述方法还包括:
计算趋势项函数的变点参数,所述变点参数包括:变点个数、变点的分布区间和变点的影响强度;
将变点参数带入趋势项函数,得出趋势项。
可选地,作为本发明一个实施例,所述设置变点个数等于时间序列总天数除以N的值向下取整,所述N为预设时间范围的平均分段天数。
可选地,作为本发明一个实施例,所述方法还包括:
监控磨损度的采集天数,
当所述采集天数超出预设时间范围后,采集天数每累计增加N天,则自动增加1个变点个数;
重新训练Prophet模型。
可选地,作为本发明一个实施例,所述方法还包括:
SSD的剩余寿命即为所测SSD寿命与当前日期的差值。
具体的,所述的基于Prophet模型的SSD寿命预测方法包括:
(1)采集数据:设置实际磨损度的采集时间范围为90天;每天固定时间使用smartctl工具中的smartcl–a命令获得所测SSD盘的S.M.A.R.T.参数详细信息;将S.M.A.R.T.参数中的smart_226Timed Workload Media Wear和时间戳进行记录,所述smart_226Timed Workload Media Wear为实际磨损度。
(2)数据处理,记录的磨损度与采集天数形成90天内得到磨损度时间序列。
(3)依据采集的磨损度变化特征选择趋势项使用分段线性函数还是逻辑回归函数。当磨损度呈现饱和增长趋势时,选择使用逻辑回归函数,否则使用分段线性函数。设定趋势项的变点参数,包括:变点个数、变点的分布区间以及变点的影响强度。设置变点个数=时间序列长度除以15的值向下取整。
(4)设定周期项,周期项的参数包括周期长度(周/年)、周期项强度以及乘法周期项还是加法周期项。周期项的实现使用了傅立叶级数来模拟。在训练Prophet模型时可以调整周期项的傅里叶级数,还可以调整周期项为加法周期项或者乘法周期项。
(5)设定节假日项,节假日项的参数包括节假日日期、节假日写入量的强度。
(6)模型训练,本发明采用的Prophet模型为当前较先进的时间序列预测算法,其本质上是时间序列的分解,Prophet模型的输入为磨损度时间序列的时间戳和相应的磨损度,给定需要预测的时间序列的长度,Prophet模型将输出未来的时间序列预测,根据预测输出的时间序列中100%磨损度对应的时间点即为预测寿命。使用Prophet模型把SSD主机写入量时间序列y(t)分成4个部分:趋势项g(t)、周期项s(t)、节假日项h(t)和误差项εt,所述模型训练公式为y(t)=g(t)+s(t)+h(t)+εt;本发明根据磨损度时间序列,每隔15天建立分段函数来拟合趋势项变化;当时间序列累计记录量达到90天后,将所述磨损度序列代入Prophet模型进行训练,得到未来时间和磨损度,采集的时间序列数据量每累计增加15天,自动增加1个变点个数以15天为一段对90天的磨损度时间序列进行分段训练。
(7)数据预测,根据获取预测磨损度达到100%的时间,即为预测的SSD寿命。
图2是本发明一个实施例的系统的框图。
如图2所示,该系统200包括:
数据采集单元210,配置用于采集SSD盘在预设时间范围内工作负载介质的实际磨损度,得到磨损度时间序列;
模型构建单元220,配置用于利用磨损度时间序列的趋势性、周期性和节假日效应构建Prophet模型;
模型训练单元230,配置用于向Prophet模型输入所测SSD盘的磨损度时间序列,输出所测SSD盘的磨损度及其时间点;
结果获取单元240,配置用于获取磨损度达到100%的时间点,所述时间点即为所测SSD寿命。
可选地,作为本发明一个实施例,所述模型训练单元包括:
趋势计算模块,配置用于计算磨损度时间序列的增长趋势性变化,得到趋势项;
周期计算模块,配置用于计算磨损度时间序列的周期性变化,得到周期项;
节假日计算模块,配置用于计算磨损度序列的节假日效应变化,得到节假日项;
误差计算模块,配置用于计算模型训练时出现的异常变动,得到误差项εt;
模型训练模块,配置用于将所述趋势项、周期项和节假日项带入Prophet模型进行训练,所述磨损度时间序列y(t)分为趋势项g(t)、周期项s(t)、节假日项h(t)和误差项εt,且Prophet模型公式为y(t)=g(t)+s(t)+h(t)+εt。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述,但本发明并不限于此。在不脱离本发明的精神和实质的前提下,本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换,而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种基于Prophet模型的SSD寿命预测方法,其特征在于,包括:
采集SSD盘在预设时间范围内工作负载介质的实际磨损度,得到磨损度时间序列;
利用磨损度时间序列的趋势性、周期性和节假日效应构建Prophet模型;
向Prophet模型输入所测SSD盘的磨损度时间序列,输出所测SSD盘的磨损度及其时间点;
获取磨损度达到100%的时间点,所述时间点即为所测SSD寿命。
2.根据权利要求1所述的一种基于Prophet模型的SSD寿命预测方法,其特征在于,所述方法还包括:
计算磨损度时间序列的增长趋势性变化,得到趋势项;
计算磨损度时间序列的周期性变化,得到周期项;
计算磨损度序列的节假日效应变化,得到节假日项;
计算模型训练时出现的异常变动,得到误差项;
将所述趋势项、周期项和节假日项带入Prophet模型进行训练,所述磨损度时间序列y(t)分为趋势项g(t)、周期项s(t)、节假日项h(t)和误差项εt,且Prophet模型公式为y(t)=g(t)+s(t)+h(t)+εt。
3.根据权利要求2所述的一种基于Prophet模型的SSD寿命预测方法,其特征在于,所述处理磨损度时间序列的增长趋势性变化,得到趋势项,包括:
根据所述磨损度时间序列判断磨损度是否呈现饱和增长:
若是,则趋势项函数选择使用逻辑回归函数;
若否,则趋势项函数使用分段线性函数。
4.根据权利要求3所述的一种基于Prophet模型的SSD寿命预测方法,其特征在于,所述方法还包括:
计算趋势项函数的变点参数,所述变点参数包括:变点个数、变点的分布区间和变点的影响强度;
将变点参数带入趋势项函数,得出趋势项。
5.根据权利要求4所述的一种基于Prophet模型的SSD寿命预测方法,其特征在于,所述设置变点个数等于时间序列总天数除以N的值向下取整,所述N为预设时间范围的平均分段天数。
6.根据权利要求5所述的一种基于Prophet模型的SSD寿命预测方法,其特征在于,所述方法还包括:
监控磨损度的采集天数,
当所述采集天数超出预设时间范围后,采集天数每累计增加N天,则自动增加1个变点个数。
7.根据权利要求1所述的一种基于Prophet模型的SSD寿命预测方法,其特征在于,所述方法还包括:
SSD的剩余寿命即为所测SSD寿命与当前日期的差值。
8.一种基于Prophet模型的SSD寿命预测系统,其特征在于,包括:
数据采集单元,配置用于采集SSD盘在预设时间范围内工作负载介质的实际磨损度,得到磨损度时间序列;
模型构建单元,配置用于利用磨损度时间序列的趋势性、周期性和节假日效应构建Prophet模型;
模型训练单元,配置用于向Prophet模型输入所测SSD盘的磨损度时间序列,输出所测SSD盘的磨损度及其时间点;
结果获取单元,配置用于获取磨损度达到100%的时间点,所述时间点即为所测SSD寿命。
9.根据权利要求8所述的一种基于Prophet模型的SSD寿命预测系统,其特征在于,所述模型训练单元包括:
趋势计算模块,配置用于计算磨损度时间序列的增长趋势性变化,得到趋势项;
周期计算模块,配置用于计算磨损度时间序列的周期性变化,得到周期项;
节假日计算模块,配置用于计算磨损度序列的节假日效应变化,得到节假日项;
误差计算模块,配置用于计算模型训练时出现的异常变动,得到误差项εt;
模型训练模块,配置用于将所述趋势项、周期项和节假日项带入Prophet模型进行训练,所述磨损度时间序列y(t)分为趋势项g(t)、周期项s(t)、节假日项h(t)和误差项εt,且Prophet模型公式为y(t)=g(t)+s(t)+h(t)+εt。
CN202010116740.7A 2020-02-25 2020-02-25 一种基于Prophet模型的SSD寿命预测方法及系统 Withdrawn CN111310350A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010116740.7A CN111310350A (zh) 2020-02-25 2020-02-25 一种基于Prophet模型的SSD寿命预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010116740.7A CN111310350A (zh) 2020-02-25 2020-02-25 一种基于Prophet模型的SSD寿命预测方法及系统

Publications (1)

Publication Number Publication Date
CN111310350A true CN111310350A (zh) 2020-06-19

Family

ID=71149295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010116740.7A Withdrawn CN111310350A (zh) 2020-02-25 2020-02-25 一种基于Prophet模型的SSD寿命预测方法及系统

Country Status (1)

Country Link
CN (1) CN111310350A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702194A (zh) * 2020-12-16 2021-04-23 中国联合网络通信集团有限公司 室分小区故障定位方法、装置及电子设备
CN114035021A (zh) * 2021-10-08 2022-02-11 北京航空航天大学 基于EEMD-Prophet的电路故障预测方法
CN117037887A (zh) * 2023-10-10 2023-11-10 苏州元脑智能科技有限公司 固态硬盘寿命预测方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702194A (zh) * 2020-12-16 2021-04-23 中国联合网络通信集团有限公司 室分小区故障定位方法、装置及电子设备
CN114035021A (zh) * 2021-10-08 2022-02-11 北京航空航天大学 基于EEMD-Prophet的电路故障预测方法
CN117037887A (zh) * 2023-10-10 2023-11-10 苏州元脑智能科技有限公司 固态硬盘寿命预测方法及装置
CN117037887B (zh) * 2023-10-10 2024-01-23 苏州元脑智能科技有限公司 固态硬盘寿命预测方法及装置

Similar Documents

Publication Publication Date Title
CN111310350A (zh) 一种基于Prophet模型的SSD寿命预测方法及系统
CN105653427B (zh) 基于行为异常检测的日志监控方法
CN109558287B (zh) 一种固态硬盘寿命预测方法、装置和系统
US20170131948A1 (en) Visualization of usage impacts on solid state drive life acceleration
JP6165886B2 (ja) 動的ストレージサービスレベル・モニタリングの管理システムおよび方法
US20170131947A1 (en) Data and collection methods to analyze life acceleration of SSD with real usages
US20120084028A1 (en) Framework and Methodology for a Real-Time Fine-Grained Power Profiling with Integrated Modeling
CN110990174A (zh) 一种基于Prophet模型预测SSD可用时间的方法、设备及介质
CN111078439A (zh) 一种固态硬盘寿命预测方法和装置
JP2012244897A (ja) 短期電力負荷を予測する方法及び装置
CN106940625B (zh) 智能电表的数据存储方法
US20230297243A1 (en) Method and apparatus for predicting service life of solid-state disk, and computer-readable storage medium
CN111078123B (zh) 一种闪存块的磨损程度的评估方法及装置
CN105893168A (zh) 硬盘健康状况分析方法和装置
CN104517020A (zh) 用于因果效应分析的特征提取方法和装置
US7149659B1 (en) System and method for performing reliability analysis
CN116627757A (zh) 一种基于人工智能的集成数据数字化分析存储系统及方法
CN109213659A (zh) 一种设备内存状态的监测方法、装置及存储介质
CN117516670B (zh) 一种物联网超声波水表的数据智能监测方法
CN113778766A (zh) 基于多维特征的硬盘故障预测模型建立方法及其应用
CN101826070A (zh) 一种基于关键点的数据序列线性拟合方法
EP3404589A1 (en) Computer system and method for improved monitoring of the technical state of industrial systems
US20140013265A1 (en) Time frame based data analysis
CN111736768B (zh) 服务器硬盘剩余使用时间的预测方法、系统及存储介质
CN114489498A (zh) 一种NAND Flash介质剩余寿命预测的方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200619

WW01 Invention patent application withdrawn after publication