CN115935822A - 计算机参数长期退化趋势预测方法、系统、设备及介质 - Google Patents

Abstract

本发明公开了一种计算机参数长期退化趋势预测方法、系统、设备及介质，在神经网络的训练过程中采用了Curriculum Learning训练方法，使用真实值输入和预测值输出来相结合的方式来训练模型，逐渐提升预测输入的占比，直至满足长期预测的需求。通过此种训练方式，在保证精度的同时，能够实现对于计算机关键参数长期的循环预测。在目前循环神经网络的基础上，对其训练方式进行改进，能够解决循环预测中误差累积的问题，实现更加准确和长期的趋势预测，从而给后续维护工作预留更长的准备时间。

Description

计算机参数长期退化趋势预测方法、系统、设备及介质

技术领域

本发明属于计算机数据处理技术领域，本发明涉及一种基于时间序列的嵌入式计算机关键参数长期退化趋势预测方法、系统、设备及介质，尤其适用于需要评价长期退化状态的高可靠性嵌入式星弹载计算机系统。

背景技术

传统模型的方式将采集的历史数据来强行拟合几种固定退化模型来进行伪寿命估计。虽然简单直观，但是和实时真实数据存在较大的差异。基于深度神经网络的方法(例如LSTM)在预测过程中，将输出的预测值作为输入值，循环输入网络，进行滚动预测。虽然此种预测效果更加精准，但是由于将预测值作为下一步的输入，导致循环预测过程中存在着误差累计，因此对于中长期预测效果不佳。

发明内容

针对现有技术中存在的问题，本发明提供一种基于时间序列的嵌入式计算机关键参数长期退化趋势预测方法、系统、设备及介质，在目前循环神经网络的基础上，对其训练方式进行改进，能够解决循环预测中误差累积的问题，实现更加准确和长期的趋势预测，从而给后续维护工作预留更长的准备时间。

本发明是通过以下技术方案来实现：

一种计算机关键参数长期退化趋势预测方法，包括，

S1,选择在长期有退化趋势的关键表征参数进行数据预处理；

S2,采用LSTNET网络为基准，对预处理的数据采用Curriculum Learning训练方法，使用真实值输入和预测值输出相结合的方式进行训练，得到训练好的模型；

S3,将训练好的模型采用循坏迭代的方式进行预测计算机关键参数长期退化趋势。

优选的，S1中在数据预处理过程中，将时间序列数据分割为对应网络输入长度的时序批次数据按批次处理。

优选的，S2的具体训练过程为：

S201，将时间序列数据输入一维卷积网络，用于提取各个时间段特征，捕捉短期局部信息，且不同的样品的时间序列数据，提取出多条相同维度的特征矩阵；

S202，将特征矩阵逐步输入到LSTM网络中，通过不同时间，各层的临近连接，计算相对应的临近依赖关系；

S203，将特征矩阵逐步输入Skip-LSTM网络中，通过不同时间，各层不再临近连接，而是使用跳转一定距离跨度进行连接，计算相对应的跳转依赖关系；

S204，根据相对应的临近依赖关系和相对应的跳转依赖关系建立训练模型。

优选的，S2中在训练过程中，采用真实值和预测值联合训练的CurriculumLearning训练方式，模型最开始从真实值y为输入进行训练，在训练的过程中逐渐提升预测值

的输入比例，其预测值的输入逐渐从零提升到100％，其比例增加率和迭代次数成正比。

优选的，S3具体为：在训练模型中输入时间序列数据，使用全连接层模拟AR自回归过程，为训练模型预测添加线性成份，使用线性全连接短接层，接收中间层输出，最终输出预测结果，将预测结果与该时序批次数据的下一小时或几小时的值作对比，其差值作为损失函数，进而优化网络参数。

优选的，在前期训练的过程中全部使用真实值为标签作为输入；在真实的长期预测过程中，将本次得到的预测值

作为网络的未来输入。

优选的，LSTNET网络包括CNN层，RNN层，Skip-RNN和线性全连接短接层；所述CNN层为一维普通卷积层，用于捕捉短期局部信息；所述RNN层使用LSTM网络或GRU网络，用于捕捉长期宏观信息；所述Skip-RNN网络用于对输入数据进行维度整理，使用LSTM网络或GRU网络，捕捉更长期的信息并充分利用序列的周期特性，通过跨度跳转能够摆脱短期的时间依赖；线性全连接短接层用于模拟AR自回归过程，为预测添加线性成份，同时使输出可以响应输入的尺度变化。

一种计算机关键参数长期退化趋势预测系统，包括，

数据处理模块，用于将长期有退化趋势的关键表征参数进行数据预处理；

模型训练模块，用于将采用LSTNET网络为基准，对预处理的数据采用CurriculumLearning训练方法，使用真实值输入和预测值输出相结合的方式进行训练；

预测模块，用于将训练好的模型采用循坏迭代的方式进行预测计算机关键参数长期退化趋势。

一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述预测方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述预测方法的步骤。

与现有技术相比，本发明具有以下有益的技术效果：

本发明公开了一种基于时间序列的嵌入式计算机关键参数长期退化趋势预测方法、系统、设备及介质，在神经网络的训练过程中采用了Curriculum Learning训练方法，使用真实值输入和预测值输出来相结合的方式来训练模型，逐渐提升预测输入的占比，直至满足长期预测的需求。通过此种训练方式，在保证精度的同时，能够实现对于计算机关键参数长期的循环预测。在目前循环神经网络的基础上，对其训练方式进行改进，能够解决循环预测中误差累积的问题，实现更加准确和长期的趋势预测，从而给后续维护工作预留更长的准备时间。通过此训练方法对于计算机关键部件参数的退化趋势进行了学习，将预测值逐步加入训练样本，并提高比例。最终训练出的模型支持采用循坏迭代的方式进行预测计算机退化趋势，可以减少预测值输出累积误差。提高了预测的长期性，对于出现退化而导致不可用的部件可以考虑及时进行更换，保证了计算机工作的可靠性。

进一步，本发明使用全连接层模拟AR自回归过程，为预测添加线性成份，这一步可以避免长期预测时，趋势消失的问题，使长期预测可以更加准确。

进一步，本发明将特征矩阵逐步输入Skip-LSTM网络中，通过不同时间，各层不再临近连接，而是使用跳转一定距离跨度进行连接，计算相对应的跳转依赖关系，可以有效避免长期预测时，由于临近依赖消失，导致的预测值与真实值偏离过大的问题；

进一步，本发明在LSTNET网络中通过Skip-RNN增加了与更前信息的依赖关系，同时短接了线性预测部分，为长期预测中总体走势的稳定提供了保障。

进一步，本发明在前期训练过程中，全部使用时间序列数据集中真实值进行训练，按照其输出的预测值

和标注的真实值y之间的差值来优化整个网络，因为在监督训练中每个时刻都有真实值作为训练的标准，因此，网络能够在t时刻预测出t+1时刻的计算机参数值，短期预测能够取得很好效果。

附图说明

图1为LSTNET长期预测网络架构图；

图2为真实值作为输入样本预测示意图；

图3为预测值作为迭代输入样本预测示意图；

图4为预测值或者真实值输入样本预测示意图；

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明是通过以下技术方案来实现：

一种计算机关键参数长期退化趋势预测方法，包括，

S1,选择在长期有退化趋势的关键表征参数进行数据预处理；

S2,采用LSTNET网络为基准，对预处理的数据采用Curriculum Learning训练方法，使用真实值输入和预测值输出相结合的方式进行训练，得到训练好的模型；

S3,将训练好的模型采用循坏迭代的方式进行预测计算机关键参数长期退化趋势。

优选的，S1中在数据预处理过程中，将时间序列数据分割为对应网络输入长度的时序批次数据按批次处理。

优选的，S2的具体训练过程为：

S201，将时间序列数据输入一维卷积网络，用于提取各个时间段特征，捕捉短期局部信息，且不同的样品的时间序列数据，提取出多条相同维度的特征矩阵；

S202，将特征矩阵逐步输入到LSTM网络中，通过不同时间，各层的临近连接，计算相对应的临近依赖关系；

S203，将特征矩阵逐步输入Skip-LSTM网络中，通过不同时间，各层不再临近连接，而是使用跳转一定距离跨度进行连接，计算相对应的跳转依赖关系；

S204，根据相对应的临近依赖关系和相对应的跳转依赖关系建立训练模型。

优选的，S2中在训练过程中，采用真实值和预测值联合训练的CurriculumLearning训练方式，模型最开始从真实值y为输入进行训练，在训练的过程中逐渐提升预测值

的输入比例，其预测值

的输入逐渐从零提升到100％，其比例增加率和迭代次数成正比。

优选的，S3具体为：在训练模型中输入时间序列数据，使用全连接层模拟AR自回归过程，为训练模型预测添加线性成份，使用线性全连接短接层，接收中间层输出，最终输出预测结果，将预测结果与该时序批次数据的下一小时或几小时的值作对比，其差值作为损失函数，进而优化网络参数。

优选的，在前期训练的过程中全部使用真实值为标签作为输入；在真实的长期预测过程中，将本次得到的预测值

作为网络的未来输入。

优选的，LSTNET网络包括CNN层，RNN层，Skip-RNN和线性全连接短接层；所述CNN层为一维普通卷积层，用于捕捉短期局部信息；所述RNN层使用LSTM网络或GRU网络，用于捕捉长期宏观信息；所述Skip-RNN网络用于对输入数据进行维度整理，使用LSTM网络或GRU网络，捕捉更长期的信息并充分利用序列的周期特性，通过跨度跳转能够摆脱短期的时间依赖；线性全连接短接层用于模拟AR自回归过程，为预测添加线性成份，同时使输出可以响应输入的尺度变化。

一种计算机关键参数长期退化趋势预测系统，包括，

数据处理模块，用于将长期有退化趋势的关键表征参数进行数据预处理；

模型训练模块，用于将采用LSTNET网络为基准，对预处理的数据采用CurriculumLearning训练方法，使用真实值输入和预测值输出相结合的方式进行训练；

预测模块，用于将训练好的模型采用循坏迭代的方式进行预测计算机关键参数长期退化趋势。

一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述预测方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述预测方法的步骤。

本发明提供一种终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。

所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。

所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。

所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。

所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

实施例1，

本发明在神经网络的训练过程中采用了Curriculum Learning训练方法，逐渐提升预测输入的占比，直至满足长期预测的需求。通过此种训练方式，在保证精度的同时，能够实现对于计算机关键参数长期的循环预测。整个技术方案按照如下流程展开：

(1)关键部件选择和数据预处理

选择在长期有退化趋势的关键表征参数，并进行数据预处理；

(2)在训练中采用LSTNET网络为基准，采用已经预处理好的数据进行训练。在前期训练的过程中全部使用真实值为标签作为输入。LSTNET网络理论上能够捕获到时间序列数据的趋势发展，其网络结构使用时序网络中隐层随机跳跃连接的方式，增加了与更前信息的依赖关系，摆脱了临近依赖的限制，在理论上具备实现更长时间退化的能力。图1为LSTNET网络通过Skip-RNN，增加了与更前信息的依赖关系，同时短接了线性预测部分，为长期预测中总体走势的稳定提供了保障。

(3)在前期训练过程中，全部使用时间序列数据集中真实值进行训练，按照其输出的预测值

和标注的真实值y之间的差值来优化整个网络。因为在监督训练中每个时刻都有真实值作为训练的标准，因此网络能够在t时刻预测出t+1时刻的计算机参数值，短期预测能够取得很好效果。其训练过程如图2所示。

(4)在真实的长期预测过程中，实际上没有已经标注的未来真实值进行校正，只能将本次预测的值

作为网络的未来输入，在多步预测的情况下将会出现预测误差的累积，预测结果愈加不准确，如图3所示。

(5)为了解决此问题，在训练过程中，采用真实值和预测值联合训练的CurriculumLearning训练方式。模型最开始从真实值y为输入进行训练，在训练的过程中逐渐提升预测值

的输入比例，如图4所示，其预测值的输入逐渐从零提升到100％，其比例增加率和迭代次数成正比，其中，在输入数据过程中，按照p的概率输入预测值，按照(1-p)的概率输入真实值，p的取值范围为0～1，随着训练迭代次数的增加，p从0逐渐增加，直至训练结束p设置为1。

其中：如图1所示，该网络包含下列子网络子结构如下：

(1)CNN层：一维普通卷积(没有使用因果扩张卷积)，用于捕捉短期局部信息

(2)RNN层：使用LSTM或GRU，捕捉长期宏观信息，在图1中使用了LSTM层。

(3)Skip-RNN：对输入数据维度整理，使用LSTM或GRU，捕捉更长期的信息并充分利用序列的周期特性，通过跨度跳转能够摆脱短期的时间依赖。在图1中使用了Skip-LSTM层。

(4)线性全连接短接层：使用线性全连接层模拟AR自回归过程，为预测添加线性成份，同时使输出可以响应输入的尺度变化。

图1中网络训练步骤如下：

(1)数据预处理

在预处理过程中，将数据按批次处理，将时序数据，分割为对应网络输入长度的时序批次数据。

(2)按批次输入网络，提取各个时间段特征

时序数据首先输入一维卷积网络，用于提取各个时间段特征，捕捉短期局部信息，不同的样品的数据，可以提取出多条相同维度的特征矩阵。

(3)计算临近依赖

将特征矩阵逐步输入LSTM网络中，通过不同时间，各层的临近连接，计算相对应的临近依赖关系。其中，临近依赖关系为根据特征矩阵中特征时间点之间在LSTM网络中相互临近的连接关系进行计算，为近距离周期性的变化，例如，特征时间点n，n-1，n-2…n-10相邻两个变量之间的连接关系；

(4)计算跳转依赖

将特征矩阵逐步输入Skip-LSTM网络中，通过不同时间，各层不再临近连接，而是使用跳转一定距离跨度进行连接，计算相对应的跳转依赖关系。通过这一步，可以有效避免长期预测时，由于临近依赖消失，导致的预测值与真实值偏离过大。其中，跳转依赖为根据特征矩阵中特征时间点之间在LSTM网络中相互交叉的连接关系进行计算，为远距离周期性的变化；例如，特征时间点n，n-1，n-2…n-10中任意两个变量之间相互交叉的连接关系，

(5)线性预测

输入时序数据，使用全连接层模拟AR自回归过程，根据临近依赖关系的近距离周期性变化和跳转依赖关系的远距离周期性变化为参考基线，预测时序数据总体性变化的趋势，从而为预测添加线性成份。这一步可以避免长期预测时，趋势消失的问题，使长期预测可以更加准确。

(6)输出预测结果

使用全连接层，接收中间层(即为神经网络中的隐层)输出，最终输出预测结果。预测结果与该时序批次数据的下一小时或几小时的值作对比，其差值作为损失函数，进而优化网络参数。

本发明基于弹载嵌入式计算机的退化趋势进行分析，对于其关键表征AD转换参数进行了分析。采集了多台嵌入式计算机中AD关键参数的退化趋势，对其退化趋势进行预测，估算出高温加速场景下退化趋势。在长期预测过程中(以小时为单位间隔)，能够实现超过512个小时的准确趋势预测，退化数据估计准确度不少于85％，其退化趋势表现更加真实。解决了循环迭代预测中出现的误差累积导致预测精度不高的问题。

以上所述，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上所述而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (10)

1.一种计算机参数长期退化趋势预测方法，其特征在于，包括，

S1，选择在长期有退化趋势的关键表征参数进行数据预处理；

S2，采用LSTNET网络为基准，对预处理的数据采用Curriculum Learning训练方法，使用真实值输入和预测值输出相结合的方式进行训练，得到训练好的模型；

S3，将训练好的模型采用循坏迭代的方式进行预测计算机关键参数长期退化趋势。

2.根据权利要求1所述的一种计算机参数长期退化趋势预测方法，其特征在于，S1中在数据预处理过程中，将时间序列数据分割为对应网络输入长度的时序批次数据按批次处理。

3.根据权利要求1所述的一种计算机参数长期退化趋势预测方法，其特征在于，S2的具体训练过程为：

S201，将时间序列数据输入一维卷积网络，用于提取各个时间段特征，捕捉短期局部信息，且不同的样品的时间序列数据，提取出多条相同维度的特征矩阵；

S202，将特征矩阵逐步输入到LSTM网络中，通过不同时间，各层的临近连接，计算相对应的临近依赖关系；

S203，将特征矩阵逐步输入Skip-LSTM网络中，通过不同时间，各层不再临近连接，而是使用跳转一定距离跨度进行连接，计算相对应的跳转依赖关系；

S204，根据相对应的临近依赖关系和相对应的跳转依赖关系建立训练模型。

4.根据权利要求1所述的一种计算机参数长期退化趋势预测方法，其特征在于，S2中在训练过程中，采用真实值和预测值联合训练的Curriculum Learning训练方式，模型最开始从真实值y为输入进行训练，在训练的过程中逐渐提升预测值

的输入比例，其预测值的输入逐渐从零提升到100％，其比例增加率和迭代次数成正比。

5.根据权利要求1所述的一种计算机参数长期退化趋势预测方法，其特征在于，S3具体为：在训练模型中输入时间序列数据，使用全连接层模拟AR自回归过程，为训练模型预测添加线性成份，使用线性全连接短接层，接收中间层输出，最终输出预测结果，将预测结果与该时序批次数据的下一小时或几小时的值作对比，其差值作为损失函数，进而优化网络参数。

6.根据权利要求1所述的一种计算机参数长期退化趋势预测方法，其特征在于，在前期训练的过程中全部使用真实值为标签作为输入；在真实的长期预测过程中，将本次得到的预测值

作为网络的未来输入。

7.根据权利要求1所述的一种计算机参数长期退化趋势预测方法，其特征在于，LSTNET网络包括CNN层，RNN层，Skip-RNN和线性全连接短接层；所述CNN层为一维普通卷积层，用于捕捉短期局部信息；所述RNN层使用LSTM网络或GRU网络，用于捕捉长期宏观信息；所述Skip-RNN网络用于对输入数据进行维度整理，使用LSTM网络或GRU网络，捕捉更长期的信息并充分利用序列的周期特性，通过跨度跳转能够摆脱短期的时间依赖；线性全连接短接层用于模拟AR自回归过程，为预测添加线性成份，同时使输出可以响应输入的尺度变化。

8.一种计算机关键参数长期退化趋势预测系统，其特征在于，基于权利要求1-7任一项所述的预测方法，包括，

数据处理模块，用于将长期有退化趋势的关键表征参数进行数据预处理；

模型训练模块，用于将采用LSTNET网络为基准，对预处理的数据采用CurriculumLearning训练方法，使用真实值输入和预测值输出相结合的方式进行训练；

预测模块，用于将训练好的模型采用循坏迭代的方式进行预测计算机关键参数长期退化趋势。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述方法的步骤。

Images