CN115146842A - 基于深度学习的多元时间序列趋势预测方法和系统 - Google Patents

基于深度学习的多元时间序列趋势预测方法和系统 Download PDF

Info

Publication number
CN115146842A
CN115146842A CN202210724545.1A CN202210724545A CN115146842A CN 115146842 A CN115146842 A CN 115146842A CN 202210724545 A CN202210724545 A CN 202210724545A CN 115146842 A CN115146842 A CN 115146842A
Authority
CN
China
Prior art keywords
data
layer
neural network
time series
multivariate time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210724545.1A
Other languages
English (en)
Other versions
CN115146842B (zh
Inventor
许景科
罗娇娇
田立新
马硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Benxi Steel Group Information Automation Co ltd
Original Assignee
Shenyang Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Jianzhu University filed Critical Shenyang Jianzhu University
Priority to CN202210724545.1A priority Critical patent/CN115146842B/zh
Publication of CN115146842A publication Critical patent/CN115146842A/zh
Application granted granted Critical
Publication of CN115146842B publication Critical patent/CN115146842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Operations Research (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于深度学习的多元时间序列趋势预测方法，包括以下步骤：读取多元时间序列数据，捕获多元时间序列的局部特征，获取数据之间的相关性；捕获数据的长短期趋势；循环双阶注意力层获取数据的动态周期特性；将经过数据预处理的多元时间序列数据采用线性模型ARIMA进行处理、全连接处理，预测结果加和，判断是否达到训练次数；设置阈值，把得到的最优预测模型的预测结果数据与设置的阈值进行比较。本发明同时还提供了基于深度学习的多元时间序列趋势预测系统。本发明动态捕获数据的长短期依赖的周期性，提高对基于获取的多元时间序列对设备潜在风险预判准确度，提高了多元时间序列趋势预测的精确率。

Description

基于深度学习的多元时间序列趋势预测方法和系统
技术领域
本发明基于深度学习的多元时间序列趋势预测方法和系统，涉及机器学习和深度学习领域。
背景技术
近年来，随着大数据时代的到来和时间序列分析的发展，特别是在多元时间序列预测方面，越来越多的研究人员对其进行了研究。目前，在进行时间序列数据研究的过程中应用较多的方法有统计时序预测方法、机器学习方法、神经网络方法等。常见经典的统计时序预测方法ARIMA模型，ARIMA模型针对提取数据中的线性特征，确实解决了预测中的许多问题，但是实际生产生活中的数据多是包含噪音的非平稳非线性数据，而且统计预测方法将影响预测结果的原因均归结为时间上，缺乏对变量自身和变量间的复杂依赖关系的考虑，因此导致ARIMA等统计学相关模型对于复杂的多元数据预测精度降低。常用的机器学习有SVM支持向量机，SVM目标就是寻找一条最优直线，SVM将时间序列线预测问题看作具有时变参数的回归问题，但会存在人工调参复杂和对特征提取依赖性过强的问题。深度学习方法常见的有LSTM模型、受限玻尔兹曼机等，深度学习方法相比机器学习方法对数据的依赖性更强，数据很少的情况对多元数据的预测效果不好。深度学习模型可以通过对多元时间序列数据训练自主学习数据特征，但训练过程中容易出现过拟合问题导致预测精度降低。
发明内容
本发明就是针对上述问题提出来的，目的是提供一种基于深度学习的多元时间序列趋势预测方法和系统，本发明动态捕获数据的长短期依赖的周期性，提高对基于获取的多元时间序列对设备潜在风险预判准确度，以便系统提前发出预警，满足运维人员智能化应用需求，提高了多元时间序列趋势预测的精确率。
为实现上述目的，本发明解决技术问题的技术方案是：
基于深度学习的多元时间序列趋势预测方法，包括以下步骤：
步骤一、读取多元时间序列数据，对多元时间序列数据进行预处理，经过预处理的多元时间序列数据，通过卷积神经网络模型CNN捕获多元时间序列的局部特征，获取数据之间的相关性；
步骤二、将卷积神经网络模型CNN的输出特征向量输入到GRU门控循环单元神经网络模型中，捕获数据的长短期趋势；
步骤三、将卷积神经网络模型CNN的输出特征向量输入到循环双阶注意力层获取数据的动态周期特性；
步骤四、①将步骤一经过数据预处理的多元时间序列数据采用线性模型ARIMA进行处理；
②对步骤二GRU门控循环单元神经网络模型输出的数据和步骤三经过循环双阶注意力层处理后的数据通过全连接层进行全连接处理；
③将步骤①和步骤②处理得到的数据进行预测结果加和，同时判断模型是否达到了设置的训练次数，若达到训练次数，输出最优预测模型，否则返回卷积神经网络模型CNN继续训练；
步骤五、设置阈值，把步骤四得到的最优预测模型的预测结果数据与设置的阈值进行比较，若超过设定阈值，数据标红并给出检修预警提示信息，完成预警工作后结束，否则正常结束。
进一步地，所述步骤一中的卷积神经网络模型CNN依次包括输入层、第一卷积层和第二卷积层，其中，输入层为二维矩阵，二维矩阵高度为多元时间序列的元数，宽度是多元时间序列的时间长短；所述第一卷积层为纵向卷积层，第二卷积层为横向卷积层。
进一步地，所述第一卷积层用于提取多元时间序列数据变量的自相关特征，第一卷积层使用多个滤波器，然后把多个滤波器扫过输入层的二维矩阵得到的多张二维特征图，通过线性加权计算得到一张二维特征图；所述第二卷积层用于提取多元时间序列数据变量间的互相关特征，第二卷积层使用多个滤波器，激活函数使用RELU函数，经第二卷积层输出特征向量，第一卷积层和第二卷积层提取多元时间序列的自相关特征及互相关特征的具体计算公式为：
Figure BDA0003712844180000031
式(1)中，ym是在第一卷积层中第m个过滤器的权值与输入的多元时间序列数据Xt卷积计算后得到的特征图值，*为卷积运算，Wm为第m列的权值，Xt是输入的多元时间序列数据，bm为第一卷积层的偏置；
Figure BDA0003712844180000032
是经过线性加权计算操作之后在i行j列的特征图值，Fc为第一卷积层的过滤器数量；ωm是线性加权计算时使用的权值；
hn是第二卷积层中隐藏层第n个过滤器权值与第i行j列的
Figure BDA0003712844180000033
卷积计算后得到的一维特征向量，Wn为第二卷积层的第n列的权值，bn为第二卷积层的偏置；
max()为最大值函数；
RELU()为激活函数；
其中hn作为GRU门控循环单元网络模型和循环双阶注意力层的输入。
进一步地，所述步骤二中GRU门控循环单元神经网络模型隐藏层的具体计算公式为：
Figure BDA0003712844180000041
式(2)中，·是矩阵点乘运算，σ是sigmoid激活函数，xt是当前t时刻输入的经第二层卷积层输出的一维特征向量hn；
Wxr、br分别为GRU门控循环单元神经网络模型中重置门当前t时刻输入数据使用的权值矩阵和偏置值；
Whr、Whu、Whc分别为t-1时刻输出矩阵ht-1重置门、更新门和记忆单元分别使用的权值矩阵；
Wxu、bu分别为GRU门控循环单元神经网络模型中更新门当前t时刻输入数据使用的权值矩阵和偏置值；
Wxc、bc分别为GRU门控循环单元神经网络模型中记忆单元当前t时刻输入数据使用的权值矩阵和偏置值；
ut是当前t时刻的更新门，使用sigmoid函数来指明历史信息是否需要更新；
ct'是当前t时刻得到的新的记忆值，rt是当前t时刻的重置门，使用sigmoid函数来指明历史信息是否需要重置；
ht是当前t时刻GRU门控循环单元神经网络模型经过更新和重置后的输出神经元状态；
tanh()为更新激活函数；
步骤三的具体计算过程为：
首先计算当前t时刻GRU门控循环单元神经网络模型经过更新和重置后的神经元状态ht与第i时刻历史记忆神经元状态hi的相似值si，然后将相似值si通过softmax函数转换成相应的概率数值αi，最后将之前记忆的历史记忆神经元状态hi与概率数值αi进行加权求和运算，得到循环双阶注意力层的输出向量ct；计算公式如下：
Figure BDA0003712844180000051
式(3)中，si是当前t时刻GRU门控循环单元神经网络模型经过更新和重置后的神经元状态ht与第i时刻历史记忆神经元状态hi的注意力得分；Wd、Ud均为模型训练的q阶方阵，vT为q×1的参数矩阵，q是需要初始化的神经元个数；
αi是将si通过softmax函数转换成相应的概率数值；
p为需要记忆的历史信息条数；
ct为循环双阶注意力层的输出向量，ct中包含当前t时刻时间序列的动态周期特性。
进一步地，所述步骤四的计算公式如下：
Figure BDA0003712844180000052
式(4)中，
Figure BDA0003712844180000053
代表使用的线性统计模型ARIMA的输出的多元时间序列预测值，Wi、b分别表示在线性统计模型ARIMA中使用的权值矩阵和偏置值，yt-i表示在第t-i时刻的传输的多元时间序列数据，window表示线性统计模型ARIMA使用的滑动窗口值；
Figure BDA0003712844180000061
为GRU门控循环单元神经网络模型及循环双阶注意力层全连接处理后作为当前时刻非线性神经网络的预测输出值，WR、WS分别是与GRU门控循环单元网络模型当前t时刻记忆的神经元状态
Figure BDA0003712844180000062
和循环双阶注意力层输出向量ct进行全连接运算分别使用的权值矩阵，bi为全连接层使用的偏置值；
Figure BDA0003712844180000063
为当前t时刻最优预测模型的预测结果。
本发明同时还提供一种基于深度学习的多元时间序列趋势预测系统，用于执行基于深度学习的多元时间序列趋势预测方法。
本发明与现有技术相比具有下述优点效果：
(1)本发明融合两层卷积神经网络CNN层和GRU门控循环单元神经网络模型对数据进行建模，两层卷积神经网络CNN层充分捕获了多元时间序列数据的局部趋势，充分发挥各自优势，使得既可以提取多元时间序列数据的自相关特征，又可以提取多元时间序列变量间的互相关特征，从而获取了变量的自相关特征和变量间的互相关特征；GRU模型捕获数据的长短期趋势。单一模型对于复杂的多元数据特征的捕获能力不强，导致数据重要特性丢失，而二者融合比单独使用能够增强特征获取性能。
(2)本发明通过加入一层循环网络，引入双阶注意力机制，即基于门控循环单元的注意力机制。使用经典注意力模块计算权重与隐藏层状态拼接实现将每个历史记忆神经元状态加权求和，提取影响数据走势的关键信息，从而提高了模型筛选关键信息能力，并通过分两个阶段兼顾自动周期获取和梯度消失问题，可以与卷积神经网络CNN层达到很好的继承效果。
(3)本发明利用线性模型可以很好地感知输入数据变化对输出数据的影响，能够很好地补足非线性模型中在这个方面的不足，从而能更好地把握数据的趋势性。
(4)与现有技术中的多元时间序列预测方法相比，本发明的预测方法精度误差低，预测准确率高，实现实时故障预警功能，满足运维人员智能化应用的需求。
附图说明
下面结合附图和具体实施方式对本发明做进一步说明。
图1为本发明基于深度学习的多元时间序列趋势预测方法的流程图；
图2为本发明基于深度学习的多元时间序列趋势预测方法的模型框架图；
图3为本发明基于深度学习的多元时间序列趋势预测方法与现有的LSTM模型、LSTNET模型对加速度传感器多元时间序列数据进行预测的相对平方根误差RSE对比柱状图；
图4为本发明基于深度学习的多元时间序列趋势预测方法与现有的LSTM模型、LSTNET模型对用电量多元时间序列数据进行预测的相对平方根误差RSE对比柱状图；
图5为本发明的实时传输的加速度传感器数据的真实值和预测值在x轴方向加权平均后的数据对比图。
具体实施方式
下面结合附图及具体实施例进一步说明本发明的详细内容及其具体实施方式。
实施例1
参照图1-图2，基于深度学习的多元时间序列趋势预测方法，包括以下步骤：
步骤一、读取多元时间序列数据，对多元时间序列数据进行预处理，经过数据预处理的多元时间序列数据，通过卷积神经网络模型CNN捕获多元时间序列的局部特征，获取数据之间的相关性；
对多元时间序列数据的预处理主要为数据清洗，包括标记时间戳、列名重命名、缺失值填补；
步骤一中所述卷积神经网络模型CNN依次包括输入层、第一卷积层和第二卷积层，其中，输入层为二维矩阵，二维矩阵高度为多元时间序列的元数，宽度是多元时间序列的时间长短；所述第一卷积层为纵向卷积层，第二卷积层为横向卷积层；
所述第一卷积层用于提取多元时间序列数据变量的自相关特征，第一卷积层使用多个滤波器，然后把多个滤波器扫过输入层的二维矩阵得到的多张二维特征图通过线性加权计算得到一张二维特征图；所述第二卷积层用于提取多元时间序列数据变量间的互相关特征，第二卷积层使用多个滤波器，激活函数使用RELU函数，经第二卷积层输出特征向量，第一卷积层和第二卷积层提取多元时间序列的自相关特征及互相关特征的具体计算公式为：
Figure BDA0003712844180000081
式(1)中，ym是在第一卷积层中第m个过滤器的权值与输入的多元时间序列数据Xt卷积计算后得到的特征图值，*为卷积运算，Wm为第m列的权值，Xt是输入的多元时间序列数据，bm为第一卷积层的偏置；
Figure BDA0003712844180000082
是经过线性加权计算操作之后在i行j列的特征图值，Fc为第一卷积层的过滤器数量；ωm是线性加权计算时使用的权值；
hn是第二卷积层中隐藏层第n个过滤器权值与第i行j列的
Figure BDA0003712844180000091
卷积计算后得到的一维特征向量，Wn为第二卷积层的第n列的权值，bn为第二卷积层的偏置；
max()为最大值函数；
RELU()为激活函数；
其中hn作为GRU门控循环单元网络模型和循环双阶注意力层的输入。
激活函数常使用sigmoid激活函数或者RELU激活函数，查阅文献人工神经网络的比较理想的激活率在15％-30％，而sigmoid激活函数的激活率在50％左右，而RELU激活函数只有在输入大于0时才激活，激活率会比sigmoid激活函数低一些。在实验中也测试了这两种激活函数，在我们的数据集上RELU函数表现由于sigmoid函数，故最后实验选用RELU激活函数。
步骤二、将卷积神经网络模型CNN的输出序列输入到GRU门控循环单元神经网络模型中，捕获数据的长短期趋势；
如图2所示的整体模型框架图，步骤二具体步骤为：
将卷积神经网络CNN层的第二卷积层输出的一维向量hn输入到GRU门控循环单元神经网络模型，通过隐藏层进行计算，通过GRU门控循环单元神经网络模型输出层输出，其中GRU门控循环单元神经网络模型隐藏层的具体计算公式为：
Figure BDA0003712844180000092
式(2)中，·是矩阵点乘运算，σ是sigmoid激活函数，xt是当前t时刻输入的经第二层卷积层输出的一维特征向量hn；
Wxr、br分别为GRU门控循环单元神经网络模型中重置门当前t时刻输入数据使用的权值矩阵和偏置值；
Whr、Whu、Whc分别为t-1时刻输出矩阵ht-1重置门、更新门和记忆单元分别使用的权值矩阵；
Wxu、bu分别为GRU门控循环单元神经网络模型中更新门当前t时刻输入数据使用的权值矩阵和偏置值；
Wxc、bc分别为GRU门控循环单元神经网络模型中记忆单元当前t时刻输入数据使用的权值矩阵和偏置值；
ut是当前t时刻的更新门，使用sigmoid函数来指明历史信息是否需要更新；
ct'是当前t时刻得到的新的记忆值，rt是当前t时刻的重置门，使用sigmoid函数来指明历史信息是否需要重置；
ht是当前t时刻GRU门控循环单元神经网络模型经过更新和重置后的输出神经元状态；
tanh()为更新激活函数。
现有技术中在GRU门控循环单元神经网络模型中多使用tanh()和RELU()作为隐藏层的更新激活函数，选择在本实验中取得更好效果的tanh()作为更新激活函数。
步骤三、将卷积神经网络模型CNN的输出序列采用一个循环双阶注意力层获取动态周期，对于每个历史记忆神经元状态进行加权求和，提高模型筛选关键信息能力。循环双阶注意力层加入本模型提高了获取数据变化趋势关键信息的影响因素的能力和具有动态周期特性时间序列建模的精度；
首先计算当前t时刻GRU门控循环单元神经网络模型经过更新和重置后的神经元状态ht与第i时刻历史记忆神经元状态hi的相似值si，然后将相似值si通过softmax函数转换成相应的概率数值αi，最后将之前记忆的历史记忆神经元状态hi与概率数值αi进行加权求和运算，得到循环双阶注意力层的输出向量ct；计算公式如下：
Figure BDA0003712844180000111
式(3)中，si是当前t时刻GRU门控循环单元神经网络模型经过更新和重置后的神经元状态ht与第i时刻历史记忆神经元状态hi的注意力得分；Wd、Ud均为模型训练的q阶方阵，vT为q×1的参数矩阵，q是需要初始化的神经元个数；
αi是将si通过softmax函数转换成相应的概率数值；
p为需要记忆的历史信息条数；
ct为循环双阶注意力层的输出向量。
如图1和图2所示，循环双阶注意力层的输入就是第二层卷积的输出hn，注意力机制主要就是为了实现资源的合理分配。使用注意力机制获取多元时间序列数据中的动态周期，通过动态获取的周期数，达到扩大信息流的流动长度，从而提高在长期趋势预测方面的性能。从而通过历史的记忆捕获数据中蕴含的长期趋势。主要流程就是每进行一次迭代就会产生记忆信息，将其视为历史信息h＝{ht-p,...,ht-2,ht-1}，p为需要记忆的历史信息条数，通过注意力机制首先需要计算当前t时刻GRU门控循环单元神经网络模型经过更新和重置后的神经元状态ht与第i时刻历史记忆神经元状态hi的相关度si(即注意力得分情况)，继而可以计算出每一条的历史信息h对于当前状态ht也就是预测值的重要程度，最后将之前记忆的历史信息与注意力分数值进行加权求和运算，得到中间向量——循环双阶注意力层的输出向量ct。
步骤四、①将步骤一经过数据预处理的多元时间序列数据采用线性统计模型ARIMA进行处理；
②对GRU门控循环单元神经网络模型输出的数据和经过循环双阶注意力层处理后的数据通过全连接层进行全连接处理；
③将步骤①和步骤②处理得到的数据进行预测结果加和，同时判断模型是否达到了设置的训练次数，若达到训练次数，输出最优预测模型，否则返回卷积神经网络模型CNN继续训练；
如图1和图2所示，将步骤一经过数据预处理的多元时间序列数据直接输入到线性模型ARIMA模型中，目的是输出状态能及时敏感地感应输入数据变化，降低预测误差。优预测模型的预测结果输出包括非线性神经网络(卷积神经网络，门控循环单元和注意机制)以及自回归移动平均模型两部分，步骤四的计算公式如下：
Figure BDA0003712844180000121
式(4)中，
Figure BDA0003712844180000122
代表使用的线性统计模型ARIMA的输出的多元时间序列预测值，Wi、b分别表示在线性统计模型ARIMA中使用的权值矩阵和偏置值，yt-i表示在第t-i时刻的传输的多元时间序列数据，window表示线性统计模型ARIMA使用的滑动窗口值；
Figure BDA0003712844180000123
为GRU门控循环单元神经网络模型及循环双阶注意力层全连接处理后作为当前t时刻非线性神经网络输出的预测值，WR、WS分别是与GRU门控循环单元网络模型最后时刻记忆的神经元状态
Figure BDA0003712844180000131
和循环双阶注意力层输出向量ct进行全连接运算分别使用的权值矩阵，bi为全连接层使用的偏置值；
Figure BDA0003712844180000132
为当前t时刻最优预测模型的预测结果。
步骤五、设置阈值，把步骤四得到的最优预测模型的预测结果数据与设置的阈值进行比较，若超过阈值，数据标红并给出检修预警提示，完成预警工作后结束，否则正常结束。
实施例2
基于深度学习的多元时间序列趋势预测系统，用于执行实施例1中的基于深度学习的多元时间序列趋势预测方法。
本发明的基于深度学习的多元时间序列趋势预测方法及系统适用于具有短期—长期趋势的多元时间序列趋势预测。本发明采用安装在临时看台支撑架上的加速度传感器的多元时间序列数据集对本发明的基于深度学习的多元时间序列趋势预测方法及系统进行测试：
(1)测试使用数据集
如图3和图4所示，本发明使用的数据集包括安装在体育场看台支撑架上的加速度传感器(用于测定观众对看台的施力情况)获取的多元时间序列加速度数据集、实时加速度多元时间序列数据集和公开的电力数据集的多元时间序列数据集进行测试，加速度传感器的多元时间序列数据集包括4个不同位置的加速度传感器在x轴、y轴、z轴三个方向的三维传感器数据，实验使用的多元时间序列加速度数据集长度为53217。加速度传感器采样频率为500hz。数据采集设备采用定时上传数据的方式将采集的不同类型加速度传感器数据传输到云端，定时时间为10分钟；加速度传感器每10分钟采集10s数据上传。
选择的电力数据集包括从2012年到2014年每15分钟记录一次的用电量情况，用户用电量数据集中包含321个用户，用户多元时间序列数据长度为26304，在实验中将数据转换为每小时的用电量。
本发明测试使用的多元时间序列加速度数据集、实时加速度多元时间序列数据集获取自：https://github.com/luojiaojiao2021/timeseriesforecast_data。
电力数据集获取自：
https://archive.ics.uci.edu/ml/datasets/ElectricityLoadDiagrams20112014。
(2)实验时多元时间序列加速度数据集、实时加速度多元时间序列数据集和公开的电力数据集的多元时间序列数据集的训练集、测试集、验证集比例划分分别为60％，20％，20％。
(3)实验使用默认参数情况说明：
实验中使用的参数包括训练批次默认设置为128；window(ARIMA模型使用的滑动窗口)大小为24*7；实验初始化学习率为0.001；第一卷积层和第二卷积层的滤波器的个数均设置为16个，第一卷积层中使用的滤波器维度为6×1(其中6为滤波器的高度；1为滤波器的宽度)，第二卷积层中使用的滤波器维度为6×12(其中6为滤波器的高度；12为滤波器的宽度，也就是时间序列数据特征的值)；
预测的未来时刻集合的单位跨度包括{6,12,24}，如图3和图4中横坐标为单位跨度，即在数据集上比较使用三种模型预测不同长度未来时刻的相对平方根误差RSE情况。在电力数据集中，单位跨度＝6，代表预测6小时后的用电量数据；单位跨度＝12，代表预测12小时后的用电量数据；单位跨度＝24，代表预测24小时后的用电量数据；在加速度传感器测得的加速度数据集中，单位跨度＝6，代表预测1小时后的加速度数据；单位跨度＝12，代表预测2小时后的加速度数据；单位跨度＝24，代表预测4小时后的加速度数据；在本发明预测方法中使用的神经元个数均使用网格搜索方式在参数搜索范围[20...29]中搜索选择使模型达到最优的参数值；线性统计模型ARIMA使用的阶数为5；训练次数默认设置为1000。
阈值的设定：以使用加速度传感器的多元时间序列数据集为例，预测结果将输出12个预测值，包括4个在看台支撑架不同位置上的加速度传感器，每个加速度传感器都是三维的，包含3个方向(x轴、y轴、z轴)。通过将4个加速度传感器在每一个方向均进行加权平均，此时输出为3个平均预测值，因此预测过程中设置3个阈值即可。初始默认数据阈值均为4m/s2，系统运维人员可根据需要在设置页面上修改阈值默认值。如图5所示，图5为加速度传感器数据的真实值和预测值在x轴方向加权平均后的数据对比情况。系统管理员可以通过设置三个方向(X轴、Y轴、Z轴)的数据阈值对输出的异常数据进行预警工作。
如图3、图4所示，分别为用于体育场看台支撑架上的加速度数据集和公共数据用电量数据集使用本发明预测方法与经典的神经网络LSTM模型以及LSTNET模型在单位跨度为{6,12,24}条件下与相对平方根误差RSE的对比情况，在三个不同预测长度上本发明预测方法与另外两个预测模型相比的相对平方根误差RSE都最小，表明本发明预测方法在长短期时序预测方面表现性能良好。
本预测系统使用Django框架进行业务场景功能实现，使用本发明的预测方法及系统对实时传输的数据进行预测，如图5为在2022年3月10日实时传输的实时加速度多元时间序列数据集在X轴方向的数据预测与真实值的趋势对比情况，从图5可以看出，本发明的预测方法及系统具有很好的趋势预测效果。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.基于深度学习的多元时间序列趋势预测方法，其特征在于，包括以下步骤：
步骤一、读取多元时间序列数据，对多元时间序列数据进行预处理，经过预处理的多元时间序列数据，通过卷积神经网络模型CNN捕获多元时间序列的局部特征，获取数据之间的相关性；
步骤二、将卷积神经网络模型CNN的输出特征向量输入到GRU门控循环单元神经网络模型中，捕获数据的长短期趋势；
步骤三、将卷积神经网络模型CNN的输出特征向量输入到循环双阶注意力层获取数据的动态周期特性；
步骤四、①将步骤一经过数据预处理的多元时间序列数据采用线性模型ARIMA进行处理；
②对步骤二GRU门控循环单元神经网络模型输出的数据和步骤三经过循环双阶注意力层处理后的数据通过全连接层进行全连接处理；
③将步骤①和步骤②处理得到的数据进行预测结果加和，同时判断模型是否达到了设置的训练次数，若达到训练次数，输出最优预测模型，否则返回卷积神经网络模型CNN继续训练；
步骤五、设置阈值，把步骤四得到的最优预测模型的预测结果数据与设置的阈值进行比较，若超过设定阈值，数据标红并给出检修预警提示信息，完成预警工作后结束，否则正常结束。
2.如权利要求1所述的基于深度学习的多元时间序列趋势预测方法，其特征在于，所述步骤一中的卷积神经网络模型CNN依次包括输入层、第一卷积层和第二卷积层，其中，输入层为二维矩阵，二维矩阵高度为多元时间序列的元数，宽度是多元时间序列的时间长短；所述第一卷积层为纵向卷积层，第二卷积层为横向卷积层。
3.如权利要求2所述的基于深度学习的多元时间序列趋势预测方法，其特征在于，所述第一卷积层用于提取多元时间序列数据变量的自相关特征，第一卷积层使用多个滤波器，然后把多个滤波器扫过输入层的二维矩阵得到的多张二维特征图，通过线性加权计算得到一张二维特征图；所述第二卷积层用于提取多元时间序列数据变量间的互相关特征，第二卷积层使用多个滤波器，激活函数使用RELU函数，经第二卷积层输出特征向量，第一卷积层和第二卷积层提取多元时间序列的自相关特征及互相关特征的具体计算公式为：
Figure FDA0003712844170000021
式(1)中，ym是在第一卷积层中第m个过滤器的权值与输入的多元时间序列数据Xt卷积计算后得到的特征图值，*为卷积运算，Wm为第m列的权值，Xt是输入的多元时间序列数据，bm为第一卷积层的偏置；
Figure FDA0003712844170000022
是经过线性加权计算操作之后在i行j列的特征图值，Fc为第一卷积层的过滤器数量；ωm是线性加权计算时使用的权值；
hn是第二卷积层中隐藏层第n个过滤器权值与第i行j列的
Figure FDA0003712844170000023
卷积计算后得到的一维特征向量，Wn为第二卷积层的第n列的权值，bn为第二卷积层的偏置；
max()为最大值函数；
RELU()为激活函数；
其中hn作为GRU门控循环单元网络模型和循环双阶注意力层的输入。
4.如权利要求1所述的基于深度学习的多元时间序列趋势预测方法，其特征在于，所述步骤二中GRU门控循环单元神经网络模型隐藏层的具体计算公式为：
Figure FDA0003712844170000031
式(2)中，·是矩阵点乘运算，σ是sigmoid激活函数，xt是当前t时刻输入的经第二层卷积层输出的一维特征向量hn；
Wxr、br分别为GRU门控循环单元神经网络模型中重置门当前t时刻输入数据使用的权值矩阵和偏置值；
Whr、Whu、Whc分别为t-1时刻输出矩阵ht-1重置门、更新门和记忆单元分别使用的权值矩阵；
Wxu、bu分别为GRU门控循环单元神经网络模型中更新门当前t时刻输入数据使用的权值矩阵和偏置值；
Wxc、bc分别为GRU门控循环单元神经网络模型中记忆单元当前t时刻输入数据使用的权值矩阵和偏置值；
ut是当前t时刻的更新门，使用sigmoid函数来指明历史信息是否需要更新；
ct'是当前t时刻得到的新的记忆值，rt是当前t时刻的重置门，使用sigmoid函数来指明历史信息是否需要重置；
ht是当前t时刻GRU门控循环单元神经网络模型经过更新和重置后的输出神经元状态；
tanh()为更新激活函数；
步骤三的具体计算过程为：
首先计算当前t时刻GRU门控循环单元神经网络模型经过更新和重置后的神经元状态ht与第i时刻历史记忆神经元状态hi的相似值si，然后将相似值si通过softmax函数转换成相应的概率数值αi，最后将之前记忆的历史记忆神经元状态hi与概率数值αi进行加权求和运算，得到循环双阶注意力层的输出向量ct；计算公式如下：
Figure FDA0003712844170000041
式(3)中，si是当前t时刻GRU门控循环单元神经网络模型经过更新和重置后的神经元状态ht与第i时刻历史记忆神经元状态hi的注意力得分；Wd、Ud均为模型训练的q阶方阵，vT为q×1的参数矩阵，q是需要初始化的神经元个数；
αi是将si通过softmax函数转换成相应的概率数值；
p为需要记忆的历史信息条数；
ct为循环双阶注意力层的输出向量，ct中包含当前t时刻时间序列的动态周期特性。
5.如权利要求1所述的基于深度学习的多元时间序列趋势预测方法，其特征在于，所述步骤四的计算公式如下：
Figure FDA0003712844170000042
式(4)中，
Figure FDA0003712844170000043
代表使用的线性统计模型ARIMA的输出的多元时间序列预测值，Wi、b分别表示在线性统计模型ARIMA中使用的权值矩阵和偏置值，yt-i表示在第t-i时刻的传输的多元时间序列数据，window表示线性统计模型ARIMA使用的滑动窗口值；
Figure FDA0003712844170000051
为GRU门控循环单元神经网络模型及循环双阶注意力层全连接处理后作为当前时刻非线性神经网络的预测输出值，WR、WS分别是与GRU门控循环单元网络模型当前t时刻记忆的神经元状态
Figure FDA0003712844170000052
和循环双阶注意力层输出向量ct进行全连接运算分别使用的权值矩阵，bi为全连接层使用的偏置值；
Figure FDA0003712844170000053
为当前t时刻最优预测模型的预测结果。
6.一种基于深度学习的多元时间序列趋势预测系统，用于执行如权利要求1-5中任意一项所述的基于深度学习的多元时间序列趋势预测方法。
CN202210724545.1A 2022-06-24 2022-06-24 基于深度学习的多元时间序列趋势预测方法和系统 Active CN115146842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210724545.1A CN115146842B (zh) 2022-06-24 2022-06-24 基于深度学习的多元时间序列趋势预测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210724545.1A CN115146842B (zh) 2022-06-24 2022-06-24 基于深度学习的多元时间序列趋势预测方法和系统

Publications (2)

Publication Number Publication Date
CN115146842A true CN115146842A (zh) 2022-10-04
CN115146842B CN115146842B (zh) 2023-07-18

Family

ID=83408837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210724545.1A Active CN115146842B (zh) 2022-06-24 2022-06-24 基于深度学习的多元时间序列趋势预测方法和系统

Country Status (1)

Country Link
CN (1) CN115146842B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628473A (zh) * 2023-05-17 2023-08-22 国网上海市电力公司 一种基于多因子神经网络算法的电力设备状态趋势预测方法
CN117170303A (zh) * 2023-11-03 2023-12-05 傲拓科技股份有限公司 一种基于多元时间序列预测的plc故障智能诊断维护系统
CN117633528A (zh) * 2023-11-21 2024-03-01 元始智能科技(南通)有限公司 一种基于小样本数据修复与增强的制造车间能耗预测技术
CN117828407A (zh) * 2024-03-04 2024-04-05 江西师范大学 双向跳跃存储的双阶段门控注意力时序分类方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060666A1 (en) * 2016-08-29 2018-03-01 Nec Laboratories America, Inc. Video system using dual stage attention based recurrent neural network for future event prediction
CN110491146A (zh) * 2019-08-21 2019-11-22 浙江工业大学 一种基于深度学习的交通信号控制方案实时推荐方法
CN110610232A (zh) * 2019-09-11 2019-12-24 南通大学 一种基于深度学习的长期及短期交通流预测模型构建方法
CN111210633A (zh) * 2020-02-09 2020-05-29 北京工业大学 一种基于深度学习的短时交通流预测方法
CN112116080A (zh) * 2020-09-24 2020-12-22 中国科学院沈阳计算技术研究所有限公司 一种融合了注意力机制的cnn-gru水质预测方法
CN112381308A (zh) * 2020-11-20 2021-02-19 广州新科佳都科技有限公司 一种电流预测模型的训练及其电流预测方法与相关装置
CN112668804A (zh) * 2021-01-11 2021-04-16 中国海洋大学 一种地波雷达船只断裂航迹预测方法
CN113705915A (zh) * 2021-09-01 2021-11-26 沈阳建筑大学 一种基于cnn-lstm-arima组合短期电力负荷预测方法
CN113947243A (zh) * 2021-10-14 2022-01-18 江苏慧智能源工程技术创新研究院有限公司 一种基于DCLSTNet神经网络模型预测光伏发电量的方法
CN114493014A (zh) * 2022-01-28 2022-05-13 湖南大学 多元时间序列预测方法、系统及计算机产品、存储介质
CN114519305A (zh) * 2022-02-15 2022-05-20 河北工业大学 基于阶段注意力机制网络模型的断路器剩余寿命预测方法
CN114595874A (zh) * 2022-02-24 2022-06-07 武汉大学 一种基于动态神经网络的超短期电力负荷预测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060666A1 (en) * 2016-08-29 2018-03-01 Nec Laboratories America, Inc. Video system using dual stage attention based recurrent neural network for future event prediction
CN110491146A (zh) * 2019-08-21 2019-11-22 浙江工业大学 一种基于深度学习的交通信号控制方案实时推荐方法
CN110610232A (zh) * 2019-09-11 2019-12-24 南通大学 一种基于深度学习的长期及短期交通流预测模型构建方法
CN111210633A (zh) * 2020-02-09 2020-05-29 北京工业大学 一种基于深度学习的短时交通流预测方法
CN112116080A (zh) * 2020-09-24 2020-12-22 中国科学院沈阳计算技术研究所有限公司 一种融合了注意力机制的cnn-gru水质预测方法
CN112381308A (zh) * 2020-11-20 2021-02-19 广州新科佳都科技有限公司 一种电流预测模型的训练及其电流预测方法与相关装置
CN112668804A (zh) * 2021-01-11 2021-04-16 中国海洋大学 一种地波雷达船只断裂航迹预测方法
CN113705915A (zh) * 2021-09-01 2021-11-26 沈阳建筑大学 一种基于cnn-lstm-arima组合短期电力负荷预测方法
CN113947243A (zh) * 2021-10-14 2022-01-18 江苏慧智能源工程技术创新研究院有限公司 一种基于DCLSTNet神经网络模型预测光伏发电量的方法
CN114493014A (zh) * 2022-01-28 2022-05-13 湖南大学 多元时间序列预测方法、系统及计算机产品、存储介质
CN114519305A (zh) * 2022-02-15 2022-05-20 河北工业大学 基于阶段注意力机制网络模型的断路器剩余寿命预测方法
CN114595874A (zh) * 2022-02-24 2022-06-07 武汉大学 一种基于动态神经网络的超短期电力负荷预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵鹏飞;魏宏安;: "基于深度学习的城市大气PM2.5浓度预测研究", 现代计算机, no. 12, pages 10 - 15 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628473A (zh) * 2023-05-17 2023-08-22 国网上海市电力公司 一种基于多因子神经网络算法的电力设备状态趋势预测方法
CN117170303A (zh) * 2023-11-03 2023-12-05 傲拓科技股份有限公司 一种基于多元时间序列预测的plc故障智能诊断维护系统
CN117170303B (zh) * 2023-11-03 2024-01-26 傲拓科技股份有限公司 一种基于多元时间序列预测的plc故障智能诊断维护系统
CN117633528A (zh) * 2023-11-21 2024-03-01 元始智能科技(南通)有限公司 一种基于小样本数据修复与增强的制造车间能耗预测技术
CN117828407A (zh) * 2024-03-04 2024-04-05 江西师范大学 双向跳跃存储的双阶段门控注意力时序分类方法及系统
CN117828407B (zh) * 2024-03-04 2024-05-14 江西师范大学 双向跳跃存储的双阶段门控注意力时序分类方法及系统

Also Published As

Publication number Publication date
CN115146842B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN115146842A (zh) 基于深度学习的多元时间序列趋势预测方法和系统
CN111080032A (zh) 一种基于Transformer结构的负荷预测方法
CN115293415A (zh) 计及时间演变和空间相关的多风电场短期功率预测方法
CN110929765A (zh) 一种基于批次图像化的卷积自编码故障监测方法
CN112966853B (zh) 基于时空残差混合模型的城市路网短时交通流预测方法
CN112910711B (zh) 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质
CN113554466B (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN109492748B (zh) 一种基于卷积神经网络的电力系统的中长期负荷预测模型建立方法
CN108717579B (zh) 一种短期风电功率区间预测方法
CN112308124B (zh) 一种面向用电信息采集系统的智能防窃电方法
CN112766283B (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN115238854A (zh) 一种基于tcn-lstm-am的短期负荷预测方法
CN114295967A (zh) 一种基于迁移神经网络的模拟电路故障诊断方法
CN113987910A (zh) 一种耦合神经网络与动态时间规划的居民负荷辨识方法及装置
CN117009900A (zh) 一种基于图神经网络的物联网信号异常检测方法和系统
CN116341391A (zh) 基于STPM-XGBoost模型的降水预测方法
CN113537573A (zh) 基于双重时空特征提取的风电功率运行趋势预测方法
CN115034502B (zh) 一种公路车辆旅行时间的预测方法
CN113821929B (zh) 基于时空注意力机制的高速路网站点流量预测方法及系统
CN116662766B (zh) 基于数据二维重构的风速预测方法及装置、电子设备
CN113744081B (zh) 窃电行为分析方法
Dhingra Solar PV power forecasting using machine learning
CN117354172A (zh) 网络流量预测方法及系统
CN117354846A (zh) 一种5g电力网络切片流量预测方法
CN117196116A (zh) 基于ae-lstm的可调资源集群多时间节点响应潜力评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231120

Address after: 117000 No. 130, Guangyu Road, Pingshan District, Benxi City, Liaoning Province

Patentee after: BENXI STEEL (GROUP) INFORMATION AUTOMATION CO.,LTD.

Address before: 110000 No.25 middle Hunnan Road, Hunnan District, Shenyang City, Liaoning Province

Patentee before: SHENYANG JIANZHU University