CN112699998B - 一种时间序列预测方法、装置、电子设备及可读存储介质 - Google Patents
一种时间序列预测方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN112699998B CN112699998B CN202110316579.2A CN202110316579A CN112699998B CN 112699998 B CN112699998 B CN 112699998B CN 202110316579 A CN202110316579 A CN 202110316579A CN 112699998 B CN112699998 B CN 112699998B
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- prediction
- variance
- differential equation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 140
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000009826 distribution Methods 0.000 claims description 29
- 238000009792 diffusion process Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000005537 brownian motion Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 14
- 238000013531 bayesian neural network Methods 0.000 description 10
- 230000010354 integration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000005653 Brownian motion process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 206010068829 Overconfidence Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种时间序列预测方法、装置、电子设备及可读存储介质,该方法在实现是先获取任务的历史时间序列数据;再建立神经网络;神经网络包括初始化层、随机微分方程层和预测层,所述的随机微分方程层中设置有随机微分方程;然后利用任务的训练数据集,训练所述的神经网络,以得到训练好的神经网络;再将任务的历史时间序列数据输入训练好的神经网络,通过神经网络获取未来数据的均值和方差,最后获取未来数据的预测区间。由于本发明通过随机微分方程层建立了均值和方差的联系,因此保证了均值和方差同时收敛至最优的值,获得了更加可靠的预测区间。
Description
技术领域
本发明涉及机器学习技术领域,具体而言,涉及一种时间序列预测方法、装置、电子设备及可读存储介质。
背景技术
时间序列预测任务是机器学习中普遍存在的一类任务,在金融、工业、制造、交通等各种场景中都被广泛应用,如用电量预测、股票分析、交通流量预测、天气预报等。
近年来随着深度学习技术突飞猛进的发展,深度神经网络已经成为十分重要的机器学习工具,在许多任务上都超过了人类水平。因此,发展出了一些时间序列预测方法,但是,现有的用于时间序列预测的神经网络还存在问题,往往会做出一些不可信赖和过度置信的预测。
而且,当机器学习系统部署到真实世界中的许多实际应用中,仅仅点预测是不满足需求的,对于预测任务,我们需要更加可靠准确的预测区间,来满足用户决策时的需求。
发明内容
有鉴于此,本发明的目的在于提供一种时间序列预测方法、装置及可读存储介质。
本发明是这样实现的:
第一方面,本发明提供了一种时间序列预测方法,包括以下步骤:
获取任务的历史时间序列数据;
建立神经网络;所述的神经网络包括初始化层、随机微分方程层和预测层,所述的随机微分方程层中设置有随机微分方程;所述的初始化层用于提取历史时间序列数据的初始化特征映射;所述的随机微分方程层用于利用初始值为初始化特征映射的随机微分方程获取历史序列数据的均值特征和方差特征,所述的均值特征为所述的随机微分方程的解,所述的方差特征为所述的随机微分方程与解对应的扩散系数,所述的预测层用于根据均值特征和方差特征预测未来数据的均值和方差;
利用任务的训练数据集,训练所述的神经网络,以得到训练好的神经网络;
将任务的历史时间序列数据输入训练好的神经网络,通过神经网络获取未来数据的均值和方差;
根据未来数据的均值和方差,获取未来数据的预测区间。
具体的,所述的时间序列预测方法中,所述的随机微分方程如下:
其中, 表示随机微分方程的漂移系数;表示随机微分方程的扩散系数;表示神经网络第t个隐藏层的状态或输出;表示漂移项的神经网络参数;表示扩散项的神经网络参数;在所述的随机微分方程表示t时刻的布朗运动状态。
具体的,所述的时间序列预测方法中,所述的随机微分方程采用欧拉法迭代求解,欧拉法迭代求解的表示公式为:
在一些实施例中,利用任务的训练数据集,训练所述的神经网络时,所述的神经网络的损失函数由未来数据的均值和方差组成,保证未来数据的均值和方差同时收敛到最优的点,表示公式为:
表示神经网络输出的未来数据的均值;代表神经网络输出的未来数据的方差;表示需最小化的负对数似然损失函数;表示常数项;是一组真实的样本点数据,其中是训练数据集中神经网络的输入数据,是训练数据集中与神经网络输出的未来数据相对应的真实数据;代表样本点的个数,。
优选的,在一些实施例中,所述的时间序列预测方法还包括以下步骤,根据未来数据的均值和方差获取不确定度,所述的不确定度用于表征神经网络输出的预测区间的可靠程度。
在一些实施例中,所述的时间序列预测方法所述的根据未来数据的均值和方差,获取未来数据的预测区间包括以下步骤:
根据未来数据的均值和方差,获取未来数据的预测分布;
根据未来数据的预测分布,获取未来数据的预测区间。
优选的,所述的获取任务的历史时间序列数据包括以下步骤:采集任务的实时时间序列数据;
对所述的实时时间序列数据进行归一化处理,得到归一化的时间序列数据;
利用滑动窗口算法将归一化的时间序列数据转化为任务的历史时间序列数据。
在一些实施例中,还提供了一种时间序列预测装置,所述的装置包括:
第一获取模块,用于获取任务的历史时间序列数据;
神经网络模块,所述的神经网络包括初始化单元、随机微分方程单元和预测单元,所述的随机微分方程单元中设置有随机微分方程;所述的初始化单元,用于提取历史时间序列数据的初始化特征映射;所述的随机微分方程单元,用于利用初始值为初始化特征映射的随机微分方程获取历史序列数据的均值特征和方差特征,所述的均值特征为所述的随机微分方程的解,所述的方差特征为所述的随机微分方程与解对应的扩散系数;
所述的预测单元用于根据均值特征和方差特征预测未来数据的均值和方差;
训练模块,所述的训练模块用于利用任务的训练数据集,训练所述的神经网络,以得到训练好的神经网络;
输入模块,用于将将任务的历史时间序列数据输入训练好的神经网络;
第二获取模块,用于通过神经网络获取未来数据的均值和方差;
第三获取模块,根据未来数据的均值和方差,获取未来数据的预测区间。
在一些实施例中,还提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述的时间序列预测方法的步骤。
在一些实施例中,还提供一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行所述的时间序列预测方法的步骤。
本发明的有益效果主要在于:本发明所述的时间序列预测方法,建立的一个相对简单的神经网络模型,无需计算后验分布,训练过程所需要的计算资源少,所建立的网络模型数目少,训练过程快,计算代价低;在神经网络中设置了随机微分方程层,通过随机微分方程建立了均值和方差的相互作用的关系,从而使得随机微分方程层输出的均值特征和方差特征之间的相互联系的,预测层根据均值特征和方差特征优化得到的未来数据的均值和方差之间也形成了密切的联系,神经网络训练过程中,待预测的未来数据的均值和方差能够同时收敛至对彼此都最优的点,扩散项也模拟了现实中的干扰和扰动,因此,预测层输出的未来数据的均值和方差更加确定且更加可靠,所产生的未来的数据的预测区间精度更高、可靠更高。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例所提供的一种时间序列预测方法基本流程图;
图2为本发明实施例所建立的神经网络的架构图;
图3为本发明实施例所述的训练神经网络以得到训练好的神经网络的基本流程图;
图4为本发明实施例所述的获取任务的历史时间序列数据的基本流程图;
图5为本发明实施例的根据未来数据的均值和方差获取未来数据的预测区间的基本流程图;
图6为本发明实施例所述的时间序列预测方法得到的pick up数据集的95%置信度的预测区间示意图;
图7为本发明实施例中pick up数据集的校准损失评估示意图;
图8为本发明实施例所述的时间序列预测装置的结构示意图;
图9为本发明实施例所述的电子设备的结构示意图。
图中:
S1201、初始化层;S1202、随机微分方程层;S1203、预测层;
201、第一获取模块;202、神经网络模块;203、训练模块;204、输入模块;205、第二获取模块;206、第三获取模块;301、存储器;302、处理器。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在深度学习中,现有的不确定性估计和区间预测算法总体上可分为以下三类:贝叶斯神经网络(BNN)、深度集成方法(Deepensemble)、异方差神经网络(HNN)。
与标准的深度神经网络相比,在贝叶斯神经网络(BNN)中,通过为神经网络的权重引入先验概率,并将其参数以概率分布的形式表示以提供不确定性估计;同时,通过使用先验概率分布的形式来表示神经网络的参数,训练期间在许多模型上计算平均值,从而给神经网络提供了正则化效果,从而防止过度拟合。贝叶斯神经网络通过建模参数上的不确定性,从而得到预测分布,进而计算出预测区间,并将预测不确定性量化为不确定度。
深度集成方法是一种模型集成技术,可以看作是一种经验贝叶斯准则和方法,它同时建立多个深度神经网络,然后分别初始化每个神经网络,从而每个神经网络都有不同的初始权重,达到增强模型多样性的目的。通过这种模型集成的方法,能够得到最终的预测分布和不确定度,与贝叶斯神经网络相比,使用和部署起来比较简单,并且往往具有良好的性能表现。
在异方差神经网络中,通过在神经网络的最后一层引入方差项,通过随机梯度下降的优化算法来优化负对数似然损失(NLL loss),以此来训练神经网络,从而让深度神经网络学习出未来数据的均值和方差,达到建立预测分布的目的,进而将神经网络预测的不确定性量化为不确定度和计算预测区间,这是一种比较直接而简便的方法。
在时间序列预测任务上,上述三类方法所采用的模式基本类似,都是对数据进行拟合和学习,通过神经网络来得到最优的均值和方差,进而通过异方差假设估计预测分布,并将神经网络输出的不确定性量化为不确定度,根据预测分布计算出所需置信度的预测区间。
然而,贝叶斯神经网络通过为神经网络的权重引入不确定性进行正则化,防止过度拟合,虽然建模简单,但是在神经网络中执行贝叶斯推断是非常有挑战性的。一方面,由于需要计算后验分布,往往需要大量的计算资源,在实际应用中训练过程很慢;另一方面,由于模型的错误识别和近似推断的使用,计算出的预测的不确定度往往是不准确的。
深度集成方法需要集成多个神经网络模型,往往需要的训练时间较长,需要大量的计算资源,而且当模型复杂度变高时,计算代价十分昂贵,这给实际应用(例如实时采集交通流量并预测未来一个小时内的交通流量)带来了许多困难。
异方差神经网络虽然没有计算昂贵的贝叶斯推断过程,模型复杂度也较低,但是,在异方差神经网络中,只在网络最后一层直接输出一个概率分布,所述的概率分布跟神经网络输出均值和方差是相对应的。在整体的信息传播和网络优化过程中,均值和方差分别进行相对独立的学习过程,神经网络得出的预测区间和量化的神经网络输出的不确定性之间也不存在显式的联系或相互影响关系。由于这种局限性的存在,不能将待优化的均值和方差在网络内部形成紧密的联系,可能导致神经网络预测得到的均值和方差不能同时收敛到对彼此都最优的点。因此,仅仅简单地只让网络最后一层输出均值和方差,得到的预测分布往往具有较高的误差,产生预测区间是不可靠的,神经网络输出的不确定度往往也是基于均值和方差得到的,因此,也不够可靠。
针对上述问题,本申请的发明人认为可以采用以下时间序列预测方法,兼顾神经网络的复杂度和预测结果的可靠度,如图1所示,一种时间序列预测方法,包括以下步骤:
S101,获取任务的历史时间序列数据;
S102,建立神经网络;如图2所示,所述的神经网络包括初始化层S1201、随机微分方程层S1202和预测层S1203,所述的随机微分方程层S1202中设置有随机微分方程;所述的初始化层S1201用于提取历史时间序列数据的初始化特征映射;所述的随机微分方程层S1202用于利用初始值为初始化特征映射的随机微分方程获取历史序列数据的均值特征和方差特征,所述的均值特征为所述的随机微分方程的解,所述的方差特征为所述的随机微分方程与解对应的扩散系数,所述的预测层S1203用于根据均值特征和方差特征预测未来数据的均值和方差;
S103,利用任务的训练数据集,训练所述的神经网络,以得到训练好的神经网络;
S104,将任务的历史时间序列数据输入训练好的神经网络,通过神经网络获取未来数据的均值和方差;
S105,根据未来数据的均值和方差,获取未来数据的预测区间。
步骤S101中,任务的历史时间序列数据是指距离待预测的时间段的未来数据最接近的若干个时间段内的历史数据。以交通流量预测任务为例,步骤S101即为获取交通流量预测任务的历史时间序列数据。具体的,可以通过设置在某个路口的入口车道处的交通流量采集装置,获取该路口的入口车道的交通流量的历史时间序列数据。例如,若待预测的未来数据是该路口的入口车道12:00-12:10分钟之内的交通流量数据,则获取12:00之前多个长度为10分钟的时间区间之内的交通流量数据。
步骤S102中,具体的,所述的神经网络的初始化层S1201通过上采样或下采样,从历史时间序列数据中提取出易于神经网络学习的初始化特征映射。
预测层S1203对均值特征和方差特征的进行线性变换,预测得到未来数据的均值和方差。
步骤S103中,具体的,以交通流量预测任务为例,采用的训练数据集Metro-traffic和Traffic flow是交通流量预测任务的公开数据集。
如图3所示,步骤S103具体包括以下步骤:
S1031,随机初始化神经网络参数,所述的参数包括权重和偏置;
S1032,初始化神经网络优化器和欧拉方程的超参数,所述的超参数包括学习率、权重衰减、批大小,迭代步长,迭代步数;
S1033,将处理好的训练数据输入到神经网络中,并利用欧拉法迭代地求解用神经网络参数化的随机微分方程;
S1034,利用梯度下降更新算法优化神经网络的参数,直到神经网络收敛;
S1035,得到最终优化好的神经网络参数。
神经网络的优化主要是参数的优化,至此得到了训练好的神经网络。
具体的,所述的步骤S1034中,神经网络收敛即神经网络的损失函数趋于平稳,即L m+1-L m <,是一个预先设定的损失函数的阈值,L m 是神经网络参数第m次更新后损失函数的值,L m+1是神经网络参数第m次更新后损失函数的值;
步骤S104中,以交通流量预测任务为例,将实时获取的交通流量的历史时间序列数据输入至训练好的神经网络,通过神经网络获取交通流量的未来数据的均值和方差。
本发明所述的时间序列预测方法,相较于贝叶斯神经网络和深度集成方法,无需计算后验分布,训练过程所需要的计算资源少;相对于深度集成方法而言,所建立的网络模型数目少,训练过程快,计算代价低;相较于传统的异方差神经网络,所产生的未来的数据的预测区间精度更高、可靠更高。
需要指出的是,本发明所述的时间序列预测方法在运用于实际的预测任务时,需根据实际情况调整预测时间的长短。本发明所述的时间序列预测方法获取未来数据的预测区间实际上利用的是事物发展的延续性,运用过去的历史时间序列数据进行统计学分析,推测出任务发展的趋势,因此,未来时间越接近历史时间,所获取的预测区间越准确,通常情况下,交通流量预测的时间区间的量级是分钟级。
具体的,本发明所产生的预测区间的精确度和可靠性更高的原因在于随机微分方程层S1202。
本实施例中,所述的随机微分方程层S1202中设置的随机微分方程如下:
本实施例中,对于以初始化特征映射为初始值的随机微分方程,具体的采用欧拉法迭代求解,随机微分方程的解即为终止时刻对应的值,将该值作为均值特征,与解对应的扩散系数即为终止时刻所对应的扩散系数,将该扩散系数作为方差特征,以随机微分方程为基础,建立历史时间序列数据的均值特征和方差特征之间的联系。
欧拉法迭代求解的表示公式为:
在物理学中,粒子运动与周围环境扰动存在一种相关联系——布朗运动,最早在物理科学中,物理学家建立一个方程来模拟粒子的运动与周围环境扰动的关系,即后来发展出的随机微分方程。随机微分方程的扩散项是给系统当前状态施加的一个干扰和扰动,随机微分方程的解代表系统的当前状态(如粒子运动的速度),使得随机微分方程终止时刻的解更能反映真实的物理世界观察量。而从均值和方差的实际意义出发,系统的方差也代表着系统的受到的扰动和干扰的程度,如方差越小,相应的正态分布越窄,未来数据的预测值在一个很小的范围内变化,预测结果也就越确定,说明系统的状态越稳定,也就是说系统受到的干扰和扰动较小,而系统的解则代表了系统的当前状态,例如当前时刻的交通流量,则是交通系统当前的状态。
受到布朗运动的物理意义和随机微分方程的建模形式的启示,将随机微分方程的扩散项和方差联系起来,随机微分方程的解与均值联系起来,用随机微分方程建立了均值和方差的相互作用的关系,从而使得随机微分方程层S1202输出的均值特征和方差特征之间的相互联系的,预测层S1203根据均值特征和方差特征优化得到的未来数据的均值和方差之间也形成了密切的联系,神经网络训练过程中,未来数据的均值和方差能够同时收敛至对彼此都最优的点,扩散项也模拟了现实中的干扰和扰动,因此,预测层S1203输出的未来数据的均值和方差更加确定且更加可靠。
训练得到的神经网络是否可靠,关键在于训练过程中,神经网络的损失函数要保证未来数据的均值和方差能够同时收敛至对彼此都最优的点。
本实施例中,具体的,利用任务的训练数据集,训练所述的神经网络时,所述的神经网络的损失函数由未来数据的均值和方差组成,保证未来数据的均值和方差同时收敛到最优的点,神经网络的损失函数的表示公式为:
表示神经网络输出的未来数据的均值;代表神经网络输出的未来数据的方差;表示需最小化的负对数似然损失函数;表示常数项;是一组真实的样本点数据,其中是训练数据集中神经网络的输入数据,是训练数据集中与神经网络输出的未来数据相对应的真实数据;代表样本点的个数,。
神经网络预测未来数据必然存在一定的误差,这种误差是由于神经网络本身的不确定性决定的,因此,本发明所述的时间序列预测方法还包括以下步骤:根据未来数据的均值和方差获取不确定度,所述的不确定度用于表征神经网络输出的预测区间的可靠程度。
不确定度即为神经网络本身的不确定性的量化结果,有多种量化方式,本实施例中,由于未来数据的方差表征了系统受到的干扰和扰动的程度,因此采用神经网络输出的未来数据的方差来表征不确定度。
具体的,如图4所示,所述的步骤S101具体包括以下步骤:
S1011,采集任务的实时时间序列数据;
S1012,对所述的实时时间序列数据进行归一化处理,得到归一化的时间序列数据;
S1013,利用滑动窗口算法将归一化的时间序列数据转化为任务的历史时间序列数据。
数据归一化后,神经网络的最优解的寻优过程会变得平缓,更容
易正确的收敛至最优解,所述的滑动窗口算法则可以优化数据预处理过程中的计算量。
如图5所示,步骤S105中,具体包括以下步骤,
S1051,根据未来数据的均值和方差,获取未来数据的预测分布;S1052,根据未来数据的预测分布,获取未来数据的预测区间。所述的预测分布有多种类型,例如正态分布、泊松分布等,正态分布是时间序列预测中较常使用的一种预测分布,也是本实施例具体采用的预测分布。
本实施例中,提出了一种基于置信度加权的校准损失(CWCE)以及它的变体——决定系数驱动的校准损失(R-CWCE)来评估和监测预测结果的可靠性。
置信度加权的校准损失(CWCE)的计算公式如下:
决定系数驱动的校准损失(R-CWCE)的计算公式如下:
通过计算CWCE和R-CWCE可以监测神经网络预测区间的可靠性,CWCE和R-CWCE越小,说明预测结果越可靠。
本实时例提供的时间序列预测算法可以运用于多种任务中,例如交通流量预测任务、客流量预测任务、用电量预测任务、股票价格预测任务。
以下分别提供交通流量预测任务、客流量预测任务、用电量预测任务、股票价格预测任务的实验数据。
Metro-traffic和Traffic flow,Metro-traffic和Traffic flow是交通流量的公开数据集。Pickups是客流量的公开数据集,Electricity是用电量的公开数据集,Stock是股票价格的公开数据集。这些数据集都被广泛的使用。
在实验中,所述选择的时间序列预测的滑动窗口为5和1,即对于交通流量预测来讲,用过去五小时的交通流量数据预测未来一小时的交通流量值。
为了公平的比较,所有方法的实验设置都相同。RMSE (均方根误差)和R2(R方)是一般被用来评估预测精度的指标。
实验数据结果如表1所示,MCD表示蒙特卡洛dropout方法;DGP表示深度高斯过程方法;BNN表示贝叶斯神经网络方法;Deepensemble表示深度集成方法、HNN表示异方差神经网络方法;SDE-HNN表示本实施例所述的基于随机微分方程改进的异方差神经网络的方法。
表1
在不同的时间序列预测任务上,表1中展示了每种方法对应的预测精度和可靠性评估结果,从第三列开始,每一列是一种方法在不同预测任务上的表现。每个表格中,都展示了用一种方法完成一个时间序列预测任务的四种指标,其中对于R2这项指标,越大的值代表越好的预测精度;对于RMSE、CWCE 、R-CWCE这三种指标代表预测误差,值越小代表越好的预测性能,越高的可靠性。
从表1中可见,基于本实施例所建立神经网络的时间序列预测方法指标R2均大于其他五种方法,因此,本实施例所述的时间序列预测方法的预测精度更高。基于本实施例所建立神经网络的时间序列预测方法的指标RMSE、CWCE 、R-CWCE均小于其他五种方法,因此本实施例所述的时间序列预测方法所得到预测结果的可靠性更高。
特别的,相对于现有的异方差神经网络方法,基于本实施例所述的时间序列预测方法的指标CWCE 、R-CWCE均大幅度降低,以数据集Metro-traffic为例, CWCE降低了69%,指标R-CWCE降低了76%,可见,本实施例所述的时间序列预测方法所得到预测结果的可靠性获得了显著的提升。
如图6所示,提供了本发明实施例所述的时间序列预测方法得到的pick up数据集的95%置信度的预测区间示意图;图7为本发明实施例中pick up数据集的校准损失评估示意图;
图6中,深色阴影部分代表本实施例所述的时间序列预测方法得到的95%置信度的预测区间,浅色阴影部分代表异方差神经网络方法得到的95%置信度的预测区间,折线中的点代表真实的数据,从直观上可以看出本实施例的方法能够得到预测区间更接近真实数据,更加可靠并且准确,与原始的异方差神经网络(HNN)相比,本实施例的方法(SDE-HNN)性能更优。
图7中横轴代表期望(真实)的置信度水平,纵轴是实际观测到的置信水平,越接近对角线表示校准损失越小,结果的可靠性越高,从图中可以看出本实施例的方法的结果几乎与对角线重合,比存在的其他方法效果要好,这证实了本实施例所述的方法得到的未来数据的方差能产生可靠的不确定性和预测区间。
如图8所示,本发明还提供了一种时间序列预测装置,所述的装置包括:
第一获取模块201,用于获取任务的历史时间序列数据;
神经网络模块202,所述的神经网络包括初始化单元、随机微分方程单元和预测单元,所述的随机微分方程单元中设置有随机微分方程;所述的初始化单元,用于提取历史时间序列数据的初始化特征映射;所述的随机微分方程单元,用于利用初始值为初始化特征映射的随机微分方程获取历史序列数据的均值特征和方差特征,所述的均值特征为所述的随机微分方程的解,所述的方差特征为所述的随机微分方程与解对应的扩散系数;
所述的预测单元用于根据均值特征和方差特征预测未来数据的均值和方差;
训练模块203,所述的训练模块203用于利用任务的训练数据集,训练所述的神经网络,以得到训练好的神经网络;
输入模块204,用于将将任务的历史时间序列数据输入训练好的神经网络;
第二获取模块205,用于通过神经网络获取未来数据的均值和方差;
第三获取模块206,根据未来数据的均值和方差,获取未来数据的预测区间。
如图9所示,本发明还提供了一种电子设备,包括存储器301、处理器302及存储在所述存储器301上并可在所述处理器302上运行的计算机程序,所述处理器302执行所述计算机程序时实现本实施例所述的时间序列预测方法的步骤。
存储器301可以包括只读存储器和随机存取存储器,并向处理器302提供指令和数据。存储器301的一部分还可以包括非易失性随机存取存储器301(NVRAM)。
本发明还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器302运行时执行时间序列预测方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述对话语句确定方法,从而能够提高确定第一对话语句的准确度。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器301(ROM,Read-Only Memory)、随机存取存储器301(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种时间序列预测方法,其特征在于,包括以下步骤:
获取交通流量预测任务的历史时间序列数据;所述交通流量预测任务的历史时间序列数据是指距离待预测的时间段的未来数据最接近的若干个时间段内的历史数据;
建立神经网络;所述的神经网络包括初始化层、随机微分方程层和预测层,所述的随机微分方程层中设置有随机微分方程;所述的初始化层用于提取历史时间序列数据的初始化特征映射;所述的随机微分方程层用于利用初始值为初始化特征映射的随机微分方程获取历史序列数据的均值特征和方差特征,所述的均值特征为所述的随机微分方程的解,所述的方差特征为所述的随机微分方程与解对应的扩散系数,所述的预测层用于根据均值特征和方差特征预测未来数据的均值和方差;
利用交通流量预测任务的训练数据集,训练所述的神经网络,以得到训练好的神经网络;
将交通流量预测任务的历史时间序列数据输入训练好的神经网络,通过神经网络获取未来数据的均值和方差;
根据未来数据的均值和方差,获取未来数据的预测区间,其中,所述未来数据是待预测的时间段内所述交通流量预测任务对应的任务数据;所述预测区间表征了任务数据的取值范围,所述的任务数据用于任务决策。
5.根据权利要求1所述的时间序列预测方法,其特征在于,还包括以下步骤:根据未来数据的均值和方差获取不确定度,所述的不确定度用于表征神经网络输出的预测区间的可靠程度。
6.根据权利要求1所述的时间序列预测方法,其特征在于,根据未来数据的均值和方差,获取未来数据的预测区间包括以下步骤:
根据未来数据的均值和方差,获取未来数据的预测分布;
根据未来数据的预测分布,获取未来数据的预测区间。
7.根据权利要求1所述的时间序列预测方法,其特征在于,所述的获取交通流量预测任务的历史时间序列数据包括以下步骤:采集任务的实时时间序列数据;
对所述的实时时间序列数据进行归一化处理,得到归一化的时间序列数据;
利用滑动窗口算法将归一化的时间序列数据转化为任务的历史时间序列数据。
8.一种时间序列预测装置,其特征在于,所述的装置包括:
第一获取模块,用于获取交通流量预测任务的历史时间序列数据;所述交通流量预测任务的历史时间序列数据是指距离待预测的时间段的未来数据最接近的若干个时间段内的历史数据;
神经网络模块,所述的神经网络包括初始化单元、随机微分方程单元和预测单元,所述的随机微分方程单元中设置有随机微分方程;所述的初始化单元,用于提取历史时间序列数据的初始化特征映射;所述的随机微分方程单元,用于利用初始值为初始化特征映射的随机微分方程获取历史序列数据的均值特征和方差特征,所述的均值特征为所述的随机微分方程的解,所述的方差特征为所述的随机微分方程与解对应的扩散系数;
所述的预测单元用于根据均值特征和方差特征预测未来数据的均值和方差;
训练模块,所述的训练模块用于利用交通流量预测任务的训练数据集,训练所述的神经网络,以得到训练好的神经网络;
输入模块,用于将交通流量预测任务的历史时间序列数据输入训练好的神经网络;
第二获取模块,用于通过神经网络获取未来数据的均值和方差;
第三获取模块,根据未来数据的均值和方差,获取未来数据的预测区间;其中,所述未来数据是待预测的时间段内所述交通流量预测任务对应的任务数据;所述预测区间表征了任务数据的取值范围,所述的任务数据用于任务决策。
9.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110316579.2A CN112699998B (zh) | 2021-03-25 | 2021-03-25 | 一种时间序列预测方法、装置、电子设备及可读存储介质 |
CN202110892935.5A CN113435587A (zh) | 2021-03-25 | 2021-03-25 | 基于时间序列的任务量预测方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110316579.2A CN112699998B (zh) | 2021-03-25 | 2021-03-25 | 一种时间序列预测方法、装置、电子设备及可读存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110892935.5A Division CN113435587A (zh) | 2021-03-25 | 2021-03-25 | 基于时间序列的任务量预测方法、装置、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112699998A CN112699998A (zh) | 2021-04-23 |
CN112699998B true CN112699998B (zh) | 2021-09-07 |
Family
ID=75515656
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110892935.5A Pending CN113435587A (zh) | 2021-03-25 | 2021-03-25 | 基于时间序列的任务量预测方法、装置、电子设备及介质 |
CN202110316579.2A Active CN112699998B (zh) | 2021-03-25 | 2021-03-25 | 一种时间序列预测方法、装置、电子设备及可读存储介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110892935.5A Pending CN113435587A (zh) | 2021-03-25 | 2021-03-25 | 基于时间序列的任务量预测方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN113435587A (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113689456B (zh) * | 2021-08-18 | 2023-07-25 | 山东大学 | 基于深度学习的外泌体粒径分析装置及方法 |
CN113965467B (zh) * | 2021-08-30 | 2023-10-10 | 国网山东省电力公司信息通信公司 | 一种基于神经网络的电力通信系统可靠性评估方法及系统 |
CN113820615B (zh) * | 2021-09-30 | 2024-05-07 | 国网福建省电力有限公司龙岩供电公司 | 一种电池健康度检测方法与装置 |
CN114066089A (zh) * | 2021-11-25 | 2022-02-18 | 中国工商银行股份有限公司 | 批量作业运行耗时区间确定方法及装置 |
CN115527059B (zh) * | 2022-08-16 | 2024-04-09 | 贵州博睿科讯科技发展有限公司 | 一种基于ai识别技术的涉路施工元素检测系统及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590570A (zh) * | 2017-09-28 | 2018-01-16 | 清华大学 | 一种负载功率预测方法及系统 |
EP3499433A1 (en) * | 2017-12-14 | 2019-06-19 | Business Objects Software Limited | Multi-step time series forecasting with residual learning |
CN111950763A (zh) * | 2020-07-02 | 2020-11-17 | 江苏能来能源互联网研究院有限公司 | 一种分布式风力发电站输出功率的预测方法 |
CN112232495A (zh) * | 2020-12-10 | 2021-01-15 | 北京瑞莱智慧科技有限公司 | 预测模型的训练方法、装置、介质和计算设备 |
CN112541839A (zh) * | 2020-12-23 | 2021-03-23 | 四川大汇大数据服务有限公司 | 基于神经微分方程的水库入库流量预测方法 |
-
2021
- 2021-03-25 CN CN202110892935.5A patent/CN113435587A/zh active Pending
- 2021-03-25 CN CN202110316579.2A patent/CN112699998B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590570A (zh) * | 2017-09-28 | 2018-01-16 | 清华大学 | 一种负载功率预测方法及系统 |
EP3499433A1 (en) * | 2017-12-14 | 2019-06-19 | Business Objects Software Limited | Multi-step time series forecasting with residual learning |
CN111950763A (zh) * | 2020-07-02 | 2020-11-17 | 江苏能来能源互联网研究院有限公司 | 一种分布式风力发电站输出功率的预测方法 |
CN112232495A (zh) * | 2020-12-10 | 2021-01-15 | 北京瑞莱智慧科技有限公司 | 预测模型的训练方法、装置、介质和计算设备 |
CN112541839A (zh) * | 2020-12-23 | 2021-03-23 | 四川大汇大数据服务有限公司 | 基于神经微分方程的水库入库流量预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113435587A (zh) | 2021-09-24 |
CN112699998A (zh) | 2021-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112699998B (zh) | 一种时间序列预测方法、装置、电子设备及可读存储介质 | |
CN110472675B (zh) | 图像分类方法、图像分类装置、存储介质与电子设备 | |
US11593611B2 (en) | Neural network cooperation | |
CN110138595A (zh) | 动态加权网络的时间链路预测方法、装置、设备及介质 | |
CN110910004A (zh) | 一种多重不确定性的水库调度规则提取方法及系统 | |
CN109598387A (zh) | 基于双向跨模态注意力网络模型的股价预测方法及系统 | |
CN113326852A (zh) | 模型训练方法、装置、设备、存储介质及程序产品 | |
JP7528948B2 (ja) | データ分析方法、デバイス及びコンピュータプログラム | |
CN109492769A (zh) | 一种粒子滤波方法、系统和计算机可读存储介质 | |
CN114925938B (zh) | 一种基于自适应svm模型的电能表运行状态预测方法、装置 | |
WO2021012263A1 (en) | Systems and methods for end-to-end deep reinforcement learning based coreference resolution | |
US20220188605A1 (en) | Recurrent neural network architectures based on synaptic connectivity graphs | |
CN116306902A (zh) | 时序数据环境分析及决策方法、装置、设备及存储介质 | |
CN112819256A (zh) | 一种基于注意力机制的卷积时序房价预测方法 | |
CN112949433A (zh) | 视频分类模型的生成方法、装置、设备和存储介质 | |
CN111161238A (zh) | 图像质量评价方法及装置、电子设备、存储介质 | |
Zhang et al. | Flexible and efficient spatial extremes emulation via variational autoencoders | |
CN111957053A (zh) | 游戏玩家匹配方法、装置、存储介质与电子设备 | |
CN116910573A (zh) | 异常诊断模型的训练方法及装置、电子设备和存储介质 | |
Xu et al. | Residual autoencoder-LSTM for city region vehicle emission pollution prediction | |
CN116758432A (zh) | 基于改进Resnet神经网络的自然地质灾害分类识别方法及系统 | |
CN114357160B (zh) | 基于生成传播结构特征的早期谣言检测方法及装置 | |
CN116452333A (zh) | 异常交易检测模型的构建方法、异常交易检测方法及装置 | |
CN110866672A (zh) | 数据处理方法、装置、终端及介质 | |
CN115391523A (zh) | 风电场多源异构数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |