CN111369075A - 运量预测方法 - Google Patents

Abstract

本发明提供了一种运量预测方法，包括步骤1：在原始运量数据序列中加入缓冲算子，得到融合缓冲算子的第一序列；步骤2：根据所述第一序列建立第一模型；步骤3：通过所述第一序列训练基于深度递归神经网络的第二模型；步骤4：分别通过所述第一模型和以及经过训练的第二模型预测运量，得到第一预测结果和第二预测结果；步骤5：对所述第一预测结果和第二预测结果进行加权组合，得到目标预测结果。从而可以极大降低原始运量序列受到季节和市场政策因素的影响，可充分挖掘多个序列之间的潜在规律，为物流市场的决策提供强有力支持。

Description

运量预测方法

技术领域

本发明涉及数据处理技术领域，具体地，涉及运量预测方法。

背景技术

随着我国国民经济的迅猛发展，客运量与货运量激增，若缺乏对运量的预测，相关部门将缺乏对经济市场风险的决策管控的能力，造成严重的经济损失。但路网运量是一个高维复杂的动态系统，如何从复杂的运输系统中挖掘出有价值得信息，给人类的智能信息处理带来了前所未有的挑战。2017年前三季度我国经济实现6.9％的增长，经济维持较高速增长趋势不变，大宗货物需求有所提升，铁路运输、航运业务量增长，货物运输结构逐步优化调整，铁路运输量进一步增长，运价恢复并且上浮。在消费的拉动之下，与消费相关的物流业务继续保持相对快速增长，消费升级以及消费需求的增长带动了相关领域基础设施的投资需求。

白色系统是指系统内部特征是完全已知的；黑色系统是指系统内部信息完全未知的；而灰色系统是介于白色系统和黑色系统之间的一种系统，灰色系统其内部一部分信息已知，另一部分信息未知或不确定。灰色预测是指对系统行为特征值的发展变化进行的预测，对既含有已知信息又含有不确定信息的系统进行的预测，也就是对在一定范围内变化的、与时间序列有关的灰过程进行预测。尽管灰过程中所显示的现象是随机的、杂乱无章的，但毕竟是有序的、有界的，因此得到的数据集合具备潜在的规律。灰色预测是利用这种规律建立灰色模型对灰色系统进行预测。

目前使用最广泛的灰色预测模型就是关于数列预测的一个变量、一阶微分的GM(1，1)模型。它是基于随机的原始时间序列，经按时间累加后所形成的新的时间序列呈现的规律可用一阶线性微分方程的解来逼近。经证明，经一阶线性微分方程的解逼近所揭示的原始时间序列呈指数变化规律。因此，当原始时间序列隐含着指数变化规律时，灰色模型GM(1，1)的预测是非常成功的。

深度学习(Deep Learning)，通过组合低层特征形成更加抽象的高层特征(或属性类别)。机器学习是人工智能的一个分支，而在很多时候，几乎成为人工智能的代名词。简单来说，机器学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。深度学习又是机器学习研究中的一个新的领域，其动机在于建立可以模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如，图像、声音和文本。深度学习之所以被称为“深度”，是因为之前的机器学习方法都是浅层学习。深度学习可以简单理解为传统神经网络(Neural Network)的发展。大约二三十年前，神经网络曾经是机器学习领域特别热门的一个方向，这种基于统计的机器学习方法比起过去基于人工规则的专家系统，在很多方面显示出优越性。深度学习与传统的神经网络之间有相同的地方，采用了与神经网络相似的分层结构：系统是一个包括输入层、隐层(可单层、可多层)、输出层的多层网络，只有相邻层节点(单元)之间有连接，而同一层以及跨层节点之间相互无连接。这种分层结构，接近人类大脑的结构。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种运量预测方法。

根据本发明提供的一种运量预测方法，包括：

步骤1：在原始运量数据序列中加入缓冲算子，得到融合缓冲算子的第一序列；

步骤2：根据所述第一序列建立第一模型；

步骤3：通过所述第一序列训练基于深度递归神经网络的第二模型；

步骤4：分别通过所述第一模型和以及经过训练的第二模型预测运量，得到第一预测结果和第二预测结果；

步骤5：对所述第一预测结果和第二预测结果进行加权组合，得到目标预测结果。

可选地，所述步骤1包括：

通过灰色系统中的GM(1，1)模型对原始运量数据序列和一阶缓冲算子生成的缓冲数据序列进行拟合；

若一阶缓冲算子生成的缓冲数据序列的误差小于原始运量数据序列，则原始运量数据序列中加入缓冲算子，得到融合缓冲算子的第一序列。

可选地，所述步骤2中的所述第一模型为GM(1，1)模型，通过定义GM(1，1)模型的灰导数，以及对建立的白化微分方程进行求解，得到第一预测结果。

可选地，所述步骤3包括：

对所述第一序列进行归一化处理，并将处理后的数据输入到所述第二模型中，用以进行前向计算和误差反向传播，得到经过训练的第二模型。

可选地，所述第二模型包含：输入层、记忆单元、输出层；其中，所述记忆单元包括输入门、遗忘门、输出门和正则化层；输入门用于被加入到隐藏节点中的运量信息的数量，遗忘门用于定义了前一个时刻的运量信息的保留量，输出门用于表征传递到下一层的运量信息的数量。

可选地，所述步骤5中的加权公式如下：

其中：w为动态权值，Y(t)为第一模型和第二模型预测的加权结果；L(t)表示LSTM神经网络的运量预测结果，G(t)表示灰色模型GM(1，1)模型的运量预测结果，t表示时刻。

可选地，还包括：

在所述加权公式中，w的值为区间[0.0，1.0]里面的任意11个数；

分别将11个数代入11个组合模型中，得到11个目标预测结果；

将11个模型的预测结果与真实值进行比较，选取绝对值误差最小的第一模型和第二模型作为组合模型。

与现有技术相比，本发明具有如下的有益效果：

本发明实施例提供的运量预测方法，通过融合缓冲算子与灰色深度递归神经网络，可以极大降低原始运量序列受到季节和市场政策因素的影响，同时通过灰色系统和深度递归神经网络的组合预测，可充分挖掘多个序列之间的潜在规律，为物流市场的决策提供强有力支持。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明所涉及的原始运量数据的示意图；

图2为本发明涉及的原始运量数据经过一阶缓冲算子作用后的效果图；

图3为本发明涉及的灰色系统模型在测试集上的效果示意图；

图4为本发明涉及的灰色系统模型融合缓冲算子的效果示意图；

图5为本发明涉及的深度递归神经网络的网络进化过程示意图；

图6为本发明涉及的用深度递归神经网络在测试集上的效果示意图；

图7为本发明涉及的深度递归神经网络融合灰色系统模型的效果示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明提供一种融合缓冲算子与灰色深度递归神经网络的运量预测方法，为避免季节性、经济政策、交通突发状况和其它因素对原始序列的扰动，通过构造一种缓冲算子来弱化对其影响。缓冲算子生成的序列融入灰色深度递归神经网络中进行训练。该方法可以包括如下步骤：

步骤1：在原始运量数据序列中加入缓冲算子，得到融合缓冲算子的第一序列；

步骤2：根据所述第一序列建立第一模型；

步骤3：通过所述第一序列训练基于深度递归神经网络的第二模型；

步骤4：分别通过所述第一模型和以及经过训练的第二模型预测运量，得到第一预测结果和第二预测结果；

步骤5：对所述第一预测结果和第二预测结果进行加权组合，得到目标预测结果。

示例性的，在步骤1中通过灰色系统中的GM(1，1)模型对原始运量数据序列和一阶缓冲算子生成的缓冲数据序列进行拟合；若一阶缓冲算子生成的缓冲数据序列的误差小于原始运量数据序列，则原始运量数据序列中加入缓冲算子，得到融合缓冲算子的第一序列。

示例性的，在所述步骤2中的所述第一模型为GM(1，1)模型，通过定义GM(1，1)模型的灰导数，以及对建立的白化微分方程进行求解，得到第一预测结果。

示例性的，在所述步骤3中，对所述第一序列进行归一化处理，并将处理后的数据输入到所述第二模型中，用以进行前向计算和误差反向传播，得到经过训练的第二模型。

具体地，首先将缓冲序列生成的运量序列进行预处理，处理的公式如下：

其中x_norm是标准化后的数据，x是缓冲序列生成的运量数据，x_min，x_max是生成的数据集合中对应的最小值与最大值，将处理后的数据送入到深度递归神经网络进行前向计算和误差反向传播得到最终的用于预测运量的网络参数。

采用误差反向传播的方式(Back Propagation)实现权重的迭代更新，其数学演绎如下：

其中n为网络的学习率，w，b为网络的额权阈值，E为网络误差函数。网络全局误差如公式所示，E为神经网络模型的误差函数，其值通过真实值和预测值的差的平方来刻画，

是网络的输出结果，即模型通过拟合后的计算输出。s_j和.z_k是网络输出的中间结果。

其中：

E表示神经网络输出

与真实值

之间的误差。

示例性的，所述第二模型包含：输入层、记忆单元、输出层；其中，所述记忆单元包括输入门、遗忘门、输出门和正则化层；输入门用于被加入到隐藏节点中的运量信息的数量，遗忘门用于定义了前一个时刻的运量信息的保留量，输出门用于表征传递到下一层的运量信息的数量。

示例性的，所述步骤5中的加权公式如下：

其中：w为动态权值，Y(t)为第一模型和第二模型预测的加权结果；L(t)表示LSTM神经网络的运量预测结果，G(t)表示灰色模型GM(1，1)模型的运量预测结果，t表示时刻。在所述加权公式中，w的值为区间[0.0，1.0]里面的任意11个数；

分别将11个数代入加权公式中，得到11个目标预测结果；

由于参数有11个，故可以得到11个组合模型，将11个模型的预测结果与真实值进行比较，选取绝对值误差最小的第一模型和第二模型作为组合模型。

示例性的，在步骤1中，采集某真实机构的运量数据，1949到1960一共12年，每年12个月的数据，一共144个数据，单位是1000。首先构造一阶缓冲算子。选取67％的数据是训练数据其余的数据集为测试集。通过缓冲算子生成一阶缓冲序列。生成的公式为：

X＝(x(1)，x(2)，...，x(n))；

令XD＝(x(1)d，x(3)d，...，x(n)d)，其中x(k)d描述为：

其中：X＝(x(1)，x(2)，...，x(n))表示原始运量数据序列，XD＝(x(1)d，x(3)d，...，x(n)d)表示缓冲算子累加生成后的数据，x(k)表示实际运量序列，d表示缓冲算子；使用灰色系统中的GM(1，1)模型分别对原始数据和缓冲算子累加生成后的数据进行拟合，并且对测试集上的数据进行验证。

GM(1，1)采用如下步骤：

判断是否需要使用缓冲算子。同时使用灰色系统模型对原始数据与一阶算子生成的数据进行拟合，若后者的误差小于前者，则使用缓冲算子，否则不使用。其中通过对原始运量序列作用缓冲算子，生成一阶缓冲序列。当X为单调增序列、单调递减序列或者震荡序列时，D皆可以作为原始序列的缓冲算子。

假设缓冲算子生成的序列为x⁽⁰⁾＝(x⁰(1)，x⁰(2)，...，x⁰(n))，依此建立GM(1，1)模型。具体地：

(1)定义

的灰导数为：d(k)＝x⁽⁰⁾(k)＝x⁽¹⁾(k)-x⁽¹⁾(k-1)，令z⁽¹⁾(k)为数列x⁽¹⁾的邻值生成序列，即z⁽¹⁾(k)＝ax⁽¹⁾(k)+(1-a)x⁽¹⁾，得到灰微分微分方程为d(k)+az⁽¹⁾(k)＝b，即x⁽⁰⁾(k)+az⁽¹⁾(k)＝b，将时刻k＝2，3，...，n带入上式有：

引入矩阵向量记号：

于是GM(1，1)模型可表示为Y＝Bu，两边化简得到：B^TY＝B^TBu，(B^TB)^-1B^TY＝u。

(2)建立GM(1，1)白化型微分方程。对于GM(1，1)的灰微分方程，如果将时刻k＝2，3，...，n视为连续变量t，则之前的x⁽¹⁾视为时间t函数，于是灰导数x⁽⁰⁾(k)变为连续函数的导数

白化背景值z(1)(k)对应于导数x⁽¹⁾(t)。于是GM(1，1)的灰微分方程对应于的白微分方程为：

(3)求解白微分方程

对于微分方程

的解为：

(4)累减还原得到预测值。

进一步地，GM(1，1)通过在训练集上拟合模型，并在验证集上验证，如图3、图4所示。分别计算两个模型在测试集合上的误差，此处误差定义为：

其中：MAD表示误差函数，

表示组合模型的预测输出结果，p(i)表示真实的运量结果。

通过计算得使用缓冲算子的误差为0.22，使用缓冲以后的误差为0.82，可以判断数据中不存在大范围的扰动，故不使用缓冲算子。构建深度递归神经网络。先对数据进行归一化处理，归一化的公式为：

其中x_norm是标准化后的数据，x是缓冲序列生成的运量数据，x_min，x_max是生成的数据集合中对应的最小值与最大值。

深度递归神经网络，包含一个输入层，4层记忆单元(memory cell)，一个输出层，用于运量序列的保留、丢弃的选择以实现迭代更新。LSTM通过记忆单元来更新数据，一个cell由输入门、遗忘门、输出门和正则化层构成。来控制运量信息的流动，使用sigmoid函数使得其输出0和1之间的值，因此产生的运量序列可以按概率值在三个门之间流动，具体地，输入门表示允许多少运量序列被加入到隐藏节点中，遗忘门定义了前一个时刻的运量信息有可以多少保留，而输出门则表示，有多少运量信息会传到下一层。具体步骤如下：

f_t＝sigm(W_f[h_t-1，x_t]+b_f)

i_t＝sigm(W_i[h_t-1，x_t]+b_i)

C_t＝tanh(W_C.[h_t-1，x_t]+b_C)

C_t＝f_t*C_t-1+i_t*C_t

o_t＝sigm(W_o[h_t-1，x_t]+b₀)

h_t＝o_ttanh(C_t)

其中：f_t表示遗忘门，W_f表示遗忘门的权值，h_t-1表示时间t的隐藏状态，x_t表示运量数据，b_f表示遗忘门的偏置值，i_t表示输入门，W_i表示输入门的权重，b_i表示输入偏置值，C_t表示网络中间参数，W_C表示参数的权重，b_C表示参数的偏置值，C_t表示网络中间参数的映射，C_t-1表示C_t的上一个时刻，o_t表示输出门输出，W_o表示输出门权重，b₀表示输出门偏置值。

具体地，i，f，o是分别是输入门、遗忘门和输出门，g表示内部隐藏状态，基于当前输入和前一个状态计算，W是权重，b是偏置值。给定i，f，o，根据时间步(t-1)上的状态c_t-1，乘以遗忘门，可计算时间步t的单元状态c_t；乘以输入门i，可以计算出状态g。特别地，遗忘门为0表示忽略所有记忆，输入门为0表示忽略新计算出的状态。最后，时间步t的隐藏状态h_t通过记忆和输出门相乘计算。使用67％的数据作为训练集，剩下的数据集作为测试集。网络进化过程见图6，网络在测试集合上的效果见图6。

使用加权公式融合两个模型即进一步使用灰色系统修正深度递归神经网络模型，加权公式为：Y(t)＝wL(t)+(1-w)G(t)，t＝1，2，...，N。w为动态权值，Y(t)为两个模型预测的加权结果。通过实际值和预测值的误差来找到最佳的权值。使用

评价权重的好坏，权重与误差情况见表1。

表1融合权值与误差对应关系

w	0.0	0.1	0.2	0.3	0.4	0.5	0.6	0.7	0.8	0.9	1.0
												loss	0.67	0.59	0.52	0.45	0.38	0.31	0.25	0.2	0.18	0.22	0.28

如表1可以知道w＝0.8时，得到的网络误差最小。

进一步计算此时网络的真实值和预测值得关联度，带入公式：

其中，x是对应的预测值，x_mean是预测序列对应的均值，y是真实值对应的序列，y_mean是真实值序列对应的均值。

计算结果为0.985306＞0.8，满足要求，得出最终的灰色系统与深度递归神经网络的集成混合模型，最终集成模型在测试集合上的效果见图7。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种运量预测方法，其特征在于，包括：

步骤1：在原始运量数据序列中加入缓冲算子，得到融合缓冲算子的第一序列；

步骤2：根据所述第一序列建立第一模型；

步骤3：通过所述第一序列训练基于深度递归神经网络的第二模型；

步骤4：分别通过所述第一模型和以及经过训练的第二模型预测运量，得到第一预测结果和第二预测结果；

步骤5：对所述第一预测结果和第二预测结果进行加权组合，得到目标预测结果。

2.根据权利要求1所述的运量预测方法，其特征在于，所述步骤1包括：

通过灰色系统中的GM(1，1)模型对原始运量数据序列和一阶缓冲算子生成的缓冲数据序列进行拟合；

若一阶缓冲算子生成的缓冲数据序列的误差小于原始运量数据序列，则原始运量数据序列中加入缓冲算子，得到融合缓冲算子的第一序列。

3.根据权利要求1所述的运量预测方法，其特征在于，所述步骤2中的所述第一模型为GM(1，1)模型，通过定义GM(1，1)模型的灰导数，以及对建立的白化微分方程进行求解，得到第一预测结果。

4.根据权利要求1所述的运量预测方法，其特征在于，所述步骤3包括：

对所述第一序列进行归一化处理，并将处理后的数据输入到所述第二模型中，用以进行前向计算和误差反向传播，得到经过训练的第二模型。

5.根据权利要求1-4中任一项所述的运量预测方法，其特征在于，所述第二模型包含：输入层、记忆单元、输出层；其中，所述记忆单元包括输入门、遗忘门、输出门和正则化层；输入门用于被加入到隐藏节点中的运量信息的数量，遗忘门用于定义了前一个时刻的运量信息的保留量，输出门用于表征传递到下一层的运量信息的数量。

6.根据权利要求1-4中任一项所述的运量预测方法，其特征在于，所述步骤5中的加权公式如下：

其中：w为动态权值，Y(t)为第一模型和第二模型预测的加权结果；L(t)表示LSTM神经网络的运量预测结果，G(t)表示灰色模型GM(1，1)模型的运量预测结果，t表示时刻。

7.根据权利要求6所述的运量预测方法，其特征在于，还包括：

在所述加权公式中，w的值为区间[0.0，1.0]里面的任意11个数；

分别将11个数代入11个组合模型中，得到11个目标预测结果；

将11个模型的预测结果与真实值进行比较，选取绝对值误差最小的第一模型和第二模型作为组合模型。

Images