CN111144923B - 一种基于深层循环神经网络的产品周期需求量预测方法 - Google Patents

Abstract

本发明公开了一种基于深层循环神经网络的产品周期需求量预测方法，其步骤包括：1)深层网络训练阶段：11)对目标产品的历史销售数据进行切分，得到统一长度的历史周期数据；12)对于每一历史周期数据i，提取该历史周期数据i的专家特征；该专家特征包括历史周期数据i的时序特征、非线性特征和节日因素特征；13)对于每一历史周期数据i，将该历史周期数据i的专家特征输入到全连接层；将该历史周期数据i输入深层网络进行特征提取；然后将全连接层输出的特征与深度网络提取的特征输入连接层；连接层筛选的特征依次经Dropout层、激活层后输出；2)将最近一历史周期数据输入训练后的深层网络，预测未来一个时间粒度的产品需求量。

Description

一种基于深层循环神经网络的产品周期需求量预测方法

技术领域

本发明涉及深度学习技术、产品生产预测技术领域，尤其涉及一种基于深层循环神经网络的产品周期需求量预测方法。

背景技术

为了降低资源量消耗，避免资源浪费，产品需求量预测技术得到广泛研究应用，比如授权公告号CN104809522B，公开了一种综合能源预测方法，其通过按年份选取地区因素历史数据以及能源消费需求实测值作为数据样本；结合样本数据，挖掘不同年份、不同类型的数据之间关系，寻找地区因素样本对于能源消费需求实测值的样本权重，用于确定不同年份的地区因素对于能源消费需求的影响程度；采用基于线性映射的预测算法，用于对当年的某地区的全年消费需求总值进行预测。可确保客观反映各因素与预测结果的关系，使能源消费预测过程更加快速有效，利于提高经济发展新常态、能源环境强约束条件下的能源预测准确度，进而计算地区能源平衡，最终确定合理可行的能源发展与安全保障政策。

授权公告号106901394B，公开了一种基于Markov过程复烤烟叶库存动态平衡的方法，该方法包括卷烟产量的预测、复烤烟叶需求量的计算、复烤烟叶储备量的计算、Markov转移矩阵的计算和复烤烟叶实际存储需求量的计算；其通过细化原料需求构成，从随机过程角度明确了复烤烟叶陈化过程中的变化，并由此对库存管理决策进行调整，从原料供给上有效保障日常生产经营的顺利进行；在生产过程中，强化了生产、原料消耗等流程的监控。

授权公告号103258388B，公开了预测现金需求量的方法，其通过数据清洗去除指定时间段内的历史交易记录中设定指标的值在最优阈值的界定范围以外的随机交易记录；然后对去除随机交易记录后的历史交易记录进行统计，并预测与指定时间段相对应的时间段内的现金需求量。

目前利用历史时序销售数据对产品需求量预测的算法主要分为以下几类：第一类主要基于线性回归方程对历史销售数据进行时序拟合分析，进而对下一个周期的客户需求量进行预测，这种方法的预测误差比较大，因此一般多被用作辅助预测方法；第二类为基于传统机器学习方法结合提取到的不同特征进行下一周期需求量预测，主要有基于支持向量回归机模型、基于随机森林回归模型等等，然而这类方法依赖于提取到的特征的有效性，无法提取到时序信号高维特征，预测精度有待进一步提升；第三类方法为基于神经网络进行需求量预测，该方法通过对数据集的建模训练，构建合适架构的神经网络，从而预测下一个周期的需求量，但历史销售本身是一种时序信号数据，单纯基于神经网络进行预测的方法不能对数据的时序信息进行提取，进而影响预测结构。

发明内容

本发明的目的是提供一种基于深层循环神经网络的产品周期需求量预测方法，能够有效地利用产品历史销售数据中的时序信息，提升产品需求量的预测精度。

本发明的技术方案为：

一种基于深层循环神经网络的产品周期需求量预测方法，其步骤包括：

1)深层网络训练阶段：11)以设定窗口长度和滑动时长对目标产品的历史销售数据进行切分，得到统一长度的历史周期数据；其中，滑动时长为一个时间粒度，产品预测周期为T，窗口长度为T，T的长度为N个时间粒度；12)对于每一历史周期数据i，提取该历史周期数据i的专家特征；该专家特征包括历史周期数据i的时序特征、非线性特征和节日因素特征；13)对于每一历史周期数据i，将该历史周期数据i的专家特征输入到全连接层；将该历史周期数据i输入深层网络进行特征提取；然后将全连接层输出的特征与深度网络提取的特征输入一连接层进行特征筛选；连接层筛选的特征依次经Dropout层、激活层后输出；

2)将最近一历史周期数据输入训练后的深层网络，预测未来一个时间粒度的产品需求量。

进一步的，所述时序特征包括周期内需求量最大值、周期内销售量最大值、周期内需求量最小值、周期内销售量最小值、周期内需求量平均值、周期内销售量平均值、周期内需求量标准差、周期内销售量标准差、周期内需求量中间值、周期内销售量中间值、需求量标准化绝对差分、销售量标准化绝对差分、相邻需求量之差的均方根值、相邻销售量之差的均方根值、相邻需求量之差的标准差、相邻销售量之差的标准差、需求量差异系数和销售量差异系数。

进一步的，所述非线性特征包括历史周期数据的KL散度、一阶峰度和二阶峰度。

进一步的，所述节日因素特征为历史周期数据内的节假日个数乘以节假日长度。

进一步的，所述深层网络包括依次连接的BiLSTM网络、LSTM网络和CNN；其中的LSTM单元首先将历史周期数据i中的第t个时间粒度的数据x_t输入遗忘门，遗忘门根据x_t与计算第t-1个时间粒度数据时隐含层输出的记忆单元状态C_t-1得到一遗忘参数f_t；然后计算第t个时间粒度的数据时记忆单元状态C_t-1中要存储的信息

及其位置i_t；然后将记忆单元状态C_t-1更新为

然后由一个输出门决定第t个时间粒度数据对应的隐含层输出o_t。

进一步的，位置信息i_t＝σ(W_i·[x_t,h_t-1]+b_i)存储的信息

其中，W_i、W_c代表可训权重，b_i、b_C代表可训练偏置，h_t-1代表t-1周隐含层输出。

进一步的，BiLSTM网络中前向LSTM网络的输出

和后向LSTM网络的输出

分别输入到LSTM网络，得到隐含层的输出H＝{h₀,h₁…h_N}，作为卷烟历史交易数据的时序维度特征输入到CNN模块中提取深层次特征；其中，h₀代表前一时间粒度数据的隐含层输出，h_N代表前n时间粒度数据的隐含层输出。

进一步的，选取均方根误差作为损失参数，在均方根误差不再下降后停止训练。

进一步的，在每次训练时，Dropout层使用自适应矩估计方法对训练过程进行优化。

进一步的，所述时间粒度为一周。

本发明的主要步骤包括：

1.获取卷烟销售的历史数据，这些数据包括需求量和销售量，在这里本发明假设需求量为N，销售量为S；

2.对这些数据进行分割，得到了以8周数据为训练周期，以下一周数据为目标的数据集，该数据集的组成为：

输入([n1,n2,…n8],[s1,s2,…,s8])目标输出(n9)也就是通过8周的数据预测下一周的需求量。注：卷烟销售以周预测，也就是说它最小的粒度为周。

在这之后，本发明对数据集进行划分，划分为训练集和测试集：

假设本发明的数据集中有5条数据，那么训练集为：

输入([n1,n2,…n8],[s1,s2,…,s8])目标输出(n9)

输入([n2,n3,…n9],[s2,s3,…,s9])目标输出(n10)

输入([n3,n4,…n10],[s3,s4,…,s10])目标输出(n11)

测试集为：

输入([n4,n5,…n11],[s4,s5,…,s11])目标输出(n12)

输入([n5,n6,…n12],[s5,s6,…,s12])目标输出(n13)

本发明通过训练集来训练模型，通过测试集来验证模型准确度。

3.通过图1来解释整个模型的流程，每一个小节对应的框图已经在图1进行了标注：

3.1部分，本发明通过说明书提到的特征提取和外部数据源得到了专家特征feature＝[f1,f2,…,fn]，再此之后本发明经过一个全连接层，该层给提取到的专家特征提供可以训练的权重，这些权重会在模型训练的时候不停改变自身的值，直到训练结束。但这些权重本身不具备任何物理或者数学意义，也没有固定的取值。在经过全连接层之后，得到的输出为f_out＝[Wf_out1*f1,Wf_out2*f2,…,Wf_outn*fn]。Wf_out代表可训练的权重。

3.2部分，本发明将输入([n1,n2,…n8],[s1,s2,…,s8])直接送入到深度学习网络中，经过BiLSTM、LSTM模块，得到隐含层的输出H＝[h1,h2,…,hm]后，再将这些输出经过CNN模块，得到深度学习特征C。

具体的过程为：

假设输入为[n1,n2,…n8],[s1,s2,…,s8]，本发明将其转变为一个2*8的矩阵：

为了方便叙述，本发明将其为x＝{x1,..,x8},

从图中本发明可以知道，这个x将经过一个BiLSTM、一个LSTM和一个CNN。BiLSTM是双向LSTM，因此本发明先从LSTM开始解释：

LSTM是RNN模型的一种改进，RNN模型是循环神经网络，在RNN模型里，每个序列索引位置t都有一个隐藏状态h(t)，h(t)同时作为一个输入，输入到t+1时刻的模型中，也就是说RNN模型的输入分为此时刻的输入和上一个时刻的输出。而LSTM与RNN结构类似，参考http://colah.github.io/posts/2015-08-Understanding-LSTMs/。

本发明是将输入x先经过一个BiLSTM网络结构，得到H_BiLSTM后再经过一个单向的LSTM网络得到隐含层的输出H＝{h₀,h₁…h_N}，之后对于H＝{h₀,h₁…h_N}进行一次卷积的操作，得到深度学习特征C＝{c₀,c₁,…c_t}；其中，h₀代表前一周数据的隐含层输出，h_N代表前n周数据的隐含层输出。

3.3部分，将本发明3.1得到的f_out＝[Wf_out1*f1,Wf_out2*f2,…,Wf_outn*fn]和3.2部分得到的深度学习特征C＝{c₀,c₁,…c_t}进行拼接(连接层)，得到整体的特征：FC＝{Wf_out1*f1,Wf_out2*f2,…,Wf_outn*fn,c₀,c₁,…c_t}。之后经过一层Dropout层，该层的含义是再每次训练的时候随机将一些参数置为0，举个例子:

可能在第一次训练时，FC＝{0,Wf_out2*f2,…,0,0,c₁,…c_t}；

在第二次训练时，FC＝{Wf_out1*f1,0,…,Wf_outn*fn,c₀,0,…0}。

这个时候置为0的几个参数对于模型训练不产生价值，这样做的目的是为了防止模型在每个参数都学习到的足够好，导致过拟合的现象。如果一个模型在训练集上拟合的太好了，那么往往他在“没看见过”的数据中效果比较差，泛化性能不好。

在经过Dropout层之后，本发明将输入到线性激活层，该层将上述FC进行加权求和，进行需求值的预测。

4.关于训练过程，本发明是通过MSE作为损失函数，基于Adam优化器的随机梯度下降法进行训练的，假设本发明经过模型之后的预测的需求量为p,实际的需求量为y：那么此时损失为

L(y,p)＝(y-p)²

基于梯度下降法原理，可以计算出损失对于权重w和b的偏导，

之后通过Adam优化算法的训练，一层层地传递偏差，可以对每一层的参数进行调整。

值得注意的是，在训练的过程中，本发明将训练集划分为训练集和验证集(验证集不等于测试集)，当模型在验证集上的损失不再下降的时候，停止整个模型的训练。

由于整个模型的训练过程应该是既定的知识，本发明主要还是集中在这个网络架构的提出，特别是引入了专家经验信息，因此训练过程在说明书中没有过多的描述。

与现有技术相比，本发明的积极效果：

本方案能够对产品历史交易数据中的时序特征进行提取，进而提升预测的精准度。能够更好地预测未来目标产品需求量，从而基于需求量进行目标产品投放，避免资源浪费。

附图说明

图1为本发明的模型架构图。

具体实施方式

下面将结合附图以及实施例对本发明做进一步的阐述说明。

本发明实施例以卷烟作为目标产品进行描述，首先将卷烟的历史销售数据和历史需求数据以时间为标准划分成为训练集和测试集，并以8周作为窗口长度，以1周为滑动时长，对数据进行切分得到统一长度的数据；之后基于特征提取模型，提取历史销售数据中多种特征，并提取周期中传统节日、节假日、特殊节日等节日因素特征，共同作为专家特征；基于循环神经网络搭建网络模型，将原始卷烟销售数据和专家特征数据输入至不同网络层中，以下一周期的实际需求量作为目标，进行模型的训练；最后基于测试集数据对所设计模型进行验证。

具体方法如下：

特征提取模型

在特征提取模型中，本发明首先对历史周期数据中的时序特征和非线性特征进行了统计：

1.1时序特征

时序特征是时序信号中最显著的特征，对于卷烟的历史交易时序数据，提取了周期内(8周)需求量和销售量最大值、最小值、平均值、中间值、均方差等特征。具体内容为：

1	周期内需求量最大值	2	周期内销售量最大值
				3	周期内需求量最小值	4	周期内销售量最小值
5	周期内需求量平均值	6	周期内销售量平均值
				7	周期内需求量标准差	8	周期内销售量标准差
9	周期内需求量中间值	10	周期内销售量中间值
				11	需求量标准化绝对差分	12	销售量标准化绝对差分
13	相邻需求量之差的均方根值	14	相邻销售量之差的均方根值
				15	相邻需求量之差的标准差	16	相邻销售量之差的标准差
17	需求量差异系数	18	销售量差异系数

1.2非线性特征

非线性特征则是对信号中隐藏的特征进行挖掘，对于卷烟的历史交易数据，提取了KL散度、一阶峰度、二阶峰度等特征。具体内容为：

1.3节日因素特征

除了卷烟本身的历史数据信息之外，本发明还计算了卷烟历史销售数据中节假日的特征，具体方法为计算每个窗口时间内(8周)所包括的传统节日(如春节、元宵节)、一般节假日(如五一、国庆)和特殊节日(如父亲节、母亲节)；节日因素特征是指周期内各类节日的个数以及假期长度(节日因素特征值为周期内各类节日的假期长度*假期个数)，例如某一周期内包含国庆10.1～10.7这一周，一共有一个节日、七天节假日，那么该特征就为7。这是因为卷烟作为送礼佳品，节假日因素对其需求量的影响会比较大。

1.模型设计

在这一步中，本发明采取深层循环神经网络中的长短期记忆网络(LSTM)单元作为模型的主要单元进行训练。并将上一步中提取到的特征数据作为专家特征输入，连接到全连接层中辅助预测，全连接层是对上述特征赋予不同的可训练权重，并且结合到深度学习提取的特征中，这些权重在训练过程中不断变化，最后达到最优。假设本发明得到的专家特征为[1,2,3,4…]，经过全连接层的时候，专家特征变为[w1*1,w2*2…](其中w1和w2是可以训练的)，之后本发明将这些带有权重的特征与深度学习特征进行串联，假设深度学习特征为[d1,d2,…]。那么进行串联之后所得到的特征为[w1*1,w2*2,…,d1,d2,…]。再此之后，会再经过一个线性激活层(在该层中，也有可训练的权重，并将结果叠加)，并且得到最后的输出y＝sum([lw1*w1*1,lw2*w2*2…,lwn*d1,lwn+1*d2…])。这之中，lw1…lwn和w1,w2…都是可以训练的。模型的具体架构图如图1所示。

为了防止过拟合现象的产生，本发明使用了Dropout层，在每次训练时，该层通过随机将某些权重重置为0来防止过拟合；并且本发明使用了自适应矩估计(Adam)方法对训练过程进行优化；并采用了及早停止的方法进行训练，该方法在均方根误差不再下降后自动停止对网络模型的训练。训练时具体参数设置如下表所示：

参数	值
		批量尺寸	100
最大步数	100
		早停	延迟＝5，验证比例15％
损失	均方根误差
		优化器	学习率＝0.001β1＝0.9β2＝0.999
Dropout	0.2

其中，在本发明所使用的LSTM网络中，t周的交易数据x_t首先经过遗忘门，该遗忘门根据t周交易数据与t-1周隐含层输出为记忆单元状态C_t-1提供一个数值在0-1之间的遗忘参数：

f_t＝σ(W_f·[x_t,h_t-1]+b_f) (1)

其中W_f代表可训权重，h_t-1代表t-1周隐含层输出，b_f代表可训练偏置；

接下来，通过公式(2)、(3)决定t周数据时记忆单元状态C_t-1中要存储的信息

及其位置i_t：

i_t＝σ(W_i·[x_t,h_t-1]+b_i) (2)

其中W_i和W_c代表可训权重，b_i、b_C代表可训练偏置；

此时，t周数据时记忆单元状态C_t-1更新为：

最后，由一个输出门决定t周数据对应的隐含层的输出：

o_t＝σ(W_o·[x_t,h_t-1]+b_o) (5)

h_t＝o_t*tanh(C_t) (6)

其中，W_o代表可训权重，b_o代表可训练偏置；

其中，σ为sigmoid函数，目的是将数据转换到(0,1)区间内来作为一种门控状态；tanh为双曲正切函数，目的是将输入转换成(-1,1)之间的值(不作为门控信号)：

而在本发明所使用的双向LSTM模块中，最后的输出是由前向LSTM层和后向LSTM层共同决定的，假设前向LSTM层的隐含层输出为

后向LSTM层的隐含层输出为

那么最终的输出表达式为：

在本发明所使用的网络架构中，输入数据首先经过双向LSTM网络层，得到输出H_BiLSTM后再经过一个单向LSTM得到隐含层的输出H＝{h₀,h₁…h_N}，作为卷烟历史交易数据的时序维度特征再次输入到后续的CNN模块中提取深层次特征。

在CNN子模块中，输入数据经过一层卷积提取信号的空间维度特征。一个卷积操作包括一个过滤器(卷积核)w，它对隐含层的输出H进行卷积操作并输出新的特征C＝{c₀,c₁,…c_t}，其中：

c_t＝w_t×h_N-t+1+b_t,(0≤t≤N) (10)

其中w_t为可训练的卷积核权重，b_t为可训练偏差。

最后，深层网络提取的特征C会通过激活层与经过全连接层的专家特征进行加权求和，得到下一周预测的需求量。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims (9)

1.一种基于深层循环神经网络的产品周期需求量预测方法，其步骤包括：

1)深层网络训练阶段：11)以设定窗口长度和滑动时长对目标产品的历史销售数据进行切分，得到统一长度的历史周期数据；其中，滑动时长为一个时间粒度，产品预测周期为T，窗口长度为T，T的长度为N个时间粒度；12)对于每一历史周期数据i，提取该历史周期数据i的专家特征；该专家特征包括历史周期数据i的时序特征、非线性特征和节日因素特征；13)对于每一历史周期数据i，将该历史周期数据i的专家特征输入到全连接层；将该历史周期数据i输入深层网络进行特征提取；然后将全连接层输出的特征与深层网络提取的特征输入一连接层进行特征筛选；连接层筛选的特征依次经Dropout层、激活层后输出；其中，所述深层网络包括依次连接的BiLSTM网络、LSTM网络和CNN；其中的LSTM单元首先将历史周期数据i中的第t个时间粒度的数据x_t输入遗忘门，遗忘门根据x_t与计算第t-1个时间粒度数据时隐含层输出的记忆单元状态C_t-1得到一遗忘参数f_t；然后计算第t个时间粒度的数据时记忆单元状态C_t-1中要存储的信息

及其位置i_t；然后将记忆单元状态C_t-1更新为

然后由一个输出门决定第t个时间粒度数据对应的隐含层输出o_t；

2)将最近一历史周期数据输入训练后的深层网络，预测未来一个时间粒度的产品需求量并基于该产品需求量进行产品投放。

2.如权利要求1所述的方法，其特征在于，所述时序特征包括周期内需求量最大值、周期内销售量最大值、周期内需求量最小值、周期内销售量最小值、周期内需求量平均值、周期内销售量平均值、周期内需求量标准差、周期内销售量标准差、周期内需求量中间值、周期内销售量中间值、需求量标准化绝对差分、销售量标准化绝对差分、相邻需求量之差的均方根值、相邻销售量之差的均方根值、相邻需求量之差的标准差、相邻销售量之差的标准差、需求量差异系数和销售量差异系数。

3.如权利要求1所述的方法，其特征在于，所述非线性特征包括历史周期数据的KL散度、一阶峰度和二阶峰度。

4.如权利要求1所述的方法，其特征在于，所述节日因素特征为历史周期数据内的节假日个数乘以节假日长度。

5.如权利要求1所述的方法，其特征在于，位置信息i_t＝σ(W_i·[x_t，h_t-1]+b_i)存储的信息

其中，W_i、W_c代表可训练的权重，b_i、b_C代表可训练偏置，h_t-1代表t-1周隐含层输出。

6.如权利要求1所述的方法，其特征在于，BiLSTM网络中前向LSTM网络的输出

和后向LSTM网络的输出

分别输入到LSTM网络，得到隐含层的输出H＝{h₀，h₁...h_N}，作为卷烟历史交易数据的时序维度特征输入到CNN模块中提取深层次特征；其中，h₀代表前一时间粒度数据的隐含层输出，h_N代表前n时间粒度数据的隐含层输出。

7.如权利要求1所述的方法，其特征在于，选取均方根误差作为损失参数，在均方根误差不再下降后停止训练。

8.如权利要求1所述的方法，其特征在于，在每次训练时，Dropout层使用自适应矩估计方法对训练过程进行优化。

9.如权利要求1所述的方法，其特征在于，所述时间粒度为一周。

Images