CN113256000A - 一种带注意力机制序列到序列的景区短期客流量预测方法 - Google Patents

Abstract

本发明公开了一种带注意力机制序列到序列的景区短期客流量预测方法，获取景区所有历史原始数据，并对其进行归一化处理；将步骤S1归一化后的数据提取成训练样本并获取预测真值；在训练样本中随机抽取样本作为训练集和测试集；构建神经网络模型并进行训练；提取景区最近多天内的历史数据并进行归一化，将归一化后的数据输入训练完成的神经网络模型对未来游客数据进行预测，能够准确预测未来短期客流量，帮助景区管理人员掌握未来游客数量的变化情况，做出最科学合理的工作计划和人员安排。

Description

一种带注意力机制序列到序列的景区短期客流量预测方法

技术领域

本发明涉及神经网络技术领域，具体涉及一种带注意力机制序列到序列的 景区短期客流量预测方法。

背景技术

随着经济的快速发展，旅游人数的增加，准确预测景区客流量成为难题。 景区管理者掌握到未来客流量，有利于对未来的工作、人员安排做出科学、合 理的决策，解决景区交通拥堵，景点人员拥挤等问题，排除安全隐患。景区客 流量随着时间呈现出周期性规律的变化，是一种典型的时间序列，因此建立一 个能够准确预测景区未来客流量的时间序列模型具有重要意义。属于深度学习 领域。

深度学习是本轮人工智能爆发的关键技术，成为近几年的研究热点。最近 几年，由于大量数据的出现和计算能力的提高，各个领域以深度学习为主导取 得了飞跃的发展。基于深度神经网络的带注意力机制的序列到序列模型适用于 输入序列与输出序列长度不一致的情况，并在一定程度上解决了长时间依赖问 题，在准确度方面取得了巨大的提升，被广泛应用于回归问题的工程中。

合肥工业大学提出了《基于优化遗传算法的景区短期客流量的预测方法及 系统》，该方法通过获取与景区短期客流量相关的影响因素，根据影响因素确定 CNN模型的卷积层和池化层，LSTM网络的层数。再通过优化遗传算法，将适 应度最高的个体作为最优解输入CNN模型和LSTM网络作为神经元的个数。然 后用确定参数后的模型预测景区短期客流量。该方案的缺点是1、预测精度较差。2、要得要较好的解需要较多的训练时间。导致原因是：(1)模型结构较简单， 优化遗传算法只确定了模型的参数，并没有改变模型的结构，效果提升不明显。 (2)没有能够及时利用网络的反馈信息，故算法的搜索速度比较慢。

发明内容

针对现有技术中的上述不足，本发明提供了一种带注意力机制序列到序列 的景区短期客流量预测方法。

为了达到上述发明目的，本发明采用的技术方案为：

一种带注意力机制序列到序列的景区短期客流量预测方法，其特征在于， 包括如下步骤：

S1、获取景区所有历史原始数据，并对其进行归一化处理，得到历史原始 数据的特征；

S2、将步骤S1得到的历史原始数据的特征提取成训练样本并获取预测真值；

S3、在步骤S2提取的训练样本中随机抽取样本作为训练集和测试集，并构 带注意力机制序列到序列的建神经网络进行训练；

S4、提取景区最近多天内的历史数据并进行归一化，将归一化后的数据输 入训练完成的神经网络模型对未来游客数据进行预测。

上述方案的有益效果是，提供一种带注意力机制序列到序列景区短期客流 量预测方法，能够较准确预测未来短期景区客流量，有利于景区管理者对未来 对工作、人员安排做出科学、合理对决策，有效解决景区交通拥堵，景点人员 拥挤等问题。

进一步的，所述步骤S1中景区历史原始数据包括阳历年，阳历月，阳历日， 农历年，农历月，农历日，假期第几天，假期总天数，最高气温，最低气温， 天气，游客数量。

进一步的，所述步骤S1中归一化处理的计算公式表示为：

其中x_r代表历史原始数据的特征，x_rmin代表历史原始数据的特征中的最小 值，x_rmax代表历史原始数据的特征中的最大值，x_s代表归一化后的历史原始数 据的特征。

上述方案的有益效果是，加速模型的收敛速度。

进一步的，所述步骤S2具体为：

将步骤S1中经过归一化后的历史原数据按照设定步长和窗口长度滑动，提 取多个样本数据并拼接成三维数据作为训练样本，并以窗口后多天的游客数量 数据作为样本数据的预测真值。

上述方案的有益效果是，增加模型的训练样本。

进一步的，所述步骤S3中模型训练的过程为：

S31、分离步骤S3构建的训练集和测试集中数据特征，分别得到泊松分布 特征数据、均匀分布特征数据和非均匀分布特征数据，并独立编码成泊松分布 特征编码向量序列、均匀分布特征编码向量序列和非均匀分布特征编码向量序；

S32、对均匀分布特征编码向量序列和非均匀分布特征编码向量序列进行扩 展，并将扩展后的编码向量序列与成泊松分布特征编码向量序列相加得到总编 码向量序列；

S33、根据总编码向量序列中各特征编码向量的权重对总编码向量序列重新 组织编码为上下文向量，提取总编码向量序列中关注点信息，其中，上下文向 量表示为：

其中x_aj为总编码向量序列中j时刻编码向量，a_t′j为t′时刻x_aj对应的权重， y_at′代表t′时刻注意力重新组织得到的上下文向量，t′∈(1，2，…，T_y-1，T_y)，T_y代 表输出序列长度，T_x代表输入序列长度。

S34、对步骤S33中上下文向量进行解码，并对解码后的信息进行计算得到 客流量预测序列；

S35、利用步骤S34得到的客流量预测序列对客流量进行预测并利用损失函 数对预测模型进行参数更新，得到训练完成的神经网络模型。

上述方案的有益效果是，采用序列到序列结构，能够很好对输入序列与输 出序列长度不一致的情况建模。将不同分布规律的特征进行独立编码，使得各 个编码器专注于学习和理解具有相似类型的分布规律，避免信息杂乱，让编码 的效果更加出色。注意力机制使解码器获得了对编码向量序列中重要信息对聚 焦能力，增加了模型对具有长时间依赖序列的学习能力。

进一步的，所述步骤S31中具体为：

S311、分离具有泊松分布的特征游客数量，表示为

并将其编码为 泊松分布特征编码向量序列，表示为

其中L代表分离到的样本个数，T_x代表输入序列的长度，1代表泊松分布特征编码器输入的特征维度，2D_e代表编 码序列的特征维度D_e的2倍；

S312、分离具有均分分布的特征阳历年，阳历月，阳历日，阴历年，阴历 月，阴历日，表示为

并将其编码为均匀分布特征编码向量序列，表示 为

其中M代表分离到的样本个数，Du代表均匀分布特征的特征维度；

S313、分离具有非均匀分布的特征最高气温，最低气温，天气，假期第几 天，假期总天数，表示为

并将其编码为非均匀分布特征编码向量序列， 表示为

其中K代表分离到的样本个数，D_n代表非均匀分布特征入的特 征维度。

上述方案的有益效果是，分离原始数据并得到不同分布规律的特征，对这 些特征独立编码得到不同分布规律特征的编码向量序列。

进一步，所述步骤S32中总编码向量序列表示为：

其中

分别为均匀分布特征编码向量序列和非均匀分布特征编码向量序列的扩展序列。

上述方案的有益效果是，将学习到的各种分布规律的编码向量序列合并， 得到包含所有编码信息的总编码向量序列。

进一步的，所述步骤S34具体为：

S341、将步骤S33得到的上下文向量进行解码，得到序列的解码信息h_t′， 其中t′表示时刻；

S342、将解码信息h_t′经过全连接层和激活层计算得到t′的游客数量预测值， 表示为：

其中，

FC(x)＝w^Tx+b为全连接层计算，w代表权重，b代表偏重；

relu(·)＝max(0.01x，x)表示激活层计算，

x表示任意变量。

S343、重复步骤S341至S342得到全时刻的游客数量预测值并进行拼接， 得到客流量预测序列，表示为：Y^N*D*1，其中N代表样本个数，D代表预测序列 的长度，1代表预测序列的维度；

上述方案的有益效果是，得到具体的预测客流量。

进一步的，所述S35中损失函数表示为：

其中，其中y^(j)代表预测序列中的第j个客流量预测值，

代表预测序列中 的第j个客流量真实值，n代表预测序列的长度。

上述方案的有益效果是，通过损失函数反向传播更新模型参数，使模型预 测的MSE减小，提高模型的预测精度。

附图说明

图1为本发明带注意力机制序列到序列的景区短期客流量预测方法流程示 意图。

图2为本发明模型构架结构示意图。

图3为本发明实施例特征的分布规律示意图。

图4为本发明实施例中细胞状态示意图。

图5为本发明实施例中遗忘过程示意图。

图6为本发明实施例存储过程示意图。

图7为本发明实施例更新过程示意图。

图8为本发明实施例输出过程示意图。

图9为本发明实施例试验预测客流量的相对误差。

图10为本发明实施例预测效果示意图，其中a为预测日期中有节日的情况，b为无节日的情况。

图11为本发明实施例预测结果相对误差对比图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理 解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的 普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精 神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保 护之列。

一种带注意力机制序列到序列的景区短期客流量预测方法，如图1所示， 包括如下步骤：

S1、获取景区所有历史原始数据，并对其进行归一化处理；

在实施例里，从景区数据库中获取所有的以天为单位的历史原始数据X_r， 包括阳历日期，阴历日期，假日信息，最高温度，最低温度，气候和游客数量， 对X_r归一化处理的计算公式表示为：

其中x_r代表历史原始数据，x_min代表历史原始数据的最小值，x_max代表历 史原始数据的最大值，x_s代表归一化后的历史原始数据。

S2、将步骤S1归一化后的数据提取成训练样本并获取预测真值；

将归一化后的数据X_s以滑动步长为1，滑动窗口为30将数据转成三维形式， 即

其中N代表样本个数，T代表输入序列的长度即是滑动窗口的长度， 同时也是需要预测的天数，在本实施例里，T取值为7，D_s代表特征的维度。记 录窗口后面7天的游客数量并作为真值。

S3、在步骤S2提取的训练样本中随机在样本数据集中抽取样本作为训练集 和测试集，并构建神经网络模型并进行训练；

本实施例里，所有样本按照8：2的比例随机抽取为训练集和测试集，其神 经网络模型的训练过程具体为：

S31、分离步骤S3构建的训练集和测试集中数据特征，分别得到泊松分布 特征数据、均匀分布特征数据和非均匀分布特征数据，并对分别编码成泊松分 布特征编码向量序列、均匀分布特征编码向量序列和非均匀分布特征编码向量 序；

具体而言，步骤S31包括如下步骤：

S311、分离具有泊松分布的特征游客数量，表示为

并将其编码为 泊松分布特征编码向量序列，表示为

其中L代表分离到的样本个数，T_x代表输入序列的长度，1代表泊松分布特征编码器输入的特征维度，2D_e代表编 码序列的特征维度D_e的2倍；

S312、分离具有均分分布的特征阳历年，阳历月，阳历日，阴历年，阴历 月，阴历日，表示为

并将其编码为均匀分布特征编码向量序列，表示 为

其中M代表分离到的样本个数，D_u代表均匀分布特征的特征维度；

S313、分离具有非均匀分布的特征最高气温，最低气温，天气，假期第几 天，假期总天数，表示为

并将其编码为非均匀分布特征编码向量序列， 表示为

其中K代表分离到的样本个数，D_n代表非均匀分布特征入的特 征维度。

在所提取的特征中，游客数量服从泊松分布，而一些特征服从均匀分布如 日期等，还有一些特征是非均匀分布的，如天气等，特征的分布规律如图3所 示。本实施例将

中服从泊松分布规律的特征游客数量提取成泊松分布特 征编码器输入

其中L代表提取到的样本个数，T_x代表输入序列的长度， 1代表泊松分布特征编码器输入的特征维度。将服从均匀分布规律的特征阳历年， 阳历月，阳历日，阴历年，阴历月，阴历日提取成均匀分布特征编码器的输入

其中M代表提取到的样本个数，T_x代表输入序列的长度，D_u代表均匀 分布特征编码器输入的特征维度。将服从非均匀分布的特征最高气温，最低气 温，天气，假期第几天，假期总天数提取成非均匀分布特征编码器的输入

其中K代表提取到的样本个数，T_x代表输入序列的长度，D_n代表非均匀分布特征编码器输入的特征维度，且D_r＝1+D_u+D_n，D_r代表数据未分离特征之前的特 征维度。

将

和

分别输入到各自的编码器中，基于LSTM网 络构建的编码器理解与记忆输入序列中的规律，并将其编码成编码向量序列

LSTM的关键是细胞的状态，表示细胞状态的线 穿过图的顶部，如图4所示。其类似于输送带，细胞的状态在整个链上运行， 只有一些小的线性操作作用其上，信息很容易保持不变的流过整个链。LSTM的 第一步是决定要从细胞状态中丢弃什么信息，如图5所示。该决定由被成为“遗 忘门”的Sigmoid层实现，

它查看前一个输出h_t-1和当前输入x_t， 并为上一个状态中的每个值输出0到1之间的值，1代表完全保留，0代表彻底 删除。f_t＝σ(W_f·[h_t-1,x_t]+b_f)。下一步决定要在细胞状态中存储什么信息， 如图6所示。这部分分为两步。首先，称为“输入门层”的Sigmoid层决定了将 更新哪些值，i_t＝σ(W_i·[h_t-1,x_t]+b_i)。接下来一个tanh层，

创建候选向量

该向量将会被加到细胞的状态中。然后更新上一个单元格状态C_t-1，

如图7所示。最后要决定输出什么信息，如图8所示。此输出将基于细 胞状态，但是一个过滤后的信息。首先通过一个Sigmoid层，它决定了要输出隐 藏状态的哪些部分，o_t＝σ(W_o·[h_t-1,x_t]+b_o)。然后将细胞状态通过tanh，并 将其乘以Sigmoid门的输出得到最终的输出，h_t＝o_t*tanh(C_t)。其中泊松分布 编码器采用Bi-LSTM，其除了有前向传递的过程外，还包含了后向传递。后向 传递的过程与前向传递相似，只是输入的隐藏状态将使用t+1时刻的隐藏状态。 其在丢弃细胞状态信息时，f_t＝σ(W_f·[h_t+1,x_t]+b_f)，在存储信息时 i_t＝σ(W_i·h_t+1,x_t]+b_i)，

输出时， o_t＝σ(W_o·[h_t+1,x_t]+b_o)，h_t＝o_t*tanh(C_t)。

S32、对均匀分布特征和非均匀分布特征的编码向量序列进行扩展，并将扩 展后的编码向量序列与成泊松分布特征的编码序列拼接得到总编码向量序列；

具体为：将

的内容沿着特征轴复制，维度扩展为原来的 两倍，得至

并将各个编码向量序列相加得到总编码向量序 列：

S33、根据总编码向量序列中各特征编码向量的权重对总编码向量序列重新 组织编码为上下文向量，提取总编码向量序列中关注点信息，其中，上下文向 量表示为：

x_aj为

中j时刻编码向量，a_t′j为t′时刻x_aj对应的权重，y_at′代表t′时 刻注意力重新组织得到的上下文向量，t′∈(1，2，…，T_y-1，T_y)，T_y代表输出序 列长度，T_x代表输入序列长度。

S34、对步骤S33中上下文向量进行解码，并对解码后的信息进行计算得到 客流量预测序列；

解码器同样基于LSTM结构，解码器将通过注意力机制处理后的编码序列 解码，其输出的h_t′即为解码信息，然后h_t′通过全连接层FC和Relu层计算，其 中，

FC(x)＝w^Tx+b，其中w代表权重，b代表偏重，

relu(x)＝max(0.01x，x)，

得到t′时刻的游客数量Y_t′ ^N*1*1，

最终，将每一步 预测的客流量拼接，得到客流量预测序列Y^N*D*1，其中N代表样本个数，D代表 预测序列的长度，本实施例里取值为7，表示预测未来7天的客流量，1代表预 测序列的维度。

S35、利用步骤S34得到的客流量预测序列对客流量进行预测并利用损失函 数对预测模型进行参数更新，得到训练完成的神经网络模型。

使用均方差作为模型的损失函数，

其中y^(j)代 表预测序列中的第j个客流量预测值，

代表预测序列中的第j个客流量真实值， 根据模型预测出的游客数量和真实游客数量的均方差进行反向传播对模型参数 更新。

S4、提取景区最近多天内的历史数据并进行归一化，将归一化后的数据输 入训练完成的神经网络模型对未来游客数据进行预测。

提取景区最近30天的历史数据，并进行归一化。将数据转化成三维形式输 入到已经训练好的模型中，预测未来一周的游客数量。

为了验证本发明提供的预测方法的有效性，用真实的景区数据做了10次工 程试验，预测客流量的平均相对误差如图9所示。可以看到，预测的每一天相 对误差都在10％以下，达到了较高的精度，完全满足工程应用的要求。

特别的，对于预测日期中包含节日的特殊情况也用真实的景区数据做了工 程试验，并与预测日期中没有节日的情况做了对比。预测效果如图10所示，两 种情况的误差对比如图11所示。可以看到，本发明提供的方法对于预测日期中 是否有节假日有一定的鲁棒性，两种情况的预测相对误差均小于10％。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的 流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框 图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。 可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他 可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程 数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程 和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理， 从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程 或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上 实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领 域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有 改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理 解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和 实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种 不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明 的保护范围内。

Claims (9)

1.一种带注意力机制序列到序列的景区短期客流量预测方法，其特征在于，包括如下步骤：

S1、获取景区所有历史原始数据，并对其进行归一化处理，得到历史原始数据的特征；

S2、将步骤S1得到的历史原始数据的特征提取成训练样本并获取预测真值；

S3、在步骤S2提取的训练样本中随机抽取样本作为训练集和测试集，并构带注意力机制序列到序列的建神经网络进行训练；

S4、提取景区最近多天内的历史数据并进行归一化，将归一化后的数据输入训练完成的神经网络模型对未来游客数据进行预测。

2.根据权利要求1所述的带注意力机制序列到序列的景区短期客流量预测方法，其特征在于，所述步骤S1中景区历史原始数据包括阳历年，阳历月，阳历日，农历年，农历月，农历日，假期第几天，假期总天数，最高气温，最低气温，天气，游客数量。

3.根据权利要求2所述的带注意力机制序列到序列的景区短期客流量预测方法，其特征在于，所述步骤S1中归一化处理的计算公式表示为：

其中x_r代表历史原始数据的特征，x_rmin代表历史原始数据的特征中的最小值，x_rmax代表历史原始数据的特征中的最大值，x_s代表归一化后的历史原始数据的特征。

4.根据权利要求3所述的带注意力机制序列到序列的景区短期客流量预测方法，其特征在于，所述步骤S2具体为：

将步骤S1中经过归一化后的历史原数据按照设定步长和窗口长度滑动，提取多个样本数据并拼接成三维数据作为训练样本，并以窗口后多天的游客数量数据作为样本数据的预测真值。

5.根据权利要求4所述的带注意力机制序列到序列的景区短期客流量预测方法，其特征在于，所述步骤S3中模型训练的过程为：

S31、分离训练集和测试集中的数据特征，分别得到泊松分布特征数据、均匀分布特征数据和非均匀分布特征数据，并分别编码成泊松分布特征编码向量序列、均匀分布特征编码向量序列和非均匀分布特征编码向量序；

S32、对均匀分布编码向量序列和非均匀分布编码向量序列进行扩展，并将扩展后的编码向量序列与成泊松分布编码向量序列相加得到总编码向量序列；

S33、根据总编码向量序列中各特征编码向量的权重对总编码向量序列重新组织编码为上下文向量，提取总编码向量序列中关注点信息，其中，上下文向量表示为：

其中x_aj为总编码向量序列中j时刻编码向量，a_t′j为t′时刻x_aj对应的权重，y_at′代表t′时刻注意力重新组织得到的上下文向量，t′∈(1，2，…，T_y-1，T_y)，T_y代表输出序列长度，T_x代表输入序列长度。

S34、对步骤S33中上下文向量进行解码，并对解码后的信息进行计算得到客流量预测序列；

S35、利用步骤S34得到的客流量预测序列对客流量进行预测并利用损失函数对预测模型进行参数更新，得到训练完成的神经网络模型。

6.根据权利要求5所述的带注意力机制序列到序列的景区短期客流量预测方法，其特征在于，所述步骤S31中具体为：

S311、分离具有泊松分布的特征游客数量，表示为

并将其编码为泊松分布特征编码向量序列，表示为

其中L代表分离到的样本个数，T_x代表输入序列的长度，1代表泊松分布特征编码器输入的特征维度，2D_e代表编码序列的特征维度D_e的2倍；

S312、分离具有均分分布的特征阳历年，阳历月，阳历日，阴历年，阴历月，阴历日，表示为

并将其编码为均匀分布特征编码向量序列，表示为

其中M代表分离到的样本个数，D_u代表均匀分布特征的特征维度；

S313、分离具有非均匀分布的特征最高气温，最低气温，天气，假期第几天，假期总天数，表示为

并将其编码为非均匀分布特征编码向量序列，表示为

其中K代表分离到的样本个数，D_n代表非均匀分布特征入的特征维度。

7.根据权利要求6所述的带注意力机制序列到序列的景区短期客流量预测方法，其特征在于，所述步骤S32中总编码向量序列表示为：

其中

分别为均匀分布特征编码向量序列和非均匀分布特征编码向量序列的扩展序列。

8.根据权利要求7所述的带注意力机制序列到序列的景区短期客流量预测方法，其特征在于，所述步骤S34具体为：

S341、将步骤S33得到的上下文向量进行解码，得到序列的解码信息h_t′，其中t′表示时刻；

S342、将解码信息h_t′经过全连接层和激活层计算得到t′的游客数量预测值，表示为：

其中，

FC(x)＝w^Tx+b表示全连接层计算，w代表权重，b代表偏重，x代表任意变量；

relu()＝max(0.01x，x)表示激活层计算，

S343、重复步骤S341至S342得到全时刻的游客数量预测值并进行拼接，得到客流量预测序列，表示为：Y^N*D*1，其中N代表样本个数，D代表预测序列的长度，1代表预测序列的维度。

9.根据权利要求8所述的带注意力机制序列到序列的景区短期客流量预测方法，其特征在于，所述S35中损失函数表示为：

其中，y^(j)代表预测序列中的第j个客流量预测值，

代表预测序列中的第j个客流量真实值，n代表预测序列的长度。

Images