CN113850444B - 一种基于引导注意机制的旅游需求时间序列预测方法 - Google Patents

Abstract

本发明涉及一种基于引导注意机制的旅游需求时间序列预测方法，属于旅游需求预测领域。该方法包括：S1：组合来自多个国家和地区的旅游需求时间序列；S2：定义偏序关系来比较不同时间序列之间的稳定性，并定义不同维度的齐次多项式对时间序列进行组合，然后利用引导注意机制对旅游需求时间序列的稳定性进行调节；S3：构建全连接长短记忆神经网络，并引导注意机制允许网络根据需要对不同的训练数据进行参数训练；S4：采用训练后的全连接长短记忆神经网络作为预测模型对旅游需求时间序列进行预测，根据偏序关系对旅游需求时间序列进行划分；S5：对预测模型求解，反算出各个国家或地区的旅游需求。本发明提高了预测模型的性能。

Description

一种基于引导注意机制的旅游需求时间序列预测方法

技术领域

本发明属于旅游需求预测领域，涉及一种基于引导注意机制的旅游需求时间序列预测方法。

背景技术

近年来，人们提出了各种旅游需求预测模型来预测旅游需求。现有的流行模型根据其结构分为两大类，即时间序列分析模型和机器学习模型。以上两种模型的建立都是为了学习时间序列的特征，可以比较不同地区旅游需求预测的效果。

传统的旅游需求预测的机器学习模型，与时间序列分析模型相比，基于机器学习方法有一定把握的年龄，因为他们可以捕获数据集之间的非线性关系尤其是长时间预测方面，如神经网络采用自回归算法最优预测——人处理非平稳旅游需求(席尔瓦et al.,2019)。Xie et al.2020将Elman神经网络与其他用于旅游需求预测的技术相结合。(Kulshrestha等，2020年)。采用支持向量回归、多元感知器、径向基函数等机器学习模型对旅游需求进行预测。然而，这些模态Is并非总是表现良好(Peng et al.，2014)，传统的基于机器学习的模型训练成本更高，需要大量的训练和数据输入才能达到令人满意的水平，并且基于机器学习的模型不能判断数据的特征。特征的提取通常需要直观的知识和判断来量化和扩展。

一般情况下，时间序列分析模型对旅游需求序列有严格统计假设，因此，时间序列分析模型需要设计合适的特征提取方法，将原始时间序列转换为满足假设的时间序列。对于机器学习模型，提高特征学习的效率可以有效地提高模型的效果。在以往的文献中，主成分分析，嵌入提取，哈希处理等用于创建更有效的特征学习过程。

现有文献可以帮助旅游管理者制定管理策略，但存在一定的局限性。时间序列分析模型假设旅游活动是线性的并且是稳定的，这可能导致旅游活动的特征不能被完全表达。有些时间序列分析模型使用特征学习方法将原始数据转换为等价的平稳时间序列，会导致原始信息的丢失。在机器学习方法中，模型的性能依赖于训练集中的特征。然而，由于旅游活动的异质性和动态性，一个案例提出的策略并不适用于另一个案例的旅游业。此外，由于旅游恢复是一个耗时且成本高昂的过程，旅游管理者需要提前评估策略的有效性。为了填补这一研究和实践的空白，研究人员希望使用更高效和鲁棒的机器学习方法来预评估这些策略是否有效。

为了克服现有方法的局限性，采用基于注意机制的深度学习模型作为一种特别适合的旅游需求预测方法。虽然基于注意机制的旅游需求预测模型已经开发了很多，但注意机制可能会受到自我监督方法的限制。大多数现有的注意结构仍然是纯粹的自我注意结构。在现有的文献中提到，先验信息可以通过任务本身的特征人为给出，通过这种先验信息可以调节注意机制的学习效率。在旅游需求预测领域，这一方向仍存在许多问题有待解决。首先，人工先验信息难以量化，旅游需求预测需要高精度的参数调整。其次，如何定义当前结果的值，并根据当前结果调整注意机制的参数。

发明内容

有鉴于此，本发明的目的在于提供一种基于引导注意机制的旅游需求时间序列预测方法，针对旅游行为的异质性和随机性，旅游需求时间序列是非平稳的特性，构建一个既有效又稳健的模型，即可以推广到所有国家和地区的预测模型，即非平稳性检测的引导注意旅游需求预测模型和全连接长短期记忆模型(FC-LSTM)，采用复合交互机制简化特征，并采用FC-LSTM识别旅游需求预测模型中的复杂特征；同时，采用非平稳判断引导注意机制，提高模型的学习能力，从而以提高预测模型的性能。

为达到上述目的，本发明提供如下技术方案：

一种基于引导注意机制的旅游需求时间序列预测方法，具体包括以下步骤：

S1：组合来自多个国家和地区的旅游需求时间序列，在不损失时间序列信息的情况下，以提高旅游需求时间序列的平稳性；

S2：定义一个偏序关系来比较不同时间序列之间的稳定性，并定义不同维度的齐次多项式对时间序列进行组合，然后利用引导注意机制对旅游需求时间序列的稳定性进行调节；

S3：构建全连接长短记忆神经网络，并引导注意机制允许全连接长短记忆神经网络根据需要对不同的训练数据进行参数训练；

S4：采用训练后的全连接长短记忆神经网络作为预测模型对旅游需求时间序列进行预测，根据步骤S2的偏序关系对旅游需求时间序列进行划分；

S5：对预测模型求解，反算出各个国家或地区的旅游需求。

进一步，步骤S1中，假设有n个国家或地区的游客来到一个旅游目的地，旅游需求表示为：表示不同的国家或地区，t表示时间指数；则旅游需求时间序列为：

其中，J_i表示历史数据集不同需求序列的长度。

进一步，所述步骤S2具体包括：定义一个偏序关系表示/>比更平稳；定义Ω^J＝{ω₁,ω₂,…,ω_J}，其中，Ω^J表示权重空间，ω_J表示第J个序列的权重；然后利用引导注意机制对旅游需求时间序列的稳定性进行调节：

其中，i₁,i₂∈{1,2,…,N}，i₁≠i₂，f₂是一个齐次多项式，满足考虑到更一般的时间序列的引导注意机制，定义：

其中，i_k(k＝1,2,…,m)∈{1,2,…,N}，f_m是一个齐次多项式，满足

显然，任意个数的齐次多项式f_m(X₁(t),…,X_N(t))的加权和仍然是与Y^J(t)项数相同的多项式，因此等式(1)的等价形式可以描述为：

其中，m齐次多项式的最高阶，J_i＝J(i＝1,2,…,n)，是/>的逆变换；特别地，当m＝N，/>式(4)将退化为式(1)；引入可逆映射Ω是为了确保预测模型的时间序列能尽可能多地保存原时间序列的信息。在特殊情况下，这个映射可以是单位矩阵。Ω表示一个完全连接的长短期记忆预测器。

进一步，步骤S3中，构建全连接长短记忆神经网络，具体包括：通过Ω得到对Y^J(t)的估计则旅游需求的估计值为：

其中，∑j＝N；同时，依赖于m的值和f_m(X₁(t),X₂(t),…,X_n(t))的多项式形式，为了得到Y(t)的最优估计，得到如下预测模型：

∑j＝N (6)。

上述预测模型的思想是将样本划分为具有引导注意机制的多个集合，索引为j＝1,2,…,m，然后在每个集合中独立训练全连接长短记忆神经网络(FC-LSTM)预测模型，然后进行预测。

进一步，步骤S4中，预测模型对平稳的旅游需求时间序列是直接进行预测，而对非平稳的旅游需求时间序列是进行组合，然后预测。

进一步，步骤S5具体包括：将预测模型转化为凸优化问题，即多目标优化问题，采用排序遗传算法对该问题进行求解，从而确定预测模型中涉及到的参数。

本发明的有益效果在于：本发明打破了传统时间序列分析模型中对时间序列平稳性假设的要求，在不损失原始时间序列信息的情况下，组合不同源的时间序列，通过引导注意机制选择时间序列的不同特征，再利用全连接长短记忆神经网络的汉达摩尔积的优点，对时间序列的特征进行选择输入，最后得到理想的预测模型。本模型针对非同源的不平稳时间序列进行预测，相比传统的预测模型，能够在不损失信息的情况下同时识别时间序列的各种特征，从而利用这些特征来预测。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明基于引导注意机制的旅游需求时间序列预测方法流程图；

图2为对比实验中区间预测结果仿真图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1，本发明提供了一种基于引导注意机制的旅游需求时间序列预测方法，由于旅游行为的异质性和随机性，使得旅游需求时间序列具有非平稳性。因此，本发明构建一个既有效又稳健的，基于引导机制的游旅游需求预测模型，该模型可以推广到所有国家和地区。首先，该预测模型将来自多个国家和地区的旅游人数时间序列进行组合，在不损失时间序列信息的情况下，以提高旅游需求时间序列的平稳性。然后，采用一种偏序关系来比较不同时间序列之间的稳定性，并且定义了不同维度的齐次多项式对时间序列进行组合。其次，引导注意机制允许模型根据需要对不同的训练数据进行参数训练，从而从时间序列中选择信息特征，以提高预测器的性能。再次，采用全连接的长短记忆神经网络作为预测器对旅游需求时间序列进行预测，根据事先定义的偏序关系对旅游需求时间序列进行划分，预测器对平稳的旅游时间序列直接进行预测，而对非平稳的时间序列进行组合，然后预测。最后，上述预测模型最终可以转化为一个凸优化问题，该问题是一个多目标优化问题，我们采用排序遗传算法对该问题进行求解，从而确定模型中涉及到的参数。

本发明提出的模型将引导注意机制用于选择全连接长短记忆神经网络的输入，一方面提高了预测模型的精度，另一方面尽可能地利用了原始时间序列提供的信息。

上述预测方法具体包括以下步骤：

S1：组合来自多个国家和地区的旅游需求时间序列，在不损失时间序列信息的情况下，以提高旅游需求时间序列的平稳性。

假设有n个国家或地区的游客来到一个旅游目的地，旅游需求表示为：

表示不同的国家或地区，t表示时间指数；则旅游需求时间序列为：

其中，J_i表示历史数据集不同需求序列的长度。

S2：定义一个偏序关系来比较不同时间序列之间的稳定性，并定义不同维度的齐次多项式对时间序列进行组合，然后利用引导注意机制对旅游需求时间序列的稳定性进行调节；具体包括：

定义一个偏序关系表示/>比/>更平稳；定义Ω^J＝{ω₁,ω₂,…,ω_J}，其中，Ω^J表示权重空间，ω_J表示第J个序列的权重；然后利用引导注意机制对旅游需求时间序列的稳定性进行调节：

其中，i₁,i₂∈{1,2,…,N}，i₁≠i₂，f₂是一个齐次多项式，满足1≤i_k≤N,k＝1,2；考虑到更一般的时间序列的引导注意机制，定义：

其中，i_k(k＝1,2,…,m)∈{1,2,…,N}，f_m是一个齐次多项式，满足

显然，任意个数的齐次多项式f_m(X₁(t),…,X_N(t))的加权和仍然是与Y^J(t)项数相同的多项式，因此等式(1)的等价形式可以描述为：

其中，m齐次多项式的最高阶，J_i＝J(i＝1,2,…,n)，是/>的逆变换；特别地，当m＝N，/>式(4)将退化为式(1)；引入可逆映射Ω是为了确保预测模型的时间序列能尽可能多地保存原时间序列的信息。在特殊情况下，这个映射可以是单位矩阵。Ω表示一个完全连接的长短期记忆预测器。

S3：构建全连接长短记忆神经网络，并引导注意机制允许全连接长短记忆神经网络根据需要对不同的训练数据进行参数训练；具体包括：

通过Ω得到对Y^J(t)的估计则旅游需求的估计值为：

其中，∑j＝N；同时，依赖于m的值和f_m(X₁(t),X₂(t),…,X_n(t))的多项式形式，为了得到Y(t)的最优估计，得到如下预测模型：

∑j＝N (6)。

上述预测模型的思想是将样本划分为具有引导注意机制的多个集合，索引为j＝1,2,…,m，然后在每个集合中独立训练全连接长短记忆神经网络(FC-LSTM)预测模型，然后进行预测。

S4：采用训练后的全连接长短记忆神经网络作为预测模型对旅游需求时间序列进行预测，根据步骤S2的偏序关系对旅游需求时间序列进行划分；预测模型对平稳的旅游需求时间序列是直接进行预测，而对非平稳的旅游需求时间序列是进行组合，然后预测。

S5：对预测模型求解，具体包括：将预测模型转化为凸优化问题，即多目标优化问题，采用排序遗传算法对该问题进行求解，从而确定预测模型中涉及到的参数。

对比实验：

本实施例使用澳门旅游局的统计数据检验了所提出的方法，其中包括来自16个国家或地区的每日游客人数。文献表明，澳门收集的旅游需求时间序列具有明显的非平稳性。因此，这是一个很好的例子来检验提出的预测框架。使用2017-2018年的数据作为训练集，通过交叉验证优化拟合过程的实施，并使用2019年的数据作为测试集。如上所述，数据集分为训练(60％)、验证(30％)和测试(10％)。实验结果和已有的数据进行了对比，对比结果如表1。为了更详细地说明模型的预测能力，本实施例给出了不同模型对旅游需求的预测结果，包括一步预测和两步预测。从一步预测的MAPE结果来看，引导注意旅游需求预测的预测误差最小，为10.51％。但在相同的数据集中Persistence模型只能得到18.56％的最坏预测误差。两步预测结果没有改变这一趋势，预测Persistence模型的预测误差达到29.73％。需要注意的是，预测模型具有一些随机的初始参数。当目标函数为非凸函数时，将使每次预测的结果不同。因此，本发明中报告的所有结果都是10次训练后的平均结果。考虑到各种旅游需求模型的预测能力，本发明提出的引导注意旅游需求预测模型具有良好的鲁棒性。同时，不仅MAPE结果优于其他模型，所提出的引导注意旅游需求预测模型也优于其他模型RMSE结果表明，引导注意旅游需求预测模型在精度较高的基础上具有较高的稳定性。

表1本发明的预测模型和现有的一些模型的对比结果

与单点预测值相比，在旅游需求预测中，有时会关注预测值波动的区域。在这一部分中，本发明给出了一个区间预测的例子。本发明提出的澳门引导注意旅游需求预测模型在76天内(5％、10％、25％、50％和95％)的旅游需求预测结果如图2所示。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于引导注意机制的旅游需求时间序列预测方法，其特征在于，该方法具体包括以下步骤：

S1：组合来自多个国家和地区的旅游需求时间序列；

S2：定义一个偏序关系来比较不同时间序列之间的稳定性，并定义不同维度的齐次多项式对时间序列进行组合，然后利用引导注意机制对旅游需求时间序列的稳定性进行调节；

S3：构建全连接长短记忆神经网络，并引导注意机制允许全连接长短记忆神经网络根据需要对不同的训练数据进行参数训练；

S4：采用训练后的全连接长短记忆神经网络作为预测模型对旅游需求时间序列进行预测，根据步骤S2的偏序关系对旅游需求时间序列进行划分；

S5：对预测模型求解，反算出各个国家或地区的旅游需求；

步骤S1中，假设有n个国家或地区的游客来到一个旅游目的地，旅游需求表示为：i＝1,2,…,n,…,N表示不同的国家或地区，t表示时间指数；则旅游需求时间序列为：

其中，J_i表示历史数据集不同需求序列的长度；

所述步骤S2具体包括：定义一个偏序关系表示/>比/>更平稳；定义Ω^J＝{ω₁,ω₂,…,ω_J}，其中，Ω^J表示权重空间，ω_J表示第J个序列的权重；然后利用引导注意机制对旅游需求时间序列的稳定性进行调节：

其中，i₁,i₂∈{1,2,…,N}，i₁≠i₂，f₂是一个齐次多项式，满足1≤i_k≤N,k＝1,2；考虑到更一般的时间序列的引导注意机制，定义：

其中，ik(k＝1,2,…,m)∈{1,2,…,N}，f_m是一个齐次多项式，满足k＝1,2,…,m；

显然，任意个数的齐次多项式f_m(X₁(t),…,X_N(t))的加权和仍然是与Y^J(t)项数相同的多项式，因此等式(1)的等价形式描述为：

其中，m齐次多项式的最高阶，J_i＝J(i＝1,2,…,n)，是/>的逆变换；特别地，当m＝N，/>式(4)将退化为式(1)；Ω表示一个完全连接的长短期记忆预测器；

步骤S3中，构建全连接长短记忆神经网络，具体包括：通过Ω得到对Y^J(t)的估计则旅游需求的估计值为：

其中，∑j＝N；同时，依赖于m的值和f_m(X₁(t),X₂(t),…,X_n(t))的多项式形式，为了得到Y(t)的最优估计，得到如下预测模型：

∑j＝N (6)。

2.根据权利要求1所述的旅游需求时间序列预测方法，其特征在于，步骤S4中，预测模型对平稳的旅游需求时间序列是直接进行预测，而对非平稳的旅游需求时间序列是进行组合，然后预测。

3.根据权利要求1所述的旅游需求时间序列预测方法，其特征在于，步骤S5具体包括：将预测模型转化为凸优化问题，即多目标优化问题，采用排序遗传算法对该问题进行求解，从而确定预测模型中涉及到的参数。