CN113962750B - 一种基于attention机制的多尺度信息汽车销量大数据预测方法 - Google Patents

Abstract

本发明涉及大数据处理技术和汽车销量预测技术领域，特别涉及一种基于attention机制的多尺度信息汽车销量大数据预测方法，包括将加入用户行为信息的汽车基本信息数据传入encoder RNN中；在encoder RNN中采用多尺度特征解耦操作得到每个时间序列在每个时间步的多尺度信息；采用attention机制获取对不同small hidden state的重要性得分并更新；由decoder RNN输出未来时间步的汽车销量预测结果；本发明使得不同的small hidden state以不同频率更新，达到动态的选择重要尺度信息的目的，从而提升汽车销量预测的精确性。

Description

一种基于attention机制的多尺度信息汽车销量大数据预测 方法

技术领域

本发明涉及大数据处理技术和汽车销量预测技术领域，特别涉及一种基于attention机制的多尺度信息汽车销量大数据预测方法。

背景技术

汽车行业一直是我国经济的支柱产业，近几年来，国内汽车市场由增量市场逐步进入存量市场阶段，在市场整体趋势逐步改变的环境下，消费者购车决策的过程也正在从线下向线上转移，对汽车销量的预测对于零件生产商的原料储存、生产人员配备，对于汽车生产厂商产销人员配备，对于政府进行宏观调控可以给与有力的数据支撑，所以合理的汽车销量预测是非常重要的。

传统的汽车销量预测方法采用基于规律性的时间序列方法，没有考虑到互联网行为数据对于汽车销量的影响，且传统时间序列预测存在长期依赖问题，通常只关注单一尺度的信息，无法完整准确的或动态性的表征特征。

发明内容

为了解决上述问题，本发明提出一种基于attention机制的多尺度信息汽车销量大数据预测方法，包括以下步骤：

将加入用户行为信息的汽车基本信息数据传入encoder RNN中；

在encoder RNN中采用多尺度特征解耦操作得到每个时间序列在每个时间步的多尺度信息；

采用attention机制获取对不同small hidden state的重要性得分并更新；

由decoder RNN输出未来时间步的汽车销量预测结果。

进一步的，将用户行为信息和时间信息加入汽车基本信息数据，其中汽车基本信息数据包括时间、车型、车身、省份、燃料类型、交易价格、汽车相应参数、汽车销量；用户行为数据包括搜索量、评论信息；其中对时间信息提取节假日信息、季节信息；对评论信息分类为正面评论、中性评论、负面评论；将每个时间步对应的汽车基本信息数据、时间信息和用户行为信息归一化作为encoder RNN每个时间步的输入。

进一步的，在encoder RNN中采用多尺度特征解耦操作，即对于encoder RNN的每个时间步的hidden state，分为k个小的独立small hidden state，表示为每个small hidden state使用特定的更新方式来捕获信息，从而使得最终的hidden state可以学习到不同尺度的依赖关系；/>表示第t时间步骤对应的hidden state中第k个small hidden state。

进一步的，每个small hidden state使用特定的更新方式来捕获信息，即对于长度为l_t的时间步被更新的比例为ρ，使得每个更新段的长度遵循平均l_k的几何分布，若存在平均长度长度为的未更新段，那么对于第t个时间步的第k个small hidden state/>的更新公式为：

其中，α^k、β^k为第k个small hidden state的可学习参数，γ为t时刻的偏置，U^l(l_k)表示平均l_k的几何分布，θ为小于l_t的常数且(θ+U^l(l_k))≤l_t；x_t为t时刻的输入，mask为small hidden state不进行更新的范围区间。

进一步的，采用attention机制获取对不同small hidden state的重要性得分，对于t时刻的第k个small hidden state，重要性得分为：

其中，d为每个small hidden state的维度；q_t表示t时间步输入的线性变换；表示第t个时间步的第k个small hidden state/>的重要性得分，/>表示t-1时刻第k个small hidden state。

进一步的，，当使用更新操作时，将学到的small hidden state的重要性得分来加权对第t个时间步的第k个small hidden state的更新公式为：

进一步的，由decoder RNN输出未来时间步的汽车销量预测结果，即由encoderRNN生成的最后一个时间步的hidden state作为语义向量c，该语义向量c与decoder的每个时间步输入传入decoder RNN得到汽车销量预测的结果。

进一步的，汽车销量预测的结果表示为：

y^T＝F(y^T-1,s^T,c)；

其中，y^T-1表示T-1时刻的decoder RNN的预测结果，s^T为decoder RNN中的t时刻隐藏层，F为激活函数。

本发明采用带有加入用户行为信息的预测方法，加入趋势性、季节性等，更能完整充分的考虑汽车销量的相关性；本发明采用多尺度特征解耦操作使得模型不止关注单一尺度的特征，通过不同的small hidden state捕获时间序列的多尺度信息；本发明采用attention机制获取对不同small hidden state的重要性得分，使得不同的small hiddenstate以不同频率更新，达到动态选择重要尺度信息的目的，从而提升汽车销量预测的精确性。

附图说明

图1是本发明实施例提供的流程图；

图2是本发明实施例提供的多尺度特征解耦操作图；

图3是本发明实施例提供的算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种基于attention机制的多尺度信息汽车销量大数据预测方法，如图1，具体包括以下步骤：

将加入用户行为信息的汽车基本信息数据传入encoder RNN中；

在encoder RNN中采用多尺度特征解耦操作得到每个时间序列在每个时间步的多尺度信息；

采用attention机制获取不同small hidden state的重要性得分并更新；

由decoder RNN输出未来时间步的汽车销量预测结果。

本实施例将汽车基本信息数据加入用户行为信息的操作，具体包括：

(1)汽车基本信息数据包括时间、车型、车身、省份、燃料类型、交易价格、汽车相应参数等；用户行为数据包括车型搜索量、评论信息等；

(2)对汽车基本信息数据进行预处理，对缺失值采用同车型年度销量均值进行填充；

(3)对时间信息提取节假日信息、季节信息等趋势特征；

(4)对用户行为数据的评论信息采用Bert+LSTM模型进行情感分类，将评论信息分类为正面评论、中性评论、负面评论；

Bert结构上是Transformer的编码部分，每个block主要由多头self-Attention、标准化(Norm)、残差连接、Feed Fordawrd组成。在具体任务中，主要分为模型预训练和模型微调两个阶段；LSTM网络加入了门控单元，采用遗忘门、输入门和输出门来分别控制从细胞状态中丢弃的信息、在单元格状态下存储哪些信息、输出什么信息，来学习长期依赖关系。

以上数据归一化传入encoder RNN中。

在encoder RNN中采用多尺度特征解耦操作得到每个时间序列在每个时间步的多尺度信息，有利于模型的可解释性。对于encoder RNN的每个时间步的hidden state，分为k个小的独立hidden state，即每个small hidden state使用特定的更新方式来捕获信息，从而使得最终的hidden state可以学习到不同尺度的依赖关系。

对每个small hidden state使用特定的更新方式来捕获信息。对于长度为l_t的时间步被更新的比例为ρ，使得每个更新段的长度遵循平均l_k的几何分布，然后是平均长度长度为的未更新段，那么对于第t个时间步的第k个small hidden state的更新公式为：

其中为第t个时间步的第k个small hidden state，α^k，β^k为第k个small hiddenstate的可学习参数，γ为t时刻的偏置，U^l(l_k)表示平均l_k的几何分布，θ为小于l_t的常数且(θ+U^l(l_k))≤l_t，x_t为t时间步的输入。

由于每个small hidden state使用特定的更新方式捕获多尺度信息使用固定尺度进行更新，无法捕捉时间序列的动态时间模式，且不同时间步的模式也是不同的，所以采用attention机制获取不同small hidden state的重要性得分进行更新。对于t时刻的第k个small hidden state，重要性得分为：

其中，d为每个small hidden state的维度；q_t表示t时间步输入的线性变换；表示第t个时间步的第k个small hidden state/>的重要性得分，/>越大，代表上一时间步的第k个small hidden对当前时间步越重要。

当使用更新操作时，将学到的small hidden state的重要性得分来加权则最终第t个时间步的第k个small hidden state的更新公式为：

其中α^k，β^k为第k个small hidden state的可学习参数，γ为t时刻的偏置。通过加入attention机制使得每个时间步自适应地选择最重要的尺度信息。

则encoder最后时间步得到的hidden state包含了模型捕获到的复杂时间模式的多尺度信息。

由encoder RNN生成的最后一个时间步的hidden state作为语义向量c，将语义向量c作为decoder中RNN的初始隐层状态，decoder RNN的每个时间步输入得到预测的当前时间步的汽车销量预测结果，则T时刻的是汽车销量预测结果为：

y^T＝F(y^T-1,s^T,c)

其中s^T是decoder RNN中的t时刻隐藏层，c代表之前encoder RNN最后时刻hiddenstate得到的语义向量，y^T-1表示decoder RNN中T-1时刻的预测结果，反过来作为T时刻的输入，F为激活函数。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于attention机制的多尺度信息汽车销量大数据预测方法，其特征在于，包括以下步骤：

将加入用户行为信息和时间信息的汽车基本信息数据传入encoder RNN中；

在encoder RNN中采用多尺度特征解耦操作得到每个时间序列在每个时间步的多尺度信息；在encoder RNN中采用多尺度特征解耦操作，即对于encoder RNN的每个时间步的hidden state，分为k个小的独立small hidden state，表示为每个small hidden state使用特定的更新方式来捕获信息，从而使得最终的hidden state可以学习到不同尺度的依赖关系；/>表示第t时间步骤对应的hidden state中第k个smallhidden state；

采用attention机制获取对不同small hidden state的重要性得分并更新，对于t时刻的第k个small hidden state，重要性得分为：

其中，d为每个small hidden state的维度；q_t表示t时间步输入的线性变换；表示第t个时间步的第k个small hidden state/>的重要性得分，/>表示t-1时刻第k个small hidden state；

每个small hidden state使用特定的更新方式来捕获信息，即对于长度为l_t的时间步被更新的比例为ρ，使得每个更新段的长度遵循平均l_k的几何分布，若存在平均长度为的未更新段，那么对于第t个时间步的第k个small hidden state/>的更新公式为：

其中，α^k、β^k为第k个small hidden state的可学习参数，γ为t时刻的偏置，U^l(l_k)表示平均l_k的几何分布，θ为小于l_t的常数且(θ+U^l(l_k))≤l_t；x_t为t时刻的输入，mask为smallhidden state不进行更新的范围区间；

由decoder RNN输出未来时间步的汽车销量预测结果。

2.根据权利要求1所述的一种基于attention机制的多尺度信息汽车销量大数据预测方法，其特征在于，将用户行为信息和时间信息加入汽车基本信息数据，其中汽车基本信息数据包括时间、车型、车身、省份、燃料类型、交易价格、汽车相应参数、汽车销量；用户行为数据包括搜索量、评论信息；其中对时间信息提取节假日信息、季节信息；对评论信息分类为正面评论、中性评论、负面评论；将每个时间步对应的汽车基本信息数据、时间信息和用户行为信息归一化作为encoder RNN每个时间步的输入。

3.根据权利要求1所述的一种基于attention机制的多尺度信息汽车销量大数据预测方法，其特征在于，由decoder RNN输出未来时间步的汽车销量预测结果，即由encoder RNN生成的最后一个时间步的hidden state作为语义向量c，该语义向量c与decoder的每个时间步输入传入decoder RNN得到汽车销量预测的结果。

4.根据权利要求3述的一种基于attention机制的多尺度信息汽车销量大数据预测方法，其特征在于，汽车销量预测的结果表示为：

y^T＝F(y^T-1,s^T,c)；

其中，y^T-1表示T-1时刻的decoder RNN的预测结果，s^T为decoder RNN中的t时刻隐藏层，F为激活函数。