CN115796936A - 一种基于组合模型的卷烟销量预测方法、系统及存储介质 - Google Patents
一种基于组合模型的卷烟销量预测方法、系统及存储介质 Download PDFInfo
- Publication number
- CN115796936A CN115796936A CN202211630574.8A CN202211630574A CN115796936A CN 115796936 A CN115796936 A CN 115796936A CN 202211630574 A CN202211630574 A CN 202211630574A CN 115796936 A CN115796936 A CN 115796936A
- Authority
- CN
- China
- Prior art keywords
- model
- data
- sales
- cigarette
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000019504 cigarettes Nutrition 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 78
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 238000010276 construction Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000002790 cross-validation Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 10
- 238000012935 Averaging Methods 0.000 claims description 9
- 210000004027 cell Anatomy 0.000 claims description 9
- 238000012847 principal component analysis method Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000001932 seasonal effect Effects 0.000 claims description 5
- 238000006467 substitution reaction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000001413 cellular effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 230000009021 linear effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 241000208125 Nicotiana Species 0.000 description 2
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 235000019505 tobacco product Nutrition 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种基于组合模型的卷烟销量预测方法、系统及存储介质，该方法包括：获取卷烟产品的历史销量和外部变量数据形成原始数据；对原始数据进行预处理，形成构建模型所需的数据集；构建基于Stacking集成学习算法的初始卷烟销量预测组合模型；将数据集输入初始卷烟销量预测组合模型优化训练，获得目标卷烟销量预测组合模型；使用目标卷烟销量预测组合模型进行预测，获得目标值。运用Stacking集成学习算法融合统计学和深度学习模型，兼顾可解释性和学习能力优势，解决传统卷烟销量数据预测特征单一、准确率低、可操作性弱的问题，为卷烟商业公司科学制定购、销、存计划提供依据。
Description
技术领域
本发明属于卷烟销量预测技术领域，具体涉及一种基于组合模型的卷烟销量预测方法、系统及存储介质。
背景技术
卷烟作为一种日常消耗品，它的市场状态在经济进步方面发挥了至关重要的作用。近年来,随着大数据、人工智能、移动互联等互联网技术的高速发展，以及卷烟营销市场化取向改革的不断深入,卷烟营销市场环境出现了新变化，当前，在我国经济发展进入＂新常态＂，烟草产业的发展也必须面对“增长速度回落、工商库存增加、结构空间变窄、需求拐点逼近”等四大难题。特别是在“后疫情”时代，农村市场“小镇青年”的出现、城市控烟力度的加强、文明吸烟环境建设的推进、提税顺价政策的出台等新因素的出现，都对卷烟销量产生了重要影响，因此，为优化卷烟市场的供求关系，减少供应链成本，进行准确地销量预测，不仅能够去产能、去库存，而且对充分发挥市场在资源配置中的作用也有十分重要的意义。
烟草行业中的预测问题主要是时间序列的预测研究，目前已有学者针对该问题主要从有三个方向进行研究。包括以差分整合移动平均模型(ARIMA模型)及其改进模型为代表的数理统计方法、以决策树回归算法、Light GBM算法、人工神经网络算法为代表的机器学习方法，还包括基于组合模型的预测方法，将两种或两种以上不同类型的模型组合起来进行最终预测，充分发挥各个模型的优点，进行最终预测。
但是上述研究均未涉及适于烟草制品受计划控制、受政策影响、受市场调控等影响的特殊性的预测方法，预测模型针对性、适用性和指导性不强，因此，亟需设计一种基于外部变量的卷烟销量预测方法，充分考虑卷烟市场销量除订购数据以外的外部影响因素，并运用集成学习的思想搭建组合预测模型，为卷烟营销部门制定科学的购、销、存决策提供依据。
发明内容
针对上述现有方法存在的不足，本发明提供了一种基于组合模型的卷烟销量预测方法、系统及存储介质，以解决现有技术中针对卷烟销量预测效果不理想的问题。
本发明基于行业卷烟营销数据，分析该时间序列数据的特点，考虑到销量预测中的线性与非线性成分，应用传统的数理统计方法和机器学习算法进行模型组合，采用集成学习的思想融合LSTM、Prophet、LR三个异质学习器，基于Stacking算法建立高效的组合模型，优化预测效果。
本发明提供了一种基于组合模型的卷烟销量预测方法，包括：
S1：获取卷烟产品的历史销量数据和外部变量数据形成原始数据，所述历史销量数据，包括订单日期、需求量、销量、含税消额、单箱值、毛利率、销售成本、单条值，所述外部变量数据是由专家通过分析历史销量数据后进行提取、识别出具有线性外部效应的变量数据，所述外部变量数据包括重大政策、新冠疫情、当地节假日；
S2：对所述原始数据进行预处理，所述预处理程序包括数据清洗、数据转换和特征提取，从而形成构建模型所需的数据集；
S3：根据所述数据集，构建基于Stacking集成学习算法的初始卷烟销量预测组合模型；
S4：将所述数据集输入所述初始卷烟销量预测组合模型优化训练，获得目标卷烟销量预测组合模型；
S5：使用所述目标卷烟销量预测组合模型对卷烟销量进行预测，获得目标值。
优选地，所述卷烟产品的历史销量数据以每个投放周期的销量的形式进行统计，因此预测量也以投放周期为单位；所述影响卷烟销量的外部变量数据需同时运用相关性检验判定各变量的影响程度，从而最终选定；所述原始数据通过均值法或剔除替代法来处理缺失和不合逻辑的数值。
优选地，所述步骤S2中对所述原始数据进行预处理中涉及的特征提取具体包括：所述特征提取是将经过清洗、转换后的数据属性通过处理转换为数据特征，获得众多所述原始特征，通过采用主成分分析方法对所述原始特征降维处理，提取与预测标签相关性高的变量，剔除冗余变量，从众多所述原始特征中提取出与销量相关的指标作为新的特征指标，得到主成分，其中所述主成分分析方法包括：
S21：求解每一个特征变量的平均值，然后对于所有样本，每一个特征都减去自身的均值；
S22：求解协方差矩阵C；
S23：求解协方差矩阵C的特征值和相对应的特征向量；
S24：将所述原始特征投影到选取的特征向量上，得到降维后的新k维特征，得到主成分。
优选地，所述S3：根据数据集，构建基于Stacking集成学习算法的初始卷烟销量预测组合模型，包括：
S31：创建Prophet模型，输入数据集，通过对模型的趋势的调整、季节性的调整、外部变量的影响分析，获得所述Prophet模型的最优参数，所述Prophet模型的表达式为：
y(t)＝g(t)+s(t)+h(t)+ξ(t)
其中，g(t)表示趋势项，它表示时间序列在非周期上面的变化趋势；s(t)表示周期项，或者称为季节项，一般来说是以周或者年为单位；h(t)表示节假日项，表示时间序列中那些潜在的具有非固定周期的节假日对预测值造成的影响；ξ(t)表示误差项或者剩余项，表示模型未预测到的波动，ξ(t)服从高斯分布；
S32：创建LSTM模型，输入数据集进行训练，输出神经元为销量的预测值，通过调整记忆单元、隐藏层、初始权重和激活函数、滑动窗口长度、学习率和batch size参数，加入预训练和训练早停机制，提高模型性能，获得所述LSTM模型的最优参数，所述LSTM长短期记忆深度神经网络模型的关键在于细胞状态的更新，所述细胞状态更新具体计算公式如下：
其中，Ct为细胞状态，Ct-1是t-1时刻的细胞状态，ft为遗忘门的输出，it和at为输入门的两个输出；
S33：运用Stacking集成学习算法搭建Stacking分层模型，所述Stacking分层模型第一层是以拟合度较高的Prophet模型和LSTM模型为基模型的基学习器，所述Stacking分层模型第二层是以LR模型为元模型的元学习器，所述Stacking分层模型第一层将所述数据集学习后输出至所述Stacking分层模型第二层，由所述Stacking分层模型第二层进行拟合，所述Stacking分层模型第一层和所述Stacking分层模型第二层共同构成一个集成学习器；
S34：比较集成学习器与所述以Prophet模型为基模型的基学习器和所述以LSTM模型为基模型的基学习器的表现性能，进一步进行分析，形成初始卷烟销量预测组合模型。
优选地，所述S4：将所述数据集输入所述初始卷烟销量预测组合模型优化训练，获得目标卷烟销量预测组合模型，包括：
S41：基学习器训练，将所述数据集分别输入所述以Prophet模型为基模型的基学习器和所述以LSTM模型为基模型的基学习器中进行训练；
对所述训练集，采用五折交叉验证方式，使用Prophet训练后产生将5个一维预测序列A1，使用LSTM训练后也产生5个一维预测序列A2，将矩阵(A1,A2，标签值)作为数据新的特征，形成新的训练集；
对所述测试集，在进行交叉验证的每一步，用Prophet模型对测试集进行预测，得到5个一维预测序列，求平均值得到B1，使用LSTM模型对测试集进行预测，也得到5个一维预测序列，求平均值得到B2，将矩阵(B1,B2,标签值)作为新的测试集；
S42：元学习器训练，以LR算法为基础，将所述新的训练集输入所述元学习器进行训练，通过调整新的特征权重使得预测结果最准确；
S43：使用训练好的LR模型，在所述新的测试集上进行预测，得到最终预测值；
S44：采用网格搜索的方法优化超参数。
优选地，所述训练集采用五折交叉验证的方式，其中四折作为训练集，一折作为验证集。
本发明还提供了一种基于组合模型的卷烟销量预测系统，包括：
数据获取模块，用于获取卷烟产品的历史销量数据和外部变量数据形成原始数据，所述历史销量数据，包括订单日期、需求量、销量、含税消额、单箱值、毛利率、销售成本、单条值，所述外部变量数据是由专家通过分析历史销量数据后进行提取、识别出具有线性外部效应的变量数据，所述外部变量数据包括重大政策、新冠疫情、当地节假日；
数据预处理模块，用于对所述原始数据进行预处理，所述预处理程序包括数据清洗、数据转换和特征提取，从而形成构建模型所需的数据集；
模型构建模块，用于根据所述数据集，构建基于Stacking集成学习算法的初始卷烟销量预测组合模型；
模型训练模块，用于将所述数据集输入所述初始卷烟销量预测组合模型优化训练，获得目标卷烟销量预测组合模型；
销量预测模块，用于使用所述目标卷烟销量预测组合模型对卷烟销量进行预测，获得目标值。
优选地，所述数据预处理模块还包括特征工程子模块，用于将经过清洗、转换后的数据属性通过处理转换为数据特征，获得众多所述原始特征，通过采用主成分分析方法对所述原始特征降维处理，提取与预测标签相关性高的变量，剔除冗余变量，从众多所述原始特征中提取出与销量相关的指标作为新的特征指标，得到主成分。
优选地，所述模型训练模块还包括：
基学习器训练子模块，用于划分所述数据集和采用五折交叉验证法分别对所述以Prophet模型为基模型的基学习器和所述以LSTM模型为基模型的基学习器进行训练，通过训练提取出数据新的特征；
元学习器训练子模块，用于将所述数据新的特征输入训练LR模型，调整新的特征权重使得预测结果最准确。
本发明实施例还提供一种存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，即可实现基于组合模型的卷烟销量预测系统。
本发明技术方案与现有技术相比，具有如下有益效果：
本发明提出的一种基于组合模型的卷烟销量预测方法、系统及存储介质，通过考虑卷烟产品的特殊性，并针对其存在很强的趋势变化和季节性、有线性的外部效应、时间序列数据量大的特点，运用Stacking集成学习算法来融合统计学模型和深度学习模型，兼顾可解释性和学习能力的优势，有效解决传统卷烟销量数据预测较为特征单一、准确率不高、可操作性不强的问题，为卷烟商业公司科学制定购、销、存计划提供依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的基于组合模型的卷烟销量预测方法的流程图；
图2为本发明实施例中的影响卷烟销量的变量关联图；
图3为本发明实施例中的卷烟销量预测组合模型的结构图；
图4为本发明实施例中的卷烟销量预测组合模型对卷烟销量下一投放周期的预测结果可视化呈现的效果图；
图5为本发明实施例中的基于组合模型的卷烟销量预测系统的总体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
参照图1，一种基于组合模型的卷烟销量预测方法，包括以下步骤：
S1：获取卷烟产品的历史销量数据和外部变量数据形成原始数据，所述历史销量数据，包括订单日期、需求量、销量、含税消额、单箱值、毛利率、销售成本、单条值，所述外部变量数据是由专家通过分析历史销量数据后进行提取、识别出具有线性外部效应的变量数据，所述外部变量数据包括重大政策、新冠疫情、当地节假日。
所述具有线性外部效应的变量表达式为：h(t)＝Z(t)k,其中，Z(t)为外部变量在t时刻的取值，Z可以是0-1变量(是否是法定假日、是否是春节等)，也可以是连续变量(销售额、成本等)，k为线性回归系数。对于所述外部变量，不但需要找出Z在过去时间点的取值，还要找出Z在未来时间点的取值。
优选地，所述卷烟产品的历史销量数据以每个投放周期的销量的形式进行统计，因此预测量也以投放周期为单位；所述影响卷烟销量的外部变量数据需同时运用相关性检验判定各变量的影响程度，从而最终选定；所述原始数据通过均值法或剔除替代法来处理缺失和不合逻辑的数值。
其中，以某地市卷烟销量为例，从营销平台导出2017年至今的销量时间序列数据，共计大概1000个投放周期的数据。
图2是本发明实施例中的影响卷烟销量的变量关联图，颜色越深表示具有越强的负相关关系，颜色越浅表示具有越强的正相关关系，从图中可以看出各个变量对销量y的影响程度和各变量之间的相关关系。
S2：对所述原始数据进行预处理，所述预处理程序包括数据清洗、数据转换和特征提取，从而形成构建模型所需的数据集。
其中，所述数据清洗主要是删除所述原始数据中的无关数据、重复数据、平滑噪声数据，筛选掉与预测卷烟销量主题无关的数据，处理所述原始数据中的缺失值及异常值；所述数据转换主要对所述外部变量数据进行数值化处理，将数据转换成“适当的”形式，来满足挖掘任务及算法的需要。
优选地，所述步骤S2中对所述原始数据进行预处理中涉及的特征提取具体包括：所述特征提取是将经过清洗、转换后的数据属性通过处理转换为数据特征，获得众多所述原始特征，通过采用主成分分析方法对所述原始特征降维处理，提取与预测标签相关性高的变量，剔除冗余变量，从众多所述原始特征中提取出与销量相关的指标作为新的特征指标，得到主成分，其中所述主成分分析方法包括：
S21：求解每一个特征变量的平均值，然后对于所有样本，每一个特征都减去自身的均值；
S22：求解协方差矩阵C；
S23：求解协方差矩阵C的特征值和相对应的特征向量；
S24：将所述原始特征投影到选取的特征向量上，得到降维后的新k维特征，得到主成分。
在卷烟销量预测方法研究过程中，需要处理很多带有变量的数据，包括卷烟产品的历史销量数据和外部变量数据。变量和数据很多，但是可能存在噪音和冗余，因为这些变量中有些是相关的，那么就可以从相关的变量中选择一个，或者将几个变量综合为一个变量，作为代表。用少数变量来代表所有的变量，用来解释所要研究的问题，就能从化繁为简，抓住关键。同样，在特征提取与处理时，涉及高维特征向量的问题往往容易陷入维度灾难。
主成分分析法(Principal Components Analysis，简称PCA)就是一种运用线性代数的知识来进行数据降维的方法，它是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大(方差最大)，以此使用较少的数据维度，同时保留住较多的原数据点的特性。
其中，对所述原始数据进行上述操作，降维后的所述新的特征指标包括需求量、含税消额、单箱值、外部变量值。
参照图3，S3：根据所述数据集，构建基于Stacking集成学习算法的所述初始卷烟销量预测组合模型。
优选地，所述S3具体步骤为：
S31：创建Prophet模型，输入所述数据集进行训练，通过对模型的趋势的调整、季节性的调整、外部变量的影响分析，寻找所述Prophet模型最优参数，所述Prophet模型的表达式为：
y(t)＝g(t)+s(t)+h(t)+ξ(t)
其中，g(t)表示趋势项，它表示时间序列在非周期上面的变化趋势；s(t)表示周期项，或者称为季节项，一般来说是以周或者年为单位；h(t)表示节假日项，表示时间序列中那些潜在的具有非固定周期的节假日对预测值造成的影响；ξ(t)表示误差项或者剩余项，表示模型未预测到的波动，ξ(t)服从高斯分布；
所述外部变量包括节假日、行业重大政策实施、新冠疫情形势的数据。在对Prophet模型进行训练时，将新冠疫情、行业重大政策、节假日三个具有线性效应的外部变量输入模型进行训练，通过grid-search函数自动寻找所述Prophet模型最优参数。
S32：创建LSTM模型(长短期记忆深度神经网络)，输入所述数据集进行训练，输出神经元为销量的预测值，通过调整记忆单元、隐藏层、初始权重和激活函数、滑动窗口长度、学习率和batch size参数，加入预训练和训练早停机制，提高模型性能，寻找所述LSTM模型最优参数，所述LSTM模型的关键在于细胞状态的更新，所述细胞状态更新具体计算公式如下：
其中，Ct为细胞状态，Ct-1是t-1时刻的细胞状态，ft为遗忘门的输出，it和at为输入门的两个输出；
在对LSTM模型进行训练时，按照固定预设的时序周期输出预测值，针对预测值和真实值之间的误差进行反向传播，修正各个神经元的权重，然后将所述数据集重新按照预设的时序周期进行训练，直至所有的数据训练结束，根据每一个epoch的模型表现，找到所述LSTM模型最优参数。
S33：运用Stacking集成学习算法搭建Stacking分层模型，所述Stacking分层模型第一层是以拟合度较高的Prophet模型和LSTM模型为基模型的基学习器，所述Stacking分层模型第二层是以LR模型为元模型的元学习器，所述Stacking分层模型第一层将所述数据集学习后输出至所述Stacking分层模型第二层，由所述Stacking分层模型第二层进行拟合，所述Stacking分层模型第一层和所述Stacking分层模型第二层共同构成一个集成学习器；
S34：比较所述集成学习器与所述以Prophet模型为基模型的基学习器和所述以LSTM模型为基模型的基学习器的表现性能，进一步进行分析，形成基于Stacking集成学习算法的初始卷烟销量预测组合模型。
S4：将所述数据集输入所述初始卷烟销量预测组合模型优化训练，获得目标卷烟销量预测组合模型。
优选地，所述S4具体步骤为：
S41：基学习器训练，将所述数据集划分为训练集和测试集，将所述数据集分别输入所述以Prophet模型为基模型的基学习器和所述以LSTM模型为基模型的基学习器中进行训练；
对所述训练集，采用五折交叉验证方式，使用Prophet训练后产生将5个一维预测序列A1，使用LSTM训练后也产生5个一维预测序列A2，将矩阵(A1,A2，标签值)作为数据新的特征，形成新的训练集；
对所述测试集，在进行交叉验证的每一步，用Prophet模型对测试集进行预测，得到5个一维预测序列，求平均值得到B1，使用LSTM模型对测试集进行预测，也得到5个一维预测序列，求平均值得到B2，将矩阵(B1,B2,标签值)作为新的测试集；
S42：元学习器训练，以LR算法为基础，将所述新的训练集输入所述元学习器进行训练，通过调整新的特征权重使得预测结果最准确；
S43：使用训练好的LR模型，在所述新的测试集上进行预测，得到最终预测值；
S44：采用网格搜索(Grid Search)的方法优化超参数。
优选地，所述训练集采用五折交叉验证的方式，其中四折作为训练集，一折作为验证集。
所述训练集采用五折交叉验证的方法进行模型训练，可尽可能的降低过拟合的风险。
为了比较真实值与预测值之间的误差，通过MAE(Mean Absolute Error,平均绝对误差)和RMSE(Root Mean Square Error,均方根误差)两个损失评价指标来衡量集成模型的表现。
所述MAE表达式如下：
所述RMSE的表达式如下：
其中，其中，X为真实值，h为预测值，m为观测次数，h(x(i))表示第i个观测值，y(i)表示第i个真实值。
上述集成学习器的表现运用可解释方差(Explained Var score)来衡量，衡量的是所有预测值和样本之间的差的分散程度与相近程度，最终值越大表示预测值和样本值的分散分布程度越相近，计算公式为：
其中，Var表示方差，y表示真实值，
是预测值。
参照图4，S5：使用所述目标卷烟销量预测组合模型对卷烟销量进行预测，获得目标值。
具体地，通过获取当前时序周期的实际销量数据和外部变量数据，根据所述当前实际销量数据和外部变量数据得到当前特征指标，输入至目标卷烟销量预测组合模型验证，获得卷烟销量在下一预设时序周期的预测值。
本发明针对卷烟销量的特殊性，基于Prophet算法、LSTM算法、LR算法进行集成学习，创建了一个组合预测模型。通过对卷烟历史销量数据以及外部影响因素的挖掘，从而寻找主成分搭建特征工程，并运用集成学习算法创建组合预测模型，完善了卷烟销量预测方法，有利于提高卷烟销量预测的准确性，为卷烟产品购销存策略的制定提供了前瞻性指导。
参照图5，本发明实例还提供了一种基于组合模型的卷烟销量预测系统100，主要包括以下模块：
数据获取模块110，用于获取卷烟产品的历史销量数据和外部变量数据形成原始数据，所述历史销量数据，包括订单日期、需求量、销量、含税消额、单箱值、毛利率、销售成本、单条值，所述外部变量数据是由专家通过分析历史销量数据后进行提取、识别出具有线性外部效应的变量数据，所述外部变量数据包括重大政策、新冠疫情、当地节假日；
数据预处理模块120，用于对所述原始数据进行预处理，所述预处理程序包括数据清洗、数据转换和特征提取，从而形成构建模型所需的数据集；
模型构建模块130，用于根据所述数据集，构建基于Stacking集成学习算法的初始卷烟销量预测组合模型；
模型训练模块140，用于将所述数据集输入所述初始卷烟销量预测组合模型优化训练，获得目标卷烟销量预测组合模型；
销量预测模块150，用于使用所述目标卷烟销量预测组合模型对卷烟销量进行预测，获得目标值。
优选地，所述数据预处理模块还包括特征工程子模块，用于将经过清洗、转换后的数据属性通过处理转换为数据特征，获得众多所述原始特征，通过采用主成分分析方法对所述原始特征降维处理，提取与预测标签相关性高的变量，剔除冗余变量，从众多所述原始特征中提取出与销量相关的指标作为新的特征指标，得到主成分。
优选地，所述模型训练模块还包括：
基学习器训练子模块，用于划分所述数据集和采用五折交叉验证法分别对所述以Prophet模型为基模型的基学习器和所述以LSTM模型为基模型的基学习器进行训练，通过训练提取出数据新的特征；
元学习器训练子模块，用于将所述数据新的特征输入训练LR模型，调整新的特征权重使得预测结果最准确。
本发明实施例还提供一种存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，即可实现基于组合模型的卷烟销量预测系统。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型DRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于组合模型的卷烟销量预测方法，其特征在于，包括：
S1：获取卷烟产品的历史销量数据和外部变量数据形成原始数据，所述历史销量数据，包括订单日期、需求量、销量、含税消额、单箱值、毛利率、销售成本、单条值，所述外部变量数据是由专家通过分析历史销量数据后进行提取、识别出具有线性外部效应的变量数据，所述外部变量数据包括重大政策、新冠疫情、当地节假日；
S2：对所述原始数据进行预处理，所述预处理程序包括数据清洗、数据转换和特征提取，从而形成构建模型所需的数据集；
S3：根据所述数据集，构建基于Stacking集成学习算法的初始卷烟销量预测组合模型；
S4：将所述数据集输入所述初始卷烟销量预测组合模型优化训练，获得目标卷烟销量预测组合模型；
S5：使用所述目标卷烟销量预测组合模型对卷烟销量进行预测，获得目标值。
2.根据权利要求1所述的基于组合模型的卷烟销量预测方法，其特征在于，所述卷烟产品的历史销量数据以每个投放周期的销量的形式进行统计，因此预测量也以投放周期为单位；所述影响卷烟销量的外部变量数据需同时运用相关性检验判定各变量的影响程度，从而最终选定；所述原始数据通过均值法或剔除替代法来处理缺失和不合逻辑的数值。
3.根据权利要求1所述的基于组合模型的卷烟销量预测方法，其特征在于，所述步骤S2中对所述原始数据进行预处理中涉及的特征提取具体包括：所述特征提取是将经过清洗、转换后的数据属性通过处理转换为数据特征，获得众多所述原始特征，通过采用主成分分析方法对所述原始特征降维处理，提取与预测标签相关性高的变量，剔除冗余变量，从众多所述原始特征中提取出与销量相关的指标作为新的特征指标，得到主成分，其中所述主成分分析方法包括：
S21：求解每一个特征变量的平均值，然后对于所有样本，每一个特征都减去自身的均值；
S22：求解协方差矩阵C；
S23：求解协方差矩阵C的特征值和相对应的特征向量；
S24：将所述原始特征投影到选取的特征向量上，得到降维后的新k维特征，得到主成分。
4.根据权利要求1所述的基于组合模型的卷烟销量预测方法，其特征在于，所述S3：根据数据集，构建基于Stacking集成学习算法的初始卷烟销量预测组合模型，包括：
S31：创建Prophet模型，输入数据集，通过对模型的趋势的调整、季节性的调整、外部变量的影响分析，获得所述Prophet模型的最优参数，所述Prophet模型的表达式为：
y(t)＝g(t)+s(t)+h(t)+ξ(t)
其中，g(t)表示趋势项，它表示时间序列在非周期上面的变化趋势；s(t)表示周期项，或者称为季节项，一般来说是以周或者年为单位；h(t)表示节假日项，表示时间序列中那些潜在的具有非固定周期的节假日对预测值造成的影响；ξ(t)表示误差项或者剩余项，表示模型未预测到的波动，ξ(t)服从高斯分布；
S32：创建LSTM模型，输入数据集进行训练，输出神经元为销量的预测值，通过调整记忆单元、隐藏层、初始权重和激活函数、滑动窗口长度、学习率和batch size参数，加入预训练和训练早停机制，提高模型性能，获得所述LSTM模型的最优参数，所述LSTM模型的关键在于细胞状态的更新，所述细胞状态更新具体计算公式如下：
其中，Ct为细胞状态，Ct-1是t-1时刻的细胞状态，ft为遗忘门的输出，it和at为输入门的两个输出；
S33：运用Stacking集成学习算法搭建Stacking分层模型，所述Stacking分层模型第一层是以拟合度较高的Prophet模型和LSTM模型为基模型的基学习器，所述Stacking分层模型第二层是以LR模型为元模型的元学习器，所述Stacking分层模型第一层将所述数据集学习后输出至所述Stacking分层模型第二层，由所述Stacking分层模型第二层进行拟合，所述Stacking分层模型第一层和所述Stacking分层模型第二层共同构成一个集成学习器；
S34：比较集成学习器与所述以Prophet模型为基模型的基学习器和所述以LSTM模型为基模型的基学习器的表现性能，进一步进行分析，形成初始卷烟销量预测组合模型。
5.根据权利要求4所述的基于组合模型的卷烟销量预测方法，其特征在于，所述S4：将所述数据集输入所述初始卷烟销量预测组合模型优化训练，获得目标卷烟销量预测组合模型，包括：
S41：基学习器训练，将所述数据集划分为训练集和测试集，将所述数据集分别输入所述以Prophet模型为基模型的基学习器和所述以LSTM模型为基模型的基学习器中进行训练；
对所述训练集，采用五折交叉验证方式，使用Prophet训练后产生将5个一维预测序列A1，使用LSTM训练后也产生5个一维预测序列A2，将矩阵(A1,A2，标签值)作为数据新的特征，形成新的训练集；
对所述测试集，在进行交叉验证的每一步，用Prophet模型对测试集进行预测，得到5个一维预测序列，求平均值得到B1，使用LSTM模型对测试集进行预测，也得到5个一维预测序列，求平均值得到B2，将矩阵(B1,B2,标签值)作为新的测试集；
S42：元学习器训练，以LR算法为基础，将所述新的训练集输入所述元学习器进行训练，通过调整新的特征权重使得预测结果最准确；
S43：使用训练好的LR模型，在所述新的测试集上进行预测，得到最终预测值；
S44：采用网格搜索的方法优化超参数。
6.根据权利要求5所述的基于组合模型的卷烟销量预测方法，其特征在于，所述训练集采用五折交叉验证的方式，其中四折作为训练集，一折作为验证集。
7.一种基于组合模型的卷烟销量预测系统，其特征在于，包括：
数据获取模块，用于获取卷烟产品的历史销量数据和外部变量数据形成原始数据，所述历史销量数据，包括订单日期、需求量、销量、含税消额、单箱值、毛利率、销售成本、单条值，所述外部变量数据是由专家通过分析历史销量数据后进行提取、识别出具有线性外部效应的变量数据，所述外部变量数据包括重大政策、新冠疫情、当地节假日；
数据预处理模块，用于对所述原始数据进行预处理，所述预处理程序包括数据清洗、数据转换和特征提取，从而形成构建模型所需的数据集；
模型构建模块，用于根据所述数据集，构建基于Stacking集成学习算法的初始卷烟销量预测组合模型；
模型训练模块，用于将所述数据集输入所述初始卷烟销量预测组合模型优化训练，获得目标卷烟销量预测组合模型；
销量预测模块，用于使用所述目标卷烟销量预测组合模型对卷烟销量进行预测，获得目标值。
8.根据权利要求7所述的基于组合模型的卷烟销量预测系统，其特征在于，所述数据预处理模块还包括特征工程子模块，用于将经过清洗、转换后的数据属性通过处理转换为数据特征，获得众多所述原始特征，通过采用主成分分析方法对所述原始特征降维处理，提取与预测标签相关性高的变量，剔除冗余变量，从众多所述原始特征中提取出与销量相关的指标作为新的特征指标，得到主成分。
9.根据权利要求7所述的基于组合模型的卷烟销量预测系统，其特征在于，所述模型训练模块还包括：
基学习器训练子模块，用于划分所述数据集和采用五折交叉验证法分别对所述以Prophet模型为基模型的基学习器和所述以LSTM模型为基模型的基学习器进行训练，通过训练提取出数据新的特征；
元学习器训练子模块，用于将所述数据新的特征输入训练LR模型，调整新的特征权重使得预测结果最准确。
10.一种存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，即可实现如权利要求7－9任一项所述的基于组合模型的卷烟销量预测系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211630574.8A CN115796936A (zh) | 2022-12-19 | 2022-12-19 | 一种基于组合模型的卷烟销量预测方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211630574.8A CN115796936A (zh) | 2022-12-19 | 2022-12-19 | 一种基于组合模型的卷烟销量预测方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115796936A true CN115796936A (zh) | 2023-03-14 |
Family
ID=85426067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211630574.8A Pending CN115796936A (zh) | 2022-12-19 | 2022-12-19 | 一种基于组合模型的卷烟销量预测方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115796936A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116703534A (zh) * | 2023-08-08 | 2023-09-05 | 申合信科技集团有限公司 | 一种电商订单数据智能管理方法 |
| CN117094743A (zh) * | 2023-08-25 | 2023-11-21 | 中国烟草总公司广东省公司 | 一种自动化卷烟零售市场数据统计分析系统及方法 |
| CN117746616A (zh) * | 2023-09-18 | 2024-03-22 | 杭州目博科技有限公司 | 基于大数据分析的区域车位管理系统及应用 |
| CN118365371A (zh) * | 2024-06-17 | 2024-07-19 | 智选数字技术(广州)股份有限公司 | 一种基于决策沙盘的产品投放量预测方法 |
-
2022
- 2022-12-19 CN CN202211630574.8A patent/CN115796936A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116703534A (zh) * | 2023-08-08 | 2023-09-05 | 申合信科技集团有限公司 | 一种电商订单数据智能管理方法 |
| CN116703534B (zh) * | 2023-08-08 | 2023-10-17 | 申合信科技集团有限公司 | 一种电商订单数据智能管理方法 |
| CN117094743A (zh) * | 2023-08-25 | 2023-11-21 | 中国烟草总公司广东省公司 | 一种自动化卷烟零售市场数据统计分析系统及方法 |
| CN117094743B (zh) * | 2023-08-25 | 2024-01-26 | 中国烟草总公司广东省公司 | 一种自动化卷烟零售市场数据统计分析系统及方法 |
| CN117746616A (zh) * | 2023-09-18 | 2024-03-22 | 杭州目博科技有限公司 | 基于大数据分析的区域车位管理系统及应用 |
| CN118365371A (zh) * | 2024-06-17 | 2024-07-19 | 智选数字技术(广州)股份有限公司 | 一种基于决策沙盘的产品投放量预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115796936A (zh) | 一种基于组合模型的卷烟销量预测方法、系统及存储介质 | |
| Lin et al. | Short-term load forecasting based on LSTM networks considering attention mechanism | |
| Meiri et al. | Using simulated annealing to optimize the feature selection problem in marketing applications | |
| CN109785003A (zh) | 一种药品零售行业药品销售预测系统及方法 | |
| Kirange et al. | Sentiment Analysis of news headlines for stock price prediction | |
| CN111626785A (zh) | 一种基于结合注意力的cnn-lstm网络基金价格预测方法 | |
| CN114549046A (zh) | 基于融合模型的销售预测方法、系统、设备及存储介质 | |
| Ivanyuk | Econometric forecasting models based on forecast combination methods | |
| CN111091241A (zh) | 一种基于bp神经网络的药品销量预测与决策方法及系统 | |
| CN111340236A (zh) | 一种基于债券估值数据与集成机器学习的债券违约预测方法 | |
| Salma et al. | A regression model-based approach to identifying determining factors for GDP growth in Bangladesh | |
| CN115907611A (zh) | 一种基于配件市场价值的配件库存管控方法 | |
| Gao et al. | Combined interval prediction algorithm based on optimal relevancy, redundancy and synergy | |
| Yang et al. | Fortify the investment performance of crude oil market by integrating sentiment analysis and an interval-based trading strategy | |
| Xie et al. | Exploration of stock portfolio investment construction using deep learning neural network | |
| CN111292188A (zh) | 配对交易智能一体化回测系统 | |
| Guo | Stock Price Prediction Using Machine Learning | |
| CN115187312A (zh) | 基于深度学习的客户流失预测方法及系统 | |
| HANa | Prediction Model of User Investment Behavior Based on Deep Learning | |
| Yunianto et al. | Comparison of Stock Price Predictions Using Support Vector Regression and Recurrent Neural Network Methods | |
| Jackson et al. | Machine learning for classification of economic recessions | |
| Haas et al. | The Effect of Performance Metrics and Sentiment Scores on Selecting Oil Price Prediction Models | |
| Ding | Construction and Exploration of a Financial Risk Control Model Based on Machine Learning | |
| Yu et al. | Car trading cycle prediction based on random forest algorithm | |
| Barkan et al. | Predicting disaggregated cpi inflation components via hierarchical recurrent neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |