CN108446771A

CN108446771A - 一种防止销售预测模型过拟合的方法

Info

Publication number: CN108446771A
Application number: CN201810283548.XA
Authority: CN
Inventors: 罗小娅; 李柯
Original assignee: Sichuan Changhong Electric Co Ltd
Current assignee: Sichuan Changhong Electric Co Ltd
Priority date: 2018-04-02
Filing date: 2018-04-02
Publication date: 2018-08-24

Abstract

本发明公开了一种防止销售预测模型过拟合的方法，由销售预测模型算法选择与建立、销售预测模型训练及测试、模型过拟合问题处理三部分组成，销售预测模型算法选择与建立是根据已经准备好的建模数据选择算法，建立模型，销售预测模型训练及测试是根据建立好的算法，通过对历史数据的机器学习，发现并掌握数据规律，再根据模型训练探索出来的数据规则，对测试集的数据进行验证，模型过拟合问题处理是使用正则化技术方法对模型出现的过拟合问题进行处理。本发明的方法根据已知数据即历史数据寻找模型参数、寻找数据规律，不断的训练不断的试错；从种子数据中培养模型规则，深度学习训练，以满足真实业务预测。

Description

一种防止销售预测模型过拟合的方法

技术领域

本发明涉及大数据应用技术领域，特别涉及一种防止销售预测模型过拟合的方法。

背景技术

随着大数据广泛应用，在数据挖掘或者机器学习模型建立的时候，在统计学习中，假设数据满足独立同分布，即当前已产生的数据可以对未来的数据进行推测与模拟，因此使用历史数据建立模型，即使用已经产生的数据去训练模型，然后使用该模型去拟合未来的数据。

但是一般独立同分布的假设往往不成立，即数据的分布可能会发生变化，并且可能当前的数据量过少，不足以对整个数据集进行分布估计，因此往往需要防止模型过拟合，提高模型泛化能力。

在对模型进行训练时，有可能遇到训练数据不够，即训练数据无法对整个数据的分布进行估计的时候，或者在对模型进行过度训练时，常常会导致模型的过拟合，表现为对历史训练数据表现很好，对新数据/测试数据表现学习很差。即销售预测数据模型在训练集中表现很好，但是应用到真实业务实践中效果不尽人意，即销售预测模型对样本数据拟合对很好，但样本外的实际应用数据拟合效果差。

其主要造成原因有：建模样本抽取错误；数据有噪声；训练数据不足，有限的训练数据；训练模型过度导致模型非常复杂。

传统的过拟合处理办法主要有：第一，依靠增加样本数据，但在历史数据有限情况下此法不太适用；第二，谨慎使用神经网络等要求高的数据模型，但此方法会造就模型算法准确度降低；第三，人为分割训练集合验证集的比例，这需要建模人员主观经验；第四，减少变量数量，这会影响模型的精度。

发明内容

本发明的目的是克服上述背景技术中不足，提供一种防止销售预测模型过拟合的方法，可防止算法模型对样本学习过程中，建模样本抽样、样本噪声数据干扰、算法模型搭建发生过拟合，避免大幅度降低模型的效果和效率。

为了达到上述的技术效果，本发明采取以下技术方案：

一种防止销售预测模型过拟合的方法，具体包含以下步骤：

A.销售预测模型算法选择：

A1.对销售预测业务进行调研分析，梳理销售预测模型目标，确定业务模型类型及数量、确定目标模型最低精准度；

A2.销售预测模型算法选择：根据业务需求及销售数据特性，以精准度为首要要求配置多种适合的算法；

B.建立业务活动销售预测模型：

确定选择的模型算法，从mysql数据库中获取建模数据，并在R语言上使用选择的算法建立销售预测模型；

C.销售预测模型训练及测试：

C1.将已有的历史数据划分为训练集和测试集；

C2.训练集中包含标注有学习目标的标注数据，通过建立模型的算法学习器分析标注数据的规律尝试拟合出销量、销售额与标注数据之间的函数关系得到目标函数或代价函数；

D.通过测试集对训练好的销售预测算法模型进行验证：

在已经训练好的销售预测模型输入测试集的数据进行模型计算验证，并把计算结果与实际测试集中结果数据对比，分析模型的过拟合程度；

E.对销售预测模型的过拟合问题进行处理：

通过使用正则化方法进行目标函数或代价函数优化，在目标函数或代价函数后面加上一个正则项，其中，正则化方法包含L1正则化方法、L2正则化方法，正则项有L1范数和项与L2范数和项两种；

E1.通过L1正则化方法对目标函数或代价函数进行优化时是在目标函数或代价函数后面加上L1范数和项，L1范数和项的计算公式：

E2.通过L2正则化方法对目标函数或代价函数进行优化时是在目标函数或代价函数后面加上参数的L2范数和项，L2范数和项的计算公式：

上述计算公式中，其中，C₀为目标函数或代价函数，n是样本的个数，λ是正则项系数，w为权重；

本发明的防止销售预测模型过拟合的方法主要由销售预测模型算法选择与建立、销售预测模型训练及测试、模型过拟合问题处理三部分组成，销售预测模型算法选择与建立是根据已经准备好的建模数据选择算法，建立模型，销售预测模型训练及测试是根据建立好的算法，通过对历史数据的机器学习，发现并掌握数据规律，再根据模型训练探索出来的数据规则，对测试集的数据进行验证，模型过拟合问题处理是使用正则化技术方法对模型出现的过拟合问题进行处理；

本发明的方法中，采用正则化方法，在进行目标函数或代价函数优化时，在目标函数或代价函数后面加上一个正则项，一般有L1正则与L2正则，即在不减少建模变量的情况下，为了降低模型的复杂度，避免模型去过分拟合训练数据，增加对噪声与异常点的抗干扰能力，从贝叶斯学角度来分析：加了先验，在数据少的时候，先验知识可以防止过拟合；从频率学角度来分析：正则项限定了参数的取值，从而提高了模型的稳定性，而稳定性强的模型不会过拟合，即控制模型空间。

进一步地，在所述L1正则化方法中，权重w的梯度计算公式为：

其中，sgn(w)表示w的符号；

权重w的更新规则为：

进一步地，在所述L2正则化方法中，权重w的梯度计算公式为：

权重w的更新规则为：

进一步地，在所述步骤A2中包含的算法至少有决策树、随机森林、神经网络算法。

进一步地，在所述步骤B中从mysql数据库中获取的建模数据至少包含销售数据、工厂数据、市场数据、行业数据、宏观政策数据。

本发明与现有技术相比，具有以下的有益效果：

通过本发明的防止销售预测模型过拟合的方法，可防止算法模型对样本学习过程中，建模样本抽样、样本噪声数据干扰、算法模型搭建发生过拟合，避免大幅度降低模型的效果和效率，通过该方法的多媒体真实销售预测结果可靠，减少了干扰，更适用于实际业务场景。

附图说明

图1为普拉斯分布的示意图；

图2为高斯分布的示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

本实施在销售预测模型建立过程中，系统销售数据输入是以2015年开始为有效数据输入，2014年及2013年人为因素过重不易作为样本数据，要预测2017年11月份的销量，只有2105年11月和2016年11月的销量作为趋势规律特征数据，2016年11月的销量因人为原因出现非正常规律，那么预测出来2017年11月的预测就会有严重的噪声和不准确性。算法模型搭建过程中就需要针对变量的有效性进行查验。

则本发明的一种防止销售预测模型过拟合的方法，具体包含以下步骤：

步骤1：针对多媒体销售预测业务选择算法:

步骤1.1建模业务梳理；对多媒体销售预测业务进行调研分析，梳理出销售预测模型目标，总部大盘、总部分型号；分公司大盘、分公司分型号；客户大盘、客户分型号、客户分尺寸等共28个业务模型；确定模型的目标是精准度高达87％及以上

步骤1.2建模算法选择；针对业务的需求，以及精准度和可解释性的平衡中精准度为首要要求的标准，选择适合的几种算法配置，可选择的算法模型包括决策树、随机森林、神经网络；其中决策树和随机森林属于精准度和可解释性较平衡；神经网络属于深度学习，精准度高但可解释性低。

步骤2在R语言(R语言是用于统计分析、图形表示、报告的编程语言和软件环境)中使用决策树、随机森林、神经网络算法建立模型：

从数据库mysql中获取建模准备好的数据，包括销售数据、工厂数据、市场数据、行业数据、宏观政策等，利用选取的建立决策树、随机森林、神经网络算法构建模型。

步骤3对建立的销售预测模型进行训练：

步骤3.1把已有历史数据划分训练集和测试验证集，其中，训练集的数据用于准备一个模型并对销售预测模型进行训练的；测试集的数据用于对训练后的销售预测模型的验证。

步骤3.2根据已知数据即历史数据寻找模型参数、寻找数据规律，不断的训练不断的试错；即将训练集里带有标注(学习目标)的数据，通过建立模型的算法学习器分析数据的规律尝试拟合出销量、销售额与训练集的带有标注(学习目标)的数据之间的函数关联关系，使得定义在训练集上的总体误差尽可能的小，从而利用学得的函数来预测未知数据的学习方法，从种子数据中培养模型规则，深度学习训练，以满足真实业务预测，本实施例中具体利用学得的函数来预测未来M+3(未来三个月)的(大盘、分公司、客户)销量、销售额数据。

步骤4对训练好的销售预测算法模型进行验证：

已经训练好的销售预测算法模型，输入测试集的数据进行模型计算验证，并把计算结果与实际测试集中保留的输出值进行比较，分析模型的过拟合程度。

步骤5对模型的过拟合问题进行处理：

通过使用正则化方法，在进行目标函数或代价函数优化时，在目标函数或代价函数后面加上一个正则项，一般有L1正则项与L2正则项两种。L1正则是拉普拉斯先验，其分布示意图如图1所示，而L2正则是高斯先验，其分布示意图如图2所示。

其中，L1正则化方法是基于L1范数，即在目标函数或代价函数后面加上参数的L1范数和项，即参数绝对值和与参数的积项，即其中C₀代表原始的代价函数，n是样本的个数，λ就是正则项系数，权衡正则项与C₀项的比重；

后面那一项即为L1正则项，在计算梯度时，w的梯度变为：sgn(w)表示w的符号，此时，权重w的更新规则为：比原始的更新规则多出了η*λ*sgn(w)/n这一项，则当w为正时，更新后w会变小；当w为负时，更新后w会变大；因此L1正则项是为了使得那些原先处于零(即|w|≈0)附近的参数w往零移动，使得部分参数为零，使让w趋向于0，使网络中的权重尽可能为0，减小网络复杂度，从而降低模型的复杂度(模型的复杂度由参数决定)，从而防止过拟合，提高模型的泛化能力。

当L1拉普拉斯在最高点，即自变量|w|为0处不可导，不便于计算，于是L2高斯在这基础上使用高斯分布对其进行拟合。

L2正则化方法是基于L2范数，即在目标函数或代价函数后面加上参数的L2范数和项，即参数的平方和与参数的积项，即其中C₀代表原始的目标函数或代价函数，n是样本的个数，与L1正则化项前面的参数不同的是，L2正则化方法的参数乘了2，是为了便于计算以及公式的美感性，因为平方项求导有个2，λ就是正则项系数，权衡正则项与C₀项的比重，后面那一项即为L2正则项。

先计算导数：L2正则化项对b的更新没有影响，对于w的更新有影响：

在不使用L2正则化时，求导结果中w前系数为1，现在w前面系数为1-(ηλ)/n，因为η、λ、n都是正的，所以1-ηλ/n小于1，它的效果是减小w。更小的权值w，网络的复杂度更低，对数据的拟合刚刚好。

L2正则项起到使得参数w变小加剧的效果，更小的参数值w意味着模型的复杂度更低，对训练数据的拟合刚刚好，不会过分拟合训练数据，以提高模型的泛化能力，从而使用正则化方式处理模型过拟合问题。

因此，本发明的方法根据已知数据即历史数据寻找模型参数、寻找数据规律，不断的训练不断的试错；从种子数据中培养模型规则，深度学习训练，以满足真实业务预测。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims

1.一种防止销售预测模型过拟合的方法，其特征在于，具体包含以下步骤：

A.销售预测模型算法选择：

B.建立业务活动销售预测模型：

C.销售预测模型训练及测试：

C1.将已有的历史数据划分为训练集和测试集；

D.通过测试集对训练好的销售预测算法模型进行验证：

E.对销售预测模型的过拟合问题进行处理：

上述计算公式中，其中，C₀为目标函数或代价函数，n是样本的个数，λ是正则项系数，w为权重。

2.根据权利要求1所述的一种防止销售预测模型过拟合的方法，其特征在于，在所述L1正则化方法中，权重w的梯度计算公式为：

其中，sgn(w)表示w的符号；

权重w的更新规则为：。

3.根据权利要求1所述的一种防止销售预测模型过拟合的方法，其特征在于，在所述L2正则化方法中，权重w的梯度计算公式为：

权重w的更新规则为：

4.根据权利要求1所述的一种防止销售预测模型过拟合的方法，其特征在于，在所述步骤A2中包含的算法至少有决策树、随机森林、神经网络算法。

5.根据权利要求1所述的一种防止销售预测模型过拟合的方法，其特征在于，在所述步骤B中从mysql数据库中获取的建模数据至少包含销售数据、工厂数据、市场数据、行业数据、宏观政策数据。