CN107563705A - 利用大数据分析家电产品安全库存及再订货的系统和方法 - Google Patents

Abstract

本发明属于大数据应用技术领域，其公开了一种利用大数据分析家电产品安全库存及再订货的系统和方法，综合考虑供应链整条链路上对于库存影响因素的历史数据及其权重影响，准确动态的计算不同时期安全库存量及再订货点。其包括步骤：a.将最底层各业务系统数据、第三方网站数据及部分手工数据，通过不同的方式引入数据库存储，并按照模型提出的数据要求进行ETL处理；b.根据已经准备好的数据开始建模工作，基于决策树、神经网络多种算法模型，通过深度学习发现规律确定安全库存量；c.根据动态安全库存模型算法输出结果结合相关原数据进行建模计算，确定再订货点；d.对确定的安全库存量和再订货点进行可视化展示。

Description

利用大数据分析家电产品安全库存及再订货的系统和方法

技术领域

本发明属于大数据应用技术领域，具体涉及一种利用大数据分析家电产品安全库存及再订货的系统和方法。

背景技术

库存管理是现代化企业经营管理中的一个重要环节。必要的库存量是生产和销售得以顺利进行的保证。库存不足将使生产停工待料产生损失；商业销售中常因库存不足而产生脱销，将给商店带来机会损失及信誉上的打击。因此生产部门和销售部门希望有足够多的库存，以避免这种损失，但库存的积压造成大量金额的占用，合理的库存量与库存结构是供应链环节重点。根据历史销售、存货周转目标、营销策略等数据构建动态安全库存模型，对安全库存量及库存结构进行合理的建议。

安全库存的确定是建立在数理统计理论基础上的。首先，假设库存的变动是围绕着平均消费速度发生变化，大于平均需求量和小于平均需求量的可能性各占一半，缺货概率为50％。安全库存越大，出现缺货的可能性越小；但库存越大，会导致剩余库存的出现。应根据不同物品的用途以及客户的要求，将缺货保持在适当的水平上，允许一定程度的缺货现象存在。安全库存的量化计算可根据顾客需求量固定、需求量变化、提前期固定、提前期发生变化等情况，利用正态分布图、标准差、期望服务水平等来求得。

传统安全库存计算仅基于销售订货量进行标准化计算，其未综合考虑供应链整条链路上对于库存影响因素的历史数据及其权重影响，无法准确动态的计算不同时期安全库存量。

发明内容

本发明所要解决的技术问题是：提出一种利用大数据分析家电产品安全库存及再订货的系统和方法，综合考虑供应链整条链路上对于库存影响因素的历史数据及其权重影响，准确动态的计算不同时期安全库存量及再订货点。

本发明解决上述技术问题采用的技术方案是：

利用大数据分析家电产品安全库存及再订货的系统，包括数据处理模块、动态安全库存模型算法模块、再订货点模型算法模块、安全库存及再订货数据可视化展示模块；

所述数据处理模块，用于将最底层各业务系统数据、第三方网站数据及部分手工数据，通过不同的方式引入数据库存储，并按照模型提出的数据要求进行ETL处理；

所述动态安全库存模型算法模块，用于根据已经准备好的数据开始建模工作，基于决策树、神经网络多种算法模型，通过深度学习发现规律确定安全库存量；

所述再订货点模型算法模块，用于根据动态安全库存模型算法输出结果结合相关原数据进行建模计算，确定再订货点；

安全库存及再订货数据可视化展示模块，用于对确定的安全库存量和再订货点进行可视化展示。

此外，基于上述系统，本发明还提供了一种利用大数据分析家电产品安全库存及再订货的方法，其包括以下步骤：

a.将最底层各业务系统数据、第三方网站数据及部分手工数据，通过不同的方式引入数据库存储，并按照模型提出的数据要求进行ETL处理；

b.根据已经准备好的数据开始建模工作，基于决策树、神经网络多种算法模型，通过深度学习发现规律确定安全库存量；

c.根据动态安全库存模型算法输出结果结合相关原数据进行建模计算，确定再订货点；

d.对确定的安全库存量和再订货点进行可视化展示。

作为进一步优化，步骤a中，所述将最底层各业务系统数据、第三方网站数据及部分手工数据，通过不同的方式引入数据库存储，具体包括：

将业务系统数据脚本接口写入mysql数据库；

通过java将excel格式的数据导入mysql数据库；

通过网络爬虫将国家统计局、工商局网数据写入mysql数据库。

作为进一步优化，步骤a中，所述按照模型提出的数据要求进行ETL处理，具体包括：

对数据进行标准化处理，数据标准化处理，结果数据继续存储在数据库中供模型算法使用；标准化采用Min-max标准化处理方案或者z-score标准化处理方案，结果数据继续存储在数据库中供模型算法使用。

作为进一步优化，步骤b具体包括：

b1.指标体系建立：根据影响安全库存的因素数据，使用指标体系建立的特征选择流程进行指标特征的筛选和组合，输出适用于动态安全库存模型的指标特征体系；

b2.模型学习：模型从数据库sql中获取历史销售、历史销售波动、补货速度、补货速度波动、行业数据、系统参数，在R上进行模型建立及计算，并将结果输入数据库mysql中；使用的模型包括决策树、随机森林、神经网络等多种模型；

b3.模型评价分析：过对指标的不断优化，对多种模型的不断训练，根据安全库存量输出结果评价分析，选择可靠的适合的动态安全库存算法模型，所述评估方法采用AIC&BIC准则进行模型评估。

作为进一步优化，步骤b1中，所述影响安全库存的因素包括：需求、提前期、服务水平、预测误差；

其中，需求是指消费者消费的物料数，为独立的随机变量；

提前期是指再订货点达到的时间与库存可得的时间之间的延迟；

服务水平是指在提前期内存货不售完的期望概率；

预测误差是指实际需求和预测预测的差值的估计。

作为进一步优化，步骤c具体包括：

c1.指标体系建立：根据影响再订货点的因素数据，使用指标体系建立的特征选择流程进行指标特征的筛选和组合，输出适用于再订货点模型的指标特征体系；

c2.模型学习：模型从数据库sql中获取销售预测结果、现有库存、动态安全库存、在途数量、行业数据、系统参数，在R上进行建模计算，并将结果输入数据库mysql中，所述模型包括神经网络、随机森林、决策树等多种模型；

c3.模型评价分析：通过对指标的不断优化，对模型的不断训练，根据再订货周期及批量输出结果评价分析选择可靠的适合的再订货算法模型，评估方法采用AIC&BIC准则进行模型评估。

作为进一步优化，步骤c1中，所述影响再订货点的因素包括：

销售预测数据、动态安全库存数据、现有库存数据、供应商行业信息数据、物流配送信息数据。

作为进一步优化，步骤d中，所述对确定的安全库存量和再订货点进行可视化展示，具体包括：

以查询工具栏、图表和表格的形式进行展示，并支持web终端、app及大屏接口数据展示。

作为进一步优化，步骤b1和c1中所述特征选择流程包括：

对于给定特征集合{X₁，X₂，...，X_n}，特征选择的流程具体如下：

以不包含任何变量的模型为起点，将每个特征视作一个候选子集，对这n个候选单特征子集，通过与Y构建回归模型，比较AIC/BIC值进行评价，假定{X₂}最优，于是将{X₂}作为第一轮的选定集；在上一轮的选定集中加入一个特征，构成包含两个特征的候选子集，假定在这n-1个候选两特征子集中{X₂，X₄}最优，且优于{X₂}，于是将{X₂，X₄}作为本轮的选定集；依此类推，逐个加入特征，逐轮选出选定集；

假定在第k+1轮时，最优的候选(k+1)特征子集不如上一轮的选定集，则停止生成候选子集，并将上一轮选定的k特征集合作为特征选择结果。

本发明的有益效果是：考虑了库存周转过程中的不确定因素，如订货需求、到货延期等，将导致更高的预期需求或导致完成周期更长的缓冲存货，以月为时间维度，以总部、分公司为组织维度，以型号为产品维度，基于数理统计模型计算安全库存，以达到数量精准化。指导采购、生产进行准确生产计划、工厂库存、商业库存、物流配送管理，及时高效提供预警服务及再订货点的确定。从而提高安全库存及再订货确定的及时和精准性，降低库存提高库存周转率，同时避免产品脱销出现。

附图说明

图1为本发明的系统数据各个模块之间的数据流向图；

图2为动态安全库存及再订货输出结果可视化展示示意图。

具体实施方式

本发明旨在提出一种利用大数据分析家电产品安全库存及再订货的系统和方法，综合考虑供应链整条链路上对于库存影响因素的历史数据及其权重影响，准确动态的计算不同时期安全库存量及再订货点。

在具体实现上，本发明中的系统包括：数据处理模块、动态安全库存模型算法模块、再订货点模型算法模块、安全库存及再订货数据可视化展示模块；

所述数据处理模块，用于将最底层各业务系统数据、第三方网站数据及部分手工数据，通过不同的方式引入数据库存储，并按照模型提出的数据要求进行ETL处理；

所述动态安全库存模型算法模块，用于根据已经准备好的数据开始建模工作，基于决策树、神经网络多种算法模型，通过深度学习发现规律确定安全库存量；

所述再订货点模型算法模块，用于根据动态安全库存模型算法输出结果结合相关原数据进行建模计算，确定再订货点；

安全库存及再订货数据可视化展示模块，用于对确定的安全库存量和再订货点进行可视化展示。

上述各个模块之间的数据流向参见图1，最底层各业务系统数据、第三方网站数据及部分手工数据通过不同的方式引入数据库存储，动态安全库模型和再订货点模型从数据库中读取所需数据进行运算，然后将运算结果存入数据库中，同时将结果进行可视化展示。

基于上述系统，本发明实现的利用大数据分析家电产品安全库存及再订货的方法，包括以下步骤：

A.将最底层各业务系统数据、第三方网站数据及部分手工数据，通过不同的方式引入数据库存储，并按照模型提出的数据要求进行ETL处理；

A1、数据准备：各业务系统通过脚本接口进入mysql数据库中；第三方数据excel通过java程序形式读取和写入mysql中；国家统计局行业数据、供应商企业信息变动数据、工商局数据通过定制抓去页面信息爬虫的方式获取写入mysql中；

A2、数据处理：由模型组提出数据要求，针对数据库mysql中的数据进行ETL工作，包括数据标准化处理，结果数据继续存储在数据库中供模型算法使用；

常用的标准化方法有以下两种：

Min-max标准化(min-max normalization)

是对原始数据的线性变化，使结果落在[0,100]区间，转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值。

z-score标准化(z-score normalization)

经过处理的数据符合正态分布，即均值为0，标准差为1，其转化函数为：

其中为所有样本数据的均值，为所有样本数据的标准差。

B.根据已经准备好的数据开始建模工作，基于决策树、神经网络多种算法模型，通过深度学习发现规律确定安全库存量；

B1、指标体系建立：根据影响安全库存的因素数据，使用指标体系建立的特征选择流程进行指标特征的筛选和组合，输出适用于动态安全库存模型的指标特征体系；

指标体系建立：给定特征集合{X₁，X₂，...，X_n}，特征选择的流程具体如下：

以不包含任何变量的模型为起点，将每个特征视作一个候选子集，对这n个候选单特征子集，通过与Y构建回归模型，比较AIC/BIC值进行评价，假定{X₂}最优，于是将{X₂}作为第一轮的选定集；在上一轮的选定集中加入一个特征，构成包含两个特征的候选子集，假定在这n-1个候选两特征子集中{X₂，X₄}最优，且优于{X₂}，于是将{X₂，X₄}作为本轮的选定集；依此类推，逐个加入特征，逐轮选出选定集；

假定在第k+1轮时，最优的候选(k+1)特征子集不如上一轮的选定集，则停止生成候选子集，并将上一轮选定的k特征集合作为特征选择结果。

B2、模型学习：模型从数据库sql中获取历史销售、历史销售波动、补货速度、补货速度波动、行业数据、系统参数，在R上进行模型建立及计算，并将结果输入数据库mysql中；使用的模型包括决策树、随机森林、神经网络等多种模型；

决策树模型原理：

通过训练数据，形成if-then规则集合；

由根节点到叶节点的每一条路径构成规则；

对结果变量有主要解释作用的特征会先分裂形成规则；

回归树用平方误差最小化准则，节结点为单元内数值的平均值.

神经网络模型原理：

具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境(即输入信号情况)而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。

B3、模型评价分析：过对指标的不断优化，对多种模型的不断训练，根据安全库存量输出结果评价分析，选择可靠的适合的动态安全库存算法模型，所述评估方法采用AIC&BIC准则进行模型评估。

在具体实现上，通过对指标的不断优化，对多种模型的不断训练，根据安全库存量输出结果评价分析选择可靠的适合的动态安全库存算法模型。如何来衡量测试的结果，这就是性能的度量。一般通过比较f(x)预测结果与真实标记y来评估学习器f的性能。评估方法一般采用AIC&BIC准则进行模型评估：

1、AIC准则是评估统计模型的复杂度和衡量统计模型拟合优度的一种标准:

AIC＝-2ln_L_+2p

其中L是在相应模型下的最大似然估计值，p是模型的变量个数。

增加变量的数目提高了拟合的优良性，但可能造成过度拟合的情况。AIC鼓励数据拟合的优良性但是尽量避免出现过度拟合(overfitting)的情况。AIC值越小，模型越好。AIC准则是寻找可以最好地解释数据但包含最少自由参数的模型。

2、BIC准则是依贝叶斯理论提出的一种模型选择准则。

BIC＝-2ln_L_+ln(n)p

其中L是在相应模型下的最大似然估计值，n是样本量，p是模型的变量个数。BIC值越小，模型越好。AIC准则倾向于过拟合，BIC准则倾向于欠拟合，BIC选出的模型相对于AIC的更为精简。

C.根据动态安全库存模型算法输出结果结合相关原数据进行建模计算，确定再订货点；

C1、指标体系建立：根据影响再订货点的因素数据，使用指标体系建立的特征选择流程进行指标特征的筛选和组合，输出适用于再订货点模型的指标特征体系；

C2、模型学习：模型从数据库sql中获取销售预测结果、现有库存、动态安全库存、在途数量、行业数据、系统参数，在R上进行建模计算，并将结果输入数据库mysql中，所述模型包括神经网络、随机森林、决策树等多种模型；

C3、模型评价分析：通过对指标的不断优化，对模型的不断训练，根据再订货周期及批量输出结果评价分析选择可靠的适合的再订货算法模型，评估方法采用AIC&BIC准则进行模型评估。

可以看出，再订货点模型与动态安全库模型相比，模型建立指标体系不同、数据源不同；模型建立流程及评价指标与动态安全库存模型采用的技术方法均一致。

D.对确定的安全库存量和再订货点进行可视化展示。

以查询工具栏、图表和表格的形式进行展示，支持web终端、app及大屏接口数据展示。可视化展示的一个示例如图2所示，其为以图形的方式展示。

实施例：

本实施例中的利用大数据分析家电产品安全库存及再订货的方法，包括以下步骤：

步骤一、确定动态安全库存确定目标：

本发明确定模型对象为有淡旺季特征的家电产品的动态安全库存及再订货确定；周期月度，M+3，粒度产品型号；模型需要精准度高，且具备一定可解释性；为保证模型计算效果，模型对象数据的需要设置些过滤条件，本阶段规则：产品型号的历史销量数据在过去完整12个月月份中至少有6个月的月销量大于10；或近3个月的月销量均大于20；或近6个月的销量占总销量的1/6以上。以此筛选出可预测有效机型，再进行有效机型的动态安全库存及再订货建模。

步骤二、数据处理：

1)准备数据接口接入系统内部产销存数据、物流配送数据、线下零售数据、历史型号迭代过渡分析数据存入数据库mysql；爬虫获取供应商行业数据、外部宏观数据、消费者行为数据，以及额外天气数据、经纬度数据、节假日数据等存入数据库mysql；数据excel直接导入数据库mysql；

2)数据的探索对数据检查和理解，比如库存量为负值、星期数大于8等；对结果变量的分析，包括销售及库存分布、库存周转率、缺货率等；对模型变量的分析，包括变量筛选、多重共线性、相关性；

3)数据预处理：标准化

在指标特征选择前，对与库存量有关的指标进行标准化处理，包括对指标数据(历史销售订单、历史采购订单、历史物流信息、供应商行业数据、外部宏观数据、消费者行为数据、节假日等)的数据格式、数据内容、结构化/半结构化/非结构化数据。

通过数据ETL(探索、预处理)的处理，输出模型符合模型组要求的数据及数据格式，以备模型适用。

步骤三、指标特征选择，建立指标体系：

影响安全库存的因素有：

需求：消费者消费的物料数，通常为独立的随机变量；

提前期：再订货点(初始化的库存水平)达到的时间与库存可得的时间之间的延迟；

服务水平：在提前期内存货不售完的期望概率。如果服务水平增加，所需安全库存也随之增加。

预测误差：实际需求和预测预测的差值的估计。

影响再订货的因素有：销售预测、动态安全库存、现有库存、供应商行业信息、物流配送信息

根据上述因素数据使用指标体系建立的特征选择流程进行指标特征的筛选和组合，输出适用于动态安全库存模型和再订货点模型分别的指标特征体系。

步骤四、动态安全库存模型及再订货模型建立、学习、评价分析：

假设在连续单位时间内，需求是独立同分布的随机变量，服从高斯分布，安全库存则可计算如下：

其中：

α是指服务水平，z_α是指在累计概率α下，标准高斯分布的逆分布函数；例如，95％的服务水平下，z_α＝1.65。

E(L)和σ_L分别指提前期的均值和标准差。

E(D)和σ_D分别指单位时间内，需求的均值和标准差。

继而再订货点可计算如下：

其中，是指提前期内的平均需求。第二项是指安全库存。如果提前期是确定的，也就是说σ_L＝0，那么ROP公式将为：

以此计算出安全库存及再订货点的数据结果，过程中对多种模型不断优化、对模型指标数据不断优化，模型不断机器学习，根据安全库存量计再订货点输出结果，通过AIC/BIC准则评价分析，选择可靠的适合的动态安全库存算法模型，进行安全库存量及再订货点的结果计算数据输出。

步骤五、安全库存及再订货数据结果可视化展示：

动态安全库存模型和再订货模型的结果存放在数据库mysql中，需要展示结果数据的web或者其他终端系统从数据库mysql中读取数据，包括实际库存及安全库存对比展示、补货预警、补货周期及批量，以查询工具栏、图表和表格的形式进行展示。Web终端、app或者大屏展示。

Claims (10)

1.利用大数据分析家电产品安全库存及再订货的系统，其特征在于，包括数据处理模块、动态安全库存模型算法模块、再订货点模型算法模块、安全库存及再订货数据可视化展示模块；

所述数据处理模块，用于将最底层各业务系统数据、第三方网站数据及部分手工数据，通过不同的方式引入数据库存储，并按照模型提出的数据要求进行ETL处理；

所述动态安全库存模型算法模块，用于根据已经准备好的数据开始建模工作，基于决策树、神经网络多种算法模型，通过深度学习发现规律确定安全库存量；

所述再订货点模型算法模块，用于根据动态安全库存模型算法输出结果结合相关原数据进行建模计算，确定再订货点；

安全库存及再订货数据可视化展示模块，用于对确定的安全库存量和再订货点进行可视化展示。

2.利用大数据分析家电产品安全库存及再订货的方法，其特征在于，包括以下步骤：

a.将最底层各业务系统数据、第三方网站数据及部分手工数据，通过不同的方式引入数据库存储，并按照模型提出的数据要求进行ETL处理；

b.根据已经准备好的数据开始建模工作，基于决策树、神经网络多种算法模型，通过深度学习发现规律确定安全库存量；

c.根据动态安全库存模型算法输出结果结合相关原数据进行建模计算，确定再订货点；

d.对确定的安全库存量和再订货点进行可视化展示。

3.如权利要求2所述的利用大数据分析家电产品安全库存及再订货的方法，其特征在于，步骤a中，所述将最底层各业务系统数据、第三方网站数据及部分手工数据，通过不同的方式引入数据库存储，具体包括：

将业务系统数据脚本接口写入mysql数据库；

通过java将excel格式的数据导入mysql数据库；

通过网络爬虫将国家统计局、工商局网数据写入mysql数据库。

4.如权利要求2所述的利用大数据分析家电产品安全库存及再订货的方法，其特征在于，步骤a中，所述按照模型提出的数据要求进行ETL处理，具体包括：

对数据进行标准化处理，数据标准化处理，结果数据继续存储在数据库中供模型算法使用；标准化采用Min-max标准化处理方案或者z-score标准化处理方案，结果数据继续存储在数据库中供模型算法使用。

5.如权利要求2所述的利用大数据分析家电产品安全库存及再订货的方法，其特征在于，步骤b具体包括：

b1.指标体系建立：根据影响安全库存的因素数据，使用指标体系建立的特征选择流程进行指标特征的筛选和组合，输出适用于动态安全库存模型的指标特征体系；

b2.模型学习：模型从数据库sql中获取历史销售、历史销售波动、补货速度、补货速度波动、行业数据、系统参数，在R上进行模型建立及计算，并将结果输入数据库mysql中；使用的模型包括决策树、随机森林、神经网络等多种模型；

b3.模型评价分析：过对指标的不断优化，对多种模型的不断训练，根据安全库存量输出结果评价分析，选择可靠的适合的动态安全库存算法模型，所述评估方法采用AIC&BIC准则进行模型评估。

6.如权利要求5所述的利用大数据分析家电产品安全库存及再订货的方法，其特征在于，步骤b1中，所述影响安全库存的因素包括：需求、提前期、服务水平、预测误差；

其中，需求是指消费者消费的物料数，为独立的随机变量；

提前期是指再订货点达到的时间与库存可得的时间之间的延迟；

服务水平是指在提前期内存货不售完的期望概率；

预测误差是指实际需求和预测预测的差值的估计。

7.如权利要求2所述的利用大数据分析家电产品安全库存及再订货的方法，其特征在于，步骤c具体包括：

c1.指标体系建立：根据影响再订货点的因素数据，使用指标体系建立的特征选择流程进行指标特征的筛选和组合，输出适用于再订货点模型的指标特征体系；

c2.模型学习：模型从数据库sql中获取销售预测结果、现有库存、动态安全库存、在途数量、行业数据、系统参数，在R上进行建模计算，并将结果输入数据库mysql中，所述模型包括神经网络、随机森林、决策树等多种模型；

c3.模型评价分析：通过对指标的不断优化，对模型的不断训练，根据再订货周期及批量输出结果评价分析选择可靠的适合的再订货算法模型，评估方法采用AIC&BIC准则进行模型评估。

8.如权利要求7所述的利用大数据分析家电产品安全库存及再订货的方法，其特征在于，步骤c1中，所述影响再订货点的因素包括：

销售预测数据、动态安全库存数据、现有库存数据、供应商行业信息数据、物流配送信息数据。

9.如权利要求2所述的利用大数据分析家电产品安全库存及再订货的方法，其特征在于，步骤d中，所述对确定的安全库存量和再订货点进行可视化展示，具体包括：

以查询工具栏、图表和表格的形式进行展示，支持web终端、app及大屏接口数据展示。

10.如权利要求5或7所述的利用大数据分析家电产品安全库存及再订货的方法，其特征在于，步骤b1和c1中所述特征选择流程包括：

对于给定特征集合{X₁，X₂，...，X_n}，特征选择的流程具体如下：

以不包含任何变量的模型为起点，将每个特征视作一个候选子集，对这n个候选单特征子集，通过与Y构建回归模型，比较AIC/BIC值进行评价，假定{X₂}最优，于是将{X₂}作为第一轮的选定集；在上一轮的选定集中加入一个特征，构成包含两个特征的候选子集，假定在这n-1个候选两特征子集中{X₂，X₄}最优，且优于{X₂}，于是将{X₂，X₄}作为本轮的选定集；依此类推，逐个加入特征，逐轮选出选定集；

假定在第k+1轮时，最优的候选(k+1)特征子集不如上一轮的选定集，则停止生成候选子集，并将上一轮选定的k特征集合作为特征选择结果。