CN114723474A - 基于电商商品库存量推算销量的方法及系统 - Google Patents

Abstract

本发明公开了基于电商商品库存量推算销量的方法及系统，属于电商平台技术领域，要解决的技术问题为如何针对平台商品库存数来推算销量，计算该平台的网络零售量及零售额。包括如下步骤：采集电商平台的商品数据，包括商品销售量、商品库存量、商品价格以及商品评价，并将所述商品数据存储至HDFS；对所述商品数据进行数据清洗，去除无效字符，并标准化字段值，得到规范的商品数据；所述商品数据包括商品销售量时，基于商品的月销售量以及商品价格计算商品销量；所述商品数据不包括商品销售量时，引入离散率处理商品库存量的偏差，并基于商品库存量推算商品数据；将所述商品数据以及商品销售量入库，并生成离线报告。

Description

基于电商商品库存量推算销量的方法及系统

技术领域

本发明涉及电商平台技术领域，具体地说是基于电商商品库存量推算销量 的方法及系统。

背景技术

直播带货的兴起，为电子商务的发展注入了新的活力。电子商务基础设施 日益完善，电子商务对经济和社会影响日益强劲，电子商务在“基础设施”之 上进一步催生出新的商业生态和新的商业景观，进一步影响和加速传统产业的 “电子商务化”，促进和带动经济整体转型升级，电子商务经济体开始兴起。

依据网络零售的发展现状，为了满足数据分析需求，给大家提供相对完善 的电商数据报告，方便数据分析师汇总网络零售数据，洞察市场发展方向。面 对各个平台的不同销量计算口径，我们针对不同平台的销量口径制定对应的计 算方法，平台展示月销量的相对比较简单，如果平台没有展示的月销量，而是 每日的库存数，这种情况只能进行推算月销量。

如何针对平台商品库存数来推算销量，计算该平台的网络零售量及零售额， 是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供基于电商商品库存量推算销量的 方法及系统，来解决如何针对平台商品库存数来推算销量，计算该平台的网络 零售量及零售额的问题。

第一方面，本发明基于电商商品库存量推算销量的方法，包括如下步骤：

采集电商平台的商品数据，包括商品销售量、商品库存量、商品价格以 及商品评价，并将所述商品数据存储至HDFS；

对所述商品数据进行数据清洗，去除无效字符，并标准化字段值，得到 规范的商品数据；

所述商品数据包括商品销售量时，基于商品的月销售量以及商品价格计 算商品销量；所述商品数据不包括商品销售量时，引入离散率处理商品库存 量的偏差，并基于商品库存量推算商品数据；

将所述商品数据以及商品销售量入库，并生成离线报告。

作为优选，基于Scrapy采集框架，通过爬取数据的方式采集电商平台 的商品数据。

作为优选，通过Hive工具对所述商品数据进行数据清洗。

作为优选，通过Hive工具或Spark大数据处理框架计算或推算商品销 售量。

作为优选，引入离散率处理商品库存量的偏差，并基于商品库存量推算 商品数据，包括如下步骤：

对于每个周期，采集周期内每天的商品库存量，并将每天的商品库存量 存入所在周期对应的数组M1中；

对于每个周期，遍历数组M1，计算每天的库存减少量作为每天销量， 记录周期内每天销量为负数的个数x，并将不为负数的每天销量存储至数组 M2中；

对于每个周期，计算数组M2的平均数A、标准差以及离散率P；

对于每个周期，设定固定阈值arge，如果离散率P<＝args，则认为所述 数字M2的数值分散程度比较小，基于所述数组M2的元素、负数个数以及 数字M2元素的平均数A推算所述周期的商品销售量，所述商品销售量计算 公式为：销量＝SUM(数组M2)+x*A；

如果离散率P>args，计算数组M2中的所有元素除以标准差S的商C1、 C2...Cm，记录商C大于1的个数x1，并将商C大于1所对应的元素在数组 M2中去除、形成新的数组M3，重新计算新数组M3的平均值A1，基于数 组M3、个数x1以及数组M3元素的平均数A1推算所述周期的商品销售量， 所述商品销售量的计算公式为：销售量＝SUM(数组M3)+x*A1+x1*A1。

第二方面，本发明的基于电商商品库存量推算销量的系统，用于通过如 第一方面任一项所述的基于电商商品库存量推算销量的方法计算商品销售 量，所述系统包括：

数据采集模块，所述数据采集模块用于采集电商平台的商品数据，包括 商品销售量、商品库存量、商品价格以及商品评价，并将所述商品数据存储 至HDFS；

数据处理模块，所述数据处理模块用于对所述商品数据进行数据清洗， 去除无效字符，并标准化字段值，得到规范的商品数据；

销量推算模块，所述销量推算模块用于在所述商品数据包括商品销售量 时，基于商品的月销售量以及商品价格计算商品销量；并用于在所述商品数 据不包括商品销售量时，引入离散率处理商品库存量的偏差，并基于商品库 存量推算商品数据；

数据库，所述数据库用于商品数据以及商品销售量；

分析模块，所述分析模块用于生成离线报告。

7、根据权利要求6所述的基于电商商品库存量推算销量的系统，其特 征在于所述数据采集模块用于基于Scrapy采集框架，通过爬取数据的方式 采集电商平台的商品数据。

8、根据权利要求6所述的基于电商商品库存量推算销量的系统，其特 征在于所述数据处理模块用于通过Hive工具对所述商品数据进行数据清洗。

9、根据权利要求6所述的基于电商商品库存量推算销量的系统，其特 征在于所述销量推算模块用于通过Hive工具或Spark大数据处理框架计算 或推算商品销售量。

10、根据权利要求6-9任一项所述的基于电商商品库存量推算销量的系 统，其特征在于所述销量推算模块用于通过如下步骤推算商品销售量：

对于每个周期，采集周期内每天的商品库存量，并将每天的商品库存量 存入所在周期对应的数组M1中；

对于每个周期，遍历数组M1，计算每天的库存减少量作为每天销量， 记录周期内每天销量为负数的个数x，并将不为负数的每天销量存储至数组 M2中；

对于每个周期，计算数组M2的平均数A、标准差以及离散率P；

对于每个周期，设定固定阈值arge，如果离散率P<＝args，则认为所述 数字M2的数值分散程度比较小，基于所述数组M2的元素、负数个数以及 数字M2元素的平均数A推算所述周期的商品销售量，所述商品销售量计算 公式为：销量＝SUM(数组M2)+x*A；

如果离散率P>args，计算数组M2中的所有元素除以标准差S的商C1、 C2...Cm，记录商C大于1的个数x1，并将商C大于1所对应的元素在数组M2 中去除、形成新的数组M3，重新计算新数组M3的平均值A1，基于数组M3、 个数x1以及数组M3元素的平均数A1推算所述周期的商品销售量，所述商品 销售量的计算公式为：销售量＝SUM(数组M3)+x*A1+x1*A1。

本发明的基于电商商品库存量推算销量的方法及系统具有以下优点：

1、通过对商品销量、库存数和价格的采集，推算出该平台的网络零售额， 方便数据分析师汇总网络零售数据，提供相对完善的电商数据报告，洞察市场 发展方向；

2、在基于商品库库存量推算商品销售量时，库存数存在补库存或者下架， 鉴于该特殊情况，在推算商品销售量时引入离散系数来处理偏差较大的数据， 由参与计算的数值的平均值来补充，提高了计算的准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性 劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

图1为实施例1基于电商商品库存量推算销量的方法的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人 员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定， 在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

本发明实施例提供基于电商商品库存量推算销量的方法及系统，用于解决 如何针对平台商品库存数来推算销量，计算该平台的网络零售量及零售额的技 术问题。

实施例1：

本发明基于电商商品库存量推算销量的方法，包括如下步骤：

S100、采集电商平台的商品数据，包括商品销售量、商品库存量、商品 价格以及商品评价，并将所述商品数据存储至HDFS；

S200、对商品数据进行数据清洗，去除无效字符，并标准化字段值，得 到规范的商品数据；

S300、商品数据包括商品销售量时，基于商品的月销售量以及商品价格 计算商品销量；商品数据不包括商品销售量时，引入离散率处理商品库存量 的偏差，并基于商品库存量推算商品数据；

S400、将商品数据以及商品销售量入库，并生成离线报告。

步骤S100为商品数据的采集，本实施例中使用Scrapy采集框架，采集电 商商平台(淘宝、天猫、京东等)的商品数据，爬取店铺的所有商品销量、库 存数、价格和商品评价等信息，存储到HDFS以便后续拉取处理。

步骤S200为数据清洗，本实施例使用Hive进行数据清洗，结构化采集到 的商品数据，剔除掉无效字符，标准化字段值，规范化商品的价格、销量和库 存数。

步骤S300数据处理以及商品销量计算。使用Hive或Spark大数据处理框 架计算商品的销售额(销售量*价格)，如果采集到了月销量，处理方法还算简单， 直接用销售量*价格来计算销售额；如果数据中没有月销量，此时需要使用采集 到的商品库存数进行推算销量。

库存数存在补库存或者下架，即存在某天的差值(当天销量)为负数或者 偏差较大的情况(猛涨猛降)，异常数据不要简单粗暴地过滤删除或者将其参与 计算，此时需要引入离散系数来处理偏差较大的这部分数据,此部分数据需要由 参与计算的数值的平均值来补充。

方差和标准差反映的是数值型数据分散程度的绝对值，方差和标准差主要 用于测度数值型数据的分散程度。方差是指一组数据各个值与其均值离差平方 的平均数，标准差是方差的平方根。方差和标准差的数值越大，说明数据的分 散程度越高。反之，则说明数据的分散程度越低。

离散率：反映了一组数据远离其中心值的程度，离散系数大的说明数据的 分散程度也大，反之，离散系数小的说明数据的分散程度也小。

在一个具体的实施中，通过如下步骤推算商品销售量：

(1)提取每天采集到的商品库存数，即30个库存值，放入数组M1中

(2)通过遍历数组，计算出每一天的库存减少量来作为每一天的销量，记 录差值为负数的个数x,将其他的不为负数的差值放到数组M2中，求其的标准 差S，平均数A及离散率P的值；

(3)给定离散率固定阈值arge＝1.5，若离散率P<＝args,则认为该数组的数 值分散程度比较小，即：每一天的销量的起伏小，数值结果都是可用的。此时 的销量计算结果为：数组M2中的所有元素的和+负数的个数n乘以数组M2 元素的平均数A。即：销量＝SUM(数组M2)+n*A；

(4)若离散率P>args,则认为分散程度较大，即每一天的销量起伏较大， 需要进一步处理，具体为：

计算数组M2中的所有元素除以标准差S的商C1、C2...Cm,记录商C大于 1的个数X1,并将商C大于1所对应的元素在数组M2中去除形成新的数组M3， 重新计算新数组M3的平均值A1，此时的销量计算结果为：数组M3中的所有 元素的和+负数的个数乘以数据M3元素的平均数+商C大于1的个数乘以数 据M3元素的平均数。即：销售量＝SUM(数组M3)+x*A1+x1+A1。

根据得到的商品销售量以及商品价格，可得到商品销售额，销售额＝销售量 *价格。

步骤S400为数据分析，将商品数据以及获得的商品销售量入库，使用帆软 报表工具生成离线报告。

本实施例的方法，在执行之前，搭建Python开发环境，配置Scrapy采集 框架；搭建大数据相关架构：Hadoop分布式架构，HDFS存储数据，Hive计算， 利用帆软工具出示报告展示。

本实施例的方法通过对商品销量、库存数和价格的采集，推算出该平台的 网络零售额，方便数据分析师汇总网络零售数据，提供相对完善的电商数据报 告，洞察市场发展方向。

实施例2：

本发明基于电商商品库存量推算销量的系统，包括数据采集模块、数据处 理模块、销量推算模块、数据库以及分析模块，数据采集模块用于采集电商平 台的商品数据，包括商品销售量、商品库存量、商品价格以及商品评价，并将 所述商品数据存储至HDFS；数据处理模块用于对所述商品数据进行数据清洗， 去除无效字符，并标准化字段值，得到规范的商品数据；销量推算模块用于在 所述商品数据包括商品销售量时，基于商品的月销售量以及商品价格计算商品 销量；并用于在所述商品数据不包括商品销售量时，引入离散率处理商品库存 量的偏差，并基于商品库存量推算商品数据；数据库用于商品数据以及商品销售量；分析模块用于生成离线报告。

本实施例中的系统，搭建Python开发环境，配置Scrapy采集框架；搭建 大数据相关架构：Hadoop分布式架构，HDFS存储数据，Hive计算，利用帆软 工具出示报告展示。

数据采集模块用于基于Scrapy采集框架，通过爬取数据的方式采集电商平 台的商品数据。

数据处理模块用于通过Hive工具对所述商品数据进行数据清洗。

销量推算模块用于通过Hive工具或Spark大数据处理框架计算或推算商品 销售量。

销量推算模块用于通过如下步骤推算商品销售量：

(1)对于每个周期，采集周期内每天的商品库存量，并将每天的商品 库存量存入所在周期对应的数组M1中；

(2)对于每个周期，遍历数组M1，计算每天的库存减少量作为每天销 量，记录周期内每天销量为负数的个数x，并将不为负数的每天销量存储至 数组M2中；

(3)对于每个周期，计算数组M2的平均数A、标准差以及离散率P；

(4)对于每个周期，设定固定阈值arge，如果离散率P<＝args，则认 为所述数字M2的数值分散程度比较小，基于所述数组M2的元素、负数个 数以及数字M2元素的平均数A推算所述周期的商品销售量，所述商品销售 量计算公式为：销量＝SUM(数组M2)+x*A；

如果离散率P>args，计算数组M2中的所有元素除以标准差S的商C1、 C2...Cm，记录商C大于1的个数x1，并将商C大于1所对应的元素在数组M2 中去除、形成新的数组M3，重新计算新数组M3的平均值A1，基于数组M3、 个数x1以及数组M3元素的平均数A1推算所述周期的商品销售量，所述商品 销售量的计算公式为：销售量＝SUM(数组M3)+x*A1+x1*A1。

本实施例的系统可之星实施例1公开的方法。

上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明 不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓， 可以组合上述不同实施例中的手段得到本发明更多的实施例，这些实施例也在 本发明的保护范围之内。

Claims (10)

1.基于电商商品库存量推算销量的方法，其特征在于包括如下步骤：

采集电商平台的商品数据，包括商品销售量、商品库存量、商品价格以及商品评价，并将所述商品数据存储至HDFS；

对所述商品数据进行数据清洗，去除无效字符，并标准化字段值，得到规范的商品数据；

所述商品数据包括商品销售量时，基于商品的月销售量以及商品价格计算商品销量；所述商品数据不包括商品销售量时，引入离散率处理商品库存量的偏差，并基于商品库存量推算商品数据；

将所述商品数据以及商品销售量入库，并生成离线报告。

2.根据权利要求1所述的基于电商商品库存量推算销量的方法，其特征在于基于Scrapy采集框架，通过爬取数据的方式采集电商平台的商品数据。

3.根据权利要求1所述的基于电商商品库存量推算销量的方法，其特征在于通过Hive工具对所述商品数据进行数据清洗。

4.根据权利要求1所述的基于电商商品库存量推算销量的方法，其特征在于通过Hive工具或Spark大数据处理框架计算或推算商品销售量。

5.根据权利要求1-4任一项所述的基于电商商品库存量推算销量的方法，其特征在于引入离散率处理商品库存量的偏差，并基于商品库存量推算商品数据，包括如下步骤：

对于每个周期，采集周期内每天的商品库存量，并将每天的商品库存量存入所在周期对应的数组M1中；

对于每个周期，遍历数组M1，计算每天的库存减少量作为每天销量，记录周期内每天销量为负数的个数x，并将不为负数的每天销量存储至数组M2中；

对于每个周期，计算数组M2的平均数A、标准差以及离散率P；

对于每个周期，设定固定阈值arge，如果离散率P<＝args，则认为所述数字M2的数值分散程度比较小，基于所述数组M2的元素、负数个数以及数字M2元素的平均数A推算所述周期的商品销售量，所述商品销售量计算公式为：销量＝SUM(数组M2)+x*A；

如果离散率P>args，计算数组M2中的所有元素除以标准差S的商C1、C2...Cm，记录商C大于1的个数x1，并将商C大于1所对应的元素在数组M2中去除、形成新的数组M3，重新计算新数组M3的平均值A1，基于数组M3、个数x1以及数组M3元素的平均数A1推算所述周期的商品销售量，所述商品销售量的计算公式为：销售量＝SUM(数组M3)+x*A1+x1*A1。

6.基于电商商品库存量推算销量的系统，其特征在于用于通过如权利要求1-5任一项所述的基于电商商品库存量推算销量的方法计算商品销售量，所述系统包括：

数据采集模块，所述数据采集模块用于采集电商平台的商品数据，包括商品销售量、商品库存量、商品价格以及商品评价，并将所述商品数据存储至HDFS；

数据处理模块，所述数据处理模块用于对所述商品数据进行数据清洗，去除无效字符，并标准化字段值，得到规范的商品数据；

销量推算模块，所述销量推算模块用于在所述商品数据包括商品销售量时，基于商品的月销售量以及商品价格计算商品销量；并用于在所述商品数据不包括商品销售量时，引入离散率处理商品库存量的偏差，并基于商品库存量推算商品数据；

数据库，所述数据库用于商品数据以及商品销售量；

分析模块，所述分析模块用于生成离线报告。

7.根据权利要求6所述的基于电商商品库存量推算销量的系统，其特征在于所述数据采集模块用于基于Scrapy采集框架，通过爬取数据的方式采集电商平台的商品数据。

8.根据权利要求6所述的基于电商商品库存量推算销量的系统，其特征在于所述数据处理模块用于通过Hive工具对所述商品数据进行数据清洗。

9.根据权利要求6所述的基于电商商品库存量推算销量的系统，其特征在于所述销量推算模块用于通过Hive工具或Spark大数据处理框架计算或推算商品销售量。

10.根据权利要求6-9任一项所述的基于电商商品库存量推算销量的系统，其特征在于所述销量推算模块用于通过如下步骤推算商品销售量：

对于每个周期，采集周期内每天的商品库存量，并将每天的商品库存量存入所在周期对应的数组M1中；

对于每个周期，遍历数组M1，计算每天的库存减少量作为每天销量，记录周期内每天销量为负数的个数x，并将不为负数的每天销量存储至数组M2中；

对于每个周期，计算数组M2的平均数A、标准差以及离散率P；

对于每个周期，设定固定阈值arge，如果离散率P<＝args，则认为所述数字M2的数值分散程度比较小，基于所述数组M2的元素、负数个数以及数字M2元素的平均数A推算所述周期的商品销售量，所述商品销售量计算公式为：销量＝SUM(数组M2)+x*A；

如果离散率P>args，计算数组M2中的所有元素除以标准差S的商C1、C2...Cm，记录商C大于1的个数x1，并将商C大于1所对应的元素在数组M2中去除、形成新的数组M3，重新计算新数组M3的平均值A1，基于数组M3、个数x1以及数组M3元素的平均数A1推算所述周期的商品销售量，所述商品销售量的计算公式为：销售量＝SUM(数组M3)+x*A1+x1*A1。

Images