CN105760446A - 一种针对购物网站的大数据分析方法 - Google Patents

Abstract

本发明公开了一种针对购物网站的大数据分析方法，包括：数据采集步骤，基于与购物网站相关的关键词库，从购物网站获取与关键词库内的每一个关键词相关的产品信息、店铺信息、品牌信息、推荐信息以及排名信息；数据处理步骤，建立相应的产品统计信息表、店铺统计信息表、品牌统计信息表以及行业统计信息表；数据分析步骤，生成展示信息表；数据展示步骤，基于用户输入的关注指令，调取相应的展示信息表，并以不同的界面呈现给用户。本发明实现了关键词数据的V字结构表达，即从最上层行业到最底层单品，再从最底层单品向最上层行业观察，帮助商家从宏观到微观，全面了解每个单品的情况。

Description

一种针对购物网站的大数据分析方法

技术领域

本发明涉及一种大数据处理技术，更具体地说，它涉及一种针对购物网站的大数据分析方法。

背景技术

随着互联网科技的发展，出现了譬如淘宝、天猫等购物网站，这些网站内入驻了大量的商家，出售各种各样的产品，随着入驻的商家的数量增多，网站内的竞争也越来越激烈，作为商家，想要在残酷的市场竞争下提高销售业绩，就必须要对市场有所了解，包括对自己的产品的销售情况的了解，也包括对同行的了解，但是，整个市场上的商家和产品众多，数据量也非常大，商家对此也只是心有余而力不足。因此，针对以上问题，需要提出一种新的解决方案，以能够为商家提供购物网站的数据信息，让商家对市场行情更加了解。

发明内容

针对现有技术存在的不足，本发明的目的在于提供针对购物网站的大数据分析方法，能够给购物网站的入驻商家提供全面、精确的市场数据信息。

为实现上述目的，本发明提供了如下技术方案：

一种针对购物网站的大数据分析方法，包括：

数据采集步骤，基于与购物网站相关的关键词库，从购物网站获取与关键词库内的每一个关键词相关的产品信息、店铺信息、品牌信息、推荐信息以及排名信息；

数据处理步骤，基于所述产品信息、店铺信息、品牌信息、推荐信息以及排名信息，分别建立相应的产品统计信息表、店铺统计信息表、品牌统计信息表以及行业统计信息表；

数据分析步骤，基于所述产品统计信息表、店铺统计信息表、品牌统计信息表以及行业统计信息表，进行分类统计，并生成展示信息表；

数据展示步骤，基于用户输入的关注指令，调取相应的展示信息表，并以不同的界面呈现给用户。

优选的，所述数据采集步骤包括：

基于所述关键词库，为每一个关键词创建针对购物网站的数据抓取任务，并生成相应的任务表；

对任务表中的数据抓取任务按照预配置的规则进行分发。

优选的，所述数据抓取任务至少包含关键词、抓取页数、执行模块ID、状态、抓取入口以及更新时间。

优选的，所述产品统计信息表至少包含产品ID、网站入口、页码、关键词数量、搜索人气、飙升指数以及排名；

店铺统计信息表至少包含发货速度、发货速度评分、店铺等级、匹配度、匹配度评分、店主ID、服务态度、服务态度评分、店铺ID、店铺名、捕捉时间、店铺类型；

品牌统计信息表至少包含品牌编号、品牌名称、产品数量、关键数量、搜索人气、飙升指数以及排名；

行业统计信息表至少包含行业名称、品牌数量、关键词数量、飙升指数、排名。

优选的，所述展示信息表包括行业总览、品牌详情、店铺详情以及产品详情；其中，

所述行业总览包括行业搜索数据、品牌搜索数据、店铺搜索数据以及产品搜索数据；所述行业搜索数据包括行业排名、行业品牌榜、行业店铺榜和行业产品榜；所述品牌搜索数据包括行业维度和品牌维度；所述产品搜索数据包括行业维度和品牌维度；

所述品牌详情包括品牌趋势、类目构成、品牌店铺榜以及品牌产品榜；

所述店铺详情包括数据总览、关键词类目分布以及店铺曝光产品；其中，数据总览包括曝光关键词总量、搜索总人气以及曝光宝贝总销量；

所述产品详情包括数据总览、标题变化、销量趋势、价格趋势以及关键词分析；其中，数据总览包括最近一次标题变化时间、近30天销量、产品价格、曝光读取词数量以及曝光关键词人气；标题变化包括变化时间、变化前标题以及变化后标题。

优选的，所述行业排名包括大盘走势和子行业排名；其中，所述大盘走势基于关键词曝光量和搜索总人气实现；所述子行业排名包括类目名称、关键词数量、关键词人气、飙升指数、店铺数和产品数；

所述行业品牌榜包括品牌名称、关键词数量、关键词人气、飙升指数、店铺数和产品数；

所述行业店铺榜包括店铺名称、关键词数量、关键词人气、飙升指数、关键词数量占比；

所述行业产品榜包括产品名称、关键词数量、关键词人气、飙升指数、关键词占比。

优选的，所述品牌店铺榜包括店铺名称、关键词数量、关键词人气、飙升指数以及关键词数量占比；

所述品牌产品榜包括产品名称、关键词数量、关键词人气、飙升指数以及关键词数量占比；

所述类目构成包括类目名称、关键词数量、关键词人气、飙升指数、店铺数以及宝贝数。

与现有技术相比，本发明的优点是：通过以上技术方案，实现了关键词数据的V字结构表达，即从最上层行业到最底层单品，再从最底层单品向最上层行业观察，帮助商家从宏观到微观，全面了解每个单品的情况。

附图说明

图1为本发明的主要流程示意图；

图2为本发明中数据观察的表达结构图。

具体实施方式

下面结合实施例及附图，对本发明作进一步的详细说明，但本发明的实施方式不仅限于此。

一种针对购物网站的大数据分析方法，例如淘宝、天猫等购物网站，本发明提供的所述方法，基于主服务器、若干子服务器以及数据库实现，所述方法具体包括：

S1.数据采集步骤，基于与购物网站相关的关键词库，从购物网站获取与关键词库内的每一个关键词相关的产品信息、店铺信息、品牌信息、推荐信息以及排名信息；

预先在数据库中建立关键词库，该关键词库中的每一个关键词，例如毛衣、鞋子、手机等，都与淘宝、天猫等购物网站相关，然后主服务器基于所述关键词库，为每一个关键词创建针对购物网站的数据抓取任务，数据抓取任务至少包含关键词、抓取页数、执行模块（子服务器）ID、状态、抓取入口以及更新时间，然后主服务器基于所有的数据抓取任务生成相应的任务表，每一项数据抓取任务在任务表中都具有对应的编号。系统运行时，主服务器将任务表中的数据抓取任务按照预配置的规则进行分发给子服务器，例如，每个子服务器分到的数据抓取任务的数量均为固定的，并且，在领取时，每个子服务器所领取的数据抓取任务中，具有相同的抓取入口的数据抓取任务，不应超过N个，例如3个。子服务器在领取完任务后，主服务器更新该任务所包含的子服务器ID和状态，即将领取该任务的子服务器的ID进行录入，以及将该任务的状态更新为已被领取。子服务器在领取完任务后，按照任务所包含的关键词、抓取入口、抓取页数以进行数据抓取；抓取成功后，所抓取到的数据信息被存入到数据库中。同时，主服务器定期检查子服务器的任务执行情况，若发现子服务器存在任务长时间未执行成功，则放弃该任务的本次执行。主服务器根据预定时间收集关键词信息，存储在数据库中，并检查上一次的所有抓取任务是否均被执行完毕，如果全部执行完毕，则创建新任务，并更新正在运行的任务批次ID。

S2.数据处理步骤，基于产品信息、店铺信息、品牌信息、推荐信息以及排名信息，分别建立相应的产品统计信息表、店铺统计信息表、品牌统计信息表以及行业统计信息表；

本实施例中，产品统计信息表至少包含产品ID、网站入口、页码、关键词数量、搜索人气、飙升指数以及排名；店铺统计信息表至少包含发货速度、发货速度评分、店铺等级、匹配度、匹配度评分、店主ID、服务态度、服务态度评分、店铺ID、店铺名、捕捉时间、店铺类型；品牌统计信息表至少包含品牌编号、品牌名称、产品数量、关键数量、搜索人气、飙升指数以及排名；行业统计信息表至少包含行业名称、品牌数量、关键词数量、飙升指数、排名。

需要说明的时，飙升指数指的是，关键词数量与上一个时段相比的成长指数。

S3.数据分析步骤，基于产品统计信息表、店铺统计信息表、品牌统计信息表以及行业统计信息表，进行分类统计，并生成展示信息表；

本实施例中，展示信息表包括行业总览、品牌详情、店铺详情以及产品详情。其中，

行业总览包括行业搜索数据、品牌搜索数据、店铺搜索数据以及产品搜索数据。其中，行业搜索数据包括行业排名、行业品牌榜、行业店铺榜和行业产品榜；品牌搜索数据包括行业维度和品牌维度；产品搜索数据包括行业维度和品牌维度；行业排名包括大盘走势和子行业排名，其中，大盘走势包括关键词曝光量和搜索总人气，基于这些项目，在展示界面上，按照日期递进的方式，绘制出折线图；子行业排名包括类目名称、关键词数量、关键词人气、飙升指数、店铺数和产品数，基于这些项目，生成相应的表格，以及绘制出折线图；行业品牌榜包括品牌名称、关键词数量、关键词人气、飙升指数、店铺数和产品数，；行业店铺榜包括店铺名称、关键词数量、关键词人气、飙升指数、关键词数量占比；行业产品榜包括产品名称、关键词数量、关键词人气、飙升指数、关键词占比。

品牌详情包括品牌趋势、类目构成、品牌店铺榜以及品牌产品榜；品牌店铺榜包括店铺名称、关键词数量、关键词人气、飙升指数以及关键词数量占比。品牌产品榜包括产品名称、关键词数量、关键词人气、飙升指数以及关键词数量占比。类目构成包括类目名称、关键词数量、关键词人气、飙升指数、店铺数以及宝贝数。

店铺详情包括数据总览、关键词类目分布以及店铺曝光产品；其中，数据总览包括曝光关键词总量、搜索总人气以及曝光宝贝总销量；关键词类目分布包括类目分布、关键词数量、搜索人气、涉及产品数以及占比；店铺曝光产品包括产品、关键词数量、关键词人气以及价格。

产品详情包括数据总览、标题变化、销量趋势、价格趋势以及关键词分析；其中，数据总览包括最近一次标题变化时间、近30天销量、产品价格、曝光读取词数量以及曝光关键词人气；标题变化包括变化时间、变化前标题以及变化后标题。

S4.数据展示步骤，基于用户输入的关注指令，调取相应的展示信息表，并以不同的界面呈现给用户。

因此，基于以上方法，实现了关键词数据的V字结构表达，即从最上层行业到最底层单品，再从最底层单品向最上层行业观察，帮助商家从宏观到微观，全面了解每个单品的情况。具体参照图2，按照自上而下的顺序，用户可先观察行业总搜索体量，再观察行业内品牌搜索体量，然后观察品牌内店铺搜索排名，然后再观察店铺内优秀产品单名组成，最后观察优秀单品的关键词构成及其它基础数据。之后再按照自下而上的顺序，通过观察优秀单品的关键词构成及其它基础数据，进而再观察店铺内优秀产品单名组成，然后了解单品所属店铺其它单品数据及在该品牌下店铺排名，然后了解该品牌下其它店铺数据，对比得出优势与劣势，最后了解品牌所属行业下的总搜索体量及行业下的排名。

Claims (7)

1.一种针对购物网站的大数据分析方法，其特征是，包括：

数据采集步骤，基于与购物网站相关的关键词库，从购物网站获取与关键词库内的每一个关键词相关的产品信息、店铺信息、品牌信息、推荐信息以及排名信息；

数据处理步骤，基于所述产品信息、店铺信息、品牌信息、推荐信息以及排名信息，分别建立相应的产品统计信息表、店铺统计信息表、品牌统计信息表以及行业统计信息表；

数据分析步骤，基于所述产品统计信息表、店铺统计信息表、品牌统计信息表以及行业统计信息表，进行分类统计，并生成展示信息表；

数据展示步骤，基于用户输入的关注指令，调取相应的展示信息表，并以不同的界面呈现给用户。

2.根据权利要求1所述的针对购物网站的大数据分析方法，其特征是，所述数据采集步骤包括：

基于所述关键词库，为每一个关键词创建针对购物网站的数据抓取任务，并生成相应的任务表；

对任务表中的数据抓取任务按照预配置的规则进行分发。

3.根据权利要求2所述的针对购物网站的大数据分析方法，其特征是，所述数据抓取任务至少包含关键词、抓取页数、执行模块ID、状态、抓取入口以及更新时间。

4.根据权利要求1所述的针对购物网站的大数据分析方法，其特征是，所述产品统计信息表至少包含产品ID、网站入口、页码、关键词数量、搜索人气、飙升指数以及排名；

店铺统计信息表至少包含发货速度、发货速度评分、店铺等级、匹配度、匹配度评分、店主ID、服务态度、服务态度评分、店铺ID、店铺名、捕捉时间、店铺类型；

品牌统计信息表至少包含品牌编号、品牌名称、产品数量、关键数量、搜索人气、飙升指数以及排名；

行业统计信息表至少包含行业名称、品牌数量、关键词数量、飙升指数、排名。

5.根据权利要求1所述的针对购物网站的大数据分析方法，其特征是，所述展示信息表包括行业总览、品牌详情、店铺详情以及产品详情；其中，

所述行业总览包括行业搜索数据、品牌搜索数据、店铺搜索数据以及产品搜索数据；所述行业搜索数据包括行业排名、行业品牌榜、行业店铺榜和行业产品榜；所述品牌搜索数据包括行业维度和品牌维度；所述产品搜索数据包括行业维度和品牌维度；

所述品牌详情包括品牌趋势、类目构成、品牌店铺榜以及品牌产品榜；

所述店铺详情包括数据总览、关键词类目分布以及店铺曝光产品；其中，数据总览包括曝光关键词总量、搜索总人气以及曝光宝贝总销量；

所述产品详情包括数据总览、标题变化、销量趋势、价格趋势以及关键词分析；其中，数据总览包括最近一次标题变化时间、近30天销量、产品价格、曝光读取词数量以及曝光关键词人气；标题变化包括变化时间、变化前标题以及变化后标题。

6.根据权利要求5所述的针对购物网站的大数据分析方法，其特征是，所述行业排名包括大盘走势和子行业排名；其中，所述大盘走势基于关键词曝光量和搜索总人气实现；所述子行业排名包括类目名称、关键词数量、关键词人气、飙升指数、店铺数和产品数；

所述行业品牌榜包括品牌名称、关键词数量、关键词人气、飙升指数、店铺数和产品数；

所述行业店铺榜包括店铺名称、关键词数量、关键词人气、飙升指数、关键词数量占比；

所述行业产品榜包括产品名称、关键词数量、关键词人气、飙升指数、关键词占比。

7.根据权利要求5所述的针对购物网站的大数据分析方法，其特征是，所述品牌店铺榜包括店铺名称、关键词数量、关键词人气、飙升指数以及关键词数量占比；

所述品牌产品榜包括产品名称、关键词数量、关键词人气、飙升指数以及关键词数量占比；

所述类目构成包括类目名称、关键词数量、关键词人气、飙升指数、店铺数以及宝贝数。