CN105809451A - 一种大数据电商网购评价分析预测方法及系统 - Google Patents

Abstract

本发明公开了一种大数据电商网购评价分析预测方法及系统，本发明涉及一种大数据采集与分析预测的方法与系统，通过一个部署于Spark的控制与交换中心结合若干交换代理，将评价内容这非结构文本转换为结构化数据。本发明是基于大数据的前提开发，利用大数据的数据挖掘算法对采集的所有信息进行有效的处理。本发明可应用于网上购物导购，为用户提供准确的网购评价分析，方便用户判断评论是否虚假、网购是否实用，进而决定是否购买该商品。

Description

一种大数据电商网购评价分析预测方法及系统

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据电商网购评价分析预测方法及系统。

技术背景

大数据的来临，数据逐渐被意识到大有用处，大量数据通过提取分析，分类出有用数据，通过分析有用数据对目标进行判断。网购时，或许买家看到的评论就是卖家自己刷出来的。可以利用计算机自动地对网络信息进行处理，目前意见挖掘主要的研究对象是互联网上的海量文本信息。近年来，机器学习的发展让人们看到了意见挖掘的新希望。意见挖掘的智能化程度正在逐步提高。但以上技术只能大概判断已采集数据的真实性，但采集的数据可能带有一定的主观性。

Hadoop平台目前是最常用的大数据平台软件，Hadoop实现了MapReduce程序的运行环境，支持分布式执行。HDFS是一个分布式文件系统，该文件系统数据会存储多个副本，因此具有很高的容错性。

网购是现在人类频繁讨论的话题，随着经济的发展和互联网的普及，各种电子商务平台崛起，但网购也存在越来越多的问题：

一是买家在网上选购网购时，同类的网购成千上万，质量价格销量等因素容易让顾客看花眼；

二是网购评论是影响买家选购商品的一个重要因素。一般买家总会看看历史销量，用户评论，然后再去下单。网购时，或许买家看到的评论就是卖家自己刷出来的，虚假评论影响用户的判断；

三是商家不能准确的满足用户的需求，给用户提供的商品信息不够准确详细。

针对以上的问题，现有的智能化网购评价分析预测系统和网购评价分析预测方法也试图解决，但结果大多数暂时性的解决了商家为用户提供准确的商品信息，而没有过多的考虑虚假评价和用户的自身因素。

发明内容

本发明的目的在于提供一种大数据电商网购评价分析预测方法及系统，以达到为用户提供主流购物网站的商品比价和购物推荐服务。

为了解决以上技术问题，本发明基于大数据开发的前提，把采集到的信息利用大数据的算法进行有效处理，具体技术方案如下：

一种大数据电商网购评价分析预测系统，其特征在于：包括部署于Spark平台的控制处理中心，通过Yarn资源管理器框架将Spark平台与Hadoop平台部署于同一集群；控制处理对象存储于Spark中，所有中间数据与不同类型数据的转换任务也由Spark执行；

还包括分散在不同的服务器中的关系数据库系统和非结构化文档；

还包括一个独立的集群部署Hadoop大数据平台，所述Hadoop大数据平台包含HDFS、HBASE、Hive子系统，用于加载抽取的数据，并提供分析功能；

所述控制分析中心包含任务调度模块、在线查询模块、内存对象管理模块、数据分析模块、模型预测模块；

所述任务调度模块用于数据加载任务；

所述在线查询模块用于数据查询，包括查询本地数据库和互联网中的网购评价数据；

所述内存对象管理模块用于管理中间数据的存储与更新；

所述数据分析模块用于进行源数据模型到内存对象模型的转换；

所述模型预测模块用于进行内存对象的建模。

所述任务调度模块根据用户需求加载数据，所述在线查询模块依据任务调度模块加载的数据进行相应的数据查询，所述内存对象管理模块存储与更新数据包括在线查询模块加载的数据，所述数据分析模块分析内存对象管理模块的数据并进行数据模型的转换，所述模型预测模块则会依据数据分析模块分析的数据来进行相应的建模。

所述在线查询模块依据接收到的对象请求查询请求相应的数据查询包括：

a)查询本地数据库，获取准实时数据缓存中的网购评价数据；

b)查询互联网中的网购评价数据；

c)将所述实时数据按事务提交至本地数据库；

d)更新所述本地数据库；

e)依据所述查询请求中的查询条件返回实时数据。

所述在线查询模块的数据查询包括：本地数据库中网购评价数据和已查返回的互联网中的实时数据。其内容包括会员名、网购描述、购买日期、购买型号、评论日期、评论文本等多个对象。

一种大数据电商网购评价分析预测方法，其特征在于包括以下实施步骤：

步骤一，大数据采集，使用成熟爬虫软件，利用界面操作从网站上批量下载网购评论，在线查询模块根据接收到的所述对象查询请求进行相应的数据查询；

步骤二，在线查询并返回网购评价数据；

步骤三，存储与更新数据库；

步骤四，数据分析模块统计分析内存对象的数据；

步骤五，模型预测模块依据数据分析模块的分析建模。

数据分析模块统计分析内存对象的数据包括以下步骤：

步骤一，用文本解析将训练样本中的评论文本内容拆词；

步骤二，可以使用文本过滤器节点来去除词频很低的词；

步骤三，查看词与词之间的链接关系；

步骤四，使用文本规则生成器节点来建模，发现哪些词组组合与刷单有直接的关系。

所述使用文本规则生成器节点来建模，近义词是能相互替换，这样能够提高系统功能以及容错性，能够发现某些词组组合与刷单有直接的关系。

所述模型预测模块依据接收到的数据分析模块得到的数据进行预测：

当网购评价中有50%是刷单，则不推荐用户购买。当网购评价中低于等于20%是刷单，则根据评价情况推荐用户购买。这也进一步说明了本发明的模型的作用：判断网购的刷单比例，比逐条判断评论是否虚假实用。

本发明具有有益效果。本发明能帮助用户甄别评论是否虚假和推荐用户商品的效果，本发明通过采用主题模型方案和Apriori算法，使得用户在众多的评价中快速有效的得到有效的信息，能够满足大数据的商品评价分析预测场景。

附图说明

图1为本发明公开的框架结构图；

图2为本发明的流程图；

图3为本发明的一种在线查询模块的结构示意图；

图4为本发明的数据分析的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护的范围。

参阅图1，控制处理中心部署于Spark平台，通过Yarn资源管理器框架将Spark平台与Hadoop平台部署于同一集群；控制处理对象存储于Spark中，所有中间数据与不同类型数据的转换任务也由Spark执行。

参阅图2，首先要解决数据来源问题，可以从网站上批量下载这些评论，就是利用界面操作来爬虫。本发明使用免费的gooseeker软件来做，这个软件是Firefox浏览器的插件，避免了很多网站动态渲染不好分析的问题，它借助了浏览器的功能，只要在浏览器上看到的元素就可以方便地下载。

在线查询模块用于依据接收到的所述查询请求进行相应的数据查询;

当依据数据时间范围要素确定查询请求为实时数据查询时，查询路由将相应的任务调度请求转发至在线查询模块。在线查询模块负责调用系统服务获取并缓存实时数据，实时数据采用增量缓存方式，在每次任务调度请求时触发，以增量方式获取准实时数据，缓存完成后返回查询结果。

抓取了多款同类型的网购评论数据，包括会员名、网购描述、购买日期、购买型号、评论日期、评论文本等多个对象。选取了具有刷单倾向的网购商品，可以看出，其中许多评论日期连续、会员名相似、买家等级较低，得出刷单评论比率。本发明意在使用这些数据去构建刷单评论识别模型。

如图3所示，为上述实施例中在线查询模块的一种结构，包括：

获取单元301，用于查询互联网数据库，获取准实时数据；

通过获取单元301查询互联网数据库，获取准实时数据，实时数据是指数据产生端（及网购系统）在发生网购评价是所产生的数据，准实时数据指从网购系统获取的数据，相对于实时数据有一定的滞后，但又比历史数据的时效性高。

提交单元302，用于将所述实时数据按事务提交到所述本地数据库；

所述的事务是一组数据库的操作集合，为了保证数据的一致性和完整性。数据提供了按事务提交的机制，事务中的操作要么全部执行，要么全部不执行，不会出现部分执行的情况。

更新单元303，用于更新所述本地数据库的评价内容及评价数量；

返回单元304，用于依据所述任务调度请求中的查询条件返回实时数据；

参阅图4，使用数据挖掘工具SASEnterpriseMiner13.2把获取的评论一分为二，其中70%作为训练样本，30%作为验证样本。

首先，用文本解析将训练样本中的评论文本内容拆词，在拆词时可以选择忽略缺乏实际意义的代词、感叹词、介词、连词，忽略数字与标点符号。以上拆词过程相当于把非结构化数据转成了结构化数据，以前的一段文本如今可以用若干列来表示，每列代表一个词，如果文本中出现了该词该列取值为1，否则取值为0。

通过发现很多词只出现在少部分文章中，可以使用文本过滤器节点来去除词频很低的词。在文本过滤器中可以设置最小文档数，指定排除小于该文档出现数目的词条，同时也要排除像“就”、“这”、“是”、“有”这样词频高却意义不大的词；

通过对大量网购评论的观察，可以粗略地发现评价对象大都是名词或者名词短语，发现评价对象的其具体步骤如下：

1、对句子进行词性标注，保留名词，去掉其它词性的词语。每个句子组成一个事务，用于第二步进行关联发现；

2、使用Apriori算法找出长度不超过3的频繁词集；

3、进行词集剪枝，去除稀疏和冗余的词集：

（1）稀疏剪枝：在某一包含频繁词集f的句子s中，设顺序出现的词分别为，若任意两个相邻的词的距离不超过3，那么就称f在这一句子s中是紧凑的。若f至少在两条句子中是紧凑的，那么f就是紧凑的频繁词集。稀疏剪枝即是去除所有非紧凑的频繁词集；

（2）冗余剪枝：设只包含频繁词集f，不包含f的超集的句子数目是频繁词集的p支持度。冗余剪枝会将p支持度小于最小p支持度的频繁词集去除。

除此之外，本发明还进行同义词处理，本发明采取了导入外部的同义词库的方式，比如，“暖和”与“保暖”是同义词，“好看”与“漂亮”可以互相替代；

在本发明中还可以查看词与词之间的链接关系：

本发明可以使用文本规则生成器节点来建模，发现哪些词组组合与刷单有直接的关系：

不妨回想一下自己作为普通买家的购物经历：在收到货品并试用之后，通常只会简单描述一下自己的使用感受。而水军则不然，他们从来没有真正收到网购，更谈不上试穿试用，为了完成业务指标，只好按照卖家提供的网购描述，尽量从质量、物流、服务态度甚至搭配等多方面强调网购本身的特性。

本发明为了实现模型的总体效果，用累积提升度这个指标来评价，用30%的验证样本来验证成果。

本发明采用统计主题模型。主题建模是一种非监督学习方法，它假设每个文档都由若干个主题构成，每个主题都是在词上的概率分布，最后输出词簇的集合，每个词簇代表一个主题，是文档集合中词的概率分布。一个主题模型通常是一个文档生成概率模型。

本发明采用统计主题模型是基于概率潜在语义模型（ProbabilisticLatentSemanticAnalysis，PLSA）联合模型以进行情感分析。概率潜在语义分析是基于派生自LCM的混合矩阵分解。

Claims (7)

1.一种大数据电商网购评价分析预测系统，其特征在于：包括部署于Spark平台的控制处理中心，通过Yarn资源管理器框架将Spark平台与Hadoop平台部署于同一集群；控制处理对象存储于Spark中，所有中间数据与不同类型数据的转换任务也由Spark执行；

还包括分散在不同的服务器中的关系数据库系统和非结构化文档；

还包括一个独立的集群部署Hadoop大数据平台，所述Hadoop大数据平台包含HDFS、HBASE、Hive子系统，用于加载抽取的数据，并提供分析功能；

所述控制分析中心包含任务调度模块、在线查询模块、内存对象管理模块、数据分析模块、模型预测模块；

所述任务调度模块用于数据加载任务；

所述在线查询模块用于数据查询，包括查询本地数据库和互联网中的网购评价数据；

所述内存对象管理模块用于管理中间数据的存储与更新；

所述数据分析模块用于进行源数据模型到内存对象模型的转换；

所述模型预测模块用于进行内存对象的建模。

2.根据权利要求1所述的一种大数据电商网购评价分析预测系统，其特征在于：所述任务调度模块根据用户需求加载数据，所述在线查询模块依据任务调度模块加载的数据进行相应的数据查询，所述内存对象管理模块存储与更新数据包括在线查询模块加载的数据，所述数据分析模块分析内存对象管理模块的数据并进行数据模型的转换，所述模型预测模块则会依据数据分析模块分析的数据来进行相应的建模。

3.根据权利要求1所述的一种大数据电商网购评价分析预测系统，其特征在于：所述在线查询模块依据接收到的对象请求查询请求相应的数据查询包括：

查询本地数据库，获取准实时数据缓存中的网购评价数据；

查询互联网中的网购评价数据；

将所述实时数据按事务提交至本地数据库；

更新所述本地数据库；

依据所述查询请求中的查询条件返回实时数据。

4.根据权利要求1所述的一种大数据电商网购评价分析预测系统，其特征在于：所述在线查询模块的数据查询包括：本地数据库中网购评价数据和已查返回的互联网中的实时数据；

其内容包括会员名、网购描述、购买日期、购买型号、评论日期、评论文本等多个对象。

5.根据权利要求1、2或3所述的一种大数据电商网购评价分析预测系统的网购评价分析预测方法，其特征在于包括以下实施步骤：

步骤一，大数据采集，使用成熟爬虫软件，利用界面操作从网站上批量下载网购评论，在线查询模块根据接收到的所述对象查询请求进行相应的数据查询；

步骤二，在线查询并返回网购评价数据；

步骤三，存储与更新数据库；

步骤四，数据分析模块统计分析内存对象的数据；

步骤五，模型预测模块依据数据分析模块的分析建模。

6.根据权利要求5所述的一种大数据电商网购评价分析预测方法，其征在于：数据分析模块统计分析内存对象的数据包括以下步骤：

步骤一，用文本解析将训练样本中的评论文本内容拆词；

步骤二，可以使用文本过滤器节点来去除词频很低的词；

步骤三，查看词与词之间的链接关系；

步骤四，使用文本规则生成器节点来建模，发现哪些词组组合与刷单有直接的关系。

7.根据权利要求5所述的一种大数据电商网购评价分析预测方法，其特征在于：所述使用文本规则生成器节点来建模，近义词是能相互替换，这样能够提高系统功能以及容错性，能够发现某些词组组合与刷单有直接的关系。