CN105205055A - 大数据分析系统 - Google Patents

Abstract

本发明涉及一种大数据分析系统，尤其是一种涉及大数据广告、大数据商品推送分析的系统，包括一数据采集模块，一分布式计算架构和一云计算，所述数据采集模块采集到的用户以往历史浏览、购买记录等信息存储在所述分布式计算构架中，然后用户在打开互联网媒体类网站或者电子商务类网站时通过所述云计算对采集到的数据进行分布式挖掘，反馈用户感兴趣的广告信息和商品。<!-- 2 -->

Description

大数据分析系统

技术领域

本发明涉及一种大数据分析系统，尤其是一种涉及大数据广告、大数据商品推送分析的系统。

背景技术

近年来，互联网的发展越来越迅速，使用互联网的人也越来越普及，人们在使用互联网进行日常的活动的时候，例如网购，查看节目，信息，商品都会产生大量的数据，而这些数据对于电子商务网站或者互联网媒体类网站来说是非常宝贵的，利用这些大数据的处理分析能得到非常宝贵的商业价值。

大数据广泛应用于互联网各项应用中，对网站的价值意义重大，通过海量数据分析和云计算的实现，可以最大化帮助互联网媒体类网站广告系统和电子商务类网站大数据商品推送系统得到最大化的提升。互联网媒体类网站大数据广告根据用户阅读偏好推送，针对海量数据的云计算，通过各种广告形式推送到网站浏览用户，例如应用在商会网(www.netcoc.com)；电子商务类网站大数据商品推送给在线购买者，通过分析用户点击行为、购买行为、产品相关性、偏好及使用时间规律推送相应的商品及促销信息，例如应用在品得商城(www.pedemall.com)。

大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。在搜索引擎和在线广告中发挥重要作用的机器学习，被认为是大数据发挥真正价值的领域。在海量的数据中统计分析出人的行为、习惯等方式，最大程度帮助广告主找到精准潜在客户，从而提升广告效果和后续购买操作。

但是当前大数据应用存在着诸多的缺点，例如：1、数据的分析需要基于海量的数据积累。目前大数据需要根据数以百万计的用户及其历史行为进行分析，而绝大部分的平台或企业缺乏大数据依托，往往是小数据、中数据，此外行为习惯、购买记录、阅读记录等数据也比较匮乏。2、数据分析需要强大的软硬件支持。目前大数据的计算有较高的门槛，所以大数据的计算还不是很普及。现在大数据计算主要有下面两类生态圈：A、开源大数据生态圈，其中包括(1)、HadoopHDFS、HadoopMapReduce,HBase、Hive渐次诞生，早期Hadoop生态圈逐步形成。(2)、.Hypertable是另类。它存在于Hadoop生态圈之外，但也曾经有一些用户。(3)、NoSQL，membase、MongoDb。B、商用大数据生态圈，其中包括(1)、一体机数据库/数据仓库：IBMPureData(Netezza),OracleExadata,SAPHana等等。(2)、数据仓库：TeradataAsterData,EMCGreenPlum,HPVertica等等。(3)、数据集市：QlikView、Tableau、以及国内的YonghongDataMart。还有值得一提的是，大数据必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘(SaaS)，但它必须依托云计算的分布式处理、分布式数据库(PaaS)和云存储、虚拟化技术(IaaS)，所以说大数据计算有较高的门槛。3、数据分析需要依赖大量专业人士的解码。大数据的行为模型，需要有较强的数学统计要求、计算机建模要求，目前国内还缺乏此类人才。比如需要掌握数据库管理系统的使用能力-Oracle，概率统计学-MATLAB等。4、数据分析结果还存在误判。大数据的分析结果往往不具备实时性、针对性，原始数据采样精准度和统计方法的差异性，以及建模结构性错误，都会导致分析有误。此外不同的使用场景也会带来完全不同的结果。

发明内容

本发明的主要目的在于提供大数据分析系统，根据大数据分析系统能够提升网站的广告传播的精准度和商城商品展示的精准度。

本发明的另一目的在于提供一种大数据分析系统，通过大数据系统分析技术使得平台能迅速了解用户的行为习惯和偏好，并在其使用过程中实时动态交互，让感兴趣的广告及商品在恰当的时间以友好的网站形式进行展示，解决了传统广告和商品展示不精准的问题。

本发明的另一目的在于提供一种大数据分析系统，解决了国内企业在软硬件上的缺陷，以及操作人员的经验不足，帮忙平台克服原始数据凌乱、大数据模型建模、数据分析及预测等问题，提供实时且相对有效的数据支持。

本发明的另一目的在于提供一种大数据分析系统，依托云计算能够对大数据进行分布式数据挖掘，可以有效挖掘网站用户行为数据，并实时有效地做云计算处理。

本发明的另一目的在于提供一种大数据分析系统，其中包含的Storm拓扑结构可在不需要专业人员的情况下实时矫正数据分析偏差。

为了实现以上目的，本发明提供一种大数据分析系统，包括：根据本发明的优选实施例，包括：

一数据采集模块，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；

一分布式计算架构，所述分布式计算架构包括：

一编译模块，所述数据采集模块采集的数据经过所述编译模块转化为计算机语言；

一数据库，所述数据采集模块采集的数据经过所述编译模块转化的计算机语言能够存储在所述数据库中；和

一操作系统，通过所述操作系统，可以调用所述数据库中存储的信息；

一云计算，所述云计算能处理所述数据库中的数据。

根据本发明的优选实施例，所述大数据分析系统进一步包括一网络服务器，通过所述网络服务器能将多个所述数据库中的数据连接起来，提供更大的数据。

根据本发明的优选实施例，所述操作系统为Linux操作系统，所述网络服务器为Apache网络服务器，所述数据库为MySQL数据库，所述编译模块为Perl、PHP或者Python编程语言。

根据本发明的优选实施例，所述数据采集模块采集的数据通过所述云计算进行分布式的数据挖掘，有效地挖掘出所需要的数据。

根据本发明的优选实施例，所述大数据分析系统进一步包括一Storm拓扑结构架构，通过所述拓扑结构架构在不需要专业人员的情况下可实时矫正数据分析的偏差，尤其是大数据分析的偏差。

根据本发明的优选实施例，所述大数据分析系统进一步包括MapReduce功能的简单Storm拓扑结构，所述MapReduce功能的简单Storm拓扑结构在不需要专业人员的情况下可实时矫正数据分析的偏差。

附图说明

图1是根据本发明的一个优选实施例的分布式数据挖掘示意图；

图2是根据本发明的一个优选实施例的Storm拓扑结构架构示意图；

图3是根据本发明的一个优选实施例MapReduce功能的简单Storm拓扑结构示意图；

图4是根据本发明的一个优选实施例Hadoop云框架配置方案示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

大数据分析系统应用在一些电子商务类网站上，例如应用在品得商城(www.pedemall.com)上。其中品得商城大数据分析系统主要包含对用户以往历史浏览、购买记录等行为进行大量及时的分析，形成庞大的商城动态数据仓库，根据购买偏好和采购频率，通过数据挖掘及时推送用户商品信息，自动定期发送包括EDM、短信、站内信等多种形式的商品广告信息。还有大数据分析系统同时也是作为考核商城产品热度和布局的依据，热门常用的产品通过系统分析可以自动排序到最显眼的位置。根据用户访问通道(通常是通过IP地址判断或账号判断，严格遵守安全保密原则)，网站内的推荐产品、热门产品会随着用户的操作而快速更新调整，匹配用户感兴趣的商品，从而最大程度提升网站商品的精准销售。为了实现品得商城大数据分析系统的功能，本发明提供的一种大数据分析系统采用分布式计算架构(LAMP)，LAMP框架包括：Linux操作系统，Apache网络服务器，MySQL数据库，Perl、PHP或者Python编程语言，所有组成产品均是开源软件，是国际上成熟的架构框架。和Java/J2EE架构相比，LAMP具有Web资源丰富、轻量、安全等特点，与微软的.NET架构相比，LAMP具有通用、跨平台、高性能优势。同时商城数据实时备份、事务处理效应快速、拥有完备的数据分析功能。再通过云计算形式，处理大规模并行(MPP)数据库、分布式数据库等，可以快速、大量、精准的分析商城用户的购买习惯，推送相匹配的产品以多样化的形式展现在购买者的视觉中，从而有效促进商品购买的概率和频率。

大数据分析系统应用在一些互联网媒体类网站上，例如应用在商会网(www.netcoc.com)上。其中商会网大数据分析系统，尤其是商会网大数据广告系统，能自动提升付费广告客户在网站上最大程度匹配潜在客户，通过大量用户行为数据分析，通过云计算分析在短时间内为浏览网站的客户推送相关联的广告信息。从而促进在线用户对感兴趣类别的广告进行浏览、点击查看等后续行为，是实现广告价值最大化的一门核心互联网技术。同时商会网广告系统还支持互联网绝大多数广告形式，包括文字链、图片广告、视频广告等。拥有健全的广告排期机制，能精准统计广告PV、点击效果、数据统计等。具备广告客户竞价体系，可按照cpc、cpm、cpa、cps、cpv等多种形式进行收费。为了实现商会网大数据广告系统的功能，本发明提供一种大数据分析系统采用分布式计算架构(LAMP)，LAMP框架包括：Linux操作系统，Apache网络服务器，MySQL数据库，Perl、PHP或者Python编程语言，所有组成产品均是开源软件，是国际上成熟的架构框架。和Java/J2EE架构相比，LAMP具有Web资源丰富、轻量、安全等特点，与微软的.NET架构相比，LAMP具有通用、跨平台、高性能优势。同时通过云计算形式，处理大规模并行(MPP)数据库、分布式数据库等，可以快速、大量、精准的处理广告信息并多样化的展示在用户面前。

根据图1所示的分布式数据挖掘，分布式数据挖掘依托云计算的分布式处理、分布式数据库(PaaS)和云存储、虚拟化技术(IaaS)。通过移动端、PC端来展现云计算呈现数据效果。可以有效挖掘网站用户行为数据，并实时有效的做云计算处理，反馈用户感兴趣的广告信息和商品。

随着云时代的来临，大数据也吸引了越来越多的关注。大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的在经过时间内容纳的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

根据图2所示的Storm拓扑结构架构，使用快速高效的Storm架构，可实时矫正大数据分析的偏差，而且不需要专业的人员就可以得出较为精准的数据结果。Storm不只是一个传统的大数据分析系统，它是复杂事件处理(CEP)系统的一个示例。CEP系统通常分类为计算和面向检测，其中每个系统都可通过用户定义的算法在Storm中实现。值得一提的是，Storm的一个最主要的特点在于它注重容错和管理。Storm实现了有保障的消息处理，所以每个元组都会通过Storm拓扑结构进行全面处理；如果发现一个元组还未处理，它会自动从喷嘴处重放。Storm还实现了任务级的故障检测，在一个任务发生故障时，消息会自动重新分配以快速重新开始处理。Storm包含比Hadoop更智能的处理管理，流程会由监管员来进行管理，以确保资源得到充分使用。

具体地，Storm还实现了一种数据流模型，其中数据持续地流经一个转换实体网络，如图2所示。一个数据流抽象地称为一个流，一个流是一个无限的元组序列。元组就像一种使用一些附加的序列化代码来表示标准数据类型(比如整数、浮点和字节数组)或用户定义类型的结构。每个流由一个惟一ID定义，这个ID可用于构建数据源和接收器(sink)的拓扑结构。流起源于喷嘴，喷嘴将数据从外部来源流入Storm拓扑结构中。

根据图3所示MapReduce功能的简单Storm拓扑结构。针对普通的平台或企业，采用更为简单的Storm模型，可以更好的适应中小数据流的处理，具有更为广阔的应用领域。接收器(或提供转换的实体)称为螺栓。螺栓实现了一个流上的单一转换和一个Storm拓扑结构中的所有处理。螺栓既可实现MapReduce之类的传统功能，也可实现更复杂的操作(单步功能)，比如过滤、聚合或与数据库等外部实体通信。典型的Storm拓扑结构会实现多个转换，因此需要多个具有独立元组流的螺栓。喷嘴和螺栓都实现为系统中的一个或多个任务。

值得一提的是，可使用Storm为词频轻松地实现MapReduce功能。如图3中所示，喷嘴生成文本数据流，螺栓实现Map功能(令牌化一个流的各个单词)。来自“map”螺栓的流然后流入一个实现Reduce功能的螺栓中(以将单词聚合到总数中)。

根据图4所示Hadoop云框架配置方案，其主要阐述云计算的实现，通过云端的配置实现高效的数据分析。Hadoop的核心是使用Java语言编写的，但支持使用各种语言编写的数据分析应用程序。最新的应用程序的实现采用了更加深奥的路线，以充分利用现代语言和它们的特性。

具体的操作步骤如下：首先使用了五台机器来实现Hadoop框架。

IP依次为：

192.168.1.199(master)

192.168.1.200(slave)

192.168.1.201(slave)

192.168.1.202(slave)

192.168.1.203(slave)

首先登录119服务器

[rootlocalhost～]#uname-ar

Linuxlocalhost2.6.18-92.el5#1SMPTueJun1018:49:47EDT2008i686i686i386GNU/Linux

保证计算机名的全局唯一性：

hadoop1.test.com-----192.168.1.203

hadoop2.test.com-----192.168.1.202

hadoop3.test.com-----192.168.1.201

hadoop4.test.com-----192.168.1.200

hadoop5.test.com-----192.168.1.199

设置hostname

Hostnamehadoop5.test.com

[rootlocalhost～]#vi/etc/hosts

127.0.0.1localhost.localdomainlocalhos

192.168.1.199hadoop5.test.com

[rootlocalhost～]#uname-ar

Linuxhadoop5.test.com2.6.18-92.el5#1SMPTueJun1018:49:47EDT2008i686i686i386GNU/Linux

[rootlocalhost～]#vi/etc/sysconfig/network

NETWORKING＝yes

NETWORKING_IPV6＝no

#HOSTNAME＝localhost.localdomain

HOSTNAME＝hadoop5.test.com

GATEWAY＝192.168.1.254

无密码的ssh登录的设置：

建立Master到每一台Slave的SSH受信证书。由于Master将会通过SSH启动所有Slave的Hadoop，所以需要建立单向或者双向证书保证命令执行时不需要再输入密码。在Master和所有的Slave机器上执行：ssh-keygen-trsa。

执行此命令的时候，看到提示只需要回车。然后就会在/root/.ssh/下面产生id_rsa.pub的证书文件，通过scp将Master机器上的这个文件拷贝到Slave上(记得修改名称)，例如：

Scproot/.ssh/id_rsa.pubroot192.168.1.200:/root/.ssh/authorized_keys

建立authorized_keys文件即可，可以打开这个文件看看，也就是rsa的公钥作为key，userIP作为value。此时可以试验一下，从masterssh到slave已经不需要密码了。由slave反向建立也是同样。为什么要反向呢？其实如果一直都是Master启动和关闭的话那么没有必要建立反向，只是如果想在Slave也可以关闭Hadoop就需要建立反向。

具体地实现互联网媒体类网站广告推送和电子商务网站商品展示的步骤如下：

(a)通过数据采集模块采集用户以往历史浏览、购买记录等行为信息；

(b)将所采集到的信息通过转化，转化为计算机语言存储在数据库中；及

(c)用户在点击网页时根据云计算对所述数据库中的信息进行分布式数据挖掘，反馈用户感兴趣的广告信息和商品。

其中步骤(b)中包括步骤：

(b.1)将采集到的信息通过一编译模块转化为计算机语言；

(b.2)转化为计算机语言的信息存储在一数据库中；

(b.3)多个所述数据库中的信息通过一网络服务器相连接，实现大数据的形成；及

(b.4)通过一操作系统随时调用所采集到的信息。

其中在步骤(b)中所述操作系统优选为Linux操作系统，所述网络服务器优选为Apache网络服务器，所述数据库优选为MySQL数据库，所述编译模块优选为Perl、PHP或者Python编程语言。

综上所述，大数据分析系统是结合了当前大数据技术的各种解决方案基础上，形成简洁高效的技术处理手段。适用于中小企业，媒体平台、电商平台，性价比较高，可以满足日常经营所需的数据分析支持，帮助企业更好的获得收益。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (9)

1.大数据分析系统，其特征在于，包括：

一数据采集模块，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；

一分布式计算架构，所述分布式计算架构包括：

一编译模块，所述数据采集模块采集的数据经过所述编译模块转化为计算机语言；

一数据库，所述数据采集模块采集的数据经过所述编译模块转化的计算机语言能够存储在所述数据库中；和

一操作系统，通过所述操作系统，可以调用所述数据库中存储的信息；

一云计算，所述云计算能处理所述数据库中的数据。

2.如权利要求1所述的大数据分析系统，其特征在于，所述数据分析系统进一步包括一网络服务器，通过所述网络服务器能将多个所述数据库中的数据连接起来，提供更大的数据。

3.如权利要求1所述的大数据分析系统，其特征在于，所述操作系统为Linux操作系统。

4.如权利要求2所述的大数据分析系统，其特征在于，所述网络服务器为Apache网络服务器。

5.如权利要求1所述的大数据分析系统，其特征在于,所述数据库为MySQL数据库。

6.如权利要求1所述的大数据分析系统，其特征在于,所述编译模块为Perl、PHP或者Python编程语言。

7.如权利要求1至6任一所述的大数据分析系统，其特征在于，所述数据采集模块采集的数据通过所述云计算进行分布式的数据挖掘，以此有效地挖掘出所需要的数据。

8.如权利要求1至6任一所述的大数据分析系统，其特征在于，所述数据分析系统进一步包括一Storm拓扑结构架构，通过所述拓扑结构架构在不需要专业人员的情况下可实时矫正数据分析的偏差。

9.如权利要求1至6任一所述的大数据分析系统，其特征在于，所述数据分析系统进一步包括MapReduce功能的简单Storm拓扑结构，所述MapReduce功能的简单Storm拓扑结构可实时矫正数据分析的偏差。