CN108446306A

CN108446306A - 一种大数据的处理设备

Info

Publication number: CN108446306A
Application number: CN201810096706.0A
Authority: CN
Inventors: 李永敢
Original assignee: Foshan Gaicheng Intellectual Property Service Co Ltd
Current assignee: Foshan Gaicheng Intellectual Property Service Co Ltd
Priority date: 2018-01-31
Filing date: 2018-01-31
Publication date: 2018-08-24

Abstract

本发明实施例提供了一种大数据的处理设备，所述系统包括：数据采集模块，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；计算模块，所述数据采集模块采集的数据经过计算后转化为计算机语言；数据库，用于存储所述数据采集模块采集的数据经过所述计算模块转化的计算机语言；操作系统，通过所述操作系统，可以调用所述数据库中存储的信息，并发送数据库中的数据至云计算；云计算，接收待计算的数据，并进行计算处理。应用本发明的实施例，可以根据大数据的处理设备能够提升网站的广告传播的精准度和商城商品展示的精准度。

Description

一种大数据的处理设备

技术领域

本发明涉及电子技术领域，尤其涉及一种大数据的处理设备。

背景技术

近年来，互联网的发展越来越迅速，使用互联网的人也越来越普及，人们在使用互联网进行日常的活动的时候，例如网购，查看节目，信息，商品都会产生大量的数据，而这些数据对于电子商务网站或者互联网媒体类网站来说是非常宝贵的，利用这些大数据的处理分析能得到非常宝贵的商业价值。

随着网络技术和电商平台的日趋完善，消费者对电商平台的口碑评价越来越关注，也使得电商平台口碑评价成为打造电商品牌的重要途径。网民对电商舆情的关注焦点主要集中在电商价格、商品质量、物流速度、售后服务等方面。为此有电商，如京东，对所在网站的文本数据进行舆情分析，以达到更加了解客户需求，主流偏好等信息。对于舆情分析第一步首先是通调查和深入访谈的形式，了解客户需求，确定研究方向；第二步则对客户关注该电商平台的所有关键词进行筛选，锁定关键词；接下来的第三步是通过中心自有监测平台采集抓取主题型关键词关注的百万级网民信息；第四步是将行业关键词放到监测框中进行筛选，获取具有行业属性的信息；第五步以行业特征数据分析基础，研究该群体对于某电商平台的关注特征；第六步依据研究结果，归纳研究结论，撰写行业研究报告。

相比于线下零售，电子商务网站具备非常吩咐的客户历史数据。通过这些数据的分析，能够进一步了解客户的购物习惯、兴趣爱好和购买意愿，并可以对客户群体进行细分，从而正对不同的用户对服务经行调整和优化，进行有针对性的广告营销和推送，实现个性化服务。

大数据广泛应用于互联网各项应用中，对网站的价值意义重大，通过海量数据分析和云计算的实现，可以最大化帮助互联网媒体类网站广告系统和电子商务类网站大数据商品推送系统得到最大化的提升。互联网媒体类网站大数据广告根据用户阅读偏好推送，针对海量数据的云计算，通过各种广告形式推送到网站浏览用户，例如应用在商会网(www.netcoc.com)；电子商务类网站大数据商品推送给在线购买者，通过分析用户点击行为、购买行为、产品相关性、偏好及使用时间规律推送相应的商品及促销信息，例如应用在品得商城(www.pedemall.com)。

大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。在搜索引擎和在线广告中发挥重要作用的机器学习，被认为是大数据发挥真正价值的领域。在海量的数据中统计分析出人的行为、习惯等方式，最大程度帮助广告主找到精准潜在客户，从而提升广告效果和后续购买操作。

现有的大数据分析技术，往往是大数据的分析结果往往不具备实时性、针对性，原始数据采样精准度和统计方法的差异性，以及建模结构性错误，都会导致分析有误。此外不同的使用场景也会带来完全不同的结果。

发明内容

本发明实施例的目的在于提供一种大数据的处理设备，以根据大数据的处理设备能够提升网站的广告传播的精准度和商城商品展示的精准度。

为了达到上述目的，本发明实施例提供了一种大数据的处理设备，所述系统包括：

数据库，用于存储所述数据采集模块采集的数据；

数据处理模块，用于将所存储的数据进行转化为计算机语言；

计算模块，所述数据采集模块采集的数据经过计算后转化为计算机语言；

处理模块，用于采用预先设置的数据处理模型对所述计算机语言进行处理。

可选的，所述数据采集模块采用爬虫进行数据的采集，并通过预设数据过滤规则对数据进行过滤，将过滤后的数据作为所述数据采集模块采集到的数据。

可选的，所述大数据的处理设备包括网络服务器，通过所述网络服务器能将多个所述数据库中的数据连接起来，提供更大的数据。

可选的，所述操作系统为Linux操作系统。

可选的，所述网络服务器连接所述数据库的数量为6个至10个。

可选的，所述数据采集模块包括：分布式数据挖掘，分布式数据挖掘依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

有益效果：

本发明实施例提供的一种大数据的处理设备，大数据的处理设备是结合了当前大数据技术的各种解决方案基础上，形成简洁高效的技术处理手段。适用于中小企业，媒体平台、电商平台，性价比较高，可以满足日常经营所需的数据分析支持，帮助企业更好的获得收益。，可以根据大数据的处理设备能够提升网站的广告传播的精准度和商城商品展示的精准度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的大数据的处理设备的第一种结构示意图。

图2是本发明提供的大数据的处理设备的第二种结构示意图。

图3是本发明提供的大数据的处理设备的第三种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面通过具体实施例，对本发明进行详细的说明。

参见图1，一种大数据的处理设备，所述系统包括：

数据采集模块1，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；

数据库2，用于存储所述数据采集模块采集的数据；

数据处理模块3，用于将所存储的数据进行转化为计算机语言；

计算模块4，所述数据采集模块采集1的数据经过计算后转化为计算机语言；

处理模块5，用于采用预先设置的数据处理模型对所述计算机语言进行处理。

具体的，所述数据采集模块1采用爬虫进行数据的采集，并通过预设数据过滤规则对数据进行过滤，将过滤后的数据作为所述数据采集模块采集到的数据，另外，所述大数据的处理设备包括网络服务器，通过所述网络服务器能将多个所述数据库中的数据连接起来，提供更大的数据。具体的，所述操作系统为Linux操作系统。

大数据的处理设备应用在一些互联网媒体类网站上，例如应用在商会网(www.netcoc.com)上。其中商会网大数据的处理设备，尤其是商会网大数据广告系统，能自动提升付费广告客户在网站上最大程度匹配潜在客户，通过大量用户行为数据分析，通过云计算分析在短时间内为浏览网站的客户推送相关联的广告信息。从而促进在线用户对感兴趣类别的广告进行浏览、点击查看等后续行为，是实现广告价值最大化的一门核心互联网技术。同时商会网广告系统还支持互联网绝大多数广告形式，包括文字链、图片广告、视频广告等。拥有健全的广告排期机制，能精准统计广告PV、点击效果、数据统计等。具备广告客户竞价体系，可按照cpc、cpm、cpa、cps、cpv等多种形式进行收费。为了实现商会网大数据广告系统的功能，本发明提供一种大数据的处理设备采用分布式计算架构(LAMP)，LAMP框架包括：Linux操作系统，Apache网络服务器，MySQL数据库，Perl、PHP或者Python编程语言，所有组成产品均是开源软件，是国际上成熟的架构框架。和Java/J2EE架构相比，LAMP具有Web资源丰富、轻量、安全等特点，与微软的.NET架构相比，LAMP具有通用、跨平台、高性能优势。同时通过云计算形式，处理大规模并行(MPP)数据库、分布式数据库等，可以快速、大量、精准的处理广告信息并多样化的展示在用户面前。

根据图1所示的分布式数据挖掘，分布式数据挖掘依托云计算的分布式处理、分布式数据库(PaaS)和云存储、虚拟化技术(IaaS)。通过移动端、PC端来展现云计算呈现数据效果。可以有效挖掘网站用户行为数据，并实时有效的做云计算处理，反馈用户感兴趣的广告信息和商品。

随着云时代的来临，大数据也吸引了越来越多的关注。大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

参见图2，所述大数据的处理设备包括网络服务6，通过所述网络服务器能将多个所述数据库中的数据连接起来，提供更大的数据。参见图3，网络服务6和数据库11、数据库12、数据库13进行连接起来，具体的，所述网络服务器连接所述数据库的数量为6个至10个。保证数据库之间的数据可以通过网络服务6实现共享，提高数据资源的享用效率。

大数据需要特殊的技术，以有效地处理大量的在经过时间内容纳的数据。适用于大数据的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种大数据的处理设备，其特征在于，所述系统包括：

数据采集模块，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；

数据库，用于存储所述数据采集模块采集的数据；

2.根据权利要求1所述的一种大数据的处理设备，其特征在于，所述数据采集模块采用爬虫进行数据的采集。

3.根据权利要求2所述的一种大数据的处理设备，其特征在于，所述采用爬虫进行数据的采集中需要通过预设数据过滤规则对数据进行过滤，将过滤后的数据作为所述数据采集模块采集到的数据。

4.根据权利要求1所述的一种大数据的处理设备，其特征在于，所述大数据的处理设备包括网络服务器，通过所述网络服务器能将多个所述数据库中的数据连接起来，提供更大的数据。

5.根据权利要求1所述的一种大数据的处理设备，其特征在于，所述操作系统为Linux操作系统。

6.根据权利要求4所述的一种大数据的处理设备，其特征在于，所述网络服务器连接所述数据库的数量为6个至10个。

7.根据权利要求1所述的一种大数据的处理设备，其特征在于，所述数据采集模块包括：分布式数据挖掘，分布式数据挖掘依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。