CN104935528A - 互联网大数据处理平台 - Google Patents

互联网大数据处理平台 Download PDF

Info

Publication number
CN104935528A
CN104935528A CN201510313220.4A CN201510313220A CN104935528A CN 104935528 A CN104935528 A CN 104935528A CN 201510313220 A CN201510313220 A CN 201510313220A CN 104935528 A CN104935528 A CN 104935528A
Authority
CN
China
Prior art keywords
data
server
reception
central controller
reception server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510313220.4A
Other languages
English (en)
Inventor
程崇煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liuzhou Zhirong Technology Co Ltd
Original Assignee
Liuzhou Zhirong Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liuzhou Zhirong Technology Co Ltd filed Critical Liuzhou Zhirong Technology Co Ltd
Priority to CN201510313220.4A priority Critical patent/CN104935528A/zh
Publication of CN104935528A publication Critical patent/CN104935528A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种互联网大数据处理平台，包括，数据采集服务器：采集互联网上的数据，并对数据进行初步分类；发送服务器：接收数据采集服务器发送的数据后，保存接收的数据并建立发送队列表；接收服务器，按照数据分类，只接收同类别的数据，并保存接收的数据；中央控制器：中央控制器采集接收服务器组的状态，并根据采集的状态建立接收队列表，接收队列表内保存各个接收服务器的工作状态和繁忙程度；所述中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输，中央控制器内设置数据冗余判断模块，数据采集服务器内设置数据筛选模块。达到防止数据丢失的目的。

Description

互联网大数据处理平台
技术领域
本发明涉及计算机领域，具体地，涉及一种互联网大数据处理平台。
背景技术
目前，随着计算机技术和互联网的发展，许多政府和企业都在进行大数据的建设，而大数据建设对企业的发展方向，政府的管理水平和服务方式的改进都起到非常重要的作用，但现有的大数据处理中，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，因数据量巨大，造成接收数据时网络堵塞，从而存在数据丢失的问题。
发明内容
本发明的目的在于，针对上述问题，提出一种互联网大数据处理平台，以实现防止数据丢失的优点。
为实现上述目的，本发明采用的技术方案是：
一种互联网大数据处理平台，包括，
数据采集服务器：采集互联网上的数据，并对数据进行初步分类，并将相同类别的数据压缩处理后传输至发送服务器；
发送服务器：接收数据采集服务器发送的数据后，保存接收的数据并按照数据类别和接收时间建立发送队列表；
接收服务器，按照数据类别进行分组，并对接收服务器组进行编号，接收服务器组按照数据分类，不同的接收服务器组只接收同类别的数据，并保存接收的数据；
中央控制器：中央控制器采集接收服务器组的状态，并根据采集的状态建立接收队列表，接收队列表内保存各个接收服务器的工作状态和繁忙程度；
所述中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输；
中央控制器内设置数据冗余判断模块：数据冗余判断模块与接收服务器连接和数据采集服务器连接，对数据采集服务器采集的数据进行冗余判断，若接收服务器内保存的数据如数据采集服务器采集的数据相同则将相同的数据丢弃；
数据采集服务器内设置数据筛选模块，数据筛选模块对采集的数据进行筛选，将无用的数据筛选出去。
本发明的技术方案具有以下有益效果：
本发明的技术方案，在前期对数据进行分类，并在发送服务器中建立发送队列表，中央控制器对发送队列表进行循环侦测，直到保存数据正确发送到接收服务器，从而达到防止数据丢失的目的。
具体实施方式
一种互联网大数据处理平台，包括，
数据采集服务器：采集互联网上的数据，并对数据进行初步分类，并将相同类别的数据压缩处理后传输至发送服务器；
发送服务器：接收数据采集服务器发送的数据后，保存接收的数据并按照数据类别和接收时间建立发送队列表；
接收服务器，按照数据类别进行分组，并对接收服务器组进行编号，接收服务器组按照数据分类，不同的接收服务器组只接收同类别的数据，并保存接收的数据；
中央控制器：中央控制器采集接收服务器组的状态，并根据采集的状态建立接收队列表，接收队列表内保存各个接收服务器的工作状态和繁忙程度；
中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输；
中央控制器内设置数据冗余判断模块：数据冗余判断模块与接收服务器连接和数据采集服务器连接，对数据采集服务器采集的数据进行冗余判断，若接收服务器内保存的数据如数据采集服务器采集的数据相同则将相同的数据丢弃。
数据采集服务器内设置数据筛选模块，数据筛选模块对采集的数据进行筛选，将无用的数据筛选出去。
如在电商中将数据简单的分为家电、手机、电脑、办公用品、服装、化妆品和其它。
数据采集服务器将采集的数据按照上述的分类要求进行分类后，发送至发送服务器保存，并建立发送队列表，对应的接收服务器分为家电接收服务器组、手机接收服务器组、电脑接收服务器组、办公用品接收服务器组、服装接收服务器组、化妆品接收服务器组和其它接收服务器组。
家电接收服务器组只接收家电类的数据、化妆品接收服务器组至接收化妆品的数据。如发送服务器发送的数据类别和顺序为家电1、手机1、电脑1、办公用品1、服装1、家电2、家电3和办公用品1，发送队列表按照该顺序建立，中央控制器以循环的方式侦测发送队列表后，首先调取接收队列表的记录，如接收队列表内显示家电接收服务器组正常，可以接收数据，中央控制器控制发送服务器将家电1的数据发送到家电接收服务器，同理将手机1、电脑1、办公用品1和服装1按照顺序发送，发送家电2数据时，如家电接收服务器的通道被堵塞，中央控制器往下顺延，发送下一个数据，如办公用品1，发送完办公用品1后，中央控制器从新侦测发送队列表，至到发送队列表内的数据都发送完毕，再进行下一轮数据的发送。
接收服务器接收到相应数据后，给中央控制器发送一个反馈信号，中央控制器接收到反馈信号后，控制发送服务器，将发送服务器内相应的数据删除。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种互联网大数据处理平台，其特征在于，包括，
数据采集服务器：采集互联网上的数据，并对数据进行初步分类，并将相同类别的数据压缩处理后传输至发送服务器；
发送服务器：接收数据采集服务器发送的数据后，保存接收的数据并按照数据类别和接收时间建立发送队列表；
接收服务器，按照数据类别进行分组，并对接收服务器组进行编号，接收服务器组按照数据分类，只接收同类别的数据，并保存接收的数据；
中央控制器：中央控制器采集接收服务器组的状态，并根据采集的状态建立接收队列表，接收队列表内保存各个接收服务器的工作状态和繁忙程度；
所述中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输；
中央控制器内设置数据冗余判断模块：数据冗余判断模块与接收服务器连接和数据采集服务器连接，对数据采集服务器采集的数据进行冗余判断，若接收服务器内保存的数据如数据采集服务器采集的数据相同则将相同的数据丢弃；
数据采集服务器内设置数据筛选模块，数据筛选模块对采集的数据进行筛选，将无用的数据筛选出去。
CN201510313220.4A 2015-06-10 2015-06-10 互联网大数据处理平台 Pending CN104935528A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510313220.4A CN104935528A (zh) 2015-06-10 2015-06-10 互联网大数据处理平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510313220.4A CN104935528A (zh) 2015-06-10 2015-06-10 互联网大数据处理平台

Publications (1)

Publication Number Publication Date
CN104935528A true CN104935528A (zh) 2015-09-23

Family

ID=54122502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510313220.4A Pending CN104935528A (zh) 2015-06-10 2015-06-10 互联网大数据处理平台

Country Status (1)

Country Link
CN (1) CN104935528A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107682116A (zh) * 2017-09-04 2018-02-09 温美群 一种医用网络大数据处理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1815946A (zh) * 2005-02-02 2006-08-09 华为技术有限公司 一种实现数字信息安全存取的方法
CN102648465A (zh) * 2009-08-26 2012-08-22 杰维斯股份公司 远程数据收集系统和方法
CN102902813A (zh) * 2012-10-22 2013-01-30 北京奇虎科技有限公司 日志收集系统
CN103218744A (zh) * 2012-07-20 2013-07-24 上海大智慧股份有限公司 一种基于swot模型的行业投资信息及数据处理系统
CN103428834A (zh) * 2013-08-02 2013-12-04 苏州两江科技有限公司 一种降低wsn系统功耗的方法
CN103441809A (zh) * 2012-09-15 2013-12-11 上海长语信息科技有限公司 分信号数字无线广播系统的方法及专用设备
CN103473885A (zh) * 2013-08-30 2013-12-25 国家电网公司 一种资产信息智能识别监测预警系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1815946A (zh) * 2005-02-02 2006-08-09 华为技术有限公司 一种实现数字信息安全存取的方法
CN102648465A (zh) * 2009-08-26 2012-08-22 杰维斯股份公司 远程数据收集系统和方法
CN103218744A (zh) * 2012-07-20 2013-07-24 上海大智慧股份有限公司 一种基于swot模型的行业投资信息及数据处理系统
CN103441809A (zh) * 2012-09-15 2013-12-11 上海长语信息科技有限公司 分信号数字无线广播系统的方法及专用设备
CN102902813A (zh) * 2012-10-22 2013-01-30 北京奇虎科技有限公司 日志收集系统
CN103428834A (zh) * 2013-08-02 2013-12-04 苏州两江科技有限公司 一种降低wsn系统功耗的方法
CN103473885A (zh) * 2013-08-30 2013-12-25 国家电网公司 一种资产信息智能识别监测预警系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107682116A (zh) * 2017-09-04 2018-02-09 温美群 一种医用网络大数据处理系统

Similar Documents

Publication Publication Date Title
CN111131379B (zh) 一种分布式流量采集系统和边缘计算方法
CN104980254A (zh) 因特网信息处理系统
CN103685150A (zh) 上传文件的方法和装置
CN107182090B (zh) 无线宽带网络中数据包自适应调度方法和系统
CN104767756B (zh) 设备信息处理方法、客户端装置和服务端装置
CN108334557B (zh) 一种聚合数据分析方法、装置、存储介质及电子设备
CN104883264A (zh) 一种虚拟化网络处理平台上网卡的方法及系统
CN105376246A (zh) 一种基于sdn的安全策略自适应生成管理系统及方法
CN104933124A (zh) 互联网大数据处理系统
CN105007232A (zh) 网络大数据处理平台
CN105142035A (zh) 一种视频流切片转发系统及方法
CN105049371A (zh) 网络信息处理系统
CN105337850A (zh) 一种物联网数据处理方法及物联网网关
CN104935528A (zh) 互联网大数据处理平台
CN105530658A (zh) 一种无线通讯模块的远程诊断方法、装置和系统
CN103580951B (zh) 多个信息系统的输出比较方法、测试迁移辅助方法及系统
CN103117959A (zh) 资源重分配方法、信息收集设备和资源管理设备
CN105007236A (zh) 网络大数据处理系统
CN104714875A (zh) 一种分布式的自动化采集的方法
CN102394836A (zh) 基于即时通信进行传输文档统计的方法、终端及系统
CN102904803B (zh) 一种报文传输方法和设备
CN105005498A (zh) 互联网信息处理平台
CN105022292A (zh) 因特网数据处理系统
CN105022664A (zh) 互联网信息处理系统
CN105007237A (zh) 网络信息处理平台

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20150923