CN105007232A - 网络大数据处理平台 - Google Patents
网络大数据处理平台 Download PDFInfo
- Publication number
- CN105007232A CN105007232A CN201510313206.4A CN201510313206A CN105007232A CN 105007232 A CN105007232 A CN 105007232A CN 201510313206 A CN201510313206 A CN 201510313206A CN 105007232 A CN105007232 A CN 105007232A
- Authority
- CN
- China
- Prior art keywords
- data
- queue table
- server
- receiving
- central controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种网络大数据处理平台,包括,数据采集服务器:采集互联网上的数据,并对数据进行初步分类;发送服务器:接收数据采集服务器发送的数据后,保存接收的数据并建立发送队列表;接收服务器,按照数据分类,只接收同类别的数据,并保存接收的数据;中央控制器:中央控制器采集接收服务器组的状态,并根据采集的状态建立接收队列表,接收队列表内保存各个接收服务器的工作状态和繁忙程度;所述中央控制器以循环的方式侦测发送队列表,并依据接收队列表记录的数据控制数据的传输,数据采集服务器内设置数据筛选模块。达到防止数据丢失的目的。
Description
技术领域
本发明涉及计算机领域,具体地,涉及一种网络大数据处理平台。
背景技术
目前,随着计算机技术和互联网的发展,许多政府和企业都在进行大数据的建设,而大数据建设对企业的发展方向,政府的管理水平和服务方式的改进都起到非常重要的作用,但现有的大数据处理中,往往是将数据都集中到一起后,再进行分类,造成后期工作量大,因数据量巨大,造成接收数据时网络堵塞,从而存在数据丢失的问题。
发明内容
本发明的目的在于,针对上述问题,提出一种网络大数据处理平台,以实现防止数据丢失的优点。
为实现上述目的,本发明采用的技术方案是:
一种网络大数据处理平台,包括,
数据采集服务器:采集互联网上的数据,并对数据进行初步分类,并将相同类别的数据压缩处理后传输至发送服务器;
发送服务器:接收数据采集服务器发送的数据后,保存接收的数据并按照数据类别和接收时间建立发送队列表;
接收服务器,按照数据类别进行分组,并对接收服务器组进行编号,接收服务器组按照数据分类,不同的接收服务器组只接收同类别的数据,并保存接收的数据;
中央控制器:中央控制器采集接收服务器组的状态,并根据采集的状态建立接收队列表,接收队列表内保存各个接收服务器的工作状态和繁忙程度;
所述中央控制器以循环的方式侦测发送队列表,并依据接收队列表记录的数据控制数据的传输;
数据采集服务器内设置数据筛选模块,数据筛选模块对采集的数据进行筛选,将无用的数据筛选出去。
本发明的技术方案具有以下有益效果:
本发明的技术方案,在前期对数据进行分类,并在发送服务器中建立发送队列表,中央控制器对发送队列表进行循环侦测,直到保存数据正确发送到接收服务器,从而达到防止数据丢失的目的。
具体实施方式
一种网络大数据处理平台,包括,
数据采集服务器:采集互联网上的数据,并对数据进行初步分类,并将相同类别的数据压缩处理后传输至发送服务器;
发送服务器:接收数据采集服务器发送的数据后,保存接收的数据并按照数据类别和接收时间建立发送队列表;
接收服务器,按照数据类别进行分组,并对接收服务器组进行编号,接收服务器组按照数据分类,不同的接收服务器组只接收同类别的数据,并保存接收的数据;
中央控制器:中央控制器采集接收服务器组的状态,并根据采集的状态建立接收队列表,接收队列表内保存各个接收服务器的工作状态和繁忙程度;
中央控制器以循环的方式侦测发送队列表,并依据接收队列表记录的数据控制数据的传输;
数据采集服务器内设置数据筛选模块,数据筛选模块对采集的数据进行筛选,将无用的数据筛选出去。
如在电商中将数据简单的分为家电、手机、电脑、办公用品、服装、化妆品和其它。
数据采集服务器将采集的数据按照上述的分类要求进行分类后,发送至发送服务器保存,并建立发送队列表,对应的接收服务器分为家电接收服务器组、手机接收服务器组、电脑接收服务器组、办公用品接收服务器组、服装接收服务器组、化妆品接收服务器组和其它接收服务器组。
家电接收服务器组只接收家电类的数据、化妆品接收服务器组至接收化妆品的数据。如发送服务器发送的数据类别和顺序为家电1、手机1、电脑1、办公用品1、服装1、家电2、家电3和办公用品1,发送队列表按照该顺序建立,中央控制器以循环的方式侦测发送队列表后,首先调取接收队列表的记录,如接收队列表内显示家电接收服务器组正常,可以接收数据,中央控制器控制发送服务器将家电1的数据发送到家电接收服务器,同理将手机1、电脑1、办公用品1和服装1按照顺序发送,发送家电2数据时,如家电接收服务器的通道被堵塞,中央控制器往下顺延,发送下一个数据,如办公用品1,发送完办公用品1后,中央控制器从新侦测发送队列表,至到发送队列表内的数据都发送完毕,再进行下一轮数据的发送。
接收服务器接收到相应数据后,给中央控制器发送一个反馈信号,中央控制器接收到反馈信号后,控制发送服务器,将发送服务器内相应的数据删除。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种网络大数据处理平台,其特征在于,包括,
数据采集服务器:采集互联网上的数据,并对数据进行初步分类,并将相同类别的数据压缩处理后传输至发送服务器;
发送服务器:接收数据采集服务器发送的数据后,保存接收的数据并按照数据类别和接收时间建立发送队列表;
接收服务器,按照数据类别进行分组,并对接收服务器组进行编号,接收服务器组按照数据分类,只接收同类别的数据,并保存接收的数据;
中央控制器:中央控制器采集接收服务器组的状态,并根据采集的状态建立接收队列表,接收队列表内保存各个接收服务器的工作状态和繁忙程度;
所述中央控制器以循环的方式侦测发送队列表,并依据接收队列表记录的数据控制数据的传输;
数据采集服务器内设置数据筛选模块,数据筛选模块对采集的数据进行筛选,将无用的数据筛选出去。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510313206.4A CN105007232A (zh) | 2015-06-10 | 2015-06-10 | 网络大数据处理平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510313206.4A CN105007232A (zh) | 2015-06-10 | 2015-06-10 | 网络大数据处理平台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105007232A true CN105007232A (zh) | 2015-10-28 |
Family
ID=54379757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510313206.4A Pending CN105007232A (zh) | 2015-06-10 | 2015-06-10 | 网络大数据处理平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105007232A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107682116A (zh) * | 2017-09-04 | 2018-02-09 | 温美群 | 一种医用网络大数据处理系统 |
CN111309826A (zh) * | 2020-03-20 | 2020-06-19 | 西安航空学院 | 基于终端的大数据处理方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1815946A (zh) * | 2005-02-02 | 2006-08-09 | 华为技术有限公司 | 一种实现数字信息安全存取的方法 |
CN102648465A (zh) * | 2009-08-26 | 2012-08-22 | 杰维斯股份公司 | 远程数据收集系统和方法 |
CN202634484U (zh) * | 2012-05-04 | 2012-12-26 | 华工智云科技(武汉)有限责任公司 | 一种基于云计算的智能存储系统 |
CN102902813A (zh) * | 2012-10-22 | 2013-01-30 | 北京奇虎科技有限公司 | 日志收集系统 |
CN102929961A (zh) * | 2012-10-10 | 2013-02-13 | 北京锐安科技有限公司 | 基于构建快速数据分级通道的数据处理方法及其装置 |
CN103218744A (zh) * | 2012-07-20 | 2013-07-24 | 上海大智慧股份有限公司 | 一种基于swot模型的行业投资信息及数据处理系统 |
CN103428834A (zh) * | 2013-08-02 | 2013-12-04 | 苏州两江科技有限公司 | 一种降低wsn系统功耗的方法 |
CN103441809A (zh) * | 2012-09-15 | 2013-12-11 | 上海长语信息科技有限公司 | 分信号数字无线广播系统的方法及专用设备 |
-
2015
- 2015-06-10 CN CN201510313206.4A patent/CN105007232A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1815946A (zh) * | 2005-02-02 | 2006-08-09 | 华为技术有限公司 | 一种实现数字信息安全存取的方法 |
CN102648465A (zh) * | 2009-08-26 | 2012-08-22 | 杰维斯股份公司 | 远程数据收集系统和方法 |
CN202634484U (zh) * | 2012-05-04 | 2012-12-26 | 华工智云科技(武汉)有限责任公司 | 一种基于云计算的智能存储系统 |
CN103218744A (zh) * | 2012-07-20 | 2013-07-24 | 上海大智慧股份有限公司 | 一种基于swot模型的行业投资信息及数据处理系统 |
CN103441809A (zh) * | 2012-09-15 | 2013-12-11 | 上海长语信息科技有限公司 | 分信号数字无线广播系统的方法及专用设备 |
CN102929961A (zh) * | 2012-10-10 | 2013-02-13 | 北京锐安科技有限公司 | 基于构建快速数据分级通道的数据处理方法及其装置 |
CN102902813A (zh) * | 2012-10-22 | 2013-01-30 | 北京奇虎科技有限公司 | 日志收集系统 |
CN103428834A (zh) * | 2013-08-02 | 2013-12-04 | 苏州两江科技有限公司 | 一种降低wsn系统功耗的方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107682116A (zh) * | 2017-09-04 | 2018-02-09 | 温美群 | 一种医用网络大数据处理系统 |
CN111309826A (zh) * | 2020-03-20 | 2020-06-19 | 西安航空学院 | 基于终端的大数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104980254A (zh) | 因特网信息处理系统 | |
CN103685150A (zh) | 上传文件的方法和装置 | |
CN102802139A (zh) | 一种物联网网关数据适配系统及方法 | |
CN107182090B (zh) | 无线宽带网络中数据包自适应调度方法和系统 | |
CN104767756B (zh) | 设备信息处理方法、客户端装置和服务端装置 | |
CN105376246A (zh) | 一种基于sdn的安全策略自适应生成管理系统及方法 | |
CN104601370A (zh) | 一种信息处理方法及云端服务器 | |
CN104462562A (zh) | 一种基于数据仓库自动化的数据迁移系统及方法 | |
US10506392B1 (en) | Stream-processing of telecommunication diameter event records | |
CN104933124A (zh) | 互联网大数据处理系统 | |
CN104852859A (zh) | 一种聚合接口业务处理方法和设备 | |
CN100454842C (zh) | 分布式审计系统 | |
CN105007232A (zh) | 网络大数据处理平台 | |
CN105049371A (zh) | 网络信息处理系统 | |
CN104933059B (zh) | 文件信誉获取方法、网关设备和文件信誉服务器 | |
CN104935528A (zh) | 互联网大数据处理平台 | |
CN105007236A (zh) | 网络大数据处理系统 | |
CN103580951B (zh) | 多个信息系统的输出比较方法、测试迁移辅助方法及系统 | |
CN102394836A (zh) | 基于即时通信进行传输文档统计的方法、终端及系统 | |
CN104714875A (zh) | 一种分布式的自动化采集的方法 | |
CN112714159A (zh) | 消息转发方法和装置、存储介质及电子装置 | |
CN105005498A (zh) | 互联网信息处理平台 | |
CN105743676B (zh) | 一种多数据源综合采集装置及方法 | |
CN105022664A (zh) | 互联网信息处理系统 | |
CN105007237A (zh) | 网络信息处理平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151028 |