CN111159280A - 一种大数据处理系统 - Google Patents
一种大数据处理系统 Download PDFInfo
- Publication number
- CN111159280A CN111159280A CN202010000470.3A CN202010000470A CN111159280A CN 111159280 A CN111159280 A CN 111159280A CN 202010000470 A CN202010000470 A CN 202010000470A CN 111159280 A CN111159280 A CN 111159280A
- Authority
- CN
- China
- Prior art keywords
- data
- big data
- module
- big
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 230000006698 induction Effects 0.000 claims abstract description 13
- 238000013079 data visualisation Methods 0.000 claims abstract description 11
- 238000013480 data collection Methods 0.000 claims abstract description 7
- 238000004140 cleaning Methods 0.000 claims description 8
- 238000007418 data mining Methods 0.000 claims description 5
- 230000001939 inductive effect Effects 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Abstract
本发明公开了一种大数据处理系统，包括：大数据采集模块、与大数据采集模块依次连接的大数据归纳模块、大数据预处理模块、大数据处理模块、大数据发送模块、大数据接收模块、大数据控制模块和大数据可视化模块；通过采集互联网上的前期数据，将其进行归纳分类并进行冗余判断、数据清理、优化和转换处理，最后通过所述大数据控制模块控制数据的传输和结果的显示，实现了数据处理速度快，效率高，保证数据传输过程中网络顺畅，并防止数据丢失的技术效果。
Description
技术领域
本发明涉及计算机技术领域，更具体的说是涉及一种大数据处理系统。
背景技术
目前，随着计算机技术和互联网的飞速发展，电子信息数据逐渐成为人们研究的重点，人们日常生活均离不开各种各样的数据，许多政府和企业都在进行大数据的建设，而大数据建设对企业的发展方向，政府的管理水平和服务方式的改进都起到非常重要的作用，进而大数据成为了目前研究的热点。随着现代信息技术的不断发展，世界已跨入了互联网+大数据时代。全球正掀起以融合、渗透、创新为特点的新一轮信息革命。大数据已成为世界主要国家抢占新一轮经济和科技发展制高点的重大战略选择。
现有的大数据处理系统存在着大数据的数据来源众多，数据量大，导致对于数据处理的硬件要求依旧较高，这就限制了大数据技术的进一步普及，且传统处理系统具有速度慢，效率低的问题。且现有的大数据处理中，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，因数据量巨大，造成接收数据时网络堵塞，从而存在数据丢失的问题。
因此，如何提供一种大数据处理系统是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种大数据处理系统，数据处理速度快，效率高，保证数据传输过程中网络顺畅，并防止数据丢失。
为了实现上述目的，本发明采用如下技术方案：
一种大数据处理系统，包括：大数据采集模块、与所述大数据采集模块依次连接的大数据归纳模块、大数据预处理模块、大数据处理模块、大数据发送模块、大数据接收模块、大数据控制模块和大数据可视化模块；
其中，所述大数据采集模块用于采集互联网上的前期数据；
所述大数据归纳模块用于对采集的前期数据进行归纳分类；
所述大数据预处理模块用于对分类后的数据进行预处理；
所述大数据处理模块用于根据所述大数据预处理模块预处理的结果对原始数据进行处理，并将处理的结果传输至所述大数据发送模块；
所述大数据发送模块用于发送处理后的数据；
所述大数据接收模块用于接收所述大数据发送模块发送的数据；
所述大数据控制模块包括中央控制器，所述中央控制器用于采集所述大数据接收模块的状态控制数据的传输，将最终结果数据传输到所述大数据可视化模块；
所述大数据可视化模块将最终结果数据进行可视化展示。
优选的，所述大数据采集模块包括系统日志采集模块、网络采集模块和传感器。
优选的，所述前期数据包括文件日志、数据库日志、关系型数据库的接入和应用程序的接入。
优选的，所述大数据归纳模块依据大数据类型将采集的前期数据特征进行归纳分类，所述大数据类型包括业务问题。
优选的，所述大数据预处理模块包括数据冗余判断单元、数据清理单元、数据优化单元和数据转换单元；所述数据冗余判断单元用于判断分类数据是否为冗余的无用数据，所述数据清理单元用于消除噪声和删除所述无用数据，所述数据优化单元用于对保留的数据进行优化，所述数据转换单元通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式。
优选的，所述大数据处理模块包括数据挖掘单元、数据分析单元。
优选的，所述中央控制器根据采集的状态建立接收队列表，接收队列表内保存所述大数据接收模块中各个服务器的工作状态和繁忙程度。
优选的，所述中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种大数据处理系统，通过采集互联网上的前期数据，将其进行归纳分类并进行冗余判断、数据清理、优化和转换处理，最后通过所述大数据控制模块控制数据的传输和结果的显示。其中，所述中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输，防止数据的丢失，保障数据传输运行正常。
本发明的上述技术方案具有如下有益的技术效果：通过大数据采集模块可以对海量数据进行逐步精炼、提取，降低数据的占用空间并提高后续的处理效率；在大数据预处理模块实现对于前期数据的快速处理，并保证了原始数据处理的准确度；所述大数据处理模块中的所述数据挖掘单元可从多个维度对数据进行信息挖掘，得到相应的可视化成品数据，可反映对应的规律或趋势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种大数据处理系统，包括：大数据采集模块1、与大数据采集模块1依次连接的大数据归纳模块2、大数据预处理模块3、大数据处理模块4、大数据发送模块5、大数据接收模块6、大数据控制模块7和大数据可视化模块8；
其中，大数据采集模块1用于采集互联网上的前期数据；
大数据归纳模块2用于对采集的前期数据进行归纳分类；
大数据预处理模块3用于对分类后的数据进行预处理；
大数据处理模块4用于根据大数据预处理模块3预处理的结果对原始数据进行处理，并将处理的结果传输至大数据发送模块5；
大数据发送模块5用于发送处理后的数据；
大数据接收模块6用于接收大数据发送模块5发送的数据；
大数据控制模块7包括中央控制器，中央控制器用于采集大数据接收模块6的状态控制数据的传输，将最终结果数据传输到大数据可视化模块8；
大数据可视化模块8将最终结果数据进行可视化展示。
为了进一步优化上述技术方案，大数据采集模块1包括系统日志采集模块、网络采集模块和传感器。
为了进一步优化上述技术方案，前期数据包括文件日志、数据库日志、关系型数据库的接入和应用程序的接入。
为了进一步优化上述技术方案，大数据归纳模块2依据大数据类型将采集的前期数据特征进行归纳分类，大数据类型包括业务问题。
为了进一步优化上述技术方案，大数据预处理模块3包括数据冗余判断单元、数据清理单元、数据优化单元和数据转换单元；数据冗余判断单元用于判断分类数据是否为冗余的无用数据，数据清理单元用于消除噪声和删除所述无用数据，数据优化单元用于对保留的数据进行优化，数据转换单元通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式。
为了进一步优化上述技术方案，大数据处理模块4包括数据挖掘单元、数据分析单元。
为了进一步优化上述技术方案，中央控制器根据采集的状态建立接收队列表，接收队列表内保存大数据接收模块6中各个服务器的工作状态和繁忙程度。
为了进一步优化上述技术方案，中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输。
本发明公开提供了一种大数据处理系统，通过采集互联网上的前期数据，将其进行归纳分类并进行冗余判断、数据清理、优化和转换处理，最后通过所述大数据控制模块控制数据的传输和结果的显示。其中，所述中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输，防止数据的丢失，保障数据传输运行正常。
本发明的上述技术方案具有如下有益的技术效果：通过大数据采集模块可以对海量数据进行逐步精炼、提取，降低数据的占用空间并提高后续的处理效率；在大数据预处理模块实现对于前期数据的快速处理，并保证了原始数据处理的准确度；所述大数据处理模块中的所述数据挖掘单元可从多个维度对数据进行信息挖掘，得到相应的可视化成品数据，可反映对应的规律或趋势。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种大数据处理系统，其特征在于，包括：大数据采集模块(1)、与所述大数据采集模块(1)依次连接的大数据归纳模块(2)、大数据预处理模块(3)、大数据处理模块(4)、大数据发送模块(5)、大数据接收模块(6)、大数据控制模块(7)和大数据可视化模块(8)；
其中，所述大数据采集模块(1)用于采集互联网上的前期数据；
所述大数据归纳模块(2)用于对采集的前期数据进行归纳分类；
所述大数据预处理模块(3)用于对分类后的数据进行预处理；
所述大数据处理模块(4)用于根据所述大数据预处理模块(3)预处理的结果对原始数据进行处理，并将处理的结果传输至所述大数据发送模块(5)；
所述大数据发送模块(5)用于发送处理后的数据；
所述大数据接收模块(6)用于接收所述大数据发送模块(5)发送的数据；
所述大数据控制模块(7)包括中央控制器，所述中央控制器用于采集所述大数据接收模块(6)的状态控制数据的传输，将最终结果数据传输到所述大数据可视化模块(8)；
所述大数据可视化模块(8)将最终结果数据进行可视化展示。
2.根据权利要求1所述的一种大数据处理系统，其特征在于，所述大数据采集模块(1)包括系统日志采集模块、网络采集模块和传感器。
3.根据权利要求1所述的一种大数据处理系统，其特征在于，所述前期数据包括文件日志、数据库日志、关系型数据库的接入和应用程序的接入。
4.根据权利要求1所述的一种大数据处理系统，其特征在于，所述大数据归纳模块(2)依据大数据类型将采集的前期数据特征进行归纳分类，所述大数据类型包括业务问题。
5.根据权利要求1所述的一种大数据处理系统，其特征在于，所述大数据预处理模块(3)包括数据冗余判断单元、数据清理单元、数据优化单元和数据转换单元；所述数据冗余判断单元用于判断分类数据是否为冗余的无用数据，所述数据清理单元用于消除噪声和删除所述无用数据，所述数据优化单元用于对保留的数据进行优化，所述数据转换单元通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式。
6.根据权利要求1所述的一种大数据处理系统，其特征在于，所述大数据处理模块(4)包括数据挖掘单元、数据分析单元。
7.根据权利要求1所述的一种大数据处理系统，其特征在于，所述中央控制器根据采集的状态建立接收队列表，接收队列表内保存所述大数据接收模块(6)中各个服务器的工作状态和繁忙程度。
8.根据权利要求1所述的一种大数据处理系统，其特征在于，所述中央控制器以循环的方式侦测发送队列表，并依据接收队列表记录的数据控制数据的传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010000470.3A CN111159280A (zh) | 2020-01-02 | 2020-01-02 | 一种大数据处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010000470.3A CN111159280A (zh) | 2020-01-02 | 2020-01-02 | 一种大数据处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111159280A true CN111159280A (zh) | 2020-05-15 |
Family
ID=70560887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010000470.3A Pending CN111159280A (zh) | 2020-01-02 | 2020-01-02 | 一种大数据处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111159280A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112667573A (zh) * | 2020-12-23 | 2021-04-16 | 国网宁夏电力有限公司信息通信公司 | 冗余日志删除方法及系统 |
| CN112860815A (zh) * | 2021-02-23 | 2021-05-28 | 南京启用宝信息科技有限公司 | 一种基于大数据的财税信息化数据处理系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104933124A (zh) * | 2015-06-10 | 2015-09-23 | 柳州市智融科技有限公司 | 互联网大数据处理系统 |
| CN104980254A (zh) * | 2015-06-10 | 2015-10-14 | 柳州市智融科技有限公司 | 因特网信息处理系统 |
| CN105677836A (zh) * | 2016-01-05 | 2016-06-15 | 北京汇商融通信息技术有限公司 | 一种同时支持离线数据和实时在线数据的大数据处理解决系统 |
| CN107256219A (zh) * | 2017-04-24 | 2017-10-17 | 卡斯柯信号有限公司 | 应用于自动列车控制系统海量日志的大数据融合分析方法 |
| CN109408567A (zh) * | 2018-09-11 | 2019-03-01 | 广东布田电子商务有限公司 | 一种大数据处理平台网络架构 |
| CN110413661A (zh) * | 2019-07-31 | 2019-11-05 | 电子科技大学中山学院 | 一种大数据处理系统 |
-
2020
- 2020-01-02 CN CN202010000470.3A patent/CN111159280A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104933124A (zh) * | 2015-06-10 | 2015-09-23 | 柳州市智融科技有限公司 | 互联网大数据处理系统 |
| CN104980254A (zh) * | 2015-06-10 | 2015-10-14 | 柳州市智融科技有限公司 | 因特网信息处理系统 |
| CN105677836A (zh) * | 2016-01-05 | 2016-06-15 | 北京汇商融通信息技术有限公司 | 一种同时支持离线数据和实时在线数据的大数据处理解决系统 |
| CN107256219A (zh) * | 2017-04-24 | 2017-10-17 | 卡斯柯信号有限公司 | 应用于自动列车控制系统海量日志的大数据融合分析方法 |
| CN109408567A (zh) * | 2018-09-11 | 2019-03-01 | 广东布田电子商务有限公司 | 一种大数据处理平台网络架构 |
| CN110413661A (zh) * | 2019-07-31 | 2019-11-05 | 电子科技大学中山学院 | 一种大数据处理系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张仁寿著: "《现代商贸评论 第3辑》", 30 April 2010 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112667573A (zh) * | 2020-12-23 | 2021-04-16 | 国网宁夏电力有限公司信息通信公司 | 冗余日志删除方法及系统 |
| CN112860815A (zh) * | 2021-02-23 | 2021-05-28 | 南京启用宝信息科技有限公司 | 一种基于大数据的财税信息化数据处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109033387B (zh) | 一种融合多源数据的物联网搜索系统、方法及存储介质 | |
| CN107886238B (zh) | 一种基于海量数据分析的业务流程管理系统及方法 | |
| US10430111B2 (en) | Optimization for real-time, parallel execution of models for extracting high-value information from data streams | |
| KR20160075971A (ko) | 공공민원 데이터 서비스를 위한 빅 데이터 관리시스템 | |
| US20210279265A1 (en) | Optimization for Real-Time, Parallel Execution of Models for Extracting High-Value Information from Data Streams | |
| CN103139256B (zh) | 一种多租户网络舆情监控方法及系统 | |
| CN111159280A (zh) | 一种大数据处理系统 | |
| CN107748782A (zh) | 查询语句处理方法及装置 | |
| CN113824610A (zh) | 一种基于云计算的用于信息安全数据采集系统 | |
| CN112732802A (zh) | 一种基于大数据的企业数据挖掘系统及方法 | |
| CN111125450A (zh) | 一种多层拓扑网络资源对象的管理方法 | |
| EP4044031A1 (en) | Cloud orchestration system and method based on read-write separation and auto-scaling | |
| CN106817262A (zh) | 一种日志分析装置 | |
| CN112559480A (zh) | 一种并行计算场景下分布式数据集合计算方法和系统 | |
| CN111104683A (zh) | 一种基于大数据的关键信息内容匹配识别的方法 | |
| CN115081679A (zh) | 基于cdc的工业数据动态变化自动感知处理系统 | |
| CN113205808A (zh) | 一种基于ai咨询云计算搭建方法及系统 | |
| KR20210045172A (ko) | 축산 질병 발생 분석을 위한 빅 데이터 관리 및 시스템 | |
| CN109992626A (zh) | 一种多维数据模型的数据处理方法及装置 | |
| CN111104558A (zh) | 一种分布式的多源数据处理方法及系统 | |
| CN108399205A (zh) | 一种数据高速处理转换通信方法及装置 | |
| RU2698916C1 (ru) | Способ и система поиска релевантных новостей | |
| CN116402267A (zh) | 一种基于大数据分析的企业管理分析系统 | |
| CN112099994A (zh) | 一种计算机数据安全自动备份系统 | |
| CN117216030A (zh) | 一种基于大数据挖掘的水环境治理产业精准分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |