CN112988829A - 一种大数据分析处理系统 - Google Patents
一种大数据分析处理系统 Download PDFInfo
- Publication number
- CN112988829A CN112988829A CN201911212532.0A CN201911212532A CN112988829A CN 112988829 A CN112988829 A CN 112988829A CN 201911212532 A CN201911212532 A CN 201911212532A CN 112988829 A CN112988829 A CN 112988829A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- information
- analysis
- data analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种大数据分析处理系统，包括数据采集模块、数据传输模块、数据存储模块、数据分析服务器和操作终端，数据存储模块中设有数据归类模块对其接收的数据信息进行分类后储存到其内设置的各个储存分区，数据分析服务器设有信息量计数模块、信息量分配模块和多个数据分析子模块，信息量计数模块对按照分析指令从数据存储模块提取的数据信息进行计数，信息量分配模块根据计数决定参与本次数据分析过程的数据分析子模块的数量。该系统通过预先分类可减少单次数据分析的信息量，增加分析速度，且单次分析中，通过计数决定适当数量的数据分析子模块参与分析，减小数据分析服务器的负荷。
Description
技术领域
本发明涉及大数据处理领域，具体涉及一种大数据分析处理系统。
背景技术
随着网络时代的高速发展，各类数据的信息量日趋庞大，对这样庞大的信息量进行处理时，传统的数据处理工具已经难以满足要求，大数据处理技术在这种背景下应运而生。大数据处理是近年发展起来的一种数据处理技术，它能够同时对数量庞大的各类信息进行分析整理，从中获得目标信息，而如何能够快速有效的获得目标信息是评价大数据分析系统的效率高低的关键因素。
发明内容
本发明的目的在于提供一种大数据分析处理系统，该系统能够对采集到的海量信息进行先期归类，进行大数据分析时，按照分析指令直接从对应的类别中提取信息，从而尽量减少大数据分析服务器单次分析的数据处理量，提高数据分析处理速度，该系统还将大数据分析服务器拆分为多个单独的数据分析子模块，信息分配模块通过需要处理的信息量分配适当数量的数据分析子模块参与到单次数据分析过程中，在这种情况下，并非每次数据分析过程都需要全部的数据分析子模块全部参与，减小了数据分析服务器的负荷。
为实现上述目的，本发明提供如下技术方案：一种大数据分析处理系统，包括数据采集系统和数据分析系统，其特征在于，所述数据采集系统包括数据采集系统包括数据采集模块、数据传输模块和数据存储模块，所述数据分析系统包括运算中心服务器和操作终端，其中，
所述数据采集模块用于数据信息的采集；
所述数据传输模块用于将所述数据采集模块采集的数据信息传输至所述数据存储模块；
所述数据存储模块设有数据归类模块和多个储存分区，所述数据传输模块将数据信息传输至所述数据归类模块，所述数据归类模块对数据信息进行分类后储存到不同的储存分区；
所述操作终端供用户输入分析指令，并将分析指令下达至所述运算中心服务器；
所述运算中心服务器根据其收到的分析指令，从所述数据存储模块中对应的所述存储分区中提取数据信息，对提取的数据信息进行分析获得分析结果，并将分析结果回传给所述操作终端供用户下载。
根据本发明的一实施例，对于所述的大数据分析处理系统，所述运算中心服务器设有信息量计数模块、信息量分配模块和多个数据分析子模块，每个所述数据分析子模块均能处理固定数量的数据信息，所述信息量计数模块对自所述数据存储模块选取的数据信息进行计数，并将数据信息和计数结果传输给所述信息量分配模块，所述信息量分配模块根据其接收的计数结果计算出参与数据处理的所述数据分析子模块的数量，并将数据信息划分后穿出给各个所述数据分析子模块。
根据本发明的一实施例，对于所述的大数据分析处理系统，所述操作终端设有用户身份认证模块。
与现有技术相比，本发明的有益效果是：
本发明所提供的大数据分析处理系统，该系统能够对采集到的海量信息进行先期归类，进行大数据分析时，按照分析指令直接从对应的类别中提取信息，从而尽量减少大数据分析服务器单次分析的数据处理量，提高数据分析处理速度，该系统还将大数据分析服务器拆分为多个单独的数据分析子模块，信息分配模块通过需要处理的信息量分配适当数量的数据分析子模块参与到单次数据分析过程中，在这种情况下，并非每次数据分析过程都需要全部的数据分析子模块全部参与，减小了数据分析服务器的负荷。
附图说明
图1为本发明的系统框架图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种大数据分析处理系统，包括数据采集系统和数据分析系统，其特征在于，所述数据采集系统包括数据采集系统包括数据采集模块、数据传输模块和数据存储模块，所述数据分析系统包括运算中心服务器和操作终端，其中，
所述数据采集模块用于数据信息的采集；
所述数据传输模块用于将所述数据采集模块采集的数据信息传输至所述数据存储模块；
所述数据存储模块设有数据归类模块和多个储存分区，所述数据传输模块将数据信息传输至所述数据归类模块，所述数据归类模块对数据信息进行分类后储存到不同的储存分区；
所述操作终端供用户输入分析指令，并将分析指令下达至所述运算中心服务器；
所述运算中心服务器根据其收到的分析指令，从所述数据存储模块中对应的所述存储分区中提取数据信息，对提取的数据信息进行分析获得分析结果，并将分析结果回传给所述操作终端供用户下载。
该系统对信息采集模块采集到的信息在存储之前先根据关键词进行分类，然后根据类别储存到不同的储存分区，在进行数据分析时，根据分析指令所对应的相关关键词，从对应的储存分区中提取信息至数据分析服务器进行数据分析，这种情况下，可尽量减少单次数据分析的信息量，从而提高数据分析的速度和效率。
根据本发明的一实施例，对于所述的大数据分析处理系统，所述运算中心服务器设有信息量计数模块、信息量分配模块和多个数据分析子模块，每个所述数据分析子模块均能处理固定数量的数据信息，所述信息量计数模块对自所述数据存储模块选取的数据信息进行计数，并将数据信息和计数结果传输给所述信息量分配模块，所述信息量分配模块根据其接收的计数结果计算出参与数据处理的所述数据分析子模块的数量，并将数据信息划分后穿出给各个所述数据分析子模块。例如，数据分析服务器中设有n个数据分析子模块，每个数据分析子模块能够处理的最大信息量为30000条，当操作终端发出分析指令至数据分析服务器，数据分析服务器根据分析指令对应的关键词从信息存储模块中提取相应的数据信息，提取出来的数据信息先经过信息量计数模块进行计数，计数结果为320000，那么该计数结果和数据信息一同传输至信息量分配模块，信息量分配模块经过运算后指定11个数据分析子模块参与到此次数据分析过程，并将320000条信息分出10个30000条数据信息分别传输至其中10个数据分析子模块，剩下的20000条数据信息传输至另1个数据分析子模块，各个数据分析子模块根据分析指令对其接收到的数据信息进行数据分析，从中选出目标信息，在这种情况下，并非每次数据分析过程都需要全部的数据分析子模块全部参与，减小了数据分析服务器的负荷。
根据本发明的一实施例，对于所述的大数据分析处理系统，所述操作终端设有用户身份认证模块。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (3)
1.一种大数据分析处理系统，包括数据采集系统和数据分析系统，其特征在于，所述数据采集系统包括数据采集系统包括数据采集模块、数据传输模块和数据存储模块，所述数据分析系统包括运算中心服务器和操作终端，其中，
所述数据采集模块用于数据信息的采集；
所述数据传输模块用于将所述数据采集模块采集的数据信息传输至所述数据存储模块；
所述数据存储模块设有数据归类模块和多个储存分区，所述数据传输模块将数据信息传输至所述数据归类模块，所述数据归类模块对数据信息进行分类后储存到不同的储存分区；
所述操作终端供用户输入分析指令，并将分析指令下达至所述运算中心服务器；
所述运算中心服务器根据其收到的分析指令，从所述数据存储模块中对应的所述存储分区中提取数据信息，对提取的数据信息进行分析获得分析结果，并将分析结果回传给所述操作终端供用户下载。
2.根据权利要求1所述的大数据分析处理系统，其特征在于，所述运算中心服务器设有信息量计数模块、信息量分配模块和多个数据分析子模块，每个所述数据分析子模块均能处理固定数量的数据信息，所述信息量计数模块对自所述数据存储模块选取的数据信息进行计数，并将数据信息和计数结果传输给所述信息量分配模块，所述信息量分配模块根据其接收的计数结果计算出参与数据处理的所述数据分析子模块的数量，并将数据信息划分后穿出给各个所述数据分析子模块。
3.根据权利要求1所述的大数据分析处理系统，其特征在于，所述操作终端设有用户身份认证模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911212532.0A CN112988829A (zh) | 2019-12-02 | 2019-12-02 | 一种大数据分析处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911212532.0A CN112988829A (zh) | 2019-12-02 | 2019-12-02 | 一种大数据分析处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112988829A true CN112988829A (zh) | 2021-06-18 |
Family
ID=76331025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911212532.0A Pending CN112988829A (zh) | 2019-12-02 | 2019-12-02 | 一种大数据分析处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112988829A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113377843A (zh) * | 2021-06-21 | 2021-09-10 | 国网宁夏电力有限公司电力科学研究院 | 一种基于能源大数据的数据分析系统 |
-
2019
- 2019-12-02 CN CN201911212532.0A patent/CN112988829A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113377843A (zh) * | 2021-06-21 | 2021-09-10 | 国网宁夏电力有限公司电力科学研究院 | 一种基于能源大数据的数据分析系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110347888B (zh) | 订单数据的处理方法、装置及存储介质 | |
| CN113360554B (zh) | 一种数据抽取、转换和加载etl的方法和设备 | |
| CN102929961A (zh) | 基于构建快速数据分级通道的数据处理方法及其装置 | |
| CN105025068A (zh) | 网络数据下载方法和装置 | |
| CN108710644A (zh) | 一种关于政务大数据处理方法 | |
| CN111680016A (zh) | 分布式服务器集群日志数据处理方法、装置及系统 | |
| CN114675985B (zh) | 一种基于大数据的网络消息处理系统 | |
| CN112699964A (zh) | 模型构建方法、系统、装置、介质、交易身份识别方法 | |
| CN110210506A (zh) | 基于大数据的特征处理方法、装置和计算机设备 | |
| CN112988829A (zh) | 一种大数据分析处理系统 | |
| CN112182031B (zh) | 数据查询方法及装置、存储介质、电子装置 | |
| CN112232290B (zh) | 数据聚类方法、服务器、系统以及计算机可读存储介质 | |
| CN102722521B (zh) | 监控数据比对的方法及系统 | |
| CN116469039A (zh) | 热点视频事件确定方法和系统、存储介质及电子设备 | |
| CN115470279A (zh) | 基于企业数据的数源转换方法、装置、设备及介质 | |
| CN114996207A (zh) | 一种基于5g云计算的大数据分析方法及系统 | |
| CN105491136A (zh) | 消息发送方法和装置 | |
| CN115022038A (zh) | 一种电网网络异常检测方法、装置、设备及存储介质 | |
| CN110489569B (zh) | 一种基于知识图谱的事件处理方法及装置 | |
| CN114385436A (zh) | 服务器分组方法、装置、电子设备和存储介质 | |
| CN109213841A (zh) | 直播主题样本提取方法、存储介质、电子设备及系统 | |
| CN110990430A (zh) | 一种大规模数据并行处理系统 | |
| CN111062800A (zh) | 数据处理方法、装置、电子设备及计算机可读介质 | |
| CN110895541A (zh) | 一种Timing云数据统计智能化平台 | |
| CN112948687B (zh) | 一种基于名片文件特征的节点消息推荐方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210618 |