CN113032384A - 一种大数据数据颗粒算法系统 - Google Patents
一种大数据数据颗粒算法系统 Download PDFInfo
- Publication number
- CN113032384A CN113032384A CN202110434848.5A CN202110434848A CN113032384A CN 113032384 A CN113032384 A CN 113032384A CN 202110434848 A CN202110434848 A CN 202110434848A CN 113032384 A CN113032384 A CN 113032384A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- computing system
- big data
- valid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 title abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000005065 mining Methods 0.000 claims abstract description 12
- 238000013075 data extraction Methods 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims description 32
- 239000008187 granular material Substances 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 11
- 238000007689 inspection Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000005336 cracking Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 2
- 238000007418 data mining Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种大数据数据颗粒算法系统，涉及数据深度挖掘技术领域，针对现有数据提取算法中由于数据量庞大对，会遗漏数据中的有效信息，造成资源的流失等问题，现提出如下方案，包括一层计算系统、二层计算系统和三层计算系统，所述一层计算系统包括数据提取模块，所述数据提取模块的输出端连接有过滤去除模块，所述过滤去除模块的输出端连接有数据获取模块，所述数据获取模块的输出端连接有检索计算模块，所述检索计算模块的输出端连接有备份传输模块。本发明该发明计算方法深层，将数据深层挖掘重组计算，获得大数据中隐藏信息，提高大数据有效信息获取率，避免资源流失，适合推广使用。
Description
技术领域
本发明涉及数据深度挖掘技术领域，尤其涉及一种大数据数据颗粒算法系统。
背景技术
大数据IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有数据量大、速度快、类型多、价值高、真实性强的特点。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点，随着大数据的逐渐运用，大数据挖掘算法系统也应运而生，大数据挖掘将获取的海量信息进行搜索查找和删除，获得用户所需数据信息，但是在对大数据筛选提取中由于数据量庞大，因此会遗漏数据中的有效信息，造成资源的流失，为了深度将大数据中的有效信息提取，我们提出一种大数据数据颗粒算法系统。
发明内容
本发明提出的一种大数据数据颗粒算法系统，解决现有数据提取算法中由于数据量庞大对，会遗漏数据中的有效信息，造成资源的流失等问题。
为了实现上述目的，本发明采用了如下技术方案：
一种大数据数据颗粒算法系统，包括一层计算系统、二层计算系统和三层计算系统，所述一层计算系统包括数据提取模块，所述数据提取模块的输出端连接有过滤去除模块，所述过滤去除模块的输出端连接有数据获取模块，所述数据获取模块的输出端连接有检索计算模块，所述检索计算模块的输出端连接有备份传输模块，所述备份传输模块的输出端连接有检验查重模块，所述检验查重模块的输出端连接有结果显示模块，所述二层计算系统包括筛选获得模块、深度挖掘模块和定向传输模块，所述三层计算系统包括数据剥离模块、破解检索模块和筛选备份模块。
优选的，所述结果显示模块包括展示单元、列表单元、图表单元和分析单元，所述展示单元包括展示面板，所述列表单元用于将多层算法获得的大数据计算结果全部展示，所述图表单元用于将大数据计算结果通过图表化显示，所述分析单元用于对大数据计算结果对照分析，获得结果直接的差异。
优选的，所述一层计算系统与二层计算系统之间连接有数据传输模块，所述数据传输模块将过滤去除模块中删除的数据上传至二层计算系统进行深度计算。
优选的，所述二层计算系统和三层计算系统的输出端均与检验查重模块的输入端连接，所述检验查重模块用于对一层计算系统、二层计算系统和三层计算系统获得的数据结果进行合并后查重，并将重复结果删除保留一组数值。
优选的，所述数据提取模块用于需要计算的数组进行有效信息提取，有效信息用户自定义设置关键词查询，所述过滤去除模块将提取有效数据后的无效数据集中去除，并将无效数据上传至数据传输模块中，所述数据获取模块识别有效数据同步将信息上传至检索计算模块，所述检索计算模块对有效数据进行检索查找并将查找结果上传至备份传输模块，备份传输模块将检索结果备份后传输至检验查重模块。
优选的，所述检验查重模块具有暂停传输数据的功能，所述三层计算系统中的数据剥离模块用于将有效数据再次剥离分解，获得数据颗粒，并将数据打乱重组，所述破解检索模块用于对重组数据进行再次查找检索，所述筛选备份模块筛选重组的有效数据，并将重组的有效数据备份后上传至检验查重模块。
优选的，所述二层计算系统中的筛选获得模块用于对删除的数据再次检索数据并将检索获得的数据上传是深度挖掘模块，所述深度挖掘模块在检索数据中将数据划分颗粒再次查找挖掘有效数据，并将获得的有效数据通过定向传输模块打包后上传至检验查重模块中。
与现有的技术相比，本发明的有益效果是：本发明通过一层计算系统初步将大数据中的有效信息提取，并将无效数据通过数据传输模块上传至二层计算系统中，二层计算系统对删除数据再次深度挖掘，将数据重新分解至更深一层，获得颗粒数据后对颗粒数据再次提取挖掘，使得数据获得的更加深层，三层计算系统将一层计算系统将有效数据再次剥离分解，获得数据颗粒，并将数据打乱重组，对数据重组会获得不同的数据组，从数据组中再次查找是否含有有效信息，一层计算系统、二层计算系统和三层计算系统将所有查找计算出的有效数据上传至检验查重模块中汇总查找，并将重复数据删除至一组，用过结果显示模块将有效数据多种方式显示，便于用户观察分析；
综上所述，该发明计算方法深层，将数据深层挖掘重组计算，获得大数据中隐藏信息，提高大数据有效信息获取率，避免资源流失，适合推广使用。
附图说明
图1为本发明提出的一种大数据数据颗粒算法系统的原理框图；
图2为本发明提出的一种大数据数据颗粒算法系统的部分原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-2，一种大数据数据颗粒算法系统，包括一层计算系统、二层计算系统和三层计算系统，一层计算系统包括数据提取模块，数据提取模块的输出端连接有过滤去除模块，过滤去除模块的输出端连接有数据获取模块，数据获取模块的输出端连接有检索计算模块，检索计算模块的输出端连接有备份传输模块，备份传输模块的输出端连接有检验查重模块，检验查重模块的输出端连接有结果显示模块，二层计算系统包括筛选获得模块、深度挖掘模块和定向传输模块，三层计算系统包括数据剥离模块、破解检索模块和筛选备份模块。
本实施例中，结果显示模块包括展示单元、列表单元、图表单元和分析单元，展示单元包括展示面板，列表单元用于将多层算法获得的大数据计算结果全部展示，图表单元用于将大数据计算结果通过图表化显示，分析单元用于对大数据计算结果对照分析，获得结果直接的差异。
本实施例中，一层计算系统与二层计算系统之间连接有数据传输模块，数据传输模块将过滤去除模块中删除的数据上传至二层计算系统进行深度计算。
本实施例中，二层计算系统和三层计算系统的输出端均与检验查重模块的输入端连接，检验查重模块用于对一层计算系统、二层计算系统和三层计算系统获得的数据结果进行合并后查重，并将重复结果删除保留一组数值。
本实施例中，数据提取模块用于需要计算的数组进行有效信息提取，有效信息用户自定义设置关键词查询，过滤去除模块将提取有效数据后的无效数据集中去除，并将无效数据上传至数据传输模块中，数据获取模块识别有效数据同步将信息上传至检索计算模块，检索计算模块对有效数据进行检索查找并将查找结果上传至备份传输模块，备份传输模块将检索结果备份后传输至检验查重模块。
本实施例中，检验查重模块具有暂停传输数据的功能，三层计算系统中的数据剥离模块用于将有效数据再次剥离分解，获得数据颗粒，并将数据打乱重组，破解检索模块用于对重组数据进行再次查找检索，筛选备份模块筛选重组的有效数据，并将重组的有效数据备份后上传至检验查重模块。
本实施例中，二层计算系统中的筛选获得模块用于对删除的数据再次检索数据并将检索获得的数据上传是深度挖掘模块，深度挖掘模块在检索数据中将数据划分颗粒再次查找挖掘有效数据，并将获得的有效数据通过定向传输模块打包后上传至检验查重模块中。
本实施例中，通过一层计算系统初步将大数据中的有效信息提取，并将无效数据通过数据传输模块上传至二层计算系统中，二层计算系统对删除数据再次深度挖掘，将数据重新分解至更深一层，获得颗粒数据后对颗粒数据再次提取挖掘，使得数据获得的更加深层，三层计算系统将一层计算系统将有效数据再次剥离分解，获得数据颗粒，并将数据打乱重组，对数据重组会获得不同的数据组，从数据组中再次查找是否含有有效信息，一层计算系统、二层计算系统和三层计算系统将所有查找计算出的有效数据上传至检验查重模块中汇总查找，并将重复数据删除至一组，用过结果显示模块将有效数据多种方式显示。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种大数据数据颗粒算法系统，包括一层计算系统、二层计算系统和三层计算系统，其特征在于，所述一层计算系统包括数据提取模块，所述数据提取模块的输出端连接有过滤去除模块，所述过滤去除模块的输出端连接有数据获取模块，所述数据获取模块的输出端连接有检索计算模块，所述检索计算模块的输出端连接有备份传输模块，所述备份传输模块的输出端连接有检验查重模块，所述检验查重模块的输出端连接有结果显示模块，所述二层计算系统包括筛选获得模块、深度挖掘模块和定向传输模块，所述三层计算系统包括数据剥离模块、破解检索模块和筛选备份模块。
2.根据权利要求1所述的一种大数据数据颗粒算法系统，其特征在于，所述结果显示模块包括展示单元、列表单元、图表单元和分析单元，所述展示单元包括展示面板，所述列表单元用于将多层算法获得的大数据计算结果全部展示，所述图表单元用于将大数据计算结果通过图表化显示，所述分析单元用于对大数据计算结果对照分析，获得结果直接的差异。
3.根据权利要求1所述的一种大数据数据颗粒算法系统，其特征在于，所述一层计算系统与二层计算系统之间连接有数据传输模块，所述数据传输模块将过滤去除模块中删除的数据上传至二层计算系统进行深度计算。
4.根据权利要求1所述的一种大数据数据颗粒算法系统，其特征在于，所述二层计算系统和三层计算系统的输出端均与检验查重模块的输入端连接，所述检验查重模块用于对一层计算系统、二层计算系统和三层计算系统获得的数据结果进行合并后查重，并将重复结果删除保留一组数值。
5.根据权利要求1所述的一种大数据数据颗粒算法系统，其特征在于，所述数据提取模块用于需要计算的数组进行有效信息提取，有效信息用户自定义设置关键词查询，所述过滤去除模块将提取有效数据后的无效数据集中去除，并将无效数据上传至数据传输模块中，所述数据获取模块识别有效数据同步将信息上传至检索计算模块，所述检索计算模块对有效数据进行检索查找并将查找结果上传至备份传输模块，备份传输模块将检索结果备份后传输至检验查重模块。
6.根据权利要求5所述的一种大数据数据颗粒算法系统，其特征在于，所述检验查重模块具有暂停传输数据的功能，所述三层计算系统中的数据剥离模块用于将有效数据再次剥离分解，获得数据颗粒，并将数据打乱重组，所述破解检索模块用于对重组数据进行再次查找检索，所述筛选备份模块筛选重组的有效数据，并将重组的有效数据备份后上传至检验查重模块。
7.根据权利要求3所述的一种大数据数据颗粒算法系统，其特征在于，所述二层计算系统中的筛选获得模块用于对删除的数据再次检索数据并将检索获得的数据上传是深度挖掘模块，所述深度挖掘模块在检索数据中将数据划分颗粒再次查找挖掘有效数据，并将获得的有效数据通过定向传输模块打包后上传至检验查重模块中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110434848.5A CN113032384B (zh) | 2021-04-22 | 2021-04-22 | 一种大数据数据颗粒计算系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110434848.5A CN113032384B (zh) | 2021-04-22 | 2021-04-22 | 一种大数据数据颗粒计算系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113032384A true CN113032384A (zh) | 2021-06-25 |
| CN113032384B CN113032384B (zh) | 2024-04-12 |
Family
ID=76457316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110434848.5A Active CN113032384B (zh) | 2021-04-22 | 2021-04-22 | 一种大数据数据颗粒计算系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113032384B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591953A (zh) * | 2021-07-20 | 2021-11-02 | 深圳市德邦物流有限公司 | 一种基于svm的动态物流大数据有效信息提取算法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110162556A (zh) * | 2018-02-11 | 2019-08-23 | 陕西爱尚物联科技有限公司 | 一种有效发挥数据价值的方法 |
| CN111125198A (zh) * | 2019-12-27 | 2020-05-08 | 南京航空航天大学 | 一种基于时间序列的计算机数据挖掘聚类方法 |
| CN111813834A (zh) * | 2020-07-14 | 2020-10-23 | 滁州职业技术学院 | 一种数据挖掘系统以及数据挖掘方法 |
-
2021
- 2021-04-22 CN CN202110434848.5A patent/CN113032384B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110162556A (zh) * | 2018-02-11 | 2019-08-23 | 陕西爱尚物联科技有限公司 | 一种有效发挥数据价值的方法 |
| CN111125198A (zh) * | 2019-12-27 | 2020-05-08 | 南京航空航天大学 | 一种基于时间序列的计算机数据挖掘聚类方法 |
| CN111813834A (zh) * | 2020-07-14 | 2020-10-23 | 滁州职业技术学院 | 一种数据挖掘系统以及数据挖掘方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591953A (zh) * | 2021-07-20 | 2021-11-02 | 深圳市德邦物流有限公司 | 一种基于svm的动态物流大数据有效信息提取算法 |
| CN113591953B (zh) * | 2021-07-20 | 2022-06-28 | 深圳市德邦物流有限公司 | 一种动态物流大数据有效信息提取算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113032384B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114143020B (zh) | 一种基于规则的网络安全事件关联分析方法和系统 | |
| Aye | Web log cleaning for mining of web usage patterns | |
| CN108388682A (zh) | 一种智能化大数据储存分类平台及其方法 | |
| CN107835087A (zh) | 一种基于频繁模式挖掘的安全设备告警规则自动提取方法 | |
| CN106302522A (zh) | 一种基于神经网络和大数据的网络安全态势分析方法和系统 | |
| CN109284626A (zh) | 面向差分隐私保护的随机森林算法 | |
| CN107872454A (zh) | 一种基于大数据技术的超大型互联网平台安全等级保护威胁信息监测与分析系统及方法 | |
| CN105373607B (zh) | 一种电力业务系统sql访问日志压缩方法 | |
| CN113032384A (zh) | 一种大数据数据颗粒算法系统 | |
| CN103810300B (zh) | 用于非索引覆盖的数据查询方法和装置 | |
| CN112732680A (zh) | 一种数据仓库设计方法 | |
| Feddaoui et al. | EXTRACT: New extraction algorithm of association rules from frequent itemsets | |
| CN110519231A (zh) | 一种跨域数据交换监管系统及方法 | |
| CN109582837A (zh) | 一种基于云的可视化数据处理方法及系统 | |
| CN113657700A (zh) | 一种基于大数据的矿山安全生产实时监测方法和系统 | |
| CN110941836A (zh) | 一种分布式垂直爬虫方法及终端设备 | |
| CN109284317B (zh) | 一种基于时序有向图的窃取信息线索提取与分段评估方法 | |
| Nie et al. | Research on counter-terrorism based on big data | |
| CN110837593A (zh) | 一种基于聚焦爬虫技术的旅游跟踪系统 | |
| CN110968596A (zh) | 一种基于标签系统的数据处理方法 | |
| CN115238004A (zh) | 一种去中心化的元宇宙应用监管方法 | |
| CN104899118B (zh) | 一种对删除的隐私数据的恢复方法及系统 | |
| Wang | Research on the collection method of financial blockchain risk prompt information from sandbox perspective | |
| CN114491061A (zh) | 一种多维数据关联分析系统及方法 | |
| Al-Maqaleh et al. | An efficient algorithm for mining association rules using confident frequent itemsets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |