CN110727686A - 一种大数据块结构化存储方法 - Google Patents
一种大数据块结构化存储方法 Download PDFInfo
- Publication number
- CN110727686A CN110727686A CN201911010903.7A CN201911010903A CN110727686A CN 110727686 A CN110727686 A CN 110727686A CN 201911010903 A CN201911010903 A CN 201911010903A CN 110727686 A CN110727686 A CN 110727686A
- Authority
- CN
- China
- Prior art keywords
- data
- processing unit
- storage method
- classification
- structured storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000013500 data storage Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000004140 cleaning Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了结构化存储技术领域的一种大数据块结构化存储方法，包括数据接收模块、中央处理器、自主分类处理单元，通过数据接收端口的数据接收模块统一接收多种数据类型的原始数据，数据接收模块将接收到的原始数据传输到中央处理器，利用多个自主分类处理单元进行分类，将经过分类的数据按照分类一一单独存储；本发明通过将经过自主分类处理单元处理分类后的数据分门别类存储到分布式数据库中，所有分布式数据库中的所有数据信息再次统一存储到主数据库，形成备份，通过多组分布式数据库分别分担存储任务，扩展存储容量，通过直接访问经过分类的分布式数据库中的分类数据信息，访问调用数据快速，访问效率高。
Description
技术领域
本发明涉及结构化存储技术领域，具体涉及一种大数据块结构化存储方法。
背景技术
任何应用系统都离不开对数据的处理，数据也是驱动业务创新以及向智能化发展最核心的东西。这也是为何目前大多数企业都在构建数据中台的原因，数据处理的技术已经是核心竞争力。在一个完备的技术架构中，通常也会由应用系统以及数据系统构成。应用系统负责处理业务逻辑，而数据系统负责处理数据。传统的数据系统就是所谓的“大数据”技术，这是一个被创造出来的名词，代表着新的技术门槛。
“大数据”通常指的是那些数量巨大、难于收集、处理、分析的数据集，亦指那些在传统基础设施中长期保存的数据。这里的“大”有几层含义，它可以形容组织的大小，而更重要的是，它界定了企业中IT基础设施的规模。随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。随着结构化数据和非结构化数据量的持续增长，以及分析数据来源的多样化，此前存储系统的设计已经无法满足大数据应用的需要。
但大数据的存储方法是通过部署运维监控软件收集大数据运行日志数据以纯文本格式存储到本地文件系统或者关系型数据库系统，难以解决大数据存储数据量庞大的问题，海量数据的访问效率极慢。基于此，本发明设计了一种大数据块结构化存储方法，以解决上述问题。
发明内容
本发明的目的在于提供一种大数据块结构化存储方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种大数据块结构化存储方法，包括数据接收模块、中央处理器、自主分类处理单元，具体步骤如下：
第一步，数据接收
通过数据接收端口的所述数据接收模块统一接收多种数据类型的原始数据；
第二步，数据分类
所述数据接收模块将接收到的原始数据传输到中央处理器，利用多个所述自主分类处理单元进行分类；
第三步，数据存储
将经过分类的数据按照分类一一单独存储。
优选的，所述第一步数据接收模块的信号输出端将原始数据经过信号转换输送至中央处理器的信号输入端。
优选的，所述第二步中通过中央处理器对接收到的原始数据进行数据清洗过滤，以对原始数据进行审查校验、删除重复数据、纠正错误数据。
优选的，所述第二步中多个所述自主分类处理单元通过计算机网络互连来协作完成分配的任务。
优选的，所述第三步中数据存储到大数据库，所述大数据库包括主数据库和多个分布式数据库，多个所述分布式数据库的数据信号输出端口与所述主数据库的数据信号输入端口之间连接。
优选的，所述分布式数据库的数据输出端口电性连接有数据访问模块。
与现有技术相比，本发明的有益效果是：本发明通过自主分类处理单元在计算机网络互连协作来完成分类的任务，将经过自主分类处理单元处理分类后的数据分门别类存储到分布式数据库中，所有分布式数据库中的所有数据信息再次统一存储到主数据库，形成备份，通过多组分布式数据库分别分担存储任务，扩展存储容量，分布式数据库的数据输出端口连接有数据访问模块，通过数据访问模块直接访问经过分类的分布式数据库中的分类数据信息，访问调用数据快速，访问效率高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明流程图。
图2为本发明大数据库结构框图。
图3为本发明电器连接结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供一种技术方案：一种大数据块结构化存储方法，包括数据接收模块、中央处理器、自主分类处理单元，具体步骤如下：
第一步，数据接收
通过数据接收端口的数据接收模块统一接收多种数据类型的原始数据，数据接收模块的信号输出端将原始数据经过信号转换输送至中央处理器的信号输入端；
第二步，数据分类
数据接收模块将接收到的原始数据传输到中央处理器，通过中央处理器对接收到的原始数据进行数据清洗过滤，以对原始数据进行审查校验、删除重复数据、纠正错误数据，利用多个自主分类处理单元进行分类，多个自主分类处理单元通过计算机网络互连来协作完成分配的任务；
第三步，数据存储
将经过分类的数据按照分类一一单独存储，数据存储到大数据库，大数据库包括主数据库和多个分布式数据库，多个分布式数据库的数据信号输出端口与主数据库的数据信号输入端口之间连接，经过自主分类处理单元处理分类后的数据分门别类存储到分布式数据库中，所有分布式数据库中的所有数据信息再次统一存储到主数据库，形成备份，分布式数据库的数据输出端口电性连接有数据访问模块，通过数据访问模块直接访问经过分类的分布式数据库中的分类数据信息，访问调用数据快速。
值得注意的是：整个装置通过中央处理器对其实现控制，中央处理器的控制电路通过本领域的技术人员简单编程即可实现，由于中央处理器匹配的设备为常用设备，属于现有成熟技术，在此不再赘述其电性连接关系以及具体的电路结构。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (6)
1.一种大数据块结构化存储方法，包括数据接收模块、中央处理器、自主分类处理单元，其特征在于，具体步骤如下：
第一步，数据接收
通过数据接收端口的所述数据接收模块统一接收多种数据类型的原始数据；
第二步，数据分类
所述数据接收模块将接收到的原始数据传输到中央处理器，利用多个所述自主分类处理单元进行分类；
第三步，数据存储
将经过分类的数据按照分类一一单独存储。
2.根据权利要求1所述的一种大数据块结构化存储方法，其特征在于：所述第一步数据接收模块的信号输出端将原始数据经过信号转换输送至中央处理器的信号输入端。
3.根据权利要求1所述的一种大数据块结构化存储方法，其特征在于：所述第二步中通过中央处理器对接收到的原始数据进行数据清洗过滤，以对原始数据进行审查校验、删除重复数据、纠正错误数据。
4.根据权利要求3所述的一种大数据块结构化存储方法，其特征在于：所述第二步中多个所述自主分类处理单元通过计算机网络互连来协作完成分配的任务。
5.根据权利要求1所述的一种大数据块结构化存储方法，其特征在于：所述第三步中数据存储到大数据库，所述大数据库包括主数据库和多个分布式数据库，多个所述分布式数据库的数据信号输出端口与所述主数据库的数据信号输入端口之间连接。
6.根据权利要求5所述的一种大数据块结构化存储方法，其特征在于：所述分布式数据库的数据输出端口电性连接有数据访问模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911010903.7A CN110727686A (zh) | 2019-10-23 | 2019-10-23 | 一种大数据块结构化存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911010903.7A CN110727686A (zh) | 2019-10-23 | 2019-10-23 | 一种大数据块结构化存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110727686A true CN110727686A (zh) | 2020-01-24 |
Family
ID=69221820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911010903.7A Pending CN110727686A (zh) | 2019-10-23 | 2019-10-23 | 一种大数据块结构化存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110727686A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414135A (zh) * | 2020-03-11 | 2020-07-14 | 国家海洋环境预报中心 | 一种高性能计算机系统的io效率优化方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106447163A (zh) * | 2016-08-29 | 2017-02-22 | 安徽美图信息科技有限公司 | 一种基于精细化逻辑分类技术的数据质量自动检测系统 |
| CN109947743A (zh) * | 2019-02-28 | 2019-06-28 | 长沙理工大学 | 一种优化的NoSQL大数据存储方法及系统 |
-
2019
- 2019-10-23 CN CN201911010903.7A patent/CN110727686A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106447163A (zh) * | 2016-08-29 | 2017-02-22 | 安徽美图信息科技有限公司 | 一种基于精细化逻辑分类技术的数据质量自动检测系统 |
| CN109947743A (zh) * | 2019-02-28 | 2019-06-28 | 长沙理工大学 | 一种优化的NoSQL大数据存储方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414135A (zh) * | 2020-03-11 | 2020-07-14 | 国家海洋环境预报中心 | 一种高性能计算机系统的io效率优化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rios | Big data infrastructure for analyzing data generated by wireless sensor networks | |
| CN111586091B (zh) | 一种实现算力组配的边缘计算网关系统 | |
| CN108334557B (zh) | 一种聚合数据分析方法、装置、存储介质及电子设备 | |
| CN101719694A (zh) | 一种数字化变电站网络通信记录分析装置 | |
| CN111259073A (zh) | 基于日志、流量和业务访问的业务系统运行状态智能研判系统 | |
| CN104699723A (zh) | 数据交换适配器、异构系统之间数据同步系统和方法 | |
| CN102968374A (zh) | 一种数据仓库测试方法 | |
| CN113485792B (zh) | 一种kubernetes集群内Pod调度方法、终端设备及存储介质 | |
| CN112631754A (zh) | 数据处理方法、装置、存储介质及电子装置 | |
| CN116629802A (zh) | 一种用于铁路港口站的大数据平台系统 | |
| CN113821361B (zh) | 一种基于流式处理的物联网平台消息处理方法和系统 | |
| CN105162837A (zh) | 海量数据存储环境下提升i/o吞吐率的方法及系统 | |
| CN110727686A (zh) | 一种大数据块结构化存储方法 | |
| CN117851389A (zh) | 一种基于物联网中间件的多源异构海量数据采集与治理系统 | |
| CN108248641A (zh) | 一种城市轨道交通数据处理方法及装置 | |
| CN115936365B (zh) | 多端直流联络线功率优化的区域电力现货市场出清方法和装置 | |
| CN209248321U (zh) | 工厂管理系统 | |
| CN116431324A (zh) | 一种基于Kafka高并发数据采集与分发的边缘系统 | |
| CN110851486A (zh) | 数据存储方法及装置 | |
| CN113886472A (zh) | 一种数据接入系统、接入方法、计算机设备和存储介质 | |
| CN114282598A (zh) | 多源异构电网数据融合方法、装置、设备及计算机介质 | |
| CN114297610A (zh) | 一种智能网卡身份识别方法、智能网卡及服务器 | |
| CN113220744A (zh) | 一种电力调度前置运行信息的自动化分析系统和方法 | |
| CN101673361A (zh) | 订单分配系统的技术构架 | |
| CN114064617A (zh) | 数据获取方法、装置、设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200124 |