CN110532249A - 一种计算机技术开发信息分类存储系统 - Google Patents
一种计算机技术开发信息分类存储系统 Download PDFInfo
- Publication number
- CN110532249A CN110532249A CN201910702930.4A CN201910702930A CN110532249A CN 110532249 A CN110532249 A CN 110532249A CN 201910702930 A CN201910702930 A CN 201910702930A CN 110532249 A CN110532249 A CN 110532249A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- computer technology
- connect
- storage system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Abstract
本发明公开了一种计算机技术开发信息分类存储系统，包括数据接口层、数据整理层与数据关联分配层，数据接口层与数据整理层连接，其用从外部接收待存储数据并将其传输至数据整理层；所述数据整理层包括数据预处理模块、数据分类模块、数据整合模块、数据交换模块、数据管理模块与数据清理模块，数据预处理模块用以对待存储数据进行规则划分；数据分类模块与数据预处理模块连接，其用以根据所述规则判断数据的类型，其对数据进行分类并形成多个分类子数据；所述数据整合模块与数据分类模块连接，其对多个分类子数据中不同类型的数据进行数据清洗，并排除异常数据。本发明使得存储的数据划分明确，提高了计算机技术开发的效率。
Description
技术领域
本发明涉及计算机技术开发领域，具体为一种计算机技术开发信息分类存储系统。
背景技术
计算机俗称电脑，是现代一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能。是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。计算机由于其功能强大越来越普及，计算机主要完成数据的组织、加工、检索及其运算等任务。这些数据能够以多种形式得到，处理的需求也非常广泛。
存储系统在计算机技术开发中必不可少，现有技术中的计算机存储系统为一种双层结构的计算机存储装置，包括有整编数据存储模块和档案数据存储模块。整编数据存储模块具有一信息接收端口以及一存储装置，各文件信息通过信息接收端口进入整编数据存储模块，然后存储到其相应的整编存储装置中，由于存储的信息较为复杂，因此如何对存储的数据进行分类整理，筛选掉无光紧要的数据，成为计算机开发中亟待解决的技术问题。
发明内容
本发明的目的在于提供一种计算机技术开发信息分类存储系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种计算机技术开发信息分类存储系统，包括数据接口层、数据整理层与数据关联分配层，所述数据接口层与数据整理层连接，其用从外部接收待存储数据并将其传输至数据整理层；所述数据整理层包括数据预处理模块、数据分类模块、数据整合模块、数据交换模块、数据管理模块与数据清理模块，数据预处理模块用以对待存储数据进行规则划分，划分包括对相似数据信息的归类和对不同数据信息的区分；所述数据分类模块与数据预处理模块连接，其用以根据所述规则判断数据的类型，其对数据进行分类并形成多个分类子数据；所述数据整合模块与数据分类模块连接，其对多个分类子数据中不同类型的数据进行数据清洗，并排除异常数据；所述数据交换模块与数据整合模块连接，其在多个分类子数据进行数据清洗后分别对其进行数据补充，数据补充包括对多个分类子数据中不同类型的数据缺失值进行交换和补充。
优选的，数据管理模块与数据交换模块连接，数据管理模块用以在数据补充后将其存储成一级数据并对其进行管理。
优选的，数据清理模块与数据管理模块连接，数据清理模块用于对一级数据进行样本数据抽取，其去除一级数据中的冗余数据并提取精简数据集。
优选的，数据关联分配层与数据整理层连接，其用于对精简数据集中数据进行数据关联以及数据分配存储。
优选的，数据关联包括在精简数据集中建立匹配信息。
优选的，数据分配存储包括对精简数据集中数据写入匹配信息，并分别进行存储。
优选的，数据关联分配层包括相连的数据精度校验模块与数据存储模块，数据精度校验模块用于按照预定的精度校验模型对数据进行精度校验。
优选的，数据存储模块用于在数据精度校验后对其进行分配存储。
本发明还提供了上述计算机技术开发信息分类存储系统的分类存储方法，其特征在于，包括以下步骤：
S1：数据接口层从外部接收待存储数据并将其传输至数据整理层；
S2：数据整理层的数据预处理模块对数据进行规则划分，并在规则划分后通过数据分类模块将数据进行分类并形成多个分类子数据；
S3：数据整合模块对多个分类子数据中不同类型的数据进行数据清洗，并在清洗后通过数据交换模块对其进行数据补充；
S4：数据管理模块在数据补充后将其存储成一级数据并对其进行管理，由数据清理模块对一级数据进行样本数据抽取，并提取精简数据集；
S5：数据关联分配层中的数据精度校验模块按照预定的精度校验模型对数据进行精度校验，并在校验后通过数据存储模块分配存储。
与现有技术相比，本发明的有益效果是：
本发明使得存储的数据划分明确，通过建立多个层级的数据处理，在存储之前可以对数据进行分类处理，不仅提高了存储能力，还对数据进行了关联，改善了数据存储效率，并提高了计算机技术开发的效率。
附图说明
图1为本发明的结构框图；
图2为本发明分类存储方法的流程图。
图中：1、数据接口层；2、数据整理层；201、数据预处理模块；202、数据分类模块；203、数据整合模块；204、数据交换模块；205、数据管理模块；206、数据清理模块；3、数据关联分配层；301、数据精度校验模块；302、数据存储模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：一种计算机技术开发信息分类存储系统，包括数据接口层1、数据整理层2与数据关联分配层3，所述数据接口层1与数据整理层2连接，其用从外部接收待存储数据并将其传输至数据整理层2；所述数据整理层2包括数据预处理模块201、数据分类模块202、数据整合模块203、数据交换模块204、数据管理模块205与数据清理模块206，数据预处理模块201用以对待存储数据进行规则划分，划分包括对相似数据信息的归类和对不同数据信息的区分；所述数据分类模块202与数据预处理模块201连接，其用以根据所述规则判断数据的类型，其对数据进行分类并形成多个分类子数据；所述数据整合模块203与数据分类模块202连接，其对多个分类子数据中不同类型的数据进行数据清洗，并排除异常数据；所述数据交换模块204与数据整合模块203连接，其在多个分类子数据进行数据清洗后分别对其进行数据补充，数据补充包括对多个分类子数据中不同类型的数据缺失值进行交换和补充。
具体的，数据管理模块205与数据交换模块204连接，数据管理模块205用以在数据补充后将其存储成一级数据并对其进行管理。
具体的，数据清理模块206与数据管理模块205连接，数据清理模块206用于对一级数据进行样本数据抽取，其去除一级数据中的冗余数据并提取精简数据集。
具体的，数据关联分配层3与数据整理层2连接，其用于对精简数据集中数据进行数据关联以及数据分配存储。
具体的，数据关联包括在精简数据集中建立匹配信息。
具体的，数据分配存储包括对精简数据集中数据写入匹配信息，并分别进行存储。
具体的，数据关联分配层3包括相连的数据精度校验模块301与数据存储模块302，数据精度校验模块301用于按照预定的精度校验模型对数据进行精度校验。
具体的，数据存储模块302用于在数据精度校验后对其进行分配存储。
工作原理：
S1：数据接口层1从外部接收待存储数据并将其传输至数据整理层2；
S2：数据整理层2的数据预处理模块201对数据进行规则划分，并在规则划分后通过数据分类模块202将数据进行分类并形成多个分类子数据；
S3：数据整合模块203对多个分类子数据中不同类型的数据进行数据清洗，并在清洗后通过数据交换模块204对其进行数据补充；
S4：数据管理模块205在数据补充后将其存储成一级数据并对其进行管理，由数据清理模块206对一级数据进行样本数据抽取，并提取精简数据集；
S5：数据关联分配层3中的数据精度校验模块301按照预定的精度校验模型对数据进行精度校验，并在校验后通过数据存储模块302分配存储。
本发明使得存储的数据划分明确，通过建立多个层级的数据处理，在存储之前可以对数据进行分类处理，不仅提高了存储能力，还对数据进行了关联，改善了数据存储效率，并提高了计算机技术开发的效率。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种计算机技术开发信息分类存储系统，其特征在于，包括数据接口层(1)、数据整理层(2)与数据关联分配层(3)，所述数据接口层(1)与数据整理层(2)连接，其用从外部接收待存储数据并将其传输至数据整理层(2)；所述数据整理层(2)包括数据预处理模块(201)、数据分类模块(202)、数据整合模块(203)、数据交换模块(204)、数据管理模块(205)与数据清理模块(206)，数据预处理模块(201)用以对待存储数据进行规则划分，划分包括对相似数据信息的归类和对不同数据信息的区分；
所述数据分类模块(202)与数据预处理模块(201)连接，其用以根据所述规则判断数据的类型，其对数据进行分类并形成多个分类子数据；所述数据整合模块(203)与数据分类模块(202)连接，其对多个分类子数据中不同类型的数据进行数据清洗，并排除异常数据；所述数据交换模块(204)与数据整合模块(203)连接，其在多个分类子数据进行数据清洗后分别对其进行数据补充，数据补充包括对多个分类子数据中不同类型的数据缺失值进行交换和补充。
2.根据权利要求1所述的一种计算机技术开发信息分类存储系统，其特征在于：所述数据管理模块(205)与数据交换模块(204)连接，数据管理模块(205)用以在数据补充后将其存储成一级数据并对其进行管理。
3.根据权利要求1所述的一种计算机技术开发信息分类存储系统，其特征在于：所述数据清理模块(206)与数据管理模块(205)连接，数据清理模块(206)用于对一级数据进行样本数据抽取，其去除一级数据中的冗余数据并提取精简数据集。
4.根据权利要求1所述的一种计算机技术开发信息分类存储系统，其特征在于：所述数据关联分配层(3)与数据整理层(2)连接，其用于对精简数据集中数据进行数据关联以及数据分配存储。
5.根据权利要求4所述的一种计算机技术开发信息分类存储系统，其特征在于：所述数据关联包括在精简数据集中建立匹配信息。
6.根据权利要求4所述的一种计算机技术开发信息分类存储系统，其特征在于：所述数据分配存储包括对精简数据集中数据写入匹配信息，并分别进行存储。
7.根据权利要求4所述的一种计算机技术开发信息分类存储系统，其特征在于：所述数据关联分配层(3)包括相连的数据精度校验模块(301)与数据存储模块(302)，数据精度校验模块(301)用于按照预定的精度校验模型对数据进行精度校验。
8.根据权利要求7所述的一种计算机技术开发信息分类存储系统，其特征在于：所述数据存储模块(302)用于在数据精度校验后对其进行分配存储。
9.根据权利要求1-8任一所述的一种计算机技术开发信息分类存储系统的分类存储方法，其特征在于，包括以下步骤：
S1：数据接口层(1)从外部接收待存储数据并将其传输至数据整理层(2)；
S2：数据整理层(2)的数据预处理模块(201)对数据进行规则划分，并在规则划分后通过数据分类模块(202)将数据进行分类并形成多个分类子数据；
S3：数据整合模块(203)对多个分类子数据中不同类型的数据进行数据清洗，并在清洗后通过数据交换模块(204)对其进行数据补充；
S4：数据管理模块(205)在数据补充后将其存储成一级数据并对其进行管理，由数据清理模块(206)对一级数据进行样本数据抽取，并提取精简数据集；
S5：数据关联分配层(3)中的数据精度校验模块(301)按照预定的精度校验模型对数据进行精度校验，并在校验后通过数据存储模块(302)分配存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910702930.4A CN110532249A (zh) | 2019-07-31 | 2019-07-31 | 一种计算机技术开发信息分类存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910702930.4A CN110532249A (zh) | 2019-07-31 | 2019-07-31 | 一种计算机技术开发信息分类存储系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110532249A true CN110532249A (zh) | 2019-12-03 |
Family
ID=68661172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910702930.4A Withdrawn CN110532249A (zh) | 2019-07-31 | 2019-07-31 | 一种计算机技术开发信息分类存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110532249A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239129A (zh) * | 2021-06-08 | 2021-08-10 | 湖北理工学院 | 一种计算机技术开发信息分类存储系统 |
-
2019
- 2019-07-31 CN CN201910702930.4A patent/CN110532249A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239129A (zh) * | 2021-06-08 | 2021-08-10 | 湖北理工学院 | 一种计算机技术开发信息分类存储系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104102543B (zh) | 一种云计算环境中负载调整的方法和装置 | |
| CN104504804B (zh) | 配钞方法、配钞装置以及金融自助设备 | |
| CN103810047B (zh) | 动态改善逻辑分区的存储器亲和性 | |
| CN106557497A (zh) | 一种数据同步方法和装置 | |
| CN113076200B (zh) | 一种基于多路支付通道的通道流量动态调控的方法 | |
| CN109144658B (zh) | 有限资源的负载均衡方法、装置及电子设备 | |
| CN108153622A (zh) | 一种故障处理的方法、装置和设备 | |
| CN108023967A (zh) | 一种数据平衡方法、装置及分布式存储系统中的管理设备 | |
| CN103543901B (zh) | 生成菜单的方法和装置 | |
| CN109684320A (zh) | 监测数据在线清洗的方法和设备 | |
| CN108022445A (zh) | 一种确定停车场信息的方法、系统及服务器 | |
| CN110597655A (zh) | 一种迁移与基于纠删码的重构相耦合的快速预知修复方法和实现 | |
| CN104050193B (zh) | 生成报文的方法和实现该方法的数据处理系统 | |
| CN110209118A (zh) | 具有使用多种类多数量资源和柔性路径特征的基于Petri网的稳健性控制方法 | |
| CN108228709A (zh) | 数据存储方法和系统、电子设备、程序和介质 | |
| CN110532249A (zh) | 一种计算机技术开发信息分类存储系统 | |
| CN109614263B (zh) | 一种容灾数据处理方法、装置及系统 | |
| CN105493050B (zh) | 数据处理装置及数据处理方法 | |
| CN104657216B (zh) | 一种资源池的资源分配方法及装置 | |
| CN104038388B (zh) | 基于分布式的物联网自动测试系统及测试方法 | |
| CN109165228A (zh) | 智能电网调度控制系统实时数据库监视系统和方法 | |
| CN109118361A (zh) | 额度管理方法、装置及系统 | |
| CN108287760A (zh) | 终端设备控制方法及装置、终端设备及计算机可读存储介质 | |
| CN107680374A (zh) | 一种过车数据的智能采集调度系统 | |
| CN109150593A (zh) | 云数据系统中资源的管理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20191203 |
|
| WW01 | Invention patent application withdrawn after publication |