CN114610721B - 一种多层级分布式存储系统及存储方法 - Google Patents

一种多层级分布式存储系统及存储方法 Download PDF

Info

Publication number
CN114610721B
CN114610721B CN202210294960.8A CN202210294960A CN114610721B CN 114610721 B CN114610721 B CN 114610721B CN 202210294960 A CN202210294960 A CN 202210294960A CN 114610721 B CN114610721 B CN 114610721B
Authority
CN
China
Prior art keywords
data
storage
logic
layer
display application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210294960.8A
Other languages
English (en)
Other versions
CN114610721A (zh
Inventor
张志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hanxinsheng Technology Co ltd
Original Assignee
Beijing Hanxinsheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hanxinsheng Technology Co ltd filed Critical Beijing Hanxinsheng Technology Co ltd
Priority to CN202210294960.8A priority Critical patent/CN114610721B/zh
Publication of CN114610721A publication Critical patent/CN114610721A/zh
Application granted granted Critical
Publication of CN114610721B publication Critical patent/CN114610721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/282—Hierarchical databases, e.g. IMS, LDAP data stores or Lotus Notes

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种多层级分布式存储系统，包括物理数据存储层、逻辑编辑层、显示应用层和管理层；所述物理数据存储层，用于存储所有组织层级单位的信息处理过程数据生成日志文件存储；所有组织层级单位的数据传输文件进行收集存储；所述逻辑编辑层，每类数据类型根据存储逻辑关联点搭建近似数据类型库；所述显示应用层，用于用户查询显示存储数据时，将每类数据类型不同分类方式的存储逻辑和关联点数据展示给用户；所述管理层，用于管理物理数据存储层、逻辑编辑层和显示应用层的逻辑调用和运行。本发明降低分布式数据系统内存占用空间，将原本数据库中已有的数据进行关联性存储，提高了分布式数据系统资源共享率。

Description

一种多层级分布式存储系统及存储方法
技术领域
本发明属于计算机数据信息存储技术领域，具体来说，涉及一种多层级分布式存储系统及存储方法。
背景技术
在信息系统中，面向的实体对象往往结构复杂，数据庞大，呈现多层级，多节点关系的特点，而系统复杂性通常也使得系统采用多种、多数量、不同类型的数据库分布式结构，这些特点使得数据管理上出现访问数据残缺，更新数据实时性差，数据权限管理漏洞多，数据使用效率低下等问题。
为了提高复杂信息系统的使用效率，通常采用融合分布式数据库的办法，使多类型、多数量的数据库形成统一标准规范下的整体数据库，这样就解决了数据库在数据冗余与数据更新方面的问题，使得数据库形成一个整体，并达到任意读取的目的。
但是数据融合后，分布式数据系统资源共享率低、内存占用空间大。
发明内容
针对现有分布式数据系统资源共享率低、内存占用空间大的问题，本发明提供了一种多层级分布式存储系统及存储方法。
为实现上述技术目的，本发明采用的技术方案如下：
一种多层级分布式存储系统，包括物理数据存储层、逻辑编辑层、显示应用层和管理层；
所述物理数据存储层，用于存储所有组织层级单位的信息处理过程数据生成日志文件存储；所有组织层级单位的数据传输文件进行收集存储；
所述逻辑编辑层，用于将物理数据存储层中所收集的所有组织层级单位的信息数据进行整合并将相同数据类型的存储数据进行分类，每类数据类型根据存储逻辑关联点搭建近似数据类型库；
所述显示应用层，用于用户查询显示存储数据时，将每类数据类型不同分类方式的存储逻辑和关联点数据展示给用户；
所述管理层，用于管理物理数据存储层、逻辑编辑层和显示应用层的逻辑调用和运行。
进一步地，所述逻辑编辑层还用于将无任何逻辑关联点的存储数据进行权重排序。
进一步地，所述权重排序方式按照存储数据上传日期、最后一次浏览日期、点击浏览量和存储逻辑保密性，并将相应权重转化为图形或者图标的形式建立无任何逻辑关联点的存储数据权重库。
进一步地，物理数据存储层包括总存储区域和临时存储区域，所述总存储区域存储所有组织层级单位的数据传输文件，而临时存储区域存储每类数据类型根据存储逻辑关联点搭建近似数据类型库和权重排序方式建立的无任何逻辑关联点的存储数据权重库。
进一步地，所述临时存储区域存储的内容为存储逻辑和关联点之间的关系；当显示应用层需要显示临时存储区域存储的内容时，直接调用存储逻辑和关联点之间的关系在总存储区域中查找对应数据，显示于显示应用层上。
进一步地，所述管理层包括物理存储管理模块、逻辑编辑管理模块和显示应用管理模块；
所述物理存储管理模块用于划分数据信息处理过程日志文件的存储区域和数据传输文件的存储区域，并分区域进行管理；
所述逻辑编辑管理模块用于根据存储逻辑关联点搭建近似数据类型库的存储逻辑算法，建立数据库对象与对象的引述关系算法数据库；
所述显示应用管理模块用于管理前端引用部分关系表时，控制其引用关系以内的表的索引。
一种多层级分布式存储方法，包括步骤：
S1、用户端发送需要存储指令；
S2、系统获取并解析存储指令；
S3、根据存储指令不同验证数据类型是否匹配本存储系统中已有的数据类型；若匹配，进入步骤S4；若不匹配，则进入步骤S5；
S4、根据存储逻辑关联点搭建近似数据类型库；
S5、无任何逻辑关联点的存储数据进行权重排序；
S6、信息处理过程数据生成日志文件存储，数据传输文件进行收集存储。
本发明相比现有技术，具有如下有益效果：
将逻辑编辑层的相同数据类型进行分类关联性存储，查找其中任一数据时，其他相同数据类型关联显示在显示应用层，根据关联点不同分类显示，同时存储逻辑算法有独立的存储数据库，不会重复存储相同数据类型的关联性存储逻辑算法；所有的算法纳入了逻辑编辑层；降低分布式数据系统内存占用空间，所有存储指令，均通过逻辑编辑层判定其存储区域，将原本数据库中已有的数据进行关联性存储，提高了分布式数据系统资源共享率。
附图说明
图1为本发明一种多层级分布式存储系统的结构分布图；
图2为本发明一种多层级分布式存储方法的流程图。
图中标记说明：10-物理数据存储层，20-逻辑编辑层，30-显示应用层，40-管理层，101-总存储区域，102-临时存储区域，401-物理存储管理模块，402-逻辑编辑管理模块，403-显示应用管理模块。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
如图1所示，一种多层级分布式存储系统，包括物理数据存储层10、逻辑编辑层20、显示应用层30和管理层40；所述物理数据存储层10，用于存储所有组织层级单位的信息处理过程数据生成日志文件存储；所有组织层级单位的数据传输文件进行收集存储；
所述逻辑编辑层20，用于将物理数据存储层10中所收集的所有组织层级单位的信息数据进行整合并将相同数据类型的存储数据进行分类，每类数据类型根据存储逻辑关联点搭建近似数据类型库；通过存储逻辑关联点搭建近似数据类型库提升整个系统资源共享率；当前端显示应用层30调用近似数据类型库内的已有数据时，直接显示与该数据类型存储的所有关联的相关数据信息。
所述显示应用层30，用于用户查询显示存储数据时，将每类数据类型不同分类方式的存储逻辑和关联点数据展示给用户；所述管理层40，用于管理物理数据存储层10、逻辑编辑层20和显示应用层30的逻辑调用和运行。
逻辑编辑层20还用于将无任何逻辑关联点的存储数据进行权重排序。通过逻辑编辑层20将存储在多层级分布式存储系统中的所有数据均设置关联点使数据与数据之间存储逻辑相同或者相似的数据均能体现，确保系统数据资源相互共享，提高资源共享率，即使与已有数据无任何关联点的数据也可以进行权重排序，等待系统将来存储数据与之产生关联点。
权重排序方式按照存储数据上传日期、最后一次浏览日期、点击浏览量和存储逻辑保密性，并将相应权重转化为图形或者图标的形式建立无任何逻辑关联点的存储数据权重库。为无任何关联点的数据建立存储数据权重库，便于以后存储入系统的数据可查找到与之想关联的无任何关联点的数据的依据，同时能通过该数据的排序方式找到与现有数据的关联点或者其它相关信息，进而搭建新的近似数据类型库。
物理数据存储层10包括总存储区域101和临时存储区域102，所述总存储区域101存储所有组织层级单位的数据传输文件，而临时存储区域102存储每类数据类型根据存储逻辑关联点搭建近似数据类型库和权重排序方式建立的无任何逻辑关联点的存储数据权重库。通过总存储区域101存储所有组织层级单位的数据传输文件；进而将数据存储分为了文件存储和文件(数据)与文件(数据)之间逻辑关联点搭建，确保不影响文件存储的正常情况下，提供临时存储区域102，提高文件/数据存储的紧密性，进而提高系统资源共享率。
临时存储区域102存储的内容为存储逻辑和关联点之间的关系；当显示应用层30需要显示临时存储区域102存储的内容时，直接调用存储逻辑和关联点之间的关系在总存储区域101中查找对应数据，显示于显示应用层30上。文件/数据存储时，数据与存储逻辑共同存储带来的存储数据混乱，同时占用存储空间较大；将文件存储中数据和存储逻辑分隔存储，提高空间利用率的同时，不影响数据之间的关联度，比如表与表的关联度，唯一性键值等；表1、表2和表3之间，表3是表1和表2之间通过特殊的存储逻辑表达式而得到的，表3无需存储在存储空间中，只需存储表1和表2，以及特殊的存储逻辑表达式即可在用户提起需要获取表3时，才会调用特殊的存储逻辑表达式，临时获取表3。
管理层40包括物理存储管理模块401、逻辑编辑管理模块402和显示应用管理模块403；所述物理存储管理模块401用于划分数据信息处理过程日志文件的存储区域和数据传输文件的存储区域，并分区域进行管理；物理存储管理模块401与物理数据存储层10直接连接控制管理。所述逻辑编辑管理模块402用于根据存储逻辑关联点搭建近似数据类型库的存储逻辑算法，建立数据库对象与对象的引述关系算法数据库；逻辑编辑管理模块402与逻辑编辑层20直接连级控制管理。所述显示应用管理模块403用于管理前端引用部分关系表时，控制其引用关系以内的表的索引；显示应用管理模块403与显示应用层30表达连接，控制其显示应用层30的显示内容。
如图2所示，一种多层级分布式存储方法，包括步骤：S1、用户端发送需要存储指令；S2、系统获取并解析存储指令；S3、根据存储指令不同验证数据类型是否匹配本存储系统中已有的数据类型；若匹配，进入步骤S4；若不匹配，则进入步骤S5；S4、根据存储逻辑关联点搭建近似数据类型库；S5、无任何逻辑关联点的存储数据进行权重排序；S6、信息处理过程数据生成日志文件存储，数据传输文件进行收集存储。
本发明相比现有技术，具有如下有益效果：
将逻辑编辑层20的相同数据类型进行分类关联性存储，查找其中任一数据时，其他相同数据类型关联显示在显示应用层30，根据关联点不同分类显示，同时存储逻辑算法有独立的存储数据库，不会重复存储相同数据类型的关联性存储逻辑算法；所有的算法纳入了逻辑编辑层20；降低分布式数据系统内存占用空间，所有存储指令，均通过逻辑编辑层20判定其存储区域，将原本数据库中已有的数据进行关联性存储，提高了分布式数据系统资源共享率。
以上对本申请提供的一种多层级分布式存储系统及存储方法进行了详细介绍。具体实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (3)

1.一种多层级分布式存储系统，其特征在于，包括物理数据存储层(10)、逻辑编辑层(20)、显示应用层(30)和管理层(40)；
所述物理数据存储层(10)，用于存储所有组织层级单位的信息处理过程数据生成日志文件存储；所有组织层级单位的数据传输文件进行收集存储；
所述逻辑编辑层(20)，用于将物理数据存储层(10)中所收集的所有组织层级单位的信息数据进行整合并将相同数据类型的存储数据进行分类，每类数据类型根据存储逻辑关联点搭建近似数据类型库；
所述显示应用层(30)，用于用户查询显示存储数据时，将每类数据类型不同分类方式的存储逻辑和关联点数据展示给用户；
所述管理层(40)，用于管理物理数据存储层(10)、逻辑编辑层(20)和显示应用层(30)的逻辑调用和运行；
所述逻辑编辑层(20)还用于将无任何逻辑关联点的存储数据进行权重排序；
权重排序方式按照存储数据上传日期、最后一次浏览日期、点击浏览量和存储逻辑保密性，并将相应权重转化为图形或者图标的形式建立无任何逻辑关联点的存储数据权重库；
物理数据存储层(10)包括总存储区域(101)和临时存储区域(102)，所述总存储区域(101)存储所有组织层级单位的数据传输文件，而临时存储区域(102)存储每类数据类型根据存储逻辑关联点搭建近似数据类型库和权重排序方式建立的无任何逻辑关联点的存储数据权重库；
所述临时存储区域(102)存储的内容为存储逻辑和关联点之间的关系；当显示应用层(30)需要显示临时存储区域(102)存储的内容时，直接调用存储逻辑和关联点之间的关系在总存储区域(101)中查找对应数据，显示于显示应用层(30)上。
2.根据权利要求1所述的一种多层级分布式存储系统，其特征在于，所述管理层(40)包括物理存储管理模块(401)、逻辑编辑管理模块(402)和显示应用管理模块(403)；
所述物理存储管理模块(401)用于划分数据信息处理过程日志文件的存储区域和数据传输文件的存储区域，并分区域进行管理；
所述逻辑编辑管理模块(402)用于根据存储逻辑关联点搭建近似数据类型库的存储逻辑算法，建立数据库对象与对象的引述关系算法数据库；
所述显示应用管理模块(403)用于管理前端引用部分关系表时，控制其引用关系以内的表的索引。
3.根据权利要求1或2所述的一种多层级分布式存储系统，其特征在于，包括一种多层级分布式存储方法，其方法包括步骤：
S1、用户端发送需要存储指令；
S2、系统获取并解析存储指令；
S3、根据存储指令不同验证数据类型是否匹配本存储系统中已有的数据类型；若匹配，进入步骤S4；若不匹配，则进入步骤S5；
S4、根据存储逻辑关联点搭建近似数据类型库；
S5、无任何逻辑关联点的存储数据进行权重排序；
S6、信息处理过程数据生成日志文件存储，数据传输文件进行收集存储。
CN202210294960.8A 2022-03-23 2022-03-23 一种多层级分布式存储系统及存储方法 Active CN114610721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210294960.8A CN114610721B (zh) 2022-03-23 2022-03-23 一种多层级分布式存储系统及存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210294960.8A CN114610721B (zh) 2022-03-23 2022-03-23 一种多层级分布式存储系统及存储方法

Publications (2)

Publication Number Publication Date
CN114610721A CN114610721A (zh) 2022-06-10
CN114610721B true CN114610721B (zh) 2022-12-27

Family

ID=81865291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210294960.8A Active CN114610721B (zh) 2022-03-23 2022-03-23 一种多层级分布式存储系统及存储方法

Country Status (1)

Country Link
CN (1) CN114610721B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169494A (zh) * 2011-04-06 2011-08-31 北京师范大学 分布式遥感数据管理系统和管理方法
CN103268457A (zh) * 2013-05-31 2013-08-28 重庆大学 基于云计算的多层级关系信息管理系统及设计方法
CN108876244A (zh) * 2018-06-22 2018-11-23 珠海格力电器股份有限公司 一种物料清单bom的存储查询系统及方法
CN112115314A (zh) * 2020-09-16 2020-12-22 江苏开拓信息与系统有限公司 一种政务通用大数据聚合检索系统及构建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100478959C (zh) * 2007-05-30 2009-04-15 北京航空航天大学 嵌入式数据库的存储管理方法
CN101625703B (zh) * 2009-08-21 2011-02-09 华中科技大学 一种内存数据库的日志合并方法和系统
JP5752805B2 (ja) * 2011-11-21 2015-07-22 株式会社日立製作所 ストレージ装置の管理装置及び管理方法
CN103312791B (zh) * 2013-05-24 2016-02-24 上海和伍信息技术有限公司 物联网异构数据存储方法及系统
CN109144982A (zh) * 2018-09-29 2019-01-04 北京友友天宇系统技术有限公司 多维全息数据库动态构建技术系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169494A (zh) * 2011-04-06 2011-08-31 北京师范大学 分布式遥感数据管理系统和管理方法
CN103268457A (zh) * 2013-05-31 2013-08-28 重庆大学 基于云计算的多层级关系信息管理系统及设计方法
CN108876244A (zh) * 2018-06-22 2018-11-23 珠海格力电器股份有限公司 一种物料清单bom的存储查询系统及方法
CN112115314A (zh) * 2020-09-16 2020-12-22 江苏开拓信息与系统有限公司 一种政务通用大数据聚合检索系统及构建方法

Also Published As

Publication number Publication date
CN114610721A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
US11741053B2 (en) Data management system, method, terminal and medium based on hybrid storage
CN106095862B (zh) 集中式可扩展融合型多维复杂结构关系数据的存储方法
CN109726174A (zh) 数据归档方法、系统、设备以及存储介质
US20200250897A1 (en) Intelligent prognostics and health management system and method
CN103942342A (zh) 一种内存数据库oltp&olap并发查询优化方法
US10158709B1 (en) Identifying data store requests for asynchronous processing
CN101866359A (zh) 一种机群文件系统中的小文件存储和访问方法
CN110018997B (zh) 一种基于hdfs的海量小文件存储优化方法
CN111858713A (zh) 基于对象的政府信息化资产管理方法及系统
CN112632025A (zh) 一种基于paas平台的电网企业管理决策支持应用系统
EP1091295B1 (en) Data management system using a plurality of data operation modules
CN116089414B (zh) 基于海量数据场景的时序数据库写入性能优化方法及装置
CN117827743A (zh) 档案管理用数据交互系统
CN111752945A (zh) 一种基于容器和层次模型的时序数据库数据交互方法和系统
CN108717661A (zh) 一种金融业风险预警的集群存储与分析方法
CN112559459A (zh) 一种基于云计算的自适应存储分层系统及方法
Carniel et al. A generic and efficient framework for flash-aware spatial indexing
WO2022121274A1 (zh) 一种存储系统中元数据管理方法、装置及存储系统
CN114610721B (zh) 一种多层级分布式存储系统及存储方法
CN113934713A (zh) 一种订单数据索引方法、系统、计算机设备以及存储介质
CN117076426A (zh) 基于流批一体化的交通智能引擎系统构建方法及装置
CN116700618A (zh) 基于tsdb存储引擎的数据处理方法、系统和网络侧服务端
Polak et al. Organization of quality-oriented data access in modern distributed environments based on semantic interoperability of services and systems
US20220215021A1 (en) Data Query Method and Apparatus, Computing Device, and Storage Medium
CN114979271A (zh) 一种基于边缘云计算的cdn缓存分层调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant