CN104239525A - 一种基于互联网的分布式存储方法 - Google Patents

一种基于互联网的分布式存储方法 Download PDF

Info

Publication number
CN104239525A
CN104239525A CN201410477103.7A CN201410477103A CN104239525A CN 104239525 A CN104239525 A CN 104239525A CN 201410477103 A CN201410477103 A CN 201410477103A CN 104239525 A CN104239525 A CN 104239525A
Authority
CN
China
Prior art keywords
data
storage
standard
layer
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410477103.7A
Other languages
English (en)
Inventor
徐宏伟
崔乐乐
尤孝吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Group Co Ltd
Original Assignee
Inspur Software Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Group Co Ltd filed Critical Inspur Software Group Co Ltd
Priority to CN201410477103.7A priority Critical patent/CN104239525A/zh
Publication of CN104239525A publication Critical patent/CN104239525A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/211—Schema design and management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于互联网的分布式存储方法，基于互联网的分布式存储方法比普通的数据库存储更易于扩展，备份和管理，而且适合海量结构化数据的存储，在普通数据库中很难存储海量数据，用户需要建立不同存储层次的标准和各层次的划分标准，之后系统会建立对应的检索节点和检索节点之间的检索关系，待检索关系建立之后，用户就可以像操作普通数据库一样来操作整体的存储结构，而且并不会造成性能的丢失。

Description

一种基于互联网的分布式存储方法
技术领域
本发明涉及web通信技术领域, 具体地说是一种基于互联网的分布式存储方法。
背景技术
当今已经是数据大爆炸的时代，数据的存储面临着大部分的问题：
1.  单一数据库无法满足目前数据量的需要；
2.  海量数据导致数据查询困难，检索速度降低；
3.  由于数据操作速度降低而导致的系统反应速度变慢；
4.  基于服务器进行扩展比较困难；
5.  对数据备份的可行性和可靠性造成不同程度的影响。
当系统需要的处理的数据量到达一定级别之后，都会对数据的存储提出更高的要求，因为随着存储量的增加，系统需要处理的数据不断增多，系统的反应速度会有一定程度的降低，如果不采取一定的处理方式都会导致系统本身负载的增加，增加了系统的维护成本。因此需要一种存储方式，当数据量不断增加时，可以根据数据量进行一定程度的扩展，从而不再损失系统的性能。
发明内容
本发明的目的是提供一种基于互联网的分布式存储方法。
本发明的目的是按以下方式实现的，具体步骤如下：
步骤1：对存储的数据进行预处理，确定数据存储层次，制定各层存储的标准和数据划分标准；
步骤2：根据存储层次标准，对数据进行分层，针对各层数据结构，按照数据划分标准，对其进行进一步的划分；
步骤3：针对各层划分出的数据，建立对应索引节点；
步骤4：按照之前建立的存储层次和索引节点，建立各索引节点之间的检索层次；
步骤5：客户输入检索条件，系统根据标准，按照层次检索不同的索引节点，将数据反馈给客户；
本发明的目的有益效果是：基于互联网的分布式存储方法比普通的数据库存储更易于扩展，备份和管理，而且适合海量结构化数据的存储，在普通数据库中很难存储海量数据。用户需要建立不同存储层次的标准和各层次的划分标准，之后系统会建立对应的检索节点和检索节点之间的检索关系，待检索关系建立之后，用户就可以像操作普通数据库一样来操作整体的存储结构，而且并不会造成性能的丢失。
附图说明
图1是构建流程图；
图2是检索流程图；
图3是存储结构拓扑图；
图4是存储流程图。
具体实施方式
参照说明书附图对本发明的一种基于互联网的分布式存储方法作以下详细地说明。
由于各个系统的业务流程不一致，存储层次的划分以及数据的划分不统一等难点，对本存储结构的部署造成了一定的困难。因此我们给客户提供了存储结构模板。分以下几步搭建该存储结构：
第一步，对比，找出系统存储结构和本存储结构相同点和不同点，对于相同之处按照存储结构模板划分数据层次，对于不同之处，可以对应的扩展存储结构模板；
第二步，将原有系统数据导入到本存储结构中，在导入时按照不同层次和划分标准导入
第三步，更改原有系统的数据接口，在不破坏原有业务流程的基础上，使原有系统与本数据结构整合，构建新系统。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种基于互联网的分布式存储方法, 其特征在于具体步骤如下：
步骤1：对存储的数据进行预处理，确定数据存储层次，制定各层存储的标准和数据划分标准；
步骤2：根据存储层次标准，对数据进行分层，针对各层数据结构，按照数据划分标准，对其进行进一步的划分；
步骤3：针对各层划分出的数据，建立对应索引节点；
步骤4：按照之前建立的存储层次和索引节点，建立各索引节点之间的检索层次；
步骤5：客户输入检索条件，系统根据标准，按照层次检索不同的索引节点，将数据反馈给客户。
CN201410477103.7A 2014-09-18 2014-09-18 一种基于互联网的分布式存储方法 Pending CN104239525A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410477103.7A CN104239525A (zh) 2014-09-18 2014-09-18 一种基于互联网的分布式存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410477103.7A CN104239525A (zh) 2014-09-18 2014-09-18 一种基于互联网的分布式存储方法

Publications (1)

Publication Number Publication Date
CN104239525A true CN104239525A (zh) 2014-12-24

Family

ID=52227584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410477103.7A Pending CN104239525A (zh) 2014-09-18 2014-09-18 一种基于互联网的分布式存储方法

Country Status (1)

Country Link
CN (1) CN104239525A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798103A (zh) * 2017-10-31 2018-03-13 浪潮软件集团有限公司 一种空间矢量数据的搜索方法、装置、可读介质及存储控制器
CN109871710A (zh) * 2018-12-29 2019-06-11 天津南大通用数据技术股份有限公司 一种流式数据切割和存储方法
CN111506552A (zh) * 2019-01-30 2020-08-07 宁波创元信息科技有限公司 一种树状结构的动态数据库设计方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375853A (zh) * 2010-08-24 2012-03-14 中国移动通信集团公司 分布式数据库系统、在其中建立索引的方法和查询方法
US20120303597A1 (en) * 2011-05-24 2012-11-29 Red Lambda, Inc. System and Method for Storing Data Streams in a Distributed Environment
CN102915324A (zh) * 2012-08-09 2013-02-06 深圳中兴网信科技有限公司 数据存储与检索装置和数据存储与检索方法
CN103914516A (zh) * 2014-02-25 2014-07-09 深圳市中博科创信息技术有限公司 一种存储系统分层管理的方法与系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375853A (zh) * 2010-08-24 2012-03-14 中国移动通信集团公司 分布式数据库系统、在其中建立索引的方法和查询方法
US20120303597A1 (en) * 2011-05-24 2012-11-29 Red Lambda, Inc. System and Method for Storing Data Streams in a Distributed Environment
CN102915324A (zh) * 2012-08-09 2013-02-06 深圳中兴网信科技有限公司 数据存储与检索装置和数据存储与检索方法
CN103914516A (zh) * 2014-02-25 2014-07-09 深圳市中博科创信息技术有限公司 一种存储系统分层管理的方法与系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798103A (zh) * 2017-10-31 2018-03-13 浪潮软件集团有限公司 一种空间矢量数据的搜索方法、装置、可读介质及存储控制器
CN109871710A (zh) * 2018-12-29 2019-06-11 天津南大通用数据技术股份有限公司 一种流式数据切割和存储方法
CN111506552A (zh) * 2019-01-30 2020-08-07 宁波创元信息科技有限公司 一种树状结构的动态数据库设计方法及系统
CN111506552B (zh) * 2019-01-30 2023-10-31 宁波创元信息科技有限公司 一种树状结构的动态数据库设计方法及系统

Similar Documents

Publication Publication Date Title
US9996581B2 (en) Real-time saved-query updates for a large graph
US10628449B2 (en) Method and apparatus for processing database data in distributed database system
CN102169507B (zh) 一种分布式实时搜索引擎的实现方法
CN111723073B (zh) 数据存储处理方法、装置、处理系统以及存储介质
CN105302920A (zh) 一种云存储数据的优化管理方法和系统
CN106095871A (zh) 一种建立数据库目录结构的方法及装置
CN105989015B (zh) 一种数据库扩容方法和装置以及访问数据库的方法和装置
CN106663023A (zh) 对云应用中的虚拟机进行分组
CN105554132A (zh) 一种Hadoop在线扩容的方法
CN103823846A (zh) 一种基于图论的大数据存储及查询方法
CN103970907A (zh) 一种动态扩展数据库集群的方法
CN106471501A (zh) 数据查询的方法、数据对象的存储方法和数据系统
CN104239525A (zh) 一种基于互联网的分布式存储方法
CN103366021A (zh) 一种云计算平台上的变邻域搜索方法及系统
CN105608228A (zh) 一种高效的分布式的rdf数据存储方法
CN104361098A (zh) 一种云海系统中拓扑图节点自定义的方法
KR101955376B1 (ko) 비공유 아키텍처 기반의 분산 스트림 처리 엔진에서 관계형 질의를 처리하는 방법, 이를 수행하기 위한 기록 매체 및 장치
CN110990378A (zh) 一种基于区块链的数据一致性对比方法及设备、介质
CN112035466B (zh) 一种区块链查询外置索引开发框架
CN102567419A (zh) 基于树结构的海量数据存储装置及方法
CN106101710A (zh) 一种分布式视频转码方法及装置
US20210397599A1 (en) Techniques for generating a consistent view of an eventually consistent database
KR101680945B1 (ko) 조인 연산을 위한 매핑 방법 및 리듀싱 방법，및 그 방법들을 이용한 장치들
CN107643960A (zh) 一种Solr全文检索动态配置系统及方法
CN105488056B (zh) 一种对象处理方法与设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141224

WD01 Invention patent application deemed withdrawn after publication