CN108600288A - 一种分布式存储系统标签管理数据存储实现方法 - Google Patents

一种分布式存储系统标签管理数据存储实现方法 Download PDF

Info

Publication number
CN108600288A
CN108600288A CN201810032879.6A CN201810032879A CN108600288A CN 108600288 A CN108600288 A CN 108600288A CN 201810032879 A CN201810032879 A CN 201810032879A CN 108600288 A CN108600288 A CN 108600288A
Authority
CN
China
Prior art keywords
data storage
storage cell
data
memory system
distributed memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810032879.6A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Kai Ya Electronic Technology Co Ltd
Original Assignee
Changsha Kai Ya Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Kai Ya Electronic Technology Co Ltd filed Critical Changsha Kai Ya Electronic Technology Co Ltd
Priority to CN201810032879.6A priority Critical patent/CN108600288A/zh
Publication of CN108600288A publication Critical patent/CN108600288A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种分布式存储系统标签管理数据存储实现方法，该方法适用于分布式存储系统内包含X个元数据管理单元和Y个数据存储单元的场景，X为大于等于1的正整数，Y为大于等于2的正整数，该方法在以上场景中元数据管理单元会对每个数据存储单元进行标签管理，当业务主机有数据读写请求时，元数据管理单元同时会对数据读写请求的类型做出判断并适配相应的标签，再根据相应标签将数据读写请求转至相应的数据存储单元处理。

Description

一种分布式存储系统标签管理数据存储实现方法
技术领域
本发明专利涉及计算机存储领域，特别是分布式存储领域。
背景技术
分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
在大数据环境下，数据规模和复杂度的增加往往非常迅速，对系统的扩展性能要求较高。实现存储系统的高可扩展性首先要解决两个方面的重要问题，包含元数据的分配和数据的透明迁移。元数据的分配主要通过静态子树划分技术实现，后者则侧重数据迁移算法的优化。此外，大数据存储体系规模庞大．结点失效率高，因此还需要完成一定的自适应管理功能。系统必须能够根据数据量和计算的工作量估算所需要的结点个数，并动态地将数据在结点间迁移。以实现负载均衡；同时．结点失效时，数据必须可以通过副本等机制进行恢复，不能对上层应用产生影响。
传统数据存储模型需要支持尽可能多的应用，因此需要具备较好的通用性。大数据具有大规模、高动态及快速处理等特性，通用的数据存储模型通常并不是最能提高应用性能的模型．而大数据存储系统对上层应用性能的关注远远超过对通用性的追求。针对应用和负载来优化存储，就是将数据存储与应用耦合。简化或扩展分布式文件系统的功能，根据特定应用、特定负载、特定的计算模型对文件系统进行定制和深度优化，使应用达到最佳性能。
分布式存储系统的数据存储量规模巨大，如果所有的数据读写操作都以全文检索来进行，会造成分布式存储的访问性能压力问题。
发明专利内容
本发明专利涉及一种分布式存储系统标签管理数据存储实现方法，该方法适用于分布式存储系统内包含X个元数据管理单元和Y个数据存储单元的场景，X为大于等于1的正整数，Y为大于等于2的正整数，该方法在以上场景中元数据管理单元会对每个数据存储单元进行标签管理，当业务主机有数据读写请求时，元数据管理单元同时会对数据读写请求的类型做出判断并适配相应的标签，再根据相应标签将数据读写请求转至相应的数据存储单元处理。
附图说明
图1为本发明专利的一种分布式存储系统标签管理数据存储实现方法结构示意图。
具体实施方式
为了使本发明专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明专利进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明专利，并不用于限定本发明专利。
请参阅图1，图1为本发明专利的一种分布式存储系统标签管理数据存储实现方法结构示意图。
一种分布式存储系统标签管理数据存储实现方法，其特征在于，所述方法包含元数据管理单元（10）、分布式存储系统通信网络（11）、数据存储单元a（12a）、数据存储单元b（12b）、数据存储单元c（12c）、数据存储类型标签a（13a）、数据存储类型标签b（13b）、数据存储类型标签c（13c）、数据读写请求（14）和业务主机（15），该方法元数据管理单元（10）、数据存储单元a（12a）、数据存储单元b（12b）、数据存储单元c（12c）通过分布式存储系统通信网络（11）组建成分布式存储系统，并在数据存储单元a（12a）、数据存储单元b（12b）、数据存储单元c（12c）都会按数据类型进行数据存储类型标签a（13a）、数据存储类型标签b（13b）、数据存储类型标签c（13c）类的打标签，以实现通过分布式存储系统通信网络（11）为业务主机（15）提供数据读写请求（14）服务时按标签适配。
一种分布式存储系统标签管理数据存储实现方法，其特征在于，该方法元数据管理单元（10）的数量为X个，X为大于等1的正整数，当X大于1时需将X个节点做成集群管理。
一种分布式存储系统标签管理数据存储实现方法，其特征在于，该方法数据存储单元a（12a）、数据存储单元b（12b）、数据存储单元c（12c）的数量为Y个，Y为大于等于2的正整数。
一种分布式存储系统标签管理数据存储实现方法，其特征在于，该方法数据存储单元a（12a）、数据存储单元b（12b）、数据存储单元c（12c）和数据存储类型标签a（13a）、数据存储类型标签b（13b）、数据存储类型标签c（13c）间的对应关系是按数据类型来划分，即相同数据类型的数据存储单元为相同标签、不同数据类型的数据存储单元为不同标签，其对应关系可以为一对一、一对多、多对一、多对多。
以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

Claims (4)

1.一种分布式存储系统标签管理数据存储实现方法，其特征在于，所述方法包含元数据管理单元（10）、分布式存储系统通信网络（11）、数据存储单元a（12a）、数据存储单元b（12b）、数据存储单元c（12c）、数据存储类型标签a（13a）、数据存储类型标签b（13b）、数据存储类型标签c（13c）、数据读写请求（14）和业务主机（15），该方法元数据管理单元（10）、数据存储单元a（12a）、数据存储单元b（12b）、数据存储单元c（12c）通过分布式存储系统通信网络（11）组建成分布式存储系统，并在数据存储单元a（12a）、数据存储单元b（12b）、数据存储单元c（12c）都会按数据类型进行数据存储类型标签a（13a）、数据存储类型标签b（13b）、数据存储类型标签c（13c）类的打标签，以实现通过分布式存储系统通信网络（11）为业务主机（15）提供数据读写请求（14）服务时按标签适配。
2.根据权利要求1所述的一种分布式存储系统标签管理数据存储实现方法，其特征在于，该方法元数据管理单元（10）的数量为X个，X为大于等1的正整数，当X大于1时需将X个节点做成集群管理。
3.根据权利要求1所述的一种分布式存储系统标签管理数据存储实现方法，其特征在于，该方法数据存储单元a（12a）、数据存储单元b（12b）、数据存储单元c（12c）的数量为Y个，Y为大于等于2的正整数。
4.根据权利要求1所述的一种分布式存储系统标签管理数据存储实现方法，其特征在于，该方法数据存储单元a（12a）、数据存储单元b（12b）、数据存储单元c（12c）和数据存储类型标签a（13a）、数据存储类型标签b（13b）、数据存储类型标签c（13c）间的对应关系是按数据类型来划分，即相同数据类型的数据存储单元为相同标签、不同数据类型的数据存储单元为不同标签，其对应关系可以为一对一、一对多、多对一、多对多。
CN201810032879.6A 2018-01-13 2018-01-13 一种分布式存储系统标签管理数据存储实现方法 Pending CN108600288A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810032879.6A CN108600288A (zh) 2018-01-13 2018-01-13 一种分布式存储系统标签管理数据存储实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810032879.6A CN108600288A (zh) 2018-01-13 2018-01-13 一种分布式存储系统标签管理数据存储实现方法

Publications (1)

Publication Number Publication Date
CN108600288A true CN108600288A (zh) 2018-09-28

Family

ID=63608176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810032879.6A Pending CN108600288A (zh) 2018-01-13 2018-01-13 一种分布式存储系统标签管理数据存储实现方法

Country Status (1)

Country Link
CN (1) CN108600288A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005086029A1 (en) * 2004-03-03 2005-09-15 British Telecommunications Public Limited Company Data handling system
CN103905537A (zh) * 2014-03-20 2014-07-02 冶金自动化研究设计院 分布式环境下管理工业实时数据存储的系统
CN104933296A (zh) * 2015-05-28 2015-09-23 汤海京 一种基于多维数据融合的大数据处理方法和设备
CN105045217A (zh) * 2014-05-01 2015-11-11 洛克威尔自动控制技术股份有限公司 广播与工业自动化系统相关数据和数据标签的系统和方法
CN107329983A (zh) * 2017-06-01 2017-11-07 昆仑智汇数据科技(北京)有限公司 一种机器数据分布式存储、读取方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005086029A1 (en) * 2004-03-03 2005-09-15 British Telecommunications Public Limited Company Data handling system
CN103905537A (zh) * 2014-03-20 2014-07-02 冶金自动化研究设计院 分布式环境下管理工业实时数据存储的系统
CN105045217A (zh) * 2014-05-01 2015-11-11 洛克威尔自动控制技术股份有限公司 广播与工业自动化系统相关数据和数据标签的系统和方法
CN104933296A (zh) * 2015-05-28 2015-09-23 汤海京 一种基于多维数据融合的大数据处理方法和设备
CN107329983A (zh) * 2017-06-01 2017-11-07 昆仑智汇数据科技(北京)有限公司 一种机器数据分布式存储、读取方法及系统

Similar Documents

Publication Publication Date Title
US9996565B2 (en) Managing an index of a table of a database
CN102880557B (zh) 一种异构数据源的多级分布式高速缓存的查找方法
CN103118073B (zh) 一种云环境下虚拟机数据持久化存储系统和方法
US9996596B2 (en) Managing a table of a database
US10356150B1 (en) Automated repartitioning of streaming data
US20130318525A1 (en) Locality-aware resource allocation for cloud computing
You et al. Scalable load balancing in cluster storage systems
WO2011120791A1 (en) Transmission of map-reduce data based on a storage network or a storage network file system
CN104050102B (zh) 一种电信系统中的对象存储方法及装置
CN106775446A (zh) 基于固态硬盘加速的分布式文件系统小文件访问方法
CN106570113B (zh) 一种海量矢量切片数据云存储方法及系统
Kaseb et al. An improved technique for increasing availability in Big Data replication
CN105187502A (zh) 一种基于分布式弹性块存储的方法和系统
CN109189341A (zh) 分布式存储系统的目录负载均衡方法、装置、设备及介质
US11144251B2 (en) Providing a global unique identifier for a storage volume
US9684668B1 (en) Systems and methods for performing lookups on distributed deduplicated data systems
CN105637471B (zh) 用于对存储环境进行监测和控制的方法及设备
US11381506B1 (en) Adaptive load balancing for distributed systems
CN108600288A (zh) 一种分布式存储系统标签管理数据存储实现方法
CN114879907A (zh) 一种数据分布确定方法、装置、设备及存储介质
Shabeera et al. A novel approach for improving data locality of mapreduce applications in cloud environment through intelligent data placement
CN108363642A (zh) 一种分布式存储系统数据恢复实现方法
CN112988703B (zh) 一种读写请求的均衡方法及装置
CN111782834A (zh) 图像检索的方法、装置、设备及计算机可读存储介质
Selvi Geo-Distance Based 2-Replica Maintaining Algorithm for Ensuring the Reliability forever Even during the Natural Disaster on Cloud Storage System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180928

WD01 Invention patent application deemed withdrawn after publication