CN107479827A - 一种基于io和元数据分离的混合存储系统实现方法 - Google Patents

一种基于io和元数据分离的混合存储系统实现方法 Download PDF

Info

Publication number
CN107479827A
CN107479827A CN201710607660.XA CN201710607660A CN107479827A CN 107479827 A CN107479827 A CN 107479827A CN 201710607660 A CN201710607660 A CN 201710607660A CN 107479827 A CN107479827 A CN 107479827A
Authority
CN
China
Prior art keywords
data
storage system
meta
metadata
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710607660.XA
Other languages
English (en)
Inventor
顾友峰
陈大伟
韩欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tak Billiton Information Technology Ltd By Share Ltd
Original Assignee
Shanghai Tak Billiton Information Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tak Billiton Information Technology Ltd By Share Ltd filed Critical Shanghai Tak Billiton Information Technology Ltd By Share Ltd
Priority to CN201710607660.XA priority Critical patent/CN107479827A/zh
Publication of CN107479827A publication Critical patent/CN107479827A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于IO和元数据分离的混合存储系统实现方法，包括以下步骤：步骤(1)客户端通过标准RESTful API接口发送管理数据的请求至混合存储系统；步骤(2)网关层收到客户端的请求之后，会对请求参数进行合法性校验，验证通过后，转发至元数据模块；步骤(3)元数据模块收到请求后，将Json化的元数据信息推送至分布式键值存储系统；步骤(4)IO模块收到请求后，存储系统类选择器根据参数将数据上传至对应的数据存储系统；步骤(5)：返回请求结果至客户端。本发明实现了IO和元数据分离的架构，能够有效管理不同存储系统的元数据，可以对外提供统一的元数据管理服务如存储、搜索以及分析等。

Description

一种基于IO和元数据分离的混合存储系统实现方法
技术领域
本发明涉及混合存储系统架构技术领域，具体为一种基于IO和元数据分离的混合存储系统实现方法。
背景技术
随着信息技术的发展，越来越多的业务应用需要存储系统的支持。目前，存储系统分为三大类，块存储、文件系统存储和对象存储。块存储主要是将裸磁盘空间整个映射给主机使用。这种方式能够将多块廉价的硬盘组合起来，成为一个大容量的逻辑盘对外提供服务，提高了容量但无法提供文件共享。文件系统存储是在文件系统一级提供存储服务，对外提供统一的POSIX接口进行读写，然而其写入和读取速度较低。对象存储系统抛弃了文件系统的目录接口，提供扁平化的数据组织形式，适用于大数据场景。
对于传统IT的核心数据与业务，受安全性、兼容性等多方面因素的影响，无法采用单一存储系统来承载，因此，混合存储系统是未来的发展趋势。在存储系统中，数据是主体，然而元数据是管理数据的核心。元数据是描述数据的数据，主要用来描述数据的上下文信息。元数据能够从不同角度不同层面去描述数据本身属性。对混合存储系统来说，如何高效的管理元数据成为迫切需要解决的一个新挑战。
现有的混合存储系统是通过中心节点来管理元数据，中心节点能够采集不同存储系统的元数据，从而提供统一的元数据管理服务。该方案存在性能瓶颈，中心节点无法应对高并发条件下的元数据管理请求。同时，现有混合存储系统方案无法提供元数据的高可靠，一致性以及分区隔离性。
发明内容
本发明所解决的技术问题在于提供一种基于IO和元数据分离的混合存储系统实现方法，以解决上述背景技术中的问题。
本发明所解决的技术问题采用以下技术方案来实现：一种基于IO和元数据分离的混合存储系统实现方法，包括以下步骤：
步骤(1)客户端通过标准RESTful API接口发送管理数据的请求至混合存储系统；
步骤(2)网关层收到客户端的请求之后，会对请求参数进行合法性校验，验证通过后，转发至元数据模块；
步骤(3)元数据模块收到请求后，将Json化的元数据信息推送至分布式键值存储系统；
步骤(4)IO模块收到请求后，存储系统类选择器根据参数将数据上传至对应的数据存储系统；
步骤(5)：返回请求结果至客户端，为了保证IO与元数据的一致性，只有IO模块和元数据模块同时操作成功的情况，才返回请求成功的标志。
所述混合存储系统包括文件系统存储、对象存储系统，在混合存储系统中元数据处于一个中心位置，通过元数据模块对元数据的解析，可实现将物理分布在多个地点的数据集成为统一的数据共享和访问管理的逻辑空间，以低成本、松耦合方式实现大量异构数据资源的集中整合与共享。
所述元数据模块收到请求后，会提取对象的元数据信息如创建时间，数据大小，以及数据拥有者等，然后将元数据信息以JSON的形式进行描述，最后将Json化的元数据信息推送至分布式键值存储系统。分布式键值存储系统可以对元数据进行索引，对外提供安全，可靠的元数据管理服务。
所述数据管理模块包含结构化数据、半结构化数据以及非结构数据；结构化数据包括数字、符号，半结构化数据包括XML、HTML文档，非结构化数据包括全文文本、图象、声音、影视、超媒体。
所述网关层提供统一的RESTful API接口。
所述元数据模块采用分布式架构，可以提高元数据的可靠性以及大大降低元数据的响应时间。
所述存储系统选择器采用多种算法，包括基于UUID的存储系统选择算法、基于媒体类型的存储系统选择算法。
与已公开技术相比，本发明存在以下优点：
(1)本发明实现了IO和元数据分离的架构，能够有效管理不同存储系统的元数据，可以对外提供统一的元数据管理服务如存储、搜索以及分析等。
(2)现有混合存储系统引入数据中心对元数据管理，但存在单点故障问题。该系统通过引入分布式键值存储系统来避免单点故障，同时提升了系统可靠性，大大提高了系统的无故障运行时间。
(3)本发明通过IO模块来统一管理不同存储系统的读写，能够显著提高系统的读写性能，同时具有优良的扩展性。
(4)本发明以Json化的元数据格式进行存储，能够详细描述数据的上下文信息，且可自定义添加元数据信息并实时建立索引。
(5)本发明提供快速恢复元数据集群管理功能：集群中的某个节点失效脱离集群后，当该节点启动被修复好，能够自动加入集群，提供集群元数据管理功能。
(6)本发明支撑元数据备份/恢复：具有元数据信息的本地或远程自动备份功能，备份操作定期自动执行或随时手动启动。
(7)本发明的元数据模块内置分布式KV存储系统和第三方分析引擎。元数据信息先存放至分布式KV存储系统，然后异步到分析引擎。采用异步的方式，能够提高系统的相应时间，提升系统读写性能。
附图说明
图1为本发明的存储系统结构图。
图2为本发明的管理系统架构图。
图3为本发明的混合存储系统元数据统一管理模块架构图。
具体实施方式
为了使本发明的技术手段、创作特征、工作流程、使用方法达成目的与功效易于明白了解，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于IO和元数据分离的混合存储系统实现方法，包括以下步骤：
步骤(1)客户端通过标准RESTful API接口发送管理数据的请求至混合存储系统；
步骤(2)网关层收到客户端的请求之后，会对请求参数进行合法性校验，验证通过后，转发至元数据模块；
步骤(3)元数据模块收到请求后，将Json化的元数据信息推送至分布式键值存储系统；
步骤(4)IO模块收到请求后，存储系统类选择器根据参数将数据上传至对应的数据存储系统；
步骤(5)：返回请求结果至客户端，为了保证IO与元数据的一致性，只有IO模块和元数据模块同时操作成功的情况，才返回请求成功的标志。
所述混合存储系统包括文件系统存储、对象存储系统，在混合存储系统中元数据处于一个中心位置，通过元数据模块对元数据的解析，可实现将物理分布在多个地点的数据集成为统一的数据共享和访问管理的逻辑空间，以低成本、松耦合方式实现大量异构数据资源的集中整合与共享。
所述元数据模块收到请求后，会提取对象的元数据信息如创建时间，数据大小，以及数据拥有者等，然后将元数据信息以JSON的形式进行描述，最后将Json化的元数据信息推送至分布式键值存储系统。分布式键值存储系统可以对元数据进行索引，对外提供安全，可靠的元数据管理服务。
所述数据管理模块包含结构化数据、半结构化数据以及非结构数据；结构化数据包括数字、符号，半结构化数据包括XML、HTML文档，非结构化数据包括全文文本、图象、声音、影视、超媒体。
所述网关层提供统一的RESTful API接口。
所述元数据模块采用分布式架构，可以提高元数据的可靠性以及大大降低元数据的响应时间。
所述存储系统选择器采用多种算法，包括基于UUID的存储系统选择算法、基于媒体类型的存储系统选择算法。
本发明中中IO模块负责管理不同的存储系统，能够根据请求参数将数据上传至不同的存储系统。元数据模块负责提取数据的元数据，并将元数据存放至分布式键值存储系统，提供元数据的统一管理功能。
以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明的要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于IO和元数据分离的混合存储系统实现方法，其特征在于：包括以下步骤：
步骤(1)客户端通过标准RESTful API接口发送管理数据的请求至混合存储系统；
步骤(2)网关层收到客户端的请求之后，会对请求参数进行合法性校验，验证通过后，转发至元数据模块；
步骤(3)元数据模块收到请求后，将Json化的元数据信息推送至分布式键值存储系统；
步骤(4)IO模块收到请求后，存储系统类选择器根据参数将数据上传至对应的数据存储系统；
步骤(5)：返回请求结果至客户端，为了保证IO与元数据的一致性，只有IO模块和元数据模块同时操作成功的情况，才返回请求成功的标志。
2.根据权利要求1所述的一种基于IO和元数据分离的混合存储系统实现方法，其特征在于：所述混合存储系统包括文件系统存储、对象存储系统，在混合存储系统中元数据处于一个中心位置，通过元数据模块对元数据的解析，可实现将物理分布在多个地点的数据集成为统一的数据共享和访问管理的逻辑空间，以低成本、松耦合方式实现大量异构数据资源的集中整合与共享。
3.根据权利要求1所述的一种基于IO和元数据分离的混合存储系统实现方法，其特征在于：所述元数据模块收到请求后，会提取对象的元数据信息如创建时间，数据大小，以及数据拥有者等，然后将元数据信息以JSON的形式进行描述，最后将Json化的元数据信息推送至分布式键值存储系统；分布式键值存储系统可以对元数据进行索引，对外提供安全，可靠的元数据管理服务。
4.根据权利要求1所述的一种基于IO和元数据分离的混合存储系统实现方法，其特征在于：所述数据管理模块包含结构化数据、半结构化数据以及非结构数据；结构化数据包括数字、符号，半结构化数据包括XML、HTML文档，非结构化数据包括全文文本、图象、声音、影视、超媒体。
5.根据权利要求1所述的一种基于IO和元数据分离的混合存储系统实现方法，其特征在于：所述网关层提供统一的RESTful API接口。
6.根据权利要求1所述的一种基于IO和元数据分离的混合存储系统实现方法，其特征在于：所述元数据模块采用分布式架构，可以提高元数据的可靠性以及大大降低元数据的响应时间。
7.根据权利要求1所述的一种基于IO和元数据分离的混合存储系统实现方法，其特征在于：所述存储系统选择器采用多种算法，包括基于UUID的存储系统选择算法、基于媒体类型的存储系统选择算法。
CN201710607660.XA 2017-07-24 2017-07-24 一种基于io和元数据分离的混合存储系统实现方法 Pending CN107479827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710607660.XA CN107479827A (zh) 2017-07-24 2017-07-24 一种基于io和元数据分离的混合存储系统实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710607660.XA CN107479827A (zh) 2017-07-24 2017-07-24 一种基于io和元数据分离的混合存储系统实现方法

Publications (1)

Publication Number Publication Date
CN107479827A true CN107479827A (zh) 2017-12-15

Family

ID=60596732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710607660.XA Pending CN107479827A (zh) 2017-07-24 2017-07-24 一种基于io和元数据分离的混合存储系统实现方法

Country Status (1)

Country Link
CN (1) CN107479827A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714193A (zh) * 2018-12-05 2019-05-03 国云科技股份有限公司 一种基于zuul路由转发方式接管对象存储服务的方法
CN109840247A (zh) * 2018-12-18 2019-06-04 深圳先进技术研究院 文件系统及数据布局方法
CN111641700A (zh) * 2020-05-25 2020-09-08 上海德拓信息技术股份有限公司 基于Ceph对象存储元数据的管理及检索的实现方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023982A (zh) * 2012-11-22 2013-04-03 中国人民解放军国防科学技术大学 一种云存储客户端的低延迟元数据访问方法
CN103902669A (zh) * 2014-03-17 2014-07-02 华中科技大学 一种基于不同存储介质的分离式文件系统
CN104536903A (zh) * 2014-12-25 2015-04-22 华中科技大学 一种按数据属性分类存放的混合存储方法及系统
CN104866521A (zh) * 2014-02-20 2015-08-26 株式会社特迈数据 处理具有混合存储器的数据库中的查询的设备和方法
WO2016053198A1 (en) * 2014-10-03 2016-04-07 Agency For Science, Technology And Research Distributed active hybrid storage system
CN106874383A (zh) * 2017-01-10 2017-06-20 清华大学 一种分布式文件系统元数据的解耦合分布方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103023982A (zh) * 2012-11-22 2013-04-03 中国人民解放军国防科学技术大学 一种云存储客户端的低延迟元数据访问方法
CN104866521A (zh) * 2014-02-20 2015-08-26 株式会社特迈数据 处理具有混合存储器的数据库中的查询的设备和方法
CN103902669A (zh) * 2014-03-17 2014-07-02 华中科技大学 一种基于不同存储介质的分离式文件系统
WO2016053198A1 (en) * 2014-10-03 2016-04-07 Agency For Science, Technology And Research Distributed active hybrid storage system
CN104536903A (zh) * 2014-12-25 2015-04-22 华中科技大学 一种按数据属性分类存放的混合存储方法及系统
CN106874383A (zh) * 2017-01-10 2017-06-20 清华大学 一种分布式文件系统元数据的解耦合分布方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕晓霞等: "元数据和数据分离的安全云存储体系结构的设计", 《计算机安全》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714193A (zh) * 2018-12-05 2019-05-03 国云科技股份有限公司 一种基于zuul路由转发方式接管对象存储服务的方法
CN109840247A (zh) * 2018-12-18 2019-06-04 深圳先进技术研究院 文件系统及数据布局方法
CN109840247B (zh) * 2018-12-18 2020-12-18 深圳先进技术研究院 文件系统及数据布局方法
CN111641700A (zh) * 2020-05-25 2020-09-08 上海德拓信息技术股份有限公司 基于Ceph对象存储元数据的管理及检索的实现方法

Similar Documents

Publication Publication Date Title
CN108287669B (zh) 数据存储方法、装置及存储介质
WO2017167171A1 (zh) 一种数据操作方法，服务器及存储系统
US8239648B2 (en) Reclamation of thin provisioned disk storage
CN103914399A (zh) 一种并行计算系统中的磁盘缓存方法及装置
US9940331B1 (en) Proactive scavenging of file system snaps
CN103544319A (zh) 一种多租户共享数据库的方法和多租户数据库即服务系统
US11675499B2 (en) Synchronous discovery logs in a fabric storage system
US8600999B2 (en) System and method for efficient resource management
CN105635311A (zh) 一种云管理平台中资源池信息同步的方法
CN105677251A (zh) 基于Redis集群的存储系统
US11783074B2 (en) Controlling access to secure information resources using rotational datasets and dynamically configurable data containers
US11743262B2 (en) Controlling access to secure information resources using rotational datasets and dynamically configurable data containers
CN108073352A (zh) 虚拟磁盘处理方法及装置
US11711369B2 (en) Controlling access to secure information resources using rotational datasets and dynamically configurable data containers
CN107479827A (zh) 一种基于io和元数据分离的混合存储系统实现方法
KR20200056526A (ko) 데이터베이스 관리 시스템에서의 변경 데이터 캡쳐 구현 기법
CN113806300A (zh) 数据存储方法、系统、装置、设备及存储介质
CN107408239B (zh) 通过多个邮箱在通信应用中进行海量数据管理的架构
CN117171108B (zh) 一种虚拟模型映射方法和系统
CN113791735A (zh) 视频数据存储方法、装置、计算机设备及存储介质
CN109756484A (zh) 基于对象存储的网关的控制方法、控制装置、网关和介质
CN111435286A (zh) 一种数据存储方法、装置和系统
CN111274004B (zh) 进程实例管理方法、装置及计算机存储介质
CN112182526A (zh) 一种社区管理方法、装置、电子设备和存储介质
CN105549912A (zh) 同时包含多种类操作系统的服务器集群的存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171215

RJ01 Rejection of invention patent application after publication