CN110109613A - 一种基于磁盘的对象存储系统 - Google Patents

一种基于磁盘的对象存储系统 Download PDF

Info

Publication number
CN110109613A
CN110109613A CN201910192828.4A CN201910192828A CN110109613A CN 110109613 A CN110109613 A CN 110109613A CN 201910192828 A CN201910192828 A CN 201910192828A CN 110109613 A CN110109613 A CN 110109613A
Authority
CN
China
Prior art keywords
module
data
disk
storage system
osd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910192828.4A
Other languages
English (en)
Inventor
朱振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Shiwo Information Technology Co Ltd
Original Assignee
Nanjing Shiwo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Shiwo Information Technology Co Ltd filed Critical Nanjing Shiwo Information Technology Co Ltd
Priority to CN201910192828.4A priority Critical patent/CN110109613A/zh
Publication of CN110109613A publication Critical patent/CN110109613A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于磁盘的对象存储系统，包括文件模块、元数据服务器模块、OSD模块、NAS存储模块和磁盘模块，其特征在于：所述文件模块将数据传输至元数据服务器模块，所述元数据服务器模块将数据暂存在NAS存储模块并提取数据信息，所述元数据服务器模块将根据数据信息将数据标记好之后将数据传输至磁盘模块存储，所述文件模块向元数据服务器模块发送数据请求获取数据所在的OSD地址，然后再向OSD模块数据读取请求，所述磁盘模块由多个磁盘阵列组成，本发明涉及存储系统技术领域。该一种基于磁盘的对象存储系统，能够减轻元数据服务器的负担，增强整个存储系统的并行访问性能和可扩展性，并且降低成本，提高效率。

Description

一种基于磁盘的对象存储系统
技术领域
本发明涉及存储系统技术领域，具体为一种基于磁盘的对象存储系统。
背景技术
目前，由于社会科技的发展，技术爆炸产生大量数据，因此对存储技术的要求日提提高，传统的数据管理和存储方式一斤很难满足现在大数据存储的要求。目前的数据存储及管理方式对服务器的要求较高，服务器需同时承担存储任务，降低了服务器的工作性能，并且文件系统的读写任务都需要服务器来完成，使服务器负担较大，工作效率较低。
（一）解决的技术问题
针对现有技术的不足，本发明提供了一种基于磁盘的对象存储系统，解决了目前的数据存储及管理方式对服务器的要求较高，服务器需同时承担存储任务，降低了服务器的工作性能，并且文件系统的读写任务都需要服务器来完成，使服务器负担较大，工作效率较低的问题。
（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于磁盘的对象存储系统，包括文件模块、元数据服务器模块、OSD模块、NAS存储模块和磁盘模块，其特征在于：所述文件模块将数据传输至元数据服务器模块，所述元数据服务器模块将数据暂存在NAS存储模块并提取数据信息，所述元数据服务器模块将根据数据信息将数据标记好之后将数据传输至磁盘模块存储，所述文件模块向元数据服务器模块发送数据请求获取数据所在的OSD地址，然后再向OSD模块数据读取请求。
优选的，所述元数据服务器模块根据数据的大小、日期及标签等信息对数据进行标记并分类存放至磁盘中。
优选的，所述OSD模块将数据存放至磁盘的磁道和扇区并对磁道和扇区进行分块管理。
优选的，所述NAS存储模块将存储设备与元数据服务器分离并集中管理数据。
优选的，所述文件模块包括客户端模块、本地数据模块和web浏览器模块。
优选的，所述磁盘模块由多个磁盘阵列组成。
（三）有益效果
本发明提供了一种基于磁盘的对象存储系统。具备以下有益效果：
（1）、该一种基于磁盘的对象存储系统，通过元数据服务器模块连接有OSD模块，OSD模块将多个磁道和扇区组合起来构成对象，并且通过此对象向外界提供对数据的访问，每个对象可能包括若干个文件，也可能是某个文件的一部分，除了具体的用户数据外，OSD还记录了每个对象的属性信息，主要是物理视图信息。将这些信息放到OSD上，大大减轻了元数据服务器的负担，增强了整个存储系统的并行访问性能和可扩展性。
（2）、该一种基于磁盘的对象存储系统，通过元数据服务器模块连接有NAS存储模块，将存储设备与服务器彻底分离，集中管理数据，从而释放带宽、提高性能、降低总拥有成本、保护投资，其成本远远低于使用服务器存储，而效率却远远高于后者。
附图说明
图1为本发明结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于磁盘的对象存储系统，包括文件模块、元数据服务器模块、OSD模块、NAS存储模块和磁盘模块，其特征在于：所述文件模块将数据传输至元数据服务器模块，所述元数据服务器模块将数据暂存在NAS存储模块并提取数据信息，所述元数据服务器模块将根据数据信息将数据标记好之后将数据传输至磁盘模块存储，所述文件模块向元数据服务器模块发送数据请求获取数据所在的OSD地址，然后再向OSD模块数据读取请求。
元数据服务器模块根据数据的大小、日期及标签等信息对数据进行标记并分类存放至磁盘中。
OSD模块将数据存放至磁盘的磁道和扇区并对磁道和扇区进行分块管理。
NAS存储模块将存储设备与元数据服务器分离并集中管理数据。
文件模块包括客户端模块、本地数据模块和web浏览器模块。
磁盘模块由多个磁盘阵列组成。
使用时，文件模块将数据传输至元数据服务器模块，元数据服务器模块将数据暂存在NAS存储模块并提取数据信息，元数据服务器模块根据数据信息将数据标记好之后把数据传输至磁盘模块中存储，文件模块向元数据服务器模块发送数据请求获取数据所在的OSD地址，再用获取的OSD地址向OSD模块发送数据读取请求，OSD收到请求时判断要读取的数据并对文件系统进行认证，如果文件系统得到授权，则将数据信息返还给文件系统。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下。由语句“包括一个......限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素”。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求。

Claims (6)

1.一种基于磁盘的对象存储系统，包括文件模块、元数据服务器模块、OSD模块、NAS存储模块和磁盘模块，其特征在于：所述文件模块将数据传输至元数据服务器模块，所述元数据服务器模块将数据暂存在NAS存储模块并提取数据信息，所述元数据服务器模块将根据数据信息将数据标记好之后将数据传输至磁盘模块存储，所述文件模块向元数据服务器模块发送数据请求获取数据所在的OSD地址，然后再向OSD模块数据读取请求。
2.根据权利要求1所述的一种基于磁盘的对象存储系统，其特征在于：所述元数据服务器模块根据数据的大小、日期及标签等信息对数据进行标记并分类存放至磁盘中。
3.根据权利要求1所述的一种基于磁盘的对象存储系统，其特征在于：所述OSD模块将数据存放至磁盘的磁道和扇区并对磁道和扇区进行分块管理。
4.根据权利要求1所述的一种基于磁盘的对象存储系统，其特征在于：所述NAS存储模块将存储设备与元数据服务器分离并集中管理数据。
5.根据权利要求1所述的一种基于磁盘的对象存储系统，其特征在于：所述文件模块包括客户端模块、本地数据模块和web浏览器模块。
6.根据权利要求1所述的一种基于磁盘的对象存储系统，其特征在于：所述磁盘模块由多个磁盘阵列组成。
CN201910192828.4A 2019-03-14 2019-03-14 一种基于磁盘的对象存储系统 Pending CN110109613A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910192828.4A CN110109613A (zh) 2019-03-14 2019-03-14 一种基于磁盘的对象存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910192828.4A CN110109613A (zh) 2019-03-14 2019-03-14 一种基于磁盘的对象存储系统

Publications (1)

Publication Number Publication Date
CN110109613A true CN110109613A (zh) 2019-08-09

Family

ID=67484365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910192828.4A Pending CN110109613A (zh) 2019-03-14 2019-03-14 一种基于磁盘的对象存储系统

Country Status (1)

Country Link
CN (1) CN110109613A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541467A (zh) * 2011-12-06 2012-07-04 华中科技大学 一种对象数据服务器读写请求的调度方法
US20160217161A1 (en) * 2015-01-25 2016-07-28 Iguazio Systems Ltd. Virtual data objects
CN106790434A (zh) * 2016-12-05 2017-05-31 上海爱数信息技术股份有限公司 网络数据的管理方法、网络附属存储网关及存储服务系统
CN106873917A (zh) * 2017-02-24 2017-06-20 深圳市中博睿存信息技术有限公司 一种基于磁盘的对象存储系统
CN109274761A (zh) * 2018-10-22 2019-01-25 郑州云海信息技术有限公司 一种nas集群节点、系统以及数据访问方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541467A (zh) * 2011-12-06 2012-07-04 华中科技大学 一种对象数据服务器读写请求的调度方法
US20160217161A1 (en) * 2015-01-25 2016-07-28 Iguazio Systems Ltd. Virtual data objects
CN106790434A (zh) * 2016-12-05 2017-05-31 上海爱数信息技术股份有限公司 网络数据的管理方法、网络附属存储网关及存储服务系统
CN106873917A (zh) * 2017-02-24 2017-06-20 深圳市中博睿存信息技术有限公司 一种基于磁盘的对象存储系统
CN109274761A (zh) * 2018-10-22 2019-01-25 郑州云海信息技术有限公司 一种nas集群节点、系统以及数据访问方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘晓辉著: "《现代图书馆图像数据资源建设概论》", 30 June 2018 *
曹娜，曹海青著: "《数据驱动的用户节能减排分析与应用》", 31 July 2018 *
章仁龙主编: "《英汉计算机网络辞典》", 28 February 2017 *
胡昊，徐富春等编著: "《新兴信息技术在大气环境治理中的研究与应用》", 31 January 2018 *

Similar Documents

Publication Publication Date Title
CN103116661B (zh) 一种数据库的数据处理方法
CN101997823B (zh) 一种分布式文件系统及其数据访问方法
CN104933112A (zh) 分布式互联网交易信息存储处理方法
CN107436725A (zh) 一种数据写、读方法、装置及分布式对象存储集群
CN106503276A (zh) 一种用于实时监控系统的时间序列数据库的方法与装置
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
CN103064731A (zh) 一种提高消息队列系统性能的装置及其方法
CN104102790B (zh) 基于gis的供电图自动成图系统及方法
CN103812939A (zh) 一种大数据存储系统
CN102411637A (zh) 分布式文件系统的元数据管理方法
CN107784098A (zh) 实时数据仓库平台
CN103888499A (zh) 一种分布式对象处理的方法及系统
CN107888666A (zh) 一种跨地域数据存储系统以及数据同步方法和装置
CN104239377A (zh) 跨平台的数据检索方法及装置
CN104035956A (zh) 一种基于分布式列存储的时间序列数据存储方法
CN103051671A (zh) 一种集群文件系统重复数据删除方法
CN107798062A (zh) 一种变电站历史数据统一存储方法和系统
CN106294826A (zh) 一种集群数据实时查询方法及系统
CN102508833A (zh) 数据监控装置及方法
CN104536908B (zh) 一种面向单机的海量小记录高效存储管理方法
CN103617007A (zh) 多级智能存储实现方法和系统
CN102404406A (zh) 基于私有云存储的海洋实时数据同步系统
CN103606032B (zh) 一种二维电网gis数据集中的方法
CN107330017A (zh) 一种基于主题实例的电力海量数据存储和查询统计分析方法及其系统
CN110377757A (zh) 一种实时知识图谱构建系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190809

RJ01 Rejection of invention patent application after publication