CN112764690A - 分布式存储系统 - Google Patents

分布式存储系统 Download PDF

Info

Publication number
CN112764690A
CN112764690A CN202110150664.6A CN202110150664A CN112764690A CN 112764690 A CN112764690 A CN 112764690A CN 202110150664 A CN202110150664 A CN 202110150664A CN 112764690 A CN112764690 A CN 112764690A
Authority
CN
China
Prior art keywords
storage system
ssd
distributed storage
data
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110150664.6A
Other languages
English (en)
Inventor
胡晓鹏
尹微
肖纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Toyou Feiji Electronics Co ltd
Original Assignee
Beijing Toyou Feiji Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Toyou Feiji Electronics Co ltd filed Critical Beijing Toyou Feiji Electronics Co ltd
Priority to CN202110150664.6A priority Critical patent/CN112764690A/zh
Publication of CN112764690A publication Critical patent/CN112764690A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明提供了一种分布式存储系统。该系统包括：客户端及后端存储系统，所述客户端包括：SSD，所述SSD用于对发送至后端存储系统的所有存储数据进行缓存。本发明提供的分布式存储系统能够为分布式存储系统的存储数据提供可靠的掉电保护。

Description

分布式存储系统
技术领域
本发明涉及数据存储技术领域，特别是涉及一种分布式存储系统。
背景技术
分布式块存储系统Cache是位于客户端和主存储器之间的一种缓存策略，它主要提供了读数据缓存，写数据汇聚写回的目的，用来提高读写的性能。一般由规模较小，但读写速度很高的存储介质充当。
持久化：是将程序数据在持久状态和瞬时状态间转换的机制。通俗的将，就是瞬时数据(比如内存中的数据，是不能永久保存的)持久化为持久数据(比如持久化至磁盘中，能够长久保存)。
掉电保护：掉电保护是一种特殊的保护数据的方式，是指在系统掉电时，数据不会出现丢失。比如内存中的数据，掉电了会丢失的，传统的掉电保护方法有加装电池，掉电后，电池持续工作，将内存的数据持久化到硬盘。
现有的技术方案主要有：1、绝大部分分布式块存储cache都是在存储节点上基于内存实现的，内存不能提供掉电保护。而且内存容量较小，一般会将以一定大小数据进行切割，将切割后的数据缓存，有两种实现方式，一种是用户态cache，将数据以固定大小切分后进行缓存；另一种是内核态cache，大部分采用linux kernel的page cache。具体技术方案的整体架构请参见图1。
2、少部分厂商提供了掉电保护方案，在存储端插上一块ssd作为缓存，数据先写到ssd，再异步的同步到存储。具体技术方案的整体架构请参见图2。
现有技术的解决方案有如下的不足：1、现有cache不支持掉电保护，内存中的数据设备掉电后会丢失。
2、用内存作为cache容量小，只能提供小数据的缓存，对性能加速有限。
3、即使有掉电保护的cache，io路径较长，性能加速还有优化空间。
发明内容
本发明要解决的技术问题是提供一种分布式存储系统，能够为分布式存储系统的存储数据提供可靠的掉电保护。
为解决上述技术问题，本发明提供了一种分布式存储系统，所述系统包括：客户端及后端存储系统，所述客户端包括：SSD，所述SSD用于对发送至后端存储系统的所有存储数据进行缓存。
在一些实施方式中，SSD作为后端存储系统的前置缓存。
在一些实施方式中，所有存储数据在被发送至后端存储系统之前，被写入至SSD中。
在一些实施方式中，后端存储系统采用sata、sas或者SSD存储技术。
在一些实施方式中，SSD采用单级缓存替换算法，或者多级缓存替换算法作为缓存策略。
在一些实施方式中，单级缓存替换算法包括：LRU、LFU、LRFU、CAR、MQ/2Q算法。
在一些实施方式中，多级缓存替换算法包括：Hierarchy-aware caching，或者Aggresssively collaborative caching。
采用这样的设计后，本发明至少具有以下优点：
本发明通过在客户端添加SSD，并以添加的SSD为前置cache，为存储提供掉电保护及性能加速。
附图说明
上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。
图1是现有技术提供的分布式存储系统的整体架构图；
图2是现有技术提供的分布式存储系统的整体架构图；
图3是本发明实施例提供的分布式存储系统的整体架构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
新技术方案是在客户机31上装一块ssd 312，作为前置cache，关于ssd 312的配置、使用以及相关的cache算法，集成到我们的客户端软件311中，用户无需关心。详细结构见下图。
这样做的好处是所有数据会先经过前置cache，再到后端存储。
为什么说提供了掉电保护？因为ssd 312不比内存本来就是持久化的设备，数据写到了ssd 312就持久化了，掉电了数据仍在，存储上电后，数据再同步到后端存储介质321。
为什么性能加速？ssd硬盘312，相比于后端存储321的sata/sas盘读写速度快，而且作为缓存容量比内存大太多，能缓存的数据更多。
为什么是前置cache？因为cache是放在客户端31，在存储之前，相比于将ssd 312插在存储上作为cache方案，前置cache相当于客户端31写本地磁盘，不需要经过网络或者其他协议发送到后端存储32，io路径更短，性能更好，掉电保护效果也更好。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。

Claims (7)

1.一种分布式存储系统，其特征在于，包括：客户端及后端存储系统，所述客户端包括：SSD，所述SSD用于对发送至后端存储系统的所有存储数据进行缓存。
2.根据权利要求1所述的分布式存储系统，其特征在于，SSD作为后端存储系统的前置缓存。
3.根据权利要求1所述的分布式存储系统，其特征在于，所有存储数据在被发送至后端存储系统之前，被写入至SSD中。
4.根据权利要求1所述的分布式存储系统，其特征在于，后端存储系统采用sata、sas或者SSD存储技术。
5.根据权利要求1所述的分布式存储系统，其特征在于，SSD采用单级缓存替换算法，或者多级缓存替换算法作为缓存策略。
6.根据权利要求5所述的分布式存储系统，其特征在于，单级缓存替换算法包括：LRU、LFU、LRFU、CAR、MQ/2Q算法。
7.根据权利要求5所述的分布式存储系统，其特征在于，多级缓存替换算法包括：Hierarchy-aware caching，或者Aggresssively collaborative caching。
CN202110150664.6A 2021-02-03 2021-02-03 分布式存储系统 Pending CN112764690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110150664.6A CN112764690A (zh) 2021-02-03 2021-02-03 分布式存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110150664.6A CN112764690A (zh) 2021-02-03 2021-02-03 分布式存储系统

Publications (1)

Publication Number Publication Date
CN112764690A true CN112764690A (zh) 2021-05-07

Family

ID=75704827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110150664.6A Pending CN112764690A (zh) 2021-02-03 2021-02-03 分布式存储系统

Country Status (1)

Country Link
CN (1) CN112764690A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105549905A (zh) * 2015-12-09 2016-05-04 上海理工大学 一种多虚拟机访问分布式对象存储系统的方法
CN106354805A (zh) * 2016-08-28 2017-01-25 航天恒星科技有限公司 一种分布式存储系统NoSQL搜索缓存的优化方法和系统
CN106850856A (zh) * 2017-03-28 2017-06-13 南京卓盛云信息科技有限公司 一种分布式存储系统及其同步缓存方法
CN106980475A (zh) * 2017-04-01 2017-07-25 广东浪潮大数据研究有限公司 一种分布式集群系统
US20170235485A1 (en) * 2016-02-17 2017-08-17 Panzura, Inc. Short stroking and data tiering for a distributed filesystem
CN107241444A (zh) * 2017-07-31 2017-10-10 郑州云海信息技术有限公司 一种分布式缓存数据管理系统、方法及装置
CN107402819A (zh) * 2017-08-04 2017-11-28 郑州云海信息技术有限公司 一种客户端缓存的管理方法及系统
US20180232277A1 (en) * 2017-02-14 2018-08-16 Dell Products L.P. Systems and methods for eliminating write-hole problems on parity-based storage resources during an unexpected power loss
CN110750507A (zh) * 2019-09-30 2020-02-04 华中科技大学 面向dfs的全局命名空间下的客户端持久缓存方法及系统
CN111026681A (zh) * 2019-10-30 2020-04-17 烽火通信科技股份有限公司 一种基于Ceph的缓存方法、系统及存储介质
CN111158599A (zh) * 2019-12-29 2020-05-15 北京浪潮数据技术有限公司 一种写数据的方法、装置、设备及存储介质
CN111273868A (zh) * 2020-01-19 2020-06-12 西安奥卡云数据科技有限公司 一种全闪存阵列垃圾回收减少写放大的方法
US20200264780A1 (en) * 2019-02-20 2020-08-20 Nutanix, Inc. Durable client-side caching for distributed storage

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105549905A (zh) * 2015-12-09 2016-05-04 上海理工大学 一种多虚拟机访问分布式对象存储系统的方法
US20170235485A1 (en) * 2016-02-17 2017-08-17 Panzura, Inc. Short stroking and data tiering for a distributed filesystem
CN106354805A (zh) * 2016-08-28 2017-01-25 航天恒星科技有限公司 一种分布式存储系统NoSQL搜索缓存的优化方法和系统
US20180232277A1 (en) * 2017-02-14 2018-08-16 Dell Products L.P. Systems and methods for eliminating write-hole problems on parity-based storage resources during an unexpected power loss
CN106850856A (zh) * 2017-03-28 2017-06-13 南京卓盛云信息科技有限公司 一种分布式存储系统及其同步缓存方法
CN106980475A (zh) * 2017-04-01 2017-07-25 广东浪潮大数据研究有限公司 一种分布式集群系统
CN107241444A (zh) * 2017-07-31 2017-10-10 郑州云海信息技术有限公司 一种分布式缓存数据管理系统、方法及装置
CN107402819A (zh) * 2017-08-04 2017-11-28 郑州云海信息技术有限公司 一种客户端缓存的管理方法及系统
US20200264780A1 (en) * 2019-02-20 2020-08-20 Nutanix, Inc. Durable client-side caching for distributed storage
CN110750507A (zh) * 2019-09-30 2020-02-04 华中科技大学 面向dfs的全局命名空间下的客户端持久缓存方法及系统
CN111026681A (zh) * 2019-10-30 2020-04-17 烽火通信科技股份有限公司 一种基于Ceph的缓存方法、系统及存储介质
CN111158599A (zh) * 2019-12-29 2020-05-15 北京浪潮数据技术有限公司 一种写数据的方法、装置、设备及存储介质
CN111273868A (zh) * 2020-01-19 2020-06-12 西安奥卡云数据科技有限公司 一种全闪存阵列垃圾回收减少写放大的方法

Similar Documents

Publication Publication Date Title
US20200034304A1 (en) Techniques to perform power fail-safe caching without atomic metadata
US7318118B2 (en) System and method for selective write to flash memory in HDD
KR101702201B1 (ko) 솔리드 스테이트 드라이브(ssd)에 대한 최적화된 컨텍스트 드롭
CN108268219B (zh) 一种处理io请求的方法及装置
US8621144B2 (en) Accelerated resume from hibernation in a cached disk system
US8407418B2 (en) Information processing apparatus and driver
US20130145094A1 (en) Information Processing Apparatus and Driver
WO2011140349A1 (en) Caching storage adapter architecture
CN108959589B (zh) 基于stt-mram加速固态存储器件日志文件保存恢复的方法
US10180792B1 (en) Cache management in data storage systems
CN108182154A (zh) 一种基于固态硬盘的日志文件的读写方法及固态硬盘
CN105630700A (zh) 一种具有二级缓存结构的存储系统及读写方法
US6766414B2 (en) Methods, apparatus and system for caching data
US9514052B2 (en) Write-through-and-back-cache
WO2017113211A1 (zh) 访问请求处理方法、装置及计算机系统
CN101387943B (zh) 一种存储设备以及缓存数据的方法
JP2006099802A (ja) 記憶制御装置およびキャッシュメモリの制御方法
US20110167214A1 (en) Method And Apparatus To Manage Non-Volatile Disk Cache
CN112764690A (zh) 分布式存储系统
US10872041B2 (en) Method and apparatus for journal aware cache management
US11704246B2 (en) Memory system for maintaining data consistency and operation method thereof
CN110968271B (zh) 一种高性能数据存储方法、系统与装置
US11550732B2 (en) Calculating and adjusting ghost cache size based on data access frequency
CN117707437B (zh) 基于分布式存储系统的虚拟磁盘存储方法及装置
USRE49818E1 (en) Information processing method in a multi-level hierarchical memory system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination