CN105404471B - 一种分布式云存储高速缓存层实现方法 - Google Patents

一种分布式云存储高速缓存层实现方法 Download PDF

Info

Publication number
CN105404471B
CN105404471B CN201510745218.4A CN201510745218A CN105404471B CN 105404471 B CN105404471 B CN 105404471B CN 201510745218 A CN201510745218 A CN 201510745218A CN 105404471 B CN105404471 B CN 105404471B
Authority
CN
China
Prior art keywords
layer
data
cloud storage
storage
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510745218.4A
Other languages
English (en)
Other versions
CN105404471A (zh
Inventor
马桂成
杨松
莫展鹏
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201510745218.4A priority Critical patent/CN105404471B/zh
Publication of CN105404471A publication Critical patent/CN105404471A/zh
Application granted granted Critical
Publication of CN105404471B publication Critical patent/CN105404471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明涉及云存储技术领域，特别是一种分布式云存储高速缓存层实现方法。本发明首先设置和定期迁移分布式云存储内部数据，根据硬盘设备类型，划分缓存层及其等级，设置逻辑单元的迁移个数为Num，为了每个层添加存储对象，根据三个维度计算每层所有辑存储单元的权值，定期从最高层开始访问每一层(除了最底层)：把本层中权值最低的Num个逻辑存储单元集合迁移到下一层，若下一层已经是最底层，则不需要迁移并直接从本层中剔除；然后客户端从分布式云存储缓存层读数据；最后客户端从分布式云存储缓存层上写数据。本发明的方法能够保证读写都基本上在高速缓存层上发生，提高IO读写能力，提高用户的性能体验。本发明解决了云存储的响应能力；可应用于云计算的存储上。

Description

一种分布式云存储高速缓存层实现方法
技术领域
本发明涉及云存储技术领域，特别是一种分布式云存储高速缓存层实现方法。
背景技术
分布式云存储是通过分布式文件系统，把网络中大量类型各异的存储对象整合起来，并对外提供数据存储和业务访问服务。然而分布式文件系统中在整合的过程中面临存储设备的IO处理能力参差不齐的问题，带来以下问题：
一是分布式云存储IO处理快慢受限于IO处理能力较低的存储对象
二是购买大量类似SSD高速的硬盘来部署分布式云存储来提供IO处理能力，不但成本高昂，而且性价比很高的SATA低速IO存储设备就无用武之地
三是购买小量类似SSD高速的硬盘来部署分布式云存储来，IO处理性能不会有较大改善
为了以较少的成本投入来提高云存储的响应能力，即能提高用户操作分布式存储的响应速度，需要由一种分布式云存储高速缓存层方法，把频繁读写的数据IO请求集中在由SSD存储对象组成的高速缓存层，把用户很少用到的数据放在由性价比高的SATA存储对象组成的最底层上。
发明内容
本发明解决的技术问题在于提供一种分布式云存储高速缓存层实现方法，解决了分布式云存储IO处理快慢受限于IO处理能力较低的存储对象、以高成本购买大量类似SSD高速的硬盘才能提高分布式云存储IO处理能力等问题。
本发明解决上述技术问题的技术方案是：
所述的方法包括如下步骤：
步骤一：设置和定期迁移分布式云存储内部数据；
步骤二：客户端从分布式云存储缓存层读数据；
步骤三:客户端从分布式云存储缓存层上写数据；
所述的步骤一具体包括如下步骤：
步骤11：根据硬盘设备类型，划分缓存层及其等级；
步骤12：设置逻辑单元的迁移个数为Num；
步骤13：为了每个层添加存储对象；
步骤14：根据三个维度计算每层所有逻辑存储单元的权值；
步骤15：访问最高层开始，访问除最底层外的每一层，把本层中权值最低的Num个逻辑存储单元集合迁移到下一层，若下一层已经是最底层，则不需要迁移并直接从本层中剔除；
所述的三个维度，是指最近查询命中次数、最近查询时间和最近写入时间；
所述的步骤二具体包括如下步骤：
步骤21：客户端读数据，i＝最高层；
步骤22：查询第i层是否存在数据,若存在执行步骤23，若不存在，执行步骤24；
步骤23：读取数据并返回给客户端；
步骤24：i＝i-1，即再往下一层；
步骤25：若i是最底层，则执行步骤26，i不是最底层，则执行步骤27；
步骤26：数据复制到最高层，执行步骤29；
步骤27：若i是最高层，则执行步骤8；则i不是最高层，执行步骤29；
步骤28：数据迁移到最高层；
步骤29：完成；
所述的步骤三具体包括如下步骤：
步骤31：客户端写数据；
步骤32：客户端数据写入最高速缓存层，并返回结果；
步骤33：是否存在最底层，即最高层和最底层不是同一层，若是则步骤35，若否则执行步骤34；
步骤34：客户端数据写入最底层；
步骤35：完成。
本发明通过分布式云存储高速缓存层方法，以较少的成本投入来提高云存储的响应能力，即能提高用户操作分布式存储的响应速度，把频繁读写的数据IO请求集中在由SSD存储对象组成的高速缓存层，把用户很少用到的数据放在由性价比高的SATA存储对象组成的最底层上。本发明可以根据设备类型，根据存储对象的类型(SSD、SAS、SATA或其他)划分二层、三层甚至更高缓存层，利用SSD存储对象高效IO处理能力，利用SATA存储对象极高性价比的性质，把参差不齐存储对象统一管理起来，以提升云存储IO处理能力，增强用户体验。
附图说明
下面结合附图对本发明进一步说明：
图1为主流程图；
图2为本发明定期刷新数据流程图；
图3为本发明读数据流程图；
图4为本发明写数据流程图；
图5为本发明分层结构图。
具体实施方式
见附图1-5所示；本发明的实施方式有多种，这里以桌面云平台为例说明其中一种实现方法，具体实施过程如下：
1、根据硬盘设备类型，划分缓存层及其等级；
2、设置逻辑单元的迁移个数为Num
3、为了每个层添加存储对象
4、根据三个维度计算每层所有辑存储单元的权值
5、数据迁移策略：访问最高层开始，访问每一层(除了最底层)：把本层中权值最低的Num个逻辑存储单元集合迁移到下一层，若下一层已经是最底层，则不需要迁移并直接从本层中剔除。
6、客户端读数据
7、客户端写数据
向高速缓存池读写数据时，先找到具体的缓存层对象，然后通过该缓存层读写数据。
前述最高层是IO处理能力最强，而第二高层IO处理能力次之，如果类推，最底层是IO处理能力最弱。

Claims (1)

1.一种分布式云存储高速缓存层实现方法，其特征在于：所述的方法包括如下步骤：
步骤一：设置和定期迁移分布式云存储内部数据；
步骤二：客户端从分布式云存储缓存层读数据；
步骤三:客户端从分布式云存储缓存层上写数据；
所述的步骤一具体包括如下步骤：
步骤11：根据硬盘设备类型，划分缓存层及其等级；
步骤12：设置逻辑单元的迁移个数为Num；
步骤13：为了每个层添加存储对象；
步骤14：根据三个维度计算每层所有逻辑存储单元的权值；
步骤15：访问最高层开始，访问除最底层外的每一层，把本层中权值最低的Num个逻辑存储单元集合迁移到下一层，若下一层已经是最底层，则不需要迁移并直接从本层中剔除；
所述的三个维度，是指最近查询命中次数、最近查询时间和最近写入时间；
所述的步骤二具体包括如下步骤：
步骤21：客户端读数据，i＝最高层；
步骤22：查询第i层是否存在数据,若存在执行步骤23，若不存在，执行步骤24；
步骤23：读取数据并返回给客户端；
步骤24：i＝i-1，即再往下一层；
步骤25：若i是最底层，则执行步骤26，i不是最底层，则执行步骤27；
步骤26：数据复制到最高层，执行步骤29；
步骤27：若i是最高层，则执行步骤8；则i不是最高层，执行步骤29；
步骤28：数据迁移到最高层；
步骤29：完成；
所述的步骤三具体包括如下步骤：
步骤31：客户端写数据；
步骤32：客户端数据写入最高速缓存层，并返回结果；
步骤33：是否存在最底层，即最高层和最底层不是同一层，若是则步骤35，若否则执行步骤34；
步骤34：客户端数据写入最底层；
步骤35：完成。
CN201510745218.4A 2015-11-03 2015-11-03 一种分布式云存储高速缓存层实现方法 Active CN105404471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510745218.4A CN105404471B (zh) 2015-11-03 2015-11-03 一种分布式云存储高速缓存层实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510745218.4A CN105404471B (zh) 2015-11-03 2015-11-03 一种分布式云存储高速缓存层实现方法

Publications (2)

Publication Number Publication Date
CN105404471A CN105404471A (zh) 2016-03-16
CN105404471B true CN105404471B (zh) 2018-06-12

Family

ID=55469979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510745218.4A Active CN105404471B (zh) 2015-11-03 2015-11-03 一种分布式云存储高速缓存层实现方法

Country Status (1)

Country Link
CN (1) CN105404471B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106406766A (zh) * 2016-09-23 2017-02-15 郑州云海信息技术有限公司 一种数据存储方法及装置
CN110134334A (zh) * 2019-05-09 2019-08-16 深圳前海达闼云端智能科技有限公司 数据存储方法、数据存储设备、电子设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491185A (zh) * 2013-09-25 2014-01-01 浙江大学 一种基于影像块组织的遥感数据云存储方法
CN104484130A (zh) * 2014-12-04 2015-04-01 北京同有飞骥科技股份有限公司 一种横向扩展存储系统的构建方法
CN104598495A (zh) * 2013-10-31 2015-05-06 南京中兴新软件有限责任公司 基于分布式文件系统的分级存储方法及系统
CN104636076A (zh) * 2013-11-15 2015-05-20 中国电信股份有限公司 一种用于云存储的分布式块设备驱动方法和系统
CN104932956A (zh) * 2015-06-19 2015-09-23 华南理工大学 一种面向大数据的云容灾备份方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10200493B2 (en) * 2011-10-17 2019-02-05 Microsoft Technology Licensing, Llc High-density multi-tenant distributed cache as a service

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491185A (zh) * 2013-09-25 2014-01-01 浙江大学 一种基于影像块组织的遥感数据云存储方法
CN104598495A (zh) * 2013-10-31 2015-05-06 南京中兴新软件有限责任公司 基于分布式文件系统的分级存储方法及系统
CN104636076A (zh) * 2013-11-15 2015-05-20 中国电信股份有限公司 一种用于云存储的分布式块设备驱动方法和系统
CN104484130A (zh) * 2014-12-04 2015-04-01 北京同有飞骥科技股份有限公司 一种横向扩展存储系统的构建方法
CN104932956A (zh) * 2015-06-19 2015-09-23 华南理工大学 一种面向大数据的云容灾备份方法

Also Published As

Publication number Publication date
CN105404471A (zh) 2016-03-16

Similar Documents

Publication Publication Date Title
US9229653B2 (en) Write spike performance enhancement in hybrid storage systems
US9311252B2 (en) Hierarchical storage for LSM-based NoSQL stores
Kim et al. Fast, energy efficient scan inside flash memory SSDs
US10372371B2 (en) Dynamic data relocation using cloud based ranks
KR20170133247A (ko) 어드레스 기반의 멀티-스트림 스토리지 장치 액세스
US20180107601A1 (en) Cache architecture and algorithms for hybrid object storage devices
US20150081967A1 (en) Management of storage read requests
US20160188217A1 (en) Method for data placement in a memory based file system
Lee et al. ActiveSort: Efficient external sorting using active SSDs in the MapReduce framework
CN104536903A (zh) 一种按数据属性分类存放的混合存储方法及系统
Son et al. An empirical evaluation and analysis of the performance of NVM express solid state drive
Son et al. Optimizing file systems for fast storage devices
Bhimani et al. FIOS: Feature based I/O stream identification for improving endurance of multi-stream SSDs
US20120254532A1 (en) Method and apparatus to allocate area to virtual volume
CN105404471B (zh) 一种分布式云存储高速缓存层实现方法
Ma et al. Alleviating hot data write back effect for shingled magnetic recording storage systems
Roberts Efficient Data Center Architectures Using Non-Volatile Memory and Reliability Techniques
CN114489475A (zh) 分布式存储系统及其数据存储方法
CN102609486A (zh) 一种Linux文件系统的数据读写加速方法
CN106055280B (zh) 一种元数据回写方法和电子设备
US11010091B2 (en) Multi-tier storage
CN104598166B (zh) 系统管理方法和装置
CN103399783A (zh) 虚拟机的镜像文件的存储方法和装置
US20120054407A1 (en) Method and apparatus to manage object-based tiers
Borba et al. Stochastic modeling for performance and availability evaluation of hybrid storage systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 523808 19th Floor, Cloud Computing Center, Chinese Academy of Sciences, No. 1 Kehui Road, Songshan Lake Hi-tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee after: G-Cloud Technology Co., Ltd.

Address before: 523808 No. 14 Building, Songke Garden, Songshan Lake Science and Technology Industrial Park, Dongguan City, Guangdong Province

Patentee before: G-Cloud Technology Co., Ltd.

CP02 Change in the address of a patent holder