CN105404471A - 一种分布式云存储高速缓存层实现方法 - Google Patents

一种分布式云存储高速缓存层实现方法 Download PDF

Info

Publication number
CN105404471A
CN105404471A CN201510745218.4A CN201510745218A CN105404471A CN 105404471 A CN105404471 A CN 105404471A CN 201510745218 A CN201510745218 A CN 201510745218A CN 105404471 A CN105404471 A CN 105404471A
Authority
CN
China
Prior art keywords
layer
data
client
distributed cloud
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510745218.4A
Other languages
English (en)
Other versions
CN105404471B (zh
Inventor
马桂成
杨松
莫展鹏
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
G Cloud Technology Co Ltd
Original Assignee
G Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by G Cloud Technology Co Ltd filed Critical G Cloud Technology Co Ltd
Priority to CN201510745218.4A priority Critical patent/CN105404471B/zh
Publication of CN105404471A publication Critical patent/CN105404471A/zh
Application granted granted Critical
Publication of CN105404471B publication Critical patent/CN105404471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明涉及云存储技术领域，特别是一种分布式云存储高速缓存层实现方法。本发明首先设置和定期迁移分布式云存储内部数据，根据硬盘设备类型，划分缓存层及其等级，设置逻辑单元的迁移个数为Num，为了每个层添加存储对象，根据三个维度计算每层所有辑存储单元的权值，定期从最高层开始访问每一层(除了最底层)：把本层中权值最低的Num个逻辑存储单元集合迁移到下一层，若下一层已经是最底层，则不需要迁移并直接从本层中剔除；然后客户端从分布式云存储缓存层读数据；最后客户端从分布式云存储缓存层上写数据。本发明的方法能够保证读写都基本上在高速缓存层上发生，提高IO读写能力，提高用户的性能体验。本发明解决了云存储的响应能力；可应用于云计算的存储上。

Description

一种分布式云存储高速缓存层实现方法
技术领域
本发明涉及云存储技术领域，特别是一种分布式云存储高速缓存层实现方法。
背景技术
分布式云存储是通过分布式文件系统，把网络中大量类型各异的存储对象整合起来，并对外提供数据存储和业务访问服务。然而分布式文件系统中在整合的过程中面临存储设备的IO处理能力参差不齐的问题，带来以下问题：
一是分布式云存储IO处理快慢受限于IO处理能力较低的存储对象
二是购买大量类似SSD高速的硬盘来部署分布式云存储来提供IO处理能力，不但成本高昂，而且性价比很高的SATA低速IO存储设备就无用武之地
三是购买小量类似SSD高速的硬盘来部署分布式云存储来，IO处理性能不会有较大改善
为了以较少的成本投入来提高云存储的响应能力，即能提高用户操作分布式存储的响应速度，需要由一种分布式云存储高速缓存层方法，把频繁读写的数据IO请求集中在由SSD存储对象组成的高速缓存层，把用户很少用到的数据放在由性价比高的SATA存储对象组成的最底层上。
发明内容
本发明解决的技术问题在于提供一种分布式云存储高速缓存层实现方法，解决了分布式云存储IO处理快慢受限于IO处理能力较低的存储对象、以高成本购买大量类似SSD高速的硬盘才能提高分布式云存储IO处理能力等问题。
本发明解决上述技术问题的技术方案是：
所述的方法包括如下步骤：
步骤一：设置和定期迁移分布式云存储内部数据；
步骤二：客户端从分布式云存储缓存层读数据；
步骤三:客户端从分布式云存储缓存层上写数据；
所述的步骤一具体包括如下步骤：
步骤1：根据硬盘设备类型，划分缓存层及其等级；
步骤2：设置逻辑单元的迁移个数为Num；
步骤3：为了每个层添加存储对象；
步骤4：根据三个维度(最近查询命中次数、最近查询时间和最近写入时间)计算每层所有辑存储单元的权值；
步骤5：访问最高层开始，访问除最底层外的每一层，把本层中权值最低的Num个逻辑存储单元集合迁移到下一层，若下一层已经是最底层，则不需要迁移并直接从本层中剔除；
所述的步骤二具体包括如下步骤：
步骤1：客户端读数据，i＝最高层；
步骤2：查询第i层是否存在数据,若存在执行步骤3，若不存在，执行步骤4；
步骤3：读取数据并返回给客户端；
步骤4：i＝i-1(再往下一层)；
步骤5：若i是最底层，则执行步骤6，i不是最底层，则执行步骤7；
步骤6：数据复制到最高层，执行步骤9；
步骤7：若i是最高层，则执行步骤8；则i不是最高层，执行步骤9；
步骤8：数据迁移到最高层；
步骤9：完成；
所述的步骤三具体包括如下步骤：
步骤1：客户端写数据；
步骤2：客户端数据写入最高速缓存层，并返回结果；
步骤3：是否存在最底层，即最高层和最底层不是同一层，若是则步骤5，若否则执行步骤4；
步骤4：客户端数据写入最底层；
步骤5：完成。
本发明通过分布式云存储高速缓存层方法，以较少的成本投入来提高云存储的响应能力，即能提高用户操作分布式存储的响应速度，把频繁读写的数据IO请求集中在由SSD存储对象组成的高速缓存层，把用户很少用到的数据放在由性价比高的SATA存储对象组成的最底层上。本发明可以根据设备类型，根据存储对象的类型(SSD、SAS、SATA或其他)划分二层、三层甚至更高缓存层，利用SSD存储对象高效IO处理能力，利用SATA存储对象极高性价比的性质，把参差不齐存储对象统一管理起来，以提升云存储IO处理能力，增强用户体验。
附图说明
下面结合附图对本发明进一步说明：
图1为主流程图；
图2为本发明定期刷新数据流程图；
图3为本发明读数据流程图；
图4为本发明写数据流程图；
图5为本发明分层结构图。
具体实施方式
见附图1-5所示；本发明的实施方式有多种，这里以桌面云平台为例说明其中一种实现方法，具体实施过程如下：
1、根据硬盘设备类型，划分缓存层及其等级；
2、设置逻辑单元的迁移个数为Num
3、为了每个层添加存储对象
4、根据三个维度计算每层所有辑存储单元的权值
5、数据迁移策略：访问最高层开始，访问每一层(除了最底层)：把本层中权值最低的Num个逻辑存储单元集合迁移到下一层，若下一层已经是最底层，则不需要迁移并直接从本层中剔除。
6、客户端读数据
7、客户端写数据
向高速缓存池读写数据时，先找到具体的缓存层对象，然后通过该缓存层读写数据。
前述最高层是IO处理能力最强，而第二高层IO处理能力次之，如果类推，最底层是IO处理能力最弱。

Claims (1)

1.一种分布式云存储高速缓存层实现方法，其特征在于：所述的方法包括如下步骤：
步骤一：设置和定期迁移分布式云存储内部数据；
步骤二：客户端从分布式云存储缓存层读数据；
步骤三：客户端从分布式云存储缓存层上写数据；
所述的步骤一具体包括如下步骤：
步骤1：根据硬盘设备类型，划分缓存层及其等级；
步骤2：设置逻辑单元的迁移个数为Num；
步骤3：为了每个层添加存储对象；
步骤4：根据三个维度计算每层所有辑存储单元的权值；
步骤5：访问最高层开始，访问除最底层外的每一层，把本层中权值最低的Num个逻辑存储单元集合迁移到下一层，若下一层已经是最底层，则不需要迁移并直接从本层中剔除；
所述的步骤二具体包括如下步骤：
步骤1：客户端读数据，i＝最高层；
步骤2：查询第i层是否存在数据，若存在执行步骤3，若不存在，执行步骤4；
步骤3：读取数据并返回给客户端；
步骤4：i＝i-1(再往下一层)；
步骤5：若i是最底层，则执行步骤6，i不是最底层，则执行步骤7；
步骤6：数据复制到最高层，执行步骤9；
步骤7：若i是最高层，则执行步骤8；则i不是最高层，执行步骤9；
步骤8：数据迁移到最高层；
步骤9：完成；
所述的步骤三具体包括如下步骤：
步骤1：客户端写数据；
步骤2：客户端数据写入最高速缓存层，并返回结果；
步骤3：是否存在最底层，即最高层和最底层不是同一层，若是则步骤5，若否则执行步骤4；
步骤4：客户端数据写入最底层；
步骤5：完成。
CN201510745218.4A 2015-11-03 2015-11-03 一种分布式云存储高速缓存层实现方法 Active CN105404471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510745218.4A CN105404471B (zh) 2015-11-03 2015-11-03 一种分布式云存储高速缓存层实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510745218.4A CN105404471B (zh) 2015-11-03 2015-11-03 一种分布式云存储高速缓存层实现方法

Publications (2)

Publication Number Publication Date
CN105404471A true CN105404471A (zh) 2016-03-16
CN105404471B CN105404471B (zh) 2018-06-12

Family

ID=55469979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510745218.4A Active CN105404471B (zh) 2015-11-03 2015-11-03 一种分布式云存储高速缓存层实现方法

Country Status (1)

Country Link
CN (1) CN105404471B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106406766A (zh) * 2016-09-23 2017-02-15 郑州云海信息技术有限公司 一种数据存储方法及装置
CN110134334A (zh) * 2019-05-09 2019-08-16 深圳前海达闼云端智能科技有限公司 数据存储方法、数据存储设备、电子设备和可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130097680A1 (en) * 2011-10-17 2013-04-18 Microsoft Corporation High-density multi-tenant distributed cache as a service
CN103491185A (zh) * 2013-09-25 2014-01-01 浙江大学 一种基于影像块组织的遥感数据云存储方法
CN104484130A (zh) * 2014-12-04 2015-04-01 北京同有飞骥科技股份有限公司 一种横向扩展存储系统的构建方法
CN104598495A (zh) * 2013-10-31 2015-05-06 南京中兴新软件有限责任公司 基于分布式文件系统的分级存储方法及系统
CN104636076A (zh) * 2013-11-15 2015-05-20 中国电信股份有限公司 一种用于云存储的分布式块设备驱动方法和系统
CN104932956A (zh) * 2015-06-19 2015-09-23 华南理工大学 一种面向大数据的云容灾备份方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130097680A1 (en) * 2011-10-17 2013-04-18 Microsoft Corporation High-density multi-tenant distributed cache as a service
CN103491185A (zh) * 2013-09-25 2014-01-01 浙江大学 一种基于影像块组织的遥感数据云存储方法
CN104598495A (zh) * 2013-10-31 2015-05-06 南京中兴新软件有限责任公司 基于分布式文件系统的分级存储方法及系统
CN104636076A (zh) * 2013-11-15 2015-05-20 中国电信股份有限公司 一种用于云存储的分布式块设备驱动方法和系统
CN104484130A (zh) * 2014-12-04 2015-04-01 北京同有飞骥科技股份有限公司 一种横向扩展存储系统的构建方法
CN104932956A (zh) * 2015-06-19 2015-09-23 华南理工大学 一种面向大数据的云容灾备份方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106406766A (zh) * 2016-09-23 2017-02-15 郑州云海信息技术有限公司 一种数据存储方法及装置
CN110134334A (zh) * 2019-05-09 2019-08-16 深圳前海达闼云端智能科技有限公司 数据存储方法、数据存储设备、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN105404471B (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
US9229653B2 (en) Write spike performance enhancement in hybrid storage systems
US9311252B2 (en) Hierarchical storage for LSM-based NoSQL stores
Kim et al. Fast, energy efficient scan inside flash memory SSDs
CN102012791B (zh) 基于Flash的数据存储PCIE板卡
CN110858124B (zh) 数据迁移方法及装置
US9959054B1 (en) Log cleaning and tiering in a log-based data storage system
CN109164975A (zh) 一种将数据写入固态硬盘的方法以及固态硬盘
CN104054071A (zh) 访问存储设备的方法和存储设备
CN102637147A (zh) 利用固态硬盘作为计算机写缓存的存储系统以及相应的管理调度方法
US10929066B1 (en) User stream aware file systems with user stream detection
CN105446665A (zh) 一种计算机存储加速系统及其优化方法
CN103916459A (zh) 一种大数据归档存储系统
US20200341684A1 (en) Managing a raid group that uses storage devices of different types that provide different data storage characteristics
CN203930810U (zh) 一种基于多维数据相似性的混合存储系统
CN105404471A (zh) 一种分布式云存储高速缓存层实现方法
CN105988720A (zh) 数据存储装置和方法
Fevgas et al. A study of R-Tree performance in hybrid flash/3DXPoint storage
CN104598166B (zh) 系统管理方法和装置
Micheloni et al. Hybrid storage
Kim et al. IPL-P: In-page logging with PCRAM
US11861222B2 (en) Object management in tiered memory systems
US20220365705A1 (en) Object management in tiered memory systems
Deng Exploiting the performance gains of modern disk drives by enhancing data locality
Micheloni et al. Hybrid storage systems
Xu et al. FvRS: Efficiently identifying performance-critical data for improving performance of big data processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 523808 19th Floor, Cloud Computing Center, Chinese Academy of Sciences, No. 1 Kehui Road, Songshan Lake Hi-tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee after: G-Cloud Technology Co., Ltd.

Address before: 523808 No. 14 Building, Songke Garden, Songshan Lake Science and Technology Industrial Park, Dongguan City, Guangdong Province

Patentee before: G-Cloud Technology Co., Ltd.

CP02 Change in the address of a patent holder