CN102882928A - 一种云存储系统的分级存储管理方法 - Google Patents

一种云存储系统的分级存储管理方法 Download PDF

Info

Publication number
CN102882928A
CN102882928A CN2012103162719A CN201210316271A CN102882928A CN 102882928 A CN102882928 A CN 102882928A CN 2012103162719 A CN2012103162719 A CN 2012103162719A CN 201210316271 A CN201210316271 A CN 201210316271A CN 102882928 A CN102882928 A CN 102882928A
Authority
CN
China
Prior art keywords
migration
file
client
agent
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012103162719A
Other languages
English (en)
Inventor
张在贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN2012103162719A priority Critical patent/CN102882928A/zh
Publication of CN102882928A publication Critical patent/CN102882928A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种云存储系统的分级存储管理方法，系统包括位于云存储系统端的文件扫描模块、数据迁移模块以及位于客户端的agent模块，分级存储管理步骤如下：1）位于云存储系统端的文件扫描模块用于扫描文件系统中的文件，并基于迁移策略将需要迁移的文件生成迁移列表，迁移策略要根据访问时间、访问热度设置，此外，在有客户端接入时，将迁移列表发送给客户端agent模块；2）位于云存储系统端的数据迁移模块启动数据迁移前会首先通知位于客户端的agent开始数据的迁移，并将文件迁移列表发送给agent之后，根据文件扫描模块给出的迁移列表，将热度低文件由快速存储迁移到低速存储，将热度高的文件由低速存储迁移到高速存储，迁移完成后发送消息通知客户端agent。

Description

一种云存储系统的分级存储管理方法
技术领域
本发明涉及计算机以及网络信息技术领域，具体涉及一种云存储系统的分级存储管理方法。该方法针对不同的云存储系统，提供一种灵活通用的分级存储管理方法以便系统使用混合磁盘搭建，在降低成本的同时满足客户的存储需求，使已有的云存储系统实现在线的分级存储功能。
背景技术
云存储系统，尤其是提供公共云存储的存储系统，需要大量的磁盘来构建。不同磁盘在读写速率、可靠性、容量、价格方面存在着很大的差异，许多云存储系统选择通过分级存储管理系统来兼顾整个系统性能和成本，使构建的大容量存储系统具有较高的性价比。
但是目前只能在现有高端存储系统中看到分级管理的功能，许多现有的硬件平台无法实现分级管理的功能。如果用户想要使用分级管理系统只能使用新的存储系统，或者在目前的硬件平台和存储系统基础上针对性的进行分级管理功能的开发，这些对于一些用户来说显然是不太现实的。
本发明通过在云存储系统端进行迁移策略和迁移进程的管理，进行数据的整理和迁移；在云存储系统的客户端安装agent来管理客户端对云存储系统文件的访问，防止客户端操作云存储系统分级管理进程正在迁移的文件数据，从而保证整个数据迁移过程的数据安全。整个分级存储管理屏蔽不同文件存储系统的差异，基于POSIX提供通用的分级管理功能。
发明内容
本发明的目的是提供一种云存储系统的分级存储管理方法。
本发明的目的是按以下方式实现的，系统包括位于云存储系统端的文件扫描模块、数据迁移模块以及位于客户端的agent模块，分级存储管理步骤如下：
1）位于云存储系统端的文件扫描模块用于扫描文件系统中的文件，并基于迁移策略将需要迁移的文件生成迁移列表，迁移策略要根据访问时间、访问热度设置，此外，在有客户端接入时，将迁移列表发送给客户端agent模块；
2）位于云存储系统端的数据迁移模块启动数据迁移前会首先通知位于客户端的agent开始数据的迁移，并将文件迁移列表发送给agent之后，根据文件扫描模块给出的迁移列表，将热度低文件由快速存储迁移到低速存储，将热度高的文件由低速存储迁移到高速存储，迁移完成后发送消息通知客户端agent；
3）位于客户端的agent在接入系统时会首先在云存储系统端的数据迁移模块中注册，在接收到迁移模块迁移进程启动的消息后，会将迁移列表的文件在客户端层面锁定，迁移结束后解锁文件，在客户端退出系统时，agent会在云存储系统端的数据迁移模块中注销。
本发明的有益效果是：该方法针对已有平台的云存储系统，屏蔽文件存储系统的差异，基于POSIX提供通用的分级管理功能，从而实现旧有云存储系统的分级管理升级。该方法与云存储系统的软件平台无关，适用于云存储系统及普通的集群存储；在不改变软件部署的情况下，可在一定程度上改善云存储系统的系统性能。
附图说明
 图1是客户端Agent的数据操作流程如图；
图2是云存储系统端的数据操作流程图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
该方法包括位于云存储系统端的文件扫描模块、数据迁移模块以及位于客户端的agent模块。
位于云存储系统端的文件扫描模块用于扫描文件系统中的文件，并基于迁移策略将需要迁移的文件生成迁移列表。迁移策略可以根据访问时间、访问热度等策略设置。此外，在有客户端接入时，将迁移列表发送给客户端agent。
位于云存储系统端的数据迁移模块启动数据迁移前会首先通知位于客户端的agent开始数据的迁移，并将文件迁移列表发送给agent，之后根据文件扫描模块给出的迁移列表，将热度低文件由快速存储迁移到低速存储，将热度高的文件由低速存储迁移到高速存储，迁移完成后发送消息通知客户端agent。
位于客户端的agent在接入系统时会首先在云存储系统端的数据迁移模块中注册，在接收到迁移模块迁移进程启动的消息后，会将迁移列表的文件在客户端层面锁定，迁移结束后解锁文件，在客户端退出系统时，agent会在云存储系统端的数据迁移模块中注销。
本发明的方法针对云存储系统，尤其适用于使用分布式锁管理机制的云存储系统，在实现分级存储管理的同时保证数据的完整性和一致性，同时在现有系统基础上升级，降低了云存储系统的升级成本。
 除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种云存储系统的分级存储管理方法，其特征在于系统包括位于云存储系统端的文件扫描模块、数据迁移模块以及位于客户端的agent模块，分级存储管理步骤如下：
1）位于云存储系统端的文件扫描模块用于扫描文件系统中的文件，并基于迁移策略将需要迁移的文件生成迁移列表，迁移策略要根据访问时间、访问热度设置，此外，在有客户端接入时，将迁移列表发送给客户端agent模块；
2）位于云存储系统端的数据迁移模块启动数据迁移前会首先通知位于客户端的agent开始数据的迁移，并将文件迁移列表发送给agent之后，根据文件扫描模块给出的迁移列表，将热度低文件由快速存储迁移到低速存储，将热度高的文件由低速存储迁移到高速存储，迁移完成后发送消息通知客户端agent；
3）位于客户端的agent在接入系统时会首先在云存储系统端的数据迁移模块中注册，在接收到迁移模块迁移进程启动的消息后，会将迁移列表的文件在客户端层面锁定，迁移结束后解锁文件，在客户端退出系统时，agent会在云存储系统端的数据迁移模块中注销。
CN2012103162719A 2012-08-31 2012-08-31 一种云存储系统的分级存储管理方法 Pending CN102882928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012103162719A CN102882928A (zh) 2012-08-31 2012-08-31 一种云存储系统的分级存储管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012103162719A CN102882928A (zh) 2012-08-31 2012-08-31 一种云存储系统的分级存储管理方法

Publications (1)

Publication Number Publication Date
CN102882928A true CN102882928A (zh) 2013-01-16

Family

ID=47484070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012103162719A Pending CN102882928A (zh) 2012-08-31 2012-08-31 一种云存储系统的分级存储管理方法

Country Status (1)

Country Link
CN (1) CN102882928A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014183514A1 (zh) * 2013-11-19 2014-11-20 中兴通讯股份有限公司 一种分级存储方法、装置和计算机存储介质
CN104462240A (zh) * 2014-11-18 2015-03-25 浪潮(北京)电子信息产业有限公司 云存储中实现分级存储管理的方法和系统
CN105721515A (zh) * 2014-12-02 2016-06-29 鸿富锦精密工业（深圳）有限公司 云端代理设备、云盘及档案转移的方法
CN106055272A (zh) * 2016-05-20 2016-10-26 乐视控股（北京）有限公司 存储介质的选择方法与装置
CN107209707A (zh) * 2015-01-30 2017-09-26 微软技术许可有限责任公司 基于云的分级系统保存
CN107291633A (zh) * 2017-07-14 2017-10-24 长沙开雅电子科技有限公司 一种新型集群存储写缓存分级管理方法
CN107346342A (zh) * 2017-07-13 2017-11-14 上海携程商务有限公司 一种基于存储计算的文件调用方法与系统
CN107480073A (zh) * 2017-08-20 2017-12-15 长沙曙通信息科技有限公司 一种存储系统热点数据缓存预读实现方法
CN107704633A (zh) * 2017-11-01 2018-02-16 郑州云海信息技术有限公司 一种文件迁移的方法和系统
CN107807798A (zh) * 2017-11-22 2018-03-16 郑州云海信息技术有限公司 一种分级存储性能优化方法及系统
US10187469B2 (en) 2014-12-02 2019-01-22 Nanning Fugui Precision Industrial Co., Ltd. Cloud agent device, cloud storage and file transferring method
CN111125058A (zh) * 2019-12-06 2020-05-08 浪潮电子信息产业股份有限公司 一种数据迁移方法、装置和系统
CN111400324A (zh) * 2019-11-08 2020-07-10 杭州海康威视系统技术有限公司 一种锁定云存储中对象的方法、装置及服务器
WO2022171000A1 (zh) * 2021-02-09 2022-08-18 山东英信计算机技术有限公司 一种数据迁移方法、系统、设备以及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035884A (zh) * 2010-12-03 2011-04-27 华中科技大学 一种云存储系统及其数据部署方法
WO2012042509A1 (en) * 2010-10-01 2012-04-05 Peter Chacko A distributed virtual storage cloud architecture and a method thereof
CN102497428A (zh) * 2011-12-13 2012-06-13 方正国际软件有限公司 远程存储系统及其进行远程存储的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042509A1 (en) * 2010-10-01 2012-04-05 Peter Chacko A distributed virtual storage cloud architecture and a method thereof
CN102035884A (zh) * 2010-12-03 2011-04-27 华中科技大学 一种云存储系统及其数据部署方法
CN102497428A (zh) * 2011-12-13 2012-06-13 方正国际软件有限公司 远程存储系统及其进行远程存储的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIU H，JIN H，LIAO X，ET A1: ""Live migration of virtual machine based on full system trace and replay"", 《PROCEEDINGS OF THE 18TH INTERNATIONAL SYMPOSIUM ON HIGH PERFORMANCE DISTRIBUTED COMPUTING．GARCHING，GERMANY》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014183514A1 (zh) * 2013-11-19 2014-11-20 中兴通讯股份有限公司 一种分级存储方法、装置和计算机存储介质
CN104462240A (zh) * 2014-11-18 2015-03-25 浪潮(北京)电子信息产业有限公司 云存储中实现分级存储管理的方法和系统
CN105721515B (zh) * 2014-12-02 2019-06-07 鸿富锦精密工业（深圳）有限公司 云端代理设备、云盘及档案转移的方法
CN105721515A (zh) * 2014-12-02 2016-06-29 鸿富锦精密工业（深圳）有限公司 云端代理设备、云盘及档案转移的方法
US10187469B2 (en) 2014-12-02 2019-01-22 Nanning Fugui Precision Industrial Co., Ltd. Cloud agent device, cloud storage and file transferring method
CN107209707A (zh) * 2015-01-30 2017-09-26 微软技术许可有限责任公司 基于云的分级系统保存
CN107209707B (zh) * 2015-01-30 2021-03-09 微软技术许可有限责任公司 基于云的分级系统保存
CN106055272A (zh) * 2016-05-20 2016-10-26 乐视控股（北京）有限公司 存储介质的选择方法与装置
CN107346342A (zh) * 2017-07-13 2017-11-14 上海携程商务有限公司 一种基于存储计算的文件调用方法与系统
CN107291633A (zh) * 2017-07-14 2017-10-24 长沙开雅电子科技有限公司 一种新型集群存储写缓存分级管理方法
CN107480073A (zh) * 2017-08-20 2017-12-15 长沙曙通信息科技有限公司 一种存储系统热点数据缓存预读实现方法
CN107704633A (zh) * 2017-11-01 2018-02-16 郑州云海信息技术有限公司 一种文件迁移的方法和系统
CN107807798A (zh) * 2017-11-22 2018-03-16 郑州云海信息技术有限公司 一种分级存储性能优化方法及系统
CN111400324A (zh) * 2019-11-08 2020-07-10 杭州海康威视系统技术有限公司 一种锁定云存储中对象的方法、装置及服务器
CN111400324B (zh) * 2019-11-08 2023-05-02 杭州海康威视系统技术有限公司 一种锁定云存储中对象的方法、装置及服务器
CN111125058A (zh) * 2019-12-06 2020-05-08 浪潮电子信息产业股份有限公司 一种数据迁移方法、装置和系统
WO2022171000A1 (zh) * 2021-02-09 2022-08-18 山东英信计算机技术有限公司 一种数据迁移方法、系统、设备以及介质

Similar Documents

Publication Publication Date Title
CN102882928A (zh) 一种云存储系统的分级存储管理方法
JP6621543B2 (ja) ハイブリッドアプリケーションの自動更新
AU2015410318B2 (en) Data write method, apparatus, and system
CN102413168B (zh) 呈现同步对象的可用性状态
CN104461685B (zh) 虚拟机处理方法和虚拟计算机系统
CN106446159B (zh) 一种存储文件的方法、第一虚拟机及名称节点
CN102215268A (zh) 一种迁移文件数据的方法和装置
CN103503414A (zh) 一种计算存储融合的集群系统
KR20120004463A (ko) 복제 데이터의 동적 배치
CN102981931A (zh) 虚拟机备份方法及装置
CN103036986A (zh) 在分布式应用对象上提供更新通知
CN103605726A (zh) 一种小文件的存取方法、系统及控制节点和存储节点
CN103401902A (zh) 一种便携式云存储系统及方法
CN105892943A (zh) 一种分布式存储系统中块存储数据的访问方法及系统
CN105190525A (zh) 管理在节电模式中对混合式驱动器的访问
CN103037004A (zh) 云存储系统操作的实现方法和装置
US9847987B2 (en) Data center access and management settings transfer
CN103810444A (zh) 一种云计算平台中多租户应用隔离的方法和系统
CN102143228A (zh) 一种云存储系统、云客户端及实现存储区域网络服务的方法
CN101945131A (zh) 一种基于存储虚拟化的数据迁移方法
CN102609466A (zh) 一种共享内存的控制方法及系统
CN101370027A (zh) 网络存储系统、方法及应用服务器
CN102945208B (zh) 多用户硬盘系统及其实现方法
CN102521114A (zh) 一种虚拟化环境下的文件系统日志存储系统
CN103905517A (zh) 一种数据存储方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130116