CN107566405B - 一种快速访问和拷贝的存储资源池化方法 - Google Patents
一种快速访问和拷贝的存储资源池化方法 Download PDFInfo
- Publication number
- CN107566405B CN107566405B CN201710973401.9A CN201710973401A CN107566405B CN 107566405 B CN107566405 B CN 107566405B CN 201710973401 A CN201710973401 A CN 201710973401A CN 107566405 B CN107566405 B CN 107566405B
- Authority
- CN
- China
- Prior art keywords
- storage
- pool
- storage pool
- access
- copy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种快速访问和拷贝的资源池化方法,旨在解决现有技术中没有对存储过程进行深加工而造成读取存储速度慢、物理空间浪费、安全性弱的问题;本申请通过建立临时目录对存储单元的链接进行管理,避免了同一个文件重复占用多个用户的存储的问题,减少了存储资源的重复占用的情况,增加了用户的访问速度,本申请将资源特性与物理存储的链接功能结合起来,对物理存储进行逻辑封装,存储过程是经过编译的,加快了访问与拷贝的执行速度,整个过程在用户几乎察觉不到的秒级范围之内完成;本申请适用于资源管理相关领域。
Description
技术领域
本发明涉及资源管理方法相关领域,具体涉及一种快速访问和拷贝的存储资源池化方法。
背景技术
目前很多存储池化方法只是利用存储服务器自身功能来组成一个存储资源池,基于真实素材文件的访问与拷贝来提供媒体素材文件的共享,并没有对存储过程进行深加工,从而在传输和存储时间上没有多大改善。这样的存储资源池化方法存在以下三个不足:
(1)速度慢:现有媒体素材文件的访问与拷贝是基于物理存储的实际目录,如同在硬盘中进行拷贝文件,当遇到媒体素材文件非常大时,访问的加载速度和拷贝的执行速度非常慢。
(2)浪费物理空间:现有媒体素材的文件拷贝是将文件真实拷贝到自己的物理存储空间,多个用户拷贝同一个素材文件分别占用这多个用户的物理空间,即同一个文件重复占用存储,造成物理空间的浪费。
(3)安全性弱:执行拷贝的用户需要进入被拷贝用户的存储目录,访问真实的源文件并进行拷贝,素材的源文件信息无法得到安全保障。
发明内容
本发明的目的在于:针对现有技术中没有对存储过程进行深加工而造成读取存储速度慢、物理空间浪费、安全性弱的问题,本发明提供了一种快速访问和拷贝的存储资源池化方法。
本发明采用的技术方案如下:
本申请提供了一种快速访问和拷贝的存储资源池化方法,包括以下步骤:
步骤1:将物理存储进行逻辑封装,在存储层生成直接与业务层用户关联的存储池,使得存储物理层和业务逻辑层上实现用户和目录的一对一绑定,I/O控制依然是存储层保证,不破坏存储本身的I/O特性;
可选地,所述步骤1中的物理存储采用网络附属存储或对象存储;
具体地,所述步骤1的具体步骤为:
物理存储采用网络附属存储,资源池化对物理存储进行逻辑封装,在存储层生成直接与业务层用户关联的存储池,所述存储池由一个或多个物理路径构成,所述存储池分为独占存储池和共享存储池,独占存储池绑定唯一的用户,共享存储池绑定多个用户,每个用户访问自己的对应存储池或有权限的共享区存储池;
具体地,存储采用对象存储,资源池化对物理存储进行逻辑封装,在存储层生成直接与业务层用户关联的存储池,所述存储池由一个或多个逻辑路径(Bucket或Bucket下的逻辑目录)构成,所述存储池分为独占存储池和共享存储池,独占存储池绑定唯一的用户,共享存储池绑定多个用户,每个用户访问自己的对应存储池或有权限的共享区存储池;
步骤2:将存储池划分多个存储单元,每个存储单元和目录是对应关系;
具体地,每个存储单元设定有访问容量;
步骤3:创建每个存储单元对应的临时目录,临时目录用于管理临时访问存储单元的链接;
其中应当说明的是NAS存储下的临时目录记录的是硬链接,而OSS存储下记录的是临时授权访问链接;
步骤4:用户基于步骤3中的链接完成对应的存储单元的快速访问和拷贝及分享。
具体地,所述网络附属存储的存储单元和物理目录是对应的独占关系,所述网络附属存储中的步骤3中链接采用硬链接,所述步骤4中采用的是硬链接完成对应的存储单元的快速访问和拷贝及分享。
具体地,所述对象存储的存储单元对应的是逻辑目录,所述对象存储步骤3中的链接采用的临时授权访问链接,所述步骤4中采用的临时授权访问链接完成对应的存储单元的快速访问和拷贝及分享;
具体地,存储池支持该存储所支撑的访问形式,通过Pool封装操作控制,开启或关闭这些访问形式;如NAS支持UNC(CIFS/NFS)、FTP、HTTP形式的访问;如OSS支持UNC(CIFS/NFS)、HTTP形式的访问。
本申请还提供了一种链接的临时管理方法,包括以下步骤:
步骤1:创建存储单元,存储单元和目录是对应关系;
步骤2:创建临时目录,用于管理临时访问存储单元的链接;
其中应当说明的是网络附属存储简写为NAS,对象存储简写为OSS,HardLink即代表NAS存储下的硬链接。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
1.本申请通过建立临时目录对存储单元的链接进行管理,避免了同一个文件重复占用多个用户的存储的问题,减少了存储资源的重复占用情况,增加了用户的访问速度;
2.本申请将媒体业务共享使用素材的特性与物理存储的HardLink功能结合起来,对存储进行逻辑封装,存储过程是经过编译的,加快了访问与拷贝的执行速度,整个过程在用户几乎察觉不到的秒级范围之内完成;
3.本申请通过连接(硬链接或临时授权访问链接)实现业务用户之间对媒体素材的拷贝,执行拷贝的用户的物理空间并未被文件占用,只是统计个人的空间用量增加,因此节约了物理空间;
4.本申请执行拷贝的用户没有进入被拷贝的用户的存储目录,是将文件链接转移到正式空间,并不是执行文件的真实拷贝,因此保障了素材源文件的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。附图重点在于示出本发明的主旨。
图1是本发明逻辑封装的架构示意图;
图2是本发明逻辑对象关系示意图;
图3是存储单元的示意图;
图4是存储素材快速访问和拷贝流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供了一种快速访问和拷贝的存储资源池化方法,具体说明:
空间管理程序实现Pool资源池化,Pool是对物理存储的逻辑封装,是直接与用户关联的空间管理对象,由一个或多个物理路径或一个或多个逻辑路径构成,,同一个Pool内的素材或资源引用,不重复计算空间占用,Pool间的素材或资源引用,只能是物理复制,Pool可绑定多个用户,实现用户的文件访问控制,具体可参照图1;
Pool分为独占Pool和共享Pool,独占Pool只能绑定唯一的用户,共享Pool可以绑定多个用户,每个用户访问自己的工作区Pool或有权限的共享区Pool;
在空间管理程序中进行空间划分和用户授权,未授权用户不能访问其他Pool中的任何文件;
访问控制模块对用户操作物理存储进行实时读写授权空间控制,授权用户在Pool达到配额后驱动会主动切断该操作系统对文件任何I/O;
用户可以将该Pool中的文件“分享”至其他Pool,此时Pool管理层会自动调用HardLink或授权签名链接使得共享文件可以被其他用户使用,此时该共享文件在用户看来是一个“真实”文件,但其实只是一个文件指针,因此并没有占用物理空间,分享的过程也是秒级(同一卷内);并且这些访问的地址,可以分散独立授权,使得只有特定权限的人才能访问、删除,且删除不影响原始文件;
Pool是用户和Unit的关系桥梁结构,它关联多个Unit,每个Unit需要在总空间的容量下进行“格式化”,并且设定访问容量,一个或多个用户,通过唯一的Pool共享一组Unit。某个或某组用户,最终的逻辑空间交互身份是Pool,具体可参照图2;
空间管理可按Pool管理/划分多个存储体容量,可以Unit的方式将物理存储动态增加至Pool/扩充Pool总空间,支持网络盘,Pool的总容量是Unit的容量总和,空间使用量以Pool为单位进行统计;
对于NAS存储,Unit和物理目录是一对一独占关系,每个Unit在初始化的时候,只能取得当前存储(或盘)的剩余物理容量;
每一个Unit,必须对应的是存储单元所指定的根路径下的一个不可重复且不是包含关系的物理目录(NAS)或逻辑目录(OSS);
对于NAS存储,利用支持HardLink,精加工编译存储过程完成文件的快速访问与拷贝、自动调用HardLink指向源文件的信息节点提供文件的秒级共享等功能;
对于OSS存储,利用临时授权访问链接完成文件的快速访问与拷贝;
基于HardLink“只占用协议层统计空间,不占用实际存储空间”这一原则,对Unit做默认规划:创建一个实际Unit,控制用户访问、空间、容量;创建一个临时目录temp,用于管理临时访问HardLink,具体的Unit示意图可参照图3;
实施例一
本实施例提供了一种快速访问和拷贝的存储资源池化方法,具体流程如下:
流程说明:
第一步:用户A共享素材Clip-1;
第二步:用户B查询到素材Clip-1;
第三步:用户B预览素材Clip-1;
第四步:生成用户B私有的素材引用temp-Clip-1;
第五步:HardLink文件到用户B的Pool中的临时目录temp002,用于预览,物理空间无变化;
第六步:用户B拷贝使用素材Clip-1;
第七步:将素材Clip-1进行完全复制;
第八步:素材引用temp-Clip-1删除;
第九步:所有文件HardLink转移到用户B的Pool中的正式空间Unit002,物理空间无变化,个人空间用量增加。
其中应当说明的是,英文对应中文如下:
User:用户
Pool:存储池
Code:存储池标识
Name:存储池名称
TypeDef:类型描述
State:状态
PoolUnits:存储池单元
Unit:存储单元
Code:存储单元标识
Name:存储单元名称
Capacity:容量
CurrentCapacity:已用容量
CurrentLogicCapacity:逻辑引用容量
Buffersize:缓冲区大小
UNCMountDef:UNC访问方式描述
MountName:挂载目录名称
ReadonlyUser:只读用户
AccessPath:访问路径
FTPMountDef:FTP访问方式描述
ReadonlyUser:只读用户
AccessPath:访问路径
OSSMountDef:OSS访问方式描述
ReadonlyUser:只读用户
AccessPath:访问路径
StoragePath:存储路径
AccessRule:访问规则
OSSAccess:OSS访问
FTPAccess:FTP访问
ArchivePolicy:归档策略
PolicyName:策略名称
LifetimeSetting:生命周期设置
NearlineAccessInfo:近线访问信息
FileRecord:文件记录
PoolCode:存储池标识
UnitCode:存储单元标识
Status:状态
FilePath:文件路径
FileSize:文件大小
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何属于本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种快速访问和拷贝的存储资源池化方法,其特征在于,包括以下步骤:
步骤1:将物理存储进行逻辑封装,在存储层生成直接与业务层用户关联的存储池;
步骤2:将存储池划分多个存储单元,每个存储单元和目录是对应关系;
步骤3:创建每个存储单元对应的临时目录,临时目录用于管理临时访问存储单元的链接;
步骤4:用户基于步骤3中的链接完成对应的存储单元的快速访问和拷贝及分享;
所述步骤1中的物理存储采用网络附属存储或对象存储;
所述网络附属存储的存储单元和物理目录是对应的独占关系,所述网络附属存储中的步骤3中链接采用硬链接,所述步骤4中采用的是硬链接完成对应的存储单元的快速访问和拷贝及分享;
所述对象存储的存储单元对应的是逻辑目录,所述对象存储步骤3中的链接采用的临时授权访问链接,所述步骤4中采用的临时授权访问链接完成对应的存储单元的快速访问和拷贝及分享。
2.如权利要求1所述的一种快速访问和拷贝的存储资源池化方法,其特征在于,所述步骤1的具体步骤为:
资源池化对物理存储进行逻辑封装,在存储层生成直接与业务层用户关联的存储池,所述存储池由一个或多个物理路径构成,所述存储池分为独占存储池和共享存储池,独占存储池绑定唯一的用户,共享存储池绑定多个用户,每个用户访问自己的对应存储池或有权限的共享区存储池。
3.如权利要求1所述的一种快速访问和拷贝的存储资源池化方法,其特征在于,所述步骤1的具体步骤为:
资源池化对物理存储进行逻辑封装,在存储层生成直接与业务层用户关联的存储池,所述存储池由一个或多个逻辑路径构成,所述存储池分为独占存储池和共享存储池,独占存储池绑定唯一的用户,共享存储池绑定多个用户,每个用户访问自己的对应存储池或有权限的共享区存储池。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710973401.9A CN107566405B (zh) | 2017-10-18 | 2017-10-18 | 一种快速访问和拷贝的存储资源池化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710973401.9A CN107566405B (zh) | 2017-10-18 | 2017-10-18 | 一种快速访问和拷贝的存储资源池化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107566405A CN107566405A (zh) | 2018-01-09 |
CN107566405B true CN107566405B (zh) | 2021-07-27 |
Family
ID=60986309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710973401.9A Active CN107566405B (zh) | 2017-10-18 | 2017-10-18 | 一种快速访问和拷贝的存储资源池化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107566405B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109032799A (zh) * | 2018-07-25 | 2018-12-18 | 郑州云海信息技术有限公司 | 存储资源管理方法、装置、设备及可读存储介质 |
CN114640485B (zh) * | 2020-12-01 | 2024-04-09 | 中移(苏州)软件技术有限公司 | 一种服务数据的集中访问方法、装置、设备和存储介质 |
CN113568882A (zh) * | 2021-08-03 | 2021-10-29 | 重庆仓舟网络科技有限公司 | 基于oss的资源分享方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102255962A (zh) * | 2011-07-01 | 2011-11-23 | 成都市华为赛门铁克科技有限公司 | 一种分布式存储方法、装置和系统 |
CN102340533A (zh) * | 2011-06-17 | 2012-02-01 | 中兴通讯股份有限公司 | 多租户系统及多租户系统存取数据的方法 |
CN102385633A (zh) * | 2011-12-13 | 2012-03-21 | 方正国际软件有限公司 | 虚拟存储目录的文件管理系统 |
US9329940B2 (en) * | 2010-01-28 | 2016-05-03 | International Business Machines Corporation | Dispersed storage having a plurality of snapshot paths and methods for use therewith |
CN106209821A (zh) * | 2016-07-07 | 2016-12-07 | 何钟柱 | 基于可信云计算的信息安全大数据管理系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102693164B (zh) * | 2012-05-03 | 2014-09-17 | 中国石油集团川庆钻探工程有限公司地球物理勘探公司 | 防止缓存溢出的设备和方法 |
US9740574B2 (en) * | 2014-05-09 | 2017-08-22 | Commvault Systems, Inc. | Load balancing across multiple data paths |
CN105353985A (zh) * | 2015-11-03 | 2016-02-24 | 国云科技股份有限公司 | 一种提高虚拟机临时文件读取速度的方法 |
-
2017
- 2017-10-18 CN CN201710973401.9A patent/CN107566405B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9329940B2 (en) * | 2010-01-28 | 2016-05-03 | International Business Machines Corporation | Dispersed storage having a plurality of snapshot paths and methods for use therewith |
CN102340533A (zh) * | 2011-06-17 | 2012-02-01 | 中兴通讯股份有限公司 | 多租户系统及多租户系统存取数据的方法 |
CN102255962A (zh) * | 2011-07-01 | 2011-11-23 | 成都市华为赛门铁克科技有限公司 | 一种分布式存储方法、装置和系统 |
CN102385633A (zh) * | 2011-12-13 | 2012-03-21 | 方正国际软件有限公司 | 虚拟存储目录的文件管理系统 |
CN106209821A (zh) * | 2016-07-07 | 2016-12-07 | 何钟柱 | 基于可信云计算的信息安全大数据管理系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107566405A (zh) | 2018-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ebadi et al. | An energy‐aware method for data replication in the cloud environments using a tabu search and particle swarm optimization algorithm | |
US9361034B2 (en) | Transferring storage resources between snapshot storage pools and volume storage pools in a distributed network | |
JP4537022B2 (ja) | データ配置に制限を設けるデータ処理方法、記憶領域制御方法、および、データ処理システム。 | |
KR20110091421A (ko) | QoS 기반 스토리지 계층화 및 이송을 제공하는 방법, 컴퓨터 프로그램 제품 및 스토리지 시스템 | |
US20140052953A1 (en) | Mass storage system and methods of controlling resources thereof | |
CN104205115A (zh) | 使用不同安全擦除算法以从文件擦除与不同安全级别关联的组块 | |
US20160378846A1 (en) | Object based storage cluster with multiple selectable data handling policies | |
JP5798258B2 (ja) | 記憶階層化のためのコンテンツ選択 | |
CN107566405B (zh) | 一种快速访问和拷贝的存储资源池化方法 | |
CN107688753A (zh) | 一种acl权限控制的方法与装置 | |
US20200050583A1 (en) | Storing and retrieving restricted datasets to and from a cloud network with non-restricted datasets | |
US20220215002A1 (en) | Image File Management Method, Apparatus, and System, Computer Device, and Storage Medium | |
US20080077633A1 (en) | Method for policy-based data placement when restoring files from off-line storage | |
US11175846B2 (en) | Data co-location in a hierarchical storage management (HSM) system | |
CN112825023A (zh) | 集群资源管理方法、装置、电子设备和存储介质 | |
CN105159668B (zh) | PaaS系统中的类加载实现方法及装置 | |
WO2015101083A1 (zh) | 一种存储数据的保护方法及装置 | |
CN103209179A (zh) | 一种安全网络存储方法和系统 | |
WO2018107361A1 (zh) | 镜像处理方法以及计算设备 | |
CN116644453A (zh) | 一种文档系统的权限管理方法、装置及设备 | |
CN109558082B (zh) | 分布式文件系统 | |
CN107766001B (zh) | 一种基于用户群组的存储配额方法 | |
US10949393B2 (en) | Object deletion in distributed computing environments | |
CN106095341A (zh) | 对象管理方法和对象管理系统 | |
US20090327635A1 (en) | Data security for use with a file system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |