CN107566405A - 一种快速访问和拷贝的存储资源池化方法 - Google Patents

一种快速访问和拷贝的存储资源池化方法 Download PDF

Info

Publication number
CN107566405A
CN107566405A CN201710973401.9A CN201710973401A CN107566405A CN 107566405 A CN107566405 A CN 107566405A CN 201710973401 A CN201710973401 A CN 201710973401A CN 107566405 A CN107566405 A CN 107566405A
Authority
CN
China
Prior art keywords
storage pool
pool
memory cell
storage
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710973401.9A
Other languages
English (en)
Other versions
CN107566405B (zh
Inventor
王熙
黎胜
温序铭
张洁
王炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN201710973401.9A priority Critical patent/CN107566405B/zh
Publication of CN107566405A publication Critical patent/CN107566405A/zh
Application granted granted Critical
Publication of CN107566405B publication Critical patent/CN107566405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种快速访问和拷贝的资源池化方法，旨在解决现有技术中没有对存储过程进行深加工而造成读取存储速度慢、物理空间浪费、安全性弱的问题；本申请通过建立临时目录对存储单元的链接进行管理，避免了同一个文件重复占用多个用户的存储的问题，减少了存储资源的重复占用的情况，增加了用户的访问速度，本申请将资源特性与物理存储的链接功能结合起来，对物理存储进行逻辑封装，存储过程是经过编译的，加快了访问与拷贝的执行速度，整个过程在用户几乎察觉不到的秒级范围之内完成；本申请适用于资源管理相关领域。

Description

一种快速访问和拷贝的存储资源池化方法
技术领域
本发明涉及资源管理方法相关领域，具体涉及一种快速访问和拷贝的存储资源池化方法。
背景技术
目前很多存储池化方法只是利用存储服务器自身功能来组成一个存储资源池，基于真实素材文件的访问与拷贝来提供媒体素材文件的共享，并没有对存储过程进行深加工，从而在传输和存储时间上没有多大改善。这样的存储资源池化方法存在以下三个不足：
(1)速度慢：现有媒体素材文件的访问与拷贝是基于物理存储的实际目录，如同在硬盘中进行拷贝文件，当遇到媒体素材文件非常大时，访问的加载速度和拷贝的执行速度非常慢。
(2)浪费物理空间：现有媒体素材的文件拷贝是将文件真实拷贝到自己的物理存储空间，多个用户拷贝同一个素材文件分别占用这多个用户的物理空间，即同一个文件重复占用存储，造成物理空间的浪费。
(3)安全性弱：执行拷贝的用户需要进入被拷贝用户的存储目录，访问真实的源文件并进行拷贝，素材的源文件信息无法得到安全保障。
发明内容
本发明的目的在于：针对现有技术中没有对存储过程进行深加工而造成读取存储速度慢、物理空间浪费、安全性弱的问题，本发明提供了一种快速访问和拷贝的存储资源池化方法。
本发明采用的技术方案如下：
本申请提供了一种快速访问和拷贝的存储资源池化方法，包括以下步骤：
步骤1：将物理存储进行逻辑封装，在存储层生成直接与业务层用户关联的存储池，使得存储物理层和业务逻辑层上实现用户和目录的一对一绑定，I/O控制依然是存储层保证，不破坏存储本身的I/O特性；
可选地，所述步骤1中的物理存储采用网络附属存储或对象存储；
具体地，所述步骤1的具体步骤为：
物理存储采用网络附属存储，资源池化对物理存储进行逻辑封装，在存储层生成直接与业务层用户关联的存储池，所述存储池由一个或多个物理路径构成，所述存储池分为独占存储池和共享存储池，独占存储池绑定唯一的用户，共享存储池绑定多个用户，每个用户访问自己的对应存储池或有权限的共享区存储池；
具体地，存储采用对象存储，资源池化对物理存储进行逻辑封装，在存储层生成直接与业务层用户关联的存储池，所述存储池由一个或多个逻辑路径(Bucket或Bucket下的逻辑目录)构成，所述存储池分为独占存储池和共享存储池，独占存储池绑定唯一的用户，共享存储池绑定多个用户，每个用户访问自己的对应存储池或有权限的共享区存储池；
步骤2：将存储池划分多个存储单元，每个存储单元和目录是对应关系；
具体地，每个存储单元设定有访问容量；
步骤3：创建每个存储单元对应的临时目录，临时目录用于管理临时访问存储单元的链接；
其中应当说明的是NAS存储下的临时目录记录的是硬链接，而OSS存储下记录的是临时授权访问链接；
步骤4：用户基于步骤3中的链接完成对应的存储单元的快速访问和拷贝及分享。
具体地，所述网络附属存储的存储单元和物理目录是对应的独占关系，所述网络附属存储中的步骤3中链接采用硬链接，所述步骤4中采用的是硬链接完成对应的存储单元的快速访问和拷贝及分享。
具体地，所述对象存储的存储单元对应的是逻辑目录，所述对象存储步骤3中的链接采用的临时授权访问链接，所述步骤4中采用的临时授权访问链接完成对应的存储单元的快速访问和拷贝及分享；
具体地，存储池支持该存储所支撑的访问形式，通过Pool封装操作控制，开启或关闭这些访问形式；如NAS支持UNC(CIFS/NFS)、FTP、HTTP形式的访问；如OSS支持UNC(CIFS/NFS)、HTTP形式的访问。
本申请还提供了一种链接的临时管理方法，包括以下步骤：
步骤1：创建存储单元，存储单元和目录是对应关系；
步骤2：创建临时目录，用于管理临时访问存储单元的链接；
其中应当说明的是网络附属存储简写为NAS，对象存储简写为OSS，HardLink即代表NAS存储下的硬链接。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本申请通过建立临时目录对存储单元的链接进行管理，避免了同一个文件重复占用多个用户的存储的问题，减少了存储资源的重复占用情况，增加了用户的访问速度；
2.本申请将媒体业务共享使用素材的特性与物理存储的HardLink功能结合起来，对存储进行逻辑封装，存储过程是经过编译的，加快了访问与拷贝的执行速度，整个过程在用户几乎察觉不到的秒级范围之内完成；
3.本申请通过连接(硬链接或临时授权访问链接)实现业务用户之间对媒体素材的拷贝，执行拷贝的用户的物理空间并未被文件占用，只是统计个人的空间用量增加，因此节约了物理空间；
4.本申请执行拷贝的用户没有进入被拷贝的用户的存储目录，是将文件链接转移到正式空间，并不是执行文件的真实拷贝，因此保障了素材源文件的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图重点在于示出本发明的主旨。
图1是本发明逻辑封装的架构示意图；
图2是本发明逻辑对象关系示意图；
图3是存储单元的示意图；
图4是存储素材快速访问和拷贝流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供了一种快速访问和拷贝的存储资源池化方法，具体说明：
空间管理程序实现Pool资源池化，Pool是对物理存储的逻辑封装，是直接与用户关联的空间管理对象，由一个或多个物理路径或一个或多个逻辑路径构成，，同一个Pool内的素材或资源引用，不重复计算空间占用，Pool间的素材或资源引用，只能是物理复制，Pool可绑定多个用户，实现用户的文件访问控制，具体可参照图1；
Pool分为独占Pool和共享Pool，独占Pool只能绑定唯一的用户，共享Pool可以绑定多个用户，每个用户访问自己的工作区Pool或有权限的共享区Pool；
在空间管理程序中进行空间划分和用户授权，未授权用户不能访问其他Pool中的任何文件；
访问控制模块对用户操作物理存储进行实时读写授权空间控制，授权用户在Pool达到配额后驱动会主动切断该操作系统对文件任何I/O；
用户可以将该Pool中的文件“分享”至其他Pool，此时Pool管理层会自动调用HardLink或授权签名链接使得共享文件可以被其他用户使用，此时该共享文件在用户看来是一个“真实”文件，但其实只是一个文件指针，因此并没有占用物理空间，分享的过程也是秒级(同一卷内)；并且这些访问的地址，可以分散独立授权，使得只有特定权限的人才能访问、删除，且删除不影响原始文件；
Pool是用户和Unit的关系桥梁结构，它关联多个Unit，每个Unit需要在总空间的容量下进行“格式化”，并且设定访问容量，一个或多个用户，通过唯一的Pool共享一组Unit。某个或某组用户，最终的逻辑空间交互身份是Pool，具体可参照图2；
空间管理可按Pool管理/划分多个存储体容量，可以Unit的方式将物理存储动态增加至Pool/扩充Pool总空间，支持网络盘，Pool的总容量是Unit的容量总和，空间使用量以Pool为单位进行统计；
对于NAS存储，Unit和物理目录是一对一独占关系，每个Unit在初始化的时候，只能取得当前存储(或盘)的剩余物理容量；
每一个Unit，必须对应的是存储单元所指定的根路径下的一个不可重复且不是包含关系的物理目录(NAS)或逻辑目录(OSS)；
对于NAS存储，利用支持HardLink，精加工编译存储过程完成文件的快速访问与拷贝、自动调用HardLink指向源文件的信息节点提供文件的秒级共享等功能；
对于OSS存储，利用临时授权访问链接完成文件的快速访问与拷贝；
基于HardLink“只占用协议层统计空间，不占用实际存储空间”这一原则，对Unit做默认规划：创建一个实际Unit，控制用户访问、空间、容量；创建一个临时目录temp，用于管理临时访问HardLink，具体的Unit示意图可参照图3；
实施例一
本实施例提供了一种快速访问和拷贝的存储资源池化方法，具体流程如下：
流程说明：
第一步：用户A共享素材Clip-1；
第二步：用户B查询到素材Clip-1；
第三步：用户B预览素材Clip-1；
第四步：生成用户B私有的素材引用temp-Clip-1；
第五步：HardLink文件到用户B的Pool中的临时目录temp002，用于预览，物理空间无变化；
第六步：用户B拷贝使用素材Clip-1；
第七步：将素材Clip-1进行完全复制；
第八步：素材引用temp-Clip-1删除；
第九步：所有文件HardLink转移到用户B的Pool中的正式空间Unit002,物理空间无变化，个人空间用量增加。
其中应当说明的是，英文对应中文如下：
User：用户
Pool：存储池
Code：存储池标识
Name：存储池名称
TypeDef：类型描述
State：状态
PoolUnits：存储池单元
Unit：存储单元
Code：存储单元标识
Name：存储单元名称
Capacity：容量
CurrentCapacity：已用容量
CurrentLogicCapacity：逻辑引用容量
Buffersize：缓冲区大小
UNCMountDef：UNC访问方式描述
MountName：挂载目录名称
ReadonlyUser：只读用户
AccessPath：访问路径
FTPMountDef：FTP访问方式描述
ReadonlyUser：只读用户
AccessPath：访问路径
OSSMountDef：OSS访问方式描述
ReadonlyUser：只读用户
AccessPath：访问路径
StoragePath：存储路径
AccessRule：访问规则
OSSAccess：OSS访问
FTPAccess：FTP访问
ArchivePolicy：归档策略
PolicyName：策略名称
LifetimeSetting：生命周期设置
NearlineAccessInfo：近线访问信息
FileRecord：文件记录
PoolCode：存储池标识
UnitCode：存储单元标识
Status：状态
FilePath：文件路径
FileSize：文件大小
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种快速访问和拷贝的存储资源池化方法，其特征在于，包括以下步骤：
步骤1：将物理存储进行逻辑封装，在存储层生成直接与业务层用户关联的存储池；
步骤2：将存储池划分多个存储单元，每个存储单元和目录是对应关系；
步骤3：创建每个存储单元对应的临时目录，临时目录用于管理临时访问存储单元的链接；
步骤4：用户基于步骤3中的链接完成对应的存储单元的快速访问和拷贝及分享。
2.如权利要求1所述的一种快速访问和拷贝的存储资源池化方法，其特征在于，所述步骤1中的物理存储采用网络附属存储或对象存储。
3.如权利要求2所述的一种快速访问和拷贝的存储资源池化方法，其特征在于，所述网络附属存储的存储单元和物理目录是对应的独占关系，所述网络附属存储中的步骤3中链接采用硬链接，所述步骤4中采用的是硬链接完成对应的存储单元的快速访问和拷贝及分享。
4.如权利要求2所述的一种快速访问和拷贝的存储资源池化方法，其特征在于，所述对象存储的存储单元对应的是逻辑目录，所述对象存储步骤3中的链接采用的临时授权访问链接，所述步骤4中采用的临时授权访问链接完成对应的存储单元的快速访问和拷贝及分享。
5.如权利要求3所述的一种快速访问和拷贝的存储资源池化方法，其特征在于，所述步骤1的具体步骤为：
资源池化对物理存储进行逻辑封装，在存储层生成直接与业务层用户关联的存储池，所述存储池由一个或多个物理路径构成，所述存储池分为独占存储池和共享存储池，独占存储池绑定唯一的用户，共享存储池绑定多个用户，每个用户访问自己的对应存储池或有权限的共享区存储池。
6.如权利要求4所述的一种快速访问和拷贝的存储资源池化方法，其特征在于，所述步骤1的具体步骤为：
资源池化对物理存储进行逻辑封装，在存储层生成直接与业务层用户关联的存储池，所述存储池由一个或多个逻辑路径构成，所述存储池分为独占存储池和共享存储池，独占存储池绑定唯一的用户，共享存储池绑定多个用户，每个用户访问自己的对应存储池或有权限的共享区存储池。
7.一种链接的临时管理方法，其特征在于，包括以下步骤：
步骤1：创建存储单元，存储单元和目录是对应关系；
步骤2：创建临时目录，用于管理临时访问存储单元的链接。
CN201710973401.9A 2017-10-18 2017-10-18 一种快速访问和拷贝的存储资源池化方法 Active CN107566405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710973401.9A CN107566405B (zh) 2017-10-18 2017-10-18 一种快速访问和拷贝的存储资源池化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710973401.9A CN107566405B (zh) 2017-10-18 2017-10-18 一种快速访问和拷贝的存储资源池化方法

Publications (2)

Publication Number Publication Date
CN107566405A true CN107566405A (zh) 2018-01-09
CN107566405B CN107566405B (zh) 2021-07-27

Family

ID=60986309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710973401.9A Active CN107566405B (zh) 2017-10-18 2017-10-18 一种快速访问和拷贝的存储资源池化方法

Country Status (1)

Country Link
CN (1) CN107566405B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032799A (zh) * 2018-07-25 2018-12-18 郑州云海信息技术有限公司 存储资源管理方法、装置、设备及可读存储介质
CN113568882A (zh) * 2021-08-03 2021-10-29 重庆仓舟网络科技有限公司 基于oss的资源分享方法及系统
CN114640485A (zh) * 2020-12-01 2022-06-17 中移(苏州)软件技术有限公司 一种服务数据的集中访问方法、装置、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255962A (zh) * 2011-07-01 2011-11-23 成都市华为赛门铁克科技有限公司 一种分布式存储方法、装置和系统
CN102340533A (zh) * 2011-06-17 2012-02-01 中兴通讯股份有限公司 多租户系统及多租户系统存取数据的方法
CN102385633A (zh) * 2011-12-13 2012-03-21 方正国际软件有限公司 虚拟存储目录的文件管理系统
CN102693164A (zh) * 2012-05-03 2012-09-26 中国石油集团川庆钻探工程有限公司地球物理勘探公司 防止缓存溢出的设备和方法
US20150324255A1 (en) * 2014-05-09 2015-11-12 Commvault Systems, Inc. Load balancing across multiple data paths
CN105353985A (zh) * 2015-11-03 2016-02-24 国云科技股份有限公司 一种提高虚拟机临时文件读取速度的方法
US9329940B2 (en) * 2010-01-28 2016-05-03 International Business Machines Corporation Dispersed storage having a plurality of snapshot paths and methods for use therewith
CN106209821A (zh) * 2016-07-07 2016-12-07 何钟柱 基于可信云计算的信息安全大数据管理系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9329940B2 (en) * 2010-01-28 2016-05-03 International Business Machines Corporation Dispersed storage having a plurality of snapshot paths and methods for use therewith
CN102340533A (zh) * 2011-06-17 2012-02-01 中兴通讯股份有限公司 多租户系统及多租户系统存取数据的方法
CN102255962A (zh) * 2011-07-01 2011-11-23 成都市华为赛门铁克科技有限公司 一种分布式存储方法、装置和系统
CN102385633A (zh) * 2011-12-13 2012-03-21 方正国际软件有限公司 虚拟存储目录的文件管理系统
CN102693164A (zh) * 2012-05-03 2012-09-26 中国石油集团川庆钻探工程有限公司地球物理勘探公司 防止缓存溢出的设备和方法
US20150324255A1 (en) * 2014-05-09 2015-11-12 Commvault Systems, Inc. Load balancing across multiple data paths
CN105353985A (zh) * 2015-11-03 2016-02-24 国云科技股份有限公司 一种提高虚拟机临时文件读取速度的方法
CN106209821A (zh) * 2016-07-07 2016-12-07 何钟柱 基于可信云计算的信息安全大数据管理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENYING ZENG等: "Research on Cloud Storage Architecture and Key Technologies", 《ICIS2009: PROCEEDINGS OF THE 2ND INTERNATIONAL CONFERENCE ON INTERACTION SCIENCES: INFORMATION TECHNOLOGY》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032799A (zh) * 2018-07-25 2018-12-18 郑州云海信息技术有限公司 存储资源管理方法、装置、设备及可读存储介质
CN114640485A (zh) * 2020-12-01 2022-06-17 中移(苏州)软件技术有限公司 一种服务数据的集中访问方法、装置、设备和存储介质
CN114640485B (zh) * 2020-12-01 2024-04-09 中移(苏州)软件技术有限公司 一种服务数据的集中访问方法、装置、设备和存储介质
CN113568882A (zh) * 2021-08-03 2021-10-29 重庆仓舟网络科技有限公司 基于oss的资源分享方法及系统

Also Published As

Publication number Publication date
CN107566405B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
EP2871817B1 (en) Combined cloud storage disk client, server and system, and combined cloud storage disk service serving method
US9075851B2 (en) Method and apparatus for data retention in a storage system
JP5433085B2 (ja) 名前空間を用いた、区分化されたコンテンツプラットフォーム内の固定コンテンツストレージ
JP4537022B2 (ja) データ配置に制限を設けるデータ処理方法、記憶領域制御方法、および、データ処理システム。
CN100454323C (zh) 用于对资源内容进行访问控制的方法和系统
EP2792101B1 (en) Deletion of content in storage systems
WO2012053040A1 (en) File server for migration of file and method for migrating file based on file's attributes and storage apparatuses ' attributes
TWI301021B (en) File distribution and access system and method for file management
JP4837378B2 (ja) データの改竄を防止する記憶装置
CN107688753A (zh) 一种acl权限控制的方法与装置
JP5798258B2 (ja) 記憶階層化のためのコンテンツ選択
JPH04233639A (ja) ファイル管理システム
JP2007509435A (ja) 静的および動的リストの使用を伴う仮想フォルダおよび項目共有のためのシステムおよび方法
CN107566405A (zh) 一种快速访问和拷贝的存储资源池化方法
CN106682186A (zh) 文件访问控制列表管理方法和相关装置和系统
CN108804936A (zh) 一种基于分布式存储系统acl的权限管理方法及系统
VanMeter et al. Derived virtual devices: A secure distributed file system mechanism
US7725507B1 (en) Dynamic directories
WO2009031158A2 (en) Method and apparatus for network based data recovery
WO2015101083A1 (zh) 一种存储数据的保护方法及装置
JP4342242B2 (ja) セキュアファイル共有方法および装置
Calas Distributed file system over a multilevel secure architecture problems and solutions
JP2021022357A (ja) Ｆｕｓｅ技術に基づくハイブリッドファイル構築方法及びそのシステム
CN116644453A (zh) 一种文档系统的权限管理方法、装置及设备
CN106997274B (zh) 一种实现存储空间管理的架构及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant