CN109284274A - 一种基于分布式文件系统的配置异步预分配实现方法 - Google Patents

一种基于分布式文件系统的配置异步预分配实现方法 Download PDF

Info

Publication number
CN109284274A
CN109284274A CN201811444653.3A CN201811444653A CN109284274A CN 109284274 A CN109284274 A CN 109284274A CN 201811444653 A CN201811444653 A CN 201811444653A CN 109284274 A CN109284274 A CN 109284274A
Authority
CN
China
Prior art keywords
value
quota
client
preliminery application
asynchronous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811444653.3A
Other languages
English (en)
Other versions
CN109284274B (zh
Inventor
苏志恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811444653.3A priority Critical patent/CN109284274B/zh
Publication of CN109284274A publication Critical patent/CN109284274A/zh
Application granted granted Critical
Publication of CN109284274B publication Critical patent/CN109284274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于分布式文件系统的配置异步预分配实现方法，包括以下步骤：利用权限管理消息进行配额预申请；具体如下：写数据完成后更新权限时，若配额预申请值剩余量小于预设值的1/2时，本次预申请值附加到权限消息中；发送异步消息到元数据端后持续写入数据；客户端收到回复后，解析出预申请的配额值PRE_VALUE，并更新到客户端配额预申请值剩余量字段中；数据写入成功后，从预申请值中扣除本次新增值。本发明公开的基于分布式文件系统的配置异步预分配实现方法，减少了客户端与元数据的交互，提高元数据吞吐量，提升带有配额的写性能。

Description

一种基于分布式文件系统的配置异步预分配实现方法
技术领域
本发明涉及存储技术领域，尤其涉及一种基于分布式文件系统的配置异步预分配实现方法。
背景技术
用户场景中设置完目录配额后，在新增数据的过程中，已实现了配额同步预申请功能加快写性能，但当客户端配额预申请值剩余量较少时，需要发送消息到元数据端申请配额预申请值，由于是同步消息，需要等待元数据端处理完成并成功返回后客户端才能进行新增数据操作，影响了写性能，目前还没有一种方案解决因等待配额申请对写性能的影响。因此，需要一种提前申请配额预申请值的异步处理方式，是配额预申请值维持在一定量，大大减少因同步申请，放大对写性能的影响。
基于上述问题，因此，对于本领域技术人员而言，如何减少客户端因等待配额申请而阻塞写操作的问题，是亟需解决的技术问题。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于分布式文件系统的配置异步预分配实现方法，通过在一次写操作完成后进行权限更新时，若配额预申请剩余值小于一定量后，在权限更新消息中附带定量的配额预申请值，达到提前申请配额预申请值，减少因同步申请导致写阻塞的问题，弱化因配额预申请处理影响写性能，增加系统吞吐量，提升在开启配额功能下的写性能。
本发明提出的一种基于分布式文件系统的配置异步预分配实现方法，包括以下步骤：利用权限管理消息进行配额预申请；具体如下：
写数据完成后更新权限时，若配额预申请值剩余量小于预设值的1/2时，本次预申请值附加到权限消息中；
发送异步消息到元数据端后持续写入数据；
客户端收到回复后，解析出预申请的配额值PRE_VALUE，并更新到客户端配额预申请值剩余量字段中；
数据写入成功后，从预申请值中扣除本次新增值。
优选地，还包括以下步骤：
数据写入成功达到预设时间后，没有数据增加时，把剩余的预申请值归还给元数据端。
优选地，还包括以下步骤：
若有数据持续写入，则重复步骤：利用权限管理消息进行配额预申请，直至配额值为0。
优选地，采用在元数据进行配额的细粒度划分和管理。
优选地，采用在元数据进行配额的细粒度划分和管理，具体方式为：
接收到到客户端权限更新请求后，授权客户端所需权限；
检查用户配额剩余值与本次申请值，有剩余直接分配，否则把剩余值分配给客户端；若配额剩余值为0，则直接把错误码赋值给申请值；
把分配值附加到权限消息中回复给客户端；
当收到客户端归还配额预申请值时，把归还值加到配额剩余值中，回复客户端。
本发明中提供的一种基于分布式文件系统的配置异步预分配实现方法，利用分布式系统的权限管理功能实现基于目录的配额异步预申请功能，在一次写操作完成后进行权限更新时，若配额预申请剩余值小于一定量后，在权限释放消息中附带定量的配额预申请值，达到提前申请配额预申请值，减少因同步申请导致写阻塞的问题，弱化因配额预申请处理影响写性能，增加系统吞吐量，提升在开启配额功能下的写性能；元数据在更新权限的同时进行配额值分配，不仅减少了客户端与元数据的交互，提高元数据吞吐量，而且使客户端只需等待少量的配额预申请处理，提升带有配额的写性能。
附图说明
图1为本发明提出的一种基于分布式文件系统的配置异步预分配实现方法的流程图。
具体实施方式
如图1所示，图1为本发明提出的一种基于分布式文件系统的配置异步预分配实现方法的流程图。
下面结合附图和实施例对本发明进行详细的描述。
一种基于分布式文件系统的配置异步预分配实现方法，包括以下步骤：
S1：写数据完成后更新权限时，若配额预申请值剩余量小于预设值的1/2时，本次预申请值附加到权限消息中；
S2：发送异步消息到元数据端后持续写入数据；
S3：客户端收到回复后，解析出预申请的配额值PRE_VALUE，并更新到客户端配额预申请值剩余量字段中；
S4：数据写入成功后，从预申请值中扣除本次新增值；
S5：数据写入成功达到预设时间后，没有数据增加时，把剩余的预申请值归还给元数据端；
S6：若有数据持续写入，则重复步骤S1至S5，直至配额值为0。
进一步优化的技术方案中，采用在元数据进行配额的细粒度划分和管理。
其中，采用在元数据进行配额的细粒度划分和管理，具体方式为：
S21：接收到到客户端权限更新请求后，授权客户端所需权限；
S22：检查用户配额剩余值与本次申请值，有剩余直接分配，否则把剩余值分配给客户端；若配额剩余值为0，则直接把错误码赋值给申请值；
S23：把分配值附加到权限消息中回复给客户端；
S24：当收到客户端归还配额预申请值时，把归还值加到配额剩余值中，回复客户端。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于分布式文件系统的配置异步预分配实现方法，其特征在于，包括以下步骤：利用权限管理消息进行配额预申请；具体如下：
写数据完成后更新权限时，若配额预申请值剩余量小于预设值的1/2时，本次预申请值附加到权限消息中；
发送异步消息到元数据端后持续写入数据；
客户端收到回复后，解析出预申请的配额值PRE_VALUE，并更新到客户端配额预申请值剩余量字段中；
数据写入成功后，从预申请值中扣除本次新增值。
2.根据权利要求1所述的基于分布式文件系统的配置异步预分配实现方法，其特征在于，还包括以下步骤：
数据写入成功达到预设时间后，没有数据增加时，把剩余的预申请值归还给元数据端。
3.根据权利要求2所述的基于分布式文件系统的配置异步预分配实现方法，其特征在于，还包括以下步骤：
若有数据持续写入，则重复步骤：利用权限管理消息进行配额预申请，直至配额值为0。
4.根据权利要求1所述的基于分布式文件系统的配置异步预分配实现方法，其特征在于，采用在元数据进行配额的细粒度划分和管理。
5.根据权利要求4所述的基于分布式文件系统的配置异步预分配实现方法，其特征在于，采用在元数据进行配额的细粒度划分和管理，具体方式为：
接收到到客户端权限更新请求后，授权客户端所需权限；
检查用户配额剩余值与本次申请值，有剩余直接分配，否则把剩余值分配给客户端；若配额剩余值为0，则直接把错误码赋值给申请值；
把分配值附加到权限消息中回复给客户端；
当收到客户端归还配额预申请值时，把归还值加到配额剩余值中，回复客户端。
CN201811444653.3A 2018-11-29 2018-11-29 一种基于分布式文件系统的配置异步预分配实现方法 Active CN109284274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811444653.3A CN109284274B (zh) 2018-11-29 2018-11-29 一种基于分布式文件系统的配置异步预分配实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811444653.3A CN109284274B (zh) 2018-11-29 2018-11-29 一种基于分布式文件系统的配置异步预分配实现方法

Publications (2)

Publication Number Publication Date
CN109284274A true CN109284274A (zh) 2019-01-29
CN109284274B CN109284274B (zh) 2021-09-28

Family

ID=65173146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811444653.3A Active CN109284274B (zh) 2018-11-29 2018-11-29 一种基于分布式文件系统的配置异步预分配实现方法

Country Status (1)

Country Link
CN (1) CN109284274B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650727A (zh) * 2020-12-09 2021-04-13 湖南麒麟信安科技股份有限公司 一种面向网络存储系统的通用权限与配额管理系统与方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446813A (zh) * 2014-05-30 2016-03-30 华为技术有限公司 一种资源分配的方法及装置
CN106603729A (zh) * 2017-02-23 2017-04-26 郑州云海信息技术有限公司 一种分布式文件系统多客户端同步方法及系统
CN106899676A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种多客户端写入目录配额分配方法
CN106897440A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种分布式文件系统文件读写处理方法
US20170235751A1 (en) * 2016-02-12 2017-08-17 Nutanix, Inc. Virtualized file server user views
CN107172152A (zh) * 2017-05-19 2017-09-15 郑州云海信息技术有限公司 一种基于ceph集群cap机制统计配额系统及方法
US20170300428A1 (en) * 2011-05-03 2017-10-19 International Business Machines Corporation Methods and systems for selective encryption and secured extent quota management for storage servers in cloud computing
CN107506242A (zh) * 2017-08-30 2017-12-22 郑州云海信息技术有限公司 一种配额申请方法及系统
CN107729417A (zh) * 2017-09-27 2018-02-23 郑州云海信息技术有限公司 一种配额归还实现方法、装置、设备及计算机存储介质
CN107885859A (zh) * 2017-11-20 2018-04-06 郑州云海信息技术有限公司 一种文件个数配额的方法、装置和计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170300428A1 (en) * 2011-05-03 2017-10-19 International Business Machines Corporation Methods and systems for selective encryption and secured extent quota management for storage servers in cloud computing
CN105446813A (zh) * 2014-05-30 2016-03-30 华为技术有限公司 一种资源分配的方法及装置
US20170235751A1 (en) * 2016-02-12 2017-08-17 Nutanix, Inc. Virtualized file server user views
CN106603729A (zh) * 2017-02-23 2017-04-26 郑州云海信息技术有限公司 一种分布式文件系统多客户端同步方法及系统
CN106899676A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种多客户端写入目录配额分配方法
CN106897440A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种分布式文件系统文件读写处理方法
CN107172152A (zh) * 2017-05-19 2017-09-15 郑州云海信息技术有限公司 一种基于ceph集群cap机制统计配额系统及方法
CN107506242A (zh) * 2017-08-30 2017-12-22 郑州云海信息技术有限公司 一种配额申请方法及系统
CN107729417A (zh) * 2017-09-27 2018-02-23 郑州云海信息技术有限公司 一种配额归还实现方法、装置、设备及计算机存储介质
CN107885859A (zh) * 2017-11-20 2018-04-06 郑州云海信息技术有限公司 一种文件个数配额的方法、装置和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KRISTAL T.POLLACK ET AL.: "Quota enforcement for high-performance distributed storage systems", 《IEEE XPLORE》 *
胥献伟: "多站点WEB服务器中两种磁盘配额实现方式及对比研究", 《四川文理学院学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650727A (zh) * 2020-12-09 2021-04-13 湖南麒麟信安科技股份有限公司 一种面向网络存储系统的通用权限与配额管理系统与方法
CN112650727B (zh) * 2020-12-09 2022-09-16 湖南麒麟信安科技股份有限公司 一种面向网络存储系统的通用权限与配额管理系统与方法

Also Published As

Publication number Publication date
CN109284274B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
US7454199B2 (en) System and method for temporary application component deletion and reload on a wireless device
CN108776897B (zh) 数据处理方法、装置、服务器及计算机可读存储介质
CN111240896B (zh) 一种终端数据同步方法、装置、服务器及存储介质
CN105139191A (zh) 一种获取订单信息的方法及设备
CN112380166B (zh) 区块链数据归档方法和装置
CN102609466B (zh) 一种共享内存的控制方法及系统
EP4213037A1 (en) Data storage and reconciliation method and system
CN103095686A (zh) 热点元数据访问控制方法和服务器
CN112202834B (zh) 一种数据处理方法、数据处理装置及节点服务器
EP2214453A1 (en) Method and device for updating group information in cluster system
CN109726007A (zh) 一种容器编排配额管理方法和装置、及容器编排系统
CN109284274A (zh) 一种基于分布式文件系统的配置异步预分配实现方法
CN111444216A (zh) 一种基于中心化块链式账本的数据块删除方法
CN113132459B (zh) 分布式存储方法、系统、存储介质、信息数据处理终端
CN112261164B (zh) 一种逻辑时钟同步方法、装置及一种中心授时集群
CN104202471A (zh) 基于移动终端的固件升级处理方法、系统及移动终端
CN106846142B (zh) 一种信息处理方法及服务器
CN102708416A (zh) 一种用户订购业务的方法、设备和系统
CN102143440A (zh) 短消息业务处理的方法和装置
CN101526959A (zh) 一种数据存储方法和装置
CN109165259B (zh) 基于网络附属存储的索引表更新方法、处理器及存储装置
CN106209926A (zh) 一种数据更新方法和设备
CN111090530B (zh) 一种分布式跨进程间通信总线系统
EP3783495B1 (en) Exclusive control system and exclusive control method
CN114398376A (zh) 一种数据处理方法、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant