CN109284274B - 一种基于分布式文件系统的配置异步预分配实现方法 - Google Patents

一种基于分布式文件系统的配置异步预分配实现方法 Download PDF

Info

Publication number
CN109284274B
CN109284274B CN201811444653.3A CN201811444653A CN109284274B CN 109284274 B CN109284274 B CN 109284274B CN 201811444653 A CN201811444653 A CN 201811444653A CN 109284274 B CN109284274 B CN 109284274B
Authority
CN
China
Prior art keywords
value
quota
client
application
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811444653.3A
Other languages
English (en)
Other versions
CN109284274A (zh
Inventor
苏志恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811444653.3A priority Critical patent/CN109284274B/zh
Publication of CN109284274A publication Critical patent/CN109284274A/zh
Application granted granted Critical
Publication of CN109284274B publication Critical patent/CN109284274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于分布式文件系统的配置异步预分配实现方法，包括以下步骤：利用权限管理消息进行配额预申请；具体如下：写数据完成后更新权限时，若配额预申请值剩余量小于预设值的1/2时，本次预申请值附加到权限消息中；发送异步消息到元数据端后持续写入数据；客户端收到回复后，解析出预申请的配额值PRE_VALUE，并更新到客户端配额预申请值剩余量字段中；数据写入成功后，从预申请值中扣除本次新增值。本发明公开的基于分布式文件系统的配置异步预分配实现方法，减少了客户端与元数据的交互，提高元数据吞吐量，提升带有配额的写性能。

Description

一种基于分布式文件系统的配置异步预分配实现方法
技术领域
本发明涉及存储技术领域，尤其涉及一种基于分布式文件系统的配置异步预分配实现方法。
背景技术
用户场景中设置完目录配额后，在新增数据的过程中，已实现了配额同步预申请功能加快写性能，但当客户端配额预申请值剩余量较少时，需要发送消息到元数据端申请配额预申请值，由于是同步消息，需要等待元数据端处理完成并成功返回后客户端才能进行新增数据操作，影响了写性能，目前还没有一种方案解决因等待配额申请对写性能的影响。因此，需要一种提前申请配额预申请值的异步处理方式，是配额预申请值维持在一定量，大大减少因同步申请，放大对写性能的影响。
基于上述问题，因此，对于本领域技术人员而言，如何减少客户端因等待配额申请而阻塞写操作的问题，是亟需解决的技术问题。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于分布式文件系统的配置异步预分配实现方法，通过在一次写操作完成后进行权限更新时，若配额预申请剩余值小于一定量后，在权限更新消息中附带定量的配额预申请值，达到提前申请配额预申请值，减少因同步申请导致写阻塞的问题，弱化因配额预申请处理影响写性能，增加系统吞吐量，提升在开启配额功能下的写性能。
本发明提出的一种基于分布式文件系统的配置异步预分配实现方法，包括以下步骤：利用权限管理消息进行配额预申请；具体如下：
写数据完成后更新权限时，若配额预申请值剩余量小于预设值的1/2时，本次预申请值附加到权限消息中；
发送异步消息到元数据端后持续写入数据；
客户端收到回复后，解析出预申请的配额值PRE_VALUE，并更新到客户端配额预申请值剩余量字段中；
数据写入成功后，从预申请值中扣除本次新增值。
优选地，还包括以下步骤：
数据写入成功达到预设时间后，没有数据增加时，把剩余的预申请值归还给元数据端。
优选地，还包括以下步骤：
若有数据持续写入，则重复步骤：利用权限管理消息进行配额预申请，直至配额值为0。
优选地，采用在元数据进行配额的细粒度划分和管理。
优选地，采用在元数据进行配额的细粒度划分和管理，具体方式为：
接收到到客户端权限更新请求后，授权客户端所需权限；
检查用户配额剩余值与本次申请值，若配额剩余值大于或等于申请值则直接分配，若配额剩余值小于申请值且配额剩余值不为0则将配额剩余值分配给客户端；若配额剩余值为0，则直接把错误码赋值给申请值；
把分配值附加到权限消息中回复给客户端；
当收到客户端归还配额预申请值时，把归还值加到配额剩余值中，回复客户端。
本发明中提供的一种基于分布式文件系统的配置异步预分配实现方法，利用分布式系统的权限管理功能实现基于目录的配额异步预申请功能，在一次写操作完成后进行权限更新时，若配额预申请剩余值小于一定量后，在权限释放消息中附带定量的配额预申请值，达到提前申请配额预申请值，减少因同步申请导致写阻塞的问题，弱化因配额预申请处理影响写性能，增加系统吞吐量，提升在开启配额功能下的写性能；元数据在更新权限的同时进行配额值分配，不仅减少了客户端与元数据的交互，提高元数据吞吐量，而且使客户端只需等待少量的配额预申请处理，提升带有配额的写性能。
附图说明
图1为本发明提出的一种基于分布式文件系统的配置异步预分配实现方法的流程图。
具体实施方式
如图1所示，图1为本发明提出的一种基于分布式文件系统的配置异步预分配实现方法的流程图。
下面结合附图和实施例对本发明进行详细的描述。
一种基于分布式文件系统的配置异步预分配实现方法，包括以下步骤：
S1：写数据完成后更新权限时，若配额预申请值剩余量小于预设值的1/2时，本次预申请值附加到权限消息中；
S2：发送异步消息到元数据端后持续写入数据；
S3：客户端收到回复后，解析出预申请的配额值PRE_VALUE，并更新到客户端配额预申请值剩余量字段中；
S4：数据写入成功后，从预申请值中扣除本次新增值；
S5：数据写入成功达到预设时间后，没有数据增加时，把剩余的预申请值归还给元数据端；
S6：若有数据持续写入，则重复步骤S1至S5，直至配额值为0。
进一步优化的技术方案中，采用在元数据进行配额的细粒度划分和管理。
其中，采用在元数据进行配额的细粒度划分和管理，具体方式为：
S21：接收到到客户端权限更新请求后，授权客户端所需权限；
S22：检查用户配额剩余值与本次申请值，若配额剩余值大于或等于申请值则直接分配，若配额剩余值小于申请值且配额剩余值不为0则将配额剩余值分配给客户端；若配额剩余值为0，则直接把错误码赋值给申请值；
S23：把分配值附加到权限消息中回复给客户端；
S24：当收到客户端归还配额预申请值时，把归还值加到配额剩余值中，回复客户端。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于分布式文件系统的配置异步预分配实现方法，其特征在于，包括以下步骤：利用权限管理消息进行配额预申请；具体如下：
写数据完成后更新权限时，若配额预申请值剩余量小于预设值的1/2时，本次预申请值附加到权限消息中；
发送异步消息到元数据端后持续写入数据；
客户端收到回复后，解析出预申请的配额值PRE_VALUE，并更新到客户端配额预申请值剩余量字段中；
数据写入成功后，从预申请值中扣除本次新增值。
2.根据权利要求1所述的基于分布式文件系统的配置异步预分配实现方法，其特征在于，还包括以下步骤：
数据写入成功达到预设时间后，没有数据增加时，把剩余的预申请值归还给元数据端。
3.根据权利要求2所述的基于分布式文件系统的配置异步预分配实现方法，其特征在于，还包括以下步骤：
若有数据持续写入，则重复步骤：利用权限管理消息进行配额预申请，直至配额值为0。
4.根据权利要求1所述的基于分布式文件系统的配置异步预分配实现方法，其特征在于，采用在元数据进行配额的细粒度划分和管理。
5.根据权利要求4所述的基于分布式文件系统的配置异步预分配实现方法，其特征在于，采用在元数据进行配额的细粒度划分和管理，具体方式为：
接收到客户端权限更新请求后，授权客户端所需权限；
检查用户配额剩余值与本次申请值，若配额剩余值大于或等于申请值则直接分配，若配额剩余值小于申请值且配额剩余值不为0则将配额剩余值分配给客户端；若配额剩余值为0，则直接把错误码赋值给申请值；
把分配值附加到权限消息中回复给客户端；
当收到客户端归还配额预申请值时，把归还值加到配额剩余值中，回复客户端。
CN201811444653.3A 2018-11-29 2018-11-29 一种基于分布式文件系统的配置异步预分配实现方法 Active CN109284274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811444653.3A CN109284274B (zh) 2018-11-29 2018-11-29 一种基于分布式文件系统的配置异步预分配实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811444653.3A CN109284274B (zh) 2018-11-29 2018-11-29 一种基于分布式文件系统的配置异步预分配实现方法

Publications (2)

Publication Number Publication Date
CN109284274A CN109284274A (zh) 2019-01-29
CN109284274B true CN109284274B (zh) 2021-09-28

Family

ID=65173146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811444653.3A Active CN109284274B (zh) 2018-11-29 2018-11-29 一种基于分布式文件系统的配置异步预分配实现方法

Country Status (1)

Country Link
CN (1) CN109284274B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650727B (zh) * 2020-12-09 2022-09-16 湖南麒麟信安科技股份有限公司 一种面向网络存储系统的通用权限与配额管理系统与方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446813A (zh) * 2014-05-30 2016-03-30 华为技术有限公司 一种资源分配的方法及装置
CN106603729A (zh) * 2017-02-23 2017-04-26 郑州云海信息技术有限公司 一种分布式文件系统多客户端同步方法及系统
CN106897440A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种分布式文件系统文件读写处理方法
CN106899676A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种多客户端写入目录配额分配方法
CN107172152A (zh) * 2017-05-19 2017-09-15 郑州云海信息技术有限公司 一种基于ceph集群cap机制统计配额系统及方法
CN107506242A (zh) * 2017-08-30 2017-12-22 郑州云海信息技术有限公司 一种配额申请方法及系统
CN107729417A (zh) * 2017-09-27 2018-02-23 郑州云海信息技术有限公司 一种配额归还实现方法、装置、设备及计算机存储介质
CN107885859A (zh) * 2017-11-20 2018-04-06 郑州云海信息技术有限公司 一种文件个数配额的方法、装置和计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712495B2 (en) * 2011-05-03 2017-07-18 International Business Machines Corporation Methods and systems for selective encryption and secured extent quota management for storage servers in cloud computing
US11579861B2 (en) * 2016-02-12 2023-02-14 Nutanix, Inc. Virtualized file server smart data ingestion

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446813A (zh) * 2014-05-30 2016-03-30 华为技术有限公司 一种资源分配的方法及装置
CN106603729A (zh) * 2017-02-23 2017-04-26 郑州云海信息技术有限公司 一种分布式文件系统多客户端同步方法及系统
CN106897440A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种分布式文件系统文件读写处理方法
CN106899676A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种多客户端写入目录配额分配方法
CN107172152A (zh) * 2017-05-19 2017-09-15 郑州云海信息技术有限公司 一种基于ceph集群cap机制统计配额系统及方法
CN107506242A (zh) * 2017-08-30 2017-12-22 郑州云海信息技术有限公司 一种配额申请方法及系统
CN107729417A (zh) * 2017-09-27 2018-02-23 郑州云海信息技术有限公司 一种配额归还实现方法、装置、设备及计算机存储介质
CN107885859A (zh) * 2017-11-20 2018-04-06 郑州云海信息技术有限公司 一种文件个数配额的方法、装置和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Quota enforcement for high-performance distributed storage systems;Kristal T.Pollack et al.;《IEEE Xplore》;20071029;第1-13页 *
多站点WEB服务器中两种磁盘配额实现方式及对比研究;胥献伟;《四川文理学院学报》;20150930;第25卷(第5期);第53-55页 *

Also Published As

Publication number Publication date
CN109284274A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
CN106341558B (zh) 虚拟号码的处理方法、装置和服务器
JP2021531564A (ja) データ記憶方法、装置、機器及び記憶媒体
CN107241380B (zh) 用于基于时间调整的负载均衡的方法和设备
CN101316256A (zh) 一种数据更新的方法
CN106302559B (zh) 一种数据复制方法和设备
CN102685018A (zh) 一种网络即时通信信息处理的方法、系统及即时通信设备
CN108270581B (zh) 共享资源计费处理方法及装置
CN109284274B (zh) 一种基于分布式文件系统的配置异步预分配实现方法
CN105511854A (zh) 一种应用回退方法及终端设备
CN109951548B (zh) 云平台的资源的管理方法及云管平台
CN109726007A (zh) 一种容器编排配额管理方法和装置、及容器编排系统
CN105224541A (zh) 数据的唯一性控制方法、信息存储方法及装置
CN109819013A (zh) 一种基于云存储的区块链存储容量优化方法
CN110764930B (zh) 基于消息模式的请求或应答处理方法及装置
CN106411718B (zh) 一种基于即时通信应用的数据同步方法及装置
CN109446271B (zh) 一种数据同步方法、装置、设备及介质
CN115002187B (zh) 绑定关系处理方法及相关设备
CN114328026B (zh) 一种虚拟磁盘备份方法、装置、设备及介质
CN109389271B (zh) 应用性能管理方法及系统
CN115510366A (zh) 业务消息推送方法、装置、计算机设备和存储介质
CN113158173B (zh) 账号分配方法、介质、装置和计算设备
CN110445869B (zh) 一种基于分布式订阅的内容发布方法、终端及服务器
CN109087097B (zh) 一种更新链码同一标识的方法和装置
CN106131598A (zh) 一种基于云端的任务推送方法及系统
CN102255735B (zh) 一种订单的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant