CN109669630A - 一种海量存储系统的目录文件个数配额方法 - Google Patents

一种海量存储系统的目录文件个数配额方法 Download PDF

Info

Publication number
CN109669630A
CN109669630A CN201811488939.1A CN201811488939A CN109669630A CN 109669630 A CN109669630 A CN 109669630A CN 201811488939 A CN201811488939 A CN 201811488939A CN 109669630 A CN109669630 A CN 109669630A
Authority
CN
China
Prior art keywords
quota
catalogue
file number
value
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811488939.1A
Other languages
English (en)
Inventor
赵闪闪
连双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811488939.1A priority Critical patent/CN109669630A/zh
Publication of CN109669630A publication Critical patent/CN109669630A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/504—Resource capping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种海量存储系统的目录文件个数配额方法，包括：1）开启目录文件个数配额功能；2）设置目录文件个数配额；3）进行数据写入，如果目录下的文件数未达到配额值，则正常写入，如果大于配额值，则修改配额值，进行数据的写入。该方法为了合理分配使用系统资源，进行了目录文件个数配额，按照需求为目录分配资源，提高系统资源的整体利用率。当目录下的文件总数超出设定的配额值时，会限制目录该的使用，实现在目录层对系统资源进行管理和控制。

Description

一种海量存储系统的目录文件个数配额方法
技术领域
本发明涉及的是一种海量存储系统的目录文件个数配额方法。
背景技术
在现有技术中，公知的技术是在存储系统的使用过程中，会存在某个目录中存放文件数量过大的情况，文件量过大会导致查询和处理数据速度下降，为了合理分配使用系统资源，因此亟需一种提高系统资源的整体利用率的方法，这是现有技术所存在的不足之处。
发明内容
本发明的目的就是针对现有技术所存在的不足，而提供一种海量存储系统的目录文件个数配额方法，该方法为了合理分配使用系统资源，进行了目录文件个数配额，按照需求为目录分配资源，提高系统资源的整体利用率。当目录下的文件总数超出设定的配额值时，会限制目录该的使用，实现在目录层对系统资源进行管理和控制。
本方案是通过如下技术措施来实现的：一种海量存储系统的目录文件个数配额方法，包括：1）开启目录文件个数配额功能；2）设置目录文件个数配额；3）进行数据写入，如果目录下的文件数未达到配额值，则正常写入，如果大于配额值，则修改配额值，进行数据的写入。开启目录文件个数配额功能，可以通过修改集群的配置文件来实现，开启目录文件数配额功能时，在icfs.conf文件中加入dir_file_quota = true，并重新挂载客户端，使配置项生效。
设置指定目录的文件个数配额，要求设定的目录为空目录。并且设置目录文件个数配额时，通过setfattr –n icfs.quota.max_files –v quota_value path为指定目录设置文件数配额，其中quota_value表示文件数配额值，取值范围为正整数，path表示待设置的目录。
在进行数据写入时，客户端接收到新的数据写入请求，首先与元数据服务器建立连接，从元数据服务器中获取到目录下已有的文件数以及文件个数配额信息。获取目录已有的文件数及文件数配额后，如果已有文件数配额未超出设置的文件个数配额值，则正常写入数据，写入数据后，向元数据服务器上报，更新配额信息；如果已有文件数超出所设置的文件个数配额值，提示配额已满，限制文件的写入，在配额超出的情况下，修改配额值，继续写入文件。这样就可以对限制目录的使用，避免无限制的写入数据。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
图1为本发明具体实施方式的流程图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过一个具体实施方式，并结合其附图，对本方案进行阐述。
通过附图可以看出，本方案的海量存储系统的目录文件个数配额方法，包括：1）开启目录文件个数配额功能；开启目录文件数配额功能时，在icfs.conf文件中加入dir_file_quota = true，并重新挂载客户端，使配置项生效；2）设置目录文件个数配额；设置指定目录的文件个数配额，要求设定的目录为空目录；3）进行数据写入，如果目录下的文件数未达到配额值，则正常写入，如果大于配额值，则修改配额值，进行数据的写入。
设置目录文件个数配额时，通过setfattr –n icfs.quota.max_files –v quota_value path为指定目录设置文件数配额，其中quota_value表示文件数配额值，取值范围为正整数，path表示待设置的目录。例如：setfattr –n icfs.quota.max_files –v 5000 /dir1，即为目录dir1设置文件个数配额为5000。客户端的不同应用在使用不同的目录时，所需的目录容量及在此目录下需创建的文件个数可能不同，因此，在为目录进行目录配额值的配置时，客户端可以根据其自身的应用情况，设置目录配额值。
在进行数据写入时，客户端接收到新的数据写入请求，首先与元数据服务器建立连接，从元数据服务器中获取到目录下已有的文件数以及文件个数配额信息。获取目录已有的文件数及文件数配额后，如果已有文件数配额未超出设置的文件个数配额值，则正常写入数据，向元数据服务器上报，更新配额信息。如果已有文件数超出所设置的文件个数配额值，提示配额已满，限制文件的写入，在配额超出的情况下，修改配额值，继续写入文件。
本发明并不仅限于上述具体实施方式，本领域普通技术人员在本发明的实质范围内做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (8)

1.一种海量存储系统的目录文件个数配额方法，其特征是包括：
1）开启目录文件个数配额功能；
2）设置目录文件个数配额；
3）进行数据写入，如果目录下的文件数未达到配额值，则正常写入，如果大于配额值，则修改配额值，进行数据的写入。
2. 根据权利要求1所述的海量存储系统的目录文件个数配额方法，其特征是：所述的步骤1）中，开启目录文件数配额功能时，在icfs.conf文件中加入dir_file_quota = true，并重新挂载客户端，使配置项生效。
3.根据权利要求1所述的海量存储系统的目录文件个数配额方法，其特征是：所述的步骤2）中设置指定目录的文件个数配额，要求设定的目录为空目录。
4. 根据权利要求1或3所述的海量存储系统的目录文件个数配额方法，其特征是：设置目录文件个数配额时，通过setfattr –n icfs.quota.max_files –v quota_value path为指定目录设置文件数配额，其中quota_value表示文件数配额值，取值范围为正整数，path表示待设置的目录。
5.根据权利要求1所述的海量存储系统的目录文件个数配额方法，其特征是：在进行数据写入时，客户端接收到新的数据写入请求，首先与元数据服务器建立连接，从元数据服务器中获取到目录下已有的文件数以及文件个数配额信息。
6.根据权利要求5所述的海量存储系统的目录文件个数配额方法，其特征是：获取目录已有的文件数及文件数配额后，如果已有文件数配额未超出设置的文件个数配额值，则正常写入数据。
7.根据权利要求6所述的海量存储系统的目录文件个数配额方法，其特征是：写入数据后，向元数据服务器上报，更新配额信息。
8.根据权利要求6所述的海量存储系统的目录文件个数配额方法，其特征是：获取目录已有的文件数及文件数配额后，判断已有文件数超出所设置的文件个数配额值，提示配额已满，限制文件的写入，在配额超出的情况下，修改配额值，继续写入文件。
CN201811488939.1A 2018-12-06 2018-12-06 一种海量存储系统的目录文件个数配额方法 Withdrawn CN109669630A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811488939.1A CN109669630A (zh) 2018-12-06 2018-12-06 一种海量存储系统的目录文件个数配额方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811488939.1A CN109669630A (zh) 2018-12-06 2018-12-06 一种海量存储系统的目录文件个数配额方法

Publications (1)

Publication Number Publication Date
CN109669630A true CN109669630A (zh) 2019-04-23

Family

ID=66143624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811488939.1A Withdrawn CN109669630A (zh) 2018-12-06 2018-12-06 一种海量存储系统的目录文件个数配额方法

Country Status (1)

Country Link
CN (1) CN109669630A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342746A (zh) * 2021-08-06 2021-09-03 联想凌拓科技有限公司 文件管理系统、文件管理方法、电子设备和存储介质
CN115617747A (zh) * 2022-12-16 2023-01-17 新华三信息技术有限公司 一种文件存储方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342746A (zh) * 2021-08-06 2021-09-03 联想凌拓科技有限公司 文件管理系统、文件管理方法、电子设备和存储介质
CN115617747A (zh) * 2022-12-16 2023-01-17 新华三信息技术有限公司 一种文件存储方法、装置及设备

Similar Documents

Publication Publication Date Title
CN105100146B (zh) 数据存储方法、装置及系统
CN103179185B (zh) 一种分布式文件系统客户端缓存中文件创建方法及其系统
US10509701B2 (en) Performing data backups using snapshots
US20130226978A1 (en) Systems and methods for scalable object storage
AU2014274300A1 (en) Access permissions for shared content
CN103605798A (zh) 一种直接操作云端存储文件的方法
CN109669630A (zh) 一种海量存储系统的目录文件个数配额方法
CN102238102B (zh) 基于配额的存档的方法和系统
WO2017076223A1 (zh) 文件存储中的索引实现方法和系统
JP2016527635A (ja) 共有に基づくコンテンツアイテム同期の優先付け
CN109446177B (zh) 一种分布式文件系统目录文件个数配额的实现方法及装置
CN103067479A (zh) 一种基于文件冷热的网盘同步方法及系统
CN109189772A (zh) 用于无文件系统存储介质的文件管理方法及系统
CN106095923A (zh) 一种在有序榜单中添加上榜数据的方法及系统
CN107402870A (zh) 一种元数据服务器中日志段的处理方法及装置
CN109240607A (zh) 一种文件读取方法和装置
CN116450287A (zh) 业务容器存储容量的管理方法、装置、设备及可读介质
CN111930556A (zh) 一种分布式存储数据的备份方法及其装置
CN103685342B (zh) 个人云存储数据中心和云数据存储的方法
CN102646133A (zh) 基于元数据存储的二维表及其组织方法
US20180203636A1 (en) Likelihood of access based object storage in a cloud environment
US20140006348A1 (en) Opportunistic clearing of sync states associated with a database
US9020902B1 (en) Reducing head and tail duplication in stored data
CN105677579A (zh) 缓存系统中的数据访问方法和系统
CN106453663A (zh) 改进的基于云服务的存储扩容方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190423