CN109669630A - 一种海量存储系统的目录文件个数配额方法 - Google Patents
一种海量存储系统的目录文件个数配额方法 Download PDFInfo
- Publication number
- CN109669630A CN109669630A CN201811488939.1A CN201811488939A CN109669630A CN 109669630 A CN109669630 A CN 109669630A CN 201811488939 A CN201811488939 A CN 201811488939A CN 109669630 A CN109669630 A CN 109669630A
- Authority
- CN
- China
- Prior art keywords
- quota
- catalogue
- file number
- value
- files
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000007812 deficiency Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/504—Resource capping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种海量存储系统的目录文件个数配额方法,包括:1)开启目录文件个数配额功能;2)设置目录文件个数配额;3)进行数据写入,如果目录下的文件数未达到配额值,则正常写入,如果大于配额值,则修改配额值,进行数据的写入。该方法为了合理分配使用系统资源,进行了目录文件个数配额,按照需求为目录分配资源,提高系统资源的整体利用率。当目录下的文件总数超出设定的配额值时,会限制目录该的使用,实现在目录层对系统资源进行管理和控制。
Description
技术领域
本发明涉及的是一种海量存储系统的目录文件个数配额方法。
背景技术
在现有技术中,公知的技术是在存储系统的使用过程中,会存在某个目录中存放文件数量过大的情况,文件量过大会导致查询和处理数据速度下降,为了合理分配使用系统资源,因此亟需一种提高系统资源的整体利用率的方法,这是现有技术所存在的不足之处。
发明内容
本发明的目的就是针对现有技术所存在的不足,而提供一种海量存储系统的目录文件个数配额方法,该方法为了合理分配使用系统资源,进行了目录文件个数配额,按照需求为目录分配资源,提高系统资源的整体利用率。当目录下的文件总数超出设定的配额值时,会限制目录该的使用,实现在目录层对系统资源进行管理和控制。
本方案是通过如下技术措施来实现的:一种海量存储系统的目录文件个数配额方法,包括:1)开启目录文件个数配额功能;2)设置目录文件个数配额;3)进行数据写入,如果目录下的文件数未达到配额值,则正常写入,如果大于配额值,则修改配额值,进行数据的写入。开启目录文件个数配额功能,可以通过修改集群的配置文件来实现,开启目录文件数配额功能时,在icfs.conf文件中加入dir_file_quota = true,并重新挂载客户端,使配置项生效。
设置指定目录的文件个数配额,要求设定的目录为空目录。并且设置目录文件个数配额时,通过setfattr –n icfs.quota.max_files –v quota_value path为指定目录设置文件数配额,其中quota_value表示文件数配额值,取值范围为正整数,path表示待设置的目录。
在进行数据写入时,客户端接收到新的数据写入请求,首先与元数据服务器建立连接,从元数据服务器中获取到目录下已有的文件数以及文件个数配额信息。获取目录已有的文件数及文件数配额后,如果已有文件数配额未超出设置的文件个数配额值,则正常写入数据,写入数据后,向元数据服务器上报,更新配额信息;如果已有文件数超出所设置的文件个数配额值,提示配额已满,限制文件的写入,在配额超出的情况下,修改配额值,继续写入文件。这样就可以对限制目录的使用,避免无限制的写入数据。
由此可见,本发明与现有技术相比,具有突出的实质性特点和显著的进步,其实施的有益效果也是显而易见的。
附图说明
图1为本发明具体实施方式的流程图。
具体实施方式
为能清楚说明本方案的技术特点,下面通过一个具体实施方式,并结合其附图,对本方案进行阐述。
通过附图可以看出,本方案的海量存储系统的目录文件个数配额方法,包括:1)开启目录文件个数配额功能;开启目录文件数配额功能时,在icfs.conf文件中加入dir_file_quota = true,并重新挂载客户端,使配置项生效;2)设置目录文件个数配额;设置指定目录的文件个数配额,要求设定的目录为空目录;3)进行数据写入,如果目录下的文件数未达到配额值,则正常写入,如果大于配额值,则修改配额值,进行数据的写入。
设置目录文件个数配额时,通过setfattr –n icfs.quota.max_files –v quota_value path为指定目录设置文件数配额,其中quota_value表示文件数配额值,取值范围为正整数,path表示待设置的目录。例如:setfattr –n icfs.quota.max_files –v 5000 /dir1,即为目录dir1设置文件个数配额为5000。客户端的不同应用在使用不同的目录时,所需的目录容量及在此目录下需创建的文件个数可能不同,因此,在为目录进行目录配额值的配置时,客户端可以根据其自身的应用情况,设置目录配额值。
在进行数据写入时,客户端接收到新的数据写入请求,首先与元数据服务器建立连接,从元数据服务器中获取到目录下已有的文件数以及文件个数配额信息。获取目录已有的文件数及文件数配额后,如果已有文件数配额未超出设置的文件个数配额值,则正常写入数据,向元数据服务器上报,更新配额信息。如果已有文件数超出所设置的文件个数配额值,提示配额已满,限制文件的写入,在配额超出的情况下,修改配额值,继续写入文件。
本发明并不仅限于上述具体实施方式,本领域普通技术人员在本发明的实质范围内做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (8)
1.一种海量存储系统的目录文件个数配额方法,其特征是包括:
1)开启目录文件个数配额功能;
2)设置目录文件个数配额;
3)进行数据写入,如果目录下的文件数未达到配额值,则正常写入,如果大于配额值,则修改配额值,进行数据的写入。
2. 根据权利要求1所述的海量存储系统的目录文件个数配额方法,其特征是:所述的步骤1)中,开启目录文件数配额功能时,在icfs.conf文件中加入dir_file_quota = true,并重新挂载客户端,使配置项生效。
3.根据权利要求1所述的海量存储系统的目录文件个数配额方法,其特征是:所述的步骤2)中设置指定目录的文件个数配额,要求设定的目录为空目录。
4. 根据权利要求1或3所述的海量存储系统的目录文件个数配额方法,其特征是:设置目录文件个数配额时,通过setfattr –n icfs.quota.max_files –v quota_value path为指定目录设置文件数配额,其中quota_value表示文件数配额值,取值范围为正整数,path表示待设置的目录。
5.根据权利要求1所述的海量存储系统的目录文件个数配额方法,其特征是:在进行数据写入时,客户端接收到新的数据写入请求,首先与元数据服务器建立连接,从元数据服务器中获取到目录下已有的文件数以及文件个数配额信息。
6.根据权利要求5所述的海量存储系统的目录文件个数配额方法,其特征是:获取目录已有的文件数及文件数配额后,如果已有文件数配额未超出设置的文件个数配额值,则正常写入数据。
7.根据权利要求6所述的海量存储系统的目录文件个数配额方法,其特征是:写入数据后,向元数据服务器上报,更新配额信息。
8.根据权利要求6所述的海量存储系统的目录文件个数配额方法,其特征是:获取目录已有的文件数及文件数配额后,判断已有文件数超出所设置的文件个数配额值,提示配额已满,限制文件的写入,在配额超出的情况下,修改配额值,继续写入文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811488939.1A CN109669630A (zh) | 2018-12-06 | 2018-12-06 | 一种海量存储系统的目录文件个数配额方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811488939.1A CN109669630A (zh) | 2018-12-06 | 2018-12-06 | 一种海量存储系统的目录文件个数配额方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109669630A true CN109669630A (zh) | 2019-04-23 |
Family
ID=66143624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811488939.1A Withdrawn CN109669630A (zh) | 2018-12-06 | 2018-12-06 | 一种海量存储系统的目录文件个数配额方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109669630A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113342746A (zh) * | 2021-08-06 | 2021-09-03 | 联想凌拓科技有限公司 | 文件管理系统、文件管理方法、电子设备和存储介质 |
CN115617747A (zh) * | 2022-12-16 | 2023-01-17 | 新华三信息技术有限公司 | 一种文件存储方法、装置及设备 |
-
2018
- 2018-12-06 CN CN201811488939.1A patent/CN109669630A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113342746A (zh) * | 2021-08-06 | 2021-09-03 | 联想凌拓科技有限公司 | 文件管理系统、文件管理方法、电子设备和存储介质 |
CN115617747A (zh) * | 2022-12-16 | 2023-01-17 | 新华三信息技术有限公司 | 一种文件存储方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105100146B (zh) | 数据存储方法、装置及系统 | |
CN103179185B (zh) | 一种分布式文件系统客户端缓存中文件创建方法及其系统 | |
US9325571B2 (en) | Access permissions for shared content | |
US10509701B2 (en) | Performing data backups using snapshots | |
US20140229455A1 (en) | Systems and methods for scalable object storage | |
CN109669630A (zh) | 一种海量存储系统的目录文件个数配额方法 | |
CN103475731A (zh) | 一种媒体信息匹配、处理方法和设备 | |
JP2016527635A (ja) | 共有に基づくコンテンツアイテム同期の優先付け | |
WO2015103794A1 (zh) | 一种文件访问权限控制方法及装置 | |
US20200301944A1 (en) | Method and apparatus for storing off-chain data | |
CN109446177B (zh) | 一种分布式文件系统目录文件个数配额的实现方法及装置 | |
CN102238102A (zh) | 基于配额的存档 | |
CN107402870A (zh) | 一种元数据服务器中日志段的处理方法及装置 | |
CN109240607A (zh) | 一种文件读取方法和装置 | |
US20180203636A1 (en) | Likelihood of access based object storage in a cloud environment | |
CN103685342B (zh) | 个人云存储数据中心和云数据存储的方法 | |
US9990378B2 (en) | Opportunistic clearing of sync states associated with a database | |
WO2008111359A1 (ja) | ファイルサーバシステム及びファイル管理方法 | |
US8706695B1 (en) | Reducing head and tail duplication in stored data | |
US20220318201A1 (en) | Accessing network based content items by a mobile device while offline | |
CN109240599A (zh) | 一种大数据储存系统集成 | |
CN103581243B (zh) | 一种海量流媒体存储的系统和方法 | |
CN112597102B (zh) | 一种高效的镜像文件系统实现方法 | |
CN103201753B (zh) | 自主智能内容项目 | |
CN104917819B (zh) | 一种实现数据同步的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190423 |