CN111309686B - 一种目录配额一致性控制方法、装置、设备及介质 - Google Patents
一种目录配额一致性控制方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111309686B CN111309686B CN202010104962.7A CN202010104962A CN111309686B CN 111309686 B CN111309686 B CN 111309686B CN 202010104962 A CN202010104962 A CN 202010104962A CN 111309686 B CN111309686 B CN 111309686B
- Authority
- CN
- China
- Prior art keywords
- quota
- file
- directory
- client
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002159 abnormal effect Effects 0.000 claims abstract description 41
- 230000004048 modification Effects 0.000 claims description 19
- 238000012986 modification Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 230000009467 reduction Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1727—Details of free space management performed by the file system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种目录配额一致性控制方法、装置、设备及介质，包括：当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息；根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录；利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。能够在客户端发生异常时，实现目录配额的一致性，并且避免了系统性能的降低，节省了人工成本。
Description
技术领域
本申请涉及存储技术领域，特别涉及一种目录配额一致性控制方法、装置、设备及介质。
背景技术
在云存储应用中，对外提供分布式文件协议时由于空间比较大，用户用途比较复杂，网管经常会需要对空间进行有效管理，来维护庞大的云存空间。在传统应用中一般依赖上层应用对空间进行有效管理，多种应用使用时需要每个应用做自己的空间管理模块。这种情况下就会重复的开发相同功能，并且管理精度都不相同，甚至各种查询会对底层存储造成大量查询占用元数据的ops(即Orbeon Presentation Server，元数据描述服务)资源。
在云存储中多个客户端使用一个配额目录时，一般采用先从元数据服务预申请临时可写入大小，在临时配额用尽之前，定时从客户端向元数据服务更新使用量的方式，来保证配额精度，但是在客户端异常终止的情况发生时，会存在配额精度无法保证的情况。目前的解决方案，通常是提高客户端和元数据服务端的交互频度或者手动重新统计文件大小，前者会极大的降低系统性能，后者会耗费大量人工成本。
发明内容
有鉴于此，本申请的目的在于提供一种目录配额一致性控制方法、装置、设备及介质，能够在客户端发生异常时，实现目录配额的一致性，并且避免了系统性能的降低，节省了人工成本。其具体方案如下：
第一方面，本申请公开了一种目录配额一致性控制方法，应用于分布式文件系统的元数据服务端，包括：
当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息；
根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录；
利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。
可选的，所述目录配额一致性控制方法，还包括：
获取所述客户端针对任一目录的写入空间配额申请，然后为所述客户端分配对应目录的所述写入空间配额，并将所述写入空间配额确定为所述目录配额信息的已使用配额。
可选的，所述目录配额一致性控制方法，还包括：
将所述目录配额信息同步至所述客户端，以便所述客户端根据所述目录配额信息申请所述写入空间配额。
可选的，所述目录配额一致性控制方法，还包括：
获取所述客户端上报的所述写入空间配额的当前使用信息以及当前访问文件的文件大小信息、文件修改时间；所述使用信息包括所述写入空间配额的未使用配额和已使用配额。
可选的，所述目录配额一致性控制方法，还包括：
获取所述客户端归还的剩余配额信息，然后利用所述剩余配额信息更新对应的所述目录配额信息；其中，所述剩余配额信息为所述客户端没有IO之后未使用的配额。
可选的，所述目录配额一致性控制方法，还包括：
当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的文件修改时间；
更新本地记录的对应的文件修改时间。
可选的，所述当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，包括：
当监测到客户端异常，则根据该客户端的客户端标识查找对应的未正常关闭文件列表；
根据所述未正常关闭文件列表中所述未正常关闭文件的文件标识并行探测底层存储中所述未正常关闭文件的文件条带。
第二方面，本申请公开了一种目录配额一致性控制装置，应用于分布式文件系统的元数据服务端，包括：
客户端状态监测模块，用于监测客户端的运行状态；
文件条带探测模块，用于当所述客户端状态监测模块监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息；
配额使用情况确定模块，用于根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录；
目录配额信息更新模块，用于利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。
第三方面，本申请公开了一种目录配额一致性控制设备，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现前述的目录配额一致性控制方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的目录配额一致性控制方法。
可见，本申请当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息，然后根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录，最后利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。这样，当客户端发生异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取未正常关闭文件的文件大小信息，然后根据获取到的文件大小信息与本地存储的对应的文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况，最后利用所述实际使用情况更新所述目标目录的目录配额信息，能够在客户端发生异常时，实现目录配额的一致性，并且避免了系统性能的降低，节省了人工成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种目录配额一致性控制方法流程图；
图2为本申请公开的一种具体的目录配额一致性控制方法流程图；
图3为本申请公开的一种目录配额一致性控制装置结构示意图；
图4为本申请公开的一种目录配额一致性控制设备结构图；
图5为本申请公开的一种服务器结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在云存储中多个客户端使用一个配额目录时，一般采用先从元数据服务预申请临时可写入大小，在临时配额用尽之前，定时从客户端向元数据服务更新使用量的方式，来保证配额精度，但是在客户端异常终止的情况发生时，会存在配额精度无法保证的情况。目前的解决方案，通常是提高客户端和元数据服务端的交互频度或者手动重新统计文件大小，前者会极大的降低系统性能，后者会耗费大量人工成本。为此，本申请提供了一种目录配额一致性控制方法，能够在客户端发生异常时，实现目录配额的一致性，并且避免了系统性能的降低，节省了人工成本。
参见图1所示，本申请实施例公开了一种目录配额一致性控制方法，应用于分布式文件系统的元数据服务端，包括：
步骤S11：当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息。
在具体的实施方式中，本实施例可以当监测到客户端异常，则根据该客户端的客户端标识查找对应的未正常关闭文件列表；根据所述未正常关闭文件列表中所述未正常关闭文件的文件标识并行探测底层存储中所述未正常关闭文件的文件条带。在具体的实施过程中，元数据服务端中会存在客户端访问的文件列表，文件正常关闭，则将正常关闭的文件从文件列表中移除，当客户端异常，未正常关闭文件仍然存在于该列表中，文件大小未正常更新。
并且，本实施例在并行探测底层存储中未正常关闭文件的文件条带时，还可以获取所述未正常关闭文件的文件修改时间；更新本地记录的对应的文件修改时间。
其中，元数据服务端统一管理所有目录的配额信息。
步骤S12：根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录。
可以理解的，第一文件大小信息为未正常关闭文件当前真实的大小信息，而第二文件大小信息为元数据服务端记录的未正常关闭文件的大小信息，利用第一文件大小信息与第二文件大小信息的差值以及本地记录的写入空间配额的使用信息，可以确定出写入空间配额的实际使用情况，比如针对目标目录的写入空间配额为64M，本地记录的使用信息为已使用配额为3M，未使用配额为61M，而第一文件大小信息为2M，第二文件大小信息为1M，第一文件大小信息和第二文件大小信息的差值为1M，则该写入空间配额的实际使用情况为已使用4M,未使用60M。本实施例可以利用第一文件大小信息更新本地记录的对应的文件大小信息。也即，恢复文件的isize。
在具体的实施方式中，元数据服务端可以获取所述客户端针对任一目录的写入空间配额申请，然后为所述客户端分配对应目录的所述写入空间配额，并将所述写入空间配额确定为所述目录配额信息的已使用配额。也即，将分配给客户端的写入空间配额从目录配额的未使用配额中减去。
并且，元数据服务端可以获取所述客户端上报的所述写入空间配额的当前使用信息以及当前访问文件的文件大小信息、文件修改时间；所述使用信息包括所述写入空间配额的未使用配额和已使用配额。并将这些信息记录在本地。在具体的实施方式中，客户端可以定时更新文件大小信息以及所述写入空间配额的未使用配额和已使用配额，将更新后的文件大小信息和所述写入空间配额的未使用配额和已使用配额发送给元数据服务端。另外元数据服务端可以记载对应的inode文件最后一次被哪个客户端更新的tid时间戳。
步骤S13：利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。
可以理解的是，在客户端申请写入空间配额时，已将该写入空间配额从目标目录的未使用配额中扣除，统计在已使用配额中，最后根据实际使用情况可以将该写入空间配额未使用配额归还，比如，实际未使用60M,归还60M,即将这60M加入该目标目录的未使用配额中。这样，元数据服务端在客户端异常时，进行统计恢复，可以保证数据的一致性。
可见，本申请实施例当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息，然后根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录，最后利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。这样，当客户端发生异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取未正常关闭文件的文件大小信息，然后根据获取到的文件大小信息与本地存储的对应的文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况，最后利用所述实际使用情况更新所述目标目录的目录配额信息，能够在客户端发生异常时，实现目录配额的一致性，并且避免了系统性能的降低，节省了人工成本。
参见图2所示，本申请实施例公开了一种具体的目录配额一致性控制方法，应用于分布式文件系统的元数据服务端，包括：
步骤S21：当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息。
步骤S22：根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录。
步骤S23：利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。
其中，关于上述步骤S21至S23的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
步骤S24：将所述目录配额信息同步至所述客户端，以便所述客户端根据所述目录配额信息申请所述写入空间配额。
在具体的实施方式中，元数据服务端统一管理所有目录的目录配额信息，目录配额信息是随着客户端的配额申请和配额归还实时更新的，元数据服务端可以将实时更新的目录配额信息同步至客户端，这样客户端可以根据目录配额信息中未使用配额的大小进行写入空间配额的申请，在具体的实施方式中，客户端每次向元数据服务端申请时，申请当前可申请的最大写入空间配额，在用完之前不会再去申请，这样根据目录未使用配额的大小设定预申请的写入空间配额大小，可以减少申请频度，减少交互频度对系统性能的影响。
步骤S25：获取所述客户端归还的剩余配额信息，然后利用所述剩余配额信息更新对应的所述目录配额信息；其中，所述剩余配额信息为所述客户端没有IO之后未使用的配额。
也即，本实施例中，客户端可以主动将剩余配额归还，元数据服务端可以将归还的剩余配额统计到目录未使用配额中，以更新目录配额信息。
参见图3所示，本申请实施例公开了一种目录配额一致性控制装置，应用于分布式文件系统的元数据服务端，包括：
客户端状态监测模块11，用于监测客户端的运行状态；
文件条带探测模块12，用于当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息；
配额使用情况确定模块13，用于根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录；
目录配额信息更新模块14，用于利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。
可见，本申请实施例当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息，然后根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录，最后利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。这样，当客户端发生异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取未正常关闭文件的文件大小信息，然后根据获取到的文件大小信息与本地存储的对应的文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况，最后利用所述实际使用情况更新所述目标目录的目录配额信息，能够在客户端发生异常时，实现目录配额的一致性，并且避免了系统性能的降低，节省了人工成本。
所述目录配额一致性控制装置还包括配额申请响应模块，用于获取所述客户端针对任一目录的写入空间配额申请，然后为所述客户端分配对应目录的所述写入空间配额，并将所述写入空间配额确定为所述目录配额信息的已使用配额。
所述目录配额一致性控制装置还包括目录配额信息同步模块，用于将所述目录配额信息同步至所述客户端，以便所述客户端根据所述目录配额信息申请所述写入空间配额。
所述目录配额一致性控制装置还包括数据获取模块，用于获取所述客户端上报的所述写入空间配额的当前使用信息以及当前访问文件的文件大小信息、文件修改时间；所述使用信息包括所述写入空间配额的未使用配额和已使用配额。
所述目录配额一致性控制装置还包括剩配额获取模块，用于获取所述客户端归还的剩余配额信息，然后利用所述剩余配额信息更新对应的所述目录配额信息；其中，所述剩余配额信息为所述客户端没有IO之后未使用的配额。
所述文件条带探测模块12还用于并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的文件修改时间。相应的，所述目录配额一致性控制装置还包括文件修改时间更新模块，用于更新本地记录的对应的文件修改时间。
其中，所述配额使用情况确定模块13具体用于当监测到客户端异常，则根据该客户端的客户端标识查找对应的未正常关闭文件列表；根据所述未正常关闭文件列表中所述未正常关闭文件的文件标识并行探测底层存储中所述未正常关闭文件的文件条带。
参见图4所示，本申请实施例公开了一种目录配额一致性控制设备，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，以实现以下步骤：
当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息；根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录；利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。
可见，本申请实施例当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息，然后根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录，最后利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。这样，当客户端发生异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取未正常关闭文件的文件大小信息，然后根据获取到的文件大小信息与本地存储的对应的文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况，最后利用所述实际使用情况更新所述目标目录的目录配额信息，能够在客户端发生异常时，实现目录配额的一致性，并且避免了系统性能的降低，节省了人工成本。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：获取所述客户端针对任一目录的写入空间配额申请，然后为所述客户端分配对应目录的所述写入空间配额，并将所述写入空间配额确定为所述目录配额信息的已使用配额。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：将所述目录配额信息同步至所述客户端，以便所述客户端根据所述目录配额信息申请所述写入空间配额。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：获取所述客户端上报的所述写入空间配额的当前使用信息以及当前访问文件的文件大小信息、文件修改时间；所述使用信息包括所述写入空间配额的未使用配额和已使用配额。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：获取所述客户端归还的剩余配额信息，然后利用所述剩余配额信息更新对应的所述目录配额信息；其中，所述剩余配额信息为所述客户端没有IO之后未使用的配额。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的文件修改时间；更新本地记录的对应的文件修改时间。
本实施例中，所述处理器21执行所述存储器22中保存的计算机子程序时，可以具体实现以下步骤：当监测到客户端异常，则根据该客户端的客户端标识查找对应的未正常关闭文件列表；根据所述未正常关闭文件列表中所述未正常关闭文件的文件标识并行探测底层存储中所述未正常关闭文件的文件条带。
参见图5所示，本申请公开了一种服务器20，包括前述实施例中公开的处理器21和存储器22。关于上述处理器21具体可以执行的步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本实施例中的服务器20，还可以具体包括电源23、通信接口24、输入输出接口25和通信总线26；其中，电源23用于为服务器20上的各硬件设备提供工作电压；通信接口24能够为服务器20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，计算机程序被处理器执行时实现以下步骤：
当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息；根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录；利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。
可见，本申请实施例当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息，然后根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录，最后利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。这样，当客户端发生异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取未正常关闭文件的文件大小信息，然后根据获取到的文件大小信息与本地存储的对应的文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况，最后利用所述实际使用情况更新所述目标目录的目录配额信息，能够在客户端发生异常时，实现目录配额的一致性，并且避免了系统性能的降低，节省了人工成本。
本实施例中，计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：获取所述客户端针对任一目录的写入空间配额申请，然后为所述客户端分配对应目录的所述写入空间配额，并将所述写入空间配额确定为所述目录配额信息的已使用配额。
本实施例中，计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：将所述目录配额信息同步至所述客户端，以便所述客户端根据所述目录配额信息申请所述写入空间配额。
本实施例中，计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：获取所述客户端上报的所述写入空间配额的当前使用信息以及当前访问文件的文件大小信息、文件修改时间；所述使用信息包括所述写入空间配额的未使用配额和已使用配额。
本实施例中，计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：获取所述客户端归还的剩余配额信息，然后利用所述剩余配额信息更新对应的所述目录配额信息；其中，所述剩余配额信息为所述客户端没有IO之后未使用的配额。
本实施例中，计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的文件修改时间；更新本地记录的对应的文件修改时间。
本实施例中，计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：当监测到客户端异常，则根据该客户端的客户端标识查找对应的未正常关闭文件列表；根据所述未正常关闭文件列表中所述未正常关闭文件的文件标识并行探测底层存储中所述未正常关闭文件的文件条带。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种目录配额一致性控制方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种目录配额一致性控制方法，其特征在于，应用于分布式文件系统的元数据服务端，包括：
当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息；
根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录；
利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。
2.根据权利要求1所述的目录配额一致性控制方法，其特征在于，还包括：
获取所述客户端针对任一目录的写入空间配额申请，然后为所述客户端分配对应目录的所述写入空间配额，并将所述写入空间配额确定为所述目录配额信息的已使用配额。
3.根据权利要求1所述的目录配额一致性控制方法，其特征在于，还包括：
将所述目录配额信息同步至所述客户端，以便所述客户端根据所述目录配额信息申请所述写入空间配额。
4.根据权利要求1所述的目录配额一致性控制方法，其特征在于，还包括：
获取所述客户端上报的所述写入空间配额的当前使用信息以及当前访问文件的文件大小信息、文件修改时间；所述使用信息包括所述写入空间配额的未使用配额和已使用配额。
5.根据权利要求1所述的目录配额一致性控制方法，其特征在于，还包括：
获取所述客户端归还的剩余配额信息，然后利用所述剩余配额信息更新对应的所述目录配额信息；其中，所述剩余配额信息为所述客户端没有IO之后未使用的配额。
6.根据权利要求1所述的目录配额一致性控制方法，其特征在于，还包括：
当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的文件修改时间；
更新本地记录的对应的文件修改时间。
7.根据权利要求1至6任一项所述的目录配额一致性控制方法，其特征在于，所述当监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，包括：
当监测到客户端异常，则根据该客户端的客户端标识查找对应的未正常关闭文件列表；
根据所述未正常关闭文件列表中所述未正常关闭文件的文件标识并行探测底层存储中所述未正常关闭文件的文件条带。
8.一种目录配额一致性控制装置，其特征在于，应用于分布式文件系统的元数据服务端，包括：
客户端状态监测模块，用于监测客户端的运行状态；
文件条带探测模块，用于当所述客户端状态监测模块监测到客户端异常，则并行探测底层存储中未正常关闭文件的文件条带，以获取所述未正常关闭文件的第一文件大小信息；
配额使用情况确定模块，用于根据所述第一文件大小信息与第二文件大小信息的差值确定出所述客户端针对目标目录预申请的写入空间配额的实际使用情况；其中，所述第二文件大小信息为本地记录的所述未正常关闭文件的当前文件大小信息；所述目标目录为所述未正常关闭文件所在的目录；
目录配额信息更新模块，用于利用所述实际使用情况更新所述目标目录的目录配额信息；其中，所述目录配额信息包括未使用配额和已使用配额。
9.一种目录配额一致性控制设备，其特征在于，包括处理器和存储器；其中，
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的目录配额一致性控制方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的目录配额一致性控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010104962.7A CN111309686B (zh) | 2020-02-20 | 2020-02-20 | 一种目录配额一致性控制方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010104962.7A CN111309686B (zh) | 2020-02-20 | 2020-02-20 | 一种目录配额一致性控制方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111309686A CN111309686A (zh) | 2020-06-19 |
| CN111309686B true CN111309686B (zh) | 2022-07-08 |
Family
ID=71145090
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010104962.7A Active CN111309686B (zh) | 2020-02-20 | 2020-02-20 | 一种目录配额一致性控制方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111309686B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116821052B (zh) * | 2023-08-29 | 2024-05-14 | 深圳爱图仕创新科技股份有限公司 | 文件处理方法、装置、数据采集设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104158858A (zh) * | 2014-07-29 | 2014-11-19 | 浪潮(北京)电子信息产业有限公司 | 一种访问分布式集群文件系统方法及系统 |
| CN107729417A (zh) * | 2017-09-27 | 2018-02-23 | 郑州云海信息技术有限公司 | 一种配额归还实现方法、装置、设备及计算机存储介质 |
-
2020
- 2020-02-20 CN CN202010104962.7A patent/CN111309686B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111309686A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108121782B (zh) | 查询请求的分配方法、数据库中间件系统以及电子设备 | |
| CN108196787B (zh) | 集群存储系统的配额管理方法以及集群存储系统 | |
| CN109299157B (zh) | 一种分布式大单表的数据导出方法及装置 | |
| CN111262726B (zh) | 一种配置信息更新方法、装置及计算机可读存储介质 | |
| CN107832169B (zh) | 内存数据迁移方法、装置、终端设备和存储介质 | |
| CN110647514B (zh) | 一种元数据更新方法、装置及元数据服务器 | |
| JP2020057416A (ja) | 分散データベースにおけるデータブロックを処理する方法およびデバイス | |
| CN111399764A (zh) | 数据存储方法、读取方法、装置、设备及存储介质 | |
| CN112085535A (zh) | 资源计量计费方法、装置、集群及存储介质 | |
| CN111930716A (zh) | 一种数据库扩容方法、装置及系统 | |
| CN111917834A (zh) | 一种数据同步方法、装置、存储介质及计算机设备 | |
| CN112579692A (zh) | 一种数据同步方法、装置、系统、设备及存储介质 | |
| CN111309686B (zh) | 一种目录配额一致性控制方法、装置、设备及介质 | |
| CN113760847A (zh) | 日志数据处理方法、装置、设备及存储介质 | |
| CN105162869A (zh) | 一种用于数据备份管理的方法与设备 | |
| CN109947730A (zh) | 元数据恢复方法、装置、分布式文件系统及可读存储介质 | |
| CN111404737B (zh) | 一种容灾处理方法以及相关装置 | |
| CN113377789A (zh) | 数据库变更数据的处理方法、装置、计算机设备和介质 | |
| CN111147226B (zh) | 数据存储方法、装置及存储介质 | |
| CN115587147A (zh) | 一种数据处理方法及系统 | |
| CN113590643B (zh) | 基于双轨数据库的数据同步方法、装置、设备和存储介质 | |
| CN115563073A (zh) | 分布式元数据的数据处理的方法、装置及电子设备 | |
| CN110543496B (zh) | 用于时序数据库集群的数据处理方法和装置 | |
| CN110569231B (zh) | 数据迁移方法、装置、设备和介质 | |
| CN110245122B (zh) | 一种数据处理的方法和kv存储系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |