CN105740334A - 一种文件系统中异步批量创建文件的系统及方法 - Google Patents

一种文件系统中异步批量创建文件的系统及方法 Download PDF

Info

Publication number
CN105740334A
CN105740334A CN201610045909.8A CN201610045909A CN105740334A CN 105740334 A CN105740334 A CN 105740334A CN 201610045909 A CN201610045909 A CN 201610045909A CN 105740334 A CN105740334 A CN 105740334A
Authority
CN
China
Prior art keywords
file
index node
memory
asynchronous
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610045909.8A
Other languages
English (en)
Inventor
张军伟
邵冰清
顾滨兵
董欢庆
刘振军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongke Bluewhale Information Technology Co ltd
Institute of Computing Technology of CAS
Original Assignee
Tianjin Zhongke Bluewhale Information Technology Co ltd
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongke Bluewhale Information Technology Co ltd, Institute of Computing Technology of CAS filed Critical Tianjin Zhongke Bluewhale Information Technology Co ltd
Priority to CN201610045909.8A priority Critical patent/CN105740334A/zh
Publication of CN105740334A publication Critical patent/CN105740334A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/134—Distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种文件系统中异步批量创建文件的系统及方法，该系统包括文件异步创建模块，用于接收文件创建请求，在父目录下创建所述文件的内存目录项，并标记为“未同步到磁盘”状态，为所述文件分配内存索引节点，并设置所述索引节点的索引节点号为伪索引节点号；文件创建批量回刷模块，用于扫描目录项缓存，获取所述内存目录项，及与所述伪索引节点号相对应的内存索引节点，选取在相同父目录下的多个被标记为“未同步到磁盘”状态的内存目录项，为每个所述文件分配真正索引节点号替换所述伪索引节点号，并为还未分配数据块资源状态的缓存页批量分配数据块资源，将分配的数据块资源记录到文件布局中，并将所述文件的所述内存目录项插入到所述父目录中。

Description

一种文件系统中异步批量创建文件的系统及方法
技术领域
本发明涉及文件系统中文件创建技术领域，特别涉及一种文件系统中异步批量创建文件的系统及方法。
背景技术
为提高文件系统访问性能，文件系统通常以异步导出方式提供文件与数据服务。文件系统在异步导出服务方式下，单个文件创建流程包括文件元数据和数据创建的两个过程。首先，查找并分配空闲的索引节点(inode)；其次，在父目录中查找空闲位置并添加新创建文件的目录项；然后，查找并分配空闲的数据块到文件布局(layout)中；之后，把数据内容拷贝到内存缓存页(page)中。上述过程完成后，应用即认为文件创建成功。最后，文件元数据和内存页缓存数据被专门的回刷进程提交到磁盘，完成文件元数据和数据的持久化。文件系统的异步导出服务方式中，应用不必等待元数据和数据同步持久到磁盘就可以返回，获取了高的访问性能；但另一方面，如果在元数据或数据未提交到磁盘前服务器宕机，则相应的元数据和数据将被丢失。
上述文件系统的文件创建过程存在以下两方面的性能开销。一方面，存在空闲inode与空闲数据块资源的查找和分配、在父目录中查找空闲位置并添加目录项等操作开销；另一方面，每个文件异步创建过程都需要重复进行上述操作，没能利用批量查找和批量操作减少每次文件异步创建的重复查找等开销。
Linux操作系统标准的EXT3和EXT4文件系统可选择采用数据块的延迟分配技术，在文件的数据创建过程中，仅需要把数据内容拷贝到内存缓存页(page)中，应用即可认为数据创建成功。当数据异步提交到磁盘时，才进行空闲数据块的查找和分配，由此避免了文件创建过程中空闲数据块查找与分配的开销，降低了文件创建响应延迟。然而，目前仍然没有异步创建文件元数据的方式。
针对现有技术的不足，我们提出了一种新的文件系统中异步批量创建文件的方法，一方面能够避免在异步的文件创建时包括的空闲inode与空闲数据块的查找和分配、在父目录中查找空闲位置并添加目录项等操作开销；另一方面可以对文件创建进行批量查找资源和批量添加目录项等操作，避免每次文件创建的重复查找和添加等操作开销。
发明内容
针对现有技术的不足，本发明提出一种文件系统中异步批量创建文件的系统及方法。
本发明提出一种文件系统中异步批量创建文件的系统，包括：
文件异步创建模块，用于接收文件创建请求，在父目录下创建所述文件的内存目录项，并标记为“未同步到磁盘”状态，为所述文件分配内存索引节点，并设置所述索引节点的索引节点号为伪索引节点号，以标识所述索引节点为异步创建；
文件创建批量回刷模块，用于扫描目录项缓存，获取所述内存目录项，及与所述伪索引节点号相对应的索引节点，选取在相同父目录下的多个被标记为“未同步到磁盘”状态的内存目录项，为每个所述文件分配真正索引节点替换所述伪索引节点号，并为还未分配数据块资源状态的缓存页批量分配数据块资源，将分配的数据块资源添加到文件布局，并将所有所述文件的所述内存目录项插入到所述父目录中，并进行持久化。
所述文件异步创建模块还包括分配所述内存索引节点的内存数据结构并设置相应属性，所述相应属性包括创建时间、修改时间、文件大小。
还包括文件数据创建模块，用于接收文件写请求，在内存中分配缓存页,并标记状态为还未分配数据块资源状态，将需要写入的数据内容拷贝到所述缓存页中，并插入到所述文件的页缓存列表中。
还包括索引节点资源管理模块，用于管理真正索引节点是否空闲，并提供批量查找与分配空闲索引节点的接口。
还包括数据块资源管理模块，用于管理数据块资源是否空闲，并提供批量查找与分配空闲数据块资源的接口。
还包括存储介质模块，用于持久存储文件系统元数据与数据，接收文件系统的元数据与数据提交请求并进行持久化。
本发明还提出一种文件系统中异步批量创建文件的方法，包括：
步骤1，接收文件创建请求，在父目录下创建所述文件的内存目录项，并标记为“未同步到磁盘”状态，为所述文件分配内存索引节点，并设置所述索引节点的索引节点号为伪索引节点号，以标识所述索引节点为异步创建；
步骤2，扫描目录项缓存，获取所述内存目录项，及与所述伪索引节点号相对应的索引节点，选取在相同父目录下的多个被标记为“未同步到磁盘”状态的内存目录项，为每个所述文件分配新索引节点号替换所述伪索引节点号，并为还未分配数据块资源状态的缓存页批量分配数据块资源，将分配的数据块资源添加到文件布局，并将所有所述文件的所述内存目录项插入到所述父目录中，并进行持久化。
所述步骤1还包括分配所述内存索引节点的内存数据结构并设置相应属性，所述相应属性包括创建时间、修改时间、文件大小。
还包括接收文件写请求，在内存中分配缓存页,并标记状态为还未分配数据块资源状态，将需要写入的数据内容拷贝到所述缓存页中，并插入到所述文件的页缓存列表中。
最高位为1表示所述伪索引节点号，最高位为0表示所述新索引节点号。
由以上方案可知，本发明的优点在于：
本发明一方面能够避免在异步文件创建时包括空闲索引节点与空闲数据块的查找和分配，以及在父目录中查找空闲位置并添加内存目录项等操作开销；另一方面可以对文件创建进行批量查找空闲资源和批量添加内存目录项等操作，避免每次文件创建中重复查找空闲索引节点和块资源，以及多次添加内存目录项等操作开销，在很大程度上提高文件创建性能。
附图说明
图1为本发明系统构架图；
图2为本发明方法的步骤图；
图3为本发明文件异步创建数据结构图；
图4为本发明文件数据创建数据结构图；
图5为本发明dir1父目录项数据结构示意图。
具体实施方式
下面给出本发明的具体实施方式，结合附图对本发明做出了详细描述。以具体在Ext3文件系统中的实施为例，对本发明进行详细描述。
首先阐述一种文件系统中异步批量创建文件的系统。
本系统包括六个模块，如图1所示：文件异步创建模块，文件数据创建模块，文件创建批量回刷模块，索引节点资源管理模块，数据块资源管理模块，存储介质模块。
所述文件异步创建模块，首先通过标准的POSIX文件创建访问接口，接收应用发来的文件创建请求；然后在内存缓存中完成文件的创建，包括在父目录下创建所述文件的内存目录项dentry并标记为“未同步到磁盘”状态，分配内存索引节点inode内存数据结构并设置相应属性，并设置所述inode的索引节点号为伪的fake索引节点号，以标识该索引节点是异步创建的；之后即向应用返回所述文件创建成功的响应消息。
所述文件数据创建模块，首先通过标准的POSIX文件数据写访问接口，接收应用发来的文件写请求；然后在内存中分配缓存页(page),标记状态为还未分配数据块资源的unmap状态，并把数据内容拷贝到所述分配的缓存页中，并插入到所述文件的页缓存列表i_mapping中；之后即向应用返回所述文件写成功的响应消息。
所述文件创建批量回刷模块，通过扫描目录项缓存获取“未同步到磁盘”的内存目录项dentry，及其“fake索引节点号”的索引节点inode。选取在相同父目录下的多个“未同步到磁盘”的内存目录项，以8个内存目录项为例说明，进行如下批量提交到磁盘的操作。首先，调用所述索引节点资源管理模块，批量分配8个真正索引节点(新索引节点号)，并对每个文件分别用分配的真正索引节点号(新索引节点号)替换原有fake索引节点号；然后，调用所述数据块资源管理模块，针对每个文件中处于unmap状态的多个缓存页批量分配数据块资源，并将分配的数据块资源添加到文件布局中；最后，在父目录中一次查找到能够容纳8个文件内存目录项的空闲区域，把所述8个文件的内存目录项一次插入到父目录中，并且把对父目录的更新，以及所述8个文件的索引节点及其文件布局，批量提交到所述存储介质模块中进行持久化。
所述索引节点资源管理模块，管理索引节点是否空闲，并且提供批量查找与分配空闲索引节点的接口。
所述数据块资源管理模块，管理数据块资源是否空闲，并且提供批量查找与分配空闲数据块资源的接口。
所述存储介质模块，持久存储文件系统元数据与数据，接收文件系统的元数据与数据提交请求并进行持久化。
其次阐述一种文件系统中异步批量创建文件的方法，如图2所示。包含文件异步创建、文件在缓存中写数据、文件创建批量回刷步骤；其中文件创建批量回刷又包括批量分配索引节点、批量分配数据块、在父目录中批量添加内存目录项、文件创建所做更新提交到存储介质持久化步骤。
(1)文件异步创建步骤
文件异步创建仍然遵循标准的POSIX接口，以标准的文件创建接口每次接收应用创建一个文件的请求。以在父目录dir1下创建文件file_x为例具体阐述，文件异步创建数据结构如图3所示。
(1.1)文件系统接收到应用在所述父目录(dir1)下创建文件(file_x)请求。
(1.2)文件系统在dir1的dentry下分配子内存目录项dentry缓存，并且为所述dentry设置文件名字属性name为“file_x”。
(1.3)在父目录dir1中检查是否有“file_x”的同名文件。如果有同名文件，则把同名文件对应的索引节点inode内容从存储介质读取到缓存中，向应用返回文件已存在的响应消息；如果没有同名文件，则设置file_x的dentry标识为“未同步到磁盘”，在缓存中建立inode数据结构并且设置相应属性，包括创建时间、修改时间、文件大小等属性；之后，分配一个fake索引节点号，具体的，设文件系统索引节点号为64位，用最高位为1表示是fake索引节点号，真正的索引节点号的最高位为0，以此区分是否是fake索引节点，然后返回给应用创建成功的响应消息。
(2)文件在缓存中写数据步骤
文件写数据仍然遵循标准的POSIX接口，以标准的文件写数据接口接收应用写文件数据内容的请求。以写文件file_x为例具体阐述，文件数据创建的数据结构如图4所示。
(2.1)文件系统接收到应用写文件(file_x)请求，参数中包括写文件file_x的逻辑位置offset、写长度length、写内容缓存buf。
(2.2)如果文件所写的位置offset在文件布局中已经分配了数据块，则直接把buf中与该缓存页对应的内容拷贝到所述文件file_x的i_mapping对应的缓存页中，设置缓存页page对应的数据块号，设置所述page状态为mapped。
(2.3)如果文件所写的位置offset在文件布局中还未分配数据块资源，则直接把buf与该缓存页对应的内容拷贝到所述文件file_x的i_mapping对应的缓存页中，设置缓存页状态为unmap，表示还未分配数据块。
(2.4)修改文件逻辑位置offset，使offset指向下一个页；修改写文件长度length，减去已经写完的长度；修改buf地址，去除已经写完的数据内容；重复(2.2)(2.3)步骤逐页完成写文件长度length的操作，直到写文件长度length变为0为止。
(3)文件创建批量回刷步骤
文件创建批量回刷是一个独立线程，通过周期性或其他策略触发运行。以在父目录dir1下批量回刷file_1、file_2、…、file_8所述8个异步创建的文件为例进行说明。
(3.1)文件创建批量回刷线程获取父目录dir1的dentry，并且获取该目录下所述的file_1到file_8的8个“未同步到磁盘”的dentry及其处于fake索引节点号状态的inode。
(3.2)文件创建批量回刷线程调用索引节点资源管理模块的批量分配接口，一次查找并分配8个空闲的真正索引节点(新索引节点号)，为描述方便，设8个空闲的真正索引节点(新索引节点号)分别为ino_1、ino_2、…、ino_8，分别用ino_1…ino_8替换掉file_1…file_8的索引节点inode中fake索引节点号。
(3.3)文件创建批量回刷线程检索file_1…file_8的每个文件的i_mapping缓存页，获取处于unmap状态的缓存页总数量N，然后调用数据块资源管理模块的批量分配接口，一次查找并分配N个空闲数据块。分别把所述空闲数据块分配到相应文件的文件布局中，并设置处于unmap状态的缓存页的块地址为所述分配的空闲数据块，修改缓存页状态为mapped。
(3.4)在父目录dir1中，一次查找并分配能够容纳file_1…file_8的空闲内存目录项空间，并分别设置内存目录项名字与其对应ino号的对应关系，具体如：file_1<->ino_1、…、file_8<->ino_8，父目录dir1的数据结构示意如图5所示。
(3.5)把对父目录dir1的修改提交到存储介质模块相应地址中，把file_1…file_8的inode分别提交到ino_1…ino_8所对应的存储介质模块的地址中，把处于脏状态的缓存页提交到存储介质对应的数据块地址中。通过上述过程，批量完成文件创建的持久化。

Claims (10)

1.一种文件系统中异步批量创建文件的系统，其特征在于，包括：
文件异步创建模块，用于接收文件创建请求，在父目录下创建所述文件的内存目录项，并标记为“未同步到磁盘”状态，为所述文件分配内存索引节点，并设置所述索引节点的索引节点号为伪索引节点号，以标识所述索引节点为异步创建；
文件创建批量回刷模块，用于扫描目录项缓存，获取所述内存目录项，及与所述伪索引节点号相对应的索引节点，选取在相同父目录下的多个被标记为“未同步到磁盘”状态的内存目录项，为每个所述文件分配真正索引节点替换所述伪索引节点号，并为还未分配数据块资源状态的缓存页批量分配数据块资源，将分配的数据块资源添加到文件布局，并将所有所述文件的所述内存目录项插入到所述父目录中，并进行持久化。
2.如权利要求1所述的文件系统中异步批量创建文件的系统，其特征在于，所述文件异步创建模块还包括分配所述内存索引节点的内存数据结构并设置相应属性，所述相应属性包括创建时间、修改时间、文件大小。
3.如权利要求1所述的文件系统中异步批量创建文件的系统，其特征在于，还包括文件数据创建模块，用于接收文件写请求，在内存中分配缓存页,并标记状态为还未分配数据块资源状态，将需要写入的数据内容拷贝到所述缓存页中，并插入到所述文件的页缓存列表中。
4.如权利要求1所述的文件系统中异步批量创建文件的系统，其特征在于，还包括索引节点资源管理模块，用于管理真正索引节点是否空闲，并提供批量查找与分配空闲索引节点的接口。
5.如权利要求1所述的文件系统中异步批量创建文件的系统，其特征在于，还包括数据块资源管理模块，用于管理数据块资源是否空闲，并提供批量查找与分配空闲数据块资源的接口。
6.如权利要求1所述的文件系统中异步批量创建文件的系统，其特征在于，还包括存储介质模块，用于持久存储文件系统元数据与数据，接收文件系统的元数据与数据提交请求并进行持久化。
7.一种文件系统中异步批量创建文件的方法，其特征在于，包括：
步骤1，接收文件创建请求，在父目录下创建所述文件的内存目录项，并标记为“未同步到磁盘”状态，为所述文件分配内存索引节点，并设置所述索引节点的索引节点号为伪索引节点号，以标识所述索引节点为异步创建；
步骤2，扫描目录项缓存，获取所述内存目录项，及与所述伪索引节点号相对应的索引节点，选取在相同父目录下的多个被标记为“未同步到磁盘”状态的内存目录项，为每个所述文件分配新索引节点号替换所述伪索引节点号，并为还未分配数据块资源状态的缓存页批量分配数据块资源，将分配的数据块资源添加到文件布局，并将所有所述文件的所述内存目录项插入到所述父目录中，并进行持久化。
8.如权利要求7所述的文件系统中异步批量创建文件的方法，其特征在于，所述步骤1还包括分配所述内存索引节点的内存数据结构并设置相应属性，所述相应属性包括创建时间、修改时间、文件大小。
9.如权利要求7所述的文件系统中异步批量创建文件的方法，其特征在于，还包括接收文件写请求，在内存中分配缓存页,并标记状态为还未分配数据块资源状态，将需要写入的数据内容拷贝到所述缓存页中，并插入到所述文件的页缓存列表中。
10.如权利要求7所述的文件系统中异步批量创建文件的方法，其特征在于，最高位为1表示所述伪索引节点号，最高位为0表示所述新索引节点号。
CN201610045909.8A 2016-01-22 2016-01-22 一种文件系统中异步批量创建文件的系统及方法 Pending CN105740334A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610045909.8A CN105740334A (zh) 2016-01-22 2016-01-22 一种文件系统中异步批量创建文件的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610045909.8A CN105740334A (zh) 2016-01-22 2016-01-22 一种文件系统中异步批量创建文件的系统及方法

Publications (1)

Publication Number Publication Date
CN105740334A true CN105740334A (zh) 2016-07-06

Family

ID=56246399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610045909.8A Pending CN105740334A (zh) 2016-01-22 2016-01-22 一种文件系统中异步批量创建文件的系统及方法

Country Status (1)

Country Link
CN (1) CN105740334A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649625A (zh) * 2016-12-06 2017-05-10 曙光信息产业(北京)有限公司 文件同步的方法和系统
CN108132757A (zh) * 2016-12-01 2018-06-08 阿里巴巴集团控股有限公司 数据的存储方法、装置及电子设备
CN108399047A (zh) * 2017-02-06 2018-08-14 中兴通讯股份有限公司 一种闪存文件系统及其数据管理方法
CN109933609A (zh) * 2019-01-30 2019-06-25 福建天泉教育科技有限公司 一种批量生成id的方法及终端
CN112162964A (zh) * 2020-10-15 2021-01-01 苏州交驰人工智能研究院有限公司 一种自适应数据同步方法、装置、计算机设备及存储介质
CN112612751A (zh) * 2020-12-25 2021-04-06 北京浪潮数据技术有限公司 一种异步目录操作方法、装置、设备和系统
CN113568868A (zh) * 2021-07-28 2021-10-29 重庆紫光华山智安科技有限公司 文件系统管理方法、系统、电子设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024016A (zh) * 2010-11-04 2011-04-20 天津曙光计算机产业有限公司 一种分布式文件系统快速数据恢复的方法
CN103179185A (zh) * 2012-12-25 2013-06-26 中国科学院计算技术研究所 一种分布式文件系统客户端缓存中文件创建方法及其系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024016A (zh) * 2010-11-04 2011-04-20 天津曙光计算机产业有限公司 一种分布式文件系统快速数据恢复的方法
CN103179185A (zh) * 2012-12-25 2013-06-26 中国科学院计算技术研究所 一种分布式文件系统客户端缓存中文件创建方法及其系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
廉文娟 等: "《ARM嵌入式Linux驱动程序开发》", 31 March 2014, 机械工业出版社 *
杨洪章 等: "分布式文件系统中海量小文件异步创建技术", 《网络新媒体技术》 *
鞠时光: "《操作系统原理》", 31 August 2003, 武汉理工大学出版社 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108132757A (zh) * 2016-12-01 2018-06-08 阿里巴巴集团控股有限公司 数据的存储方法、装置及电子设备
CN106649625A (zh) * 2016-12-06 2017-05-10 曙光信息产业(北京)有限公司 文件同步的方法和系统
CN108399047A (zh) * 2017-02-06 2018-08-14 中兴通讯股份有限公司 一种闪存文件系统及其数据管理方法
CN108399047B (zh) * 2017-02-06 2022-11-29 中兴通讯股份有限公司 一种闪存文件系统及其数据管理方法
CN109933609A (zh) * 2019-01-30 2019-06-25 福建天泉教育科技有限公司 一种批量生成id的方法及终端
CN112162964A (zh) * 2020-10-15 2021-01-01 苏州交驰人工智能研究院有限公司 一种自适应数据同步方法、装置、计算机设备及存储介质
CN112162964B (zh) * 2020-10-15 2024-04-05 苏州交驰人工智能研究院有限公司 一种自适应数据同步方法、装置、计算机设备及存储介质
CN112612751A (zh) * 2020-12-25 2021-04-06 北京浪潮数据技术有限公司 一种异步目录操作方法、装置、设备和系统
CN113568868A (zh) * 2021-07-28 2021-10-29 重庆紫光华山智安科技有限公司 文件系统管理方法、系统、电子设备及介质
CN113568868B (zh) * 2021-07-28 2024-02-06 重庆紫光华山智安科技有限公司 文件系统管理方法、系统、电子设备及介质

Similar Documents

Publication Publication Date Title
CN105740334A (zh) 一种文件系统中异步批量创建文件的系统及方法
US20180275898A1 (en) Managing I/O Operations for Data Objects in a Storage System
CN109697016B (zh) 用于改进容器的存储性能的方法和装置
US20130018855A1 (en) Data deduplication
US20100281077A1 (en) Batching requests for accessing differential data stores
CN114860163B (zh) 一种存储系统、内存管理方法和管理节点
JP2019139759A (ja) ソリッドステートドライブ（ｓｓｄ）及び分散データストレージシステム並びにその方法
KR20170123336A (ko) 파일 조작 방법 및 장치
CN104978151A (zh) 基于应用感知的重复数据删除存储系统中的数据重构方法
CN110109873B (zh) 一种用于消息队列的文件管理方法
CN103034684A (zh) 一种基于内容寻址存储的虚拟机镜像存储优化方法
US10073648B2 (en) Repartitioning data in a distributed computing system
CN106570113B (zh) 一种海量矢量切片数据云存储方法及系统
CN112000287A (zh) 一种io请求处理装置、方法、设备及可读存储介质
CN113377868A (zh) 一种基于分布式kv数据库的离线存储系统
CN115617264A (zh) 分布式存储方法及装置
WO2016106757A1 (zh) 一种存储数据的管理方法、存储管理器及存储系统
KR100907477B1 (ko) 플래시 메모리에 저장된 데이터의 인덱스 정보 관리 장치및 방법
US10387384B1 (en) Method and system for semantic metadata compression in a two-tier storage system using copy-on-write
CN105279166B (zh) 文件管理方法和系统
CN101783814A (zh) 海量存储系统的元数据存储方法
CN101483668A (zh) 热点数据的网络存储和访问方法、设备及系统
CN112965939A (zh) 一种文件合并方法、装置和设备
EP3436973A1 (en) File system support for file-level ghosting
CN102360382A (zh) 一种高速对象并行存储系统目录复制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160706