CN107832423B - 一种用于分布式文件系统的文件读写方法 - Google Patents
一种用于分布式文件系统的文件读写方法 Download PDFInfo
- Publication number
- CN107832423B CN107832423B CN201711113646.0A CN201711113646A CN107832423B CN 107832423 B CN107832423 B CN 107832423B CN 201711113646 A CN201711113646 A CN 201711113646A CN 107832423 B CN107832423 B CN 107832423B
- Authority
- CN
- China
- Prior art keywords
- file
- client
- data
- written
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000004891 communication Methods 0.000 claims abstract description 11
- 230000003993 interaction Effects 0.000 abstract description 4
- 238000007726 management method Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种用于分布式文件系统的文件读写方法，文件读采用客户端‑>元数据服务器‑>数据服务器‑>客户端的文件读取IO路径，文件写时客户端获取需要进行文件写的待写文件数量，如果待写文件数量超过预设阈值，则判定高性能计算场景，且针对高性能计算场景下大量的线程同时写文件采用“先写数据后创建元数据”的策略以降低元数据服务器上的突发负载；否则，针对每一个待写的目标文件采用客户端‑>数据服务器‑>元数据服务器‑>客户端的文件写入IO路径。本发明具有文件读写速度快，效率高，减少了客户端和元数据服务器交互的次数，降低了通信开销的优点。
Description
技术领域
本发明涉及分布式存储系统领域，具体涉及一种用于分布式文件系统的文件读写方法。
背景技术
随着大数据应用的普及与深入，基础计算框架对储存系统在规模和性能要求等方面提出了更高的挑战。高性能计算机对分布式文件系统性能要求越来越高，在海量小文件频繁创建删除和大规模并发I/O操作的应用场景中，文件系统读写效率成为限制其性能的关键因素。例如，对健康大数据，交通大数据和金融大数据等这些应用来说，数据量通常都在TB、PB甚至EB数量级，因此需要大量的储存资源来储存和管理这些数据。此外，大量的数据分析任务需要从不同存储地址快速的访问数据，这对于储存系统的读写速度也具有很高的要求。因此，要支持海量大规模数据储存和计算，除了系统的硬件特性之外，高效的数据组织和管理也是必不可少的关键技术之一。作为应用系统基础平台的用于支持数据访问的文件系统，其性能和可扩展性就变得越来越重要。为了提高文件系统性能，并在一定程度上提高文件系统的可扩展性，如GFS、Hadoop Distribute File System（HDFS）、Lustre等分布式文件系统应运而生。这些分布式文件系统通过将元数据服务和数据服务分离，由元数据服务器来提供元数据服务，由多个数据服务器来并行提供数据服务。其中，元数据采用集中式管理方式，在数据规模小或特定的应用环境下，集中式管理方式在减小元数据访问的通信代价以及维护元数据的一致性开销等方面显示了优势，但这种管理方式可维护的元数据量，以及可提供的元数据服务性能都会受到限制，元数据服务器随着数据量的增长，将会成为系统的性能瓶颈，不利于系统进一步扩展。
传统的分布式文件系统读写文件的具体过程为：（1）客户端接收用户发送的文件创建请求；（2）客户端向元数据服务器请求创建文件；（3）元数据服务器根据文件创建请求将该文件在数据服务器中创建后返回文件ID；（4）客户端接收元数据服务器返回的文件ID，把文件ID编码为字符串文件名发送给用户；（5）客户端接收用户通过该字符串文件名发起的文件读写请求；（6）客户端将字符串文件名反编码为文件ID，并向元数据服务器请求该文件相关的数据服务器信息，该数据服务器信息用于指示将该文件被创建至在哪个数据服务器。
但是传统的分布式文件系统读写文件在执行步骤（4）后，客户端无法根据用户传入的该文件的文件名直接读写数据服务器，必须通过执行步骤（5）和步骤（6）之后，必须通过从元数服务器获取该文件的数据服务器信息之后，才能读写数据服务器。这种读写文件的方式降低了客户端访问文件的效率，同时也增大了元数服务器的访问压力。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种用于分布式文件系统的文件读写方法，具有文件读写速度快，效率高，减少了客户端和元数据服务器交互的次数，降低了通信开销的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种用于分布式文件系统的文件读写方法，文件读的实施步骤包括：
A1）客户端向分布式文件系统的元数据服务器发送读取文件的请求；
A2）元数据服务器在收到客户端的请求后向客户端返回查询元数据信息、且向读取文件的文件块所在的数据服务器发送客户端请求信息及通信地址，客户端根据元数据服务器返回信息找到读取文件的文件块所在的数据服务器；
A3）数据服务器收到客户端请求信息及通信地址后，和客户端建立连接并开始向客户端发送读取文件的文件块数据；
A4）客户端以文件块为单位接收数据，先在本地缓存、然后写入目标文件，将后面的文件块和前面的文件块合并成最终所需要的文件，完成数据读取。
优选地，文件写的实施步骤包括：
B1）客户端获取需要进行文件写的待写文件数量，如果待写文件数量超过预设阈值，则跳转执行步骤B6）；否则，针对每一个待写的目标文件跳转执行下一步；
B2）客户端向分布式文件系统的数据服务器通信发送写入目标文件的请求；
B3）数据服务器在收到客户端的请求后，检查写入的目标文件不存在、且目标文件的父目录存在是否成立，如果成立则创建目标文件，跳转执行下一步；否则，让客户端抛出异常并退出；
B4）客户端先将待写的目标文件切分成数据块，然后开始和数据服务器建立连接，数据服务器开始写入数据，并记录元数据信息；
B5）数据服务器将目标文件写入存储完成，并向元数据服务器发送已写入存储完成的文件的元数据信息和文件存储数据块信息，退出；
B6）客户端将直接与数据服务器交互，完成待写文件的文件对象的分配；
B7）当获得分配的文件对象后，数据服务器直接将客户端上的待写文件数据存到数据服务器，然后同时把元数据信息和数据分布信息保存到本地对象储存中；
B8）当一个客户端的所有待写文件的写入作业完成后，数据服务器向元数据服务器发送对应的元数据和数据对象分布信息；
B9）元数据服务器接收迁移的文件元数据和数据分布信息进行可靠存储。
优选地，步骤B6）客户端将直接与数据服务器交互时，预先向数据服务器发送每一个待写文件的类型，每一个待写文件的类型包括文件是否为临时文件；步骤B8）当一个客户端的所有待写文件的写入作业完成后，数据服务器向元数据服务器发送类型为非临时文件的待写文件对应的元数据和数据对象分布信息。
本发明用于分布式文件系统的文件读写方法具有下述优点：
1、本发明用于分布式文件系统的文件读写方法的文件读采用客户端->元数据服务器->数据服务器->客户端的文件读取IO路径，文件读写速度快，效率高，减少了客户端和元数据服务器交互的次数，降低了通信开销。
2、本发明用于分布式文件系统的文件读写方法的文件写针对高性能计算场景下大量的线程同时写文件采用“先写数据后创建元数据”的策略以降低元数据服务器上的突发负载，采用“先写数据后创建元数据”的策略，可以将计算节点上的数据写到存储设备上，然后异步的创建文件，这样，计算节点将数据输出后可以进行接下来的计算，并同时向元数据服务器提交创建文件的请求，一方面，元数据服务器有充裕的时间创建这些文件，平均负载较低，另一方面，元数据服务器创建文件与计算节点的计算过程重叠，体现一定的并行性。
3、本发明用于分布式文件系统的文件读写方法的文件写针对非高性能计算场景下的每一个待写的目标文件采用客户端->数据服务器->元数据服务器->客户端的文件写入IO路径，文件读写速度快，效率高，减少了客户端和元数据服务器交互的次数，降低了通信开销。
附图说明
图1为本发明实施例的文件读的流程示意图。
图2为本发明实施例的文件写的流程示意图。
具体实施方式
如图1所示，本实施例用于分布式文件系统的文件读写方法文件读的实施步骤包括：
A1）客户端向分布式文件系统的元数据服务器发送读取文件的请求；
A2）元数据服务器在收到客户端的请求后向客户端返回查询元数据信息、且向读取文件的文件块所在的数据服务器发送客户端请求信息及通信地址，客户端根据元数据服务器返回信息找到读取文件的文件块所在的数据服务器；
A3）数据服务器收到客户端请求信息及通信地址后，和客户端建立连接并开始向客户端发送读取文件的文件块数据；
A4）客户端以文件块为单位接收数据，先在本地缓存、然后写入目标文件，将后面的文件块和前面的文件块合并成最终所需要的文件，完成数据读取。
如图2所示，文件写的实施步骤包括：
B1）客户端获取需要进行文件写的待写文件数量，如果待写文件数量超过预设阈值，则跳转执行步骤B6）；否则，针对每一个待写的目标文件跳转执行下一步；
B2）客户端向分布式文件系统的数据服务器通信发送写入目标文件的请求；
B3）数据服务器在收到客户端的请求后，检查写入的目标文件不存在、且目标文件的父目录存在是否成立，如果成立则创建目标文件，跳转执行下一步；否则，让客户端抛出异常并退出；
B4）客户端先将待写的目标文件切分成数据块，然后开始和数据服务器建立连接，数据服务器开始写入数据，并记录元数据信息；
B5）数据服务器将目标文件写入存储完成，并向元数据服务器发送已写入存储完成的文件的元数据信息和文件存储数据块信息，退出；
B6）客户端将直接与数据服务器交互，完成待写文件的文件对象的分配；
B7）当获得分配的文件对象后，数据服务器直接将客户端上的待写文件数据存到数据服务器，然后同时把元数据信息和数据分布信息保存到本地对象储存中；
B8）当一个客户端的所有待写文件的写入作业完成后，数据服务器向元数据服务器发送对应的元数据和数据对象分布信息；
B9）元数据服务器接收迁移的文件元数据和数据分布信息进行可靠存储。
参见步骤B2）～B5），高性能计算场景下，大量的线程同时写文件，传统的文件系统采用“先创建文件后写数据”的方法，会导致元数据服务器上的突发负载。参见步骤B6）～B9），本实施例中针对高性能计算场景（待写文件数量超过预设阈值），采用“先写数据后创建元数据”的策略，可以将计算节点上的数据写到存储设备上，然后异步的创建文件，这样，计算节点将数据输出后可以进行接下来的计算，并同时向元数据服务器提交创建文件的请求，一方面，元数据服务器有充裕的时间创建这些文件，平均负载较低，另一方面，元数据服务器创建文件与计算节点的计算过程重叠，体现一定的并行性。
本实施例中，步骤B6）客户端将直接与数据服务器交互时，预先向数据服务器发送每一个待写文件的类型，每一个待写文件的类型包括文件是否为临时文件；步骤B8）当一个客户端的所有待写文件的写入作业完成后，数据服务器向元数据服务器发送类型为非临时文件的待写文件对应的元数据和数据对象分布信息。大数据分析环境下，客户端（计算节点）产生大量的临时文件，而大量临时文件并不需要提交到元数据服务器上，所以可以考虑只将数据输出到存储设备上，但并不向元数据服务器创建文件，降低了元数据服务器的负载。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种用于分布式文件系统的文件读写方法，其特征在于，文件读的实施步骤包括：
A1）客户端向分布式文件系统的元数据服务器发送读取文件的请求；
A2）元数据服务器在收到客户端的请求后向客户端返回查询元数据信息、且向读取文件的文件块所在的数据服务器发送客户端请求信息及通信地址，客户端根据元数据服务器返回信息找到读取文件的文件块所在的数据服务器；
A3）数据服务器收到客户端请求信息及通信地址后，和客户端建立连接并开始向客户端发送读取文件的文件块数据；
A4）客户端以文件块为单位接收数据，先在本地缓存、然后写入目标文件，将后面的文件块和前面的文件块合并成最终所需要的文件，完成数据读取；
且文件写的实施步骤包括：
B1）客户端获取需要进行文件写的待写文件数量，如果待写文件数量超过预设阈值，则跳转执行步骤B6）；否则，针对每一个待写的目标文件跳转执行下一步；
B2）客户端向分布式文件系统的数据服务器通信发送写入目标文件的请求；
B3）数据服务器在收到客户端的请求后，检查写入的目标文件不存在、目标文件的父目录存在是否成立，如果成立则创建目标文件，跳转执行下一步；否则，让客户端抛出异常并退出；
B4）客户端先将待写的目标文件切分成数据块，然后开始和数据服务器建立连接，数据服务器开始写入数据，并记录元数据信息；
B5）数据服务器将目标文件写入存储完成，并向元数据服务器发送已写入存储完成的文件的元数据信息和文件存储数据块信息，退出；
B6）客户端将直接与数据服务器交互，完成待写文件的文件对象的分配；
B7）当获得分配的文件对象后，数据服务器直接将客户端上的待写文件数据存到数据服务器，然后同时把元数据信息和数据分布信息保存到本地对象储存中；
B8）当一个客户端的所有待写文件的写入作业完成后，数据服务器向元数据服务器发送对应的元数据和数据对象分布信息；
B9）元数据服务器接收迁移的文件元数据和数据分布信息进行可靠存储。
2.根据权利要求1所述的用于分布式文件系统的文件读写方法，其特征在于，步骤B6）客户端将直接与数据服务器交互时，预先向数据服务器发送每一个待写文件的类型，每一个待写文件的类型包括文件是否为临时文件；步骤B8）当一个客户端的所有待写文件的写入作业完成后，数据服务器向元数据服务器发送类型为非临时文件的待写文件对应的元数据和数据对象分布信息。
3.一种用于分布式文件系统的文件读写方法，其特征在于，文件写的实施步骤包括：
B1）客户端获取需要进行文件写的待写文件数量，如果待写文件数量超过预设阈值，则跳转执行步骤B6）；否则，针对每一个待写的目标文件跳转执行下一步；
B2）客户端向分布式文件系统的数据服务器通信发送写入目标文件的请求；
B3）数据服务器在收到客户端的请求后，检查写入的目标文件不存在、且目标文件的父目录存在是否成立，如果成立则创建目标文件，跳转执行下一步；否则，让客户端抛出异常并退出；
B4）客户端先将待写的目标文件切分成数据块，然后开始和数据服务器建立连接，数据服务器开始写入数据，并记录元数据信息；
B5）数据服务器将目标文件写入存储完成，并向元数据服务器发送已写入存储完成的文件的元数据信息和文件存储数据块信息，退出；
B6）客户端将直接与数据服务器交互，完成待写文件的文件对象的分配；
B7）当获得分配的文件对象后，数据服务器直接将客户端上的待写文件数据存到数据服务器，然后同时把元数据信息和数据分布信息保存到本地对象储存中；
B8）当一个客户端的所有待写文件的写入作业完成后，数据服务器向元数据服务器发送对应的元数据和数据对象分布信息；
B9）元数据服务器接收迁移的文件元数据和数据分布信息进行可靠存储。
4.根据权利要求3所述的用于分布式文件系统的文件读写方法，其特征在于，步骤B6）客户端将直接与数据服务器交互时，预先向数据服务器发送每一个待写文件的类型，每一个待写文件的类型包括文件是否为临时文件；步骤B8）当一个客户端的所有待写文件的写入作业完成后，数据服务器向元数据服务器发送类型为非临时文件的待写文件对应的元数据和数据对象分布信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711113646.0A CN107832423B (zh) | 2017-11-13 | 2017-11-13 | 一种用于分布式文件系统的文件读写方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711113646.0A CN107832423B (zh) | 2017-11-13 | 2017-11-13 | 一种用于分布式文件系统的文件读写方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107832423A CN107832423A (zh) | 2018-03-23 |
| CN107832423B true CN107832423B (zh) | 2020-05-15 |
Family
ID=61655303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711113646.0A Active CN107832423B (zh) | 2017-11-13 | 2017-11-13 | 一种用于分布式文件系统的文件读写方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107832423B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110389856B (zh) * | 2018-04-20 | 2023-07-11 | 伊姆西Ip控股有限责任公司 | 用于迁移数据的方法、设备和计算机可读介质 |
| CN109344122B (zh) * | 2018-10-15 | 2020-05-15 | 中山大学 | 一种基于文件预创策略的分布式元数据管理方法及系统 |
| CN110247855B (zh) * | 2019-07-26 | 2022-08-02 | 中国工商银行股份有限公司 | 数据交换方法、客户端及服务器 |
| CN111124280A (zh) * | 2019-11-29 | 2020-05-08 | 浪潮电子信息产业股份有限公司 | 一种数据追加写入方法、装置及电子设备和存储介质 |
| CN111158597A (zh) * | 2019-12-28 | 2020-05-15 | 浪潮电子信息产业股份有限公司 | 一种元数据读取方法、装置及电子设备和存储介质 |
| CN112988062B (zh) * | 2021-01-28 | 2023-02-14 | 腾讯科技（深圳）有限公司 | 一种元数据读取限制方法、装置、电子设备及介质 |
| CN113590560A (zh) * | 2021-06-29 | 2021-11-02 | 济南浪潮数据技术有限公司 | 一种分布式系统的缓存优化方法、系统、设备和存储介质 |
| CN117112525A (zh) * | 2023-08-21 | 2023-11-24 | 北京志凌海纳科技有限公司 | 分布式文件系统及分布式文件系统中维护文件一致性方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101699436A (zh) * | 2009-10-20 | 2010-04-28 | 中兴通讯股份有限公司 | 资源管理的方法、装置和系统 |
| CN102546780A (zh) * | 2011-12-28 | 2012-07-04 | 山东大学 | 一种基于瘦客户端的文件分布式存储的运行方法 |
| CN103179185A (zh) * | 2012-12-25 | 2013-06-26 | 中国科学院计算技术研究所 | 一种分布式文件系统客户端缓存中文件创建方法及其系统 |
| CN105404652A (zh) * | 2015-10-29 | 2016-03-16 | 河海大学 | 一种基于hdfs的海量小文件处理方法 |
-
2017
- 2017-11-13 CN CN201711113646.0A patent/CN107832423B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101699436A (zh) * | 2009-10-20 | 2010-04-28 | 中兴通讯股份有限公司 | 资源管理的方法、装置和系统 |
| CN102546780A (zh) * | 2011-12-28 | 2012-07-04 | 山东大学 | 一种基于瘦客户端的文件分布式存储的运行方法 |
| CN103179185A (zh) * | 2012-12-25 | 2013-06-26 | 中国科学院计算技术研究所 | 一种分布式文件系统客户端缓存中文件创建方法及其系统 |
| CN105404652A (zh) * | 2015-10-29 | 2016-03-16 | 河海大学 | 一种基于hdfs的海量小文件处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107832423A (zh) | 2018-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107832423B (zh) | 一种用于分布式文件系统的文件读写方法 | |
| KR101827239B1 (ko) | 분산 데이터 시스템들을 위한 전 시스템에 미치는 체크포인트 회피 | |
| CN109547566B (zh) | 一种基于内存分配的多线程上传优化方法 | |
| CN106775446B (zh) | 基于固态硬盘加速的分布式文件系统小文件访问方法 | |
| EP3206128B1 (en) | Data storage method, data storage apparatus, and storage device | |
| US9251003B1 (en) | Database cache survivability across database failures | |
| CN104580437A (zh) | 一种云存储客户端及其高效数据访问方法 | |
| EP2534571B1 (en) | Method and system for dynamically replicating data within a distributed storage system | |
| KR20150130496A (ko) | 분산 데이터베이스 시스템들을 위한 고속 장애 복구 | |
| CN103399823B (zh) | 业务数据的存储方法、设备和系统 | |
| CN103116618A (zh) | 基于客户端持久缓存的远程文件系统镜像方法及系统 | |
| CN103516549B (zh) | 一种基于共享对象存储的文件系统元数据日志机制 | |
| CN104020961A (zh) | 分布式数据存储方法、装置及系统 | |
| CN111984191A (zh) | 一种支持分布式存储的多客户端缓存方法及系统 | |
| CN113806300B (zh) | 数据存储方法、系统、装置、设备及存储介质 | |
| CN111796767B (zh) | 一种分布式文件系统及数据管理方法 | |
| CN111159176A (zh) | 一种海量流数据的存储和读取的方法和系统 | |
| CN103501319A (zh) | 一种低延迟的面向小文件的分布式存储系统 | |
| US7725654B2 (en) | Affecting a caching algorithm used by a cache of storage system | |
| CN113204520B (zh) | 一种基于分布式文件系统的遥感数据快速并发读写方法 | |
| US11886439B1 (en) | Asynchronous change data capture for direct external transmission | |
| CN111131441A (zh) | 一种实时文件共享系统及方法 | |
| Zhou | Large scale distributed file system survey | |
| Arteaga et al. | Towards scalable application checkpointing with parallel file system delegation | |
| CN117707424A (zh) | 图像数据存读架构构建方法、系统、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221028 Address after: 510275 No. 135 West Xingang Road, Guangzhou, Guangdong, Haizhuqu District Patentee after: SUN YAT-SEN University Patentee after: National University of Defense Technology Address before: 510275 No. 135 West Xingang Road, Guangzhou, Guangdong, Haizhuqu District Patentee before: SUN YAT-SEN University |