CN107896248A - 一种基于客户端通信的并行文件系统应用方法 - Google Patents
一种基于客户端通信的并行文件系统应用方法 Download PDFInfo
- Publication number
- CN107896248A CN107896248A CN201711114836.4A CN201711114836A CN107896248A CN 107896248 A CN107896248 A CN 107896248A CN 201711114836 A CN201711114836 A CN 201711114836A CN 107896248 A CN107896248 A CN 107896248A
- Authority
- CN
- China
- Prior art keywords
- client
- queue
- data server
- meta data
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000004891 communication Methods 0.000 title claims abstract description 71
- 230000008569 process Effects 0.000 title claims abstract description 29
- 230000004044 response Effects 0.000 claims abstract description 51
- 102100037060 Forkhead box protein D3 Human genes 0.000 claims abstract description 9
- 101001029308 Homo sapiens Forkhead box protein D3 Proteins 0.000 claims abstract description 9
- 241001269238 Data Species 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/164—File meta data generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于客户端通信的并行文件系统应用方法，任意客户端C创建文件的实施步骤包括：客户端C向元数据服务器发送请求获取最新的客户端列表，客户端C遍历客户端列表中后续的客户端Ci、与客户端Ci进行通信获取其操作及操作对象，将客户端列表中后续的各个客户端Ci的创建文件操作进行合并生成顺序操作队列，向元数据服务器发送创建文件操作并附带合并生成的顺序操作队列；元数据服务器响应操作并将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端。本发明能够有效降低元数据服务器压力，通过加入客户端间相互通信减少锁竞争，减少创建文件时元数据服务器端的重名检查。
Description
技术领域
本发明涉及分布式并行文件系统领域，具体涉及一种基于客户端通信的并行文件系统应用方法，用于借助客户端之间相互通信来降低元数据访问开销、同时减少创建文件时在元数据服务器端进行重名检查。
背景技术
并行文件系统通常所指的是能够支持并行操作的文件系统，即在并行文件系统环境下，所有客户端可以在同一时间并发读写同一个文件，而对于不同的文件系统类型，为了保证并发操作都采取了各种不同的措施。现有的常见的并行文件系统包括：
1、Lustre分布式文件系统是 Cluster File System 公司推出的面向下存储的分布式文件系统。它提供 POSIX 兼容的 UNIX 系统接口，采用元数据与文件数据分开处理的系统架构使用两台元数据服务器（一台作为备份）以处理元数据的操作，采用基于对象的存储设备作为整个文件系统的存储设备。Lustre 分布式文件系统首先使用基于Intent的锁，明显的减少了客户端和服务器端的消息传递，缩短了操作的延迟。 Lustre分布式文件系统使用的OSD存储设备，具体较高的智能特性，对外提供基于对象的读写接口，而且可以自主的进行负载均衡和故障恢复，极大的降低了元数据服务器的复杂性。
2、GPFS(General Parallel File System，GPFS) 文件系统是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。GPFS文件系统为了在文件创建和删除过程中保持文件的一致性，采取了一种传统的分布式锁方法。要创建文件时，客户端首先获取创建新目录条目和新节点所需的所有锁。当所有的锁都得到满足时，客户端才能进行文件创建。此外，GPFS文件系统还使用共享锁的机制，即允许多个客户端同时更新本地缓存中的文件元数据。在将缓存的数据提交到磁盘之前，所有更新都在单文件系统客户端上序列化，以确保更新是以一致的方式进行的。
3、Ceph文件系统使用的是一套跨多个服务器分配元数据工作负载的机制，通过动态划分命名空间，跨服务器复制元数据，并以延迟提交的方式来提交元数据以限制元数据I/O。Ceph文件系统的inode实现了一个高效的readdir_plus操作，可以同时对整个目录中的所有文件执行一次文件统计。这种机制增加了每个服务器交互检索的数据量，而不是使用协同通信来提高分布式文件的文件统计操作的性能。
4、蓝鲸分布式文件系统中，客户端的所有元数据操作都是通过远程过程调用由元数据服务器完成，所有数据读写都是直接与存储服务器交换完成的.由于通信延迟，在客户端进行频繁数据读写时，元数据信息交换影响了整个系统的性能.因而采用客户端尽量缓存文件元数据信息的模型，有效地减少了元数据通信，缩短了整个读写过程的延迟，极大地提高了蓝鲸分布式文件系统的性能。
此外，还有一种采用服务器与服务器通信的并行文件系统镜像协议，来优化并发操作，通过在PVFS上的实现可以表明，服务器与服务器之间的通信是简化文件系统存储节点数据一致性的有效手段。
然而，在这些各种各样的现有的分布式文件系统中进行元数据管理时均没有考虑到加入客户端之间通信的可能性，而是单纯的在元数据服务器与客户端之间进行通信，以加入缓存或者使用锁的方式来降低并发以提高性能，这样很明显时对客户端性能的一个浪费，在元数据管理的流程中可以引入客户端之间的通信，从而降低高性能场景下创建许多文件时的重名检查以及减少在大数据场景下多个客户端同时在访问一个大文件时的锁竞争，从而提高数据的访问效率。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于客户端通信的并行文件系统应用方法，能够有效降低元数据服务器压力，通过加入客户端间相互通信减少锁竞争，减少创建文件时元数据服务器端的重名检查。
为了解决上述技术问题，本发明采用的技术方案为：
本发明提供一种基于客户端通信的并行文件系统应用方法，任意客户端C创建文件的实施步骤包括：
1）客户端C向元数据服务器发送请求获取最新的客户端列表，所述客户端列表包含依次向元数据服务器发送请求的客户端信息；
2）客户端C遍历客户端列表中后续的客户端Ci、与客户端Ci进行通信获取其操作及操作对象，客户端C将客户端列表中后续的各个客户端Ci的创建文件操作进行合并生成顺序操作队列；
3）客户端C向元数据服务器发送创建文件操作并附带合并生成的顺序操作队列；
4）元数据服务器响应客户端C的创建文件操作并附带合并生成的顺序操作队列中的创建文件操作，并将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端，间接收到响应的元数据信息的客户端与指定的直接收到响应的元数据信息的客户端进行通信以获取其对应的响应的元数据信息。
优选地，步骤1）的详细步骤包括：
1.1）客户端C向元数据服务器发送请求获取最新的客户端列表，所述客户端列表包含依次向元数据服务器发送请求的客户端信息；
1.2）元数据服务器更新当前连接到自身的客户端列表，向客户端发送当前的客户端列表；
1.3）客户端C得到客户端列表后，判断得到的客户端列表和上一次得到的客户端列表是否相同，如果不相同，则将得到客户端列表作为最新的客户端列表；否则，直接将上一次得到的客户端列表作为最新的客户端列表。
优选地，步骤2）的详细步骤包括：
2.1）客户端C在本地初始化建立顺序操作队列；
2.2）客户端C在遍历选择客户端列表中后续的一个客户端Ci；
2.3）客户端C与客户端Ci进行通信请求获取其操作及操作对象；
2.4）客户端Ci将自己将要进行的操作及操作对象发送给客户端C；
2.5）客户端C检测客户端Ci返回的操作及操作对象，如果客户端Ci的操作为创建文件、且客户端C和客户端Ci的操作对象名称相同且操作所在目录为同一级时，则将客户端C将要创建文件名称进行修改已避免与客户端Ci产生冲突；
2.6）客户端C判断客户端Ci的创建文件之间是否具有先后次序，如果有先后次序则客户端C按照先后次序将客户端Ci的操作加入本地的顺序操作队列；否则，随机将客户端Ci的操作加入本地的顺序操作队列的某个位置；
2.7）客户端C判断客户端列表是否已经遍历完毕，如果尚未遍历完毕，则跳转步骤2.2），否则，跳转步骤3）。
优选地，步骤4）的详细步骤包括：
4.1）元数据服务器收到客户端C的创建文件操作并附带合并生成的顺序操作队列，并将客户端C的创建文件操作并附带合并生成的顺序操作队列加入到本地执行队列完成对本地执行队列的更新；
4.2）元数据服务器根据客户端C的当前操作的状态以及请求文件的状态返回给客户端C相应数据，针对客户端C的当前操作判断是否存在冲突的客户端，如果本地执行队列中存在相同的操作对象的两条操作记录则判定存在冲突的客户端，跳转步骤4.3）；否则，判定不存在冲突的客户端，跳转步骤4.6）；
4.3）元数据服务器将所有与当前操作冲突的客户端生成客户端序列S并发送给客户端C；
4.4）客户端C与客户端序列S中的客户端进行通信，在客户端序列S中的客户端返回相冲突的操作已经完成请求后，客户端C在将当前操作发送给元数据服务器；
4.5）元数据服务器根据本地执行队列判断客户端C是否能执行操作，判断标准为操作队列中是否还存在拥有相同操作对象的记录，若此时可以执行操作，则跳转至步骤4.1），如果此时还是与其他客户端产生冲突，则跳转至步骤3）；
4.6）元数据服务器根据客户端C的操作请求，将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端，间接收到响应的元数据信息的客户端与指定的直接收到响应的元数据信息的客户端进行通信以获取其对应的响应的元数据信息；
4.7）客户端C对本地的顺序操作队列进行更新、删除已完成的操作；
4.8）客户端C创建文件操作完成，结束并退出。
优选地，多个客户端同时访问同一个大文件时的实施步骤包括：
S1）客户端C向元数据服务器发送请求获取最新的客户端列表，所述客户端列表包含依次向元数据服务器发送请求的客户端信息；
S2）客户端C遍历客户端列表中后续的客户端Ci、与客户端Ci进行通信获取其操作及操作对象，如果客户端Ci的操作为读操作且读取对象为客户端C同一个大文件则获取客户端Ci读取的目标区块信息，如果客户端C和客户端Ci均读取同一个大文件的相同区块，则客户端C向客户端Ci发送请求转向的信息、告知客户端Ci不再向元数据服务器获取请求转而向客户端C发送请求；否则，客户端C将所有客户端Ci的对同一个大文件的读操作合并生成顺序操作队列；
S3）客户端C向元数据服务器发送文件读操作请求并附带合并生成的顺序操作队列；
S4）元数据服务器响应客户端C的文件读操作请求并附带合并生成的顺序操作队列中的创建文件操作，并将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端。
优选地，步骤S2）的详细步骤包括：
S2.1）客户端C在本地初始化建立顺序操作队列；
S2.2）客户端C在遍历选择客户端列表中后续的一个客户端Ci；
S2.3）客户端C与客户端Ci进行通信请求获取其操作及操作对象，判断客户端Ci的操作为读操作且读取对象为客户端C同一个大文件是否成立，如果不成立，则跳转步骤S2.2）；否则，获取客户端Ci读取的目标区块信息；
S2.4）判断客户端C和客户端Ci是否读取同一个大文件的相同区块，如果客户端C和客户端Ci均读取同一个大文件的相同区块，则客户端C向客户端Ci发送请求转向的信息、告知客户端Ci不再向元数据服务器获取请求转而向客户端C发送请求；否则，客户端C将客户端Ci的对同一个大文件的读操作加入本地的顺序操作队列；
S2.5）客户端C判断客户端列表是否已经遍历完毕，如果尚未遍历完毕，则跳转步骤S2.2），否则，跳转步骤S3）。
优选地，步骤S4）的详细步骤包括：
S4.1）元数据服务器收到客户端C的文件读操作请求并附带合并生成的顺序操作队列，并将客户端C的文件读操作请求并附带合并生成的顺序操作队列加入到本地执行队列完成对本地执行队列的更新；
S4.2）元数据服务器根据客户端C的当前操作的状态以及请求文件的状态返回给客户端C相应数据，针对客户端C的当前操作判断是否存在冲突的客户端，如果本地执行队列中存在相同的操作对象的两条操作记录则判定存在冲突的客户端，跳转步骤S4.3）；否则，判定不存在冲突的客户端，跳转步骤S4.6）；
S4.3）元数据服务器将所有与客户端C的文件读操作请求冲突的客户端生成客户端序列S并发送给客户端C；
S4.4）客户端C与客户端序列S中的客户端进行通信，在客户端序列S中的客户端返回相冲突的操作已经完成请求后，客户端C在将当前操作发送给元数据服务器；
S4.5）元数据服务器根据本地执行队列判断客户端C是否能执行操作，判断标准为操作队列中是否还存在拥有相同操作对象的记录，若此时可以执行操作，则跳转至步骤S4.1），如果此时还是与其他客户端产生冲突，则跳转至步骤S3）；
S4.6）元数据服务器根据客户端C的操作请求，将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端，间接收到响应的元数据信息的客户端与指定的直接收到响应的元数据信息的客户端进行通信以获取其对应的响应的元数据信息；
S4.7）客户端C对本地的顺序操作队列进行更新、删除已完成的操作；
S4.8）客户端C读取文件操作完成，结束并退出。
本发明还单独提供一种基于客户端通信的并行文件系统应用方法，多个客户端同时访问同一个大文件时的实施步骤包括：
S1）客户端C向元数据服务器发送请求获取最新的客户端列表，所述客户端列表包含依次向元数据服务器发送请求的客户端信息；
S2）客户端C遍历客户端列表中后续的客户端Ci、与客户端Ci进行通信获取其操作及操作对象，如果客户端Ci的操作为读操作且读取对象为客户端C同一个大文件则获取客户端Ci读取的目标区块信息，如果客户端C和客户端Ci均读取同一个大文件的相同区块，则客户端C向客户端Ci发送请求转向的信息、告知客户端Ci不再向元数据服务器获取请求转而向客户端C发送请求；否则，客户端C将所有客户端Ci的对同一个大文件的读操作合并生成顺序操作队列；
S3）客户端C向元数据服务器发送文件读操作请求并附带合并生成的顺序操作队列；
S4）元数据服务器响应客户端C的文件读操作请求并附带合并生成的顺序操作队列中的创建文件操作，并将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端。
优选地，步骤S2）的详细步骤包括：
S2.1）客户端C在本地初始化建立顺序操作队列；
S2.2）客户端C在遍历选择客户端列表中后续的一个客户端Ci；
S2.3）客户端C与客户端Ci进行通信请求获取其操作及操作对象，判断客户端Ci的操作为读操作且读取对象为客户端C同一个大文件是否成立，如果不成立，则跳转步骤S2.2）；否则，获取客户端Ci读取的目标区块信息；
S2.4）判断客户端C和客户端Ci是否读取同一个大文件的相同区块，如果客户端C和客户端Ci均读取同一个大文件的相同区块，则客户端C向客户端Ci发送请求转向的信息、告知客户端Ci不再向元数据服务器获取请求转而向客户端C发送请求；否则，客户端C将客户端Ci的对同一个大文件的读操作加入本地的顺序操作队列；
S2.5）客户端C判断客户端列表是否已经遍历完毕，如果尚未遍历完毕，则跳转步骤S2.2），否则，跳转步骤S3）。
优选地，步骤S4）的详细步骤包括：
S4.1）元数据服务器收到客户端C的文件读操作请求并附带合并生成的顺序操作队列，并将客户端C的文件读操作请求并附带合并生成的顺序操作队列加入到本地执行队列完成对本地执行队列的更新；
S4.2）元数据服务器根据客户端C的当前操作的状态以及请求文件的状态返回给客户端C相应数据，针对客户端C的当前操作判断是否存在冲突的客户端，如果本地执行队列中存在相同的操作对象的两条操作记录则判定存在冲突的客户端，跳转步骤S4.3）；否则，判定不存在冲突的客户端，跳转步骤S4.6）；
S4.3）元数据服务器将所有与客户端C的文件读操作请求冲突的客户端生成客户端序列S并发送给客户端C；
S4.4）客户端C与客户端序列S中的客户端进行通信，在客户端序列S中的客户端返回相冲突的操作已经完成请求后，客户端C在将当前操作发送给元数据服务器；
S4.5）元数据服务器根据本地执行队列判断客户端C是否能执行操作，判断标准为操作队列中是否还存在拥有相同操作对象的记录，若此时可以执行操作，则跳转至步骤S4.1），如果此时还是与其他客户端产生冲突，则跳转至步骤S3）；
S4.6）元数据服务器根据客户端C的操作请求，将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端，间接收到响应的元数据信息的客户端与指定的直接收到响应的元数据信息的客户端进行通信以获取其对应的响应的元数据信息；
S4.7）客户端C对本地的顺序操作队列进行更新、删除已完成的操作；
S4.8）客户端C读取文件操作完成，结束并退出。
本发明基于客户端通信的并行文件系统应用方法具有下述优点：
1、本发明的客户端之间的相互通信使得客户端之间绕过元数据服务器的数据交互成为可能，本发明具有让多个客户端共同访问文件时请求转向的特点，这样，并不是所有客户端都需要从元数据服务器获得相应数据，反而可以从具有相同数据的另一个客户端中获得数据，有效减轻了元数据服务器端的开销。
2、本发明基于客户端通信的并行文件系统应用方法设计了一种降低元数据服务器压力、减少锁竞争的加入客户端间相互通信的元数据管理方式，在客户端与元数据服务器通信之前先进行客户端之间的相互通信，维护操作队列，并且将自身的操作队列发送给元数据服务器，从而避免让元数据服务器进行大量的并发控制操作，之后，元数据服务器再根据操作队列实现操作的具体调度，将元数据发送到客户端，从而完成元数据的管理工作。本发明基于客户端通信的并行文件系统应用方法具有降低元数据服务器压力，避免让元数据服务器及进行重名检测，客户端之间可以绕过元数据服务器来进行相互通信等优点。
附图说明
图1为本发明实施例一的流程示意图。
图2为本发明实施例二的流程示意图。
具体实施方式
实施例一：
本实施例提供一种在高性能场景下一种降低元数据服务器压力，减少元数据服务器端重名检查的基于客户端通信的并行文件系统应用方法，尤其适用于大量客户端C创建文件时通过客户端通信降低元数据服务器负载的方法。
参见图1，本实施例基于客户端通信的并行文件系统应用方法在任意客户端C创建文件的实施步骤包括：
1）客户端C向元数据服务器发送请求获取最新的客户端列表，所述客户端列表包含依次向元数据服务器发送请求的客户端信息；
2）客户端C遍历客户端列表中后续的客户端Ci、与客户端Ci进行通信获取其操作及操作对象，客户端C将客户端列表中后续的各个客户端Ci的创建文件操作进行合并生成顺序操作队列；
3）客户端C向元数据服务器发送创建文件操作并附带合并生成的顺序操作队列；
4）元数据服务器响应客户端C的创建文件操作并附带合并生成的顺序操作队列中的创建文件操作，并将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端，间接收到响应的元数据信息的客户端与指定的直接收到响应的元数据信息的客户端进行通信以获取其对应的响应的元数据信息。
本实施例中，步骤1）的详细步骤包括：
1.1）客户端C向元数据服务器发送请求获取最新的客户端列表，所述客户端列表包含依次向元数据服务器发送请求的客户端信息；
1.2）元数据服务器更新当前连接到自身的客户端列表，向客户端发送当前的客户端列表；
1.3）客户端C得到客户端列表后，判断得到的客户端列表和上一次得到的客户端列表是否相同，如果不相同，则将得到客户端列表作为最新的客户端列表；否则，直接将上一次得到的客户端列表作为最新的客户端列表。
参见图1，步骤2）的详细步骤包括：
2.1）客户端C在本地初始化建立顺序操作队列；
2.2）客户端C在遍历选择客户端列表中后续的一个客户端Ci；
2.3）客户端C与客户端Ci进行通信请求获取其操作及操作对象；
2.4）客户端Ci将自己将要进行的操作及操作对象发送给客户端C；
2.5）客户端C检测客户端Ci返回的操作及操作对象，如果客户端Ci的操作为创建文件、且客户端C和客户端Ci的操作对象名称相同且操作所在目录为同一级时，则将客户端C将要创建文件名称进行修改已避免与客户端Ci产生冲突；在创建文件时，如本实施例基于客户端通信的并行文件系统应用方法步骤2.5）所示，可以通过客户端之间的相互通信来解决文件名可能重名的问题，而在传统的文件系统中，重名检查往往是在服务器端完成，通过客户端之间相互通信的方式可以很好的减轻服务端在这方面的开销；
2.6）客户端C判断客户端Ci的创建文件之间是否具有先后次序，如果有先后次序则客户端C按照先后次序将客户端Ci的操作加入本地的顺序操作队列；否则，随机将客户端Ci的操作加入本地的顺序操作队列的某个位置；
2.7）客户端C判断客户端列表是否已经遍历完毕，如果尚未遍历完毕，则跳转步骤2.2），否则，跳转步骤3）。
参见图1，步骤4）的详细步骤包括：
4.1）元数据服务器收到客户端C的创建文件操作并附带合并生成的顺序操作队列，并将客户端C的创建文件操作并附带合并生成的顺序操作队列加入到本地执行队列完成对本地执行队列的更新；
4.2）元数据服务器根据客户端C的当前操作的状态以及请求文件的状态返回给客户端C相应数据，针对客户端C的当前操作判断是否存在冲突的客户端，如果本地执行队列中存在相同的操作对象的两条操作记录则判定存在冲突的客户端，跳转步骤4.3）；否则，判定不存在冲突的客户端，跳转步骤4.6）；
4.3）元数据服务器将所有与当前操作冲突的客户端生成客户端序列S并发送给客户端C；
4.4）客户端C与客户端序列S中的客户端进行通信，在客户端序列S中的客户端返回相冲突的操作已经完成请求后，客户端C在将当前操作发送给元数据服务器；
4.5）元数据服务器根据本地执行队列判断客户端C是否能执行操作，判断标准为操作队列中是否还存在拥有相同操作对象的记录，若此时可以执行操作，则跳转至步骤4.1），如果此时还是与其他客户端产生冲突，则跳转至步骤3）；
4.6）元数据服务器根据客户端C的操作请求，将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端，间接收到响应的元数据信息的客户端与指定的直接收到响应的元数据信息的客户端进行通信以获取其对应的响应的元数据信息；
4.7）客户端C对本地的顺序操作队列进行更新、删除已完成的操作；
4.8）客户端C创建文件操作完成，结束并退出。
在并行文件系统领域，往往多个客户端并发创建文件时需要进行冲突检测操作，而进行这种类型的操作往往具有很大的开销，而在本发明中如步骤4.1）～步骤4.8）具有的客户端之间相互确认是否产生冲突以及采取顺序操作队列的方式，最后将顺序操作队列回传给元数据服务器，此时元数据服务器可以根据顺序操作队列进行比较有效的调度，能够很好的减少在并发访问大文件时锁请求的发生，从而减轻元数据服务器端的压力。
本实施例基于客户端通信的并行文件系统应用方法设计了一种降低元数据服务器压力、减少锁竞争的加入客户端间相互通信的元数据管理方式，在客户端与元数据服务器通信之前先进行客户端之间的相互通信，维护操作队列，并且将自身的操作队列发送给元数据服务器，从而避免让元数据服务器进行大量的并发控制操作，之后，元数据服务器再根据操作队列实现操作的具体调度，将元数据发送到客户端，从而完成元数据的管理工作。本实施例基于客户端通信的并行文件系统应用方法具有降低元数据服务器压力，避免让元数据服务器及进行重名检测，客户端之间可以绕过元数据服务器来进行相互通信等优点。
实施例二：
本实施例提供一种在大数据场景下多个客户端同时访问一个大文件时一种降低元数据服务器压力，减少元数据服务器端锁使用的基于客户端通信的并行文件系统应用方法，尤其适用于多个客户端同时访问同一个大文件时通过客户端通信降低锁竞争的方法。
参见图2，本实施例基于客户端通信的并行文件系统应用方法多个客户端同时访问同一个大文件时的实施步骤包括：
S1）客户端C向元数据服务器发送请求获取最新的客户端列表，所述客户端列表包含依次向元数据服务器发送请求的客户端信息；
S2）客户端C遍历客户端列表中后续的客户端Ci、与客户端Ci进行通信获取其操作及操作对象，如果客户端Ci的操作为读操作且读取对象为客户端C同一个大文件则获取客户端Ci读取的目标区块信息，如果客户端C和客户端Ci均读取同一个大文件的相同区块，则客户端C向客户端Ci发送请求转向的信息、告知客户端Ci不再向元数据服务器获取请求转而向客户端C发送请求；否则，客户端C将所有客户端Ci的对同一个大文件的读操作合并生成顺序操作队列；
S3）客户端C向元数据服务器发送文件读操作请求并附带合并生成的顺序操作队列；
S4）元数据服务器响应客户端C的文件读操作请求并附带合并生成的顺序操作队列中的创建文件操作，并将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端。
本实施例中，步骤S1）的详细步骤包括：
S1.1）客户端C向元数据服务器发送请求获取最新的客户端列表，所述客户端列表包含依次向元数据服务器发送请求的客户端信息；
S1.2）元数据服务器更新当前连接到自身的客户端列表，向客户端发送当前的客户端列表；
S1.3）客户端C得到客户端列表后，判断得到的客户端列表和上一次得到的客户端列表是否相同，如果不相同，则将得到客户端列表作为最新的客户端列表；否则，直接将上一次得到的客户端列表作为最新的客户端列表。
参见图2，步骤S2）的详细步骤包括：
S2.1）客户端C在本地初始化建立顺序操作队列；
S2.2）客户端C在遍历选择客户端列表中后续的一个客户端Ci；
S2.3）客户端C与客户端Ci进行通信请求获取其操作及操作对象，判断客户端Ci的操作为读操作且读取对象为客户端C同一个大文件是否成立，如果不成立，则跳转步骤S2.2）；否则，获取客户端Ci读取的目标区块信息；
S2.4）判断客户端C和客户端Ci是否读取同一个大文件的相同区块，如果客户端C和客户端Ci均读取同一个大文件的相同区块，则客户端C向客户端Ci发送请求转向的信息、告知客户端Ci不再向元数据服务器获取请求转而向客户端C发送请求；否则，客户端C将客户端Ci的对同一个大文件的读操作加入本地的顺序操作队列；
S2.5）客户端C判断客户端列表是否已经遍历完毕，如果尚未遍历完毕，则跳转步骤S2.2），否则，跳转步骤S3）。
参见图2，步骤S4）的详细步骤包括：
S4.1）元数据服务器收到客户端C的文件读操作请求并附带合并生成的顺序操作队列，并将客户端C的文件读操作请求并附带合并生成的顺序操作队列加入到本地执行队列完成对本地执行队列的更新；
S4.2）元数据服务器根据客户端C的当前操作的状态以及请求文件的状态返回给客户端C相应数据，针对客户端C的当前操作判断是否存在冲突的客户端，如果本地执行队列中存在相同的操作对象的两条操作记录则判定存在冲突的客户端，跳转步骤S4.3）；否则，判定不存在冲突的客户端，跳转步骤S4.6）；
S4.3）元数据服务器将所有与客户端C的文件读操作请求冲突的客户端生成客户端序列S并发送给客户端C；
S4.4）客户端C与客户端序列S中的客户端进行通信，在客户端序列S中的客户端返回相冲突的操作已经完成请求后，客户端C在将当前操作发送给元数据服务器；
S4.5）元数据服务器根据本地执行队列判断客户端C是否能执行操作，判断标准为操作队列中是否还存在拥有相同操作对象的记录，若此时可以执行操作，则跳转至步骤S4.1），如果此时还是与其他客户端产生冲突，则跳转至步骤S3）；
S4.6）元数据服务器根据客户端C的操作请求，将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端，间接收到响应的元数据信息的客户端与指定的直接收到响应的元数据信息的客户端进行通信以获取其对应的响应的元数据信息；
S4.7）客户端C对本地的顺序操作队列进行更新、删除已完成的操作；
S4.8）客户端C读取文件操作完成，结束并退出。
在并行文件系统领域，往往多个客户端并发访问一个大文件时需要进行许多锁定解锁类型的操作，而进行这种类型的操作往往具有很大的开销，而在本发明中如步骤S4.1）～步骤S4.8）具有的客户端之间相互确认是否产生冲突以及采取顺序操作队列的方式，最后将顺序操作队列回传给元数据服务器，此时元数据服务器可以根据顺序操作队列进行比较有效的调度，能够很好的减少在并发访问大文件时锁请求的发生，从而减轻元数据服务器端的压力。
同样地，本实施例基于客户端通信的并行文件系统应用方法设计了一种降低元数据服务器压力、减少锁竞争的加入客户端间相互通信的元数据管理方式，在客户端与元数据服务器通信之前先进行客户端之间的相互通信，维护操作队列，并且将自身的操作队列发送给元数据服务器，从而避免让元数据服务器进行大量的并发控制操作，之后，元数据服务器再根据操作队列实现操作的具体调度，将元数据发送到客户端，从而完成元数据的管理工作。本实施例基于客户端通信的并行文件系统应用方法具有降低元数据服务器压力，避免让元数据服务器及进行重名检测，客户端之间可以绕过元数据服务器来进行相互通信等优点。
实施例三：
本实施例在实施例一中适用于大量客户端C创建文件时通过客户端通信降低元数据服务器负载的方法的基础上，融合了实施例二适用于多个客户端同时访问同一个大文件时通过客户端通信降低锁竞争的方法。同样地，本实施例基于客户端通信的并行文件系统应用方法设计了一种降低元数据服务器压力、减少锁竞争的加入客户端间相互通信的元数据管理方式，在客户端与元数据服务器通信之前先进行客户端之间的相互通信，维护操作队列，并且将自身的操作队列发送给元数据服务器，从而避免让元数据服务器进行大量的并发控制操作，之后，元数据服务器再根据操作队列实现操作的具体调度，将元数据发送到客户端，从而完成元数据的管理工作。本实施例基于客户端通信的并行文件系统应用方法具有降低元数据服务器压力，避免让元数据服务器及进行重名检测，客户端之间可以绕过元数据服务器来进行相互通信等优点。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于客户端通信的并行文件系统应用方法，其特征在于，任意客户端C创建文件的实施步骤包括：
1）客户端C向元数据服务器发送请求获取最新的客户端列表，所述客户端列表包含依次向元数据服务器发送请求的客户端信息；
2）客户端C遍历客户端列表中后续的客户端Ci、与客户端Ci进行通信获取其操作及操作对象，客户端C将客户端列表中后续的各个客户端Ci的创建文件操作进行合并生成顺序操作队列；
3）客户端C向元数据服务器发送创建文件操作并附带合并生成的顺序操作队列；
4）元数据服务器响应客户端C的创建文件操作并附带合并生成的顺序操作队列中的创建文件操作，并将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端，间接收到响应的元数据信息的客户端与指定的直接收到响应的元数据信息的客户端进行通信以获取其对应的响应的元数据信息。
2.根据权利要求1所述的基于客户端通信的并行文件系统应用方法，其特征在于，步骤1）的详细步骤包括：
1.1）客户端C向元数据服务器发送请求获取最新的客户端列表，所述客户端列表包含依次向元数据服务器发送请求的客户端信息；
1.2）元数据服务器更新当前连接到自身的客户端列表，向客户端发送当前的客户端列表；
1.3）客户端C得到客户端列表后，判断得到的客户端列表和上一次得到的客户端列表是否相同，如果不相同，则将得到客户端列表作为最新的客户端列表；否则，直接将上一次得到的客户端列表作为最新的客户端列表。
3.根据权利要求1所述的基于客户端通信的并行文件系统应用方法，其特征在于，步骤2）的详细步骤包括：
2.1）客户端C在本地初始化建立顺序操作队列；
2.2）客户端C在遍历选择客户端列表中后续的一个客户端Ci；
2.3）客户端C与客户端Ci进行通信请求获取其操作及操作对象；
2.4）客户端Ci将自己将要进行的操作及操作对象发送给客户端C；
2.5）客户端C检测客户端Ci返回的操作及操作对象，如果客户端Ci的操作为创建文件、且客户端C和客户端Ci的操作对象名称相同且操作所在目录为同一级时，则将客户端C将要创建文件名称进行修改已避免与客户端Ci产生冲突；
2.6）客户端C判断客户端Ci的创建文件之间是否具有先后次序，如果有先后次序则客户端C按照先后次序将客户端Ci的操作加入本地的顺序操作队列；否则，随机将客户端Ci的操作加入本地的顺序操作队列的某个位置；
2.7）客户端C判断客户端列表是否已经遍历完毕，如果尚未遍历完毕，则跳转步骤2.2），否则，跳转步骤3）。
4.根据权利要求1所述的基于客户端通信的并行文件系统应用方法，其特征在于，步骤4）的详细步骤包括：
4.1）元数据服务器收到客户端C的创建文件操作并附带合并生成的顺序操作队列，并将客户端C的创建文件操作并附带合并生成的顺序操作队列加入到本地执行队列完成对本地执行队列的更新；
4.2）元数据服务器根据客户端C的当前操作的状态以及请求文件的状态返回给客户端C相应数据，针对客户端C的当前操作判断是否存在冲突的客户端，如果本地执行队列中存在相同的操作对象的两条操作记录则判定存在冲突的客户端，跳转步骤4.3）；否则，判定不存在冲突的客户端，跳转步骤4.6）；
4.3）元数据服务器将所有与当前操作冲突的客户端生成客户端序列S并发送给客户端C；
4.4）客户端C与客户端序列S中的客户端进行通信，在客户端序列S中的客户端返回相冲突的操作已经完成请求后，客户端C在将当前操作发送给元数据服务器；
4.5）元数据服务器根据本地执行队列判断客户端C是否能执行操作，判断标准为操作队列中是否还存在拥有相同操作对象的记录，若此时可以执行操作，则跳转至步骤4.1），如果此时还是与其他客户端产生冲突，则跳转至步骤3）；
4.6）元数据服务器根据客户端C的操作请求，将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端，间接收到响应的元数据信息的客户端与指定的直接收到响应的元数据信息的客户端进行通信以获取其对应的响应的元数据信息；
4.7）客户端C对本地的顺序操作队列进行更新、删除已完成的操作；
4.8）客户端C创建文件操作完成，结束并退出。
5.根据权利要求1～4中任意一项所述基于客户端通信的并行文件系统应用方法，其特征在于，多个客户端同时访问同一个大文件时的实施步骤包括：
S1）客户端C向元数据服务器发送请求获取最新的客户端列表，所述客户端列表包含依次向元数据服务器发送请求的客户端信息；
S2）客户端C遍历客户端列表中后续的客户端Ci、与客户端Ci进行通信获取其操作及操作对象，如果客户端Ci的操作为读操作且读取对象为客户端C同一个大文件则获取客户端Ci读取的目标区块信息，如果客户端C和客户端Ci均读取同一个大文件的相同区块，则客户端C向客户端Ci发送请求转向的信息、告知客户端Ci不再向元数据服务器获取请求转而向客户端C发送请求；否则，客户端C将所有客户端Ci的对同一个大文件的读操作合并生成顺序操作队列；
S3）客户端C向元数据服务器发送文件读操作请求并附带合并生成的顺序操作队列；
S4）元数据服务器响应客户端C的文件读操作请求并附带合并生成的顺序操作队列中的创建文件操作，并将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端。
6.根据权利要求5所述的基于客户端通信的并行文件系统应用方法，其特征在于，步骤S2）的详细步骤包括：
S2.1）客户端C在本地初始化建立顺序操作队列；
S2.2）客户端C在遍历选择客户端列表中后续的一个客户端Ci；
S2.3）客户端C与客户端Ci进行通信请求获取其操作及操作对象，判断客户端Ci的操作为读操作且读取对象为客户端C同一个大文件是否成立，如果不成立，则跳转步骤S2.2）；否则，获取客户端Ci读取的目标区块信息；
S2.4）判断客户端C和客户端Ci是否读取同一个大文件的相同区块，如果客户端C和客户端Ci均读取同一个大文件的相同区块，则客户端C向客户端Ci发送请求转向的信息、告知客户端Ci不再向元数据服务器获取请求转而向客户端C发送请求；否则，客户端C将客户端Ci的对同一个大文件的读操作加入本地的顺序操作队列；
S2.5）客户端C判断客户端列表是否已经遍历完毕，如果尚未遍历完毕，则跳转步骤S2.2），否则，跳转步骤S3）。
7.根据权利要求5所述的基于客户端通信的并行文件系统应用方法，其特征在于，步骤S4）的详细步骤包括：
S4.1）元数据服务器收到客户端C的文件读操作请求并附带合并生成的顺序操作队列，并将客户端C的文件读操作请求并附带合并生成的顺序操作队列加入到本地执行队列完成对本地执行队列的更新；
S4.2）元数据服务器根据客户端C的当前操作的状态以及请求文件的状态返回给客户端C相应数据，针对客户端C的当前操作判断是否存在冲突的客户端，如果本地执行队列中存在相同的操作对象的两条操作记录则判定存在冲突的客户端，跳转步骤S4.3）；否则，判定不存在冲突的客户端，跳转步骤S4.6）；
S4.3）元数据服务器将所有与客户端C的文件读操作请求冲突的客户端生成客户端序列S并发送给客户端C；
S4.4）客户端C与客户端序列S中的客户端进行通信，在客户端序列S中的客户端返回相冲突的操作已经完成请求后，客户端C在将当前操作发送给元数据服务器；
S4.5）元数据服务器根据本地执行队列判断客户端C是否能执行操作，判断标准为操作队列中是否还存在拥有相同操作对象的记录，若此时可以执行操作，则跳转至步骤S4.1），如果此时还是与其他客户端产生冲突，则跳转至步骤S3）；
S4.6）元数据服务器根据客户端C的操作请求，将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端，间接收到响应的元数据信息的客户端与指定的直接收到响应的元数据信息的客户端进行通信以获取其对应的响应的元数据信息；
S4.7）客户端C对本地的顺序操作队列进行更新、删除已完成的操作；
S4.8）客户端C读取文件操作完成，结束并退出。
8.一种基于客户端通信的并行文件系统应用方法，其特征在于，多个客户端同时访问同一个大文件时的实施步骤包括：
S1）客户端C向元数据服务器发送请求获取最新的客户端列表，所述客户端列表包含依次向元数据服务器发送请求的客户端信息；
S2）客户端C遍历客户端列表中后续的客户端Ci、与客户端Ci进行通信获取其操作及操作对象，如果客户端Ci的操作为读操作且读取对象为客户端C同一个大文件则获取客户端Ci读取的目标区块信息，如果客户端C和客户端Ci均读取同一个大文件的相同区块，则客户端C向客户端Ci发送请求转向的信息、告知客户端Ci不再向元数据服务器获取请求转而向客户端C发送请求；否则，客户端C将所有客户端Ci的对同一个大文件的读操作合并生成顺序操作队列；
S3）客户端C向元数据服务器发送文件读操作请求并附带合并生成的顺序操作队列；
S4）元数据服务器响应客户端C的文件读操作请求并附带合并生成的顺序操作队列中的创建文件操作，并将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端。
9.根据权利要求8所述的基于客户端通信的并行文件系统应用方法，其特征在于，步骤S2）的详细步骤包括：
S2.1）客户端C在本地初始化建立顺序操作队列；
S2.2）客户端C在遍历选择客户端列表中后续的一个客户端Ci；
S2.3）客户端C与客户端Ci进行通信请求获取其操作及操作对象，判断客户端Ci的操作为读操作且读取对象为客户端C同一个大文件是否成立，如果不成立，则跳转步骤S2.2）；否则，获取客户端Ci读取的目标区块信息；
S2.4）判断客户端C和客户端Ci是否读取同一个大文件的相同区块，如果客户端C和客户端Ci均读取同一个大文件的相同区块，则客户端C向客户端Ci发送请求转向的信息、告知客户端Ci不再向元数据服务器获取请求转而向客户端C发送请求；否则，客户端C将客户端Ci的对同一个大文件的读操作加入本地的顺序操作队列；
S2.5）客户端C判断客户端列表是否已经遍历完毕，如果尚未遍历完毕，则跳转步骤S2.2），否则，跳转步骤S3）。
10.根据权利要求8所述的基于客户端通信的并行文件系统应用方法，其特征在于，步骤S4）的详细步骤包括：
S4.1）元数据服务器收到客户端C的文件读操作请求并附带合并生成的顺序操作队列，并将客户端C的文件读操作请求并附带合并生成的顺序操作队列加入到本地执行队列完成对本地执行队列的更新；
S4.2）元数据服务器根据客户端C的当前操作的状态以及请求文件的状态返回给客户端C相应数据，针对客户端C的当前操作判断是否存在冲突的客户端，如果本地执行队列中存在相同的操作对象的两条操作记录则判定存在冲突的客户端，跳转步骤S4.3）；否则，判定不存在冲突的客户端，跳转步骤S4.6）；
S4.3）元数据服务器将所有与客户端C的文件读操作请求冲突的客户端生成客户端序列S并发送给客户端C；
S4.4）客户端C与客户端序列S中的客户端进行通信，在客户端序列S中的客户端返回相冲突的操作已经完成请求后，客户端C在将当前操作发送给元数据服务器；
S4.5）元数据服务器根据本地执行队列判断客户端C是否能执行操作，判断标准为操作队列中是否还存在拥有相同操作对象的记录，若此时可以执行操作，则跳转至步骤S4.1），如果此时还是与其他客户端产生冲突，则跳转至步骤S3）；
S4.6）元数据服务器根据客户端C的操作请求，将响应的元数据信息直接或者间接返回给包括客户端C以及顺序操作队列中的任意客户端Ci在内的至少一个客户端，间接收到响应的元数据信息的客户端与指定的直接收到响应的元数据信息的客户端进行通信以获取其对应的响应的元数据信息；
S4.7）客户端C对本地的顺序操作队列进行更新、删除已完成的操作；
S4.8）客户端C读取文件操作完成，结束并退出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711114836.4A CN107896248B (zh) | 2017-11-13 | 2017-11-13 | 一种基于客户端通信的并行文件系统应用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711114836.4A CN107896248B (zh) | 2017-11-13 | 2017-11-13 | 一种基于客户端通信的并行文件系统应用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107896248A true CN107896248A (zh) | 2018-04-10 |
| CN107896248B CN107896248B (zh) | 2019-11-22 |
Family
ID=61805282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711114836.4A Active CN107896248B (zh) | 2017-11-13 | 2017-11-13 | 一种基于客户端通信的并行文件系统应用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107896248B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032526A (zh) * | 2018-07-26 | 2018-12-18 | 郑州云海信息技术有限公司 | 用于分布式文件系统的数据处理方法及装置 |
| WO2022105616A1 (en) * | 2020-11-19 | 2022-05-27 | International Business Machines Corporation | Parallel file system scans with multiple shared queues |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102164161A (zh) * | 2011-01-10 | 2011-08-24 | 清华大学 | 一种对并行文件系统进行文件布局提取的方法和装置 |
| CN102360382A (zh) * | 2011-10-13 | 2012-02-22 | 中国人民解放军国防科学技术大学 | 一种高速对象并行存储系统目录复制方法 |
| CN105357305A (zh) * | 2015-11-13 | 2016-02-24 | 北京金山安全软件有限公司 | 文件发送方法和装置、文件接收方法和装置和终端设备 |
-
2017
- 2017-11-13 CN CN201711114836.4A patent/CN107896248B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102164161A (zh) * | 2011-01-10 | 2011-08-24 | 清华大学 | 一种对并行文件系统进行文件布局提取的方法和装置 |
| CN102360382A (zh) * | 2011-10-13 | 2012-02-22 | 中国人民解放军国防科学技术大学 | 一种高速对象并行存储系统目录复制方法 |
| CN105357305A (zh) * | 2015-11-13 | 2016-02-24 | 北京金山安全软件有限公司 | 文件发送方法和装置、文件接收方法和装置和终端设备 |
Non-Patent Citations (1)
| Title |
|---|
| 庞丽萍等: "并行文件系统集中式元数据管理高可用系统设计", 《计算机工程与科学》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032526A (zh) * | 2018-07-26 | 2018-12-18 | 郑州云海信息技术有限公司 | 用于分布式文件系统的数据处理方法及装置 |
| CN109032526B (zh) * | 2018-07-26 | 2021-08-10 | 郑州云海信息技术有限公司 | 用于分布式文件系统的数据处理方法及装置 |
| WO2022105616A1 (en) * | 2020-11-19 | 2022-05-27 | International Business Machines Corporation | Parallel file system scans with multiple shared queues |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107896248B (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110502507B (zh) | 一种分布式数据库的管理系统、方法、设备和存储介质 | |
| CN103473318B (zh) | 一种面向内存数据网格的分布式事务保障方法 | |
| CN101334797B (zh) | 一种分布式文件系统及其数据块一致性管理的方法 | |
| EP2932370B1 (en) | System and method for performing a transaction in a massively parallel processing database | |
| CN103186554B (zh) | 分布式数据镜像方法及存储数据节点 | |
| CN109684307A (zh) | 一种数据存储方法、装置、设备及存储介质 | |
| CN106484713A (zh) | 一种基于面向服务的分布式请求处理系统 | |
| CN101771723A (zh) | 数据同步方法 | |
| KR100956637B1 (ko) | 분산파일 시스템에서의 비동기식 데이터 복제 방법 및 그에따른 분산파일 시스템 | |
| CN109710190A (zh) | 一种数据存储方法、装置、设备及存储介质 | |
| CN112162846B (zh) | 事务处理方法、设备及计算机可读存储介质 | |
| CN104657260A (zh) | 控制分布式节点间访问共享资源的分布式锁的实现方法 | |
| CN104899274A (zh) | 一种内存数据库高效远程访问方法 | |
| WO2023082992A1 (zh) | 数据处理方法以及系统 | |
| US7752225B2 (en) | Replication and mapping mechanism for recreating memory durations | |
| CN107896248A (zh) | 一种基于客户端通信的并行文件系统应用方法 | |
| CN104881749A (zh) | 面向多租户的数据管理方法和数据存储系统 | |
| CN101778131A (zh) | 数据同步系统 | |
| CN102413166A (zh) | 分布式交易方法及其系统 | |
| CN101789963A (zh) | 数据同步系统 | |
| CN113297159B (zh) | 数据存储方法以及装置 | |
| CN111680069B (zh) | 数据库访问方法及装置 | |
| CN109408537A (zh) | 基于Spark SQL的数据处理方法及装置、存储介质及计算设备 | |
| CN112286889B (zh) | 一种面向广域网的分布式文件系统元数据副本同步方法 | |
| CN110019113B (zh) | 一种数据库的业务处理方法及数据库服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221101 Address after: 510275 No. 135 West Xingang Road, Guangzhou, Guangdong, Haizhuqu District Patentee after: SUN YAT-SEN University Patentee after: National University of Defense Technology Address before: 510275 No. 135 West Xingang Road, Guangzhou, Guangdong, Haizhuqu District Patentee before: SUN YAT-SEN University |
|
| TR01 | Transfer of patent right |