CN102142032B - 一种分布式文件系统的数据读写方法及系统 - Google Patents

一种分布式文件系统的数据读写方法及系统 Download PDF

Info

Publication number
CN102142032B
CN102142032B CN 201110075382 CN201110075382A CN102142032B CN 102142032 B CN102142032 B CN 102142032B CN 201110075382 CN201110075382 CN 201110075382 CN 201110075382 A CN201110075382 A CN 201110075382A CN 102142032 B CN102142032 B CN 102142032B
Authority
CN
China
Prior art keywords
data block
address
file
data
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201110075382
Other languages
English (en)
Other versions
CN102142032A (zh
Inventor
舒琦
杨树强
王怀民
吴泉源
贾焰
周斌
韩伟红
滕猛
赵辉
陈志坤
金松昌
罗荣凌
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN 201110075382 priority Critical patent/CN102142032B/zh
Publication of CN102142032A publication Critical patent/CN102142032A/zh
Application granted granted Critical
Publication of CN102142032B publication Critical patent/CN102142032B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本申请公开了一种分布式文件系统的数据读写方法，包括：获取客户端所要读写文件的数据块元信息及所述客户端的IP地址；解析所述数据块元信息中包含的数据块IP地址；将所述数据块IP地址与所述客户端的IP地址进行比较，当所述数据块IP地址与所述客户端的IP地址相同时，调用本地文件系统I/O对所述文件数据进行读写。本申请提供的分布式文件系统的读写方法，当判断得出所述数据块与所述客户端在同一数据节点时，调用客户端的本地文件系统I/O对所述数据块中的文件数据进行读写，提高了客户端与数据节点的交互速率，有效的减少了交互时间，提高了对文件读写的效率及I/O接口的计算性能。

Description

一种分布式文件系统的数据读写方法及系统
技术领域
本申请涉及分布式计算领域，特别是涉及一种分布式文件系统的数据读写方法及系统。
背景技术
分布式文件系统中，文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。
分布式文件系统中应用的I/O(输入输出端口，input/output)包括L-I/O和D-I/O；其中L-I/O特指本地文件系统的I/O，D-I/O特指分布式文件系统的I/O。L-I/O和D-I/O均提供了文件的读写接口，通过这些接口可以对文件进行读写操作，所不同的是L-I/O的操作对象位于本地磁盘，而D-I/O的操作对象则可能分布在不同物理位置的磁盘上，它们通过网络相连，因此D-I/O的任务是找到文件数据的存储位置，并通过L-I/O对其进行操作，即D-I/O是以L-I/O为基础的。
如附图1所示，服务器Server1、Server2和Server3作为分布式文件系统的数据存储节点，每个数据存储节点上都存储了若干数据块，客户端通过D-I/O进行文件的操作。由于数据是分布存储在网络上的各个服务器节点，因此D-I/O采用基于TCP/IP的SOCKET接口方式与各数据节点进行数据交互。例如：当用户需要读取D文件，那么D-I/O分别通过SOCKET从各数据节点上取得对应的数据块，并返回给客户端。这样的方式屏蔽了数据分布存储的事实，对于用户来说是透明的，但从性能上来说基于TCP/IP的SOCKET方式比L-I/O要慢许多，因为建立TCP/IP链接及其维护是很费时的，同时在网络上的传输也要耗费时间。
发明人在以上描述内容的基础上通过研究发现，D-I/O在通过TCP/IP的SOCKET方式与数据节点进行数据交互的过程中，当客户端与其所需要的数据块位于同一数据节点时，客户端利用D-I/O仍然通过TCP/IP的SOCKET的方式与数据节点进行数据交互，这使得在原有交互过程的基础上耗费了更多的时间。
发明内容
为解决上述技术问题，本申请实施例提供一种分布式文件系统的数据读写方法及系统。
技术方案如下：
一种分布式文件系统的数据读写方法，包括：
获取客户端所要读写文件的数据块元信息及所述客户端的IP地址；
解析所述数据块元信息中包含的数据块IP地址；
将所述数据块IP地址与所述客户端的IP地址进行比较，当所述数据块IP地址与所述客户端的IP地址相同时，调用本地文件系统I/O(输入输出端口，input/output)对所述文件数据进行读写。
上述的方法，优选的，还包括：将所述数据块IP地址与所述客户端的IP地址进行比较的过程中，当所述数据块IP地址与所述客户端的IP地址不相同时，调用分布式文件系统I/O对所述文件数据进行读写。
上述的方法，优选的，所述调用本地文件系统I/O对所述文件数据进行读写的过程具体为：
解析所述数据块元信息中包含的数据块存储路径信息；
依据所述数据块存储路径信息对与其对应的数据块文件进行查找，当查找到所述数据块文件时，调用本地文件系统I/O对所述数据块文件数据进行读写。
上述的方法，优选的，还包括：依据所述数据块存储路径信息对与其对应的数据块文件进行查找的过程中，当未查找到所述数据块文件时，调用分布式文件系统I/O对所述数据块文件数据进行读写。
一种分布式文件系统的数据读写系统，包括：
获取单元，用于获取客户端所要读写文件的数据块元信息及所述客户端的IP地址；
解析单元，用于解析所述获取单元获取的数据块元信息中包含的数据块IP地址；
比较单元，用于将所述解析单元解析的数据块IP地址与所述获取单元获取的客户端IP地址进行比较；
第一读写单元，用于当所述比较单元比较得出所述数据块IP地址与所述客户端IP地址相同时，调用本地文件系统I/O对所述文件数据进行读写。
上述的系统，优选的，还包括：
第二读写单元，用于当所述比较单元比较得出所述数据块IP地址与所述客户端IP地址不相同时，调用分布式文件系统I/O对所述文件数据进行读写。
上述的系统，优选的，所述第一读写单元包括：
第一解析子单元、用于解析所述数据块元信息中包含的数据块存储路径信息；
查找单元、用于基于所述第一解析子单元解析的数据块存储路径信息对与所述路径信息相对应的数据块文件进行查找。
由以上本申请实施例提供的技术方案可见，本发明提供的分布式文件系统的读写方法及系统，获取客户端所要读写文件的数据块元信息及所述客户端的IP地址后，解析所述数据块元信息中的数据块IP地址，通过对所述数据块IP地址与所述客户端IP地址的比较，判断得出所述数据块与所述客户端是否在同一数据节点，当判断得出所述数据块与所述客户端在同一数据节点时，调用客户端的本地文件系统I/O对所述数据块中的文件数据进行读写，提高了客户端与数据节点的交互速率，有效的减少了交互时间，提高了对文件读写的效率及I/O接口的计算性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的现有技术中分布式文件系统的I/O示意图；
图2为本申请实施例提供的分布式文件系统的数据读写的方法流程图；
图3为本申请实施例提供的分布式文件系统的数据读写的一详细方法流程图；
图4为本申请实施例提供的分布式文件系统数据读写过程应用本地文件系统I/O进行数据读写的方法流程图；
图5为本申请实施例提供的分布式文件系统数据读写过程中的又一详细方法流程图：
图6为本申请实施例提供的分布式文件系统中数据读写系统的结构示意图；
图7为本申请实施例提供的分布式文件系统中数据读写系统的一详细结构示意图；
图8为本申请实施例提供的分布式文件系统中数据读写系统的再一详细结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
首先对分布式文件系统的数据存储原理进行简述：
分布式文件系统通常由多于一台的服务器组成，且现代分布式文件系统普遍采用带外模式，即文件元数据信息存放在一台服务器上(也可以存放在多台服务器上)，文件内容数据则被分割成块并分别存储在多台服务器上。例如：A文件有10MB大小，那么假设分割块的标准时2MB，那么A文件将会被分割为5个大小为2MB的数据块，这5个数据块会根据一定的策略存放到不同的服务器上。通常为了提升分布式文件系统的可靠性，一个文件会对应若干副本，以便其中一个副本损坏时，还有其余副本可用。考虑上面提到的A文件，被分割为5个数据块，假设此时的分布式文件系统为每个文件提供2个副本，即2个A文件副本，共10个块，这10个副本数据块也会根据一定的策略存放的不同的服务器上。
在以上分布式文件系统的数据存储基础上，本申请实施例提供的分布式文件系统的数据读写的方法流程图如图2所示，包括：
步骤S101：获取客户端所要读写文件的数据块元信息及所述客户端的IP地址；
由于分布式文件系统采用带外模式，即文件元数据信息和文件内容数据没有存储在一起，而文件内容数据又以数据块的形式存储在不同的数据节点；所以在对分布式文件系统进行数据读写时，首先根据客户端用户要读写的文件的元信息获取与所述文件元信息相对应的文件的数据块元信息；同时获取客户端所在物理位置节点的IP地址；
步骤S102：解析所述数据块元信息中包含的数据块IP地址；
获取的数据块元信息中包含有存储文件内容的数据块的物理位置的IP地址，即所述数据块所存储的数据节点的IP地址；
步骤S103：将所述数据块IP地址与所述客户端的IP地址进行比较，当所述数据块IP地址与所述客户端的IP地址相同时，调用本地文件系统I/O对所述文件数据进行读写；
将所述数据块的IP地址与所述客户端的IP地址进行比较，判断得出所述数据块所述在的物理数据节点与所述客户端所在的物理数据节点是否为同一数据节点，若是，表明所述数据块与所述客户端位于同一物理位置，此时直接调用客户端的本地文件系统I/O对所述文件数据进行读写。
在图2所示方法实施例的基础上，本申请实施例提供了分布式文件系统的数据读写的一方法流程图如图3所示，包括：
步骤S201：比较所述数据块IP地址与所述客户端IP地址是否相同；如相同，则执行步骤S202，否则，执行步骤S203；
步骤S202：调用本地文件系统I/O对所述文件数据进行读写；
步骤S203：调用分布式文件I/O对所述文件数据进行读写；
当比较所述数据块IP地址与所述客户端IP地址不相同时，则表明当前操作的数据块与所述客户端位于不同的物理位置，调用分布式文件I/O使用基于TCP/IP的SOCKET方式与数据节点进行交互对所述文件数据进行读写。
结合图2与图3所描述的分布式文件系统的数据读写的方法实施例，本申请实施例在读分布式文件系统中的文件数据进行读写时，由于分布式文件系统中的文件内容数据被分割为多个数据块存储在多台服务器上，当对分布式文件读写时，分别读取上述多个数据块，将读取的数据块的IP地址与进行文件读取的客户端的IP地址进行比较，当读取的数据块的IP地址与客户端的IP地址相同时，调用本地文件系统的I/O对该数据块所存储的文件内容进行读取；当读取的数据块的IP地址与客户端的IP地址不相同时，调用分布式文件系统的I/O使用基于TCP/IP的SOCKET方式与数据节点进行交互对所述数据块所存储的文件数据进行读写。
以上方法实施例的实施过程中，应用本地文件系统I/O进行数据读写的方法实施过程如图4所示，包括：
步骤S401：解析所述数据块元信息中包含的数据块存储路径信息；
对所述数据块元信息进行解析，提取出所述数据块元信息中包含的数据块存储路径信息；
步骤S402：依据所述数据块路径存储信息对与其对应的数据块文件进行查找，当查找到所述数据块文件时，调用本地文件系统I/O对所述数据块文件进行读写；
依据提取出的数据块元信息中包含的数据块存储路径信息查找所述路径对应的数据块文件，由于文件内容被分割为多个不同数据块进行存储，所以所述多个不同数据块有多个不同的存储路径，依据所述多个不同的存储路径将所述文件的多个不同数据块全部找到；由于该查找过程是在所述数据块与所述客户端的IP地址相一致的基础上进行的，所述查找到的数据块与所述客户端的IP地址相同，直接调用客户端的本地文件系统I/O对所述数据块文件进行读写。
为了更加系统全面的对本申请实施例提供的分布式文件系统的数据读写方法进行描述，本申请实施例在以上方法实施例的基础上提供了一详细流程图如图5所示，包括：
步骤S101：获取客户端所要读写文件的数据块元信息及所述客户端的IP地址；
步骤S102：解析所述数据块元信息中包含的数据块IP地址，执行步骤S201；
步骤S201：比较所述数据块IP地址与所述客户端IP地址是否相同；若相同，执行步骤S301；否则，执行步骤S203；
步骤S301：解析所述数据块元信息中包含的数据块存储路径信息，并依据所述数据块路径信息对与其对应的数据块文件进行查找；执行步骤S302；
步骤S203：调用分布式文件I/O对所述文件数据进行读写；
步骤S302：判断是否查找到所述数据块文件；如果是，执行步骤S303；否则，返回执行步骤S203；
步骤S303：调用本地文件系统I/O对所述文件数据进行读写。
以上步骤执行过程中，步骤S302虽然是在步骤S201判断得出数据块的IP地址与客户端的IP地址相同的基础上进行的，但是在查找过程中未查找到该数据块文件，则调用分布式文件系统I/O对该数据块文件进行读写，步骤S203是步骤S302在未执行成功时的一种后备方式；同时若步骤S302执行过程中，查找到数据块文件，但所述数据块文件发生损坏，不能被正常读取，这种情况下，同样调用分布式文件系统I/O，使用基于TCP/IP的SOCKET方式来产生异常消息，从而选取另外的数据节点进行数据操作。
通过以上方法实施例的描述，本发明提供的分布式文件系统的数据读写的方法对于使用分布式文件系统的计算环境非常适用，能够有效的计算节点与数据节点是否位于同一物理位置，从而提升I/O性能，从而提高其计算性能，同时在很大程度上，提高了节点间交互的速率。
对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
针对以上方法实施例，本申请实施例还提供了一种分布式文件系统的数据读写系统，其结构示意图如图6所示，包括：
获取单元501，用于获取客户端所要读写文件的数据块元信息及所述客户端的IP地址；
解析单元502，用于解析所述获取单元501获取的数据块元信息中包含的数据块IP地址；
比较单元503，用于将所述解析单元502解析的数据块IP地址与所述获取单元501获取的客户端IP地址进行比较；
第一读写单元504，用于当所述比较单元503比较得出所述数据块IP地址与所述客户端IP地址相同时，调用本地文件系统I/O对所述文件数据进行读写。
在图6的基础上，本申请实施例还提供了分布式文件系统数据读写系统的一详细结构示意图，如图7所示，所述读写系统还包括：
第二读写单元505，用于当所述比较单元503比较得出所述数据块IP地址与所述客户端IP地址不相同时，调用分布式文件系统I/O对所述文件数据进行读写。
在图7的基础上，本申请实施例提供了分布式文件数据读写系统的一详细结构示意图如图8所示，第一读写单元504包括：
第一解析子单元506、用于解析所述数据块元信息中包含的数据块存储路径信息；
查找单元507、用于基于所述第一解析子单元解析的数据块存储路径信息对与所述路径信息相对应的数据块文件进行查找；
当查找到所述数据块文件时，反馈至所述第一读写单元504调用客户端本地文件系统I/O对所述数据块文件进行读写；
当未查找到所述数据块文件或所述数据块文件发生损坏时，反馈至所述第二读写单元505调用分布式文件I/O对所述数据块文件进行读写或发布异常信息。
对于系统实施例而言，由于其基本相应于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (5)

1.一种分布式文件系统的数据读写方法，其特征在于，包括：
获取客户端所要读写文件的数据块元信息及所述客户端的IP地址；
解析所述数据块元信息中包含的数据块IP地址；
将所述数据块IP地址与所述客户端的IP地址进行比较，当所述数据块IP地址与所述客户端的IP地址相同时，调用本地文件系统I/O（输入输出端口，input/output）对所述文件数据进行读写；
所述调用本地文件系统I/O对所述文件数据进行读写的过程具体为：
解析所述数据块元信息中包含的数据块存储路径信息；
依据所述数据块存储路径信息对与其对应的数据块文件进行查找，当查找到所述数据块文件时，调用本地文件系统I/O对所述数据块文件数据进行读写。
2.根据权利要求1所述的方法，其特征在于，还包括：将所述数据块IP地址与所述客户端的IP地址进行比较的过程中，当所述数据块IP地址与所述客户端的IP地址不相同时，调用分布式文件系统I/O对所述文件数据进行读写。
3.根据权利要求1所述的方法，其特征在于，还包括：依据所述数据块存储路径信息对与其对应的数据块文件进行查找的过程中，当未查找到所述数据块文件时，调用分布式文件系统I/O对所述数据块文件数据进行读写。
4.一种分布式文件系统的数据读写系统，其特征在于，包括:
获取单元，用于获取客户端所要读写文件的数据块元信息及所述客户端的IP地址；
解析单元，用于解析所述获取单元获取的数据块元信息中包含的数据块IP地址；
比较单元，用于将所述解析单元解析的数据块IP地址与所述获取单元获取的客户端IP地址进行比较；
第一读写单元，用于当所述比较单元比较得出所述数据块IP地址与所述客户端IP地址相同时，调用本地文件系统I/O对所述文件数据进行读写；
所述第一读写单元包括：
第一解析子单元、用于解析所述数据块元信息中包含的数据块存储路径信息；
查找单元、用于基于所述第一解析子单元解析的数据块存储路径信息对与所述路径信息相对应的数据块文件进行查找。
5.根据权利要求4所述的系统，其特征在于，还包括：第二读写单元，用于当所述比较单元比较得出所述数据块IP地址与所述客户端IP地址不相同时，调用分布式文件系统I/O对所述文件数据进行读写。
CN 201110075382 2011-03-28 2011-03-28 一种分布式文件系统的数据读写方法及系统 Expired - Fee Related CN102142032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110075382 CN102142032B (zh) 2011-03-28 2011-03-28 一种分布式文件系统的数据读写方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110075382 CN102142032B (zh) 2011-03-28 2011-03-28 一种分布式文件系统的数据读写方法及系统

Publications (2)

Publication Number Publication Date
CN102142032A CN102142032A (zh) 2011-08-03
CN102142032B true CN102142032B (zh) 2013-03-20

Family

ID=44409541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110075382 Expired - Fee Related CN102142032B (zh) 2011-03-28 2011-03-28 一种分布式文件系统的数据读写方法及系统

Country Status (1)

Country Link
CN (1) CN102142032B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336730A (zh) * 2013-06-05 2013-10-02 中国人民解放军国防科学技术大学 一种基于云存储的数据备份方法及系统
CN106933646A (zh) * 2015-12-29 2017-07-07 杭州华为数字技术有限公司 一种创建虚拟机的方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622431B (zh) * 2012-02-27 2014-04-16 福建联迪商用设备有限公司 基于flash的流式文件系统以及文件读取写入的方法
CN103309871B (zh) * 2012-03-09 2016-12-14 联想(北京)有限公司 文件读写方法和电子设备
CN103678360A (zh) * 2012-09-13 2014-03-26 腾讯科技（深圳）有限公司 一种分布式文件系统的数据存储方法和装置
CN102937918B (zh) * 2012-10-16 2016-03-30 西安交通大学 一种hdfs运行时数据块平衡方法
CN104050200B (zh) * 2013-03-15 2017-12-08 伊姆西公司 用于数据拷贝的方法和装置
CN103488564B (zh) * 2013-09-13 2016-08-31 北京航空航天大学 一种分布式实时测试系统多路测试数据压缩与归并方法
CN104965835B (zh) * 2014-07-30 2018-12-07 浙江大华技术股份有限公司 一种分布式文件系统的文件读写方法及装置
CN107343027B (zh) * 2017-06-13 2020-08-04 福建省天晴互动娱乐有限公司 App分享方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000042741A1 (en) * 1999-01-12 2000-07-20 Mcdata Corporation Method and apparatus for measuring traffic within a switch
CN101329681A (zh) * 2007-06-20 2008-12-24 国际商业机器公司 管理共享文件系统的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840730B2 (en) * 2008-06-27 2010-11-23 Microsoft Corporation Cluster shared volumes

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000042741A1 (en) * 1999-01-12 2000-07-20 Mcdata Corporation Method and apparatus for measuring traffic within a switch
CN101329681A (zh) * 2007-06-20 2008-12-24 国际商业机器公司 管理共享文件系统的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贾瑞勇等.基于网络存储的异构集群文件系统研究与实现.《西北工业大学学报》.2005,第23卷(第1期), *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336730A (zh) * 2013-06-05 2013-10-02 中国人民解放军国防科学技术大学 一种基于云存储的数据备份方法及系统
CN103336730B (zh) * 2013-06-05 2016-02-10 中国人民解放军国防科学技术大学 一种基于云存储的数据备份方法及系统
CN106933646A (zh) * 2015-12-29 2017-07-07 杭州华为数字技术有限公司 一种创建虚拟机的方法及装置

Also Published As

Publication number Publication date
CN102142032A (zh) 2011-08-03

Similar Documents

Publication Publication Date Title
CN102142032B (zh) 一种分布式文件系统的数据读写方法及系统
CN102222085B (zh) 一种基于相似性与局部性结合的重复数据删除方法
US8051362B2 (en) Distributed data storage using erasure resilient coding
CN101997823B (zh) 一种分布式文件系统及其数据访问方法
US8230185B2 (en) Method for optimizing cleaning of maps in FlashCopy cascades containing incremental maps
CN101577735B (zh) 一种接管故障元数据服务器的方法、装置及系统
US8805849B1 (en) Enabling use of analytic functions for distributed storage system data
US20150213100A1 (en) Data synchronization method and system
CN106708653B (zh) 一种基于纠删码与多副本的混合税务大数据安全保护方法
CN102938784A (zh) 应用于分布式存储系统中的数据存储方法和系统
CN103051681B (zh) 一种面向分布式文件系统的协作式日志系统
CN106446159B (zh) 一种存储文件的方法、第一虚拟机及名称节点
CN110134648A (zh) 日志处理方法、装置、设备、系统及计算机可读存储介质
CN104820717A (zh) 一种海量小文件存储及管理方法和系统
CN104965835B (zh) 一种分布式文件系统的文件读写方法及装置
CN109544344B (zh) 基于dag的区块链的交易处理方法及设备
CN103152390A (zh) 分布式存储系统的节点配置方法、装置、节点及系统
CN103647850A (zh) 一种分布式版本控制系统的数据处理方法、设备及系统
CN105205143A (zh) 一种文件存储及处理方法、设备和系统
CN104618304A (zh) 数据处理方法及数据处理系统
CN103559224A (zh) 一种对元数据对象进行散列的方法及装置
CN102929958A (zh) 元数据的处理方法，代理、转发设备，服务器及计算系统
CN103678360A (zh) 一种分布式文件系统的数据存储方法和装置
CN103399943A (zh) 集群数据库并行查询的通讯方法和通讯装置
US9684668B1 (en) Systems and methods for performing lookups on distributed deduplicated data systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130320

Termination date: 20150328

EXPY Termination of patent right or utility model