CN103092927B - 一种分布式环境下的文件快速读写方法 - Google Patents
一种分布式环境下的文件快速读写方法 Download PDFInfo
- Publication number
- CN103092927B CN103092927B CN201210590615.5A CN201210590615A CN103092927B CN 103092927 B CN103092927 B CN 103092927B CN 201210590615 A CN201210590615 A CN 201210590615A CN 103092927 B CN103092927 B CN 103092927B
- Authority
- CN
- China
- Prior art keywords
- file
- metadata node
- back end
- node
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
本发明公开了一种分布式环境下的文件快速读方法，包括：客户节点向元数据节点发出读文件请求，客户节点判断其自身是否和分布式文件系统中该客户节点上一次读取文件所连接的数据节点保持着连接，若不是则元数据节点根据其索引区中的信息查询该文件是否存在于其数据区中，若不是则元数据节点根据其一级索引信息查询存有该文件的数据节点，客户节点与该数据节点建立连接，数据节点根据二级索引信息查找该文件所在的数据块，根据二级索引信息获取文件，并将该文件发送给客户节点，客户节点接收数据并保持与该数据节点的连接。本发明能够解决现有方法中存在的元数据节点占用内存大，以及大量文件写效率低下的问题。
Description
技术领域
本发明属于网络通信领域，更具体地，涉及一种分布式环境下的文件快速读写方法。
背景技术
随着科技和互联网的高速发展，存储系统需要存储海量的数据，应对高并发用户的访问，提供高可靠、高可用的服务，传统的单机系统已经不能满足这些需求，而分布式文件系统可以很好的满足这些需求。在实际的应用中（个人应用、web应用、科学计算等）会产生海量的文件信息，如何在分布式环境下高效的存储和访问海量的文件，至今任然是一个难题和挑战。
当前主流的分布式文件系统包括googleGFS，HDFS，Lustre，Ceph等。这些分布式文件系统的架构和基本原理大致相同，主要由元数据节点，数据节点和客户节点组成。其中元数据节点保存分布式文件系统的元数据（文件系统的命名空间，文件名->数据块的映射，数据块->数据节点的映射）；数据节点存放实际的文件数据（一般以数据块的形式进行存储）；客户节点连接元数据节点进行文件信息查询，连接数据节点进行实际的文件传输，其在存取数据之前都要先和元数据节点进行通信。
分布式文件系统对于文件的读写性能比较低。其文件读写性能差有以下原因：分布式文件系统的元数据存于元数据节点的内存中，大量的文件会占用元数据节点很多内存（一个文件会占用一个索引项）；大量文件的频繁存取，会加重元数据节点的负担（客户节点不停的和元数据节点交互），造成数据节点磁盘频繁的寻道，降低系统的性能；客户节点在存取文件时和元数据节点交互的时间可能大于和数据节点的数据传输时间。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种分布式环境下的文件快速写方法，旨在解决现有方法中存在的元数据节点占用内存大，以及大量文件写效率低下的问题。
为实现上述目的，本发明提供了一种分布式环境下的文件快速写方法，包括以下步骤：
步骤S301：对分布式环境下元数据节点的数据区及索引信息进行初始化，其中索引信息包括元数据节点的索引区和一级索引区，以及数据节点的二级索引区；
步骤S302：客户节点向元数据节点发出写文件请求；
步骤S303：元数据节点根据写文件请求判断元数据节点的数据区的剩余空间是否大于或等于该文件大小，如果是，则转入步骤S304，否则转入步骤S308；
步骤S304：元数据节点接收客户节点的文件，并将该文件存储到元数据节点的数据区的剩余空间中；
步骤S305：元数据节点更新其索引区的信息：
步骤S306：元数据节点判断元数据节点的数据区中存储的数据是否大于一个阈值，如果是，则转入步骤S307，否则过程结束；
步骤S307：元数据节点将其数据区的数据作为一个普通文件存于分布式文件系统中，并清空其数据区及索引区中的数据，过程结束；
步骤S308：元数据节点将其数据区的数据作为一个普通文件存于分布式文件系统中，并清空其数据区及索引区中的数据；
步骤S309：元数据节点接收客户节点的文件数据，并将其存储到其数据区的剩余空间中；
步骤S310：元数据节点更新其索引区的信息。
文件的大小是介于0~1MB之间，普通文件的大小大于所述阈值。
步骤305和步骤S310具体为，元数据节点在其索引区中添加一条新的表项，包括有文件ID、文件在数据区中的偏移、以及文件的大小。
步骤S301包括以下子步骤：
步骤S401：判断是否已经对分布式环境下元数据节点的数据区及索引信息进行过初始化，如果是，则过程结束，否则转入步骤S402；
步骤S402：元数据节点在其内存中开辟一个大小为M的区域，用以保存临时的文件，其中M为大于上述阈值的正整数；
步骤S403：元数据节点设置索引区，用于存储每个文件在其数据区中的索引信息；
步骤S404：元数据节点设置一级索引区，用于保存文件到数据节点的映射关系；
步骤S405：数据节点设置二级索引区，其位于数据节点中，用于存储文件的二级索引信息。
二级索引信息包括：文件到数据块的映射、文件在数据块内的偏移、及文件的大小。
步骤S307和S308均包括以下子步骤：
步骤S501：元数据节点将其数据区的数据作为一个普通文件保存于分布式文件系统中；
步骤S502：元数据节点将该普通文件的索引信息发送到相应的数据节点的二级索引区中，数据节点将该索引信息添加到其二级索引区；
步骤S503：元数据节点根据文件的ID和数据节点ID更新其一级索引信息；
步骤S504：元数据节点清空其数据区中的数据；
步骤S505：元数据节点清空其索引区中的数据。
步骤S503具体为，元数据节点在其一级索引区中添加文件ID与数据节点ID的映射关系，以便进行文件的读取查询。
通过本发明所构思的以上技术方案，与现有技术相比，本方法具有以下的有益效果：
（1）节省元数据节点的内存，增加分布式文件系统所能存储的文件数目：由于采用了步骤S301、S307以及S308，通过在元数据节点中存储文件的一级索引信息,在数据节点中存储文件的二级索引信息，因而降低了元数据节点的内存使用,增加了分布式文件系统所能存储的文件数目,且提高了数据节点的内存利用率。
（2）提高写文件的性能：由于采用了步骤S301、S307以及S308，通过在元数据节点的数据区中将许多文件进行合并后存储到分布式文件系统中，因而减少了客户节点与数据节点的交互次数，也减少了写大量文件所花费的时间。
本发明的另一目的在于提供一种分布式环境下的文件快速读方法，旨在解决现有方法中存在的元数据节点负载过大，以及大量文件读效率低下的问题。
为实现上述目的，本发明提供了一种分布式环境下的文件快速读方法，包括以下步骤：
步骤S601：客户节点向元数据节点发出读文件请求；
步骤S602：客户节点判断其自身是否和分布式文件系统中该客户节点上一次读取文件所连接的数据节点保持着连接，若是，则转入步骤S603，否则转入步骤S606；
步骤S603：客户节点向该数据节点发送读文件请求；
步骤S604：数据节点根据其二级索引区中存储的二级索引信息进行查询，以判断其自身是否存储了读文件请求所对应的文件，若是则转入步骤S609，否则转入步骤S605；
步骤S605：客户节点断开与该数据节点的连接；
步骤S606：元数据节点根据其索引区中的信息查询该文件是否存在于其数据区中，若是则转入步骤S611，否则转入步骤S607；
步骤S607：元数据节点根据其一级索引信息查询存有该文件的数据节点；
步骤S608：客户节点与该数据节点建立连接；
步骤S609：数据节点根据二级索引信息查找该文件所在的数据块，根据二级索引信息获取文件，并将该文件发送给客户节点；
步骤S610：客户节点接收数据并保持与该数据节点的连接，然后过程结束；
步骤S611：元数据节点根据其索引区中的索引信息从其数据区获取文件，并将该文件发送给客户节点。
客户节点和数据节点之间的连接可以是TCP连接或UDP连接。
通过本发明所构思的以上技术方案，与现有技术相比，本方法具有以下的有益效果：
（1）降低元数据节点的负载：由于采用了步骤S602和S610，客户节点会保持与上一次读取的文件所在的数据节点的连接，这样如果下一次要读取的文件也在该数据节点中（对于文件的读取通常具有局部性，在同一个数据块内的文件有可能被连续的读取），则客户节点不用连接元数据节点，因而降低了元数据节点的负载，提高了系统的响应速度。
（2）提高读文件的性能：由于采用了步骤S611，如果要读取的文件位于元数据节点的数据区中，客户节点可以直接从元数据节点的数据区中读取数据（比从磁盘中读快），且不用和数据节点进行连接和文件读取，因而可以明显提升文件读取的效率。由于采用了步骤S602和S610，客户节点直接连接数据节点进行文件的读取，因而可以提高读文件的性能。
附图说明
图1为本发明分布式环境下的文件快速读写方法所应用到的分布式文件系统架构图。
图2为本发明元数据节点的框架图。
图3为本发明分布式环境下的文件快速写方法的流程图。
图4为本发明分布式环境下的文件快速写方法中步骤S301的细化流程图。
图5为本发明分布式环境下的文件快速写方法中步骤S307/S308的细化流程图。
图6为本发明分布式环境下的文件快速读方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
首先对本发明中的技术术语进行解释和定义：
元数据节点：保存分布式文件系统的元数据（文件系统的命名空间，文件名->数据块的映射，数据块->数据节点的映射）。
数据节点：存放实际的文件数据（一般以数据块的形式进行存储）。其通过心跳接受来自元数据节点的块操作命令。
客户节点：连接元数据节点进行文件信息查询，连接元数据节点和数据节点进行实际的文件传输。
下面结合附图对本发明进行详细说明。
如图1所示，本发明分布式环境下的文件快速读写方法所应用到的分布式文件系统架构包括以下部分：
元数据节点：对于文件，元数据节点在内存中开辟一个数据区、索引区和一级索引区，数据区用于保存临时的文件，将文件进行合并，索引区用于存储每个文件在数据区的索引信息，一级索引区保存文件到数据节点的映射。元数据节点的框架图如图2所示；
数据节点：在内存中开辟一个二级索引区，存储了文件的二级索引信息，包括以下信息：文件到数据块的映射；文件在数据块内的偏移及文件的大小；以及
客户节点：连接元数据节点进行文件信息查询，连接元数据节点和数据节点进行实际的文件传输。
如图2所示，本发明中元数据节点框架包括以下内容：
数据区：用以保存临时的文件，将文件进行合并；
索引区：其用于存储每个文件在数据区的索引信息，索引区的索引项是定长索引，每一个文件对应一个索引项，索引项包括fileID、offset和length，其中fileID代表文件名，offset代表文件在数据区的偏移，length代表文件的大小，数据区中每增加一个文件的数据，都要在索引区中增加一个相应的索引项；
一级索引区：其是一个全局索引，一级索引项包括fileID和数据节点ID的映射，数据节点ID标识某个特定的数据节点，对于合并成文件且存储到数据节点中的文件，将其存储信息添加到一级索引中，以便客户节点读取文件时能定位到存储文件的具体数据节点。
如图3所示，本发明分布式环境下的文件快速写方法包括以下步骤：
步骤S301：对分布式环境下元数据节点的数据区及索引信息进行初始化，其中索引信息包括元数据节点的索引区和一级索引区，以及数据节点的二级索引区；
步骤S302：客户节点向元数据节点发出写文件请求；在本发明中，文件的大小是介于0~1MB之间；
步骤S303：元数据节点根据写文件请求判断元数据节点的数据区的剩余空间是否大于或等于该文件大小，如果是，则转入步骤S304，否则转入步骤S308；
步骤S304：元数据节点接收客户节点的文件，并将该文件存储到元数据节点的数据区的剩余空间中；
步骤S305：元数据节点更新其索引区的信息：具体而言，元数据节点在其索引区中添加一条新的表项，包括有文件ID、文件在数据区中的偏移、以及文件的大小；
步骤S306：元数据节点判断元数据节点的数据区中存储的数据是否大于一个阈值，如果是，则转入步骤S307，否则过程结束；具体而言，阈值的取值范围是60至63Mb；
步骤S307：元数据节点将其数据区的数据作为一个普通文件存于分布式文件系统中，并清空其数据区及索引区中的数据，过程结束；具体而言，普通文件是指文件大小大于上述阈值的文件；
步骤S308：元数据节点将其数据区的数据作为一个普通文件存于分布式文件系统中，并清空其数据区及索引区中的数据；
步骤S309：元数据节点接收客户节点的文件数据，并将其存储到其数据区的剩余空间中；
步骤S310：元数据节点更新其索引区的信息：具体而言，元数据节点在其索引区中添加一条新的表项，包括有文件ID、文件在数据区中的偏移、以及文件的大小；
如图4所示，本发明方法中的步骤S301包括以下子步骤：
步骤S401：判断是否已经对分布式环境下元数据节点的数据区及索引信息进行过初始化，如果是，则过程结束，否则转入步骤S402；
步骤S402：元数据节点在其内存中开辟一个大小为M的区域，用以保存临时的文件，其中M为大于上述阈值的正整数，其取值范围为64-128Mb；
步骤S403：元数据节点设置索引区，用于存储每个文件在其数据区中的索引信息；
步骤S404：元数据节点设置一级索引区，用于保存文件到数据节点的映射关系；
步骤S405：数据节点设置二级索引区，其位于数据节点中，用于存储文件的二级索引信息；具体而言，二级索引信息包括：文件到数据块的映射、文件在数据块内的偏移、及文件的大小。
如图5所示，本发明方法中的步骤S307和S308均包括以下子步骤：
步骤S501：元数据节点将其数据区的数据作为一个普通文件保存于分布式文件系统中；
步骤S502：元数据节点将该普通文件的索引信息发送到相应的数据节点的二级索引区中，数据节点将该索引信息添加到其二级索引区；
步骤S503：元数据节点根据文件的ID和数据节点ID更新其一级索引信息；具体而言，元数据节点在其一级索引区中添加文件ID与数据节点ID的映射关系，以便进行文件的读取查询；
步骤S504：元数据节点清空其数据区中的数据；
步骤S505：元数据节点清空其索引区中的数据。
如图6所示，本发明分布式环境下的文件快速读方法包括以下步骤：
步骤S601：客户节点向元数据节点发出读文件请求；
步骤S602：客户节点判断其自身是否和分布式文件系统中该客户节点上一次读取文件所连接的数据节点保持着连接，若是，则转入步骤S603，否则转入步骤S606；具体而言，客户节点和数据节点之间的连接可以是TCP连接或UDP连接；
步骤S603：客户节点向该数据节点发送读文件请求；
步骤S604：数据节点根据其二级索引区中存储的二级索引信息进行查询，以判断其自身是否存储了读文件请求所对应的文件，若是则转入步骤S609，否则转入步骤S605；具体而言，二级索引信息包括：文件到数据块的映射、文件在数据块内的偏移、及文件的大小；
步骤S605：客户节点断开与该数据节点的连接；
步骤S606：元数据节点根据其索引区中的信息查询该文件是否存在于其数据区中，若是则转入步骤S611，否则转入步骤S607；
步骤S607：元数据节点根据其一级索引信息（即文件ID到数据节点的映射关系）查询存有该文件的数据节点；
步骤S608：客户节点与该数据节点建立连接；
步骤S609：数据节点根据二级索引信息查找该文件所在的数据块，根据二级索引信息获取文件，并将该文件发送给客户节点；
步骤S610：客户节点接收数据并保持与该数据节点的连接，然后过程结束；
步骤S611：元数据节点根据其索引区中的索引信息从其数据区获取文件，并将该文件发送给客户节点。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种分布式环境下的文件快速写方法，其特征在于，包括以下步骤：
步骤S301：对分布式环境下元数据节点的数据区及索引信息进行初始化，其中索引信息包括元数据节点的索引区和一级索引区，以及数据节点的二级索引区；本步骤包括以下子步骤：
步骤S401：判断是否已经对分布式环境下元数据节点的数据区及索引信息进行过初始化，如果是，则过程结束，否则转入步骤S402；
步骤S402：元数据节点在其内存中开辟一个大小为M的区域，用以保存临时的文件，其中M为大于一个阈值的正整数；
步骤S403：元数据节点设置索引区，用于存储每个文件在其数据区中的索引信息；
步骤S404：元数据节点设置一级索引区，用于保存文件到数据节点的映射关系；
步骤S405：数据节点设置二级索引区，其位于数据节点中，用于存储文件的二级索引信息；
步骤S302：客户节点向元数据节点发出写文件请求；
步骤S303：元数据节点根据写文件请求判断元数据节点的数据区的剩余空间是否大于或等于该文件大小，如果是，则转入步骤S304，否则转入步骤S308；
步骤S304：元数据节点接收客户节点的文件，并将该文件存储到元数据节点的数据区的剩余空间中；
步骤S305：元数据节点更新其索引区的信息：
步骤S306：元数据节点判断元数据节点的数据区中存储的数据是否大于上述阈值，如果是，则转入步骤S307，否则过程结束；
步骤S307：元数据节点将其数据区的数据作为一个普通文件存于分布式文件系统中，并清空其数据区及索引区中的数据，过程结束；
步骤S308：元数据节点将其数据区的数据作为一个普通文件存于分布式文件系统中，并清空其数据区及索引区中的数据；步骤S307和步骤S308均包括以下子步骤：
步骤S501：元数据节点将其数据区的数据作为一个普通文件保存于分布式文件系统中；
步骤S502：元数据节点将该普通文件的索引信息发送到相应的数据节点的二级索引区中，数据节点将该索引信息添加到其二级索引区；
步骤S503：元数据节点根据文件的ID和数据节点ID更新其一级索引信息；
步骤S504：元数据节点清空其数据区中的数据；
步骤S505：元数据节点清空其索引区中的数据；
步骤S309：元数据节点接收客户节点的文件数据，并将其存储到其数据区的剩余空间中；
步骤S310：元数据节点更新其索引区的信息。
2.根据权利要求1所述的文件快速写方法，其特征在于，文件的大小是介于0～1MB之间，普通文件的大小大于所述阈值。
3.根据权利要求1所述的文件快速写方法，其特征在于，步骤305和步骤S310具体为，元数据节点在其索引区中添加一条新的表项，包括有文件ID、文件在数据区中的偏移、以及文件的大小。
4.根据权利要求1所述的文件快速写方法，其特征在于，二级索引信息包括：文件到数据块的映射、文件在数据块内的偏移、及文件的大小。
5.根据权利要求1所述的文件快速写方法，其特征在于，步骤S503具体为，元数据节点在其一级索引区中添加文件ID与数据节点ID的映射关系，以便进行文件的读取查询。
6.一种分布式环境下的文件快速读方法，其特征在于，包括以下步骤：
步骤S601：客户节点向元数据节点发出读文件请求；
步骤S602：客户节点判断其自身是否和分布式文件系统中该客户节点上一次读取文件所连接的数据节点保持着连接，若是，则转入步骤S603，否则转入步骤S606；
步骤S603：客户节点向该数据节点发送读文件请求；
步骤S604：数据节点根据其二级索引区中存储的二级索引信息进行查询，以判断其自身是否存储了读文件请求所对应的文件，若是则转入步骤S609，否则转入步骤S605；
步骤S605：客户节点断开与该数据节点的连接；
步骤S606：元数据节点根据其索引区中的信息查询该文件是否存在于其数据区中，若是则转入步骤S611，否则转入步骤S607；
步骤S607：元数据节点根据其一级索引信息查询存有该文件的数据节点；
步骤S608：客户节点与该数据节点建立连接；
步骤S609：数据节点根据二级索引信息查找该文件所在的数据块，根据二级索引信息获取文件，并将该文件发送给客户节点；
步骤S610：客户节点接收数据并保持与该数据节点的连接，然后过程结束；
步骤S611：元数据节点根据其索引区中的索引信息从其数据区获取文件，并将该文件发送给客户节点。
7.根据权利要求6所述的文件快速读方法，其特征在于，客户节点和数据节点之间的连接可以是TCP连接或UDP连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210590615.5A CN103092927B (zh) | 2012-12-29 | 2012-12-29 | 一种分布式环境下的文件快速读写方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210590615.5A CN103092927B (zh) | 2012-12-29 | 2012-12-29 | 一种分布式环境下的文件快速读写方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103092927A CN103092927A (zh) | 2013-05-08 |
| CN103092927B true CN103092927B (zh) | 2016-01-20 |
Family
ID=48205492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210590615.5A Expired - Fee Related CN103092927B (zh) | 2012-12-29 | 2012-12-29 | 一种分布式环境下的文件快速读写方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103092927B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103595797B (zh) * | 2013-11-18 | 2017-01-18 | 上海爱数信息技术股份有限公司 | 一种分布式存储系统中的缓存方法 |
| CN104750708B (zh) * | 2013-12-27 | 2018-09-28 | 华为技术有限公司 | 一种时空数据的索引建立方法、查询方法、装置及设备 |
| WO2015109483A1 (zh) * | 2014-01-23 | 2015-07-30 | 华为技术有限公司 | 一种存储数据的方法和装置 |
| CN105279166B (zh) * | 2014-06-20 | 2019-01-25 | 中国电信股份有限公司 | 文件管理方法和系统 |
| CN104965835B (zh) * | 2014-07-30 | 2018-12-07 | 浙江大华技术股份有限公司 | 一种分布式文件系统的文件读写方法及装置 |
| CN105630779A (zh) * | 2014-10-27 | 2016-06-01 | 杭州海康威视系统技术有限公司 | 一种基于分布式文件系统的小文件存储方法和装置 |
| CN106326239B (zh) * | 2015-06-18 | 2020-01-31 | 阿里巴巴集团控股有限公司 | 分布式文件系统及其文件元信息管理方法 |
| CN105912428B (zh) * | 2016-05-20 | 2019-01-08 | 上海数腾软件科技股份有限公司 | 实现源数据实时转化为虚拟机镜像的系统及方法 |
| CN109739434A (zh) * | 2018-12-03 | 2019-05-10 | 中科恒运股份有限公司 | 文件读取地址获取方法、文件读取方法和终端设备 |
| CN110109622A (zh) * | 2019-04-28 | 2019-08-09 | 平安科技（深圳）有限公司 | 一种基于中间件的数据处理方法和相关装置 |
| CN111581015B (zh) * | 2020-04-14 | 2021-06-29 | 上海爱数信息技术股份有限公司 | 一种现代应用的持续数据保护系统及方法 |
| CN111858494A (zh) * | 2020-07-23 | 2020-10-30 | 珠海豹趣科技有限公司 | 文件获取方法、装置、存储介质及电子设备 |
| CN113703413B (zh) * | 2021-11-01 | 2022-01-25 | 西安热工研究院有限公司 | 基于二级索引的数据交互方法和系统、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101866359A (zh) * | 2010-06-24 | 2010-10-20 | 北京航空航天大学 | 一种机群文件系统中的小文件存储和访问方法 |
| CN102075584A (zh) * | 2011-01-30 | 2011-05-25 | 中国科学院计算技术研究所 | 一种分布式文件系统及其访问方法 |
| CN102332029A (zh) * | 2011-10-15 | 2012-01-25 | 西安交通大学 | 一种基于Hadoop的海量可归类小文件关联存储方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8751561B2 (en) * | 2008-04-08 | 2014-06-10 | Roderick B. Wideman | Methods and systems for improved throughput performance in a distributed data de-duplication environment |
| US8510267B2 (en) * | 2011-03-08 | 2013-08-13 | Rackspace Us, Inc. | Synchronization of structured information repositories |
-
2012
- 2012-12-29 CN CN201210590615.5A patent/CN103092927B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101866359A (zh) * | 2010-06-24 | 2010-10-20 | 北京航空航天大学 | 一种机群文件系统中的小文件存储和访问方法 |
| CN102075584A (zh) * | 2011-01-30 | 2011-05-25 | 中国科学院计算技术研究所 | 一种分布式文件系统及其访问方法 |
| CN102332029A (zh) * | 2011-10-15 | 2012-01-25 | 西安交通大学 | 一种基于Hadoop的海量可归类小文件关联存储方法 |
Non-Patent Citations (2)
| Title |
|---|
| 一种Hadoop小文件存储和读取的方法;张春明等;《计算机应用与软件》;20121130;第29卷(第11期);第95-100页 * |
| 一种优化分布式文件系统的文件合并策略;陈剑等;《计算机应用》;20111231;第31卷;第161-163页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103092927A (zh) | 2013-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103092927B (zh) | 一种分布式环境下的文件快速读写方法 | |
| CN102662992B (zh) | 一种海量小文件的存储、访问方法及装置 | |
| CN105183839A (zh) | 一种基于Hadoop的小文件分级索引的存储优化方法 | |
| CN105593828B (zh) | 管理文件的方法、分布式存储系统和管理节点 | |
| CN102331986B (zh) | 一种数据库缓存管理方法及一种数据库服务器 | |
| CN105335513B (zh) | 一种分布式文件系统及文件存储方法 | |
| CN102541983B (zh) | 一种分布式文件系统中多客户端缓存同步的方法 | |
| CN104111804A (zh) | 一种分布式文件系统 | |
| CN105549905A (zh) | 一种多虚拟机访问分布式对象存储系统的方法 | |
| CN103019884B (zh) | 基于虚拟机快照的内存页去重方法及装置 | |
| CN103530387A (zh) | 一种hdfs针对小文件的改进方法 | |
| CN103218176B (zh) | 数据处理方法及装置 | |
| CN101854388A (zh) | 一种集群存储中并行访问大量小文件的方法及系统 | |
| CN106155915A (zh) | 数据存储的处理方法及装置 | |
| CN105653396B (zh) | 备份系统及其备份方法 | |
| CN106326229B (zh) | 一种嵌入式系统的文件存储方法和装置 | |
| CN103838853A (zh) | 一种基于不同存储介质的混合文件系统 | |
| CN102158349A (zh) | 一种日志管理装置及方法 | |
| JP7176209B2 (ja) | 情報処理装置 | |
| CN106708968A (zh) | 分布式数据库系统和分布式数据库系统中的数据处理方法 | |
| CN106330788B (zh) | 报文分片传输方法和装置 | |
| CN104079600B (zh) | 文件存储方法、装置、访问客户端及元数据服务器系统 | |
| CN108205482B (zh) | 文件挂载恢复方法 | |
| CN103064749B (zh) | 一种进程间通信方法 | |
| CN101783814A (zh) | 海量存储系统的元数据存储方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160120 Termination date: 20211229 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |