CN101158965A - 一种分布式文件系统的文件读系统和方法 - Google Patents
一种分布式文件系统的文件读系统和方法 Download PDFInfo
- Publication number
- CN101158965A CN101158965A CNA2007101763537A CN200710176353A CN101158965A CN 101158965 A CN101158965 A CN 101158965A CN A2007101763537 A CNA2007101763537 A CN A2007101763537A CN 200710176353 A CN200710176353 A CN 200710176353A CN 101158965 A CN101158965 A CN 101158965A
- Authority
- CN
- China
- Prior art keywords
- read
- file
- client
- descriptor
- advance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种分布式文件系统的文件读系统和方法。该系统包括存储服务器端和多个客户端，所述服务器端包括预读描述符表模块和读请求处理模块，其中：所述预读描述符表模块，用于为来自所述客户端的多个前端负载缓存预读描述符信息，通过表结构缓存所有的预读描述符信息；所述读请求处理模块，用于根据客户端的文件读请求获取前端负载信息，用前端负载信息在缓存描述符表查找所述预读描述符，获得预读描述符的地址，完成对目标文件的读操作。其效果是提升多客户端进程同时读取同一文件时的聚合性能。
Description
技术领域
本发明涉及计算机存储技术领域，特别是涉及到在机群结构中分布式文件系统的文件读系统和方法。
背景技术
机群是以网络互连并能协同工作的多个独立的计算机(称为机群的结点)构成的并行计算机系统。它的结点和互连网络通常都采用现成的商品(Commodity Off The Shelf，COTS)而非定制，这种硬件平台的开放性在降低系统成本的同时，也使其对商业化软件和开源软件都十分友好。由于机群相对于传统的MPP和大型的SMP而言具有优良的性能价格比，自从上世纪九十年代中期以来，机群的研究、生产和应用都取得了迅猛的发展。在2005年11月中旬发布的第二十六期Top500排行榜上，机群结构的比例达到了72.0％，而MPP和星群结构(Constellations)则分别占20.8％和7.2％，即机群已经成为主流的并行计算机体系结构。
机群往往配备大容量的存储设备，需要对这些设备进行管理，同时，还要为不同机群节点的用户提供良好的文件共享服务。现有技术中，是通过分布式文件系统为机群提供这些服务的。
分布式文件系统将机群中的所有存储设备整合起来，建立一个统一的名字空间(文件和目录的组织结构)。其中，机群中各个节点看到的分布式文件系统中的目录结构是一致的，不同节点的用户可以以透明的方式访问相同的文件。
通常地，分布式文件系统包括客户端节点(客户端)1和存储服务器端节点(存储服务器端)2。分布式文件系统中文件的数据存储在存储服务器中，用户进程通过客户端1访问分布式文件系统中的文件，实际上是访问存储服务器中的数据(读写操作，或称访问进程)，包括向存储服务器写入数据(写方法，或称写访问进程)和从存储服务器读取数据(读方法，或称读访问进程)。
在分布式文件系统中，访问存储在存储服务器端2的磁盘中的文件，其一般通过两种方式进行文件访问：1)按文件访问接口进行访问，如网络文件系统(Network File System，NFS)；2)按对象访问接口进行访问，对象可以由一个本地文件系统中的文件实现。
在这两类分布式文件系统的访问方式中，分布式文件系统客户端1的一个文件往往对应于存储服务器端2本地文件系统中的一个或者多个(stripe存储模式)文件，即目标文件。这样，分布式文件系统的客户端1读取一个文件时，首先将读请求发送到存储服务器端2；存储服务器端2接收到请求时，从请求中解析出目标文件的名称和要访问的位置信息，然后，直接调用本地文件系统的open操作打开目标文件，再调用read操作从目标文件中读取数据，最后调用close操作关闭目标文件。即服务器端处理客户端1的每一个read操作，都会打开和关闭目标文件。
但是，如图1所示，如在网络文件系统(NFS)中，客户端1顺序地访问一文件，连续发出两次read操作：read1和read2。read1和read2所读取的数据在逻辑上是连续的，它们的数据对应存储服务器端2同一目标文件(target_file)。存储服务器端2接收到read1请求时，将打开目标文件(target_file)，初始化预读状态信息，读取read1所请求的数据，最后关闭目标文件。目标文件被关闭时，预读状态信息也随之被销毁。存储服务器在处理read2请求时，还要再打开一次目标文件(target_file)，重新初始化预读状态信息，读取read2所请求的数据，最后关闭目标文件，预读状态信息又被销毁。
这样，服务器端处理客户端1的多个连续的读请求时，预读状态信息总是被不断的初始化，不断地销毁，而无法在请求间进行传递。即使客户端进程以顺序的模式访问一个文件，存储服务器端2也无法发挥预读的作用，其严重影响存储服务器的处理性能。
为了解决上述问题，现有技术中，如在网络文件系统(NFS)中，存储服务器端为每个正在被访问的目标文件缓存一个预读描述符。在第一次读取一目标文件时，为其初始化一个预读描述符，并使用它来指导本次读请求所伴随的预读操作。在关闭目标文件后还继续为该文件缓存预读描述符信息。这样，在处理该目标文件的后续读请求时，就可以直接利用缓存的预读信息来指导预读的过程。这样，预读状态信息就可以在请求之间进行传递。客户端进程顺序读取网络文件系统中的文件时，预读描述符缓存机制可以提升文件系统的读性能。
另一种方法是，在存储服务器端为每个目标文件缓存了打开文件描述符fd。由fd可以检索到打开文件的file结构，file结构中维护了预读描述符信息，它是通过缓存fd来缓存预读描述符信息，从而提升文件系统的读性能。
但是，现有技术中，按目标文件缓存预读描述符，当多个客户端进程访问同一文件时，存储服务器端为这多个进程只缓存了一个预读描述符，但各个进程读取同一文件的预读状态信息往往是不一致的，一个预读描述符无法配合多个进程的访问模式来发挥效用。现有技术中，按文件缓存预读描述符信息不会得到期望的效果，而按文件缓存打开文件描述符fd与按文件缓存预读描述符存在同样的问题。此外，一个访问进程打开的文件描述符个数是有限的，并且缓存每一个fd都会占用系统的资源，这些也是现有技术的缺点。
发明内容
本发明的目的在于提供一种分布式文件系统的文件读系统和方法，其能够解决在存储服务器端无法发挥出顺序预读功能的问题，特别是能够解决多个客户端进程同时读取存储服务器端同一目标文件时，在存储服务器端按目标文件缓存预读描述符的方法无法发挥顺序预读功能的问题。
为实现本发明目的而提供的一种分布式文件系统的文件读系统，包括存储服务器端和多个客户端，所述服务器端包括预读描述符表模块和读请求处理模块，其中：
所述预读描述符表模块，用于为来自所述客户端的多个前端负载缓存预读描述符信息，通过表结构缓存所有的预读描述符信息；
所述读请求处理模块，用于根据客户端的文件读请求获取前端负载信息，用前端负载信息在缓存描述符表查找所述预读描述符，获得预读描述符的地址，完成对目标文件的读操作。
所述前端负载是由(client_id，process_id，target_ino)三元组进行标识，其中：
client_id表示请求读取数据的客户端的id号；
process_id表示请求读取数据的客户端的进程号pid；
target_ino表示存储服务器端目标文件的i-number号。
所述表结构为哈希表结构。
所述哈希表入口数固定，每个哈希表入口中所能连接的最大哈希表项个数固定；
每个哈希表入口中使用最近最少使用链表链接哈希表项；
每个哈希表项记录缓存的file_ra_state结构，哈希表项的引用计数，以及所属的前端负载三元组信息；
哈希函数是前端负载三元组信息(client_id，process_id，target_ino)到哈希入口数组索引值的函数。
为实现本发明目的还提供一种分布式文件系统的文件读方法，包括下列步骤：
步骤A，存储服务器加载时初始化预读描述符缓存的表结构，并在处理前端负载请求的过程中，根据请求中的前端负载信息，缓存预读描述符，将预读描述符加入到所述表结构中；
步骤B，根据客户端的文件读请求获取前端负载信息，按前端负载在缓存描述符表查找所述预读描述符，获得预读描述符的地址，完成对目标文件的读操作。
所述步骤B之后还可以包括下列步骤：
在存储服务器卸载时，释放所有表项的存储空间。
所述前端负载是由(client_id，process_id，target_ino)三元组进行标识，其中：
client_id表示请求读取数据的客户端的id号；
process_id表示请求读取数据的客户端的进程号pid；
target_ino表示存储服务器端目标文件的i-number号。
所述表结构为哈希表结构。
所述哈希表入口数固定，每个哈希表入口中所能连接的最大哈希表项个数固定；
每个哈希表入口中使用最近最少使用链表链接哈希表项；
每个哈希表项记录缓存的file_ra_state结构，哈希表项的引用计数，以及所属的前端负载三元组信息；
哈希函数是前端负载三元组信息(client_id，process_id，target_ino)到哈希入口数组索引值的函数。
所述步骤B包括下列步骤：
步骤B1，根据客户端读请求获取客户端的id号，客户端进程的pid，目标文件名称target_name；
步骤B2，根据target_name打开目标文件，获取目标文件i-number号；
步骤B3，根据客户端id号，客户端进程pid和目标文件i-number号生成预读描述符在缓存哈希表中的标识号；
步骤B4，用生成的标识号在哈希表中查找是否有缓存的预读描述符；
如果哈希表中已经为该前端负载缓存了预读描述符，则将其对应的哈希表项的引用计数加1，转到步骤B5；
如果哈希表中没有为其缓存预读描述符，则为其创建并初始化一个预读描述符并将它插入到哈希表中，同时将该哈希表项的引用计数加1，转到步骤B5；
步骤B5，用获得的预读描述符的地址做参数，完成对目标文件的读操作。
步骤B6，将哈希表项的引用计数减1；
步骤B7，将读取的数据内容封装成数据包发往该客户端。
所述步骤B5中，对目标文件的读操作是通过调用do_generic_mapping_read()函数完成的。
本发明的有益效果是：本发明的分布式文件系统的文件读系统和方法，为每个前端负载缓存一个预读描述符信息，当多个客户端进程同时访问同一文件时，存储服务器为每个客户端进程都缓存一个预读描述符信息，不同客户端进程对应的预读描述符状态信息互不影响。因此，通过前端负载缓存预读描述符，可以在多客户端进程中同时读取同一文件的模式下发挥出预读的功能，提升多客户端进程同时读取同一文件时的聚合性能(即每秒读取的字节数)。
附图说明
图1为现有技术中NFS中连续读操作示意图；
图2为本发明分布式文件系统的文件读系统结构示意图；
图3为预读描述符缓存的hash表结构示意图；
图4为本发明分布式文件系统的文件读方法流程图；
图5为图4中根据文件读请求查找预读描述符并完成分布式文件的读操作流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种分布式文件系统的文件读系统和方法进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
下面详细描述本发明的分布式文件系统的文件读系统。
如图2所示，本发明的分布式文件系统的文件读系统，包括存储服务器端2和多个客户端1。该存储服务器端2包括预读描述符表模块和读请求处理模块。
预读描述符表模块用于为来自所述客户端1的多个前端负载缓存预读描述符信息，通过表结构缓存所有的预读描述符信息。不同前端负载对应不同的预读描述符信息，它们之间互不影响。
前端负载是由(client_id，process_id，target_ino)三元组进行标识。
一个前端负载指一个客户端1上的一个进程对存储服务器端2一个文件的访问。
其中：
client_id表示请求读取数据的客户端1的id号；
process_id表示请求读取数据的客户端1的进程号pid；
target_ino表示存储服务器端2目标文件的i-number号。
i-number号为文件的i节点编号，它是文件在文件系统中的唯一标识。
如标号1的客户端1上的10号进程访问存储服务器端2的文件f1(i-number号为100)，那么这个前端负载就用(1，10，100)标识。标号2的客户端1上的10号进程访问存储服务器端2的文件f1，这个前端负载就用(2，10，100)标识。标号2的客户端1上的11号进程访问存储服务器端2的文件f2(i-number号为101)，这个前端负载就用(2，11，101)标识。
预读描述符表模块通过表结构缓存所有的预读描述符信息。
较佳地，作为一种可实施的方式，可以使用哈希(hash)表缓存所有的预读描述符。如图3所示，所述哈希(hash)表入口数固定，在编译时预设指定。每个哈希(hash)表入口中所能连接的最大哈希(hash)表项个数固定，也在编译时预设指定。
每个哈希(hash)表入口中使用最近最少使用(Least recently used，LRU)链表链接哈希(hash)表项。
每个哈希(hash)表项记录缓存的file_ra_state结构，该哈希(hash)表项的引用计数，以及所属的前端负载三元组信息。
哈希(hash)函数是前端负载三元组信息(client_id，process_id，target_ino)到哈希(hash)入口数组索引值的函数。
哈希(hash)函数用于在哈希(hash)表中快速定位缓存的预读描述符。它是前端负载三元组到哈希(hash)入口数组索引值的函数。一个实例函数如下：
y＝(client_id+process_id+target_ino)％HASH_ENTRY_NUM
其中，client_id，process_id和target_id为前端负载的三个分量；HASH_ENTRY_NUM为哈希(hash)表入口个数。
读请求处理模块，用于根据客户端1的文件读请求获取前端负载信息，用前端负载信息在缓存描述符表查找所述预读描述符，获得预读描述符的地址，完成对目标文件的读操作。
这样，预读描述符表模块可以不按目标文件进行缓存，而是按照每一个前端负载来缓存预读描述符。
当有多个客户端进程(不论来自同一客户端1还是多个客户端1)同时访问同一文件时，存储服务器为每个客户端进程对该文件的访问都缓存一个预读描述符。不同客户端进程对应的预读描述符彼此独立，互不影响，并根据各自客户端进程的访问模式来不断调整预读信息。
下面详细描述与所述分布式文件系统的文件读系统相应的一种分布式文件系统的文件读方法，如图4所示，其包括如下步骤：
步骤S100，存储服务器加载时初始化预读描述符缓存的表结构，并在处理前端负载请求的过程中，根据请求中的前端负载信息，缓存预读描述符，将预读描述符加入到所述表结构中；
初始化时预读描述符缓存的表结构是空的。随着前端负载请求的到来，按为每个负载缓存的预读描述符将逐渐被加入到表结构中。
按前端负载来缓存预读描述符就可以将不同进程对同一文件的访问区分开来，分别缓存预读描述符。
前端负载是由(client_id，process_id，target_ino)三元组进行标识，其中：
client_id表示请求读取数据的客户端1的id号；
process_id表示请求读取数据的客户端1的进程号pid；
target_ino表示存储服务器端2目标文件的i-number号。
作为一种可实施方式，所述表结构为哈希(hash)表，使用哈希(hash)表缓存所有预读描述符。
哈希(hash)入口个数固定，在编译时指定。每个哈希(hash)入口中所能连接的最大哈希(hash)表项个数固定，在编译时指定。每个哈希(hash)入口中使用LRU链表链接哈希(hash)表项。
当哈希(hash)入口中的连接的预读描述符达到最大值时，按照LRU策略进行替换。
哈希(hash)函数是前端负载三元组(client_id，process_id，target_ino)到哈希(hash)入口数组索引值的函数。
每一个哈希(hash)表项主要记录了缓存的file_ra_state结构，还包括该哈希(hash)表项的引用计数，以及所属的负载三元组信息。
步骤S200，根据客户端1的文件读请求获取前端负载信息，按前端负载在缓存描述符表查找所述预读描述符，获得预读描述符的地址，完成对目标文件的读操作；
作为一种可实施方式，如图5所示，所述步骤S200具体包括如下步骤：
步骤S210，根据客户端1读请求获取客户端的id号，客户端进程的pid，目标文件名称target_name；
target_name，就是目标文件的文件名称，target_ino也正是目标文件的i节点编号。客户端1向服务器发来一个文件读请求时，会标明要读取文件的标识信息，根据这个信息就可以解析得到目标文件名称。
步骤S220，根据target_name打开目标文件，获取目标文件i-number号；
步骤230，根据客户端id号，客户端进程pid和目标文件i-number号生成预读描述符在缓存哈希(hash)表中的标识号(key)；
步骤S240，用生成的标识号(key)在哈希(hash)表中查找是否有缓存的预读描述符；
如果哈希(hash)表中已经为该前端负载缓存了预读描述符，则将其对应的哈希(hash)表项的引用计数加1，转到步骤S250；如果哈希(hash)表中没有为其缓存预读描述符，则为其创建并初始化一个预读描述符并将它插入到哈希(hash)表中，同时将该哈希(hash)表项的引用计数加1，转到步骤S250。
步骤S250，在哈希(hash)表中找到预读描述符信息ra后，用它的地址&ra作参数调用do_generic_mapping_read()函数完成对目标文件的读操作。
步骤S260，将哈希(hash)表项的引用计数减1；
步骤S270，将读取的数据内容封装成数据包发往该发出请求的客户端1。
步骤S300，在存储服务器卸载时，释放所有哈希(hash)表项的存储空间。
本发明的分布式文件系统的文件读系统和方法，为每个前端负载缓存一个预读描述符信息，当多个客户端进程同时访问同一文件时，存储服务器为每个客户端进程都缓存一个预读描述符信息，不同客户端进程对应的预读描述符状态信息互不影响。因此，通过前端负载缓存预读描述符，可以在多客户端进程中同时读取同一文件的模式下发挥出预读的性能，提升多客户端进程同时读取同一文件时的聚合性能(即每秒读取的字节数)。
通过以上结合附图对本发明具体实施例的描述，本发明的其它方面及特征对本领域的技术人员而言是显而易见的。
以上对本发明的具体实施例进行了描述和说明，这些实施例应被认为其只是示例性的，并不用于对本发明进行限制，本发明应根据所附的权利要求进行解释。
Claims (12)
1.一种分布式文件系统的文件读系统，包括存储服务器端和多个客户端，其特征在于，所述服务器端包括预读描述符表模块和读请求处理模块，其中：
所述预读描述符表模块，用于为来自所述客户端的多个前端负载缓存预读描述符信息，通过表结构缓存所有的预读描述符信息；
所述读请求处理模块，用于根据客户端的文件读请求获取前端负载信息用前端负载信息在缓存描述符表查找所述预读描述符，获得预读描述符的地址，完成对目标文件的读操作。
2.根据权利要求1所述的分布式文件系统的文件读系统，其特征在于，所述前端负载是由(client_id，process_id，target_ino)三元组进行标识，其中：
client_id表示请求读取数据的客户端的id号；
process_id表示请求读取数据的客户端的进程号pid；
target_ino表示存储服务器端目标文件的i-number号。
3.根据权利要求1或2所述的分布式文件系统的文件读系统，其特征在于，所述表结构为哈希表结构。
4.根据权利要求3所述的分布式文件系统的文件读系统，其特征在于，所述哈希表入口数固定；
每个哈希表项记录缓存的file_ra_state结构，哈希表项的引用计数，以及所属的前端负载三元组信息；
哈希函数是前端负载三元组信息(client_id，process_id，target_ino)到哈希入口数组索引值的函数。
5.一种分布式文件系统的文件读方法，其特征在于，包括下列步骤：
步骤A，存储服务器加载时初始化预读描述符缓存的表结构，并在处理前端负载请求的过程中，根据请求中的前端负载信息，缓存预读描述符，将预读描述符加入到所述表结构中；
步骤B，根据客户端的文件读请求获取前端负载信息，按前端负载在缓存描述符表查找所述预读描述符，获得预读描述符的地址，完成对目标文件的读操作。
6.根据权利要求5所述的分布式文件系统的文件读方法，其特征在于，所述步骤B之后还包括下列步骤：
在存储服务器卸载时，释放所有表项的存储空间。
7.根据权利要求5或6所述的分布式文件系统的文件读方法，其特征在于，所述前端负载是由(client_id，process_id，target_ino)三元组进行标识，其中：
client_id表示请求读取数据的客户端的id号；
process_id表示请求读取数据的客户端的进程号pid；
target_ino表示存储服务器端目标文件的i-number号。
8.根据权利要求7所述的分布式文件系统的文件读方法，其特征在于，所述表结构为哈希表结构。
9.根据权利要求8所述的分布式文件系统的文件读方法，其特征在于，所述哈希表入口数固定；
每个哈希表项记录缓存的file_ra_state结构，哈希表项的引用计数，以及所属的前端负载三元组信息；
哈希函数是前端负载三元组信息(client_id，process_id，target_ino)到哈希入口数组索引值的函数。
10.根据权利要求9所述的分布式文件系统的文件读方法，其特征在于，所述步骤B包括下列步骤：
步骤B1，根据客户端读请求获取客户端的id号，客户端进程的pid，目标文件名称target_name；
步骤B2，根据target_name打开目标文件，获取目标文件i-number号；
步骤B3，根据客户端id号，客户端进程pid和目标文件i-number号生成预读描述符在缓存哈希表中的标识号；
步骤B4，用生成的标识号在哈希表中查找是否有缓存的预读描述符；
如果哈希表中已经为该前端负载缓存了预读描述符，则将其对应的哈希表项的引用计数加1，转到步骤B5；
如果哈希表中没有为其缓存预读描述符，则为其创建并初始化一个预读描述符并将它插入到哈希表中，同时将该哈希表项的引用计数加1，转到步骤B5；
步骤B5，用获得的预读描述符的地址做参数，完成对目标文件的读操作。
11.根据权利要求10所述的分布式文件系统的文件读方法，其特征在于，所述步骤B5之后还包括下列步骤：
步骤B6，将哈希表项的引用计数减1；
步骤B7，将读取的数据内容封装成数据包发往该客户端。
12.根据权利要求10所述的分布式文件系统的文件读方法，其特征在于，所述步骤B5中，对目标文件的读操作是通过调用do_generic_mapping_read()函数完成的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2007101763537A CN100530195C (zh) | 2007-10-25 | 2007-10-25 | 一种分布式文件系统的文件读系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2007101763537A CN100530195C (zh) | 2007-10-25 | 2007-10-25 | 一种分布式文件系统的文件读系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101158965A true CN101158965A (zh) | 2008-04-09 |
| CN100530195C CN100530195C (zh) | 2009-08-19 |
Family
ID=39307067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2007101763537A Expired - Fee Related CN100530195C (zh) | 2007-10-25 | 2007-10-25 | 一种分布式文件系统的文件读系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100530195C (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102073739A (zh) * | 2011-01-25 | 2011-05-25 | 中国科学院计算技术研究所 | 带有快照功能的分布式文件系统中的数据读与数据写方法 |
| CN102156620A (zh) * | 2011-01-17 | 2011-08-17 | 浪潮(北京)电子信息产业有限公司 | 一种突破物理存储连接数限制的方法及装置 |
| WO2011140991A1 (zh) * | 2010-10-27 | 2011-11-17 | 华为技术有限公司 | 分布式文件系统的文件处理方法及装置 |
| CN103118099A (zh) * | 2013-01-25 | 2013-05-22 | 福建升腾资讯有限公司 | 基于散列算法的图形图像缓存方法 |
| CN103294548A (zh) * | 2013-05-13 | 2013-09-11 | 华中科技大学 | 一种基于分布式文件系统的io请求调度方法和系统 |
| CN103488768A (zh) * | 2013-09-27 | 2014-01-01 | Tcl集团股份有限公司 | 一种基于云计算的文件管理方法及系统 |
| CN103902577A (zh) * | 2012-12-27 | 2014-07-02 | 中国移动通信集团四川有限公司 | 一种资源查找定位的方法和系统 |
| CN104580517A (zh) * | 2015-01-27 | 2015-04-29 | 浪潮集团有限公司 | 基于hdfs的访问方法和系统及用户本地系统设备 |
| CN105630689A (zh) * | 2014-10-30 | 2016-06-01 | 曙光信息产业股份有限公司 | 一种分布式存储系统中加速数据重建的方法 |
| CN110019084A (zh) * | 2017-10-12 | 2019-07-16 | 航天信息股份有限公司 | 面向HDFS的split层索引方法和装置 |
| CN110858201A (zh) * | 2018-08-24 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 数据处理方法及系统、处理器、存储介质 |
| CN111208988A (zh) * | 2019-12-24 | 2020-05-29 | 杭州海兴电力科技股份有限公司 | 单片机文件系统编写方法及单片机系统 |
| CN111258956A (zh) * | 2019-03-22 | 2020-06-09 | 深圳市远行科技股份有限公司 | 一种面向远端海量数据文件预读的方法及设备 |
| CN112579528A (zh) * | 2020-11-28 | 2021-03-30 | 中国航空工业集团公司洛阳电光设备研究所 | 嵌入式网络文件系统服务器端高效率文件访问的方法 |
| WO2021238252A1 (zh) * | 2020-05-29 | 2021-12-02 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统文件局部随机预读的方法和设备 |
| CN114416672A (zh) * | 2021-12-15 | 2022-04-29 | 中孚安全技术有限公司 | Linux系统下过滤应用程序文件预读行为的方法、系统及设备 |
| CN116048425A (zh) * | 2023-03-09 | 2023-05-02 | 浪潮电子信息产业股份有限公司 | 一种分层缓存方法、系统及相关组件 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104794182B (zh) * | 2015-04-10 | 2018-10-09 | 中国科学院计算技术研究所 | 一种并行网络文件系统小文件异步预读装置及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5809527A (en) * | 1993-12-23 | 1998-09-15 | Unisys Corporation | Outboard file cache system |
| US6636878B1 (en) * | 2001-01-16 | 2003-10-21 | Sun Microsystems, Inc. | Mechanism for replicating and maintaining files in a spaced-efficient manner |
| GB0406860D0 (en) * | 2004-03-26 | 2004-04-28 | British Telecomm | Computer apparatus |
| US8447837B2 (en) * | 2005-12-30 | 2013-05-21 | Akamai Technologies, Inc. | Site acceleration with content prefetching enabled through customer-specific configurations |
-
2007
- 2007-10-25 CN CNB2007101763537A patent/CN100530195C/zh not_active Expired - Fee Related
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011140991A1 (zh) * | 2010-10-27 | 2011-11-17 | 华为技术有限公司 | 分布式文件系统的文件处理方法及装置 |
| US9229950B2 (en) | 2010-10-27 | 2016-01-05 | Huawei Technologies Co., Ltd. | Method and device for processing files of distributed file system |
| CN102156620A (zh) * | 2011-01-17 | 2011-08-17 | 浪潮(北京)电子信息产业有限公司 | 一种突破物理存储连接数限制的方法及装置 |
| CN102073739A (zh) * | 2011-01-25 | 2011-05-25 | 中国科学院计算技术研究所 | 带有快照功能的分布式文件系统中的数据读与数据写方法 |
| CN103902577A (zh) * | 2012-12-27 | 2014-07-02 | 中国移动通信集团四川有限公司 | 一种资源查找定位的方法和系统 |
| CN103902577B (zh) * | 2012-12-27 | 2017-05-03 | 中国移动通信集团四川有限公司 | 一种资源查找定位的方法和系统 |
| CN103118099A (zh) * | 2013-01-25 | 2013-05-22 | 福建升腾资讯有限公司 | 基于散列算法的图形图像缓存方法 |
| CN103294548B (zh) * | 2013-05-13 | 2016-04-13 | 华中科技大学 | 一种基于分布式文件系统的io请求调度方法和系统 |
| CN103294548A (zh) * | 2013-05-13 | 2013-09-11 | 华中科技大学 | 一种基于分布式文件系统的io请求调度方法和系统 |
| CN103488768A (zh) * | 2013-09-27 | 2014-01-01 | Tcl集团股份有限公司 | 一种基于云计算的文件管理方法及系统 |
| CN103488768B (zh) * | 2013-09-27 | 2018-07-27 | Tcl集团股份有限公司 | 一种基于云计算的文件管理方法及系统 |
| CN105630689A (zh) * | 2014-10-30 | 2016-06-01 | 曙光信息产业股份有限公司 | 一种分布式存储系统中加速数据重建的方法 |
| CN105630689B (zh) * | 2014-10-30 | 2018-11-27 | 曙光信息产业股份有限公司 | 一种分布式存储系统中加速数据重建的方法 |
| CN104580517A (zh) * | 2015-01-27 | 2015-04-29 | 浪潮集团有限公司 | 基于hdfs的访问方法和系统及用户本地系统设备 |
| CN110019084A (zh) * | 2017-10-12 | 2019-07-16 | 航天信息股份有限公司 | 面向HDFS的split层索引方法和装置 |
| CN110019084B (zh) * | 2017-10-12 | 2022-01-14 | 航天信息股份有限公司 | 面向HDFS的split层索引方法和装置 |
| CN110858201B (zh) * | 2018-08-24 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 数据处理方法及系统、处理器、存储介质 |
| CN110858201A (zh) * | 2018-08-24 | 2020-03-03 | 阿里巴巴集团控股有限公司 | 数据处理方法及系统、处理器、存储介质 |
| CN111258956A (zh) * | 2019-03-22 | 2020-06-09 | 深圳市远行科技股份有限公司 | 一种面向远端海量数据文件预读的方法及设备 |
| CN111258956B (zh) * | 2019-03-22 | 2023-11-24 | 深圳市远行科技股份有限公司 | 一种面向远端海量数据文件预读的方法及设备 |
| CN111208988A (zh) * | 2019-12-24 | 2020-05-29 | 杭州海兴电力科技股份有限公司 | 单片机文件系统编写方法及单片机系统 |
| CN111208988B (zh) * | 2019-12-24 | 2023-09-26 | 杭州海兴电力科技股份有限公司 | 单片机文件系统编写方法及单片机系统 |
| WO2021238252A1 (zh) * | 2020-05-29 | 2021-12-02 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统文件局部随机预读的方法和设备 |
| CN112579528A (zh) * | 2020-11-28 | 2021-03-30 | 中国航空工业集团公司洛阳电光设备研究所 | 嵌入式网络文件系统服务器端高效率文件访问的方法 |
| CN112579528B (zh) * | 2020-11-28 | 2022-09-02 | 中国航空工业集团公司洛阳电光设备研究所 | 嵌入式网络文件系统服务器端高效率文件访问的方法 |
| CN114416672A (zh) * | 2021-12-15 | 2022-04-29 | 中孚安全技术有限公司 | Linux系统下过滤应用程序文件预读行为的方法、系统及设备 |
| CN116048425A (zh) * | 2023-03-09 | 2023-05-02 | 浪潮电子信息产业股份有限公司 | 一种分层缓存方法、系统及相关组件 |
| CN116048425B (zh) * | 2023-03-09 | 2023-07-14 | 浪潮电子信息产业股份有限公司 | 一种分层缓存方法、系统及相关组件 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100530195C (zh) | 2009-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100530195C (zh) | 一种分布式文件系统的文件读系统和方法 | |
| CN103856393B (zh) | 基于数据库的分布式消息中间件系统及其运行方法 | |
| US7580971B1 (en) | Method and apparatus for efficient SQL processing in an n-tier architecture | |
| CN100334564C (zh) | 具有内部行高速缓存的内存集线器及访问方法 | |
| US20160132541A1 (en) | Efficient implementations for mapreduce systems | |
| CN102591970B (zh) | 一种分布式键-值查询方法和查询引擎系统 | |
| EP2369494A1 (en) | Web application based database system and data management method therof | |
| US20140337484A1 (en) | Server side data cache system | |
| CN101566927B (zh) | 存储系统和存储控制器以及数据缓存方法 | |
| CN101247417B (zh) | 双层元数据处理系统及方法 | |
| CN105677251B (zh) | 基于Redis集群的存储系统 | |
| CN101741986A (zh) | 一种用于移动通讯设备终端的页面缓存方法 | |
| JP2004326162A (ja) | ネットワークシステム、サーバ、データ処理方法及びプログラム | |
| KR20090110291A (ko) | 병렬 컴퓨팅시스템을 위한 네트워크 인터페이스 카드 | |
| CN104050249A (zh) | 分布式查询引擎系统和方法及元数据服务器 | |
| CN102439580A (zh) | 用于网络加速以及对高速缓存文件系统进行高效索引编制的系统及方法 | |
| CN101789976A (zh) | 嵌入式网络存储系统及其方法 | |
| CN104050250A (zh) | 一种分布式键-值查询方法和查询引擎系统 | |
| CN102420814A (zh) | 一种数据访问方法、装置及服务器 | |
| CN101841438A (zh) | 一种访问存储海量并发tcp流的流记录的方法或系统 | |
| WO2001005123A1 (en) | Apparatus and method to minimize incoming data loss | |
| CN107818111A (zh) | 一种缓存文件数据的方法、服务器及终端 | |
| US6728778B1 (en) | LAN switch with compressed packet storage | |
| US20110258424A1 (en) | Distributive Cache Accessing Device and Method for Accelerating to Boot Remote Diskless Computers | |
| CN108920095A (zh) | 一种基于crush的数据存储优化方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090819 Termination date: 20191025 |