CN103077199A - 一种文件资源查找定位方法及装置 - Google Patents

Abstract

本发明涉及一种文件资源查找定位方法及装置。文件资源查找定位方法包括：接收查找请求，所述查找请求中包含要查找的目标文件的文件名称信息和文件路径信息；根据目标文件的文件名称信息和文件路径信息确定检索的起始目录和检索目标名称；根据预设的哈希算法在节点哈希链表和名称哈希链表中查找目标文件，所述节点哈希链表存储文件的节点信息，所述名称哈希链表存储文件的名称空间信息。本发明的文件资源查找定位方法及装置，可以快速查找和定位文件资源，提高了分布式文件系统的搜索性能。

Description

一种文件资源查找定位方法及装置

技术领域

本发明涉及计算机领域，尤其涉及一种文件资源查找定位方法及装置。

背景技术

现有文件资源查找定位方案：首先判断要检索的目标文件使用的是绝对路径还是相对路径。如果是绝对路径，那么将搜索的起始路径设置为根目录从根目录开始检索（根目录表示文件系统最上层第一个目录）。如果要检索的目标文件使用的是相对路径，则将搜索的起始路径设置为当前目录。

现有方案会使用目录分隔符（“\”或“/”）把要定位的目标按照目录的层次，剥离开，分层的定位每一层的目标目录。当定位到第一层目录目标后，把第一层目录作为下次开始检索的起始目录，用来定位第二层目标目录。如此循环下去，直到定位到最终目标。

例如：/aaa/bbb/ccc/ddd的定位是：

1、首先判断出使用的是绝对路径，那么把根目录作为检索的起始目录。

2、使用分隔符”/”,依照层次剥离出第一层定位目标：aaa；第二层定位目标：bbb，第三层定位目标：ccc；第四层定位目标：ddd。

3、在根目录下首先定检索aaa目标。如果定位到aaa，则把aaa作为下次检索的起始目录；如果没有定位到aaa，那么整个检索操作结束，定位失败。

4、在aaa目录下检索bbb目标。如果定位到bbb，则把bbb作为下次检索的起始目录；如果没有定位到bbb，那么整个检索操作结束，定位失败。

5、在bbb目录下检索ccc目标。如果定位到ccc，则把ccc作为下次检索的起始目录；如果没有定位到ccc，那么整个检索操作结束，定位失败。

6、在ccc目录下检索ddd目标。如果定位到ddd，整个检索操作结束，定位成功；如果没有定位到ddd，那么整个检索操作结束，定位失败。

图1为现有技术中的文件查找定位流程图。如图1所示，现有技术中，文件查找定位包括如下步骤：

步骤S101，逐层剥离目标文件名称；

步骤S102，判断是否是绝对路径，若是则执行步骤S104，否则执行步骤S103；

步骤S103，设置应用当前目录为开始检索的起始目录，执行步骤S105；

步骤S104，设置根目录为开始检索的起始目录；

步骤S105，确定检索目标名称，执行步骤S107；

步骤S106，设置新的检索开始目录，执行步骤S105；

步骤S107，判断是否匹配到目标分层中的目录，若是则执行步骤S108，否则执行步骤S111；

步骤S108，判断是否匹配最终目标文件，若是则执行步骤S109，否则执行步骤S106；

步骤S109，判断是否匹配到目录文件，若是则执行步骤S110，否则执行步骤S111；

步骤S110，成功状态，文件节点信息，结束；

步骤S111，失败状态，结束。

由上可见，现有的文件查找定位存在如下问题：

网络交互次数多：分布式文件系统客户端使用目录间隔符划分开每一层检索目录，检索目标有多少层目录，客户端就与元数据端有多少次数据交互；

检索次数多：客户端与元数据检索每一次交互数据，元数据端就有一次检索次数。

发明内容

本发明所要解决的技术问题是提供一种文件资源查找定位方法及装置，提高分布式文件系统的搜索性能。

为解决上述技术问题，本发明提出了一种文件资源查找定位方法，包括：

接收查找请求，所述查找请求中包含要查找的目标文件的文件名称信息和文件路径信息；

根据目标文件的文件名称信息和文件路径信息确定检索的起始目录和检索目标名称；

根据预设的哈希算法在节点哈希链表和名称哈希链表中查找目标文件，所述节点哈希链表存储文件的节点信息，所述名称哈希链表存储文件的名称空间信息。

进一步地，上述文件资源查找定位方法还可具有以下特点，所述根据目标文件的文件名称信息和文件路径信息确定检索的起始目录和检索目标名称，包括：

判断目标文件的路径是绝对路径还是相对路径；

根据判断结果选择检索的起始目录。

进一步地，上述文件资源查找定位方法还可具有以下特点，所述根据判断结果选择检索的起始目录包括：

若目标文件的路径是绝对路径，则选择根目录为检索的起始目录；

若目标文件的路径是相对路径，则选择当前目录为检索的起始目录。

进一步地，上述文件资源查找定位方法还可具有以下特点，所述根据预设的哈希算法在节点哈希链表和名称哈希链表中查找目标文件，包括：

以起始目录标识为关键字，从节点哈希链表中查找所述起始目录的名称信息；

以所述起始目录的名称信息、目标文件的名称长度、目标文件的名称信息为关键字，从名称哈希链表中查找目标文件的节点信息。

进一步地，上述文件资源查找定位方法还可具有以下特点，所述接收查找请求之前，还包括：

响应于客户端的请求，将所述目标文件的元数据信息发送给客户端，所述元数据信息中包含文件名称信息和文件路径信息。

为解决上述技术问题，本发明提出了一种文件资源查找定位装置，包括：

接收模块，用于接收查找请求，所述查找请求中包含要查找的目标文件的文件名称信息和文件路径信息；

设置模块，与所述接收模块相连，用于根据目标文件的文件名称信息和文件路径信息确定检索的起始目录和检索目标名称；

查找模块，与所述设置模块相连，用于根据预设的哈希算法在节点哈希链表和名称哈希链表中查找目标文件，所述节点哈希链表存储文件的节点信息，所述名称哈希链表存储文件的名称空间信息。

进一步地，上述文件资源查找定位装置还可具有以下特点，所述设置模块包括：

判断单元，用于判断目标文件的路径是绝对路径还是相对路径；

选择单元，用于根据所述判断单元的判断结果选择检索的起始目录。

进一步地，上述文件资源查找定位装置还可具有以下特点，所述选择单元包括：

第一选择子单元，用于在目标文件的路径是绝对路径时，选择根目录为检索的起始目录；

第二选择子单元，用于在目标文件的路径是相对路径时，选择当前目录为检索的起始目录。

进一步地，上述文件资源查找定位装置还可具有以下特点，所述查找模块包括：

第一查找单元，用于以起始目录标识为关键字，从节点哈希链表中查找所述起始目录的名称信息；

第二查找单元，与所述第一查找单元相连，用于以所述起始目录的名称信息、目标文件的名称长度、目标文件的名称信息为关键字，从名称哈希链表中查找目标文件的节点信息。

进一步地，上述文件资源查找定位装置还可具有以下特点，还包括：

发送模块，用于响应于客户端的请求，将所述目标文件的元数据信息发送给客户端，所述元数据信息中包含文件名称信息和文件路径信息。

本发明的文件资源查找定位方法及装置，可以快速查找和定位文件资源，提高了分布式文件系统的搜索性能。当目录级数超过3级，搜索性能可以提高50%左右。另外，本发明通过DNFS客户端加入元数据缓存机制之后，每读写一个文件，只需要获取一次元数据，对元数据操作的次数跟读写请求数不再相关，由原来的T(n)=O(n)降到了O(1)。

附图说明

图1为现有技术中的文件查找定位流程图；

图2为本发明实施例中文件资源查找定位方法的流程图；

图3为本发明实施例中文件资源查找定位装置的结构框图。

具体实施方式

本发明提出了一种文件资源查找定位方法，该方法包括：接收查找请求，该查找请求中包含要查找的目标文件的文件名称信息和文件路径信息；根据目标文件的文件名称信息和文件路径信息确定检索的起始目录和检索目标名称；根据预设的哈希算法在节点哈希链表和名称哈希链表中查找目标文件。其中，节点哈希链表存储文件的节点信息，名称哈希链表存储文件的名称空间信息和节点信息之间的关系信息。

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

分布式文件系统由元数据服务器管理文件系统的元数据信息（包括文件目录树组织、属性维护、文件操作日志记录、授权访问等），管理整个存储系统的命名空间，对外提供单一的系统映像，并负责整个存储集群的管理监控。用来管理整个文件系统，存储每个文件的元数据信息（包括文件名称、文件大小、文件属性、文件位置等信息），同时也包含了所有非规则文件的全部信息，如文件夹，套接字设备，管道设备。可以这样理解，文件的元数据信息是文件的存储索引信息。文件系统的元数据，是指文件系统中所有的文件的元数据。

元数据服务子系统将所有的文件系统信息加载到内存，主要包括:

节点空间：存储文件的节点信息（即fsnode信息）；

名称空间：存储文件的名称空间信息（也称为fsedge信息或名称信息），节点信息之间的关系信息；

存储块空间：存储存储块（chunk）相关信息，包括fsnode(节点)。

文件系统中每一个文件作为系统的一个节点，所有节点组成一个链表，构成文件系统的节点空间。所有节点组成的链表称为节点哈希链表。

文件系统中每一个文件拥有文件名称，所有的文件名称组成一个链表，构成文件系统的名称空间。所有的文件名称组成的链表称为名称哈希链表。

名称空间，指整个文件系统中文件名称构成的关系网。节点空间，指整个文件系统中，节点组成的一个关系。名称空间和节点空间是交织在一起的，名称节点fsedge中包含节点fsnode信息.节点fsnode中也会包含名称节点fsedge信息。节点信息和名称信息相关联，因为节点信息的结构中包含名称空间信息。同时，名称空间信息中也包含文件的节点信息。

所有的文件系统节点采用hash（哈希）算法进行定位查找。

元数据服务器启动时，将所有的文件系统信息加载到内存（元数据服务进程所在主机的内存）里面，所有文件节点，以文件的标识为key，将文件节点信息加载到fnode hash表中。所有文件名称空间以其父节点标识、名称长度、名称信息为key，将名称信息加载到fedage hash表中。

分布式文件系统的客户端访问分布式文件系统中的文件时，首先分布式文件系统客户端判断是否第一次打开该文件，如果是第一次打开，分布式文件系统客户端先从元数据服务器获取到该文件的元数据，初始化之后便插入客户端元数据缓存中。以后再打开该文件，则只需从本地元数据缓存中获取即可。

元数据缓存队列是一个双向队列，队列上的每个节点保存的是某个文件的元数据缓存，其中文件的元数据缓存格式如下：

如果缓存中没有该文件的元数据信息，则通过客户端从元数据服务器获取该文件的元数据信息。

客户端通过网络将该文件的路径及文件名，发送到分布式文件系统元数据服务器。元数据服务器首先判断该要检索的目标文件使用的是绝对路径还是相对路径。如果是绝对路径，那么元数据服务器系统以文件系统的根目录为起始目录检索目标文件；如果是相对路径，那么元数据服务器系统以应用所在的目录作为起始目录开始检索目标文件。

元数据首先使用起始检索目录标识做key，从节点哈希链表中找到起始目录的fedage信息（即名称信息），然后使用起始检索目录的fedage信息、要定位的目标名称长度、要定位的目标名称信息为key、从名称哈希链表中找到目标目录的节点fnode。元数据服务器将节点fnode返回给客户端。

例如：/aaa/bbb/ccc/ddd的查找定位：从客户端元数据缓存读取/aaa/bbb/ccc/ddd文件的元数据，如果客户端元数据缓存中存在，从客户端元数据缓存直接存取/aaa/bbb/ccc/ddd文件的元数据；如果缓存中没有，则判断出使用的是绝对路径，那么把全路径/aaa/bbb/ccc/ddd作为检索的起始目录进行定位。

图2为本发明实施例中文件资源查找定位方法的流程图。如图2所示，本实施例中，文件资源查找定位方法包括如下步骤：

步骤S201，客户端读取元数据缓存中数据；

这里，元数据缓存中数据指要查找的目标文件的元数据信息，该元数据信息中包含要查找的目标文件的文件名称信息和文件路径信息。

步骤S202，判断是否首次读取，若是执行步骤S203，否则执行步骤S214；

步骤S203，元数据服务器接收客户端传来的目标文件名称；

客户端向元数据服务器发起查找请求时，在查找请求中包含要查找的目标文件的文件名称信息和文件路径信息。

步骤S204，判断是否是绝对路径，若是执行步骤S206，否则执行步骤S205；

步骤S205，设置应用当前目录为检索的起始目录，执行步骤S207；

步骤S206，设置根目录为检索的起始目录；

步骤S207，确定检索目标名称；

以文件“/aaa/bbb/ccc/ddd”的查找为例，步骤S207确定的检索目标名称是/aaa/bbb/ccc/ddd。

步骤S208，进行Hash运算；

进行Hash运算，即：根据预设的哈希算法在节点哈希链表和名称哈希链表中查找目标文件，其中，节点哈希链表存储文件的节点信息，名称哈希链表存储文件的名称空间信息。

具体地，根据预设的哈希算法在节点哈希链表和名称哈希链表中查找目标文件包括：以起始目录标识为关键字，从节点哈希链表中查找所述起始目录的名称信息；以所述起始目录的名称信息、目标文件的名称长度、目标文件的名称信息为关键字，从名称哈希链表中查找目标文件的节点信息。

步骤S209，判断是否匹配到目标文件，若是执行步骤S210，否则执行步骤S211；

步骤S210，成功状态，文件节点信息，执行步骤S212；

步骤S211，失败状态；

步骤S212，元数据返回给客户端；

这里，元数据是指检索的结果（正确状态，信息，或者错误状态）。

步骤S213，客户端记录该元数据信息到缓存中，结束；

步骤S213中的元数据信息是指查找到的目标文件的元数据信息。

步骤S214，在客户端缓存中匹配，结束。

客户端缓存了元数据服务器上的元数据信息，那么客户端就有了存储索引的信息。多次访问该文件，直接从客户端本地缓存的索引信息中即可获得文件的存储地址信息。如果无此缓存信息。客户端读一次文件，就需要从元数据服务器那里请求获得一次文件的存储索引信息。

本发明的文件资源查找定位方法，可以快速查找和定位文件资源，提高了分布式文件系统的搜索性能。当目录级数超过3级，搜索性能可以提高50%左右。另外，本发明通过DNFS客户端加入元数据缓存机制之后，每读写一个文件，只需要获取一次元数据，对元数据操作的次数跟读写请求数不再相关，由原来的T(n)=O(n)降到了O(1)。

本发明还提出了一种文件资源查找定位装置，用以执行上述的文件资源查找定位方法。

图3为本发明实施例中文件资源查找定位装置的结构框图。如图3所示，本实施例中，文件资源查找定位装置包括接收模块310、设置模块320和查找模块330。其中，接收模块310用于接收查找请求，该查找请求中包含要查找的目标文件的文件名称信息和文件路径信息。设置模块320与接收模块310相连，用于根据目标文件的文件名称信息和文件路径信息确定检索的起始目录和检索目标名称。查找模块330与设置模块320相连，用于根据预设的哈希算法在节点哈希链表和名称哈希链表中查找目标文件，其中，节点哈希链表存储文件的节点信息，名称哈希链表存储文件的名称空间信息。

其中，设置模块320可以进一步包括判断单元和选择单元。判断单元用于判断目标文件的路径是绝对路径还是相对路径。选择单元用于根据判断单元的判断结果选择检索的起始目录。其中，选择单元可以进一步包括第一选择子单元和第二选择子单元。第一选择子单元用于在目标文件的路径是绝对路径时，选择根目录为检索的起始目录。第二选择子单元用于在目标文件的路径是相对路径时，选择当前目录为检索的起始目录。

其中，查找模块330可以进一步包括第一查找单元和第二查找单元。第一查找单元用于以起始目录标识为关键字，从节点哈希链表中查找所述起始目录的名称信息。第二查找单元与第一查找单元相连，用于以所述起始目录的名称信息、目标文件的名称长度、目标文件的名称信息为关键字，从名称哈希链表中查找目标文件的节点信息。

在本发明其他实施例中，文件资源查找定位装置还可以包括发送模块。发送模块用于响应于客户端的请求，将目标文件的元数据信息发送给客户端，其中，元数据信息中包含文件名称信息和文件路径信息。

本发明的文件资源查找定位装置，可以快速查找和定位文件资源，提高了分布式文件系统的搜索性能。当目录级数超过3级，搜索性能可以提高50%左右。另外，本发明通过DNFS客户端加入元数据缓存机制之后，每读写一个文件，只需要获取一次元数据，对元数据操作的次数跟读写请求数不再相关，由原来的T(n)=O(n)降到了O(1)。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种文件资源查找定位方法，其特征在于，包括：

接收查找请求，所述查找请求中包含要查找的目标文件的文件名称信息和文件路径信息；

根据目标文件的文件名称信息和文件路径信息确定检索的起始目录和检索目标名称；

根据预设的哈希算法在节点哈希链表和名称哈希链表中查找目标文件，所述节点哈希链表存储文件的节点信息，所述名称哈希链表存储文件的名称空间信息。

2.根据权利要求1所述的文件资源查找定位方法，其特征在于，所述根据目标文件的文件名称信息和文件路径信息确定检索的起始目录和检索目标名称，包括：

判断目标文件的路径是绝对路径还是相对路径；

根据判断结果选择检索的起始目录。

3.根据权利要求2所述的文件资源查找定位方法，其特征在于，所述根据判断结果选择检索的起始目录包括：

若目标文件的路径是绝对路径，则选择根目录为检索的起始目录；

若目标文件的路径是相对路径，则选择当前目录为检索的起始目录。

4.根据权利要求1所述的文件资源查找定位方法，其特征在于，所述根据预设的哈希算法在节点哈希链表和名称哈希链表中查找目标文件，包括：

以起始目录标识为关键字，从节点哈希链表中查找所述起始目录的名称信息；

以所述起始目录的名称信息、目标文件的名称长度、目标文件的名称信息为关键字，从名称哈希链表中查找目标文件的节点信息。

5.根据权利要求1所述的文件资源查找定位方法，其特征在于，所述接收查找请求之前，还包括：

响应于客户端的请求，将所述目标文件的元数据信息发送给客户端，所述元数据信息中包含文件名称信息和文件路径信息。

6.一种文件资源查找定位装置，其特征在于，包括：

接收模块，用于接收查找请求，所述查找请求中包含要查找的目标文件的文件名称信息和文件路径信息；

设置模块，与所述接收模块相连，用于根据目标文件的文件名称信息和文件路径信息确定检索的起始目录和检索目标名称；

查找模块，与所述设置模块相连，用于根据预设的哈希算法在节点哈希链表和名称哈希链表中查找目标文件，所述节点哈希链表存储文件的节点信息，所述名称哈希链表存储文件的名称空间信息。

7.根据权利要求6所述的文件资源查找定位装置，其特征在于，所述设置模块包括：

判断单元，用于判断目标文件的路径是绝对路径还是相对路径；

选择单元，用于根据所述判断单元的判断结果选择检索的起始目录。

8.根据权利要求7所述的文件资源查找定位装置，其特征在于，所述选择单元包括：

第一选择子单元，用于在目标文件的路径是绝对路径时，选择根目录为检索的起始目录；

第二选择子单元，用于在目标文件的路径是相对路径时，选择当前目录为检索的起始目录。

9.根据权利要求6所述的文件资源查找定位装置，其特征在于，所述查找模块包括：

第一查找单元，用于以起始目录标识为关键字，从节点哈希链表中查找所述起始目录的名称信息；

第二查找单元，与所述第一查找单元相连，用于以所述起始目录的名称信息、目标文件的名称长度、目标文件的名称信息为关键字，从名称哈希链表中查找目标文件的节点信息。

10.根据权利要求6所述的文件资源查找定位装置，其特征在于，还包括：

发送模块，用于响应于客户端的请求，将所述目标文件的元数据信息发送给客户端，所述元数据信息中包含文件名称信息和文件路径信息。

Images