CN102708165A - 分布式文件系统中的文件处理方法及装置 - Google Patents

Abstract

本发明提供一种分布式文件系统中的文件处理方法及装置。方法包括：接收用户的文件操作请求，所述文件操作请求中至少携带文件描述信息及操作类型；根据所述文件描述信息在元数据服务器的全部节点中确定用于存储文件元数据的元主节点，所述元数据服务器的全部节点形成分布式哈希表网络；根据所述文件描述信息在数据块服务器的全部节点中确定用于存储文件数据块的块主节点，所述数据块服务器的全部节点形成分布式哈希表网络；根据所述操作类型完成与所述元主节点以及所述块主节点之间的操作。装置包括：接收模块、路由确定模块和处理模块。本发明提供的方案能够有效实现分布式文件系统的扩容和海量的文件内容存储。

Description

分布式文件系统中的文件处理方法及装置

技术领域

本发明涉及数据处理技术，尤其涉及一种分布式文件系统(DistributedFile System，简称为：DFS)中的文件处理方法及装置。

背景技术

分布式文件系统的存储系统可以有效满足对互联网业务的海量数据内容的存储。以谷歌(Google)公司的分布式文件系统(Google File System，简称为：GFS)为例，GFS集群由一个元数据服务器(master节点)和多个块服务器(chunk server)组成，元数据服务器与块服务器之间有定期的心跳线进行通讯，并且心跳线会传递信息以及块服务器的状态。元数据服务器负责管理所有文件的文件系统的元数据，元数据可以包括命名空间(namespace)、访问控制信息、文件到块的映射关系、当前块的位置等信息。元数据服务器也同样控制系统级别的活动，比如块的分配管理、孤点块的垃圾回收机制、块服务器之间的块镜像管理等等。

在GFS中，每一个文件都会被拆分成固定大小的块(chunk)，每一个块都由元数据服务器根据该块创建的时间产生一个全局唯一的、以后也不会改变的64位的块标志(chunk handle)。块服务器在本地磁盘上用本地文件系统保存这些块，并且根据块标志和字节区间固定大小，通过本地文件系统读写这些块的数据。出于可靠性的考虑，每一个块都会在不同的块服务器上保存备份，缺省情况下，GFS保存3个备份(一主二备)。

在分布式文件系统中，文件的存储与读取是最主要的两种文件处理方式。仍然以GFS为例进行说明。无论是文件的存储还是读取，都是需要与元数据服务器进行信息交互，而元数据服务器为集中式的管理模式，可存储或读取的元数据的容量就是有限的，这就导致了元数据服务器成为分布式文件系统的容量瓶颈，无法支持更大的扩容。

因此，现有的分布式文件系统依赖集中式的元数据服务器来确定数据的存储节点的路由，限制了分布式文件系统更大的扩容。

发明内容

为了解决分布式文件系统支持更大的扩容和存储，本发明提供一种分布式文件系统中的文件处理方法，包括：

接收用户的文件操作请求，所述文件操作请求中至少携带文件描述信息及操作类型；

根据所述文件描述信息在元数据服务器的全部节点中确定用于存储文件元数据的元主节点，所述元数据服务器的全部节点形成分布式哈希表网络；

根据所述文件描述信息在数据块服务器的全部节点中确定用于存储文件数据块的块主节点，所述数据块服务器的全部节点形成分布式哈希表网络；

根据所述操作类型完成与所述元主节点以及所述块主节点之间的操作。

本发明还提供一种分布式文件系统中的文件处理装置，包括：

接收模块，用于接收用户的文件操作请求，所述文件操作请求中至少携带文件描述信息及操作类型；

路由确定模块，用于根据所述文件描述信息在元数据服务器的全部节点中确定用于存储文件元数据的元主节点，所述元数据服务器的全部节点形成分布式哈希表网络；根据所述文件描述信息在数据块服务器的全部节点中确定用于存储文件数据块的块主节点，所述数据块服务器的全部节点形成分布式哈希表网络；

处理模块，用于根据所述操作类型完成与所述元主节点以及所述块主节点之间的操作。

本发明的技术效果是：接收到用户的文件操作请求时，根据文件操作请求所携带的文件描述信息在元数据服务器的全部节点中确定用于存储文件元数据的元主节点，再根据文件操作请求所携带的操作类型完成与元主节点之间的操作。由于元数据服务器的全部节点形成分布式哈希表网络，使得元数据服务器不再是集中式管理的一个节点，根据不同文件描述信息可以将文件的元数据分配给元数据服务器中的不同节点，有效实现了元数据服务器的扩容；同时，文件数据块服务器组成分布式哈希表网络，有效地实现了数据块内容的扩容。通过客户端将这两个分离的分布式哈希表存储网络组合起来，为上层应用提供服务。通过这种方式有效地解决了海量的文件数据存储和扩容的问题。

附图说明

图1为本发明实施例一提供的分布式文件系统中的文件处理方法流程图；

图2为本发明实施例二提供的步骤102的具体实现流程图；

图3为本发明实施例二提供的逻辑DHT标识符圆环的示意图；

图4为本发明实施例四提供的分布式文件系统中的文件处理装置结构示意图。

具体实施方式

图1为本发明实施例一提供的分布式文件系统中的文件处理方法流程图，如图1所示，该方法包括：

步骤101、分布式文件系统中的客户端接收用户的文件操作请求，该文件操作请求中至少携带文件描述信息及操作类型。

该分布式文件系统中的客户端不同于传统意义上的客户端，该分布式文件系统中的客户端可以理解为分布式文件系统与用户之间的接口层，该接口层位于基础管理层(包括元数据服务器和数据块服务器)以及存储设施层(存储设备如本地磁盘等)，为应用(如用户生成内容(User Generated Content，简称为：UGC)、社会性网络服务(Social Networking Services，简称为：SNS)、网络硬盘系统(Netdisk)等)提供公共的API接口。

本发明实施例提供的元数据服务器和数据块服务器是两个彼此分离、相互独立的系统，分别用于存储元数据信息和数据块信息。由该分布式文件系统中的客户端将这两个分离的服务器组合起来，向应用提供对象存储或者读取等分布式文件系统服务。

这里还需要说明的是，文件描述信息可以但不限于包括：文件名(filename)等，操作类型可以但不限于为：存储文件或读取文件。

步骤102、客户端根据文件描述信息在元数据服务器的全部节点中确定用于存储文件元数据的元主节点，该元数据服务器的全部节点形成分布式哈希表网络；根据文件描述信息在数据块服务器的全部节点中确定用于存储文件数据块的块主节点，该数据块服务器的全部节点形成分布式哈希表网络。

对于元数据服务器以及数据块服务器而言，均由多个节点组成，且全部节点形成分布式哈希表网络。每个节点上都会保存一部分的文件索引。全部节点所保存的文件索引可以组成一个完整的文件索引哈希表。这种元数据服务器的实现方式可以在节点失效、遭受攻击以及突发性高负载面前都能够表现出很好的健壮性，而且具有良好的可扩展性，能够通过较低的系统开销获得较大的系统规模，新节点在加入时可以进行自我配置，不需要手动干预即可以自动合并到系统中。

步骤103、根据操作类型完成客户端与元主节点以及块主节点之间的操作。

当操作类型为存储文件时，将待存储文件的元数据发送给元主节点，以使该元主节点对待存储文件的元数据进行保存；将待存储文件切片后发送给块主节点，以使该块主节点对待存储文件的切片数据进行保存。当操作类型为读取文件时，从元主节点上读取文件描述信息对应的文件元数据，从块主节点上读取文件描述信息对应的文件块数据。

进一步需要说明的是，如果在存储文件数据时，数据过长过大，还可以将待存储文件进行切片后存储到相应的块主节点上。

本发明实施例提供的分布式文件中的文件处理方法，接收到用户的文件操作请求时，根据文件操作请求所携带的文件描述信息在元数据服务器的全部节点中确定用于存储文件元数据的元主节点，再根据文件操作请求所携带的操作类型完成与元主节点之间的操作。由于元数据服务器的全部节点形成分布式哈希表网络，使得元数据服务器不再是集中式管理的一个节点，根据不同文件描述信息可以将文件的元数据分配给元数据服务器中的不同节点，有效实现了元数据服务器的扩容；同时，文件数据块服务器组成分布式哈希表网络，有效地实现了数据块内容的扩容通过客户端将这两个分离的分布式哈希表存储网络组合起来，为上层应用提供服务。通过这种方式有效地解决了海量的文件数据存储和扩容的问题。

在上述实施方式的基础上，本发明实施例二提供的步骤102的具体实现流程图可以如图2所示，包括：

步骤102a、根据文件描述信息的哈希值，获得文件关键字的标识符；

步骤102b、在已知的元数据服务器的节点标识符中，如果存在节点标识符等于文件关键字的标识符的节点，则该节点为用于存储文件元数据的元主节点；如果不存在节点标识符等于文件关键字的标识符的节点，则获得节点标识符最接近文件关键字的标识符的节点作为存储文件元数据的元主节点。

这里需要说明的是，文件关键字的标识符可以但不限于是数字、字符串、或者其他可能形式，为了便于描述，通常情况下优选使用数字。根据文件关键字得到，文件关键字可以但不限于为文件描述信息(如文件名)的哈希值。已知的元数据服务器的节点标识符可以通过节点的IP地址得到。假设文件关键字的标识符和节点标识符均为m比特，元数据服务器的全部节点的节点标识符在取模2m后，按照从小到大的顺序，沿着顺时针方向，可以排列在一个逻辑的DHT标识圆环上。那么文件关键字的标识符和节点标识符之间的映射关系即可以为：文件关键字为K的文件索引(K，V)存储在这样的节点上：该节点的节点标识符等于或者在DHT环上紧跟在K之后，这个节点被称为K的后续节点，表示为successor(K)。由于关键字标识符和节点标识符都采用m位二进制数标识，并且从0到2m-1排列成一个圆圈，所以successor(K)就是从K开始顺时针方向距离K最近的节点。

这里还需要补充说明的是，通常情况下，如果使用数字作为文件关键字的标识符，且不存在节点标示符等于文件关键字的标识符的节点，那么获得的元主节点的节点标识符优选大于文件关键字的标识符。

下面结合具体实例对上述步骤102进行具体的说明。如图3所示的逻辑DHT标识符圆环的示意图，该圆环的m＝6，换种分布了10个节点，存储了5个关键字。在图3中，节点标识符前加N，而关键字的标识符前加K，用以区别两种标识符。最接近K10且大于K10的节点为N14，所以关键字10存储在节点14上。同样道理，K24和K30存储在N32上，K38存储在N38上，K54存储在N56上。当网络中的参与节点发生变动时，如某节点n加入网络，某些原来分配给n的后续节点的关键字将分配给n，如某节点n离开网络，某些原来分配给n的关键字将分配给n的后续节点。

以网盘系统为例，当用户上传文件时，用户可以通过Portal提供的上传界面发起上传请求，portal调用网盘业务平台(即本发明各实施例中提供的分布式文件系统中的客户端)请求对文件进行存储和处理，网盘业务平台接收文件和文件元数据后，根据文件名计算出存储元数据的主节点，请求元数据服务器的主节点进行元数据的存储，然后对文件进行分片处理，计算存储数据的主节点，并请求数据服务器的主节点对数据进行保存。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图4为本发明实施例四提供的分布式文件系统中的文件处理装置结构示意图，如图4所示，该装置为执行上述方法实施例的主体，具体方法不做赘述，该装置包括：接收模块401、路由确定模块402以及处理模块403。其中，接收模块401用于接收用户的文件操作请求，文件操作请求中至少携带文件描述信息及操作类型；路由确定模块402用于根据文件描述信息在元数据服务器的全部节点中确定用于存储文件元数据的元主节点，元数据服务器的全部节点形成分布式哈希表网络；路由确定模块402同时根据文件描述信息在在数据块服务器的全部节点中确定用于存储文件数据块的块主节点，数据块服务器的全部节点形成分布式哈希表网络；处理模块403用于根据操作类型完成与元主节点以及块主节点之间的操作。

其中，路由确定模块402包括：哈希计算单元，用于根据文件描述信息的哈希值，获得文件关键字的标识符；路由确定单元，用于在已知的元数据服务器的节点标识符中，如果存在节点标识符等于文件关键字的标识符的节点，则节点为用于存储文件元数据的元主节点；如果不存在节点标识符等于文件关键字的标识符的节点，则获得节点标识符最接近文件关键字的标识符的节点作为存储文件元数据的元主节点。

在上述实施方式的基础上，路由确定单元还用于：如果不存在节点标识符等于文件关键字的标识符的节点，获得的元主节点的节点标识符大于文件关键字的标识符。

进一步的，该路由确定单元还维护了一张元数据网路由表和一张数据块网路由表，分别负责元数据DHT和数据块DHT网的路由确定，即根据匹配的节点标示符获取目标主节点的IP地址和端口。

在上述实施方式的基础上，路由确定模块402还要负责路由表的更新，路由表刚开始会有几个种子节点的信息，客户端会连接到种子节点上，当需要查询数据时，客户端会按标识符匹配的路由方法确定目标主节点，并把查询请求发送给主节点。当主节点收到客户端发过来的请求后，如果发现数据不在本节点上时，会根据分布式哈希表网络内的路由机制查询到新的节点并返回，客户端路由模块根据返回结果刷新自己的路由表，这样下次查询就会直接定位到新的节点。

具体的操作类型为存储文件或读取文件；则处理模块403可以包括：发送单元，用于当操作类型为存储文件时，将待存储文件的元数据发送给主节点，以使主节点对待存储文件的元数据进行保存；读取单元，用于当操作类型为读取文件时，从主节点上读取文件描述信息对应的文件元数据。连接池单元，负责客户端到分布式哈希表网络中节点的连接管理。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种分布式文件系统中的文件处理方法，其特征在于，包括：

接收用户的文件操作请求，所述文件操作请求中至少携带文件描述信息及操作类型；

根据所述文件描述信息在元数据服务器的全部节点中确定用于存储文件元数据的元主节点，所述元数据服务器的全部节点形成分布式哈希表网络；

根据所述文件描述信息在数据块服务器的全部节点中确定用于存储文件数据块的块主节点，所述数据块服务器的全部节点形成分布式哈希表网络；

根据所述操作类型完成与所述元主节点以及所述块主节点之间的操作。

2.根据权利要求1所述的方法，其特征在于，根据所述文件描述信息在元数据服务器的全部节点中确定用于存储文件元数据的元主节点，包括：

根据所述文件描述信息的哈希值，获得文件关键字的标识符；

在已知的元数据服务器的节点标识符中，如果存在节点标识符等于所述文件关键字的标识符的节点，则所述节点为用于存储文件元数据的元主节点；如果不存在节点标识符等于所述文件关键字的标识符的节点，则获得节点标识符最接近所述文件关键字的标识符的节点作为存储文件元数据的元主节点。

3.根据权利要求2所述的方法，其特征在于，如果不存在节点标识符等于所述文件关键字的标识符的节点，所述获得的元主节点的节点标识符大于所述文件关键字的标识符。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述操作类型为存储文件或读取文件；所述根据所述操作类型完成与所述元主节点以及所述块主节点之间的操作包括：

当所述操作类型为存储文件时，将待存储文件的元数据发送给所述元主节点，以使所述元主节点对所述待存储文件的元数据进行保存；将待存储文件发送给所述块主节点，以使所述块主节点对所述待存储文件进行保存；

当所述操作类型为读取文件时，从所述元主节点上读取所述文件描述信息对应的文件元数据，从所述块主节点上读取所述文件描述信息对应的文件块数据。

5.根据权利要求4所述的方法，其特征在于，所述将待存储文件发送给所述块主节点之前，所述方法还包括：

对所述待存储文件进行切片；

相应的，所述将待存储文件发送给所述块主节点，以使所述块主节点对所述待存储文件进行保存包括：

将切片后的数据发送给所述块主节点，以使所述块主节点对所述切片后的数据进行保存。

6.一种分布式文件系统中的文件装置，其特征在于，包括：

接收模块，用于接收用户的文件操作请求，所述文件操作请求中至少携带文件描述信息及操作类型；

路由确定模块，用于根据所述文件描述信息在元数据服务器的全部节点中确定用于存储文件元数据的元主节点，所述元数据服务器的全部节点形成分布式哈希表网络；根据所述文件描述信息在数据块服务器的全部节点中确定用于存储文件数据块的块主节点，所述数据块服务器的全部节点形成分布式哈希表网络；

处理模块，用于根据所述操作类型完成与所述元主节点以及所述块主节点之间的操作。

7.根据权利要求6所述的装置，其特征在于，所述路由确定模块包括：

哈希计算单元，用于根据所述文件描述信息的哈希值，获得文件关键字的标识符；

路由确定单元，用于在已知的元数据服务器的节点标识符中，如果存在节点标识符等于所述文件关键字的标识符的节点，则所述节点为用于存储文件元数据的元主节点；如果不存在节点标识符等于所述文件关键字的标识符的节点，则获得节点标识符最接近所述文件关键字的标识符的节点作为存储文件元数据的元主节点。

8.根据权利要求7所述的装置，其特征在于，所述路由确定单元还用于：如果不存在节点标识符等于所述文件关键字的标识符的节点，所述获得的元主节点的节点标识符大于所述文件关键字的标识符。

9.根据权利要求6至8中任一项所述的装置，其特征在于，所述操作类型为存储文件或读取文件；所述处理模块包括：

发送单元，用于当所述操作类型为存储文件时，将待存储文件的元数据发送给所述元主节点，以使所述元主节点对所述待存储文件的元数据进行保存；将待存储文件发送给所述块主节点，以使所述块主节点对所述待存储文件进行保存；

读取单元，用于当所述操作类型为读取文件时，从所述元主节点上读取所述文件描述信息对应的文件元数据，从所述块主节点上读取所述文件描述信息对应的文件块数据。

10.根据权利要求9所述的装置，其特征在于，所述处理模块还包括：

切片单元，用于对所述待存储文件进行切片；

相应的，所述发送单元包括：将切片后的数据发送给所述块主节点，以使所述块主节点对所述切片后的数据进行保存。

Images