CN103595810A - 一种分布式文件系统中网络自适应方法 - Google Patents

Abstract

本发明公开了一种分布式文件系统中网络自适应方法，分布式文件系统部署到多个节点上,使用网络进行通讯，由系统定义一个网络接口组，以组为单位进行通讯，并动态的对网络接口组进行更新，能自适应网络接口的变化，包括网络接口的增加和减少，动态的使用网络接口。采用本发明的方法，文件系统可以动态的适应网络，当网络接口增加时，可以自动使用增加的网络接口，实现带宽的自动增加，当网络接口损坏时，系统自动发现，并将数据通过其他网络接口传输，实现错误的透明处理。

Description

一种分布式文件系统中网络自适应方法

技术领域

本发明涉及分布式文件系统领域，具体涉及分布式文件系统自适应网络变化的方法。

技术背景

随着云计算和大数据时代的来临，人类需要处理的数据越来越多，为了支撑庞大的数据量，人们使用分布式文件系统来存储这些海量数据，通常分布式文件系统使用网络进行通讯，网络的性能直接影响着分布式文件系统的性能。

通常文件系统部署时，需要预先设置使用的网络，文件系统运行时，网络接口不可改变，当网络接口发生故障时，节点将不可用。因为成本的原因，目前商用的pc 服务器一般不提供万兆接口，而是提供两个到四个千兆网口，传统的文件系统由于预先设置网络接口，只能使用其中的一个网络接口，一个千兆网口最高100M 的速度严重制约了文件系统的性能。

发明内容

本发明要解决的技术问题是：提供一种分布式文件系统中网络自适应方法。

本发明所采用的技术方案为：一种分布式文件系统中网络自适应方法，分布式文件系统部署到多个节点上,使用网络进行通讯，由系统定义一个网络接口组，以组为单位进行通讯，并动态的对网络接口组进行更新，能自适应网络接口的变化，包括网络接口的增加和减少，动态的使用网络接口。

当节点上的网络接口增加时,系统可以自动识别到网络接口增加,并能使用新加入的网口分流数据,实现网络带宽的自动增加。

当节点上网络接口减少或损坏时,系统可以自动识别到网络接口的减少,不再使用这个网口传输数据,实现网络带宽的自动减小。

当节点上网络接口的速度发生变化时,自动识别速度的变化,自动调整分配到各个网络接口的数据流量。

当分布式文件系统中的节点启动时，扫描本机的网络接口，将其设备名、速度、是否联通等信息记录下来，生成一个网络接口组结构，当进行数据传输时，首先获取目标节点的网络接口组信息，通讯任务交给两个网络接口组进行，文件系统首先将数据交给网络接口组，网络接口组计算目标接口组的可达性，有多少个接口在同一个网段，可以连接，然后在两个组内建立连接对，然后使用这些连接对发送数据，为了保证数据的有序性，发送的数据进行编号，目标节点根据编号对收到的数据进行排序，将有序的数据交给上层应用。这样可以充分利用所有的网络接口，并发的传输数据，有效提高网络的利用率，提高分布式文件系统的性能和稳定性。

当接口组中的连接对发故障时，本端或对端网络故障，导致连接对无法传输数据，则网络接口组自动识别到这一异常情况，并将数据从另外的连接对发送，并更新连接组的状态，下次发送时不再使用故障的连接对。

为了及时发现新加入的网络接口，传输一定的包后，就扫描本地网络接口，对接口组进行更新，如果发现有新的网络接口加入，同时更新对端的接口组，查看新加入的网络接口是否可以通讯，以达到动态扩充带宽的目的。

本发明的有益效果为：

一种分布式文件系统中网络的自适应方法, 文件系统可以动态的适应网络，当网络接口增加时，可以自动使用增加的网络接口，实现带宽的自动增加，当网络接口损坏时，系统自动发现，并将数据通过其他网络接口传输，实现错误的透明处理。

附图说明

图1为分布式文件系统传统网络连接示意图；

图2为分布式文件系统中网络自使用方法示意图；

图3为 自适应网络通讯流程图。

具体实施方式

下面参照图3自适应网络通讯流程图，对本发明的内容以一个具体实例进行描述。

假设A 节点要和B 节点进行通讯，首先扫描本地网络接口，得到两个网络接口 192.168.1.20/24和 172.16.100.20/16,然后获取对端接口：192.168.1.22/24, 172.16.100.22/24,  获取两个接口组后，接口组对其中的ip和掩码进行计算，发现 192.168.1.20 和 192.168.1.22 可以直接通讯，172.16.100.20 和172.16.100.22 可以直接通讯，这样就生成了两个连接对，并且发现网络接口类型的不同，192 的连接对的速度为1000M，172 的连接对的速度为10000M。

数据交给连接组，首先对数据编号，然后选择一个连接对发送，因为两个连接对的速度不同，在选择接口对时，会根据速度的差异，将大部分数据交给172 的接口对传输，实现速度的自适应。当172 连接对发生故障时，接口组会选择192发送数据，而将 172 置为无效，实现错误的自动切换。数据到节点B以后，重新排序后交给用户。

每传输一个数据包，计数器加1 ，当超过10000 时，重新扫描本地网络接口，并更新节点 B 的接口信息，更新连接对，如果此时节点A 和节点B都增加了一个同网段的网口，经过更新后，会增加一个新的连接对，实现动态的网络带宽的扩充。

Claims (4)

1.一种分布式文件系统中网络自适应方法，分布式文件系统部署到多个节点上,使用网络进行通讯,其特征在于：由系统定义一个网络接口组，以组为单位进行通讯，并动态的对网络接口组进行更新，能自适应网络接口的变化，包括网络接口的增加和减少，动态的使用网络接口。

2.根据权利要求1所述的一种分布式文件系统中网络自适应方法，其特征在于：当分布式文件系统中的节点启动时，扫描本机的网络接口，将其设备名、速度、是否联通信息记录下来，生成一个网络接口组结构，当进行数据传输时，首先获取目标节点的网络接口组信息，通讯任务交给两个网络接口组进行，文件系统首先将数据交给网络接口组，网络接口组计算目标接口组的可达性，然后在两个组内建立连接对，然后使用这些连接对发送数据，为了保证数据的有序性，发送的数据进行编号，目标节点根据编号对收到的数据进行排序，将有序的数据交给上层应用。

3.根据权利要求1或2所述的一种分布式文件系统中网络自适应方法，其特征在于：当接口组中的连接对发故障时，本端或对端网络故障，导致连接对无法传输数据，则网络接口组自动识别到这一异常情况，并将数据从另外的连接对发送，并更新连接组的状态，下次发送时不再使用故障的连接对。

4.根据权利要求3所述的一种分布式文件系统中网络自适应方法，其特征在于：为了及时发现新加入的网络接口，传输一定的包后，就扫描本地网络接口，对接口组进行更新，如果发现有新的网络接口加入，同时更新对端的接口组，查看新加入的网络接口是否可以通讯，以达到动态扩充带宽的目的。

Images