CN100414936C - 平衡网络文件系统服务器多网卡间负载的方法 - Google Patents

Abstract

本发明提供一种平衡网络文件系统服务器多网卡间负载的方法，包括：网络文件系统服务器为每个网卡配置网络地址；在多个网卡中选择一个主网卡，为每个网卡创建套接字；将网卡与套接字结构绑定在一起；网络文件系统客户端获取服务器以太网地址；客户端从获取的服务器多块网卡地址中以轮循选择的方式选择一个网络地址发送文件访问请求；服务器端接受到请求后交由网络文件系统服务进程进行处理，将处理结果通过接受请求的网卡发送给客户端。本发明充分利用了服务器网络带宽资源，提高了文件访问吞吐率。

Description

平衡网络文件系统服务器多网卡间负载的方法

技术领域

本发明涉及网络文件系统服务器，特别涉及一种平衡网络文件系统服务器多网卡间负载的方法。

背景技术

不断增长的在不同主机之间共享文件的需求推动了分布式文件系统的发展，NFS就是最早出现的分布式文件系统。随着科学计算等应用的运算规模的不断提高，网络文件系统(NFS)服务器的存储容量在不断扩大，因此NFS服务器开始配置百兆、千兆以太网卡。随着用户对网络速度及带宽的要求，目前NFS服务器大都配置有多块网卡以提高数据传输速度。

然而当前所有NFS实现中，NFS客户端只能通过一块网卡与NFS服务器进行通信，这种实现对于拥有多个物理网卡的高性能I/O服务器来说，无法充分发挥服务器端网络负载的支持能力。

现行NFS服务器对多网卡的配置一般采用以下几种方法：

(1)服务器的多块网卡配置在不同的网段上，同时将客户端分成若干组，每组客户端的网卡配置在相同的网段上，不同组的客户端配置不同的网段，每组客户端利用与自己处于相同网段的NFS服务器网卡地址挂载网络文件系统，之后的文件访问均通过该服务器网卡访问服务器。

上述的NFS多网卡配置方法使得网卡的利用率不高，当一组客户端访问服务器的负载很大造成网络拥塞而另一组被分配另一块网卡的客户端负载很轻的情况下，会导致两块网卡负载机器不均衡，也无法充分发挥服务器的I/O带宽。另外，一旦网络失效，由于无法选择备用网络，使得客户端便无法再访问NFS服务器。若多块网卡配置在同一网段，根据路由规则服务器总会选择第一块网卡发送数据，难以同时利用多块网卡的传输能力。

(2)利用网卡绑定技术，多网卡绑定技术的主要思想是将服务器的多块网卡绑定成为一个虚拟网卡。多个客户端通过一个虚拟网卡访问NFS服务器。当服务器网络设备发送数据时，由网络设备驱动实现多个物理网卡轮循发送数据包。

上述配置方法一般需要交换机的支持，因为交换机也需要把数据包轮循发送给服务器多个物理网卡。而对于不支持轮循发送的交换机则对绑定模式的负载平衡效果又不理想，甚至产生错误。

发明内容

本发明的目的是克服现行的NFS服务器对多网卡配置及使用方法均不能够很好的解决多网卡之间负载平衡问题，无法充分发挥网络提供的带宽，数据传输效率较低的缺陷，从而提供一种可较好平衡多网卡间负载的方法。

为了实现上述目的，本发明提供了一种平衡网络文件系统服务器多网卡间负载的方法，应用于由网络文件系统服务器、交换机、客户端组成的网络文件系统上，所述方法包括以下步骤：

1)、为网络文件系统服务器上的所有网卡配置网络地址；

2)、获取网络文件系统服务器上所有网卡的物理地址、网络地址及物理设备的名称，并记录在网络文件系统服务器的网卡信息表中；

3)、从网络文件系统服务器上的所有网卡中选择一块网卡为主网卡，其余网卡为从网卡，并为主网卡指定端口号；

4)、网络文件系统服务器根据步骤2)得到的网卡信息表，为每个网卡创建对应的套接字结构，并为每个从网卡指定一个端口号，初始化所述的套接字结构，将端口号和步骤2)中所得到的网络地址填充到所述的套接字结构中；

5)、选择主网卡的套接字结构为主套接字，并将主网卡的端口号注册到服务器的端口映射器中；

6)、将各个网卡与该网卡所指定的套接字结构绑定在一起；

7)、客户端向服务器发送获取服务器网卡物理地址信息、网络地址信息及端口号信息的请求，保存服务器返回的结果；

8)、根据步骤7)得到的网卡的信息，以及客户端自带的自动设置客户端arp配置文件，将服务器所有网卡的网络地址及物理地址填充到arp协议的读取静态解析网络地址的文件中，然后运行arp配置文件；

9)、客户端利用服务器主网卡的网络地址安装网络文件系统；

10)、客户端通过交换机与服务器进行通信，客户端截取远程过程调用协议数据包，该数据包的地址域中包括目的网卡的端口号和网络地址，客户端采用轮循选择的策略从步骤7)获得的服务器网络地址和端口地址对中选择一个作为服务器网卡目标地址，修改所述数据包的地址域中目的网卡的网络地址和端口号；

11)、判断步骤10)中所选择的服务器网卡目标地址是否有效，若网卡有效，则执行下一步，否则，执行步骤13)；

12)、客户端向服务器发送远程过程调用协议数据包，若发送失败，则标志网卡无效，并设置故障开始的时间，再按照步骤10)重新选择网卡，若发送成功，则执行步骤15)；

13)、网卡为无效状态，探测从故障时间到当前时间是否到达无效时间间隔阈值，如果到达无效时间间隔阈值，执行下一步，否则按照步骤10)重新选择网卡；

14)、试探网络是否处于连通的状态，若网络连通，则重新发送数据包，发送成功后，标志网卡有效位为有效，若网络尚未连通，则重新设置故障时间为当前时间，然后按照步骤10)重新选择网卡；

15)、服务器从网卡接收到数据包后，通过步骤4)所创建的套接字结构将数据包传递给网络文件系统服务线程进行处理，服务器将处理后的结果通过接收到请求的网卡返还给客户端。

上述技术方案中，在所述的步骤1)中，所述的网络地址配置在同一网段中。

上述技术方案中，在所述的步骤2)中，利用ifconfig-a获取网络文件系统服务器上所有网卡的网络地址、物理地址以及物理设备的名称。

上述技术方案中，在所述的步骤3)中，所述的主网卡的端口号为2049号端口。

上述技术方案中，在所述的步骤6)中，将所有套接字结构的“sk_bound_dev_if”字段设置为“1”，使所述的网卡与该网卡所指定的套接字结构绑定在一起。

上述技术方案中，所述的多网卡指2个以上的网卡。

采用本发明的方法可以使得每个客户端充分利用网络带宽，提高网络传输效率。

附图说明

图1为本发明采用的网络文件系统组成图；

图2为本发明的平衡网络文件系统服务器多网卡间负载的方法在服务器端的操作；

图3为本发明的平衡网络文件系统服务器多网卡间负载的方法在客户端的操作；

图4为本发明的方法中选择目标地址发送数据请求的流程图；

图5为网络文件系统客户端与服务器端的结构图。

具体实施方式

下面结合附图和具体实施方式对本发明的方法进行具体说明。

如图1所示，为常见的NFS系统的结构图，本实施例的方法是利用该系统，该系统中包括客户端、交换机和服务器，其中的交换机不需要支持轮循操作，服务器上具有多块网卡。

图5是对客户端和服务器端的进一步说明。客户端包括：系统调用层、虚拟文件系统层、网络文件系统客户端模块、请求负载分发模块、远程过程调用客户端模块。服务器端包括：系统调用层、虚拟文件系统层、网络文件系统服务器端模块、网络通道并发模块、远程过程调用服务器端模块。

利用本发明的方法平衡网络文件系统服务器多网卡间负载时，需要在服务器和客户端分别进行操作，下面对其操作过程分别进行以下描述。

对服务器的操作：

步骤1.1、为NFS服务器上的所有网卡配置网络地址，这些地址可配置为属于同一个网段，也可配置为属于不同的网段。

步骤1.2、利用ifconfig-a获取NFS服务器上所有网卡的网络地址、物理地址以及物理设备的名称，并将所得到的每块网卡的信息记录在一个表中。例如，在NFS服务器上的第一块网卡的网络地址是159.211.10.101，其物理设备名称是eth0，其物理地址为00:0C:76:9D:37:69，上述信息都记录到网卡信息表中。

步骤1.3、从NFS服务器的网卡中选择一块主网卡，服务器中的其他网卡即为从网卡。在选择主网卡时，可任意选定一块网卡为主网卡，并将主网卡的端口号指定为2049号端口。

步骤1.4、服务器根据步骤1.2得到的网卡信息表，为每个网卡创建对应的套接字结构，并初始化套接字结构，为网卡指定一个端口号，将步骤1.2中所得到的网络地址和端口号填充到所述的套接字结构中。通过上述操作，扩展了网卡与NFS服务线程的数据传输通道个数，由原来共用一个通道扩展为与网卡个数匹配的通道数，增加了数据传输的并发度，可以提高数据的传输性能。

步骤1.5、选择主网卡的套接字为主套接字，其服务端口号为2049，向服务器端口映射器进行端口号注册，其余套接字并不向端口映射器注册端口号。

所述的端口映射器的作用是当客户端不知道服务端口号时，可以向服务器查询。服务器根据端口映射器中注册的信息，返回给用户所请求服务的端口号。

在此步骤中，为NFS服务器指定了多个服务端口(即套接字)，但是只有公开默认的2049号端口向端口映射器进行了注册。由于在安装(mount)服务器端NFS文件系统时，为了保留原有的mount协议，只指定了服务器端主网卡的地址。

步骤1.6、同时将所有套接字的“sk_bound_dev_if”字段设置为“1”，使得套接字结构与所指定的网卡绑定在一起。将套接字与指定的网卡绑定在一起，使得当网络设备发送数据包时就不会查询路由表发送数据，避免了对于处于同一网段的网卡总是选择首个网卡发送的问题。

完成服务器端的操作后，服务器把主网卡的网络地址和服务器端口号发送给客户端，然后在客户端中完成以下的操作：

步骤2.1、客户端向服务器发送获取服务器网卡物理地址信息和网络地址信息及端口号信息的请求，将服务器返回的结果保存在表中；在本步骤中所述的服务器网卡包括前述的主网卡和从网卡。

步骤2.2、根据得到的网卡信息及自动设置客户端arp配置文件，将服务器多个网卡的网络地址及物理地址填充到arp协议的读取静态解析网络地址的文件中；然后运行arp使配置生效，使得后续步骤中ethernet协议可以把目标IP地址转化为网卡物理地址，可以在媒体介质上传输数据。

步骤2.3、客户端利用服务器主网卡的网络地址安装(mount)NFS文件系统。完成本步骤的操作后，客户端即可使用网络文件系统。

步骤2.4、当客户端通过交换机与服务器进行通信时，客户端截取远程过程调用协议(RPC)数据包，该数据包的地址域中包括发送的目的网卡端口号和网络地址，在默认情况下，所述的目的网卡和网络地址是服务器中的主网卡的地址，网卡端口号为2049端口号。客户端从步骤2.1获得的服务器网络地址和端口地址对中选择一个目标地址，修改RPC数据包中的地址域中目的网卡的地址和端口号，这样网络层就可以根据目标地址将数据包发送到指定服务器网卡。在从服务器网络地址和端口地址对中选择一个目标地址时，采用轮循选择的策略，根据该策略可实现对网卡的动态选择。

步骤2.5、判断上一步骤中选择的服务器网卡目标地址是否有效，若网卡标志为有效状态，则执行下一步，否则，执行步骤2.7；

步骤2.6、客户端向服务器发送远程过程调用协议(RPC)数据包，若发送失败，则标志网卡无效，并设置故障开始的时间，再按照步骤2.4重新选择网卡，若发送成功，则执行步骤2.9

步骤2.7、网卡为无效状态，探测从故障时间到当前时间是否到达无效时间间隔阈值，如果到达无效时间间隔阈值，执行下一步，否则按照步骤2.4重新选择网卡；

步骤2.8、试探网络是否处于连通的状态，若网络连通，则重新发送数据包，发送成功后，标志网卡有效位为有效，若网络尚未连通，则重新设置故障时间为当前时间，然后按照步骤2.4重新选择网卡；

步骤2.9、服务器从网卡接收到数据包后，通过所述创建的套接字传递给网络文件系统服务线程(nfsd)，服务器将处理后的结果仍然从接收到请求的网卡发送给客户端。

图4是客户端发起服务器文件访问请求的流程实例。以客户端写操作为例，客户端应用程序调用写操作系统，虚拟文件系统层将操作转化为多个网络文件系统写操作请求，请求负载分发模块截获请求，为其选择目标地址，远程过程调用客户端模块将请求发往所指定的服务器目标地址。服务器将接收到的请求交给网络文件系统服务器端模块进行处理，将数据写回磁盘后，将应答信息交给网络通道并发模块，该模块按照初始化时设置的网卡设备与套接字绑定的原则将应答数据包传给远程过程调用服务器端模块，并从接收与该应答数据包相应的请求数据包的网卡发送给客户端。

Claims (6)

1. 一种平衡网络文件系统服务器多网卡间负载的方法，应用于由网络文件系统服务器、交换机、客户端组成的网络文件系统上，所述方法分别在服务器和客户端进行操作，包括以下步骤：

1)、首先给网络文件系统服务器上的所有网卡配置网络地址；

2)、获取网络文件系统服务器上所有网卡的物理地址、网络地址及物理设备的名称，并记录在网络文件系统服务器的网卡信息表中；

3)、从网络文件系统服务器上的所有网卡中选择一块网卡为主网卡，其余网卡为从网卡，并为主网卡指定端口号；

4)、网络文件系统服务器根据步骤2)得到的网卡信息表，为每个网卡创建对应的套接字结构，并为每个从网卡指定一个端口号，初始化所述的套接字结构，将端口号和步骤2)中所得到的网络地址填充到所述的套接字结构中；

5)、选择主网卡的套接字结构为主套接字，并将主网卡的端口号注册到服务器的端口映射器中；

6)、将各个网卡与该网卡所指定的套接字结构绑定在一起；

7)、客户端向服务器发送获取服务器网卡物理地址信息、网络地址信息及端口号信息的请求，保存服务器返回的结果；

8)、根据步骤7)得到的网卡的信息，以及客户端自带的自动设置客户端arp配置文件，将服务器所有网卡的网络地址及物理地址填充到arp协议的读取静态解析网络地址的文件中，然后运行arp配置文件；

9)、客户端利用服务器主网卡的网络地址安装网络文件系统；

10)、客户端通过交换机与服务器进行通信，客户端截取远程过程调用协议数据包，该数据包的地址域中包括目的网卡的端口号和网络地址，客户端采用轮循选择的策略从步骤7)获得的服务器网络地址和端口地址对中选择一个作为服务器网卡目标地址，修改所述数据包的地址域中目的网卡的网络地址和端口号；

11)、判断步骤10)中所选择的服务器网卡目标地址是否有效，若网卡有效，则执行下一步，否则，执行步骤13)；

12)、客户端向服务器发送远程过程调用协议数据包，若发送失败，则标志网卡无效，并设置故障开始的时间，再按照步骤10)重新选择网卡，若发送成功，则执行步骤15)；

13)、网卡为无效状态，探测从故障时间到当前时间是否到达无效时间间隔阈值，如果到达无效时间间隔阈值，执行下一步，否则按照步骤10)重新选择网卡；

14)、试探网络是否处于连通的状态，若网络连通，则重新发送数据包，发送成功后，标志网卡有效位为有效，若网络尚未连通，则重新设置故障时间为当前时间，然后按照步骤10)重新选择网卡；

15)、服务器从网卡接收到数据包后，通过步骤4)所创建的套接字结构将数据包传递给网络文件系统服务线程进行处理，服务器将处理后的结果通过接收到请求的网卡返还给客户端。

2. 根据权利要求1所述的平衡网络文件系统服务器多网卡间负载的方法，其特征在于，在所述的步骤1)中，所述的网络地址配置在同一网段中。

3. 根据权利要求1所述的平衡网络文件系统服务器多网卡间负载的方法，其特征在于，在所述的步骤2)中，利用ifconfig-a获取网络文件系统服务器上所有网卡的网络地址、物理地址以及物理设备的名称。

4. 根据权利要求1所述的平衡网络文件系统服务器多网卡间负载的方法，其特征在于，在所述的步骤3)中，所述的主网卡的端口号为2049号端口。

5. 根据权利要求1所述的平衡网络文件系统服务器多网卡间负载的方法，其特征在于，在所述的步骤6)中，将所有套接字结构的“sk_bound_dev_if”字段设置为“1”，使所述的网卡与该网卡所指定的套接字结构绑定在一起。

6. 根据权利要求1所述的平衡网络文件系统服务器多网卡间负载的方法，其特征在于，所述的多网卡指2个以上的网卡。

Images