CN103457844B - 多Infiniband网关的vNIC绑定方法 - Google Patents

Abstract

本发明提供了一种多Infiniband网关的vNIC绑定方法，其通过利用网关的识别信息来区分多个Infiniband网关虚拟出的不同vNIC，并将区分出的vNIC绑定特定IP信息，使不同IP段通过确定的网关进行传输，从而实现了Infiniband网络和以太网络之间带宽的倍增，突破了Infiniband网络和以太网络之间的瓶颈，实现了不同类型网络之间的高速数据交换，而且在应用中根据不同IP网段对应的不同机器名，来选择IP网段和通过的Infiniband网关，实现了多Infiniband网关的负载均衡，尤其是在地震资料处理等大数据应用环境中效果更加明显。

Description

多Infiniband网关的vNIC绑定方法

技术领域

本发明涉及Infiniband网关环境下的vNIC绑定技术，特别是涉及一种多Infiniband网关的vNIC（Virtual Network Interface Card，虚拟网络适配器）绑定方法。

背景技术

随着石油地球物理勘探技术的发展，地震勘探方法向着多维、多分量、超多道方向发展，目前主要以1ms或2ms采样，接收道数在5000道以内的施工方法为主。按1ms采样5000道接收计算，其实时数据流量达20MB/s左右，如果是连续采集(如海上气枪作业)，就要求存储数据速度必须在20MB/s以上。根据地震勘探向全波场、高密度采集方向发展的趋势，也许不久的将来要用1ms或0.5ms采样10000或20000道接收，那时的实时数据采集流量最高达160MB/s，这使得地震勘探所采集的数据总量十分惊人(通常三维队一个施工季的数据总量能达TB级)。

同时，地震资料的处理技术也取得突飞猛进近的发展，从叠前时间偏移、叠前深度偏移，到双程波波动方程偏移，以及全波形反演，多波多分量等处理技术。伴随着地震资料软件处理技术的发展，处理所需的硬件资源性能也得到迅速提高，从以往的数百节点PC集群进行处理，到现在的几十节点的GPU集群，集群密度越来越高，集群服务器的处理能力越来越强。这使得一次地震资料处理作业所需要的服务器数量越来越少，而同时由于地震勘探采集技术的发展，地震资料源数据却越来越大，如何能够满足在十余节点服务器上快速传输数TB的原始数据，同时数据数倍于原始数据的结果数据，这对集群系统中的网络要求越来越高。另一方面，现在数据中心的发展，使得集群的网络架构中不仅限于以太网络，同时还存在Infiniband网络，而集群所使用的大规模存储资源设备可能存放在以太网中，也可能在Infiniband网络中，因此如何实现以太网络和Infiniband网络中不同存储资源的共享，同时又能够满足TB级数据量的快速传输使当前地球物理勘探数据中心面临的艰巨挑战和重要问题。

目前，现有的单Infiniband网关vNIC绑定技术可以实现Infiniband网与以太网的交融，但由于其只能实现一个Infiniband网关的vNIC绑定，所有以太网与Infiniband网络的数据传输等都只能通过一个网关进行，这就大大限制两种网络之间的数据传输带宽，尤其是当以太网络和Infiniband网络都比较大的数据中心，此网络带宽瓶颈表现尤为明显，而且在地震资料处理数据中心中，由于数据量非常大，数据并发访问多，并发度高，导致经常出现以太网络和Infiniband网络之间的网络拥堵，致使数据传输延迟较大，甚至会出现网络中断，因而极大影响了数据中心的集群运行和业务的处理，限制了数据中心的发展。

发明内容

本发明实施例的目的在于提供一种多Infiniband网关的vNIC绑定方法，以增大以太网络和Infiniband网络之间的带宽，实现以太网络和Infiniband网络之间的高速数据交换，满足地震资料处理等大数据实时处理的需求。

为实现上述目的，本发明提供一种多Infiniband网关的vNIC绑定方法，包括以下步骤：

对以太网交换机连接至各Infiniband网关的多个以太网端口分别做port-channel端口绑定，从而使所述port-channel端口和Infiniband网关一一对应；

将所述各Infiniband网关中的以太网端口分别做port-channel端口绑定，生成相应配置的vNIC，并为各port-channel端口配置VLAN（Virtual Local Area Network，虚拟局域网）信息；

Infiniband网络中的服务器节点获取各vNIC信息，并从所述vNIC信息获取中对应的Infiniband网关标识；

所述Infiniband网络中的服务器节点根据Infiniband网关标识，对所述每个Infiniband网关对应生成的vNIC绑定指定的IP地址信息，使不同的IP段通过确定的Infiniband网关进行传输。

其中，在所述对以太网交换机连接至各Infiniband网关的多个以太网端口分别做port-channel端口绑定之后，还包括：

为所述以太网交换机中各port-channel端口设置负载均衡模式；

为所述以太网交换机创建多个VLAN，并配置相应的VLAN信息；

将所述以太网交换机中各port-channel端口分别加入到指定的VLAN中。

其中，在所述Infiniband网络中的服务器节点根据Infiniband网关标识，对所述每个Infiniband网关对应生成的vNIC绑定指定的IP地址信息之后，还包括：

所述Infiniband网络中的服务器节点重启各vNIC；

对所述Infiniband网络进行opensm子网管理配置，并重启子网管理服务。

其中，所述对以太网交换机连接至各Infiniband网关的多个以太网端口分别做port-channel端口绑定，具体包括：

设置各Infiniband网关的以太网端口为swithport模式；

启用各以太网端口；

创建port-channel端口绑定，使其与所述Infiniband网关一一对应；

添加所述创建的port-channel端口的描述信息；

为所述创建的port-channel端口添加对应的以太网端口；

启用所述创建的port-channel端口。

其中，所述将各Infiniband网关中的以太网端口分别做port-channel端口绑定，生成相应配置的vNIC，并为各port-channel端口配置VLAN信息，具体包括：

所述各Infiniband网关分别创建port-channel端口；

启用各Infiniband网关的port-channel端口；

设置各Infiniband网关的port-channel管理方式；

为各Infiniband网关的port-channel分别创建指定的VLAN；

开启eport端口；

关闭lacp（Link Aggregation Control Protocol，链路汇聚控制协议）协议。

其中，所述Infiniband网络中的服务器节点根据Infiniband网关标识，对所述每个Infiniband网关对应生成的vNIC绑定指定的IP地址信息，具体包括：

根据各vNIC中的Infiniband网关标识信息逐一确认该vNIC属于哪个网关；

将该vNIC所属Infiniband网关的对应网卡配置信息写入该vNIC的配置文件中。

其中，所述为以太网交换机创建多个VLAN，并配置相应的VLAN信息，具体包括：

为所述以太网交换机创建多个与Infiniband网关一一对应的VLAN；

为各VLAN添加VLAN描述信息；

配置所述各VLAN网络信息；

为各VLAN添加指定的以太网交换机中的port-channel端口，并使port-channel端口、VLAN和Infniband网关一一对应；

启用所述VLAN段。

其中，在所述对以太网交换机连接至各Infiniband网关的多个以太网端口分别做port-channel端口绑定之前，还包括：

为所述Infiniband网络中所有节点安装EOIB驱动，并修改其Infiniband配置文件中EOIB参数，以设为开机自启动；

连接所述服务器节点至Infiniband交换机，连接所述Infiniband交换机至对应Infiniband网关，连接所述Infiniband网关至所述以太网交换机。

本发明实施例的多Infiniband网关的vNIC绑定方法通过利用网关的识别信息来区分多个Infiniband网关虚拟出的不同vNIC，并将区分出的vNIC绑定特定IP信息，使不同IP段通过确定的网关进行传输，从而实现了Infiniband网络和以太网络之间带宽的倍增，突破了Infiniband网络和以太网络之间的瓶颈，实现了两种不同类型网络之间的高速数据交换，而且在应用中根据不同IP网段对应的不同机器名，来选择IP网段和通过的Infiniband网关，实现了多Infiniband网关的负载均衡，尤其是在地震资料处理等大数据应用环境中效果更加明显。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1为本发明实施例的多Infiniband网关的vNIC绑定方法的流程图。

图2为本发明实施例的多Infiniband网关的vNIC绑定方法中对以太网交换机连接至各Infiniband网关的多个以太网端口分别做port-channel端口绑定，设置负载均衡模式，并加入到特定VLAN的流程图；

图3为本发明实施例的多Infiniband网关的vNIC绑定方法中各Infiniband网关中的以太网端口分别做port-channel端口绑定，生成相应配置的vNIC，并为各port-channel端口配置VLAN信息部分的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

下面结合附图，对本发明的具体实施方式作进一步的详细说明。

请参阅图1所示，图1为本发明实施例的多Infiniband网关的vNIC绑定方法，具体包括以下步骤：

步骤S1、为Infiniband网络中所有节点安装EOIB驱动，并修改其Infiniband配置文件中EOIB参数，从而设置EOIB开机自动启动。其中，EOIB即为EOIB协议。

步骤S2、连接服务器节点至Infiniband交换机，连接Infiniband交换机至对应Infiniband网关，连接Infiniband网关至以太网交换机。

步骤S3、对以太网交换机连接至各Infiniband网关的多个以太网端口分别做port-channel端口绑定，从而使port-channel端口和Infiniband网关一一对应，设置负载均衡模式，并加入到特定VLAN，将以太网交换机端多个以太网端口进行端口绑定，通过端口汇聚增加以太网和Infiniband网络之间的链路带宽，并且起到负载均衡的作用。

步骤S4、将各Infiniband网关中的以太网端口分别做port-channel端口绑定，生成相应配置的vNIC，并为各port-channel端口配置VLAN信息。从而完成Infiniband网关端的以太网端口绑定，通过和以太网交换机两端同时实现端口绑定，从而达到增大以太网和Infiniband网络之间的带宽，起到负载均衡作用。而通过做完port-channel之后配置vNIC实现了通过EOIB协议为每台服务器配置相应的vNIC。

步骤S5、Infiniband网络中的服务器节点获取各vNIC信息。

步骤S6、Infiniband网络中的服务器节点从获取vNIC信息中得到Infiniband网关标识BX_GUID。具体为，在Infiniband网络的服务器节点查询所有的vNIC信息，获取对应vNIC信息中的Infiniband网关名称（BX_NAME）和Infiniband网关ID（BX_GUID），区分不同vNIC对应的网关信息，从而为实现不同Infiniband网关配置不同的IP段，为同一Infiniband网关生成的vNIC配置同一个IP段判断的依据。

步骤S7、根据网关标识不同，将不同的vNIC分别绑定指定的IP地址信息，使不同的IP段通过确定的Infiniband网关进行传输。

步骤S8、Infiniband网络中的服务器节点重启各vNIC。

步骤S9、对Infiniband网络进行opensm子网管理配置，并重启子网管理服务。。

此外，在本发明实施例中，由于可以为不同的数据传输作业分配在不同节点，因此在数据传输作业中可以通过指定不同的机器名称从而使不同数据传输通过不同网关，例如，BX1_ibm**为ibm**节点的通过Infiniband网关1生成的网段对应的服务器节点名称，BX2_ibm**为ibm**节点的通过Infiniband网关2生成的网段对应的服务器节点名称，最终达到降低Infiniband网关负载，提高传输效率的目的。

结合图2所示，上述步骤S3中将以太网交换机连接至各Infiniband网关的多个以太网端口分别做port-channel端口绑定，从而使port-channel和Infiniband网关一一对应，并配置特定VLAN信息的具体步骤如下：

步骤S301、设置各Infiniband网关的以太网端口为swithport模式。

步骤S302、启用各以太网端口。

步骤S303、创建port-channel端口绑定，使其与Infiniband网关一一对应。

步骤S304、添加创建的port-channel端口的描述信息。

步骤S305、为创建的port-channel端口添加对应的以太网端口。

步骤S306、启用创建的port-channel端口；

步骤S307、为以太网交换机创建多个和Infiniband网关一一对应的VLAN。

步骤S308、为各VLAN添加VLAN描述信息。

步骤S309、配置各VLAN网络信息。

步骤S310、为各VLAN添加指定的以太网交换机中port-channel端口，并使port-channel端口、VLAN和Infniband网关一一对应。

步骤S311、启用VLAN段。

结合图3所示，上述步骤S4中Infiniband网关中各Infiniband网关中的以太网端口分别做port-channel端口绑定，生成相应配置的vNIC，并为各port-channel端口配置VLAN信息，具体过程如下：

步骤S401、各Infiniband网关分别创建port-channel端口。

步骤S402、启用各Infiniband网关的port-channel端口。

步骤S403、设置各Infiniband网关的port-channel管理方式。

步骤S404、为各Infiniband网关的port-channel分别创建指定的VLAN。

步骤S405、开启eport端口。

步骤S406、关闭lacp协议。

本发明实施例的多Infiniband网关的vNIC绑定方案使得数据通过多个网关进行传输，大大拓宽以太网络和Infiniband网络之间的带宽，解决了两种网络之间的带宽瓶颈问题，同时，通过自动识别不同Infiniband网关，能够使得各服务器节点的网络配置自动绑到不同的网关上，使节点网络自动分布到不同的网关，从而最终实现不仅大大增加两种网络之间的带宽，同时增加集群内部数据传输过程中在不同Infiniband网关之间的负载均衡和合理分布。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多Infiniband网关的vNIC绑定方法，包括以下步骤：

对以太网交换机连接至各Infiniband网关的多个以太网端口分别做port-channel端口绑定，从而使所述port-channel端口和Infiniband网关一一对应；

将所述各Infiniband网关中的以太网端口分别做port-channel端口绑定，生成相应配置的vNIC虚拟网络适配器，并为各port-channel端口配置VLAN信息；

Infiniband网络中的服务器节点获取各vNIC信息，并从所述vNIC信息中获取对应的Infiniband网关标识；

所述Infiniband网络中的服务器节点根据Infiniband网关标识，对每个Infiniband网关对应生成的vNIC绑定指定的IP地址信息，使不同的IP段通过确定的Infiniband网关进行传输。

2.根据权利要求1所述的多Infiniband网关的vNIC绑定方法，在所述对以太网交换机连接至各Infiniband网关的多个以太网端口分别做port-channel端口绑定之后，还包括：

为所述以太网交换机中各port-channel端口设置负载均衡模式；

为所述以太网交换机创建多个VLAN虚拟局域网，并配置相应的VLAN信息；

将所述以太网交换机中各port-channel端口分别加入到指定的VLAN中。

3.根据权利要求1所述的多Infiniband网关的vNIC绑定方法，在所述Infiniband网络中的服务器节点根据Infiniband网关标识，对所述每个Infiniband网关对应生成的vNIC绑定指定的IP地址信息之后，还包括：

所述Infiniband网络中的服务器节点重启各vNIC；

对所述Infiniband网络进行opensm子网管理配置，并重启子网管理服务。

4.根据权利要求1所述的多Infiniband网关的vNIC绑定方法，所述对以太网交换机连接至各Infiniband网关的多个以太网端口分别做port-channel端口绑定，具体包括：

设置各Infiniband网关的以太网端口为swithport模式；

启用各以太网端口；

创建port-channel端口绑定，使其与所述Infiniband网关一一对应；

添加所述创建的port-channel端口的描述信息；

为所述创建的port-channel端口添加对应的以太网端口；

启用所述创建的port-channel端口。

5.根据权利要求1所述的多Infiniband网关的vNIC绑定方法，所述将各Infiniband网关中的以太网端口分别做port-channel端口绑定，生成相应配置的vNIC，并为各port-channel端口配置VLAN信息，具体包括：

所述各Infiniband网关分别创建port-channel端口；

启用各Infiniband网关的port-channel端口；

设置各Infiniband网关的port-channel管理方式；

为各Infiniband网关的port-channel分别创建指定的VLAN；

开启eport端口；

关闭lacp链路汇聚控制协议。

6.根据权利要求1所述的多Infiniband网关的vNIC绑定方法，所述Infiniband网络中的服务器节点根据Infiniband网关标识，对所述每个Infiniband网关对应生成的vNIC绑定指定的IP地址信息，具体包括：

根据各vNIC中的Infiniband网关标识信息逐一确认该vNIC属于哪个网关；

将与该vNIC所属Infiniband网关对应的服务器节点中网卡配置信息写入该vNIC的配置文件中。

7.根据权利要求2所述的多Infiniband网关的vNIC绑定方法，所述为以太网交换机创建多个VLAN，并配置相应的VLAN信息，具体包括：

为所述以太网交换机创建多个与Infiniband网关一一对应的VLAN；

为各VLAN添加VLAN描述信息；

配置所述各VLAN网络信息；

为各VLAN添加指定的以太网交换机中的port-channel端口，并使port-channel端口、VLAN和Infniband网关一一对应；

启用所述VLAN段。

8.根据权利要求1所述的多Infiniband网关的vNIC绑定方法，在所述对以太网交换机连接至各Infiniband网关的多个以太网端口分别做port-channel端口绑定之前，还包括：

为所述Infiniband网络中所有节点安装EOIB驱动，并修改其Infiniband配置文件中EOIB参数，以设为开机自启动；

连接所述服务器节点至Infiniband交换机，连接所述Infiniband交换机至对应Infiniband网关，连接所述Infiniband网关至所述以太网交换机。