CN104426773A - 网络中继系统和交换机装置 - Google Patents

Abstract

本发明提供一种网络中继系统以及交换机装置，其能够实现通信带宽的提高。n台端口交换机PS[1]～PS[n]的每一个，对分别连接在其与m台光纤通道交换机FS[1]～FS[m]之间的m条链路(21)设定LAG。例如，端口交换机PS[1]，对于由预定端口接收的包含OSI参考模型第4层的端口号码的帧(FL2a)，利用该端口号码进行散列运算，并基于散列运算结果从设定了LAG(20a)的m条链路(21)中确定1条链路(21)，并向该1条链路(21)中继帧(FL2a)。

Description

网络中继系统和交换机装置

技术领域

本发明涉及网络中继系统和交换机装置，例如，涉及在应用了虚拟化环境的数据中心等中使用的网络中继系统和交换机装置。

背景技术

例如，在专利文献1中示出了在具备多个光纤通道(Fabric)中继器、多个接口中继器(interface repeater)的网络中继系统中，对于分别与各接口中继器和多个光纤通道中继器连接的多个链路，自动地设定LAG的方式。在专利文献2中示出了，在由利用胖树(fat tree)连接的3段结构的交换机构成的网络装置中，第一段与第二段之间的连接关系与通常的胖树连接关系不同的结构。在专利文献3中示出了，在具备多个叶交换机(leaf switch)和对其间的通信进行中继的多个根交换机(root switch)的结构中，各叶交换机将从终端接收的数据包(packet)输送至基于其目的地地址的特定的根交换机，同时，将学习用的数据包输送至基于其发送源地址的特定的根交换机的方式。

近年来，例如，在数据中心等中不断推进使用了虚拟终端和虚拟交换机的虚拟化环境的应用。在这样的虚拟化环境中，要求将由预定的虚拟终端和虚拟交换机构成的逻辑(或虚拟的)第2层(以下简称为L2)网络，灵活地构建在现有的L2和第3层(以下简称为L3)的物理网络上的技术。作为这样的技术之一，已知使用了VXLAN(virtual eXtensible Local Area Network：虚拟可扩展局域网)、NVGRE(Network Virtualization using Generic RoutingEncapsulation：使用通用路由封装的网络虚拟化)、STT(Stateless TransportTunneling：无状态传输通道)等叠加方式的网络虚拟化技术。

例如，VXLAN是能够通过将L2帧进行封装化，在L3网络上构建逻辑L2网络的隧道协议。具体地，各虚拟终端被构成为适当地属于被称作VTEP(Virtual Tunnel End Point：虚拟隧道终点)的隧道终端部，属于不同VTEP的虚拟终端间的通信，通过对应的VTEP间的通信来进行。这时，对于VTEP，利用包含UDP(User Datagram Protocol：用户数据报协议)标题等的外部标题将从属于本身的虚拟终端发送的L2帧进行封装化，并向成为目的地的VTEP发送。

另一方面，例如，如专利文献1等所示，已知代替机箱(chassis)式交换机装置，将多个盒式交换机装置进行组合来构建网络中继系统的技术。在该网络中继系统中，设置了多个盒式交换机装置(这里，称作端口交换机)、以及承担各端口交换机之间的帧的中继的多个盒式交换机装置(这里，称作光纤通道交换机)。各端口交换机在与多个光纤通道交换机之间分别具有链路，并对该多个链路设定链路聚合组(Link aggregation group：以下称为LAG)。该本说明书中，将这样的网络中继系统称作盒式光纤通道架构系统。

在这样的盒式光纤通道架构系统中，端口交换机，在将由预定的端口接收的各帧向其他端口交换机中继时，使该各帧在设定了LAG的多条链路内适当分散来进行中继。该LAG内的分散，基于预定的规则来进行。然而，通过本发明人等的研究，在端口交换机利用预定端口接收了来自前述VTEP这样的隧道终端部的帧的情况下，无法高效率地进行LAG内的分散，由此，可能会出现通信带宽的下降。

专利文献1日本特开2012-114644号公报

专利文献2日本特开2013-25505号公报

专利文献3日本特开2010-288168号公报

发明内容

本发明是鉴于这样的问题而做出的，其目的之一在于，提供一种能够实现通信带宽的提高的网络中继系统，以及用于该网络中继系统的交换机装置。

本发明的前述以及其他的目的和新颖的特征，根据本说明书的描述以及附图而变得清楚。

在本申请公开的发明中，如下述，简单地说明代表性的实施方式的概要。

本实施方式的网络中继系统，具备：n(n为2以上的整数)台第1交换机装置；承担n台第1交换机装置之间的帧的中继的m(m为2以上的整数)台第2交换机装置；以及分别连接在m台第2交换机装置和n台第1交换机装置之间的多条链路。n台第1交换机装置的每一个，对于分别连接在其与m台第2交换机装置之间的m条链路设定链路聚合组。n台第1交换机装置的某一个，具备：对于由预定端口接收的、包含OSI参考模型的第4层的端口号码的帧，利用该端口号码进行散列运算，并基于散列运算结果从设定了链路聚合组的m条链路中确定1条链路的LAG分散控制部。并且，该第1交换机装置的某一个，向由LAG分散控制部确定的1条链路中继帧。

在本申请公开的发明中，简单地说明了通过代表性实施方式而获得的效果，在网络中继系统和交换机装置中，能够实现通信带宽的提高。

附图说明

图1是表示在本发明的实施方式1的网络中继系统中，成为其应用例的虚拟化的网络系统的概要结构例的框图。

图2是表示图1的盒式光纤通道架构系统的结构例及成为其前提的动作例的框图。

图3(a)是表示图2中封装化的帧的结构例的图；图3(b)是表示图3(a)的具体例的图。

图4是表示图2的盒式光纤通道架构系统中其动作例的说明图。

图5是表示图2的网络中继系统中其端口交换机(port switch)的主要部件的概要结构例的框图。

图6(a)是表示图5的地址表格的结构例的概要图；图6(b)是表示图5的LAG表格的结构例的概要图。

图7是表示图5中的帧处理部的主要的动作例的流程图。

图8是表示图5中的LAG分散控制部的主要部件的概要结构例的图。

图9是表示在本发明的实施方式2的网络中继系统中其结构例的框图。

符号说明

10    L3网络

11a、11b   L3交换机装置(L3SW)

12、12a、12b   盒式光纤通道架构系统

13、13a～13d   信息处理部

14     L2交换机装置 (L2SW)

20、20a～20c、60a～60i  LAG

21  链路

30  外部标题

31  VXLAN标题

32  UDP标题

33  IP标题

34  以太网标题

40  帧处理部

41  LAG分散控制部

42  表格单元

43  地址表格

44  LAG表格

50a～50f  寄存器

51  异或运算部

52  求余运算部

53  有效/无效切换命令

61a、61b   子链路

EP   隧道终端部

FL1  内部帧

FL2、FL2a、FL2b  帧

FS   光线通道交换机

PS   端口交换机

Pf   光线通道交换机用端口

Pp   端口交换机用端口

Pu   用户用端口

VM   虚拟终端

具体实施方式

在以下的实施方式中，为了方便，在需要时分割为多个部件或实施方式来进行说明，但是，除了特别地进行了明示的情况以外，它们并不是相互间无关系的，一方是另一方的一部分或全部的变形例、细节、补充说明等关系。此外，在以下的实施方式中，在提到要素的数等(包括个数、数值、量、范围等)时，除了特别地进行了明示的情况和原理上明显限定于特定数等情况外，并不限于该特定数，也可以是特定数以上或以下。

此外，在以下的实施方式中，其构成要素(也包括要素步骤等)，除了特别地进行了明示的情况和原理上明显必须等情况外，当然不一定是必须的。同样地，在以下的实施方式中，在提到构成要素等的形状、位置关系等时，除了特别地进行了明示的情况和原理上明显不是如此等情况外，包含了实质上与其形状等近似或类似的情况等。这对于上述数值和范围也是同样的。

以下，基于附图来详细说明本发明的实施方式。此外，在用于说明实施方式的全部附图中，对于相同部件原则上赋予相同符号，并省略了其重复的说明。

(实施方式1)

《虚拟化的网络系统的概要》

图1是表示在本发明实施方式1的网络中继系统中，成为其应用例的虚拟化的网络系统的概要结构例的框图。图1所示的网络系统未特别的限定，但例如表示数据中心等的网络系统。该网络系统具备：L3网络10；多个L3交换机装置(L3SW)11a、11b；盒式光纤通道架构系统12；L2交换机装置(L2SW)14；包含信息处理部13a～13d的多个信息处理部。本实施方式1的网络中继系统主要应用于盒式光纤通道架构系统12。

信息处理部13a具备隧道终端部EP1、以及由隧道终端部EP1管理的多台(i台)虚拟终端VM[1,1]～VM[1,i]。隧道终端部EP1例如在前述的VXLAN的情况下相当于VTEP。信息处理部13a例如由机架(rack)型服务器装置等构成，隧道终端部EP1能够利用软件库实现，也能够利用ToR(Top of Rack：网架顶端)的物理交换等实现。同样地，信息处理部13c具备隧道终端部EP2、以及多台(i台)虚拟终端VM[2,1]～VM[2,i]，信息处理部13d具备隧道终端部EP3、以及多台(i台)虚拟终端VM[3,1]～VM[3,i]。

以下，代表虚拟终端VM[1,1]～VM[1,i]、VM[2,1]～VM[2,i]以及VM[3,1]～VM[3,i]的每一个，称为虚拟终端VM，代表将隧道终端EP1～EP3的每一个，称为隧道终端部EP。此外，代表信息处理部13a～13d的每一个，称为信息处理部13。

盒式光纤通道架构系统12在该例中连接包含信息处理部13a～13c的多个信息处理部13和L3交换机装置(L3SW)11a，详细情况进行后述，但是承担它们之间的帧的中继。L2交换机装置(L2SW)14在该例中连接包含信息处理部13d的多个信息处理部13和L3交换机装置(L3SW)11b，并承担它们之间的帧的中继。在L2交换机装置(L2SW)14中，也能够应用与盒式光纤通道架构系统12同样的结构。L3网络10连接L3交换机装置(L3SW)11a、11b，并承担它们之间的帧(数据包(packet))的中继。尽管省略了图示，但是L3网络10能够在内部适当地包含其他的L3交换机装置。

在这样的网络系统中，例如，有时想要在信息处理部13a与信息处理部13d之间跨越L3网络10地构建逻辑的(虚拟的)L2网络。这样的情况下，使用由VXLAN等代表的隧道协议是有益的。在VXLAN中，通过VXLAN识别符来区别逻辑的(虚拟的)L2网络。在VXLAN中，预先针对每个该VXLAN识别符，利用IGMP(Internet Group Management Protocol：因特网组管理协议)、PIM(Protocol Independent Multicast：协议无关组播)等的组播协议来构建组播组，由此，跨越L3网络10来构建逻辑的(虚拟的)L2网络。

隧道终端部EP(即VTEP)在接收由本身支配的虚拟终端VM发送的L2帧(以下简称为帧)时，根据是否识别了成为其目的地的虚拟终端VM所属的隧道终端部EP来区别使用处理。在识别了目的地的隧道终端部EP的情况下，隧道终端部EP在利用UDP将该帧封装化之后，利用单播向目的地的隧道终端部EP发送。另一方面，在未识别目的地的隧道终端部EP的情况下，隧道终端部EP在利用组播地址将该帧封装化之后，利用组播向发送源的虚拟终端VM所属的组播组发送。

在这样的网络系统中，进行在大量虚拟终端VM间的通信，因此，高效率地进行负荷分散是重要的。因此，使用后述的本实施方式1的网络中继系统是有益的。

《网络中继系统的结构和前提动作》

图2是表示图1的盒式光纤通道架构系统的结构例其成为其前提的动作例的框图。图2所示的盒式光纤通道架构系统(网络中继系统)12a具备：n(n为2以上的整数)台端口交换机(第1交换机装置)PS[1]～PS[n]、m(m为2以上的整数)台光纤通道交换机(第2交换机装置)FS[1]～FS[m]、多条链路(link)21。m台光纤通道交换机FS[1]～FS[m]承担n台端口交换机PS[1]～PS[n]之间的帧的中继。多条链路21分别连接在m台光纤通道交换机和n台端口交换机之间。

n台端口交换机PS[1]～PS[n]和m台光纤通道交换机FS[1]～FS[m]的每一个由盒式交换机装置构成。n台端口交换机PS[1]～PS[n]的每一个具备m个光纤通道交换机用端口Pf[1]～Pf[m]和k(k为1以上的整数)个用户用端口Pu[1]～Pu[k]。m台光纤通道交换机FS[1]～FS[m]的每一个具备n个端口交换机用端口Pp[1]～Pp[n]。n台端口交换机PS[1]～PS[n]的每一个，对在与m台光纤通道交换机FS[1]～FS[m]之间分别连接的m条链路21设定LAG。

以下，代表端口交换机PS[1]～PS[n]的每一个，称为端口交换机PS；代表光纤通道交换机FS[1]～FS[m]的每一个，称为光纤通道交换机FS。此外，代表光纤通道交换机用端口Pf[1]～Pf[m]的每一个，称为光纤通道交换机用端口Pf；代表用户用端口Pu[1]～Pu[k]的每一个，称为用户用端口Pu；代表性端口交换机用端口Pp[1]～Pp[n]的每一个，称为端口交换机用端口Pp。

例如，以端口交换机PS[1]为例，在m个光纤通道交换机用端口Pf[1]～Pf[m]、与m台光纤通道交换机FS[1]～FS[m]的端口交换机用端口Pp[1]之间，分别由m条链路21连接。端口交换机PS[1]对该m条链路21设定LAG20a。此外，链路21意味着包含了通信线路、其两端的端口(即光纤通道交换机用端口Pf和端口交换机用端口Pp)的集合体。同样地，端口交换机PS[2]对在与m台光纤通道交换机FS[1]～FS[m]之间分别连接的m条链路21设定LAG20b，端口交换机PS[n]对在与m台光纤通道交换机FS[1]～FS[m]之间分别连接的m条链路21设定LAG20c。

在使用这样的盒式光纤通道架构系统12a时，能够伴随着LAG，实现LAG内的负荷分散和冗余性。例如，在想要扩大通信带宽的情况下，增设光纤通道交换机FS即可，能够容易且低成本地实现通信带宽的扩大。此外，通过端口交换机PS的增设，也能够容易且低成本地实现端口数(即用户用端口Pu)的扩展。其结果，当使用该系统时，与使用由机箱(chassis)式交换机装置构成的系统的情况相比较，能够低成本地构建对应于用户要求的灵活的系统。此外，图1所示的L3交换机装置(L3SW)11a能够连接至图2的端口交换机PS[1]～PS[n]的任意一个用户用端口Pu，或者，能够将端口交换机PS[1]～PS[n]的任意一个作为L3交换机装置。

这里，在图2的例子中，分别向端口交换机PS[1]的用户用端口Pu[1]和端口交换机PS[n]的用户用端口Pu[k]连接图1中描述的信息处理部13a和信息处理部13c。此外，在信息处理部13a中，在隧道终端部EP1中设定IP(因特网协议)地址“IP1”和MAC(媒体访问控制)地址“MA1”，并在虚拟终端VM[1,1]中设定虚拟MAC地址“MA11”。在信息处理部13c中，在隧道终端部EP2中设定IP地址“IP2”和MAC地址“MA2”，并在虚拟终端VM[2,i]中设定虚拟MAC地址“MA2i”。

基于这样的前提下，说明将从虚拟终端VM[1,1]发送的内部L2帧(以下简称为内部帧)FL1中继至虚拟终端VM[2,i]的情况下的动作例。以隧道终端部EP为VXLAN的VTEP的情况为例，并假定设定为虚拟终端VM[1,1]和虚拟终端VM[2,i]被预先分配了同一VXLAN识别符，并属于同一逻辑的(虚拟的)L2网络。

首先，隧道终端部EP1对从虚拟终端VM[1,1]发送的内部帧FL1，判断其目的地的虚拟MAC地址属于哪一个隧道终端部EP。这里，假定通过过去的通信来预先学习：成为目的地的虚拟终端VM[2,i]的虚拟MAC地址“MA2i”属于具有IP地址“IP2”和MAC地址“MA2”的隧道终端部EP2。这种情况下，隧道终端部EP1利用UDP将内部帧FL1封装化，并将包含目的地IP地址“IP2”和目的地MAC地址“MA2”的封装化的帧FL2向端口交换机PS[1]发送。

盒式光纤通道架构系统12a，将利用端口交换机PS[1]的用户用端口Pu[1]接收的封装化的帧FL2，通过预定的光纤通道交换机FS向端口交换机PS[n]中继。端口交换机PS[n]将封装化的帧FL2中继至用户用端口Pu[k]。隧道终端部EP2接收从端口交换机PS[n]发送的封装化的帧FL2，并将拆除了该封装的内部帧FL1向虚拟终端VM[2,i]发送。此外，尽管省略了图示，但是隧道终端部EP2学习成为发送源的虚拟终端VM[1,1]的虚拟MAC地址“MA11”与其所属的隧道终端部EP1的IP地址“IP1”和MAC地址“MA1”之间的关系。

图3(a)是表示图2中封装化的帧的结构例的图；图3(b)是表示图3(a)的具体例的图。这里，以使用VXLAN的情况为例。如图3(a)所示，隧道终端部EP(这里是VTEP)通过对来自本身管理的虚拟终端VM的内部帧(内部L2帧)FL1附加外部标题30，来生成封装化的帧FL2。内部帧FL1包含发送源MAC地址和目的地MAC地址。

外部标题30包括VXLAN标题31、UDP标题32、IP标题33、和以太网(Ethernet(注册商标))标题34。VXLAN标题31是包含被称为VNI(VXLANNetwork Identifier：VXLAN网络识别符)的24比特的VXLAN识别符的8字节信息。UDP标题32是包含16比特的目的地的端口号码和16比特的发送源的端口号码的8字节信息。该端口号码是OSI(开放系统互联)参考模型的第4层(layer)(以下简称L4)的端口号码。IP标题33是包含32比特的目的地IP地址和32比特的发送源IP地址的20字节的信息，以太网标题34是包含发送源MAC地址和目的地MAC地址的14～18字节的信息。

图3(b)中，以图2所述的从虚拟终端VM[1,1]向虚拟终端VM[2,i]的通信为例，示出了图3(a)的具体例。如图3(b)所示，内部帧(内部L2帧)FL1的发送源MAC地址为虚拟终端VM[1,1]的虚拟MAC地址“MA11”；内部帧FL1的目的地MAC地址为虚拟终端VM[2,i]的虚拟MAC地址“MA2i”。VXLAN标题31的VXLAN识别符中，设定了预先分配给虚拟终端VM[1,1]的预定的识别符“IDxx”。

在UDP标题32的目的地端口号码中设定预定的端口号码“DPyy”；在UDP标题32的发送源端口号码中设定预定的端口号码“SPzz”。这里。隧道终端部EP1不受特别的限定，但是作为“DPyy”设定众所周知的端口号码，并作为“SPzz”设定由内部帧FL1的散列运算计算出的值。在IP标题33的目的地IP地址中设定隧道终端部EP2的IP地址“IP2”，在IP标题33的发送源IP地址中设定隧道终端部EP1的IP地址“IP1”。在以太网标题34的发送源MAC地址中设定隧道终端部EP1的MAC地址“MA1”，在以太网标题34的目的地MAC地址中设定隧道终端部EP2的MAC地址“MA2”。

《网络中继系统(比较例)的动作》

这里，作为比较例，设想不使用图2这样的虚拟化环境，而是图2的信息处理部13a、13c的部分由一般的L2交换机装置和与其连接的多个终端等构成的情况。这种情况下，盒式光纤通道架构系统12a内的例如端口交换机PS[1]，在利用用户用端口Pu[1]接收了帧时，基于该帧内的IP地址或MAC地址来进行散列运算，从LAG20a中向基于该散列运算结果而确定的链路21进行中继即可。即，该帧内的IP地址或MAC地址成为终端的IP地址或MAC地址，因此，根据发送源终端和目的地终端的组合，能够在LAG20a内实现高效率的负荷分散。

然而，在使用如图2这样的虚拟化环境的情况下，如图3(b)所示，由端口交换机PS[1]的用户用端口Pu[1]所接收的封装化的帧F12，作为发送源和目的地的IP地址、或发送源和目的地的MAC地址，被设定隧道终端部EP的地址。其结果，例如，在从虚拟终端VM[1,1]～VM[1,i]的任意一个向虚拟终端VM[2,1]～VM[2,i]的任意一个进行通信时，端口交换机PS[1]从LAG20a中始终选择同一链路21。

《网络中继系统(本实施方式1)的动作》

因此，本实施方式1的网络中继系统(盒式光纤通道架构系统12a)进行如下的动作。图4是表示图2的盒式光纤通道架构系统中动作例的说明图。相对于图2，为了方便起见，图4省略了盒式光纤通道架构系统12a内的端口交换机PS[2]的图示。这里，以从信息处理部13a中包含的虚拟终端VM[1,1]～VM[1,i]的任意一个向信息处理部13c中包含的虚拟终端VM[2,1]～VM[2,i]的任意一个进行通信的情况为例子。

n台端口交换机PS的任意一个(该例中是端口交换机PS[1])，针对由预定端口(这里是用户用端口Pu[1])接收的封装化的帧，使用前述的L4(这里是UDP)的端口号码来进行散列运算。并且，n台端口交换机PS的任意一个(PS[1])，从设定了LAG20a的m条链路21中，基于该散列运算结果来确定1条链路，并向该确定的1条链路中继封装化的帧。这样的处理主要在后述图5的LAG分散控制部41中进行。

结果，端口交换机PS[1]，例如，将以虚拟终端VM[1,1]为发送源并在隧道终端部EP1中被封装化的帧FL2a，经由光纤通道交换机FS[1]向端口交换机PS[n]中继。此外，端口交换机PS[1]，例如，与虚拟终端VM[1,1]的情况不同地，经由光纤通道交换机FS[2]向端口交换机PS[n]中继以虚拟终端VM[1,i]为发送源并在隧道终端部EP1中被封装化的帧FL2b。

这样，端口交换机PS(PS[1])，基于OSI参考模型的L4端口号码来进行散列运算，由此，在进行了基于隧道终端部EP(EP1)的封装化的情况下，也能够在LAG(LAG20a)内进行高效率的负荷分散。结果，能够实现网络中继系统中通信带宽的提高。虽然不特别的限定，但是，更具体地，例如，如果利用内部帧FL1内的发送源MAC地址、目的地MAC地址等的散列运算来确定图3(b)示出的UDP标题32内的发送源的端口号码“SPzz”，则“SPzz”的值根据发送源的虚拟终端VM和目的地的虚拟终端VM的组合而变化。这种情况下，端口交换机PS(PS[1])利用该“SPzz”来进行散列运算即可。

此外，封装化的帧内的L4端口号码的决定方法，也考虑了其他各种方法，并能够根据要使用的隧道协议发生变化。至少，如果是L4的发送源端口号码与L4的目的地端口号码的一方或两方根据发送源的虚拟终端VM、或目的地的虚拟终端VM、或其组合而变化的这样的决定方法，则决定方法不特别的限定。此外，用于LAG散列运算的端口号码并不限于UDP(L4)的端口号码，也可以使用L4的TCP(传输控制协议)的端口号码。具体地，例如在STT等的隧道协议中，使用利用TCP进行封装化的方式，在图1的网络系统中使用STT的情况下，在LAG散列运算中使用TCP的端口号码即可。

此外，图4中示出了n台端口交换机PS的任意一个(端口交换机PS[1])使用L4的端口号码进行散列运算的例子，但是，实际上希望构成为，n台端口交换机PS[1]～PS[n]全部均以相同方法进行散列运算。即，希望将后述图5的LAG分散控制部41设置在n台端口交换机PS[1]～PS[n]全部中。由此，在图4的n台端口交换机PS[1]～PS[n]的全部中，能够实现与端口交换机PS[1]的情况相同的负荷分散，因此进一步实现通信带宽的提高。此外，随着该负荷分散，m台光线通道交换机FS[1]～FS[2]的全部能够学习隧道终端部EP的MAC地址，因此在各光纤通道交换机FS中，难以出现伴随地址表格的老化(aging)的泛洪(flooding)的发生等。

关于该地址表格的老化，更希望构成为，n台端口交换机PS[1]～PS[n]全部均以相同方法进行散列运算，且以相同规则从LAG中确定1条链路21。由此，容易构成为2个虚拟终端VM间的双方向通信经由同一光纤通道交换机FS。这种情况下，该光纤通道交换机FS能够以比较高的频率来学习分别对应于该2个虚拟终端的2个隧道终端部EP的MAC地址，因此，更难以出现由目的地的MAC地址老化而导致的泛洪的发生。

具体地，例如，利用内部帧FL1内的发送源MAC地址和目的地MAC地址的散列运算确定了图3(b)示出的UDP标题32内的发送源的端口号码“SPzz”时，对于成为发送源和目的地的2个虚拟终端VM的组合，计算相同的端口号码“SPzz”。这种情况下，如果n台端口交换机PS[1]～PS[n]全部以相同规则来进行LAG内的负荷分散，则该2个虚拟终端VM间的双方向的通信经由同一光纤通道交换机FS。

此外，图4中以图1的信息处理部13a与信息处理部13c之间的通信为例进行了说明，但是，例如信息处理部13a与信息处理部13b之间的通信也是同样的，此外，信息处理部13a与信息处理部13d之间的、跨越L3网络10的通信也是同样的。

在信息处理部13a与信息处理部13d之间的通信中，在隧道终端部EP1与隧道终端部EP3之间中继封装化的帧。这时，该封装化的帧，在图1的L3交换机(L3SW)11a与L3交换机(L3SW)11b之间，基于图3(a)的IP标题33进行中继。L3交换机(L3SW)11a连接至图4的端口交换机PS[2]～PS[n-1](图示省略)中的任意一个，或者，安装于端口交换机PS[2]～PS[n-1](图示省略)中的任意一个。当在端口交换机PS[1]与对应于该L3交换机(L3SW)11a的端口交换机PS之间进行通信时，与图4的情况相同地，进行LAG内的负荷分散。

《端口交换机(第1交换机装置)的概要》

图5是表示图2的网络中继系统中其端口交换机的主要部件的概要结构例的框图。图5所示的端口交换机(第1交换机装置)PS，例如具备：帧处理部40、表格单元42、多个端口(用户用端口Pu[1]～Pu[k]以及光纤通道交换机用端口Pf[1]～Pf[m])等。向用户用端口Pu[1]～Pu[k]经由通信线路适当连接图1的信息处理部13。向光纤通道交换机用端口Pf[1]～Pf[m]分别经由通信线路连接光纤通道交换机FS[1]～FS[m]。换言之，在端口交换机PS与光纤通道交换机FS[1]～FS[m]之间以m条链路21连接。

表格单元42中包含地址表格43和LAG表格44。地址表格43是表示各端口与存在于该各端口目的地的MAC地址之间的关系的表格。LAG表格44是表示在哪条链路21(实际上是对应于该链路21的端口)中设置LAG的表格。LAG表格44可以预先由管理者等固定地设定，也可以使用专利文献1这样的方式自动地进行设定。在该例中，对包含光纤通道交换机用端口Pf[1]～Pf[m]的m条链路21设定了LAG20。

帧处理部40具备LAG分散控制部41，并基于地址表格43和LAG表格44来控制在各端口间的帧的中继。这时，LAG分散控制部41基于LAG表格44来识别设定了LAG20的端口，并利用图4中描述的这样的散列运算来控制LAG内的帧的分散。即，LAG分散控制部41，对于包含由预定端口(用户用端口Pu)接收的L4的端口号码的帧，利用该端口号码来进行散列运算，并从设定了LAG20的m条链路21中，基于散列运算结果来确定一条链路21。

图6(a)是表示图5中的地址表格的构造例的概要图，图6(b)是表示图5中的LAG表格的构造例的概要图。图6(b)表示的LAG表格44表示出：与作为LAG标识符(LAG ID)设定了LAG20的链路21对应的端口(以下称为LAG端口)是光纤通道交换机用端口Pf[1]～Pf[m]。此外，在该例中，LAG表格44还表示出：与各光纤通道交换机用端口Pf[1]～Pf[m]对应的各链路21的状态(即，有无故障)。例如，图5的帧处理部40，在通过定期的控制帧的发送接收等检测出光纤通道交换机用端口Pf[1]～Pf[m]的故障的情况下，将该信息记录在LAG表格44中。LAG分散控制部41基于该LAG表格44，从正常链路21中确定一条链路21。

图6(a)表示的地址表格43表示了：端口号码/LAG ID与存在于与该端口号码对应的端口的目的地和与该LAG ID对应的LAG端口的目的地的MAC地址之间的关系。例如，以所述图2的端口交换机PS[1]为例，地址表格43表示了在用户用端口Pu[1]的目的地中存在MAC地址“MA1”，并在与LAG20a对应的LAG端口的目的地中存在MAC地址“MA2”。

图7是表示图5的帧处理部的主要动作例的流程图。如图7所示，帧处理部40在帧处理中继时，首先在端口接收帧(步骤S101)。接着，帧处理部40进行地址表格43的处理(步骤S102)。具体地，帧处理部40根据接收了帧的端口和该帧中包含的发送源MAC地址来更新地址表格43，或者，根据地址表格43来检索与该帧中包含的目的地MAC地址对应的目的地端口。

这里，在目的地端口是用户用端口Pu的情况下(步骤S103)，帧处理部40向该目的地用户用端口Pu中继帧(步骤S104)。另一方面，在目的地端口是LAG的情况下(步骤S105)，帧处理部40首先根据LAG表格44来识别LAG端口(这里是多个光纤通道交换机用端口Pf)(步骤S106)。接着，LAG分散控制部41如前述进行使用UDP/TCP端口号码的散列运算，由此来计算分散标识符，并确定与该分散标识符对应的链路21(光纤通道交换机用端口Pf)(步骤S107)。帧处理部40向与该分散标识符对应的光纤通道交换机用端口Pf中继帧(步骤S108)。

另一方面，在目的地端口不是用户用端口Pu也不是LAG的情况下(步骤S103和S105)，换言之，在目的地MAC地址不存在于地址表格43中的情况下，帧处理部40进行泛洪(flooding)(步骤S109)。

《LAG分散控制部的概要结构》

图8是表示图5中的LAG分散控制部的主要部件的概要结构例的图。图8所示的LAG分散控制部41，例如，具备多个寄存器50a～50f、异或运算部51、以及求余运算部52。在寄存器50a和寄存器50b中分别存储在接收的帧中包含的发送源IP地址的上位16比特和下位16比特。在寄存器50c和寄存器50d中分别存储在接收的帧中包含的目的地IP地址的上位16比特和下位16比特。在寄存器50e中存储UDP/TCP发送源端口号码(16比特)，在寄存器50f中存储UDP/TCP目的地端口号码(16比特)。

异或运算部51接受该多个寄存器50a～50f的值，来运算各比特的异或(EXOR)。求余运算部52将该异或运算部51的运算结果(16比特)除以预定的常数“M”，并求出其余数。该余数的值是图7的步骤S106中描述的分散标识符。LAG分散控制部41根据该分散标识符来从LAG内的m条链路21中确定一条链路21。

此外，在图8的LAG分散控制部41中是如下的结构，即，能够通过有效/无效切换命令53来选择将异或运算部51的输入设为寄存器50a～50f或者设为寄存器50a～50d。也就是说，成为如下的结构，即，能够选择除了UDP/TCP端口号码之外，还使用发送源IP地址和目的地IP地址来进行散列运算的第一模式；或者，不使用该端口号码，使用发送源IP地址和目的地IP地址来进行散列运算的第二模式。有效/无效切换命令53例如使用带内(in-band)管理或图5未图示的管理用端口而从外部发出。

这样，通过设置能够从外部选择的第一模式和第二模式，能够容易地将图1的盒式光纤通道架构系统12应用于各种通信环境。例如，在未将图1的盒式光纤通道架构系统12应用于图1所示这样的虚拟化环境的情况下，有时，使用发送源IP地址和目的地IP地址(即第二模式)进行散列运算能够有效地进行LAG内的分散。

这时，通过使用发送源IP地址和目的地IP地址，能够与图4中的说明同样地，在两个终端间的通信中经由相同的光纤通道交换机FS，因此，能够抑制由泛洪导致的通信带宽的降低。这种观点中，并不限于由发送源IP地址和目的地IP地址构成的组合(第一组合)，也可以是由发送源MAC地址和目的地MAC地址构成的组合(第二组合)。此外，图8的LAG分散控制部41可以利用软件或利用硬件来实现，但是从高速化的观点来看，优选例如用FPGA(Field Programmable Gate Array：现场可编程门阵列)等硬件来实现。

以上，通过使用本实施方式1的网络中继系统和交换机装置，能够代表性地实现通信带宽的提高。

(实施方式2)

《网络中继系统的结构和动作(变型例)》

图9是表示本发明实施方式2的网络中继系统中的结构例的框图。相比于图2的盒式光纤通道架构系统12a，图9所示的盒式光纤通道架构系统(网络中继系统)12b中，图2的各端口交换机PS与各光纤通道交换机FS之间的各链路21分别多条(这里是2条)子链路61a、61b构成这一点不同。关于除此以外的结构，与图2的情况相同，因此省略了详细的说明。

图9中，图2的各端口交换机PS所具有的m个光纤通道交换机用端口Pf[1]～Pf[m]的每一个，由2个光纤通道交换机用端口构成。例如，光纤通道交换机用端口Pf[1]由2个光纤通道交换机用端口Pf[1,1]、Pf[1,2]构成，光纤通道交换机用端口Pf[m]由2个光纤通道交换机用端口Pf[m,1]、Pf[m,2]构成。同样地，图2的各光纤通道交换机FS所具有的n个端口交换机用端口Pp[1]～Pp[n]的每一个，也由2个端口交换机用端口构成。例如，端口交换机用端口Pp[1]由2个端口交换机用端口Pp[1,1]、Pp[1,2]构成，端口交换机用端口Pp[n]由2个架构交换机用端口Pp[n,1]、Pp[n,2]构成。

与此对应地，端口交换机PS[1]，在其与m个光纤通道交换机FS[1]～FS[m]之间分别以2条子链路61a、61b为一组而连接，并在该子链路61a、61b的各组中设定LAG。例如，端口交换机PS[1]，在对光纤通道交换机FS[1]的子链路61a、61b的组中设定LAG60a，在对光纤通道交换机FS[2]的子链路61a、61b的组中设定LAG60b，在对光纤通道交换机FS[m]的子链路61a、61b的组中设定LAG60c。

关于端口交换机PS[2]～PS[n]也是同样的。例如，端口交换机PS[2]，在对光纤通道交换机FS[1]的子链路61a、61b的组中设定LAG60d，在对光纤通道交换机FS[2]的子链路61a、61b的组中设定LAG60e，在对光纤通道交换机FS[m]的子链路61a、61b的组中设定LAG60f。端口交换机PS[n]，在对光纤通道交换机FS[1]的子链路61a、61b的组中设定LAG60g，在对光纤通道交换机FS[2]的子链路61a、61b的组中设定LAG60h，在对光纤通道交换机FS[m]的子链路61a、61b的组中设定LAG60i。此外，这里并不限于端口交换机PS侧，在光纤通道交换机FS[1]～FS[m]侧，也在分别对应于前述LAG60a～LAG60i的子链路61a、61b的组中设定LAG60a～LAG60i。

利用这样的结构例时，例如，端口交换机PS[1]在对与m个光纤通道交换机FS[1]～FS[m]之间的m组子链路61a、61b设定了LAG20a，进而对该m组子链路61a、61b的各组设定了LAG(60a～60c等)的状态下动作。结果，端口交换机PS[1]能够向各光纤通道交换机FS[1]～FS[m]适当分散地中继所接收的帧，并且能够向各个光纤通道交换机FS也适当分散地进行中继。结果，能够实现通信带宽的进一步提高、耐故障性的进一步提高等。

例如，在使用图2的盒式光纤通道架构系统12a的情况下，在端口交换机PS[1]和光纤通道交换机FS[1]之间的链路21中出现故障时，有时其他的端口交换机PS[2]～PS[n]无法检测该故障。这种情况下，为了防止从端口交换机PS[2]～PS[n]向端口交换机PS[1]的帧经由光纤通道交换机FS[1]，有时需要将光纤通道交换机FS[1]本身的动作设定为无效。这样的状况能够招致通信带宽的降低和耐故障性的降低。另一方面，在使用图9的盒式光纤通道架构系统12b的情况下，如果子链路61a、61b的一方正常，则没有这样的需要。

此外，在使用图9的盒式光纤通道架构系统12b的情况下，例如，端口交换机PS[1]内的图5所示的LAG分散控制部41，对图7的步骤S107和步骤S108中的分散标识符适当分配图9的LAG20a中包含的(m×2)条子链路(61a、61b)即可。此外，这里以各链路由两条子链路构成的情况为例，但是，当然也可以由3条以上的子链路构成。

以上，基于实施方式对本发明人所作出发明进行了具体说明，但是，本发明并不限于所述的实施方式，在不脱离其主旨的范围内可以进行各种变更。例如，所述的实施方式是为了使本发明更易于理解而对本发明进行详细地说明，而并不一定限于具备所说明的全部结构。此外，能够将某实施方式的结构的一部分替换为其他实施方式的结构，或者，能够在某实施方式的结构上添加其他实施方式的结构。或者，对于各实施方式的结构的一部分，可以进行其他结构的追加/删除/置换。

Claims (9)

1.一种网络中继系统，其特征在于，

具备：

n台第1交换机装置，n为2以上的整数；

承担所述n台第1交换机装置之间的帧的中继的m台第2交换机装置，m为2以上的整数；以及

分别连接在所述m台第2交换机装置和所述n台第1交换机装置之间的多条链路，

所述n台第1交换机装置的每一个，对分别连接在其与所述m台第2交换机装置之间的m条链路设定链路聚合组，

所述n台第1交换机装置的某一个，具备：对于由预定端口接收的、包含OSI参考模型第4层的端口号码的帧，利用所述端口号码进行散列运算，并基于所述散列运算结果从设定了所述链路聚合组的m条链路中确定1条链路的LAG分散控制部，并向由所述LAG分散控制部确定的1条链路中继所述帧。

2.根据权利要求1所述的网络中继系统，其特征在于，

所述LAG分散控制部设置在全部所述n台第1交换机装置中。

3.根据权利要求2所述的网络中继系统，其特征在于，

还具备：与所述第1交换机装置的某一个连接，并对多个虚拟终端进行管理的隧道终端部，

所述隧道终端部通过包含OSI参考模型第4层的标题的外部标题来将通过所述虚拟终端生成的内部帧封装化，然后向所述第1交换机装置发送。

4.根据权利要求2所述的网络中继系统，其特征在于，

所述LAG分散控制部，除了所述端口号码之外，还利用由所述帧中包含的发送源IP地址和目的地IP地址构成的第一组合，或者由发送源MAC地址和目的地MAC地址构成的第二组合来进行散列运算。

5.根据权利要求4所述的网络中继系统，其特征在于，

所述LAG分散控制部具备：除了所述端口号码之外，还利用所述第一组合或者所述第二组合来进行散列运算的第一模式；不利用所述端口号码，而利用所述第一组合和所述第二组合中与所述第一模式相同的组合来进行散列运算的第二模式，

所述第一模式能够选择所述第二模式。

6.一种交换机装置，在其与m台其他交换机装置之间分别利用m条链路连接，并对所述m条链路设定链路聚合组，m为2以上的整数，

所述交换机装置的特征在于，

具备：对于由预定端口接收的、包含OSI参考模型第4层的端口号码的帧，利用所述端口号码进行散列运算，并基于所述散列运算结果从设定了所述链路聚合组的m条链路中确定1条链路的LAG分散控制部，并向由所述LAG分散控制部确定的1条链路中继所述帧。

7.根据权利要求6所述的交换机装置，其特征在于，

由所述预定端口接收的帧，是通过包含OSI参考模型第4层的标题的外部标题将通过虚拟终端生成的内部帧封装化而得的帧。

8.根据权利要求7所述的交换机装置，其特征在于，

所述LAG分散控制部，除了所述端口号码之外，还利用由所述帧中包含的发送源IP地址和目的地IP地址构成的第一组合，或者由发送源MAC地址和目的地MAC地址构成的第二组合来进行散列运算。

9.根据权利要求8所述的交换机装置，其特征在于，

所述LAG分散控制部具备：除了所述端口号码之外，还利用所述第一组合或者所述第二组合来进行散列运算的第一模式；不利用所述端口号码，而利用所述第一组合和所述第二组合中与所述第一模式相同的组合来进行散列运算的第二模式，

所述第一模式能够选择所述第二模式。