CN103026668A

CN103026668A - 用于胖树网络的自动化业务工程

Info

Publication number: CN103026668A
Application number: CN2011800390806A
Authority: CN
Inventors: D·I·艾伦; S·A·曼斯菲尔德
Original assignee: Telefonaktiebolaget LM Ericsson AB
Current assignee: Telefonaktiebolaget LM Ericsson AB
Priority date: 2010-08-16
Filing date: 2011-07-19
Publication date: 2013-04-03
Anticipated expiration: 2031-07-19
Also published as: EP2606612A1; TWI493926B; US20120039161A1; US9210071B2; CN103026668B; EP2606612B1; AU2011290494A1; CA2808364A1; WO2012023067A1; TW201212589A; AU2011290494B2

Abstract

本文描述了在至少一个胖树网络节点中为了改进的负载分发而实现的方法的实施例，其中，所述节点是胖树网络中多个胖树网络节点之一，其每个节点实现平局打破(过程以产生最低成本树。在一些实施例中，按从最低排列的根节点到最高排列的节点的顺序为胖树网络的每个根节点执行生成树计算，为胖树网络的每个根节点生成过滤数据库，其中，过滤数据库包括胖树网络的叶节点的媒体访问控制(MAC)地址集合，以及为每个计算的树添加链路利用，以用作对用于至少一个平局打破算法的链路标识符的前缀。

Description

用于胖树网络的自动化业务工程

优先权

本申请要求来自2010年8月16日提交的名称为“Algorithms and Automated Traffic Engineering To Apply 802.1aq to Fat Tree Networks”的美国临时申请（No. 61/373928）的优先权。

技术领域

本发明的实施例涉及用于改进网络中负载分发的方法和设备。具体地说，本发明的实施例涉及用于胖树网络中或在网络中的节点之间具有多个相等成本路径的其它高度规则交换层次结构中负载分布的方法。

背景技术

负载分发或负载分布是在网络中更有效地利用带宽和改进总体性能的方法。今天部署的大多数自动化负载分发和负载分布技术仅以非常局部视野来操作，这些负载分发和负载分布技术只考虑到给定目的地的最短路径上随后跳的数量，并且未考虑网络中业务的总体分发。

相等成本多路径(ECMP)是用于路由的网络中单播业务的负载分布的常见策略，其能够在有关如何将分组转发到给定目的地的判定能够解析到多个“相等成本”随后跳的任何跳（这在运行数据库计算时在最短路径上陷于平局）的情况下被利用。ECMP能够结合大多数单播路由选择协议和配有要求的支持数据平面硬件的节点来使用。它依赖对单个路由器而言是本地的每跳判定，并且假设在每个中间节点存在混杂接收和完全转发表。通过在网络中任何给定节点使用ECMP，跨相等成本随后跳的集合伪平均地划分负载。在存在到给定目的地的多于一个路径的网络的每一跳，此过程被独立实现。

在许多实现中，在出现存在多个相等成本随后跳时，针对诸如因特网协议(IP)报头等熵源而检查每个分组，并且路径数量的报头信息模的哈希用于为特定分组选择下一跳，并且将为给定“流”中的所有分组选择相同下一跳。对于高度汇集的业务，此方法将平均地在规则拓扑（即，对称拓扑）中分发负载，并且在不那么规则的拓扑中确实提供了一些改进。

数据中心设计的当前方案利用已知为Clos或“胖树(Fat Tree)”网络。这些网络是高度规则的，并且因利用与十分密集结网（meshing）相组合的交换节点阵列以便缩放带宽而出名。胖树网络上负载分布的复杂性之一是路径数量按照连接的平方而增加。ECMP在此类应用能够很适合，但基于ECMP的负载分布取决于交换层次结构的对称规则性以在每跳实现效率和流到下一跳指派的近乎完美的重复随机化。与ECMP有关的又一复杂性是在未分离多播和单播的处理的情况下，它不能应用到以太网，因为每跳ECMP不能应用到多播业务。此复杂性的净结果是在未知分组的单播转发与多播泛洪之间能够存在竞态条件，使得失序输送能够发生在稳定的网络中。因此，合乎需要的是找到用于以太网的对于ECMP的备选，该备选可应用于高度网状规则网络并且其中网络中故障造成的业务分发的降级被最小化。

发明内容

在至少一个胖树网络节点中为了改进的负载分布而实现的方法的实施例，其中，所述节点是胖树网络中多个胖树网络节点之一，其每个节点实现平局打破（tie-breaking）过程以产生最低成本树，该方法包括以下步骤：按从最低排列的（ranked）根节点到最高排列的节点的顺序为胖树网络的每个根节点执行生成树计算；为胖树网络的每个根节点生成过滤数据库，其中，过滤数据库包括胖树网络的叶节点的媒体访问（access）控制(MAC)地址的集合，以及为每个计算的树添加链路利用，以用作对用于至少一个平局打破算法的链路标识符的前缀。

用于胖树网络中改进的负载分发的边缘节点中的方法的实施例，胖树网络包括所述边缘节点，其中，所述边缘节点是胖树网络中多个边缘节点之一，其每个边缘节点实现共同算法平局打破过程以产生最低成本生成树，所述边缘节点包括数据库以存储胖树网络的拓扑，其中胖树网络的拓扑包括多个节点和节点之间的链路，该方法包括以下步骤：通过在数据库中存储的的胖树网络的拓扑上执行最短路径搜索算法，确定胖树网络中每个边缘节点对之间一个或多个最短路径的第一集合；通过应用共同算法平局打破过程，从最短路径的第一集合为每个边缘节点对选择至少第一最短路径；基于经过每个链路的选择的最短路径的计数，为胖树网络的每个链路计算链路利用值；通过在数据库中存储的的胖树网络的拓扑上执行所述最短路径搜索算法，确定胖树网络的每个边缘节点对与根之间一个或多个最短路径的第二集合；基于对应于每个最短路径的链路利用值，为一个或多个最短路径的第二集合中每个最短路径生成路径利用值；在路径利用值的基础上，从一个或多个最短路径的第二集合来选择第二最短路径，其中，在一个或多个最短路径的该集合中存在具有相等路径利用值的多个最短路径时，所述选择利用共同算法平局打破过程；以及在过滤数据库中存储对于每个边缘节点对的至少第一最短路径，其中，过滤数据库指示将进入所述边缘节点的业务转发到何处。

用于胖树网络中改进的负载分发的边缘节点的实施例，胖树网络包括所述边缘节点，其中，所述边缘节点是胖树网络中多个边缘节点之一，其中，胖树网络的拓扑包括多个节点和节点之间的链路，所述边缘节点包括：拓扑数据库，为胖树网络中的每个链路存储链路信息；过滤数据库，为所述边缘节点的每个端口存储过滤信息，其中，过滤数据库指示将进入边缘节点的业务转发到何处；控制处理器，耦合到拓扑数据库和过滤数据库，控制处理器配置成处理数据业务，其中，控制处理器包括：最短路径搜索模块，配置成通过在拓扑数据库上执行最短路径搜索算法，确定所述胖树网络中每个边缘节点对之间的至少一个最短路径，其中，最短路径搜索模块配置成，为带有多个相等成本最短路径的每个边缘节点对，将所述相等成本最短路径发送到负载分发模块；排序模块，配置成基于从与所述多个相等成本最短路径中每个路径相关联的链路利用值所推导的路径利用值来排列所述多个相等成本最短路径的每个路径；以及所述负载分发模块，配置成从所述多个相等成本最短路径为该边缘节点和根选择要用于在该边缘节点对之间分担数据业务负载的所述多个相等成本最短路径的第一子集，以及基于路径利用值，从所述多个相等成本最短路径为该边缘节点和根选择要用于与所述第一子集分担数据业务负载的第二子集。

附图说明

本发明通过示例方式而不是限制的方式在附图的图形中被示出，附图中，相似的标号表示类似的要素。应注意，在此公开中对“一”或“一个”实施例的不同引用不一定是指相同的实施例，并且此类引用是指至少一个。此外，在结合实某个施例描述某个特定特征、结构或特性时，认为结合无论是否明确描述的其它实施例来实现此类特征、结构或特性是在本领域技术人员的认知之内。

图1是网络拓扑的示例的图。

图2示出根据一实施例的示范胖树网络拓扑。

图3是实现负载平衡的胖树网络节点的一个实施例的图，它是基于使用链路利用作为到平局打破机制中的反馈。

图4示出支持胖树的自动化网络感知负载分布的负载分发的方法的一实施例。

图5示出计算的生成树的示例。

图6示出胖树中的某个区域，根据一实施例，如果有单个故障，根计算的树能够从其恢复。

图7示出胖树中的某个区域，根据一实施例，如果有故障，根计算的树不能从其恢复。

图8示出其中多个故障全体地将分离一部分网络和给定根的情形。

图9示出在检测到故障时生成树计算的方法的一实施例。

图10示出基于使用链路利用作为用于胖树网络中相等成本路径的平局打破机制的反馈而使得能够实现自动化网络感知负载分布的负载分发的方法的一实施例。

具体实施方式

在下面的描述中，陈述了许多特定细节。然而，要理解的是，实践本发明的实施例可无需这些特定细节。在其它情况下，公知的电路、结构和技术未详细显示以免混淆对此描述的理解。然而，本领域的技术人员将领会到，可无需此类特定细节而实践本发明。通过包括的描述，本领域技术人员将能够在不进行不当实验的情况下实现适当的功能性。

实施例包括基本平局打破过程，该过程带有特定属性，所述属性包括以下属性：该过程将始终解析到单个路径，独立于计算的顺序或方向，并且具有局部性属性，使得用于考虑的路径的任何部分的平局能够得以解析而不必考虑整个路径。

所述图中所示技术可使用一个或多个电子装置（例如，终端站、网络元件等）上存储和执行的代码和/或数据来实现。此类电子装置使用非暂时性机器可读或计算机可读媒体来存储和传递（在内部和/或通过网络与其它电子装置）代码和数据，所述媒体例如有非暂时性机器可读或计算机可读存储媒体（例如，磁盘、光盘、随机存取存储器、只读存储器、闪速存储器装置及相变存储器）。另外，此类电子装置一般情况下包括耦合到诸如一个或多个存储装置、用户输入/输出装置（例如，键盘、触摸屏和/或显示器）和网络连接等一个或多个其它组件的一个或多个处理器的集合。处理器的集合与其它组件的耦合一般情况下是通过一个或多个总线和桥接器（也称为总线控制器）。存储装置表示一个或多个非暂时性机器可读或计算机可读存储媒体和非暂时性机器可读或计算机可读通信媒体。因此，给定电子装置的存储装置一般情况下存储代码和/或数据以便在该电子装置的一个或多个处理器的集合上执行。当然，本发明的实施例的一个或多个部分可使用软件、固件和/或硬件的不同组合来实现。

在本文中使用时，网络元件（例如，路由器、交换器、桥接器等）是一件连网设备，包括硬件和软件，其在通信上与网络上的其它设备（例如，其它网络元件、计算机终端站等）互连。一些网络元件是“多服务网络元件”，其为多个连网功能（例如，路由选择、桥接、交换、第2层聚合、会话边界控制、多播和/或订户管理）提供支持和/或为多个应用服务（例如，数据、话音和视频）提供支持。订户终端站（例如，服务器、工作站、膝上型计算机、掌上型计算机、移动电话、智能电话、多媒体电话、因特网协议话音(VOIP)电话、便携式媒体播放器、GPS单元、游戏系统、机顶盒(STB)等）访问通过因特网提供的内容/服务和/或在因特网上重叠的虚拟专用网(VPN)上提供的内容/服务。所述内容和/或服务一般由属于服务或内容提供商或参与对等服务的终端站的一个或多个终端站（例如，服务器终端站）来提供，并且可包括公共网页（免费内容、店面、搜索服务等）、私有网页（例如，提供电子邮件服务的用户名/密码访问的网页等）、通过VPN的企业网络、IPTV等。一般情况下，订户终端站耦合（例如，通过耦合到接入网络（以有线或无线方式）的客户场所设备）到边缘网络元件，所述边缘网络元件耦合（例如通过到其它边缘网络元件的一个或多个核心网络元件）到其它终端站（例如，服务器终端站）。

本发明的实施例提供用于避免将现有分组控制平面应用到这些类的网络的现有技术的缺点的系统、网络和方法，所述缺点包括：如电气和电子工程师协会(14)所指定的一样孤立地利用广义生成树搁置了显著的容量，多个生成树的使用将由于在生成树构建期间路径选择的独立性质而不平均地使用容量，与相等成本多路径所组合的最短路径路由选择只要不存在非对称性便将工作良好（因此受对称网络中任何网络故障影响），但将不保持对桥接业务的有序保证，并且不能保证在以太网OAM帧与单播业务之间的命运共享，应用当前I4 802.1aq规范中指定的算法到胖树网络将不会跨所有链路平均分发业务，以及此处所述负载分布算法到用于胖树网络的最短路径转发中的应用将导致比实际所必需的更多数量级的计算。

本文中详细描述的实施例通过跨拓扑数据库的多次经历（pass）跟踪平局打破的结果和路径放置、同时简化用于网络的拓扑数据库的遍历使得能够实现诸如网络感知负载分布等动态业务工程，从而克服了这些缺点。

负载分发过程取决于带有不同属性的平局打破算法形式的现有技术，使得对于任何两点之间的路径，它将解析到单个对称路径，而不管路径的任何子集的检查或计算的顺序、计算的方向、描述为“最短路径的任何部分也是最短路径”的属性。或换而言之，在沿最短路径的任何部分发生平局之处，那些节点将为带有相同选择的路径子集解析平局，结果是最低成本最短路径树。这在本文中称为“共同算法平局打破”过程。

以太网允许经VLAN的使用来定义多个转发拓扑。这允许使用带有钉住的（pinned）根（其各自与VLAN相关联）的多个计算的生成树，这些树通过使用下述负载分布算法而变得分集化（diverse）。这用于应付（address）高度规则的交换架构。应用于生成树的生成的负载分布算法相组合的根的钉住应产生“完美”的负载分发，导致与生成的树数量成比例的显著减少的计算。

如果用于给定生成树的钉住的根被确定成已发生故障，或者具有相邻故障确定的不完整连接，或者最短路径树被发现经过其它钉住的路由之一，指示交换层次结构中多个故障，将根显现为非最佳连接性，则在仍为平局打破应用负载分布算法的同时，为该特定连接性实例(VLAN)进行“所有对”计算（其中，每个边缘装置是根），从而仍寻求最闲置路径。与无故障网络相比，这在计算上更密集得多，但避免了与选择将具有最佳连接的新根相关联的延迟，并且选择的发散于根的路径将不会严重降低总体网络性能。

在负载分发过程中，利用共同算法平局打破过程的拓扑数据库的初始经历导致树的第一集合的生成。这是因为任何链路上的负载尚未被记录，因此，所有相等成本路径将陷于利用的平局，其中，相等成本的定义是最低度量和跳的最低数量的组合。初始步骤要求确定在网络中每个节点对之间（或者在生成树的情况下，在每个节点与根之间）的最短路径，以及在发现在任何两个节点（或节点与根）之间多于一个最短路径的情况下，利用共同算法平局打破过程以进行平局打破，以便生成网络中每个节点对之间的独特路径选择，这在完成考虑所有节点时生成相等成本转发树的一个或多个完全集合。

在一些实施例中，胖树网络应用修改的I4 802.1aq方案。I4 802.1aq具有两个可能的操作模式。用于基于VLAN网络的第一模式称为最短路径桥接VID (SPBV)。用于基于MAC网络的第二模式称为最短路径桥接MAC (SPBM)。每个ECT集合通常与形成用于SPBV的SPVID集合的多个最短路径VLAN标识符(SPVID)和用于SPBM的骨干VLAN标识符(B-VID)相关联。SPBV和SPBM网络均能够在数据平面中同时支持多于一个ECT集合。

平局打破过程的一些实施例利用相等成本路径的排列，并且因此能够从此类排列来选择多于一个路径。

在路径选择平局打破被增大以考虑负载时，基于以前平局打破规程而实际选择的路径作为到随后平局打破的输入，路径选择过程还记录遍历每个链路的最短路径数量。此值称为“链路利用”值，其能够在随后的计算中被使用。链路利用值能够是其最短路径经过链路的节点对的计数。在其它实施例中，存在可使用的更精密的可能性以替代考虑拓扑数据库中另外信息的链路利用。

在经数据库以生成路径或树的另外集合的随后经历中，通过生成能够包括用于每个路径的词典式排序链路利用值，或简单地包括路径中每个链路的利用之和的路径利用值，并随后基于路径利用值来排列结果路径，先排列任何两个节点之间的最短路径的集合。

执行经拓扑数据库的另外经历或迭代（每根一次），并且在每次迭代中，指派到路径中每个链路的链路利用值是经过在经拓扑数据库的所有以前经历期间选择的链路的最短路径的累加量度或指示。

图1是示例网络拓扑的一个实施例的图形。示例网络拓扑包括带有对应标识符1-6的6个节点。未为网络拓扑确定路径对。利用了使用节点标识符来词典式排列路径的示范共同算法平局打破过程。检查节点1与节点4之间相等成本的路径集合将生成路径标识符的以下排列的集合（注意，路径标识符已被词典式排序，使得节点标识符不显示为经过列表）：

1-2-3-4

1-2-4-6

1-3-4-5

1-4-5-6

在选择最低排列的路径的一实施例中，平局打破过程的此初始应用将选择1-2-3-4作为这些节点之间的低排列的路径。为简明起见，在此示例中，只考虑节点对1和4以确定用于网络的路径计数，而不是出自所有6个节点的最短路径树。在此示例中，选择的链路路径中的链路因而各自被指派有1的路径对计数。对于经拓扑数据库的下一次经历，负载分发过程将产生与每个路径ID相关联的链路负载的以下词典式排序。

路径1-2-4-6的负载0，1，1

路径1-3-4-5的负载0，1，1

路径1-2-3-4的负载1，1，1

路径1-4-5-6的负载1，1，1

链路负载的词典式排序将对路径1-2-4-6和1-3-4-5产生平局，因为每个的负载均为0-1-1。类似地，链路负载之和将产生：

路径1-2-4-6的负载2

路径1-3-4-5的负载2

路径1-2-3-4的负载3

路径1-4-5-6的负载3

作为用于两种排列样式的结果，采用了词典式排序的路径ID的辅助平局打破器(tiebreaker)。在两种情况中，由此辅助平局打破器而选择了低路径(1-2-4-6)。

虽然该示例仅从检查一个路径而考虑了链路利用，但本领域技术人员将理解，在数据库的单次经历后存在可能业务分发的全面视图，并且随后经历的平局打破将固有地避免最大量，并且因此负载跨网络更平均地被分发。负载分发的修改程度随着考虑的路径的每个新集合而呈比例减小，因为效应是累加的。

在上述示例中，描述了排列路径负载的两种技术，这两种技术将产生跨网络应用的一致结果。在其它实施例中，能够利用排列的另外或替代方法。例如，能够利用也具有局部性属性（在与共同算法平局打破过程组合时，最低负载路径的任何部分也是最低负载）的排列负载的其它机制和此类排列的组合。

此外，在上述示例中，链路利用由经过了链路的最短路径的计数来表示。可能利用许多变化来表示带有更多细节和增加准确度的链路利用。在过滤和拓扑数据库内，有足够的信息，使得网络中的每个节点能够确定使用特定最短路径的服务实例的数量。链路利用值能够基于此利用而被确定以将对应链路适当加权。通过增加过滤或拓扑数据库所存储的数据，每服务的另外带宽概况（profiling）信息可供在负载分发计算中使用。在另一实施例中，只利用路径中链路集合的最小链路度量作为表示该对节点之间能够提供的最大负载。在其它实施例中，能够利用类似的度量或更详细的度量。

虽然“所有对”计算是资源密集型的，并且此方案寻求最小化或消除对无故障网络中所有对的需要，但可能可知道要求多于一个所有对计算，例如在多个根故障的情况下。在此情况下，可执行优化，因为能够优化经数据库的最后一次经历（因为对网络负载模型的更新由于不存在经数据库的另外经历而不被要求）。在一个实施例中，拓扑数据库的除最后一次经历外的所有经历涉及网络中所有节点对之间最短路径的“所有对”计算。这能够由于复杂度而在计算上是昂贵的。然而，负载分发过程不要求经拓扑数据库的显著数量的经历以便产生可测量的益处，并且作为结果，负载分发过程在网络资源分配中提供宝贵的总体改进，这证明这些“所有对”计算是合理的。

由于方法实际上是面向连接，并且寻求最小负载链路，因此，故障造成的业务矩阵的任何烦扰倾向于被隔离并且在性质上是局部的。一旦网络中的约束已被避开，负载分发过程便将倾向于将数据业务引导回原始分发中。

负载平衡过程和系统也使得管理员能够通过负载因子而“预偏置”链路，这将具有使某一负载偏移离开特定链路的效应。这允许实现用于操控路由选择行为与简单的度量修改相比的更细微渐变，比多拓扑路由选择更简单得多的管理，并且消除了对现有负载平衡系统中进行的链路虚拟化（如根据RFC 4206的MPLS“转发近邻”(forwarding adjacencies)以人为促使网密度上升的需要。对于二阶段排序，何时应用链路偏置的定时有影响。它一般只被考虑用于第二及随后的迭代。在第一迭代中所有相等成本路径陷于利用的平局（零）的实现中，立即应用偏置因子将倾向于以第一迭代所引起的朝向其它路径的偏置使所有负载偏移离开该链路。

图2示出根据一实施例的示范胖树网络拓扑。如更早详细所述，胖树网络的一种共同使用是在数据中心空间中。此示例是具有高度3、每节点3个子节点及每节点3个父节点的广义胖树(GFT) (GFT(3,3,3))。在此图示中，有九(9)个根节点（19、25、2、7、26、14、20、27及5）、九(9)个第二节点（4、22、8、24、3、23、11、18及15）及九(9)个第三层节点（9、1、17、12、16、6、21、10及13）。在根节点与第二层节点之间是顶层链路的汇集。类似地，在第二层节点之间是第二层链路的汇集。第三层节点耦合到架顶式(TOR)交换机。此胖树的每一级由三个节点的簇（cluster）组成。例如，根层具有簇(19, 25, 2)、(7, 26, 14)和(20, 27, 5)。

在此示例中以及在对应拓扑中，根是不同的，因为源于完全到达此类网络层次结构中所有边缘的一个根的生成树的树不经过另一个根。拓扑的创建使用Dijkstra算法来计算有根的树，并且在此算法遇到另一个根时，该路径被删截。在一些实施例中，如果在经过根时无终止或删截计算，则在对于给定根的结果树在其中具有另一个根时，将利用“所有对”最短路径解。例如，有从根节点19到根节点25的拓扑中没有根。另外，在一些实施例中，变得更靠近根的路径不被包括在拓扑中，从未达到叶的路径也是如此。换而言之，仅在节点有效经过根到叶或叶到叶时才被包括在拓扑中。每个节点（根或叶）具有是至少一个过滤数据库(FDB)的一部分的MAC地址。带有服务实例标识符(I-SID)的叶提供负载到拓扑。

图3是实现负载平衡的胖树网络节点的一个实施例的图形，它是基于使用链路利用作为到平局打破机制中的反馈。在一些实施例中，胖树网络边缘节点301包括过滤数据库(FDB) 315、拓扑数据库317、入口模块303、出口模块305及控制处理器307。入口模块303处理由胖树网络边缘节点301在物理链路和数据链路级接收数据分组的处理。出口模块305处理由胖树网络节点301在物理链路和数据链路级传送数据分组的处理。控制处理器307处理数据业务的路由选择、转发和更高级处理。控制处理器307可执行或包括最短路径搜索模块309、负载分发模块315及排序模块311。

过滤数据库315包括带有媒体访问控制(MAC)地址、VLAN及对应端口标识符的源地址表。此信息由控制处理器307用于确定要如何处理数据分组，即，数据分组应转发到到哪个网络接口。

拓扑数据库317存储网络模型或网络元件301连接到的胖网络的拓扑的类似表示。节点能够通过诸如节点环回地址和带有节点标识符对的链路等独特节点标识符来标识。本领域技术人员将理解，此网络模型表示作为示例被提供，并且网络拓扑的其它表示能够通过负载分发方法和系统而得以利用。

最短路径搜索模块309是控制处理器307的组件或控制处理器307执行的模块。最短路径搜索模块309遍历拓扑数据库307以确定网络拓扑中任何两个节点之间的最短路径。如果在网络中两个节点之间存在具有相等距离或成本的多个路径，并且这些多个路径全部是最短路径，则这些多个相等成本路径被提供到排序模块311和负载分发模块315以确定要利用哪个路径。在要求最短路径经过根的生成树的形式的连接性的情况下，或在从“所有对”计算所导致的多树情形中，最短路径搜索模块309能够确定网络拓扑中所有节点之间的最短路径。

最短路径搜索模块309提供用于每个节点对的最短路径的集合，并且负载分发模块315选择最短路径的子集，并且更新过滤数据库315以包括实现遍历胖树网络节点301的每个最短路径的子集的条目。

在第一经历后，最短路径搜索模块309计算由经拓扑数据库的第一经历所导致的对于网络拓扑中每个链路的链路利用值。链路利用值是遍历给定链路的选择的最短路径的数量的计数。为每个链路计算并记录了单独的链路利用值。这些链路利用值用于生成路径利用值，路径利用值又用于为经拓扑数据库317的随后经历而偏置路径的排列，其中，初始平局打破器是词典式排序链路利用值的排列列表或者是链路利用值之和（即，以路径利用值的形式），以及在此导致平局的情况下，共同算法平局打破过程用作随后的平局打破器。

排序模块311是控制处理器307的组件或由控制处理器307执行的模块。排序模块311通过基于第二经历中和随后经历中的路径利用值来执行相等成本树的负载集合的初始排列，从而帮助负载分发模块315。

对于带有多个相等成本路径的每个节点对，排序模块311基于路径利用值来生成这些相等成本路径的排列，并且负载分发模块315从此排列来选择至少一个路径。在其它实施例中，选择最高排列的和最低排列的路径以在对应节点对之间划分负载。负载分发模块315是控制处理器307的组件或由控制处理器307执行的模块。

此过程能够通过任何数量的经历或迭代来重复，其中，链路利用值被更新为经过其的最短路径的集合的累加指示。在胖树的情况中，该过程一般每个根执行一次。路径利用值也按照对链路利用值的更改进行更新。此过程的有用产物（artifact）是路径中变化中的标准偏差一般随着每次迭代而减小，但是随着路径集合的数量的上升，每个另外集合的总体影响成比例减小，从而指示使用多于两次或三次经历或迭代对于产生的计算工作量或例示的转发状态是不值得的。经历或迭代的数量由管理员来设计并且在网络范围上被配置。

图4示出支持胖树的自动化网络感知负载分布的负载分发的方法的一实施例。在401，将链路利用值设成0。如更早详细所述，这是其最短路径经过链路的节点对的计数。

在403，执行用于根节点的生成树计算。如更早所述，源于每个可用根的树利用负载指派技术来创建以确保树分集。对于在一个实施例中从最低到最高按昵称所排列的所有指定根，计算树并且指示每个链路上的负载。能够在所有节点中共同实现的任何排列机制能够替代基于昵称的排列。

为便于理解，此描述中的示例具有相同负载值。生成树计算开始于最低排列（编号）的根节点。在上述示例中，此节点是根节点2。

图5示出计算的生成树的示例。这些树按顺序从此实例中为2的最低编号根节点开始被计算。接下来计算根节点5的生成树等等。对于根节点2，作为树的一部分的第一路径是2->4->1。第二层节点4是根节点2可在第二层的第一簇中可访问的最低根节点。从第二层节点4，它能够读取的最低根节点是第三层节点3。用于根节点2的第二路径是2->24->6。在第二簇中根节点2可访问的最低编号节点是第二层节点24。从该处，第三层的最低节点是6。用于第2层到第三层的最终路径是2->11->10。从节点1、6和20到TOR交换机的独特路径将使路径集合完整。这些路径组成用于根节点2的生成树。

为从根节点5开始的所有其它根节点创建类似的树，然而，随着经过每个链路的路径数量已从前一次经历被记录并且用于随后经历的平局打破，已经使用的路径将自然被避开。实际上，在规则Clos或胖树中，在层次结构的给定级的链路数量将经常对应于根的数量，因此跨网络的路径数量也将是如此。因此，每个链路将在此情形中由正好一个树来使用。

此简单的模型假设在所谓的“关键地带”中无故障，然而，如果在此地带中有故障，则应用特殊规则。图6示出胖树中的某个区域，其中根据一实施例，如果有单个故障，则根计算的树能够恢复。一旦分组经由交换机的第二层，则它足够靠近生成树应已经处理了任何故障的叶。例如，如果节点9有故障，则节点1和17可用于到达簇中的端点。对于胖树，通过加权从根计算生成树相当于为假设生成树能够从其恢复的区域中的任何故障通过加权计算所有对最短路径。

图7示出胖树中的某个区域，其中根据一实施例，如果有故障，根计算的树不能从其恢复。所示“关键地带”上方的故障的足迹（footprint）波及整个网络，并且不能被隔离。

图8示出其中多个故障全体将分离一部分网络和给定根的情形。在此情况下，链路12-24、16-24和6-24（带有虚线示出）的故障将某个节点（如12）与节点2、19和25分离。如果算法在遇到根时终止，则这是计算的树不能恢复的另一故障的示例，并且如果算法被允许经过根，则这将是非最佳连接性。

图9示出在检测到故障时生成树计算的方法的一实施例。在901，检测到一个或多个节点或链路的故障。在903，做出故障是否影响一个或多个根的确定。

如果故障只影响一个根，则在905除受影响的根外，为所有根生成生成树。这些生成树是“所有对”。对于受影响的根，创建“某些对”最短路径（未考虑所有路径的广义网状）。这查找带有最短路径的下一个树。例如，如果节点19丢失，则要从9->10，路径是9->22->7->18->10。单根故障的示例包括根节点（例如，根节点19）的丢失或与仅一个根节点相关联的一个或多个顶层链路（如4->19，24->19或11->19）的丢失。在一些实施例中，如果根的计数大于已处理根的数量的计数，则受影响的节点是已知的。

如果故障影响多个根，则在907排除受影响的根，创建生成树，并且如下处理受影响的根。按从最低到最高的顺序放置受影响的根。对于除最高受影响的根外的所有根，创建使用“所有对”的生成树。对于最高受影响的根（最后根），创建“某些对”最短路径。在“某些对”计算中，不考虑用于胖树网络中等效根的路径的完整集合（但它们用于“所有对”计算）。多个根故障的示例包括第二层节点（如节点4）的丢失，或影响多个根节点的故障链路（如线路8->20和5->15的故障，其中，根节点4和5均受影响）。

在405，生成用于计算了其生成树的根节点的FDB。在一些实施例中，FDB中的条目包括树中节点的MAC地址和对于那些节点/路径的端口指示。生成树本身可被存储在对于根节点的拓扑数据库中。

在407，做出这是否是最后根节点的确定。如果是，则所有根已使其拓扑被映射（由此创建拓扑数据库），并且FDB被创建。如果不是，则在409，将对于当前拓扑的链路利用添加为对用于平局打破的链路标识符的前缀。链路利用的使用前面已详细描述。

未明确优化计算但确实最小化网络上任何链路故障的烦扰的一不同实施例如下所述。根按照顺序被排列和处理。在已知在生成树不能从其恢复或确定生成树经过另一个根的区域中发生了故障的情况下，在继续到下一个根之前“所有对”计算替代生成树计算。这最小化网络上的烦扰的原因是网络的不受影响部分中负载的应用的顺序将不受干扰，因此，业务矩阵的极小重新布置会发生。仅在对排列中最后根要求进行所有对计算时，才能够应用要求的计算的一定优化。

图10示出基于使用链路利用作为对于胖树网络中相等成本路径的平局打破机制的反馈使得能够实现自动化网络感知负载分布的负载分发的方法的一实施例。在一个实施例中，该方法可在诸如胖树节点等胖树网络节点的启动时、在向连接到该节点的胖树网络通知拓扑更改时、在定义的间隔或在类似的事件或时间被运行。在一些实施例中，拓扑数据库在胖树网络中的每个节点被维护作为与负载分发方法分开的方法，并且假设成是胖树网络的真实拓扑的当前表示。

在一个实施例中，此方法开始于在1001确定是否应创建生成树。如更早详细所述，在胖树网络中无故障时创建生成树。取决于故障，可如上详细所述为特定根利用备选的算法。

在1002，确定胖树网络中一边缘节点与胖树网络中另一边缘节点之间的最短路径的集合。最短路径的该集合是每个边缘节点作为其相应树根的树的集合或各个路径。在1003，进行检查以确定是否有多个最短路径，即，是否存在边缘节点之间对于最短路径的平局。如果边缘节点在它们之间具有单个最短路径，则在1006更新过滤数据库以反映该最短路径。在一个实施例中，更新过滤数据库以反映遍历维护它的边缘节点的每个路径。胖树网络中的每个边缘节点执行此相同计算。负载分发方法是确定性的，并且因此每个边缘节点将计算出相同结果。除非存在拓扑中的更改，否则，一般不必进行带有单个最短路径的那些边缘节点对的进一步处理。

如果边缘节点对没有一般被测量为跳的最低数量和最低成本的独特最短路径，则在1005，共同算法平局打破方法用于允许选择独特的最短路径或最短路径的集合。在路径被选择后，它们被存储在过滤数据库中或者用于更新过滤数据库，使得所有边缘节点对具有它们之间选择的至少一个路径。

在选择最短路径后，在1007进行检查以确定是否所有节点对已经具有选择的路径。如果另外的节点对尚未具有选择的路径或路径集合，则该方法通过在1009选择下一节点对到方法而继续。如果所有节点对已具有选择的最短路径，则该方法继续到第二经历或迭代。

对于每个链路的链路利用值由于在310已完成用于所有边缘节点对的过滤数据库的更新或在此之后而被计算。链路利用值是遍历胖树网络的拓扑中每个对应链路的路径数量的计数。为胖树网络中的每个链路计算链路利用值。链路利用值提供要形成另外的路径时在胖树网络中应避免的潜在瓶颈和使用的级别的指示。

对于最短路径的随后生成，最初通过将路径利用值生成为其中路径利用值包括链路利用值的词典式排序的列表或链路利用值之和来执行平局打破。在1011，通过选择节点，并且确定节点对与根之间的最短路径的集合，所有节点方法再次开始。在1013，此方法包括基于对应于每个路径的链路利用值的路径利用值。路径利用值能够表示每个路径的总体负载，如链路利用值之和，或者能够是链路利用值的词典式排序的布置，突出每个路径中最大或最小负载链路，或者是类似的布置和表示。在1015，将最短路径按其路径利用值来排列。在1017，进行检查以确定节点与根之间是否有多于一个最短路径具有相等路径利用值。应注意，虽然将平局打破应用到节点与根之间的生成树，但在一个实施例中，实际链路利用计数需要考虑所有节点对（因为并非所有节点到节点连接性经过根），使得在生成树和所有对最短路径操作一起被使用时存在对于链路利用的适当比较计数。

存在独特最低负载路径的情况下，能够选择该路径而无对所有路径排列的进一步处理。有相同负载（即，相同路径利用值）的多于一个最短路径时，在1021，共同算法平局打破方法随后用于在最短路径的最低负载集合的此子集中执行路径选择。排列将链路利用值考虑在内，使得带有最低或最少使用链路的路径最可能被选择，这将胖树网络的总体负载考虑在内而不只是胖树网络中的下一跳，结果，贯穿胖树网络的路由选择更平衡。在1018，过滤数据库随后被更新以反映选择的路径。

随后，在1019进行检查以确定是否所有节点具有到根的选择的最短路径或最短路径的集合。如果不是，则该方法通过在1023选择下一节点到方法而继续。如果所有节点已被计算，则在1025进行检查以确定是否需要另外的生成树。这通常经根指定过程自动进行（按照根的生成树是正常操作）。如果无需另外的生成树（这可能是胖树网络管理员所设置的或类似地被确定的参数），则负载分发方法结束。如果需要另外的生成树，则该方法通过类似于第二迭代但在以前迭代中确定的链路利用上构造的另外经历来继续。此方法能够具有任何数量的迭代。

正如应明白的，上述架构的实施例在交换的顶层各处是最优化的。丢失任何部分的顶层连接性将分离对于该根的网络的一些部分。在一些部分的顶层连接丢失时，不是简单地选择新根。优选的是，进一步细分负载。拓扑等可在节点的连接性丢失时被重新计算。

本发明的实施例的优点之一是对于带有N个顶级节点的M个节点的网络（从而，N<<M），它使计算复杂度从NM²logM降低到NMlogM，并且在根故障的情况下，复杂度变成(N-1)MlogM +M²logM，因为无故障的根被计算为生成树，并且有故障的根被计算为广义网状解。

因此，已描述用于胖树网络中的负载分发的方法、系统和设备，其将链路使用考虑在内。要理解，上述描述旨在是说明性而不是限制性的。在阅读和理解上述描述后，本领域的技术人员将明白许多其它实施例。因此，本发明的范围应参照所附权利要求以及此类权利要求被授权的等同的完全范围来确定。

Claims

1. 一种在至少一个胖树网络节点中为了改进的负载分发而实现的方法，其中，所述节点是胖树网络中多个胖树网络节点之一，所述多个节点的每个节点实现平局打破过程以产生最低成本树，所述方法包括以下步骤：

按从最低排列的根节点到最高排列的节点的顺序为所述胖树网络的每个根节点执行生成树计算；

为所述胖树网络的每个根节点生成过滤数据库，其中所述过滤数据库包括所述胖树网络的叶节点的媒体访问控制(MAC)地址的集合，以及

为每个计算的树添加链路利用，以用作对用于至少一个平局打破算法的链路标识符的前缀。

2. 如权利要求1所述的方法，其中所述计算的树不经过另一个树。

3. 如权利要求1所述的方法，其中按从最低排列的根节点到最高排列的节点的顺序为所述胖树网络的每个根节点的树计算的步骤包括：

确定是否有影响所述胖树网络的一个根节点的至少一个故障；

如果没有故障，则为所述根的所有根计算生成树以生成所述树；

如果只有一个故障，

则从最低排列的到最高排列的为除了受影响的根之外所述根的所有根计算生成树，以便为不受影响的根生成所述树，以及

对于受影响的根，执行某些对计算；以及

如果有多于一个故障，

对于受影响的根，按从最低到最高排列的顺序为除了最高排列的受影响的根外的所有根执行所有对计算，以及为最高排列的受影响的根执行某些对计算。

4. 如权利要求1所述的方法，其中所述胖树网络是数据中心。

5. 一种用于胖树网络中改进的负载分发的边缘节点中的方法，所述胖树网络包括所述边缘节点，其中所述边缘节点是所述胖树网络中多个边缘节点之一，所述多个边缘节点的每个边缘节点实现共同算法平局打破过程以产生最低成本生成树，所述边缘节点包括数据库以存储所述胖树网络的拓扑，其中所述胖树网络的拓扑包括多个节点和所述节点之间的链路，所述方法包括以下步骤：

通过在所述数据库中存储的的所述胖树网络的拓扑上执行最短路径搜索算法，确定所述胖树网络中每个边缘节点对之间一个或多个最短路径的第一集合；

通过应用所述共同算法平局打破过程，从每个边缘节点对的最短路径的第一集合来选择至少第一最短路径；

基于经过每个链路的选择的最短路径的计数为所述胖树网络的每个链路计算链路利用值；

通过在所述数据库中存储的的所述胖树网络的拓扑上执行所述最短路径搜索算法来确定所述胖树网络的每个边缘节点对与根之间的一个或多个最短路径的第二集合；

基于对应于每个最短路径的链路利用值为一个或多个最短路径的所述第二集合中每个最短路径生成路径利用值；

在所述路径利用值的基础上从一个或多个最短路径的所述第二集合来选择第二最短路径，其中在一个或多个最短路径的该集合中存在具有相等路径利用值的多个最短路径时，所述选择利用所述共同算法平局打破过程；以及

在过滤数据库中存储对于每个边缘节点对的至少第一最短路径，其中所述过滤数据库指示将进入所述边缘节点的业务转发到何处。

6. 如权利要求5所述的方法，其中生成所述路径利用值的所述步骤包括：

将对应于每个路径的链路利用值相加，或者

将对应于每个路径的链路利用值进行词典式排序。

7. 如权利要求5所述的方法，还包括以下步骤：

从管理员接收链路修改因子；以及

组合所述链路修改因子和所述链路利用值以将所述链路和路径的对应之一加权，以便通过影响最低负载路径的集合的排列来降低选择的可能性，从而降低所述链路的使用。

8. 如权利要求5所述的方法，还包括以下步骤：

迭代地选择另外的最短路径以便通过所述第一最短路径和第二最短路径来分担负载分发，直至达到反映网络运营商对所述胖树网络的总体改进的期望的路径的管理数量。

9. 如权利要求5所述的方法，其中边缘节点对之间最短路径的所述集合各自被实现为所述胖树网络内的虚拟局域网(VLAN)。

10. 一种用于胖树网络中改进的负载分发的边缘节点，所述胖树网络包括所述边缘节点，其中所述边缘节点是所述胖树网络中多个边缘节点之一，其中所述胖树网络的拓扑包括多个节点和所述节点之间的链路，所述边缘节点包括：

拓扑数据库，为所述胖树网络中的每个链路存储链路信息；

过滤数据库，为所述边缘节点的每个端口存储过滤信息，其中所述过滤数据库指示将进入所述边缘节点的业务转发到何处；

控制处理器，耦合到所述拓扑数据库和所述过滤数据库，所述控制处理器配置成处理数据业务，其中所述控制处理器包括：

最短路径搜索模块，配置成通过在所述拓扑数据库上执行最短路径搜索算法而确定所述胖树网络中每个边缘节点对之间的至少一个最短路径，其中所述最短路径搜索模块配置成，为带有多个相等成本最短路径的所述边缘节点对的每个边缘节点对将所述相等成本最短路径发送到负载分发模块；

排序模块，配置成基于从与所述多个相等成本最短路径中每个路径相关联的链路利用值所推导的路径利用值来排列所述多个相等成本最短路径的每个路径；以及

所述负载分发模块，配置成从所述多个相等成本最短路径为该边缘节点和根选择要用于在该边缘节点对之间分担数据业务负载的所述多个相等成本最短路径的第一子集，以及基于所述路径利用值，从所述多个相等成本最短路径为该边缘节点和根选择要用于与所述第一子集分担数据业务负载的第二子集。

11. 如权利要求10所述的边缘节点，其中所述排序模块还配置成将所述链路利用值进行词典式排序以创建所述多个相等成本最短路径的排列。

12. 如权利要求10所述的边缘节点，其中所述最短路径搜索模块还配置成为所述拓扑中的每个链路计算链路利用值。

13. 如权利要求10所述的边缘节点，其中所述控制处理器生成虚拟局域网(VLAN)以实现所述胖树网络内边缘节点对之间的每个选择的最短路径。

14. 如权利要求10所述的边缘节点，其中所述负载分发模块还配置成从管理员接收链路修改因子，并且组合所述链路修改因子和对应的链路利用值以将对应链路和路径加权，以便通过影响所述词典式排序来降低选择的可能性，从而降低所述链路的使用。

15. 如权利要求10所述的边缘节点，其中所述排序模块和负载分发模块还配置成迭代地选择另外的子集以便与所述第一和第二子集分担负载分发。