CN108092914A - 网络流量负载均衡调度方法和装置 - Google Patents

Abstract

本发明公开了一种网络流量负载均衡的调度方法和装置。TCP发送端或入口网络节点基于流创建时间进行流分类，并在报文中携带时间标签。网络节点为流的每个转发等价类(FEC)生成和保存基于时间标签的FEC转发表。每个表项对应聚合了多个流的一个时间标签。通过以时间标签为流的调度单位实现流量负载均衡调度，并优先调度生存时间最长的流分类，可降低报文乱序，同时降低网络节点的系统开销和复杂度。

Description

网络流量负载均衡调度方法和装置

技术领域

本发明涉及网络传输技术领域，尤其涉及一种网络流量负载均衡调度方法和装置。

背景技术

传输控制协议(Transmission Control Protocol，简称TCP)是目前互联网应用的主要传输协议之一，提供面向连接的、可靠的报文传输服务。其可以用于分组网络中的各节点之间进行可靠数据传输。其中，文件传输协议(File Transfer Protocol，简称FTP)、超文本传送协议(Hypertext Transfer Protocol，简称HTTP)及安全套接层(Secure SocketsLayer，简称SSL)等当前互联网上使用的基础协议，都由TCP进行承载。

在因特网协议(Internet Protocol，简称IP)网络中，对于从一个TCP发送端到一个TCP接收端的通信，通常存在多条不同的路径。传统的路由技术，发往该TCP接收端的数据包只利用其中的一条路径，不能有效利用网络资源。而网络流量负载均衡技术可根据网络中不同网络节点之间的链路状况将流量合理分担到多条路径上，不仅提升了用户通信效率和网络利用率，还可以实现对网络故障的自动保护容错。在网络流量负载均衡技术中，在一个采用适当的跨域路由协议(如边界网关协议Border Gateway Protocol等)的网络域中，一个入口网络节点通常把经过该网络节点的的流划分为多个转发等价类(ForwardingEquivalence Class；简称FEC)。一个FEC是一个或多个流的集合，所述流在该入口网络节点上具有相同的路由方向，比如在该网络域具有相同的网络出口节点和多条路径到达所述网络出口节点。网络流量负载均衡控制系统决定把一个FEC中的流如何分配到多个路径上。此外，在网络流量负载均衡技术中，还需要选择适当的流量调度单位，即在计算出每个FEC的流如何分配到多个路径之后，决定以什么样的流量单位来进行动态调度。在一个网络节点上，网络流量负载均衡调度就是在一个FEC的多个可用出端口中，调整部分流量的出端口，从而改变相应的转发路径，使得流量分布更加合理。

网络流量负载均衡调度的现有技术中普遍存在调度单位基于流的概念，网络节点需要维护一个与流相关的表项巨大的控制表格，并且需要在流的产生和终结时动态更新该控制表格，网络开销大并且复杂度高。

发明内容

本发明的目的在于克服现有技术的缺陷，基于时间标签的流分类概念，提出一种网络流量负载均衡的调度方法。本发明为各种网络流量负载均衡系统提供一种合理的流量调度单位。满足流量划分均匀、基本不乱序、系统开销小且复杂度低的要求。

第一方面，本发明实施例提供一种网络流量负载均衡调度的方法，其特征在于，该方法包括：网络节点生成并保存转发等价类转发表，其中所述转发等价类转发表用于网络流量负载均衡调度；所述网络节点获取不同出端口之间的流量调整量；所述网络节点根据所述流量调整量调整所述转发等价类转发表的表项。

结合第一方面，在第一方面的第一种可能的实现方式中，所述转发等价类转发表的表项数目为系统预设的时间标签数目N，N为大于1的整数；所述转发等价类转发表的表项包括时间标签、出端口号和上次调度时间标签中的至少一个。

结合第一方面，在第一方面的第二种可能的实现方式中，所述网络节点调整转发等价类转发表的表项包括：计算当前时间标签值所对应的可调度区域；从时间标签值所对应的表项开始依次轮询所述转发等价类转发表的表项；更新当前表项的出端口号为对应的调整后的出端口号，更新上次调度时间标签值为当前时间标签值。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述网络节点更新当前表项的出端口号为对应的调整后的出端口号之前，该方法还包括：判断所述当前表项的出端口为待调整出端口；判断所述当前表项的上次调度时间标签值是在可再次调度区域。

结合第一方面，在第一方面的第四种可能的实现方式中，所述网络节点在生成转发等价类转发表之前，还包括：所述网络节点为接收的流的报文标记流创建时的时间标签。

第二方面，本发明实施例提供一种网络流量负载均衡调度的方法，其特征在于，该方法包括：TCP发送端创建流；所述TCP发送端为创建的流的报文标记流创建时的时间标签；TCP发送端发送流的报文。

第三方面，本发明实施例提供一种网络节点，包括：接收模块，用于接收流的报文；处理模块，用于执行以下步骤：生成并保存转发等价类转发表，其中所述转发等价类转发表用于网络流量负载均衡调度；所述网络节点获取不同出端口之间的流量调整量；和所述网络节点根据所述流量调整量调整所述转发等价类转发表的表项。发送模块，用于发送流的报文。

结合第三方面，在第三方面的第一种可能的实现方式中，所述转发等价类转发表的表项数目为系统预设的时间标签数目N，N为大于1的整数；所述转发等价类转发表的表项包括时间标签、出端口号和上次调度时间标签中的至少一个。

结合第三方面，在第三方面的第二种可能的实现方式中，所述处理模块调整转发等价类转发表的表项包括：计算当前时间标签值所对应的可调度区域；从时间标签值所对应的表项开始依次轮询所述转发等价类转发表的表项；更新当前表项的出端口号为对应的调整后的出端口号，更新上次调度时间标签值为当前时间标签值。

结合第三方面的第二种可能的实现方式，在第三方面的第三种可能的实现方式中，所述处理模块更新当前表项的出端口号为对应的调整后的出端口号之前，还包括：判断所述当前表项的出端口为待调整出端口；判断所述当前表项的上次调度时间标签值是在可再次调度区域。

结合第三方面，在第三方面的第四种可能的实现方式中，所述处理模块在生成转发等价类转发表之前，还包括：所述处理模块为接收的流的报文标记流创建时的时间标签。

第四方面，本发明实施例提供一种网络节点，包括：通信接口，用于接收和发送信令以及数据；存储器，用于存储计算机可执行代码；处理器，和所述存储器相连，用于调用所述的计算机可执行代码，执行以下步骤：生成并保存转发等价类转发表，其中所述转发等价类转发表用于网络流量负载均衡调度；所述网络节点获取不同出端口之间的流量调整量；和所述网络节点根据所述流量调整量调整所述转发等价类转发表的表项。

结合第四方面，在第四方面的第一种可能的实现方式中，所述转发等价类转发表的表项数目为系统预设的时间标签数目N，N为大于1的整数；所述转发等价类转发表的表项包括时间标签、出端口号和上次调度时间标签中的至少一个。

结合第四方面，在第四方面的第二种可能的实现方式中，所述调整转发等价类转发表的表项包括：计算当前时间标签值所对应的可调度区域；从时间标签值所对应的表项开始依次轮询所述转发等价类转发表的表项；更新当前表项的出端口号为对应的调整后的出端口号，更新上次调度时间标签值为当前时间标签值。

结合第四方面的第二种可能的实现方式，在第四方面的第三种可能的实现方式中，所述处理器更新当前表项的出端口号为对应的调整后的出端口号之前，还包括：判断所述当前表项的出端口为待调整出端口；判断所述当前表项的上次调度时间标签值是在可再次调度区域。

结合第四方面，在第四方面的第四种可能的实现方式中，所述处理器在生成转发等价类转发表之前，还包括：所述处理器为接收的流的报文标记流创建时的时间标签。

第五方面，本发明实施例提供一种TCP发送端，包括：处理模块，用于执行以下步骤：创建流；为创建的流的报文标记流创建时的时间标签。发送模块，用于发送流的报文。

第六方面，本发明实施例提供一种TCP发送端，包括：通信接口，用于接收和发送信令以及数据；存储器，用于存储计算机可执行代码；处理器，和所述存储器相连，用于调用所述的计算机可执行代码，执行以下步骤：创建流；为创建的流的报文标记流创建时的时间标签。

在本发明实施例中，网络节点基于时间标签的流分类生成转发等价类转发表，使得时间标签具有聚合性，即多个流带有相同的时间标签，这样网络节点中每个转发等价类转发表的表项的大小就是时间标签数目，相比现有技术中以Flow/Flowlet/Flowcell为表项单位的各种控制表而言大大降低了控制表的尺寸，大幅降低网络节点的开销。此外，网络节点以时间标签来管理流，不需要在流的生成或结束时额外处理，相比现有技术中在每个流生成或结束时需要更新控制表而言大大降低网络节点的复杂度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种网络架构示意图；

图2是本发明实施例提供的一种在报文头标识时间标签的示意图；

图3是本发明实施例提供的一种时间标签间隔和时间标签周期之间关系的示意图；

图4是本发明实施例提供的一种时间标签周期划分的示意图；

图5是本发明实施例提供的一种网络流量负载均衡的流程示意图；

图6是本发明实施例提供的一种FEC转发表格式的示意图；

图7是本发明实施例提供的一种网络流量负载均衡调度流程的示意图；

图8是本发明实施例提供的一种调度前的FEC转发表的示意图；

图9是本发明实施例提供的一种调度后的FEC转发表的示意图；

图10是本发明实施例提供的一种TCP发送端的结构示意图；

图11是本发明实施例提供的另一种TCP发送端的结构示意图；

图12是本发明实施例提供的一种网络节点的结构示意图；

图13是本发明实施例提供的另一种网络节点的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例进行描述。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

流量调度单位的选择需要满足几个要求：1)调度单位粒度适中。单位过粗则调度结果不够精细。单位过细则调度次数多，使用表格开销大。2)调度单位和调度方法不造成每个流内部出现报文乱序。3)网络节点开销小。

目前有多种确定流量调度单位的方案。其中，方案一是以报文为单位进行调度。方案一的不足之处是同一个流的报文经过不同路径，到达TCP接收端的时间不同，在TCP接收端会发生大量报文乱序。

方案二是以流(Flow)为单位进行调度。方案二不会造成报文乱序，但是由于不同流的长度存在很大差异，部分“大象流”占据了很大一部分的数据传输量，从而使得基于流的流量负载均衡存在负载分担不均匀的问题。此外，网络节点需要使用流表来对所有报文进行管理，在流表中每个流做为一个表项，包含流的五元组、下一跳节点地址、出端口号等。由于流表是以流为单位表项，网络节点需要管理表项规模巨大的流表，开销极高；并且需要在每个流的产生和终结时更新流表，复杂度高。

方案三是采用小流(Flowlet)为单位进行调度。其中小流是指对一个流按照报文之间天然的时间间隙超过某个阈值进行划分。时间间隙比较大时，可以确保两段小流即使经过不同的路径，也会按照正确的顺序到达目的地，不产生报文乱序。方案三的不足之处是，如果某个大象流在较长时间内报文持续不断，报文时间间隙不超过阈值，则无法将其切分成更小单位，仍然会出现流量负载均衡不均匀的问题。由于一个Flowlet在网络中的存活时间要小于流的存活时间，通常Flowlet表的规模比流表小，但是开销也较大，并且需要再每个小流的产生和终结时更新Flowlet表。

方案四是采用流分段(Flowcell)为单位进行调度。其中流分段的含义是对一个流，按照一定的数据量为单位把流切分成多个分段，每个分段有Flowcell编号。使用流量负载均衡可以确保同一个流分段内部不产生报文乱序。而相邻流分段的首尾可能发生少量乱序，由接目的进行排序解决。方案四的不足之处是对于动态负载均衡，路由器需要区分何时可以更改一个Flowcell的路径，复杂度高；并且网络节点仍然需要维护类似于流表的Flowcell表，开销很大。

本专利涉及使用什么样的单位进行流量调度，使得流量在多个端口上的实际分配情况与目标一致。

本发明实施例提供的网络流量负载均衡的调度方法和装置，适用于网络数据传输，尤其是在TCP发送端和TCP接收端之间存在多个路径的数据传输的场景。图1示出了本发明实施例应用的网络架构，网络中包含TCP发送端、网络节点以及TCP接收端等网元。其中TCP发送端1和TCP发送端2各自有业务流与TCP接收端进行通信。TCP发送端1和TCP接收端通信的流与TCP发送端2和TCP接收端通信的流属于同一个FEC。网络节点1(作为入口网络节点)可以对接收到的TCP发送端1和TCP发送端2发送的流进行网络流量负载均衡，选择将该FEC中的流量通过不同的路径传输到网络节点6(作为出口网络节点)。例如将流量分配到路径“网络节点1—网络节点2—网络节点6”、和/或“网络节点1—网络节点2—网络节点3—网络节点6”、和/或“网络节点1—网络节点4—网络节点5—网络节点6”，再传输到TCP接收端。

在本发明实施例中，TCP发送端、TCP接收端以及网络节点之间的时钟保持同步，例如可采用网络时间协议(Network Time Protocol)等时钟同步技术保持节点之间的时钟同步。在一些例子中，网络中的进行数据发送的TCP发送端为本地创建的流的报文标记所述流创建时的时间标签。例如，可以是对流的报文标记时间标签。所述时间标签表明该流创建的具体时间，其中时间标签间隔(即时间标签的精度)取值可以是网络预设的。在一个时间标签间隔内创建的流，其时间标签值都取当前时间标签值。在一些例子中，如果时间标签间隔是t秒，则在每t秒内网络中TCP发送端创建的流的报文都标记相同的创建时间标签。在另一些例子中，网络中针对一个FEC的入口网络节点为收到的流的报文标记所述流的第一个报文接收时的时间标签。在实际网络中，由于入口网络节点收到的一个流的第一个报文的时间，距离TCP发送端创建所述流发出第一个报文的时间非常接近，远小于时间标签的精度，因此可以认为入口网络节点标记的流接收时的时间标签与所述流创建时的时间标签是相同的。换言之，网络中针对一个FEC的入口网络节点为收到的流的报文标记的时间标签可等同于所述流的创建时的时间标签。在后续描述中，将统一使用流创建时间标签来描述TCP发送端发送所述流的第一个报文时对应的时间标签和/或入口网络节点接收所述流的第一个报文时对应的时间标签。

TCP发送端或入口网络节点可以通过以下三种方式为本地创建或接收的流的报文标记流创建时的时间标签。

方式一，可以在报文的IP报文头新增option选项来添加该报文所属的流创建时的时间标签值。方式二，可以在报文的TCP报文头新增option选项来添加该报文所属的流创建时的时间标签值。方式三，在报文的IP报文头与TCP报文头之间新增一个自定义报文头，该自定义报文头可包含上层报文协议号(如占用1个字节长度)和时间标签值(如占用3个字节长度)，如图2所示。其中，IP报文头中的协议号可填写0xff，用以识别自定义报文头。自定义报文头中的上层报文协议号可填写TCP协议对应的协议号。对于一个TCP流，TCP发送端为所述流的每一个报文标记相同的时间标签，直至该TCP连接关闭。

为了有效地利用时间标签并尽可能减少网络管理开销，时间标签的使用具有周期性，即网络预设一个网络时间标签数目N(其中N为大于1的整数)，网络的时间标签每经过N次计数就周期性地重复。图3示出了时间标签周期和时间标签间隔之间的关系。如图3所示，一个圆周表示一个时间标签周期，白色扇区部分表示一个时间标签间隔(t秒)，一个时间标签周期由N个时间标签间隔所组成，即一个时间标签周期对应时长为N*t秒。例如，时间标签间隔取值为1秒，并取N＝600，则网络中的流的时间标签标记在每10分钟重复一次。例如，以网络时间14:00:00’为基准，创建于14:21:36’210.010’’的流的时间标签值为96(14:21:36’210.010’’按秒取整后是14:21:36’，换算到秒再模600秒，得到余数96)。类似地，创建于23:18:03’32.222’’的流的时间标签值为483。值得一提的是，网络可预设以什么时间为时间标签的基准时间。

进一步地，在网络流量负载均衡调度时，为了尽可能避免报文乱序，网络节点在当前时刻尽量调度新创建的流，避免对已经存在的流进行调度。具体地，网络节点将一个时间标签周期划分成可调度区域和禁止调度区域，网络节点在可调度区域可以根据网络流量负载均衡控制系统的决策来进行调度调整。图4示出了网络节点对一个时间标签周期划分的示意图。如图4所示，假设当前时刻所对应的时间标签值为T，可调度区域为时间标签值范围从“T+1+精度标签量”至“T+1+精度标签量+可调度时间标签量”的区域。其中，所述精度标签量是网络时钟同步精度换算成时间标签的数量，即网络时钟同步精度除以时间标签间隔后向上取整。例如，时间标签间隔取值为1秒，如果网络时钟同步精度为0.1秒，则精度标签量为1。如果网络时钟同步精度为2.3秒，则精度标签量为3。所述可调度时间标签量为网络预设的可调度区域时长对应的时间标签数量。例如，时间标签间隔为1秒，并设可调度区域为180秒，则可调度时间标签量为180。如果当前网络时间所对应的时间标签值为90，网络时钟同步精度为0.1秒，则可调度区域为时间标签值范围是[92,272]。

图5示出了本发明实施例提供的一种网络流量负载均衡的流程示意图，本实施例的执行主体是网络节点。本实施例的方法包含如下步骤：

501、生成并保存FEC转发表。

在本发明实施例中，执行网络流量负载均衡的网络节点针对经过本节点的FEC生成并保存一个网络流量负载均衡调度用的基于时间标签的FEC转发表。该FEC转发表格式如图6所示，FEC转发表的表项数目为系统预设的时间标签数目N，每个表项内容表明一个时间标签周期内每个时间标签所对应的流量调度情况。FEC转发表的每个表项可包含时间标签、出端口号、以及上次调度时间标签三部分信息。具体地，表项的时间标签对应该FEC中的一个或多个流所对应的创建时间标签值。出端口号对应所述一个或多个流在当前时刻被调度转发的出端口号。上次调度时间标签对应所述一个或多个流在上一时间标签周期中对应表项的出端口号进行调整时的时间标签值。如图6所示，在当前时刻，时间标签值为2的流将被调度从出端口2转发出去。相应地，该流在上一次流量负载均衡调度时的时间标签值为T3所对应的时刻被调整了出端口，即从其他出端口调整到从出端口2进行转发。在网络节点开始进行网络流量负载均衡调度时，生成并保存的FEC转发表的表项内容是网络流量负载均衡控制系统的输出值，即每个时间标签及其对应的出端口号值是从网络流量负载均衡控制系统获取的，而表项中上次调度时间标签均初始化为空。网络节点进行网络流量负载均衡调度后，根据每个调度过程的调度结果，周期更新FEC转发表的每个时间标签对应的出端口号以及相应的上次调度时的时间标签值。

502、获取本次调度过程中不同出端口之间的流量调整量。

其中所述流量调整量包含至少一个待调整出端口号、调整后出端口号、以及需调整时间标签数量。

在本发明实施例中，网络节点获取在本次时间标签周期中的待调整的出端口号以及相应的调整后的出端口号。例如，如果在本次时间标签周期中，需要将出端口1的2个时间标签对应的流量调整到出端口2，将出端口3的1个时间标签对应的流量调整到出端口2，则待调整出端口号为序列[1,1,3]，调整后出端口号为序列[2,2,2]，需调整时间标签数量为3。所述不同出端口之间的流量调度量可以从网络流量负载均衡控制系统获取。

503、根据流量调整量调整FEC转发表项以执行均衡调度。

在本发明实施例中，网络节点通过调整FEC转发表项来实现网络流量负载均衡的调度。具体地，就是根据获取的流量调整量对FEC转发表项中相应的出端口号项和上次调度时间标签项进行修改。该步骤参阅后续图7所示的流程来实现。

图7为本发明提供的一种网络流量负载均衡的调度流程示意图。如图7所示，该方法包含如下步骤：

701、计算当前时间标签值T所对应的可调度区域。

其中，所述当前时间标签值T是当前时刻转换成时间标签的数值；所述可调度区域为在时间标签周期内时间标签值范围从“T+1+精度标签量”所对应的时间标签值(该值也称为调度起始项)到“T+1+精度标签量+可调度时间标签量”所对应的时间标签值(该值也称为调度终止项)。所述精度标签量是网络时钟同步精度换算成时间标签的数量。所述可调度时间标签量是网络预设的可调度区域时长对应的时间标签数量。

702、将时间标签值为调度起始项的表项设置为当前表项，调度表项计数初始化置零，逐个表项依次轮询FEC转发表。

其中所述调度表项计数表示在本次调度过程中轮询到当前表项时已经调整了的时间标签数量。

在本发明实施例中，网络节点将FEC转发表中的时间标签值为调度起始项的表项设置为当前表项。在本次调度过程中，网络流量负载均衡调度的实现具体而言就是从调度起始项开始逐个表项查找待调整的出端口号，然后根据可调度区域范围和可再次调度区域范围等调度条件，对相应的表项中的待调整出端口号更新为调整后出端口号，并由网络节点根据更新后的FEC转发表对报文进行转发。所述可再次调度区域用于避免近期调度过的时间标签被再次调度，从而产生流中报文乱序的情况。可再次调度区域是针对“上次调度时间标签”，定义为时间标签值范围是从当前时间标签值T到“T+可调度时间标签量”所对应的时间标签值。由于上次调度时间使用本地时钟，没有网络时钟同步精度问题，所以与当前时刻对应的可调度区域略有差别。

703、判断当前表项的时间标签值是否大于调度终止项。若是，跳至步骤708；否则，进入步骤704。

在本发明实施例中，如果轮询到当前表项的时间标签值大于调度终止项，则表明已经轮询完毕本次时间标签周期中可调度的表项，完成了本次调度过程中的可能的调度。此时，如果未能完成本次调度过程中的流量调整量，则需要等到下一时间标签周期去继续实现。

704、判断当前表项的出端口是否为待调整出端口。若是，进入步骤705；否则，跳至步骤709。

在本发明实施例中，如果当前表项的出端口是本次调度过程中流量调整量中的待调整出端口，则需要进一步检查调度条件以确定是否对所述当前表项的出端口流量调度到相应的调整后出端口上。

705、判断当前表项的上次调度时间标签值是否在可再次调度区域。若是，进入步骤706；否则，跳至步骤709。

在本发明实施例中，如果当前表项的上次调度时间标签值在可再次调度区域，则表明满足调度条件，需要将所述当前表项的出端口流量调度到相应的调整后出端口上。

706、更新当前表项的出端口号为对应的调整后出端口号，更新上次调度时间标签值为当前时间标签值T，调度表项计数递增1。

在本发明实施例中，当确定当前表项为需要调度的表项，则将当前表项的出端口号更新为本次调度过程中流量调整量中对应的调整后出端口号；并将当前表项中的上次调度时间标签值更新为当前时间标签值，表明当前时刻对该表项进行了调度；同时将调度表项计数递增1，表明已经调整了一个表项所对应的流量。

707、判断调度表项计数是否等于需调整时间标签数量。若是，进入步骤708；否则，跳至步骤709。

在本发明实施例中，当调度表项计数等于需调整时间标签数量时，表明已经完成了本次调度过程中需要调整的流量的调度。此时，不需要再进一步轮询下一表项。

708、扫描FEC转发表，删除上次调度时间标签值为T+1的表项的标记。

在本发明实施例中，为了避免过期标记与近期标记混淆，需要删除“上次调度时间标签”超过一个时间标签周期的表项的标记。具体地，就是将FEC转发表中“上次调度时间标签值”为T+1的表项的“上次调度时间标签”一栏设置为空。

709、当前表项的时间标签值递增1，轮询下一个表项。

在本发明实施例中，通过逐个依次轮询FEC转发表的表项，实现在本次调度过程中的流量调整的调度。轮询终止的条件是轮询的时间标签量超出可调度区域或已完成本次调度过程中的需要调整的流量的调度。

下面以一具体的实施例子来进一步描述网络节点的网络流量负载均衡调度流程。例如，网络预设每个流量负载均衡调度过程为10分钟，其中可调度区域为3分钟，禁止调度区域为7分钟，时间标签间隔为1秒钟，网络时钟同步精度为0.1秒。在某一时刻，网络节点的一个FEC流量在出端口1的流量占该网络节点出端口流量的31％，出端口2的流量占该网络节点出端口流量的20％，出端口3的流量占该网络节点出端口流量的49％。此时，网络流量负载均衡控制系统根据当前网络状态执行网络流量负载均衡算法并决定将该网络节点的所述FEC流量的1％从端口1转移到端口2。即在端口1上的流量分配比例从31％减少到30％，端口2上的比例从20％增加到21％，端口3保持49％不变。在当前时刻网络节点保存的针对上述FEC的基于时间标签的FEC转发表如图8所示。

根据图7所示的网络流量负载均衡调度流程，第一步，网络节点计算当前时刻所对应的可调度区域。假设当前时刻为14:21:30’，并设时间14:00:00’为基准时间，则网络节点计算得到当前时刻对应的时间标签值为90，可调度时间标签量为180，可调度起始时间标签值为92(即T+1+精度标签量＝92)，可调度终止时间标签值为272(即T+1+精度标签量+可调度时间标签量＝272)，即可调度区域范围是92-272。类似地，可再次调度区域范围是90-270。

第二步，网络节点获取本次时间标签周期待调整的时间标签数量为600*1％＝6，即原来从出端口1转发的6个不同时间标签的流量需要被调整到从出端口2转发。从图7可知，所述6个不同时间标签的流所对应的待调整出端口号为[1,1,1,1,1,1]的序列，调整后出端口号为[2,2,2,2,2,2]的序列，需调整时间标签数量为6。

第三步，将时间标签值为92的表项设置为当前表项，并初始化调度表项计数为0，开始逐项轮询FEC转发表。当前表项时间标签值轮询到92时，查FEC转发表得知该表项为在出端口2转发流。由于该表项出端口号不是待调整出端口号序列中的第一个元素，因此不对该表项进行任何操作；继续轮询下一个表项。将当前表项时间标签值递增1更新为当前表项时间标签值(即93)。

当前表项时间标签值轮询到93时，查FEC转发表得知该表项为在出端口1转发流，该表项出端口号是待调整出端口号序列中的第一个元素(出端口1)。进一步检查获知该表项的上次转发调整时间标签值为120，该值在可再次调度区域内，因此需要更新当前表项出端口号为对应的调整后出端口号，即上述调整后出端口号序列中的第一个元素(出端口2)。并将该表项的上次转发调整时间标签值120更新为当前时刻对应的时间标签值90。同时，将调度表项计数递增1更新为调度表项计数(即1)；继续轮询下一个表项。将当前表项时间标签值递增1更新为当前表项时间标签值(即94)。

当前表项时间标签值轮询到94时，查FEC转发表得知该表项为在出端口2转发流，该表项出端口号不是待调整出端口号序列中的第二个元素，因此不对该表项进行任何操作；继续轮询下一个表项。将当前表项时间标签值递增1更新为当前表项时间标签值(即95)。

当前表项时间标签值轮询到95时，查FEC转发表得知该表项为在出端口1转发流，该表项出端口号是待调整出端口号序列中的第二个元素(出端口1)。进一步检查获知该表项的上次转发调整时间标签值为80。由于可再次调度区域为90-270，而该值不在可再次调度区域内，因此不对该表项进行任何操作；继续轮询下一个表项。将当前表项时间标签值递增1更新为当前表项时间标签值(即96)。

当前表项时间标签值轮询到96时，查FEC转发表得知该表项为在出端口1转发流，该表项出端口号是待调整出端口号序列中的第二个元素(出端口1)。进一步检查获知该表项的上次转发调整时间标签值为110，该值在可调度时间标签值范围内，因此需要更新当前表项出端口号为对应的调整后出端口号，即上述调整后出端口序列中的第二个元素(出端口2)。并将该表项的上次转发调整时间标签值110更新为当前时刻对应的时间标签值90。同时，将调度表项计数递增1更新为调度表项计数(即2)；继续轮询下一个表项。将当前表项时间标签值递增1更新为当前表项时间标签值(即97)。

每次轮询表项的过程如上所述，在此不再赘述，直至轮询到当前表项时间标签值为100时，更新当前表项出端口号为出端口2，并将该表项的上次转发调整时间标签值110更新为当前时刻对应的时间标签值90。同时，将调度表项计数递增1更新为调度表项计数(即6)。这表明已完成本次调度过程中流量负载均衡所需要调整的流量。然后扫描FEC转发表，如果有“上次调度时间标签”值为91的表项，将该表项的“上次调度时间标签”一栏设置为空。至此，完成本次负载均衡调度过程，在本次调度过程中调整出端口的6个时间标签值分别是：93、96、97、98、99、100。所述时间标签对应的出端口1的流量将被调度到出端口2进行转发。图9为网络节点在本次调度过程执行完成流量负载均衡调度流程后的FEC转发表。

在网络节点的报文转发流程中，网络节点对接收到的报文进行解析，首先使用报文头信息映射到FEC分类，然后使用报文头携带的时间标签查询FEC转发表中对应时间标签的表项，并按照所述时间标签对应的出端口号将收到的报文在所述出端口进行转发。

在一些实施方式中，TCP发送端对所发送的流的每一个报文标记时间标签，在报文经过的网络节点不对接收到的报文头进行处理，由TCP接收端接收到报文后对报文头中的时间标签进行处理。一方面，TCP发送端采用在IP或TCP报文头option选项中添加时间标签的方式，则TCP接收端忽略该option选项内容；另一方面，TCP发送端采用在IP报文头与TCP报文头之间新增一个自定义报文头添加时间标签的方式，则TCP接收端收到报文后将所述自定义报文头删除。

在另一些实施方式中，入口网络节点对所接收的流的每一个报文标记时间标签，在报文经过的中间网络节点不对接收到的报文头进行处理，由出口网络节点接收到报文后对报文头中的时间标签进行处理。一方面，入口网络节点采用在IP或TCP报文头option选项中添加时间标签的方式，则出口网络节点忽略该option选项内容；另一方面，入口网络节点采用在IP报文头与TCP报文头之间新增一个自定义报文头添加时间标签的方式，则出口网路节点收到报文后将所述自定义报文头删除。

上述主要从各个网元之间的交互以及网元自身的处理的角度对本发明实施例提供的方案进行了介绍。可以理解的是，各个网元为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例，本专利申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本专利申请的范围。

本专利申请进一步给出实现上述方法实施例中各步骤及方法的装置实施例。值得注意的是，装置实施例可以与上述方法配合使用，也可以单独使用。

图10是本发明实施例提供的一种TCP发送端的结构示意图。如图10所示，该TCP发送端包括处理器1001、存储器1002以及通信接口1003。处理器1001连接到存储器1002和通信接口1003，例如处理器1001可以通过总线连接到存储器1002和通信接口1003。

处理器1001被配置为支持TCP发送端执行上述方法中相应的功能。该处理器1001可以是中央处理器(英文：central processing unit，CPU)，网络处理器(英文：networkprocessor，NP)，硬件芯片或者其任意组合。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，ASIC)，可编程逻辑器件(英文：programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，FPGA)，通用阵列逻辑(英文：generic array logic,GAL)或其任意组合。

存储器1002存储器用于存储TCP发送端需要发送的数据报文等。存储器1002可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-accessmemory，缩写：RAM)；存储器1002也可以包括非易失性存储器(英文：non-volatilememory)，例如只读存储器(英文：read-only memory，缩写：ROM)，快闪存储器(英文：flashmemory)，硬盘(英文：hard disk drive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器1002还可以包括上述种类的存储器的组合。

通信接口1003用于与网络节点或者TCP接收端连接，与网络节点或者TCP接收端收发上述方法中所涉及的消息。

处理器1001可以执行以下操作：

通过以下三种方式为本地创建的流的报文标记流创建时的时间标签；通过通信接口1003发送数据报文。

方式一，可以在报文的IP报文头新增option选项来添加该报文所属的流创建时的时间标签值。方式二，可以在报文的TCP报文头新增option选项来添加该报文所属的流创建时的时间标签值。方式三，在报文的IP报文头与TCP报文头之间新增一个自定义报文头，该自定义报文头可包含上层报文协议号(如占用1个字节长度)和时间标签值(如占用3个字节长度)，如图2所示。

图11是本发明实施例提供的另一种TCP发送端的结构示意图。如图11所示，该TCP发送端1100包括处理模块1101和发送模块1102。

处理模块1101，通过以下三种方式为本地创建的流的报文标记流创建时的时间标签；通过发送模块1102发送数据报文。

方式一，可以在报文的IP报文头新增option选项来添加该报文所属的流创建时的时间标签值。方式二，可以在报文的TCP报文头新增option选项来添加该报文所属的流创建时的时间标签值。方式三，在报文的IP报文头与TCP报文头之间新增一个自定义报文头，该自定义报文头可包含上层报文协议号(如占用1个字节长度)和时间标签值(如占用3个字节长度)，如图2所示。

发送模块1103，用于发送数据报文。

图12是本发明实施例提供的一种网络节点的结构示意图。如图12所示，该网络节点包括处理器1201、存储器1202以及通信接口1203。处理器1201连接到存储器1202和通信接口1203，例如处理器1201可以通过总线连接到存储器1202和通信接口1203。

处理器1201被配置为支持网络节点执行上述方法中相应的功能。该处理器1201可以是中央处理器(英文：central processing unit，CPU)，网络处理器(英文：networkprocessor，NP)，硬件芯片或者其任意组合。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，ASIC)，可编程逻辑器件(英文：programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，FPGA)，通用阵列逻辑(英文：generic array logic,GAL)或其任意组合。

存储器1202存储器用于存储网络节点需要发送的数据报文等。存储器1202可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-accessmemory，缩写：RAM)；存储器1202也可以包括非易失性存储器(英文：non-volatilememory)，例如只读存储器(英文：read-only memory，缩写：ROM)，快闪存储器(英文：flashmemory)，硬盘(英文：hard disk drive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器1202还可以包括上述种类的存储器的组合。

通信接口1203用于与其他网络节点或者TCP接收端连接，与其他网络节点或者TCP接收端收发上述方法中所涉及的消息。

处理器1201可以执行以下操作：

生成并保存FEC转发表；获取本次调度过程中不同出端口之间的流量调整量；根据流量调整量调整调整FEC转发表项以执行均衡调度；通过通信接口1203发送数据报文。具体请参阅图5至图9的实施方式。处理器1201可通过以下三种方式为接收的流的报文标记流创建时的时间标签。方式一，可以在报文的IP报文头新增option选项来添加该报文所属的流创建时的时间标签值。方式二，可以在报文的TCP报文头新增option选项来添加该报文所属的流创建时的时间标签值。方式三，在报文的IP报文头与TCP报文头之间新增一个自定义报文头，该自定义报文头可包含上层报文协议号(如占用1个字节长度)和时间标签值(如占用3个字节长度)，如图2所示。

图13是本发明实施例提供的另一种网络节点的结构示意图。如图13所示，该网络节点1300包括接收模块1301、处理模块1302和发送模块1302。

接收模块1301，用于接收TCP发送端或其他网络节点发送的数据报文。

处理模块1302，用于生成并保存FEC转发表；获取本次调度过程中不同出端口之间的流量调整量；根据流量调整量调整调整FEC转发表项以执行均衡调度；通过通信接口1203发送数据报文。具体请参阅图5至图9的实施方式。处理器1201可通过以下三种方式为接收的流的报文标记流创建时的时间标签。方式一，可以在报文的IP报文头新增option选项来添加该报文所属的流创建时的时间标签值。方式二，可以在报文的TCP报文头新增option选项来添加该报文所属的流创建时的时间标签值。方式三，在报文的IP报文头与TCP报文头之间新增一个自定义报文头，该自定义报文头可包含上层报文协议号(如占用1个字节长度)和时间标签值(如占用3个字节长度)，如图2所示。

发送模块1303，用于发送数据报文。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本专利申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本专利申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包含若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本专利申请各个实施例方法的全部或部分步骤。而前述的存储介质包含：U盘、移动硬盘、只读存储器(ROM，简称Read-Only Memory)、随机存取存储器(RAM，简称Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本专利申请的具体实施方式，但本专利申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本专利申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本专利申请的保护范围之内。因此，本专利申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种网络流量负载均衡调度的方法，其特征在于，该方法包括：

网络节点生成并保存转发等价类转发表，其中所述转发等价类转发表用于网络流量负载均衡调度；

所述网络节点获取不同出端口之间的流量调整量；和

所述网络节点根据所述流量调整量调整所述转发等价类转发表的表项。

2.根据权利要求1所述的方法，其特征在于，

所述转发等价类转发表的表项数目为系统预设的时间标签数目N，N为大于1的整数；

所述转发等价类转发表的表项包括时间标签、出端口号和上次调度时间标签中的至少一个。

3.根据权利要求1所述的方法，其特征在于，所述网络节点调整转发等价类转发表的表项包括：

计算当前时间标签值所对应的可调度区域；

从时间标签值所对应的表项开始依次轮询所述转发等价类转发表的表项；

更新当前表项的出端口号为对应的调整后的出端口号，更新上次调度时间标签值为当前时间标签值。

4.根据权利要求3所述的方法，其特征在于，所述网络节点更新当前表项的出端口号为对应的调整后的出端口号之前，该方法还包括：

判断所述当前表项的出端口为待调整出端口；和

判断所述当前表项的上次调度时间标签值是在可再次调度区域。

5.根据权利要求1所述的方法，其特征在于，所述网络节点在生成转发等价类转发表之前，该方法还包括：

所述网络节点为接收的流的报文标记流创建时的时间标签。

6.一种网络流量负载均衡调度的方法，其特征在于，该方法包括：

TCP发送端创建流；

所述TCP发送端为创建的流的报文标记流创建时的时间标签；

TCP发送端发送流的报文。

7.一种网络节点，包括：

接收模块，用于接收流的报文；

处理模块，用于执行以下步骤：生成并保存转发等价类转发表，其中所述转发等价类转发表用于网络流量负载均衡调度；所述网络节点获取不同出端口之间的流量调整量；和所述网络节点根据所述流量调整量调整所述转发等价类转发表的表项。

发送模块，用于发送流的报文。

8.根据权利要求7所述的网络节点，其特征在于，

所述转发等价类转发表的表项数目为系统预设的时间标签数目N，N为大于1的整数；

所述转发等价类转发表的表项包括时间标签、出端口号和上次调度时间标签中的至少一个。

9.根据权利要求7所述的网络节点，其特征在于，所述处理模块调整转发等价类转发表的表项包括：

计算当前时间标签值所对应的可调度区域；

从时间标签值所对应的表项开始依次轮询所述转发等价类转发表的表项；

更新当前表项的出端口号为对应的调整后的出端口号，更新上次调度时间标签值为当前时间标签值。

10.根据权利要求9所述的网络节点，其特征在于，所述处理模块更新当前表项的出端口号为对应的调整后的出端口号之前，还包括：

判断所述当前表项的出端口为待调整出端口；和

判断所述当前表项的上次调度时间标签值是在可再次调度区域。

11.根据权利要求7所述的方法，其特征在于，所述处理模块在生成转发等价类转发表之前，还包括：

所述处理模块为接收的流的报文标记流创建时的时间标签。

12.一种TCP发送端，包括：

处理模块，用于执行以下步骤：创建流；为创建的流的报文标记流创建时的时间标签。

发送模块，用于发送流的报文。