CN112073334B - 虚拟高速公路 - Google Patents

Abstract

本发明为虚拟高速公路。一网内控制系统，通过虚拟数据高速公路，来最大化总网络吞吐量和/或最小化网络延迟。网内控制系统包括分布在网络系统上的多个组件子系统，维护和管理网络系统中的多个虚拟高速公路，其中虚拟高速公路是通过网络系统中多个固定点的可变或不变路径；在组件子系统中，为通过数据链路的传输层数据流临时存储数据包。通过泄漏桶、令牌桶或分层令牌桶算法实现流量成形，对发送到目的端点的数据流执行流量整形，以保持数据流明确的速率。每个链路控制器连接到网络系统中的多个传输层数据流的瓶颈链路上，每个链路控制器配备有数据存储缓冲区。链路控制器将通过数据链路的传输层数据流分类为不同的优先级，并且在同一队列中缓冲相同优先级流的数据；链路控制器可连接到无线基站。

Description

虚拟高速公路

技术领域

本发明涉及用于数据网络中的网内控制的方法、系统和协议，尤其涉及旨在最大化网络系统的总吞吐量和最小化网络系统上的应用延迟的网内控制机制。

背景技术

流量工程（TE，Traffic engineering）是通过动态调节包路由和包传输来优化数据网络性能的科学。路由和传输都是控制的概念；因此，TE系统是控制系统。如今，TE方法专注于缓解拥塞和负载平衡。这些方法都从端到端的角度优化网络性能；反之，本发明的目的是通过网内控制来优化整个系统的吞吐量和延迟。

在许多当前的TE系统中，反馈和控制发生在网络边缘。这种设计降低了TE系统控制数据流的能力。这是显而易见的，因为拥塞和包丢失通常发生在网络内，纠正措施也应该在网络内。因为这个原因，现有的TE系统性能低、成本高。最近，随着谷歌、微软和亚马逊等大公司推广SDN（software-defined networking，软件定义网络）新技术，这种趋势已经逆转。在新的趋势下，TE系统变得更加中心化，因而违背了端到端原则。

根据控制理论，端到端设计是输出反馈的一种特殊形式；众所皆知，这种设计劣于状态反馈设计。其实，端到端原则是一种发展互联网的商业战略，而其作为技术的价值却被夸大了。TE系统的一个主要问题是观测和控制之间的长延迟。在系统论中，有时滞的系统是无限维的，对其控制也是困难的。今天，网络工程师已经开始理解网络控制系统必须被视为一个中心化的系统。本发明提供一类TE系统，通过虚拟数据高速公路，来最大化总网络吞吐量和/或最小化网络延迟。

此后，网络系统中的“流（stream）”或“数据流（flow）”是指网络系统中传输层会话的数据流。此外，术语词“流”和“数据流”可以互换使用。

发明内容

本发明的各个方面涉及提供系统、协议和方法，以最大化网络系统的总吞吐量和/或最小化虚拟数据高速公路上的网络延迟。

在一个具体实例中，网络内控制系统，包括分布在网络系统上的多个组件子系统，维护和管理网络系统中的多个虚拟高速公路。术语“网内”是指控制系统不符合端到端原则。

在一个具体实例中，虚拟高速公路有3种不同类型。在类型A中，虚拟高速公路是让数据包通过的固定虚拟电路或固定电路。在类型B中，虚拟高速公路不是固定路径，而是网络系统中包含多个固定点的可变路径。固定点可以是个网络设备，如网关、代理服务器、中间盒、路由器、交换机路由器、或专用网络盒。在AB型中，一虚拟高速公路部分是A型公路，部分是B型公路。例如，一个AB型虚拟高速公路可以包括由A型电路或虚拟电路组成一个路段，而其余的路段是B型可变路径。虚拟高速公路系统是一组连接的虚拟高速公路。

在一个具体实例中，使用TCP（transmission control protocol，传输控制协议）、UDP（user datagram protocol，用户数据报协议）或其他传输层协议的数据流通过入口匝道使用虚拟高速公路系统，而入口匝道对进入高速公路系统的数据流进行通行控制。入口匝道通常也用作离开高速公路系统的数据流的出口匝道。

在一个具体实例中，虚拟高速公路系统包括多个流量控制器，每个控制器配备用于临时存储数据流数据的存储设备。在一个具体实例中，流量控制器连接到高速公路系统中的数据链路，其存储设备配置为存储通过该链路数据流的数据包。这种流量控制器称为链路控制器。有时，入口或出口匝道包括至少一个连接的控制器；入口或出口匝道也可称为流量控制器。

在一个具体实例中，控制器具有足够的缓冲空间，以存储通过控制器的数据流数据，而最长存储时间为一个固定时间段。固定时间段有时选择为0.5秒。比如，在一个链路控制器上，所连接的数据链路的线路速度为10Gbps（10千兆位/秒），那么，在控制器上可存储的0.5秒等效数据量为5Gb（=0.5秒×10Gb/s）。在一具体实例中，固定时间可以大到5-10秒。

根据本发明的一方面，并非所有通过虚拟公路系统中一个链接的数据流都被放入控制器缓冲区。链路控制器根据数据流类型进行分类，数据流可分为突发(bursty) 或非突发(non-bursty)、短或长、实时或非实时。在一个具体实例中，只有非突发、或长流量，或非实时流量在链路控制器上进行缓冲。

在一具体实例中，链路控制器处的流类型由IP（Internet protocol，协议）包中的TOS/DSCP（type of service/differentiated services code point，服务类型/差分服务码位）标记确定。在一实施例中，TOS标记由服务器在客户机-服务器应用程序（例如，HTTP，hypertext transfer protocol，超文本传输协议应用程序）中执行。

在一个具体实例中，有关链路控制器处的某数据流的额外信息通过特殊SYN（synchronize，同步）或FC（flow control，数据流控制）包接来传达，这些包可由服务器，或客户端，或链路控制器发送，这些包指示某数据流所需的吞吐量、总数据量和流类型。

如果数据流的数据存储在公路系统的控制器上，经过短暂的缓冲期或立即不延迟地，控制器将其缓冲数据发送到数据流的目的端点。当控制器向目的发送缓冲数据时，对数据流执行流量整形。流量整形可以通过包策略来实现，包策略可以通过泄漏桶(leakybucket)、令牌桶 (token bucket)，或分层令牌桶（HTB，hierarchical token bucket）算法，或包调度算法来实现。根据本发明的一方面，流量整形的使用防止数据流的包在数据流的整个路径中丢失。控制器对发送到传输目的地的流进行流量整形，使成形的流量保持显式速率。 执行流量整形的控制器与发送端之间的来回延迟（RTT， round trip time）不超过一固定时间，如100 或50 毫秒。

在一具体实例中，在链路控制器上，一组数据流的数据被引导到链路控制器的高优先级队列，而另一组数据流的数据被引导到链路控制器的低优先级队列。在高优先级队列中缓冲数据的发送的流量由链路控制器积极控制，而在低优先级队列中缓冲数据的流量则不由链路控制器积极控制。在一个具体实例中，高优先级队列中的缓冲空间至少比低优先级队列大10倍。

在一具体实例中，当链路控制器检测到某数据流行为不当时，链路控制器可以将该流从高优先级队列切换到低优先级队列。例如，如果该流的数据最初是以高优先级队列缓冲的，那么在链路控制器确定该流的行为不当之后，该流的数据将被重导到低优先级队列。

根据本发明的一方面，链路控制器应连接到多个流的瓶颈链路。数据流的瓶颈链路定义如下：对某数据流而言，与路径中的所有其他链接相比，该流的瓶颈链接是流路径中带宽可用量最小的一链接。在实际网络中，流的瓶颈可从一个链接转移到另一个链接。选择数据链路以放置链路控制器的一种方法是基于丢弃的数据包或字节总数。例如，可以对网络系统中的一组数据链路进行调查，選出在某固定时间內丢弃的数据包或字节的平均总数最高的为放置链路控制器的链接；固定时间可定为1至12小时，或一周。因此，在网络系统中，虚拟高速公路系统的一构建规则是：连接链路控制器到一数据链路，而该链路在固定时间段内丢弃数据包/字节的平均总数，比起其他相关链路要高。

在一具体实例中，放置链路控制器的一规则是：链路控制器连接到可用带宽可变性高的数据链路。例如，链路控制器可以连接到无线基站，例如Wi-Fi基站、蜂窝基站、卫星基站、微波回程基站，或自由空间光学基站。在另一个具体实例中，链路控制器连接到连接两大陆的光纤链路（该链路连接跨海洋的两点）。在另一具体实例中，链路控制器放置在具有长传播延迟的链路上；例如，卫星链路或海底光缆链路。在另一具体实例中，链路控制器放置在虚拟高速公路系统的入口匝道上。

在一具体实例中，在链路控制器处的某数据流上执行的流量整形的目的之一，是允许该流的发送方调整其速率，而使该流的数据不在该链路控制器连接的链路中被丢失。链路控制器还计算连接的链路中的多个流的显式速率。链路控制器计算的显式速率，通过FC、SYN或ACK包，可以发送给数据流发送方。

在一具体实例中，在虚拟高速公路系统中的链路控制器在彼此之间发送特殊的FC包。在一具体实例中，FC数据包使用虚拟公路系统携带关于多个流的控制信息。在一个具体实例中，FC数据包通知链路控制器某数据流的上游或下游瓶颈带宽，其中该流由流（或传输层会话）ID辩识。这些FC包对也可载有多个流的显式速率。这些FC包也可由使用虚拟高速路的数据流的端点发送和接收。

在一个具体实例中，链路控制器连接到无线链路，也对无线链路中丢失的数据包执行重传。通常在链路层由ARQ（自动重复请求automatic repeat request）机制执行重传。但除了链路层的重传之外，链路控制器执行传输层重传。通常，链路控制器临时存储数据包（从有线侧接收），直到无线链路另一端的端点确认数据包收到为止。链路控制器通过检查反馈数据包（如TCP ACK包或其他FC包）来检测传输层的数据包丢失。当链路控制器检测到第4层数据包丢失时，链路控制器将所存储的丢失数据包重新传输到无线链路另一端的端点。

在另一具体实例中，链路控制器连接到无线链路，对要通过无线链路发送的数据包执行FEC（forward error correction前向纠错）编码。链路控制器通过检查从无线链路另一端的端点发送的反馈数据包来收集数据包丢失的统计信息。统计数据是以用户设备为基础收集的：收集通过无线链路连接同一用户设备（例如，由IP地址指示用户设备）的所有传输层丢包信息。链路控制器还可以从链路层（通过无线链路）收集与用户设备（IP地址或MAC media access control地址）相关联的丢包统计信息。链路控制器通过机器学习、统计方法，或一组启发式规则，确定要使用的FEC编码方案。

图1描述了网内控制系统的一实例，其中控制系统包括多个链路控制器。

图2描述了虚拟高速公路的一个实例，其中公路系统包括多个虚拟公路箱，并带有入口/出口匝道。

附图说明

图1为本发明实施例提供的网内控制实现系统的示意图。图2为本发明实施例提供的虚拟高速公路的示意图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

在具体实施中，如图1所示，网络内控制系统，包括分布在网络系统上的多个组件子系统，维护和管理网络系统中的多个虚拟高速公路。

如图2所示，虚拟高速公路有3种不同类型。在类型A中，虚拟高速公路是让数据包通过的固定虚拟电路或固定电路。在类型B中，虚拟高速公路不是固定路径，而是网络系统中包含多个固定点的可变路径。在AB型中，虚拟高速公路部分是A型公路，部分是B型公路。

如图2所示，使用TCP（transmission control protocol，传输控制协议）、UDP（user datagram protocol，用户数据报协议）或其他传输层协议的数据流通过入口匝道使用虚拟高速公路系统，而入口匝道对进入高速公路系统的数据流进行通行控制。入口匝道也用作离开高速公路系统的数据流的出口匝道。

如图2所示，虚拟高速公路系统包括多个流量控制器，每个控制器配备用于临时存储数据流的存储设备。流量控制器连接到高速公路系统中的数据链路，其存储设备配置为存储属于通过该链路数据流的数据包。

控制器具有足够的缓冲空间，以存储通过控制器的数据流的数据，最长存储时间为一个固定时间段。固定时间段有时选择为0.5秒。比如，在一个链路控制器上，所连接的数据链路的线路速度为10Gbps（10千兆位/秒），那么，在控制器上可存储的0.5秒等效数据量将为5Gb（=0.5秒×10Gb/s）。在一具体实例中，固定时间可以大到5-10秒。

如图2所示，链路控制器处的流类型由IP（Internet protocol，协议）包中的TOS/DSCP（type of service/differentiated services code point，服务类型/差分服务码位）标记确定。在一个实施例中，TOS标记由服务器在客户机-服务器应用程序（例如，HTTP，hypertext transfer protocol，超文本传输协议应用程序）中执行。

有关链路控制器处的某数据流的额外信息通过特殊SYN（synchronize，同步）或FC（flow control，数据流控制）或ACK（acknowledge）包接来传达，这些包可由服务器或客户端或链路控制器发送，这些包指示某数据流所需的吞吐量、总数据量和流类型。

如图2所示，当控制器向目的端发送缓冲数据时，对数据流执行流量整形。流量整形可以通过包策略来实现，包策略可以通过泄漏桶(leaky bucket)、令牌桶 (tokenbucket)或分层令牌桶（HTB，hierarchical token bucket）算法，或包调度算法来实现。根据本发明的一方面，流量整形的使用防止数据流的数据包在数据流的整个路径中丢失。控制器对发送到传输目的地的流进行流量整形，使成形的流量保持显式速率。

如图2所示，在一具体实例中，在链路控制器上，一组数据流的数据被引导到链路控制器的高优先级队列，而另一组数据流的数据被引导到链路控制器的低优先级队列。在高优先级队列中缓冲数据的发送的流量由链路控制器积极控制，而在低优先级队列中缓冲数据的流量则不由链路控制器积极控制。在一个具体实例中，高优先级队列中的缓冲空间至少比低优先级队列大5到10倍。

当链路控制器检测到某数据流行为不当时，链路控制器可将该流从高优先级队列切换到低优先级队列。例如，如果该流的数据最初是以高优先级队列缓冲的，那么在链路控制器确定该流的行为不当之后，该流的数据将被重导到低优先级队列。

链路控制器应连接到多个流的瓶颈链路。在实际网络中，流的瓶颈可从一个链接转移到另一个链接。选择数据链路以放置链路控制器的一种方法是基于丢弃的数据包或字节总数。例如，可以对网络系统中的一组数据链路进行调查，選出在某固定时间內丢弃的数据包或字节的平均总数最高的为连接控制器的链路；固定时间可定为1至12小时，或一周。因此，在网络系统中，虚拟高速公路系统的一构建规则是：连接链路控制器到一数据链路，而该链路在固定时间段内丢弃数据包/字节的平均总数，比起其他相关链路要高。

如图2所示，放置链路控制器的一规则是：链路控制器连接到可用带宽可变性高的数据链路。例如，链路控制器可以连接到无线基站，例如Wi-Fi基站、蜂窝基站、卫星基站、微波回程基站，或自由空间光学基站。在另一个具体实例中，链路控制器连接到一跨海洋的光纤链路。在另一具体实例中，链路控制器放置在具有长传播延迟的链路上；例如，卫星链路或海底光缆链路。在另一具体实例中，链路控制器放置在虚拟高速公路系统的入口匝道上。

链路控制器对某数据流执行的流量整形的目的之一，是允许该流的发送方调整其速率，而使该流的数据不在该链路控制器连接的链路中被丢失。链路控制器还计算连接的链路中的多个流的显式速率。链路控制器计算的显式速率，通过FC、SYN或ACK包，可以发送给数据流发送方。

如图2所示，在虚拟高速公路系统中的链路控制器在彼此之间发送特殊的FC包。在一个具体实例中，FC数据包使用虚拟公路系统携带关于多个流的控制信息。在一个具体实例中，FC数据包通知链路控制器某数据流的上游或下游瓶颈带宽，其中该流由流（或传输层）ID辩识。这些FC包对也可载有多个流的显式速率。这些FC包也可由使用虚拟高速路的数据流的端点发送和接收。

链路控制器连可接到无线链路，也对无线链路中丢失的数据包执行重传。通常在链路层由ARQ（自动重复请求automatic repeat request）机制执行重传。但除了链路层的重传之外，链路控制器执行传输层重传。通常，链路控制器临时存储数据包（从有线侧接收），直到无线链路另一端的端点确认数据包收到为止。链路控制器通过检查反馈数据包（如TCP ACK包或其他FC包）来检测传输层的数据包丢失。当链路控制器检测到第4层丢失时，链路控制器将所存储的丢失数据包重新传输到无线链路另一端的端点。

链路控制器连接到无线链路，对要通过无线链路发送的数据包执行FEC（forwarderror correction前向纠错）编码。链路控制器通过检查从无线链路另一端的端点发送的反馈数据包来收集数据包丢失的统计信息。统计数据是以用户设备为基础收集的：通过无线链路连接同一用户设备的所有数据包丢失信息都可以收集。链路控制器还可以从链路层请求和收集与用户设备相关联的丢包统计信息。

Claims (3)

1.一种虚拟高速公路系统，其特征在于，包括分布在网络系统上的多个组件子系统，所述多个组件子系统包括：

在网络系统中维护和管理的多条虚拟高速公路，其中所述虚拟高速公路是通过网络系统中多个固定点的可变或不变路径；

第一组件子系统，用于通过数据链路的传输层数据流临时存储数据包，并将存储在所述数据流中的数据包重新发送到目标端点，通过泄漏桶、令牌桶或分层令牌桶算法对一部分重新发送的数据流执行流量整形；

第二组件子系统，用于对一部分发送到目的端点的数据流执行流量整形，以保持确定的速率；

其中，执行流量整形的控制器与发送端之间的来回延迟不超过50毫秒；

其中，通过组件子系统上的数据链路的数据流被划分为不同的优先级，并且同一类的数据流被导向到相同的数据队列，而高优先级的重新发送的数据流由组件子系统执行流量整形；

其中，所述第一组件子系统和所述第二组件子系统还包括：检测通过数据链路的数据流的行为，并且当确定某数据流有不当行为时，将该数据流重新分类为较低优先级；

其中，所述第一组件子系统和所述第二组件子系统还包括：计算通过数据链路的传输层数据流的显式速率，并通过SYN（synchronize同步）或FC（flow control流控制）包或ACK（acknowledgment确认）包将显式速率发送给数据流的发送方。

2.一种虚拟高速公路系统，其特征在于，包括分布在网络系统上的多个链路控制器，其中：

每个链路控制器连接到网络系统中的多个传输层数据流的瓶颈链路上，其中所述瓶颈链路是在数据流的路径中丢包几率最高的数据链路，或是在数据流的路径中带宽可用份额最低的数据链路；

每个链路控制器配备有数据存储缓冲区，用于存储数据链路上多个传输层数据流的数据，并通过流量整形将一部份数据流的缓冲数据发送到目的端点；和

每个链路控制器将通过数据链路的传输层数据流分类为不同的优先级，并且在同一队列中缓冲相同优先级流的数据；

其中链路控制器通过流量整形高优先级数据流，从而使该流量保持在显式速率；

其中部分链路控制器为连接到海底光缆链路的数据链路，或连接到Wi-Fi基站、蜂窝基站、卫星基站、微波回程基站或自由空间光学基站在内的无线基站的数据链路；

其中链路控制器计算通过数据链路的传输层数据流的显式速率，并通过SYN（synchronize同步）或FC（flow control流控制）包或ACK（acknowledgment确认）包将显式速率发送给数据流的发送方。

3.一种虚拟高速公路系统，其特征在于，包括分布在网络系统上的多个链路控制器，其中：

每个链路控制器配备有数据存储缓冲区，用于存储数据链路上多个传输层数据流的数据，并通过流量整形将一些数据流的缓冲数据发送到目标端点；

每个链路控制器将通过数据链路的传输层数据流分类为不同的优先级，并且在同一队列中缓冲相同优先级流的数据；以及

多个链路控制器连接到Wi-Fi基站、蜂窝基站、卫星基站、微波回程基站或自由空间光学基站在内的无线基站；

其中连接到无线基站的链路控制器通过基站重新传输在传输层中丢失的数据包，或者对要通过基站发送给用户设备的数据执行FEC（forward error correction前向纠错）编码。