CN112889243A - 使用具有凸起检测的单向延迟噪声滤波器进行可用网络带宽估计 - Google Patents

Abstract

提供用于使用具有凸起(bump)检测的单向延迟噪声滤波器来进行可用网络带宽估计的系统和方法。方法包括：接收针对通过电信路径发送的探测序列中的每个探测分组的单向延迟测量结果；基于单向延迟测量结果将探测分组分成多个对；对于每个对，基于在该对中的后传输的探测分组之后传输的所有探测分组的单向延迟测量结果，来计算相应的噪声阈值；根据噪声阈值和针对多个对的探测分组的单向延迟测量结果，选择多个对中的一个对；以及基于所选择的对中的探测分组的传输时间，来估计电信路径上的可用带宽。

Description

使用具有凸起检测的单向延迟噪声滤波器进行可用网络带宽 估计

背景技术

带宽测量是任何网络流量工程解决方案(包括用于SDWAN解决方案的那些)的重要部分。为了对网络上的流量进行适当地路由和负载平衡，知道网络上有多少可用带宽是有用的。

在封闭的系统中，可以在流量的路径上收集网络设备中的每个网络设备上的直接测量结果。但是，在许多情况中，可能无法使用直接测量，例如，当网络设备可能在不同的管理域中时，或者在它们可能被隧道或路由封装隐藏的情中下。软件定义广域网(SD-WAN)就是这种情况，其中SD-WAN网关尝试将流量引导到因特之上的最佳路径。

附图说明

根据一个或多个各种实施例，参考以下附图详细描述本公开。附图仅出于说明目的而被提供，并且仅描绘了通常的或示例的实施例。

图1是根据一个实施例的用于使用探测序列来估计可用带宽的系统的框图。

图2示出了根据一个实施例的探测序列的定时特性。

图3是针对通过网络路径以降低的速率(即，以增加的离开间隔时间(IDT))发送的18个探测的探测序列的相对单向延迟(OWD)的图。

图4是根据一个实施例的用于估计网络路径上的可用带宽的示例计算组件或设备的框图。

图5示出了针对图3的探测序列的噪声阈值。

图6描绘了示例计算机系统的框图，可以在其中实施本文描述的各种实施例。

附图不是穷举的，并且不将本公开限制为所公开的精确形式。

具体实施方式

广域网(WAN)可以跨多个域存在，无论它们是地理域、管理域还是组织域。WAN的管理员可能没有对WAN跨越的所有域的管理访问权限。这种拓扑的一个示例是软件定义WAN(SD-WAN)，其中支路网络(例如企业的园区)通过因特网经由一个或多个安全隧道而被连接到核心网络(例如企业的总部)。尽管用于这种SD-WAN的网络管理员可以对支路网络和核心网络中的网络基础设施设备(例如，控制器、交换机、路由器、网关等)具有管理控制权，但管理员对贯穿因特网的介入网络基础设施设备没有管理控制权。

对WAN的介入因特网链路的完全管理控制权的这种缺乏使得无法直接测量网络路径的性能。当网络中的两个设备之间存在一个以上路径来收发数据时，这些路径中每个路径的性能数据可以被使用，以选择用于转发这种数据的优选路径。这可以减少延时，增加跨所有网络路径的吞吐量，并且减少由于网络基础设施设备而导致的丢包的可能性，再次参考SD-WAN示例，可能无法直接测量一个或多个安全隧道的性能，一个或多个安全隧道将支路网络中的设备(例如用户设备、服务器等)与核心网络中的设备连接。但是，确定使用哪个安全隧道可以通过降低使隧道中的一个隧道饱和(即，发送比该隧道在不降低性能的情况下可以处理的数据更多的数据)的可能性来改进网络效率。

当直接测量不可能时，可以从可以被控制并且可以被用于测量的两个设备执行带宽估计。这通常通过使用特制的探测分组来探测网络路径而被执行，该特制的探测分组从路径中的一端上的设备(发送器)被发送到路径中的另一端上的设备(接收器)。接收器端设备测量分组的接收时间以及分组单向延迟/时间模式的改变，来估计路径特性，诸如路径容量、可用带宽和/或块传输容量。路径容量是在网络路径空闲(即没有任何竞争流量)的情况下每单位时间可以发送的最大流量体积的量。可用带宽(ABW)是剩余/残留的路径容量，即当前未被其他流量使用的容量。块传输容量(BTC)是如果将TCP连接放在该网络路径上时将获得的带宽。延时是指从发送器到接收器的单向延迟(OWD)；并且往返时间(RTT)是发送器和接收器之间的双向延迟。

针对端到端网络路径估计的主要方法是主动探测。在因特网路径的一端处的设备将特殊探测分组发送到在因特网路径的另一端处的设备。这些分组仅被用于估计带宽，并且不会携带超出网络路径估计本身所需的数据有效负载的实际数据。

利用主动探测，发送器发送一系列特制的探测分组模式。分组模式由估计技术限定，并且被设计为在网络路径上触发来自网络元件的特定行为。例如，在许多情况中，分组模式是探测序列。分组和分组传输之间的间隔被选择，以探测跨分组模式的各种带宽。接收器测量分组的接收时间，计算每个分组的单向延迟(例如，分组从发送器设备到达接收器设备所花费的时间)，并且检查对分组模式的改变。估计技术使用简化的网络模型，以将这些测量结果转换为对各种网络路径特性的估计。

存在两种主要类别的带宽估计技术，使用探测间隙模型的那些类别，以及使用探测速率模型的那些类别。对于探测间隙模型，假设的是，两个紧密发送的分组将看到它们之间的间隙沿着路径与负载最大队列上的负载成比例增加(由于该队列上的排队延迟)。对于探测速率模型，假设的是，当分组以低于瓶颈带宽的速率被发送时，流量模式将大部分保持不变，而当分组以大于路径瓶颈上的可用带宽的速率被发送时，那些分组将由于拥塞而遭受额外的排队延迟。

一种用于可用带宽估计的技术被称为PathCos++。PathCos++技术在以下文档中被描述：“A Novel Hybrid Probing Technique for End-to-End Available BandwidthEstimation”，Lin等人，35th Annual IEEE Conference on Local Computer Networks，2010。根据PathCos++，探测的序列通过要被测量的路径以减小的速率被发送。接收器测量两个等拥塞点之间的接收探测速率。图3是针对通过网络路径以降低的速率(即，以增加的IDT)发送的18个探测的探测序列的相对OWD的图的示例。如在图3中可以看到的那样，该图描绘了“凸起”。等拥塞点是在凸起的相对侧上具有类似OWD测量结果的点。

PathCos++和一些其他带宽估计技术使用凸起检测算法来选择这两个等拥塞点。但是，凸起检测算法对分组接收定时中的噪声非常敏感。在许多情况中，这种噪声阻止算法找到正确的点对，这可能导致带宽估计中的大误差。

图1是用于使用探测序列来估计可用带宽的示例系统100的框图。在该示例中，系统100包括发送器102，发送器102通过网络106中的网络路径104连接到接收器108。示例系统100还包括网络控制器110。发送器102和接收器108中的每个可以被实现为网络设备，例如，诸如交换机、路由器、网关、服务器、客户端等。

在操作中，在112处，发送器102生成包括多个分组的探测序列，并且在114处，通过网络路径发送分组。在116处，接收器108接收分组，并且在118处，基于分组来估计可用带宽。接收器108向网络控制器110提供可用带宽估计。在120处，网络控制器110可以利用可用带宽估计来执行网络流量工程等。

图2示出了根据一个实施例的探测序列的定时特性。三个分组被示出：P.1、P.2和P.3。这三个分组在离开发送器时都在图1的上部中被示出，在到达接收器时在图的下部中被示出。图2图示了出发间隔时间(IDT)、到达间隔时间(IAT)和单向延迟(OWD)。分组的IDT是发送分组和发送先前分组之间的时间量。IDT可以从期望的探测速率来被计算，IDT＝分组大小/探测速率。发送器在发送分组时很少完全准确，因此分组的实际IDT可能与期望/理论的IDT不同。在各个实施例中，所公开的技术使用期望IDT和实际IDT两者工作，但是实际IDT通常提供更好的结果。分组的到达间隔时间(IAT)是接收分组和接收先前分组之间的时间量。

分组的OWD主要通过如下项被管控：网络路径的传播延迟、路径的最慢链路的传输时间以及路径中所有网络元件中的累积排队延迟。针对每个分组i，OWD可以被计算为：

OWD(i)＝pd+st(size)+sum(qd(e，i))

其中：

pd->总传播延迟；

st(size)->针对该分组大小的最慢传输时间；以及

qd(e，i)->在元件e处针对分组i的排队延迟。

这些网络路径估计技术可以采取相当简单的排队模型，其中qd(e，i)是当分组i到达时，在元件e处的拥塞的函数。

为了测量分组的离开时间和到达时间，发送器和接收器使用不同时钟，该不同的时钟可能未被完全同步。因此，可能难以准确地测量分组的OWD。幸运的是，在大多数情况中，重要的不是分组的绝对OWD，而是不同分组的OWD之间的差异。在探测序列的短时间内，时钟漂移可忽略，并且因此时钟之间的差异可以在可接受的精确度范围内。所公开的技术可以使用该相对OWD来进行分组测量。针对每个分组，分组的相对OWD可以是该分组的OWD与每个探测序列固定常数之间的差。例如，它可以是该分组的OWD与探测序列的第一分组的OWD之间的差异。该相对OWD估计一个分组相对于另一个分组的额外排队延迟，并且可以是正值或负值。

如果没有分组丢失并且没有分组重新排序，则分组以相同的顺序被发送和接收。在这种情况中，每个分组的IAT、IDT和OWD直接相关。如果OWDp是先前分组的单向延迟，并且OWDc是当前分组的单向延迟，则IAT可以通过下式被给出：

IAT＝OWDc-OWDp+IDT

图3是针对通过网络路径以降低的速率(即，以增加的IDT)发送的18个探测的探测序列的相对OWD的图的示例。在一些实施例中，每个探测仅包括一个探测分组。在其他实施例中，如下所述，每个探测包括多个探测分组。

在图3中，可以看出，该图形成了“凸起”，并且可以使用凸起检测算法(BDA)来定位凸起。凸起的顶部表示最大的相对OWD，并且指示瓶颈带宽。为了计算瓶颈带宽，需要一对分组。BDA的目标是在OWD中的大凸起的两侧上选择具有相似OWD的代表性分组对。因为该分组对被用来估计可用带宽，所以可用带宽估计的质量仅与那些分组的选择一样好。

探测序列以降低的速率被发送。因此，探测序列首先造成网络路径的拥塞(以高于瓶颈的速率被发送)，并且然后将该网络路径解除拥塞(以低于瓶颈的速率被发送)。这意味着跨探测序列，分组的OWD首先由于拥塞而增加，然后由于解除拥塞而减少。OWD中的凸起的峰值表示最大拥塞的时间。具有类似OWD的分组应当已经经历了类似的拥塞(类似的排队量)。

BDA优选第选择相同拥塞时段的分组部分。如果它们不是相同拥塞时段的一部分，则这两个分组之间可能存在一些空闲时间，并且在这种情况中，除了分组探测的速率低于可用带宽的事实之外，可说的不多。如果两个分组是相同拥塞时段的一部分并且具有相似的拥塞，则这两个分组之间的探测的总体速率对拥塞具有相当中性的贡献，这意味着探测的总体速率接近可用带宽。

为了避免OWD的粒度问题，并且为了在时间上具有更好的平均，BDA可以被实现为将一对分组尽可能地远地分开定位。因此，它可以在探测序列中寻找在它们之间具有最大时间的分组。但是，为了满足模型要求，这两个分组之间的网络路径必须保持拥塞，这意味着这两个分组必须是OWD凸起的一部分。实际上，BDA尝试在OWD凸起的底部周围找到两个分组。

理论上，探测序列中OWD的增加指示拥塞增加，但是实际上，OWD测量结果非常嘈杂。这种噪声是由于各种网络元件的不完美和非理想行为以及其他分组调度约束引起。

OWD中的这种噪声直接影响BDA算法。嘈杂的OWD值可能导致BDA选择具有相似OWD的两个分组，该两个分组实际上没有经历相同水平的拥塞，或者选择不是相同拥塞时段的一部分的分组。这导致不正确的可用带宽估计。

PathCos++的BDA可能被在公共网络路径上测量的通常OWD挑战。例如，在是最佳场景的空闲以太网链路上，BDA具有相当高的错误率。此外，PathCos++经常低估可用带宽，并且在一些情况中，所选择的该对分组不是相同拥塞时段的一部分。

测量噪声的主要来源是分组的批处理。当在队列中，分组作为组而不是个体地被处理时，分组的批处理发生。该分组的批处理可以严重影响分组的OWD。该组的较早分组必须等待组被处理并且看到它们的OWD虚假地膨胀，而该组的最后一个分组等待较少的时间，并且因此具有较低的OWD。

PathChirp(一种非常流行的带宽估计技术)的创造者标识了分组的批处理的常见来源，中断了接收器网络接口卡(NIC)中的合并。他们的解决方案每个探测采用多个分组。探测序列由多个探测组成，每个探测在网络路径上测试特定的速率。当批处理缓解被使能时，发送器将对每个探测发送多个分组，而不是每个探测发送单个分组。探测的所有分组以相同的速率被发送，并且因此具有相同的IDT。接收器对分组进行过滤，并且针对每个探测仅选择单个分组，即估计最少遭受分组批处理的分组。BDA仅在所选择的分组上运行，而不是在所有接收的分组上运行。

图4是根据一个实施例的、用于估计网络路径上的可用带宽的示例计算组件或设备400的框图。计算组件400可以是例如服务器计算机、控制器或能够处理数据的任何其他类似的计算组件。在图4的示例实现中，计算组件400包括硬件处理器402和机器可读存储介质404。在一些实施例中，计算组件400可以是图1的发送器102、接收器108或网络控制器110的实施例，或其某种组合。

硬件处理器402可以是一个或多个中央处理单元(CPU)、基于半导体的微处理器和/或适于取回和执行被存储在机器可读存储介质404中的指令的其他硬件设备。硬件处理器402可以取指、解码和执行诸如指令406-414等指令，以控制用于估计网络路径上的可用带宽的过程或操作。作为取回和执行指令的备选或补充，硬件处理器402可以包括包含用于执行一个或多个指令的功能的电子组件的一个或多个电子电路，诸如现场可编程门阵列(FPGA)、专用集成电路(ASIC)或其他电子电路。

诸如机器可读存储介质404的机器可读存储介质可以是包含或存储可执行指令的任何电子、磁性、光学或其他物理存储设备。因此，机器可读存储介质404可以是例如随机存取存储器(RAM)、非易失性RAM(NVRAM)、电可擦可编程只读存储器(EEPROM)、存储设备、光盘等。在一些实施例中，机器可读存储介质404可以是非暂态存储介质，其中术语“非暂态”不涵盖瞬时传播信号。如以下详细描述的，机器可读存储介质404可以利用可执行指令(例如，指令406-414)进行编码。

硬件处理器402可以执行指令406，以接收针对通过电信路径发送的探测序列中的每个探测分组的单向延迟测量结果。OWD测量结果可以通过任何方法来被计算。例如，探测序列中的每个分组的OWD可以相对于探测序列中的第一分组的OWD而被测量。这种方法可以减少发送时钟和接收时钟之间的同步误差的影响，并且也可以减少OWD测量结果的位长。

所公开的技术可以包括新颖的技术，以减轻用于可用带宽估计的凸起检测算法中的OWD噪声。改进的BDA优选具有大于凸起后的OWD噪声的OWD的一对分组。

跨探测序列，OWD噪声通常不同。当网络路径不拥塞时，OWD噪声趋于变大，并且当网络路径拥塞时，OWD噪声还趋于变小。当网络路径拥塞时，调度更可预测，并且存在更少的抖动。此外，在较大的OWD的情况下，这种噪声在OWD的比例上减小更多。

先前的技术还倾向于选择太靠近凸起的底部的分组，即，选择具有相似OWD的最宽的对，并且冒着那些分组可能不在相同拥塞时段中的风险，如图5中所示。换句话说，这两个分组之间的瓶颈上存在空闲间隙。

所公开的技术优选高于凸起的底部的分组对，以避免OWD噪声。我们使用凸起后的非拥塞的OWD的统计测量作为OWD阈值，并且我们优选具有大于该阈值的OWD的分组对。

硬件处理器402可以执行指令408，以基于单向延迟测量结果将探测分组分成多个对。所公开的技术在分组批处理过滤和其他有效性过滤之后(即有资格执行带宽估计的分组)，选择多个候选分组对。每个分组对具有第一分组和第二分组，大部分基于它们的OWD而被选择，其中第一分组在第二分组之前被传输。例如，当探测分组中的两个探测分组具有相似的单向延迟测量结果，并且具有针对探测序列的最大单向延迟测量结果的探测分组在探测分组中的所述两个探测分组之间被传输时时，探测分组中的两个探测分组可以被分组成一对。

硬件处理器402可以执行指令410，以针对每个对，基于在该对中的后传输的探测分组之后传输的所有探测分组的单向延迟测量结果，计算相应的噪声阈值。针对每个分组对，系统使用该对的最后分组(在解除拥塞下，第二分组)之后的探测序列的所有分组的OWD，来计算统计信息。这些分组跟随拥塞，并且因此表示OWD噪声。在一些实施例中，系统计算那些尾随分组的OWD的平均(均值)和平均绝对偏差(MAD)，并且将两者组合以限定OWD阈值。我们当前的OWD阈值是平均加上偏差的1.5倍，大约是OWD噪声的85％。可以使用其他OWD阈值。在一些实施例中，计算针对一对的相应噪声阈值包括：计算在该对中的后传输的探测分组之后传输的所有探测分组的单向延迟测量结果的中间平均距离。在一些实施例中，计算针对一对的相应噪声阈值包括：计算在该对中的后传输的探测分组之后传输的所有探测分组的单向延迟测量结果的标准偏差。在一些实施例中，计算针对一对的相应噪声阈值包括：计算在该对中的后传输的探测分组之后传输的所有探测分组的单向延迟测量结果的累积分布函数。图5示出了针对图3的探测序列的噪声阈值502。OWD平均504也被示出以供参考。

此时，原始BDA可以过滤掉不满足凸起过滤器的候选分组对(凸起过滤器查看凸起的最高OWD、凸起高度和凸起宽度)，并且如果还有剩余的对，选择最宽的一对。硬件处理器402可以执行指令412，以根据噪声阈值502和针对多个对中的探测分组的单向延迟测量结果来选择多个对中的一个对。在一些实施例中，选择具有超过相应的噪声阈值502的最低单向延迟测量结果的对。如果存在满足凸起过滤器的分组对，并且其末尾分组的OWD高于OWD阈值，则选择最宽的分组对。否则，如果存在满足凸起过滤器的分组对，但末尾分组的OWD都没有高于OWD阈值，则选择具有最高OWD的分组对。

在图5的示例中，对506、508被选择。作为比较，先前的技术将选择对510、512。注意，对探测512不是凸起的一部分，因此探测510和512不是相同拥塞时段的一部分，并且因此将产生不准确的带宽估计。

硬件处理器402可以执行指令414，以基于所选择的对506、508中的探测分组的传输时间来估计电信路径上的可用带宽。存在许多这种带宽估计技术，例如，诸如原始PathCos++方法。一个示例是测量所选择的对的两个分组之间的探测分组的接收速率。

用于电信路径的带宽估计可以被用于执行针对包括电信路径的网络的网络流量工程。网络流量工程可以包括通过网络路由分组、执行针对网络的负载平衡等。对电信路径的带宽估计可以被用于选择要在电信路径上传输的传输控制协议(TCP)分组的传输速率。对电信路径的带宽估计可以被用于选择要在电信路径上传输的视频的视频编码率。对电信路径的带宽估计可以被报告给电信路径的用户。

所公开的技术的主要益处在于其性能。它改进了对分组对的选择，并且导致更好的可用带宽估计。另一个好处是，它是对许多最佳技术用来测量可用带宽的凸起检测算法(BDA)的简单修改。

图6描绘了其中可以实现本文中描述的各种实施例的示例计算机系统600的框图。计算机系统600包括总线602或用于传输信息的其他通信机制、与总线602耦合以处理信息的一个或多个硬件处理器604。(多个)硬件处理器604可以是例如一个或多个通用微处理器。

计算机系统600还包括耦合到总线602以存储将由处理器604执行的信息和指令的主存储器606，诸如随机存取存储器(RAM)、高速缓存和/或其他动态存储设备。存储器606还可以用于在要由处理器604执行的指令的执行过程中存储临时变量或其他中间信息。这样的指令在被存储在处理器604可访问的存储介质中时将计算机系统600渲染为被定制以执行在指令中所指定的操作的专用机器。

计算机系统600还包括耦合到总线602以存储用于处理器604的静态信息和指令的只读存储器(ROM)608或其他静态存储设备。诸如磁盘、光盘、USB拇指驱动器(闪存驱动器)等存储装置610被提供并且耦合到总线602以用于存储信息和指令。

计算机系统600可以经由总线602耦合到显示器612，诸如液晶显示器(LCD)(或触摸屏)，以用于向计算机用户显示信息。包括字母数字键和其他键的输入设备614耦合到总线602以用于将信息和命令选择传输到处理器604。另一种类型的用户输入设备是用于将方向信息和命令选择传输到处理器604并且控制显示器612上的光标移动的光标控件616，诸如鼠标、跟踪球或光标方向键。在一些实施例中，可以在没有光标的情况下通过接收触摸屏上的触摸来实现与光标控件相同的方向信息和命令选择。

计算系统600可以包括用于实现GUI的用户接口模块，GUI可以作为由(多个)计算设备执行的可执行软件代码而存储在大容量存储设备中。作为示例，该模块和其他模块可以包括诸如软件组件、面向对象的软件组件、类组件和任务组件等组件、过程、功能、属性、过程、子例程、程序代码段、驱动程序、固件、微码、电路系统、数据、数据库、数据结构、表、数组和变量。

总体上，本文中使用的单词“组件”、“引擎”、“系统”、“数据库”、“数据存储库”等可以是指在硬件或固件中体现的逻辑或以编程语言(例如，诸如Java、C或C++)编写的软件指令集合(可能具有入口点和出口点)。软件组件可以编译并且链接到可执行程序中，安装在动态链路库中，或者可以用诸如BASIC、Perl或Python等解释性编程语言编写。应当理解，软件组件可以从其他组件或从其自身调用，和/或可以响应于检测到的事件或中断而被调用。被配置为在计算设备上执行的软件组件可以在诸如光盘、数字视频盘、闪存驱动器、磁盘或任何其他有形介质等计算机可读介质上提供，或者作为数字下载而提供(并且可以最初以压缩或可安装格式存储，这种格式需要在执行之前进行安装、解压缩或解密)。这样的软件代码可以部分地或全部地存储在执行计算设备的存储设备上，以由计算设备执行。软件指令可以嵌入在诸如EPROM等固件中。还应当意识到，硬件组件可以包括诸如门和触发器等连接的逻辑单元，和/或可以包括诸如可编程门阵列或处理器等可编程单元。

计算机系统600可以使用与计算机系统相结合引起计算机系统600成为或将计算机系统600编程为专用机器的定制的硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实现本文中描述的技术。根据一个实施例，由计算机系统600响应于(多个)处理器604执行包含在主存储器606中的一个或多个指令的一个或多个序列来执行本文中的技术。这样的指令可以从诸如存储装置610等另一存储介质读取到主存储器606中。包含在主存储器606中的指令序列的执行引起(多个)处理器604执行本文中描述的处理步骤。在备选实施例中，可以使用硬连线电路代替软件指令或与软件指令相结合使用。

如本文中使用的，术语“非暂态介质”和类似术语是指存储引起机器以特定方式操作的数据和/或指令的任何介质。这样的非暂态介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，诸如存储装置610。易失性介质包括动态存储器，诸如主存储器606。常见形式的非暂态介质包括例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁性数据存储介质、CD-ROM、任何其他光学数据存储介质、带孔图案的任何物理介质、RAM、PROM和EPROM、FLASH-EPROM、NVRAM、任何其他存储芯片或盒式磁带以及它们的网络版本。

非暂态介质不同于传输介质但是可以与传输介质结合使用。传输介质参与非暂态介质之间的信息传输。例如，传输介质包括同轴电缆、铜线和光纤，包括构成总线602的导线。传输介质还可以采用声波或光波的形式，诸如在无线电波和红外数据通信期间生成的声波或光波。

计算机系统600还包括耦合到总线602的通信接口618。网络接口618提供到连接到一个或多个局域网的一个或多个网络链路的双向数据通信耦合。例如，通信接口618可以是用于提供到对应类型的电话线的数据通信连接的集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器。作为另一示例，网络接口618可以是用于提供到兼容LAN(或与WAN通信的WAN组件)的数据通信连接的局域网(LAN)卡。也可以实现无线链路。在任何这样的实现中，网络接口618发送和接收其携带表示各种类型的信息的数字数据流的电、电磁或光信号。

网络链路通常提供通过一个或多个网络到其他数据设备的数据通信。例如，网络链路可以提供通过本地网络到主机或由因特网服务提供商(ISP)操作的数据设备的连接。ISP依次提供通过现在通常称为“因特网”的全球分组数据通信网络的数据通信服务。局域网和因特网都使用携带数字数据流的电、电磁或光信号。通过各种网络的信号以及在网络链路上并且通过通信接口618的信号(这些信号携带去往和来自计算机系统600的数字数据)是传输介质的示例形式。

计算机系统600可以通过(多个)网络、网络链路和通信接口618发送消息和接收数据，包括程序代码。在因特网示例中，服务器可以通过因特网、ISP、局域网和通信接口618传输应用的所请求的代码。

所接收的代码可以在被接收时由处理器604执行，和/或被存储在存储装置610或其他非易失性存储器中以供后续执行。

前面各部分中描述的每个过程、方法和算法可以体现在由包括计算机硬件的一个或多个计算机系统或计算机处理器执行的代码组件中，并且可以完全地或部分地由这样的代码组件自动化。一个或多个计算机系统或计算机处理器还可以在“云计算”环境中或作为“软件即服务”(SaaS)操作以支持相关操作的性能。这些过程和算法可以在专用电路中部分或全部实现。上述的各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。不同的组合和子组合旨在落入本公开的范围内，并且在一些实现中可以省略某些方法或处理框。本文中描述的方法和过程也不限于任何特定顺序，并且与之相关的框或状态可以以其他适当的顺序执行，或者可以并行执行，或者以某种其他方式执行。框或状态可以被添加到所公开的示例实施例，或者从所公开的示例实施例中移除。某些操作或过程的执行可以分布在计算机系统或计算机处理器之间，不仅驻留在单个计算机内，而且可以跨多个计算机部署。

如本文中使用的，电路可以利用任何形式的硬件、软件或其组合来实现。例如，可以实现一个或多个处理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、逻辑组件、软件例程或其他机制来构成电路。在实现中，本文中描述的各种电路可以实现为分立电路，或者所描述的功能和特征可以在一个或多个电路之间部分或全部共享。即使功能的各种特征或元素可以单独描述或要求保护为单独的电路，但是这些特征和功能也可以在一个或多个公共电路之间共享，并且这样的描述将不需要或不暗示实现这样的特征或功能需要单独的电路。在使用软件全部或部分地实现电路的情况下，可以将该软件实现为与能够执行关于彼此所描述的功能的计算或处理系统(诸如计算机系统600)一起操作。

如本文中使用的，术语“或”可以以包括性或排他性含义来解释。此外，对单数形式的资源、操作或结构的描述不应当被理解为排除复数。除非另外明确说明或在所使用的上下文中另外理解，否则条件性语言(诸如“能够”、“能”、“可”或“可以”等)通常旨在表达某些实施例包括、而其他实施例不包括某些特征、元素和/或步骤。

除非另有明确说明，否则本文档中使用的术语和短语及其变体应当被解释为开放式的，而不是限制性的。形容词(诸如“常规”、“传统”、“正常”、“标准”、“已知”和类似含义的术语)不应当被解释为将所描述的项目限制为给定时间段或给定时间可用的项目，而是应当被理解为包含现在或将来任何时候可用或已知的常规、传统、常规或标准技术。在一些情况下出现宽泛的单词和短语(诸如“一个或多个”、“至少”、“但不限于”或其他类似的短语)不应当被理解为在这样的宽泛短语可能不存在的情况下意图或要求更窄的情况。

软件定义联网(SDN)是一种用于管理网络的方法。SDN限定API，API允许将网络元件的数据路径(分组转发)和控制平面(协议智能)解耦。换句话说，网络控制器(网络元件外部的实体)可以对该网络元件具有精细的控制和可见性。这可以被网络控制器使用，以动态地更改网络元件的策略，或以集中网络的控制平面和决策制定。

SDN方法也非常适于网络流量工程。SDN API通常限定测量和控制两者，并且因此使网络控制器能够测量网络并且指示流量的分布。

SDN的限制之一是，它假设网络控制器和网络元件之间的紧密耦合。这在小型到中型规模上可以很好地工作，但通常无法扩展到较大的网络。如果网络控制器和网络元件之间的网络具有有限的性能(例如，低带宽或高延时)，则其效率也会降低。此外，SDN方法通常不允许跨管理域边界，因为不同的实体只能信任彼此之间受控且有限的交互。

软件定义WAN(SD-WAN)技术提议使用SDN原理来管理WAN连接。这可以提供集中的可见性，并且可以控制组织的WAN连接。SD-WAN的另一个目标是降低WAN连接的成本。

SD-WAN降低成本的方式是通过因特网上的隧道来代替那些专用的WAN链路。在这种情况中，每个支路和位置具有连接到因特网的多个WAN链路，通常使用诸如DSL、CableModem或Wireless 3G的廉价消费者WAN技术进行连接。每个支路和位置中的特殊SD-WAN网关创建私有隧道(VPN隧道)，以通过WAN链路和因特网安全地连接到其他支路和位置。

代替专用WAN链路使能了WAN连接的成本降低。但是，消费者WAN技术和因特网无法提供与传统专用WAN链路相同的高可用性和服务质量保证。

SD-WAN解决方案处理该问题的常用方式是，使每个支路和位置中的SD-WAN网关具有到因特网的多个WAN链路。SD-WAN网关使用每个WAN链路在因特网上创建并行隧道，实现隧道切换，并且使用网络流量工程将流量定向到最合适的网络隧道，目的是最佳地使用可用网络容量。例如，如果SD-WAN网关检测到WAN链路断开，则它将把流量从该WAN链路引向不使用该特定WAN链路的隧道。

SD-WAN网关可以执行更高级的流量工程。例如，它可以在延时、可用带宽和吞吐量方面监测每个隧道的性能，然后对流量进行负载平衡，或将每种流量类型映射到最适合该流量的隧道。

网络流量工程通常着眼于网络流量、网络元件及其连接的属性，以帮助设计网络并且将流量定向到该网络中的不同路径上。适当的流量工程有助于增加网络性能并降低其成本。

网络流量工程的最简单形式之一是在主链路故障的情况中向要被使用的网络添加备用链路。多根树(诸如胖树)是提供许多这种并行路径的拓扑。它们已经被广泛研究，并且许多方法已经被提出以在这种拓扑上对分组进行负载平衡。因特网是更复杂的网络，其跨许多实体和管理域被拆分，并且因此针对因特网的流量工程要复杂得多。在因特网上，每个实体通常在其自己的域内进行相当高级的流量工程，并且通常通过边界网关协议(BGP)路由来管理跨域交互，这仅允许进行相当粗略的流量工程。

针对流量工程的大多数技术由三部分组成。第一部分是测量，其中流量和/或网络的一些属性被测量。第二部分是优化，其中流量的最佳分布被计算。第三部分是控制，其中网络被重新配置为实现所需的流量分布。

这种流量工程的关键组成是一种测量每个网络隧道的性能的方式。每个隧道限定跨因特网的网络路径。隧道化的分组由沿着网络路径的许多网络元件处理。由隧道使用的网络路径(在隧道外部)和隧道内部的网络路径在逻辑上不同(它们具有不同的端点地址)。但是，这两个网络路径通过相同的网络元件，并且在大多数情况中具有几乎相同的性能，并且具有强烈相关的性能特性。因此，可以通过测量隧道外部或内部的网络路径来进行对网络隧道的性能的测量。出于所公开的技术的目的，它们被认为是相同的网络路径。

Claims (20)

1.一种用于估计电信路径上的可用带宽的方法，所述方法包括：

接收针对通过所述电信路径发送的探测序列中的每个探测分组的单向延迟测量结果；

基于所述单向延迟测量结果，将所述探测分组分成多个对；

针对每个对，基于在所述对中的后传输的探测分组之后传输的所有探测分组的所述单向延迟测量结果，来计算相应的噪声阈值；

根据所述噪声阈值和针对所述多个对中的所述探测分组的所述单向延迟测量结果，选择所述多个对中的一个对；以及

基于所选择的所述对中的所述探测分组的传输时间，来估计所述电信路径上的所述可用带宽。

2.根据权利要求1所述的方法，其中将所述探测分组分成多个对包括：

当所述探测分组中的两个探测分组具有相似的单向延迟测量结果、并且具有针对所述探测序列的最大单向延迟测量结果的探测分组在所述探测分组中的所述两个探测分组之间被传输时，将所述探测分组中的所述两个探测分组分成对。

3.根据权利要求1所述的方法，其中针对一个对计算相应的噪声阈值包括以下至少一项：

计算在所述对中的所述后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果的平均；

计算距在所述对中的所述后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果的所述平均的中间平均距离；

计算在所述对中的所述后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果的标准差；以及

计算在所述对中的所述后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果的累积分布函数。

4.根据权利要求1所述的方法，其中选择所述多个对中的一个对包括以下至少一项：

选择具有超过所述相应的噪声阈值的最低单向延迟测量结果的所述对；以及

选择具有比所述相应的噪声阈值低的最高单向延迟测量结果的所述对。

5.根据权利要求1所述的方法，还包括：

基于所估计的所述带宽，执行针对包括所述电信路径的网络的网络流量工程。

6.根据权利要求5所述的方法，其中执行针对所述网络的网络流量工程包括以下至少一项：

通过所述网络路由分组；以及

执行针对所述网络的负载平衡。

7.一种系统，包括：

硬件处理器；以及

非暂态机器可读存储介质，利用所述处理器可执行的指令编码，所述机器可读存储介质包括用于使所述处理器执行用于估计电信路径上的可用带宽的方法的指令，所述方法包括：

接收针对通过所述电信路径发送的探测序列中的每个探测分组的单向延迟测量结果；

基于所述单向延迟测量结果，将所述探测分组分成多个对；

针对每个对，基于在所述对中的后传输的探测分组之后传输的所有探测分组的所述单向延迟测量结果，来计算相应的噪声阈值；

根据所述噪声阈值和针对所述多个对中的所述探测分组的所述单向延迟测量结果，选择所述多个对中的一个对；以及

基于所选择的所述对中的所述探测分组的传输时间，来估计所述电信路径上的所述可用带宽。

8.根据权利要求7所述的系统，其中将所述探测分组分成多个对包括：

当所述探测分组中的两个探测分组具有相似的单向延迟测量结果、并且具有针对所述探测序列的最大单向延迟测量结果的探测分组在所述探测分组中的所述两个探测分组之间被传输时，将所述探测分组中的所述两个探测分组分成对。

9.根据权利要求7所述的系统，其中针对一个对计算相应的噪声阈值包括以下至少一项：

计算在所述对中的所述后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果的平均；

计算距在所述对中的所述后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果的所述平均的中间平均距离；

计算在所述对中的所述后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果的标准差；以及

计算在所述对中的所述后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果的累积分布函数。

10.根据权利要求7所述的系统，其中选择所述多个对中的一个对包括以下至少一项：

选择具有超过所述相应的噪声阈值的最低单向延迟测量结果的所述对；以及

选择具有比所述相应的噪声阈值低的最高单向延迟测量结果的所述对。

11.根据权利要求7所述的系统，还包括：

基于所估计的所述带宽，执行针对包括所述电信路径的网络的网络流量工程。

12.根据权利要求11所述的系统，其中执行针对所述网络的网络流量工程包括以下至少一项：

通过所述网络路由分组；以及

执行针对所述网络的负载平衡。

13.根据权利要求7所述的系统，还包括以下至少一项：

基于所估计的带所述宽，选择针对要通过所述电信路径传输的传输控制协议(TCP)分组的传输速率；

基于所估计的所述带宽，选择针对要通过所述电信路径传输的视频的视频编码率；以及

向所述电信路径的用户报告所估计的所述带宽。

14.一种非暂态机器可读存储介质，利用交通工具的计算组件的硬件处理器可执行的指令编码，所述机器可读存储介质包括用于使所述硬件处理器执行用于估计电信路径上的可用带宽的方法的指令，所述方法包括：

接收针对通过所述电信路径发送的探测序列中的每个探测分组的单向延迟测量结果；

基于所述单向延迟测量结果，将所述探测分组分成多个对；

针对每个对，基于在所述对中的后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果，来计算相应的噪声阈值；

根据所述噪声阈值和针对所述多个对中的所述探测分组的所述单向延迟测量结果，选择所述多个对中的一个对；以及

基于所选择的所述对中的所述探测分组的传输时间，来估计所述电信路径上的所述可用带宽。

15.根据权利要求14所述的介质，其中将所述探测分组分成多个对包括：

当所述探测分组中的两个探测分组具有相似的单向延迟测量结果、并且具有针对所述探测序列的最大单向延迟测量结果的探测分组在所述探测分组中的所述两个探测分组之间被传输时，将所述探测分组中的所述两个探测分组分成对。

16.根据权利要求14所述的介质，其中针对一个对计算相应的噪声阈值包括以下至少一项：

计算在所述对中的所述后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果的平均；

计算距在所述对中的所述后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果的所述平均的中间平均距离；

计算在所述对中的所述后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果的标准差；以及

计算在所述对中的所述后传输的探测分组之后传输的所有所述探测分组的所述单向延迟测量结果的累积分布函数。

17.根据权利要求14所述的介质，其中选择所述多个对中的一个对包括以下至少一项：

选择具有超过所述相应的噪声阈值的最低单向延迟测量结果的所述对；以及

选择具有比所述相应的噪声阈值低的最高单向延迟测量结果的所述对。

18.根据权利要求14所述的介质，还包括：

基于所估计的所述带宽，执行针对包括所述电信路径的网络的网络流量工程。

19.根据权利要求18所述的介质，其中执行针对所述网络的网络流量工程包括以下至少一项：

通过所述网络路由分组；以及

执行针对所述网络的负载平衡。

20.根据权利要求14所述的介质，还包括以下至少一项：

基于所估计的所述带宽，选择针对要通过所述电信路径传输的传输控制协议(TCP)分组的传输速率；

基于所估计的所述带宽，选择针对要通过所述电信路径传输的视频的视频编码率；以及

向所述电信路径的用户报告所估计的所述带宽。

Images