CN107210970B - 用于在源节点与宿节点之间发送数据的方法 - Google Patents

Abstract

公开一种用于在经由异构网络的多条路径所连接的源节点与宿节点之间发送数据的方法，所述路径中的至少一条按非确知传送时间传送分组。将数据划分为帧，每个帧包括多个(N)分组，其中，信息分组p的宿节点进行的处理依赖于接收关于任何信息分组i的数据，其中，i<p。对于每条网络路径k分配多个依次传输时隙s，每个依次传输时隙用于发送帧的给定分组p。提供关于帧的分组对传输时隙的可能分配x的集合D。所述方法包括：基于分组对它们的宿的期望到达时间以及关于分组的期望重排延迟确定具有所述分组的最小有序传送延迟的分配x。然后根据所确定的分配x发送分组。

Description

用于在源节点与宿节点之间发送数据的方法

技术领域

本发明涉及一种在经由异构网络的多条路径所连接的源节点与宿节点之间发送数据的方法。

背景技术

沿着网络的多条路径在源节点与宿节点之间发送数据至少在原理上得以良好地组织为有效技术，以改进性能(减少延迟，增加吞吐量等)和适应性(如果一条路径破坏，则连接可以优雅地转移到其余路径)。

这些源节点和宿节点将典型地包括多个网络接口，每个网络接口使用不同的技术以接入互联网(例如蜂窝网络或固定接入网以及有线本地接入网或无线本地接入网)。这些技术关于覆盖度、容量、功耗、地理可用性以及成本展现不同的质量特性。

构建高效的实际上可用的多路径传送机制仍是高度挑战的。一个主要问题是分组重排。参照图1，当源(发送方)节点穿过多条路径(例如图1所示的慢速路径和快速路径)对分组进行条纹化时，路径的传输延迟的差异说明分组可能按与发送它们不同的顺序到达。

因此，在示例中，宿节点上运行的应用已经接收到分组1和2。然而，如同很多应用一样，图1中的应用需要宿(接收器)处的有序分组传送。因此，应用直到已经接收到分组3才可以处理任何接收到的分组4-6。

注意，沿着路径的传输延迟归因于排队以及拥塞可能容易地按2或更大的因子快速地变化。因此，在要么有意地要么不期望地已经通过慢速路径发送分组3的情况下(即，在其已经导致传输延迟的情况下)，这样进而在将分组4-6保存在重排缓冲器中的同时对分组4-6的处理施加重排延迟。

重排可以转译为增加的延迟，或许对于应用极大地增加的延迟。该问题因每条路径上的传输延迟的不可预测的时变性质以及分组丢失率而极大地恶化。

清楚地，如果每条路径的传输延迟是固定的并且已知的(即确知的)，则将可以穿过源节点与宿节点之间的路径中的每一条调度分组的传输，从而分组将有序到达并且因此将不导致重排延迟。然而，在传输延迟并非确定的情况下，因为潜在的网络路径的随机性质，所以于是在以最小重排延迟穿过不同路径关于传输调度分组中出现问题。

图2示出为何当调度分组的传输可能导致重排延迟时无法考虑实际通信路径固有的延迟的随机性。在该示例中，两个分组1、2必须穿过具有相同的平均单向延迟的两条路径/链路或接口被调度。仅考虑路径的延迟的期望的确知调度器可以在高变化性或易失性路径中调度分组1，强制分组2在用于分组1的较慢传输时间期间关于分组1在接收器缓冲器中等待，因此增加期望的重排延迟。

按更大的规模，当很多路径和/或分组要被调度时，尤其是当一些路径具有大变化性时，确知调度器可能导致高重排延迟。

关于多路径分组传输的前期工作已经考虑穿过路径的联合拥塞控制，包括：例如发送分组的速率的联合控制，如EP2537301和US8780693中所公开的那样；使用多条路径以用于负载平衡，如US8036226中所公开的那样；当使用多条路径和多路径连接建立时的移动性，如US8824480中所公开的那样；从路由流量的可用接口选择接口，如US7230921中所公开的那样；以及选择从接收器发送反馈报告所沿着的路径，如US2013/0077501中所公开的那样。

WO2013/182122公开了一种在多个链路上传输数据的方法，在接收时通过在分组调度中考虑对于每个链路估计的预期传播延迟而具有正确的分组定序。

然而，它们在处理待通过展现非确知传输延迟的多条网络路径发送的分组的调度中尚未解决以上所概述的问题。

发明内容

根据本发明第一方面，提供一种如权利要求1所述的在源节点与宿节点之间发送数据的方法。

考虑应有的每条路径上的延迟的不确定的时变性质，该方法的实施例提供一种用于选择在哪条路径上调度信息分组的传输的技术，使得期望的有序传送延迟最小化。

附图说明

现将参照附图通过示例的方式描述本发明实施例，其中：

图1示出归因于路径传输时间的差异的分组重排；

图2示出确知调度器可以如何导致重排延迟；

图3示出关于包括7个分组的帧调度分组，并且其中，第一路径具有4个传输时隙，第二路径具有一个传输时隙，第三路径具有两个传输时隙；

图4示出在使用分组码的情况下的有损路径上的重排的影响；以及

图5示出特定实施例中所采用的剪枝树算法。

具体实施方式

现参照图3，源节点将要发送到宿节点的分组流划分为连续帧，每个帧包括N个分组的集合。一方面，期望使得帧更大并且因此增加N(每帧的分组的数量)，例如，以允许随着调度的增加的灵活性。然而，从以下描述应理解，增加N也对源节点施加更高的处理负担，以关于传输确定分组对网络路径的优化分配。在一些实施例中，N＝7，然而，应理解，其可以根据源节点处可用的处理能力并且取决于实现实施例中所采用的优化方式增加或减少。

要发送帧的分组所通过的路径中的每一条划分为多个时隙，每个时隙用于发送帧的给定分组。t_k指定为接口在路径k中发送分组所需的时间量(传输延迟)。为了说明的目的，在图3中，示例性源节点可以穿过三条网络路径与宿节点进行通信。路径1是最快的路径，并且因此包括最大数量的传输时隙，路径3是次最快的，并且路径2是最慢的，仅具有1个传输时隙，即，t₁<t₃<t₂。

应理解，在实际实现方式中，用于路径的传输时间t_k无需是彼此的倍数，并且因此用于要通过一条路径发送的帧的分组的总时间可以不同于用于待通过另一路径发送的帧的其它分组的总时间。

在图3的简单示例中，分组1、2、4和7示出为在路径1的传输时隙中正按顺序发送。在用于路径2的单个传输时隙中发送分组5；并且在用于路径3的两个传输时隙中发送分组3和6。

然而，问题在于，考虑每条路径上的延迟的非确定的时变性质，判断哪些分组沿着哪条路径以及按什么顺序得以发送，从而有序传送延迟得以最小化。

实施例基于将通过网络路径k的传输延迟t_k建模为随机变量。因此，例如，在传输延迟建模为高斯随机变量的情况下，可以通过平均延迟

对期望的传输延迟进行建模，并且可变性可以建模为关于每条网络路径k的方差

一旦每条路径得以建模，并且该模型可以周期性地或随着帧或基于任何其它准则(例如路径的添加或减去)得以更新，于是对于每个帧，在使得期望的有序传送时间之和最小化的可能调度选项的集合D当中，通过确定调度选项x对路径k中的不同时隙s分配或指派帧N个分组的集合(即分组关于帧的对于传输时隙的特定分配)：

其中，E[d_p]＝E[a_p+r_p]是分组p将传送到应用(一旦已经接收到分组p并且分组1至p-1已经传送到应用，其就将仅发生)的期望时间。我们通过a_p表示分组p到其宿的到达时间，并且通过r_p表示分组p的附加重排延迟(即在分组p的到达之后分组p必须等待分组1至p-1传送到应用的时间量)。

在一个实施例中，每个调度选项x＝{x_1,1,1,...,x_p,k,s,...,x_P,K,S}建模为大小N·K·S的矢量，其中，S是当前帧中的路径内所包含的时隙的最大数量。该矢量的每个元素是二进制变量，从而如果在路径k和时隙s中调度分组p，则x_p,k,s＝1，否则，x_p,k,s＝0。该优化问题可以具有附加约束以避免不可行的或不期望的调度选项：

1.

从而我们确保在一个时隙内发送一个分组。

2.

从而在时隙中调度每个分组p的至多一个拷贝。

3.

从而我们确保在不存在的时隙中不调度分组。

让我们分析分组的期望重排延迟，假设我们获知每个分组到达接收器。第一分组p＝1将在其到达时直接传送到应用，因为其不必等待先前分组，即：

d₁＝a₁+r₁＝a₁.

一旦第二分组p＝2到达并且分组1已经传送到应用，则第二分组将传送到应用，即：

d₂＝a₂+max{0,d₁-a₂}＝a₂+max{0,a₁-a₂}

相似地，对于p＝3

d₃＝a₃+max{O，d₂-a₃}＝a₃+max{O，a₂+max{O，a₁-a₂}-a₃}＝＝a₃+maX{0，maX{a₂，a₁}-a₃}

因此，给定调度x，关于分组p的重排延迟可以计算为：

r_p＝max{0,max{a₁,a₂,…,a_p-1}-a_p} (1)

并且优化问题变为：

对该非线性问题的解产生提供分组关于帧对路径时隙的优化调度/分配。

在关于各条路径k的传输延迟t_k建模为分别具有平均延迟

和方差

的高斯随机变量的情况下，期望的分组到达时间中的每一个E[a_p]可以计算如下：

E[T_k]是通过网络路径k的分组的期望传输延迟。此外，其可以建模为随机变量。

因此，如果在给定的分配中，关于路径k在第3传输时隙中调度分组，则其期望到达时间将是

因为x_p,k,s的值对于分配的所有其它时隙将是0。

然而，应理解，通过计算2个或更多个高斯变量的平均值中的最大值计算E[r_p]＝E[max{0,max{a₁,a₂,…，a_p-1}-a_p}]不一定产生最精确的结果。因此，可以优化基于传输延迟的高斯模型的本发明实施例，以避免这些不精确性。

用于改进关于E[r_p]的计算的精度的一种技术涉及：从用于确定E[r_p]的集合A_p＝{a₁,a₂,…,a_p-1}排除一些分量，以提供调度选项x所产生的期望重排延迟

的精确近似

该操作可以如下进行：

1.待近似的函数E[max{0,max{a₁,a₂,…,a_p-1}-a_p}]涉及：计算p-1个高斯随机变量的集合上的最大值，即，计算max{A_p}＝max{a₁,a₂,…,a_p-1}。为了获得更精确的但仍计算上高效的近似，我们通过移除具有与a_p的某种相关或将不对a_p产生重排动作的那些随机变量减少集合A_p＝{a₁，a₂,…,a_p-1}。因此，当满足以下条件中的至少一个时，我们移除所有那些元素：

这样从集合移除通过与p相同的接口在p之前所调度的所有分组i，我们对此假设将不产生重排延迟并且移除集合内的依赖性。

分组i<p的到达在统计上不可能产生在分组p之前；例如

这样移除在p之前良好地调度的那些到达，从而p之前的分组的到达将以高概率不在p之后到达。

产生更小集合

的该方法有助于以合理的计算代价改进E[r_p]的近似的精度。

2.甚至在更小的集合

的情况下，其余变量的平均值的简单比较不一定提供最精确或高效的结果。在又其它优化的实施例中，我们寻找近似

的高斯随机变量

即

可以使用D.Sinha、H.Zhou和N.V.Shenoy的“Advances in computation ofthe maximum of a set ofgaussian random variables,”Computer-Aided Design ofIntegrated Circuits and Systems,IEEE Transactions on,vol.26,no.8,pp.1522–1533,2007中所公开的分区最大二叉树算法完成该操作。在此，以上所产生的更小集合

随机地分区为两个子集。子集进一步分区为另外两个子集，并且递归地重复该操作，直到子集具有两个元素(或更少)：a_m和a_n。我们然后关于所有子集寻找具有与max{a_m,a_n}相同平均值和方差的高斯随机变量，并且反向传播近似，直到到达树的根，产生近似

的高斯随机变量。我们然后根据以上公式(1)减去a_p，产生

现在，

可以解析地得以求解，并且例如从以上公式(3)连同到达时间的估计E[a_p]一起得以使用，以根据公式(2)确定关于调度选项的延迟。因此，我们可以关于任何调度选项x计算

应理解，虽然已经关于使用高斯分布对到达时间进行建模描述以上示例，但也可以例如使用泊松分布或指数分布对路径延迟进行建模。替代地，可以采用离散值化的分布以反映传输延迟在多个离散传输延迟值之一之间随机地切换的情况。

在任何情况下，应理解，确定可能分配选项x的大集合当中的最小延迟可能随着增加帧大小变为计算上不可行的，因为处理开销按默认将是N！的量级。

因此，在一些实施例中，为了增加N，但为了计算在任何给定源节点中保持可行，采用比所有可能选项的更小的调度选项的集合。首先，我们从1到N枚举帧中所包含的所有时隙，并且将调度选项重新定义为y＝{m₁,m₂,…,m_N}，其中，m_i是时隙i中所调度的分组。以此方式，所有可能的调度选项表示为集合{1,2,…,N}的所有排列。

剪枝树算法可以通过构建每个分支(从根到叶)对应于调度选项y的树递归地构造分组对时隙的分配的所有排列。每当算法检测到调度选项将可能产生高重排延迟时，随着算法构造分支(调度选项)，算法于是修剪分支。以此方式，因为既不创建也不检查将从修剪后的分支生长的那些分支，并且创建选项的更小集合D，所以执行时间实质上减少，减缓解算器的检验的计算负担。以此方式，如果满足以下条件之一，则我们修剪分支：

这样避免在将必定产生重排延迟的相同路径中在分组i<p之前调度分组p(注意，如果在不同路径中进行该操作，则我们可以受益于此)。

分组i<p在分组p之前到达的任何分配在统计上是不可能的。例如，

当受益于此的概率是边际时(即，当可以在分组p之前传送分组i<p实际上是不可能的时)，我们避免对于任何路径在分组i<p之前任何分组p被调度得很长。

图5中给出示例。在该示例中，发现在第一时隙中分配分组1并且在第二时隙中分配分组2产生高重排延迟(图线50)。当时隙1比时隙2对应于远更慢的路径时，该情况可能产生。因此，将不创建(虚线中的)从该图线悬挂的所有分支，并且算法将移动到其它分支上。

进一步增加效率的树剪枝的极端变形是采用简单贪心调度方法，由此在使得E[d_p]最小化的路径上发送每个分组p(也就是说，并非联合地调度分组从而显式地使得

最小化)。在特定条件下，这种贪心调度方法可以实际上对于联合调度任务是优化的，并且因此使得

最小化。

现返回本发明第二方面，已知在尝试减缓接收器潜在地等待丢失的分组的重传所产生的延迟中在数据流内发送冗余信息。标准编码方法使用分组码，由此信息分组得以分组为块(帧)，并且包括所需冗余信息的所编码的分组对于每个块(帧)得以分离地生成。所编码的分组可以用于从相同块内的信息分组的丢失进行恢复。

在任何情况下，从信息分组进行恢复需要接收器等待接收可以重构信息分组的所编码的分组。这说明，当使用多条路径时，所编码的分组、块和穿过块的分组的重排也可能贡献于有序传送延迟。

图4中示出该情况，其中，来自块3的分组的传送受延迟，直到来自块2的所有分组已经成功地得以解码。归因于分组丢失，该延迟可以是B个分组或更多，其中，B是分组中的块长度。

在本发明的一个多路径实施例中，源节点确定关于每条网络路径的分组丢失率。源节点优选地调度通过具有最高丢失率的可用网络路径的所编码的分组的传输。这说明，在对于源节点的考虑可用的以上所指代的分配选项x或y的集合中，仅考虑在具有最高丢失率的可用路径中发送包含冗余数据的分组的分配选项。该操作基于这样的观测：如果信息分组较不可能丢失，则所编码的分组可能丢失，因为它们较不可能是需要的。

同样如以上所提及的变形，其它变化是可能的。如上所述，接口在一条路径k中关于帧发送分组所需的总时间量(传输延迟)可以不同于其它路径。如果在时间方面存在显著差异，则如果源要等待直到公共开始时间以关于随后帧发送分组，则这可能不利地影响系统的时延。

因此，在系统的又其它变形中，用于确定分组的期望到达时间的以上所指代的公式(例如公式(3))可以扩展为考虑用于一个帧的分组的可变开始时间作为用于先前帧的分组的变化完成时间的函数，即，在确定对于调度可用的时隙以及待分配给那些时隙的分组中，可以可能考虑所期望的比另一路径更早的用于通过一条路径进行发送的可用性。在此情况下，来自帧a_p的分组的期望到达时间可以建模为：

E[a_p]＝E[∑_k∑_s(T_k+s.t_k).x_p,k,s+Δk]

其中，Δk是用于基于用于穿过多条路径k关于先前帧发送分组的期望完成时间的差异在路径k中关于给定的帧发送分组的相对开始时间。

最后，将看见，在对任何网络路径的行为进行建模中，采用可变性的测度。在一些实现方式中，该可变性的测度可以与风险因子组合。在简单示例中，并非在树剪枝中或关于计算期望延迟使用3西格玛，可以采用2或更小的西格玛。如果风险因子设置得较高，则可以修改调度选项，从而在一些情况下，倾向于实现较低时延，但这样可能以增加的不期望的延迟的风险为代价(例如，如果路径表现得比期望的更可变)。在这些实施例中，该风险因子可以由用户设置并且可能地改变，以根据他们的偏好和操作环境实现更好的操作结果。

在任何情况下，应理解，倘若传输延迟的可变性为零，但根据该可变性改进性能，那么本发明实施例表现得至少如确知调度器那样良好。

Claims (15)

1.一种用于在经由异构网络的多条路径所连接的源节点与宿节点之间发送数据的方法，所述路径中的至少一个传送具有非确知传送时间的分组，所述方法包括：

将所述数据划分为帧，每个帧包括数量为N的分组，其中，信息分组p的宿节点进行的处理依赖于接收关于任何信息分组i的数据，其中，i<p；

对于每条网络路径k分配多个依次传输时隙s，每个依次传输时隙用于发送所述帧的给定的信息分组p；

关于帧提供分组对传输时隙的可能分配x的集合D；

确定具有所述分组的最小有序传送延迟的分配：

其中：

E[a_p]是分组p到其宿的期望到达时间：E[a_p]＝∑_k∑_s(E[T_k]+s·t_k)·x_p,k,s

其中：

E[T_k]是通过网络路径k的分组的期望传输延迟；

x_p,k,s＝1，其中，在给定的可能分配x中，要在网络路径k的传输时隙s中发送分组p；并且否则为0；

t_k是关于通过网络路径k的分组的传输延迟；以及

E[r_p]是关于分组p的期望重排延迟：

E[r_p]＝E[max{0,max{a₁,a₂,…,a_p-1}-a_p}]；以及

根据所确定的具有所述分组的最小有序传送延迟的分配发送所述分组。

2.如权利要求1所述的方法，还包括：将关于网络路径k的传输延迟建模为具有平均传送时间

和方差

的高斯分布随机变量。

3.如权利要求1所述的方法，包括：从所述关于分组p的期望重排延迟的计算中的考虑中，移除被调度在与分组p相同的网络路径k中在要在分组p之前发送的任何分组i的期望到达时间。

4.如权利要求1所述的方法，包括：从所述关于分组p的期望重排延迟的计算中的考虑中，移除被调度以实质上在分组p之前到达所述宿节点的任何分组i。

5.如权利要求2所述的方法，包括：从所述关于分组p的期望重排延迟的计算中的考虑中移除任何分组i，其中：

其中，

是用于分配分组p的网络路径中的分组p的到达时间的方差，E[a_p]是宿处的分组p的期望到达时间，

是用于分配分组i的网络路径中的分组i的到达时间的方差，E[a_i]是宿处的分组i的期望到达时间，并且i<p。

6.如权利要求2所述的方法，其中，响应于关于考虑在确定包括多于2个非零元素的、关于分组p的所述期望重排延迟E[r_p]中所采用的集合A＝{a₁,a₂,…,a_p-1}，使用分区最大二叉树算法以提供估计

7.如权利要求1所述的方法，包括：从所述分配的集合D排除在分组i之前在相同路径中调度分组p的任何分配，其中，i<p。

8.如权利要求1所述的方法，包括：当可以在分组p之前传送分组i<p在统计上不可能时，从所述分配的集合D排除任何分配；以及

从所述分配的集合D排除在传输时隙中调度分组i的任何分配，其中：

其中，

是用于分配分组p的网络路径中的分组p的到达时间的方差，E[a_p]是宿处的分组p的期望到达时间，

是用于分配分组i的网络路径中的分组i的到达时间的方差，E[a_i]是宿处的分组i的期望到达时间，并且i<p。

9.如权利要求1所述的方法，包括：将帧的每个分组仅分配给一个传输时隙。

10.如权利要求1所述的方法，其中，所述分组中的至少一个包括冗余数据并且包括：优选地在具有最高分组丢失率的可用网络路径中调度包括冗余数据的分组。

11.如权利要求1所述的方法，其中，路径k上的传输延迟取决于从源到宿发送分组p所耗费的平均时间量以及源节点在路径k中发送分组所需的平均时间量。

12.如权利要求1所述的方法，其中，用于通过一条路径关于帧发送分组的开始时间或结束时间之一或二者与用于通过所述多条路径中的其它路径关于帧发送分组的开始时间或结束时间不同。

13.如权利要求1所述的方法，还包括：将关于网络路径k的传输延迟建模为离散值化的变量。

14.一种计算机可读介质，存储计算机可读代码，其当在计算设备上执行时被布置为执行如权利要求1至13中的任一项的方法。

15.一种网络节点，被布置为穿过通信网络与一个或多个网络节点进行通信，所述节点包括处理器和存储器，其中所述存储器存储计算机可读代码，其当在计算设备上执行时被布置为执行如权利要求1至13中的任一项的方法。

Images