CN111163013A

CN111163013A - 一种基于udp的半可靠数据传输拥塞控制方法

Info

Publication number: CN111163013A
Application number: CN202010135910.6A
Authority: CN
Inventors: 罗寿西; 邢焕来; 李可
Original assignee: Southwest Jiaotong University
Current assignee: Beijing Yingtu Huijun Technology Co.,Ltd.
Priority date: 2020-03-02
Filing date: 2020-03-02
Publication date: 2020-05-15
Anticipated expiration: 2040-03-02
Also published as: CN111163013B

Abstract

本发明公开一种基于UDP的半可靠数据传输拥塞控制方法，数据存储者和数据请求者之间传输数据过程中，检测丢包，并采用基于拥塞窗口的方式控制发送速率；无需保证数据按序到达，能够容忍一定的丢包，传输任务完成的标志是成功传输的数据总量达到给定的值，或者满足一定的条件时，如收到足够多的数据，让请求者能够成功解码出源数据；在不可靠的网络环境下，即可丢包的网络环境，也能保证高的吞吐率；能够根据可用带宽的变化动态调整数据的发送速率，降低拥塞丢包。

Description

一种基于UDP的半可靠数据传输拥塞控制方法

技术领域

本发明涉及网络数据传输技术领域，具体为一种基于UDP的半可靠数据传输拥塞控制方法。

背景技术

在数据中心里，为了提高可靠性、实现负载均衡等目的，重要的数据通常会在分散的不同的节点上存储多份。即，数据具有“多源”的特点。

多源数据的分发具有典型的“多对一”通信模式，可以采用现有的P2P（peer topeer）文件共享系统（如BitTorrent）实现。在P2P方案中，待传输的文件会被拆分为多块；接收节点借助特殊的Tracker服务器发现拥有该资源文件的其他在线节点，再与这些节点交换资源状态信息；并最终通过获取或者推送等方法，动态的从不同节点获取文件的不同部分，从而加速数据文件的获取速度。

P2P文件分发系统虽然能够利用多个数据持有者并发地传输文件的不同部分，实现传输的加速，但它们在性能上还有很大的提升空间。一方面，这些P2P文件分发系统主要针对互联网场景设计，节点之间需要运行一套复杂、低效的协议实现资源块信息的共享，没有很好利用数据中心网络的特点；另一方面，P2P文件分发系统主要用于“一对多”或者“多对多”的大规模数据分发场景，并不是专门针对多源数据的高效分发而设计，节点接收每个数据块时本质上还是只从其中的一个源节点上获取，并没有同时利用多个数据源进行并发传输。

为充分利用多个数据源加速“多源”数据的分发效率，一种行之有效的设计是采用RaptorQ等纠删编码将数据文件进行编码获得足够多的码字，然后让不同数据源传输不同的码字，接收者只要收到足够多的码字后即可解码获得原始数据。这种基于纠删编码的数据传输方案让传输任务可以容忍数量受控的网络丢包。然而，现有的网络传输协议要么提供完全不可靠的传输（如UDP），要么提供完全可靠的传输（如TCP），没有充分利用任务的特征，在性能上还存在很大的优化空间。

发明内容

针对上述问题，本发明的目的在于提供一种基于UDP的半可靠数据传输拥塞控制方法，无需保证数据按序到达，能够容忍一定的丢包，在不可靠的网络环境下也能保证高的吞吐率，需要能够根据可用带宽的变化动态调整数据的发送速率，降低拥塞丢包。技术方案如下：

一种基于UDP的半可靠数据传输拥塞控制方法，数据存储节点作为发送方，数据请求者作为接收方，发送方向接收方发送数据，接收方收到后反馈确认消息，发送的数据和收到的确认反馈一起称为一个流；

对于每个流，发送方处理方法如下：

A1）维护一个计数值cnt1，记录下一个还未被传输过的数据段编号；各个数据段拥有相同的大小；一个数据段将封装在一个UDP报文中传输；对应的，数据段拥有一个确定的cnt1值，表示该数据段在整个待传输数据中的偏移位置；

A2）维护一个从0开始不断递增的值cnt2，代表该流已经发送的UDP数据报文的个数；对应的，每个数据段被发送时都会有一个cnt2；若一个数据段被重复发送了多次，那么每次发送都会采用新的cnt2值；

A3）维护一个拥塞窗口W，初始值为1，表示当前网络带宽所允许的已发送但尚未确认的数据段个数；

A4）维护一个数据结构C1，记录当前已发送但尚未被确认也未被识别为丢包的数据段，这些数据段的发送时间，cnt1和cnt2值，以及计数值dcnt；每个数据段的dcnt初始值为0，表示发送方已收到确认的比本数据段cnt2值更大的数据段个数；

A5）维护一个结构C2，记录当前识别为丢包的数据段以及对应的cnt1值；

A6）维护滑动平均值a，表示接收者所反馈的携带ECN-Echo标记的报文所占已发送报文的比例值的滑动平均值；

对于每个流，数据发送过程中处理方法如下：

B1）数据段发送条件：当C1包含的数据段数目小于W时，发送方发送一个数据段，并将其记录到结构C1中：如果此时C2为空，则发送的是新的数据段，并将cnt1加1；否则，发送的是C2中cnt1值最小的数据段；

B2）每个发送的UDP数据报文中除了包含数据段，同时会携带该数据段的cnt1值和cnt2值；

B3）承载该UDP的IP报文设置ECT(0)或者ECT(1)标记，使经过的网络设备进行CE标记；

对于每个流，数据接收过程处理方法如下：

C1）接收方收到UDP报文后，采用UDP返回确认消息；

C2）确认消息中包含所确认数据段的cnt1和cnt2编号；如果收到的IP数据包携带CE标记，接收方在确认消息中进行ECN-Echo标记，告知发送方收到了CE；

C3）确认消息还包含接收方还需要发送方发送的数据段数目；

对于每个流，发送方在收到确认消息后处理方法如下：

D1）如果该消息确认的数据段既不属于C1，也不属于C2，则丢弃不做任何处理；

D2）如果该消息确认的内容属于C2，则将对应数据段从C2中移除；不再做其他处理；

D3）如果该消息确认的内容属于C1，则将对应数据段从C1中移除，并按照DCTCP的方式计算并更新RTT和a；

D4）如果该确认消息携带ECN-Echo标记，则W=W + 1/W – a/(2x)；否则W=W+1/W；其中x为可配置的参数，代表该流对ECN-Echo标记的敏感程度；

D5）将C1中所有cnt2值比该确认消息中的cnt2值小的数据段的dcnt编号加1；将dcnt编号大于阈值DT的数据段视为已被丢失，将其从C1中移除，添加到C2中。

进一步的，对于每个流，发送方确认消息超时处理如下：如果发送方在超过一定的时间没有收到任何确认消息，则触发超时处理，并将W取值为1，同时将所有C1中的所有数据段移除，添加到C2中。

本发明的有益效果是：

本发明传输协议能够容忍数据包的丢失和乱序，在网络出现丢包场景下能够保持高吞吐率；无需保证数据按序到达，能够容忍一定的丢包，传输任务完成的标志是成功传输的数据总量达到给定的值，或者满足一定的条件时，如收到足够多的数据，让请求者能够成功解码出源数据；在不可靠的网络环境下，即可丢包的网络环境，也能保证高的吞吐率；能够根据可用带宽的变化动态调整数据的发送速率，降低拥塞丢包。

附图说明

图1为本发明多源数据传输系统的架构示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细说明。本发明多个数据源节点采用相同的纠删编码方法（如RaptorQ码）将待传输的数据分成多段，并进行编码获得数据远大于原始数据量的码字；然后分别向接收节点发送不同的码字避免重复传输；利用纠删编码，请求者只需收到足够多的码字后即能够解码获得原始数据。这一设计使得数据的不同源节点无需进行显式的协作即可协作地对同一个数据文件进行传输，不存在重复传输的问题。相应的，不同数据源所承担的传输比例将由路径上的可用带宽动态的决定；接收节点能够充分利用所有源节点的可用带宽，快速获取所需数据。

为了更好地管理数据源节点以及对应的传输任务，本发明引入控制器角色。控制器对外作为多源数据的前端服务器，捕获接收节点的数据获取请求，对内作为数据源节点的管理节点，动态地选择数据源节点完成具体数据文件的传输。

为实现上述设计，如图1所示，本发明具体涉及3个角色，以及他们之间基于UDP传输协议的3类交互关系：

A.控制器：

控制器对内管理所有的数据存储节点，对外作为多源数据的服务前端，响应数据请求者的文件传输请求。

控制器作为数据存储者的管理方，存储者上线后需要先向控制器注册，汇报所持有数据的情况；运行过程中存储者定期向控制器发送心跳信息报告存活状态，上报该当前传输任务的运行状态和完成进度信息。

作为资源文件的服务前端，控制器接收数据请求者的数据传输请求，记录请求者的IP地址和发送该请求所用的UDP（用户数据报协议User Datagram Protocol）端口信息；然后向请求者回应所请求数据文件的大小、编码参数等元信息，或者返回资源不可用。

假设当前网络中有A个在线的数据存储者拥有资源URI。收到针对该资源的传输请求后，控制器从中挑选出S=min(A, R)个存储者，作为该任务的数据分发节点。如果S=0，控制器则向资源请求者返回资源不可用信息；否则，返回所请求文件的大小、编码等信息。

然后，控制器将请求者的IP地址、UDP端口号，所请求的资源描述符URI，以及这些被挑中的存储者的编号，告知这S个存储者，从而启动传输过程。

R的取值是一个可配置的参数，不同的数据资源可以采用不同的R值，默认取3。存储者的挑选方式可以是随机挑选、按照负载轻重挑选等。

在任务传输过程中，控制器还会收到请求者的周期性汇报。如果一段时间内没有收到汇报，控制器认为该请求者已经不在，将通知相关存储节点暂停数据的发送。

B.数据存储者：

作为数据文件的实际持有者，同一个数据对象在会在多个存储者上存储多份，分散在集群中的不同节点上。这些节点采用相同的纠删编码方案和参数对存储的数据进行编码，从而保证数据请求者从不同存储节点上获得编码后的码字能够解码获得原数据。

对于一个给定的资源数据URI，纠删编码（如RaptorQ码）将资源文件划分为M份再编码获得M+K个码字，并依次编号1,2,3,…,M+K，其中任意的M+L个码字一定可以解码获得源文件。当采用RaptorQ编码方案时，K在理论上是正无穷大，L是一个不确定的值。此时，L值默认取2，在运行过程中数据请求者将按需增大L的取值。

对于资源文件URI，被选中的S个存储者依次编号i=1,2,…,S; 为了避免重复传输，第i个存储者将传输编号为i+j*R（j=0,1,2,…）的码字。为了保证当只有一个存储者可用时（即S=1），本方案依然能够工作，编码参数之间还需要满足关系式：floor((M+K)/R) >=M +L，其中floor为向下取整函数。

数据存储者从控制器处获得任务信息后，开始向数据请求者发送编码后的数据，并根据接收节点的反馈，调整发送的速率，并判断任务是否已经完成。采用纠删编码后，本发明天然地能够容忍一定程度的丢包，并且也不需要数据严格的按照原始顺序到达，因此本发明需要的是一套能够在网络丢包场景下依然能够保证高吞吐率的传输协议，并且该传输协议无需保证数据按序到达，只用让成功传输的重量快速达到解码所需的量即可。

数据存储者采用UDP向数据请求者发送编码后的数据。每个码字恰好封装在一个UDP报文中。该报文同时包含该码字的编号、数据存储者的标识、在该存储者上的发送序号等信息。

C.数据请求者：

当需要获取某个数据时，数据请求者采用UDP协议向控制器发起请求，并在相同的端口上侦听控制器的反馈（即控制消息），以及数据存储节点所推送的编码后的数据。

如果在给定时间内请求节点没有收到控制器的确认反馈，则重试，只到收到或者重试次数超过设定次数。

如果收到数据资源不可用，则结束；否则，在发送请求所用的UDP端口上侦听存储者推送的编码后的数据，并周期性地向控制器发送文件的接收进度，以表明其在线。

对于暂停或者故障后再次请求数据的场景，请求者的请求消息中，除了包含所需文件的资源描述还包含已经收到的码字的情况。

对于收到的每个码字，请求者立即向数据发送者（即对应的数据存储者）发送反馈信息，表明所收到码字的编号，以及至少还需要该数据存储节点发送多少数据才能进行解码。

通过和码字一起发送的存储者的标识信息，数据请求者统计当前正在工作的发送者数目，S。

假设当前已经收到的码字数目为V，那么，每个数据发送者还需至少传输 ceil((M+K-V)/S)个码字，其中ceil为向上取整函数，请求者才能够解码成功。

对于采用RaptorQ编码的场景，默认情况下K=2，如果请求者收到M+K个码字后还没有解码成功。那么请求者将增加K并更新用于反馈的ceil((M+K-V/S)值，直到解码成功。

如果到的码字所对应的IP报文被标记了CE，则将该信息反馈给发送者。在运行过程中，数据请求者定期向控制器汇报任务的接收情况。

数据传输协议的控制方法描述如下：

数据存储者和数据请求者之间传输数据过程中，检测丢包，并采用基于拥塞窗口的方式控制发送速率。控制方式与DCTCP类似，描述如下：

数据存储节点是发送方，数据请求者是接收方。发送方向接收方发送数据，接收方收到后反馈确认消息。发送的数据和收到的确认反馈一起称为一个“流”。

RaptorQ编码后的码字封装到UDP报文中传输，每个UDP报文大小相等。

本发明接下来将UDP中携带的有效负载内容（即上文所述的码字）叫做数据段。

对于每个流，

发送方：

1）维护一个计数值cnt1，记录下一个还未被传输过的数据断编号；数据段之间大小相同，一个数据段将封装到一个UDP报文中传输；对应的，数据段拥有一个确定的cnt1值，表示该数据段在整个待传输数据中的偏移位置；

2）维护一个从0开始不断递增的值cnt2，代表该流已经发送的UDP数据报文个数；对应的，每个数据段被发送时都会有一个cnt2；如果一个数据段被重复发送了多次，那么每次发送都会采用新的cnt2值；

3）维护一个拥塞窗口W，初始值为1，表示当前网络带宽所允许的已发送但尚未确认的数据段个数；

4）维护一个数据结构C1，记录当前已发送但尚未被确认也未被识别为丢包的数据段，以及它们各自的发送时间，cnt1和cnt2值，以及计数值dcnt；每个数据段的dcnt初始值为0，表示发送方已收到确认的比本数据段cnt2值更大的数据段个数；

5）维护一个结构C2，记录当前识别为丢包的数据段以及对应的cnt1值；

6）与DCTCP类似，维护滑动平均值a，表示数据请求者所反馈的携带ECN（显式拥塞通知Explicit Congestion Notification）标记的报文所占已发送报文的比例值的滑动平均值；

数据的发送过程：

1）数据段发送条件：当C1包含的数据段数目小于W时，发送方发送一个数据段，并将其记录到结构C1中：如果此时C2为空，则发送的是新的数据段，并将cnt1加1；否则，发送的是C2中cnt1值最小的数据段；

2）每个发送的UDP报文中除了包含数据段，同时会携带该数据段的cnt1值和cnt2值；

3）承载该UDP的IP报文设置ECT(0)或者ECT(1)标记，让经过的网络设备能够进行CE（Congestion Encountered 拥塞遭遇）标记；

数据的接收过程：

1）接收方收到UDP报文后，采用UDP返回确认消息；

2）确认消息中包含所确认数据段的cnt1和cnt2编号；如果收到的IP数据包携带CE标记，接收方在确认消息中进行ECN-Echo标记，告知发送方收到了CE；

3）确认消息还包含接收方还需要发送的数据段数目。

发送方在收到确认消息后：

1）如果该消息确认的数据段既不属于C1，也不属于C2，则丢弃不做任何处理；

2）如果该消息确认的内容属于C2，则将对应数据段从C2中移除；不再做其他处理；

3）如果该消息确认的内容属于C1，则将对应数据段从C1中移除，并按照DCTCP的方式计算并更新RTT（Round-Trip Time 往返时延）和a；

4）如果该确认消息携带ECN-Echo标记，则W=W+1/W–a/(2x)；否则W=W+1/W；其中x是一个可配置的参数，代表该流对ECN标记的敏感程度，越大越不敏感；不同的流的x取值可以不同，默认为0.5；

5）将C1中所有cnt2值比该确认消息中的cnt2值小的数据段的dcnt编号加1；将dcnt编号大于阈值DT的数据段视为已被丢失，将其从C1中移除，添加到C2中；DT是可以配置的参数，默认取3；

6）其他情形下的处理与DCTCP中处理一致。

发送方确认消息超时处理：

1）如果发送方在超过一定的时间没有收到任何确认消息，则触发超时处理；

2）此时，将W取值为1，同时将所有C1中的所有数据段移除，添加到C2中；

研究分析表明，当多个并发的流经过同一个瓶颈链路时，它们所分得的带宽与对应的x比值成比例。通过为并发的数据传输任务设置不同的x值，可以让流按比例使用带宽，从而能够让更重要的传输任务先完成。

Claims

1.一种基于UDP的半可靠数据传输拥塞控制方法，其特征在于，数据存储节点作为发送方，数据请求者作为接收方，发送方向接收方发送数据，接收方收到后反馈确认消息，发送的数据和收到的确认反馈一起称为一个流；

对于每个流，发送方处理方法如下：

对于每个流，数据发送过程中处理方法如下：

对于每个流，数据接收过程处理方法如下：

C1）接收方收到UDP报文后，采用UDP返回确认消息；

对于每个流，发送方在收到确认消息后处理方法如下：

2.根据权利要求1所述的基于UDP的半可靠数据传输拥塞控制方法，其特征在于，对于每个流，发送方确认消息超时处理如下：如果发送方在超过一定的时间没有收到任何确认消息，则触发超时处理，并将W取值为1，同时将所有C1中的所有数据段移除，添加到C2中。