CN109309625B - 一种数据中心网络灾备传输方法 - Google Patents

Abstract

本发明公开一种数据中心网络灾备传输方法，包括：数据发送端根据数据流的传输时限和数据量大小确定数据流的优先级，并根据优先级和拥塞程度独立调节各数据流的拥塞窗口，并在发生拥塞时对优先级低的数据流进行发送速率限制；在数据交换端设置用于存储报文所属数据流的标识和优先级信息的队列，发送或接收报文时，遍历所述队列，确定报文所属数据流的优先级，根据优先级对报文进行处理。本发明所记载的技术方法提供了一种端到端的数据中心网络灾备传输机制，在网络负载较大时也能保持较好的性能，能够实现低时延、高吞吐量、容忍高突发、易于部署，使得数据中心存储的大量数据，在短时间内完成灾备数据的传输。

Description

一种数据中心网络灾备传输方法

技术领域

本发明涉及数据传输领域。更具体地，涉及一种数据中心网络灾备传输方法。

背景技术

随着信息技术的飞速发展，大数据和云计算等技术逐渐被深入研究和广泛应用，成为了业界的热点。到目前为止，依托大数据和云计算的众多数据密集型应用已经被广泛部署，产生的数据量也日趋庞大。同时，无论是在科学领域还是商业领域，数据的价值都日益凸显。因此，DCN(Data Center Network，数据中心网络)作为存储和处理庞大数据的核心基础设施，对其可靠性的要求也日趋提高。

然而，DCN会受到洪水、地震、海啸、台风等自然灾害的破坏，造成DCN的区域性损毁，致使大量数据丢失，从而导致不可估量的损失。为了提高DCN存储数据的可靠性，需要使其具有良好的抗区域性损毁的特性。因此，DCN就需要高效、可靠的灾备机制。

DCN的灾备机制涉及网络的拓扑结构优化，备份数据传输时的多路径负载均衡、最优的目的节点和传输路径选择，以及端到端的传输机制等方面。其中，DCN灾备中的端到端的高效、可靠的传输机制尤为重要。端到端的传输机制需要保证在探测到潜在灾害时，在严格且较短的时间限制内，将DCN中即将遭到损毁的节点中的数据尽量多地备份到其他安全的节点。

然而，目前还没有专门为DCN灾备而设计的端到端传输机制。并且，当前广泛应用于一般场景下的传输机制，如TCP(Transmission Control Protocol，传输控制协议)、DCTCP(Data Center TCP，数据中心传输控制协议)和D²TCP(Deadline-Aware DatacenterTCP，考虑时间限制的数据中心传输控制协议)等，即使在DCN中一般的数据传输情况下有较好的性能，但由于并不是专门为灾备而设计，所以常常并不能很好地适应灾备时数据传输的特点，以及满足灾备时数据传输的要求。

由于在实践中，DCN对于高吞吐量、低时延以及高突发容忍等方面有较高的要求，传统TCP用于DCN时性能较差，不能满足需求。所以，Mohammad Alizadehzy等人提出了DCTCP，专门用于DCN。DCTCP的主要缺点是不考虑流的传输时限，这使得DCTCP用于在线密集型应用等对于数据传输有严格传输时限限制的场景中都无法满足需求，因为DCTCP不能较好地保证尽量多的数据能够在所要求的传输时限内传输完成。考虑到DCN灾备时的数据传输往往有更为严格且较短的时间限制，所以DCTCP不能应用于DCN的灾备数据传输。

为了解决DCTCP不考虑传输时限的等问题，Balajee Vamanan等人提出了DCTCP的改进版D²TCP。虽然D²TCP较DCTCP有所改进，但是实验证明，当网络负载太大时，D²TCP的性能会退化为DCTCP，从而导致大量的流不能在其传输时限之内传输完成。由于在DCN在灾备中往往需要传输大量的数据，所以D²TCP也不适合用于DCN中灾备数据的传输。

综上所述设计了专门针对于DCN中灾备的数据传输机制。

发明内容

本发明的目的在于提供一种数据中心网络灾备传输方法，为达到上述目的，本发明采用下述技术方案：

包括：

数据发送端根据数据流的传输时限和数据量大小确定数据流的优先级，并根据优先级和拥塞程度独立调节各数据流的拥塞窗口，在发生拥塞时对优先级低的数据流进行发送速率限制；

在数据交换端设置用于存储报文所属数据流的标识和优先级信息的队列，发送或接收报文时，遍历所述队列，确定报文所属数据流的优先级，根据优先级对报文进行处理。

进一步地，所述调节数据流拥塞窗口包括：根据拥塞程度的估计值变量α和数据流的优先级p定义罚函数f，根据罚函数f的值调节数据流拥塞窗口，所述f＝α^p，f∈[0，1]。

进一步地，根据罚函数f的值调节数据流拥塞窗口包括：

当f>0，数据流发生拥塞，按照公式

对数据流拥塞窗口进行调节，CWND为数据流拥塞窗口；

当f＝0，数据流未发生拥塞，判断数据流拥塞窗口CWND与慢启动门限SSTHRESH的大小关系，根据二者关系对数据流拥塞窗口进行调节。

进一步地，当CWND≤SSTHRESH，按照TCP的慢启动机制调整数据流拥塞窗口；

当CWND＞SSTHRESH，按照公式CWND＝CWND+p×MSS对数据流拥塞窗口进行调节，MSS为最大段长度；

当p＝0，数据流发生拥塞时拥塞窗口的调节采用TCP处理机制，对数据流拥塞窗口直接减半；数据流没有拥塞时拥塞窗口保持不变。

进一步地，所述确定数据流的优先级包括：对数据流传输时限进行判断，传输时限较小的数据流优先级较高；传输时限相同时，对数据流的数据量进行判断，数据量较小的数据流优先级较高；

所述拥塞程度采用显式拥塞通知机制确定数据流拥塞程度。

进一步地，所述对数据流进行发送速率限制包括检测到数据流发生拥塞时，采用速率限制器对优先级相对较低的数据流进行发送速率限制，以减小突发时的拥塞程度；一定时间间隔之后没有再次检测到数据流发生拥塞时，对优先级相对较高的数据流取消发送速率限制。

进一步地，所述数据交换端包括报文接收模块，在报文接收模块设置两个队列，包括第一队列和第二队列：

所述第一队列用于存储报文，

所述第二队列用于存储报文所属数据流的标识和优先级信息。

进一步地，所述报文接收模块在第一队列已满时收到报文，遍历第二队列确定报文所属数据流的优先级，对报文进行处理：

第二队列中报文的优先级均大于收到的报文的优先级时，丢弃收到的报文；

第二队列中存在优先级小于收到的报文的优先级时，丢弃队列中优先级最小的数据流中最晚到达的报文，保存收到的报文；

进一步地，报文接收模块保存收到的报文后，判断当前队列被占用比率与固定门限K的大小关系，当前队列被占用比率大于固定门限K，用CE码点标记收到的报文首部；否则，不作处理。

进一步地，所述数据交换端包括报文发送模块，报文发送模块在发送报文时遍历第二队列，确定报文所属数据流的优先级，根据数据流的优先级，发送优先级最大的数据流中最先到达的报文。

本发明的有益效果如下：

本发明所述技术方案提供一种能够满足DCN灾备数据传输要求的端到端传输机制，使尽量多的备份数据能够在DCN即将发生损毁时在传输时限内完成数据传输。

发送端根据各个数据流的优先级和拥塞程度，来独立地调节各个流的拥塞窗口CWND，在有效缓解拥塞的同时，尽量减少拥塞造成的吞吐量损失，并且使优先级较高的流能够尽量多地发送数据。在传输过程中，同时考虑了数据流的传输时限和数据流大小，采用更加客观的优先级判定标准进行优先级的判定，在确保传输时限紧迫的数据流优先传输的同时，加快数据流的传输，以减少平均的数据流完成时间。同时，在数据发送端采用拥塞控制机制，能够及时掌控接收端的拥塞状况，不仅能够知道发生了拥塞，还能够根据收到的ACK报文得知拥塞的程度，并同时根据数据流的优先级和拥塞程度来调节拥塞窗口，采用了速率限制器来主动地减小数据传输的突发，减少发送端吞吐量的损失。

数据交换端则由于需要频繁地遍历和比较报文所属流的优先级，所以将报文所属流的标识和优先级等信息另外存放在一个单独的队列中，在交换机比较报文所属流的优先级时，只需要遍历只存放报文信息的队列，以此来减少查找和比较的时间，提高交换机处理报文的性能，从而减小时延。并且，数据交换端根据数据流的优先级和报文到达的顺序，决定队列满时丢弃哪个报文以及发送报文的顺序，使优先级高的数据流优先传输，并且减小线头阻塞的概率。

此外，端点和交换机的其他的机制如超时重传、慢启动、快重传和快恢复等，都与TCP相同，以保证本发明能够与TCP、DCTCP和D²TCP等常用的传统传输机制共存，且对端点和交换机的改动较小，使之容易广泛部署。

上述数据发送端与数据交换端采用了全新的数据传输机制，能够提供一种全新的数据传输系统，在网络负载较大时也能保持较好的性能，能够实现低时延、高吞吐量、容忍高突发，使得数据中心存储的大量数据，在短时间内完成灾备数据的传输。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明；

图1为数据发送端的功能模块示意图。

图2为数据发送端的拥塞控制流程图。

图3为数据交换端的功能模块示意图。

图4为数据交换端的存储转发流程图。

α：拥塞程度的估计值变量；f：罚函数。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

本实施例提供一种数据中心网络灾备传输方法：

数据发送端根据数据流优先级和拥塞程度独立调节各数据流拥塞窗口，并对数据流进行发送速率限制；

在数据交换端设置用于存储报文所属数据流的标识和优先级信息的队列，发送或接收报文时，遍历所述队列，确定报文所属数据流的优先级，根据优先级对报文进行处理。

由于在灾备中传输时限更加重要，所以要使传输时限对优先级的影响更大，甚至起决定性作用。本实施例中，传输时限越紧迫的流，优先级越高，来让尽量多的流能够满足时间限制。当不同流的时间限制相同时，使数据量小的流的优先级更高，来减少平均的流完成时间。

在其他实施例中，也可以根据传输时限与数据量对传输速率的影响进行判断顺序的调整。

如图1所示，所述的数据发送端设置优先级判断模块，用于判断数据流的优先级，本实施例所记载的技术方案既考虑流的传输时限又考虑流的数据量大小，并根据这两个因素决定流的优先级，以此来同时满足EDF

(Earliest Deadline First，最短传输时限优先)准则和SJF(Shortest JobFirst，最小数据量优先)准则。所述优先级判断模块的优先级设置如下：

设发送端应用层某个数据流规定的传输时限为变量t，常量值t_max是应用层对t设置的上限，如果数据流的t大于t_max，就将t的值修正为t_max。设某个数据流需要传输的数据量的大小为变量s，应用层对s设置的上限为常量值s_max，如果数据流的s大于s_max，就将s的值修正为s_max。发送端根据上述变量定义数据流的优先级为p，且p≥0，如式(1)所示。

p＝(e^(t_max/t))×(s_max/s) (1)

p越大，则表示流的优先级越高，并且规定没有指定传输时限deadline的流p＝0。当发送端发送报文时，就将报文所属的流的p携带在报文的首部中。

所述确定数据流的优先级包括：对数据流传输时限进行判断，传输时限较小的数据流优先级较高；传输时限相同时，对数据流的数据量进行判断，数据量较小的数据流优先级较高。

如图1所示，所述的数据发送端还设置拥塞控制模块，用于数据流拥塞程度通知，在一个实施例中采用显式拥塞通知算法确定数据流拥塞程度，在其他实施例中也可以采用丢包检测，进行拥塞程度检测。所述拥塞控制模块的拥塞控制设置如下：

如图2所示，当接收端收到一个报文后，如果该报文的首部被CE码点标记，同时收到的上一个报文的首部没有被CE码点标记，那么就立即回复一个ACK报文，并且该ACK报文首部的ECE标志位被设置为1；如果该报文的首部没有被CE码点标记，同时收到的上一个报文的首部被CE码点标记，则立即回复一个ACK报文，并且该ACK报文首部的ECE标志位被设置为0。否则，接收端采用延迟确认，也就是每连续收到M个首部被CE码点标记的报文，就回复1个ACK报文，并且该ACK报文首部的ECE标志位被设置为1；或者每连续收到M个首部没有被CE码点标记的报文，就回复1个ACK报文，并且该ACK报文首部的ECE标志位被设置为0。

发送端维护一个拥塞程度的估计值变量α，α∈[0,1]，表示交换机队列占用比率大于固定门限K的概率，也就是被CE码点标记的报文数量的比率。α越大，就表示拥塞程度越高。发送端在每个窗口(约为1个RTT，Round-Trip Time，往返时间)按照式(2)更新一次α，式中的变量F是根据收到的ACK报文计算出的上一个窗口中首部被CE码点标记的报文的比率，变量g是新样本的权重，并且g∈(0,1)。

α＝(1-g)×α+g×F (2)

发送端根据α和p定义罚函数f，如式(3)所示。

f＝α^p，f∈[0,1] (3)

在数据传输刚开始时，发送端采用与TCP相同的慢启动机制。每当发送端收到一个ACK报文，就计算相应流的f。

如果相应流的f>0，就表明该流发生了拥塞，那么发送端按照式(4)调整该流的CWND；

如果相应流的f＝0，就表明该流没有发生拥塞，如果该流当前的CWND小于等于该流的SSTHRESH(Slow Start Threshold，慢启动门限)，则该流当前处于慢启动阶段，那么发送端就按照TCP的慢启动机制调整该流的CWND；如果该流当前的CWND大于该流的SSTHRESH，则该流当前处于拥塞避免阶段，那么发送端就按照式(5)调整该流的CWND。

CWND＝CWND×(1-f/2) (4)

CWND＝CWND+p×MSS (5)

对于没有传输时限的流，由于p＝0，因此f＝1，所以在流发生拥塞时，CWND的减少机制与TCP一样采用直接减半，并且当流处于拥塞避免阶段时，CWND不增加。

端点的拥塞控制基于与DCTCP相同的机制，这样发送端就不仅能够知道发生了拥塞，还能够根据收到的ACK报文得知拥塞的程度。并且，相同的ECN机制使本发明可以和TCP、DCTCP和D²TCP等目前广泛使用的传统传输机制共存，减少对主机和交换机的修改，有利于部署。

如图1所示，所述的数据发送端还设置速率限制模块，用于对数据流的发送速率进行限制，所述速率限制模块的设置如下：

当检测到数据流发生拥塞时，采用速率限制器对优先级低的数据流的发送速率进行限制，以减小突发时的拥塞程度；一定时间间隔之后没有再次检测到数据流发生拥塞时，对优先级高的数据流取消发送速率限制，以增加吞吐量，减小数据传输时间。

考虑到在灾备中的传输数据很容易产生突发，因此发送端就需要采用速率限制来主动地减小突发。并且，发送端使用硬件来实现速率限制，这样就可以支持亚微秒级的调度粒度，以及处理LSO(Large Send Offloading，大量发送负载转移)分段之后的报文。发送端在刚开始数据传输时，并不对任何流采用速率限制，而是只有在发生拥塞时，才开始对优先级相对较低的流采用速率限制。并且，当拥塞有所缓解时，发送端就不再对已经采用速率限制的流中优先级相对较高的流采用速率限制。发送端以此来减少吞吐量损失，并使得优先级较高的流拥有更高的发送速率。

发送端在刚开始发送数据时，所有的数据流都不采用速率限制。每当发送端收到一个首部的ECE标志位被设置为1的ACK报文，就开始对当前没有采用速率限制的数据流中p最小的数据流采用速率限制。如果在收到上一个首部的ECE标志位被设置为1的ACK报文之后，在时间间隔T内，没有再次收到首部的ECE标志位被设置为1的ACK报文，那么发送端就重新对当前已经采用速率限制的数据流中p最大的数据流不采用速率限制。

当发送端发送报文时，如果要发送的报文所属的数据流不采用速率限制，就立即发送该报文；如果该报文所属的数据流采用速率限制，就将该报文放置于一个令牌桶速率限制器中，以速率R发送。

本实施例还提供一种数据交换端，具体地，为一种三层交换机。如图3所示，该交换机设置报文接收模块，报文发送模块和CE码点标记模块，其存储转发机制如图4所示。

在该交换机中单独设置一个报文的优先级信息队列，确定优先级时遍历该队列确定报文优先级，减少在遍历的时间花销，以加快报文的传输。

在一个实施例中，当交换机收到一个报文后，如果此时保存报文的队列未满，就将该报文及其信息存入相应的队列中。如果交换机收到一个报文，而此时保存报文的队列已满，则在保存报文信息的队列中进行遍历和比较，如果收到的报文首部中所携带的p小于等于当前队列中所有报文所携带的p，则丢弃收到的这个报文；否则，就从两个队列中丢弃p最低的数据流中最晚到达交换机的报文及其信息，然后将收到的这个报文及其信息存入相应的队列。

而当交换机发送报文时，同样在保存报文信息的队列中进行遍历并比较，首先找到当前队列中p最大的数据流，然后发送p最大的数据流中最先到达交换机的报文。

由于交换使用队列来存储报文，所以在队列前边的就是先到达的，而在队列后边的就是后到达的。

发送端在发送报文时，需要设置报文首部的ECN字段来告知交换机采用ECN。如果报文被存入队列时，队列被占用的比率大于一个固定的门限K，交换机就用CE码点标记该报文的首部。

本实施例提供一种数据传输系统，包括上述实施例中所述数据传输方法的数据发送端、数据接收端和数据交换端，提供了一种低时延、高吞吐量、容忍高突发、考虑传输时限并且在网络负载较大时也能保持较好的性能的端到端传输机制，用于DCN在即将发生损毁时，使尽量多的备份数据能够在传输时限之内传输完成。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种数据中心网络灾备传输方法，其特征在于，包括：

数据发送端根据数据流的传输时限和数据量大小确定数据流的优先级，并根据优先级和拥塞程度独立各调节数据流拥塞窗口，在发生拥塞时对优先级低的数据流进行发送速率限制；

在数据交换机端设置用于存储报文所属数据流的标识和优先级信息的队列，发送或接收报文时，遍历所述队列，确定报文所属数据流的优先级，根据优先级对报文进行处理；

其中，优先级设置如下：

设发送端应用层某个数据流规定的传输时限为变量t，常量值t_max是应用层对t设置的上限，如果数据流的t大于t_max，就将t的值修正为t_max； 设某个数据流需要传输的数据量的大小为变量s，应用层对s设置的上限为常量值s_max，如果数据流的s大于s_max，就将s的值修正为s_max； 发送端根据上述变量定义数据流的优先级为p，且p≥0，

p＝(e^(t_max/t))×(s_max/s)

p越大，则表示流的优先级越高，并且规定没有指定传输时限deadline的流p＝0； 当发送端发送报文时，就将报文所属的流的p携带在报文的首部中。

2.根据权利要求1所述的一种数据中心网络灾备传输方法，其特征在于，所述调节数据流拥塞窗口包括：根据拥塞程度的估计值变量α和数据流的优先级p定义罚函数f，根据罚函数f的值调节数据流拥塞窗口，所述f＝α^p，f∈[0，1]。

3.根据权利要求2所述的一种数据中心网络灾备传输方法，其特征在于，根据罚函数f的值调节数据流拥塞窗口包括：

当f>0，数据流发生拥塞，按照公式

对数据流拥塞窗口进行调节，CWND为数据流拥塞窗口；

当f＝0，数据流未发生拥塞，判断数据流拥塞窗口CWND与慢启动门限SSTHRESH的大小关系，根据二者关系对数据流拥塞窗口进行调节。

4.根据权利要求3所述的一种数据中心网络灾备传输方法，其特征在于，当CWND≤SSTHRESH，按照TCP的慢启动机制调整数据流拥塞窗口；

当CWND＞SSTHRESH，按照公式CWND＝CWND+p×MSS对数据流拥塞窗口进行调节，MSS为最大段长度；

当p＝0，数据流发生拥塞时拥塞窗口的调节采用TCP处理机制，对数据流拥塞窗口直接减半；数据流没有拥塞时拥塞窗口保持不变。

5.根据权利要求1所述的一种数据中心网络灾备传输方法，其特征在于，所述确定数据流的优先级包括：对数据流传输时限进行判断，传输时限较小的数据流优先级较高；传输时限相同时，对数据流的数据量进行判断，数据量较小的数据流优先级较高；

所述拥塞程度采用显式拥塞通知机制确定数据流拥塞程度。

6.根据权利要求1所述的一种数据中心网络灾备传输方法，其特征在于，所述对数据流进行发送速率限制包括检测到数据流发生拥塞时，采用速率限制器对优先级低的数据流进行发送速率限制，以减小突发时的拥塞程度；一定时间间隔之后没有再次检测到数据流发生拥塞时，对优先级相对较高的数据流取消发送速率限制。

7.根据权利要求1所述的一种数据中心网络灾备传输方法，其特征在于，所述数据交换机包括报文接收模块，在报文接收模块设置两个队列，包括第一队列和第二队列：

所述第一队列用于存储报文，

所述第二队列用于存储报文所属数据流的标识和优先级信息。

8.根据权利要求7所述的一种数据中心网络灾备传输方法，其特征在于，所述报文接收模块在第一队列已满时收到报文，遍历第二队列确定报文所属数据流的优先级，对报文进行处理：

第二队列中报文的优先级均大于收到的报文的优先级时，丢弃收到的报文；

第二队列中存在优先级小于收到的报文的优先级时，丢弃队列中优先级最小的数据流中最晚到达的报文，保存收到的报文。

9.根据权利要求8所述的一种数据中心网络灾备传输方法，其特征在于，报文接收模块保存收到的报文后，判断当前队列被占用比率与固定门限K的大小关系，当前队列被占用比率大于固定门限K，用CE码点标记收到的报文首部；否则，不作处理。

10.根据权利要求8所述的一种数据中心网络灾备传输方法，其特征在于，所述数据交换机包括报文发送模块，报文发送模块在发送报文时遍历第二队列，确定报文所属数据流的优先级，根据数据流的优先级，发送优先级最大的数据流中最先到达的报文。

Images