CN106201356B - 一种基于链路可用带宽状态的动态数据调度方法 - Google Patents

Abstract

本发明公开了一种基于链路可用带宽状态的动态数据调度方法，用户读取数据时首先根据数据存储表确定需要的数据存放于哪些地面存储节点，然后指派相应的存储节点根据转发表发送数据包，并实时监测网络中的链路带宽负载情况，及时调整数据的传输路径。本发明的有益效果：可以根据链路的实时带宽动态调整数据的传输路径，从而缩短数据请求响应时间、提升数据吞吐量。

Description

一种基于链路可用带宽状态的动态数据调度方法

技术领域

本发明涉及通信技术领域，具体来说，涉及一种基于链路可用带宽状态的动态数据调度方法。

背景技术

分布式存储通过集群应用、网络技术及分布式文件系统等功能，将网络中大量各种不同类型的存储节点联合起来协同工作，共同对外提供数据存储和业务访问功能。分布式存储系统与传统存储方式相比，在扩展性，访问难易程度，成本等方面具有非常大的优势。

在部分典型应用场景中，分布式存储系统除了对存储数据量有要求外，对数据访问和数据备份的实时性也有很高要求。地理分散、实时业务速率高、兼顾实时访问和事后访问需求，存储数据量大、冗余备份。如在中国基于中继卫星的天地一体化网络中，随着中国航天技术的进步、开发利用太空进程的加快，中国的太空活动正在加速发展，在中继卫星系统中进行缓存、转发、处理的数据量越来越大，理论上中继卫星24小时内数据量将达到百GB量级，在组网条件下系统需要存储和处理的业务数据将达到TB量级。在这种情况下，分布式存储系统中节点间的数据转移不仅受到节点自身负载的影响，更会受到链路带宽的限制。然而受限于单节点的存储能力和传输带宽，目前在天地一体化网络等应用系统中仍存在对大容量数据存储的瓶颈，因而如何充分利用现有资源，适应日益增长的海量数据存储需求是当前面临的一项重要任务。

在分布式存储的环境下提供信息服务会涉及到很多方面的考量，天地一体化存储网络等实际应用场景中，数据存储过程首先要面向海量结构化、非结构化数据落地后的直接存储，一个重要问题是海量数据如何在不同存储位置进行分配和调度；其次，要考虑解决高速率的数据及时存储问题；最后，与民用互联网情况不同，在天地一体化存储网络中带宽等资源会受到一定限制，因此，需要在有限资源的条件下，解决海量数据的高速并发存储与访问问题。

对存储资源调度的主要目的就是对用户的请求做到及时的响应，并根据相应的请求分配资源，缩短响应时间，提升资源利用率等。现有的数据调度方法如MapReduce调度、Tivoli调度和基于QoS调度或是对数据进行分类，或是从服务器和虚拟机的性能上调整负载分布，或是从服务资源处理性能和服务需求规格上对任务进行处理。但是，这些传统方法都将逻辑上的控制与数据转发耦合在一起，这会使得网络的控制面变得复杂，不利于数据的高速转发。天地一体化云存储系统应具备高可用性和高资源利用率特征，而大容量数据的调度是目前天地一体化网络发展的瓶颈。

针对上述相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

有鉴于此，本发明提供了一种基于链路可用带宽状态的动态数据调度方法，能够解决现有技术的海量数据分配调度难和大量数据提取的响应慢的问题。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于链路可用带宽状态的动态数据调度方法，包括以下步骤：

1)所有的存储节点泛洪发送一个测试数据包，各存储节点根据测试数据包，确定与其它存储节点的连通情况，并反馈给中心控制节点；

2)中心控制节点根据存储节点反馈回来的连通情况，建立节点链路状态表，并在计算链路开销后建立路由表；

3)用户访问存储节点时，相应的存储节点向中心控制节点发送请求数据包，中心控制节点查询自身的元数据目录，判断数据是否在当前访问的存储节点，若在，相应的存储节点根据确定的传输路径发送数据包给用户访问该存储节点，若不在，则根据当前的链路可用带宽状态给出最佳传输路径，然后通过响应数据包告知相应的存储节点发送数据。

进一步的，在相应的存储节点发送数据包之前和之后均更新路由表。

进一步的，所述元数据目录内存储的信息包括数据的存储位置和冗余的备份位置。

进一步的，采用软件定义网络SDN架构将网络的控制平面和数据转发平面进行分离。

进一步的，步骤3)中寻找最佳传输路径采用Dijkstra算法，具体包括以下步骤：

3.1)、初始化：根据公式OcB_i＝C×8×N得出当前链路占用带宽，输入有向图G＝(V,E)的信息；

3.2)、设置d_s＝0，其它节点d_i＝∞；

3.3)、选定起始节点s，此时S＝{s}；

3.4)、检验所有从S到其它未选定的节点j的使用带宽，设置d_j＝min{d_j,d_s+l_sj}，其中l_sj是节点s到节点j的直接连接带宽；

3.5)、对于任意的i∈S'，选取d_j最小的一个i：判断，若有节点i就被选为最短路径中的一点，置S＝S∪{i}，S'＝S'-{i}；

3.6)、找到节点i的前一点，从S中找到直接连接节点i的节点j^*，置i＝j^*；

3.7)、标记节点i，如果所有点都在S中，则算法完成，否则，置k＝i，重复步骤3.4)-3.6)直到所有点都在集合S中；

其中：用邻接表构建的带权值(占用链路带宽)的有向图G＝(V,E)，其中V为节点集合V＝{v₀,v₁,…,v_n}，E为边表集合E＝{w₁,w₂,…,w_n}，数据包发送起始点s，S为最短路径上的已选取路径节点集合S＝{s}，S'为剩余节点集合S'＝V-{s}，d是从起始点s到点j的最小带宽前驱节点集合

本发明的有益效果：本发明借鉴SDN架构，将网络的控制平面与数据转发平面进行分离，可以有效的解决海量数据在不同位置的分配调度，以及用户对大量数据提取的响应时间及存储速率等问题；同时网络链路负载均衡可以使网络中的链路负载更加均匀，如果某条链路负载过重可能会造成网络拥塞，降低网络性能，在传送数据时动态的根据链路负载情况选择路径，可以提高网络的传输速度，减小响应时间；在用户读取数据时首先根据数据存储表确定需要的数据存放于哪些存储节点，然后指派相应的存储节点根据转发表发送数据包，并实时监测网络中的链路带宽负载情况，及时调整数据的传输路径，所提架构和算法可以有效缩短响应时间，提升系统的吞吐率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种基于链路可用带宽状态的动态数据调度方法流程图；

图2是基于OPNET环境，对本发明方法与路由信息协议方法的数据请求响应时间对比图；

图3是基于OPNET环境，对本发明方法与路由信息协议方法的链路吞吐量对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，根据本发明的实施例所述的一种基于链路可用带宽状态的动态数据调度方法，包括以下具体步骤：

首先各存储节点所存数据的元数据目录都存放在控制中心，以实现对数据的统一管理，建立数据存储表，供后续阶段数据调度时查询使用；其中元数据存储的信息包括数据的存储位置，冗余的备份位置。

步骤一所有的存储节点泛洪发送一个测试数据包，存储节点根据测试数据包，确定与其他存储节点的连通情况，并反馈给中心控制节点；

步骤二中心控制节点根据存储节点反馈回来的连通情况，建立节点链路状态表，并在计算链路开销后建立路由表；

步骤三用户访问存储节点时，相应的存储节点向中心控制节点发送请求数据包，如当请求类型为读数据时，中心控制节点查询自身的元数据目录，判断数据是否在于当前访问的存储节点，若在则直接跳到步骤四，若不在则根据当前的链路可用带宽状态给出最佳传输路径，然后通过响应数据包告知相应的存储节点发送数据；

步骤四存储节点根据确定的传输路径发送数据包给用户访问存储节点，同时因发送数据包需要占用链路带宽资源，更新路由表，以为后续的数据传输提供最佳路径；

步骤五数据包发送完毕后占用的链路带宽资源得到释放，再次更新路由表；当有用户访问再次存储节点时，重复步骤三到步骤五。

在分布式数据节点之外引入一个中心控制节点，中心控制节点掌握全局网络视图，全局网络视图中既包括数据存储表记录存储数据的分布，又包括当前链路带宽情况；采用软件定义网络(Software Defined Network,SDN)架构，将网络的控制平面与数据转发平面进行分离，在用户读取数据时首先根据数据存储表确定需要的数据存放于哪些地面存储节点，然后指派相应的地面存储节点根据转发表发送数据包，并实时监测网络中的链路带宽负载情况，及时调整数据的传输路径。其中，软件定义网络(Software Defined Network,SDN)是一种新兴的网络架构，能够更好地适应部署在网络中的应用需求，为宽带网络创新提供平台，使得控制流与数据流可以分离，用户能够根据自身需要，通过编程来实现对网络的动态监测和管理，同时，实现网络资源动态且灵活的调配。SDN这一特性可以针对分布式存储网络中分布式存储节点在地理上分布跨度大、数据在节点间传输对带宽的需求大以及用户读取数据时要求低响应时间等特性提出一个很好的解决方案。通过借鉴SDN的基本思想，分布式存储节点只负责数据的存储或读取，在数据的调度与转发上由中心控制节点进行决策，使得数据在逻辑上集中、物理上分散，充分利用现有资源，随着存储节点数目的增多，可以极大的缓解数据传输延时高的问题。其次，在数据的读取过程中，可以实现用户对数据的方便获取，包括用户就近接入节点，访问远端的数据，设计访问与管理过程中数据的流向，保证数据访问的高效性。

其中在步骤三中具体寻找最佳传输路径的方法，可以采用Dijkstra算法，所涉及的符号如下：

用邻接表构建的带权值(占用链路带宽)的有向图G＝(V,E)，其中V为节点集合V＝{v₀,v₁,…,v_n}，E为边表集合E＝{w₁,w₂,…,w_n}，数据包发送起始点s，S为最短路径上的已选取路径节点集合S＝{s}，S'为剩余节点集合S'＝V-{s}，d是从起始点s到点j的最小带宽前驱节点集合

Dijkstra算法具体流程为：

初始化。根据公式OcB_i＝C×8×N得出当前链路占用带宽，输入有向图G＝(V,E)的信息。

设置d_s＝0，其它节点d_i＝∞；

选定起始节点s，此时S＝{s}；

检验从所有从S到其他未选定的节点j的使用带宽，设置d_j＝min{d_j,d_s+l_sj}，其中l_sj是节点s到节点j的直接连接带宽；

对于任意的i∈S'，选取d_j最小的一个i：判断，若有节点i就被选为最短路径中的一点，置S＝S∪{i}，S'＝S'-{i}；

找到节点i的前一点，从S中找到直接连接节点i的节点j^*，置i＝j^*；

标记节点i，如果所有点都在S中，则算法完成，否则，置k＝i，重复步骤3知道所有点都在集合S中。

为了证明本发明所提出方法的性能，采用OPNET网络软件对所提方法性能进行了评估。传统的数据调度方法基于IP网络，大多使用路由信息协议(Routing InformationProtocol,RIP)，这是一种分布式的基于距离矢量的路径选择协议，RIP选择路径的方法基于所经过的跳数，而不考虑网络延迟或者链路开销等实际问题，所以拥有较少跳数的路径会被选为最佳路径，即使较长的路径有低的延迟和开销。本发明提出的方法是将有效链路带宽作为均衡对象，根据链路的实际带宽情况，动态调整数据传输路径，避免某些链路的负载过重，有些链路的负载过轻，造成某些链路的拥堵，可以有效减少数据请求的响应时间，以及队列时延。

如图2-3所示，仿真中，设置了6个存储节点，1个中心控制节点，设置仿真时间为1h，用户随机发起读取数据请求，目的存储节点采用均匀分布随机产生，数据包长度为1000bits。

从以下两个角度对两种调度策略做出对比：

(1)数据请求响应时间

节点上的用户发起数据请求，直到收到请求的数据所经过的时间。由于路径选择算法的差异，导致发起请求至得到响应的时延不同。

(2)吞吐量

表示一个网络设备或链路在单位时间内成功的传送数据的数量，是实际链路中每秒能传送的数据量，用以衡量系统性能。

附图2给出了数据请求响应时间图，可以看出，采用RIP调度策略的响应时间，最高达到0.2s，最后稳定在0.18s到0.19s之间，而采用LBBS策略，响应时间基本稳定在0.12s，响应时间减少了54％，因为RIP调度策略是基于跳数选择路径，而本发明提出的方法考虑到链路中剩余带宽来选择，因此响应时间更短。

附图3给出了存储节点1和存储节点6之间链路吞吐量，可以看出，使用本发明提出的方法，可以动态的调整数据发送的路径，因此可以充分利用这条链路传输数据，存储节点选择剩余带宽更多的链路来传输数据，在图3中可以看到随着仿真时间的增加，这条链路的吞吐量迅速增加到320000(bits/sec)左右，最后吞吐量稳定在380000～4000000(bits/sec)之间，而RIP调度策略不能根据链路的实时带宽动态调整数据的传输路径，未能充分的利用带宽资源，吞吐量都非常小。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于链路可用带宽状态的动态数据调度方法，其特征在于，包括以下步骤：

1)所有的存储节点泛洪发送一个测试数据包，各存储节点根据测试数据包，确定与其它存储节点的连通情况，并反馈给中心控制节点；

2)中心控制节点根据存储节点反馈回来的连通情况，建立节点链路状态表，并在计算链路开销后建立路由表；

3)用户访问存储节点时，相应的存储节点向中心控制节点发送请求数据包，中心控制节点查询自身的元数据目录，判断数据是否在当前访问的存储节点，若在，相应的存储节点根据确定的传输路径发送数据包给用户访问该存储节点，若不在，则根据当前的链路可用带宽状态给出最佳传输路径，然后通过响应数据包告知相应的存储节点发送数据；

寻找最佳传输路径采用Dijkstra算法，具体包括以下步骤：

3.1)、初始化：根据公式OcB_i＝C×8×N得出当前链路占用带宽，输入有向图G＝(V,E)的信息；

3.2)、设置d_s＝0，其它节点d_i＝∞；

3.3)、选定起始节点s，此时S＝{s}；

3.4)、检验所有从S到其它未选定的节点j的使用带宽，设置d_j＝min{d_j,d_s+l_sj}，其中l_sj是节点s到节点j的直接连接带宽；

3.5)、对于任意的i∈S'，选取d_j最小的一个i：判断，若有节点i就被选为最短路径中的一点，置S＝S∪{i}，S'＝S'-{i}；

3.6)、找到节点i的前一点，从S中找到直接连接节点i的节点j^*，置i＝j^*；

3.7)、标记节点i，如果所有点都在S中，则算法完成，否则，置k＝i，重复步骤3.4)-3.6)直到所有点都在集合S中；

其中：用邻接表构建的带权值的有向图G＝(V,E)，该权值为对应链路所占用的带宽，其中V为节点集合V＝{v₀,v₁,…,v_n}，E为边表集合E＝{w₁,w₂,…,w_n}，数据包发送起始点s，S为最短路径上的已选取路径节点集合S＝{s}，S'为剩余节点集合S'＝V-{s}，d是从起始点s到点j的最小带宽前驱节点集合

2.根据权利要求1所述的基于链路可用带宽状态的动态数据调度方法，其特征在于，在相应的存储节点发送数据包之前和之后均更新路由表。

3.根据权利要求1所述的基于链路可用带宽状态的动态数据调度方法，其特征在于，所述元数据目录内存储的信息包括数据的存储位置和冗余的备份位置。

4.根据权利要求1所述的基于链路可用带宽状态的动态数据调度方法，其特征在于，采用软件定义网络SDN架构将网络的控制平面和数据转发平面进行分离。