CN109672626B

CN109672626B - 一种基于排队延迟利用的服务聚合方法

Info

Publication number: CN109672626B
Application number: CN201910017475.4A
Authority: CN
Inventors: 黄明凤; 刘安丰; 滕浩钧
Original assignee: Central South University
Current assignee: Central South University
Priority date: 2019-01-09
Filing date: 2019-01-09
Publication date: 2022-08-02
Anticipated expiration: 2039-01-09
Also published as: CN109672626A

Abstract

本发明公开了一种基于排队延迟利用的服务聚合方法。该方法可应用于数据密集型服务网络中解决当前因移动设备和网络流量迅速增长所造成的排队延迟过大和传输负载过重的问题。本发明方法利用数据包在路由节点转发队列内的排队延迟进行服务聚合，并将多个数据包处理融合封装成可供用户直接调用的服务缓存在路由节点存储空间。在本发明方法下，数据中心的服务聚合和部分请求分散给路由节点处理，从而实现数据处理从中心式向边缘化的转移。相比于已有的通信方案，本发明方法可使得网络在保证原有延迟性能的基础上，有效减少传输数据量，降低数据中心的工作负载。

Description

一种基于排队延迟利用的服务聚合方法

技术领域

本发明涉及网络通信领域，特别涉及一种数据密集型服务网络中基于排队延迟利用的服务聚合方法。

背景技术

随着无线通信技术的快速发展,各类移动设备诸如智能手机,无线传感器,车载设备等在我们的日常生活中越来越重要,也深刻改变了当前的网络结构与计算模式。(1)首先,网络体系结构的重点从网络中心向网络边缘转移。自2011年以后,全球连接到物联网的设备已经超过人口总数量,达到90亿台设备。而且预计到2020年,连接到网络的设备将达到240亿台。迅速增长的网络设备产生了指数级的数据,在拥有这些大数据的基础上,结合深度学习等人工智能技术,能够发展众多的应用。例如:WeatherLah应用就是一种基于气象数据收集的应用,Waze项目是一种实时交通信息的应用。同时,这些移动设备的计算能力也得到质的发展,使得当前的网络体系结构发生了巨大的改变。当前的网络将应用与数据都放在网络边缘处理,边缘计算正是对这一计算模式转变的结果。(2)服务计算正成为网络计算一种兴起的计算模式,它是系统,人和控制之间的桥梁。服务计算涵盖了连接业务和IT服务，并引起了工业界和学术界越来越多的关注。边缘网络上的移动设备不但数量巨大,而且随着微处理技术的发展,其计算能力远超过10年前的个人电脑,因而许多计算都可以在网络边缘完成。特别是随着软件定义网络的发展,移动设备只需要得到新的程序经过重新编译就可以具有新的功能,具有更强的应用前景。数据、计算能力、软件定义网络的结合为服务计算模式奠定了物质与技术基础。而另一方面,基于数据传输的网络也面临着重重困难，这也加速了服务计算模式的转变。来自Cisco公司的报告显示，物联网产生的数据流量在2014年已经占到整个网络流量的69％,是2000年数据流量的30倍,而且数据量正呈指数级的加速度增长。显然,这种史无前例的设备与数据量增长造成基于数据传输的网络拥塞,延迟急剧增大,抖动,网络服务质量急剧恶化,从而使得用户体验质量差,使基于数据传输的网络面临重要挑战。因此,有一些研究人员提出合成数据来形成服务网络(ODSN)框架,该框架可将数据合成软件定义网络中的服务,从而实现以服务计算为中心来取代以数据传输中心的架构。

物联网的服务被定义为自我描述可重用且高度可移植的软件工件,服务是由收集的数据处理后合成的。它能够从不同的层面与其它设备上的服务或数据进行服务融合,形成更大的服务或者应用的基本单位。因此，服务可以允许人们无时间空间限制地访问数据，这给人们的生活、学习、工作提供了极大的便利。

但服务计算仍然面临挑战，服务网络的主要目标是改变原有基于数据传输网络中由于传输原始感知的数据而造成网络负载过重的局面。但在基于服务的网络中同样面临类似的挑战.虽然基于服务的网络能够以数据量级减少网络所需要传输的流量,但急剧增长的移动设备，不断涌现的新的应用也以数量级的速度增长。而且，对于服务计算模式中的服务路由更有其特殊性。在这样的服务计算模式中,数据在向数据中心路由的过程中,网络中的各级设备对收到的数据逐级合成容量更小,功能更强大的服务,并适当缓存本地的服务,从而能够使得用户访问这些服务时就能够本地得到反应,大大减少服务请求的延迟。另一方面,为尽可能减少网络所需要传输的负载,路由路径上的各级设备应尽可能等候足够多的数据到达后,再一起进行服务融合,从而最大程度的减少所需要传输的流量。但是,等候更多数据到达会增大上行路由的延迟,再加上服务聚合也需要时间。因此,在服务网络中，保证网络延迟性能的同时减少网络传输数据量是一个非常重要的内容。

发明内容

本发明提供一种适用于数据密集型服务网络中的服务聚合方法，其目的在于，解决当前因移动设备和数据流量迅速增长所造成的排队延迟过大和传输负载过重问题。本发明方法利用数据包在中继路由节点转发队列中的排队时间，来进行数据的处理和服务聚合，该方法可有效降低传输数据量，提高请求响应速度，为用户带来很好的服务体验。

为实现上述目的，本发明提供一种基于排队延迟利用的服务聚合方法，包括如下步骤：

步骤一，设立服务聚合阀值，对于路由节点，一旦其队列中数据包数量达到阀值就开始一次服务聚合，聚合前根据区分值确定算法来划分转发数据包和聚合数据包。步骤二，转发数据包依据最短队列优先的中继选择算法确定数据接收节点，然后按照先进先出原则出队列。利用转发数据包进行数据发送的时间，聚合数据包进行统一的服务聚合，合成为高品质的服务。步骤三，服务聚合产生的服务缓存在对应聚合节点的本地存储空间，按照同一服务的内容块相邻存储，不同服务分开存储的原则，同时采用最近最久未使用数据置换算法。步骤四，服务聚合完成后，将聚合数据包保留的有效数据存放在原始数据包中，并将该数据包转换为下一轮服务聚合的转发数据包，按照队列正常秩序出队列。步骤五，用户进行服务请求时，首先检查服务是否在网络层的路由节点中缓存，若缓存则直接从路由节点处返回数据，否则请求数据中心处理。

基于上述路由与服务聚合过程，在本方法下建立了多个数据包的服务聚合模型，并提出了聚合数据包与转发数据包的区分阈值算法，最短队列优先的中继选择算法。同时提出了一个完整聚合过程的服务聚合算法。

本发明方法具有以下有益效果：首先，本发明方法充分利用了数据包的排队延迟进行服务聚合，使得数据在网络层就被合成为可供用户直接调用的可重用的服务。数据包每经过一个路由节点就会与该节点接收到的其它数据包聚合,随着聚合次数的增加,传输数据量和每跳通信开销逐渐减少，也间接地降低了延迟由于传输数据量影响传输延迟。同时,多个数据包被聚合后形成高质量的服务缓存在路由节点的本地存储中,当存储的服务被用户请求时可直接从网络层返回,从而避免了冗长的网络路由,大大节省了网络传输开销。其次，本发明方法可以缓解数据中心的流量压力和均衡路由节点的工作负载。通过将数据包合成为服务并分散地存储在路由节点上,数据中心的部分请求处理能被路由节点代替,尤其是在流量高峰时可极大地缓解数据中心压力。最后,本发明方法下的最短队列优先的中继选择算法下,路由节点的队列长度会随着其接收或者发送数据包而不断更新,从而使得路由节点的数据量相对均衡。整体来看，本发明方法通过利用数据包的排队延迟来进行服务聚合,可有效减少传输数据包,并且保证总体延迟,改善用户的服务体验。

附图说明

图1为本发明实例应用的网络结构示意图

图2为本发明实施中继选择示意图

图3为本发明实施多个数据包服务聚合示意图。

图4为本发明实施阈值确定与完全服务聚合示意图。

图5为本发明实施部分服务聚合示意图。

图6为本发明方法实施特殊服务聚合情况处理示意图

图7为本发明方法不实施服务聚合情况示意图

图8为本发明方法和对比方法的路由节点的数据量对比示意图

图9为本发明方法和对比方法的路由节点的数据量方差对比示意图

图10为本发明方法和对比方法的数据中心的数据量对比示意图

图11为本发明方法和对比方法的网络延迟对比示意图

图12为本发明方法和对比方法的路由节点的功率消耗对比示意图

图13为本发明方法和对比方法的数据中心的总功率消耗对比示意图

图14为本发明方法和对比方法的用户请求响应延迟对比示意图

具体实施方式

下面结合附图和实例对本发明做进一步说明。

图1所示为本发明方法应用场景的网络架构图。整个网络系统划分为数据收集层、骨干网络层和数据中心层。数据收集层由众多普适感知设备组成，骨干网络层由各类路由器组成。网络中部署有一个数据中心和多个路由节点。规范化网络模型定义如下：网络可定义为有向图G＝{R，L},其中R是所有路由器节点的集合,L是有序的R中的二元组元素集。网络中N个路由器的集合为R＝{r₁,r₂,…,r_N},|R|＝N。L表示路由节点间的通信链路,对于两个路由节点之间的链路，L＝(L_S,L_E)，L_S是路径的起始点，L_E是路径的终点。数据包集合是D，

服务集合是

图2所示为本发明方法下基于队列长度的中继节点选择示意图。中继节点的选择采用最短队列优先原则，并且将距离作为第二依据。首先当前节点通信范围内的其它节点形成一个中继候选集,且集合中节点已经按照队列长度由小到大排序。如图所示，当前节点为S,S要求中继节点距离限定在100m以内,在S的转发队列中有数据包D1,D2,D3,S通信范围的节点A,B,F和G构成候选节点集。当节点S发送D1时，遍历集合找到节点A，由于节点A距离节点S 70m，那么节点A就被选定为数据D1的接收节点。数据D1从节点S的转发队列发送之后，节点S的队列长度减1，节点A队列长度加1。依此类推，直到发送数据D3时，节点F优先被遍历，但是它与当前节点的距离超过了最大距离值100m，此时重新选择节点。

图3所示为本发明方法下多个数据包的服务聚合示意图。服务聚合依赖于已经提出的数据处理和数据融合技术。如图所示，服务聚合的第一步类似于数据过滤，即删除多个数据包中的冗余数据或单个数据包中的无效数据，然后将有效数据保留在原始数据包中用于后续数据转发和数据融合。聚合服务之后，数据包数量不会减少，但是每个包的数据量和传输的数据总量减少了。第二步是关联多个数据包保留的有效数据并将数据融合在一起，这类似于数据融合。最后一步是以服务的形式封装合并的数据，并将服务存储在本地存储中。

图4所示为本发明方法下数据包区分值确定与完全服务聚合示意图。路由节点有转发队列和本地存储空间,队列长度和存储容量是有限制的。服务聚合前先要明确转发数据和聚合数据,如图所示,在路由节点的转发队列中有7个数据包，通过区分值确定算法确定前面三个数据包为转发数据包,后面四个数据包为聚合数据包,将结束标记放置在D7后面。前面三个转发数据包按照FCFS规则出队列，后面的D4,D5,D6,D7进行服务聚合，队列后面剩余空队列空间进行正常的数据接收。四个数据包聚合形成服务S，S存储在路由节点的本地存储空间中。若S数据量过大,或存储空间已满,采用最近最久未使用置换算法。

图5所示为本发明方法下部分服务聚合示意图。部分服务聚合过程与图4相似,但在图5中,对于队列数据包按照区分值确定算法划分数据包后,D5’D6’D7’的数据发送时间只够D8,D9,D10聚合,则将D11作为下一次聚合的数据处理。因此,在本发明方法下,每次利用的队列延迟和处理的数据长度是根据实际的队列数据长度和排队情况确定的。

图6所示为本发明方法下特殊聚合情况处理示意图。由于不同数据包之间的相关度有差异，所以聚合程度和聚合时间不是固定的。同时,在信道质量好传输带宽高的网络中,数据传输时间也会比一般情况短。因此,针对转发数据包已经全部发送完成,但服务聚合仍然在进行的情况,引入一个最长可等待时间λ,即当转发数据包全部出队列后，若服务聚合仍未完成，我们容忍λ的等待，若服务聚合操作可以在λ的时间内完成,则等服务聚合之后,再将数据传输给下一跳。等待λ时间之后,服务聚合仍未完成，取消本次聚合，将数据以原始数据包形式发送。

图7所示为本发明方法下无服务聚合情况示意图。在两种情况下不进行服务聚合,如图所示,当队列为空时,新入队列的数据包直接发送而无须等待后面的数据。另外一种情况是当队列数据不足以划分聚合数据包和转发数据包时无服务聚合，如图中队列中有D16’和D17,D18,而D16‘的发送时间不足以支持D17和D18聚合,同时若D16’和D17作为发送数据,D18单个数据包无法聚合,所以当队列中的排队数据较少无法划分转发数据包和聚合数据包时,直接发送原始数据包。

图8所示为本方法与对比方法的路由节点数据量对比示意图。对比方法为基于最短路和FIFO队列调度原则，无服务聚合的网络通信方案。网络每秒产生20000个数据包,每个数据包的数据量在10KB-20KB。如图所示,在本发明方法下路由节点的数据量更加均衡,基本维持在9000KB－10500KB之间。而在对比方法下,数据量最多约为11000KB,数据量最小的约为8000KB，数据量差距比本方法明显。这说明本方法下网络负载更均衡。

图9为本发明方法和对比方法的路由节点的数据量方差对比示意图。如图所示,本发明方法下的数据方差非常小。当数据频率为20000packets/s时,本发明方法的接收数据方差仅为对比方法的10.32％,传输数据方差为对比方法的9.87％。而随着数据频率的增高,方差差距更为明显,当数据频率为30000packets/s时,本发明方法的接收数据方差为对比方法的5.3％,传输数据方差为对比方法的5.05％。

图10为本发明方法和对比方法的数据中心的数据量对比示意图。数据量包括接收数据量,处理数据量和存储数据量。如图所示,本发明方法和对比方法在接收数据量和存储数据量上没有太大差别。但是本发明方法的处理数据量要远远少于对比方法,相比于对比方案,本发明方法下数据中心的处理数据量被降低了55.8％－66.26％。

图11为本发明方法和对比方法的网络延迟对比示意图。延迟包括通信延迟,传输延迟和排队延迟,图中所示为距离数据中心不同距离的总延迟。相比于对比方法,本发明方法下的总延迟更低,尤其是当传输距离很远时,本发明方法在传输延迟和排队延迟有很大优势，因而总延迟更低。

图12为本发明方法和对比方法的路由节点功率消耗对比示意图。如图所示,在本发明方法下,路由节点的平均功率消耗要高于对比方法,但是全部路由节点的功率消耗较为均衡，网络中最大消耗和最小消耗差距不大。而在对比方法下，路由节点的功率消耗差很大，这说明本发明方法下路由节点的数据负载更加均衡，从而不易形成网络瓶颈。

图13为本发明方法和对比方法的数据中心总功率消耗对比示意图。数据中心的消耗主要包括数据存储开销和请求响应消耗。本发明方法和对比方法在数据存储方面的开销差别不大，本发明方法要略小于对比方法。而在请求处理方面，本发明方法的开销要远远小于对比方法，因为本发明方法下的部分请求可由路由节点满足,而对比方法下所有的请求都必须由数据中心处理。如图所示,本发明方法下数据中心的功率消耗要比对比方案法的消耗低48.52％－69.72％，这说明本发明方法确定可以减轻数据中心的负载。

图14为本发明方法和对比方法的用户请求响应延迟对比示意图。当请求数据量在10-20KB时，本发明方法相比于对比方法降低了请求延迟33.33％；当请求数据量在40-60KB时，本发明方法相比于对比方法降低了请求延迟46.08％；当请求数据量在80-100KB时,本发明方法相比于对比方法降低了请求延迟51.41％。请求数据量越高时,本发明方法具有比对比方法更小的请求响应延迟,这说明本发明方法更适用于数据密集型的服务网络。

Claims

1.一种基于排队延迟利用的服务聚合方法，其特征在于，利用队列中转发数据包的数据传输时间，将多个聚合数据包进行处理后封装合成为可重用的服务，并将生成的服务缓存在路由节点的存储空间，主要包括以下步骤：

步骤一：设立服务聚合阀值，对于路由节点，一旦其队列中数据包数量达到阀值就开始一次服务聚合，聚合前根据区分值确定算法来划分转发数据包和聚合数据包；

步骤二：转发数据包依据最短队列优先的中继选择算法确定数据接收节点，然后按照先进先出原则出队列，利用转发数据包进行数据发送的时间，聚合数据包进行统一的服务聚合，合成为高品质的服务；

步骤三：服务聚合产生的服务缓存在对应聚合节点的本地存储空间，按照同一服务的内容块相邻存储，不同服务分开存储的原则，同时采用最近最久未使用数据置换算法；

步骤四：服务聚合完成后，将聚合数据包保留的有效数据存放在原始数据包中，并将该数据包转换为下一轮服务聚合的转发数据包，按照队列正常秩序出队列；

步骤五：用户进行服务请求时，首先检查服务是否在网络层的路由节点中缓存，若缓存则直接从路由节点处返回数据，否则请求数据中心处理。

2.根据权利要求1所述的方法，其特征在于，多个聚合数据包进行服务聚合默认生成为一个服务，服务聚合采用多跳无损聚合模型，对于某路由节点的一次服务聚合，数据包集合为

集合中第j个数据包为

数据聚合率为ε，则服务聚合结果表示为：

。

3.根据权利要求1所述的方法，其特征在于，转发数据包选择下一跳中继时，采用最短队列优先的中继选择原则，从当前节点的中继候选集中选择队列长度最小同时距离在允许通信范围内的节点,并在每次数据包入队列和出队列后，更新节点队列长度。

4.根据权利要求1所述的方法，其特征在于，服务聚合后形成的服务缓存在路由节点本地，缓存时以数据块按内容分类存储，同一服务的内容块被存储在连续单元内，不同服务的块被存储在不同单元，并且存储内容会依据内容流行度基于最近最久未使用置换算法更新。