CN115604311A - 一种面向服务网络的云端融合计算系统及自适应路由方法 - Google Patents

一种面向服务网络的云端融合计算系统及自适应路由方法 Download PDF

Info

Publication number
CN115604311A
CN115604311A CN202211205659.1A CN202211205659A CN115604311A CN 115604311 A CN115604311 A CN 115604311A CN 202211205659 A CN202211205659 A CN 202211205659A CN 115604311 A CN115604311 A CN 115604311A
Authority
CN
China
Prior art keywords
data
service
network
cloud
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211205659.1A
Other languages
English (en)
Other versions
CN115604311B (zh
Inventor
谢欣奕
刘安丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202211205659.1A priority Critical patent/CN115604311B/zh
Publication of CN115604311A publication Critical patent/CN115604311A/zh
Application granted granted Critical
Publication of CN115604311B publication Critical patent/CN115604311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种面向服务网络的云端融合计算系统及自适应路由方法,该方法可用于解决服务网络面临的数据量过大和数据与任务分散等问题。该方法采用云边融合的计算方式,数据在中间设备上根据网络拥塞情况被逐级处理,最终在云端形成全局服务。主要方案包括:1)对网络进行监听,获得网络拓扑,拥塞情况,设备与数据流信息;2)基于匹配理论将数据流发送至下一中间设备;3)设备将数据加入排队队列,优先对数据进行简单处理,当网络拥塞发生时则进行服务编排;4)设备将处理结果暂存至本地后向上传输。本发明可利用网络中计算资源分布式执行任务,显著提高计算效率;在最小化数据延时的同时保证数据质量,实现服务快速响应和网络低能耗。

Description

一种面向服务网络的云端融合计算系统及自适应路由方法
技术领域
本发明涉及网络通信领域,尤其涉及一种面向服务网络的云端融合计算系统及自适应路由方法。
背景技术
物联网为各物理设备接入互联网并于其他设备通信提供了渠道,可以实现物与物,物与人之间的连接互通。随着物联网技术的发展,越来越多的智能终端设备加入到互联网,设备之间的连接更加普遍,这些设备利用高速率数据传感器精确感知周围环境变化,产生大量感知数据并上传至网络,使得互联网中的数据量呈现指数级增长。与此同时,通信技术的发展促进了网络带宽快速增强,推动了绿色通信方式的兴起,如LoRa,5G/6G,和NB-IoT等,提高了数据传输效率。然而,由于网络中设备急剧增长,设备连接更加广泛,网络通信能力的增长远远比不上数据量的增长,这对以数据为中心的网络带来了严峻挑战。
物联网在各个领域的广泛应用促进了经济的快速发展,通过处理网络中的海量数据可以创造巨大的价值,一些数据密集型任务如VTrack,NoiseTube和WeatherLah等以及延时敏感服务如人脸识别、增强现实等也不断涌现。由于目前云服务种类繁多并且已经高度成熟,云计算仍然是处理网络中海量数据的主流计算模式,在这种计算模式下,终端设备产生的所有感知数据都经过中间设备上传至数据中心,由云端高性能的服务器对数据进行集中处理并对用户请求进行集中响应,因此云计算能够高效地进行数据处理,满足用户的复杂服务请求并且保证提供的服务质量。然而,这种处理模式仍然存在一些不足,具体体现在以下方面:①路由代价大。由于终端设备数量众多并产生了大量的感知数据,将这些数据全部传输至数据中心需要消耗大量的网络带宽和资源消耗。特别是在当前多对一的网络结构中,大量的数据涌入骨干网络给网络设备造成沉重负载,降低设备寿命和计算效率。②网络性能受限。由于云计算中采用集中式的数据处理和服务响应,因此网络计算效率取决于云端服务器的计算能力。同时当数据与服务请求增多时,云端负载加重,降低网络性能。③服务响应时间长。由于云端距离较远,服务请求需要经过漫长的路由到达云端,在云端得到满足后再沿着同样的路径返回,造成严重的延时与抖动,降低用户服务质量。随着网络中设备数量的不断增长以及计算能力的增强,数据处理任务逐渐从网络中心的云端转移到网络中各个设备上,边缘计算作为这类计算模式的典型代表,允许设备将任务卸载到附近计算能力较强的设备上执行,并获得返回的计算结果。由于任务能被卸载到不同的设备上,因此具有较高的执行效率,能很好地实现负载平衡,同时由于计算结果在边缘设备上,因此能够快速高质量地响应请求。然而,这种处理模式同样存在一些弊端,具体表现在:①分散数据源的数据路由代价大。对于数据密集型任务,若数据源距离目标设备很远,由于设备通信能力的限制,数据需要先上传至网络核心层再下发至目标设备,此过程的路由代价远大于直接上传至云端处理的情况,当有多个数据源分散在网络边缘时,路由代价则呈现指数级增长。②难以提供持久性服务。由于被卸载任务的目标设备大多是招募获得的志愿设备,无法长期提供服务。同时由于边缘设备的存储资源有限,无法存储任务执行所需的所有历史数据,因此无法执行涉及历史数据和数据更新操作的长期任务。③设备通信代价大。由于网络边缘中不断有设备欸加入与退出,新设备为了完成任务需要与旧设备进行频繁交流以获得任务,而各边缘设备由于版本或者硬件设施大多存在高度异构,通信难度大,造成严重的通信代价。可以看出,云计算与边缘计算各有优势,结合两种计算模式以充分利用网络中的计算资源,应对复杂网络场景具有重要意义。
随着软件定义网络的兴起,服务网络逐渐成为研究的热点,相关的服务编排技术也不断涌现,为应对海量数据挑战提供了新思路。随着网络中设备计算能力不断增强,各设备可以利用云端发布的服务编排软件将数据或者服务编排成更轻量的服务从而大大减小数据量,实现将计算任务从网络中心转移到网络边缘,并且服务编排软件的一致性很好地解决了数据异构问题,因此服务计算在处理海量数据时代具有很大的应用前景。
面向服务网络的计算成为一种发展趋势,目前已有不少研究提出面向服务网络的数据路由策略,以解决由于设备与感知数据的快速增长造成的数据传输代价过大问题。一些研究提出根据数据之间的相似性来调整数据的上传路径以尽可能减小上传的数据量,另一些研究提出在最小化数据延时的同时满足网络其他要求如丢包率等。然而,由于服务是经过程序化舍弃无用数据生成的,目前很少有研究考虑将上传数据过程中的原始信息保留问题,若数据在网络边缘被过度编排,云端所收到的数据则会因为过于抽象而难以满足用户的个性服务定制。
发明内容
针对以上研究问题,本发明的目的在于提供一种面向服务网络的云端融合计算系统及自适应路由方法,解决当前主流计算模式处理海量数据时所面临的问题,例如云计算中路由代价大,网络性能受限,服务响应时间长以及边缘计算中数据与任务分散,设备通信难等问题。通过采用云边融合计算的方式,将数据在中间路由设备上进行服务编排后暂存在设备,从而实现数据量逐级减小,服务请求逐级满足,提高网络性能以及用户体验;设备在网络拥塞发生时对数据进行适度服务编排,在数据分发时考虑数据之间的相似性,实现最小化数据延时的同时上传高质量的数据,应对未来复杂服务请求。
为实现以上目的,本发明采用以下技术方案:
一种面向服务网络的云端融合计算系统,包括以下结构:
物联网终端设备层:由分布在网络边缘的终端设备组成,包括数据感知设备和服务请求设备。数据感知设备通过传感器感知环境变化产生数据,服务请求设备通过向平台支付费用获得服务。
边缘层:由分布在网络边缘的边缘服务器组成,包括各边缘网关,无线网络接入点,具有较强的计算能力,允许计算能力较弱的终端设备进行任务卸载。
路由层:由分布在网络核心层的路由设备组成,包括中继器,路由器,完成数据的高速转发和部分处理。
云层:由高性能的云服务器组成,包括超算云,云数据库,服务管理组件,完成大规模的数据存储和计算任务,提供复杂多样的应用和服务.
进一步地,所述一种面向服务网络的云端融合计算系统中的网络设备所属结构是基于角色划分的,一台设备可同时存在于系统中的多层,其基本模块包括:
计算模块:从阻塞队列中调度并处理数据,包括数据聚合与服务编排等操作。
存储模块:存储处理后的上行数据和下行服务,网络信息以及服务信息,同时满足数据处理时的存储需求。
监听模块:监听阻塞队列,计算资源和存储资源情况以及网络拥塞信号。
路由模块:在数据路由时与网络设备建立路由,转发数据与网络拥塞信号。
分析模块:整合云端服务,分析本地服务与服务请求的适配性。
系统工作时,中间路由设备收到来自终端的数据后,首先进行数据聚合等简单处理或者利用服务编排软件将数据编排成服务,此时服务与感知数据被统一看作路由数据进行处理,设备可利用服务编排软件对感知数据与感知数据,感知数据与服务,服务与服务进行服务编排。随后将处理得到的数据存储在本地存储模块中,随后由路由模块向云端路由;对于来自云端的转发数据,首先将数据与存储模块中的数据进行组合更新,随后由路由模块向目的地转发;对于服务请求,首先查找本地存储模块中的已有服务并分析与请求的适配性,若能满足则返回目标服务,否则,沿着云端路径依次请求直到请求得到满足。
本发明还提出了一种面向服务网络的云端融合计算系统的自适应路由方法,具体实现步骤如下:
步骤1:对网络进行监听,获得网络拓扑结构,中间设备信息,网络拥塞情况以及带分发流信息。
步骤2:根据监听到的网络情况,基于匹配理论将数据流发送至下一中间设备;
步骤3:设备将数据加入排队队列并广播拥塞信息,随后优先对数据进行简单处理,对排队的数据进行服务编排,当网络拥塞发生时则只进行服务编排;
步骤4:设备将处理后的数据暂存至本地并向上传输,同时广播本地拥塞情况。
进一步地,所述步骤1中,网络可被规范化的表示为
Figure BDA0003873538370000043
其中
Figure BDA0003873538370000042
表示数据中心,
Figure BDA0003873538370000044
表示网络中的中间路由设备,
Figure BDA0003873538370000041
表示网络可连接边。待分发数据流Fm的信息包括数据流长度lm,生成时间gm,截止日期em等;设备Vn信息包括设备处理速度vn,排队队列信息Qn,节点处理状态χn等;网络拓扑结构信息包括设备连接情况以及链路速度。
所述节点处理状态包括简单处理转发以及服务编排转发,简单处理转发只对数据执行数据聚合等操作后转发;服务编排转发则将数据编排成轻量级服务后转发。当数据流Fi和Fj经过设备服务编排后生成的新数据流Fi,j大小
Figure BDA0003873538370000045
其中
Figure BDA0003873538370000046
表示数据流Fi和Fj属性的余弦相似性。经服务编排后的新数据流Fm保留的原始信息
Figure BDA0003873538370000047
Figure BDA0003873538370000048
其中β表示信息损失率,λm为数据流的编排次数。
进一步地,步骤2具体包括:
步骤2.1:根据步骤1获取到的网络信息,未指定目标设备的数据流Fm基于设备的处理速度,云端距离,排队时间对可选中间设备进行排序,生成偏好队列
Figure BDA0003873538370000049
中间设备Vn基于数据流的长度,截止时间以及与属性相似性对未指定数据流进行偏好排序,生成偏好队列
Figure BDA00038735383700000410
步骤2.2:未指定数据流向位于偏好列表中第一位的设备申请,设备Vn根据偏好列表
Figure BDA00038735383700000411
对接收到的所有数据流进行排序。若数据流个数xn小于预接收队列长度an则将数据流加入预接收队列
Figure BDA00038735383700000412
否则拒绝优先级后
Figure BDA00038735383700000413
的数据流申请并调整预接收队列长度为αn+Δα。
步骤2.3:被拒绝的数据流则根据可选设备的预接收队列和排队队列中的数据流重新估计排队延迟并更新偏好队列。若所有数据流都被指定设备则完成本次数据流发送,否则回到步骤2.2。
在设备Vn上的排队延迟估计方法为,假设将该数据流Fm
Figure BDA00038735383700000414
的数据流一同加入排队队列并根据偏好列表
Figure BDA00038735383700000415
进行排序,设备Vn根据当前处理状态,空闲计算资源进行调度,Fm所需要等待的时间则为排队延迟。
进一步地,所述步骤3包括:
步骤3.1:将接收到的数据流加入排队队列,当排队队列长度大于一定阈值则表示该设备繁忙,此时设备向上游设备广播拥塞信号。
步骤3.2:检查接收到的拥塞信号,如果小于一定阈值则设备处理状态为优先简单处理转发,否则为仅服务编排后转发。
步骤3.3:若设备处理状态为优先简单处理转发,当设备空闲时,设备对接收到的数据只进行简单处理;当设备繁忙时,设备在简单处理数据的同时,将排队的数据流进行服务编排。否则,设备为仅服务编排后转发,那么设备对接收到的数据流只进行服务编排,无论此时设备是否空闲。
进一步地,所述步骤4具体为,设备将数据处理完成后将处理结果暂存在本地,随后由路由模块将数据发送到指定设备;监听排队队列,若排队的数据流数量小于一定阈值,则表示设备空闲,此时设备向上游设备广播空闲信号。
有益效果
与现有技术相比,本发明的有益效果主要体现在以下方面:
(1)本发明提出一种面向服务网络的云端融合计算系统,数据在上传至云端的过程中被编排成轻量级服务,大大减少了上传的数据量,能显著降低路由代价和数据延时,满足延时敏感数据的传输及相关服务的构造。
(2)本发明提供的面向服务网络的云端融合计算模式采用云端同时处理的模式,根据数据流的流向展开计算,能极大提高计算效率。同时计算在数据流上传的过程中进行,计算任务被均匀地分散到了网络中,从而能够充分利用网络中的计算资源,提高网络性能,实现网络负载均衡。
(3)本发明基于匹配理论分发数据流时,在建立偏好列表时考虑了数据流与排队数据流之间的相关性,因此数据流能够得到尽快处理的同时在被编排成服务后数据量能得到最大限度地减小,从而显著降低网络数据量。
(4)本发明考虑数据的信息保留度避免数据在网络边缘被过度编排。当发生网络拥塞时,设备利用排队延时对排队数据进行服务编排,从而减小上传的数据量,缓解网络拥塞,实现在最小化数据延时的同时上传高质量的数据,满足未来复杂服务的请求。
附图说明
图1为本发明的应用系统结构图;
图2为本发明方法根据本设备拥塞情况进行数据处理的示意图;
图3为本发明方法根据整体网络拥塞情况进行数据处理的示意图;
图4为本发明方法与现有方法的数据延时对比图;
图5为本发明方法与现有方法的云端数据总量对比图;
图6为本发明方法与现有方法的云端有效数据占比对比图;
图7为本发明方法与现有方法的云端数据服务于原始数据占比对比图;
图8为本发明方法与现有方法的设备工作时间占比差异对比图;
图9为本发明方法与现有方法在突发数据流到达时数据总量对比图。
具体实施方式
下面结合附图和具体实施方案对本发明作进一步的详细说明,值得说明的是,此处的具体实例仅用于更好地解释本发明而不对本发明做任何形式的限制。
图1所示的是面向服务网络的云边融合计算系统的整体架构,系统从下至上分别包含以下结构:
物联网终端设备层:由分布在网络边缘的终端设备组成,包括数据感知设备和服务请求设备。数据感知设备通过传感器感知环境变化产生数据,服务请求设备通过向平台支付费用获得服务。
边缘层:由分布在网络边缘的边缘服务器组成,包括各边缘网关,无线网络接入点,具有较强的计算能力,允许计算能力较弱的终端设备进行任务卸载。
路由层:由分布在网络核心层的路由设备组成,包括中继器,路由器,完成数据的高速转发和部分处理。
云层:由高性能的云服务器组成,包括超算云,云数据库,服务管理组件,完成大规模的数据存储和计算任务,提供复杂多样的应用和服务.
进一步地,所述一种面向服务网络的云端融合计算系统中的网络设备所属结构是基于角色划分的,一台设备可同时存在于系统中的多层,其基本模块包括:
计算模块:从阻塞队列中调度并处理数据,包括数据聚合与服务编排等操作。
存储模块:存储处理后的上行数据和下行服务,网络信息以及服务信息,同时满足数据处理时的存储需求。
监听模块:监听阻塞队列,计算资源和存储资源情况以及网络拥塞信号。
路由模块:在数据路由时与网络设备建立路由,转发数据与网络拥塞信号。
分析模块:整合云端服务,分析本地服务与服务请求的适配性。
在本实例中,系统工作时需要收集四个区域的噪声数据并上传至数据中心C1,物联网终端设备将感知数据上传至本区域的边缘服务器E1,E5,E6和E7。随后边缘服务器首先对数据进行数据聚合等简单处理或者利用服务编排软件生成本区域的噪声分布图,随后将处理得到的数据存储在本地存储模块中,并转发给路由层设备R1,R2。路由设备对来自边缘层的数据也采用同样的处理方式生成反应更大区域的噪声分布图。此时服务与感知数据被统一看作路由数据进行处理,设备可利用服务编排软件对感知数据与感知数据,感知数据与服务,服务与服务进行服务编排,例如经E1,E2处理得到的服务S1,S2在E2上被编排成更小的服务S1,2,S1,2随后由于来自E3的服务S3在R1上生成更小的服务S1,2,3;当接收到来自云端的转发数据,设备首先将数据与存储模块中的数据进行组合更新,随后由路由模块向目的地转发;对于服务请求,首先查找本地存储模块中的已有服务并分析与请求的适配性,若能满足则返回目标服务,否则,沿着云端路径依次请求直到请求得到满足。例如用户U3可以直接向本地服务器E6请求区域2的数据,而如果想要同时获得区域1和区域2的数据,则可以先由E6访问E2获得后服务再返回。由于数据最终都被上传至云端,因此在最坏情况下服务在云端得到满足,由此可见,该系统结合了云计算和边缘计算并弥补了两者的不足,能适应复杂网络场景。
一种面向服务网络的云端融合计算系统的自适应路由方法,具体实现步骤如下:
步骤1:对网络进行监听,获得网络拓扑结构,中间设备信息,网络拥塞情况以及带分发流信息。
步骤2:根据监听到的网络情况,基于匹配理论将数据流发送至下一中间设备;
步骤3:设备将数据加入排队队列并广播拥塞信息,随后优先对数据进行简单处理,对排队的数据进行服务编排,当网络拥塞发生时则只进行服务编排;
步骤4:设备将处理后的数据暂存至本地并向上传输,同时广播本地拥塞情况。
所述步骤1中,网络可被规范化的表示为
Figure BDA0003873538370000071
其中
Figure BDA0003873538370000072
表示数据中心,
Figure BDA0003873538370000073
Figure BDA0003873538370000074
表示网络中的中间路由设备,
Figure BDA00038735383700000711
表示网络可连接边。待分发数据流Fm的信息包括数据流长度lm,生成时间gm,截止日期em等;设备Vn信息包括设备处理速度vn,排队队列信息Qn,节点处理状态χn等;网络拓扑结构信息包括设备连接情况以及链路速度。
所述节点处理状态包括简单处理转发以及服务编排转发,简单处理转发只对数据执行数据聚合等操作后转发;服务编排转发则将数据编排成轻量级服务后转发。当数据流Fi和Fj经过设备服务编排后生成的新数据流Fi,j大小
Figure BDA0003873538370000075
其中
Figure BDA0003873538370000076
表示数据流Fi和Fj属性的余弦相似性。经服务编排后的新数据流Fm保留的原始信息
Figure BDA0003873538370000077
ηm,其中β表示信息损失率,λm为数据流的编排次数。
所述步骤2具体包括:
步骤2.1:根据步骤1获取到的网络信息,未指定目标设备的数据流Fm基于设备的处理速度,云端距离,排队时间对可选中间设备进行排序,生成偏好队列
Figure BDA0003873538370000078
中间设备Vn基于数据流的长度,截止时间以及与属性相似性对未指定数据流进行偏好排序,生成偏好队列
Figure BDA0003873538370000079
步骤2.2:未指定数据流向位于偏好列表中第一位的设备申请,设备Vn根据偏好列表
Figure BDA00038735383700000710
对接收到的所有数据流进行排序。若数据流个数xn小于预接收队列长度αn则将数据流加入预接收队列
Figure BDA0003873538370000081
否则拒绝优先级后
Figure BDA0003873538370000082
的数据流申请并调整预接收队列长度为αn+Δα。
步骤2.3:被拒绝的数据流则根据可选设备的预接收队列和排队队列中的数据流重新估计排队延迟并更新偏好队列。若所有数据流都被指定设备则完成本次数据流发送,否则回到步骤2.2。
在设备Vn上的排队延迟估计方法为,假设将该数据流Fm
Figure BDA0003873538370000083
的数据流一同加入排队队列并根据偏好列表
Figure BDA0003873538370000084
进行排序,设备Vn根据当前处理状态,空闲计算资源进行调度,Fm所需要等待的时间则为排队延迟。
所述步骤3包括:
步骤3.1:将接收到的数据流加入排队队列,当排队队列长度大于一定阈值则表示该设备繁忙,此时设备向上游设备广播拥塞信号。
步骤3.2:检查接收到的拥塞信号,如果小于一定阈值则设备处理状态为优先简单处理转发,否则为仅服务编排后转发。
步骤3.3:若设备处理状态为优先简单处理转发,当设备空闲时,设备对接收到的数据只进行简单处理;当设备繁忙时,设备在简单处理数据的同时,将排队的数据流进行服务编排。否则,设备为仅服务编排后转发,那么设备对接收到的数据流只进行服务编排,无论此时设备是否空闲。
所述步骤4具体为,设备将数据处理完成后将处理结果暂存在本地,随后由路由模块将数据发送到指定设备;监听排队队列,若排队的数据流数量小于一定阈值,则表示设备空闲,此时设备向上游设备广播空闲信号。
图2阐述了设备排队情况对于本设备数据处理模式的影响。当中间设备在空闲时收到数据后将其进行简单处理,若设备在对数据进行简单处理时收到了新的数据,此时新数据在设备上排队,因此设备利用排队延时将新的数据编排成服务后再转发。在多对一结构的网络中,当设备发生排队时如果依然采用简单处理会增大下游设备发生拥塞的概率,而该方法则根据本设备拥塞情况进行适度服务编排,减小网络中的数据量。
图3阐述了上游节点发布的网络拥塞信号对于下游数据处理模式的影响。在本实例中,E1需要转发来自T1和T2的数据至云端。刚开始时E1上发生了拥塞,正在同时进行简单处理和服务编排,当新数据流到达后需要在E1上排队,此时E1则向上游节点T1和T2发送拥塞信号告知拥塞情况。T1和T2收到拥塞信号后只能对收到的数据进行服务编排,因此即使T1处于空闲状态,收到新的数据后只能进行服务编排并转发给另一个下游设备E2。当E1处理完数据后则向T1和T2发送空闲信号从而避免数据被过度编排。由此可见,该方法引入网络拥塞信号实现反馈机制,使得设备能获得网络整体的拥塞情况,避免发生更严重的拥塞。
图4给出了本发明所述方法NOB与其他研究中面向服务网络的数据路由方法随时间推移的数据延时情况,各方法的详细说明如表1所示。本实例中数据流以泊松过程随机在网络终端上产生,每个数据包大小为30KB-50KB,截止时间为50ms–100ms,设备每一跳的传输速度为2MB/s-5MB/s,设备处理速度为5MB/s–10MB/s。可以看出,随着数据量的增多,本发明所述方法NOB能显著降低数据延时,相比于其他方法RHR,SODA,OR,NOB能减少延时99.35%,93.31%,87.23%,91.79%。可见本发明所述方法能够很好地满足延时敏感数据的传输要求。
图5给出了在同样的实验条件下本发明所述方法NOB与其他研究中面向服务网络的数据路由方法随时间推移云端数据总数量的变化情况。可以看到本发明所述方法NOB能显著降低云端的数据总量,相比于其他方法RHR,SODA,OR,NOB能减少数据量71.46%,32.09%,32.90%,31.09%,因此,本发明所述方法NOB能大大降低通信代价和云端负载,减少资源消耗。
图6给出了在同样的实验条件下本发明所述方法NOB与其他研究中面向服务网络的数据路由方法随时间推移云端有效信息的变化情况。可以看到,本发明所述方法NOB所保留的信息维持在90%左右,并且几乎不受生成数据量变化的影响,相比于其他方法能增加原始信息586.74%,33.24%,31.76%,11.46%。这是因为本发明所述方法NOB能保证大部分的数据都按时上传至云端并且上传数据只受到适度的服务编排,因此云端能获得大量的高质量数据,满足未来复杂服务请求。
图7给出了在同样的实验条件下本发明所述方法NOB与其他研究中面向服务网络的数据路由方法随时间推移云端数据中服务与原始数据占比情况。可以看到,本发明所述方法NOB与其他方法相比,无论是服务数量还是原始数据数量都是最小的,因为本发明所述方法NOB在数据流分发时考虑数据之间的相关性,在编排时数据量能够得到最大限度减少,同时只有当拥塞发生时才利用数据的排队延时进行服务编排,因此服务数量也是最小的。可见,本发明所述方法NOB的服务编排效率高,上传的数据质量高,能应对海量数据的挑战。
图8给出了在同样的实验条件下本发明所述方法NOB与其他研究中面向服务网络的数据路由方法随时间推移网络中设备工作时间占比差异。可以看出,本发明所述方法NOB的设备工作时间占比差异最小,即网络中的负载最均衡,这对提升网络性能有重要意义。
图9给出了在同样的实验条件下,在时间20ms–30ms期间发生突发数据流时本发明所述方法NOB与其他研究中面向服务网络的数据路由方法随时间推移的数据量的变化情况。可以看出,当突发数据开始时,本发明所述方法NOB的数据量增加最缓,在突发数据结束后又最快趋于平缓,因此本发明所述方法NOB具有很强的突发数据处理能力,能很好应对未来数据激增的挑战。
表1算法描述
Figure BDA0003873538370000101

Claims (10)

1.一种面向服务网络的云端融合计算系统,其特征在于,包括以下结构:
物联网终端设备层:由分布在网络边缘的终端设备组成,包括数据感知设备和服务请求设备。数据感知设备通过传感器感知环境变化产生数据,服务请求设备通过向平台支付费用获得服务。
边缘层:由分布在网络边缘的边缘服务器组成,包括各边缘网关,无线网络接入点,具有较强的计算能力,允许计算能力较弱的终端设备进行任务卸载。
路由层:由分布在网络核心层的路由设备组成,包括中继器,路由器,完成数据的高速转发和部分处理。
云层:由高性能的云服务器组成,包括超算云,云数据库,服务管理组件,完成大规模的数据存储和计算任务,提供复杂多样的应用和服务.
所述面向服务网络的云端融合计算系统中结构划分规则为:基于设备扮演角色划分,一台设备可同时存在于系统中的多层。
2.根据权利要求1所述的一种面向服务网络的云端融合计算系统,其特征在于,网络设备包括以下模块:
计算模块:从阻塞队列中调度并处理数据,包括数据聚合与服务编排等操作。
存储模块:存储处理后的上行数据和下行服务,网络信息以及服务信息,同时满足数据处理时的存储需求。
监听模块:监听阻塞队列,计算资源和存储资源情况以及网络拥塞信号。
路由模块:在数据路由时与网络设备建立路由,转发数据与网络拥塞信号。
分析模块:整合云端服务,分析本地服务与服务请求的适配性。
3.根据权利要求2所述的一种面向服务网络的云端融合计算系统,其特征在于,中间路由设备处理数据过程如下:
对于来自终端的数据,首先进行数据聚合等简单处理或者利用服务编排软件将数据编排成服务,随后将处理得到的数据或者服务存储在本地存储模块中,随后由路由模块向云端路由;对于来自云端的转发数据,首先将数据与存储模块中的数据进行组合更新,随后由路由模块向目的地转发;对于服务请求,首先查找本地存储模块中的已有服务并分析与请求的适配性,若能满足则返回目标服务,否则,沿着云端路径依次请求直到请求得到满足。
4.根据权利要求3所述的一种面向服务网络的云端融合计算系统,其特征在于,所述设备将服务与感知数据统一看作路由数据进行处理,可利用服务编排软件对感知数据与感知数据,感知数据与服务,服务与服务进行服务编排。
5.一种面向服务网络的云端融合计算系统的自适应路由方法,其特征在于,实时数据路由过程包括以下步骤:
步骤1:对网络进行监听,获得网络拓扑结构,中间设备信息,网络拥塞情况以及带分发流信息。
步骤2:根据监听到的网络情况,基于匹配理论将数据流发送至下一中间设备;
步骤3:设备将数据加入排队队列并广播拥塞信息,随后优先对数据进行简单处理,对排队的数据进行服务编排,当网络拥塞发生时则只进行服务编排;
步骤4:设备将处理后的数据暂存至本地并向上传输,同时广播本地拥塞情况。
6.根据权利要求5所述的一种面向服务网络的云端融合计算系统的自适应路由方法,其特征在于,所述步骤1中,网络可被规范化的表示为
Figure FDA0003873538360000021
其中
Figure FDA0003873538360000022
表示数据中心,
Figure FDA0003873538360000023
Figure FDA0003873538360000024
表示网络中的中间路由设备,
Figure FDA0003873538360000025
表示网络可连接边。待分发数据流Fm的信息包括数据流长度lm,生成时间gm,截止日期em等;设备Vn信息包括设备处理速度vn,排队队列信息Qn,节点处理状态χn等;网络拓扑结构信息包括设备连接情况以及链路速度;
所述节点处理状态包括简单处理转发以及服务编排转发,简单处理转发只对数据执行数据聚合等操作后转发;服务编排转发则将数据编排成轻量级服务后转发。当数据流Fi和Fj经过设备服务编排后生成的新数据流Fi,j大小
Figure FDA0003873538360000026
其中
Figure FDA0003873538360000027
表示数据流Fi和Fj属性的余弦相似性。经服务编排后的新数据流Fm保留的原始信息
Figure FDA0003873538360000028
Figure FDA0003873538360000029
其中β表示信息损失率,λm为数据流的编排次数。
7.根据权利要求6所述的一种面向服务网络的云端融合计算系统的自适应路由方法,其特征在于,所述步骤2具体包括:
步骤2.1:根据步骤1获取到的网络信息,未指定目标设备的数据流Fm基于设备的处理速度,云端距离,排队时间对可选中间设备进行排序,生成偏好队列
Figure FDA00038735383600000210
中间设备Vn基于数据流的长度,截止时间以及与属性相似性对未指定数据流进行偏好排序,生成偏好队列
Figure FDA00038735383600000211
步骤2.2:未指定数据流向位于偏好列表中第一位的设备申请,设备Vn根据偏好列表
Figure FDA00038735383600000212
对接收到的所有数据流进行排序。若数据流个数xn小于预接收队列长度αn则将数据流加入预接收队列
Figure FDA00038735383600000213
否则拒绝优先级后
Figure FDA00038735383600000214
的数据流申请并调整预接收队列长度为αn+Δα。
步骤2.3:被拒绝的数据流则根据可选设备的预接收队列和排队队列中的数据流重新估计排队延迟并更新偏好队列。若所有数据流都被指定设备则完成本次数据流发送,否则回到步骤2.2。
8.根据权利要求7所述的一种面向服务网络的云端融合计算系统的自适应路由方法,其特征在于,所述步骤2.2中在设备Vn上的排队延迟估计方法为,假设将该数据流Fm
Figure FDA00038735383600000215
的数据流一同加入排队队列并根据偏好列表
Figure FDA0003873538360000031
进行排序,设备Vn根据当前处理状态,空闲计算资源进行调度,Fm所需要等待的时间则为排队延迟。
9.根据权利要求7或8所述的一种面向服务网络的云端融合计算系统的自适应路由方法,其特征在于,所述步骤3具体包括:
步骤3.1:将接收到的数据流加入排队队列,当排队队列长度大于一定阈值则表示该设备繁忙,此时设备向上游设备广播拥塞信号。
步骤3.2:检查接收到的拥塞信号,如果小于一定阈值则设备处理状态为优先简单处理转发,否则为仅服务编排后转发。
步骤3.3:若设备处理状态为优先简单处理转发,当设备空闲时,设备对接收到的数据只进行简单处理;当设备繁忙时,设备在简单处理数据的同时,将排队的数据流进行服务编排。否则,设备为仅服务编排后转发,那么设备对接收到的数据流只进行服务编排,无论此时设备是否空闲。
10.根据权利要求9所述的一种面向服务网络的云端融合计算系统的自适应路由方法,其特征在于,所述步骤4包括,设备将数据处理完成后将处理结果暂存在本地,随后由路由模块将数据发送到指定设备;监听排队队列,若排队的数据流数量小于一定阈值,则表示设备空闲,此时设备向上游设备广播空闲信号。
CN202211205659.1A 2022-09-30 2022-09-30 一种面向服务网络的云端融合计算系统及自适应路由方法 Active CN115604311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211205659.1A CN115604311B (zh) 2022-09-30 2022-09-30 一种面向服务网络的云端融合计算系统及自适应路由方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211205659.1A CN115604311B (zh) 2022-09-30 2022-09-30 一种面向服务网络的云端融合计算系统及自适应路由方法

Publications (2)

Publication Number Publication Date
CN115604311A true CN115604311A (zh) 2023-01-13
CN115604311B CN115604311B (zh) 2024-04-26

Family

ID=84845934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211205659.1A Active CN115604311B (zh) 2022-09-30 2022-09-30 一种面向服务网络的云端融合计算系统及自适应路由方法

Country Status (1)

Country Link
CN (1) CN115604311B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117579694A (zh) * 2024-01-15 2024-02-20 国网浙江省电力有限公司宁波供电公司 一种基于泛在电力物联网的数据共享管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540576A (zh) * 2018-04-27 2018-09-14 南方电网调峰调频发电有限公司 跨数据库交互服务平台
CN109672626A (zh) * 2019-01-09 2019-04-23 中南大学 一种基于排队延迟利用的服务聚合方法
KR20210026171A (ko) * 2019-08-29 2021-03-10 인제대학교 산학협력단 멀티 액세스 엣지 컴퓨팅 기반의 이기종 네트워크 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540576A (zh) * 2018-04-27 2018-09-14 南方电网调峰调频发电有限公司 跨数据库交互服务平台
CN109672626A (zh) * 2019-01-09 2019-04-23 中南大学 一种基于排队延迟利用的服务聚合方法
KR20210026171A (ko) * 2019-08-29 2021-03-10 인제대학교 산학협력단 멀티 액세스 엣지 컴퓨팅 기반의 이기종 네트워크 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MINGFENG HUANG ET.AL: "A Services Routing Based Caching Scheme for Cloud Assisted CRNs", 《IEEE ACCESS 》, vol. 6, 12 March 2018 (2018-03-12), pages 15787 *
王一然;: "基于匹配理论的电力物联网边缘服务器选择机制", 无线互联科技, no. 11, 10 June 2020 (2020-06-10) *
程丽军;王艳;: "面向云端融合的任务-资源双边匹配决策模型", 系统仿真学报, no. 11, 9 October 2018 (2018-10-09) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117579694A (zh) * 2024-01-15 2024-02-20 国网浙江省电力有限公司宁波供电公司 一种基于泛在电力物联网的数据共享管理方法及系统
CN117579694B (zh) * 2024-01-15 2024-04-16 国网浙江省电力有限公司宁波供电公司 一种基于泛在电力物联网的数据共享管理方法及系统

Also Published As

Publication number Publication date
CN115604311B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN109951821B (zh) 基于移动边缘计算的最小化车辆能耗任务卸载方案
CN111930436B (zh) 一种基于边缘计算的随机型任务排队卸载优化方法
CN112020103B (zh) 一种移动边缘云中的内容缓存部署方法
CN110198278B (zh) 一种车联网云端和边缘联合任务调度的Lyapunov优化方法
CN108509276A (zh) 一种边缘计算环境中的视频任务动态迁移方法
CN110109745A (zh) 一种针对边缘计算环境的任务协同在线调度方法
US20210006459A1 (en) Network and Method for Servicing a Computation Request
CN109151077B (zh) 一种基于目标导向的计算卸载方法
CN112954385A (zh) 一种基于控制论和数据驱动的自适应分流决策方法
CN109617819B (zh) 基于流量分类的软件定义回程网络路由方法
CN112162789A (zh) 一种基于软件定义的边缘计算随机卸载决策方法及系统
CN114024970A (zh) 基于边缘计算的电力物联网工作负载分配方法
CN115604311A (zh) 一种面向服务网络的云端融合计算系统及自适应路由方法
CN112148381A (zh) 一种基于软件定义的边缘计算优先级卸载决策方法及系统
CN110048966B (zh) 基于截止时间的最小化系统开销的Coflow调度方法
CN111580943B (zh) 一种面向低时延边缘计算中多跳卸载的任务调度方法
CN113032146A (zh) 一种面向多接入边缘计算环境的健壮性服务供应方法
CN111194090B (zh) 一种面向边缘计算的多策略信道分配方法
CN113709853B (zh) 面向云边协同的网络内容传输方法、装置及存储介质
CN115150893A (zh) 基于任务划分与d2d的mec任务卸载策略方法
CN114828047A (zh) 一种5g移动边缘计算环境中多智能体协同计算卸载方法
CN114245422A (zh) 一种基于簇内智能共享的边缘主动缓存方法
CN109450809B (zh) 一种数据中心调度系统及方法
Verma et al. Traffic scheduler for bbu resource allocation in 5g cran
Yang et al. Data synchronization for vehicular digital twin network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant