CN116032778A - 云数据中心智能化监测应用任务部署方法、装置和系统 - Google Patents

云数据中心智能化监测应用任务部署方法、装置和系统 Download PDF

Info

Publication number
CN116032778A
CN116032778A CN202310320260.6A CN202310320260A CN116032778A CN 116032778 A CN116032778 A CN 116032778A CN 202310320260 A CN202310320260 A CN 202310320260A CN 116032778 A CN116032778 A CN 116032778A
Authority
CN
China
Prior art keywords
network
path
link
paths
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310320260.6A
Other languages
English (en)
Other versions
CN116032778B (zh
Inventor
宋文
牧军
杨华飞
俞俊
杨文清
丰佳
曲延盛
张伟
李明
李宁
毛林晖
吉明涛
钱柱中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Nari Technology Co Ltd
Original Assignee
Nanjing University
Nari Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University, Nari Technology Co Ltd filed Critical Nanjing University
Priority to CN202310320260.6A priority Critical patent/CN116032778B/zh
Publication of CN116032778A publication Critical patent/CN116032778A/zh
Application granted granted Critical
Publication of CN116032778B publication Critical patent/CN116032778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种云数据中心智能化监测应用任务部署方法、装置和系统。所述方法通过不断地收集当前云数据中心网络资源的状态信息,根据该信息为数据中心智能化监测应用生成一条无重叠、高性能和低开销的监测路径,以覆盖云数据中心全部的网络设备。本发明的面向云数据中心智能化监测应用任务部署装置和系统,基于带内网络遥测技术以细粒度周期获取可编程网络设备的状态信息,并按照已计算的路径下发云数据中心智能监测任务。随后,系统将收集到的信息发送至可视化界面,以此来帮助用户实现云数据中心资源的智能化监测。

Description

云数据中心智能化监测应用任务部署方法、装置和系统
技术领域
本发明涉及数据中心网络以及资源调度领域,具体涉及一种云数据中心智能化监测应用任务部署方法、装置和系统。
背景技术
数据中心网络的智能化监测有助于运营商了解网络质量,对于其诊断、解决当前网络中存在的问题起到至关重要的作用。然而,诸如SNMP的传统网络监控技术,存在数据采集周期长、采集资源的开销高等问题,无法保证数据中心网络的实时化、智能化监测。面对此情况,带内网络遥测技术被多家单位联合提出并被应用至网络测量。该技术支持细粒度网络管理和较低的资源开销,这极大的促进了云数据中心智能化监测应用的快速发展,引起了学术界、工业界的广泛关注。
究其原因,这是由于带内网络遥测技术能够保证亚秒监测周期、纳秒单位粒度,并且不需要控制平面干预,仅仅需要在数据平面收集并且处理信息。具体地,利用该技术监测网路资源时,由节点生成特定的遥测数据包,该数据包按照预先规划的路线从源节点开始转发,直至目的节点结束,中间的网络设备负责处理并转发该数据包。在网络设备处理过程中,根据数据包中提供的指令,将所需的遥测数据嵌入数据包的指定位置,携带遥测数据的数据包会随着数据的转发进入下一跳网络设备并被下一条处理,直至最后一跳网络设备。
然而,为保证智能化监测应用的性能,需要为带内网络遥测设计合理的路径转发策略,这存在诸多挑战。首先,为了监测网络资源状态,往往需要生成特定的数据包。应尽可能保证该类数据包所走过路径不重叠,因为这种重叠通常会导致较高的冗余,浪费带宽资源。其次,大规模网络的监测往往生成的路径较为长,较长的路径意味着监测时延高。为了缓解这一情况,需要多条路径,每条路径对应一个探测包,以覆盖网络的不同部分。这里存在一个路径长度和路径数量的权衡,更短的路径意味着需要更多的路径,相反,更长的路径意味着监测的时延高。第三,为了满足信息收集的及时性,不同路径的长度应该尽可能平衡。这是由于监测任务的完成通常取决于从最长路径返回的最后一个包。因此,为监测任务规划出一组监测路径,并且保证该路径非重叠、完全覆盖的全部的网络设备往往具有一定的挑战。
发明内容
本发明的目的是提出一种面向云数据中心智能化监测应用任务部署方法、装置和系统,至少部分地解决现有技术中的问题。
为了达到上述发明目的,本发明采用以下技术方案:
第一方面,一种云数据中心智能化监测应用任务部署方法,包括以下步骤:
利用带内网络遥测技术获取当前网络状态信息,包括网络拓扑、相邻网络设备之间的链路时延;
根据获得的网络状态信息,生成与网络拓扑相对应的带权图G(V,E,W),其中点集合V中元素为网络设备,边集合E中元素为网络设备之间的链路,权重集合W中元素为链路时延,为带权图G构建带权回路;
将带权回路拆分为多段路径,每一段路径对应一个探测包,构建以最小化最大路径的时延为目标的优化问题并求解,将求解结果作为当前智能化监测应用的部署决策,决策信息为路径数量以及每条路径上具体的网络设备,其中所述优化问题如下:
优化目标:                              (1)
约束条件:
1.1)对于链路分组的限制:所待监测的链路被划分为K个组,并且每个组的所有路径非重叠:
1.2)对于网络设备监测次数的限制:每一条链路仅被监测一次:
1.3)对于路径数量的限制:路径数量存在上限:
1.4)对于决策的定义域限制:
式中,表示在回路的链路的时延情况;表示监测任务为带宽带来的开销;表示接收节点处理的总带宽;为决策变量,表示回路中的链路i是否被放入路径j中;为决策变量,表示监测任务生成的路径的总数量;表示回路c上包含的链路的数量;为决策变量,表示回路中与链路相邻的下一条链路是否被放入路径j中;表示路径的集合,的大小等于K;表示回路的集合;表示正整数集合。
进一步地,对优化问题的求解包括:
基于接收节点的总带宽存在固定上限以及的大小依赖于具体的监测任务,消除问题中的路径数量变量,将优化问题(1)转换为优化问题(2):
优化目标:  (2)
约束条件:
1.1)对于链路分组的限制:所待监测的链路被划分为K个组,并且每个组的所有路径非重叠:
1.2)对于网络设备监测次数的限制:每一条链路仅被监测一次:
1.3)对于决策的定义域限制:
求解优化问题(2),得到符合要求的路径信息。
进一步地,对优化问题(2)的求解包括:
初始化路径集合,对于奇数次生成的集合:从具有最大时延的链路开始遍历,并依次将遍历到的链路放置集合,当集合中全部链路的总时延大于平均时延avg时不再向集合放置链路,初始化新的集合;对于偶数次生成的集合:从上次结束的链路继续开始遍历,并依次将遍历到的链路放置集合,当集合中全部链路的总时延小于平均时延avg时不再向集合放置链路,初始化新的集合;直到全部的链路遍历结束,输出最终生成的K和路径集合。
进一步地,所述平均时延avg=sum/K,sum为回路上的全部链路的总时延。
进一步地,参数K的确定方法如下:利用待监测的网络链路构建回路,测试接收节点的处理上限确定参数的取值,测试每次监测任务下发带来的开销确定参数,并根据约束1.3计算参数K,也即路径的数量。
第二方面,一种云数据中心智能化监测应用任务部署装置,包括:
网络设备配置模块,被配置为对网络设备进行协议配置,使得网络设备支持带内网络遥测协议V1和带内网络遥测协议V2,同时支持源路由协议;
网络信息获取模块,被配置为利用带内网络遥测技术获取当前网络状态信息,包括网络拓扑、相邻网络设备之间的链路时延;
带权回路构建模块,被配置为根据获得的网络状态信息,生成与网络拓扑相对应的带权图G(V,E,W),其中点集合V中元素为网络设备,边集合E中元素为网络设备之间的链路,权重集合W中元素为链路时延,为带权图G构建带权回路;
部署决策计算模块,被配置为将带权回路拆分为多段路径,每一段路径对应一个探测包,构建以最小化最大路径的时延为目标的优化问题并求解,将求解结果作为当前智能化监测应用的部署决策,决策信息为路径数量以及每条路径上具体的网络设备,其中所述优化问题如下:
优化目标:                              (1)
约束条件:
1.1)对于链路分组的限制:所待监测的链路被划分为K个组,并且每个组的所有路径非重叠:
1.2)对于网络设备监测次数的限制:每一条链路仅被监测一次:
1.3)对于路径数量的限制:路径数量存在上限:
1.4)对于决策的定义域限制:
式中,表示在回路的链路的时延情况;表示监测任务为带宽带来的开销;表示接收节点处理的总带宽;为决策变量,表示回路中的链路i是否被放入路径j中;为决策变量,表示监测任务生成的路径的总数量;表示回路c上包含的链路的数量;为决策变量,表示回路中与链路相邻的下一条链路是否被放入路径j中;表示路径的集合,的大小等于K;表示回路的集合;表示正整数集合;以及
部署决策下发模块,被配置为根据求解的结果来为每一组待下发监测任务选择最优的监测路径。
进一步地,所述装置还包括:
智能监测展示模块,被配置为利用时序数据库Influxdb实时存储收集到的监测信息,利用图像展示工具Grafana展示数据库中的数据。
第三方面,一种云数据中心智能化监测应用任务部署系统,包括:若干网络节点、发送节点、接收节点、数据存储节点、资源智能化展示节点、路径规划节点、网络设备配置装置,所述各个节点之间经由链路互连,所述规划节点针对当前的网络拓扑,为监控任务产生的探测包进行路径规划,所述路径规划节点采用如第一方面所述的智能化监测应用任务部署方法实现对监测应用任务部署,或者在各个路径规划节点部署如第二方面所述的智能化监测应用任务部署装置,所述发送节点发送探测包,该探测包按照预先规划的路径经过全部的网络设备,所述接收节点收集探测包并交由存储节点储存,资源智能化展示节点从存储节点中读取数据并展示给运维人员。
相比于现有技术,本发明具有以下有益效果:本发明提出了面向云数据中心智能化监测应用任务部署策略,利用带内网络遥测技术获取当前的网络信息,包含网络拓扑以及交换机的拥塞情况,根据当前获得的信息确定路径规划模型,构建以最小化最大路径的时延为目标的优化问题并求解,将求解结果作为当前监测应用的部署决策,决策信息为路径数量以及每条路径覆盖的设备。与现有技术中的部署方案相比,本发明的部署策略充分的考虑了链路的拥塞情况,可以在线的、自适应做出最佳决策,提高了智能化监测应用的效率,提高了用户的服务质量。
附图说明
图1为根据本发明实施例的带内网络遥测协议工作示意图;
图2为根据本发明实施例的智能监测应用任务部署系统示意图;
图3为根据本发明实施例的带内遥测协议报文结构图;
图4为根据本发明实施例的智能监测应用任务部署方法流程图;
图5为根据本发明实施例的在监测中生成的回路示意图;
图6为根据本发明实施例的路径规划方法效果图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步说明。
在故障检测、数据流调度、网络诊断等场景中,网络运维人员往往需要通过监测网络节点,也即数据中心的交换机,来获取当前的网络状态信息,该类信息包含链路时延信息、端口队列信息、端口传输速率等。收集过程需要利用带内网络遥测协议。参照图1,该协议表现为当探测包经过某一网络节点时,该节点能够将自身状态信息嵌入探测包中,并将该探测包转发至下一网络节点,直至最终目的节点。探测包在本文也称为探测数据包或简称为数据包,图1所示探测包中在原始数据分组的基础上添加了SR字段和INT Data字段,其中SR字段保存该探测包需要探测的路径,以端口的形式指示探测包在当前交换机的出口,每经过一跳弹出栈顶元素。INT Data字段存储该交换机的状态信息,包含链路时延信息、端口队列信息、端口传输速率等,该字段每经过一跳都会增加。最终,在最后一跳交换机收集到探测包后,系统需要以图形化的方式,将探测包中的数据实时展现给运维人员,以帮助其做更好的决策。
参照图2,在一个实施例中,在云数据中心资源监控场景中应用面向云数据中心智能化监测应用任务部署系统,该系统包含若干网络节点、发送节点、接收节点、数据存储节点、资源智能化展示节点、路径规划节点、网络设备配置装置,各个节点之间需要经由链路互连。具体为,网络设备配置装置将全部的网络节点统一配置,使得网络节点支持带内网络遥测协议,由路径规划节点针对当前的网络拓扑,为监控任务产生的探测包进行路径规划,生成一组无重叠、低开销、全覆盖的路径。具体由发送节点发送探测包,该探测包按照预先规划的路径经过全部的网络设备。由接收节点收集探测包并交由存储节点储存,资源智能化展示节点会从存储节点中读取数据并展示给运维人员。根据本发明的实施方式,路径规划节点上运行的算法将以端口的形式输出一系列路径,这些端口信息将由发送节点将其嵌入至SR字段,栈顶元素指示探测包在当前网络节点的出口,每经过一跳栈顶元素都将弹出。接收节点负责接收和初步处理数据包,以适配数据收集器INTCollector。通常,大规模网络的监测通常会导致大量数据包。为了减轻遥测控制器的负载,实施例中将INTCollector应用到本系统当中,并使用时间序列数据库Influxdb,以实时方式为用户提供监测数据,Grafana会根据用户的不同周期配置,从Influxdb获取数据并将数据以图形化形式展现。
图2中各节点之间的箭头指示了数据流向,数字1~6表示了各节点之间进行数据处理的步骤序号,其中,在步骤1中,由网络设备配置装置的编译器编译带内网络遥测协议的源文件,并将编译后的协议发送至网络节点,使得各个网络节点支持带内网络遥测协议;在步骤2中,路径规划节点获取当前网络状态,以便为监控任务规划路径;在步骤3中,路径规划节点将经过算法计算出的路径信息发送至发送节点;在步骤4中,发送节点根据路径信息封装探测包并发送;在步骤5中,接收节点上部署数据收集器INTCollector,一方面,负责接收探测包,过滤并去除冗余的探测包,另一方面,从探测包中提出有效信息,并发送给存储节点;在步骤6中,存储节点上部署Influxdb数据库,并收集到的信息以接收到的按照时间为索引,按照key-value的形式存储至相应的数据表中;在步骤7中,在资源智能化展示节点上部署Grafana,根据用户的配置从Influxdb获取数据并将数据以图形化形式展现给运维人员。
参照图3,在一个实施例中,由运维人员触发生成监测任务,每一个监测任务生成的探测包将按照如图3所示数据协议的格式来封装。SR用于指示数据包的发送路径,该字段是可变长度,该字段的数据内容来自于应用本发明提出的方法计算后的输出;ReHD表示监测报告的总体信息,包括报告的长度、协议版本(INTv1或INTv2)、交换机ID、报告的时间戳和报告的序列号;IHD表示报头,包括当前分组内的总体信息。例如,此字段包含跳数、每个跳的数据量、INT指令集等。具体来说,本发明已经适配了30多个指令集,包括遥测指令0003和0407,涵盖了大部分遥测服务。INTData表示实际监测到的数据,它也使用可变长度的栈,每经过一跳后,此字段的长度将自适应地增加。如图3所示,该字段包括8种INT元数据。对于每个遥测,用户可以通过向交换机发出相应的指令来选择所需的元数据。
系统中路径规划节点会周期性地收集当前的网络状况,指导当前探测数据包,选择恰当的路径,进而达到最小化路径的时延。参照图4,路径规划节点上进行路径规划的操作过程具体包括如下步骤:
(S1)周期性地利用带内网络遥测技术获取当前的网络信息,具体包含网络拓扑、交换机的拥塞情况以及通过每一跳交换机的排队时延。
(S2)根据当前获得的信息(包含任意相邻两台交换机的链路上的时延以及交换机的拓扑信息),将交换机的拓扑抽象为带权图G(V,E,W),其中V表示点的集合,E表示边的集合,W表示边上权重的集合。交换机对应图中的点V,链路对应图中的边E,链路时延对应W。为带权图G构建带权回路,其中回路被定义为:从某一点出发,行走的路径覆盖图的所有的边,最终回到该点,该条路径即为回路,该回路能够覆盖全部的网络链路。
(S3)将构建的带权回路拆分为多段路径,每一段路径对应一个探测包。需要保证路径之间权重之和尽可能接近,以此避免某一个探测包因路径过长而归来时延较长。为此,本发明构建了以最小化最大路径的时延为目标的优化问题。
具体而言,路径规划节点的总体目标是为了在动态变化的网络情况下,达到探测任务的完成时间最小化的效果(即探测效率最大化),建立的优化问题如下:
优化目标:                              (1)
约束条件:
1.1)对于链路分组的限制,所待监测的链路被划分为K个组,并且每个组的所有路径需要确保非重叠:
1.2)对于网络设备监测次数的限制,也即每一条链路仅需被监测一次:
1.3)对于路径数量的限制,路径数量存在上限:
1.4)对于决策的定义域限制:
式中,表示在回路的链路的时延情况;表示监测任务为带宽带来的开销;表示接收节点处理的总带宽,由于路径规划过程需要该参数,故该数值会发送至路径规划节点;为决策变量,表示回路中的链路是否被放入路径j中;为决策变量,表示监测任务生成的路径的总数量;表示回路c上包含的链路的数量;为决策变量与含义相同,不同之处在于表示的是回路中与链路相邻的下一条链路;表示路径的集合,的大小等于K;表示回路的集合;正整数集合。
(S4)消除问题中的路径数量变量,将该问题等价转换为更容易解决的新问题。
由于问题(1)中的约束当中包含了不确定的变量K,其造成了决策变量的规模无法确定。然而,在实际当中,信息收集器的总带宽存在固定上限,也即参数往往为定值,的大小往往依赖于具体的监测任务,也即该值通常也是固定的。由此往往是确定常数,基于此观察,优化问题(1)可以转换为如下所示的优化问题:
优化目标:         (2)
约束条件:
1.1)对于链路分组的限制,所待监测的链路被划分为K个组,并且每个组的所有路径需要确保非重叠:
1.2)对于网络设备监测次数的限制,也即每一条链路仅需被监测一次:
1.3)对于决策的定义域限制:
(S5)对转换后的问题进行求解,得到符合要求的路径信息。
首先,基于待监测的网络路径构建回路,测试信息收集器的处理上限确定参数的取值,测试每次监测任务下发带来的开销确定参数,并根据约束1.3计算参数K,也即路径的数量;
接着,计算回路上的全部链路的总时延sum、在全部链路当中具有最大时延max的链路以及全部链路的平均时延avg=sum/k;
然后进入遍历过程,初始化集合,每一集合对应一条路径,对于奇数次生成的集合:从具有最大时延的链路开始遍历,并以此将遍历到的链路放置集合,若该集合当中全部链路的总时延大于平均avg值,则不再向该集合放置链路,初始化新的集合。对于偶数次生成的集合:从具有最大时延的链路开始遍历,并以此将遍历到的链路放置集合,若该集合当中全部链路的总时延恰好小于平均avg值,则不再向该集合放置链路,初始化新的集合;直到全部的链路遍历结束。
路径规划节点将计算得到的路径信息下发给发送节点,发送节点进行报文封装和发送,其中关于端口信息来源于控制平面,里面包含了整体网络的拓扑信息以及端口对应信息。
为了对本发明的路径生成过程有更清楚直观的认识,下面结合一个示例加以阐述。现有网络G’经过计算找到了回路G(V,E,W),如图5所示,其中V={1,2,3,4,5,6,7,8}表示网络节点,数量为4,E表示节点之间的链路,共8条,W表示链路之间的权重为[1,2,2,2,3,3,5,10],测试了参数T和后,通过约束1.3计算K=4,因此需要将其分成4段路径。
(1)首先,将该网络拓扑按照回路上链路顺序进行整理,得到连续的路径的权重为[10,2,2,3,5,1,2,3];
(2)最大时延max=10 ,计算总时延sum=28,时延均值avg= 7;
(3)生成路径集合s1,从权重最大(10)的元素开始放进集合直至集合元素大于均值,得到s1=(1→2),由于链路1→2之间权重为10大于均值,则生成新的路径集合s2;
(4)依次放置元素进入集合s2,直至集合元素恰好小于均值,得到s2=(2→3→4→5),路径上三条链路的权重为(2,2,3),2+2+3<=7,则生成新的路径集合s3;
(5)依次放置元素进入集合s3,直至集合元素恰好大于均值,得到s3=(5→6→7→8)路径上三条链路的权重为(5,1,2),5+1+2>=7,则生成新的路径集合s4;
(6)剩余元素放入s4=(8→1);
(7)s1,s2,s3,s4则为生成的四条路径集合。故智能化监测任务需要下发四个探测包:
探测包1:从网络节点1出发探测链路1→2的网络信息,至网络节点2结束并被回收;
探测包2:从网络节点2出发探测链路2→3→4→5的网络信息,至网络节点5结束并被回收;
探测包3:从网络节点5出发探测链路5→6→7→8的网络信息,至网络节点8结束并被回收;
探测包4:从网络节点8出发探测链路8→1的网络信息,至网络节点1结束并被回收;
基于真实环境中的数据集以及图2中的协议进行了实验,按照已有的网络拓扑情况建立了网络,具体的监测策略按照上述提到的方法,完成后收集到的结果发送给数据收集。统计了分别执行三种控制策略后的监测时延,策略1,当前学术界最新的策略INT-Path(见参考文献[1]Pan T, Song E, Bian Z, et al. Int-path: Towards optimal pathplanning for in-band network-wide telemetry[C]//IEEE INFOCOM 2019-IEEEConference On Computer Communications. IEEE, 2019: 487-495),策略2,随机化的路径规划策略,策略3,本发明提出的方法。图6记录了路径长度小于30的时延,从图6中可以得出本发明所提出的方法能够将监测时延降低为一半,极大提高了网络资源监测的效率。
根据本发明的另一实施例,路径规划节点实施为一种面向云数据中心智能化监测应用任务部署装置,包括:
网络设备配置模块,被配置为对网络设备进行协议配置,使得网络设备支持带内网络遥测协议V1和带内网络遥测协议V2,同时支持源路由协议;
网络信息获取模块,被配置为利用带内网络遥测技术获取当前网络状态信息,包括网络拓扑、相邻网络设备之间的链路时延;
带权回路构建模块,被配置为根据获得的网络状态信息,生成与网络拓扑相对应的带权图G(V,E,W),其中点集合V中元素为网络设备,边集合E中元素为网络设备之间的链路,权重集合W中元素为链路时延,为带权图G构建带权回路;
部署决策计算模块,被配置为将带权回路拆分为多段路径,每一段路径对应一个探测包,构建以最小化最大路径的时延为目标的优化问题并求解,将求解结果作为当前智能化监测应用的部署决策,决策信息为路径数量以及每条路径上具体的网络设备,其中所述优化问题如下:
优化目标:                              (1)
约束条件:
1.1)对于链路分组的限制:所待监测的链路被划分为K个组,并且每个组的所有路径非重叠:
1.2)对于网络设备监测次数的限制:每一条链路仅被监测一次:
1.3)对于路径数量的限制:路径数量存在上限:
1.4)对于决策的定义域限制:
式中,表示在回路的链路的时延情况;表示监测任务为带宽带来的开销;表示接收节点处理的总带宽;为决策变量,表示回路中的链路i是否被放入路径j中;为决策变量,表示监测任务生成的路径的总数量;表示回路c上包含的链路的数量;为决策变量,表示回路中与链路相邻的下一条链路是否被放入路径j中;表示路径的集合,的大小等于K;表示回路的集合;表示正整数集合;以及
部署决策下发模块,被配置为根据求解的结果来为每一组待下发监测任务选择最优的监测路径。
作为优选实施方式,所述的装置还包括:
智能监测展示模块,被配置为利用时序数据库Influxdb实时存储收集到的监测信息,利用图像展示工具Grafana展示数据库中的数据。
应理解,本发明实施例中所提及的面向云数据中心智能化监测应用任务部署装置可以实现上述方法实施例中的全部的技术方案,其各个功能模块的功能能够根据上述方法实施例中的方法具体实现,其具体实现过程可参照上述实施例中的相关描述,此处不再赘述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,本发明中的流式数据分析任务处理方法在各系统中均适用,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (9)

1.一种云数据中心智能化监测应用任务部署方法,其特征在于,包括以下步骤:
利用带内网络遥测技术获取当前网络状态信息,包括网络拓扑、相邻网络设备之间的链路时延;
根据获得的网络状态信息,生成与网络拓扑相对应的带权图G(V,E,W),其中点集合V中元素为网络设备,边集合E中元素为网络设备之间的链路,权重集合W中元素为链路时延,为带权图G构建带权回路;
将带权回路拆分为多段路径,每一段路径对应一个探测包,构建以最小化最大路径的时延为目标的优化问题并求解,将求解结果作为当前智能化监测应用的部署决策,决策信息为路径数量以及每条路径上具体的网络设备,其中所述优化问题如下:
优化目标:                              (1)
约束条件:
1.1)对于链路分组的限制:所待监测的链路被划分为K个组,并且每个组的所有路径非重叠:
1.2)对于网络设备监测次数的限制:每一条链路仅被监测一次:
1.3)对于路径数量的限制:路径数量存在上限:
1.4)对于决策的定义域限制:
式中,表示在回路的链路的时延情况;表示监测任务为带宽带来的开销;表示接收节点处理的总带宽;为决策变量,表示回路中的链路是否被放入路径j中;为决策变量,表示监测任务生成的路径的总数量;表示回路上包含的链路的数量;为决策变量,表示回路中与链路相邻的下一条链路是否被放入路径j中;表示路径的集合,的大小等于K;表示回路的集合;表示正整数集合。
2.根据权利要求1所述的方法,其特征在于,对优化问题的求解包括:
基于接收节点的总带宽存在固定上限以及的大小依赖于具体的监测任务,消除问题中的路径数量变量,将优化问题(1)转换为优化问题(2):
优化目标:  (2)
约束条件:
1.1)对于链路分组的限制:所待监测的链路被划分为K个组,并且每个组的所有路径非重叠:
1.2)对于网络设备监测次数的限制:每一条链路仅被监测一次:
1.3)对于决策的定义域限制:
求解优化问题(2),得到符合要求的路径信息。
3.根据权利要求2所述的方法,其特征在于,对优化问题(2)的求解包括:
初始化路径集合,对于奇数次生成的集合:从具有最大时延的链路开始遍历,并依次将遍历到的链路放置集合,当集合中全部链路的总时延大于平均时延avg时不再向集合放置链路,初始化新的集合;对于偶数次生成的集合:从上次结束的链路继续开始遍历,并依次将遍历到的链路放置集合,当集合中全部链路的总时延小于平均时延avg时不再向集合放置链路,初始化新的集合;直到全部的链路遍历结束,输出最终生成的K和路径集合。
4.根据权利要求3所述的方法,其特征在于,所述平均时延avg=sum/K,sum为回路上的全部链路的总时延。
5.根据权利要求4所述的方法,其特征在于,参数K的确定方法如下:利用待监测的网络链路构建回路,测试接收节点的处理上限确定参数的取值,测试每次监测任务下发带来的开销确定参数,并根据约束1.3计算参数K,也即路径的数量。
6.一种云数据中心智能化监测应用任务部署装置,其特征在于,包括:
网络设备配置模块,被配置为对网络设备进行协议配置,使得网络设备支持带内网络遥测协议V1和带内网络遥测协议V2,同时支持源路由协议;
网络信息获取模块,被配置为利用带内网络遥测技术获取当前网络状态信息,包括网络拓扑、相邻网络设备之间的链路时延;
带权回路构建模块,被配置为根据获得的网络状态信息,生成与网络拓扑相对应的带权图G(V,E,W),其中点集合V中元素为网络设备,边集合E中元素为网络设备之间的链路,权重集合W中元素为链路时延,为带权图G构建带权回路;
部署决策计算模块,被配置为将带权回路拆分为多段路径,每一段路径对应一个探测包,构建以最小化最大路径的时延为目标的优化问题并求解,将求解结果作为当前智能化监测应用的部署决策,决策信息为路径数量以及每条路径上具体的网络设备,其中所述优化问题如下:
优化目标:                              (1)
约束条件:
1.1)对于链路分组的限制:所待监测的链路被划分为K个组,并且每个组的所有路径非重叠:
1.2)对于网络设备监测次数的限制:每一条链路仅被监测一次:
1.3)对于路径数量的限制:路径数量存在上限:
1.4)对于决策的定义域限制:
式中,表示在回路的链路的时延情况;表示监测任务为带宽带来的开销;表示接收节点处理的总带宽;为决策变量,表示回路中的链路i是否被放入路径j中;为决策变量,表示监测任务生成的路径的总数量;表示回路c上包含的链路的数量;为决策变量,表示回路中与链路相邻的下一条链路是否被放入路径j中;表示路径的集合,的大小等于K;表示回路的集合;表示正整数集合;以及
部署决策下发模块,被配置为根据求解的结果来为每一组待下发监测任务选择最优的监测路径。
7.根据权利要求6所述的装置,其特征在于,还包括:
智能监测展示模块,被配置为利用时序数据库Influxdb实时存储收集到的监测信息,利用图像展示工具Grafana展示数据库中的数据。
8.一种云数据中心智能化监测应用任务部署系统,其特征在于,包括:若干网络节点、发送节点、接收节点、数据存储节点、资源智能化展示节点、路径规划节点、网络设备配置装置,所述各个节点之间经由链路互连,所述规划节点针对当前的网络拓扑,为监控任务产生的探测包进行路径规划,所述路径规划节点采用如权利要求1-5中任一项所述的智能化监测应用任务部署方法实现对监测应用任务部署,或者在各个路径规划节点部署如权利要求6-7中任一项所述的智能化监测应用任务部署装置,所述发送节点发送探测包,该探测包按照预先规划的路径经过全部的网络设备,所述接收节点收集探测包并交由存储节点储存,资源智能化展示节点从存储节点中读取数据并展示给运维人员。
9.根据权利要求8所述的系统,其特征在于,路径规划节点以端口的形式输出一系列路径,这些端口信息由发送节点以栈的形式封装到探测包的SR字段,栈顶元素指示探测包在当前网络节点的出口,每经过一跳栈顶元素都将弹出。
CN202310320260.6A 2023-03-29 2023-03-29 云数据中心智能化监测应用任务部署方法、装置和系统 Active CN116032778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310320260.6A CN116032778B (zh) 2023-03-29 2023-03-29 云数据中心智能化监测应用任务部署方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310320260.6A CN116032778B (zh) 2023-03-29 2023-03-29 云数据中心智能化监测应用任务部署方法、装置和系统

Publications (2)

Publication Number Publication Date
CN116032778A true CN116032778A (zh) 2023-04-28
CN116032778B CN116032778B (zh) 2023-06-06

Family

ID=86070767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310320260.6A Active CN116032778B (zh) 2023-03-29 2023-03-29 云数据中心智能化监测应用任务部署方法、装置和系统

Country Status (1)

Country Link
CN (1) CN116032778B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117499219A (zh) * 2023-12-26 2024-02-02 苏州元脑智能科技有限公司 网络数据的处理方法及装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070177518A1 (en) * 2006-01-27 2007-08-02 Lucent Technologies, Inc. End-to-end service quality using source-routed probes
CN111343651A (zh) * 2020-02-18 2020-06-26 电子科技大学 服务于众智计算环境的服务链部署方法及系统
WO2020181761A1 (zh) * 2019-03-11 2020-09-17 江苏君英天达人工智能研究院有限公司 一种sdn增强路径装箱装置及方法
CN114844812A (zh) * 2022-04-28 2022-08-02 东南大学 一种面向主动网络遥感的低时延低开销路径部署方法
CN114915995A (zh) * 2022-04-07 2022-08-16 深圳市国电科技通信有限公司 基于带内网络遥测的网络切片监测方法、系统和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070177518A1 (en) * 2006-01-27 2007-08-02 Lucent Technologies, Inc. End-to-end service quality using source-routed probes
WO2020181761A1 (zh) * 2019-03-11 2020-09-17 江苏君英天达人工智能研究院有限公司 一种sdn增强路径装箱装置及方法
CN111343651A (zh) * 2020-02-18 2020-06-26 电子科技大学 服务于众智计算环境的服务链部署方法及系统
CN114915995A (zh) * 2022-04-07 2022-08-16 深圳市国电科技通信有限公司 基于带内网络遥测的网络切片监测方法、系统和存储介质
CN114844812A (zh) * 2022-04-28 2022-08-02 东南大学 一种面向主动网络遥感的低时延低开销路径部署方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡志平;刘芳;赵文涛;刘湘辉;殷建平;: "网络测量部署模型及其优化算法", 软件学报, no. 02 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117499219A (zh) * 2023-12-26 2024-02-02 苏州元脑智能科技有限公司 网络数据的处理方法及装置、存储介质及电子设备
CN117499219B (zh) * 2023-12-26 2024-04-02 苏州元脑智能科技有限公司 网络数据的处理方法及装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN116032778B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN108600102B (zh) 一种基于智慧协同网络的柔性数据传输系统
CN103618677B (zh) 一种网络流量调整方法及系统
Hyun et al. Towards knowledge-defined networking using in-band network telemetry
Bhamare et al. Intopt: In-band network telemetry optimization for nfv service chain monitoring
US8423633B2 (en) Assisted determination of data flows in communication/data networks
CN103873379B (zh) 一种基于重叠网的分布式路由抗毁策略配置方法和系统
US9252964B2 (en) Dynamically optimized many tree multicast networks
Hyun et al. Knowledge-defined networking using in-band network telemetry
CN116032778B (zh) 云数据中心智能化监测应用任务部署方法、装置和系统
CN111654386A (zh) 一种业务功能链建立方法及系统
Poularakis et al. Learning the optimal synchronization rates in distributed SDN control architectures
CN107404526A (zh) 基于sdn的p2p遥感数据网络自适应分发系统及方法
Gifre et al. Big data analytics in support of virtual network topology adaptability
CN107995121A (zh) 基于通配符的软件定义网络中流量统计方法
Barsellotti et al. Introducing data processing units (dpu) at the edge
CN114945032A (zh) 电力物联网终端数据接入系统、方法、装置、设备及介质
CN108965147A (zh) 网络控制方法、装置及网络设备
CN105024934B (zh) 一种实时流量调度方法和系统
CN114024907A (zh) 一种多口字环形结构下的流量调度方法和系统
CN114024747A (zh) 基于软件定义nfv的安全服务链编排部署方法及系统
CN110138674B (zh) 可编程数据平面流调度方法、系统、介质及网络设备
Okay et al. SDN-based data forwarding in fog-enabled smart grids
Abushagur et al. Hybrid software-defined network monitoring
CN115473825A (zh) 业务服务等级协议保障方法和系统、控制器和存储介质
CN114039929A (zh) 一种业务流量调度的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant