CN114584494A - 一种边缘云网络中测量实际可用带宽的方法 - Google Patents

一种边缘云网络中测量实际可用带宽的方法 Download PDF

Info

Publication number
CN114584494A
CN114584494A CN202210436495.7A CN202210436495A CN114584494A CN 114584494 A CN114584494 A CN 114584494A CN 202210436495 A CN202210436495 A CN 202210436495A CN 114584494 A CN114584494 A CN 114584494A
Authority
CN
China
Prior art keywords
bandwidth
machine
measuring
stream
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210436495.7A
Other languages
English (en)
Inventor
蒋鑫
任远铭
王晓飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pplabs Network Technology Shanghai Co ltd
Original Assignee
Pplabs Network Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pplabs Network Technology Shanghai Co ltd filed Critical Pplabs Network Technology Shanghai Co ltd
Priority to CN202210436495.7A priority Critical patent/CN114584494A/zh
Publication of CN114584494A publication Critical patent/CN114584494A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种边缘云网络中测量实际可用带宽的方法，其步骤包括：S1在网络中选取并定义待测量机器和测量机器，并设置控制器；S2控制器令待测量机器以测量带宽
Figure 100004_DEST_PATH_IMAGE002
向测量机器发送测试数据包，以获取测量机器的反馈带宽
Figure 100004_DEST_PATH_IMAGE004
；S3控制器根据
Figure 100004_DEST_PATH_IMAGE005
的反馈，以调整下一轮测试带宽
Figure 100004_DEST_PATH_IMAGE007
，直至逼近实际可用带宽的值，以获取实际带宽检测结果。籍此以准确的测量出边缘节点的实际可用带宽。

Description

一种边缘云网络中测量实际可用带宽的方法
技术领域
本发明涉及网络带宽测试技术，尤其涉及一种边缘云网络中测量实际可用带宽的方法。
背景技术
网络系统中的资源总是有限的，只要存在抢夺网络资源的情况，就会出现服务质量(Quality of Service，QoS)的要求。因此，只有准确获取网络设备的实际可用资源，才能实现对服务质量进行有效控制。
通常情况下，影响服务质量的主要因素是网络设备的实际可用带宽，有效的评估指标是延时和丢包率。然而，一般的服务器所连接的网络都有其带宽上限，一台服务器即使是性能无限的，但它的网络服务能力也受到链路上网络设备能力的制约。在边缘计算领域，由于服务器所处在网络的边缘，因此带宽的质量相对较差，即延时和丢包率会比数据中心机房的差一些。因此在边缘服务器上部署任务，必须要考虑带宽的质量，以免影响任务的服务质量。
一般性的来讲，在同一网络环境下，吞吐量越高，带宽的延时和丢包率也会相应地有所增加。因此，在部署任务前需要对边缘服务器的带宽压测，并记录其在不同带宽吞吐量情况下的带宽时延和丢包率。之后根据任务所能接受的带宽时延和丢包率，限制服务器的吞吐量，使其在任务运行时，网络的时延和丢包率不至于太差而导致任务无法服务，同时服务器的带宽又尽可能的充分被利用。
因此如何准确的测量出边缘节点的实际可用带宽，以供合理地为部署在网络节点的服务分配带宽资源，是稳定和确保边缘计算服务质量的一大前提。
目前常见的可用带宽测量方法主要包含两大类，第一类是基于系统性能瓶颈的测量方法，第二类是基于统计学习的测量方法。
·基于系统性能瓶颈的测量方法
基于系统性能瓶颈的测量方法。该方法又包含基于包对(packet pairs)的测量方法和基于包队列(packet trains)的测量方法。
-基于包对(packet pairs)的测量方法
其中，基于包对的测量方法的核心思想是在进行数据传输时，由于背景流量的存在，在经过紧链路时，探测包之间的间隔由于背景流量的插入而引起变化，此时如果知道紧路容量，就可以根据探测报文输入输出间隔的变化计算出背景流量，进而得到可用带宽。
在基于包对的测量方法中，要求待测网络满足几个重要条件。首先就是在测量期间待测链路的背景流量必须恒定，就是测量期间待测链路的可用带宽值不能发生变化，否则会影响测量方法的准确性。
-基于包队列(packet train)的测量方法
通过控制发送探测数据报文的速率，观测数据报文的输入速率与链路中单向延迟的变化的匹配情况。在理想情况下，当输入包队列的速率小于或等于可用带宽时，链路中的单向延迟不会有变大的趋势，反之当输入包队列的速率大于可用带宽时，链路中的单向延迟会有增大的趋势。基于包队列可用带宽测量算法或工具就是试图找到那个输入包队列速率和可用带宽相等的点，从而得到网络链路的可用带宽。
与基于包对的测量方法类似，基于包队列的测量方法也要求待测链路满足背景流量恒定。
·基于统计学习的测量方法
由于网络环境是在不断变化的，而现有的包对和包队列测量方法都是在背景流量恒定的假设下进行的，这一条件在现实情况中经常难以满足，所以领域内的很多研究者都尝试从统计学习的角度抽象化的解决网络可用带宽测量的问题。
这类方法的优点是，无需测试链路严格满足在基于系统性能瓶颈的测量方法中的背景流量恒定原则。摆脱了这个条件的束缚，也意味着采用了统计学习方法一般采用非侵入式手段测量带宽，也能较好的处理爆发流量的情况。
但是，由于此类方法受到数学模型的局限性，导致在不同拓扑结构的网络系统下表现的性能不稳定，因此暂无实际可用的工具开源。
发明内容
本发明的主要目的在于提供一种边缘云网络中测量实际可用带宽的方法，以准确的测量出边缘节点的实际可用带宽。
为了实现上述目的，根据本发明的一个方面，提供了一种边缘云网络中测量实际可用带宽的方法，步骤包括：S1在网络中选取并定义待测量机器和测量机器，并设置控制器；S2控制器令待测量机器以测量带宽
Figure BDA0003609414280000031
向测量机器发送测试数据包，以获取测量机器的反馈带宽
Figure BDA0003609414280000032
S3控制器根据
Figure BDA0003609414280000033
的反馈，以调整下一轮测试带宽
Figure BDA0003609414280000034
直至逼近实际可用带宽的值，以获取实际带宽检测结果。
在可能的优选实施方式中，其中步骤S2中控制器采用了双时间尺度的测量法令待测量机器发送测试数据包，其步骤包括：设定一长时间尺度为Fleet，短时间尺度为Stream，待测量机器在Fleet下向测量机器发送N个Stream，且每个Stream内以一定的时间间隔T发送K个大小为L的测试数据包。
在可能的优选实施方式中，其中步骤S3中调整下一轮测试带宽
Figure BDA0003609414280000041
的步骤包括：在一个Fleet内，保持数据包的L大小不变的条件下，不断迭代修改每个Stream中测试数据包之间的发送时间间隔T。
为了实现上述目的，根据本发明的二个方面，还提供了一种边缘云网络中测量实际可用带宽的方法，步骤包括：S1在网络中选取并定义待测量机器和测量机器，并设置控制器，其中控制器中设有策略单元，所述策略单元采用Actor-Critic架构的深度强化学习算法；S2控制器令待测量机器以测量带宽
Figure BDA0003609414280000042
向测量机器发送测试数据包，以获取测量机器的反馈带宽
Figure BDA0003609414280000043
S3控制器根据
Figure BDA0003609414280000044
与
Figure BDA0003609414280000045
的反馈，经策略单元决策后调整下一轮测试带宽
Figure BDA0003609414280000046
直至逼近实际可用带宽的值，以获取实际带宽检测结果。
在可能的优选实施方式中，其中步骤S2中控制器采用了双时间尺度的测量法令待测量机器发送测试数据包，步骤包括：设定一长时间尺度为Fleet，短时间尺度为Stream，待测量机器在Fleet下向测量机器发送N个Stream，且每个Stream内以一定的时间间隔T发送K个大小为L的测试数据包。
在可能的优选实施方式中，其中步骤S3中调整下一轮测试带宽
Figure BDA0003609414280000047
的步骤包括：在一个Fleet内，保持数据包的L大小不变的条件下，策略单元根据
Figure BDA0003609414280000048
与
Figure BDA0003609414280000049
的反馈作出对应决策，以不断迭代修改每个Stream中测试数据包之间的发送时间间隔T。
在可能的优选实施方式中，其中策略单元的决策步骤包括：S30以马尔科夫决策过程定义T值调整决策，以设定：
状态空间
Figure BDA0003609414280000051
其中对于第i个stream，其状态定义为
Figure BDA0003609414280000052
且
Figure BDA0003609414280000053
指定为当前测试网络中已使用的带宽Ui；
动作空间
Figure BDA0003609414280000054
其中第i个stream的动作空间定义为
Figure BDA0003609414280000055
Figure BDA0003609414280000056
的取值范围是[0，C]，其中其中C是待测量机器的瓶颈带宽；
奖赏函数
Figure BDA0003609414280000057
其中对于第i个stream，此时的状态空间为
Figure BDA0003609414280000058
算法在该状态空间下计算的出的动作为
Figure BDA0003609414280000059
此时控制器在执行动作
Figure BDA00036094142800000510
后会产生新的下一时刻的状态
Figure BDA00036094142800000511
而奖赏函数
Figure BDA00036094142800000512
用来评估算法的决策
Figure BDA00036094142800000513
对测试产生影响的好坏并计算出具体的奖赏值
Figure BDA00036094142800000514
其中对于第i个stream，奖赏函数设置为：
Figure BDA00036094142800000515
状态转移概率
Figure BDA00036094142800000516
表示在状态
Figure BDA00036094142800000517
下执行动作
Figure BDA00036094142800000518
后，状态空间转移到
Figure BDA00036094142800000519
的概率；
S31 Actor将状态
Figure BDA00036094142800000520
输入至确定性策略网络μ生成动作
Figure BDA00036094142800000521
S32控制器执行动作
Figure BDA00036094142800000522
并产生奖赏值
Figure BDA00036094142800000523
和新的状态
Figure BDA00036094142800000524
S33将S31-S32两步过程产生的训练数据
Figure BDA00036094142800000525
存储至经验池RelayBuffer；
S34从RelayBuffer中随机抽取的M组数据分别输入到Actor和Critic进行训练，并按照奖励值从小到大排序，选择预设范围内的数据作为最终输入；
S35将选定的数据分别输入至Actor和Critic以更新网络参数θπ和θμ，从而不断迭代至算法收敛。
通过本发明提供的该边缘云网络中测量实际可用带宽的方法，可以准确的测量出边缘节点的实际可用带宽，并且精准可靠，不严格依赖于待测链路准确的背景参数，同时自适应能力强，测量方法的性能可以兼容不同网络拓扑结构以实现泛用性。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为链路带宽占用率与网络中丢包率与延时的对照示意图；
图2为本发明中基于包队列的可用带宽测量框架概念图；
图3为本发明中基于马尔科夫决策过程对每次如何调整测试带宽的精准数值这一问题建模的设计概念图；
图4为本发明的该边缘云网络中测量实际可用带宽的方法中持续调整下一轮测试带宽的逻辑流程示意图；
图5为本发明的该边缘云网络中测量实际可用带宽的方法中决策逻辑流程示意图。
具体实施方式
为了使本领域的技术人员能够更好的理解本发明的技术方案，下面将结合实施例来对本发明的具体技术方案进行清楚、完整地描述，以助于本领域的技术人员进一步理解本发明。显然，本案所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思及相互不冲突的前提下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的揭露及保护范围。
此外本发明的说明书和权利要求书及附图中的术语“第一”、“第二”、“S1”、“S2”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里描述的那些以外的顺序实施。同时本发明中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。除非另有明确的规定和限定，对于本领域的普通技术人员而言，可以根据具体情况，结合现有技术来理解上述术语在本案中的具体含义。
本发明提供的的该边缘云网络中测量实际可用带宽的方法，其发明构思上意图将深度强化学习技术应用到带宽测量技术中。综合背景技术中各种带宽测量方法来看，基于系统性能瓶颈的测量方法对背景参数的依赖较强，如机器准确的最大可用带宽。但是在真实的网络系统中，我们很难保证这两个值为常量，即动态化的网络系统，会导致该方法测量误差增大。
而基于统计学习的测量方法受到数学模型的局限性，导致在不同拓扑结构的网络系统下表现的性能不稳定。
因此，本发明的目标是开发一款精准可靠、且自适应能力强的实际可用带宽测量方法，构思上本发明将深度强化学习结合包队列的可用带宽探测模型，通过设计巧妙的奖赏函数，使得该方法可以摆脱对背景参数的依赖，并能够自适应地应对拥有不同拓扑结构的网络系统。
为此，本发明提供的该一种边缘云网络中测量实际可用带宽的方法步骤包括：
S1在网络中选取并定义待测量机器和测量机器，并设置控制器，其中控制器中设有策略单元，所述策略单元采用Actor-Critic架构的深度强化学习算法；
S2控制器令待测量机器以测量带宽
Figure BDA0003609414280000081
向测量机器发送测试数据包，以获取测量机器的反馈带宽
Figure BDA0003609414280000082
S3控制器根据
Figure BDA0003609414280000083
与
Figure BDA0003609414280000084
的反馈，经策略单元决策后调整下一轮测试带宽
Figure BDA0003609414280000085
直至逼近实际可用带宽的值，以获取实际带宽检测结果。
具体来说，首先介绍在带宽测量过程中的两个重要指标：延迟(Latency)和丢包率(Loss Rate)。
延时(Latency)：数据包从源节点传输到目的节点需要的时间。延时越高意味着网络质量越差，比如在线游戏，直播等应用场景就必须要求低延时，而像下载场景就对延时没那么敏感。
丢包率(Loss Rate)：是指一个或多个数据包的数据无法通过网络传输到达目的节点。丢包率的值越大意味着服务质量越差，因为数据包丢失会导致重传或者信息丢失，会影响上层应用的服务质量。
在网络环境中，一个普遍的规律是随着链路带宽占用率的提高，该链路上的延时和丢包率也会相应的提升。如图1所示，其中，x表示延时，*表示丢包率，其中对于图1，更加形式化地描述为：一般的，给定一个链路的带宽容量为C，该链路已经用掉的带宽为U，U∈[0，C]，那么系统中的可用带宽就可以定义为A＝C-U。假设R是我们测量过程中发送数据包用掉的带宽，当R≤A时，数据包的延迟和丢包率保持不变；当R＞A时，从R＝A那一刻起，数据包的延迟和丢包率会突然增加。
由于本案意图提供通用的可用带宽测量方案，也就是说既可以测量上行带宽也可以测量下行带宽。因此下述以测量上行带宽为例展开叙述。在测量过程中，有待测量机器和测量机器两个角色，那么在测量上行带宽时，待测机器为发送端，测量机器为接收端，且测量机器的带宽性能要大于待测量机器。
假设从待测量机器以一定的速率Rsend向测量机器发送数据包，测量机器收到数据包的速率为Rrecv。根据上面的现象，当Rsend≤A时，Rrecv＝Rsend；当Rsend＞A时，Rrecv＜Rsend，于是可以得出如下式子：
Figure BDA0003609414280000091
建立基于包队列的可用带宽探测的基本模型。
本发明基于UDP套接字以一定的时间间隔发送一组数据包队列，具体来说，如采用L表示测试过程中发送的一个数据包大小，一般情况下不超过系统默认的最大传输单元(Maximum Transmission Unit，MTU)。发送的数据包之间的时间间隔为T，于是数据流的传输速率(占用的带宽)可以表示为：
Figure BDA0003609414280000092
本方案采用了双时间尺度的测量方法，将较大的时间尺度定义为Fleet，较小的时间尺度为Stream。具体而言，在较大的时间尺度上，即Fleet，发送N个Stream对带宽进行探测。在每个Stream内，会以一定的时间间隔T发送K个大小为已数据包。
基于上述框架，本案设计了一个控制器，该控制器在每个Stream内发送数据包的时间间隔T保持不变，也就意味着每个Stream的数据包是以一定速率的带宽Rsend发送。从Fleet的视角来看，该控制器能够根据每个Stream结束后的结果参数，如时延、丢包等，调整下一个Stream的测试带宽Rsend。
此外需要注意的是，在本方案中，需始终保持数据包L的大小不变，因此调整测试带宽Rsend的手段是改变数据包之间的发送时间间隔T。大致框架如图2所示。
基于上述可用带宽测量框架，本方案能够在一个Fleet内，通过不断迭代修改每个Stream发送的带宽速率Rsend，形成不断逼近实际可用带宽的效果。具体而言，对于第i，i∈[1，N]个Stream，以时间间隔
Figure BDA0003609414280000101
发送K个大小为L数据包，此时发射数据包的速率为：
Figure BDA0003609414280000102
在该发送速率下，一个stream结束后，我们在测量机器捕捉到的数据包的平均时间间隔为
Figure BDA0003609414280000103
于是可以计算出测量机器的速率大小：
Figure BDA0003609414280000104
根据公式1可得：当测试带宽
Figure BDA0003609414280000105
说明测量带宽
Figure BDA0003609414280000106
小于实际可用带宽，此时可以适当增加第i+1个stream测试带宽的大小
Figure BDA0003609414280000107
当测试带宽
Figure BDA0003609414280000108
说明测量带框
Figure BDA0003609414280000109
大于实际可用带宽，此时我们可以适当降低第i+1个stream测试带宽的大小
Figure BDA00036094142800001010
根据这样的规则不断迭代，最终我们就可以求出最接近实际可用带宽的值。
进一步的，本方案还需给出每次调整(增加或减少)测试带宽的精准数值，为此本案中将深度强化学习算法引入到带宽测量框架的控制器中，该算法的特点是无需依赖于大量的历史数据集，能够实时的根据系统状态决策出要做出的动作，并不断迭代下去。
为此本案中示例以根据马尔科夫决策过程(Markov Decision Process，MDP)
Figure BDA0003609414280000111
对该问题建模如下：
状态空间：
Figure BDA0003609414280000112
表示状态空间，一般情况下，状态空间的设置应为算法的有效输入。具体而言，当每个stream以一定速率发送数据包时，系统中就会产生一定的状态，对于第i个stream，可将其状态定义为
Figure BDA0003609414280000113
在本示例中，可将
Figure BDA0003609414280000114
指定为当前系统中已使用的带宽Ui。对于已使用带宽的统计方法，以Linux系统为例，可以分别在两个时间点对网卡的流量进行采集，然后将两个采集点所采集到的数据相减，并除以时间差就可以得到在一段时间内的平均带宽值。
动作空间：
Figure BDA0003609414280000115
表示动作空间，一般情况下，动作空间为深度强化学习算法的输出。在本案中，可将动作空间定义为算法所计算出在当前系统状态下的应该将测量带宽的值调整至多少。由于测量带宽的值是不断的迭代调整，即前后之间是连续的，那么本发明所采用算法的动作空间也是连续的。更为具体的，还可根据不同机器的情况为该动作空间的值划定一个准确的范围，对于第i个stream的动作空间
Figure BDA0003609414280000116
Figure BDA0003609414280000117
的取值范围是[0，C]，其中C是被测量机器的瓶颈带宽。一般可将瓶颈带宽设置为该网卡的最大传输速率，比如针对千兆网卡，本实施了下示例将该值设置为C＝1000；针对万兆网卡，示例下可将该值设置为C＝10000，其中单位均为每秒传输的兆比特位(Megabits per second，Mbps)。然而，由于在实际调整的过程中，要调整的是发送数据包的时间间隔T，因此可以将C代入(2)式，反推出T。
奖赏函数：
Figure BDA0003609414280000118
表示奖赏函数，一般用来评估算法做出动的好坏，并给予相应的奖惩。具体来说，对于第i个stream，此时的状态空间为
Figure BDA0003609414280000121
算法在该状态空间下计算的出的动作为
Figure BDA0003609414280000122
此时控制器在系统中执行动作
Figure BDA0003609414280000123
后会产生新的下一时刻的状态
Figure BDA0003609414280000124
奖赏函数
Figure BDA0003609414280000125
就是用来评估算法的决策
Figure BDA0003609414280000126
对系统产生影响的好坏，并计算出具体的奖赏值
Figure BDA0003609414280000127
具体而言，对于第i个stream，可将奖赏函数设置为
Figure BDA0003609414280000128
Figure BDA0003609414280000129
结合(1)式将该函数展开如下：
Figure BDA00036094142800001210
对(3)式稍加推敲就可以得出，当且仅当
Figure BDA00036094142800001211
时，奖赏函数的值达到最大，此时测量带宽也就等于实际可用带宽，即
Figure BDA00036094142800001212
Figure BDA00036094142800001213
因此在算法的实现过程中，只需不断迭代获得最大奖赏即可，因为理论上奖赏函数的最大值就是最接近实际可用带宽的值。
状态转移概率：
Figure BDA00036094142800001214
表示状态转移概率，一般情况下，使用
Figure BDA00036094142800001215
来表示在状态
Figure BDA00036094142800001216
下执行动作
Figure BDA00036094142800001217
后，状态空间转移到
Figure BDA00036094142800001218
的概率。如图3所示为上述过程更加形式化的体现。
此外在本发明中，使用的深度强化学习算法示例为经典的Actor-Critic架构，如图4所示，其核心思想可以把Critic看做是老师，Actor看作是学生，由Critic指导Actor的行为。对于第i个stream而言，控制器会将系统状态
Figure BDA00036094142800001219
输入至Actor的策略网络π，该策略会输出动作
Figure BDA00036094142800001220
Critic则会基于奖赏函数评判状态-动作判
Figure BDA00036094142800001221
的好坏，从而反向更新Actor的策略参数θμ，起到Critic知道Actor的作用。
算法详细的训练过程如下：
Critic的实现是基于动作-价值函数
Figure BDA00036094142800001222
所实现，该函数的含义是在状态-动作对
Figure BDA0003609414280000131
处期望的累计折合奖励，于是该函数可以表示为：
Figure BDA0003609414280000132
即表示估计在第i个stream处，在状态s^_i下执行动作a^_i所能产生的价值，这里还考虑对后面的操作的影响，因此价值越大动作自然越好。
其中
Figure BDA0003609414280000133
是从第i个stream开始预测在该状态-动作对执行之后的累计折合奖励：
Figure BDA0003609414280000134
因此，Critic的动作-价值函数可以基于贝尔曼方程写成：
Figure BDA0003609414280000135
其中γ为折合因子，取值范围是(0，1)，更进一步的，该更新网络参数θπ的方法是通过最小化真实网络
Figure BDA0003609414280000136
和目标网络
Figure BDA0003609414280000137
之间的损失函数：
Figure BDA0003609414280000138
Actor的训练公式为：
Figure BDA0003609414280000139
其中θμ是Actor的网络参数，μ是确定性的抽样策略，
Figure BDA00036094142800001310
的计算方式与Critic相同，
Figure BDA00036094142800001311
表示通过随机梯度上升的方式不断地更新Actor的网络参数θμ，以使得Actor学习到最大化累计奖励的策略。
至此，Critic与Actor之间的交互如图5所示，可以表述为以下几个步骤：
1)Actor将系统状态
Figure BDA0003609414280000141
输入至确定性策略网络μ生成动作
Figure BDA0003609414280000142
2)控制器执行动作
Figure BDA0003609414280000143
并产生奖励
Figure BDA0003609414280000144
和新的状态
Figure BDA0003609414280000145
3)将1、2两步过程产生的训练数据
Figure BDA0003609414280000146
存储至经验池RelayBuffer；
4)从RelayBuffer中随机抽取的M组数据分别输入到Actor网络和Critic网络进行训练，为了避免网络系统中短时间内带宽占用率突然提高对算法收敛性能的影响，本发明将随机抽取的M组数据按照奖励值从小到大排序，选择前95％分位的数据作为最终输入；
5)将选定的数据分别输入至Actor网络和Critic网络，Actor和Critc经过公式(7)和公式(8)更新网络参数θπ和θμ，从而不断迭代至算法收敛。
综上所述，通过本发明提供的该边缘云网络中测量实际可用带宽的方法，可以准确的测量出边缘节点的实际可用带宽，并且精准可靠，不严格依赖于待测链路准确的背景参数，同时自适应能力强，测量方法的性能可以兼容不同网络拓扑结构以实现泛用性。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本领域技术人员可以理解，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
此外实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (7)

1.一种边缘云网络中测量实际可用带宽的方法，步骤包括：
S1在网络中选取并定义待测量机器和测量机器，并设置控制器；
S2控制器令待测量机器以测量带宽
Figure DEST_PATH_IMAGE002
向测量机器发送测试数据包，以获取测量机器的反馈带宽
Figure DEST_PATH_IMAGE004
；
S3 控制器根据
Figure DEST_PATH_IMAGE005
的反馈，以调整下一轮测试带宽
Figure DEST_PATH_IMAGE007
，直至逼近实际可用带宽的值，以获取实际带宽检测结果。
2.根据权利要求1所述的在边缘云网络中测量实际可用带宽的方法，其中步骤S2中控制器采用了双时间尺度的测量法令待测量机器发送测试数据包，其步骤包括：设定一长时间尺度为Fleet，短时间尺度为Stream，待测量机器在Fleet下向测量机器发送N个Stream，且每个Stream内以一定的时间间隔 T 发送 K 个大小为 L 的测试数据包。
3.根据权利要求2所述的在边缘云网络中测量实际可用带宽的方法，其中步骤S3中调整下一轮测试带宽
Figure DEST_PATH_IMAGE008
的步骤包括：在一个Fleet内，保持数据包的
Figure DEST_PATH_IMAGE010
大小不变的条件下，不断迭代修改每个Stream中测试数据包之间的发送时间间隔
Figure DEST_PATH_IMAGE012
。
4.一种边缘云网络中测量实际可用带宽的方法，步骤包括：
S1在网络中选取并定义待测量机器和测量机器，并设置控制器，其中控制器中设有策略单元，所述策略单元采用Actor-Critic架构的深度强化学习算法；
S2控制器令待测量机器以测量带宽
Figure 376278DEST_PATH_IMAGE002
向测量机器发送测试数据包，以获取测量机器的反馈带宽
Figure 11528DEST_PATH_IMAGE004
；
S3 控制器根据
Figure DEST_PATH_IMAGE013
与
Figure 932210DEST_PATH_IMAGE004
的反馈，经策略单元决策后调整下一轮测试带宽
Figure 45529DEST_PATH_IMAGE008
，直至逼近实际可用带宽的值，以获取实际带宽检测结果。
5.根据权利要求4所述的在边缘云网络中测量实际可用带宽的方法，其中步骤S2中控制器采用了双时间尺度的测量法令待测量机器发送测试数据包，步骤包括：设定一长时间尺度为Fleet，短时间尺度为Stream，待测量机器在Fleet下向测量机器发送N个Stream，且每个Stream内以一定的时间间隔 T 发送 K 个大小为 L 的测试数据包。
6.根据权利要求5所述的在边缘云网络中测量实际可用带宽的方法，其中步骤S3中调整下一轮测试带宽
Figure 328742DEST_PATH_IMAGE008
的步骤包括：在一个Fleet内，保持数据包的
Figure 885626DEST_PATH_IMAGE010
大小不变的条件下，策略单元根据
Figure 621501DEST_PATH_IMAGE013
与
Figure 538510DEST_PATH_IMAGE004
的反馈作出对应决策，以不断迭代修改每个Stream中测试数据包之间的发送时间间隔
Figure 676230DEST_PATH_IMAGE012
。
7.根据权利要求6所述的在边缘云网络中测量实际可用带宽的方法，其中策略单元的决策步骤包括：
S30以马尔科夫决策过程定义T值调整决策，以设定：
状态空间
Figure DEST_PATH_IMAGE015
：其中对于第
Figure DEST_PATH_IMAGE017
个stream，其状态定义为
Figure DEST_PATH_IMAGE019
，且
Figure DEST_PATH_IMAGE020
指定为当前测试网络中已使用的带宽
Figure DEST_PATH_IMAGE022
；
动作空间
Figure DEST_PATH_IMAGE024
：其中第
Figure 122124DEST_PATH_IMAGE017
个stream的动作空间定义为
Figure DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE029
的取值范围是
Figure DEST_PATH_IMAGE031
，其中其中
Figure DEST_PATH_IMAGE033
是待测量机器的瓶颈带宽；
奖赏函数
Figure DEST_PATH_IMAGE035
：其中对于第
Figure 922458DEST_PATH_IMAGE017
个stream，此时的状态空间为
Figure 128312DEST_PATH_IMAGE020
，算法在该状态空间下计算的出的动作为
Figure 120539DEST_PATH_IMAGE026
，此时控制器在执行动作
Figure 268492DEST_PATH_IMAGE029
后会产生新的下一时刻的状态
Figure DEST_PATH_IMAGE037
， 而奖赏函数
Figure 447801DEST_PATH_IMAGE035
用来评估算法的决策
Figure DEST_PATH_IMAGE038
对测试产生影响的好坏并计算出具体的奖赏值
Figure DEST_PATH_IMAGE040
，其中对于第
Figure 378716DEST_PATH_IMAGE017
个stream，奖赏函数设置为：
Figure DEST_PATH_IMAGE042
；
状态转移概率
Figure DEST_PATH_IMAGE044
：表示在状态
Figure DEST_PATH_IMAGE045
下执行动作
Figure 350084DEST_PATH_IMAGE026
后，状态空间转移到
Figure DEST_PATH_IMAGE047
的概率；
S31 Actor将状态
Figure DEST_PATH_IMAGE048
输入至确定性策略网络
Figure DEST_PATH_IMAGE050
生成动作
Figure DEST_PATH_IMAGE051
；
S32 控制器执行动作
Figure DEST_PATH_IMAGE053
并产生奖赏值
Figure DEST_PATH_IMAGE055
和新的状态
Figure DEST_PATH_IMAGE057
；
S33将S31-S32两步过程产生的训练数据
Figure DEST_PATH_IMAGE059
存储至经验池RelayBuffer；
S34从RelayBuffer中随机抽取的
Figure DEST_PATH_IMAGE061
组数据分别输入到Actor和Critic进行训练，并按照奖励值从小到大排序，选择预设范围内的数据作为最终输入；
S35将选定的数据分别输入至Actor和Critic以更新网络参数
Figure DEST_PATH_IMAGE063
和
Figure DEST_PATH_IMAGE065
，从而不断迭代至算法收敛。
CN202210436495.7A 2022-04-22 2022-04-22 一种边缘云网络中测量实际可用带宽的方法 Pending CN114584494A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210436495.7A CN114584494A (zh) 2022-04-22 2022-04-22 一种边缘云网络中测量实际可用带宽的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210436495.7A CN114584494A (zh) 2022-04-22 2022-04-22 一种边缘云网络中测量实际可用带宽的方法

Publications (1)

Publication Number Publication Date
CN114584494A true CN114584494A (zh) 2022-06-03

Family

ID=81783996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210436495.7A Pending CN114584494A (zh) 2022-04-22 2022-04-22 一种边缘云网络中测量实际可用带宽的方法

Country Status (1)

Country Link
CN (1) CN114584494A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116055364A (zh) * 2023-03-06 2023-05-02 湖南快乐阳光互动娱乐传媒有限公司 一种测量最大上行带宽的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113179175A (zh) * 2021-03-16 2021-07-27 国家电网有限公司信息通信分公司 一种电力通信网业务的实时带宽预测方法及装置
CN113904948A (zh) * 2021-11-12 2022-01-07 福州大学 基于跨层的多维参数的5g网络带宽预测系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113179175A (zh) * 2021-03-16 2021-07-27 国家电网有限公司信息通信分公司 一种电力通信网业务的实时带宽预测方法及装置
CN113904948A (zh) * 2021-11-12 2022-01-07 福州大学 基于跨层的多维参数的5g网络带宽预测系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SUKHPREET KAUR KHANGURA AND SAMI AKIN: "Measurement-based Online Available Bandwidth Estimation employing Reinforcement Learning", 31ST INTERNATIONAL TELETRAFFIC CONGRESS (ITC 31), 1 August 2019 (2019-08-01), pages 1 *
SUKHPREET KAUR KHANGURA AND SAMI AKIN: "Measurement-Based_Online_Available_Bandwidth_Estimation_Employing_Reinforcement_Learning", 2019 31ST INTERNATIONAL TELETRAFFIC CONGRESS（ITC 31）, 1 August 2019 (2019-08-01), pages 1 *
强彦: "人工智能算法实例集锦(Python)语言", 31 March 2022, pages: 272 *
熊金潮: "空地宽带链路网络带宽测量技术研究与实现", 中国优秀硕士学位论文全文数据库, 15 March 2022 (2022-03-15), pages 14 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116055364A (zh) * 2023-03-06 2023-05-02 湖南快乐阳光互动娱乐传媒有限公司 一种测量最大上行带宽的方法和装置

Similar Documents

Publication Publication Date Title
CN109768940B (zh) 多业务sdn网络的流量分配方法及装置
CN111629380B (zh) 面向高并发多业务工业5g网络的动态资源分配方法
Bhattacharyya et al. QFlow: A reinforcement learning approach to high QoE video streaming over wireless networks
WO2018095300A1 (zh) 网络控制方法、装置及系统、存储介质
CN112437020A (zh) 一种基于深度强化学习的数据中心网络负载均衡方法
CN113966596B (zh) 用于数据流量路由的方法和设备
Chen et al. Albrl: Automatic load-balancing architecture based on reinforcement learning in software-defined networking
CN111865781A (zh) 用于路径优化的方法、设备和计算机程序产品
CN113114581A (zh) 基于多智能体深度强化学习的tcp拥塞控制方法及装置
CN114584494A (zh) 一种边缘云网络中测量实际可用带宽的方法
Wette et al. DCT2Gen: A traffic generator for data centers
Xu et al. Reinforcement learning-based mobile AR/VR multipath transmission with streaming power spectrum density analysis
CN111211988B (zh) 面向分布式机器学习的数据传输方法及系统
Zheng et al. Enabling robust DRL-driven networking systems via teacher-student learning
GB2603852A (en) Performing network congestion control utilizing reinforcement learning
Ashok et al. iBox: Internet in a Box
CN117082008B (zh) 虚拟弹性网络数据传输调度方法、计算机装置及存储介质
Bhattacharyya et al. QFlow: A learning approach to high QoE video streaming at the wireless edge
Xu et al. PnP-DRL: A plug-and-play deep reinforcement learning approach for experience-driven networking
CN116320620A (zh) 基于个性化联邦强化学习的流媒体比特率自适应调整方法
CN110971451B (zh) Nfv资源分配方法
CN114866489A (zh) 拥塞控制方法和装置及拥塞控制模型的训练方法和装置
Zheng et al. Leveraging domain knowledge for robust deep reinforcement learning in networking
Haider et al. PID based congestion control algorithms for AQM routers supporting TCP/IP flows
Luo et al. A novel Congestion Control algorithm based on inverse reinforcement learning with parallel training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination