CN116455835A - 一种自适应队列网络服务质量管理方法及系统 - Google Patents
一种自适应队列网络服务质量管理方法及系统 Download PDFInfo
- Publication number
- CN116455835A CN116455835A CN202310467299.0A CN202310467299A CN116455835A CN 116455835 A CN116455835 A CN 116455835A CN 202310467299 A CN202310467299 A CN 202310467299A CN 116455835 A CN116455835 A CN 116455835A
- Authority
- CN
- China
- Prior art keywords
- value
- queue
- network
- acquiring
- congestion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 39
- 238000013468 resource allocation Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 230000009471 action Effects 0.000 claims description 25
- 230000003044 adaptive effect Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 abstract description 7
- 230000002787 reinforcement Effects 0.000 description 11
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000009616 inductively coupled plasma Methods 0.000 description 3
- 235000010384 tocopherol Nutrition 0.000 description 3
- 235000019731 tricalcium phosphate Nutrition 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003326 Quality management system Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/76—Admission control; Resource allocation using dynamic resource allocation, e.g. in-call renegotiation requested by the user or requested by the network in response to changing network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
- H04L47/626—Queue scheduling characterised by scheduling criteria for service slots or service orders channel conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/80—Actions related to the user profile or the type of traffic
- H04L47/805—QOS or priority aware
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种自适应队列网络服务质量管理方法及系统，所述方法包括：将初始数据输入至初始资源分配模型中，获取最大丢弃概率值和队列长度值；根据所述队列长度值和所述最大丢弃概率值生成第一队列；根据所述第一队列获取对应的第一队列长度值；根据所述第一队列长度值获取当前拥塞值；根据所述拥塞值分配网络资源；判断所述当前拥塞值是否变化；若是，则为所述拥塞值对应的所述第一队列重新分配网络资源。达到了在检测到NP状态发生改变时，使用初始资源分配模型获取到新状态下较优的队列最大丢弃概率和权重，通过配置这两个参数可以得到较低的丢包率，优化网络的网络服务质量的目的。
Description
技术领域
本发明涉及互联网技术领域，尤其涉及一种自适应队列网络服务质量管理方法及系统。
背景技术
随着自动驾驶汽车、远程医疗、数字媒体等对时间敏感的应用的不断发展，越来越多的网络服务对低延迟和低丢包率提出了更高的要求。主动队列管理和队列调度算法是实现网络服务质量(Quality of Service，QoS)的核心机制，是网络资源管理的重要内容。主动队列管理算法实现网络拥塞控制的重要手段，能够更有效的对不同类型的流量做出拥塞控制，为到达的分组分配存储空间，并在适当的时候选择丢弃一些分组来控制队列长度。避免输出到某一队列的报文占据过多的资源，影响其他队列或者端口的转发。队列调度算法通过控制不同类型的分组对链路带宽的使用，使不同的数据流得到不同等级的服务。流量根据划分标准和粒度的不同，可以有多种类型，以长短流为例，长流的数量较少但占用了大量网络带宽资源，短流的数量很多但占用带宽的资源较少，此时，如果网络处理器(NetworkProcessor，NP)以相同的方式对长短流进行调度，短流会因为长流占用大量带宽而无法得到及时交付，所以NP队列调度需要针对不同情况采用适当的策略以保证QoS。
近些年，研究者多在可编程数据层面进行研究。在可编程交换机中，P4编程语言可以用于实现可编程报文主动管理，根据报文的优先级调整报文在队列中的顺序，确保高优先级队列数据包优先传输，主要包括推入先出(Push-In First-Out，PIFO)队列、SP-PIFO队列，AIFO队列。SP-PIFO使用多个严格优先级队列，动态调整数据包等级和各队列之间的映射。AIFO仅需使用单个先进先出队列，通过维护一个滑动窗口来追踪最新数据包的等级并计算到达数据包在窗口中的相对等级以进行接纳控制。SP-PIFO和AIFO在模拟中均取得接近于PIFO的结果。
同时，随着强化学习算法的发展，将强化学习原则应用于队列管理与队列调度有着良好的发展前景。Bouacida N，Shihada B为了设计高效的队列管理方案提出LearnQueue，一种新的强化学习设计，使用复杂的奖励结构快速智能的适应网线环境的变化，达到延时和吞吐量性能的折中。Huihui Ma,Du Xu等人利用新兴的深度强化学习技术来研究主动队列管理方案，称为DRL-AQM，DRL-AQM是一种无模型的方法，使得主动队列管理算法能够学习最佳的丢弃策略，设计的奖励能够得到低损失率、低队列延时及高吞吐量的解决方案。寸天睿提出一种队列轮询权重自适应的方法，使用强化学习算法，对路由器等网络转发节点选择下一次进行数据分组转发的队列，较好地满足不同类型数据分组的QoS需求。Mian Guo等人提出由两个独立的并行算法(包括动态权重最早截止时间优先和强化学习)组成的调度方案，称为DWEDF-RL，解决了混合了重尾流和轻尾流的队列系统中的延迟最优调度问题。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种自适应队列网络服务质量管理方法及系统，其解决了当队列调度需要针对不同情况采用适当的策略时，以保证网络服务质量的技术问题。
(二)技术方案
为了达到上述目的，本发明的第一方面提供了一种自适应队列网络服务质量管理方法。
本发明的第二方面提供了一种自适应队列网络服务质量管理系统。
有鉴于此，根据本申请实施例的第一方面提出了一种自适应队列网络服务质量管理方法，所述方法包括：
将初始数据输入至初始资源分配模型中，获取最大丢弃概率值和队列长度值；
根据所述队列长度值和所述最大丢弃概率值生成第一队列；所述第一队列中包括若干个数据包；
根据所述第一队列获取对应的第一队列长度值；所述第一队列长度值为所述第一队列中所述数据包的数量；
根据所述第一队列长度值获取当前值；
根据所述拥塞值分配网络资源；
判断所述当前的所述拥塞值是否变化；
若是，则为所述拥塞值对应的所述第一队列重新分配网络资源：
若否，则不为所述拥塞值对应的所述第一队列重新分配网络资源。
在一种实现方式中，根据所述拥塞值分配网络资源，具体步骤包括：
根据所述拥塞值配置权重值；所述拥塞值与所述权重值的数值相对应；
根据所述权重值分配网络资源。
在一种实现方式中，所述初始资源分配模型通过算法实现，所述算法的具体步骤包括：
对模型保存文件和回放缓冲区进行初始化；
判断所述模型保存文件是否存储所述初始资源分配模型；
若是，则根据模型保存文件获取所述初始资源分配模型；
若否，则初始化所述第一队列的调度环境；
获取所述调度环境的状态值和随机噪声；
根据所述最大丢弃概率、所述权重值和随机噪声生成动作值；
根据所述动作值获取奖励值和所述调度环境的下一状态值；
根据所述状态值、所述动作值、所述奖励值和所述下一状态值生成四元组；
将所述四元组存储至回放缓冲区生成计数值；
判断所述计数值是否大于预设阈值；
若是，则进行DDPG学习；
若否，获取所述初始资源分配模型的步骤数量。
在一种实现方式中，获取所述初始资源分配模型的步骤数量之后还包括：
判断所述步骤数量是否小于预设步骤阈值；
若是，则再次根据所述最大丢弃概率、所述权重值和随机噪声生成动作值，直至所述步骤数量大于预设步骤阈值；
若否，则保存所述初始资源分配模型。
在一种实现方式中，判断所述模型保存文件是否存储所述初始资源分配模型的步骤包括：
若是，则根据模型保存文件获取所述初始资源分配模型。
在一种实现方式中，获取所述调度环境的状态值采用下列公式：
S＝[queue_all_cnt0，queue_all_cnt1，…，queue_all_cntN-1]
其中，queue-all-cnti是端口队列i的拥塞值。
在一种实现方式中，根据所述最大丢弃概率、所述权重值和随机噪声生成动作值采用下列公式：
A＝[a0，w0，a1，w1，...，aN-1，wN-1]，ai∈D，wi∈W
其中，D，W分别表示队列最大丢弃概率和队列权重的取值范围。
根据本申请实施例的第二方面提出了一种监测系统，包括：主动队列管理模块和队列调度模块；
所述主动队列管理模块被配置为：将初始数据输入至初始资源分配模型中，获取最大丢弃概率值和队列长度值；根据所述队列长度值和所述最大丢弃概率值生成第一队列；
所述队列调度模块被配置为：根据所述第一队列获取对应的第一队列长度值，根据所述第一队列长度值获取当前拥塞值；根据所述拥塞值分配网络资源；判断所述当前拥塞值是否变化；若是，则为所述拥塞值对应的所述第一队列重新分配网络资源。
根据本申请实施例的第三方面提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述一种自适应队列网络服务质量管理方法的步骤。
根据本申请实施例的第四方面提出了一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述一种自适应队列网络服务质量管理方法的步骤。
(三)有益效果
本发明的有益效果是：
本发明提供的一种自适应队列网络服务质量管理方法及系统，由于网络中的流量情况不断发生改变，使得相同的环境参数设置不能取得较优的效果。同时，由于经验数据的不足，人为修改也无法适应网络的变化。通过本申请训练得到一个收敛的初始资源分配模型，可以在检测到NP状态发生改变时，使用初始资源分配模型获取到新状态下较优的队列最大丢弃概率和权重，通过配置这两个参数可以得到较低的丢包率，优化网络的网络服务质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的获得其他的附图。
图1为本申请提供的一种自适应队列网络服务质量管理方法及系统的流程图；
图2为本申请提供的一种自适应队列网络服务质量管理方法及系统中初始资源分配模型通过算法实现的流程图；
图3为本申请提供的一种自适应队列网络服务质量管理方法及系统的算法图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
传统的丢包策略采用尾部丢弃(Tail-Drop)的方法。当队列的长度达到最大值后，所有新到来的报文都将被丢弃，这种丢弃策略会引发TCP全局同步现象。为避免TCP全局同步现象，RED算法最先应用主动队列管理思想，但是RED算法的性能对控制参数和网络流量负载的变化非常敏感，在特定的网络负载状况下依然会导致多个TCP的同步，造成队列震荡，吞吐量降低和时延抖动加剧。RED算法的公平性和稳定性也存在问题。WRED是将随机先期检测与优先级排队结合起来，这种结合为高优先级分组提供了优先通信处理能力。当某个接口开始出现拥塞时，它有选择地丢弃较低优先级的通信，而不是简单地随机丢弃分组，因此WRED算法在NP中得到了广泛的应用。但是，WRED算法在面对不同的网络环境时，需要通过配置不同的参数来达到优化QoS的目的。传统的基于模型的主动队列管理算法总是基于某些简单的假设，而这些假设会带来严重的不准确性。并且其参数固定，不能根据网络环境的变化动态配置，这会损害网络性能。因此这些问题都促使我们寻找一种模型自由且根据网络环境变化而实时动态配置参数的解决方案。
传统的队列调度方案中，SP可以保证高优先级队列中的报文可以得到较大带宽、较低的时延，但是其无法保证低优先级队列中的报文的调度情况，甚至得不到调度，即会出现“饿死”现象。FQ及其扩展方案需要为队列配置权重，在配置合适的权重后，如果网络环境发生改变，当前已配置的权重无法做出相应改变，可能会造成某些队列较高的丢包率或时延。可编程数据包调度使调度算法能够在不改变硬件的情况下在数据平面进行编程，PIFO是目前的主要趋势，但是，由于受各种因素的限制，并未在NP中广泛应用。
基于强化学习算法的主动队列管理与队列调度方法虽然可以根据当前流量情况进行合适的配置，从而降低数据包延时和数据包丢弃率，但是其应用场景受限，因为强化学习算法适用于离散空间。网络中的流量是动态变化的，这使得NP的状态不断发生改变，当其状态发生改变时，队列配置的权重也要进行对应的调整，即需要进行连续控制，但是强化学习算法无法解决连续控制问题。同时，当状态空间或者动作空间设置过大时(例如需要配置的队列数量过多、参数取值范围较大)，强化学习也无法进行求解。
本申请为解决现有技术中，由于真实网络中的流量是多变的，并且流量的变化是不可预测的，如果采用固定的队列丢弃概率与队列权重值，当网络情况发生变化时，无法做出响应，可能会造成高时延或者高丢包率，这会使得网络提供的QoS下降，严重影响用户的体验的问题。基于以上原因，本申请提供了一种自适应队列网络服务质量管理方法及系统。
下面结合具体的实施例对本发明的方法及系统作进一步的阐述。
第一方面，如图1所示，本申请提供了一种自适应队列网络服务质量管理方法，所述方法包括：
S100，将初始数据输入至初始资源分配模型中，获取最大丢弃概率值和队列长度值；
如图2所示，在步骤S100中，所述初始资源分配模型通过算法实现，具体步骤包括：
S101，初始化模型保存文件和回放缓冲区；
在步骤S101中，初始化模型保存文件，且随机初始化critic网络和actor网络，初始化目标critic网络和目标actor网络。在初始化阶段，四个网络使用相同的网络权重参数。
S102，判断所述模型保存文件是否存储所述初始资源分配模型；
在步骤S102中，判断模型保存文件中是否存储初始资源分配模型，也就是检查模型保存文件中是否有已经训练过的初始资源分配模型。
S103，若是，则根据模型保存文件获取所述初始资源分配模型。
在步骤S102中，若模型保存文件中已经有训练过的初始资源分配模型，那么可以直接使用该初始资源分配模型。
S104，若否，则初始化所述第一队列的调度环境；
在步骤S104中，若模型保存文件中没有存储初始资源分配模型，那么需要初始化第一队列的调度环境。
S105，获取所述调度环境的状态值和随机噪声；
在步骤S105中，获取所述调度环境的状态值采用下列公式：
S＝|queue_all-cnt0，queue_all_cnt1，…，queue_all_cntN-1]
其中，queue_all_cnti是端口队列i的拥塞值，其取值是一个二值变量。
在实际应用场景中，由队列保证cell空间queue_mini、队列共享空间queue-sharei以及队列拥塞cell数量all_cnti共同决定，因此采用下列公式：
S106，根据所述最大丢弃概率、所述权重值和所述随机噪声生成动作值；
在步骤S106中，根据所述最大丢弃概率、所述权重值和随机噪声生成动作值采用下列公式：
A＝[ac，w0，a1，w1，...，aN-1，wN-1]，ai∈D，wi∈W
其中，D，W分别表示队列最大丢弃概率和队列权重的取值范围。
在实际应用场景中，通过设置第一队列的最大丢弃概率和队列权重来降低数据包的丢弃率，所以本申请的动作值考虑使用以上两个参数的混合表示。
S107，根据所述动作值获取奖励值和所述调度环境的下一状态值；
在实际应用场景中，由于在DDPG算法中，智能体从NP中获得其当前状态值st，将状态值st输入actor eval网络，得到动作值at，在at上增加一个随机扰动并输入至环境之中，得到奖励值rt和下一状态值st+1。其中，为解决丢包率浮动造成初始资源分配模型无法收敛的问题，引入长度固定为L的奖励数组和惩罚数组计算动作值的奖励值。首先，我们按降序填充满奖励数组，以丢包率的插入位置(数组下标加一)作为奖励，即给予动作一个正值奖励；然后，我们按升序填充满惩罚数组，以丢包率的插入位置的取反值作为奖励，即给予动作一个负值奖励。两数组填充满后，新的丢包率的插入位置根据其与两数组首位元素数值的差异值比较确定，即如果新丢包率更接近于奖励数组的首位元素，则插入至奖励数组，反之，插入至惩罚数组。根据配置新的权重后一段时间内的端口丢包率的平均值确定奖励R，且奖励函数采用下列公式：
其中，position+1表示奖励值插入的数组下标，-(position+1)表示惩罚插入的数组下标。
S108，根据所述状态值、所述动作值、所述奖励值和所述下一状态值生成四元组；
在实际应用场景中，根据之前计算出的状态值、动作值、奖励值和下一状态值生成四元组(st，at，rt，st+1)。
S109，将所述四元组存储至回放缓冲区生成计数值；
在实际应用场景中，需要将四元组(st，at，rt，st+1)存储至初始化后的回放缓冲区中，每当回放缓冲区存入一组四元组，那么计数值就加1。
S110，判断所述计数值是否大于预设阈值；
在步骤S110中，判断所述计数值是否大于预设阈值的步骤包括：
S111，若否，获取所述初始资源分配模型的步骤数量；
判断所述步骤数量是否小于预设步骤阈值；
若是，则再次根据所述最大丢弃概率、所述权重值和随机噪声生成动作值，直至所述步骤数量大于预设步骤阈值。
若否，则保存所述初始资源分配模型。
在实际应用场景中，如果计数值小于预设阈值，那么就需要判断当前的步骤是否大于预设步骤阈值，也就判断是否满足保存初始资源分配模型的步数要求，如果没满足保存初始资源分配模型的步数要求，则再次根据最大丢弃概率、权重值和随机噪声生成动作值，根据动作值获取奖励值和调度环境的下一状态值，根据状态值、动作值、奖励值和下一状态值生成四元组，将四元组存储至回放缓冲区生成计数值，再次判断计数值是否大于预设阈值，直至步骤数量大于预设步骤阈值。
S112，若是，则进行DDPG学习。
在实际应用场景中，需要先初始化各项参数配置，再将初始数据输入至初始资源分配模型中，获取队列的长度值时，由于各个队列的长度值不同，所以需要分别获取各个队列的长度值，与此同时，还要获取最大丢弃概率值。
S200，根据所述队列长度值和所述最大丢弃概率值生成第一队列；
在实际应用场景中，需要通过最大丢弃概率值来选择是否将数据包丢弃，若当前数据包未被丢弃，则将其存入到队列中，将所有未被丢弃的数据包均存入队列后，该队列为第一队列。
S300，根据所述第一队列获取对应的第一队列长度值；
在实际应用场景中，通过最大丢弃概率值来选择将一部分数据包丢弃后，需要获取第一队列中存储的数据包数量，当前数据包的数量为该第一队列的长度值。
S400，根据所述第一队列长度值获取当前拥塞值；
在实际应用场景中，通过第一队列长度来确定当前第一队列的拥塞值，若当前第一队列的长度过长，则当前的拥塞值表示为与其长度对应的值，且具体的数值是一个大的数值，若第一队列的长度不长，则当前的拥塞值也表示为与其长度对应的值，且具体的数值是一个小的数值。
S500，根据所述拥塞值分配网络资源；
在步骤S500中，根据所述拥塞值分配网络资源，具体步骤包括：根据所述拥塞值配置权重值；根据所述权重值分配网络资源。
在实际应用场景中，根据判断好的拥塞值来为当前的第一队列分配权重值，后续在为第一队列分配网络资源时可以根据当前的权重值来分配，这样可以有效的避免资源冗余，将有限的网络资源更合理的进行分配。
S600，判断所述当前拥塞值是否变化；
在实际应用场景中，为了很好地适应NP网络环境的变化，以获得较低的丢包率，所以需要实时判断当前拥塞值是否变化。
S700，若是，则为所述拥塞值对应的所述第一队列重新分配网络资源。
在实际应用场景中，如果当前拥塞值发生变化，就需要判断当前队列中的数据包是增加还是减少，并根据当前的拥塞值重新配置权重值，再根据该权重值重新分配网络资源。
S800，若否，则不为所述拥塞值对应的所述第一队列重新分配网络资源。
在实际应用场景中，若当前拥塞值不发生变化，证明当前配置的网络资源也不需要改变，所以不用为拥塞值对应的第一队列重新分配网络资源。
第二方面，本申请提供了一种自适应队列网络服务质量管理系统，包括：主动队列管理模块和队列调度模块；
所述主动队列管理模块被配置为：将初始数据输入至初始资源分配模型中，获取最大丢弃概率值和队列长度值；根据所述队列长度值和所述最大丢弃概率值生成第一队列；
所述队列调度模块被配置为：根据所述第一队列获取对应的第一队列长度值，根据所述第一队列长度值获取当前拥塞值；根据所述拥塞值分配网络资源；判断所述当前拥塞值是否变化；若是，则为所述拥塞值对应的所述第一队列重新分配网络资源。
上述系统中在应用前述方法时的作用效果可参见前述方法实施例中的说明，在此不再赘述。
第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述一种自适应队列网络服务质量管理方法的步骤。
第四方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述一种自适应队列网络服务质量管理方法的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由本申请的权利要求指出。
Claims (9)
1.一种自适应队列网络服务质量管理方法，其特征在于，所述方法包括：
将初始数据输入至初始资源分配模型中，获取最大丢弃概率值和队列长度值；
根据所述队列长度值和所述最大丢弃概率值生成第一队列；所述第一队列中包括若干个数据包；
根据所述第一队列获取对应的第一队列长度值；所述第一队列长度值为所述第一队列中所述数据包的数量；
根据所述第一队列长度值获取当前拥塞值；
根据所述拥塞值分配网络资源；
判断当前的所述拥塞值是否变化；
若是，则为所述拥塞值对应的所述第一队列重新分配网络资源；
若否，则不为所述拥塞值对应的所述第一队列重新分配网络资源。
2.如权利要求1所述的一种自适应队列网络服务质量管理方法，其特征在于，根据所述拥塞情况分配网络资源的步骤包括：
根据所述拥塞值配置权重值；所述拥塞值与所述权重值的数值相对应；
根据所述权重值分配网络资源。
3.如权利要求2所述的一种自适应队列网络服务质量管理方法，其特征在于，所述初始资源分配模型通过算法实现，所述算法的具体步骤包括：
对模型保存文件和回放缓冲区进行初始化；
判断所述模型保存文件是否存储所述初始资源分配模型；
若是，则根据模型保存文件获取所述初始资源分配模型；
若否，则初始化所述第一队列的调度环境；
获取所述调度环境的状态值和随机噪声；
根据所述最大丢弃概率、所述权重值和所述随机噪声生成动作值；
根据所述动作值获取奖励值和所述调度环境的下一状态值；
根据所述状态值、所述动作值、所述奖励值和所述下一状态值生成四元组；
将所述四元组存储至回放缓冲区生成计数值；
判断所述计数值是否大于预设阈值；
若是，则进行DDPG学习；
若否，获取所述初始资源分配模型的步骤数量。
4.如权利要求3所述的一种自适应队列网络服务质量管理方法，其特征在于，获取所述调度环境的状态值采用下列公式：
S＝|queue_all-cnt0，queue_all_cnt1，…，queue_all_cntN-1]
其中，queue_all_cnti是端口队列i的拥塞值。
5.如权利要求3所述的一种自适应队列网络服务质量管理方法，其特征在于，根据所述最大丢弃概率、所述权重值和随机噪声生成动作值采用下列公式：
A＝[a0，w0，a1，w1，...，aN-1，wN-1]，ai∈D，wi∈W
其中，D,W分别表示队列最大丢弃概率和队列权重的取值范围。
6.如权利要求3所述的一种自适应队列网络服务质量管理方法，其特征在于，获取所述初始资源分配模型的步骤数量之后还包括：
判断所述步骤数量是否小于预设步骤阈值；
若是，则再次根据所述最大丢弃概率、所述权重值和随机噪声生成动作值，直至所述步骤数量大于预设步骤阈值；
若否，则保存所述初始资源分配模型。
7.一种自适应队列网络服务质量管理系统，其特征在于，包括：主动队列管理模块和队列调度模块；
所述主动队列管理模块被配置为：将初始数据输入至初始资源分配模型中，获取最大丢弃概率值和队列长度值；根据所述队列长度值和所述最大丢弃概率值生成第一队列；
所述队列调度模块被配置为：根据所述第一队列获取对应的第一队列长度值，根据所述第一队列长度值获取当前拥塞值；根据所述拥塞值分配网络资源；判断所述当前拥塞值是否变化；若是，则为所述拥塞值对应的所述第一队列重新分配网络资源。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述一种自适应队列网络服务质量管理方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述一种自适应队列网络服务质量管理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310467299.0A CN116455835A (zh) | 2023-04-26 | 2023-04-26 | 一种自适应队列网络服务质量管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310467299.0A CN116455835A (zh) | 2023-04-26 | 2023-04-26 | 一种自适应队列网络服务质量管理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116455835A true CN116455835A (zh) | 2023-07-18 |
Family
ID=87128524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310467299.0A Pending CN116455835A (zh) | 2023-04-26 | 2023-04-26 | 一种自适应队列网络服务质量管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116455835A (zh) |
-
2023
- 2023-04-26 CN CN202310467299.0A patent/CN116455835A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4490956B2 (ja) | ポリシー・ベースのサービス品質 | |
| Semeria | Supporting differentiated service classes: queue scheduling disciplines | |
| US6859438B2 (en) | Policy based quality of service | |
| US6940861B2 (en) | Data rate limiting | |
| US7257083B2 (en) | Method and apparatus for policy-based dynamic preemptive scheduling of data transmissions | |
| US20040196790A1 (en) | Method and system for managing traffic within a data communication network | |
| CN107454015B (zh) | 一种基于OF-DiffServ模型的QoS控制方法及系统 | |
| US10616126B2 (en) | Virtual CCAP downstream traffic scheduling | |
| Saidu et al. | A load-aware weighted round-robin algorithm for IEEE 802.16 networks | |
| Irazabal et al. | Dynamic buffer sizing and pacing as enablers of 5G low-latency services | |
| Alsahag et al. | Fair uplink bandwidth allocation and latency guarantee for mobile WiMAX using fuzzy adaptive deficit round robin | |
| Freitag et al. | Uplink scheduling with quality of service in IEEE 802.16 networks | |
| CN111371701A (zh) | 基于tdma的mac层队列调度方法 | |
| Liebeherr et al. | Rate allocation and buffer management for differentiated services | |
| Ramamurthy et al. | A multidimensional framework for congestion control in B-ISDN | |
| CN116455835A (zh) | 一种自适应队列网络服务质量管理方法及系统 | |
| Wang et al. | Integrating priority with share in the priority-based weighted fair queuing scheduler for real-time networks | |
| Liebeherr et al. | Buffer management and scheduling for enhanced differentiated services | |
| Bowen et al. | Bandwidth allocation for non-responsive flows with active queue management | |
| Wang et al. | A priority-based weighted fair queueing scheduler for real-time network | |
| Li et al. | RPQ: Resilient-Priority Queue Scheduling for Delay-Sensitive Applications | |
| Frantti et al. | Embedded fuzzy expert system for adaptive weighted fair queueing | |
| Chen et al. | Packet Scheduling Algorithm Based on Priority Adjustment in Wireless Sensor Networks | |
| Sankaran et al. | A combined delay and throughput proportional scheduling scheme for differentiated services | |
| Agharebparast et al. | Efficient fair queuing with decoupled delay-bandwidth guarantees |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |