CN116389375A - 一种面向直播视频流的网络队列管理方法、设备及路由器 - Google Patents

一种面向直播视频流的网络队列管理方法、设备及路由器 Download PDF

Info

Publication number
CN116389375A
CN116389375A CN202310282294.0A CN202310282294A CN116389375A CN 116389375 A CN116389375 A CN 116389375A CN 202310282294 A CN202310282294 A CN 202310282294A CN 116389375 A CN116389375 A CN 116389375A
Authority
CN
China
Prior art keywords
video stream
network
queuing delay
reinforcement learning
queue management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310282294.0A
Other languages
English (en)
Inventor
杨鹏
冯清璇
黄芷璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202310282294.0A priority Critical patent/CN116389375A/zh
Publication of CN116389375A publication Critical patent/CN116389375A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/28Flow control; Congestion control in relation to timing considerations
    • H04L47/283Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/29Flow control; Congestion control using a combination of thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/32Flow control; Congestion control by discarding or delaying data units, e.g. packets or frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling
    • H04L47/56Queue scheduling implementing delay-aware scheduling

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种面向直播视频流的网络队列管理方法、设备及路由器,属于网络拥塞控制领域,包括:当数据包出队时,若其排队时延不超过对应的排队时延阈值,则转发,否则,丢弃;以及按照预设的时间间隔执行:计算各视频流在当前时间间隔内的达到速率以及平均排队时延,输入至强化学习网络,得到网络输出的动作,用于描述视频流的丢包概率与排队时延的比例关系;根据该动作计算并更新各视频流的排队时延阈值;计算当前的奖励值并反馈给强化学习网络,以最大化累计奖励值为优化目标进行网络参数更新;到达速率越接近理想到达速率、往返时延越小时,奖励值越大。本发明能在缓解瓶颈节点拥塞状态的同时,降低排队时延,提高直播视频流的实时性。

Description

一种面向直播视频流的网络队列管理方法、设备及路由器
技术领域
本发明属于网络拥塞控制领域,更具体地,涉及一种面向直播视频流的网络队列管理方法、设备及路由器。
背景技术
随着移动通信和多媒体技术的快速发展,视频流量正在急速增长,目前在互联网流量中占比已超过70%。与此同时,网络链路拥塞也变得越来越严重。在视频直播场景中,由于视频数据是在源端实时采集生成的,无法提前缓存或传输,为了用户能够流畅地观看视频,直播对数据传输的实时性有着严格要求。此外,一些直播软件考虑用户希望看到最新的内容,在用户端与源端之间的延迟较大时可能会放弃落后的内容,直接从最新的画面开始播放。当链路发生拥塞时,数据包的时延将大大增加,其中排队时延占据主要部分,因此视频数据传输的实时性无法得到保障,甚至会导致部分视频数据即使到达用户端也不会被播放,不仅严重影响直播用户的观看体验,还造成带宽资源的浪费。
直播视频流的数据包从源端发送至用户端的过程中,需要经过一系列用于转发数据包的节点(通常是路由器),当数据包到达这些节点时,会先被缓存到节点内的缓冲区中,并通过队列进行组织,位于队首的数据包将依次被取出并转发。当节点接收的数据量超过了其数据转发能力时,该节点将成为瓶颈节点。部署于瓶颈节点上的网络队列管理算法通过主动丢弃数据包来缓解瓶颈节点的拥塞。然而,现有技术极少考虑上层应用的特性,通常设计一个固定的策略来丢弃数据包,例如,在专利文件CN113037697A中,当数据包往返时延大于预设往返时延阈值时,判断网络状态信息满足网络拥堵条件。基于固定策略在网络拥塞时丢弃数据包,能够有效缓解网络的拥堵情况,但是,其参数配置无法实时更改,并且对异构流无任何区分。在直播场景下,这种固定的丢包策略难以同时满足每条视频流的高实时性要求,而且对变化多样的网络环境的适应能力不足。
专利文件CN108965151A中提到,仅利用静态的阈值判断网络拥塞的情况,无法为高度变化和复杂的数据中心网络提供精确的拥塞反馈信息,同时不适用于多队列的调度方案,也无法区分多个不同的优先级队列。相应地,该文件中提出了一种基于排队时延的显式拥塞控制方法,该方法在接收端根据端到端(发送端到接收端)排队时延动态地计算新的阈值,可以有效地处理应用和网络状态的变化带来的拥塞,并基于不同应用的平均排队时延,为不同优先级的应用提供差异化的阈值。但是,该方法所计算的动态阈值,只能作为后一传输轮次的判断依据,存在一定的滞后性,仍然无法满足直播对于实时性的要求,而且,其中阈值的更新计算以端到端时延为基础,仅能适应网络整体的状态,而无法根据当前视频流的状态灵活调整阈值。
总体而言,如何根据当前视频流的状态灵活调整丢包策略具有重要意义。
发明内容
针对现有技术的缺陷和改进需求,本发明提供了一种面向直播视频流的网络队列管理方法、设备及路由器,其目的在于,在缓解瓶颈节点拥塞状态的同时,降低排队时延,提高直播视频流的实时性。
为实现上述目的,按照本发明的一个方面,提供了一种面向直播视频流的网络队列管理方法,包括:排队时延阈值更新步骤和数据包管理步骤;
排队时延阈值更新步骤包括按照预设的时间间隔执行以下步骤:
(S1)计算各视频流在当前时间间隔内的达到速率以及平均排队时延作为视频流的状态输入至强化学习网络,使强化学习网络输出相应的动作;动作用于描述视频流的丢包概率与排队时延的比例关系;
(S2)根据强化学习网络输出的动作计算并更新各视频流的排队时延阈值;
(S3)计算当前的奖励值并反馈给强化学习网络,以最大化累计奖励值为优化目标对强化学习网络的参数进行更新;奖励值与视频流的到达速率和往返时延相关,且到达速率越接近理想到达速率、往返时延越小时,奖励值越大;
数据包管理步骤包括:当数据包出队时,若其排队时延不超过其所属视频流当前的排队时延阈值,则转发该数据包;否则,丢弃该数据包。
进一步地,在步骤(S2)和步骤(S3)之间还包括:判断强化学习网络是否收敛,若是,则等待直至当前时间间隔结束;若否,则转入步骤(S3)。
进一步地,步骤(S2)包括:
对于任意第i条视频流,按照
Figure BDA0004138485820000031
计算该视频流的理想达到速率/>
Figure BDA0004138485820000032
并按照
Figure BDA0004138485820000033
计算系数K,之后按照/>
Figure BDA0004138485820000034
计算该视频流的排队时延阈值/>
Figure BDA0004138485820000035
其中,I为视频流总数,C为链路总带宽,k表示强化学习模型输出的动作;τi表示第i条视频流当前的往返时延,si(t)表示第i条视频流当前的实际到达速率。
进一步地,奖励值的计算公式为:
Figure BDA0004138485820000036
其中,R表示奖励值,si表示第i条视频流的实际到达速率,
Figure BDA0004138485820000037
表示第i条视频流的理想到达速率,λ表示实际到达速率偏移量的系数。
进一步地,
Figure BDA0004138485820000041
其中,e为自然底数。
进一步地,数据包所属的视频流依据该数据包包头中的五元组信息判断,五元组信息相同的数据包属于同一条视频流。
进一步地,强化学习网络为DDPG网络。
按照本发明的又一个方面,提供了一种面向直播视频流的网络队列管理设备,包括:
计算机可读存储介质,用于存储计算机程序;
以及处理器,用于读取计算机可读存储介质中的计算机程序,执行本发明提供的上述面向直播视频流的网络队列管理方法。
按照本发明的又一个方面,提供了一种路由器,包括本发明提供的上述面向直播视频流的网络队列管理设备。
总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
(1)本发明按照预设的时间间隔,借助强化学习网络完成各个视频流的排队时延阈值的动态更新,并主动丢弃超过排队时延阈值的数据包,由于强化学习网络的输入为各视频流在当前时间间隔内的达到速率以及平均排队时延,输出的动作为排队时延阈值计算的关键参数,即视频流的丢包概率与排队时延的比例,奖励值与视频流的到达速率和往返时延相关,且到达速率越接近理想到达速率、往返时延越小时,奖励值越大,因此,本发明针对各个视频流所计算的排队时延阈值与相应视频流当前的状态相适应,基于该排队时延阈值丢弃排队时延过长的数据包,能够有效缓解瓶颈节点拥塞状态,降低排队时延,同时尽可能满足各个视频流的实时性要求。
(2)在本发明的优选方案中,在强化学习网络收敛时,则仅利用强化学习网络输出的动作进行各视频流排队时延阈值的动态更新,而不再计算奖励值,也不再进行强化学习网络的参数更新,由此能够在保证排队时延阈值的计算精度的同时,减小计算量,并防止强化学习网络过拟合。
(3)在本发明的优选方案中,按照
Figure BDA0004138485820000051
计算各视频流的排队时延阈值,其中的K为根据强化学习网络输出的动作k计算的系数,该排队时延阈值计算公式是在流体模型的基础上分析得出的,基于该计算公式,在利用强化学习网络输出的动作计算各视频流的排队时延阈值时,能够提高计算精度。
(4)在本发明的优选方案中,具体按照
Figure BDA0004138485820000052
计算奖励值,该计算公式全面反映了当前时间间隔内所有视频流的网络性能综合指标,以此作为奖励值的计算公式,能够通过网络队列管理使得网络性能最优化。在其进一步优选的方案中,λ采用双曲正切函数形式,其取值随实际到达速率偏移量的变化而变化,即/>
Figure BDA0004138485820000053
e为自然底数,通过这种方式计算奖励值中的系数λ,能够较好地满足达速率越接近理想到达速率、往返时延越小时奖励值越大的变化趋势。
(5)本发明根据数据包包头中的五元组信息作为所属视频流的标识,能够较为准确、快速地识别不同视频流,并根据不同视频流的状态灵活进行网络队列管理。
(6)在本发明的优选方案中,强化学习网络具体为DDPG(Deep DeterministicPolicy Gradient,深度确定性策略梯度)网络,该网络可以解决连续性控制问题,可以较好应用于视频流场景下,并且,DDPG网络最终确定地只输出一个动作,本发明中,每个时间间隔内,视频流的丢包概率与排队时延的比例这一参数为各视频流所共享,因此,将该参数作为强化学习网络输出的动作时,具体采用DDPG能够较为准确地完成相关信息的预测。
附图说明
图1为本发明实施例提供的面向直播视频流的网络队列管理方法流程图;
图2为现有的DDPG网络结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中,本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
为了解决现有的网络队列管理方法不能根据当前视频流的状态灵活调整,无法较好地满足直播视频流的实时性要求的技术问题,本发明提供了一种面向直播视频流的网络队列管理方法、设备及路由器,其整体思路在于:根据各个视频流当前的状态,动态地计算各个视频流所对应的理想排队时延阈值,并主动地丢弃排队时延超过了相应排队时延阈值的数据包。
以下为实施例。
实施例1:
一种面向直播视频流的网络队列管理方法,如图1所示,包括:排队时延阈值更新步骤和数据包管理步骤;其中,排队时延阈值更新步骤用于根据各个视频流当前的状态,动态地计算各个视频流所对应的理想排队时延阈值;数据包管理步骤用于在数据包出队时,判断该数据包的排队时延是否超过了其所属视频流当前的排队时延阈值,若是,则直接丢弃该数据包,否则,转发该数据包。
容易理解的是,在初始时刻,需要初始化各个视频流的排队时延阈值。可选地,本实施例中,将各个视频流的排队时延阈值初始化为相同值,具体为10毫秒。每一个数据包的包头中包含五元组信息,具体为IP地址、源端口、目标IP地址、目标端口、传输层协议,该五元组信息可作为视频流的唯一标识,本实施例中,即根据数据包包头中的五元组信息判断数据包所属的视频流,五元组信息相同的数据包属于同一条视频流。
如图1所示,本实施例中,排队时延阈值更新步骤包括按照预设的时间间隔执行以下步骤:
(S1)计算各视频流在当前时间间隔内的达到速率以及平均排队时延作为视频流的状态输入至强化学习网络,使强化学习网络输出相应的动作;动作用于描述视频流的丢包概率与排队时延的比例关系;
各视频流在当前时间间隔内的到达速率和平均排队时延,准确反映各视频流在当前时间间隔内的状态,本实施例以此作为强化学习网络的输入,能够使强化学习网络学习到各视频流的状态,并输出与各视频流的状态相适应的动作;
(S2)根据强化学习网络输出的动作计算并更新各视频流的排队时延阈值;
(S3)计算当前的奖励值并反馈给强化学习网络,以最大化累计奖励值为优化目标对强化学习网络的参数进行更新;奖励值与视频流的到达速率和往返时延相关,且到达速率越接近理想到达速率、往返时延越小时,奖励值越大;
本实施例按照上述方式设置强化学习网络的奖励值,作为强化学习网络参数更新的依据,使得基于强化学习网络输出的动作计算的排队时延阈值,并按照所计算的排队时延主动丢弃排队时延过长的数据包后,网络综合性能最优,在缓解瓶颈节点拥塞状态的同时,降低排队时延,尽可能地满足直播视频流的实时性要求。
为了提高排队时延预阈值的计算精度,作为一种优选的实施方式,本实施例通过流体模型分析得出具体的计算公式,具体分析过程如下:
每条视频流的拥塞窗口动态值
Figure BDA0004138485820000085
可以表示为如下非线性微分方程:
Figure BDA0004138485820000081
其中,τi(t)为第i条视频流的往返时延,pi(t)为第i条视频流的丢包概率,与排队时延di(t)成正比,即pi(t)=kdi(t),k为正数。k为排队时延计算的关键参数,对于合理确定各视频流的排队时延阈值也十分关键,并且,其实际取值难以直接确定,基于这一考虑,本实施例中,将用于描述视频流的丢包概率与排队时延的比例关系的参数,即k,作为强化学习网络输出的动作,能够保证相关计算的准确性。同时,相比于直接利用强化学习网络输出排队时延阈值,本实施例仅利用强化学习网络预测用于排队时延阈值计算的关键参数,并进一步基于强化学习网络输出的动作完成排队时延阈值的计算,能够将强化学习与数据包传输的理论知识相结合,进一步提高排队时延阈值计算的准确性。
从源端到瓶颈节点的传播时延相比排队时延可以忽略不计,则di(t)可以表示为:
Figure BDA0004138485820000082
其中,I为视频流总数,C为链路总带宽。此外,第i条视频流的实际到达速率的动态值
Figure BDA0004138485820000083
可以表示为:
Figure BDA0004138485820000084
因此,平衡状态下,即
Figure BDA0004138485820000091
时,第i条视频流的理想到达速率可以被计算为:
Figure BDA0004138485820000092
其中,
Figure BDA0004138485820000093
为平衡状态下第i条视频流的丢包概率。代入pi(t)=kdi(t),可得
Figure BDA0004138485820000094
其中/>
Figure BDA0004138485820000095
表示第i条视频流的最优排队时间,即为第i条视频流的理想排队时延阈值。同时,由于/>
Figure BDA0004138485820000096
发送窗口wi(t)受/>
Figure BDA0004138485820000097
的限制,第i条视频流的实际到达速率可以表示为:
Figure BDA0004138485820000098
为了满足直播视频流的高实时性要求,令每条视频流的理想到达速率与其往返时延成正比,即
Figure BDA0004138485820000099
其意义在于,时延长的视频流倾向得到更多带宽资源,从而降低时延,使得每条视频流的时延尽可能相等。最终得到第i条视频流的理想排队时延阈值:
Figure BDA00041384858200000910
其中,
Figure BDA00041384858200000911
其中的k即为强化学习网络输出的动作。
基于以上分析,本实施例中,步骤(S2)包括:
对于任意第i条视频流,按照
Figure BDA00041384858200000912
计算该视频流的理想达到速率/>
Figure BDA00041384858200000913
并按照
Figure BDA00041384858200000914
计算系数K,之后按照/>
Figure BDA00041384858200000915
计算该视频流的排队时延阈值/>
Figure BDA00041384858200000916
本实施例中,所选用的强化学习网络具体为DDPG网络,其结构具体如图2所示。DDPG网络主要由动作网络和价值网络组成,其中动作网络负责根据当前状态输出相应动作,由卷积层和全连接层串联组成,激活函数采用tanh函数;价值网络同样由卷积层和全连接层串联组成,激活函数采用relu函数,负责估计当前状态的价值。为了实现稳定的价值估计,每个网络再细分为目标网络和现实网络。现实网络和目标网络拥有相同的结构但是其网络参数更新过程略有不同。现实网络在每一次训练后通过梯度下降法进行参数更新,其中损失函数由目标网络计算。然后目标网络在此基础上进行软更新,具体表示为:
θ'=βθ+(1-β)θ'
其中θ'为目标网络参数,θ为现实网络参数,β为软更新系数。DDPG网络可以解决连续性控制问题,可以较好应用于视频流场景下,能够较为准确地完成相关信息的预测,并且,DDPG网络最终确定地只输出一个动作,本发明中,每个时间间隔内,视频流的丢包概率与排队时延的比例这一参数为各视频流所共享,因此,将该参数作为强化学习网络输出的动作时,具体采用DDPG能够较为准确地完成相关信息的预测。
各视频流排队时延阈值更新的时间间隔,可根据视频流的状态和网络状态相应设定。可选地,本实施例中,该时间间隔具体设置为10毫秒。
本实施例中,每次更新各视频流的排队时延阈值后,会计算相应的奖励值,作为强化学习网络参数更新的依据,作为一种优选的实施方式,奖励值的计算公式为:
Figure BDA0004138485820000101
其中,R表示奖励值,si表示第i条视频流的实际到达速率,
Figure BDA0004138485820000102
表示第i条视频流的理想到达速率,λ表示实际到达速率偏移量的系数;可选地,本实施例中,λ采用双曲正切函数形式,其取值随实际到达速率偏移量的变化而变化,即/>
Figure BDA0004138485820000111
e为自然底数。
可选地,本实施例中,在对强化学习网络参数进行更新时,具体使用梯度下降法。通过网络参数更新,网络性能将不断优化,最终会收敛,即反馈的奖励值停止增长,此时,无需进行网络参数的更新,基于这一考虑,本实施例在完成排队时延阈值更新之后,进行网络参数更新之前,会进一步判断网络是否已经收敛,若网络已经收敛,则利用梯度下降法进行网络参数的更新,否则不进行更新;相应地,如图1所示,本实施例中,在步骤(S2)和步骤(S3)之间还包括:判断强化学习网络是否收敛,若是,则等待直至当前时间间隔结束;若否,则转入步骤(S3)。
总体而言,本实施例,根据每条视频流的状态信息灵活调整其排队时延阈值,通过主动丢弃超过阈值的数据包缓解拥塞,同时降低排队时延,尽可能满足直播视频流的实时性要求,保障每个用户的观看体验质量。
实施例2:
一种面向直播视频流的网络队列管理设备,包括:
计算机可读存储介质,用于存储计算机程序;
以及处理器,用于读取计算机可读存储介质中的计算机程序,执行上述实施例1提供的面向直播视频流的网络队列管理方法。
实施例3:
一种路由器,包括上述实施例2提供的面向直播视频流的网络队列管理设备。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种面向直播视频流的网络队列管理方法,其特征在于,包括:排队时延阈值更新步骤和数据包管理步骤;
所述排队时延阈值更新步骤包括按照预设的时间间隔执行以下步骤:
(S1)计算各视频流在当前时间间隔内的达到速率以及平均排队时延作为视频流的状态输入至强化学习网络,使所述强化学习网络输出相应的动作;所述动作用于描述视频流的丢包概率与排队时延的比例关系;
(S2)根据所述强化学习网络输出的动作计算并更新各视频流的排队时延阈值;
(S3)计算当前的奖励值并反馈给所述强化学习网络,以最大化累计奖励值为优化目标对所述强化学习网络的参数进行更新;所述奖励值与视频流的到达速率和往返时延相关,且到达速率越接近理想到达速率、往返时延越小时,奖励值越大;
所述数据包管理步骤包括:当数据包出队时,若其排队时延不超过其所属视频流当前的排队时延阈值,则转发该数据包;否则,丢弃该数据包。
2.如权利要求1所述的面向直播视频流的网络队列管理方法,其特征在于,在所述步骤(S2)和所述步骤(S3)之间还包括:判断所述强化学习网络是否收敛,若是,则等待直至当前时间间隔结束;若否,则转入所述步骤(S3)。
3.如权利要求1或2所述的面向直播视频流的网络队列管理方法,其特征在于,所述步骤(S2)包括:
对于任意第i条视频流,按照
Figure FDA0004138485810000011
计算该视频流的理想达到速率/>
Figure FDA0004138485810000012
并按照
Figure FDA0004138485810000013
计算系数K,之后按照/>
Figure FDA0004138485810000014
计算该视频流的排队时延阈值/>
Figure FDA0004138485810000021
其中,I为视频流总数,C为链路总带宽,k表示所述强化学习模型输出的动作;τi表示第i条视频流当前的往返时延,si(t)表示第i条视频流当前的实际到达速率。
4.如权利要求3所述的面向直播视频流的网络队列管理方法,其特征在于,奖励值的计算公式为:
Figure FDA0004138485810000022
其中,R表示奖励值,si表示第i条视频流的实际到达速率,
Figure FDA0004138485810000023
表示第i条视频流的理想到达速率,λ表示实际到达速率偏移量的系数。
5.如权利要求4所述的面向直播视频流的网络队列管理方法,其特征在于,
Figure FDA0004138485810000024
其中,e为自然底数。
6.如权利要求1或2所述的面向直播视频流的网络队列管理方法,其特征在于,数据包所属的视频流依据该数据包包头中的五元组信息判断,五元组信息相同的数据包属于同一条视频流。
7.如权利要求1或2所述的面向直播视频流的网络队列管理方法,其特征在于,所述强化学习网络为DDPG网络。
8.一种面向直播视频流的网络队列管理设备,其特征在于,包括:
计算机可读存储介质,用于存储计算机程序;
以及处理器,用于读取所述计算机可读存储介质中的计算机程序,执行权利要求1~7任一项所述的面向直播视频流的网络队列管理方法。
9.一种路由器,其特征在于,包括权利要求8所述的面向直播视频流的网络队列管理设备。
CN202310282294.0A 2023-03-17 2023-03-17 一种面向直播视频流的网络队列管理方法、设备及路由器 Pending CN116389375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310282294.0A CN116389375A (zh) 2023-03-17 2023-03-17 一种面向直播视频流的网络队列管理方法、设备及路由器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310282294.0A CN116389375A (zh) 2023-03-17 2023-03-17 一种面向直播视频流的网络队列管理方法、设备及路由器

Publications (1)

Publication Number Publication Date
CN116389375A true CN116389375A (zh) 2023-07-04

Family

ID=86976145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310282294.0A Pending CN116389375A (zh) 2023-03-17 2023-03-17 一种面向直播视频流的网络队列管理方法、设备及路由器

Country Status (1)

Country Link
CN (1) CN116389375A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117499314A (zh) * 2024-01-03 2024-02-02 南京信息工程大学 基于平均队列长度变化趋势的网络自适应拥塞控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117499314A (zh) * 2024-01-03 2024-02-02 南京信息工程大学 基于平均队列长度变化趋势的网络自适应拥塞控制方法
CN117499314B (zh) * 2024-01-03 2024-03-19 南京信息工程大学 基于平均队列长度变化趋势的网络自适应拥塞控制方法

Similar Documents

Publication Publication Date Title
US9088510B2 (en) Universal rate control mechanism with parameter adaptation for real-time communication applications
CN112804125B (zh) 一种基于模糊综合评判算法的命名数据网络拥塞控制方法
CN113746748B (zh) 一种命名数据网络中显式拥塞控制方法
GB2478277A (en) Controlling packet transmission using variable threshold value in a buffer
CN115412497B (zh) 一种bbr拥塞控制算法的性能优化方法
CN112737964B (zh) 一种融合推拉语义的传输控制方法及系统
CN112995048B (zh) 数据中心网络的阻塞控制与调度融合方法及终端设备
CN111935441A (zh) 一种网络状态检测方法及装置
CN116389375A (zh) 一种面向直播视频流的网络队列管理方法、设备及路由器
EP4161029A1 (en) System and method for adapting transmission rate computation by a content transmitter
CN113271256A (zh) 一种信息年龄多路径传输方法及系统
CN114500394B (zh) 一种区分服务的拥塞控制方法
CN116828623A (zh) 数据包多路径调度装置及方法
CN113726656A (zh) 时延敏感流转发的方法及装置
CN113839880B (zh) 命名数据网络中一种拥塞控制方法
CN117615461A (zh) 一种基于深度强化学习的空基网络混合业务流智能调度方法
US20230231810A1 (en) System and method for adapting transmission rate computation by a content transmitter
CN114301845B (zh) 一种自适应的数据中心网络传输协议选择方法
CN107302504B (zh) 一种基于虚拟发送队列的多路传输调度方法及系统
Bouras et al. Adaptive smooth multicast protocol for multimedia data transmission
CN114553836B (zh) 一种基于强化学习的数据块传输准时性提升方法
KR102391804B1 (ko) FQ-CoDel 알고리즘의 매개변수 최적화 방법
Kato et al. How coarse-grained clock impacts on performance of ndn rate-based congestion control with explicit rate reporting
CN114785757B (zh) 一种面向实时会话类业务的多径传输控制方法
Efraimidis et al. Window-games between TCP flows

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination