CN112311690A - 一种基于ai的拥塞控制算法、装置、设备和介质 - Google Patents

一种基于ai的拥塞控制算法、装置、设备和介质 Download PDF

Info

Publication number
CN112311690A
CN112311690A CN202011021516.6A CN202011021516A CN112311690A CN 112311690 A CN112311690 A CN 112311690A CN 202011021516 A CN202011021516 A CN 202011021516A CN 112311690 A CN112311690 A CN 112311690A
Authority
CN
China
Prior art keywords
state
value
code rate
packet loss
reward
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011021516.6A
Other languages
English (en)
Other versions
CN112311690B (zh
Inventor
陈荣观
刘硕
陈玉龙
王颖
戴立陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Xingwang Intelligent Technology Co Ltd
Original Assignee
Fujian Xingwang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Xingwang Intelligent Technology Co Ltd filed Critical Fujian Xingwang Intelligent Technology Co Ltd
Priority to CN202011021516.6A priority Critical patent/CN112311690B/zh
Publication of CN112311690A publication Critical patent/CN112311690A/zh
Application granted granted Critical
Publication of CN112311690B publication Critical patent/CN112311690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/38—Flow control; Congestion control by adapting coding or compression rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种基于AI的拥塞控制算法、装置设备和介质，方法包括：网络状态特征提取器根据特征处理器的状态特征空间提取网络状态，计算得到网络状态的特征属性值，音视频状态特征提取器提取音视频状态的特征属性值并通过奖励计算器计算得到奖励值；AI码率估计器通过奖励值以及网络状态的特征属性值计算得到码率估计值；接收端或发送端根据码率估计值进行调整，能够有效利用多种维度的网络特征数据，更准确的预测当前带宽值，实现及时有效的拥塞控制效果。

Description

一种基于AI的拥塞控制算法、装置、设备和介质
技术领域
本发明涉及计算机技术领域，特别涉及一种基于AI的拥塞控制算法、 装置、设备和介质。
背景技术
拥塞控制是视频会议领域的研究热点，网络拥塞会导致时延增大，丢包 率上升，从而造成音视频时延增大甚至卡顿，影响用户体验。拥塞控制是视 频会议质量保证的一种重要手段，它能够减小网络延迟，缓解网络拥塞。当 前拥塞控制方案很多，如GCC拥塞控制算法、Sendside-BWE算法等。
现有拥塞控制算法大都使用一套相对固定的规则应用于所有用户，且参 考的网络特征较少，但不同用户的网络状况往往存在差异，因此相对固定的 拥塞控制算法难以保证所有用户都拥有较好的体验。
发明内容
本发明要解决的技术问题，在于提供一种基于AI的拥塞控制算法、装 置设备和介质，能够有效利用多种维度的网络特征数据，更准确的预测当前 带宽值，实现及时有效的拥塞控制效果。
第一方面，本发明提供了一种基于AI的拥塞控制算法，包括：网络状 态特征提取器、音视频状态特征提取器、特征处理器、奖励计算器以及AI 码率估计器；
所述网络状态特征提取器：用于提取体现网络状态的特征属性值；
所述音视频状态特征提取器：用于提取体现音视频状态的特征属性值；
所述特征处理器：根据输入的特征值，通过计算得到对应特征值的至少 一个维度的信息，所述信息用于扩充特征值的维度，所述信息与输入的特征 值共同组成状态特征空间；
所述奖励计算器：根据音视频状态，计算上次动作的奖励值，所述奖励 值用于调整AI码率估计器的参数；
所述AI码率估计器：根据网络状态，估算当前带宽值，通过奖励值来 调整估算带宽值算法的参数；
具体包括如下步骤：
步骤1、网络状态特征提取器根据特征处理器的状态特征空间提取网络 状态，计算得到网络状态的特征属性值，
步骤2、音视频状态特征提取器提取音视频状态的特征属性值并通过奖 励计算器计算得到奖励值；
步骤3、AI码率估计器通过奖励值以及网络状态的特征属性值计算得到 码率估计值；
步骤4、接收端或发送端根据码率估计值进行调整。
进一步地，所述网络状态包括接收端网络状态以及发送端网络状态；
所述接收端网络状态：
接收端网络状态Srk由接收码率状态RBk、丢包状态Lk及相对时延状态 Dk组成，Srk＝(RBk,Lk,Dk)；
使用二元组<μrbk,σrbk>定义接收码率RBk，μrbk表示接收码率平均值，σrbk表示接收码率在周期内的标准差；第k个周期内的接收码率用 {rb1,rb2,…,rbn}表示，则μrbk和σrbk的计算公式如下：
Figure BDA0002700758050000021
Figure BDA0002700758050000022
丢包率状态
Figure BDA0002700758050000023
Packet_loss＝Expect_packet-Receive_packet
Expect_packet＝Max_sequence_num-Last_max_sequence_num
其中，Receive_packet为接收端接收报文数量，Max_sequence_num是本 阶段最大传输层序列号，根据rtp报文中的扩展字段得到， Last_max_sequence_num为上阶段最大传输层序列号；传输层序列号不区分 rtp报文种类，无论是正常报文还是重传报文，每发送一个rtp包，传输层序 列号都会加1；
用三元组<μlk,σlk,ωlk>定义丢包状态Lk，μlk表示丢包率平均值，σlk表 示丢包率标准差，ωlk表示丢包率的变化趋势；若第k个周期内的丢包率用 {l1,l2,…,ln}表示，ln表示第n个丢包率状态值，每个丢包率对应的采样顺序 用{x1,x2,…,xn}表示，则认为存在线性函数f(xi)，f(xi)＝ωlkxi+b，使得 f(xi)≈li；
利用最小二乘法求解ωlk和b使得
Figure BDA0002700758050000031
最小化，得到
Figure BDA0002700758050000032
相对时延状态用来判别网络状态；第i个rtp报文在网络中的传输时延 Ti，公式为Ti＝Ri-Si；其中Ri是接收时间，Si是发送时间；发送时间通过rtp 扩展字段获取；
两个包之间的相对时延Di为Di＝Ti-Ti-1；
用三元组<μdk,σdk,ωdk>定义相对时延状态Dk，μdk表示相对时延均值， σdk表示相对时延标准差，ωdk表示相对时延的变化趋势；其计算方式和丢包 率状态计算方式相同；
所述发送端状态：
发送端通过rtcp报文信息以及本端收集并计算的信息得知网络状态；所 述rtcp报文信息包括：丢包率、RTT、接收端请求码率；所述本端收集并计 算的信息包括：发送码率、发送码率与接收码率的差值；以此作为发送端网 络环境状态Ssk；Ssk＝(QBk,DBk,Lk,RTTk)；
其中QBk为接收端请求码率状态，DBk为发送码率均值和请求码率的差 值，Lk为丢包率状态，RTTk为RTT状态；对这4个状态值均用三元组 <μk,δk,ωk>表示；RTT的计算公式为：RTT＝A-DLSR-LSR；
其中，A为收到RR报文的时间，DLSR为接收端收到SR报文到发送RR 报文的间隔时间，LSR为上次发送SR报文时间，RTT即为rtcp报文在网络 中的往返时间。
进一步地，所述奖励计算器包括接收端奖励以及发送方奖励；
奖励reward的计算公式为：Rri＝RB-wr1×L-wr2×D；
发送端的奖励reward的计算公式为:Rsi＝SB-ws1×L-ws2×D；
其中，SB为发送码率，L为丢包率，DB为发送码率的差值，RB为接 收码率，L为丢包率，D为延时时间，wr1和wr2表示接收端奖励计算的两个 参数，wr1为丢包率的权重系数，wr2为时延的权重系数；ws1和ws2表示发送 端奖励计算的两个参数，ws1表示丢包率的权重系数，ws2表示发送码率变化 值的权重系数。
第二方面，本发明提供了一种基于AI的拥塞控制装置，包括：网络状 态特征提取器、音视频状态特征提取器、特征处理器、奖励计算器以及AI 码率估计器；
所述网络状态特征提取器：用于提取体现网络状态的特征属性值；
所述音视频状态特征提取器：用于提取体现音视频状态的特征属性值；
所述特征处理器：根据输入的特征值，通过计算得到对应特征值的至少 一个维度的信息，所述信息用于扩充特征值的维度，所述信息与输入的特征 值共同组成状态特征空间；
所述奖励计算器：根据音视频状态，计算上次动作的奖励值，所述奖励 值用于调整AI码率估计器的参数；
所述AI码率估计器：根据网络状态，估算当前带宽值，通过奖励值来 调整估算带宽值算法的参数；
具体包括如下模块：
提取网络状态模块，网络状态特征提取器根据特征处理器的状态特征空 间提取网络状态，计算得到网络状态的特征属性值，
提取音视频状态模块，音视频状态特征提取器提取音视频状态的特征属 性值并通过奖励计算器计算得到奖励值；
码率估计值模块，AI码率估计器通过奖励值以及网络状态的特征属性 值计算得到码率估计值；
调整模块，接收端或发送端根据码率估计值进行调整。
进一步地，所述网络状态包括接收端网络状态以及发送端网络状态；
所述接收端网络状态：
接收端网络状态Srk由接收码率状态RBk、丢包状态Lk及相对时延状态 Dk组成，Srk＝(RBk,Lk,Dk)；
使用二元组<μrbk,σrbk>定义接收码率RBk，μrbk表示接收码率平均值，σrbk表示接收码率在周期内的标准差；第k个周期内的接收码率用 {rb1,rb2,…,rbn}表示，则μrbk和σrbk的计算公式如下：
Figure BDA0002700758050000051
Figure BDA0002700758050000052
丢包率状态
Figure BDA0002700758050000053
Packet_loss＝Expect_packet-Receive_packet
Expect_packet＝Max_sequence_num-Last_max_sequence_num
其中，Receive_packet为接收端接收报文数量，Max_sequence_num是本 阶段最大传输层序列号，根据rtp报文中的扩展字段得到， Last_max_sequence_num为上阶段最大传输层序列号；传输层序列号不区分 rtp报文种类，无论是正常报文还是重传报文，每发送一个rtp包，传输层序 列号都会加1；
用三元组<μlk,σlk,ωlk>定义丢包状态Lk，μlk表示丢包率平均值，σlk表 示丢包率标准差，ωlk表示丢包率的变化趋势；若第k个周期内的丢包率用 {l1,l2,…,ln}表示，ln表示第n个丢包率状态值，每个丢包率对应的采样顺序 用{x1,x2,…,xn}表示，则认为存在线性函数f(xi)，f(xi)＝ωlkxi+b，使得 f(xi)≈li；
利用最小二乘法求解ωlk和b使得
Figure BDA0002700758050000061
最小化，得到
Figure BDA0002700758050000062
相对时延状态用来判别网络状态；第i个rtp报文在网络中的传输时延 Ti，公式为Ti＝Ri-Si；其中Ri是接收时间，Si是发送时间；发送时间通过rtp 扩展字段获取；
两个包之间的相对时延Di为Di＝Ti-Ti-1；
用三元组<μdk,σdk,ωdk>定义相对时延状态Dk，μdk表示相对时延均值， σdk表示相对时延标准差，ωdk表示相对时延的变化趋势；其计算方式和丢包 率状态计算方式相同；
所述发送端状态：
发送端通过rtcp报文信息以及本端收集并计算的信息得知网络状态；所 述rtcp报文信息包括：丢包率、RTT、接收端请求码率；所述本端收集并计 算的信息包括：发送码率、发送码率与接收码率的差值；以此作为发送端网 络环境状态Ssk；Ssk＝(QBk,DBk,Lk,RTTk)；
其中QBk为接收端请求码率状态，DBk为发送码率均值和请求码率的差 值，Lk为丢包率状态，RTTk为RTT状态；对这4个状态值均用三元组 <μk,δk,ωk>表示；RTT的计算公式为：RTT＝A-DLSR-LSR；
其中，A为收到RR报文的时间，DLSR为接收端收到SR报文到发送RR 报文的间隔时间，LSR为上次发送SR报文时间，RTT即为rtcp报文在网络 中的往返时间。
进一步地，所述奖励计算器包括接收端奖励以及发送方奖励；
奖励reward的计算公式为：Rri＝RB-wr1×L-wr2×D；
发送端的奖励reward的计算公式为:Rsi＝SB-ws1×L-ws2×D；
其中，SB为发送码率，L为丢包率，DB为发送码率的差值，RB为接 收码率，L为丢包率，D为延时时间，wr1和wr2表示接收端奖励计算的两个 参数，wr1为丢包率的权重系数，wr2为时延的权重系数；ws1和ws2表示发送 端奖励计算的两个参数，ws1表示丢包率的权重系数，ws2表示发送码率变化 值的权重系数。
第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在 存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实 现第一方面所述的方法。
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机 程序，该程序被处理器执行时实现第一方面所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或 优点：
本申请实施例提供的方法、装置、设备和介质，可用于服务器、中间设 备、终端，实现成本低、网络特征值利用充分、适应网络情形广，能够更准 确的预测当前带宽值。。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技 术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它 目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明接收端自适应码率调节流程；
图2为本发明发送端自适应码率调节流程；
图3为本发明实施例一中方法中的流程图；
图4为本发明实施例二中装置的结构示意图。
具体实施方式
本申请实施例通过提供一种基于AI的拥塞控制算法、装置设备和介质， 解决了网络卡的问题；能够有效利用多种维度的网络特征数据，更准确的预 测当前带宽值，实现及时有效的拥塞控制效果。
本申请实施例中的技术方案，总体思路如下：
本文提出了一种适用于视频会议的基于AI的码率自适应算法，视频会 议按方向分为发送端和接收端，本文提出的算法针对发送端和接收端分别了 少许调整，以适应两端的环境差异。两端在算法上相对独立，在使用时，即 可以单独使用其中一端的算法，又可以两端配合使用。
如图1、图2所示，接收端和发送端根据接收到的rtp/rtcp报文，提取 系统状态并估算出带宽值。更具体的，码率自适应模块包含5个部分，分别 是：
网络状态特征提取器：用于提取能够体现网络状态的特征属性值
音视频状态特征提取器：用于提取能够体现音视频状态的特征属性值
特征处理器：根据输入的特征值，通过计算得到对应特征值的更多维度 信息，用于扩充特征值的维度，与输入的特征值共同组成状态特征空间。
奖励计算器：根据音视频状态，计算上次动作的奖励值，用于调整AI 码率估计器的参数。
AI码率估计器：根据网络状态，估算当前带宽值，能够通过奖励值来 调整估算带宽值算法的参数。
通过图1和图2可以看出接收端算法和发送端算法的不同点：
接收端依据rtp报文提取相应特征，发送端依据rtcp报文提取相应特征。
接收端估算出码率值后，通过rtcp报文反馈给发送端。发送端估算出码 率值后，将码率值传递给编码器。
接收端和发送端均采用增强学习，但两端的状态特征不同。
该算法分为两个阶段：
训练阶段，首先预先训练接收端的算法参数，发送端依据接收端估计的 带宽值调节发送码率。之后训练发送端的算法参数，此时接收端估计的带宽 值作为输入特征。
实用阶段，在通话过程中，系统收集特征值组成网络状态，并根据当前 网络状态选择最佳带宽估计值。
在接收端训练阶段，状态提取器提取接收码率、丢包率、时延作为网络 状态s，在此网络状态下，选择动作a，并探测执行a之后的视频状态，根 据音视频状态给出奖励r，r会影响s状态下动作的选择。音视频状态可由时 延、丢包率、接收码率、卡顿时间、码率变化幅度表示。
在发送端训练阶段，状态提取器提取发送码率、接收端请求码率、丢包 率、rtt共同表示网络状态，丢包率、发送码率、发送码率变化幅度共同表 示视频状态。
接收端学习算法对应流程如下，大致分为3步：
提取网络状态。接收码率可由序列集合RB{rb1,rb2,…,rbn}表示，计算该 周期内的接收码率平均值和方差，标识接收码率状态。丢包率可由序列集合 L{l1,l2,…,ln}表示，计算周期内丢包率的平均值、方差和趋势，标识丢包状 态。时延可由序列集合D{d1,d2,…,dn}表示，计算相对时延及相平均值、方 差和趋势，表示时延状态。
选择动作。动作选择模块以网络状态作为输入，输出当前网络状态下的 下一步动作。选择动作的算法参数会根据奖励进行调整。
调整动作选择参数；
最终保留各种网络状态下的算法参数，实用阶段能够直接根据网络状态 输出最佳动作。
发送端学习算法流程和接收端一样，但网络状态选取的特征不同。当两 端都使用码率自适应算法时，接收端请求的码率作为发送端网络状态的一个 特征，处理方式是取发送码率的平均值与请求码率的差值。
接收端网络环境建模：
接收端网络状态Srk由接收码率状态RBk、丢包状态Lk及相对时延状态 Dk组成，定义如公式所示：Srk＝(RBk,Lk,Dk)；
接收码率状态：
使用二元组<μrbk,σrbk>定义接收码率RBk，μrbk表示接收码率平均值，σrbk表示接收码率在周期内的标准差；第k个周期内的接收码率用 {rb1,rb2,…,rbn}表示，则μrbk和σrbk的计算公式如下：
Figure BDA0002700758050000101
Figure BDA0002700758050000102
丢包率状态：
Figure BDA0002700758050000103
Packet_loss＝Expect_packet-Receive_packet
Expect_packet＝Max_sequence_num-Last_max_sequence_num
其中，Receive_packet为接收端接收报文数量，Max_sequence_num是本 阶段最大传输层序列号，根据rtp报文中的扩展字段得到， Last_max_sequence_num为上阶段最大传输层序列号；传输层序列号不区分 rtp报文种类，无论是正常报文还是重传报文，每发送一个rtp包，传输层序 列号都会加1，这种算法能够计算网络真正的丢包率。
用三元组<μlk,σlk,ωlk>定义丢包状态Lk，μlk表示丢包率平均值，σlk表示 丢包率标准差，ωlk表示丢包率的变化趋势；若第k个周期内的丢包率用 {l1,l2,…,ln}表示，ln表示第n个丢包率状态值，每个丢包率对应的采样顺序 用{x1,x2,…,xn}表示，则认为存在线性函数f(xi)，f(xi)＝ωlkxi+b，使得 f(xi)≈li；
利用最小二乘法求解ωlk和b使得
Figure BDA0002700758050000104
最小化，得到
Figure BDA0002700758050000105
相对时延状态:
包间相对时延也能体现网络状态。它是基于链路上的路由器都有一定的 缓存，在数据包开始被丢弃前，先发生数据在缓存里堆积的事件，所以时延 也能够用来判别网络状态。
第i个rtp报文在网络中的传输时延Ti，公式为Ti＝Ri-Si；其中Ri是接 收时间，Si是发送时间；发送时间通过rtp扩展字段获取；
两个包之间的相对时延Di为Di＝Ti-Ti-1；
用三元组<μdk,σdk,ωdk>定义相对时延状态Dk，μdk表示相对时延均值， σdk表示相对时延标准差，ωdk表示相对时延的变化趋势；其计算方式和丢包 率状态计算方式相同；
发送端网络环境建模：
发送端通过rtcp报文信息以及本端收集并计算的信息得知网络状态；所 述rtcp报文信息包括：丢包率、RTT、接收端请求码率；所述本端收集并计 算的信息包括：发送码率、发送码率与接收码率的差值；以此作为发送端网 络环境状态Ssk；Ssk＝(QBk,DBk,Lk,RTTk)；
其中QBk为接收端请求码率状态，DBk为发送码率均值和请求码率的差 值，Lk为丢包率状态，RTTk为RTT状态；对这4个状态值均用三元组 <μk,δk,ωk>表示。
RTT的计算公式为：RTT＝A-DLSR-LSR；
其中，A为收到RR报文的时间，DLSR为接收端收到SR报文到发送RR 报文的间隔时间，LSR为上次发送SR报文时间，RTT即为rtcp报文在网络 中的往返时间。
动作建模：
码率估计值空间比较大，因此可以使用倍率关系来定位，倍率取值范围 为[0.5,1.5]，最小增量为0.05，因此动作空间为一维空间，取值为[-10,10]。
奖励建模：
接收端奖励建模：
人们总是期望能够体验更高的画质，因此视频接收码率作为奖励依据。 与此同时，丢包和时延会使人们的体验变差，因此，用丢包率和时延作为惩 罚依据。
所述奖励计算器包括接收端奖励以及发送方奖励；
奖励reward的计算公式为：Rri＝RB-wr1×L-wr2×D；
发送端奖励了建模：
发送端的奖励reward的计算公式为
发送端的奖励reward的计算公式为:Rsi＝SB-ws1×L-ws2×D；
其中，SB为发送码率，L为丢包率，DB为发送码率的差值，RB为接收 码率，L为丢包率，D为延时时间，wr1和wr2表示接收端奖励计算的两个参 数，wr1为丢包率的权重系数，wr2为时延的权重系数；ws1和ws2表示发送端 奖励计算的两个参数，ws1表示丢包率的权重系数，ws2表示发送码率变化值 的权重系数。
实施例一
如图3所示，本实施例提供本发明提供了一种基于AI的拥塞控制算法， 包括：网络状态特征提取器、音视频状态特征提取器、特征处理器、奖励计 算器以及AI码率估计器；
所述网络状态特征提取器：用于提取体现网络状态的特征属性值；
所述音视频状态特征提取器：用于提取体现音视频状态的特征属性值；
所述特征处理器：根据输入的特征值，通过计算得到对应特征值的至少 一个维度的信息，所述信息用于扩充特征值的维度，所述信息与输入的特征 值共同组成状态特征空间；例如特征值为丢包率时，可以根据丢包率序列， 计算得到丢包率方差、趋势等更多维度的信息，所述维度的信息指丢包率方 差或者趋势等。
所述奖励计算器：根据音视频状态，计算上次动作的奖励值，所述奖励 值用于调整AI码率估计器的参数；
所述AI码率估计器：根据网络状态，估算当前带宽值，通过奖励值来 调整估算带宽值算法的参数；
具体包括如下步骤：
步骤1、网络状态特征提取器根据特征处理器的状态特征空间提取网络 状态，计算得到网络状态的特征属性值，
步骤2、音视频状态特征提取器提取音视频状态的特征属性值并通过奖 励计算器计算得到奖励值；
步骤3、AI码率估计器通过奖励值以及网络状态的特征属性值计算得到 码率估计值；
步骤4、接收端或发送端根据码率估计值进行调整。
所述网络状态包括接收端网络状态以及发送端网络状态；
所述接收端网络状态：
接收端网络状态Srk由接收码率状态RBk、丢包状态Lk及相对时延状态 Dk组成，Srk＝(RBk,Lk,Dk)；
使用二元组<μrbk,σrbk>定义接收码率RBk，μrbk表示接收码率平均值，σrbk表示接收码率在周期内的标准差；第k个周期内的接收码率用 {rb1,rb2,…,rbn}表示，则μrbk和σrbk的计算公式如下：
Figure BDA0002700758050000131
Figure BDA0002700758050000132
丢包率状态
Figure BDA0002700758050000133
Packet_loss＝Expect_packet-Receive_packet
Expect_packet＝Max_sequence_num-Last_max_sequence_num
其中，Receive_packet为接收端接收报文数量，Max_sequence_num是本 阶段最大传输层序列号，根据rtp报文中的扩展字段得到， Last_max_sequence_num为上阶段最大传输层序列号；传输层序列号不区分 rtp报文种类，无论是正常报文还是重传报文，每发送一个rtp包，传输层序 列号都会加1；
用三元组<μlk,σlk,ωlk>定义丢包状态Lk，μlk表示丢包率平均值，σlk表 示丢包率标准差，ωlk表示丢包率的变化趋势；若第k个周期内的丢包率用 {l1,l2,…,ln}表示，ln表示第n个丢包率状态值，每个丢包率对应的采样顺序 用{x1,x2,…,xn}表示，则认为存在线性函数f(xi)，f(xi)＝ωlkxi+b，使得 f(xi)≈li；
利用最小二乘法求解ωlk和b使得
Figure BDA0002700758050000141
最小化，得到
Figure BDA0002700758050000142
相对时延状态用来判别网络状态；第i个rtp报文在网络中的传输时延 Ti，公式为Ti＝Ri-Si；其中Ri是接收时间，Si是发送时间；发送时间通过rtp 扩展字段获取；
两个包之间的相对时延Di为Di＝Ti-Ti-1；
用三元组<μdk,σdk,ωdk>定义相对时延状态Dk，μdk表示相对时延均值， σdk表示相对时延标准差，ωdk表示相对时延的变化趋势；其计算方式和丢包 率状态计算方式相同；
所述发送端状态：
发送端通过rtcp报文信息以及本端收集并计算的信息得知网络状态；所 述rtcp报文信息包括：丢包率、RTT、接收端请求码率；所述本端收集并计 算的信息包括：发送码率、发送码率与接收码率的差值；以此作为发送端网 络环境状态Ssk；Ssk＝(QBk,DBk,Lk,RTTk)；
其中QBk为接收端请求码率状态，DBk为发送码率均值和请求码率的差 值，Lk为丢包率状态，RTTk为RTT状态；对这4个状态值均用三元组 <μk,δk,ωk>表示(这个与上文计算丢包率的三元组一样，都是均值、方差、 趋势，计算公式是一样的)；RTT的计算公式为：RTT＝A-DLSR-LSR；
其中，A为收到RR报文的时间，DLSR为接收端收到SR报文到发送RR 报文的间隔时间，LSR为上次发送SR报文时间，RTT即为rtcp报文在网络 中的往返时间。
所述奖励计算器包括接收端奖励以及发送方奖励；
奖励reward的计算公式为：Rri＝RB-wr1×L-wr2×D；
发送端的奖励reward的计算公式为:Rsi＝SB-ws1×L-ws2×D；
其中，SB为发送码率，L为丢包率，DB为发送码率的差值，RB为接 收码率，L为丢包率，D为延时时间，wr1和wr2表示接收端奖励计算的两个 参数，wr1为丢包率的权重系数，wr2为时延的权重系数；ws1和ws2表示发送 端奖励计算的两个参数，ws1表示丢包率的权重系数，ws2表示发送码率变化 值的权重系数。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置， 详见实施例二。
实施例二
如图4所示，在本实施例中提供了第二方面，本发明提供了一种基于 AI的拥塞控制装置，包括：网络状态特征提取器、音视频状态特征提取器、 特征处理器、奖励计算器以及AI码率估计器；
所述网络状态特征提取器：用于提取体现网络状态的特征属性值；
所述音视频状态特征提取器：用于提取体现音视频状态的特征属性值；
所述特征处理器：根据输入的特征值，通过计算得到对应特征值的至少 一个维度的信息，所述信息用于扩充特征值的维度，所述信息与输入的特征 值共同组成状态特征空间；例如特征值为丢包率时，可以根据丢包率序列， 计算得到丢包率方差、趋势等更多维度的信息，所述维度的信息指丢包率方 差或者趋势等。
所述奖励计算器：根据音视频状态，计算上次动作的奖励值，所述奖励 值用于调整AI码率估计器的参数；
所述AI码率估计器：根据网络状态，估算当前带宽值，通过奖励值来 调整估算带宽值算法的参数；
具体包括如下模块：
提取网络状态模块，网络状态特征提取器根据特征处理器的状态特征空 间提取网络状态，计算得到网络状态的特征属性值，
提取音视频状态模块，音视频状态特征提取器提取音视频状态的特征属 性值并通过奖励计算器计算得到奖励值；
码率估计值模块，AI码率估计器通过奖励值以及网络状态的特征属性 值计算得到码率估计值；
调整模块，接收端或发送端根据码率估计值进行调整。
所述网络状态包括接收端网络状态以及发送端网络状态；
所述接收端网络状态：
接收端网络状态Srk由接收码率状态RBk、丢包状态Lk及相对时延状态 Dk组成，Srk＝(RBk,Lk,Dk)；
使用二元组<μrbk,σrbk>定义接收码率RBk，μrbk表示接收码率平均值，σrbk表示接收码率在周期内的标准差；第k个周期内的接收码率用 {rb1,rb2,…,rbn}表示，则μrbk和σrbk的计算公式如下：
Figure BDA0002700758050000161
Figure BDA0002700758050000162
丢包率状态
Figure BDA0002700758050000163
Packet_loss＝Expect_packet-Receive_packet
Expect_packet＝Max_sequence_num-Last_max_sequence_num
其中，Receive_packet为接收端接收报文数量，Max_sequence_num是本 阶段最大传输层序列号，根据rtp报文中的扩展字段得到， Last_max_sequence_num为上阶段最大传输层序列号；传输层序列号不区分 rtp报文种类，无论是正常报文还是重传报文，每发送一个rtp包，传输层序 列号都会加1；
用三元组<μlk,σlk,ωlk>定义丢包状态Lk，μlk表示丢包率平均值，σlk表 示丢包率标准差，ωlk表示丢包率的变化趋势；若第k个周期内的丢包率用 {l1,l2,…,ln}表示，ln表示第n个丢包率状态值，每个丢包率对应的采样顺序 用{x1,x2,…,xn}表示，则认为存在线性函数f(xi)，f(xi)＝ωlkxi+b，使得f(xi)≈li；这个公式的意思是线性函数函数f(xi)的输入是xi,参数是ω和b， 输出值是f(xi)，目的是使f(xi)的值尽量与真正丢包率li的值相近。这里只 要提到f(xi)约等于li就行了。
利用最小二乘法求解ωlk和b使得
Figure BDA0002700758050000171
最小化，得到
Figure BDA0002700758050000172
相对时延状态用来判别网络状态；第i个rtp报文在网络中的传输时延 Ti，公式为Ti＝Ri-Si；其中Ri是接收时间，Si是发送时间；发送时间通过rtp 扩展字段获取；
两个包之间的相对时延Di为Di＝Ti-Ti-1；
用三元组<μdk,σdk,ωdk>定义相对时延状态Dk，μdk表示相对时延均值， σdk表示相对时延标准差，ωdk表示相对时延的变化趋势；其计算方式和丢包 率状态计算方式相同；
所述发送端状态：
发送端通过rtcp报文信息以及本端收集并计算的信息得知网络状态；所 述rtcp报文信息包括：丢包率、RTT、接收端请求码率；所述本端收集并计 算的信息包括：发送码率、发送码率与接收码率的差值；以此作为发送端网 络环境状态Ssk；Ssk＝(QBk,DBk,Lk,RTTk)；
其中QBk为接收端请求码率状态，DBk为发送码率均值和请求码率的差 值，Lk为丢包率状态，RTTk为RTT状态；对这4个状态值均用三元组 <μk,δk,ωk>表示；RTT的计算公式为：RTT＝A-DLSR-LSR；
其中，A为收到RR报文的时间，DLSR为接收端收到SR报文到发送RR 报文的间隔时间，LSR为上次发送SR报文时间，RTT即为rtcp报文在网络 中的往返时间。
所述奖励计算器包括接收端奖励以及发送方奖励；
奖励reward的计算公式为：Rri＝RB-wr1×L-wr2×D；
发送端的奖励reward的计算公式为:Rsi＝SB-ws1×L-ws2×D；
其中，SB为发送码率，L为丢包率，DB为发送码率的差值，RB为接 收码率，L为丢包率，D为延时时间，wr1和wr2表示接收端奖励计算的两个 参数，wr1为丢包率的权重系数，wr2为时延的权重系数；ws1和ws2表示发送 端奖励计算的两个参数，ws1表示丢包率的权重系数，ws2表示发送码率变化 值的权重系数。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采 用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了 解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方 法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的电子设备实施例，详 见实施例三。
实施例三
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上 并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实 施例一中任一实施方式。
由于本实施例所介绍的电子设备为实施本申请实施例一中方法所采用 的设备，故而基于本申请实施例一中所介绍的方法，本领域所属技术人员能 够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此 对于该电子设备如何实现本申请实施例中的方法不再详细介绍。只要本领域 所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲 保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施 例四。
实施例四
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计 算机程序被处理器执行时，可以实现实施例一中任一实施方式。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：本申 请实施例提供的方法、装置设备及介质，
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或 计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、 或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个 其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘 存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图 和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌 入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过 计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流 程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的 装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理 设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储 器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程 或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上， 使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现 的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程 图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步 骤。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人 员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发 明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的 修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (8)

1.一种基于AI的拥塞控制算法，其特征在于：包括：网络状态特征提取器、音视频状态特征提取器、特征处理器、奖励计算器以及AI码率估计器；
所述网络状态特征提取器：用于提取体现网络状态的特征属性值；
所述音视频状态特征提取器：用于提取体现音视频状态的特征属性值；
所述特征处理器：根据输入的特征值，通过计算得到对应特征值的至少一个维度的信息，所述信息用于扩充特征值的维度，所述信息与输入的特征值共同组成状态特征空间；
所述奖励计算器：根据音视频状态，计算上次动作的奖励值，所述奖励值用于调整AI码率估计器的参数；
所述AI码率估计器：根据网络状态，估算当前带宽值，通过奖励值来调整估算带宽值算法的参数；
具体包括如下步骤：
步骤1、网络状态特征提取器根据特征处理器的状态特征空间提取网络状态，计算得到网络状态的特征属性值；
步骤2、音视频状态特征提取器提取音视频状态的特征属性值并通过奖励计算器计算得到奖励值；
步骤3、AI码率估计器通过奖励值以及网络状态的特征属性值计算得到码率估计值；
步骤4、接收端或发送端根据码率估计值进行调整。
2.根据权利要求1所述的一种基于AI的拥塞控制算法，其特征在于：所述网络状态包括接收端网络状态以及发送端网络状态；
所述接收端网络状态：
接收端网络状态Srk由接收码率状态RBk、丢包状态Lk及相对时延状态Dk组成，Srk＝(RBk,Lk,Dk)；
使用二元组<μrbk,σrbk>定义接收码率RBk，μrbk表示接收码率平均值，σrbk表示接收码率在周期内的标准差；第k个周期内的接收码率用{rb1,rb2,…,rbn}表示，则μrbk和σrbk的计算公式如下：
Figure FDA0002700758040000021
Figure FDA0002700758040000022
丢包率状态
Figure FDA0002700758040000023
Packet_loss＝Expect_packet-Receive_packet
Expect_packet＝Max_sequence_num-Last_max_sequence_num
其中，Function_loss表示丢包率状态值，Receive_packet为接收端接收报文数量，Max_sequence_num是本阶段最大传输层序列号，根据rtp报文中的扩展字段得到，Last_max_sequence_num为上阶段最大传输层序列号，Packet_loss为丢包个数，Expect_packet表示应到包个数，Receive_packet表示实际收到包个数；传输层序列号不区分rtp报文种类，无论是正常报文还是重传报文，每发送一个rtp包，传输层序列号都会加1；
用三元组<μlk,σlk,ωlk>定义丢包状态Lk，μlk表示丢包率平均值，σlk表示丢包率标准差，ωlk表示丢包率的变化趋势；若第k个周期内的丢包率用{l1,l2,…,ln}表示，ln表示第n个丢包率状态值，每个丢包率对应的采样顺序用{x1,x2,…,xn}表示，则认为存在线性函数f(xi)，f(xi)＝ωlkxi+b，使得f(xi)≈li；
利用最小二乘法求解ωlk和b使得
Figure FDA0002700758040000024
最小化，得到
Figure FDA0002700758040000025
相对时延状态用来判别网络状态；第i个rtp报文在网络中的传输时延Ti，公式为Ti＝Ri-Si；其中Ri是接收时间，Si是发送时间；发送时间通过rtp扩展字段获取；
两个包之间的相对时延Di为Di＝Ti-Ti-1；
用三元组<μdk,σdk,ωdk>定义相对时延状态Dk，μdk表示相对时延均值，σdk表示相对时延标准差，ωdk表示相对时延的变化趋势；其计算方式和丢包率状态计算方式相同；
所述发送端状态：
发送端通过rtcp报文信息以及本端收集并计算的信息得知网络状态；所述rtcp报文信息包括：丢包率、RTT、接收端请求码率；所述本端收集并计算的信息包括：发送码率、发送码率与接收码率的差值；以此作为发送端网络环境状态Ssk；Ssk＝(QBk,DBk,Lk,RTTk)；
其中QBk为接收端请求码率状态，DBk为发送码率均值和请求码率的差值，Lk为丢包率状态，RTTk为RTT状态；对这4个状态值均用三元组<μk,δk,ωk>表示；RTT的计算公式为：RTT＝A-DLSR-LSR；
其中，A为收到RR报文的时间，DLSR为接收端收到SR报文到发送RR报文的间隔时间，LSR为上次发送SR报文时间，RTT即为rtcp报文在网络中的往返时间。
3.根据权利要求1所述的一种基于AI的拥塞控制算法，其特征在于：所述奖励计算器包括接收端奖励以及发送方奖励；
奖励reward的计算公式为：Rri＝RB-wr1×L-wr2×D；
发送端的奖励reward的计算公式为:Rsi＝SB-ws1×L-ws2×D；
其中，SB为发送码率，L为丢包率，DB为发送码率的差值，RB为接收码率，L为丢包率，D为延时时间，wr1和wr2表示接收端奖励计算的两个参数，wr1为丢包率的权重系数，wr2为时延的权重系数；ws1和ws2表示发送端奖励计算的两个参数，ws1表示丢包率的权重系数，ws2表示发送码率变化值的权重系数。
4.一种基于AI的拥塞控制装置，其特征在于：包括：网络状态特征提取器、音视频状态特征提取器、特征处理器、奖励计算器以及AI码率估计器；
所述网络状态特征提取器：用于提取体现网络状态的特征属性值；
所述音视频状态特征提取器：用于提取体现音视频状态的特征属性值；
所述特征处理器：根据输入的特征值，通过计算得到对应特征值的至少一个维度的信息，所述信息用于扩充特征值的维度，所述信息与输入的特征值共同组成状态特征空间；
所述奖励计算器：根据音视频状态，计算上次动作的奖励值，所述奖励值用于调整AI码率估计器的参数；
所述AI码率估计器：根据网络状态，估算当前带宽值，通过奖励值来调整估算带宽值算法的参数；
具体包括如下模块：
提取网络状态模块，网络状态特征提取器根据特征处理器的状态特征空间提取网络状态，计算得到网络状态的特征属性值，
提取音视频状态模块，音视频状态特征提取器提取音视频状态的特征属性值并通过奖励计算器计算得到奖励值；
码率估计值模块，AI码率估计器通过奖励值以及网络状态的特征属性值计算得到码率估计值；
调整模块，接收端或发送端根据码率估计值进行调整。
5.根据权利要求4所述的一种基于AI的拥塞控制装置，其特征在于：所述网络状态包括接收端网络状态以及发送端网络状态；
所述接收端网络状态：
接收端网络状态Srk由接收码率状态RBk、丢包状态Lk及相对时延状态Dk组成，Srk＝(RBk,Lk,Dk)；
使用二元组<μrbk,σrbk>定义接收码率RBk，μrbk表示接收码率平均值，σrbk表示接收码率在周期内的标准差；第k个周期内的接收码率用{rb1,rb2,…,rbn}表示，则μrbk和σrbk的计算公式如下：
Figure FDA0002700758040000041
Figure FDA0002700758040000051
丢包率状态
Figure FDA0002700758040000052
Packet_loss＝Expect_packet-Receive_packet
Expect_packet＝Max_sequence_num-Last_max_sequence_num
其中，Receive_packet为接收端接收报文数量，Max_sequence_num是本阶段最大传输层序列号，根据rtp报文中的扩展字段得到，Last_max_sequence_num为上阶段最大传输层序列号；传输层序列号不区分rtp报文种类，无论是正常报文还是重传报文，每发送一个rtp包，传输层序列号都会加1；
用三元组<μlk,σlk,ωlk>定义丢包状态Lk，μlk表示丢包率平均值，σlk表示丢包率标准差，ωlk表示丢包率的变化趋势；若第k个周期内的丢包率用{l1,l2,…,ln}表示，ln表示第n个丢包率状态值，每个丢包率对应的采样顺序用{x1,x2,…,xn}表示，则认为存在线性函数f(xi)，f(xi)＝ωlkxi+b，使得f(xi)≈li；
利用最小二乘法求解ωlk和b使得
Figure FDA0002700758040000053
最小化，得到
Figure FDA0002700758040000054
相对时延状态用来判别网络状态；第i个rtp报文在网络中的传输时延Ti，公式为Ti＝Ri-Si；其中Ri是接收时间，Si是发送时间；发送时间通过rtp扩展字段获取；
两个包之间的相对时延Di为Di＝Ti-Ti-1；
用三元组<μdk,σdk,ωdk>定义相对时延状态Dk，μdk表示相对时延均值，σdk表示相对时延标准差，ωdk表示相对时延的变化趋势；其计算方式和丢包率状态计算方式相同；
所述发送端状态：
发送端通过rtcp报文信息以及本端收集并计算的信息得知网络状态；所述rtcp报文信息包括：丢包率、RTT、接收端请求码率；所述本端收集并计算的信息包括：发送码率、发送码率与接收码率的差值；以此作为发送端网络环境状态Ssk；Ssk＝(QBk,DBk,Lk,RTTk)；
其中QBk为接收端请求码率状态，DBk为发送码率均值和请求码率的差值，Lk为丢包率状态，RTTk为RTT状态；对这4个状态值均用三元组<μk,δk,ωk>表示；RTT的计算公式为：RTT＝A-DLSR-LSR；
其中，A为收到RR报文的时间，DLSR为接收端收到SR报文到发送RR报文的间隔时间，LSR为上次发送SR报文时间，RTT即为rtcp报文在网络中的往返时间。
6.根据权利要求4所述的一种基于AI的拥塞控制装置，其特征在于：所述奖励计算器包括接收端奖励以及发送方奖励；
奖励reward的计算公式为：Rri＝RB-wr1×L-wr2×D；
发送端的奖励reward的计算公式为:Rsi＝SB-ws1×L-ws2×D；
其中，SB为发送码率，L为丢包率，DB为发送码率的差值，RB为接收码率，L为丢包率，D为延时时间，wr1和wr2表示接收端奖励计算的两个参数，wr1为丢包率的权重系数，wr2为时延的权重系数；ws1和ws2表示发送端奖励计算的两个参数，ws1表示丢包率的权重系数，ws2表示发送码率变化值的权重系数。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至3任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至3任一项所述的方法。
CN202011021516.6A 2020-09-25 2020-09-25 一种基于ai的拥塞控制方法、装置、设备和介质 Active CN112311690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011021516.6A CN112311690B (zh) 2020-09-25 2020-09-25 一种基于ai的拥塞控制方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011021516.6A CN112311690B (zh) 2020-09-25 2020-09-25 一种基于ai的拥塞控制方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN112311690A true CN112311690A (zh) 2021-02-02
CN112311690B CN112311690B (zh) 2022-12-06

Family

ID=74489027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011021516.6A Active CN112311690B (zh) 2020-09-25 2020-09-25 一种基于ai的拥塞控制方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN112311690B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116156228A (zh) * 2023-01-28 2023-05-23 北京邮电大学 一种码率自适应选择方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109743600A (zh) * 2019-01-15 2019-05-10 国网河南省电力公司 基于可穿戴的现场运维自适应视频流传输速率控制方法
CN110337082A (zh) * 2019-04-22 2019-10-15 北京邮电大学 基于环境感知学习策略的家禽饲养监测无线传感网络发送速率调整方法
CN110581808A (zh) * 2019-08-22 2019-12-17 武汉大学 一种基于深度强化学习的拥塞控制方法及系统
CN111193673A (zh) * 2020-04-10 2020-05-22 亮风台（上海）信息科技有限公司 数据传输速率控制方法、系统和用户设备
WO2020104047A1 (en) * 2018-11-21 2020-05-28 Telefonaktiebolaget Lm Ericsson (Publ) First node, second node, third node, and methods performed thereby, for handling data traffic
CN111314022A (zh) * 2020-02-12 2020-06-19 四川大学 一种基于强化学习和喷泉码的屏幕更新传输方法
CN111416774A (zh) * 2020-03-17 2020-07-14 深圳市赛为智能股份有限公司 网络拥塞控制方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020104047A1 (en) * 2018-11-21 2020-05-28 Telefonaktiebolaget Lm Ericsson (Publ) First node, second node, third node, and methods performed thereby, for handling data traffic
CN109743600A (zh) * 2019-01-15 2019-05-10 国网河南省电力公司 基于可穿戴的现场运维自适应视频流传输速率控制方法
CN110337082A (zh) * 2019-04-22 2019-10-15 北京邮电大学 基于环境感知学习策略的家禽饲养监测无线传感网络发送速率调整方法
CN110581808A (zh) * 2019-08-22 2019-12-17 武汉大学 一种基于深度强化学习的拥塞控制方法及系统
CN111314022A (zh) * 2020-02-12 2020-06-19 四川大学 一种基于强化学习和喷泉码的屏幕更新传输方法
CN111416774A (zh) * 2020-03-17 2020-07-14 深圳市赛为智能股份有限公司 网络拥塞控制方法、装置、计算机设备及存储介质
CN111193673A (zh) * 2020-04-10 2020-05-22 亮风台（上海）信息科技有限公司 数据传输速率控制方法、系统和用户设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116156228A (zh) * 2023-01-28 2023-05-23 北京邮电大学 一种码率自适应选择方法及装置

Also Published As

Publication number Publication date
CN112311690B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN110875915B (zh) 数据传输方法及装置
CN106067847B (zh) 一种语音数据传输方法及装置
US20030165150A1 (en) Multi-threshold smoothing
CN106454437B (zh) 一种流媒体业务速率预测方法及装置
EP2775673B1 (en) Content reproduction information estimating device, method and program
EP3393125B1 (en) Audio/visual quality estimation device, method for estimating audio/visual quality, and program
JP5303215B2 (ja) 干渉プラス雑音のレベルを推定するための方法および装置、ならびにコンピュータプログラム
CN113473185B (zh) 基于视频流关键帧突发特性的可用带宽探测方法及装置
CN111741249A (zh) 一种网络拥塞检测方法及装置
CN112087627B (zh) 图像的编码控制方法、装置、设备及存储介质
CN103312469B (zh) 组播重传中的确认代表选择方法及装置
JP2008005108A (ja) 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム
CN110072130A (zh) 一种基于http/2的has视频切片推送方法
CN112311690B (zh) 一种基于ai的拥塞控制方法、装置、设备和介质
CN110620939B (zh) 一种网络状态确定方法、装置、电子设备及存储介质
JP2007060475A (ja) ユーザ体感品質推定装置、方法、およびプログラム
CN113364698A (zh) 带宽估计方法、系统、电子设备与存储介质
JP5533177B2 (ja) パケットロス率推定装置、パケットロス率推定方法、パケットロス率推定プログラム、及び、通信システム
CN116566919A (zh) 带宽探测方法、装置、电子设备及存储介质
CN104579582A (zh) 一种基于通信网络的高质量语音传输方法
JP3579334B2 (ja) 主観品質推定方法、主観品質推定装置、揺らぎ吸収許容時間推定方法、および揺らぎ吸収許容時間推定装置
EP2188967B1 (en) Data packet frequency
CN112367271B (zh) 基于ai的拥塞控制特征提取方法、装置、设备和介质
JP2004172706A (ja) パケット損失率測定方法及びシステム
Park et al. Buffer-based rate adaptation scheme for HTTP video streaming with consistent quality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant