CN114024906B - 优化视频传输用户体验质量的流量控制方法、装置和系统 - Google Patents

优化视频传输用户体验质量的流量控制方法、装置和系统 Download PDF

Info

Publication number
CN114024906B
CN114024906B CN202111193250.8A CN202111193250A CN114024906B CN 114024906 B CN114024906 B CN 114024906B CN 202111193250 A CN202111193250 A CN 202111193250A CN 114024906 B CN114024906 B CN 114024906B
Authority
CN
China
Prior art keywords
code rate
congestion control
control model
moment
rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111193250.8A
Other languages
English (en)
Other versions
CN114024906A (zh
Inventor
张欢欢
周安福
李超越
马华东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202111193250.8A priority Critical patent/CN114024906B/zh
Publication of CN114024906A publication Critical patent/CN114024906A/zh
Application granted granted Critical
Publication of CN114024906B publication Critical patent/CN114024906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Abstract

本发明提供一种优化视频传输用户体验质量的流量控制方法、装置和系统，所述方法包括：获得网络传输数据包的丢包率、延时间隔和当前时刻码率，并利用基于固定映射规则的算法预测下一时刻的目标码率；将包含所述丢包率、延时间隔和预测的下一时刻的目标码率的训练数据输入基于神经网络的拥塞控制模型，输出码率系数，基于码率系数与当前时刻的码率获得下一时刻码率预测值，对所述拥塞控制模型进行训练；获得网络传输数据包的丢包率、延时间隔和当前时刻码率，将获得的丢包率和延时间隔输入经训练的拥塞控制模型，基于输出的码率系数与当前时刻的码率获得下一时刻码率预测值，并将获得的下一时刻码率预测值应用于下一时刻数据包的传输。

Description

优化视频传输用户体验质量的流量控制方法、装置和系统
技术领域
本发明涉及数据网络传输技术领域，尤其涉及一种基于神经网络的拥塞控制模型优化视频传输用户体验质量的流量控制方法、装置和系统。
背景技术
近年来，随着互联网应用的普及，传统的网络文件、图片、语音、视频的传输已经全面覆盖人们的网络生活。实时视频、短视频、智能自动驾驶、远程医疗等新兴应用进一步对网络传输性能提出了前所未有的高要求。另一方面，现如今无线网络发展非常迅猛、网络状况异构性较强、动态性强，网络带宽也具有较强的波动性和难预测性，这导致在数据网络传输过程中，会经常性的发生拥塞、延迟等影响用户体验质量的问题。
当前，实时视频的传输通常基于网页即时通信(Web Real-Time Communication，WebRTC)协议，WebRTC是一个支持网页浏览器进行实时语音对话或视频对话的API。WebRTC虽然冠以“Web”之名，但并不受限于传统互联网应用或浏览器的终端运行环境。实际上无论终端运行环境是浏览器、桌面应用、移动设备或是物联网(IoT)设备，只要IP连接可到达且符合WebRTC规范就可以使用其进行通信。WebRTC框架中的传输控制算法采用了谷歌拥塞控制(Google congestion control，GCC)算法。具体来讲，GCC算法是一种基于固定映射规则的算法，通过解析网络数据包中的数据信息得到丢包率以及延迟间隔这两个重要网络信息，并根据动态的阈值来分别预测下一时刻的码率。基于固定映射规则的拥塞控制算法分为两部分：基于丢包率预测一个码率以及基于延时预测一个码率，然后两者进行优化取小操作。GCC算法虽然在一定程度上保证了下一时刻码率的准确性，但由于GCC算法的很多超参数是依靠经验所设定，独特的规则在一定程度上会导致算法呈现保守估计带宽的现象，从而浪费带宽资源，会导致卡顿、延时、回声、丢包、多人视频不稳定等问题。
可见，基于固定规则的网络传输控制算法虽然已经非常娴熟的应用到各种网络传输应用，但是，由于网络异构导致的网络波动变化极强，预测网络带宽仍然是一个非常有挑战性的问题。发明人通过调研发现基于规则的码率预测在实时的流传输中还有待进一步提升或者改进。
发明内容
针对现有技术中基于固定规则的拥塞控制算法存在的问题，本发明实施例提供了一种优化视频传输用户体验质量的流量控制方法和系统，以基于在线深度模仿学习算法设计，将基于固定规则的拥塞控制算法设计为基于神经网络的智能化形式，通过神经网络使其对带宽波动更加敏感以此动态调整下一时刻预测码率来提高用户的视觉体验。
本发明的一个方面提供了一种优化视频传输用户体验质量的流量控制方法，该方法包括以下步骤：
实时获得网络传输数据包的丢包率、延时间隔和当前时刻码率，并利用基于固定映射规则的算法预测下一时刻的目标码率；
将包含所述丢包率、延时间隔和预测的下一时刻的码率的训练数据输入预先建立的基于神经网络的拥塞控制模型，输出下一时刻的码率系数，基于输出的码率系数与当前时刻的码率获得下一时刻码率预测值，并基于获得的下一时刻码率预测值与所述训练数据中的下一时刻的目标码率对所述基于神经网络的拥塞控制模型进行训练，以获得经训练的拥塞控制模型；
实时获得网络传输数据包的丢包率、延时间隔和当前时刻码率，将获得的丢包率和延时间隔输入所述经训练的拥塞控制模型，基于所述经训练的拥塞控制模型输出的下一时刻的码率系数与当前时刻的码率获得下一时刻码率预测值，并将获得的下一时刻码率预测值应用于下一时刻数据包的传输。
在本发明的一些实施例中，所述丢包率和延时间隔是基于网络传输的数据包的接收端的周期性数据包的确认消息计算得到的。
在本发明的一些实施例中，所述基于神经网络的拥塞控制模型包括两个独立的连接层，每个连接层具有16个神经元，所述拥塞控制模型的激活函数为leaky-Relu激活函数。
在本发明的一些实施例中，所述基于神经网络的拥塞控制模型的损失函数为加权交叉熵损失函数，所述加权交叉熵损失函数对交叉熵损失函数进行加权得到的，所述交叉熵损失函数的权重因子是通过在拥塞控制模型的训练阶段将所述码率预测值与所述目标码率作差取平方得到的。
在本发明的一些实施例中，所述基于输出的码率系数与所述当前时刻的码率获得码率预测值，包括：将输出的码率系数与所述当前时刻的码率相乘，获得所述码率预测值。
在本发明的一些实施例中，所述基于固定映射规则的算法为谷歌拥塞控制算法。
本发明的另一方面提供了一种优化视频传输用户体验质量的流量控制装置，所述该装置包括：处理器和存储器，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。
本发明的另一方面提供了一种优化视频传输用户体验质量的流量控制系统，该系统位于数据发送端且包括：控制平台和基于网页即时通信(WebRTC)协议的数据发送装置；
所述控制平台用于执行以下操作：
实时获得网络传输数据包的丢包率、延时间隔和当前时刻码率；
在训练阶段利用基于固定映射规则的算法预测下一时刻的目标码率，将实时获得的丢包率、延时间隔和预测的下一时刻的目标码率输入预先建立的基于神经网络的拥塞控制模型，输出下一时刻的码率系数，基于输出的码率系数与当前时刻的码率获得下一时刻码率预测值，并基于获得的下一时刻码率预测值与所述训练数据中的下一时刻的目标码率对所述基于神经网络的拥塞控制模型进行训练，以获得经训练的拥塞控制模型；
在测试阶段将实时获得的丢包率和延时间隔输入所述经训练的拥塞控制模型，基于所述经训练的拥塞控制模型输出的下一时刻的码率系数与当前时刻码率获得下一时刻码率预测值，并将获得的下一时刻码率预测值传送给所述数据发送装置；
所述数据发送装置基于来自所述控制平台的下一时刻码率预测值进行下一时刻数据包的传输。
本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述方法的步骤。
本发明的优化视频传输用户体验质量的流量控制方法、装置和系统，提出了一种基于深度模仿学习的框架来代替现有基于规则的拥塞控制算法的方法，通过将当前时刻的网络状态信息输入到轻量级的训练好的模型当中来合理预测下一时刻的码率，舍弃了基于规则的拥塞控制算法的复杂的逻辑判断。同时能够自动调整码率使得适合下一时刻的网络波动，在在线训练过程中，基于神经网络的拥塞控制模型能够很快的找到码率的特征，从而动态调整下一时刻的码率，可以有效的降低用户体验质量(QoE)性能长尾效应(如降低卡顿、延迟等指标的高范围区域)，在测试以及实际部署中都有良好的效果。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。附图中：
图1为本发明一实施例中基于固定规则的流量控制算法的智能化过程示意图。
图2为本发明一实施例中优化视频传输用户体验质量的流量控制方法的流程示意图。
图3为本发明一实施例中模仿学习模型的整体架构示意图。
图4为本发明一实施例中算法的模仿学习模型的神经网络结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
本发明主要专注于实时视频的传输优化网络的传输过程，其主要依赖于网络传输控制算法(或称作流量控制算法，简称流控算法，也可称为拥塞控制算法)。本发明针对现有技术中基于固定规则的流量控制算法存在的问题，提出了一种基于深度模仿学习框架的智能模型来代替现有基于规则的流量控制算法，通过将基于规则的流量控制算法映射为具有深度特征能力的深度学习算法，使其具有特征表征能力的同时，还能保持带宽预测算法，通过神经网络的高级表达能力，使其可以更好地对网络变化做出及时反应与预测。
本发明实施例以谷歌拥塞控制GCC算法为例，提出了一种基于神经网络的拥塞控制模型优化视频传输的智能化流量控制方案。在该方案中，如图1所示，将基于固定映射规则的GCC算法(图1中虚框所示)设计为基于神经网络的智能化模型(图1中实线框所示，也可称为基于神经网络的拥塞控制模型、神经网络模型、智能化拥塞控制模型和模仿学习模型)形式，即用神经网络的特征层代替现有复杂的算法逻辑。但本发明并不限于GCC算法，而是同样可以将其他基于固定映射规则的流量控制算法利用深度模仿学习的框架进行智能化。
与传统的GCC算法基于规则来预测码率的方式不同，本发明的智能化方法没有复杂的逻辑判断，通过将获得的当前时刻的丢包率和延时间隔这两个特征输入基于神经网络的拥塞控制模型，便可的最适合下一时刻的码率。更具体的技术方案如下：神经网络模型利用输入的丢包率和延时间隔信息合理预测出下一时刻的码率系数，通过与当前时刻的码率进行相乘操作，来得到最佳码率的预测值，这样可以让整体码率处在一个既安全又适合的范围。
图2所示为本发明一实施例中优化视频传输用户体验质量的流量控制方法的流程示意图，如图2所示，该流量控制方法包括步骤S110-S130：
在步骤S110，获得网络传输数据包的丢包率、延时间隔和当前时刻码率，并利用基于固定映射规则的算法预测下一时刻的目标码率。
本发明实施例中，丢包率和延时间隔可以由数据发送端基于网络传输的数据包的接收端反馈的周期性数据包确认消息(ACK)计算得到。
为了利用基于固定映射规则的算法的码率预测结果来对本发明的神经网络模型进行训练，以使得神经网络模型学习到现有的基于固定映射规则的算法的流量控制功能，在本步骤中，还利用基于固定映射规则的算法预测下一时刻的目标码率，以放入训练数据用于训练神经网络模型(基于神经网络的拥塞控制模型)。本发明实施例中，基于固定映射规则的算法为GCC算法，但本发明不仅限于此种算法，还可以是其他基于固定映射规则的算法。
在步骤S120，将包含所述丢包率、延时间隔和预测的下一时刻的目标码率的训练数据输入预先建立的基于神经网络的拥塞控制模型，输出下一时刻的码率系数，基于输出的码率系数与当前时刻的码率获得下一时刻码率预测值，并基于获得的下一时刻码率预测值与所述训练数据中的下一时刻的目标码率对所述基于神经网络的拥塞控制模型进行训练，以获得经训练的拥塞控制模型。
本步骤为基于神经网络的拥塞控制模型的训练步骤。该拥塞控制模型所采用的模仿学习是一种有专家指导的监督学习模式。本发明可以较容易的从WebRTC框架中得出关键数据(丢包率和延时间隔)和专家标签(基于规则的GCC预测的下一时刻的目标码率)，将关键数据和专家标签作为训练数据来在模型训练过程中对智能化拥塞控制模型进行训练。训练完成后，在实际部署中便不再需要基于规则的GCC给出标签。
在本发明实施例中，优选采用在线训练的方式在真实网络传输系统中进行训练。在这种情况下，在训练过程中，在真实网络传输系统上训练神经网络模型，实时系统使用预测出的码率进行数据传输。更具体地，在训练阶段，深度模仿学习神经网络根据给定的输入学习特征(丢包率和延时间隔)，并将通过现有GCC得到的真实标签(现有GCC算法预测的下一时刻的目标码率)作为专家的指导从迭代学习中调整神经网络参数并生成合适的码率系数，也即，本发明的智能化模型通过模仿学习现有GCC来利用大量的真实数据集训练出高级语义特征，继而根据实时的信息输入提取其中隐藏的特征来对观察到的环境做出判断来选择一个合适的码率系数，通过将码率系数乘以当前时刻的码率得出下一时刻码率预测值。
下面描述本发明实施例中智能化拥塞控制模型的输入输出、神经网络结构及训练方法。
(1)智能化拥塞控制模型的输入输出
本发明将智能化拥塞控制模型看作WebRTC框架与应用程序组成的环境交互的代理(agent)。WebRTC框架与应用程序交互的过程被连续的时间间隔所离散化，智能化拥塞控制模型的输入表示为两部分，一部分可以是丢包率的序列l,另一部分可以是延时间隔的序列d。两部分输入都可以根据接收端向发送端反馈的周期性数据包ACK计算得到。智能化拥塞控制模型接下来按照从训练中学习到的策略先将状态进行拼接聚合，然后映射到一个参数，即图3所示的预测变化系数(也即码率系数)，然后与当前时刻的码率相乘获得下一时刻码率预测值，基于该下一时刻的码率预测值与现有GCC算法预测的下一时刻的目标码率的差距来优化神经网络参数，同时，网络传输系统将按照智能化拥塞控制模型预测的下一时刻的码率进行网络数据传输，接收端会将计算出的新一轮次网络信息进行反馈，发送端并解析获得新的丢包率、延时间隔等信息，组成新的输入，输入到神经网络后产生新的动作。系统如此循环往复进行模型的训练和更新。
根据图3所示的基于神经网络的拥塞控制模型的整体架构，数据发送端的数据实时传输系统10包括控制平台11和基于WebRTC协议的数据发送装置12。智能化拥塞控制模型建立在控制平台中，智能化拥塞控制模型的在线训练过程如下：
如图3所示，控制平台基于接收端反馈的数据包确认消息(ACK)获得丢包率和延时间隔等关键数据，从发送装置获得网络传输数据包的当前时刻码率等信息，并利用现有GCC算法预测到下一时刻的目标码率之后，控制平台将实时获得的丢包率、延时间隔和预测的下一时刻的目标码率输入预先建立的基于神经网络的拥塞控制模型，输出下一时刻的码率系数，基于输出的码率系数与当前时刻的码率获得下一时刻码率预测值，并基于获得的下一时刻码率预测值与所述训练数据中的下一时刻的目标码率对所述基于神经网络的拥塞控制模型进行训练，通过循环迭代，来完成拥塞控制模型的训练。
在本发明实施例中，发送端的控制平台可解析RTCP数据包并提取关键信息并传入基于神经网络的拥塞控制模型，使用基于神经网络的拥塞控制模型输出的预测码率，可打印log日志。控制平台使用智能模型预测码率并回传给数据发送装置，以供数据发送装置使用。
在本发明的监督模仿学习模型中，目标是得出一个新的策略，使前一轮策略造成的预期模仿损失最小化。为了避免灾难性的码率预测出现，本发明一些实施例在训练过程中引入了两种特定化的设计：
(1)舍弃了传统的直接预测码率的方案，改用预测码率系数的方案，目标码率由此码率系数乘以当前时刻的码率得出，这避免了基于神经网络的拥塞控制模型可能产生的随机性码率预测，从而将码率整体控制在安全的范围内；
(2)本发明设计了一个独特的模仿学习损失函数来取代传统的交叉熵损失函数，具体实现为：加权交叉熵损失函数，即给损失函数一个惩罚因子，当预测结果比较接近时，惩罚因子影响较小，当预测结果差距较大时，惩罚因子影响将呈指数形式增长以纠正神经网络的错误预测。监督分类任务通常是基于交叉熵损失函数H(g，p)进行训练的，
Figure BDA0003302018730000071
其中，p是神经网络输出的每个系数x的概率分布，g是对应的专家标签。本发明实施例中的专家标签为由基于固定映射规则的算法预测的下一时刻的目标码率。对于基于神经网络的拥塞控制模型，即使大的预测偏差偶尔发生，也可能对传输质量造成损害。因此本发明提出的加权交叉熵用以惩罚此类情况的发生，于是对损失函数加入了参数w作为权重因子。w的计算方法为：预测结果πθ与专家标签πi作差值取平方，即：
W＝(πθ(i)-πi)2；
然后将参数w与H(g，p)进行乘法操作，得到最终的损失函数L：
L＝W*H(g，p)。
图4为本发明一实施例智能化模型的神经网络结构示意图，如图4所示，本发明实施例中神经网络采用两个独立的全连接层来提取隐藏在不同输入中的特征(丢包率1和延时间隔d)，每个全连接层例如可使用大小为16的神经元提取隐式特征。提取的特征经过leaky-Relu激活函数输入到特征层，此激活函数可以在整个训练阶段保持非零梯度，有效地避免了梯度消失，同时可以加快训练时间。紧接着，智能化模型的神经网络将上述两种特征进行融合，然后将融合后的特征经过两个全连接层进行混合特征提取，激活函数选择softmax激活函数进行回归，输出一个概率向量，通过选择最大概率的值确定最后的预测结果。基于神经网络的拥塞控制模型的学习率以指数衰减方式调整，初始值经验性设为0.002，斜率设为0.6。可使用批处理大小为16的Adam优化器对智能化模型进行训练。图4所示的神经网络结构仅为示例，本发明并不限于此。
步骤S130，将训练好的基于神经网络的拥塞控制模型应用到实时传输系统当中进行拥塞控制。
更具体地，在本步骤中，在传输网络传输数据包的过程中，获得网络传输数据包的丢包率、延时间隔和当前时刻码率，将获得的丢包率和延时间隔输入所述经训练的拥塞控制模型，基于该经训练的拥塞控制模型输出的下一时刻的码率系数与当前时刻的码率获得下一时刻码率预测值，以将获得的下一时刻码率预测值应用于下一时刻数据包的传输。
如图3所示，接收端基于实时接收的数据包产生确认消息给发送端的控制平台，控制平台将接收的数据进行解析，解析完成后得到丢包率和延时间隔，将两个特征输入到训练好的基于神经网络的拥塞控制模型当中，利用神经网络基于输入的两个特征进行码率系数的预测，此时不再需要基于固定映射规则的谷歌拥塞控制算法可以直接输出预测码率系数，将输出的码率系数与当前时刻的码率相乘，从而获得下一时刻码率目标值，流量控制系统的数据发送装置按照获得的下一时刻码率目标值进行网络数据传输，接收端会将计算出的新一轮次的网络信息向发送端进行反馈，发送端接收并解析获得的新的丢包率、延时间隔等信息，组成新的输入，输入到已训练好的基于神经网络的拥塞控制模型，产生新的预测输出，如此循环，直到数据包传输结束。
如上所述的基于神经网络的拥塞控制模型可以有效的降低QoE性能长尾效应，且可以延伸至任意网络传输算法，即，将任意网络传输算法利用神经网络模型来实现。本发明定制的深度学习神经网络模型通过对反馈包解析出的网络数据信息进行特征提取并通过在线训练，可以在真正的基于规则的现有拥塞控制算法指导下进行学习，通过训练过程可将得到的码率可运用于真实系统。本发明通过将当前时刻的网络状态信息输入到轻量级的训练好的模型当中来合理预测下一时刻的码率，舍弃了基于规则的拥塞控制算法的复杂的逻辑判断。同时能够自动调整码率使得适合下一时刻的网络波动，在在线训练过程中，基于神经网络的拥塞控制模型能够很快的找到码率的特征，从而动态调整下一时刻的码率，可以有效的降低用户体验质量(QoE)性能长尾效应(如降低卡顿、延迟等指标的高范围区域)，在测试以及实际部署中都有良好的效果。
与上述方法相应地，本发明还提供了一种优化视频传输用户体验质量的流量控制装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。
本发明实施例还提供了一种优化视频传输用户体验质量的流量控制系统，该系统位于数据发送端且包括：控制平台和基于网页即时通信WebRTC协议的数据发送装置；
所述控制平台用于执行以下操作：
实时获得网络传输数据包的丢包率、延时间隔和当前时刻码率；
在训练阶段利用基于固定映射规则的算法预测下一时刻的目标码率，将实时获得的丢包率、延时间隔和预测的下一时刻的目标码率输入预先建立的基于神经网络的拥塞控制模型，输出下一时刻的码率系数，基于输出的码率系数与当前时刻的码率获得下一时刻码率预测值，并基于获得的下一时刻码率预测值与所述训练数据中的下一时刻的目标码率对所述基于神经网络的拥塞控制模型进行训练，以获得经训练的拥塞控制模型；
在测试阶段将实时获得的丢包率和延时间隔输入所述经训练的拥塞控制模型，基于所述经训练的拥塞控制模型输出的下一时刻的码率系数与当前时刻码率获得下一时刻码率预测值，并将获得的下一时刻码率预测值传送给所述数据发送装置；
所述数据发送装置基于来自所述控制平台的下一时刻码率预测值进行下一时刻数据包的传输。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种优化视频传输用户体验质量的流量控制方法，其特征在于，该方法包括以下步骤：
实时获得网络传输数据包的丢包率、延时间隔和当前时刻码率，并利用基于固定映射规则的算法预测下一时刻的目标码率；
将包含所述丢包率、延时间隔和预测的下一时刻的目标码率的训练数据输入预先建立的基于神经网络的拥塞控制模型，输出下一时刻的码率系数，基于输出的码率系数与当前时刻的码率相乘获得下一时刻码率预测值，并基于获得的下一时刻码率预测值与所述训练数据中的下一时刻的目标码率对所述基于神经网络的拥塞控制模型进行训练，以获得经训练的拥塞控制模型；
实时获得网络传输数据包的丢包率、延时间隔和当前时刻码率，将获得的丢包率和延时间隔输入所述经训练的拥塞控制模型，基于所述经训练的拥塞控制模型输出的下一时刻的码率系数与当前时刻的码率获得下一时刻码率预测值，将获得的下一时刻码率预测值应用于下一时刻数据包的传输。
2.根据权利要求1所述的方法，其特征在于，所述丢包率和延时间隔是基于网络传输的数据包的接收端的周期性数据包的确认消息计算得到的。
3.根据权利要求1所述的方法，其特征在于，所述基于神经网络的拥塞控制模型包括两个独立的连接层，每个连接层具有16个神经元，所述拥塞控制模型的激活函数为leaky-Relu激活函数。
4.根据权利要求3所述的方法，其特征在于，所述基于神经网络的拥塞控制模型的损失函数为加权交叉熵损失函数，所述加权交叉熵损失函数是对交叉熵损失函数进行加权得到的，所述交叉熵损失函数的权重因子是通过在拥塞控制模型的训练阶段将所述码率预测值与所述目标码率作差取平方得到的。
5.根据权利要求1所述的方法，其特征在于，所述基于固定映射规则的算法为谷歌拥塞控制算法。
6.一种优化视频传输用户体验质量的流量控制装置，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1至5中任一项所述方法的步骤。
7.一种优化视频传输用户体验质量的流量控制系统，其特征在于，该系统位于数据发送端且包括：控制平台和基于网页即时通信WebRTC协议的数据发送装置；
所述控制平台用于执行以下操作：
实时获得网络传输数据包的丢包率、延时间隔和当前时刻码率；
在训练阶段利用基于固定映射规则的算法预测下一时刻的目标码率，将包含所述丢包率、延时间隔和预测的下一时刻的目标码率的训练数据输入预先建立的基于神经网络的拥塞控制模型，输出下一时刻的码率系数，基于输出的码率系数与当前时刻的码率相乘获得下一时刻码率预测值，并基于获得的下一时刻码率预测值与所述训练数据中的下一时刻的目标码率对所述基于神经网络的拥塞控制模型进行训练，以获得经训练的拥塞控制模型；
在测试阶段将实时获得的丢包率和延时间隔输入所述经训练的拥塞控制模型，基于所述经训练的拥塞控制模型输出的下一时刻的码率系数与当前时刻码率获得下一时刻码率预测值，并将获得的下一时刻码率预测值传送给所述数据发送装置；
所述数据发送装置基于来自所述控制平台的下一时刻码率预测值进行下一时刻数据包的传输。
8.根据权利要求7所述的系统，其特征在于，所述基于神经网络的拥塞控制模型包括两个独立的连接层，每个连接层具有16个神经元，所述拥塞控制模型的激活函数为leaky-Relu激活函数。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。
CN202111193250.8A 2021-10-13 2021-10-13 优化视频传输用户体验质量的流量控制方法、装置和系统 Active CN114024906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111193250.8A CN114024906B (zh) 2021-10-13 2021-10-13 优化视频传输用户体验质量的流量控制方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111193250.8A CN114024906B (zh) 2021-10-13 2021-10-13 优化视频传输用户体验质量的流量控制方法、装置和系统

Publications (2)

Publication Number Publication Date
CN114024906A CN114024906A (zh) 2022-02-08
CN114024906B true CN114024906B (zh) 2022-06-17

Family

ID=80055953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111193250.8A Active CN114024906B (zh) 2021-10-13 2021-10-13 优化视频传输用户体验质量的流量控制方法、装置和系统

Country Status (1)

Country Link
CN (1) CN114024906B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174967A (zh) * 2022-07-04 2022-10-11 山东衡昊信息技术有限公司 一种基于带宽预估的码率动态分配方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438031A (zh) * 2017-08-07 2017-12-05 成都三零凯天通信实业有限公司 多信道自适应网络带宽的音视频流传输控制方法及系统
CN109982118A (zh) * 2019-03-27 2019-07-05 北京奇艺世纪科技有限公司 一种视频码率自适应调整方法、装置及电子设备
CN111901642A (zh) * 2020-07-31 2020-11-06 成都云格致力科技有限公司 基于强化学习的实时视频码率自适应调控方法与系统
CN112954414A (zh) * 2021-02-09 2021-06-11 睿云联(厦门)网络通讯技术有限公司 一种流媒体传输优化方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107438031A (zh) * 2017-08-07 2017-12-05 成都三零凯天通信实业有限公司 多信道自适应网络带宽的音视频流传输控制方法及系统
CN109982118A (zh) * 2019-03-27 2019-07-05 北京奇艺世纪科技有限公司 一种视频码率自适应调整方法、装置及电子设备
CN111901642A (zh) * 2020-07-31 2020-11-06 成都云格致力科技有限公司 基于强化学习的实时视频码率自适应调控方法与系统
CN112954414A (zh) * 2021-02-09 2021-06-11 睿云联(厦门)网络通讯技术有限公司 一种流媒体传输优化方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于嵌入式的PSO-BP神经网络码率控制算法研究;邢钰莹等;《电子测量技术》;20200208(第03期);全文 *

Also Published As

Publication number Publication date
CN114024906A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
Yang et al. Semantic communications for future internet: Fundamentals, applications, and challenges
US11790238B2 (en) Multi-task neural networks with task-specific paths
KR102422729B1 (ko) 학습 데이터 증강 정책
CN109496320B (zh) 具有架构师模块的人工智能引擎
Zhang et al. New agent-based proactive migration method and system for big data environment (BDE)
US11907675B2 (en) Generating training datasets for training neural networks
RU2708941C1 (ru) Способ и устройство распознавания сегментированных предложений для человеко-машинной интеллектуальной вопросно-ответной системы
Huang et al. Learning tailored adaptive bitrate algorithms to heterogeneous network conditions: A domain-specific priors and meta-reinforcement learning approach
CN114511472B (zh) 一种视觉定位方法、装置、设备及介质
Behzadan et al. Mitigation of policy manipulation attacks on deep q-networks with parameter-space noise
Pacheco et al. Inference time optimization using branchynet partitioning
CN114024906B (zh) 优化视频传输用户体验质量的流量控制方法、装置和系统
CN109919302B (zh) 一种用于图像的神经网络的训练方法及装置
Wei et al. Throughput prediction using recurrent neural network model
CN110598871A (zh) 一种微服务架构下的业务流柔性控制的方法及系统
CN114090108B (zh) 算力任务执行方法、装置、电子设备及存储介质
Wang et al. Network Meets ChatGPT: Intent Autonomous Management, Control and Operation
WO2021169478A1 (zh) 神经网络模型的融合训练方法及装置
WO2021064766A1 (ja) 制御装置、方法及びシステム
CN114039916B (zh) 面向实时视频质量优化的深度混合模型流量控制方法、装置和存储介质
Hong et al. Machine learning-based adaptive CSI feedback interval
CN115965078A (zh) 分类预测模型训练方法、分类预测方法、设备及存储介质
CN115499365A (zh) 路由优化方法、装置、设备及介质
JP7251647B2 (ja) 制御装置、制御方法及びシステム
Li et al. Graph reinforcement learning-based cnn inference offloading in dynamic edge computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant