CN111669617B - 一种基于智能边缘的直播视频流的传输方法 - Google Patents
一种基于智能边缘的直播视频流的传输方法 Download PDFInfo
- Publication number
- CN111669617B CN111669617B CN202010265413.8A CN202010265413A CN111669617B CN 111669617 B CN111669617 B CN 111669617B CN 202010265413 A CN202010265413 A CN 202010265413A CN 111669617 B CN111669617 B CN 111669617B
- Authority
- CN
- China
- Prior art keywords
- bit rate
- video
- video block
- intelligent edge
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000005540 biological transmission Effects 0.000 title claims abstract description 24
- 230000002787 reinforcement Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000008447 perception Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- MOYKHGMNXAOIAT-JGWLITMVSA-N isosorbide dinitrate Chemical compound [O-][N+](=O)O[C@H]1CO[C@@H]2[C@H](O[N+](=O)[O-])CO[C@@H]21 MOYKHGMNXAOIAT-JGWLITMVSA-N 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种基于智能边缘的直播视频流的传输方法，所述方法。智能边缘接收到视频块下载请求时，获取下载请求所处网络的网络状态信息；所述智能边缘根据所述网络状态信息确定该视频块对应的比特率，并从服务端获取到所述比特率的视频块；所述智能边缘将获取到视频块下发至所述视频块对应的用户集群中的每个用户端。本发明通过在靠近用户端侧设置智能边缘，所述智能边缘获取下载请求对应的用户端所处网络的网络状态信息，并根据获取到网络状态信息来确定视频块对应的比特率，这样结合所处的实时网络状况、用户状态和视频状态来确定比特率，可以减少直播场景下的传输冗余，优化直播视频流用户的体验质量。
Description
技术领域
本发明涉及直播技术领域，特别涉及一种基于智能边缘的直播视频流的传输方法。
背景技术
近年来，直播行业蓬勃发展。思科的年度预测报告显示，从2017年到2022年，直播视频将增长15倍。除了对更高的视频质量、更低的卡顿率和质量切换的要求外，直播视频的用户要求有更低的延迟，以在复杂的网络环境下获得较好的用户体验质量(QoE)，这与传统的视频点播(VoD)服务有所不同。
在当前的直播流传输体系结构中，由内容提供商(CP)部署在核心区域网络中的数据中心服务数百万终端用户。因此，直播流服务产生的爆炸性冗余流量可能会导致较差的用户QoE。为了解决直播视频流量激增和网络环境复杂多变的难题，研究人员提出了基于HTTP的自适应流(HAS)。在HAS广泛部署的体系结构中，通常采用自适应比特率(ABR)算法。ABR算法根据网络实时状态选择最优比特率，从而提高用户QoE。但是，现有的ABR算法普遍是基于用户的进行独立的比特率决策的ABR算法，而在与其他用户竞争共享的瓶颈带宽时，ABR算法通常会贪婪地选择低于可用测量带宽的最高比特率，这会导致单个用户的可用带宽抖动，造成频繁的比特率切换和视频播放卡顿，严重影响了用户QoE的稳定性和公平性。同时，现有的ABR算法没有考虑观看设备的类型和视频特性对视频感知质量的影响，这可能会浪费网络带宽和设备性能。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种基于智能边缘的直播视频流的传输方法。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种基于智能边缘的直播视频流的传输方法，所述方法包括：
智能边缘接收到视频块下载请求时，获取下载请求所处网络的网络状态信息，其中，所述智能边缘装配于该网络的网络边缘；
所述智能边缘根据所述网络状态信息确定该视频块对应的比特率，并从服务端获取到所述比特率的视频块；
所述智能边缘将获取到视频块下发至所述视频块对应的用户集群中的每个用户端，其中，所述用户集群包括下载请求对应的用户端。
所述基于智能边缘的直播视频流的传输方法，其中，所述用户集群包括若干用户端，若干用户端观看相同直播视频，所述下载请求为所述用户集群针对所述视频块的第一个下载请求。
所述基于智能边缘的直播视频流的传输方法，其中，所述网络状态信息包括全局状态信息以及视频状态信息；所述全局状态信息包括历史吞吐量、被占用比特率、感知质量差异值以及用户端数量；所述视频状态信息包括移动端模型质量、电视端模型质量、所述视频块的前一视频块的感知质量、前一视频块的下载速率、前一视频块的下载时间、跳块数以及实时延迟时间。
所述基于智能边缘的直播视频流的传输方法，其中，所述智能边缘根据所述网络状态信息确定该视频块对应的比特率具体包括：
智能边缘基于所述网络状态信息确定预设比特率集对应的概率集，其中，所述概率集中各概率与所述预设比特率集中各比特率一一对应；
智能边缘根据所述概率集确定所述视频块对应的比特率，其中，所述比特率属于所述预设比特率集。
所述基于智能边缘的直播视频流的传输方法，其中，所述服务端包括所述视频块对应的视频块集，所述视频块集包括所述视频块的不同比特率视频块，其中，所述视频块集中的各比特率视频块与所述预设比特率集中各比特率一一对应。
所述基于智能边缘的直播视频流的传输方法，其中，所述智能边缘基于所述网络状态信息确定预设比特率集对应的概率集具体为：
所述智能边缘将所述网络状态信息输入经过训练的深度强化学习网络模型，通过所述深度强化学习网络模型输出所述预设比特率集对应的概率集。
所述基于智能边缘的直播视频流的传输方法，其中，所述深度强化学习网络模型的训练过程具体包括：
将训练网络状态数据分别输入至评论家网络模型和演员网络模型；
通过所述评论家网络模型输出训练网络状态数据对应的预测网络状态数据，以及通过所述演员网络模型输出训练网络状态数据对应的预测概率集；
基于所述预测网络状态数据以及所述环境反馈的奖励值，对所述演员网络模型进行训练，以得到所述深度强化学习网络模型，其中，所述环境反馈的奖励值采用基于所述预测概率确定的比特率确定的奖励值。
所述基于智能边缘的直播视频流的传输方法，其中，所述深度强化学习网络模型的训练过程包括：
基于所述预测网络状态数据以及所述环境反馈的奖励值对所述评论家网络模型进行训练，以修正所述评论家网络模型的模型参数。
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于智能边缘的直播视频流的传输方法中的步骤。
一种智能边缘，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的基于智能边缘的直播视频流的传输方法中的步骤。
有益效果：与现有技术相比，本发明提供了一种基于智能边缘的直播视频流的传输方法，所述方法通过智能边缘接收到视频块下载请求时，获取下载请求所处网络的网络状态信息；所述智能边缘根据所述网络状态信息确定该视频块对应的比特率，并从服务端获取到所述比特率的视频块；所述智能边缘将获取到视频块下发至所述视频块对应的用户集群中的每个用户端。本发明通过在靠近用户端侧设置智能边缘，所述智能边缘获取下载请求对应的用户端所处网络的网络状态信息，并根据获取到网络状态信息来确定视频块对应的比特率，这样结合所处的实时网络状况、用户状态和视频状态来确定比特率，可以减少直播场景下的传输冗余，优化直播视频流用户的体验质量。
附图说明
图1为本发明提供的基于智能边缘的直播视频流的传输方法的流程图。
图2为本发明提供的基于智能边缘的直播视频流的传输方法的流程示意图。
图3为本发明提供的基于智能边缘的直播视频流中视频块下载过程示意图。
图4为本发明提供的基于智能边缘的直播视频流中深度强化学习网络模型训练过程的示意图。
图5为本发明提供的智能边缘的结构原理图。
具体实施方式
本发明提供一种基于智能边缘的直播视频流的传输方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本实施例提供了一种基于智能边缘的直播视频流的传输方法，该方法可以应用智能边缘，所述电子设备可以以各种形式来实现。例如，服务端、智能终端等。另外，该方法所实现的功能可以通过智能边缘中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。
如图1所示，本实施例提供了一种基于智能边缘的直播视频流的传输方法，所述方法可以包括以下步骤：
S10、智能边缘接收到视频块下载请求时，获取下载请求所处网络的网络状态信息，其中，所述智能边缘装配于该网络的网络边缘。
具体地，所述下载请求为用户端发送给智能边缘的，用于获取视频块的请求。所述智能边缘布置于用户端所处网络靠近用户端一侧，并位于用户端与服务端之间，用户端所处网络内的所有观看直播视频的用户端均与该智能边缘相连接，并通过该智能边缘与服务端相连接，以通过智能边缘将用户端的下载请求发送至服务端。此外，所述用户端所处网络内的所有用户按照用户观看直播内容划分为若干用户集群，每个用户集群内的用户观看相同直播内容。对于每个用户集群，在该用户集群观看直播内容时，智能边缘仅向服务端获取一次视频块，这样可以减少服务器的高并发性。
进一步，发送所述下载请求的用户端为其所处用户集群中第一个针对所述视频块发送下载请求的用户端，也就是说，所述下载请求为所述用户集群针对所述视频块的第一个下载请求，其中，该用户集群内的所有用户端均观看所述视频块对应的直播视频，并且该用户集群内的所有用户端均未获取到该视频块。
在本实施例的一个实现方式中，如图2所示，所述智能边缘布置于用户端所处网络边缘，智能边缘可以与多个用户端相连接，其中，所述多个用户端处于同一网络中，例如，校园网、小区网等。可以理解的是，同一区域网络内的所有观看直播视频的用户端均通过HTTP接口与所述智能边缘相连接，所述智能边缘再通过HTTP接口与服务端(例如，IDC&CDN服务器)相连接。所述用户端用于向智能边缘发送直播视频块下载请求以基于下载请求获取到直播视频块，以及将获取到的直播视频块播放给用户，其中，所述用户端可以为手机、智能电视、平板电脑等。
所述服务端用于接收视频制作者上传的直播视频，其中，视频制作者可以通过公共互联网实时的将直播视频的视频片段上传至服务端；当服务端接收到视频制作者上传的视频片段后，将视频片段编码成若干比特率的视频块，并将各比特率的视频块保存在缓存服务端中；所述服务端将视频块对应的各比特率形成预设比特率集，并将该预设比特率集发送至智能边缘，以使得智能边缘获取到视频块支持的各比特率。其中，所述比特率集中的任意两个比特率互不相同。此外，所述服务端还用于接收智能边缘发送的视频块请求，并基于该视频块请求将相应比特率的视频块传输至智能边缘。
进一步，所述网络状态信息包括全局状态信息以及视频状态信息；所述全局状态信息
用于表示智能边缘的实时瓶颈吞吐量和所有连接智能边缘的用户状态，所述全局状态信息
包括历史吞吐量
被占用比特率
感知质量差异值
以及用户端数量
所述历史吞吐量指过去预设数量采集周期内所述网络的瓶颈带宽吞吐量；所述被占用比特率为处于下载状态的所有视频块的比特率之和，所述感知质量差异为视频块对应的第一视频的平均感知质量与智能边缘对应的所有其他视频的平均感知质量之间的差异值，其中，所述感知质量差异值包括视频块对应的第一视频的平均感知质量相对于智能边缘对应的所有其他视频的平均感知质量的高出差值
以及视频块对应的第一视频的平均感知质量相对于智能边缘对应的所有其他视频的平均感知质量的低出差值
其中，
和
的表达式分别为：
其中，t为智能边缘接收到下载请求的时间，n为表示视频n(即第一视频)，
为视频n的平均感知质量，
为智能边缘对应的所有其他视频中视频p的平均感知质量，Nt为时间t对应的视频数量。所述用户端数量包括观看视频n的移动端用户数量和电视端用户数量。
所述视频状态信息用于表示被请求的视频块的特征和视频下载过程的流畅程度，所述视频状态信息包括移动端模型质量
电视端模型质量
所述视频块的前一视频块的感知质量
前一视频块的下载速率
前一视频块的下载时间
下载上一个视频块导致的跳块数
以及实时延迟时间
其中，所述移动端模型质量为基于移动端模型的所有预设比特率集中所有比特率的视频块的预测质量向量；所述电视端模型质量为基于电视端模型的所有预设比特率集中所有比特率的视频块的预测质量向量。所述移动端模型用于表示移动端下比特率与感知质量之间的对应关系，所述电视端模型用于表示电视端下比特率与感知质量之间的对应关系。例如，智能边缘接收到下载请求时间为t，并且在时间t智能边缘对应的区域网的在线用户数为Mt，播放直播视频的视频数Nt，每个视频被编码为K个比特率级别，各比特率的比特率值表示为bnk(n∈Nt,k∈K)，即bnk表示视频n的比特率级别k的比特率值，用户m在时间t观看视频n表示为
视频n对应比特率级别k表示为
由此，用户m请求的视频块的比特率
的表达式可以为：
移动端模型质量可以为表示为
电视端模型质量可以表示为
所述视频块的前一视频块的感知质量包括基于移动端模型和电视端模型的上一个请求的视频块的感知质量。
进一步，在本实施例的一个实现方式中，所述智能边缘包括用户状态监控模块、网络监控模块以及质量预测模块，其中，所述用户状态监控模块用于收集来自用户端的HTTP请求并根据接收到的HTTP请求中包含的信息实时监控在线用户端的QoE；所述网络监控模块记录瓶颈带宽的吞吐量；所述质量预测模块用于获取视频块的预测质量，其中，所述质量预测模块可以为经过训练的深度网络模型，其输入项为过去下载的视频块中抽取的视频帧和代表用户端设备的向量，输出项为移动端模型或电视端模型下将要请求的视频块的所有预设比特率集中所有比特率对应的预测质量，其中，所述代表用户端设备的向量为该用户设备对应的网络状态数据。由此，所述网络状态信息可以通过用户状态控制模块、网络监控模块以及质量预测模块获取并存储于智能边缘内，智能边缘在接收到下载请求时，可以读取到其自身存储的网络状态信息，以便于根据获取到的网络状态信息确定下载请求对应的视频块的比特率。
S20、智能边缘根据所述网络状态信息确定该视频块对应的比特率，并从服务端获取到所述比特率的视频块。
具体地，所述智能边缘根据所述网络状态信息确定该视频块对应的比特率指的是智能边缘在获取到网络状态信息后，可以根据所述网络状态信息在预设比特率集中确定该视频块对应的比特率，并且在确定视频块对应的比特率后，智能边缘向服务端获取该比特率的视频块。在本实施例的一个实现方式中，所述智能边缘根据所述网络状态信息确定该视频块对应的比特率具体包括：
S21、智能边缘基于所述网络状态信息确定预设比特率集对应的概率集，其中，所述概率集中各概率与所述预设比特率集中各比特率一一对应；
S22、智能边缘根据所述概率集确定所述视频块对应的比特率，其中，所述比特率属于所述预设比特率集。
具体地，所述预设比特率集为根据服务端将视频块编辑得到所有比特率的视频块确定，预设比特率集中的每个比特率A均对应于服务端内的一个视频块A，视频块A为下载请求对应的采用该比特率A编码的视频块。例如，预设比特率集包括比特率A和比特率B，那么服务端内存储有视频块A和视频块B，视频块A和视频块B对应的视频内容相同，其不同在于视频块A的比特率为比特率A，视频块B的比特率为比特率B。
进一步，所述概率集中的每个概率对应一个比特率，用于表示该比特率被选中的概率。可以理解的是，概率集中的概率数量与预设比特率集中的比特率数量相等，并且各概率与各比特率一一对应，并且概率集中的所有概率之和为1。例如，预设比特率集包括比特率a和比特率b，概率集中比特率a对应的概率为0.8，比特率b对应的概率为0.2。其中，0.8表示比特率a被选择的可能性为0.8，0.2表示比特率b被选择的可能性为0.2。此外，在获取到概率集后，可以根据各比特率的概率确定被选取的概率，例如，选取概率最大的比特率作为下载请求对应的比特率等。
进一步，在本实施例的一个实现方式中，所述智能边缘可以使用基于深度强化学习(DRL)的比特率决策算法来确定视频块对应的比特率。例如，智能边缘包括聚合决策模块，所述聚合决策模块用于基于网络状态信息对每个视频的每个视频块进行比特率决策，其中，所述聚合决策模块为基于DRL对每个视频的每个视频块进行比特率决策。
进一步，所述比特率决策算法可以表示为：
受限于
其中，η1和η2为权重系数，Wt表示瓶颈带宽，
表示用户m在时间t的用户QoE，
和
分别表示用户m的用户QoE与其他用户的用户QoE的差异，其中，
为用户m的用户QoE比其他用户的用户QoE高出的差异值，
为用户m的用户QoE比其他用户的用户QoE低出的差异值。
进一步，所述比特率决策算法中目标函数用于表示在线直播视频用户的QoE最大并且最小化所有用户之间的QoE不公平性，第一个受限条件和第二受限条件用于限定每个用户在时间t最多选择一个视频，并且具有相同内容的视频块中最多选择一个比特率，第三个受限条件用于限定所有用户请求的总比特率不应超过瓶颈带宽。
进一步，
以及
的表达式分别为：
其中，α1，α2，α3，α4为表示QoE影响程度的权重参数，
为视频块切换产生的感知质量变化值；
表示卡顿时间，
表示跳块数，
表示延迟时间。
进一步，所述视频块切换产生的感知质量变化值
的表达式为
其中，q(·)表示移动端模型质量或电视端模型质量，
表示上一个请求的视频块的感知质量。卡顿时间
的表达式为
其中
表示下载请求中携带的缓冲信息，
为接收到视频块的下载请求到当前时间的时间间隔。跳块数
的表达式为
其中，
为下载请求的下一个请求的视频块的序列号，
为用户m请求的视频块的序列号。延迟时间
的表达式为：
其中，
是视频n的最新块的序列号，
是上一个请求块的序列号，
是视频n的最新块在服务端上的出现时间。
举例说明：如图3所示，假设新视频块每隔Lc秒出现在服务端中，虚线上的长方形块表示一个视频块的下载过程，而时间轴上的长方形块表示在特定时间的最新视频块，其中，用户1、用户2和用户3始终请求最新的块；用户1具有足够的带宽，可以平滑的进行下载，会有延迟，但不会发生跳块；用户2具有多余的带宽，不会因为历史下载的视频块遭受较长的延迟和跳块；用户3的可用带宽较小，会遭受延迟和跳块；用户4需要请求的块与最新块相比落后超过P块时才请求最新视频块时，跳块事件的发生频率将会降低。
基于上述比特率决策算法，智能边缘确定深度强化学习的网络模型，该网络模型的输入项为网络状态信息，输出项为预设比特率集对应的概率集，以便于根据概率集确定视频块对应的比特率。相应的，所述智能边缘基于所述网络状态信息确定预设比特率集对应的概率集具体为：
所述智能边缘将所述网络状态信息输入经过训练的深度强化学习网络模型，通过所述深度强化学习网络模型输出所述预设比特率集对应的概率集。
具体地，所述深度强化学习网络模型的目标函数为奖励函数，其目标为最大化期望的累积折扣奖励
其中，γ∈(0,1]为折扣因子，
为请求视频块时智能边缘下载的上一视频块的奖励，其中，所述奖励的计算公式可以为：
其中，
是观看视频n的所有用户的平均QoE。所述奖励中采用感知质量
和
代替QoE，可以避免QoE负面影响(例如卡顿事件)使QoE值剧烈振荡不利于深度神经网络的收敛。值得注意的是，由于所述奖励中包括QoE，因此深度强化学习网络模型的结果实际上致力于改善QoE而不仅是感知质量。其中，所述深度强化学习网络模型的目标在于最大限度地提高奖励。
进一步，在本实施例的一个实现方式中，所述深度强化学习网络模型采用评论家网络模型和演员网络模型，所述评论家网络模型的输入项为网络状态信息，输出项为该网络状态信息对应的预测网络状态数据；所述演员网络模型的输入项为网络状态信息，输出项为预设比特率集对应的概率集。所述深度强化学习网络模型为经过训练的网络模型，如图4所示，该深度强化学习网络模型的训练过程可以为：
将训练网络状态数据分别输入至评论家网络模型和演员网络模型；
通过所述评论家网络模型输出训练网络状态数据对应的预测网络状态数据，以及通过所述演员网络模型输出训练网络状态数据对应的预测概率集，其中，所述预测概率集为预设比特率集对应的概率集；
基于所述预测网络状态数据以及所述环境反馈的奖励值，对所述演员网络模型进行训练，以得到所述深度强化学习网络模型，其中，所述环境反馈的奖励值采用基于所述预测概率确定的比特率确定的奖励值。
具体地，所述评论家网络模型的输入项为网络状态st，输出项为网络状态信息对应的预测网络状态数据V(st)，所述演员网络模型的输入项为网络状态信息st，输出的为预设比特率集对应的概率集π(at|st)。由于所述深度强化学习网络模型的目标函数为最大化折扣奖励，因而在深度强化学习网络模型确定比特率带来奖励后，使用梯度更新评论家网络模型以及演员网络模型。对于评论家网络，评论家网络输出预测网络状态数据V(st)，预测网络状态数据V(st)和真实值之间的误差为：
Errt＝(Rt+γV(st+1|θv)-V(st|θv))2
其中，V(st|θv)是在评论家网络参数θv下st的估计值。为了降低误差，评论家网络参数的更新公式为：
其中，εv是评论家网络的学习率。
进一步，对于演员网络模型，为了增加累计折扣奖励，在增加累积奖励的方向上改变参数，累积奖励对于策略参数θ以及策略πθ的梯度为：
其中，A(st,at)是在状态st采用比特率at的优势函数。
所述优势函数的表达式为：
A(st,at)＝Q(st,at)-V(st)
其中，Q(st,at)是状态st采用比特率at的期望回报，Q(st,at)的表达式可以为:Q(st,at)＝Rt+γV(st+1)，其中，st+1表示时间t+1时网络状态数据，V(st+1)是st+1对应的预测网络状态数据。
基于此，演员网络模型更新策略参数的更新公式为：
其中，ε是学习率。
进一步，在本实施例的一个实现方式中，为了充分探索演员网络模型以学习到更好的策略。演员网络模型的更新公式中添加了一个熵项，所以演员网络的更新参数的公式为：
其中，H(·)是策略的熵，ε′为策略的熵的系数，该策略的熵系数随着网络模型的训练时间的增加而减少。
S30、所述智能边缘将获取到视频块下发至所述视频块对应的用户集群中的每个用户端，其中，所述用户集群包括下载请求对应的用户端。
具体地，所述智能边缘从服务端获取到视频块后，将该视频块分发至用户集群内的每个用户端，其中，所述用户集群为发送获取该视频块的下载请求的用户端所处的集群。这样智能边缘无需向服务端发送多个对于相同内容的视频块的下载请求，降低了服务端的高并发。
基于上述基于智能边缘的直播视频流的传输方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于智能边缘的直播视频流的传输方法中的步骤。
基于上述基于智能边缘的直播视频流的传输方法，本发明还提供了一种智能边缘，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据智能边缘的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及智能边缘中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于智能边缘的直播视频流的传输方法，其特征在于，所述方法包括：
智能边缘接收到视频块下载请求时，获取下载请求所处网络的网络状态信息，其中，所述智能边缘装配于该网络的网络边缘；
所述智能边缘根据所述网络状态信息确定该视频块对应的比特率，并从服务端获取到所述比特率的视频块；
所述智能边缘将获取到视频块下发至所述视频块对应的用户集群中的每个用户端，其中，所述用户集群包括下载请求对应的用户端；
所述用户集群包括若干用户端，若干用户端观看相同直播视频，所述下载请求为所述用户集群针对所述视频块的第一个下载请求；
所述网络状态信息包括全局状态信息以及视频状态信息；所述全局状态信息包括历史吞吐量、被占用比特率、感知质量差异值以及用户端数量；所述视频状态信息包括移动端模型质量、电视端模型质量、所述视频块的前一视频块的感知质量、前一视频块的下载速率、前一视频块的下载时间、跳块数以及实时延迟时间；
所述智能边缘根据所述网络状态信息确定该视频块对应的比特率具体包括：
智能边缘基于所述网络状态信息确定预设比特率集对应的概率集，其中，所述概率集中各概率与所述预设比特率集中各比特率一一对应；
智能边缘根据所述概率集确定所述视频块对应的比特率，其中，所述比特率属于所述预设比特率集；
所述智能边缘基于所述网络状态信息确定预设比特率集对应的概率集具体为：
所述智能边缘将所述网络状态信息输入经过训练的深度强化学习网络模型，通过所述深度强化学习网络模型输出所述预设比特率集对应的概率集；
所述深度强化学习网络模型的目标函数为奖励函数，其目标为最大化期望的累积折扣奖励
其中，γ∈(0,1]为折扣因子，
为请求视频块时智能边缘下载的上一视频块的奖励，其中，所述奖励的计算公式可以为：
其中，
是观看视频n的所有用户的平均QoE，η1和η2为权重系数，
为视频块对应的第一视频的平均感知质量相对于智能边缘对应的所有其他视频的平均感知质量的高出差值，
为视频块对应的第一视频的平均感知质量相对于智能边缘对应的所有其他视频的平均感知质量的低出差值。
2.根据权利要求1所述基于智能边缘的直播视频流的传输方法，其特征在于，所述服务端包括所述视频块对应的视频块集，所述视频块集包括所述视频块的不同比特率视频块，其中，所述视频块集中的各比特率视频块与所述预设比特率集中各比特率一一对应。
3.根据权利要求1所述基于智能边缘的直播视频流的传输方法，其特征在于，所述深度强化学习网络模型的训练过程具体包括：
将训练网络状态数据分别输入至评论家网络模型和演员网络模型；
通过所述评论家网络模型输出训练网络状态数据对应的预测网络状态数据，以及通过所述演员网络模型输出训练网络状态数据对应的预测概率集，其中，所述预测概率集为预设比特率集对应的概率集；
基于所述预测网络状态数据以及环境反馈的奖励值，对所述演员网络模型进行训练，以得到所述深度强化学习网络模型，其中，所述环境反馈的奖励值采用基于所述预测概率确定的比特率确定的奖励值。
4.根据权利要求3所述基于智能边缘的直播视频流的传输方法，其特征在于，所述深度强化学习网络模型的训练过程包括：
基于所述预测网络状态数据以及所述环境反馈的奖励值对所述评论家网络模型进行训练，以修正所述评论家网络模型的模型参数。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～4任意一项所述的基于智能边缘的直播视频流的传输方法中的步骤。
6.一种智能边缘，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-4任意一项所述的基于智能边缘的直播视频流的传输方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010265413.8A CN111669617B (zh) | 2020-04-07 | 2020-04-07 | 一种基于智能边缘的直播视频流的传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010265413.8A CN111669617B (zh) | 2020-04-07 | 2020-04-07 | 一种基于智能边缘的直播视频流的传输方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111669617A CN111669617A (zh) | 2020-09-15 |
| CN111669617B true CN111669617B (zh) | 2022-08-09 |
Family
ID=72382683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010265413.8A Active CN111669617B (zh) | 2020-04-07 | 2020-04-07 | 一种基于智能边缘的直播视频流的传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111669617B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112333456B (zh) * | 2020-10-21 | 2022-05-10 | 鹏城实验室 | 一种基于云边协议的直播视频传输方法 |
| CN112911408B (zh) * | 2021-01-25 | 2022-03-25 | 电子科技大学 | 基于深度学习的智能视频码率调整及带宽分配方法 |
| US11349891B1 (en) | 2021-03-09 | 2022-05-31 | Cisco Technology, Inc. | Hybrid static and dynamic multicast configuration for media serving environment |
| CN113647963B (zh) * | 2021-08-09 | 2023-08-25 | 北京宁矩科技有限公司 | 可穿戴式脑干响应记录设备 |
| CN117336521A (zh) * | 2022-06-27 | 2024-01-02 | 腾讯科技（深圳）有限公司 | 视频流传输的控制方法及装置、设备、介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109040801A (zh) * | 2018-07-19 | 2018-12-18 | 北京达佳互联信息技术有限公司 | 媒体码率自适应方法、装置、计算机设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3900413B2 (ja) * | 2002-02-14 | 2007-04-04 | Ｋｄｄｉ株式会社 | 映像情報伝送方式およびプログラム |
-
2020
- 2020-04-07 CN CN202010265413.8A patent/CN111669617B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109040801A (zh) * | 2018-07-19 | 2018-12-18 | 北京达佳互联信息技术有限公司 | 媒体码率自适应方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111669617A (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111669617B (zh) | 一种基于智能边缘的直播视频流的传输方法 | |
| US11228794B2 (en) | Method, computer device, and storage medium for media code rate self-adaptation | |
| CN112152995B (zh) | 一种基于智能边缘的svc视频的传输方法及智能边缘 | |
| CN106537923B (zh) | 自适应视频流的技术 | |
| CN112953922B (zh) | 一种自适应流媒体控制方法、系统、计算机设备及应用 | |
| CN110139113B (zh) | 视频资源的传输参数分发方法及装置 | |
| CN102238433A (zh) | 控制数字内容的自适应流传输 | |
| CN109729437B (zh) | 流媒体自适应传输方法、终端和系统 | |
| CN105393516A (zh) | 在自适应流送中用缓冲器和范围约束来进行质量优化 | |
| CN110996038B (zh) | 一种面向多人互动直播的自适应码率调节方法 | |
| CN101305612A (zh) | 用于对等订户小区的多源和弹性按需点播视频流媒体系统 | |
| CN113014968B (zh) | 一种基于强化学习的多用户动态码率视频传输方法及系统 | |
| CN114040257B (zh) | 一种自适应视频流传输播放方法、装置、设备及存储介质 | |
| Quan et al. | Reinforcement learning driven adaptive vr streaming with optical flow based qoe | |
| CN115834924B (zh) | 面向交互式视频的松耦合编码码率-传输速率调节方法 | |
| CN115695390B (zh) | 一种基于移动边缘计算的矿山安全监控系统海量视频数据自适应流方法 | |
| CN114827617B (zh) | 一种基于感知模型的视频编解码方法及系统 | |
| CN113645487B (zh) | 码率自适应分配方法 | |
| CN114422860B (zh) | 一种降低高峰期视频点播cdn带宽的方法和装置、系统 | |
| Moldovan et al. | Optimizing HAS for 360-degree videos | |
| CN114629797A (zh) | 带宽预测方法、模型生成方法及设备 | |
| CN114025190A (zh) | 多码率调度方法和多码率调度装置 | |
| CN114900706B (zh) | 基于扩展视频编码的直播视频流传输自适应调度方法 | |
| CN112333456B (zh) | 一种基于云边协议的直播视频传输方法 | |
| Singh et al. | Modeling and Optimization of Video Transmission in Data Compression & Source Coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |