CN112350998B

CN112350998B - 一种基于边缘计算的视频流传输方法

Info

Publication number: CN112350998B
Application number: CN202011110759.7A
Authority: CN
Inventors: 李清; 张傲阳; 陈颖; 江勇; 马晓腾; 邹龙昊
Original assignee: Southwest University of Science and Technology; Shenzhen International Graduate School of Tsinghua University; Peng Cheng Laboratory
Current assignee: Southwest University of Science and Technology; Shenzhen International Graduate School of Tsinghua University; Peng Cheng Laboratory
Priority date: 2020-10-16
Filing date: 2020-10-16
Publication date: 2022-11-01
Anticipated expiration: 2040-10-16
Also published as: CN112350998A

Abstract

本申请公开了一种基于边缘计算的视频流传输方法，所述方法包括接收到视频块下载请求时，检测所述视频块下载请求对应的目标视频资源；当未检测到目标视频资源时，获取视频块下载请求对应的若干响应方式；确定各响应方式各自对应的用户QoE，并基于用户QoE在若干响应方式中选取目标响应方式；通过目标响应方式确定视频块下载请求对应的响应视频资源，并将响应视频资源反馈给视频块下载请求对应的用户端。本申请通过智能边缘确定视频块下载请求对应的响应视频资源，减少了视频流传输对主干网带宽的依赖，在主干网带宽不足时仍能够通过对其自身缓存的视频资源进行视频超分或视频转码的方式来快速响应用户的请求，从而提高了用户QoE。

Description

一种基于边缘计算的视频流传输方法

技术领域

本申请涉及直播技术领域，特别涉及一种基于边缘计算的视频流传输方法。

背景技术

近年来视频业务流量持续高速增长，根据美国思科公司的可视化网络指数预测报告(Visual Networking Index, VNI)显示，到2022年在全球范围内视频流量将会占据总网络流量的82%。视频流量的激增会给网络带宽带来了巨大压力，尤其是在高峰时段。随着5G技术的发展，网络边缘侧的带宽变得充足，但是主干网的更新难度相对于边缘网络来说较大，因此更新速度也更缓慢，于是网络传输的瓶颈转移到了云服务器和边缘服务器之间。如何在有限的网络资源下提高动态自适应视频流传输的质量具有重要的意义。

自适应比特率算法（ABR）是部署在客户端以优化视频质量的主要工具，每个客户端根据算法做出自己的比特率决策，并争夺共享带宽。受客户不断增长的计算能力启发，已有方案提出在ABR算法之上在客户端部署了深度学习模型来执行图像还原任务，从而提高视频质量。在这个方法中，用户需要根据自身设备的算力下载对应的超分辨率模型，超分模型的下载需要和视频块竞争带宽资源，并且重建的高质量视频仅服务于单个客户端，造成了计算资源。除此之外，目前移动终端设备占主要地位，而大部分的移动终端设备的算力是十分有限的，并且是能耗敏感的，所以用户终端设备不适合部署视频超分模型。

发明内容

本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于边缘计算的视频流传输方法。

为了解决上述技术问题，本申请实施例第一方面提供了一种基于边缘计算的视频流传输方法，所述传其应用于布置于网络边缘的智能边缘，所述方法包括：

接收到视频块下载请求时，检测所述视频块下载请求对应的目标视频资源，其中，所述目标视频资源的分辨率与所述视频块下载请求对应的分辨率相同；

当未检测到所述目标视频资源时，获取所述视频块下载请求对应的若干响应方式；

确定各响应方式各自对应的用户QoE，并基于用户QoE在若干响应方式中选取目标响应方式；

通过目标响应方式确定所述视频块下载请求对应的响应视频资源，并将所述响应视频资源反馈给所述视频块下载请求对应的用户端。

所述基于边缘计算的视频流传输方法，其中，所述响应方式包括转码方式、超分以及从资源服务器获取目标视频资源方式中的一种或者多种。

所述基于边缘计算的视频流传输方法，其中，所述当未检测到所述目标视频资源时，获取所述视频块下载请求对应的若干响应方式具体包括：

当未检测到所述目标视频资源时，确定所述智能边缘自身是否存储所述视频块下载请求对应的候选视频资源，其中，所述候选视频资源的分辨率与所述目标视频资源的分辨率不相同；

若存在候选视频资源，则根据候选视频资源确定所述视频块下载请求对应的若干响应方式；

若未存在候选视频资源，向资源服务器请求所述目标视频资源，并将所述目标视频资源反馈给所述视频块下载请求对应的用户端。

所述基于边缘计算的视频流传输方法，其中，所述若存在候选视频资源，则根据候选视频资源确定所述视频块下载请求对应的若干响应方式具体包括：

若存在候选视频资源，获取所述视频块下载请求对应的候选视频资源；

对于获取到的每个候选视频资源，将该候选视频资源对应的候选分辨率与所述目标分辨率进行比较；

当所有候选分辨率均大于目标分辨率时，所述视频块下载请求对应的响应方式包括通过转码方式将候选视频资源转换为响应视频资源，以及从资源服务器获取目标视频资源方式；

当所有候选分辨率均小于目标分辨率时，所述视频块下载请求对应的响应方式包括通过超分方式将候选视频资源转换为响应视频资源；

当部分候选分辨率均大于目标分辨率，且部分候选分辨率均小于目标分辨率时，所述视频块下载请求对应的响应方式包括通过转码方式将候选视频资源转换为响应视频资源、通过超分方式将候选视频资源转换为响应视频资源以及从资源服务器获取目标视频资源方式。

所述基于边缘计算的视频流传输方法，其中，所述确定各响应方式各自对应的用户QoE具体包括：

对于每个响应方式，获取该响应方式对应的完成时间以及确定得到的视频资源的质量信息；

基于获取到的完成时间以及质量信息确定该响应方式对应的用户QoE，以得到各响应方式对应的用户QoE。

所述基于边缘计算的视频流传输方法，其中，当所述目标响应方式为通过超分方式将候选视频资源转换为响应视频资源时，所述通过目标响应方式确定所述视频块下载请求对应的响应视频资源具体包括：

确定所述视频块下载请求对应的候选视频资源，并从所述候选视频资源中读取若干候选视频帧；

同步对若干候选视频帧进行超分处理，以得到若干候选视频帧中的每个候选视频帧对应的超分视频帧；

继续执行从所述候选视频资源中读取若干候选视频帧的操作，直至所述候选视频资源中的各候选视频帧均对应有超分视频帧；

根据获取到的所有超分视频帧生成所述视频块下载请求对应的响应视频资源，其中，所述响应视频资源的分辨率等于目标视频资源的分辨率。

所述基于边缘计算的视频流传输方法，其中，所述超分处理为通过超分网络模型执行的，所述超分网络模型包括通用超分网络模型或者设定超分网络模型，其中，所述设定超分网络模型为视频源服务器基于视频流对应的流行度为该视频流训练得到，所述流行度为基于视频流的长期特征以及视频状态特征确定得到的。

所述基于边缘计算的视频流传输方法，其中，所述方法还包括：

当智能边缘自身的剩余存储空间小于预设阈值时，获取智能边缘自身存储的各视频资源的效用价值，其中，所述效用价值用于反映所述视频资源对应的QoE贡献；

基于各视频资源各自对应的效用价值，确定待删除视频资源，并将待删除视频资源从智能边缘中删除。

本申请实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于边缘计算的视频流传输方法中的步骤。

本申请实施例第三方面提供了一种智能边缘，其包括：处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如上任一所述的基于边缘计算的视频流传输方法中的步骤。

有益效果：与现有技术相比，本申请提供了一种基于边缘计算的视频流传输方法，所述方法包括接收到视频块下载请求时，检测所述视频块下载请求对应的目标视频资源；当未检测到所述目标视频资源时，获取所述视频块下载请求对应的若干响应方式；确定各响应方式各自对应的用户QoE，并基于用户QoE在若干响应方式中选取目标响应方式；通过目标响应方式确定所述视频块下载请求对应的响应视频资源，并将所述响应视频资源反馈给所述视频块下载请求对应的用户端。本申请通过智能边缘确定视频块下载请求对应的响应视频资源，减少了视频流传输对主干网带宽的依赖，在主干网带宽不足时仍能够通过对其自身缓存的视频资源进行视频超分或视频转码的方式来快速响应用户的请求，从而提高了用户QoE。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的基于边缘计算的视频流传输方法的流程图。

图2为本申请提供的基于边缘计算的视频流传输方法的流程示意图。

图3为本申请提供的基于边缘计算的视频流传输系统的结构原理图。

图4为本申请提供的基于边缘计算的视频流传输方法的各响应方式的示意图。

图5为本申请提供的基于边缘计算的视频流传输方法中流行度预测模型的示意图。

图6为本申请提供的智能边缘的结构原理图。

具体实施方式

本申请提供一种基于边缘计算的视频流传输方法，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面结合附图，通过对实施例的描述，对申请内容作进一步说明。

本实施例提供了一种基于边缘计算的视频流传输方法，该方法可以应用于智能边缘，所述智能边缘可以以各种形式来实现。例如，服务端、智能终端等。另外，该方法所实现的功能可以通过智能边缘中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。

如图1和图2所示，本实施提供了一种基于边缘计算的视频流传输方法，所述方法包括：

S10、接收到视频块下载请求时，检测所述视频块下载请求对应的目标视频资源。

具体地，所述视频块下载请求为用户端发送给智能边缘的，用于获取视频块的请求。所述视频块下载请求中可以包括用户端的设备信息和视频块下载请求对应的视频块信息，其中，所述设备信息可以包括屏幕分辨率、用户端IP地址、播放缓存区大小以及历史请求视频块的视频质量等，所述视频块信息可以包括视频块的序号以及视频块的清晰度等。由此，所述智能边缘接收到视频块下载请求后，会获取视频块下载请求携带的状态信息以及视频块信息，并将存储获取到的状态信息以及视频块信息。

所述智能边缘布置于用户端所处网络靠近用户端一侧，并位于用户端与资源服务器之间，用户端所处网络内的所有观看点播视频的用户端均与该智能边缘相连接，并通过该智能边缘与资源服务器相连接，以通过智能边缘将用户端的视频块下载请求发送至资源服务器。

在本实施例的一个实现方式中，如图3所示，所述智能边缘布置于用户端所处网络边缘，智能边缘可以与多个用户端相连接，其中，所述多个用户端处于同一网络中，例如，校园网、小区网等。可以理解的是，同一区域网络内的用户端均与所述智能边缘相连接，所述智能边缘通过主干网络与资源服务器（例如，IDC&CDN服务器）相连接。所述用户端用于向智能边缘发送直播视频块下载请求以基于视频块下载请求获取到视频块，以及将获取到的视频块播放给用户，其中，所述用户端可以为手机、高清电视、平板电脑等。所述资源服务器用于接收由视频制作者上传的视频，然后将整个视频切分成多个固定时间长度的视频块，并且将切分后的视频块编码到指定的分辨率档位用来适应动态变化的网络情况以及多种用户端的视频块下载请求，最后将处理完成的所有视频块保存在视频源服务器中。

所述目标视频资源为存储于智能边缘中的视频资源，并且所述目标视频资源对应的的分辨率与所述视频块下载请求对应的分辨率相同。可以理解的是，所述检测所述视频块下载请求对应的目标视频资源为智能边缘在其自身的存储空间内查找分辨率与视频块下载请求对应的分辨率相同的视频资源，以确定目标视频资源。此外，当检测到目标视频资源时，说明智能边缘中存储有该视频块下载请求所需的视频资源，从而可以直接将所述目标视频资源反馈给视频块下载请求对应的用户端，以使得该用户端可以获取到目标视频资源；当未检测到目标视频资源时，说明智能边缘中未存储有该视频块下载请求所需的视频资源，此时需要智能边缘获取该视频块下载请求对应的目标视频资源，以便于响应所述视频块下载请求。

S20、当未检测到所述目标视频资源时，获取所述视频块下载请求对应的若干响应方式。

具体地，所述若干响应方式中的每个响应方式均用于响应所述视频块下载请求，以使得所述智能边缘可以获取到该视频块下载请求对应的响应视频资源，以便于基于获取到的响应视频资源来响应所述视频块下载请求。如图4所示，所述若干响应方式可以包括转码方式、超分方式以及从资源服务器获取目标视频资源方式中的一种或者多种。其中，所述转码方式用于从高分辨率的视频资源转码到低分辨率的视频资源，所述超分方式用于重建低分辨率的视频资源以得到高分辨率的视频资源。在本实施例的一个具体实现方式中，所述转码方式的转码过程可以在智能边缘的CPU上进行，所述超分方式的超分过程均可以在智能边缘的GPU上进行，所述智能边缘计算记录当前GPU的占用情况和CPU的占用情况，并预估新接收到转码任务和/或超分任务所需要的完成时间。当然，在实际应用中，所述智能边缘上可以设置一计算调度模块，所述计算调度模块包括视频转码功能和视频超分功能，通过所述计算调度模块进行视频转码以及视频超分，并记录智能边缘当前GPU的占用情况和CPU的占用情况，以及预估新接收到转码任务和/或超分任务所需要的完成时间。

举例说明：所述视频资源对应的响应方式采用d表示，并通过为d的不同取值来标识不同的响应方式，其中，d的取值与响应方式的对应关系可以为：

d=0，表示从智能边缘本地的存储区域中获取目标视频资源，并将该目标视频资源作为响应视频资源；

d=1，表示从资源服务器中获取目标视频资源，将获取到目标视频资源作为响应视频资源；

d=2，表示通过转码方式将高分辨率的视频资源转码为低分辨率的视频资源，以得到响应视频资源；

d=3，表示通过超分方式将低分辨率的视频资源超分两倍，以得到响应视频资源；

d=4，表示通过超分方式将低分辨率的视频资源超分四倍，以得到响应视频资源。

在本实施例的一个实现方式中，所述当未检测到所述目标视频资源时，获取所述视频块下载请求对应的若干响应方式具体包括：

当未检测到所述目标视频资源时，确定所述智能边缘自身是否存储所述视频块下载请求对应的候选视频资源；

若未存在候选视频资源，向资源服务器请求所述目标视频资源，并将所述目标视频资源反馈给所述视频块块下载请求对应的用户端。

具体地，所述候选视频资源存储于智能边缘本地，所述候选视频资源对应的视频内容与所述目标视频资源对应的视频内容相同，但是，所述候选视频资源对应的分辨率与目标视频资源对应的分辨率不同。例如，视频块下载请求对应的目标视频资源的分别率为720P，候选视频资源对应的分辨率为360P等。此外，所述智能边缘本地可以缓存有若干候选视频资源，若干候选视频资源中的各候选视频资源各自对应的分辨率不同，例如，若干候选视频资源包括候选视频资源A和候选视频资源B，候选视频资源A的分辨率为180P，候选视频资源B的分辨率为960P等。

进一步，所述智能边缘可以存储有候选视频资源，也可以未存储有视频资源。其中，当未存在候选视频资源时，所述响应方式可以为向资源服务器请求所述目标视频资源。可以理解的是，在智能边缘未存储候选视频资源时，智能边缘可以通过主干网络向资源服务器请求所述目标视频资源，并将并将所述目标视频资源反馈给所述视频块块下载请求对应的用户端，以响应所述视频块下载请求。当然，当智能边缘获取到目标视频资源后，会将目标视频资源存储于本地，当再次接收到需要获取目标视频资源的视频块下载请求时，可以直接基于其存储的目标视频资源响应视频块下载请求；同时还可以将该目标视频资源作为其他获取视频块内容与该目标视频资源的视频内容相同的视频块下载请求的候选视频资源。

在本实施例的一个实现方式中，所述若存在候选视频资源，则根据候选视频资源确定所述视频块下载请求对应的若干响应方式具体包括：

具体地，所有候选视频资源为智能边缘中存储的该视频块下载请求对应的所有候选视频资源，所有候选视频资源中的每个候选视频资源的候选分辨率均与所述目标视频资源的目标分辨率不同，并且各候选视频资源的候选分辨率互不相同。此外，在获取到的所有候选视频资源中，可以是部分候选视频资源对应的候选分辨率大于目标分辨率，部分候选视频资源对应的候选分辨率小于目标分辨率，或者是，所有候选分辨率均大于目标分辨率，或者是，所有候选分辨率小于目标分辨率。

由于超分方式用于重建低分辨率的视频资源以得到高分辨率的视频资源，所述转码方式用于从高分辨率的视频资源转码到低分辨率的视频资源，从而，超分方式适用于候选分辨率小于目标分辨率的候选视频资源，转码方式适用于候选分辨率大于目标分辨率的候选视频资源。基于此，当所有候选分辨率均大于目标分辨率时，所述视频块下载请求对应的响应方式包括通过转码方式将候选视频资源转换为响应视频资源，以及从资源服务器获取目标视频资源方式；当所有候选分辨率均小于目标分辨率时，所述视频块下载请求对应的响应方式包括通过超分方式将候选视频资源转换为响应视频资源，以及从资源服务器获取目标视频资源方式；当部分候选分辨率均大于目标分辨率，且部分候选分辨率均小于目标分辨率时，所述视频块下载请求对应的响应方式包括通过转码方式将候选视频资源转换为响应视频资源、通过超分方式将候选视频资源转换为响应视频资源以及从资源服务器获取目标视频资源方式。

S30、确定各响应方式各自对应的用户QoE，并基于用户QoE在若干响应方式中选取目标响应方式。

具体地，所述用户QoE（即用户体验质量）是指用户对设备、网络和系统、应用或业务的质量和性能的主观感受。所述用户QoE可以基于响应方式对应的完成时间，响应方式确定的响应视频资源的质量信息确定的。相应的，所述确定各响应方式各自对应的用户QoE具体包括：

具体地，所述响应方式对应的完成时间可以基于用户端的状态信息、智能边缘自身的缓存信息以及主干网络的网络状态确定。其中，所述用户端的状态信息可以通过获取视频块下载请求携带的状态信息确定得到的，所述用户端的状态信息包括发送第

个视频块的下载请求时用户端播放缓冲区占用情况

，上一个视频块的质量

，下载上一个视频块的用户端

获得的参考用户QoE（

）以及智能边缘与用户端之间的往返时长

，其中，

代表视频v的第n个视频块，并且分辨率为r。所述智能边缘自身的缓存信息

为智能边缘读取其自身的缓存数据得到的。

所述主干网络的网络状态为智能边缘通过监测主干网络得到，所述主干网络的网络状态包括当前发送到源服务器的请求总数

、历史吞吐量以及智能边缘和资源服务器之间的往返时延RTTeo，其中，所述历史吞吐量指过去预设数量采集周期内主干网络的吞吐量，例如，每秒测试一次主干网络的吞吐量，并保存最近10s记录的主干网络的吞吐量。在实际应用中，由于主干网络的吞吐量是高度动态变化的，在预测主干网络带宽时，将存储的若干周期的吞吐量的调和平均值作为下一周期的预测吞吐量

，其中，若干周期与下一周期按照时间顺序为连续周期。

对于从资源服务器获取目标视频资源方式，该方式对应的完成时间可以根据主干网络的预测吞吐量

、视频资源大小

、智能边缘和资源服务器之间的往返时延RTTeo以及用户端和智能边缘之间的往返时延RTTce确定，其中，该方式的完成时间的计算公式可以为：

。

对于转码方式，该方式对应的完成时间可以根据转码所需时间

以及用户端和智能边缘之间的往返时延RTTce确定，其中，该方式的完成时间的计算公式可以为：

。

对于超分方式，该方式对应的完成时间可以根据转码所需时间

、超分等待时间

。

进一步，每个视频不同分辨率的视频的质量信息存储于智能边缘，在获取到预测的完成时间、质量信息以及从用户请求中提取出的上一个视频块的质量，以及缓存信息可以确定各响应方式各种对应的用户QoE。

在本实施例中，采用二进制视频缓存决策变量

来表示边缘的缓存情况，当

=1时表示在时间为

时，视频

的第n个视频块的分辨率版本

已经被缓存在智能边缘上，反之，

=0表示智能边缘没有缓存这个视频块，其中，

用于区分视频内容是否由视频超分获得，当

=0时，表示为原始视频版本，

=1则表示视频块是由超分获得的。

S40、通过目标响应方式确定所述视频块下载请求对应的响应视频资源，并将所述响应视频资源反馈给所述视频块块下载请求对应的用户端。

具体地，所述目标响应方式为若干响应方式中的一种，所述目标响应方式对应的用户QoE为若干响应方式中最大。可以理解的是，对于若干响应方式中除目标响应方式外的每个响应方式，该响应方式对应的用户QoE均小于目标响应方式的用户QoE。当然，在实际应用中，当若干响应方式中存在至少两个最大用户QoE的响应方式时，可以从至少两个最大用户QoE的响应方式中随机选取一个两个最大用户QoE的响应方式作为目标响应方式。

在本实施例的一个实现方式中，当目标响应方式为转码方式时，通过转码方式将高分辨率的候选视频资源转换为低分辨率的响应视频资源，其中，响应视频资源的分辨率与目标视频资源的分辨率相同。在实际应用中，为了提高视频转码的速度，采取了多线程转码方式，单个任务的完成时间与任务采取的并行线程数以及并行的任务数相关。在只有一个任务运行的情况下，随着转换线程的增加，平均转码速度的增长率降低，在本实施例的一个具体实现方式中，单个任务的线程数定为6，即多线程的线程数量为6。

在本实施例的一个实现方式中，当所述目标响应方式为将候选视频资源超分为响应视频资源时，所述通过目标响应方式确定所述视频块下载请求对应的响应视频资源具体包括：

具体地，所述超分处理为通过超分网络模型执行的，所述超分网络模型包括通用超分网络模型或者设定超分网络模型，其中，所述设定超分网络模型为视频源服务器基于视频流对应的流行度为该视频流训练得到，所述流行度为基于视频流的长期特征以及视频状态特征确定得到的。所述超分网络模型是按照每帧为单元进行重建处理，从而可以将视频帧分成多个组，同步对若干候选视频帧组进行超分处理可以同步启动若干超分网络模型，若干超分网络模型与若干候选视频帧组一一对应，各超分网络模型对各自对应的候选视频帧组进行超分处理。

基于，对于候选视频资源，该候选视频资源包括多个视频帧，在获取到该候选视频资源包括的所有视频帧后，可以将所有视频帧分成若按视频帧组，并控制若干视频帧组同步进行超分处理，即为每个视频帧组分配一个超分网络模型，以使得同步对若干候选视频帧。此外，由于超分处理是在GPU上执行上，从而GPU为建立多个超分处理线程，每个超分处理线程用于执行一个超分处理任务，这样通过并行处理可以提高超分处理效率。在本实施例的一个实现方式中，超分处理线程的数量可以为3，即将候选帧分成三组，同时对3组候选视频帧进行超分处理，这样采用并行3线程进行视频超分任务来提升GPU的整体利用率，同时通过并行处理的方式可以使得整个视频超分辨率过程的处理时间显著降低。

在本实施例的一个实现方式中，所述智能边缘上可以存储若干超分处理模型，若干超分处理模型包括通用超分处理模型以及设定超分处理模型，其中，所述通用超分处理模型适用于任一视频资源，所述设定超分处理模型适用于设定视频资源，并且所述设定超分处理模型基于该设定视频资源训练得到。

所述通用超分处理模型和设定超分处理模型均是由资源服务器训练得到。所述通用超分处理模型为了提高资源服务器接收到各数视频的质量而训练的，通用超分处理模型对应的训练集包括电影、纪录片、综艺节目、运动、电视剧五个类型中各类型中点击量最靠前的若干视频，例如，10个视频等。所述设定超分处理模型对应的视频资源基于该视频基于对应的流行度确定，当视频资源的流行度大于预设阈值时，基于该视频资源训练该视频资源对应的设定超分处理模型，当视频资源的流行度小于或者等于预设数值，则将通用超分处理模型作为该视频资源对应的超分处理模型。

在本实施例的一个实现方式中，所述流行度为基于视频流的长期特征以及视频状态特征确定得到的，其中，所述长期特征为预设时间段内不会发生变化的视频信息，所述长期特征包括视频类型以及视频长度，所述视频状态特征为随着时间不断变化的视频信息，包括视频点击量的初步预测值、视频累计评论数量以及视频累计弹幕数量。在一个具体实现方式中，可以采用指数型核函数来进行视频点击量初步预测值的计算，所述视频点击量初步预测值对应的公式为：

其中，

=1，4，16，其中，w代表一个时间窗口，用于表示过去的请求对未来请求影响的持续时间。上述初步预测值每T时间更新一次，F(t)代表以t时刻为起点的更新周期结束后的点击量预测值，F(u)代表以u时刻为起点的更新周期结束后的点击量预测值，并且u<t；x表示从t时刻为起点的T时间段内当前视频的总点击量。

进一步，所述流行度可以通过如图5所示的流行度预测模型确定的，流行度预测模型的输入为长期特征和视频状态特征，利用两层神经网络预测视频未来总的点击量，进而利用点击量（流行度）确定该视频的重要程度，并基于重要程度确定是否为该视频资源训练设定超分处理模型。

在本实施例的一个实现方式中，所述方法还包括：

当智能边缘自身的剩余存储空间小于预设阈值时，获取智能边缘自身存储的各视频资源的效用价值；

基于各视频资源各自对应的效用价值确定待删除视频资源，并将待删除视频资源从智能边缘中删除。

具体地，所述效用价值用于反映所述视频资源对应的QoE贡献，其中，所述效用价值为基于基本缓存价值

、潜在转码效益

和潜在超分效益

确定得到。在本实施例中，所述效用价值

的计算公式可以为：

其中，

为视频资源大小。

由于智能边缘中的缓存策略的目标是利用有限的存储空间去缓存最流行的并且能够使得给用户的QoE最大化的视频块。因此，评价视频的基本缓存价值需要包括视频资源流行度以及它能够提供的用户QoE。视频资源流行度不仅与视频资源所属的视频流的流行度有关，还与它的分辨率有关，这是由于在不同的网络环境下，用户对于请求视频的分辨率的偏好是不同的，例如，在移动蜂窝网的环境下，用户请求的视频分辨率就会相对于有线网络偏低。在本实施例中，采用历史视频请求的数量来表示整个视频流的流行度，用历史的不同分辨率的请求次数表示对应分辨率的流行度，那么视频流自身的基本缓存价值可以表示为：

其中，

表示整个视频的流行度，

表示在当前网络环境下分辨率的流行度，

对应于当前视频块

所带来的用户QoE。

用户QoE的度量指标包括视频质量、下载当前视频所导致的卡顿时间和视频的平滑度。用户QoE可以表示为：

其中，

代表视频质量，

代表卡顿时间，最后一项代表视频的平滑度。

对于视频资源的潜在转码效益和潜在超分效益，由于各视频资源的转码时间不同，各视频资源的超分时间也不相同。从而，在确定视频资源的潜在转码效益和潜在超分效益时，需要考虑视频资源的转码时间以及超分时间，这里用。我们用处理时间

来表示计算视频

被处理成更高或者更低分辨率版本的

需要耗费的时间。由于用户端缓存空间的限制，为了尽量避免卡顿的现象出现，处理时间越长代表着超分或者转码被唤起的可能性越小，

和处理时间成反比，我们使用

作为视频超分和转码的效益系数。视频资源的潜在转码效益和潜在超分效益表示方式如下：

在本实施例的一个实现方式中，超分处理方式中输出视频资源的分辨率为输入视频资源的两倍，例如，输入和输出分辨率对包括：（180P，360P），（180P，720P），（240P，480P）（240P，960P），（360P，720P）。这是由于当输入的视频资源的分辨率和输出的视频资源的分辨率相差倍数过大时，由于计算量过大会导致不能满足用户的实时性需求。

有研究表明在大多数的视频可能在短时间内（比如一天）只会被请求一次，但是按照现在大部分的缓存策略，只要是被请求过的视频块就被缓存下来，然后当缓存空间被占满时按照一定的逻辑被删除。但是这样的操作导致频繁的缓存替换，从而降低了缓存的效率。由此，将缓存空间分为试用缓存和长期缓存，当视频资源第一次被请求时会被存储在试用缓存中，当试用缓存中的内容被请求第二次时移动到长期缓存空间中。试用缓存空间按照LRU（最近最少使用）的缓存策略进行缓存内容的替换，长期缓存空间中的内容则按照视频缓存价值来更新。每隔一段时间，视频缓存模块就会计算所有在长期缓存空间里的视频块的缓存价值，并且按照降序排列，按顺序加入缓存列表，如果列表中的视频块大小超过了缓存空间则将排名靠后的视频块删除。

综上所述，本实施例提供了一种基于边缘计算的视频流传输方法，所述方法包括接收到视频块下载请求时，检测所述视频块下载请求对应的目标视频资源；当未检测到目标视频资源时，获取视频块下载请求对应的若干响应方式；确定各响应方式各自对应的用户QoE，并基于用户QoE在若干响应方式中选取目标响应方式；通过目标响应方式确定视频块下载请求对应的响应视频资源，并将响应视频资源反馈给视频块下载请求对应的用户端。本申请通过智能边缘确定视频块下载请求对应的响应视频资源，减少了视频流传输对主干网带宽的依赖，在主干网带宽不足时仍能够通过对其自身缓存的视频资源进行视频超分或视频转码的方式来快速响应用户的请求，从而提高了用户QoE。

基于上述基于边缘计算的视频流传输方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于边缘计算的视频流传输方法中的步骤。

基于上述基于边缘计算的视频流传输方法，本申请还提供了一种智能边缘，如图6所示，其包括至少一个处理器（processor）20；显示屏21；以及存储器（memory）22，还可以包括通信接口（Communications Interface）23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据智能边缘的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及智能边缘中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种基于边缘计算的视频流传输方法，其特征在于，所述传输方法应用于布置于网络边缘的智能边缘，所述方法包括：

通过目标响应方式确定所述视频块下载请求对应的响应视频资源，并将所述响应视频资源反馈给所述视频块下载请求对应的用户端；

所述响应方式包括转码方式、超分以及从资源服务器获取目标视频资源方式中的一种或者多种；

所述当未检测到所述目标视频资源时，获取所述视频块下载请求对应的若干响应方式具体包括：

所述若存在候选视频资源，则根据候选视频资源确定所述视频块下载请求对应的若干响应方式具体包括：

对于获取到的每个候选视频资源，将该候选视频资源对应的候选分辨率与目标分辨率进行比较；

当部分候选分辨率均大于目标分辨率，且部分候选分辨率均小于目标分辨率时，所述视频块下载请求对应的响应方式包括通过转码方式将候选视频资源转换为响应视频资源、通过超分方式将候选视频资源转换为响应视频资源以及从资源服务器获取目标视频资源方式；

若未存在候选视频资源，向资源服务器请求所述目标视频资源，并将所述目标视频资源反馈给所述视频块下载请求对应的用户端；

当智能边缘获取到目标视频资源后，将目标视频资源存储于本地，当再次接收到需要获取目标视频资源的视频块下载请求时，直接基于本地存储的目标视频资源响应视频块下载请求；

同时将所述目标视频资源作为其他获取视频块内容与该目标视频资源的视频内容相同的视频块下载请求的候选视频资源；

所述方法还包括：

基于各视频资源各自对应的效用价值确定待删除视频资源，并将待删除视频资源从智能边缘中删除；

智能边缘中的缓存策略的目标是利用有限的存储空间去缓存最流行的并且使得给用户的QoE最大化的视频块；

每隔一段时间，视频缓存模块计算所有在长期缓存空间里的视频块的缓存价值，并且按照降序排列，按顺序加入缓存列表，如果列表中的视频块大小超过缓存空间则将排名靠后的视频块删除。

2.根据权利要求1所述基于边缘计算的视频流传输方法，其特征在于，所述确定各响应方式各自对应的用户QoE具体包括：

3.根据权利要求1所述基于边缘计算的视频流传输方法，其特征在于，当所述目标响应方式为通过超分方式将候选视频资源转换为响应视频资源时，所述通过目标响应方式确定所述视频块下载请求对应的响应视频资源具体包括：

4.根据权利要求3所述基于边缘计算的视频流传输方法，其特征在于，所述超分处理为通过超分网络模型执行的，所述超分网络模型包括通用超分网络模型或者设定超分网络模型，其中，所述设定超分网络模型为视频源服务器基于视频流对应的流行度为该视频流训练得到，所述流行度为基于视频流的长期特征以及视频状态特征确定得到的。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-4任意一项所述的基于边缘计算的视频流传输方法中的步骤。

6.一种智能边缘，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1-4任意一项所述的基于边缘计算的视频流传输方法中的步骤。