CN112995636B - 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法 - Google Patents

Abstract

本发明公开了一种基于边缘计算和主动缓存的360度虚拟现实视频传输系统，其联合考虑了视频编码、主动缓存、计算卸载和数据传输和视野预测。本发明系统包括云服务器、MEC服务器、客户端、云服务器到MEC服务器的多跳有线网络、MEC服务器到客户端的单跳无线网络、云服务器到客户端的多跳有线和单跳无线网络。为了解决虚拟现实视频业务中严格的从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延问题，本发明利用虚拟现实用户的视野预测来缓存视频数据，并将部分解码渲染任务卸载到MEC服务器上；此外，本发明还公开了系统的参数优化方法，以最大限度地提高用户的体验质量。

Description

基于边缘计算和主动缓存的360度虚拟现实视频传输系统及 参数优化方法

技术领域

本发明属于移动通信技术领域，具体涉及一种基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法。

背景技术

移动虚拟现实有望成为未来5G的杀手级应用之一，它是指通过多跳网络将移动虚拟现实视频和声音文件从云服务器传输到用户终端设备，从而实现云服务器或边缘服务器的存储和渲染的虚拟现实业务；借助云计算技术和稳定的千兆光纤网络，该应用已被证明是切实可行的。360度视频，也就是所谓的三自由度球形视频，可以为用户提供沉浸式体验；由于360度移动虚拟现实视频结合了5G中增强型移动宽带业务的高容量和超可靠低时延通信业务的严格时延和可靠性的多重要求，因此到目前为止要支持这一应用还存在许多技术难点。

目前，该领域的部分研究集中在传统的方法上，包括提高传输速率或降低带宽要求。现有文献和专利中提高传输速率的方法主要集中在三个方面：多连接技术、有效的资源分配、毫米波无线通信。例如公开号为CN109068151B的中国专利中提出了一种边缘计算和毫米波蜂窝网协同的虚拟现实视频传输方法，但是该方法并没有利用边缘计算(Mobileedge computing，MEC)服务器的计算处理功能。另外，还有文献考虑联合利用缓存、计算、通信的资源，如文献[Y.Sun,Communications,caching,and computing for mobile virtualreality:Modeling and tradeoff,IEEE Transactions on Communications,vol.67,no.11,pp.7573-7586,Nov.2019]中提到的缓存和计算联合优化方法，但是该方法没有考虑到用户视野(Field of View，FoV)信息未知的情况给视频传输方法带来的影响。为了更好地将虚拟现实视频数据缓存在网络的边缘，需要根据用户的行为和历史的视野区域的信息进行视野预测，例如公开号为CN108833880B的中国专利提出的利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置，但是该专利技术未能合理利用边缘计算服务器充足的计算资源来减小端到端延时。

鉴于实现移动虚拟现实应用的困难，结合计算、通信和存储被认为是支持这些应用的关键。虽然上述提到的文献或专利有针对360度移动虚拟现实视频传输中的问题提出一些结合蜂窝网通信、边缘缓存、通信和计算资源联合优化的方案，但没有一个全面的系统设计能够在利用上述所有技术的同时，考虑核心网和边缘网的视频编码、数据存储和数据传输。此外，为了合理地设计系统工作流程并有效地调整系统的参数配置，以便最大限度地保障用户的服务质量和提升用户的体验质量，我们需要一种综合使用视频编码、主动缓存、计算卸载、数据传输和视野预测等技术的系统配置方法。

发明内容

鉴于上述，本发明提供了一种基于边缘计算和主动缓存的360度虚拟现实视频传输系统，联合考虑了视频编码、主动缓存、计算卸载、数据传输和视野预测。为了解决严格的从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延问题，本发明利用用户的视野预测来缓存视频数据并将部分解码渲染任务卸载到MEC服务器上。同时，本发明还给出调整系统参数的方法，以最大限度地提高用户的体验质量。

一种基于边缘计算和主动缓存的360度虚拟现实视频传输系统，包括：云服务器、MEC服务器以及客户端；其中：

所述云服务器存储有360度虚拟现实视频并通过神经网络生成对应的显著图，在对视频进行编码时采用等距柱状投影的方式将其划分为N×M个tile，并将每个tile多个视频帧的数据压缩为一组图片序列，N和M均为自定义的自然数；同时根据MEC服务器反馈的视野预测结果向MEC服务器传输相应的视频数据包或直接将视频数据包发送给客户端；

所述MEC服务器对云服务器下发的视频数据包进行缓存并发送给客户端，同时也会对缓存中的部分视频数据包进行解码渲染并将视频数据发送给客户端，此外MEC服务器会根据来自云服务器的显著图以及客户端提供的运动传感数据预测用户的视野概率分布即视野预测结果；

所述客户端用于收集用户的运动传感数据并上传给MEC服务器，同时对MEC服务器或云服务器提供的视频数据包进行解码以及渲染，完成2维视频向360度球面视频的转换并进行播放；

系统采用周期性的工作方式，每个周期由缓存阶段和计算与传输阶段组成，视频数据在时域上进行划分，分为多个视频块，每个视频块的时长为D₁，并且规定在第l个工作周期内用户所观看的视频块索引为l-1，l为大于1的自然数；在缓存阶段，云服务器根据MEC服务器反馈的视野预测结果向MEC服务器传输相应的视频数据包，缓存阶段时长为D_c且满足D_c≤D₁；在计算与传输阶段开始时刻，客户端向MEC服务器发出包含有运动传感数据的视野请求，MEC服务器根据网络及本地计算资源状况对相应的部分视频数据包进行解码和渲染处理后将视频数据传输给客户端，客户端接收到来自MEC服务器或云服务器的数据后，将其中未解码渲染的视频数据包进行解码渲染处理并进行播放。

进一步地，对于缓存阶段，在第l个工作周期开始时，MEC服务器根据第l个视频块的显著图以及第l-1个工作周期内用户的运动传感数据预测用户在第l+1个工作周期开始时的视野概率分布

其中

表示在第l+1个工作周期开始时用户视点落入坐标为

的tile中的概率，

N＝{1,2,…,N}，M＝{1,2,…,M}；MEC服务器在缓存阶段根据各tile预测的请求概率矩阵P_R(n,m)＝[P_R(n,m)]_N×M中对应元素按从大到小的顺序缓存第l个视频块的数据，其中P_R(n,m)表示在第l+1个工作周期开始时坐标为(n,m)的tile至少有一部分落在用户视野区域内的概率，n∈N，m∈M。

进一步地，缓存阶段结束后即为计算与传输阶段，在这个阶段的开始时刻，客户端会给MEC服务器发送用户的视野请求，该视野请求中包含有位于用户视野中心的tile的横纵坐标；所述计算与传输阶段包括了MEC服务器计算阶段、从MEC服务器到客户端传输阶段、从云服务器到客户端传输阶段、客户端计算阶段，为了利用MEC服务器的计算能力来减小客户端计算阶段的时延，可由MEC服务器完成部分视频数据包的解码渲染任务并将视频数据传输给客户端，而云服务器也会把MEC服务器没有缓存且用户需要的视频数据包直接发送给客户端，最后由客户端完成解码渲染任务并进行播放。

进一步地，在MEC服务器计算阶段，当收到客户端新的视野请求，MEC服务器会检查其缓存中是否有用户所需的视频数据包；为了平衡通信时延和计算时延，MEC服务器从缓存中用户所需的视频数据包中取比例为c的部分数据包进行解码渲染后将视频数据传输给客户端，其中c∈[0,1]；在从MEC服务器到客户端传输阶段，对于客户端向MEC服务器请求的数据，包括MEC服务器解码渲染过后得到的视频帧和未解码渲染的视频数据包，都将由MEC服务器传送给客户端；在从云服务器到客户端传输阶段，对于MEC服务器没有缓存且用户需要的视频数据包，直接由云服务器传送给客户端；在客户端计算阶段，客户端对MEC服务器或云服务器提供的视频数据包进行解码渲染，此时第l个工作周期的通信和解码渲染任务已经完成，客户端在第l+1个工作周期的开始时刻播放第l个视频块的视频帧。

为了最大限度地保障用户的服务质量和提升用户的体验质量，本发明还提供了上述系统的参数优化方法，其通过优化视频块的时长D₁和渲染的比例c以最小化系统的中断概率P_out，即

进一步地，所述中断概率P_out的表达式如下：

D_M,l＝D_2,l+D_3,l+D_4,l+D_5,l

其中：D_M,l为系统在第l个工作周期从客户端发出视野请求到客户端播放第l个视频块的端到端时延，p(D_M,l＝t_l)为关于D_M,l的概率密度函数，D_th为给定的时延阈值，t_l表示第l个工作周期内的时刻，D_2,l为第l个工作周期中MEC服务器计算阶段的时延，D_3,l为第l个工作周期中从MEC服务器到客户端传输阶段的时延，D_4,l为第l个工作周期中从云服务器到客户端传输阶段的时延，D_5,l为第l个工作周期中客户端计算阶段的时延。

进一步地，所述概率密度函数p(D_M,l＝t_l)的表达式如下：

其中：A_c,l为缓存矩阵且A_c,l＝[a_c,l(n,m)]_N×M，其中的元素值a_c,l(n,m)表示在第l个工作周期缓存阶段结束时刻坐标为(n,m)的tile在MEC服务器中的缓存情况，a_c,l(n,m)＝1即表示tile被缓存，a_c,l(n,m)＝0即表示tile未被缓存；A_r,l为请求矩阵且A_r,l＝[a_r,l(n,m)]_N×M，其中的元素值a_r,l(n,m)表示在第l个工作周期开始时坐标为(n,m)的tile是否在用户视野区域内，a_r,l(n,m)＝1即表示tile在用户视野区域内，a_r,l(n,m)＝0即表示tile不在用户视野区域内；G_l表示在第l个工作周期缓存阶段MEC服务器缓存的tile数量，g表示G_l在其状态空间G_l中的任一取值，每一个已知的缓存矩阵A_c,l均对应一个确定的g，

表示G_l的概率分布；P_F(n_l,m_l)表示在第l+1个工作周期开始时用户视点落入坐标为(n_l,m_l)的tile中的真实概率大小，N＝{1,2,…,N}，M＝{1,2,…,M}；

表示在已知缓存矩阵A_c,l和请求矩阵A_r,l的情况下D_M,l的条件概率密度函数。

进一步的，所述条件概率密度函数

的表达式如下：

Γ_3,l＝Γ_1,l(c·h+1-c)

Γ_4,l＝D₁fB(E_l-Q_l)

其中：t₂表示第l个工作周期从MEC服务器到客户端传输阶段内的时刻，t₃表示第l个工作周期从云服务器到客户端传输阶段内的时刻，α₂和β₂分别为从MEC服务器到客户端传输阶段的漂移系数和扩散系数，b_2,l为从MEC服务器到客户端传输阶段的吸收边界，α₃和β₃分别为从云服务器到客户端传输阶段的漂移系数和扩散系数，b_3,l为从云服务器到客户端传输阶段的吸收边界，Γ_3,l表示在第l个工作周期内MEC服务器向客户端传输的总数据量，Γ_4,l表示在第l个工作周期内云服务器向客户端传输的总数据量，Γ_1,l＝D₁fBQ_l，C_r为视频编码压缩后与编码压缩前的数据量大小比值，s为每个视频数据包的大小，f表示视频帧率，B表示tile中每帧视频的数据量大小，Q_l表示第l个工作周期内缓存在MEC服务器中且被客户端请求的tile数量，E_l表示第l个工作周期内实际被客户端请求的tile数量，h表示视频渲染后与渲染前的数据量大小比值，R₂(t)表示从MEC服务器到客户端之间网络的瞬时传输速率，R₃(t)表示从云服务器到客户端之间网络的瞬时传输速率，E()表示均值，Var()表示方差。

基于上述技术方案，本发明具有以下有益技术效果：

1.为了解决严格的从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延问题，本发明联合了考虑视频编码、主动缓存、计算卸载和数据传输，利用用户的视野预测来缓存视频数据，可以减小系统需求的网络带宽，而将解码渲染任务部分卸载到MEC服务器上，可以减小系统的计算时延。

2.本发明可调整系统参数以最大限度地保障用户的服务质量和提升用户的体验质量，如在给定划分后的视频平面在垂直和水平方向的tile的数目N和M的情况下，通过调整最大缓存时长D₁和MEC服务器在其图形处理单元上渲染数据比例c以最小化系统的中断概率来实现。

附图说明

图1为本发明系统的结构示意图。

图2为本发明系统的工作流程示意图。

图3为本发明系统的视野预测和视频编码示意图。

图4为采用本发明方法在不同的视频块时长和压缩比下，结合MEC方案和未结合MEC方案从用户发出视野请求到用户重新开始观看新视频块的端到端时延的累积分布函数仿真示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本发明基于边缘计算和主动缓存的360度移动虚拟现实视频传输系统，包括云服务器、MEC服务器、用户头戴式显示器、云服务器到MEC服务器的多跳有线网络、MEC服务器到用户的单跳无线网络、云服务器到用户的多跳有线和单跳无线网络。

所述的云服务器包括：

视频储存模块，用于360度虚拟现实视频的存储；

Tile编码和压缩模块，用于360度虚拟现实视频的等距柱状投影，将其划分为N×M个tile，并将每个视频tile多个视频帧的数据压缩为一组图片；

Tile选择模块，用于根据MEC服务器反馈的视野预测结果，向MEC服务器传输数据包，进行主动缓存；

显著图网络：用于根据事先存储的视频数据，通过神经网络生成显著图。

MEC服务器包括：

数据包缓存：用于对来自云服务器的数据包进行缓存；

解码器：用于数据包的解码；

图形处理单元：用于渲染图像，即完成2维视频向360度球面视频的转换；

编码器：用于将在MEC服务器中缓存或计算出来的数据包进行编码、压缩，发送给虚拟现实用户；

视野预测模块：用于根据来自云服务器的显著图和用户的传感器数据，来预测用户的视野概率分布。

用户头戴式显示器包括：

数据包缓存：用于对来自MEC服务器和云服务器的数据包进行缓存；

解码器：用于数据包的解码；

图形处理单元：用于渲染图像，即完成2维视频向360度球面视频的转换，并将数据包组合成视频帧；

显示屏：用于360度虚拟现实视频的播放；

传感器：用于收集用户的运动信息，这些信息将被发送到MEC服务器上进行视野预测。

云服务器到MEC服务器的多跳有线网络，用于云服务器到MEC服务器的数据的传输，其在时刻t的瞬时传输速率为R₁(t)；

MEC服务器到用户的单跳无线网络，用于MEC服务器到用户的数据传输，其在时刻t的瞬时传输速率为R₂(t)；

云服务器到用户的多跳有线和单跳无线网络，用于云服务器到用户的数据传输，其在时刻t的瞬时传输速率为R₃(t)。

随着网络的动态变化，数据包抵达MEC服务器或用户的时间有不同的时延。在不失一般性的前提下，令上述三种网络情况下视频数据包到达时间的间隔变量遵循给定但任意的分布，其均值为1/λ_i，方差为V_i，其中i∈{1,2,3}分别表示属于云服务器到MEC服务器的多跳有线网络，MEC服务器到用户的单跳无线网络，云服务器到用户的多跳有线和单跳无线网络的传输过程。那么，1/λ_i和V_i由以下公式给出：

其中：s表示每个视频数据包的大小，以比特为单位，E()表示随机变量的均值，Var()表示随机变量的方差。

本发明系统的工作流程如图2所示，系统采用周期性的工作方式，每个周期由缓存阶段和计算与传输阶段组成。视频在时域上进行划分，成为视频块，每个视频块的时长为D₁，并且规定在第l个工作周期，用户所观看的视频的索引为l-1。在缓存阶段，云服务器根据MEC服务器反馈的视野预测结果，向MEC服务器传输数据包，进行主动缓存，缓存阶段时长为D_c，满足D_c≤D₁；在计算与传输阶段开始时刻，用户向MEC发出了视野请求，MEC服务器根据网络和计算资源情况对一部分数据进行解码和渲染处理并将计算结果传输给用户，用户接收到MEC服务器和云服务器的数据后将未渲染的数据进行处理，并提供给用户进行播放观看，具体过程如下：

(1)MEC服务器的缓存阶段：用Z₁(t₁)表示从本周期的缓存阶段零时刻开始后的时刻t₁，MEC服务器中主动缓存的数据包数量。根据扩散过程近似法，用连续过程随机变量X₁(t₁)代表离散的数据包数Z₁(t₁)，其满足：

其中：

是一个均值为零、单位方差的标准正态分布随机变量，α₁和β₁分别是如下定义的漂移系数和扩散系数：

其中：Δt₁表示时间t₁的增量。

将X₁(t₁)在时刻t₁的条件概率密度函数p(x₁,t₁|x₀)定义为：

p(x₁,t₁|x₀)＝P(x₁≤X₁(t₁)＜x₁+dx₁|X₁(0)＝x₀) (6)

其中：x₀为初始队列长度。

当缓存阶段的时长D_c与视频块的时长D₁相同，则一个新的视野请求被发送到MEC服务器时，缓存阶段立刻结束，因此MEC服务器缓存数据包的最大时间为D₁。X₁(t₁)在时刻t₁的条件概率密度函数可表示为：

其中：

表示时长D_c的缓存阶段内MEC服务器可以缓存的所有N×M个tile的最大数据包数，称之为吸收边界；f表示视频的帧率，B为每个tile每帧的数据量，单位为比特每帧每tile，C_r为视频压缩后与压缩前的数据量大小的比值。

MEC服务器在此缓存阶段缓存的tile数量G_l的概率质量函数可以表示为：

其中：坐标为(n,m)的tile在缓存阶段按矩阵A_o,l的各自对应元素a_o,l(n,m)的从小到大的顺序进行传输，并且a_o,l(n,m)∈{1,2,…,NM}，n∈N，m∈M，N＝{1,2,…,N}，M＝{1,2,…,M}；矩阵A_o,l＝[a_o,l(n,m)]_N×M是在缓存阶段根据各个tile预测的请求概率矩阵P_R(n,m)＝[P_R(n,m)]_N×M中对应元素的大小来赋值的，具体获取方式可以参照后面的式(32)。缓存矩阵A_c,l＝[a_c,l(n,m)]_N×M用于表示在缓存阶段结束时刻坐标为(n,m)的tile是否被缓存在MEC服务器中，其中：

可以求出A_c,l的概率质量函数为：

(2)系统的计算与传输阶段：在这个阶段的开始时刻，用户会给MEC服务器发送真实的视野请求(n_l,m_l)，其中n_l∈N和m_l∈M代表视野的中心tile的横纵坐标；为了利用MEC服务器的计算能力来减小计算子阶段时延，可以由MEC服务器完成部分数据的解码渲染任务并将数据传输给用户，而云服务器也将会把MEC服务器没有缓存但用户需要的数据发送给用户，最后由用户头戴式显示器完成解码渲染任务以提供用户继续观看。

2.1MEC服务器的计算子阶段：MEC在计算子阶段开始时刻接收实际的视野请求信息(n_l,m_l)，即视野的中心tile的坐标。请求矩阵A_r,l＝[a_r,l(n,m)]_N×M表示每个tile是否在实际视野区域内，其中：

其中：N_r和M_r表示实际视野区域中tile的垂直和水平坐标集合，令N＝{1,2,…,N}，M＝{1,2,…,M}表示视频平面tile的坐标集合。因为用户实际的视野区域可能与视频平面的边界相交，所以有：

其中：k是用户的视野区域在横纵方向包含的tile的数目，n_l∈N，m_l∈M。

令

表示第l周期实际请求的视野区域的tile数，在MEC服务器计算子阶段的开始时刻，根据缓存矩阵A_c,l和用户视点信息(n_l,m_l)，缓存在MEC服务器中同时又被用户请求的tile数量可表示为：

MEC服务器命中的缓存数据量为：

Γ_1,l＝D₁fBQ_l (15)

为了减少头戴式显示器的计算负担从而减少计算时延，MEC服务器对比例为c的数据进行解码渲染操作。因此，卸载数据大小Γ_2,l表示为：

Γ_2,l＝Γ_1,lc (16)

那么，MEC服务器的传输时延D_2,l的条件概率质量函数可表示为：

其中：W_M表示MEC服务器计算能力，单位为比特每秒。

2.2从MEC服务器到用户的传输子阶段：用户在MEC服务器的缓存中请求的数据将被传送给用户，它由两部分组成：一部分是在MEC服务器中计算处理过的，另一部分还未计算的。Γ_3,l表示整体的数据大小，可表示为：

Γ_3,l＝Γ_2,lh+Γ_1,l-Γ_2,l＝Γ_1,l(c·h+1-c) (18)

其中：h表示计算输出和输入之间的数据大小比。

用Z₂(t₂)表示从MEC服务器到用户的传输子阶段开始时刻后的时刻t₂用户收到的数据包数量。根据扩散过程近似法，用连续的过程X₂(t₂)表示离散的数据包随机变量Z₂(t₂)，其中初始数据包数为0，吸收边界为

根据式(7)，当X₂(t₂)＝b_2,l时，传输时延D_3,l的条件概率密度函数由以下公式给出：

其中：α₂和β₂分别是该子阶段扩散过程的漂移系数和扩散系数，计算方法为：

其中：Δt₂表示时间t₂的增量。

因此，D_3,l的概率密度函数为：

2.3从云服务器到用户的传输子阶段：云服务器需要交付的tile的数据大小Γ_4,l可以表示为：

Γ_4,l＝D₁fBE_l-Γ_1,l＝D₁fB(E_l-Q_l) (23)

根据式(22)，传输时延D_4,l的条件概率密度函数值为：

其中：α₃和β₃分别是该子阶段扩散过程的漂移系数和扩散系数，计算方法为：

其中：Δt₃表示时间t₃的增量。

2.4用户的计算子阶段：头戴式显示器完成尚未渲染的数据的解码渲染任务，数据由两部分组成：一部分是从MEC服务器接收的，另一部分是从云服务器接收的。所以需要计算的数据大小Γ_5,l由以下公式给出：

Γ_5,l＝Γ_4,l+Γ_1,l-Γ_2,l (27)

因此我们可以得到计算时延D_5,l的条件概率质量函数，如下所示：

其中：W_U表示用户头戴式显示器的计算能力，单位为比特每秒。

因此，本周期从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延D_M,l的条件概率密度函数可以表示为：

注意到，由于请求矩阵A_r,l是由用户的视点决定的，而缓存矩阵A_c,l与云服务器到MEC服务器的传输速率分布有关，所以A_r,l和A_c,l是独立的。因此，在计算与传输阶段根据用户在第l周期缓存阶段的传感器数据和第l-1个视频段的显著图计算得来的请求矩阵的概率质量函数可被表示为P(A_r,l)＝P_F(n_l,m_l)，其中P_F(n_l,m_l)表示在第l+1周期开始时用户视点落入坐标为(n_l,m_l)的tile内的真实概率大小。从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延的概率密度函数可以进一步计算为：

当从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延大于预设的时延阈值D_th时，用户会感到头晕，体验质量会显著降低。因此，时延中断概率可以定义为从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延D_M,l大于阈值的概率，如下所示：

图3所示了360度视频块(也称为球形视频块)如何被编码成tile以及视野预测的结果。最初，帧率为f的360度移动虚拟现实视频块l通过等距柱状投影投射到一个二维视频平面上，其角度范围为180°×360°。然后，将其划分为N×M个tile，每帧tile的数据大小为B比特/tile/帧。由于云服务器中的编码和压缩利用了时间和空间的依赖性，用户的头戴式显示器或MEC服务器需要一个tile的所有视频帧的数据包来进行正确解码。由于不同的tile独立进行编码和压缩，即使视野区域只覆盖部分tile，也需要传输该完整的tile。通常情况下，如果用户的视野区域面积为k×k个tile，那么请求区域面积会是(k+1)²个tile大小，并且视点可能落在视频平面的任何tile中。

在周期l的缓存阶段开始时刻，为了生成视野预测结果，MEC服务器可以利用从云服务器接收到的显著图和从用户接收到的传感器数据。对于显著图，云服务器可以利用文献[L.Bazzani,Recurrent mixture density network for spatiotemporal visualattention,ICLR,2017,pp.1-17]中提出的Convolution neural network(CNN)+Longshort-term memory(LSTM)+Gaussian mixture model(GMM)显著图网络来生成，其具体神经网络结构可以表示为：C64-P-C128-P-C256-C256-P-C512-C512-P-C512-P-FC4096-FC4096-softmax，其中C、P、FC和softmax分别表示三维卷积层、池化层、全连接层和softmax函数网络层，上述字母后面的数字表示相关层的核数(如C64表示有64个核)，LSTM网络的视频帧滑动窗口为16个视频帧，高斯分布的数量设置为20个。MEC服务器还可以通过文献[C.Fan,Fixation prediction for 360degree video streaming in head-mountedvirtual reality,Proc.ACM Wksp.Network and Operating Systems Support forDigital Audio and Video,2017,pp.67-72]中提出的定位器(利用CNN网络实现)从传感器数据中提取包括偏航、俯仰和滚动在内的方向信息，这些提取出来的信息被存放在一个特征缓存区内；然后，MEC服务器可以使用文献[M.Xu,Predicting head movement inpanoramic video:A deep reinforcement learning approach,IEEE Transactions onPattern Analysis and Machine Intelligence,vol.41,no.11,pp.2693-2708,Nov.2019]中提出的LSTM视点预测网络，利用滑动窗口内过去16个视频帧的显著图和历史方向信息生成未来视频帧的各个tile的被观看概率矩阵

元素

表示坐标为

的tile被观看的概率。类似的，在计算与传输阶段可以使用相同的方法生成第l+1周期开始时用户视点落入坐标为(n_l,m_l)的tile内的概率P_F(n_l,m_l)。

由于预测的视野区域可能会与视频平面的边界相交，因此预测视野区域的tile坐标集合定义为

和

其中N＝{1,2,…,N}，M＝{1,2,…,M}表示视频平面tile的垂直和水平方向的坐标集合，然后请求概率矩阵被定义为P_R(n,m)＝[P_R(n,m)]_N×M，其中：

表示在下一个周期开始时刻，坐标为(n,m)的tile至少有一部分落在视野区域内的概率，n∈N，m∈M。

为了验证本发明系统在减小从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延方面的有效性，本发明与未结合边缘计算的方案进行了对比，仿真中考虑的相关重要参数设置如表1所示：

表1

图4比较了在缓存阶段时长D_c等于D₁的前提下，在不同的视频块时长和压缩比下，结合MEC方案和未结合MEC方案的从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延。图中p(D_M,l＝t_l)表示结合边缘计算的方法下从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延的概率密度函数，p(D_N,l＝t_l)表示未结合边缘计算的方法下从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延的概率密度函数。在相同的视频块时长和压缩比下，可以观察到结合MEC的方案的时延优于未结合MEC的方案，平均下降幅度高达60％，这是因为用户请求的tile被缓存在MEC服务器中，又由于MEC服务器的计算能力远大于用户头戴式显示器的计算能力，计算时延变得相当小。此外，给定结合MEC方案或未结合MEC方案中的压缩比(如1/600)，视频块时长较短时，平均从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延较小，这是因为在该仿真参数设置下，当D₁较短时，每个周期内需要传输和计算的视频数据较少；但是也不能简单的根据这一现象就认为D₁越短，越有利于保障用户的体验质量，这是因为当D₁较短时，视频的压缩效率就会降低，而根据图4可以看到其他参数给定时，压缩效率降低将会导致从用户发出真实的视野请求到用户重新开始观看新的视频块的端到端时延增加。因此，可以调整系统参数，以最大限度地保障用户的服务质量和提升用户的体验质量；例如在给定划分后的视频平面在垂直和水平方向的tile的数目N和M的情况下，通过调整最大缓存时长D₁(即系统参数视频块的时长)和MEC服务器在其图形处理单元上渲染数据比例c，可以最小化系统的中断概率，从而提升系统性能。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (1)

1.一种基于边缘计算和主动缓存的360度虚拟现实视频传输系统，包括：云服务器、MEC服务器以及客户端；其特征在于：

所述云服务器存储有360度虚拟现实视频并通过神经网络生成对应的显著图，在对视频进行编码时采用等距柱状投影的方式将其划分为N×M个tile，并将每个tile的多个视频帧的数据压缩为一组图片序列，N和M均为自定义的自然数；同时根据MEC服务器反馈的视野预测结果向MEC服务器传输相应的视频数据包或直接将视频数据包发送给客户端；

所述MEC服务器对云服务器下发的视频数据包进行缓存并发送给客户端，同时也会对缓存中的部分视频数据包进行解码渲染并将视频数据发送给客户端，此外MEC服务器会根据来自云服务器的显著图以及客户端提供的运动传感数据预测用户的视野概率分布即视野预测结果；

所述客户端用于收集用户的运动传感数据并上传给MEC服务器，同时对MEC服务器或云服务器提供的视频数据包进行解码以及渲染，完成2维视频向360度球面视频的转换并进行播放；

系统采用周期性的工作方式，每个周期由缓存阶段和计算与传输阶段组成，视频数据在时域上进行划分，分为多个视频块，每个视频块的时长为D₁，并且规定在第l个工作周期内用户所观看的视频块索引为l-1，l为大于1的自然数；在缓存阶段，云服务器根据MEC服务器反馈的视野预测结果向MEC服务器传输相应的视频数据包，缓存阶段时长为D_c且满足D_c≤D₁；在计算与传输阶段开始时刻，客户端向MEC服务器发出包含有运动传感数据的视野请求，MEC服务器根据网络及本地计算资源状况对相应的部分视频数据包进行解码和渲染处理后将视频数据传输给客户端，客户端接收到来自MEC服务器或云服务器的数据后，将其中未解码渲染的视频数据包进行解码渲染处理并进行播放；

对于缓存阶段，在第l个工作周期开始时，MEC服务器根据第l个视频块的显著图以及第l-1个工作周期内用户的运动传感数据预测用户在第l+1个工作周期开始时的视野概率分布

其中

表示在第l+1个工作周期开始时用户视点落入坐标为

的tile中的概率，

N＝{1,2,…,N}，M＝{1,2,…,M}；MEC服务器在缓存阶段根据各tile预测的请求概率矩阵P_R(n,m)＝[P_R(n,m)]_N×M中对应元素按从大到小的顺序缓存第l个视频块的数据，其中P_R(n,m)表示在第l+1个工作周期开始时坐标为(n,m)的tile至少有一部分落在用户视野区域内的概率，n∈N，m∈M；

缓存阶段结束后即为计算与传输阶段，在这个阶段的开始时刻，客户端会给MEC服务器发送用户的视野请求，该视野请求中包含有位于用户视野中心的tile的横纵坐标；所述计算与传输阶段包括了MEC服务器计算阶段、从MEC服务器到客户端传输阶段、从云服务器到客户端传输阶段、客户端计算阶段，为了利用MEC服务器的计算能力来减小客户端计算阶段的时延，可由MEC服务器完成部分视频数据包的解码渲染任务并将视频数据传输给客户端，而云服务器也会把MEC服务器没有缓存且用户需要的视频数据包直接发送给客户端，最后由客户端完成解码渲染任务并进行播放；

在MEC服务器计算阶段，当收到客户端新的视野请求，MEC服务器会检查其缓存中是否有用户所需的视频数据包；为了平衡通信时延和计算时延，MEC服务器从缓存中用户所需的视频数据包中取比例为c的部分数据包进行解码渲染后将视频数据传输给客户端，其中c∈[0,1]；在从MEC服务器到客户端传输阶段，对于客户端向MEC服务器请求的数据，包括MEC服务器解码渲染过后得到的视频帧和未解码渲染的视频数据包，都将由MEC服务器传送给客户端；在从云服务器到客户端传输阶段，对于MEC服务器没有缓存且用户需要的视频数据包，直接由云服务器传送给客户端；在客户端计算阶段，客户端对MEC服务器或云服务器提供的视频数据包进行解码渲染，此时第l个工作周期的通信和解码渲染任务已经完成，客户端在第l+1个工作周期的开始时刻播放第l个视频块的视频帧；

通过优化视频块的时长D₁和渲染的比例c以最小化系统的中断概率P_out，即

中断概率P_out的表达式如下：

D_M,l＝D_2,l+D_3,l+D_4,l+D_5,l

其中：D_M,l为系统在第l个工作周期从客户端发出视野请求到客户端播放第l个视频块的端到端时延，p(D_M,l＝t_l)为关于D_M,l的概率密度函数，D_th为给定的时延阈值，t_l表示第l个工作周期内的时刻，D_2,l为第l个工作周期中MEC服务器计算阶段的时延，D_3,l为第l个工作周期中从MEC服务器到客户端传输阶段的时延，D_4,l为第l个工作周期中从云服务器到客户端传输阶段的时延，D_5,l为第l个工作周期中客户端计算阶段的时延；

所述概率密度函数p(D_M,l＝t_l)的表达式如下：

其中：A_c,l为缓存矩阵且A_c,l＝[a_c,l(n,m)]_N×M，其中的元素值a_c,l(n,m)表示在第l个工作周期缓存阶段结束时刻坐标为(n,m)的tile在MEC服务器中的缓存情况，a_c,l(n,m)＝1即表示tile被缓存，a_c,l(n,m)＝0即表示tile未被缓存；A_r,l为请求矩阵且A_r,l＝[a_r,l(n,m)]_N×M，其中的元素值a_r,l(n,m)表示在第l个工作周期开始时坐标为(n,m)的tile是否在用户视野区域内，a_r,l(n,m)＝1即表示tile在用户视野区域内，a_r,l(n,m)＝0即表示tile不在用户视野区域内；G_l表示在第l个工作周期缓存阶段MEC服务器缓存的tile数量，g表示G_l在其状态空间Ω中的任一取值，每一个已知的缓存矩阵A_c,l均对应一个确定的g，

表示G_l的概率分布；P_F(n_l,m_l)表示在第l+1个工作周期开始时用户视点落入坐标为(n_l,m_l)的tile中的真实概率大小，N＝{1,2,…,N}，M＝{1,2,…,M}；

表示在已知缓存矩阵A_c,l和请求矩阵A_r,l的情况下D_M,l的条件概率密度函数；

所述条件概率密度函数

的表达式如下：

Γ_3,l＝Γ_1,l(c·h+1-c)

Γ_4,l＝D₁fB(E_l-Q_l)

其中：t₂表示第l个工作周期从MEC服务器到客户端传输阶段内的时刻，t₃表示第l个工作周期从云服务器到客户端传输阶段内的时刻，α₂和β₂分别为从MEC服务器到客户端传输阶段的漂移系数和扩散系数，b_2,l为从MEC服务器到客户端传输阶段的吸收边界，α₃和β₃分别为从云服务器到客户端传输阶段的漂移系数和扩散系数，b_3,l为从云服务器到客户端传输阶段的吸收边界，Γ_3,l表示在第l个工作周期内MEC服务器向客户端传输的总数据量，Γ_4,l表示在第l个工作周期内云服务器向客户端传输的总数据量，Γ_1,l＝D₁fBQ_l，C_r为视频编码压缩后与编码压缩前的数据量大小比值，s为每个视频数据包的大小，f表示视频帧率，B表示tile中每帧视频的数据量大小，Q_l表示第l个工作周期内缓存在MEC服务器中且被客户端请求的tile数量，E_l表示第l个工作周期内实际被客户端请求的tile数量，h表示视频渲染后与渲染前的数据量大小比值，R₂(t)表示从MEC服务器到客户端之间网络的瞬时传输速率，R₃(t)表示从云服务器到客户端之间网络的瞬时传输速率，E()表示均值，Var()表示方差。

Images