CN114640870B - 一种QoE驱动的无线VR视频自适应传输优化方法及系统 - Google Patents

一种QoE驱动的无线VR视频自适应传输优化方法及系统 Download PDF

Info

Publication number
CN114640870B
CN114640870B CN202210278306.8A CN202210278306A CN114640870B CN 114640870 B CN114640870 B CN 114640870B CN 202210278306 A CN202210278306 A CN 202210278306A CN 114640870 B CN114640870 B CN 114640870B
Authority
CN
China
Prior art keywords
video
user
video block
version
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210278306.8A
Other languages
English (en)
Other versions
CN114640870A (zh
Inventor
邓瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN202210278306.8A priority Critical patent/CN114640870B/zh
Publication of CN114640870A publication Critical patent/CN114640870A/zh
Application granted granted Critical
Publication of CN114640870B publication Critical patent/CN114640870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种QoE驱动的无线VR视频自适应传输优化方法及系统，获取用户请求视频块信息，根据视频块所包含的图像块在一个segment播放期间被用户视角覆盖的概率，获取每个视频块的优先级；根据用户视点范围内视频块的优先级、平均视频质量和时间空间两个维度的质量波动建立当前segment的VR视频用户体验质量模型；以最大化所有VR视频用户体验质量之和为目标，综合考虑VR视频业务特性，网络可用带宽限制和用户缓存状态建立一个QoE驱动的无线VR视频自适应传输优化问题P；求解优化问题P得到最优的用户视频块版本请求方案，本发明以最大化系统中所有用户的视觉体验之和为优化目标，动态确定其请求的码率版本，从而帮助系统在提高资源利用率的同时达到提升所有用户体验的目的。

Description

一种QoE驱动的无线VR视频自适应传输优化方法及系统
技术领域
本发明属于VR视频优化传输技术领域，具体属于一种面向无线VR视频的码率自适应和视点自适应联合优化传输方法及系统。
背景技术
近几年，随着VR设备、无线通信和移动终端技术的成熟，VR视频正越来越多地用于影视、游戏、医疗、教育等应用中，给人们的生活和工作带来了全新的体验。但目前无线网络中的VR视频传输仍面临巨大的挑战。VR视频覆盖360度视场，而人眼的视角范围通常约为120度，VR终端设备(如VR头盔)可支持的视角大约只有90°～110°,因此为了避免带宽浪费使得在带宽不足的无线网络中仍可提供清晰、流畅的虚拟现实视频体验，视点自适应方法近年来在VR视频无线传输研究中受到越来越多的关注。
现有VR视频自适应传输方法可分为基于主视场的自适应传输方法和基于视频分块的自适应传输方法。在基于主视场的自适应传输方法中，VR视频被预先生成多个存在不同的主视场的视频版本(主视场内的视频质量均高于周围视频质量)以供用户根据视点进行自适应下载，其中最为典型的方法如Facebook的金字塔模型。然而，由于此类方法性能与预先划分的视角数密切相关，灵活性不够且仍需要很大的传输带宽才能保证较高的用户体验，学术界越来越多的研究人员都将研究重点转向了基于视频分块的自适应传输方法。
考虑到无线信道的时变特性，现有的基于视频分块的自适应传输方法总是与自适应比特流技术(Adaptive Bit Rate,ABR)相结合。DASH技术是目前视频业务采用的主流自适应流技术，可根据用户的视点和网络带宽动态的调整选择需要下载的视频块的码率版本。Feuvre等人针对H.265提出了一个基于视频块传输优先级的信道可感知的码率分配算法，每个视频段中视频块的传输优先级可根据用户视点利用配置文件进行静态标记。由于存在传输延时，客户端经常会出现用户当前视点与下载视频的视点不符的情况，这将会导致晕动症的产生。因此，采取低分辨率的虚拟现实全景视频结合高分辨率的分块视频的传输方式。低分辨率的虚拟现实全景视频可在用户快速转头视点快速补充视角内缺少地视频内容，一定程度上缓解了视点切换时地主观不适感。为了进一步增强网络带宽适用性，Nasrabadi等人和Chakareski等人利用可伸缩视频编码(SVC)自适应的为每个视频段确定用户视点范围内各个视频块需要传输的增强层个数，从而提高用户的体验质量。Qian等人和S.Petrangeli等人引入视点预测模型，并根据视点预测结果为用户视角范围内的视频块分配较高的码率。与此同时，为了避免视点误差引起的用户视窗中出现黑屏的现象，用户预测视角范围外的视频块也以较低的码率(质量)被发送给用户。这些算法虽一定程度上提升了用户的体验质量，但同时也增加了网络流量开销。为了解决这一问题，Nguyen等人对视点预测误差进行了分析，并利用该误差特性为用户精确选择需下载的视频块，在满足用户对视角内出现黑屏的概率的限制的同时大大减少用户视角范围外的视频块被下载。为了获得最优的系统性能,Alface等人根据每个视频块的观看概率和网络带宽实时的确定需要传输视频块以及其码率版本，以最大化用户的视频质量。Xie等人在此基础上又进一步考虑了视频的空间质量抖动对用户体验质量的影响，并提出了一个基于用户缓存状态的码率控制算法。考虑到单独高质量传输1-2视频块很难获得较高的观看体验，也为了降低空间质量抖动，BAS-360算法将多个视频块组合成一个宏观流单元(macro-streaming unit，MSU)，并通过将带宽分配观看概率较大的MSU来减少其他未观看的宏观流单元传输对带宽造成浪费。Han等人根据用户视点位置将VR视频分为三个不同等级的质量区域，并将视频的时间质量抖动和卡顿时间引入用户体验质量的计算，提出了Q360AS算法，按区域为视频块分配合适的码率，以最大化用户的体验质量。Quan等人提出了一个基于光流估计的用户体验质量度量方法，并将具有相似质量的视频块组合在一起利用增强学习完成码率分配。Wei等人针对多路径TCP的VR视频系统提出码率自适应传输方案，为用户视角内的视频块选择合适的码率版本，以最小化编码失真和因超时丢包引发的传输失真。然而，这些优化算法仅完成了对单个用户的动态码率和视点联合自适应方案优化，难以实现高效的多用户无线网络带宽资源共享,在保证每个客户端能够获得适合自身网络环境和观看需求的视频的同时提高总体用户的视频质量体验。
总的来说，目前VR视频自适应传输方法或因对视点预测引入的误差特性缺乏全面且有效的分析，或未充分考虑多用户系统中的网络资源共享与竞争，均难以在资源受限、信道质量波动的情况下通过合理选择视频块码率版本最大化系统中所有用户的视觉体验之和。
发明内容
为了解决现有技术中存在的问题，本发明提供一种QoE驱动的无线VR视频自适应传输优化方法及系统，以最大化系统中所有用户的视觉体验之和为优化目标，动态确定其请求的视频块码率版本，从而帮助系统在提高资源利用率的同时达到提升所有用户体验的目的。
为实现上述目的，本发明提供如下技术方案：一种QoE驱动的无线VR视频自适应传输优化方法，具体步骤如下：
S1获取用户请求视频块信息，根据视频块所包含的图像块在一个segment播放期间被用户视角覆盖的概率，获取每个视频块的优先级；
S2根据用户视点范围内视频块的优先级、平均视频质量和时间空间两个维度的质量波动建立当前segment的VR视频用户体验质量模型；
S3在综合考虑VR视频业务特性、网络可用带宽限制和用户缓存状态得基础上，以最大化当前小区中所有VR视频用户体验质量之和为目标，建立一个QoE驱动的无线VR视频自适应传输优化问题P；
S4求解优化问题P得到当前小区中所有用户的最优的视频块版本请求方案。
进一步的，步骤S1中，计算视频块的优先级的具体步骤为：
S1.1将视频序列按照时间划分为segment，然后将segment按照空间划分为视频块；
S1.2利用前一个segment的视点反馈值对下一个segment的视点进行预测；
S1.3结合segment的视点预测结果、VR终端设备和人眼的视角限制，得到segment中每一视频帧用户视角覆盖的范围；
S1.4获取视频块所包含的图像块在一个segment播放期间被用户视角覆盖的概率，根据上述概率得到视频块的优先级Prios,b，具体如下：
其中：表示下取整；Nseg为一个segment中视频帧的个数；vs,f,b(x,y)为0-1变量，1表示当第f个视频帧的预测视点在(x,y)处时，第s个segment第b个视频块在第f个视频帧中所对应的图像块在用户视角范围之内；Pf(x,y)为用户在观看第f帧时，视点位于(x,y)处的概率；P为优先级的个数。
进一步的，步骤S2中，用户体验质量模型具体为：
式中，BQk,b,l表示用户k请求第b个视频块版本l时获得的平均视频质量；和表示用户k请求第b个视频块版本l所引起的在时间和空间两个维度上质量波动；ε1和ε2用以调节空间、时间质量波动带来的QoE衰减的经验参数；权值wk,b反映了第b个视频块对于用户k体验质量的影响程度，这里权值wk,b由视频块优先级Prios,b映射得到，且随着视频块优先级Prios,b的升高，wk,b逐渐增大。
进一步的，步骤S3中，优化问题P描述为：
(c)xk,b,l∈{0,1},0≤k≤L,0≤l≤L,1≤b≤B
式中，X为所有用户请求的用户请求视频块版本指示，为本优化问题的决策变量，xk,b,l为表征当前segment第b个视频块用户k是否请求版本l的0-1变量；如果取1，表示当前segment第b个视频块用户k请求版本l；tk—用户k客户端缓存的视频数据能够支持的流畅性播放时间；QoEk,b,l—当前segment第b个视频块用户k请求版本l时获得QoE；Dk,b,l—用户k请求的当前segment第b个视频块版本l的时延。
进一步的，步骤S3中，所述优化问题P的约束条件包括：
S3.1对于播放流畅性的约束，要求用户在当前请求周期中请求的segment所有视频块版本在所述segment播放时间到达之前传输完毕；
S3.2用户只能为当前segment的每个视频块请求一个版本。
进一步的，步骤S3中，用户k请求的当前segment第b个视频块版本l的获取方式指示有三种，具体包括：
1)本地缓存获取指示，即当前segment第b个视频块用户k请求的版本l会从本小区边缘数据中心的MEC服务器m缓存中获取；
2)本地转码获取指示，即当前segment第b个视频块用户k请求的版本l会由本小区边缘数据中心的MEC服务器转码得到；
3)外部缓存获取指示，当前segment第b个视频块用户k请求的版本l会由MEC服务器从云端或邻近小区边缘服务中心的MEC服务器处获取。
进一步的，步骤S3中，用户k请求的当前segment第b个视频块版本l的时延Dk,b,l表示如下：
式中表示集合/>的个数；/>为本地缓存获取指示；/>为本地转码获取指示，/>为外部缓存获取指示；
为了减少延时，和/>满足下式：
其中为标识MEC服务器缓存状态的二元变量，当取1时，表示当前segment第b个视频块的版本l已被缓存到本小区边缘数据中心的MEC服务器m中。
因此，
其中为用户k请求的第b个视频块的版本l从本小区边缘数据中心的MEC服务器缓存处直接获取的时延；/>为用户k请求的第b个视频块的版本l由本小区边缘数据中心的MEC服务器转码获取的时延；/>为用户k请求的第b个视频块的版本l从云端处获取经MEC服务器传输的时延。
进一步的，步骤S4中，
S4.1对优化问题P的播放流畅性进行松弛，引入拉格朗日乘子λ＝(λ1,λ2,…,λK)≥0，得到松弛问题P′；
S4.2利用启发式算法、梯度优化算法得到松弛问题P′的最优解X*，即为最优用户请求视频块版本指示。
本发明还提供一种QoE驱动的无线VR视频自适应传输优化系统，包括云端VR视频服务平台、VR终端和宏基站，所述宏基站包括信息感知及处理模块、视点自适应与码率自适应联合优化模块以及控制信令重写及发送模块；
信息感知及处理模块用于从云端VR视频服务平台获取VR视频内容分析结果和所有可请求视频块版本的描述信息，从VR终端获取用户缓存状态、用户体验质量，用户实时网络状态和视点反馈信息，从SDN控制器获取全局网络拓扑、网络状态视图以及实时流量信息，并将上述信息处理后传输至视点自适应与码率自适应联合优化模块；
视点自适应与码率自适应联合优化模块用于根据上述信息得到最优用户请求视频块版本指示X*，并将最优用户请求视频块版本指示X*发送给控制信令重写与发送模块；
控制信令重写与发送模块一方面将最优用户请求视频块版本指示X*实时发送给边缘数据中心的MEC服务器和微基站，以进行相应的资源调度与数据发送，一方面根据最优用户请求视频块版本指示X*，重写VR终端HTTP消息中的码率请求，将需要从云端发送的视频块版本信息告知云端VR视频服务平台。
进一步的，还包括边缘数据中心、微基站群和SDN控制器，其中：
所述边缘数据中心由分布式部署于宏小区不同位置的多个MEC服务器组成用于从云端VR视频服务平台获取VR视频，实现VR视频下载、缓存、转码并将本地内容分发至微基站群；
所述微基站群用于作为中继节点，利用多跳技术协助边缘数据中心与VR终端之间的数据传输；
所述SDN控制器用于将数据平面和控制平面分离、动态网络构建以及对网络的集中管控，使MEC服务器和微基站仅工作于用户数据层面负责数据存储、处理和转发，使宏基站作为控制平面实现本小区用户自适应传输策略优化以及对可用缓存、计算和网络资源的合理编排，同时实现小区间的MEC服务器之间的协作。
与现有技术相比，本发明至少具有以下有益效果：
目前VR视频自适应传输方法或因对视点预测引入的误差特性缺乏全面且有效的分析，或未充分考虑多用户系统中的网络资源共享与竞争，均难以在资源受限信道质量波动的情况下通过合理选择视频块码率版本最大化系统中所有用户的体验质量之和。因此，本发明提出一种QoE驱动的无线VR视频自适应传输优化方法，其独特性表现在：1)利用一个segment内每一个视频帧的视点预测值，在充分考虑视点预测误差特性的基础上，估计该segment各个视频块可能在用户观看视角中停留的时间并据此为视频块分配优先级，该优先级的引入可有效降低了segment播放期间视点预测误差引起的质量下降，还可显著减少需要传输的数据量；2)利用视频块优先级、用户视角内视频单帧质量以及时空两个维度的质量波动建立用户QoE模型，实现对用户体验质量更加全面、有效的衡量；3)以最大所有用户QoE之和为目标，构建了一个综合考虑VR视频业务特性，网络各方面因素、终端缓存状态和播放流畅性限制的自适应传输优化问题，经过求解获取各用户需请求的视频块的最优码率版本，可有效改善用户体验质量，提高资源利用效率。
此外，本发明将VR视频的自适应传输与MEC技术相结合，构建一种QoE驱动的无线VR视频自适应传输优化系统，该系统的独特性表现在以下几个方面：1)该系统部署了视点预测相关模块，对未来新视点进行预测，可支持所有“根据用户的观看视点和视角动态地选择传输视频分块”的视点自适应传输方案；2)利用SDN数据平面和控制平面分离的架构，令MEC服务器和微基站仅工作于用户数据层面负责数据存储、处理和转发，而宏基站则作为控制平面实现本小区用户自适应传输策略优化以及对可用缓存、计算和网络资源的合理编排，从而提高视频分发质量和资源利用率，小区间的MEC协作由SDN控制器来完成；3)该系统利用VR视频按空间划分视频块且视频块可独立编解码的特性，采用了多MEC服务器分布式协作的方式，实现同一VR视频的不同视频块在多个MEC服务器上拉取、转码、传输的并行处理，可显著降低传输时延。
附图说明
图1质量驱动的基于MEC的多用户无线VR视频视点自适应传输系统框架。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的说明。
本发明以提高视频用户的体验质量为目标，结合移动边缘计算技术，以模块化的形式搭建统一的多用户无线VR视频视点自适应传输系统框架，并在此基础上，针对无线VR视频分块传输问题，在基站侧构造以最大化VR视频用户的体验质量为目标的码率自适应和视点自适应的联合优化问题，提出低复杂度的解决方案。具体思路如下：
(1)质量驱动的基于MEC的多用户无线VR视频自适应传输系统框架构建
移动边缘计算技术可以有效降低网络时延、减轻核心网络流量压力，但是为了保证分布式网络资源、计算资源和存储资源之间的有效协调，不可避免将会在网络管理上引入新的挑战。软件自定义网络SDN(SoftwareDefinedNetwork)通过将网络设备的控制面与数据面分离开来，实现了网络的集中管控，具有高度的灵活性和可扩展性。因此，本发明利用SDN技术构建了一种基于移动边缘计算(Mobile Edge Computing,MEC)的多用户无线VR视频自适应传输系统，如图1所示。
一种基于移动边缘计算的多用户无线VR视频自适应传输系统，主要包含五大部分：云端VR视频服务平台、边缘数据中心、微基站群、SDN控制器、VR终端及宏基站，其中边缘数据中心全部资源的管理、微基站存储转发策略的制定均由位于控制面的宏基站完成。
a)云端VR视频服务平台
云端VR视频服务平台包括切片转码模块、分发推流模块、视频内容分析模块，其中：
切片转码模块将从内容提供商处获取的VR高清视频流，1)首先按一定的时间颗粒度切分成一系列的视频片段segment；2)然后在空间上划分成若干个视频块并为每一视频块重新生成多个具有不同码率的质量版本。
分发推流模块用于当用户对特定视频资源发起播放请求时，通过向边缘数据中心发送不同码率的视频块来实现整个视频在空间-时间两个维度上的动态自适应传输。
视频内容分析模块用于从VR高清视频流中提取压缩域信息，分析视频显著性特征，并在此基础上，利用云端从众多小区收集的用户视点记录信息，为具有不同兴趣的用户群体分别生成兴趣模型，并发送给宏基站。
b)边缘数据中心
边缘数据中心是由分布式部署于宏小区不同位置的多个MEC服务器组成。这些服务器相互协作，共同为宏小区内所有用户提供存储、网络和计算资源，以实现VR视频下载、缓存、转码并将本地内容分发至微基站。
在缓存策略方面，边缘数据中心支持同一个VR视频的不同视频块分布在不同的MEC服务器上，也支持同一个视频块的不同码率版本缓存在多个MEC服务器上。MEC服务器的存储能力由存储空间的大小衡量。
在网络传输方面，1)若用户请求的视频块版本已经被缓存边缘数据中心的MEC服务器中，则可直接利用MEC服务器缓存响应请求；2)若用户请求的视频块版本没有被边缘数据中心的MEC服务器缓存但可通过转码获得时，则可选择云端获取和本地转码二者中任一方式提供服务；2)若用户请求的视频块版本即没被缓存也不可通过转码获得，则选取一个MEC服务器从云端实时拉取相应的内容，并完成发送。
优选的，若邻近小区的边缘数据中心可提供所需视频文件且处于空闲状态，边缘数据中心也可通过SDN控制器从邻近小区的边缘数据中心获取所需视频文件。、
优选的，若用户请求的视频块分布在多个MEC服务器中，则多个MEC服务器从不同路径同时向用户发送数据，以降低传输时延。
在转码资源分配方面，可在已缓存高码率视频块版本的MEC服务器中选择一个来执行转码。MEC服务器的计算能力由每秒能分配的最大CPU周期数目衡量。
c)微基站
微基站接收边缘数据中心缓存的用户请求的视频块，以微基站作为中继节点，利用多跳技术协助边缘数据中心与VR终端之间的数据传输，从而降低系统发送功率、延伸覆盖和提高系统吞吐量。
d)VR终端
VR终端用于实时捕捉用户视点位置信息，并从用户请求的视频块播放缓存中动态选取视角范围内的视频块进行解码、渲染与呈现。与此同时，对用户视角范围内的用户请求的视频块进行质量评估并即时反馈给宏基站；
优选的，评价指标包括平均帧质量(PSNR，MSSSIM等)、播放流畅性(初始缓冲时延、中断时长、中断次数等)以及质量平稳性(时间、空间两个维度的质量波动)等。
e)SDN控制器
SDN控制器包括拓扑管理、路由管理、流表管理、服务管理以及事件管理等模块，主要负责用于虚拟化边缘网络资源将数据平面和控制平面分离，使MEC服务器和微基站仅工作于用户数据层面负责数据存储、处理和转发，小区内部的网络控制权开放给宏基站作为控制平面实现本小区用户自适应传输策略优化以及对可用缓存、计算和网络资源的合理编排，快速实现小区内资源的高效管理和优化配置，同时实现动态网络构建以及对网络的集中管控，小区间的MEC服务器之间的协作也由SDN控制器控制。
e)宏基站
宏基站是整个宏小区的“大脑”，主要负责实现信息感知、联合优化、优化配置这三大功能。
·信息感知
宏基站利用信息感知和处理模块采取了多种方式来进行信息获取，具体的从云端VR视频服务平台获取VR视频内容分析结果和所有可请求视频块版本的描述信息，从VR终端获取用户缓存状态、用户体验质量，用户实时网络状态和视点反馈信息，从SDN控制器获取全局网络拓扑、网络状态视图以及实时流量信息，并将上述信息处理后传输至视点自适应与码率自适应联合优化模块；主要信息的具体获取方法如下：①VR视频显著性特征、用户兴趣模型可从云端VR视频服务平台通过有线网络离线获取；②VR视频投影编码信息可通过读取云端VR视频服务平台发送给VR终端的MPD文件在线提取，MPD文件包含对于所有可请求视频块版本的描述信息，这些信息包括编码器版本、码率、分辨率、质量等；③客户端缓存状态、质量评估结果和视点反馈信息均添加在VR终端HTTP请求中包含的QoE报告中，可通过拦截并解析HTTP请求来在线提取；④全局网络拓扑、网络状态视图以及实时流量信息由SDN控制器中相应的管理模块提供；⑤网络中终端的位置、网络状态等信息可从VR终端定期上报的消息中在线提取；⑥转发路径、码率选择以及资源配置等信息直接在宏基站处获取。
·联合优化
利用上述信息，宏基站便可在视点自适应与码率自适应联合优化模块进行视点自适应与码率自适应联合优化，确定视频块的最优用户请求视频块版本指示X*。
·优化配置
宏基站的控制信令重写及发送模块将最优用户请求视频块版本指示X*实时的发送给边缘数据中心的MEC服务器和微基站，以进行相应的资源配置与调度。与此同时，根据最优用户请求视频块版本指示X*，重写VR终端HTTP消息中的码率请求，将需要发送的视频块版本信息告知云端VR视频服务平台。宏基站与VR终端和云端VR视频服务平台之间仍遵循现有的通信协议，所有信令和包头信息的更改均在宏基站完成。
(2)QoE驱动的无线VR视频自适应传输优化方法
本发明在质量驱动的VR视频传输跨层框架下提出一个结合码率自适应的视点自适应传输优化方法，以提高用户的体验质量QoE。具体思路如下：
A.视频块优先级计算
DASH技术目前视频流业务采用的主流自适应流技术。该技术利用码率自适应的方式可有效地将视频流数据通过HTTP协议进行分发。在DASH中，为了支持VR视频视点自适应分块传输，视频序列在按照时间划分为多个视频分段segment之后又按照空间划分为B个视频块，视频块序号按照光栅扫描的顺序分配。每个视频块在空间上仅包含部分区域的图像块，且在segment上每一个视频投影帧中包含的图像块位置相同。一个segment时长通常为2秒。若以每秒30帧计算，一个segment包含60个视频帧。当用户开始观看第s个segment时，至少需对第(s+1)个segment的视频内容进行请求。由于第s个segment还未观看，故只能利用第(s-1)个segment的视点反馈值对第(s+1)个segment每一个视频帧的视点进行预测。
得到的一系列视点既反映真实的segment内视点的变化，又因预测时间过长不可避免的引入视点预测误差。因此，为了降低视点预测误差的影响同时提高用户观看体验，我们引入视频块优先级的概念。视频块所包含的图像块在一个segment播放期间被用户视角覆盖的概率越大，视频块优先级越高；视频块优先级越高，该视频块对用户体验质量的贡献越大。
建立视频块优先级的具体步骤如下：
本发明根据用户在该segment每一个视频帧中的视点预测结果以及VR视频播放设备或人眼的视角限制，依次分析在该segment每一个视频帧用户视角可能覆盖的范围，并按照各个视频块包含的图像块在一个segment播放期间被用户视角覆盖的帧数，为每个视频块分配优先级。
1)假设视点预测模型预测得到的第f帧用户视点在处，由于视点运动的随机性、复杂性和多样性，使用视点预测模型描述其运动状态时不可避地会出现预测不准确的情况。因此，我们引入两个相互独立的随机变量εx，εy来描述视点预测模型对视点在x轴方向上和y轴方向上的预测误差，并假设其服从均值为零，方差分别为/>的高斯分布且相互独立，那么用户在观看第f帧时，视点位于(x,y)处的概率Pf(x,y)可由公式(1)计算。
2)若假设有P个优先级可分配给视频块，分别为1,2,…,P，则第s个segment第b个视频块的优先级Prios,b可由公式(2)计算得到。
式中，表示下取整；Nseg为一个segment中视频帧的个数；vs,f,b(x,y)为0-1变量，1表示当第f个视频帧的预测视点在(x,y)处时，第s个segment第b个视频块在第f个视频帧中所对应的图像块在用户视角范围之内。
B.QoE模型建立
影响VR视频用户体验质量(QoE)的因素主要有播放流畅性以及用户视点范围内视频块的平均视频质量、时间维度的质量波动和空间维度的质量波动三个。其中，又以播放流畅性对VR视频用户体验质量的影响最大。频繁的或持续的播放中断会严重影响用户体验，并造成用户退出观看。因此，我们将播放流畅性作为VR视频传输基本的约束条件，而将用户视点范围内视频块的平均视频质量、时间维度的质量波动和空间维度的质量波动引入QoE模型的建立中来。因此，对于当前segment的第b个视频块，我们采用公式(3)计算用户k请求版本l时获得QoE进行建模：
式中，BQk,b,l表示用户k请求第b个视频块版本l时获得的平均视频质量；和表示用户k请求第b个视频块版本l所引起的在时间和空间两个维度上质量波动；ε1和ε2用以调节空间、时间质量波动带来的QoE衰减的经验参数；权值wk,b反映了第b个视频块对于用户k体验质量的影响程度，这里权值wk,b由视频块优先级Prios,b映射得到，且随着视频块优先级Prios,b的升高，wk,b逐渐增大。
C.时延分析
用户请求的视频块有三种内容获取方式，下面我们将按照不同的内容获取方式对视频块的端到端时延进行分析。
1)从本小区边缘数据中心的MEC服务器缓存处直接获取
当用户k请求的第b个视频块的版本l从本小区边缘数据中心的MEC服务器中的缓存处直接获取时，该视频块的端到端时延/>仅取决于MEC服务器m与用户k之间的传输时间/>即
若定义ηm,k为MEC服务器分配给用户k的带宽，为从MEC服务器m向用户k传输单位数据内容经过单跳的时延，dm,k为内容在MEC服务器m到用户k之间传输经过的跳数，那么MEC服务器m与用户k之间的传输时间/>可利用公式(5)计算得到。
式中，Sk,b,l表示用户k请求的segment第b个视频块版本l的总的比特大小。
2)对本小区边缘数据中心的MEC服务器缓存中的高码率版本l′进行转码
当用户k请求的第b个视频块的版本l由本小区边缘数据中心的MEC服务器转码得到时，该视频块的端到端时延/>可利用公式(6)计算得到。
式中，表示MEC服务器m将缓存的高码率版本l′转码为版本l所需的转码时间，计算方法如公式(7)所示：
式中θm,k表示单位时间MEC服务器m分配给用户k的计算资源；fk,b(l′,l)表示用户k请求的第b个视频块从版本l′转码到版本l所需的计算资源量。
3)从云端VR视频服务平台或相邻小区边缘数据中心的MEC服务器处获取
当用户k请求的第b个视频块的版本l从云端处获取经MEC服务器传输时，该视频块的端到端时延/>可利用公式(8)计算得到。
式中，表示云端与MEC服务器m之间的传输时间，计算方法如公式(9)所示：
其中，表示云端VR视频服务平台与MEC服务器m之间传输单位数据内容单跳的传输时延，与网络负载成正比；d0,m为视频块在云端与MEC服务器m之间传输经过的跳数。
若用户k请求的第b个视频块的版本l被邻近小区边缘服务中心的某个MEC服务器缓存，且从该MEC服务器获取视频块的时延比从云端VR视频服务平台获取更小，则由该MEC服务器代替云端VR视频服务平台传输相应数据内容，以达到降低传输时延的目的。
D.自适应传输优化问题构建
在综合考虑VR视频业务特性、网络可用带宽限制和用户缓存状态得基础上，以最大化当前小区中所有VR视频用户体验质量之和为目标，建立一个QoE驱动的无线VR视频自适应传输优化问题P，可描述为：
/>
(c)xk，b，l∈{0，1}，0≤k≤L，0≤l≤L，1≤b≤B
式中，X为所有用户请求的用户请求视频块版本指示，为本优化问题的决策变量，xk,b,l为表征当前segment第b个视频块用户k是否请求版本l的0-1变量；如果取1，表示当前segment第b个视频块用户k请求版本l；tk—用户k客户端缓存的视频数据能够支持的流畅性播放时间；QoEk,b,l—当前segment第b个视频块用户k请求版本l时获得QoE；Dk,b,l—用户k请求的当前segment第b个视频块版本l的时延。
该优化问题的约束条件共有两个：
约束条件(a)是对于播放流畅性的约束，该约束条件表示，用户在该请求周期中请求的segment所有视频块版本必须在该segment播放时间到达之前传输完毕。
约束条件(b)是约束用户只能为当前segment的每个视频块请求一个版本。
D.求解优化问题P得到当前小区中所有用户最优的视频块版本请求方案
1)为了解决上述的优化问题P，本发明首先引入和/>三个0-1变量，为本地缓存获取指示，取1表示当前segment第b个视频块用户k请求的版本l会从本小区边缘数据中心的MEC服务器m缓存中获取；/>为本地转码获取指示，取1表示当前segment第b个视频块用户k请求的版本l会由本小区边缘数据中心的MEC服务器m转码得到；为外部缓存获取指示，取1表示当前segment第b个视频块用户k请求的版本l会由MEC服务器m从云端或邻近小区边缘服务中心的MEC服务器处获取。因此，用户k请求的当前segment第b个视频块版本l的时延Dk,b,l可由公式(10)计算得到。
式中表示集合/>的个数。
若定义标识MEC服务器缓存状态的二元变量如果取1，表示当前segment第b个视频块的版本l已被缓存到本小区边缘数据中心的MEC服务器m中。那么，为了减少延时， 和/>的选择满足公式(11)-(13)。
因此，
2)由于优化问题P是0-1整数规划，是NP完全问题，往往只能用可行解来近似其最优解。拉格朗日松弛方法把部分或者全部约束吸收到目标函数中，是求解0-1整数规划问题上界的一种有效方法，因此本发明通过引入了拉格朗日乘子λ＝(λ1，λ2，...，λK)≥0，将约束条件(a)进行了松弛，以降低优化问题P的求解难度，从而获得其目标值ZIP的上界：
松弛后的问题P′为：
(b)xk，b，l∈{0，1}，0≤k≤L，0≤l≤L，1≤b≤B
(c)λk≥0，0≤k≤L
令dk，b，l＝(QoEk，b，l-λkDk，b，l)xk，b，l，则
给定λ，公式(13)第二项为常数，因此，松弛问题P′的解应满足
再结合松弛问题P′的约束(a)，松弛问题P′的最优解便可利用启发式算法找到。
容易得到ZLR(λ)≥ZIP，为了获得最接近ZIP的上界，则求解公式(15)，即优化问题P的拉格朗日对偶ZLD：
假设则ZLD＝ZLR(λ*)，ZIP＝ZIP(X*)，又ZLR(λ*)≥ZLR(λ*,X*)≥ZIP，可知，ZLD＝ZIP的充要条件是/> 且/>
因此，本发明利用次梯度优化传输方法，选择sk＝tk-xk,b,lDk,b,l作为ZLR(λ)的次梯度，θk为迭代步长，对给定λ，求解ZLR(λ)，若|sk|≥ε，更新λ，其中λk＝max{λk+skθk,0}，重复上述过程，直至|sk|≤ε，此时，λ达到最优值λ*，ZLR(λ*)的解便为优化问题P所求解的用户请求视频块版本指示X的最优取值X*。
此外，为了控制算法复杂度，当迭代次数超过最大迭代次数T，或ZLR(λ)在M次迭代内无明显变化，则停止迭代，并将获取的解作为用户请求视频块版本指示X的最优取值X*来使用。
根据最优用户请求视频块版本指示X*，宏基站为各个用户请求的segment选择合适的视频块版本，并重写用户HTTP消息中的码率请求，将需要从云端发送的视频块版本信息告知云端VR视频服务平台。本发明可在流畅播放的前提下可保证segment播放期间用户视角范围内视频块具有较高质量，与此同时还可尽量避免因视点预测误差而导致的黑屏或视频体验质量下降。

Claims (7)

1.一种QoE驱动的无线VR视频自适应传输优化方法，其特征在于，具体步骤如下：
S1获取用户请求视频块信息，根据视频块所包含的图像块在一个segment播放期间被用户视角覆盖的概率，获取每个视频块的优先级；
S2根据用户视点范围内视频块的优先级、平均视频质量和时间空间两个维度的质量波动建立当前segment的VR视频用户体验质量模型；
S3在综合考虑VR视频业务特性、网络可用带宽限制和用户缓存状态得基础上，以最大化当前小区中所有VR视频用户体验质量之和为目标，建立一个QoE驱动的无线VR视频自适应传输优化问题P；
S4求解优化问题得到当前小区中所有用户最优的视频块版本请求方案；
步骤S1中，计算视频块的优先级的具体步骤为：
S1.1将视频序列按照时间划分为segment，然后将segment按照空间划分为视频块；
S1.2利用前一个segment的视点反馈值对下一个segment的视点进行预测；
S1.3结合segment的视点预测结果、VR终端设备和人眼的视角限制，得到segment中每一视频帧用户视角覆盖的范围；
S1.4获取视频块所包含的图像块在一个segment播放期间被用户视角覆盖的概率，根据上述概率得到视频块的优先级，具体如下：
（2）
其中：表示下取整；/>为一个segment中视频帧的个数；/>为0-1变量，1表示当第/>个视频帧的预测视点在/>处时，第/>个segment第/>个视频块在第/>个视频帧中所对应的图像块在用户视角范围之内；/>为用户在观看第/>帧时，视点位于/>处的概率；/>为优先级的个数；
步骤S2中，用户体验质量模型具体为：
（3）
式中，表示用户/>请求第/>个视频块版本/>时获得的平均视频质量；/>和/>表示用户/>请求第/>个视频块版本/>所引起的在时间和空间两个维度上质量波动；/>和/>用以调节空间、时间质量波动带来的QoE衰减的经验参数；权值/>反映了第/>个视频块对于用户/>体验质量的影响程度，这里权值/>由视频块优先级/>映射得到，且随着视频块优先级/>的升高，/>逐渐增大；
步骤S3中，优化问题描述为：
式中，为所有用户请求的用户请求视频块版本指示，为本优化问题的决策变量，，/>为表征当前segment第/>个视频块用户/>是否请求版本/>的0-1变量；如果取1，表示当前segment第/>个视频块用户/>请求版本/>；/>—用户/>客户端缓存的视频数据能够支持的流畅性播放时间；/>—当前segment第/>个视频块用户/>请求版本/>时获得QoE；/>—用户/>请求的当前segment第/>个视频块版本/>的时延。
2.根据权利要求1所述一种QoE驱动的无线VR视频自适应传输优化方法，其特征在于，步骤S3中，所述优化问题P的约束条件包括：
S3.1对于播放流畅性的约束，要求在当前请求周期中请求的segment所有视频块数据在所述segment播放时间到达之前传输完毕；
S3.2用户只能为当前segment的每个视频块请求一个版本。
3.根据权利要求1所述一种QoE驱动的无线VR视频自适应传输优化方法，其特征在于，步骤S3中，用户请求的当前segment第/>个视频块版本/>的获取方式指示有三种，具体包括：
1）本地缓存获取指示，即当前segment第个视频块用户/>请求的版本/>会从本小区边缘数据中心的MEC服务器/>获取；
2）本地转码获取指示，即当前segment第个视频块用户/>请求的版本/>会由本小区边缘数据中心的MEC服务器转码得到；
3）外部缓存获取指示，当前segment第个视频块用户/>请求的版本/>会由MEC服务器从云端或邻近小区边缘服务中心的MEC服务器处获取。
4.根据权利要求3所述一种QoE驱动的无线VR视频自适应传输优化方法，其特征在于，步骤S3中，用户请求的当前segment第/>个视频块版本/>的时延/>表示如下：
（10）
式中表示集合/>的个数；/>为本地缓存获取指示；/>本地转码获取指示，为外部缓存获取指示；
为了减少延时，，/>和/>满足下式：
（11）
（12）
（13）
其中为标识MEC服务器缓存状态的二元变量，当取1时，表示当前segment第/>个视频块的版本/>已被缓存到本小区边缘数据中心的MEC服务器/>中；
因此，
（14）
其中为用户/>请求的第/>个视频块的版本/>从本小区边缘数据中心的MEC服务器缓存处直接获取的时延；/>为用户/>请求的第/>个视频块的版本/>由本小区边缘数据中心的MEC服务器转码获取的时延；/>为用户/>请求的第/>个视频块的版本/>从云端处获取经MEC服务器传输的时延。
5.根据权利要求1所述一种QoE驱动的无线VR视频自适应传输优化方法，其特征在于，步骤S4中，
S4.1对优化问题的播放流畅性进行松弛，引入拉格朗日乘子/>，得到松弛问题/>；
S4.2利用启发式算法、梯度优化算法得到松弛问题的最优解/>，即为最优用户请求视频块版本指示/>。
6.应用权利要求1~5中任一项方法的一种QoE驱动的无线VR视频自适应传输优化系统，其特征在于，包括云端VR视频服务平台、VR终端和宏基站，所述宏基站包括信息感知及处理模块、视点自适应与码率自适应联合优化模块以及控制信令重写及发送模块；
信息感知及处理模块用于从云端VR视频服务平台获取VR视频内容分析结果和所有可请求视频块版本的描述信息，从VR终端获取用户缓存状态、用户体验质量，用户实时网络状态和视点反馈信息，从SDN控制器获取全局网络拓扑、网络状态视图以及实时流量信息，并将上述信息处理后传输至视点自适应与码率自适应联合优化模块；
视点自适应与码率自适应联合优化模块用于根据上述信息得到最优用户请求视频块版本指示，并将最优用户请求视频块版本指示/>发送给控制信令重写与发送模块；
控制信令重写与发送模块一方面将最优用户请求视频块版本指示实时发送给边缘数据中心的MEC服务器和微基站，以进行相应的资源调度与数据发送，一方面根据最优用户请求视频块版本指示/>，重写VR终端HTTP消息中的码率请求，将需要从云端发送的视频块版本信息告知云端VR视频服务平台。
7.根据权利要求6所述的一种QoE驱动的无线VR视频自适应传输优化系统，其特征在于，还包括边缘数据中心、微基站群和SDN控制器，其中：
所述边缘数据中心由分布式部署于宏小区不同位置的多个MEC服务器组成用于从云端VR视频服务平台获取VR视频，实现VR视频下载、缓存、转码并将本地内容分发至微基站群；
所述微基站群用于作为中继节点，利用多跳技术协助边缘数据中心与VR终端之间的数据传输；
所述SDN控制器用于将数据平面和控制平面分离、动态网络构建以及对网络的集中管控，使MEC服务器和微基站仅工作于用户数据层面负责数据存储、处理和转发，使宏基站作为控制平面实现本小区用户自适应传输策略优化以及对可用缓存、计算和网络资源的合理编排，同时实现小区间的MEC服务器之间的协作。
CN202210278306.8A 2022-03-21 2022-03-21 一种QoE驱动的无线VR视频自适应传输优化方法及系统 Active CN114640870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210278306.8A CN114640870B (zh) 2022-03-21 2022-03-21 一种QoE驱动的无线VR视频自适应传输优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210278306.8A CN114640870B (zh) 2022-03-21 2022-03-21 一种QoE驱动的无线VR视频自适应传输优化方法及系统

Publications (2)

Publication Number Publication Date
CN114640870A CN114640870A (zh) 2022-06-17
CN114640870B true CN114640870B (zh) 2023-10-03

Family

ID=81949543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210278306.8A Active CN114640870B (zh) 2022-03-21 2022-03-21 一种QoE驱动的无线VR视频自适应传输优化方法及系统

Country Status (1)

Country Link
CN (1) CN114640870B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116016987A (zh) * 2022-12-08 2023-04-25 上海大学 面向边缘蜂窝网络基于强化学习的视频码率自适应方法
CN116320354B (zh) * 2023-01-16 2023-09-29 浙江大学 360度虚拟现实视频用户接入控制系统及控制方法
CN117177296B (zh) * 2023-11-02 2024-01-23 甘肃省公安厅 基于5g网络的公共监控视频实时传输与远程播放方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109286855A (zh) * 2017-07-19 2019-01-29 北京大学 全景视频的传输方法、传输装置和传输系统
CN109327867A (zh) * 2018-10-26 2019-02-12 西安交通大学 LTE网络下QoE驱动的视频码率自适应和资源分配联合算法
CN113329266A (zh) * 2021-06-08 2021-08-31 合肥工业大学 一种基于有限用户视角反馈的全景视频自适应传输方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3649791A1 (en) * 2017-07-03 2020-05-13 Telefonaktiebolaget LM Ericsson (PUBL) Methods for personalized 360 video delivery
CN110266714B (zh) * 2019-06-28 2020-04-21 合肥工业大学 一种QoE驱动下的VR视频自适应采集与传输方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109286855A (zh) * 2017-07-19 2019-01-29 北京大学 全景视频的传输方法、传输装置和传输系统
CN109327867A (zh) * 2018-10-26 2019-02-12 西安交通大学 LTE网络下QoE驱动的视频码率自适应和资源分配联合算法
CN113329266A (zh) * 2021-06-08 2021-08-31 合肥工业大学 一种基于有限用户视角反馈的全景视频自适应传输方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEC-Assisted FoV-Aware and QoE-Driven Adaptive 360° Video Streaming for Virtual Reality;Chih-Ho Hsu;《2020 16th International Conference on Mobility, Sensing and Networking (MSN)》;全文 *
基于HTTP自适应流媒体传输的3D视频质量评价;翟宇轩;刘怡桑;徐艺文;陈忠辉;房颖;赵铁松;;北京航空航天大学学报(第12期);全文 *

Also Published As

Publication number Publication date
CN114640870A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN114640870B (zh) 一种QoE驱动的无线VR视频自适应传输优化方法及系统
Dai et al. A view synthesis-based 360° VR caching system over MEC-enabled C-RAN
Sun et al. A two-tier system for on-demand streaming of 360 degree video over dynamic networks
Liu et al. Rendering-aware VR video caching over multi-cell MEC networks
Sun et al. Flocking-based live streaming of 360-degree video
Khan et al. A survey on mobile edge computing for video streaming: Opportunities and challenges
Yuan et al. Spatial and temporal consistency-aware dynamic adaptive streaming for 360-degree videos
CN110248210B (zh) 视频传输优化方法
CN112995636B (zh) 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
Zhou et al. QoE-aware 3D video streaming via deep reinforcement learning in software defined networking enabled mobile edge computing
Hsu Mec-assisted fov-aware and qoe-driven adaptive 360 video streaming for virtual reality
CN111447511A (zh) 一种带有用户感知体验质量的带宽分配方法
Zhang et al. Intelligent video ingestion for real-time traffic monitoring
Xiang et al. Dynamic rate adaptation for adaptive video streaming in wireless networks
Nguyen et al. An adaptive streaming method of 360 videos over HTTP/2 protocol
Bulkan et al. On the load balancing of edge computing resources for on-line video delivery
Politis et al. On optimizing scalable video delivery over media aware mobile clouds
Diab et al. MASH: A rate adaptation algorithm for multiview video streaming over HTTP
Hayes et al. Controlled unfair adaptive 360 VR video delivery over an MPTCP/QUIC architecture
Khan et al. What happens when stochastic adaptive video streaming players share a bottleneck link?
Wang et al. A qoe-based 360 video adaptive bitrate delivery and caching scheme for c-ran
Wang et al. Edge Intelligence Empowered Immersive Media: Challenges and Approaches
Huang et al. Digital twin-assisted collaborative transcoding for better user satisfaction in live streaming
EP3788768B1 (en) Methods and systems for streaming media data over a content delivery network
CN116320354B (zh) 360度虚拟现实视频用户接入控制系统及控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant