CN112202800A - C-ran架构中基于强化学习的vr视频边缘预取方法和系统 - Google Patents

C-ran架构中基于强化学习的vr视频边缘预取方法和系统 Download PDF

Info

Publication number
CN112202800A
CN112202800A CN202011077437.7A CN202011077437A CN112202800A CN 112202800 A CN112202800 A CN 112202800A CN 202011077437 A CN202011077437 A CN 202011077437A CN 112202800 A CN112202800 A CN 112202800A
Authority
CN
China
Prior art keywords
user
video
quality
experience
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011077437.7A
Other languages
English (en)
Other versions
CN112202800B (zh
Inventor
谭小彬
王顺义
徐磊
李思敏
杨坚
郑烇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202011077437.7A priority Critical patent/CN112202800B/zh
Publication of CN112202800A publication Critical patent/CN112202800A/zh
Application granted granted Critical
Publication of CN112202800B publication Critical patent/CN112202800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种C‑RAN架构中基于强化学习的VR视频边缘预取方法和系统，方法包括：实时采集网络吞吐量、用户请求信息和缓存状态信息；基于视频质量、视频时域抖动、视频空域抖动和时延确定单用户的用户体验质量，以及预测单用户的用户体验质量增益；基于单用户的用户体验质量增益确定多用户的用户体验质量增益；基于强化学习算法对多用户的用户体验质量增益进行优化；基于网络吞吐量、用户请求信息、缓存状态信息和优化后的多用户的用户体验质量增益对VR视频进行边缘预取。本发明能够采用在C‑RAN中动态预取多级缓存的方式来降低时延，减少重复的数据传播，从而给用户提供更加舒适的VR视频观看体验。

Description

C-RAN架构中基于强化学习的VR视频边缘预取方法和系统
技术领域
本发明涉及计算机网络技术领域，尤其涉及一种C-RAN(Cloud Radio AccessNetwork，云无线接入网)架构中基于强化学习的VR(Virtual Reality，虚拟现实)视频边缘预取方法和系统。
背景技术
随着VR技术的发展，VR逐步走进千家万户，给用户提供沉浸式的视频观看体验，也在教育互动、工业远程指导、远程医疗等领域发挥着不可或缺的作用。据统计截止到2019年，中国VR用户的数量已突破一千万，虚拟现实软、硬件的产业收益突破10亿元，可以预见，未来虚拟现实技术将会蓬勃发展，也将扩展出更多的应用领域，能够给用户提供更加真实、高清、沉浸的视频观看体验和更加友好的视频交互功能。
但目前来说，VR视频的实际观看体验并没有达到预期的效果。一方面，由于VR视频对网络带宽的需求是传统高清视频几十倍，同时为了获得更加逼真的观看体验，对视频的清晰度也有很高的要求。举例来说，传输8K全景的VR视频需要超过260Mbps的带宽，如果想获得更加极致的体验效果则需要超过10Gbps的带宽，这对于现在的网络尤其是视频源服务器的主干网络来说是一个巨大的挑战。另一方面，用户对于VR视频的时延非常敏感，一般来说如果时延超过20ms就会产生强烈的晕眩感，这对于VR视频的观看体验来说是灾难性的。
因此，如何有效的提高用户的VR视频观看体验，是一项亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种C-RAN架构中基于强化学习的VR视频边缘预取方法，能够采用在C-RAN中动态预取多级缓存的方式来降低时延，减少重复的数据传播，从而给用户提供更加舒适的VR视频观看体验。
本发明提供了一种C-RAN架构中基于强化学习的VR视频边缘预取方法，包括：
实时采集网络吞吐量、用户请求信息和缓存状态信息；
基于视频质量、视频时域抖动、视频空域抖动和时延确定单用户的用户体验质量，以及预测单用户的用户体验质量增益；
基于所述单用户的用户体验质量增益确定多用户的用户体验质量增益；
基于强化学习算法对所述多用户的用户体验质量增益进行优化；
基于所述网络吞吐量、用户请求信息、缓存状态信息和优化后的多用户的用户体验质量增益对VR视频进行边缘预取。
优选地，所述基于视频质量、视频时域抖动、视频空域抖动和时延确定单用户的用户体验质量，以及预测单用户的用户体验质量增益，包括：
基于公式
Figure BDA0002717349090000021
和公式Dv,c+1≤t2确定单用户的用户体验质量，以及预测单用户的用户体验质量增益，其中，
Figure BDA0002717349090000022
表示第u个用户观看第v个视频的第c个segment的用户体验质量，Qv,c为视频质量，α为视频质量对用户体验质量的影响因子，
Figure BDA0002717349090000023
为视频时域抖动，β为视频时域抖动对用户体验质量的影响因子，
Figure BDA0002717349090000024
为视频空域抖动，γ为视频空域抖动对用户体验质量的影响因子，
Figure BDA0002717349090000025
表示预测的第u个用户请求第c+1个segment预取是否命中带来的用户体验质量增益，
Figure BDA0002717349090000026
和
Figure BDA0002717349090000027
根据用户的历史请求信息使用神经网络模型预测，Dv,c+1表示预交付第c+1个segment所需的时延，t2表示预测用户可能的缓冲区剩余大小。
优选地，第v个视频文件的c+1个segment的质量对应的效用为：
Figure BDA0002717349090000031
其中，u(*)为视频质量的效用函数。
优选地，预测的视频时域抖动定义为：
Figure BDA0002717349090000032
表示为前后两个segment中tile的效用之差。
优选地，预测的视频空域抖动定义为：
Figure BDA0002717349090000033
其中，
Figure BDA0002717349090000034
表示预测该tile的第k质量层是否可能会被该用户请求。
一种C-RAN架构中基于强化学习的VR视频边缘预取系统，包括：状态预测模块和预取决策模块；其中：
所述状态预测模块，用于采集网络吞吐量、用户请求信息和缓存状态信息；
所述状态预测模块，还用于基于视频质量、视频时域抖动、视频空域抖动和时延确定单用户的用户体验质量，以及预测单用户的用户体验质量增益；
所述预取决策模块，用于基于所述单用户的用户体验质量增益确定多用户的用户体验质量增益；
所述预取决策模块，还用于基于强化学习算法对所述多用户的用户体验质量增益进行优化；
所述预取决策模块，还用于基于所述网络吞吐量、用户请求信息、缓存状态信息和优化后的多用户的用户体验质量增益对VR视频进行边缘预取。
优选地，所述状态预测模块具体用于：
基于公式
Figure BDA0002717349090000035
和公式Dv,c+1≤t2确定单用户的用户体验质量，以及预测单用户的用户体验质量增益，其中，
Figure BDA0002717349090000036
表示第u个用户观看第v个视频的第c个segment的用户体验质量，Qv,c为视频质量，α为视频质量对用户体验质量的影响因子，
Figure BDA0002717349090000037
为视频时域抖动，β为视频时域抖动对用户体验质量的影响因子，
Figure BDA0002717349090000038
为视频空域抖动，γ为视频空域抖动对用户体验质量的影响因子，
Figure BDA0002717349090000041
表示预测的第u个用户请求第c+1个segment预取是否命中带来的用户体验质量增益，
Figure BDA0002717349090000042
和
Figure BDA0002717349090000043
根据用户的历史请求信息使用神经网络模型预测，Dv,c+1表示预交付第c+1个segment所需的时延，t2表示预测用户可能的缓冲区剩余大小。
优选地，第v个视频文件的c+1个segment的质量对应的效用为：
Figure BDA0002717349090000044
其中，u(*)为视频质量的效用函数。
优选地，预测的视频时域抖动定义为：
Figure BDA0002717349090000045
表示为前后两个segment中tile的效用之差。
优选地，预测的视频空域抖动定义为：
Figure BDA0002717349090000046
其中，
Figure BDA0002717349090000047
表示预测该tile的第k质量层是否可能会被该用户请求。
综上所述，本发明公开了一种C-RAN架构中基于强化学习的VR视频边缘预取方法，当需要对VR视频进行边缘预取时，首先实时采集网络吞吐量、用户请求信息和缓存状态信息，然后基于视频质量、视频时域抖动、视频空域抖动和时延确定单用户的用户体验质量，以及预测单用户的用户体验质量增益；基于单用户的用户体验质量增益确定多用户的用户体验质量增益；基于强化学习算法对多用户的用户体验质量增益进行优化；基于网络吞吐量、用户请求信息、缓存状态信息和优化后的多用户的用户体验质量增益对VR视频进行边缘预取。本发明能够采用在C-RAN中动态预取多级缓存的方式来降低时延，减少重复的数据传播，从而给用户提供更加舒适的VR视频观看体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明公开的C-RAN架构示意图；
图2为本发明公开的tile-based示意图；
图3为本发明公开的一种C-RAN架构中基于强化学习的VR视频边缘预取方法实施例的流程图；
图4为本发明公开的C-RAN环境中获取tile的途径示意图；
图5为本发明公开的强化学习框架示意图；
图6为本发明公开的一种C-RAN架构中基于强化学习的VR视频边缘预取系统实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
C-RAN是一种新型的无线接入网架构，如图1所示。C-RAN的总目标是为解决移动互联网快速发展给运营商所带来的多方面挑战(能耗、建设和运维成本、频谱资源等)，追求未来可持续的业务和利润增长。在C-RAN架构中，假设VR视频源服务器拥有VR视频的所有内容，通过后向链路(Backhaul)的核心网络与基带处理单元池(PooledBase BandUnits，BBUpool)相连，每个BBUpool通过前向链路(Fronthaul)接入多个射频拉远头(RemoteRadio Heads，RRH)，BBUpool中的边缘服务器根据缓存决策算法管理BBUpool中的云端缓存和下属RRHs中的边缘缓存，并完成码率决策、带宽分配、提前预取等多种决策来提高全体用户的视频观看体验。用户通过与RRH的无线连接接入网络中，享受C-RAN架构下VR视频服务。
本发明借鉴了在C-RAN架构下开展的一些预取研究的工作，利用C-RAN架构中的多级缓存与集中式优化的能力，在网络中实时预取用户可能观看的片段来合理分配有限的缓存容量。本发明将VR视频按时间序列分割为多个segment，每个segment再按空间分割为多个tile，如图2所示。由于用户观看VR视频时视野范围仅为全景视频的20％～30％，利用tile-based编码方法的特点，用户只需要请求视野范围内的tile，从而最大程度的减少带宽和缓存的浪费。于是本发明提前将用户可能观看的tile从源服务器预取到BBU pool或RRH中，指导预取部署的终极目标是比例公平的实现通过预取获得的QoE增益最大，综合考虑视频质量、视频抖动、时延等因素对于QoE的影响，由于普通的贪心算法难以获得全局最优解，本发明考虑采用强化学习的方法求解最优的缓存分布，从而为用户提供更加清晰、流畅、真实的VR体验。
如图3所示，为本发明公开的一种C-RAN架构中基于强化学习的VR视频边缘预取方法实施例的流程图，所述方法可以包括以下步骤：
S301、实时采集网络吞吐量、用户请求信息和缓存状态信息；
在DASH的HTTP头部加入
Figure BDA0002717349090000061
Mt等字段，分别记录请求该tile时的各个链路的网络吞吐量，以及此时用户正在请求的视频信息。
当需要对VR视频进行边缘预取时，首先收集实时的网络吞吐量、用户请求状况和缓存状态。
S302、基于视频质量、视频时域抖动、视频空域抖动和时延确定单用户的用户体验质量，以及预测单用户的用户体验质量增益；
VR用户对于时延非常的敏感，一旦时延超过20ms就会产生眩晕感，对于用户体验来说这是灾难性的，于是本发明考虑将时延作为约束条件，并综合考虑视频质量带来的增益以及视频时域抖动和空域抖动带来的惩罚来定义单个用户的QoE，于是第u个用户观看第v个视频的第c个segment的用户体验定义为：
Figure BDA0002717349090000071
其中，α，β，γ为常数，表示视频质量、时域抖动和空域抖动对于QoE的影响因子；定义
Figure BDA0002717349090000072
表示预测的第u个用户请求第c+1个segment预取是否命中带来的QoE差异；
Figure BDA0002717349090000073
Dv,c+1≤t2(3)
Dv,c+1表示预计交付第c+1个segment所需的时延，t2表示预测该用户可能的缓冲区剩余大小；其中，
Figure BDA0002717349090000074
和
Figure BDA0002717349090000075
根据用户的历史请求信息使用神经网络模型来预测；接下来将详细介绍视频质量、时域抖动和空域抖动以及时延的建模过程。
1)质量Qv,c+1
具体来说，第c+1个segment的质量对应的效用Qv,c+1表示为：
Figure BDA0002717349090000076
其中，
Figure BDA0002717349090000077
表示第v个视频文件的第c+1个segment中，第i行第j列tile的质量，
Figure BDA0002717349090000078
表示预测该tile的第k质量层是否可能会被该用户请求，定义为：
Figure BDA0002717349090000079
因此可以得到用户可能会请求的视频质量：
Figure BDA00027173490900000710
定义u(*)为视频质量的效用函数，通常视频质量越高，用户对视频质量的感知越不敏感；同时不同的视频对应的效用函数也会有所不同。
同时本发明考虑VR视频的抖动包括带宽变化带来的时域质量抖动和用户头部转动带来的空域质量抖动，这两种抖动对于QoE来说都会产生巨大影响，因此本发明将其作为QoE中的惩罚项。
2)时域抖动ST v,c+1和空域抖动SS v,c+1
将预测的时域抖动ST v,c+1表示为前后两个segment中tile的效用之差：
ST v,c+1＝|Qv,c+1-Qv,c| (7)
将预测的空域抖动SS v,c+1表示为每个segment中tile效用的方差：
Figure BDA0002717349090000081
其中，Qv,c+1表示第v个视频文件的第c+1个segment中tile的平均效用。
由于VR用户对于时延非常的敏感，本发明将时延建模为约束条件。
3)时延Dv,c+1
VR视频中的传输时延主要来自视频传输需要消耗的时间，用户请求包产生的时延(RTT)非常短，因此将其忽略。在C-RAN网络环境中，根据缓存分布的不同，可以分为四种情况(如图4所示)：
(a)表示直接从本地RRH中获取tile，这种情况下时延定义为RRH到用户的传输时延：
Figure BDA0002717349090000082
其中，NR表示RRH到该用户的带宽，γR表示平均信噪比。
(b)表示本地RRH中没有该用户需要的tile，需要从BBUpool中获取，这种情况下时延定义为BBU到用户的传输时延：
Figure BDA0002717349090000083
其中，NB表示BBUpool到RRH的带宽。
(c)表示如果本地RRH和BBU pool中都没有缓存，但是其他RRH中有该tile的缓存，可以先将tile传输到BBUpool，再将该tile传输给用户，这样时延可以表示为两倍的BBUpool到RRH的时延加上RRH到用户的时延：
Figure BDA0002717349090000091
(d)如果BBUpool和RRH中都没该tile的缓存，只能从源服务器中获取，定义源服务器到用户的时延为：
Figure BDA0002717349090000092
其中，NO表示源服务器到BBUpool的带宽，满足
Figure BDA0002717349090000093
即从源服务器中获取tile的时延代价是非常大的。
根据这四种情况，本发明定义
Figure BDA0002717349090000094
表示在BBU pool和RRH中是否有缓存：
Figure BDA0002717349090000095
Figure BDA0002717349090000096
Figure BDA0002717349090000097
由此，得到平均时延D的表示方法：
Figure BDA0002717349090000098
满足：
Figure BDA0002717349090000099
优先从相连的RRH中寻找需要的tile，当相连的RRH中没有该tile的缓存时，从BBU pool中寻找，如果BBU pool中也没有该tile的缓存，从其他RRH中寻找，如果都没有则从VR视频源服务器中获取，并由源服务器决定是否缓存该tile以及缓存部署的位置。
S303、基于单用户的用户体验质量增益确定多用户的用户体验质量增益；
通过对单个用户的QoE建模，得到用户体验的客观衡量标准，在此基础上比例公平的考虑多个用户的总体QoE，并作为优化目标指导缓存。
第u个用户观看第v个视频的预测的
Figure BDA0002717349090000101
表示为：
Figure BDA0002717349090000102
其中，T表示预测该用户的总观看时长，由于视频播放时间不同，为了统一衡量指标，故对视频质量进行时间平均。从而多用户的预取优化模型表示为：
Figure BDA0002717349090000103
Figure BDA0002717349090000104
S304、基于强化学习算法对多用户的用户体验质量增益进行优化；
在有限的缓存容量约束下，优化目标是比例公平地最大化所有用户预取命中带来的QoE增益，采用神经网络模型预测预取命中的QoE增益，并采用强化学习方法寻找全局最大的QoE增益对应的预取策略。
本发明使用强化学习方法来求解上述问题，来获得使多用户的全局QoE增益达到最大的预取决策，如图5所示，将模型定义为：
Environment：整个C-RAN视频播放系统，包括带宽和缓存资源；
Agent：即预取决策模块，负责提前将用户可能观看的tile预取到BBUpool和RRH中；
States：定义为视频文件信息Mt、缓存状态
Figure BDA0002717349090000105
带宽状态
Figure BDA0002717349090000106
用户请求状态Ut的多元组：
Figure BDA0002717349090000107
考虑从开始到估计的t+1时刻的全局状态：
st+1＝H(o1,o2,…,ot+1)
Action：即预取决策变量
Figure BDA0002717349090000111
表示是否预取以及预取到哪里。
Reward：即全局QoE增益，
Figure BDA0002717349090000112
优化目标是使多用户通过预取带来的QoE增益最大。
Policy：不同状态下的策略定义为πθ＝(at+1|st+1)。
S305、基于网络吞吐量、用户请求信息、缓存状态信息和优化后的多用户的用户体验质量增益对VR视频视频进行边缘预取。
通过强化学习得到一个高效的决策模型，根据状态预测模块预测的用户当前请求情况和网络带宽状态，指导预取决策模块提前预取部分tile文件，使得多用户的总体观看体验的增益达到最大，为用户提供高效的VR视频服务。
综上所述，本发明在C-RAN架构中提出一种基于强化学习方法的VR视频边缘预取方法，能够解决网络带宽受限导致的VR视频清晰度较低，出现卡顿、抖动的问题，为用户提供更加真实、清晰、流畅的VR观看体验。
如图6所示，为本发明公开的一种C-RAN架构中基于强化学习的VR视频边缘预取系统实施例的结构示意图，所述系统可以包括：状态预测模块601和预取决策模块602；其中：
状态预测模块601，用于采集网络吞吐量、用户请求信息和缓存状态信息；
状态预测模块601，还用于基于视频质量、视频时域抖动、视频空域抖动和时延确定单用户的用户体验质量，以及预测单用户的用户体验质量增益；
预取决策模块602，用于基于单用户的用户体验质量增益确定多用户的用户体验质量增益；
预取决策模块602，还用于基于强化学习算法对多用户的用户体验质量增益进行优化；
预取决策模块602，还用于基于网络吞吐量、用户请求信息、缓存状态信息和优化后的多用户的用户体验质量增益对VR视频视频进行边缘预取。
本实施例公开的C-RAN架构中基于强化学习的VR视频边缘预取系统的工作原理与上述C-RAN架构中基于强化学习的VR视频边缘预取方法的工作原理相同，在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种C-RAN架构中基于强化学习的VR视频边缘预取方法，其特征在于，包括：
实时采集网络吞吐量、用户请求信息和缓存状态信息；
基于视频质量、视频时域抖动、视频空域抖动和时延确定单用户的用户体验质量，以及预测单用户的用户体验质量增益；
基于所述单用户的用户体验质量增益确定多用户的用户体验质量增益；
基于强化学习算法对所述多用户的用户体验质量增益进行优化；
基于所述网络吞吐量、用户请求信息、缓存状态信息和优化后的多用户的用户体验质量增益对VR视频进行边缘预取。
2.根据权利要求1所述的方法，其特征在于，所述基于视频质量、视频时域抖动、视频空域抖动和时延确定单用户的用户体验质量，以及预测单用户的用户体验质量增益，包括：
基于公式
Figure FDA0002717349080000011
和公式Dv,c+1≤t2确定单用户的用户体验质量，以及预测单用户的用户体验质量增益，其中，
Figure FDA0002717349080000012
表示第u个用户观看第v个视频的第c个segment的用户体验质量，Qv,c为视频质量，α为视频质量对用户体验质量的影响因子，
Figure FDA0002717349080000013
为视频时域抖动，β为视频时域抖动对用户体验质量的影响因子，
Figure FDA0002717349080000014
为视频空域抖动，γ为视频空域抖动对用户体验质量的影响因子，
Figure FDA0002717349080000015
表示预测的第u个用户请求第c+1个segment预取是否命中带来的用户体验质量增益，
Figure FDA0002717349080000016
和
Figure FDA0002717349080000017
根据用户的历史请求信息使用神经网络模型预测，Dv,c+1表示预交付第c+1个segment所需的时延，t2表示预测用户可能的缓冲区剩余大小。
3.根据权利要求2所述的方法，其特征在于，第v个视频文件的c+1个segment的质量对应的效用为：
Figure FDA0002717349080000021
其中，u(*)为视频质量的效用函数。
4.根据权利要求3所述的方法，其特征在于，预测的视频时域抖动定义为：
Figure FDA0002717349080000022
表示为前后两个segment中tile的效用之差。
5.根据权利要求4所述的方法，其特征在于，预测的视频空域抖动定义为：
Figure FDA0002717349080000023
其中，
Figure FDA0002717349080000024
表示预测该tile的第k质量层是否可能会被该用户请求。
6.一种C-RAN架构中基于强化学习的VR视频边缘预取系统，其特征在于，包括：状态预测模块和预取决策模块；其中：
所述状态预测模块，用于采集网络吞吐量、用户请求信息和缓存状态信息；
所述状态预测模块，还用于基于视频质量、视频时域抖动、视频空域抖动和时延确定单用户的用户体验质量，以及预测单用户的用户体验质量增益；
所述预取决策模块，用于基于所述单用户的用户体验质量增益确定多用户的用户体验质量增益；
所述预取决策模块，还用于基于强化学习算法对所述多用户的用户体验质量增益进行优化；
所述预取决策模块，还用于基于所述网络吞吐量、用户请求信息、缓存状态信息和优化后的多用户的用户体验质量增益对VR视频进行边缘预取。
7.根据权利要求6所述的系统，其特征在于，所述状态预测模块具体用于：
基于公式
Figure FDA0002717349080000031
和公式Dv,c+1≤t2确定单用户的用户体验质量，以及预测单用户的用户体验质量增益，其中，
Figure FDA0002717349080000032
表示第u个用户观看第v个视频的第c个segment的用户体验质量，Qv,c为视频质量，α为视频质量对用户体验质量的影响因子，
Figure FDA0002717349080000033
为视频时域抖动，β为视频时域抖动对用户体验质量的影响因子，
Figure FDA0002717349080000034
为视频空域抖动，γ为视频空域抖动对用户体验质量的影响因子，
Figure FDA0002717349080000035
表示预测的第u个用户请求第c+1个segment预取是否命中带来的用户体验质量增益，
Figure FDA0002717349080000036
和
Figure FDA0002717349080000037
根据用户的历史请求信息使用神经网络模型预测，Dv,c+1表示预交付第c+1个segment所需的时延，t2表示预测用户可能的缓冲区剩余大小。
8.根据权利要求7所述的系统，其特征在于，第v个视频文件的c+1个segment的质量对应的效用为：
Figure FDA0002717349080000038
其中，u(*)为视频质量的效用函数。
9.根据权利要求8所述的系统，其特征在于，预测的视频时域抖动定义为：
Figure FDA0002717349080000039
表示为前后两个segment中tile的效用之差。
10.根据权利要求9所述的系统，其特征在于，预测的视频空域抖动定义为：
Figure FDA00027173490800000310
其中，
Figure FDA00027173490800000311
表示预测该tile的第k质量层是否可能会被该用户请求。
CN202011077437.7A 2020-10-10 2020-10-10 C-ran架构中基于强化学习的vr视频边缘预取方法和系统 Active CN112202800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011077437.7A CN112202800B (zh) 2020-10-10 2020-10-10 C-ran架构中基于强化学习的vr视频边缘预取方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011077437.7A CN112202800B (zh) 2020-10-10 2020-10-10 C-ran架构中基于强化学习的vr视频边缘预取方法和系统

Publications (2)

Publication Number Publication Date
CN112202800A true CN112202800A (zh) 2021-01-08
CN112202800B CN112202800B (zh) 2021-10-01

Family

ID=74013267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011077437.7A Active CN112202800B (zh) 2020-10-10 2020-10-10 C-ran架构中基于强化学习的vr视频边缘预取方法和系统

Country Status (1)

Country Link
CN (1) CN112202800B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268835A (zh) * 2021-11-23 2022-04-01 北京航空航天大学 一种低传输流量的vr全景视频时空切片方法
CN114979710A (zh) * 2022-07-14 2022-08-30 中国科学技术大学 针对高速移动场景的星地联合多媒体传输架构的传输方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873710B2 (en) * 2007-02-06 2011-01-18 5O9, Inc. Contextual data communication platform
US20180160160A1 (en) * 2016-12-05 2018-06-07 Adobe Systems Incorporated Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
CN108521436A (zh) * 2018-02-01 2018-09-11 上海交通大学 基于终端计算存储的移动虚拟现实传输方法及系统
CN108683909A (zh) * 2018-07-12 2018-10-19 北京理工大学 Vr音视频整体用户体验质量评估方法
CN108777809A (zh) * 2018-04-11 2018-11-09 中国科学院信息工程研究所 一种全景视频分片移动网络缓存方法及系统、全景视频下载方法
CN109327867A (zh) * 2018-10-26 2019-02-12 西安交通大学 LTE网络下QoE驱动的视频码率自适应和资源分配联合算法
CN109831659A (zh) * 2018-11-29 2019-05-31 北京邮电大学 一种vr视频的缓存方法及系统
CN110430440A (zh) * 2019-06-19 2019-11-08 鹏城实验室 视频传输方法、系统、计算机设备和存储介质
US20200077124A1 (en) * 2018-08-31 2020-03-05 At&T Intellectual Property I, L.P. Methods, devices, and systems for providing panoramic video content to a mobile device from an edge server
US20200284883A1 (en) * 2019-03-08 2020-09-10 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device
CN111654712A (zh) * 2020-06-22 2020-09-11 中国科学技术大学 适用于移动边缘计算场景的动态自适应流媒体组播方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873710B2 (en) * 2007-02-06 2011-01-18 5O9, Inc. Contextual data communication platform
US20180160160A1 (en) * 2016-12-05 2018-06-07 Adobe Systems Incorporated Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
CN108521436A (zh) * 2018-02-01 2018-09-11 上海交通大学 基于终端计算存储的移动虚拟现实传输方法及系统
CN108777809A (zh) * 2018-04-11 2018-11-09 中国科学院信息工程研究所 一种全景视频分片移动网络缓存方法及系统、全景视频下载方法
CN108683909A (zh) * 2018-07-12 2018-10-19 北京理工大学 Vr音视频整体用户体验质量评估方法
US20200077124A1 (en) * 2018-08-31 2020-03-05 At&T Intellectual Property I, L.P. Methods, devices, and systems for providing panoramic video content to a mobile device from an edge server
CN109327867A (zh) * 2018-10-26 2019-02-12 西安交通大学 LTE网络下QoE驱动的视频码率自适应和资源分配联合算法
CN109831659A (zh) * 2018-11-29 2019-05-31 北京邮电大学 一种vr视频的缓存方法及系统
US20200284883A1 (en) * 2019-03-08 2020-09-10 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device
CN110430440A (zh) * 2019-06-19 2019-11-08 鹏城实验室 视频传输方法、系统、计算机设备和存储介质
CN111654712A (zh) * 2020-06-22 2020-09-11 中国科学技术大学 适用于移动边缘计算场景的动态自适应流媒体组播方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268835A (zh) * 2021-11-23 2022-04-01 北京航空航天大学 一种低传输流量的vr全景视频时空切片方法
CN114979710A (zh) * 2022-07-14 2022-08-30 中国科学技术大学 针对高速移动场景的星地联合多媒体传输架构的传输方法

Also Published As

Publication number Publication date
CN112202800B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
WO2020253664A1 (zh) 视频传输方法、系统和存储介质
Zhang et al. Video super-resolution and caching—An edge-assisted adaptive video streaming solution
CN112202800B (zh) C-ran架构中基于强化学习的vr视频边缘预取方法和系统
CN110268717A (zh) 使用播放统计信息对多表示编码的比特率优化
Pang et al. Towards low latency multi-viewpoint 360 interactive video: A multimodal deep reinforcement learning approach
Kan et al. Deep reinforcement learning-based rate adaptation for adaptive 360-degree video streaming
CN102439578A (zh) 动态可变速率媒体传送系统
Dai et al. Edge intelligence for adaptive multimedia streaming in heterogeneous internet of vehicles
CN103974084B (zh) 流媒体数据块缓存方法及文件推荐方法、流媒体服务器
CN108924667A (zh) 一种支持QoE最大化的可用带宽自适应视频分片请求方法
Jiang et al. Reinforcement learning based rate adaptation for 360-degree video streaming
CN114518956A (zh) 边缘流媒体下的基于队列开销的负载均衡方法及装置
CN111935025B (zh) 一种tcp传输性能的控制方法、装置、设备和介质
Mu et al. AMIS: Edge computing based adaptive mobile video streaming
CN117596376B (zh) 360度视频智能边缘传输方法、系统、穿戴设备及介质
Zuo et al. Bandwidth-efficient multi-video prefetching for short video streaming
CN105407383B (zh) 一种多版本视频点播流媒体服务器集群资源预测方法
Pleşca et al. Multimedia prefetching with optimal Markovian policies
Li et al. User dynamics-aware edge caching and computing for mobile virtual reality
Chen et al. VCMaker: Content-aware configuration adaptation for video streaming and analysis in live augmented reality
CN112202802B (zh) C-ran架构中基于强化学习的vr视频多级缓存方法和系统
Kim et al. HTTP adaptive streaming scheme based on reinforcement learning with edge computing assistance
CN114900506B (zh) 面向用户体验质量的360度视频视口预测方法
CN102282861A (zh) 分配服务器、数据分配方法和程序
Gupta et al. Online learning-based rate selection for wireless interactive panoramic scene delivery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant