CN108521436A - 基于终端计算存储的移动虚拟现实传输方法及系统 - Google Patents

基于终端计算存储的移动虚拟现实传输方法及系统 Download PDF

Info

Publication number
CN108521436A
CN108521436A CN201810103216.9A CN201810103216A CN108521436A CN 108521436 A CN108521436 A CN 108521436A CN 201810103216 A CN201810103216 A CN 201810103216A CN 108521436 A CN108521436 A CN 108521436A
Authority
CN
China
Prior art keywords
fov
user
strategy
mobile device
indicate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810103216.9A
Other languages
English (en)
Other versions
CN108521436B (zh
Inventor
孙亚萍
陈智勇
陶梅霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810103216.9A priority Critical patent/CN108521436B/zh
Publication of CN108521436A publication Critical patent/CN108521436A/zh
Application granted granted Critical
Publication of CN108521436B publication Critical patent/CN108521436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供了一种基于终端计算存储的移动虚拟现实传输方法，包括：步骤S1,对于某一多角度视频，在云端服务器通过缝合和球面投影，线下得到2D 360度VR视频；步骤S2，对于某一时刻，用户移动设备端对步骤S1中得到的VR视频发出请求并通过眼球追踪得到相应的FOV；步骤S3，基于用户移动设备端的缓存与计算调度策略获取相应3D FOV，从而满足用户该时刻请求；步骤S4，下一时刻，用户移动设备端发出下一FOV下的VR视频传输请求，然后重复步骤S2～步骤S3的操作。同时提供了一种基于终端计算存储的移动虚拟现实传输系统。本发明充分利用基站和移动设备的计算与存储资源，在满足VR传输时延和用户移动终端能量消耗的要求下，达到无线VR传输空口数据量最低目标。

Description

基于终端计算存储的移动虚拟现实传输方法及系统
技术领域
本发明涉及移动虚拟现实(MoVR，Mobile Virtual Reality)技术领域，具体地，涉及一种基于终端计算存储的移动虚拟现实传输方法及系统。
背景技术
虚拟现实技术(VR)因旨在为用户带来一种打破时间和空间的沉浸式体验而被受关注。目前可提供高质量体验的VR设备均需通过有线网络获取视频，从而限制了用户的移动性以及削弱了用户沉浸式体验感受，因此，若提供真正的沉浸式感受，必须实现移动虚拟现实(MoVR)技术。然而，虚拟现实视频对高分辨率(如8K)以及低延迟(20ms)的要求，导致其对无线通信传输速率的需求上升至Gbit/s的量级，无疑对蜂窝网络运营商造成巨大压力。
为促进MoVR的早日实现，学术界以及工业界都作出很大努力。首先，为减少对通信资源浪费，提出用基于用户当前视角(FOV)的部分视频传输技术来取代全部360度视频的传输方案。其次，基于FOV传输技术以及通过对用户在观看视频中的行为进行预测，设计提前推送某些FOV的VR视频策略，从而进一步降低对通信带宽的需求。与此同时，有学者意识到利用移动边缘网络(MEN)中的计算与存储资源可以有效降低对通信带宽的需求，从而促进MoVR的实现。然而，如何基于VR实现框架本身特性，充分利用用户移动设备的计算与存储资源，从而最大化降低MoVR对通信资源的需求，至今尚未明确。
发明内容
针对现有技术中存在的上述不足，本发明的目的是提供一种基于终端计算存储的移动虚拟现实传输方法及系统，充分利用基站和移动设备的计算与存储资源，在满足VR传输时延和用户终端能量消耗的要求下，达到无线VR传输空口数据量最低目标。设计利用边缘网络，如基站和用户端的计算和存储资源进行移动VR内容传输的方法，来降低移动通信网络传输VR的空口流量。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种基于终端计算存储的移动虚拟现实传输方法，包括如下步骤：
步骤S1，对于某一多角度视频，在云端服务器通过缝合和球面投影，线下得到2D360度VR视频；
步骤S2，对于某一时刻，用户移动设备端对步骤S1中得到的VR视频发出请求并通过眼球追踪得到相应的FOV(视场)；
步骤S3，基于用户移动设备端的缓存以及计算调度策略获取相应3D FOV，从而满足用户该时刻请求：
-若该FOV对应的3D FOV已经缓存在用户移动设备端，则该请求直接由本地服务；
-若该FOV对应的2D FOV已经缓存在用户移动设备端，则由用户移动设备端完成将该2D FOV投影成3D FOV的计算过程并服务给用户；
-若用户移动设备端并没有缓存该FOV对应的2D FOV或者3D FOV，则执行以下操作：
首先将该FOV信息上传至MEC服务器端，MEC服务器端基于此FOV信息通过提取获取相应的2D FOV；
然后基于计算调度策略：若在MEC服务器端计算，则该2D FOV首先被投影成3D FOV然后通过无线链路传输给用户；否则，则该2D FOV首先通过无线链路传输给用户，然后在用户移动设备端完成由2D FOV至3D FOV的投影过程；
步骤S4，下一时刻，用户移动设备端发出下一FOV下的VR视频传输请求，然后重复步骤S2～步骤S3的操作。
优选地，步骤S2中，对于2D FOV和3D FOV在用户移动设备端的缓存以及计算调度策略，包括如下四种：
策略1，本地没有任何相应缓存，由MEC服务器端计算完3D FOV之后传输给用户；该策略带来的传输增益为零，也无需花费用户移动设备端任何缓存或者计算资源；
策略2，本地缓存相应3D FOV，从而用户请求直接由本地缓存而得到满足；相比于策略1，该策略带来的传输增益为所花费的缓存资源为Oi,无需花费计算资源；
策略3，本地缓存相应2D FOV，从而由本地计算而得到满足；该策略带来的传输增益为所花费的缓存资源为Ii，花费的计算资源为
策略4，本地没有任何相应缓存，由MEC服务器端传输相应的2D FOV之后由本地计算而得；该策略带来的传输增益为花费的计算资源为无需花费缓存资源；
上述各策略中，Pi表示用户对第i个FOV的请求概率，Oi表示FOV i对应的3D FOV的大小，Ii表示FOV i对应的2D FOV的大小，k表示由用户移动设备端硬件决定的常数，f1表示用户移动设备端的计算频率，f0表示MEC服务器端的计算频率，wi表示投影过程计算每一比特所需要的计算周期，τ表示用户请求得到满足可等待的最小时延，表示MEC服务器端计算出3D FOV然后传输至用户所需要的传输速率，表示先传输2DFOV至用户移动端然后再计算的传输速率。
优选地，所述计算调度策略采用低复杂度基于贪心思想的次优算法。
优选地，所述低复杂度基于贪心思想的次优算法为：对每一个FOV i请求，以xi,j∈{0,1},j∈{1,2,3,4}表示策略的选择；若xi,j＝1，表示其选择第j种策略服务FOV i请求；以vi,j,以及分别表示当以策略j满足FOV i请求时所带来的传输增益、计算资源的花销以及缓存资源的花销。
优选地，所述低复杂度基于贪心思想的次优算法具体包括如下步骤：
步骤s1，初始化一个可行解；
步骤s2，改进可行解。
优选地，所述步骤s1包括如下步骤：
步骤s11：贪心法初始化解：
步骤s111，对每一个FOV i请求，计算并选择ji作为当前策略选择，即xi,j＝0对于其他任何j≠ji；其中，表示选择策略ji服务FOV i所带来的增益与花销比值，C表示用户移动设备端缓存资源大小，表示用户移动设备端所能提供计算的总能量；
步骤s112，记录当前策略选择下，缓存资源的消耗以及计算资源的消耗
步骤s12，可行化当前策略选择ji对于任何一个FOV i的当前策略xi,j：
步骤s121，检验当前策略xi,j是否可行：若可行，则执行步骤s2；否则，继续步骤s122；
步骤s122，找出当前被消耗最多的资源，k＝argmax{wk}，以及相应消耗该资源最多的FOV，其中，wk表示在上述策略xi,j下第k种资源总的消耗量，k表示在上述策略xi,j下被消耗最多的资源，i0表示消耗k类资源最多的FOV，表示FOV i选择策略ji所消耗的k类资源大小；
步骤s123，设并为FOV i0重新选择策略。
优选地，步骤s123具体为：对于所有其他的可选择策略，若存在使得以及那么选择该策略，即 否则重复步骤s122，直至找到可行解，并执行步骤s2。
优选地，步骤s2包括如下步骤：
步骤s21，对于任何一个FOVi请求，对于FOV i0所有可以选择策略j≠ji∈{1,2,3,4},若存在某个j满足而且和 则选择该策略，即ji＝j；
步骤s22，输出该策略xi,j,i∈{1,…,N},j∈{1,2,3,4}，基于此策略得到相应传输速率。
根据本发明的另一个方面，提供了一种基于终端计算存储的移动虚拟现实传输系统，包括基站以及分别与基站相连的MEC服务器、用户移动设备和云端服务器；其中，所述基站与用户移动设备之间通过无线信道相连接，所述MEC服务器上缓存VR视频的全部2D视频。
优选地，所述用户移动设备计算视频的眼球追踪以及渲染，和/或，基于用户当前的FOV信息将2D FOV转换为3D FOV；所述云端服务器处理视频的缝合和球面投影；所述MEC服务器基于用户当前的FOV信息将2D FOV转换为3D FOV。
本发明技术方案带来的有益效果
1、本发明基于现有VR的生成框架，提出一种MoVR的具体实施方案，通过对云端服务器以及移动边缘网络的计算与缓存资源的合理利用，进一步节省资源消耗。
2、本发明合理利用了用户移动设备的计算能力和缓存能力。系统通过将一部分计算任务转移到用户的移动设备上计算，利用用户移动设备的计算和存储资源换取了通信传输速率需求的减少。
3、本发明分析关于通信、计算以及缓存资源之间的权衡关系，为之后边缘网络的设计提供了有效的指导思路。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于现有生成VR视频框架的移动VR传输结构示意图；
图2为移动虚拟现实传输系统框图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
实施例
本实施例提供了一种基于终端计算存储的移动虚拟现实传输方法，该方法基于现有VR的生成框架，提出了一种MoVR的具体实施策略以及相应的计算调度与在用户移动设备端的缓存策略。
首先，基于现有生成VR视频的框架，如图1所示。具体而言，对于眼球追踪以及渲染因其本身特性必须在用户移动设备端(即图1中的用户端)计算完成；对于缝合与球面投影部分，由于其输入均为原始全部3D视频，所需处理以及传输的数据量巨大，因此可以在云端服务器线下完成，以此减少重复计算与重复传输对计算与通信资源的浪费；对于提取部分，由于其输入为全部2D视频并且需要用户当前的FOV(视场)信息进行计算，因此，本实施例提出可以将该部分(2D FOV转换为3D FOV)放在移动边缘计算(MEC)服务器端(即图1中的移动边缘网络)计算或者放在用户移动设备端(即图1中的用户端)计算，以此减少对无线通信传输的压力并且减少传输时延。
紧接着，针对对于每个FOV由2D FOV到3D FOV的投影过程，联合设计对其的计算调度以及在用户移动设备端的缓存策略从而最小化对无线带宽需求。具体而言，设计最优的计算调度策略，即对于每个FOV的由2D FOV到3D FOV的投影过程，决定在MEC服务器端计算或者在用户移动设备端计算。若在MEC服务器端计算，由于其计算能力较强，所需要的时延可能会减少并且消耗能量资源可以忽略不计，然而其却可大幅度降低对应的无线传输的数据量。同时基于FOV流行度分布，将某些FOV相应的2D FOV或者3D FOV缓存在用户移动设备端，从而进一步节省无线传输数据量。对每一个FOV,缓存对应的3D FOV与缓存2D FOV相比，所花费的缓存资源至少大两倍，但会节省用户移动设备端由2D FOV投影成3D FOV的计算资源并减少其能量消耗。因此，如何调度计算策略以及缓存哪些FOV，缓存FOV对应的的2D FOV还是3D FOV均需慎重考虑。在保证对于每个FOV请求处理时延满足用户体验质量以及满足用户移动设备端计算能量资源消耗的前提下，本实施例联合设计一种缓存与计算调度策略以最小化对移动通信的带宽需求。
基于以上概述，本实施例采用的技术方案如下：
步骤S1，对于某一多角度视频，在云端服务器通过缝合和球面投影，得到2D360度VR视频；
步骤S2，对于某一时刻，用户移动设备端对上述步骤S1中得到的VR视频发出请求并通过眼球追踪得到相应的FOV；
步骤S3，基于用户移动设备端的缓存与计算调度策略获取相应3D FOV，从而满足用户该时刻请求：
-若该FOV对应的3D FOV已经缓存在用户移动设备端，则该请求直接由本地服务；
-若该FOV对应的2D FOV已经缓存在用户移动设备端，则由用户移动设备端完成将该2D FOV投影成3D FOV的计算过程并服务给用户；
-若用户移动设备端并没有缓存该FOV对应的2D FOV或者3D FOV，则执行以下操作：
首先将该FOV信息上传至MEC服务器端，MEC服务器端基于此FOV信息通过提取获取相应的2D FOV；
然后基于计算调度策略：若在MEC服务器端计算，则该2D FOV首先被投影成3D FOV然后通过无线链路传输给用户；否则，则该2D FOV首先通过无线链路传输给用户，然后在用户移动设备端完成由2D FOV至3D FOV的投影过程；
步骤S4，下一时刻，用户移动设备端发出下一FOV下的VR视频传输请求，然后重复步骤S2-S3的操作。
下面结合附图对本实施例的具体实施方案进一步详细描述。
如图2所示的移动虚拟现实传输系统，该系统中存在一个基站及与之相连的MEC服务器、用户移动设备和云端服务器，基站与用户的移动设备之间通过无线信道相连接，MEC服务器上缓存VR视频的全部2D视频。所述用户移动设备计算视频的眼球追踪以及渲染，和/或，基于用户当前的FOV信息将2D FOV转换为3D FOV；所述云端服务器处理视频的缝合和球面投影；所述MEC服务器基于用户当前的FOV信息将2D FOV转换为3D FOV。
假设用户对每个FOV的请求概率服从齐夫分布，并且对每个FOV的VR视频请求处理时延不得超过某个上限τs(例如20ms)。同时，本实施例中假设各个FOV i对应的2D FOV的大小为Iibits以及对应的3D FOV的大小均为Oi bits，投影过程所需要的计算资源为wicycles/bit。发现具体的缓存以及计算调度策略由用户移动设备端的计算资源(包括计算频率f1 cycles/s以及提供计算的能量J)与缓存资源大小C bits以及MEC服务器端的计算速率大小f0 cycles/s共同决定。具体而言，当用户移动设备端的计算能力低于MEC服务器端的计算能力，即当由MEC服务器端计算然后传输至用户所需要的传输速率比先传输至用户移动端然后再计算的传输速率 低，此时在用户移动设备端计算所带来的增益只来自于缓存；否则，在用户移动设备端计算的增益来自于本地缓存之外，单纯在本地计算也会带来增益。本实施例首先针对几种极端情况分类讨论：
(1)若用户移动设备端没有计算资源仅有缓存资源时，此时只有在本地缓存3DFOV可以为无线链路的传输速率带来增益，此时对应3D FOV的缓存策略的优化为典型的背包问题，通过动态规划可以得到最优解。
(2)若用户移动设备端计算资源无限时，此时有限的缓存资源可以都利用来存储2D FOV，通过联合利用计算资源而减少对缓存资源的占用。此时对应的2D FOV的缓存策略的优化也为典型的背包问题，通过动态规划即可得到最优解。
(3)若用户移动设备端没有缓存资源时，若对于每个FOV i,此时无线链路的传输速率的增益只来自于本地计算。对应的计算调度策略优化也为典型的背包问题，通过动态规划即可得到最优解。
其次，在一般情况下，即用户移动设备端的计算与缓存资源均有限，对缓存以及计算调度策略的联合优化对应于双维度多选择的背包问题。具体而言，对于每一个FOV i，为满足其3D FOV的请求，可以有四种缓存以及计算调度策略选择：策略1.由MEC服务器端计算完之后传输给用户，此种方式带来的传输增益为零，也无需花费任何缓存或者计算资源；策略2.本地缓存相应3D FOV，从而直接由本地缓存而得到满足，此种方式带来的传输增益为所花费的缓存资源为Oi,无需花费计算资源；策略3.本地缓存相应2D FOV，从而由本地计算而得到满足，此种方式带来的传输增益为所花费的缓存资源为Ii，花费的计算资源为策略4.本地没有任何相应缓存，由MEC服务器端传输相应的2D FOV之后由本地计算而得，此种方式带来的传输增益为花费的计算资源为无需花费缓存资源。
对于上述双维度多选择的背包问题，属于NP-hard问题。为有效解决上述问题，本实施例提出一种低复杂度基于贪心思想的次优算法。提出的算法具体如下所示。对每一个FOV i请求，以xi,j∈{0,1},j∈{1,2,3,4}表示其策略的选择。若xi,j＝1，表示其选择上述第j种策略。以vi,j,以及分别表示当以策略j满足FOV i请求时所带来的传输增益以及计算与缓存资源的花销。
阶段一：初始化一个可行解：
步骤一：贪心法初始化解：
1.对每一个FOV i请求，计算并选择ji作为当前策略选择,即xi,j＝0对于其他任何j≠ji；
2.记录当前策略选择下，缓存资源的消耗以及计算资源的消耗
步骤二：可行化上述解：
1.检验当前策略xi,j是否可行，若可行跳到阶段二，否则继续下一step 2；
2.找出当前被消耗最多的资源，k＝argmax{wk}，以及相应消耗该资源最多的FOV，
3.重新为FOV i0选择策略，即具体重新选择策略为：对于所有其他的可选择策略，若存在使得以及那么选择该策略，即否则重复step 2，直至找到可行解，并跳到阶段二；
阶段二：改进可行解
1.对于任何一个FOV i请求，对于其所有可以选择策略j≠ji∈{1,2,3,4},若存在某个j满足而且和则选择该策略，即ji＝j；
2.输出该策略xi,j,i∈{1,…,N},j∈{1,2,3,4}，基于此策略可得相应传输速率。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于终端计算存储的移动虚拟现实传输方法，其特征在于，包括如下步骤：
步骤S1，对于某一多角度视频，在云端服务器通过缝合和球面投影，线下得到2D 360度VR视频；
步骤S2，对于某一时刻，用户移动设备端对步骤S1中得到的VR视频发出请求并通过眼球追踪得到相应的FOV；
步骤S3，基于用户移动设备端的缓存以及计算调度策略获取相应3D FOV，从而满足用户该时刻请求：
-若该FOV对应的3D FOV已经缓存在用户移动设备端，则该请求直接由本地服务；
-若该FOV对应的2D FOV已经缓存在用户移动设备端，则由用户移动设备端完成将该2DFOV投影成3D FOV的计算过程并服务给用户；
-若用户移动设备端并没有缓存该FOV对应的2D FOV或者3D FOV，则执行以下操作：
首先将该FOV信息上传至MEC服务器端，MEC服务器端基于此FOV信息通过提取获取相应的2D FOV；
然后基于计算调度策略：若在MEC服务器端计算，则该2D FOV首先被投影成3D FOV然后通过无线链路传输给用户；否则，则该2D FOV首先通过无线链路传输给用户，然后在用户移动设备端完成由2D FOV至3D FOV的投影过程；
步骤S4，下一时刻，用户移动设备端发出下一FOV下的VR视频传输请求，然后重复步骤S2～步骤S3的操作。
2.根据权利要求1所述的基于终端计算存储的移动虚拟现实传输方法，其特征在于，步骤S3中，对于2D FOV和3D FOV在用户移动设备端的缓存以及计算调度策略，包括如下四种：
策略1，本地没有任何相应缓存，由MEC服务器端计算完3D FOV之后传输给用户；该策略带来的传输增益为零，也无需花费用户移动设备端任何缓存或者计算资源；
策略2，本地缓存相应3D FOV，从而用户请求直接由本地缓存而得到满足；相比于策略1，该策略带来的传输增益为所花费的缓存资源为Oi,无需花费计算资源；
策略3，本地缓存相应2D FOV，从而由本地计算而得到满足；该策略带来的传输增益为所花费的缓存资源为Ii，花费的计算资源为
策略4，本地没有任何相应缓存，由MEC服务器端传输相应的2D FOV之后由本地计算而得；该策略带来的传输增益为花费的计算资源为无需花费缓存资源；
上述各策略中，Pi表示用户对第i个FOV的请求概率，Oi表示FOVi对应的3D FOV的大小，Ii表示FOVi对应的2D FOV的大小，k表示由用户移动设备端硬件决定的常数，f1表示用户移动设备端的计算频率，f0表示MEC服务器端的计算频率，wi表示投影过程计算每一比特所需要的计算周期，τ表示用户请求得到满足可等待的最小时延，表示MEC服务器端计算出3D FOV然后传输至用户所需要的传输速率，表示先传输2D FOV至用户移动端然后再计算的传输速率。
3.根据权利要求2所述的基于终端计算存储的移动虚拟现实传输方法，其特征在于，所述计算调度策略采用低复杂度基于贪心思想的次优算法。
4.根据权利要求3所述的基于终端计算存储的移动虚拟现实传输方法，其特征在于，所述低复杂度基于贪心思想的次优算法为：对每一个FOVi请求，以xi,j∈{0,1},j∈{1,2,3,4}表示策略的选择；若xi,j＝1，表示其选择第j种策略服务FOVi请求；以vi,j,以及分别表示当以策略j满足FOVi请求时所带来的传输增益、计算资源的花销以及缓存资源的花销。
5.根据权利要求4所述的基于终端计算存储的移动虚拟现实传输方法，其特征在于，所述低复杂度基于贪心思想的次优算法具体包括如下步骤：
步骤s1，初始化一个可行解；
步骤s2，改进可行解。
6.根据权利要求5所述的基于终端计算存储的移动虚拟现实传输方法，其特征在于，所述步骤s1包括如下步骤：
步骤s11：贪心法初始化解：
步骤s111，对每一个FOVi请求，计算并选择ji作为当前策略选择，即对于其他任何j≠ji；其中，表示选择策略ji服务FOVi所带来的增益与花销比值，C表示用户移动设备端缓存资源大小，表示用户移动设备端所能提供计算的总能量；
步骤s112，记录当前策略选择下，缓存资源的消耗以及计算资源的消耗
步骤s12，可行化当前策略ji对于任何一个FOVi的策略xi,j：
步骤s121，检验当前策略xi,j是否可行：若可行，则执行步骤s2；否则，继续步骤s122；
步骤s122，找出当前被消耗最多的资源，k＝argmax{wk}，以及相应消耗该资源最多的FOV，其中，wk表示在上述策略xi,j下第k种资源总的消耗量，k表示在上述策略xij下被消耗最多的资源，i0表示消耗k类资源最多的FOV，表示FOV i选择策略ji所消耗的k类资源大小；
步骤s123，设k＝1,2，并为FOVi0重新选择策略。
7.根据权利要求6所述的基于终端计算存储的移动虚拟现实传输方法，其特征在于，所述步骤s123具体为：对于FOVi0所有其他的可选择策略，若存在使得以及那么选择该策略，即k＝1,2，否则重复步骤s122，直至找到可行解，并执行步骤s2。
8.根据权利要求5所述的基于终端计算存储的移动虚拟现实传输方法，其特征在于，步骤s2包括如下步骤：
步骤s21，对于任何一个FOVi请求，对于其所有可以选择策略j≠ji∈{1,2,3,4，若存在某个j满足而且和则选择该策略，即ji＝j；
步骤s22，输出该策略xi,j,i∈{1,…,N},j∈{1,2,3,4}，基于此策略得到相应传输速率。
9.一种基于终端计算存储的移动虚拟现实传输系统，其特征在于，包括基站以及分别与基站相连的MEC服务器、用户移动设备和云端服务器；其中，所述基站与用户移动设备之间通过无线信道相连接，所述MEC服务器上缓存VR视频的全部2D视频。
10.根据权利要求9所述的基于终端计算存储的移动虚拟现实传输系统，其特征在于，所述用户移动设备计算视频的眼球追踪以及渲染，和/或，基于用户当前的FOV信息将2DFOV转换为3D FOV；所述云端服务器处理视频的缝合和球面投影；所述MEC服务器基于用户当前的FOV信息将2D FOV转换为3D FOV。
CN201810103216.9A 2018-02-01 2018-02-01 基于终端计算存储的移动虚拟现实传输方法及系统 Active CN108521436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810103216.9A CN108521436B (zh) 2018-02-01 2018-02-01 基于终端计算存储的移动虚拟现实传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810103216.9A CN108521436B (zh) 2018-02-01 2018-02-01 基于终端计算存储的移动虚拟现实传输方法及系统

Publications (2)

Publication Number Publication Date
CN108521436A true CN108521436A (zh) 2018-09-11
CN108521436B CN108521436B (zh) 2020-11-17

Family

ID=63432727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810103216.9A Active CN108521436B (zh) 2018-02-01 2018-02-01 基于终端计算存储的移动虚拟现实传输方法及系统

Country Status (1)

Country Link
CN (1) CN108521436B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257609A (zh) * 2018-09-30 2019-01-22 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质
CN109274953A (zh) * 2018-09-30 2019-01-25 Oppo广东移动通信有限公司 一种数据处理方法、终端、服务器和存储介质
CN110213627A (zh) * 2019-04-23 2019-09-06 武汉理工大学 基于多小区用户移动性的流媒体缓存分配装置及其工作方法
CN110944335A (zh) * 2019-12-12 2020-03-31 北京邮电大学 用于虚拟现实业务的资源分配方法及装置
WO2020063170A1 (zh) * 2018-09-30 2020-04-02 Oppo广东移动通信有限公司 数据处理方法、终端、服务器和存储介质
CN112202800A (zh) * 2020-10-10 2021-01-08 中国科学技术大学 C-ran架构中基于强化学习的vr视频边缘预取方法和系统
CN112995636A (zh) * 2021-03-09 2021-06-18 浙江大学 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
CN113014961A (zh) * 2019-12-19 2021-06-22 中兴通讯股份有限公司 视频推送及传输方法、视角同步方法及装置、存储介质
WO2021259175A1 (zh) * 2020-06-23 2021-12-30 华为技术有限公司 视频传输方法、装置及系统
WO2022257998A1 (zh) * 2021-06-10 2022-12-15 维沃移动通信有限公司 信息传输方法和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516737A (zh) * 2012-06-21 2014-01-15 中兴通讯股份有限公司 增强现实内容的获取方法和移动增强现实服务器及客户端
US20170094007A1 (en) * 2013-07-29 2017-03-30 Aol Advertising Inc. Systems and methods for caching augmented reality target data at user devices
CN106713173A (zh) * 2016-11-17 2017-05-24 大连理工大学 一种基于新贪心策略的按需服务数据包调度贪心算法
CN107222468A (zh) * 2017-05-22 2017-09-29 北京邮电大学 增强现实处理方法、终端、云端服务器和边缘服务器
CN107333267A (zh) * 2017-06-23 2017-11-07 电子科技大学 一种用于5g超密集组网场景的边缘计算方法
US20170329395A1 (en) * 2016-05-10 2017-11-16 Arm Limited Date processing systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103516737A (zh) * 2012-06-21 2014-01-15 中兴通讯股份有限公司 增强现实内容的获取方法和移动增强现实服务器及客户端
US20170094007A1 (en) * 2013-07-29 2017-03-30 Aol Advertising Inc. Systems and methods for caching augmented reality target data at user devices
US20170329395A1 (en) * 2016-05-10 2017-11-16 Arm Limited Date processing systems
CN106713173A (zh) * 2016-11-17 2017-05-24 大连理工大学 一种基于新贪心策略的按需服务数据包调度贪心算法
CN107222468A (zh) * 2017-05-22 2017-09-29 北京邮电大学 增强现实处理方法、终端、云端服务器和边缘服务器
CN107333267A (zh) * 2017-06-23 2017-11-07 电子科技大学 一种用于5g超密集组网场景的边缘计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QIANG LIU 等: "Demo Abstract: MExR: Mobile Edge Resource Management for Mixed Reality Applications", 《2017 IEEE CONFERENCE ON COMPUTER COMMUNICATIONS WORKSHOPS (INFOCOM WKSHPS)》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109274953A (zh) * 2018-09-30 2019-01-25 Oppo广东移动通信有限公司 一种数据处理方法、终端、服务器和存储介质
CN109257609A (zh) * 2018-09-30 2019-01-22 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质
WO2020063172A1 (zh) * 2018-09-30 2020-04-02 Oppo广东移动通信有限公司 数据处理方法、终端、服务器和存储介质
WO2020063170A1 (zh) * 2018-09-30 2020-04-02 Oppo广东移动通信有限公司 数据处理方法、终端、服务器和存储介质
CN110213627B (zh) * 2019-04-23 2020-09-01 武汉理工大学 一种基于多小区用户移动性的流媒体缓存分配方法
CN110213627A (zh) * 2019-04-23 2019-09-06 武汉理工大学 基于多小区用户移动性的流媒体缓存分配装置及其工作方法
CN110944335A (zh) * 2019-12-12 2020-03-31 北京邮电大学 用于虚拟现实业务的资源分配方法及装置
CN110944335B (zh) * 2019-12-12 2022-04-12 北京邮电大学 用于虚拟现实业务的资源分配方法及装置
CN113014961A (zh) * 2019-12-19 2021-06-22 中兴通讯股份有限公司 视频推送及传输方法、视角同步方法及装置、存储介质
WO2021259175A1 (zh) * 2020-06-23 2021-12-30 华为技术有限公司 视频传输方法、装置及系统
CN112202800A (zh) * 2020-10-10 2021-01-08 中国科学技术大学 C-ran架构中基于强化学习的vr视频边缘预取方法和系统
CN112202800B (zh) * 2020-10-10 2021-10-01 中国科学技术大学 C-ran架构中基于强化学习的vr视频边缘预取方法和系统
CN112995636A (zh) * 2021-03-09 2021-06-18 浙江大学 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
CN112995636B (zh) * 2021-03-09 2022-03-25 浙江大学 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
WO2022257998A1 (zh) * 2021-06-10 2022-12-15 维沃移动通信有限公司 信息传输方法和设备

Also Published As

Publication number Publication date
CN108521436B (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN108521436A (zh) 基于终端计算存储的移动虚拟现实传输方法及系统
Du et al. MEC-assisted immersive VR video streaming over terahertz wireless networks: A deep reinforcement learning approach
Dai et al. Task co-offloading for D2D-assisted mobile edge computing in industrial internet of things
Ren et al. An edge-computing based architecture for mobile augmented reality
Huang et al. Deep reinforcement learning-based joint task offloading and bandwidth allocation for multi-user mobile edge computing
Guo et al. An adaptive wireless virtual reality framework in future wireless networks: A distributed learning approach
Liu et al. Learning-based prediction, rendering and transmission for interactive virtual reality in RIS-assisted terahertz networks
Liu et al. Rendering-aware VR video caching over multi-cell MEC networks
Sun et al. Communication, computing and caching for mobile VR delivery: Modeling and trade-off
Wei et al. Prediction, communication, and computing duration optimization for VR video streaming
CN108093435B (zh) 基于缓存流行内容的蜂窝下行链路网络能效优化系统及方法
CN111552564A (zh) 基于边缘缓存的任务卸载与资源优化的方法
CN109887098A (zh) 一种基于分布式计算的web AR数据呈现方式
Younis et al. Latency-aware hybrid edge cloud framework for mobile augmented reality applications
Chakrabarti Deep learning based offloading for mobile augmented reality application in 6G
CN108541025B (zh) 一种面向无线异构网络的基站与d2d共同缓存方法
CN108901079A (zh) 超时时间确定方法、装置、设备及存储介质
Dai et al. Proactive caching over cloud radio access network with user mobility and video segment popularity awared
Yu et al. Co-optimizing latency and energy with learning based 360 video edge caching policy
CN107426774B (zh) 一种5g无线信息中心网络资源租赁的优化方法
CN108093482A (zh) 一种无线信息中心网络资源分配的优化方法
CN111643901A (zh) 用于云游戏界面智能渲染的方法和装置
Cai et al. Mec-based qoe optimization for adaptive video streaming via satellite backhaul
CN109617960A (zh) 一种基于属性化分离的web AR数据呈现方法
Dai et al. An mec-enabled wireless vr transmission system with view synthesis-based caching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant