CN114866797A - 360度视频缓存方法及装置 - Google Patents

360度视频缓存方法及装置 Download PDF

Info

Publication number
CN114866797A
CN114866797A CN202210490140.6A CN202210490140A CN114866797A CN 114866797 A CN114866797 A CN 114866797A CN 202210490140 A CN202210490140 A CN 202210490140A CN 114866797 A CN114866797 A CN 114866797A
Authority
CN
China
Prior art keywords
degree video
time
caching
degree
content popularity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210490140.6A
Other languages
English (en)
Other versions
CN114866797B (zh
Inventor
陈坚
赵明
谭晶晶
丁翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Just In Time Internet Of Things Technology Co ltd
Original Assignee
Hunan Just In Time Internet Of Things Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Just In Time Internet Of Things Technology Co ltd filed Critical Hunan Just In Time Internet Of Things Technology Co ltd
Priority to CN202210490140.6A priority Critical patent/CN114866797B/zh
Publication of CN114866797A publication Critical patent/CN114866797A/zh
Application granted granted Critical
Publication of CN114866797B publication Critical patent/CN114866797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种360度视频缓存方法及装置。所述方法采用ST‑LSTM模型对360度视频内容的流行度在时空角度上进行建模以及采用LSTM模型对360度视频的观影视角在时间角度上进行建模，然后用ST‑LSTM模型和LSTM模型分别去预测360度视频内容的流行度和360度视频的观影视角，根据预测360度视频内容的流行度和360度视频的观影视角，结合建立的缓存节点自身资源调度和协同缓存的缓存优化算法，通过演化博弈来计算和推导联合优化模型的均衡解，最终得到最优的缓存结果，能够降低360度视频传输占用大量带宽的负面影响并降低网络延迟和设备能耗、提高网络数据处理速率。

Description

360度视频缓存方法及装置
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种360度视频缓存方法及装置。
背景技术
作为新一代信息通信技术的关键领域，虚拟现实(VR)和增强现实(AR)提供了完全沉浸式的用户体验，目前已经在工业、军事、医疗、航天、教育、娱乐等领域形成较为广泛的探索应用，也受到研究和行业社区的关注。VR/AR技术在虚拟助理、仿真教学、城市规划等方面的应用在逐渐改变着人类与数字世界的交互方式，一些体验场馆、主题公园以其新奇的商业模式，也越来越受到市场的重视。根据思科的VisualNetworking指数，从2017年到2022年，VR/AR应用程序生成的流量将增加12倍，复合年增长率为65％。360度视频可以把用户置于完全沉浸式环境的中心，使用户看到真实场景的片段。通常，流式传输360度视频所需的带宽比传统(2D)视频所需的带宽大一个数量级。向每只眼睛提供4K流并允许完整360度观看范围的360度视频的数据速率需要大约400Mb/s，而传统4K视频的数据速率约为25Mb/s。所以，在当今的互联网上提供VR/AR360度视频流服务面临严峻的挑战：海量数据处理的高带宽、能耗要求与低交付时延。边缘缓存通过在更靠近用户的网络边缘进行缓存部署，可以有效减少带宽消耗和网络延迟。这种方法可以在远程服务器不参与的情况下满足用户对视频流的请求服务，避免向网络中注入重复流量，从而减少核心网络负载，减少网络资源浪费。并且由于缓存部署位置靠近用户，可以降低请求响应时间，进一步提高用户服务体验。
在研究面向VR/AR360度视频的最优缓存策略和缓存节点资源调度策略等网络优化问题，必须同时考虑服务提供商的成本代价和VR/AR的用户体验。如何基于用户需求进行缓存内容的准备，以及从用户角度出发，判断用户最优观影视角都是需要解决的目标。现有的优化方案大多优化目标单一，缓存位置单一，且很少考虑缓存设备的能耗问题。
发明内容
本发明的目的在于提供一种360度视频的缓存方法及装置，能够降低360度视频传输占用大量带宽的负面影响并降低网络延迟和设备能耗、提高网络数据处理速率。
为实现上述目的，本发明提供一种360度视频缓存方法，包括如下步骤：
获取第一内容流行度数据，所述第一内容流行度数据为包括t时刻在内的t时刻之前第一时长的各个360度视频的内容流行度特征信息，t为正数；
将第一内容流行度数据输入训练好的内容流行度预测模型中，得到t+1时刻的各个360度视频的内容流行度；
获取第一观影视角数据，所述第一观影视角数据为包括t时刻在内的t时刻之前第一时长的各个360度视频的观影视角切片信息，t为正数；
将第一观影视角数据输入训练好的观影视角预测模型中，得到t+1时刻的各个360度视频的观影视角切片优先度；
根据t+1时刻的各个360度视频的内容流行度、t+1时刻的各个360度视频的观影视角切片优先度输入以及预设的缓存优化算法，计算得到各个360度视频的缓存结果；
所述缓存结果包括每一360度视频在IOT设备、边缘服务器和云服务器中的缓存比例，其中，流行度越高的360度视频在IOT设备和边缘服务器中的缓存比例越高，同一360度视频中优先度越高的观影视角的数据在IOT设备和边缘服务器中的缓存比例越高。
可选地，所述360度视频的内容流行度特征信息包括：360度视频请求的历史信息、360度视频请求的时间戳、以及360度视频请求的空间信息。
可选地，t时刻第i个360度视频的观影视角切片信息为
Figure BDA0003631338500000021
其中
Figure BDA0003631338500000022
表示为t时刻第i个360度视频的观影视角切片的基础层，
Figure BDA0003631338500000023
表示t时刻第i个360度视频的观影视角切片的基础层的第j个增强层，k和j均为正整数；
t+1时刻的各个360度视频的观影视角切片优先度为
Figure BDA0003631338500000031
其中0≤y+η≤k。
可选地，所述优化缓存算法为基于马尔科夫决策和演化博弈的算法。
可选地，所述内容流行度预测模型为ST-LTSM网络模型，所述观影视角预测模型为LTSM网络模型。
此外，本发明还提供一种360度视频缓存装置，包括：
第一获取单元，所述第一获取单元用于获取第一内容流行度数据，所述第一内容流行度数据为包括t时刻在内的t时刻之前第一时长的各个360度视频的内容流行度特征信息，t为正数；
第一预测单元，所述第一预测单元用于将第一内容流行度数据输入训练好的内容流行度预测模型中，得到t+1时刻的各个360度视频的内容流行度；
第二获取单元，所述第二获取单元用于获取第一观影视角数据，所述第一观影视角数据为包括t时刻在内的t时刻之前第一时长的各个360度视频的观影视角切片信息，t为正数；
第二预测单元，所述第二预测单元用于将第一观影视角数据输入训练好的观影视角预测模型中，得到t+1时刻的各个360度视频的观影视角切片优先度；
缓存优化单元，所述缓存优化单元用于根据t+1时刻的各个360度视频的内容流行度、t+1时刻的各个360度视频的观影视角切片优先度输入以及预设的缓存优化算法，计算得到各个360度视频的缓存结果；
所述缓存结果包括每一360度视频在IOT设备、边缘服务器和云服务器中的缓存比例，其中，流行度越高的360度视频在IOT设备和边缘服务器中的缓存比例越高，同一360度视频中优先度越高的观影视角的数据在IOT设备和边缘服务器中的缓存比例越高。
可选地，所述360度视频的内容流行度特征信息包括：360度视频请求的历史信息、360度视频请求的时间戳、以及360度视频请求的空间信息。
可选地，t时刻第i个360度视频的观影视角切片信息为
Figure BDA0003631338500000032
其中
Figure BDA0003631338500000033
表示为t时刻第i个360度视频的观影视角切片的基础层，
Figure BDA0003631338500000041
表示t时刻第i个360度视频的观影视角切片的基础层的第j个增强层，k和j均为正整数；
t+1时刻的各个360度视频的观影视角切片优先度为
Figure BDA0003631338500000042
其中0≤y+η≤k。
可选地，所述优化缓存算法为基于马尔科夫决策和演化博弈的算法。
可选地，所述内容流行度预测模型为ST-LTSM网络模型，所述观影视角预测模型为LTSM网络模型。
本发明的有益效果：本发明提供一种360度视频缓存方法及装置。所述方法采用ST-LSTM模型对360度视频内容的流行度在时空角度上进行建模以及采用LSTM模型对360度视频的观影视角在时间角度上进行建模，然后用ST-LSTM模型和LSTM模型分别去预测360度视频内容的流行度和360度视频的观影视角，根据预测360度视频内容的流行度和360度视频的观影视角，结合建立的缓存节点自身资源调度和协同缓存的联合优化模型，通过演化博弈来计算和推导联合优化模型的均衡解，最终得到最优的缓存结果，能够降低360度视频传输占用大量带宽的负面影响并降低网络延迟和设备能耗、提高网络数据处理速率。
附图说明
为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。
附图中，
图1为本发明的360度视频缓存方法的流程图；
图2为本发明的360度视频缓存装置的示意图；
图3为本发明的360度视频缓存方法中一360度视频的切片示意图。
具体实施方式
为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
请参阅图1，本发明提供一种360度视频缓存方法，包括如下步骤：
步骤S1、获取第一内容流行度数据，所述第一内容流行度数据为包括t时刻在内的t时刻之前第一时长的各个360度视频的内容流行度特征信息，t为正数。
具体地，所述360度视频的内容流行度特征信息包括：360度视频请求的历史信息、360度视频请求的时间戳、以及360度视频请求的空间信息。
进一步地，本发明使用用户请求视频的第一个片段来表示为用户对整个视频的请求，用户对m个360度视频的流行度表示为{ρ1,ρ2，…,ρi,…,ρm}，假设第i个360度视频内容流行度特征信息表示为zi＝[Ni,Ti,Si]，其中Ni＝[n1,n2，…,ni,…,nm]表示为360度视频请求的历史信息，Ti＝[t1,t2，…,ti,…,tm]表示为360度视频请求的时间戳，Si＝[s1,s2，…,si,…,sm]表示为360度视频请求的空间信息。
步骤S2、将第一内容流行度数据输入训练好的内容流行度预测模型中，得到t+1时刻的各个360度视频的内容流行度。
具体地，所述内容流行度预测模型为ST-LSTM网络模型，t+1时刻的各个360度视频的内容流行度表示为
Figure BDA0003631338500000061
进一步地，所述内容流行度预测模型主要是根据用户历史的360历史数据来预测360度视频的流行度。360度视频内容流行度在用户请求开始的时候进行计算并且在用户发出新请求时进行更新。
步骤S3、获取第一观影视角数据，所述第一观影视角数据为包括t时刻在内的t时刻之前第一时长的各个360度视频的观影视角切片信息，t为正数。
具体地，结合图3，在本发明的一些实施例中，所述步骤S3中第i个360度视频的观影视角能够被分为k+1个切片(切片由基础层和增强层组成)，那么在t时刻第i个360度视频的观影视角被表示为
Figure BDA0003631338500000062
其中
Figure BDA0003631338500000063
表示为t时刻第i个360度视频的观影视角切片的基础层，
Figure BDA0003631338500000064
表示t时刻第i个360度视频的观影视角切片(Tile)的基础层的第j个增强层，k和j均为正整数；
步骤S4、将第一观影视角数据输入训练好的观影视角预测模型中，得到t+1时刻的各个360度视频的观影视角切片优先度；
具体地，所述t+1时刻的各个360度视频的观影视角切片优先度为
Figure BDA0003631338500000065
其中0≤y+η≤k，且括号里面的每个值均等于1，表示从上述k+1个切片中预测了一个基础层的切片信息和若干个增强层的切片信息。
步骤S5、根据t+1时刻的各个360度视频的内容流行度、t+1时刻的各个360度视频的观影视角切片优先度输入以及预设的缓存优化算法，计算得到各个360度视频的缓存结果；
所述缓存结果包括每一360度视频在IOT设备、边缘服务器和云服务器中的缓存比例，其中，流行度越高的360度视频在IOT设备和边缘服务器中的缓存比例越高，同一360度视频中优先度越高的观影视角的数据在IOT设备和边缘服务器中的缓存比例越高。
具体地，所述优化缓存算法为基于马尔科夫决策和演化博弈的算法。
需要说明的是，360度视频缓存决策过程主要针对缓存节点在缓存过程中会消耗自身的缓存资源、计算资源、通信资源以及对应的能量的现象，依据构建的内容流行度和观影视角切片优先度，提出了360度视频协同缓存中缓存位置选择和资源调度的动态优化问题。
本发明通过马尔科夫决策和演化博弈来定义整个联合优化过程，假设第i个360度视频的在不同缓存位置的缓存概率为
Figure BDA0003631338500000071
且
Figure BDA0003631338500000072
其中
Figure BDA0003631338500000073
表示为第i个360度视频有比例为
Figure BDA0003631338500000074
的切片缓存在IoT设备，
Figure BDA0003631338500000075
表示为第i个360度视频有比例为
Figure BDA0003631338500000076
的切片缓存在边缘服务器，
Figure BDA0003631338500000077
表示为第i个360度视频有比例为
Figure BDA0003631338500000078
的切片缓存在云服务器，同时第i个360度视频的缓存收益值为R(θi(t))。
如果在t+1时隙第i个360度视频请求发生变化，那么第i个360度视频的缓存策略也将会发生变化，根据自身三个不同的策略S1、S2、S3选择将会生成一个3×3的收益矩阵Pi。
那么我们的优化函数如下所示：
Figure BDA0003631338500000079
Figure BDA00036313385000000710
式中：第2行第1列
Figure BDA0003631338500000081
表示为第m个360度视频在t时刻采用了策略S1，在t+1时刻采用了策略S1，它的收益为
Figure BDA0003631338500000082
Rm i＝ρm×am×wm i
Rm e＝ρm×am×wm e
Rm c＝ρm×am×wm c
其中，
Figure BDA0003631338500000083
分别表示第m个360度视频在t时刻缓存在IOT设备、边缘服务器和云服务器的奖励值，t+1时刻的奖励值表示为
Figure BDA0003631338500000084
他们的计算公式只要把上述的内容流行度ρm和观影视角切片优先度
Figure BDA0003631338500000085
更换为t+1时刻的值即可，t时刻的
Figure BDA0003631338500000086
而
Figure BDA0003631338500000087
表示为第m个360度视频在t时刻缓存在IOT设备、边缘服务器和云服务器的总开销(包含通信开销和计算开销)，
Figure BDA0003631338500000088
表示第m个360度视频在t+1时刻缓存位置分别更改为边缘服务器和云服务器的额外开销，
Figure BDA0003631338500000089
表示表示为第m个360度视频在t+1时刻缓存位置分别更改为IOT设备和云服务器的额外开销，
Figure BDA00036313385000000810
表示表示为第m个360度视频在t+1时刻缓存位置分别更改为IOT设备和边缘服务器的额外开销。
本发明为了更加直观地描述第i个360度视频缓存策略从t时隙到t+1时隙的动态变化过程，我们采用演化博弈的复制动态方程来描述整个过程。动态复制方程如下所示：
Figure BDA00036313385000000811
Figure BDA0003631338500000091
Figure BDA0003631338500000092
分别表示为策略S1,S2,S3的策略变化程度，u(θv,sv)表示为采用策略sv的概率为θv，且它的奖励值为u(θv,sv)，
Figure BDA0003631338500000093
表示为采用这三种策略的期望奖励值，且采用S1,S2,S3这三个策略的概率分明为θ1,θ2,θ3。
最后我们通过求解上述复制动态方程来求解演化博弈的均衡解，即可得到t+1时刻各个360度视频的缓存结果。
请参阅图2，本发明还提供一种360度视频缓存装置，包括：
第一获取单元10，所述第一获取单元用于获取第一内容流行度数据，所述第一内容流行度数据为包括t时刻在内的t时刻之前第一时长的各个360度视频的内容流行度特征信息，t为正数；
第一预测单元20，所述第一预测单元用于将第一内容流行度数据输入训练好的内容流行度预测模型中，得到t+1时刻的各个360度视频的内容流行度；
第二获取单元30，所述第二获取单元用于获取第一观影视角数据，所述第一观影视角数据为包括t时刻在内的t时刻之前第一时长的各个360度视频的观影视角切片信息，t为正数；
第二预测单元40，所述第二预测单元用于将第一观影视角数据输入训练好的观影视角预测模型中，得到t+1时刻的各个360度视频的观影视角切片优先度；
缓存优化单元50，缓存优化单元用于根据t+1时刻的各个360度视频的内容流行度、t+1时刻的各个360度视频的观影视角切片优先度输入以及预设的缓存优化算法，计算得到各个360度视频的缓存结果；
所述缓存结果包括每一360度视频在IOT设备、边缘服务器和云服务器中的缓存比例，其中，流行度越高的360度视频在IOT设备和边缘服务器中的缓存比例越高，同一360度视频中优先度越高的观影视角的数据在IOT设备和边缘服务器中的缓存比例越高。
具体地，所述360度视频的内容流行度特征信息包括：360度视频请求的历史信息、360度视频请求的时间戳、以及360度视频请求的空间信息。
进一步地，本发明使用用户请求视频的第一个片段来表示为用户对整个视频的请求，用户对m个360度视频的流行度表示为{ρ1,ρ2，…,ρi,…,ρm}，假设第i个360度视频内容流行度特征信息表示为zi＝[Ni,Ti,Si]，其中Ni＝[n1,n2，…,ni,…,nm]表示为360度视频请求的历史信息，Ti＝[t1,t2，…,ti,…,tm]表示为360度视频请求的时间戳，Si＝[s1,s2，…,si,…,sm]表示为360度视频请求的空间信息。
具体地，所述内容流行度预测模型为ST-LSTM网络模型，t+1时刻的各个360度视频的内容流行度表示为
Figure BDA0003631338500000101
进一步地，所述内容流行度预测模型主要是根据用户历史的360历史数据来预测360度视频的流行度。360度视频内容流行度在用户请求开始的时候进行计算并且在用户发出新请求时进行更新。
具体地，结合图3，在本发明的一些实施例中，第i个360度视频的观影视角能够被分为k+1个切片(切片由基础层和增强层组成)，那么在t时刻第i个360度视频的观影视角被表示为
Figure BDA0003631338500000102
其中
Figure BDA0003631338500000103
表示为t时刻第i个360度视频的观影视角切片的基础层，
Figure BDA0003631338500000104
表示t时刻第i个360度视频的观影视角切片(Tile)的基础层的第j个增强层，k和j均为正整数。
具体地，所述t+1时刻的各个360度视频的观影视角切片优先度为
Figure BDA0003631338500000105
其中0≤y+η≤k，且括号里面的每个值均等于1，表示从上述k+1个切片中预测了一个基础层的切片信息和若干个增强层的切片信息。
具体地，所述优化缓存算法为基于马尔科夫决策和演化博弈的算法。
需要说明的是，360度视频缓存决策过程主要针对缓存节点在缓存过程中会消耗自身的缓存资源、计算资源、通信资源以及对应的能量的现象，依据构建的内容流行度和观影视角切片优先度，提出了360度视频协同缓存中缓存位置选择和资源调度的动态优化问题。
本发明通过马尔科夫决策和演化博弈来定义整个联合优化过程，假设第i个360度视频的在不同缓存位置的缓存概率为
Figure BDA0003631338500000111
且
Figure BDA0003631338500000112
其中
Figure BDA0003631338500000113
表示为第i个360度视频有比例为
Figure BDA0003631338500000114
的切片缓存在IoT设备，
Figure BDA0003631338500000115
表示为第i个360度视频有比例为
Figure BDA0003631338500000116
的切片缓存在边缘服务器，
Figure BDA0003631338500000117
表示为第i个360度视频有比例为
Figure BDA0003631338500000118
的切片缓存在云服务器，同时第i个360度视频的缓存收益值为R(θi(t))。
如果在t+1时隙第i个360度视频请求发生变化，那么第i个360度视频的缓存策略也将会发生变化，根据自身三个不同的策略S1、S2、S3选择将会生成一个3×3的收益矩阵Pi。
那么我们的优化函数如下所示：
Figure BDA0003631338500000119
Figure BDA00036313385000001110
式中：第2行第1列
Figure BDA00036313385000001111
表示为第m个360度视频在t时刻采用了策略S1，在t+1时刻采用了策略S1，它的收益为
Figure BDA00036313385000001112
Rm i＝ρm×am×wm i
Rm e＝ρm×am×wm e
Rm c＝ρm×am×wm c
其中，
Figure BDA00036313385000001113
分别表示第m个360度视频在t时刻缓存在IOT设备、边缘服务器和云服务器的奖励值，t+1时刻的奖励值表示为
Figure BDA00036313385000001114
他们的计算公式只要把上述的内容流行度ρm和观影视角切片优先度
Figure BDA0003631338500000121
更换为t+1时刻的值即可，t时刻的
Figure BDA0003631338500000122
而
Figure BDA0003631338500000123
表示为第m个360度视频在t时刻缓存在IOT设备、边缘服务器和云服务器的总开销(包含通信开销和计算开销)，
Figure BDA0003631338500000124
表示第m个360度视频在t+1时刻缓存位置分别更改为边缘服务器和云服务器的额外开销，
Figure BDA0003631338500000125
表示表示为第m个360度视频在t+1时刻缓存位置分别更改为IOT设备和云服务器的额外开销，
Figure BDA0003631338500000126
表示表示为第m个360度视频在t+1时刻缓存位置分别更改为IOT设备和边缘服务器的额外开销。
本发明为了更加直观地描述第i个360度视频缓存策略从t时隙到t+1时隙的动态变化过程，我们采用演化博弈的复制动态方程来描述整个过程。动态复制方程如下所示：
Figure BDA0003631338500000127
Figure BDA0003631338500000128
Figure BDA0003631338500000129
分别表示为策略S1,S2,S3的策略变化程度，u(θv,sv)表示为采用策略sv的概率为θv，且它的奖励值为u(θv,sv)，
Figure BDA00036313385000001210
表示为采用这三种策略的期望奖励值，且采用S1,S2,S3这三个策略的概率分明为θ1,θ2,θ3。
最后我们通过求解上述复制动态方程来求解演化博弈的均衡解，即可得到t+1时刻各个360度视频的缓存结果。
上所述，本发明提供一种360度视频缓存方法及装置。所述方法采用ST-LSTM模型对360度视频内容的流行度在时空角度上进行建模以及采用LSTM模型对360度视频的观影视角在时间角度上进行建模，然后用ST-LSTM模型和LSTM模型分别去预测360度视频内容的流行度和360度视频的观影视角，根据预测360度视频内容的流行度和360度视频的观影视角，结合建立的缓存节点自身资源调度和协同缓存的联合优化模型，通过演化博弈来计算和推导联合优化模型的均衡解，最终得到最优的缓存结果，能够降低360度视频传输占用大量带宽的负面影响并降低网络延迟和设备能耗、提高网络数据处理速率。
以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。

Claims (10)

1.一种360度视频缓存方法，其特征在于，包括如下步骤：
获取第一内容流行度数据，所述第一内容流行度数据为包括t时刻在内的t时刻之前第一时长的各个360度视频的内容流行度特征信息，t为正数；
将第一内容流行度数据输入训练好的内容流行度预测模型中，得到t+1时刻的各个360度视频的内容流行度；
获取第一观影视角数据，所述第一观影视角数据为包括t时刻在内的t时刻之前第一时长的各个360度视频的观影视角切片信息，t为正数；
将第一观影视角数据输入训练好的观影视角预测模型中，得到t+1时刻的各个360度视频的观影视角切片优先度；
根据t+1时刻的各个360度视频的内容流行度、t+1时刻的各个360度视频的观影视角切片优先度输入以及预设的缓存优化算法，计算得到各个360度视频的缓存结果；
所述缓存结果包括每一360度视频在IOT设备、边缘服务器和云服务器中的缓存比例，其中，流行度越高的360度视频在IOT设备和边缘服务器中的缓存比例越高，同一360度视频中优先度越高的观影视角的数据在IOT设备和边缘服务器中的缓存比例越高。
2.如权利要求1所述的360度视频缓存方法，其特征在于，所述360度视频的内容流行度特征信息包括：360度视频请求的历史信息、360度视频请求的时间戳、以及360度视频请求的空间信息。
3.如权利要求1所述的360度视频缓存方法，其特征在于，t时刻第i个360度视频的观影视角切片信息为
Figure FDA0003631338490000011
其中
Figure FDA0003631338490000012
表示为t时刻第i个360度视频的观影视角切片的基础层，
Figure FDA0003631338490000013
表示t时刻第i个360度视频的观影视角切片的基础层的第j个增强层，k和j均为正整数；
t+1时刻的各个360度视频的观影视角切片优先度为
Figure FDA0003631338490000014
其中0≤y+η≤k。
4.如权利要求1所述的360度视频缓存方法，其特征在于，所述优化缓存算法为基于马尔科夫决策和演化博弈的算法。
5.如权利要求1所述的360度视频缓存方法，其特征在于，所述内容流行度预测模型为ST-LTSM网络模型，所述观影视角预测模型为LTSM网络模型。
6.一种360度视频缓存装置，其特征在于，包括：
第一获取单元，所述第一获取单元用于获取第一内容流行度数据，所述第一内容流行度数据为包括t时刻在内的t时刻之前第一时长的各个360度视频的内容流行度特征信息，t为正数；
第一预测单元，所述第一预测单元用于将第一内容流行度数据输入训练好的内容流行度预测模型中，得到t+1时刻的各个360度视频的内容流行度；
第二获取单元，所述第二获取单元用于获取第一观影视角数据，所述第一观影视角数据为包括t时刻在内的t时刻之前第一时长的各个360度视频的观影视角切片信息，t为正数；
第二预测单元，所述第二预测单元用于将第一观影视角数据输入训练好的观影视角预测模型中，得到t+1时刻的各个360度视频的观影视角切片优先度；
缓存优化单元，所述缓存优化单元用于根据t+1时刻的各个360度视频的内容流行度、t+1时刻的各个360度视频的观影视角切片优先度输入以及预设的缓存优化算法，计算得到各个360度视频的缓存结果；
所述缓存结果包括每一360度视频在IOT设备、边缘服务器和云服务器中的缓存比例，其中，流行度越高的360度视频在IOT设备和边缘服务器中的缓存比例越高，同一360度视频中优先度越高的观影视角的数据在IOT设备和边缘服务器中的缓存比例越高。
7.如权利要求6所述的360度视频缓存装置，其特征在于，所述360度视频的内容流行度特征信息包括：360度视频请求的历史信息、360度视频请求的时间戳、以及360度视频请求的空间信息。
8.如权利要求6所述的360度视频缓存装置，其特征在于，t时刻第i个360度视频的观影视角切片信息为
Figure FDA0003631338490000021
其中
Figure FDA0003631338490000022
表示为t时刻第i个360度视频的观影视角切片的基础层，
Figure FDA0003631338490000023
表示t时刻第i个360度视频的观影视角切片的基础层的第j个增强层，k和j均为正整数；
t+1时刻的各个360度视频的观影视角切片优先度为
Figure FDA0003631338490000031
其中0≤y+η≤k。
9.如权利要求6所述的360度视频缓存装置，其特征在于，所述优化缓存算法为基于马尔科夫决策和演化博弈的算法。
10.如权利要求6所述的360度视频缓存装置，其特征在于，所述内容流行度预测模型为ST-LTSM网络模型，所述观影视角预测模型为LTSM网络模型。
CN202210490140.6A 2022-05-07 2022-05-07 360度视频缓存方法及装置 Active CN114866797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210490140.6A CN114866797B (zh) 2022-05-07 2022-05-07 360度视频缓存方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210490140.6A CN114866797B (zh) 2022-05-07 2022-05-07 360度视频缓存方法及装置

Publications (2)

Publication Number Publication Date
CN114866797A true CN114866797A (zh) 2022-08-05
CN114866797B CN114866797B (zh) 2023-10-27

Family

ID=82634461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210490140.6A Active CN114866797B (zh) 2022-05-07 2022-05-07 360度视频缓存方法及装置

Country Status (1)

Country Link
CN (1) CN114866797B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2824883A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
US10062414B1 (en) * 2017-08-22 2018-08-28 Futurewei Technologies, Inc. Determining a future field of view (FOV) for a particular user viewing a 360 degree video stream in a network
CN112995636A (zh) * 2021-03-09 2021-06-18 浙江大学 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
CN113473172A (zh) * 2020-03-30 2021-10-01 中国电信股份有限公司 Vr视频缓存方法、装置、缓存服务装置以及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2824883A1 (en) * 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
US10062414B1 (en) * 2017-08-22 2018-08-28 Futurewei Technologies, Inc. Determining a future field of view (FOV) for a particular user viewing a 360 degree video stream in a network
CN113473172A (zh) * 2020-03-30 2021-10-01 中国电信股份有限公司 Vr视频缓存方法、装置、缓存服务装置以及存储介质
CN112995636A (zh) * 2021-03-09 2021-06-18 浙江大学 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEI HUANG: "Utility-oriented resource allocation for 360-degree video transmission over heterogeneous networks", DIGITAL SIGNAL PROCESSING *
黄振宇;邹君妮;: "无线网络中多视点视频的缓存放置问题", 电子测量技术, no. 20 *

Also Published As

Publication number Publication date
CN114866797B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
Guo et al. An adaptive wireless virtual reality framework in future wireless networks: A distributed learning approach
CN111881940B (zh) 直播连麦匹配方法、装置、电子设备及存储介质
US20110263332A1 (en) Method and apparatus for providing gaming services and for handling video content
Maniotis et al. Tile-based edge caching for 360° live video streaming
US10848597B1 (en) System and method for managing virtual reality session technical field
AU2015345987A1 (en) Reducing data content on a data stream
CN113905221A (zh) 一种立体全景视频非对称传输流自适应方法及系统
CN108604389A (zh) 连续深度排序图像合成
Yang et al. Collaborative edge caching and transcoding for 360° video streaming based on deep reinforcement learning
Jin et al. Ebublio: Edge assisted multi-user 360-degree video streaming
CN114866797A (zh) 360度视频缓存方法及装置
Sassatelli et al. User-adaptive editing for 360 degree video streaming with deep reinforcement learning
US7634575B2 (en) Method and system for clustering data streams for a virtual environment
Li et al. Utility-driven joint caching and bitrate allocation for real-time immersive videos
Yang et al. Social-viewport adaptive caching scheme with clustering for virtual reality streaming in an edge computing platform
Long et al. Human-centric resource allocation for the metaverse with multi-access edge computing
CN113193999A (zh) 一种基于深度确定性策略梯度的虚拟网络映射方法
CN114900506B (zh) 面向用户体验质量的360度视频视口预测方法
Peng et al. Viewport-Driven Adaptive 360◦ Live Streaming Optimization Framework
Zhang et al. QoE-Oriented Mobile Virtual Reality Game in Distributed Edge Networks
Cui et al. A Wireless Virtual Reality-Based Multimedia-Assisted Teaching System Framework under Mobile Edge Computing
Wang et al. CoLive: Edge-Assisted Clustered Learning Framework for Viewport Prediction in 360$^\circ $ Live Streaming
CN115167688B (zh) 一种基于ar眼镜的会议模拟系统及方法
Zhu et al. HiVAT: Improving QoE for Hybrid Video Streaming Service With Adaptive Transcoding
CN112202802B (zh) C-ran架构中基于强化学习的vr视频多级缓存方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant