CN113079385A - 一种基于用户感知的混合式瓦片缓存方法 - Google Patents

一种基于用户感知的混合式瓦片缓存方法 Download PDF

Info

Publication number
CN113079385A
CN113079385A CN202110289127.XA CN202110289127A CN113079385A CN 113079385 A CN113079385 A CN 113079385A CN 202110289127 A CN202110289127 A CN 202110289127A CN 113079385 A CN113079385 A CN 113079385A
Authority
CN
China
Prior art keywords
tile
feasible
comb
user
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110289127.XA
Other languages
English (en)
Inventor
杨悦
宋瑞良
李捷
张海鹏
宋云鹏
郑宏云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
CETC 54 Research Institute
Original Assignee
Beijing Jiaotong University
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University, CETC 54 Research Institute filed Critical Beijing Jiaotong University
Priority to CN202110289127.XA priority Critical patent/CN113079385A/zh
Publication of CN113079385A publication Critical patent/CN113079385A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于用户感知的混合式瓦片缓存方法，属于沉浸式视频网络缓存技术领域。本发明采用基于用户感知的混合式瓦片缓存方案，改进了现有的衡量版本编码带给用户观影质量的指标。在此基础上，结合瓦片的压缩率，建立最优化模型，在存储空间有限的条件下混合缓存多种不同切分粒度的瓦片，以最大化用户的观影质量。此外，本发明采用了启发式算法，巧妙地解决了最优化问题，能够得到接近于最优解的较好效果。

Description

一种基于用户感知的混合式瓦片缓存方法
技术领域
本发明涉及沉浸式视频网络缓存技术领域，尤其涉及一种基于用户感知的混合式瓦片缓存方法。
背景技术
沉浸式视频，是通过全景摄像机在同一时刻捕获360°范围内的场景，使观看者能自由选择观看视角的新型媒体，包含全景视频、3D视频、AR/VR视频等多种类型。沉浸式视频因其可以使观看者与视频内容进行交互并产生更真实的沉浸感，而受到了广泛的关注。来自思科的数据表明，沉浸式视频应用在2016年度总流量达159.6PB并有望在2021年达到1680PB。
沉浸式视频在现有网络上传输时面临巨大的带宽消耗和严格的时延要求。完整的沉浸式视频需要较高的网络传输带宽。为给用户带来真实的沉浸感，完整的沉浸式视频需要达到分辨率12K(11520*6480)/帧率100fps，远高于普通2D高清视频分辨率960*720/帧率30fps。这意味着，传输完整的沉浸式视频需要多付出超过300倍的带宽资源。同时，沉浸式视频具有更严格的时延要求。研究表明，如果沉浸式视频的渲染延迟长于运动到光子延迟，会使用户产生强烈的晕眩感，这个延迟通常被认为是20ms，远远小于普通2D视频所允许的时延。
以上传输要求超过了现有网络能够支持的能力。例如，现有LTE系统在20MHz带宽的下行峰值速率为100Mbps，无法达到沉浸式视频流畅播放所需要的400Mbps。
发明内容
有鉴于此，本发明提出一种基于用户感知的混合式瓦片缓存方法，该方法能够实现沉浸式视频的流畅播放。
为了实现上述目的，本发明采用的技术方案为：
一种基于用户感知的混合式瓦片缓存方法，包括如下步骤：
(1)以最粗粒度切分的瓦片所覆盖的画面区域为一个子区域，对于每一单个子区域，枚举其所有可行的瓦片组合；整个沉浸式视频各帧中所有子区域的所有可行瓦片组合构成集合Comb：
Comb＝{Combt,r,x|0≤t≤T，0≤r≤R，0≤x≤X}，
其中，Combt,r,x为一个可行的瓦片组合，T代表一个沉浸式视频的帧的数量，R代表一帧画面上子区域的数量，X代表一个子区域中可行瓦片组合的数量；
(2)计算每一Combt,r,x占用的缓存空间Wt,r,x：
Figure BDA0002981717930000021
其中，Tilet,j表示沉浸式视频第t帧画面的第j个瓦片，Dt,j表示Tilet,j所占用的缓存空间；
(3)计算第t帧画面时刻，瓦片j对于用户i的质量收益MO′i,t,j：
Figure BDA0002981717930000022
其中，FoVi,t表示第i个用户在第t帧画面时刻的视场角，A()表示求面积；
(4)计算第t帧画面时刻，瓦片j带给全体N个用户的平均质量收益：
Figure BDA0002981717930000031
(5)计算第t帧画面时刻，可行瓦片组合Combt,r,x的整体平均质量收益Vt,r,x：
Figure BDA0002981717930000032
(6)以单位缓存空间消耗所带给用户的整体平均质量收益作为收益密度，得到可行瓦片组合Combt,r,x的收益密度ρt,r,x为：
ρt,r,x＝Vt,r,x/Wt,r,x；
(7)根据用户的观影视点轨迹，对视频上所有的Combt,r,x计算相应的ρt,r,x，并以ρt,r,x作为优先级对Combt,r,x进行降序排序；
(8)从高优先级的可行瓦片组合开始，依次将各可行瓦片组合对应的瓦片存入缓存分配方案K，直至K被存满；对于当前Combt,r,x，若K中已经存在同时刻同子区域的另一个可行瓦片组合，则只缓存高优先级的可行瓦片组合；最终得到的缓存分配方案K即为整个沉浸式视频的瓦片缓存方案。
本发明的有益效果在于：
1、本发明采用基于用户感知的混合式瓦片缓存方案，改进了现有的衡量版本编码带给用户观影质量的指标。
2、本发明结合瓦片的压缩率，在存储空间有限的条件下混合缓存多种不同切分粒度的瓦片，以最大化用户的观影质量。
3、本发明采用了启发式算法，巧妙地解决了最优化问题，能够得到接近于最优解的较好效果。
附图说明
图1为本发明实施例中最大瓦片覆盖区域内可行的缓存瓦片组合示例图。
具体实施方式
下面结合具体实施例对本发明的技术方案进行详细说明。
现有瓦片缓存方案是针对同一种切分粒度的规则瓦片，将不同瓦片视为不同的独立文件，按照瓦片的请求概率进行缓存，具体如下：一个用户的FoV无论是完全覆盖瓦片，还是只覆盖到瓦片的一部分区域，均算作用户对该瓦片的一次请求，对请求次数进行归一化即可得到该瓦片的请求概率；按请求概率对瓦片进行排序，并根据缓存容量选择排名靠前的瓦片进行缓存。
本方法针对沉浸式视频不同切分粒度的瓦片进行混合缓存，给出如下假设：已知一个视频历史用户的视点移动轨迹，并且未来用户的观看行为在统计意义上与历史用户的观看行为类似；其次，缓存服务器对多种切分粒度编码的沉浸式视频瓦片进行混合缓存。对于大小相同的瓦片，彼此之间不可重叠；对于不同大小的瓦片，较大的瓦片可恰好切分为几个小瓦片，且大瓦片和小瓦片在一个像素上提供的画面质量相同。这个假设确保了覆盖不同区域的瓦片在进行拼接时，瓦片间彼此不会重叠，可以被客户端重新解码并渲染成整个画面呈现给用户；最后，缓存容量有限，不可能把视频每一帧的360°区域全部存储下来。
具体来说，本方法首先定义缓存的决策空间，规定最粗粒度切分的瓦片所覆盖的画面区域为一个子区域；然后对单个子区域中的可行的瓦片存储方案及其占用的数据量进行枚举；计算这个子区域的存储空间及可行瓦片组合带给用户的质量收益；利用单位缓存空间消耗所带给用户的质量收益来确定瓦片的缓存优先级；对所有时刻各个子区域的瓦片存储方案进行组合，最后形成整个视频最优化的存储方案。
本方法的具体步骤如下：
(1)以最粗粒度切分的瓦片所覆盖的画面区域为一个子区域，对于每一单个子区域，枚举其所有可行的瓦片组合；整个沉浸式视频各帧中所有子区域的所有可行瓦片组合构成集合Comb：
Comb＝{Combt,r,x|0≤t≤T，0≤r≤R，0≤x≤X}，
其中，Combt,r,x为一个可行的瓦片组合，T代表一个沉浸式视频的帧的数量，R代表一帧画面上子区域的数量，X代表一个子区域中可行瓦片组合的数量；
(2)计算每一Combt,r,x占用的缓存空间Wt,r,x：
Figure BDA0002981717930000051
其中，Tilet,j表示沉浸式视频第t帧画面的第j个瓦片，Dt,j表示Tilet,j所占用的缓存空间；
(3)计算第t帧画面时刻，瓦片j对于用户i的质量收益MO′i,t,j：
Figure BDA0002981717930000052
其中，FoVi,t表示第i个用户在第t帧画面时刻的视场角，A()表示求面积；
(4)计算第t帧画面时刻，瓦片j带给全体N个用户的平均质量收益：
Figure BDA0002981717930000061
(5)计算第t帧画面时刻，可行瓦片组合Combt,r,x的整体平均质量收益Vt,r,x：
Figure BDA0002981717930000062
此时，可得到一个最优化问题模型，其优化目标是最大化用户平均观影质量，即：
Figure BDA0002981717930000063
约束条件是缓存的瓦片数据总和不超过总缓存空间C，且同时刻同子区域的可行瓦片组合的数目应不大于1，即：
Figure BDA0002981717930000064
Figure BDA0002981717930000065
count函数用于统计第t帧视频第r个子区域包含的可行瓦片组合的个数。
但是，该模型本质上是一个经典的分组背包问题，最优解的求取非常困难。因此，本方法结合瓦片特点，设计了一种启发式算法来近似获得最优解。其方法如下：
(6)利用收益密度来确定瓦片的缓存优先级。用ρt,r,x表示Combt,r,x的收益密度，收益密度是指单位缓存空间消耗所带给用户的质量收益，计算公式如下：
ρt,r,x＝Vt,r,x/Wt,r,x
(7)根据用户的观影视点轨迹，对视频上所有的Combt,r,x计算相应的ρt,r,x，并根据ρt,r,x对Combt,r,x进行降序排序；
(8)根据优先级顺序，依次将各Combt,r,x对应的瓦片存入缓存分配方案K，直至K被存满。对于当前Combt,r,x，若K中已经同时刻同子区域的另一个可行瓦片组合，则根据限制条件，只能缓存一个可行瓦片组合。
最终得到的缓存分配方案K即为整个沉浸式视频的瓦片缓存方案。
本方法的目标是最大化用户平均观影质量，因此在缓存空间允许的条件下，应选择具有较大质量增益的可行瓦片组合。重复上述操作，直至缓存无法容纳新的瓦片，可求得局部最优解。经过对比，在不同的缓存空间下，本方法的启发式算法解与最优解之间最大误差不超过3.57％，平均误差不超过0.95％。
以下为一个更具体的例子：
寻找一个子区域可行瓦片组合的方法可以以两个切分粒度(3*6和6*12)的瓦片编码方案进一步举例说明：
参照图1，在本实施例中，首先设置一个子区域对应1个大瓦片和4个小瓦片，设置1个大瓦片占用16个单位的缓存空间，1个小瓦片占用5个单位的缓存空间。考虑切分粒度为3*6和6*12两种瓦片下，一个沉浸式视频第一帧画面左上角第一个子区域所有的可行瓦片组合。
对小瓦片进行全组合，即分别找出使用1个、2个、3个、4个小瓦片覆盖子区域的所有方式，如黑色虚线框中所示。第一列使用1个小瓦片，消耗5个单位的缓存空间，可以有4种覆盖子区域的方式。虽然这四种方式覆盖了子区域相同的面积，但由于所处位置不同，质量收益并不相同。第二列、第三列与第四列分别表示了使用2个、3个、4个小瓦片覆盖子区域的所有方式。
对每个瓦片组合进行排查。红色虚线框中的瓦片组合消耗了20个单位的缓存空间，其使用的4个小瓦片恰好可以拼接成1个大瓦片，因此可以用1个大瓦片代替这4个小瓦片，新的瓦片组合如第五列所示，即使用1个大瓦片，仅消耗16个单位的缓存空间。而由于覆盖面积的大小、位置完全相同，两种瓦片组合带给用户的质量增益相同。因此可以用第五列的覆盖方式来替换第四列的瓦片组合。对于第1帧视频第左上角第一个子区域，有第一、二、三、五列，共计15种可行瓦片组合，这15个组合覆盖面积的大小、位置均不相同，带来的质量增益也不相同。
总之，本发明采用基于用户感知的混合式瓦片缓存方案，改进了现有的衡量版本编码带给用户观影质量的指标。在此基础上，结合瓦片的压缩率，建立最优化模型，在存储空间有限的条件下混合缓存多种不同切分粒度的瓦片，以最大化用户的观影质量。此外，本发明采用了启发式算法，巧妙地解决了最优化问题，能够得到接近于最优解的较好效果。

Claims (1)

1.一种基于用户感知的混合式瓦片缓存方法，其特征在于，包括如下步骤：
(1)以最粗粒度切分的瓦片所覆盖的画面区域为一个子区域，对于每一单个子区域，枚举其所有可行的瓦片组合；整个沉浸式视频各帧中所有子区域的所有可行瓦片组合构成集合Comb：
Comb＝{Combt,r,x|0≤t≤T，0≤r≤R，0≤x≤X}，
其中，Combt,r,x为一个可行的瓦片组合，T代表一个沉浸式视频的帧的数量，R代表一帧画面上子区域的数量，X代表一个子区域中可行瓦片组合的数量；
(2)计算每一Combt,r,x占用的缓存空间Wt,r,x：
Figure FDA0002981717920000011
其中，Tilet,j表示沉浸式视频第t帧画面的第j个瓦片，Dt,j表示Tilet,j所占用的缓存空间；
(3)计算第t帧画面时刻，瓦片j对于用户i的质量收益MO′i,t,j：
Figure FDA0002981717920000012
其中，FoVi,t表示第i个用户在第t帧画面时刻的视场角，A()表示求面积；
(4)计算第t帧画面时刻，瓦片j带给全体N个用户的平均质量收益：
Figure FDA0002981717920000013
(5)计算第t帧画面时刻，可行瓦片组合Combt,r,x的整体平均质量收益Vt,r,x：
Figure FDA0002981717920000021
(6)以单位缓存空间消耗所带给用户的整体平均质量收益作为收益密度，得到可行瓦片组合Combt,r,x的收益密度ρt,r,x为：
ρt,r,x＝Vt,r,x/Wt,r,x；
(7)根据用户的观影视点轨迹，对视频上所有的Combt,r,x计算相应的ρt,r,x，并以ρt,r,x作为优先级对Combt,r,x进行降序排序；
(8)从高优先级的可行瓦片组合开始，依次将各可行瓦片组合对应的瓦片存入缓存分配方案K，直至K被存满；对于当前Combt,r,x，若K中已经存在同时刻同子区域的另一个可行瓦片组合，则只缓存高优先级的可行瓦片组合；最终得到的缓存分配方案K即为整个沉浸式视频的瓦片缓存方案。
CN202110289127.XA 2021-03-18 2021-03-18 一种基于用户感知的混合式瓦片缓存方法 Pending CN113079385A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110289127.XA CN113079385A (zh) 2021-03-18 2021-03-18 一种基于用户感知的混合式瓦片缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110289127.XA CN113079385A (zh) 2021-03-18 2021-03-18 一种基于用户感知的混合式瓦片缓存方法

Publications (1)

Publication Number Publication Date
CN113079385A true CN113079385A (zh) 2021-07-06

Family

ID=76613484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110289127.XA Pending CN113079385A (zh) 2021-03-18 2021-03-18 一种基于用户感知的混合式瓦片缓存方法

Country Status (1)

Country Link
CN (1) CN113079385A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590083A (zh) * 2016-07-07 2018-01-16 北京四维新世纪信息技术有限公司 一种基于owga内存缓存的海量遥感瓦片数据快速发布方法
CN108777809A (zh) * 2018-04-11 2018-11-09 中国科学院信息工程研究所 一种全景视频分片移动网络缓存方法及系统、全景视频下载方法
US20190104324A1 (en) * 2017-10-02 2019-04-04 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
CN112204960A (zh) * 2018-05-30 2021-01-08 三星电子株式会社 传输三维360度视频数据的方法、使用该方法的显示设备以及使用该方法的视频存储设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590083A (zh) * 2016-07-07 2018-01-16 北京四维新世纪信息技术有限公司 一种基于owga内存缓存的海量遥感瓦片数据快速发布方法
US20190104324A1 (en) * 2017-10-02 2019-04-04 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
CN108777809A (zh) * 2018-04-11 2018-11-09 中国科学院信息工程研究所 一种全景视频分片移动网络缓存方法及系统、全景视频下载方法
CN112204960A (zh) * 2018-05-30 2021-01-08 三星电子株式会社 传输三维360度视频数据的方法、使用该方法的显示设备以及使用该方法的视频存储设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋云鹏: "沉浸式视频的网络缓存机制研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
Xiao et al. Bas-360: Exploring spatial and temporal adaptability in 360-degree videos over http/2
US10979663B2 (en) Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
Sun et al. Flocking-based live streaming of 360-degree video
Hooft et al. Tile-based adaptive streaming for virtual reality video
US11627343B2 (en) Adaptive coding and streaming of multi-directional video
CN103650509B (zh) 基于照相机和背景运动的参考帧缓冲区的自适应配置
JP5408257B2 (ja) コンテンツ配信システム、コンテンツ配信方法、コンテンツ配信プログラム
Papaioannou et al. Tile-based caching optimization for 360 videos
US20180367802A1 (en) Optimized coding method for omnidirectional video, computer readable storage medium and computer device
Park et al. Volumetric media streaming for augmented reality
CN113905221B (zh) 一种立体全景视频非对称传输流自适应方法及系统
US11575894B2 (en) Viewport-based transcoding for immersive visual streams
US20200404241A1 (en) Processing system for streaming volumetric video to a client device
Jiang et al. A hierarchical buffer management approach to rate adaptation for 360-degree video streaming
Zhou et al. QoE-aware 3D video streaming via deep reinforcement learning in software defined networking enabled mobile edge computing
US20200404327A1 (en) Multi-viewport transcoding for volumetric video streaming
Hu et al. TVG-streaming: Learning user behaviors for QoE-optimized 360-degree video streaming
US20090279614A1 (en) Apparatus and method for managing reference frame buffer in layered video coding
Yang et al. Collaborative edge caching and transcoding for 360° video streaming based on deep reinforcement learning
Chen et al. Optimized viewport‐adaptive 360‐degree video streaming
US20220408097A1 (en) Adaptively encoding video frames using content and network analysis
Feng et al. Perceptual quality aware adaptive 360-degree video streaming with deep reinforcement learning
CN113766269B (zh) 视频缓存策略确定、视频数据处理方法、装置及存储介质
CN113079385A (zh) 一种基于用户感知的混合式瓦片缓存方法
Alkhalili et al. A survey of volumetric content streaming approaches

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210706

RJ01 Rejection of invention patent application after publication