CN112468806A - 一种用于云vr平台的全景视频传输优化方法 - Google Patents

一种用于云vr平台的全景视频传输优化方法 Download PDF

Info

Publication number
CN112468806A
CN112468806A CN202011264335.6A CN202011264335A CN112468806A CN 112468806 A CN112468806 A CN 112468806A CN 202011264335 A CN202011264335 A CN 202011264335A CN 112468806 A CN112468806 A CN 112468806A
Authority
CN
China
Prior art keywords
user
video
fov
panoramic video
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011264335.6A
Other languages
English (en)
Other versions
CN112468806B (zh
Inventor
吴迪
罗显卓
胡淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202011264335.6A priority Critical patent/CN112468806B/zh
Publication of CN112468806A publication Critical patent/CN112468806A/zh
Application granted granted Critical
Publication of CN112468806B publication Critical patent/CN112468806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种用于云VR平台的全景视频传输优化方法，包括以下步骤：S1：获取全景视频，并对全景视频进行处理，得到显著度图和运动图；S2：根据显著度图和运动图提取用户关注对象，并计算用户关注对象的运动速度；S3：基于用户关注对象的运动速度建立用户FoV预测模型；S4：结合用户FoV预测模型，采用视频图块清晰度选择算法对全景视频中待传输的视频帧进行压缩，并将完成压缩的视频帧通过云VR平台进行传输。本发明提供一种用于云VR平台的全景视频传输优化方法，能够减少传输所需带宽、降低端到端时延，实现对全景视频的传输优化，解决了目前云VR平台传输全景视频的流畅性比较差的问题。

Description

一种用于云VR平台的全景视频传输优化方法
技术领域
本发明涉及虚拟现实技术领域，更具体的，涉及一种用于云VR平台的全景视频传输优化方法。
背景技术
随着虚拟现实设备的广泛使用，业界对全景视频展现出浓厚的兴趣。目前，各大视频平台开始推出虚拟现实内容，主要通过传输高分辨率的全景视频到用户的HMD(Helmet-Mounted Display，头盔显示器)播放，来提供沉浸式的全景视频观看体验。在国外，YouTube的全景视频专区已有超过8000部全景视频，Oculus的全景视频片源达1000余部，提供电影及纪录片点播；在国内，包括爱奇艺、优酷在内的部分视频网站也推出了全景视频专区。全景视频的应用覆盖了许多领域，如游戏、直播、运动等等，它还可以应用于诸如医疗、制药、工程建设、展览、教育、军事等实用性的场景，不仅给用户带来身临其境的体验，还能在一定程度上跨越时空界限和器材限制。
按照服务运行的位置，可把VR(Virtual Reality，虚拟现实)分为本地VR和云VR两类。本地VR把内容存储和渲染放在本地完成，这种解决方案要求本地设备有相当高的计算能力，如高性能的PC、VR一体机等等，这将给用户带来高昂的成本。云VR则将内容存储和渲染放置到云端进行，本地仅需完成解码和显示，从而降低了对设备性能的要求，有效降低了成本。
然而，目前云VR处于起步阶段，云VR平台传输全景视频的编解码时延和端到端时延比较高，导致流畅性比较差。
现有技术中，如2020年3月24日公开的中国专利，一种基于深度融合的视频显著性检测方法，公开号为CN110909594A，通过深度特征提取网络、深度特征融合网络和显著性预测网络对当前帧图像和光流图像进行处理，最终产生当前帧的最终显著性图，实现对视频中显著性目标的预测，但没有对视频进行传输优化。
发明内容
本发明为克服目前云VR平台传输全景视频的流畅性比较差的技术缺陷，提供一种用于云VR平台的全景视频传输优化方法。
为解决上述技术问题，本发明的技术方案如下：
一种用于云VR平台的全景视频传输优化方法，包括以下步骤：
S1：获取全景视频，并对全景视频进行处理，得到显著度图和运动图；
S2：根据显著度图和运动图提取用户关注对象，并计算用户关注对象的运动速度；
S3：基于用户关注对象的运动速度建立用户FoV预测模型；其中，FoV为Field ofView，即视场；
S4：结合用户FoV预测模型，采用视频图块清晰度选择算法对全景视频中待传输的视频帧进行压缩，并将完成压缩的视频帧通过云VR平台进行传输，从而实现对全景视频的传输优化。
上述方案中，通过计算用户关注对象的运动速度，并基于用户关注对象的运动速度建立用户FoV预测模型，然后结合用户FoV预测模型，采用视频图块清晰度选择算法对全景视频中待传输的视频帧进行压缩后再进行传输，从而减少传输所需带宽、降低端到端时延，实现对全景视频的传输优化。
优选的，在步骤S1中，对全景视频进行处理包括以下步骤：
S1.1：利用卷积神经网络处理全景视频，得到全景视频的显著度图；
S1.2：通过Lucas-Kanade光流法分析全景视频连续帧的光流，得到全景视频的运动图。
优选的，步骤S2具体为：
S2.1：获取用户关注对象中心坐标：读取一组显著度图，每隔若干帧选取一张显著度图，在所选显著度图中选择像素值大于250的像素点，并记录其坐标；其中，所选择的像素点即为户关注对象中心，其所在的区域即代表用户关注对象，其坐标即为用户关注对象中心坐标；设每一帧包含n个关注对象中心；
S2.2：追踪用户关注对象：在一组运动图中，每次读取两张连续的运动图，对于前一张运动图，把图中的用户关注对象中心的像素值更改为255，其余更改为0；对于后一张运动图不作改变；对两张图使用帧间差分法，从而获取后一帧中的用户关注对象中心坐标，实现追踪；
S2.3：计算运动距离：以连续的两帧为例，设前一帧中第i个用户关注对象中心坐标为(xia，yia)，后一帧中第i个用户关注对象中心坐标为(xib，yib)，那么在这两帧中第i个中心的运动距离dist为
Figure BDA0002775636490000031
S2.4：计算运动速度：根据起始时间点和结束时间点分别找出对应的帧作为起始帧和结束帧，从起始帧到结束帧累加n个用户关注对象中心坐标的运动距离，然后对运动距离取平均值，最后根据相应的时间区间计算得到运动速度。
优选的，在步骤S2.1中，每隔100帧选取一张显著度图。
优选的，在步骤S3中，还包括获取用户历史FoV运动轨迹；
将用户历史FoV运动轨迹和用户关注对象的运动速度作为所述用户FoV预测模型的输入，从而得到预测的用户FoV位置。
优选的，在步骤S3中，所述用户FoV预测模型为：
Figure BDA0002775636490000032
Figure BDA0002775636490000033
q(k，Δ，δ)＝λ×(v(k，Δ)-v(k，δ))
其中，p为用户FoV位置，即p(k)为k时刻的用户FoV位置，p(k+Δ)为预测的k+Δ时刻的用户FoV位置，p(k-δ)为k-δ时刻的用户FoV位置；k是当前时间点，Δ是预测的时间长度，
Figure BDA0002775636490000034
是根据k时刻的用户FoV位置与k-δ时刻的用户FoV位置计算出的用户FoV变化速度，δ是FoV变化速度测量区间长度，q(k，Δ，δ)为经过放缩的前后关注对象运动速度之差，λ为放缩因子，用以放缩关注对象运动速度之差的影响，v(k，Δ)为区间[k，k+Δ]上的用户关注对象的运动速度，v(k，δ)为区间[k-δ，k]上的用户关注对象的运动速度。
优选的，在步骤S4中，结合用户FoV预测模型，采用视频图块清晰度选择算法对全景视频中待传输的视频帧进行压缩具体包括以下步骤：
S4.1：将全景视频中待传输的视频帧划分为若干块大小相等的图块，并获取所述视频帧的预测的用户FoV位置、最大可用带宽、图块可用分辨率集合、可用分辨率对应的码率集合；
S4.2：根据预测的用户FoV位置将图块分为Y类；其中，2≤Y≤5；
S4.3：尝试为前Y-1类图块分配最低分辨率对应的码率，验证是否满足最大可用带宽的约束；
若满足约束，则计算剩余可用带宽；
否则，返回步骤S4.1；
S4.4：依次为Y类图块分配码率，在满足剩余可用带宽约束的前提下，选择最高分辨率对应的码率，分配成功后更新剩余可用带宽；
S4.5：图块码率分配结束，完成对全景视频中待传输的视频帧的压缩。
优选的，Y＝3，即根据预测的用户FoV位置将图块分为3类，包括α类、β类和γ类；其中，将预测的用户FoV位置中的图块作为α类，将预测的用户FoV位置周边的图块作为β类，将其余图块作为γ类。
优选的，还包括引入Q-R映射，即视频质量与码率的映射，作为QoE的计算指标；其中，QoE为Quality of Experience，即用户体验质量；
QoE与视频码率有如下对数关系：
Figure BDA0002775636490000041
其中，ri表示为第i个图块分配的码率；η为通过测量获得的常量，用于放缩带宽的影响；QoEi为针对第i个图块的QoE；
那么，n个图块的总体QoE为：
Figure BDA0002775636490000042
优选的，在步骤S4.4中，分配码率需要在满足最大可用带宽的约束下，最大化用户QoE，即
Figure BDA0002775636490000043
Figure BDA0002775636490000044
其中，B(Q(i))为第i类图块的分辨率值Q(i)对应的码率，ni为第i类图块的数量，Bavailable为最大可用带宽。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供了一种用于云VR平台的全景视频传输优化方法，通过计算用户关注对象的运动速度，并基于用户关注对象的运动速度建立用户FoV预测模型，然后结合用户FoV预测模型，采用视频图块清晰度选择算法对全景视频中待传输的视频帧进行压缩后再进行传输，从而减少传输所需带宽、降低端到端时延，实现对全景视频的传输优化。
附图说明
图1为本发明的技术方案实施步骤流程图；
图2为本发明中步骤S2的步骤流程图；
图3为本发明中结合用户FoV预测模型，采用视频图块清晰度选择算法对全景视频中待传输的视频帧进行压缩的步骤流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种用于云VR平台的全景视频传输优化方法，包括以下步骤：
S1：获取全景视频，并对全景视频进行处理，得到显著度图和运动图；
S2：根据显著度图和运动图提取用户关注对象，并计算用户关注对象的运动速度；
S3：基于用户关注对象的运动速度建立用户FoV预测模型；其中，FoV为Field ofView，即视场；
S4：结合用户FoV预测模型，采用视频图块清晰度选择算法对全景视频中待传输的视频帧进行压缩，并将完成压缩的视频帧通过云VR平台进行传输，从而实现对全景视频的传输优化。
在具体实施过程中，通过计算用户关注对象的运动速度，并基于用户关注对象的运动速度建立用户FoV预测模型，然后结合用户FoV预测模型，采用视频图块清晰度选择算法对全景视频中待传输的视频帧进行压缩后再进行传输，从而减少传输所需带宽、降低端到端时延，实现对全景视频的传输优化。
更具体的，在步骤S1中，对全景视频进行处理包括以下步骤：
S1.1：利用卷积神经网络处理全景视频，得到全景视频的显著度图；
S1.2：通过Lucas-Kanade光流法分析全景视频连续帧的光流，得到全景视频的运动图。
在具体实施过程中，通过预先训练的VGG-16卷积神经网络处理全景视频，从而构造显著度图；利用Lucas-Kanade光流法分析全景视频连续帧的光流，从而表示出全景视频中物体与用户的相对运动，即物体的空间序列以及序列的改变速率。
更具体的，如图2所示，步骤S2具体为：
S2.1：获取用户关注对象中心坐标：读取一组显著度图，每隔若干帧选取一张显著度图，在所选显著度图中选择像素值大于250的像素点，并记录其坐标；其中，所选择的像素点即为户关注对象中心，其所在的区域即代表用户关注对象，其坐标即为用户关注对象中心坐标；设每一帧包含n个关注对象中心；
S2.2：追踪用户关注对象：在一组运动图中，每次读取两张连续的运动图，对于前一张运动图，把图中的用户关注对象中心的像素值更改为255，其余更改为0；对于后一张运动图不作改变；对两张图使用帧间差分法，从而获取后一帧中的用户关注对象中心坐标，实现追踪；
S2.3：计算运动距离：以连续的两帧为例，设前一帧中第i个用户关注对象中心坐标为(xia，yia)，后一帧中第i个用户关注对象中心坐标为(xib，yib)，那么在这两帧中第i个中心的运动距离dist为
Figure BDA0002775636490000061
S2.4：计算运动速度：根据起始时间点和结束时间点分别找出对应的帧作为起始帧和结束帧，从起始帧到结束帧累加n个用户关注对象中心坐标的运动距离，然后对运动距离取平均值，最后根据相应的时间区间计算得到运动速度。
在具体实施过程中，由于生成的显著度图是灰度图，寻找显著区域的规则为，当某个像素的值大于250时，认为其为该区域的中心像素，并记录该像素的坐标。同一显著物体可能会包含多个像素值大于250的像素点，它们属于同一个显著区域，但由于计算速度时会做平均处理，所以影响可以忽略。步骤S2可离线完成，从而不占用传输的时间。
更具体的，在步骤S2.1中，每隔100帧选取一张显著度图。
在具体实施过程中，由于物体是不断运动的，可能会不断有显著物体出现在场景或从场景中消失，因此每隔100帧重新获取用户关注对象中心坐标。
更具体的，在步骤S3中，还包括获取用户历史FoV运动轨迹；
将用户历史FoV运动轨迹和用户关注对象的运动速度作为所述用户FoV预测模型的输入，从而得到预测的用户FoV位置。
在具体实施过程中，用户历史FoV运动轨迹可以从现有的公开的数据集中获取。
更具体的，在步骤S3中，所述用户FoV预测模型为：
Figure BDA0002775636490000071
Figure BDA0002775636490000072
q(k，Δ，δ)＝λ×(v(k，Δ)-v(k，δ))
其中，p为用户FoV位置，即p(k)为k时刻的用户FoV位置，p(k+Δ)为预测的k+Δ时刻的用户FoV位置，p(k-δ)为k-δ时刻的用户FoV位置；k是当前时间点，Δ是预测的时间长度，
Figure BDA0002775636490000073
是根据k时刻的用户FoV位置与k-δ时刻的用户FoV位置计算出的用户FoV变化速度，δ是FoV变化速度测量区间长度，q(k，Δ，δ)为经过放缩的前后关注对象运动速度之差，λ为放缩因子，用以放缩关注对象运动速度之差的影响，v(k，Δ)为区间[k，k+Δ]上的用户关注对象的运动速度，v(k，δ)为区间[k-δ，k]上的用户关注对象的运动速度。
在具体实施过程中，对于该用户FoV预测模型，若预测区间的用户关注对象运动速度比历史区间的快，那么加入的是正向的反馈，预测的FoV变化应该更加激烈；若预测区间的关注对象运动速度比历史区间的慢，那么加入的是负反馈，预测FoV变化应更为缓和，从而提高预测准确性。
更具体的，如图3所示，在步骤S4中，结合用户FoV预测模型，采用视频图块清晰度选择算法对全景视频中待传输的视频帧进行压缩具体包括以下步骤：
S4.1：将全景视频中待传输的视频帧划分为若干块大小相等的图块，并获取所述视频帧的预测的用户FoV位置、最大可用带宽、图块可用分辨率集合、可用分辨率对应的码率集合；
S4.2：根据预测的用户FoV位置将图块分为Y类；其中，2≤Y≤5；
S4.3：尝试为前Y-1类图块分配最低分辨率对应的码率，验证是否满足最大可用带宽的约束；
若满足约束，则计算剩余可用带宽；
否则，返回步骤S4.1；
S4.4：依次为Y类图块分配码率，在满足剩余可用带宽约束的前提下，选择最高分辨率对应的码率，分配成功后更新剩余可用带宽；
S4.5：图块码率分配结束，完成对全景视频中待传输的视频帧的压缩。
在具体实施过程中，预测的用户FoV位置通过用户FoV预测模型进行预测得到。通过视频图块清晰度选择算法对全景视频中待传输的视频帧进行压缩，从而减少传输所需带宽、降低端到端时延。
更具体的，Y＝3，即根据预测的用户FoV位置将图块分为3类，包括α类、β类和γ类；其中，将预测的用户FoV位置中的图块作为α类，将预测的用户FoV位置周边的图块作为β类，将其余图块作为γ类。
在具体实施过程中，根据预测的用户FoV位置将待传输的视频帧划分为分辨率不同的三部分。
更具体的，还包括引入Q-R映射，即视频质量与码率的映射，作为QoE的计算指标；其中，QoE为Quality of Experience，即用户体验质量；
QoE与视频码率有如下对数关系：
Figure BDA0002775636490000081
其中，ri表示为第i个图块分配的码率；η为通过测量获得的常量，用于放缩带宽的影响；QoEi为针对第i个图块的QoE；
那么，n个图块的总体QoE为：
Figure BDA0002775636490000082
在具体实施过程中，QoE反映了用户对于所观看的全景视频质量的满意程度，能够从客观的角度量化视频质量。因此，采用QoE作为衡量云VR平台性能以及全景视频传输的优化效果的一项重要指标。
更具体的，在步骤S4.4中，分配码率需要在满足最大可用带宽的约束下，最大化用户QoE，即
Figure BDA0002775636490000083
Figure BDA0002775636490000084
其中，B(Q(i))为第i类图块的分辨率值Q(i)对应的码率，ni为第i类图块的数量，Bavailable为最大可用带宽。
在具体实施过程中，把视频质量划分为一组离散的分辨率值Q，
Q＝{q1，q2，...，qm}
其中，m为分辨率值的数量，从q1到qm分辨率值不断上升，每一个分辨率值有其对应的码率，把这样一组码率的集合记为B，B(qi)为视频质量qi对应的码率。在满足最大可用带宽的条件下，提高各类图块的分辨率值，进而提高用户的满意程度。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种用于云VR平台的全景视频传输优化方法，其特征在于，包括以下步骤：
S1：获取全景视频，并对全景视频进行处理，得到显著度图和运动图；
S2：根据显著度图和运动图提取用户关注对象，并计算用户关注对象的运动速度；
S3：基于用户关注对象的运动速度建立用户FoV预测模型；
S4：结合用户FoV预测模型，采用视频图块清晰度选择算法对全景视频中待传输的视频帧进行压缩，并将完成压缩的视频帧通过云VR平台进行传输，从而实现对全景视频的传输优化。
2.根据权利要求1所述的一种用于云VR平台的全景视频传输优化方法，其特征在于，在步骤S1中，对全景视频进行处理包括以下步骤：
S1.1：利用卷积神经网络处理全景视频，得到全景视频的显著度图；
S1.2：通过Lucas-Kanade光流法分析全景视频连续帧的光流，得到全景视频的运动图。
3.根据权利要求1所述的一种用于云VR平台的全景视频传输优化方法，其特征在于，步骤S2具体为：
S2.1：获取用户关注对象中心坐标：读取一组显著度图，每隔若干帧选取一张显著度图，在所选显著度图中选择像素值大于250的像素点，并记录其坐标；其中，所选择的像素点即为户关注对象中心，其所在的区域即代表用户关注对象，其坐标即为用户关注对象中心坐标；设每一帧包含n个关注对象中心；
S2.2：追踪用户关注对象：在一组运动图中，每次读取两张连续的运动图，对于前一张运动图，把图中的用户关注对象中心的像素值更改为255，其余更改为0；对于后一张运动图不作改变；对两张图使用帧间差分法，从而获取后一帧中的用户关注对象中心坐标，实现追踪；
S2.3：计算运动距离：以连续的两帧为例，设前一帧中第i个用户关注对象中心坐标为(xia，yia)，后一帧中第i个用户关注对象中心坐标为(xib，yib)，那么在这两帧中第i个中心的运动距离dist为
Figure FDA0002775636480000011
S2.4：计算运动速度：根据起始时间点和结束时间点分别找出对应的帧作为起始帧和结束帧，从起始帧到结束帧累加n个用户关注对象中心坐标的运动距离，然后对运动距离取平均值，最后根据相应的时间区间计算得到运动速度。
4.根据权利要求3所述的一种用于云VR平台的全景视频传输优化方法，其特征在于，在步骤S2.1中，每隔100帧选取一张显著度图。
5.根据权利要求1所述的一种用于云VR平台的全景视频传输优化方法，其特征在于，在步骤S3中，还包括获取用户历史FoV运动轨迹；
将用户历史FoV运动轨迹和用户关注对象的运动速度作为所述用户FoV预测模型的输入，从而得到预测的用户FoV位置。
6.根据权利要求1所述的一种用于云VR平台的全景视频传输优化方法，其特征在于，在步骤S3中，所述用户FoV预测模型为：
Figure FDA0002775636480000021
Figure FDA0002775636480000022
q(k,Δ,δ)＝λ×(v(k,Δ)-v(k,δ))
其中，p为用户FoV位置，即p(k)为k时刻的用户FoV位置，p(k+Δ)为预测的k+Δ时刻的用户FoV位置，p(k-δ)为k-δ时刻的用户FoV位置；k是当前时间点，Δ是预测的时间长度，
Figure FDA0002775636480000023
是根据k时刻的用户FoV位置与k-δ时刻的用户FoV位置计算出的用户FoV变化速度，δ是FoV变化速度测量区间长度，q(k,Δ,δ)为经过放缩的前后关注对象运动速度之差，λ为放缩因子，用以放缩关注对象运动速度之差的影响，v(k,Δ)为区间[k，k+Δ]上的用户关注对象的运动速度，v(k,δ)为区间[k-δ，k]上的用户关注对象的运动速度。
7.根据权利要求1所述的一种用于云VR平台的全景视频传输优化方法，其特征在于，在步骤S4中，结合用户FoV预测模型，采用视频图块清晰度选择算法对全景视频中待传输的视频帧进行压缩具体包括以下步骤：
S4.1：将全景视频中待传输的视频帧划分为若干块大小相等的图块，并获取所述视频帧的预测的用户FoV位置、最大可用带宽、图块可用分辨率集合、可用分辨率对应的码率集合；
S4.2：根据预测的用户FoV位置将图块分为Y类；其中，2≤Y≤5；
S4.3：尝试为前Y-1类图块分配最低分辨率对应的码率，验证是否满足最大可用带宽的约束；
若满足约束，则计算剩余可用带宽；
否则，返回步骤S4.1；
S4.4：依次为Y类图块分配码率，在满足剩余可用带宽约束的前提下，选择最高分辨率对应的码率，分配成功后更新剩余可用带宽；
S4.5：图块码率分配结束，完成对全景视频中待传输的视频帧的压缩。
8.根据权利要求7所述的一种用于云VR平台的全景视频传输优化方法，其特征在于，Y＝3，即根据预测的用户FoV位置将图块分为3类，包括α类、β类和γ类；其中，将预测的用户FoV位置中的图块作为α类，将预测的用户FoV位置周边的图块作为β类，将其余图块作为γ类。
9.根据权利要求8所述的一种用于云VR平台的全景视频传输优化方法，其特征在于，还包括引入Q-R映射，即视频质量与码率的映射，作为QoE的计算指标；
QoE与视频码率有如下对数关系：
Figure FDA0002775636480000031
其中，ri表示为第i个图块分配的码率；η为通过测量获得的常量，用于放缩带宽的影响；QoEi为针对第i个图块的QoE；
那么，n个图块的总体QoE为：
Figure FDA0002775636480000032
10.根据权利要求9所述的一种用于云VR平台的全景视频传输优化方法，其特征在于，在步骤S4.4中，分配码率需要在满足最大可用带宽的约束下，最大化用户QoE，即
Figure FDA0002775636480000033
Figure FDA0002775636480000034
其中，B(Q(i))为第i类图块的分辨率值Q(i)对应的码率，ni为第i类图块的数量，Bavailable为最大可用带宽。
CN202011264335.6A 2020-11-12 2020-11-12 一种用于云vr平台的全景视频传输优化方法 Active CN112468806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011264335.6A CN112468806B (zh) 2020-11-12 2020-11-12 一种用于云vr平台的全景视频传输优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011264335.6A CN112468806B (zh) 2020-11-12 2020-11-12 一种用于云vr平台的全景视频传输优化方法

Publications (2)

Publication Number Publication Date
CN112468806A true CN112468806A (zh) 2021-03-09
CN112468806B CN112468806B (zh) 2022-07-26

Family

ID=74826616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011264335.6A Active CN112468806B (zh) 2020-11-12 2020-11-12 一种用于云vr平台的全景视频传输优化方法

Country Status (1)

Country Link
CN (1) CN112468806B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329266A (zh) * 2021-06-08 2021-08-31 合肥工业大学 一种基于有限用户视角反馈的全景视频自适应传输方法
CN113411557A (zh) * 2021-05-11 2021-09-17 复旦大学 适用于蜂窝网络的vr全景视频优化传输方法
CN114979652A (zh) * 2022-05-20 2022-08-30 北京字节跳动网络技术有限公司 一种视频处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160275354A1 (en) * 2015-03-17 2016-09-22 Samsung Eletrônica da Amazônia Ltda. System and method for video context-based composition and compression from normalized spatial resolution objects
US20180191868A1 (en) * 2017-01-03 2018-07-05 Black Sails Technology Inc. Method and System for Downloading Multiple Resolutions Bitrate for Virtual Reality (VR) Video Streaming Optimization
CN108492322A (zh) * 2018-04-04 2018-09-04 南京大学 一种基于深度学习预测用户视场的方法
US20190089643A1 (en) * 2017-09-20 2019-03-21 Futurewei Technologies, Inc. Combined method for data rate and field of view size adaptation for virtual reality and 360 degree video streaming
CN109792544A (zh) * 2016-06-02 2019-05-21 彗星科技有限责任公司 用于流传输全景视频的方法和装置
US20190387214A1 (en) * 2016-12-13 2019-12-19 Zte Corporation Method for transmitting panoramic videos, terminal and server

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160275354A1 (en) * 2015-03-17 2016-09-22 Samsung Eletrônica da Amazônia Ltda. System and method for video context-based composition and compression from normalized spatial resolution objects
CN109792544A (zh) * 2016-06-02 2019-05-21 彗星科技有限责任公司 用于流传输全景视频的方法和装置
US20190387214A1 (en) * 2016-12-13 2019-12-19 Zte Corporation Method for transmitting panoramic videos, terminal and server
US20180191868A1 (en) * 2017-01-03 2018-07-05 Black Sails Technology Inc. Method and System for Downloading Multiple Resolutions Bitrate for Virtual Reality (VR) Video Streaming Optimization
US20190089643A1 (en) * 2017-09-20 2019-03-21 Futurewei Technologies, Inc. Combined method for data rate and field of view size adaptation for virtual reality and 360 degree video streaming
CN108492322A (zh) * 2018-04-04 2018-09-04 南京大学 一种基于深度学习预测用户视场的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谢文京 等: "基于视点的全景视频编码与传输优化", 《扬州大学学报（自然科学版）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411557A (zh) * 2021-05-11 2021-09-17 复旦大学 适用于蜂窝网络的vr全景视频优化传输方法
CN113411557B (zh) * 2021-05-11 2022-03-18 复旦大学 适用于蜂窝网络的vr全景视频优化传输方法
CN113329266A (zh) * 2021-06-08 2021-08-31 合肥工业大学 一种基于有限用户视角反馈的全景视频自适应传输方法
CN114979652A (zh) * 2022-05-20 2022-08-30 北京字节跳动网络技术有限公司 一种视频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112468806B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN112468806B (zh) 一种用于云vr平台的全景视频传输优化方法
US11025959B2 (en) Probabilistic model to compress images for three-dimensional video
CN106162177B (zh) 视频编码方法和装置
US11653065B2 (en) Content based stream splitting of video data
Chakareski et al. Viewport-driven rate-distortion optimized 360º video streaming
CN106060515B (zh) 全景媒体文件推送方法及装置
CN111918066B (zh) 视频编码方法、装置、设备及存储介质
CN113170234B (zh) 多向视频的自适应编码和流式传输方法、系统和存储介质
CN107396081B (zh) 针对全景视频的优化编码方法及装置
CN104539929B (zh) 带有运动预测的立体图像编码方法和编码装置
US20130223537A1 (en) Video Bit Stream Transmission System
US11818502B2 (en) Systems and methods for perspective shifting in video conferencing session
CN110248178B (zh) 利用物体跟踪和历史轨迹全景视频的视口预测方法及系统
CN110248212A (zh) 多用户360度视频流服务器端码率自适应传输方法及系统
US20200404241A1 (en) Processing system for streaming volumetric video to a client device
CN103716643A (zh) 用于使用内容信息改进视频编码的系统和方法
Aksu et al. Viewport-driven rate-distortion optimized scalable live 360° video network multicast
CN109587579A (zh) 基于cdn的多视角码流传输方法、装置、设备和存储介质
Xie et al. Perceptually optimized quality adaptation of viewport-dependent omnidirectional video streaming
CN110401832A (zh) 一种基于时空管道建模的全景视频客观质量评估方法
Chen et al. Tiled streaming for layered 3D virtual reality videos with viewport prediction
Roodaki A Novel Two-Level Rate Control Algorithm Based on Visual Attention for 360-Degree Video for Versatile Video Coding Standard
CN115604478A (zh) 基于多用户视角预测和码率分配的方法及装置
CN114630097A (zh) 图像处理方法、装置、系统及计算机可读存储介质
Chakareski et al. Viewport-Driven Rate-Distortion Optimized 360 {\deg} Video Streaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant