CN110099294A - 一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法 - Google Patents

一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法 Download PDF

Info

Publication number
CN110099294A
CN110099294A CN201910499529.5A CN201910499529A CN110099294A CN 110099294 A CN110099294 A CN 110099294A CN 201910499529 A CN201910499529 A CN 201910499529A CN 110099294 A CN110099294 A CN 110099294A
Authority
CN
China
Prior art keywords
code rate
block
formula
video
fov
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910499529.5A
Other languages
English (en)
Other versions
CN110099294B (zh
Inventor
赵诗云
孙国霞
元辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201910499529.5A priority Critical patent/CN110099294B/zh
Publication of CN110099294A publication Critical patent/CN110099294A/zh
Application granted granted Critical
Publication of CN110099294B publication Critical patent/CN110099294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法，包括码率自适应算法、视场(FoV)转换模型、区块优先级计算模型和区块码率分配算法。首先综合考虑视频质量和缓存，通过提出的基于码率自适应算法确定当前视频段下载所需的段码率；然后采用FoV转换模型和区块优先级模型来估计每个视频段开始时的视角并计算区块优先级；最后通过二阶优化方法来为区块分配合适的码率，在保证FoV质量的同时，又能保证其时间平滑性和空间平滑性，并且该分配方法不会因用户的随意视角切换而感受到播放延迟，从而提高用户体验质量。

Description

一种针对360度视频的保持时空一致性的动态自适应流媒体 码率分配方法
技术领域
本发明涉及一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法，属于多媒体通信技术领域。
背景技术
随着多媒体技术和计算机技术的快速发展，增强现实(AR)和虚拟现实(VR)在研究和工业领域备受关注。360度视频作为展现VR/AR场景的一种沉浸式媒体形式，比传统的视频更能给用户带来身临其境的体验。头戴显示器(HMD)能够确定用户的头部位置并且为用户提供相应视角的视图，如三星Gear VR眼镜，Oculus Rift以及HTC Vive。然而，由于数据量庞大，渲染算法复杂，针对移动设备的VR系统的各项功能(存储、渲染、交互等)都很难实时完成。而网络服务器能够存储360度视频，并根据用户的需求将视频内容发送给用户，因此可以通过用户与远程网络服务器(如边缘计算节点、内容分发服务器)的交互来实现VR/AR的实时应用。
为了适应不同的网络环境，自适应流媒体技术，如基于超文本传输协议(HTTP)的流媒体技术得到了越来越广泛的应用，国际标准化组织(ISO)/国际电工技术委员会(IEC)的运动图像专家组(MPEG)标准化了一种名为动态自适应HTTP流(Dynamic AdaptiveStreaming over HTTP，DASH)的协议。由于其高度自适应特性，DASH是360度视频实时传输的可靠解决方案。在基于DASH的视频传输系统中，多媒体内容首先被划分为具有相同播放时间的段(segment或chunk)，然后每个段被编码为不同的码率(对应不同的质量等级)被存储在服务器端。服务器将生成一个呈现描述文件(Multimedia PresentationDescription,MPD)来记录视频的所有可用段的描述信息(例如，URL地址，段长度，质量等级，分辨率等)。用户将根据接收到的MPD文件、用户偏好等要求从网络服务器下载不同码率的视频段，以适应网络吞吐量的变化。
对于360度视频，由于用户只能看到包含自己当前感兴趣区域(region ofinterest，ROI)的视野(Field of View，FoV)，网络服务器允许将360度视频的一部分发送给用户。高效视频编码(H.265/High Efficiency video Coding，HEVC)标准提出了将高分辨率视频分成几个部分的概念——区块(tile)。因此，为了自适应地满足用户的观看偏好，除了在时间上划分段之外，还可以在空间上将360度视频划分为多个区块，然后将每个区块独立编码为多种质量版本并存储在网络服务器中。为了提供给用户更高的体验质量(quality of experience，QoE)，网络服务器将根据用户的要求提供包含高质量版本的当前FoV的区块。
基于区块的360度视频流可以自适应地为用户提供各种视角，但是，在播放当前视频段的期间，如果用户突然改变其视角，切换后的视角若没有缓存相应的视频内容，则会导致播放延迟。因此，服务器不仅要将包含当前FoV的区块传输给用户，还应传输非FoV的区块。此外，由于基于区块的360度视频同时具有时间和空间离散特性，在视频传输过程中还应考虑空间平滑性和时间平滑性对QoE的影响。
发明内容
针对现有的360度视频传输质量问题，本发明基于DASH技术提供了一种的能够提高用户QoE的视角动态自适应码率分配方法。
本发明首先提出一种简单而有效的码率自适应算法，通过综合考虑缓冲长度和视频质量来确定当前视频段下载所需的段码率。然后，采用高斯模型(Gaussian Model)和齐普夫模型(Zipf Model)来估计每个视频段开始时的视角并计算360度视频中所有区块的观看优先级。最后提出一种二阶优化方法来为区块分配码率，该方法在保证FoV质量的同时，又能保证其时空平滑性。
本发明的技术方案为：
一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法，运行于DASH系统，DASH系统包括服务器和客户端，360度视频经过划分段、区块及编码后存储在服务器，随之生成的用于描述服务器端可用内容的MPD文件也存储在服务器端，客户端通过HTTP请求下载MPD文件及所需区块，区块经解码和拼接后通过HMD呈现给用户。包括步骤如下：
(1)通过码率自适应算法，综合考虑缓冲长度和视频质量，确定当前视频段下载所需的段码率；
(2)采用高斯模型(Gaussian Model)和齐普夫模型(Zipf Model)，估计每个视频段开始时的视角，并计算360度视频中所有区块的观看优先级；
(3)通过一种二阶优化方法为区块分配码率。
根据本发明优选的，所述步骤(1)，通过码率自适应算法，综合考虑缓冲长度和视频质量，确定当前视频段下载所需的段码率，包括步骤如下：
为了保证视频质量和播放平滑，本发明综合考虑缓存和质量，提出一种新的基于缓存和质量的码率自适应算法(buffer-quality-based algorithm，BQA)来计算需所求视频段的码率。首先估计当前带宽Tcur，如式(Ⅰ)所示：
式(Ⅰ)中，l表示视频段的索引，l∈{1,…,L}；L0表示用来估算带宽的已下载的视频段的个数；to表示一个视频段的时长(如2秒)；rl和tdownload,l分别表示第l个视频段的下载码率和下载时间；
设定两个缓存阈值bmin和bmax，根据估计的当前带宽Tcur和当前缓存bcur计算请求视频段的码率当bcur＜bmin，请求码率低于带宽Tcur；当bmin≤bcur≤bmax，请求码率等于带宽Tcur；当bcur＞bmax，请求码率高于带宽Tcur，如式(II)所示：
式(II)中ε表示系数，由bmin、bmax及bcur计算得到，如式(Ⅲ)所示：
根据本发明优选的，所述步骤(2)，采用高斯模型(Gaussian Model)和齐普夫模型(Zipf Model)，估计每个视频段开始时的视角，并计算360度视频中所有区块的观看优先级，包括步骤如下：
A、ERP格式的360度视频在时间上被划分为L个视频段，每个视频段在空间上被划分为N个区块，每个区块被编码为U种码率等级，被存储在服务器端；
B、初始时，即在缓冲区(客户端临时存放的视频数据)为空时，由用户佩戴的头戴显示器HMD计算视野FoV，此后，对FoV进行估计；
C、为了应对视频段的播放过程中用户视角的变化，服务器端将一个视频段中完整的区块传输给客户端，为了节省带宽，使用齐普夫模型计算视频段中每个区块的优先级，如式(Ⅳ)所示：
式(Ⅳ)中，c表示预定义的优先级区域，以24个区块为例，本发明不局限于区块数量，共有五种纹理(黑底白点白底黑点交叉斜线单斜线和竖线)区域，c∈C，C为五种纹理区域，C＝{c1，c2，c3，c4，c5}，即c1＝“黑底白点”，c2＝“白底黑点”，c3＝“交叉斜线”，c4＝“单斜线”，c5＝“竖线”，同一纹理区域包含多个区块，πc表示在区域c中的区块数量，不同纹理区域代表不同的优先级，即有五种区块优先级，其中，黑底白点区域为FoV所在的区域，优先级最高，表示第l个视频段中位于区域c内的第个区块的优先级，计算公式如式(Ⅴ)所示：
式(Ⅴ)中，设定dl,c2＝2·dl,c1，dl,c3＝3·dl,c1，dl,c4＝4·dl,c1，dl,c5＝5·dl,c1，dl,c表示区域c与FoV之间的相对距离。
进一步优选的，采用概率模型对FoV进行估计，是指：
考虑到用户在观看360度视频的过程中，观看概率最高的区域通常位于360度视频的中央，其次为靠近中央的区域，最不容易被观看的区域为视频的边缘，对应符合用户观看习惯的FoV预测模型，即由视频画面的中央到边缘，被用户选择作为FoV的概率是递减的。
本发明采用概率模型的方法来估计FoV，假设FoV的模式切换服从正态分布(高斯模型)，即其中均值μ和方差σ2分别表示FoV模式变化的均值和离散程度。
根据本发明优选的，所述步骤(3)，通过区块码率分配算法区块分配码率，包括步骤如下：
确定区块间的码率组合方案来提高用户QoE。
计算视频段l的加权失真，并将其作为目标函数，建立数学模型，如式(Ⅵ)所示：
式(Ⅵ)中，pl,n、和分别表示第l个视频段中第n个区块的优先级、码率和失真，失真由均方误差(mean squared error，MSE)表示，根据基于柯西分布的率失真函数，计算失真与码率之间的关系，如式(Ⅶ)所示：
式(Ⅶ)中，αl,n＞0,βl,n＞0，αl,n,βl,n表示第l个视频段中第n个区块对应的率失真模型参数，在视频编码阶段得到各区块不同码率对应不同的失真值之后，通过统计回归计算即得到各区块的αl,n和βl,n值；
由于基于柯西分布的率失真函数是凸函数，有约束的优化问题通过拉格朗日乘数法转换为无约束的优化问题，如式(Ⅷ)所示：
式(Ⅷ)中，J即为需要求解的凸函数；
并由Karush-Kuhn-Tucher(KKT)条件求解，如式(Ⅸ)所示：
式(Ⅷ)、式(Ⅸ)中，λ表示拉格朗日乘子；
式(Ⅵ)的解可能并不与存储在服务器端的区块码率版本相匹配，因此，在可选码率中选择数值最接近且不大于的码率作为区块的码率。
根据本发明优选的，为了从时间平滑和空间平滑方面进一步地提高用户QoE，在的基础上微调FoV包含区块的码率，是指：
假设FoV中含有M个区块，0＜M＜N，经求解凸优化问题得到的第l个视频段内位于FoV的第m个区块的码率和失真分别表示为和位于非FoV的区块的码率和失真分别表示为和微调FoV内区块码率，目标函数如式(ⅩO)所示：
式(Ⅹ)中，θ1,θ2和θ3表示加权系数，且满足θ1+θ2+θ3＝1，和分别表示FoV的平均质量，空间平滑度和时间平滑度；
FoV的平均质量计算，如式(Ⅺ)所示：
式(Ⅺ)中，表示FoV中第m个区块的失真值；
FoV的空间平滑度由FoV中区块的失真标准差表示，如式(Ⅻ)所示：
FoV的时间平滑度如式(XIII)所示：
限制FoV中区块的总码率和平均失真分别不超过设定的阈值和此微调过程如式(XIV)所示：
通过全搜索遍历FoV中所有区块的可用码率等级，求解公式(XIV)，调整FoV内区块码率为满足约束条件且使得值最小的码率，得到最终的区块码率分配方案。
本发明适用于真实网络环境，能够广泛地应用于无线网络360度流媒体视频传输系统中。
进一步优选的，
附图说明
图1是FoV模式图。
图2是基于区块的360度视频流的DASH系统的结构框图。
图3是本发明动态自适应流媒体码率分配方法的流程框图。
图4是用于自适应流传输的基于区块的360视频存储结构框图。
图5是FoV平均PSNR的对比图。
图6是FoV的PSNR空间标准差对比图。
图7是FoV平均PSNR的时间差对比图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法，如图3所示，运行于DASH系统，DASH系统包括服务器和客户端，如图2所示，360度视频经过划分段、区块及编码后存储在服务器，随之生成的用于描述服务器端可用内容的MPD文件也存储在服务器端，客户端通过HTTP请求下载MPD文件及所需区块，区块经解码和拼接后通过HMD呈现给用户。包括步骤如下：
(1)通过码率自适应算法，综合考虑缓冲长度和视频质量，确定当前视频段下载所需的段码率；
(2)采用高斯模型(Gaussian Model)和齐普夫模型(Zipf Model)，估计每个视频段开始时的视角，并计算360度视频中所有区块的观看优先级；
(3)通过一种二阶优化方法为区块分配码率。
实施例2
一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法，其区别在于：
步骤(1)，通过码率自适应算法，综合考虑缓冲长度和视频质量，确定当前视频段下载所需的段码率，包括步骤如下：
为了保证视频质量和播放平滑，本发明综合考虑缓存和质量，提出一种新的基于缓存和质量的码率自适应算法(buffer-quality-based algorithm，BQA)来计算需所求视频段的码率。首先估计当前带宽Tcur，如式(Ⅰ)所示：
式(Ⅰ)中，l表示视频段的索引，l∈{1,…,L}；L0表示用来估算带宽的已下载的视频段的个数；to表示一个视频段的时长(如2秒)；rl和tdownload,l分别表示第l个视频段的下载码率和下载时间；
设定两个缓存阈值bmin和bmax，根据估计的当前带宽Tcur和当前缓存bcur计算请求视频段的码率当bcur＜bmin，请求码率低于带宽Tcur；当bmin.bcur.bmax，请求码率等于带宽Tcur；当bcur＞bmax，请求码率高于带宽Tcur，如式(II)所示：
式(II)中ε表示系数，由bmin、bmax及bcur计算得到，如式(Ⅲ)所示：
步骤(2)，采用高斯模型(Gaussian Model)和齐普夫模型(Zipf Model)，估计每个视频段开始时的视角，并计算360度视频中所有区块的观看优先级，包括步骤如下：
A、ERP格式的360度视频在时间上被划分为L个视频段，每个视频段在空间上被划分为N个区块，每个区块被编码为U种码率等级，被存储在服务器端，如图4所示。
B、初始时，即在缓冲区(客户端临时存放的视频数据)为空时，由用户佩戴的头戴显示器HMD计算视野FoV，此后，对FoV进行估计；假设FoV的模式(如图1所示，共15种模式)切换服从正态分布(高斯模型)，即其中均值μ和方差σ2分别表示FoV模式变化的均值和离散程度。
C、为了应对视频段的播放过程中用户视角的变化，服务器端将一个视频段中完整的区块传输给客户端，为了节省带宽，使用齐普夫模型计算视频段中每个区块的优先级，如式(Ⅳ)所示：
式(Ⅳ)中，c表示预定义的优先级区域，如图1所示(以24个区块为例，本发明不局限于区块数量)，共有五种纹理(如图1所示，黑底白点白底黑点交叉斜线单斜线和竖线)区域，c∈C，C为五种纹理区域，C＝{c1，c2，c3，c4，c5}，即c1＝“黑底白点”，c2＝“白底黑点”，c3＝“交叉斜线”，c4＝“单斜线”，c5＝“竖线”，同一纹理区域包含多个区块，πc表示在区域c中的区块数量，不同纹理区域代表不同的优先级，即有五种区块优先级，其中，黑底白点区域为FoV所在的区域，优先级最高，表示第l个视频段中位于区域c内的第个区块的优先级，计算公式如式(Ⅴ)所示：
式(Ⅴ)中，设定dl,c2＝2·dl,c1，dl,c3＝3·dl,c1，dl,c4＝4·dl,c1，dl,c5＝5·dl,c1，dl,c表示区域c与FoV之间的相对距离。
步骤(3)，通过区块码率分配算法区块分配码率，包括步骤如下：确定区块间的码率组合方案来提高用户QoE。
计算视频段l的加权失真，并将其作为目标函数，建立数学模型，如式(Ⅵ)所示：
式(Ⅵ)中，pl,n、和分别表示第l个视频段中第n个区块的优先级、码率和失真，失真由均方误差(mean squared error，MSE)表示，根据基于柯西分布的率失真函数，计算失真与码率之间的关系，如式(Ⅶ)所示：
式(Ⅶ)中，αl,n＞0,βl,n＞0，αl,n,βl,n表示第l个视频段中第n个区块对应的率失真模型参数，在视频编码阶段得到各区块不同码率对应不同的失真值之后，通过统计回归计算即得到各区块的αl,n和βl,n值；
由于基于柯西分布的率失真函数是凸函数，有约束的优化问题通过拉格朗日乘数法转换为无约束的优化问题，如式(Ⅷ)所示：
式(Ⅷ)中，J即为需要求解的凸函数；
并由Karush-Kuhn-Tucher(KKT)条件求解，如式(Ⅸ)所示：
式(Ⅷ)、式(Ⅸ)中，λ表示拉格朗日乘子；
式(Ⅵ)的解可能并不与存储在服务器端的区块码率版本相匹配，因此，在可选码率中选择数值最接近且不大于的码率作为区块的码率。
为了从时间平滑和空间平滑方面进一步地提高用户QoE，在的基础上微调FoV包含区块的码率，是指：
假设FoV中含有M个区块，0＜M＜N，经求解凸优化问题得到的第l个视频段内位于FoV的第m个区块的码率和失真分别表示为和位于非FoV的区块的码率和失真分别表示为和微调FoV内区块码率，目标函数如式(Ⅹ)所示：
式(Ⅹ)中，θ1,θ2和θ3表示加权系数，且满足θ1+θ2+θ3＝1，和分别表示FoV的平均质量，空间平滑度和时间平滑度；
FoV的平均质量计算，如式(Ⅺ)所示：
式(Ⅺ)中，表示FoV中第m个区块的失真值；
FoV的空间平滑度由FoV中区块的失真标准差表示，如式(Ⅻ)所示：
FoV的时间平滑度如式(XIII)所示：
限制FoV中区块的总码率和平均失真分别不超过设定的阈值和此微调过程如式(XIV)所示：
通过全搜索遍历FoV中所有区块的可用码率等级，求解公式(XIV)，调整FoV内区块码率为满足约束条件且使得值最小的码率，得到最终的区块码率分配方案。
本发明适用于真实网络环境，能够广泛地应用于无线网络360度流媒体视频传输系统中。
本发明的效果可以通过实验进一步说明，实验中与本发明提出的二阶优化分配方法进行对比的有以下三种方法：(1)平均分配方法：一个视频段中的所有区块平均分配可用码率，即一个视频段中区块的优先级相同；(2)自适应分配方法：Niklas Carlsson等人提出的码率分配方法(N.Carlsson,D.Eager,V.Krishnamoorthi,and T.Polishchuk,“Optimized adaptive streaming of multi-video stream bundles,”IEEETrans.Multimedia,vol.19,no.7,pp.1637-1653,Jul.2017.)，该方法优先分配带宽给FoV中的区块，非FoV的区块可能不会被下载，该方法面临用户观看过程中突然改变视角时的播放停顿风险；(3)一阶优化分配方法：本发明提出的不考虑时空平滑度的分配方法，其解即为对比结果如图5、6、7及表1所示：
表1
由表1可知，当用户观看过程中不发生意料之外的视角转换时，本发明为用户提供最高的时空平滑以及较高的QoE，当发生视角转换，本发明为用户提供最高的QoE。

Claims (7)

1.一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法，运行于DASH系统，DASH系统包括服务器和客户端，其特征在于，包括步骤如下：
(1)通过码率自适应算法，综合考虑缓冲长度和视频质量，确定当前视频段下载所需的段码率；
(2)采用高斯模型和齐普夫模型，估计每个视频段开始时的视角，并计算360度视频中所有区块的观看优先级；
(3)通过一种二阶优化方法为区块分配码率。
2.根据权利要求1所述的一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法，其特征在于，所述步骤(1)，通过码率自适应算法，综合考虑缓冲长度和视频质量，确定当前视频段下载所需的段码率，包括步骤如下：
估计当前带宽Tcur，如式(I)所示：
式(I)中，l表示视频段的索引，l∈(1，…，L}；L0表示用来估算带宽的已下载的视频段的个数；t0表示一个视频段的时长；rl和tdownload.l分别表示第l个视频段的下载码率和下载时间；
设定两个缓存阈值bmmin和bmax，根据估计的当前带宽Tcur和当前缓存bcur计算请求视频段的码率当bcur＜bmmin，请求码率低于带宽Tcur；当bmmin≤bcur≤bmax，请求码率等于带宽Tcur；当bcur＞bmax，请求码率高于带宽Tcur，如式(II)所示：
式(II)中ε表示系数，由bmmin、bmax及bcur计算得到，如式(III)所示：
3.根据权利要求l所述的一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法，其特征在于，所述步骤(2)，采用高斯模型和齐普夫模型，估计每个视频段开始时的视角，并计算360度视频中所有区块的观看优先级，包括步骤如下：
A、360度视频在时间上被划分为L个视频段，每个视频段在空间上被划分为N个区块，每个区块被编码为U种码率等级，被存储在服务器端；
B、初始时，即在缓冲区为空时，由用户佩戴的头戴显示器HMD计算视野FoV，此后，对FoV进行估计；
C、服务器端将一个视频段中完整的区块传输给客户端，使用齐普夫模型计算视频段中每个区块的优先级，如式(Ⅳ)所示：
式(Ⅳ)中，c表示预定义的优先级区域，共有五种纹理区域，c∈C，C为五种纹理区域，C＝{c1，c2，c3，c4，c5}，同一纹理区域包含多个区块，πc表示在区域c中的区块数量，不同纹理区域代表不同的优先级，即有五种区块优先级，表示第l个视频段中位于区域c内的第个区块的优先级，计算公式如式(V)所示：
式(V)中，设定dl，c2＝2·dl，c1，dl,c3＝3·dl，c1，dl,c4＝4·dl，c1，dl,c5＝5·dl，c1，dl，c表示区域c与FoV之间的相对距离。
4.根据权利要求3所述的一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法，其特征在于，采用概率模型对FoV进行估计，是指：由视频画面的中央到边缘，被用户选择作为FoV的概率是递减的。
5.根据权利要求l所述的一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法，其特征在于，所述步骤(3)，通过区块码率分配算法区块分配码率，包括步骤如下：
计算视频段l的加权失真，并将其作为目标函数，建立数学模型，如式(VI)所示：
式(VI)中，pl，n、和分别表示第l个视频段中第n个区块的优先级、码率和失真，失真由均方误差表示，根据基于柯西分布的率失真函数，计算失真与码率之间的关系，如式(Ⅶ)所示：
式(Ⅶ)中，αl，n＞0，βl，n＞0，αl，n，βl，n表示第l个视频段中第n个区块对应的率失真模型参数，在视频编码阶段得到各区块不同码率对应不同的失真值之后，通过统计回归计算即得到各区块的αl，n和βl，n值；
有约束的优化问题通过拉格朗日乘数法转换为无约束的优化问题，如式(Ⅷ)所示：
式(Ⅷ)中，J即为需要求解的凸函数；
并由Karush-Kuhn-Tucher条件求解，如式(IX)所示：
式(Ⅷ)、式(IX)中，λ表示拉格朗日乘子；在可选码率中选择数值最接近且不大于的码率作为区块的码率。
6.根据权利要求5所述的一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法，其特征在于，在的基础上微调FoV包含区块的码率，是指：
假设FoV中含有M个区块，0＜M＜N，经求解凸优化问题得到的第l个视频段内位于FoV的第m个区块的码率和失真分别表示为和位于非FoV的区块的码率和失真分别表示为和微调FoV内区块码率，目标函数如式(X)所示：
式(X)中，θ1，θ2和θ3表示加权系数，且满足θ1+θ2+θ3＝1，和分别表示FoV的平均质量，空间平滑度和时间平滑度；
FoV的平均质量计算，如式(XI)所示：
式(XI)中，表示FoV中第m个区块的失真值；
FoV的空间平滑度由FoV中区块的失真标准差表示，如式(XII)所示：
FoV的时间平滑度如式(XIII)所示：
限制FoV中区块的总码率和平均失真分别不超过设定的阈值和此微调过程如式(XIV)所示：
通过全搜索遍历FoV中所有区块的可用码率等级，求解公式(XIV)，调整FoV内区块码率为满足约束条件且使得值最小的码率，得到最终的区块码率分配方案。
7.根据权利要求6所述的一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法，其特征在于，
CN201910499529.5A 2019-06-11 2019-06-11 一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法 Active CN110099294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910499529.5A CN110099294B (zh) 2019-06-11 2019-06-11 一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910499529.5A CN110099294B (zh) 2019-06-11 2019-06-11 一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法

Publications (2)

Publication Number Publication Date
CN110099294A true CN110099294A (zh) 2019-08-06
CN110099294B CN110099294B (zh) 2021-05-07

Family

ID=67450651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910499529.5A Active CN110099294B (zh) 2019-06-11 2019-06-11 一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法

Country Status (1)

Country Link
CN (1) CN110099294B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324768A (zh) * 2020-02-12 2020-06-23 新华智云科技有限公司 一种视频搜索系统和方法
CN114584536A (zh) * 2022-02-22 2022-06-03 重庆大学 一种基于分区率失真建模的360度流媒体传输方法
CN115103186A (zh) * 2022-06-20 2022-09-23 北京大学深圳研究生院 一种码率的控制方法、装置、电子设备及存储介质
CN117156175A (zh) * 2023-10-30 2023-12-01 山东大学 基于视口预测距离控制的全景视频流QoE优化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252687A (zh) * 2008-03-20 2008-08-27 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
US20140355664A1 (en) * 2013-05-31 2014-12-04 Cambridge Silicon Radio Limited Optimizing video transfer
CN108235131A (zh) * 2018-01-30 2018-06-29 重庆邮电大学 一种基于dash的全景视频自适应传输方法
CN108551586A (zh) * 2018-03-14 2018-09-18 上海交通大学 多用户360度视频流服务器端码率自适应分配方法及系统
CN108833880A (zh) * 2018-04-26 2018-11-16 北京大学 利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置
CN109286855A (zh) * 2017-07-19 2019-01-29 北京大学 全景视频的传输方法、传输装置和传输系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252687A (zh) * 2008-03-20 2008-08-27 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
US20140355664A1 (en) * 2013-05-31 2014-12-04 Cambridge Silicon Radio Limited Optimizing video transfer
CN109286855A (zh) * 2017-07-19 2019-01-29 北京大学 全景视频的传输方法、传输装置和传输系统
CN108235131A (zh) * 2018-01-30 2018-06-29 重庆邮电大学 一种基于dash的全景视频自适应传输方法
CN108551586A (zh) * 2018-03-14 2018-09-18 上海交通大学 多用户360度视频流服务器端码率自适应分配方法及系统
CN108833880A (zh) * 2018-04-26 2018-11-16 北京大学 利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324768A (zh) * 2020-02-12 2020-06-23 新华智云科技有限公司 一种视频搜索系统和方法
CN111324768B (zh) * 2020-02-12 2023-07-28 新华智云科技有限公司 一种视频搜索系统和方法
CN114584536A (zh) * 2022-02-22 2022-06-03 重庆大学 一种基于分区率失真建模的360度流媒体传输方法
CN114584536B (zh) * 2022-02-22 2024-03-12 重庆大学 一种基于分区率失真建模的360度流媒体传输方法
CN115103186A (zh) * 2022-06-20 2022-09-23 北京大学深圳研究生院 一种码率的控制方法、装置、电子设备及存储介质
CN117156175A (zh) * 2023-10-30 2023-12-01 山东大学 基于视口预测距离控制的全景视频流QoE优化方法
CN117156175B (zh) * 2023-10-30 2024-01-30 山东大学 基于视口预测距离控制的全景视频流QoE优化方法

Also Published As

Publication number Publication date
CN110099294B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN110099294A (zh) 一种针对360度视频的保持时空一致性的动态自适应流媒体码率分配方法
Sun et al. Flocking-based live streaming of 360-degree video
CN104429041B (zh) 使能够进行平滑质量转换的自适应流感知节点、编码器以及客户端
US10277532B2 (en) Quality management of media encoding for multiple client devices
Park et al. Volumetric media streaming for augmented reality
Sun et al. A two-tier system for on-demand streaming of 360 degree video over dynamic networks
CN107211193B (zh) 感知体验质量估计驱动的智能适应视频流传输方法和系统
CN104096362A (zh) 基于游戏者关注区域改进视频流的码率控制比特分配
CN109891850A (zh) 用于减少360度视区自适应流媒体延迟的方法和装置
US20130304934A1 (en) Methods and systems for controlling quality of a media session
CN108235131A (zh) 一种基于dash的全景视频自适应传输方法
Hamza et al. Adaptive streaming of interactive free viewpoint videos to heterogeneous clients
US10148990B2 (en) Video streaming resource optimization
CN113905221B (zh) 一种立体全景视频非对称传输流自适应方法及系统
CN108200431B (zh) 一种视频编码码率控制帧层比特分配方法
CN112584119B (zh) 一种基于强化学习的自适应全景视频传输方法及系统
CN114731451A (zh) 使用边缘计算系统的视频内容流比特率选择以改进用户体验
Nguyen et al. An evaluation of tile selection methods for viewport-adaptive streaming of 360-degree video
CN115037962A (zh) 视频自适应传输方法、装置、终端设备以及存储介质
Hsu Mec-assisted fov-aware and qoe-driven adaptive 360 video streaming for virtual reality
Zhang et al. A 360 video adaptive streaming scheme based on multiple video qualities
CN116634151A (zh) 视频处理方法、装置、计算机设备、存储介质及程序产品
Haouari et al. Transcoding resources forecasting and reservation for crowdsourced live streaming
WO2014066975A1 (en) Methods and systems for controlling quality of a media session
Tanjung et al. Qoe optimization in dash-based multiview video streaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant