CN110248212B - 多用户360度视频流服务器端码率自适应传输方法及系统 - Google Patents

多用户360度视频流服务器端码率自适应传输方法及系统 Download PDF

Info

Publication number
CN110248212B
CN110248212B CN201910445463.1A CN201910445463A CN110248212B CN 110248212 B CN110248212 B CN 110248212B CN 201910445463 A CN201910445463 A CN 201910445463A CN 110248212 B CN110248212 B CN 110248212B
Authority
CN
China
Prior art keywords
user
probability
server
slice
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910445463.1A
Other languages
English (en)
Other versions
CN110248212A (zh
Inventor
邹君妮
阚诺文
李成林
熊红凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910445463.1A priority Critical patent/CN110248212B/zh
Publication of CN110248212A publication Critical patent/CN110248212A/zh
Application granted granted Critical
Publication of CN110248212B publication Critical patent/CN110248212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种多用户360度视频流服务器端码率自适应传输方法，在用户端处，将各用户端的网络条件和用户观看信息实时反馈给服务器，并从服务器上下载分配给当前用户的视频流版本；在服务器端处，根据用户端上传的用户观看信息实时预测用户的观看视点变化，同时进行视频帧空间切片可视概率计算，通过用户的实时观看视点计算出每一个空间切片被该用户观看的概率；随后，结合用户的网络条件和空间切片被用户观看的概率，为每一个用户分配合适的视频流码率版本。同时提供了一种多用户360度视频流服务器端码率自适应传输系统。本发明提高了360度视频流传输的带宽利用率，为用户提供更好的视频服务质量。

Description

多用户360度视频流服务器端码率自适应传输方法及系统
技术领域
本发明涉及一种视频通信技术领域的方法，具体的，涉及一种基于视频帧切片可视概率分布的多用户360度视频流服务器端码率自适应传输方法及系统。
背景技术
随着虚拟现实(VR)广泛应用于医疗、教育、文化、安防等领域以及头戴式设备的普及，360度视频这种能够给用户带来极致的身临其境体验以及高自由度的新型媒体形式正在逐渐成为科学研究和移动应用的热点。360度视频通常通过全方向摄像机拍摄得到，其内容是以摄像机为中心的球面上的场景。用户在观看360度视频过程中可以任意改变视角，从而获得个性的观看体验。然而，在当前网络环境下传输360度视频却面临着巨大的挑战，这主要是360度视频巨大的数据量与网络带宽之间的矛盾。
为了解决传输360度视频为网络带宽带来的挑战，基于HTTP的动态自适应流传输(Dynamic Adaptive Streaming Over HTTP，DASH)被应用到360度视频传输中。DASH技术将待传输的视频流切分成一系列的视频片段，每个片段持续一定的时间。每个片段都可以采用多个码率进行编码，以满足用户的不同需求。DASH客户端在请求视频片段时，可以根据当前的网络状况，选择与其带宽最为匹配的码率，以减少视频播放中的停顿和缓冲。由于用户通过HMD观看360度视频，同一时间只能观看部分画面，为了进一步降低传输360度视频的压力，DASH技术还支持视频流在空间域的多分辨率传输，它通过将视频图像沿着水平和垂直方向分割(tiling技术)，形成若干具有一定宽度和高度的小尺寸视频块，即在空间中将视频的每一帧都切成空间切片。根据每个空间切片当前是否处于用户的视野范围内，为每个空间切片选择不同的分辨率进行传输。通过应用空间分割技术，可以将用户观看的区域以高质量传输，而其他区域以低质量传输。
另一方面，用户观看视频期间可以自由运动，由于网络时延、渲染时延等原因，如果直接为用户传输其请求的视频，可能导致用户观看的区域和其请求的区域有差别。因此，为了保证用户的观看质量，还需要结合用户行为预测研究相应的传输策略。
经过对现有技术的检索发现，S.Rossi等人在2017年的《IEEE InternationalWorkshop on Multimedia Signal Processing》会议上发表了题为“Navigation-awareadaptive streaming strategies for omnidirectional video”的文章，该文章利用了视频空间切片技术，进行了动态自适应流策略研究，并提出了一种为每一个空间切片分配下载传输码率的解决方案，以最大化用户的观看体验为目标。但是该文章涉及的应用场景没有考虑用户头部方位的预测，无法适用多用户360度视频流的服务器端码率自适应分配。
经检索还发现，A.Ghost等人2017年在arXiv网站上(arXiv preprint arXiv:1704.08215)发表了题为“A rate adaptation algorithm for tile-based 360-degreevideo streaming”的文章，该文章在给定预测的用户观看视野范围和带宽预测的条件下提出了不同的用户观看体验度量方法，并设计出360度视频流的码率自适应分配算法，但是该文章主要考虑单一用户的情形。
此外，上述工作都是考虑用户端的码率自适应分配，在此类状况下，用户端基于带宽和缓存占用状况决定最佳的空间切片码率分配。当应用于多用户环境时，由于用户之间对带宽的相互竞争，上述方法不能取得最优的用户观看体验。
发明内容
针对现有技术中存在的上述不足，本发明的目的是提供一种基于视频帧切片可视概率分布的多用户360度视频流服务器端码率自适应传输方法及系统。
为了实现以上目的，本发明采用的技术方案是：针对360度视频的用户只能观看视频一部分的特性，将360度视频的画面在空间中切成一个个空间切片以适应用户需求，在将360度视频分为空间切片的基础上，进行一个空间切片的空间可视概率计算。更进一步，基于真实的头部运动轨迹，建立拉普拉斯分布模型来表征视点预测误差的概率，并利用该模型可以更准确地呈现视点预测误差。由以上模型导出每个空间切片的可见性概率，并基于该概率将空间切片划分到不同属性的空间区域以支持基于空间切片的速率适配。在服务器端带宽容量有限以及用户行为预测不能完全准确的情况下，开发一种最优的基于单播的服务器端速率自适应框架，其中多个用户之间的空间切片速率分配优化问题被建模为非线性离散优化问题，旨在最大化多个用户的接收视频质量和视频质量平滑度。本发明提高了360度视频流传输的带宽利用率，为用户提供更好的视频服务质量。
本发明是通过以下技术方案实现的。
根据本发明的第一个方面，提供了一种多用户360度视频流服务器端码率自适应传输方法，包括：
在用户端处，将各用户端的网络条件和用户观看信息实时反馈给服务器，并从服务器上下载分配给当前用户的视频流版本；
在服务器端处，根据用户端上传的用户观看信息实时预测用户的观看视点变化，同时进行视频帧空间切片可视概率计算，通过用户的实时观看视点计算出每一个空间切片被该用户观看的概率；随后，结合用户的网络条件和空间切片被用户观看的概率，为每一个用户分配合适的视频流码率版本；
基于上述内容，采用参数：服务器处得到的360度视频不同码率版本的时间和空间切片组成的全集、服务器端的网络资源限制、用户端的网络资源限制、基于用户观看信息得到的所有用户预测观看视野范围和所有空间切片被观看的概率分布，建立适用于多用户360度视频流的服务器端码率自适应分配的优化问题，采用码率分配方法，得到分配给每个用户端最优的空间切片码率版本子集，该子集即各用户端下载的视频流码率版本。
优选地，所述服务器，使用动态自适应流媒体编码技术将任意一个360度视频文件切分为任意长度的时间切片和任意数目的空间切片，每个时间切片的播放时间长度相同或不相同，每个空间切片有相同或不同的编码码率，并且所有视频文件缓存在服务器中供所有用户端下载。
优选地，所述用户观看信息，包括用户的头部运动轨迹，该信息反馈回服务器后，通过基于卷积神经网络模型的预测算法预测下一时间段的用户头部转动角度范围；
所述视频帧空间切片可视概率计算根据预测的用户头部转动角度范围，通过球面和二维平面的空间几何关系计算出用户观看的画面在二维视频帧平面中的范围，并根据此范围通过基于拉普拉斯分布的用户头部运动预测误差概率模型计算出每一个360度视频帧空间切片被用户观看的概率。
优选地，具体包括：根据球面和其二维投影平面之间的几何关系，由用户头部运动角度计算出用户观看视野在360度视频二维投影平面中的对应视野范围；
采用拉普拉斯分布准确地拟合视点预测误差的分布，根据预测误差的分布概率和二维投影平面的视野范围，计算出每一个视频帧空间切片对应的被用户观看的概率；
基于上述内容，采用参数：用户头部运动状态的三维角度、用户最大观看视野范围在水平和垂直方向跨越的角度、360度视频二维投影平面中的空间切片数目以及尺寸、用户视点预测的误差分布，进行适用于360度视频的视频帧空间切片可视概率计算，获得360度视频二维投影平面中每个视频帧空间切片的被该用户观看的概率。
优选地，所述适用于360度视频的视频帧空间切片可视概率计算，包括：
采用等角投影方法将360度球面视频投影到矩形2-D平面上，引入纬度和经度来表示球面空间和二维投影平面中任意点的位置；根据用户头部转动的角度和最大观看视野范围在纬度线和经度线方向跨越的角度计算出用户能观看到的最西端、最东端、最北端和最南端的四个顶点，表达式为：
假设任意时刻用户头部转动俯仰角、偏航角和滚动角为
Figure GDA0002418781760000041
360度球面视频的球体半径为R，且用户最大观看视野范围在水平和垂直方向跨越的角度分别是α和β，则二维投影平面上用户观看视野范围最西、东边界的经度分别为：
Figure GDA0002418781760000042
Figure GDA0002418781760000043
其中，
Figure GDA0002418781760000044
函数
Figure GDA0002418781760000045
是为了让经度值一直位于区间[-180°,180°]中；最南、北边界纬度分别为：
Figure GDA0002418781760000051
Figure GDA0002418781760000052
其中，
Figure GDA0002418781760000053
Figure GDA0002418781760000054
用户观看范围由上述四个顶点θnm,θsm,
Figure GDA0002418781760000055
唯一确定，即用户观看范围投影到二维平面上即由四条边分别穿过上述四个顶点的矩形区域覆盖，该矩形区域看作用户在二维投影平面上的观看范围；
根据用户矩形区域视野和空间切片的位置关系，通过基于拉普拉斯分布的用户头部运动预测误差概率模型获取每一个空间切片被该用户观看的概率。
优选地，所述基于拉普拉斯分布的用户头部运动预测误差概率模型，包括：设用户头部运动由俯仰角、偏航角和滚动角表示，则用户俯仰角和偏航角的预测误差采用拉普拉斯分布表示为：
Figure GDA0002418781760000056
其中，
Figure GDA0002418781760000057
和Δθ分别表示偏航角和俯仰角的预测误差，尺度参数λθ和
Figure GDA0002418781760000058
在拟合用户真实运动轨迹中获得；
对于任意的空间切片T(m,n)，分别计算它的边界，如下所示，
Figure GDA0002418781760000061
Figure GDA0002418781760000062
其中，二维投影平面上的360度视频画面被划分为M×N个空间切片，T(m,n)表示第m行第n列的空间切片，
Figure GDA0002418781760000063
分别为该空间切片的北边界纬度、南边界纬度、西边界经度、东边界经度。如果用户头部运动的偏航角和俯仰角的预测误差
Figure GDA0002418781760000064
和Δθ满足以下条件，则该空间切片对用户可见：
Figure GDA0002418781760000065
Figure GDA0002418781760000066
其中，θnm,θsm,
Figure GDA0002418781760000067
分别为二维投影平面上用户观看视野范围最北、南边界的维度和最东、西边界经度；空间切片T(m,n)的可视概率可以导出为：
Figure GDA0002418781760000068
第一个积分下限和上限中的函数max{·,-90}和min{·,90}将超出[-90°,90°]范围的值限制分别为-90°和90°；函数
Figure GDA0002418781760000069
让经度值一直位于区间[-180°,180°]中。
根据本发明的第二个方面，提供了一种多用户360度视频流服务器端码率自适应传输系统，包括：
用户端，将各用户端的网络条件和用户观看信息反馈给服务器端，从服务器端上下载分配给当前用户的视频流版本；
服务器端，根据用户端上传的用户观看信息实时预测用户的观看视点变化，空间切片可视概率计算装置通过用户的实时头部运动角度计算出每一个空间切片被该用户观看的概率；随后，码率自适应分配装置结合用户的网络条件和空间切片被用户观看的概率，为每一个用户分配合适的视频流码率版本；
码率分配优化装置，在上述服务器端、用户端的基础上，采用参数：服务器端处得到的360度视频不同码率版本的时间和空间切片组成的全集、服务器端的网络资源限制、用户端的网络资源限制、基于用户观看信息得到的所有用户预测观看视野范围和所有空间切片被观看的概率分布，建立适用于多用户360度视频流的服务器端码率自适应分配的优化问题，采用码率分配方法，得到分配给每个用户端最优的空间切片码率版本子集，该子集即各用户端下载的视频流码率版本。
优选地，所述用户观看信息，包括用户的头部运动轨迹，该信息反馈回服务器后，用户头部运动预测装置通过基于卷积神经网络模型的预测算法，实时预测下一时间段的用户头部转动角度范围。
优选地，所述空间切片可视概率计算装置：
根据球面和其二维投影平面之间的几何关系，由用户头部运动角度计算出用户观看视野在360度视频二维投影平面中的对应视野范围；
采用拉普拉斯分布准确地拟合视点预测误差的分布，根据预测误差的分布概率和二维投影平面的视野范围，计算出每一个视频帧空间切片对应的被用户观看的概率；
基于上述内容，采用参数：用户头部运动状态的三维角度、用户最大观看视野范围在水平和垂直方向跨越的角度、360度视频二维投影平面中的空间切片数目以及尺寸、用户视点预测的误差分布，进行适用于360度视频的视频帧空间切片可视概率计算，获得360度视频二维投影平面中每个视频帧空间切片的被该用户观看的概率。
优选地，所述适用于360度视频的视频帧空间切片可视概率计算，包括：
采用等角投影方法将360度球面视频投影到矩形2-D平面上，引入纬度和经度来表示球面空间和二维投影平面中任意点的位置；
根据用户头部转动的角度和最大观看视野范围在纬度线和经度线方向跨越的角度计算出用户能观看到的最西端、最东端、最北端和最南端的四个顶点，用户观看范围由上述四个顶点唯一确定，即用户观看范围投影到二维平面上即由四条边分别穿过上述四个顶点的矩形区域覆盖，该矩形区域看作用户在二维投影平面上的观看范围；
根据用户矩形区域视野和空间切片的位置关系，通过基于拉普拉斯分布的用户头部运动预测误差概率模型获取每一个空间切片被该用户观看的概率。
与现有技术相比，本发明具有如下的有益效果：
本发明为了适应360度视频传输的需要，提供了一种360度视频多用户服务器端码率自适应传输以及基于拉普拉斯分布的空间切片可视概率计算，提高了服务器端和用户端的网络资源利用率，为用户提供了更佳的视频服务质量。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例的方法流程图；
图2为本发明一实施例用户观看360度视频时空间切片示意图；
图3为本发明一实施例用户观看360度视频时头部运动和视野范围关系示意图。
具体实施方法
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种基于视频帧空间切片可视概率分布的多用户360度视频流服务器端码率自适应传输方法。包括：
在用户端处，将各用户端的网络条件和用户观看信息实时反馈给服务器，并从服务器上下载分配给当前用户的视频流版本；
在服务器端处，根据用户端上传的用户观看信息实时预测用户的观看视点变化，同时进行视频帧空间切片可视概率计算，通过用户的实时观看视点计算出每一个空间切片被该用户观看的概率；随后，结合用户的网络条件和空间切片被用户观看的概率，为每一个用户分配合适的视频流码率版本；
基于上述内容，采用参数：服务器处得到的360度视频不同码率版本的时间和空间切片组成的全集、服务器端的网络资源限制、用户端的网络资源限制、基于用户观看信息得到的所有用户预测观看视野范围和所有空间切片被观看的概率分布，建立适用于多用户360度视频流的服务器端码率自适应分配的优化问题，采用快速高效的码率分配方法，得到分配给每个用户端最优的空间切片码率版本子集，该子集即各用户端下载的视频流版本。
优选地，所述服务器，使用动态自适应流媒体编码技术将任意一个360度视频文件切分为任意长度的时间切片和任意数目的空间切片，每个时间切片的播放时间长度相同或不相同，每个空间切片有相同或不同的编码码率，并且所有视频文件缓存在服务器中供所有用户端下载。
优选地，所述的用户观看信息，可以包括用户的头部运动轨迹，该信息反馈回服务器后，视点预测模块可以通过基于卷积神经网络模型的预测算法预测出用户下一时间端的头部转动角度范围。
优选地，所述视频帧空间切片可视概率计算，根据上述预测地用户头部转动角度范围，系统可以通过球面和二维平面的空间几何关系计算出用户观看的画面在二维视频帧平面中的范围，并根据此范围通过空间切片可视概率计算估计出每一个视频帧空间切片被用户观看的概率。
具体地：
根据球面和其二维投影平面之间的几何关系，可以由用户头部运动角度计算出用户观看视野在360度视频二维投影平面中的对应视野范围；
可以用拉普拉斯分布准确地近似视点预测误差的分布。因此根据预测误差的分布概率和上述二维投影平面的视野范围，可以计算出每一个空间切片对应的被用户观看的概率；
基于上述内容，采用参数：用户头部运动状态的三维角度、用户最大观看视野范围在水平和垂直方向跨越的角度、360度视频二维投影平面中的空间切片数目以及尺寸、用户视点预测的误差分布，进行适用于360度视频帧空间切片可视概率分布的概率计算，获得360度视频二维投影平面中每个空间切片的被该用户观看的概率。
优选地，所述适用于360度视频帧空间切片可视概率分布的概率计算，包括：
可以采用等角投影方法将360度球面视频投影到矩形2-D平面上，引入纬度和经度来表示球面空间和二维投影平面中任意点的位置；
可以根据用户头部转动的角度和最大观看视野范围在水平(即为度线)和垂直(即经度线)方向跨越的角度计算出用户能观看到的最西端，最东端，最北端和最南端的四个顶点，表达式为：
假设任意时刻用户头部转动俯仰角、偏航角和滚动角为
Figure GDA0002418781760000101
360度球面视频的球体半径为R，且用户最大观看视野范围在水平和垂直方向跨越的角度分别是α和β，则二维投影平面上用户观看视野范围最西、东边界的经度分别为：
Figure GDA0002418781760000102
Figure GDA0002418781760000103
其中，
Figure GDA0002418781760000104
函数
Figure GDA0002418781760000105
是为了让经度值一直位于区间[-180°,180°]中；最南、北边界纬度分别为：
Figure GDA0002418781760000106
Figure GDA0002418781760000107
其中，
Figure GDA0002418781760000108
Figure GDA0002418781760000111
用户观看范围可以由上述四个顶点唯一确定，即用户观看范围投影到二维平面上即由四条边分别穿过上述四个顶点的矩形区域覆盖，该矩形区域可以看作用户在二维投影平面上的观看范围；
根据上述用户矩形区域视野和空间切片的位置关系，可以通过基于拉普拉斯分布的用户头部运动预测误差概率模型获取每一个空间切片被该用户观看的概率。
更优选地，假设用户头部运动由俯仰角、偏航角和滚动角表示，则用户俯仰角和偏航角的预测误差可以用拉普拉斯分布表示：
Figure GDA0002418781760000112
其中，
Figure GDA0002418781760000113
和Δθ表示偏航角和俯仰角的预测误差，尺度参数λθ和
Figure GDA0002418781760000114
可以在拟合用户真实运动轨迹中获得；
对于任意的空间切片T(m,n)，可以分别计算它的边界，如下所示，
Figure GDA0002418781760000115
Figure GDA0002418781760000116
其中，二维投影平面上的360度视频画面被划分为M×N个空间切片，T(m,n)表示第m行第n列的空间切片，
Figure GDA0002418781760000117
分别为该空间切片的北边界纬度、南边界纬度、西边界经度、东边界经度。如果用户头部运动的偏航角和俯仰角的预测误差
Figure GDA0002418781760000118
和Δθ满足以下条件，则该空间切片对用户可见：
Figure GDA0002418781760000119
Figure GDA00024187817600001110
其中，θnm,θsm,
Figure GDA00024187817600001111
分别为二维投影平面上用户观看视野范围最北、南边界的维度和最东、西边界经度；空间切片T(m,n)的可视概率可以导出为：
Figure GDA0002418781760000121
第一个积分下限和上限中的函数max{·,-90}和min{·,90}将超出[-90°,90°]范围的值分别限制为-90°和90°；函数
Figure GDA0002418781760000122
让经度值一直位于区间[-180°,180°]中。
优选地，所述服务器端的码率自适应模块根据上述360度视频不同码率版本的时间和空间切片组成的全集、服务器端的网络带宽限制、用户端的网络带宽限制以及每个空间切片被用户观看的概率分布，建立适用于多用户360度视频流的服务器端码率自适应分配的优化问题并进行求解，使得所有用户的视频观看体验最大化。
具体为：
目标优化问题：
Figure GDA0002418781760000123
约束条件：
Figure GDA0002418781760000124
Figure GDA0002418781760000125
Figure GDA0002418781760000126
Figure GDA0002418781760000127
Figure GDA0002418781760000128
Figure GDA0002418781760000129
其中，
Figure GDA00024187817600001210
为用户集合，
Figure GDA00024187817600001211
为空间切片集合，
Figure GDA00024187817600001212
为时间切片集合，定义第t个时间切片中包含下一时刻预测出的用户观看视野范围的空间切片集合为
Figure GDA00024187817600001213
为弥补预测误差，
Figure GDA00024187817600001214
周围一部分区域的空间切片定义为集合
Figure GDA00024187817600001215
用户可能观看到空间切片集合定义为
Figure GDA00024187817600001216
优化变量为：R表示空间切片码率版本向量，具体的，某一个元素Ri,k,t表示第k个用户播放的第t个时间切片中的第i个空间切片的码率版本，定义Pi,k,t为第t个时间切片中第i个空间切片的被第k个用户观看的概率；{R1,R2,…,Rm}为服务器处得到的360度视频不同码率版本的时间和空间切片组成的全集；
定义函数U(·)为效用函数，服务器的网络带宽容量为Bs，用户端k处的网络带宽容量为Bk；
优化目标为：最大化所有用户的预期效用函数之和；
约束条件为：1)网络带宽限制条件，即服务器端带宽约束和用户端带宽约束；2)码率版本限制条件，即码率版本为离散变量，用户不可能观看区域的空间切片保持最低的码率版本，而在最可能观看的区域中，应该尽可能地分配高码率版本并保持码率版本一致；
优选地，所述码率分配方法，具体为：
在为各用户分配每个空间切片具体的码率版本时，采用具有多项式时间复杂度和高近似优化性能的最速梯度上升算法，最终快速高效地得到分配给每个用户最优的空间切片码率版本子集。
本发明实施例同时提供了一种多用户360度视频流服务器端码率自适应传输系统，包括：
用户端，将各用户端的网络条件和用户观看信息反馈给服务器端，从服务器端上下载分配给当前用户的视频流版本；
服务器端，空间切片可视概率计算装置根据用户端上传的用户观看信息实时预测用户的观看视点变化，通过用户的实时观看视点计算出每一个空间切片被该用户观看的概率；随后，码率自适应分配装置结合用户的网络条件和空间切片被用户观看的概率，为每一个用户分配合适的视频流码率版本；
码率分配优化装置，在上述服务器端、用户端的基础上，采用参数：服务器端处得到的360度视频不同码率版本的时间和空间切片组成的全集、服务器端的网络资源限制、用户端的网络资源限制、基于用户观看信息得到的所有用户预测观看视野范围和所有空间切片被观看的概率分布，建立适用于多用户360度视频流的服务器端码率自适应分配的优化问题，采用码率分配方法，得到分配给每个用户端最优的空间切片码率版本子集，该子集即各用户端下载的视频流码率版本。
优选地，所述用户观看信息，包括用户的头部运动轨迹，该信息反馈回服务器后，用户头部运动预测装置通过基于卷积神经网络模型的预测算法，实时预测下一时间段的用户头部转动角度范围。
优选地，所述空间切片可视概率计算装置：
根据球面和其二维投影平面之间的几何关系，由用户头部运动角度计算出用户观看视野在360度视频二维投影平面中的对应视野范围；
采用拉普拉斯分布准确地近似视点预测误差的分布，根据预测误差的分布概率和二维投影平面的视野范围，计算出每一个视频帧空间切片对应的被用户观看的概率；
基于上述内容，采用参数：用户头部运动状态的三维角度、用户最大观看视野范围在水平和垂直方向跨越的角度、360度视频二维投影平面中的空间切片数目以及尺寸、用户视点预测的误差分布，建立适用于360度视频帧空间切片可视概率分布的概率模块进行概率计算，获得360度视频二维投影平面中每个视频帧空间切片的被该用户观看的概率。
优选地，所述适用于360度视频帧空间切片可视概率分布的概率计算，包括：
采用等角投影方法将360度球面视频投影到矩形2-D平面上，引入纬度和经度来表示球面空间和二维投影平面中任意点的位置；
根据用户头部转动的角度和最大观看视野范围在纬度线和经度线方向跨越的角度计算出用户能观看到的最西端、最东端、最北端和最南端的四个顶点，用户观看范围由上述四个顶点唯一确定，即用户观看范围投影到二维平面上即由四条边分别穿过上述四个顶点的矩形区域覆盖，该矩形区域看作用户在二维投影平面上的观看范围；
根据用户矩形区域视野和空间切片的位置关系，通过基于拉普拉斯分布的用户头部运动预测误差概率模型获取每一个空间切片被该用户观看的概率。
下面结合附图，对本发明上述实施例的技术方案进一步详细描述。
如图1所示，为一种多用户360度视频流服务器端码率自适应传输方法的实施流程图，具体实现包括如下步骤：
1、用户头部运动预测装置进行360度视频的动态自适应流媒体切分与编码
以下对多用户360度视频流在服务器端的切分和编码进行实例分析，在本实施例中，假设服务器的网络带宽容量为Bs，服务器中存储的视频文件被切分为F个播放时间长度均为T的时间切片(F为任意大于2的正整数)，记为时间切片集合
Figure GDA0002418781760000141
在每一个时间切片中，将360度视频每一帧又切分为L个相同尺寸的空间切片(L为任意大于2的正整数)，记为空间切片集合
Figure GDA0002418781760000142
如图2所示。
使用动态自适应流媒体编码技术，将任意一个空间切片编码为M个不同码率的版本(M为任意大于2的正整数)，记为空间切片版本集合
Figure GDA0002418781760000151
并且该集合按照编码码率呈降序排列，即R1<R2<…<RM。假设服务器将360度视频内容同时传输至用户集合
Figure GDA0002418781760000152
则第k个用户播放的第t个时间切片中的第i个空间切片的码率可以表示为Ri,k,t。
2、用户头部运动预测装置预测用户观看视频时头部运动状态变化
如图1和图3所示，服务器端的用户头部运动状态预测模块获取所有用户在t时刻观看视频时的头部运动状态，包括俯仰角度θt、偏航角
Figure GDA0002418781760000153
和滚动角ψt，通过由卷积神经网络构建的用户头部运动预测装置预测出未来Δt时间段内用户的头部运动轨迹
Figure GDA0002418781760000154
同时，可以根据预测数据和真实数据拟合的拉普拉斯误差概率分布模型获得预测用户t+1时刻用户俯仰角和偏航角的预测误差：
Figure GDA0002418781760000155
其中，
Figure GDA0002418781760000156
和Δθ表示偏航角和俯仰角的预测误差，尺度参数λθ和
Figure GDA0002418781760000157
可以通过真实实验数据拟合。
3、空间切片可视概率计算装置计算任意用户任意请求的时间切片内每个空间切片的可视概率
如图1所示，假设用户u在t时刻请求下载第f个时间切片，并且，通过用户头部运动预测装置可以得知该用户在下一个时刻的头部运动轨迹和预测误差。则该用户请求的时间切片内的每一个空间切片的可视概率可以由以下步骤计算出：
可视空间切片的位置：360度球面视频投影到矩形二维平面中。为了统一坐标系，引入纬度和经度来表示球面空间和二维投影平面中任意点的位置。假设用户u的视点是
Figure GDA0002418781760000158
即用户的俯仰角和偏航角分别为θt+1和
Figure GDA0002418781760000159
在球形空间中的这个视点具有纬度θt+1和经度
Figure GDA00024187817600001510
如图3(左)所示。而在二维平面中，如图3(右)所示，可以用水平线来表示球面的纬度，而垂直线用来表示经度。此外，假设东半球的经度为正，西半球的经度为负；北半球的纬度设定为正，南半球则为负。在该映射之后，通过预测头部运动可以计算出用户的预测精确观看视野范围和预测的视野估计范围在二维投影平面上的位置。此外，可以近似认为被预测用户视野估计范围覆盖的空间切片即为预测被用户观看的空间切片。
每个空间切片的可视概率：由于步骤2中用户头部运动预测装置存在一定的预测误差，因此在同一个时间切片内，除去上述计算得到的预测被用户观看的空间切片外，其余的空间切片仍然由一定的概率能实际被用户所观看。假设对于任意的空间切片T(m,n)，分别计算它的边界经纬度坐标，如下所示，
Figure GDA0002418781760000161
Figure GDA0002418781760000162
其中，二维投影平面上的360度视频画面被划分为M×N个空间切片，T(m,n)表示第m行第n列的空间切片，
Figure GDA0002418781760000163
分别为该空间切片的北边界纬度、南边界纬度、西边界经度、东边界经度。如果用户头部运动的偏航角和俯仰角的预测误差
Figure GDA0002418781760000164
和Δθ满足以下条件，则该空间切片s对用户可见：
Figure GDA0002418781760000165
Figure GDA0002418781760000166
其中，θnm,θsm,
Figure GDA0002418781760000167
分别为二维投影平面上用户观看视野范围最北、南边界的维度和最东、西边界经度；空间切片T(m,n)的可视概率可以导出为：
Figure GDA0002418781760000168
第一个积分下限和上限中的函数max{·,-90}和min{·,90}将超出[-90°,90°]范围的值分别限制为-90°和90°；函数
Figure GDA0002418781760000169
让经度值一直位于区间[-180°,180°]中。
4、码率自适应分配装置求解每个用户请求的时间切片内所有空间切片的最优码率版本
当任意用户端向服务器端请求下载任意时间切片时，发送的请求信息包括：该用户端当前时刻的网络状况、请求下载的时间切片属性(如属于哪个视频、第几个时间切片)、用户当前时刻的头部运动状态信息等。以上信息被用户头部运动预测装置和空间切片可视概率计算装置进行处理后，码率自适应分配装置将获得的用户端当前时刻的网络状况、请求下载的时间切片属性、每个空间切片的可视概率、不同码率版本的时间和空间切片组成的全集等信息作为输入，随后对该用户所请求的时间切片内的空间切片的码率版本进行最优分配，以达到用户观看360度视频时观看体验的最大化。
本发明上述实施例提供的多用户360度视频流服务器端码率自适应传输方法及系统，基于基于视频帧切片可视概率分布，结合服务器处的动态自适应流媒体技术将360度视频流切分为一连串的视频流时间切片，每一个时间切片又s切分为多个空间切片，每一个空间切片编码为多个不同码率的版本并缓存，同时采用基于卷积神经网络的预测算法预测每个用户的头部运动状态变化并计算任意时间切片内的所有的空间切片的可视概率。随后，服务器端码率自适应分配装置确定各个用户所需下载的视频任意时间切片内的所有空间切片的码率版本，最终实现多用户总体视频观看体验的最大化。本发明提高了360度视频流传输的带宽利用率，为用户提供更好的视频服务质量。
需要说明的是，本发明提供的适用于多用户360度视频流服务器端码率自适应传输方法中的步骤，可以利用所述多用户360度视频流的服务器端码率自适应传输系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种多用户360度视频流服务器端码率自适应传输方法，其特征在于，包括：
在用户端处，将各用户端的网络条件和用户观看信息实时反馈给服务器，并从服务器上下载分配给当前用户的视频流版本；
在服务器端处，根据用户端上传的用户观看信息实时预测用户的观看视点变化，同时进行视频帧空间切片可视概率计算，通过用户的实时头部运动角度计算出每一个空间切片被该用户观看的概率；随后，结合用户的网络条件和空间切片被用户观看的概率，为每一个用户分配合适的视频流码率版本；
基于上述内容，采用参数：服务器处得到的360度视频不同码率版本的时间和空间切片组成的全集、服务器端的网络资源限制、用户端的网络资源限制、基于用户观看信息得到的所有用户预测观看视野范围和所有空间切片被观看的概率分布，建立适用于多用户360度视频流的服务器端码率自适应分配的优化问题，采用码率分配方法，得到分配给每个用户端最优的空间切片码率版本子集，该子集即各用户端下载的视频流码率版本；
所述用户观看信息，包括用户的头部运动轨迹，该信息反馈回服务器后，通过基于卷积神经网络模型的预测算法预测下一时间段的用户头部转动角度范围；
所述视频帧空间切片可视概率计算根据预测的用户头部转动角度范围，通过球面和二维平面的空间几何关系计算出用户观看的画面在二维视频帧平面中的范围，并根据此范围通过基于拉普拉斯分布的用户头部运动预测误差概率模型获取每一个空间切片被该用户观看的概率。
2.根据权利要求1所述的多用户360度视频流服务器端码率自适应传输方法，其特征在于，所述服务器，使用动态自适应流媒体编码技术将任意一个360度视频文件切分为任意长度的时间切片和任意数目的空间切片，每个时间切片的播放时间长度相同或不相同，每个空间切片有相同或不同的编码码率，并且所有视频文件缓存在服务器中供所有用户端下载。
3.根据权利要求1所述的多用户360度视频流服务器端码率自适应传输方法，其特征在于，所述视频帧空间切片可视概率计算，具体包括：
根据球面和其二维投影平面之间的几何关系，根据用户即时头部运动角度实时计算出用户观看视野在360度视频二维投影平面中的对应视野范围；
采用拉普拉斯分布准确地拟合视点预测误差的分布，根据预测误差的分布概率和二维投影平面的视野范围，计算出每一个视频帧空间切片对应的被用户观看的概率；
基于上述内容，采用参数：用户头部运动状态的三维角度、用户最大观看视野范围在水平和垂直方向跨越的角度、360度视频二维投影平面中的空间切片数目以及尺寸、用户视点预测的误差分布，进行适用于360度视频的视频帧空间切片可视概率计算，获得360度视频二维投影平面中每个视频帧空间切片的被该用户观看的概率。
4.根据权利要求3所述的多用户360度视频流服务器端码率自适应传输方法，其特征在于，所述视频帧空间切片可视概率计算，包括：
采用等角投影方法将360度球面视频投影到矩形2-D平面上，引入纬度和经度来表示球面空间和二维投影平面中任意点的位置；根据用户头部转动的角度和最大观看视野范围在纬度线和经度线方向跨越的角度计算出用户能观看到的最西端、最东端、最北端和最南端的四个顶点；
用户观看范围由四个顶点唯一确定，即用户观看范围投影到二维平面上即由四条边分别穿过上述四个顶点的矩形区域覆盖，该矩形区域看作用户在二维投影平面上的观看范围；
根据用户矩形区域视野和空间切片的位置关系，通过基于拉普拉斯分布的用户头部运动预测误差概率模型获取每一个空间切片被该用户观看的概率。
5.根据权利要求4所述的多用户360度视频流服务器端码率自适应传输方法，其特征在于，所述基于拉普拉斯分布的用户头部运动预测误差概率模型，包括：
设用户头部运动由俯仰角、偏航角和滚动角
Figure FDA0002418781750000021
表示，则用户俯仰角和偏航角的预测误差
Figure FDA0002418781750000022
和pθ(Δθ)采用拉普拉斯分布表示为：
Figure FDA0002418781750000023
其中，
Figure FDA0002418781750000024
和Δθ分别表示偏航角和俯仰角的预测误差，尺度参数λθ和
Figure FDA0002418781750000025
在拟合用户真实运动轨迹中获得；
对于任意的空间切片T(m,n)，分别计算它的边界，如下所示，
Figure FDA0002418781750000031
Figure FDA0002418781750000032
其中，二维投影平面上的360度视频画面被划分为M×N个空间切片，T(m,n)表示第m行第n列的空间切片，
Figure FDA0002418781750000033
分别为该空间切片的北边界纬度、南边界纬度、西边界经度、东边界经度；如果用户头部运动的偏航角和俯仰角的预测误差
Figure FDA0002418781750000034
和Δθ满足以下条件，则该空间切片对用户可见：
Figure FDA0002418781750000035
Figure FDA0002418781750000036
其中，θnm,θsm,
Figure FDA0002418781750000037
分别为二维投影平面上用户观看视野范围最北、南边界的维度和最东、西边界经度；空间切片T(m,n)的可视概率可以导出为：
Figure FDA0002418781750000038
第一个积分下限和上限中的函数max{·,-90}和min{·,90}将超出[-90°,90°]范围的值限制分别为-90°和90°；函数
Figure FDA0002418781750000039
让经度值一直位于区间[-180°,180°]中。
6.一种多用户360度视频流服务器端码率自适应传输系统，其特征在于，包括：
用户端，将各用户端的网络条件和用户观看信息反馈给服务器端，从服务器端上下载分配给当前用户的视频流版本；
服务器端，根据用户端上传的用户观看信息实时预测用户的观看视点变化，空间切片可视概率计算装置通过用户的实时头部运动角度计算出每一个空间切片被该用户观看的概率；随后，码率自适应分配装置结合用户的网络条件和空间切片被用户观看的概率，为每一个用户分配合适的视频流码率版本；
码率分配优化装置，在上述服务器端、用户端的基础上，采用参数：服务器端处得到的360度视频不同码率版本的时间和空间切片组成的全集、服务器端的网络资源限制、用户端的网络资源限制、基于用户观看信息得到的所有用户预测观看视野范围和所有空间切片被观看的概率分布，建立适用于多用户360度视频流的服务器端码率自适应分配的优化问题，采用码率分配方法，得到分配给每个用户端最优的空间切片码率版本子集，该子集即各用户端下载的视频流码率版本；
所述空间切片可视概率计算装置：
根据球面和其二维投影平面之间的几何关系，由用户头部运动角度计算出用户观看视野在360度视频二维投影平面中的对应视野范围；
采用拉普拉斯分布准确地拟合视点预测误差的分布，根据预测误差的分布概率和二维投影平面的视野范围，计算出每一个视频帧空间切片对应的被用户观看的概率；
基于上述内容，采用参数：用户头部运动状态的三维角度、用户最大观看视野范围在水平和垂直方向跨越的角度、360度视频二维投影平面中的空间切片数目以及尺寸、用户视点预测的误差分布，进行适用于360度视频的视频帧空间切片可视概率计算，获得360度视频二维投影平面中每个视频帧空间切片的被该用户观看的概率。
7.根据权利要求6所述的多用户360度视频流服务器端码率自适应传输系统，其特征在于，所述用户观看信息，包括用户的头部运动轨迹，该信息反馈回服务器后，用户头部运动预测装置通过基于卷积神经网络模型的预测算法，实时预测下一时间段的用户头部转动角度范围。
8.根据权利要求7所述的多用户360度视频流服务器端码率自适应传输系统，其特征在于，所述适用于360度视频的视频帧空间切片可视概率计算，包括：
采用等角投影方法将360度球面视频投影到矩形2-D平面上，引入纬度和经度来表示球面空间和二维投影平面中任意点的位置；
根据用户头部转动的角度和最大观看视野范围在纬度线和经度线方向跨越的角度计算出用户能观看到的最西端、最东端、最北端和最南端的四个顶点，用户观看范围由上述四个顶点唯一确定，即用户观看范围投影到二维平面上即由四条边分别穿过上述四个顶点的矩形区域覆盖，该矩形区域看作用户在二维投影平面上的观看范围；
根据用户矩形区域视野和空间切片的位置关系，通过基于拉普拉斯分布的用户头部运动预测误差概率模型获取每一个空间切片被该用户观看的概率。
CN201910445463.1A 2019-05-27 2019-05-27 多用户360度视频流服务器端码率自适应传输方法及系统 Active CN110248212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910445463.1A CN110248212B (zh) 2019-05-27 2019-05-27 多用户360度视频流服务器端码率自适应传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910445463.1A CN110248212B (zh) 2019-05-27 2019-05-27 多用户360度视频流服务器端码率自适应传输方法及系统

Publications (2)

Publication Number Publication Date
CN110248212A CN110248212A (zh) 2019-09-17
CN110248212B true CN110248212B (zh) 2020-06-02

Family

ID=67885184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910445463.1A Active CN110248212B (zh) 2019-05-27 2019-05-27 多用户360度视频流服务器端码率自适应传输方法及系统

Country Status (1)

Country Link
CN (1) CN110248212B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112055263B (zh) * 2020-09-08 2021-08-13 西安交通大学 基于显著性检测的360°视频流传输系统
CN112565208A (zh) * 2020-11-24 2021-03-26 鹏城实验室 一种多用户全景视频协同传输方法、系统及存储介质
CN112929691B (zh) * 2021-01-29 2022-06-14 复旦大学 多用户全景视频传输方法
CN112860944B (zh) * 2021-02-05 2023-07-25 北京百度网讯科技有限公司 视频渲染方法、装置、设备、存储介质及计算机程序产品
CN113747184B (zh) * 2021-08-03 2022-10-21 上海交通大学 基于缓冲区位移的低延迟比特率自适应方法、设备及介质
CN116419016A (zh) * 2021-12-30 2023-07-11 中兴通讯股份有限公司 一种码率分配方法、存储方法、装置、设备及存储介质
CN114640851B (zh) * 2022-03-18 2023-06-23 广西昊华科技股份有限公司 基于质量感知的自适应全向视频流的传输方法
WO2023202764A1 (en) * 2022-04-20 2023-10-26 Huawei Technologies Co., Ltd. Reporting of client device view information
CN116320354B (zh) * 2023-01-16 2023-09-29 浙江大学 360度虚拟现实视频用户接入控制系统及控制方法
CN116996661B (zh) * 2023-09-27 2024-01-05 中国科学技术大学 三维视频展示方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340304A (zh) * 2016-09-23 2017-01-18 桂林航天工业学院 一种适用于非平稳噪声环境下的在线语音增强方法
CN108462868A (zh) * 2018-02-12 2018-08-28 叠境数字科技（上海）有限公司 360度全景vr视频中用户凝视点的预测方法
CN108492322A (zh) * 2018-04-04 2018-09-04 南京大学 一种基于深度学习预测用户视场的方法
CN109257584A (zh) * 2018-08-06 2019-01-22 上海交通大学 360度视频传输的用户观看视点序列预测方法
WO2019032511A1 (en) * 2017-08-10 2019-02-14 At & T Intellectual Property I, L. P. DESCENDING CONTROL CHANNEL DECODING FOR 5G WIRELESS COMMUNICATION SYSTEMS

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10687050B2 (en) * 2017-03-10 2020-06-16 Qualcomm Incorporated Methods and systems of reducing latency in communication of image data between devices
WO2018233662A1 (en) * 2017-06-23 2018-12-27 Mediatek Inc. METHOD AND APPARATUS FOR MOTION VECTOR DERIVATIONS IN IMMERSIVE VIDEO CODING
CN108551586B (zh) * 2018-03-14 2020-06-05 上海交通大学 多用户360度视频流服务器端码率自适应分配方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106340304A (zh) * 2016-09-23 2017-01-18 桂林航天工业学院 一种适用于非平稳噪声环境下的在线语音增强方法
WO2019032511A1 (en) * 2017-08-10 2019-02-14 At & T Intellectual Property I, L. P. DESCENDING CONTROL CHANNEL DECODING FOR 5G WIRELESS COMMUNICATION SYSTEMS
CN108462868A (zh) * 2018-02-12 2018-08-28 叠境数字科技（上海）有限公司 360度全景vr视频中用户凝视点的预测方法
CN108492322A (zh) * 2018-04-04 2018-09-04 南京大学 一种基于深度学习预测用户视场的方法
CN109257584A (zh) * 2018-08-06 2019-01-22 上海交通大学 360度视频传输的用户观看视点序列预测方法

Also Published As

Publication number Publication date
CN110248212A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN110248212B (zh) 多用户360度视频流服务器端码率自适应传输方法及系统
US11902493B2 (en) Methods and apparatus for processing content based on viewing information and/or communicating content
Chakareski et al. Viewport-driven rate-distortion optimized 360º video streaming
US20210195212A1 (en) Predicting and verifying regions of interest selections
Chiariotti A survey on 360-degree video: Coding, quality of experience and streaming
CN108551586B (zh) 多用户360度视频流服务器端码率自适应分配方法及系统
CN108156484B (zh) 利用自适应速率分配优先处理基于图块的虚拟现实视频流
EP3516882B1 (en) Content based stream splitting of video data
CN108833880B (zh) 利用跨用户行为模式进行视点预测并实现虚拟现实视频最优化传输的方法和装置
CN106060515B (zh) 全景媒体文件推送方法及装置
Jiang et al. Plato: Learning-based adaptive streaming of 360-degree videos
CN109286855A (zh) 全景视频的传输方法、传输装置和传输系统
Yaqoob et al. A combined field-of-view prediction-assisted viewport adaptive delivery scheme for 360° videos
CN110036640A (zh) 用于支持视频比特流切换的系统和方法
US11159823B2 (en) Multi-viewport transcoding for volumetric video streaming
US20200404241A1 (en) Processing system for streaming volumetric video to a client device
CN115037962A (zh) 视频自适应传输方法、装置、终端设备以及存储介质
Sun et al. Live 360 degree video delivery based on user collaboration in a streaming flock
CN112468806B (zh) 一种用于云vr平台的全景视频传输优化方法
Shafi et al. MTC360: A multi-tiles configuration for viewport-dependent 360-degree video streaming
Peng et al. Viewport-Driven Adaptive 360◦ Live Streaming Optimization Framework
CN114095756B (zh) 基于长期视野预测的自适应全景视频流传输系统及其方法
US20220086470A1 (en) Transcoding ultra-high-definition panoramic videos
CN113115077B (zh) 一种静态点云服务器码率自适应传输方法及系统
Chakareski et al. User navigation modeling, rate-distortion analysis, and end-to-end optimization for viewport-driven 360$^\circ $ video streaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant