CN112565208A - 一种多用户全景视频协同传输方法、系统及存储介质 - Google Patents

一种多用户全景视频协同传输方法、系统及存储介质 Download PDF

Info

Publication number
CN112565208A
CN112565208A CN202011329406.6A CN202011329406A CN112565208A CN 112565208 A CN112565208 A CN 112565208A CN 202011329406 A CN202011329406 A CN 202011329406A CN 112565208 A CN112565208 A CN 112565208A
Authority
CN
China
Prior art keywords
video
tile
user
layer
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011329406.6A
Other languages
English (en)
Inventor
张小奕
胡欣珏
刘雨
张琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Peng Cheng Laboratory
Original Assignee
Beijing University of Posts and Telecommunications
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications, Peng Cheng Laboratory filed Critical Beijing University of Posts and Telecommunications
Priority to CN202011329406.6A priority Critical patent/CN112565208A/zh
Publication of CN112565208A publication Critical patent/CN112565208A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种多用户全景视频协同传输方法、系统及存储介质，所述方法包括：获取所有设备的全景视频观看信息和用户在未来观看的视场区域内瓦片范围，为每台设备提供设备级别的视频瓦片层重要性排序；将设备级别的视频瓦片层重要性排序结果汇总，根据总的视频瓦片层重要性为群组级别的可伸缩视频编码视频瓦片层排序；确定每一视频瓦片层的下载任务对应的用户，群组设备根据视频层排名列表的顺序依次传输数据，直到下载的视频瓦片层比特率达到了蜂窝网络资源上限；将具有重叠需求的视频瓦片层通过WiFi网络共享。本发明通过合作机制协同传输下载全景视频的重叠部分，以此提高用户体验质量，降低网络资源的消耗。

Description

一种多用户全景视频协同传输方法、系统及存储介质
技术领域
本发明涉及全景视频技术领域，尤其涉及一种多用户全景视频协同传输方法、系统及存储介质。
背景技术
全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看。
全景视频的传输本身就需要大量带宽，随着全景视频市场的快速增长，多用户同时观看全景视频的情形对网络资源提出了极大要求，网络将变得不堪重负，在此情形下，如何节约网络资源并提高用户的QoE(Quality of Experience，体验质量)变得十分重要，现有技术方案很少考虑多个用户的合作协同传输机制，而合作传输的机制将节省大量网络带宽，并提高用户的QoE。
普通视频，即非360度全景视频的协同传输机制得到了大量研究，但这些方案不适用于360度全景视频。目前基于视频瓦片(Tile)的传输方案从空间维度切分360度全景视频为多个瓦片，再将这些瓦片分别压缩编码成具有多个视频码率的版本，设备可以根据当前FOV(Field of View，视场)的范围根据网络带宽自适应地选择视频的质量等级，事实上，用户只接收全部视频在FOV的那部分，这使得已有的普通视频协同传输机制并不适合全景视频。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种多用户全景视频协同传输方法、系统及存储介质，旨在解决现有技术中已有的普通视频协同传输机制并不适合全景视频的问题。
为实现上述目的，本发明提供一种多用户全景视频协同传输方法，所述多用户全景视频协同传输方法包括如下步骤：
获取所有设备的全景视频观看信息和用户在未来观看的视场区域内瓦片范围，为每台设备提供设备级别的视频瓦片层重要性排序；
将设备级别的视频瓦片层重要性排序结果汇总，根据总的视频瓦片层重要性为群组级别的可伸缩视频编码视频瓦片层排序；
确定每一视频瓦片层的下载任务对应的用户，群组设备根据视频层排名列表的顺序依次传输数据，直到下载的视频瓦片层比特率达到了蜂窝网络资源上限；
将具有重叠需求的视频瓦片层通过WiFi网络共享。
可选地，所述的多用户全景视频协同传输方法，其中，所述获取所有设备的全景视频观看信息和用户在未来观看的视场区域内瓦片范围，为每台设备提供设备级别的瓦片层排序，具体包括：
远端视频服务器收集来自空间位置相近的同一群组中所有设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内瓦片范围；
获得对各个可伸缩视频编码视频瓦片层的边际效用并根据潜在的预测失误，分别对每台设备提供一个可伸缩视频编码瓦片层的重要性排序。
可选地，所述的多用户全景视频协同传输方法，其中，所述为每台设备提供设备级别的视频瓦片层重要性排序，具体包括：
在视频服务器端进行视点预测，获取每一个预测用户未来播放的视场区域，得到相关瓦片的索引；
根据视点预测的结果得到视场区域的相关瓦片索引，计算视场区域内的所有视频瓦片层的边际效应，并根据每个瓦片层的边际质量的大小排序，得到一个从大到小的排序队列；
初始化排序计数n＝1，视场区域排序队列总个数N；
计算前n个视频瓦片层的比特率之和；
如果计算的前n个视频瓦片层的比特率之和大于网络带宽，且前n-1个视频瓦片层的比特率之和小于网络带宽，则输出前n-1个瓦片层排序队列；如果N个视频瓦片层的比特率之和小于网络带宽，则暂时保存所有N个视频瓦片层的排序队列；
根据视点预测的结果，得到非视场区域的相关瓦片层索引，在非视场区域，根据每个瓦片层的边际质量大小在先前n个瓦片层之后从大到小排序；
初始化另一个排序计数k＝1，非视场区域排序总个数K；
计算前n+k个视频瓦片层的比特率之和；
如果计算的前n+k个视频瓦片层的比特率之和大于网络带宽，且前n+k-1个视频瓦片层的比特率之和小于网络带宽，则输出前n+k-1个瓦片层排序队列；如果N+K个视频瓦片层的比特率之和小于网络带宽，则输出所有N+K个视频瓦片层的排序队列。
可选地，所述的多用户全景视频协同传输方法，其中，所述为每台设备提供设备级别的视频瓦片层重要性排序，具体包括：
在视频服务器端进行视点预测，获取每一个用户未来播放的视点中心的瓦片位置，并获得翻滚角α、偏航角β和俯仰角γ；
根据翻滚角α、偏航角β和俯仰角γ计算每一个瓦片层与视点中心的球面偏移角度，并作为每一个瓦片层与视点中心的相对距离输出；
将可伸缩视频编码视频层层级和相对距离作为两个维度，将每一个用户的所有视频瓦片层以两个维度为索引生成一个矩阵，获得一个排序队列并输出。
可选地，所述的多用户全景视频协同传输方法，其中，所述将设备级别的视频瓦片层重要性排序结果汇总，根据总的视频瓦片层重要性为群组级别的可伸缩视频编码视频瓦片层排序，具体包括：
在视频服务器端收集所有用户的设别级别瓦片层排序，得到一个设备级别瓦片层排序索引的集合；
根据得到的设备级别瓦片层排序索引的集合，对每一个视频瓦片层统计并计算其重要性；
根据每一个视频瓦片层的重要性，从大到小进行排序，得到群组级别的瓦片层排序队列。
可选地，所述的多用户全景视频协同传输方法，其中，一个视频瓦片层在所有用户上的索引和越小，则平均排列越靠前，其频瓦片层的重要性越高。
可选地，所述的多用户全景视频协同传输方法，其中，所述确定每一视频瓦片层的下载任务对应的用户，群组设备根据视频层排名列表的顺序依次传输数据，直到下载的视频瓦片层比特率达到了蜂窝网络资源上限，具体包括：
在视频服务器端判断每一个设备的时间索引是否为初始时刻，如是，则初始化用户设备的要决策的任务队列，对每一个用户的设备初始化其下载任务队列长度为0；如否，则在视频服务器端获取用户设备的真实下载任务队列长度；
判断所有用户设备的最小任务队列长度是否在预设范围之间，如是，则获取优先级最高的未被分配的可伸缩视频编码瓦片层，随机选择一个满足任务队列小于预设值且对瓦片层排序最前的用户分配任务；如否，则结束用户的任务分配。
可选地，所述的多用户全景视频协同传输方法，其中，优先级最高指的是排列顺序最前面的视频瓦片层。
此外，为实现上述目的，本发明还提供一种系统，其中，所述系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多用户全景视频协同传输程序，所述多用户全景视频协同传输程序被所述处理器执行时实现如上所述的多用户全景视频协同传输方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，其中，所述存储介质存储有多用户全景视频协同传输程序，所述多用户全景视频协同传输程序被处理器执行时实现如上所述的多用户全景视频协同传输方法的步骤。
本发明通过获取所有设备的全景视频观看信息和用户在未来观看的视场区域内瓦片范围，为每台设备提供设备级别的视频瓦片层重要性排序；将设备级别的视频瓦片层重要性排序结果汇总，根据总的视频瓦片层重要性为群组级别的可伸缩视频编码视频瓦片层排序；确定每一视频瓦片层的下载任务对应的用户，群组设备根据视频层排名列表的顺序依次传输数据，直到下载的视频瓦片层比特率达到了蜂窝网络资源上限；将具有重叠需求的视频瓦片层通过WiFi网络共享。本发明通过合作机制协同传输下载全景视频的重叠部分，以此提高用户体验质量，降低网络资源的消耗。
附图说明
图1是本发明多用户全景视频协同传输方法的较佳实施例的流程图；
图2是本发明多用户全景视频协同传输方法的较佳实施例中设备级别的瓦片排序的第一种方案的流程图；
图3是本发明多用户全景视频协同传输方法的较佳实施例中设备级别的瓦片排序的第二种方案的流程图；
图4是本发明多用户全景视频协同传输方法的较佳实施例中群组级别的瓦片排序的流程图；
图5是本发明多用户全景视频协同传输方法的较佳实施例中基于排序的任务下载分配的流程图；
图6为本发明系统的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的多用户全景视频协同传输方法，如图1所示，所述多用户全景视频协同传输方法包括以下步骤：
步骤S10、获取所有设备的全景视频观看信息和用户在未来观看的视场区域内瓦片范围，为每台设备提供设备级别的视频瓦片层重要性排序。
具体地，远端视频服务器收集来自空间位置相近的同一群组中所有设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场(FoV)区域内瓦片范围；获得对各个可伸缩视频编码(SVC，Scalable Video Coding，是视频编码的一种，该技术把视频信号编码成分层的形式，当带宽不足时只对基本层的码流进行传输和解码，但这时解码的视频质量不高，当带宽慢慢变大时，可以传输和解码增强层的码流来提高视频的解码质量)视频瓦片层的边际效用并根据潜在的预测失误，分别对每台设备提供一个可伸缩视频编码(SVC)瓦片层的重要性排序。
进一步地，本发明中，获取设备级的瓦片层排序有如下两种方案：
其中，第一种获取设备级的瓦片层排序的方案如图2所示：
步骤s201：在视频服务器端，首先进行视点预测，得到每一个预测用户未来播放的FoV(视场)区域，得到相关瓦片的索引；
步骤s202：根据视点预测的结果，得到FoV区域的相关瓦片索引，计算FoV区域内的所有视频瓦片层的边际效应，并根据每个瓦片层的边际质量的大小排序，得到一个从大到小的排序队列；
步骤s203：初始化排序计数n＝1，FoV区域排序队列总个数N，其中，n和N均为正整数；
步骤s204：计算前n个视频瓦片层的比特率之和；
步骤s205：如果计算的前n个视频瓦片层的比特率之和大于网络带宽，且前n-1个视频瓦片层的比特率之和小于网络带宽，则输出前n-1个瓦片层排序队列；如果N个视频瓦片层的比特率之和仍小于网络带宽，则暂时保存所有N个视频瓦片层的排序队列；
步骤s206：根据视点预测的结果，得到非FoV区域的相关瓦片层索引，在非FoV区域，根据每个瓦片层的边际质量大小在先前n个瓦片层之后从大到小排序；
步骤s207：初始化另一个排序计数k＝1，非FoV区域排序总个数K，其中，k和K均为正整数；
步骤s208：计算前n+k个视频瓦片层的比特率之和；
步骤s209：如果计算的前n+k个视频瓦片层的比特率之和大于网络带宽，且前n+k-1个视频瓦片层的比特率之和小于网络带宽，则输出前n+k-1个瓦片层排序队列；如果N+K个视频瓦片层的比特率之和仍小于网络带宽，则输出所有N+K个视频瓦片层的排序队列。
其中，第二种获取设备级的瓦片层排序的方案如图3所示：
步骤s301：在视频服务器端，首先进行视点预测，得到每一个用户未来播放的视点中心的瓦片位置，并获得翻滚角(Roll)、偏航角(Yaw)、俯仰角(Pitch)，分别用α，β，γ表示；
步骤s302：利用得到的α，β，γ，计算每一个瓦片层与视点中心的球面偏移角度，并将其作为每一个瓦片层与视点中心的相对距离输出；
步骤s303：将SVC视频层层级和相对距离作为两个维度，把每一个用户的所有视频瓦片层以这两个维度为索引生成一个矩阵，通过之字扫描(Zigzag)的方法获得一个排序队列并输出。
步骤S20、将设备级别的视频瓦片层重要性排序结果汇总，根据总的视频瓦片层重要性为群组级别的可伸缩视频编码视频瓦片层排序。
具体地，如图4所示，所述步骤S20具体包括：
步骤s401：在视频服务器端，首先收集所有用户的设别级别瓦片层排序，得到一个设备级别瓦片层排序索引的集合；
步骤s402：根据得到的设备级别瓦片层排序索引的集合，对每一个视频瓦片层统计，并计算其重要性，一般来说，一个视频瓦片层在所有用户上的索引和越小，即平均排列越靠前，其频瓦片层的重要性越高。
步骤s403：根据每一个视频瓦片层的重要性，从大到小进行排序，得到群组级别的瓦片层排序队列。
步骤S30、确定每一视频瓦片层的下载任务对应的用户，群组设备根据视频层排名列表的顺序依次传输数据，直到下载的视频瓦片层比特率达到了蜂窝网络资源上限。
具体地，如图5所示，所述步骤S30具体包括：
步骤s501：在视频服务器端，首先判断每一个移动设备(即设备)的时间索引是否为初始时刻，如果是，则转到步骤s502，如果不是，则转到步骤s503；
步骤s502：初始化该用户移动设备的要决策的任务队列，对每一个用户的移动设备，初始化其下载任务队列长度为0；
步骤s503：在视频服务器端获取用户的移动设备的真实下载任务队列长度；
步骤s504：判断所有用户的移动设备的最小任务队列长度是否在[1，C](即所述预设范围)之间，其中，C为大于1的自然数，如果是，则转到步骤s505，如果不是，则结束该用户的任务分配；
步骤s505：获取优先级最高的未被分配SVC瓦片层，此处优先级最高指的是排列顺序最前面的视频瓦片层；
步骤s506：随机选择一个满足任务队列小于C(即所述预设值为C)且其对该瓦片层排序最前的用户分配该任务。
步骤S40、将具有重叠需求的视频瓦片层通过WiFi网络共享。
具体地，本地WiFi广播网络通过WiFi网络共享重叠需求的视频瓦片层，并且只有SVC视频层的首位下载者(所有者)才有资格在本地WiFi网络中。
本发明中，考虑到360度全景视频的每一个用户的ROI(region of intresent)需求是整个视频画面区域的一小部分，从群组的角度发掘、预测、统筹多个用户需求之间的公共重叠部分，将其描述为一种基于启发式算法的协同传输机制，该机制包括：SVC(ScalableVideo Coding，可伸缩视频编码)分层编码、设备级别的瓦片排序、群组级别的瓦片排序和基于排序的任务下载分配。
在本发明所述的系统框架中，需要传输的360度全景视频经过瓦片分割，并遵循SVC标准被压缩编码，每一个视频瓦片都被SVC编码器压缩为多个视频层，用户可以灵活根据带宽自适应比特率等级。然后远端视频服务器收集来自群组中所有设备的用户观看信息，通过预测用户在未来对各个SVC视频层的需求并考虑潜在的预测失误，分别为每个用户设备提供一个SVC视频层的排行顺序，之后远端视频服务器将得到的设备级别的视频层排序结果通过计算组合为群组级别的SVC视频层排列顺序，根据群组级别的SVC视频层排列顺序，依次传输相应瓦片，直到消耗所有可用的蜂窝网络带宽资源，接着本地WiFi广播共享网络分享用户瓦片重叠需求部分。
在基于瓦片的机制下，提供一种更加灵活的合作协同传输机制，以在有限网络资源下，尽可能最大化提升用户的QoE(体验质量)，降低网络资源的消耗。
本发明考虑了地理位置上接近的用户同时观看同一全景视频时，多用户的移动设备通过协作机制在有限网络资源约束条件下，提升群组用户的QoE，并且设计的启发式算法具有较快的求解速度，可以达到低延时的传输要求。
进一步地，如图6所示，基于上述多用户全景视频协同传输方法，本发明还相应提供了一种系统，所述系统包括处理器10、存储器20及显示器30。图6仅示出了系统的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述系统的内部存储单元，例如系统的硬盘或内存。所述存储器20在另一些实施例中也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述系统的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述系统的应用软件及各类数据，例如所述安装系统的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有多用户全景视频协同传输程序40，该多用户全景视频协同传输程序40可被处理器10所执行，从而实现本申请中多用户全景视频协同传输方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述多用户全景视频协同传输方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述系统的信息以及用于显示可视化的用户界面。所述系统的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中多用户全景视频协同传输程序40时实现以下步骤：
获取所有设备的全景视频观看信息和用户在未来观看的视场区域内瓦片范围，为每台设备提供设备级别的视频瓦片层重要性排序；
将设备级别的视频瓦片层重要性排序结果汇总，根据总的视频瓦片层重要性为群组级别的可伸缩视频编码视频瓦片层排序；
确定每一视频瓦片层的下载任务对应的用户，群组设备根据视频层排名列表的顺序依次传输数据，直到下载的视频瓦片层比特率达到了蜂窝网络资源上限；
将具有重叠需求的视频瓦片层通过WiFi网络共享。
其中，所述获取所有设备的全景视频观看信息和用户在未来观看的视场区域内瓦片范围，为每台设备提供设备级别的瓦片层排序，具体包括：
远端视频服务器收集来自空间位置相近的同一群组中所有设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内瓦片范围；
获得对各个可伸缩视频编码视频瓦片层的边际效用并根据潜在的预测失误，分别对每台设备提供一个可伸缩视频编码瓦片层的重要性排序。
其中，所述为每台设备提供设备级别的视频瓦片层重要性排序，具体包括：
在视频服务器端进行视点预测，获取每一个预测用户未来播放的视场区域，得到相关瓦片的索引；
根据视点预测的结果得到视场区域的相关瓦片索引，计算视场区域内的所有视频瓦片层的边际效应，并根据每个瓦片层的边际质量的大小排序，得到一个从大到小的排序队列；
初始化排序计数n＝1，视场区域排序队列总个数N；
计算前n个视频瓦片层的比特率之和；
如果计算的前n个视频瓦片层的比特率之和大于网络带宽，且前n-1个视频瓦片层的比特率之和小于网络带宽，则输出前n-1个瓦片层排序队列；如果N个视频瓦片层的比特率之和小于网络带宽，则暂时保存所有N个视频瓦片层的排序队列；
根据视点预测的结果，得到非视场区域的相关瓦片层索引，在非视场区域，根据每个瓦片层的边际质量大小在先前n个瓦片层之后从大到小排序；
初始化另一个排序计数k＝1，非视场区域排序总个数K；
计算前n+k个视频瓦片层的比特率之和；
如果计算的前n+k个视频瓦片层的比特率之和大于网络带宽，且前n+k-1个视频瓦片层的比特率之和小于网络带宽，则输出前n+k-1个瓦片层排序队列；如果N+K个视频瓦片层的比特率之和小于网络带宽，则输出所有N+K个视频瓦片层的排序队列。
其中，所述为每台设备提供设备级别的视频瓦片层重要性排序，具体包括：
在视频服务器端进行视点预测，获取每一个用户未来播放的视点中心的瓦片位置，并获得翻滚角α、偏航角β和俯仰角γ；
根据翻滚角α、偏航角β和俯仰角γ计算每一个瓦片层与视点中心的球面偏移角度，并作为每一个瓦片层与视点中心的相对距离输出；
将可伸缩视频编码视频层层级和相对距离作为两个维度，将每一个用户的所有视频瓦片层以两个维度为索引生成一个矩阵，获得一个排序队列并输出。
其中，所述将设备级别的视频瓦片层重要性排序结果汇总，根据总的视频瓦片层重要性为群组级别的可伸缩视频编码视频瓦片层排序，具体包括：
在视频服务器端收集所有用户的设别级别瓦片层排序，得到一个设备级别瓦片层排序索引的集合；
根据得到的设备级别瓦片层排序索引的集合，对每一个视频瓦片层统计并计算其重要性；
根据每一个视频瓦片层的重要性，从大到小进行排序，得到群组级别的瓦片层排序队列。
其中，一个视频瓦片层在所有用户上的索引和越小，则平均排列越靠前，其频瓦片层的重要性越高。
其中，所述确定每一视频瓦片层的下载任务对应的用户，群组设备根据视频层排名列表的顺序依次传输数据，直到下载的视频瓦片层比特率达到了蜂窝网络资源上限，具体包括：
在视频服务器端判断每一个设备的时间索引是否为初始时刻，如是，则初始化用户设备的要决策的任务队列，对每一个用户的设备初始化其下载任务队列长度为0；如否，则在视频服务器端获取用户设备的真实下载任务队列长度；
判断所有用户设备的最小任务队列长度是否在预设范围之间，如是，则获取优先级最高的未被分配的可伸缩视频编码瓦片层，随机选择一个满足任务队列小于预设值且对瓦片层排序最前的用户分配任务；如否，则结束用户的任务分配。
其中，优先级最高指的是排列顺序最前面的视频瓦片层。
本发明还提供一种存储介质，其中，所述存储介质存储有多用户全景视频协同传输程序，所述多用户全景视频协同传输程序被处理器执行时实现如上所述的多用户全景视频协同传输方法的步骤。
综上所述，本发明提供一种多用户全景视频协同传输方法、系统及存储介质，所述方法包括：获取所有设备的全景视频观看信息和用户在未来观看的视场区域内瓦片范围，为每台设备提供设备级别的视频瓦片层重要性排序；将设备级别的视频瓦片层重要性排序结果汇总，根据总的视频瓦片层重要性为群组级别的可伸缩视频编码视频瓦片层排序；确定每一视频瓦片层的下载任务对应的用户，群组设备根据视频层排名列表的顺序依次传输数据，直到下载的视频瓦片层比特率达到了蜂窝网络资源上限；将具有重叠需求的视频瓦片层通过WiFi网络共享。本发明通过合作机制协同传输下载全景视频的重叠部分，以此提高用户体验质量，降低网络资源的消耗。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种多用户全景视频协同传输方法，其特征在于，所述多用户全景视频协同传输方法包括：
获取所有设备的全景视频观看信息和用户在未来观看的视场区域内瓦片范围，为每台设备提供设备级别的视频瓦片层重要性排序；
将设备级别的视频瓦片层重要性排序结果汇总，根据总的视频瓦片层重要性为群组级别的可伸缩视频编码视频瓦片层排序；
确定每一视频瓦片层的下载任务对应的用户，群组设备根据视频层排名列表的顺序依次传输数据，直到下载的视频瓦片层比特率达到了蜂窝网络资源上限；
将具有重叠需求的视频瓦片层通过WiFi网络共享。
2.根据权利要求1所述的多用户全景视频协同传输方法，其特征在于，所述获取所有设备的全景视频观看信息和用户在未来观看的视场区域内瓦片范围，为每台设备提供设备级别的瓦片层排序，具体包括：
远端视频服务器收集来自空间位置相近的同一群组中所有设备的全景视频观看信息，通过视点预测获取用户在未来观看的视场区域内瓦片范围；
获得对各个可伸缩视频编码视频瓦片层的边际效用并根据潜在的预测失误，分别对每台设备提供一个可伸缩视频编码瓦片层的重要性排序。
3.根据权利要求1所述的多用户全景视频协同传输方法，其特征在于，所述为每台设备提供设备级别的视频瓦片层重要性排序，具体包括：
在视频服务器端进行视点预测，获取每一个预测用户未来播放的视场区域，得到相关瓦片的索引；
根据视点预测的结果得到视场区域的相关瓦片索引，计算视场区域内的所有视频瓦片层的边际效应，并根据每个瓦片层的边际质量的大小排序，得到一个从大到小的排序队列；
初始化排序计数n＝1，视场区域排序队列总个数N；
计算前n个视频瓦片层的比特率之和；
如果计算的前n个视频瓦片层的比特率之和大于网络带宽，且前n-1个视频瓦片层的比特率之和小于网络带宽，则输出前n-1个瓦片层排序队列；如果N个视频瓦片层的比特率之和小于网络带宽，则暂时保存所有N个视频瓦片层的排序队列；
根据视点预测的结果，得到非视场区域的相关瓦片层索引，在非视场区域，根据每个瓦片层的边际质量大小在先前n个瓦片层之后从大到小排序；
初始化另一个排序计数k＝1，非视场区域排序总个数K；
计算前n+k个视频瓦片层的比特率之和；
如果计算的前n+k个视频瓦片层的比特率之和大于网络带宽，且前n+k-1个视频瓦片层的比特率之和小于网络带宽，则输出前n+k-1个瓦片层排序队列；如果N+K个视频瓦片层的比特率之和小于网络带宽，则输出所有N+K个视频瓦片层的排序队列。
4.根据权利要求1所述的多用户全景视频协同传输方法，其特征在于，所述为每台设备提供设备级别的视频瓦片层重要性排序，具体包括：
在视频服务器端进行视点预测，获取每一个用户未来播放的视点中心的瓦片位置，并获得翻滚角α、偏航角β和俯仰角γ；
根据翻滚角α、偏航角β和俯仰角γ计算每一个瓦片层与视点中心的球面偏移角度，并作为每一个瓦片层与视点中心的相对距离输出；
将可伸缩视频编码视频层层级和相对距离作为两个维度，将每一个用户的所有视频瓦片层以两个维度为索引生成一个矩阵，获得一个排序队列并输出。
5.根据权利要求1所述的多用户全景视频协同传输方法，其特征在于，所述将设备级别的视频瓦片层重要性排序结果汇总，根据总的视频瓦片层重要性为群组级别的可伸缩视频编码视频瓦片层排序，具体包括：
在视频服务器端收集所有用户的设别级别瓦片层排序，得到一个设备级别瓦片层排序索引的集合；
根据得到的设备级别瓦片层排序索引的集合，对每一个视频瓦片层统计并计算其重要性；
根据每一个视频瓦片层的重要性，从大到小进行排序，得到群组级别的瓦片层排序队列。
6.根据权利要求5所述的多用户全景视频协同传输方法，其特征在于，一个视频瓦片层在所有用户上的索引和越小，则平均排列越靠前，其频瓦片层的重要性越高。
7.根据权利要求1所述的多用户全景视频协同传输方法，其特征在于，所述确定每一视频瓦片层的下载任务对应的用户，群组设备根据视频层排名列表的顺序依次传输数据，直到下载的视频瓦片层比特率达到了蜂窝网络资源上限，具体包括：
在视频服务器端判断每一个设备的时间索引是否为初始时刻，如是，则初始化用户设备的要决策的任务队列，对每一个用户的设备初始化其下载任务队列长度为0；如否，则在视频服务器端获取用户设备的真实下载任务队列长度；
判断所有用户设备的最小任务队列长度是否在预设范围之间，如是，则获取优先级最高的未被分配的可伸缩视频编码瓦片层，随机选择一个满足任务队列小于预设值且对瓦片层排序最前的用户分配任务；如否，则结束用户的任务分配。
8.根据权利要求7所述的多用户全景视频协同传输方法，其特征在于，优先级最高指的是排列顺序最前面的视频瓦片层。
9.一种系统，其特征在于，所述系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的多用户全景视频协同传输程序，所述多用户全景视频协同传输程序被所述处理器执行时实现如权利要求1-8任一项所述的多用户全景视频协同传输方法的步骤。
10.一种存储介质，其特征在于，所述存储介质存储有多用户全景视频协同传输程序，所述多用户全景视频协同传输程序被处理器执行时实现如权利要求1-8任一项所述的多用户全景视频协同传输方法的步骤。
CN202011329406.6A 2020-11-24 2020-11-24 一种多用户全景视频协同传输方法、系统及存储介质 Pending CN112565208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011329406.6A CN112565208A (zh) 2020-11-24 2020-11-24 一种多用户全景视频协同传输方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011329406.6A CN112565208A (zh) 2020-11-24 2020-11-24 一种多用户全景视频协同传输方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN112565208A true CN112565208A (zh) 2021-03-26

Family

ID=75044945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011329406.6A Pending CN112565208A (zh) 2020-11-24 2020-11-24 一种多用户全景视频协同传输方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112565208A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483920A (zh) * 2017-08-11 2017-12-15 北京理工大学 一种基于多层级质量因子的全景视频评估方法及系统
CN109286855A (zh) * 2017-07-19 2019-01-29 北京大学 全景视频的传输方法、传输装置和传输系统
CN110248212A (zh) * 2019-05-27 2019-09-17 上海交通大学 多用户360度视频流服务器端码率自适应传输方法及系统
US20190320156A1 (en) * 2018-04-15 2019-10-17 Lg Electronics Inc. Multiple-viewpoints related metadata transmission and reception method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109286855A (zh) * 2017-07-19 2019-01-29 北京大学 全景视频的传输方法、传输装置和传输系统
CN107483920A (zh) * 2017-08-11 2017-12-15 北京理工大学 一种基于多层级质量因子的全景视频评估方法及系统
US20190320156A1 (en) * 2018-04-15 2019-10-17 Lg Electronics Inc. Multiple-viewpoints related metadata transmission and reception method and apparatus
CN110248212A (zh) * 2019-05-27 2019-09-17 上海交通大学 多用户360度视频流服务器端码率自适应传输方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张小奕: ""移动视频中协同分发和性能优化方法的研究"", 《中国博士学位论文全文数据库（信息科技辑）》 *

Similar Documents

Publication Publication Date Title
CN108551586B (zh) 多用户360度视频流服务器端码率自适应分配方法及系统
Xie et al. CLS: A cross-user learning based system for improving QoE in 360-degree video adaptive streaming
US20200177939A1 (en) Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
CN108156484B (zh) 利用自适应速率分配优先处理基于图块的虚拟现实视频流
US10594752B2 (en) System and method of managing multiple video players
Chen et al. SR360: Boosting 360-degree video streaming with super-resolution
Sun et al. Flocking-based live streaming of 360-degree video
CN110248212B (zh) 多用户360度视频流服务器端码率自适应传输方法及系统
US9727389B2 (en) Methods and systems for distributed processing on consumer devices
CN110248210B (zh) 视频传输优化方法
US20200413098A1 (en) System and method for segmenting immersive video
CN106454402B (zh) 转码任务调度方法和装置
US11849161B2 (en) Systems, methods and computer-readable media for resource-based allocation of content transmitted in a media network
CN102907093A (zh) 使到视频中的动态信息插入自动化
Hu et al. TVG-streaming: Learning user behaviors for QoE-optimized 360-degree video streaming
Chen et al. Live360: Viewport-aware transmission optimization in live 360-degree video streaming
Sun et al. Live 360 degree video delivery based on user collaboration in a streaming flock
Yahia et al. Http/2-based streaming solutions for tiled omnidirectional videos
Chen et al. Optimized viewport‐adaptive 360‐degree video streaming
CN108777802B (zh) 一种缓存vr视频的方法和装置
Xiao et al. Miniview layout for bandwidth-efficient 360-degree video
CN112565208A (zh) 一种多用户全景视频协同传输方法、系统及存储介质
US10972753B1 (en) Versatile tile coding for multi-view video streaming
US10681433B2 (en) Selective communication of a vector graphics format version of a video content item
CN115605875A (zh) 确定媒体中的感兴趣区域的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210326