CN110266714B - 一种QoE驱动下的VR视频自适应采集与传输方法 - Google Patents

一种QoE驱动下的VR视频自适应采集与传输方法 Download PDF

Info

Publication number
CN110266714B
CN110266714B CN201910579018.4A CN201910579018A CN110266714B CN 110266714 B CN110266714 B CN 110266714B CN 201910579018 A CN201910579018 A CN 201910579018A CN 110266714 B CN110266714 B CN 110266714B
Authority
CN
China
Prior art keywords
video
code rate
branch
formula
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910579018.4A
Other languages
English (en)
Other versions
CN110266714A (zh
Inventor
黎洁
冯燃生
刘志
李奇越
孙伟
张聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910579018.4A priority Critical patent/CN110266714B/zh
Priority to PCT/CN2019/097101 priority patent/WO2020258427A1/zh
Publication of CN110266714A publication Critical patent/CN110266714A/zh
Application granted granted Critical
Publication of CN110266714B publication Critical patent/CN110266714B/zh
Priority to US17/481,211 priority patent/US11831883B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1013—Network architectures, gateways, control or user entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种QoE驱动下的VR视频自适应采集与传输方法，其步骤包括：1、VR视频采集系统中的每个摄像机都拍摄出相同码率等级的原始视频，每个原始视频都被压缩成不同的码率等级；2、服务器为每个原始视频选择一种码率等级进行传输并把所有传输后的原始视频合成一个完整的VR视频；3、服务器再把合成的VR视频进行分块处理，同时把每块视频压缩成不同的质量等级；4、服务器根据反馈信道中的用户实时视角信息、下行信道带宽信息为每个视频块选择一种质量等级和MCS方案，再把每个视频块传输到客户端。本发明能够更好地提高资源利用率，在带宽受限的条件下提高多用户的体验感QoE。

Description

一种QoE驱动下的VR视频自适应采集与传输方法
技术领域
本发明涉及多媒体视频传输领域，具体的说是一种针对VR视频的流媒体自适应采集与传输方法。
背景技术
重庆邮电大学的雒江涛等人发明了一种基于DASH的VR视频自适应传输方法(公开号：CN108235131A),其方法包括：建立三维VR视频与二维平面VR视频的映射关系模型，基于人体视觉和运动特性对VR视频进行区域优先级划分，服务器端将VR视频进行切片化，客户端带宽估计模块利用卡尔曼滤波算法进行预测可用带宽，客户端视频缓存模块基于缓存区状态对可用带宽进行平滑处理，客户端用户视窗感知模块基于运动惯性进行用户视窗预测，客户端决策模块综合考虑用户视窗、网络环境和缓存区状态自适应传输VR视频。但是此种方法并没有考虑到QoE在VR视频传输中的作用，缺少了传输过程中用户的体验质量(QoE)指标，并不能体现传输过程中用户的体验感变化情况。
北京理工大学的费泽松等人发明了一种基于VR终端反馈的自适应编码方法(公开号：CN107529064A)，其方法思想是：通过在传输机制上做出改进，即通过对VR视频分割成多个视角视频，各视角视频信息独立编码传输，再根据终端视角跟踪技术实时传输用户需要的视角视频信息，其他视角低码率传输，在终端将各视角视频拼接成VR视频，再通过终端打分反馈机制使用户得到合适的视角信息，用户的打分指令传输到服务器，服务器根据用户打分映射不同的码率反馈到终端。虽然此种方法考虑了终端视角对于VR视频传输时的反馈作用，但是它忽略了QoE在传输过程中的指导作用，不能提高传输过程中用户的体验感。
河海大学的徐媛媛等人发明了一种VR视频的多描述视频编码方法(公开号：CN107995493A)，其步骤如下：(1)按照接收端设备的视角大小，对VR视频划分为多个空域片段；(2)选择包含用户感兴趣区域的空域片段并对之进行编码，进行片交织，生成相应的两个描述,两个描述各自独立地在网络中传输；(3)在接收端，根据接收到单个描述或同时接收到两个描述的不同情况分别进行解码。此种方法虽然体现了用户感兴趣区域的优先传输，但是它只考虑了VR视频传输过程中的下行传输过程，没有考虑上行传输过程，这样单独优化会降低整个传输系统的整体性能。
湖北工业大学的熊炜等人发明了一种高分辨率VR视频直播拍照系统与方法(公开号：CN108769755A)，该系统包括图像采集模块、流媒体服务器模块和用户终端模块,图像采集模块包括图像采集设备和第一传输模块；流媒体服务器模块包括处理模块、存储模块和第二传输模块；处理模块包括实时拼接单元、视频编码单元和拍照处理单元；存储模块包括存储单元a、存储单元b和存储单元c；用户终端模块包括至少一个用户设备，每个用户设备包括显示模块、用户交互模块和第三传输模块。虽然此方法考虑了VR视频直播的上行传输和下行传输过程，但是它并没有考虑到QoE在VR视频系统中的重要性，并不能提高传输过程中的用户体验质量。
发明内容
本发明是为避免上述现有技术所存在的不足之处，提供一种QoE驱动下的VR视频自适应采集与传输方法，以期能够更好地提高资源利用率，以及在带宽受限条件下提高多用户的体验感QoE。
本发明为解决技术问题采用如下技术方案：
本发明一种QoE驱动下的VR视频自适应采集与传输方法，是应用于由C个摄像机、一个VR视频服务器和N个客户端所组成的网络环境中；所述摄像机和VR视频服务器之间通过上行链路传输，所述VR视频服务器和客户端之间通过下行链路传输；所述下行链路中包含有从客户端到VR视频服务器的反馈信道；其特点是，所述VR视频自适应采集与传输方法是按如下步骤进行：
步骤一、在所述网络环境中，将C个摄像机所拍摄的C个原始视频，记为{V1,V2,...,Vc,...,VC}，Vc表示第c个摄像机拍摄的原始视频，1≤c≤C；
将第c个原始视频Vc压缩成E种码率等级的原始视频，记为
Figure GDA0002370459330000021
Figure GDA0002370459330000022
表示第c个原始视频Vc经过压缩后得到的第e种码率等级的原始视频，1≤e≤E；
步骤二、以N个客户端的质量体验QoE之和所构成的总效用值最大为目标建立目标函数，并设置相应的约束条件，从而建立VR视频自适应采集与传输模型；
步骤三、利用KKT条件和混合分支定界法对所述VR视频自适应采集与传输模型进行求解，得到所述网络环境中上行链路采集决策变量和下行链路传输决策变量；
步骤四、所述VR视频服务器根据上行链路的采集决策变量
Figure GDA0002370459330000023
的值，为第c个摄像机选择第e种码率等级的原始视频，并接收通过上行链路上传的第c个摄像机所选择的第e种码率等级的原始视频，从而使得所述VR视频服务器接收到C个摄像机各自所选择的相应码率等级的原始视频；
步骤五、所述VR视频服务器对C个相应码率等级的原始视频进行缝合和映射处理，从而合成一个完整的VR视频；
步骤六、所述VR视频服务器对完整的VR视频进行分块处理，得到T个视频块，记为{T1,T2,...,Tt,...,TT},Tt表示任意第t个视频块，1≤t≤T；
所述VR视频服务器为第t个视频块Tt提供D种码率选择用于压缩处理，从而得到D种不同码率等级的压缩视频块，记为
Figure GDA0002370459330000031
Figure GDA0002370459330000032
表示第t个视频块Tt经过压缩处理后得到的第d种码率等级的压缩视频块，1≤d≤D；
步骤七、假设所述网络环境中的调制编码方式为{M1,M2,...,Mm,...,MM},Mm表示第m种调制编码方式，1≤m≤M；且所述VR视频服务器为第t个视频块Tt选择第m种调制编码方式；
所述VR视频服务器根据下行链路传输决策变量
Figure GDA0002370459330000033
的值，为任意第n个客户端选择第t个视频块Tt的第d种码率等级的压缩视频块
Figure GDA0002370459330000034
并通过下行链路将所选择的第t个视频块Tt的第d种码率等级的压缩视频块
Figure GDA0002370459330000035
通过第m种调制编码方式传输给第n个客户端；从而使得第n个客户端通过相应的调制编码方式接收到T个视频块的相应码率等级的压缩视频块；
步骤八、所述第n个客户端将所接收到的T个视频块的相应码率等级的压缩视频块进行解码、映射和渲染处理，从而合成QoE优化后的VR视频。
本发明所述的VR视频自适应采集与传输方法的特点是，所述步骤二是按如下过程进行：
步骤2.1、利用式(1)构建目标函数：
Figure GDA0002370459330000036
式(1)表示N个客户端的QoE之和，即系统的总效用值；式(1)中，
Figure GDA0002370459330000037
表示质量等级为d的视频块t的码率；
Figure GDA0002370459330000038
表示视频块t以最高的质量等级D传输时的码率；
Figure GDA0002370459330000039
表示第n个客户端的FoV内所覆盖的视频块；当
Figure GDA00023704593300000310
时，表示第t个视频块以第d种码率等级和第m种调制与编码方案通过下行链路传输到客户端，当
Figure GDA00023704593300000311
时，表示第t个视频块不以第d种码率等级和第m种调制与编码方案通过下行链路传输到客户端；
步骤2.2、利用式(2)-式(7)构建约束条件：
Figure GDA0002370459330000041
Figure GDA0002370459330000042
Figure GDA0002370459330000043
Figure GDA0002370459330000044
Figure GDA0002370459330000045
Figure GDA0002370459330000046
式(2)表示任意第c个摄像机只能选择一种码率等级的原始视频上传到服务器；式(2)中，当
Figure GDA0002370459330000047
时，表示第c个摄像机以第e种码率等级的原始视频上传到服务器，当
Figure GDA0002370459330000048
时，表示第c个摄像机不以第e种码率等级的原始视频上传到服务器；
式(3)表示传输的C个视频的总码率不应当超出整个上行信道的总带宽；式(3)中，BWUL表示上行信道的总带宽值；
式(4)表示任意第t个视频块在质量等级为d通过下行链路传输到客户端时，只能选择一种调制与编码方案；
式(5)表示任意第t个视频块在以第m种调制与编码方案通过下行链路传输到客户端时，所传输的视频块只能选择一种码率等级；
式(6)表示传输的所有视频块的总码率不超过整个下行信道中所有资源块所能提供的比特率；式(6)中，
Figure GDA0002370459330000049
表示当选择第m种调制与编码方案时单个资源块所能提供的比特率；YDL表示下行信道中所有资源块的总数目；
式(7)表示所述网络环境中下行链路中任意第t个视频块的码率不大于上行链路中任意第c个摄像头拍摄的原始视频的码率。
所述步骤三是按如下过程进行：
步骤3.1、对所述VR视频自适应采集与传输模型中的采集决策变量
Figure GDA00023704593300000410
和传输决策变量
Figure GDA0002370459330000051
进行松弛操作，分别得到[0,1]范围内的连续采集决策变量和连续传输决策变量；
步骤3.2、根据式(2)-式(7)的约束条件，将
Figure GDA0002370459330000052
记为函数
Figure GDA0002370459330000053
将
Figure GDA0002370459330000054
记为函数
Figure GDA0002370459330000055
将
Figure GDA0002370459330000056
记为函数
Figure GDA0002370459330000057
将
Figure GDA0002370459330000058
记为函数
Figure GDA0002370459330000059
将
Figure GDA00023704593300000510
记为函数
Figure GDA00023704593300000511
将
Figure GDA00023704593300000512
记为函数
Figure GDA00023704593300000513
从而利用式(8)计算松弛后的VR视频自适应采集与传输模型的拉格朗日函数
Figure GDA00023704593300000514
Figure GDA00023704593300000515
式(8)中，λ表示式(2)-式(7)中等式约束条件的拉格朗日系数，μ表示式(2)-式(7)中不等式约束条件的拉格朗日系数，λ1表示函数
Figure GDA00023704593300000516
的拉格朗日系数，λ2表示函数
Figure GDA00023704593300000517
的拉格朗日系数，λ3表示函数
Figure GDA00023704593300000518
的拉格朗日系数，μ1表示函数
Figure GDA00023704593300000519
的拉格朗日系数，μ2表示函数
Figure GDA00023704593300000520
的拉格朗日系数，μ3表示函数
Figure GDA00023704593300000521
的拉格朗日系数，QoEn表示第n个客户端的质量体验，并有：
Figure GDA00023704593300000522
步骤3.3、根据式(8)的拉格朗日函数
Figure GDA00023704593300000523
得到如式(10)-式(15)所示的松弛后的VR视频自适应采集与传输模型的KKT条件：
Figure GDA00023704593300000524
Figure GDA00023704593300000525
Figure GDA0002370459330000061
Figure GDA0002370459330000062
λ1,λ2,λ3≠0,μ1,μ2,μ3≥0 (14)
Figure GDA0002370459330000063
对式(10)-式(15)进行求解，得到松弛后的VR视频自适应采集与传输模型的最优解χrelax和最优总效用值Zrelax；其中，最优解χrelax包括采集决策变量
Figure GDA0002370459330000064
和传输决策变量
Figure GDA0002370459330000065
的松弛最优解；
步骤3.4、以最优解χrelax和最优总效用值Zrelax作为混合分支定界法的初始输入参数；
步骤3.5、定义所述混合分支定界法中分支次数为k，定义所述混合分支定界法中最优总效用值的下界为L，定义所述混合分支定界法中最优总效用值的上界为U；
步骤3.6、初始化k＝0；
步骤3.7、初始化L＝0；
步骤3.8、初始化U＝Zrelax；
步骤3.9、用χk表示第k次分支的最优解，并将对应的最优总效用值记为Zk，再将χrelax的值赋给χk，并以第k次分支的最优解χk作为根节点；
步骤3.10、判断χk中是否存在不符合0-1约束条件的解，若存在，则将χk中的松弛最优解分为符合0-1约束条件的解和不符合0-1约束条件的解χk(0,1)，并执行步骤3.12；否则，表示χk为非松弛VR视频自适应采集与传输模型的最优解；
步骤3.11、在(0,1)范围内随机产生一个第k次分支的随机数εk，并判断0＜χk(0,1)＜εk是否成立；若成立，则将约束条件“χk(0,1)＝0”加入到非松弛VR视频自适应采集与传输模型中，形成第k次分支的子分支I；否则，则将约束条件“χk(0,1)＝1”加入到非松弛VR视频自适应采集与传输模型中，形成第k次分支的子分支II；
步骤3.12、利用KKT条件求出第k次分支的子分支I和子分支II的松弛解，并作为到第k+1次分支的最优解χk+1和最优总效用值Zk+1，其中χk+1包括：第k+1次分支的子分支I和子分支II的松弛解；
步骤3.13、判断第k+1次分支的最优解χk+1是否符合0-1约束条件，若是，则从所述最优总效用值Zk+1中找出最大值并赋值给L，且χk+1∈{0,1}；否则，从所述最优总效用值Zk+1中找出最大值并赋值给U，且χk+1∈(0,1)；
步骤3.14、判断Zk+1＜L是否成立；如果成立，则剪掉第k+1次分支的最优解χk+1所在的分支，并将k+1赋值给k后，返回步骤3.10；否则，执行步骤3.15；
步骤3.15、判断Zk+1＞L是否成立，如果成立，则将k+1赋值给k后，返回步骤3.10；否则执行步骤3.16；
步骤3.16、判断Zk+1＝L是否成立，若成立，则表示获得非松弛VR视频自适应采集与传输模型的最优解即为第k+1分支的最优解χk+1，并将χk+1赋值给非松弛VR视频自适应采集与传输模型的最优解χ0-1，将χk+1所对应的Zk+1赋值给非松弛VR视频自适应采集与传输模型的最优总效用值Z0-1；否则，将k+1赋值给k后，返回步骤3.10。
与现有技术相比，本发明的有益效果体现在：
1.本发明通过提出VR视频的流媒体自适应采集与传输方法，联合考虑了VR视频的上下行链路传输过程，并以此来整体优化VR视频传输过程中多用户QoE，从而更好地提高了VR视频传输过程中总用户的QoE。
2.本发明将VR视频的流媒体自适应传输与多用户的QoE相结合，提出了一种以系统总用户QoE作为传输指导因素来优化VR视频流媒体的传输方法，从而能更好地指导和优化VR视频的流媒体传输过程。
3.本发明通过应用KKT条件和混合分支定界法对提出的VR视频自适应采集与传输模型进行求解，提高了解法的效率和解的准确性，从而提高了VR视频自适应采集与传输方法的高效性。
附图说明
图1为本发明中所提出的VR视频的流媒体采集与传输方法的应用场景图；
图2为本发明中所提出的自适应采集与传输方法的系统结构图。
具体实施方式
本实施例中，一种QoE驱动下的VR视频自适应采集与传输方法，如图1所示，应用于多用户网络场景中，该网络场景中存在着C个摄像机、VR视频服务器和N个客户端。摄像机和VR视频服务器端之间通过上行链路传输，VR视频服务器和用户端之间通过下行链路传输；下行链路中包含有从用户端到VR视频服务器的反馈信道；反馈信道可以把用户的实时视角信息、下行链路带宽信息反馈给服务器，帮助服务器进行采集与传输工作。如图2所示，该方法具体包括以下步骤：
步骤1、在应用网络场景中，C个摄像机所拍摄的C个原始视频，记为{V1,V2,...,Vc,...,VC}，Vc表示第c个摄像机拍摄的原始视频，1≤c≤C；
然后第c个摄像机拍摄的原始视频Vc在经过压缩之后可以得到E个不同码率等级的原始视频
Figure GDA0002370459330000081
Figure GDA0002370459330000082
表示第c个摄像机Cc拍摄的原始视频Vc经过压缩后得到的第e种码率等级的原始视频,1≤e≤E；
步骤2、根据以N个客户端的质量体验QoE之和所构成的总效用值最大为目标函数，并设置相应的约束条件，从而利用式(1)-式(7)建立VR视频自适应采集与传输模型；
目标函数：
Figure GDA0002370459330000083
式(1)表示N个客户端的QoE之和，即系统的总效用值；式(1)中，
Figure GDA0002370459330000084
表示质量等级为d的视频块t的码率；
Figure GDA0002370459330000085
表示视频块t以最高的质量等级D传输时的码率；
Figure GDA0002370459330000086
表示第n个客户端的FoV内所覆盖的视频块；当
Figure GDA0002370459330000087
时，表示第t个视频块以第d种码率等级和第m种调制与编码方案通过下行链路传输到客户端，当
Figure GDA0002370459330000088
时，表示第t个视频块不以第d种码率等级和第m种调制与编码方案通过下行链路传输到客户端；
约束条件：
Figure GDA0002370459330000089
Figure GDA00023704593300000810
Figure GDA0002370459330000091
Figure GDA0002370459330000092
Figure GDA0002370459330000093
Figure GDA0002370459330000094
式(2)表示任意第c个摄像机只能选择一种码率等级的原始视频上传到服务器；式(2)中，当
Figure GDA0002370459330000095
时，表示第c个摄像机以第e种码率等级的原始视频上传到服务器，当
Figure GDA0002370459330000096
时，表示第c个摄像机不以第e种码率等级的原始视频上传到服务器；
式(3)表示传输的C个视频的总码率不应当超出整个上行信道的总带宽；式(3)中，BWUL表示上行信道的总带宽值；
式(4)表示任意第t个视频块在质量等级为d通过下行链路传输到客户端时，只能选择一种调制与编码方案；
式(5)表示任意第t个视频块在以第m种调制与编码方案通过下行链路传输到客户端时，所传输的视频块只能选择一种码率等级；
式(6)表示传输的所有视频块的总码率不超过整个下行信道中所有资源块所能提供的比特率；式(6)中，
Figure GDA0002370459330000097
表示当选择第m种调制与编码方案时单个资源块所能提供的比特率；YDL表示下行信道中所有资源块的总数目；
式(7)表示网络环境中下行链路中任意第t个视频块的码率不大于上行链路中任意第c个摄像头拍摄的原始视频的码率。
步骤3、利用KKT条件和混合分支定界法对VR视频自适应采集与传输模型进行求解，得到网络环境中上行链路采集决策变量和下行链路传输决策变量；
步骤3.1、对VR视频自适应采集与传输模型中的采集决策变量
Figure GDA0002370459330000098
和传输决策变量
Figure GDA0002370459330000099
进行松弛操作，分别得到[0,1]范围内的连续采集决策变量和连续传输决策变量；
步骤3.2、根据式(2)-式(7)的约束条件，将
Figure GDA00023704593300000910
记为函数
Figure GDA00023704593300000911
将
Figure GDA0002370459330000101
记为函数
Figure GDA0002370459330000102
将
Figure GDA0002370459330000103
记为函数
Figure GDA0002370459330000104
将
Figure GDA0002370459330000105
记为函数
Figure GDA0002370459330000106
将
Figure GDA0002370459330000107
记为函数
Figure GDA0002370459330000108
将
Figure GDA0002370459330000109
记为函数
Figure GDA00023704593300001010
从而利用式(8)计算松弛后的VR视频自适应采集与传输模型的拉格朗日函数
Figure GDA00023704593300001011
Figure GDA00023704593300001012
式(8)中，λ表示式(2)-式(7)中等式约束条件的拉格朗日系数，μ表示式(2)-式(7)中不等式约束条件的拉格朗日系数，λ1表示函数
Figure GDA00023704593300001013
的拉格朗日系数，λ2表示函数
Figure GDA00023704593300001014
的拉格朗日系数，λ3表示函数
Figure GDA00023704593300001015
的拉格朗日系数，μ1表示函数
Figure GDA00023704593300001016
的拉格朗日系数，μ2表示函数
Figure GDA00023704593300001017
的拉格朗日系数，μ3表示函数
Figure GDA00023704593300001018
的拉格朗日系数，QoEn表示第n个客户端的质量体验，并有：
Figure GDA00023704593300001019
步骤3.3、根据式(8)的拉格朗日函数
Figure GDA00023704593300001020
得到如式(10)-式(15)所示的松弛后的VR视频自适应采集与传输模型的KKT条件：
Figure GDA00023704593300001021
Figure GDA00023704593300001022
Figure GDA00023704593300001023
Figure GDA00023704593300001024
λ1,λ2,λ3≠0,μ1,μ2,μ3≥0 (14)
Figure GDA0002370459330000111
式(10)和式(11)表示对拉格朗日函数
Figure GDA0002370459330000112
取极值时的必要条件；式(12)和式(13)表示函数
Figure GDA0002370459330000113
的约束条件；式(14)表示拉格朗日系数λ1,λ2,λ3,μ1,μ2,μ3的约束条件；式(15)表示互补松弛条件。
对式(10)-式(15)进行求解，得到松弛后的VR视频自适应采集与传输模型的最优解χrelax和最优总效用值Zrelax；其中，最优解χrelax包括采集决策变量
Figure GDA0002370459330000114
和传输决策变量
Figure GDA0002370459330000115
的松弛最优解；
步骤3.4、以最优解χrelax和最优总效用值Zrelax作为混合分支定界法的初始输入参数；
步骤3.5、定义该算法中分支次数为k，定义该算法中最优总效用值的下界为L，定义该算法中最优总效用值的上界为U；
确定混合分支定界法的输出参数：
令χ0-1表示非松弛VR视频自适应采集与传输模型的最优解；
令Z0-1表示非松弛VR视频自适应采集与传输模型的最优总效用值；
步骤3.6、初始化k＝0；
步骤3.7、初始化L＝0；
步骤3.8、初始化U＝Zrelax；
步骤3.9、用χk表示第k次分支的最优解，并将对应的最优总效用值记为Zk，再将χrelax的值赋给χk，并以第k次分支的最优解χk作为根节点；
步骤3.10、判断χk中是否存在不符合0-1约束条件的解，若存在，则将χk中的松弛最优解分为符合0-1约束条件的解和不符合0-1约束条件的解χk(0,1)，并执行步骤3.12；否则，表示χk为非松弛VR视频自适应采集与传输模型的最优解；
步骤3.11、在(0,1)范围内随机产生一个第k次分支的随机数εk，并判断0＜χk(0,1)＜εk是否成立；若成立，则将约束条件“χk(0,1)＝0”加入到非松弛VR视频自适应采集与传输模型中，形成第k次分支的子分支I；否则，则将约束条件“χk(0,1)＝1”加入到非松弛VR视频自适应采集与传输模型中，形成第k次分支的子分支II；
步骤3.12、利用KKT条件求出第k次分支的子分支I和子分支II的松弛解，并作为到第k+1次分支的最优解χk+1和最优总效用值Zk+1，其中χk+1包括：第k+1次分支的子分支I和子分支II的松弛解；
步骤3.13、判断第k+1次分支的最优解χk+1是否符合0-1约束条件，若是，则从最优总效用值Zk+1中找出最大值并赋值给L，且χk+1∈{0,1}；否则，从最优总效用值Zk+1中找出最大值并赋值给U，且χk+1∈(0,1)；
步骤3.14、判断Zk+1＜L是否成立；如果成立，则剪掉第k+1次分支的最优解χk+1所在的分支，并将k+1赋值给k后，返回步骤3.10；否则，执行步骤3.15；
步骤3.15、判断Zk+1＞L是否成立，如果成立，则将k+1赋值给k后，返回步骤3.10；否则执行步骤3.16；
步骤3.16、判断Zk+1＝L是否成立，若成立，则表示获得非松弛VR视频自适应采集与传输模型的最优解即为第k+1分支的最优解χk+1，并将χk+1赋值给非松弛VR视频自适应采集与传输模型的最优解χ0-1，将χk+1所对应的Zk+1赋值给非松弛VR视频自适应采集与传输模型的最优总效用值Z0-1；否则，将k+1赋值给k后，返回步骤3.10。
步骤4、VR视频服务器根据上行链路的采集决策变量
Figure GDA0002370459330000121
的值，为第c个摄像机选择第e种码率等级的原始视频，并接收通过上行链路上传的第c个摄像机所选择的第e种码率等级的原始视频，从而使得VR视频服务器接收到C个摄像机各自所选择的相应码率等级的原始视频；
步骤5、VR视频服务器对C个相应码率等级的原始视频进行缝合和映射处理，从而合成一个完整的VR视频；
步骤6、VR视频服务器对完整的VR视频进行分块处理，得到T个视频块，记为{T1,T2,...,Tt,...,TT},Tt表示任意第t个视频块，1≤t≤T；
VR视频服务器为第t个视频块Tt提供D种码率选择用于压缩处理，从而得到D种不同码率等级的压缩视频块，记为
Figure GDA0002370459330000131
Figure GDA0002370459330000132
表示第t个视频块Tt经过压缩处理后得到的第d种码率等级的压缩视频块，1≤d≤D；
步骤7、假设网络环境中的调制编码方式为{M1,M2,...,Mm,...,MM},Mm表示第m种调制编码方式，1≤m≤M；且VR视频服务器为第t个视频块Tt选择第m种调制编码方式；
VR视频服务器根据下行链路传输决策变量
Figure GDA0002370459330000133
的值，为任意第n个客户端选择第t个视频块Tt的第d种码率等级的压缩视频块Tt d，并通过下行链路将所选择的第t个视频块Tt的第d种码率等级的压缩视频块Tt d通过第m种调制编码方式传输给第n个客户端；从而使得第n个客户端通过相应的调制编码方式接收到T个视频块的相应码率等级的压缩视频块；
步骤8、第n个客户端将所接收到的T个视频块的相应码率等级的压缩视频块进行解码、映射和渲染处理，从而合成QoE优化后的VR视频。

Claims (3)

1.一种QoE驱动下的VR视频自适应采集与传输方法，是应用于由C个摄像机、一个VR视频服务器和N个客户端所组成的网络环境中；所述摄像机和VR视频服务器之间通过上行链路传输，所述VR视频服务器和客户端之间通过下行链路传输；所述下行链路中包含有从客户端到VR视频服务器的反馈信道；其特征是，所述VR视频自适应采集与传输方法是按如下步骤进行：
步骤一、在所述网络环境中，将C个摄像机所拍摄的C个原始视频，记为{V1,V2,...,Vc,...,VC}，Vc表示第c个摄像机拍摄的原始视频，1≤c≤C；
将第c个原始视频Vc压缩成E种码率等级的原始视频，记为{Vc 1,Vc 2,...,Vc e,...,Vc E},Vc e表示第c个原始视频Vc经过压缩后得到的第e种码率等级的原始视频，1≤e≤E；
步骤二、以N个客户端的质量体验QoE之和所构成的总效用值最大为目标建立目标函数，并设置相应的约束条件，从而建立VR视频自适应采集与传输模型；
步骤三、利用KKT条件和混合分支定界法对所述VR视频自适应采集与传输模型进行求解，得到所述网络环境中上行链路采集决策变量和下行链路传输决策变量；
步骤四、所述VR视频服务器根据上行链路的采集决策变量
Figure FDA0002370459320000011
的值，为第c个摄像机选择第e种码率等级的原始视频，并接收通过上行链路上传的第c个摄像机所选择的第e种码率等级的原始视频，从而使得所述VR视频服务器接收到C个摄像机各自所选择的相应码率等级的原始视频；
步骤五、所述VR视频服务器对C个相应码率等级的原始视频进行缝合和映射处理，从而合成一个完整的VR视频；
步骤六、所述VR视频服务器对完整的VR视频进行分块处理，得到T个视频块，记为{T1,T2,...,Tt,...,TT},Tt表示任意第t个视频块，1≤t≤T；
所述VR视频服务器为第t个视频块Tt提供D种码率选择用于压缩处理，从而得到D种不同码率等级的压缩视频块，记为{Tt 1,Tt 2,...,Tt d,...,Tt D},Tt d表示第t个视频块Tt经过压缩处理后得到的第d种码率等级的压缩视频块，1≤d≤D；
步骤七、假设所述网络环境中的调制编码方式为{M1,M2,...,Mm,...,MM},Mm表示第m种调制编码方式，1≤m≤M；且所述VR视频服务器为第t个视频块Tt选择第m种调制编码方式；
所述VR视频服务器根据下行链路传输决策变量
Figure FDA0002370459320000012
的值，为任意第n个客户端选择第t个视频块Tt的第d种码率等级的压缩视频块Tt d，并通过下行链路将所选择的第t个视频块Tt的第d种码率等级的压缩视频块Tt d通过第m种调制编码方式传输给第n个客户端；从而使得第n个客户端通过相应的调制编码方式接收到T个视频块的相应码率等级的压缩视频块；
步骤八、所述第n个客户端将所接收到的T个视频块的相应码率等级的压缩视频块进行解码、映射和渲染处理，从而合成QoE优化后的VR视频。
2.根据权利要求1所述的VR视频自适应采集与传输方法，其特征是，所述步骤二是按如下过程进行：
步骤2.1、利用式(1)构建目标函数：
Figure FDA0002370459320000021
式(1)表示N个客户端的QoE之和，即系统的总效用值；式(1)中，
Figure FDA0002370459320000022
表示质量等级为d的视频块t的码率；
Figure FDA0002370459320000023
表示视频块t以最高的质量等级D传输时的码率；
Figure FDA0002370459320000024
表示第n个客户端的FoV内所覆盖的视频块；当
Figure FDA0002370459320000025
时，表示第t个视频块以第d种码率等级和第m种调制与编码方案通过下行链路传输到客户端，当
Figure FDA0002370459320000026
时，表示第t个视频块不以第d种码率等级和第m种调制与编码方案通过下行链路传输到客户端；
步骤2.2、利用式(2)-式(7)构建约束条件：
Figure FDA0002370459320000027
Figure FDA0002370459320000028
Figure FDA0002370459320000029
Figure FDA00023704593200000210
Figure FDA00023704593200000211
Figure FDA0002370459320000031
式(2)表示任意第c个摄像机只能选择一种码率等级的原始视频上传到服务器；式(2)中，当
Figure FDA0002370459320000032
时，表示第c个摄像机以第e种码率等级的原始视频上传到服务器，当
Figure FDA0002370459320000033
时，表示第c个摄像机不以第e种码率等级的原始视频上传到服务器；
式(3)表示传输的C个视频的总码率不应当超出整个上行信道的总带宽；式(3)中，BWUL表示上行信道的总带宽值；
式(4)表示任意第t个视频块在质量等级为d通过下行链路传输到客户端时，只能选择一种调制与编码方案；
式(5)表示任意第t个视频块在以第m种调制与编码方案通过下行链路传输到客户端时，所传输的视频块只能选择一种码率等级；
式(6)表示传输的所有视频块的总码率不超过整个下行信道中所有资源块所能提供的比特率；式(6)中，
Figure FDA0002370459320000034
表示当选择第m种调制与编码方案时单个资源块所能提供的比特率；YDL表示下行信道中所有资源块的总数目；
式(7)表示所述网络环境中下行链路中任意第t个视频块的码率不大于上行链路中任意第c个摄像头拍摄的原始视频的码率。
3.根据权利要求2所述的VR视频自适应采集与传输方法，其特征是，所述步骤三是按如下过程进行：
步骤3.1、对所述VR视频自适应采集与传输模型中的采集决策变量
Figure FDA0002370459320000035
和传输决策变量
Figure FDA0002370459320000036
进行松弛操作，分别得到[0,1]范围内的连续采集决策变量和连续传输决策变量；
步骤3.2、根据式(2)-式(7)的约束条件，将
Figure FDA0002370459320000037
记为函数
Figure FDA0002370459320000038
将
Figure FDA0002370459320000039
记为函数
Figure FDA00023704593200000310
将
Figure FDA00023704593200000311
记为函数
Figure FDA00023704593200000312
将
Figure FDA00023704593200000313
记为函数
Figure FDA00023704593200000314
将
Figure FDA00023704593200000315
记为函数
Figure FDA00023704593200000316
将
Figure FDA00023704593200000317
记为函数
Figure FDA00023704593200000318
从而利用式(8)计算松弛后的VR视频自适应采集与传输模型的拉格朗日函数
Figure FDA0002370459320000041
Figure FDA0002370459320000042
式(8)中，λ表示式(2)-式(7)中等式约束条件的拉格朗日系数，μ表示式(2)-式(7)中不等式约束条件的拉格朗日系数，λ1表示函数
Figure FDA0002370459320000043
的拉格朗日系数，λ2表示函数
Figure FDA0002370459320000044
的拉格朗日系数，λ3表示函数
Figure FDA0002370459320000045
的拉格朗日系数，μ1表示函数
Figure FDA0002370459320000046
的拉格朗日系数，μ2表示函数
Figure FDA0002370459320000047
的拉格朗日系数，μ3表示函数
Figure FDA0002370459320000048
的拉格朗日系数，QoEn表示第n个客户端的质量体验，并有：
Figure FDA0002370459320000049
步骤3.3、根据式(8)的拉格朗日函数
Figure FDA00023704593200000410
得到如式(10)-式(15)所示的松弛后的VR视频自适应采集与传输模型的KKT条件：
Figure FDA00023704593200000411
Figure FDA00023704593200000412
Figure FDA00023704593200000413
Figure FDA00023704593200000414
λ1,λ2,λ3≠0,μ1,μ2,μ3≥0 (14)
Figure FDA00023704593200000415
对式(10)-式(15)进行求解，得到松弛后的VR视频自适应采集与传输模型的最优解χrelax和最优总效用值Zrelax；其中，最优解χrelax包括采集决策变量
Figure FDA00023704593200000416
和传输决策变量
Figure FDA00023704593200000417
的松弛最优解；
步骤3.4、以最优解χrelax和最优总效用值Zrelax作为混合分支定界法的初始输入参数；
步骤3.5、定义所述混合分支定界法中分支次数为k，定义所述混合分支定界法中最优总效用值的下界为L，定义所述混合分支定界法中最优总效用值的上界为U；
步骤3.6、初始化k＝0；
步骤3.7、初始化L＝0；
步骤3.8、初始化U＝Zrelax；
步骤3.9、用χk表示第k次分支的最优解，并将对应的最优总效用值记为Zk，再将χrelax的值赋给χk，并以第k次分支的最优解χk作为根节点；
步骤3.10、判断χk中是否存在不符合0-1约束条件的解，若存在，则将χk中的松弛最优解分为符合0-1约束条件的解和不符合0-1约束条件的解χk(0,1)，并执行步骤3.12；否则，表示χk为非松弛VR视频自适应采集与传输模型的最优解；
步骤3.11、在(0,1)范围内随机产生一个第k次分支的随机数εk，并判断0＜χk(0,1)＜εk是否成立；若成立，则将约束条件“χk(0,1)＝0”加入到非松弛VR视频自适应采集与传输模型中，形成第k次分支的子分支I；否则，则将约束条件“χk(0,1)＝1”加入到非松弛VR视频自适应采集与传输模型中，形成第k次分支的子分支II；
步骤3.12、利用KKT条件求出第k次分支的子分支I和子分支II的松弛解，并作为到第k+1次分支的最优解χk+1和最优总效用值Zk+1，其中χk+1包括：第k+1次分支的子分支I和子分支II的松弛解；
步骤3.13、判断第k+1次分支的最优解χk+1是否符合0-1约束条件，若是，则从所述最优总效用值Zk+1中找出最大值并赋值给L，且χk+1∈{0,1}；否则，从所述最优总效用值Zk+1中找出最大值并赋值给U，且χk+1∈(0,1)；
步骤3.14、判断Zk+1＜L是否成立；如果成立，则剪掉第k+1次分支的最优解χk+1所在的分支，并将k+1赋值给k后，返回步骤3.10；否则，执行步骤3.15；
步骤3.15、判断Zk+1>L是否成立，如果成立，则将k+1赋值给k后，返回步骤3.10；否则执行步骤3.16；
步骤3.16、判断Zk+1＝L是否成立，若成立，则表示获得非松弛VR视频自适应采集与传输模型的最优解即为第k+1分支的最优解χk+1，并将χk+1赋值给非松弛VR视频自适应采集与传输模型的最优解χ0-1，将χk+1所对应的Zk+1赋值给非松弛VR视频自适应采集与传输模型的最优总效用值Z0-1；否则，将k+1赋值给k后，返回步骤3.10。
CN201910579018.4A 2019-06-28 2019-06-28 一种QoE驱动下的VR视频自适应采集与传输方法 Active CN110266714B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910579018.4A CN110266714B (zh) 2019-06-28 2019-06-28 一种QoE驱动下的VR视频自适应采集与传输方法
PCT/CN2019/097101 WO2020258427A1 (zh) 2019-06-28 2019-07-22 一种QoE驱动下的VR视频自适应采集与传输方法
US17/481,211 US11831883B2 (en) 2019-06-28 2021-09-21 QoE-based adaptive acquisition and transmission method for VR video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910579018.4A CN110266714B (zh) 2019-06-28 2019-06-28 一种QoE驱动下的VR视频自适应采集与传输方法

Publications (2)

Publication Number Publication Date
CN110266714A CN110266714A (zh) 2019-09-20
CN110266714B true CN110266714B (zh) 2020-04-21

Family

ID=67923103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910579018.4A Active CN110266714B (zh) 2019-06-28 2019-06-28 一种QoE驱动下的VR视频自适应采集与传输方法

Country Status (3)

Country Link
US (1) US11831883B2 (zh)
CN (1) CN110266714B (zh)
WO (1) WO2020258427A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822512B (zh) * 2021-01-26 2023-01-31 南京邮电大学 一种基于svc视频文件的分层缓存方法
CN112929691B (zh) * 2021-01-29 2022-06-14 复旦大学 多用户全景视频传输方法
CN113115077B (zh) * 2021-03-12 2022-04-26 上海交通大学 一种静态点云服务器码率自适应传输方法及系统
CN113141526B (zh) * 2021-04-27 2022-06-07 合肥工业大学 QoE驱动下的联合资源分配的点云视频自适应传输方法
CN113223681A (zh) * 2021-05-11 2021-08-06 深圳市奋腾科技有限公司 一种基于物联网的医疗智慧园区环境监测系统
CN113329266B (zh) * 2021-06-08 2022-07-05 合肥工业大学 一种基于有限用户视角反馈的全景视频自适应传输方法
CN113395603B (zh) * 2021-06-25 2022-04-01 合肥工业大学 一种基于模型预测控制的点云视频流自适应传输方法
CN113395602B (zh) * 2021-06-25 2022-03-22 合肥工业大学 针对自适应点云视频流媒体中用户体验质量QoE的建模方法
CN114640870B (zh) * 2022-03-21 2023-10-03 陕西师范大学 一种QoE驱动的无线VR视频自适应传输优化方法及系统
CN115988267B (zh) * 2022-12-20 2023-09-15 哈尔滨工业大学（深圳） 一种基于dash的视频码率自适应调整方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222296B (zh) * 2008-01-31 2010-06-09 上海交通大学 上行蜂窝视频通信中自适应的传输方法及系统
US8537699B2 (en) * 2009-06-16 2013-09-17 Qualcomm Incorporated Managing video adaptation algorithms
US9191284B2 (en) * 2010-10-28 2015-11-17 Avvasi Inc. Methods and apparatus for providing a media stream quality signal
US20140044197A1 (en) * 2012-08-10 2014-02-13 Yiting Liao Method and system for content-aware multimedia streaming
US9756142B2 (en) * 2013-03-14 2017-09-05 The Regents Of The University Of California System and method for delivering video data from a server in a wireless network by caching the video data
US20140282792A1 (en) * 2013-03-15 2014-09-18 Cygnus Broadband, Inc. Video streaming with buffer occupancy prediction based quality adaptation
CN103888846B (zh) * 2014-03-04 2017-02-08 浙江大学 基于QoE的无线视频流业务自适应速率控制方法
CN104869651B (zh) * 2015-03-30 2018-06-15 浙江大学 基于QoE的OFDMA网络下行链路资源分配方法
US20180309991A1 (en) * 2016-03-02 2018-10-25 MatrixView, Inc. Video encoding with adaptive rate distortion control by skipping blocks of a lower quality video into a higher quality video
CN105872540A (zh) * 2016-04-26 2016-08-17 乐视控股（北京）有限公司 视频处理的方法及装置
CN106454321A (zh) * 2016-10-26 2017-02-22 深圳市道通智能航空技术有限公司 全景视频的处理方法、装置及系统
US10680927B2 (en) * 2017-08-25 2020-06-09 Advanced Micro Devices, Inc. Adaptive beam assessment to predict available link bandwidth
CN107529064A (zh) 2017-09-04 2017-12-29 北京理工大学 一种基于vr终端反馈的自适应编码方法
CN107995493B (zh) 2017-10-30 2021-03-19 河海大学 一种全景视频的多描述视频编码方法
CN108235131B (zh) 2018-01-30 2020-07-03 重庆邮电大学 一种基于dash的全景视频自适应传输方法
CN108769755A (zh) * 2018-04-27 2018-11-06 湖北工业大学 高分辨率全景视频直播拍照系统与方法

Also Published As

Publication number Publication date
WO2020258427A1 (zh) 2020-12-30
CN110266714A (zh) 2019-09-20
US11831883B2 (en) 2023-11-28
US20220006851A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
CN110266714B (zh) 一种QoE驱动下的VR视频自适应采集与传输方法
CN113329266B (zh) 一种基于有限用户视角反馈的全景视频自适应传输方法
CN108551586B (zh) 多用户360度视频流服务器端码率自适应分配方法及系统
Chakareski et al. Viewport-driven rate-distortion optimized 360º video streaming
Xiao et al. Bas-360: Exploring spatial and temporal adaptability in 360-degree videos over http/2
EP2727344B1 (en) Frame encoding selection based on frame similarities and visual quality and interests
US11159799B2 (en) Encoding a plurality of signals
Park et al. Navigation graph for tiled media streaming
US9961348B2 (en) Rate control for video splicing applications
CN113141526B (zh) QoE驱动下的联合资源分配的点云视频自适应传输方法
Li et al. Qoe-driven coupled uplink and downlink rate adaptation for 360-degree video live streaming
CN106657961B (zh) 立体视频的混合数字-模拟编码
CN113395603B (zh) 一种基于模型预测控制的点云视频流自适应传输方法
Yang et al. QoE-driven resource allocation optimized for delay-sensitive VR video uploading over cellular network
CN117079108A (zh) 一种基于深度估计的云边协同视频流分析方法和装置
CN112106362A (zh) 可移动平台的图像处理方法、装置、可移动平台及介质
Shafi et al. MTC360: A multi-tiles configuration for viewport-dependent 360-degree video streaming
CN1574960A (zh) 网络监视系统、再现终端及监视终端
GB2577521A (en) A method of controlling encoding of display data
CN109218724A (zh) 一种数据编码方法、装置及存储设备和终端设备
CN110708548B (zh) 一种全景视频帧内比特分配的方法
Xu et al. Optimal multi-view video transmission in OFDMA systems
CN116963124A (zh) 一种虚拟现实多用户协作体验质量优化方法
CN113874915A (zh) 视频生成设备及其方法
GB2540204B (en) Rate control of streaming modules sharing a communication channel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant