CN113395603A - 一种基于模型预测控制的点云视频流自适应传输方法 - Google Patents

一种基于模型预测控制的点云视频流自适应传输方法 Download PDF

Info

Publication number
CN113395603A
CN113395603A CN202110709837.3A CN202110709837A CN113395603A CN 113395603 A CN113395603 A CN 113395603A CN 202110709837 A CN202110709837 A CN 202110709837A CN 113395603 A CN113395603 A CN 113395603A
Authority
CN
China
Prior art keywords
point cloud
gof
group
frames
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110709837.3A
Other languages
English (en)
Other versions
CN113395603B (zh
Inventor
黎洁
王慧宇
李奇越
张聪
王枭
陈勇
彭涛
韩玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110709837.3A priority Critical patent/CN113395603B/zh
Publication of CN113395603A publication Critical patent/CN113395603A/zh
Application granted granted Critical
Publication of CN113395603B publication Critical patent/CN113395603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于模型预测控制的点云视频流自适应传输方法，包括：1.将每帧的点云视频在空间上进行均匀切分，并将每个切块压缩编码成不同质量等级的版本；2.将点云视频序列帧在时间上分组，以帧组为最小单位；3.将不同质量等级的切块储存在服务器中，并生成其描述文件；4.服务器端根据MPC算法，并以构造的QOE作为目标函数，选取下一帧组要下载的合适的质量等级，以保证QOE目标函数尽可能大；5.客户端合适的切块后将其解码，融合，渲染然后即时播放。本发明能够在网络环境波动的情况下有一定的预见性，稳定控制buffer，并减少冻结、频繁的质量切换等严重影响用户观看体验地发生次数，以保证用户观看体验。

Description

一种基于模型预测控制的点云视频流自适应传输方法
技术领域
本发明涉及多媒体视频传输领域，具体的说是一种针对点云视频的流媒体自适应传输方法，适用于在无线网络环境下，优化端到端的点云视频传输流程。
背景技术
基于体积的点云视频是三维影像的一个分支，由于对比其基于图像的另外一个分支，点云有这更小的数据量，更先进的压缩方式，更少的采样相机，占用更小的传输带宽而有较广泛的应用。然而，即便如此，点云视频由于相当于二维传统视频增加一个维度，需要记录点的三维信息，因此其原始数据量大小远远大于传统二维视频。纵使近年来研究点云压缩十分火热，压缩后的点云仍然具有很大的数据量，以及造成客户端需要花费更多时间来进行解码。点云视频流在无线传输方面有较大发展空间，但由于网络环境的波动，导致带宽频繁波动，出现冻结等负面情况，用户观看体验难以达到最大化。
黑莓有限公司的S.拉瑟雷等人，发明了一种对点云进行编码以生成压缩后的点云数据的比特流的方法(公开号：CN112789803A)，其方法包括，所述点云在具有多个节点的树形结构中被定义,所述多个节点具有父子关系并且所述多个节点表示体积空间的几何形状,所述体积空间被递归地拆分成子体积并且包含所述点云的点,其中使用比特序列来指示体积的子体积的占用,其中所述比特序列的每个比特指示相应子体积在所述体积内按扫描顺序的占用,并且其中体积具有多个邻近体积,以产生用于所述比特流的编码数据。但该算法没有将帧间编码考虑进去，只考虑单帧压缩没考虑多帧压缩，从而导致了压缩效率低下。
上海交通大学的徐异凌等人，发明了一种基于3D点云数据的分视角压缩方法及系统。其特征在于,包括如下步骤：发送步骤：从扫描设备获取点云数据,将点云数据中的点进行规则化,生成多路视频,并存放于服务器内；动态传输步骤：根据视角请求,将存放于服务器内的多路视频进行3D重建；根据传输指令,将多路视频构成相应视频组合；接收步骤：根据当前视频组合,对视频组合中的点云数据进行重建,并呈现至播放器中；所述发送步骤包括如下子步骤：点规则化步骤：从扫描设备获取点云数据,采用八叉树结构将点云数据中的点排布在体素中,进而对点云数据进行规则化,生成空间体素；所述高码率版本多路视频的清晰度高于低码率版本多路视频的清晰度。但该系统只考虑的点云的采样，编解码，和融合。但使该方法没有考虑点云传输过程中所需的高带宽，高解码时间对用户实际观看体验造成的影响。
上海交通大学的徐异凌等人，发明了一种点云分视角传输的编码方法，系统及介质。其特征在于，包括：点云片段确定步骤：根据观测视角来确定对应的点云片段,获得一系列被划分到对应视角类别的点云片段；分视角传输编码步骤：根据获得的一系列被划分到对应视角类别的点云片段,采用分视角传输方案,对于需要观测到的视角进行高清晰度的编码传输,对于不需要被观察得到的视角进行较低清晰度的编码传输。但是点云视频的用户的实际视角不一定和观测视角完全匹配，可能使视频观看体验下降，也没有考虑实际应用中网络波动对传输过程造成的影响。
发明内容
本发明是为避免上述现有技术所存在的不足之处，提供一种基于模型预测控制的点云视频流自适应传输方法，以期在网络环境波动的情况下有一定的预见性，减少视频冻结、频繁质量切换等问题出现的次数，使buffer更稳定，从而保证在各种条件和约束下最大化用户地观看体验QOE。
本发明为解决技术问题采用如下技术方案：
本发明一种基于模型预测控制的点云视频流自适应传输方法，是应用在点云视频服务器和点云播放客户端所组成的网络环境中；所述点云视频服务器和点云播放客户端之间是通过下行链路传输；所述下行链路中包含从点云播放客户端到点云视频服务器的反馈信道；其特点是，所述点云视频自适应传输方法按如下步骤进行：
步骤一、将整个点云视频在时间上均等划分为K个帧组，记为{GOF1,GOF2,...,GOFk,...,GOFK}，其中，GOFk表示点云视频中的第k个帧组，且1≤k≤K；
将第k个帧组GOFk在空间上均匀切分为C＝a1×a2×a3尺寸的切块，并得到切块集合记为{BLOCKk,1,BLOCKk,2,...,BLOCKk,c,...,BLOCKk,C}，其中，BLOCKk,c表示第k个帧组GOFk的第c个切块，1≤c≤C；a1,a2,a3分别为切块长、宽、高；
将第c个切块BLOCKk,c压缩成L种不同码率等级的切块，得到压缩后的切块集合记为{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}，其中，Ik,c,l表示第k个帧组GOFk中第c个切块BLOCKk,c压缩得到的第l种码率等级的切块，从而得到所有切块的压缩后的切块集合并储存在点云视频服务器中；1≤l≤L；
将第c个切块BLOCKk,c压缩后的切块集合{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}所包含的点数的集合记为{Pk,c,1,Pk,c,2,...,Pk,c,l,...,Pk,c,L}，其中，Pk,c,L表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l所包含的点数；
将第c个切块BLOCKk,c压缩后的切块集合{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}所包含的数据量的集合记为{Sk,c,1,Sk,c,2,...,Sk,c,l,...,Sk,c,L}，其中，Sk,c,l表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l的数据量大小；
将第c个切块BLOCKk,c压缩后的切块集合{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}的解码时间的集合记为{Ck,c,1,Ck,c,2,...,Ck,c,l,...,Ck,c,L}，其中，Ck,c,l表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l所需的解码时间；
将每个帧组下载过程的平均带宽集合记为{B1,B2,...,Bk...,BK}，其中，Bk表示第k个帧组GOFk下载过程中的平均带宽；
步骤二、计算每个码率的切块的客观质量；
步骤三、建立最优目标函数及其约束条件并作为用户观看体验模型；
步骤四、使用模型预测控制方法对所述用户观看体验模型求解，获得当前环境参数下的下行传输决策变量，并传输至点云视频服务器；
步骤五、所述点云服务器将对应下行传输决策变量的点云切块传输到点云播放客户端，点云播放客户端下载、解码并融合后，送入缓冲区以在VR头盔中播放。
本发明所述的点云视频流自适应传输方法的特点也在于，所述步骤二是按照如下过程进行：
步骤2.1、将第k个帧组GOFk的第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l记为退化点云V′，将k个帧组GOFk的第c个切块BLOCKk,c记为参考点云V；
步骤2.2、将参考点云V中包含的点的集合记为
Figure BDA0003133108920000031
其中，NV表示参考点云V中包含的点的数量；Vn表示参考点云V中的第n个点，1≤n≤NV；
步骤2.3、将退化点云V′中包含的点的集合记为
Figure BDA0003133108920000032
其中，N′V表示退化点云V′中包含的点的数量；V′n′表示参考点云V中的第n′个点，1≤n′≤N′V；
步骤2.4、找到参考点云V中与退化点云V′中的第n′个点V′n′的最邻近点，并将两点之间的距离作为从退化点云V′到参考点云V的误差向量dV′,V(n′)；
找到退化点云V′中与参考点云V中的第n个点Vn的最邻近点，并将两点之间的距离作为从参考点云V到退化点云V′的误差向量dV,V′(n)；
步骤2.5、利用式(2-1)和式(2-2)分别计算从退化点云V′到参考点云V的均方根距离
Figure BDA0003133108920000041
和从参考点云V到退化点云V′的均方根距离
Figure BDA0003133108920000042
Figure BDA0003133108920000043
Figure BDA0003133108920000044
步骤2.6、利用式(2-3)和式(2-4)分别计算从退化点云V′到参考点云V的Haus距离
Figure BDA0003133108920000045
和从参考点云V到退化点云V′的Haus距离
Figure BDA0003133108920000046
Figure BDA0003133108920000047
Figure BDA0003133108920000048
步骤2.7、利用式(2-5)和式(2-6)分别计算均方根距离和Haus距离距离分别在两个方向上的最大值
Figure BDA0003133108920000049
和
Figure BDA00031331089200000410
Figure BDA00031331089200000411
Figure BDA00031331089200000412
步骤2.8、利用式(2-7)-式(2-9)分别计算从退化点云V′到参考点云V的亮度均方差MSEy、色度的均方差MSEu和饱和度的均方差MSEv：
Figure BDA00031331089200000413
Figure BDA00031331089200000414
Figure BDA00031331089200000415
式(2-7)-式(2-9)中，
Figure BDA00031331089200000416
分别表示退化点云V′中第n′个点的亮度值，色度值和饱和度值；
Figure BDA00031331089200000417
分别表示参考点云V中距离退化点云V′的第n′个点最邻近点的亮度值，色度值和饱和度值；
步骤2.9、利用式(2-10)计算总均方误差AMSE：
Figure BDA0003133108920000051
步骤2.10、利用式(2-11)得到第k个帧组GOFk的第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l的客观质量qk,c,l：
Figure BDA0003133108920000052
式(2-11)中，MAXI表示第k个帧组GOFk的第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l中像素点颜色的最大数值。
所述步骤三是按照如下过程进行：
步骤3.1、利用式(3-1)构建目标函数
Figure BDA0003133108920000053
Figure BDA0003133108920000054
xk,c,l∈[0,1]
s.t.
Figure BDA0003133108920000055
bfk∈[0,bfmax]
式(3-1)中，xk,c,l是决策变量，当xk,c,l＝1时，表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l传输，当xk,c,l＝0时，表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l不传输，bfk表示开始下载第k个帧组GOFk时的缓冲区容量，bfmax表示缓冲区容量最大值，QOEk表示第k个帧组GOFk的用户观看体验值，并有：
QOEk＝w1×Qualityk-w2×Pausek-w3×Quality_switchk (3-2)
式(2-2)中，w1,w2,w3为三个权重，Qualityk表示第k个帧组GOFk的点云客观质量，Pausek表示第k个帧组GOFk的暂停时间，Quality_switchk表示第k个帧组GOFk的质量切换，并有：
Figure BDA0003133108920000056
Figure BDA0003133108920000061
Figure BDA0003133108920000062
式(3-3)中，fovk,c用于表示第k个帧组GOFk的第c个切块BLOCKk,c在用户视角内的可见性，当fovk,c＝1时，表示第k个帧组GOFk的第c个切块BLOCKk,c在第k个帧组GOFk播放时的用户视角内可见，当fovk,c＝0时，表示第k个帧组GOFk的第c个切块BLOCKk,c在第k个帧组GOFk播放时的用户视角内不可见；qk,c,l表示第k个帧组GOFk的第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l的客观质量；
式(3-5)中，Dk,c表示第k个帧组GOFk的第c个切块BLOCKk,c的距离权重，且
Figure BDA0003133108920000063
Boundingboxsizek,c表示k个帧组GOFk的第c个切块BLOCKk,c所在点云空间的对角线长度，Disk,c表示观看者视点位置到第c个切块BLOCKk,c的距离。
所述步骤3.1中的缓冲区容量bfk是利用式(4-1)进行计算：
bfk＝Tpl+max(bfk-1-Tdwk-1-Tdck-1,0) (4-1)
式(4-1)中，Tpl表示每个帧组的播放时间，并有Tpl＝f/fps，f表示一个帧组的帧数，fps表示每秒播放的帧数，当k＝1时，初始化缓冲区容量bfk-1＝0.5，Tdwk-1表示第k-1个帧组GOFk-1总共所需的下载时间，并有：
Figure BDA0003133108920000064
式(4-1)中，Tdck-1表示第k-1个帧组GOFk-1总共所需的解码时间，并有：
Figure BDA0003133108920000065
式(4-2)和式(4-3)中，t1,t2,t3代表解码时间拟合参数；当k＝1时，初始化xk-1,c,l，Sk-1,c,l和Pk-1,c,l均为全0二维数组，初始化fovk-1,c为全0一维数组，Bk-1为0。
所述步骤四是按照如下过程进行：
步骤5.1、利用式(5-1)构造传输模型
Figure BDA0003133108920000071
Figure BDA0003133108920000072
xk,c,l∈[0,1]
s.t.
Figure BDA0003133108920000073
bfk∈[0,bfmax]
式(5-1)中，N为所设定的窗口的长度；i表示当前求解的决策变量xk,c,l对应的帧组序号；
步骤5.2、初始化i＝1；
步骤5.3、读取当前帧组序号i对应的网络带宽Bi和第i个帧组的用户视角fovi；
步骤5.4、对第i个帧组之后的未来N-1个帧组的网络带宽{Bi+1,Bi+2,...,Bi+N-1}和用户视角{fovi+1,fovi+2,...,fovi+N-1}进行预测，得到未来N-1个带宽预测值
Figure BDA0003133108920000074
和未来N-1组的视角预测值
Figure BDA0003133108920000075
并将
Figure BDA0003133108920000076
赋值给{Bi+1,Bi+2,...,Bi+N-1}，
Figure BDA0003133108920000077
赋值给{fovi+1,fovi+2,...,fovi+N-1}；
步骤5.5、利用深度学习方法对式(5-1)进行求解，得到N组C×L个决策变量{x1,c,l,x2,c,l,...,xk,c,l,...,xN,c,l}，其中，xk,c,l表示第k组的C×L个决策变量；
取第一组的C×L个决策变量x1,c,l作为第i个帧组的决策变量xi,c,l，即令xi,c,l＝x1,c,l，并丢弃其他决策变量；
步骤5.6、利用步骤5.5得到决策变量xi,c,l对式(4-1)中的缓冲区容量bfk-1进行更新，得到bfk；
步骤5.7、保持窗口长度N不变，将i+1赋值给i后，返回步骤5.3顺序执行，直到i＝K为止。
与现有技术相比，本发明的有益效果体现在：
1.本发明对QOE模型加入视角预测部分，通过不传输视角外的切块来减少对带宽的占用，以及减小解码时间，从而提高了视频流传输性能。
2.本发明切块客观质量使用一种结合点云YUV信息的点到点的点云切块客观质量计算方法，能更好地反映点云客观质量的好坏。
3.本发明提出一种综合考虑了点云视频客观质量，暂停时间，以及质量切换三个维度影响的QOE模型，能够权衡实际应用中的三种负面情况，更全面地描述用户客观观看体验。
4.本发明通过模型预测控制MPC算法，能对未来波动的环境变量有一定的预见性，从而避免了buffer不稳定造成的频繁冻结或频繁溢出事件的发生，更好地提高了buffer稳定性，从而提高了用户观看体验QOE。
附图说明
图1为本发明中基于MPC点云视频自适应传输方法的系统架构图；
图2为本发明中基于MPC点云视频自适应传输方法的流程图；
图3为本发明中MPC算法中滚动优化的示意图。
具体实施方式
本实施例中，一种基于MPC的体积视频流自适应传输方法，如图1所示，是应用在点云视频服务器和点云播放客户端所组成的网络环境中，客户端包含MPC等各种模块，MPC模块算法流程如图2所示，MPC模块中的滚动优化原理如图3所示；提前压缩好的点云视频储存在服务器，客户端在播放器前先下载服务器有关播放点云的点数，数据量等信息，用于后续的切块选择步骤；客户端到服务器的上行链路传输即将下载的帧组的切块选择变量，下行链路传输对应的压缩切块，其中，下行链路中包含从点云播放客户端到点云视频服务器的反馈信道，该方法具体包括以下步骤：
步骤一、将整个点云视频在时间上均等划分为K个帧组，记为{GOF1,GOF2,...,GOFk,...,GOFK}，其中，GOFk表示点云视频中的第k个帧组，且1≤k≤K；
将第k个帧组GOFk在空间上均匀切分为C＝a1×a2×a3尺寸的切块，并得到切块集合记为{BLOCKk,1,BLOCKk,2,...,BLOCKk,c,...,BLOCKk,C}，其中，BLOCKk,c表示第k个帧组GOFk的第c个切块，1≤c≤C；a1,a2,a3分别为切块长、宽、高；
将第c个切块BLOCKk,c压缩成L种不同码率等级的切块，得到压缩后的切块集合记为{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}，其中，Ik,c,l表示第k个帧组GOFk中第c个切块BLOCKk,c压缩得到的第l种码率等级的切块，从而得到所有切块的压缩后的切块集合并储存在点云视频服务器中；1≤l≤L；
将第c个切块BLOCKk,c压缩后的切块集合{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}所包含的点数的集合记为{Pk,c,1,Pk,c,2,...,Pk,c,l,...,Pk,c,L}，其中，Pk,c,L表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l所包含的点数；
将第c个切块BLOCKk,c压缩后的切块集合{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}所包含的数据量的集合记为{Sk,c,1,Sk,c,2,...,Sk,c,l,...,Sk,c,L}，其中，Sk,c,l表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l的数据量大小；
将第c个切块BLOCKk,c压缩后的切块集合{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}的解码时间的集合记为{Ck,c,1,Ck,c,2,...,Ck,c,l,...,Ck,c,L}，其中，Ck,c,l表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l所需的解码时间；
将每个帧组下载过程的平均带宽集合记为{B1,B2,...,Bk...,BK}，其中，Bk表示第k个帧组GOFk下载过程中的平均带宽；
步骤二、计算每个码率的切块的客观质量；
步骤2.1、将第k个帧组GOFk的第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l记为退化点云V′，将k个帧组GOFk的第c个切块BLOCKk,c记为参考点云V；
步骤2.2、将参考点云V中包含的点的集合记为
Figure BDA0003133108920000091
其中，NV表示参考点云V中包含的点的数量；Vn表示参考点云V中的第n个点，1≤n≤NV；
步骤2.3、将退化点云V′中包含的点的集合记为
Figure BDA0003133108920000092
其中，N′V表示退化点云V′中包含的点的数量；V′n′表示参考点云V中的第n′个点，1≤n′≤N′V；
步骤2.4、找到参考点云V中与退化点云V′中的第n′个点V′n′的最邻近点，并将两点之间的距离作为从退化点云V′到参考点云V的误差向量dV′,V(n′)；
找到退化点云V′中与参考点云V中的第n个点Vn的最邻近点，并将两点之间的距离作为从参考点云V到退化点云V′的误差向量dV,V′(n)；
步骤2.5、利用式(2-1)和式(2-2)分别计算从退化点云V′到参考点云V的均方根距离
Figure BDA0003133108920000101
和从参考点云V到退化点云V′的均方根距离
Figure BDA0003133108920000102
Figure BDA0003133108920000103
Figure BDA0003133108920000104
步骤2.6、利用式(2-3)和式(2-4)分别计算从退化点云V′到参考点云V的Haus距离
Figure BDA0003133108920000105
和从参考点云V到退化点云V′的Haus距离
Figure BDA0003133108920000106
Figure BDA0003133108920000107
Figure BDA0003133108920000108
步骤2.7、利用式(2-5)和式(2-6)分别计算均方根距离和Haus距离距离分别在两个方向上的最大值
Figure BDA0003133108920000109
和
Figure BDA00031331089200001010
Figure BDA00031331089200001011
Figure BDA00031331089200001012
步骤2.8、利用式(2-7)-式(2-9)分别计算从退化点云V′到参考点云V的亮度均方差MSEy、色度的均方差MSEu和饱和度的均方差MSEv：
Figure BDA00031331089200001013
Figure BDA00031331089200001014
Figure BDA00031331089200001015
式(2-7)-式(2-9)中，
Figure BDA00031331089200001016
分别表示退化点云V′中第n′个点的亮度值，色度值和饱和度值；
Figure BDA00031331089200001017
分别表示参考点云V中距离退化点云V′的第n′个点最邻近点的亮度值，色度值和饱和度值；
步骤2.9、利用式(2-10)计算总均方误差AMSE：
Figure BDA0003133108920000111
步骤2.10、利用式(2-11)得到第k个帧组GOFk的第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l的客观质量qk,c,l：
Figure BDA0003133108920000112
式(2-11)中，MAXI表示第k个帧组GOFk的第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l中像素点颜色的最大数值。
步骤三、建立最优目标函数及其约束条件并作为用户观看体验模型；
步骤3.1、利用式(3-1)构建目标函数
Figure BDA0003133108920000113
Figure BDA0003133108920000114
xk,c,l∈[0,1]
s.t.
Figure BDA0003133108920000115
bfk∈[0,bfmax]
式(3-1)中，xk,c,l是决策变量，当xk,c,l＝1时，表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l传输，当xk,c,l＝0时，表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l不传输，bfk表示开始下载第k个帧组GOFk时的缓冲区容量，bfmax表示缓冲区容量最大值，设为bfmax＝10，QOEk表示第k个帧组GOFk的用户观看体验值，并有：
QOEk＝w1×Qualityk-w2×Pausek-w3×Quality_switchk (3-2)
式(2-2)中，w1,w2,w3为三个权重并设为w1＝1,w2＝3000,w3＝1，Qualityk表示第k个帧组GOFk的点云客观质量，Pausek表示第k个帧组GOFk的暂停时间，Quality_switchk表示第k个帧组GOFk的质量切换，并有：
Figure BDA0003133108920000116
Figure BDA0003133108920000121
Figure BDA0003133108920000122
式(3-3)中，fovk,c用于表示第k个帧组GOFk的第c个切块BLOCKk,c在用户视角内的可见性，当fovk,c＝1时，表示第k个帧组GOFk的第c个切块BLOCKk,c在第k个帧组GOFk播放时的用户视角内可见，当fovk,c＝0时，表示第k个帧组GOFk的第c个切块BLOCKk,c在第k个帧组GOFk播放时的用户视角内不可见；qk,c,l表示第k个帧组GOFk的第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l的客观质量；
式(3-5)中，Dk,c表示第k个帧组GOFk的第c个切块BLOCKk,c的距离权重，且
Figure BDA0003133108920000123
Boundingboxsizek,c表示k个帧组GOFk的第c个切块BLOCKk,c所在点云空间的对角线长度，Disk,c表示观看者视点位置到第c个切块BLOCKk,c的距离。
式(3-1)和式(3-4)中的缓冲区容量bfk是利用式(4-1)进行计算：
bfk＝Tpl+max(bfk-1-Tdwk-1-Tdck-1,0) (4-1)
式(4-1)中，Tpl表示每个帧组的播放时间，并有Tpl＝f/fps，f表示一个帧组的帧数，fps表示每秒播放的帧数，当k＝1时，初始化缓冲区容量bfk-1＝0.5，Tdwk-1表示第k-1个帧组GOFk-1总共所需的下载时间，并有：
Figure BDA0003133108920000124
式(4-1)中，Tdck-1表示第k-1个帧组GOFk-1总共所需的解码时间，并有：
Figure BDA0003133108920000125
式(4-2)和式(4-3)中，当k＝1时，初始化xk-1,c,l，Sk-1,c,l和Pk-1,c,l均为全0二维数组，初始化fovk-1,c为全0一维数组，Bk-1为0，本实施例中，t1＝0.0002356，t2＝13，t3＝6000；
步骤四、使用模型预测控制方法对用户观看体验模型求解，获得当前环境参数下的下行传输决策变量，并传输至点云视频服务器；
步骤4.1、利用式(5-1)构造传输模型
Figure BDA0003133108920000131
Figure BDA0003133108920000132
xk,c,l∈[0,1]
s.t.
Figure BDA0003133108920000133
bfk∈[0,bfmax]
式(5-1)中，N为所设定的窗口的长度；i表示当前求解的决策变量xk,c,l对应的帧组序号；
步骤4.2、初始化i＝1；
步骤4.3、读取当前帧组序号i对应的网络带宽Bi和第i个帧组的用户视角fovi；
步骤4.4、对第i个帧组之后的未来N-1个帧组的网络带宽{Bi+1,Bi+2,...,Bi+N-1}和用户视角{fovi+1,fovi+2,...,fovi+N-1}进行预测，得到未来N-1个带宽预测值
Figure BDA0003133108920000134
和未来N-1组的视角预测值
Figure BDA0003133108920000135
并将
Figure BDA0003133108920000136
赋值给{Bi+1,Bi+2,...,Bi+N-1}，
Figure BDA0003133108920000137
赋值给{fovi+1,fovi+2,...,fovi+N-1}；
步骤4.5、利用深度学习方法对式(5-1)进行求解，得到N组C×L个决策变量{x1,c,l,x2,c,l,...,xk,c,l,...,xN,c,l}，其中，xk,c,l表示第k组的C×L个决策变量；取第一组的C×L个决策变量x1,c,l作为第i个帧组的决策变量xi,c,l，即令xi,c,l＝x1,c,l，并丢弃其他决策变量；
其中，深度学习方法是按如下过程进行：
步骤4.5.1、对式(5-1)进行改写，得到如式(6-1)所示的目标函数R(τ)：
Figure BDA0003133108920000138
式(6-1)中，τ表示一种选择策略；
步骤4.5.2、基于指针网络训练所示用户观看体验模型的参数：
指针网络由编码器和解码器组成，编码器和解码器均由LSTM单元组成；
步骤4.5.2.1、编码阶段，将目前求解下一步决策变量(N*C*L个)所需的各种参数和预测值输入编码器，得到对应的隐状态hI,I＝1…N*C*L，输入序列包括切块客观质量,当前用户视角,切块数据量,带宽,切块点数，前一时间步用户视角,Dkc,前一时间步决策变量和当前缓冲区容量；
步骤4.5.2.2、解码阶段，第一个LSTM单元的输入是神经网络训练的参数，并输出第一个隐状态x1,从第二个LSTM单元开始，就用前一个LSTM单元的输入作为第二个LSTM单元的输入，则第J个LSTM单元输出第J隐状态xJ，J＝1…N*C*L；
步骤4.5.2.3、根据式(6-2)，式(6-3)分别计算第J个LSTM单元对第I个决策变量输出的概率分布
Figure BDA0003133108920000141
和第J个解码器分配给第I个决策变量的输入序列的权重
Figure BDA0003133108920000142
Figure BDA0003133108920000143
Figure BDA0003133108920000144
式(6-2)中，v是需要学习的参数，Wh是编码阶段的参数，Wx是解码阶段的参数；
步骤4.5.3、使用策略梯度算法对指针网络进行优化：
定义Actor网络和Critic网络的结构于指针网络的结构相同，Actor网络用于生成动作和环境互动，Critic网络用于评价Actor网络的表现，并指导Actor网络下一阶段动作：
步骤4.5.3.1、在Actor网络下，假设策略τ引导智能体经历一个轨迹，即τ＝(s1,a1,s2,a2,...,sI,aI)；其中，sI是在第I步时的状态，aI是在第I步时选择的动作；
步骤4.5.3.2、利用式(6-4)得到轨迹在策略τ的引导下出现的概率pθ(τ):
Figure BDA0003133108920000145
步骤4.5.3.3、利用式(6-5)求解改写后的目标函数R(τ)和期望J(θ):
J(θ)＝∑τR(τ)pθ(τ) (6-5)
式(6-5)中，θ表示Actor网络的参数；
步骤4.5.3.4、利用式(6-6)建立期望J(θ)的目标函数：
maxJ(θ)＝max∑τR(τ)pθ(τ) (6-6)
步骤4.5.3.5、利用式(6-7)计算目标函数的梯度
Figure BDA0003133108920000151
Figure BDA0003133108920000152
步骤4.5.3.6、利用式(6-8)得到在当前策略τ下采样N条轨迹后的平均值
Figure BDA0003133108920000153
Figure BDA0003133108920000154
式(6-8)中，τI表示采样的第I条轨迹；
步骤4.5.3.7、利用式(6-9)得到引入一个基准线b后的梯度
Figure BDA0003133108920000155
Figure BDA0003133108920000156
步骤4.5.3.8、利用式(6-10)对梯度
Figure BDA0003133108920000157
进行优化，得到优化后的Actor网络的参数θ′：
Figure BDA0003133108920000158
式(6-10)中，α表示Actor网络的学习率，→表示参数θ更新为θ′；
步骤4.5.3.9、利用式(6-11)得到均方差C(θc)；
Figure BDA0003133108920000159
式(6-11)中，θc为Critic网络的参数，
Figure BDA00031331089200001510
为Critic网络的输出；
步骤4.5.3.10、利用式(6-12)对均方差C(θc)的梯度
Figure BDA00031331089200001511
进行训练，得到训练后的Critic网络的参数θ′c；
Figure BDA00031331089200001512
式(6-12)中，αc是Actor网络的学习率：
步骤4.5.3.11、将优化后的Actor网络的参数θ'和训练后的Critic网络的参数θ′c代入步骤6.3.2-步骤6.3.10进行迭代训练，得到训练好的最优参数θ*对应的最优Actor网络以及最优参数
Figure BDA00031331089200001513
所对应的最优Critic网络；
步骤4.5.3.12、将N×C×L个决策变量数据输入最优Actor网络和最优Critic网络，并由最优Actor网络的输出最优解，从而得到求解出的决策变量{x1,c,l,x2,c,l,...,xk,c,l,...,xN,c,l}。
步骤4.6、利用步骤4.5得到决策变量xi,c,l对式(4-1)中的缓冲区容量bfk-1进行更新，得到bfk；
步骤4.7、保持窗口长度N不变，将i+1赋值给i后，返回步骤4.3顺序执行，直到i＝K为止。
步骤五、点云服务器将对应下行传输决策变量的点云切块传输到点云播放客户端，点云播放客户端下载、解码并融合后，送入缓冲区以在VR头盔中播放。

Claims (5)

1.一种基于模型预测控制的点云视频流自适应传输方法，是应用在点云视频服务器和点云播放客户端所组成的网络环境中；所述点云视频服务器和点云播放客户端之间是通过下行链路传输；所述下行链路中包含从点云播放客户端到点云视频服务器的反馈信道；其特征是，所述点云视频自适应传输方法按如下步骤进行：
步骤一、将整个点云视频在时间上均等划分为K个帧组，记为{GOF1,GOF2,...,GOFk,...,GOFK}，其中，GOFk表示点云视频中的第k个帧组，且1≤k≤K；
将第k个帧组GOFk在空间上均匀切分为C＝a1×a2×a3尺寸的切块，并得到切块集合记为{BLOCKk,1,BLOCKk,2,...,BLOCKk,c,...,BLOCKk,C}，其中，BLOCKk,c表示第k个帧组GOFk的第c个切块，1≤c≤C；a1,a2,a3分别为切块长、宽、高；
将第c个切块BLOCKk,c压缩成L种不同码率等级的切块，得到压缩后的切块集合记为{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}，其中，Ik,c,l表示第k个帧组GOFk中第c个切块BLOCKk,c压缩得到的第l种码率等级的切块，从而得到所有切块的压缩后的切块集合并储存在点云视频服务器中；1≤l≤L；
将第c个切块BLOCKk,c压缩后的切块集合{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}所包含的点数的集合记为{Pk,c,1,Pk,c,2,...,Pk,c,l,...,Pk,c,L}，其中，Pk,c,L表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l所包含的点数；
将第c个切块BLOCKk,c压缩后的切块集合{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}所包含的数据量的集合记为{Sk,c,1,Sk,c,2,...,Sk,c,l,...,Sk,c,L}，其中，Sk,c,l表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l的数据量大小；
将第c个切块BLOCKk,c压缩后的切块集合{Ik,c,1,Ik,c,2,...,Ik,c,l,...,Ik,c,L}的解码时间的集合记为{Ck,c,1,Ck,c,2,...,Ck,c,l,...,Ck,c,L}，其中，Ck,c,l表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l所需的解码时间；
将每个帧组下载过程的平均带宽集合记为{B1,B2,...,Bk...,BK}，其中，Bk表示第k个帧组GOFk下载过程中的平均带宽；
步骤二、计算每个码率的切块的客观质量；
步骤三、建立最优目标函数及其约束条件并作为用户观看体验模型；
步骤四、使用模型预测控制方法对所述用户观看体验模型求解，获得当前环境参数下的下行传输决策变量，并传输至点云视频服务器；
步骤五、所述点云服务器将对应下行传输决策变量的点云切块传输到点云播放客户端，点云播放客户端下载、解码并融合后，送入缓冲区以在VR头盔中播放。
2.根据权利要求1所述的点云视频流自适应传输方法，其特征是，所述步骤二是按照如下过程进行：
步骤2.1、将第k个帧组GOFk的第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l记为退化点云V′，将k个帧组GOFk的第c个切块BLOCKk,c记为参考点云V；
步骤2.2、将参考点云V中包含的点的集合记为
Figure FDA0003133108910000025
其中，NV表示参考点云V中包含的点的数量；Vn表示参考点云V中的第n个点，1≤n≤NV；
步骤2.3、将退化点云V′中包含的点的集合记为
Figure FDA0003133108910000026
其中，N′V表示退化点云V′中包含的点的数量；V′n′表示参考点云V中的第n′个点，1≤n′≤N′V；
步骤2.4、找到参考点云V中与退化点云V′中的第n′个点V′n′的最邻近点，并将两点之间的距离作为从退化点云V′到参考点云V的误差向量dV′,V(n′)；
找到退化点云V′中与参考点云V中的第n个点Vn的最邻近点，并将两点之间的距离作为从参考点云V到退化点云V′的误差向量dV,V′(n)；
步骤2.5、利用式(2-1)和式(2-2)分别计算从退化点云V′到参考点云V的均方根距离
Figure FDA0003133108910000027
和从参考点云V到退化点云V′的均方根距离
Figure FDA0003133108910000021
Figure FDA0003133108910000022
Figure FDA0003133108910000023
步骤2.6、利用式(2-3)和式(2-4)分别计算从退化点云V′到参考点云V的Haus距离
Figure FDA0003133108910000024
和从参考点云V到退化点云V′的Haus距离
Figure FDA0003133108910000031
Figure FDA0003133108910000032
Figure FDA0003133108910000033
步骤2.7、利用式(2-5)和式(2-6)分别计算均方根距离和Haus距离距离分别在两个方向上的最大值
Figure FDA0003133108910000034
和
Figure FDA0003133108910000035
Figure FDA0003133108910000036
Figure FDA0003133108910000037
步骤2.8、利用式(2-7)-式(2-9)分别计算从退化点云V′到参考点云V的亮度均方差MSEy、色度的均方差MSEu和饱和度的均方差MSEv：
Figure FDA0003133108910000038
Figure FDA0003133108910000039
Figure FDA00031331089100000310
式(2-7)-式(2-9)中，
Figure FDA00031331089100000311
分别表示退化点云V′中第n′个点的亮度值，色度值和饱和度值；
Figure FDA00031331089100000312
分别表示参考点云V中距离退化点云V′的第n′个点最邻近点的亮度值，色度值和饱和度值；
步骤2.9、利用式(2-10)计算总均方误差AMSE：
Figure FDA00031331089100000313
步骤2.10、利用式(2-11)得到第k个帧组GOFk的第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l的客观质量qk,c,l：
Figure FDA00031331089100000314
式(2-11)中，MAXI表示第k个帧组GOFk的第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l中像素点颜色的最大数值。
3.根据权利要求1所述的点云视频流自适应传输方法，其特征是，所述步骤三是按照如下过程进行：
步骤3.1、利用式(3-1)构建目标函数
Figure FDA0003133108910000041
Figure FDA0003133108910000042
xk,c,l∈[0,1]
Figure FDA0003133108910000043
bfk∈[0,bfmax]
式(3-1)中，xk,c,l是决策变量，当xk,c,l＝1时，表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l传输，当xk,c,l＝0时，表示第k个帧组GOFk中第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l不传输，bfk表示开始下载第k个帧组GOFk时的缓冲区容量，bfmax表示缓冲区容量最大值，QOEk表示第k个帧组GOFk的用户观看体验值，并有：
QOEk＝w1×Qualityk-w2×Pausek-w3×Quality_switchk (3-2)
式(2-2)中，w1,w2,w3为三个权重，Qualityk表示第k个帧组GOFk的点云客观质量，Pausek表示第k个帧组GOFk的暂停时间，Quality_switchk表示第k个帧组GOFk的质量切换，并有：
Figure FDA0003133108910000044
Figure FDA0003133108910000045
Figure FDA0003133108910000046
式(3-3)中，fovk,c用于表示第k个帧组GOFk的第c个切块BLOCKk,c在用户视角内的可见性，当fovk,c＝1时，表示第k个帧组GOFk的第c个切块BLOCKk,c在第k个帧组GOFk播放时的用户视角内可见，当fovk,c＝0时，表示第k个帧组GOFk的第c个切块BLOCKk,c在第k个帧组GOFk播放时的用户视角内不可见；qk,c,l表示第k个帧组GOFk的第c个切块BLOCKk,c的第l个码率等级的切块Ik,c,l的客观质量；
式(3-5)中，Dk,c表示第k个帧组GOFk的第c个切块BLOCKk,c的距离权重，且
Figure FDA0003133108910000051
Boundingboxsizek,c表示k个帧组GOFk的第c个切块BLOCKk,c所在点云空间的对角线长度，Disk,c表示观看者视点位置到第c个切块BLOCKk,c的距离。
4.根据权利要求3所述的点云视频流自适应传输方法，其特征是，所述步骤3.1中的缓冲区容量bfk是利用式(4-1)进行计算：
bfk＝Tpl+max(bfk-1-Tdwk-1-Tdck-1,0) (4-1)
式(4-1)中，Tpl表示每个帧组的播放时间，并有Tpl＝f/fps，f表示一个帧组的帧数，fps表示每秒播放的帧数，当k＝1时，初始化缓冲区容量bfk-1＝0.5，Tdwk-1表示第k-1个帧组GOFk-1总共所需的下载时间，并有：
Figure FDA0003133108910000052
式(4-1)中，Tdck-1表示第k-1个帧组GOFk-1总共所需的解码时间，并有：
Figure FDA0003133108910000053
式(4-2)和式(4-3)中，t1,t2,t3代表解码时间拟合参数；当k＝1时，初始化xk-1,c,l，Sk-1,c,l和Pk-1,c,l均为全0二维数组，初始化fovk-1,c为全0一维数组，Bk-1为0。
5.根据权利要求1所述的点云视频流自适应传输方法，其特征是，所述步骤四是按照如下过程进行：
步骤5.1、利用式(5-1)构造传输模型
Figure FDA0003133108910000054
Figure FDA0003133108910000055
xk,c,l∈[0,1]
Figure FDA0003133108910000061
bfk∈[0,bfmax]
式(5-1)中，N为所设定的窗口的长度；i表示当前求解的决策变量xk,c,l对应的帧组序号；
步骤5.2、初始化i＝1；
步骤5.3、读取当前帧组序号i对应的网络带宽Bi和第i个帧组的用户视角fovi；
步骤5.4、对第i个帧组之后的未来N-1个帧组的网络带宽{Bi+1,Bi+2,...,Bi+N-1}和用户视角{fovi+1,fovi+2,...,fovi+N-1}进行预测，得到未来N-1个带宽预测值
Figure FDA0003133108910000062
和未来N-1组的视角预测值
Figure FDA0003133108910000063
并将
Figure FDA0003133108910000064
赋值给{Bi+1,Bi+2,...,Bi+N-1}，
Figure FDA0003133108910000065
赋值给{fovi+1,fovi+2,...,fovi+N-1}；
步骤5.5、利用深度学习方法对式(5-1)进行求解，得到N组C×L个决策变量{x1,c,l,x2,c,l,...,xk,c,l,...,xN,c,l}，其中，xk,c,l表示第k组的C×L个决策变量；
取第一组的C×L个决策变量x1,c,l作为第i个帧组的决策变量xi,c,l，即令xi,c,l＝x1,c,l，并丢弃其他决策变量；
步骤5.6、利用步骤5.5得到决策变量xi,c,l对式(4-1)中的缓冲区容量bfk-1进行更新，得到bfk；
步骤5.7、保持窗口长度N不变，将i+1赋值给i后，返回步骤5.3顺序执行，直到i＝K为止。
CN202110709837.3A 2021-06-25 2021-06-25 一种基于模型预测控制的点云视频流自适应传输方法 Active CN113395603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110709837.3A CN113395603B (zh) 2021-06-25 2021-06-25 一种基于模型预测控制的点云视频流自适应传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110709837.3A CN113395603B (zh) 2021-06-25 2021-06-25 一种基于模型预测控制的点云视频流自适应传输方法

Publications (2)

Publication Number Publication Date
CN113395603A true CN113395603A (zh) 2021-09-14
CN113395603B CN113395603B (zh) 2022-04-01

Family

ID=77623863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110709837.3A Active CN113395603B (zh) 2021-06-25 2021-06-25 一种基于模型预测控制的点云视频流自适应传输方法

Country Status (1)

Country Link
CN (1) CN113395603B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110012279A (zh) * 2018-01-05 2019-07-12 上海交通大学 基于3d点云数据的分视角压缩和传输方法及系统
CN110266714A (zh) * 2019-06-28 2019-09-20 合肥工业大学 一种QoE驱动下的VR视频自适应采集与传输方法
WO2021025251A1 (ko) * 2019-08-08 2021-02-11 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN112449171A (zh) * 2019-09-03 2021-03-05 上海交通大学 点云分视角传输的编码方法、系统及介质
US20210104090A1 (en) * 2019-10-03 2021-04-08 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN112789803A (zh) * 2018-01-18 2021-05-11 黑莓有限公司 用于点云的二进制熵编解码的方法和设备
CN113115077A (zh) * 2021-03-12 2021-07-13 上海交通大学 一种静态点云服务器码率自适应传输方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110012279A (zh) * 2018-01-05 2019-07-12 上海交通大学 基于3d点云数据的分视角压缩和传输方法及系统
CN112789803A (zh) * 2018-01-18 2021-05-11 黑莓有限公司 用于点云的二进制熵编解码的方法和设备
CN110266714A (zh) * 2019-06-28 2019-09-20 合肥工业大学 一种QoE驱动下的VR视频自适应采集与传输方法
WO2021025251A1 (ko) * 2019-08-08 2021-02-11 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN112449171A (zh) * 2019-09-03 2021-03-05 上海交通大学 点云分视角传输的编码方法、系统及介质
US20210104090A1 (en) * 2019-10-03 2021-04-08 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN113115077A (zh) * 2021-03-12 2021-07-13 上海交通大学 一种静态点云服务器码率自适应传输方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
JIE LI等: "Joint Communication and Computational Resource Allocation for QoE-driven Point Cloud Video Streaming", 《 ICC 2020 - 2020 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS (ICC)》 *
JIE LI等: "QoE-Driven Coupled Uplink and Downlink Rate Adaptation for 360-Degree Video Live Streaming", 《 IEEE COMMUNICATIONS LETTERS》 *
YI HAN等: "QoE Oriented Adaptive Streaming Method for 360° Virtual Reality Videos", 《2019 IEEE SMARTWORLD, UBIQUITOUS INTELLIGENCE & COMPUTING, ADVANCED & TRUSTED COMPUTING, SCALABLE COMPUTING & COMMUNICATIONS, CLOUD & BIG DATA COMPUTING, INTERNET OF PEOPLE AND SMART CITY INNOVATION 》 *
冯燃生: "QoE驱动的全景视频自适应采集与多播传输关键技术研究", 《硕士电子期刊》 *
赖立冬: "全景视频基于视点的自适应传输技术研究", 《硕士电子期刊》 *
黎洁等: "QoE驱动的VR视频自适应采集与传输", 《北京航空航天大学学报》 *

Also Published As

Publication number Publication date
CN113395603B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
US10880551B2 (en) Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA)
US7068718B2 (en) Advanced method for rate control and apparatus thereof
CN107211193A (zh) 感知体验质量估计驱动的智能适应视频流传输方法和系统
WO2020067592A1 (ko) 컨텐츠 인지 신경망을 이용하여 실시간으로 적응형 비디오를 전송하는 방법 및 장치
Jiang et al. Plato: Learning-based adaptive streaming of 360-degree videos
CN113905221B (zh) 一种立体全景视频非对称传输流自适应方法及系统
CN113329266B (zh) 一种基于有限用户视角反馈的全景视频自适应传输方法
US10972749B2 (en) Systems and methods for reconstructing frames
CN113194320B (zh) 参数预测模型的训练方法及装置和参数预测方法及装置
JP2005294977A (ja) スライドウィンドウ（ｓｌｉｄｉｎｇｗｉｎｄｏｗ）を用いた２パスビデオエンコーディング方法とシステム
Park et al. Mosaic: Advancing user quality of experience in 360-degree video streaming with machine learning
CN115037962A (zh) 视频自适应传输方法、装置、终端设备以及存储介质
US20090279614A1 (en) Apparatus and method for managing reference frame buffer in layered video coding
CN113141526B (zh) QoE驱动下的联合资源分配的点云视频自适应传输方法
KR102602690B1 (ko) 화질에 기반한 적응적 부호화 및 복호화를 위한 방법 및 장치
KR102129115B1 (ko) 컨텐츠 인지 신경망을 이용하여 실시간으로 적응형 비디오를 전송하는 방법 및 장치
CN113395603B (zh) 一种基于模型预测控制的点云视频流自适应传输方法
CN117596376A (zh) 360度视频智能边缘传输方法、系统、穿戴设备及介质
Quan et al. Reinforcement learning driven adaptive vr streaming with optical flow based qoe
US20220224914A1 (en) Parameter map for machine-learned video compression
CN112911347B (zh) 虚拟现实视频传输方法、系统、服务器端和客户端
Banerjee Learning based intelligent imaging
CN114666620B (zh) 基于视觉敏感度的自适应流媒体方法
Li et al. Adaptive Panoramic Video Multicast Streaming with Limited FoV Feedback
CN117156175B (zh) 基于视口预测距离控制的全景视频流QoE优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant