CN113141526A - QoE驱动下的联合资源分配的点云视频自适应传输方法 - Google Patents

QoE驱动下的联合资源分配的点云视频自适应传输方法 Download PDF

Info

Publication number
CN113141526A
CN113141526A CN202110457337.5A CN202110457337A CN113141526A CN 113141526 A CN113141526 A CN 113141526A CN 202110457337 A CN202110457337 A CN 202110457337A CN 113141526 A CN113141526 A CN 113141526A
Authority
CN
China
Prior art keywords
point cloud
kth
branch
frame group
cloud video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110457337.5A
Other languages
English (en)
Other versions
CN113141526B (zh
Inventor
黎洁
张聪
王枭
韩玲
王慧宇
彭涛
陈勇
李奇越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110457337.5A priority Critical patent/CN113141526B/zh
Publication of CN113141526A publication Critical patent/CN113141526A/zh
Application granted granted Critical
Publication of CN113141526B publication Critical patent/CN113141526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种QoE驱动下的联合资源分配的点云视频自适应传输方法，其步骤包括：1、将点云视频在空间上进行3D均匀切分，每个切块被压缩成不同的码率等级；2、将点云视频在时间上进行分组，每个帧组是码率变化的最小单位；3、将不同码率等级的点云视频切块存储在服务器中，生成记录它们信息的描述文件；4、服务器结合反馈信道中的用户实时视角信息，下行信道的带宽信息和设备的计算性能，为每个视频切块选择一种质量等级和传输形式，客户端把接受到的切块解码，融合和渲染后得到完整的视频进行播放。本发明能够更好地提高系统资源的利用率，减少点云视频传输对于带宽和计算性能的需求，同时保证用户的观看体验(QoE)。

Description

QoE驱动下的联合资源分配的点云视频自适应传输方法
技术领域
本发明涉及多媒体视频传输领域，具体的说是一种针对点云视频的流媒体自适应传输方法，适用于在无线网络环境下，优化端到端的点云视频传输流程。
背景技术
点云作为三维影像的一种表现形式，经常与和虚拟现实和增强现实技术结合，实现六自由的沉浸式视频。然而由于需要记录三维坐标的信息，其原始大小也远超普通的二维视频和360°视频，因此近年来针对点云的压缩是个热门的领域，如今针对动态点云的压缩研究有许多，压缩效率也十分高，然而由于点云结构不能直接用成熟的传统视频编解码，压缩效率高的同时，往往会导致客户端解码时间过长。此时的网络传输时间却十分短，也就是导致了整个传输系统中系统的计算资源被过度利用而通信资源无法有效得到充分利用。
西安电子科技大学的张伟等人发明了一种点云几何信息帧间编码及解码方法(公开号：CN112565764A)，其方法包括：获取当前帧点云前的帧点云作为当前帧点云的参考帧点云；对当前帧点云进行体素化处理，获得体素化处理后的当前帧点云；对当前帧点云以及参考帧点云分别进行八叉树划分，对划分得到的子节点继续进行八叉树划分，直到划分到叶子节点，得到当前帧点云的第一八叉树结构以及参考帧点云的第二八叉树结构；其中，所述第一八叉树结构包括多个节点，每个节点对应一个在第二八叉树结构中的参考节点；针对第一八叉树结构的每个待编码节点，获取第二八叉树结构中对应参考节点的占位情况；针对第一八叉树结构的每个待编码节点，当与该待编码节点对应的参考节点的占位情况为被占据时，获取与参考节点相邻的第一邻居节点的占位情况；基于所述第一邻居节点的占位情况，确定所述待编码节点占位码的上下文模型；对确定上下文模型之后的待编码节点占位码进行熵编码，获得二进制码流。但是此算法没有考虑帧间编码和解码所带来的计算资源消耗过大的问题，也没有考虑在当前网络环境下的实时传输性能，无法很好地应用在实际传输中。
深圳大学的王妙辉等人发明了一种自适应分块的基于体素的点云压缩方法及装置(公开号：(1)对原始的点云数据进行自适应分块；(2)将原始的点云数据进行八叉树体素划分，得到划分的点云块；(3)使用三维卷积网络对划分的点云块进行空间数量分布探测，得到点云块的特征；(4)对点云块的特征进行处理，计算出点云块的稠密程度及细节重要程度，根据点云块的稠密程度对点云块进行分类；(5)根据点云块的稠密程度及细节重要程度对点云块进行自适应合并；(6)对自适应分块后的点云块进行编码；(7)对点云训练集进行体素化并特征强化，首先对点云数据集进行体素化，体素保留体素内点云数量通过三维卷积网络进行体素强化，保留特征强化后体素训练集；(8)对特征强化后的体素进行编码，得到编码后的潜在表示数据；(9)对编码后的潜在表示数据进行解码，对解码结果计算改进后的wBCE损失函数，迭代网络；(10)使用改进后的wBCE损失函数循环执行步骤(7)-(9)：(11)分别对稠密点云压缩编码器和稀疏点云压缩编码器进行训练；(12)将训练完成的压缩编码器对自适应分块后的点云块进行编码。但是该方法需要足够数量的点云训练集进行训练，无法保证在不同的点云场景中都有较号的编码解码能力，且只考虑了单帧点云的压缩，没有考虑多帧连续点云的压缩。
上海交通大学的徐异凌等人发明了一种点云分视角传输的编码方法和系统(公开号：CN112449171A)，其步骤包括：点云片段确定步骤：根据观测视角来确定对应的点云片段，获得一系列被划分到对应视角类别的点云片段；分视角传输编码步骤：根据获得的一系列被划分到对应视角类别的点云片段，采用分视角传输方案，对于需要观测到的视角进行高清晰度的编码传输，对于不需要被观察得到的视角进行较低清晰度的编码传输。本发明提供了一种对于新型的点云媒体进行根据用户视角自适应调整的传输策略，不需要对目前的点云传输策略进行较大修改，可以较好的结合目前的高压缩率的编码算法，在不损失用户主要视角的体验质量的同时，节约传输所消耗的资源，实现了分视角传输的目的。但是该方法没有考虑高压缩率的编码算法所带来的计算资源消耗，且无法保证观测视角和当前用户观看视角的一致性。
发明内容
本发明是为避免上述现有技术所存在的不足之处，提供一种QoE驱动下的联合资源分配的点云视频自适应传输方法，以期能够更好地最大化利用传输系统的通信资源和计算资源，减少点云视频传输对于带宽和计算性能需求的同时，在带宽和计算能力受限的情况下最大化提高用户的观看体验QoE。
本发明为解决技术问题采用如下技术方案：
本发明一种QoE驱动下的联合资源分配的点云视频自适应传输方法，是应用于由一个点云视频服务器，一个点云播放客户端所组成的网络环境中；所述点云视频服务器和点云播放客户端之间是通过下行链路传输；所述下行链路中包含从点云播放客户端到点云视频服务器的反馈信道；其特点是，所述点云视频自适应传输方法按如下步骤进行：
步骤一、将一个包含F帧的点云视频在时间上划分成T个帧组，记为{G1,G2,...,Gt,...,GT}，其中，Gt表示点云视频中第t个帧组，1≤t≤T；
将第t个帧组Gt在空间上切分成数目为K＝L×L×L的切块，其中，L是在D×D×D的点云空间中每个维度划分的区间长度，其中，D为点云视频的采样深度；
将切分后的每个切块均压缩成R种码率等级的切块，其中，第t个帧组Gt的第k个切块经过压缩后得到的切块集合，记为
Figure BDA0003040996780000031
其中，
Figure BDA0003040996780000032
表示第t个帧组的第k个切块经过压缩后得到的第r种码率等级的切块，1≤r≤R，1≤k≤K；将切块集合
Figure BDA0003040996780000033
通过解码器得到对应的重构形式切块集合，记为
Figure BDA0003040996780000034
其中，
Figure BDA0003040996780000035
表示第t个帧组的第k个切块的第r种码率等级的切块
Figure BDA0003040996780000036
所对应的重构形式切块，从而将点云视频中所有帧组的切块进行处理后，存储在所述点云视频服务器中；
令切块集合中每个切块所包含的点个数为{Pt,k,1,Pt,k,2,...,Pt,k,r,...,Pt,k,R}，其中，Pt,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块
Figure BDA0003040996780000039
所包含的点个数；
令切块集合中每个切块的数据量为{St,k,1,St,k,2,...,St,k,r,...,St,k,R}，其中，St,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块
Figure BDA0003040996780000037
的数据量；
令切块集合中每个切块所需的解码时间为{Ct,k,1,Ct,k,2,...,Ct,k,r,...,Ct,k,R}，其中，Ct,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块
Figure BDA0003040996780000038
所需的解码时间；
步骤二、建立以最大化用户观看体验QoE的值作为最优化的目标函数，并设置相应的约束条件，从而建立点云视频的自适应传输模型；
步骤三、利用KKT条件和混合分支定界法对点云视频自适应传输模型进行求解，得到所述网络环境中下行链路传输的决策变量；
步骤四、所述点云视频服务器根据用户视角，计算第t个帧组的第k个切块是否在用户视角内，如果在视角外，则不传输相应切块，并将用户视角参数vt,k,r标记为“0”，否则，表示传输相应切块，并将用户视角参数vt,k,r标记为“1”，从而得到用户视角参数集合{vt,k,1,vt,k,2,...,vt,k,r,...,vt,k,R}，其中，vt,k,r表示第t个帧组Gt的第k个切块是否传输；
步骤五、所述点云视频服务器根据网络环境中带宽大小和设备性能，决定第t个帧组Gt的第k个切块的质量等级变量xt,k,r以及传输形式变量et,k的值，并在点云视频服务器中选择已存储的相应切块传输到客户端；
步骤六、所述点云播放客户端接收到第t个帧组Gt的所有切块后，首先进行分组，将压缩形式和重构形式的切块进行分类，其中，压缩形式的切块进入解码器中进行解码并得到重构形式的切块，再进入所述点云播放客户端中的融合模块；而重构形式的切块直接进入所述融合模块；当第t个帧组Gt的所有切块均进入所述融合模块后，由所述融合模块合成一个完整帧组的点云视频；
步骤七、所述融合模块将完整帧组的点云视频传输给所述点云播放客户端的缓存模块，当所述缓存模块中的帧组数目达到N时，所述缓存模块将N个帧组输出渲染模块中进行渲染处理后，输入至显示模块，从而播放经过QoE优化后的点云视频。
本发明所述的点云视频自适应传输方法的特点也在于，所述步骤二是按如下过程进行：
步骤2.1、利用式(1)构建目标函数：
Figure BDA0003040996780000041
式(1)中，Qt,k表示第t个帧组Gt的第k个切块的质量，并有：
Figure BDA0003040996780000042
式(2)中，pt,k表示第t个帧组Gt传输至点云播放客户端时，用户视角距离第k个切块的距离，r表示质量等级；xt,k,r是自适应传输模型的码率决策变量，当xt,k,r＝1时，表示第t个帧组的第k个切块以质量等级为r的码率进行传输，当xt,k,r＝0时，表示第t个帧组的第k个切块不以质量等级为r的码率进行传输；QTt,k表示第t个帧组的第k个切块的相对点数比重，并有：
Figure BDA0003040996780000043
式(3)中，Nt,k,R表示第t个帧组Gt的第k个切块在质量等级为R时所包含的点数；
步骤2.2、利用式(4)-式(5)构建约束条件：
Figure BDA0003040996780000051
Figure BDA0003040996780000052
式(4)表示任意第t个帧组的第k个切块只能选择一种质量等级传输到点云播放客户端；
式(5)中，Tbt表示第t个帧组完全进入缓存模块时的缓存大小，Tbt大于0表示保证缓存中的内容不为空，并有：
Figure BDA0003040996780000053
式(6)表示第t个帧组时刻的缓存大小与第t-1个帧组时刻的缓存大小的关系，当t＝1时，Tbt-1＝b，其中，Tut表示第t个帧组Gt从点云服务器开始传输到完成解码的时间，并有：
Figure BDA0003040996780000054
式(7)中，BWt表示第t个帧组Gt传输至点云播放客户端时的下行信道的带宽；et,k表示第t个帧组Gt的第k个切块在下行信道中的传输形式，et,k是自适应传输模型中的形式决策变量，当et,k＝1时，表示服务器将切块
Figure BDA0003040996780000055
传输到客户端，当et,k＝0时，表示服务器将切块
Figure BDA0003040996780000056
传输到客户端；F表示帧组内包含的帧数，FPS表示视频每秒播放的帧数，Ct,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块解码所需的计算资源；CU表示客户端能同时解码的切块的数目；
将式(6)简化为式(8)：
Tbt-Tbt-1＝f(xt,k,r,et,k) (8)
式(8)中，f(xt,k,r,et,k)表示从第t-1个帧组Gt-1进入缓存到第t个帧组Gt进入缓存所经过的时间，且
Figure BDA0003040996780000057
利用式(9)得到约束条件：
Figure BDA0003040996780000058
所述步骤三是按如下过程进行：
步骤3.1、对所述点云视频的自适应传输模型中的码率决策变量xt,k,r和形式决策变量et,k进行松弛操作，分别得到[0，1]范围内的连续码率决策变量x′t,k,r和形式决策变量e′t,k；
步骤3.2、根据式(4)和式(9)的约束条件，将
Figure BDA0003040996780000061
记为函数h1(xt,k,r)；
将
Figure BDA0003040996780000062
记为函数g1(xt,k,t,et,k)；从而利用式(10)计算松弛后的点云视频的自适应传输模型的拉格朗日函数L(xt,k,r,et,k,λ,μ)：
L(xt,k,r,et,k,λ,μ)＝-QoE+λ1h1(xt,k,r)+μ1g1(xt,k,r,et,k) (10)
式(10)中，λ表示式(4)所示的约束条件的拉格朗日系数，μ表示式(9)所示的约束条件的拉格朗日系数；λ1表示函数h1(xt,k,r)的拉格朗日系数，μ1表示函数g1(xt,k,t,et,k)的拉格朗日系数；
步骤3.3、根据式(10)的拉格朗日函数L(xt,k,r,et,k,λ,μ)，得到如式(11)-式(16)所示的松弛后的点云视频的自适应传输模型的KKT条件：
Figure BDA0003040996780000063
Figure BDA0003040996780000064
h1(xt,k,r)＝0 (13)
g1(xt,k,t,et,k)≤0 (14)
λ1≠0,μ1≥0 (15)
μ1g1(xt,k,t,et,k)＝0 (16)
对式(11)-(16)进行求解，得到松弛后的点云视频自适应传输模型的最优解χrelax和最优的总效用值Zrelax；其中，最优解χrelax包括码率决策变量xt,k,r和形式决策变量et,k的松弛最优解；
步骤3.4、以最优解χrelax和最优总效用值Zrelax作为分支定界法的初始输入参数；
步骤3.5、定义所述分支定界法中分支迭代次数为k，定义所述分支定界法中最优总效用值的下界为L，定义所述分支定界法中最优总效用值的上界为U；
步骤3.6、初始化k＝0；
步骤3.7、初始化L＝0；
步骤3.8、初始化U＝Zrelax；
步骤3.9、用χk表示第k次分支的最优解，并将对应的总效用值记为Zk，再把最优解χrelax的值代入第k次分支的最优解χk，并以第k次分支的最优解χk作为根节点，从而进行步骤3.10的处理；
步骤3.10、判断第k次分支的最优解χk中是否存在不符合0-1约束条件的解，若存在，则将第k次分支的最优解χk中的松弛最优解分为符合0-1约束条件的解和不符合0-1约束条件的解χk(0,1)，并执行步骤3.11；否则，表示第k次分支的最优解χk是非松弛点云视频自适应传输模型的最优解；
步骤3.11、在(0，1)范围内随机产生一个第k次分支的随机数εk，并判断0＜χk(0,1)＜εk是否成立；若成立，则将约束条件“χk(0,1)＝0”加入到非松弛点云视频自适应传输模型中，形成第k次分支的子分支I；否则，则将约束条件“χk(0,1)＝1”加入到非松弛点云视频自适应传输模型中，形成第k次分支的子分支II；
步骤3.12、利用KKT条件求出第k次分支的子分支I和子分支II的松弛解，并作为第k+1次分支的最优解χk+1，并计算出第k+1次分支的最优解χk+1的最优总效用值Zk+1；
步骤3.13、判断第k+1次分支的最优值χk+1是否符合0-1约束条件，若是，则从所述最优总效用值Zk+1中找出最大值并赋值给L，且χk+1∈{0,1}；否则，从所述最优总效用值Zk+1中找出最大值并赋值给U，且χk+1∈{0,1}；
步骤3.14、判断Zk+1＜L是否成立；如果成立，则剪掉第k+1次分支的最优解χk+1所在的分支，并将k+1赋值给k后，返回步骤3.10；否则，执行步骤3.15；
步骤3.15、判断Zk+1＝L是否成立，若成立，则表示获得非松弛点云视频自适应传输模型的最优解即为第k+1分支的最优解χk+1，并将χk+1赋值给非松弛点云视频自适应传输模型的最优解χ0-1，将χk+1所对应的Zk+1赋值给非松弛点云视频自适应传输模型的最优总效用值Z0-1；否则，将k+1赋值给k后，返回步骤3.10。
与现有技术相比，本发明的有益效果体现在：
1.本发明通过提出点云视频的三维切块方法，结合用户视角，通过降低甚至丢弃在用户视角外的切块，来减少了点云视频传输过程中的冗余数据量，从而降低了点云视频对于带宽的巨大需求。
2.本发明通过将计算资源和通信资源整合，提出了联合资源的点云视频的传输方案，使得系统的资源利用率大大提高，并以QoE模型作为传输知道因素来优化点云视频流媒体的传输方法，从而更好的优化点云视频的流媒体传输过程。
3.本发明通过联合KKT条件和分支定界法对提出的点云视频自适应传输模型进行求解，提高了解法的效率和解的准确性，从而提高了点云视频自适应传输方法的可靠性。
附图说明
图1为本发明中点云视频自适应传输方法的应用场景图；
图2为本发明中自适应传输方法的系统架构图。
具体实施方式
本实施例中，一种QoE驱动下的联合资源分配的点云视频自适应传输方法，如图1所示，应用于客户端/服务器的场景中，包括一个服务器和一个客户端。点云视频服务器和点云播放客户端之间是通过下行链路传输，下行链路中包含从点云播放客户端到点云视频服务器的反馈信道，反馈信道可以把用户的实时视角信息，下行链路的带宽信息和设备的当前性能反馈给服务器，输入给服务器中的切块选择模块进行优化处理。如图2所示，该方法具体包括以下步骤：
步骤一、将一个包含F帧的点云视频在时间上划分成T个帧组，记为{G1,G2,...,Gt,...,GT}，其中，Gt表示点云视频中第t个帧组，1≤t≤T；
将第t个帧组Gt在空间上切分成数目为K＝L×L×L的切块，其中，L是在D×D×D的点云空间中每个维度划分的区间长度，其中，D为点云视频的采样深度；
将切分后的每个切块均压缩成R种码率等级的切块，其中，第t个帧组Gt的第k个切块经过压缩后得到的切块集合，记为
Figure BDA0003040996780000081
其中，
Figure BDA0003040996780000082
表示第t个帧组的第k个切块经过压缩后得到的第r种码率等级的切块，1≤r≤R，1≤k≤K；将切块集合
Figure BDA0003040996780000083
通过解码器得到对应的重构形式切块集合，记为
Figure BDA0003040996780000091
其中，
Figure BDA0003040996780000092
表示第t个帧组的第k个切块的第r种码率等级的切块
Figure BDA0003040996780000093
所对应的重构形式切块，从而将点云视频中所有帧组的切块进行处理后，存储在点云视频服务器中；
令切块集合中每个切块所包含的点个数为{Pt,k,1,Pt,k,2,...,Pt,k,r,...,Pt,k,R}，其中，Pt,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块
Figure BDA0003040996780000094
所包含的点个数；
令切块集合中每个切块的数据量为{St,k,1,St,k,2,...,St,k,r,...,St,k,R}，其中，St,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块
Figure BDA0003040996780000095
的数据量；
令切块集合中每个切块所需的解码时间为{Ct,k,1,Ct,k,2,...,Ct,k,r,...,Ct,k,R}，其中，Ct,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块
Figure BDA0003040996780000096
所需的解码时间；
步骤二、建立以最大化用户观看体验QoE的值作为最优化的目标函数，并设置相应的约束条件，从而建立点云视频的自适应传输模型；
步骤2.1、利用式(1)构建目标函数：
Figure BDA0003040996780000097
式(1)中，Qt,k表示第t个帧组Gt的第k个切块的质量，并有：
Figure BDA0003040996780000098
式(2)中，pt,k表示第t个帧组Gt传输至点云播放客户端时，用户视角距离第k个切块的距离，r表示质量等级；xt,k,r是自适应传输模型的码率决策变量，当xt,k,r＝1时，表示第t个帧组的第k个切块以质量等级为r的码率进行传输，当xt,k,r＝0时，表示第t个帧组的第k个切块不以质量等级为r的码率进行传输；QTt,k表示第t个帧组的第k个切块的相对点数比重，并有：
Figure BDA0003040996780000099
式(3)中，Nt,k,R表示第t个帧组Gt的第k个切块在质量等级为R时所包含的点数；
步骤2.2、利用式(4)-式(5)构建约束条件：
Figure BDA0003040996780000101
Figure BDA0003040996780000102
式(4)表示任意第t个帧组的第k个切块只能选择一种质量等级传输到点云播放客户端；
式(5)中，Tbt表示第t个帧组完全进入缓存模块时的缓存大小，Tbt大于0表示保证缓存中的内容不为空，并有：
Figure BDA0003040996780000103
式(6)表示第t个帧组时刻的缓存大小与第t-1个帧组时刻的缓存大小的关系，当t＝1时，Tbt-1＝b，b表示点云视频开始播放前云播放客户端中缓存的大小，其中，Tut表示第t个帧组Gt从点云服务器开始传输到完成解码的时间，并有：
Figure BDA0003040996780000104
式(7)中，BWt表示第t个帧组Gt传输至点云播放客户端时的下行信道的带宽；et,k表示第t个帧组Gt的第k个切块在下行信道中的传输形式，et,k是自适应传输模型中的形式决策变量，当et,k＝1时，表示服务器将切块
Figure BDA0003040996780000105
传输到客户端，当et,k＝0时，表示服务器将切块
Figure BDA0003040996780000106
传输到客户端；F表示帧组内包含的帧数，FPS表示视频每秒播放的帧数，Ct,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块解码所需的计算资源；CU表示客户端能同时解码的切块的数目；
将式(6)简化为式(8)：
Tbt-Tbt-1＝f(xt,k,r,et,k) (8)
式(8)中，f(xt,k,r,et,k)表示从第t-1个帧组Gt-1进入缓存到第t个帧组Gt进入缓存所经过的时间，且
Figure BDA0003040996780000107
利用式(9)得到约束条件：
Figure BDA0003040996780000111
步骤三、利用KKT条件和混合分支定界法对点云视频自适应传输模型进行求解，得到网络环境中下行链路传输的决策变量；
步骤3.1、对点云视频的自适应传输模型中的码率决策变量xt,k,r和形式决策变量et,k进行松弛操作，分别得到[0，1]范围内的连续码率决策变量x′t,k,r和形式决策变量e′t,k；
步骤3.2、根据式(4)和式(9)的约束条件，将
Figure BDA0003040996780000112
记为函数h1(xt,k,r)；
将
Figure BDA0003040996780000113
记为函数g1(xt,k,t,et,k)；从而利用式(10)计算松弛后的点云视频的自适应传输模型的拉格朗日函数L(xt,k,r,et,k,λ,μ)：
L(xt,k,r,et,k,λ,μ)＝-QoE+λ1h1(xt,k,r)+μ1g1(xt,k,r,et,k) (10)
式(10)中，λ表示式(4)所示的约束条件的拉格朗日系数，μ表示式(9)所示的约束条件的拉格朗日系数；λ1表示函数h1(xt,k,r)的拉格朗日系数，μ1表示函数g1(xt,k,t,et,k)的拉格朗日系数；
步骤3.3、根据式(10)的拉格朗日函数L(xt,k,r,et,k,λ,μ)，得到如式(11)-式(16)所示的松弛后的点云视频的自适应传输模型的KKT条件：
Figure BDA0003040996780000114
Figure BDA0003040996780000115
h1(xt,k,r)＝0 (13)
g1(xt,k,t,et,k)≤0 (14)
λ1≠0,μ1≥0 (15)
μ1g1(xt,k,t,et,k)＝0 (16)
式(11)和式(12)表示对拉格朗日函数L(xt,k,r,et,k,λ,μ)取极值时的必要条件；式(13)和式(14)表示函数h1(xt,k,r),g1(xt,k,t,et,k)的约束条件；式(15)表示拉格朗日系数λ1,μ1的约束条件；式(16)表示互补松弛条件。
对式(11)-(16)进行求解，得到松弛后的点云视频自适应传输模型的最优解χrelax和最优的总效用值Zrelax；其中，最优解χrelax包括码率决策变量xt,k,r和形式决策变量et,k的松弛最优解；
步骤3.4、以最优解χrelax和最优总效用值Zrelax作为分支定界法的初始输入参数；
步骤3.5、定义分支定界法中分支迭代次数为k，定义分支定界法中最优总效用值的下界为L，定义分支定界法中最优总效用值的上界为U；
步骤3.6、初始化k＝0；
步骤3.7、初始化L＝0；
步骤3.8、初始化U＝Zrelax；
步骤3.9、用χk表示第k次分支的最优解，并将对应的总效用值记为Zk，再把最优解χrelax的值代入第k次分支的最优解χk，并以第k次分支的最优解χk作为根节点，从而进行步骤3.10的处理；
步骤3.10、判断第k次分支的最优解χk中是否存在不符合0-1约束条件的解，若存在，则将第k次分支的最优解χk中的松弛最优解分为符合0-1约束条件的解和不符合0-1约束条件的解χk(0,1)，并执行步骤3.11；否则，表示第k次分支的最优解χk是非松弛点云视频自适应传输模型的最优解；
步骤3.11、在(0，1)范围内随机产生一个第k次分支的随机数εk，并判断0＜χk(0,1)＜εk是否成立；若成立，则将约束条件“χk(0,1)＝0”加入到非松弛点云视频自适应传输模型中，形成第k次分支的子分支I；否则，则将约束条件“χk(0,1)＝1”加入到非松弛点云视频自适应传输模型中，形成第k次分支的子分支II；
步骤3.12、利用KKT条件求出第k次分支的子分支I和子分支II的松弛解，并作为第k+1次分支的最优解χk+1，并计算出第k+1次分支的最优解χk+1的最优总效用值Zk+1；
步骤3.13、判断第k+1次分支的最优值χk+1是否符合0-1约束条件，若是，则从最优总效用值Zk+1中找出最大值并赋值给L，且χk+1∈{0,1}；否则，从最优总效用值Zk+1中找出最大值并赋值给U，且χk+1∈{0,1}；
步骤3.14、判断Zk+1＜L是否成立；如果成立，则剪掉第k+1次分支的最优解χk+1所在的分支，并将k+1赋值给k后，返回步骤3.10；否则，执行步骤3.15；
步骤3.15、判断Zk+1＝L是否成立，若成立，则表示获得非松弛点云视频自适应传输模型的最优解即为第k+1分支的最优解χk+1，并将χk+1赋值给非松弛点云视频自适应传输模型的最优解χ0-1，将χk+1所对应的Zk+1赋值给非松弛点云视频自适应传输模型的最优总效用值Z0-1；否则，将k+1赋值给k后，返回步骤3.10。
步骤四、点云视频服务器根据用户视角，计算第t个帧组的第k个切块是否在用户视角内，用户视角可以根据用户所穿戴的显示设备进行实时捕捉，如果在视角外，则不传输相应切块，并将用户视角参数vt,k,r标记为“0”，否则，表示传输相应切块，并将用户视角参数vt,k,r标记为“1”，从而得到用户视角参数集合{vt,k,1,vt,k,2,...,vt,k,r,...,vt,k,R}，其中，vt,k,r表示第t个帧组的第k个切块是否传输；
步骤五、点云视频服务器根据网络环境中带宽大小和设备性能，决定第t个帧组的第k个切块的质量等级变量xt,k,r以及传输形式变量et,k的值，并在点云视频服务器中选择已存储的相应切块传输到客户端；
步骤六、点云播放客户端接收到第t个帧组的所有切块后，首先进行分组，将压缩形式和重构形式的切块进行分类，其中，压缩形式的切块进入解码器中进行解码并得到重构形式的切块，再进入点云播放客户端中的融合模块；而重构形式的切块直接进入融合模块；当第t个帧组的所有切块均进入融合模块后，由融合模块合成一个完整帧组的点云视频；
步骤七、融合模块将完整帧组的点云视频传输给点云播放客户端的缓存模块，当缓存模块中的帧组数目达到N时，缓存模块将N个帧组输出渲染模块中进行渲染处理后，输入至显示模块，从而播放经过QoE优化后的点云视频。

Claims (3)

1.一种QoE驱动下的联合资源分配的点云视频自适应传输方法，是应用于由一个点云视频服务器，一个点云播放客户端所组成的网络环境中；所述点云视频服务器和点云播放客户端之间是通过下行链路传输；所述下行链路中包含从点云播放客户端到点云视频服务器的反馈信道；其特征是，所述点云视频自适应传输方法按如下步骤进行：
步骤一、将一个包含F帧的点云视频在时间上划分成T个帧组，记为{G1,G2,...,Gt,...,GT}，其中，Gt表示点云视频中第t个帧组，1≤t≤T；
将第t个帧组Gt在空间上切分成数目为K＝L×L×L的切块，其中，L是在D×D×D的点云空间中每个维度划分的区间长度，其中，D为点云视频的采样深度；
将切分后的每个切块均压缩成R种码率等级的切块，其中，第t个帧组Gt的第k个切块经过压缩后得到的切块集合，记为
Figure FDA0003040996770000011
其中，
Figure FDA0003040996770000012
表示第t个帧组的第k个切块经过压缩后得到的第r种码率等级的切块，1≤r≤R，1≤k≤K；将切块集合
Figure FDA0003040996770000013
通过解码器得到对应的重构形式切块集合，记为
Figure FDA0003040996770000014
其中，
Figure FDA0003040996770000015
表示第t个帧组的第k个切块的第r种码率等级的切块
Figure FDA0003040996770000016
所对应的重构形式切块，从而将点云视频中所有帧组的切块进行处理后，存储在所述点云视频服务器中；
令切块集合中每个切块所包含的点个数为{Pt,k,1,Pt,k,2,...,Pt,k,r,...,Pt,k,R}，其中，Pt,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块
Figure FDA0003040996770000017
所包含的点个数；
令切块集合中每个切块的数据量为{St,k,1,St,k,2,...,St,k,r,...,St,k,R}，其中，St,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块
Figure FDA0003040996770000018
的数据量；
令切块集合中每个切块所需的解码时间为{Ct,k,1,Ct,k,2,...,Ct,k,r,...,Ct,k,R}，其中，Ct,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块
Figure FDA0003040996770000019
所需的解码时间；
步骤二、建立以最大化用户观看体验QoE的值作为最优化的目标函数，并设置相应的约束条件，从而建立点云视频的自适应传输模型；
步骤三、利用KKT条件和混合分支定界法对点云视频自适应传输模型进行求解，得到所述网络环境中下行链路传输的决策变量；
步骤四、所述点云视频服务器根据用户视角，计算第t个帧组的第k个切块是否在用户视角内，如果在视角外，则不传输相应切块，并将用户视角参数vt,k,r标记为“0”，否则，表示传输相应切块，并将用户视角参数vt,k,r标记为“1”，从而得到用户视角参数集合{vt,k,1,vt,k,2,...,vt,k,r,...,vt,k,R}，其中，vt,k,r表示第t个帧组Gt的第k个切块是否传输；
步骤五、所述点云视频服务器根据网络环境中带宽大小和设备性能，决定第t个帧组Gt的第k个切块的质量等级变量xt,k,r以及传输形式变量et,k的值，并在点云视频服务器中选择已存储的相应切块传输到客户端；
步骤六、所述点云播放客户端接收到第t个帧组Gt的所有切块后，首先进行分组，将压缩形式和重构形式的切块进行分类，其中，压缩形式的切块进入解码器中进行解码并得到重构形式的切块，再进入所述点云播放客户端中的融合模块；而重构形式的切块直接进入所述融合模块；当第t个帧组Gt的所有切块均进入所述融合模块后，由所述融合模块合成一个完整帧组的点云视频；
步骤七、所述融合模块将完整帧组的点云视频传输给所述点云播放客户端的缓存模块，当所述缓存模块中的帧组数目达到N时，所述缓存模块将N个帧组输出渲染模块中进行渲染处理后，输入至显示模块，从而播放经过QoE优化后的点云视频。
2.根据权利要求1所述的点云视频自适应传输方法，其特征是，所述步骤二是按如下过程进行：
步骤2.1、利用式(1)构建目标函数：
Figure FDA0003040996770000021
式(1)中，Qt,k表示第t个帧组Gt的第k个切块的质量，并有：
Figure FDA0003040996770000022
式(2)中，pt,k表示第t个帧组Gt传输至点云播放客户端时，用户视角距离第k个切块的距离，r表示质量等级；xt,k,r是自适应传输模型的码率决策变量，当xt,k,r＝1时，表示第t个帧组的第k个切块以质量等级为r的码率进行传输，当xt,k,r＝0时，表示第t个帧组的第k个切块不以质量等级为r的码率进行传输；QTt,k表示第t个帧组的第k个切块的相对点数比重，并有：
Figure FDA0003040996770000031
式(3)中，Nt,k,R表示第t个帧组Gt的第k个切块在质量等级为R时所包含的点数；
步骤2.2、利用式(4)-式(5)构建约束条件：
Figure FDA0003040996770000032
Figure FDA0003040996770000033
式(4)表示任意第t个帧组的第k个切块只能选择一种质量等级传输到点云播放客户端；
式(5)中，Tbt表示第t个帧组完全进入缓存模块时的缓存大小，Tbt大于0表示保证缓存中的内容不为空，并有：
Figure FDA0003040996770000034
式(6)表示第t个帧组时刻的缓存大小与第t-1个帧组时刻的缓存大小的关系，当t＝1时，Tbt-1＝b，其中，Tut表示第t个帧组Gt从点云服务器开始传输到完成解码的时间，并有：
Figure FDA0003040996770000035
式(7)中，BWt表示第t个帧组Gt传输至点云播放客户端时的下行信道的带宽；et,k表示第t个帧组Gt的第k个切块在下行信道中的传输形式，et,k是自适应传输模型中的形式决策变量，当et,k＝1时，表示服务器将切块
Figure FDA0003040996770000036
传输到客户端，当et,k＝0时，表示服务器将切块
Figure FDA0003040996770000037
传输到客户端；F表示帧组内包含的帧数，FPS表示视频每秒播放的帧数，Ct,k,r表示第t个帧组Gt的第k个切块经过压缩后得到的第r种码率等级的切块解码所需的计算资源；CU表示客户端能同时解码的切块的数目；
将式(6)简化为式(8)：
Tbt-Tbt-1＝f(xt,k,r,et,k) (8)
式(8)中，f(xt,k,r,et,k)表示从第t-1个帧组Gt-1进入缓存到第t个帧组Gt进入缓存所经过的时间，且
Figure FDA0003040996770000041
利用式(9)得到约束条件：
Figure FDA0003040996770000042
3.根据权利要求2所述的点云视频自适应传输方法，其特征是，所述步骤三是按如下过程进行：
步骤3.1、对所述点云视频的自适应传输模型中的码率决策变量xt,k,r和形式决策变量et,k进行松弛操作，分别得到[0，1]范围内的连续码率决策变量x′t,k,r和形式决策变量e′t,k；
步骤3.2、根据式(4)和式(9)的约束条件，将
Figure FDA0003040996770000043
记为函数h1(xt,k,r)；
将
Figure FDA0003040996770000044
记为函数g1(xt,k,t,et,k)；从而利用式(10)计算松弛后的点云视频的自适应传输模型的拉格朗日函数L(xt,k,r,et,k,λ,μ)：
L(xt,k,r,et,k,λ,μ)＝-QoE+λ1h1(xt,k,r)+μ1g1(xt,k,r,et,k) (10)
式(10)中，λ表示式(4)所示的约束条件的拉格朗日系数，μ表示式(9)所示的约束条件的拉格朗日系数；λ1表示函数h1(xt,k,r)的拉格朗日系数，μ1表示函数g1(xt,k,t,et,k)的拉格朗日系数；
步骤3.3、根据式(10)的拉格朗日函数L(xt,k,r,et,k,λ,μ)，得到如式(11)-式(16)所示的松弛后的点云视频的自适应传输模型的KKT条件：
Figure FDA0003040996770000045
Figure FDA0003040996770000046
h1(xt,k,r)＝0 (13)
g1(xt,k,t,et,k)≤0 (14)
λ1≠0,μ1≥0 (15)
μ1g1(xt,k,t,et,k)＝0 (16)
对式(11)-(16)进行求解，得到松弛后的点云视频自适应传输模型的最优解χrelax和最优的总效用值Zrelax；其中，最优解χrelax包括码率决策变量xt,k,r和形式决策变量et,k的松弛最优解；
步骤3.4、以最优解χrelax和最优总效用值Zrelax作为分支定界法的初始输入参数；
步骤3.5、定义所述分支定界法中分支迭代次数为k，定义所述分支定界法中最优总效用值的下界为L，定义所述分支定界法中最优总效用值的上界为U；
步骤3.6、初始化k＝0；
步骤3.7、初始化L＝0；
步骤3.8、初始化U＝Zrelax；
步骤3.9、用χk表示第k次分支的最优解，并将对应的总效用值记为Zk，再把最优解χrelax的值代入第k次分支的最优解χk，并以第k次分支的最优解χk作为根节点，从而进行步骤3.10的处理；
步骤3.10、判断第k次分支的最优解χk中是否存在不符合0-1约束条件的解，若存在，则将第k次分支的最优解χk中的松弛最优解分为符合0-1约束条件的解和不符合0-1约束条件的解χk(0,1)，并执行步骤3.11；否则，表示第k次分支的最优解χk是非松弛点云视频自适应传输模型的最优解；
步骤3.11、在(0，1)范围内随机产生一个第k次分支的随机数εk，并判断0＜χk(0,1)＜εk是否成立；若成立，则将约束条件“χk(0,1)＝0”加入到非松弛点云视频自适应传输模型中，形成第k次分支的子分支I；否则，则将约束条件“χk(0,1)＝1”加入到非松弛点云视频自适应传输模型中，形成第k次分支的子分支II；
步骤3.12、利用KKT条件求出第k次分支的子分支I和子分支II的松弛解，并作为第k+1次分支的最优解χk+1，并计算出第k+1次分支的最优解χk+1的最优总效用值Zk+1；
步骤3.13、判断第k+1次分支的最优值χk+1是否符合0-1约束条件，若是，则从所述最优总效用值Zk+1中找出最大值并赋值给L，且χk+1∈{0,1}；否则，从所述最优总效用值Zk+1中找出最大值并赋值给U，且χk+1∈{0,1}；
步骤3.14、判断Zk+1＜L是否成立；如果成立，则剪掉第k+1次分支的最优解χk+1所在的分支，并将k+1赋值给k后，返回步骤3.10；否则，执行步骤3.15；
步骤3.15、判断Zk+1＝L是否成立，若成立，则表示获得非松弛点云视频自适应传输模型的最优解即为第k+1分支的最优解χk+1，并将χk+1赋值给非松弛点云视频自适应传输模型的最优解χ0-1，将χk+1所对应的Zk+1赋值给非松弛点云视频自适应传输模型的最优总效用值Z0-1；否则，将k+1赋值给k后，返回步骤3.10。
CN202110457337.5A 2021-04-27 2021-04-27 QoE驱动下的联合资源分配的点云视频自适应传输方法 Active CN113141526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110457337.5A CN113141526B (zh) 2021-04-27 2021-04-27 QoE驱动下的联合资源分配的点云视频自适应传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110457337.5A CN113141526B (zh) 2021-04-27 2021-04-27 QoE驱动下的联合资源分配的点云视频自适应传输方法

Publications (2)

Publication Number Publication Date
CN113141526A true CN113141526A (zh) 2021-07-20
CN113141526B CN113141526B (zh) 2022-06-07

Family

ID=76813537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110457337.5A Active CN113141526B (zh) 2021-04-27 2021-04-27 QoE驱动下的联合资源分配的点云视频自适应传输方法

Country Status (1)

Country Link
CN (1) CN113141526B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688282A (zh) * 2021-07-23 2021-11-23 北京三快在线科技有限公司 一种数据处理方法、装置、电子设备及可读存储介质
CN113810736A (zh) * 2021-08-26 2021-12-17 北京邮电大学 一种ai驱动的实时点云视频传输方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109327867A (zh) * 2018-10-26 2019-02-12 西安交通大学 LTE网络下QoE驱动的视频码率自适应和资源分配联合算法
CN110266714A (zh) * 2019-06-28 2019-09-20 合肥工业大学 一种QoE驱动下的VR视频自适应采集与传输方法
EP3745354A1 (en) * 2019-05-29 2020-12-02 Nokia Technologies Oy Method and apparatus for storage and signaling of compressed point clouds
CN112449171A (zh) * 2019-09-03 2021-03-05 上海交通大学 点云分视角传输的编码方法、系统及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109327867A (zh) * 2018-10-26 2019-02-12 西安交通大学 LTE网络下QoE驱动的视频码率自适应和资源分配联合算法
EP3745354A1 (en) * 2019-05-29 2020-12-02 Nokia Technologies Oy Method and apparatus for storage and signaling of compressed point clouds
CN110266714A (zh) * 2019-06-28 2019-09-20 合肥工业大学 一种QoE驱动下的VR视频自适应采集与传输方法
CN112449171A (zh) * 2019-09-03 2021-03-05 上海交通大学 点云分视角传输的编码方法、系统及介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JIE LI; RANSHENG FENG; WEI SUN; ZHI LIU; QIYUE LI: "QoE-Driven Coupled Uplink and Downlink Rate Adaptation for 360-Degree Video Live Streaming", 《IEEE COMMUNICATIONS LETTERS》 *
JIE LI; RANSHENG FENG; WEI SUN; ZHI LIU; QIYUE LI: "QoE-Driven Coupled Uplink and Downlink Rate Adaptation for 360-Degree Video Live Streaming", 《IEEE COMMUNICATIONS LETTERS》, 30 April 2020 (2020-04-30) *
T. ISHIDA 、 T. NUNOME: "Multidimensional QoE Assessment of Multi-view Video and Selectable Audio (MVV-SA) IP Transmission", 《2013 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA》 *
T. ISHIDA 、 T. NUNOME: "Multidimensional QoE Assessment of Multi-view Video and Selectable Audio (MVV-SA) IP Transmission", 《2013 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA》, 11 December 2013 (2013-12-11) *
彭章友； 任衍杭； 张钟浩: "自适应视频流QoE评估研究", 《工业控制计算机》 *
彭章友； 任衍杭； 张钟浩: "自适应视频流QoE评估研究", 《工业控制计算机》, vol. 30, no. 9, 30 September 2017 (2017-09-30) *
黎洁、冯燃生、杨阳朝、孙伟、李奇越: "QoE驱动的VR视频自适应采集与传输", 《北京航空航天大学学报》, vol. 45, no. 12, 31 December 2019 (2019-12-31) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688282A (zh) * 2021-07-23 2021-11-23 北京三快在线科技有限公司 一种数据处理方法、装置、电子设备及可读存储介质
CN113810736A (zh) * 2021-08-26 2021-12-17 北京邮电大学 一种ai驱动的实时点云视频传输方法及系统

Also Published As

Publication number Publication date
CN113141526B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN108551586B (zh) 多用户360度视频流服务器端码率自适应分配方法及系统
CN110266714B (zh) 一种QoE驱动下的VR视频自适应采集与传输方法
CN113141526B (zh) QoE驱动下的联合资源分配的点云视频自适应传输方法
CN113329266B (zh) 一种基于有限用户视角反馈的全景视频自适应传输方法
Park et al. Volumetric media streaming for augmented reality
CN108200431B (zh) 一种视频编码码率控制帧层比特分配方法
US20130215219A1 (en) Multicasting multiview 3d video
Guarda et al. Point cloud geometry scalable coding with a single end-to-end deep learning model
Xue et al. Proto-object based rate control for JPEG2000: An approach to content-based scalability
CN112911347B (zh) 虚拟现实视频传输方法、系统、服务器端和客户端
Sivam et al. Survey on video compression techniques for efficient transmission
CN101715143A (zh) 自适应量化和自适应反量化的方法、装置及其系统
CN113395603B (zh) 一种基于模型预测控制的点云视频流自适应传输方法
CN117079108A (zh) 一种基于深度估计的云边协同视频流分析方法和装置
Shafi et al. MTC360: A multi-tiles configuration for viewport-dependent 360-degree video streaming
KR20240073054A (ko) 포인트 클라우드 데이터 프레임 압축
GARCIA et al. Point cloud reconstruction from truncated geometry-based streams
Naveen et al. An efficient low dynamic range image compression using improved block based EZW
CN115633179A (zh) 一种用于实时体积视频流传输的压缩方法
CN111586414B (zh) 一种基于svc和dash的360°视频流调度方法
CN110708548B (zh) 一种全景视频帧内比特分配的方法
CN118555410B (zh) 一种记录仪用视频图像快速传输方法、记录仪及系统
CN116996661B (zh) 三维视频展示方法、装置、设备及介质
Naveen et al. An improved block based EZW technique for low dynamic range image compression
JP2011176497A (ja) 映像伝送システム、映像伝送方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant