CN102685531B - 一种三维视频编码的深度和彩色码率分配方法 - Google Patents

一种三维视频编码的深度和彩色码率分配方法 Download PDF

Info

Publication number
CN102685531B
CN102685531B CN201210122017.5A CN201210122017A CN102685531B CN 102685531 B CN102685531 B CN 102685531B CN 201210122017 A CN201210122017 A CN 201210122017A CN 102685531 B CN102685531 B CN 102685531B
Authority
CN
China
Prior art keywords
video
original
viewpoint
color video
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210122017.5A
Other languages
English (en)
Other versions
CN102685531A (zh
Inventor
蒋刚毅
朱高锋
郁梅
王晓东
彭宗举
邵枫
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201210122017.5A priority Critical patent/CN102685531B/zh
Publication of CN102685531A publication Critical patent/CN102685531A/zh
Application granted granted Critical
Publication of CN102685531B publication Critical patent/CN102685531B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种三维视频编码的深度和彩色码率分配方法，其在获得最优的虚拟视点绘制质量情况下，通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频编码量化步长与原始左视点深度视频、原始右视点深度视频编码量化步长的关系模型，进而将彩色和深度比特分配问题描述为一个标准一元三次方程，再获得在一定码率下对原始左视点彩色视频、原始右视点彩色视频和原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，最后采用最佳初始编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码，不仅提高了虚拟视点视频的率失真性能，而且简化了码率分配操作过程。

Description

一种三维视频编码的深度和彩色码率分配方法
技术领域
本发明涉及一种视频信号的编码压缩方法，尤其是涉及一种三维视频编码的深度和彩色码率分配方法。
背景技术
三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。多视点彩色加深度(multi-view video plus depth，MVD)是目前ISO/MPEG推荐采用的3D场景信息表示方式。MVD数据为在多视点彩色图像的基础上增加了对应视点的深度信息，其通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素点对应的深度信息，采用基于深度图像的绘制(Depth Image BasedRendering，DIBR)技术来合成三维场景的虚拟视点图像。
然而，现有的三维视频编码的研究并没有充分考虑彩色视频与深度视频的最优码率分配问题，这是因为：一方面，由于彩色视频的编码失真和深度视频的编码失真都会对虚拟视点绘制产生影响；另一方面，各个视频序列都有自身的特点，不同测试视频序列的彩色视频的编码失真和深度视频的编码失真对虚拟视点绘制的影响是各不相同的。因此，如何在彩色视频与深度视频之间进行合理的码率分配，以及在总码率给定的情况下通过关系模型来确立对彩色视频和深度视频进行编码的编码量化参数，以保证获得最优的虚拟视点绘制质量，是对MVD数据的编码过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够有效地提高虚拟视点视频的率失真性能，并能够简化码率分配操作过程的三维视频编码的深度和彩色码率分配方法。
本发明解决上述技术问题所采用的技术方案为：一种三维视频编码的深度和彩色码率分配方法，其特征在于包括以下步骤：
①将外部三维视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色视频及其对应的深度视频定义为原始三维视频，在空域上该原始三维视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；
将介于左视点与右视点之间的视点作为虚拟视点；
将利用原始左视点彩色视频、原始右视点彩色视频经过编码、解码后对应得到的左视点彩色视频、右视点彩色视频与原始左视点深度视频、原始右视点深度视频经过编码、解码后对应得到的左视点深度视频、右视点深度视频进行虚拟视点绘制得到的虚拟视点视频的峰值信噪比的最大值作为最优的虚拟视点绘制质量；
②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为以保证获得最优的虚拟视点绘制质量，其中，min{}为取最小值函数，Rc表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，Rt(Qt)表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd(Qd)表示采用深度视频量化步长Qd对原始左视点深度视频、原始右视点深度视频进行编码的码率，Dv(Rt(Qt)，Rd(Qd))表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用深度视频量化步长Qd对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的绘制失真；
③在最优的虚拟视点绘制质量下，通过二次拟合方法建立用来编码原始左视点彩色视频、原始右视点彩色视频的彩色视频量化步长Qt与用来编码原始左视点深度视频、原始右视点深度视频的深度视频量化步长Qd的二次关系模型，记为
Figure BDA0000156606430000022
其中，a、b和c均为中的模型参数；
④通过线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率Rt与1/Qt的关系模型，记为
Figure BDA0000156606430000032
通过线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率Rd与1/Qd的关系模型，记为
Figure BDA0000156606430000033
其中，Xt和Lt均为
Figure BDA0000156606430000034
中的模型参数，Xd和Ld均为
Figure BDA0000156606430000035
中的模型参数；
⑤根据Qt与Qd的二次关系模型Rt与1/Qt的关系模型
Figure BDA0000156606430000037
Rd与1/Qd的关系模型
Figure BDA0000156606430000038
及码率分配模型
Figure BDA0000156606430000039
计算得到在最小的虚拟视点失真下的Qt与Tc的关系： X t Q t + L t + X d a Q t 2 + b Q t + c + L d ≤ R c , 然后对 X t Q t + L t + X d a Q t 2 + b Q t + c + L d ≤ R c 的两边取等号并化成标准一元三次方程，得到在最小的虚拟视点失真下的Qt与Rc的关系模型为 a ( R c - L t - L d ) X t Q t 3 + ( b ( R c - L t - L d ) X t - a ) Q t 2 + ( c ( R c - L t - L d ) - X d X t - b ) Q t - c = 0 ;
⑥在给定一个总码率Rc的情况下，根据在最小的虚拟视点失真下的Qt与Rc的关系模型 a ( R c - L t - L d ) X t Q t 3 + ( b ( R c - L t - L d ) X t - a ) Q t 2 + ( c ( R c - L t - L d ) - X d X t - b ) Q t - c = 0 , 获取对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长，记为
Figure BDA00001566064300000314
然后根据Qt与Qd的二次关系模型
Figure BDA00001566064300000315
获取对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，记为
Figure BDA00001566064300000316
⑦根据对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长
Figure BDA00001566064300000317
计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化参数，记为
Figure BDA00001566064300000318
然后根据设定的多视点视频编码结构采用
Figure BDA0000156606430000041
对原始左视点彩色视频、原始右视点彩色视频进行编码，其中，为向上取整数符号；根据对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长
Figure BDA0000156606430000043
计算对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，记为
Figure BDA0000156606430000044
Figure BDA0000156606430000045
然后根据设定的多视点视频编码结构采用
Figure BDA0000156606430000046
对原始左视点深度视频、原始右视点深度视频进行编码，其中，
Figure BDA0000156606430000047
为向上取整数符号。
所述的步骤③的具体过程为：
③-1、任取一个多视点视频序列，任取一个不大于64的编码量化步长作为原始左视点彩色视频、原始右视点彩色视频的编码量化步长，记为Qt0，对于Qt0选取N个各不相同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为Qd0，Qd1，…，Qdi，…，Qd(N-1)，将对采用Qt0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用Qdi分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制得到的虚拟视点视频记为Ivi(Qt0)，将原始左视点彩色视频与原始右视点彩色视频之间存在的中间彩色视频记为Iorg，分别计算Iv0(Qt0)，Iv1(Qt0)，…，Ivi(Qt0)，…，Iv(N-1)(Qt0)与Iorg的峰值信噪比，分别记为PSNR0(Qt0)，PSNR1(Qt0)，…，PSNRi(Qt0)，…，PSNRN-1(Qt0)，然后从PSNR0(Qt0)，PSNR1(Qt0)，…，PSNRi(Qt0)，…，PSNRN-1(Qt0)中选取数值最大的峰值信噪比，记为PSNRmax(Qt0)，再将PSNRmax(Qt0)作为最优的虚拟视点绘制质量，获得此最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，记为
Figure BDA0000156606430000048
其中，1≤N≤51，0≤i≤N-1；
③-2、选取M个大于Qt0且各不相同的编码量化步长，分别记为Qt1，…，Qtj，…，QtM，对于任意一个Qtj选取N个各不相同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为Qd0，Qd1，…，Qdi，…，Qd(N-1)，计算得到对采用该M个不同的编码量化步长分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的最优的虚拟视点绘制质量，对应的分别记为PSNRmax(Qt1)，PSNRmax(Qt2)，…，PSNRmax(Qtj)，…，PSNRmax(QtM)，获得此组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，分别记为
Figure BDA0000156606430000051
其中，1≤j≤M，1≤M≤51；
③-3、选取L个多视点视频序列，对于每一个视频序列分别执行步骤③-1至步骤③-2，得到L组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，然后采用二次拟合方法对总共的(L+1)组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对进行拟合，得到在最优的虚拟视点绘制质量下，对原始左视点彩色视频、原始右视点彩色视频进行编码的彩色视频量化步长Qt与对原始左视点深度视频、原始右视点深度视频进行编码的深度视频量化步长Qd的二次关系模型
Figure BDA0000156606430000052
其中，a、b和c均为
Figure BDA0000156606430000053
中的模型参数，L≥1。
所述的步骤④的具体过程为：
④-1、根据对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rtk|0≤k≤T-1}和对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长集合{Qtk|0≤k≤T-1}，采用线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长集合{Qtk|0≤k≤T-1}中的任意一个量化步长Qt与对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rtk|0≤k≤T-1}中的任意一个码率Rt的关系模型，记为
Figure BDA0000156606430000054
其中，Xt和Lt均为
Figure BDA0000156606430000055
中的模型参数，T表示对原始左视点彩色视频、原始右视点彩色视频进行编码的编码次数；
④-2、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{Rdk|0≤k≤D-1}和对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长集合{Qdk|0≤k≤D-1}，采用线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长集合{Qdk|0≤k≤D-1}中的任意一个量化步长Qt与对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{Rdk|0≤k≤D-1}中的任意一个码率Rd的关系模型，记为
Figure BDA0000156606430000061
其中，Xd和Ld均为
Figure BDA0000156606430000062
中的模型参数，D表示对原始左视点深度视频、原始右视点深度视频进行编码的编码次数。
与现有技术相比，本发明的优点在于：
1)本发明方法通过在获得最优的虚拟视点绘制质量情况下，通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频编码量化步长与原始左视点深度视频、原始右视点深度视频编码量化步长的关系模型，进而将彩色和深度比特分配问题描述为一个标准一元三次方程，通过求解方程分别获得在一定码率下对原始左视点彩色视频、原始右视点彩色视频和原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，最后采用最佳初始编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码，这一编码流程有别于传统的三维视频编码方法，不仅有效提高了虚拟视点视频的率失真性能，而且简化了码率分配操作过程。
2)本发明方法根据彩色视频的编码失真和深度视频的编码失真对虚拟视点图像绘制的影响，建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长与对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长之间的二次关系模型，避免了在编码过程中进行复杂的虚拟视点绘制操作，降低了计算复杂度。
附图说明
图1为本发明方法的总体实现框图；
图2a为“Newspaper”三维视频测试序列的第4个参考视点的一幅彩色图像；
图2b为“Newspaper”三维视频测试序列的第6个参考视点的一幅彩色图像；
图2c为图2a所示的彩色图像对应的深度图像；
图2d为图2b所示的彩色图像对应的深度图像；
图3a为“BookArrival”三维视频测试序列的第9个参考视点的一幅彩色图像；
图3b为“BookArrival”三维视频测试序列的第11个参考视点的一幅彩色图像；
图3c为图3a所示的彩色图像对应的深度图像；
图3d为图3b所示的彩色图像对应的深度图像；
图4a为“DoorFlowers”三维视频测试序列的第9个参考视点的一幅彩色图像；
图4b为“DoorFlowers”三维视频测试序列的第11个参考视点的一幅彩色图像；
图4c为图4a所示的彩色图像对应的深度图像；
图4d为图4b所示的彩色图像对应的深度图像；
图5a为“LeavingLaptop”三维视频测试序列的第9个参考视点的一幅彩色图像；
图5b为“LeavingLaptop”三维视频测试序列的第11个参考视点的一幅彩色图像；
图5c为图5a所示的彩色图像对应的深度图像；
图5d为图5b所示的彩色图像对应的深度图像；
图6为“Newspaper”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图；
图7为“BookArrival”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图；
图8为“DoorFlowers”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图；
图9为“LeavingLaptop”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图；
图10为对原始左右视点彩色视频的编码量化步长与码率的关系模型进行线性拟合的曲线示意图；
图11为对原始左右视点深度视频的编码量化步长与码率的关系模型进行线性拟合的曲线示意图；
图12为“Newspaper”三维视频测试序列采用本发明方法与采用固定码率比重方法得到的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；
图13为“BookArrival”三维视频测试序列采用本发明方法与采用固定码率比重方法得到的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；
图14为“DoorFlowers”三维视频测试序列采用本发明方法与采用固定码率比重方法得到的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图；
图15为“LeavingLaptop”三维视频测试序列采用本发明方法与采用固定码率比重方法得到的虚拟视点彩色图像的亮度分量Y的率失真性能曲线比较示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种三维视频编码的深度和彩色码率分配方法，其总体实现框图如图1所示，其包括以下步骤：
①将外部三维视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色视频及其对应的深度视频定义为原始三维视频，在空域上该原始三维视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；将介于左视点与右视点之间的视点作为虚拟视点；将利用原始左视点彩色视频、原始右视点彩色视频经过编码、解码后对应得到的左视点彩色视频、右视点彩色视频与原始左视点深度视频、原始右视点深度视频经过编码、解码后对应得到的左视点深度视频、右视点深度视频进行虚拟视点绘制得到的虚拟视点视频的峰值信噪比(PSNR，Peak Signal to NoiseRatio)的最大值作为最优的虚拟视点绘制质量。
在本实施中，采用德国HHI实验室提供的三维视频测试序列“BookArrival”、“DoorFlowers”、“LeavingLaptop”和韩国Gwangiu Institute of Science and Technology(GIST)提供的三维视频测试序列“Newspaper”作为原始三维视频，这四个三维视频测试序列的各幅彩色图像和各幅深度图像的分辨率均为1024×768。对于“BookArrival”、“DoorFlowers”、“LeavingLaptop”三维视频测试序列，将第9个参考视点作为原始三维视频的左视点，将第11个参考视点作为原始三维视频的右视点，将第10个视点作为原始三维视频的虚拟视点；对于“Newspaper”三维视频测试序列，将第4个参考视点作为原始三维视频的左视点，将第6个参考视点作为原始三维视频的右视点，将第5个视点作为原始三维视频的虚拟视点。图2a和图2b分别给出了“Newspaper”的第4个和第6个参考视点的彩色图像；图2c和图2d分别给出了“Newspaper”的第4个和第6个参考视点的深度图像；图3a和图3b分别给出了“BookArrival”的第9个和第11个参考视点的彩色图像；图3c和图3d分别给出了“BookArrival”的第9个和第11个参考视点的深度图像；图4a和图4b分别给出了“DoorFlowers”的第9个和第11个参考视点的彩色图像；图4c和图4d分别给出了“DoorFlowers”的第9个和第11个参考视点的深度图像；图5a和图5b分别给出了“LeavingLaptop”的第9个和第11个参考视点的彩色图像；图5c和图5d分别给出了“LeavingLaptop”的第9个和第11个参考视点的深度图像。
②由于深度是用来表征场景几何的负载信息，因此深度信息的编码质量会对后期虚拟视点图像的绘制产生影响，并且由于人眼感知是对彩色视频图像进行的，因此彩色视频图像的编码质量也会直接对后期虚拟视点图像的绘制质量产生影响。由于原始左右视点彩色视频的编码失真和原始左右视点深度视频的编码失真都会对虚拟视点图像绘制产生影响，因此本发明建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为
Figure BDA0000156606430000091
以保证获得最优的虚拟视点绘制质量，其中，min{}为取最小值函数，Rc表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，Rt(Qt)表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd(Qd)表示采用深度视频量化步长Qd对原始左视点深度视频、原始右视点深度视频进行编码的码率，Dv(Rt(Qt)，Rd(Qd))表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用深度视频量化步长Qd对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的绘制失真。
③在最优的虚拟视点绘制质量下，通过二次拟合方法建立用来编码原始左视点彩色视频、原始右视点彩色视频的彩色视频量化步长Qt与用来编码原始左视点深度视频、原始右视点深度视频的深度视频量化步长Qd的二次关系模型，记为
Figure BDA0000156606430000092
其中，a、b和c均为
Figure BDA0000156606430000093
中的模型参数。
在此具体实施例中，步骤③的具体过程为：
③-1、任取一个多视点视频序列，任取一个不大于64的编码量化步长作为原始左视点彩色视频、原始右视点彩色视频的编码量化步长，记为Qt0，对于Qt0选取N个各不相同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为Qd0，Qd1，…，Qdi，…，Qd(N-1)，将对采用Qt0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用Qdi分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制得到的虚拟视点视频记为Ivi(Qt0)，将原始左视点彩色视频与原始右视点彩色视频之间存在的中间彩色视频记为Iorg，分别计算Iv0(Qt0)，Iv1(Qt0)，…，Ivi(Qt0)，…，Iv(N-1)(Qt0)与Iorg的峰值信噪比，分别记为PSNR0(Qt0)，PSNR1(Qt0)，…，PSNRi(Qt0)，…，PSNRN-1(Qt0)，然后从PSNR0(Qt0)，PSNR1(Qt0)，…，PSNRi(Qt0)，…，PSNRN-1(Qt0)中选取数值最大的峰值信噪比，记为PSNRmax(Qt0)，再将PSNRmax(Qt0)作为最优的虚拟视点绘制质量，获得此最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，记为其中，1≤N≤51，0≤i≤N-1。
在此，取Qt0＝6.5，N＝15，Qd0＝8，Qd1＝10，Qd2＝13，Qd3＝16，Qd4＝20，Qd5＝26，Qd6＝32，Qd7＝40，Qd8＝52，Qd9＝64，Qd10＝80，Qd11＝104，Qd12＝128，Qd13＝160，Qd14＝208。
③-2、选取M个大于Qt0且各不相同的编码量化步长，分别记为Qt1，…，Qtj，…，QtM，对于任意一个Qtj选取N个各不相同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为Qd0，Qd1，…，Qdi，…，Qd(N-1)，计算得到对采用该M个不同的编码量化步长分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的最优的虚拟视点绘制质量，对应的分别记为PSNRmax(Qt1)，PSNRmac(Qt2)，…，PSNRmax(Qtj)，…，PSNRmax(QtM)，获得此组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，分别记为
Figure BDA0000156606430000102
其中，1≤j≤M，1≤M≤51。
在此，取M＝5，Qt1＝10，Qt2＝16，Qt3＝26，Qt4＝40，Qt5＝64，N＝15，Qd0＝8，Qd1＝10，Qd2＝13，Qd3＝16，Qd4＝20，Qd5＝26，Qd6＝32，Qd7＝40，Qd8＝52，Qd9＝64，Qd10＝80，Qd11＝104，Qd12＝128，Qd13＝160，Qd14＝208。
③-3、选取L个多视点视频序列，对于每一个视频序列分别执行步骤③-1至步骤③-2，得到L组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，然后采用二次拟合方法对总共的(L+1)组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对进行拟合，得到在最优的虚拟视点绘制质量下，对原始左视点彩色视频、原始右视点彩色视频进行编码的彩色视频量化步长Qt与对原始左视点深度视频、原始右视点深度视频进行编码的深度视频量化步长Qd的二次关系模型
Figure BDA0000156606430000111
其中，a、b和c均为
Figure BDA0000156606430000112
中的模型参数，L≥1。
在此，取L＝3，Qt与Qd的二次关系模型 Q d ≅ a Q t 2 + b Q t + c ≅ 0.00665 × Q t 2 - 0.1099 × Q t + 32.14 , 即取a＝0.00665，b＝-0.1099，c＝32.14。
图6给出了“Newspaper”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图，图7给出了“BookArrival”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图，图8给出了“DoorFlowers”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图，图9给出了“LeavingLaptop”三维视频测试序列采用本发明方法的二次原始左右视点彩色视频的编码量化步长与原始左右视点深度视频的编码量化步长模型的效果示意图，从图6、图7、图8和图9中可以看出由Qt与Qd的二次关系模型得到的最优编码(Qt，Qd)对经过编码传输后，能够在解码端得到最优的虚拟视点绘制质量。
④在总码率限制下，要考虑降低复杂度，并且需要合理地控制对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长，使得彩色视频和深度视频输出的码率满足目标总码率要求，因此本发明通过线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率Rt与1/Qt的关系模型，记为
Figure BDA0000156606430000114
通过线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率Rd与1/Qd的关系模型，记为
Figure BDA0000156606430000115
其中，Xt和Lt均为
Figure BDA0000156606430000116
中的模型参数，Xd和Ld均为
Figure BDA0000156606430000117
中的模型参数。
在此具体实施例中，步骤④的具体过程为：
④-1、根据对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rtk|0≤k≤T-1}和对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长集合{Qtk|0≤k≤T-1}，采用线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长集合{Qtk|0≤k≤T-1}中的任意一个量化步长Qt与对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rtk|0≤k≤T-1}中的任意一个码率Rt的关系模型，记为
Figure BDA0000156606430000121
其中，Xt和Lt均为中的模型参数，T表示对原始左视点彩色视频、原始右视点彩色视频进行编码的编码次数。
④-2、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{Rdk|0≤k≤D-1}和对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长集合{Qdk|0≤k≤D-1}，采用线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长集合{Qdk|0≤k≤D-1}中的任意一个量化步长Qt与对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{Rdk|0≤k≤D-1}中的任意一个码率Rd的关系模型，记为
Figure BDA0000156606430000123
其中，Xd和Ld均为中的模型参数，D表示对原始左视点深度视频、原始右视点深度视频进行编码的编码次数。
图10给出了对“Newspaper”、“BookArrival”、“DoorFlowers”和“LeavingLaptop”的原始左右视点彩色视频的编码量化步长Qt与码率Rt的关系模型进行线性拟合的曲线示意图，图11给出了对“Newspaper”、“BookArrival”、“DoorFlowers”和“LeavingLaptop”的原始左右视点深度视频的编码量化步长Qd与码率Rd的关系模型进行线性拟合的曲线示意图，从图10和图11中可以看出线性拟合能很好地反映编码量化步长与码率之间的关系。
⑤根据Qt与Qd的二次关系模型
Figure BDA0000156606430000125
Rt与1/Qt的关系模型Rd与1/Qd的关系模型
Figure BDA0000156606430000127
及码率分配模型即将 Q d ≅ a Q t 2 + b Q t + c , R t ≅ X t / Q t + L t 和 R d ≅ X d / Q d + L d 代入
Figure BDA0000156606430000135
中，计算得到在最小的虚拟视点失真下的Qt与Rc的关系： X t Q t + L t + X d a Q t 2 + b Q t + c + L d ≤ R c , 然后对 X t Q t + L t + X d a Q t 2 + b Q t + c + L d ≤ R c 的两边取等号并化成标准一元三次方程，得到在最小的虚拟视点失真下的Qt与Rc的关系模型为 a ( R c - L t - L d ) X t Q t 3 + ( b ( R c - L t - L d ) X t - a ) Q t 2 + ( c ( R c - L t - L d ) - X d X t - b ) Q t - c = 0 .
⑥在给定一个总码率Rc的情况下，根据在最小的虚拟视点失真下的Qt与Rc的关系模型 a ( R c - L t - L d ) X t Q t 3 + ( b ( R c - L t - L d ) X t - a ) Q t 2 + ( c ( R c - L t - L d ) - X d X t - b ) Q t - c = 0 , 可获取对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长，记为
Figure BDA00001566064300001310
然后根据Qt与Qd的二次关系模型
Figure BDA00001566064300001311
可获取对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，记为
Figure BDA00001566064300001312
在本实施例中，表1给出了本发明方法采用线性拟合得到的彩色视频与深度视频的编码量化步长与码率的关系模型的模型参数。采用本发明方法来确立对彩色视频和深度视频编码的最佳初始编码量化参数，采用四组不同的总码率Rc进行编码实验，如表2所列。
表1彩色视频与深度视频的编码量化步长与码率的关系模型的模型参数列表
Figure BDA00001566064300001313
表2各个三维视频测试序列的总码率Rc
  三维视频   RC1   RC2   RC3   RC4
  测试序列   (Mbps)   (Mbps)   (Mbps)   (Mbps)
  Newspaper   3.8   2.3   1.4   0.9
  BookArrival   3.9   2.0   1.2   0.8
  DoorFlowers   3.2   1.6   1.0   0.7
  LeavingLaptop   3.4   1.7   1.0   0.7
把RC、Xt、Lt、Xd、Ld、a、b和c的具体数值代入 a ( R c - L t - L d ) X t Q t 3 + ( b ( R c - L t - L d ) X t - a ) Q t 2 + ( c ( R c - L t - L d ) - X d X t - b ) Q t - c = 0 , 就可以得到一个只含具体数值的一元三次方程，再通过MATLAB软件中的solve函数求解这个一元三次方程，即可得到
Figure BDA0000156606430000142
的数值。把的具体数值代入
Figure BDA0000156606430000144
即可得到
Figure BDA0000156606430000145
的数值。
⑦根据对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长
Figure BDA0000156606430000146
计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化参数，记为
Figure BDA0000156606430000148
然后根据设定的多视点视频编码结构采用
Figure BDA0000156606430000149
对原始左视点彩色视频、原始右视点彩色视频进行编码，其中，
Figure BDA00001566064300001410
为向上取整数符号；根据对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长计算对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，记为
Figure BDA00001566064300001413
然后根据设定的多视点视频编码结构采用
Figure BDA00001566064300001414
对原始左视点深度视频、原始右视点深度视频进行编码，其中，
Figure BDA00001566064300001415
为向上取整数符号。
在本实施例中，设定的多视点视频编码结构为公知的HBP编码预测结构。
以下就利用本发明方法对“Newspaper”、“BookArrival”、“DoorFlowers”和“LeavingLaptop”三维视频测试序列的编码性能进行比较。
将采用本发明方法的虚拟视点绘制性能，与采用固定码率比重方法的虚拟视点绘制性能进行比较，图12给出了“Newspaper”经本发明方法绘制与经固定码率比重方法绘制的虚拟视点彩色视频图像的亮度分量Y的率失真性能曲线比较示意图，图13给出了“BookArrival”经本发明方法绘制与经固定码率比重方法绘制的虚拟视点彩色视频图像的亮度分量Y的率失真性能曲线比较示意图，图14给出了“DoorFlowers”经本发明方法绘制与经固定码率比重方法绘制的虚拟视点彩色视频图像的亮度分量Y的率失真性能曲线比较示意图，图15给出了“LeavingLaptop”经本发明方法绘制与经固定码率比重方法绘制的虚拟视点彩色视频图像的亮度分量Y的率失真性能曲线比较示意图，从图12至图15可以看出，采用本发明方法处理后，提高了虚拟视点图像的绘制性能。

Claims (3)

1.一种三维视频编码的深度和彩色码率分配方法，其特征在于包括以下步骤：
①将外部三维视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色视频及其对应的深度视频定义为原始三维视频，在空域上该原始三维视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；
将介于左视点与右视点之间的视点作为虚拟视点；
将利用原始左视点彩色视频、原始右视点彩色视频经过编码、解码后对应得到的左视点彩色视频、右视点彩色视频与原始左视点深度视频、原始右视点深度视频经过编码、解码后对应得到的左视点深度视频、右视点深度视频进行虚拟视点绘制得到的虚拟视点视频的峰值信噪比的最大值作为最优的虚拟视点绘制质量；
②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为以保证获得最优的虚拟视点绘制质量，其中，min{}为取最小值函数，Rc表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，Rt(Qt)表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，Rd(Qd)表示采用深度视频量化步长Qd对原始左视点深度视频、原始右视点深度视频进行编码的码率，Dv(Rt(Qt)，Rd(Qd))表示采用彩色视频量化步长Qt对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用深度视频量化步长Qd对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的绘制失真；
③在最优的虚拟视点绘制质量下，通过二次拟合方法建立用来编码原始左视点彩色视频、原始右视点彩色视频的彩色视频量化步长Qt与用来编码原始左视点深度视频、原始右视点深度视频的深度视频量化步长Qd的二次关系模型，记为
Figure FDA0000156606420000021
其中，a、b和c均为
Figure FDA0000156606420000022
中的模型参数；
④通过线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率Rt与1/Qt的关系模型，记为
Figure FDA0000156606420000023
通过线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率Rd与1/Qd的关系模型，记为
Figure FDA0000156606420000024
其中，Xt和Lt均为
Figure FDA0000156606420000025
中的模型参数，Xd和Ld均为
Figure FDA0000156606420000026
中的模型参数；
⑤根据Qt与Qd的二次关系模型
Figure FDA0000156606420000027
Rt与1/Qt的关系模型
Figure FDA0000156606420000028
Rd与1/Rd的关系模型
Figure FDA0000156606420000029
及码率分配模型
Figure FDA00001566064200000210
计算得到在最小的虚拟视点失真下的Qt与Rc的关系： X t Q t + L t + X d a Q t 2 + b Q t + c + L d ≤ R c , 然后对 X t Q t + L t + X d a Q t 2 + b Q t + c + L d ≤ R c 的两边取等号并化成标准一元三次方程，得到在最小的虚拟视点失真下的Qt与Rc的关系模型为 a ( R c - L t - L d ) X t Q t 3 + ( b ( R c - L t - L d ) X t - a ) Q t 2 + ( c ( R c - L t - L d ) - X d X t - b ) Q t - c = 0 ;
⑥在给定一个总码率Rc的情况下，根据在最小的虚拟视点失真下的Qt与Rc的关系模型 a ( R c - L t - L d ) X t Q t 3 + ( b ( R c - L t - L d ) X t - a ) Q t 2 + ( c ( R c - L t - L d ) - X d X t - b ) Q t - c = 0 , 获取对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长，记为
Figure FDA00001566064200000215
然后根据Qt与Qd的二次关系模型获取对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，记为
⑦根据对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长
Figure FDA0000156606420000031
计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化参数，记为
Figure FDA0000156606420000032
Figure FDA0000156606420000033
然后根据设定的多视点视频编码结构采用
Figure FDA0000156606420000034
对原始左视点彩色视频、原始右视点彩色视频进行编码，其中，为向上取整数符号；根据对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长
Figure FDA0000156606420000036
计算对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，记为
Figure FDA0000156606420000038
然后根据设定的多视点视频编码结构采用
Figure FDA0000156606420000039
对原始左视点深度视频、原始右视点深度视频进行编码，其中，
Figure FDA00001566064200000310
为向上取整数符号。
2.根据权利要求1所述的一种三维视频编码的深度和彩色码率分配方法，其特征在于所述的步骤③的具体过程为：
③-1、任取一个多视点视频序列，任取一个不大于64的编码量化步长作为原始左视点彩色视频、原始右视点彩色视频的编码量化步长，记为Qt0，对于Qt0选取N个各不相同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为Qd0，Qd1…，Qdi，…，Qd(N-1)，将对采用Qt0分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用Qdi分别对原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制得到的虚拟视点视频记为Ivi(Qt0)，将原始左视点彩色视频与原始右视点彩色视频之间存在的中间彩色视频记为Iorg，分别计算Iv0(Qt0)，Iv1(Qt0)，…，Ivi(Qt0)，…，Iv(N-1)(Qt0)与Iorg的峰值信噪比，分别记为PSNR0(Qt0)，PSNR1(Qt0)，…，PSNRi(Qt0)，…，PSNRN-1(Qt0)，然后从PSNR0(Qt0)，PSNR1(Qt0)，…，PSNRi(Qt0)，…，PSNRN-1(Qt0)中选取数值最大的峰值信噪比，记为PSNRmax(Qt0)，再将PSNRmax(Qt0)作为最优的虚拟视点绘制质量，获得此最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，记为
Figure FDA00001566064200000311
其中，1≤N≤51，0≤i≤N-1；
③-2、选取M个大于Qt0且各不相同的编码量化步长，分别记为Qt1，…，Qtj，…，QtM，对于任意一个Qtj选取N个各不相同的编码量化步长作为原始左视点深度视频、原始右视点深度视频的编码量化步长，分别记为Qd0，Qd1，…，Qdi，…，Qd(N-1)，计算得到对采用该M个不同的编码量化步长分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的最优的虚拟视点绘制质量，对应的分别记为PSNRmax(Qt1)，PSNRmax(Qt2)，…，PSNRmax(Qtj)，…，PSNRmax(QtM)，获得此组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，分别记为其中，1≤j≤M，1≤M≤51；
③-3、选取L个多视点视频序列，对于每一个视频序列分别执行步骤③-1至步骤③-2，得到L组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对，然后采用二次拟合方法对总共的(L+1)组最优的虚拟视点绘制质量的彩色视频和深度视频编码量化步长对进行拟合，得到在最优的虚拟视点绘制质量下，对原始左视点彩色视频、原始右视点彩色视频进行编码的彩色视频量化步长Qt与对原始左视点深度视频、原始右视点深度视频进行编码的深度视频量化步长Qd的二次关系模型
Figure FDA0000156606420000042
其中，a、b和c均为
Figure FDA0000156606420000043
中的模型参数，L≥1。
3.根据权利要求1或2所述的一种三维视频编码的深度和彩色码率分配方法，其特征在于所述的步骤④的具体过程为：
④-1、根据对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rtk|0≤k≤T-1}和对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长集合{Qtk|0≤k≤T-1}，采用线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长集合{Qtk|0≤k≤T-1}中的任意一个量化步长Qt与对原始左视点彩色视频、原始右视点彩色视频进行编码的平均码率集合{Rtk|0≤k≤T-1}中的任意一个码率Rt的关系模型，记为
Figure FDA0000156606420000044
其中，Xt和Lt均为
Figure FDA0000156606420000045
中的模型参数，T表示对原始左视点彩色视频、原始右视点彩色视频进行编码的编码次数；
④-2、根据对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{Rdk|0≤k≤D-1}和对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长集合{Qdk|0≤k≤D-1}，采用线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长集合{Qdk|0≤k≤D-1}中的任意一个量化步长Qt与对原始左视点深度视频、原始右视点深度视频进行编码的平均码率集合{Rdk|0≤k≤D-1}中的任意一个码率Rd的关系模型，记为
Figure FDA0000156606420000051
其中，Xd和Ld均为
Figure FDA0000156606420000052
中的模型参数，D表示对原始左视点深度视频、原始右视点深度视频进行编码的编码次数。
CN201210122017.5A 2012-04-24 2012-04-24 一种三维视频编码的深度和彩色码率分配方法 Expired - Fee Related CN102685531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210122017.5A CN102685531B (zh) 2012-04-24 2012-04-24 一种三维视频编码的深度和彩色码率分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210122017.5A CN102685531B (zh) 2012-04-24 2012-04-24 一种三维视频编码的深度和彩色码率分配方法

Publications (2)

Publication Number Publication Date
CN102685531A CN102685531A (zh) 2012-09-19
CN102685531B true CN102685531B (zh) 2014-04-16

Family

ID=46816805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210122017.5A Expired - Fee Related CN102685531B (zh) 2012-04-24 2012-04-24 一种三维视频编码的深度和彩色码率分配方法

Country Status (1)

Country Link
CN (1) CN102685531B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284196B (zh) * 2014-10-28 2017-06-30 天津大学 彩色与深度视频联合编码的比特分配及码率控制算法
CN106878712B (zh) * 2017-01-17 2019-12-06 天津大学 一种深度视频帧级比特分配方法
US10311630B2 (en) * 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
CN112907740B (zh) * 2021-01-29 2023-07-14 国网山东省电力公司 基于gis的不动产可视化展示方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101094411A (zh) * 2007-07-03 2007-12-26 芯瀚电子技术（上海）有限公司 一种视频编码的码率控制方法
EP2227022A1 (en) * 2008-03-11 2010-09-08 Shenzhen Temobi Science & Tech Development Co., Ltd. A self-adapting code rate distribution method of video image macro-block level
CN102065296A (zh) * 2011-01-06 2011-05-18 宁波大学 一种三维立体视频编码方法
CN102413353A (zh) * 2011-12-28 2012-04-11 清华大学 立体视频编码过程的多视点视频和深度图的码率分配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101094411A (zh) * 2007-07-03 2007-12-26 芯瀚电子技术（上海）有限公司 一种视频编码的码率控制方法
EP2227022A1 (en) * 2008-03-11 2010-09-08 Shenzhen Temobi Science & Tech Development Co., Ltd. A self-adapting code rate distribution method of video image macro-block level
CN102065296A (zh) * 2011-01-06 2011-05-18 宁波大学 一种三维立体视频编码方法
CN102413353A (zh) * 2011-12-28 2012-04-11 清华大学 立体视频编码过程的多视点视频和深度图的码率分配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱仲杰等.面向立体视频的比特分配与码率控制算法.《通信学报》.2007,(第07期),
面向立体视频的比特分配与码率控制算法;朱仲杰等;《通信学报》;20070715(第07期);15-21 *

Also Published As

Publication number Publication date
CN102685531A (zh) 2012-09-19

Similar Documents

Publication Publication Date Title
CN103002306B (zh) 一种深度图像编码方法
CN102685531B (zh) 一种三维视频编码的深度和彩色码率分配方法
CN106937116B (zh) 基于随机训练集自适应学习的低复杂度视频编码方法
CN102065296B (zh) 一种三维立体视频编码方法
EP3429208A1 (en) A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
CN104994382B (zh) 一种感知率失真的优化方法
CN106303521B (zh) 一种基于感知敏感度的hevc率失真优化方法
CN102438167B (zh) 一种基于深度图像绘制的立体视频编码方法
CN101986716A (zh) 一种快速深度视频编码方法
CN104780379A (zh) 一种屏幕图像集合的压缩方法
CN102710949B (zh) 一种基于视觉感知的立体视频编码方法
CN103763564A (zh) 基于边缘无损压缩的深度图编码方法
CN101710985A (zh) 一种用于图像编码的图像亮度补偿方法
CN100596210C (zh) 一种基于亚像素的立体图像的视差提取方法
CN104780383A (zh) 一种3d-hevc多分辨率视频编码方法
CN102769749A (zh) 一种深度图像的后处理方法
CN103686176B (zh) 一种用于视频编码的码率估计方法
CN103179423B (zh) 一种交互式三维视频系统中的信号处理方法
CN104244008B (zh) 一种深度视频编码方法
CN102523468B (zh) 一种三维立体视频编码的最佳码率比重确立方法
CN103997653A (zh) 一种基于边缘的面向虚拟视绘制的深度视频的编码方法
CN103002282B (zh) 一种颜色数目自适应决策方法和图像压缩方法
CN102355582B (zh) 一种三维立体视频编码的率失真模型优化方法
CN104394399A (zh) 深度视频编码的三边滤波方法
CN104284196B (zh) 彩色与深度视频联合编码的比特分配及码率控制算法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140416

Termination date: 20210424

CF01 Termination of patent right due to non-payment of annual fee