CN104159095B - 一种多视点纹理视频和深度图编码的码率控制方法 - Google Patents

一种多视点纹理视频和深度图编码的码率控制方法 Download PDF

Info

Publication number
CN104159095B
CN104159095B CN201410387352.7A CN201410387352A CN104159095B CN 104159095 B CN104159095 B CN 104159095B CN 201410387352 A CN201410387352 A CN 201410387352A CN 104159095 B CN104159095 B CN 104159095B
Authority
CN
China
Prior art keywords
depth map
texture video
video
bit rate
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410387352.7A
Other languages
English (en)
Other versions
CN104159095A (zh
Inventor
沈礼权
曹志明
胡乾乾
赵振军
张兆扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201410387352.7A priority Critical patent/CN104159095B/zh
Publication of CN104159095A publication Critical patent/CN104159095A/zh
Application granted granted Critical
Publication of CN104159095B publication Critical patent/CN104159095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种多视点纹理视频和深度图编码的码率控制方法，该方法，给定目标比特速率，编码端基于多视点纹理视频和深度图编码，进行编码视点之间的码率分配，纹理视频与深度图之间的码率分配，码率控制图像组（RCGOP）级的码率分配，纹理视频和深度图（TD）单元级的码率分配和帧级的码率分配算法来实现码率控制。该方法对多视点纹理视频和深度图编码的码率控制提供了一个通用的处理框架，能提高码率控制精度，降低计算复杂度，并提高了编码效率。

Description

一种多视点纹理视频和深度图编码的码率控制方法
技术领域
本发明属于多媒体通信技术领域，特别涉及一种高效的多视点纹理视频和深度图编码的码率控制方法。
背景技术
在视频传输中，现有网络带宽是有限、不稳定的，并且随着高清视频、三维（3D）视频的普及，视频数据量越来越大，网络带宽资源严重不足。仅依靠高压缩比来编码传输视频，将严重降低视频显示质量。视频编码的码率控制方法能充分利用有限的网络资源，实时调整视频编码器的输出码率，获取视频质量和带宽利用之间的最佳均衡，以提高信道利用率。
3D视频有众多表示方法，多视点纹理视频和深度图表示方法因具有较好的二维（2D）视频兼容性和较小的虚拟绘制视点失真而受到青睐，该3D视频表示方法在发送端只需编码和传输有限视角的视频，其他视角的视频通过基于深度图的绘制视点在接收端重建获得（见阅文献[1]），因此，多视点纹理视频和深度图表示方法提高了3D视频编码的效率，是目前常用的一种3D视频表示方法。在H.264标准现有的码率控制方法中，基于单视点的2D视频编码的码率控制方法通常是从图像组（GOP）结构（IPP,IBP，IBBP），帧类型（I帧，P帧和B帧），缓存限制等角度入手，然后通过动态调节量化参数Qp等编码器参数，最终逼近期望比特数。然而在单视点的2D视频编码的码率控制方法基础上，通用的多视点纹理视频和深度图编码的码率控制方法还需要考虑视点之间的比特数分配，纹理视频与深度图之间的比特数分配等的问题，再通过动态调节量化参数Qp等编码器参数，逼近期望比特数。因此，单视点的2D视频编码的码率控制方法不能直接应用到多视点纹理视频和深度图编码的码率控制方法中。
H. Yuan等人发表在国际电气电子工程师协会杂志《针对视频技术的电路与系统》（IEEE Trans. on Circuits and Systems for Video Technology）上的文章《3D视频编码的基于模型的纹理视频和深度图联合比特分配》（Model-Based Joint Bit AllocationBetween Texture Videos and Depth Maps for 3-D Video Coding）中指出：在3D视频编码中，为了使虚拟绘制视点的失真最小化，可以建立虚拟绘制视点的失真、纹理视频的码率、深度图的码率、所有的码率的关系式，具体如下码率失真关系式：
其中，是虚拟绘制视点的失真，表示纹理视频的码率，单位为比特/像素，表示深度图的码率，表示所有的码率，在该文还提出虚拟绘制视点的失真、纹理视频的失真、深度图的失真的关系；码率与量化步长倒数的线性关系，建立编码失真与量化步长的线性关系，各量化步长与各码率之间的受限方程式组为：
其中，表示纹理视频的量化步长，分别表示深度图的量化步长，表示纹理视频的量化步长的系数，表示深度图的量化步长的系数，表示虚拟绘制视点的失真与编码量化步长的系数，和表示纹理视频编码的码率量化步长关系式的系数，和表示深度图编码的码率深量化步长关系式的系数。
上述每一个量化参数Qp对应一个固定的量化步长，求解出的各量化步长的量化参数Qp，利用量化参数Qp编码视频序列。但是，该码率与失真关系的不足之处在于，由于编解码后的纹理视频会通过显示器呈现给观众，上述模型只考虑了虚拟绘制视点的失真，没有考虑编码的纹理视频的失真，而且，通过求解编码量化步长与码率之间的受限方程组获得编码量化步长直接用于编码，导致码率控制非常不精确，并且随着视频分辨率变大，码率控制误差进一步扩大，因此，需要进一步修正。
此外，Y. Morvan等人在文献[2]中指出：在给定的目标码率下，每间隔2逐步调整纹理视频和深度图的量化参数Qp并编码，此种方法能获得最小的虚拟绘制视点失真，但计算复杂度高。
针对以上两种方法的不足，有必要找到一个既有较低计算复杂度，又有较高码率控制精度及较高编码质量的通用码率控制方法。
文献[1]: C. Fehn, “Depth-Image-Based Rendering (DIBR), compressionand transmission for a new approach on 3D-TV,” Proc. SPIE, Stereoscopic ImageProcess. Render., vol. 5291, pp. 93-104, Jan. 2004.
文献[2]: Y. Morvan, D. Farin, and P. H. N. de With, “Joint depth/texture bit allocation for multi-view video compression,” in Proc. 26th PCS,Nov. 2007, pp. 265-268。
发明内容
本发明的目的是为了克服已有技术的不足，提供一种高效的多视点纹理视频和深度图编码的码率控制方法，该方法能提高码率控制精度，降低计算复杂度。
为了达到上述目的，本发明提出了一种多视点纹理视频和深度图编码的码率控制方法，其特征在于，给定目标比特速率，编码端基于多视点纹理视频和深度图编码，进行编码视点之间的码率分配，纹理视频与深度图之间的码率分配，码率控制图像组（RCGOP,Rate control group of pictures）级的码率分配，纹理视频和深度图（TD，TextureDepth）单元级的码率分配和帧级的码率分配算法来实现码率控制，其具体步骤如下：
(1)、预编码一个图像组，获取码率控制方法初始的特征参数；
(2)、根据给定目标比特速率，计算码率控制图像组（RCGOP）所能分配的码率；
(3)、计算纹理视频和深度图（TD）单元的目标码率，得到非关键的纹理视频和深度图（TD）单元的目标码率；
(4)、计算当前纹理视频和深度图（TD）单元的目标比特数；
(5)、根据步骤(1)中预编码获取的视频序列的特征参数{A，B，C，，，，，和}，计算最优的纹理视频与深度图之间的目标码率比例；
(6)、统计最优的编码视点之间目标码率比例；
(7)、根据步骤(4)中所述的当前纹理视频和深度图（TD）单元的目标比特数、与步骤(5)所述的纹理视频与深度图之间的目标码率比例、以及步骤(6)所述的编码视点之间目标码率比例，计算当前帧的目标比特数；
(8)、根据当前帧的目标比特数和当前帧的量化步长的二项式模型关系，计算当前帧的量化步长，得到当前帧的量化参数Qp；
(9)、以量化参数Qp编码当前纹理视频帧或深度图帧；
(10)、判断编码纹理视频和深度图（TD)单元中所有帧是否结束，选择跳转位置。
上述步骤(2)所述的计算码率控制图像组（RCGOP）所能分配的码率，其计算式为：
其中，为给定目标比特速率，为码率控制图像组（RCGOP）长度，为视点数目，为视频编码帧率。
上述步骤(3)所述的计算纹理视频和深度图（TD）单元的目标码率，得到非关键的纹理视频和深度图（TD）单元的目标码率，其步骤如下：
(3-1)、计算关键的纹理视频和深度图（TD）单元的目标码率，记为，如下：
其中，表示每一个纹理视频和深度图（TD）单元分配的平均目标码率， 表示分级层数， GOP为8，则可分为3个分级层， 表示非关键的纹理视频和深度图（TD）单元的数目， 表示当前层中非关键的纹理视频和深度图（TD）单元的数目， 表示当前层中非关键的纹理视频和深度图（TD）单元的分级因子；
(3-2)、利用可分级因子得到非关键的纹理视频和深度图（TD）单元的目标码率，记为，其计算式为：
上述步骤(4)所述的计算当前纹理视频和和深度图（TD）单元的目标比特数，其步骤如下：
(4-1)、根据码率控制图像组（RCGOP）的剩余比特数，计算当前关键的纹理视频和深度图（TD）单元的目标比特数，计算式为：
其中，表示当前码率控制图像组（RCGOP）中的剩余关键的纹理视频和深度图（TD）单元数，表示第层中剩余非关键的纹理视频和深度图（TD）单元数，为当前码率控制图像组（RCGOP）中的剩余比特数，i表示第i个码率控制图像组（RCGOP），表示第个纹理视频和深度图（TD）单元， 表示当前纹理视频和深度图（TD）单元的目标码率， 为关键的纹理视频和深度图（TD）单元的目标码率， 为非关键的纹理视频和深度图（TD）单元的目标码率；
(4-2)、计算当前纹理视频和深度图（TD）单元的目标比特数，记为，其计算式如下：
其中，为目标缓冲级， 为当前缓冲器满溢程度， 为当前剩余可用码率， 为视频编码帧率， 为小于1的常量；
(4-3)、由和加权，计算当前关键的纹理视频和深度图（TD）单元的目标比特数，其计算式为：
其中，为小于1的常量；
（4-4）、如果当前的纹理视频和深度图（TD）单元为关键的纹理视频和深度图（TD）单元，则直接跳转到步骤（5),如果当前的纹理视频和深度图（TD）单元为非关键的纹理视频和深度图（TD）单元，则其目标比特数为， 为小于1的常量。
上述步骤(5)所述的计算最优的纹理视频与深度图之间的目标码率比例，其步骤如下：
(5-1)、设视频失真和码率之间的失真关系式，其失真表达式为：
其中，和为虚拟视点和编码视点的比例因子， 表示纹理视频的目标码率，表示深度图的目标码率， 表示所有的目标码率，表示虚拟视点的绘制失真，表示纹理视频的编码失真， 表示纹理视频需要使用比深度图多的比特数；
(5-2)、设步骤(5-1)中的虚拟视点的绘制失真为纹理视频的编码失真和深度图的编码失真的加权值，其表达式为：
其中为虚拟视点的绘制失真值，为虚拟视点相邻两视点的纹理视频的编码失真均值，为虚拟视点相邻两视点的深度图的编码失真均值，A，B，C分别为虚拟绘制视点的失真参数、纹理视频的失真参数、深度图的失真参数；
(5-3)、定义步骤(5-1)中的纹理视频的编码失真和纹理视频的码率之间的码率失真模型，其表达式如下：
其中，为纹理视频的编码失真值， 为纹理视频的目标码率， ，，为预编码得到的纹理视频的码率失真模型的常系数；
（5-4）、定义步骤(5-2)中的深度图的编码失真和深度图的码率之间的码率失真模型，其表达式如下：
其中，为深度图的编码失真值， 为深度图的目标码率， ，，为预编码得到的深度图的码率失真模型的常系数；
(5-5)、根据步骤(5-1)所述的视频显示质量和码率之间的失真表达式、步骤(5-2)所述的虚拟视点编码失真的加权值、步骤(5-3)所述的纹理视频的编码失真值、步骤（5-4）所述的深度图的编码失真值，建立纹理视频码率、深度图码率、及所有的目标码率的表达式，其表达式如下：
(5-6)、利用拉格朗日乘子法将步骤(5-5)中所述的表达式转换为如下表达式：
(5-7)、利用计算机软件编程中的二分法求解上述步骤(5-6)中所述的表达式，计算最优的纹理视频与深度图之间的目标码率比例，
如果当前帧为纹理视频帧，则目标码率比例表达式为：
如果当前帧为深度图帧， 则目标码率比例表达式为：
上述步骤(6)所述的统计最优的编码视点之间目标码率比例，其步骤如下：
(6-1)、固定纹理视频的量化参数Qp，其深度图的量化参数Qp在固定的纹理视频的量化参数Qp的基础上，每次递增2逐步调整，最大增加10，编码一个码率控制图像组（RCGOP）；
(6-2)、计算最优的编码视点之间目标码率比例，记为，其计算式为：
其中，表示当前视点的实际码率，为所有视点的码率。
上述步骤(7)所述的计算当前帧的目标比特数，其计算式如下：
上述步骤(8)所述的根据当前帧的目标比特数和当前帧的量化步长的二项式模型关系，计算当前帧的量化步长，二项式模型的计算式为：
其中，，为模型参数，H为头信息，MAD为平均绝对误差，在H.264编码标准中，量化步长与量化参数Qp存在一一对应的关系，得到当前帧的量化参数Qp。
上述步骤(9)所述的以量化参数Qp编码当前纹理视频帧或深度图帧，其具体如下：
(9-1)、编码纹理视频帧或深度图帧，获得该帧的真实码率；
(9-2)、计算剩余可用码率，其中，符号表示取两个数的最大值。
上述步骤(10)所述的判断编码纹理视频和深度图（TD）单元中所有帧是否结束，选择跳转位置，其具体步骤如下：
(10-1)、如果编码当前纹理视频和深度图（TD）单元中所有帧没有结束，则跳转至步骤(7)；
(10-2)、如果编码当前纹理视频和深度图（TD）单元中所有帧结束，并且纹理视频和深度图（TD）单元的序号与码率控制图像组（RCGOP）长度不相等，即,则令，跳转至步骤(3)；
(10-3)、如果编码当前纹理视频和深度图（TD）单元中所有帧结束，并且纹理视频和深度图（TD）单元的序号与码率控制图像组（RCGOP）长度相等，即,则令，跳转至步骤(2)。
本发明实用性强，性能优越，主要有如下有益效果：
对多视点纹理视频和深度图编码的码率控制提供了一个通用的处理框架，能提高码率控制精度，降低计算复杂度，并提高了编码效率。
附图说明
图1是本发明实例中以不同的初始化的量化参数Qp编码视频序列的一组长度为8码率控制图像组（RCGOP）的编码预测结构图；
图2是本发明的一种多视点纹理视频和深度图编码的码率控制方法的流程框图。
具体实施方式
以下将结合附图对本发明的技术方案作进一步的详细描述。
本发明实例中采用国际运动图像专家组（Moving Picture Experts Group，MPEG）组织提供的参考软件3DV-ATM，PIP三视点结构，编码器GOP为分层B帧结构，一个GOP中B帧占数量为7，I帧或P帧占数量为1；视频编码帧率，如图1所示，以不同的初始化的量化参数Qp编码视频序列的一组长度为8码率控制图像组（RCGOP），图中，箭头表示编码的空间预测方向，水平方向的数字，0-8为按视频显示先后顺序排列的9帧的编号，垂直方向为视点方向，其中，T1，T5，T9表示1，5，9视点的纹理视频，D1，D5，D9表示1，5，9视点的深度图。
如图2所示，本实施例的一种多视点纹理视频和深度图编码的码率控制方法为：给定目标比特速率，编码端基于多视点纹理视频和深度图编码，进行编码视点之间的码率分配，纹理视频与深度图之间的码率分配，码率控制图像组（RCGOP）级的码率分配，纹理视频和深度图（TD）单元级的码率分配和帧级的码率分配算法来实现码率控制，其具体步骤如下：
(1)、预编码一个图像组，获取码率控制方法初始的特征参数
以不同的初始化的量化参数Qp，例如Qp=17，Qp=22，Qp=27，分别编码视频序列的一组GOP帧，在信息库中记录下每个视频序列的特征参数{A，B，C，，，，，和}，其中，字母下标t表示视点的纹理视频的标记，字母下标d表示视点的深度图的标记，A，B，C分别为虚拟绘制视点的失真参数、纹理视频的失真参数、深度图的失真参数；，，分别为纹理视频的码率失真、视点失真的幂函数关系式中的参数，，，为深度图的码率失真、视点失真的幂函数关系式中的参数；
(2)、根据给定目标比特速率，计算码率控制图像组（RCGOP）所能分配的码率
计算一个码率控制图像组（RCGOP）所能分配的码率，其计算式为：
，
例如，；
更新剩余可用码率，首次运行时，初始化为零，其中，为目标比特速率，为码率控制图像组（RCGOP）长度，为视点数目，为视频编码帧率，为剩余可用码率；
(3)、计算纹理视频和深度图（TD）单元的目标码率，得到非关键的纹理视频和深度图（TD）单元的目标码率，其步骤如下：
(3-1)、计算关键的纹理视频和深度图（TD）单元的目标码率，记为，如下：
其中，表示每一个纹理视频和深度图（TD）单元分配的平均目标码率，表示当前层中非关键的纹理视频，=1， =2， =4， 表示深度图（TD）单元的数目及可分级因子，=0.5， =0.25， =0.22， 表示分级层数，，GOP为8，则可分为3个分级层，表示非关键的纹理视频和深度图（TD）单元的数目，表示当前层中非关键的纹理视频和深度图（TD）单元的数目， 为当前层中非关键的纹理视频和深度图（TD）单元的分级因子；
(3-2)、利用可分级因子得到非关键的纹理视频和深度图（TD）单元的目标码率，记为，其计算式为：
(4)、计算当前纹理视频和和深度图（TD）单元的目标码率数，其步骤如下：
(4-1)、根据码率控制图像组（RCGOP）的剩余比特数，计算当前关键的纹理视频和深度图（TD）单元的目标码数，计算式为：
其中，表示当前码率控制图像组（RCGOP）中的剩余关键的纹理视频和深度图（TD）单元数，表示第层中剩余非关键的纹理视频和深度图（TD）单元数， 为当前码率控制图像组（RCGOP）中的剩余比特数，表示第个码率控制图像组（RCGOP），表示第个纹理视频和深度图（TD）单元， 表示当前纹理视频和深度图（TD）单元的目标码率，为关键的纹理视频和深度图（TD）单元的目标码率，为非关键的纹理视频和深度图（TD）单元的目标码率；
(4-2)、计算当前纹理视频和深度图（TD）单元的目标比特数，记为，其计算式如下：
其中，为目标缓冲级， 为当前缓冲器满溢程度， 为当前剩余可用码率，为视频编码帧率；
(4-3)、由和加权，计算当前关键的纹理视频和深度图（TD）单元的目标比特数，其计算式为：
（4-4）如果当前的纹理视频和和深度图（TD）单元为关键的纹理视频和深度图（TD）单元，则直接跳转到步骤（5),如果当前的纹理视频和和深度图（TD）单元为非关键的纹理视频和深度图（TD）单元，则其目标比特数为；
(5)、根据步骤(1)中预编码获取的视频序列的特征参数{A，B，C，，，，，和}，计算最优的纹理视频和深度图（TD）之间的目标码率比例，其步骤如下：
(5-1)、设视频失真和码率之间的失真关系式，其失真表达式为：
其中，和为虚拟视点和编码视点的比例因子，例如，为6，为3，表示纹理视频的目标码率， 表示深度图的目标码率， 表示所有目标码率，表示虚拟视点的绘制失真，表示纹理视频的编码失真，表示纹理视频需要使用比深度图多的比特数；
(5-2)、设步骤(5-1)中的虚拟视点的绘制失真为纹理视频的编码失真和深度图的编码失真的加权值，其表达式为：
其中为虚拟视点的绘制失真值，为虚拟视点相邻两视点的纹理视频的编码失真均值，为虚拟视点相邻两视点的深度图的编码失真均值，A，B，C分别为虚拟绘制视点的失真参数、纹理视频的失真参数、深度图的失真参数；
(5-3)、定义步骤(5-1)中的纹理视频的编码失真和纹理视频的码率之间的码率失真模型，其表达式如下：
其中，为纹理视频的编码失真值，为纹理视频的目标码率，，，为预编码得到的纹理视频的码率失真模型的常系数；
（5-4）、定义步骤(5-2)中的深度图的编码失真和深度图的码率之间的码率失真模型，其表达式如下：
其中，为深度图的编码失真值，为深度图的目标码率，，，为预编码得到的深度图的码率失真模型的常系数；
(5-5)、根据步骤(5-1)所述的视频显示质量和码率之间的失真表达式、步骤(5-2)所述的虚拟视点编码失真的加权值、步骤(5-3)所述的纹理视频的编码失真值、步骤（5-4）所述的深度图的编码失真值，建立纹理视频码率、深度图码率、及所有目标码率的表达式，其表达式如下：
(5-6)、利用拉格朗日乘子法将步骤(5-5)中所述的表达式转换为如下表达式：
(5-7)、利用计算机软件编程中的二分法求解上述步骤(5-6)中所述的表达式，计算最优的纹理视频与深度图之间的目标码率比例，
如果当前帧为纹理视频帧，则目标码率比例表达式为：
如果当前帧为深度图帧，则目标码率比例表达式为：
(6)、统计最优的编码视点之间目标码率比例，其步骤如下：
(6-1)固定纹理视频的量化参数Qp，深度图的量化参数Qp在固定的纹理视频的量化参数Qp的基础上，每次递增2逐步调整，最大增加10，例如，纹理视频的量化参数Qp为23，则深度图的量化参数Qp依次为23、25、27、29、31、33，分别编码一个码率控制图像组（RCGOP）；
(6-2)、计算最优的编码视点之间目标码率比例，记为，其计算式为：
其中，表示当前视点的实际码率，为全部视点的码率；
(7)、根据步骤(4)中所述的纹理视频和深度图（TD）单元的目标比特数、步骤(5)所述的纹理视频与深度图之间的目标码率比例、步骤(6)所述的编码视点之间目标码率比例，计算当前帧的目标比特数，其计算式如下：
(8)、根据当前帧的目标比特数和当前帧的量化步长的二项式模型关系，计算当前帧的量化步长，二项式模型的计算式为：
其中， ，为模型参数，例如，=1.0，=0.01，H为头信息，MAD为平均绝对误差，即，将当前帧和预测帧间的所有残差系数的绝对值之和再除以255，在H.264编码标准中，量化步长与量化参数Qp存在一一对应的关系，得到当前帧的量化参数Qp；
(9)、以量化参数Qp编码当前纹理视频帧或深度图帧，其具体如下：
(9-1)、编码纹理视频帧或深度图帧，获得该帧的真实码率；
(9-2)、计算剩余可用码率，其中，符号表示取两个数的最大值；
(10)、判断编码纹理视频和深度图（TD）单元中所有帧是否结束，选择跳转位置，其具体步骤如下：
(10-1)、如果编码当前纹理视频和深度图（TD）单元中所有帧没有结束，则跳转至步骤(7)；
(10-2)、如果编码当前纹理视频和深度图（TD）单元中所有帧结束，并且纹理视频和深度图（TD）单元的序号与码率控制图像组（RCGOP）长度不相等，即,则令，跳转至步骤(3)；
(10-3)、如果编码当前纹理视频和深度图（TD）单元中所有帧是结束，并且纹理视频和深度图（TD）单元的序号与码率控制图像组（RCGOP）长度相等，即,则令，跳转至步骤(2)。

Claims (10)

1.一种多视点纹理视频和深度图编码的码率控制方法，其特征在于，给定目标比特速率Rtarget，编码端基于多视点纹理视频和深度图编码，进行编码视点之间的码率分配，纹理视频与深度图之间的码率分配，码率控制图像组(RCGOP)级的码率分配，纹理视频和深度图(TD)单元级的码率分配和帧级的码率分配算法来实现码率控制，其具体步骤如下：
(1)、预编码一个图像组，获取码率控制方法初始的特征参数；
(2)、根据给定目标比特速率，计算码率控制图像组(RCGOP)所能分配的码率；
(3)、计算纹理视频和深度图(TD)单元的目标码率，得到非关键的纹理视频和深度图(TD)单元的目标码率；
(4)、计算当前纹理视频和深度图(TD)单元的目标比特数Ti(j)；
(5)、根据步骤(1)中预编码获取的视频序列的特征参数{A，B，C，μt，νt，ωt，μd，νd和ωd}，计算最优的纹理视频与深度图之间的目标码率比例υt,d,其中A，B，C分别为虚拟绘制视点的失真参数、纹理视频的失真参数、深度图的失真参数，μt，νt，ωt为预编码得到的纹理视频的码率失真模型的常系数，μd，νd，ωd为预编码得到的深度图的码率失真模型的常系数；
(6)、统计最优的编码视点之间目标码率比例σview；
(7)、根据步骤(4)中所述的当前纹理视频和深度图(TD)单元的目标比特数Ti(j)、与步骤(5)所述的纹理视频与深度图之间的目标码率比例υt,d、以及步骤(6)所述的编码视点之间目标码率比例σview，计算当前帧的目标比特数Tf；
(8)、根据当前帧的目标比特数Tf和当前帧的量化步长Qstep的二项式模型关系，计算当前帧的量化步长Qstep，得到当前帧的量化参数Qp；
(9)、以量化参数Qp编码当前纹理视频帧或深度图帧；
(10)、判断编码纹理视频和深度图(TD)单元中所有帧是否结束，选择跳转位置。
2.根据权利要求1所述的一种多视点纹理视频和深度图编码的码率控制方法，其特征在于，上述步骤(2)所述的计算码率控制图像组(RCGOP)所能分配的码率，其计算式为：
其中，Rtarget为给定目标比特速率，LGOP为码率控制图像组(RCGOP)长度，Lview为视点数目，f为视频编码帧率。
3.根据权利要求2所述的一种多视点纹理视频和深度图编码的码率控制方法，其特征在于，上述步骤(3)所述的计算纹理视频和深度图(TD)单元的目标码率，得到非关键的纹理视频和深度图(TD)单元的目标码率，其步骤如下：
(3-1)、计算关键的纹理视频和深度图(TD)单元的目标码率，记为Rk，如下：
其中，R表示每一个纹理视频和深度图(TD)单元分配的平均目标码率，L表示分级层数LGOP≤2L，GOP为8，则可分为3个分级层，NB表示非关键的纹理视频和深度图(TD)单元的数目，表示当前层l中非关键的纹理视频和深度图(TD)单元的数目，表示当前层l中非关键的纹理视频和深度图(TD)单元的分级因子；
(3-2)、利用可分级因子得到非关键的纹理视频和深度图(TD)单元的目标码率，记为其计算式为：
。
4.根据权利要求3所述的一种多视点纹理视频和深度图编码的码率控制方法，其特征在于，上述步骤(4)所述的计算当前纹理视频和深度图(TD)单元的目标比特数Ti(j)，其步骤如下：
(4-1)、根据码率控制图像组(RCGOP)的剩余比特数，计算当前关键的纹理视频和深度图(TD)单元的目标比特数计算式为：
其中，Nk,r表示当前码率控制图像组(RCGOP)中的剩余关键的纹理视频和深度图(TD)单元数，表示第l层中剩余非关键的纹理视频和深度图(TD)单元数，Bi(j)为当前码率控制图像组(RCGOP)中的剩余比特数，i表示第i个码率控制图像组(RCGOP)，j表示第j个纹理视频和深度图(TD)单元，Rcurrent表示当前纹理视频和深度图(TD)单元的目标码率，Rk为关键的纹理视频和深度图(TD)单元的目标码率，为非关键的纹理视频和深度图(TD)单元的目标码率；
(4-2)、计算当前纹理视频和深度图(TD)单元的目标比特数，记为其计算式如下：
其中，TBi(j)为目标缓冲级，CBi(j)为当前缓冲器满溢程度，u(ni,j)为当前剩余可用码率，f为视频编码帧率，γ＝0.25；
(4-3)、由和加权，计算当前关键的纹理视频和深度图(TD)单元的目标比特数，其计算式为：
其中，β＝0.5；
(4-4)、如果当前的纹理视频和深度图(TD)单元为关键的纹理视频和深度图(TD) 单元，则直接跳转到步骤(5),如果当前的纹理视频和深度图(TD)单元为非关键的纹理视频和深度图(TD)单元，则其目标比特数为Ti(j)＝Ti(j)/θ，θ＝0.45。
5.根据权利要求4所述的一种多视点纹理视频和深度图编码的码率控制方法，其特征在于，上述步骤(5)所述的计算最优的纹理视频与深度图之间的目标码率比例υt,d，其步骤如下：
(5-1)、设视频失真和码率之间的失真关系式，其失真表达式为：
Rt+Rd≤Rc
Rd≤Rt
其中，x1和x2为虚拟视点和编码视点的比例因子，Rt表示纹理视频的目标码率，Rd表示深度图的目标码率，Rc表示所有的目标码率，Dv表示虚拟视点的绘制失真，Dt表示纹理视频的编码失真，Rd≤Rt表示纹理视频需要使用比深度图多的比特数；
(5-2)、设步骤(5-1)中的虚拟视点的绘制失真为纹理视频的编码失真和深度图的编码失真的加权值，其表达式为：
Dv＝ADt+BDd+C
其中Dv为虚拟视点的绘制失真值，Dt为虚拟视点相邻两视点的纹理视频的编码失真均值，Dd为虚拟视点相邻两视点的深度图的编码失真均值，A，B，C分别为虚拟绘制视点的失真参数、纹理视频的失真参数、深度图的失真参数；
(5-3)、定义步骤(5-1)中的纹理视频的编码失真和纹理视频的码率之间的码率失真模型，其表达式如下：
其中，Dt为纹理视频的编码失真值，Rt为纹理视频的目标码率，μt，νt，ωt为预编码得到的纹理视频的码率失真模型的常系数；
(5-4)、定义步骤(5-2)中的深度图的编码失真和深度图的码率之间的码率失真模型，其表达式如下：
其中，Dd为深度图的编码失真值，Rd为深度图的目标码率，μd，νd，ωd为预编码得到的深度图的码率失真模型的常系数；
(5-5)、根据步骤(5-1)所述的视频失真和码率之间的失真表达式、步骤(5-2)所述的虚拟视点的绘制失真值、步骤(5-3)所述的纹理视频的编码失真值、步骤(5-4)所述的深度图的编码失真值，建立纹理视频码率Rt、深度图码率Rd、及所有的目标码率Rc的表达式，其表达式如下：
Rt+Rd≤Rc
Rd≤Rt
(5-6)、利用拉格朗日乘子法将步骤(5-5)中所述的表达式转换为如下表达式：
(5-7)、利用计算机软件编程中的二分法求解上述步骤(5-6)中所述的表达式，计算最优的纹理视频与深度图之间的目标码率比例υt,d，
如果当前帧为纹理视频帧，则目标码率比例表达式为：
υt,d＝Rt/Rc
如果当前帧为深度图帧，则目标码率比例表达式为：
υt,d＝Rd/Rc。
6.根据权利要求5所述的一种多视点纹理视频和深度图编码的码率控制方法，其特征在于，上述步骤(6)所述的统计最优的编码视点之间目标码率比例σview，其步骤如下：
(6-1)、固定纹理视频的量化参数Qp，其深度图的量化参数Qp在固定的纹理视频的量化参数Qp的基础上，每次递增2逐步调整，最大增加10，编码一个码率控制图像组(RCGOP)；
(6-2)、计算最优的编码视点之间目标码率比例，记为σview，其计算式为：
σview＝σcurr/σall
其中，σcurr表示当前视点的实际码率，σall为所有视点的码率。
7.根据权利要求6所述的一种多视点纹理视频和深度图编码的码率控制方法，其特征在于，上述步骤(7)所述的计算当前帧的目标比特数Tf，其计算式如下：
Tf＝Ti(j)×σview×υt,d。
8.根据权利要求7所述的一种多视点纹理视频和深度图编码的码率控制方法，其特征在于，上述步骤(8)所述的根据当前帧的目标比特数Tf和当前帧的量化步长Qstep的二项式模型关系，计算当前帧的量化步长Qstep，二项式模型的计算式为：
其中，d1，d2为模型参数，H为头信息，MAD为平均绝对误差，在H.264编码标准中，量化步长Qstep与量化参数Qp存在一一对应的关系，得到当前帧的量化参数Qp。
9.根据权利要求8所述的一种多视点纹理视频和深度图编码的码率控制方法，其特征在于，上述步骤(9)所述的以量化参数Qp编码当前纹理视频帧或深度图帧，其具体如下：
(9-1)、编码纹理视频帧或深度图帧，获得该帧的真实码率Rf；
(9-2)、计算剩余可用码率u(ni,j)＝max{0,u(ni,j)-Rf}，其中，符号max{.}表示取两个数的最大值。
10.根据权利要求9所述的一种多视点纹理视频和深度图编码的码率控制方法，其特征在于，上述步骤(10)所述的判断编码纹理视频和深度图(TD)单元中所有帧是否结束，选择跳转位置，其具体步骤如下：
(10-1)、如果编码当前纹理视频和深度图(TD)单元中所有帧没有结束，则跳转至步骤(7)；
(10-2)、如果编码当前纹理视频和深度图(TD)单元中所有帧结束，并且纹理视频和深度图(TD)单元的序号k与码率控制图像组(RCGOP)长度LGOP不相等，即k≠LGOP, 则令k＝k+1，跳转至步骤(3)；
(10-3)、如果编码当前纹理视频和深度图(TD)单元中所有帧结束，并且纹理视频和深度图(TD)单元的序号k与码率控制图像组(RCGOP)长度LGOP相等，即k＝LGOP,则令k＝1，跳转至步骤(2)。
CN201410387352.7A 2014-02-19 2014-08-08 一种多视点纹理视频和深度图编码的码率控制方法 Active CN104159095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410387352.7A CN104159095B (zh) 2014-02-19 2014-08-08 一种多视点纹理视频和深度图编码的码率控制方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201410055801.8 2014-02-19
CN2014100558018 2014-02-19
CN201410055801 2014-02-19
CN201410387352.7A CN104159095B (zh) 2014-02-19 2014-08-08 一种多视点纹理视频和深度图编码的码率控制方法

Publications (2)

Publication Number Publication Date
CN104159095A CN104159095A (zh) 2014-11-19
CN104159095B true CN104159095B (zh) 2016-12-07

Family

ID=51884487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410387352.7A Active CN104159095B (zh) 2014-02-19 2014-08-08 一种多视点纹理视频和深度图编码的码率控制方法

Country Status (1)

Country Link
CN (1) CN104159095B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106028046B (zh) * 2016-07-04 2018-11-20 西安电子科技大学 用于多视点深度视频编码的拉格朗日乘子修正方法
CN106791768B (zh) * 2016-12-16 2019-01-04 浙江大学 一种基于图割优化的深度图帧率提升方法
CN106791848B (zh) * 2016-12-20 2020-01-03 中国电建集团河南省电力勘测设计院有限公司 一种基于HEVC的Two-Pass码率控制方法
CN108769815B (zh) * 2018-06-21 2021-02-26 威盛电子股份有限公司 视频处理方法及其装置
CN110830801B (zh) * 2018-08-13 2021-10-01 华为技术有限公司 视频编码速率控制方法以及相关装置
CN114007059A (zh) * 2020-07-28 2022-02-01 阿里巴巴集团控股有限公司 视频压缩方法、解压方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200837663A (en) * 2007-03-13 2008-09-16 Univ Nat Taiwan Constant picture quality bit rate control system for a multiple-video encoder in single video signal source and the method
EP2191651A1 (en) * 2007-09-28 2010-06-02 Dolby Laboratories Licensing Corporation Video compression and tranmission techniques
CN101674472A (zh) * 2009-09-25 2010-03-17 上海大学 多视点视频编码的多级码率控制方法
CN101883283B (zh) * 2010-06-18 2012-05-30 北京航空航天大学 一种基于saqd域的立体视频码率控制方法
CN102413353B (zh) * 2011-12-28 2014-02-19 清华大学 立体视频编码过程的多视点视频和深度图的码率分配方法
CN102938840A (zh) * 2012-11-26 2013-02-20 南京邮电大学 应用于多视点视频编码系统的关键帧量化参数选择方法

Also Published As

Publication number Publication date
CN104159095A (zh) 2014-11-19

Similar Documents

Publication Publication Date Title
CN104159095B (zh) 一种多视点纹理视频和深度图编码的码率控制方法
CN100496121C (zh) 一种交互式多视点视频系统的图像信号处理方法
Yuan et al. Model-based joint bit allocation between texture videos and depth maps for 3-D video coding
CN103179405B (zh) 一种基于多级感兴趣区域的多视点视频编码方法
CN101986716B (zh) 一种快速深度视频编码方法
CN101835056B (zh) 基于模型的纹理视频与深度图的最优码率分配方法
CN101888566B (zh) 立体视频编码率失真性能估计方法
CN102413353B (zh) 立体视频编码过程的多视点视频和深度图的码率分配方法
CN102413332B (zh) 基于时域增强的视点合成预测多视点视频编码方法
US9883200B2 (en) Method of acquiring neighboring disparity vectors for multi-texture and multi-depth video
CN105049866B (zh) 基于绘制失真模型的多视点加深度编码的码率分配方法
CN106791768B (zh) 一种基于图割优化的深度图帧率提升方法
CN101980538B (zh) 一种基于分形的双目立体视频压缩编解码方法
CN102291579B (zh) 一种快速的多目立体视频分形压缩与解压缩方法
CN101980537A (zh) 一种基于对象和分形的双目立体视频压缩编解码方法
CN102685532A (zh) 自由视点四维空间视频编码系统的编码方法
CN104010196B (zh) 基于hevc的3d质量可伸缩视频编码
CN102938840A (zh) 应用于多视点视频编码系统的关键帧量化参数选择方法
CN104717515A (zh) 基于3d-hevc的纹理视频和深度图码率分配方法
CN102420987A (zh) 基于分层b帧结构的码率控制的自适应比特分配方法
CN102790895B (zh) 一种基于最小二乘的多视点视频编码视点合成预测方法
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
CN101980536B (zh) 一种基于对象和分形的多目立体视频压缩编解码方法
CN109618156A (zh) 一种视频编码码率调整方法
CN102811349A (zh) 可自动调节冗余的无反馈多描述分布式视频编解码器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant