CN102137258B - 一种立体视频码率控制方法 - Google Patents

一种立体视频码率控制方法 Download PDF

Info

Publication number
CN102137258B
CN102137258B CN 201110069067 CN201110069067A CN102137258B CN 102137258 B CN102137258 B CN 102137258B CN 201110069067 CN201110069067 CN 201110069067 CN 201110069067 A CN201110069067 A CN 201110069067A CN 102137258 B CN102137258 B CN 102137258B
Authority
CN
China
Prior art keywords
point image
visual point
stereo
picture
frame group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201110069067
Other languages
English (en)
Other versions
CN102137258A (zh
Inventor
邵枫
蒋刚毅
郁梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN 201110069067 priority Critical patent/CN102137258B/zh
Publication of CN102137258A publication Critical patent/CN102137258A/zh
Application granted granted Critical
Publication of CN102137258B publication Critical patent/CN102137258B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种立体视频码率控制方法，首先通过总的目标比特数和初始量化参数，获得对当前立体图像对进行编码的目标比特，然后通过建立左视点图像的编码量化参数值、左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值的关系模型，分别获得对当前立体图像对的左视点图像和右视点图像进行编码的目标比特和编码量化参数，最后根据目标比特和编码量化参数，分别对左视点图像和右视点图像进行编码，本发明方法在保证编码的输出码率满足实际带宽的限制的前提下，使得左右通道的质量控制在人眼最小可察觉变化步长阈值范围内。

Description

一种立体视频码率控制方法
技术领域
本发明涉及一种视频信号的处理方法，尤其是涉及一种立体视频码率控制方法。
背景技术
进入本世纪以来，随着数字2D(二维)视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，在视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有广泛的应用前景。国际标准组织MPEG与ITU-T也开展了立体视频压缩应用标准制定的相关工作。
现有的立体视频编码的研究更多地考虑了视点间的冗余信息，但对于立体视频的视觉冗余信息却缺乏足够的重视。心理学研究结果表明，立体视觉中存在掩蔽效益，即立体视频的左右视点图像之间存在最小可察觉变化步长(JND)阈值，构成立体视频的两个视点图像，质量好的视点图像的质量对立体视觉的整体质量贡献较大，利用人类立体视觉系统的这一特性，对立体视频采用非对称编码方式来达到进一步节省码流的效果，即对左视点视频进行正常编码，对右视点视频进行低质量编码，但是需要在立体视频编码过程中对左右视点视频的码率和质量进行合理的控制，以保证能呈现最佳的立体视觉掩蔽效应。
目前已提出了一些针对单视点视频的码率控制方法，如MPEG-2的TM5、H.263的TMN8、MPEG-4的VM8、H.264的JVT-G012等算法，然而，这些码率控制算法并不能直接应用于双通道的立体视频，这是因为：一方面，由于现在的码率控制方法采用不同的率失真模型来反映信源编码特性，忽略了对左右视点视频的质量进行控制；另一方面，由于对立体视频编码进行码率控制的输出码率与输出的左右通道的质量之间存在一个折中，如何在编码过程中即对目标码率进行控制，又使左右通道的质量差距在人眼最小可察觉变化步长阈值范围内，并且保持相对稳定性，以提高方法的有效性，都是在对立体视频进行码率控制过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够合理地分配立体视频左右视点的编码码率，有效地控制左右视点质量的立体视频码率控制方法。
本发明解决上述技术问题所采用的技术方案为：一种立体视频码率控制方法，其特征在于包括以下步骤：
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的立体视频定义为原始立体视频，在空域上该原始立体视频包括左视点原始视频和右视点原始视频，左视点原始视频主要由若干个帧组的左视点图像组成，右视点原始视频主要由若干个帧组的右视点图像组成，左视点原始视频的帧组和对应的右视点原始视频的帧组构成立体帧组，一个立体帧组由包含左视点图像和右视点图像的若干个立体图像对组成，其中，YUV颜色空间的三个颜色分量中的第1个颜色分量为亮度分量，记为Y，第2个颜色分量为第一色度分量，记为U，第3个颜色分量为第二色度分量，记为V；
②根据设定的总的目标比特数和初始量化参数，在编码第i个立体帧组之前(i≥1)，对当前立体帧组的目标比特数和初始量化参数进行预算，将对当前立体帧组的左视点图像进行编码的初始量化参数记为QPL(i，1)，对当前立体帧组的右视点图像进行编码的初始量化参数记为QPR(i，1)，对当前立体帧组进行编码的目标比特数记为TSGOP(i，1)，对于第1个立体帧组(i＝1)，QPL(1，1)直接采用设定的初始量化参数，QPR(1，1)＝QPL(1，1)+1，对于其他的立体帧组(i＞1)，
Figure BDA0000051426100000022
其中，
Figure BDA0000051426100000025
表示第i-1个立体帧组中所有采用P帧编码的立体图像对的左视点图像的平均量化参数，
Figure BDA0000051426100000026
表示第i-1个立体帧组中所有采用P帧编码的立体图像对的右视点图像的平均量化参数，u(i，1)表示编码第i个立体帧组第1个立体图像对时可获取的信道带宽，Fr表示帧率，NSGOP表示一个立体帧组中立体图像对的数目，BSGOP表示编码完上一个立体帧组之后缓冲区的大小；
③将对当前第i个立体帧组的第2个立体图像对的左视点图像进行编码的量化参数记为QPL(i，2)，对当前第i个立体帧组的第2个立体图像对的右视点图像进行编码的量化参数记为QPR(i，2)，将第1个立体图像对的左右视点图像的编码量化参数作为第2个立体图像对的左右视点图像的编码量化参数，QPL(i，2)＝QPL(i，1)，QPR(i，2)＝QPR(i，1)；
④对当前第i个立体帧组的剩余立体图像对的目标比特数进行预算，确定当前第i个帧组中尚未编码的立体图像对的目标比特数，记从第j个立体图像对开始的所有尚未编码的立体图像对的目标比特数为TSGOP(i，j)，TSGOP(i，j)＝TSGOP(i，j-1)-AL(i，j-1)-AR(i，j-1)，其中，2≤j≤NSGOP，AL(i，j-1)表示对第i个立体帧组第j-1个立体图像对的左视点图像进行编码产生的实际比特数，AR(i，j-1)表示对第i个立体帧组第j-1个立体图像对的右视点图像进行编码产生的实际比特数；
⑤对当前第i个立体帧组的缓冲区进行更新，记对第i个立体帧组第j个(j≥3)立体图像对进行编码的缓冲器的目标饱和度为TB(i，j)，对于第3个立体图像对(j＝3)，将编码完初始两个立体图像对之后缓冲区的实际饱和度作为缓冲区的目标饱和度，TB(i，3)＝CB(i，3)，对于其他的立体图像对(j＞3)，
Figure BDA0000051426100000031
其中，CB(i，3)表示编码完初始两个立体图像对之后缓冲器的实际饱和度，u(i，j)表示编码第i个立体帧组第j个立体图像对时可获取的信道带宽；
⑥根据尚未编码的立体图像对的目标比特数TSGOP(i，j)和缓冲区的饱和度，获取对第i个立体帧组第j个立体图像对进行编码的目标比特，记为TLR(i，j)；
⑦通过对立体视频掩蔽效应的分析，获得左右视点图像之间的最小可察觉变化步长(JND)阈值，以PSNRL表示左视点图像的峰值信噪比，以PSNRR表示右视点图像的峰值信噪比，以QPL表示左视点图像的量化参数，以QPR表示右视点图像的量化参数，以ΔPSNRLR表示左右视点图像的质量差值，ΔPSNRLR＝PSNRL-PSNRR，以ΔQPLR表示左右视点图像的量化参数差值，ΔQPLR＝QPR-QPL，确立左视点图像的编码量化参数值QPL、左右视点图像的编码量化参数差值ΔQPLR和对应的左右视点图像的峰值信噪比差值ΔPSNRLR的关系，即建立立体失真-量化关系模型，用立体D-Q模型来表示，立体D-Q模型表示为ΔPSNRLR＝β0+β1ΔQPLR+β2QPL，并控制ΔPSNRLR与实际的JND阈值的误差在最小范围之内，其中，β0、β1和β2为立体D-Q模型参数；
⑧根据对第i个立体帧组第j个立体图像对进行编码的目标比特TLR(i，j)，获取在目标比特TLR(i，j)下对第i个立体帧组第j个立体图像对的左视点图像进行编码的目标比特，记为TL(i，j)，获取在目标比特TLR(i，j)下对第i个立体帧组第j个立体图像对的右视点图像进行编码的目标比特，记为TR(i，j)；
⑨根据对第i个立体帧组第j个立体图像对的左视点图像进行编码的目标比特TL(i，j)，获取对第i个立体帧组第j个立体图像对的左视点图像进行编码的量化参数，记为QPL(i，j)，QPL(i，j)＝6log2(Qstep，L(i，j))+4，其中，Qstep，L(i，j)表示对第i个立体帧组第j个立体图像对的左视点图像进行编码的量化步长，Qstep，L(i，j)通过采用二次码率-量化模型得到，二次码率-量化模型用二次R-Q模型来表示，
Figure BDA0000051426100000041
MAD(i，j)表示第i个立体帧组第j个立体图像对的左视点图像的编码复杂度，MAD(i，j)通过采用编码复杂度预测模型得到，编码复杂度预测模型用MAD预测模型来表示，MAD(i，j)＝c1×MAD(i，j-1)+c2，H(i，j)表示第i个立体帧组第j个立体图像对的左视点图像的头信息比特数的预测值，a1和a2表示通过拟合得到的二次R-Q模型的参数，c1和c2表示通过拟合得到的MAD预测模型的参数；
⑩根据对第i个立体帧组第j个立体图像对的右视点图像进行编码的目标比特TR(i，j)，获取对第i个立体帧组第j个立体图像对的右视点图像进行编码的量化参数，记为QPR(i，j)，QPR(i，j)＝QPL(i，j)+ΔQPLR(i，j)，其中，ΔQPLR(i，j)表示第i个立体帧组第j个立体图像对的左右视点图像的量化参数差值，ΔQPLR(i，j)通过采用立体D-Q模型得到，ΔPSNRLR(i，j)＝β0+β2QPL(i，j)+β1ΔQPLR(i，j)，使得ΔPSNRLR(i，j)与实际的JND阈值的误差在最小范围之内，其中，ΔPSNRLR(i，j)表示第i个立体帧组第j个立体图像对的左右视点图像的质量差值；
Figure BDA0000051426100000051
根据设定的立体视频编码预测结构，采用QPL(i，j)对第i个立体帧组第j个立体图像对的原始左视点图像进行编码，得到左视点图像码流；采用QPR(i，j)对第i个立体帧组第j个立体图像对的原始右视点图像进行编码，得到右视点图像码率；
Figure BDA0000051426100000052
根据已编码的立体图像对的峰值信噪比和量化参数信息，采用线性回归技术对立体D-Q模型的参数β0、β1和β2进行更新，对二次R-Q模型的参数a1和a2进行更新，对MAD预测模型的参数c1和c2进行更新；
Figure BDA0000051426100000053
对当前立体帧组的下一个立体图像对重复执行步骤②至
Figure BDA0000051426100000054
直至对所有立体帧组的所有立体图像对完成编码。
所述的步骤⑥的具体过程为：
⑥-1、根据尚未编码的立体图像对的目标比特数TSGOP(i，j)，获取对第i个立体帧组第j个立体图像对进行编码的第一候选目标比特数，记为
Figure BDA0000051426100000055
Figure BDA0000051426100000056
其中，Np，r表示尚未编码的立体图像对中采用P帧编码的立体图像对的数目，Nb，r表示尚未编码的立体图像对中采用B帧编码的立体图像对的数目，Wp(i，j-1)表示已编码的立体图像对中采用P帧编码的立体图像对的编码复杂度，Wb(i，j-1)表示已编码的立体图像对中采用B帧编码的立体图像对的编码复杂度；
⑥-2、根据缓冲区的饱和度，获取对第i个立体帧组第j个立体图像对进行编码的第二候选目标比特数，记为
Figure BDA0000051426100000057
其中，CB(i，j)表示在编码第i个立体帧组第j个立体图像对之前缓冲器的实际饱和度，γ为控制缓冲器强度的常数，如果当前立体帧组中没有采用B帧编码的立体图像对，则γ取0.25，否则γ取0.75；
⑥-3、将第一候选目标比特数
Figure BDA0000051426100000059
和第二候选目标比特数
Figure BDA00000514261000000510
进行加权，获取对第i个立体帧组第j个立体图像对进行编码的目标比特，记为TLR(i，j)，
Figure BDA0000051426100000061
其中β为加权系数，如果当前立体帧组中没有采用B帧编码的立体图像对，则β取0.5，否则β取0.9。
所述的步骤⑦的具体过程为：
⑦-1、任取N个各不相同的编码量化参数作为原始左视点图像的编码量化参数值，分别记为QP′L1，…，QP′Li，…，QP′LN，对每一个左视点图像的编码量化参数值，又分别取M个各不相同的左右视点图像的编码量化参数差值，分别记为ΔQP′LR1，…，ΔQP′LRj，…，ΔQP′LRM，得到对应的右视点图像的编码量化参数值，分别记为QP′R1，…，QP′RK，…，QP′R(M×N)；
⑦-2、采用左视点图像的编码量化参数集合{QP′Li|0≤i≤N}和对应的右视点图像的编码量化参数集合{QP′Rk|0≤k≤M×N}，分别对原始左视点图像和原始右视点图像进行编码，分别得到以该M×N个不同的编码量化参数对原始左视点图像和原始右视点图像进行编码的峰值信噪比，分别记为PSNR′L1，…，PSNR′Lk，…，PSNR′L(M×N)和PSNR′R1，…，PSNR′Rk，…，PSNR′R(M×N)，对应的左右视点图像的峰值信噪比差值记为ΔPSNR′LR1，…，ΔPSNR′LRk，…，ΔPSNR′LR(M×N)；
⑦-3、将左视点图像的编码量化参数值、左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值表示成线性方程，ΔPSNRLR＝β0+β1ΔQPLR+β2QPL，其中β0、β1和β2为模型参数；
⑦-4、根据已得到的左视点图像的编码量化参数集合{QP′Li|0≤i≤N}，左右视点图像的编码量化参数差值集合{ΔQP′LRk|0≤k≤M×N}，和对应的左右视点图像的峰值信噪比差值集合{ΔPSNR′LRk|0≤k≤M×N}，通过线性回归技术拟合得到模型参数β0、β1和β2。
所述的步骤⑧的具体过程为：
⑧-1、通过最小化概率密度函数获取对第i个立体帧组第j个立体图像对的左视点图像和右视点图像进行编码的最佳量化参数组合，记为
Figure BDA0000051426100000062
Figure BDA0000051426100000063
其中，
Figure BDA0000051426100000071
表示最小化概率密度函数，Q表示对左视点图像和右视点图像进行编码的所有的量化参数组合的集合，(QP′L(i，j)，QP′R(i，j))∈Q，A′L(i，j)|QP′L(i，j)表示以量化参数QP′L(i，j)对原始左视点图像进行编码产生的实际比特数，A′R(i，j)|QP′R(i，j)表示以量化参数QP′R(i，j)对原始右视点图像进行编码产生的实际比特数；
⑧-2、对集合Q中对原始左视点图像进行编码的量化参数QP′L(i，j)和对原始右视点图像进行编码的量化参数QP′R(i，j)的取值范围进行进一步约束，QP′L(i，j)的取值范围为QP′L(i，j-1)-ΔQPTH≤QP′L(i，j)≤QP′L(i，j-1)+ΔQPTH，并且根据QP′L(i，j)的取值范围和ΔPSNRLR与QPL和ΔQPLR的关系模型，确定QP′R(i，j)的取值范围为QP′R(i，j)＝arg min[|PSNR′L(i，j)|QP′L(i，j)-PSNR′R(i，j)|QP′R(i，j)-ΔPSNR′LR(i，j)|]，其中ΔPSNR′LR(i，j)＝β0+β1ΔQP′LR(i，j)+β2QP′L(i，j)，PSNR′L(i，j)|QP′L(i，j)表示以量化参数QP′L(i，j)对原始左视点图像进行编码得到的峰值信噪比，PSNR′R(i，j)|QP′R(i，j)表示以量化参数QP′R(i，j)对原始右视点图像进行编码得到的峰值信噪比，ΔQPTH为固定阈值；
⑧-3、根据对原始左视点图像和原始右视点图像进行编码的最佳量化参数组合，获取原始左视点图像与原始右视点图像的最佳码率比重，记为η，
Figure BDA0000051426100000072
⑧-4、根据对第i个立体帧组第j个立体图像对进行编码的目标比特TLR(i，j)和原始左视点图像与原始右视点图像的最佳码率比重η，获取对第i个立体帧组第j个立体图像对的左视点图像进行编码的目标比特，记为TL(i，j)，
Figure BDA0000051426100000073
获取对第i个立体帧组第j个立体图像对的右视点图像进行编码的目标比特，记为TR(i，j)，
Figure BDA0000051426100000074
与现有技术相比，本发明的优点在于：
1)本发明方法利用人眼的立体视觉冗余采用不同的量化参数对左右通道进行编码，使左右通道的质量呈现非对称性从而提高编码效率，同时通过码率控制的方法来控制编码的比特输出，使之与带宽的预算相吻合，大大提高了传输的鲁棒性。
2)本发明方法在总码率限制条件下，通过建立立体失真-量化模型(立体D-Q模型)对左右视点图像的质量进行控制，从而保证在编码过程中即对目标码率进行控制，又使左右通道的质量差距在人眼最小可察觉变化步长(JND)阈值范围内，这样避免了复杂的左右通道量化步长的选择过程，大大降低了编码复杂度。
附图说明
图1为本发明方法的流程框图；
图2a为“Booksale”立体测试序列的左视点图像；
图2b为“Booksale”立体测试序列的右视点图像；
图3a为“Akko”立体测试序列的左视点图像；
图3b为“Akko”立体测试序列的右视点图像；
图4为“Booksale”立体测试序列的左视点图像的编码量化参数值、左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值的关系曲线平面图；
图5为“Akko”立体测试序列的左视点图像的编码量化参数值、左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值的关系曲线平面图；
图6为“Booksale”立体测试序列在不同的左视点图像的编码量化参数值条件下，左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值的曲线图；
图7为“Akko”立体测试序列在不同的左视点图像的编码量化参数值条件下，左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值的曲线图；
图8为“Booksale”立体测试序列在目标比特2000kbps下采用本发明方法与采用传统的独立控制方法的左右视点图像的峰值信噪比差值的比较结果；
图9为“Akko”立体测试序列在目标比特2000kbps下采用本发明方法与采用传统的独立控制方法的左右视点图像的峰值信噪比差值的比较结果；
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
如图1所示，一种立体视频码率控制方法，具体步骤如下：
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的立体视频定义为原始立体视频，在空域上该原始立体视频包括左视点原始视频和右视点原始视频，左视点原始视频主要由若干个帧组的左视点图像组成，右视点原始视频主要由若干个帧组的右视点图像组成，左视点原始视频的帧组和对应的右视点原始视频的帧组构成立体帧组，一个立体帧组由包含左视点图像和右视点图像的若干个立体图像对组成，其中，YUV颜色空间的三个颜色分量中的第1个颜色分量为亮度分量，记为Y，第2个颜色分量为第一色度分量，记为U，第3个颜色分量为第二色度分量，记为V。
在本实施中，采用标准的立体测试序列“Booksale”和“Akko”作为原始立体视频，这两个立体视频序列均包括左右两幅图像，“Booksale”的各幅图像的分辨率均为320×240，“Akko”的各幅图像的分辨率均为640×480。图2a和图2b分别给出了“Booksale”的左视点图像和右视点图像；图3a和图3b分别给出了“Akko”的左视点图像和右视点图像。
②根据设定的总的目标比特数和初始量化参数，在编码第i个立体帧组之前(i≥1)，对当前立体帧组的目标比特数和初始量化参数进行预算，将对当前立体帧组的左视点图像进行编码的初始量化参数记为QPL(i，1)，对当前立体帧组的右视点图像进行编码的初始量化参数记为QPR(i，1)，对当前立体帧组进行编码的目标比特数记为TSGOP(i，1)，对于第1个立体帧组(i＝1)，QPL(1，1)直接采用设定的初始量化参数，QPR(1，1)＝QPL(1，1)+1，
Figure BDA0000051426100000091
对于其他的立体帧组(i＞1)，
Figure BDA0000051426100000092
Figure BDA0000051426100000093
Figure BDA0000051426100000094
其中，
Figure BDA0000051426100000095
表示第i-1个立体帧组中所有采用P帧编码的立体图像对的左视点图像的平均量化参数，表示第i-1个立体帧组中所有采用P帧编码的立体图像对的右视点图像的平均量化参数，u(i，1)表示编码第i个立体帧组第1个立体图像对时可获取的信道带宽，Fr表示帧率，NSGOP表示一个立体帧组中立体图像对的数目，BSGOP表示编码完上一个立体帧组之后缓冲区的大小，在本实施例中，Fr＝30，NSGOP＝15。
③将对当前第i个立体帧组的第2个立体图像对的左视点图像进行编码的量化参数记为QPL(i，2)，对当前第i个立体帧组的第2个立体图像对的右视点图像进行编码的量化参数记为QPR(i，2)，将第1个立体图像对的左右视点图像的编码量化参数作为第2个立体图像对的左右视点图像的编码量化参数，QPL(i，2)＝QPL(i，1)，QPR(i，2)＝QPR(i，1)。
④对当前第i个立体帧组的剩余立体图像对的目标比特数进行预算，确定当前第i个帧组中尚未编码的立体图像对的目标比特数，记从第j个立体图像对开始的所有尚未编码的立体图像对的目标比特数为TSGOP(i，j)，TSGOP(i，j)＝TSGOP(i，j-1)-AL(i，j-1)-AR(i，j-1)，其中，2≤j≤NSGOP，AL(i，j-1)表示对第i个立体帧组第j-1个立体图像对的左视点图像进行编码产生的实际比特数，AR(i，j-1)表示对第i个立体帧组第j-1个立体图像对的右视点图像进行编码产生的实际比特数。
⑤对当前第i个立体帧组的缓冲区进行更新，记对第i个立体帧组第j个(j≥3)立体图像对进行编码的缓冲器的目标饱和度为TB(i，j)，对于第3个立体图像对(j＝3)，将编码完初始两个立体图像对之后缓冲区的实际饱和度作为缓冲区的目标饱和度，TB(i，3)＝CB(i，3)，对于其他的立体图像对(j＞3)，
Figure BDA0000051426100000101
其中，CB(i，3)表示编码完初始两个立体图像对之后缓冲器的实际饱和度，u(i，j)表示编码第i个立体帧组第j个立体图像对时可获取的信道带宽。
⑥根据尚未编码的立体图像对的目标比特数TSGOP(i，j)和缓冲区的饱和度，获取对第i个立体帧组第j个立体图像对进行编码的目标比特，记为TLR(i，j)。
在此具体实施例中，步骤⑥的具体过程为：
⑥-1、根据尚未编码的立体图像对的目标比特数TSGOP(i，j)，获取对第i个立体帧组第j个立体图像对进行编码的第一候选目标比特数，记为
Figure BDA0000051426100000102
Figure BDA0000051426100000103
其中，Np，r表示尚未编码的立体图像对中采用P帧编码的立体图像对的数目，Nb，r表示尚未编码的立体图像对中采用B帧编码的立体图像对的数目，Wp(i，j-1)表示已编码的立体图像对中采用P帧编码的立体图像对的编码复杂度，Wb(i，j-1)表示已编码的立体图像对中采用B帧编码的立体图像对的编码复杂度；
⑥-2、根据缓冲区的饱和度，获取对第i个立体帧组第j个立体图像对进行编码的第二候选目标比特数，记为
Figure BDA0000051426100000104
其中，CB(i，j)表示在编码第i个立体帧组第j个立体图像对之前缓冲器的实际饱和度，γ为控制缓冲器强度的常数，如果当前立体帧组中没有采用B帧编码的立体图像对，则γ取0.25，否则γ取0.75；
⑥-3、将第一候选目标比特数
Figure BDA0000051426100000111
和第二候选目标比特数
Figure BDA0000051426100000112
进行加权，获取对第i个立体帧组第j个立体图像对进行编码的目标比特，记为TLR(i，j)，其中β为加权系数，如果当前立体帧组中没有采用B帧编码的立体图像对，则β取0.5，否则β取0.9。
⑦在之前2010年9月22日公开的申请的专利201010184200.9中，通过对立体视频掩蔽效应的分析，获得左右视点图像之间的最小可察觉变化步长(JND)阈值，以PSNRL表示左视点图像的峰值信噪比，以PSNRR表示右视点图像的峰值信噪比，以QPL表示左视点图像的量化参数，以QPR表示右视点图像的量化参数，以ΔPSNRLR表示左右视点图像的质量差值，ΔPSNRLR＝PSNRL-PSNRR，以ΔQPLR表示左右视点图像的量化参数差值，ΔQPLR＝QPR-QPL，确立左视点图像的编码量化参数值QPL、左右视点图像的编码量化参数差值ΔQPLR和对应的左右视点图像的峰值信噪比差值ΔPSNRLR的关系，即建立立体失真-量化关系模型(用立体D-Q模型来表示)，立体D-Q模型表示为ΔPSNRLR＝β0+β1ΔQPLR+β2QPL，并控制ΔPSNRLR与实际的JND阈值的误差在最小范围之内，其中，β0、β1和β2为立体D-Q模型参数，在本实施例中，JND阈值取2。
在此具体实施例中，步骤⑦的具体过程为：
⑦-1、任取N个各不相同的编码量化参数作为原始左视点图像的编码量化参数值，分别记为QP′L1，…，QP′Li，…，QP′LN，对每一个左视点图像的编码量化参数值，又分别取M个各不相同的左右视点图像的编码量化参数差值，分别记为ΔQP′LR1，…，ΔQP′LRj，…，ΔQP′LRM，得到对应的右视点图像的编码量化参数值，分别记为QP′R1，…，QP′Rk，…，QP′R(M×N)；
⑦-2、采用左视点图像的编码量化参数集合{QP′Li|0≤i≤N}和对应的右视点图像的编码量化参数集合{QP′Rk|0≤k≤M×N}，分别对原始左视点图像和原始右视点图像进行编码，分别得到以该M×N个不同的编码量化参数对原始左视点图像和原始右视点图像进行编码的峰值信噪比，分别记为PSNR′L1，…，PSNR′Lk，…，PSNR′L(M×N)和PSNR′R1，…，PSNR′Rk，…，PSNR′R(M×N)，对应的左右视点图像的峰值信噪比差值记为ΔPSNR′LR1，…，ΔPSNR′LRk，…，ΔPSNR′LR(M×N)；
⑦-3、将左视点图像的编码量化参数值、左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值表示成线性方程，ΔPSNRLR＝β0+β1ΔQPLR+β2QPL，其中β0、β1和β2为模型参数；
⑦-4、根据已得到的左视点图像的编码量化参数集合{QP′Li|0≤i≤N}，左右视点图像的编码量化参数差值集合{ΔQP′LRk|0≤k≤M×N}，和对应的左右视点图像的峰值信噪比差值集合{ΔPSNR′LRk|0≤k≤M×N}，通过线性回归技术拟合得到模型参数β0、β1和β2。
在本实施例中，为了说明左视点图像的编码量化参数值、左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值的关系，采用不同的量化参数对“Booksale”和“Akko”立体视频序列的第1个立体图像对进行实验，图4给出了“Booksale”的左视点图像的编码量化参数值、左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值的关系曲线平面图，图5给出了“Akko”的左视点图像的编码量化参数值、左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值的关系曲线平面图，图6给出了“Booksale”在不同的左视点图像的编码量化参数值条件下，左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值的曲线图，图7给出了“Akko”在不同的左视点图像的编码量化参数值条件下，左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值的曲线图，可以看出左视点图像的编码量化参数值、左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值之间呈现明显的线性关系，因此在本实施例中以线性方程来建立三者之间的关系模型。
⑧由于左右通道质量差的存在会导致各通道的输出比特有较大的波动，甚至可能超出带宽的限制，因此有必要通过码率控制的方法来确定各通道的目标比特，使之与实际的左右通道质量相吻合。根据对第i个立体帧组第j个立体图像对进行编码的目标比特TLR(i，j)，获取在目标比特TLR(i，j)下对第i个立体帧组第j个立体图像对的左视点图像进行编码的目标比特，记为TL(i，j)，获取在目标比特TLR(i，j)下对第i个立体帧组第j个立体图像对的右视点图像进行编码的目标比特，记为TR(i，j)。
在此具体实施例中，步骤⑧的具体过程为：
⑧-1、通过最小化概率密度函数获取对第i个立体帧组第j个立体图像对的左视点图像和右视点图像进行编码的最佳量化参数组合，记为
Figure BDA0000051426100000131
其中，
Figure BDA0000051426100000133
表示最小化概率密度函数，Q表示对左视点图像和右视点图像进行编码的所有的量化参数组合的集合，(QP′L(i，j)，QP′R(i，j))∈Q，A′L(i，j)|QP′L(i，j)表示以量化参数QP′L(i，j)对原始左视点图像进行编码产生的实际比特数，A′R(i，j)|QP′R(i，j)表示以量化参数QP′R(i，j)对原始右视点图像进行编码产生的实际比特数；
⑧-2、对集合Q中对原始左视点图像进行编码的量化参数QP′L(i，j)和对原始右视点图像进行编码的量化参数QP′R(i，j)的取值范围进行进一步约束，QP′L(i，j)的取值范围为QP′L(i，j-1)-ΔQPTH≤QP′L(i，j)≤QP′L(i，j-1)+ΔQPTH，并且根据QP′L(i，j)的取值范围和ΔPSNRLR与QPL和ΔQPLR的关系模型，确定QP′R(i，j)的取值范围为QP′R(i，j)＝arg min[|PSNR′L(i，j)|QP′L(i，j)-PSNR′R(i，j)|QP′R(i，j)-ΔPSNR′LR(i，j)|]，其中ΔPSNR′LR(i，j)＝β0+β1ΔQP′LR(i，j)+β2QP′L(i，j)，PSNR′L(i，j)|QP′L(i，j)表示以量化参数QP′L(i，j)对原始左视点图像进行编码得到的峰值信噪比，PSNR′R(i，j)|QP′R(i，j)表示以量化参数QP′R(i，j)对原始右视点图像进行编码得到的峰值信噪比，ΔQPTH为固定阈值；
⑧-3、根据对原始左视点图像和原始右视点图像进行编码的最佳量化参数组合，获取原始左视点图像与原始右视点图像的最佳码率比重，记为η，
Figure BDA0000051426100000134
⑧-4、根据对第i个立体帧组第j个立体图像对进行编码的目标比特TLR(i，j)和原始左视点图像与原始右视点图像的最佳码率比重η，获取对第i个立体帧组第j个立体图像对的左视点图像进行编码的目标比特，记为TL(i，j)，
Figure BDA0000051426100000141
获取对第i个立体帧组第j个立体图像对的右视点图像进行编码的目标比特，记为TR(i，j)，
⑨由于目标比特数与编码产生的实际比特数会有一定的偏差，通过最小化概率密度函数获取的最佳量化参数组合
Figure BDA0000051426100000143
并不能直接作为对左视点图像和右视点图像进行编码的量化参数。根据对第i个立体帧组第j个立体图像对的左视点图像进行编码的目标比特TL(i，j)，获取对第i个立体帧组第j个立体图像对的左视点图像进行编码的量化参数，记为QPL(i，j)，QPL(i，j)＝6log2(Qstep，L(i，j))+4，其中，Qstep，L(i，j)表示对第i个立体帧组第j个立体图像对的左视点图像进行编码的量化步长，Qstep，L(i，j)通过采用二次码率-量化模型得到(用二次R-Q模型来表示)，
Figure BDA0000051426100000144
MAD(i，j)表示第i个立体帧组第j个立体图像对的左视点图像的编码复杂度，MAD(i，j)通过采用编码复杂度预测模型得到(用MAD预测模型来表示)，MAD(i，j)＝c1×MAD(i，j-1)+c2，H(i，j)表示第i个立体帧组第j个立体图像对的左视点图像的头信息比特数的预测值，a1和a2表示通过拟合得到的二次R-Q模型的参数，c1和c2表示通过拟合得到的MAD预测模型的参数。
⑩根据对第i个立体帧组第j个立体图像对的右视点图像进行编码的目标比特TR(i，j)，获取对第i个立体帧组第j个立体图像对的右视点图像进行编码的量化参数，记为QPR(i，j)，QPR(i，j)＝QPL(i，j)+ΔQPLR(i，j)，其中，ΔQPLR(i，j)表示第i个立体帧组第j个立体图像对的左右视点图像的量化参数差值，ΔQPLR(i，j)通过采用立体D-Q模型得到，ΔPSNRLR(i，j)＝β0+β2QPL(i，j)+β1ΔQPLR(i，j)，使得ΔPSNRLR(i，j)与实际的JND阈值的误差在最小范围之内，其中，ΔPSNRLR(i，j)表示第i个立体帧组第j个立体图像对的左右视点图像的质量差值。
根据设定的立体视频编码预测结构，采用QPL(i，j)对第i个立体帧组第j个立体图像对的原始左视点图像进行编码，得到左视点图像码流；采用QPR(i，j)对第i个立体帧组第j个立体图像对的原始右视点图像进行编码，得到右视点图像码率。
Figure BDA0000051426100000152
根据已编码的立体图像对的峰值信噪比和量化参数信息，采用线性回归技术对立体D-Q模型的参数β0、β1和β2进行更新，对二次R-Q模型的参数a1和a2进行更新，对MAD预测模型的参数c1和c2进行更新。在本实施例中，更新的方法是保存已编码的立体图像对的数据，然后采用线性回归技术计算出模型的系数，回归分析技术的有效性依赖于样本数据的数量和质量，因此对起始若干组立体图像对进行编码时模型并不是十分稳定。
Figure BDA0000051426100000153
对当前立体帧组的下一个立体图像对重复执行步骤②至
Figure BDA0000051426100000154
直至对所有立体帧组的所有立体图像对完成编码。
以下就利用本发明方法对“Booksale”、“Akko”立体视频序列的控制性能进行比较。
将采用本发明的控制性能，与采用传统的独立控制方法的控制性能进行比较，采用四组不同的目标比特进行编码实验，{600kbps，1000kbps，2000kbps，3000kbps}，比较结果如表1所示。传统的独立控制方法能够实现很好的控制精度这是因为左右视点的最佳码率比重是通过穷尽搜索得到的，计算复杂度非常高，而本发明方法能够自动控制各左右视点图像的码率以达到最佳的码率和质量控制性能，图8为给出了“Booksale”在目标比特2000kbps下采用本发明方法与采用传统的独立控制方法的左右视点图像的峰值信噪比差值的比较结果，图9给出了“Akko”在目标比特2000kbps下采用本发明方法与采用传统的独立控制方法的左右视点图像的峰值信噪比差值的比较结果，从图8和图9中可以看出，采用本发明方法能够实现更加平稳的控制，说明本发明方法是有效可行的。
表1  本发明方法与传统的独立控制方法的控制性能比较

Claims (4)

1.一种立体视频码率控制方法，其特征在于包括以下步骤：
①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的立体视频定义为原始立体视频，在空域上该原始立体视频包括左视点原始视频和右视点原始视频，左视点原始视频主要由若干个帧组的左视点图像组成，右视点原始视频主要由若干个帧组的右视点图像组成，左视点原始视频的帧组和对应的右视点原始视频的帧组构成立体帧组，一个立体帧组由包含左视点图像和右视点图像的若干个立体图像对组成，其中，YUV颜色空间的三个颜色分量中的第1个颜色分量为亮度分量，记为Y，第2个颜色分量为第一色度分量，记为U，第3个颜色分量为第二色度分量，记为V；
②根据设定的总的目标比特数和初始量化参数，在编码第i个立体帧组之前，其中i≥1，对当前立体帧组的目标比特数和初始量化参数进行预算，将对当前立体帧组的左视点图像进行编码的初始量化参数记为QPL(i,1)，对当前立体帧组的右视点图像进行编码的初始量化参数记为QPR(i,1)，对当前立体帧组进行编码的目标比特数记为TSGOP(i,1)，对于i＝1时的第1个立体帧组，QPL(1,1)直接采用设定的初始量化参数，QPR(1,1)=QPL(1,1)+1，
Figure FDA00002472055900011
对于其他的立体帧组，其中i>1， QP L ( i , 1 ) = QP L , p ‾ - 1 - N SGOP 15 , QP R ( i , 1 ) = QP L ( i , 1 ) + QP R , p ‾ - QP L , p ‾ ,
Figure FDA00002472055900014
其中，
Figure FDA00002472055900015
表示第i-1个立体帧组中所有采用P帧编码的立体图像对的左视点图像的平均量化参数，
Figure FDA00002472055900016
表示第i-1个立体帧组中所有采用P帧编码的立体图像对的右视点图像的平均量化参数，u(i，1)表示编码第i个立体帧组第1个立体图像对时可获取的信道带宽，Fr表示帧率，NSGOP表示一个立体帧组中立体图像对的数目，BSGOP表示编码完上一个立体帧组之后缓冲区的大小；
③将对当前第i个立体帧组的第2个立体图像对的左视点图像进行编码的量化参数记为QPL(i,2)，对当前第i个立体帧组的第2个立体图像对的右视点图像进行编码的量化参数记为QPR(i,2)，将第1个立体图像对的左右视点图像的编码量化参数作为第2个立体图像对的左右视点图像的编码量化参数，即QPL(i,2)=QPL(i,1)，QPR(i,2)=QPR(i,1)；
④对当前第i个立体帧组的剩余立体图像对的目标比特数进行预算，确定当前第i个帧组中尚未编码的立体图像对的目标比特数，记从第j个立体图像对开始的所有尚未编码的立体图像对的目标比特数为TSGOP(i,j)，TSGOP(i,j)=TSGOP(i,j-1)-AL(i,j-1)-AR(i,j-1)，其中，2≤j≤NSGOP，AL(i,j-1)表示对第i个立体帧组第j-1个立体图像对的左视点图像进行编码产生的实际比特数，AR(i,j-1)表示对第i个立体帧组第j-1个立体图像对的右视点图像进行编码产生的实际比特数；
⑤对当前第i个立体帧组的缓冲区进行更新，记对第i个立体帧组第j个立体图像对进行编码的缓冲器的目标饱和度为TB(i,j)，其中j≥3，对于j=3时的第3个立体图像对，将编码第3个立体图像对之前缓冲区的实际饱和度作为缓冲区的目标饱和度，TB(i,3)=CB(i,3)，对于其他的立体图像对，其中j>3，
Figure FDA00002472055900021
其中，CB(i,3)表示编码完初始两个立体图像对之后缓冲器的实际饱和度，u(i,j)表示编码第i个立体帧组第j个立体图像对时可获取的信道带宽；
⑥根据尚未编码的立体图像对的目标比特数TSGOP(i,j)和缓冲区的饱和度，获取对第i个立体帧组第j个立体图像对进行编码的目标比特，记为TLR(i,j)；
⑦通过对立体视频掩蔽效应的分析，获得左右视点图像之间的最小可察觉变化步长JND的阈值，以PSNRL表示左视点图像的峰值信噪比，以PSNRR表示右视点图像的峰值信噪比，以QPL表示左视点图像的量化参数，以QPR表示右视点图像的量化参数，以ΔPSNRLR表示左右视点图像的质量差值，ΔPSNRLR=PSNRL-PSNRR，以ΔQPLR表示左右视点图像的量化参数差值，ΔQPLR=QPR-QPL，确立左视点图像的编码量化参数值QPL、左右视点图像的编码量化参数差值ΔQPLR和对应的左右视点图像的质量差值ΔPSNRLR的关系，即建立立体失真-量化关系模型，用立体D-Q模型来表示，立体D-Q模型表示为ΔPSNRLR=β0+β1ΔQPLR+β2QPL，并控制ΔPSNRLR与实际的JND阈值的误差在最小范围之内，其中，β0、β1和β2为立体D-Q模型参数；
⑧根据对第i个立体帧组第j个立体图像对进行编码的目标比特TLR(i,j)，获取在目标比特TLR(i,j)下对第i个立体帧组第j个立体图像对的左视点图像进行编码的目标比特，记为TL(i,j)，获取在目标比特TLR(i,j)下对第i个立体帧组第j个立体图像对的右视点图像进行编码的目标比特，记为TR(i,j)；
⑨根据对第i个立体帧组第j个立体图像对的左视点图像进行编码的目标比特TL(i,j)，获取对第i个立体帧组第j个立体图像对的左视点图像进行编码的量化参数，记为QPL(i,j)，QPL(i,j)=6log2(Qstep,L(i,j))+4，其中，Qstep,L(i,j)表示对第i个立体帧组第j个立体图像对的左视点图像进行编码的量化步长，Qstep，L(i,j)通过采用二次码率-量化模型得到，二次码率-量化模型用二次R-Q模型来表示， T L ( i , j ) = a 1 × MAD ( i , j ) Q step , L ( i , j ) + a 2 × MAD ( i , j ) Q step , L 2 ( i , j ) + H ( i , j ) , MAD(i,j)表示第i个立体帧组第j个立体图像对的左视点图像的编码复杂度，MAD(i,j)通过采用编码复杂度预测模型得到，编码复杂度预测模型用MAD预测模型来表示，MAD(i,j)=c1×MAD(i,j-1)+c2，H(i,j)表示第i个立体帧组第j个立体图像对的左视点图像的头信息比特数的预测值，a1和a2表示通过拟合得到的二次R-Q模型的参数，c1和c2表示通过拟合得到的MAD预测模型的参数；
⑩根据对第i个立体帧组第j个立体图像对的右视点图像进行编码的目标比特TR(i,j)，获取对第i个立体帧组第j个立体图像对的右视点图像进行编码的量化参数，记为QPR(i,j)，QPR(i,j)=QPL(i,j)+ΔQPLR(i,j)，其中，ΔQPLR(i,j)表示第i个立体帧组第j个立体图像对的左右视点图像的量化参数差值，ΔQPLR(i,j)通过采用立体D-Q模型得到，ΔPSNRLR(i,j)=β0+β2QPL(i,j)+β1ΔQPLR(i,j)，使得ΔPSNRLR(i,j)与实际的最小可察觉变化步长JND的阈值的误差在最小范围之内，其中，ΔPSNRLR(i,j)表示第i个立体帧组第j个立体图像对的左右视点图像的质量差值；
Figure FDA00002472055900041
根据设定的立体视频编码预测结构，采用QPL(i,j)对第i个立体帧组第j个立体图像对的原始左视点图像进行编码，得到左视点图像码流；采用QPR(i,j)对第i个立体帧组第j个立体图像对的原始右视点图像进行编码，得到右视点图像码率；
Figure FDA00002472055900042
根据已编码的立体图像对的峰值信噪比和量化参数信息，采用线性回归技术对立体D-Q模型的参数β0、β1和β2进行更新，对二次R-Q模型的参数a1和a2进行更新，对MAD预测模型的参数c1和c2进行更新；
Figure FDA00002472055900043
对当前立体帧组的下一个立体图像对重复执行步骤②至
Figure FDA00002472055900044
直至对所有立体帧组的所有立体图像对完成编码。
2.如权利要求1所述的一种立体视频码率控制方法，其特征在于所述的步骤⑥的具体过程为：
⑥-1、根据尚未编码的立体图像对的目标比特数TSGOP(i,j)，获取对第i个立体帧组第j个立体图像对进行编码的第一候选目标比特数，记为
Figure FDA00002472055900045
T ^ LR ( i , j ) = W p ( i , j - 1 ) T SGOP ( i , j ) W p ( i , j - 1 ) N p , r + W b ( i , j - 1 ) N b , r , 其中，Np,r表示尚未编码的立体图像对中采用P帧编码的立体图像对的数目，Nb，r表示尚未编码的立体图像对中采用B帧编码的立体图像对的数目，Wp(i,j-1)表示已编码的立体图像对中采用P帧编码的立体图像对的编码复杂度，Wb(i,j-1)表示已编码的立体图像对中采用B帧编码的立体图像对的编码复杂度；
⑥-2、根据缓冲区的饱和度，获取对第i个立体帧组第j个立体图像对进行编码的第二候选目标比特数，记为
Figure FDA00002472055900047
T ~ LR ( i , j ) = - γ [ CB ( i , j ) - TB ( i , j ) ] + u ( i , j ) F r , 其中，CB(i,j)表示在编码第i个立体帧组第j个立体图像对之前缓冲器的实际饱和度，γ为控制缓冲器强度的常数，如果当前立体帧组中没有采用B帧编码的立体图像对，则γ取0.25，否则γ取0.75；
⑥-3、将第一候选目标比特数
Figure FDA00002472055900051
和第二候选目标比特数
Figure FDA00002472055900052
进行加权，获取对第i个立体帧组第j个立体图像对进行编码的目标比特，记为TLR(i,j)，
Figure FDA00002472055900053
其中β为加权系数，如果当前立体帧组中没有采用B帧编码的立体图像对，则β取0.5，否则β取0.9。
3.如权利要求1所述的一种立体视频码率控制方法，其特征在于所述的步骤⑦的具体过程为：
⑦-1、任取N个各不相同的编码量化参数作为原始左视点图像的编码量化参数值，分别记为
Figure FDA00002472055900054
对每一个左视点图像的编码量化参数值，又分别取M个各不相同的左右视点图像的编码量化参数差值，分别记为
Figure FDA00002472055900055
得到对应的右视点图像的编码量化参数值，分别记为
⑦-2、采用左视点图像的编码量化参数集合
Figure FDA00002472055900057
和对应的右视点图像的编码量化参数集合
Figure FDA00002472055900058
分别对原始左视点图像和原始右视点图像进行编码，分别得到以该M×N个不同的编码量化参数对原始左视点图像和原始右视点图像进行编码的峰值信噪比，分别记为和
Figure FDA000024720559000510
对应的左右视点图像的质量差值记为 Δ PSNR LR 1 ′ , · · · , Δ PSNR LRk ′ , · · · , Δ PSNR LR ( M × N ) ′ ;
⑦-3、将左视点图像的编码量化参数值、左右视点图像的编码量化参数差值和对应的左右视点图像的质量差值表示成线性方程，ΔPSNRLR=β0+β1ΔQPLR+β2QPL，其中β0、β1和β2为模型参数；
⑦-4、根据已得到的左视点图像的编码量化参数集合
Figure FDA000024720559000512
左右视点图像的编码量化参数差值集合和对应的左右视点图像的质量差值集合
Figure FDA00002472055900062
通过线性回归技术拟合得到模型参数β0、β1和β2。
4.如权利要求1所述的一种立体视频码率控制方法，其特征在于所述的步骤⑧的具体过程为：
⑧-1、通过最小化概率密度函数获取对第i个立体帧组第j个立体图像对的左视点图像和右视点图像进行编码的最佳量化参数组合，记为 ( QP L opt ( i , j ) , QP R opt ( i , j ) ) = arg min Q [ | A L ′ ( i , j ) | QP L ′ ( i , j ) + A R ′ ( i , j ) | QP R ′ ( i , j ) - T LR ( i , j ) | ] , 其中，
Figure FDA00002472055900065
表示最小化概率密度函数，Q表示对左视点图像和右视点图像进行编码的所有的量化参数组合的集合，
Figure FDA00002472055900066
Figure FDA00002472055900067
表示以量化参数
Figure FDA00002472055900068
对原始左视点图像进行编码产生的实际比特数，表示以量化参数
Figure FDA000024720559000610
对原始右视点图像进行编码产生的实际比特数；
⑧-2、对集合Q中对原始左视点图像进行编码的量化参数
Figure FDA000024720559000611
和对原始右视点图像进行编码的量化参数
Figure FDA000024720559000612
的取值范围进行进一步约束，
Figure FDA000024720559000613
的取值范围为 QP L ′ ( i , j - 1 ) - Δ QP TH ≤ QP L ′ ( i , j ) ≤ QP L ′ ( i , j - 1 ) + Δ QP TH , 并且根据
Figure FDA000024720559000615
的取值范围和ΔPSNRLR与QPL和ΔQPLR的关系模型，确定
Figure FDA000024720559000616
的取值范围为 QP R ′ ( i , j ) = arg min [ | PSNR L ′ ( i , j ) | QP L ′ ( i , j ) - PSNR R ′ ( i , j ) | QP R ′ ( i , j ) - Δ PSNR LR ′ ( i , j ) | ] , 其中 Δ PSNR LR ′ ( i , j ) = β 0 + β 1 Δ QP LR ′ ( i , j ) + β 2 QP L ′ ( i , j ) ,
Figure FDA000024720559000619
表示以量化参数
Figure FDA000024720559000620
对原始左视点图像进行编码得到的峰值信噪比，
Figure FDA000024720559000621
表示以量化参数
Figure FDA000024720559000622
对原始右视点图像进行编码得到的峰值信噪比，ΔQPTH为固定阈值；
⑧-3、根据对原始左视点图像和原始右视点图像进行编码的最佳量化参数组合，获取原始左视点图像与原始右视点图像的最佳码率比重，记为η，
Figure FDA000024720559000623
⑧-4、根据对第i个立体帧组第j个立体图像对进行编码的目标比特TLR(i,j)和原始左视点图像与原始右视点图像的最佳码率比重η，获取对第i个立体帧组第j个立体图像对的左视点图像进行编码的目标比特，记为TL(i,j)，获取对第i个立体帧组第j个立体图像对的右视点图像进行编码的目标比特，记为TR(i,j)， T R ( i , j ) = T LR ( i , j ) - T L ( i , j ) = 1 1 + η T LR ( i , j ) .
CN 201110069067 2011-03-22 2011-03-22 一种立体视频码率控制方法 Expired - Fee Related CN102137258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110069067 CN102137258B (zh) 2011-03-22 2011-03-22 一种立体视频码率控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110069067 CN102137258B (zh) 2011-03-22 2011-03-22 一种立体视频码率控制方法

Publications (2)

Publication Number Publication Date
CN102137258A CN102137258A (zh) 2011-07-27
CN102137258B true CN102137258B (zh) 2013-04-24

Family

ID=44296900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110069067 Expired - Fee Related CN102137258B (zh) 2011-03-22 2011-03-22 一种立体视频码率控制方法

Country Status (1)

Country Link
CN (1) CN102137258B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130049523A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
KR20130050405A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 시간 후보자 결정방법
CN102724524B (zh) * 2012-06-01 2014-08-27 宁波大学 一种基于h.264 的立体视频码率控制方法
CN103929640B (zh) * 2013-01-15 2018-03-06 英特尔公司 用于管理视频流播的技术
CN103391436B (zh) * 2013-07-12 2016-06-29 宁波大学 一种基于双目视觉特性的立体视频码率控制方法
CN105306954B (zh) * 2014-05-30 2018-05-22 西安电子科技大学 一种基于视差最小可察觉误差模型的感知立体视频编码
CN104469386B (zh) * 2014-12-15 2017-07-04 西安电子科技大学 一种基于dof的恰可察觉误差模型的感知立体视频编码方法
CN106888374B (zh) * 2015-12-16 2018-11-20 联芯科技有限公司 一种三维视频编码方法、装置及视频处理设备
CN111970565A (zh) * 2020-09-21 2020-11-20 Oppo广东移动通信有限公司 视频数据处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466038A (zh) * 2008-12-17 2009-06-24 宁波大学 一种立体视频编码方法
CN101795411A (zh) * 2010-03-10 2010-08-04 宁波大学 一种立体图像的人眼最小可辨变化分析方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466038A (zh) * 2008-12-17 2009-06-24 宁波大学 一种立体视频编码方法
CN101795411A (zh) * 2010-03-10 2010-08-04 宁波大学 一种立体图像的人眼最小可辨变化分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2008-306750A 2008.12.18

Also Published As

Publication number Publication date
CN102137258A (zh) 2011-07-27

Similar Documents

Publication Publication Date Title
CN102137258B (zh) 一种立体视频码率控制方法
CN101466035B (zh) 一种基于h.264的视频图像组比特分配方法
KR101084511B1 (ko) 3ｄ 비디오 인코딩
CN101547349B (zh) 一种对视频信号的二次avs编码码率控制的方法
CN101888566B (zh) 立体视频编码率失真性能估计方法
CN101835056B (zh) 基于模型的纹理视频与深度图的最优码率分配方法
CN103281530B (zh) 基于率失真优化的hevc码率控制方法
CN103634601B (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
CN103179405A (zh) 一种基于多级感兴趣区域的多视点视频编码方法
CN101572806B (zh) 一种基于h.264的i帧码率控制方法
CN101621683A (zh) 一种基于avs的快速立体视频编码方法
CN101674472A (zh) 多视点视频编码的多级码率控制方法
CN102164281B (zh) 一种基于视觉显著度模型的视频编码码率控制方法
CN109120924A (zh) 一种实时视频通信的质量评价方法
CN111447446B (zh) 一种基于人眼视觉区域重要性分析的hevc码率控制方法
CN104994382A (zh) 一种感知率失真的优化方法
CN102075784B (zh) 一种联合考虑压缩和丢包损伤条件下的视频质量评价方法
CN101877784B (zh) 一种适用于实时应用的h.264码率控制方法
CN104159095B (zh) 一种多视点纹理视频和深度图编码的码率控制方法
CN107257464A (zh) 基于Sobel算子和线性回归的高清视频编码码率控制算法
CN102752591B (zh) 基于综合因子的h.264码率控制方法
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
CN105898331A (zh) 一种深度视频编码的比特分配和码率控制方法
CN103391439A (zh) 一种基于主动宏块隐藏的h.264/avc码率控制方法
CN106888374B (zh) 一种三维视频编码方法、装置及视频处理设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130424

Termination date: 20160322