CN103391436B - 一种基于双目视觉特性的立体视频码率控制方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉感知的立体视频码率控制方法，特点是过对立体图像组层、立体图像对层、帧层这三个层次分别进行码率控制，在立体图像组层，计算每个立体图像组的目标比特数并计算关键帧的量化参数；在立体图像对层，根据剩余比特数和缓冲区饱和度来计算每个立体图像对的目标比特数；在帧层，根据人眼双目视觉掩蔽效应，建立了立体指数码率与量化参数模型来优化立体率失真模型，使左图像分配较多的目标比特数，而右图像相对分配较少的目标比特数，最终确定非关键帧的量化参数。优点是通过本发明的码率控制方法后有效地提高了立体视频客观质量和率失真性能。

Description

一种基于双目视觉特性的立体视频码率控制方法

技术领域：

本发明涉及一种多视点视频码率控制技术，尤其涉及一种基于双目视觉特性的立体视频码率控制方法。

背景技术：

随着多媒体通信技术的快速发展和人们对视觉需求的不断提高，立体视频正在逐步走入人们的生活之中。与传统的二维视频技术相比，立体视频技术能够利用人眼的双目视觉原理，给人带来强烈的深度感和交互性，满足人们对视频的真实感的要求。随着立体视频技术的进步，其研究范围已经覆盖了从宽屏的娱乐应用、远程立体视频会议到精密仪器检测等各种应用，但是，与传统的单通道视频相比，立体视频一般有两个视频通道，数据量要远远大于单通道视频，所以在立体视频的发展过程中，高效的编码和码率控制技术显得尤为重要。

在当前视频编码标准的码率控制提案中，MPEG-2的TM5方法采用线性RQ模型，而MPEG-4的VM8方法和H.264的G012方法采用二次模型。但是，这些模型只能描述单个通道中的码率与量化参数之间的关系，并没有确定左右通道之间的码率分配方案。

现有立体视频码率控制技术很少考虑双目视觉冗余，视觉心理学研究表明人眼双目视觉中存在掩蔽效应，立体视频的质量取决于质量较高通道的质量，即较差质量的通道在人眼观看时被质量较高的通道所掩盖，因此，在总比特数限制的条件下，可以充分利用双目掩蔽效应，给左图像分配较多的比特，同时给右图像相对分配较少的比特，从而提高立体视频的客观质量。

发明内容：

本发明所要解决的技术问题是提供一种在双目掩蔽效应的条件下合理分配立体视频中左右图像的比特，能够有效地提供立体视频客观质量的立体视频码率控制方法。

本发明解决上述技术问题所采用的技术方案为：一种基于双目视觉特性的立体视频码率控制方法，通过对立体图像组层、立体图像对层、帧层这三个层次分别进行码率控制，在立体图像组层，计算每个立体图像组的目标比特数并计算关键帧的量化参数；在立体图像对层，根据剩余比特数和缓冲区饱和度来计算每个立体图像对的目标比特数；在帧层，根据人眼双目视觉掩蔽效应，建立了立体指数码率与量化参数模型来优化立体率失真模型，使左图像分配较多的目标比特数，而右图像相对分配较少的目标比特数，最终确定非关键帧的量化参数，其具体包括以下步骤：

①．以双目相机拍摄得到的颜色空间为YUV的立体视频定义为原始立体视频，该立体视频包括左视点视频和右视点视频，YUV序列由3个颜色分量组成，其中Y表示亮度值，U和V分别表示第一色度和第二色度，用来描述色彩及饱和度，将利用原始左视点YUV序列和解码后得到的左视点YUV序列求取左视点YUV序列的编码峰值信噪比，将利用原始右视点YUV序列和解码后得到的右视点YUV序列求取右视点YUV序列的编码峰值信噪比；

②．根据立体视频编码结构，将同一时刻的左右图像构成一个立体图像对，所述左右视点中的图像帧分为关键帧与非关键帧，由左右视点的关键帧和到下一个关键帧之间所有的立体图像对组成一个立体图像组，根据设定的总目标比特数和初始量化参数，对每个立体图像组的目标比特数和每个立体图像组中第一个立体图像对的量化参数进行计算，对于第一个立体图像组(i=1)，目标比特数第一个立体图像组中第一个立体图像对中左图像的量化参数QP_L(1,0)和右图像的量化参数QP_R(1,0)直接采用设定的初始量化参数，对于其他立体图像组(i>1)，记T_r(i,0)表示开始编码第i个立体图像组的目标比特数，则 $T_r(i,0)=\frac{u(i,0)}{F_r}\×N_s-(\frac{B_s}{8}-B_C(i,0)),$ 第i个立体图像组中第一个立体图像对中左图像的量化参数计算为 ${\mathrm{QP}}_L(i,0)=\frac{S_{\mathrm{LQP}}}{N_s-1}-\frac{{8T}_r(i-1,N_s)}{T_r(i,0)}-\frac{N_s}{15}-1,$ 第i个立体图像组中第一个立体图像对中右图像的量化参数计算为 ${\mathrm{QP}}_R(i,0)=\min \{\frac{S_{\mathrm{RQP}}}{N_s-1}-\frac{{8T}_r(i-1,N_s)}{T_r(i,0)}-\frac{N_s}{15}-1,{\mathrm{QP}}_L(i,0)+{\mathrm{VT}}_{\mathrm{QP}}(i,0)\},$ 其中，u(i,0)表示编码第i个立体图像组时可用的信道带宽，F_r表示视频帧率，N_s表示每一个立体图像组中的立体图像对数，B_s表示缓冲区的容量大小，B_c(i,0)表示编码完第i个立体图像组之前的缓冲区饱和度，S_LQP、S_RQP分别表示前一个立体图像组中左、右图像的非关键帧量化参数的总和，VT_QP(i,0)表示在双目掩蔽效应下左右图像之间可允许的量化参数差值，VT_QP(i,0)=p₁×QP_L(i,0)+p₂，其中p₁、p₂分别为常量-0.3265和17.35；

③．对当前第i个立体图像组的剩余立体图像对的目标比特数进行预算，记在编码第i个立体图像组中第j个立体图像对前，所有未编码的立体图像对的目标比特数为T_r(i,j)， $T_r(i,j)=T_r(i,j-1)+\frac{u(i,j)-u(i,j-1)}{F_r}\×(N_s-j)-A(i,j-1),$ 其中j≥1,u(i,j)表示编码第i个立体图像组中第j个立体图像对时的带宽，F_r表示视频帧率，N_s表示每一个立体图像组中的立体图像对数，A(i,j-1)表示编码第i个立体图像组中第j-1个立体图像对消耗的比特数；

④．根据第i个立体图像组中剩余比特数和缓冲区饱和度来计算第i个立体图像组中第j个立体图像对的目标比特数，根据第i个立体图像组中剩余比特数T_r(i,j)，计算第j个立体图像对的第一候选目标比特数为其中N_s表示每一个立体图像组中的立体图像对数，为了防止缓冲区的上溢和下溢，根据缓冲区的占用情况，计算第j个立体图像对的第二候选目标比特数为 $\tilde{T}(i,j)=\frac{u(i,j)}{F_r}+\mathrm{\γ}\×(\mathrm{TB}(i,j)-\mathrm{CB}(i,j)),$ 其中u(i,j)表示编码第i个立体图像组中第j个立体图像对时的带宽，F_r表示视频帧率，TB(i,j)和CB(i,j)分别表示目标缓冲区大小和实际缓冲区大小，γ为常量0.75，将第一候选目标比特数和第二候选目标比特数进行加权，获取第i个立体图像组中第j个立体图像对的目标比特数 $T(i,j)=\mathrm{\β}\×\hat{T}(i,j)+(1-\mathrm{\β})\×\tilde{T}(i,j),$ 其中β为常量0.5；

⑤．通过对立体图像对中左右图像的码率与量化参数之间的统计分析，以Ratio表示立体图像对中左图像与右图像的码率比例，以△QP表示立体图像对中左图像与右图像的量化参数差值，以QP_L、QP_R分别表示立体图像对中左图像与右图像的量化参数，建立立体图像对中左右图像之间的码率比例与量化参数差值之间的模型；

⑥．根据第i个立体图像组中第j个立体图像对的目标比特数T(i,j)，以QP_L(i,j)表示第i个立体图像组中第j个立体图像对中左图像的量化参数，以△QP(i,j)表示第i个立体图像组中第j个立体图像对中左图像与右图像的量化参数差值，以Ratio(i,j)表示第i个立体图像组中第j个立体图像对中左图像与右图像的码率比例，以VT_QP(i,j)表示在双目掩蔽效应下第i个立体图像组中第j个立体图像对中左右图像之间可允许的量化参数差值，获取第i个立体图像组中第j个立体图像对中左图像和右图像的目标比特数，分别记为T_L(i,j)、T_R(i,j)；

⑦．根据第i个立体图像组中第j个立体图像对中左图像和右图像的目标比特数T_L(i,j)和T_R(i,j)，分别计算第i个立体图像组中第j个立体图像对中左图像和右图像的量化参数，分别记为QP_L(i,j)、QP_R(i,j)，QP_L(i,j)=6log₂(Q_L,step(i,j))+4，QP_R(i,j)=6log₂(Q_R,step(i,j))+4，其中Q_L,step(i,j)和Q_R,step(i,j)分别表示第i个立体图像组中第j个立体图像对中左图像和右图像的量化步长，Q_L,step(i,j)和Q_{R,step (}i,j)通过二次码率与量化参数模型得到， $T_L(i,j)=a_1(i,j)\×\frac{{\mathrm{MAD}}_L(i,j)}{Q_{L,\mathrm{step}}(i,j)}+a_2(i,j)\×\frac{{\mathrm{MAD}}_L(i,j)}{Q_{L,\mathrm{step}}^2(i,j)}+H_L(i,j),$ $T_R(i,j)=a_3(i,j)\×\frac{{\mathrm{MAD}}_R(i,j)}{Q_{R,\mathrm{step}}(i,j)}+a_4(i,j)\×\frac{{\mathrm{MAD}}_R(i,j)}{Q_{R,\mathrm{step}}^2(i,j)}+H_R(i,j),$ 其中MAD_L(i,j)、MAD_R(i,j)分别为左图像和右图像在编码前与编码后亮度值Y的平均绝对差值，H_L(i,j)、H_R(i,j)分别为左图像和右图像的头比特数，a₁(i,j)、a₂(i,j)、a₃(i,j)和a₄(i,j)为模型参数，采用线性回归模型进行逐帧更新；

⑧．对当前立体图像组的下一个立体图像对重复执行步骤②至⑦，直至所有立体图像对完成编码；

⑨．返回步骤②继续执行，直至当前视频中所有立体图像组完成编码。

所述的步骤⑤的具体过程为：

⑤-1．任取N个各不相同的编码量化参数作为左图像的编码量化参数值，分别记为QP′_L1,QP′_L2,…,QP′_Li,…,QP′_LN，对每一个左图像的编码量化参数值，又分别取M个各不相同的左右图像的编码量化参数差值，分别记为△QP₁',△QP₂',…,△QP_j',…,△QP'_M，得到对应的右图像的编码量化参数值，分别记为QP′_R1,QP′_R2,…,QP′_Rk,…,QP′_R(M×N)；

⑤-2．采用左图像的编码量化参数QP′_L1,QP′_L2,…,QP′_Li,…,QP′_LN和对应的右图像的编码量化参数QP′_R1,QP′_R2,…,QP′_Rk,…,QP′_R(M×N)，分别对左图像和右图像进行编码，分别得到以该M×N个不同的编码量化参数对左图像和右图像进行编码的码率，分别记为R'_L1,R'_L2,…,R'_Lk,…,R'_L(M×N)和R'_R1,R'_R2,…,R'_Rk,…,R'_R(M×N)，对应的左图像与右图像的码率比例记为Ratio₁',Ratio'₂,…,Ratio'_k,…,Ratio'_(M×N)；

⑤-3．将左图像的编码量化参数、左图像与右图像的编码量化参数差值和左图像与右图像的码率比例进行拟合，得到指数模型Ratio=Ae^B×△QP，其中参数A和B分别表示指数模型的幅度和频率，与左图像的编码量化参数有关；

⑤-4．将参数A与左图像的编码量化参数拟合成线性关系，通过线性关系计算参数A，将参数B与左图像的编码量化参数拟合成线性关系，通过线性关系计算参数B。

所述的步骤⑥的具体过程为：

⑥-1．对左图像的编码量化参数的取值范围进行约束，QP_L'(i,j)的取值范围为QP_L'(i,j-1)-△QP_TH≤QP_L'(i,j)≤QP_L'(i,j-1)+△QP_TH，其中△QP_TH表示固定阈值，并且根据△QP'(i,j)≤VT_QP'(i,j)，确定Ratio'(i,j)的取值范围， $\mathrm{Ratio}\′(i,j)=\underset{Q}{\arg \max }[A\′(i,j)\×e^{B\′(i,j)\×\mathrm{\ΔQP}\′(i,j)}],$ 其中argmax[]表示最大化概率密度函数，Q表示左图像的编码量化参数和左图像与右图像的编码量化参数差值的所有的量化参数组合的集合，(QP_L'(i,j),△QP'(i,j))∈Q，参数A'(i,j)和B'(i,j)分别表示编码第i个立体图像组中第j个立体图像对中指数模型的幅度和频率；

⑥-2．对第i个立体图像组中第j个立体图像对中左图像分配的目标比特数为对第i个立体图像组中第j个立体图像对中右图像分配的目标比特数为 $T_R(i,j)=\frac{1}{\mathrm{Ratio}(i,j)+1}\×T(i,j)\·$

与现有技术相比，本发明的优点在于：通过统计分析左右视点图像之间码率比例与量化参数差值之间的关系，建立了码率与量化参数的立体指数模型，在此立体指数模型和双目掩蔽阈值的约束下，求取最佳的码率分配比例，使视觉权重较高的左视点图像分配较多的比特，使视觉权重较低的右视点图像分配较少的比特，从而提高立体视频客观质量。

附图说明：

图1为本发明方法的流程框图；

图2a为“Crowd”视频序列的左视点图像；

图2b为“Crowd”视频序列的右视点图像；

图3a为“Booksale”视频序列的左视点图像；

图3b为“Booksale”视频序列的右视点图像；

图4a为“Ballroom”视频序列的左视点图像；

图4b为“Ballroom”视频序列的右视点图像；

图5a为“Akko”视频序列的左视点图像；

图5b为“Akko”视频序列的右视点图像；

图6a为“Booksale”视频序列的码率比例与量化参数差值的关系曲线图；

图6b为“Akko”视频序列的码率比例与量化参数差值的关系曲线图；

图7a为参数A与左图像量化参数之间的关系曲线；

图7b为参数B与左图像量化参数之间的关系曲线；

图8a为“Crowd”视频序列的本发明方法与对称控制方法的率失真曲线；

图8b为“Booksale”视频序列的本发明方法与对称控制方法的率失真曲线；

图8c为“Ballroom”视频序列的本发明方法与对称控制方法的率失真曲线；

图8d为“Akko”视频序列的本发明方法与对称控制方法的率失真曲线；

具体实施方式：

以下结合附图与具体实施方式对本发明做进一步描述，但是本发明不仅限于以下具体实施方式。

本发明提出的一种基于双目视觉特性的立体视频码率控制方法，其总体实现框图如图1所示，该方法通过对立体图像组层、立体图像对层、帧层这三个层次分别进行码率控制，在立体图像组层，计算每个立体图像组的目标比特数并计算关键帧的量化参数；在立体图像对层，根据剩余比特数和缓冲区饱和度来计算每个立体图像对的目标比特数；在帧层，根据人眼双目视觉掩蔽效应，建立了立体指数码率与量化参数模型来优化立体率失真模型，使左图像分配较多的目标比特数，而右图像相对分配较少的目标比特数，最终确定非关键帧的量化参数，其具体包括以下步骤：

①．以双目相机拍摄得到的颜色空间为YUV的立体视频定义为原始立体视频，该立体视频包括左视点视频和右视点视频，YUV序列由3个颜色分量组成，其中Y表示亮度值，U和V分别表示第一色度和第二色度，用来描述色彩及饱和度，将利用原始左视点YUV序列和解码后得到的左视点YUV序列求取左视点YUV序列的编码峰值信噪比，将利用原始右视点YUV序列和解码后得到的右视点YUV序列求取右视点YUV序列的编码峰值信噪比。

在本实施中，采用标准立体视频YUV测试序列“Crowd”、“Booksale”、“Ballroom”和“Akko”序列进行编码测试，其中“Crowd”和“Booksale”序列分辨率为320×240，“Ballroom”和“Akko”序列分辨率为640×480，图2a和图2b分别给出了“Crowd”的左视点图像和右视点图像，图3a和图3b分别给出了“Booksale”的左视点图像和右视点图像，图4a和图4b分别给出了“Ballroom”的左视点图像和右视点图像，图5a和图5b分别给出了“Akko”的左视点图像和右视点图像。

②．根据立体视频编码结构，将同一时刻的左右图像构成一个立体图像对，所述左右视点中的图像帧分为关键帧与非关键帧，由左右视点的关键帧和到下一个关键帧之间所有的立体图像对组成一个立体图像组，根据设定的总目标比特数和初始量化参数，对每个立体图像组的目标比特数和每个立体图像组中第一个立体图像对的量化参数进行计算，对于第一个立体图像组(i=1)，目标比特数第一个立体图像组中第一个立体图像对中左图像的量化参数QP_L(1,0)和右图像的量化参数QP_R(1,0)直接采用设定的初始量化参数，对于其他立体图像组(i>1)，记T_r(i,0)表示开始编码第i个立体图像组的目标比特数，则 $T_r(i,0)=\frac{u(i,0)}{F_r}\×N_s-(\frac{B_s}{8}-B_C(i,0)),$ 第i个立体图像组中第一个立体图像对中左图像的量化参数计算为 ${\mathrm{QP}}_L(i,0)=\frac{S_{\mathrm{LQP}}}{N_s-1}-\frac{{8T}_r(i-1,N_s)}{T_r(i,0)}-\frac{N_s}{15}-1,$ 第i个立体图像组中第一个立体图像对中右图像的量化参数计算为 ${\mathrm{QP}}_R(i,0)=\min \{\frac{S_{\mathrm{RQP}}}{N_s-1}-\frac{{8T}_r(i-1,N_s)}{T_r(i,0)}-\frac{N_s}{15}-1,{\mathrm{QP}}_L(i,0)+{\mathrm{VT}}_{\mathrm{QP}}(i,0)\},$ 其中，u(i,0)表示编码第i个立体图像组时可用的信道带宽，F_r表示视频帧率，N_s表示每一个立体图像组中的立体图像对数，B_s表示缓冲区的容量大小，B_c(i,0)表示编码完第i个立体图像组之前的缓冲区饱和度，S_LQP、S_RQP分别表示前一个立体图像组中左、右图像的非关键帧量化参数的总和，VT_QP(i,0)表示在双目掩蔽效应下左右图像之间可允许的量化参数差值，VT_QP(i,0)=p₁×QP_L(i,0)+p₂，其中p₁、p₂分别为常量-0.3265和17.35，在本实施例中，F_r=30，N_s=15。

③．对当前第i个立体图像组的剩余立体图像对的目标比特数进行预算，记在编码第i个立体图像组中第j个立体图像对前，所有未编码的立体图像对的目标比特数为T_r(i,j)， $T_r(i,j)=T_r(i,j-1)+\frac{u(i,j)-u(i,j-1)}{F_r}\×(N_s-j)-A(i,j-1),$ 其中j≥1,u(i,j)表示编码第i个立体图像组中第j个立体图像对时的带宽，F_r表示视频帧率，N_s表示每一个立体图像组中的立体图像对数，A(i,j-1)表示编码第i个立体图像组中第j-1个立体图像对消耗的比特数；

④．根据第i个立体图像组中剩余比特数和缓冲区饱和度来计算第i个立体图像组中第j个立体图像对的目标比特数，根据第i个立体图像组中剩余比特数T_r(i,j)，计算第j个立体图像对的第一候选目标比特数为其中N_s表示每一个立体图像组中的立体图像对数，为了防止缓冲区的上溢和下溢，根据缓冲区的占用情况，计算第j个立体图像对的第二候选目标比特数为 $\tilde{T}(i,j)=\frac{u(i,j)}{F_r}+\mathrm{\γ}\×(\mathrm{TB}(i,j)-\mathrm{CB}(i,j)),$ 其中u(i,j)表示编码第i个立体图像组中第j个立体图像对时的带宽，F_r表示视频帧率，TB(i,j)和CB(i,j)分别表示目标缓冲区大小和实际缓冲区大小，γ为常量0.75，将第一候选目标比特数和第二候选目标比特数进行加权，获取第i个立体图像组中第j个立体图像对的目标比特数 $T(i,j)=\mathrm{\β}\×\hat{T}(i,j)+(1-\mathrm{\β})\×\tilde{T}(i,j),$ 其中β为常量0.5；

⑤．通过对立体图像对中左右图像的码率与量化参数之间的统计分析，以Ratio表示立体图像对中左图像与右图像的码率比例，以△QP表示立体图像对中左图像与右图像的量化参数差值，以QP_L、QP_R分别表示立体图像对中左图像与右图像的量化参数，建立立体图像对中左右图像之间的码率比例与量化参数差值之间的模型，具体过程为：

⑤-1．任取N个各不相同的编码量化参数作为左图像的编码量化参数值，分别记为QP′_L1,QP′_L2,…,QP′_Li,…,QP′_LN，对每一个左图像的编码量化参数值，又分别取M个各不相同的左右图像的编码量化参数差值，分别记为△QP₁',△QP₂',…,△QP_j',…,△QP'_M，得到对应的右图像的编码量化参数值，分别记为QP′_R1,QP′_R2,…,QP′_Rk,…,QP′_R(M×N)，在本实施例中，N=4，M=11；

⑤-2．采用左图像的编码量化参数QP′_L1,QP′_L2,…,QP′_Li,…,QP′_LN和对应的右图像的编码量化参数QP′_R1,QP′_R2,…,QP′_Rk,…,QP′_R(M×N)，分别对左图像和右图像进行编码，分别得到以该M×N个不同的编码量化参数对左图像和右图像进行编码的码率，分别记为R'_L1,R'_L2,…,R'_Lk,…,R'_L(M×N)和R'_R1,R'_R2,…,R'_Rk,…,R'_R(M×N)，对应的左图像与右图像的码率比例记为Ratio₁',Ratio'₂,…,Ratio'_k,…,Ratio'_(M×N)；

⑤-3．将左图像的编码量化参数、左图像与右图像的编码量化参数差值和左图像与右图像的码率比例进行拟合，得到指数模型Ratio=Ae^B×△QP，其中参数A和B分别表示指数模型的幅度和频率，与左图像的编码量化参数有关；

⑤-4．将参数A与左图像的编码量化参数拟合成线性关系，通过线性关系计算参数A，将参数B与左图像的编码量化参数拟合成线性关系，通过线性关系计算参数B。

在本实施中，图6a和图6b分别给出了“Booksale”和“Akko”的左右图像码率比例、左图像的编码量化参数值和左图像与右图像的量化参数差值的关系曲线，可以看出，该关系曲线基本呈指数关系。图7a和图7b分别给出了参数A与左图像量化参数之间的关系曲线、参数B与左图像量化参数之间的关系曲线，可以看出，参数A基本为固定值1.1，参数B与左图像量化参数呈近似线性关系B=b₁×QP_L+b₂，其中QP_L为左图像的量化参数，b₁、b₂为模型参数。

⑥．根据第i个立体图像组中第j个立体图像对的目标比特数T(i,j)，以QP_L(i,j)表示第i个立体图像组中第j个立体图像对中左图像的量化参数，以△QP(i,j)表示第i个立体图像组中第j个立体图像对中左图像与右图像的量化参数差值，以Ratio(i,j)表示第i个立体图像组中第j个立体图像对中左图像与右图像的码率比例，以VT_QP(i,j)表示在双目掩蔽效应下第i个立体图像组中第j个立体图像对中左右图像之间可允许的量化参数差值，获取第i个立体图像组中第j个立体图像对中左图像和右图像的目标比特数，分别记为T_L(i,j)、T_R(i,j)，具体过程为：

⑥-1．对左图像的编码量化参数的取值范围进行约束，QP_L'(i,j)的取值范围为QP_L'(i,j-1)-△QP_TH≤QP_L'(i,j)≤QP_L'(i,j-1)+△QP_TH，其中△QP_TH表示固定阈值，并且根据△QP'(i,j)≤VT_QP'(i,j)，确定Ratio'(i,j)的取值范围， $\mathrm{Ratio}\′(i,j)=\underset{Q}{\arg \max }[A\′(i,j)\×e^{B\′(i,j)\×\mathrm{\ΔQP}\′(i,j)}]$ ，其中argmax[]表示最大化概率密度函数，Q表示左图像的编码量化参数和左图像与右图像的编码量化参数差值的所有的量化参数组合的集合，(QP_L'(i,j),△QP'(i,j))∈Q，参数A'(i,j)和B'(i,j)分别表示编码第i个立体图像组中第j个立体图像对中指数模型的幅度和频率，在本实施例中，△QP_TH=2；

⑥-2．对第i个立体图像组中第j个立体图像对中左图像分配的目标比特数为对第i个立体图像组中第j个立体图像对中右图像分配的目标比特数为 $T_R(i,j)=\frac{1}{\mathrm{Ratio}(i,j)+1}\×T(i,j)\·$

⑦．根据第i个立体图像组中第j个立体图像对中左图像和右图像的目标比特数T_L(i,j)和T_R(i,j)，分别计算第i个立体图像组中第j个立体图像对中左图像和右图像的量化参数，分别记为QP_L(i,j)、QP_R(i,j)，QP_L(i,j)=6log₂(Q_L,step(i,j))+4，QP_R(i,j)=6log₂(Q_R,step(i,j))+4，其中Q_L,step(i,j)和Q_R,step(i,j)分别表示第i个立体图像组中第j个立体图像对中左图像和右图像的量化步长，Q_L,step(i,j)和Q_R,step(i,j)通过二次码率与量化参数模型得到， $T_L(i,j)=a_1(i,j)\×\frac{{\mathrm{MAD}}_L(i,j)}{Q_{L,\mathrm{step}}(i,j)}+a_2(i,j)\×\frac{{\mathrm{MAD}}_L(i,j)}{Q_{L,\mathrm{step}}^2(i,j)}+H_L(i,j),$ $T_R(i,j)=a_3(i,j)\frac{{\mathrm{MAD}}_R(i,j)}{Q_{R,\mathrm{step}}(i,j)}+a_4(i,j)\×\frac{{\mathrm{MAD}}_R(i,j)}{Q_{R,\mathrm{step}}^2(i,j)}+H_R(i,j),$ 其中MAD_L(i,j)、MAD_R(i,j)分别为左图像和右图像在编码前与编码后亮度值Y的平均绝对差值，H_L(i,j)、H_R(i,j)分别为左图像和右图像的头比特数，a₁(i,j)、a₂(i,j)、a₃(i,j)和a₄(i,j)为模型参数，采用线性回归模型进行逐帧更新。

⑧．对当前立体图像组的下一个立体图像对重复执行步骤②至⑦，直至所有立体图像对完成编码。

⑨．返回步骤②继续执行，直至当前视频中所有立体图像组完成编码。

以下就利用本发明方法对“Crowd”、“Booksale”、“Ballroom”和“Akko”序列的控制性能进行比较。

将采用本发明方法的性能与对称控制方法的性能进行比较，对称控制方法是对左右视点图像进行等比例的比特分配。实验中目标码率分别设置为300kbps、600kbps、1000kbps和2000kbps，左右视点各编码150帧，立体图像组长度设置为15，实验结果如表1所示，其中码率控制精度即实际码率相对于目标码率的偏差，记为RCE，其中R_target和R_actual分别表示目标码率和实际码率，立体视频客观质量的计算为其中PSNR_L和PSNR_R分别表示左、右视点YUV序列的编码峰值信噪比。从表1可以看出，本发明方法与对称控制方法都能提供较小的码率控制偏差，而本发明方法比对称控制方法能够提供更好的立体视频客观质量，从图8a、图8b、图8c和图8d中的率失真性能对比可以看出，本发明方法的率失真性能明显优于对称控制方法的率失真性能。

表1本发明方法与对称控制方法码率控制精度和立体视频客观质量比较

Claims (2)

1.一种基于双目视觉特性的立体视频码率控制方法，其特征在于通过对立体图像组层、立体图像对层、帧层这三个层次分别进行码率控制，在立体图像组层，计算每个立体图像组的目标比特数并计算关键帧的量化参数；在立体图像对层，根据剩余比特数和缓冲区饱和度来计算每个立体图像对的目标比特数；在帧层，根据人眼双目视觉掩蔽效应，建立了立体指数码率与量化参数模型来优化立体率失真模型，使左图像分配较多的目标比特数，而右图像相对分配较少的目标比特数，最终确定非关键帧的量化参数，其具体包括以下步骤：

①.以双目相机拍摄得到的颜色空间为YUV的立体视频定义为原始立体视频，该立体视频包括左视点视频和右视点视频，YUV序列由3个颜色分量组成，其中Y表示亮度值，U和V分别表示第一色度和第二色度，用来描述色彩及饱和度；

②.根据立体视频编码结构，将同一时刻的左右图像构成一个立体图像对，所述左右视点中的图像帧分为关键帧与非关键帧，由左右视点的关键帧和到下一个关键帧之间所有的立体图像对组成一个立体图像组，根据设定的总目标比特数和初始量化参数，对每个立体图像组的目标比特数和每个立体图像组中第一个立体图像对的量化参数进行计算，对于第一个立体图像组(i＝1)，目标比特数第一个立体图像组中第一个立体图像对中左图像的量化参数QP_L(1,0)和右图像的量化参数QP_R(1,0)直接采用设定的初始量化参数，对于其他立体图像组(i>1)，记T_r(i,0)表示开始编码第i个立体图像组的目标比特数，则 $T_r(i,0)=\frac{u(i,0)}{F_r}\×N_s-(\frac{B_s}{8}-B_C(i,0\left)\right),$ 第i个立体图像组中第一个立体图像对中左图像的量化参数计算为第i个立体图像组中第一个立体图像对中右图像的量化参数计算为 ${\mathrm{QP}}_R(i,0)=\min \{\frac{S_{RQP}}{N_s-1}-\frac{8T_r(i-1,N_s)}{T_r(i,0)}-\frac{N_s}{15}-1,{\mathrm{QP}}_L(i,0)+{\mathrm{VT}}_{QP}(i,0)\},$ 其中，u(i,0)表示编码第i个立体图像组时可用的信道带宽，F_r表示视频帧率，N_s表示每一个立体图像组中的立体图像对数，B_s表示缓冲区的容量大小，B_c(i,0)表示编码完第i个立体图像组之前的缓冲区饱和度，S_LQP、S_RQP分别表示前一个立体图像组中左、右图像的非关键帧量化参数的总和，VT_QP(i,0)表示在双目掩蔽效应下左右图像之间可允许的量化参数差值，VT_QP(i,0)＝p₁×QP_L(i,0)+p₂，其中p₁、p₂分别为常量-0.3265和17.35；

③.对当前第i个立体图像组的剩余立体图像对的目标比特数进行预算，记在编码第i个立体图像组中第j个立体图像对前，所有未编码的立体图像对的目标比特数为T_r(i,j)， $T_r(i,j)=T_r(i,j-1)+\frac{u(i,j)-u(i,j-1)}{F_r}\×(N-j)-A(i,j-1),$ 其中j≥1,u(i,j)表示编码第i个立体图像组中第j个立体图像对时的带宽，F_r表示视频帧率，N表示每一个立体图像组中的立体图像对数，A(i,j-1)表示编码第i个立体图像组中第j-1个立体图像对消耗的比特数；

④.根据第i个立体图像组中剩余比特数和缓冲区饱和度来计算第i个立体图像组中第j个立体图像对的目标比特数，根据第i个立体图像组中剩余比特数T_r(i,j)，计算第j个立体图像对的第一候选目标比特数为其中N表示每一个立体图像组中的立体图像对数，为了防止缓冲区的上溢和下溢，根据缓冲区的占用情况，计算第j个立体图像对的第二候选目标比特数为其中u(i,j)表示编码第i个立体图像组中第j个立体图像对时的带宽，F_r表示视频帧率，TB(i,j)和CB(i,j)分别表示目标缓冲区大小和实际缓冲区大小，γ为常量0.75，将第一候选目标比特数和第二候选目标比特数进行加权，获取第i个立体图像组中第j个立体图像对的目标比特数 $T(i,j)=\mathrm{\β}*\hat{T}(i,j)+(1-\mathrm{\β})*\tilde{T}(i,j),$ 其中β为常量0.5；

⑤.通过对立体图像对中左右图像的码率与量化参数之间的统计分析，以Ratio表示立体图像对中左图像与右图像的码率比例，以△QP表示立体图像对中左图像与右图像的量化参数差值，以QP_L、QP_R分别表示立体图像对中左图像与右图像的量化参数，建立立体图像对中左右图像之间的码率比例与量化参数差值之间的模型；

所述的步骤⑤的具体过程为：

⑤-1.任取N个各不相同的编码量化参数作为左图像的编码量化参数值，分别记为QP′_L1,QP′_L2,…,QP′_Li,…,QP′_LN，对每一个左图像的编码量化参数值，又分别取M个各不相同的左右图像的编码量化参数差值，分别记为△QP′₁,△QP′₂,…,△QP′_j,…,△QP'_M，得到对应的右图像的编码量化参数值，分别记为QP′_R1,QP′_R2,…,QP′_Rk,…,QP′_R(M×N)；

⑤-2.采用左图像的编码量化参数QP′_L1,QP′_L2,…,QP′_Li,…,QP′_LN和对应的右图像的编码量化参数QP′_R1,QP′_R2,…,QP′_Rk,…,QP′_R(M×N)，分别对左图像和右图像进行编码，分别得到以该M×N个不同的编码量化参数对左图像和右图像进行编码的码率，分别记为R'_L1,R'_L2,…,R'_Lk,…,R'_L(M×N)和R'_R1,R'_R2,…,R'_Rk,…,R'_R(M×N)，对应的左图像与右图像的码率比例记为Ratio′₁,Ratio'₂,…,Ratio'_k,…,Ratio'_(M×N)；

⑤-3.将左图像的编码量化参数、左图像与右图像的编码量化参数差值和左图像与右图像的码率比例进行拟合，得到指数模型Ratio＝Ae^B×△QP，其中参数A和B分别表示指数模型的幅度和频率，与左图像的编码量化参数有关；

⑤-4.将参数A与左图像的编码量化参数拟合成线性关系，通过线性关系计算参数A，将参数B与左图像的编码量化参数拟合成线性关系，通过线性关系计算参数B；

⑥.根据第i个立体图像组中第j个立体图像对的目标比特数T(i,j)，以QP_L(i,j)表示第i个立体图像组中第j个立体图像对中左图像的量化参数，以△QP(i,j)表示第i个立体图像组中第j个立体图像对中左图像与右图像的量化参数差值，以Ratio(i,j)表示第i个立体图像组中第j个立体图像对中左图像与右图像的码率比例，以VT_QP(i,j)表示在双目掩蔽效应下第i个立体图像组中第j个立体图像对中左右图像之间可允许的量化参数差值，获取第i个立体图像组中第j个立体图像对中左图像和右图像的目标比特数，分别记为T_L(i,j)、T_R(i,j)；

⑦.根据第i个立体图像组中第j个立体图像对中左图像和右图像的目标比特数T_L(i,j)和T_R(i,j)，分别计算第i个立体图像组中第j个立体图像对中左图像和右图像的量化参数，分别记为QP_L(i,j)、QP_R(i,j)，QP_L(i,j)＝6log₂(Q_L,step(i,j))+4，QP_R(i,j)＝6log₂(Q_R,step(i,j))+4，其中Q_L,step(i,j)和Q_R,step(i,j)分别表示第i个立体图像组中第j个立体图像对中左图像和右图像的量化步长，Q_L,step(i,j)和Q_R,step(i,j)通过二次码率与量化参数模型得到， $T_L(i,j)=a_1(i,j)\×\frac{{\mathrm{MAD}}_L(i,j)}{Q_{L,step}(i,j)}+a_2(i,j)\×\frac{{\mathrm{MAD}}_L(i,j)}{Q_{L,step}^2(i,j)}+H_L(i,j),$ $T_R(i,j)=a_3(i,j)\×\frac{{\mathrm{MAD}}_R(i,j)}{Q_{R,step}(i,j)}+a_4(i,j)\×\frac{{\mathrm{MAD}}_R(i,j)}{Q_{R,step}^2(i,j)}+H_R(i,j),$ 其中MAD_L(i,j)、MAD_R(i,j)分别为左图像和右图像在编码前与编码后亮度值Y的平均绝对差值，H_L(i,j)、H_R(i,j)分别为左图像和右图像的头比特数，a₁(i,j)、a₂(i,j)、a₃(i,j)和a₄(i,j)为模型参数，采用线性回归模型进行逐帧更新；

⑧.对当前立体图像组的下一个立体图像对重复执行步骤②至⑦，直至所有立体图像对完成编码；

⑨.返回步骤②继续执行，直至当前视频中所有立体图像组完成编码。

2.根据权利要求1所述的一种基于双目视觉特性的立体视频码率控制方法，其特征在于所述的步骤⑥的具体过程为：

⑥-1.对左图像的编码量化参数的取值范围进行约束，QP′_L(i,j)的取值范围为QP′_L(i,j-1)-△QP_TH≤QP′_L(i,j)≤QP′_L(i,j-1)+△QP_TH，其中△QP_TH表示固定阈值，并且根据△QP'(i,j)≤VT_QP'(i,j)，确定Ratio'(i,j)的取值范围， ${\mathrm{Ratio}}^{\′}(i,j)=\underset{Q}{\mathrm{argmax}}\[A^{\′}(i,j)\×e^{B^{\′}(i,j)\×{\mathrm{\ΔQP}}^{\′}(i,j)}\],$ 其中argmax[]表示最大化概率密度函数，Q表示左图像的编码量化参数和左图像与右图像的编码量化参数差值的所有的量化参数组合的集合，(QP′_L(i,j),△QP'(i,j))∈Q，参数A'(i,j)和B'(i,j)分别表示编码第i个立体图像组中第j个立体图像对中指数模型的幅度和频率；

⑥-2.对第i个立体图像组中第j个立体图像对中左图像分配的目标比特数为对第i个立体图像组中第j个立体图像对中右图像分配的目标比特数为 $T_R(i,j)=\frac{1}{Ratio(i,j)+1}\×T(i,j).$