CN101242532A - 一种面向多视点视频的码率控制方法 - Google Patents

Abstract

本发明公开了一种面向多视点视频的码率控制方法，通过改进传统视频编码中的二次率失真模型，采用双模型的码率控制模式以及图片组层与帧层二级码率控制策略，可以达到在多视点视频编码中基于事先给定的码率、帧率条件下进行有效码率控制的目的。与采用传统的二次率失真模型相比，本发明中改进后的率失真模型具有更高的准确性，能更好的进行码率预测，给出的视频编码码率控制方法较为简单，计算量较小，具有可操作性，用于多视点视频编码中，能进行有效的码率控制。本发明提出的面向多视点视频的码率控制方法可应用于立体电视、立体电影、机器视觉、远程医疗等视频通信技术领域。

Description

一种面向多视点视频的码率控制方法

技术领域

本发明属于信息传播技术领域，涉及一种面向多视点视频的码率控制方法。尤其是涉及通过改进率失真模型、采用双模型的码率控制模式、使用图片组层与帧层二级码率控制策略的多视点视频码率控制方法。

背景技术

多视点视频有多路的视频信号，利用多路视频信号之间存在良好的时间相关性和空间相关性，就可能为人们展现出满足立体感觉的高品位视频，并且还能满足交互性操作的要求。因此，多视点视频被认为是未来视频技术的一个重要发展方向，它在未来立体电视、立体电影、机器视觉、远程医疗等领域有着广泛的应用前景。

目前，多视点视频技术还处在不断成熟和发展阶段，其中，码率控制技术就是多视点视频编码与传输中的一个核心与关键问题。综所周知。视频编码技术相对多视点视频技术而言，开展研究较早，视频编码技术已发展到比较成熟的过程，已有许多专家提出若干码率控制算法，一些码率控制算法被得到了应用，如MPEG-2的TM5算法、H.263的TMN8算法以及H.264的JVT-F086、JVT-G012算法等。

鉴于视频编码与多视点视频编码的技术存在着本质差异，视频编码的这些算法不能直接应用于多视点视频编码，所以需要单独研究面向多视点视频的码率控制方法。但是，在此方面还只有少数学者进行了初步研究，有关多视点视频的码率控制技术的研究文献报道还较少。Woo W.等人基于率失真理论研究了多视点视频编码中的最佳比特分配问题，提出了最优比特分配的码率控制的基本思想和相关算法。但该算法非常复杂、计算量大，该理论研究在实际应用上尚不具有可操作性，还难以取得实质性的应用成果。

在视频编码中，为了充分去除空域、时域等信息冗余，同时采用预测编码、变换编码、熵编码等混合编码技术。常用的单视点视频编码器结构框图如图1所示，其在编码时结合采用运动估计与补偿预测技术(MCP)，达到充分去除各种冗余信息。原始视频序列01和存储在缓存中的参考帧图像首先输入到运动估计与补偿预测器011进行运动估计和补偿预测处理，处理得到的运动矢量012加到变长编码单元020进行变长编码；同时，原始视频序列01和其在运动估计与补偿预测器011得到的预测图像同时送到加法器013进行求和，求和输出的差值图像送到DCT变换单元(离散余弦变换)014进行离散余弦变换，变换输出送量化单元015进行量化处理，量化输出一方面加到变长编码单元020进行变长熵编码，输出视频流02；另一方面送到逆量化单元016和逆变换单元017进行逆量化和DCT逆变换，与运动估计与补偿预测器011得到的预测图像在求和器018进行相加后得到重建图像，保存到缓存019中作为后续编码图像的预测参考。单视点视频编码器的码率控制采用经典的R-Q二次率失真模型，它是目前在码率控制中，一种广泛使用的并被认为是迄今为止最佳的率失真模型，其表达式为：

$R=\frac{\mathrm{\α}}{Q}+\frac{\mathrm{\β}}{Q^2}$

式中，α，β为模型参数。该模型的理论推导不是非常严谨，在实际应用中会存在欠缺，难以进行精确的码率预测，编码器输出的视频码流图像缺乏的平面深度和立面高度的视觉效果。

发明内容

本发明的目的是克服现有技术的缺陷，提出一种面向多视点视频的码率控制方法，解决并达到在多视点视频编码中在总码率受限情况下，基于事先给定的码率、帧率，合理分配码率资源，有效控制码流码率的技术问题。

本发明解决上述技术问题所采用的技术方案为：

一种面向多视点视频的码率控制方法，其在于码率控制方法包括以下步骤：

第一步骤、构架一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，其多视点视频结构的原始视频序列至少包括2个至n_v个视点视频图像，n_v为视点数；

第二步骤、确定编码器采用多视点视频图片组(MGOP)层与帧层二级的码率控制策略，其中：

多视点视频图片组(MGOP)是由多个视点在若干分时时刻同时拍摄得到的图像集按规律组合而成；

编码的图片帧类型分为帧内编码帧和非帧内编码帧：帧内编码帧为I帧；非帧内编码帧有P_M、B_M、P_D1～P_Dn、B_D1～B_Dn，其中，P_M、B_M分别表示主视点视频序列中采用运动估计与补偿预测技术(MCP)的预测编码和双向预测编码图片，P_D1～P_Dn、B_D1～B_Dn分别表示辅视点视频序列中采用视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)的预测编码和双向预测编码图片，多视点视频的视点数n_v为n+1，n为辅视点视频的视点数；

第三步骤、编码器多视点视频图片组层的码率控制，它主要包括：

1)建立改进的R-(Q，S_r)二元参数率失真模型；

2)由用户根据需要设定编码速率bit_rate和帧率f_r的初始值；

3)在设定的码率、帧率条件下，在主、辅视点视频图像中选择一类视点视频图像的码率控制模型为经典的R-Q二次率失真模型，而另一类视点视频图像码率控制模型为改进的R-(Q，S_r)二元参数的码率控制模型，其中，S_r为图片的空间分辨率参数，Q为图片的编码量化参数，R-(Q，S_r)码率控制模型是以图片空间分辨率S_r和Q值二元参数来进行码率控制；

4)在设定的码率、帧率的条件下，确定I帧(帧内编码帧)的量化参数；

第四步骤、根据给定的帧率f_r和编码速率bit_rate计算多视点图片组(MGOP)的可用比特数：

1)设定视点数n_v值；

2)定义视频编码中图片组的长度N_G；

3)定义虚拟缓冲区的大小B_S；

4)设置虚拟缓冲区初始值B₀；

5)在对下一个图片组进行编码之前，计算该多视点图片组编码压缩后允许的数据量，即MGOP的可用比特数T(0)：

$T\left(0\right)=\frac{\mathrm{bit}\_\mathrm{rate}}{n_v{f}_r}{N}_G-(B_0-B_c\left(0\right))---\left(1\right)$

式中，B_C(0)为编码完前一个MGOP后虚拟缓冲区的占用度，T(0)根据帧率f_r、编码速率bit_rate以及n_v、N_G、B₀、B_C(0)等参数来计算；

6)计算多视点图片组编码完第j帧后MGOP的剩余比特数T(j)：

$T\left(j\right)=\frac{\mathrm{bit}\_\mathrm{rate}}{n_v{f}_r}{N}_G-(B_S-B_C(j-1))---\left(2\right)$

T(j)为计算一个图片组中在编码完前j帧图像后，剩下的所有图像还可分配的剩余比特总数；

7)完成每一帧编码后，其预算比特总数值由下式更新：

T(j)＝T(j-1)-A(j-1)    (2’)

其中，A(j-1)表示编码第j-1帧实际使用的比特数；

第五步骤、根据模式选择参数Mode_type选择码率控制模型：

1)定义模式选择参数Mode_type，其计算式如公式(3)：

$\mathrm{Mode}\_\mathrm{type}=\left\{\begin{array}{cc}0& \frac{T\left(0\right)}{N_G\mathrm{image}\_\mathrm{size}}>L_0\\ 1& L_1<\frac{T\left(0\right)}{N_G\mathrm{image}\_\mathrm{size}}\&le;L_0\\ 2& L_2<\frac{T\left(0\right)}{N_G\mathrm{image}\_\mathrm{size}}\&le;L_1\\ 3& L_3<\frac{T\left(0\right)}{N_G\mathrm{jmage}\_\mathrm{size}}\&le;L_2\end{array}\right.---\left(3\right)$

式中，image_size为以像素为单位的图像尺寸，L₀、L₁、L₂、L₃为码率阈值参数，由经验值确定，取值范围为L₀＝0.8～1.0、L₁＝0.4～0.6 L₂＝0.2～0.4、L₃＝0.1～0.2；

2)按照公式(3)计算模式选择参数Mode_type选择码率控制模型，码率控制模型分为二种；Mode_type＝0时，选择采用R-Q模型，Mode_type＝1时，选择采用R-(Q，S_r)模型，分辨率取值范围为1.0～0.4的全分辨率，Mode_type＝2时，选择采用R-(Q，S_r)模型，分辨率取值范围为0.6～0.2的全分辨率，Mode_type＝3时，选择采用R-(Q，S_r)模型，分辨率取值范围为0.4～0.1的全分辨率；

第六步骤、计算I帧量化参数Q_i

1)设置帧类型常量K_PD、K_PM、K_BD、K_BM；

2)计算当前I帧的复杂度X_i：

$X_i=\underset{(x,y)}{\mathrm{\&Sigma;}}\mathrm{abs}(f(x,y)-\stackrel{\&OverBar;}{f}(x,y))---\left(4\right)$

式中，f(x，y)为当前编码图像内所有像素，(x，y)为像素的坐标位置，表示图像内所有像素的平均值；X_i中的下标i可表示为P_D、P_M、B_D、B_M；

3)计算当前I帧的目标码率R_i：

$R_i=\frac{T\left(0\right)}{1+\frac{{X_P}_M{N_P}_M}{X_I{K_P}_M}+\frac{{X_P}_D{N_P}_D}{X_I{K_P}_D}+\frac{{X_B}_M{N_B}_M}{X_I{K_B}_M}+\frac{{X_B}_D{N_B}_D}{X_I{K_B}_D}}---\left(5\right)$

式中，N_PD、N_PM、N_BD、N_BM分别表示图片组中未编码的P_D帧、P_M帧、B_D帧、B_M帧的数量；X_PD、X_PM、X_BD、X_BM表示各帧的复杂度，其值由前一个MGOP中同类型帧的平均复杂度估计得到；帧类型常量K_PD、K_PM、K_BD、K_BM，按经验确定取值为： ${K_P}_D=1.0,$ ${K_P}_M=1.2,$ ${K_B}_D=1.2,$ ${K_B}_M=1.4;$

4)计算I帧量化参数Q_i

$\frac{R_i-H}{X_i}=\mathrm{\&alpha;}{Q_i}^{-1/2}+\mathrm{\&beta;}{Q_i}^{-2}+\mathrm{\&epsiv;}---\left(6\right)$

式中，α，β为率失真模型非线性预测系数，初始编码第一帧时，模型系数根据经验设置一个初始值，对后续帧进行编码时其值由第八步骤1)更新得到；同样，ε为率失真模型码率偏移系数，由第八步骤1)已编码帧估计得到；H表示I帧编码压缩后的数据头信息，从第三步骤已编码帧估计得到；

在一个多视点视频图片组MGOP中，如果I帧分配较多的码率，可以降低I帧的失真度，减小后续图像编码时的预测MAD值，用较少的比特数进行编码而达到较好的视觉质量。但I帧的码率分配过多，会引发码流波动，会引起跳帧，甚至严重影响解码后的视频质量，所以I帧量化参数值的准确计算直接影响整个MGOP的编码效率和编码后图像质量；

第七步骤、帧层码率控制，它主要包括：

1)初始值设置：

①虚拟缓冲区偏移量加权系数γ；

②帧类型常量K_f、K_k；

③MAD预测模型的参数a、b；

2)对图片组内的非帧内编码帧分配码率

在进行帧层码率控制时，对于主视点视频图像中的前后帧的量化参数，不允许有大的波动，对于辅视点视频图像，则允许前后帧的量化参数有较大的波动，所以对主、辅视点视频图像的目标码率的要求也就不同，对于图片组中的第j帧，其目标码率由公式(7)计算：

$R_f\left(j\right)=\frac{T\left(j\right)}{N_f+\underset{k\&NotEqual;f}{\underset{k\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}}\frac{K_f{X}_k{N}_k}{X_f{K}_K}}+\mathrm{\&gamma;}[S\left(j\right)-B_c\left(j\right)],f\&Element;\mathrm{\&Omega;}---\left(7\right)$

式中，γ为虚拟缓冲区偏移量加权系数，Ω定义为图像类型集合，Ω＝{P_D，P_M，B_D，B_M}，S(j)为第j帧的目标虚拟缓冲区占用度，f表示帧类型，k表示实际编码帧数；P_M、B_M分别表示主视点视频序列中结合运动估计与补偿预测技术(MCP)的预测编码和双向预测编码图片，P_D1～P_Dn、B_D1～B_Dn分别表示辅视点视频序列中采用视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)的预测编码和双向预测编码图片，N_f、N_k分别表示图片组中未编码的P_M、B_M、P_D、B_D帧的数量，K_f、K_k为帧类型常量，根据经验确定其取值为：K_f＝1.2、K_k＝1.4；X_f、X_k表示各帧的复杂度，其值由前一个MGOP中同类型帧的平均复杂度估计得到；

3)采用平均绝对差值(MAD)计算当前帧的编码复杂度X_f(j)，f∈Ω，它通过前一帧的MAD值预测得到，即：

X_f(j)＝MAD(j)

MAD(j)＝aMAD(j-1)+b

式中，X_f(j)表示第j编码帧的复杂度，MAD(j)表示第j帧的平均绝对差值；a、b是MAD预测模型的参数，初始编码第一帧时，a、b根据经验设置一个初始值，后续编码时其值在第八步骤中进行更新；

4)估计得到当前帧的目标比特和编码复杂度后，利用率失真模型计算其量化参数：

第八步骤、后处理阶段，它主要包括：

1)当完成当前帧编码后，分别更新MAD值和R-(Q，S_r)二元参数码率控制模型的各参数与系数；

2)每帧编码后进行跳帧处理；

3)接着计算下一帧的量化参数，直到处理完当前图片组的所有帧图像；

4)当处理完当前图片组后，开始下一个图片组的处理。

所述一种面向多视点视频的码率控制方法，其在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，它的编码器图片组层的码率控制为双模型的码率控制模式，在主、辅视点视频中选择一类视点视频图像码率控制模型为R-(Q，S_r)二元参数的码率控制模型：

选择多视点视频编码码率控制的编码器的主视点视频图像采用经典的R-Q二次率失真码率控制模型；

选择多视点视频编码码率控制的编码器的辅视点视频图像采用改进的R-(Q，S_r)二元参数的码率控制模型，以图片空间分辨率S_r和图片的编码量化值Q二元参数来进行码率控制。

所述一种面向多视点视频的码率控制方法，其在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，所述的辅视点视频图像采用改进的R-(Q，S_r)二元参数的码率控制模型，新的率失真模型的一种表达式为：

R-ε＝αQ^-1/2+βQ^-2    (8)其中，α，β为率失真模型非线性预测系数，ε为率失真模型码率偏移系数。

所述一种面向多视点视频的码率控制方法，其在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，所述的辅视点视频图像采用改进的R-(Q，S_r)二元参数的码率控制模型，其模型系数采用公式(9)计算：

令 $x_1\left(Q\right)=\frac{1}{Q^2},$ $x_2\left(Q\right)=\frac{1}{\sqrt{Q}},$ 设(x₁₁，x₂₁，R₁)，(x₁₂，x₂₂，R₂)，...，(x_1n，x_2n，R_n)为已存在的前n帧图像的码率控制参数样本值，令M、R由样本数据得到的矩阵，C是需要求解的样本系数矢量：

$M=\left(\begin{array}{ccc}1& x_{11}& x_{21}\\ 1& x_{12}& x_{22}\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ 1& x_{1n}& x_{2n}\end{array}\right)$ $R=\left(\begin{array}{c}{R}_1\\ R_2\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ R_{n1}\end{array}\right)$ $C=\left(\begin{array}{c}\mathrm{\&epsiv;}\\ \mathrm{\&beta;}\\ \mathrm{\&alpha;}\end{array}\right)$

利用多元回归技术，计算得到模型参数矩阵C：

C＝(M^TM)^-1M^TR           (9)

式中，M^T是M的转置矩阵，(M^TM)^-1是M^TM的逆矩阵。

所述一种面向多视点视频的码率控制方法，其在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，它的多视点视频结构为：

(1)原始视频序列至少包括2个至n_v个视点视频图像，采用改进的R-(Q，S_r)二元参数率失真模型的码率控制；视点数n_v的取值范围为2～4；

(2)1个主视频视点图像，采用R-Q模型的码率控制；

(3)n_v-1个辅视频视点图像，采用R-(Q，S_r)二元参数率失真模型的码率控制。

所述一种面向多视点视频的码率控制方法，其在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，它的视频图像视点数n_v为2个，分为左视、右视2个视频图像视点，1个为主视频视点，1个辅视频视点，编码器输出的主、辅2个视点码流构成的视频图像，可提升图像的平面深度。

所述一种面向多视点视频的码率控制方法，其在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，它的视频图像视点数n_v为3个，分为左视、右视、俯视3个视频图像视点，1个为主视频视点，2个辅视频视点；编码器输出的主、辅3个视点码流构成的视频图像，可提升图像的平面深度和立面高度。

所述一种面向多视点视频的码率控制方法，其在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，它的视频图像视点数n_v为4个，分为左视、右视、俯视和仰视4个视频图像视点，1个为主视频视点，3个辅视频视点；编码器输出的主、辅4个视点码流构成的视频图像，可全面提升图像的平面深度和立面高度。

本发明实质性效果：

(1)提出一种有效的多视点视频编码码率控制方法，采用双模型的码率控制模式、使用了图片组层与帧层二级码率控制策略，使得整个码率控制过程较为简单、计算量较小，在实际应用中具有可操作性，可实际应用于多视点视频编码中，能进行有效的码率控制。

(2)本发明提出了新的率失真模型和新的码率控制策略。实验测试结果证明，与传统的二次率失真模型相比，本发明提出的率失真模型具有更高的准确性，能更好的进行码率预测；

(3)未来在立体电视、立体电影、机器视觉、远程医疗等应用领域具有宽阔的前景，社会效益和经济效益十分显著。

附图说明

图1单视点视频编码器结构。

图2二视点视频编码器结构。

图3多视点视频编码器通用结构。

图4二视点视频图片组结构。

图5多视点视频图片组结构。

具体实施方式

以下结合附图实例对本发明的技术方案作进一步的详细描述。

对于多视点视频编码器，它输入的原始视频序列包含有n_v路视频信号序列，为了达到充分去除各种冗余信息，其构架是一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合技术的编码器。在视频结构上，原始视频序列由n_v＝n+1个视点同时拍摄的视频图像集按规律组合而成的多视点视频图片组(MGOP)层的图片。

图2是本发明实施例的二视点视频编码器通用结构，n_v＝2，n＝1，其构架是一种二视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，在视频结构上，原始视频序列由左、右二个视点同时拍摄的视频图像集按规律组合而成的多视点视频图片组(MGOP)层的图片。编码器采用多视点视频图片组(MGOP)层与帧层二级的码率控制模式。

二视点视频编码器的主视点视频编码控制与单视点视频编码器类似，也采用运动估计与补偿预测技术(MCP)11技术和经典的R-Q二次率失真模型。原始视频序列01中的主视点视频序列10和存储在缓存18中的参考帧图像首先输入到运动估计与补偿预测器11进行MCP处理，处理得到的运动矢量12加到变长编码单元19进行变长熵编码；同时，原始主视频序列10和其在运动估计与补偿预测器11得到的预测图像同时送到加法器13进行求和，求和输出的差值图像送到DCT(离散余弦变换)变换单元14进行离散余弦变换，变换输出送量化单元15进行量化处理，量化输出一路加到变长编码单元19进行变长熵编码，输出辅视点视频流02；量化输出另一路送到逆量化单元16，经逆量化单元16和DCT逆变换单元17进行逆量化和DCT逆变换，DCT逆变输出与运动估计与补偿预测器11得到的预测图像在加法器13’进行相加后得到重建图像，并保存到缓存18中作为后续编码图像的预测参考。

二视点视频编码器的辅视点视频编码控制，采用联合运动、视差估计与补偿预测技术(DCP)进行编码，采用改进的R-(Q，S_r)二元参数率失真模型进行码率控制。原始视频序列01中的辅视点视频序列20和存储在缓存28中的参考帧图像首先输入到联合运动、视差估计与补偿预测器21进行DCP处理，处理得到的运动、视差矢量22加到变长编码单元29进行变长熵编码；同时，原始辅视频序列20和其在运动、视差估计与补偿预测器21得到的预测图像同时送到加法器23进行求和，求和输出的差值图像送到DCT变换单元24进行离散余弦变换，变换输出送量化单元25进行量化处理，量化输出一路加到变长编码单元29进行变长熵编码，输出辅视点视频流03；量化输出另一路送到逆量化单元26，经逆量化单元26和逆变换单元27进行逆量化和DCT逆变换，DCT逆变输出与运动、视差估计与补偿预测器21得到的预测图像在加法器23’进行相加后得到重建图像，并保存到缓存28中作为后续编码图像的预测参考。

二视点视频编码器采用图片组层与帧层二级的码率控制模式，并采用本发明的改进的R-(Q，S_r)二元参数率失真模型及其模型系数估计。在设定图片组的长度N_G、帧率f_r、编码速率bit_rate、视点数n_v为2，虚拟缓冲区的大小为B_S，虚拟虚拟缓冲区初始值为B₀以及图像尺寸的基础上，二视点视频的码率控制的具体步骤描述如下：

一、根据给定的帧率f_r和编码速率bit_rate计算多视点图片组MGOP的可用比特数T(0)

1)定义：图片组的长度N_G、虚拟缓冲区的大小B_S；

2)初始化设置：虚拟虚拟缓冲区初始值B₀；

3)按照公式(1)计算得到MGOP可用比特数T(0)；

4)按照公式(2)计算二视点图片组编码完第j帧后MGOP的剩余比特数T(j)，即为剩下的所有图像还可分配的剩余比特总数；

5)按照(2)式将计算一个图片组中编码完最后一帧图像后MGOP的剩余比特数T(j)作为已编码帧估计，即为下一个图片组编码压缩数据量的预估值；

4)完成每一帧编码后，其预算比特总数值由下式更新：

T(j)＝T(j-1)-A(j-1)

其中，A(j-1)表示编码第j-1帧实际使用的比特数。

二、码率控制模型的选择

1)根据定义公式(3)定义的模型选择参数Mode_type确定码率控制模型：

2)初始化设置：虚拟缓冲区初始值B₀、码率阈值参数(L₀、L₁、L₂、L₃)和采用R-(Q，S_r)模型的分辨率取值；

本实施例的码率阈值参数取值为L₀＝0.9、L₁＝0.6 L₂＝0.4、L₃＝0.2；

当Mode_type＝0时，选择采用R-Q率失真模型；

当Mode_type＝1时，选择采用R-{Q，S_r}率失真模型，分辨率为全分辨率的80％；

当Mode_type＝2时，选择采用R-{Q，S_r}率失真模型，分辨率为全分辨率的60％；

当Mode_type＝3时，选择采用R-{Q，S_r}率失真模型，分辨率为全分辨率的40％。

3)根据当前实测的模型选择参数选择采用相应的率失真模型进行码率控制。

三、计算I帧的量化参数Q_i

1)初始化设置：

①帧类型常量K_PD、K_PM、K_BD和K_BM；

②率失真模型非线性预测系数α和β；

③率失真模型码率偏移系数ε。

2)α，β为率失真模型非线性预测系数，初始编码第一帧时，模型系数为根据经验值设置的初始值，后编码每一帧由第八步骤1)更新得到；

3)ε为率失真模型码率偏移系数，同样，由第八步骤1)已编码帧估计得到；

4)I帧编码压缩后的数据头信息H，从第三步骤已编码帧估计得到；

5)X_PD、X_PM、X_BD、X_BM表示各帧的复杂度，其值由前一个MGOP中同类型帧的平均复杂度估计得到；

6)由(4)式计算得到当前I帧的复杂度X_i；

7)由(5)式估算出当前I帧的目标码率R_i；本实施例帧类型常量按经验取值为： ${K_P}_D=1.0,$ ${K_P}_M=1.2,$ ${K_B}_D=1.2,$ ${K_B}_M=1.4;$

8)由(6)式计算得到I帧量化参数Q_i；

9)通过调整使I帧的码率Q_i分配在允许的范围内。

四、帧层码率控制

1)初始值设置：

①虚拟缓冲区偏移量加权系数γ；

②帧类型常量K_f、K_k；

③MAD预测模型的参数a、b；

2)对图片组内的非帧内编码帧分配码率

主视点视频图像中的前后帧的量化参数不允许有大的波动，辅视点视频图像则允许前后帧的量化参数有较大的波动，所以对主视点视频图像的目标码率的要求高于对辅视点视频图像的目标码率的要求。

统计计算图片组中未编码的P_M、B_M、P_D、B_D帧的数量N_f、K_f、N_k、K_k，本实施例的帧类型常量按经验取值为：K_f＝1.2、K_k＝1.4。

实际编码复杂度X_f、X_k采用MAD计算，通过前一帧的MAD值预测得到。

对于图片组中的第j帧，按照公式(7)计算其目标码率R_f(j)。

3)估计得到当前帧的目标比特后，利用率失真模型计算其量化参数；

4)最后，对量化参数进行调整使其在图像编码标准允许的范围内。

五、后阶段处理

1)完成当前帧编码后，分别更新MAD值和R-(Q，S_r)二元参数码率控制模型的各参数与系数；

2)每帧编码后进行跳帧处理；

3)计算下一帧的量化参数，直到处理完当前图片组的所有帧图像；

4)处理完当前图片组后，开始下一个图片组的处理。

图3给出本发明多视点视频编码器通用结构框图。原始视频序列由n_v＝n+1个视点同时拍摄的视频图像集按规律组合而成的多视点视频图片组(MGOP)层的图片，主视点视频编码控制器31采用运动估计与补偿技术(MCP)进行编码，并采用经典的R-Q二次率失真模型的码率控制，辅视点1视频编码器32～辅视点n视频编码器35采用DCP进行编码，并采用改进的R-(Q，S_r)二元参数率失真模型的码率控制。辅视点1视频编码器32～辅视点n视频编码器35采用DCP进行编码时需要使用主视点视频中的图片进行参考。同时，主视点视频编码控制器31和辅视点1视频编码器32～辅视点n视频编码器35都接收码率控制器36的控制输出，以调整编码参数输出用户预期的主视点码流02和辅视点码流03～06。码率控制器36是一种面向多视点视频的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术MCP)相结合的编码器的重要组成模块，码率控制方法所述各步骤都是在该码率控制器模块完成的，码率控制器模块监控主视点视频编码控制器31和辅视点1视频编码器32～辅视点n视频编码器35的编码状态，实时调整编码参数以控制主视点码流02和辅视点码流03～06的码率。

在多视点视频编码器结构描述的基础上，下面进一步结合附图3描述本发明中的多视点视频中的改进率失真模型及其模型系数的计算方法。

本发明在理论分析和大量实验的基础上对已有技术的率失真模型进行了改进，提出了一种新的R-(Q，S_r)模型，其表达式为：

R-ε＝αQ^-1/2+βQ^-2

其中，α，β为率失真模型非线性预测系数，ε为率失真模型码率偏移系数。本发明对模型参数采用如下的方法进行计算：

令 $x_1\left(Q\right)=\frac{1}{Q^2},$ $x_2\left(Q\right)=\frac{1}{\sqrt{Q}},$ 设(x₁₁，x₂₁，R₁)，(x₁₂，x₂₂，R₂)，...(x_1n，x_2n，R_n)是已存在前n帧图像的码率控制参数样本值，令：

$M=\left(\begin{array}{ccc}1& x_{11}& x_{21}\\ 1& x_{12}& x_{22}\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ 1& x_{1n}& x_{2n}\end{array}\right)$ $R=\left(\begin{array}{c}{R}_1\\ R_2\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ R_{n1}\end{array}\right)$ $C=\left(\begin{array}{c}\mathrm{\&epsiv;}\\ \mathrm{\&beta;}\\ \mathrm{\&alpha;}\end{array}\right)$

利用多元回归技术计算C矩阵：

C＝(M^TM)^-1M^TR

式中，M^T是M的转置矩阵，(M^TM)^-1是M^TM的逆矩阵，由C矩阵计算得到模型率失真码率偏移系数ε，以及率失真模型非线性预测系数α，β。

通过对I帧内编码图片以及主视点视频编码器31中预测编码P_M和双向预测编码图片B_M进行MCP，同时，对辅视点视频编码器32、33、34和35中结合DCP技术的预测编码P_D1～P_Dn和双向预测编码图片B_D1～B_Dn进行DCP，配合采用变换编码、熵编码等混合编码技术，在码率控制器36的控制下，输出主视点码流02以及辅视点码流03、04、05和06，此结构可以充分去除空域、时域等信息冗余，而且方法较为简单、计算量较小，并具有更高的准确性，能更好的进行码率预测，因而具有良好的实用性。

在多视点视频编码中也给出多视点视频图片组(MGOP)的概念。本发明将在一段时间内由所有视点内的图片所构成的连续图片序列作为一个基本编码单元，称为多视点图片组(MGOP)。图4给出二视点视频编码器中MGOP结构示意图，图5给出了本发明采用的通用多视点视频MGOP结构。根据预测和编码方式的不同，可以将图片组中的图片分成不同的类型。如图4和图5所示，共有5种不同的图片类型。图中，MCP表示运动估计与补偿预测技术，DCP表示视差估计与补偿预测技术，I表示帧内编码图片，P_M、B_M分别表示主视点中基于MCP的预测编码和双向预测编码图片，P_D1～P_Dn、B_D1～B_Dn分别表示辅视点中结合DCP技术的预测编码和双向预测编码图片。在具体码率控制时，对I帧主要是控制DCT变换后系数数据量，对P_M、B_M帧主要是控制基于MCP预测或双向预测补偿后的DCT变换系数数据量，对P_D1～P_Dn、B_D1～B_Dn帧主要是控制使用联合DCP/MCP的预测或双向预测补偿后的DCT变换系数数据量。

图4和图5明示了在一个多视点视频图片组(MGOP)内的主视点和辅视点内图像之间的编码控制关系。主视点内视频图像利用自身信息进行编码，其输出码流可以单独进行解码。图4中二视点视频图片组(MGOP)内的主视点和辅视点内图像之间的编码控制关系描述如下：主视点内视频图像包括帧内编码帧I、非帧内编码的预测编码图片P_M和双向预测编码图片B_M。当前I帧图片完成编码处理后，更新MAD值和码率控制模型的各参数与系数，为非帧内编码帧的预测编码P_M1和双向预测编码图片B_M1、B_M2提供预测参考，预测编码图片P_M1帧采用MCP编码处理后，又为双向预测编码图片B_M2和B_M3帧提供预测参考，……，直到完成当前图片组MGOP最后的双向预测编码图片B_Mn的编码与控制。辅视点视频采用基于主视点的视差运动估计预测技术进行编解码，其中，P_D帧图片采用基于主视点的I帧进行DCP编码和码率控制，更新MAD值和码率控制模型的各参数与系数后，为B_D1帧图片提供预测值，同样，B_D1帧图片采用主视点的B_M帧和辅视点的P_D进行DCP和MCP编码控制后，更新MAD值和码率控制模型的各参数与系数，为B_D2帧图片提供预测参考，……，直到完成当前图片组MGOP最后的B_Dn帧的编码和控制。在码率控制时，主视点内的图像采用R-Q码率控制模型，辅视点内的图像采用R-(Q，S_r)码率控制模型。图5多视点视频图片组(MGOP)内的主视点和辅视点内图像之间的编码控制关系与二视点视频图片组类同，不再叙述。

本发明多视点视频编码码率控制方法，采用双模型的码率控制模式，采用多视点视频图片组(MGOP)层与帧层二级的码率控制策略，视频编码的控制方法简单，计算量较小，有效压缩了编码占用比特数，提高了编码效率，能进行有效的码率控制。

对本发明实质性效果的描述是根据以下两项实验结果得出的。

一、对改进的R-(Q，S_r)二元参数率失真模型和原R-Q二次率失真模型进行性能对比实验。

按照常用的Train and Tunnel、Herve、Iml三种编码序列标准，对I、P、B三种类型的帧图像采用不同的量化步长进行编码，得到实际R-Q曲线，而后分别采用新旧率失真模型对实际曲线进行拟合，测量它们与实际R-Q曲线的拟合精度，从而获得新旧率失真模型的性能比较数据。

定义模型误差如下式： ${\mathrm{\&delta;}}_{\mathrm{error}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{sqrt}\left({[R_{\mathrm{estimate}}\left(Q_i\right)-R_{\mathrm{actual}}\left(Q_i\right)]}^2\right),$ 式中，R_actual(Q_i)表示使用第i个两个量化参数进行编码时图像的实际编码比特数，R_estimate(Q_i)表示使用模型预测得到的编码比特数。

实验结果如表1所示，从结果可以看出，改进的R-(Q，S_r)二元参数率失真模型与原R-Q二次率失真模型相比，预测精度性能有大幅度的提高。

二、测定用多视点视频码率控制方法进行实际码率控制时的码率控制精度和码率偏移的两个性能指标。

实际码率控制性能实验是在采用本发明的改进的R-(Q，S_r)二元参数率失真模型和多视点视频码率控制方法的基础上进行的。

平均码率偏移反映了码率控制后实际码率波动的剧烈程度，其值越小，说明实际输出码率越平稳。定义码率偏移性能指标表达式如下：

${\mathrm{bit}}_{\mathrm{deviation}}=\frac{1}{K}\underset{j=1}{\overset{K}{\mathrm{\&Sigma;}}}\left|\frac{R_{\mathrm{actual}}\left(j\right)-R_{t\arg \mathrm{et}}}{R_{t\arg \mathrm{et}}}\right|$

式中，R_actual(j)为编码第j帧的实际码率，R_target为目标码率，K为实际编码帧数。

码率控制算法实验使用Train_and_Tunnel、Herve和Iml三种标准序列，采用3种目标码率，测量多视点视频码率控制的码率偏移性能。表2给出了整个码率控制算法的实验结果，从实验结果可以看出，本发明提出的多视点视频编码方法在实际应用中能有效的进行码率控制，具有良好的性能。

表1新、旧率失真模型的性能比较

编码序列标准	帧类型	模型拟合误差值		提高预测精度(％)
					旧模型	新模型
		Train_and_Tunnel	I				410.2	320.2	28.11
P	727.9			197.3	268.93
			B			695.1	117.1	493.60
Herve	I			389.8	57.7				575.56
		P	543.1			63.0	762.06
	B			559.2	21.1			1203.32
		Iml	I			412.7	57.7		615.25
P	654.4			86.2	659.16
			B			673.0	85.0	691.76

表2码率控制算法实验结果

编码序列标准	目标码率(mbps)		实际码率(mbps)	码率误差(mbps)	平均码率偏移
						Train_and_Tunnel	1	10.000	10.382	0.382	0.353
2	1.500	1.525	0.025	0.246
					3		0.640	0.641	0.001	0.132
Herve	1	10.000	10.104	0.104							0.707
					2	1.500	1.552	0.052	0.272
	3	0.640	0.642	0.002						0.309
					Iml	1	10.000	10.281	0.281		0.247
2	1.500	1.543	0.043	0.019
						3	0.640	0.643	0.003	0.323

Claims (8)

1、一种面向多视点视频的码率控制方法，其特征在于码率控制包括以下步骤：

第一步骤、构架一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，它的多视点视频结构的原始视频序列至少包括2个至n_v个视点视频图像，n_v为视点数；

第二步骤、确定编码器采用多视点视频图片组(MGOP)层与帧层二级的码率控制策略，其中：

多视点视频图片组(MGOP)是由多个视点在若干分时时刻同时拍摄得到的图像集按规律组合而成；

编码的图片帧类型分为帧内编码帧和非帧内编码帧：帧内编码帧为I帧；非帧内编码帧有P_M、B_M、P_D1～P_Dn、B_D1～B_Dn，其中，P_M、B_M分别表示主视点视频序列中采用运动估计与补偿预测技术(MCP)的预测编码和双向预测编码图片，P_D1～P_Dn、B_D1～B_Dn分别表示辅视点视频序列中采用视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)的预测编码和双向预测编码图片，多视点视频的视点数n_v为n+1，n为辅视点视频的视点数；

第三步骤、编码器多视点视频图片组层的码率控制，它主要包括：

1)建立改进的R-(Q，S_r)二元参数率失真模型；

2)由用户根据需要设定编码速率bit_rate和帧率f_r的初始值；

3)在设定的码率、帧率条件下，在主、辅视点视频图像中选择一类视点视频图像的码率控制模型为经典的R-Q二次率失真模型，而另一类视点视频图像码率控制模型为改进的R-(Q，S_r)二元参数的码率控制模型，其中，S_r为图片的空间分辨率参数，Q为图片的编码量化参数，R-(Q，S_r)码率控制模型是以图片空间分辨率S_r和Q值二元参数来进行码率控制；

4)在设定的码率、帧率的条件下，确定I帧(帧内编码帧)的量化参数；

第四步骤、根据给定的帧率f_r和编码速率bit_rate计算多视点图片组(MGOP)的可用比特数：

1)设定视点数n_v值；

2)定义视频编码中图片组的长度N_G；

3)定义虚拟缓冲区的大小B_S；

4)设置虚拟缓冲区初始值B₀；

5)在对下一个图片组进行编码之前，计算该多视点图片组编码压缩后允许的数据量，即MGOP的可用比特数T(0)：

$T\left(0\right)=\frac{\mathrm{bit}\_\mathrm{rate}}{n_v{f}_r}{N}_G-(B_0-B_c\left(0\right))---\left(1\right)$

式中，B_C(0)为编码完前一个MGOP后虚拟缓冲区的占用度，T(0)根据帧率f_r、编码速率bit_rate以及n_v、N_G、B₀、B_C(0)等参数来计算；

6)计算多视点图片组编码完第j帧后MGOP的剩余比特数T(j)：

$T\left(j\right)=\frac{\mathrm{bit}\_\mathrm{rate}}{n_v{f}_r}{N}_G-(B_S-B_C(j-1))---\left(2\right)$

T(j)为计算一个图片组中在编码完前j帧图像后，剩下的所有图像还可分配的剩余比特总数；

7)完成每一帧编码后，其预算比特总数值由下式更新：

T(j)＝T(j-1)-A(j-1)                (2’)

其中，A(j-1)表示编码第j-1帧实际使用的比特数；

第五步骤、根据模式选择参数Mode_type选择码率控制模型：

1)定义模式选择参数Mode_type，其计算式如公式(3)：

$\mathrm{Mode}\_\mathrm{type}=\left\{\begin{array}{cc}0& \frac{T\left(0\right)}{N_G\mathrm{image}\_\mathrm{size}}>L_0\\ 1& L_1<\frac{T\left(0\right)}{N_G\mathrm{image}\_\mathrm{size}}\&le;L_0\\ 2& L_2<\frac{T\left(0\right)}{N_G\mathrm{image}\_\mathrm{size}}\&le;L_1\\ 3& L_3<\frac{T\left(0\right)}{N_G\mathrm{jmage}\_\mathrm{size}}\&le;L_2\end{array}\right.---\left(3\right)$

式中，image_size为以像素为单位的图像尺寸，L₀、L₁、L₂、L₃为码率阈值参数，由经验值确定，取值范围为L₀＝0.8～1.0、L₁＝0.4～0.6 L₂＝0.2～0.4、L₃＝0.1～0.2；

2)按照公式(3)计算的模式选择参数Mode_type选择码率控制模型，码率控制模型分为二种；Mode_type＝0时，选择采用R-Q模型，Mode_type＝1时，选择采用R-(Q，S_r)模型，分辨率取值范围为1.0～0.4的全分辨率，Mode_type＝2时，选择采用R-(Q，S_r)模型，分辨率取值范围为0.6～0.2的全分辨率，Mode_type＝3时，选择采用R-(Q，S_r)模型，分辨率取值范围为0.4～0.1的全分辨率；

第六步骤、计算I帧量化参数Q_i

1)设置帧类型常量K_PD、K_PM、K_BD、K_BM；

2)计算当前I帧的复杂度X_i：

$X_i=\underset{(x,y)}{\mathrm{\&Sigma;}}\mathrm{abs}(f(x,y)-\stackrel{\&OverBar;}{f}(x,y))---\left(4\right)$

式中，f(x，y)为当前编码图像内所有像素，(x，y)为像素的坐标位置，

表示图像内所有像素的平均值；X_i中的下标i可表示为P_D、P_M、B_D、B_M；

3)计算当前I帧的目标码率R_i：

$R_i=\frac{T\left(0\right)}{1+\frac{{X_P}_M{N_P}_M}{X_I{K_P}_M}+\frac{{X_P}_D{N_P}_D}{X_I{K_P}_D}+\frac{{X_B}_M{N_B}_M}{X_I{K_B}_M}+\frac{{X_B}_D{N_B}_D}{X_I{K_B}_D}}---\left(5\right)$

式中，N_PD、N_PM、N_BD、N_BM分别表示图片组中未编码的P_D帧、P_M帧、B_D帧、B_M帧的数量；X_PD、X_PM、X_BD、X_BM表示各帧的复杂度，其值由前一个MGOP中同类型帧的平均复杂度估计得到；K_PD、K_PM、K_BD、K_BM表示帧类型常量，按经验确定取值为： ${K_P}_D=1.0,$ ${K_P}_M=1.2,$ ${K_B}_D=1.2,$ ${K_B}_M=1.4;$

4)计算I帧量化参数Q_i

$\frac{R_i-H}{X_i}=\mathrm{\&alpha;}{Q_i}^{-1/2}+\mathrm{\&beta;}{Q_i}^{-2}+\mathrm{\&epsiv;}---\left(6\right)$

式中，α，β为率失真模型非线性预测系数，初始编码第一帧时，模型系数根据经验设置一个初始值，对后续帧进行编码时其值由第八步骤1)更新得到；同样，ε为率失真模型码率偏移系数，由第八步骤1)已编码帧估计得到；H表示I帧编码压缩后的数据头信息，从第三步骤已编码帧估计得到；

第七步骤、帧层码率控制，它主要包括：

1)初始值设置

①虚拟缓冲区偏移量加权系数γ；

②帧类型常量K_f、K_k；

③MAD预测模型的参数a、b；

2)对图片组内的非帧内编码帧分配码率

在进行帧层码率控制时，对于主视点视频图像中的前后帧的量化参数，不允许有大的波动，对于辅视点视频图像，则允许前后帧的量化参数有较大的波动，所以对主、辅视点视频图像的目标码率的要求也就不同，对于图片组中的第j帧，其目标码率由公式(7)计算：

$R_f\left(j\right)=\frac{T\left(j\right)}{N_f+\underset{k\&NotEqual;f}{\underset{k\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}}\frac{K_f{X}_k{N}_k}{X_f{K}_K}}+\mathrm{\&gamma;}[S\left(j\right)-B_c\left(j\right)],f\&Element;\mathrm{\&Omega;}---\left(7\right)$

式中，γ为虚拟缓冲区偏移量加权系数，Ω定义为图像类型集合，Ω＝{P_D，P_M，B_D，B_M}，S(j)为第j帧的目标虚拟缓冲区占用度，f表示帧类型，k表示实际编码帧数；P_M、B_M分别表示主视点视频序列中采用运动估计与补偿预测技术(MCP)的预测编码和双向预测编码图片，P_D1～P_Dn、B_D1～B_Dn分别表示辅视点视频序列中采用视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)的预测编码和双向预测编码图片，N_f、N_k分别表示图片组中未编码的P_M、B_M、P_D、B_D帧的数量，K_f、K_k为帧类型常量，根据经验确定其取值为：K_f＝1.2、K_k＝1.4；X_f、X_k表示各帧的复杂度，其值由前一个MGOP中同类型帧的平均复杂度估计得到；

3)采用平均绝对差值(MAD)计算当前帧的编码复杂度X_f(j)，f∈Ω，它通过前一帧的MAD值预测得到，即：

X_f(j)＝MAD(j)

MAD(j)＝aMAD(j-1)+b

式中，X_f(j)表示第j编码帧的复杂度，MAD(j)表示第j帧的平均绝对差值；a、b是MAD预测模型的参数，初始编码第一帧时，a、b根据经验设置一个初始值，后续编码时其值在第八步骤中进行更新；

4)估计得到当前帧的目标比特和编码复杂度后，利用率失真模型计算其量化参数：

第八步骤、后阶段处理，它主要包括：

1)当完成当前帧编码后，分别更新MAD值和R-(Q，S_r)二元参数码率控制模型的各参数与系数；

2)每帧编码后进行跳帧处理；

3)接着计算下一帧的量化参数，直到处理完当前图片组的所有帧图像；

4)当处理完当前图片组后，开始下一个图片组的处理。

2、如权利要求1所述的一种面向多视点视频的码率控制方法，其特征在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，它的编码器图片组层的码率控制为双模型的码率控制模式，在主、辅视点视频中选择一类视点视频图像码率控制模型为R-(Q，S_r)二元参数的码率控制模型：

选择多视点视频编码码率控制的编码器的主视点视频图像采用经典的R-Q二次率失真码率控制模型；

选择多视点视频编码码率控制的编码器的辅视点视频图像采用改进的R-(Q，S_r)二元参数的码率控制模型，以图片空间分辨率S_r和图片的编码量化值Q二元参数来进行码率控制。

3、如权利要求1所述一种面向多视点视频的码率控制方法，其特征在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，所述的辅视点视频图像采用改进的R-(Q，S_r)二元参数的码率控制模型，新的率失真模型的一种表达式为：

R-ε＝αQ^-1/2+βQ^-2    (8)

其中，α，β为率失真模型非线性预测系数，ε为率失真模型码率偏移系数。

4、如权利要求1或2或3所述一种面向多视点视频的码率控制方法，其特征在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，所述的辅视点视频图像采用改进的R-(Q，S_r)二元参数的码率控制模型，其模型系数采用公式(9)计算：

令 $x_1\left(Q\right)=\frac{1}{Q^2},$ $x_2\left(Q\right)=\frac{1}{\sqrt{Q}},$ 设(x₁₁，x₂₁，R₁)，(x₁₂，x₂₂，R₂)，...，(x_1n，x_2n，R_n)为已存在的前n帧图像的码率控制参数样本值，令M、R由样本数据得到的矩阵，ε是需要求解的样本系数矢量：

$M=\left(\begin{array}{ccc}1& x_{11}& x_{21}\\ 1& x_{12}& x_{22}\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;\\ 1& x_{1n}& x_{2n}\end{array}\right)$ $R=\left(\begin{array}{c}{R}_1\\ R_2\\ \&CenterDot;\\ \&CenterDot;\\ \&CenterDot;\\ R_{n1}\end{array}\right)$ $\mathrm{\&epsiv;}=\left(\begin{array}{c}c\\ b\\ a\end{array}\right)$

利用多元回归技术，计算得到模型参数矩阵ε：

ε＝(M^TM)^-1M^TR    (9)

式中，M^T是M的转置矩阵，(M^TM)^-1是M^TM的逆矩阵。

5、如权利要求1或2或3所述一种面向多视点视频的码率控制方法，其特征在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，它的多视点视频结构为：

(1)原始视频序列至少包括2个至n_v个视点视频图像，采用改进的R-(Q，S_r)二元参数率失真模型的码率控制；视点数n_v的取值范围为2～4；

(2)1个主视频视点图像，采用R-Q模型的码率控制；

(3)n_v-1个辅视频视点图像，采用R-(Q，S_r)二元参数率失真模型的码率控制。

6、如权利要求1或2或3所述一种面向多视点视频的码率控制方法，其特征在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，它的视频图像视点数n_v为2个，分为左视、右视2个视频图像视点，1个为主视频视点，1个辅视频视点，编码器输出的主、辅2个视点码流构成的视频图像，可提升图像的平面深度。

7、如权利要求1或2或3所述一种面向多视点视频的码率控制方法，其特征在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，它的视频图像视点数n_v为3个，分为左视、右视、俯视3个视频图像视点，1个为主视频视点，2个辅视频视点；编码器输出的主、辅3个视点码流构成的视频图像，可提升图像的平面深度和立面高度。

8、如权利要求1或2或3所述一种面向多视点视频的码率控制方法，其特征在于所述一种多视点视频码率控制的基于视差估计与补偿预测技术(DCP)和运动估计与补偿预测技术(MCP)相结合的编码器，它的视频图像视点数n_v为4个，分为左视、右视、俯视和仰视4个视频图像视点，1个为主视频视点，3个辅视频视点；编码器输出的主、辅4个视点码流构成的视频图像，可全面提升图像的平面深度和立面高度。

Images