CN103188500B - 多视点视频信号的编码方法 - Google Patents

Abstract

一种多视点视频信号的编码方法通过联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价J_DIRECT的统计分布特性，或采用直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16设置编码最佳模式，能够构建有效直接模式的早期终止条件以及早期终止策略，由于直接模式计算量最小，且构建的直接模式的早期终止条件误判率和漏判率低，因此，上述多视点视频信号的编码方法最大限度地提前选择编码最佳模式并终止视频编码中不必要的复杂的模式选择过程，更有效降低多视点视频编码复杂度，提高编码速度。

Description

多视点视频信号的编码方法

【技术领域】

本发明涉及视频信号的处理方法，尤其涉及一种多视点视频信号的编码方法。

【背景技术】

多视点视频系统能够提供真实的深度感知特性，交互性和全新的视觉享受，并能广泛应用于多种多媒体应用，如三维电视(Three Dimensional TV，3DTV)、自由视点电视(Free viewpoint TV，FTV)、沉浸式视频会议以及虚拟现实等。因为这些多视点视频是由多个摄像机在略微不同的角度或位置采集的，视频数据具有较强的时间、空间以及视点间的相关性，需要有效地压缩便于实际应用与网络传输。为此，由视频编码专家组(Video Coding Experts Group)和运动图像专家组(Moving Pictures Experts Group)组成的联合视频编码组(Joint VideoTeam)研制了多视点视频编码方法(Multiview Video Coding)并从事相关的标准化工作。

如图1所示，为多视点视频信号编码中分层预测结构，包括8个视点，图像组长度为12，其中每个方块为一帧编码图像，S0至S7分别表示不同的视点，T0至T12表示不同时刻，箭头指向表示参考方向，方块内部的字母I表示帧内帧，P表示单向预测帧，B表示双向预测帧，字母旁边的数字表示层次，越大表示层次越高。视差估计和运动估计技术被用于消除视频的时间和视点间相关性。另外，采用可变尺寸块模式选择技术和多参考帧预测技术提高视差估计和运动估计的预测精度，有效提高压缩效率。然而，以上技术，尤其是可变尺寸块的模式选择技术，极大地增加了计算复杂度，不利于多视点视频的实际应用，如三维视频直播和交互式自由视点电视。

为了降低可变尺寸块技术的计算复杂度，对于面向单通道视频编码标准H.264/AVC和可分级视频编码标准，提出了基于模式概率的快速模式选择方法和考虑时间、空间相关性的模式选择方法。对于视频的时空相关性和视频纹理特性，提出了帧间(Inter)和帧内(Intra)联合的模式选择方法，并提出了全零块检测方法，并将其应用于H.264/AVC中早期模式选择。基于运动特性的模式选择方法，提出了通过率失真代价的硬阈值分割选择直接模式(DIRECT或SKIP)或帧内模式为最佳模式，该方法中的阈值是通过量化参数(QuantizationParameter)线性拟合得到，主要使用于单项预测帧，即P帧。以上方法主要针对于单通道的视频编码标准H.264/AVC或可分级编码，由于不同的统计特性和相关性特性并不能直接应用于采用分层式预测结构的多视点视频编码标准。另外，以上方法没有考虑不同视点间各个宏块(Marco block)的相关性。

针对多视点视频编码系统，提出了混合式模式选择方法，通过全局视差矢量(Global Disparity Vectors，GDVs)和多重阈值的提前选择编码模式。基于纹理特性和纹理分割对与背景等区域进行简单的模式选择，降低计算复杂度，通过空间宏块和视点间对应宏块的运动矢量预测当前宏块的运动的复杂程度，并基于此减少简单运动区域的模式数量。提出基于编码块模式系数(Coded BlockPatterns，CBP)的模式选择方法，对于编码块模式系数为零的块选择直接模式(DIRECT Mode)或者16×16模式为最佳模式，否则遍历其他小尺寸块模式。

【发明内容】

基于此，有必要提供一种计算量小、复杂度低的多视点视频信号的编码方法。

一种多视点视频信号的编码方法，包括：

判断当前帧是否位于锚帧，若是，则对当前帧的当前宏块采用全模式搜索选择编码方法，选择当前宏块在各个模式下编码的最小率失真代价所对应的编码模式为编码最佳模式；若否，则采用直接模式编码当前宏块并获取编码后的当前宏块的样式系数；

联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价J_DIRECT的统计分布特性，构建直接模式的早期终止条件一，如果满足早期终止条件一，选择直接模式为最佳模式并终止模式；如果不满足早期终止条件一，则获取采用16×16块模式编码的当前宏块的率失真代价J_16×16；

根据直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16，构建直接模式的早期终止条件二；如果满足早期终止条件二，则根据采用直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16，设置编码最佳模式；如果不满足早期终止条件二，则选择当前宏块在各个模式下编码的最小率失真代价所对应的编码模式为编码最佳模式并编码当前宏块。

优选地，所述联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价J_DIRECT的统计分布特性包括：

判断样式系数与样式系数阈值的大小，当样式系数不小于样式系数阈值时，则采用16×16块模式对当前宏块进行编码；并获取采用16×16块模式编码的当前宏块的率失真代价J_16×16；

当样式系数小于样式系数阈值T_CBP且当前宏块所在的当前帧为偶数视点帧时，获取所述采用直接模式编码的当前宏块的率失真代价J_DIRECT；

根据采用直接模式编码的当前宏块的率失真代价J_DIRECT与设定的直接模式的率失真代价阈值T_RD的值，或者采用直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16设置编码最佳模式；

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT小于设定的直接模式的率失真代价阈值T_RD，则直接模式为编码最佳模式；

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT大于或等于设定的直接模式的率失真代价阈值T_RD，则16×16块模式为编码最佳模式。

优选地，在所述使用16×16块模式编码当前宏块的步骤之后还包括：

获取采用16×16块模式编码的当前宏块的率失真代价J_16×16；

根据当前宏块采用直接模式编码的当前宏块的率失真代价J_DIRECT和16×16块模式编码的当前宏块的率失真代价J_16×16设置编码最佳模式。

优选地，所述根据当前宏块采用直接模式编码的率失真代价J_DIRECT和采用16×16块模式编码的率失真代价J_16×16设置编码最佳模式的步骤包括：

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT小于采用16×16块模式编码的当前宏块的率失真代价J_16×16，则设置直接模式为编码最佳模式；

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT大于采用16×16块模式编码的当前宏块的率失真代价J_16×16，则选择16×16块模式为编码最佳模式。

优选地，所述联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价J_DIRECT的统计分布特性还包括：

当样式系数不小于样式系数阈值T_CBP且当前宏块所在的当前帧为奇数视点帧时，

根据公式W_DIRECT(x，y)＝min(W_l(x+GDVx_l，y+GDVy_l)，W_r(x+GDVx_r，y+GDVy_r))计算当前宏块的权重系数W_DIRECT；

其中x，y分别表示当前宏块在水平和竖直方向上的以宏块为单位的坐标，当前宏块的相对于ψ视点的全局视差矢量GDV_ψ＝{GDVx_ψ，GDVy_ψ}，ψ∈{l，r}，l和r分别表示左边和右边相邻视点；

W_ψ(u，v)定义为：

$W_{\mathrm{\ψ}}(u,v)=\left\{\begin{array}{cc}\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\α}}_i{K}_{\mathrm{\ψ},i}(u,v)& u\∈[1,W_{\mathrm{MB}}-2],v\∈[1,H_{\mathrm{MB}}-2]\\ K_{\mathrm{\ψ},0}(u,v)\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\α}}_i& u\∈\{0,W_{\mathrm{MB}}-1\}\mathrm{orv}\∈\{0,H_{\mathrm{MB}}-1\}\\ 0& \mathrm{others}\end{array}\right.;$

其中α_i是(u，v)坐标宏块及其八邻域宏块的加权系数，i∈[0，8]，α_i≥0，W_MB和H_MB为当前图像以宏块为衡量单位的宽和高。其中系数K_ψ，i(u，v)为：

$K_{\mathrm{\ψ},i}(u,v)=\left\{\begin{array}{cc}1& \mathrm{ifM}(u,v,i)=\mathrm{DIRECT}\\ 0& \mathrm{else}\end{array}\right.;$

M(u，v，i)为(u，v)坐标块及其八邻域块的宏块模式；

获取采用直接模式编码的当前宏块的率失真代价J_DIRECT；

根据权重系数W_DIRECT或者率失真代价J_DIRECT设置编码最佳模式。

优选地，所述根据权重系数W_DIRECT或者率失真代价J_DIRECT设置编码模式的步骤包括：

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT小于设定的直接模式的率失真代价阈值T_RD或者权重系数W_DIRECT大于设定的视点间直接模式的率失真代价阈值T_W，则设置直接模式为编码最佳模式；

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT大于或等于设定的直接模式的率失真代价阈值T_RD或者权重系数W_DIRECT小于或等于设定的视点间直接模式的率失真代价阈值T_W，则使用16×16块模式编码当前宏块。

优选地，在所述使用16×16块模式编码当前宏块的步骤之后还包括：

获取采用16×16块模式编码的当前宏块的率失真代价J_16×16；

根据采用直接模式编码的当前宏块的率失真代价J_DIRECT和采用16×16块模式编码的当前宏块的率失真代价J_16×16选择编码最佳模式。

优选地，所述根据采用直接模式编码的当前宏块的率失真代价J_DIRECT和采用16×16块模式编码的当前宏块的率失真代价J_16×16选择编码模式的步骤包括：

如果J_DIRECT＜λ×J_16×16，则比较J_DIRECT和J_16×16，其中λ为加权系数；

如果J_DIRECT＜J_16×16，则选择直接模式为编码最佳模式；

如果J_DIRECT＞J_16×16，则选择16×16块模式为编码最佳模式。

优选地，所述根据当前宏块采用直接模式编码的率失真代价J_DIRECT和采用16×16块模式编码的率失真代价J_16×16选择编码模式的步骤还包括：

如果J_DIRECT＜λ×J_16×16，其中λ为加权系数；则采用帧间模式和帧内模式编码当前宏块，并比较率失真代价，选择最小率失真代价对应的模式为编码最佳模式。

优选地，根据权利要求所述的多视点视频信号的编码方法，其特征在于，所述直接模式的率失真代价阈值T_RD的设定步骤包括：

步骤1，如果当前宏块当前图像组中的第0或第1视点中的非锚帧(Non-anchorframe)中的前n_wo个宏块，设定阈值T_RD为T_MIN，T_MIN为大于0的数，并编码当前宏块，将参数σ，μ，μ_D，σ和P_D初始化，初始化公式为：

$\mathrm{\σ}=\sqrt{E\left(X^2\right)-E{\left(X\right)}^2},$ $\mathrm{\μ}=E\left(X\right)-\sqrt{E\left(X^2\right)-E{\left(X\right)}^2},$ σ_D＝E(X)-μ，μ_D＝μ，

其中随机变量X为用直接模式编码当前宏块的率失真代价的均方根，x_i为X的观察值，可表示为E()表示数学期望运算，P_D为编码前n_wo宏块后选择直接模式为最佳模式宏块数相对于n_wo的百分比，然后跳转至步骤3；

如果是当前宏块为图像组中其他视点的，则采用相邻视点参考原则，即第n视点参考第n-2视点的参数σ、μ、μ_D、σ_D和P_D初始化前n_wo个宏块信息，跳转至步骤3；否则，跳转至步骤2；

步骤2，统计已编码的当前宏块选择直接模式为最佳模式的比例并更新P_D，更新已编码的当前宏块的观察值E(X)和E(X²)信息，重新计算更新参数σ、μ、μ_D、σ_D， $\mathrm{\σ}=\sqrt{E\left(X^2\right)-E{\left(X\right)}^2},$ $\mathrm{\μ}=E\left(X\right)-\sqrt{E\left(X^2\right)-E{\left(X\right)}^2},$ σ_D＝E(X)-μ，μ_D＝μ。初始化参数φ，φ表示速度优化需求越大而对视频压缩效率下降的容忍度越高，一般为大于0的自然数。

步骤3，加载上述步骤中的φ，将φ和φ-Δφ代入下式计算得到T_φ和T_φ-Δφ，

$T_{\mathrm{\φ}}=x_0+\frac{{\mathrm{\σ}}_D\mathrm{\σ}}{\mathrm{\σ}-{\mathrm{\σ}}_D}\ln \left(\frac{1+\mathrm{\φ}}{\mathrm{\φ}}\right);$

其中Δφ是一个大于0的值， $x_0=\mathrm{\μ}+\frac{{\mathrm{\σ\σ}}_D\ln \frac{P_D\mathrm{\σ}}{{\mathrm{\σ}}_D}}{\mathrm{\σ}-{\mathrm{\σ}}_D};$

步骤4，将T_φ和T_φ-Δφ分别代入下式的T计算最大误差，记为ΔMSE_Up(T_φ-Δφ)和ΔMSE_Up(T_φ)

$\mathrm{\Δ}{\mathrm{MSE}}_{\mathrm{Up}}=\left\{\begin{array}{cc}\mathrm{\Φ}\left(T\right)-\mathrm{\Φ}\left(x_0\right)& T>x_0\\ 0& T\≤x_0\end{array}\right.,$

其中 $\begin{array}{c}\mathrm{\Φ}\left(y\right)=[{(\mathrm{\μ}+\mathrm{\σ})}^2+{\mathrm{\σ}}^2](1-e^{-\frac{y-\mathrm{\μ}}{\mathrm{\σ}}})-(y-\mathrm{\μ})(\mathrm{\μ}+2\mathrm{\σ}+y)e^{-\frac{y-\mathrm{\μ}}{\mathrm{\σ}}}-\\ P_D[{(\mathrm{\μ}+{\mathrm{\σ}}_D)}^2+{{\mathrm{\σ}}_D}^2](1-e^{-\frac{y-\mathrm{\μ}}{{\mathrm{\σ}}_D}})+P_D(y-\mathrm{\μ})({\mathrm{\μ}}_D+2{\mathrm{\σ}}_D+y)e^{-\frac{y-\mathrm{\μ}}{{\mathrm{\σ}}_D}}\end{array},$ $x_0=\mathrm{\μ}+\frac{{\mathrm{\σ\σ}}_D}{\mathrm{\σ}-{\mathrm{\σ}}_D}\ln \frac{P_D\mathrm{\σ}}{{\mathrm{\σ}}_D}.$ 根据单调性函数关系，ΔMSE_Up(T_φ-Δφ)和ΔMSE_Up(T_φ)满足条件ΔMSE_Up(T_φ-Δφ)＞ΔMSE_Up(T_φ)，同时T_φ-Δφ和T_φ满足条件T_φ-Δφ＞T_φ。初始化参数n^-和n⁺为0。

步骤5，如果ΔMSE_Up(T_φ-Δφ)小于设定阈值更新φ和n^-，即φ＝φ-Δφ，n^-＝n^-+1，并跳转至步骤6；如果ΔMSE_Up(T_φ)大于设定阈值更新φ和n⁺，即φ＝φ+Δφ，n⁺＝n⁺+1，并跳转至步骤6；否则，如果满足条件ΔMSE_Up(T_φ)小于等于且ΔMSE_Up(T_φ-Δφ)大于等于则跳转步骤7；

步骤6，如果n^-大于迭代次数N^-或者n⁺大于迭代次数N⁺，则跳转步骤7；否则保存φ并跳转至步骤3。

步骤7，保存φ，T_φ并计算得到T_RD＝T_φ ²×256；

步骤8，采用阈值T_RD编码后续m个宏块，如果已编码完一帧的最后一个块，更新

$T_{\mathrm{\ΔMSE}}=({10}^{\frac{T_{\mathrm{\ΔPSNR}}}{10}}-1)\×{255}^2/(P_D\×{10}^{\frac{{\mathrm{PSNR}}_{\mathrm{Org}}}{10}});$

其中T_ΔPSNR为设定最大允许压缩效率下降的阈值，为大于0的数，越大则表示允许误差越大，取得的速度优化越多，PSNR_Org为已编码图像的平均尖峰信噪比(Peak Signal-to-Noise Ratio)。如果当前帧为当前图像组的最后一帧，则跳转至步骤1编码下一个图像组；否则跳转至步骤2。

上述方法通过联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价J_DIRECT的统计分布特性，或采用直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16设置编码最佳模式，能够构建有效直接模式的早期终止条件以及早期终止策略，由于直接模式计算量最小，且构建的直接模式的早期终止条件误判率和漏判率低，因此，上述多视点视频信号的编码方法最大限度地提前选择编码最佳模式并终止视频编码中不必要的复杂的模式选择过程，更有效降低多视点视频编码复杂度，提高编码速度。

【附图说明】

图1为多视点视频信号编码中分层预测结构；

图2为一个实施例中多视点视频信号的编码方法的流程图；

图3为另一个实施例中多视点视频信号的编码方法流程图；

图4为又一个实施例中多视点视频信号的编码方法流程图。

【具体实施方式】

宏块，是视频编码技术中的一个基本概念。在视频编码中，一个编码图像通常划分成若干宏块组成，一个宏块由一个亮度像素和附加的两个色度像素块组成。一般来说，亮度块为16×16大小的像素块，而两个色度图像像素块的大小依据其图像的采样格式而定，如：对于YUV420采样图像，色度块为8×8大小的像素块。每个图象中，若干宏块被排列成片的形式，视频编码算法以宏块为单位，逐个宏块进行编码，组织成连续的视频码流。

直接模式(direct mode)属于帧间模式，是编码过程中分布最广而且计算量最小的模式。因此，在编码过程中会选择直接模式编码，减小计算量。在直接模式下，例如以16×16的宏块作为基本单位，编码器将与当前宏块位于另一帧的同一位置的宏块作为参考，当前宏块根据设置的运动矢量向位于另一帧的同一位置的宏块运动。即实现对当前宏块的编码，获得编码的当前宏块的样式系数。

在本实施例中，多视点视频信号的编码方法，包括：

判断当前帧是否位于锚帧，若是，则对当前帧的当前宏块采用全模式搜索选择编码方法，选择当前宏块在各个模式下编码的最小率失真代价所对应的编码模式为编码最佳模式；若否，则采用直接模式编码当前宏块并获取编码后的当前宏块的样式系数。

联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价J_DIRECT的统计分布特性，构建直接模式的早期终止条件一，如果满足早期终止条件一，选择直接模式为最佳模式并终止模式；如果不满足早期终止条件一，则获取采用16×16块模式编码的当前宏块的率失真代价J_16×16。

根据直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16，构建直接模式的早期终止条件二；如果满足早期终止条件二，则根据采用直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16，设置编码最佳模式；如果不满足早期终止条件二，则选择当前宏块在各个模式下编码的最小率失真代价所对应的编码模式为编码最佳模式并编码当前宏块。

在本实施例中，所述联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价J_DIRECT的统计分布特性包括：

判断样式系数与样式系数阈值的大小，当样式系数不小于样式系数阈值时，则采用16×16块模式对当前宏块进行编码；并获取采用16×16块模式编码的当前宏块的率失真代价J_16×16；

当样式系数小于样式系数阈值T_CBP且当前宏块所在的当前帧为偶数视点帧时，获取所述采用直接模式编码的当前宏块的率失真代价J_DIRECT；

根据采用直接模式编码的当前宏块的率失真代价J_DIRECT与设定的直接模式的率失真代价阈值T_RD的值，或者采用直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16设置编码最佳模式；

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT小于设定的直接模式的率失真代价阈值T_RD，则直接模式为编码最佳模式；

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT大于或等于设定的直接模式的率失真代价阈值T_RD，则直接模式为编码最佳模式。

如图2所示，为多视点视频信号的编码方法的流程图。多视点视频信号的编码方法包括以下步骤：

判断当前帧是否位于锚帧，若是，则对当前帧的当前宏块采用全模式搜索选择编码方法，选择当前宏块在各个模式下编码的最小率失真代价所对应的编码模式为编码最佳模式；并采用所述编码最佳模式对当前帧的剩余宏块进行编码；若否，则执行步骤S110，采用直接模式编码当前宏块并获取编码后的当前宏块的样式系数。

在本实施例中，判断样式系数与样式系数阈值的大小，当样式系数小于样式系数阈值时，则采用16×16块模式对当前宏块进行编码；并获取采用16×16块模式编码的当前宏块的率失真代价J_16×16。

当样式系数不小于样式系数阈值T_CBP且当前宏块所在的当前帧为偶数视点帧时，则执行步骤S120，获取所述采用直接模式编码的当前宏块的率失真代价J_DIRECT。

在本实施例中，样式系数阈值为大于或等于零的系数，优选地，一般设为零。

在本实施例中，根据样式系数CBP_DIRECT的大小选择编码模式。当样式系数CBP_DIRECT小于直接模式编码后的当前宏块的样式系数阈值T_CBP时，则终止直接模式，选择16×16块模式。当样式系数CBP_DIRECT不小于直接模式编码后的当前宏块的样式系数阈值T_CBP时，继续采用直接模式。

步骤S130，设置编码最佳模式，具体地，根据采用直接模式编码的当前宏块的率失真代价J_DIRECT的值，或者采用直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16设置编码最佳模式，并采用所述编码最佳模式对当前帧的剩余宏块进行编码。

在本实施例中，根据直接模式编码的当前宏块的率失真代价J_DIRECT与设定的直接模式的率失真代价阈值T_RD的值设置编码最佳模式的步骤包括：

①如果采用直接模式编码的当前宏块的率失真代价J_DIRECT小于设定的直接模式的率失真代价阈值T_RD，则直接模式为编码最佳模式。

②采用直接模式编码的当前宏块的率失真代价J_DIRECT大于或等于设定的直接模式的率失真代价阈值T_RD，则16×16块模式为编码最佳模式。

在本实施例中，设定的直接模式的率失真代价阈值T_RD为终止直接模式的条件。当采用直接模式编码后的当前宏块的率失真代价J_DIRECT大于或等于设定的直接模式的率失真代价阈值T_RD时，则终止直接模式，选择16×16块模式编码当前宏块。

在本实施例中，直接模式的率失真代价阈值T_RD设定的步骤包括：

步骤1，如果当前宏块当前图像组中的第0或第1视点中的非锚帧(Non-anchorframe)中的前n_wo个宏块，设定阈值T_RD为T_MIN，T_MIN为大于0的数，在本实施例中，T_MIN设为256。并编码当前宏块，将参数σ，μ，μ_D，σ和P_D初始化，初始化公式为：

$\mathrm{\σ}=\sqrt{E\left(X^2\right)-E{\left(X\right)}^2},$ $\mathrm{\μ}=E\left(X\right)-\sqrt{E\left(X^2\right)-E{\left(X\right)}^2},$ σ_D＝E(X)-μ，μ_D＝μ，

其中随机变量X为用直接模式编码当前宏块的率失真代价的均方根，x_i为X的观察值，可表示为E()表示数学期望运算，P_D为编码前n_wo宏块后选择直接模式为最佳模式宏块数相对于n_wo的百分比，然后跳转至步骤3；

在本实施例中，n_wo设定为一帧图像中宏块总数的1/4，如分辨率为1024×768的视频帧中，每帧图像有16×16的宏块3027个，n_wo设为768。

如果是当前宏块为图像组中其他视点的，则采用相邻视点参考原则，即第n视点参考第n-2视点的参数σ、μ、μ_D、σ_D和P_D初始化前n_wo个宏块信息，跳转至步骤3；否则，跳转至步骤2；

步骤2，统计已编码的当前宏块选择直接模式为最佳模式的比例并更新P_D，更新已编码的当前宏块的观察值E(X)和E(X²)信息，重新计算更新参数σ、μ、μ_D、σ_D， $\mathrm{\σ}=\sqrt{E\left(X^2\right)-E{\left(X\right)}^2},$ $\mathrm{\μ}=E\left(X\right)-\sqrt{E\left(X^2\right)-E{\left(X\right)}^2},$ σ_D＝E(X)-μ，μ_D＝μ。初始化参数φ，φ表示速度优化需求越大而对视频压缩效率下降的容忍度越高，一般为大于0的自然数。在本实施例中，设定为2。

步骤3，加载上述步骤中的φ，将φ和φ-Δφ代入下式计算得到T_φ和T_φ-Δφ，

$T_{\mathrm{\φ}}=x_0+\frac{{\mathrm{\σ}}_D\mathrm{\σ}}{\mathrm{\σ}-{\mathrm{\σ}}_D}\ln \left(\frac{1+\mathrm{\φ}}{\mathrm{\φ}}\right);$

其中Δφ是一个大于0的值，本实施例中，Δφ设为0.01， $x_0=\mathrm{\μ}+\frac{{\mathrm{\σ\σ}}_D\ln \frac{P_D\mathrm{\σ}}{{\mathrm{\σ}}_D}}{\mathrm{\σ}-{\mathrm{\σ}}_D};$

步骤4，将T_φ和T_φ-Δφ分别代入下式的T计算最大误差，记为ΔMSE_Up(T_φ-Δφ)和ΔMSE_Up(T_φ)

$\mathrm{\Δ}{\mathrm{MSE}}_{\mathrm{Up}}=\left\{\begin{array}{cc}\mathrm{\Φ}\left(T\right)-\mathrm{\Φ}\left(x_0\right)& T>x_0\\ 0& T\≤x_0\end{array}\right.,$

其中 $\begin{array}{c}\mathrm{\Φ}\left(y\right)=[{(\mathrm{\μ}+\mathrm{\σ})}^2+{\mathrm{\σ}}^2](1-e^{-\frac{y-\mathrm{\μ}}{\mathrm{\σ}}})-(y-\mathrm{\μ})(\mathrm{\μ}+2\mathrm{\σ}+y)e^{-\frac{y-\mathrm{\μ}}{\mathrm{\σ}}}-\\ P_D[{(\mathrm{\μ}+{\mathrm{\σ}}_D)}^2+{{\mathrm{\σ}}_D}^2](1-e^{-\frac{y-\mathrm{\μ}}{{\mathrm{\σ}}_D}})+P_D(y-\mathrm{\μ})({\mathrm{\μ}}_D+2{\mathrm{\σ}}_D+y)e^{-\frac{y-\mathrm{\μ}}{{\mathrm{\σ}}_D}}\end{array},$ $x_0=\mathrm{\μ}+\frac{{\mathrm{\σ\σ}}_D}{\mathrm{\σ}-{\mathrm{\σ}}_D}\ln \frac{P_D\mathrm{\σ}}{{\mathrm{\σ}}_D}.$ 根据单调性函数关系，ΔMSE_Up(T_φ-Δφ)和ΔMSE_Up(T_φ)满足条件ΔMSE_Up(T_φ-Δφ)＞ΔMSE_Up(T_φ)，同时T_φ-Δφ和T_φ满足条件T_φ-Δφ＞T_φ。初始化参数n^-和n⁺为0。

步骤5，如果ΔMSE_Up(T_φ-Δφ)小于设定阈值更新φ和n^-，即φ＝φ-Δφ，n^-＝n^-+1，并跳转至步骤6；如果ΔMSE_Up(T_φ)大于设定阈值更新φ和n⁺，即φ＝φ+Δφ，n⁺＝n⁺+1，并跳转至步骤6；否则，如果满足条件ΔMSE_Up(T_φ)小于等于且ΔMSE_Up(T_φ-Δφ)大于等于则跳转步骤7；

步骤6，如果n^-大于迭代次数N^-或者n⁺大于迭代次数N⁺，则跳转步骤7；否则保存φ并跳转至步骤3。本实施例中，迭代次数设为50。

步骤7，保存φ，T_φ并计算得到T_RD＝T_φ ²×256；

步骤8，采用阈值T_RD编码后续m个宏块，如果已编码完一帧的最后一个块，更新本实施例中，m设为100。

$T_{\mathrm{\ΔMSE}}=({10}^{\frac{T_{\mathrm{\ΔPSNR}}}{10}}-1)\×{255}^2/(P_D\×{10}^{\frac{{\mathrm{PSNR}}_{\mathrm{Org}}}{10}});$

其中T_ΔPSNR为设定最大允许压缩效率下降的阈值，为大于0的数，越大则表示允许误差越大，取得的速度优化越多，PSNR_Org为已编码图像的平均尖峰信噪比(Peak Signal-to-Noise Ratio)。如果当前帧为当前图像组的最后一帧，则跳转至步骤1编码下一个图像组；否则跳转至步骤2。在本实施例中，T_ΔPSNR设为0.2。

在本实施例中，在所述使用16×16块模式编码当前宏块的步骤之后还包括：

①获取采用16×16块模式编码的当前宏块的率失真代价J_16×16。

②根据当前宏块采用直接模式编码的率失真代价J_DIRECT和采用16×16块模式编码的率失真代价J_16×16设置编码最佳模式。

在本实施例中，根据当前宏块采用直接模式编码的率失真代价J_DIRECT和采用16×16块模式编码的率失真代价J_16×16设置编码最佳模式的步骤包括：

①如果采用直接模式编码的当前宏块的率失真代价J_DIRECT小于采用16×16块模式编码的当前宏块的率失真代价J_16×16，则设置直接模式为编码最佳模式。

②如果采用直接模式编码的当前宏块的率失真代价J_DIRECT大于采用16×16块模式编码的当前宏块的率失真代价J_16×16，则选择16×16块模式为编码最佳模式。

在本实施例中，直接比较直接模式的率失真代价和16×16块模式的率失真代价，选择两者中率失真代价小的作为编码最佳模式。

如图3所示，在本实施例中，多视点视频信号的编码方法还包括：

步骤S112，当样式系数不小于样式系数阈值T_CBP且当前宏块所在的当前帧为奇数视点帧时，

根据公式W_DIRECT(x，y)＝min(W_l(x+GDVx_l，y+GDVy_l)，W_r(x+GDVx_r，y+GDVy_r))计算当前宏块的权重系数W_DIRECT；

其中x，y分别表示当前宏块在水平和竖直方向上的以当前宏块为单位的坐标，当前宏块的相对于ψ视点的全局视差矢量GDV_ψ＝{GDVx_ψ，GDVy_ψ}，ψ∈{l，r}，l和r分别表示左边和右边相邻视点；

W_ψ(u，v)定义为：

$W_{\mathrm{\ψ}}(u,v)=\left\{\begin{array}{cc}\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\α}}_i{K}_{\mathrm{\ψ},i}(u,v)& u\∈[1,W_{\mathrm{MB}}-2],v\∈[1,H_{\mathrm{MB}}-2]\\ K_{\mathrm{\ψ},0}(u,v)\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\α}}_i& u\∈\{0,W_{\mathrm{MB}}-1\}\mathrm{orv}\∈\{0,H_{\mathrm{MB}}-1\}\\ 0& \mathrm{others}\end{array}\right.;$

其中α_i是(u，v)坐标宏块及其八邻域宏块的加权系数，i∈[0，8]，α_i≥0，W_MB和H_MB为当前图像以宏块为衡量单位的宽和高。其中系数K_ψ，i(u，v)为：

$K_{\mathrm{\ψ},i}(u,v)=\left\{\begin{array}{cc}1& \mathrm{ifM}(u,v,i)=\mathrm{DIRECT}\\ 0& \mathrm{else}\end{array}\right.;$

M(u，v，i)为(u，v)坐标块及其八邻域块的宏块模式。如果为直接模式，系数K_ψ，i(u，v)为1，否则为0。

在本实施例中，本实施例中α₀为当前块的加权系数，设为2.0，α₂，α₄，α₅，α₇为当前块的四邻域块的加权系数，分别设为1.0，其余α_i设为0.25，

在本实施例中，当前宏块所在的当前帧为奇数视点帧时，设置编码最佳模式的条件包括权重系数W_DIRECT，因此需要计算出当前宏块的权重系数。

步骤S122，获取采用直接模式编码的当前宏块的率失真代价J_DIRECT。

在本实施例中，率失真代价根据拉格朗日代价函数得出的。

步骤S132，根据权重系数W_DIRECT或者率失真代价J_DIRECT设置编码最佳模式。

在本实施例中，步骤S132根据权重系数W_DIRECT或者率失真代价J_DIRECT设置编码模式的步骤包括：

①如果采用直接模式编码的当前宏块的率失真代价J_DIRECT小于设定的直接模式的率失真代价阈值T_RD或者权重系数W_DIRECT大于设定的视点间直接模式的率失真代价阈值T_W，则设置直接模式为编码最佳模式。

②如果采用直接模式编码的当前宏块的率失真代价J_DIRECT大于或等于设定的直接模式的率失真代价阈值T_RD或者权重系数W_DIRECT小于或等于设定的视点间直接模式的率失真代价阈值T_W，则使用16×16块模式编码当前宏块。

在本实施例中，视点间直接模式的率失真代价阈值T_W设定为6.25。

在本实施例中，在所述使用16×16块模式编码当前宏块的步骤之后还包括：

①获取采用16×16块模式编码的当前宏块的率失真代价J_16×16。

②根据当前宏块采用直接模式编码的率失真代价J_DIRECT和采用16×16块模式编码的率失真代价J_16×16选择编码最佳模式。

在本实施例中，根据采用直接模式编码的率失真代价J_DIRECT和采用16×16块模式编码的率失真代价J_16×16选择编码模式的步骤包括：

①如果J_DIRECT＜λ×J_16×16，则比较J_DIRECT和J_16×16，其中λ为加权系数。

②如果J_DIRECT＜J_16×16，则选择直接模式为编码最佳模式。

③如果J_DIRECT＞J_16×16，则选择16×16块模式为编码最佳模式。

在本实施例中，根据当前宏块采用直接模式的率失真代价J_DIRECT和16×16块模式编码的率失真代价J_16×16选择编码模式的步骤还包括：

如果J_DIRECT＜λ×J_16×16，其中λ为加权系数；则采用帧间模式(Inter mode)和帧内模式(Intra mode)编码当前宏块，并比较率失真代价，选择最小率失真代价的对应的模式为最佳模式。加权系数λ一般为0.25到4的系数，一般设定为1。

基于上述所有实施例，如图4所示，为又一个实施例中多视点视频信号的编码方法流程。首先判断当前帧是否位于锚帧，若是，则对当前帧的当前宏块采用全模式搜索进行各个编码模式的编码，根据各个编码模式的率失真代价选择编码最佳模式，优选地，一般选择率失真代价最小时对应的编码模式为编码最佳模式。

若当前帧不位于锚帧，则对当前宏块采用直接模式进行编码。获取编码后的当前宏块的样式系数，若样式系数小于样式系数阈值，则进一步判断当前宏块所在的当前帧是否为奇数视点帧，若否，则根据直接模式编码下的率失真代价和直接模式率失真代价阈值选择编码最佳模式。若当前宏块所在的当前帧为偶数视点帧，则根据直接模式编码下的率失真代价和直接模式率失真代价阈值选择编码最佳模式或者根据权重系数和视点间直接模式相关性阈值选择编码最佳模式。

其中，若样式系数小于样式系数阈值或者直接模式的率失真代价大于直接模式率失真代价阈值或者权重系数小于视点间直接模式相关性阈值时，则选择16×16块模式编码当前宏块，根据编码后的当前宏块的直接模式的率失真代价和16×16块模式的率失真代价选择编码最佳模式。

在本实施例中，多视点视频信号的编码方法总流程如下所述：

步骤10、判断当前帧是否为锚帧(Anchor Frame)，如果是则本帧中所有宏块(Macro block)使用原全模式搜索的模式选择方法，并通过当前宏块各个模式的最小率失真代价值(Rate Distortion Cost)选择最佳编码模式，跳转至步骤60；否则，采用直接模式(DIRECT mode)编码当前宏块，并跳转至步骤20。

步骤20、记直接模式编码后所得编码块样式系数(Coded Block Pattern)为CBP_DIRECT，如果当前宏块的样式系数CBP_DIRECT为小于或等于样式系数阈值T_CBP，跳转至步骤50；如果样式系数CBP_DIRECT不小于样式系数T_CBP，判断当前帧是否为偶数视点帧(temporal frame)，如果是，跳转至步骤40；如果否，则跳转至步骤30；在本实施例中，样式系数阈值T_CBP设为0。

步骤30、计算当前宏块的权重系数，记为W_DIRECT

根据公式W_DIRECT(x，y)＝min(W_l(x+GDVx_l，y+GDVy_l)，W_r(x+GDVx_r，y+GDVy_r))计算当前宏块的权重系数W_DIRECT；

其中x，y分别表示当前宏块在水平和竖直方向上的以当前宏块为单位的坐标，当前宏块的相对于ψ视点的全局视差矢量GDV_ψ＝{GDVx_ψ，GDVy_ψ}，ψ∈{l，r}，l和r分别表示左边和右边相邻视点；

W_ψ(u，v)定义为：

$W_{\mathrm{\ψ}}(u,v)=\left\{\begin{array}{cc}\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\α}}_i{K}_{\mathrm{\ψ},i}(u,v)& u\∈[1,W_{\mathrm{MB}}-2],v\∈[1,H_{\mathrm{MB}}-2]\\ K_{\mathrm{\ψ},0}(u,v)\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\α}}_i& u\∈\{0,W_{\mathrm{MB}}-1\}\mathrm{orv}\∈\{0,H_{\mathrm{MB}}-1\}\\ 0& \mathrm{others}\end{array}\right.;$

其中α_i是(u，v)坐标宏块及其八邻域宏块的加权系数，i∈[0，8]，α_i≥0，W_MB和H_MB为当前图像以宏块为衡量单位的宽和高。其中系数K_ψ，i(u，v)为：

$K_{\mathrm{\ψ},i}(u,v)=\left\{\begin{array}{cc}1& \mathrm{ifM}(u,v,i)=\mathrm{DIRECT}\\ 0& \mathrm{else}\end{array}\right.;$

M(u，v，i)为(u，v)坐标块及其八邻域块的宏块模式。如果模式为直接模式，这系数K_ψ，i(u，v)为1，否则为0。

记直接模式编码后计算所得的率失真代价为J_DIRECT，如果J_DIRECT小于直接模式的率失真代价阈值T_RD或者系数W_DIRECT大于阈值视点间直接模式的率失真代价阈值T_W，则设置当前宏块的最佳编码模式为直接模式，并跳转至步骤60；否则跳转至步骤50；

步骤40、计算直接模式编码当前宏块的率失真代价J_DIRECT，如果J_DIRECT小于直接模式的率失真代价阈值阈值T_RD，则设置当前宏块的最佳模式为直接模式，并跳转至步骤60；否则跳转至步骤50；

步骤50、使用16×16块模式编码当前宏块，计算所得的率失真代价记为J_16×16，比较当前宏块采用直接模式和16×16块模式编码的率失真代价，

如果J_DIRECT＜λ×J_16×16，则再比较J_DIRECT和J_16×16，其中λ为加权系数。

如果J_DIRECT＜J_16×16，则选择直接模式为最佳模式；否则选择16×16块模式为最佳模式；

否则，采用其他帧间模式(Inter mode)和帧内模式(Intra mode)编码当前宏块，并通过率失真代价比较的方式，选择最小率失真代价的对应的模式为最佳模式。

步骤60、保存最佳模式信息，跳转至步骤10对下一宏块编码。

在本实施例中，以最新多视点视频编码平台JMVC 8.0，配置参数包括：运动/视差估计的搜索范围为±96，快速运动估计/视差估计开启，最多2个参考帧，8个视点，编码图像组长度为12，量化参数分别为24，28，32和36。通过对Racel，Ballroom，Exit，Lovebird1，Doorflowers，Breakdancers，Ballet和Dog等8个多视点标准测试序列的编码实验，对比实验方案包括原始多视点视频编码平台方案，对比实验方案的早期终止方案以及本发明的方法。通过编码实验表明：对于压缩效率上，本发明方法在相同码率下，相对于原多视点编码平台的尖峰信噪比平均下降为0.05dB，可以忽略，在计算复杂度上，本发明方法对于偶数视点(时间视点)，相比于原JMVC编码平台节省编码时间40.46％至72.75％，平均57.57％，对于奇数视点(视点间视点)，相比于原JMVC编码平台节省编码时间50.98％到81.13％，相比于对比实验方案的方法节省29.31％，另外。本发明方法的直接模式的早期终止策略同时适用于奇数视点和偶数视点，同时可以与其他模式选择方法相结合，进一步降低计算复杂度。

通过联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价J_DIRECT的统计分布特性，或采用直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16设置编码最佳模式，能够构建有效直接模式的早期终止条件以及早期终止策略，由于直接模式计算量最小，且构建的直接模式的早期终止条件误判率和漏判率低，因此，上述多视点视频信号的编码方法最大限度地提前选择编码最佳模式并终止视频编码中不必要的复杂的模式选择过程，更有效降低多视点视频编码复杂度，提高编码速度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多视点视频信号的编码方法，包括：

判断当前帧是否位于锚帧，若是，则对当前帧的当前宏块采用全模式搜索选择编码方法，选择当前宏块在各个模式下编码的最小率失真代价所对应的编码模式为编码最佳模式；若否，则采用直接模式编码当前宏块并获取编码后的当前宏块的样式系数；

联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价J_DIRECT的统计分布特性，构建直接模式的早期终止条件一，如果满足早期终止条件一，选择直接模式为最佳模式并终止模式；如果不满足早期终止条件一，则获取采用16×16块模式编码的当前宏块的率失真代价J_16×16；其中，所述早期终止条件之一为采用直接模式编码当前宏块并获取编码后的当前宏块的样式系数，所述样式系数不小于样式系数阈值T_CBP；和/或当前宏块为奇数视点；和/或采用直接模式编码的当前宏块的率失真代价J_DIRECT小于设定的直接模式的率失真代价阈值T_RD，和/或采用直接模式编码的当前宏块的率失真代价J_DIRECT大于或等于设定的直接模式的率失真代价阈值T_RD；

根据直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16，构建直接模式的早期终止条件二；如果满足早期终止条件二，则根据采用直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16，设置编码最佳模式；如果不满足早期终止条件二，则选择当前宏块在各个模式下编码的最小率失真代价所对应的编码模式为编码最佳模式并编码当前宏块；其中，所述早期终止条件二为采用直接模式编码的当前宏块的率失真代价J_DIRECT大于或等于设定的直接模式的率失真代价阈值T_RD。

2.根据权利要求1所述的多视点视频信号的编码方法，其特征在于，所述联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价J_DIRECT的统计分布特性包括：

判断样式系数与样式系数阈值的大小，当样式系数不小于样式系数阈值时，则采用16×16块模式对当前宏块进行编码；并获取采用16×16块模式编码的当前宏块的率失真代价J_16×16；

当样式系数小于样式系数阈值T_CBP且当前宏块所在的当前帧为偶数视点帧时，获取所述采用直接模式编码的当前宏块的率失真代价J_DIRECT；

根据采用直接模式编码的当前宏块的率失真代价J_DIRECT与设定的直接模式的率失真代价阈值T_RD的值，或者采用直接模式编码的当前宏块的率失真代价J_DIRECT与16×16块模式编码的当前宏块的率失真代价J_16×16设置编码最佳模式；

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT小于设定的直接模式的率失真代价阈值T_RD，则直接模式为编码最佳模式；

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT大于或等于设定的直接模式的率失真代价阈值T_RD，则16×16块模式为编码最佳模式。

3.根据权利要求2所述的多视点视频信号的编码方法，其特征在于，在所述使用16×16块模式编码当前宏块的步骤之后还包括：

获取采用16×16块模式编码的当前宏块的率失真代价J_16×16；

根据当前宏块采用直接模式编码的当前宏块的率失真代价J_DIRECT和16×16块模式编码的当前宏块的率失真代价J_16×16设置编码最佳模式。

4.根据权利要求1或3所述的多视点视频信号的编码方法，其特征在于，所述根据当前宏块采用直接模式编码的率失真代价J_DIRECT和采用16×16块模式编码的率失真代价J_16×16设置编码最佳模式的步骤包括：

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT小于采用16×16块模式编码的当前宏块的率失真代价J_16×16，则设置直接模式为编码最佳模式；

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT大于采用16×16块模式编码的当前宏块的率失真代价J_16×16，则选择16×16块模式为编码最佳模式。

5.根据权利要求1所述的多视点视频信号的编码方法，其特征在于，所述联合利用多视点视频视点间相关性，采用直接模式编码当前宏块获取的样式系数信息以及直接模式编码当前宏块获取的率失真代价J_DIRECT的统计分布特性还包括：

当样式系数不小于样式系数阈值T_CBP且当前宏块所在的当前帧为奇数视点帧时，

根据公式W_DIRECT(x，y)＝min(W_l(x+GDVx_l，y+GDVy_l)W_r(x+GDVx_r，y+GDVy_r))

计算当前宏块的权重系数W_DIRECT；

其中x，y分别表示当前宏块在水平和竖直方向上的以宏块为单位的坐标，当前宏块的相对于ψ视点的全局视差矢量GDV_ψ＝{GDVx_ψ，GDVy_ψ}，ψ∈{l,r}，l和r分别表示左边和右边相邻视点；

W_ψ(u,v)定义为：

$W_{\mathrm{\ψ}}(u,v)=\left\{\begin{array}{cc}\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\α}}_i{K}_{\mathrm{\ψ},i}(u,v)& u\∈[1,W_{\mathrm{MB}}-2],v\∈[1,H_{\mathrm{MB}}-2]\\ K_{\mathrm{\ψ},0}(u,v)\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{\α}}_i& u\∈\{0,W_{\mathrm{MB}}-1\}\mathrm{or\; v}\∈\{H_{\mathrm{MB}}-1\}\\ 0& \mathrm{others}\end{array}\right.;$

其中α_i是(u，v)坐标宏块及其八邻域宏块的加权系数，i∈[0,8]，α_i≥O，W_MB和H_MB为当前图像以宏块为衡量单位的宽和高；其中系数K_V，i（u，v)为：

$K_{\mathrm{\ψ},i}(u,v)=\left\{\begin{array}{ccc}1& \mathrm{if}& M(u,v,i)=\mathrm{DIRECT}\\ 0& & \mathrm{else}\end{array}\right.;$

M(u，v，i)为(u,v)坐标块及其八邻域块的宏块模式；

获取采用直接模式编码的当前宏块的率失真代价J_DIRECT；

根据权重系数W_DIRECT或者率失真代价J_DIRECT设置编码最佳模式。

6.根据权利要求5所述的多视点视频信号的编码方法，其特征在于，所述根据权重系数W_DIRECT或者率失真代价J_DIRECT设置编码模式的步骤包括：

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT小于设定的直接模式的率失真代价阈值T_RD或者权重系数W_DIRECT大于设定的视点间直接模式的率失真代价阈值T_W，则设置直接模式为编码最佳模式；

如果采用直接模式编码的当前宏块的率失真代价J_DIRECT大于或等于设定的直接模式的率失真代价阈值T_RD或者权重系数W_DIRECT小于或等于设定的视点间直接模式的率失真代价阈值T_W，则使用16×16块模式编码当前宏块。

7.根据权利要求6所述的多视点视频信号的编码方法，其特征在于，在所述使用16×16块模式编码当前宏块的步骤之后还包括：

获取采用16×16块模式编码的当前宏块的率失真代价J_16×16；

根据采用直接模式编码的当前宏块的率失真代价J_DIRECT和采用16×16块模式编码的当前宏块的率失真代价J_16×16选择编码最佳模式。

8.根据权利要求7所述的多视点视频信号的编码方法，其特征在于，所述根据采用直接模式编码的当前宏块的率失真代价J_DIRECT和采用16×16块模式编码的当前宏块的率失真代价J_16×16选择编码模式的步骤包括：

如果J_DIRECT<λ×J_16×16，则比较J_DIRECT和J_16×16，其中λ为加权系数；

如果J_DIRECT<J_16×16，则选择直接模式为编码最佳模式；

如果J_DIRECT>J_16×16，则选择16×16块模式为编码最佳模式。

9.根据权利要求7所述的多视点视频信号的编码方法，其特征在于，所述根据当前宏块采用直接模式编码的率失真代价J_DIRECT和采用16×16块模式编码的率失真代价J_16×16选择编码模式的步骤还包括：

如果J_DIRECT<λ×J_16×16，其中λ为加权系数；则采用帧间模式和帧内模式编码当前宏块，并比较率失真代价，选择最小率失真代价对应的模式为编码最佳模式。

10.根据权利要求2、6-9中的任一所述的多视点视频信号的编码方法，其特征在于，所述直接模式的率失真代价阈值T_RD的设定步骤包括：

步骤1，如果当前宏块当前图像组中的第0或第1视点中的非锚帧(Non-anchorframe)中的前n_wo个宏块，设定阈值T_RD为T_MIN，T_MIN为大于0的数，并编码当前宏块，将参数σ，μ，μ_D，σ_D初始化，初始化公式为：

$\mathrm{\&sigma;}=\sqrt{E\left(X^2\right)-E{\left(X\right)}^2},$ $\mathrm{\&mu;}=E\left(X\right)-\sqrt{E\left(X^2\right)-E{\left(X\right)}^2},$ σ_D＝E(X)-μ，μ_D＝μ，

其中随机变量X为用直接模式编码当前宏块的率失真代价的均方根，E()表示数学期望运算，P_D为编码前n_wo宏块后选择直接模式为最佳模式宏块数相对于n_wo的百分比，然后跳转至步骤3；

如果是当前宏块为图像组中其他视点的，则采用相邻视点参考原则，即第n视点参考第n-2视点的参数σ、μ、μ_D、σ_D和P_D初始化前n_wo个宏块信息，跳转至步骤3；否则，跳转至步骤2；

步骤2，统计已编码的当前宏块选择直接模式为最佳模式的比例并更新P_D，更新已编码的当前宏块的观察值E(X)和E(X²)信息，重新计算更新参数σ、μ、μ_D、σ_D， $\mathrm{\&sigma;}=\sqrt{E\left(X^2\right)-E{\left(X\right)}^2},$ $\mathrm{\&mu;}=E\left(X\right)-\sqrt{E\left(X^2\right)-E{\left(X\right)}^2},$ σD＝E(X)-μ，μ_D＝μ；初始化参数φ，φ表示速度优化需求越大而对视频压缩效率下降的容忍度越高，一般为大于0的自然数；

步骤3，加载上述步骤中的φ，将φ和φ-Δφ代入下式计算得到T_φ和T_φ-Δφ，

$T_{\mathrm{\&phi;}}=x_0+\frac{{\mathrm{\&sigma;}}_D\mathrm{\&sigma;}}{\mathrm{\&sigma;}-{\mathrm{\&sigma;}}_D}\ln \left(\frac{1+\mathrm{\&phi;}}{\mathrm{\&phi;}}\right);$

其中Δφ是一个大于0的值， $x_0=\mathrm{\&mu;}+\frac{{\mathrm{\&sigma;\&sigma;}}_D\ln \frac{P_D\mathrm{\&sigma;}}{{\mathrm{\&sigma;}}_D}}{\mathrm{\&sigma;}-{\mathrm{\&sigma;}}_D};$

步骤4，将T_φ和T_φ-Δφ分别代入下式的T计算最大误差,记为ΔMSE_Up(T_φ-Δφ)和ΔMSE_Up(T_φ)

$\mathrm{\&Delta;}{\mathrm{MSE}}_{\mathrm{Up}}=\left\{\begin{array}{cc}\mathrm{\&Phi;}\left(T\right)-\mathrm{\&Phi;}\left(x_0\right)& T>x_0\\ 0& T\&le;x_0\end{array}\right.,$

其中 $\begin{array}{c}\mathrm{\&Phi;}\left(y\right)=[{(\mathrm{\&mu;}+\mathrm{\&sigma;})}^2+{\mathrm{\&sigma;}}^2](1-e^{-\frac{y-\mathrm{\&mu;}}{\mathrm{\&sigma;}}})-(y-\mathrm{\&mu;})(\mathrm{\&mu;}+2\mathrm{\&sigma;}+y)e^{-\frac{y-\mathrm{\&mu;}}{\mathrm{\&sigma;}}}-\\ P_D[{(\mathrm{\&mu;}+{\mathrm{\&sigma;}}_D)}^2+{{\mathrm{\&sigma;}}_D}^2](1-e^{-\frac{y-\mathrm{\&mu;}}{{\mathrm{\&sigma;}}_D}})+P_D(y-\mathrm{\&mu;})({\mathrm{\&mu;}}_D+2{\mathrm{\&sigma;}}_D+y)e^{-\frac{y-\mathrm{\&mu;}}{{\mathrm{\&sigma;}}_D}}\end{array},$ $x_0=\mathrm{\&mu;}+\frac{{\mathrm{\&sigma;\&sigma;}}_D}{\mathrm{\&sigma;}-{\mathrm{\&sigma;}}_D}\ln \frac{P_D\mathrm{\&sigma;}}{{\mathrm{\&sigma;}}_D};$

根据单调性函数关系，ΔMSE_Up(T_φ-Δφ)和ΔMSE_Up(T_φ)满足条件ΔMSE_Up(T_φ-Δφ)>ΔMSE_Up(T_φ)，同时T_φ-Δφ和T_φ满足条件T_φ-Δφ>T_φ；初始化参数n^-和n⁺为0；

步骤5，如果ΔMSE_Up(T_φ-Δφ)小于设定阈值T_ΔMSE，更新φ和n^-，即φ＝φ-Δφ,n^-＝n^-+1，并跳转至步骤6；如果ΔMSE_Up(T_φ)大于设定阈值T_ΔMSE，更新φ和n⁺，即φ＝φ+Δφ,n⁺＝n⁺+1，并跳转至步骤6；否则，如果满足条件ΔMSE_Up(T_φ)小于等于T_ΔMSE且ΔMSE_Up(T_φ-Δφ)大于等于T_ΔMSE，则跳转步骤7；

步骤6，如果n^-大于迭代次数N^-或者n⁺大于迭代次数N⁺，则跳转步骤7；否则保存φ并跳转至步骤3；

步骤7，保存φ，T_φ并计算得到T_RD＝T_φ ²×256；

步骤8，采用阈值T_RD编码后续m个宏块，如果已编码完一帧的最后一个块，更新T_ΔMSE，

$T_{\mathrm{\&Delta;MSE}}=({10}^{\frac{T_{\mathrm{\&Delta;PSNR}}}{10}}-1)\&times;{255}^2/(P_D\&times;{10}^{\frac{{\mathrm{PSNR}}_{\mathrm{Org}}}{10}});$

其中T_ΔPSNR为设定最大允许压缩效率下降的阈值，为大于0的数，越大则表示允许误差越大，取得的速度优化越多，PSNR_Org为已编码图像的平均尖峰信噪比(Peak Signal-to-Noise Ratio)；如果当前帧为当前图像组的最后一帧，则跳转至步骤1编码下一个图像组；否则跳转至步骤2。