CN101583045B - 基于obmc的svc层间错误隐藏方法 - Google Patents

Abstract

本发明提出一种基于OBMC的SVC层间错误隐藏方法，对于某一丢失帧，包括在解码端的以下步骤：根据增强层和基本层的空间分辨率比率，判断是否需要将所述基本层的运动向量进行尺度放大和放大倍数，以及是否需要对所述基本层的残差数据进行上采样滤波；对所述基本层的运动向量进行尺度放大及模式映射，得所述增强层对应位置的运动向量和模式；使用所述增强层的运动向量和模式对丢失帧进行重建。本发明通过在使用基本层的运动向量之前根据增强层和基本层的空间分辨率比率判断是否进行尺度放大，在找出若干补偿块进行OBMC加权之后，对基本层的残差数据采取可能的上采样滤波，加到OBMC方法的重建值之上，避免了使用单一运动向量做运动补偿所带来的块效应问题。

Description

基于OBMC的SVC层间错误隐藏方法

技术领域

本发明涉及视频编码技术领域，特别涉及一种差错控制方法。

背景技术

近年来，随着面向互联网及无线视频服务的快速增长，视频编码的目标由单纯的追求高压缩率转向了使视频流能够更好地适应各种不同的网络环境和用户终端，并且具有一定的容错性和可伸缩性。针对这一目标，最优的解决方法是可伸缩性视频编码(Scalable Video Coding，SVC)。

SVC能够提供一个单独的码流，从这个码流中可抽取子码流。子码流能够满足网络传输效率以及终端用户对视频在空间、时间和信噪比等方面的需求。在SVC中，最低质量层被称为基本层，增强空间分辨率、时间分辨率或者信噪比强度的层被称为增强层。其中，为实现空间可伸缩性，采用分层编码方法，利用层间的运动、纹理和残差信息；为实现时间可伸缩性，采用分级双向预测帧编码技术；为实现信噪比的可伸缩性，使用粗粒度可伸缩性和中粒度可伸缩性两种方法，它们采用与空间可伸缩性相似的层间预测方法。

尽管视频编码算法充分利用了空间、时间和层间的冗余，最大限度地提高了编码效率，但是在易错环境中，如无线通信网，某一段码流的传输错误很容易影响到当前帧、时间后续帧及后续层帧，从而使视频质量大大降低。现有的差错控制方法包括错误弹性方法和错误隐藏方法。错误弹性方法是在编码端加入一定的冗余，使解码器在丢包情况下，在一定程度上尽量减少视频质量损失，提高视频总体质量。错误隐藏方法是在解码端利用空间、时间和层间正确接收的信息对丢失部分进行重建。

在SVC中，由于分层技术的使用，可最大限度的利用层间相关性进行错误隐藏。现有的SVC的错误隐藏方法包括：帧拷贝(Frame Copy，FC)、时间直接运动量生成(Temporal Direct motion vector generation，TD)、基本层跳过(Base Layer Skip，BLSkip)和基本层重建的上采样(Reconstructionbase layer Upsampling，RU)。其中，FC是一种直接采用同一层的最近前向参考帧重建值替换当前帧重建值的方法，通过它可重建基本层或增强层；TD是一种通过把每个宏块作为时间Direct模式恢复出错帧的方法，通过它可重建基本层或增强帧丢失的双向预测的B帧；BLSkip使用可能上采样的基本层残差和可能尺度放大的基本层运动向量，并且利用继承基本层的宏块分割方式和参考帧索引，重建增强层帧；RU利用基本层的重建直接或者上采样后，近似替代增强层重建。在SVC传输中，可通过非平等错误保护(Unequal Error Protection，UEP)对基本层帧进行额外保护，例如，可通过较可靠信道传输基本层，因此，在一般情况下，丢失数据主要发生在增强层，BLSkip错误隐藏方法成为研究的热点。

现有的BLSkip错误隐藏方法的缺点是，增强层一个块的重建仅仅使用基本层对应位置的信息，但由于基本层和增强层的空间分辨率和量化参数(Quantization Parameter，QP)可能不同，因而编码端选择的运动向量、分割方式等存在差异，使用BLSkip错误隐藏方法会带来一定的块效应。基本层和增强层的量化参数的差别越大，则带来的块效应越严重。因此，需要一种方法解决上述问题。

发明内容

本发明的目的旨在解决至少上述技术缺陷之一，特别是解决仅仅使用基本层对应位置的信息而带来的块效应的问题。

为达到上述问题，本发明提出一种基于OBMC(Overlapped BlockMotion Compensation，重叠块运动补偿)的SVC层间错误隐藏方法，对于某一丢失帧，包括在解码端的以下步骤：根据增强层和基本层的空间分辨率比率，判断是否需要将所述基本层的运动向量进行尺度放大和放大倍数，以及是否需要对所述基本层的残差数据进行上采样滤波；对所述基本层的运动向量进行尺度放大及模式映射，得所述增强层对应位置的运动向量和模式；使用所述增强层的运动向量和模式对丢失帧进行重建，其中所述使用所述增强层的运动向量和模式对丢失帧进行重建，包括：如果所述基本层对应位置的当前块以及邻域块是Inter编码块，则解码重建公式为：

Λ＝{C，W，E，N，S}，其中，

为解码重建值，i为当前要重建的像素，j为所述像素i对应在块内的坐标，

为邻域块或当前块的运动向量，Λ为位置集合，

为加权系数，

为重建残差，

为所述基本层的残差数据进行上采样滤波的残差重建值，l-1为基本层，l为增强层，n为帧序号，C、W、E、N、S分别表示当前块的位置以及当前块左、右、上、下四个相邻块的位置；如果所述基本层对应位置的当前块或者邻域块是Intra编码块，则按照以下的公式进行处理：如果基本层对应位置的当前块是Intra编码块，则所述解码重建值的计算采用层间纹理预测的方法进行恢复，即

其中，U(·)为上采样滤波过程；如果所述基本层对应位置的某一邻域块是Intra编码块，则将所述解码重建公式中相应邻域块的运动向量用当前块的运动向量代替。

作为本发明的一个实施例，所述根据增强层和基本层的空间分辨率比率判断是否需要将所述基本层的运动向量放大，包括：如果所述增强层和基本层的空间分辨率比率为1，则无需将所述基本层的运动向量放大；如果所述增强层和基本层的空间分辨率比率为大于1的二进比例值2^α，其中，α为自然数，则需要将所述基本层的运动向量放大，放大倍数为所述二进比例值2^α；如果所述增强层和基本层的空间分辨率比率为大于1的非二进比例值β，则需要将所述基本层的运动向量放大，放大倍数为所述非二进比例值β。

作为本发明的一个实施例，所述加权系数可为固定的或自适应调节的，其中，所述自适应调节的加权系数的训练方法包括：使用解码端的正确重建数据来训练当前帧的加权系数或通过离线方法对一定数量的视频序列进行训练，找出较优的加权系数。

作为本发明的进一步实施例，通过使得期望

最小化来获得所述当前帧的加权系数，其中

为前一帧或者前几帧的正确解码数据，

为前一帧或者前几帧的解码重建值。

本发明通过在使用基本层的运动向量之前根据增强层和基本层的空间分辨率比率判断是否进行尺度放大，在找出若干补偿块进行OBMC加权之后，对基本层的残差数据采取可能的上采样滤波，加到OBMC方法的重建值上，避免了使用单一运动向量做运动补偿所带来的块效应问题。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于OBMC的SVC层间错误隐藏方法的流程图；

图2为本发明实施例的增强层的当前块和上下左右相邻4个块对应的运动向量的示意图；

图3为本发明实施例的加权矩阵的示意图；

图4为对应于Bus序列，本发明实施例的方法相对于原方法的峰值信噪比增益的结果示意图；

图5为对应于Foreman序列，本发明实施例的方法相对于原方法的峰值信噪比增益的结果示意图；

图6为对应于Mobile序列，本发明实施例的方法相对于原方法的峰值信噪比增益的结果示意图；

图7为增强层量化参数QP1＝32和丢包率PLR1＝20％时，对应于Bus序列，本发明实施例的方法相对于原方法每帧的峰值信噪比的结果示意图；

图8为增强层量化参数QP1＝32和丢包率PLR1＝20％时，对应于Foreman序列，本发明实施例的方法相对于原方法每帧的峰值信噪比的结果示意图；

图9为增强层量化参数QP1＝32和丢包率PLR1＝20％时，对应于Mobile序列，本发明实施例的方法相对于原方法每帧的峰值信噪比的结果示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

由现有的BLSkip错误隐藏方法的模式选择可知，当基本层和增强层具有相同的空间分辨率时，基本层和增强层的最小分块方式都是4×4。当基本层和增强层的空间分辨率不同时，增强层的最小分块方式将大于4×4，例如，当基本层是四分之一通用中间格式(Quarter Common IntermediateFormat，QCIF)，增强层是通用中间格式(Common Intermediate Format，CIF)时，增强层的最小分块方式是8×8。为了简化，本发明实施例仅以基本层为QCIF，增强层为CIF的情况为例进行说明，此时，增强层的最小分块是8×8，恰好是H.263标准中OBMC的最小分块方式。对于增强层的最小分块不是8×8的情况，本领域的普通技术人员也可根据下述方案进行相应的修改或变化，当然这些修改或变化均应包含在本发明的包含范围之内。

如图1所示，为本发明实施例的基于OBMC的SVC层间错误隐藏方法的流程图，包括以下步骤：

步骤S101，根据增强层和基本层的空间分辨率的比率，判断是否需要将基本层的运动向量进行放大，以及是否需要对基本层的残差数据进行上采样滤波。

在本发明实施例中，基本层为QCIF，增强层为CIF，则二者的空间分辨率的比率为二进比例，即增强层图像的宽度与基本层图像的宽度比为2，并且增强层图像的高度与基本层图像的高度比为2，因此，需要将基本层的运动向量放大2倍。并且，由于增强层和基本层的空间分辨率不同，因此需要对基本层的残差数据进行上采样滤波。

步骤S102，将基本层的运动向量尺度放大，并将模式进行相应的映射，得增强层对应位置的运动向量，并且对基本层的残差数据进行上采样滤波。

在本发明实施例中，假设第l-1层第n帧正确接收，第l层第n帧丢失。应注意，第l-1层为基本层，第l层为增强层。将基本层l-1层的运动向量放大2倍，同时，基本层的模式也进行相应的映射，例如，4×4的块映射成8×8的块，8×4的块映射成16×8的块，但是，在本发明实施例中，统一用最小块8×8进行处理而并不影响处理结果。

如图2所示，为本发明实施例的增强层的某个8×8块和上下左右相邻四个8×8块对应的运动向量的示意图。在图中，当前块的运动向量为

上下左右四个相邻块的运动向量分别为

在本发明实施例中，对基本层的残差数据使用2抽头滤波器进行上采样滤波。滤波后所得的残差重建值为其中，U(·)为上采样滤波过程，

为重建残差，i为当前要重建的像素。

步骤S103，使用增强层的运动向量和模式，对丢失帧进行重建。

如果基本层对应位置的当前块以及邻域块是Inter编码块，则使用在增强层的当前块的运动向量和上下左右4个相邻块的运动向量，即

分别在增强层的参考帧找出运动补偿值进行加权平均，然后在加权平均的基础上再加上基本层上采样滤波后的残差重建值。即解码重建公式为：

${\tilde{f}}_{l,n}^i=(\underset{P\∈\mathrm{\Λ}}{\mathrm{\Σ}}{\mathrm{\ω}}_P^j\·{\tilde{f}}_{l,n-1}^{i+m{v}_{l-1,n}^P})/8+U{\left({\hat{r}}_{l-1,n}\right)}^i$ Λ＝{C，W，E，N，S}，

其中，

为解码重建值，i为当前要重建的像素，j为像素i对应在8×8块内的坐标，Λ为位置集合，为加权系数，

为重建残差，

为基本层的残差数据进行上采样滤波的残差重建值。在本发明实施例中，使用2抽头滤波器对基本层的残差数据进行上采样滤波。

如果基本层对应位置的当前块或者邻域块是Intra编码块，则上述方法将不再适用，可按照下面的方式进行处理：

如果基本层对应位置的当前块是Intra编码块，则解码重建值

的计算采用层间纹理预测的方法进行恢复，即如果基本层和增强层的分辨率相同，则基本层的纹理信息可直接使用，否则，进行上采样。在本发明实施例中，基本层和增强层的分辨率不同，因此对解码重建值使用4抽头滤波器进行上采样，即

其中，U(·)为上采样过程。

如果基本层对应位置的某一邻域块是Intra编码块，也就是说该邻域块和当前块不是同一区域，有可能是运动突变的部分，因此，将解码重建公式中相应邻域的运动向量用当前运动向量块

代替。

在本发明实施例中，加权系数可为固定的，也可为自适应调节加权系数。固定的加权系数可由H.263标准提供，如图3所示，为本发明实施例的加权矩阵的示意图。自适应调节加权系数可使用以前已经解码的数据训练得到，核心思想是使得期望最小化，其中，

为前一帧或者前几帧的正确解码数据，为前一帧或者前几帧通过本发明实施例的方法重建的估计值。如果基本层对应位置的当前块以及邻域块是Inter编码块，则的重建将会与加权系数有关。期望

变为如下的具体期望值其中，k＜n表示前一帧或者前几帧正确接收数据。因为正确解码，所以具体期望值使用的基本层信息找出的增强层补偿数据为

(正确接收解码下，编码重建和解码重建是一致的)。由于具体期望值中的和

均为已知值，最小化所述具体期望值的过程可以解出加权系数。因为视频在时间上有极强的相关性，解出前几帧的加权系数可以作为当前丢失帧的加权系数，恢复出当前丢失增强层帧。另外，为了简化，也可通过离线方式对一定数量的视频序列进行训练，得到优化加权系数，在对新的视频序列进行解码重建时使用。

下面通过将本发明实施例的算法和原解码算法集成到SVC的参考软件JSVM(Joint Scalable Video Model，联合可伸缩性视频编码模型)中，在一定实验环境下进行模拟仿真。通过比较仿真结果，本发明上述的和/或附加的方面和优点将变得更加明显和容易理解。

在本发明实施例中，采用的实验环境为：序列为Bus、Foreman和Mobile；基本层为QCIF@30Hz、增强层为CIF@30Hz；基本层的量化参数(Quantization Parameter，QP)为QP0＝32、增强层的量化参数为QP1＝20、24、28、32；图像组结构为IPPP；Intra帧周期为30；编解码4000帧；基本层完全正确接收、增强层的丢包率(Packet Lost Rate，PLR)分别为3％、5％、10％、20％；丢包文件由国际标准组织ITU-T的技术提案——VCEG-Q15-I-16r1给出，一帧为一个包。

如图4～6所示，分别为对应于Bus、Foreman和Mobile序列，本发明实施例的方法相对于原方法的峰值信噪比增益结果的示意图。从图中可看出，对应于各种序列，本发明实施例的方法相对于原方法均有一定的提高。在一定的增量层量化参数QP1和丢包率PLR1下，增益最高可达0.5dB。从图中还可看出，在增量层量化参数相同的情况下，丢包率越高，则峰值信噪比增益越大，这说明本发明实施例的方法在高丢包率环境下具有较好的恢复功能。而在丢包率相同的情况下，增量层量化参数越小，则峰值信噪比增益越大。

如图7～9所示，为增强层量化参数QP1＝32和丢包率PLR1＝20％时，分别对应于Bus、Foreman和Mobile序列，本发明实施例的方法相对于原方法每帧的峰值信噪比结果的示意图。从图中可看出，对于每帧，本发明实施例的方法均比原方法有一定的提高，部分帧提高接近1dB。

本发明通过在使用基本层的运动向量之前根据增强层和基本层的空间分辨率比率判断是否进行尺度放大，在找出若干补偿块进行OBMC加权之后，对基本层的残差数据采取可能的上采样滤波，加到OBMC方法的重建值上，避免了使用单一运动向量做运动补偿所带来的块效应问题。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (4)

1.一种基于OBMC的SVC层间错误隐藏方法，其特征在于，对于某一丢失帧，包括解码端的以下步骤：

根据增强层和基本层的空间分辨率比率，判断是否需要将所述基本层的运动向量进行尺度放大和放大倍数，以及是否需要对所述基本层的残差数据进行上采样滤波；

对所述基本层的运动向量进行尺度放大及模式映射，得到所述增强层对应位置的运动向量和模式；

使用所述增强层的运动向量和模式对丢失帧进行重建，

其中所述使用所述增强层的运动向量和模式对丢失帧进行重建，包括：

如果所述基本层对应位置的当前块以及邻域块是Inter编码块，则解码重建公式为：Λ＝{C，W，E，N，S}，其中，

为解码重建值，i为当前要重建的像素，j为所述像素i对应在块内的坐标，

为邻域块或当前块的运动向量，Λ为位置集合，

为加权系数，

为重建残差，

为所述基本层的残差数据进行上采样滤波的残差重建值，l-1为基本层，l为增强层，n为帧序号，C、W、E、N、S分别表示当前块的位置以及当前块左、右、上、下四个相邻块的位置；

如果所述基本层对应位置的当前块或者邻域块是Intra编码块，则按照以下的公式进行处理：

如果基本层对应位置的当前块是Intra编码块，则所述解码重建值

的计算采用层间纹理预测的方法进行恢复，如果基本层和增强层的分辨率相同，则基本层的纹理信息可直接使用，否则，进行上采样，即其中，U(·)为上采样滤波过程，

为前一帧或者前几帧的正确解码数据；

如果所述基本层对应位置的某一邻域块是Intra编码块，则将所述解码重建公式中相应邻域块的运动向量用当前块的运动向量代替。

2.如权利要求1所述的基于OBMC的SVC层间错误隐藏方法，其特征在于，所述根据增强层和基本层的空间分辨率比率判断是否需要将所述基本层的运动向量放大，包括：

如果所述增强层和基本层的空间分辨率比率为1，则无需将所述基本层的运动向量放大；

如果所述增强层和基本层的空间分辨率比率为大于1的二进比例值2α，其中，α为自然数，则需要将所述基本层的运动向量放大，放大倍数为所述二进比例值2α；

如果所述增强层和基本层的空间分辨率比率为大于1的非二进比例值β，则需要将所述基本层的运动向量放大，放大倍数为所述非二进比例值β。

3.如权利要求1所述的基于OBMC的SVC层间错误隐藏方法，其特征值在于，所述加权系数为固定的或自适应调节的。

4.如权利要求3所述的基于OBMC的SVC层间错误隐藏方法，其特征在于，所述自适应调节的加权系数的训练方法包括：

使用解码端的正确重建数据来训练当前帧的加权系数；

通过离线方法对一定数量的视频序列进行训练，找出较优的加权系数。

Images