CN101272489A - 视频图像质量增强的编解码装置与编解码方法 - Google Patents

Abstract

本发明公开了视频图像质量增强的编解码装置与编解码方法，其中的编码方法，包括：步骤A，根据视频图像质量选择增强处理技术，对增强处理组采用不同的图像增强技术进行增强处理；步骤B，图像质量增强处理后，若编码器效率得到提高，编码器基本层直接对增强后的增强图像组进行编码；否则，在基本层对原始图像增强处理组编码，在增强层，对增强后的增强处理组与原始增强处理组的质量残差，并对所述质量残差的能量最小化表达进行编码。本发明的装置和方法能有效地提高视频质量的同时提高了编码效率。

Description

视频图像质量增强的编解码装置与编解码方法

技术领域

本发明涉及图像信息处理，特别是视频图像质量增强的编解码装置与编解码方法。

背景技术

视频编码技术经历了底层、中层和高层编码三个阶段。传统的压缩编码是基于数据统计的、用统计概率模型来描述信源，消除图像数据的相关冗余，在低速率视频编码时有严重的局限性；后来根据人类的视觉、生理、心理特性研究成果的拓展，提出了基于内容的(Content-based)编码，去掉的是图像/视频信号内容的冗余，称为中层压缩编码方法；而基于语义的(Semantics-based)方法称为高层压缩编码方法。

近年来，随着3G、IPTV、数字广播、互联网等的流媒体应用的不断发展，对其视频质量的需求也越来越突出。可拍照手机常用于光线条件较差的地方，如KTV、酒吧、音乐会或体育比赛现场。

所谓视频图像质量增强技术就是无论光线和条件如何，使它都应该能够显示出色彩逼真且清晰的图像。

目前业界对提高视频图像质量的研究大致分为以下几个方面的成果：

对视频信号处理LSI的研究，通过数字技术在模拟电视中实现高图像质量；

中小型液晶显示面板图像质量的新技术；

嵌入式图像信号处理器，将图像传感器阵列与图像信号处理器内嵌在一起，能在各种光线条件下获得高质量图像；

高画质视频信号处理产品；

压缩域的图像增强，基于宏块MB的时间-空间的增强和平滑。

然而以上这些方法主要都是从应用的角度出发，通过预处理或者后处理技术来力图使本来质量较差的视频图像有更加赏心悦目的效果，但是他们都没有考虑信源编解码的效率。

因此，有必要提供一种既可以解决图像质量的增强问题，又考虑到了编码器的效率的编解码装置及编解码方法。

发明内容

本发明的目的是提供一种视频图像质量增强的编解码装置与编解码方法，在使图像质量增强的同时，编码效率也得到了有效的控制。

为了实现上述目的，本发明提供了一种视频图像质量增强的编码方法，其中，包括：

步骤A，根据视频图像质量选择增强处理技术，对增强处理组采用不同的图像增强技术进行增强处理；

步骤B，图像质量增强处理后，若编码器效率得到提高的情况下，编码器基本层直接对增强后的增强图像组进行编码；否则，在基本层对原始图像增强处理组编码，在增强层，对增强后的增强处理组与原始增强处理组的质量残差，并对所述质量残差的能量最小化表达进行编码。

上述的编码方法，其中，所述步骤A具体包括：

步骤A1，将视频序列中属于同一场景的视频序列组合作为增强处理组；

步骤A2，确定增强处理组的视频图像质量；

步骤A3，根据增强处理组的视频图像质量确定该增强处理组的增强处理技术后，采用选择的增强处理技术结合视频模型对增强处理组进行增强处理。

上述的编码方法，其中，所述步骤B中，增强处理后的编码效率降低时增强层的处理具体为：

获取增强处理组中每一帧图像增强后的质量增益；

将增强处理组中第一帧以外的其他帧的质量增益与增强处理组中第一帧的质量增益作残差，并用一个矢量集表示；

通过能量最小化运算求得所述矢量集的一个坐标变换的标准正交基；

将该标准正交基作为用户数据编码。

上述的编码方法，其中，将该标准正交基采用位平面方法编码。

为了更好的实现上述目的，本发明还提供了一种视频图像质量增强的编码装置，其中，包括：

增强模块，用于根据视频图像质量选择增强处理技术对增强处理组进行增强处理；

编码器，用于在增强处理后的编码效率提高时，在基本层对增强后的增强处理组进行编码，否则，在基本层对原增强处理组编码，在增强层，对增强后的增强处理组与原始增强处理组的质量残差，并对所述质量残差的能量最小化表达进行编码。

上述的编码装置，其中，所述增强模块具体包括：

视频场景分割模块，用于将视频序列中属于同一场景的视频序列组合作为增强处理组；

视频质量分析模块，用于确定增强处理组的视频图像质量；

增强处理技术选择及增强处理模块，用于根据增强处理组的视频图像质量确定该增强处理组的增强处理技术后，采用选择的增强处理技术结合视频模型对增强处理组进行增强处理。

上述的编码装置，其中，所述编码器的增强层具体包括：

质量增益获取模块，用于获取增强处理组中每一帧图像增强后的质量增益；

质量增益残差获取模块，用于将增强处理组中第一帧以外的其他帧的质量增益与增强处理组中第一帧的质量增益作残差，并用一个矢量集表示；

标准正交基获取模块，用于通过能量最小化运算获取所述矢量集的一个坐标变换的标准正交基；

编码模块，用于将所述标准正交基作为用户数据编码。

上述的编码装置，其中，所述编码模块采用位平面方法编码。

为了更好的实现上述目的，本发明还提供了一种视频图像质量增强的解码方法，其中，包括：

基本层解码重建步骤，用于对基本层编码数据进行解码，重建基本层图像；

质量增益解码步骤，用于对增强层编码数据进行坐标逆变换后获取增强处理组中每一帧图像增强后的质量增益与增强处理组中第一帧图像增强后的质量增益的残差对应的图像；

补偿步骤，用于利用该质量增益解码模块得到的图像作为补偿图像来对基本层图像进行补偿，获取增强后的图像。

为了更好的实现上述目的，本发明还提供了一种视频图像质量增强的解码装置，其中，包括：

基本层解码重建模块，用于对基本层编码数据进行解码，重建基本层图像；

质量增益解码模块，用于对增强层编码数据进行坐标逆变换后获取增强处理组中每一帧图像增强后的质量增益与增强处理组中第一帧图像增强后的质量增益的残差对应的图像；

补偿模块，用于利用该质量增益解码模块得到的图像作为补偿图像来对基本层图像进行补偿，获取增强后的图像。

上述的视频图像质量增强的解码装置，其中，基本层解码模块具体包括：

形状解码模块，用于对编码码流的形状信息结合前一重构帧进行形状解码；

运动解码模块，用于对编码码流中的运动信息进行运动解码后，结合形状解码模块的输出进行运动补偿；

纹理解码模块，用于对编码码流中的纹理信息结合形状解码模块的输出进行解码操作；

所述基本层图像重建及补偿模块根据运动解码模块和纹理解码模块的输出重建基本层图像。

本发明的装置和方法具有以下的有益效果：

1、通过图像质量增强处理能有效地提高视频质量；

2、采用增强处理组作为处理单位，克服了单帧图像处理中信息量少、计算量大的问题，得到计算量低、信息量大、质量最优的视频图像质量的增强；

3、编码器端，增强层的用户数据是一个标准正交基，然后针对基于该正交基的能量最小矢量参数集的编码，不会增加太多的码字，提高了编码效率；

4、编码过程中，质量增益的信息已经包含在基本层或增强层当中，所以在解码端不需要额外的后处理过程，降低了终端设备的计算复杂度、功耗。

附图说明

图1为本发明的视频图像质量增强的编码方法的流程示意图；

图2为随时间变化的状态转移的视频模型的示意图；

图3为本发明的视频图像质量增强的编码装置的结构示意图；

图4为本发明的编码器的结构示意图；

图5为本发明的解码器的结构示意图。

具体实施方式

本发明通过对质量较差的视频图像进行视频质量分析后确定相应的增强处理手段，进而分析该增强处理手段的编码效率，根据编码效率采用对应的编解码，在实现质量提高的同时考虑了系统的处理效率。

如图1所示，本发明的视频图像质量增强的编码方法包括如下步骤：

视频模型确立步骤，建立用于增强处理的视频模型；

视频场景分割步骤，将视频序列中属于同一场景的视频序列组合作为增强处理组；后续的处理步骤均以增强处理组作为处理的基本单位。

视频质量分析步骤，用于确定增强处理组的视频图像质量；

增强处理技术选择及增强处理步骤，用于根据增强处理组的视频图像质量确定该增强处理组的增强处理技术后，采用选择的增强处理技术结合视频模型对增强处理组进行增强处理；

编码效率分析步骤，获取并判断增强处理后的增强处理组的第一编码效率与不采用增强处理技术对增强处理组进行处理的第二编码效率之间的关系；

编码步骤，在第一编码效率高于第二编码效率时，则直接在编码器基本层对增强后的增强处理组进行编码，否则在基本层对原视频图像编码，在增强层，对增强后的增强处理组与原始增强处理组的差值(即质量增益部分)使用改进的编码方式编码。

下面对每个步骤分别进行描述。

视频模型确立步骤需要建立用于增强处理的视频模型，在此，可根据视频的信息量大、相关性强的特点来建立该视频模型。

如图2所示为1个随时间变化的状态转移的视频模型，其中，对于图像中像素的集合或者区域，I-State表示没有参考图像的增强计算区域；P-State表示有参考图像的增强计算区域；O-State表示不需做任何增强计算的区域，该像素集合或区域与编码过程中Micro-Block的大小可以不一样，随时间的状态转移与Micro-Block的编码类型也不一样，主要是通过场景分析来判定的。

当然，图1仅仅是示出了一种视频模型，本发明也可以采用其他的视频模型来进行处理。视频模型的建立是为了利用视频与图像相比具有信息量大并且相关性强的特点，从而降低视频增强处理中的计算量和提高视频编码的效率。在可视电话的应用中，可以把现有的人脸模型或人体模型作为基于内容的视频模型。

本发明的视频图像质量增强的编码方法中，包括如下的步骤：

视频质量分析步骤，用于确定增强处理组的视频图像质量；

增强处理技术及增强处理步骤，用于根据增强处理组的视频图像质量确定该增强处理组的增强处理技术后，采用选择的增强处理技术结合视频模型对增强处理组进行增强处理。

下面就如何确定视频图像质量及如何根据视频图像质量确定该增强处理组的增强处理技术进行详细说明。

一般来讲，影响视频图像质量的有几个主要方面：曝光不均、噪声、图像模糊、色彩不鲜艳等。视频质量分析步骤就是分别针对影响图像质量的这几个主要方面进行分析、判断，不同的方面分别采用不同的判断算法；而且、可以根据一个增强组中的前一或两帧进行分析，从而得到一个质量增强组的图像质量判断结果。例如：通过模糊聚类的算法，判断出一个增强组中第一帧如果有曝光不足现象，就对整个增强组进行MSR(Multi-scale Rentix)曝光补偿增强处理；如果第一帧中图像协方差过大，说明噪声较大，就对整个增强组进行降噪处理。对于其它的图像质量方面的不足也可以采用对应的增强处理技术，在此，该增强处理技术包括：

亮度、对比度增强，用直方图拉伸处理来增强视频的对比度和亮度；

缩放增强，通过对视频图像的放大与缩小的增强处理，消除图像分辨率的变化所带来的视频质量的下降；

平滑去噪，选用中值滤波去除高频噪声；

色彩增强，如蓝天、草原、皮肤等，用人们已经习惯的色彩代替由于采集条件带来的色彩失真，从而得到令人赏心悦目的彩色视频图像；

边缘增强及清晰度增强，用平滑、锐化和细化等技术来增强视频图像的清晰度。

当然，该增强处理技术不仅仅限于以上的举例，还可以是曝光不均补偿处理等其他的增强处理技术。

具体的视频质量的增强过程可以用视频处理的离散模型表达为下式：

$G(x,y,t)=\underset{\mathrm{\ϵ}}{\mathrm{\Σ}}\underset{\mathrm{\η}}{\mathrm{\Σ}}F(\mathrm{\ϵ},\mathrm{\η})H(x,y;\mathrm{\ϵ},\mathrm{\η})\mathrm{d\ϵd\η}$ t＝1，…N

其中，H(x，y；ε，η)为二维系统的脉冲响应，F(ε，η)是位于X-Y平面上(ε，η)坐标处的脉冲的加权因子。

在确定增强处理技术后，采用增强处理技术先对该增强处理组的第一帧图像增强，得到增强后的质量增益图像，然后利用图1的视频模型和得到的该质量增益图像，对该增强处理组的其他视频序列进行增强处理，具体过程如下所述：

在对增强处理组进行增强处理时，第一帧做无任何参考信息的增强处理，视为增强处理的I帧图像，得到质量的增益。然后利用视频模型求得增强处理组的其他帧的质量增益，有的直接参考前一帧图像的增益，有的需要重新计算增益等。

编码效率分析步骤中可以利用编码成本判别函数，例如计算信息熵，根据信息熵的增加或减少，计算、判断视频增强前后对图像编码效率的影响。

编码步骤中根据增强处理的编码效率进行分别对待：增强处理后如果编码效率高，则直接在编码器基本层对增强后的增强处理组进行编码，增强层内容为空，否则在基本层对原始增强处理组编码，在增强层，对增强后的增强处理组与原始增强处理组的视频图像质量的增益使用改进的编码方式编码。

该编码器在增强层具有最小的能量表达，其处理过程如下所述：获取增强后的增强处理组与原始增强处理组的质量残差；对上述的质量残差通过能量最小化运算获取质量残差的能量最小化表达后进行编码。

对于增强处理组中每一帧图像增强后的质量增益，与增强处理组中第一帧的质量增益作残差，用一个矢量集来表示；然后通过能量最小化运算求得该矢量集的一个坐标变换的标准正交基(利用该标准正交基得到的新坐标系将矢量集进行坐标变换即可得到一个能量最小化的矢量表达)；编码时，把该标准正交基作为用户数据采用位平面的方法编码，然后传输。

本发明的视频图像质量增强的编码装置如图3所示，包括如下：

视频模型确立模块，用于建立增强处理的视频模型；

视频场景分割模块，用于将视频序列中属于同一场景的视频序列组合作为增强处理组；后续的处理步骤均以增强处理组作为处理的基本单位。

视频质量分析模块，用于确定增强处理组的视频图像质量；

增强处理技术选择及增强处理模块，用于根据增强处理组的视频图像质量确定该增强处理组的增强处理技术后，采用选择的增强处理技术结合视频模型对增强处理组进行增强处理；

编码效率分析模块，获取并判断增强处理后的增强处理组的第一编码效率与不采用增强处理技术对增强处理组进行处理的第二编码效率之间的关系；

编码模块，在第一编码效率高于第二编码效率时，则直接在编码器基本层对增强后的增强处理组进行编码，否则在基本层对原视频图像编码，在增强层，对增强后的增强处理组与原始增强处理组的差值(即质量增益部分)使用改进的编码方式编码。

由于分别对每一个增强处理组进行视频图像质量的判定与分析，进而根据视频图像质量确定采用的增强技术，因此，同一个序列的不同增强处理组最后采用的增强技术是不同的，使本发明具有自适应性、可扩展性。

下面对本发明的编码器进行详细描述。

如图4所示，本发明的编码器包括2部分：基本层编码模块和增强层编码模块，其中：

基本层编码模块包括DCT单元、量化单元、逆量化单元、IDCT单元、基本参考层获取单元、第一运动补偿单元和VLC，其中：

DCT单元将基本层的当前一帧与前一帧的预测图像的残差进行离散余弦变换，量化单元对DCT单元的输出信号进行量化处理后发送给VLC处理后输出基本层的比特流；

逆量化单元、IDCT单元对量化单元的输出信号进行逆量化处理和反离散余弦变换处理后，与第一运动补偿单元的输出(即参考预测图像)的和，发送到基本层参考获取单元，得到当前帧的重建图像，由动补偿单元进行预测，得到参考预测图像。

增强层编码模块包括坐标变换单元、BP、IBP，坐标逆变换单元、增强层参考获取单元，第二运动补偿单元，增强层的基本原理和过程与基本层相似，其中坐标变换单元输出的是矢量参数集和能量的最小化表达结果，然后利用BP方式编码输出增强层码流。

本发明的解码装置如图5所示，包括：

基本层解码模块，用于对基本层编码模块发送的数据进行解码；

质量增益解码模块，用于对增强层编码模块发送的数据进行坐标逆变换后获取增强处理组中每一帧图像增强后的质量增益与增强处理组中第一帧的质量增益作残差后得到的矢量集；

基本层图像重建及补偿模块，用于根据基本层解码模块的输出重建基本层图像后，利用该质量增益解码模块得到的矢量集作为补偿图像来对基本层图像进行补偿获取增强后的图像输出。

其中，基本层解码重建模块包括：

形状解码模块，用于对编码码流中的形状信息结合前一重构帧进行形状解码；

运动解码模块，用于对编码码流中的运动信息进行运动解码后，结合形状解码模块的输出进行运动补偿；

纹理解码模块，用于对编码码流中的纹理信息结合形状解码模块的输出进行解码操作。

同时，基本层图像重建及补偿模块根据运动解码模块和纹理解码模块的输出重建基本层图像。

本发明的视频图像质量增强的解码方法包括如下步骤：

基本层解码重建步骤，对基本层编码模块发送的数据进行解码，重建基本层图像；

质量增益解码模块，用于对增强层编码模块发送的数据进行坐标逆变换后获取增强处理组中每一帧图像增强后的质量增益与增强处理组中第一帧的质量增益作残差后得到的矢量集；

补偿模块，用于利用该质量增益解码模块得到的矢量集作为补偿图像来对基本层图像进行补偿获取增强后的图像输出。

在图像需要放大缩小的视频增强处理的编解码的例子中：在放大、缩小处理后，增强视频图像的质量，使在分辨率发生变化时也能保证图像的质量。基本层的码流经过解码后得到原始分辨率的图像，经过上采样或下采样得到变分辨率的图像；然后通过增强层解码后的不同分辨率的增益图像进行补偿，得到质量增强的、放大或者缩小的图像。

最后应该说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (11)

1. 一种视频图像质量增强的编码方法，其特征在于，包括：

步骤A，根据视频图像质量选择增强处理技术，对增强处理组采用不同的图像增强技术进行增强处理；

步骤B，图像质量增强处理后，若编码器效率得到提高，编码器基本层直接对增强后的增强图像组进行编码；否则，在基本层对原始图像增强处理组编码，在增强层，对增强后的增强处理组与原始增强处理组的质量残差，并对所述质量残差的能量最小化表达进行编码。

2. 根据权利要求1所述的编码方法，其特征在于，所述步骤A具体包括：

步骤A1，将视频序列中属于同一场景的视频序列组合作为增强处理组；

步骤A2，确定增强处理组的视频图像质量；

步骤A3，根据增强处理组的视频图像质量确定该增强处理组的增强处理技术后，采用选择的增强处理技术结合视频模型对增强处理组进行增强处理。

3. 根据权利要求1所述的编码方法，其特征在于，所述步骤B中，增强处理后的编码效率降低时增强层的处理具体为：

获取增强处理组中每一帧图像增强后的质量增益；

将增强处理组中第一帧以外的其他帧的质量增益与增强处理组中第一帧的质量增益作残差，并用一个矢量集表示；

通过能量最小化运算求得所述矢量集的一个坐标变换的标准正交基；

将该标准正交基作为用户数据编码。

4. 根据权利要求3所述的编码方法，其特征在于，将该标准正交基采用位平面方法编码。

5. 一种视频图像质量增强的编码装置，其特征在于，包括：

增强模块，用于根据视频图像质量选择增强处理技术对增强处理组进行增强处理；

编码器，用于在增强处理后的编码效率提高时，在基本层对增强后的增强处理组进行编码，否则，在基本层对原增强处理组编码，在增强层，对增强后的增强处理组与原始增强处理组的质量残差，并对所述质量残差的能量最小化表达进行编码。

6. 根据权利要求5所述的编码装置，其特征在于，所述增强模块具体包括：

视频场景分割模块，用于将视频序列中属于同一场景的视频序列组合作为增强处理组；

视频质量分析模块，用于确定增强处理组的视频图像质量；

增强处理技术选择及增强处理模块，用于根据增强处理组的视频图像质量确定该增强处理组的增强处理技术后，采用选择的增强处理技术结合视频模型对增强处理组进行增强处理。

7.根据权利要求5所述的编码装置，其特征在于，所述编码器的增强层具体包括：

质量增益获取模块，用于获取增强处理组中每一帧图像增强后的质量增益；

质量增益残差获取模块，用于将增强处理组中第一帧以外的其他帧的质量增益与增强处理组中第一帧的质量增益作残差，并用一个矢量集表示；

标准正交基获取模块，用于通过能量最小化运算获取所述矢量集的一个坐标变换的标准正交基；

编码模块，用于将所述标准正交基作为用户数据编码。

8. 根据权利要求7所述的编码装置，其特征在于，所述编码模块采用位平面方法编码。

9. 一种视频图像质量增强的解码方法，其特征在于，包括：

基本层解码重建步骤，用于对基本层编码数据进行解码，重建基本层图像；

质量增益解码步骤，用于对增强层编码数据进行坐标逆变换后获取增强处理组中每一帧图像增强后的质量增益与增强处理组中第一帧图像增强后的质量增益的残差对应的图像；

补偿步骤，用于利用该质量增益解码模块得到的图像作为补偿图像来对基本层图像进行补偿，获取增强后的图像。

10. 一种视频图像质量增强的解码装置，其特征在于，包括：

基本层解码模块，用于对基本层编码数据进行解码；

质量增益解码模块，用于对增强层编码数据进行坐标逆变换后获取增强处理组中每一帧图像增强后的质量增益与增强处理组中第一帧图像增强后的质量增益的残差对应的图像；

基本层图像重建及补偿模块，用于根据基本层解码模块的输出重建基本层图像后，利用该质量增益解码模块得到的矢量集作为补偿图像来对基本层图像进行补偿获取增强后的图像输出。

11. 根据权利要求10所述的视频图像质量增强的解码装置，其特征在于，所述基本层解码模块具体包括：

形状解码模块，用于对编码码流的形状信息结合前一重构帧进行形状解码；

运动解码模块，用于对编码码流中的运动信息进行运动解码后，结合形状解码模块的输出进行运动补偿；

纹理解码模块，用于对编码码流中的纹理信息结合形状解码模块的输出进行解码操作；

所述基本层图像重建及补偿模块根据运动解码模块和纹理解码模块的输出重建基本层图像。

Images