CN110933422B - 一种基于edcnn的hevc环路滤波方法 - Google Patents

Abstract

本发明公开了一种基于EDCNN的HEVC环路滤波方法，具体包括如下步骤：S1：通过权重归一化方法对输入样本进行处理；S2：根据卷积层和所述权重归一化方法处理后的输入样本，构建特征信息融合块，所述特征信息融合块包括有右分支和左分支，所述右分支由一个子分支组成，所述左分支由N‑1个子分支组成；S3：由M个所述特征信息融合块共同组建EDCNN网络模型，根据所述EDCNN网络模型对原始图像进行重建。本发明的HEVC环路滤波方法主要由高效的归一化方法、特征融合块和精确的损失函数组成，从而可以保留更多的特征信息，帮助重建高清晰度的视频序列，且与传统的环路滤波方法相比，本发明具有更好的限制失真的能力。

Description

一种基于EDCNN的HEVC环路滤波方法

技术领域

本发明涉及信号处理中的音视频编解码技术领域，尤其涉及一种基于EDCNN的HEVC环路滤波方法。

背景技术

最新的视频编码标准，高效视频编码(High Efficiency Video Coding，HEVC)极大地压缩了视频的数据量。然而，HEVC中使用的基于块的混合编码将在压缩视频中产生大量失真，这会严重影响视频质量。为了解决这个问题，在HEVC中使用环路滤波方法来消除失真，但是目前的性能还有待提升。

HEVC中使用了基于块的混合编码，已编码的视频会产生压缩失真，例如块失真，振铃失真，颜色偏移等。为了解决这些失真现象，HEVC采用环路滤波技术，可以显著减少这些失真效应，增强重建的视频质量。如图1所示，HEVC中的环路滤波模块由两步滤波组成：去方块滤波(DF)和样本自适应采样(SAO)。去方块滤波(DF)的目的是通过对不同的边界类型执行自适应滤波器来减少块失真情况。通过这种方法，在相同的视频质量下可以节省约2.3％的BD-rate。SAO的主要目的是通过为相应类别的每个重建样本添加偏移以此减少振铃失真，SAO可以实现约3.5％的BD-rate节省。

此外，图2给出了不同滤波的表现。没有经过滤波的图像PSNR值最小，在主观上存在着许多失真的情况，例如马的图像块上存在块失真，在人的图像块上存在振铃失真。对于DF后的压缩图像，块失真现象被减弱了。在图2的(d)中可以看到振铃失真现象已经被SAO减弱。从图2的(e)中可以得出，结合SAO滤波与DF滤波，可以得到最佳的失真消除结果。虽然从图2的(c)到图2的(e)中可以看出失真效应得到一定的消除，但是消除的结果并不是非常显著，此外，除了块效应与振铃效应外，压缩视频中仍存有其他类型的失真效应。

在视频图像去失真方面，目前已经提出了很多环路滤波方法以抑制失真效应。Yang等人提出了一种样点自适应采样(Sample Adaptive Offset，SAO)优化方法，将人类视觉特性引入SAO优化过程。为了克服基于局部图像相关性的环路滤波方法的局限性，Ma等人利用非局部相似性来提高编码性能。Tsai等人利用基于维纳滤波的自适应滤波来消除失真。Zhang等人提出了一种新的去失真方法，其中重叠块变换系数是从非局部块估计的，结合量化噪声模型和块相似性先验模型，以减少压缩失真。Zhang等人提出了一种基于相似块中变换系数和非局部变换系数融合的新型变换域自适应环路滤波方法。Zhang等人利用基于低秩约束的图像非局部先验知识来减少失真。虽然这些方法可以减弱失真效应，但是受限于环路滤波的技术瓶颈，滤波性能有限。

受深度学习的启发，目前已经出现了数量众多的卷积神经网络(ConvelutionalNeural Network，CNN)，并且大量的实验表明CNN在图像处理中表现的十分优秀。一个CNN模型由不同的网络层组成，包括输入层，隐藏层和输出层。在这些层中，隐藏层用于获取图像的局部信息，起着重要的作用。通过隐藏层中不同卷积的组合，可以建立输入和输出之间的映射关系。目前，已经出现了许多基于CNN的图像复原重建工作。Dong等人提出了一种用于超分辨率重建的SRCNN模型，模型建立了端到端图像映射，结果证明其可以生成比传统方法更清晰的高分辨率图像。为了进一步改善重建结果，Dong等人在SRCNN的基础之上提出了FSRCNN模型，其中双三次插值作为图像上采样操作被反卷积操作替代，可以实现低分辨率到高分辨率的损失补偿，此外，为了加快训练速度，其使用了更小的卷积尺寸和更多的映射层。Kim等人提出了VDSR模型，其模型结构通过使用20个卷积层，使得模型性能进一步提升。Zhang等人提出了一种去噪卷积神经网络模型DNCNN，其中更深的网络结构，残差学习和正则化方法都集成到模型中，DNCNN拥有更强大的训练能力，同时去噪能力也显著提升。Zhang等人提出了FFDNET模型，通过处理不同级别的噪声，从而应对复杂多变的真实场景。

目前已经提出了许多基于CNN的HEVC去失真工作。相比HEVC中的环路滤波方法，这些工作可以有效地减少失真，获得更高的视频质量。Park等人提出了一种环路滤波卷积神经网络模型IFCNN，在IFCNN中，输入图像和原始图像之间的预测残差被用作输出。Dai等人提出了VRCNN模型，其中可变卷积大小用于适应HEVC中的可变块大小。Yang等人提出了一种新的质量增强CNN，QECNN，QECNN模型由两个模型组成，包括作用于I帧图像的QECNN-I模型和作用于P帧图像的QECNN-P模型，通过考虑帧间编码信息，QECNN-P模型可以有效地提高P帧图像的质量。Soh等人提出了一种时域CNN方法，通过使用连续图像的时间相关性以减少失真。Zhang等人提出了一种干线残差卷积神经网络RHCNN模型，其中干线单元被用于保护特征信息，此外，RHCNN中的捷径连接可以有效解决梯度消失问题。

目前提出的这些工作虽然可以减少视频的失真，但在模型结构优化方面却非常有限。这是由于大多数网络模型的结构过于简单，同时网络参数过少，在图像映射中学习的重构信息不够准确。此外，这些方法没有充分的对训练过程中的噪声做出相应的处理，重建结果受到较大的影响。

发明内容

发明目的：针对在消除视频压缩的过程中，易产生的块失真、振铃效应等失真现象的问题，本发明提出一种基于EDCNN的HEVC环路滤波方法。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：

一种基于EDCNN的HEVC环路滤波方法，所述HEVC环路滤波方法具体包括如下步骤：

S1：通过权重归一化方法对输入样本进行处理；

S2：根据卷积层和所述权重归一化方法处理后的输入样本，构建特征信息融合块，所述特征信息融合块包括有右分支和左分支，所述右分支由一个子分支组成，所述左分支由N个子分支组成；

S3：由M个所述特征信息融合块共同组建EDCNN网络模型，根据所述EDCNN网络模型对原始图像进行重建。

进一步地讲，在所述步骤S1中，权重归一化方法对输入样本进行处理，具体为：

其中：ω为权重向量，g为标量参数，v为参数向量。

进一步地讲，所述特征信息融合块具体为：

其中：x是特征信息融合块的输入，x_i为子分支的输入，α为左分支内的子分支的总数目，β为右分支内的子分支的标号，y为左分支的输出，σ(·)为卷积操作，

为级联操作，z为特征信息融合块的输出，x_β为右分支内的子分支的输入。

进一步地讲，所述子分支包括有卷积层和激活层，且所述激活层设置在卷积层之后，所述卷积层用于提取原始图像的特征信息，所述激活层用于引入非线性特征。

进一步地讲，所述激活层具体为：

RELU(x)＝max(0,x)

其中：RELU(x)为激活层，x为特征信息融合块的输入。

进一步地讲，在所述EDCNN网络模型中，所述M个特征信息融合块的输入通道都需降维成M个相等的输入。

有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：

本发明的HEVC环路滤波方法主要由高效的归一化方法、特征融合块和精确的损失函数组成，从而可以保留更多的特征信息，帮助重建高清晰度的视频序列，且与传统的环路滤波方法相比，本发明具有更好的限制失真的能力。

附图说明

图1是HEVC中的环路滤波示意图；

图2是HEVC环路滤波效果图；

图3是面向HEVC的EDCNN环路滤波示意图；

图4是权重归一化与批归一化之间的损失值对比图；

图5是特征信息融合模块示意图；

图6是不同阈值δ的PSNR对比图；

图7是不同损失函数的对比图；

图8是主观质量对比图；

图9是EDCNN网络模型结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。其中，所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。

实施例1

参考图3，本实施例提供了一种基于EDCNN的HEVC环路滤波方法，该HEVC环路滤波方法具体包括如下步骤：

步骤S1：通过权重归一化方法对输入样本进行处理。一般来说，随着网络中隐藏层的增加，网络学习的效果会更加突出。但是，越多的网络层数将导致参数更新更加复杂，训练的难度将大幅度增加，而这是由于新的输入样本分布需要不断适应高层网络。

为了解决上述问题，通常会通过批归一化的方法对输入样本进行归一化，具体为：

y_i＝BN(x_i)

其中：y_i为批归一化的输出，x_i为批归一化的输入，BN为批归一化。

然而批归一化操作会将不利于重建图像的噪声添加到梯度中。因此在本实施例中采用权重归一化方法来代替批归一化方法。

批归一化和权重归一化都是归一化参数的方法，两者的区别在于，批归一化的对象是输入，而权重归一化的对象是权重向量。

具体地讲，权重归一化方法对输入样本进行处理，具体为：

其中：ω为权重向量，g为标量参数，v为参数向量。

为了更好地检测两种归一化方法的性能，再将两种归一化方法分别应用到相同的网络中后，并保持网络中各参数保持相同，参考图4，权重归一化与批归一化之间的损失值对比图，可以看出，权重归一化网络的性能优于批归一化网络。

步骤S2：根据卷积层和步骤S1中权重归一化方法处理后的输入样本，构建特征信息融合块。参考图5，其中特征信息融合块包括有右分支和左分支，且右分支由一个子分支组成，左分支由N个子分支组成。同时左分支内的子分支数目N对应于增加的通道数，也就是说，N的大小可以根据输入图像进行选择。

值得注意的是，拼接不同于增加操作，拼接是特征图数量上的添加，而增加操作是特征信息量的增加。拼接操作将融合卷积层提取的特征，扩展了通道数。由于快捷连接前后的通道数是不变的，从而左分支输入前必须对其输入进行降维操作。形式上，特征信息融合块具体为：

其中：x是特征信息融合块的输入，x_i为子分支的输入，α为左分支内的子分支的总数目，β为右分支内的子分支的标号，y为左分支的输出，σ(·)为卷积操作，

为级联操作，z为特征信息融合块的输出，x_β为右分支内的子分支的输入。

具体地讲，左分支用于增强网络的学习能力，且其由N个子分支组成。当N的大小选择过小时，则会降低网络的学习能力。当N的大小选择过大时，则会增加训练的复杂度，使得网络难以收敛。

在本实施例中，为了获得最佳的滤波性能，对N大小的选择进行了测试，此处N大小分别选择为2、4、8和16，这四个不同分辨率的视频序列用于测试，测试结果如表1所示。从中可以看出，当N大小选择为4是，可以达到最佳峰值信噪比。从而在本实施例中，N的大小选择为4。其中表1具体为：

表1

具体地讲，子分支内包括有卷积层和激活层，其中卷积层用于提取原始图像的特征信息，并根据学习到的信息，建立原始图像和输出图像之间的映射关系。激活层用于引入非线性特征。同时激活层设置在卷积层之后。

在本实施例中，在卷积层内卷积核的大小设置为3×3。且激活层具体为：

RELU(x)＝max(0,x)

其中：RELU(x)为激活层，x为特征信息融合块的输入。

步骤S3：参考图9，根据步骤S2中获取得到的特征信息融合块，将M个特征信息融合块进行组合，即可组建EDCNN网络模型，同时根据该EDCNN网络模型即可对原始图像进行重建。

在本实施例中，M的大小选择为7，即EDCNN网络模型由7个特征信息融合块组合而成。整个EDCNN网络模型一共有16层，模型参数如表2所示，具体为：

表2 详细的网络结构参数

具体地讲，每个特征信息融合块中均包含有四个卷积层和四个激活层。其中每个卷积层均进行权重归一化操作，具体过程如步骤S1所阐述，此处将不重复描述。且卷积层用于保持低层和高层之间的通道数一致。同时在EDCNN网络模型中，每个特征信息融合块的输入通道都需降维成相等的输入，再经过卷积运算后，进行拼接，并将拼接结果和特征信息融合块的输入进行值相加。在特征融合完成后，由卷积层进行通道变换。值得注意的是，除了特征信息融合块内的快捷连接外，还建立了从原始输入到最终输出的长快捷连接，以获得进一步的精确映射关系。

为了证明本实施例中基于EDCNN的HEVC环路滤波方法的优越性，在本实施例中通过混合损失函数进行验证。具体如下：

为了不断训练重建图像和真实值之间的偏差，利用损失函数来反映输入和输出之间的偏差，通过最小化损失函数，可以得到一个精确的像素预测。

其中均方差的计算公式具体为：

其中：

为均方差函数，N为连续训练的总期数，X_n为第n个训练期数中被压缩的图片，Y_n为第n个训练期数中被压缩图片的真实值，Θ为网络元素。

与均方差相比而言，平均绝对误差对误差不敏感，具有更强的鲁棒性，有利于端到端准确学习。平均绝对误差的计算公式具体为：

其中：

为平均绝对误差函数，N为连续训练的总期数，X_n为第n个训练期数中被压缩的图片，Y_n为第n个训练期数中被压缩图片的真实值，Θ为网络元素。

但是由于平均绝对误差对误差不敏感，训练结束时损失函数收敛难以下降。相反，均方差对误差较敏感，很容易实现局部最小值。从而本实施例中通过混合损失函数进行验证，该混合损失函数具体为：

其中：

为混合损失函数，α为根据损失收敛情况变换的自适应量，

为均方差函数，

为平均绝对误差函数。

具体地讲，根据损失收敛情况变换的自适应量α，具体为：

其中：α为根据损失收敛情况变换的自适应量，δ为阈值，N为连续训练的总期数，

为当前训练期数。

为了得到最佳阈值δ，本实施例中测试了四个不同序列的一系列阈值δ，参考图6可知，不同阈值δ的平均PSNR表现。可以发现，当阈值δ等于0.015时，提出的损失函数可以得到最佳的表现。从而在本实施例中，阈值δ选择为0.015。

为了验证损失函数的性能，本实施例中还进行了对比实验。该试验条件与归一化方法实验相同，除了以下两点：

(1)采用权重归一化方法。

(2)采用不同的损失函数。

其中参考图7和图8，实验结果分别从客观质量和主观质量方面进行评价。从图7可以看出，使用混合损失函数的PSNR值优于使用均方差和平均绝对误差的PSNR值。同时从图8可以看出，相比均方差和平均绝对误差的的实验结果，使用混合损失函数的实验结果更好，失真更少，且PSNR最高。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构和方法并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均属于本发明的保护范围。

Claims (4)

1.一种基于EDCNN的HEVC环路滤波方法，其特征在于，所述HEVC环路滤波方法具体包括如下步骤：

S1：通过权重归一化方法对输入样本进行处理；

S2：根据卷积层和所述权重归一化方法处理后的输入样本，构建特征信息融合块，所述特征信息融合块包括有右分支和左分支，所述右分支由一个子分支组成，所述左分支由N个子分支组成；

S3：由M个所述特征信息融合块共同组建EDCNN网络模型，根据所述EDCNN网络模型对原始图像进行重建；

所述特征信息融合块具体为：

其中：x是特征信息融合块的输入，x_i为子分支的输入，α为左分支内的子分支的总数目，β为右分支内的子分支的标号，y为左分支的输出，σ(·)为卷积操作，

为级联操作，z为特征信息融合块的输出，x_β为右分支内的子分支的输入；

所述子分支包括有卷积层和激活层，且所述激活层设置在卷积层之后，所述卷积层用于提取原始图像的特征信息，所述激活层用于引入非线性特征。

2.根据权利要求1所述的一种基于EDCNN的HEVC环路滤波方法，其特征在于，在所述步骤S1中，权重归一化方法对输入样本进行处理，具体为：

其中：ω为权重向量，g为标量参数，v为参数向量。

3.根据权利要求1所述的一种基于EDCNN的HEVC环路滤波方法，其特征在于，所述激活层具体为：

RELU(x)＝max(0,x)

其中：RELU(x)为激活层，x为特征信息融合块的输入。

4.根据权利要求1所述的一种基于EDCNN的HEVC环路滤波方法，其特征在于，在所述EDCNN网络模型中，所述M个特征信息融合块的输入通道都需降维成M个相等的输入。

Images