CN112261415A - 基于过拟合卷积自编码网络的图像压缩编码方法 - Google Patents

Abstract

本发明提供了一种基于过拟合卷积自编码网络的图像压缩编码方法，涉及图像编码技术领域，其包括：构建卷积自编码神经网络；生成训练数据集；训练卷积自编码网络；利用网络对高清自然图像进行编解码。本发明解决了现有图像编码损伤方法中未利用网络过拟合的特性和针对图像编码损伤的修复不足的问题，增强了网络针对编码损伤的学习能力，让深度学习网络有针对地参与到编解码过程，既节省了图像存储开销，又能保证压缩图像的质量，进一步提升了图像压缩编解码处理的速度与效果。

Description

基于过拟合卷积自编码网络的图像压缩编码方法

技术领域

本发明涉及图像编码技术领域，特别是涉及一种基于过拟合卷积自编码网络的图像压缩编码方法。

背景技术

随着技术发展，图像的视觉质量得到了大幅提升，其数据量也随之增长，给图像数据的存储和传输带来了较大的压力。

编码是一种在传输信息中降低信息冗余数据的有效手段，可减少传输压力，适应更为广泛的传输条件。针对图像进行编码后，编解码后得到的图像虽然有效减少了存储容量，与原始图像相比却具有压缩编码损伤，主观上表征为较明显的图像失真，具体体现为方块效应、振铃效应等视觉失真。

图像超分辨技术作为图像的后处理技术，在图像的压缩编码传输应用场景中，可用于编码后图像的质量增强。作为深度学习网络中的一种，卷积自编码网络是一种旨在将输入复制到输出的神经网络。该类型网络通过将输入压缩成一种隐藏空间表示后重构这种表示的输出。由于具有卷积层和自编码等结构，能够很好地提取图像特征，可在保留图像细节的前提下完成编码后图像的编码损伤修复，进而完成修复图像编码损伤的功能。

目前利用深度学习网络的过拟合结果的图像处理办法还很少，主要是避免深度学习网络产生过拟合结果，提高网络的网络泛化能力，增大了训练难度，也不能有效修复图像编码后损伤。

发明内容

针对现有技术中的上述问题，本发明提供了一种基于过拟合卷积自编码网络的图像压缩编码方法，解决了现有图像编码损伤方法中未利用网络过拟合的特性和针对图像编码损伤的修复不足的问题，增强了网络针对编码损伤的学习能力，让深度学习网络有针对地参与到编解码过程，既节省了图像存储开销，又能保证压缩图像的质量，进一步提升了图像压缩编解码处理的速度与效果。

为了达到上述发明目的，本发明采用的技术方案如下：

提供基于过拟合卷积自编码网络的图像压缩编码方法，其包括：

S1，构建卷积自编码网络

S11，搭建编码子网络，其结构依次为：第一卷积层→ReLU激活层→第二卷积层→第三卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层；

S12，搭建解码子网络，其结构依次为：第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第一转置卷积层→ReLU激活层→第二转置卷积层→ReLU激活层→第三转置卷积层→Sigmoid激活层；

S13，设置卷积自编码网络的各层参数，将第一、第二、第三和第四卷积层的卷积核均设置为3，输入通道数分别为1、8、32、32，输出通道数分别为8、16、32、32，步长均为1；将第一、第二和第三转置卷积层的卷积核分别设置为4、4、3，输入通道数分别为32、16、8，输出通道数分别为16、8、1，步长分别为2、2、1；

S2，生成训练数据集

选取要压缩的n(n≥500)幅高清自然图像，对图像进行预处理，将所选的每幅图像进行前景和背景区域划分后转换成YUV420p数据格式图像；

将每幅图像输入到编码器中进行编码，得到编码后的图像编码码流；将编码后的图像编码码流输入到解码器中进行解码，得到多幅解码后的重建图像；

将所有YUV420p数据格式图像与解码后的重建图像构成一个训练数据集；

S3，训练卷积自编码网络

初始化卷积自编码网络，将训练数据集输入到卷积自编码网络中，在网络中遍历训练集，采用随机梯度下降法，对卷积自编码网络的参数进行迭代更新，直至图像损失loss值的均值收敛后终止迭代，得到训练好的卷积自编码网络；

S4，利用卷积自编码网络对高清自然图像进行编解码

提取一幅未被选择过的高清自然图像输入到训练好的卷积自编码网络中，得到编解码后的图像。

本发明的有益效果为：由于本发明构建并训练了由编码子网络和解码子网络组成的卷积自编码网络，利用训练导致网络过拟合后针对性更强的特性，使得本发明能够更好地修复目标图像的编码损伤。

由于本发明利用生成的训练集训练了卷积自编码网络，针对图像特有的编码损伤生成数据集，克服了现有技术网络使用的训练集对编码损伤针对不足，导致网络不能很好地修复重建图像的编码损伤的问题，使得本发明能够增强网络针对编码损伤的学习能力，提升解码后的图像质量。

在生成训练数据集中，对每幅图像进行前景和背景区域划分，一方面能够在低码率下保护重点区域，提高重点区域的图像质量，以降低工作机的处理工作量，提高处理速度，同时能够利用图像的区域划分信息调整编码策略，从而达到整体效果的提升。

附图说明

图1为基于过拟合卷积自编码网络的图像压缩编码方法的流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

该基于过拟合卷积自编码网络的图像压缩编码方法，其包括：

S1，构建卷积自编码网络

S11，搭建编码子网络，其结构依次为：第一卷积层→ReLU激活层→第二卷积层→第三卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层。

S12，搭建解码子网络，其结构依次为：第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第一转置卷积层→ReLU激活层→第二转置卷积层→ReLU激活层→第三转置卷积层→Sigmoid激活层。

S13，设置卷积自编码网络的各层参数，将第一、第二、第三和第四卷积层的卷积核均设置为3，输入通道数分别为1、8、32、32，输出通道数分别为8、16、32、32，步长均为1；将第一、第二和第三转置卷积层的卷积核分别设置为4、4、3，输入通道数分别为32、16、8，输出通道数分别为16、8、1，步长分别为2、2、1。

S2，生成训练数据集

选取要压缩的n(n≥500)幅高清自然图像，优选n＝800，所选取的n幅高清自然图像中，每幅图像的长不小于1280像素，宽不小于720像素，且长和宽均为8的倍数，对图像进行预处理，将所选的每幅图像进行前景和背景区域划分后转换成YUV420p数据格式图像。

对图像进行前景和背景区域划分的方法为：

将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别，基于所述的第二图像，确定第二图像的每一个宏块的图像类别，根据确定后的每一个宏块的图像类别情况，做区域联通处理，获取最终的图像区域划分；图像类别包括人脸、运动宏块、字幕和平坦宏块、极度可压缩宏块。

将每幅图像输入到编码器中进行编码，得到编码后的图像编码码流；将编码后的图像编码码流输入到解码器中进行解码，得到多幅解码后的重建图像。

将所有YUV420p数据格式图像与解码后的重建图像构成一个训练数据集。

S3，训练卷积自编码网络

初始化卷积自编码网络，将训练数据集输入到卷积自编码网络中，在网络中遍历训练集，采用随机梯度下降法，对卷积自编码网络的参数进行迭代更新，直至图像损失loss值的均值收敛后终止迭代，得到训练好的卷积自编码网络。

迭代更新卷积神经网络参数的方法如下：

第一步，将卷积神经网络的参数均初始化为高斯随机数，所述高斯随机数的均值为0，方差为1。

第二步，按照下式，计算所有图像损失loss值的均值：

其中，

表示所有图像损失值的均值，

表示卷积自编码网络生成的所有图像，y表示所有上述图像对应的训练集中的标签图像，∑表示求和操作，θ表示卷积神经网络中需要被迭代更新的参数，N表示批处理的大小，

为Charbonnier惩罚函数，

表示卷积自编码网络生成的第i幅图像，y⁽ⁱ⁾表示与上述图像对应的训练集中的标签图像。

第三步，按照下式，更新卷积自编码网络中的每一个参数值，直至图像损失loss值的均值收敛：

其中，θ_x′表示卷积自编码网络中第x个参数更新后的值，θ_x表示卷积自编码网络中第x个参数更新前的值，

表示求导操作。

S4，利用卷积自编码网络对高清自然图像进行编解码

提取一幅未被选择过的高清自然图像输入到训练好的卷积自编码网络中，得到编解码后的图像。

下面结合仿真实验对本发明的效果做进一步的说明：

仿真实验条件：

本发明的仿真实验的硬件平台为：处理器为Intel i7-7280 CPU，主频为3.60GHz，内存16GB，显卡为Nvidia GeForce 2080Ti GPU，显存为11GB。

本发明的仿真实验的软件平台为：Windows 10操作系统，Python3.6，Tensorflow1.14以及x265编码器。

本发明仿真实验所使用用以制作训练集的图像数据集为DIV2K的高清晰度自然图像，该数据集为2017年NTIRE图像超分辨竞赛公布所公布的数据集，涵盖具有丰富的自然纹理信息的1000张2K分辨率图片，均为RGB格式。选取其中已公开的800张训练类别图片。

本发明仿真实验所采用的测试图片集同样为DIV2K的800张高清晰度自然图。

2.仿真内容及其结果分析：

本发明仿真实验采用本发明和一个现有技术(JPEG图像压缩编码方法)，先利用现有技术对输入的图像进行特殊的编解码处理，获得修复编码损伤后的编码图像。

利用目前通常采用的峰值信噪比PSNR值作为客观评价指标对本发明的图像超分辨处理效果进行评价。利用下述公式，分别计算本发明的仿真实验中PSNR值，包括网络输出的修复后的解码图像对应的原始未编码的图像的PSNR值：

其中，Iⁿ为第一幅图像的第n个像素值，Pⁿ为第二幅图像的第n个像素值。

结合PSNR值的计算结果可以看出，相比较于JPEG图像压缩编码的结果，PSNR值和主观评价分别有所提升，计算结果PSNR值越高说明图像质量越相近，图像的质量越高，证明本发明可以得到质量更好的编解码后的视频图像。

以上仿真实验表明：本发明方法利用搭建的卷积自编码网络，能够学习到图像编码损伤，并有针对性地对编解码后的重建图像进行编码损伤修复，结合网络所提取到高清晰度图像的细节特征，显著地改善了由于图像压缩编码损伤导致的图像失真，主观和客观上均提升了图像质量，解决了现有技术方法中仅利用高清晰度图像的细节特征，导致不能良好地修复编码损伤的问题。同时，本方法采用使深度学习网络过拟合的训练方式，让深度学习网络有针对地参与到编解码过程，既节省了图像存储开销，又能保证压缩图像的质量，进一步提升了图像压缩编解码处理的速度，是一种非常实用的图像压缩编码方法。

Claims (5)

1.一种基于过拟合卷积自编码网络的图像压缩编码方法，其特征在于，包括：

S1，构建卷积自编码网络

S11，搭建编码子网络，其结构依次为：第一卷积层→ReLU激活层→第二卷积层→第三卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层；

S12，搭建解码子网络，其结构依次为：第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第四卷积层→ReLU激活层→第一转置卷积层→ReLU激活层→第二转置卷积层→ReLU激活层→第三转置卷积层→Sigmoid激活层；

S13，设置卷积自编码网络的各层参数，将第一、第二、第三和第四卷积层的卷积核均设置为3，输入通道数分别为1、8、32、32，输出通道数分别为8、16、32、32，步长均为1；将第一、第二和第三转置卷积层的卷积核分别设置为4、4、3，输入通道数分别为32、16、8，输出通道数分别为16、8、1，步长分别为2、2、1；

S2，生成训练数据集

选取要压缩的n(n≥500)幅高清自然图像，对图像进行预处理，将所选的每幅图像进行前景和背景区域划分后转换成YUV420p数据格式图像；

将每幅图像输入到编码器中进行编码，得到编码后的图像编码码流；将编码后的图像编码码流输入到解码器中进行解码，得到多幅解码后的重建图像；

将所有YUV420p数据格式图像与解码后的重建图像构成一个训练数据集；

S3，训练卷积自编码网络

初始化卷积自编码网络，将训练数据集输入到卷积自编码网络中，在网络中遍历训练集，采用随机梯度下降法，对卷积自编码网络的参数进行迭代更新，直至图像损失loss值的均值收敛后终止迭代，得到训练好的卷积自编码网络；

S4，利用卷积自编码网络对高清自然图像进行编解码

提取一幅未被选择过的高清自然图像输入到训练好的卷积自编码网络中，得到编解码后的图像。

2.根据权利要求1所述的基于过拟合卷积自编码网络的图像压缩编码方法，其特征在于，所选取的n幅高清自然图像中，每幅图像的长不小于1280像素，宽不小于720像素，且长和宽均为8的倍数。

3.根据权利要求1所述的基于过拟合卷积自编码网络的图像压缩编码方法，其特征在于，对图像进行前景和背景区域划分的方法为：

将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别，基于所述的第二图像，确定第二图像的每一个宏块的图像类别，根据确定后的每一个宏块的图像类别情况，做区域联通处理，获取最终的图像区域划分。

4.根据权利要求3所述的基于过拟合卷积自编码网络的图像压缩编码方法，其特征在于，所述的图像类别包括人脸、运动宏块、字幕和平坦宏块、极度可压缩宏块。

5.根据权利要求1所述的基于过拟合卷积自编码网络的图像压缩编码方法，其特征在于，步骤S3中所述迭代更新卷积神经网络参数的方法如下：

第一步，将卷积神经网络的参数均初始化为高斯随机数，所述高斯随机数的均值为0，方差为1；

第二步，按照下式，计算所有图像损失loss值的均值：

其中，

表示所有图像损失值的均值，

表示卷积自编码网络生成的所有图像，y表示所有上述图像对应的训练集中的标签图像，∑表示求和操作，θ表示卷积神经网络中需要被迭代更新的参数，N表示批处理的大小，

为Charbonnier惩罚函数，

表示卷积自编码网络生成的第i幅图像，y⁽ⁱ⁾表示与上述图像对应的训练集中的标签图像；

第三步，按照下式，更新卷积自编码网络中的每一个参数值，直至图像损失loss值的均值收敛：

其中，θ′_x表示卷积自编码网络中第x个参数更新后的值，θ_x表示卷积自编码网络中第x个参数更新前的值，

表示求导操作。

Images