CN112270646A - 基于残差密集跳跃网络的超分辨增强方法 - Google Patents

Abstract

本发明公开了一种基于残差密集跳跃网络的超分辨增强方法，属于计算机视觉图像超分辨领域。首先将输入图像利用导向滤波分成两个成分：基层x_b和细节层x_d，并分别与原图连接组成新的输入分量X_{base layer}和X_{detail layer}，两分量分别通过一层卷积获取浅层特征，再经过三层双通道式SRDN网络学习深层特征分布，将两个通道信息组合，经上采样反卷积网络和单层卷积操作获得最终的超分辨图像。其中损失项引入内容损失、感知损失和颜色判别损失组成本网络结构的联合损失函数，以保证超分辨图像的纹理视觉信息和每个像素RGB向量的颜色正确性。本发明模型构建合理，算法鲁棒性强，超分辨增强后图像细节清晰自然，更符合人眼视觉需求，有着广泛的应用前景。

Description

基于残差密集跳跃网络的超分辨增强方法

技术领域

本发明属于计算机视觉图像超分辨领域，具体涉及一种基于残差密集跳跃网络的超分辨增强方法。

背景技术

超分辨技术作为计算机视觉的研究热点，越来越受到人工智能领域的关注。如：通过超分辨算法可使经典老电影的细节变得栩栩如生；通过将图像压缩传输，再用超分辨算法复原，可大大减少传输数据量，并减轻网络传输的带宽压力。基于超分辨技术处理后的图像或视频在分辨率和细节信息上提升很大，已广泛应用于老电影修复、遥感侦察、医学图像处理、超高清产业等领域。

从超分辨技术路线进行分类，超分辨率增强技术大致可以分为以下几类：基于插值方法、基于重构约束的方法和基于深度学习的方法。基于插值的超分辨方法是根据相邻像素之间的相关性，利用插值核进行亚像素估计，从而放大图像，但其重建图像存在锯齿伪影、严重模糊和易受噪声干扰严重等问题。基于重构约束的超分辨方法是以非均衡采样定理为基础，主要通过建立降质模型，使用先验知识作为正则项构建代价函数求解高分辨率图像，但重建图像往往会丢失一些细节和边缘。由于基于深度学习的超分辨技术效果显著，其成为当前超分辨率增强的研究热点。随后，该领域出现了各种深度卷积网络体系结构，例如具有残差学习的深层网络、拉普拉斯金字塔结构、残差块、递归学习、密集连接网络、深度反投影和残差密集网络等等，并将其应用解决超分辨增强问题，提高了超分辨的性能，尤其PSNR(Peak Signal to Noise Ratio，峰值信噪比)指标的提高。虽然以上各种网络模型都能提高PSNR指标值，但PSNR倾向于在没有足够多细节的情况下输出过平滑的结果，因为PSNR度量从根本上不同于人类视觉的主观评价，随后感知型驱动方法—基于生成对抗网络的超分辨模型被提出，并通过进一步结合语义图像先验来改进恢复的纹理细节，来提高超分辨后视觉质量。虽然以上方法能取得很好的效果，但仍存在一些不足，如基于卷积神经网络的超分辨模型没有引入感知损失，从而不能学习到更鲁棒更令人信服的视觉结果。基于生成对抗网络的超分辨网络模型利用感知损失能够达到比较好的视觉效果，但PSNR和SSIM(Structural Similarity，结构相似性)都不好，并且可解释性差，具有难以训练、不收敛。

发明内容

本发明提出一种基于残差密集跳跃网络(Skip Residual Dense Net,SRDN)的超分辨增强网络模型，能获取高质量的超分辨纹理细节等视觉信息。

一种基于残差密集跳跃网络的超分辨增强方法，该方法由以下步骤实现，网络结构流程图如：

步骤一、将输入图像利用导向滤波分成两个成分：基层x_b和细节层x_d，并分别与原图连接组成新的输入分量，即基层分量X_{base layer}和细节层分量X_{detail layer}；

步骤二、设计双通道式跳跃密集残差网络(SRDN)，将基层分量X_{base layer}和细节层分量X_{detail layer}分别通过双通道式跳跃密集残差网络提取特征信息，得到两个通道特征信息；

步骤三、将两个通道特征信息利用同维连接操作组合，最后经反卷积和卷积操作获得最终的超分辨图像，建立超分辨增强网络模型；

步骤四、步骤四、在超分辨增强网络模型训练过程中，将内容损失、感知损失和颜色判别损失联合构建本网络模型的联合损失函数，利用联合损失函数对超分辨增强网络模型进行优化训练，获得最终的网络模型参数。

步骤一中所述的将输入图像转化成两个分量X_{base layer}和X_{detail layer}，其计算方式为：

X_{base layer}＝(x,x_b)，X_{detail layer}＝(x,x_d)，其中x_b＝GF(x)，x_d＝x/x_b

式中x为输入图像，GF表示导向滤波过程，/为矩阵点除。

所述步骤二中，所述的双通道式跳跃密集残差网络(SRDN)包括：两个并行设置的第一卷积网络通道和第二卷积网络通道，第一卷积网络通道包括：三个串联的残差密集网络，所述的残差密集网络由密度块网络和卷积层密集连接相加组成，第二卷积网络通道包括：三个串联的残差密集网络，所述的残差密集网络由密度块网络和卷积层密集连接相加组成，所述的第一卷积网络通道和第二卷积网络通道设置了跳跃连接。

所述步骤四中的损失函数，设计的联合损失函数，计算如下

L_MSE＝∑||g_t-y_t||₂

式中，L_MSE是内容损失，g_t代表原始高清图像，y_t代表通过本发明网络结构生成的超分辨图像；

是引入的以预训练19层VGG网络的ReLU激活层为基础的VGG感知损失，通过计算第19层VGG网络特征空间中的像素距离获得，Φ_VGG表示图像经19层VGG网络后提取的特征向量；L_RGB是结合颜色深度特征针对性增加的余弦距离，以保证每个像素RGB向量的颜色正确性，其中

代表图像g_t的第j个像素值，N代表图像的像素总个数；λ_p和λ_D是平衡不同损失项的系数。

本发明的有益效果：

本发明首先将输入图像利用导向滤波分成两个成分：基层x_b和细节层x_d，并分别与原图连接组成新的输入分量X_{base layer}和X_{detail layer}，两分量分别通过一层卷积获取浅层特征，再经过三层双通道式SRDN网络学习深层特征分布，并利用同维连接操作将两个通道信息组合，最后经上采样反卷积网络和单层卷积操作获得最终的超分辨图像。其中损失项引入内容损失、感知损失和颜色判别损失组成本网络结构的联合损失函数，以保证超分辨图像的纹理视觉信息和每个像素RGB向量的颜色正确性。本发明模型构建合理，算法鲁棒性强，超分辨增强后图像细节清晰自然，更符合人眼视觉需求，有着广泛的应用前景。

本发明结合了基于卷积神经网络超分辨方法和基于对抗神经网络超分辨方法的优点，通过导向滤波将输入图像分成两个分量，以DNnet网络块为基础构建新的双通道跳跃式网络模型，能提取更多的深层特征信息，并抑制了伪像影响，提高了泛化能力；同时设计了新的损失函数，新损失函数引入内容损失、感知损失和颜色判别损失，进一步提高了超分辨图像的纹理视觉清晰度和每个像素RGB向量的颜色正确性。本发明模型构建合理，算法鲁棒性强，超分辨增强后图像细节清晰自然，更符合人眼视觉需求。

附图说明

图1是本发明所述的基于残差密集跳跃网络的超分辨增强方法中网络结构流程图。

图2是本发明所述的基于残差密集跳跃网络的超分辨增强方法中SRDN Block模块示意图。

图3是本发明所述的基于残差密集跳跃网络的超分辨增强方法中训练过程epoch与PSNR的对应变化曲线。

图4是本发明Dense block结构示意图；

图5是训练过程epoch与PSNR的对应变化曲线；

图6是本发明所述的基于残差密集跳跃网络的超分辨增强方法中2倍超分辨增强后图像，其中，(a)为原图，(b)为低分辨率图像，(c)为本发明超分辨图像。

图7是本发明所述的基于残差密集跳跃网络的超分辨增强方法中4倍超分辨增强后图像，其中，(a)为原图，(b)为低分辨率图像，(c)为本发明超分辨图像。

具体实施方式

具体实施方式一、结合图1说明本实施方式，图中Conv代表卷积层，Guided Filter表示导向滤波，SRDN即残差密集跳跃网络，Upsampling表示反卷积过程，X_{base layer}和X_{detail layer}分别代表基层输入分量和细节层输入分量，Concatenation表示同维连接。基于残差密集跳跃网络的超分辨增强方法，该方法通过导向滤波将输入图像分成两个分量，并针对性设计三层双通道式SRDN网络提取更多的特征信息，接着利用同维连接操作将两个通道信息组合，最后经反卷积和卷积操作获得最终的超分辨图像。

该方法由以下步骤实现：

步骤一、将输入图像利用导向滤波方法分成两个成分：基层x_b和细节层x_d，并分别与原图连接组成新的输入分量X_{base layer}和X_{detail layer}；

步骤二、设计双通道式残差密集跳跃网络(SRDN)网络，将基层分量X_{base layer}和细节层分量X_{detail layer}分别通过双通道SRDN提取特征信息；

步骤三、将两个通道特征信息利用同维连接操作组合，最后经反卷积和卷积操作获得最终的超分辨图像；

步骤四、超分辨增强网络模型通过以上步骤搭建，在网络模型训练过程中，本发明设计将内容损失、感知损失和颜色判别损失联合构建本网络模型的损失函数；

步骤一中，将输入图像通过导向滤波求解基层x_b，代表包含低频分量的模糊彩色图像；再将输入图像与基层x_b做矩阵点除获得细节层x_d，其具有更多高频分量的边缘和细节信息；最后将两个滤波分量x_b和x_d分别与原图像连接组成新的分量：基层输入分量X_{base layer}＝(x,x_b)和细节层输入分量X_{detail layer}＝(x,x_d)作为新的输入。本发明求解分量的过程为

x_b＝GF(x) (1)

x_d＝x/x_b (2)

其中，x为输入图像，GF表示导向滤波过程，/为矩阵点除。

步骤二中，残差密集跳跃网络(SRDN)如图2所示，具有两个并行卷积网络通道，即基层特征提取网络和细节层特征提取网络，前者网络主要集中重建彩色图像低频分量，后者网络集中恢复高频细节边缘分量，两者具有同样的卷积网络框架，但在两个并行网络通道中设计了跳跃连接，以连接两网络通道特征(图2下层网络左边第一个

即表示跳跃连接，

属于加法操作)。

两个特征网络通道皆由三个密度块网络(dense block net,DBnet)和卷积层密集连接(conv)相加组成，此设计的网络结构改进主要有两点：1)DBnet模块由四个稠密块(dense block,DB)密集级联组成，其更多的层和连接能提取更深的特征从而取得更好的效果，如图3所示。2)当训练和测试数据集的统计数据存在较大差异时，BN层(BatchNormalization，批归一化)容易产生不良伪像影响，限制泛化能力，因此本节在原有稠密块基础上设计了新的稠密块DB(图4)，新稠密块移除了BN层，其能进一步提高泛化能力并降低计算复杂度和内存使用，同时在新稠密块的激活函数方面将Relu替换成PRelu，PRelu是带参数线性修正单元。

步骤三中，同维连接即将双通道特征信息矩阵按深度链接起来，上采样过程采用转置卷积方式。

步骤四中，本发明针对提出的网络结构，设计新的联合损失函数，如下

L_MSE＝∑||g_t-y_t||₂ (4)

其中，L_MSE是内容损失，g_t代表原始高清图像，y_t代表通过本发明网络结构生成的超分辨图像；

是引入的以预训练19层VGG网络的ReLU激活层为基础的VGG感知损失，通过计算第19层VGG网络特征空间中的像素距离获得；L_RGB是结合颜色深度特征针对性增加的余弦距离，以保证每个像素RGB向量的颜色正确性，其中

代表图像g_t的第j个像素值，N代表图像的像素总个数；λ_p和λ_D是平衡不同损失项的系数。

具体实施方式二、结合图1至图5说明本实施方式，本实施方式将具体实施方式一所述的方法用深度学习工作站进行训练和测试。硬件实验环境搭载Intel(R)Xeon(R)Gold5118CPU@2.30GHz、包含一块Tesla V100卡、32GB DDR4内存；软件使用tensorflow2.0框架、python3.7和linux系统。

首先，进行2×超分辨增强模型训练，采用DIV2K数据集构建本发明网络模型训练集：将原数据集图像采用2倍下采样做为训练集输入，原数据集做为训练集标签图像，然后输入到网络进行训练优化。网络参数初始化阶段设置100个epoch，学习率设置为0.0001，动量设置为0.9；网络共设置1000的epoch，网络训练学习率初始设置为0.1，并随着epoch增大逐渐减小学习率，动量设置为0.9。在整个训练过程，梯度下降优化方法采用Adam算法，batch-size设置为8，训练完成后获得2倍超分辨增强模型参数。训练过程epoch与PSNR的对应变化曲线如图5所示。

其次，利用相同的DIV2K数据集进行4×超分辨增强模型训练，本发明网络模型训练集如下：将原数据集图像采用4倍下采样做为训练集输入，原数据集做为训练集标签图像，然后输入到网络进行训练优化。其它学习率、动量和batch-size等参数设置不变，训练完成后获得4倍超分辨增强模型参数。

然后，2×和4×超分辨增强网络结构参数训练完成后，利用超分辨领域通用的Set5和Set14数据分别进行测试对比测试，超分辨后的图像如图6、7所示。

通过实验可以看出，本发明超分辨增强图像细节清晰自然，提高了分辨率，符合人眼视觉需求，证明了本发明的有效性。

Claims (4)

1.一种基于残差密集跳跃网络的超分辨增强方法，其特征在于，包括以下步骤：

步骤一、将输入图像利用导向滤波分成两个成分：基层x_b和细节层x_d，并分别与原图连接组成新的输入分量，即基层分量X_{base layer}和细节层分量X_{detail layer}；

步骤二、设计双通道式跳跃密集残差网络，将基层分量X_{base layer}和细节层分量X_{detail layer}分别通过双通道式跳跃密集残差网络提取特征信息，得到两个通道特征信息；

步骤三、将两个通道特征信息利用同维连接操作组合，最后经反卷积和卷积操作获得最终的超分辨图像，建立超分辨增强网络模型；

步骤四、将内容损失、感知损失和颜色判别损失联合构建本网络模型的联合损失函数，利用联合损失函数对超分辨增强网络模型进行优化训练，获得最终的网络模型参数。

2.根据权利要求1所述的基于残差密集跳跃网络的超分辨增强方法，其特征在于，步骤一中所述的将输入图像转化成两个分量X_{base layer}和X_{detail layer}，其计算方式为：

X_{base layer}＝(x,x_b)，X_{detail layer}＝(x,x_d)，其中x_b＝GF(x)，x_d＝x/x_b

式中x为输入图像，GF表示导向滤波过程，/为矩阵点除。

3.根据权利要求1所述的基于残差密集跳跃网络的超分辨增强方法，其特征在于，所述步骤二中所述的双通道式跳跃密集残差网络包括：两个并行设置的第一卷积网络通道和第二卷积网络通道，第一卷积网络通道包括：三个串联的残差密集网络，所述的残差密集网络由密度块网络和卷积层密集连接相加组成，第二卷积网络通道包括：三个串联的残差密集网络，所述的残差密集网络由密度块网络和卷积层密集连接相加组成，所述的第一卷积网络通道和第二卷积网络通道设置了跳跃连接。

4.根据权利要求1所述的基于残差密集跳跃网络的超分辨增强方法，其特征在于，所述步骤四中设计的联合损失函数，计算如下：

L_MSE＝∑||g_t-y_t||₂

式中，L_MSE是内容损失，g_t代表原始高清图像，y_t代表通过网络结构生成的超分辨图像；

是引入的以预训练19层VGG网络的ReLU激活层为基础的VGG感知损失，通过计算第19层VGG网络特征空间中的像素距离获得，Φ_VGG表示图像经19层VGG网络后提取的特征向量；L_RGB是结合颜色深度特征针对性增加的余弦距离，其中

代表图像g_t的第j个像素值，N代表图像的像素总个数；λ_p和λ_D是平衡不同损失项的系数。

Images