CN115984106B - 一种基于双边生成对抗网络的线扫描图像超分辨率方法 - Google Patents

Abstract

本发明提出了一种基于双边对抗生成网络的线扫描图像超分辨率方法。通过将线扫描图像送入去噪网络去除线扫描图像包含的条纹噪声，然后送入融合网络充分融合线扫描图像的潜在信息，最后通过解码器重构得到高质量的高分辨率图像。在整个过程中，统一加权损失函数的设计使得去除图像噪声和提高图像质量之间保持了有效平衡，充分解决了图像超分辨率包含噪声、质量不佳等问题。

Description

一种基于双边生成对抗网络的线扫描图像超分辨率方法

技术领域

本发明属于图像超分辨率领域，涉及一种基于双边生成对抗网络的线扫描图像超分辨率方法，适用于复杂成像环境的图像超分辨率场景。

背景技术

图像超分辨率是指从退化的低分辨率图像中恢复高分辨率图像，该技术是计算机视觉、医学图像处理、科学计算等许多领域的共性科学问题和核心技术。

传统的图像超分辨率方法是基于插值的，比如最近邻插值、双线性插值、双三次插值等。但它无法充分建立从低分辨率图像到高分辨率图像的映射。为了解决这一问题，许多人尝试提出了有效的改进办法。基于重构模型的算法通过添加图像的先验知识作为约束，使得高分辨率图像重建中的病态问题得到一定程度解决。Rasti等人[1]提出了一种迭代反投影，通过模拟低分辨率图像和观察图像之间的差异获得高分辨率图像。Dong[2]等人提出了一种具有结构稀疏性的非局部低秩正则化方法。随着深度学习的迅速发展，不少学者利用深度学习来提高图像超分辨率的性能。Shi[3]等人提出了高效亚像素卷积网络，通过提取低分辨率的特征，实现更好的重建质量和更高的计算效率。Ledig[4]等人将生成对抗网络应用于图像超分辨率，获得了更符合人类视觉效果的重建结果。X.Tian[5]等人利用空间光调制器的逐像素扫描能力将图像超分辨率性能提升到了新的高度，但重建算法无法在去除条纹噪声和超分辨率之间保持平衡。

上述算法只能将图像超分辨率性能提高到一定程度。具备逐像素扫描能力的空间光调制器虽然可以获得高质量的重建结果，但检测器填充因子会导致像素响应的不均匀性，视觉上表现为条纹噪声。因此如何利用空间光调制器的线扫描结果实现高质量高分辨率图像重建，同时去除条纹噪声将是本发明的关键问题。

参考文献

[1]P.Rasti,H.Demirel,and G.Anbarjafari,“Image resolution enhancementby using interpolation followed by iterative back projection,”in 2013 21stSignal Processing and Communications Applications Conference(SIU),(IEEE,2013),pp.1–4.

[2]W.Dong,G.Shi,X.Li,Y.Ma,and F.Huang,“Compressive sensing vianonlocal low-rank regularization,”IEEE Transactions on Image Process.23,3618–3632(2014).

[3]W.Shi,J.Caballero,F.Huszár,J.Totz,A.P.Aitken,R.Bishop,D.Rueckert,and Z.Wang,“Real-time single image and video super-resolution using anefficient sub-pixel convolutional neural network,”in Proceedings of the IEEEconference on Computer Vision and Pattern Recognition,(2016),pp.1874–1883.

[4]C.Ledig,L.Theis,F.Huszár,J.Caballero,A.Cunningham,A.Acosta,A.Aitken,A.Tejani,J.Totz,Z.Wang et al.,“Photo-realistic single image super-resolution using a generative adversarial network,”in Proceedings of the IEEEconference on Computer Vision and Pattern Recognition,(2017),pp.4681–4690.

[5]X.Tian,Y.Xiao,R.Liu,F.He,and J.Ma,“Line-wise scanning-based super-resolution imaging,”Opt.Lett.47,2230–2233(2022).

发明内容

本发明旨在实现线扫描图像超分辨率重建。由于现阶段的线扫描图像重建方法仍然是传统方法，存在无法有效融合线扫描图像信息的问题以及无法平衡去除噪声和超分辨率的问题。故本发明提出了一种基于双边生成对抗网络的线扫描图像超分辨率方法。通过本发明提出的方法，线扫描图像的信息得以充分融合，并且重建图像不含噪声，获得了较高的PSNR和SSIM指标，在去噪和超分辨率之间达到了高度平衡，具有很好的视觉效果。

本发明所采用的技术方案是：一种基于双边生成对抗网络的线扫描图像超分辨率方法，包括以下步骤：

步骤1：构建多层卷积组成的去噪生成网络Gr，Gc。如图2所示，它们均包括8个3*3卷积层，前7个卷积层的通道数均为32，最后一个卷积层的通道数为1。每个卷积层后面都紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个线性整流层(ReLU层)。

利用卷积层能提取深层特征的优势，提取线扫描图像的深层次特征，去除高频噪声，该网络输出的图像大小和输入图像大小一致；

步骤2：构建与去噪网络相匹配的鉴别网络Dr，Dc：如图3所示，它们都包括6个卷积层，每个卷积层的大小均为3*3，步长为1、2交替，通道数初始为64、64、128、128、256、256。每个卷积层后面均紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个参数化线性整流层(LeakyReLU层)。在最后的参数化线性整流层中，加入一个通道数为1024的全连接层(FC层)、LeakyReLU层、通道数为1的全连接层，最终输出一个标量，该标量衡量了图像真假的概率。

步骤3：构建编码-解码器构成的融合生成网络Gf：其中编码器为双支路残差融合网络，同时，在不同特征层设计融合模块，更有利于将双支路残差融合网络提取的特征有效融合。经过多个不同层次的特征融合而得到的特征图具有非常强的表征能力，将其送入解码器生成最终的高分辨率图像；

编码器如图4所示，它包括两条支路，每条支路包括dcn个反卷积层，dcn的大小为：

dcn＝log₂(r)

其中r为超分辨率的倍数。

每个反卷积层后面紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个线性整流层(ReLU层)。每条支路的最后一个反卷积层后面的ReLU层则连接4个残差段(Restage)，如图5的(b)，其中每个残差段包括2个残差基本块(Residual basic block)，它的基本结构如图5的(a)，残差基本块通过跳跃连接影响输出，它的输出公式可表示为：

F1＝ReLU(BN(f_3*3(x)))；

F_out＝ReLU(BN(f_3*3(F1))+x)

其中，F_out为残差基本块的输出，x为残差基本块的输入，f_3*3表示3*3的卷积操作。在每个残差段之间引入融合模块，它能将两条支路的信息充分融合，它是双输入双输出结构。其输出公式为：

y₁＝ReLU(BN(f_3*3(concat(x₁,x₂))))

y2＝ReLU(BN(f_3*3(x₂)))

其中x₁,x₂表示输入，concat表示在通道维度拼接。

编码器共有4个残差段，因此包含4个融合模块，最后一个融合模块的输出y1为编码器输出。

解码器包括4个3*3卷积层，如图4所示，他们的通道数分别为64、32、16、1。同样的，每个后面紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个线性整流层(ReLU层)。

将编码器输出输入解码器中可得到最终生成的图像SR。

步骤4：构建与融合生成网络相匹配的鉴别网络Df：如图6所示，包括8个卷积层，每个卷积层的大小均为3*3，步长为1、2交替，通道数初始为64、64、128、128、256、256、512、512。每个卷积层后面均紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个参数化线性整流层(LeakyReLU层)。在最后的参数化线性整流层中，加入一个通道数为1024的全连接层(FC层)、LeakyReLU层、通道数为1的全连接层，最终输出一个标量，该标量衡量了图像真假的概率。

步骤5：构建双边生成对抗网络G：如图1所示，将去噪生成网络Gr，Gc并行连接到融合生成网络Gf从而得到双边生成对抗网络G，其中鉴别网络Dr，Dc，Df分别与Gr，Gc，Gf保持对抗关系。提出了一种新的损失函数对该网络参数进行优化，它由以下几项构成：

(1)内容损失：

去噪网络Gr、Gc内容损失：

其中，表示求平均，/>表示F-范数。RGT和CGT分别为真值图像GT按照r×1、1×r的倍数下采样得到的行真值图像和列真值图像。

融合网络Gf内容损失：

表示梯度算子。

总的内容损失为：

(2)感知损失：

去噪网络Gr、Gc感知损失：

融合网络Gf感知损失：

其中φ表示特征提取器，它具体为VGG19网络的第35层输出。

总的感知损失为：

(3)对抗损失：

去噪网络Gr、Gc对抗损失：

融合网络Gf对抗损失：

总的对抗损失为：

所有损失的(i＝con、per、adv，j＝r、c)均为超参数，由训练模型的时候确定最优解。

将内容损失、感知损失、对抗损失加权求和得到双边对抗生成网络的总损失：

L_G＝L_con+μ₁L_per+μ₂L_adv

同样的，μ₁、μ₂也是超参数，由训练模型的时候确定最优解。

步骤6：在步骤5得到的双边生成对抗网络G中输入线扫描图像R_in，C_in，输出不含噪声的图像Gr(R_in)、Gc(C_in)和最终输出的高分辨率图像SR。其中Gr(R_in)、Gc(C_in)的大小分别与R_in，C_in一致，但不含条纹噪声。将真的高分辨率图像GT分别进行r×1、1×r的倍数双三次下采样得到RGT、CGT，其中r为超分辨率的倍数。将RGT、Gr(R_in)输入鉴别器Dr，将CGT、Gc(C_in)输入鉴别器Dc，将GT、SR输入鉴别器Df，三个鉴别器分别计算所需鉴别图像之间的JS散度，如果JS散度过大，则继续训练，同时双边生成对抗网络继续训练，以达到更小的JS散度。当达到一定的训练迭代次数时，训练终止。此时训练的双边生成对抗网络为最终的网络模型。

本发明的有益效果和优点是：提出一种基于双边生成对抗网络的线扫描图像超分辨率方法。通过构建双支路残差融合网络——编码器充分融合了双边输入的信息，能够充分表征不含噪声的高分辨率图像信息，进一步提高了图像超分辨率的效果。

附图说明

图1是双边对抗生成网络总体架构图。

图2是去噪生成器Gr、Gc结构图。

图3是去噪鉴别器Dr、Dc结构图。

图4是融合生成器Gf结构图。

图5(a)是残差块结构，(b)是残差段结构。

图6是融合鉴别器Df结构图。

图7是成像结果对比图，其中(a)(b)为线扫描图像，(c)(d)为其他重建方法结果，(e)为所提出方法结果。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明做进一步的详细描述，应当理解的是，此处所描述的实施施例仅用于解释本发明，并不用于限定本发明。

本发明所采用的技术方案是：一种基于双边生成对抗网络的线扫描图像超分辨率方法。包括以下步骤：

步骤1：构建多层卷积组成的去噪生成网络Gr，Gc。如图2所示，它们均包括8个3*3卷积层，前7个卷积层的通道数均为32，最后一个卷积层的通道数为1。每个卷积层后面都紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个线性整流层(ReLU层)。

利用卷积层能提取深层特征的优势，提取线扫描图像的深层次特征，去除高频噪声，该网络输出的图像大小和输入图像大小一致；

步骤2：构建与去噪网络相匹配的鉴别网络Dr，Dc：如图3所示，它们都包括6个卷积层，每个卷积层的大小均为3*3，步长为1、2交替，通道数初始为64、64、128、128、256、256。每个卷积层后面均紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个参数化线性整流层(LeakyReLU层)。在最后的参数化线性整流层中，加入一个通道数为1024的全连接层(FC层)、LeakyReLU层、通道数为1的全连接层，最终输出一个标量，该标量衡量了图像真假的概率。

步骤3：构建编码-解码器构成的融合生成网络Gf：其中编码器为双支路残差融合网络，同时，在不同特征层设计融合模块，更有利于将双支路残差融合网络提取的特征有效融合。经过多个不同层次的特征融合而得到的特征图具有非常强的表征能力，将其送入解码器生成最终的高分辨率图像；

编码器如图4所示，它包括两条支路，每条支路包括dcn个反卷积层，dcn的大小为：

dcn＝log₂(r)

其中r为超分辨率的倍数。

每个反卷积层后面紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个线性整流层(ReLU层)。每条支路的最后一个反卷积层后面的ReLU层则连接4个残差段(Restage)，如图5的(b)，其中每个残差段包括2个残差基本块(Residual basic block)，它的基本结构如图5的(a)，残差基本块通过跳跃连接影响输出，它的输出公式可表示为：

F1＝ReLU(BN(f_3*3(x)))；

F_out＝ReLU(BN(f_3*3(F1))+x)

其中，F_out为残差基本块的输出，x为残差基本块的输入，f_3*3表示3*3的卷积操作。在每个残差段之间引入融合模块，它能将两条支路的信息充分融合，它是双输入双输出结构。其输出公式为：

y₁＝ReLU(BN(f_3*3(concat(x₁,x₂))))

y2＝ReLU(BN(f_3*3(x₂)))

其中x₁,x₂表示输入，concat表示在通道维度拼接。

编码器共有4个残差段，因此包含4个融合模块，最后一个融合模块的输出y1为编码器输出。

解码器包括4个3*3卷积层，如图4所示，他们的通道数分别为64、32、16、1。同样的，每个后面紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个线性整流层(ReLU层)。

将编码器输出输入解码器中可得到最终生成的图像SR。

步骤4：构建与融合生成网络相匹配的鉴别网络Df：如图6所示，包括8个卷积层，每个卷积层的大小均为3*3，步长为1、2交替，通道数初始为64、64、128、128、256、256、512、512。每个卷积层后面均紧跟一个归一化层(BN层)，每个归一化层后面都紧跟一个参数化线性整流层(LeakyReLU层)。在最后的参数化线性整流层中，加入一个通道数为1024的全连接层(FC层)、LeakyReLU层、通道数为1的全连接层，最终输出一个标量，该标量衡量了图像真假的概率。

步骤5：构建双边生成对抗网络G：如图1所示，将去噪生成网络Gr，Gc并行连接到融合生成网络Gf从而得到双边生成对抗网络G，其中鉴别网络Dr，Dc，Df分别与Gr，Gc，Gf保持对抗关系。提出了一种新的损失函数对该网络参数进行优化，它由以下几项构成：

(1)内容损失：

去噪网络Gr、Gc内容损失：

其中，表示求平均，/>表示F-范数。RGT和CGT分别为真值图像GT按照r×1、1×r的倍数下采样得到的行真值图像和列真值图像。

融合网络Gf内容损失：

其中，/>表示梯度算子。

总的内容损失为：

(2)感知损失：

去噪网络Gr、Gc感知损失：

融合网络Gf感知损失：

其中φ表示特征提取器，它具体为VGG19网络的第35层输出。

总的感知损失为：

(3)对抗损失：

去噪网络Gr、Gc对抗损失：

融合网络Gf对抗损失：

总的对抗损失为：

其中，

将内容损失、感知损失、对抗损失加权求和得到双边对抗生成网络的总损失：

L_G＝L_con+μ₁L_per+μ₂L_adv

其中μ₁＝1,μ₂＝1。

步骤6：在步骤5得到的双边生成对抗网络G中输入线扫描图像R_in，C_in，输出不含噪声的图像Gr(R_in)、Gc(C_in)和最终输出的高分辨率图像SR。其中Gr(R_in)、Gc(C_in)的大小分别与R_in，C_in一致，但不含条纹噪声。将真的高分辨率图像GT分别进行r×1、1×r的倍数双三次下采样得到RGT、CGT，其中r为超分辨率的倍数。将RGT、Gr(R_in)输入鉴别器Dr，将CGT、Gc(C_in)输入鉴别器Dc，将GT、SR输入鉴别器Df，三个鉴别器分别计算所需鉴别图像之间的JS散度，如果JS散度过大，则继续训练，同时双边生成对抗网络继续训练，以达到更小的JS散度。当达到一定的训练迭代次数时，训练终止。此时训练的双边生成对抗网络为最终的网络模型。

在损失函数的驱动下，网络参数不断优化训练，最终得到符合要求得超分辨率重构模型。

一、训练集采用了3200张图像进行训练。

二、验证集采用了400张图像进行验证。

三、将训练集输入双边生成对抗网络中对网络进行训练。

四、将验证集输入到网络对网络性能进行测试。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应该视为本发明的保护范围。

Claims (8)

1.一种基于双边生成对抗网络的线扫描图像超分辨率方法，其特征在于，包括如下步骤：

步骤1，构建多层卷积组成的去噪生成网络Gr和Gc；

步骤2，构建与去噪网络相匹配的鉴别网络Dr和Dc；

步骤3，构建编码-解码器构成的融合生成网络Gf；

步骤4，构建与融合生成网络相匹配的鉴别网络Df；

步骤5，构建双边生成对抗网络G，将去噪生成网络Gr和Gc并行连接到融合生成网络Gf从而得到双边生成对抗网络G，其中鉴别网络Dr，Dc，Df分别与Gr，Gc，Gf保持对抗关系；

步骤6，在步骤5得到的双边生成对抗网络G中输入线扫描图像R_in，C_in，输出不含噪声的图像Gr(R_in)、Gc(C_in)和最终输出的高分辨率图像SR；

将真的高分辨率图像GT分别进行r×1、1×r的倍数双三次下采样得到RGT、CGT，其中r为超分辨率的倍数；将RGT、Gr(R_in)输入鉴别器Dr，将CGT、Gc(C_in)输入鉴别器Dc，将GT、SR输入鉴别器Df，三个鉴别器分别计算所需鉴别图像之间的JS散度，如果JS散度过大，则继续训练，同时双边生成对抗网络继续训练，以达到更小的JS散度，当达到一定的训练迭代次数时，训练终止，此时训练完的双边生成对抗网络为最终的网络模型。

2.如权利要求1所述的一种基于双边生成对抗网络的线扫描图像超分辨率方法，其特征在于：所述去噪生成网络Gr和Gc均包括8个3*3卷积层，前7个卷积层的通道数均为32，最后一个卷积层的通道数为1，每个卷积层后面都紧跟一个归一化层，每个归一化层后面都紧跟一个线性整流层。

3.如权利要求1所述的一种基于双边生成对抗网络的线扫描图像超分辨率方法，其特征在于：所述鉴别网络Dr和Dc均包括6个卷积层，每个卷积层的大小均为3*3，步长为1、2交替，通道数初始为64、64、128、128、256、256；每个卷积层后面均紧跟一个归一化层，每个归一化层后面都紧跟一个参数化线性整流层，最后的参数化线性整流层中，加入一个通道数为1024的全连接层、LeakyReLU层、通道数为1的全连接层，最终输出一个标量，该标量衡量了图像真假的概率。

4.如权利要求1所述的一种基于双边生成对抗网络的线扫描图像超分辨率方法，其特征在于：步骤3中编码器包括两条支路，每条支路包括dcn个反卷积层，dcn的大小为：

dcn＝log₂(r)

其中r为超分辨率的倍数；

每个反卷积层后面紧跟一个归一化层，每个归一化层后面都紧跟一个线性整流层，每条支路的最后一个反卷积层后面的ReLU层则连接4个残差段，其中每个残差段包括2个残差基本块，残差基本块通过跳跃连接影响输出，它的输出公式可表示为：

F1＝ReLU(BN(f_3*3(x)))；

F_out＝ReLU(BN(f_3*3(F1))+x)

其中，F_out为残差基本块的输出，x为残差基本块的输入，f_3*3表示3*3的卷积操作；在每个残差段之间引入融合模块，它能将两条支路的信息充分融合，它是双输入双输出结构，其输出公式为：

y₁＝ReLU(BN(f_3*3(concat(x₁,x₂))))

y2＝ReLU(BN(f_3*3(x₂)))

其中x₁,x₂表示输入，concat表示在通道维度拼接；

编码器共有4个残差段，因此包含4个融合模块，最后一个融合模块的输出y1为编码器输出；

解码器包括4个3*3卷积层，他们的通道数分别为64、32、16、1，同样的，每个后面紧跟一个归一化层，每个归一化层后面都紧跟一个线性整流层；

将编码器输出输入解码器中可得到最终生成的图像SR。

5.如权利要求1所述的一种基于双边生成对抗网络的线扫描图像超分辨率方法，其特征在于：所述双边生成对抗网络的损失函数如下；

(1)内容损失：

去噪网络Gr、Gc内容损失：

其中，表示求平均，/>表示F-范数；RGT和CGT分别为真值图像GT按照r×1、1×r的倍数下采样得到的行真值图像和列真值图像；

融合网络Gf内容损失：

其中，表示梯度算子；

总的内容损失为：

(2)感知损失：

去噪网络Gr、Gc感知损失：

融合网络Gf感知损失：

其中φ表示特征提取器，它具体为VGG19网络的第35层输出；

总的感知损失为：

(3)对抗损失：

去噪网络Gr、Gc对抗损失：

融合网络Gf对抗损失：

总的对抗损失为：

其中为超参数，i＝con、per、adv，j＝r、c，由训练模型的时候确定最优解；

将内容损失、感知损失、对抗损失加权求和得到双边对抗生成网络的总损失：

L_G＝L_con+μ₁L_per+μ₂L_adv

同样的，μ₁、μ₂也是超参数，由训练模型的时候确定最优解。

6.如权利要求1所述的一种基于双边生成对抗网络的线扫描图像超分辨率方法，其特征在于：Gr(R_in)、Gc(C_in)的大小分别与R_in，C_in一致，但不含条纹噪声。

7.如权利要求5所述的一种基于双边生成对抗网络的线扫描图像超分辨率方法，其特征在于：

8.如权利要求5所述的一种基于双边生成对抗网络的线扫描图像超分辨率方法，其特征在于：μ₁＝1,μ₂＝1。