CN116739899A - 基于saugan网络的图像超分辨率重建方法 - Google Patents
基于saugan网络的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN116739899A CN116739899A CN202310689456.2A CN202310689456A CN116739899A CN 116739899 A CN116739899 A CN 116739899A CN 202310689456 A CN202310689456 A CN 202310689456A CN 116739899 A CN116739899 A CN 116739899A
- Authority
- CN
- China
- Prior art keywords
- image
- loss
- super
- resolution
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims abstract description 8
- 230000002708 enhancing effect Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 6
- 238000001228 spectrum Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 36
- 238000012360 testing method Methods 0.000 claims description 15
- 210000004556 brain Anatomy 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000000750 progressive effect Effects 0.000 claims description 4
- 230000002829 reductive effect Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010923 batch production Methods 0.000 claims description 3
- 238000002591 computed tomography Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000013441 quality evaluation Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims 1
- 230000002401 inhibitory effect Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于SAUGAN网络的图像超分辨率重建方法，涉及人工智能的图像与机器视觉技术领域。本发明融合了GAN网络、自注意力机制、RRDB+模块以及U‑Net架构。在生成器的浅层特征提取部分设计了多尺度特征提取模块，可以保留原始图像更多精细的细节；在生成器的深层特征提取部分设计RRDB+模块，并与自注意力机制模块相结合，充分利用残差网络的特性，关注图像全局信息，更好地利用全局特征信息进行超分辨率图像的重建，从而获得感知质量更好的图像；鉴别器采用U‑Net架构，向生成器提供全局和局部反馈，改善图像局部细节，并保持全局和局部的真实感。并采用光谱归一化正则化稳定训练过程，最终达到局部增强和抑制伪影的良好效果。
Description
技术领域
本发明涉及人工智能的图像与机器视觉技术领域，具体为基于SAUGAN网络的图像超分辨率重建方法。
背景技术
图像超分辨率重建(super-resolution,SR)是图像处理中的一项关键技术，是计算机视觉领域重要的组成部分，旨在从低分辨率(LR)图像中生成包含高频细节的高分辨率(HR)图像。超分辨率重建技术已广泛运用于诸多领域，如遥感技术、生物特征成像、公共安全领域以及医学图像等领域。例如，在医学领域，获得更高质量的图像可以帮助医生准确地检测疾病。因此，研究图像超分辨率重建对学术界和工业界都具有十分重要的意义。
图像超分辨率重建技术一般分为基于传统方法以及基于深度学习方法两大类。在传统方法中，最常用的是基于插值、基于重构以及基于学习三种方法。但是传统的插值方法由于速度快、计算简单，通常会导致边缘和纹理模糊以及伪影，基于重构和学习的超分辨率重建方法相较于基于插值的超分辨率重建方法更能突出图像的纹理细节，重建出来的图像质量也更好，但是计算量大大增加，收敛速度缓慢，无法很好地应用到现实生活场景。
近年来，深度学习得到了快速发展，并在图像超分辨率重建领域取得了较为优秀的表现，主要由卷积神经网络(CNNs)和生成对抗网络(GANs)两类主流方法。例如Dong等人于2014年提出了一种基于超分辨率卷积神经网络(SRCNN)的像素映射方法，该方法仅使用三层卷积层，在图像超分辨率上获得了比一些流行的机器学习方法更强的学习能力。虽然SRCNN具有良好的SR效果，但仍然存在结构浅、复杂度高的问题；而后一些基于SRCNN的改进网络日益增多，比如VDSR网络引入残差思想和自适应梯度裁剪的思想增大收敛稳定性，同时使用高学习率加速收敛，并使用梯度剪裁来防止梯度爆炸。但是VDSR的一个重要缺点是在进入网络之前做图像的插值放大，这使得网络参数增大计算量增加，需要更多计算时间和存储空间；为了解决上述问题，生成对抗网络(GANs)被提出通过博弈对抗的形式生成更加清晰、真实的样本。Christian等人于2017年提出了用于图像超分辨率的生成对抗网络(SRGAN)。但是SRGAN模型生成的图像依旧不清晰，并且在训练集和测试集的统计数据差异很大时，批归一化层会限制模型的泛化能力，从而引入伪影；ESRGAN网络以SRGAN网络为基础，去除批归一化层，并采用残差密集块(RRDB)替代SRGAN的基本块，从而挖掘图像更详细的信息，进一步提高图像生成质量，在图像超分辨率重建任务中已取得良好效果，但ESRGAN模型在生成丰富的纹理细节的同时又引入了额外的信息。综上所述，在应用技术领域，超分辨率重建任务还存在着一些局限性：
(1)小尺度纹理细节信息在重建过程中丢失问题。图像中具有较多小尺度纹理细节信息，而这些信息往往能起关键作用。但在卷积神经网络中纹理细节信息集中在低层级网络中，现有的算法多利用于网络深层的高层次语义信息进行重建，没有充分利用到低层级网络中的特征信息，因此如何增强图像中的纹理细节信息的重建效果是难度之一；
(2)自然图像色彩信息点较为丰富且整幅图像都是有效信息，而有些图像是灰度图，黑色背景毫无意义并且有效信息分布在部分区域，故灰度图像上提取的特征图的各个通道以及各个空间区域所包含信息的重要程度存在较大差异即纹理细节信息较少的灰度图像上提升效果不明显，缺乏对具有复杂解剖结构区域所必须的长程依赖性的捕获。
因此需要对以上问题提出一种新的解决方案。
发明内容
本发明的目的在于提供基于SAUGAN网络的图像超分辨率重建方法，以解决如背景技术中所述的技术问题。
为实现上述目的，本发明提供如下技术方案：基于SAUGAN网络的图像超分辨率重建方法，至少包括以下步骤：
S1：将收集到的计算机断层扫描MRI数据进行批量化数据预处理；
S2：将数据进行无交叉的数据集划分；
S3：设计用于超分辨率重建的损失函数；
S4：设计基于SAUGAN网络的超分辨率重建网络；
S5：训练超分辨率重建模型并进行测试，模型训练完成。
优选的，所述S1至少包括以下步骤：
图片切分，数据图像为NIFTI格式，图像大小为240×240×N的3D图像，因此采用沿水平面方向对其进行切分；
图片选取，选取第44到73片的脑部MR图像，这部分脑部结构完整，提供更详细的大脑结构信息；
获取低分辨率图像，将原始图像作为高分辨率图像，大小为240×240，经过4倍下采样得到像素为60×60的低分辨率图像；
将所有原始HR图像大小调整为120×120，LR图像大小调整为30×30，以减少系统消耗。
优选的，所述S2至少包括以下步骤：将病人进行随机打乱和划分，选取500个受试者的MR图像作为训练集，70个受试者的MR图像为测试集，其中任意一个病人的数据在训练集与测试集之间不能出现交叉。
优选的，所述S3中的损失函数至少包含以下内容：(1)结构相似性损失；(2)下采样损失；(3)边缘损失；
其中，结构相似性损失和边缘损失保证了SR图像具有与原始HR图像相似的结构，下采样损失保证了SR图像与输入LR图像有相似的强度分布。
结构相似性损失的公式为：
LSSIM＝1-SSIM(xSR，xHR)
其中，μx和μy分别为超分辨率重建图像和原始HR图像的灰度均值，和/>分别代表超分辨率重建图像与原始HR图像的灰度方差，而σxy表示两幅图像之间的灰度协方差，C1和C2均为常数，以避免不稳定性，xSR为SR图像，xHR为原始HR图像；
下采样损失的公式为：
LDown＝Ex～X||(xLR,fD(xSR))||2
其中，fD(xSR)为下采样之后的SR图像，xLR为输入的LR图像，||.||2为l2范数,下采样损失计算了SR图像和LR图像之间的像素级损失，可以防止SR图像相对于输入的LR图像产生强度变化。
边缘损失的公式为：
LEdge＝Ex～X||(fSobel(xSR)，fSobel(xHR))||2
其中，||.||2为l2范数，fSobel(xSR)表示采用Sobel算子对SR图像进行边缘提取，fSobel(xHR)表示采用Sobel算子对HR图像进行边缘提取。
对抗损失：
根据ESRGAN中对抗损失的描述，将标准鉴别器替换为了相对平均鉴别器RaD，记为DRa，标准鉴别器可表示为D(x)＝σ(C(x))，其中σ为sigmoid函数，C(x)为非变换鉴别器输出，则RaD的表达式为其中/>表示在小批处理中对所有假数据求平均的操作，因此，鉴别器的损失函数为：
生成器的对抗损失形式为：
其中，xf＝G(xi)，xi表示输入LR图像；
感知损失的公式为：
其中Wi，j和Hi，j分别描述了VGG网络中各自特征映射的维数，Φi，j表示VGG19网络中第i个maxpooling层之前的第j个卷积，在激活前得到的特征映射，表示生成器重建输入LR图像之后得到的SR图像的特征；
内容损失：
为了评估生成图像SR与原始HR图像之间的1范数距离，采用L1损失作为内容损失，损失项为：
其中，G(xi)表示生成器生成的SR图像，y表示原始HR图像；
生成器的损失函数由对抗损失、感知损失、内容损失、SSIM损失、下采样损失以及边缘损失构成，因此，生成器的总损失函数可以表示为：
其中，λ1、λ2、λ3、λ4以及λ5为平衡不同损失项的系数。
优选的，所述S5至少包括以下步骤：
通过所述S4制定的联合损失函数进行训练；
利用生成对抗网络在训练过程中梯度反向传播来更新模型权重；
最后模型训练完毕，在测试集上进行超分辨率重建效果的评估。
优选的，所述S5中涉及的超分辨率重建评价指标计算的步骤如下：使用峰值信噪比、结构相似性(以及无参考图像质量评估指标进行定量评估；
PSNR是最普遍和使用最为广泛的一种图像客观评价指标，是基于像素点之间的误差，其定义如下所示：
其中，n表示图像像素的比特数MSE为均方误差，值越低，PSNR值越高；
MSE如式所示：
其中f(i，j)和g(i，j)分别表示高为H，宽为W的SR重建图像与真实HR图像在像素点(i，j)处的灰度值，PSNR的单位为dB，PSNR的值越大代表重建图像的失真越小，质量越好。
SSIM的取值范围为[0,1]，若值越靠近1，则说明图像失真越小，两幅图越相似。
NIQE指标是用NSS特征模型与提取自失真图像特征的MVG间的距离来表示失真图像的质量，值越低图像质量越好：
其中，v1，v2，∑1和∑2分别表示自然MVG模型与失真图像MVG模型的均值向量和协方差矩阵。
优选的，所述S5中的训练超分辨率重建模型至少包括生成器和鉴别器两个部分，生成器部分包含三个内容：浅层特征提取、深层特征提取以及上采样，鉴别器部分主要架构为U-Net网络；
所述生成器模型由多尺度特征提取模块、自注意力机制模块、RRDB+模块以及亚像素卷积组成，所述层特征提取部分主要由多尺度特征提取模块通过不同卷积核计算不同尺度上的浅特征，然后将三个尺度的通道数连接到一个特征向量中，最终结果将作为下一步深层特征提取的输入；
所述深层特征提取部分至少包括自注意力机制模块和RRDB+模块，在RRDB模块的密集块中加入一个残差，充分利用残差网络的特性，从而获得感知质量更好的图像，并且将自注意力机制模块的输出跳跃连接到RRDB+模块的输出形成残差连接；
所述鉴别器模型由U-Net架构构成，在下采样编码器模块经过四层下采样，逐步降低输入样本，捕获全局图像上下文，而上采样解码器采用渐进式上采样，将输出分辨率匹配到输入分辨率，并采用光谱归一化正则化稳定训练过程，最终达到局部增强和抑制伪影的效果。
与现有技术相比，本发明的有益效果是：
1、本发明通过融合了GAN网络、自注意力机制、RRDB+模块以及U-Net架构。在生成器的浅层特征提取部分设计了多尺度特征提取模块，可以保留原始图像更多精细的细节；在生成器的深层特征提取部分设计RRDB+模块，并与自注意力机制模块相结合，充分利用残差网络的特性，关注图像全局信息，更好地利用全局特征信息进行超分辨率图像的重建，从而获得感知质量更好的图像；鉴别器采用U-Net架构，向生成器提供全局和局部反馈，改善图像局部细节，并保持全局和局部的真实感。并采用光谱归一化正则化稳定训练过程，最终达到局部增强和抑制伪影的良好效果；
2、本发明设计了一个新的损失函数，此损失函数由结构相似性损失、下采样损失以及边缘损失组成，保证了SR图像具有与原始HR图像相似的结构，也保证了SR图像与输入LR图像有相似的强度分布，使得生成的SR图像与原始HR图像之间具有相同的边缘结构和纹理信息。
3、本发明针对医学图像和自然图像都能有效重建出超分辨率图像。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的整体图像超分辨率重建算法流程图。
图2为本发明提供的SAUGAN网络中生成器总架构示意图。
图3为本发明提供的生成器中浅层特征提取模块示意图。
图4为本发明提供的生成器中深层特征提取模块示意图。
图5为本发明提供的深层特征提取模块中自注意力机制模块示意图。
图6为本发明提供的鉴别器模块示意图。
图7为本发明提供的IXI数据集上不同图像的超分辨率结果可视化对比图。
图8为本发明提供的图像小区域纹理细节结果可视化对比图。
图9为本发明提供的模块消融实验结果可视化对比图。
图10为本发明提供的损失函数消融实验结果可视化对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一：
请参阅图1-图10，基于SAUGAN网络的图像超分辨率重建方法，至少包括以下步骤：
S1：将收集到的计算机断层扫描MRI数据进行批量化数据预处理；
S2：将数据进行无交叉的数据集划分；
S3：设计用于超分辨率重建的损失函数；
S4：设计基于SAUGAN网络的超分辨率重建网络；
S5：训练超分辨率重建模型并进行测试，模型训练完成。
S1至少包括以下步骤：
图片切分，数据图像为NIFTI格式，图像大小为240×240×N的3D图像，因此采用沿水平面方向对其进行切分；
图片选取，选取第44到73片的脑部MR图像，这部分脑部结构完整，提供更详细的大脑结构信息；
获取低分辨率图像，将原始图像作为高分辨率图像，大小为240×240，经过4倍下采样得到像素为60×60的低分辨率图像；
将所有原始HR图像大小调整为120×120，LR图像大小调整为30×30，以减少系统消耗；
S2至少包括以下步骤：将病人进行随机打乱和划分，选取500个受试者的MR图像作为训练集，70个受试者的MR图像为测试集，其中任意一个病人的数据在训练集与测试集之间不能出现交叉；
S3针对低分辨率图像在生成时存在纹理细节不清晰、结构不完整的情况，提出了一个新的损失函数。此损失函数保留了ESRGAN模型中的三个损失函数，即对抗损失、感知损失以及内容损失。但是，传统的ESRGAN中使用的损失函数不能保证生成的SR图像与原始HR图像之间具有相同的结构和纹理信息，因此，在保留ESRGAN中的损失函数的同时，设计了一组新的损失函数。这组新的损失函数至少包含以下内容：结构相似性(SSIM)损失；(2)下采样损失(downsampling loss)；(3)边缘损失(edge loss)；
其中，结构相似性损失和边缘损失保证了SR图像具有与原始HR图像相似的结构，下采样损失保证了SR图像与输入LR图像有相似的强度分布。
结构相似性损失的公式为：
LSSIM＝1-SSIM(xSR，xHR)
其中，μx和μy分别为超分辨率重建图像和原始HR图像的灰度均值，和/>分别代表超分辨率重建图像与原始HR图像的灰度方差，而σxy表示两幅图像之间的灰度协方差，C1和C2均为常数，以避免不稳定性，xSR为SR图像，xHR为原始HR图像；
下采样损失的公式为：
LDown＝Ex～x||(xLR,fD(xSR))||2
其中，fD(xSE)为下采样之后的SR图像，xLR为输入的LR图像，||.||2为l2范数,下采样损失计算了SR图像和LR图像之间的像素级损失，可以防止SR图像相对于输入的LR图像产生强度变化。
边缘损失的公式为：
LEdge＝Ex～X||(fSobel(xSR)，fSobel(xHR))||2
其中，||.||2为l2范数，fSobel(xSR)表示采用Sobel算子对SR图像进行边缘提取，fSobel(xHR)表示采用Sobel算子对HR图像进行边缘提取。
对抗损失：
根据ESRGAN中对抗损失的描述，将标准鉴别器替换为了相对平均鉴别器RaD，记为DRa，标准鉴别器可表示为D(x)＝σ(C(x))，其中σ为sigmoid函数，C(x)为非变换鉴别器输出，则RaD的表达式为其中/>表示在小批处理中对所有假数据求平均的操作，因此，鉴别器的损失函数为：
生成器的对抗损失形式为：
其中，xf＝G(xi)，xi表示输入LR图像；
感知损失的公式为：
其中Wi，j和Hi，j分别描述了VGG网络中各自特征映射的维数，Φi，j表示VGG19网络中第i个maxpooling层之前的第j个卷积，在激活前得到的特征映射，表示生成器重建输入LR图像之后得到的SR图像的特征；
内容损失：
为了评估生成图像SR与原始HR图像之间的1范数距离，采用L1损失作为内容损失，损失项为：
其中，G(xi)表示生成器生成的SR图像，y表示原始HR图像；
生成器的损失函数由对抗损失、感知损失、内容损失、SSIM损失、下采样损失以及边缘损失构成，因此，生成器的总损失函数可以表示为：
其中，λ1、λ2、λ3、λ4以及λ5为平衡不同损失项的系数；
S5至少包括以下步骤：
通过S4制定的联合损失函数进行训练；
利用生成对抗网络在训练过程中梯度反向传播来更新模型权重；
最后模型训练完毕，在测试集上进行超分辨率重建效果的评估；
S5中涉及的超分辨率重建评价指标计算的步骤如下：使用峰值信噪比(PSNR)、结构相似性(SSIM)以及无参考图像质量评估指标(NIQE)进行定量评估；
PSNR是最普遍和使用最为广泛的一种图像客观评价指标，是基于像素点之间的误差，其定义如下所示：
其中，n表示图像像素的比特数，通常为8，即像素灰度阶数为256，MSE为均方误差，值越低，PSNR值越高；
MSE如式所示：
其中f(i，j)和g(i，j)分别表示高为H，宽为W的SR重建图像与真实HR图像在像素点(i，j)处的灰度值，PSNR的单位为dB，PSNR的值越大代表重建图像的失真越小，质量越好。
SSIM的取值范围为[0,1]，若值越靠近1，则说明图像失真越小，两幅图越相似。
NIQE指标是用NSS特征模型与提取自失真图像特征的MVG间的距离来表示失真图像的质量，值越低图像质量越好：
其中，v1，v2，∑1和∑2分别表示自然MVG模型与失真图像MVG模型的均值向量和协方差矩阵；
S5中的训练超分辨率重建模型至少包括生成器和鉴别器两个部分，生成器部分包含三个内容：浅层特征提取、深层特征提取以及上采样，整体架构见图2；鉴别器部分主要架构为U-Net网络，整体架构见图6；
生成器模型由多尺度特征提取模块、自注意力机制模块、RRDB+模块以及亚像素卷积组成，层特征提取部分主要由多尺度特征提取模块通过不同卷积核计算不同尺度上的浅特征，然后将三个尺度的通道数连接到一个特征向量中，最终结果将作为下一步深层特征提取的输入；
深层特征提取部分至少包括自注意力机制模块和RRDB+模块，在RRDB模块的密集块中加入一个残差，充分利用残差网络的特性，从而获得感知质量更好的图像，并且将自注意力机制模块的输出跳跃连接到RRDB+模块的输出形成残差连接；
鉴别器模型由U-Net架构构成，在下采样编码器模块经过四层下采样，逐步降低输入样本，捕获全局图像上下文，而上采样解码器采用渐进式上采样，将输出分辨率匹配到输入分辨率，并采用光谱归一化正则化稳定训练过程，最终达到局部增强和抑制伪影的效果。
浅层特征提取模块结构：
计多尺度特征提取模块对图像进行浅层特征提取，内部结构如图3，分别采用卷积核大小为3、5和7的核来计算不同尺度上的浅特征。如图3所示，对于每个尺度的特征提取由两个块组成，每个块包含两个卷积层，通道数均为64，stride均为1，每个卷积层之后为一个ReLU激活函数，并且第一个块与第二个块之间加入了跳跃连接，使得第一个块的特征和第二个块的特征按元素添加。经过不同尺度特征提取后，将三个尺度的通道数连接到一个特征向量中，最终结果将作为下一步深层特征提取的输入。利用多尺度进行特征提取可以保留原始图像更多精细的细节。采用多尺度方式进行浅层特征提取的方式可以表示为：
fi(i＝3，5，7)＝Re(C(Re(C(Fin))))
FMssFE＝Concat(F3,Fs,F7)
其中，Fin代表输入LR图像，C(.)和Re(.)分别表示卷积和ReLU激活函数，fi(i＝3，5，7)表示经过卷积核大小为3，5，7后得到的第一个块的输出特征，Fi(i＝3，5，7)表示经过卷积核大小为3，5，7后得到的第二个块的输出特征，代表逐像素相加,Concat(.)表示特征通道数相加，FMssFE表示多尺度浅层特征提取模块输出特征；
深层特征提取模块内部结构如图4，主要是在RRDB模块的密集块中加入一个残差。充分利用残差网络的特性，从而获得感知质量更好的图像。其次，对于卷积而言，卷积核的设置限制了感受野的大小，导致网络往往需要多层的堆叠才能关注到整个特征图。而自注意力的优势就是它的关注是全局的，它能通过简单的查询与赋值就能获取到特征图的全局空间信息。因此，我们还在生成器中加入了自注意力机制，可以更好地利用全局特征信息进行超分辨率图像的重建。卷积运算后，卷积特征通过1×1的卷积得到三个分支，分别为f(x)、g(x)以及h(x)，特征图大小不变，f(x)和g(x)输出通道数改变，h(x)输出通道数不变。然后将f(x)的输出进行转置，并与h(x)的输出矩阵相乘，通过softmax归一化得到attention maps，最后与h(x)的输出相乘，再经过1×1的卷积得到最终的特征图。其中，
f(x)＝Wfx，g(x)＝Wgx
βj，i为模型在合成第j个区域时对第i个位置的关注程度。输出的注意力层表示为：
o＝(01，02，...，0i，...，0N)∈RC×N
其中，C为通道数，N为上一层隐藏层特征的特征数位置，
在上述公式中，Wf，Wg，Wh和Wv为学习的权重矩阵，由1×1卷积实现。此外，进一步将注意力层的输出乘以比例参数并添加回输入特征图，最终输出为：
yi＝γoi+xi
其中，y为预先设定的系数，初始值为0。引入系数y使得网络首先依赖于局部邻域的线索，然后逐渐学会给非局部域分配更多的权重。自注意力模块的结构如图5所示。深层特征提取部分具体结构如图4所示。
鉴别模块内部结构如图6，由于鉴别器对于复杂的训练输出需要更强大的鉴别能力，我们采用了U-Net网络作为鉴别器，向生成器提供全局和局部反馈，改善图像局部细节，并保持全局和局部的真实感。如图6所示，我们的鉴别器网络由下采样编码器模块和上采样解码器模块组成。下采样编码器模块经过四层下采样，第一层为卷积和LReLU激活函数吧，第二层到第四层为卷积、LReLU激活函数以及光谱归一化，逐步降低输入样本，捕获全局图像上下文。而上采样解码器采用渐进式上采样，与编码器结构一样，将输出分辨率匹配到输入分辨率。最终达到局部增强和抑制伪影的良好效果。
实施例二：
本发明以脑部MR图像为例。经过数据预处理后得到15000张2D MR脑部图像作为训练集，2100张2D MR脑部图像作为测试集。在训练和测试模型超分辨率重建性能时使用以下指标对分割模型进行评估：峰值信噪比系数(PSNR)、结构相似性(SSIM)、自然图像质量评估(NIQE)。
将SAUGAN算法与多种优秀的超分辨重建算法进行对比，在公开数据集IXI上最终结果如表1，可视化对比效果如图7；此外我们还针对各模块做了对比实验，对比结果如表2所示，可视化如图8所示；最后从损失函数角度进行对比，如表3所示，可视化结果如图9所示。所有实验表明，SAUGAN网络在本实施案例中拥有最好的超分辨重建性能，在保持图像细节的同时提高了图像的整体质量。
表1在数据集IXI上模型对比结果(加粗表示最优，下划线表示次优)
表2模块消融实验对比结果
表3损失函数消融实验对比结果
针对大多数超分辨率重建模型生成的超分辨率图像不清晰、纹理细节不突出、边缘轮廓模糊以及生成伪影引入额外信息的问题，本专利提出了一种用于图像超分辨率重建的SAUGAN网络，主要由生成器和鉴别器两部分组成。一方面，将提出的多尺度特征提取模块、自注意力机制以及RRDB+网络相结合作为生成器，在特征提取过程中关注图像全局信息，获得更高感知质量的图像；另一方面，采用U-net形成鉴别器网络，向生成器提供详细的逐像素反馈，用于对原始HR图像和重建的SR图像进行区分，最终达到局部增强和抑制伪影的良好效果。除此之外，本专利还提出了一个新的损失函数，使得SR图像纹理细节最接近于原始HR图像。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (7)
1.基于SAUGAN网络的图像超分辨率重建方法，其特征在于：至少包括以下步骤：
S1：将收集到的计算机断层扫描MRI数据进行批量化数据预处理；
S2：将数据进行无交叉的数据集划分；
S3：设计用于超分辨率重建的损失函数；
S4：设计基于SAUGAN网络的超分辨率重建网络；
S5：训练超分辨率重建模型并进行测试，模型训练完成。
2.根据权利要求1所述的基于SAUGAN网络的图像超分辨率重建方法，其特征在于：所述S1至少包括以下步骤：
图片切分，数据图像为NIFTI格式，图像大小为240×240×N的3D图像，因此采用沿水平面方向对其进行切分；
图片选取，选取第44到73片的脑部MR图像，这部分脑部结构完整，提供更详细的大脑结构信息；
获取低分辨率图像，将原始图像作为高分辨率图像，大小为240×240，经过4倍下采样得到像素为60×60的低分辨率图像；
将所有原始HR图像大小调整为120×120，LR图像大小调整为30×30，以减少系统消耗。
3.根据权利要求1所述的基于SAUGAN网络的图像超分辨率重建方法，其特征在于：所述S2至少包括以下步骤：将病人进行随机打乱和划分，选取500个受试者的MR图像作为训练集，70个受试者的MR图像为测试集，其中任意一个病人的数据在训练集与测试集之间不能出现交叉。
4.根据权利要求1所述的基于SAUGAN网络的图像超分辨率重建方法，其特征在于：所述S3中的损失函数至少包含以下内容：结构相似性损失；下采样损失；边缘损失；
其中，结构相似性损失和边缘损失保证了SR图像具有与原始HR图像相似的结构，下采样损失保证了SR图像与输入LR图像有相似的强度分布；
结构相似性损失的公式为：
LSSIM＝1-SSIM(xSR，xHR)
其中，μx和μy分别为超分辨率重建图像和原始HR图像的灰度均值，和/>分别代表超分辨率重建图像与原始HR图像的灰度方差，而σxy表示两幅图像之间的灰度协方差，C1和C2均为常数，以避免不稳定性，xSR为SR图像，xHR为原始HR图像；
下采样损失的公式为：
LDown＝Ex～X||(xLR，fD(xSR))||2
其中，fD(xSR)为下采样之后的SR图像，xLR为输入的LR图像，||.||2为l2范数，下采样损失计算了SR图像和LR图像之间的像素级损失，可以防止SR图像相对于输入的LR图像产生强度变化；
边缘损失的公式为：
LEdge＝Ex～X||(fSobel(xSR)，fSobel(xHR))||2
其中，||.||2为l2范数，fSobel(xSR)表示采用Sobel算子对SR图像进行边缘提取，fSobel(xHR)表示采用Sobel算子对HR图像进行边缘提取；
对抗损失：
根据ESRGAN中对抗损失的描述，将标准鉴别器替换为了相对平均鉴别器RaD，记为DRa，标准鉴别器可表示为D(x)＝σ(C(x))，其中σ为sigmoid函数，C(x)为非变换鉴别器输出，则RaD的表达式为DRa(xr，xf)＝σ(C(xr)-ExfCxf,其中Exf表示在小批处理中对所有假数据求平均的操作，因此，鉴别器的损失函数为：
生成器的对抗损失形式为：
其中，xf＝G(xi)，xi表示输入LR图像；
感知损失的公式为：
其中Wi，j和Hi,j分别描述了VGG网络中各自特征映射的维数，Φi，j表示VGG19网络中第i个maxpooling层之前的第j个卷积，在激活前得到的特征映射，表示生成器重建输入LR图像之后得到的SR图像的特征；
内容损失：
为了评估生成图像SR与原始HR图像之间的1范数距离，采用L1损失作为内容损失，损失项为：
其中，G(xi)表示生成器生成的SR图像，y表示原始HR图像；
生成器的损失函数由对抗损失、感知损失、内容损失、SSIM损失、下采样损失以及边缘损失构成，因此，生成器的总损失函数表示为：
其中，λ1、λ2、λ3、λ4以及λ5为平衡不同损失项的系数。
5.根据权利要求1所述的基于SAUGAN网络的图像超分辨率重建方法，其特征在于：所述S5至少包括以下步骤：
通过所述S4制定的联合损失函数进行训练；
利用生成对抗网络在训练过程中梯度反向传播来更新模型权重；
最后模型训练完毕，在测试集上进行超分辨率重建效果的评估。
6.根据权利要求5所述的基于SAUGAN网络的图像超分辨率重建方法，其特征在于：所述S5中涉及的超分辨率重建评价指标计算的步骤如下：使用峰值信噪比、结构相似性以及无参考图像质量评估指标进行定量评估；
PSNR是最普遍和使用最为广泛的一种图像客观评价指标，是基于像素点之间的误差，其定义如下所示：
其中，n表示图像像素的比特数，MSE为均方误差，值越低，PSNR值越高；
MSE如式所示：
其中f(i，j)和g(i，j)分别表示高为H，宽为W的SR重建图像与真实HR图像在像素点(i，j)处的灰度值，PSNR的单位为dB，PSNR的值越大代表重建图像的失真越小，质量越好；
SSIM的取值范围为[0，1]，若值越靠近1，则说明图像失真越小，两幅图越相似；
NIQE指标是用NSS特征模型与提取自失真图像特征的MVG间的距离来表示失真图像的质量，值越低图像质量越好：
其中，v1，v2，∑1和∑2分别表示自然MVG模型与失真图像MVG模型的均值向量和协方差矩阵。
7.根据权利要求1所述的基于SAUGAN网络的图像超分辨率重建方法，其特征在于：所述S5中的训练超分辨率重建模型至少包括生成器和鉴别器两个部分，生成器部分包含三个内容：浅层特征提取、深层特征提取以及上采样；鉴别器部分主要架构为U-Net网络；
所述生成器模型由多尺度特征提取模块、自注意力机制模块、RRDB+模块以及亚像素卷积组成，所述层特征提取部分主要由多尺度特征提取模块通过不同卷积核计算不同尺度上的浅特征，然后将三个尺度的通道数连接到一个特征向量中，最终结果将作为下一步深层特征提取的输入；
所述深层特征提取部分至少包括自注意力机制模块和RRDB+模块，在RRDB模块的密集块中加入一个残差，利用残差网络的特性，获得感知质量更好的图像，并将自注意力机制模块的输出跳跃连接到RRDB+模块的输出形成残差连接；
所述鉴别器模型由U-Net架构构成，在下采样编码器模块经过四层下采样，逐步降低输入样本，捕获全局图像上下文，而上采样解码器采用渐进式上采样，将输出分辨率匹配到输入分辨率，并采用光谱归一化正则化稳定训练过程，最终达到局部增强和抑制伪影的效果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310689456.2A CN116739899A (zh) | 2023-06-12 | 2023-06-12 | 基于saugan网络的图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310689456.2A CN116739899A (zh) | 2023-06-12 | 2023-06-12 | 基于saugan网络的图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116739899A true CN116739899A (zh) | 2023-09-12 |
Family
ID=87914487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310689456.2A Pending CN116739899A (zh) | 2023-06-12 | 2023-06-12 | 基于saugan网络的图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116739899A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117291803A (zh) * | 2023-09-28 | 2023-12-26 | 太原理工大学 | Pamgan轻量化面部超分辨率重建方法 |
| CN117409100A (zh) * | 2023-12-15 | 2024-01-16 | 山东师范大学 | 基于卷积神经网络的cbct图像伪影矫正系统及方法 |
-
2023
- 2023-06-12 CN CN202310689456.2A patent/CN116739899A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117291803A (zh) * | 2023-09-28 | 2023-12-26 | 太原理工大学 | Pamgan轻量化面部超分辨率重建方法 |
| CN117291803B (zh) * | 2023-09-28 | 2024-02-27 | 太原理工大学 | Pamgan轻量化面部超分辨率重建方法 |
| CN117409100A (zh) * | 2023-12-15 | 2024-01-16 | 山东师范大学 | 基于卷积神经网络的cbct图像伪影矫正系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lim et al. | DSLR: Deep stacked Laplacian restorer for low-light image enhancement | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN110570353A (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN110473142B (zh) | 基于深度学习的单幅图像超分辨率重建方法 | |
| CN113284051B (zh) | 一种基于频率分解多注意力机制的人脸超分辨方法 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN112837244B (zh) | 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法 | |
| CN113298718A (zh) | 一种单幅图像超分辨率重建方法及系统 | |
| CN111583285A (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
| CN115511767B (zh) | 一种自监督学习的多模态图像融合方法及其应用 | |
| CN112801914A (zh) | 一种基于纹理结构感知的二段式图像修复方法 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| CN109064402A (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| Liu et al. | Deep image inpainting with enhanced normalization and contextual attention | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| CN112541566B (zh) | 一种基于重构损失的图像翻译方法 | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| CN116385281A (zh) | 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法 | |
| Wang et al. | STDIN: Spatio-temporal distilled interpolation for electron microscope images | |
| Du et al. | X-ray image super-resolution reconstruction based on a multiple distillation feedback network | |
| Li et al. | Super-resolution reconstruction of underwater image based on image sequence generative adversarial network | |
| Shao et al. | SRWGANTV: image super-resolution through wasserstein generative adversarial networks with total variational regularization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |