CN115239557B - 轻量化的x光图像超分辨率重建方法 - Google Patents

轻量化的x光图像超分辨率重建方法 Download PDF

Info

Publication number
CN115239557B
CN115239557B CN202210810499.7A CN202210810499A CN115239557B CN 115239557 B CN115239557 B CN 115239557B CN 202210810499 A CN202210810499 A CN 202210810499A CN 115239557 B CN115239557 B CN 115239557B
Authority
CN
China
Prior art keywords
super
image
training
ldran
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210810499.7A
Other languages
English (en)
Other versions
CN115239557A (zh
Inventor
杨昆
原嘉成
薛林雁
常世龙
刘爽
秦赓
王尉丞
侯亚
孙宇锋
汪世伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University
Original Assignee
Hebei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University filed Critical Hebei University
Priority to CN202210810499.7A priority Critical patent/CN115239557B/zh
Publication of CN115239557A publication Critical patent/CN115239557A/zh
Application granted granted Critical
Publication of CN115239557B publication Critical patent/CN115239557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种轻量化的X光图像超分辨率重建方法，其特征是，包括有如下步骤：A、搭建轻量化超分辨率网络LDRAN并对其进行训练：B、对轻量化超分辨率网络LDRAN进行测试；C、将测试好的轻量化超分辨网络LDRAN在设备上进行部署。本发明的轻量化X光医学图像超分辨率重建方法和系统，从模型结构和应用部署两个方面对现有技术进行了改进，提出了更轻量高效的轻量化超分辨率网络LDRAN，针对X光医学图像的特点进行特征的提取，减少网络参数量，使算法适用于X光医学图像的同时提升轻量化性能，并且方法具有更好的重建性能和鲁棒性。将提出的轻量化算法在边缘计算平台NVIDIA Jetson Nano上进行部署，实现移动端的X光医学图像超分辨率重建。

Description

轻量化的X光图像超分辨率重建方法
技术领域
本发明涉及图像处理技术领域，具体地说是一种轻量化的X光图像超分辨率重建方法。
背景技术
目前，医学图像超分辨率是图像处理研究和发展的一个热点问题。X光成像是当前临床医学中疾病筛查和诊断最常用的医学成像技术之一。在X光图像成像、传输、存储等过程中可能受到设备、扫描时间和外部环境等不利因素的影响，获取的图像往往会退化，造成图像中有用信息的丢失，导致无法获得高分辨率的X光图像，难以满足临床上对高分辨率医学图像越来越高的需求。尽管存在各种不利因素的影响，图像分辨率可以通过超分辨率算法或者升级硬件系统来提高，但是升级硬件系统技术复杂且成本高昂，与之相比，超分辨率算法具有成本低、效率高的优点，因此广泛应用于医学图像增强。当前在医学图像超分辨率领域中，图像超分辨率的方法大致可以分为三类：基于插值的医学图像超分辨率重建算法、基于重构的超分辨率重建算法和基于学习的超分辨率重建算法。基于插值的医学图像超分辨率重建算法仅使用局部像素点来计算插值点的像素值，图像的高频细节无法修复，因此产生的超分辨率图像的清晰度有限；而基于重构的超分辨率重建算法成像效果有所改善，但其算法复杂度和计算难度也大大增加；相比较而言，基于学习的超分辨率重建算法通过学习大量高分辨图像得到图像对之间的非线性关系模型，取得了更好的效果。现有技术对医学图像超分辨算法没有考虑轻量化和算法设备部署问题，参数量过大难以在移动计算平台进行部署。
发明内容
本发明的目的就是提供一种轻量化的X光图像超分辨率重建方法，以解决现有技术中参数量过大难以在移动计算平台进行部署的问题。
本发明是这样实现的：一种轻量化的X光图像超分辨率重建方法，包括有如下步骤：
A、搭建轻量化超分辨率网络LDRAN并对其进行训练：
A1、将DIV2K自然图像数据集和X光医学图像数据集合理分配各自的训练集与测试集；
A2、对两种数据集的训练集和测试集的每张图像进行双三次下采样，得到包含高低分辨率图像对的训练集和测试集，并对训练集和测试集中的每张图像进行裁切；
A3、使用的轻量化残差模块LDRB、残差级联模块IRSC和混合多维度注意力模块CSPMA组成主残差模块MLDRB搭建成轻量化超分辨率网络LDRAN；
A4、采用双阶段训练法进行训练，首先使用步骤A2中得到的自然图像数据集中的训练集迭代训练步骤A3中搭建的轻量化超分辨网络LDRAN，接着使用步骤A2中得到的X光医学图像数据集中训练集再迭代训练轻量化超分辨网络LDRAN；
B、对轻量化超分辨率网络LDRAN进行测试；
C、将测试好的轻量化超分辨网络LDRAN在边缘计算平台NVIDIA Jetson Nano上进行部署。
进一步地，本发明可以按如下技术方案实现：
在所述步骤B中，具体包括如下步骤：
B1、选取步骤A4训练过程中评价指标最高的模型作为最优模型进行加载；
B2、将步骤A2中获得的自然图像和X光医学图像数据集的测试集输入到超分辨率网络模型LDRAN中，得到自然图像和X光医学图像超分辨率重建结果；
B3、通过计算PSNR、SSIM两种客观图像质量评价指标，对步骤B2中得到的X光医学图像超分辨重建结果进行评价。
在所述步骤C中，具体包括如下步骤：
C1、将轻量化超分辨算法LDRAN在轻量化计算平台NVIDIA Jetson Nano上进行部署；
C2、将步骤A4中最优的训练模型加载入移动计算平台NVIDIA Jetson Nano；
C3、建立共享文件夹，将临床医学图像送入NVIDIA Jetson Nano进行超分辨重建。
在所述步骤A3中，所述轻量化残差模块LDRB由4个卷积层和4个激活函数层ReLU组成；第1层卷积的通道数由C降维为C/2，经过第2、3层卷积后，在第4个卷积层将通道恢复成C维。
在所述步骤A3中，所述主残差模块MLDRB由3个轻量化残差模块LDRB和一个混合多维度注意力模块CSPMA使用IRSC连接而成；所述残差级联模块IRSC由两个跳跃连接和一个1×1卷积层组成，将上一层轻量化残差模块LDRB和1×1卷积层的输出使用跳跃连接输入当前1×1卷积层和当前LDRB的输出进行融合拼接，通过对上一层融合拼接前后的特征图进行复用作为当前融合层的输入。
在所述步骤A3中，所述混合多维度注意力模块的包括有通道注意力模块、空间注意力模块结构和像素注意力模块；输入的特征图Fin分别在通道注意力模块和像素注意力模块中进行计算，得到通道特征图Fc和像素特征图Fp，再将通道特征图Fc与特征图Fin相乘，得到通道注意力筛选后的特征图F'，将特征图F'在空间注意力模块中进行卷积计算后得到二维空间注意力特征图Fs，特征图Fs与特征图F'相乘输出空间注意力筛选后的特征图F"，将像素注意力筛选后的特征图Fp与F"相加得到输出Fout。
所述通道注意力模块选用SKNet，首先是分离操作，将特征图Fin分别通过一个3×3卷积、一个5×5卷积和一个7×7卷积生成三个特征图，接着是融合操作，将三个特征图相加得到一个新的特征图，对新的特征图进行全局平均池化操作，然后是选择操作使用全连接层先进行降维再升维输出三个权重矩阵，通过使用三个权重矩阵对之前的三个特征图进行加权操作最后相加输出筛选后的特征图FC；
所述空间注意力模块，对输入的特征图F'先进行最大池化和平局池化操作后，再使用一个卷积核大小为7×7的卷积进行计算，最后通过sigmoid激活函数得到输入特征的空间注意特征图FS；
所述像素注意力模块，将输入的特征图Fin使用1×1卷积层进行计算，接着使用sigmoid激活函数对计算后的特征图进行处理，最后将其与输入特征相乘得到最终的特征图FP。
在所述步骤A4中，使用的损失函数为：
其中，θ为训练参数组，为低清图像，y为原始高清图像/>HLDRAN为超分辨率重建过程，N为图像总数。
在所述步骤A4中，在LDRAN模型的训练过程中，使用Adam(Adaptive momentum)自适应动量的随机优化器优化损失函数，动量参数(Momentum)设置为0.9，模型共训练1500个epoch，初始学习率设置为2e-4，并每隔200个epoch学习率乘以0.1，每10个epoch保存一次训练结果，最后可以达到收敛状态。
本发明的轻量化X光医学图像超分辨率重建方法和系统，提出了更轻量高效的轻量化超分辨率网络LDRAN，针对X光医学图像的特点进行特征的提取，减少网络参数量，使算法适用于X光医学图像的同时提升轻量化性能，并且方法具有更好的重建性能和鲁棒性。将提出的轻量化算法在边缘计算平台NVIDIA Jetson Nano上进行部署，实现移动端的X光医学图像超分辨率重建。
本发明使用轻量化超分辨率网络LDRAN，即可达到较好的X光图像重建结果。通过使用全新设计的轻量化残差块LDRB、改进的残差级联模块IRSC和混合多维度注意力模块CSPMA组成主残差块MLDRB搭建轻量化超分辨率网络LDRAN，在不增加参数量的情况下使用更多的卷积提取图像的特征信息，同时残差级联模块IRSC中的级联结构增强了卷积层之间特征信息的相关性。考虑医学图像中有用信息占比小，网络学习过程中会学习到很多无用的信息，提出了混合多维度注意力模块CSPMA，从多个维度对输入图像的信息进行提取，重建结果有所提升。针对医学图像难以获取高清图像进行训练，采用双阶段学习的方法，先采用高清自然图像DIV2K数据集对网络进行训练，再使用X光医学图像数据集进行训练，加快网络的收敛速度。
附图说明
图1是本发明的搭建轻量化超分辨率网络LDRAN并进行训练的流程图。
图2是对轻量化超分辨率网络LDRAN进行测试的流程图。
图3是将测试好的轻量化超分辨网络LDRAN在设备上进行部署的流程图。
图4是轻量化超分辨率网络LDRAN的结构图。
图5是残差模块MLDRB的结构图。
图6是轻量化残差模块LDRB的结构图。
图7是残差级联模块IRSC的结构图。
图8是混合多维度注意力模块CSPMA的结构图。
图9是通道注意力模块的结构图。
图10是空间注意力模块结构的结构图。
图11是像素注意力模块的结构图。
图12是不同算法的参数量和PSNR性能表现图。
图13是不同算法X射线胸腔图像4倍放大重建局部对比图。
图14是不同算法X射线胸腔图像4倍放大重建整体对比图。
具体实施方式
本发明的轻量化的X光图像超分辨率重建方法，包括有如下步骤：
A、如图1所示，搭建轻量化超分辨率网络LDRAN并对其进行训练：
A1、将DIV2K自然图像数据集和X光医学图像数据集合理分配各自的训练集与测试集，保证后续训练和测试的高效和合理。
采用双阶段训练策略，第一阶段训练集使用DIV2K自然图像数据集，卷积神经网络模型依赖于大量数据以获取最佳性能，因此采用旋转、缩放的方法对DIV2K训练集进行扩充。每幅图像按90°、180°和270°的角度进行旋转，按照0.9、0.8、0.7、0.6、0.5的比例进行缩放，最终将数据集扩充到12000张图像。
第二阶段采用医学图像数据集Chest X-ray进行训练，Chest X-ray是由美国国立卫生研究院(NIH)发布的医学图像数据集，包含108948张胸部X线片，从中随机选取了4000张图像构建医学图像训练集。
A2、对两种数据集的训练集和测试集的每张图像进行双三次下采样，得到包含高低分辨率图像对的训练集和测试集。
由于所有训练集和测试集中图像的尺寸较大(超过1180×920)，难以将整个图像送入到网络中进行操作，故将每张图像裁切成多张尺寸为192×192的切块(Patch)。
A3、使用的轻量化残差模块LDRB、残差级联模块IRSC和混合多维度注意力模块CSPMA组成主残差块模块MLDRB搭建成轻量化超分辨率网络LDRAN，如图4。
如图5所示，主残差模块MLDRB由3个轻量化残差模块LDRB和一个混合多维度注意力模块CSPMA使用残差级联模块IRSC连接。残差级联模块IRSC由两个跳跃连接和一个1×1卷积层组成，将上一层轻量化残差模块LDRB和1×1卷积层的输出使用跳跃连接输入当前1×1卷积层和当前LDRB的输出进行融合拼接，通过对上一层融合拼接前后的特征图进行复用作为当前融合层的输入，提升了卷积层内部信息的相关性和特征多样性。
如图6所示，轻量化残差模块LDRB由4个卷积层和4个激活函数层ReLU组成，通过将深度残差模块卷积层之间的特征通道数量减半，使得残差结构的层数更多且不增加模型的参数量。具体地说深度残差模块中的卷积层由原来的2层扩展到4层，激活函数层ReLU由1层扩展到4层，且第1层卷积的通道数由C降维为C/2，经过第2、3层卷积后，在第4个卷积层将通道恢复成C维。
为了验证本发明提出的深度残差模块在增加卷积层数量的情况下依旧保持轻量化，参考CARN的计算方法对两种残差块的计算复杂度进行评估，只计算卷积操作的计算消耗，忽略加法和激活操作。假设输入特征图的大小为H×W，特征通道数为C，卷积核大小为k×k。EDSR子残差块包含两层卷积，其计算复杂度为：
2×(k×k×H×W×C×C) (1)
轻量化残差模块LDRB的子残差块包含四层卷积，其特征图的通道在计算过程中被下采样和恢复一次，计算复杂度为：
从(1)和(2)的结果可以看出，轻量化残差模块LDRB在使用小于EDSR的计算预算，每个残差块的层数更多，因此更适合轻量级网络使用。当卷积层的通道数减少时，信息提取效率不容忽视，因为通道数的减少会导致模块性能下降，所以将中间层通道减少比例控制为1/2。
如图7所示，残差级联模块由两个跳跃连接和一个1×1卷积层组成，将上一层LDRB和1×1卷积层的输出使用跳跃连接输入当前1×1卷积层和当前LDRB的输出进行融合，通过对上一层融合拼接前后的特征图进行复用作为当前融合层的输入提升了卷积层内部信息的相关性和特征多样性。通过跳跃连接建立不同层各尺度的输出之间的关系，提高了卷积内部信息的复用率。使提取的特征信息直接流入网络更深的部分。与传统的密集跳跃连接相比，残差级联模块IRSC未使用长距离的跳跃连接，仅将上一个拼接融合层前后的输入和输出叠加作为下一个融合拼接层的输入，将不同尺度的特征进行复用提高了卷积层之间的信息利用率。同时，在融合拼接层选择使用大小为1×1卷积来压缩拼接的特征图，减少计算量。
如图8所示，混合多维度注意力模块CSPMA包括有通道注意力模块、空间注意力模块结构和像素注意力模块。输入的特征图Fin分别在通道注意力模块和像素注意力模块中进行计算，得到通道特征图Fc和像素特征图Fp，再将通道特征图Fc与特征图Fin相乘，得到通道注意力筛选后的特征图F'，接着将特征图F'在空间注意力模块中进行卷积计算后得到二维空间注意力特征图Fs，最后特征图Fs与特征图F'相乘输出空间注意力筛选后的特征图F"，最后将像素注意力筛选后的特征图Fp与F"相加得到输出Fout。
如图9所示，通道注意力模块选用SKNet，首先是分离操作，将特征图Fin分别通过一个3×3卷积、一个5×5卷积和一个7×7卷积生成三个特征图，接着是融合操作，将三个特征图相加得到一个新的特征图，对新的特征图进行全局平均池化操作，然后是选择操作使用全连接层先进行降维再升维输出三个权重矩阵，通过使用三个权重矩阵对之前的三个特征图进行加权操作最后相加输出筛选后的特征图FC。SKNet通过使用大小不同的卷积核提取原图中不同层次的特征信息，接着对来自三个路径的特征信息分配不同权重后并进行聚合。
如图10所示，空间注意力模块，对输入的特征图F'先进行最大池化和平局池化操作后再使用一个卷积核大小为7×7的卷积进行计算，最后通过sigmoid激活函数得到输入特征的空间注意特征图FS。
如图11所示，像素注意力模块，将输入的特征图Fin使用1×1卷积层对输入的特征图进行计算，接着使用sigmoid激活函数对计算后的特征图进行处理，最后将其与输入特征相乘得到最终的特征图FP。
由于混合多维度注意力模块CSPMA结合了空间、通道和像素三个维度，空间注意力机制可以使模型更加关注医学图像中有用的特征区域，从而加速网络的收敛；通道注意力机制可以使模型更加关注含有丰富高频信息的通道，进一步保留医学图像中人眼敏感的高频细节；像素注意力机制为特征图中的所有像素进行加权，生成注意系数。将卷积层提取的特征信息在三个不同的独立维度上计算得出注意力特征图，然后将其与输入特征图相乘进行自适应特征优化，从而更准确地调整图像的特征信息。
A4、采用双阶段训练法进行训练，首先使用步骤A2中得到的自然图像数据集中的训练集迭代训练步骤A3中搭建的轻量化超分辨网络LDRAN 1000个epoch，接着使用步骤A2中得到的X光医学图像数据集中训练集再迭代训练轻量化超分辨网络LDRAN 500个epoch；
训练过程中使用L1损失函数，具体为：
其中，θ为训练参数组，为低清图像，y为原始高清图像/>HLDRAN为超分辨率重建过程，N为图像总数。使用Adam(Adaptive momentum)自适应动量的随机优化器优化损失函数，动量参数(Momentum)设置为0.9，模型在Pytorch框架下共训练1500个epoch，初始学习率设置为2e-4，并每隔200个epoch学习率乘以0.1，每10个epoch保存一次训练结果，最后可以达到收敛状态。
B、如图2所示，对轻量化超分辨率网络LDRAN进行测试：
B1、选取步骤A4中训练过程中评价指标最高的模型作为最优模型进行加载。步骤A4中一共训练1500个epoch，选取其中评价指标最高的模型作为最优模型。
B2、将步骤A2中获得的自然图像数据集和X光医学图像数据集的测试集输入到超分辨率网络模型LDRAN中，得到自然图像和X光医学图像超分辨率重建结果。
B3、通过计算PSNR、SSIM两种客观图像质量评价指标，对步骤B2中得到的自然图像和X光医学图像超分辨重建结果进行评价。
C、如图3所示，将测试好的轻量化超分辨网络LDRAN在设备上进行部署：
C1、将轻量化超分辨算法LDRAN在轻量化计算平台NVIDIA Jetson Nano上进行部署。
C2、将步骤A4中最优的训练模型加载入轻量化计算平台NVIDIA Jetson Nano。
C3、建立共享文件夹，将临床医学图像送入NVIDIA Jetson Nano进行超分辨重建。
为了客观地比较算法的优缺点，将本发明提出的方法与双三次插值Bicubic、SRCNN、FSRCNN、VDSR、DRCN、DRRN、LapSRN、EDSR、CARN、IMDN、等方法在公开数据集Set5、Set14、Urban100上进行了实验比较，实验评价指标采用PSNR和SSIM，不同算法在2倍和4倍放大重建结果如表1所示，其中加粗字体表示最优结果，下划线字体表示次优结果。
从表1中可以发现，在放大倍数为2时，本发明提出的轻量化超分辨网络LDRAN算法在Set14和Urban100两个数据集上均表现出最佳的性能；在Set5数据集上，轻量化超分辨网络LDRAN算法取得了次优的重建效果，但与取得最好效果的IMDN相比参数量减少了11k，Mult-Adds减少了114.8G。此外，与基础网络EDSR相比，本发明提出的LDRAN网络在所有数据集上均取得了更好的效果，并且参数量和Mult-Adds大幅减少。在放大倍数为4时，LDRAN算法在Set14数据集上取得了最好的重建结果；在Set5数据集上LDRAN和IMDN取得了最佳的PSNR，IMDN得益于其多重蒸馏的特征提取特性取得了最佳的SSIM；在Urban100数据集上，EDSR取得了最佳的SSIM，CARN取得了最佳的PSNR，但这两个网络参数量过于庞大，均超过了1500k，LRDAN取得了次优的SSIM，参数量仅为CARN和EDSR的一半。
表1不同算法在不同放大倍数重建性能对比
图12为不同参数量的网络在Set5数据集上放大倍数为4时的PSNR性能表现。从图12中可以看出本发明提出的算法在参数量小于EDSR、DRCN、CARN等算法的情况下取得了最好的评价结果。
为了评估算法对于医学图像重建的效果，在随机挑选的500张Chest X-ray测试集上进行测试，经典算法Bicubic、FSRCNN、VDSR、EDSR、IMDN以及本发明提出的轻量化超分辨网络LDRAN在4倍放大倍数下的定量评价结果如表2所示。在同样的医学图像测试集上，轻量化超分辨网络LDRAN的PSNR为36.81dB，SSIM为0.8966，在所有对比网络中重建性能最优，与EDSR相比PSNR提高了0.96dB，SSIM提高了0.0121，与当前先进的轻量化超分辨率网络IMDN相比PSNR和SSIM分别提高了0.98dB和0.012。
表2不同算法在Chest X-ray数据集4倍重建性能对比
随机选取一张测试集图像，经过各对比算法重建后的局部图像如图13所示。图13最左边为从测试集随机选取的高分辨率图像(HR)，并将该图像中方形边框区域放大(GT)，右边为该区域经过Bicubic、FSRCNN、VDSR、EDSR、IMDN以及本发明提出的轻量化超分辨网络LDRAN算法4倍重建后的结果。对比后发现卷积神经网络(FSRCNN、VDSR、EDSR、IMDN、LDRAN)的重建效果均优于传统的双三次插值法Bicubic。进一步通过比较VDSR、IMDN和EDSR和本发明提出的LDRAN算法，观察纹理细节后发现，使用FSRCNN、VDSR、IMDN和EDSR算法重建的肋骨区域纹理细节模糊，导致图像真实度较差，相比之下，使用本发明提出的轻量化超分辨网络LDRAN方法重建的图像的胸腔肋骨区域还原度高，骨骼边缘细节相对平滑(对比图中箭头标注区域)。
为了进一步验证本发明提出的轻量化超分辨网络LDRAN的优越性，从Chest X-ray测试集中随机选取1张X线片直接输入网络进行重建，更加符合实际应用场景，使用不同算法4倍放大重建结果如图14所示。从图14可以看出，相比Bicubic，SRCNN的重建效果有所提升，但高频细节信息有所丢失，不利于临床诊断。EDSR和IMDN的重建结果优于FSRCNN，但细节模糊、对比度低且IMDN重建后的图像存在伪影信息。本发明提出的轻量化超分辨网络LDRAN重建后的X线片显示出更好的透明度更接近于原始图像，易于区分病变和正常组织之间的差异。

Claims (7)

1.一种轻量化的X光图像超分辨率重建方法，其特征是，包括有如下步骤：
A、搭建轻量化超分辨率网络LDRAN并对其进行训练：
A1、将DIV2K自然图像数据集和X光医学图像数据集合理分配各自的训练集与测试集；
A2、对两种数据集的训练集和测试集的每张图像进行双三次下采样，得到包含高低分辨率图像对的训练集和测试集，并对训练集和测试集中的每张图像进行裁切；
A3、使用轻量化残差模块LDRB、残差级联模块IRSC和混合多维度注意力模块CSPMA组成主残差模块MLDRB搭建成轻量化超分辨率网络LDRAN；
A4、采用双阶段训练法进行训练，首先使用步骤A2中得到的自然图像数据集中的训练集迭代训练步骤A3中搭建的轻量化超分辨网络LDRAN，接着使用步骤A2中得到的X光医学图像数据集中的训练集再迭代训练轻量化超分辨网络LDRAN；
B、对轻量化超分辨率网络LDRAN进行测试；
C、将测试好的轻量化超分辨网络LDRAN在轻量化计算平台NVIDIA Jetson Nano上进行部署；
在所述步骤B中，具体包括如下步骤：
B1、选取步骤A4训练过程中评价指标最高的模型作为最优模型进行加载；
B2、将步骤A2中获得的自然图像和X光医学图像数据集的测试集输入到轻量化超分辨网络LDRAN中，得到自然图像和X光医学图像超分辨率重建结果；
B3、通过计算PSNR、SSIM两种客观图像质量评价指标，对步骤B2中得到的X光医学图像超分辨重建结果进行评价；
在所述步骤C中，具体包括如下步骤：
C1、将轻量化超分辨网络LDRAN在轻量化计算平台NVIDIA Jetson Nano上进行部署；
C2、将步骤A4中最优的训练模型加载入轻量化计算平台NVIDIA Jetson Nano；
C3、建立共享文件夹，将临床X光医学图像送入轻量化计算平台NVIDIA Jetson Nano进行超分辨重建。
2.根据权利要求1所述的轻量化的X光图像超分辨率重建方法，其特征是，在所述步骤A3中，所述轻量化残差模块LDRB由4个卷积层和4个激活函数层ReLU组成；第1层卷积的通道数由C降维为C/2，经过第2、3层卷积后，在第4个卷积层将通道恢复成C维。
3.根据权利要求1所述的轻量化的X光图像超分辨率重建方法，其特征是，在所述步骤A3中，所述主残差模块MLDRB由3个轻量化残差模块LDRB和一个混合多维度注意力模块CSPMA使用残差级联模块IRSC连接而成；所述残差级联模块IRSC由两个跳跃连接和一个1×1卷积层组成，将上一层轻量化残差模块LDRB和1×1卷积层的输出通过跳跃连接输入当前1×1卷积层，然后和当前轻量化残差模块LDRB的输出一起通过1×1卷积层进行融合拼接，通过对上一层融合拼接前后的特征图进行复用作为当前融合层的输入。
4.根据权利要求1所述的轻量化的X光图像超分辨率重建方法，其特征是，在所述步骤A3中，所述混合多维度注意力模块包括有通道注意力模块、空间注意力模块结构和像素注意力模块；输入的特征图Fin分别在通道注意力模块和像素注意力模块中进行计算，得到通道特征图Fc和像素特征图Fp，再将通道特征图Fc与特征图Fin相乘，得到通道注意力筛选后的特征图F'，将特征图F'在空间注意力模块中进行卷积计算后得到二维空间注意力特征图Fs，特征图Fs与特征图F'相乘输出空间注意力筛选后的特征图F"，将像素注意力筛选后的特征图Fp与F"相加得到输出Fout。
5.根据权利要求4所述的轻量化的X光图像超分辨率重建方法，其特征是，所述通道注意力模块选用SKNet，首先是分离操作，将特征图Fin分别通过一个3×3卷积、一个5×5卷积和一个7×7卷积生成三个特征图，接着是融合操作，将三个特征图相加得到一个新的特征图，对新的特征图进行全局平均池化操作，然后是选择操作使用全连接层先进行降维再升维输出三个权重矩阵，通过使用三个权重矩阵对之前的三个特征图进行加权操作最后相加输出筛选后的特征图FC；
所述空间注意力模块，对输入的特征图F'先进行最大池化和平局池化操作后，再使用一个卷积核大小为7×7的卷积进行计算，最后通过sigmoid激活函数得到输入特征的空间注意特征图FS；
所述像素注意力模块，将输入的特征图Fin使用1×1卷积层进行计算，接着使用sigmoid激活函数对计算后的特征图进行处理，最后将其与输入特征相乘得到最终的特征图FP。
6.根据权利要求1所述的轻量化的X光图像超分辨率重建方法，其特征是，在所述步骤A4中，使用的损失函数为：
其中，θ为训练参数组，为低清图像，/>为原始高清图像，HLDRAN为超分辨率重建过程，N为图像总数。
7.根据权利要求1所述的轻量化的X光图像超分辨率重建方法，其特征是，在所述步骤A4中，在LDRAN模型的训练过程中，使用Adam自适应动量的随机优化器优化损失函数，动量参数设置为0.9，模型共训练1500个epoch，初始学习率设置为2e-4，并每隔200个epoch学习率乘以0.1，每10个epoch保存一次训练结果，最后可以达到收敛状态。
CN202210810499.7A 2022-07-11 2022-07-11 轻量化的x光图像超分辨率重建方法 Active CN115239557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210810499.7A CN115239557B (zh) 2022-07-11 2022-07-11 轻量化的x光图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210810499.7A CN115239557B (zh) 2022-07-11 2022-07-11 轻量化的x光图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN115239557A CN115239557A (zh) 2022-10-25
CN115239557B true CN115239557B (zh) 2023-10-24

Family

ID=83671701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210810499.7A Active CN115239557B (zh) 2022-07-11 2022-07-11 轻量化的x光图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115239557B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116934598B (zh) * 2023-09-19 2023-12-01 湖南大学 一种多尺度特征融合的轻量级遥感图像超分方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009565A (zh) * 2019-04-04 2019-07-12 武汉大学 一种基于轻量化网络的超分辨率图像重建方法
CN110782396A (zh) * 2019-11-25 2020-02-11 武汉大学 一种轻量化的图像超分辨率重建网络和重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111445390A (zh) * 2020-02-28 2020-07-24 天津大学 基于宽残差注意力的三维医学图像超分辨率重建方法
CN111797676A (zh) * 2020-04-30 2020-10-20 南京理工大学 一种高分辨率遥感图像目标在轨轻量化快速检测方法
CN113538234A (zh) * 2021-06-29 2021-10-22 中国海洋大学 基于轻量化生成模型的遥感图像超分辨率重建方法
CN113902904A (zh) * 2021-09-30 2022-01-07 北京工业大学 一种轻量化网络架构系统
CN114092330A (zh) * 2021-11-19 2022-02-25 长春理工大学 一种轻量化多尺度的红外图像超分辨率重建方法
CN114331831A (zh) * 2021-11-19 2022-04-12 长春理工大学 一种轻量化的单张图像超分辨率重建方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009565A (zh) * 2019-04-04 2019-07-12 武汉大学 一种基于轻量化网络的超分辨率图像重建方法
CN110782396A (zh) * 2019-11-25 2020-02-11 武汉大学 一种轻量化的图像超分辨率重建网络和重建方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111445390A (zh) * 2020-02-28 2020-07-24 天津大学 基于宽残差注意力的三维医学图像超分辨率重建方法
CN111797676A (zh) * 2020-04-30 2020-10-20 南京理工大学 一种高分辨率遥感图像目标在轨轻量化快速检测方法
CN113538234A (zh) * 2021-06-29 2021-10-22 中国海洋大学 基于轻量化生成模型的遥感图像超分辨率重建方法
CN113902904A (zh) * 2021-09-30 2022-01-07 北京工业大学 一种轻量化网络架构系统
CN114092330A (zh) * 2021-11-19 2022-02-25 长春理工大学 一种轻量化多尺度的红外图像超分辨率重建方法
CN114331831A (zh) * 2021-11-19 2022-04-12 长春理工大学 一种轻量化的单张图像超分辨率重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多任务学习的人脸属性识别方法;李亚等;《计算机工程》;第46卷(第3期);第229-234页 *

Also Published As

Publication number Publication date
CN115239557A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN107507134B (zh) 基于卷积神经网络的超分辨率方法
CN111461983B (zh) 一种基于不同频度信息的图像超分辨率重建模型及方法
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN110197468A (zh) 一种基于多尺度残差学习网络的单图像超分辨重建算法
CN114429422A (zh) 基于残差通道注意力网络的图像超分辨率重建方法及系统
CN112200724B (zh) 一种基于反馈机制的单图像超分辨率重建系统及方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN110889895A (zh) 一种融合单帧重建网络的人脸视频超分辨率重建方法
CN115239557B (zh) 轻量化的x光图像超分辨率重建方法
CN111899165A (zh) 一种基于功能模块的多任务图像重建卷积网络模型
CN113781308A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN112017116B (zh) 基于非对称卷积的图像超分辨率重建网络及其构建方法
CN110136067B (zh) 一种针对超分辨率b超影像的实时影像生成方法
CN111178499B (zh) 一种基于生成对抗网络改进的医学图像超分辨率方法
CN116612334B (zh) 一种基于空谱联合注意力机制的医学高光谱图像分类方法
CN115147271A (zh) 一种用于光场超分辨率的多视图信息注意力交互网络
CN116091313A (zh) 一种图像超分辨率网络模型和重建方法
CN115953294A (zh) 一种基于浅层通道分离与聚合的单图像超分辨率重建方法
CN114066729A (zh) 一种可恢复身份信息的人脸超分辨率重建方法
CN115393186A (zh) 一种人脸图像超分辨率重建方法、系统、设备及介质
CN113902658A (zh) 基于密集多尺度网络的rgb图像到高光谱图像重建方法
CN114187181B (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN109272450A (zh) 一种基于卷积神经网络的图像超分方法
CN116485654A (zh) 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法
CN114463176B (zh) 基于改进esrgan的图像超分辨重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant