CN115294225A - 一种针对新冠肺炎胸部ct的渐进式反向投影网络超分辨率重建方法 - Google Patents

一种针对新冠肺炎胸部ct的渐进式反向投影网络超分辨率重建方法 Download PDF

Info

Publication number
CN115294225A
CN115294225A CN202111666859.2A CN202111666859A CN115294225A CN 115294225 A CN115294225 A CN 115294225A CN 202111666859 A CN202111666859 A CN 202111666859A CN 115294225 A CN115294225 A CN 115294225A
Authority
CN
China
Prior art keywords
layer
progressive
back projection
network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111666859.2A
Other languages
English (en)
Inventor
宋昭漾
赵小强
姚红娟
惠永永
徐铸业
牟淼
梁浩鹏
刘凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN202111666859.2A priority Critical patent/CN115294225A/zh
Publication of CN115294225A publication Critical patent/CN115294225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/421—Filtered back projection [FBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重建方法，主要包括如下步骤：1)选择训练数据集图像；2)扩充训练数据集图像；3)将训练数据集图像进行1/N比例下采样处理；4)将原始训练数据集图像和步骤3低分辨率图像分别裁剪成图像块；5)将相同位置原始图像块和低分辨率图像块作为高分辨率/低分辨率样本对，生成格式为HDF5的数据集文件；6)构建渐进式反向投影网络；7)训练渐进式反向投影网络；8)将低分辨率图像输入得到的渐进式反向投影网络模型中，输出得到重建后的高分辨率图像。该方法在渐进式的图像重建过程中能够减少重建误差，有效提高新冠肺炎胸部CT的重建精度。

Description

一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重 建方法
技术领域
本发明属于图像数字化处理领域，涉及一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重建方法。
背景技术
新型冠状病毒具有快速的传播性，在公共场合的人群极其容易受到感染。患有新型冠状病毒的病人肺部发生了病变，医生通过查看病人的胸部CT来判断病人的病情严重程度。新型冠状肺炎CT图像超分辨率重建已经成为热点问题。提高新型冠状肺炎CT图像重建质量和分辨率成为至关重要和亟待解决的任务。
近年来，基于深度神经网络的图像超分辨率重建方法主要分为三类：基于预定义的上采样深度神经网络方法、基于单个的上采样深度神经网络方法和基于渐进式的上采样深度神经网络方法。
在低分辨率图像进入深度神经网络之前，基于预定义的上采样深度神经网络方法使用双三次插值对低分辨率图像进行上采样。基于预定义的上采样深度神经网络方法包括基于卷积神经网络的超分辨率重建方法(SRCNN)和基于深度卷积网络的图像超分辨率重建方法(VDSR)。尽管基于预定义的上采样深度神经网络方法能够实现较好的结果，但是会在低分辨率图像重建的过程中产生新的噪声信息。
基于单个的上采样深度神经网络方法在深度神经网络的最后一层设置反卷积层和亚像素卷积层对低分辨率特征进行上采样。基于单个的上采样深度神经网络方法包括基于快速的卷积神经网络超分辨率重建方法(FSRCNN)、基于亚像素卷积的神经网络超分辨率重建方法(ESPCN)和基于递归神经网络的超分辨率重建方法(DRCN)。虽然基于单个的上采样深度神经网络方法获得较好的重建效果，然而由于网络能力的限制，这些方法很难学习复杂的非线性函数。
基于渐进式的上采样深度神经网络方法使用多个上采样模块来渐进式的重建高分辨率图像。例如基于拉普拉斯金字塔结构的超分辨率重建方法(LapSRN)逐步重建具有不同比例因子的高分辨率图像，从而获得更好的重建效果。虽然基于渐进式的上采样深度神经网络通过多个上采样提升了低分辨率图像的重建效果，但是在重建的过程中增加了重建误差。
发明内容
本发明的目的在于针对现有技术存在的问题，提供一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重建方法。该方法在渐进式的图像重建过程中能够减少重建误差，提高新冠肺炎胸部CT的重建精度，从而医生可以从高精度胸部CT中识别出病变的精确位置并掌握病情的严重程度，提高诊断的准确性。
为此，本发明采用如下技术方案：
一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重建方法，包括如下步骤：
步骤1：选择训练数据集图像；
步骤2：对训练数据集的所有图像进行数据增强处理，扩充训练数据集图像；
步骤3：将步骤2得到的训练数据集图像进行1/N比例下采样处理，其中N为放大系数；
步骤4：将原始训练数据集图像和步骤3得到的低分辨率图像分别裁剪成大小为H×W和H/N×W/N像素的图像块；
步骤5：将对应相同位置的步骤4原始图像块和低分辨率图像块作为高分辨率/低分辨率样本对，生成格式为HDF5的训练数据集文件；
步骤6：构建渐进式反向投影网络
6.1：构建反向投影模型
反向投影模型由一个特征融合的上投影块和一个特征融合的下投影块以残差方式连接组成；其中，所述特征融合的上投影块包括第一反卷积层、卷积层、第二反卷积层、64维特征融合层和128维特征融合层，其第一反卷积层、卷积层和第二反卷积层的激活函数均为ReLU，其卷积层通过与输入求取误差，该误差然后被第二反卷积层进行上采样，并与第一反卷积层的输出进行求和，最后输出128维特征信息；所述特征融合的下投影块包括第一卷积层、反卷积层、第二卷积层、64维特征融合层和128维特征融合层，其第一卷积层、反卷积层和第二卷积层的激活函数均为ReLU，其反卷积层与输入求取误差，该误差然后被第二卷积层进行下采样，并与第一卷积层的输出进行求和，最后输出64维特征信息；反向投影模型的输入与特征融合的下投影块的输出通过残差连接进行求和作为反向投影模型的输出；
反向投影模型的运算主要包括特征融合的上投影块运算和特征融合的下投影块运算，其运算过程如式(1)至式(10)所示：
特征融合的上投影块进行上采样：
Figure BDA0003448486490000041
特征融合的上投影块进行下采样：
Figure BDA0003448486490000042
特征融合的上投影块进行残差计算：
Figure BDA0003448486490000043
Figure BDA0003448486490000044
特征融合的上投影块进行残差上采样：
Figure BDA0003448486490000045
特征融合的上投影块的输出为：
Figure BDA0003448486490000046
特征融合的下投影块进行下采样：
Figure BDA0003448486490000047
特征融合的下投影块进行上采样：
Figure BDA0003448486490000048
特征融合的下投影块进行残差计算：
Figure BDA0003448486490000049
特征融合的下投影块进行残差下采样：
Figure BDA00034484864900000410
反向投影模型的输出为：
Figure BDA00034484864900000411
其中，*表示卷积操作；↑s表示放大系数为s的上采样操作；↓s表示放大系数为s的下采样操作；pt表示第t个反向投影模型的反卷积层；gt表示第t个反向投影模型的卷积层；qt表示第t个反向投影模型的128维特征融合层；kt表示第t个反向投影模型的64维特征融合层；
6.2：构建多级残差注意力模型
多级残差注意力模型由三个多级残差注意力块通过残差方式连接组成；多级残差注意力块由多级残差块和通道注意力块端对端的连接组成；多级残差块由五个卷积层和两个激活函数ReLU以残差连接方式组成，通道注意力块由两个卷积层、一个平均池化层、一个激活函数ReLU和一个sigmoid函数组成；
多级残差注意力模型的运算过程如式(11)至(15)所示：
Figure BDA0003448486490000051
Figure BDA0003448486490000052
Figure BDA0003448486490000053
Figure BDA0003448486490000054
Figure BDA0003448486490000055
其中，*表示卷积操作；ht和ut表示第t个多级残差块的卷积层；mt表示第t个通道注意力块的卷积层；
Figure BDA0003448486490000056
表示元素相乘；poolingmean(·)表示平均池化；
6.3：构建得到渐进式反向投影网络
渐进式反向投影网络由三部分组成，分别为初始特征提取、深层特征提取和图像重建；渐进式反向投影网络使用初始卷积层进行初始特征提取，使用重建层进行图像重建；渐进式反向投影网络的深层特征提取分为两个阶段，每个阶段均由四个步骤组成，分别为：反向投影操作、深度特征提取操作、中间卷积操作和上采样操作；
其中，反向投影操作通过两个步骤6.1的反向投影模型进行，以减少在特征提取过程中的重建误差；深度特征提取操作通过两个步骤6.2的多级残差注意力模型进行，以进一步提取深度特征，同时过滤掉不必要的低频特征信息，获得大量的高频特征信息；中间卷积操作通过中间卷积层对高频特征信息进行卷积运算；上采样操作通过亚像素卷积层进行，以获得目标高分辨率图像的空间尺寸；
步骤7：训练渐进式反向投影网络
7.1：设置损失函数，最小化重建图像与真实高分辨率图像的误差值来优化渐进式反向投影网络的参数；
7.2：选择优化算法，对渐进式反向投影网络的参数进行进一步优化；
7.3：选择评价指标来客观评价渐进式反向投影网络模型的性能；
7.4：设置训练参数，所述训练参数包括渐进式反向投影网络参数的初始化，训练的学习率，训练的epoch值和批训练样本batchsize值；
7.5：用步骤5生成的HDF5训练数据集文件按照步骤7.4设置的训练参数，训练渐进式反向投影网络，如果网络不收敛，则反复执行步骤7.4，直到网络收敛；并保存训练好的渐进式反向投影网络模型；
步骤8：将低分辨率图像输入到步骤7.5得到的渐进式反向投影网络模型中，输出得到重建后的高分辨率图像。
本发明的有益效果在于：
(1)设计了反向投影模型，该模型不仅能够进行浅层特征提取，而且能够减少重建误差；
(2)设计了多级残差注意力模型，该模型在深度特征提取过程中，能够过滤掉不必要的低频特征信息，并对重要的高频特征信息进行提取，比如图像纹理特征信息和图像边缘特征信息；
(3)设计了渐进式反向投影网络，该网络能够对新型冠状肺炎CT图像进行浅层次和深层次的特征提取，并减少重建误差，重建出更清晰的高分辨率CT图像。这些高分辨率CT图像可以为医生提供患者肺部组织的更多细节，帮助医生识别出病变的精确位置并掌握病变的严重程度，从而提高诊断的准确性。
附图说明
图1为本发明构建的反向投影模型的结构示意图；
图2为本发明构建的多级残差注意力模型的结构示意图；
图3为本发明构建的渐进式反向投影网络的框架原理图；
图4为本发明方法与其他方法对新冠肺炎胸部CT重建得到的效果对比图。
具体实施方式
下面通过具体实施例对本发明方法进行进一步的说明。
一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重建方法，该方法构建了反向投影模型、多级残差注意力模型，并在此基础上构建了渐进式反向投影网络，具体包括以下步骤：
步骤1：选用T91和BSD200图像数据集作为训练渐进式反向投影网络的数据集，选用COVID-CT图像数据集作为测试渐进式反向投影网络的数据集；
步骤2：对T91和BSD200图像数据集进行90°、180°、270°旋转和按0.9、0.8、0.7、0.6的比例进行缩放，以此扩充训练数据集图像；
步骤3：使用双三次插值算法，将步骤2得到的训练数据集图像进行1/N比例下采样处理，获得对应的低分辨率图像。其中N为放大系数，N的取值根据需要重建的倍数选定；
步骤4：将步骤2得到的训练数据集图像裁剪成尺寸为H×W的图像块，将步骤3得到的低分辨率图像裁剪成尺寸为H/N×W/N的图像块；
步骤5：将步骤4得到的两种图像块作为高分辨率图像和低分辨率图像样本对，生成格式为HDF5的训练数据集文件；
步骤6：构建渐进式反向投影网络
6.1：构建反向投影模型
本发明构建的反向投影模型结构如图1所示，其是由一个特征融合的上投影块和一个特征融合的下投影块以残差方式连接组成。特征融合的上投影块和特征融合的下投影块都是由反卷积层、卷积层、激活函数ReLU、64维特征融合层和128维特征融合层组成。特征融合的上投影块和特征融合的下投影块的区别是：上投影块的卷积层通过与输入求取误差，该误差然后被第二反卷积层进行上采样，并与第一反卷积层的输出进行求和，最后输出128维特征信息；下投影块的反卷积层与输入求取误差，该误差然后被第二卷积层进行下采样，并与第一卷积层的输出进行求和，最后输出64维特征信息。反向投影模型的运算主要包括特征融合的上投影块运算和特征融合的下投影块运算，其运算过程如式(1)至式(10)所示：
特征融合的上投影块进行上采样：
Figure BDA0003448486490000081
特征融合的上投影块进行下采样：
Figure BDA0003448486490000082
特征融合的上投影块进行残差计算：
Figure BDA0003448486490000083
特征融合的上投影块进行残差上采样：
Figure BDA0003448486490000084
特征融合的上投影块的输出为：
Figure BDA0003448486490000091
特征融合的下投影块进行下采样：
Figure BDA0003448486490000092
特征融合的下投影块进行上采样：
Figure BDA0003448486490000093
特征融合的下投影块进行残差计算：
Figure BDA0003448486490000094
特征融合的下投影块进行残差下采样：
Figure BDA0003448486490000095
反向投影模型的输出为：
Figure BDA0003448486490000096
其中，*表示卷积操作；↑s表示放大系数为s的上采样操作；↓s表示放大系数为s的下采样操作；pt表示第t个反向投影模型的反卷积层，其卷积核的大小为4×4，移动步长为2，填充为1；gt表示第t个反向投影模型的卷积层，其卷积核的大小为3×3，移动步长为1，填充为1；qt表示第t个反向投影模型的128维特征融合层，其卷积核的大小为1×1，移动步长为1，填充为0；kt表示第t个反向投影模型的64维特征融合层，其卷积核的大小为1×1，移动步长为1，填充为0。
6.2：构建多级残差注意力模型
本发明构建的多级残差注意力模型结构如图2所示，其是由三个多级残差注意力块通过残差方式连接组成。多级残差注意力块由多级残差块和通道注意力块端对端的连接组成。多级残差块由五个卷积层和两个激活函数ReLU组成，通道注意力块由两个卷积层、一个平均池化层、一个激活函数ReLU和一个sigmoid函数组成。多级残差块提取大量的高低频特征信息，通道注意力块过滤掉不必要的低频特征信息并对高频特征信息进行提取，比如图像纹理特征信息和图像边缘特征信息。多级残差注意力模型的运算过程如式(11)至(15)所示：
Figure BDA0003448486490000101
Figure BDA0003448486490000102
Figure BDA0003448486490000103
Figure BDA0003448486490000104
Figure BDA0003448486490000106
其中，*表示卷积操作；ht和ut表示第t个多级残差块的卷积层，其卷积核的大小都为3×3，移动步长为1，填充为1；mt表示第t个通道注意力块的卷积层，其卷积核的大小为1×1，移动步长为1，填充为0；
Figure BDA0003448486490000105
表示元素相乘；poolingmean(·)表示平均池化；
6.3：构建渐进式反向投影网络
本发明构建的渐进式反向投影网络如图3所示，其由三部分组成，分别为初始特征提取、深层特征提取和图像重建。渐进式反向投影网络使用初始卷积层进行初始特征提取，使用重建层进行图像重建，初始卷积层和重建层的卷积核大小都为3×3，移动步长为1，填充为1。渐进式反向投影网络的深层特征提取分为两个阶段，每个阶段由四个步骤组成，分别为：反向投影操作、深度特征提取操作、中间卷积层操作和上采样操作。反向投影操作通过两个步骤6.1的反向投影模型进行，以减少在特征提取过程中的重建误差；深度特征提取操作通过两个步骤6.2的多级残差注意力模型进行，以进一步提取深度特征，并过滤掉不必要的低频特征信息，获得大量的高频特征信息；中间卷积操作通过中间卷积层对高频特征信息进行卷积运算，中间卷积层的卷积核尺寸大小为3×3，移动步长为1，填充为1；上采样操作通过亚像素卷积层来获得目标高分辨率图像的空间尺寸，该卷积将尺寸大小为H×W×c×r2的特征图像重新排列成尺寸为rH×rW×c的特征图像，其中亚像素卷积层的卷积核大小为3×3，移动步长为1，填充为1。
步骤7：训练渐进式反向投影网络
7.1：构建均方误差函数作为损失函数，以此最小化重建的图像与对应的真实高分辨率图像的损失来优化渐进式反向投影网络的参数θ，均方误差函数如式(16)所示：
Figure BDA0003448486490000111
式中，L表示均方误差函数，n代表训练样本的数量，Xi表示真实高分辨率图像，Yi表示重建的图像；
7.2：选择Adam优化算法，对渐进式反向投影网络进行进一步优化；
7.3：选择峰值信噪比PSNR(Peak Signal to Noise Ratio)和结构相似度SSIM(Structural SIMilarity)评价指标来客观评价渐进式反向投影网络模型的重建性能；PSNR和SSIM指标的计算公式如式(17)和式(18)所示：
Figure BDA0003448486490000112
Figure BDA0003448486490000113
式中，M、N表示图像的尺寸，f表示真实的高分辨率图像，
Figure BDA0003448486490000121
表示重建的高分辨率图像，μf和
Figure BDA0003448486490000122
分别表示真实高分辨率图像和重建图像的平均灰度值，σf和
Figure BDA0003448486490000123
分别表示真实高分辨率图像和重建图像的方差，
Figure BDA0003448486490000124
表示真实高分辨率图像和重建图像的协方差，C1和C2为常数，且C1＝(k1L)2，C2＝(k2L)2，k1＝0.01，k2＝0.03，L是像素值的动态范围；
7.4：设置训练渐进式反向投影网络的参数，将渐进式反向投影网络中的参数初始化为均值是0、标准差是0.001的高斯分布；设置学习率、迭代次数和批训练样本数量，本实施例中，学习率初始设置为0.0001，epoch设置为200，批训练样本值batchsize初始设置为16；
7.5：用步骤5生成的HDF5训练数据集文件按照步骤7.4设置的参数，训练渐进式反向投影网络，如果网络不收敛，则反复执行步骤7.4，直到网络收敛；并保存训练好的渐进式反向投影网络模型；
步骤8：用步骤7.5得到的渐进式反向投影网络模型对COVID-CT图像数据集(新冠肺炎胸部CT图像数据集)进行重建，其结果如图4所示。图4左侧的(a)、(b)、(c)三幅图像均为COVID-CT图像，并选择其中框线内的局部图像进行测试，图4右侧的图像分别为Bicubic、SRCNN、FSRCNN、VDSR、LapSRN、DRCN、DSRN方法和本发明方法重建的高分辨率图像。从图4可以看出本发明方法得到的高分辨率新冠肺炎胸部CT图像不仅拥有较高的峰值信噪比(PSNR)和结构相似度值(SSIM)值，而且得到的高分辨率新冠肺炎胸部CT图像拥有更多的细节信息。

Claims (7)

1.一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重建方法，其特征在于，包括如下步骤：
步骤1：选择训练数据集图像；
步骤2：对训练数据集的所有图像进行数据增强处理，扩充训练数据集图像；
步骤3：将步骤2得到的训练数据集图像进行1/N比例下采样处理，其中N为放大系数；
步骤4：将步骤1原始训练数据集图像和步骤3得到的低分辨率图像分别裁剪成大小为H×W和H/N×W/N像素的图像块；
步骤5：将对应相同位置的步骤4原始图像块和低分辨率图像块作为高分辨率/低分辨率样本对，生成格式为HDF5的训练数据集文件；
步骤6：构建渐进式反向投影网络
6.1：构建反向投影模型
反向投影模型由一个特征融合的上投影块和一个特征融合的下投影块以残差方式连接组成；其中，所述特征融合的上投影块包括第一反卷积层、卷积层、第二反卷积层、64维特征融合层和128维特征融合层，其第一反卷积层、卷积层和第二反卷积层的激活函数均为ReLU，其卷积层通过与输入求取误差，该误差然后被第二反卷积层进行上采样，并与第一反卷积层的输出进行求和，最后输出128维特征信息；所述特征融合的下投影块包括第一卷积层、反卷积层、第二卷积层、64维特征融合层和128维特征融合层，其第一卷积层、反卷积层和第二卷积层的激活函数均为ReLU，其反卷积层与输入求取误差，该误差然后被第二卷积层进行下采样，并与第一卷积层的输出进行求和，最后输出64维特征信息；反向投影模型的输入与特征融合的下投影块的输出通过残差连接进行求和作为反向投影模型的输出；
反向投影模型的运算主要包括特征融合的上投影块运算和特征融合的下投影块运算，其运算过程如式(1)至式(10)所示：
特征融合的上投影块进行上采样：
Figure FDA0003448486480000021
特征融合的上投影块进行下采样：
Figure FDA0003448486480000022
特征融合的上投影块进行残差计算：
Figure FDA0003448486480000023
Figure FDA0003448486480000024
特征融合的上投影块进行残差上采样：
Figure FDA0003448486480000025
特征融合的上投影块的输出为：
Figure FDA0003448486480000026
特征融合的下投影块进行下采样：
Figure FDA0003448486480000027
特征融合的下投影块进行上采样：
Figure FDA0003448486480000028
特征融合的下投影块进行残差计算：
Figure FDA0003448486480000029
特征融合的下投影块进行残差下采样：
Figure FDA00034484864800000210
反向投影模型的输出为：
Figure FDA00034484864800000211
其中，*表示卷积操作；↑s表示放大系数为s的上采样操作；↓s表示放大系数为s的下采样操作；pt表示第t个反向投影模型的反卷积层；gt表示第t个反向投影模型的卷积层；qt表示第t个反向投影模型的128维特征融合层；kt表示第t个反向投影模型的64维特征融合层；
6.2：构建多级残差注意力模型
多级残差注意力模型由三个多级残差注意力块通过残差方式连接组成；多级残差注意力块由多级残差块和通道注意力块端对端的连接组成；多级残差块由五个卷积层和两个激活函数ReLU以残差连接方式组成，通道注意力块由两个卷积层、一个平均池化层、一个激活函数ReLU和一个sigmoid函数组成；
多级残差注意力模型的运算过程如式(11)至(15)所示：
Figure FDA0003448486480000031
Figure FDA0003448486480000032
Figure FDA0003448486480000033
Figure FDA0003448486480000034
Figure FDA0003448486480000035
其中，*表示卷积操作；ht和ut表示第t个多级残差块的卷积层；mt表示第t个通道注意力块的卷积层；
Figure FDA0003448486480000036
表示元素相乘；poolingmean(·)表示平均池化；
6.3：构建得到渐进式反向投影网络
渐进式反向投影网络由三部分组成，分别为初始特征提取、深层特征提取和图像重建；渐进式反向投影网络使用初始卷积层进行初始特征提取，使用重建层进行图像重建；渐进式反向投影网络的深层特征提取分为两个阶段，每个阶段均由四个步骤组成，分别为：反向投影操作、深度特征提取操作、中间卷积操作和上采样操作；
其中，反向投影操作通过两个步骤6.1的反向投影模型进行，以减少在特征提取过程中的重建误差；深度特征提取操作通过两个步骤6.2的多级残差注意力模型进行，以进一步提取深度特征，同时过滤掉不必要的低频特征信息，获得大量的高频特征信息；中间卷积操作通过中间卷积层对高频特征信息进行卷积运算；上采样操作通过亚像素卷积层进行，以获得目标高分辨率图像的空间尺寸；
步骤7：训练渐进式反向投影网络
7.1：设置损失函数，最小化重建图像与真实高分辨率图像的误差值来优化渐进式反向投影网络的参数；
7.2：选择优化算法，对渐进式反向投影网络的参数进行进一步优化；
7.3：选择评价指标来客观评价渐进式反向投影网络模型的性能；
7.4：设置训练参数，所述训练参数包括渐进式反向投影网络参数的初始化，训练的学习率，训练的epoch值和批训练样本batchsize值；
7.5：用步骤5生成的HDF5训练数据集文件按照步骤7.4设置的训练参数，训练渐进式反向投影网络，如果网络不收敛，则反复执行步骤7.4，直到网络收敛；并保存训练好的渐进式反向投影网络模型；
步骤8：将低分辨率图像输入到步骤7.5得到的渐进式反向投影网络模型中，输出得到重建后的高分辨率图像。
2.根据权利要求1所述的一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重建方法，其特征在于，步骤6.1中：反向投影模型的反卷积层的卷积核大小为4×4，移动步长为2，填充为1；反向投影模型的卷积层的卷积核大小为3×3，移动步长为1，填充为1；128维特征融合层的卷积核大小为1×1，移动步长为1，填充为0；64维特征融合层的卷积核大小为1×1，移动步长为1，填充为0。
3.根据权利要求1所述的一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重建方法，其特征在于，步骤6.2中：多级残差块卷积层的卷积核大小都为3×3，移动步长为1，填充为1；通道注意力块卷积层的卷积核大小为1×1，移动步长为1，填充为0。
4.根据权利要求1所述的一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重建方法，其特征在于，步骤6.3中：初始卷积层和重建层的卷积核大小都为3×3，移动步长为1，填充为1；中间卷积层和亚像素卷积层的卷积核大小为3×3，移动步长为1，填充为1。
5.根据权利要求1所述的一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重建方法，其特征在于，步骤7.1中：构建均方误差函数作为损失函数，以此最小化重建的图像与对应的真实高分辨率图像的损失来估计渐进式反向投影网络的参数θ，均方误差函数如式(16)所示：
Figure FDA0003448486480000051
式中，L表示均方误差函数，n代表训练样本的数量，Xi表示真实高分辨率图像，Yi表示重建的图像。
6.根据权利要求1所述的一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重建方法，其特征在于，步骤7.2中：选择Adam优化算法，对渐进式反向投影网络的参数进行优化。
7.根据权利要求1所述的一种针对新冠肺炎胸部CT的渐进式反向投影网络超分辨率重建方法，其特征在于，步骤7.3中：选择峰值信噪比PSNR和结构相似度SSIM作为评价指标来客观评价渐进式反向投影网络模型的重建性能；PSNR和SSIM指标的计算公式如式(17)和式(18)所示：
Figure FDA0003448486480000061
Figure FDA0003448486480000062
式中，M、N表示图像的尺寸，f表示真实的高分辨率图像，
Figure FDA0003448486480000063
表示重建的高分辨率图像，μf和
Figure FDA0003448486480000064
分别表示真实高分辨率图像和重建图像的平均灰度值，σf和
Figure FDA0003448486480000065
分别表示真实高分辨率图像和重建图像的方差，
Figure FDA0003448486480000066
表示真实高分辨率图像和重建图像的协方差，C1和C2为常数，且C1＝(k1L)2，C2＝(k2L)2，k1＝0.01，k2＝0.03，L是像素值的动态范围。
CN202111666859.2A 2021-12-31 2021-12-31 一种针对新冠肺炎胸部ct的渐进式反向投影网络超分辨率重建方法 Pending CN115294225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111666859.2A CN115294225A (zh) 2021-12-31 2021-12-31 一种针对新冠肺炎胸部ct的渐进式反向投影网络超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111666859.2A CN115294225A (zh) 2021-12-31 2021-12-31 一种针对新冠肺炎胸部ct的渐进式反向投影网络超分辨率重建方法

Publications (1)

Publication Number Publication Date
CN115294225A true CN115294225A (zh) 2022-11-04

Family

ID=83818959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111666859.2A Pending CN115294225A (zh) 2021-12-31 2021-12-31 一种针对新冠肺炎胸部ct的渐进式反向投影网络超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN115294225A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843825A (zh) * 2023-06-01 2023-10-03 中国机械总院集团沈阳铸造研究所有限公司 一种渐进式cbct稀疏视角重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843825A (zh) * 2023-06-01 2023-10-03 中国机械总院集团沈阳铸造研究所有限公司 一种渐进式cbct稀疏视角重建方法
CN116843825B (zh) * 2023-06-01 2024-04-05 中国机械总院集团沈阳铸造研究所有限公司 一种渐进式cbct稀疏视角重建方法

Similar Documents

Publication Publication Date Title
CN111047515B (zh) 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN111754403B (zh) 一种基于残差学习的图像超分辨率重构方法
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN107993194B (zh) 一种基于平稳小波变换的超分辨率重建方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN111626927B (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN112699844B (zh) 一种基于多尺度残差层级密连接网络的图像超分辨率方法
CN115564649B (zh) 一种图像超分辨率重建方法、装置及设备
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN112561799A (zh) 一种红外图像超分辨率重建方法
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN115294225A (zh) 一种针对新冠肺炎胸部ct的渐进式反向投影网络超分辨率重建方法
CN108765287B (zh) 一种基于非局部均值的图像超分辨率方法
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN117132472A (zh) 基于前向-反向可分离自注意力的图像超分辨率重建方法
CN112862684A (zh) 一种深度图超分辨率重建和去噪神经网络的数据处理方法
CN116681592A (zh) 基于多尺度自适应非局部注意力网络的图像超分辨率方法
Rashid et al. Single MR image super-resolution using generative adversarial network
Yang et al. RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution
CN108846797B (zh) 基于两种训练集合的图像超分辨率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination