CN111445390A - 基于宽残差注意力的三维医学图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于宽残差注意力的三维医学图像超分辨率重建网络，包括下列步骤：构建数据集并进行数据预处理；搭建一种基于宽残差注意力的三维医学图像超分辨率重建网络，基于宽残差注意力的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块：模型训练：把数据集中经过数据预处理的低分辨率小块送入搭建好的基于宽残差注意力的三维医学图像超分辨率重建网络中，通过正向传播得到超分辨率小块；计算高分辨率小块和超分辨率小块的误差，该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为模型。

Description

基于宽残差注意力的三维医学图像超分辨率重建方法

技术领域

本发明主要应用于三维医学图像的超分辨率重建。

背景技术

常用的医学成像系统有磁共振成像(Magnetic Resonance Imaging,MRI)、计算机断层扫描(Computed Tomography,CT)、正电子发射型计算机断层显像(Positron EmissionComputed Tomography,PET-CT)和超声波(Ultrasound,US)^[1]。医学图像作为医学诊断的重要依据，对清晰度的要求很高，但是目前由于硬件设施、采样时间、现有成像技术或患者舒适度等诸多因素的限制，很多情况下获取的医学图像分辨率较低，并且可能含有噪声和伪影^[2]。图像超分辨率技术在医学图像中的应用能够使医生以较低的成本获得高质量的医学图像，如CT或MRI图像。通过这些高清晰度的医学图像，医生可以更准确地识别病变部位。因此，提高医学图像的分辨率具有十分重要的现实意义。

近些年来，很多超分辨率方法被提出。这些方法主要可以分为三类：基于插值的方法、基于重建的方法和基于学习的方法。基于插值的方法包括最近邻插值，双线性插值和双三次插值。基于重建的方法遵循均衡和非均衡采样定理，分为空间域方法和频率域方法。空间域方法包括凸集投影法、迭代反投影和最大后验概率等。频率域方法主要是消混叠重建方法。基于学习的方法包括马尔科夫随机场、图像金字塔、神经网络模型和主成分分析模型等。

在深度学习方面，Dong^[3]等人首次把卷积神经网络应用在图像超分辨率重建任务中，提出了一个三层的网络(SRCNN)，包含特征提取，非线性映射，重建三个部分，建立起低分辨率到高分辨率的端到端映射，但是网络加深也不会带来性能的提升。为了解决SRCNN的问题，Kim等人提出了20层的VDSR^[4]，采取残差学习策略将信息传递到后层，还有助于缓解梯度消失问题。该方法还将不同倍数的图像混在一起训练，实现了模型的多尺度。Ledig等人^[5]提出了一个包括16个残差结构块的网络(SRResNet)。EDSR^[6]基于SRResNet，通过删除BN层和使用更深更宽的网络结构来增强网络。专利“基于稠密卷积神经网络的三维医学图像超分辨率重建方法”(CN109360152A)提出了使用稠密神经网络进行超分辨率重建。

尽管这些现有的基于深度学习的方法已经努力提高了SR性能，但不同特征细节的重建仍然是一个挑战。深度神经网络提取的特征包含不同类型的跨通道、空间和层的信息，有着不同的重建难度。

参考文献

[1]Zhang S,Liang G,Pan S,et al.A fast medical image super resolutionmethod based on deep learning network[J].IEEEAccess,2018,7:12319-12327.

[2]Zhu J,Yang G,Lio P.How Can We Make GAN Perform Better in SingleMedical Image Super-Resolution？ALesion Focused Multi-ScaleApproach[J].arXivpreprint arXiv:1901.03419,2019.

[3]C.Dong,C.C.Loy,K.He,and X.Tang,“Learning a deep convolutionalnetwork for image super-resolution,”in ECCV,2014.

[4]J.Kim,J.Kwon Lee,and K.Mu Lee,“Accurate image superresolutionusing very deep convolutional networks,”in CVPR,2016.

[5]Ledig C,Theis L,Huszar F,et al.Photo-realistic single image super-resolution using a generative adversarial network[J].arXiv preprint arXiv:1609.04802,2016.

[6]Lim,Bee,et al."Enhanced deep residual networks for single imagesuper-resolution."Proceedings ofthe IEEE conference on computer visionandpattern recognition workshops.2017.

发明内容

本发明的目的是提供一种基于宽残差注意力的三维医学图像超分辨率重建方法，宽残差模块利用空洞卷积在不增加参数的情况下增加网络的感受野，可以处理不同层次的特征，对注意力模块改进，采用并联的空间注意力单元和通道注意力单元，从而可以使网络着重于高频信息所在的通道和空间位置，提升网络性能。技术方案如下：

一种基于宽残差注意力的三维医学图像超分辨率重建网络，包括下列步骤：

第一步，构建数据集并进行数据预处理：

(1)构建数据集，将数据集中每一张三维医学高分辨率图像切分成小块，对这些小块进行数据增强以增加数据量，然后划分数据集；

(2)数据预处理：把切分后的高分辨率小块经过k空间变换得到对应的低分辨率小块；

第二步，通过深度学习框架TensorFlow搭建一种基于宽残差注意力的三维医学图像超分辨率重建网络，基于宽残差注意力的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块：

(1)浅层特征提取模块由两个3×3×3的卷积层组成，将低分辨率小块输入浅层特征提取模块，得到浅层特征提取模块的输出特征图；

(2)非线性映射模块由六个宽残差注意力块组成，每一个宽残差注意力模块包括串联的两部分：宽残差模块和注意力模块；

宽残差模块中首先有一个3×3×3的卷积层，然后分为两个支路，上支路由ReLU，BN，Conv，ReLU，BN，Conv组成；下支路由ReLU，BN，扩张率为2的Conv，ReLU，BN，扩张率为2的Conv组成；两个支路的输出特征图进行交叉通道融合后，最后经过1×1×1卷积层降维，得到宽残差模块的输出特征图；

注意力模块由并联的通道注意力单元和空间注意力单元组成；上分支为通道注意力单元，先经过Global pooling和Maxpooling得到通道向量，再依次经过1×1×1的卷积层，ReLU激活函数，1×1×1的卷积层，Sigmoid激活函数得到通道权重向量，通道权重向量与输入特征图逐元素相乘得到通道注意力单元的输出特征图；下分支为空间注意力单元，先经过1×1×1的卷积层，ReLU激活函数，再经过三个串联的3×3×3的卷积层，ReLU激活函数，最后经过1×1×1的卷积层，Sigmoid激活函数得到空间向量，空间向量与输入特征图逐元素相乘得到空间注意力单元输出特征图；空间注意力单元的输出特征图和通道注意力单元的输出特征图进行通道融合，最后再经过1×1×1的卷积层；

将浅层特征提取模块的输出特征图，输入非线性映射模块，得到非线性映射模块的输出特征图；

(3)重建模块由一个3×3×3的卷积层构成；将浅层特征提取模块第一个卷积层的输出特征图与非线性映射模块的输出特征图逐元素相加之后输入重建模块得到最终特征图，该最终特征图即为超分辨率小块；

第三步，模型训练：

把数据集中经过数据预处理的低分辨率小块送入搭建好的基于宽残差注意力的三维医学图像超分辨率重建网络中，通过正向传播得到超分辨率小块；计算高分辨率小块和超分辨率小块的误差，该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为模型；

第四步，输入三维医学低分辨率小块，加载训练好的模型，输出重建的超分辨率小块。

本发明的实质性特点和有益效果如下：

(1)采用宽残差模块，上分支采用3×3×3的一般卷积，下分支采用扩张率为2的3×3×3空洞卷积，有利于处理不同层次的特征。

(2)改进通道注意力单元，在采样过程中，同时使用Global pooling和Maxpooling，融合采样结果传递给后层。

(3)改进空间注意力单元，相比于直接使用大的卷积核，采用多个卷积层串联的形式，有助于减少参数，增加网络的非线性。

附图说明

图1为基于宽残差注意力的三维医学图像超分辨率重建网络，图2为宽残差注意力模块结构图，图3为不同方法视觉效果对比，表一为不同方法性能对比。

表一 不同方法性能对比

具体实施方式

本发明提供一种基于宽残差注意力的三维医学图像超分辨率重建方法，下面将结合附图对实施方式进行详细描述：

第一步，构建数据集并进行数据预处理：

(1)本发明使用了公开的HCP(Human Connection Project)数据集，数据集中每一张三维医学高分辨率图像的尺寸为320×320×256。由于GPU显存限制，不能直接训练整张图像，因此将每一张三维医学高分辨率图像切分成64×64×64的小块，对这些小块进行数据增强(平移、翻转等)以增加数据量。最后一共得到13400个64×64×64的高分辨率小块，按照训练集和测试集4:1的比例进行数据划分，将10600个小块作为训练集，2800个小块作为测试集。

(2)将(1)中切分的高分辨率小块记为I_HR，I_HR经过k空间变换得到与其对应的低分辨率小块，每个低分辨率小块的尺寸均为64×64×64，将得到的低分辨率小块记为I_LR。此过程可以表示为：I_LR＝f(I_HR),其中f表示k空间变换。

第二步，通过深度学习框架TensorFlow搭建基于宽残差注意力的三维医学图像超分辨率重建网络。基于宽残差注意力的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块。下面对这三个部分进行详细介绍：

(1)将尺寸为64×64×64的低分辨率小块I_LR输入浅层特征提取模块，该模块由两个3×3×3的卷积层组成，得到[2,64,64,64,32]的输出特征图。浅层特征提取模块的结构如图1所示。

(2)将(1)[2,64,64,64,32]的输出特征图输入到非线性映射模块中，非线性映射模块由六个相同的宽残差注意力模块组成。每个宽残差注意力模块包含两部分：宽残差模块和注意力模块。

(3)在宽残差模块中，输入特征图经过一个3×3×3的卷积层，得到[2,64,64,64,32]的输出特征图。此特征图分为两个支路向后层传递，上支路由ReLU，BN，Conv(卷积层)，ReLU，BN，Conv组成。下支路由ReLU，BN，扩张率为2的Conv，ReLU，BN，扩张率为2的Conv组成。上下支路的输出特征图交叉通道融合得到[2,64,64,64,64]的输出特征图。经过1×1×1的卷积降维得到[2,64,64,64,32]的输出特征图。上支路经过ReLU，BN，Conv，得到[2,64,64,64,32]的特征图，下支路经过ReLU，BN，扩张率为2的Conv，得到[2,64,64,64,32]的特征图。上下支路的输出特征图通道融合得到[2,64,64,64,64]的输出特征图。经过1×1×1的卷积降维得到[2,64,64,64,32]的输出特征图。具体结构如图2所示。

(4)将宽残差模块[2,64,64,64,32]的输出特征图输入注意力模块。注意力模块由并联的通道注意力单元和空间注意力单元组成。上分支为通道注意力单元，先经过Globalpooling和Max pooling得到通道向量，再经过1×1×1的卷积层，ReLU激活函数，1×1×1的卷积层，Sigmoid激活函数得到通道权重向量，通道权重向量与输入特征图逐元素相乘得到[2,64,64,64,32]的输出特征图。下分支为空间注意力单元，先经过1×1×1的卷积层，ReLU激活函数，再经过三个串联的3×3×3的卷积层，ReLU激活函数，最后经过1×1×1的卷积层，Sigmoid激活函数得到空间向量，空间向量与输入特征图逐元素相乘得到[2,64,64,64,32]的输出特征图。空间注意力单元和通道注意力单元的输出特征图通道融合得到[2,64,64,64,64]的输出特征图。再经过1×1×1的卷积层得到[2,64,64,64,32]的输出特征图。具体结构如图2所示。

(5)将浅层特征提取模块中第一个卷积层的输出特征图与宽残差注意力模块的输出特征图逐元素相加得到[2,64,64,64,32]的输出特征图，再输入重建模块。重建模块由一个3×3×3的卷积层组成，输出特征图为[2,64,64,64,1]。即超分辨率小块，记为I_SR。

第三步，模型训练：

用数据集中经过数据预处理的低分辨率小块I_LR输入基于宽残差注意力的三维医学图像超分辨率重建网络，通过正向传播得到超分辨率小块I_SR。计算高分辨率小块I_HR和超分辨率小块I_SR的误差，利用L₁损失构建误差项Loss＝|I_SR-I_HR|。该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM优化器不断反馈优化直至误差不再减小。

学习率设置为0.0001，每迭代5轮下降为原来的0.95；迭代次数设置为5300，即每一轮训练5300次；batch_size设置为2，即每一次训练2个低分辨率小块；epoch设置为50，即整个网络需要训练50轮。训练完成后保存网络的模型和参数。

第四步，输入三维医学低分辨率小块I_LR，加载训练好的模型，即可输出的超分辨率小块I_SR。

第五步，本发明采用结构相似性(Structral Similarty Index，SSIM)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)来衡量算法效果。重建的超分辨率小块I_SR与高分辨率小块I_HR结果比对，计算出平均SSIM(结构相似性)＝0.945729，平均PSNR(峰值信噪比)＝34.7202。不同方法性能对比如表一所示，视觉效果对比如图3。

Claims (1)

1.一种基于宽残差注意力的三维医学图像超分辨率重建网络，包括下列步骤：

第一步，构建数据集并进行数据预处理：

(1)构建数据集，将数据集中每一张三维医学高分辨率图像切分成小块，对这些小块进行数据增强以增加数据量，然后划分数据集；

(2)数据预处理：把切分后的高分辨率小块经过k空间变换得到对应的低分辨率小块；

第二步，通过深度学习框架TensorFlow搭建一种基于宽残差注意力的三维医学图像超分辨率重建网络，基于宽残差注意力的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块：

(1)浅层特征提取模块由两个3×3×3的卷积层组成，将低分辨率小块输入浅层特征提取模块，得到浅层特征提取模块的输出特征图；

(2)非线性映射模块由六个宽残差注意力块串联组成，每一个宽残差注意力模块包括串联的两部分：宽残差模块和注意力模块；

宽残差模块中首先有一个3×3×3的卷积层，然后分为两个支路，上支路由ReLU，BN，Conv，ReLU，BN，Conv组成；下支路由ReLU，BN，扩张率为2的Conv，ReLU，BN，扩张率为2的Conv组成；两个支路的输出特征图进行交叉通道融合后，最后经过1×1×1卷积层降维，得到宽残差模块的输出特征图；

注意力模块由并联的通道注意力单元和空间注意力单元组成；上分支为通道注意力单元，先经过Global pooling和Max pooling得到通道向量，再依次经过1×1×1的卷积层，ReLU激活函数，1×1×1的卷积层，Sigmoid激活函数得到通道权重向量，通道权重向量与输入特征图逐元素相乘得到通道注意力单元的输出特征图；下分支为空间注意力单元，先经过1×1×1的卷积层，ReLU激活函数，再经过三个串联的3×3×3的卷积层，ReLU激活函数，最后经过1×1×1的卷积层，Sigmoid激活函数得到空间向量，空间向量与输入特征图逐元素相乘得到空间注意力单元输出特征图；空间注意力单元的输出特征图和通道注意力单元的输出特征图进行通道融合，最后再经过1×1×1的卷积层；

将浅层特征提取模块的输出特征图，输入非线性映射模块，得到非线性映射模块的输出特征图。

(3)重建模块由一个3×3×3的卷积层构成；将浅层特征提取模块第一个卷积层的输出特征图与非线性映射模块的输出特征图逐元素相加之后输入重建模块得到最终特征图，该最终特征图即为超分辨率小块；

第三步，模型训练：

把数据集中经过数据预处理的低分辨率小块送入搭建好的基于宽残差注意力的三维医学图像超分辨率重建网络中，通过正向传播得到超分辨率小块；计算高分辨率小块和超分辨率小块的误差，该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为模型；

第四步，输入三维医学低分辨率小块，加载训练好的模型，输出重建的超分辨率小块。

Images