CN111369433B - 基于可分离卷积和注意力的三维图像超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于可分离卷积和注意力的三维图像超分辨率重建网络，包括：第一步，构建数据集并进行数据预处理，把切分后的高分辨率小块经过k空间变换得到对应的低分辨率小块；搭建基于可分离卷积和注意力的三维图像超分辨率重建网络，包括四个部分，浅层特征提取模块、稠密连接模块、注意力模块和重建模块；模型训练：把第一步获得的低分辨率小块送入所搭建的基于可分离卷积和注意力的三维图像超分辨率重建网络中，通过正向传播得到超分辨率小块，计算高分辨率小块和超分辨率小块的误差，该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为模型。

Description

基于可分离卷积和注意力的三维图像超分辨率重建方法

技术领域

本发明涉及一种基于可分离卷积和注意力的三维图像超分辨率重建方法，主要应用于三维医学图像的超分辨率重建。

背景技术

图像超分辨率(SR)是指根据其低分辨率(LR)对应的图像重构相应的高分辨率(HR)图像。随着人工智能技术的飞速发展，图像超分辨率技术在医学图像中得到了广泛的应用，是医学图像处理、计算机辅助诊断等领域的研究热点之一。医生通过超分辨率算法获得高分辨率医学图像可以更清楚地看到生物结构和早期病变，这对诊断和治疗疾病是相当有益的。

然而，图像的分辨率和质量通常受到成像硬件的限制。除了可能的硬件限制,医学图像更容易受到健康限制(如X射线电离辐射剂量)和采集时间的限制(如吸收率有限)。此外，由于病人疲劳和器官搏动引起的运动会进一步降低图像质量，导致图像信噪比降低。低分辨率医学图像有限的视野和退化的图像质量会降低重要病理细节的可见性，影响诊断的准确性。研究表明，图像超分辨率(SR)为提高医学图像在空间分辨率方面的感知质量提供了另一种相对便宜的解决方案。如果我们重建出高分辨率(HR)图像，那么我们就可以在时间较短的扫描中获得更大的空间覆盖率和更好的空间分辨率。

近年来，图像超分辨率技术发展迅速。首先，插值方法被广泛应用，其计算效率高但是表示能力非常有限并且容易丢失高频纹理细节，从而产生模糊的高分辨率输出。基于模型的方法如利用先验信息约束解空间的最大后验概率(MAP)方法，与基于插值的方法相比，该方法的性能得到了提高。但是，当输入图像较小时，几乎没有先验信息可以被有效地利用，从而导致效率低下。基于稀疏的技术发展起来，以建立具有丰富图像先验信息的线性模型。这些方法的缺点是，寻找稀疏编码系数的解在计算上是昂贵的。除了基于稀疏的方法外，还开发了其他复杂的学习技术来模拟LR到HR空间的映射，包括邻域嵌入、随机森林和卷积神经网络。

Dong等人首次开发了一个三层网络SRCNN，分为特征提取、非线性映射,重建三个阶段，以学习SR的端到端映射。为了提高重建精度，VDSR加深了网络层，增加了跳过连接来学习输入和输出图像之间的残差，有利于改善梯度消失和网络退化问题。FSRCNN通过双三次插值直接对低分辨率图像进行卷积，并在网络顶部进行反卷积，得到最终的高分辨率图像。专利“基于稠密卷积神经网络的三维医学图像超分辨率重建方法”(CN109360152A)提出了使用稠密神经网络进行超分辨率重建。

深层CNN中的特征包含不同类型的信息，这些信息对图像重建有不同的贡献。但是以上方法均缺乏对不同类型信息的区分能力，对它们的处理也是平等的，导致模型的代表能力受到限制。因此，如何有效地利用神经网络中的的空间特征，是图像超分辨率重建中关键和有待探索的问题。

发明内容

针对模型缺乏不同类型信息的区分能力，本发明提出一种基于可分离卷积和注意力的三维图像超分辨率重建方法，重建效果比较好。技术方案如下：

一种基于可分离卷积和注意力的三维图像超分辨率重建网络，包括下列步骤：

第一步，构建数据集并进行数据预处理：

(1)构建数据集：下载公开的HCP(Human ConnectionProject)数据集，将数据集中每一张三维高分辨率图像切分成小块，对这些小块进行数据增强以增加数据量，然后划分数据集。

(2)数据预处理：把切分后的高分辨率小块经过k空间变换得到对应的低分辨率小块；

第二步，通过深度学习框架TensorFlow搭建基于可分离卷积和注意力的三维图像超分辨率重建网络，基于可分离卷积和注意力的三维图像超分辨率重建网络包括四个部分，浅层特征提取模块、稠密连接模块、注意力模块和重建模块；

(1)将低分辨率小块输入浅层特征提取模块，该模块有两个相同的结构，每个结构均由3*3*1和1*1*3的可分离卷积，relu激活函数组成，得到输出特征图；

(2)将浅层特征提取模块的输出特征图输入稠密连接模块，稠密连接模块由四个稠密块组成，每一个稠密块由四个密集层组成，每一个密集层由relu激活函数和3*3*3卷积层组成，层与层之间是密集连接；

(3)将稠密连接模块的输出特征图输入注意力模块，注意力模块由两个1*1*1卷积层和它们分别对应的relu激活函数、sigmoid激活函数组成，第一个1*1*1卷积层把输入特征图的维度降为原来维度的1/16，第二个1*1*1卷积层把降维后的特征图升维，恢复成输入特征图的维度，稠密连接模块的输出特征图和注意力模块的输出特征图逐元素相乘得到总的输出特征图；

(4)将第三步中总的输出特征图送入重建模块，重建模块由一个3*3*3卷积层组成，重建模块的输出特征图就是超分辨率重建后的小块，即超分辨率小块；

第三步，模型训练：

把第一步获得的低分辨率小块送入第二步所搭建的基于可分离卷积和注意力的三维图像超分辨率重建网络中，通过正向传播得到超分辨率小块，计算高分辨率小块和超分辨率小块的误差，该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为模型；

第四步，输入三维医学低分辨率小块，加载第三步训练好的模型，输出重建的超分辨率小块。

附图说明

附图1为基于可分离卷积和注意力的三维图像超分辨率重建网络

附图2为稠密块结构

附图3为超分辨率重建的结果图

具体实施方式

一种基于可分离卷积和注意力的三维图像超分辨率重建方法，下面将结合附图、附表对实施方式进行详细描述：

第一步，构建数据集并进行数据预处理：

(1)本发明使用了公开的HCP(Human Connection Project)数据集，数据集中每一张三维高分辨率图像的尺寸为320*320*256。由于GPU显存限制，不能直接训练整张图像，因此将每一张三维高分辨率图像切分成64*64*64的小块，对这些小块进行数据增强(平移、翻转等)以增加数据量。最后一共得到13400个64*64*64的高分辨率小块，按照训练集和测试集4:1的比例进行数据划分，将10600个小块作为训练集，2800个小块作为测试集。

(2)将(1)中切分的高分辨率小块记为I_HR，I_HR经过k空间变换得到与其对应的低分辨率小块，每个低分辨率小块的尺寸均为64*64*64，将得到的低分辨率小块记为I_LR。此过程可以表示为：I_LR＝f(I_HR),其中f表示k空间变换。

第二步，通过深度学习框架TensorFlow搭建基于可分离卷积和注意力的三维图像超分辨率重建网络。基于可分离卷积和注意力的三维图像超分辨率重建网络包括四个部分，浅层特征提取模块、稠密连接模块、注意力模块和重建模块。下面对这四部分进行详细介绍：

(1)将尺寸为64*64*64的低分辨率小块I_LR输入浅层特征提取模块，该模块有两个相同的结构，每个结构均由3*3*1和1*1*3的可分离卷积，relu激活函数组成。浅层特征提取模块的结构如图1所示，具体参数由表一给出。

(2)将(1)的输出特征图输入到稠密连接模块中，稠密连接模块由四个相同的稠密块组成。在每一个稠密块中，首先将输入特征图经过1*1*1卷积层来降低特征图的维度，然后将1*1*1卷积层处理后的特征图输入到3*3*3的卷积层，然后将得到的特征图经过四个密集层处理，每个密集层均由relu激活函数和3*3*3卷积层构成。将第一个密集层之前的3*3*3卷积层用x₀表示，之后的四个密集层依次表示为x₁、x₂、x₃、x₄，那么第l个密集层的输入可表示为：x_l＝H_l([x₀,x₁,...,x_l-1])，其中[]代表concatenation(拼接)，即将x₀到x_l-1层的所有输出特征图按通道融合在一起；H表示非线性变换过程。稠密连接模块的结构如图2所示，具体参数由表二给出。

(3)将(2)的输出特征图输入到注意力模块中。首先，特征图经过1*1*1卷积层将特征图的维度降为原来的1/16，降维后的特征图经过relu激活函数进行非线性激活。然后将激活后的特征图经过1*1*1卷积层提升特征图维度，将特征图维度扩大16倍，即维度恢复到输入到注意力模块的特征图的维度。将维度扩大后的特征图经过sigmoid激活函数进行非线性激活。最后，将激活后的特征图与输入到注意力模块的特征图进行逐像素相乘。注意力模块的结构如图1所示，具体参数由表三给出。

(4)将(3)的输出特征图输入重建模块，重建模块由一个3*3*3卷积层组成。重建模块的输出特征图即为超分辨率重建后的小块，将这些小块记为I_SR。

第三步，模型训练：

把第一步获得的低分辨率小块I_LR输入第二步所搭建的基于可分离卷积和注意力的三维图像超分辨率重建网络中，通过正向传播得到超分辨率小块I_SR。计算高分辨率小块I_HR和超分辨率小块I_SR的误差，利用L₂损失构建误差项Loss＝(I_SR-I_HR)²。该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM优化器不断反馈优化直至误差不再减小。

网络迭代次数设置为5300，即每一轮训练5300次；batch_size设置为2，即每一次训练2个低分辨率小块；epoch设置为100，即整个网络需要训练100轮。将训练好的网络参数保存为模型。

第四步，输入三维医学低分辨率小块I_LR，加载第三步训练好的模型，即可输出重建的超分辨率小块I_SR。

表一 浅层特征提取模块参数

表二 稠密连接模块参数

表三 注意力模块参数

第五步，本发明采用结构相似性(Structral Similarty Index，SSIM)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)来衡量算法效果。重建的超分辨率小块I_SR与高分辨率小块I_HR结果比对，计算出平均SSIM(结构相似性)＝0.9674,平均PSNR(峰值信噪比)＝36.4428。

Claims (1)

1.一种基于可分离卷积和注意力的三维图像超分辨率重建方法，包括下列步骤：

第一步，构建数据集并进行数据预处理：

构建数据集：下载公开的HCP数据集，将数据集中每一张三维高分辨率图像切分成小块，对这些小块进行数据增强以增加数据量，然后划分数据集；

数据预处理：把切分后的高分辨率小块经过k空间变换得到对应的低分辨率小块；

第二步，通过深度学习框架TensorFlow搭建基于可分离卷积和注意力的三维图像超分辨率重建网络，基于可分离卷积和注意力的三维图像超分辨率重建网络包括四个部分，浅层特征提取模块、稠密连接模块、注意力模块和重建模块；

将低分辨率小块输入浅层特征提取模块，该模块有两个相同的结构，每个结构均由3*3*1和1*1*3的可分离卷积，relu激活函数组成，得到输出特征图；

将浅层特征提取模块的输出特征图输入稠密连接模块，稠密连接模块由四个稠密块组成，每一个稠密块由四个密集层组成，每一个密集层由relu激活函数和3*3*3卷积层组成，层与层之间是密集连接；

将稠密连接模块的输出特征图输入注意力模块，注意力模块由两个1*1*1卷积层和它们分别对应的relu激活函数、sigmoid激活函数组成，第一个1*1*1卷积层把输入特征图的维度降为原来维度的1/16，第二个1*1*1卷积层把降维后的特征图升维，恢复成输入特征图的维度，稠密连接模块的输出特征图和注意力模块的输出特征图逐元素相乘得到总的输出特征图；

将第三步中总的输出特征图送入重建模块，重建模块由一个3*3*3卷积层组成，重建模块的输出特征图就是超分辨率重建后的小块，即超分辨率小块；

第三步，模型训练：

把第一步获得的低分辨率小块送入第二步所搭建的基于可分离卷积和注意力的三维图像超分辨率重建网络中，通过正向传播得到超分辨率小块，计算高分辨率小块和超分辨率小块的误差，该误差由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为模型；

第四步，输入三维医学低分辨率小块，加载第三步训练好的模型，输出重建的超分辨率小块。