CN111461983A - 一种基于不同频度信息的图像超分辨率重建模型及方法 - Google Patents

Abstract

本发明公开了一种图像超分辨率重建模型及方法。模型包括一条低频信息重建通道以及一条高频信息重建通道，所述两条重建通道得到的图像通过逐像素相加得到重建的超分辨图像；低频信息重建通道，包括上采样模块；高频信息重建通道，包括串联的基础特征提取模块、网络主干、以及上采样模块串联。方法步骤为：将获取的待超分辨率重建的原始图像，输入到所述的图像超分辨率重建模型，获得超分辨率重建图像。本发明提供的图像超分辨率重建模型及方法，通过两条并联的不同频度信息的重建通道，分别重建图像的低频信息和高频细节信息，最终融合重建，从而在运算时间可接受的范围内，实现了图像的超分辨率重建。

Description

一种基于不同频度信息的图像超分辨率重建模型及方法

技术领域

本发明属于图像处理领域，更具体地，涉及一种基于不同频度信息的图像超分辨率重建模型及方法，尤其涉及一种应用于医学图像的基于不同频度信息的图像超分辨率重建模型及方法。

背景技术

图像的超分辨率重建技术是指在不改变现有硬件设备的前提下，采用从同一场景中获取的单帧或多帧低质量图像，通过合适的算法进行处理，重建出一幅与理想图像更接近的高质量图像。

在对病人的临床诊断过程中，医生通常需要借助一系列高质量的CT图像(电子计算机断层扫描图像Computer Tomography，CT)、磁共振图像(Magnetic ResonanceImaging，MRI)、超声图像(Ultrasonic Imaging，US)、正电子发射计算机断层扫描图像(Positron Emission Tomography，PET)等来判断病情以及定位病灶，然而受CT、MRI、US、PET等设备的成像精度以及病人所能承受的放射剂量等因素的影响，很难获得高分辨率、高质量的医学图像，所得到的医学图像时常无法满足要求，即清晰度不够。

超分辨率重建是解决上述问题的有效方法，如近年来，基于卷积神经网络的超分辨率重建方法已经在光学图像领域取得了较大的进展。尤其是残差模块的引入使得研究者们可以构建更深的网络，解决了早期超分辨率网络层次较浅，无法利用图像的高层语义信息来推断丢失的高频细节的问题。

然而如果利用现有的基于卷积神经网络的超分辨率重建方法，进一步提高分辨率，保留图像细节，势必带来极大的参数量和运算量，直接用于CT等医学图像的超分辨率重建，不仅运行速度慢，而且效果并不理想，无法重建出一幅与理想图像更接近的高质量图像，影响医生对病情以及病灶的判断与定位。因此亟待开发新的图像超分辨率重建模型及方法，在提高超分辨率重建效果的同时，保证运行时间在可接受范围。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于不同频度信息的图像超分辨率重建模型及方法，其目的在于对于原始图像通过并联的两条重建通道提取不同频度的特征图像并进行融合重建，兼顾高层语义信息和高频细节信息，在控制计算量在可接收范围之内的前提下获得分辨率更高的图像，实现超分辨率图像重建，由此解决现有技术无法利用图像的高层语义信息来推断丢失的高频细节或者运算量太大不适合医学图像超分辨率重建的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于不同频度信息的图像超分辨率重建模型，其特征在于，包括用于重建不同频度信息的两条重建通道，所述两条重建通道得到的图像通过逐像素相加得到重建的超分辨图像；

所述两条重建通道，包括一条低频信息重建通道、以及一条高频信息重建通道；所述低频信息重建通道，包括用于直接放大原始低分辨率图像的上采样模块；所述高频信息重建通道，包括用于提取图像基础特征的基础特征提取模块、用于根据不同频度提取高频图像信息的网络主干、以及重建高频信息的上采样模块，所述基础特征提取模块、网络主干、以及上采样模块串联。

优选地，所述图像超分辨率重建模型，其所述网络主干，包括一个或多个残差模块子网络、以及多级特征融合模块；当有多个残差模块子网络时，多个残差模块子网络级联，第一级残差模块子网络的输入与所述特征提取模块的输出相连；所述多级特征融合模块，用于提取所有残差模块子网络的输入的特征图像和最后一级残差模块子网络的输出特征图像，并将这些不同层级的特征图像进行融合后输出给上采样模块。

优选地，所述图像超分辨率重建模型，其所述残差模块子网络，包括串联的卷积层、通道分离模块和多个级联残差模块；其中，所述卷积层用于将输入的特征图扩展为更多通道数目的特征图，扩展后的特征图由通道分离模块均分为两组，其中一组作为该残差模块子网络中多个级联的残差模块的输入，另一组作为多级特征融合模块的输入，所述多个级联的残差模块其输出作为下一级残差模块子网络的输入或多级融合模块的输入。

优选地，所述图像超分辨率重建模型，其所述残差模块为多尺度残差模块；所述多尺度残差模块，多个不同尺度的特征提取通道，以及融合重构子模块；所述多个不同尺度的特征提取通道并联，其通过不同尺寸的卷积核，进行不同尺度的特征提取，生成多幅具有不同通道数目的特征图，上述特征图输入到融合重构子模块拼接为一幅特征图，然后与该多尺度残差模块的输入特征图进行逐像素相加得到该多尺度残差模块输出的多尺度特征图。

优选地，所述图像超分辨率重建模型，其所述融合重构子模块，包括串联的拼接层、卷积层，多个特征提取通道得到的多幅特征图输入拼接层拼接为一幅特征图，经过卷积层将该特征图的通道数压缩为与该多尺度残差模块的输入特征图的通道数相等的特征图，然后压缩后的特征图与该多尺度残差模块的输入特征图进行逐像素相加，获得该多尺度残差模块的输出特征图。

优选地，所述图像超分辨率重建模型，其所述融合重构子模块还包括一个通道注意力组件，设置于卷积层之后，为特征图中不同通道间的数据分配不同的权重。

优选地，所述图像超分辨率重建模型，其所述基础特征提取模块，包括串联的卷积层和PReLU层；所述多级特征融合模块，包括串联的拼接层、卷积层以及一个通道注意力组件，首先将多幅具有不同抽象层级的特征图输入拼接层拼接为一幅特征图，拼接后的特征图输入卷积层，将其通道数压缩至与该模块的输入特征图通道数相等，获得其输出特征图；优选所述多级特征融合模块还包括一个通道注意力组件，设置于卷积层和快捷连接组件之间，为输出特征图中不同通道的数据分配不同的权重。

优选地，所述图像超分辨率重建模型，其所述上采样模块，包括卷积层以及像素重排层，所述卷积层的卷积核优选尺寸为5*5，其输入的特征图接入卷积层中，将其通道数扩展为整个模型放大因子的平方倍，经过像素重排层，将特征图中不同通道的数据重新排列到一个通道内。

按照本发明的另一个方面，提供了一种基于不同频度信息的图像超分辨率重建方法，其特征在于，包括以下步骤：

将获取的待超分辨率重建的原始图像，输入到经训练收敛的本发明提供的基于不同频度信息的图像超分辨率重建模型，获得超分辨率重建图像。

优选地，所述图像超分辨率重建方法，其所述经训练收敛的本发明提供的基于不同频度信息的图像超分辨率重建模型按照如下方法获取：

S1、收集与待超分辨率重建的原始图像规格相同、获取条件相同的图像作为训练图像，作为训练集；

S2、将步骤S1、获得的训练集输入到如权利要求1至8任意一项所述的基于不同频度信息的图像超分辨率重建模型，进行训练；

其损失函数采用平均绝对值误差损失函数，如下：

其中n表示训练样本的数目，F(·)表示上述的超分辨率重建模型，

和Xⁱ分别表示第i幅重建得到的超分辨率图像和第i幅原始的高分辨率图像，θ表示网络模型的权重参数。

训练收敛条件如下：收敛函数的值达到最小值或迭代次数超过预设阈值。

S3、保存满足收敛条件时的基于不同频度信息的图像超分辨率重建模型，作为经训练收敛的本发明提供的基于不同频度信息的图像超分辨率重建模型。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

本发明提供的图像超分辨率重建模型及方法，通过两条并联的不同频度信息的重建通道，分别重建图像的低频信息和高频细节信息，最终融合重建，从而在运算时间可接受的范围内，实现了图像的超分辨率重建。

本发明应用于医学图像的超分辨率重建，使用包含注意力机制的多尺度残差模块来构建网络，不仅拥有更好的特征提取能力，而且参数数量更少。也就是说，在减小参数量的同时可以最大限度地利用LR图像的特征。并且在构建网络时还将LR图像的上采样操作置于网络的末端，在保证重建精度的前提下，减小了算法的时间复杂度。

本发明还在网络中增加了多级特征融合模块，使得最终构建的网络模型更加适合于超分辨率重建这类低级计算机视觉任务，运用于医学处理的处理后，可以得到更好的医学图像的超分辨率重建结果。重建后具有高分辨率的医学图像可以为医生提供更丰富的结构信息，从而提高疾病诊断的准确性。

附图说明

图1是本发明提供的基于不同频度信息的图像超分辨率重建模型的结构示意图；

图2是本发明实施例提供的基础特征提取模块结构示意图；

图3是本发明实施例提供的多尺度残差模块结构示意图；

图4是本发明实施例提供的多级特征融合模块结构示意图；

图5是本发明实施例提供的上采样模块工作原理图；

图6a、图6b是本发明实施例多级特征融合模块设置后的效果对比图；

图7是使用本发明实施例提供的重建方法和现有方法的重建医学图像结果对比。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

现有的基于卷积神经网络的超分辨率重建网络大多都只采用单一尺度的残差模块来构建网络，对于低分辨率(LR，Low Resolution)图像特征的提取仍然不够充分，并且在增加网络深度的同时还带来了极大的参数量和运算量。

本发明提供的基于不同频度信息的图像超分辨率重建模型，如图1所示，包括用于重建不同频度信息的两条重建通道，所述两条重建通道得到的图像通过逐像素相加得到重建的超分辨图像；

所述两条重建通道，包括一条低频信息重建通道、以及一条高频信息重建通道；所述低频信息重建通道，包括用于直接放大原始低分辨率图像的上采样模块；所述高频信息重建通道，包括用于提取图像基础特征的基础特征提取模块、用于根据不同频度提取高频图像信息的网络主干、以及重建高频信息的上采样模块，所述基础特征提取模块、网络主干、以及上采样模块串联。其中：

所述基础特征提取模块，包括串联的卷积层和PReLU层，所述卷积层的卷积核优选尺寸为3*3。所述基础特征提取模块负责从输入网络结构的低分辨率图像(需要进行超分辨率重建的医学图像，以下简称输入图像)中提取像素级的底层特征，并将提取的底层特征保存在通道数目更多的特征图中。

所述网络主干，包括一个或多个残差模块子网络、以及多级特征融合模块；当有多个残差模块子网络时，多个残差模块子网络级联，第一级残差模块子网络的输入与所述特征提取模块的输出相连；所述多级特征融合模块，用于提取基础特征提取模块的输出特征图像和所有残差模块子网络的输出特征图像，并将这些不同层级的特征图像进行融合后输出给上采样模块；

所述残差模块子网络，包括串联的卷积层、通道分离模块和多个级联残差模块；其中，所述卷积层用于将输入的特征图扩展为更多通道数目的通道特征图，扩展后的通道特征图由通道分离模块(channelsplit)均分为两组，其中一组作为该残差模块子网络中多个级联的残差模块的输入，另一组作为多级特征融合模块的输入，所述多个级联的残差模块其输出作为下一级残差模块子网络的输入或多级融合模块的输入。

优选的，所述残差模块为多尺度残差模块。

所述多尺度残差模块，包括多个不同尺度的特征提取通道，以及融合重构子模块；所述多个不同尺度的特征提取通道并联，并通过不同尺寸的卷积核，进行不同尺度的特征提取，生成多幅具有不同通道数目的特征图，上述特征图输入到融合重构子模块拼接为一幅特征图，然后与该多尺度残差模块的输入特征图进行逐像素相加得到该多尺度残差模块输出的多尺度特征图。

所述不同尺度的卷积核，可为单层不同尺度的卷积核，或多个级联的卷积核串联。

所述融合重构子模块，包括串联的拼接层、卷积层，多个特征提取通道得到的多幅特征图输入拼接层拼接为一幅特征图，经过卷积层将该特征图的通道数压缩为与该多尺度残差模块的输入特征图的通道数相等的特征图，然后压缩后的特征图与该多尺度残差模块的输入特征图进行逐像素相加，获得该多尺度残差模块的输出特征图；优选所述融合重构子模块还包括一个通道注意力组件，设置于卷积层和快捷连接组件之间，为每一组不同通道数据的特征图分配不同的权重。通过通道注意力组件的使用，拥有更强的特征整合能力。

所述多级特征融合模块，包括串联的拼接层、卷积层以及一个通道注意力组件，首先将多幅具有不同抽象层级的特征图输入拼接层拼接为一幅特征图，拼接后的特征图输入卷积层，将其通道数压缩至与该模块的输入特征图通道数相等，获得其输出特征图；优选所述多级特征融合模块还包括一个通道注意力组件，设置于卷积层和快捷连接组件之间，为输出特征图中不同通道的数据分配不同的权重；

所述上采样模块，包括一个卷积层以及像素重排层，所述卷积层的卷积核优选尺寸为5*5，其输入的特征图接入卷积层中，将其通道数扩展为整个模型放大因子的平方倍，经过像素重排层，将特征图中不同通道的数据重新排列到一个通道内。

本发明提供的基于不同频度信息的图像超分辨率重建模型，通过叠加不同深度的图像特征来兼顾图像的高层语义信息和高频细节，从而突破硬件分辨率的限制，实现超分辨率成像。优选方案，通过多尺度残差模块代替现有的单一尺度残差模块来构建残差模块子网络，多尺度残差模块内部通过多通道并联不同尺度的卷积核，从而提取不同尺度的残差特征，然后拼接，在兼顾了不同尺度残差特征的同时，由于采用多通道并联的架构，大幅减少了参数量，约在30％以上，从而降低了运行时间在可接受范围内。

本发明提供的基于不同频度信息的图像超分辨率重建方法包括以下步骤：

将获取的待超分辨率重建的原始图像，输入到经训练收敛的本发明提供的基于不同频度信息的图像超分辨率重建模型，获得超分辨率重建图像；

所述经训练收敛的本发明提供的基于不同频度信息的图像超分辨率重建模型按照如下方法获取：

S1、收集与待超分辨率重建的原始图像规格相同、获取条件相同的图像作为训练图像，作为训练集；

S2、将步骤S1、获得的训练集输入到本发明提供的基于不同频度信息的图像超分辨率重建模型，进行训练；

其损失函数采用平均绝对值误差损失函数，如下：

其中n表示训练样本的数目，F(·)表示上述的超分辨率重建模型，

和Xⁱ分别表示第i幅重建得到的超分辨率图像和第i幅原始的高分辨率图像，θ表示网络模型的权重参数。

训练收敛条件如下：收敛函数的值达到最小值或迭代次数超过预设阈值。具体地：

模型训练的过程中，每遍历一次完整的训练集为一个周期，模型的初始学习率为0.001，当连续10个周期损失函数的值都没有优化到更小的值时，学习率减半，学习率最小可减为10^-5，之后如果损失函数的值连续50个周期都没有优化到更小的值，则模型已经收敛，训练结束。

S3、保存满足收敛条件时的基于不同频度信息的图像超分辨率重建模型，作为经训练收敛的本发明提供的基于不同频度信息的图像超分辨率重建模型。

以下为实施例：

本发明中用于医学图像的超分辨率重建方法适用于电子计算机断层扫描成像(Computer Tomography，CT)、磁共振成像(Magnetic Resonance Imaging，MRI)、超声成像(Ultrasonic Imaging，US)、正电子发射计算机断层扫描成像(Positron EmissionTomography，PET)等诸多能够通过外部扫描方式获取人体内部器官病理结构的图像处理。下面仅以电子计算机断层扫描成像(Computer Tomography，CT，以下简称CT图像)为例加以说明，但并不以此为限。

一种基于不同频度信息的图像超分辨率重建模型，如图1所示，包括：基础特征提取模块(Base Feature Extraction Module)、网络主干(Backbone Module)和两个上采样模块(Upsampling Module)，形成了两条并联的重建通道，一条低频信息重建通道、以及一条高频信息重建通道；所述低频信息重建通道，包括用于直接放大原始低分辨率图像的上采样模块；所述高频信息重建通道，包括串联的基础特征提取模块(Base FeatureExtraction Module)、网络主干(Backbone Module)和一个上采样模块(UpsamplingModule)。

如图2所示，基础特征提取模块(Base Feature Extraction Module)由一个卷积核尺寸为3*3的(Conv3*3)卷积层和一个PReLU激活函数组成，负责从输入网络结构的低分辨率图像(需要进行超分辨率重建的医学图像，以下简称输入图像)中提取像素级的底层特征，并将提取的底层特征保存在通道数目更多的特征图中。

本实施例，首先在卷积层中使用多个固定尺寸为3*3的卷积核对输入图像进行卷积运算，并将运算结果分别保存在特征图的不同通道中，然后使用PReLU激活函数对特征图中的所有特征进行非线性映射。例如，在卷积层中总共使用了64个尺寸为3*3的卷积核，输入图像的尺寸为512*512，则经过第二卷积层以及PReLU函数的运算之后，得到一组64通道、尺寸为512*512的特征图。实施例通过采用尺寸为3*3的卷积核能够有效减少基础特征提取模块的参数数量和计算量。对于卷积层的卷积运算以及PReLU层函数的运算均属于现有技术，在此不再详细说明。

所述网络主干，包括两个级联的残差模块子网络(分别是第一级残差模块子网络、第二级残差模块子网络)、以及多级特征融合模块，每个残差模块子网络包括一个用于通道扩展的第一卷积层(卷积核的尺寸为1*1，Conv1*1)、一个通道分离模块(channelsplit)、和8个依序串联连接的多尺度残差模块(Multi-scale Residual module)，残差模块子网络中的第一卷积层用于将输入的特征图扩展为更多通道数目的通道特征图，扩展通道后的特征图由通道分离模块(channelsplit)均分为两组通道数目相同的特征图，其中一组作为后续多级特征融合模块的输入，另一组作为第一个多尺度残差模块的输入；第二残差模块子网络的输出也作为后续多级特征融合模块的输入。每一级残差模块子网络中包含的多尺度残差模块(Multi-scale Residual module)的数量并不限于8个，并且网络主干(Backbone)中也可以仅包含一级残差模块子网络，或更多级残差模块子网络。本实施例通过实验正式在采用两级残差模块子网络，每个残差模块子网络采用8个多尺度残差模块的最适合本实施例的CT图像。实验显示，在网络主干中多尺度残差模块的总数量不变的情况下，增加或减少子网络的数量都会导致最终的重建效果下降。

如图3所示，每个多尺度残差模块采用四种尺度的卷积运算，并将四种尺度的卷积运算以并联的形式分别对从输入图像中提取的通道特征图或上一个多尺度残差模块输出的多尺度特征图进行特征提取，每种尺度的卷积运算对应生成具不同通道数目的一组特征图，然后再将四组特征图经过一个Concat层和一个第一卷积层进行融合和重构，之后经过一个通道注意力组件(SE Module)为每一组不同通道数目的特征图分配不同的权重，最后与快捷连接组件(skip connect)得到的特征图进行逐像素相加得到该多尺度残差模块输出的多尺度特征图，通过通道注意力组件(SE Module)的使用，拥有更强的特征整合能力。本实施例包括四种尺度的卷积运算通道，分别采用了四种特征尺度1*1、3*3、5*5和7*7的卷积运算，每种尺度的卷积运算对应生成16，32，32和16四种通道特征图。

如图4所示，多级特征融合模块(Multi-level Feature Fusion Module)包括有一个Concat层、一个第一卷积层和一个通道注意力组件(SE Module)，由Concat层将最后一个多尺度残差模块输出的多尺度特征图与两个通道分离模块直接输入多级特征融合模块的通道特征图进行通道拼接操作，通过道拼接操作后扩展了生成的特征图的通道数，再由第一卷积层将扩展后的通道压缩回残差模块子网络输出的通道数，最后由通道注意力组件(SE Module)为不同通道分配不同的权重，输出最终多尺度特征图。

如图1和图4所示，多级特征融合模块用于不同层级特征信息的融合，方便之后的上采样模块可以基于融合后的特征图进行高分辨率图像的重建。

如图5所示，所述上采样模块，包括一个卷积层以及像素重排层，所述卷积层的卷积核优选尺寸为5*5，其输入的特征图接入卷积层中，将其通道数扩展为整个模型放大因子的平方倍，经过像素重排层，将特征图中不同通道的数据重新排列到一个通道内。

分别实现对低分辨率图像和包含高频信息的特征图(多级特征融合模块输出的最终多尺度特征图)作上采样操作。上采样操作后分别获得低频信息部分和高频信息部分，最后将这两部分信息进行合并，即可重建得到完整的超分辨率图像。

本实施例提供的基于不同频度信息的图像超分辨率重建模型训练：

S1、我们选用了公开的3D-IRCADb-01(3D Image Reconstruction forComparison of Algorithm Database)数据库中的医学CT数据进行网络的训练和测试，3D-IRCADb-01数据库中包含了20组肝脏CT扫描数据，分别采集自10位欧洲女性和10位欧洲男性。我们从每组数据中分别挑选了25幅，共计500幅图像作为训练集；再从每组剩下的图像中分别随机选取5幅，共计100幅图像作为测试集。同时为了能够对训练过程进行实时的观测，我们还从测试集中随机选出了20幅图像作为验证集。

原始数据集中包含的都是尺寸为512×512的高分辨率图像，而在训练超分辨率网络的过程中，每组样本中都需要包含低分辨率图像块以及与之对应的高分辨率图像作为标签。因此对应于模型的上采样因子，我们对上述三个数据集中的图像分别进行了2，4，8倍的下采样处理，作为需要进行重建的低分辨率图像，而下采样前的原始图像则作为真值图像分别用于模型的训练以及对超分辨率结果的评估。

S2、将步骤S1、获得的训练集输入到本发明提供的基于不同频度信息的图像超分辨率重建模型，进行训练；

其损失函数采用平均绝对值误差损失函数，如下：

其中n表示训练样本的数目，F(·)表示上述的超分辨率重建模型，

和Xⁱ分别表示第i幅重建得到的超分辨率图像和第i幅原始的高分辨率图像，θ表示网络模型的权重参数。

训练收敛条件如下：收敛函数的值达到最小值或迭代次数超过预设阈值。具体地：

模型训练的过程中，每遍历一次完整的训练集为一个周期，模型的初始学习率为0.001，当连续10个周期损失函数的值都没有优化到更小的值时，学习率减半，学习率最小可减为10^-5，之后如果损失函数的值连续50个周期都没有优化到更小的值，则模型已经收敛，训练结束。

S3、保存满足收敛条件时的基于不同频度信息的图像超分辨率重建模型，作为经训练收敛的基于不同频度信息的图像超分辨率重建模型。

下面以一幅尺寸为512*512的输入图像为例加以说明，利用上述基于不同频度信息的图像超分辨率重建模型进行CT图像超分辨率重建过程如下：

1)基础特征提取模块的卷积层总共使用64个卷积核尺寸为3*3卷积层(简称第二卷积层)对输入图像进行卷积运算，经过第二卷积层以及PReLU函数的运算之后，得到一组64通道、尺寸为512*512的特征图。

2)上述步骤1)中获得的特征图首先进入第一级残差模块子网络，由第一级残差模块子网络中的第一卷积层将特征图扩展为128通道特征图，扩展后的128通道特征图由通道分离模块(channelsplit)均分为两组，每组通道特征图中包含64个通道，其中一组输入后续多级特征融合模块，另一组输入第一个多尺度残差模块。

3.1)输入第一个多尺度残差模块的64道通道特征图分别由四组并联的卷积运算通道进行卷积运算，每组卷积运算通道中都包含有若干个卷积层，在第一组卷积运算通道中，直接使用包含16个尺寸为1*1卷积核的卷积层进行特征的提取，对应生成特征尺度为1*1的16通道特征图；在第二组卷积运算通道中，首先使用包含32个尺寸为1*1卷积核的卷积层将输入特征图进行通道压缩，得到32通道的中间特征图，然后将其输入包含32个尺寸为3*3卷积核的卷积层中进行特征提取，对应生成特征尺度为3*3的32通道特征图；在第三组卷积运算通道中，同样首先使用包含32个尺寸为1*1卷积核的卷积层将输入特征图进行通道压缩，得到32通道的中间特征图，然后将其依次输入两个串联连接包含32个尺寸为3*3卷积核的卷积层中进行特征提取，由于两个级联的尺寸为3*3卷积核的卷积层运算可以产生与一个尺寸为5*5卷积核的卷积层运算相同的特征尺度，因此该组卷积运算对应生成特征尺度为5*5的32通道特征图；在第四组卷积运算通道中，则首先使用包含16个尺寸为1*1卷积核的卷积层将输入特征图进行通道压缩，得到16通道的中间特征图，然后将其依次输入三个串联连接包含16个尺寸为3*3卷积核的卷积层中进行特征提取，而三个级联的尺寸为3*3卷积核的卷积层的运算可以产生与一个尺寸为7*7卷积核的卷积层运算相同的特征尺度，因此该组卷积运算对应生成特征尺度为7*7的16通道特征图。也就是说，在第一个多尺度残差模块中采用了四种特征尺度1*1、3*3、5*5和7*7的卷积运算，每种尺度的卷积运算对应生成16，32，32和16四种通道特征图。

3.2)通过通道拼接层(Concat)将四种通道特征图进行合并，得到一组包含96通道的通道特征图，之后通过第一卷积层将其重组为64通道的通道特征图，再经通道注意力组件(SE Module)为不同通道中的特征分配不同的权重后计算得到残差项，将该残差项与通过快捷连接组件(skip connect)得到的未经任何处理(卷积运算处理)的输入特征图进行逐像素相加，得到第一个多尺度残差模块输出的多尺度特征图(64道)。

3.3)由第二个多尺度残差模块对第一个多尺度残差模块输出的多尺度特征图重复3.1)、3.2)步骤，如此重复，直到第八个多尺度残差模块输出的多尺度特征图(64道)。

4)将第八个多尺度残差模块输出的多尺度特征图由第二级残差模块子网络重复上述步骤2)、3.1)、3.2)、3.3)，输出的多尺度特征图。

5)多级特征融合模块将残差模块子网络输出的多尺度特征图与第一级、第二级残差模块子网络中经通道分离模块分别直接输入多级特征融合模块的特征图、通道特征图进行通道拼接操作，再由第一卷积层将扩展后的通道压缩回残差模块子网络输出的通道数，最后由通道注意力组件(SE Module)为不同通道数目的特征图分配不同的权重，输出最终多尺度特征图。

6)利用两个上采样模块分别实现对低分辨率图像和包含高频信息的特征图(多级特征融合模块输出的最终多尺度特征图)作上采样操作。上采样操作后分别获得低频信息部分和高频信息部分，最后将这两部分信息进行合并，即可重建得到完整的超分辨率图像。

本实施例中采用四种特征尺度分别为1*1，3*3，5*5和7*7的卷积运算以并联的形式对输入的低分辨率图像进行特征提取，每种特征尺度的卷积运算对应生成16，32，32和16通道的特征图，然后再将四组特征图经过一个通道拼接层(Concat)和第一卷积层进行融合和重构，得到最终的多尺度特征图，再将多尺度特征图进行逐级、多次重复运算，具有以下优点：

1)通过在多尺度残差模块中采用四种特征尺度1*1、3*3，5*5和7*7的卷积运算前增加1*1卷积层来压缩输入特征图的通道数，在不改变输出特征图通道数的情况下可以将三组卷积的参数数量分别减少39％，26％和19％；

2)在多尺度残差模块中分别使用2个级联的3*3卷积层和3个级联的3*3卷积层来产生5*5和7*7的特征尺度，可以得到相同的感受野，但参数数量却分别减少了28％和45％，并且采用多个卷积层级联的形式之后非线性映射层的数目也增加了，因此具有更好的非线性拟合能力。

3)本发明通过多级特征融合模块的加入，充分整合了网络中不同层级的特征，使得构建的网络模型更适合于医学超分辨率重建这类图像处理问题。如图6所示，通过对没有设置多级特征融合模块和增设有多级特征融合模块的两组网络结构进行分别训练，训练结果如图6a和图6b所示，可以看出使用本发明中的增设有多级特征融合模块的网络结构运行后，峰值信噪比(Peek Signal-to-Noise Ratio，PSNR)、结构相似性(StructuralSimilarity，SSIM)的评估结果都有了一定程度的提升，并且SSIM指标的收敛效果明显要优于未使用多级特征融合模块的网络结构。

4)在多级特征融合模块之前分别使用卷积核尺寸为1*1的卷积层和通道分离模块将输入后续残差模块和输入多级特征融合模块的特征图进行线性重组和分离，可以进一步实现特征图的有效利用。

5)将本发明中的方法和目前使用的方法通过实验与结果分析，结果如图7所示，验证了使用本发明中方法(Proposed)重建得到的图像整体更加清晰，用于表明图像更清晰的各数据均为最高或次高，对于细节的恢复也更为准确，如果将其用于实际的诊断过程中可以帮助医生更加准确地发现病变，对于提高临床诊断的质量有重要的意义。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于不同频度信息的图像超分辨率重建模型，其特征在于，包括用于重建不同频度信息的两条重建通道，所述两条重建通道得到的图像通过逐像素相加得到重建的超分辨图像；

所述两条重建通道，包括一条低频信息重建通道、以及一条高频信息重建通道；所述低频信息重建通道，包括用于直接放大原始低分辨率图像的上采样模块；所述高频信息重建通道，包括用于提取图像基础特征的基础特征提取模块、用于根据不同频度提取高频图像信息的网络主干、以及重建高频信息的上采样模块，所述基础特征提取模块、网络主干、以及上采样模块串联。

2.如权利要求1所述的图像超分辨率重建模型，其特征在于，所述网络主干，包括一个或多个残差模块子网络、以及多级特征融合模块；当有多个残差模块子网络时，多个残差模块子网络级联，第一级残差模块子网络的输入与所述特征提取模块的输出相连；所述多级特征融合模块，用于提取所有残差模块子网络的输入的特征图像和最后一级残差模块子网络的输出特征图像，并将这些不同层级的特征图像进行融合后输出给上采样模块。

3.如权利要求2所述的图像超分辨率重建模型，其特征在于，所述残差模块子网络，包括串联的卷积层、通道分离模块和多个级联残差模块；其中，所述卷积层用于将输入的特征图扩展为更多通道数目的特征图，扩展后的特征图由通道分离模块均分为两组，其中一组作为该残差模块子网络中多个级联的残差模块的输入，另一组作为多级特征融合模块的输入，所述多个级联的残差模块其输出作为下一级残差模块子网络的输入或多级融合模块的输入。

4.如权利要求3所述的图像超分辨率重建模型，其特征在于，所述残差模块为多尺度残差模块；所述多尺度残差模块，多个不同尺度的特征提取通道，以及融合重构子模块；所述多个不同尺度的特征提取通道并联，其通过不同尺寸的卷积核，进行不同尺度的特征提取，生成多幅具有不同通道数目的特征图，上述特征图输入到融合重构子模块拼接为一幅特征图，然后与该多尺度残差模块的输入特征图进行逐像素相加得到该多尺度残差模块输出的多尺度特征图。

5.如权利要求4所述的图像超分辨率重建模型，其特征在于，所述融合重构子模块，包括串联的拼接层、卷积层，多个特征提取通道得到的多幅特征图输入拼接层拼接为一幅特征图，经过卷积层将该特征图的通道数压缩为与该多尺度残差模块的输入特征图的通道数相等的特征图，然后压缩后的特征图与该多尺度残差模块的输入特征图进行逐像素相加，获得该多尺度残差模块的输出特征图。

6.如权利要求5所述的图像超分辨率重建模型，其特征在于，所述融合重构子模块还包括一个通道注意力组件，设置于卷积层之后，为特征图中不同通道间的数据分配不同的权重。

7.如权利要求2所述的图像超分辨率重建模型，其特征在于，所述基础特征提取模块，包括串联的卷积层和PReLU层；所述多级特征融合模块，包括串联的拼接层、卷积层以及一个通道注意力组件，首先将多幅具有不同抽象层级的特征图输入拼接层拼接为一幅特征图，拼接后的特征图输入卷积层，将其通道数压缩至与该模块的输入特征图通道数相等，获得其输出特征图；优选所述多级特征融合模块还包括一个通道注意力组件，设置于卷积层和快捷连接组件之间，为输出特征图中不同通道的数据分配不同的权重。

8.如权利要求1所述的图像超分辨率重建模型，其特征在于，所述上采样模块，包括卷积层以及像素重排层，所述卷积层的卷积核优选尺寸为5*5，其输入的特征图接入卷积层中，将其通道数扩展为整个模型放大因子的平方倍，经过像素重排层，将特征图中不同通道的数据重新排列到一个通道内。

9.一种基于不同频度信息的图像超分辨率重建方法，其特征在于，包括以下步骤：

将获取的待超分辨率重建的原始图像，输入到经训练收敛的如权利要求1至8任意一项所述的基于不同频度信息的图像超分辨率重建模型，获得超分辨率重建图像。

10.如权利要求9所述的图像超分辨率重建方法，其特征在于，所述经训练收敛的如权利要求1至8任意一项所述的基于不同频度信息的图像超分辨率重建模型按照如下方法获取：

S1、收集与待超分辨率重建的原始图像规格相同、获取条件相同的图像作为训练图像，作为训练集；

S2、将步骤S1、获得的训练集输入到如权利要求1至7任意一项所述的基于不同频度信息的图像超分辨率重建模型，进行训练；

其损失函数采用平均绝对值误差损失函数，如下：

其中n表示训练样本的数目，F(·)表示上述的超分辨率重建模型，

和Xⁱ分别表示第i幅重建得到的超分辨率图像和第i幅原始的高分辨率图像，θ表示网络模型的权重参数。

训练收敛条件如下：收敛函数的值达到最小值或迭代次数超过预设阈值。

S3、保存满足收敛条件时的基于不同频度信息的图像超分辨率重建模型，作为经训练收敛的本发明提供的基于不同频度信息的图像超分辨率重建模型。

Images