CN111445390B - 基于宽残差注意力的三维医学图像超分辨率重建方法 - Google Patents
基于宽残差注意力的三维医学图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN111445390B CN111445390B CN202010128630.2A CN202010128630A CN111445390B CN 111445390 B CN111445390 B CN 111445390B CN 202010128630 A CN202010128630 A CN 202010128630A CN 111445390 B CN111445390 B CN 111445390B
- Authority
- CN
- China
- Prior art keywords
- resolution
- module
- attention
- small blocks
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000003044 adaptive effect Effects 0.000 claims abstract description 6
- 230000001902 propagating effect Effects 0.000 claims abstract description 4
- 238000004458 analytical method Methods 0.000 claims abstract description 3
- 238000010586 diagram Methods 0.000 claims description 36
- 230000004913 activation Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000010304 firing Methods 0.000 claims 2
- 238000002591 computed tomography Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及一种基于宽残差注意力的三维医学图像超分辨率重建网络，包括下列步骤：构建数据集并进行数据预处理；搭建一种基于宽残差注意力的三维医学图像超分辨率重建网络，基于宽残差注意力的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块：模型训练：把数据集中经过数据预处理的低分辨率小块送入搭建好的基于宽残差注意力的三维医学图像超分辨率重建网络中，通过正向传播得到超分辨率小块；计算高分辨率小块和超分辨率小块的误差，该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为模型。
Description
技术领域
本发明主要应用于三维医学图像的超分辨率重建。
背景技术
常用的医学成像系统有磁共振成像(Magnetic Resonance Imaging,MRI)、计算机断层扫描(Computed Tomography,CT)、正电子发射型计算机断层显像(Positron EmissionComputed Tomography,PET-CT)和超声波(Ultrasound,US)[1]。医学图像作为医学诊断的重要依据，对清晰度的要求很高，但是目前由于硬件设施、采样时间、现有成像技术或患者舒适度等诸多因素的限制，很多情况下获取的医学图像分辨率较低，并且可能含有噪声和伪影[2]。图像超分辨率技术在医学图像中的应用能够使医生以较低的成本获得高质量的医学图像，如CT或MRI图像。通过这些高清晰度的医学图像，医生可以更准确地识别病变部位。因此，提高医学图像的分辨率具有十分重要的现实意义。
近些年来，很多超分辨率方法被提出。这些方法主要可以分为三类：基于插值的方法、基于重建的方法和基于学习的方法。基于插值的方法包括最近邻插值，双线性插值和双三次插值。基于重建的方法遵循均衡和非均衡采样定理，分为空间域方法和频率域方法。空间域方法包括凸集投影法、迭代反投影和最大后验概率等。频率域方法主要是消混叠重建方法。基于学习的方法包括马尔科夫随机场、图像金字塔、神经网络模型和主成分分析模型等。
在深度学习方面，Dong[3]等人首次把卷积神经网络应用在图像超分辨率重建任务中，提出了一个三层的网络(SRCNN)，包含特征提取，非线性映射，重建三个部分，建立起低分辨率到高分辨率的端到端映射，但是网络加深也不会带来性能的提升。为了解决SRCNN的问题，Kim等人提出了20层的VDSR[4]，采取残差学习策略将信息传递到后层，还有助于缓解梯度消失问题。该方法还将不同倍数的图像混在一起训练，实现了模型的多尺度。Ledig等人[5]提出了一个包括16个残差结构块的网络(SRResNet)。EDSR[6]基于SRResNet，通过删除BN层和使用更深更宽的网络结构来增强网络。专利“基于稠密卷积神经网络的三维医学图像超分辨率重建方法”(CN109360152A)提出了使用稠密神经网络进行超分辨率重建。
尽管这些现有的基于深度学习的方法已经努力提高了SR性能，但不同特征细节的重建仍然是一个挑战。深度神经网络提取的特征包含不同类型的跨通道、空间和层的信息，有着不同的重建难度。
参考文献
[1]Zhang S,Liang G,Pan S,et al.A fast medical image super resolutionmethod based on deep learning network[J].IEEEAccess,2018,7:12319-12327.
[2]Zhu J,Yang G,Lio P.How Can We Make GAN Perform Better in SingleMedical Image Super-Resolution？ALesion Focused Multi-ScaleApproach[J].arXivpreprint arXiv:1901.03419,2019.
[3]C.Dong,C.C.Loy,K.He,and X.Tang,“Learning a deep convolutionalnetwork for image super-resolution,”in ECCV,2014.
[4]J.Kim,J.Kwon Lee,and K.Mu Lee,“Accurate image superresolutionusing very deep convolutional networks,”in CVPR,2016.
[5]Ledig C,Theis L,Huszar F,et al.Photo-realistic single image super-resolution using a generative adversarial network[J].arXiv preprint arXiv:1609.04802,2016.
[6]Lim,Bee,et al."Enhanced deep residual networks for single imagesuper-resolution."Proceedings ofthe IEEE conference on computer visionandpattern recognition workshops.2017.
发明内容
本发明的目的是提供一种基于宽残差注意力的三维医学图像超分辨率重建方法，宽残差模块利用空洞卷积在不增加参数的情况下增加网络的感受野，可以处理不同层次的特征，对注意力模块改进，采用并联的空间注意力单元和通道注意力单元，从而可以使网络着重于高频信息所在的通道和空间位置，提升网络性能。技术方案如下：
一种基于宽残差注意力的三维医学图像超分辨率重建网络，包括下列步骤：
第一步，构建数据集并进行数据预处理：
(1)构建数据集，将数据集中每一张三维医学高分辨率图像切分成小块，对这些小块进行数据增强以增加数据量，然后划分数据集；
(2)数据预处理：把切分后的高分辨率小块经过k空间变换得到对应的低分辨率小块；
第二步，通过深度学习框架TensorFlow搭建一种基于宽残差注意力的三维医学图像超分辨率重建网络，基于宽残差注意力的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块：
(1)浅层特征提取模块由两个3×3×3的卷积层组成，将低分辨率小块输入浅层特征提取模块，得到浅层特征提取模块的输出特征图；
(2)非线性映射模块由六个宽残差注意力块组成，每一个宽残差注意力模块包括串联的两部分：宽残差模块和注意力模块；
宽残差模块中首先有一个3×3×3的卷积层，然后分为两个支路，上支路由ReLU，BN，Conv，ReLU，BN，Conv组成；下支路由ReLU，BN，扩张率为2的Conv，ReLU，BN，扩张率为2的Conv组成；两个支路的输出特征图进行交叉通道融合后，最后经过1×1×1卷积层降维，得到宽残差模块的输出特征图；
注意力模块由并联的通道注意力单元和空间注意力单元组成；上分支为通道注意力单元，先经过Global pooling和Maxpooling得到通道向量，再依次经过1×1×1的卷积层，ReLU激活函数，1×1×1的卷积层，Sigmoid激活函数得到通道权重向量，通道权重向量与输入特征图逐元素相乘得到通道注意力单元的输出特征图；下分支为空间注意力单元，先经过1×1×1的卷积层，ReLU激活函数，再经过三个串联的3×3×3的卷积层，ReLU激活函数，最后经过1×1×1的卷积层，Sigmoid激活函数得到空间向量，空间向量与输入特征图逐元素相乘得到空间注意力单元输出特征图；空间注意力单元的输出特征图和通道注意力单元的输出特征图进行通道融合，最后再经过1×1×1的卷积层；
将浅层特征提取模块的输出特征图，输入非线性映射模块，得到非线性映射模块的输出特征图；
(3)重建模块由一个3×3×3的卷积层构成；将浅层特征提取模块第一个卷积层的输出特征图与非线性映射模块的输出特征图逐元素相加之后输入重建模块得到最终特征图，该最终特征图即为超分辨率小块；
第三步，模型训练：
把数据集中经过数据预处理的低分辨率小块送入搭建好的基于宽残差注意力的三维医学图像超分辨率重建网络中，通过正向传播得到超分辨率小块；计算高分辨率小块和超分辨率小块的误差，该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为模型；
第四步，输入三维医学低分辨率小块，加载训练好的模型，输出重建的超分辨率小块。
本发明的实质性特点和有益效果如下：
(1)采用宽残差模块，上分支采用3×3×3的一般卷积，下分支采用扩张率为2的3×3×3空洞卷积，有利于处理不同层次的特征。
(2)改进通道注意力单元，在采样过程中，同时使用Global pooling和Maxpooling，融合采样结果传递给后层。
(3)改进空间注意力单元，相比于直接使用大的卷积核，采用多个卷积层串联的形式，有助于减少参数，增加网络的非线性。
附图说明
图1为基于宽残差注意力的三维医学图像超分辨率重建网络，图2为宽残差注意力模块结构图，图3为不同方法视觉效果对比，表一为不同方法性能对比。
表一 不同方法性能对比
具体实施方式
本发明提供一种基于宽残差注意力的三维医学图像超分辨率重建方法，下面将结合附图对实施方式进行详细描述：
第一步，构建数据集并进行数据预处理：
(1)本发明使用了公开的HCP(Human Connection Project)数据集，数据集中每一张三维医学高分辨率图像的尺寸为320×320×256。由于GPU显存限制，不能直接训练整张图像，因此将每一张三维医学高分辨率图像切分成64×64×64的小块，对这些小块进行数据增强(平移、翻转等)以增加数据量。最后一共得到13400个64×64×64的高分辨率小块，按照训练集和测试集4:1的比例进行数据划分，将10600个小块作为训练集，2800个小块作为测试集。
(2)将(1)中切分的高分辨率小块记为IHR，IHR经过k空间变换得到与其对应的低分辨率小块，每个低分辨率小块的尺寸均为64×64×64，将得到的低分辨率小块记为ILR。此过程可以表示为：ILR＝f(IHR),其中f表示k空间变换。
第二步，通过深度学习框架TensorFlow搭建基于宽残差注意力的三维医学图像超分辨率重建网络。基于宽残差注意力的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块。下面对这三个部分进行详细介绍：
(1)将尺寸为64×64×64的低分辨率小块ILR输入浅层特征提取模块，该模块由两个3×3×3的卷积层组成，得到[2,64,64,64,32]的输出特征图。浅层特征提取模块的结构如图1所示。
(2)将(1)[2,64,64,64,32]的输出特征图输入到非线性映射模块中，非线性映射模块由六个相同的宽残差注意力模块组成。每个宽残差注意力模块包含两部分：宽残差模块和注意力模块。
(3)在宽残差模块中，输入特征图经过一个3×3×3的卷积层，得到[2,64,64,64,32]的输出特征图。此特征图分为两个支路向后层传递，上支路由ReLU，BN，Conv(卷积层)，ReLU，BN，Conv组成。下支路由ReLU，BN，扩张率为2的Conv，ReLU，BN，扩张率为2的Conv组成。上下支路的输出特征图交叉通道融合得到[2,64,64,64,64]的输出特征图。经过1×1×1的卷积降维得到[2,64,64,64,32]的输出特征图。上支路经过ReLU，BN，Conv，得到[2,64,64,64,32]的特征图，下支路经过ReLU，BN，扩张率为2的Conv，得到[2,64,64,64,32]的特征图。上下支路的输出特征图通道融合得到[2,64,64,64,64]的输出特征图。经过1×1×1的卷积降维得到[2,64,64,64,32]的输出特征图。具体结构如图2所示。
(4)将宽残差模块[2,64,64,64,32]的输出特征图输入注意力模块。注意力模块由并联的通道注意力单元和空间注意力单元组成。上分支为通道注意力单元，先经过Globalpooling和Max pooling得到通道向量，再经过1×1×1的卷积层，ReLU激活函数，1×1×1的卷积层，Sigmoid激活函数得到通道权重向量，通道权重向量与输入特征图逐元素相乘得到[2,64,64,64,32]的输出特征图。下分支为空间注意力单元，先经过1×1×1的卷积层，ReLU激活函数，再经过三个串联的3×3×3的卷积层，ReLU激活函数，最后经过1×1×1的卷积层，Sigmoid激活函数得到空间向量，空间向量与输入特征图逐元素相乘得到[2,64,64,64,32]的输出特征图。空间注意力单元和通道注意力单元的输出特征图通道融合得到[2,64,64,64,64]的输出特征图。再经过1×1×1的卷积层得到[2,64,64,64,32]的输出特征图。具体结构如图2所示。
(5)将浅层特征提取模块中第一个卷积层的输出特征图与宽残差注意力模块的输出特征图逐元素相加得到[2,64,64,64,32]的输出特征图，再输入重建模块。重建模块由一个3×3×3的卷积层组成，输出特征图为[2,64,64,64,1]。即超分辨率小块，记为ISR。
第三步，模型训练：
用数据集中经过数据预处理的低分辨率小块ILR输入基于宽残差注意力的三维医学图像超分辨率重建网络，通过正向传播得到超分辨率小块ISR。计算高分辨率小块IHR和超分辨率小块ISR的误差，利用L1损失构建误差项Loss＝|ISR-IHR|。该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM优化器不断反馈优化直至误差不再减小。
学习率设置为0.0001，每迭代5轮下降为原来的0.95；迭代次数设置为5300，即每一轮训练5300次；batch_size设置为2，即每一次训练2个低分辨率小块；epoch设置为50，即整个网络需要训练50轮。训练完成后保存网络的模型和参数。
第四步，输入三维医学低分辨率小块ILR，加载训练好的模型，即可输出的超分辨率小块ISR。
第五步，本发明采用结构相似性(Structral Similarty Index，SSIM)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)来衡量算法效果。重建的超分辨率小块ISR与高分辨率小块IHR结果比对，计算出平均SSIM(结构相似性)＝0.945729，平均PSNR(峰值信噪比)＝34.7202。不同方法性能对比如表一所示，视觉效果对比如图3。
Claims (1)
1.一种基于宽残差注意力的三维医学图像超分辨率重建网络，包括下列步骤：
第一步，构建数据集并进行数据预处理：
(1)构建数据集，将数据集中每一张三维医学高分辨率图像切分成小块，对这些小块进行数据增强以增加数据量，然后划分数据集；
(2)数据预处理：把切分后的高分辨率小块经过k空间变换得到对应的低分辨率小块；
第二步，通过深度学习框架TensorFlow搭建一种基于宽残差注意力的三维医学图像超分辨率重建网络，基于宽残差注意力的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块：
(1)浅层特征提取模块由两个3×3×3的卷积层组成，将低分辨率小块输入浅层特征提取模块，得到浅层特征提取模块的输出特征图；
(2)非线性映射模块由六个宽残差注意力块串联组成，每一个宽残差注意力模块包括串联的两部分：宽残差模块和注意力模块；
宽残差模块中首先有一个3×3×3的卷积层，然后分为两个支路，上支路由ReLU，BN，Conv，ReLU，BN，Conv组成；下支路由ReLU，BN，扩张率为2的Conv，ReLU，BN，扩张率为2的Conv组成；两个支路的输出特征图进行交叉通道融合后，最后经过1×1×1卷积层降维，得到宽残差模块的输出特征图；
注意力模块由并联的通道注意力单元和空间注意力单元组成；上分支为通道注意力单元，先经过Global pooling和Max pooling得到通道向量，再依次经过1×1×1的卷积层，ReLU激活函数，1×1×1的卷积层，Sigmoid激活函数得到通道权重向量，通道权重向量与输入特征图逐元素相乘得到通道注意力单元的输出特征图；下分支为空间注意力单元，先经过1×1×1的卷积层，ReLU激活函数，再经过三个串联的3×3×3的卷积层，ReLU激活函数，最后经过1×1×1的卷积层，Sigmoid激活函数得到空间向量，空间向量与输入特征图逐元素相乘得到空间注意力单元输出特征图；空间注意力单元的输出特征图和通道注意力单元的输出特征图进行通道融合，最后再经过1×1×1的卷积层；
将浅层特征提取模块的输出特征图，输入非线性映射模块，得到非线性映射模块的输出特征图；
(3)重建模块由一个3×3×3的卷积层构成；将浅层特征提取模块第一个卷积层的输出特征图与非线性映射模块的输出特征图逐元素相加之后输入重建模块得到最终特征图，该最终特征图即为超分辨率小块；
第三步，模型训练：
把数据集中经过数据预处理的低分辨率小块送入搭建好的基于宽残差注意力的三维医学图像超分辨率重建网络中，通过正向传播得到超分辨率小块；计算高分辨率小块和超分辨率小块的误差，该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为模型；
第四步，输入三维医学低分辨率小块，加载训练好的模型，输出重建的超分辨率小块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010128630.2A CN111445390B (zh) | 2020-02-28 | 2020-02-28 | 基于宽残差注意力的三维医学图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010128630.2A CN111445390B (zh) | 2020-02-28 | 2020-02-28 | 基于宽残差注意力的三维医学图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111445390A CN111445390A (zh) | 2020-07-24 |
| CN111445390B true CN111445390B (zh) | 2022-03-25 |
Family
ID=71651002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010128630.2A Active CN111445390B (zh) | 2020-02-28 | 2020-02-28 | 基于宽残差注意力的三维医学图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111445390B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986085B (zh) * | 2020-07-31 | 2024-09-13 | 南京航空航天大学 | 一种基于深度反馈注意力网络系统的图像超分辨率方法 |
| CN112508625B (zh) * | 2020-12-18 | 2022-10-21 | 国网河南省电力公司经济技术研究院 | 基于多分枝残差注意力网络的智能稽查建模方法 |
| CN112950475B (zh) * | 2021-03-05 | 2024-09-24 | 北京工业大学 | 基于残差学习及空间变换网络的光场超分辨率重建方法 |
| CN112862688B (zh) * | 2021-03-08 | 2021-11-23 | 西华大学 | 基于跨尺度注意力网络的图像超分辨率重建系统及方法 |
| CN113011499B (zh) * | 2021-03-22 | 2022-02-01 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
| CN113139902A (zh) * | 2021-04-23 | 2021-07-20 | 深圳大学 | 一种高光谱图像超分辨率重建方法、装置及电子设备 |
| CN113096019B (zh) * | 2021-04-28 | 2023-04-18 | 中国第一汽车股份有限公司 | 图像重建方法、装置、图像处理设备及存储介质 |
| CN113298710B (zh) * | 2021-05-10 | 2024-04-16 | 天津大学 | 基于外部注意力机制的光学相干层析超分辨率成像方法 |
| CN113269077B (zh) * | 2021-05-19 | 2023-04-07 | 青岛科技大学 | 基于改进门控网络和残差网络的水声通信信号调制方式识别方法 |
| CN113298717B (zh) * | 2021-06-08 | 2024-09-27 | 浙江工业大学 | 基于多注意力残差特征融合的医学图像超分辨率重建方法 |
| CN113487481B (zh) * | 2021-07-02 | 2022-04-12 | 河北工业大学 | 基于信息构建和多密集残差块的循环视频超分辨率方法 |
| CN113506222B (zh) * | 2021-07-30 | 2024-03-01 | 合肥工业大学 | 一种基于卷积神经网络的多模态图像超分辨方法 |
| CN113393382B (zh) * | 2021-08-16 | 2021-11-09 | 四川省人工智能研究院(宜宾) | 一种基于多维度视差先验的双目图片超分辨率重建方法 |
| CN113888412B (zh) * | 2021-11-23 | 2022-04-05 | 南京云上数融技术有限公司 | 一种用于糖尿病视网膜病变分类的图像超分辨率重建方法 |
| CN114547976B (zh) * | 2022-02-17 | 2024-04-30 | 浙江大学 | 基于金字塔变分自编码器的多采样率数据软测量建模方法 |
| CN114944213A (zh) * | 2022-06-08 | 2022-08-26 | 长江大学 | 基于记忆驱动的Transformer医学内窥镜图像报告生成方法 |
| CN115239557B (zh) * | 2022-07-11 | 2023-10-24 | 河北大学 | 轻量化的x光图像超分辨率重建方法 |
| CN115578260B (zh) * | 2022-10-08 | 2023-07-25 | 苏州大学 | 针对图像超分辨率的方向解耦的注意力方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945185A (zh) * | 2017-11-29 | 2018-04-20 | 北京工商大学 | 基于宽残差金字塔池化网络的图像分割方法及系统 |
| CN108334948A (zh) * | 2018-02-09 | 2018-07-27 | 武汉理工大学 | 一种基于宽残差网络学习模型的机械轴承故障诊断技术 |
| CN108648191A (zh) * | 2018-05-17 | 2018-10-12 | 吉林大学 | 基于贝叶斯宽度残差神经网络的害虫图像识别方法 |
| CN109360152A (zh) * | 2018-10-15 | 2019-02-19 | 天津大学 | 基于稠密卷积神经网络的三维医学图像超分辨率重建方法 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
| CN110322402A (zh) * | 2019-04-30 | 2019-10-11 | 武汉理工大学 | 基于稠密混合注意力网络的医学图像超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931179B (zh) * | 2016-04-08 | 2018-10-26 | 武汉大学 | 一种联合稀疏表示与深度学习的图像超分辨率方法及系统 |
-
2020
- 2020-02-28 CN CN202010128630.2A patent/CN111445390B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945185A (zh) * | 2017-11-29 | 2018-04-20 | 北京工商大学 | 基于宽残差金字塔池化网络的图像分割方法及系统 |
| CN108334948A (zh) * | 2018-02-09 | 2018-07-27 | 武汉理工大学 | 一种基于宽残差网络学习模型的机械轴承故障诊断技术 |
| CN108648191A (zh) * | 2018-05-17 | 2018-10-12 | 吉林大学 | 基于贝叶斯宽度残差神经网络的害虫图像识别方法 |
| CN109360152A (zh) * | 2018-10-15 | 2019-02-19 | 天津大学 | 基于稠密卷积神经网络的三维医学图像超分辨率重建方法 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
| CN110322402A (zh) * | 2019-04-30 | 2019-10-11 | 武汉理工大学 | 基于稠密混合注意力网络的医学图像超分辨率重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| 《MR Image Super-Resolution via Wide Residual Networks with Fixed Skip Connection》;Jun Shi等;《IEEE Journal of Biomedical and Health Informatics》;20181231;全文 * |
| 《Super-resolution using multi-channel merged convolutional network》;Jinghui Chu等;《Neurocomputing》;20190426;全文 * |
| 《Wide Activation for Efficient and Accurate Image Super-Resolution》;Jiahui Yu等;《arXiv:1808.08718v2》;20181221;全文 * |
| 《基于深度可分离卷积和宽残差网络的医学影像超分辨率重建》;高媛等;《计算机应用》;20190910;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111445390A (zh) | 2020-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111445390B (zh) | 基于宽残差注意力的三维医学图像超分辨率重建方法 | |
| CN111461983B (zh) | 一种基于不同频度信息的图像超分辨率重建模型及方法 | |
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN111047515B (zh) | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 | |
| CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
| CN111028306B (zh) | 基于AR2 U-Net神经网络的快速磁共振成像方法 | |
| CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN109360152A (zh) | 基于稠密卷积神经网络的三维医学图像超分辨率重建方法 | |
| Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
| CN111161146A (zh) | 一种由粗糙到精细的单张图像超分辨率重建方法 | |
| CN111487573B (zh) | 一种用于磁共振欠采样成像的强化型残差级联网络模型 | |
| CN112288041A (zh) | 一种多模态深度神经网络的特征融合方法 | |
| CN111369433A (zh) | 基于可分离卷积和注意力的三维图像超分辨率重建方法 | |
| Qiu et al. | Progressive U-Net residual network for computed tomography images super-resolution in the screening of COVID-19 | |
| CN113870327B (zh) | 基于预测多层次变形场的医学图像配准方法 | |
| CN113506222A (zh) | 一种基于卷积神经网络的多模态图像超分辨方法 | |
| CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
| Xie et al. | Super-resolution of Pneumocystis carinii pneumonia CT via self-attention GAN | |
| WO2022163402A1 (ja) | 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置 | |
| CN116823625A (zh) | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 | |
| CN111696042A (zh) | 基于样本学习的图像超分辨重建方法 | |
| CN117934284A (zh) | 用于磁共振成像的多域级联超分辨率模型构建方法 | |
| CN111028147B (zh) | 基于级联空洞卷积的三维医学图像超分辨率重建方法 | |
| CN118014837A (zh) | 基于残差注意力机制的mri超分辨率 | |
| Liu et al. | Fine-grained MRI reconstruction using attentive selection generative adversarial networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220706 Address after: 430064 No.3, 15 / F, unit 1, building 1, SOHO City, Zhongnan Road, dingziqiao Road, Wen'an street, Wuchang District, Wuhan City, Hubei Province (plot K1 of Xiangyang Village Chengzhong Village Reconstruction) Patentee after: Wuhan Zhongxu Intellectual Property Service Co.,Ltd. Address before: 300072 Tianjin City, Nankai District Wei Jin Road No. 92 Patentee before: Tianjin University Effective date of registration: 20220706 Address after: 211513 No. 18, Fuqian South Road, Nanjing Siqiao economic Park, Longpao street, Liuhe District, Nanjing, Jiangsu Province Patentee after: NANJING NUOYUAN MEDICAL DEVICES CO.,LTD. Address before: 430064 No.3, 15 / F, unit 1, building 1, SOHO City, Zhongnan Road, dingziqiao Road, Wen'an street, Wuchang District, Wuhan City, Hubei Province (plot K1 of Xiangyang Village Chengzhong Village Reconstruction) Patentee before: Wuhan Zhongxu Intellectual Property Service Co.,Ltd. |
|
| TR01 | Transfer of patent right |