CN111028147A - 基于级联空洞卷积的三维医学图像超分辨率重建方法 - Google Patents
基于级联空洞卷积的三维医学图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN111028147A CN111028147A CN201911168269.XA CN201911168269A CN111028147A CN 111028147 A CN111028147 A CN 111028147A CN 201911168269 A CN201911168269 A CN 201911168269A CN 111028147 A CN111028147 A CN 111028147A
- Authority
- CN
- China
- Prior art keywords
- resolution
- super
- dimensional medical
- small blocks
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 239000011800 void material Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种基于级联空洞卷积的三维医学图像超分辨率重建方法，包括下列步骤：第一步，构建数据集并进行数据预处理；第二步，通过深度学习框架TensorFlow搭建基于级联空洞卷积的三维医学图像超分辨率重建网络，基于级联空洞卷积的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块；第三步，模型训练；第四步，输入三维医学低分辨率小块，加载第三步训练好的模型，输出重建的超分辨率小块。
Description
技术领域
本发明涉及一种基于级联空洞卷积的三维医学图像超分辨率重建方法，主要应用于三维医学图像的超分辨率重建。
背景技术
图像超分辨率是指从低分辨率图像中恢复高分辨率图像的过程，是计算机视觉和图像处理中的一类重要的图像处理技术。它具有广泛的实际应用，如医学成像[1]、监视和安全等。
医学图像作为医学诊断的重要依据，对诊断的清晰度要求很高，但由于硬件设备和现有成像技术的局限性，医生往往得不到理想的高分辨率图像。而图像超分辨率技术在医学图像中的应用能够使医生获得高质量、高分辨率的医学图像，如CT或MRI图像。高清晰度医学图像可以为医学诊断提供更准确的线索。通过这些高清晰度的医学图像，医生可以更准确地识别病变部位。因此，提高医学图像的分辨率具有重要的现实意义。
一般来说，这个问题是很有挑战性的，而且本质上是病态的，因为总是有多个HR图像对应于单个LR 图像。文献中提出了各种经典的方法。基于插值的方法包括最近邻插值，双线性插值以及双三次插值。基于重建的方法，其中空域方法包括迭代反投影(IBP)，最大后验概率等，频率域方法主要是销混叠重建方法。基于学习的方法包括流形学习，稀疏编码[2]以及深度学习。
近年来，随着深度学习技术的飞速发展，基于深度学习的SR模型已经得到了积极的探索，并且经常在SR的各种基准上实现最先进的性能。
Dong[3]等提出一个三层的网络(SRCNN)，包含特征提取，非线性映射，重建三个部分，建立起低分辨率到高分辨率的端到端映射，但是再加深网络也不能得到更好的结果。由于LR图像和HR图像在很大程度上共享了相同的信息，Kim等人引入了剩余学习(VDSR)[4]，加快训练，抑制由于网络加深带来的梯度消失或者爆炸问题。在编解码网络[5]中引入了许多对称的跳过连接，用于图像恢复任务。然而，相对于使用单一跳过连接的DRCN方法[6]，SR性能的改善是微不足道的。专利“基于稠密卷积神经网络的三维医学图像超分辨率重建方法”(CN109360152A)提出了使用稠密神经网络进行超分辨率重建。
尽管这些现有的基于深度学习的方法已经努力提高SR性能，但网络倾向于加深加宽，导致参数增多，增加内存开销。另外，过深的网络会导致细节的丢失以及梯度消失问题。
因此本发明提出一种级联的空洞卷积块，在不增加参数的情况下提高网络的性能，而且在一定程度上抑制了梯度消失问题的出现，重建效果比较好。
发明内容
本发明提出一种基于级联空洞卷积的三维医学图像超分辨率重建方法，重建效果比较好。技术方案如下：
第一步，构建数据集并进行数据预处理：
(1)本发明使用了公开的ADNI(The Alzheimer’s Disease NeuroimagingInitiative)数据集，数据集中每一张三维高分辨率图像的尺寸不同，大多数高分辨率图像的尺寸为256*256*170。由于GPU显存限制，不能直接训练整张图像，因此将每一张三维高分辨率图像切分成64*64*64的小块，对这些小块进行数据增强(平移、翻转等)以增加数据量。最后一共得到23000个64*64*64的高分辨率小块，按照训练集和测试集4:1的比例进行数据划分，将18000个小块作为训练集，5000个小块作为测试集。
(2)将(1)中切分的高分辨率小块记为IHR，IHR经过k空间变换得到与其对应的低分辨率小块，每个低分辨率小块的尺寸均为64*64*64，将得到的低分辨率小块记为ILR。此过程可以表示为： ILR＝f(IHR),其中f表示k空间变换。
第二步，通过深度学习框架TensorFlow搭建基于级联空洞卷积的三维医学图像超分辨率重建网络。基于级联空洞卷积的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块。下面对这三个部分进行详细介绍：
(1)将尺寸为64*64*64的低分辨率小块ILR输入浅层特征提取模块，该模块由两个3*3*3的卷积层组成，得到[2,64,64,64,32]的输出特征图。浅层特征提取模块的结构如图1所示，具体参数由表一给出。
(2)将(1)中[2,64,64,64,32]的输出特征图输入到非线性映射模块中，非线性映射模块由四个相同的级联空洞卷积块组成。每一个级联空洞卷积块分为两个相同的分支，每个分支由一个GN层，一个relu激活函数和一个3*3*3的扩张率为2的空洞卷积层组成。两个分支的输出特征图通过拼接进行特征融合得到 [2,64,64,64,64]的特征图，再经过一个1*1*1的卷积层，得到[2,64,64,64,32]的特征图。每两个级联空洞卷积块的输出特征图与(1)中的输出特征图进行相加操作，得到[2,64,64,64,32]的输出特征图。级联空洞卷积块的结构如图2所示，具体参数由表二给出。
(3)将(2)和(1)中[2,64,64,64,32]的输出特征图输入重建模块，重建模块由一个3*3*3的卷积层组成。重建模块的输出特征图即为超分辨率小块，记为ISR。
第三步，模型训练：
将低分辨率小块ILR输入基于级联空洞卷积的三维医学图像超分辨率重建网络，通过正向传播得到超分辨率小块ISR。计算高分辨率小块IHR和超分辨率小块ISR的误差，利用L1损失构建误差项 Loss＝|ISR-IHR。该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM 优化器不断反馈优化直至误差不再减小。
学习率设置为0.0001，每迭代15000次下降为原来的0.95；迭代次数设置为9000，即每一轮训练9000 次；batch_size设置为2，即每一次训练2个低分辨率小块；epoch设置为100，即整个网络需要训练100 轮。训练完成后保存网络的模型和参数。
第四步，输入三维医学低分辨率小块ILR，加载第三步训练好的模型，即可输出的超分辨率小块ISR。
第五步，本发明采用结构相似性(Structral Similarty Index，SSIM)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)来衡量算法效果。
附图说明
附图1为基于级联空洞卷积的三维医学图像超分辨率重建网络
附图2为级联空洞卷积块
具体实施方式
附表一为浅层特征提取模块参数
附表二为级联空洞卷积块参数
一种基于级联空洞卷积的三维医学图像超分辨率重建方法，下面将结合附图、附表对实施方式进行详细描述：
第一步，构建数据集并进行数据预处理：
(1)本发明使用了公开的ADNI(The Alzheimer’s Disease NeuroimagingInitiative)数据集，数据集中每一张三维高分辨率图像的尺寸不同，大多数高分辨率图像的尺寸为256*256*170。由于GPU显存限制，不能直接训练整张图像，因此将每一张三维高分辨率图像切分成64*64*64的小块，对这些小块进行数据增强(平移、翻转等)以增加数据量。最后一共得到23000个64*64*64的高分辨率小块，按照训练集和测试集4:1的比例进行数据划分，将18000个小块作为训练集，5000个小块作为测试集。
(2)将(1)中切分的高分辨率小块记为IHR，IHR经过k空间变换得到与其对应的低分辨率小块，每个低分辨率小块的尺寸均为64*64*64，将得到的低分辨率小块记为ILR。此过程可以表示为： ILR＝f(IHR),其中f表示k空间变换。
第二步，通过深度学习框架TensorFlow搭建基于级联空洞卷积的三维医学图像超分辨率重建网络。基于级联空洞卷积的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块。下面对这三个部分进行详细介绍：
(1)将尺寸为64*64*64的低分辨率小块ILR输入浅层特征提取模块，该模块由两个3*3*3的卷积层组成，得到[2,64,64,64,32]的输出特征图。浅层特征提取模块的结构如图1所示，具体参数由表一给出。
(2)将(1)中[2,64,64,64,32]的输出特征图输入到非线性映射模块中，非线性映射模块由四个相同的级联空洞卷积块组成。每一个级联空洞卷积块有两个相同的分支，每个分支由一个GN层、一个relu激活函数和一个3*3*3的扩张率为2的空洞卷积层组成。两个分支的输出特征图通过拼接进行特征融合得到 [2,64,64,64,64]的特征图，再经过一个1*1*1的卷积层降维，得到[2,64,64,64,32]的特征图。每两个级联空洞卷积块的输出特征图与(1)中的输出特征图进行相加操作，得到[2,64,64,64,32]的输出特征图。级联空洞卷积块的结构如图2所示，具体参数由表二给出。
(3)将(2)和(1)中[2,64,64,64,32]的输出特征图输入重建模块，重建模块由一个3*3*3的卷积层组成。重建模块的输出特征图即为超分辨率小块，记为ISR。
第三步，模型训练：
将低分辨率小块ILR输入基于级联空洞卷积的三维医学图像超分辨率重建网络，通过正向传播得到超分辨率小块ISR。计算高分辨率小块IHR和超分辨率小块ISR的误差，利用L1损失构建误差项 Loss＝|ISR-IHR。该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用ADAM 优化器不断反馈优化直至误差不再减小。
学习率设置为0.0001，每迭代15000次下降为原来的0.95；迭代次数设置为9000，即每一轮训练9000 次；batch_size设置为2，即每一次训练2个低分辨率小块；epoch设置为100，即整个网络需要训练100 轮。训练完成后保存网络的模型和参数。
第四步，输入三维医学低分辨率小块ILR，加载第三步训练好的模型，即可输出的超分辨率小块ISR。
第五步，本发明采用结构相似性(Structral Similarty Index，SSIM)和峰值信噪比(Peak Signal to Noise Ratio，PSNR)来衡量算法效果。重建的超分辨率小块ISR与高分辨率小块IHR结果比对，计算出平均SSIM (结构相似性)＝0.9488,平均PSNR(峰值信噪比)＝34.8923。
表一 浅层特征提取模块参数
表二 级联空洞卷积块参数
Claims (1)
1.一种基于级联空洞卷积的三维医学图像超分辨率重建方法，包括下列步骤：
第一步，构建数据集并进行数据预处理：
选取高分辨率的三维医学图像数据集，对该数据集进行切块和k空间变换处理，设切分的高分辨率小块记为IHR，IHR经过k空间变换得到与其对应的低分辨率小块。
第二步，通过深度学习框架TensorFlow搭建基于级联空洞卷积的三维医学图像超分辨率重建网络，基于级联空洞卷积的三维医学图像超分辨率重建网络包括三个部分，浅层特征提取模块、非线性映射模块和重建模块：
(1)将低分辨率小块输入浅层特征提取模块，该模块由两个3*3*3的卷积层组成，得到输出特征图。
(2)将输出特征图输入到非线性映射模块中，非线性映射模块由四个相同的级联空洞卷积块组成。每一个级联空洞卷积块有两个相同的分支，每个分支由一个GN层、一个relu激活函数和一个3*3*3的扩张率为2的空洞卷积层组成。两个分支的输出特征图通过拼接进行特征融合，再经过一个1*1*1的卷积层进行特征降维。每两个级联空洞卷积块的输出特征图与(1)中的输出特征图进行相加操作。
(3)重建模块由一个3*3*3的卷积层组成。重建模块的输出特征图就是超分辨率重建后的小块，即超分辨率小块。
第三步，模型训练：
把低分辨率小块输入基于级联空洞卷积的三维医学图像超分辨率重建网络中，通过正向传播得到超分辨率小块，根据高分辨率小块和超分辨率小块的误差进行反向传播，不断更新网络参数直至误差不再减小。将训练好的网络参数保存为模型。
第四步，输入三维医学低分辨率小块，加载第三步训练好的模型，输出重建的超分辨率小块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911168269.XA CN111028147B (zh) | 2019-11-25 | 2019-11-25 | 基于级联空洞卷积的三维医学图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911168269.XA CN111028147B (zh) | 2019-11-25 | 2019-11-25 | 基于级联空洞卷积的三维医学图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111028147A true CN111028147A (zh) | 2020-04-17 |
| CN111028147B CN111028147B (zh) | 2024-02-02 |
Family
ID=70202097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911168269.XA Active CN111028147B (zh) | 2019-11-25 | 2019-11-25 | 基于级联空洞卷积的三维医学图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111028147B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915490A (zh) * | 2020-08-14 | 2020-11-10 | 深圳清研智城科技有限公司 | 一种基于多尺度特征的车牌图像超分辨率重建模型及方法 |
| CN112116527A (zh) * | 2020-09-09 | 2020-12-22 | 北京航空航天大学杭州创新研究院 | 基于级联网络框架的图像超分辨率方法、级联网络 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137603A1 (en) * | 2016-11-07 | 2018-05-17 | Umbo Cv Inc. | Method and system for providing high resolution image through super-resolution reconstruction |
| CN109360152A (zh) * | 2018-10-15 | 2019-02-19 | 天津大学 | 基于稠密卷积神经网络的三维医学图像超分辨率重建方法 |
| CN109389556A (zh) * | 2018-09-21 | 2019-02-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN109919838A (zh) * | 2019-01-17 | 2019-06-21 | 华南理工大学 | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 |
| CN110223234A (zh) * | 2019-06-12 | 2019-09-10 | 杨勇 | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 |
-
2019
- 2019-11-25 CN CN201911168269.XA patent/CN111028147B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180137603A1 (en) * | 2016-11-07 | 2018-05-17 | Umbo Cv Inc. | Method and system for providing high resolution image through super-resolution reconstruction |
| CN109389556A (zh) * | 2018-09-21 | 2019-02-26 | 五邑大学 | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 |
| CN109360152A (zh) * | 2018-10-15 | 2019-02-19 | 天津大学 | 基于稠密卷积神经网络的三维医学图像超分辨率重建方法 |
| CN109919838A (zh) * | 2019-01-17 | 2019-06-21 | 华南理工大学 | 基于注意力机制提升轮廓清晰度的超声图像超分辨率重建方法 |
| CN110223234A (zh) * | 2019-06-12 | 2019-09-10 | 杨勇 | 基于级联收缩扩张的深度残差网络图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张焯林;赵建伟;曹飞龙: "构建带空洞卷积的深度神经网络重建高分辨率图像", 模式识别与人工智能, vol. 32, no. 003, pages 259 - 267 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915490A (zh) * | 2020-08-14 | 2020-11-10 | 深圳清研智城科技有限公司 | 一种基于多尺度特征的车牌图像超分辨率重建模型及方法 |
| CN112116527A (zh) * | 2020-09-09 | 2020-12-22 | 北京航空航天大学杭州创新研究院 | 基于级联网络框架的图像超分辨率方法、级联网络 |
| CN112116527B (zh) * | 2020-09-09 | 2024-02-23 | 北京航空航天大学杭州创新研究院 | 基于级联网络框架的图像超分辨率方法、级联网络 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111028147B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111445390B (zh) | 基于宽残差注意力的三维医学图像超分辨率重建方法 | |
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN109410289B (zh) | 一种深度学习的高欠采样超极化气体肺部mri重建方法 | |
| CN102800071B (zh) | 序列图像pocs超分辨率重建方法 | |
| WO2020134826A1 (zh) | 磁共振并行成像方法及相关设备 | |
| Zeng et al. | A comparative study of CNN-based super-resolution methods in MRI reconstruction and its beyond | |
| Jia et al. | A new sparse representation framework for reconstruction of an isotropic high spatial resolution MR volume from orthogonal anisotropic resolution scans | |
| CN113379867B (zh) | 一种基于联合优化采样矩阵的核磁共振图像重建方法 | |
| CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
| CN109360152A (zh) | 基于稠密卷积神经网络的三维医学图像超分辨率重建方法 | |
| CN110827369B (zh) | 欠采样模型生成方法、图像重建方法、设备和存储介质 | |
| CN111028147A (zh) | 基于级联空洞卷积的三维医学图像超分辨率重建方法 | |
| Qiu et al. | Progressive U-Net residual network for computed tomography images super-resolution in the screening of COVID-19 | |
| CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
| Kocanaogullari et al. | Deep learning for MRI reconstruction using a novel projection based cascaded network | |
| US11941732B2 (en) | Multi-slice MRI data processing using deep learning techniques | |
| Liu et al. | Generalize ultrasound image segmentation via instant and plug & play style transfer | |
| Wu et al. | Blind super-resolution for remote sensing images via conditional stochastic normalizing flows | |
| Muhammad et al. | IRMIRS: Inception-ResNet-Based Network for MRI Image Super-Resolution. | |
| CN116612009A (zh) | 一种多尺度连接生成对抗网络医学图像超分辨率重建方法 | |
| CN112116674A (zh) | 图像重建方法、装置、终端及存储介质 | |
| CN116309038A (zh) | 低分辨图像域迁移网络构建方法及装置、基于域迁移的非配对mr图像超分辨方法及装置 | |
| CN115311135A (zh) | 一种基于3dcnn的各向同性mri分辨率重建方法 | |
| CN111476888B (zh) | 一种基于三维空间体拟合的医学图像层间插值方法，设备及可读存储介质 | |
| CN113487507A (zh) | 一种基于多模块特征聚合的双域递归网络mr重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |