CN109903225A - 一种基于深度学习的医疗图像增强方法 - Google Patents
一种基于深度学习的医疗图像增强方法 Download PDFInfo
- Publication number
- CN109903225A CN109903225A CN201910086181.7A CN201910086181A CN109903225A CN 109903225 A CN109903225 A CN 109903225A CN 201910086181 A CN201910086181 A CN 201910086181A CN 109903225 A CN109903225 A CN 109903225A
- Authority
- CN
- China
- Prior art keywords
- resolution
- medical image
- super
- image
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 19
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 abstract description 12
- 201000010099 disease Diseases 0.000 abstract description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 7
- 238000013507 mapping Methods 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 208000017897 Carcinoma of esophagus Diseases 0.000 description 1
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种基于深度学习的医疗图像增强方法，在原有训练数据集上添加医学影像数据，并结合医生的需求构建一个简单、易用的操作界面。针对医学影像超分辨率重建后边缘轮廓等细节信息不清晰，有可能影响医生诊断的问题，本发明提出基于深度残差网络的医学影像超分辨率方法，通过在相同的计算资源下堆叠更多层次，使用深度残差网络学习低分辨率图像到高分辨率图像的非线性映射，重建边缘轮廓清晰的超分辨率图像，辅助医生通过医学影像准确诊断病情，从而提高疾病确诊和治愈的可能性。
Description
技术领域
本发明涉及医学图像处理领域，特别是一种基于深度学习的医疗图像增强方法。
背景技术
医学影像(X射线成像、CT成像、磁共振成像、超声成像和核医学成像等)能让医生除接触和解剖外，了解患者身体内部形态、功能、代谢等改变，对诊断患者病因、病情有重要作用。医学影像在医学临床诊断中有着极为重要的地位，现代医学离不开医学影像技术。目前，医学影像数据多依赖人工分析，科大讯飞、腾讯觅影、阿里健康等研发的医学影像辅助诊断系统，依靠优质高分辨率图像，能在特定的医疗领域(肺部CT影像诊断、食管癌早期筛查)辅助医生诊断。优质高分辨率医学影像能为临床医生提供更多有价值信息，帮组医生发现病变、明确诊断、选择合理的治疗方案。中国医学图像数据每年以30％的速度增长，部分医学图像(磁共振MR图像、CT图像等)由于成像环境、物理成像系统的局限性以及质量限制因素等原因，成像的医学影像分辨率不高。医生受到低分辨率限制，无法清楚观察医学图像的细节，不利于疾病的确诊和治疗。单图像超分辨率(SISR)重建是计算机视觉的经典问题，为低分辨率医疗图像重建超分辨率图像，能够有效帮组医生看清楚医学图像细节，增加疾病确证和治愈的可能性。
近年来，随着深度学习的发展，卷积神经网络已经被证明是计算机视觉的强大工具，卷积神经网络显著提高了超分辨率重建的客观评价指标：峰值信噪比(PSNR)和结构相似性(SSIM)。早期的超分辨率方法主要是基于图像插值的方法，如零阶插值法、双线性插值法和双三次插值法。这些方法简单、高效，但是在图像灰度非均匀区域中效果不佳，并导致图片模糊。在卷积神经网络应用到超分辨率重建之前，最先进的SISR方法大多是基于实例的，SCSR通过学习图像块之间的稀疏关联，建立从低分辨率(LR)到超分辨率(SR)图像之间的映射关系，实现图像的超分辨率重建。Trinh等人提出了一种基于实例的医学图像超分辨率和去噪的方法，该方法借助高、低分辨率配对数据库，用非负二次规划建模高、低分辨率图像的稀疏表示，从单个噪声低分辨率图像中估计高分辨率图像。SRCNN首次将卷积神经网络(CNN)应用到超分辨率重建领域，该方法使用ImageNet为训练集，经过8×108反向传播后重建的SR图像超越了基于实例的方法，彰显出CNN在超分辨率领域的强大能力。Chang等人提出了一种融合卷积网络中的多尺度信息用于MR图像超分辨率重建方法，提出卷积网络由多尺度融合单元(MFU)堆叠，每个MFU由主路径和一些子路径组成，并最终融合层内所有路径以重建超分辨率MR图像的方法。
现有技术存在以下缺陷：
(1)现有超分辨率重建模型对医学影像边缘轮廓等细节信息重建的效果不够理想，不利于医生诊断。
(2)现有模型的训练数据集中缺少医学影像，没有医生专用超分辨率重建模型。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种基于深度学习的医疗图像增强方法，将低分辨率图像重建成不同尺度的超分辨率图像，使医学影像细节信息更加清晰可见。
为解决上述技术问题，本发明所采用的技术方案是：一种基于深度学习的医疗图像增强方法，包括以下步骤：
1)构建基于深度残差网络的超分辨率模型；
2)在超分辨率模型重建常用数据集DIV2K中加入医学影像数据，扩展训练规模，训练模型；
3)封装训练好的超分辨率模型。
步骤1)的具体实现过程包括：
a)使用一个卷积层提取LR图像的初始特征；
b)处理上述初始特征，以减少不同尺度输入图像的方差；
c)将经步骤b)处理后的LR图像输入到第一个残差块；
d)利用残差块学习SR图像的高频信息，得到残差图，在残差块末端将残差图和输入LR图像相加，并将结果作为下一个残差块的输入LR；
e)重复执行步骤c)n次，然后将得到的结果与经步骤b)处理后的LR图像相加；
f)使用上采样层将步骤e)得到的图像放大到指定倍数；
g)使用一个卷积层重建超分辨率图像。
步骤2)的具体实现过程包括：
i.在DIV2K数据集中添加医学影像数据集，并按照DIV2K的规范，将医学影像数据集处理成不同缩放尺度的低分辨率图像和高分辨率图像；
ii.根据数据集不同缩放尺度，将数据输入到超分辨率模型中进行训练；
iii.扩展训练规模，设置不同尺度的预处理模块和上采样模块，训练多尺度超分辨率模型。
与现有技术相比，本发明所具有的有益效果为：针对现有超分辨率模型在训练的时候没有加入医学影像数据，有可能影响医学影像的超分辨重建的质量的问题，本发明在原有训练数据集上添加医学影像数据，并结合医生的需求构建一个简单、易用的操作界面。针对医学影像超分辨率重建后边缘轮廓等细节信息不清晰，有可能影响医生诊断的问题，本发明提出基于深度残差网络的医学影像超分辨率方法，通过在相同的计算资源下堆叠更多层次，使用深度残差网络学习低分辨率图像到高分辨率图像的非线性映射，重建边缘轮廓清晰的超分辨率图像，辅助医生通过医学影像准确诊断病情，从而提高疾病确诊和治愈的可能性；利用本发明，医生仅需简单的鼠标操作就能将低分辨率图像重建成不同尺度的超分辨率图像，医学影像细节信息更加清晰可见，提高了疾病的确诊和治愈的可能。经过实验证明，基于深度残差网络的超分辨率模型，重建的图像边缘、轮廓等细节信息清晰可见，可以辅助提高医生诊断效率，降低误诊率。
附图说明
图1为基于深度残差网络的医学影像超分辨率重建模型示意图；
图2为医学影像超分辨率重建流程图。
具体实施方式
残差网(ResNet)能够在加深网络的同时，解决收敛和准确率下降问题，基于残差网络的超分辨率模型能够有较深的层次，这对于学习从低分辨率到超分辨率复杂的非线性映射，扩大重建感受野，提高SR图像质量意义重大。因此，基于深度残差网络的超分辨方法能重建出边缘、轮廓等细节信息清晰的医学影像。本发明技术方案分三步实施：第一步构建基于深度残差网络的超分辨率模型；第二步在超分辨率重建常用数据集DIV2K中加入医学影像数据，扩展训练规模，训练模型；第三步封装超分辨率模型，结合医生需求设计简单、易用的操作界面。
医学影像种类繁多，重分辨率尺度要求各不相同，为每种影像、各种尺度分别建立一个SR模型显然不合实际。本发明将不同种类的低分辨率医疗影像统一处理为图像信息中灰度值变化平缓区域(低频信息)和图像信息中灰度值变化剧烈区域(高频信息)，使用多尺度模型重建SR医学影像。构建的深度残差超分辨率重建模型包括80层残差块，卷积层过滤器64个，因为批量归一化(BN)层会将图像色彩的分布归一化，破坏图像原本的对比度信息，不利于超分辨率重建，所以残差块去掉了BN层，不仅提升了超分辨率图像的质量，而且节省了大约40％的计算资源。构建深度残差超分辨率重建模型的步骤如下：
第一步：使用一个卷积层提取LR图像的初始特征；
第二步：使用预处理模块处理上一步提取的初始特征，以减少不同尺度输入图像的方差；
第三步：将第二步处理的LR图像输入到第一个残差块；
第四步：利用残差块学习SR图像的高频信息(残差图)，在残差块末端将残差图和输入LR图像相加，并将结果作为下一个残差块的输入LR；
第五步：重复执行第三步80次，然后将得到的结果与经第二步处理的输入LR图像相加；
第六步：使用上采样层将第五步得到的图像放大到指定倍数；
第七步：使用一个卷积层重建超分辨率图像。
医学影像有其自身特点和规律，如果训练数据集中缺少医学影像集有可能会影响医学影像超分辨率重建的质量。因此，训练本发明模型的步骤如下：
第一步：在DIV2K数据集中添加医学影像数据集，并按照DIV2K的规范，将医学影像数据集处理成不同缩放尺度(×2、×3、×4)的低分辨率图像和高分辨率图像；
第二步：根据数据集不同缩放尺度，将数据输入到模型中进行训练，训练采用Pytorch深度学习框架分别训练×2、×3、×4单尺度超分辨率模型；
第三步：扩展训练规模，设置不同尺度(×2、×3、×4)的预处理模块和上采样模块，训练多尺度超分辨率模型；
多数医生不具备专业计算机知识，现有超分辨率重建模型多用于科学研究，使用方法相对复杂，不适合直接给医生使用。因此，设计一个简单、易用的操作界面，让医生仅用简单的鼠标操作就能实现医学影像的超分辨率重建，有利于SR技术在医学领域的应用。封装超分辨率模型，构建契合医生需求的操作界面步骤如下：
第一步：调研医生对超分辨率重建的操作需求，结合实际情况，使用Python初步设计一个操作界面。界面包括：图像导入、超分辨率尺度(×2、×3、×4)选择、图像查看及保存，医生只需简单的鼠标操作就能实现超分辨率重建；
第二步：将封装好的超分辨率应用程序交付医生试用，根据医生的试用意见，进一步调整操作界面及相关功能模块，达到简单、易用的目的。
Claims (6)
1.一种基于深度学习的医疗图像增强方法，其特征在于，包括以下步骤：
1)构建基于深度残差网络的超分辨率模型；
2)在超分辨率模型重建常用数据集DIV2K中加入医学影像数据，扩展训练规模，训练模型；
3)封装训练好的超分辨率模型。
2.根据权利要求1所述的基于深度学习的医疗图像增强方法，其特征在于，步骤1)的具体实现过程包括：
a)使用一个卷积层提取LR图像的初始特征；
b)处理上述初始特征，以减少不同尺度输入图像的方差；
c)将经步骤b)处理后的LR图像输入到第一个残差块；
d)利用残差块学习SR图像的高频信息，得到残差图，在残差块末端将残差图和输入的LR图像相加，并将结果作为下一个残差块的输入LR；
e)重复执行步骤c)n次，然后将得到的结果与经步骤b)处理后的LR图像相加；
f)使用上采样层将步骤e)得到的图像放大到指定倍数；
g)使用一个卷积层重建超分辨率图像。
3.根据权利要求2所述的基于深度学习的医疗图像增强方法，其特征在于，n＝80。
4.根据权利要求1所述的基于深度学习的医疗图像增强方法，其特征在于，步骤2)的具体实现过程包括：
i.在DIV2K数据集中添加医学影像数据集，并按照DIV2K的规范，将医学影像数据集处理成不同缩放尺度的低分辨率图像和高分辨率图像；
ii.根据数据集不同缩放尺度，将数据输入到超分辨率模型中进行训练；
iii.扩展训练规模，设置不同尺度的预处理模块和上采样模块，训练多尺度超分辨率模型。
5.根据权利要求4所述的基于深度学习的医疗图像增强方法，其特征在于，所述不同缩放尺度的低分辨率图像为×2、×3、×4的低分辨率图像。
6.根据权利要求5所述的基于深度学习的医疗图像增强方法，其特征在于，采用Pytorch深度学习框架分别训练×2、×3、×4单尺度超分辨率模型，并在单尺度模型基础上训练多尺度医疗图像超分辨率模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910086181.7A CN109903225A (zh) | 2019-01-29 | 2019-01-29 | 一种基于深度学习的医疗图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910086181.7A CN109903225A (zh) | 2019-01-29 | 2019-01-29 | 一种基于深度学习的医疗图像增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109903225A true CN109903225A (zh) | 2019-06-18 |
Family
ID=66944523
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910086181.7A Pending CN109903225A (zh) | 2019-01-29 | 2019-01-29 | 一种基于深度学习的医疗图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109903225A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458756A (zh) * | 2019-06-25 | 2019-11-15 | 中南大学 | 基于深度学习的模糊视频超分辨率方法及系统 |
| CN112508792A (zh) * | 2020-12-22 | 2021-03-16 | 北京航空航天大学杭州创新研究院 | 一种基于在线知识迁移的深度神经网络集成模型单张图像超分辨率方法和系统 |
| CN113365107A (zh) * | 2020-03-05 | 2021-09-07 | 阿里巴巴集团控股有限公司 | 视频处理方法、影视视频处理方法及装置 |
| WO2023070209A1 (en) * | 2021-10-27 | 2023-05-04 | Circle Cardiovascular Imaging Inc. | Systems and methods for rapid diagnostic imaging of patients suspected of suffering acute ischemic stroke |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
-
2019
- 2019-01-29 CN CN201910086181.7A patent/CN109903225A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204449A (zh) * | 2016-07-06 | 2016-12-07 | 安徽工业大学 | 一种基于对称深度网络的单幅图像超分辨率重建方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| JIWON KIM等: "Accurate Image Super-Resolution Using Very Deep Convolutional Networks", 《CVPR》 * |
| 高媛等: "基于深度残差生成对抗网络的医学影像超分辨率算法", 《计算机应用》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458756A (zh) * | 2019-06-25 | 2019-11-15 | 中南大学 | 基于深度学习的模糊视频超分辨率方法及系统 |
| CN113365107A (zh) * | 2020-03-05 | 2021-09-07 | 阿里巴巴集团控股有限公司 | 视频处理方法、影视视频处理方法及装置 |
| CN113365107B (zh) * | 2020-03-05 | 2024-05-10 | 阿里巴巴集团控股有限公司 | 视频处理方法、影视视频处理方法及装置 |
| CN112508792A (zh) * | 2020-12-22 | 2021-03-16 | 北京航空航天大学杭州创新研究院 | 一种基于在线知识迁移的深度神经网络集成模型单张图像超分辨率方法和系统 |
| WO2023070209A1 (en) * | 2021-10-27 | 2023-05-04 | Circle Cardiovascular Imaging Inc. | Systems and methods for rapid diagnostic imaging of patients suspected of suffering acute ischemic stroke |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hatvani et al. | Deep learning-based super-resolution applied to dental computed tomography | |
| CN109903225A (zh) | 一种基于深度学习的医疗图像增强方法 | |
| Miki et al. | Classification of teeth in cone-beam CT using deep convolutional neural network | |
| Zhang et al. | A fast medical image super resolution method based on deep learning network | |
| CN111429379B (zh) | 一种基于自监督学习的低剂量ct图像去噪方法及系统 | |
| Li et al. | VolumeNet: A lightweight parallel network for super-resolution of MR and CT volumetric data | |
| Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
| CN110322402A (zh) | 基于稠密混合注意力网络的医学图像超分辨率重建方法 | |
| Li et al. | A multiscale double-branch residual attention network for anatomical–functional medical image fusion | |
| CN105654425A (zh) | 一种应用于医学x光图像的单幅图像超分辨率重建方法 | |
| Huang et al. | Considering anatomical prior information for low-dose CT image enhancement using attribute-augmented Wasserstein generative adversarial networks | |
| CN112470190A (zh) | 用于改进低剂量体积对比增强mri的系统和方法 | |
| Xue et al. | LCPR-Net: low-count PET image reconstruction using the domain transform and cycle-consistent generative adversarial networks | |
| Wang et al. | Functional and anatomical image fusion based on gradient enhanced decomposition model | |
| Chen et al. | LIT-Former: Linking in-plane and through-plane transformers for simultaneous CT image denoising and deblurring | |
| Cui et al. | CTooth: a fully annotated 3d dataset and benchmark for tooth volume segmentation on cone beam computed tomography images | |
| Wang et al. | IGNFusion: an unsupervised information gate network for multimodal medical image fusion | |
| Zhang et al. | Hierarchical organ-aware total-body standard-dose pet reconstruction from low-dose PET and CT images | |
| WO2022027216A1 (zh) | 一种图像降噪方法及其应用 | |
| CN116245969A (zh) | 一种基于深度神经网络的低剂量pet图像重建方法 | |
| CN112700380A (zh) | 一种基于mr梯度信息和深度学习的pet图像容积校正方法 | |
| Zhang et al. | A generalized dual-domain generative framework with hierarchical consistency for medical image reconstruction and synthesis | |
| CN116823613A (zh) | 基于梯度增强注意力的多模态mr影像超分辨率方法 | |
| Wang et al. | MEPNet: a model-driven equivariant proximal network for joint sparse-view reconstruction and metal artifact reduction in CT images | |
| Lian et al. | Spatiotemporal attention constrained deep learning framework for dual-tracer PET imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190618 |