CN110796599B - 视网膜图像超分辨率重建的通道加权生成式对抗网络方法 - Google Patents
视网膜图像超分辨率重建的通道加权生成式对抗网络方法 Download PDFInfo
- Publication number
- CN110796599B CN110796599B CN201910977225.5A CN201910977225A CN110796599B CN 110796599 B CN110796599 B CN 110796599B CN 201910977225 A CN201910977225 A CN 201910977225A CN 110796599 B CN110796599 B CN 110796599B
- Authority
- CN
- China
- Prior art keywords
- image
- senet
- network
- model
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001525 retina Anatomy 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000008485 antagonism Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 10
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims 1
- 230000004256 retinal image Effects 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 206010020772 Hypertension Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004226 retinal microvascular lesions Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像重建领域，特别是涉及一种视网膜图像超分辨率重建的通道加权生成式对抗网络方法。本发明包括：1)预处理视网膜图像数据集；2)在原始SRGAN模型中加入SENet，构建基于通道加权的生成网络和判别网络；3)设计新的融合损失函数，用于保留有用的低频信息和局部纹理细节信息；4)用训练数据集训练模型；5)使用训练好的生成模型对视网膜图像进行重建，得到相应的超分辨率重建图像。本发明重建图像与原始视网膜图像亮度更加一致，重建后的视网膜图像的细节信息丰富。
Description
技术领域
本发明属于图像重建领域，特别是涉及一种视网膜图像超分辨率重建的通道加权生成式对抗网络方法。
背景技术
图像超分辨率重建是一种利用低分辨率图像来产生高分辨率图像的技术，广泛应用在军事、医学、公共安全、计算机视觉等领域。
基于计算机视觉的视网膜图像处理是医学技术和计算机科学技术的结合。视网膜微血管病变是人体糖尿病、高血压等疾病病理检测的直接反应，由于成像条件差，人眼固有相差的局限，通常采集到的视网膜图像像素对比度低、局部光照不均、血管分布复杂密集，存在多种纹理背景，图像质量并不高的问题，不利于医生对患者病情的诊断。因此在正式诊断前，期望获取具有覆盖特定病理的更高分辨率视网膜图像以辅助医疗诊断。
近年来，基于生成对抗网络的超分辨率图像重建技术方兴未艾。由于生成式对抗网络能够生成非常逼真的图像，各国学者纷纷进行了深入的研究，提出多种基于生成对抗网络的图像超分辨率重建模型。主要包括：密集残差网络模型，针对单图像超分辨率重建的深度残差网络模型(EDSR)、基于自动纹理分析的增强网络(EnhanceNet)、增强的图像超分辨生成式对抗网络(ESRGAN)以及超分辨率生成对抗网络(SRGAN)。其中，EDSR区别对待各特征通道，可以改善图像重建的图像质量；EnhanceNet将自动纹理与感知损失相结合，可以重建更逼真的纹理；SRGAN和ESRGAN利用感知损失和对抗损失来提升恢复出的图片的真实感，改善了图像重建效果。尽管提出了多种模型，但是这些通用方法因为未对特定病理进行分析，往往容易出现重建图像亮度与原图像不一致、重建精度低和视觉效果差等问题。
研究表明：区别对待各特征通道，有助于提高图像重建的精度；使用对抗损失，可以改善图像重建的视觉效果。因此，为了改善单图像超分辨率重建效果，本发明基于压缩激励网络(SENet)、SRGAN模型以及融合损失函数，提出一种新的图像超分辨重建模型。该方法能够差别对待各个深度特征通道，从而解决图像超分辨率重建过程中重建图像亮度与原图像不一致、重建精度低和视觉效果差的问题。
发明内容
本发明提出一种用于视网膜图像超分辨率重建的通道加权生成式对抗网络模型。采用的技术方案是：1)预处理视网膜图像数据集；2)在原始SRGAN模型中加入SENet，构建基于通道加权的生成网络和判别网络；3)设计新的融合损失函数，用于保留有用的低频信息和局部纹理细节信息；4)用训练数据集训练模型；5)使用训练好的生成模型对视网膜图像进行重建，得到相应的超分辨率重建图像。
本发明的有益效果是：1)重建图像与原始视网膜图像亮度更加一致；2)重建后的视网膜图像的细节信息丰富。
附图说明
图1为SENet生成网络图；
图2为SENet判别网络图；
图3为训练流程图；
图4为实验结果图。
具体实施方式
本发明所提出的视网膜图像超分辨率重建方法的具体实现步骤如下。
步骤1，预处理视网膜图像数据集，分别得到高分辨率图像和相应的低分辨率图像，构造训练和重建数据集。
步骤2，构建生成对抗网络模型。
在原始SRGAN模型中引入SENet，分别构建SENet生成网络和SENet判别网络。具体网络结构如图1和图2所示所示。在SRGAN模型的生成器的卷积层1之后、卷积层2之后、残差模块中的卷积层之后、和放大模块中的卷积层之后分别插入SENet，构成SENet生成网络。分别在SRGAN模型的判别器的卷积模块1至卷积模块7的卷积层之后插入SENet构成SENet判别网络。
步骤3，设计融合损失函数。
均方误差损失LMSE可以提高重建图像的峰值信噪比；VGG损失LVGG可以生成更细致的纹理；对抗损失LGen可以使生成器生成的图像更为自然。为了使重建图像具有与原始图像一致的亮度，同时也为了生成更多的纹理细节，本专利将上述三种损失函数进行融合，提出式(1)所示的融合损失函数LFusion：
LFusion＝0.0784×LVGG+0.05×LGen+LMSE (1)
与SRGAN不同的是，LVGG使用的是预训练好的VGG19网络的激活层之前的特征。
步骤4，训练网络模型。训练流程如图3所示。使用步骤1得到的训练数据集、步骤3设计的融合损失函数以及Adam优化器对步骤2所设计的生成判别网络进行训练训练结束后，输出训练好的SENet生成模型。其中Adam优化器的参数取值与原始SRGAN模型的训练参数取值一致。
步骤5，将低分辨率视网膜图像输入到训练好的SENet生成模型中，得到超分辨率重建的视网膜图像。
本发明所提出的视网膜图像超分辨率重建模型实验结果如图4所示。由此可见：本发明提出的方法可以保持重建亮度一致，重建更多纹理细节，从而提高了视觉效果。尤其在高尺度因子下，视网膜图像超分辨率重建效果更好。
Claims (1)
1.视网膜图像超分辨率重建的通道加权生成式对抗网络方法，其特征在于，包括如下步骤：
步骤1：预处理视网膜图像数据集，分别得到高分辨率图像和相应的低分辨率图像，构造训练和重建数据集；
步骤2：构建生成对抗网络模型；
在原始SRGAN模型中引入SENet，分别构建SENet生成网络和SENet判别网络；在SRGAN模型的生成器的卷积层1之后、卷积层2之后、残差模块中的卷积层之后、和放大模块中的卷积层之后分别插入SENet，构成SENet生成网络；分别在SRGAN模型的判别器的卷积模块1至卷积模块7的卷积层之后插入SENet构成SENet判别网络；
步骤3：设计融合损失函数；
均方误差损失LMSE可以提高重建图像的峰值信噪比；VGG损失LVGG可以生成更细致的纹理；对抗损失LGen可以使生成器生成的图像更为自然；为了使重建图像具有与原始图像一致的亮度，同时也为了生成更多的纹理细节，将上述三种损失函数进行融合，提出式(1)所示的融合损失函数LFusion：
LFusion＝0.0784×LVGG+0.05×LGen+LMSE (1)
与SRGAN不同的是，LVGG使用的是预训练好的VGG19网络的激活层之前的特征；
步骤4：训练网络模型；使用步骤1得到的训练数据集、步骤3设计的融合损失函数以及Adam优化器对步骤2所设计的生成判别网络进行训练训练结束后，输出训练好的SENet生成模型；其中Adam优化器的参数取值与原始SRGAN模型的训练参数取值一致；
步骤5，将低分辨率视网膜图像输入到训练好的SENet生成模型中，得到超分辨率重建的视网膜图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910977225.5A CN110796599B (zh) | 2019-10-15 | 2019-10-15 | 视网膜图像超分辨率重建的通道加权生成式对抗网络方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910977225.5A CN110796599B (zh) | 2019-10-15 | 2019-10-15 | 视网膜图像超分辨率重建的通道加权生成式对抗网络方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110796599A CN110796599A (zh) | 2020-02-14 |
| CN110796599B true CN110796599B (zh) | 2023-08-01 |
Family
ID=69439147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910977225.5A Active CN110796599B (zh) | 2019-10-15 | 2019-10-15 | 视网膜图像超分辨率重建的通道加权生成式对抗网络方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110796599B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344798A (zh) * | 2020-02-18 | 2021-09-03 | 济南浪潮高新科技投资发展有限公司 | 一种基于Retinex的暗图像增强方法 |
| CN114882138A (zh) * | 2022-05-20 | 2022-08-09 | 厦门大学 | 一种用于多层cs-mri的重建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509152A (zh) * | 2018-12-29 | 2019-03-22 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
| CN110084809A (zh) * | 2019-05-06 | 2019-08-02 | 成都医云科技有限公司 | 糖尿病视网膜疾病数据处理方法、装置及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9993149B2 (en) * | 2015-03-25 | 2018-06-12 | California Institute Of Technology | Fourier ptychographic retinal imaging methods and systems |
| CN110827201A (zh) * | 2019-11-05 | 2020-02-21 | 广东三维家信息科技有限公司 | 用于高动态范围图像超分辨率重建的生成式对抗网络训练方法及装置 |
-
2019
- 2019-10-15 CN CN201910977225.5A patent/CN110796599B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509152A (zh) * | 2018-12-29 | 2019-03-22 | 大连海事大学 | 一种基于特征融合的生成对抗网络的图像超分辨率重建方法 |
| CN110084809A (zh) * | 2019-05-06 | 2019-08-02 | 成都医云科技有限公司 | 糖尿病视网膜疾病数据处理方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110796599A (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110461228A (zh) | 使用多对比度和深度学习改进医学图像的质量 | |
| CN110443867A (zh) | 基于生成对抗网络的ct图像超分辨率重构方法 | |
| CN113808106B (zh) | 一种基于深度学习的超低剂量pet图像重建系统及方法 | |
| CN110796599B (zh) | 视网膜图像超分辨率重建的通道加权生成式对抗网络方法 | |
| Zhou et al. | DuDoUFNet: dual-domain under-to-fully-complete progressive restoration network for simultaneous metal artifact reduction and low-dose CT reconstruction | |
| CN111784596A (zh) | 基于生成对抗神经网络的通用内窥镜图像增强方法及装置 | |
| Li et al. | Single image dehazing with an independent detail-recovery network | |
| CN112819914A (zh) | 一种pet图像处理方法 | |
| CN112488971A (zh) | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 | |
| CN114998154A (zh) | 基于transformer和多尺度特征的低剂量CT图像去噪方法 | |
| Wang et al. | MSE-Fusion: Weakly supervised medical image fusion with modal synthesis and enhancement | |
| CN114187181A (zh) | 基于残差信息精炼的双路径肺部ct图像超分辨率方法 | |
| Liu et al. | DL‐MRI: A Unified Framework of Deep Learning‐Based MRI Super Resolution | |
| Xie et al. | Inpainting the metal artifact region in MRI images by using generative adversarial networks with gated convolution | |
| CN116664407A (zh) | 基于三元组非配对学习的人脸融合超分辨率方法及系统 | |
| CN116612009A (zh) | 一种多尺度连接生成对抗网络医学图像超分辨率重建方法 | |
| CN116777749A (zh) | 一种基于双频域去噪增强的医学ct图像超分辨率算法 | |
| CN116664710A (zh) | 基于Transformer的CT图像金属伪影无监督校正方法 | |
| Liu et al. | A Lightweight Low-dose PET Image Super-resolution Reconstruction Method based on Convolutional Neural Network | |
| CN114897726A (zh) | 基于三维生成对抗网络的胸腔ct图像伪影去除方法与系统 | |
| Zhao et al. | Perception-oriented generative adversarial network for retinal fundus image super-resolution | |
| CN114743078A (zh) | 一种生物神经信号的视觉解码方法、装置、存储介质及终端 | |
| Yu et al. | Deep learning single view computed tomography guided by FBP algorithm | |
| Surace et al. | Learning GAN-Based Foveated Reconstruction to Recover Perceptually Important Image Features | |
| Li et al. | Single-Image HDR Reconstruction Assisted Ghost Suppression and Detail Preservation Network for Multi-Exposure HDR Imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |