CN111178499B - 一种基于生成对抗网络改进的医学图像超分辨率方法 - Google Patents
一种基于生成对抗网络改进的医学图像超分辨率方法 Download PDFInfo
- Publication number
- CN111178499B CN111178499B CN201911259611.7A CN201911259611A CN111178499B CN 111178499 B CN111178499 B CN 111178499B CN 201911259611 A CN201911259611 A CN 201911259611A CN 111178499 B CN111178499 B CN 111178499B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolution
- resolution
- network structure
- structure model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000006872 improvement Effects 0.000 title claims abstract description 13
- 230000006870 function Effects 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 23
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 21
- 238000010606 normalization Methods 0.000 claims abstract description 20
- 230000008447 perception Effects 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 230000004913 activation Effects 0.000 claims description 18
- 238000013441 quality evaluation Methods 0.000 claims description 8
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims description 3
- 206010040030 Sensory loss Diseases 0.000 claims 1
- 230000000694 effects Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 108020004566 Transfer RNA Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种基于生成对抗网络改进的医学图像超分辨率方法,获取高分辨率医学图像数据集,分为训练数据集和测试数据集;将高分辨率医学图像数据集进行下采样得到低分辨率医学图像数据集;在SRGAN的生成器模块的残差块中使用空洞卷积替代普通卷积,得到第一网络结构模型;将第一网络结构模型的生成器模块的批归一化层去掉,得到第二网络结构模型;利用平均结构相似性感知损失函数改进SRGAN的感知损失函数,得到结构感知损失函数;将高分辨训练数据集和低分辨率训练数据集作为第二网络结构模型的输入,利用结构感知损失函数对第二网络结构模型进行训练;利用高分辨测试数据集和低分辨率测试数据集,对训练后的第二网络结构模型进行验证,完成医学图像超分辨率。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于生成对抗网络改进的医学图像超分辨率方法。
背景技术
医学影像广泛使用于临床医学辅助诊断中,医生凭借它对病人身体内部的情况有一个更直观清晰的了解,从而进行精准诊断。但是由于硬件和扫描时间等因素,真实场景下的医学图像受限于空间分辨率,医生无法对微小的病灶区域和病理特征进行准确的疾病分析,同时也造成了很多严重疾病无法及时被诊断出来,错过了治疗的最佳时机。
在过去几十年里,已经提出了很多的工作来提高图像分辨率。超分辨率算法最早由Harris和Goodman分别于1964和1968年提出,被称为HarrisGoodman频谱外推法。超分辨率算法越来越受重视,直到现在已经发展成为图像处理领域的一个重要的研究方向。
随着深度学习技术的发展和成熟,基于深度学习的方法已经超越了传统超分辨率算法。SRCNN是首个基于深度学习的端到端的超分辨率算法。做法是先将低分辨率图像使用双三次插值放大至目标尺寸(如放大至2倍、3倍、4倍),然后使用了三层卷积层,最终时间和性能都比当时最先进的传统算法好很多。后续在图像超分辨率领域里出现了一批优秀模型比如EDSR、CARN、RDN等。他们在图像质量评价指标(比如说峰值信噪比PSNR)上做的越好越好,图像质量也相应提升。这些网络虽然在PSNR上表现的很好,但是在更高分辨率下图像的保真度和视觉感知质量令人不太满意。于是有人利用生成对抗网络(GAN)来对超分辨率工作进行创新,SRGAN由此诞生。它是图像超分辨率算法研究中的卓越之作,虽然在PSNR上的表现没有其他模型那么优秀,但是在图像视觉感知效果上却优秀的多。
SRGAN虽然很优秀,但是他只针对自然图像效果很好,医学影像仍然还是不够好,因为医学图像本身信息相对于自然图像更少,所以医学图像超分辨率仍然是一个没有解决的问题。同时SRGAN训练出来的图像会产生伪影,而且图像质量评价指标并不高。
发明内容
针对现有技术中的技术问题,本发明提供了一种基于生成对抗网络改进的医学图像超分辨率方法,用于克服上述技术问题。
为了解决上述技术问题,本发明通过以下技术方案予以解决:
一种基于生成对抗网络改进的医学图像超分辨率方法,包括以下步骤:
步骤1:获取高分辨率医学图像数据集,将其分为训练数据集和测试数据集;
步骤2:将步骤1获取的高分辨率医学图像数据集进行下采样得到低分辨率医学图像数据集;
步骤3:在SRGAN的生成器模块的残差块中使用空洞卷积替代普通卷积,得到第一网络结构模型;
步骤4:将步骤3得到的第一网络结构模型的生成器模块的批归一化层去掉,得到第二网络结构模型;
步骤5:利用平均结构相似性感知损失函数改进SRGAN的感知损失函数,得到结构感知损失函数;
步骤6:将步骤1获取的高分辨训练数据集和步骤2得到的低分辨率训练数据集作为第二网络结构模型的输入,并利用步骤5得到的结构感知损失函数对第二网络结构模型进行训练;
步骤7:利用步骤1获取的高分辨测试数据集和步骤2得到的低分辨率测试数据集,对步骤6训练后的第二网络结构模型进行验证,完成医学图像超分辨率。
进一步地,步骤2中,采用MATLAB的bicubic核函数进行4倍下采样。
进一步地,步骤3中,所述第一网络结构模型包括生成器模块和判别器模块;
所述第一网络结构模型的生成器模块的结构为:1个第一卷积层、1个第一激活层、16个参数相同的残差块、1个第二卷积层、2个组合上采样层和1个第三卷积层依次开环连接,且16个残差块和第二卷积层组成1个组合残差块;
其中,每个参数相同的残差块包括2个空洞卷积层、2个批归一化层和2个第二激活层,其结构为:1个空洞卷积层、1个批归一化层、1个第二激活层、1个空洞卷积层、1个批归一化层和1个第二激活层依次开环连接;
每个组合上采样层包括1个第四卷积层、1个2倍上采样的亚像素层和1个第三激活层,其结构为:1个第四卷积层、1个2倍上采样的亚像素层和1个第三激活层依次开环连接;
所述第一网络结构模型的判别器模块的结构为:1个第五卷积层、1个第四激活层、7个组合层、1个全连接层、1个第五激活层、1个全连接层和1个第五激活层依次开环连接;
其中,每个组合层的结构为:1个第六卷积层、1个批归一化层和1个第六激活层依次开环连接。
进一步地,步骤4中,所述第二网络结构模型包括生成器模块和判别器模块;
将所述第一网络结构模型的生成器模块中的所有批归一化层去掉,得到所述第二网络结构模型的生成器模块;
所述第二网络结构模型的判别器模块结构与所述第一网络结构模型的判别器模块的结构相同。
进一步地,所述第一网络结构模型的生成器模块和所述第二网络结构模型的生成器模块中:所有卷积层的卷积核尺寸均为3×3,步长为1;第一卷积层、空洞卷积层和第二卷积层的卷积核个数均为64个;第四卷积层的卷积核个数均为256个;第三卷积层的卷积核个数为3个;所有激活层均为PRelu层;
所述第一网络结构模型的判别器模块和所述第二网络结构模型的判别器模块中:所有卷积层的卷积核尺寸均为3×3;按照连接顺序,从第五卷积层开始:卷积层的步长依次为1,2,1,2,1,2,1,2,卷积层的卷积核个数依次为64,64,128,128,256,256,512,512,最后一个激活层为sigmod层,其他激活层均为Leaky Relu层,第一个全连接层为1024维,第二个全连接层为1维。
进一步地,所述空洞卷积层中空洞卷积的膨胀率为2。
进一步地,步骤5中,所述结构感知损失函数为:
其中,平均结构相似性感知损失函数为:
其中,N是训练的batchsize;xk和yk为第k个图像对;SR是超分辨率superresolution的简称;SSIM是一种全参考的图像质量评价指标,它分别从亮度、对比度、结构三方面度量图像相似性,表示为:
其中,L是像素值的动态范围,k1=0.01,k2=0.03;
VGG内容感知损失函数为:
Wi,j和Hi,j描述了VGG网络内的各个特征图的尺寸,用φi,j表示由VGG19网络中的第i个最大卷积层之前的第j个卷积(激活后)获得的特征图;为重建图像;IHR为参考图像;LR表示低分辨率,HR表示高分辨率,I表示图像;
Gen生成对抗感知损失函数为:
与现有技术相比,本发明至少具有与以下有益效果:本发明一种基于生成对抗网络改进的医学图像超分辨率方法,使用了空洞卷积层,该结构在不用pooling层(pooling层会导致信息损失)且参数量相当的情况下,提供更大的感受野,充分利用图像的信息,能最大程度上保留超分辨率后的图像语义信息。医学图像相对于自然图像来说信息更少,所以数据集为医学图像时,使用空洞卷积比普通卷积更好,更适用于医学图像超分辨率。本发明移除了生成器模块中残差块的批归一化层(BN层),避免了因为训练数据集和测试数据集样本分布不一致的情况下图片伪影的产生,使模型鲁棒性更强。本发明提出新的感知损失函数(结构感知损失函数),从亮度、对比度、结构三方面来约束超分辨图像的质量,同时提高了人类视觉效果和图像质量评价指标值。
进一步地,本发明通过图像翻转和图像裁剪来扩充原始数据集的图像数量,这几种扩充数据量的操作被证实一定程度上可以提高网络模型的性能。本发明对空洞卷积的膨胀率设为2,该参数相对其他参数设置更适合第二网络结构模型。本发明将第二网络结构模型的生成器模块中的激活层设为PRelu层,可以加速网络训练速度,可以更好的训练网络模型。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式中的技术方案,下面将对具体实施方式描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的基于SRGAN改进的第二网络结构图;
图2是本发明的网络结构模型中的Residual block(ResB)结构图;
图3是本发明的对照实验效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
作为本发明的具体实施方式,一种基于生成对抗网络改进的医学图像超分辨率方法,包括以下步骤:
步骤1:下载医学图像数据集Deeplesion,获取高分辨率医学图像数据集,随即从约92万张医学图像中抽取一部分数据集作为训练数据集和测试数据集。具体工作流程如下:
首先下载Deeplesion数据集,按照图片唯一编号作为索引,从中随机选取800张图片作为训练数据集,100张图片作为测试数据集。
步骤2:将步骤1获取的高分辨率医学图像数据集采用MATLAB的bicubic核函数进行4倍下采样,得到相应的训练低分辨率(LR)数据集和低分辨率(LR)测试数据集。
步骤3:在SRGAN的生成器模块的残差块中使用空洞卷积替代普通卷积,得到第一网络结构模型,使用空洞卷积的目的是在不用pooling层(pooling层会导致信息损失)且参数量相当的情况下,提供更大的感受野,让每个卷积输出都包含更大范围的信息,这样可以充分利用图像的信息,能最大程度上保留超分辨率后的图像语义信息,医学图像相对于自然图像来说信息更少,所以数据集为医学图像时,使用空洞卷积比普通卷积更好。具体的,第一网络结构模型包括生成器模块和判别器模块;
第一网络结构模型的生成器模块的结构为:1个第一卷积层、1个第一激活层、16个参数相同的残差块、1个第二卷积层、2个组合上采样层和1个第三卷积层依次开环连接,且16个残差块和第二卷积层组成1个组合残差块;
其中,每个参数相同的残差块包括2个空洞卷积层、2个批归一化层和2个第二激活层,其结构为:1个空洞卷积层、1个批归一化层、1个第二激活层、1个空洞卷积层、1个批归一化层和1个第二激活层依次开环连接;
每个组合上采样层包括1个第四卷积层、1个2倍上采样的亚像素层和1个第三激活层,其结构为:1个第四卷积层、1个2倍上采样的亚像素层和1个第三激活层依次开环连接;
第一网络结构模型的判别器模块的结构为:1个第五卷积层、1个第四激活层、7个组合层、1个全连接层、1个第五激活层、1个全连接层和1个第五激活层依次开环连接;
其中,每个组合层的结构为:1个第六卷积层、1个批归一化层和1个第六激活层依次开环连接。
作为本发明的某一优选实施例,第一网络结构模型的生成器模块中:所有卷积层的卷积核尺寸均为3×3,步长为1;第一卷积层、空洞卷积层和第二卷积层的卷积核个数均为64个;第四卷积层的卷积核个数均为256个;第三卷积层的卷积核个数为3个;所有激活层均为PRelu层;空洞卷积层中空洞卷积的膨胀率为2。
第一网络结构模型的判别器模块中:所有卷积层的卷积核尺寸均为3×3;按照连接顺序,从第五卷积层开始:卷积层的步长依次为1,2,1,2,1,2,1,2,卷积层的卷积核个数依次为64,64,128,128,256,256,512,512,最后一个激活层为sigmod层,其他激活层均为Leaky Relu层,第一个全连接层为1024维,第二个全连接层为1维。
步骤4:将步骤3得到的第一网络结构模型的生成器模块的批归一化层去掉,得到第二网络结构模型,具体的,第二网络结构模型包括生成器模块和判别器模块;
将第一网络结构模型的生成器模块中的所有批归一化层去掉,得到第二网络结构模型的生成器模块;去除BN层已经在实际的SR任务中被证明可以提高性能并且降低计算复杂性,同时也可以防止伪影产生。
第二网络结构模型的判别器模块结构与第一网络结构模型的判别器模块的结构相同。
作为本发明的某一优选实施例,第二网络结构模型的生成器模块中:所有卷积层的卷积核尺寸均为3×3,步长为1;第一卷积层、空洞卷积层和第二卷积层的卷积核个数均为64个;第四卷积层的卷积核个数均为256个;第三卷积层的卷积核个数为3个;所有激活层均为PRelu层;空洞卷积层中空洞卷积的膨胀率为2;
第二网络结构模型的判别器模块中:所有卷积层的卷积核尺寸均为3×3;按照连接顺序,从第五卷积层开始:卷积层的步长依次为1,2,1,2,1,2,1,2,卷积层的卷积核个数依次为64,64,128,128,256,256,512,512,最后一个激活层为sigmod层,其他激活层均为Leaky Relu层,第一个全连接层为1024维,第二个全连接层为1维;
最终得到的第二网络结构如图1所示,图1中的残差块ResB的具体结构如图2所示。
步骤5:利用平均结构相似性感知损失函数改进SRGAN的感知损失函数,得到结构感知损失函数,它不仅可以提升超分辨率图像的视觉感知质量,也可以提高超分辨率图像的图像质量评估指标值;
结构感知损失函数为:
其中,平均结构相似性感知损失函数为:
其中,N是训练的batchsize;xk和yk为第k个图像对;SR是超分辨率superresolution的简称;SSIM是一种全参考的图像质量评价指标,它分别从亮度、对比度、结构三方面度量图像相似性,表示为:
其中,x和y为给定的两个图像,ux和uy分别是x和y的像素平均值,和分别是x和y的像素方差,σxy是x和y的像素协方差;c1和c2是用来维持稳定的常数,表示为:c1=(k1L)2,c2=(k2L)2;
其中,L是像素值的动态范围,k1=0.01,k2=0.03;
VGG内容感知损失函数为:
Wi,j和Hi,j描述了VGG网络内的各个特征图的尺寸,用φi,j表示由VGG19网络中的第i个最大卷积层之前的第j个卷积(激活后)获得的特征图;为重建图像;IHR为参考图像;LR表示低分辨率,HR表示高分辨率,I表示图像;
Gen生成对抗感知损失函数为:
步骤6:将步骤1获取的高分辨训练数据集和步骤2得到的低分辨率训练数据集作为第二网络结构模型的输入,并利用步骤5得到的结构感知损失函数对第二网络结构模型进行训练,其中各类参数设置情况为:batchsize设为8;结构感知损失函数的系数λ为2×10-5,μ为1×10-2;训练轮数为1000,初始学习率为1×10-4,每500轮更新学习率,空洞卷积的膨胀率设为2;优化器使用Adam,β1=0.9,β2=0.999;在tensorflow框架和Tesla P10016GGPU平台上训练模型;通过调整参数使得损失函数达到最小,即完成模型训练,得到医学图像超分辨率模型。
步骤7:利用步骤1获取的高分辨测试数据集和步骤2得到的低分辨率测试数据集,分别对BIUCBIU算法、第一网络结构模型、第二网络结构模型、使用结构感知损失函数的第二网络结构模型进行验证,获得相应的超分辨率图。如图3所示,左边部分是高分辨率图像,右边四张小图分别为:左上是BIUCBIU算法效果图,右上是第一网络结构模型效果图,右下是第二网络结构模型效果图,左下是使用结构感知损失函数的第二网络结构模型效果图;从图3可以看出使用结构感知损失函数的第二网络结构模型的超分辨率图视觉感知效果是最好的。
步骤8:利用步骤1获取的高分辨率测试数据集和步骤7得到的超分辨率图像依次分别进行图像质量指标评估,得到相应的指标值,并且依照改进的步骤,每个步骤得出的网络模型都做了对照实验,实验得出的具体指标值参照表1;其中,所述质量评估指标分别为峰值信噪比(PSNR)和结构相似性(SSIM),可以从参照表1看出来使用结构感知损失的第二网络结构模型的指标值均为最高。
表1测试图像的图像质量评估指标值
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (7)
1.一种基于生成对抗网络改进的医学图像超分辨率方法,其特征在于,包括以下步骤:
步骤1:获取高分辨率医学图像数据集,将其分为训练数据集和测试数据集;
步骤2:将步骤1获取的高分辨率医学图像数据集进行下采样得到低分辨率医学图像数据集;
步骤3:在SRGAN的生成器模块的残差块中使用空洞卷积替代普通卷积,得到第一网络结构模型;
步骤4:将步骤3得到的第一网络结构模型的生成器模块的批归一化层去掉,得到第二网络结构模型;
步骤5:利用平均结构相似性感知损失函数改进SRGAN的感知损失函数,得到结构感知损失函数;
步骤6:将步骤1获取的高分辨训练数据集和步骤2得到的低分辨率训练数据集作为第二网络结构模型的输入,并利用步骤5得到的结构感知损失函数对第二网络结构模型进行训练;
步骤7:利用步骤1获取的高分辨测试数据集和步骤2得到的低分辨率测试数据集,对步骤6训练后的第二网络结构模型进行验证,完成医学图像超分辨率。
2.根据权利要求1所述的一种基于生成对抗网络改进的医学图像超分辨率方法,其特征在于,步骤2中,采用MATLAB的bicubic核函数进行4倍下采样。
3.根据权利要求1所述的一种基于生成对抗网络改进的医学图像超分辨率方法,其特征在于,步骤3中,所述第一网络结构模型包括生成器模块和判别器模块;
所述第一网络结构模型的生成器模块的结构为:1个第一卷积层、1个第一激活层、16个参数相同的残差块、1个第二卷积层、2个组合上采样层和1个第三卷积层依次开环连接,且16个残差块和第二卷积层组成1个组合残差块;
其中,每个参数相同的残差块包括2个空洞卷积层、2个批归一化层和2个第二激活层,其结构为:1个空洞卷积层、1个批归一化层、1个第二激活层、1个空洞卷积层、1个批归一化层和1个第二激活层依次开环连接;
每个组合上采样层包括1个第四卷积层、1个2倍上采样的亚像素层和1个第三激活层,其结构为:1个第四卷积层、1个2倍上采样的亚像素层和1个第三激活层依次开环连接;
所述第一网络结构模型的判别器模块的结构为:1个第五卷积层、1个第四激活层、7个组合层、1个全连接层、1个第五激活层、1个全连接层和1个第五激活层依次开环连接;
其中,每个组合层的结构为:1个第六卷积层、1个批归一化层和1个第六激活层依次开环连接。
4.根据权利要求3所述的一种基于生成对抗网络改进的医学图像超分辨率方法,其特征在于,步骤4中,所述第二网络结构模型包括生成器模块和判别器模块;
将所述第一网络结构模型的生成器模块中的所有批归一化层去掉,得到所述第二网络结构模型的生成器模块;
所述第二网络结构模型的判别器模块结构与所述第一网络结构模型的判别器模块的结构相同。
5.根据权利要求4所述的一种基于生成对抗网络改进的医学图像超分辨率方法,其特征在于,所述第一网络结构模型的生成器模块和所述第二网络结构模型的生成器模块中:所有卷积层的卷积核尺寸均为3×3,步长为1;第一卷积层、空洞卷积层和第二卷积层的卷积核个数均为64个;第四卷积层的卷积核个数均为256个;第三卷积层的卷积核个数为3个;所有激活层均为PRelu层;
所述第一网络结构模型的判别器模块和所述第二网络结构模型的判别器模块中:所有卷积层的卷积核尺寸均为3×3;按照连接顺序,从第五卷积层开始:卷积层的步长依次为1,2,1,2,1,2,1,2,卷积层的卷积核个数依次为64,64,128,128,256,256,512,512,最后一个激活层为sigmod层,其他激活层均为Leaky Relu层,第一个全连接层为1024维,第二个全连接层为1维。
6.根据权利要求5所述的一种基于生成对抗网络改进的医学图像超分辨率方法,其特征在于,所述空洞卷积层中空洞卷积的膨胀率为2。
7.根据权利要求1所述的一种基于生成对抗网络改进的医学图像超分辨率方法,其特征在于,步骤5中,所述结构感知损失函数为:
其中,平均结构相似性感知损失函数为:
其中,N是训练的batchsize;xk和yk为第k个图像对;SR是超分辨率super resolution的简称;SSIM是一种全参考的图像质量评价指标,它分别从亮度、对比度、结构三方面度量图像相似性,表示为:
其中,x和y为给定的两个图像,ux和uy分别是x和y的像素平均值,和分别是x和y的像素方差,σxy是x和y的像素协方差;c1和c2是用来维持稳定的常数,表示为:c1=(k1L)2,c2=(k2L)2;
其中,L是像素值的动态范围,k1=0.01,k2=0.03;
VGG内容感知损失函数为:
Wi,j和Hi,j描述了VGG网络内的各个特征图的尺寸,用φi,j表示由VGG19网络中的第i个最大卷积层之前的第j个卷积获得的特征图;为重建图像;IHR为参考图像;LR表示低分辨率,HR表示高分辨率,I表示图像;
Gen生成对抗感知损失函数为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911259611.7A CN111178499B (zh) | 2019-12-10 | 2019-12-10 | 一种基于生成对抗网络改进的医学图像超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911259611.7A CN111178499B (zh) | 2019-12-10 | 2019-12-10 | 一种基于生成对抗网络改进的医学图像超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111178499A CN111178499A (zh) | 2020-05-19 |
CN111178499B true CN111178499B (zh) | 2022-06-07 |
Family
ID=70653827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911259611.7A Active CN111178499B (zh) | 2019-12-10 | 2019-12-10 | 一种基于生成对抗网络改进的医学图像超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111178499B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932456B (zh) * | 2020-07-31 | 2023-05-16 | 浙江师范大学 | 一种基于生成对抗网络的单幅图像超分辨率重建方法 |
CN112102167B (zh) * | 2020-08-31 | 2024-04-26 | 深圳市航宇数字视觉科技有限公司 | 一种基于视觉感知的图像超分辨率方法 |
CN113450344B (zh) * | 2021-07-19 | 2022-05-13 | 江南大学 | 带钢表面缺陷检测方法及系统 |
CN114596285A (zh) * | 2022-03-09 | 2022-06-07 | 南京邮电大学 | 一种基于生成对抗网络的多任务医学图像增强方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108629736A (zh) * | 2017-03-15 | 2018-10-09 | 三星电子株式会社 | 用于设计超分辨率深度卷积神经网络的系统和方法 |
CN109559276A (zh) * | 2018-11-14 | 2019-04-02 | 武汉大学 | 一种基于无参考质量评价和特征统计的图像超分辨率重建方法 |
CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统 |
CN110211045A (zh) * | 2019-05-29 | 2019-09-06 | 电子科技大学 | 基于srgan网络的超分辨率人脸图像重建方法 |
CN110335196A (zh) * | 2019-07-11 | 2019-10-15 | 山东工商学院 | 一种基于分形解码的超分辨率图像重建方法及系统 |
-
2019
- 2019-12-10 CN CN201911259611.7A patent/CN111178499B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108629736A (zh) * | 2017-03-15 | 2018-10-09 | 三星电子株式会社 | 用于设计超分辨率深度卷积神经网络的系统和方法 |
CN109559276A (zh) * | 2018-11-14 | 2019-04-02 | 武汉大学 | 一种基于无参考质量评价和特征统计的图像超分辨率重建方法 |
CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统 |
CN110211045A (zh) * | 2019-05-29 | 2019-09-06 | 电子科技大学 | 基于srgan网络的超分辨率人脸图像重建方法 |
CN110335196A (zh) * | 2019-07-11 | 2019-10-15 | 山东工商学院 | 一种基于分形解码的超分辨率图像重建方法及系统 |
Non-Patent Citations (3)
Title |
---|
Dense Bynet: Residual Dense Network for Image Super Resolution;Jiu Xu 等;《2018 25th IEEE International Conference on Image Processing (ICIP)》;20180906;全文 * |
Image Super-resolution Reconstruction Based on an Improved Generative Adversarial Network;Han Liu 等;《2019 1st International Conference on Industrial Artificial Intelligence (IAI)》;20190930;全文 * |
生成对抗网络研究综述;邹秀芳 等;《计算机系统应用》;20191130;第28卷(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111178499A (zh) | 2020-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111178499B (zh) | 一种基于生成对抗网络改进的医学图像超分辨率方法 | |
CN108537733B (zh) | 基于多路径深度卷积神经网络的超分辨率重建方法 | |
CN110705699B (zh) | 超分辨率重建方法、装置、电子设备和可读存储介质 | |
CN111932461B (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
CN108090871A (zh) | 一种基于卷积神经网络的多对比度磁共振图像重建方法 | |
CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
CN111080531B (zh) | 一种水下鱼类图像的超分辨率重建方法、系统及装置 | |
CN112270644A (zh) | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 | |
CN110363704B (zh) | 融合形态及色彩的图像超分辨率重建模型构建及重建方法 | |
CN111899165A (zh) | 一种基于功能模块的多任务图像重建卷积网络模型 | |
CN114219719A (zh) | 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法 | |
CN113902658B (zh) | 基于密集多尺度网络的rgb图像到高光谱图像重建方法 | |
CN113674191A (zh) | 一种基于条件对抗网络的弱光图像增强方法和装置 | |
CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
CN116468605A (zh) | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 | |
CN117612221B (zh) | 结合注意力shift的OCTA图像血管提取方法 | |
CN114638749A (zh) | 低光照图像增强模型、方法、电子设备及存储介质 | |
CN116071239B (zh) | 一种基于混合注意力模型的ct图像超分辨方法和装置 | |
CN116523739A (zh) | 一种无监督的隐式建模盲超分辨重建方法及装置 | |
CN114494952B (zh) | 一种基于感知损失的乳腺mri影像时间序列生成方法 | |
CN110570355B (zh) | 多尺度自动聚焦超分辨率处理系统和方法 | |
CN115330600A (zh) | 一种基于改进srgan的肺部ct图像超分辨率方法 | |
CN113808057A (zh) | 基于无监督学习的内窥镜图像增强方法 | |
CN111325700A (zh) | 基于彩色图像的多维度融合算法和系统 | |
CN113688694B (zh) | 基于非配对学习的提升视频清晰度的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |