CN110047054A - 一种基于vgg-19提取特征的gan医学图像降噪方法 - Google Patents

一种基于vgg-19提取特征的gan医学图像降噪方法 Download PDF

Info

Publication number
CN110047054A
CN110047054A CN201910345922.9A CN201910345922A CN110047054A CN 110047054 A CN110047054 A CN 110047054A CN 201910345922 A CN201910345922 A CN 201910345922A CN 110047054 A CN110047054 A CN 110047054A
Authority
CN
China
Prior art keywords
noise reduction
vgg
image
feature
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910345922.9A
Other languages
English (en)
Inventor
龚宇
滕月阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910345922.9A priority Critical patent/CN110047054A/zh
Publication of CN110047054A publication Critical patent/CN110047054A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于VGG‑19提取特征的GAN医学图像降噪方法,包括搭建GAN降噪网络,提取训练图像和训练标签图像并以损失函数最小化为原则对搭建好的降噪网络进行训练,以及利用训练后的降噪网络对高噪声图片进行降噪处理,输出降噪结果。本发明为了克服降噪后图像边缘平滑,失去原有图像细节的问题,提出一种将降噪后的图像和原本清晰的图像用VGG‑19做特征提取之后的差值作为损失函数进行优化的图像降噪方法,以达到保存图像原有细节,提高图像清晰度的效果。

Description

一种基于VGG-19提取特征的GAN医学图像降噪方法
技术领域
本发明涉及医学图像处理领域,尤其涉及一种将VGG-19提取特征后作为损失函数的GAN医学图像降噪方法。
背景技术
随着CT技术在医疗领域的广泛应用,CT辐射剂量对身体所带来的伤害越来越为人们所关注,如何降低CT剂量进而减少被检测者的损伤成为研究热点。以当前的技术水平,CT剂量的减少必然会对生成的图像的质量产生影响,噪声的增强和伪像的生成均会降低图像的清晰度,从而增加医生对患者病情的错误分析概率。所以对低剂量CT图像进行降噪处理是非常有必要的。随之而来的是图像降噪算法的蓬勃发展,比如滤波反投影技术(FBP)在投影域对弦图进行滤波降噪,使生成图像清晰;non-local means(NLM)算法应用在图像降噪方面;K-SVD算法主要用来减少图像伪影;BM3D算法主要用来图像复原。上述算法在一定程度上提高了图像的质量,但其技术方案均在于最小化高噪声图像与低噪声图像每个像素点之间的误差,即均方误差(MSE),即以MSE作为损失函数进行优化。但是减少每个像素点的均方误差会引起边缘的过渡平滑,失去图像原有的细节,不能在视觉上大幅提高降噪效果。
近年来深度学习在图像降噪方面取得了显著成绩,生成式对抗网络GAN是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中两个模块:生成模型和判别模型的互相博弈学习产生相当好的输出。在GAN框架中,生成网络G和鉴别器网络D紧密耦合并同时训练,即在训练G网络从随机矢量z产生逼真图像G(z)的同时,训练D网络以区分真实图像和生成图像。
发明内容
根据上述提出的现有技术降噪后图像边缘平滑,失去原有图像细节的问题,提出一种将降噪后的图像和原本清晰的图像用VGG-19做特征提取之后两者的差值作为损失函数进行优化的图像降噪方法,以达到保存图像原有细节,提高图像清晰度的效果。
本发明采用的技术手段如下:
一种基于VGG-19提取特征的GAN医学图像降噪方法,包括以下步骤:
步骤S1、搭建GAN降噪网络,并设置生成器各层卷积参数以及鉴别器各层卷积参数;
步骤S2、提取训练图像和训练标签图像,随机初始化生成器和鉴别器网络参数,以损失函数最小化为原则对搭建好的降噪网络进行训练,所述损失函数为第一提取特征与第二提取特征的差值,所述第一提取特征由降噪网络输出的降噪结果经VGG-19进行特征提取获得;所述第二提取特征由训练标签图像经VGG-19进行特征提取获得;
步骤S3、利用训练后的降噪网络对高噪声图片进行降噪处理,输出降噪结果。
进一步地,所述第一提取特征由降噪网络输出的降噪结果经VGG-19进行特征提取获得,具体包括保留所述VGG-19的16个卷积层作为降噪结果的特征提取部分,将所述VGG-19的3个全连接层去掉。
进一步地,所述第二提取特征由训练标签图像经VGG-19进行特征提取获得,具体包括保留所述VGG-19的16个卷积层作为训练标签的特征提取部分,将所述VGG-19的3个全连接层去掉。
本发明还提供了一种存储介质,其包括存储的程序,其中,所述程序执行上述任意一项所述的降噪方法。
本发明还提供了一种处理器,其用于运行程序,其中,所述程序执行上述任意一项所述的降噪方法。
较现有技术相比,本发明具有以下优点:
现有技术都使用训练标签和输入图片的每个像素点差值作为损失函数,即使用MSE均方误差作为损失函数,然而单纯减少每个像素点的均方误差会引起边缘的过渡平滑,失去图像原有的细节,不能在视觉上很大程度提高降噪效果。本发明以VGG-19作为损失函数来进行对模型的优化,由于VGG-19网络主要用来做1000种图像分类,更加符合人们视觉上从图像中提取特征的方式,因此更能凸显视觉上的降噪效果,很大程度上提高图像质量,从而克服了由于一味以降低像素点均方误差导致的图像边缘过度平滑问题。
基于上述理由本发明可在医学成像、医学图像降噪等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明降噪方法流程图。
图2为本发明感知损失提取流程图。
图3a为本发明训练输入高噪声示意图。
图3b为本发明训练输入低噪声示意图。
图3c为本发明生成结果示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本发明提供了一种基于VGG-19提取特征的GAN医学图像降噪方法,包括以下步骤:
步骤S1、搭建GAN降噪网络,并设置生成器各层卷积参数以及鉴别器各层卷积参数。GAN生成器部分一共含有8个卷积层,卷积核大小均为3*3,卷积核个数分别为32,32,32,32,32,32,32,1。将降噪结果作为输出。GAN鉴别器部分一共含有6个卷积层和2个全连接层,卷积核个数分别为64,64,128,128,256,256。全连接层连接个数分别为1024,1。输出为一个分数。
步骤S2、提取训练图像和训练标签图像,随机初始化生成器和鉴别器网络参数,以损失函数最小化为原则对搭建好的降噪网络进行训练,所述损失函数为第一提取特征与第二提取特征的差值,所述第一提取特征由降噪网络输出的降噪结果经VGG-19进行特征提取获得;所述第二提取特征由训练标签图像经VGG-19进行特征提取获得。GAN网络的生成器和鉴别器均通过Adam优化器进行训练并将梯度由反向传播算法计算。具体的,本发明中所用到的VGG-19特征提取模型通过ImageNet预先训练好,保留VGG-19的16个卷积层作为降噪结果与训练标签的特征提取部分,将所述VGG-19的3个全连接层去掉。VGG-19一共有16个卷积层,卷积层使用的卷积核大小均为3*3,卷积核个数依次为64,64,128,128,128,256,256,256,512,512,512,512,512,512,512,512;5个池化层,池化层为最大池化,步长为2*2;3个全连接层。所述第一提取特征由降噪网络输出的降噪结果经VGG-19进行特征提取获得,具体包括保留所述VGG-19的16个卷积层作为降噪结果的特征提取部分,将所述VGG-19的3个全连接层去掉。所述第二提取特征由训练标签图像经VGG-19进行特征提取获得,具体包括保留所述VGG-19的16个卷积层作为训练标签的特征提取部分,将所述VGG-19的3个全连接层去掉。
具体地,本发明通过损失函数实现梯度下降寻找最优值,即
所述损失函数定义为:
其中,x表示训练标签图像,z表示训练图像,F是Frobenius范数,D是表示鉴别器,G表示生成器,G(z)表示使用GAN降噪网络进行降噪后的结果,VGG(G(z))为使用VGG-19网络对降噪完后的图像提取的特征,和VGG(G(x))为使用VGG-19网络对训练标签图像提取的特征,w为图像的宽度,h为图像的高度,d为图像的深度,λ是控制GAN损失函数和VGG感知损失之间的权重参数,一般选取为0.1。
步骤S3、利用训练后的降噪网络对高噪声图片进行降噪处理,输出降噪结果。
本发明还提供了一种存储介质,其包括存储的程序,其中,所述程序执行上述任意一项所述的降噪方法。
本发明还提供了一种处理器,其用于运行程序,其中,所述程序执行上述任意一项所述的降噪方法。
下面通过一个具体的应用实例,对本发明的技术方案做进一步说明:
如图2所示,采用卷积网络作为生成对抗网络的生成器和鉴别器,其中生成器主要对图像进行降噪以达到接近真实图像的目的,鉴别器用来二分类。采用已经训练好的VGG-19作为特征提取。具体步骤为:
步骤A:选取东软12名病人扫描75s的512×512的PET数据作为高噪声输入,随机初始化生成器和鉴别器网络参数,然后进行9次卷积操作和激活,其中前8次卷积使用32个卷积核,最后一次使用1个卷积核,也是生成器的输出。
步骤B:固定生成器的网络参数,将生成器的输出送入鉴别器,对应的12名病人扫描150s的低噪声PET图像同时送入鉴别器,两者得出的差值作为鉴别器的损失函数,L(D)=D(G(z))-D(x),其中L(D)表示鉴别器的损失函数,G(z)表示高噪声图片z通过生成器降噪之后的图片,高噪声图片如图3a所示。x表示对应的低噪声图片,如图3b所示。D(G(z))和D(x)表示通过鉴别器得出的分数,从而通过L(D)优化鉴别器网络参数。其中优化器选择Adam优化器。
步骤C:固定鉴别器网络参数,将生成器的输出送入已经训练好的VGG-19感知网络,对应的12名病人扫描150s的低噪声PET图像同时送入预训练好的VGG-19感知网络,将两者差值作为损失函数,即Lvgg(G)=VGG(G(z))-VGG(x),其中Lvgg(G)为生成器的损失函数,G(z)表示高噪声图片z通过生成器降噪之后的图片,高噪声图片如图3a所示。x表示对应的低噪声图片,如图3b所示。VGG(G(z))和VGG(x)分别表示通过预训练好的VGG-19网络得出的特征,从而优化生成器网络。其中优化器选择Adam优化器。
重复步骤A、B、C迭代200000次,迭代完成后,得到训练好的网络参数,用扫描75s的高噪声图片输入,由生成器产生的图片即为所得到的通过本发明的实验结果,如图3c所示。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于VGG-19提取特征的GAN医学图像降噪方法,其特征在于包括以下步骤:
步骤S1、搭建GAN降噪网络,并设置生成器各层卷积参数以及鉴别器各层卷积参数;
步骤S2、提取训练图像和训练标签图像,随机初始化生成器和鉴别器网络参数,以损失函数最小化为原则对搭建好的降噪网络进行训练,所述损失函数为第一提取特征与第二提取特征的差值,所述第一提取特征由降噪网络输出的降噪结果经VGG-19进行特征提取获得;所述第二提取特征由训练标签图像经VGG-19进行特征提取获得;
步骤S3、利用训练后的降噪网络对高噪声图片进行降噪处理,输出降噪结果。
2.根据权利要求1所述的图像降噪方法,其特征在于所述第一提取特征由降噪网络输出的降噪结果经VGG-19进行特征提取获得,具体包括保留所述VGG-19的16个卷积层作为降噪结果的特征提取部分,将所述VGG-19的3个全连接层去掉。
3.根据权利要求1或2所述的图像降噪方法,其特征在于所述第二提取特征由训练标签图像经VGG-19进行特征提取获得,具体包括保留所述VGG-19的16个卷积层作为训练标签的特征提取部分,将所述VGG-19的3个全连接层去掉。
4.一种存储介质,其特征在于包括存储的程序,其中,所述程序执权利要求1-3中任意一项所述的降噪方法。
5.一种处理器,其特征在于用于运行程序,其中,所述程序执行权利要求1-3中任意一项所述的降噪方法。
CN201910345922.9A 2019-04-26 2019-04-26 一种基于vgg-19提取特征的gan医学图像降噪方法 Pending CN110047054A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910345922.9A CN110047054A (zh) 2019-04-26 2019-04-26 一种基于vgg-19提取特征的gan医学图像降噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910345922.9A CN110047054A (zh) 2019-04-26 2019-04-26 一种基于vgg-19提取特征的gan医学图像降噪方法

Publications (1)

Publication Number Publication Date
CN110047054A true CN110047054A (zh) 2019-07-23

Family

ID=67279633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910345922.9A Pending CN110047054A (zh) 2019-04-26 2019-04-26 一种基于vgg-19提取特征的gan医学图像降噪方法

Country Status (1)

Country Link
CN (1) CN110047054A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517198A (zh) * 2019-08-22 2019-11-29 太原科技大学 用于ldct图像去噪的高频敏感gan网络
CN110600047A (zh) * 2019-09-17 2019-12-20 南京邮电大学 基于Perceptual STARGAN的多对多说话人转换方法
CN110705328A (zh) * 2019-09-27 2020-01-17 江苏提米智能科技有限公司 一种基于二维码图像采集电力数据的方法
CN112085677A (zh) * 2020-09-01 2020-12-15 深圳先进技术研究院 一种图像处理方法、系统和计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN108335306A (zh) * 2018-02-28 2018-07-27 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN108492265A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于gan的cfa图像去马赛克联合去噪方法
US20180293712A1 (en) * 2017-04-06 2018-10-11 Pixar Denoising monte carlo renderings using generative adversarial neural networks
CN109064428A (zh) * 2018-08-01 2018-12-21 Oppo广东移动通信有限公司 一种图像去噪处理方法、终端设备及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180293712A1 (en) * 2017-04-06 2018-10-11 Pixar Denoising monte carlo renderings using generative adversarial neural networks
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN108335306A (zh) * 2018-02-28 2018-07-27 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN108492265A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于gan的cfa图像去马赛克联合去噪方法
CN109064428A (zh) * 2018-08-01 2018-12-21 Oppo广东移动通信有限公司 一种图像去噪处理方法、终端设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QINGSONG YANG ET.AL.: "Low-Dose CT Image Denoising Using a Generative Adversarial Network With Wasserstein Distance and Perceptual Loss", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517198A (zh) * 2019-08-22 2019-11-29 太原科技大学 用于ldct图像去噪的高频敏感gan网络
CN110517198B (zh) * 2019-08-22 2022-12-27 太原科技大学 用于ldct图像去噪的高频敏感gan网络
CN110600047A (zh) * 2019-09-17 2019-12-20 南京邮电大学 基于Perceptual STARGAN的多对多说话人转换方法
CN110705328A (zh) * 2019-09-27 2020-01-17 江苏提米智能科技有限公司 一种基于二维码图像采集电力数据的方法
CN112085677A (zh) * 2020-09-01 2020-12-15 深圳先进技术研究院 一种图像处理方法、系统和计算机存储介质

Similar Documents

Publication Publication Date Title
CN111062872B (zh) 一种基于边缘检测的图像超分辨率重建方法及系统
CN110047054A (zh) 一种基于vgg-19提取特征的gan医学图像降噪方法
CN110827216B (zh) 图像去噪的多生成器生成对抗网络学习方法
CN109118495B (zh) 一种视网膜血管分割方法和装置
CN110473142B (zh) 基于深度学习的单幅图像超分辨率重建方法
CN111028163A (zh) 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
CN104063856B (zh) 一种快速超分辨率图像重建方法和装置
CN106709877A (zh) 一种基于多参数正则优化模型的图像去模糊方法
CN110070510A (zh) 一种基于vgg-19提取特征的cnn医学图像降噪方法
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN109919954B (zh) 目标对象的识别方法和装置
CN109359527A (zh) 基于神经网络的头发区域提取方法及系统
Rivadeneira et al. Thermal image super-resolution challenge-pbvs 2021
CN110428426A (zh) 一种基于改进随机森林算法的mri图像自动分割方法
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
CN114140465B (zh) 基于宫颈细胞切片图像的自适应的学习方法和学习系统
Liu et al. Facial image inpainting using multi-level generative network
Ayub et al. LSTM‐Based RNN Framework to Remove Motion Artifacts in Dynamic Multicontrast MR Images with Registration Model
Lin et al. Noise2Grad: Extract Image Noise to Denoise.
CN112785540B (zh) 一种扩散加权图像的生成系统及方法
CN111986102B (zh) 一种数字病理图像去模糊方法
Zhu et al. STEDNet: Swin transformer‐based encoder–decoder network for noise reduction in low‐dose CT
CN116894783A (zh) 基于时变约束的对抗生成网络模型的金属伪影去除方法
CN117333359A (zh) 基于可分离卷积网络的山水画图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190723