CN110298804A - 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 - Google Patents
一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 Download PDFInfo
- Publication number
- CN110298804A CN110298804A CN201910596650.XA CN201910596650A CN110298804A CN 110298804 A CN110298804 A CN 110298804A CN 201910596650 A CN201910596650 A CN 201910596650A CN 110298804 A CN110298804 A CN 110298804A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- training
- characteristic pattern
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000009467 reduction Effects 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000003475 lamination Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000002600 positron emission tomography Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 239000000700 radioactive tracer Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 208000012902 Nervous system disease Diseases 0.000 description 2
- 208000025966 Neurological disease Diseases 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000009940 knitting Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于生成对抗网络和3D残差编码解码的医学图像降噪方法，包括：分类收集训练数据并对所述训练数据进行预处理，所述训练数据包括低质量图像和高质量图像；构建基于生成对抗网络和3D残差编码解码的卷积神经网络，利用扫描时间为75s、尺寸为N*9*64*64*1的低质量图像作为训练输入，扫描时间为150s、尺寸为N*9*64*64*1的高质量图像作为训练标签，对所述网络进行训练；利用训练后的卷积神经网络对高噪图像降噪，得到高质量图像。应用本发明技术方案可实现利用少量数据对模型进行训练后即可对任意高噪正电子发射计算机断层图像进行准确、快速的降噪。
Description
技术领域
本发明涉及正电子发射计算机断层图像处理，具体而言，尤其涉及一种基于生成对抗网络和3D残差编码解码的医学图像降噪方法。
背景技术
正电子发射断层扫描(PET)是一种功能性成像模式，通过注射特定的放射性示踪剂对组织内的分子活动水平进行观察，18F-FDG是常用的放射性示踪剂，该物质会与人体组织内的负电子发生湮灭现象，发射出一对能量相等但飞行方向相反的正电子，探测器通过检测电子轨迹即可实现成像功能。当人体的某个部位发生病变时，更加活跃的生理活动会提高该物质的吸收量，由此和其他正常组织产生区别。PET在实际的临床中应用非常广泛，包括癌症诊断、心脏病诊断和神经疾病诊断等，但是由于物理降解因素和检测光子数量有限，使得PET图像的图像分辨率和信噪比不佳，进而在临床应用中需要进一步提升图像质量，以将该技术更广泛的应用于小病变检测、肺癌和神经疾病的早期检测等。此外，由于使用放射性示踪剂也会增加患者的辐射风险，而降低放射性示踪剂剂量影响成像质量，导致图像中夹杂的噪声严重影响医生的诊断，这也对图像质量提出了更高的要求。
目前PET图像常用降噪方法主要包括正弦域滤波、迭代重建及其变种。正弦域滤波的优势在于可以对噪声进行精准建模，因此可以得到非常理想的降噪效果，但是在正弦域滤波过程中图像的边缘不能被很好的保留，容易造成图像细节的丢失，并且图像的空间分辨率会显著下降，此外正弦域滤波对数据完整性要求较高。迭代重建的优势体现在低剂量图像降噪过程中，可将图像在正弦域中的统计特性、图像域中的先验信息与成像系统的相关参数统一成一个目标函数，通过解方程的方法来提高成像质量。近年来，包括总变差(TV)技术及其变种、非局部均值(NLM)、字典学习等迭代重建算法逐渐兴起。其中，非局部均值(NLM)降噪的基本思想为：当前像素的估计值由图像中与它具有相似邻域结构的像素加权平均得到，容易导致图像边缘细节丢失，且计算量大。字典学习去噪方法和3D块匹配方法在去噪方面取得了不错的成绩，但在去噪的同时也丢失了图像的边缘细节。目前流行的深度学习主要基于图像的2D维度进行网络训练，没有将相邻切片的特征完整表达。综上所述，由于迭代重建的计算消耗巨大，成像速度极慢，严重影响患者的流动性，并且重建过程中也会造成细节上的损失，因此在实际临床应用中也面临着众多困难。
发明内容
鉴于现有技术中存在的图像细节易丢失、成像速度慢等问题，本发明提供了一种基于生成对抗网络和3D残差编码解码的医学图像降噪方法，利用少量的数据对模型进行训练后即可对任意高噪正电子发射计算机断层图像进行准确、快速的降噪。
本发明的技术方案如下：
一种基于生成对抗网络和3D残差编码解码的医学图像降噪方法，步骤包括：
S100、分类收集训练数据并对所述训练数据进行预处理，所述训练数据包括低质量图像和高质量图像；
S200、构建基于生成对抗网络和3D残差编码解码的卷积神经网络，利用扫描时间为75s、尺寸为N*9*64*64*1的低质量图像作为训练输入，扫描时间为150s、尺寸为N*9*64*64*1的高质量图像作为训练标签，对所述网络进行训练，具体包括：
S210、设置生成对抗网络各部参数，包括：将生成器设置为包括4个3D卷积层、3个2D卷积层和4个2D反卷积层，将鉴别器设置为包括6个2D卷积层和2个全连接层，将感知特征提取网络设置为包括16个2D卷积层和4个2D池化层；
S220、将预处理后的低质量图像作为网络的训练输入、高质量图像作为网络训练标签，对模型进行训练；
S300、利用训练后的卷积神经网络对高噪图像降噪，得到高质量图像。
进一步地，步骤S100所述预处理包括：
S110、对收集的分类数据进行格式转化，便于后续直接处理；
S120、对可处理的分类数据进行扩充，所述扩充包括：对数据进行随机水平翻转、随机像素平移、随机旋转和裁剪。
本发明还提供了一种存储介质，其包括存储的程序，其中，所述程序执行上述任意一项所述的降噪方法。
本发明还提供了一种处理器，其用于运行程序，其中，所述程序执行上述任意一项所述的降噪方法。
较现有技术相比，本发明具有以下优点：
本发明通过分层网络框架从像素数据中有效地学习高级特征，进而找出训练样本和训练标签之间复杂的非线性关系。并且网络训练图像时采用3D训练，以3D残差为基础提取图像的空间特征和关系，最终实现图像的精确降噪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明降噪方法流程图。
图2为实施例中方法执行流程图。
图3a为输入的图像示意图。
图3b为提取的切片腹部图像。
图3c为提取的切片肺部图像。
图3d为提取的切片脑部图像。
图4a为生成器工作流程图。
图4b为鉴别器工作流程图。
图4c为感知特征提取器工作流程图。
图5a为实施例中输入的高噪声图像。
图5b为实施例中输入的低噪声图像。
图5c为实施例中输出的降噪后图像。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种基于生成对抗网络3D残差编码解码的医学图像降噪方法，步骤包括：
S100、对采集的训练数据进行预处理，具体包括：
S110、分类收集训练数据，所述训练数据包括低质量图像和高质量图像；
S120、对收集的分类数据进行格式转化，便于后续直接处理。
S130、对可处理的分类数据进行扩充，以满足训练要求，具体包括：对数据进行随机水平翻转、随机像素平移、随机旋转和裁剪的方法来扩充数据集。
S200、采用处理后的数据训练基于生成对抗网络和3D残差编码解码的卷积神经网络，具体包括：
S210、搭建基于生成对抗网络和3D残差编码解码神经网络，并设置生成器各层卷积参数以及鉴别器各层卷积参数；
S220、将预处理后的低质量图像作为网络的训练输入、高质量图像作为网络训练标签，对模型进行训练。
S300、利用训练后的卷积神经网络对高噪图像降噪，得到高质量图像。
下面通过具体的实施例，对本发明的技术方案做进一步说明：
实施例1
如图2所示，一种基于生成对抗网络和3D残差编码解码的医学图像降噪方法，对正电子发射断层扫描进行图像降噪，包括：对采集的训练数据进行预处理；采用处理后的数据训练基于生成对抗网络和3D残差编码解码的卷积神经网络；利用训练后的卷积神经网络对高噪图像降噪，得到高质量图像。
数据预处理包括：
步骤A：训练数据由东软医疗提供，如图3a所示，包括扫描时间为75s的低质量全身扫描图像和扫描时间为150s的高质量全身扫描图像，数据格式为DICOM，如图3b-3d所示，这些数据可以大致分为头部、肺部和腹部这三类。
步骤B：将这些DICOM格式的数据借助pydicom和numpy库转化为npy格式的数据。
步骤C：将三类数据通过随机水平翻转、随机水平或垂直方向移动25个像素、随机旋转10度和裁剪固定大小的图像补丁的方法来扩充数据集，以防止数据量不够而导致的过拟合现象。
神经网络训练过程包括：
步骤D：设计基于生成对抗网络和3D残差编码解码网络结构，将形状大小为N*9*64*64*1的，扫描时间为75s和150s的图像分别作为网络的训练输入和训练标签。其中N表示数据图像的个数，9代表同时输入图像的个数，64代表图像的大小，1代表图像的通道数，即图像为灰度图像。首先，3D残差编码解码也是一种网络结构，通过使用3D卷积可以利用图像在空间上的关联信息，进一步提高降噪的效果。这里的残差指的是不同层的的相互连接，在下文中所有提到与其他层的输出叠加后的输出都是残差的结果，引入残差的目的是防止网络层数过深导致的训练效果变差。其次，3D残差编码解码同生成对抗网络的结合依靠的是利用3D残差编码解码网络作为生成对抗网络的生成器部分。最后，编码和解码指的就是在降噪过程中的卷积和反卷积过程，高噪图像经过卷积后将变为另一种形式，这称之为编码，反卷积将恢复出图像，这称之为解码。3D残差编码解码网络主要依靠使用了3D卷积，它将连续的图像进行统一卷积，得到的特征图将包含连续图像之间的关联信息，实验结果证明，这样做可以更好的保存降噪后图像的细节信息。如图4a-4c所示，为网络结构训练过程，具体包括：
生成器网络共有4个3D卷积层、3个2D卷积层和4个2D反卷积层：第1层是3D卷积层，输入为125个大小为9*64*64的由原始图像裁剪得来的图像补丁，输出为125个大小为7*62*62*32的特征图，卷积核大小为3*3，步长为1；第2层是3D卷积层，输入为125个大小为7*62*62*32的特征图，输出为125个大小为5*60*60*32的特征图，卷积核大小为3*3，步长为1；第3层是3D卷积层，输入为125个大小为5*60*60*32的特征图，输出为125个大小为3*58*58*32的特征图，卷积核大小为3*3，步长为1；第4层是3D卷积层，输入为125个大小为3*58*58*32的特征图，经维度压缩后输出为125个大小为56*56*32的特征图；第5层是2D反卷积层，输入为125个大小为56*56*32的特征图，经过与第3层输出的第2层图像的特征图叠加后，输出125个大小为58*58*64的特征图，卷积核大小为3*3，步长为1；第6层是2D卷积层，输入为125个大小为58*58*64的特征图，降维之后输出125个大小为58*58*32的特征图，卷积核大小为1*1，步长为1；第7层是2D反卷积层，输入125个大小为58*58*32的特征图，经过与第2层输出的第3层图像的特征图叠加后，输出125个大小为60*60*64的特征图，卷积核大小为3*3，步长为1；第8层是2D卷积层，输入为125个大小为60*60*64的特征图，降维之后输出125个大小为60*60*32的特征图，卷积核大小为1*1，步长为1；第9层是2D反卷积层，输入125个大小为60*60*32的特征图，经过与第1层输出的第4层图像的特征图叠加后，输出125个大小为62*62*64的特征图，卷积核大小为3*3，步长为1；第10层是2D卷积层，输入为125个大小为62*62*64的特征图，降维之后输出125个大小为62*62*32的特征图，卷积核大小为1*1，步长为1；第11层是2D反卷积层，输入125个大小为62*62*32的特征图，输出125个大小为64*64*1的特征图，卷积核大小为3*3，步长为1，此层的输出即为最终的降噪后的图像。所有的卷积层与反卷积层均使用了’VALID’填充方式，激活函数统一采用的是ReLU激活函数。
鉴别器网络共有6个2D卷积层和2个全连接层：第1层是2D卷积层，输入125个大小为64*64的由原始图像裁剪得来的图像补丁，输出为125个大小为64*64*64的特征图，卷积核大小为3*3，步长为1；第2层是2D卷积层，输入为125个大小为64*64*64的特征图，输出为125个大小为32*32*64的特征图，卷积核大小为3*3，步长为2；第3层是2D卷积层，输入为125个大小为32*32*64的特征图，输出为125个大小为32*32*128的特征图，卷积核大小为3*3，步长为1；第4层是2D卷积层，输入为125个大小为32*32*128的特征图，输出为125个大小为16*16*128的特征图，卷积核大小为3*3，步长为2；第5层是2D卷积层，输入为125个大小为16*16*128的特征图，输出为125个大小为16*16*256的特征图，卷积核大小为3*3，步长为1；第6层是2D卷积层，输入为125个大小为16*16*256的特征图，输出为125个大小为8*8*256的特征图，卷积核大小为3*3，步长为2；第7层为全连接层，输入为125个大小为8*8*256的特征图，输出为125个大小为1*1024的特征向量；第8层为全连接层，输入为125个大小为1*1024的特征向量，输出为125大小为1*1的特征向量；所有卷积层均使用了’SAME’填充方式，除最后一层以外的所有卷积层与全连接层均采用Leaky-ReLU作为激活函数。
感知特征提取网络共有16个2D卷积层和4个2D池化层：第1层是2D卷积层，输入125个大小为64*64的由原始图像裁剪得来的图像补丁，输出为125个大小为64*64*64的特征图，卷积核大小为3*3，步长为1；第2层是2D卷积层，输入为125个大小为64*64*64的特征图，输出为125个大小为64*64*64的特征图，卷积核大小为3*3，步长为1；第3层为2D池化层，输入125个大小为64*64*64的特征图，输出为125个大小为32*32*64的特征图，卷积核大小为2*2，步长为2；第4层为2D卷积层，输入125个大小为32*32*64的特征图，输出为125个大小为32*32*128的特征图，卷积核大小为3*3，步长为1；第5层为2D卷积层，输入125个大小为32*32*128的特征图，输出为125个大小为32*32*128的特征图，卷积核大小为3*3，步长为1；第6层为2D池化层，输入125个大小为32*32*128的特征图，输出为125个大小为16*16*128的特征图，卷积核大小为2*2，步长为2；第7层为2D卷积层，输入125个大小为16*16*128的特征图，输出为125个大小为16*16*256的特征图，卷积核大小为3*3，步长为1；第8层为2D卷积层，输入125个大小为16*16*128的特征图，输出为125个大小为16*16*256的特征图，卷积核大小为3*3，步长为1；第9层为2D卷积层，输入125个大小为16*16*128的特征图，输出为125个大小为16*16*256的特征图，卷积核大小为3*3，步长为1；第10层为2D卷积层，输入125个大小为16*16*128的特征图，输出为125个大小为16*16*256的特征图，卷积核大小为3*3，步长为1；第11层为2D池化层，输入125个大小为16*16*256的特征图，输出为125个大小为8*8*256的特征图，卷积核大小为2*2，步长为2；第12层为2D卷积层，输入125个大小为8*8*256的特征图，输出为125个大小8*8*512的特征图，卷积核大小为3*3，步长为1；第13层为2D卷积层，输入125个大小为8*8*256的特征图，输出为125个大小8*8*512的特征图，卷积核大小为3*3，步长为1；第14层为2D卷积层，输入125个大小为8*8*256的特征图，输出为125个大小8*8*512的特征图，卷积核大小为3*3，步长为1；第15层为2D卷积层，输入125个大小为8*8*256的特征图，输出为125个大小8*8*512的特征图，卷积核大小为3*3，步长为1；第16层为2D池化层，输入125个大小为8*8*512的特征图，输出为125个大小为4*4*512的特征图，卷积核大小为2*2，步长为2；第17层为2D卷积层，输入125个大小为4*4*512的特征图，输出为125个大小4*4*512的特征图，卷积核大小为3*3，步长为1；第18层为2D卷积层，输入125个大小为4*4*512的特征图，输出为125个大小4*4*512的特征图，卷积核大小为3*3，步长为1；第19层为2D卷积层，输入125个大小为4*4*512的特征图，输出为125个大小4*4*512的特征图，卷积核大小为3*3，步长为1；第20层为2D卷积层，输入125个大小为4*4*512的特征图，输出为125个大小4*4*512的特征图即为感知特征提取网络提取到的感知特征，卷积核大小为3*3，步长为1；所有2D卷积层均使用’SAME’填充方式，激活函数为ReLU函数；所有2D池化层均使用’VALID’填充方式。
传统的卷积神经网络(CNN)通常采用高噪图像与低噪图像的像素间的均方误差(MSE)作为损失函数，通过最小化损失函数来实现降噪的过程。这样做的好处在于可以获得明显的降噪效果。但是代价就是很容易造成过度去噪，丢失掉图像的某些关键细节，因此难以满足临床的需要。本专利所采用的生成对抗网络(GAN)利用的是沃瑟斯坦距离(Wasserstein Distance)作为损失函数。沃瑟斯坦距离可以衡量两个概率分布之间的差异。利用生成对抗网络实现图像降噪时，我们视高噪图像与低噪图像为两种不同的概率密度，降噪的目标就转变为将高噪图想的概率密度转变为低噪图像的概率密度。概率密度层面上的转化是从整体层面出发的，因此同利用均方误差作为损失函数的卷积神经网络相比，利用生成对抗网络生成的图像拥有更好的视觉效果，即整体上更加接近正常剂量的图像。
降噪过程包括：
步骤E：如图5a-5c所示，利用在步骤D中训练好的网络参数来对测试集内的图像进行降噪。
本发明还提供了一种存储介质，其包括存储的程序，其中，所述程序执行上述任意一项所述的降噪方法。
本发明还提供了一种处理器，其用于运行程序，其中，所述程序执行上述任意一项所述的降噪方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.基于生成对抗网络和3D残差编码解码的医学图像降噪方法，其特征在于，步骤包括：
S100、分类收集训练数据并对所述训练数据进行预处理，所述训练数据包括低质量图像和高质量图像；
S200、构建基于生成对抗网络和3D残差编码解码的卷积神经网络，利用扫描时间为75s、尺寸为N*9*64*64*1的低质量图像作为训练输入，扫描时间为150s、尺寸为N*9*64*64*1的高质量图像作为训练标签，对所述网络进行训练，具体包括：
S210、设置生成对抗网络各部参数，包括：将生成器设置为包括4个3D卷积层、3个2D卷积层和4个2D反卷积层，将鉴别器设置为包括6个2D卷积层和2个全连接层，将感知特征提取网络设置为包括16个2D卷积层和4个2D池化层；
S220、将预处理后的低质量图像作为网络的训练输入、高质量图像作为网络训练标签，对模型进行训练；
S300、利用训练后的卷积神经网络对高噪图像降噪，得到高质量图像。
2.根据权利要求1所述的基于生成对抗网络和3D残差编码解码的医学图像降噪方法，其特征在于，步骤S100所述预处理包括：
S110、对收集的分类数据进行格式转化，便于后续直接处理；
S120、对可处理的分类数据进行扩充，所述扩充包括：对数据进行随机水平翻转、随机像素平移、随机旋转和裁剪。
3.一种存储介质，其包括存储的程序，其特征在于，所述程序执行权利要求1-2中任意一项所述的降噪方法。
4.一种处理器，其用于运行程序，其特征在于，所述程序执行权利要求1-2中任意一项所述的降噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910596650.XA CN110298804A (zh) | 2019-07-01 | 2019-07-01 | 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910596650.XA CN110298804A (zh) | 2019-07-01 | 2019-07-01 | 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110298804A true CN110298804A (zh) | 2019-10-01 |
Family
ID=68030161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910596650.XA Pending CN110298804A (zh) | 2019-07-01 | 2019-07-01 | 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110298804A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476726A (zh) * | 2020-03-25 | 2020-07-31 | 清华大学 | 基于对抗神经网络的无监督双光子钙成像去噪方法及装置 |
| CN111489404A (zh) * | 2020-03-20 | 2020-08-04 | 深圳先进技术研究院 | 一种图像重建方法、图像处理装置及具有存储功能的装置 |
| CN111666813A (zh) * | 2020-04-29 | 2020-09-15 | 浙江工业大学 | 一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 |
| CN112819914A (zh) * | 2021-02-05 | 2021-05-18 | 北京航空航天大学 | 一种pet图像处理方法 |
| CN113298807A (zh) * | 2021-06-22 | 2021-08-24 | 北京航空航天大学 | 一种计算机断层扫描图像处理方法及装置 |
| WO2021184389A1 (zh) * | 2020-03-20 | 2021-09-23 | 深圳先进技术研究院 | 一种图像重建方法、图像处理装置及具有存储功能的装置 |
| WO2022120758A1 (zh) * | 2020-12-10 | 2022-06-16 | 深圳先进技术研究院 | 一种医学图像降噪方法、系统、终端以及存储介质 |
| US11540798B2 (en) | 2019-08-30 | 2023-01-03 | The Research Foundation For The State University Of New York | Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising |
| CN116071270A (zh) * | 2023-03-06 | 2023-05-05 | 南昌大学 | 基于可变形卷积生成对抗网络的电子数据生成方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
| CN109345441A (zh) * | 2018-10-19 | 2019-02-15 | 上海唯识律简信息科技有限公司 | 一种基于生成对抗网络的图像去水印方法和系统 |
| WO2019090213A1 (en) * | 2017-11-03 | 2019-05-09 | Siemens Aktiengesellschaft | Segmenting and denoising depth images for recognition applications using generative adversarial neural networks |
| CN109859147A (zh) * | 2019-03-01 | 2019-06-07 | 武汉大学 | 一种基于生成对抗网络噪声建模的真实图像去噪方法 |
-
2019
- 2019-07-01 CN CN201910596650.XA patent/CN110298804A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019090213A1 (en) * | 2017-11-03 | 2019-05-09 | Siemens Aktiengesellschaft | Segmenting and denoising depth images for recognition applications using generative adversarial neural networks |
| CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
| CN109345441A (zh) * | 2018-10-19 | 2019-02-15 | 上海唯识律简信息科技有限公司 | 一种基于生成对抗网络的图像去水印方法和系统 |
| CN109859147A (zh) * | 2019-03-01 | 2019-06-07 | 武汉大学 | 一种基于生成对抗网络噪声建模的真实图像去噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| RAN MAOSONG ET AL.: "Denoising of 3D magnetic resonance images using a residual encoder–decoder Wasserstein generative adversarial network", 《MEDICAL IMAGE ANALYSIS》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11540798B2 (en) | 2019-08-30 | 2023-01-03 | The Research Foundation For The State University Of New York | Dilated convolutional neural network system and method for positron emission tomography (PET) image denoising |
| CN111489404A (zh) * | 2020-03-20 | 2020-08-04 | 深圳先进技术研究院 | 一种图像重建方法、图像处理装置及具有存储功能的装置 |
| WO2021184389A1 (zh) * | 2020-03-20 | 2021-09-23 | 深圳先进技术研究院 | 一种图像重建方法、图像处理装置及具有存储功能的装置 |
| CN111489404B (zh) * | 2020-03-20 | 2023-09-05 | 深圳先进技术研究院 | 一种图像重建方法、图像处理装置及具有存储功能的装置 |
| CN111476726A (zh) * | 2020-03-25 | 2020-07-31 | 清华大学 | 基于对抗神经网络的无监督双光子钙成像去噪方法及装置 |
| CN111666813A (zh) * | 2020-04-29 | 2020-09-15 | 浙江工业大学 | 一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 |
| CN111666813B (zh) * | 2020-04-29 | 2023-06-30 | 浙江工业大学 | 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法 |
| WO2022120758A1 (zh) * | 2020-12-10 | 2022-06-16 | 深圳先进技术研究院 | 一种医学图像降噪方法、系统、终端以及存储介质 |
| CN112819914A (zh) * | 2021-02-05 | 2021-05-18 | 北京航空航天大学 | 一种pet图像处理方法 |
| CN113298807A (zh) * | 2021-06-22 | 2021-08-24 | 北京航空航天大学 | 一种计算机断层扫描图像处理方法及装置 |
| CN116071270A (zh) * | 2023-03-06 | 2023-05-05 | 南昌大学 | 基于可变形卷积生成对抗网络的电子数据生成方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110298804A (zh) | 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 | |
| US11308587B2 (en) | Learning method of generative adversarial network with multiple generators for image denoising | |
| CN109598722B (zh) | 基于递归神经网络的图像分析方法 | |
| CN108257134A (zh) | 基于深度学习的鼻咽癌病灶自动分割方法和系统 | |
| CN103679801B (zh) | 一种基于多视角x光片的心血管三维重建方法 | |
| CN103501699B (zh) | 用于隔离成像数据中的潜在异常的方法和装置和其对医学图像的应用 | |
| CN107622492A (zh) | 肺裂分割方法及系统 | |
| CN107545584A (zh) | 医学图像中定位感兴趣区域的方法、装置及其系统 | |
| CN110443867A (zh) | 基于生成对抗网络的ct图像超分辨率重构方法 | |
| CN102024251B (zh) | 用于双源ct的基于多图像虚拟非对比图像增强的系统和方法 | |
| CN103679706B (zh) | 一种基于图像各向异性边缘检测的ct稀疏角度重建方法 | |
| CN110310244A (zh) | 一种基于残差编码解码的医学图像降噪方法 | |
| Rossi et al. | Image‐based shading correction for narrow‐FOV truncated pelvic CBCT with deep convolutional neural networks and transfer learning | |
| CN110335217A (zh) | 一种基于3d残差编码解码的医学图像降噪方法 | |
| CN105976412B (zh) | 一种基于离线字典稀疏正则化的低管电流强度扫描的ct图像重建方法 | |
| CN110264428A (zh) | 一种基于3d卷积反卷积和生成对抗网络的医学图像降噪方法 | |
| Du et al. | Deep-learning-based metal artefact reduction with unsupervised domain adaptation regularization for practical CT images | |
| WO2023125683A1 (en) | Systems and methods for image reconstruction | |
| Torrents-Barrena et al. | TTTS-STgan: stacked generative adversarial networks for TTTS fetal surgery planning based on 3D ultrasound | |
| CN110335327A (zh) | 一种直接解决逆问题的医学图像重建方法 | |
| Li et al. | Quad-Net: Quad-domain network for CT metal artifact reduction | |
| EP4330862A1 (en) | System and method for medical imaging | |
| Wu et al. | Head CT Image Segmentation and Three‐Dimensional Reconstruction Technology Based on Human Anatomy | |
| Bera et al. | Axial consistent memory GAN with interslice consistency loss for low dose computed tomography image denoising | |
| CN103892848B (zh) | 乳腺x光图像的钙化点检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191001 |