CN110390650A - 基于密集连接和生成对抗网络的oct图像去噪方法 - Google Patents
基于密集连接和生成对抗网络的oct图像去噪方法 Download PDFInfo
- Publication number
- CN110390650A CN110390650A CN201910665387.5A CN201910665387A CN110390650A CN 110390650 A CN110390650 A CN 110390650A CN 201910665387 A CN201910665387 A CN 201910665387A CN 110390650 A CN110390650 A CN 110390650A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- model
- intensive
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 17
- 239000002131 composite material Substances 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 210000001525 retina Anatomy 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 2
- 238000002203 pretreatment Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000004064 recycling Methods 0.000 abstract description 2
- 238000012014 optical coherence tomography Methods 0.000 description 38
- 238000011156 evaluation Methods 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 208000010412 Glaucoma Diseases 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 206010064930 age-related macular degeneration Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 210000005081 epithelial layer Anatomy 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000002189 macula lutea Anatomy 0.000 description 2
- 208000002780 macular degeneration Diseases 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 206010012688 Diabetic retinal oedema Diseases 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000007323 disproportionation reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于密集连接和生成对抗网络的OCT图像去噪方法,属于图像修复技术领域,本发明根据噪声随机性的特征,采用多帧配准方式合成参考图像,从而使网络可以学习噪声图像到参考图像之间的映射关系;合成噪声的步骤可以有效的扩充散斑噪声的多样性,合成新的样本数据;利用网络的多尺度特征进行密集融合,以较少的参数增强有效特征的重复利用和传递;采用对抗生成网络的方式保证图像的整体感知质量;训练完成的生成式模型可以直接处理任何分辨率的噪声OCT图像,有较高的速度和性能,在临床中有较高的使用价值。
Description
技术领域
本发明属于图像修复技术领域,具体涉及一种基于密集连接和生成对抗网络的OCT图像去噪方法。
背景技术
光学相干断层成像(Optical Coherence Tomography,OCT)是一种非入侵式的、可再生的、3D的眼底组织成像技术,在眼科上有很多应用,对眼睛组织的OCT图像进行定量的分析,有助于医生对青光眼、年龄性黄斑病变、糖尿病视网膜水肿等眼科疾病的诊断。OCT是一种高分辨率的成像技术,易受客观采集环境影响,且成像光束受到眼内组织的多次散射和相干叠加,形成散斑噪声,在OCT图像中是一种常见现象。散斑噪声的几个特性使得其去除的过程具有挑战性。不同于普通的加性噪声,散斑噪声被认为是乘性噪声,利用统计学模型对噪声分布进行估计有一定困难;其次,对眼睛的不同组织成像时,散斑噪声的强度也会有所不同;第三,散斑噪声不仅大量出现在背景中,还会存在于视网膜层次结构中,降低OCT图像的清晰度,易覆盖重要的临床信息,不利于医疗诊断。
另一方面,由于视网膜中某些有用信息的强度和特征类似于散斑噪声,大部分滤波器模型或者统计学模型在去噪的过程中,可能会造成有用信息的丢失,降低图像的清晰度。同时,在实际的临床应用中,作为对采集图像的后处理步骤,去噪算法必须有即时性和高效性,提升图像效果时不能影响医生的诊断效率。作为对其他相关OCT算法的预处理方法,若待处理的数据集较大,去噪所耗费的时间不能太长。针对上述提出的问题,目前已有的效果较好、较为通用的算法,并不能在去噪和细节保护中达到一个很好的平衡,并且很难在极短的时间内处理大量图像。因此,OCT去噪有助于医生的临床诊断,且如何设计一个高效、即时的去噪算法仍然是一个值得研究的问题。
目前,去除OCT图像噪声的方法主要分为图像采集期间硬件的去噪方法和后处理去噪方法。基于硬件的去噪方法包括空间、角度平均等,这些方法需要在OCT采集设备上作出一定的改进,并且不可避免的增加了采集时间和成本。后处理方法更灵活、易实现,是目前研究较多的方法,主要分为两大块,传统非学习的去噪方法和基于深度学习的去噪方法。
早期的非学习的后处理方法使用平滑滤波器来减少OCT图像中的散斑噪声,例如简单的均值滤波器和中值滤波器,自适应维纳滤波器,复合扩散去噪滤波器等。基于小波变换的方法也是减少噪声的有效手段。这些滤波方法虽然在一定程度上减弱了散斑噪声,但会造成图像重要细节信息丢失。
近年来,基于Generative Adversarial Networks(GAN)的深度学习建模方法,在图像领域表现出超前的性能。GAN由生成模型和判别模型组成,两种模型之间有趣的对抗训练赋予了生成模型一定的“想象”能力,使其可以输出更加逼真的图像。在图像修复问题中,超分辨生成对抗网络被证明在自然图像超分辨率领域达到了最好的性能,利用对抗损失和pixel-wise的损失函数,在4倍下采样的情况下恢复出很好的纹理细节。以超分辨生成对抗网络为基础的网络在MRI领域也有应用,可以对MRI图像进行高清晰度的分辨率增强,并且保留真实的细节信息。虽然超分辨率、去混叠和去噪问题都是尽可能还原图像的细节信息,但是这些任务的目标不同,不同种类的训练图像之间有很大的差异性,针对OCT图像的去噪问题,效果不佳。虽然在自然图像和其他医学领域中,基于对抗网络的深度学习,在图像修复问题上有研究和应用,但是目前没有任何基于深度学习的去噪方法应用在OCT领域中。
发明内容
本发明的目的在于提供一种具有即时性、高效性的基于密集连接和生成对抗网络的OCT图像去噪方法。
为了达到上述目的,本发明提供以下技术方案:
基于密集连接和生成对抗网络的OCT图像去噪方法,包括以下步骤:
S1.重复采集图像空间上相距很近的B扫描OCT图像,以某一单帧噪声图像为目标配准多帧图像,合成为平均图像,根据视网膜上下边界的像素强度,阈值化平均图像的背景区域,获得无噪声图像,并将所述无噪声图像作为参考图像;
S2.根据原始噪声图像的灰度概率分布,利用噪声模型提取噪声的特征,生成与真实噪声非常接近的噪声图像,并添加至参考图像中;
S3.训练基于密集连接和对抗生成策略的降噪网络,隐式的学习噪声图像和参考图像之间的映射关系;
S4.利用已训练好的生成网络对带有噪声的OCT图像进行预测,即可得到具有高质量和高清晰度的图像。
为了避免OCT采集的过程中易受客观采集环境影响,产生较为随机的散斑噪声,在每一帧中都会有明显差异的现象,所述步骤S1中,具体为:
通过重复采集多帧图像空间上相距很近的B扫描OCT图像,并利用多尺度的特征金字塔和插值模型,以某一帧图像为模板进行特征匹配和多帧对齐,平均后即可得到参考图像,根据有效区域的像素值,对参考图像的背景区域进行阈值化,去除残留噪声,得到无噪声图像。
为了进一步增强噪声的多样性,所述步骤S2中,具体为:
根据原始噪声的大小和强度概率分布生成随机矩阵,再利用低通高斯滤波器和多尺度平均池化运算对该矩阵进行平滑处理,既提高了合成噪声的随机性,又保证了和原始噪声的相似性;将合成的噪声图像添加至参考图像中,可以产生新的数据样本;将数据集进行切块操作,组成训练集。
优选的方案,所述步骤S3中,采用生成对抗网络GAN作为去噪模型的训练方式,GAN由生成模型和判别模型两部分组成;
所述生成模型的目标是以参考图像为模板,对噪声图像进行去噪和还原;
所述判别模型的目标是判断生成模型生成的图像和参考图像之间的差异;
两种模型共同训练,模型收敛的目标是生成模型生成细节信息足够真实且无噪声的OCT图像,判别模型无法区分参考图像和生成图像的差别。
更优选的方案,所述生成模型通过对多尺度卷积层输出的密集融合,以较少的参数保持了较高性能,该生成模型包含4个密集连接模块,每一个密集连接模块中包含4个卷积层;每一个密集连接模块内的卷积层通过特征合并层将每一个卷积层的输出和前面所有层的输出相连接,密集连接模块之间也是同样的操作,不同的是在每一个特征合并层后加了一个限制模块来融合特征图,减少特征图的数量,使不同的密集连接模块的输入维度相同。
为了进一步提升网络性能,给每一个限制模块后添加了一个上下文编码加权模块,将有利于图像重建的特征图赋予较高权重,相比较而言,不是那么重要的特征图赋予较低权值,使得输入密集模块的特征图更加合理、有侧重性,加强了有用特征的高效传递。
优选的方案,所述步骤S4中,不需要对带噪声图像OCT进行任何预处理步骤,将该OCT图像通过训练好的生成模型进行预测,即可得到高质量和清晰度的图像。
本发明具有以下有益技术效果:
本发明根据噪声随机性的特征,采用多帧配准方式合成参考图像,从而使网络可以学习噪声图像到参考图像之间的映射关系;合成噪声的步骤可以有效的扩充散斑噪声的多样性,合成新的样本数据;利用网络的多尺度特征进行密集融合,以较少的参数增强有效特征的重复利用和传递;采用对抗生成网络的方式保证图像的整体感知质量;训练完成的生成式模型可以直接处理任何分辨率的噪声OCT图像,有较高的速度和性能,在临床中有较高的使用价值。
附图说明
图1是本发明的流程图。
图2是数据预处理流程图。
图3是合成噪声和真实噪声的强度概率分布图。
图4是基于密集连接和生成对抗网络的模型结构示意图。
图5是本方法的预测结果和细节放大图。
图6是分割算法的语义分割结果:利用不同的降噪算法对OCT图像去噪,再使用视网膜分层算法进行分割,得到的语义分割结果和专家标定结果进行对比。(a)为专家标定结果,(b)为原始图像的分割结果,(c)为高斯滤波器去噪后的分割结果,(d)为本方法去噪后的分割结果。
表1是基于空间域、频率域和测试时间的量化指标评价结果。
表2是针对视网膜的不同层次,利用分割算法分割去噪模型预测后的OCT图像,并与专家标定结果进行重叠面积计算。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例一种基于密集连接和生成对抗网络的OCT图像去噪方法,流程图如图1所示,包括以下步骤:
步骤一、数据预处理:
训练网络用到的金标准图像需要较高的质量。眼底不同组织的OCT图像包括视乳头和黄斑图像,视乳头图像包含了黄斑图像没有的组织,例如有利于早期青光眼诊断的筛板结构。
训练数据集获取流程如下:①经过视乳头中心,重复采集图像空间上相距很近的B扫描OCT图像,以某一单帧噪声图像为目标配准多帧图像,合成为平均图像;②根据视网膜上下边界的像素强度,阈值化平均图像背景区域,获得无噪声图像,作为参考图像;③给参考图像添加合成散斑噪声;在噪声图和无噪声训练集图像对应位置提取有重叠的图像块,组成训练集;④使用数据增强方法扩充训练集。预处理示意图如图2所示。具体的流程如下所述:
1)采用B扫描方法,从空间中非常接近的位置重复采集多帧B扫描图像。由于受到散斑散射方向随机性、眼球运动,外界采集环境变化等影响,使单帧图像之间会有一定的差异性,例如对比度不均衡、噪声强度差异等。本发明拟利用这种差异性,采用基于强度的子像素配准的金字塔方法,将所有单帧图像配准后取平均,从而极大地抑制散斑噪声,同时削了由于入射光线衰减造成的对比度和亮度不均衡的影响,更好地保留图像的细节信息。
2)由于平均后的合成图仍然有少量的散斑噪声和游离物质存在于背景区域中,针对这种情况,利用视神经纤维层和脉络膜的像素强度,阈值化背景区域,获得最终的参考图像。
3)对于原始噪声图像,为了增强数据集多样性和模型鲁棒性,并且解决数据量较少的问题,本发明根据散斑噪声的外形和统计学特征,拟定噪声模型,利用噪声模型给参考图像添加符合真实噪声分布的合成散斑噪声。合成噪声的强度概率分布和外观如图3所示。
4)为了进一步提高数据多样性,搭配传统的方法来增强数据,例如图像的水平和竖直方向的翻转、镜像、平移、旋转操作。
步骤二、训练基于密集连接和生成对抗网络的去噪模型:
本发明拟采用生成对抗网络(Generative Adversarial Network,GAN)作为去噪模型的训练方式。GAN由生成模型和判别模型两部分组成。生成模型的目标是以金标准图像为模板,对噪声图像进行去噪和还原;判别模型的目标是判断生成模型生成的图像和无噪声图像之间的差异。两种模型共同训练,模型收敛的目标是生成模型生成细节信息足够真实且无噪声的OCT图像,判别模型无法区分无噪声图像和生成图像的差别。
1)模型的设计
模型的结构示意图如图4所示。对于生成模型来说,去噪生成器通过对卷积层输出的密集融合,以较少的参数保持了较高性能。本发明拟提出的多密集连接模块级联的生成模型,包含4个密集连接模块,每一个密集连接模块中包含4个卷积层。每一个密集连接模块内的卷积层通过特征合并层将每一个卷积层的输出和前面所有层的输出相连接。密集连接模块之间也是同样的操作,不同的是在每一个特征合并层后加了一个限制模块来融合特征图,减少特征图的数量,使不同的密集连接模块的输入维度相同。为了进一步提升网络性能,给每一个限制模块后添加了一个上下文编码加权模块,将有利于图像重建的特征图赋予较高权重,相比较而言,不是那么重要的特征图赋予较低权值,使得输入密集连接模块的特征图更加合理、有侧重性,加强了重要特征的传递。另一方面,判别模型使用了标准的卷积模型,其包含8个卷积层。本发明拟采用的网络模型示意图如图3所示,多密集连接模块级联的生成模型中CE Block为上下文编码加权模块的简写。
2)损失函数的设计
为了提升重建图像的感知质量,为生成模型设计了感知损失和内容损失。内容损失包括两个部分,基于图像空间域的绝对误差损失L1spatial,基于图像频率域的绝对误差损失L2frequency,两种损失可以表示为:
H和W表示图像的高和宽,x和y表示像素点的坐标,I和f分别表示目标无噪声图像块和生成图像块的空间域和频率域。另一方面,感知损失来自于判别模型提供的判别损失lossadv,利用JS散度来衡量数据分布之间的差异性,可以表示为:
xHR为噪声图像块。总体的损失函数可以表述为:
loss=αlossspatial+βlossfrequency+γlossadv (4)
α,β,和γ为加权系数,用于平衡三种不同损失的大小。在本发明中,上述三种损失的加权和作为训练网络的损失函数。之前研究都认为噪声处于图像的高频区域,比较突兀、不连贯,不包含有用信息,在图像的频率域中噪声普遍位于非中心区域。基于该思想,本发明改善了损失函数,添加了频率域损失,计算无噪声图像和生成图像之间频率域的差异性,作为lossspatial损失的附加约束。若仅仅使用内容损失函数,会使去噪后的图像出现感知上的不平滑,通常缺乏连贯的细节。故通过GAN的对抗训练,添加基于感知的对抗损失,从流形空间的角度上增加感知相似性。
步骤三、模型的测试阶段:
在模型的测试阶段,只需要将生成模型单独取出进行测试。由于该去噪模型没有涉及图像分辨率的上下采样,所以可以直接处理任何分辨率的OCT图像,无需进行任何预处理操作。
下面结合具体实施例和附图对本发明进行详细的说明:
实施例1
1)生成模型的去噪效果
该模型的去噪效果如图5所示,和参考图像进行对比,可以看出该模型可较好的去除噪声,并且尽可能保留视网膜层次的边界信息,使得图像有较高的清晰度和质量。使用峰值信噪比、结构相似性作为整张图像的评价指标,即可以计算预测图像和参考图像在空间域上的相似性。峰值信噪比和结构相似性是较为传统的评价指标,我们进一步根据噪声在频率域上的特征,根据公式(2)使用频率域绝对误差作为评价指标,在频率域上计算预测图像和参考图像的相似性。另一方面,由于OCT图像有较多的面积为背景区域,所以选择感兴趣区域(视网膜两侧和筛板区域)和背景区域计算对比信噪比,即可得到该区域相比较于背景区域的噪声水平,可以表示为:
μ和σ分别为感兴趣区域的方差和标准差,而R和B分别为感兴趣区域和背景区域。量化的评价结果如表1所示。结果表明,该方法可以有效的提升图像的整体质量,不仅能去除背景中和组织结构中的噪声,而且能保护有效整体的细节信息。模型的处理速度较快,具有较好的实际应用价值。
表1量化指标评价结果
2)对视网膜分层算法的提升
眼科OCT一个重要病理检测方法是根据视网膜的分层信息,检测某些眼科疾病,例如青光眼、年龄性黄斑病变、视网膜下水肿、色素上皮层脱落等。这些疾病都会影响某些视网膜的结构,例如视神经纤维层、色素上皮层等层次的厚度。为了验证该模型在临床实际应用上有一定的可行性,可作为一种优秀的预处理方法,将已训练好的多密集连接模块级联的生成模型参数取出,对OCT图像进行去噪,并选择易受噪声影响的图搜索分层算法作为测试。该算法利用视网膜的灰度梯度信息,结合图搜索策略寻找最短路径,为眼科OCT图像进行自动分割。但该类分割方法比较容易受到噪声的影响,导致分层不准确。所以在黄斑区域的OCT图像上,用不同的预处理方法,分别进行了视网膜分层的测试。眼科医生根据其临床经验对噪声图像进行层次标定,如图6(a)所示。不使用任何去噪方法的分层结果,如图6(b)所示。默认情况下,该分层算法使用高斯去噪滤波器作为预处理,如图6(c)所示。将高斯滤波器用本去噪方法进行取代,如图6(d)所示。由图6(b)可以看出,原始噪声图像对于分层算法影响较大,视网膜层次的边界出现较小的抖动。由图6(c)可以观察到,虽然该方法有效的缓解了由噪声带来的小扰动,轻微的平滑了层次的边界,但同时也造成了有效信息的缺失,导致层次的边界仍然有不符合真实情况的上下抖动。和专家的标定结果相比,图6(d)的层次有最好的平滑度,模型消除了由于噪声造成的伪影和错误边界,在去噪和细节保护上实现了最好的平衡。为了量化评价预测图像和专家标定数据之间的重叠面积,采用Dice系数作为评价指标,定义如下所示:
在视网膜的Ω区域中,px和gx分别为预测结果和标定结果,x为正样本点。该评价指标为不同的视网膜层次计算和标定图像之间的重叠面积,该值越接近1表示和专家的标定结果更加接近。量化的评价结果如表2所示。结果证明,虽然Gauss滤波器缓解了有些层次的抖动,使Dice系数有较小的上升,但对于边界不那么明显的层次,例如视网膜神经纤维层和神经节细胞层-内网状层,滤波器会模糊边界信息,导致分层算法找不到合理的路径,相比于原始噪声图像的分割结果,Dice系数会略微下降。本发明提出的模型可以有效的去噪的同时,保护图像内的细节信息,实现了较高的Dice系数,在实际应用上具有可行的潜力。
表2不同层的Dice系数
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.基于密集连接和生成对抗网络的OCT图像去噪方法,其特征在于,包括以下步骤:
S1.重复采集图像空间上相距很近的B扫描OCT图像,以某一单帧噪声图像为目标配准多帧图像,合成为平均图像,根据视网膜上下边界的像素强度,阈值化平均图像的背景区域,获得无噪声图像,并将所述无噪声图像作为参考图像;
S2.根据原始噪声图像的灰度概率分布,利用噪声模型提取噪声的特征,生成与真实噪声非常接近的噪声图像,并添加至参考图像中;
S3.训练基于密集连接和对抗生成策略的降噪网络,隐式的学习噪声图像和参考图像之间的映射关系;
S4.利用已训练好的生成网络对带有噪声的OCT图像进行预测,即可得到具有高质量和高清晰度的图像。
2.根据权利要求1所述的基于密集连接和生成对抗网络的OCT图像去噪方法,其特征在于,所述步骤S1中,具体为:
通过重复采集多帧图像空间上相距很近的B扫描OCT图像,并利用多尺度的特征金字塔和插值模型,以某一帧图像为模板进行特征匹配和多帧对齐,平均后即可得到参考图像,根据有效区域的像素值,对参考图像的背景区域进行阈值化,去除残留噪声,得到无噪声图像。
3.根据权利要求1所述的基于密集连接和生成对抗网络的OCT图像去噪方法,其特征在于,所述步骤S2中,具体为:
根据原始噪声的大小和强度概率分布生成随机矩阵,再利用低通高斯滤波器和多尺度平均池化运算对该矩阵进行平滑处理,既提高了合成噪声的随机性,又保证了和原始噪声的相似性;将合成的噪声图像添加至参考图像中,可以产生新的数据样本;将数据集进行切块操作,组成训练集。
4.根据权利要求1所述的基于密集连接和生成对抗网络的OCT图像去噪方法,其特征在于,所述步骤S3中,采用生成对抗网络GAN作为去噪模型的训练方式,GAN由生成模型和判别模型两部分组成;
所述生成模型的目标是以参考图像为模板,对噪声图像进行去噪和还原;
所述判别模型的目标是判断生成模型生成的图像和参考图像之间的差异;
两种模型共同训练,模型收敛的目标是生成模型生成细节信息足够真实且无噪声的OCT图像,判别模型无法区分参考图像和生成图像的差别。
5.根据权利要求4所述的基于密集连接和生成对抗网络的OCT图像去噪方法,其特征在于,所述生成模型通过对多尺度卷积层输出的密集融合,以较少的参数保持了较高性能,该生成模型包含4个密集连接模块,每一个密集连接模块中包含4个卷积层;每一个密集连接模块内的卷积层通过特征合并层将每一个卷积层的输出和前面所有层的输出相连接,密集连接模块之间也是同样的操作,不同的是在每一个特征合并层后加了一个限制模块来融合特征图,减少特征图的数量,使不同的密集连接模块的输入维度相同。
6.根据权利要求5所述的基于密集连接和生成对抗网络的OCT图像去噪方法,其特征在于,给每一个限制模块后添加了一个上下文编码加权模块,将有利于图像重建的特征图赋予较高权重,相比较而言,不是那么重要的特征图赋予较低权值,使得输入密集模块的特征图更加合理、有侧重性,加强了有用特征的高效传递。
7.根据权利要求1所述的基于密集连接和生成对抗网络的OCT图像去噪方法,其特征在于,所述步骤S4中,不需要对带噪声图像OCT进行任何预处理步骤,将该OCT图像通过训练好的生成模型进行预测,即可得到高质量和清晰度的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910665387.5A CN110390650B (zh) | 2019-07-23 | 2019-07-23 | 基于密集连接和生成对抗网络的oct图像去噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910665387.5A CN110390650B (zh) | 2019-07-23 | 2019-07-23 | 基于密集连接和生成对抗网络的oct图像去噪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110390650A true CN110390650A (zh) | 2019-10-29 |
CN110390650B CN110390650B (zh) | 2022-02-11 |
Family
ID=68287066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910665387.5A Active CN110390650B (zh) | 2019-07-23 | 2019-07-23 | 基于密集连接和生成对抗网络的oct图像去噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110390650B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110782414A (zh) * | 2019-10-30 | 2020-02-11 | 福州大学 | 一种基于密集连接卷积的暗光图像去噪方法 |
CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
CN111340088A (zh) * | 2020-02-21 | 2020-06-26 | 苏州工业园区服务外包职业学院 | 图像特征训练方法、模型、装置和计算机存储介质 |
CN111598184A (zh) * | 2020-05-25 | 2020-08-28 | 海南大学 | 一种基于DenseNet的图像噪声识别方法和装置 |
CN112200789A (zh) * | 2020-10-16 | 2021-01-08 | 中国铁道科学研究院集团有限公司 | 一种图像识别的方法及装置、电子设备和存储介质 |
CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
CN112419196A (zh) * | 2020-11-26 | 2021-02-26 | 武汉大学 | 一种基于深度学习的无人机遥感影像阴影去除方法 |
CN112509001A (zh) * | 2020-11-24 | 2021-03-16 | 河南工业大学 | 一种多尺度和多特征融合的特征金字塔网络盲复原方法 |
CN112513936A (zh) * | 2019-11-29 | 2021-03-16 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置及存储介质 |
CN113034390A (zh) * | 2021-03-17 | 2021-06-25 | 复旦大学 | 一种基于小波先验注意力的图像修复方法及系统 |
CN113191960A (zh) * | 2021-03-18 | 2021-07-30 | 北京理工大学 | 光学相干层析图像去噪模型训练方法、去噪方法及装置 |
CN113191480A (zh) * | 2020-01-14 | 2021-07-30 | 北京地平线机器人技术研发有限公司 | 一种用于神经网络的池化方法及装置 |
CN113362258A (zh) * | 2021-07-08 | 2021-09-07 | 南方科技大学 | 白内障患者眼底彩照图像去噪方法、装置、设备及介质 |
CN113379638A (zh) * | 2021-06-23 | 2021-09-10 | 西安理工大学 | 基于小波变换和间隔密集网络的sar图像去斑方法 |
CN114092464A (zh) * | 2021-11-29 | 2022-02-25 | 唯智医疗科技(佛山)有限公司 | Oct图像的处理方法及装置 |
CN114331890A (zh) * | 2021-12-27 | 2022-04-12 | 中南大学 | 基于深度学习的探地雷达B-scan图像特征增强方法及系统 |
CN114943786A (zh) * | 2022-06-20 | 2022-08-26 | 南开大学 | 一种光学相干层析图像饱和伪影的图像修复方法 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102368821A (zh) * | 2011-10-20 | 2012-03-07 | 浙江工商大学 | 一种噪声强度自适应的视频去噪方法和系统 |
CN102800064A (zh) * | 2012-07-12 | 2012-11-28 | 南京航空航天大学 | 基于自适应双边滤波的oct图像散斑噪声减小算法 |
CN105243649A (zh) * | 2015-11-09 | 2016-01-13 | 天津大学 | 基于二次噪点检测的图像降噪方法 |
CN105404857A (zh) * | 2015-11-04 | 2016-03-16 | 北京联合大学 | 一种基于红外的夜间智能车前方行人检测方法 |
US20170365038A1 (en) * | 2016-06-16 | 2017-12-21 | Facebook, Inc. | Producing Higher-Quality Samples Of Natural Images |
CN108520199A (zh) * | 2018-03-04 | 2018-09-11 | 天津大学 | 基于雷达图像与生成对抗模型的人体动作开集识别方法 |
CN108765512A (zh) * | 2018-05-30 | 2018-11-06 | 清华大学深圳研究生院 | 一种基于多层级特征的对抗图像生成方法 |
CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
CN108961261A (zh) * | 2018-03-14 | 2018-12-07 | 中南大学 | 一种基于空间连续性约束的视盘区域oct图像层次分割方法 |
CN109345469A (zh) * | 2018-09-07 | 2019-02-15 | 苏州大学 | 一种基于条件生成对抗网络的oct成像中散斑去噪方法 |
US10275473B2 (en) * | 2017-04-27 | 2019-04-30 | Sk Telecom Co., Ltd. | Method for learning cross-domain relations based on generative adversarial networks |
CN109816610A (zh) * | 2019-01-31 | 2019-05-28 | 上海工程技术大学 | 一种图像去雾系统 |
CN109887047A (zh) * | 2018-12-28 | 2019-06-14 | 浙江工业大学 | 一种基于生成式对抗网络的信号-图像翻译方法 |
CN109961444A (zh) * | 2019-03-01 | 2019-07-02 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及电子设备 |
CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
-
2019
- 2019-07-23 CN CN201910665387.5A patent/CN110390650B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102368821A (zh) * | 2011-10-20 | 2012-03-07 | 浙江工商大学 | 一种噪声强度自适应的视频去噪方法和系统 |
CN102800064A (zh) * | 2012-07-12 | 2012-11-28 | 南京航空航天大学 | 基于自适应双边滤波的oct图像散斑噪声减小算法 |
CN105404857A (zh) * | 2015-11-04 | 2016-03-16 | 北京联合大学 | 一种基于红外的夜间智能车前方行人检测方法 |
CN105243649A (zh) * | 2015-11-09 | 2016-01-13 | 天津大学 | 基于二次噪点检测的图像降噪方法 |
US20170365038A1 (en) * | 2016-06-16 | 2017-12-21 | Facebook, Inc. | Producing Higher-Quality Samples Of Natural Images |
US10275473B2 (en) * | 2017-04-27 | 2019-04-30 | Sk Telecom Co., Ltd. | Method for learning cross-domain relations based on generative adversarial networks |
CN108520199A (zh) * | 2018-03-04 | 2018-09-11 | 天津大学 | 基于雷达图像与生成对抗模型的人体动作开集识别方法 |
CN108961261A (zh) * | 2018-03-14 | 2018-12-07 | 中南大学 | 一种基于空间连续性约束的视盘区域oct图像层次分割方法 |
CN108765319A (zh) * | 2018-05-09 | 2018-11-06 | 大连理工大学 | 一种基于生成对抗网络的图像去噪方法 |
CN108765512A (zh) * | 2018-05-30 | 2018-11-06 | 清华大学深圳研究生院 | 一种基于多层级特征的对抗图像生成方法 |
CN109345469A (zh) * | 2018-09-07 | 2019-02-15 | 苏州大学 | 一种基于条件生成对抗网络的oct成像中散斑去噪方法 |
CN109887047A (zh) * | 2018-12-28 | 2019-06-14 | 浙江工业大学 | 一种基于生成式对抗网络的信号-图像翻译方法 |
CN109816610A (zh) * | 2019-01-31 | 2019-05-28 | 上海工程技术大学 | 一种图像去雾系统 |
CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
CN109961444A (zh) * | 2019-03-01 | 2019-07-02 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置及电子设备 |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110782414A (zh) * | 2019-10-30 | 2020-02-11 | 福州大学 | 一种基于密集连接卷积的暗光图像去噪方法 |
CN112513936A (zh) * | 2019-11-29 | 2021-03-16 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置及存储介质 |
WO2021102913A1 (zh) * | 2019-11-29 | 2021-06-03 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置及存储介质 |
CN113191480A (zh) * | 2020-01-14 | 2021-07-30 | 北京地平线机器人技术研发有限公司 | 一种用于神经网络的池化方法及装置 |
CN113191480B (zh) * | 2020-01-14 | 2024-08-06 | 北京地平线机器人技术研发有限公司 | 一种用于神经网络的池化方法及装置 |
CN111275643A (zh) * | 2020-01-20 | 2020-06-12 | 西南科技大学 | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 |
CN111340088A (zh) * | 2020-02-21 | 2020-06-26 | 苏州工业园区服务外包职业学院 | 图像特征训练方法、模型、装置和计算机存储介质 |
CN111598184A (zh) * | 2020-05-25 | 2020-08-28 | 海南大学 | 一种基于DenseNet的图像噪声识别方法和装置 |
CN111598184B (zh) * | 2020-05-25 | 2023-04-18 | 海南大学 | 一种基于DenseNet的图像噪声识别方法和装置 |
CN112200789B (zh) * | 2020-10-16 | 2023-11-21 | 中国铁道科学研究院集团有限公司 | 一种图像识别的方法及装置、电子设备和存储介质 |
CN112200789A (zh) * | 2020-10-16 | 2021-01-08 | 中国铁道科学研究院集团有限公司 | 一种图像识别的方法及装置、电子设备和存储介质 |
CN112233038B (zh) * | 2020-10-23 | 2021-06-01 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
CN112509001A (zh) * | 2020-11-24 | 2021-03-16 | 河南工业大学 | 一种多尺度和多特征融合的特征金字塔网络盲复原方法 |
CN112419196B (zh) * | 2020-11-26 | 2022-04-26 | 武汉大学 | 一种基于深度学习的无人机遥感影像阴影去除方法 |
CN112419196A (zh) * | 2020-11-26 | 2021-02-26 | 武汉大学 | 一种基于深度学习的无人机遥感影像阴影去除方法 |
CN113034390B (zh) * | 2021-03-17 | 2022-10-18 | 复旦大学 | 一种基于小波先验注意力的图像修复方法及系统 |
CN113034390A (zh) * | 2021-03-17 | 2021-06-25 | 复旦大学 | 一种基于小波先验注意力的图像修复方法及系统 |
CN113191960A (zh) * | 2021-03-18 | 2021-07-30 | 北京理工大学 | 光学相干层析图像去噪模型训练方法、去噪方法及装置 |
CN113379638A (zh) * | 2021-06-23 | 2021-09-10 | 西安理工大学 | 基于小波变换和间隔密集网络的sar图像去斑方法 |
CN113362258A (zh) * | 2021-07-08 | 2021-09-07 | 南方科技大学 | 白内障患者眼底彩照图像去噪方法、装置、设备及介质 |
CN113362258B (zh) * | 2021-07-08 | 2022-10-21 | 南方科技大学 | 白内障患者眼底彩照图像去噪方法、装置、设备及介质 |
CN114092464A (zh) * | 2021-11-29 | 2022-02-25 | 唯智医疗科技(佛山)有限公司 | Oct图像的处理方法及装置 |
CN114092464B (zh) * | 2021-11-29 | 2024-06-07 | 唯智医疗科技(佛山)有限公司 | Oct图像的处理方法及装置 |
CN114331890A (zh) * | 2021-12-27 | 2022-04-12 | 中南大学 | 基于深度学习的探地雷达B-scan图像特征增强方法及系统 |
CN114943786A (zh) * | 2022-06-20 | 2022-08-26 | 南开大学 | 一种光学相干层析图像饱和伪影的图像修复方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110390650B (zh) | 2022-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110390650A (zh) | 基于密集连接和生成对抗网络的oct图像去噪方法 | |
CN110517235B (zh) | 一种基于GCS-Net进行OCT图像脉络膜自动分割方法 | |
CN109166126A (zh) | 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法 | |
CN109661684B (zh) | 用于现实交互式超声模拟的射线追踪方法 | |
CN109345469B (zh) | 一种基于条件生成对抗网络的oct成像中散斑去噪方法 | |
Wang et al. | Semi-supervised capsule cGAN for speckle noise reduction in retinal OCT images | |
CN108510473A (zh) | 结合深度可分离卷积与通道加权的fcn视网膜图像血管分割 | |
CN108961261B (zh) | 一种基于空间连续性约束的视盘区域oct图像层次分割方法 | |
CN103679801B (zh) | 一种基于多视角x光片的心血管三维重建方法 | |
CN109166124A (zh) | 一种基于连通区域的视网膜血管形态量化方法 | |
CN107330888A (zh) | 基于cta图像的动态心脏各腔室分割方法 | |
CN111292338A (zh) | 一种从眼底oct图像中分割脉络膜新生血管的方法及系统 | |
CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
CN110010229B (zh) | 一种基于生成对抗网络的超声影像模拟方法 | |
Kamran et al. | Attention2angiogan: Synthesizing fluorescein angiography from retinal fundus images using generative adversarial networks | |
CN108618749A (zh) | 基于便携式数字化眼底照相机的视网膜血管三维重建方法 | |
CN107292835A (zh) | 一种眼底图像视网膜血管自动矢量化的方法及装置 | |
CN110298804A (zh) | 一种基于生成对抗网络和3d残差编码解码的医学图像降噪方法 | |
JP2022549669A (ja) | 時空間データに基づき医用画像を解析するシステム及び方法 | |
CN114119474A (zh) | 深度学习自动分割超声图像中人体组织的方法 | |
Alimanov et al. | Retinal image restoration and vessel segmentation using modified cycle-cbam and cbam-unet | |
CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
CN106446805A (zh) | 一种眼底照中视杯的分割方法及系统 | |
CN115205315A (zh) | 一种眼科体征保持的眼底图像增强方法 | |
CN117115452B (zh) | 可控的医学超声图像去噪方法、系统及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |