CN110390650A

CN110390650A - 基于密集连接和生成对抗网络的oct图像去噪方法

Info

Publication number: CN110390650A
Application number: CN201910665387.5A
Authority: CN
Inventors: 陈再良; 曾梓洋; 沈海澜; 郑贤先; 戴培山; 欧阳平波
Original assignee: Central South University
Current assignee: Central South University
Priority date: 2019-07-23
Filing date: 2019-07-23
Publication date: 2019-10-29
Anticipated expiration: 2039-07-23
Also published as: CN110390650B

Abstract

本发明公开了一种基于密集连接和生成对抗网络的OCT图像去噪方法，属于图像修复技术领域，本发明根据噪声随机性的特征，采用多帧配准方式合成参考图像，从而使网络可以学习噪声图像到参考图像之间的映射关系；合成噪声的步骤可以有效的扩充散斑噪声的多样性，合成新的样本数据；利用网络的多尺度特征进行密集融合，以较少的参数增强有效特征的重复利用和传递；采用对抗生成网络的方式保证图像的整体感知质量；训练完成的生成式模型可以直接处理任何分辨率的噪声OCT图像，有较高的速度和性能，在临床中有较高的使用价值。

Description

基于密集连接和生成对抗网络的OCT图像去噪方法

技术领域

本发明属于图像修复技术领域，具体涉及一种基于密集连接和生成对抗网络的OCT图像去噪方法。

背景技术

光学相干断层成像(Optical Coherence Tomography，OCT)是一种非入侵式的、可再生的、3D的眼底组织成像技术，在眼科上有很多应用，对眼睛组织的OCT图像进行定量的分析，有助于医生对青光眼、年龄性黄斑病变、糖尿病视网膜水肿等眼科疾病的诊断。OCT是一种高分辨率的成像技术，易受客观采集环境影响，且成像光束受到眼内组织的多次散射和相干叠加，形成散斑噪声，在OCT图像中是一种常见现象。散斑噪声的几个特性使得其去除的过程具有挑战性。不同于普通的加性噪声，散斑噪声被认为是乘性噪声，利用统计学模型对噪声分布进行估计有一定困难；其次，对眼睛的不同组织成像时，散斑噪声的强度也会有所不同；第三，散斑噪声不仅大量出现在背景中，还会存在于视网膜层次结构中，降低OCT图像的清晰度，易覆盖重要的临床信息，不利于医疗诊断。

另一方面，由于视网膜中某些有用信息的强度和特征类似于散斑噪声，大部分滤波器模型或者统计学模型在去噪的过程中，可能会造成有用信息的丢失，降低图像的清晰度。同时，在实际的临床应用中，作为对采集图像的后处理步骤，去噪算法必须有即时性和高效性，提升图像效果时不能影响医生的诊断效率。作为对其他相关OCT算法的预处理方法，若待处理的数据集较大，去噪所耗费的时间不能太长。针对上述提出的问题，目前已有的效果较好、较为通用的算法，并不能在去噪和细节保护中达到一个很好的平衡，并且很难在极短的时间内处理大量图像。因此，OCT去噪有助于医生的临床诊断，且如何设计一个高效、即时的去噪算法仍然是一个值得研究的问题。

目前，去除OCT图像噪声的方法主要分为图像采集期间硬件的去噪方法和后处理去噪方法。基于硬件的去噪方法包括空间、角度平均等，这些方法需要在OCT采集设备上作出一定的改进，并且不可避免的增加了采集时间和成本。后处理方法更灵活、易实现，是目前研究较多的方法，主要分为两大块，传统非学习的去噪方法和基于深度学习的去噪方法。

早期的非学习的后处理方法使用平滑滤波器来减少OCT图像中的散斑噪声，例如简单的均值滤波器和中值滤波器，自适应维纳滤波器，复合扩散去噪滤波器等。基于小波变换的方法也是减少噪声的有效手段。这些滤波方法虽然在一定程度上减弱了散斑噪声，但会造成图像重要细节信息丢失。

近年来，基于Generative Adversarial Networks(GAN)的深度学习建模方法，在图像领域表现出超前的性能。GAN由生成模型和判别模型组成，两种模型之间有趣的对抗训练赋予了生成模型一定的“想象”能力，使其可以输出更加逼真的图像。在图像修复问题中，超分辨生成对抗网络被证明在自然图像超分辨率领域达到了最好的性能，利用对抗损失和pixel-wise的损失函数，在4倍下采样的情况下恢复出很好的纹理细节。以超分辨生成对抗网络为基础的网络在MRI领域也有应用，可以对MRI图像进行高清晰度的分辨率增强，并且保留真实的细节信息。虽然超分辨率、去混叠和去噪问题都是尽可能还原图像的细节信息，但是这些任务的目标不同，不同种类的训练图像之间有很大的差异性，针对OCT图像的去噪问题，效果不佳。虽然在自然图像和其他医学领域中，基于对抗网络的深度学习，在图像修复问题上有研究和应用，但是目前没有任何基于深度学习的去噪方法应用在OCT领域中。

发明内容

本发明的目的在于提供一种具有即时性、高效性的基于密集连接和生成对抗网络的OCT图像去噪方法。

为了达到上述目的，本发明提供以下技术方案：

基于密集连接和生成对抗网络的OCT图像去噪方法，包括以下步骤：

S1.重复采集图像空间上相距很近的B扫描OCT图像，以某一单帧噪声图像为目标配准多帧图像，合成为平均图像，根据视网膜上下边界的像素强度，阈值化平均图像的背景区域，获得无噪声图像，并将所述无噪声图像作为参考图像；

S2.根据原始噪声图像的灰度概率分布，利用噪声模型提取噪声的特征，生成与真实噪声非常接近的噪声图像，并添加至参考图像中；

S3.训练基于密集连接和对抗生成策略的降噪网络，隐式的学习噪声图像和参考图像之间的映射关系；

S4.利用已训练好的生成网络对带有噪声的OCT图像进行预测，即可得到具有高质量和高清晰度的图像。

为了避免OCT采集的过程中易受客观采集环境影响，产生较为随机的散斑噪声，在每一帧中都会有明显差异的现象，所述步骤S1中，具体为：

通过重复采集多帧图像空间上相距很近的B扫描OCT图像，并利用多尺度的特征金字塔和插值模型，以某一帧图像为模板进行特征匹配和多帧对齐，平均后即可得到参考图像，根据有效区域的像素值，对参考图像的背景区域进行阈值化，去除残留噪声，得到无噪声图像。

为了进一步增强噪声的多样性，所述步骤S2中，具体为：

根据原始噪声的大小和强度概率分布生成随机矩阵，再利用低通高斯滤波器和多尺度平均池化运算对该矩阵进行平滑处理，既提高了合成噪声的随机性，又保证了和原始噪声的相似性；将合成的噪声图像添加至参考图像中，可以产生新的数据样本；将数据集进行切块操作，组成训练集。

优选的方案，所述步骤S3中，采用生成对抗网络GAN作为去噪模型的训练方式，GAN由生成模型和判别模型两部分组成；

所述生成模型的目标是以参考图像为模板，对噪声图像进行去噪和还原；

所述判别模型的目标是判断生成模型生成的图像和参考图像之间的差异；

两种模型共同训练，模型收敛的目标是生成模型生成细节信息足够真实且无噪声的OCT图像，判别模型无法区分参考图像和生成图像的差别。

更优选的方案，所述生成模型通过对多尺度卷积层输出的密集融合，以较少的参数保持了较高性能，该生成模型包含4个密集连接模块，每一个密集连接模块中包含4个卷积层；每一个密集连接模块内的卷积层通过特征合并层将每一个卷积层的输出和前面所有层的输出相连接，密集连接模块之间也是同样的操作，不同的是在每一个特征合并层后加了一个限制模块来融合特征图，减少特征图的数量，使不同的密集连接模块的输入维度相同。

为了进一步提升网络性能，给每一个限制模块后添加了一个上下文编码加权模块，将有利于图像重建的特征图赋予较高权重，相比较而言，不是那么重要的特征图赋予较低权值，使得输入密集模块的特征图更加合理、有侧重性，加强了有用特征的高效传递。

优选的方案，所述步骤S4中，不需要对带噪声图像OCT进行任何预处理步骤，将该OCT图像通过训练好的生成模型进行预测，即可得到高质量和清晰度的图像。

本发明具有以下有益技术效果：

本发明根据噪声随机性的特征，采用多帧配准方式合成参考图像，从而使网络可以学习噪声图像到参考图像之间的映射关系；合成噪声的步骤可以有效的扩充散斑噪声的多样性，合成新的样本数据；利用网络的多尺度特征进行密集融合，以较少的参数增强有效特征的重复利用和传递；采用对抗生成网络的方式保证图像的整体感知质量；训练完成的生成式模型可以直接处理任何分辨率的噪声OCT图像，有较高的速度和性能，在临床中有较高的使用价值。

附图说明

图1是本发明的流程图。

图2是数据预处理流程图。

图3是合成噪声和真实噪声的强度概率分布图。

图4是基于密集连接和生成对抗网络的模型结构示意图。

图5是本方法的预测结果和细节放大图。

图6是分割算法的语义分割结果：利用不同的降噪算法对OCT图像去噪，再使用视网膜分层算法进行分割，得到的语义分割结果和专家标定结果进行对比。(a)为专家标定结果，(b)为原始图像的分割结果，(c)为高斯滤波器去噪后的分割结果，(d)为本方法去噪后的分割结果。

表1是基于空间域、频率域和测试时间的量化指标评价结果。

表2是针对视网膜的不同层次，利用分割算法分割去噪模型预测后的OCT图像，并与专家标定结果进行重叠面积计算。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例一种基于密集连接和生成对抗网络的OCT图像去噪方法，流程图如图1所示，包括以下步骤：

步骤一、数据预处理：

训练网络用到的金标准图像需要较高的质量。眼底不同组织的OCT图像包括视乳头和黄斑图像，视乳头图像包含了黄斑图像没有的组织，例如有利于早期青光眼诊断的筛板结构。

训练数据集获取流程如下：①经过视乳头中心，重复采集图像空间上相距很近的B扫描OCT图像，以某一单帧噪声图像为目标配准多帧图像，合成为平均图像；②根据视网膜上下边界的像素强度，阈值化平均图像背景区域，获得无噪声图像，作为参考图像；③给参考图像添加合成散斑噪声；在噪声图和无噪声训练集图像对应位置提取有重叠的图像块，组成训练集；④使用数据增强方法扩充训练集。预处理示意图如图2所示。具体的流程如下所述：

1)采用B扫描方法，从空间中非常接近的位置重复采集多帧B扫描图像。由于受到散斑散射方向随机性、眼球运动，外界采集环境变化等影响，使单帧图像之间会有一定的差异性，例如对比度不均衡、噪声强度差异等。本发明拟利用这种差异性，采用基于强度的子像素配准的金字塔方法，将所有单帧图像配准后取平均，从而极大地抑制散斑噪声，同时削了由于入射光线衰减造成的对比度和亮度不均衡的影响，更好地保留图像的细节信息。

2)由于平均后的合成图仍然有少量的散斑噪声和游离物质存在于背景区域中，针对这种情况，利用视神经纤维层和脉络膜的像素强度，阈值化背景区域，获得最终的参考图像。

3)对于原始噪声图像，为了增强数据集多样性和模型鲁棒性，并且解决数据量较少的问题，本发明根据散斑噪声的外形和统计学特征，拟定噪声模型，利用噪声模型给参考图像添加符合真实噪声分布的合成散斑噪声。合成噪声的强度概率分布和外观如图3所示。

4)为了进一步提高数据多样性，搭配传统的方法来增强数据，例如图像的水平和竖直方向的翻转、镜像、平移、旋转操作。

步骤二、训练基于密集连接和生成对抗网络的去噪模型：

本发明拟采用生成对抗网络(Generative Adversarial Network,GAN)作为去噪模型的训练方式。GAN由生成模型和判别模型两部分组成。生成模型的目标是以金标准图像为模板，对噪声图像进行去噪和还原；判别模型的目标是判断生成模型生成的图像和无噪声图像之间的差异。两种模型共同训练，模型收敛的目标是生成模型生成细节信息足够真实且无噪声的OCT图像，判别模型无法区分无噪声图像和生成图像的差别。

1)模型的设计

模型的结构示意图如图4所示。对于生成模型来说，去噪生成器通过对卷积层输出的密集融合，以较少的参数保持了较高性能。本发明拟提出的多密集连接模块级联的生成模型，包含4个密集连接模块，每一个密集连接模块中包含4个卷积层。每一个密集连接模块内的卷积层通过特征合并层将每一个卷积层的输出和前面所有层的输出相连接。密集连接模块之间也是同样的操作，不同的是在每一个特征合并层后加了一个限制模块来融合特征图，减少特征图的数量，使不同的密集连接模块的输入维度相同。为了进一步提升网络性能，给每一个限制模块后添加了一个上下文编码加权模块，将有利于图像重建的特征图赋予较高权重，相比较而言，不是那么重要的特征图赋予较低权值，使得输入密集连接模块的特征图更加合理、有侧重性，加强了重要特征的传递。另一方面，判别模型使用了标准的卷积模型，其包含8个卷积层。本发明拟采用的网络模型示意图如图3所示，多密集连接模块级联的生成模型中CE Block为上下文编码加权模块的简写。

2)损失函数的设计

为了提升重建图像的感知质量，为生成模型设计了感知损失和内容损失。内容损失包括两个部分，基于图像空间域的绝对误差损失L1_spatial，基于图像频率域的绝对误差损失L2_frequency，两种损失可以表示为：

H和W表示图像的高和宽，x和y表示像素点的坐标，I和f分别表示目标无噪声图像块和生成图像块的空间域和频率域。另一方面，感知损失来自于判别模型提供的判别损失loss_adv，利用JS散度来衡量数据分布之间的差异性，可以表示为：

x_HR为噪声图像块。总体的损失函数可以表述为：

loss＝αloss_spatial+βloss_frequency+γloss_adv (4)

α,β,和γ为加权系数，用于平衡三种不同损失的大小。在本发明中，上述三种损失的加权和作为训练网络的损失函数。之前研究都认为噪声处于图像的高频区域，比较突兀、不连贯，不包含有用信息，在图像的频率域中噪声普遍位于非中心区域。基于该思想，本发明改善了损失函数，添加了频率域损失，计算无噪声图像和生成图像之间频率域的差异性，作为loss_spatial损失的附加约束。若仅仅使用内容损失函数，会使去噪后的图像出现感知上的不平滑，通常缺乏连贯的细节。故通过GAN的对抗训练，添加基于感知的对抗损失，从流形空间的角度上增加感知相似性。

步骤三、模型的测试阶段：

在模型的测试阶段，只需要将生成模型单独取出进行测试。由于该去噪模型没有涉及图像分辨率的上下采样，所以可以直接处理任何分辨率的OCT图像，无需进行任何预处理操作。

下面结合具体实施例和附图对本发明进行详细的说明：

实施例1

1)生成模型的去噪效果

该模型的去噪效果如图5所示，和参考图像进行对比，可以看出该模型可较好的去除噪声，并且尽可能保留视网膜层次的边界信息，使得图像有较高的清晰度和质量。使用峰值信噪比、结构相似性作为整张图像的评价指标，即可以计算预测图像和参考图像在空间域上的相似性。峰值信噪比和结构相似性是较为传统的评价指标，我们进一步根据噪声在频率域上的特征，根据公式(2)使用频率域绝对误差作为评价指标，在频率域上计算预测图像和参考图像的相似性。另一方面，由于OCT图像有较多的面积为背景区域，所以选择感兴趣区域(视网膜两侧和筛板区域)和背景区域计算对比信噪比，即可得到该区域相比较于背景区域的噪声水平，可以表示为：

μ和σ分别为感兴趣区域的方差和标准差，而R和B分别为感兴趣区域和背景区域。量化的评价结果如表1所示。结果表明，该方法可以有效的提升图像的整体质量，不仅能去除背景中和组织结构中的噪声，而且能保护有效整体的细节信息。模型的处理速度较快，具有较好的实际应用价值。

表1量化指标评价结果

2)对视网膜分层算法的提升

眼科OCT一个重要病理检测方法是根据视网膜的分层信息，检测某些眼科疾病，例如青光眼、年龄性黄斑病变、视网膜下水肿、色素上皮层脱落等。这些疾病都会影响某些视网膜的结构，例如视神经纤维层、色素上皮层等层次的厚度。为了验证该模型在临床实际应用上有一定的可行性，可作为一种优秀的预处理方法，将已训练好的多密集连接模块级联的生成模型参数取出，对OCT图像进行去噪，并选择易受噪声影响的图搜索分层算法作为测试。该算法利用视网膜的灰度梯度信息，结合图搜索策略寻找最短路径，为眼科OCT图像进行自动分割。但该类分割方法比较容易受到噪声的影响，导致分层不准确。所以在黄斑区域的OCT图像上，用不同的预处理方法，分别进行了视网膜分层的测试。眼科医生根据其临床经验对噪声图像进行层次标定，如图6(a)所示。不使用任何去噪方法的分层结果，如图6(b)所示。默认情况下，该分层算法使用高斯去噪滤波器作为预处理，如图6(c)所示。将高斯滤波器用本去噪方法进行取代，如图6(d)所示。由图6(b)可以看出，原始噪声图像对于分层算法影响较大，视网膜层次的边界出现较小的抖动。由图6(c)可以观察到，虽然该方法有效的缓解了由噪声带来的小扰动，轻微的平滑了层次的边界，但同时也造成了有效信息的缺失，导致层次的边界仍然有不符合真实情况的上下抖动。和专家的标定结果相比，图6(d)的层次有最好的平滑度，模型消除了由于噪声造成的伪影和错误边界，在去噪和细节保护上实现了最好的平衡。为了量化评价预测图像和专家标定数据之间的重叠面积，采用Dice系数作为评价指标，定义如下所示：

在视网膜的Ω区域中，p_x和g_x分别为预测结果和标定结果，x为正样本点。该评价指标为不同的视网膜层次计算和标定图像之间的重叠面积，该值越接近1表示和专家的标定结果更加接近。量化的评价结果如表2所示。结果证明，虽然Gauss滤波器缓解了有些层次的抖动，使Dice系数有较小的上升，但对于边界不那么明显的层次，例如视网膜神经纤维层和神经节细胞层-内网状层，滤波器会模糊边界信息，导致分层算法找不到合理的路径，相比于原始噪声图像的分割结果，Dice系数会略微下降。本发明提出的模型可以有效的去噪的同时，保护图像内的细节信息，实现了较高的Dice系数，在实际应用上具有可行的潜力。

表2不同层的Dice系数

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.基于密集连接和生成对抗网络的OCT图像去噪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于密集连接和生成对抗网络的OCT图像去噪方法，其特征在于，所述步骤S1中，具体为：

3.根据权利要求1所述的基于密集连接和生成对抗网络的OCT图像去噪方法，其特征在于，所述步骤S2中，具体为：

4.根据权利要求1所述的基于密集连接和生成对抗网络的OCT图像去噪方法，其特征在于，所述步骤S3中，采用生成对抗网络GAN作为去噪模型的训练方式，GAN由生成模型和判别模型两部分组成；

5.根据权利要求4所述的基于密集连接和生成对抗网络的OCT图像去噪方法，其特征在于，所述生成模型通过对多尺度卷积层输出的密集融合，以较少的参数保持了较高性能，该生成模型包含4个密集连接模块，每一个密集连接模块中包含4个卷积层；每一个密集连接模块内的卷积层通过特征合并层将每一个卷积层的输出和前面所有层的输出相连接，密集连接模块之间也是同样的操作，不同的是在每一个特征合并层后加了一个限制模块来融合特征图，减少特征图的数量，使不同的密集连接模块的输入维度相同。

6.根据权利要求5所述的基于密集连接和生成对抗网络的OCT图像去噪方法，其特征在于，给每一个限制模块后添加了一个上下文编码加权模块，将有利于图像重建的特征图赋予较高权重，相比较而言，不是那么重要的特征图赋予较低权值，使得输入密集模块的特征图更加合理、有侧重性，加强了有用特征的高效传递。

7.根据权利要求1所述的基于密集连接和生成对抗网络的OCT图像去噪方法，其特征在于，所述步骤S4中，不需要对带噪声图像OCT进行任何预处理步骤，将该OCT图像通过训练好的生成模型进行预测，即可得到高质量和清晰度的图像。