CN110443815B

CN110443815B - 结合生成对抗网络的半监督视网膜oct图像层分割方法

Info

Publication number: CN110443815B
Application number: CN201910723889.9A
Authority: CN
Inventors: 纪庆革; 刘稳
Original assignee: Sun Yat Sen University
Current assignee: Sun Yat Sen University
Priority date: 2019-08-07
Filing date: 2019-08-07
Publication date: 2023-04-21
Anticipated expiration: 2039-08-07
Also published as: CN110443815A

Abstract

本发明属于计算机视觉、图像处理技术，为结合生成对抗网络的半监督视网膜OCT图像层分割方法，包括步骤：准备视网膜OCT图像数据，将部分病人的标注图片和全部病人的未标注图片作为训练集，其余病人的标注图片作为测试集；构建生成对抗网络，生成对抗网络包括分割网络和鉴别器网络，分割网络的输出端与鉴别器网络的输入端连接；设计生成对抗网络的损失函数；设置评估指标；利用所设计的损失函数，引入所准备的训练集，对生成对抗网络进行训练。本发明同时利用标注数据和未标注数据对生成对抗网络进行训练，增强了网络的鲁棒性，提高了语义分割的准确率。

Description

结合生成对抗网络的半监督视网膜OCT图像层分割方法

技术领域

本发明涉及人工智能、计算机视觉、图像处理技术，具体为结合生成对抗网络的半监督视网膜OCT(Optical Coherence tomography)图像层分割方法。

背景技术

近年来，基于卷积神经网络(CNN)的方法，如Unet在医学图像语义分割任务上取得了显著的成绩。尽管基于CNN的方法取得了惊人的效果，但它们需要大量的训练数据。与图像分类和目标检测不同，语义分割要求对每个训练图像进行精确的逐像素标注，并且医学图像需要专业的医生标注，这会花费大量的成本和时间，因此造成了视网膜OCT图像层分割方向的训练数据少。

视网膜OCT图片的高分辨率有利于视网膜的各种组成层的清晰可视化，是视网膜横截面成像的首选方式。由于两个视网膜层之间的边界的高度分散性，这导致层边界的手动标注十分主观且非常耗时。从OCT图像中分割视网膜层各层的自动分割方法，有助于准确诊断，同时主体变化最小。计算机自动分割方法与人工标注的方法相比，成本低，并且能快速分割数百万张图像，这对辅助医生诊断非常有利。然而目前训练数据少，自动分割方法模型泛化能力偏低。

总的来说，现有技术存在如下缺点：

1.基于特征工程的传统分割方法，往往需要手工设计特征提取器，并且分割的准确率不高。

2.基于卷积神经网络(CNN)的方法，虽然取得了不错的分割效果，但由于训练数据匮乏，模型泛化能力偏低。

发明内容

为解决现有技术所存在的技术问题，本发明提供结合生成对抗网络的半监督视网膜OCT图像层分割方法，同时利用标注数据和未标注数据对生成对抗网络进行训练，增强了网络的鲁棒性，提高了语义分割的准确率。

本发明采用以下技术方案来实现：结合生成对抗网络的半监督视网膜OCT图像层分割方法，包括以下步骤：

S1、准备视网膜OCT图像数据，将部分病人的标注图片和全部病人的未标注图片作为训练集，其余病人的标注图片作为测试集；

S2、构建生成对抗网络，生成对抗网络包括分割网络和鉴别器网络，分割网络的输出端与鉴别器网络的输入端连接；

S3、设计生成对抗网络的损失函数；

S4、设置评估指标；

S5、利用所设计的损失函数，引入步骤S1所准备的训练集，对生成对抗网络进行训练。

优选地，步骤S3中所设计的损失函数包括分割网络的损失函数和鉴别器网络的损失函数。

鉴别器网络的损失函数为：

其中，D(P_n)为鉴别器网络输出的置信度图；P_n为概率图，当y_n＝0时，P_n为来自分割网络的输出，当y_n＝1时，P_n来自于原始标签。

分割网络的损失函数为：

L_seg＝λ_ceL_ce+λ_diceL_dice+λ_advL_adv+λ_semiL_semi

其中，λ_ce、λ_dice、λ_adv及λ_semi分别为权重系数；L_ce和L_dice都是计算分割网络的输出和标签Y_Oh之间的损失，L_ce代表加权交叉熵损失函数；L_semi表示半监督训练损失函数；标签Y_Oh为对原始标签采用one-hot编码后得到的标签。

本发明与现有技术相比，具有如下优点和有益效果：

1、提出半监督生成对抗网络，在两个基准网络U-Net和Unet++上均有提升，增强了层分割的鲁棒性。

2、视网膜OCT层分割的标注训练集小，训练的网络鲁棒性不够，本发明通过引入未标注图片的损失函数L_semi对分割网络进行训练，可以在有限的标注训练图片下增强分割网络的鲁棒性。

附图说明

图1是本发明的分割流程图；

图2是OCT训练图片X_n的示意图；

图3是原始标签Y_n的示意图；

图4是各像素权重W_n的示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本发明通过对抗性学习提出了一种半监督的视网膜OCT图像层(也叫视网膜OCT图像语义)分割算法。典型的GAN由两个子网络组成，即发生器(generator)和鉴别器(discriminator)，这两个子网络在训练过程中相互博弈。在本发明中，引入分割网络和鉴别器网络，它们都是全卷积网路，通过引入未标注的训练图片，以提高分割的准确性。

如图1-4所示，本发明包括如下步骤：

1、视网膜OCT图像数据准备

本方法在Chiu等人公开可用的DME患者SD-OCT数据集(Chiu S J,Allingham M J,Mettu P S,et al.Kernel regression based segmentation of optical coherencetomography images with diabetic macular edema[J].Biomedical Optics Express,2015,6(4):1172.)上进行评估。该数据集包含10位患者，每位患者包含61张SD-OCT图像；每位患者的61张图像中，有11张图像由两位专家临床医生标注为视网膜层和流体区域，另外50张没有标注。本发明采用专家1的标注，因此我们可以得到110张标注图片；其中，每张OCT图片可以分为十层即十类，分别为：

1.RaR：视网膜上方区域(Region above the retina)(上背景)

2.ILM:内结膜(Inner Limiting Membrane)

3.NFL-IPL:神经纤维层(Nerve Fiber Layer)

4.INL:内核层(Inner Nuclear Layer)

5.OPL:外丛层(Outer Plexiform Layer)

6.ONL-ISM：外核层(Outer Nuclear Layer to inner segment myeloid)

7.ISE：内段椭球体(Inner segment ellipsoid)

8.OS-RPE：视网膜色素上皮层(Outer segment to Retinal pigmentepithelium)

9.RbR：视网膜色素上皮层下方区域(Region below RPE)(下背景)

10.Fluid：积液层(Accumulated Fluid)

每张图像原始大小为496×768，由于每张图片的标注都不完整，最后裁定每张图片大小为496×512。

本发明将DME患者SD-OCT数据集中前五位病人的55张标注图片和十位病人共250张未标注图片作为训练集，后五位病人的55张标注图片作为测试集。

对于训练集中有标注的55张图片，进行数据增强；首先以0.5的概率进行水平翻转，然后以0.3的概率进行弹性形变。对于250张未标注训练集图片和55张测试集图片，不做任何处理。

2、构建生成对抗网络

本发明提出的生成对抗网络包括两部分，即分割网络和鉴别器网络，它们都是全卷积网络，分割网络的输出端与鉴别器网络的输入端连接。

2.1分割网络

本实施例采取Ronneberger O等人在2015年提出的U-Net网络(Ronneberger O，Fischer P，Brox T.U-Net：Convolutional Networks for Biomedical ImageSegmentation[J].2015.)或Zhou Z等人在2018年提出的UNet++网络(Zhou Z，SiddiqueeMMR，Tajbakhsh N，et al.UNet++：ANested U-NetArchitecture for Medical ImageSegmentation[J].2018.)作为分割网络。实验论证在视网膜层分割的应用上，Unet++网络比Unet网络更具有鲁棒性，效果更佳。

2.2鉴别器网络

本发明参考Ronneberger O等人在2015年提出的U-Net网络结构，然后对U-Net网络做了轻微改动，形成鉴别器网络。首先将卷积通道数固定为64，然后将最后输出通道数设为2，并且将所有的ReLU层替换成Leaky-ReLU层。

3、设计生成对抗网络的损失函数

给定一张496×512×1大小的输入图像X_n，将分割网络表示为S(·)，预测概率图表示为496×512×10大小的S(X_n)，其中10是类别数。

对于全卷积鉴别器，本实施例将其表示为D(.)，它输出一个大小为496×512×2的两类置信度图D(P_n)，其中P_n是大小为496×512×10的概率图，来自标签Y_Oh或分割网络的输出S(X_n)。这里的Y_oh大小为496×512×10，而原始标签Y_n大小为496×512×1。因此对原始标签Y_n采用one-hot编码，由于一共有十类，可以得到one-hot编码后的标签Y_Oh大小为496×512×10。

3.1设计鉴别器网络的损失函数

鉴别器网络区分概率图P_n来自于标签Y_Oh还是分割网络的输出为S(X_n)，如果来自于标签Y_Oh则预测为1，如果来自于分割网络的输出则预测为0。为了训练鉴别器网络，本实施例将交叉熵损失降到最小。损失函数可以写为：

L_D＝-∑_h，w(1-y_n)log(D(P_n)^(h，w，0))+y_nlog(D(P_n)^(h，w，1)) (1)

其中y_n用来标注P_n的来源。当y_n＝0，P_n来自于分割网络的输出S(X_n)。当y_n＝1时，P_n来自于原始标签Y_n。

3.2设计分割网络的损失函数

分割网络将如下损失函数降到最小：

L_seg＝λ_ceL_ce+λ_diceL_dice+λ_advL_adv+λ_semiL_semi (2)

其中，λ_ce、λ_dice、λ_adv及λ_semi分别为权重系数；L_ce和L_dice都是计算分割网络的输出S(X_n)和标签Y_Oh之间的损失。L_ce代表加权交叉熵损失函数，定义如下：

分割网络预测X_n ^(h，w)像素属于c类的概率为S(X_n)^(h，w，c)，当前像素的权重为W_n ^(h，w)。由于图片大部分为背景，类别不均衡，又因为边界区域识别难度高，这里为每个像素引入了一个权重W_n：

其中I(logic)表示当logic为真时，I(logic)＝1，否则I(logic)＝0。实验中λ₁＝10代表边界区域像素权重加10。考虑到不同层识别难度不一样，当L＝1、2、5、6或7时，λ₂＝5；当L＝3、4或9时，λ₂＝15；否则λ₂＝0。

L_dice代表Dice系数损失函数，定义如下：

L_adv是对抗损失函数，定义如下：

L_adv＝-∑_(h，w)log(D(S(X_n))^(h，w，1)) (6)

表明分割网络使输出S(X_n)尽可能令全卷积鉴别器D(S(X_n)的预测为1，即分割网络输出分布向标签Y_Oh分布靠近。

L_semi表示半监督训练损失函数，定义如下：

L_semi＝-∑_h，w∑_c∈CW_mask ^(h，w)Y_pred ^(h，w，c)log(S(X_n)^(h，w，c)) (7)

其中Y_pred＝argmax(S(X_n))，即对于每个像素，预测概率最大的那一维为1，其余均为0。W_mask ^(h，w)表示鉴别器D()将分割网络的输出S(X_n)^(h，w，c)预测为1的概率大于阈值T，则W_mask ^(h，w)＝1，否则W_mask ^(h，w)＝0。

W_mask ^(h，w)＝I(D(S(X_n))^(h，w，1)＞T) (8)

在训练两种基准网络U-Net和Unet++时，采取Adam优化器，初始学习率为0.001，每20次迭代学习率缩小0.5倍，共迭代300次。

在生成对抗网络的训练中，令(2)式中的权重系数λ_Ce＝1，λ_dice＝0.5，λ_adv＝0.01；对于λ_semi，考虑到开始训练时鉴别器D识别能力还不够高，因此本实施例采用λ_semi在实验开始时较小，随着训练步数iter增大而逐渐增大的策略，最终令

令(8)式中阈值T＝0.1。在训练时，鉴别器网络和分割网络都采取Adam优化器，学习率衰减策略为：

其中power＝0.9，maxiter为最大迭代系数。在鉴别器网络中初始化学习率init_lr＝0.0001，在分割网络中init_lr＝0.000055。

4、设置评估指标

本发明采取了Dice系数评估每张OCT图片中每个类的重叠情况，Dice_c表示第c类的Dice系数，计算方式具体如下：

5、利用所设计的损失函数，引入步骤1所准备的训练集，对生成对抗网络进行训练。

首先用有标注的训练集图片单独训练分割网络，即两种基准网络U-Net和Unet++，保存Dice系数最好的两种基准网络模型，并且以此Dice系数为基准。

然后引入250张未标注图片扩充训练集，训练生成对抗网络。训练过程中，分别加载所保存的两种基准网络模型权重作为分割网络初始权重。在分割网络的训练中，有标注的训练集图片对应的损失函数为L_ce、L_dice和L_adv；未标注的训练集图片对应的损失函数为L_adv和L_semi。

6、实验结果

实验在Ubuntu16.04操作系统下运行，基于pytorch1.0版本，使用具有8G显存的RTX2080GPU进行训练，实验结果如下表所示。

其中平均值代表除去背景(RaR和RbR)后的8类平均值。由实验结果可以看出，本发明的半监督生成对抗网络通过引入未标注的训练图片，效果比基准均有提高。其中U-Net网络的Dice系数平均值0.8454通过Semi-U-Net提高到0.8499；Unet++网络的Dice系数平均值0.8471通过Semi-Unet++提高到0.8540。

实验结果表明，Unet++网络比U-Net网络的效果更好。在层分割标签数据匮乏的情况下，本发明通过半监督生成对抗网络引入未标注的训练图片，能够进一步增强网络的鲁棒性，很好地弥补了OCT层分割标签数据匮乏对网络鲁棒性造成的影响。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.结合生成对抗网络的半监督视网膜OCT图像层分割方法，其特征在于，包括以下步骤：

S3、设计生成对抗网络的损失函数；

S4、设置评估指标；

S5、利用所设计的损失函数，引入步骤S1所准备的训练集，对生成对抗网络进行训练；

步骤S3中所设计的损失函数包括分割网络的损失函数和鉴别器网络的损失函数；

分割网络的损失函数为：

L_seg＝λ_ceL_ce+λ_diceL_dice+λ_advL_adv+λ_semiL_semi

其中，λ_ce、λ_dice、λ_adv及λ_semi分别为权重系数；L_ce和L_dice都是计算分割网络的输出和标签Y_Oh之间的损失，L_ce代表加权交叉熵损失函数；L_semi表示半监督训练损失函数；标签Y_Oh为对原始标签采用one-hot编码后得到的标签；L_adv是对抗损失函数；

分割网络预测x_n ^(h，w)像素属于c类的概率为S(X_n)^(h，w，c)，当前像素的权重为W_n ^(h，w)；

为每个像素引入一个权重W_n：

其中I(logic)表示当logic为真时，I(logic)＝1，否则I(logic)＝0；考虑到不同层识别难度不一样，当L＝1、2、5、6或7时，λ₂＝5；当L＝3、4或9时，λ₂＝15；否则λ₂＝0；

L_dice代表Dice系数损失函数，定义如下：

步骤S4采用Dice系数评估每张OCT图片中每个类的重叠情况，Dice系数的计算方式如下：

其中，Dice_c表示第c类的Dice系数。

2.根据权利要求1所述的半监督视网膜OCT图像层分割方法，其特征在于，步骤S1中视网膜OCT图像数据来自DME患者SD-OCT数据集，将DME患者SD-OCT数据集中前五位病人的55张标注图片和十位病人共250张未标注图片作为训练集，后五位病人的55张标注图片作为测试集。

3.根据权利要求1所述的半监督视网膜OCT图像层分割方法，其特征在于，步骤S2中鉴别器网络为做如下修改后的U-Net网络：将卷积通道数固定为64，然后将最后输出通道数设为2，将所有的ReLU层替换成Leaky-ReLU层。

4.根据权利要求1所述的半监督视网膜OCT图像层分割方法，其特征在于，步骤S2中分割网络为U-Net网络或UNet++网络。

5.根据权利要求1所述的半监督视网膜OCT图像层分割方法，其特征在于，鉴别器网络的损失函数为：

6.根据权利要求1所述的半监督视网膜OCT图像层分割方法，其特征在于，所述权重系数λ_ce＝1，λ_dice＝0.5，λ_adv＝0.01，

iter为生成对抗网络的训练步数。