CN115661185A - 一种眼底图像血管分割方法及系统 - Google Patents

Abstract

本申请公开了一种眼底图像血管分割方法及系统，方法步骤包括：收集眼底图像的数据集；对收集的数据集进行预处理，得到预备数据集；根据预备数据集，构建眼底图像血管分割模型；通过训练眼底图像血管分割模型并验证模型准确率，来提高对血管细节分割的准确率。本申请对视网膜血管分割任务深入研究，针对眼底图像血管分割问题，分别从图像预处理和基于深度学习的分割模型入手，采用不同的图像增强技术，通过眼底图像血管的特征分析对血管分割网络做出了改进，并提出了一种基于GAN的视网膜血管分割方法。本申请利用自动色彩均衡、R2U‑Net和生成对抗网络，完成了对眼底图像中血管的自动分割，提升了对血管细节的分割准确率。

Description

一种眼底图像血管分割方法及系统

技术领域

本申请涉及医学图像分割领域，具体涉及一种眼底图像血管分割 方法及系统。

背景技术

视网膜血管分割任务一直是医学图像分割任务中的研究热点，通 过对眼底血管的分割，可以了解一个人是否患某些疾病及其病情轻重 程度。视网膜血管分割任务在实际应用上可以解决大量手工分割任务， 减轻人工操作压力，缓解人力资源紧缺。

将眼底图像中的血管分割出来，对于疾病的诊断有可观的辅助作 用。但是医学图像复杂，很多图像中的充血、混浊等病灶区域对于图 像分割来说依旧是很大的干扰，同时，医学图像数据的私密性导致了 其数据量并没有那么可观，从而无法达到最理想的训练效果。随着深 度学习的迅速发展，图像语义分割模型分割效果也有很大的提高，各 种新的模型不断出现，成为图像识别、语义分割的主流。

目前深度学习已广泛地应用于医学图像分割任务中，是眼底图像 血管分割的主要手段。与传统血管分割算法(数学形态学法、小波变 换法、聚类算法、区域生长法等)，各类深度学习算法(卷积神经网 络，U-Net，生成对抗网络)在眼底图像血管分割任务中起着十分重 要的作用。与传统方法技术相对比，深度学习方法在准确率和分割时 间上具有明显的优势，准确而又快速的自动分割眼底血管图像，缓解 人工操作带来的压力与不变。

通过CLAHE对眼底图像进行图像增强，再通过深度学习算法训练 模型实现眼底图像血管自动分割是血管分割的主要方法之一。眼底图 像血管分割模型虽然运用广泛，并被不断地改进，但仍然存在细微血 管与分支处效果差，灵敏度低等问题。因此针对血管细节部分的分割， 仍有较大进步空间。

发明内容

本申请针对眼底图像血管分割问题，分别从图像预处理和基于深 度学习的分割模型入手，采用不同的图像增强技术，通过眼底图像血 管的特征分析对血管分割网络做出了改进，并提出了一种基于GAN的 视网膜血管分割方法。

为实现上述目的，本申请公开了一种眼底图像血管分割方法及系 统，方法包括以下步骤：

收集眼底图像的数据集；

对收集的所述数据集进行预处理，得到预备数据集；

根据所述预备数据集，构建眼底图像血管分割模型；

通过训练所述眼底图像血管分割模型并验证模型准确率，来提高 对血管细节分割的准确率。

优选的，收集所述数据集的方法包括：下载DRIVE公开数据集， 其中包含若干对眼底图像与对应手工分割图像。

优选的，进行所述预处理的方法包括：使用自动色彩均衡对所述 眼底图像进行亮度与色彩的调整，使所述眼底图像色彩呈现更为饱满， 对比度更高；采用翻转、旋转、均分后随机拼接的方式对所述数据集 进行扩充；对扩充后的所述数据集使用二值分割的方式来提取掩膜， 且用伽马校正转换为灰度图像以备后用。

优选的，训练所述眼底图像血管分割模型的方法包括：使用二元 交叉熵损失函数BCELoss，其计算公式如下：

其中m表示mini-batch，y_i表示样本label，p表示模型的预测 结果，当y_i＝1时如果p(y_i)趋近于1，则BCELoss应该趋近于0，当p(y_i) 趋近于0，BCELoss则趋向正无穷；

在血管分割模型中，遵循GAN的迭代交替训练规则，每一次的训 练过程包括：

从真实样本中抽取m个眼底图像和与其对应的m个金标准图像 {x⁽¹⁾，x⁽²⁾，...，x^(m)}，{y⁽¹⁾，y⁽²⁾，...，y^(m)}；

生成器输出对应的m个生成样本{z⁽¹⁾，z⁽²⁾，...，z^(m)}，z⁽ⁱ⁾＝G(x⁽ⁱ⁾)；

固定生成器参数θ_g，通过随机梯度上升来更新判别器

其中 D(x⁽ⁱ⁾，y⁽ⁱ⁾)表示D判断y⁽ⁱ⁾为x⁽ⁱ⁾金标准图像的概率，D(x⁽ⁱ⁾，G(x⁽ⁱ⁾)表 示D判断x⁽ⁱ⁾为G(x⁽ⁱ⁾)金标准图像的概率；

固定判别器参数θ_d，通过随机梯度下降来更新生成器

优选的，验证所述模型准确率的方法包括：在定量分析时选择使 用准确性、灵敏度和特异性作为模型性能的评价指标进行评价。

本申请还提供了一种眼底图像血管分割系统，包括：数据收集模 块、预处理模块模块、构建模块和训练模块；

所述数据收集模块用于收集眼底图像的数据集；

所述预处理模块用于对所述收集模块收集的所述数据集进行预 处理，得到预备数据集；

所述构建模块用于根据所述预处理模块得到的预备数据集，构建 眼底图像血管分割模型；

所述训练模块用于通过训练所述构建模块构建的眼底图像血管 分割模型，来提高对血管细节分割的准确率。

优选的，所述构建模块的工作流程包括：使用GAN模型，所述 GAN模型包括生成网络和判别网络；

在所述生成网络底部运用软注意力单元空洞卷积；

在所述生成网络中添加基于阈值分割的注意力机制，通过提取掩 膜的方式使模型训练时的关注区域更准确；

利用所述判别网络进行对所述眼底图像进行判别。

与现有技术相比，本申请的有益效果如下：

当前视网膜血管分割任务存在图像预处理操作单一且对血管分 支边缘细节部分分割不够精细的问题。本申请对视网膜血管分割任务 深入研究，针对眼底图像血管分割问题，分别从图像预处理和基于深 度学习的分割模型入手，采用不同的图像增强技术，通过眼底图像血 管的特征分析对血管分割网络做出了改进，并提出了一种基于GAN的 视网膜血管分割方法。本申请利用自动色彩均衡、R2U-Net和生成对 抗网络，完成了对眼底图像中血管的自动分割，提升了对血管细节的 分割准确率。

附图说明

为了更清楚地说明本申请的技术方案，下面对实施例中所需要使 用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动 性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请方法流程示意图；

图2为本申请预处理流程示意图；

图3为本申请构建的模型示意图；

图4为本申请模型中的生成网络结构示意图；

图5为本申请模型中的判别网络结构示意图；

图6为本申请系统结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部 分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普 通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本申请保护的范围。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结 合附图和具体实施方式对本申请作进一步详细的说明。

实施例一

如图1所示，为本申请方法流程示意图，步骤包括：

S1.收集眼底图像的数据集。

首先下载DRIVE公开数据集，其中包含40对眼底图像与对应手 工分割图像。

S2.对收集的所述数据集进行预处理，得到预备数据集。

对收集到的数据集进行预处理，过程如图2所示，对下载的眼底 图像数据集进行预处理操作，首先针对眼底图像对比度较差，整体色 彩区间较小的问题，使用自动色彩均衡来调整图像的对比度和色彩饱 和度，使眼底图像色彩呈现更为饱满，对比度更高。由于数据集图像 数量的匮乏，将图像压缩成512×512的方形数据集，对数据集中的 图像进行水平和垂直方向的翻转，再将原图、水平翻转后的图像、垂 直翻转后的图像进行90、180、270度的旋转，将各个角度旋转后的 图像均分为16张128×128的patch，随后将patch进行随机拼接为 512×512大小的图像。并对这些图像通过二值分割的方式进行掩膜 提取。并使用伽马函数进行灰度转换以备后用。

S3.根据所述预备数据集，构建眼底图像血管分割模型。

如图3所示，本实施例整体结构使用GAN模型，GAN模型分为生 成网络和判别网络，生成网络使用改进过的R2U-Net：首先，在生成 网络底部运用了软注意力单元空洞卷积，其次，在生成网络中添加了 基于阈值分割的注意力机制，通过提取掩膜的方式使模型训练时的关 注区域更准确；判别器网络使用卷积神经网络。利用GAN的对抗博弈 训练思想，使用二分类的交叉熵函数迭代训练模型网络。令生成器G 和判别器D进行交替迭代训练，其中，G担任着生成眼底血管分割图 的角色，它的输入是任意一张眼底图像x，G通过x生成的眼底血管 图像分割结果，记为G(x)。D则担任着判别血管图片是否真实的角色， 以专家手工标注的血管图像为标准。判别器的输入是眼底图像x与血 管图的组合，输出D(x)是图像x为专家标注真实图片的概率，输出 越倾向0，代表判别器认为图片越虚假，输出越倾向1，判别器认为 图像越真实。

如图4所示，为上述生成网络结构示意图，本实施例在R2U-Net 底部使用空洞卷积代替底部递归残差块，在不增加网络参数的情况下 扩大感受野，并添加一种基于阈值分割的注意力机制来促使网络关注 有效区域，放弃无关背景。在此，本实施例选取了d＝1，d＝2，d＝4的 空洞卷积作为GAN的生成器网络底部的三次级联空洞卷积，其中 kernel size＝3×3。第一个空洞卷积d＝1意味其为标准卷积，通过第 一个卷积提取特征后，输出也被用作d＝2的空洞卷积的输入，以此类 推，第二个空洞卷积的特征输出不仅是最终分割图的一部分，也作为 d＝4的空洞卷积的输入；最后将这几组输出组合起来作为最终输出。 之后将掩膜与改进后的R2U-Net的倒数第二层特征映射进行相乘，公 式如下：

其中，R表示ROI(感兴趣区域)，也就是注意力机制要关注的区 域，F表示特征。Attention机制的作用就是让改进的R2U-Net只关 注眼底图像中有信息的视网膜区域(圆形内部的区域)，放弃没有有 效信息的噪声背景(圆形外黑色区域)，这样做能有效提高分割效率， 防止G生成不必要的信息来占用D的效率。生成器的输入图像为512 ×512×3的眼底图像，经过编码器部分和解码器部分的下采样和上 采样操作后，得到输出为512×512×1的分割图像。

如图5所示，为本申请判别网络结构示意图，为了区别G(x)与 手工分割金标准图像y，判别器D设计成卷积神经网络并且运用全局 平均池化GAP，GAP能够削减参数数量，有助于给模型训练提速。对 于输入图像，正样本是预处理后的灰度眼底图像x和金标准y的组合， 负样本是x与G(x)的组合。样本进入判别器时，卷积提取特征设置 成步长2，大小3×3，激活函数选用ReLU，使用批标准化处理提高 训练进度，继而通过2×2的最大池化使分辨率下降，特征提取多次 后，通道数为512，经过GAP得到通道数512，分辨率1×1的特征图， 最后经过全连接层FC和sigmoid函数得到D(x)。

S4.通过训练所述眼底图像血管分割模型并验证模型准确率，来 提高对血管细节分割的准确率。

损失函数选择使用二元交叉熵损失函数BCELoss，其计算公式如下：

其中m表示mini-batch，y_i表示样本label，p表示模型的预测 结果，当y_i＝1时如果p(y_i)趋近于1，则BCELoss应该趋近于0，当p(y_i) 趋近于0，BCELoss则趋向正无穷。

在血管分割模型中，遵循GAN的迭代交替训练规则，每一次的训 练过程如下：

从真实样本中抽取m个眼底图像和与其对应的m个金标准图像

{x⁽¹⁾，x⁽²⁾，...，x^(m)}，{y⁽¹⁾，y⁽²⁾，...，y^(m)}；

生成器输出对应的m个生成样本

{z⁽¹⁾，z⁽²⁾，...，z^(m)}，z⁽ⁱ⁾＝G(x⁽ⁱ⁾)；

固定生成器参数θ_g，通过随机梯度上升来更新判别器

其中,D(x⁽ⁱ⁾，y⁽ⁱ⁾)表示D判断y⁽ⁱ⁾为x⁽ⁱ⁾金标准图像的概率， D(x⁽ⁱ⁾，G^(xi)))表示D判断x⁽ⁱ⁾为G(x⁽ⁱ⁾)金标准图像的概率；

固定判别器参数θ_d，通过随机梯度下降来更新生成器

实验epoch为400，Adam训练优化器，学习率为0.0003，batch 为20。

之后，为验证模型准确性，本申请还设计验证实验，选择DRIVE 数据集中20张测试图像进行验证。为了评估本申请的分割效果，进 行定量分析时，选择使用准确性，灵敏度以及特异性作为模型性能的 评价指标，并与其他模型做了对比，结果如表1所示。

表1

	准确度	灵敏度	特异度
				原始GAN	0.923	0.743	0.933
U-Net	0.931	0.727	0.941
				R2U-Net	0.953	0.775	0.977
本申请使用模型	0.969	0.792	0.980

实施例二

如图6所示，为本申请系统结构示意图，包括：数据收集模块、 预处理模块模块、构建模块和训练模块。

其中，数据收集模块用于收集眼底图像的数据集；预处理模块用 于对收集模块收集的数据集进行预处理，得到预备数据集；构建模块 用于根据预处理模块得到的预备数据集，构建眼底图像血管分割模型； 训练模块用于通过训练构建模块构建的眼底图像血管分割模型，来提 高对血管细节分割的准确率。

以上所述的实施例仅是对本申请优选方式进行的描述，并非对本 申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普 通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本 申请权利要求书确定的保护范围内。

Claims (7)

1.一种眼底图像血管分割方法，其特征在于，步骤包括：

收集眼底图像的数据集；

对收集的所述数据集进行预处理，得到预备数据集；

根据所述预备数据集，构建眼底图像血管分割模型；

通过训练所述眼底图像血管分割模型并验证模型准确率，来提高对血管细节分割的准确率。

2.根据权利要求1所述的眼底图像血管分割方法，其特征在于，收集所述数据集的方法包括：下载DRIVE公开数据集，其中包含若干对眼底图像与对应手工分割图像。

3.根据权利要求1所述的眼底图像血管分割方法，其特征在于，进行所述预处理的方法包括：使用自动色彩均衡对所述眼底图像进行亮度与色彩的调整，使所述眼底图像色彩呈现更为饱满，对比度更高；采用翻转、旋转、均分后随机拼接的方式对所述数据集进行扩充；对扩充后的所述数据集使用二值分割的方式来提取掩膜，且用伽马校正转换为灰度图像以备后用。

4.根据权利要求1所述的眼底图像血管分割方法，其特征在于，训练所述眼底图像血管分割模型的方法包括：使用二元交叉熵损失函数BCELoss，其计算公式如下：

其中m表示mini-batch，y_i表示样本label，p表示模型的预测结果，当y_i＝1时如果p(y_i)趋近于1，则BCELoss应该趋近于0，当p(y_i)趋近于0，BCELoss则趋向正无穷；

在血管分割模型中，遵循GAN的迭代交替训练规则，每一次的训练过程包括：

从真实样本中抽取m个眼底图像和与其对应的m个金标准图像{x⁽¹⁾，x⁽²⁾，…，x^(m)}，{y⁽¹⁾，y⁽²⁾，...，y^(m)}；

生成器输出对应的m个生成样本{z⁽¹⁾，z⁽²⁾，...，z^(m)}，z⁽ⁱ⁾＝G(x⁽ⁱ⁾)；

固定生成器参数θ_g，通过随机梯度上升来更新判别器

其中D(x⁽ⁱ⁾，y⁽ⁱ⁾)表示D判断y⁽ⁱ⁾为x⁽ⁱ⁾金标准图像的概率，D(x⁽ⁱ⁾，G(x⁽ⁱ⁾))表示D判断x⁽ⁱ⁾为G(x⁽ⁱ⁾)金标准图像的概率；

固定判别器参数θ_d，通过随机梯度下降来更新生成器

5.根据权利要求1所述的眼底图像血管分割方法，其特征在于，验证所述模型准确率的方法包括：在定量分析时选择使用准确性、灵敏度和特异性作为模型性能的评价指标进行评价。

6.一种眼底图像血管分割系统，包括：数据收集模块、预处理模块模块、构建模块和训练模块；

所述数据收集模块用于收集眼底图像的数据集；

所述预处理模块用于对所述收集模块收集的所述数据集进行预处理，得到预备数据集；

所述构建模块用于根据所述预处理模块得到的预备数据集，构建眼底图像血管分割模型；

所述训练模块用于通过训练所述构建模块构建的眼底图像血管分割模型，来提高对血管细节分割的准确率。

7.根据权利要求6所述的眼底图像血管分割系统，其特征在于，所述构建模块的工作流程包括：使用GAN模型，所述GAN模型包括生成网络和判别网络；

在所述生成网络底部运用软注意力单元空洞卷积；

在所述生成网络中添加基于阈值分割的注意力机制，通过提取掩膜的方式使模型训练时的关注区域更准确；

利用所述判别网络进行对所述眼底图像进行判别。

Images