CN110689526B - 基于视网膜眼底图像的视网膜血管分割方法及系统 - Google Patents

Abstract

本发明公开了一种基于视网膜眼底图像的视网膜血管分割方法及系统，属于图像处理技术领域，包括：获取待检测视网膜眼底图像；根据视网膜眼底图像特征构建基础模块；通过级联N个基础模块作为最终的网络模型，将待检测视网膜眼底图像作为整体网络模型的输入，得到视网膜血管的分割结果。通过将前一个基础模块的前景特征和原始图片一起传入到下一个基础模块中，使得后边的基础模块可以继承前边基础模块的学习经验，从而加速了训练过程并有效的解决了数据不平衡的问题；将待检测视网膜眼底图像作为整体模型S‑UNet的输入，得到视网膜血管的分割结果更加准确。

Description

基于视网膜眼底图像的视网膜血管分割方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于视网膜眼底图像的视网膜血管分割方法及系统。

背景技术

眼科医生通常通过检查视网膜眼底图像来评估视网膜血管的临床状况，这是诊断各种眼科疾病的重要指标。然而，这些图像中视网膜血管的手工标记费时、繁琐，需要较丰富的临床经验。因此，视网膜血管的实时自动分割是非常必要的，近年来亦颇受关注。

现有的视网膜血管分割方法可以分为无监督和有监督方法，对于无监督方法，需要根据给定的数据样本手工设计特征提取规则，从而根据提取的特征区分血管和背景组织。例如利用二维核函数拟合视网膜血管特征，生成血管高斯强度剖面；通过视网膜图像计算三维方向评分，然后通过多尺度导数增强血管；采用眼底血管形态学、自适应阈值分割以及血管分割的中心线检测方法进行分割。无监督方法具有样本数据要求低、数据采集成本低等优点。然而，来自小数据集的特性通常是明显的个体特性，尤其血管极具复杂性。

在有监督方法中，视网膜血管分割被视为一个分类问题。在这个问题中，血管和其他组织被认为是两类，并在逐像素的基础上进行分类。基于一组COSFIRE滤波器，训练了SVM分类器，确定了用于血管划分的最具鉴别性的滤波器子集。基于结构输出SVM学习的全连通条件随机场血管分割模型，血管和小波特征相结合，处理了29个特征集，并使用随机森林分类器进行血管分割。与无监督方法相比，有监督方法的计算结果具有较高的计算成本，且受专家标记和工程特征的影响较大。

深度学习在图像分类、图像分割、目标识别、运动跟踪和创建图像字幕等计算机视觉任务中取得了最先进的性能。特别是在医学图像分析的许多语义分割任务中，深度卷积神经网络(Convolutional Neural Networks，CNN)的性能接近于放射科医生。U-Net是医学图像分析中应用最广泛的深度学习体系结构，主要是因为其具有跳接的编解码器结构，在缺乏足够大的数据集的情况下，能够实现高效的信息流和良好的性能。因此，许多变种的U-Net已经提出，比如带有循环卷积神经网络(CNNs)的U-Net分割结构，使用U-Net的注意模块进行胰腺分割，以及提拉米苏结构，将U-Net的卷积层替换为密集块。

然而，眼底图像数据极不平衡：训练数据集通常只有20例，其中阳性病例仅占10-20%。因此，U-Net体系结构不能盲目应用。为了处理数据的不平衡，早期的方法包括提取图像patch，随机选择3000到10000个48×48的图像patch进行训练。然而，这些基于patch的方法收敛速度慢，测试时间长，无法获得实时结果，因此在临床应用中适用性较差。对于小数据集，以往的方法采用了多种数据增强方法，其将空间自适应对比度增强技术应用于视网膜眼底图像进行血管分割，以及使用平稳小波变换(static wavelet transform，SWT)对视网膜眼底图像进行预处理，但SWT预处理是复杂和缓慢的。

发明内容

本发明的目的在于克服现有技术存在的不足，以提高视网膜血管的分割效率。

为实现以上目的，采用一种基于视网膜眼底图像的视网膜血管分割方法，包括如下步骤：

获取待检测视网膜眼底图像；

根据视网膜眼底图像特征构建整体网络模型，该整体网络模型包括采用显著性机制级联的N个基础模块，该基础模块为根据视网膜眼底图像特征所构建，N为正整数且N≥1；

将待检测视网膜眼底图像作为整体网络模型的输入，得到视网膜血管的分割结果。

另一方面，采用一种基于视网膜眼底图像的视网膜血管分割系统，包括数据获取模块、模型构建模块和结果预测模块；

数据获取模块用于获取待检测视网膜眼底图像；

模型构建模块用于根据视网膜眼底图像特征构建整体网络模型，该整体网络模型包括采用显著性机制级联的N个基础模块，该基础模块为根据视网膜眼底图像特征所构建；

结果预测模块用于将待检测视网膜眼底图像作为整体网络模型的输入，得到视网膜血管的分割结果。

与现有技术相比，本发明存在以下技术效果：本发明中根据视网膜眼底图像特征来构建基础模块，并通过级联N个基础模块得到最终的整体网络模型；在整体网络模型中将前一个基础模块的前景特征和原始图片一起传入到下一个基础模块中，使得后边的基础模块可以继承前边的基础模块的学习经验，从而加速了训练过程并有效的解决了数据不平衡的问题；将待检测视网膜眼底图像作为整体模型S-UNet的输入，即可得到视网膜血管的分割结果。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1是一种基于视网膜眼底图像的视网膜血管分割方法的流程示意图；

图2是利用视网膜眼底图像实现视网膜血管分割的原理框图；

图3是S-UNet体系结构示意图；

图4是一种基于视网膜眼底图像的视网膜血管分割系统的结构示意图。

具体实施方式

为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。

如图1-图2所示，本实施例公开了一种基于视网膜眼底图像的视网膜血管分割方法，包括如下步骤S1至S3：

S1、获取待检测视网膜眼底图像；

S2、根据视网膜眼底图像特征构建整体网络模型，该整体网络模型包括采用显著性机制级联的N个基础模块，该基础模块为根据视网膜眼底图像特征所构建，N为正整数且N≥1；

S3、将待检测视网膜眼底图像作为整体网络模型的输入，得到视网膜血管的分割结果。

其中，通过级联N个根据视网膜眼底图像特征所构建的基础模块得到整体网络模型，在整体网络模型中将前一个基础模块的前景特征所形成的注意力区域和原始图片结合一起传入到下一个基础模块中，使得后边的基础模块可以继承前边的基础模块的学习经验，从而加速了训练过程并有效的解决了数据不平衡的问题。

具体来说，上述步骤S2：根据视网膜眼底图像特征构建整体网络模型，包括如下细分步骤S21至S25：

S21、根据视网膜眼底图像的特征，对经典的分割网络进行简化得到所述基础模块；

S22、获取视网膜眼底图像及其对应的手工血管分割图像，构成数据集；

S23、将所述数据集分为训练样本集、验证样本集和测试样本集；

S24、利用训练样本集和验证样本集分别对所述基础模块进行训练和验证，并通过对测试集测试确定所述基础模块的参数；

S25、确定所述基础模块的参数后，采用显著性机制级联N个所述基础模块，得到所述整体网络模型。

进一步地，可以通过不同手段的显著性机制来级联基础模块，显著性机制包括归一化注意力网络、sigmoid注意力网络和局部及全局注意力网络机制。

本实施例中，所述基础模型可根据眼底图像的特征，从经典的分割网络中简化得到，比如将简化经典的U-Net模型简化所得到的Mi-UNet作为基础模块；并通过级联N个Mi-UNet模块作为最终的整体网络模型S-UNet。在整体网络模型中将前一个Mi-UNet模块的前景特征和原始图片一起传入到下一个Mi-UNet模块中，使得后边的Mi-UNet模块可以继承前边Mi-UNet模块的学习经验，从而加速了训练过程并有效的解决了数据不平衡的问题，利用S-UNet进行血管分割过程如图3上方方框部分所示，将待检测视网膜眼底图像作为整体模型S-UNet的输入，即可得到视网膜血管的分割结果，相比较原始U-Net网络，更适合结构清晰的眼底血管图像。

而且以将经典U-Net框架简化为一个适合眼底图像特征的基础架构（Mi-UNet），参见图3右下角方框表示部分。Mi-UNet模块的参数量大幅减少，Mi-UNet模块将参数量从基准U-Net的31.03M大幅减少至0.07M。高效快速的实现了视网膜血管的实时自动分割，且模型较小可以更好的部署到移动端上。相比较原始UNet网络，更适合结构清晰的眼底血管图像。而且经典的模型，参数量计算量都比较大，不易嵌入到其他网络中，只能单独作为一个网络使用，且不能方便的部署到移动端及一些特殊条件下的小内存运行设备上，应用场景受限。本实施例所采用级联方式和模型优化方式可以嵌入到不同经典模型中。

进一步地，所述经典的分割网络包括SPP-Net、SegNet、FCN、UNet和Attention-Net等经典分割网络，根据眼底图像的特征对经典的分割网络简化得到的基础模型包括SPP-Net、SegNet、FCN、U-Net和Attention-Net等经典网络，其简化思路是保持原有经典分割网络的思想及核心模块，比如SPP的结构单元多尺度特征提取模块作为基础模块等。本领域技术人员也可根据实际情况选用其他经典的分割网络进行简化，以得到适用于眼底图像特征的基础模块。

特别地，级联的N个基础模块，可以是经相同的经典分割网络简化得到，也可以是经不同的经典分割网络简化得到。

进一步地，如图3所示，在所述基础模块为对经典的U-Net分割网络进行简化得到时，所述基础模块的网络结构包括输入层input、卷积核为3×3的卷积层conv、归一化网络层BN、激活函数Relu、concat层、反卷积层deconv、池化层maxpool、卷积核为1×1的卷积层conv以及输出层output。

在下采样过程中，卷积层用于提取特征，为了提取更多有用的不同层级的特征，在连续卷积几次之后通过池化层去除冗余的信息，且增大卷积层的感受视野。在上采样过程中，通过反卷积层和卷积层的交叉使用，反卷积层用于增大高级特征的尺寸，逐渐将高级特征还原到图片实际的尺寸大小。在每次卷积过后通过和下采样过程中相同尺寸特征caocat融合，使得特征即包含高级特征也包含细节信息。在每次卷积完后通过归一化网络层BN、激活函数Relu使得模块可以更好的学习眼底图像的特征。在得到最后结果后通过输出层output，利用sigmoid函数和softmax函数的到每个像素的具体结果。

由于眼底图像血管相对结构清晰，但是正样本血管所占比例只有10%-20%左右，极其不平衡，且血管在图像上管径只有不到10个像素，尤其是微血管只有1-2个像素。所以需要减少池化层并且更加关注细节信息，故而细节特征数量是大于高级特征数量的。且整体特征数量较少，主要是因为训练数据集一般较少，只有20张左右，所以少的参数可以更好的拟合分割任务，防止过拟合。

进一步地，在上述步骤S1：在所述获取待检测视网膜眼底图像之后，还包括：

判断所述待检测视网膜眼底图像是否达标；

若是，则将所述待检测视网膜眼底图像作为所述基础模块的输入；

若否，则重新采集待检测视网膜眼底图像。

应当理解的是，在数据集构建过程中，也需判断获取的视网膜眼底图像是否达标，若未达标则重新采集。本实施例中对数据集中的眼底图像和待检测的眼底图像均需进行达标判断，即通过判定视网膜眼底图像是否存在严重损毁或一定程度的丢失，判断指标包括结构相似性DICE指标、AUC面积、灵敏度和特异性等，主要看图片是否还包含有有效的血管组织以及拍摄曝光问题来确定视网膜眼底图像是否达标。若不达标，则需重新采集视网膜眼底图像，以确保模型训练的准确性和得到的视网膜血管分割结果的准确性。

进一步地，本实施例在上述实施例公开内容的基础上还包括如下步骤：

将所述达标的待检测视网膜眼底图像或数据集中的眼底图像进行灰度处理，得到灰度图像；

对灰度图像进行扩增处理，得到扩增后的图像以用于进行视网膜血管分割或模型训练。

需要说明的是，在对数据集中达标的眼底图像或实时采集的待检测的视网膜眼底图像进行灰度处理，以尽可能的消除光照强度等个体差异。并对全图训练，以有效降低推理时间。本实施例中训练过程只需简单的对图像进行垂直和水平翻转扩增即可，且会随着扩增方法的多样性使性能明显提升，本领域技术人员可根据实际情况选用。

在实际应用中，通过可视化Mi-UNet模块的分割结果，一个Mi-UNet 模块的分割结果比较混乱，尤其是在细小的血管区域出现了很多异常值。通过应用显著性机制，利用级联技术将N个Mi-UNet模块连接起来得到图3左下角方框中的整体网络模型。使前一个Mi-UNet的前景特征作为下一个Mi-UNet的前景注意力特征，即将第一个Mi-UNet模块得到的血管特征作为第二个Mi-UNet模块输入的显著信息。下一个Mi-UNet模块也继承了上一个Mi-UNet模块的学习经验，将正样本显著性特征叠加到下一个Mi-UNet的做法增强了输入数据的表达能力，使细小血管区域的分割结果明显得到提高。

通过对不同数量的Mi-UNet体系结构进行多次实验，评估了所提出的S-UNet模型的有效性。当只添加一个Mi-UNet模块时，AUC和F1指标比一个Mi-UNet模块分别高0.57%和0.15%。对于具有三个Mi-UNet模块的体系结构，AUC和F1指标显著提高到98.21%和83.03%。对于四个或更多的Mi-UNet块，AUC测量值达到98.23%，F1值在82.95%左右波动，此时计算量大幅增加。

基于性能指标评估和计算量大小考虑，本实施例选择了具有三个Mi-UNet模块的S-UNet模型作为最优网络结构，其AUC和F1指标分别达到0.9821和0.8303。其中基础模块Mi-UNet参数只有0.07M，总模型参数只有0.21M，与经典模型相比参数量大大减少。

通过比较本实施例中Mi-UNet体系结构与传统U-Net的分割性能，Mi-UNet体系结构的血管分割结果要比U-Net好很多。特别是SE和F1指标分别达到0.9799和0.8231，比传统U-Net分别高出5.62%和0.89%。此外，Mi-UNet的参数量仅为U-Net的0.2%。这些结果验证了Mi-UNet分割结果的有效性和准确性。

而且经典U-Net框架对图像块进行操作，而Mi-UNet以整幅图像作为输入。而且由于经典的分割网络较大，计算量巨大，当全图计算是占用内存资源较大，几何倍数增加，无法有效的部署移动端，而样本不均衡的解决方法之一就是把原始图片切成patch，且他们为了模型结果的提高一般均选用patch方法。本方案中采用整图训练，速度快，一张图得到的时间也比较短，只需要预测一次，而不是对每个patch均预测，且全图中可以有效的是的模型学习到一些全局的特性，而不单单是局部的特征。

如图4所示，本实施例还公开了一种基于视网膜眼底图像的视网膜血管分割系统，包括数据获取模块10、模型构建模块20和结果预测模块30；

数据获取模块10模块用于获取待检测视网膜眼底图像；

模型构建模块20用于根据视网膜眼底图像特征构建整体网络模型，该整体网络模型包括采用显著性机制级联的N个基础模块，该基础模块为根据视网膜眼底图像特征所构建；

结果预测模块用于将待检测视网膜眼底图像作为整体网络模型的输入，得到视网膜血管的分割结果。

进一步地，所述模型构建模块20包括基础模块构建单元21、数据集获取单元22、训练测试单元23和基础模块级联单元24；

基础模块构建单元21用于根据视网膜眼底图像的特征，对经典的分割网络进行简化得到所述基础模块；

数据集获取单元22用于获取视网膜眼底图像及其对应的手工血管分割图像，构成数据集；

训练测试单元23用于将所述数据集分为训练样本集、验证样本集和测试样本集，利用训练样本集和验证样本集分别对所述基础模块进行训练和验证，并通过对测试集测试确定所述基础模块的参数；

基础模块级联单元24用于确定所述基础模块的参数后，采用显著性机制级联N个所述基础模块，得到所述整体网络模型。

其中，所述基础模块包括SPP-Net、SegNet、FCN、U-Net和Attention-Net；

所述显著性机制包括归一化注意力网络、sigmoid注意力网络和局部及全局注意力网络机制。

本实施例通过将模型应用在DRIVE，CHASE_DB1数据集上取得了最优的结果。DRIVE和CHASE_DB1数据集分别在2004年和2009年发布，已有十多年的历史，这些数据集中眼底图像的分辨率小于1000×1000。对于DRIVE数据集，S-UNet在F1、AUC和MCC指标分别达到0.8303、0.9821、0.8055均优于以往报道的其它方法，无论是基于patch的模型还是基于图像的模型。对于CHASE_DB1数据集，S-UNet模型的AUC和F1指标分别达到0.9867和0.8242，结果均优于以往报道的结果。

并且将S-UNet模型在北京同仁医院临床数据集上进行了验证，AUC指标为0.9824，对眼底图像血管的分割只需要0.49s，再次验证了该方法的优良性能。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于视网膜眼底图像的视网膜血管分割方法，其特征在于，包括：

获取待检测视网膜眼底图像；

根据视网膜眼底图像特征构建整体网络模型，该整体网络模型包括采用显著性机制级联的N个基础模块，所述基础模块为根据视网膜眼底图像特征所构建，N为正整数且N≥1；具体为通过级联N个根据视网膜眼底图像特征所构建的基础模块得到整体网络模型，在整体网络模型中将前面所有基础模块的输出和原始图片共同输入到显著性模块中，将显著性模块的输出作为下一个基础模块的输入；

将待检测视网膜眼底图像作为整体网络模型的输入，得到视网膜血管的分割结果；

所述根据视网膜眼底图像特征构建整体网络模型，包括：

根据视网膜眼底图像的特征，对经典的分割网络进行简化得到所述基础模块，所述经典的分割网络包括SPP-Net、SegNet、FCN、UNet和Attention-Net；

获取视网膜眼底图像及其对应的手工血管分割图像，构成数据集；

将所述数据集分为训练样本集、验证样本集和测试样本集；

利用训练样本集和验证样本集分别对所述基础模块进行训练和验证，并通过对测试集测试确定所述基础模块的参数；

确定所述基础模块的参数后，采用显著性机制级联N个所述基础模块，得到所述整体网络模型。

2.如权利要求1所述的基于视网膜眼底图像的视网膜血管分割方法，其特征在于，在所述基础模块为经简化的U-Net模型得到时，所述基础模块网络结构包括输入层input、卷积核为3×3的卷积层conv、归一化网络层BN、激活函数Relu、concat层、反卷积层deconv、池化层maxpool、卷积核为1×1的卷积层conv以及输出层output。

3.如权利要求1所述的基于视网膜眼底图像的视网膜血管分割方法，其特征在于，在所述获取待检测视网膜眼底图像之后，还包括：

判断所述待检测视网膜眼底图像是否达标；

若是，则将所述待检测视网膜眼底图像作为所述基础模块的输入；

若否，则重新采集待检测视网膜眼底图像。

4.如权利要求3所述的基于视网膜眼底图像的视网膜血管分割方法，其特征在于，还包括：

将所述达标的待检测视网膜眼底图像进行灰度处理，得到灰度图像；

对灰度图像进行扩增处理，得到扩增后的图像以用于进行视网膜血管分割。

5.一种基于视网膜眼底图像的视网膜血管分割系统，其特征在于，包括数据获取模块、模型构建模块和结果预测模块；

数据获取模块用于获取待检测视网膜眼底图像；

模型构建模块用于根据视网膜眼底图像特征构建整体网络模型，该整体网络模型包括采用显著性机制级联的N个基础模块，所述基础模块为根据视网膜眼底图像特征所构建，N为正整数且N≥1；具体为通过级联N个根据视网膜眼底图像特征所构建的基础模块得到整体网络模型，在整体网络模型中将前面所有基础模块的输出和原始图片共同输入到显著性模块中，将显著性模块的输出作为下一个基础模块的输入；

结果预测模块用于将待检测视网膜眼底图像作为整体网络模型的输入，得到视网膜血管的分割结果；

所述模型构建模块包括基础模块构建单元、数据集获取单元、训练测试单元和基础模块级联单元；

基础模块构建单元用于根据视网膜眼底图像的特征，对经典的分割网络进行简化得到所述基础模块，所述经典的分割网络包括SPP-Net、SegNet、FCN、UNet和Attention-Net；

数据集获取单元用于获取视网膜眼底图像及其对应的手工血管分割图像，构成数据集；

训练测试单元用于将所述数据集分为训练样本集、验证样本集和测试样本集，利用训练样本集和验证样本集分别对所述基础模块进行训练和验证，并通过对测试集测试确定所述基础模块的参数；

基础模块级联单元用于确定所述基础模块的参数后，采用显著性机制级联N个所述基础模块，得到所述整体网络模型。

Images