CN113724206A - 一种基于自监督学习的眼底图像血管分割方法及系统 - Google Patents

Abstract

本发明公开了一种基于自监督学习的眼底图像血管分割方法及系统，使用的网络模型将U‑net结构进行改进，将不同层特征图相互传递以满足眼底图像细节特征提取的要求，还可通过网络剪枝来提升在分割过程中眼底图像血管分割的速度。然后设计并采用聚合任务策略，将强度变换，随机像素填充，向内填充和向外填充等四种方法相结合，以便在预训练学习过程来获取更多眼底图像的全局特征和细节特征。最后，设计矢量分类任务模块来生成不同的矢量路线，通过网络预测矢量路线训练编码器以获得眼底图像的空间关联特征。本发明可以从无标注数据中学习有效眼底图像特征，需要更少的训练迭代次数和人工标注数据，就能达到与有监督深度学习方法相当的血管分割精度。

Description

一种基于自监督学习的眼底图像血管分割方法及系统

技术领域

本发明属于计算机视觉技术领域，涉及一种眼底图像血管分割方法及系统，尤其涉及一种基于自监督学习的眼底图像血管分割方法及系统。

背景技术

随着社会人们物质和精神素养水平的进一步提高，我国的人均老年率也随之进一步提高。然而，年龄有关疾病、代谢有关疾病的患者死亡率却呈现迅猛上涨，其中眼底病正在成为一个威胁到我国城市居民身体和视力健康的全新挑战。眼底图像分析的方法在医学上能使人们尽早的发现各种眼部疾病，方便病人及时治疗。眼底图像中视网膜血管分割对多种疾病的预测、诊断及后续治疗都有重大意义。临床医生可以通过统计视网膜血管的特性如动脉壁厚度、动静脉管径、血管交叉角及新生毛细血管密度等指标，分析对应的糖网病、高血压、动脉硬化及眼底疾病的病况与机理。

然而，由于眼底图像中视网膜血管个体内的尺度变化大，且缺少大规模的高精度视网膜血管标签数据集，加之现有基于深度学习的视网膜血管分割方法在构建分割网络时往往忽略了视网膜血管的细粒度解剖特征，导致分割结果中微小毛细血管不够精细。

在过去的几十年间，许多研究人员针对视网膜血管分割提出了各种方法。根据各算法的相关原理主要可以分成两类方法：基于有监督的深度神经网络学习的眼底图像血管分割方法、基于自监督学习的眼底图像血管分割方法。采用有监督的深度神经网络的方法进行眼底图像的血管分割通常使用的网络模型是U-net，同时为了提升U-net血管分割的性能研究人员对现有的U-net提出了多种优化方案。采用自监督学习的方法进行血管分割时，自监督网络通常采用和目标网络相同的网络结构，通过特定的重建任务，使得预训练网络提取特定的特征，将得到的特征和网络权重和目标网络共享。当然研究人员对传统的自监督学习预训练任务也进行了优化，出现了任务聚合型的自监督学习网络等。然而，现有的眼底图像血管分割算法，需要利用大量的标注数据，对于眼底图像分割的标注数据质量需求高。

发明内容

为了解决上述技术问题，本发明根据眼底图像血管分割的特点和难点，提供了一种基于自监督学习的眼底图像血管分割方法及系统。

本发明的方法所采用的技术方案是：一种基于自监督学习的眼底图像血管分割方法，包括以下步骤：

步骤1：构建眼底图像样本数据库；

步骤2：对眼底图像样本进行强度变换处理；

步骤3：优化自监督网络，并将变换后的图像输入优化后的自监督网络编码器和解码器进行图像重建的工作；

所述优化后的自监督网络，所述矢量预测分类模块；所述优化后的自监督网络，是在编码器解码器结构不同层之间加入了卷积和反卷积运算，使得不同层的特征图也可以跨层传递；所述矢量预测分类模块，用于将图像分成9块，预置24种不同的矢量路线，通过将不同的眼底图像部分输入网络，自监督网络预测眼底图像的输入矢量路线，通过该任务学习眼底图像的级联细节；

步骤4：将自监督网络的每一个网络层输出的特征图像送入解码器，在上采样的过程中，应用局部对比损失，将特征图像分化成K*K份，取其中的一份计算与其他局部特征图像的对比损失；其中，K为预设值；

步骤5：自监督网络通过训练，获取最优的完备模型参数；

步骤6：将自监督网络预训练的权重导入分割网络，同时将需要进行血管分割的视网膜眼底图像进行预处理；

步骤7：将预处理的视网膜眼底图像放入改进过后的U-net网络进行训练，图像每经过一个Block得到的特征进入融合网络；融合网络将所有前置网络层的特征图，当前Block得到的特征图和自监督网络中同层的特征图进行融合输入到后置模块层；

步骤8：通过自监督网络训练，获取最优的完备血管分割模型参数，将训练参数导入完备血管分割网络，得到完整的完备血管分割网络；

步骤9：将需要分割的眼底图像输入所述完整的完备血管分割网络，获得眼底图像血管分割结果。

本发明的系统所采用的技术方案是：一种基于自监督学习的眼底图像血管分割系统，包括以下模块：

模块1，用于构建眼底图像样本数据库；

模块2，用于对眼底图像样本进行强度变换处理；

模块3，用于优化自监督网络，并将变换后的图像输入优化后的自监督网络编码器和解码器进行图像重建的工作；

所述优化后的自监督网络，所述矢量预测分类模块；所述优化后的自监督网络，是在编码器解码器结构不同层之间加入了卷积和反卷积运算，使得不同层的特征图也可以跨层传递；所述矢量预测分类模块，用于将图像分成9块，预置24种不同的矢量路线，通过将不同的眼底图像部分输入网络，自监督网络预测眼底图像的输入矢量路线，通过该任务学习眼底图像的级联细节；

模块4，用于将自监督网络的每一个网络层输出的特征图像送入解码器，在上采样的过程中，应用局部对比损失，将特征图像分化成K*K份，取其中的一份计算与其他局部特征图像的对比损失；其中，K为预设值；

模块5，用于自监督网络通过训练，获取最优的完备模型参数；

模块6，将自监督网络预训练的权重导入分割网络，同时将需要进行血管分割的视网膜眼底图像进行预处理；

模块7，用于将预处理的视网膜眼底图像放入改进过后的U-net网络进行训练，图像每经过一个Block得到的特征进入融合网络；融合网络将所有前置网络层的特征图，当前Block得到的特征图和自监督网络中同层的特征图进行融合输入到后置模块层；

模块8，用于通过自监督网络训练，获取最优的完备血管分割模型参数，将训练参数导入完备血管分割网络，得到完整的完备血管分割网络；

模块9，将需要分割的眼底图像输入所述完整的完备血管分割网络，获得眼底图像血管分割结果。

本发明采用聚合任务策略，将强度变换，随机像素填充，向内填充和向外填充等四种方法相结合，以便在预训练学习过程来获取更多眼底图像的全局特征和细节特征。同时，设计矢量分类任务模块来生成不同的矢量路线，通过网络预测矢量路线训练编码器以获得眼底图像的空间关联特征。在预训练网络和分割网络中设计并采用全局对比损失和局部对比损失，进一步提升预训练网络模型对眼底图像特征提取能力。针对眼底图像包含大量的空白信息噪声，引入动态损失函数将空白消息排除在损失计算的过程中，优化分割网络。

本发明使用自监督学习思想，将现有的U-net结构进行改进，将不同层特征图相互传递以满足眼底图像细节特征提取的要求，得益于网络结构的改进，还可通过网络剪枝来提升在分割过程中眼底图像血管分割的速度。

本发明可以从无标注数据中学习有效眼底图像特征，需要更少的训练迭代次数和人工标注数据，就能达到与有监督深度学习方法相当的血管分割精度。

附图说明

图1是本发明实施例的原理图。

图2是本发明实施例所针对的眼底图像(包括彩色眼底图像和荧光眼底彩照)。

图3是本发明实施例所针对优化的传统网络结构。

图4是本发明实施例中采用的眼底图像预训练原理图。

图5是本发明实施例的矢量预测预训练模块。

图6是本发明实施例的优化过后的U-net网络结构。

图7是本发明实施例的全局对比学习原理图。

图8是本发明实施例的局部对比学习原理图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明公开了一种基于自监督学习的眼底图像血管分割方法，利用了自监督学习，对比学习，优化后U-net，动态损失函数的优点，能够得到精确的血管分割结果。本发明的方法具体包括以下步骤：

步骤1：通过临床和竞赛等多个平台，获得不同病人的眼底图像，图像类型可以是彩色眼底图像，也可以是荧光眼底彩照FFA图像。通过数据处理模块，获得同等尺寸的眼底图像，初步构建良好的眼底图像样本数据库；请见图2，为本实施例所针对的眼底图像(包括彩色眼底图像和荧光眼底彩照)。

步骤2：为了使自监督网络结构学习到眼底图像的特征，需将眼底图像样本做前置任务，前置任务为强度变换。通过前置任务形成变换后的图像便于自监督网络通过对比学习损失获取视网膜眼底图像的细节；

步骤3：优化自监督网络，并将变换后的图像输入优化后的自监督网络编码器和解码器进行图像重建的工作；

原先的网络结构是编码器-解码器结构，该结构中编码器有四层，解码器也有四层，编码器的每一次通过卷积运算，得到一张特征图，该特征图作为解码器的偏置输入以确保解码器的过程能够充分还原出眼底图像的特征。请见图5，优化后的网络结构为了进一步的提升编码器的性能，将不同层的特征图进行传递，本实施例将原先的编码器解码器结构不同层之间加入了卷积和反卷积运算，使得不同层的特征图也可以跨层传递。在矢量分类模块中，本实施例采用优化过的网络结构中的编码器，调整编码器的输入和输出，通过预测不同的矢量来优化编码器使其能得到确切的眼底图像特征。

本实施例的优化后的自监督网络，包括矢量预测分类模块；矢量预测分类模块，用于将图像分成9块，预置24种不同的矢量路线，通过将不同的眼底图像部分输入网络，自监督网络预测眼底图像的输入矢量路线，通过该任务学习眼底图像的级联细节；

本实施例在重建的过程中，使用全局对比损失来优化自监督网络结构，同一张医学图像经过不相同的强度变换处理后应具有相同的特征，将这类图像作为正样本；同时取其他医学图像作为负样本，计算重建图像与二者的对比损失，使得自监督学习特征更加准确；

对比损失是对于U-Net++的优化；全局对比损失方式就是同一张眼底图片的不同的前置任务图像作为参照，这类图片作为正样本，取其他其他医学图像作为负样本，计算重建图像与二者的对比损失；公式见下：

上式中

g₂（·)表示全连接网络。d_l表示解码器，u，v，u′,v′分别表示不同强度变化切分后特征图小块的块索引，Ω表示正样本集。将同一眼底图像进行多种随机强度变换，变换后的图像输入到网络中获取特征图，对这些特征图进行分块，其中相同位置的分块作为正样本，不同位置的分块作为负样本，以此约束局部对比学习过程，从而提取眼底图像的局部精细特征。

步骤4：将自监督网络的每一个网络层输出的特征图像送入解码器，在上采样的过程中，应用局部对比损失，将特征图像分化成K*K份，取其中的一份计算与其他局部特征图像的对比损失；其中，K为预设值；

请见图7和图8，本实施例通过相同医学图像的不同变换特征图相同局部具有相似性和其他局部具有差异性来约束上采样的过程，从而精确还原眼底图像。

步骤5：自监督网络通过训练，获取最优的完备模型参数；

请见图3和图4，本实施例采用自监督学习思想训练网络，且自监督学习预训练任务采用聚合任务策略，将强度变换，随机像素填充，向内填充和向外填充四种方法相结合。

本发明通过对预训练任务进行设计，针对眼底图像毛细血管特点，预训练任务过后能获得更丰富的眼底图像特征。

步骤6：将自监督网络预训练的权重导入分割网络，同时将需要进行血管分割的视网膜眼底图像进行预处理；

本实施例中，分割网络中的损失函数上，采取动态调整损失函数为：

其中，y_n是真实值，

是预测值，N表示眼底图像样本标记值，N取1，表示第一个样本照片，依次类推；当

的时候，I＝1否则I＝0；通过T值的大小来控制误差。

步骤7：将预处理的视网膜眼底图像放入改进过后的U-net网络进行训练，图像每经过一个Block得到的特征进入融合网络；融合网络将所有前置网络层的特征图，当前Block得到的特征图和自监督网络中同层的特征图进行融合输入到后置模块层；这样做缓解了梯度消失的问题，达到了深监督的效果。

请见图6，本实施例改进过后的U-net网络，是将长连接保留，加入短连接，

改进过后的U-net网络能更好的完成血管分割任务，同时可通过剪枝提升分割速度。

步骤8：通过自监督网络训练，获取最优的完备血管分割模型参数，将训练参数导入完备血管分割网络，得到完整的完备血管分割网络；

步骤9：将需要分割的眼底图像输入完整的完备血管分割网络，获得眼底图像血管分割结果。

本实施例在输出结果的同时，通过网络剪枝，提升分割结果的输出速度。

为了验证算法的效果，本发明在DRIVE数据集，VAMPIRE数据集，iChallenge数据集一以及STARE部分眼底彩照作为实验数据集。下表1是本次实验的测试结果。由表中数据可知，本发明所提出的方法在各项指标上与现有方法相比均占据优势，充分说明本发明在眼底图像血管分割方面的有效性。以下选取了各种眼底图像血管分割的方法，展示测试图像上的分割结果。

表1视网膜血管分割结果

可以看出，COL和RO方法分割结果最差，单任务的自监督学习任务在处理无标注数据上学习的特征不足导致下游分割任务的精确度不佳。使用COL和RO任务进行组合效果较单一任务有大幅的提升，可见对于眼底图像血管分割使用无标注的数据进行预训练的过程中使用多种任务组合可以提升分割的准确性。SimCLR方法在精度指标上有着提升，但是由于眼底血管细节多，该方法在毛细血管的处理上不如本发明。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于自监督学习的眼底图像血管分割方法，其特征在于，包括以下步骤：

步骤1：构建眼底图像样本数据库；

步骤2：对眼底图像样本进行强度变换处理；

步骤3：优化自监督网络，并将变换后的图像输入优化后的自监督网络编码器和解码器进行图像重建的工作；

所述优化后的自监督网络，所述矢量预测分类模块；所述优化后的自监督网络，是在编码器解码器结构不同层之间加入了卷积和反卷积运算，使得不同层的特征图也可以跨层传递；所述矢量预测分类模块，用于将图像分成9块，预置24种不同的矢量路线，通过将不同的眼底图像部分输入网络，自监督网络预测眼底图像的输入矢量路线，通过该任务学习眼底图像的级联细节；

步骤4：将自监督网络的每一个网络层输出的特征图像送入解码器，在上采样的过程中，应用局部对比损失，将特征图像分化成K*K份，取其中的一份计算与其他局部特征图像的对比损失；其中，K为预设值；

步骤5：自监督网络通过训练，获取最优的完备模型参数；

步骤6：将自监督网络预训练的权重导入分割网络，同时将需要进行血管分割的视网膜眼底图像进行预处理；

步骤7：将预处理的视网膜眼底图像放入改进过后的U-net网络进行训练，图像每经过一个Block得到的特征进入融合网络；融合网络将所有前置网络层的特征图，当前Block得到的特征图和自监督网络中同层的特征图进行融合输入到后置模块层；

步骤8：通过自监督网络训练，获取最优的完备血管分割模型参数，将训练参数导入完备血管分割网络，得到完整的完备血管分割网络；

步骤9：将需要分割的眼底图像输入所述完整的完备血管分割网络，获得眼底图像血管分割结果。

2.根据权利要求1所述的基于自监督学习的眼底图像血管分割方法，其特征在于：步骤3中，使用全局对比损失来优化自监督网络结构，同一张医学图像经过不相同的强度变换处理后应具有相同的特征，将这类图像作为正样本；同时取其他医学图像作为负样本，计算重建图像与二者的对比损失，使得自监督学习特征更加准确。

3.根据权利要求1所述的基于自监督学习的眼底图像血管分割方法，其特征在于：步骤4中，通过相同医学图像的不同变换特征图相同局部具有相似性和其他局部具有差异性来约束上采样的过程，从而精确还原眼底图像。

4.根据权利要求1所述的基于自监督学习的眼底图像血管分割方法，其特征在于：步骤5中，采用自监督学习思想训练网络，且自监督学习预训练任务采用聚合任务策略，将强度变换，随机像素填充，向内填充和向外填充四种方法相结合。

5.根据权利要求1所述的基于自监督学习的眼底图像血管分割方法，其特征在于：步骤6中，分割网络中的损失函数上，采取动态调整损失函数为：

其中，y_n是真实值，

是预测值，N表示眼底图像样本标记值，N取1，表示第一个样本照片，依次类推；当

的时候，I＝1否则I＝0；通过T值的大小来控制误差。

6.根据权利要求1所述的基于自监督学习的眼底图像血管分割方法，其特征在于：步骤7中，所述改进过后的U-net网络，是将长连接保留，加入短连接。

7.根据权利要求1-6任意一项所述的基于自监督学习的眼底图像血管分割方法，其特征在于：步骤9中，在输出结果的同时，通过网络剪枝，提升分割结果的输出速度。

8.一种基于自监督学习的眼底图像血管分割系统，其特征在于，包括以下模块：

模块1，用于构建眼底图像样本数据库；

模块2，用于对眼底图像样本进行强度变换处理；

模块3，用于优化自监督网络，并将变换后的图像输入优化后的自监督网络编码器和解码器进行图像重建的工作；

所述优化后的自监督网络，所述矢量预测分类模块；所述优化后的自监督网络，是在编码器解码器结构不同层之间加入了卷积和反卷积运算，使得不同层的特征图也可以跨层传递；所述矢量预测分类模块，用于将图像分成9块，预置24种不同的矢量路线，通过将不同的眼底图像部分输入网络，自监督网络预测眼底图像的输入矢量路线，通过该任务学习眼底图像的级联细节；

模块4，用于将自监督网络的每一个网络层输出的特征图像送入解码器，在上采样的过程中，应用局部对比损失，将特征图像分化成K*K份，取其中的一份计算与其他局部特征图像的对比损失；其中，K为预设值；

模块5，用于自监督网络通过训练，获取最优的完备模型参数；

模块6，将自监督网络预训练的权重导入分割网络，同时将需要进行血管分割的视网膜眼底图像进行预处理；

模块7，用于将预处理的视网膜眼底图像放入改进过后的U-net网络进行训练，图像每经过一个Block得到的特征进入融合网络；融合网络将所有前置网络层的特征图，当前Block得到的特征图和自监督网络中同层的特征图进行融合输入到后置模块层；

模块8，用于通过自监督网络训练，获取最优的完备血管分割模型参数，将训练参数导入完备血管分割网络，得到完整的完备血管分割网络；

模块9，将需要分割的眼底图像输入所述完整的完备血管分割网络，获得眼底图像血管分割结果。

Images