CN113781490A - 基于自监督学习的眼底血管图像分割方法 - Google Patents

Abstract

本发明提供的一种基于自监督学习的眼底血管图像分割方法，包括：S1.设定数据集，该数据集包括带标签图像样本D和无标签的同一患者的左右眼球图像信息X^T∈{L,R}，S2.基于辅助任务构建自监督网络，其中，自监督网络由两个相同的U‑Net网络组成，两个并行的U‑Net网络分别标记为baseline(a)和baseline(b)；S3.构建图像分割损失模型，将带标签图像样本D和无标签的同一患者的左右眼图像信息X^T∈{L,R}分别输入至baseline(a)和由baseline(a)和baseline(b)组成的自监督模块中，通过交叉熵损失函数和局部一致性对比损失函数对baseline(a)网络的参数进行优化，训练过程中baseline(b)的网络参数由baseline(a)动量传递获得；S4.将待测的左右眼图像信息输入至优化后的自监督网络中任一网络进行图像分割处理，得到最终的分割结果，通过上述方法，能够对眼底血管图像进行精确分割。

Description

基于自监督学习的眼底血管图像分割方法

技术领域

本发明涉及一种图像分割方法，尤其涉及一种基于自监督学习的眼底血管图像分割方法。

背景技术

眼底血管(即视网膜血管)图像分割结果可以作为眼底疾病患者的诊断依据，也可以为其他疾病并发症状提供病理参考，比如，糖尿病、高血压。

现有的眼底图像分割算法中，大多基于深度学习的视网膜血管图像分割方法大多依赖临床专家手工分割的标注图片。然而，由于血管结构的复杂性以及眼球图像的低对比度，这使得标注样本成了一项繁重且昂贵的工作，同时由于专家在标注过程中的主观因素，最后会导致标注样本具有不准确性。

因此，为了解决上述技术问题，亟需提出一种新的技术手段。

发明内容

有鉴于此，本发明的目的是提供一种基于自监督学习的眼底血管图像分割方法，能够对眼底血管图像进行精确分割，能够有效提高对眼底血管图像的分割能力，而且为后续的眼部疾病诊断提供准确的病理依据。

本发明提供的一种基于自监督学习的眼底血管图像分割方法，包括以下步骤：

S1.设定数据集，该数据集包括带标签图像样本D和无标签的同一患者的左右眼球图像信息X^T∈{L,R}，其中，D∈R^C×H×W(Y_i,X_i)，其中，当T＝L时，X^L表示患者的左眼图像，当T＝R时，X^R表示患者的右眼图像，R^C×H×W(Y_i,X_i)表示第C个图像通道的右眼图像，H和W表示图像的长和宽，(Y_i,X_i)表示第C个图像且图像的长和宽为H和W时的第i个像素点；

S2.基于辅助任务构建自监督网络，其中，自监督网络由两个并行的U-Net网络组成，两个并行的U-Net网络分别标记为baseline(a)和baseline(b)；

S3.构建图像分割损失模型，将带标签图像样本D和无标签的同一患者的左右眼图像信息X^T∈{L,R}输入至自监督网络中，通过对损失函数对自监督网络中的网络baseline(a)的参数进行优化；其中，损失函数为：

L_total＝L_BCE+L_con+L_rec；其中，L_BCE为将网络baseline(a)作为监督网络的监督损失，L_con为自监督网络的对比损失，L_rec为对自监督网络进行训练后的重建损失；

S4.将待测的左右眼图像信息输入至优化后的自监督网络中任一网络进行图像分割处理，得到最终的分割结果。

进一步，步骤S3中，通过如下方法确定自监督网络的对比损失L_con：

将无标签的同一患者左右眼图像信息X^T∈{L,R}输入至自监督网络中；

由U-Net网络的编码器f_enc对图像信息X^T∈{L,R}进行处理，提取出图像信息中的主干特征和其他特征，其中，主干特征包括左眼图像主干特征p(L)和右眼图像主干特征p(R)，其他特征包括左眼其他特征n(L)和右眼其他特征n(R)，其中：

f_enc(X^L)＝p(L)+n(L) (1)

f_enc(X^R)＝p(R)+n(R) (2)；

将公式(1)和公式(2)中的主干特征信息进行交叉融合得到：

f′_enc(X^L)＝p(R)+n(L) (3)

f′_enc(X^R)＝p(L)+n(R) (4)

基于先验指示可知左眼主干特征和右眼主干特征相似且有：p(R)≈p(L)(5)；

那么：f′_enc(X^L)≈f′_enc(X^R)；

将特征融合后的左眼特征和右眼特征输入至U-Net网络的解码器f_dec中进行图像重构，得到左眼和右眼的图像重建特征：

Z_L＝f_dec(f′_enc(X^L))

Z_R＝f_dec(f′_enc(X^R))；

基于图像重建特征构建对比损失L_con：

L_con＝(p(L)-p(R))²+(n(L)-n(R))²。

进一步，通过如下方法确定监督损失L_BCE：

其中，N表示带标签的图像样本的个数，g_n,i是像素i对应的真实值，p_n,i表示像素i属于n类时的预测概率值。

进一步，通过如下方法对自监督网络中的baseline(a)和baseline(b)的参数进行优化：

将自监督网络中的U-Net网络baseline(a)设定为监督网络；

将带标签的图像样本D输入至U-Net网络baseline(a)中进行训练并基于监督损失L_BCE对网络baseline(a)的参数进行优化；然后将无标签的同一患者的左右眼球图像信息X^{T ∈{L,R}}输入至U-Net网络baseline(a)中进行训练并基于对比损失L_con和重建损失L_rec对网络baseline(a)的参数进行优化；

将网络baseline(a)优化后的参数通过如下传递函数赋值给baseline(b)网络：

w_t+1＝μw+(1-μ)q，其中：q为baseline(a)的模型参数，w为baseline(b)的模型参数；μ为动量因子，w_t+1为更新后的baseline(b)参数。

进一步，根据如下方法确定重建损失L_rec：

将左眼重建特征输入至softmax函数中得到概率图；

将右眼重建特征作为伪标签，并基于伪标签和概率图构建重建损失L_rec：

其中，F_θ(×)为自适应池化函数，M为l₂正则化，N为输入样本数量，ε为拉普拉斯平滑系数。

本发明的有益效果：通过本发明，能够对眼底血管图像进行精确分割，能够有效提高对眼底血管图像的分割能力，而且为后续的眼部疾病诊断提供准确的病理依据。

附图说明

下面结合附图和实施例对本发明作进一步描述：

图1为本发明的流程图。

图2为本发明的自监督网络模型图。

图3为左右眼球血管分布对比图。

具体实施方式

以下结合说明书附图对本发明做出进一步详细说明：

本发明提供的一种基于自监督学习的眼底血管图像分割方法，包括以下步骤：

S1.设定数据集，该数据集包括带标签图像样本D和无标签的同一患者的左右眼球图像信息X^T∈{L,R}，其中，D∈R^C×H×W(Y_i,X_i)，其中，当T＝L时，X^L表示患者的左眼图像，当T＝R时，X^R表示患者的右眼图像，R^C×H×W(Y_i,X_i)表示第C个图像通道的右眼图像，H和W表示图像的长和宽，(Y_i,X_i)表示第C个图像且图像的长和宽为H和W时的第i个像素点；其中，带标签图像样本D是指经过专家分割处理后的图像，并具有分割标签信息，每一个图像对应一个分割标签信息。

S2.基于辅助任务构建自监督网络，其中，自监督网络由两个并行的U-Net网络组成，两个并行的U-Net网络分别标记为baseline(a)和baseline(b)；其中，辅助任务为同一患者的左右眼球的血管主干分布具有相似性这一先验知识；如图3所示；

S3.构建图像分割损失模型，将带标签图像样本D和无标签的同一患者的左右眼图像信息X^T∈{L,R}输入至自监督网络中，通过对损失函数对自监督网络中的网络baseline(a)的参数进行优化；其中，损失函数为：

L_total＝L_BCE+L_con+L_rec；其中，L_BCE为将网络baseline(a)作为监督网络的监督损失，L_con为自监督网络的对比损失，L_rec为对自监督网络进行训练后的重建损失，具体如下：

将带标签图像样本D和无标签的同一患者的左右眼图像信息X^T∈{L,R}分别输入至baseline(a)和由baseline(a)和baseline(b)组成的自监督模块中，baseline(a)通过图像标签可以利用交叉熵损失(即监督损失L_BCE)进行优化，而自监督模块包含两个损失分别为：对比损失和局部一致性重建损失函数(即重建损失L_rec)，这两个损失只作用于baseline(a),即让baseline(a)可以通过损失进行反向传播更新梯度，而baseline(b)不进行反向传播，其网络参数由baseline(a)每轮参数更新后动量传递获得；这意味着整个模型有三个损失函数对baseline(a)进行优化，从而确保最终结果的准确性，由于上述方式，两个网络的参数时一致的，因此，将待测图像输入至任一网络中均可以得到最终的结果。

S4.将待测的左右眼图像信息输入至优化后的自监督网络中任一网络进行图像分割处理，得到最终的分割结果，即是说：通过步骤S2和S3处理后，将待测图像输入到baseline(a)和baseline(b)任一网络中均能够得到最终精确的分割结果；通过上述方法，能够对眼底血管图像进行精确分割，能够有效提高对眼底血管图像的分割能力，而且为后续的眼部疾病诊断提供准确的病理依据。

本实施例中，步骤S3中，通过如下方法确定自监督网络的对比损失L_con：

将无标签的同一患者左右眼图像信息X^T∈{L,R}输入至自监督网络中；

由U-Net网络的编码器f_enc对图像信息X^T∈{L,R}进行处理，提取出图像信息中的主干特征和其他特征，其中，主干特征包括左眼图像主干特征p(L)和右眼图像主干特征p(R)，其他特征包括左眼其他特征n(L)和右眼其他特征n(R)，其中：

f_enc(X^L)＝p(L)+n(L) (1)

f_enc(X^R)＝p(R)+n(R) (2)；

将公式(1)和公式(2)中的主干特征信息进行交叉融合得到：

f′_enc(X^L)＝p(R)+n(L) (3)

f′_enc(X^R)＝p(L)+n(R) (4)

基于先验指示可知左眼主干特征和右眼主干特征相似且有：p(R)≈p(L)(5)；

那么：f′_enc(X^L)≈f′_enc(X^R)；

将特征融合后的左眼特征和右眼特征输入至U-Net网络的解码器f_dec中进行图像重构，得到左眼和右眼的图像重建特征：

Z_L＝f_dec(f′_enc(X^L))

Z_R＝f_dec(f′_enc(X^R))；

基于图像重建特征构建对比损失L_con：

L_con＝(p(L)-p(R))²+(n(L)-n(R))²，通过上述方法，能够使得整个自监督网络对无标签的图像进行学习，从而能够提升整个过程的速度，效率高。

本实施例中，通过如下方法确定监督损失L_BCE：

其中，N表示带标签的图像样本的个数，g_n,i是像素i对应的真实值，p_n,i表示像素i属于n类时的预测概率值。

本实施例中，通过如下方法对自监督网络中的baseline(a)和baseline(b)的参数进行优化：

将自监督网络中的U-Net网络baseline(a)设定为监督网络；

将带标签的图像样本D输入至U-Net网络baseline(a)中进行训练并基于监督损失L_BCE对网络baseline(a)的参数进行优化；然后将无标签的同一患者的左右眼球图像信息X^{T ∈{L,R}}输入至U-Net网络baseline(a)中进行训练并基于对比损失L_con和重建损失L_rec对网络baseline(a)的参数进行优化；

将网络baseline(a)优化后的参数通过如下传递函数赋值给baseline(b)网络：

w_t+1＝μw+(1-μ)q，其中：q为baseline(a)的模型参数，w为baseline(b)的模型参数；μ为动量因子，w_t+1为更新后的baseline(b)参数，由于在上述中，对于baseline(a)的参数优化是基于监督学习进行的，而自监督网络对baseline(a)网络具有辅助训练作用，以提升整个算法的精度，但是，自监督网络对无标签样本进行学习和监督网络(即baseline(a))出现偏差会影响整个网络的性能，因此，通过上述方法，对于baseline(b)网络采用上述方法进行参数优化更新，能够提升baseline(b)的自身学习能力，而且避免自监督网络对无标签样本进行学习和监督网络(即baseline(a))出现偏差，从而保证整个过程的精度。

本实施例中，根据如下方法确定重建损失L_rec：

将左眼重建特征输入至softmax函数中得到概率图；softmax函数为U-Net中的函数，为现有技术中；

将右眼重建特征作为伪标签，并基于伪标签和概率图构建重建损失L_rec：

其中，F_θ(·)为自适应池化函数，M为l₂正则化，N为输入样本数量，ε为拉普拉斯平滑系数。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于自监督学习的眼底血管图像分割方法，其特征在于：包括以下步骤：

S1.设定数据集，该数据集包括带标签图像样本D和无标签的同一患者的左右眼球图像信息X^T∈{L,R}，其中，D∈R^C×H×W(Y_i,X_i)，其中，当T＝L时，X^L表示患者的左眼图像，当T＝R时，X^R表示患者的右眼图像，R^C×H×W(Y_i,X_i)表示第C个图像通道的右眼图像，H和W表示图像的长和宽，(Y_i,X_i)表示第C个图像且图像的长和宽为H和W时的第i个像素点；

S2.基于辅助任务构建自监督网络，其中，自监督网络由两个并行的U-Net网络组成，两个并行的U-Net网络分别标记为baseline(a)和baseline(b)；

S3.构建图像分割损失模型，将带标签图像样本D和无标签的同一患者的左右眼图像信息X^T∈{L,R}输入至自监督网络中，通过对损失函数对自监督网络中的网络baseline(a)的参数进行优化；其中，损失函数为：

L_total＝L_BCE+L_con+L_rec；其中，L_BCE为将网络baseline(a)作为监督网络的监督损失，L_con为自监督网络的对比损失，L_rec为对自监督网络进行训练后的重建损失；

S4.将待测的左右眼图像信息输入至优化后的自监督网络中任一网络进行图像分割处理，得到最终的分割结果。

2.根据权利要求1所述基于自监督学习的眼底血管图像分割方法，其特征在于：步骤S3中，通过如下方法确定自监督网络的对比损失L_con：

将无标签的同一患者左右眼图像信息X^T∈{L,R}输入至自监督网络中；

由U-Net网络的编码器f_enc对图像信息X^T∈{L,R}进行处理，提取出图像信息中的主干特征和其他特征，其中，主干特征包括左眼图像主干特征p(L)和右眼图像主干特征p(R)，其他特征包括左眼其他特征n(L)和右眼其他特征n(R)，其中：

f_enc(X^L)＝p(L)+n(L) (1)

f_enc(X^R)＝p(R)+n(R) (2)；

将公式(1)和公式(2)中的主干特征信息进行交叉融合得到：

f′_enc(X^L)＝p(R)+n(L) (3)

f′_enc(X^R)＝p(L)+n(R) (4)

基于先验指示可知左眼主干特征和右眼主干特征相似且有：p(R)≈p(L) (5)；

那么：f′_enc(X^L)≈f′_enc(X^R)；

将特征融合后的左眼特征和右眼特征输入至U-Net网络的解码器f_dec中进行图像重构，得到左眼和右眼的图像重建特征：

Z_L＝f_dec(f′_enc(X^L))

Z_R＝f_dec(f′_enc(X^R))；

基于图像重建特征构建对比损失L_con：

L_con＝(p(L)-p(R))²+(n(L)-n(R))²。

3.根据权利要求2所述基于自监督学习的眼底血管图像分割方法，其特征在于：通过如下方法确定监督损失L_BCE：

其中，N表示带标签的图像样本的个数，g_n,i是像素i对应的真实值，p_n,i表示像素i属于n类时的预测概率值。

4.根据权利要求3所述基于自监督学习的眼底血管图像分割方法，其特征在于：通过如下方法对自监督网络中的baseline(a)和baseline(b)的参数进行优化：

将自监督网络中的U-Net网络baseline(a)设定为监督网络；

将带标签的图像样本D输入至U-Net网络baseline(a)中进行训练并基于监督损失L_BCE对网络baseline(a)的参数进行优化；然后将无标签的同一患者的左右眼球图像信息X^{T ∈{L,R}}输入至U-Net网络baseline(a)中进行训练并基于对比损失L_con和重建损失L_rec对网络baseline(a)的参数进行优化；

将网络baseline(a)优化后的参数通过如下传递函数赋值给baseline(b)网络：

w_t+1＝μw+(1-μ)q，其中：q为baseline(a)的模型参数，w为baseline(b)的模型参数；μ为动量因子，w_t+1为更新后的baseline(b)参数。

5.根据权利要求2所述基于自监督学习的眼底血管图像分割方法，其特征在于：根据如下方法确定重建损失L_rec：

将左眼重建特征输入至softmax函数中得到概率图；

将右眼重建特征作为伪标签，并基于伪标签和概率图构建重建损失L_rec：

其中，F_θ(×)为自适应池化函数，M为l₂正则化，N为输入样本数量，ε为拉普拉斯平滑系数。

Images