CN112669285B - 基于共享解码器和残差塔式结构的眼底图像血管分割方法 - Google Patents

Abstract

本发明公开了一种基于共享解码器和残差塔式结构的眼底图像血管分割方法，所述方法包括以下步骤：通过数据输入模块得到训练数据集图像块、测试数据集图像块；通过残差塔式模块，得到残差塔式序列；通过编码模块得到多等级语义特征；通过共享解码模块，得到多等级概率图；将多尺度标签、残差塔式序列、共享解码器得到的概率图构造成模型总损失，并利用PyTorch进行梯度优化，训练编码模块、共享解码模块中的参数；将测试数据集图像块依次输入到训练后的编码模块和共享解码模块以得到概率图，对所得概率图并进行拼接、二值化处理得到最终的分割结果。本发明解决了血管口径分布不均、眼底图像对比度较弱问题。

Description

基于共享解码器和残差塔式结构的眼底图像血管分割方法

技术领域

本发明涉及图像处理技术领域，更具体地，涉及基于共享解码器和残差塔式结构的眼底图像血管分割方法。

背景技术

视网膜血管的精确分割对于糖尿病视网膜病变、老年性黄斑病变、青光眼等眼科疾病的诊断起着关键的作用。该技术的目的是将眼底图像进行像素级别的分类，即判断每个像素点是否为视网膜血管。

针对视网膜血管的分割问题，目前主流的技术包括U型网络(U-Net)及其改进方法。U型网络由编码器和解码器串联而成。为了提升U型网络的分割效果，主要的改进方法有多模块网络方法(MS-NFN)和双路编码U型网络(DEU-Net)。

多模块网络方法(Yicheng Wu,Yong Xia,Yang Song,Yanning Zhang,WeidongCai.Multiscale Network Followed Network Model for Retinal VesselSegmentation.International Conference on Medical Image Computing andComputer-Assisted Intervention.Sept.16-20,2018:119-126,Granada,Spain.)通过设计上采样池化连接网络模块和池化上采样连接网络模块，并分别将他们集成为多尺度连接网络。上采样池化连接网络模块由两组上采样层和最大池化层串联而成；池化上采样连接网络模块由两组最大池化层和上采样层串联而成。由于多尺度连接模块的设计，该模型能够有效地提升多尺度血管的分割效果。

为了增大网络感受野并提取到丰富的空间信息，双路编码U型网络(Bo Wang,Shuang Qiu,Huiguang He.Dual Encoding U-Net for Retinal VesselSegmentation.International Conference on Medical Image Computing andComputer-Assisted Intervention.Oct.13-17,2019:84-92,Shenzhen,China)设计了由空间路径和上下文路径并联的编码器。空间路径利用较大步幅(stride)的卷积核以保存空间信息；上下文路径利用多尺度卷积块以捕捉不同感受野的语义信息。网络的特征融合模块，将两个路径得到的不同层次的特征表示结合起来，最终提升分割精度。

以上方法通过引入多尺度模块，并将他们融合得到集成模型。这些方法在一定程度上改进了网络对多尺度语义特征的学习效果，但还存在如下不足之处：一方面，多尺度模块的设计导致模型的计算复杂度高，而且这些模块之间缺乏共享机制；另一方面，以上方法考虑的是由输出概率图和标签构成的全局损失，其中的背景和动脉区域占据了大量的面积，导致模型对毛细血管和血管边缘这些难度较大区域的特征学习不充分。

发明内容

本发明为克服上述现有技术中眼底图像血管分割时，无法有效解决血管口径分布不均、眼底图像对比度较弱问题，提供基于共享解码器和残差塔式结构的眼底图像血管分割方法。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

基于共享解码器和残差塔式结构的眼底图像血管分割方法，所述方法利用处理模块实现，所述处理模块包括：数据输入模块、残差塔式模块、编码模块、共享解码模块、损失模块、数据输出模块，所述方法包括以下步骤：

S1：数据输入模块接收带标签的训练数据集和待分割的测试数据集，并分别进行切片预处理得到训练数据集图像块、测试数据集图像块；

S2：将训练数据集图像块的标签输入残差塔式模块，并将其进行多尺度下采样，构造多尺度标签，将多尺度标签上采样到与训练数据集图像块相同的分辨率，对上采样后的多尺度标签利用异或运算生成相邻尺度标签的残差，对残差下采样输出残差塔式序列；

S3：将训练数据集图像块输入至编码模块，所述编码模块利用交替串联的L个双重卷积层和(L-1)下采样对训练数据集图像块处理，得到多等级语义特征；

S4：将多等级语义特征输入至共享解码模块进行共享解码，输出(L-1)个概率图；

S5：将多尺度标签、残差塔式序列、共享解码器得到的概率图构造成模型总损失，并利用PyTorch进行梯度优化，训练编码模块、共享解码模块中的参数；

S6：将测试数据集图像块利用训练后的编码模块、共享解码模块进行处理得到测试数据集图像块的概率图，数据输出模块对测试数据集图像块的概率图进行拼接，拼接后的概率图进行二值化处理得到最终的分割结果。

进一步地，编码模块和共享解码模块构成一个共2L层的U型网络。

进一步地，步骤S1数据输入模块接收带标签的训练数据集和待分割的测试数据集，并分别进行切片预处理得到训练数据集图像块、测试数据集图像块，具体过程为：

S101：输入训练数据集中的二维RGB眼底图像，记其高度为H像素，宽度为W像素；

S102：对二维RGB眼底图像进行灰度化处理，得到灰度图像；

S103：对灰度图像及其对应的图像标签进行随机式切片操作，所述的随机式切片操作步骤为：在待切片的图像的左上角(H-47)×(W-47)的区域内，随机选取一点，并以该点为顶点，分别向右方和下方作48像素长度的边长，截取出48×48的训练数据集图像块I及对应的标签G₀；

S104：将待分割的测试数据集中的图像先进行灰度化处理，得到灰度图像；

S105：将步骤S104得到的灰度图像进行顺序式切片操作，所述顺序式切片操作步骤为：从待切片图像的左上角开始，将整幅图像切成不重叠的32×32的小块图像，对于四周不足32个像素点的区域，利用镜像处理将整个图像进行翻转；再以32×32的小块图像为中心，向上下左右各伸展16个像素点，即得到像素为48×48的测试数据集图像块T。

进一步地，步骤S2的具体过程为：

S201：利用最近邻插值法，对训练数据集图像块的标签G₀连续地进行K次图像缩放，每次缩放都将图像的长宽缩小为原来的1/2，记K次图像缩放得到的结果为G_k(k＝1,…,K)，即多尺度标签；

S202：利用最近邻插值法，对G_k(k＝1,…,K)分别进行图像缩放，使得缩放后的图像达到与训练数据集图像块相同的分辨率，记放缩后的图像为G'_k(k＝1,…,K)；

S203：对G'_k(k＝1,…,K)中的相邻图像进行异或运算、哈达玛积、补集运算，得到残差图像，公式如下

式中G′₀＝G₀，

⊙分别为异或运算、哈达玛积，(·)^C为图像中每个像素的补集运算；

S204：利用最近邻插值法，对残差图像A_k(k＝0,1,…,K)分别进行图像缩放，缩放后的图像的长宽为原来的2^-k倍，记放缩后的图像为R_k(k＝0,1,…,K)，即残差塔式序列。

进一步地，步骤S3具体过程为：

S301：训练数据集图像块输入到编码模块的双重卷积层f₁(·)中，f₁(·)包含串联的卷积操作和修正线性单元，即f₁(·)≡max(c_1,2(max(c_1,1(·),0)),0)，

式中c_1,1(·)、c_1,2(·)表示滤波器尺寸为3×3的卷积操作，记得到的特征为

E₁＝f₁(I)；

S302：将步骤S301得到的特征输入到滤波器尺寸为2×2的最大池化操作d₂(·)中，再输入到双重卷积层f₂(·)(f₂(·)的定义和f₁(·)一样，但参数不共享，故用下标“1”和“2”区分)中，得到下一等级的特征，即

E₂＝f₂(d₂(E₁))；

S303：重复步骤302，得到多等级语义特征E_l(l＝1,2,…,L)，即

E_l＝f_l(d_l(E_l-1)),l＝1,2,…,L,

其中d₁(E₀)＝I，l表示等级序号。

进一步地，将多等级语义特征输入至共享解码模块进行共享解码，输出(L-1)个概率图具体步骤为：

S401：将编码模块输出的第L等级语义特征将E_L输入到滤波器尺寸为2×2的反卷积操作u_L+1(·)中，并将得到的特征与E_L-1衔接(即在通道维度上进行拼接)，输入到双重卷积层f_L+1(·)(f_L+1(·)的定义和f₁(·)一样)中进行解码，得到解码后的特征D₁，公式为

D₁＝f_L+1[u_L+1(E_L),E_L-1]

S402：将特征D₁、E_L-2输到第1个共享解码器中，共享解码器包含了一个滤波器尺寸为2×2的反卷积操作u₁(·)和共享双重卷积f₁ ^s(·)(需要说明的是，f₁ ^s(·)的定义和f₁(·)一样，但处理的对象不同，故用有无上标“s”区分两者)；共享解码器输出特征D₂、F_2,1，公式为

D₂＝f₁ ^s[u₁(D₁),E_L-2]

F_2,1＝f₁ ^s(D₁)

S403：对步骤402输出的特征重复进行(L-3)次步骤402，由此组成(L-2)个共享解码器，第i(i＝1,2,…,L-2)个共享解码器的操作公式为

D_i+1＝f_i ^s[u_i(D_i),E_L-i-1]，

F_i+1,j+1＝f_i ^s(F_i,j),j＝0,1,…,i-1，

其中F_i,0＝D_i；

S404：将步骤403中第(L-2)个共享解码器输出的特征，输入到第(L-1)个共享解码器

中，

包含一个滤波器尺寸为1×1卷积操作和一个Sigmoid激活函数，输出概率图O_j：

进一步地，步骤S5的具体过程为：

S501：利用多尺度标签G_k(k＝0,1,…,K)、残差塔式序列R_k(k＝0,1,…,K)、共享解码器得到的概率图O_j(j＝0,1,…,L-2)，令K＝L-2，构造总损失：

其中全局损失

采用戴斯损失函数，即

其中全一向量e＝[1,…,1]^T，||·||_F表示弗罗伯尼范数，ε＝1为避免分母为0的正则常数；该损失考虑整个预测概率图O₀与原始标签G₀之间所有像素点的差异；塔式损失采用交叉熵损失函数，即

考虑了分割难度较小的背景和血管中心线区域，

则考虑分割难度较大的血管边缘和毛细血管区域，λ_k为

的权重参数；

S502：损失

对概率图O_k求导，得到

其中

为哈达玛除运算；依据链式求导法则，可以求出其余网络参数的导数。

S503：设置权重参数λ_k(k＝0,…,K)、同时选取用于计算梯度平均值的系数β₁、用于计算梯度平方的系数β₂以及学习率为设定值的Adam优化器，利用PyTorch机器学习库，完成反向传播过程，更新网络参数。

进一步地，步骤S6的具体过程为：

S601：将测试数据集图像块输入至训练后的编码模块处理，输出测试数据集图像块的多等级语义特征，将测试数据集图像块的多等级语义特征输入至共享解码模块进行处理得到测试数据集图像块的概率图，数据输出模块对测试数据集图像块的概率图进行不重叠的拼接；

S602：将拼接后的概率图进行二值化处理得到最终的分割结果。

进一步地，所述不重叠的拼接具体过程为：

将每一个48×48的测试数据集图像块的概率图向中心截取32×32的区域(被切除的周围16个像素是相邻切片的重叠区域)，依次将这些32×32的切片进行拼接，拼接后的完整概率图的高度为H像素，宽度为W像素。

进一步地，二值化处理过程为：对测试数据集图像块任意一个像素点，若其概率值大于0.5，则令其为1，否则为0，输出最终的分割结果。

与现有技术相比，本发明技术方案的有益效果是：

本发明通过构建共享解码器将多尺度特征同时输入到一个共享双重卷积中，学习多尺度语义信息，并对多尺度特征进行解码，解决了解决血管口径分布不均问题；通过残差塔式结构的塔式损失强化了对眼底图像对比度较弱区域的学习，进而全面提升了眼底图像血管的分割效果。

附图说明

图1为本方明方法流程图。

图2为本发明网络结构简图。

图3为本发明残差塔式结构图。

图4为本发明灰度处理后的眼底图像。

图5为本发明眼底图像血管分割结果图。

图6为本发明眼底图像血管分割结果图的标签。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例1

如图1所示，基于共享解码器和残差塔式结构的眼底图像血管分割方法，所述方法利用处理模块实现，所述处理模块包括：数据输入模块、残差塔式模块、编码模块、共享解码模块、损失模块、数据输出模块，其中，如图2所示，编码模块和共享解码模块构成一个共2L层(在一个具体的实施例中，取L＝5，2L＝10)的U型网络，如图3所示为残差塔式结构图，所述方法包括以下步骤：

S1：数据输入模块接收带标签的训练数据集和待分割的测试数据集，并分别进行切片预处理得到训练数据集图像块、测试数据集图像块；

更具体的，步骤S1包括：

S101：向数据输入模块输入训练数据集中的二维RGB眼底图像，记其高度为H像素，宽度为W像素；

S102：对二维RGB眼底图像进行灰度化处理，得到灰度图像，如图4所示；

S103：对灰度图像及其对应的图像标签进行随机式切片操作，所述的随机式切片操作步骤为：在待切片的图像的左上角(H-47)×(W-47)的区域内，随机选取一点，并以该点为顶点，分别向右方和下方作48像素长度的边长，截取出48×48的训练数据集图像块I及对应的标签G₀；

S104：将待分割的测试数据集中的图像先进行灰度化处理，得到灰度图像；

S105：将步骤S104得到的灰度图像进行顺序式切片操作，所述顺序式切片操作步骤为：从待切片图像的左上角开始，将整幅图像切成不重叠的32×32的小块图像，对于四周不足32个像素点的区域，利用镜像处理将整个图像进行翻转；再以32×32的小块图像为中心，向上下左右各伸展16个像素点，即得到像素为48×48的测试数据集图像块T。

S2：将训练数据集图像块的标签输入残差塔式模块，并将其进行多尺度下采样，构造多尺度标签，将多尺度标签上采样到与训练数据集图像块相同的分辨率，对上采样后的多尺度标签利用异或运算生成相邻尺度标签的残差，对残差下采样输出残差塔式序列；

步骤S2的具体过程为：

S201：利用最近邻插值法，对训练数据集图像块的标签G₀连续地进行K次图像缩放，每次缩放都将图像的长宽缩小为原来的1/2，记K次图像缩放得到的结果为G_k(k＝1,…,K)，即多尺度标签；

S202：利用最近邻插值法，对G_k(k＝1,…,K)分别进行图像缩放，使得缩放后的图像达到与训练数据集图像块相同的分辨率，记放缩后的图像为G'_k(k＝1,…,K)；

S203：对G'_k(k＝1,…,K)中的相邻图像进行异或运算、哈达玛积、补集运算，得到残差图像，公式如下

式中G′₀＝G₀，

⊙分别为异或运算、哈达玛积，(·)^C为图像中每个像素的补集运算；

S204：利用最近邻插值法，对残差图像A_k(k＝0,1,…,K)分别进行图像缩放，缩放后的图像的长宽为原来的2^-k倍，记放缩后的图像为R_k(k＝0,1,…,K)，即残差塔式序列。

S3：将训练数据集图像块输入至编码模块，所述编码模块利用交替串联的L个双重卷积层和(L-1)下采样对训练数据集图像块处理，得到多等级语义特征；

步骤S3具体过程为：

S301：训练数据集图像块输入到编码模块的双重卷积层f₁(·)中，f₁(·)包含串联的卷积操作和修正线性单元，即f₁(·)≡max(c_1,2(max(c_1,1(·),0)),0)，

式中c_1,1(·)、c_1,2(·)表示滤波器尺寸为3×3的卷积操作，记得到的特征为

E₁＝f₁(I)；

S302：将步骤S301得到的特征输入到滤波器尺寸为2×2的最大池化操作d₂(·)中，再输入到双重卷积层f₂(·)中，得到下一等级的特征，即

E₂＝f₂(d₂(E₁))；

S303：重复步骤302，得到多等级语义特征E_l(l＝1,2,…,L)，即

E_l＝f_l(d_l(E_l-1)),l＝1,2,…,L,

其中d₁(E₀)＝I，l表示等级序号。

S4：将多等级语义特征输入至共享解码模块进行共享解码，输出L-1个概率图；

步骤S4的具体过程为：

S401：将编码模块输出的第L等级语义特征将E_L输入到滤波器尺寸为2×2的反卷积操作u_L+1(·)中，并将得到的特征与E_L-1衔接，输入到双重卷积层f_L+1(·)(f_L+1(·)的定义和f₁(·)一样)中进行解码，得到解码后的特征D₁，公式为

D₁＝f_L+1[u_L+1(E_L),E_L-1]

S402：将特征D₁、E_L-2输到第1个共享解码器中，共享解码器包含了一个滤波器尺寸为2×2的反卷积操作u₁(·)和共享双重卷积f₁ ^s(·)。共享解码器输出特征D₂、F_2,1，公式为

D₂＝f₁ ^s[u₁(D₁),E_L-2]

F_2,1＝f₁ ^s(D₁)

S403：对步骤402输出的特征重复进行(L-3)次步骤402，由此组成(L-2)个共享解码器，第i(i＝1,2,…,L-2)个共享解码器的操作公式为

D_i+1＝f_i ^s[u_i(D_i),E_L-i-1]，

F_i+1,j+1＝f_i ^s(F_i,j),j＝0,1,…,i-1，

其中F_i,0＝D_i；

S404：将步骤403中第(L-2)个共享解码器输出的特征，输入到第(L-1)个共享解码器

中，

包含一个滤波器尺寸为1×1卷积操作和一个Sigmoid激活函数，输出概率图O_j：

S5：将多尺度标签、残差塔式序列、共享解码器得到的概率图构造成模型总损失，并利用PyTorch进行梯度优化，训练编码模块、共享解码模块中的参数；步骤S5的具体过程为：

S501：利用多尺度标签G_k(k＝0,1,…,K)、残差塔式序列R_k(k＝0,1,…,K)、共享解码器得到的概率图O_j(j＝0,1,…,L-2)，令K＝L-2，构造总损失：

其中全局损失

采用戴斯损失函数，即

其中全一向量e＝[1,…,1]^T，||·||_F表示弗罗伯尼范数，ε＝1为避免分母为0的正则常数；塔式损失

采用交叉熵损失函数，即

λ_k为

的权重参数。

S502：损失

对概率图O_k求导，得到

其中

为哈达玛除运算；

S503：设置权重参数λ_k(k＝0,…,K)、同时选取用于计算梯度平均值的系数β₁、用于计算梯度平方的系数β₂以及学习率为设定值的Adam优化器；

在一个具体的实施例中，取L＝5，K＝3，λ₀＝1，λ₁＝0.5，λ₂＝0.25，λ₃＝0.125，选取学习率为0.001、β₁＝0.5、β₂＝0.999的Adam优化器，利用PyTorch机器学习库，完成反向传播过程，更新网络参数。

S6：将测试数据集图像块利用训练后的编码模块、共享解码模块进行处理得到测试数据集图像块的概率图，数据输出模块对测试数据集图像块的概率图进行拼接，拼接后的概率图进行二值化处理得到最终的分割结果。

进一步地，步骤S6的具体过程为：

S601：将测试数据集图像块输入至训练后的编码模块处理，输出测试数据集图像块的多等级语义特征，将测试数据集图像块的多等级语义特征输入至共享解码模块进行处理得到测试数据集图像块的概率图，数据输出模块对测试数据集图像块的概率图进行不重叠的拼接；

所述不重叠的拼接具体过程为：

将每一个48×48的测试数据集图像块的概率图向中心截取32×32的区域，依次将这些32×32的切片进行拼接，拼接后的完整概率图的高度为H像素，宽度为W像素。

S602：将拼接后的概率图进行二值化处理得到最终的分割结果，二值化处理过程为：对测试数据集图像块任意一个像素点，若其概率值大于0.5，则令其为1，否则为0，输出最终的分割结果(如图5-图6所示)。

本发明提出了基于共享解码器和残差塔式结构的眼底图像血管分割方法，通过构建共享解码器将多尺度特征同时输入到一个共享双重卷积中，学习多尺度语义信息，并对多尺度特征进行解码，解决了解决血管口径分布不均问题，在拓展解码器宽度的同时，共享解码模块不会增加U型网络的参数量。共享解码模块能防止模型对单一尺度血管的特征学习过拟合；通过残差塔式结构的塔式损失强化了对眼底图像对比度较弱区域的学习，进而全面提升了眼底图像血管的分割效果。

验证与分析：

本实施例采用以下数据集进行验证分析即：来自糖尿病视网膜病变筛查项目的DRIVE数据集、来自加州大学圣地亚哥希利眼科中心和圣地亚哥退伍军人管理医疗中心的STARE数据集、来自英国儿童心脏与健康研究项目的CHASE_DB1数据集，通过本发明所述的方法得到如下的实验结果：

表1本发明与现有方法分割结果对比表

由上表可知，一方面，本发明相对于传统的U型网络(U-Net)，分割效果明显提升，验证了本发明的共享解码器和残差塔式结构的有效性；另一方面，本发明全面超过了现有的眼底血管分割技术。特别地，STARE和CHASE_DB1两个数据集上的血管口径变化幅度和光照差异度都较大，而本发明得到了比其他现有方法更高的敏感度，说明共享解码器和残差塔式结构有效地解决了眼底血管分割中的口径分布不均和血管边缘模糊问题。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.基于共享解码器和残差塔式结构的眼底图像血管分割方法，其特征在于，所述方法利用处理模块实现，所述处理模块包括：数据输入模块、残差塔式模块、编码模块、共享解码模块、损失模块、数据输出模块，所述方法包括以下步骤：

S1：数据输入模块接收带标签的训练数据集和待分割的测试数据集，并分别进行切片预处理得到训练数据集图像块、测试数据集图像块；

S2：将训练数据集图像块的标签输入残差塔式模块，并将其进行多尺度下采样，构造多尺度标签，将多尺度标签上采样到与训练数据集图像块相同的分辨率，对上采样后的多尺度标签利用异或运算生成相邻尺度标签的残差，对残差下采样输出残差塔式序列；

S3：将训练数据集图像块输入至编码模块，所述编码模块利用交替串联的L个双重卷积层和(L-1)个下采样对训练数据集图像块处理，得到多等级语义特征；

S4：将多等级语义特征输入至共享解码模块进行共享解码，输出(L-1)个概率图；

S5：将多尺度标签、残差塔式序列、共享解码器得到的概率图构造成模型总损失，并利用PyTorch进行梯度优化，训练编码模块、共享解码模块中的参数；

S6：将测试数据集图像块利用训练后的编码模块、共享解码模块进行处理得到测试数据集图像块的概率图，数据输出模块对测试数据集图像块的概率图进行拼接，拼接后的概率图进行二值化处理得到最终的分割结果。

2.根据权利要求1所述的基于共享解码器和残差塔式结构的眼底图像血管分割方法，其特征在于，编码模块和共享解码模块构成一个共2L层的U型网络。

3.根据权利要求1所述的基于共享解码器和残差塔式结构的眼底图像血管分割方法，其特征在于，步骤S1数据输入模块接收带标签的训练数据集和待分割的测试数据集，并分别进行切片预处理得到训练数据集图像块、测试数据集图像块，具体过程为：

S101：输入训练数据集中的二维RGB眼底图像，记其高度为H像素，宽度为W像素；

S102：对二维RGB眼底图像进行灰度化处理，得到灰度图像；

S103：对灰度图像及其对应的图像标签进行随机式切片操作，所述的随机式切片操作步骤为：在待切片的图像的左上角(H-47)×(W-47)的区域内，随机选取一点，并以该点为顶点，分别向右方和下方作48像素长度的边长，截取出48×48的训练数据集图像块I及对应的标签G₀；

S104：将待分割的测试数据集中的图像先进行灰度化处理，得到灰度图像；

S105：将步骤S104得到的灰度图像进行顺序式切片操作，所述顺序式切片操作步骤为：从待切片图像的左上角开始，将整幅图像切成不重叠的32×32的小块图像，对于四周不足32个像素点的区域，利用镜像处理将整个图像进行翻转；再以32×32的小块图像为中心，向上下左右各伸展16个像素点，即得到像素为48×48的测试数据集图像块T。

4.根据权利要求3所述的基于共享解码器和残差塔式结构的眼底图像血管分割方法，其特征在于，步骤S2的具体过程为：

S201：利用最近邻插值法，对训练数据集图像块的标签G₀连续地进行K次图像缩放，每次缩放都将图像的长宽缩小为原来的1/2，记K次图像缩放得到的结果为G_k(k＝1,…,K)，即多尺度标签；

S202：利用最近邻插值法，对G_k(k＝1,…,K)分别进行图像缩放，使得缩放后的图像达到与训练数据集图像块相同的分辨率，记放缩后的图像为G'_k(k＝1,…,K)；

S203：对G'_k(k＝1,…,K)中的相邻图像进行异或运算、哈达玛积、补集运算，得到残差图像，公式如下

式中G'₀＝G₀，

⊙分别为异或运算、哈达玛积，(·)^C为图像中每个像素的补集运算；

S204：利用最近邻插值法，对残差图像A_k(k＝0,1,…,K)分别进行图像缩放，缩放后的图像的长宽为原来的2^-k倍，记放缩后的图像为R_k(k＝0,1,…,K)，即残差塔式序列。

5.根据权利要求4所述的基于共享解码器和残差塔式结构的眼底图像血管分割方法，其特征在于，步骤S3具体过程为：

S301：训练数据集图像块输入到编码模块的双重卷积层f₁(·)中，f₁(·)包含串联的卷积操作和修正线性单元，即f₁(·)≡max(c_1,2(max(c_1,1(·),0)),0)，

式中c_1,1(·)、c_1,2(·)表示滤波器尺寸为3×3的卷积操作，记得到的特征为

E₁＝f₁(I)；

S302：将步骤S301得到的特征输入到滤波器尺寸为2×2的最大池化操作d₂(·)中，再输入到双重卷积层f₂(·)中，得到下一等级的特征，即

E₂＝f₂(d₂(E₁))；

S303：重复步骤302，得到多等级语义特征E_l(l＝1,2,…,L)，即

E_l＝f_l(d_l(E_l-1)),l＝1,2,…,L,

其中d₁(E₀)＝I，l表示等级序号。

6.根据权利要求5所述的基于共享解码器和残差塔式结构的眼底图像血管分割方法，其特征在于，将多等级语义特征输入至共享解码模块进行共享解码，输出(L-1)个概率图具体步骤为：

S401：将编码模块输出的第L等级语义特征E_L输入到滤波器尺寸为2×2的反卷积操作u_L+1(·)中，并将得到的特征与E_L-1衔接，输入到双重卷积层f_L+1(·)中进行解码，f_L+1(·)的定义和f₁(·)一样，得到解码后的特征D₁，公式为

D₁＝f_L+1[u_L+1(E_L),E_L-1]

S402：将特征D₁、E_L-2输到第1个共享解码器中，共享解码器包含了一个滤波器尺寸为2×2的反卷积操作u₁(·)和共享双重卷积f₁ ^s(·)；共享解码器输出特征D₂、F_2,1，公式为

D₂＝f₁ ^s[u₁(D₁),E_L-2]

F_2,1＝f₁ ^s(D₁)

S403：对步骤402输出的特征重复进行(L-3)次步骤402，由此组成(L-2)个共享解码器，第i(i＝1,2,…,L-2)个共享解码器的操作公式为

D_i+1＝f_i ^s[u_i(D_i),E_L-i-1]，

F_i+1,j+1＝f_i ^s(F_i,j),j＝0,1,…,i-1，

其中F_i,0＝D_i；

S404：将步骤403中第(L-2)个共享解码器输出的特征，输入到第(L-1)个共享解码器

中，

包含一个滤波器尺寸为1×1卷积操作和一个Sigmoid激活函数，输出概率图O_j：

7.根据权利要求6所述的基于共享解码器和残差塔式结构的眼底图像血管分割方法，其特征在于，步骤S5的具体过程为：

S501：利用多尺度标签G_k(k＝0,1,…,K)、残差塔式序列R_k(k＝0,1,…,K)、共享解码器得到的概率图O_j(j＝0,1,…,L-2)，令K＝L-2，构造总损失：

其中全局损失

采用戴斯损失函数，即

其中全一向量e＝[1,…,1]^T，||·||_F表示弗罗伯尼范数，ε＝1为避免分母为0的正则常数，塔式损失

采用交叉熵损失函数，即

λ_k为

的权重参数；

S502：损失

对概率图O_k求导，得到

其中

为哈达玛除运算；

S503：设置权重参数λ_k(k＝0,…,K)、同时选取用于计算梯度平均值的系数β₁、用于计算梯度平方的系数β₂以及学习率为设定值的Adam优化器，利用PyTorch机器学习库，完成反向传播过程，更新网络参数。

8.根据权利要求7所述的基于共享解码器和残差塔式结构的眼底图像血管分割方法，其特征在于，步骤S6的具体过程为：

S601：将测试数据集图像块输入至训练后的编码模块处理，输出测试数据集图像块的多等级语义特征，将测试数据集图像块的多等级语义特征输入至共享解码模块进行处理得到测试数据集图像块的概率图，数据输出模块对测试数据集图像块的概率图进行不重叠的拼接；

S602：将拼接后的概率图进行二值化处理得到最终的分割结果。

9.根据权利要求8所述的基于共享解码器和残差塔式结构的眼底图像血管分割方法，其特征在于，所述不重叠的拼接具体过程为：

将每一个48×48的测试数据集图像块的概率图向中心截取32×32的区域，依次将这些32×32的切片进行拼接，拼接后的完整概率图的高度为H像素，宽度为W像素。

10.根据权利要求8所述的基于共享解码器和残差塔式结构的眼底图像血管分割方法，其特征在于，二值化处理过程为：对测试数据集图像块任意一个像素点，若其概率值大于0.5，则令其为1，否则为0，输出最终的分割结果。

Images