CN113610842B - 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法 - Google Patents

Abstract

本发明公开了一种基于CAS‑Net的OCT图像视网膜脱离和劈裂自动分割方法，包括以下步骤：S1、获取OCT图像，将OCT图像分为训练集、验证集和测试集；S2、构建分类辅助分割网络用于OCT图像的分类；分类辅助分割网络包括分类网络和分割网络，分割网络包括全维度特征融合模块和特征融合解码模块，分类网络用于全局平均池化和卷积，并输出OCT图像中多个类别的存在概率；S3、构建整个分类辅助分割网络的损失函数，利用训练集和验证集对分类辅助分割网络进行训练；S4、利用测试集对训练后的分类辅助分割网络进行测试，实现对OCT图像的分割。本发明基于CAS‑Net的OCT图像视网膜脱离和劈裂自动分割方法能够准确的分割出OCT图像中的RD、ORS、MRS和IRS。

Description

基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法

技术领域

本发明涉及OCT图像分割技术领域，特别涉及一种基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法。

背景技术

近视可引起许多的视网膜病理变化，如黄斑孔、脉络膜新生血管、视网膜萎缩、视网膜脱离(Retinal Detachment，RD)和视网膜劈裂(Retinoschisis，RS)。RD和RS是高度近视中最常见的并发症。对于高度近视患者，视网膜黄斑区域的RD和RS严重损害了视觉功能。光学相干断层成像(Optical Coherence Tomography,OCT)可以清晰显示RD和RS的截面，并且是非侵入式的。

视网膜劈裂以视网膜神经上皮层分裂为特征。根据它发生在视网膜层的位置，视网膜劈裂可分为外层劈裂(Outer Retinoschisis，ORS)、中层劈裂(MiddleRetinoschisis，MRS)和内层劈裂(Inner Retinoschisis，IRS)。视网膜脱离是指视网膜神经上皮层和视网膜色素上皮的分离。RS通常发生在早期阶段。随着疾病的发展，将发生更多的RS并且区域将变大。再更进一步，将会发生RD，一旦发生RD，就需要进行手术治疗。RD、ORS、MRS和IRS的定量对于病理性近视的诊断、分期、管理和术后评估具有重要意义。然而，OCT图像中RD、ORS、MRS和IRS的分割面临着一些挑战：(1)类别分布不均匀，因为在一张OCT图像，不是所有类别都一定出现，(2)目标区域变化较大，一些很小，一些在OCT图像中具有很大的跨度，并且(3)不同种类目标的形状和亮度具有相似性。到目前为止还没有人实现OCT图像中视网膜脱离、外层劈裂、中层劈裂和内层劈裂的全自动分割。

随着卷积神经网络(Convolutional Neural Network，CNN)的兴起，它已被越来越多的用于OCT图像中病灶区域分割任务。其出色的特征提取能力带来了优越的分割性能。捕获上下文信息对于图像分割任务至关重要。除了局部上下文之外，表示全局上下文的长距离依赖关系在处理大的目标区域和在多类分类过程中识别不同的目标类别时尤为重要。一些网络使用全局池化、金字塔式池化或空洞卷积操作来获取有用的上下文信息，但是这只能获得某个像素周围的上下文信息，提高网络的局部感知。还有一些网络通过建立一个点跟所有点之间的联系来获取全局的上下文的长期依赖关系，但这是以巨大的计算复杂度和内存消耗为代价。大多数分割网络对于多类分割任务结果不佳，因为其对于图像中不同类别的鉴别能力比较弱。

发明内容

本发明要解决的技术问题是提供一种可对OCT图像中RD、ORS、MRS和IRS病灶区域进行自动分割、且分割精确度高的基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法。

为了解决上述问题，本发明提供了一种基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法，其包括以下步骤：

S1、获取OCT图像，将所述OCT图像分为训练集、验证集和测试集；

S2、构建分类辅助分割网络用于OCT图像的分类；所述分类辅助分割网络包括分类网络和分割网络，所述分割网络包括全维度特征融合模块和特征融合解码模块，通过所述全维度特征融合模块融合通道和空间维度的上下文信息，通过所述特征融合解码模块融合所述分类网络和分割网络的特征，所述分类网络用于全局平均池化和卷积，并输出OCT图像中多个类别的存在概率；

S3、构建整个分类辅助分割网络的损失函数，利用训练集和验证集对分类辅助分割网络进行训练；

S4、利用测试集对训练后的分类辅助分割网络进行测试，实现对OCT图像的分割。

作为本发明的进一步改进，通过所述全维度特征融合模块融合通道和空间维度的上下文信息，包括：

A1、将X输入三个平行路径；其中，X∈R^C×H×W为一个输入张量，C、H和W分别表示通道数、高度和宽度；

A2、使用一组可学习的权重a^W∈R^1×1×W、a^H∈R^1×1×H和a^C∈R^1×1×C将X在一个维度上压缩，得出A^W∈R^C×H×1、A^H∈R^C×1×W和A^C∈R^1×H×W；

A3、将不同维度的压缩特征经过Sigmoid函数后与原始特征图相乘；

A4、使用由Softmax函数约束的三个可学习参数对来自三个分支的特征图进行加权；

A5、将三个分支的所有特征图与原始特征图相加得到输出特征图Y∈R^C×H×W，实现输出特征图中的每个元素都包含来自输入特征图中同一行、同一列、所有通道的同一空间位置的信息。

作为本发明的进一步改进，所述整个分类辅助分割网络的损失函数如下：

loss_total＝loss_Joint+λloss_category

loss_Joint＝loss_Dice+loss_BCE

其中，loss_total为整个分类辅助分割网络的损失函数，loss_Joint为分类辅助分割网络的联合损失函数，loss_Dice为分割网络的损失函数，loss_BCE为分类网络的损失函数，loss_category为类别损失函数，λ用于加权类别损失函数。

作为本发明的进一步改进，所述分割网络的损失函数为：

其中，S是一张特征图的总像素数，x(n,i)∈[0,1]和y(n,i)∈{0,1}分别表示第i个像素被预测为类别n的概率和第i个像素是否为类别n的真实标签；N是类别的总数，N＝5。

作为本发明的进一步改进，所述分类网络的损失函数为：

其中，N代表类别数，t_n代表输入图像是否含第n个类别的真实标签，p_n代表分类网络预测的输入图像含第n个类别的概率。

作为本发明的进一步改进，所述类别损失函数为：

其中，N代表类别数，x(n,i)∈[0,1]代表第i个像素被预测为类别n的概率，t_n代表输入图像是否含第n个类别的真实标签。

作为本发明的进一步改进，步骤S4中，应用随机梯度下降算法对分类辅助分割网络进行训练。

作为本发明的进一步改进，所述分类网络和分割网络的编码器均使用预先训练好的Resnet18。

作为本发明的进一步改进，使用两个步长为1的3×3卷积来代替Resnet18中步长为2的7×7卷积。

作为本发明的进一步改进，还包括步骤：

S5、利用四个评估指标对分割结构进行评估；所述四个评估指标分别为：Dice系数、交并比、敏感度和特异性。

本发明的有益效果：

本发明基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法能够将OCT图像中RD、ORS、MRS和IRS病灶区域进行自动分割，分割准确性高，对于病理性近视的定量分析具有重要意义。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明优选实施例中基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法的流程图；

图2是本发明优选实施例中分类辅助分割网络的示意图；

图3是本发明优选实施例中全维度特征融合模块的示意图；

图4是本发明优选实施例中特征融合解码模块的示意图；

图5是本发明基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法与其他先进网络的分割结果。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，为本发明优选实施例中的基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法，包括以下步骤：

S1、获取OCT图像，将所述OCT图像分为训练集、验证集和测试集；

在其中一实施例中，使用的数据集是由上海交通大学附属第一人民医院的TopconAtlantis DRI-1OCT扫描仪(Topcon公司，日本东京)获得的二维OCT图像。采用了以黄斑为中心的12线径向扫描模式。原始图像尺寸为1024×992像素，对应于9mm×2.6mm(宽度×高度)。数据集包括133只高近视眼睛的1596次OCT B-scan，每只眼睛有12次OCT B-scan。在一名资深医生的监督下通过手工标注获得分割的标准结果，即分割的金标准。81只眼共972张OCT图像作为训练集，验证集包括26只眼的312张OCT图像，测试集包括其余26只眼的312张图像。同一患者的双眼仅出现在同一分组中。在输入网络之前，将图像和金标准的大小重采样为256×512像素。

S2、构建分类辅助分割网络(CAS-Net)用于OCT图像的分类；

参照图2，所述分类辅助分割网络包括分类网络和分割网络，可选的，所述分类网络和分割网络的编码器均使用预先训练好的残差网络Resnet18。为了减少编码器开始时过度下采样造成的细节信息损失，使用两个步长为1的3×3卷积来代替残差网络Resnet18中步长为2的7×7卷积。所述分类网络用于全局平均池化和1*1卷积，并输出OCT图像中多个类别的存在概率，包括RD、ORS、MRS和IRS共四种病灶区域和背景，共五个类别。

所述分割网络包括全维度特征融合模块(FFDF)和特征融合解码模块(FMD)，OCT图像中的RD、ORS、MRS和IRS分布跨度大，尺寸变化大。为了解决分割中的这些困难，提出了FDFF模块来融合通道和空间维度的上下文信息，并增加网络的感受野参照图3。通过所述全维度特征融合模块融合通道和空间维度的上下文信息，具体包括：

A1、将X输入三个平行路径；其中，X∈R^C×H×W为一个输入张量，C、H和W分别表示通道数、高度和宽度；

A2、使用一组可学习的权重a^W∈R^1×1×W、a^H∈R^1×1×H和a^C∈R^1×1×C将X在一个维度上压缩，得出A^W∈R^C×H×1、A^H∈R^C×1×W和A^C∈R^1×H×W；

A3、将不同维度的压缩特征经过Sigmoid函数后与原始特征图相乘；

A4、使用由Softmax函数约束的三个可学习参数对来自三个分支的特征图进行加权；

A5、将三个分支的所有特征图与原始特征图相加得到输出特征图Y∈R^C×H×W，实现输出特征图中的每个元素都包含来自输入特征图中同一行、同一列、所有通道的同一空间位置的信息。

如图4所示，通过所述特征融合解码模块融合所述分类网络和分割网络的特征，参照图3，为了在分类网络中提取有用信息并辅助分割网络，设计了一个特征合并解码器模块(FMD)。该模块接受三个输入，即来自分类编码器的一个阶段的特征(输入1)、来自分割编码器同一阶段的特征(输入2)以及来自解码器前一阶段的更高级别的特征(输入3)。该模块首先使用1×1卷积来处理输入1，希望提取有利于分割的信息，同时抑制阻碍分割任务的信息。然后输入2经过3×3卷积，并与处理后的输入1相加。随后，相加的结果，即来自分类和分割网络的融合特征图，与反卷积后输入3拼接。最终拼接后的特征图经过3×3卷积。

S3、构建整个分类辅助分割网络的损失函数；

其中，为了缓解类别不平衡和分割目标小的问题，选择Dice损失函数作为分割网络的损失函数。多类分割的Dice损失函数公式如下：

其中，S是一张特征图的总像素数，x(n,i)∈[0,1]和y(n,i)∈{0,1}分别表示第i个像素被预测为类别n的概率和第i个像素是否为类别n的真实标签。N是类别的总数(N＝5)。

分类网络使用二元交叉熵损失函数，计算如下：

其中，N代表类别数(N＝5)，t_n代表输入图像是否含第n个类别的真实标签，p_n代表分类网络预测的输入图像含第n个类别的概率。

分类辅助分割网络的联合损失函数为：

loss_Joint＝loss_Dice+loss_BCE       (3)

针对多类别分割任务提出的类别损失如公式(4)所示，分别从每个输出概率图中找到最大的概率值来表示图像中该类别的概率，经Sigmoid函数处理后，计算每个类别的概率与真实标签的二元交叉熵损失。

其中，N代表类别数(N＝5)，x(n,i)∈[0,1]代表第i个像素被预测为类别n的概率，t_n代表输入图像是否含第n个类别的真实标签。

得到整个网络的损失函数计算如下：

loss_total＝loss_Joint+λloss_category        (5)

其中λ用于加权提出的类别损失函数，λ设置为0.1～0.7。

S4、利用训练集和验证集对分类辅助分割网络进行训练，利用测试集对训练后的分类辅助分割网络进行测试，实现对OCT图像的分割；

其中，提出的CAS-Net以端到端的方式进行了训练。批量大小为4，epoch数为100。考虑到GPU内存成本和训练时间成本，在输入前将图像和金标准重采样为256×512像素。应用随机梯度下降算法优化网络，学习率计算如下：

其中，基本学习率baselr设置为0.01，power设置为0.9。该模型基于公共平台PyTorch和具有24GB内存的GeForce RTX 3090GPU。将(5)式中λ的值设置为0.1。

为了评估OCT图像中RD、ORS、MRS和IRS的分割结果，进一步的，本发明还包括步骤：

S6、利用四个评估指标对分割结构进行评估；所述四个评估指标分别为：Dice系数、交并比(Intersection over Union，IoU)、敏感度(Sensitivity，Sen)和特异性(Speciality，Spe)。它们的定义如下：

其中，TP、TN、FP和FN分别是分割的真阳性、真阴性、假阳性和假阴性。每个类别的指标单独计算，并计算总平均值。

表1

如表1所示，与这些先进的网络相比，本发明提出的CAS-Net对OCT图像中的RD、ORS、MRS和IRS分割方面取得了最好的结果。RD、ORS、MRS、IRS的Dice系数分别达到90.35％、77.49％、76.49％、89.94％，最终平均Dice系数达到83.57％。

如图5所示，本发明基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法与其他先进网络的分割结果对比。其中，(a)为原始图像；(b)为金标准；(c)为PSPNet[12]；(d)为DeeplabV3[14]；(e)为Attention U-Net[32]；(f)为U-Net++[33]；(g)为CE-Net[11]；(h)为Y-Net[24]；(i)为CPFNet[6]；(j)为本发明提出的CAS-Net。可见，本发明提出的CAS-Net比其他先进的分割网络具有更好的分割结果。其不仅可以更准确地勾勒出病理区域，还可以更准确地分配标签。例如，对于第二列中的图像，提出的CAS-Net正确确定视网膜中只有两个目标类别。从第一列和第三列可以看出，提出的CAS-Net对小目标和大目标都有很好的分割结果。

本发明采用一种新颖的分类辅助分割网络CAS-Net，用于自动分割OCT图像中的RD、ORS、MRS和IRS。该框架主要由分类网络和分割网络组成。通过在分割网络中加入了一个新颖的全维特征融合模块，可以在三个维度上获得长距离的上下文信息，增加整个网络的感受野，使模型能够有效应对以下挑战：目标尺寸变化大、分割目标跨度大。多类分割网络中，需要准确识别图像中每个类别是否存在。因此，用分类网络来辅助分割网络。最后，提出新的类别损失函数，添加到总损失函数中来促进分割网络学习到对区分不同类别目标有用的特征。实验表明，本发明提出的网络能够克服分割目标尺寸变化大和跨度大的问题，具有很强的类别鉴别能力。本发明提出的分类辅助分割网络能够准确的分割出OCT图像中的RD、ORS、MRS和IRS。

以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (7)

1.基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法，其特征在于，包括以下步骤：

S1、获取OCT图像，将所述OCT图像分为训练集、验证集和测试集；

S2、构建分类辅助分割网络用于OCT图像的分类；所述分类辅助分割网络包括分类网络和分割网络，所述分割网络包括全维度特征融合模块和特征融合解码模块，通过所述全维度特征融合模块融合通道和空间维度的上下文信息，通过所述特征融合解码模块融合所述分类网络和分割网络的特征，所述分类网络用于全局平均池化和卷积，并输出OCT图像中多个类别的存在概率；

S3、构建整个分类辅助分割网络的损失函数，利用训练集和验证集对分类辅助分割网络进行训练；

S4、利用测试集对训练后的分类辅助分割网络进行测试，实现对OCT图像的分割；

通过所述全维度特征融合模块融合通道和空间维度的上下文信息，包括：

A1、将X输入三个平行路径；其中，X∈R^C×H×W为一个输入张量，C、H和W分别表示通道数、高度和宽度；

A2、使用一组可学习的权重a^W∈R^1×1×W、a^H∈R^1×1×H和a^C∈R^1×1×C将X在一个维度上压缩，得出A^W∈R^C×H×1、A^H∈R^C×1×W和A^C∈R^1×H×W；

A3、将不同维度的压缩特征经过Sigmoid函数后与原始特征图相乘；

A4、使用由Softmax函数约束的三个可学习参数对来自三个分支的特征图进行加权；

A5、将三个分支的所有特征图与原始特征图相加得到输出特征图Y∈R^C×H×W，实现输出特征图中的每个元素都包含来自输入特征图中同一行、同一列、所有通道的同一空间位置的信息；

所述整个分类辅助分割网络的损失函数如下：

loss_total＝loss_Joint+λloss_category

loss_Joint＝loss_Dice+loss_BCE

其中，loss_total为整个分类辅助分割网络的损失函数，loss_Joint为分类辅助分割网络的联合损失函数，loss_Dice为分割网络的损失函数，loss_BCE为分类网络的损失函数，loss_category为类别损失函数，λ用于加权类别损失函数；

所述类别损失函数为：

其中，N代表类别数，x(n,i)∈[0,1]代表第i个像素被预测为类别n的概率，t_n代表输入图像是否含第n个类别的真实标签。

2.如权利要求1所述的基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法，其特征在于，所述分割网络的损失函数为：

其中，S是一张特征图的总像素数，x(n,i)∈[0,1]和y(n,i)∈{0,1}分别表示第i个像素被预测为类别n的概率和第i个像素是否为类别n的真实标签；N是类别的总数，N＝5。

3.如权利要求1所述的基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法，其特征在于，所述分类网络的损失函数为：

其中，N代表类别数，t_n代表输入图像是否含第n个类别的真实标签，p_n代表分类网络预测的输入图像含第n个类别的概率。

4.如权利要求1所述的基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法，其特征在于，步骤S3中，应用随机梯度下降算法对分类辅助分割网络进行训练。

5.如权利要求1所述的基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法，其特征在于，所述分类网络和分割网络的编码器均使用预先训练好的Resnet18。

6.如权利要求5所述的基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法，其特征在于，使用两个步长为1的3×3卷积来代替Resnet18中步长为2的7×7卷积。

7.如权利要求1所述的基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法，其特征在于，还包括步骤：

S5、利用四个评估指标对分割结构进行评估；所述四个评估指标分别为：Dice系数、交并比、敏感度和特异性。

Images