CN117557576A

CN117557576A - 基于临床知识驱动和对比学习的半监督视神经分割方法

Info

Publication number: CN117557576A
Application number: CN202311427706.1A
Authority: CN
Inventors: 冯远静; 蒋浩宇; 谢雷; 曾庆润; 洪晖航; 胡启明; 余江丽; 朱辉; 卜宇辉
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2023-10-31
Filing date: 2023-10-31
Publication date: 2024-02-13

Abstract

一种基于临床知识驱动和对比学习的半监督视神经分割方法，由于现有视神经分割方法需要大量的标注数据导致费时且耗力，同时现有的研究很少考虑如何以合理的方式融合多模态图像，并且缺乏合理结合临床知识的方法，因此本发明根据临床知识先验以更加合理的方式来对多模态数据：T1图像、扩散磁共振成像(DWI图像)生成的峰值图像(peaks)和纤维各向异性(FA)图像进行融合。根据上述先验知识结合基于对比学习的半监督分割网络对视神经进行分割预测，该模型可以有效利用多模态的数据特征并且只需要少量的标注样本即可完成训练。该方法实现了术前分割视神经的高成功率，极大的减少了标注数据所带来的时间开销，帮助医生更好地且更加及时地完成术前规划。

Description

基于临床知识驱动和对比学习的半监督视神经分割方法

技术领域

本发明涉及计算机图形学下的医学成像、神经解剖学领域，是一种基于临床知识驱动和对比学习的半监督视神经分割方法。

背景技术

随着医学影像技术的迅猛发展和医疗水平的提高，医生和患者对完善的术前规划方案有着更高的追求。医学图像分割在展示图像中病灶区域和人体组织之间的关系方面发挥着重要作用，为医生的术前规划提供可靠的理论支持。

视神经是一组纤维，它们从视网膜的一侧开始，经过视交叉处与对侧眼球上视网膜的另一侧纤维结合，形成视束，最终终止于外侧膝状体。在视觉系统中，视神经扮演着至关重要的角色。

近年来，对于视神经成像的重视程度不断增加，研究者们提出了基于流线和直接分割的方法来分割解剖MRI中的视神经。基于流线的方法通过提取与解剖上明确定义的神经束相对应的流线来进行分割，主要可以分为两种类型：基于感兴趣区域(ROI)的方法和基于聚类的方法。基于ROI的方法通常依赖于选择感兴趣区域的策略，从扩散磁共振成像(dMRI)的道路追踪数据中进行视神经分割。然而，这种方法需要专家手动操作来识别视神经，导致临床应用上面临挑战，而且耗时且劳动成本高。基于纤维聚类的方法依赖于纤维束的几何结构和空间位置，旨在将具有相似轨迹的相邻纤维分组为一个簇。然而，由于每个人的前视觉通路并不完全相同，使用相同的模板进行配准和分割，使得这种方法在正常情况下的分割精度低于基于深度学习网络训练的方法。

直接分割的方法主要包括基于模型和基于学习的等基于体素的自动分割方法。基于模型的分割方法通常基于统计形状或统计外观变化进行建模，但在分割精度上仍有很大提升的空间。现有的基于学习的分割方法主要有基于机器学习和基于深度学习的方法。例如采用基于U-Net网络的前视觉通路分割方法就是基于深度学习的方法，它通过多个模态数据的特征融合实现前视觉通路的自动分割。尽管在分割精度上有所提高，但全监督网络需要大量的数据标注，而大规模标注数据是耗时且费力的，且可能产生质量参差不齐的标注数据。同时，现有的研究很少考虑如何以合理的方式融合多模态图像，并且缺乏合理结合临床知识的方法。

发明内容

为了克服现有视神经分割算法的局限性，以及为了提高分割的精度，本发明提出了一种结合视神经的临床知识先验和对比学习的半监督分割方法，对比学习可以在少量标注的情况下取得显著的效果，可以用少量的样本完成训练，并且可以提高从神经网络提取的特征空间中同一类别像素的相似性，增强前景与背景的区分；本发明所提出的视神经临床知识先验可以以更加合理的方式来对多模态数据进行融合。

本发明解决其技术问题所采用的技术方案是：

一种基于临床知识驱动和对比学习的半监督视神经分割方法，包括以下步骤：

步骤1、数据集准备：从HCP下载训练数据，并经过筛选选择质量较高的数据，选择MRI图像中的T1图像以及DWI图像生成的FA图像和peaks图像数据；

步骤2、数据预处理：对步骤1中得到的数据进行裁剪，裁剪为128×160×128大小，后续对图像数据进行直方图均衡化以及灰度直方图归一化处理，完成视神经部分训练数据的标记和全部验证数据和测试数据的标记；

步骤3、临床知识先验：根据T1、FA、peaks的成像原理以及在视神经分割上的差异将输入模态简单地重新组织为两组T1、FA以及peaks；

步骤4、视神经半监督分割网络设计及训练：构建基于对比学习的半监督网络模型，并使用步骤2中生成的训练样本对网络模型进行训练；

步骤5、预测分割：利用经过步骤4训练好的网络模型进行视神经分割预测。

进一步，所述步骤2的过程如下：

2.1)图像裁剪：将原始数据裁剪为大小为128×160×128的三维MRI数据，并保存为nii.gz格式；

2.2)直方图均衡化：对MRI图像进行直方图均衡化，以增强图像对比度并减小不同数据之间的差异性；

2.3)图像归一化：将经过直方图均衡化的图像灰度值归一化到0-255的范围内，这一步骤不改变图像信息，但有助于网络训练过程的快速收敛；

2.4)生成训练样本：从总共100个图像数据中，选择80个作为训练集，10个作为验证集，剩下的10个作为测试集；在训练集中，随机选取10个图像进行数据标记，并将每个标记好的label单独保存为nii.gz格式文件；同时，对训练数据集中未标记的数据进行数据增强，通过镜像翻转、灰度值扩展方法对原始图像数据进行处理，使得最终的训练数据量扩增为原来的四倍。

再进一步，所述步骤3中，给定三个图像模态{T1、FA、peaks}和具有模型参数θ的分割模型f，根据临床知识先验，重新组织了输入图像的顺序，将图像分为两组：

S＝f{θ,{T1,FA},{peaks}} (2)

通过将两个相关的图像模态进行分组，模型可以学习两个图像模态之间的内在相关性，从而得到更好的跨模态特征表示。这种重新组织图像顺序的方法有助于模型更好地理解和利用这些相关性信息。

更进一步，所述步骤4的过程如下：将步骤2中得到的训练数据作为网络的输入，{T1、FA、peaks}图像经过一个CS模块对输入图像进行下采样，根据步骤3将图像分为两组{T1、FA}组、{peaks}组分别放入网络，{T1、FA}组使用多模态相关交叉注意力MCCA模块作为编码器进行下采样，{peaks}组则使用自注意力模块作为编码器；对于已标记的训练数据{T1、FA}组得到的结果和{peaks}组得到的结果分别和GT进行Dice损失得到Loss₁和Loss₂；对于大量未标记的训练数据，将{T1、FA}组得到的结果和{peaks}组得到的结果所在Slicer为同一层的图像作为正样本，不同层的图像作为负样本放入对比损失模块进行自监督学习得到Loss_ASC，使用:

作为网络的损失函数，其中β、γ代表各个损失的权重。

所述步骤5中，将测试集数据中的{T1、FA}输入到步骤4训练好的网络中，通过模态融合得到视神经分割图像，通过利用不同模态的信息，网络可以准确地进行视神经分割预测。

本发明的有益效果为：可以在少量标注的情况下取得显著的效果，可以用少量的样本完成训练，并且可以提高从神经网络提取的特征空间中同一类别像素的相似性，增强前景与背景的区分；本发明所提出的视神经临床知识先验可以以更加合理的方式来对多模态数据进行融合。

附图说明

图1是本发明的半监督分割网络模型。

图2是网络模型中的MCCA模块和CS模块。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1和图2，一种基于临床知识驱动和对比学习的半监督视神经分割方法，包括以下步骤：

步骤1、数据集准备：从人类连接体项目(HCP)中筛选高质量的dMRI数据100例，确保数据覆盖多个年龄层次，并保持男女比例均衡；选择MRI图像中的T1图像数据、DWI图像生成的FA图像数据和peaks图像数据作为实验数据；

步骤2、数据预处理：对选定的数据进行预处理，过程如下：

2.4)生成训练样本：从总共100个图像数据中，选择80个作为训练集，10个作为验证集，剩下的10个作为测试集；在训练集中，随机选取10个图像进行数据标记，并将每个标记好的label单独保存为nii.gz格式文件；同时，对训练数据集中未标记的数据进行数据增强，通过镜像翻转、灰度值扩展等方法对原始图像数据进行处理，使得最终的训练数据量扩增为原来的四倍；

步骤3、根据临床知识先验进行分组：根据临床经验，不同图像模态在视神经分割中具有不同的信息表达能力，例如，MRI图像更适合描述正常解剖结构，而纤维各向异性(FA)图像用于表征脑部的结构各向异性，纤维定向分布函数(fODF)peaks则提供了局部纤维结构的定向信息。在视神经的图像中，可以很容易地从T1图像上获取眼球到视交叉区域的边缘，而在FA图像上该边缘缺失。相反，可以很容易地从FA图像上获取外侧膝状体的边缘，而在T1图像上该边缘模糊不清。此外，peaks图像在外侧膝状体的边缘上更为明显；本发明希望模型能够学习两个相关模态之间的空间和结构相关性，给定三个图像模态{T1、FA、peaks}和具有模型参数θ的分割模型f，目前大多数现有的视神经分割模型简单地将所有输入模态连接起来，并一次性将它们输入到分割模型中以预测分割结果S。

S＝f{θ,T1,FA,peaks} (1)

本发明中，根据临床知识先验，重新组织了输入图像的顺序，将图像分为两组：

S＝f{θ,{T1,FA},{peaks}} (2)

通过将两个相关的图像模态进行分组，我们的模型可以学习两个图像模态之间的内在相关性，从而得到更好的跨模态特征表示。这种重新组织图像顺序的方法有助于模型更好地理解和利用这些相关性信息。

步骤4、视神经半监督分割网络设计及训练：将步骤2中得到的训练数据作为网络的输入，{T1、FA、peaks}图像经过一个CS模块对输入图像进行下采样，根据步骤3将图像分为两组{T1、FA}组、{peaks}组分别放入网络，{T1、FA}组使用多模态相关交叉注意力(MCCA)模块作为编码器进行下采样，

{peaks}组则使用自注意力模块作为编码器。对于已标记的训练数据{T1、FA}组得到的结果和{peaks}组得到的结果分别和GT进行Dice损失得到Loss₁和Loss₂。对于大量未标记的训练数据，将{T1、FA}组得到的结果和{peaks}组得到的结果所在Slicer为同一层的图像作为正样本，不同层的图像作为负样本放入对比损失模块进行自监督学习得到Loss_ASC。使用:

作为网络的损失函数，其中β、γ代表各个损失的权重。

步骤5、预测分割：将测试集数据中的{T1、FA}输入到步骤4训练好的网络中，通过模态融合得到视神经分割图像。通过利用不同模态的信息，网络可以准确地进行视神经分割预测。

本实施例可以在少量标注的情况下取得显著的效果，可以用少量的样本完成训练，并且可以提高从神经网络提取的特征空间中同一类别像素的相似性，增强前景与背景的区分；本发明所提出的视神经临床知识先验可以以更加合理的方式来对多模态数据进行融合。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

Claims

1.一种基于临床知识驱动和对比学习的半监督视神经分割方法，其特征在于，所述方法包括以下步骤：

2.如权利要求1所述的基于临床知识驱动和对比学习的半监督视神经分割方法，其特征在于，所述步骤2的过程如下：

3.如权利要求1或2所述的基于临床知识驱动和对比学习的半监督视神经分割方法，其特征在于，所述步骤3中，给定三个图像模态{T1、FA、peaks}和具有模型参数θ的分割模型f，根据临床知识先验，重新组织了输入图像的顺序，将图像分为两组：

S＝f{θ,{T1,FA},{peaks}} (2)

通过将两个相关的图像模态进行分组，模型可以学习两个图像模态之间的内在相关性，从而得到更好的跨模态特征表示。

4.如权利要求3所述的基于临床知识驱动和对比学习的半监督视神经分割方法，其特征在于，所述步骤4的过程如下：将步骤2中得到的训练数据作为网络的输入，{T1、FA、peaks}图像经过一个CS模块对输入图像进行下采样，根据步骤3将图像分为两组{T1、FA}组、{peaks}组分别放入网络，{T1、FA}组使用多模态相关交叉注意力MCCA模块作为编码器进行下采样，{peaks}组则使用自注意力模块作为编码器；对于已标记的训练数据{T1、FA}组得到的结果和{peaks}组得到的结果分别和GT进行Dice损失得到Loss₁和Loss₂；对于大量未标记的训练数据，将{T1、FA}组得到的结果和{peaks}组得到的结果所在Slicer为同一层的图像作为正样本，不同层的图像作为负样本放入对比损失模块进行自监督学习得到Loss_ASC，使用:

作为网络的损失函数，其中代表各个损失的权重。

5.如权利要求1或2所述的基于临床知识驱动和对比学习的半监督视神经分割方法，其特征在于，所述步骤5中，将测试集数据中的{T1、FA}输入到步骤4训练好的网络中，通过模态融合得到视神经分割图像，通过利用不同模态的信息，网络可以准确地进行视神经分割预测。