CN116051508A - 一种基于相邻切片推理的脑肿瘤弱监督分割方法及系统 - Google Patents

Abstract

本发明提出一种基于相邻切片推理的脑肿瘤弱监督分割方法与系统，包括：对MRI多模态脑肿瘤图像进行预处理，得到多模态切片图像及对应的图像级标签；将多模态切片图像及其相邻的切片图像送入到切片特征提取模块中进行特征提取，分别获得特征图；将得到的特征图送入到相邻切片推理模块进行切片间信息的推理，获得切片关系矩阵；将多模态切片图像的特征图与切片关系矩阵送入全局加权平均池化模块，得到具有代表性的特征值；将特征值送入损失计算模块，并训练特征提取器E和全连接层A；将需要分割的MRI多模态脑肿瘤切片图像送入到训练好的特征提取器中进行特征提取，得到特征图；将得到的特征图送入到训练好的全连接层中进行直接计算，得到类激活映射图；将得到的类激活映射图进行二值化处理，得到最终的弱监督分割结果。

Description

一种基于相邻切片推理的脑肿瘤弱监督分割方法及系统

技术领域

本发明涉及计算机视觉和医学图像分割领域，特别是涉及一种基于相邻切片推理的脑肿瘤弱监督分割方法及系统。

背景技术

脑肿瘤具有侵袭性生长特性，由于生长部位在大脑，其解剖关系及功能都具有特殊性，大部分胶质瘤难以大范围的彻底切除，残留的肿瘤细胞成为日后复发的根源，因此脑肿瘤具有高致残率、高复发率的特征，严重影响患者的生存周期及生活质量。MRI核磁共振图像可以很好的帮助医生观察患者脑肿瘤的生长状况，帮助医生实现对脑肿瘤的观测和诊断。然而，如果医生使用单纯的人工读图的方式对MRI脑肿瘤进行识别，需要其本身经过专业的训练，具有较高的资历，否则很容易出现误诊的情况。同时，人工读图效率低下，很难适应当下的医疗环境。图像分割技术是利用计算机实现对目标物的分割，利用图像分割技术可以快速的将脑肿瘤从正常组织中分割出来，实现肿瘤组织的可视化。利用图像分割技术可以极大的提高脑肿瘤的诊断准确率，提高诊断效率，分割结果还可以为后期手术提供量化的数据支持。

然而，使用传统的全监督训练方法，利用卷积神经网络进行图像分割时，需要在网络训练前对训练集数据进行像素级标注，这些需要专业的医师通过手工标注的方式完成。这一方式会消耗大量的人力物力，提高训练的成本和时间。

弱监督语义分割是图像分割技术之一，目前弱监督技术主要包括不完整的监督、不精确的监督以及不准确的监督。对于不精确的监督，其主要是指在只给定粗粒度标签的情况下，训练更精细的任务。对于弱监督图像分割来说，就是在训练过程中不再使用像素级标签，而是使用涂鸦标签、包围盒标签或图像级标签等进行训练。相比于全监督分割，弱监督分割技术训练代价更低，能够很好的弥补医学图像训练中无法满足大量像素级标签的劣势。图像级标签是指相较于像素级标签需要指定图像中每个像素点的分类，其只需要指定该图像中包含哪些类。目前，针对图像级标签的训练方法主要是以类激活映射图作为基石，通过全局平均池化层填补分割网络与分类网络之间的鸿沟，通过分类标签对网络进行训练，促使卷积网络学习分类标签所指目标的位置和形状。

然而类激活映射图相比于所需分割的真实标签来说，性能并不理想，对类激活映射图进行改进，成为目前主流的图像级标签弱监督分割领域的主流研究方向。针对MRI脑肿瘤图像来说，类激活映射图存在覆盖范围过大、肿瘤形状不清晰等问题，只能简单的对肿瘤进行定位而不能准确的将肿瘤分割出来。因此，针对MRI脑肿瘤图像进行弱监督分割的研究，具有很大的研究空间和价值。

发明内容

针对现有技术存在的问题，本发明提出了一种基于相邻切片推理的脑肿瘤弱监督分割方法，利用切片间的关联信息进行网络训练，提高弱监督技术中类激活映射的性能，在仅使用图像级标注的情况下，进一步提高图像的分割质量。

为实现上述目的，本公开采用如下技术方案：

一种基于相邻切片推理的脑肿瘤弱监督分割方法，包括以下步骤：

步骤1，对MRI多模态脑肿瘤图像进行预处理，得到MRI多模态脑肿瘤切片图像及对应的图像级标签Y；

步骤2，将MRI多模态脑肿瘤切片图像i及其相邻的多模态脑肿瘤切片图像i-1和i+1送入到切片特征提取模块，使用特征提取器E进行特征的提取，分别获得特征图、和；

步骤3，将、和送入到相邻切片推理模块进行切片间信息的推理，获得切片关系矩阵；

步骤4，将与送入全局加权平均池化模块，得到具有代表性的特征值y；

步骤5，将y送入损失计算模块，通过全连接层A获得分类结果P，将P与Y进行损失计算，并对E和A进行训练；

步骤6，将需要分割的MRI多模态脑肿瘤切片图像送入到通过所述步骤1至5训练好的E中进行特征提取，得到特征图；

步骤7，将步骤6得到的特征图送入到通过所述步骤1至5训练好的A中进行直接计算，得到类激活映射图；

步骤8，将得到的类激活映射图进行二值化处理，得到最终的弱监督分割结果。

进一步，所述步骤1中多模态是指原生(T1)、对比后T1加权(T1ce)、T2加权(T2)以及T2流体衰减倒置恢复(T2-FLAIR)四种模态，所述预处理包括对图像进行灰度归一化、切片操作、按照是否包含肿瘤确定标签，其中未包含肿瘤标签为{1,0}、包含肿瘤标签为{0,1}。

进一步，所述步骤2中，若切片处于边缘，对于无i-1的切片使用i+2代替其i-1的切片，对于无i+1的切片使用i-2代替其i+1的切片。

进一步，所述步骤2中的E采用现有的公开的ResNet-38结构并基于Pytorch框架搭建，该网络结构具有38个宽通道的卷积层。使用基于开源数据集ImgeNet预训练得到的网络权值作为初始训练权值，对于不同的切片特征提取器E共享权值。

进一步，所述步骤2中，多模态切片在送入E前先送入1×1的卷积中进行通道对齐，使得四种模态组成的四通道数据对齐到E的三通道入口。

进一步，所述步骤3中相邻切片推理模块基于注意力机制构建，通过7个1×1的分组卷积分别获取的查询向量、键值向量、数据项向量，和的键值向量和、数据项向量和，的计算公式为。

进一步，所述步骤4中y的计算公式为，其中c表示通道，h和l表示中的行和列，n表示中全部特征值的个数。

进一步，所述步骤5中，损失函数使用Pytorch框架中多标签分类损失F.multilabel_soft_margin_loss，使用Adam算法进行优化，得到E和A的最优模型参数。

进一步，所述步骤7中，需要对从A中所得类激活映射图进行双线性插值上采样操作与输入数据长宽对齐，再进行归一化操作，以获得最终的类激活映射图。

进一步，所述步骤8中使用0.6作为二值化阈值。

本发明还相应提取一种基于相邻切片推理的脑肿瘤弱监督分割系统，用于执行如上所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法。

本发明所提方法，充分利用了脑肿瘤切片及其相邻切片之间的信息，将利用相邻切片之间进行推理得到的信息用于弱监督分割网络训练中的全局加权平均池化层，通过对主切片特征图进行加权，使其在全局平均池化过程中能够充分利用切片间的相连关系，对重要位置的特征进行重点关注，从而提高类激活映射图的性能，增加对于脑肿瘤图像分割的精确度。和现有技术相比，本发明的重要贡献如下：

1)本发明在网络训练过程中引入相邻切片信息，针对某一切片生成融合其相邻切片的特征矩阵，使得针对脑肿瘤切片图像的推理不仅仅只局限于自身的语义信息，还能够关注到脑肿瘤在3D层面的变化和发展，增加网络训练过程中信息的丰富度。

2)本发明将针对某一切片所生成的融合相邻切片的特征矩阵与该切片进行点乘，通过点乘的方式进行加权，改变了原有全局加权平均池化层对于不同位置特征值给予相同关注的情况，对于有利于推断类激活映射图的重要特征值给予更多关注，进而能够提升类激活映射图的性能，增加图像分割精度。

附图说明

图1是本发明提供的一种基于相邻切片推理的脑肿瘤弱监督分割方法及系统的原理图。

图2是基线与本发明弱监督分割结果对比图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供一种基于相邻切片推理的脑肿瘤弱监督分割方法，包括以下步骤：

步骤1：获取到由原生(T1)、对比后T1加权(T1ce)、T2加权(T2)以及T2流体衰减倒置恢复(T2-FLAIR)四种模态组成的。对获取到的数据进行预处理，包括对图像进行灰度归一化、切片操作。其中，灰度归一化是指获取某一模态3D脑肿瘤图像中的最大灰度值和最小灰度值，用灰度最大值255除以图像中最大灰度值与最小灰度值的差，所得结果乘以要归一化的像素点的原灰度值与图像最小灰度值的差。切片操作首先剔除掉MRI 3D图像中未包含任何脑组织或脑肿瘤组织的边缘切片，对其按照轴向、冠向和矢向进行切片，同时记录切片的位置信息包括采样方向和切片下标，生成的切片图像最终尺寸为224×224。本实施例对生成的图片按照是否包含肿瘤生成对应的图像级标签Y，其中未包含肿瘤标签为{1,0}、包含肿瘤标签为{0,1}。

步骤2：将MRI多模态脑肿瘤切片图像i及其相邻的多模态脑肿瘤切片图像i-1和i+1送入到切片特征提取模块，实施例对需要进行训练的脑肿瘤切片生成训练列表，在训练过程中随机读取该列表16banch-size的数据进行训练，所读取的切片数据包含四种模态，在读取过程中将四种模态的切片图像合并成四通道的数据信息，且同时为每个切片附带读取其相邻的切片同样的四通道数据信息，用于相邻切片间推理。若需要进行推理的主切片处于边缘，对于无i-1的切片使用i+2代替其i-1的切片，对于无i+1的切片使用i-2代替其i+1的切片。这些数据被送入到特征提取器E中进行特征的提取，E采用现有的公开的ResNet-38结构并基于Pytorch框架搭建，使用基于开源数据集ImgeNet预训练得到的网络权值作为初始训练权值。由于使用ImgeNet预训练得到的模型输入通道数为三，因为为了保证输入数据与模型入口通道对齐，本实施例在四通道切片数据送入E前先进行1×1的卷积操作，使这些切片通过卷积操作可以获得三通道的变形数据。对于不同的切片，特征提取器E权值是共享的。通过E的特征提取操作，可以为i及其相邻的切片获得特征图、和。

步骤3：将、和送入到相邻切片推理模块进行切片间信息的推理，获得切片关系矩阵。相邻切片推理模块基于注意力机制构建，注意力机制一个重要的应用架构是Transformer，Transformer所引入的注意力机制从根本上解决了LSTM长记忆丢失问题。注意力机制通过遍历的方式计算序列中任意两个输入之间的相关性，捕捉输入之间的依赖关系。利用注意力机制捕获3D脑肿瘤数据中2D切片之间的依赖关系，多个切片特征的加权和为主切片提供更为丰富的训练信息。本实施例通过7个1×1的分组卷积分别获取的查询向量、键值向量、数据项向量，和的键值向量和、数据项向量和，的计算公式为。

步骤4：将与送入全局加权平均池化模块，得到具有代表性的特征值y。对于全局平均池化来说，就是对整个特征图求一个平均值，对于一个切片特征图来说就是把尺寸由CxWxH变成Cx1x1，利用一个特征值来表示整张特征图，以方便进行全连接操作。但是全局平均池化操作对于特征图中每个位置赋予的权重是一致的，在训练过程中使得特征图中一些重要的特征表示被不予重视。因此在特征图进行池化前为每个特征值都赋予一个权重，再对其进行全局平均池化，可以凸显出特征图中一些重要的位置信息，在训练过程中增加网络对这些位置的关注度，提高网络训练效果。对于y，其计算公式为，其中c表示通道，h和l表示中的行和列，n表示中全部特征值的个数。对于权重的赋值，我们使用矩阵，由于矩阵是给予相邻切片间的依赖关系进行推理得到，其在生成过程中融合了自身切片和邻居切片的信息，为池化层的加权操作提供了更为丰富的参考。因此在的生成过程中，步骤3所述7个1×1的卷积在计算时被设置为分组卷积，其group参数为特征图的通道数，在本实施例中为1024。

步骤5：将y送入损失计算模块，通过全连接层A获得分类结果P，在本实施例中P的结果为网络对主切片的分类预测，P的通道数为2，其中第一个通道的数据表示该切片不包含肿瘤的可能性，第二个通道的数据表示该切片包含肿瘤的可能性。将P与标注的图像级标签Y进行损失计算。在本实施例中，损失函数使用Pytorch框架中所提供的多标签分类损失F.multilabel_soft_margin_loss。网络使用Adam算法进行优化，Adam 算法是一种可以替代传统随机梯度下降过程的一阶优化算法，基于训练数据迭代地更新神经网络权重。通过对网络的迭代训练，寻找特征提取器E和全连接层A的最优参数。

步骤6：经过步骤1至5训练后产生一个可以用来对脑肿瘤切片中肿瘤位置进行推断的特征提取器E和全连接层A。首先对于所需要推断的切片需要由原生(T1)、对比后T1加权(T1ce)、T2加权(T2)以及T2流体衰减倒置恢复(T2-FLAIR)四种模态组成的，并经过灰度归一化、切片操作预处理过程。对于推断中的灰度归一化操作是指获取某一模态3D脑肿瘤图像中的最大灰度值和最小灰度值，用灰度最大值255除以图像中最大灰度值与最小灰度值的差，所得结果乘以要归一化的像素点的原灰度值与图像最小灰度值的差。对于切片操作，首先剔除掉MRI 3D图像中未包含任何脑组织或脑肿瘤组织的边缘切片，对其按照轴向、冠向和矢向进行切片，同时记录切片的位置信息包括采样方向和切片下标，生成的切片图像最终尺寸为224×224。推断过程仅针对包含脑肿瘤的切片图像进行推断；

对于需要进行推断的切片进行读取，所读取的切片数据包含四种模态，在读取过程中将四种模态的切片图像合并成四通道的数据信息，切片在送入经过步骤1至5训练好的E前先进行1×1的卷积操作，该操作卷积的权重同样经由步骤1至5学习得到。切片通过卷积操作可以获得三通道的变形数据，这些数据被送入到特征提取器E中进行特征的提取，获得特征图。

步骤7：将步骤6得到的特征图送入到通过步骤1至5训练好的全连接层A中进行直接计算，具体来说，对于训练过程中输入A的为特征值，其尺寸为Cx1x1，而对于推断过程中输入A的为特征图，其尺寸为CxWxH。对于推断过程所输入的特征图，对应的每个位置的特征值都进行全连接计算，进而得到类激活映射图；

对于从A中所得到的类激活映射图进行双线性插值上采样操作，本实施例采用Pytorch中的F.upsample进行，mode参数设置为bilinear。上采样的尺寸与输入数据尺寸相同，本实施例中尺寸设为224×224。对于所得类激活映射图需要进行归一化操作，具体指获取图像中的类激活映射图中最大灰度值和最小灰度值，将类激活映射图的值与最小灰度值的差使用Pytorch中的F.relu进行修正线性单元操作，将所得结果除以最大值与最小值的差，以获得最终的类激活映射图。

步骤8：将步骤7中得到的类激活映射图进行二值化处理，使用0.6作为二值化阈值，具体来说，当所得类激活映射图灰度值小于153时，将该灰度值置于0，当灰度值大于等于153时，将该灰度值置于255。

为了验证本发明方法的有效性，我们在BraTS2019的数据集上进行了实验验证。

本实施例中，基线是指在训练过程中切片图像i直接被送入到特征提取器E中生成特征图，所生成特征图直接进行全局平均池化得到具有代表性的特征值，特征值通过全连接层A获得分类结果P，将P与Y进行损失计算，并对E和A进行训练。在本实施例的训练过程，基线剔除了相邻切片推理以及全局加权平均池化的操作。对于推断过程，基线与本发明过程相同。

本实施例使用Dice相似系数、准确率Accuracy、精确度Precision作为评分标准对本发明进行定量分析。

Dice相似系数用于计算两个样本间的相似度，计算公式为。

在本实施例中，使用Dice进行评分，基线与本发明的得分如下：

	Dice(%)
		基线	48.5
本发明	59.7

准确率Accuracy是指对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。这里的分类样本是指类激活映射图中每个像素是否属于肿瘤的分类，准确率Accuracy的计算公式为。其中，TP表示预测为1实际为1，FP表示预测为1实际为0，FN表示预测为0实际为1，TN表示预测为0实际为0。

在本实施例中，使用准确率Accuracy进行评分，基线与本发明的得分如下：

	Accuracy (%)
		基线	90.0
本发明	95.3

精确度Precision是指预测为正的样本中有多少是真正的正样本，这里的样本是指类激活映射图中包含的像素集合，精确度Precision的计算公式为。其中，TP表示预测为1实际为1，FP表示预测为1实际为0。

在本实施例中，使用精确度Precision进行评分，基线与本发明的得分如下：

	Precision (%)
		基线	41.1
本发明	65.1

在定性分析中，本发明依然取得了好的结果。图2给出了一些本发明以及基线的分割样例，从左到右分别是肿瘤切片图片、真实分割、基线、本发明，可以看出基于相邻切片推理的脑肿瘤弱监督分割方法，可以更好的对脑肿瘤进行弱监督分割。

本发明还提出了一种基于相邻切片推理的脑肿瘤弱监督分割系统，用于执行如上所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法，运行本发明所提出方法的系统，也应当在保护范围内。

Claims (11)

1.一种基于相邻切片推理的脑肿瘤弱监督分割方法，其特征在于，包括以下步骤：

步骤1，对MRI多模态脑肿瘤图像进行预处理，得到MRI多模态脑肿瘤切片图像及对应的图像级标签Y；

步骤2，将MRI多模态脑肿瘤切片图像i及其相邻的多模态脑肿瘤切片图像i-1和i+1送入到切片特征提取模块，使用特征提取器E进行特征的提取，分别获得特征图、和；

步骤3，将、和送入到相邻切片推理模块进行切片间信息的推理，获得切片关系矩阵；

步骤4，将与送入全局加权平均池化模块，得到具有代表性的特征值y；

步骤5，将y送入损失计算模块，通过全连接层A获得分类结果P，将P与Y进行损失计算，并对E和A进行训练；

步骤6，将需要分割的MRI多模态脑肿瘤切片图像送入到通过所述步骤1至5训练好的E中进行特征提取，得到特征图；

步骤7，将步骤6得到的特征图送入到通过所述步骤1至5训练好的A中进行直接计算，得到类激活映射图；

步骤8，将得到的类激活映射图进行二值化处理，得到最终的弱监督分割结果。

2.根据权利要求1所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法，其特征在于，所述步骤1中多模态是指原生(T1)、对比后T1加权(T1ce)、T2加权(T2)以及T2流体衰减倒置恢复(T2-FLAIR)四种模态，所述预处理包括对图像进行灰度归一化、切片操作、按照是否包含肿瘤确定标签，其中未包含肿瘤标签为{1,0}、包含肿瘤标签为{0,1}。

3.根据权利要求1所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法，其特征在于，所述步骤2中，若切片处于边缘，对于无i-1的切片使用i+2代替其i-1的切片，对于无i+1的切片使用i-2代替其i+1的切片。

4.根据权利要求1所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法，其特征在于，所述步骤2中的E采用现有的公开的ResNet-38结构并基于Pytorch框架搭建，使用基于开源数据集ImgeNet预训练得到的网络权值作为初始训练权值，对于不同的切片特征提取器E共享权值。

5.根据权利要求1或2或3或4所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法，其特征在于，所述步骤2中，多模态切片在送入E前先送入1×1的卷积中进行通道对齐，使得四种模态组成的四通道数据对齐到E的三通道入口。

6.根据权利要求1所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法，其特征在于，所述步骤3中相邻切片推理模块基于注意力机制构建，通过7个1×1的分组卷积分别获取的查询向量、键值向量、数据项向量，和的键值向量和、数据项向量和 ，的计算公式为。

7.根据权利要求1所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法，其特征在于，所述步骤4中y的计算公式为，其中c表示通道，h和l表示中的行和列，n表示中全部特征值的个数。

8.根据权利要求1或4所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法，其特征在于，所述步骤5中，损失函数使用Pytorch框架中多标签分类损失F.multilabel_soft_margin_loss，使用Adam算法进行优化，得到E和A的最优模型参数。

9.根据权利要求1所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法，其特征在于，所述步骤7中，需要对从A中所得类激活映射图进行双线性插值上采样操作与输入数据长宽对齐，再进行归一化操作，以获得最终的类激活映射图。

10.根据权利要求1所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法，其特征在于，所述步骤8中使用0.6作为二值化阈值。

11.一种基于相邻切片推理的脑肿瘤弱监督分割系统，其特征在于，用于执行如权利要求1至10任一项所述的一种基于相邻切片推理的脑肿瘤弱监督分割方法。

Images