CN112508844B - 一种基于弱监督的大脑磁共振图像分割方法 - Google Patents

Abstract

本发明公开了一种基于弱监督的大脑磁共振图像分割方法，包括以下步骤：使用超体素匹配方法实现待分割图像与参考图像之间的匹配，使得待分割图像的超体素获得标签，在待分割图像匹配的超体素中，选择高置信度的超体素组成种子区域；建立一种脑组织分割网络模型BTSNet，以选择的种子区域作为监督标签，指导网络训练，获得图像每个体素的类别概率；采用了深度种子区域增长方法，以当前种子区域为基础，使用卷积网络输出的类别概率，更新种子区域；最后，迭代脑组织分割网络与深度种子区域增长两个步骤，直至种子区域覆盖整个图像，输出分割结果。本发明能够在只使用少量参考图像的超体素级别标签的条件下实现脑MRI图像的准确分割。

Description

一种基于弱监督的大脑磁共振图像分割方法

技术领域

本发明涉及数字图像处理技术领域，涉及使用语义分割网络来做大脑磁共振图像，更为具体的说，是涉及一种基于弱监督的大脑磁共振图像分割方法。

背景技术

医学图像语义分割是近些年来医学图像研究的热点，但是基于深度学习的方法往往需要大量的训练数据来保证分割的效果，这会带来巨大的工作量，特别是图像标签的获取。像素级别的标签的获取是非常的费时费力，因此弱监督学习的方法逐渐受到研究人员的关注。弱监督学习是指为了完成某个计算机视觉任务，采用比该任务更弱的标注作为监督信息。但目前，尚无在大脑图像分割领域应用弱监督学习的可行技术方案。

发明内容

为解决上述问题，本发明提供了一种基于弱监督的大脑磁共振图像分割方法，只需少量图像的标注，通过超体素匹配的方式来获得所有图像的初始标注，送入卷积神经网络中获得像素级别的概率，利用深度种子生长的方式更新标注图像，更新后的图像在监督卷积神经网络，不断迭代直至达到指定的迭代次数。

为了达到上述目的，本发明提供如下技术方案：

一种基于弱监督的大脑磁共振图像分割方法，包括如下步骤：

步骤1，使用超体素匹配方法实现待分割图像与参考图像之间的匹配；

步骤1-1，根据简单线性迭代算法生成图像的超体素；

步骤1-2，超体素匹配方法，包括如下子步骤：

步骤1-2-1，提取超体素特征并度量相似性，使用SuperPatch表示超体素，通过计算两个超体素对应的SuperPatch之间的距离来表示它们的特征相似性；

步骤1-2-2，采用基于位置先验的超体素匹配方法找到每个超体素的最近邻超体素；

步骤1-3，选择高置信度的超体素组成种子区域；

步骤2，设计一种BTSNet模型，该模型结合ResNeXt模块、ASPP模块和SELU激活函数，以选择的种子区域作为监督标签，指导网络训练，获得图像每个体素的类别概率；

步骤3，采用深度种子区域增长方法，以当前种子区域为基础，使用卷积网络输出的类别概率，更新种子区域；

步骤4，采用更新后的种子区域标签再来训练BTSNet；不断进行步骤2和步骤3，直至达到指定的迭代次数。

进一步的，所述步骤1-2-1包括如下过程：

设图像为A,A由n个超体素组成，即A＝{A_i}_i∈1，...n；对于超体素A_i，它对应的SuperPatch A_i表示为A_i＝{A_i′，||c_i-c_i′||≤R}，表示A_i相邻的超体素A_i′的中心c_i′与A_i的中心c_i距离不大于设定的R时，A_i′属于A_i；A_i中超体素索引的集合为

假设待分割图像为A，参考图像为B，A中的超体素A_i对应的超体素SuperPatch为A_i和B中的超体素B_j对应SuperPatch为B_j，A_i和B_j的SuperPatch距离计算如公式(1)所示：

其中

表示超体素A_i′和B_j′的特征向量，d表示欧式距离；ω为权重，由A_i′和B_j′的相对位置决定；ω的计算如公式(2)(3)(4)所示：

其中x_i′j′＝c_j′-c_i′+v_ij表示c_i′和c_j′的相对距离，v_ij＝c_i-c_j表示A_i和B_j的中心的相对距离；ω_s(A_i′)根据空间距离关系衡量A_i′对A_i的重要性；ω_s(B_j′)根据空间距离关系衡量B_i’对B_i的重要性；σ₁和σ₂为两个缩放参数。

进一步的，所述步骤1-2-2包括如下步骤：

(4)初始化；

在参考图像中寻找带分割图像的ANN，ANN为最近邻超体素；为A中每个超体素随机分配一个B中超体素作为初始ANN；对于超体素A_i∈A，它在B中的ANN记做B(i)＝B_M(i)，M表示ANN矩阵，记录A中每个超体素在B中的ANN的索引；A_i与B(i)的SuperPatch距离记为SPD(i)；

(5)传播；

使用A_i相邻的超体素来提升当前的ANN；遍历A中所有超体素时，按照扫描顺序对超体素进行处理，传播过程只使用在A_i之前被扫描的相邻超体素；设满足条件的超体素为A_i′，它的ANN为B(i′)，那么B(i′)的一个相邻超体素会被作为A_i的ANN的候选，记作C(i′)；C(i′)与B(i′)的相对位置与A_i和A_i′的相对位置最接近；设A_i和A_i′之间的夹角为θ_ii′C(i′)表示为：

其中

表示B(i′)相邻超体素索引的集合，θ_i′k表示B(i′)与它的相邻超体素B_k中心的夹角；计算候选超体素C(i′)和A_i的SuperPatch距离D(A_i，C(i))，如果值小于SPD(i)，则更新M(i)的值为C(i)，SPD(i)的值为D(A_i，C(i))；

(6)随机搜索；

在当前ANN的周围区域进行采样选择候选超体素，以超体素B的中心作为正方形候选框的中心，从中心在候选框内的超体素中随机选择一个作为候选并与A_i计算SuperPatch距离，如果小于SPD(i)则更新A_i的ANN；

传播和随机搜索迭代进行，直到达到指定迭代次数或者M不再变化。

进一步的，所述步骤1-3包括如下过程：

以图像中心为坐标原点，将图像A划分为四个象限R_i,i∈[1，4]，在每个象限中按照一定的比例选择超体素组成高置信度种子区域，R_i选择的超体素个数由公式(6)计算得到：

其中n_i为象限i中超体素的总数，k是设定的超参数，表示每个象限超体素选取的比例。

进一步的，所述步骤3包括如下过程：

H为全卷积神经网络输出的概率图谱，深度种子区域增长算法中的相似性度量准则P表示为如公式(7)：

其中，C表示所有的待分割目标类别，H_u，c表示位置u的像素点属于类别c的概率值，θ为概率阈值，决定像素点成为类别c的种子点所需的置信度；在BTSNet训练后输出的概率图谱中遍历种子点，如果种子点附近的像素点在种子点所属的类别上取得高概率即P(H_u，c，θ_c)＝1，则被打上和该种子点相同的类别标签，成为新的种子点，新的种子点加入遍历的队列。

与现有技术相比，本发明具有如下优点和有益效果：

本发明提出了一种基于弱监督的大脑磁共振图像分割方法，能够在只使用少量参考图像的超体素级别标签的条件下实现脑MRI图像的准确分割。精细的标注结果，不仅可以大大提高脑MRI图像分割的效率，还能减轻标注者的负担，他们只需少量的时间即可完成这种较弱的标注信息。在标签信息获取困难的脑MRI图像分割任务中，本发明方法具有较大的实用价值。

附图说明

图1为本发明提供的基于弱监督的大脑磁共振图像分割方法步骤流程图。

图2为本发明提供的基于弱监督的大脑磁共振图像分割方法中的BTSNet的网络结构图。

图3为本发明提供的基于弱监督的大脑磁共振图像分割方法中的BTSNet的ResNeXt模块结构图。

图4为本发明提供的基于弱监督的大脑磁共振图像分割方法中的BTSNet的AtrousSpatial Pyramid Pooling模块结构图。

图5为本发明提供的基于弱监督的大脑磁共振图像分割方法中的BTSNet的SELU激活函数曲线图。

图6为本发明提供的基于弱监督的大脑磁共振图像分割方法在IBSR18数据集脑MRI图像分割结果与多个方法的对比。

图7为本发明提供的基于弱监督的大脑磁共振图像分割方法整体流程图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提供了一种基于弱监督的大脑磁共振图像分割方法，首先，基于个体脑组织间的高度相似性，使用超体素匹配方法实现待分割图像与参考图像之间的匹配，使得待分割图像的超体素获得标签，在待分割图像匹配的超体素中，选择高置信度的超体素组成种子区域；其次，基于全卷积神经网络框架，建立一种脑组织分割网络模型BTSNet，以选择的种子区域作为监督标签，指导网络训练，获得图像每个体素的类别概率；然后，采用了深度种子区域增长方法，以当前种子区域为基础，使用卷积网络输出的类别概率，更新种子区域；最后，迭代脑组织分割网络与深度种子区域增长两个步骤，直至种子区域覆盖整个图像，输出分割结果。

具体地说，本发明流程如图1、图7所示，包括如下步骤：

步骤1，使用超体素匹配方法实现待分割图像与参考图像之间的匹配。

步骤1-1，根据简单线性迭代算法(Simple Linear Iteration Clustering)生成图像的超体素。

步骤1-2，超体素匹配方法。

步骤1-2-1，超体素特征提取与相似性度量。

为了更好地描述单个超体素的特征，使用SuperPatch来表示超体素，SuperPatch是目标超体素及其周围的超体素组成的不规则图像块，使用SuperPatch来描述超体素可以更好地利用超体素自身及其周边的信息。设图像为A,A由n个超体素组成，即A＝{A_i}_i∈1，...n。对于超体素A_i，它对应的SuperPatch A_i可以表示为A_i＝{A_i′，||c_i-c_i′||≤R}，表示A_i相邻的超体素A_i′的中心c_i′与A_i的中心c_i距离不大于设定的R时，A_i′属于A_i。A_i中超体素索引的集合为

在本文的方法中，通过计算两个超体素对应的SuperPatch之间的距离来表示它们的特征相似性。假设待分割图像为A，参考图像为B，A中的超体素A_i对应的超体素SuperPatch为A_i和B中的超体素B_j对应SuperPatch为B_j，A_i和B_j的SuperPatch距离计算如公式(1)所示：

其中

表示超体素A_i′和B_j′的特征向量，d表示欧式距离。ω为权重，由A_i′和B_j′的相对位置决定。ω的计算如公式(2)(3)(4)所示。

其中x_i′j′＝c_j′-c_i′+v_ij表示c_i′和c_j′的相对距离，v_ij＝c_i-c_j表示A_i和B_j的中心的相对距离，加上该项能够消除因SuperPatch中心不一致导致的距离偏差。ω_s(A_i′)根据空间距离关系衡量A_i′对A_i的重要性。ω_s(B_j′)同理。σ₁和σ₂是两个缩放参数，用来解决待分割图像和参考图像中超体素大小差异带来的影响。σ₁取决于图像中超体素的尺寸大小，对于大小为h×w，包含K个超体素的图像，σ₁一般设置为

σ₂取决于SuperPatch的大小，用来控制周围超体素的影响，一般设置为

步骤1-2-2，基于位置先验的超体素匹配方法，包括：

(1)初始化。

在参考图像中寻找带分割图像的最近邻(approximate nearest neighbor，ANN)超体素，为A中每个超体素随机分配一个B中超体素作为初始ANN。对于超体素A_i∈A，它在B中的ANN记做B(i)＝B_M(i)，M表示ANN矩阵，记录A中每个超体素在B中的ANN的索引。A_i与B(i)的SuperPatch距离记为SPD(i)。

(2)传播。

使用A_i相邻的超体素来提升当前的ANN。算法在遍历A中所有超体素时，会按照扫描顺序(比如从图像左上方到右下方)来对超体素进行处理。传播过程只使用在A_i之前被扫描的相邻超体素，因为它们的匹配关系可能更好。设满足条件的超体素为A_i′，它的ANN为B(i′)，那么B(i′)的一个相邻超体素会被作为A_i的ANN的候选，记作C(i′)。C(i′)与B(i′)的相对位置与A_i和A_i′的相对位置最接近。设A_i和A_i′之间的夹角为θ_ii′C(i′)可以表示为：

其中

表示B(i′)相邻超体素索引的集合，θ_i′k表示B(i′)与它的相邻超体素B_k中心的夹角。候选超体素C(i)可能是A_i更好的ANN，计算它们的SuperPatch距离D(A_i，C(i))，如果值小于SPD(i)，则更新M(i)的值为C(i)，SPD(i)的值为D(A_i，C(i))。

(3)随机搜索。

在当前ANN的周围区域进行采样选择候选超体素，以避开可能存在的局部最小值。以超体素B的中心作为正方形候选框的中心，从中心在候选框内的超体素中随机选择一个作为候选并与A_i计算SuperPatch距离，如果小于SPD(i)则更新A_i的ANN。

传播和随机搜索迭代进行，直到达到指定迭代次数或者M不再变化。

步骤1-3，选择高置信度的超体素组成种子区域。

超体素的置信度由其与对应的ANN的SuperPatch距离决定。SuperPatch距离越小，超体素的置信度越高。以图像中心为坐标原点，将图像A划分为四个象限R_i,i∈[1，4]，在每个象限中按照一定的比例选择超体素组成高置信度种子区域。R_i选择的超体素个数由公式(6)计算得到。

其中n_i为象限i中超体素的总数，k是设定的超参数，表示每个象限超体素选取的比例。

步骤2，设计了一种Brain Tissue Segmentation(BTSNet)模型，其网络结构图如图2所示。结合了ResNeXt模块(如图3所示)、空洞空间金字塔池化模块(Atrous SpatialPyramid Pooling，简称ASPP模块，如图4所示)和SELU激活函数(函数曲线图如图5所示)，以选择的种子区域作为监督标签，指导网络训练，获得图像每个体素的类别概率。

步骤3，采用了深度种子区域增长方法，以当前种子区域为基础，使用卷积网络输出的类别概率，更新种子区域。H为全卷积神经网络输出的概率图谱，深度种子区域增长算法中的相似性度量准则P可以表示为如公式(7)。

其中，C表示所有的待分割目标类别，H_u,c表示位置u的像素点属于类别c的概率值，θ为概率阈值，决定像素点成为类别c的种子点所需的置信度。在BTSNet训练后输出的概率图谱中遍历种子点，如果种子点附近的像素点在种子点所属的类别上取得高概率即P(H_u,c,θ_c)＝1，则被打上和该种子点相同的类别标签，成为新的种子点，新的种子点也会加入遍历的队列。

步骤4，更新后的种子区域标签再来训练BTSNet。不断进行步骤2和步骤3，直至达到指定的迭代次数。

本发明提供的基于弱监督的大脑磁共振图像分割方法在IBSR18数据集上进行实验，需要分割白质(WM)、灰质(GM)和脑脊液(CSF)三种大脑组织，分割结果与多种方法在Dice相似系数(Dice Similarity Coefficient,DSC)、绝对体积差(Absolute VolumeDifferenc,AVD)和Hausdorff距离(Hausdorff Distance,HD)上进行比较。如表1所示。

表1 IBSR18数据集各项指标结果

其中SegNet和UNet使用的标注数量和本发明使用的标注数量相同。图6是选取一个样本的可视化结果，其中(a)为原图；(b)为Ground Truth；(c)为SegNet；(d)为UNet；(e)为FSL；(f)为SPM；(g)是本发明提出的方法。

可见本文方法在CSF和GM两类上的分割效果明显优于其他方法，在WM上略差于传统方法FSL和SPM，但是在整体的分割表现上最好。本发明在IBSR18通用数据集上使用较弱的监督信息的情况下仍能取得良好的分割结果

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (5)

1.一种基于弱监督的大脑磁共振图像分割方法，其特征在于，包括如下步骤：

步骤1，使用超体素匹配方法实现待分割图像与参考图像之间的匹配；

步骤1-1，根据简单线性迭代算法生成图像的超体素；

步骤1-2，超体素匹配方法，包括如下子步骤：

步骤1-2-1，提取超体素特征并度量相似性，使用SuperPatch表示超体素，通过计算两个超体素对应的SuperPatch之间的距离来表示它们的特征相似性；

步骤1-2-2，采用基于位置先验的超体素匹配方法找到每个超体素的最近邻超体素；

步骤1-3，选择高置信度的超体素组成种子区域；

步骤2，设计一种BTSNet模型，该模型结合ResNeXt模块、ASPP模块和SELU激活函数，以选择的种子区域作为监督标签，指导网络训练，获得图像每个体素的类别概率；

步骤3，采用深度种子区域增长方法，以当前种子区域为基础，使用卷积网络输出的类别概率，更新种子区域；

步骤4，采用更新后的种子区域标签再来训练BTSNet；不断进行步骤2和步骤3，直至达到指定的迭代次数。

2.根据权利要求1所述的基于弱监督的大脑磁共振图像分割方法，其特征在于，所述步骤1-2-1包括如下过程：

设图像为A，A由n个超体素组成，即A＝(A_i}_i∈1，...n；对于超体素A_i，它对应的SuperPatchA_i表示为A_i＝{A_i′，||c_i-c_i′||≤R}，表示A_i相邻的超体素A_i′的中心c_i′与A_i的中心c_i距离不大于设定的R时，A_i′属于A_i；A_i中超体素索引的集合为

假设待分割图像为A，参考图像为B，A中的超体素A_i对应的超体素SuperPatch为A_i和B中的超体素B_j对应SuperPatch为B_j，A_i和B_j的SuperPatch距离计算如公式(1)所示：

其中

表示超体素A_i′和B_j′的特征向量，d表示欧式距离；ω为权重，由A_i′和B_j′的相对位置决定；ω的计算如公式(2)(3)(4)所示：

其中x_i′j′＝c_j′-c_i′+v_ij表示c_i′和c_j′的相对距离，v_ij＝c_i-c_j表示A_i和B_j的中心的相对距离；ω_s(A_i′)根据空间距离关系衡量A_i′对A_i的重要性；ω_s(B_j′)根据空间距离关系衡量B_i′对B_i的重要性；σ₁和σ₂为两个缩放参数。

3.根据权利要求1所述的基于弱监督的大脑磁共振图像分割方法，其特征在于，所述步骤1-2-2包括如下步骤：

(1)初始化；

在参考图像中寻找带分割图像的ANN，ANN为最近邻超体素；为A中每个超体素随机分配一个B中超体素作为初始ANN；对于超体素A_i∈A，它在B中的ANN记做B(i)＝B_M(i)，M表示ANN矩阵，记录A中每个超体素在B中的ANN的索引；A_i与B(i)的SuperPatch距离记为SPD(i)；

(2)传播；

使用A_i相邻的超体素来提升当前的ANN；遍历A中所有超体素时，按照扫描顺序对超体素进行处理，传播过程只使用在A_i之前被扫描的相邻超体素；设满足条件的超体素为A_i′，它的ANN为B(i′)，那么B(i′)的一个相邻超体素会被作为A_i的ANN的候选，记作C(i′)；C(i′)与B(i′)的相对位置与A_i和A_i′的相对位置最接近；设A_i和A_i′之间的夹角为

表示为：

其中

表示B(i′)相邻超体素索引的集合，θ_i′k表示B(i′)与它的相邻超体素B_k中心的夹角；计算候选超体素C(i′)和A_i的SuperPatch距离D(A_i，C(i))，如果值小于SPD(i)，则更新M(i)的值为C(i)，SPD(i)的值为D(A_i，C(i))；

(3)随机搜索；

在当前ANN的周围区域进行采样选择候选超体素，以超体素B的中心作为正方形候选框的中心，从中心在候选框内的超体素中随机选择一个作为候选并与A_i计算SuperPatch距离，如果小于SPD(i)则更新A_i的ANN；

传播和随机搜索迭代进行，直到达到指定迭代次数或者M不再变化。

4.根据权利要求1所述的基于弱监督的大脑磁共振图像分割方法，其特征在于，所述步骤1-3包括如下过程：

以图像中心为坐标原点，将图像A划分为四个象限R_i，i∈[1，4]，在每个象限中按照一定的比例选择超体素组成高置信度种子区域，R_i选择的超体素个数由公式(6)计算得到：

其中n_i为象限i中超体素的总数，k是设定的超参数，表示每个象限超体素选取的比例。

5.根据权利要求1所述的基于弱监督的大脑磁共振图像分割方法，其特征在于，所述步骤3包括如下过程：

H为全卷积神经网络输出的概率图谱，深度种子区域增长算法中的相似性度量准则P表示为如公式(7)：

其中，C表示所有的待分割目标类别，H_u，c表示位置u的像素点属于类别c的概率值，θ为概率阈值，决定像素点成为类别c的种子点所需的置信度；在BTSNet训练后输出的概率图谱中遍历种子点，如果种子点附近的像素点在种子点所属的类别上取得高概率即P(H_u，c，θ_c)＝1，则被打上和该种子点相同的类别标签，成为新的种子点，新的种子点加入遍历的队列。

Images