CN113096142B

CN113096142B - 基于联合嵌入空间的白质神经束自动分割方法

Info

Publication number: CN113096142B
Application number: CN202110486616.4A
Authority: CN
Inventors: 叶初阳; 刘婉; 刘志文
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2021-04-30
Filing date: 2021-04-30
Publication date: 2022-12-30
Anticipated expiration: 2041-04-30
Also published as: CN113096142A

Abstract

本发明公开了一种基于联合嵌入空间的白质神经束自动分割方法。本发明利用联合嵌入空间学习了低维嵌入空间中输入和标签之间的对应于分割任务的关系，在分割预测的过程中隐式地利用了标签的相关性信息。此外，权重自适应调整策略使得两个支路的损失能在训练过程中阶段性地达到平衡，促进网络收敛。进一步地，单标签掩膜的后处理过程还能有效过滤掉分割结果中的假正例。因此本发明能够有效提升白质束分割的性能。实验表明，本发明所提出的方法能够提升分割结果的Dice系数。

Description

基于联合嵌入空间的白质神经束自动分割方法

技术领域

本发明涉及弥散磁共振图像中白质束分割技术领域，具体涉及一种基于联合嵌入空间的白质神经束自动分割方法。

背景技术

脑白质的发育与大脑的多种认知和行为等功能的变化有着内在的联系，因而脑白质微观和宏观结构的改变与认知障碍、神经退行性变等疾病息息相关。白质由轴突纤维组成，这些轴突纤维可以根据功能分成不同的白质束。对白质神经束进行分割能够对特定的白质束详细分析。这样有助于描述健康大脑的特征，识别出患病大脑中包含异常形态的区域并理解白质束在神经退行性变过程中的作用。

最近已经有研究应用深度学习技术进行自动脑白质束分割。根据提供给神经网络的输入数据的类型，这些方法可以分为基于纤维和基于体素的白质束分割方法。其中基于纤维的方法首先需要利用纤维示踪成像技术获得大脑所有的纤维束，并利用神经网络对这些纤维束进行划分。与基于纤维的方法不同，基于体素的方法不依赖于纤维示踪成像技术，能够直接进行分割任务，简化了处理过程。其中一种方法利用从弥散磁共振图像提取的纤维分布取向函数峰值直接对每个体素中白质的分布情况进行预测，从而同时获得多种类别的白质束的分割结果。虽然已有基于深度神经网络的白质束分割方法取得了较好的效果，但忽略了白质束之间潜在的关联。由于白质束的种类较多，将白质束间的相关性信息与输入峰值包含的信息进行结合对于优化分割方法具有重要意义。

发明内容

有鉴于此，本发明提供了一种基于联合嵌入空间的白质神经束自动分割方法，引入了联合嵌入空间的概念，将标签间的相关性融入到原始的分割过程中，以进一步提升分割效果。由于白质束分割本质上为多标签任务，每个体素对应的标签为一个二值化的向量。不同的二值化向量间以及二值化向量不同的元素间都包含了一定的相关性。因此本发明通过学习输入和标签间的联合嵌入空间，以隐式地利用标签中的相关性信息。

本发明首先将标签空间嵌入到潜在子空间，在嵌入空间中构建输入和标签数据之间的关联，以便进行分割。随后通过适当的解码过程，将嵌入空间中的数据映射回原始的标签空间，从而实现多标签分割任务。本发明能够有效提升白质束分割的性能。

具体的，本发明的基于联合嵌入空间的白质神经束自动分割方法，包括如下步骤：

步骤1，基于样本集中的弥散磁共振成像数据生成纤维取向分布函数峰值数据以及峰值数据对应的标签；

对所述峰值数据和标签进行预处理，获得去除非脑区域的峰值和标签；

步骤2，构建网络，所述网络包括一个多标签分割子网络；其中多标签分割子网络包括重构支路和分割支路：重构支路以去除非脑区域的标签作为输入，利用编码卷积层将标签映射至嵌入空间；分割支路以去除非脑区域的峰值作为输入，利用2D U-net将峰值映射至嵌入空间；其中，嵌入空间的维度、U-net最后一层卷积的卷积核数目与编码卷积层的卷积核数目相等；嵌入空间中的标签和峰值经解码卷积层进行分割预测；解码卷积层为重构支路和分割支路共享；

步骤3，对多标签分割子网络进行训练，得到训练好的多标签分割子网络模型；其中，多标签分割子网络的网络损失L为：

L＝α·L_rec+L_seg

其中，L_rec和L_seg分别为重构支路损失和分割支路损失，α为重构支路损失的权重；每一个支路的损失定义为该支路的输出与标签的二值交叉熵；更新重构支路损失的权重时，首先计算当前分割支路损失和重构支路损失的比值ratio＝L_seg/L_rec，将该比值用科学计数法表示为ratio＝p·10^q，则将权重α更新为α＝q+1，α的初始值为1；

步骤4，利用训练好的多标签分割子网络模型的分割支路对测试集中的峰值数据进行分割预测。

优选的，所述网络还包括单标签分割子网络；单标签分割子网络以去除非脑区域的峰值作为输入，利用2D U-net进行单标签分割预测；其中，单标签分割子网络中的2D U-net除了最后一层卷积的卷积核数目为1外，与多标签分割子网络的2D U-net结构相同；

在所述步骤1中还对标签的每个体素处的二值向量进行判断，当向量元素不全为零时，将二值向量替换为1，否则替换为0，生成单标签；

对单标签分割子网络进行单独训练，得到训练好的单标签分割子网络模型；其中，单标签分割子网络的损失函数L_single为分割预测与单标签的二值交叉熵；

利用训练好的单标签分割子网络模型和多标签分割子网络模型分别对测试集中的峰值数据进行分割预测，并对分割预测结果采用sigmoid激活进行归一化处理；然后将归一化后的多标签分割预测结果与单标签分割预测分别进行二值化，然后再将二者进行点乘，获得最终的白质神经束分割结果。

优选的，选用不同的嵌入空间的维度分别进行网络训练，选取分割结果最优的网络模型执行步骤4。

优选的，所述步骤3中，经训练的迭代次数进行阶段划分，仅跨阶段时更新权重α，同一阶段内权重α保持不变。

优选的，编码卷积层和解码卷积层的卷积核大小为1×1。

优选的，多标签分割子网络和及单标签分割子网络的训练均采用Adam优化算法。

有益效果：

(1)本发明利用联合嵌入空间学习了嵌入空间中输入和标签之间的对应于分割任务的关系，在分割预测的过程中隐式地利用了标签的相关性信息。同时，采用权重自适应调整策略，使得两个支路的损失能在训练过程中阶段性地达到平衡，促进网络收敛。本发明能够有效提升白质束分割的性能。实验表明，本发明所提出的方法能够提升分割结果的Dice系数。

(2)本发明利用单标签分割网络对多标签分割网络的分割结果进行后处理，有效地过滤掉分割结果中的假正例，进一步提高网络的分割效果。

附图说明

图1为峰值及标签的预处理示意。

图2为本发明的网络框架，由多标签和单标签分割网络构成。

图3为本发明方法的网络测试及后处理流程。

图4为本发明所提出方法与基础框架U-net的Dice对比。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于联合嵌入空间的白质神经束自动分割方法，以医学图像处理中经典的U-net结构为基础框架，加入了对标签空间进行线性嵌入的编码操作和将嵌入空间的数据返回标签空间的解码操作。

本发明首先获取纤维取向分布函数峰值数据并进行预处理，去除非脑的区域。随后对输入峰值和标签通过不同的映射方式嵌入到相同的低维空间。其中，输入峰值采用已有的U-net结构进行嵌入，标签采用较为简单的线性映射。对于嵌入空间中的输入峰值和标签，再通过线性映射的方式返回到标签空间。

为了使线性映射过程可根据训练数据自主学习，本发明利用卷积层对线性映射进行模拟。同时，为了保证峰值对应的分割支路和标签对应的重构支路均获得较好的效果，本发明对两个支路的损失函数进行联合优化。此外，为了避免两个损失项差距过大导致的网络过早收敛的现象，本发明引入了权重自适应的策略对重构支路的损失权重进行阶段性调整，缩小两个损失项之间的差距，使网络能进一步地收敛。

利用网络训练获得的模型对测试数据处理，并利用阈值T对预测概率进行二值化，获得不同白质束的分割结果。除此之外，本发明还利用了后处理策略。首先利用输入峰值获得一个单标签预测，即体素中是否包含白质束，对该单标签预测以阈值T1进行二值化获得单标签掩膜。随后利用单标签掩膜对不同白质束的分割结果进行后处理。

具体的，本发明可分为四个步骤：

第一步，实验环境配置及数据集下载

1)环境配置

本发明需要应用python3编程语言和支持GPU加速的pytorch深度学习框架。因此首先需要下载并安装ubuntu16.04系统并安装与GPU加速相关的cuda和cudnn。其次需要安装anconda3，创建虚拟环境，并在该虚拟环境下安装gpu版的pytorch及所需的第三方库，如numpy、nibabel等。此外，还需要安装FSL和Mrtrix3以用于峰值数据生成等操作。

2)数据集下载

本发明所使用的代码以开源代码TractSeg为基础，对该代码进行下载并安装，下载网址为：https://github.com/MIC-DKFZ/TractSeg。本发明使用的是公开的HCP105数据集，下载网址为：https://doi.org/10.5281/zenodo.1154877，下载并保存至HCP105文件夹。该文件夹包含105个被试者数据子文件夹。子文件夹根据被试者的编号subject_index来命名，如“613538”、“951457”。每个子文件夹中包含data.nii.gz,nodif_brain_mask.nii.gz，bvals，bvecs等文件，其中data.nii.gz为弥散磁共振呈像数据，其各向同性分辨率为1.5mm、含有270个梯度方向和18个b0图像。nodif_brain_mask.nii.gz是大脑区域的掩膜，bvals和bvecs中分别存放b值和梯度方向。该数据集中的数据已经有过基本的预处理流程处理，包括畸变校正、运动校正、MNI空间配准和大脑提取等。此外，还需要下载该数据集的.trk文件，保存至Label文件夹。

第二步峰值及标签数据生成及预处理

1)峰值及标签数据生成

首先利用HCP105文件夹中被试者的data.nii.gz数据和TractSeg/bin/TractSeg程序生成纤维取向分布函数峰值数据，并保存为Data/subject_index/peak.nii.gz。其次，利用TractSeg中的trk_2_binary.py程序和Label文件夹下的.trk文件，合成与峰值数据对应的标签，并保存为Data/subject_index/bundle_masks_72.nii.gz。

2)数据预处理

利用HCP105/subject_index/nodif_brain_mask.nii.gz文件和数据预处理程序preprocessing.py和依次去除Data文件夹中峰值和标签的非脑区域，并保存至Data_prep文件夹。如图1所示，对峰值和标签进行预处理时，利用大脑掩膜去除图1(b)中峰值和图1(c)中标签的非大脑区域。此外，为了生成单标签分割任务的标签，还需对Data_prep文件夹中各被试者标签的每个体素处的二值向量进行判断，当向量元素不全为零，即该体素含有白质束时，将二值向量替换为1，否则替换为0，并将生成的单标签保存为Data_prep/subject_index/single_mask.nii.gz。去除无脑区域的峰值和标签被用于网络的训练和测试。

第三步网络搭建及训练

本发明搭建的网络框架如图2所示，共包含两个部分：多标签分割子网络和单标签分割子网络。其中多标签分割子网络用于获得各类白质束的分割结果，单标签网络用于判断是否存在白质束。

1)多标签分割子网络

如图2(a)所示，多标签分割子网络由两个支路构成，即以标签作为输入的重构支路和以峰值作为输入的分割支路。

对于重构支路，标签中的每个体素对应于一个二值化的向量，向量每个元素表示是否含有特定种类的白质束，即含有该类白质束时取值为1，不含时取值为0。采用一层卷积核大小为1×1，步长1×1，卷积核数目为d的卷积层对标签y∈R^B×W×H×c进行线性映射F_e(·)，其中B为训练或测试过程的batchsize，W和H为标签的空间尺寸，c＝72为白质束类别总数。则嵌入空间中的标签可表示为F_e(y)∈R^B×W×H×d，其中d为嵌入空间的维度，嵌入空间的维度由卷积核数目决定。

对于分割支路，输入峰值x∈R^B×W×H×n采用已有的2D U-net结构进行嵌入，n＝9为输入峰值的通道数。未引入嵌入空间时，U-net的输出维度应为白质束类别总数c。引入嵌入空间后，为了使峰值能映射到与重构支路相同的低维空间，则U-net最后一层卷积的卷积核数目应与线性映射的嵌入维度d相同。用F_m(·)表示U-net进行的非线性映射，则嵌入空间中的峰值可表示为F_m(x)∈R^B×W×H×d。对于嵌入空间中的标签F_e(y)和输入峰值F_m(x)，还需要利用线性映射F_d(·)进行解码，返回标签空间。与标签嵌入过程类似，该线性映射也采用了一层卷积核大小为1×1，步长1×1，卷积核数目为白质束类别总数c的卷积层。

为了能将标签隐含的相关性信息与峰值的纤维方向信息结合，本发明对两个支路进行联合优化，其中作为解码器的线性映射F_d(·)的权重由两个支路共享。将每一个支路的损失定义为支路的输出与标签的二值交叉熵(Binary Cross Entropy,BCE)，那么网络整体的损失可表示为：

L＝α·L_rec+L_seg

L_rec＝BCE(σ(F_d(F_e(y))),y)

L_seg＝BCE(σ(F_d(F_m(x))),y)

其中L_rec和L_seg分别为重构支路和分割支路的损失，α为重构支路损失的权重,σ(·)为对分割预测进行归一化的sigmoid激活函数。为了使该权重的选择能够更好地匹配两个支路的联合训练过程，本发明提出了一种多阶段权重自适应策略，而不是将权重作为超参数设置为固定值。更新权重时，首先计算当前分割和重构支路损失的比值ratio＝L_seg/L_rec，将该比值用科学计数法表示为ratio＝p·10^q，那么权重α的更新值为α＝q+1。设权重更新间隔的代数为m，训练的总代数为5m。损失权重的初始值为1，在训练代数为m,2m,3m,4m时对权重进行更新，各训练阶段的损失权重保持不变。

本发明共采用了100个被试者的峰值和标签，并等比例划分成五份，其中用于训练、验证及测试的数据比例为3:1:1。为了对嵌入空间的维度d进行探究，标签空间的编码卷积层的卷积核数分别被设为72、60、48、36、24和12，空间尺寸W×H＝144×144。网络每隔m＝200代对重构损失权重α进行更新，总的训练代数epoch＝5m＝1000。网络训练采用了Adam优化算法，将batchsize设为56，每个阶段的初始学习率lr设为0.001。二值化所采用的阈值T＝0.5。判断是否保存当前的网络参数时，以验证集上的各标签的平均Dice为标准：

其中Dice用于计算标签y与分割结果

的重叠率，

由阈值T对分割预测F_d(F_i(x))先进行sigmoid激活获得分割概率，再进行二值化获得。其中二值化过程为当分割概率值大于阈值时取值为1，小于阈值时取值为0。如果平均Dice高于已有的最大值，则将当前参数保存为网络模型。最终的网络模型用于网络测试。

根据本发明的所提出的框架以及训练策略对TractSeg代码中相应的内容进行改进，如定义网络结构的unet_pytorch.py和定义网路超参数的base.py等程序，并利用TractSeg/bin/ExpRunner程序和Data_prep文件夹中的峰值peaks.nii.gz和多标签bundle_masks_72.nii.gz对网络进行训练，获得训练好的网络模型weights.npz。

2)单标签分割子网络

单标签分割子网络的功能是对输入的峰值进行类似于二分类的操作，判断各个体素中是否含有白质束。如图2(b)所示，该网络也采用2D U-net的结构，区别是网络最后一层卷积的卷积核数目为1，即输出结果通道数为1。定义该非线性映射为F_s(·)，分割预测为F_s(x)，则该网络的损失函数L_single为归一化后的分割预测与单标签分割任务的标签y_single的二值交叉熵，即：

L_single＝BCE(σ(F_s(x)),y_single)

网络训练的总代数epoch＝200，采用的优化算法、batchsize、初始学习率lr、二值化阈值为T与多标签分割子网络相同。根据该网络的结构及训练过程对TractSeg代码进行修改，并利用ExpRunner程序和Data_prep文件夹中的峰值peaks.nii.gz和单标签single_mask..nii.gz进行训练，获得网络模型weight_single.npz。

第四步网络测试及后处理

1)编写测试程序Test.py

根据网络的测试流程和分割评估方法编写测试程序Test.py。在该程序中将测试过程中的batchsize设为1，对峰值的三个空间维度分别处理后对预测概率求平均，并对平均预测概率进行二值化处理。此外，将Dice作为分割效果的量化评估标准。

2)网络模型测试

利用程序Test.py和多标签或者单标签网络的网络模型进行测试。如图3所示，多标签分割任务利用保存的模型weights.npz对Data_prep文件夹中划分为测试集的被试者的峰值数据进行预测；单标签分割任务利用weights_single.npz对测试被试者的峰值数据进行预测。多标签和单标签模型的分割预测结果进行sigmoid激活后，分别采用阈值0.5和0.4进行二值化处理。此外，还需要对二值化后的结果进行尺寸变换和增加非大脑区域等操作，使结果和Data文件夹中包含非脑区域的标签bundle_masks_72.nii.gz的尺寸相对应，并将多标签和单标签的分割结果分别保存为Predict/subject_index文件夹下的multi_label.nii.gz和singel_label.nii.gz。

嵌入空间维度设置不同的值时，多标签分割子网络的分割结果的平均Dice如表1所示。当嵌入维度d＝36时的分割效果最优。当嵌入空间的维度过低时，如取12或者8时，将峰值或标签嵌入到该维度会损失较多的信息，难以通过解码过程进行补充，因此分割效果会明显下降。由于单标签分割任务相对较简单，因此单标签分割子网络的平均Dice达到了0.9383。

3)多标签分割结果后处理

利用单标签分割结果对多标签预测结果进行后处理。后处理时，需要计算predict/subject_index文件夹中多标签分割结果multi_label.nii.gz与单标签分割结果singel_label.nii.gz的点乘，以对白质束的分割结果进行过滤。

4)实验结果对比

将联合嵌入与后处理进行结合，本发明最终获得的分割结果的Dice如表1所示。对比表中数据可知，本发明所提出的方法能有效提升白质束分割的Dice。为了解本发明中的方法在不同测试被试者上的分割效果，本发明还对不同测试被试者的平均Dice进行了比较。图4为本发明所提出方法与基础框架U-net的Dice对比。其中颜色较浅的圆为20位测试被试者的各类白质束Dice得分的平均，颜色较深的三角形表示Dice均值。对比可知，本发明所提方法除了能获得更高的总Dice得分，各被试者的平均Dice的分布也更加集中。

表1不同方法的分割结果的Dice对比

不同方法或嵌入维度	Dice
		联合嵌入d＝72	0.84454
联合嵌入d＝60	0.84468
		联合嵌入d＝48	0.84452
联合嵌入d＝36	0.84471
		联合嵌入d＝24	0.84449
联合嵌入d＝12	0.84328
		联合嵌入d＝36及后处理	0.84484
U_net	0.83942

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于联合嵌入空间的白质神经束自动分割方法，其特征在于，包括如下步骤：

L＝α·L_rec+L_seg

2.如权利要求1所述的基于联合嵌入空间的白质神经束自动分割方法，其特征在于，所述网络还包括单标签分割子网络；单标签分割子网络以去除非脑区域的峰值作为输入，利用2D U-net进行单标签分割预测；其中，单标签分割子网络中的2D U-net除了最后一层卷积的卷积核数目为1外，与多标签分割子网络的2D U-net结构相同；

3.如权利要求1或2所述的基于联合嵌入空间的白质神经束自动分割方法，其特征在于，选用不同的嵌入空间的维度分别进行网络训练，选取分割结果最优的网络模型执行步骤4。

4.如权利要求1或2所述的基于联合嵌入空间的白质神经束自动分割方法，其特征在于，所述步骤3中，经训练的迭代次数进行阶段划分，仅跨阶段时更新权重α，同一阶段内权重α保持不变。

5.如权利要求1或2所述的基于联合嵌入空间的白质神经束自动分割方法，其特征在于，编码卷积层和解码卷积层的卷积核大小为1×1。

6.如权利要求2所述的基于联合嵌入空间的白质神经束自动分割方法，其特征在于，多标签分割子网络和单标签分割子网络的训练均采用Adam优化算法。