CN112489048B - 一种基于深度网络的视神经自动分割方法 - Google Patents

Abstract

一种基于深度网络的视神经自动分割方法，使用具有NVIDIA GeForce系列显卡的操作平台，通过对标注数据进行预处理及深度网络训练等一系列操作，得出网络模型，能够对视神经结构进行预测分割。相比较于常用的人工标注和基于可变模型的分割方法，本发明可以更为快速地获得视神经分割数据，分割精度通过深度网络学习得到提高，能够为视神经分割过程提供精确、高效的方法，还能够为其他颅神经提供可重复分析的方法。

Description

一种基于深度网络的视神经自动分割方法

技术领域

本发明涉及人工智能领域和信息技术计算机图像学下的医学成像、医学图像分割领域，尤其是一种基于深度网络的视神经自动分割方法。

背景技术

随着医学影像技术的发展和计算机设备的革新，医学图像分辨率以及成像精度不断提高，使得医学图像在临床以及医学研究中得到广泛应用。医学图像分割技术是诸多医学图像应用中不可或缺的重要技术，术前将医生关注的关键结构单独分割出来，便于疾病分析诊断、手术方案规划。大脑中有12对颅神经，分别支配着鼻子、眼睛、面部、耳蜗等重要区域的感觉与运动功能。任意一对颅神经受到损伤时，就会表现出该神经支配区域的感觉或运动功能障碍，如视力异常、面瘫、偏头痛等等。视神经是颅神经中其中一对特征较为明显的结构，但是，2019年Timothée Jacquesson等人总结了21篇参考文献的重构结果并测试了9个常用算法表明，现有算法难以完整重构较大颅神经如视神经、三叉神经，并无法重建其它小颅神经，而面临挑战。选取视神经作为分割对象有利于研究由浅入深顺利进行，便于将研究方法扩展到其余颅神经的分割成像中。

视神经分割方法主要有人工标注法、基于图谱导航的最佳中轴线法、可行变模型的MR和CT图像分割法、基于深度网络的分割方法等。由于视神经结构部分边界难以区别，具有较高的复杂性且缺少简单的线性特征，人工标注法的分割结果主要决定于医生的水平，而且人工标注需要消耗大量人力物力，难以满足临床需求。随着计算机技术的发展，人们分割视神经的方法逐渐由手动发展为半自动和自动。但是由于医学图像存在噪声多、不同设备之间的图像质量差异大等特点，基于几何模型用于CT图像中的眼球、晶状体、视神经、视交叉的半自动分割，其视神经分割的准确率达到了77％，视交叉达到了65％。2011年，一种基图谱导航和可形变模型算法结合的视神经分割方法在10例以上的数据进行测试对比，平均Dice系数达到了0.8。X.Yang等人2014年提出了一种基于ASM(活动轮廓模型)的视神经分割方法，通过在传统的活动轮廓模型的基础上，引入一种加权分割的主动形状模型。最终分割的的平均Dice系数从传统活动轮廓模型的0.31提升到了0.73。如今，深度学习为图像分割提供了最先进的方法，自2012年以来，人们已经提出了多种卷积神经网络模型用于医学图像的分割。

传统的基于卷积神经网络的分割方法是对将一个像素周围的块作为训练网络的输入进行预测。这一类方法的缺点是：计算机内存运算开销大、计算内容重复效率低下、像素块大小限制感知区域大小。为了解决上述问题，人们提出了全卷积网络结构，全卷积网络可以对图像进行像素级的分类。在全卷积网络结构的基础上，人们又提出了U-Net网络，进一步提高了图像分割准确率。U-Net是一种基于全卷积网络的语义分割网络，由于其训练效率高、所需数据集小就可以得到较好的分割效果而在分割领域广受应用。

目前，视神经分割的研究逐渐成为当前关注点，但是相关文献少。

发明内容

为克服现有人工标记繁琐、分割精确度低的问题，本发明提供了一种基于深度网络的视神经自动分割方法，其中的深度网络是基于U-Net网络进行改进，能够大大减少分割时间，提高分割精度，从而提高视神经分割的时效性和实用性，使视神经分割能够更好地应用于医学临床诊断中。具体的说，本发明将改进的图像算法与深度网络相结合。使用卷积网络对T1和FA图像进行训练，通过网络强大的描述能力，帮助生成高质量的视神经和非视神经掩码和概率图。

本发明解决其技术问题所采用的技术方案是：

一种基于深度网络的视神经自动分割方法，包括如下步骤：

步骤1、数据集准备：从HCP下载训练数据，经过数据筛选后。选择102例数据的MRI和DWI图像，选择MRI图像中的T1图像以及DWI图像生成的FA图像。结合T1和FA图像和医生交流修改进行视神经标注；

步骤2、数据预处理：对步骤1中得到的数据进行切片成128×160×128大小，对图像数据进行直方图均衡化，灰度直方图归一化以及图像增广操作。完成训练数据和测试数据的准备工作；

步骤3、网络设计及训练：构建U-Net网络模型，使用步骤2中生成的训练样本训练构建好的网络模型，分别生成T1、FA的概率映射图和分割掩码；

步骤4、预测分割：使用训练得到的网络模型对没有标记的数据进行视神经区域的预测，将预测得到的结果和标记得到的结果进行对比，计算预测的准确率。

本发明中，基于深度网络的视神经分割系统由数据集准备、数据预处理、网络设计及训练、预测分割四个部分组成，数据集准备是进行网络训练前的首要步骤，数据集的好坏直接关乎最后的预测分割效果；数据预处理包括在网络训练前对图像进行图像裁剪、图像归一化、Mask区域提取、训练数据提取等一系列操作；然后，结合当下医学分割使用较为广泛的U-Net分割网络和视神经的结构特点，进行网络的设计和训练，最后通过训练好的模型，对测试集数据进行预测分割，合成分割结果。

本发明的有益效果表现在：能够大大减少分割时间，提高分割精度，从而提高视神经分割的时效性和实用性，使视神经分割能够更好地应用于医学临床诊断中；本发明将改进的图像算法与深度网络相结合，使用卷积网络对T1和FA图像进行训练，通过网络强大的描述能力，帮助生成高质量的视神经和非视神经掩码和概率图。

附图说明

图1是一种基于深度网络的视神经自动分割方法的流程图。

图2是深度网络的编码解码过程示意图。

具体实施方式

为了使本发明的目的、技术方案和有点更加清楚明白，以下结合具体实施和附图，对本发明做进一步补充说明。

参照图1和图2，一种基于深度网络的视神经自动分割方法，能够充分利用对模态图像之间的信息，实现视神经区域的自动、准确分割，包括如下步骤：

步骤1、数据集准备：收集102例美国人脑连接计划核磁共振数据(HCP)进行标注，首先，在标注之前，两位学生先学习视神经的解剖知识，再与一名神经外科手术经验丰富的医生进行交流，区分识别视神经区域。其次，由于数据需要标注的层数多、样本数量大、边界识别难度大，在完成人工粗略标注之后，再与医生进行交流，通过医生的反馈，不断修正。标注完成后将各自标注的数据和对方交换，再次检查标注的准确性。经过以上步骤后，最后交由两名临床经验丰富的医生进行检查修正。将标注数据按照7:2:1的比例分成训练集、验证集、测试集。至此，完成数据集的准备。

数据预处理：预处理操作包括：图像裁剪、直方图均衡化、图像归一化、Mask区域提取操作、训练数据提取，过程如下：

(1)图像裁剪。原数据为145×174×145的三维MRI数据，三个维度分别设为x、y、z方向。经统计，视神经存在于z轴上的25-60层之间，且在y轴上截去多余背景，取其中心128×160×128的数据，保存成nii.gz格式。

(2)直方图均衡化。为了增强图像的对比图，减小不同数据之间的差异性，对MRI图像进行直方图均衡化。将需处理的图像转化成灰度图像，灰度级为0-255，设为L，计算每个灰度在整个图像中体素个数的占比，记第i个灰度的直方图分布概率为P(i)，N为体素总个数，直方图均衡化公式如下：

设K为最大灰度级，则直方图均衡化后的新图像灰度值表示为：

V_k＝S_k×K

(3)图像归一化。将上述直方图均衡化后的图像灰度值归一化为0-1的范围，此操作不改变图像信息，但能够加速之后训练过程的网络收敛。归一化公式如下：

其中V_new为归一化后体素的灰度值，V_old为归一化前体素的灰度值，V_max、V_min分别为三维数据中信号值最大值和最小值。

(4)Mask区域提取。图像Mask区域的提取就是用选定的图像、图形或物体，对处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。Mask区域提取的步骤为：一、设置合适的阈值对图像进行阈值分割，大于阈值的图像灰度值为1小于阈值的为0；二、对图像进行去噪操作，去除图像中的噪点；三、对图像进行腐蚀膨胀，填充闭合图像中的孔洞。

(5)FA图像的生成。由于视神经的视交叉到外侧膝状体部分在FA图像上的边界较为明显，因此将T1和FA图像都作为深度网络的训练数据以取得更好的训练效果。生成FA图首先通过使用FSL软件FDT功能中的eddy_correct对图像进行头动涡流矫正，再对4D的DTI数据中使用fslroi命令得到b0图像后去除b0图像的头骨得到了限制张量计算范围的mask区域。最后使用FSL的dtifit功能计算得到FA值组成FA图像。为了得到FA图需要对DTI的张量矩阵进行特征分解得到水分子扩散的三个方向的特征值λ₁,λ₂和λ₃。最终计算FA值的公式如下：

其中λ为平均扩散系数(Mean Diffusivity)，计算λ的公式如下：

步骤2、生成训练样本：根据视神经结构特点、分布的区域及其所占的区域大小，在128×128×128的三维MR数据中以12为步长分别在三个维度上提取64×64×64的数据，每个数据单独保存成nii.gz格式文件。具体利用pytorch的sklearn包的feature_extraction.imag导入extract_patches函数进行提取。对包含视神经区域的数据，使用np.flip功能对图像进行镜像翻转，此操作能取得数据扩充的效果，使得最终训练数据的正负样本比例在1:1左右。

步骤3、网络模型搭建：本发明应用到的3D-Unet框架，编码器模块分别包含5个卷积层和最大池层，分别包含32、64、128、256、512个特征映射；解码器模块包含5个反卷积层和卷积层，分别包含512、256、128、64、32特征映射。在卷积层中，所有卷积核的尺寸为3×3×3。对于所有的最大池层，池大小为2×2×2，步长为2；对于所有的反卷积层，将反卷积后的特征映射与编码器模块中的相应特征相结合。解码后，使用Softmax分类器生成体素级概率映射和预测。使用步骤3中生成的训练样本训练构建好的网络模型，为了克服网络训练过程中图像类别不均衡使得最终结果不佳的问题，采用Dice系数作为网络的Loss函数，下面为Dice的定义，其中TP是真阳性体素的数目，FP是假阳性体素的数目，FN是假阴性体素的数目：

同时Dice系数也可以写成：

其中p_x∈P:Ω→{0,1}为预测的二值分割含量，g_x∈G:Ω→{0,1}为真值的二值含量，s＝1为添加的平滑因子(拉普拉斯平滑)。然后，Dice系数在每个位置j处惩罚p_x与真标签g_x的偏差，使用差分梯度：

步骤4、测试图像预测分割：首先将测试集数据，裁剪其中心128×128×128的数据，然后经过直方图均衡化后，按64×64×64大小，以64为步长分别在三个维度上提取数据，每个测试集则有8个64×64×64大小的数据。将每个数据通过Pytorch的Dataset和DataLoader自定义读取数据机制，输入到训练好的模型中进行预测，最后将预测结果拼接成128×128×128大小的数据，最后填补成与原数据相同的145×174×145大小的数据，并保存成nii.gz格式。完成测试集的预测分割后通过3D Slicer软件直观看分割效果。

通过调试参数训练好网络后，这种基于深度网络的视神经分割方法可以大大提高视神经分割的效率、精确性。再进一步，所述步骤5中，在进行图像裁剪时，视神经不存在于被裁剪的区域中，因此在将预测结果填补成与原图大小相同的图像时，只需将被裁剪的区域的灰度值还原为0即可。

本发明由于采用上述技术方案，具有以下优点：能够有效提高视神经的分割精确性；通过深度网络学习方法能够提高分割效率；能够为除视神经以外其他颅神经的分割研究提供稳定、高效、可重复的分析方法。

以上所述的具体实施仅为本发明的一种最佳实现方式,并不用于限制本发明的专利范围,凡是利用本发明精神和原则及附图内容所作的等效结构或等效流程变换,均应包括在本发明的专利保护范围内。

Claims (5)

1.一种基于深度网络的视神经自动分割方法，其特征在于：该分割方法包括以下步骤：

步骤1、图像预处理：获取人脑MRI数据，将图像灰度值归一化和均衡化，再进一步经过灰度值阈值化生成对应的脑组织/非脑组织区域掩码；再将经过配准的MRI数据对应的DWI数据进行头动矫正后提取b0图像确定图像的区域掩码，通过局部拟合计算出FA值；

为了得到FA值，对DTI的张量矩阵进行特征分解得到水分子扩散的三个方向的特征值λ₁,λ₂和λ₃，最终计算FA值的公式如下：

其中λ为平均扩散系数，计算λ的公式如下：

步骤2、生成训练样本：结合步骤1中生成的T1和FA值，使用人工标记的方法结合两类图像得到视神经的标注信息；以脑组织/非脑组织区域掩码和视神经标注信息，以不同的方法对不同的层进行提取作为训练样本；

步骤3、训练网络模型：构建U-Net网络模型，采用Dice系数作为网络的Loss函数来解决图像类别不均衡的问题；并且重新定义网络的输入，将原本的单模态输入的网络改为T1+FA的多模态网络输入结构；并使用步骤2中生成的训练样本训练搭建好的网络模型，并将最终训练得到的权重在测试数据上进行测试；

步骤4、预测分割：使用训练得到的网络模型对没有标记的数据进行视神经区域的预测，将预测得到的结果和标记得到的结果进行对比，计算预测的准确率。

2.如权利要求1所述的基于深度网络的视神经自动分割方法，其特征在于，所述步骤1中，配准过程采用的算法为互信息的B样条配准方法，FA图像提取过程中的头动矫正和FA值计算使用FSL软件的FDT功能。

3.如权利要求1或2所述的基于深度网络的视神经自动分割方法，其特征在于，所述步骤2中，对每一幅包含视神经区域的图像进行镜像操作，再使用随机抽样的方法删除一部分的无视神经区域的图像，使得最终的数据比例为1:1。

4.如权利要求1所述的基于深度网络的视神经自动分割方法，其特征在于，所述步骤2中，使用的Loss函数为Dice系数是为了解决分割目标分布不平衡的问题，定义Dice，其中TP是真阳性体素的数目，FP是假阳性体素的数目，FN是假阴性体素的数目：

同时Dice系数写成：

其中p_x∈P:Ω→{0,1}为预测的二值分割含量，g_x∈G:Ω→{0,1}为真值的二值含量，s＝1为添加的平滑因子；然后，Dice系数在每个位置j处惩罚p_x与真标签g_x的偏差，使用差分梯度：

5.如权利要求1所述的基于深度网络的视神经自动分割方法，其特征在于所述步骤3中，所使用的输入网络的多模态数据，在输入网络进行卷积前，将两类数据转变为张量形式后进行相加，数据就又单通道变为了双通道；将相加后的数据输入网络进行训练得到多模态数据输入训练得到的模型结果。