CN111080575A - 一种基于残差密集u形网络模型的丘脑分割方法 - Google Patents

Abstract

本发明公开了一种基于残差密集U形网络模型的丘脑分割方法，包括如下步骤：S1：对训练样本图像数据进行预处理；S2：构建待训练的语义分割网络模型；S3：将预处理后的训练样本图像，作为待训练的语义分割网络模型的输入，对待训练的语义分割网络模型进行训练，获取训练好的丘脑分割模型；S4：将待分割原始图像进行轴向面切片，并作为训练好的丘脑分割模型的输入，获取待分割原始图像的初步分割图像；S5：将待分割原始图像的初步分割图像进行拼接，获得三维丘脑分割结果图像。本发明的丘脑分割方法通过运用残差学习，增加了网络深度使得网络整体特征提取能力，解决了增加深度带来的副作用，即梯度弥散问题，从而使得丘脑组织更易提取。

Description

一种基于残差密集U形网络模型的丘脑分割方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于残差密集U形网络模型的丘脑分割方法。

背景技术

丘脑是人脑的中转站，接收除嗅觉外的所有感觉信号，并传递至大脑皮层区域。丘脑可以划分为多个核团，并且每个核团均有其特定的功能。核团与特定皮层区域存在连接或者成为皮层连接之间的中继。众多神经系统疾病与丘脑核团的损坏有着密切的联系，如阿兹海默症、帕金森症、精神分裂症、癫痫等多种疾病。深部脑刺激手术通过对丘脑特定核团植入起搏器，可以有效治疗上述疾病。因此，精准的丘脑分割对于大脑认知研究、神经疾病的机制研究与诊断治疗等领域具有重要价值与意义。

随着深部脑刺激手术的广泛使用，对于丘脑的准确定位成为提高电极放置准确性的关键环节。术前影像作为确定靶点丘脑的核心手段不可或缺。但从术前影像中确定丘脑的位置通常需要花费手术者大量的人工操作，需要对扫描切片每一帧进行标注，并且丘脑组织分割的准确性会直接影响后续步骤的表现，因此手动提取脑组织的方法不适用于临床诊断，更不适合大规模的研究。

卷积神经网络是深度学习的一个重要分支方向，在近几年迅猛发展，目前已在语音识别、图像处理和模式识别等领域取得了关键性突破。卷积神经网络更是图像分割领域的一个新的重要方向。在自然图像的分割中，已经发明了许多端到端的卷积神经网络的分割方法。单纯地用已有的卷积神经网络模型对大脑核磁共振图像超进行丘脑分割是不合适的，这是因为现有针对卷积神经网络方法未能充分考虑核磁共振图像成像噪声以及丘脑与周边组织对比度较低等因素。

发明内容

发明目的：针对现有丘脑分割过程中，未能充分考虑核磁共振图像成像噪声以及丘脑与周边组织对比度较低等因素的问题，本发明提出了一种基于残差密集U形网络模型的丘脑分割方法。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：

一种基于残差密集U形网络模型的丘脑分割方法，所述丘脑分割方法具体包括如下步骤：

S1：对训练样本图像数据进行预处理；

S2：构建待训练的语义分割网络模型；

S3：将所述预处理后的训练样本图像，作为所述待训练的语义分割网络模型的输入，对所述待训练的语义分割网络模型进行训练，获取训练好的丘脑分割模型；

S4：将待分割原始图像进行轴向面切片，并作为所述训练好的丘脑分割模型的输入，获取所述待分割原始图像的初步分割图像；

S5：将所述待分割原始图像的初步分割图像进行拼接，获得三维丘脑分割结果图像。

进一步地讲，在所述步骤S1中，对所述训练样本图像数据进行预处理，具体如下：

S1.1：将所述训练样本图像按小组为单位进行划分，且每个所述小组中均包括有初始图像和标签图像；

S1.2：将所述每小组的初始图像和标签图像均进行轴向面方向上的二维切片，获取所述初始图像和标签图像各自对应的二维图像，同时对所述二维图像的数据进行归一化处理；

S1.3：将所述归一化处理后的标签图像数据中的像素种类进行ONE-HOT编码。

进一步地讲，在所述步骤S1.3中，所述归一化处理后的标签图像数据中的左丘脑像素点记作：[1,0,0,0]，右丘脑像素点记作：[0,1,0,0]，脑组织背景像素点记作：[0,0,1,0]，图像背景像素点记作：[0,0,0,1]。

进一步地讲，在所述步骤S2中，构建所述待训练的语义分割网络模型，具体如下：

S2.1：在语义分割网络模型中由各池化层所划分的每一层内连续的两个卷积层中，将第二个卷积层替换成残差密集模块，获得残差密集U形网络模型；

S2.2：在所述残差密集U形网络模型的分类层中，通过softmax函数对输入的样本数据进行处理，获得所述待训练的语义分割网络模型，所述softmax函数对输入的样本数据进行处理，具体为：

其中：p_k(x)为图像x位置上的像素点在标签k类别处的概率，a_k(x)为图像x位置上的像素点特征通道k的激活值，K为标签类别总数。

进一步地讲，所述残差密集U形网络模型共有九层，分别为四个特征提取下采样层、四个图像还原上采样层和一个中间过渡层。

进一步地讲，所述特征提取下采样层和中间过渡层均按顺序依次执行2x2池化操作、3x3卷积操作、归一化操作和残差密集模块操作；

所述图像还原上采样层按顺序依次执行2x2上采样操作、特征图拼接操作、3x3卷积操作、归一化操作和RDB模块操作。

进一步地讲，所述残差密集模块操作包括有两个分支，所述一个分支执行残差连接的特征图叠加操作，所述另一个分支按顺序执行RDBCONV卷积操作、Concat拼接操作和1x1卷积操作。

进一步地讲，当所述标签类别有最大激活值时，所述图像x位置上的像素点在标签k类别处的概率设置为1。

进一步地讲，在所述步骤S3中，获取所述训练好的丘脑分割模型，具体如下：

S3.1：每次均随机抽取N张所述初始图像及对应的标签图像作为待训练的语义分割网络模型的输入，获得所述初始图像中各像素点的概率分布图；

S3.2：根据所述初始图像中各像素点的概率分布图，确定出所述概率分布图和初始图像对应的标签图像之间的交叉熵损失值，具体为：

其中：C为交叉熵损失值，Ω为标签值，p_I(x)(x)为对像素类别预测正确的概率值；

S3.3：将所述交叉熵损失值通过Adam优化算法反向传播，获取所述待训练的语义分割网络模型中，当前层网络参数的一阶梯度和前一层网络参数的一阶梯度之间的加权求和、当前层网络参数的二阶梯度和前一层网络参数的二阶梯度之间的加权求和，具体为：

其中：c_t为第t层网络参数的一阶梯度和第t-1层网络参数的一阶梯度之间的加权求和，β₁为c_t对应的加权值，g_t-1为第t-1层网络参数的一阶梯度，g_t为第t层网络参数的一阶梯度，v_t-1为第t层网络参数的二阶梯度和第t-1层网络参数的二阶梯度之间的加权求和，

为第t-1层网络参数的二阶梯度，

为第t层网络参数的二阶梯度，β₂为v_t对应的加权值；

S3.4：通过所述当前层网络参数的一阶梯度和前一层网络参数的一阶梯度之间的加权求和、当前层网络参数的二阶梯度和前一层网络参数的二阶梯度之间的加权求和，更新所述待训练的语义分割网络模型的权重；

S3.5：设置学习率，将所述更新了权重后的待训练的语义分割网络模型进行训练，当训练次数达到预设次数后，训练停止，获得所述训练好的丘脑分割模型。

有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：

(1)本发明的丘脑分割方法通过运用残差学习，增加了网络深度使得网络整体特征提取能力，解决了增加深度带来的副作用，即梯度弥散问题，从而使得丘脑组织更易提取；

(2)本发明的丘脑分割方法运用密集连接，通过特征复用的方式增加了网络单层的特征提取能力，从而降低了噪声对图像分割的影响；

(3)本发明的丘脑分割方法运用瓶颈设计，降低了网络的参数规模，在保证网络特征提取能力的前提下，减小了对计算资源的要求。

附图说明

图1是本发明的丘脑分割方法的流程示意图；

图2是本发明的残差密集U形网络模型架构示意图；

图3是本发明的残差密集U形网络模型中残差密集模块的示意图；

图4是本发明的残差密集模块中RDBCONV卷积操作示意图；

图5是本发明的丘脑分割结果示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。其中，所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。

实施例1

参考图1，本实施例提供了一种基于残差密集U形网络模型的丘脑分割方法，该丘脑分割方法具体包括如下步骤：

步骤S1：对训练样本图像数据进行预处理，具体如下：

步骤S1.1：将训练样本图像数据按小组为单位进行划分，其中每个小组中均均包括有初始图像及其对应的标签图像，同时初始图像和标签图像的存储形式均为三维体数据，且三维体数据的尺寸为i×j×k，其中i为图像三维体数据的长度，j为图像三维体数据的宽度，k为图像三维体数据的厚度。

步骤S1.2：将每小组内的初始图像及其对应的标签图像均进行轴向面方向上的二维切片，获取初始图像和标签图像各自对应的二维图像。同时对所有的二维图像的数据进行归一化处理。

具体地讲，三维体数据尺寸为i×j×k的图像，进行轴向面切片后，可以得到k张尺寸为i×j的二维图像。

步骤S1.3：将归一化处理后每小组内的标签图像数据中的像素种类进行ONE-HOT编码，也就是将归一化处理后的标签图像数据中的左丘脑像素点记作：[1,0,0,0]，右丘脑像素点记作：[0,1,0,0]，脑组织背景像素点记作：[0,0,1,0]，图像背景像素点记作：[0,0,0,1]。

步骤S2：参考图2、图3和图4，构建待训练的语义分割网络模型，具体如下：

步骤S2.1：在语义分割网络模型中由各池化层所划分的每一层内连续的两个卷积层中，将第二个卷积层替换成残差密集模块，从而将语义分割网络模型转换为残差密集U形网络模型，进而得到残差密集U形网络模型。

在本实施例中，残差密集U形网络模型共有九层，分别为四个特征提取下采样层、四个图像还原上采样层和一个中间过渡层。其中特征提取下采样层和中间过渡层均按顺序依次执行2x2池化操作、3x3卷积操作、归一化操作和残差密集模块操作，图像还原上采样层按顺序依次执行2x2上采样操作、特征图拼接操作、3x3卷积操作、归一化操作和RDB模块操作。其中特征图拼接操作是将特征提取下采样层的输出与图像还原上采样层中上采样操作后的输出进行拼接。

具体地讲，残差密集模块操作包括有两个分支，分支1执行残差连接的特征图叠加操作，可以解决网络加深带来的梯度弥散问题，分支2按顺序执行RDBCONV卷积操作、Concat拼接操作和1x1卷积操作，可以提高网络的特征提取能力，降低噪声对分割的影响。值得注意的是，分支1中的残差连接的特征图叠加操作是指将分支2中的输入以及输出进行特征图叠加。分支2中的Concat拼接操作是将该残差密集模块中所有RDBCONV卷积操作的输出特征图进行拼接。

在残差密集U形网络模型中九个层级中残差密集模块操作的RDBCONV卷积操作数目分别为：5,6,7,8,9,8,7,6,5。且RDBCONV卷积操作体现了瓶颈设计思路，按顺序执行1x1卷积操作、归一化操作、ReLU激活操作、3x3卷积操作、归一化操作和ReLU激活操作后，会对残差密集U形网络模型的网络参数规模进行下降，在保证网络特征提取能力的同时，降低对计算资源的要求。

步骤S2.2：在残差密集U形网络模型的分类层中，会应用softmax函数对输入的样本数据进行处理，据此获得的模型即为待训练的语义分割网络模型。

具体地讲，softmax函数对输入的样本数据进行处理，具体为：

其中：p_k(x)为图像x位置上的像素点在标签k类别处的概率，a_k(x)为图像x位置上的像素点特征通道k的激活值，K为标签类别总数。

在本实施例中，标签类别总数K选择为4。

值得注意的是，当标签类别k有最大激活值时，图像x位置上的像素点在标签k类别处的概率p_k(x)为1。

步骤S3：将预处理后的训练样本图像，作为待训练的语义分割网络模型的输入，对待训练的语义分割网络模型进行训练，获取训练好的丘脑分割模型，具体如下：

步骤S3.1：将预处理后的训练样本图像中的二维数据进行小批次随机组合，即每次均随机抽取N张初始图像及其对应的标签图像作为待训练的语义分割网络模型的输入，从而获取得到初始图像中各像素点的概率分布图。在本实施例中，每次随机抽取的图像张数设置为16。

步骤S3.2：根据步骤S3.1中获取得到的初始图像中各像素点的概率分布图，利用sigmod函数计算出该概率分布图和初始图像对应的标签图像之间的交叉熵损失值，具体为：

其中：C为交叉熵损失值，Ω为标签值，p_I(x)(x)为对像素类别预测正确的概率值。

步骤S3.3：将步骤S3.2计算得到的交叉熵损失值C通过Adam优化算法反向传播，以获取待训练的语义分割网络模型中，当前层网络参数的一阶梯度和前一层网络参数的一阶梯度之间的加权求和、当前层网络参数的二阶梯度和前一层网络参数的二阶梯度之间的加权求和，具体为：

其中：c_t为第t层网络参数的一阶梯度和第t-1层网络参数的一阶梯度之间的加权求和，β₁为c_t对应的加权值，g_t-1为第t-1层网络参数的一阶梯度，g_t为第t层网络参数的一阶梯度，v_t-1为第t层网络参数的二阶梯度和第t-1层网络参数的二阶梯度之间的加权求和，

为第t-1层网络参数的二阶梯度，

为第t层网络参数的二阶梯度，β₂为v_t对应的加权值。

在本实施例中，c_t对应的加权值β₁设置为0.9，v_t对应的加权值β₂设置为0.999。

步骤S3.4：根据步骤S3.3中当前层网络参数的一阶梯度和前一层网络参数的一阶梯度之间的加权求和、当前层网络参数的二阶梯度和前一层网络参数的二阶梯度之间的加权求和，更新网络模型权重。即将当前层网络参数的一阶梯度和前一层网络参数的一阶梯度之间的加权求和更新为当前层网络参数的一阶梯度，将当前层网络参数的二阶梯度和前一层网络参数的二阶梯度之间的加权求和更新为当前层网络参数的二阶梯度。

步骤S3.5：设置学习率，并将更新了权重后的待训练的语义分割网络模型进行训练，当训练次数达到预设次数后，训练将会停止，该训练停止后得到的待训练的语义分割网络模型，即为训练好的丘脑分割模型。在本实施例中，预设次数设置为60。

步骤S4：应用步骤S3.5中训练好的丘脑分割模型，将待分割原始图像进行轴向面切片，并将其作为训练好的丘脑分割模型的输入，获取得到待分割原始图像的初步分割图像。

步骤S5：将待分割原始图像的初步分割图像进行拼接，获取得到三维丘脑分割结果图像。

在本实施例中，以IBSR及HCP数据集数据为例，来说明本实施例中基于残差密集U形网络模型的丘脑分割方法。

实验条件：现选取一台计算机进行实验，该计算机的配置有NVIDIA GeForce GTX1080Ti GPU，64位操作系统，编程语言用的是Python，编程语言版本为3.5，深度学习框架为TensorFlow。

在本实施例中，使用了两个真实磁共振图像数据集，包括IBSR数据集与HCP数据集。IBSR数据集中包含18组大脑磁共振数据，每一组中包含两种图像，其中之一是初始图像，也是训练数据，为T1加权核磁共振图像，像素灰度在0～255之间。另外一个是标签数据图像，即专家手动分割结果，包含左丘脑及右丘脑的标签。两者的尺寸都为256x128x256。HCP数据集包含20组大脑磁共振数据，每一组中同样包含两种图像，其中之一是初始图像，也是网络训练样本，为T1加权核磁共振图像，像素灰度在0～3600之间；另外一个是标签数据图像，即专家手动分割结果，包含左丘脑及右丘脑的标签。两者的的尺寸都为260x310x260。

图1为完整的分割流程图，图5为基于残差密集U形网络模型丘脑分割结果，其中左边为原始丘脑图像，中间是基于丘脑分割方法的分割结果，右边是数据集提供的真实结果。

为了检验本实施例对脑部磁共振图像的分割精度，在此采用Dice系数作为评价指标：

Dice＝2TP/(2TP+FP+FN)

其中，TP为基于丘脑分割方法分割出的脑组织区域与专家手工分割模板的重叠区域，FP为基于丘脑分割方法分割出的脑组织但不属于专家手工分割模板的区域，FN为在专家手工分割模板中为脑组织但为基于丘脑分割方法没有分割出来的区域。

在IBSR和HCP数据集上，本实施例的基于丘脑分割方法与其它分割方法对应Dice指标，如表1所示。

表1

	IBSR	HCP
			Method	Dice	Dice
U-Net	86.83％	88.52％
			SegNet	84.65％	85.74％
FCB8s	76.13％	78.61％
			本发明方法	89.39％	90.61％

Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度。这里用来度量本实施例中的神经网络提取的脑组织区域与真实结果之间的相似程度。

上述技术方案所设计的基于残差密集U形网络模型的丘脑分割方法，引入密集连接设计思想，有效地提高了每层网络的特征提取能力，减少了噪声对分割的影响，同时引入残差学习策略，网络层数的增加使得RDU-Net更好地将丘脑组织与周边组织区分出来，还解决了网络加深带来的梯度弥散问题，最后引入瓶颈设计，对网络参数规模进行了压缩，在保证网络的特征提取能力的前提下，解决了网络设计带来的对计算资源要求过高的问题。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构和方法并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均属于本发明的保护范围。

Claims (9)

1.一种基于残差密集U形网络模型的丘脑分割方法，其特征在于，所述丘脑分割方法具体包括如下步骤：

S1：对训练样本图像数据进行预处理；

S2：构建待训练的语义分割网络模型；

S3：将所述预处理后的训练样本图像，作为所述待训练的语义分割网络模型的输入，对所述待训练的语义分割网络模型进行训练，获取训练好的丘脑分割模型；

S4：将待分割原始图像进行轴向面切片，并作为所述训练好的丘脑分割模型的输入，获取所述待分割原始图像的初步分割图像；

S5：将所述待分割原始图像的初步分割图像进行拼接，获得三维丘脑分割结果图像。

2.根据权利要求1所述的一种基于残差密集U形网络模型的丘脑分割方法，其特征在于，在所述步骤S1中，对所述训练样本图像数据进行预处理，具体如下：

S1.1：将所述训练样本图像按小组为单位进行划分，且每个所述小组中均包括有初始图像和标签图像；

S1.2：将所述每小组的初始图像和标签图像均进行轴向面方向上的二维切片，获取所述初始图像和标签图像各自对应的二维图像，同时对所述二维图像的数据进行归一化处理；

S1.3：将所述归一化处理后的标签图像数据中的像素种类进行ONE-HOT编码。

3.根据权利要求2所述的一种基于残差密集U形网络模型的丘脑分割方法，其特征在于，在所述步骤S1.3中，所述归一化处理后的标签图像数据中的左丘脑像素点记作：[1,0,0,0]，右丘脑像素点记作：[0,1,0,0]，脑组织背景像素点记作：[0,0,1,0]，图像背景像素点记作：[0,0,0,1]。

4.根据权利要求1或2或3所述的一种基于残差密集U形网络模型的丘脑分割方法，其特征在于，在所述步骤S2中，构建所述待训练的语义分割网络模型，具体如下：

S2.1：在语义分割网络模型中由各池化层所划分的每一层内连续的两个卷积层中，将第二个卷积层替换成残差密集模块，获得残差密集U形网络模型；

S2.2：在所述残差密集U形网络模型的分类层中，通过softmax函数对输入的样本数据进行处理，获得所述待训练的语义分割网络模型，所述softmax函数对输入的样本数据进行处理，具体为：

其中：p_k(x)为图像x位置上的像素点在标签k类别处的概率，a_k(x)为图像x位置上的像素点特征通道k的激活值，K为标签类别总数。

5.根据权利要求4所述的一种基于残差密集U形网络模型的丘脑分割方法，其特征在于，所述残差密集U形网络模型共有九层，分别为四个特征提取下采样层、四个图像还原上采样层和一个中间过渡层。

6.根据权利要求5所述的一种基于残差密集U形网络模型的丘脑分割方法，其特征在于，所述特征提取下采样层和中间过渡层均按顺序依次执行2x2池化操作、3x3卷积操作、归一化操作和残差密集模块操作；

所述图像还原上采样层按顺序依次执行2x2上采样操作、特征图拼接操作、3x3卷积操作、归一化操作和RDB模块操作。

7.根据权利要求6所述的一种基于残差密集U形网络模型的丘脑分割方法，其特征在于，所述残差密集模块操作包括有两个分支，所述一个分支执行残差连接的特征图叠加操作，所述另一个分支按顺序执行RDBCONV卷积操作、Concat拼接操作和1x1卷积操作。

8.根据权利要求4所述的一种基于残差密集U形网络模型的丘脑分割方法，其特征在于，当所述标签类别有最大激活值时，所述图像x位置上的像素点在标签k类别处的概率设置为1。

9.根据权利要求4所述的一种基于残差密集U形网络模型的丘脑分割方法，其特征在于，在所述步骤S3中，获取所述训练好的丘脑分割模型，具体如下：

S3.1：每次均随机抽取N张所述初始图像及对应的标签图像作为待训练的语义分割网络模型的输入，获得所述初始图像中各像素点的概率分布图；

S3.2：根据所述初始图像中各像素点的概率分布图，确定出所述概率分布图和初始图像对应的标签图像之间的交叉熵损失值，具体为：

其中：C为交叉熵损失值，Ω为标签值，p_I(x)(x)为对像素类别预测正确的概率值；

S3.3：将所述交叉熵损失值通过Adam优化算法反向传播，获取所述待训练的语义分割网络模型中，当前层网络参数的一阶梯度和前一层网络参数的一阶梯度之间的加权求和、当前层网络参数的二阶梯度和前一层网络参数的二阶梯度之间的加权求和，具体为：

其中：c_t为第t层网络参数的一阶梯度和第t-1层网络参数的一阶梯度之间的加权求和，β₁为c_t对应的加权值，g_t-1为第t-1层网络参数的一阶梯度，g_t为第t层网络参数的一阶梯度，v_t-1为第t层网络参数的二阶梯度和第t-1层网络参数的二阶梯度之间的加权求和，

为第t-1层网络参数的二阶梯度，

为第t层网络参数的二阶梯度，β₂为v_t对应的加权值；

S3.4：通过所述当前层网络参数的一阶梯度和前一层网络参数的一阶梯度之间的加权求和、当前层网络参数的二阶梯度和前一层网络参数的二阶梯度之间的加权求和，更新所述待训练的语义分割网络模型的权重；

S3.5：设置学习率，将所述更新了权重后的待训练的语义分割网络模型进行训练，当训练次数达到预设次数后，训练停止，获得所述训练好的丘脑分割模型。

Images