CN109389585B - 一种基于全卷积神经网络的脑组织提取方法 - Google Patents

Abstract

本发明公开了一种基于全卷积神经网络的脑组织提取方法，包括以下步骤：首先，采用全卷积分割网络对二维的原始核磁共振图进行初步分割，得到初步分割结果；其次，根据初步分割结果分离脑组织内部以及边界信息；再次，选取这些无法确定是否为脑组织的像素点，作为边界候选像素，将这些候选像素及其邻域送到卷积神经网络中进行二次分割，实现分类判决；最后，整合初步分割得到的内部分割结果以及二次分割得到的边界分割结果，进而获得最终的脑组织提取分割结果。本发明进行粗细两次分割，既保证了本方法的计算效率，又实现了精细化分割目标，能较好地应用于大脑磁共振图像，实现更为精确的脑组织与颅骨、眼球、皮肤、脂肪等非脑组织的剥离。

Description

一种基于全卷积神经网络的脑组织提取方法

技术领域

本发明属于数字图像处理技术领域，涉及一种基于全卷积神经网络的脑组织提取方法。

背景技术

大脑是人类身体的重要器官之一，也是我们身体的重要组成部分。人类一直以来对大脑的研究从未停止，科学工作者们希望通过研究大脑内部复杂结构来探索人脑的未知功能。核磁共振成像(Magnetic Resonance Imaging，简称MRI)技术具有无创伤、包含大量信息，并且具有多方位成像等特点。在核磁共振图像中，可以清晰的分辨出灰度相对低的软组织。因此，核磁共振图像中的脑组织解剖结构位置和大小等重要信息可以凭借肉眼识别出来。另外，核磁共振图像因其高信噪比、高分辨率、没有放射性危害、具有较好的软组织成像效果等优点在临床上得到了广泛的应用。因此，对于核磁共振图像中的脑组织提取和重建在临床上具有重要的应用价值。

核磁共振图像脑组织提取是将核磁共振序列脑图像中的脑部组织与颅骨、眼球、皮肤、脂肪等非脑组织分离，去除脑外组织，也被称作头骨剥离。脑组织的准确提取是神经图像处理中一个重要的步骤，也是其他图像处理方法例如配准技术、脑组织分类以及灰度不均匀性校正等的预处理步骤，例如，只有准确地去除非脑组织才能够实现脑内组织如脑白质、脑灰质和脑脊液的准确分割。脑组织的准确提取不仅是脑组织体积测量以及实现三维重建的关键技术，在神经图像处理和分析中也是最耗时的预处理步骤之一。目前，现有的传统的脑组织提取方法以及很难实现对脑组织的准确分割。

发明内容

为解决上述问题，本发明公开了一种基于全卷积神经网络的脑组织提取方法，通过初步分割和二次分割的组合操作，初步分割确定脑组织的基本轮廓，二次分割对脑组织的边界信息进行精细筛查，两者的组合有效地提高了核磁共振图像脑组织提取的准确性，能够实现核磁共振图像中脑组织的精确提取，为后续有关大脑组织的研究奠定了良好的基础。

为了达到上述目的，本发明提供如下技术方案：

一种基于全卷积神经网络的脑组织提取方法，包括如下步骤：

步骤1，采用全卷积分割网络对二维的原始核磁共振图进行初步分割，得到初步分割结果，具体包括以下三个步骤：

1-1，从原始的三维大脑核磁共振图像中获取大脑逐层的二维原始图像；

1-2，编码：将二维原始图像送入网络中的编码器中进行编码，通过多次卷积与池化操作组合，提取高度概括的、低维度的特征图；

其中，

卷积操作包括以下过程：通过当前像素与其邻域像素的加权相加来提取局部特征，初步聚类相似像素，再对这些特征图做归一化处理，接着用线性修正单元函数做进一步处理；

池化操作包括以下过程：对这些相似的像素进行聚合，选举出最大值作为它们的代表，实现降维；

1-3，解码：基于步骤1-2计算得到的编码结果被送入网络中的解码器进行解码，进行上采样、卷积、Softmax操作；

其中，

上采样操作包括以下过程：为特征图中每个像素产生一个大的输入图像上下文联系作为空间窗口；在上采样操作之前，在特征图中捕获和储存边界信息；存储最大值池化操作时的索引值，记下最大特征值在每个池化窗口中的位置；根据最大池化索引进行上采样，恢复出各层原始的图像大小；

SoftMax操作包括如下过程：对卷积操作后得到的解码结果进行最后的分割判决，最终得到脑组织的初步分割结果；

步骤2，根据步骤1获得的初步分割结果分离脑组织内部以及边界信息，选取边界候选像素集合，具体包括以下两个步骤：

2-1，保留内部信息：对具有准确的分割效果的脑组织内部分割结果予以保留；

2-2，选取边界候选像素：以初步分割所得到的边界轮廓像素为基准，分别向里、向外扩展10个像素点，形成边界条带；位于边界条带上的像素被认为是边界候选像素；以每个候选像素为中心，选取出一幅33*33像素的图像，作为下一次再分割的输入；

步骤3，将步骤2-2中获得的边界候选像素及其邻域图像送入卷积神经网络中进行分类，实现进一步地精细分割，再次判定候选像素的分割结果，具体包含以下三个步骤：

3-1，卷积：设置卷积神经网络中的第一层以及第三层为卷积层进行卷积运算，用于初步聚类局部像素的相似信息；

3-2，平均池化：设置第二层以及第四层为池化层，进行池化操作，输出接收到的所有输入的平均值，从而得到压缩处理的信息；

3-3，全连接层：设置第五层以及第六层是全连接层，根据步骤3-1和3-2提取到的特征，利用全连接层实现最终的分类决策，将高维的数据以平铺的方式作为输入，高斯连接被采用来计算最终的分类判决结果，对每一幅输入图像的中心像素，即步骤2-2中提取的边界特征像素，实现进一步精细地分类，判断其是否属于脑组织；

步骤4，整合初步分割得到的内部分割结果以及二次分割得到的边界分割结果，进而获得最终的脑组织提取分割结果，具体包含以下三个步骤：

4-1，初步分割的内部有效的分割结果：根据步骤2-1获得初步分割的内部有效的分割结果；

4-2，得到二次分割的外界精细化分割结果：根据步骤2-2选取的边界候选像素集合，对这些候选像素逐一根据步骤3进行二次分割，得到分类结果，将卷积神经网络判定为脑组织的像素汇总起来，构成较为精确的边界分割结果；

4-3，图像叠加：将初步分割得到的内部分割结果与二次分割得到的边界分割结果进行图像叠加，最终获得关于二维原始核磁共振图的脑组织分割结果。

进一步的，所述步骤2中内部信息为位于脑组织中部确定是脑组织的像素集合，边界信息为需要再分割的像素点集合。

进一步的，所述步骤2-2中选取出的33*33像素的图像通过如下过程得到：以每个候选像素为中心，向上下左右分别扩展16个像素点。

进一步的，所述步骤3-1中，第一层以及第三层卷积层分别采用6和16个可训练的5*5的卷积核。

进一步的，所述步骤3-2中，池化层采用2*2的平均池化。

进一步的，所述步骤3-3中，第五层以及第六层全连接层分别具有120和84神经元。

与现有技术相比，本发明具有如下优点和有益效果：

1.本发明进行粗细两次分割，先采用全卷积分割网络的编码器-解码器的结构对核磁共振图像进行初步分割，较为快速地分割出目标区域大脑组织并确定其的基本轮廓，为下一步再分割的实现奠定良好的基础与前提；对于边界候选像素，其本身以及其领域构成的33*33的像素块会被送到一个小型的卷积神经网络中进行分类判决；最终整合初步分割得到的内部分割结果以及二次分割得到的边界分割结果，从而获得精确度较高的脑组织提取结果。本发明方法充分利用了候选像素邻域的信息，对脑组织像素与非脑组织像素进行了有效地区分，实现了大脑组织边界附近的精准分割。

2.本发明对脑组织像素与非脑组织像素进行了有效地区分，并充分利用了候选像素邻域的信息，实现了大脑组织边界附近的精准分割。由于对内部居中区域的分割结果予以保留，保证了本方法的计算效率；而针对边界附近区域选取边界候选像素点进行进一步地分割，又实现了精细化分割目标。

3.本发明能较好地应用于大脑磁共振图像，实现更为精确的脑组织与颅骨、眼球、皮肤、脂肪等非脑组织的剥离。

附图说明

图1为本发明方法整体流程图。

图2为本发明的实施流程示意图。

图3基于全卷积分割网络对二维原始图像进行初步分割示意图。

图4最大池化索引和上采样过程示意图。

图5基于卷积神经网络对边界候选像素二次分割(分类)示意图。

图6为本发明提出方法与现有的脑组织提取方法的结果，其中，(a)为OASIS数据集，(b)为IBSR数据集，(c)LPBA40数据集。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提供的一种基于全卷积神经网络的脑组织提取方法，对初步分割的结果进行归纳分析，找出其中优缺点：脑组织内部居中区域分割效果好；脑组织边界区域分割效果差。在保留分割效果好的结果的基础上，有针对性地对脑组织内部以及边界制定下一步分割策略，在边界附近区域选取边界候选像素点进行进一步地分割，实现精细化分割目标。本发明流程如图1和2所示，包括如下步骤：

步骤1，采用全卷积分割网络对二维的原始核磁共振图进行初步分割，得到初步分割结果，其过程如图3所示，具体包括以下三个步骤：

(1-1)由于本发明提出的方法是针对二维图像的处理，需要从三维原始的大脑核磁共振图像中获取大脑逐层的二维原始图像，进而进行后续的分析、提取。这些二维图像最先被送进全卷积分割网络中进行初步分割，该网络主要包含编码器和解码器两个部分。

(1-2)将二维原始图像送入网络中的编码器中进行编码，主要进行卷积和池化两种操作。卷积层通过当前像素与其邻域像素的加权相加来提取局部特征，初步聚类相似像素，然后再对这些特征图做归一化处理，接着用线性修正单元函数(Rectified linearunit，简称ReLU)做进一步处理；池化层则是对这些相似的像素进行聚合，选举出最大值作为它们的代表，以此实现降维。在多次卷积与池化的操作组合之后，一个高度概括的、低维度的特征图被提取出来；

(1-3)基于步骤(1-2)计算得到的编码结果被送入网络中的解码器进行解码，主要包括上采样、卷积、Softmax三种操作。上采样为特征图中每个像素产生一个大的输入图像上下文联系(空间窗口)。由于最大池化和子采样的叠加，导致边界细节损失增大，因此必须在上采样操作之前，在特征图中捕获和储存边界信息。为了高效地存储这个信息，最大值池化操作时的索引值(Max-pooling indices，最大池化索引)会被存储下来，记下最大特征值在每个池化窗口中的位置。根据最大池化索引进行上采样，恢复出各层原始的图像大小，具体存储和上采样过程如图4所示。随后再对其进行卷积操作完成解码过程。最后，解码结果将被送入SoftMax层进行最后的分割判决，最终得到脑组织的初步分割结果。

步骤2，根据步骤1获得的初步分割结果分离脑组织内部以及边界信息。其中，内部信息是可以确定是脑组织的像素集合，边界信息是需要再分割的像素点集合。具体包括以下两个步骤：

(2-1)由于初步分割结果对于脑组织内部(居中)部分具有准确的分割效果，于是基于必要性以及计算效率的考量，采取对这类像素的分割结果予以保留的策略；

(2-2)由于初步分割结果对于脑组织的边界部分的分割效果较差，于是考虑对边界像素点进行二次分割，进而实现精细化分割的效果。以初步分割所得到的边界轮廓像素为基准，分别向里、向外扩展10个像素点，形成边界条带。位于边界条带上的像素被认为是边界候选像素。对于每个候选像素的再分类需要基于其本身以及其邻域上的像素点进行判断，于是以每个候选像素为中心，选取出一幅33*33像素的图像(向上下左右分别扩展16个像素点)，作为下一次再分割的输入。

步骤3，对于这些无法确定是否为脑组织的像素点，它们会被选取出来作为边界候选像素。这些候选像素及其邻域会被送到卷积神经网络中进行二次分割，实现分类判决，再次判定候选像素的分割结果。其流程如图5所示，具体包含以下三个步骤：

(3-1)设置卷积神经网络中的第一层以及第三层为卷积层，用于初步聚类局部像素的相似信息。第一层以及第三层分别采用6和16个可训练的5*5的卷积核。

(3-2)卷积层之后需搭配池化层，实现对局部信息的总结。于是，设置第二层以及第四层为池化层，并采用2*2的平均池化，输出接收到的所有输入的平均值，从而得到压缩处理的信息。

(3-3)在视觉上逐步提炼、总结信息之后，根据步骤(3-1)和(3-2)提取到的特征，利用全连接层实现最终的分类决策。于是，设置第五层以及第六层分别是具有120和84神经元(权重可训练)的全连接层，将高维的数据以平铺的方式作为输入，高斯连接会被采用来计算最终的分类判决结果，对每一幅输入图像的中心像素，即步骤2-2中提取的边界特征像素，实现进一步精细地分类，判断其是否属于脑组织。

步骤4，整合初步分割得到的内部分割结果以及二次分割得到的边界分割结果，进而获得最终的脑组织提取分割结果，具体包含以下三个步骤：

(4-1)根据步骤(2-1)获得初步分割的内部有效的分割结果。

(4-2)根据步骤(2-2)选取的边界候选像素集合，对这些候选像素逐一根据步骤3进行二次分割，得到分类结果。将卷积神经网络判定为脑组织的像素汇总起来，构成较为精确的边界分割结果。

(4-3)将初步分割得到的内部分割结果与二次分割得到的边界分割结果进行图像叠加，最终获得关于二维原始核磁共振图的脑组织分割结果。

实施例：

下面分别以OASIS数据集、IBSR数据集和LPBA40数据集数据为例，来说明本发明的基于全卷积神经网络的脑组织提取方法。

实验条件：现选取一台计算机进行实验，该计算机的配置有英特尔处理器(3.4GHz)和8GB随机存取存储器，64位操作系统，深度学习框架为Caffe，采用Matlab(R2017b版本)实现核磁共振图像三维到二维的转化。

数据集：IBSR(Internet Brain Segmentation Repository)、LPBA40(LONIProbabilistic Atlas)和OASIS(Open Access Series of Imaging Studies)，总共是135张大脑扫描图，常被用作去头骨方法研究的基准测试。实施主要使用了disc1和disc2，它一共包含了77张1×1×1mm的nT1w扫描图。每一个核磁共振图像对应的参照标准也被切成一张张的二维图像，作为标签。白色区域对应脑组织，黑色区域对应非脑组织。图6为本发明提出方法与现有的脑组织提取工具如BET和Robex在不同数据集上的对比测试结果，其中，(a)为OASIS数据集，(b)为IBSR数据集，(c)LPBA40数据集。如图6所示，本方法提取出的脑组织结果与真实情况的重合率远高于BET和Robex工具。此外，通过图6中的初次分割结果与本方法最终分割结果的对比，可以证明：本发明提出的粗细两次分割方法实现了脑组织边缘更为精准的分割，进一步提高了脑组织提取的准确率。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种基于全卷积神经网络的脑组织提取方法，其特征在于，包括如下步骤：

步骤1，采用全卷积分割网络对二维的原始核磁共振图进行初步分割，得到初步分割结果，具体包括以下三个步骤：

1-1，从原始的三维大脑核磁共振图像中获取大脑逐层的二维原始图像；

1-2，编码：将二维原始图像送入网络中的编码器中进行编码，通过多次卷积与池化操作组合，提取高度概括的、低维度的特征图；

其中，

卷积操作包括以下过程：通过当前像素与其邻域像素的加权相加来提取局部特征，初步聚类相似像素，再对这些特征图做归一化处理，接着用线性修正单元函数做进一步处理；

池化操作包括以下过程：对这些相似的像素进行聚合，选举出最大值作为它们的代表，实现降维；

1-3，解码：基于步骤1-2计算得到的编码结果被送入网络中的解码器进行解码，进行上采样、卷积、Softmax操作；

其中，

上采样操作包括以下过程：为特征图中每个像素产生一个大的输入图像上下文联系作为空间窗口；在上采样操作之前，在特征图中捕获和储存边界信息；存储最大值池化操作时的索引值，记下最大特征值在每个池化窗口中的位置；根据最大池化索引进行上采样，恢复出各层原始的图像大小；

SoftMax操作包括如下过程：对卷积操作后得到的解码结果进行最后的分割判决，最终得到脑组织的初步分割结果；

步骤2，根据步骤1获得的初步分割结果分离脑组织内部以及边界信息，选取边界候选像素集合，具体包括以下两个步骤：

2-1，保留内部信息：对具有准确的分割效果的脑组织内部分割结果予以保留；

2-2，选取边界候选像素：以初步分割所得到的边界轮廓像素为基准，分别向里、向外扩展10个像素点，形成边界条带；位于边界条带上的像素被认为是边界候选像素；以每个候选像素为中心，选取出一幅33*33像素的邻域图像，作为下一次再分割的输入；

步骤3，将步骤2-2中获得的边界候选像素及其邻域图像送入卷积神经网络中进行分类，实现进一步地精细分割，再次判定候选像素的分割结果，具体包含以下三个步骤：

3-1，卷积：设置卷积神经网络中的第一层以及第三层为卷积层进行卷积运算，用于初步聚类局部像素的相似信息；

3-2，平均池化：设置第二层以及第四层为池化层，进行池化操作，输出接收到的所有输入的平均值，从而得到压缩处理的信息；

3-3，全连接层：设置第五层以及第六层是全连接层，根据步骤3-1和3-2提取到的特征，利用全连接层实现最终的分类决策，将高维的数据以平铺的方式作为输入，高斯连接被采用来计算最终的分类判决结果，对每一幅输入图像的中心像素，即步骤2-2中提取的边界候选像素，实现进一步精细地分类，判断其是否属于脑组织；

步骤4，整合初步分割得到的内部分割结果以及二次分割得到的边界分割结果，进而获得最终的脑组织提取分割结果，具体包含以下三个步骤：

4-1，初步分割的内部有效的分割结果：根据步骤2-1获得初步分割的内部有效的分割结果；

4-2，得到二次分割的外界精细化分割结果：根据步骤2-2选取的边界候选像素集合，对这些候选像素逐一根据步骤3进行二次分割，得到分类结果，将卷积神经网络判定为脑组织的像素汇总起来，构成较为精确的边界分割结果；

4-3，图像叠加：将初步分割得到的内部分割结果与二次分割得到的边界分割结果进行图像叠加，最终获得关于二维原始核磁共振图的脑组织分割结果。

2.根据权利要求1所述的基于全卷积神经网络的脑组织提取方法，其特征在于，所述步骤2中内部信息为位于脑组织中部确定是脑组织的像素集合，边界信息为需要再分割的像素点集合。

3.根据权利要求1所述的基于全卷积神经网络的脑组织提取方法，其特征在于，所述步骤2-2中选取出的33*33像素的图像通过如下过程得到：以每个候选像素为中心，向上下左右分别扩展16个像素点。

4.根据权利要求1所述的基于全卷积神经网络的脑组织提取方法，其特征在于，所述步骤3-1中，第一层以及第三层卷积层分别采用6和16个可训练的5*5的卷积核。

5.根据权利要求1所述的基于全卷积神经网络的脑组织提取方法，其特征在于，所述步骤3-2中，池化层采用2*2的平均池化。

6.根据权利要求1所述的基于全卷积神经网络的脑组织提取方法，其特征在于，所述步骤3-3中，第五层以及第六层全连接层分别具有120和84神经元。

Images