CN111738363A - 基于改进的3d cnn网络的阿尔茨海默病分类方法 - Google Patents

Abstract

本发明公开了一种基于改进的3D CNN网络的阿尔茨海默病分类方法，该方法基于3D核磁共振数据进行训练，实现精确的脑疾病分类。该方法主要包括如下步骤：1）使用3D CNN建模：使用3D CNN替换VGG网络中的2D CNN部分；2）优化模型结构：先在模型中添加批量归一化层，再引入跳跃连接；3）实验数据处理：预处理实验数据，并划分训练集和验证集；4）模型训练：将数据输入模型，训练网络参数，并保留最优模型；5）模型测试与评估：在测试集上测试，并评估分类性能。本发明首次提出了在3D VGG模型中引入多个跳跃连接用于阿尔兹海默症诊断，性能优于现有方法，具有通用性强、鲁棒性高等优点。

Description

基于改进的3D CNN网络的阿尔茨海默病分类方法

技术领域

本发明涉及计算机医学图像分析领域，尤其涉及一种基于改进的3D CNN网络的阿尔茨海默病分类方法。

背景技术

阿尔兹海默症（AD）是一种暂时无法治愈的神经退行性疾病，是老年痴呆症最常见的病例，其前期状态为轻度认知障碍（MCI），病情的不断恶化，直接影响到人的记忆和认知等能力。轻度认知障碍（MCI）是介于正常衰老和痴呆之间的一种中间状态，是一种认知障碍症候群。早在2011年的AD诊断标准和指南中，MCI病例被认为是AD的早期阶段。近年来，神经影像作为AD诊断的重要生物标志物被广泛应用。其中，磁共振成像是一种非侵入式、低成本的成像技术，可以清晰的描述人脑的三维解剖结构。因此，利用神经影像数据的特征，来区分正常被试（NC）、MCI和AD也成为热点话题。

随着卷积神经网络（CNN）在计算机视觉领域的地位越来越重要，将其应用于医学影像的识别、分割等领域得到迅速发展。为了对全脑MRI进行全面分析，3D CNN具有良好的空间特征提取能力，可以更好的提取MRI的三维结构特征，学习通道之间的映射关系。因此，Hosseini-Asl等人（Hosseini-Asl E, Keynton R, El-Baz A. Alzheimer's diseasediagnostics by adaptation of 3D convolutional network[C]//2016 IEEEInternational Conference on Image Processing (ICIP). IEEE, 2016: 126-130.）结合3D CNN和卷积自编码器进行AD诊断，使用3D CAE（Convolutional AutoEncoder）进行预训练，然后使用3D CNN进行细化训练。虽然在一个每个类包含70个subject的小数据集上，AD/NC分类获得了良好的结果，但是这种方式的训练过程较为繁琐。Tang H等人（Tang H,Yao E, Tan G, et al. A Fast and Accurate 3D Fine-Tuning Convolutional NeuralNetwork for Alzheimer’s Disease Diagnosis[C]//International CCF Conference onArtificial Intelligence. Springer, Singapore, 2018: 115-126.）则对深层次的VGG结构进行改进，增加两个跳跃连接结构来结合浅层和深层的特征，缓解梯度消失的问题，并在AD/MCI/NC三分类和二分类任务上均取得较优的效果。Bakkouri I等人（Bakkouri I,Afdel K, Benois-Pineau J, et al. Recognition of Alzheimer's Disease on sMRIbased on 3D Multi-Scale CNN Features and a Gated Recurrent Fusion Unit[C]//2019 International Conference on Content-Based Multimedia Indexing (CBMI).IEEE, 2019: 1-6.）则利用3D CNN提取的多尺度特征输入门控循环单元（GRU），进行AD/MCI/NC的二分类任务，并在ADNI数据集上进行大量实验。虽然验证了这种方式可以有效避免类之间的高度相似性和过度拟合问题，但其仍然受到3D CNN提取的特征尺度大小的影响。为了防止深度卷积神经网络产生模型退化的问题，Karasawa H等人（Karasawa H, LiuC L, Ohwada H. Deep 3d convolutional neural network architectures foralzheimer’s disease diagnosis[C]//Asian Conference on Intelligent Informationand Database Systems. Springer, Cham, 2018: 287-296.）设计了类似ResNet结构的3DCNN框架用于阿尔兹海默症分类，其中卷积层有35层之多，这样可能导致模型较难训练，从而影响模型精度。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于改进的3D CNN网络的阿尔茨海默病分类方法。

本发明的目的是通过以下技术方案来实现的：

一种基于改进的3D CNN网络的阿尔茨海默病分类方法，包括如下步骤：

（1）使用3D CNN建模：首先构建包含六个模块的2D的VGG网络模型，再将其中的2D CNN部分替换为3D CNN，形成 3D VGG网络模型；

（2）优化模型结构：在3D VGG网络模型的前五个模块的3D CNN层之后先添加批量归一化层，然后再添加跳跃连接，将前一个模块提取的数据特征经过1×1×1的卷积处理，并进行批量归一化后，与当前模块提取的数据特征相加，作为下一个模块的输入；

（3）从阿尔兹海默症神经成像计划数据集选取核磁共振数据，并对数据进行预处理，再划分成训练集和测试集；

（4）模型训练：将步骤（3）处理得到的训练集数据输入步骤（2）得到的模型，进行迭代，每次迭代后计算模型分类的准确率，并保留到当前迭代为止准确率最高的模型参数；达到设定的迭代次数后，输出模型参数；

（5）将待分类的测试集数据输入步骤（4）保存的最优网络模型中，得到对应的分类结果。

进一步地， 所述的步骤（1）中，首先将2D CNN层替换为3D CNN层，再将2DMaxpooling层替换为3D Maxpooling层；最后，修改第六个模块，即分类层，添加3个维度分别为2048、1024、3的全连接层。

进一步地，所述的步骤（1）中，3D CNN层对输入的核磁共振数据作如下处理，得到特征图x _l ：

其中，x _l (a,b,c)为第l层卷积的输出特征图的像素点，(a,b,c)为点坐标，(d,e,f)表示特征图尺寸，K表示卷积核，其尺寸为Size _K =k×k×k。

进一步地，所述的步骤（2）具体为：

（2.1）在每个模块的每个卷积层后添加批量归一化层，即为输入激活函数的特征x _l 进行如下公式的归一化

其中x _l 表示第l层卷积的输出特征图，μ为输入特征图沿着通道方向计算的平均数，σ为输入特征图沿着通道方向计算的方差；公式中的ε是一个为了归一化后的数值稳定而设置的常量，加入的缩放变量γ和平移变量β为BN层可训练的参数；

将得到的归一化后的特征图经过ReLU激活函数，得到非线性映射，作为下一层卷积的输入；

（2.2）将来自第i-1个模块的输出特征图x _i-1输入第i个模块，经过步骤（2.1）处理得到第i个模块的输出特征图x _i ，再将x _i-1输入到跳跃连接进行处理，则得到分支特征r _i ，对输出特征图x _i 和分支特征r _i 进行如下公式的叠加，得到输出特征H(x _i )：

将H(x _i )输入第i个模块的最后一个3D Maxpooling层，得到该模块的输出特征，即第i+1个模块的输入特征。

本发明的有益效果如下：

本发明通过构建3D VGG神经网络结构，利用层间上下文的信息，提取相邻切片间的空间特征，学习切片间的映射关系。这不仅有效地继承了2D CNN的优势，同时能够更好的捕捉数据的空间结构特征，而2D CNN仅限于局部切片的特征学习。因此，将三维的MRI数据用于3D网络训练，让模型提取更加丰富有效的特征，更不容易丢失感兴趣的区域，进行全脑结构的分析，能够有效提高疾病分类的准确性。同时在模型中使用跳跃连接和批量归一化操作，选用适当深度的网络，能够使得模型更容易训练，解决深度带来的模型退化问题。

附图说明

图1是本方法的基础二维VGG神经网络模型示意图；

图2是使用3D CNN操作对VGG重新建模的示意图；

图3是本方法使用的跳跃连接的示意图；

图4是本方法使用的模型整体结构和参数示意图；

图5是本方法与背景技术中提高的方法的准确率的对比结果图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的基于改进的3D CNN网络的阿尔茨海默病分类方法，包括以下步骤：

（1）使用3D CNN建模：首先构建包含六个模块的2D的VGG网络模型，再将其中的2D CNN部分替换为3D CNN，形成 3D VGG网络模型；具体包括以下步骤：

（1.1）构建VGG网络模型，如图1所示。模型将由Maxpooling层划分为6个模块，每个模块的卷积核大小均为3×3。其中，第一个模块和第二个模块由2个卷积层组成，每组卷积输出通道大小分别为64和128，第三、四、五个模块主要由三个卷积层组成，每组卷积输出通道大小分别为256、512和512。以上五个模块每经过一个，由于Maxpooling层的降维功能，输入尺寸将会缩小0.5倍，例如输入224×224的三通道核磁共振切片，经过模块特征提取后，最终形成7×7大小，输出共512个通道的特征张量，并输入最后一个模块，主要由全连接层组成，将数据降维到标签空间。将网络提取的最终特征向量利用SoftMax函数进行类别的概率计算，实现最终分类。其中，概率计算的公式如下：

其中，函数的输入是全连接层输出的M个不同的特征值，W为网络模型计算的不同特征的权重系数，P为特征向量x属于第c个分类的概率，输入图片所属的类别为P值最大的类别c。

（1.2）将步骤（1.1）构建的模型中的2D CNN部分替换为3D CNN，其操作如图2所示。其中，卷积得到特征图x _l 的操作如下公式所示。

其中，x _l (a,b,c)为第l层卷积的输出特征图的像素点，(a,b,c)为点坐标，(d,e,f)表示特征图尺寸，K表示卷积核，其尺寸为Size _K =k×k×k。卷结核类似滤波器，依次遍历整个图像，与特征图进行点乘再求和，移动的步长为S。为了保证输出的特征图保持原图大小，最常见的是对图像边缘进行零填充，张量单方向填充的大小为P，因此，输出特征图大小Size _output 可以通过如下计算得到。在卷积过程中，卷积核不变，这体现了权值共享的思想。

其中Size _I 表示输入卷积层的图像尺寸，Size _K 表示卷积核尺寸大小，

表示将计算结果向下取整，公式计算得到输出尺寸为Size _output ，即经过卷积层得到的特征图尺寸。

（1.3）添加ReLU激活函数，如下公式，将步骤（1.2）中的输出进行非线性的特征映射。

其中，M _j 表示输入特征图的数目，f表示激活函数，

表示卷积操作，l表示卷积层数，

表示上一卷积层输出的第i个特征图，w为卷积操作的权重项，b为偏置项。一般紧随其后的是池化层，将2D Maxpooling替换为3D Maxpooling操作，对输出进行降维，主要作用是为了减少参数和计算量的同时保留主要的特征，防止过拟合，提高模型泛化能力。

（1.4）由步骤（1.2）和（1.3）组成一个卷积层，经过第l层卷积层得到的所有特征图结合得到数据特征定义为x _l 。为了完成分类任务，最后利用神经网络全连接层（FullConnection）构建分类模块，添加3个维度分别为2048、1024、3的全连接层来设计，将第五个模块的输出数据特征平铺为一维张量，然后降维到标签空间L，实现阿尔兹海默症的诊断分类。

（2）为了进一步优化模型，在3D VGG网络模型的前五个模块中添加跳跃连接和批量归一化层，将前一个模块提取的数据特征经过1×1×1的卷积处理后，与当前模块提取的数据特征相加，作为下一个模块的输入。如图3所示，防止模型层数过多导致的模型退化的问题，优化模型训练；包括以下步骤：

（2.1）由于3D模型参数较多，为了更好的进行训练，在卷积操作之后添加三维的批量归一化操作（BN层），即3D Batch Normalization。将特征图M放入批量归一化层，对输入激活函数的特征x _l 进行如下公式的归一化，这样解决了输入数据发生偏移和尺度变化的影响。

其中x _l 表示第l层卷积的输出特征图，μ为输入特征图沿着通道方向计算的平均数，σ为输入特征图数据沿着通道方向计算的方差。公式中的ε是一个为了数值稳定，加到小批量数据方差上的常量。加入的缩放变量γ和平移变量β为BN层可训练的参数，主要作用是为了增强归一化的表达能力。

（2.2）基于步骤（1.1）的划分，在前5个模块中添加如图3的跳跃连接。将来自第i-1个模块的输出特征图x _i-1输入第i个VGG模块，经过步骤（1.2）~(1.3)处理得到的输出特征图x _i ，再将x _i-1输入到跳跃连接，经过1×1×1的卷积过渡处理则得到分支特征r _i ，在输入到3DMaxpooling层之前，先对特征图x _i 和分支特征r _i 进行如下公式的叠加，得到输出特征H(x _i )：

将H(x _i )输入第i个模块的最后一个3D Maxpooling层，得到该模块的输出特征，即第i+1个模块的输入特征；

（3）实验数据处理：利用阿尔兹海默症神经成像计划数据集（ADNI）采集数据，并对实验数据进行预处理，并划分训练集和验证集；包括以下步骤：

（3.1）从ADNI数据库中采集了共2292例T1加权的结构MRI扫描，分别来自133位AD患者，311位MCI患者，以及195位正常对象，其中给定被试的磁共振图像数据集，数据集包含磁共振图像和被试的标签，磁共振图像数据集记为D={(d _i ,c _j ) | i∈[1,R], j∈L}，式中，d表示磁共振图像，c表示被试的对应标签，R表示样本数量，i表示样本下标，j表示标签下标，L=[1,3]表示标签空间，分别表示NC、MCI、AD三个类别；

（3.2）对步骤（3.1）获取的磁共振图像全集D首先进行归一化到一个标准模版空间中，然后将数据分割为灰质（GM）、白质（WM）和脑脊液（CSF）；

（3.3）基于（3.2）步骤分割得到的数据中，选取脑信息丰富的灰质数据，然后对其进行平滑（FMWH=4mm）以得到更高的信噪比；

（3.4）基于（3.3）步骤得到灰质影像定义为I，其输出维度Size _I 为121×145×121，将预处理后数据集按照7:3的比例分别划分为训练集D _train ={(d _i ,c _j ) | i∈[1,M], j∈[1,3]}和测试集D _test ={(d _i ,c _j ) | i∈[1,N], j∈[1,3]}，其中M为训练集数据总数，N为测试集数据总数。

（4）模型训练：将步骤（3）处理得到的数据输入如图4的模型中，经过120次迭代训练网络与反向传播调整模型参数；包括以下步骤：

（4.1）经过步骤（3.1）和（3.2）优化过的模型进行反向传播的训练，使用SGD优化器优化模型训练过程。

（4.2）训练使用分类交叉熵损失函数计算训练损失Loss，如果Loss越小，说明训练得到的模型提取的特征区分度越大，模型在训练数据上的分类性能越佳。

其中num表示类别数量，c表示类别标签，y表示类别变量（0或1），如果该类别和样本的类别相同就是1，否则是0。p表示由Softmax计算样本属于类别c的预测概率。

（5）模型测试与评估：在测试集上测试步骤（4）中每次迭代训练得到的模型，并保留训练准确率最高的模型参数，输出最优模型的分类和评估结果。包括以下步骤：

（5.1）每个迭代过程使用步骤（4.1）和（4.2）中的方式训练，将得到最优模型在测试集上进行测试，实现对测试集的分类任务。使用分别如下的准确性（ACC）、精度（PRE）、敏感性（SEN）、F1-Score以及ROC曲线对模型进行评估，其中ROC曲线使用其线下面积（AUC）进行对比。

其中TP、TN、FP、FN分别表示模型对给定一组数据分类的真阳性、真阴性、假阳性、假阴性的数目。准确率又叫查准率，表示模型预测正确的概率；精度又叫正预测值（PPV），是预测出阳性病例数目与实际阳性病例数目的比例；敏感性又叫召回率（Recall），是预测的阳性病例中被正确预测概率，反应模型对不同类别特征的敏感程度；三个指标都是值越大，模型性能越佳。

（1）本发明利用3D CNN搭建的VGG网络结构，可以提取相邻切片间的空间特征和三维MRI数据的空间结构特征，进而学习切片间的映射关系和大脑整体的解剖学结构变化；

（2）本发明利用跳跃连接和批量归一化操作优化网络模型，在VGG的多个模块中使用跳跃连接，即当前VGG模块的输出与前一层模块的输出之和为下一个模块的输入，模块由最大池化层分割。同时，还在卷积层之后中添加批量归一化操作，从而有效改善模型退化、过拟合等问题。

（3）本发明的方法使用预处理后的数据训练模型，数据预处理用于去除数据中的噪声和伪影，从而提高图像的质量，通过预处理通道的数据不仅保存了大脑必要的结构特征，也剔除了不必要的个体差异，让实验模型提取和学习更为重要的特征。

实施例

构建的模型结构和参数如表1所示，除了第一个模块，其他主干结构保持VGG的原始结构，即卷积核大小采用3×3×3，步长为1，边缘进行零填充操作以保持输出尺寸不变。分割VGG为6个模块（Block）的MaxPooling层，其核尺寸设置为2×2×2，步长为2，实现下采样操作。当数值过大或者过小时，Sigmoid、Tanh等激活函数的导数接近于0，而ReLU为非饱和激活函数，不存在这种现象，并且其求导更好计算，使得网络训练更快，所以非线性激活层采用ReLU激活函数。由Max-Pooling分割的六个VGG模块的详细参数如表1所示，其中3DConvolution包含Conv3d层、BatchNorm3d层、ReLU层，Skip Connection包含Conv3d层和BatchNorm3d层，Full Connection包含Linear层、ReLU层和Dropout层，Dropout率均为0.5。K表示卷积核大小，S表示卷积步长，P为1表示填充，为0表示不填充输入张量的边缘。

在模型训练中，初始化学习率为0.0001。在SGD优化器中，采用动量法优化训练迭代，Gamma参数初始值为0.1，Momentum参数为0.9，权重衰减系数为0.0001。模型利用Pytorch实现，在Intel i7 9700K CPU和NVIDIA 2080Ti GPU平台上训练与验证，并在120个迭代训练中保存最佳模型。

训练保存的最佳模型，应用在测试集上的分类结果来看，三分类最佳准确率为94.81%，AD与NC分类准确率为99.62%，AD与MCI的分类准确率为96.79%，MCI与NC的分类准确率为96.30%。模型在测试集上的详细分类性能参数如表2所示，可以看出，整体性能达到了令人满意的效果，并且对疾病的敏感度较高，这使得辅助诊断的可靠性更高。因为3D CNN在继承2D CNN特点的同时，能够更好的捕捉MRI数据的空间信息，对大脑结构的变化能够做到整体的分析，这在医学影像分析中具有非常重要的意义。从综合评估标准F1-Score可以看出，虽然模型在三个二分类任务中性能表现优异，但是随着分类任务的难度增加，不同任务之间的结果有一定的差异。

基于3D CNN的方法在AD与NC、AD与MCI、MCI与NC的二分类工作，以及AD/MCI/NC的三分类任务中，实验模型的精度优于其他方法。如图5所示，与现有的方法对比，多个分类任务结果的标准偏差分别为3.38、3.29、1.51和2.87，而本发明的方法的标准偏差为1.79。因此，本发明的模型比现有的大多数阿尔兹海默症的分类工作具有更好的稳定性。同时可以看出，随着分类任务难度的增加，模型的性能略有下降，但本发明提出的模型仍然保持了良好的效果，这不仅进一步证明了实验模型的分类的鲁棒性，而且证明了该模型对疾病诊断的可靠性。

ROC曲线将灵敏度与特异性以图示方法结合在一起，可准确反映某分析方法特异性和敏感性的关系，是试验准确性的综合代表。而其线下面积AUC作为可以直观的评价分类器的好坏的数值，值越大越好，AUC大于0.5一般被认为具有较强的识别能力，而小于0.5则被认为没有识别能力。实验计算AUC，如表3所示。

从表3可以看出，其中AD相对于其他类数据的AUC为0.992，MCI为0.983，由此可以看出，模型三分类性能优异，具有较高的鲁棒性。微平均ROC曲线线下面积为0.988，宏平均为0.991，表明了模型分类的综合性能表现良好，这对于AD的辅助诊断，以及对疾病前期发展的干预，具有很大的帮助。实验模型用于三个二分类任务的训练，并将得到的最佳模型在测试集进行分类，分类结果表明模型具有良好的泛化性。通过下表比较三个二分类模型的AUC值可以看出，本实验模型在二分类任务上依然具有优秀的效果。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (4)

1.一种基于改进的3D CNN网络的阿尔茨海默病分类方法，其特征在于，包括如下步骤：

（1）使用3D CNN建模：首先构建包含六个模块的2D的VGG网络模型，再将其中的2D CNN部分替换为3D CNN，形成 3D VGG网络模型；

（2）优化模型结构：在3D VGG网络模型的前五个模块的3D CNN层之后先添加批量归一化层，然后再添加跳跃连接，将前一个模块提取的数据特征经过1×1×1的卷积处理，并进行批量归一化后，与当前模块提取的数据特征相加，作为下一个模块的输入；

（3）从阿尔兹海默症神经成像计划数据集选取核磁共振数据，并对数据进行预处理，再划分成训练集和测试集；

（4）模型训练：将步骤（3）处理得到的训练集数据输入步骤（2）得到的模型，进行迭代，每次迭代后计算模型分类的准确率，并保留到当前迭代为止准确率最高的模型参数；达到设定的迭代次数后，输出模型参数；

（5）将待分类的测试集数据输入步骤（4）保存的最优网络模型中，得到对应的分类结果。

2.根据权利要求1所述的基于改进的3D CNN网络的阿尔茨海默病分类方法，其特征在于， 所述的步骤（1）中，首先将2D CNN层替换为3D CNN层，再将2D Maxpooling层替换为3DMaxpooling层；最后，修改第六个模块，即分类层，添加3个维度分别为2048、1024、3的全连接层。

3.根据权利要求2所述的基于改进的3D CNN网络的阿尔茨海默病分类方法，其特征在于，所述的步骤（1）中，3D CNN层对输入的核磁共振数据作如下处理，得到特征图x _l ：

其中，x _l (a,b,c)为第l层卷积的输出特征图的像素点，(a,b,c)为点坐标，(d,e,f)表示特征图尺寸，K表示卷积核，其尺寸为Size _K =k×k×k。

4.根据权利要求3所述的基于改进的3D CNN网络的阿尔茨海默病分类方法，其特征在于，所述的步骤（2）具体为：

（2.1）在每个模块的每个卷积层后添加批量归一化层，即为输入激活函数的特征x _l 进行如下公式的归一化

其中x _l 表示第l层卷积的输出特征图，μ为输入特征图沿着通道方向计算的平均数，σ为输入特征图沿着通道方向计算的方差；公式中的ε是一个为了归一化后的数值稳定而设置的常量，加入的缩放变量γ和平移变量β为BN层可训练的参数；

将得到的归一化后的特征图经过ReLU激活函数，得到非线性映射，作为下一层卷积的输入；

（2.2）将来自第i-1个模块的输出特征图x _i-1输入第i个模块，经过步骤（2.1）处理得到第i个模块的输出特征图x _i ，再将x _i-1输入到跳跃连接进行处理，则得到分支特征r _i ，对输出特征图x _i 和分支特征r _i 进行如下公式的叠加，得到输出特征H(x _i )：

将H(x _i )输入第i个模块的最后一个3D Maxpooling层，得到该模块的输出特征，即第i+1个模块的输入特征。

Images