CN112465058A - 改进GoogLeNet神经网络下多模态医学图像分类方法 - Google Patents

Abstract

本发明提供了一种改进GoogLeNet神经网络下多模态医学图像分类方法，对基于双模态影像MRI、PET生物特征进行训练提取特征并分类，在GoogLeNet模型的基础上进行修改，保持模型深度和宽度的前提下，提高网络特征提取性能，也更充分适应医学影像固有高维属性；由于双模态医学影像数据量的局限性，发明采用数据扩增方法，扩大数据样本数量，有效防止由于样本量的局限所带来的过拟合问题。最后通过双模态影像的分类结果，结合皮尔逊积矩相关系数PPMCC，以及临床评估数据MMSE表和CDR表来对NC、MCI、SMCI、PMCI以及AD阶段进行综合分类评估并分析出ROC曲线。本发明提高了分类效率和精度。

Description

改进GoogLeNet神经网络下多模态医学图像分类方法

技术领域

本发明属于医学影像特征的深度学习领域，尤其涉及到一种改进GoogLeNet神经网络下多模态医学图像分类方法。

背景技术

随着医学影像技术的不断发展，核磁共振图像(Magnetic Resonance Imaging，MRI)、正电子发射型计算机断层显像(Positron Emission Computed Tomography，PET)、计算机断层扫描(Computed Tomography,CT)等各种影像清晰度和分辨率不断得到提升，这些手段的运用，对于阿尔兹海默病的诊断带来重要作用。

深度学习起源于神经网络，深度学习属于机器学习的一个分支，近些年来得到非常广泛的发展和应用。网络由多个单层而非线性的网络叠加而成，模型依赖于层与层的关系，卷积层和池化层交替出现，下一层被视为上一层的更高级的抽象。深度学习的模型深度和大量的模型参数，具备训练海量数据的优秀特性。采用深层次模型训练数据，实现复杂函数的逼近，最终实现对应影像分类并输出。

特别是近些年来，深度学习在机器视觉上的大量创新应用，已经被认同为极具潜力的分类与预测方法。其在基于医学影像的疾病分类、预测中，也获得了越多的关注。

目前用于机器视觉领域比较广泛的机器学习方法包含有：支持向量机、随机森林、KNN、逻辑回归、Stacked Auto-Encoder(SAE)“堆叠自动编码器”、LeNet、AlexNet、VGGNet等神经网络模型；通过以上方式提取图像特征，对图像进行特征提取和分类。

但是，基于以上方式进行的分类情况，无论采用哪一种方法，由于医学影像本身的高维度和高复杂度、数据库数量稀少、人工标注难度大等特点，为模型训练和最后的分类结果和精度带来了很大的局限。由此，提高医学影像分类精度，可以获得准确的异常识别和分类。

发明内容

有鉴于此，为了克服医学影像数据少、人工标记工作量大和AD分类精度不高等问题，提供了一种改进GoogLeNet神经网络下多模态医学图像分类方法，以此提高分类精度和效率。

本发明的技术解决方案是，提供了一种改进GoogLeNet神经网络下多模态医学图像分类方法，包括以下步骤：

步骤1：获取不同类别的多模态三维影像；

步骤2：构建改进的GoogLeNet卷积神经网络作为神经网络分类模型；

步骤3：将获取的影像数据随机打乱顺序，生成批次；

步骤4：将具有标签标注的样本数据进行预处理操作，准备好样本数据和测试数据样本，统一样本尺寸；

步骤5：对神经网络分类模型进行参数优化，获取优化的网络模型参数，保存网络模型；

步骤6：以获得的两种模态影像生物标记物作为步骤5生产的网络模型之输入，以不同类别作为分类结果输出；

步骤7：将预处理后的数据送入训练优化好的神经网络分类模型中，通过神经网络分类模型的分类器做出分类并输出分类结果；

步骤8：对经最后全连接层和SoftMax层，输出双模态分类结果后，结合MMSE表和CDR表生物学标记做出最终分类情况；

所述步骤2中构建改进的GoogLeNet卷积神经网络作为分类模型，以GoogLeNet模型为基础，对网络进行调整，将原有的22层的网络深度缩减为19层，包含了18个卷积层和1个全连接层，去除了2个Inception模块，仅保留了7个Inception模块，同时保留了一层SoftMax层，其中通过卷积层对影像特征进行提取，网络模型中卷积运算求解式为：

其中，

是l层输入的特征图，M_j是输入特征图的集合，

表示与输入特征图对应的卷积核，

表示的是第j个特征图的偏置。*为卷积计算，f(.)为激活函数。

可选的，所述步骤1中的三维影像为多模态医学影像数据，包含核磁共振图像、正电子发射型计算机断层显像两种模态的图像，输出五种类别，分别是正常对照组、第一异常组、第二异常组、第三异常组和第四异常组。

可选的，按照获取样本数据，以每36个为一个批次，采用随机方式打乱数据；步骤3中，对获取得到的不同类型数据进行预处理操作，包括核磁共振图像、正电子发射型计算机断层显像模态图像数据进行原点校正、分割、分割出白质、灰质，同时进行强度归一化、去除颅骨、颈骨、图像配准，并进行前联合、后联合对齐，运用数据增强方法，获取影像变形、旋转、缩放后的图像。同时获取冠状图、轴状图、矢状图三方向上的影像数据，统一预处理后图像尺寸大小，划分出训练集和测试集。

可选的，所述步骤8中，结合深度学习网络模型分类结果和临床评估数据MMSE表和CDR表来对第一异常组、第二异常组、第三异常组和第四异常组不同阶段来进行综合分类评估，在评估双模态分类结果时，采用皮尔逊积矩相关系数，度量两个双模态特征下的相关性，其值介于-1与1之间，这里用γ表示，γ越接近于+1，并行网络对各自模态影像预测的一致性越高。

可选的，通过步骤8所计算的皮尔逊积矩相关系数，结合临床评估数据MMSE表和CDR表来对阿尔兹海默病进行综合评估；

分类融合定义如下：

其中，s_MMSE和s_CDR分别为临床神经心理学检查中的评估数据，此处采用均值；s_MAX(x_i,y_i)为基于两种模态的深度神经网络分类结果，取值步骤7中n个分类器的加权投票机制决策结果；S为结合深度神经网络和临床评估数据所作出的最终分类结果；

其中η有如下表示：

综上做出基于此方法的不同类别之间的二分类和多分类情况结果。

本发明与现有技术相比，具有如下优点：对基双模态影像MRI、PET生物特征进行训练提取特征并分类，在GoogLeNet模型的基础上进行修改，保持模型深度和宽度的前提下，提高网络特征提取性能，也更充分适应医学影像固有高维属性。由于双模态医学影像数据量的局限性，发明采用数据扩增方法，扩大数据样本数量，有效防止由于样本量的局限所带来的过拟合问题，最后通过双模态影像的分类结果，结合皮尔逊积矩相关系数PPMCC，以及临床评估数据MMSE表和CDR表来对NC、MCI、SMCI、PMCI以及AD阶段进行综合分类评估并分析出ROC曲线。本发明提高了分类效率和精度。

附图说明

图1为多模(MRI、PET)影像图。

图2为改进的GoogLeNet网络结构示意图。

图3为改进的GoogLeNet神经网络流程示意图。

图4为多模态综合评估网络结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细描述，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。

为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。

如图1、2、3和4所示，本发明的改进GoogLeNet神经网络下多模态医学图像分类方法，具体步骤如下(在描述具体步骤的同时，引入了具体的应用场景，即用于阿尔兹海默病图像的图像特征提取和分类)：

步骤1：两种模态数据获取，数据集为公开数据集，来源于ADNI(Alzheimer’sDisease Neuroimaging Initiative)。获取数据模态类型有：MRI、PET和生物标记物CSF、临床评估数据MMSE数据表和CDR数据表。本发明所采用的数据分类是ADNI数据集中的正常对照组(Normal Controls,NC)、轻度认知功能障碍期(Stable Mild Cognitive Impairment,MCI)、稳定型轻度认知功能障碍(Progressive Mild Cognitive Impairment,SMCI)、进展性轻度认知功能障碍(Mild Cognitive Impairment,PMCI)和阿尔兹海默病患者(AD)五种类别的MRI数据和PET数据。我们共采用了超九百名受试者数据，具体分类情况如下：正常对照组(NC)有100名，轻度认知障碍组(204)名，93名为阿尔兹海默病(AD)患者组，稳定型轻度认知功能障碍(SMCI)、进展性轻度认知功能障碍(PMCI)分别为340名和170名。

步骤2：获取到原始数据后，接下来进行数据预处理操作。下载的数据格式为DICOM(Digital Image and Communication in Medicine,DICOM)医学影像存储格式，是一种影像数据存储和传输的通用标准，需进行格式的转换。原始数据通过MicroDicom软件进行格式转换，转换成可读取的png格式。

从ADNI网站所获得的图像数据来源不同，系不同影像采集点的采集数据，设备等情况不尽相同，分辨率也不同，使用SPM软件筛选出分辨率高，无信息缺失且易于观察的影像数据。

接下来，所获取的不同模态影像数据，会因采集数据时出现身体姿势的变换和头部、颈部的歪曲、左右变化位置等，出现所采集的影像出现各种样式；且颈部的颈骨和脑部的颅骨将会对研究过程产生负面影响，使我们不需要的非感兴趣区域部分，属于噪声信号，需要在Matlab平台环境下，采用SPM8(Statistical Parametric Mapping，SPM)软件包对图像进行原点校正、分割、强度归一化、去除颅骨和颈骨的预处理后操作。

发生AD病变的脑部区域，会产生脑部组织体积和形状的改变，如海马、颞叶、杏仁体等某些特定部位，对所训练的MRI、PET等影像图片进行脑组织分割，去除如脑皮、头骨等非脑组织，将大脑组织分为白质、灰质、脑脊液三个部分，可分别用Bwm、Bbm、Bcsf表示。将特征区域集中到感兴趣区域(ROI)，提取深度特征。

步骤3：完成上述预处理操作后，继续在Matlab平台环境下对处理后的数据进行数据增强。采用冠状图(Coronal)、矢状图(Sagittal)、轴状图(Axial)三种模式图，获取处理后以不同视图方向上的二维切片，扩大数据集影像数量。对上一步预处理后的图片进行水平翻转，结合不同观测角度面的影像扩充到原来的三倍。再对影像数据进行变形、旋转翻转、缩放操作，提高数据量，实现数据增强目的，同时将图片尺寸进行限定为224*224*3。

步骤4：由于MRI和PET图像本身三维特性，需要对三维模式图进行二维化处理，于是对相应的三维图像进行切片操作，获取二维图像数据，保持最佳的特征提取效果。首先进行卷积运算。

卷积运算定义如下：

其中，

是l层输入的特征图，M_j是输入特征图的集合，

表示与输入特征图对应的卷积核，

表示的是第j个特征图的偏置。*为卷积计算，f(.)为激活函数。这里的激活函数采用非线性的激活函数：Leaky-ReLU函数，避免产生饱和现象，同时减少发生梯度消失，但相比于ReLU激活函数的参数量要有所增加。

非线性激活函数运算定义如下：

其中，为一参数，λ∈(0,1)，可在范围内设定。

上述公式为卷积核与相关联的特征图做卷积运算，再加上偏置，由激活函数计算出输出值。

由于ADNI影像数据来源不同，原始图像尺寸也不同，在进行训练之前，将对不同模态的图像大小进行统一化处理。这里输入数据像素尺寸统一调整为224*224*3大小，之后进一步进行卷积运算和下采样。分别对MRI模式和PET模式下的影像数据进行训练，采用十折交叉验证测试，划分好数据集、测试集，比例分别为90％和10％，送入模型训练。

步骤5：预处理后的图像送入到改进的GoogLeNet模型的神经网络下进行网络训练，该网络分别有卷积层，池化层交替结构和最后的全连接层构成。网络深度达到19层，其中包含了18个卷积层和1个全连接层，并且包含7个Inception module结构，在最后一个Inception module模块后增加一层Convolution层，以保证输出的通道数为1024层。

分别输入经过预处理过的MRI和PET图片，影像图片大小为224*224*3大小。

原始输入图像为224*224*3，且都进行了零均值化的预处理操作。第一层卷积使用7*7的卷积核，步长(stride)为2,padding为3,64个通道，输出为112*112*64，卷积后进行Leaky-ReLU操作，经过3*3的maxpooling,步长(stride)为2,输出为56*56*64，之后进行ReLu操作；接下来第二层卷积，使用3*3的卷积核，步长(stride)为1,padding为1,192个通道，输出为56*56*192，卷积后进行Leaky-ReLU操作，经过3*3的maxpooling,步长(stride)为2,输出为56*56*64，之后进行Leaky-ReLU操作，经过3*3的max pooling,步长(stride)为2,输出为28*28*192，再进行ReLu操作；接下来进入Inception module(3a)模块，此模块有四分支，分别采用不同尺度的卷积核来进行处理，即分支一64个1*1的卷积核，然后进行Leaky-ReLU操作，输出28*28*64,分支二96个1*1的卷积核，作为3*3卷积核之前的降维处理，输出28*28*96，进行Leaky-ReLU操作，再进行128个3*3的卷积运算，padding为1，输出为28*28*128，分支三16个1*1的卷积核，作为5*5卷积核之前的降维处理，变成28*28*16，进行Leaky-ReLU操作，再进行32个5*5的卷积运算，padding为2，输出为28*28*32，最后分支四还有pooling层，使用3*3的核，padding为1，输出28*28*192，之后进行32个1*1的卷积操作，输出28*28*32，以上四分支进行连接，对这四部分输出结果并联处理，得到64+128+32+32＝256的输出通道，使得经过Inception module(3a)模块输出为28*28*256；接下来进入Inception module(3b)模块，此模块亦有四分支，分别采用不同尺度的卷积核来进行处理，即分支一128个1*1的卷积核，然后进行Leaky-ReLU操作，输出28*28*128,分支二128个1*1的卷积核，作为3*3卷积核之前的降维处理，输出28*28*128，进行Leaky-ReLU操作，再进行192个3*3的卷积运算，padding为1，输出为28*28*192，分支三32个1*1的卷积核，作为5*5卷积核之前的降维处理，变成28*28*32，进行Leaky-ReLU操作，再进行96个5*5的卷积运算，padding为2，输出为28*28*96，最后分支四还有pooling层，使用3*3的核，padding为1，输出28*28*256，之后进行64个1*1的卷积操作，输出28*28*64，以上四分支进行连接，对这四部分输出结果并联处理，得到128+192+96+64＝480的输出通道，使得经过Inception module(3b)模块输出为28*28*480；经过接下来的Inception module(4a)模块输出为14*14*512；Inception module(4b)模块输出为14*14*512；Inception module(4c)模块输出为14*14*512；Inception module(4d)模块输出为14*14*528；Inception module(4e)模块输出为14*14*832；继续进行一次卷积运算，卷积核大小为3*3，步长(stride)为1,输出为14*14*1024；卷积之后进行一次average pooling(平均池化层)，核大小(kernel size)为14*14，步长(stride)为2，经过此采样后输出1*1*1024；经下采样后的输出进行扁平化处理，转化成一维矩阵，相比于数据集ImageNet,MRI和PET医学影像的目标数据集较小，经过一个全连接Fully Connected Layer仅设置一个SoftMax层，减少网络的复杂度，并输出Output结果。

步骤6：经过以上的卷积层、池化层(pooling layer)，激活层，捕获更多更紧凑、更高效的特征，非线性特征，减少模型复杂性，设置损失函数dropout，设定为0.5，减少网络模型参数，防止过拟合。

步骤7：两种模态的影像数据分别经过卷积层、池化层之后，经过全连接层，经过全连接层输出后，对所学习的多模态特征进行结合，这里采用具有较强的实时性、容错性和抗干扰性，且简单易实现等优点的决策级融合。本发明的决策级融合策略是加权投票机制。对不同模态诊断结果融合做出决策结果。

加权投票机制定义如下：

其中p(x_n)是第n个分类器的初始决策结果，w_n为第n个分类器对应的权重值。

采用Softmax函数来输出NC/AD、NC/MCI、AD/MCI、SMCI/PMCI的二分类和NC/MCI/AD多分类情况结果。

步骤8：分别通过MRI影像识别概率结果和PET影像识别概率结果计算两者的相关性，此处用皮尔逊积矩相关系数来衡量。

皮尔逊积矩相关系数定义如下：

其中，

和

分别表示为网络对MRI和PET影像预测概率的均值，n表示为x和y的分类类型数量。相关系数γ的取值范围：-1≤γ≤1；相关系数γ趋近于+1，两卷积神经网络分别对MRI和PET影像的预测一致性高，影像结果更为可信；相关系数γ趋近于-1，则对影像分类结果可靠性低。

步骤9：通过上一步骤所计算的皮尔逊积矩相关系数，结合临床评估数据MMSE表和CDR表来对阿尔兹海默病进行综合评估。

分类融合定义如下：

其中，s_MMSE和s_CDR分别为临床神经心理学检查中的评估数据，此处采用均值；s_MAX(x_i,y_i)为基于两种模态的深度神经网络分类结果，取值步骤7中n个分类器的加权投票机制决策结果；S为结合深度神经网络和临床评估数据所作出的最终分类结果；

其中η可以有如下表示：

综上做出基于此方法的NC/AD、NC/MCI、AD/MCI、SMCI/PMCI的二分类和NC/MCI/AD多分类情况结果。

以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

Claims (5)

1.一种改进GoogLeNet神经网络下多模态医学图像分类方法，其特征在于，包括以下步骤：

步骤1：获取不同类别的多模态三维影像；

步骤2：构建改进的GoogLeNet卷积神经网络作为神经网络分类模型；

步骤3：将获取的影像数据随机打乱顺序，生成批次；

步骤4：将具有标签标注的样本数据进行预处理操作，准备好样本数据和测试数据样本，统一样本尺寸；

步骤5：对神经网络分类模型进行参数优化，获取优化的网络模型参数，保存网络模型；

步骤6：以获得的两种模态影像生物标记物作为步骤5生产的网络模型之输入，以不同类别作为分类结果输出；

步骤7：将预处理后的数据送入训练优化好的神经网络分类模型中，通过神经网络分类模型的分类器做出分类并输出分类结果；

步骤8：对经最后全连接层和SoftMax层，输出双模态分类结果后，结合MMSE表和CDR表生物学标记做出最终分类情况；

所述步骤2中构建改进的GoogLeNet卷积神经网络作为分类模型，以GoogLeNet模型为基础，对网络进行调整，将原有的22层的网络深度缩减为19层，包含了18个卷积层和1个全连接层，去除了2个Inception模块，仅保留了7个Inception模块，同时保留了一层SoftMax层，其中通过卷积层对影像特征进行提取，网络模型中卷积运算求解式为：

其中，

是l层输入的特征图，M_j是输入特征图的集合，

表示与输入特征图对应的卷积核，

表示的是第j个特征图的偏置。*为卷积计算，f(.)为激活函数。

2.根据权利要求1所述的改进GoogLeNet神经网络下多模态医学图像分类方法，其特征在于，所述步骤1中的三维影像为多模态医学影像数据，包含核磁共振图像、正电子发射型计算机断层显像两种模态的图像，输出五种类别，分别是正常对照组、第一异常组、第二异常组、第三异常组和第四异常组。

3.根据权利要求1所述的改进GoogLeNet神经网络下多模态医学图像分类方法，其特征在于，按照获取样本数据，以每36个为一个批次，采用随机方式打乱数据；步骤3中，对获取得到的不同类型数据进行预处理操作，包括核磁共振图像、正电子发射型计算机断层显像模态图像数据进行原点校正、分割、分割出白质、灰质，同时进行强度归一化、去除颅骨、颈骨、图像配准，并进行前联合、后联合对齐，运用数据增强方法，获取影像变形、旋转、缩放后的图像。同时获取冠状图、轴状图、矢状图三方向上的影像数据，统一预处理后图像尺寸大小，划分出训练集和测试集。

4.根据权利要求3所述的改进GoogLeNet神经网络下多模态医学图像分类方法，其特征在于，所述步骤8中，结合深度学习网络模型分类结果和临床评估数据MMSE表和CDR表来对第一异常组、第二异常组、第三异常组和第四异常组不同阶段来进行综合分类评估，在评估双模态分类结果时，采用皮尔逊积矩相关系数，度量两个双模态特征下的相关性，其值介于-1与1之间，这里用γ表示，γ越接近于+1，并行网络对各自模态影像预测的一致性越高。

5.根据权利要求4所述的改进GoogLeNet神经网络下多模态医学图像分类方法，其特征在于，通过步骤8所计算的皮尔逊积矩相关系数，结合临床评估数据MMSE表和CDR表来对阿尔兹海默病进行综合评估；

分类融合定义如下：

其中，s_MMSE和s_CDR分别为临床神经心理学检查中的评估数据，此处采用均值；s_MAX(x_i,y_i)为基于两种模态的深度神经网络分类结果，取值步骤7中n个分类器的加权投票机制决策结果；S为结合深度神经网络和临床评估数据所作出的最终分类结果；

其中η有如下表示：

综上做出基于此方法的不同类别之间的二分类和多分类情况结果。

Images