CN110236543A - 基于深度学习的阿尔茨海默病多分类诊断系统 - Google Patents

Abstract

本发明涉及一种基于深度学习的阿尔茨海默病多分类诊断系统，包括：图像特征提取模块，用于根据神经网络模型对大脑三正交平面MRI图像的特征向量进行提取；指标特征选择模块，用于根据医学相关文献选择检查指标组成指标特征向量；向量线性融合模块，用于采用基于典型相关分析的多元数据线性融合方法将图像的特征向量和指标特征向量进行融合；疾病分类诊断模块，用于将融合后的向量输入多分类分类器来区分阿尔茨海默病的三个阶段。本发明能够辅助阿尔茨海默症的多分类诊断。

Description

基于深度学习的阿尔茨海默病多分类诊断系统

技术领域

本发明涉及智能医疗技术领域，特别是涉及一种基于深度学习的阿尔茨海默病多分类诊断系统。

背景技术

阿尔茨海默病(Alzheimer’s disease，AD)，又称老年性痴呆，是一种神经系统退行性疾病，其特点包括进行性记忆力衰退和获得性知识丧失，直到日常生活能力完全丧失，这不但会严重影响患者自身的生活质量，还会给患者家庭和整个社会带来沉重的负担。阿尔茨海默病是继心血管病、脑血管病和肿瘤之后，威胁老年人健康的重要疾病原因。

自1906年德国著名神经解剖学家Alzheimer首次提及该疾病以来，阿尔茨海默病载入医学史已经110多年。临床上对于阿尔茨海默病的诊断主要根据医学图像和临床指标。在医学图像中，通过观察大脑相关区域形态，特别是海马体、内嗅皮质、杏仁核等形态信息。在临床指标中，测定脑脊液的生物标志物，如β淀粉样蛋白和Tau蛋白含量；同时结合神经心理学评估，通过各种量表评估智力损害程度、日常生活损害程度等。但是由于阿尔茨海默病的复杂性和特殊性，医学上仍未真正发现该疾病的发病成因，也没有找到准确诊断的有效方法。

在阿尔茨海默病辅助诊断相关研究中，磁共振成像(MRI)由于其出色的空间分辨率，高可及性和良好的对比度而常常被作为在计算机辅助阿尔茨海默病诊断的的重要依据。常用的方法包括基于3D医学影像特征的提取和分类，使用感兴趣区域来对阿尔茨海默病进行诊断，利用图像分割并测量海马体、内嗅皮质、杏仁核等形态的方法。但是这些方法仍旧存在许多问题：

(1)3D影像学图像由于其高维性、噪声、疏性往往难以表示和建模，而使用感兴趣区域和图像分割需要一定的先验知识，这是一项具有挑战性的任务。

(2)仅仅使用影像学图像作为阿尔茨海默病的诊断依据，没有参考其它的医学检查，例如人口统计学信息、神经心理学评估、生物学检测等，并不符合临床实际。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的阿尔茨海默病多分类诊断系统，能够辅助阿尔茨海默症的多分类诊断。

本发明解决其技术问题所采用的技术方案是：提供一种基于深度学习的阿尔茨海默病多分类诊断系统，包括：图像特征提取模块，用于根据神经网络模型对大脑三正交平面MRI图像的特征向量进行提取；指标特征选择模块，用于根据医学相关文献选择检查指标组成指标特征向量；向量线性融合模块，用于采用基于典型相关分析的多元数据线性融合方法将图像的特征向量和指标特征向量进行融合；疾病分类诊断模块，用于将融合后的向量输入多分类分类器来区分阿尔茨海默病的三个阶段。

所述神经网络模型是TOP-CNN-NN模型，包括3个VGGNet-16卷积神经网络和1个单隐层网络，在对大脑三正交平面MRI图像进行特征向量提取时，先利用3个VGGNet-16卷积神经网络分别对大脑三正交平面MRI图像进行初步特征向量提取，将得到的3个初步特征向量经过投票加权后输入所述单隐层网络生成融合特征向量。

所述3个VGGNet-16卷积神经网络分别对大脑三正交平面MRI图像的轴位平面图像训练XY-CNN模型、弧状位平面图像训练XZ-CNN模型、冠状位平面图像训练YZ-CNN模型；其中，VGGNet-16卷积神经网络的第i层特征图MRI_i＝f(MRI_i-1×W_i+b_i)，W_i为第i层卷积核的权值向量，×为卷积操作，b_i第i层的偏移向量，f(·)为ReLU激活函数；所述VGGNet-16卷积神经网络采用13个卷积层，并在每一卷积层后添加一个Maxpooling池化层，VGGNet-16卷积神经网络最后使用3个全连接层将提取到的特征进行综合，全连接层的第p个输出FC_p＝W_p1*x₁+W_p2*x₂+…+W_pj*x_n+b_p，W_pj表示权值矩阵，x_n表示输入的特征图，b_p表示偏移向量。

所述投票加权具体为：综合XY-CNN模型、XZ-CNN模型和YZ-CNN模型的分类结果，如果存在相同的分类结果，则将此结果作为投票结果；如果三者的分类结果均不同，则将分类准确度较高的结果作为投票结果；其中，每一种投票结果对应一种权重向量。

所述指标特征选择模块使用CfsSubsetEval评估器来评估数据库每一个指标的分类能力以及相互之间的冗余度，选择与类别属性相关度高，且相互之间相关度低的指标，指标的优良性通过得到，其中，C表示阿尔茨海默病的类别，I_i和I_j表示指标集中所有指标，其中，a和b分别表示两个不同的指标，H(·)表示熵函数，H(a,b)表示a和b的联合熵。

所述向量线性融合模块选取一对典型变量α^Tx和β^T组成组合特征V＝(α，β)^T(x,y)，其中，α和β为一对具有最大典型相关的投影方向，x和y分别为图像特征向量和指标特征向量。

所述疾病分类诊断模块使用的多分类分类器为决策树。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：

本发明在图像特征提取过程中建立TOP-CNN-NN模型，虽然提取的特征向量可解释性差，但是在提取过程中无需人工标注和划分感兴趣区域，降低需要先验知识带来的难度。本发明仅需要通过3张不同轴位的MRI图像来挖掘大脑特征信息，避免了3D影像学图像的高维性、噪声、稀疏性带来的难以表示和建模问题，同时也提高了模型训练和分类的效率。本发明采用典型相关分析(CCA)的多元数据线性融合方法，融合TOP-MRI图像和临床指标，综合考虑了多种类型数据，符合临床实际，并在阿尔茨海默病多分类诊断上有较好的性能表现。

附图说明

图1是本发明的结构方框图；

图2是本发明中的TOP-CNN-NN图像特征提取模型框架图；

图3是本发明中的为VGGNet-16卷积神经网络网络参数图；

图4是图像初步特征向量投票加权流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于深度学习的阿尔茨海默病多分类诊断系统，如图所示，包括：图像特征提取模块，用于根据神经网络模型对大脑三正交平面MRI图像的特征向量进行提取；指标特征选择模块，用于根据医学相关文献选择检查指标组成指标特征向量；向量线性融合模块，用于采用基于典型相关分析的多元数据线性融合方法将图像的特征向量和指标特征向量进行融合；疾病分类诊断模块，用于将融合后的向量输入多分类分类器来区分阿尔茨海默病的三个阶段。

基于深度学习的阿尔茨海默病多分类诊断系统的工作过程如下：首先，建立基于VGGNet-16卷积神经网络和单隐层网络的TOP-CNN-NN模型，对大脑三正交平面(TOP)MRI图像的特征向量进行提取，通过CfsSubSet Eval评估器选择检查指标组成指标特征向量。然后，采用基于典型相关分析(CCA)的多元数据线性融合方法，将图像特征向量和指标特征向量进行融合。最后，将融合向量输入多分类分类器来分类阿尔茨海默病的三个阶段，包括正常(CN)、轻度认知障碍(MCI)和阿尔茨海默病(AD)。下面对上述过程进行详细说明。

1.图像特征提取

结合图2，本实施方式建立了TOP-CNN-NN模型用于MRI图像特征向量提取，该模型由3个VGGNet-16卷机神经网络和1个单隐层网络组成。首先对MRI图像进行预处理，然后利用VGGNet-16卷机神经网络对预处理后的图像进行初步特征向量提取，最后将3个初步特征向量经过投票加权后输入单隐藏层网络生成融合特征向量。

1.1图像预处理

特征提取之前需要对图像进行预处理，有助于下一步更好的提取特征并提升最终的预测效果。本发明选用三正交平面(TOP)MRI图像作为图像特征提取模型的输入，三正交平面(TOP)是以大脑的空间几何中心为中心在三个方向上的切面，其较为清晰的包含了用于阿尔茨海默病诊断的重要信息。由于MRI图像受检测设备和检查方法的影响，导致图像出现不规整、噪声高、明暗不一等问题。针对此类问题，本实施方式通过3个步骤来对图像进行预处理，具体方法如下：1)变换几何形状；2)图像滤波降噪；3)像素值标准化。

1.2初步特征向量提取

结合图3，本实施方式基于VGGNet-16卷积神经网络分别对大脑的三个正交平面：轴位(XY)、弧状位(XZ)、冠状位(YZ)平面图像来训练XY-CNN、XZ-CNN、YZ-CNN模型，3个卷积神经网络模型用于提取各自平面图像的初步特征向量。

VGGNet-16的输入是大小位224×224的RGB图像。图像卷积过程中，用MRI_i表示VGGNet-16第i层的特征图(MRI_i＝X)。假设MRI_i是卷积层的特征图，MRI_i的产生过程可以描述为公式(1)：

MRI_i＝f(MRI_i-1×W_i+b_i) (1)

其中，W_i表示第i层卷积核的权值向量，运算符号“×”代表卷积核与第i-1层特征图进行卷积操作，卷积的输出与第i层的偏移向量b_i相加，最终通过非线性的激活函数f(·)得到第i层的特征图。VGGNet-16选用的激活函数是ReLU，其在反向传播中用于解决梯度弥散问题，同时可以加快正向传播的计算速度。VGGNet-16模型采用13层卷积层，低层卷积层提取一些低级的特征如边缘、线条，高层卷积层将从低级特征中迭代提取更加复杂的特征。

特征图在每一组卷积层之后，添加了一个Maxpooling池化层来获得更加完整和重要的特征。假设是Maxpooling层特征图：

MRI_i＝Maxpooling(MRI_i-1) (2)

Maxpooling对过滤器抽取到的若干图像特征值，只保留最大的那个pooling层特征，可以减少模型参数数量，避免过拟合问题。最后，VGGNet-16使用3全连接层将提取到的特征综合起来，假设全连接层有p个参数，x_n表示输入为n个特征图：

FC_p＝W_p1*x₁+W_p2*x₂+…+W_pj*x_n+b_p (3)

其中，FC_p为全连接层的第p个输出，W_pj表示权值矩阵，b_p表示偏移向量。全连接层中的每个神经元与其前一层的所有神经元进行全连接.全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。本实施方式中的初步特征向量即为VGGNet-16中最后一层全连接层的输出，初步特征向量维度为1000。

1.3融合特征向量提取

结合图4，本实施方式采用一种投票加权的向量融合方法，该方法可以突出各自特征并降低特征差异带来的向量融合问题。首先，通过综合不同平面CNN的分类结果，如果存在相同的分类结果，则将此结果作为投票结果；如果三者的分类结果均不同，则将分类准确度较高的结果作为投票结果。然后，每一种投票结果对应一种权重向量。假设XY-CNN、XZ-CNN、YZ-CNN输出的初步特征向量分别为C₁＝{α₁,α₂,...,α₁₀₀₀}、C₂＝{β₁,β₂,...,β₁₀₀₀}、C₂＝{γ₁,γ₂,...,γ₁₀₀₀}，则投票加权操作如公式：

V＝{nα₁,nα₂,...,nα₁₀₀₀,mβ₁,mβ₂,...,mβ₁₀₀₀,kγ₁,kγ₂,...,kγ₁₀₀₀} (4)

其中，n、m和k为加权因子，改变加权因子n、m和k的值之后，3个初步特征向量在融合特征向量中所占的比重不再均衡。在加权因子的值设定过程中，提高和投票结果相同的平面提取的初步特征向量权值。

最后，将投票加权特征向量V输入到单隐层神经网络中。单隐层神经网络的作用是融合三个正交平面的特征向量，输出维度更低的融合特征向量，有利于下一步与临床指标特征进行线性融合，同时又可避免过拟合问题。TOP-CNN-NN模型输出的图像特征向量即是单隐层网络的隐藏层输出，融合特征向量的维度为50。

2.指标特征选择

ADNI数据库包含每个受试者的临床信息，包括人口统计学信息，神经心理学评估，生物学检测，神经病理学，基因检测等。本实施方式使用CfsSubsetEval评估器来评估数据库每一个指标的分类能力以及相互之间的冗余度，倾向于选择与类别属性相关度高，但是相互之间相关度低的指标。选项迭代添加与疾病类别相关度最高的指标，只要是子集中不包含与当前指标相关更高的指标。评估器将缺失值作为单独值，也可以将缺失值计数与其他的值一起按照出现频率分布。选择一个指标子集也可以起到消除无关指标和消除重复指标的作用，两个指标I₁和I₂之间的关系可以用对称不确定性来衡量，具体如公式所示：

其中，熵函数H的基础是每一个指标的概率，H(I₁,I₂)是I₁和I₂的联合熵，是由I₁和I₂的所有组合值概率计算出来的。对于不确定性的范围是0～1，基于相关性的特征选择决定了一个指标集的优良性，具体如公式所示：

其中，C表示阿尔茨海默病的三个类别，I_i和I_j是指标集里面的所有指标。结合表1，通过CFS评估器选择了其中的11个指标作为临床指标特征。

表1

3.向量线性融合

本实施方式选择在向量级层面融合图像和指标数据。MRI图像和检查指标都有其特殊的优越性和局限性，对图像和指标特征向量进行融合，有利于提高阿尔茨海默病多分类诊断模型的准确性。常用的向量级融合方法是将两个特征向量首尾相连生成一个新的特征向量，该方法没有考虑两个向量之间的关系。本实施方式采样的方法是通过典型相关分析(CCA)来分析MRI图像特征向量和临床指标特征向量之间的相关关系，并产生新的融合特征向量。

典型相关分析就是要找到一对投影方向α与β，使得X＝α^Tx与Y＝β^Ty具有最大的典型相关，X和Y为一对典型变量。投影方向α与β最大化可以通过如下准则函数获得，如公式所示：

其中，S_xx和S_yy分别表示x与y的协方差矩阵，S_xy表示x与y之间的互协方差矩阵。这里W_x＝(α₁,α₁,...,α_d)，W_y＝(β₁,β₁,...,β_d)将线性变换，如公式所示：

Z＝(W_x,W_y)^T(x,y) (8)

作为投影后的组合特征用于分类，本实施方式选取其中的一对典型变量α^Tx与β^T组成组合特征V，如公式所示：

V＝(α，β)^T(x,y) (9)

其中，V即为图像和指标的融合特征向量。

4.疾病分类诊断

疾病分类诊断主要通过多分类器分类实现。本发明通过将图像和指标的融合特征向量输入分类器来诊断阿尔茨海默病的三个阶段，包括正常(CN)、轻度认知障碍(MCI)和阿尔茨海默病(AD)。

本实施方式选择的多分类器是决策树。决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶子节点代表一种疾病类型。它代表的是对象属性与对象值之间的一种映射关系，使用算法ID3，C4.5和C5.0生成树算法得出熵，这一度量是基于信息学理论中熵的概念。信息熵是用来衡量一个随机变量出现的期望值。如果信息的不确定性越大，熵的值也就越大，出现的各种情况也就越多。

其中，s为所有事件集合，p为发生概率，C为特征总数。

Claims (7)

1.一种基于深度学习的阿尔茨海默病多分类诊断系统，其特征在于，包括：图像特征提取模块，用于根据神经网络模型对大脑三正交平面MRI图像的特征向量进行提取；指标特征选择模块，用于根据医学相关文献选择检查指标组成指标特征向量；向量线性融合模块，用于采用基于典型相关分析的多元数据线性融合方法将图像的特征向量和指标特征向量进行融合；疾病分类诊断模块，用于将融合后的向量输入多分类分类器来区分阿尔茨海默病的三个阶段。

2.根据权利要求1所述的基于深度学习的阿尔茨海默病多分类诊断系统，其特征在于，所述神经网络模型是TOP-CNN-NN模型，包括3个VGGNet-16卷积神经网络和1个单隐层网络，在对大脑三正交平面MRI图像进行特征向量提取时，先利用3个VGGNet-16卷积神经网络分别对大脑三正交平面MRI图像进行初步特征向量提取，将得到的3个初步特征向量经过投票加权后输入所述单隐层网络生成融合特征向量。

3.根据权利要求2所述的基于深度学习的阿尔茨海默病多分类诊断系统，其特征在于，所述3个VGGNet-16卷积神经网络分别对大脑三正交平面MRI图像的轴位平面图像训练XY-CNN模型、弧状位平面图像训练XZ-CNN模型、冠状位平面图像训练YZ-CNN模型；其中，VGGNet-16卷积神经网络的第i层特征图MRI_i＝f(MRI_i-1×W_i+b_i)，W_i为第i层卷积核的权值向量，×为卷积操作，b_i第i层的偏移向量，f(·)为ReLU激活函数；所述VGGNet-16卷积神经网络采用13个卷积层，并在每一卷积层后添加一个Maxpooling池化层，VGGNet-16卷积神经网络最后使用3个全连接层将提取到的特征进行综合，全连接层的第p个输出FC_p＝W_p1*x₁+W_p2*x₂+…+W_pj*x_n+b_p，W_pj表示权值矩阵，x_n表示输入的特征图，b_p表示偏移向量。

4.根据权利要求3所述的基于深度学习的阿尔茨海默病多分类诊断系统，其特征在于，所述投票加权具体为：综合XY-CNN模型、XZ-CNN模型和YZ-CNN模型的分类结果，如果存在相同的分类结果，则将此结果作为投票结果；如果三者的分类结果均不同，则将分类准确度较高的结果作为投票结果；其中，每一种投票结果对应一种权重向量。

5.根据权利要求1所述的基于深度学习的阿尔茨海默病多分类诊断系统，其特征在于，所述指标特征选择模块使用CfsSubsetEval评估器来评估数据库每一个指标的分类能力以及相互之间的冗余度，选择与类别属性相关度高，且相互之间相关度低的指标，指标的优良性通过得到，其中，C表示阿尔茨海默病的类别，I_i和I_j表示指标集中所有指标，其中，a和b分别表示两个不同的指标，H(·)表示熵函数，H(a,b)表示a和b的联合熵。

6.根据权利要求1所述的基于深度学习的阿尔茨海默病多分类诊断系统，其特征在于，所述向量线性融合模块选取一对典型变量α^Tx和β^T组成组合特征V＝(α，β)^T(x,y)，其中，α和β为一对具有最大典型相关的投影方向，x和y分别为图像特征向量和指标特征向量。

7.根据权利要求1所述的基于深度学习的阿尔茨海默病多分类诊断系统，其特征在于，所述疾病分类诊断模块使用的多分类分类器为决策树。