CN112863664A - 基于多模态超图卷积神经网络的阿尔茨海默病分类方法 - Google Patents

基于多模态超图卷积神经网络的阿尔茨海默病分类方法 Download PDF

Info

Publication number
CN112863664A
CN112863664A CN202011618907.6A CN202011618907A CN112863664A CN 112863664 A CN112863664 A CN 112863664A CN 202011618907 A CN202011618907 A CN 202011618907A CN 112863664 A CN112863664 A CN 112863664A
Authority
CN
China
Prior art keywords
hypergraph
modal
neural network
matrix
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011618907.6A
Other languages
English (en)
Inventor
邓赵红
曹营利
姚晓峰
王士同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Wuxi Taihu University
Original Assignee
Jiangnan University
Wuxi Taihu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University, Wuxi Taihu University filed Critical Jiangnan University
Priority to CN202011618907.6A priority Critical patent/CN112863664A/zh
Publication of CN112863664A publication Critical patent/CN112863664A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明属于智能医疗计算机辅助诊断应用技术领域，涉及基于多模态超图卷积神经网络的阿尔茨海默病分类方法。该方法包括训练阶段和使用阶段两部分，训练阶段包括初始多模态特征构建模型，深度多模态特征提取模型和最终阿尔茨海默病分类。初始多模态构建模型使用K‑近邻和超图理论，分别对每个模态构建超图，获得初始多模态构建模型。本发明为了提高多模态特征的有效性，基于最初的多模态超图数据，利用基于超图的图卷积神经网络进行深度学习来构建出深度多模态特征，相对于原始多模态特征，经过深度特征提取的多模态特征具有更小的数据维度和更高的分类效果。

Description

基于多模态超图卷积神经网络的阿尔茨海默病分类方法
技术领域
本发明属于智能医疗计算机辅助诊断应用技术领域，涉及基于多模态超图 卷积神经网络的阿尔茨海默病分类方法。
技术背景
阿尔茨海默病(Alzheimer’s Disease，AD)是老年痴呆的主要原因，调查显 示，全球共有约4000万人罹患阿尔茨海默病，而这个数字预计将每20年增长 一倍，并且预计到2050年，老年痴呆症患者将达到1.15亿，即平均大约每85 个老年人中就有一个患有阿尔茨海默病。发展中国家老龄人口比例低于欧美发 达国家，但是患阿尔茨海默病的比例却比西欧和美国高。
阿尔茨海默病是一种不易被发现的进行性脑功能缓慢退化的疾病，与大脑 的一些神经病变与神经化学变化相关，患者正常生活的能力，在发病期间会出 现不同程度的减退，严重时甚至丧失生活自理能力、大脑思考能力，生病后性 格和行为模式习惯也会发生改变。阿尔茨海默病患者大脑的衰老速度明显快于 正常大脑的衰老速度，皮质严重萎缩，脑室扩大，海马区严重萎缩，神经纤维 缠结，淀粉样蛋白斑块，神经细胞及突出大量减少。所以神经影像学是诊断疾 病的有力工具，也是评价神经退行性疾病治疗效果的有力工具。神经影像学研 究为痴呆症病程的早期个体特征识别提供了巨大的潜力。
阿尔茨海默病临床上表现为记忆障碍、失语、失用、失认、视空间能力损 害、抽象思维和计算力损害、人格和行为改变等。虽然老年痴呆是一种生理老 化，多是由于大脑的脑细胞萎缩导致的，是不可逆的，但可以采用一些医疗手 段减缓老化速度。对阿尔茨海默病患者药物及认知疗法的干预效果最好的时间 是早期，疾病一旦发展到重度，治疗效果就不明显了，会给老人和他们的家人 的生活质量带来巨大的负面影响。因此阿尔茨海默病早期诊断对于临床、患者 以及患者家人都具有重要意义。
随着机器学习不断迅速的发展，越来越多的算法被提出用来检测阿尔茨海 默病，得益于近年来卷积神经网络(Convolutional Neural Networks,CNN)在计 算机视觉领域取得的巨大成功，多数算法使用CNN在磁共振成像图像上进行分 类，也有一些算法开始综合使用多种模态进行阿尔茨海默病诊断。这些方法都 要首先对原始脑图像进行特征提取，再使用提取后的特征训练分类器，最终实 现阿尔茨海默病分类的功能。虽然已经有很多方法用于实现阿尔茨海默病分类， 但仅使用一个模态进行分类的方法，忽略了多个模态之间的互补信息，而使用 了多种模态进行分类的方法，仅简单的将受试者之间的关系视为成对关系。在 现实世界中，受试者之间的关系要比成对关系复杂的多，并且CNN研究的对象 是有规则的空间结构，像脑图像这种医学影像，其结构更加复杂。如何更加有 效的利用多种模态之间的互补信息，并建立有效的、含有丰富鉴别信息的高阶 结构，以达到更好的诊断阿尔茨海默病的效果，依然是一个重要的挑战。
发明内容
为了解决上述问题，本发明提供了基于多模态超图卷积神经网络的阿尔茨 海默病分类方法。
该方法使用磁共振图像(Magnetic Resonance Imaging,MRI)、正电子发射型 计算机断层成像(Positron Emission Tomography，PET)和脑脊液(Cerebrospinal Fluid,CSF)三个模态的数据，包括训练阶段和使用阶段两部分，训练阶段包括 初始多模态特征构建模型，深度多模态特征提取模型和最终的阿尔茨海默病分 类。
训练阶段：初始多模态特征构建模型使用K-近邻策略和超图理论，分别对 每个模态构建超图，获得初始多模态构建模型。深度多模态特征提取模型构建 出三个图卷积神经网络，对于初始的三个模态特征进行训练，来获得具有更好 分类能力的深度多模态特征，得到深度多模态特征提取模型。阿尔茨海默病分 类使用多模态Takagi-Sugeuo-Kang(TSK)模糊分类器(Multi-Model-TSK-FLS)对 提取的深度多模态特征进行学习，获得具有阿尔茨海默病分类能力的模型。
使用阶段：获取临床上采集的患者的CSF的3个特征数据，和采集的PET 与MRI脑图像，并提取其93个感兴趣区域(Region of Interest,ROI)，并M将 其构建出超图作为初始多模态特征；再利用训练好的图卷积神经网络提取出初 始多模态的深度特征；最后使用训练好的多模态TSK模糊分类器对深度多模态 特征进行分类，得到最终的分类结果。
所述的基于多模态超图卷积神经网络的阿尔茨海默病分类方法使用超图理 论和深度学习基技术，并融合了多模态特征和深度学习的深层次结构优化表示。 多模态有效地利用了每个模态的独立性和模态之间的相关性，而超图则构建了 受试者之间隐藏的复杂多元信息。将深度学习技术和多模态特征学习技术有效 结合可以充分提取不同模态之间的有效信息，提高分类器的泛化能力。
脑成像在对受神经疾病影响的脑区进行定位、发明新方法治疗脑部疾病等 方面为神经科学家提供了有力的帮助。核磁共振成像提供了脑的解剖视图，正 电子发射断层扫描术提供了脑的功能视图。这两种脑成像被认定是可用于研究 阿尔茨海默病和轻度认知障碍(Mild Cognitive Impairment,MCI)的神经生理特 征。但阿尔茨海默病的临床标准没有统一化标准，范围从临床表现到MRI和PET 脑成像，再到生物标志物特征脑脊液中的临床化学分析都有涉及。在本发明中， 对临床上采集的PET和MRI脑图像进行一定的处理后，提取93个ROI的值， 同时加上3个CSF生物标志物特征CSF Aβ42、CSF t-tau和CSF p-tau，作为用 于学习分类器时的三个模态特征。
实际临床诊断中，仅靠MRI或PET一种脑成像来诊断疾病容易因信息不足 而难度较大且误诊率也较高。基于多模态的诊断方法往往优于基于单模态的方 法，而多数基于多模态的方法往往忽略了数据的高阶结构信息，简单的将其压 缩成两两成对关系。在实际应用中，受试者之间的关系要比成对关系复杂的多， 不能用传统的普通图来表示，超图则提供了一种灵活且自然的工具来建模这种 复杂关系。本发明使用超图来分别构建多个模态间的高阶关系，并采用K-近邻 策略来构建超图，该策略构建出的超图称为K均匀超图，本发明中的K取7， 即构建7-均匀超图。令G(V,E,w)代表超图，其中V是顶点集，每个顶点代表一个受试者,E是超边集，w＝w(e)是超边的权重集。对于超图G，令其关联矩阵为 H,表示超边与顶点之间的关系，即H的第(i,j)项表示第j个超边中是否包含第i个 顶点。因此矩阵H定义为:
Figure BDA0002873630720000041
根据关联矩阵H，每个顶点v和每个超边e的度分别定义为：
Figure BDA0002873630720000042
Figure BDA0002873630720000043
近年来出现了许多用于计算超图拉普拉斯矩阵的方法，这些方法可以粗略 的分为两种，一种是直接在超图上构建简单的图。另一种是类比简单图的拉普 拉斯矩阵来定义超图的拉普拉斯矩阵。两种方法实际上是相似的，本发明使用 第二种方法。令Dv和De分别表示包含顶点和超边度的对角矩阵，W表示包含超 边权重的对角矩阵且Wii＝1。则超图的拉普拉斯矩阵为L＝I-Δ。其中I是单位 矩阵，
Figure BDA0002873630720000051
该部分具体步骤如下：
第一步：使用原始多模态特征作为初始多模态特征，
第二步：计算每个模态中受试者之间的欧氏距离，使用K-近邻策略计算关 联矩阵H，得到多模态关联矩阵特征，
第三步：利用超图拉普拉斯矩阵生成超图，得到初步多模态超图数据集 D＝{X1,X2,X3,y}，其中X1为PET超图特征，X2为MRI超图特征，X3为CSF 超图特征，y为特征标签。
本发明的深度多模态特征提取部分使用基于超图扩展的图卷积神经网络 (称之为超图卷积神经网络)对多模态特征进行自动提取。对于原始多模态数 据，经过上述处理后得到PET超图特征，MRI超图特征，CSF超图特征，针对 三个不同的模态，分别构建超图卷积神经网络(Hyper-Graph Convolutional Network,Hyper-GCN)来对不同模态特征进行深度自动提取。
在图卷积神经网络(Graph Convolutional Network,GCN)模型中，图的每条 边的度只能是2，也就是每条边只能连接两个顶点，而超图可以编码高阶数据结 构关系，其超边可以连接任意多个顶点。类比于图卷积，并基于上一部分中超 图拉普拉斯矩阵的计算，超图卷积可表示为：
Figure BDA0002873630720000052
其中Θ是应用于超图节点上进行特征提取的滤波器，在训练中学习得到，
Figure BDA0002873630720000053
为原始数据集，经过卷积后，可以得到用于分类的特征
Figure BDA0002873630720000054
有 了超图卷积公式后，在超图卷积网络中，可以搭建超图卷积层f(X,W,Θ)：
Figure BDA0002873630720000061
亦即传播公式，其中
Figure BDA0002873630720000062
是第l层的超图，X(0)＝X，σ(·)是非线性激活函数，本发明使用线性整流函数(Rectified Linear Unit,ReLU)函数作为激活函数， 使用自适应矩阵估计(Adaptive Moment Estimation,Adam)优化算法，损失函数 采用交叉熵损失函数。得益于图卷积的强大之处，一般图卷积只需要2到3层 就可达到非常好的效果。本发明使用两层卷积层，设置倒数第二层的输出为16， 即最终提取的特征为n*16,其中n为受试者样本数。
该部分的具体步骤如下：
第一步：利用X1，y对PET模态的超图特征提取网络训练，取PET特征提 取使用的Hyper-GCN网络架构的倒数第二层用做PET深度特征
Figure BDA0002873630720000063
第二步：利用X2，y对MRI模态的超图特征提取网络训练，取MRI特征提 取使用的Hyper-GCN网络架构的倒数第二层用做MRI深度特征
Figure BDA0002873630720000064
第三步：利用X3，y对CSF模态的超图特征提取网络训练，取CSF特征提 取使用的Hyper-GCN网络架构的倒数第二层用做CSF深度特征
Figure BDA0002873630720000065
得到多模态 数据集
Figure BDA0002873630720000066
本发明的阿尔茨海默病分类部分使用多模态TSK模糊系统作为分类器。 Multi-Modal-TSK-FLS是基于TSK模糊系统构建而成的多模态分类器，很好的 继承了TSK模糊系统的可解释性，并且该方法可以根据每个模态的权重来评估 各个模态的重要性，基于权重进行最后的决策。
首先描述TSK模糊系统，定义TSK模糊系统的模糊推理规则如下：
IF
Figure BDA0002873630720000067
THEN
Figure BDA0002873630720000068
k＝1,2,…,K
其中K是规则系统中模糊规则的总数，
Figure BDA0002873630720000069
是xi的第k条规则的模糊集，
Figure BDA0002873630720000071
是线性函数中第k条规则上xi的系数，∧是模糊连接操作。第k条 规则将输入向量x＝[x1,x2,…,xd]T从输入空间映射到输出fk(x)，TSK模糊系统 的输出f(x)可以被定义为：
Figure BDA0002873630720000072
其中μk(x)是第k条规则的模糊隶属程度，规范化后得到
Figure BDA0002873630720000073
Figure BDA0002873630720000074
Figure BDA0002873630720000075
是xi在模糊集
Figure BDA0002873630720000076
上的隶属程度，高斯隶属度函数被广泛的应用于计算模糊隶属度程度。
Figure BDA0002873630720000077
其中
Figure BDA0002873630720000078
中心参数，
Figure BDA0002873630720000079
为核宽。
Figure BDA00028736307200000710
和
Figure BDA00028736307200000711
叫做前件参数，定义了模糊集
Figure BDA00028736307200000712
的具体形 式，可以通过应用聚类算法或者模糊空间划分方法来得到。一旦前件参数确定 下来，TSK模糊系统的输出就可以被认为是一个线性模型：
Figure BDA00028736307200000713
相应的数据和参数通过以下公式计算得到：
Figure BDA00028736307200000714
Figure BDA00028736307200000715
xe＝(1,xT)T,
pg＝[(p1)T,(p2)T,…,(pK)T]T,
Figure BDA00028736307200000716
xg是通过模糊规则将原始输入x映射到新的特征空间的向量，pg为TSK模糊系 统中的规则构建出来的模糊规则的后件参数，该后件参数可以通过使用线性模 型的而优化技术来得到最优的值。
Multi-Modal-TSK-FLS首先对每个视角训练出一个TSK模型，得到每个视 角的前件参数，通过前件参数计算得到原始
Figure BDA0002873630720000081
映射到高维空间的
Figure BDA0002873630720000082
i为第i维 特征，k为第k个模态。得到
Figure BDA0002873630720000083
后，通过最小x化
Figure BDA0002873630720000084
得到最优的 后件参数
Figure BDA0002873630720000085
和视角权重wk。
通过交叉迭代方法求解出最优的后件参数
Figure BDA0002873630720000086
和视角权重wk，最大的迭代次 数可以根据具体实验器材的计算能力来确定。根据
Figure BDA0002873630720000087
和wk，全局决策值可以通 过各个模态的决策值计算得到:
Figure BDA0002873630720000088
该部分具体步骤如下：
第一步：对每个模态使用TSK模糊系统，得到各个模态的前件参数和后件 参数，通过前件参数得到新的多模态数据集
Figure BDA0002873630720000089
第二步：根据第一步得到的新的多模态数据集
Figure BDA00028736307200000810
对 Multi-Modal-TSK-FLS进行训练。
在本方法的使用阶段，具体步骤如下：
第一步：对处理过的临床采集的多模态脑图像和生物标志数据使用初始多 模态特征构建模型构建初步多模态检测数据集
Figure BDA00028736307200000811
第二步：使用深度多模态特征提取模型得到深度多模态检测数据集
Figure BDA00028736307200000812
第三步：使用训练好的多模态模糊分类模型对深度多模态检测集
Figure BDA00028736307200000813
进行分类。
本发明的优点包括以下几点：
1)初始多模态特征的构建：有多种处理多模态特征的方法，用不同的方法 处理的多模态特征都具有一定的效果，也各有优缺点。使用超图来构建多模态 特征可以很好的充分利用受试者之间的之间复杂关系而非简单的成对关系，可 以从不同的方面进行信息互补。
2)深度多模态特征的构建：为了提高多模态特征的有效性，基于初始的多 模态数据，利用Hyper-GCN进行深度学习来构造出深度多模态特征。相对于原 始多模态特征，经过深度特征提取的多模态特征具有更小的数据维度和更高的 分类效果。并且得益于图卷积神经网络的强大，一般图卷积仅适用两层就可达 到最好的效果，这也大大缩短了特征提取所需的时间。
3)多模态学习分类器的构建：利用多模态分类器学习技术，基于Hyper-GCN 学习到的深度多模态特征进行学习，来获得更具有泛化能力的多模态分类器用 于阿尔茨海默病检测。
4)整个模型中每个模态在构建初始特征、提取深度特征时是分别进行的， 多模态分类器的构建也不是简单的多个模态的拼接，因此突破了每个模态的特 征数相同的限制，可以处理不同模态不同特征数的数据。
附图说明
图1是本发明的算法总体框架图。
图2是本发明的不同模态数据获取算法框架图。
图3是本发明的多模态特征学习算法框架图，
图4是本发明的多模态分类器学习算法框架图。
图5是本发明的阿尔茨海默病分类算法框架图。
图6是本发明的超图与普通图的区别图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述：
如图1～图5所示，本发明实现了基于多模态超图卷积神经网络的阿尔茨海 默病分类方法。该方法包括初始多模态特征构建、深度多模态特征提取和阿尔 茨海默病分类三部分。初始多模态特征构建部分对原始多模态脑图像特征和生 物标记数据构建超图得到初始的多模态特征；深度多模态特征提取部分对初始 多模态特征进行深度特征学习，获得多模态深度特征；阿尔茨海默病分类部分 利用多模态TSK模糊系统对多模态深度特征进行分类，得出最终的分类结果。
训练阶段的具体步骤。本方法的初始多模态特征构建部分从原始多模态数 据中构造出多模态的超图特征。图6绘制了普通图与超图的对比，以显示超图 能提取更丰富的信息。
实施例1
按照训练阶段的实施方式，针对标准数据集ADNI数据库中的数据完成实 施例。选择同时具有MRI、PET和CSF三个模态的被试者数据进行试验，并只 选择这些被试者的基准点采集的数据。ADNI数据库中，同时具有以上三个模态 的被试者为202个,其中患有阿尔茨海默病(AD)的有51个，正常对照组(Normal Control,NC)有52个，轻度认知障碍(MCI)有99个。MCI中又分为18个月 后没有转化为阿尔茨海默病的(即MCI non-converters，MCI-nc)，为56个，18 个月后转化为阿尔茨海默病的(即MCI converters，MCI-c)，为43个。这些被 试者的人口统计资料信息如表1：
表1：ADNI同时具有MRI、PET和CSF三个模态的202个被试者人口统计资料信息
Figure BDA0002873630720000101
本发明在进行阿尔茨海默病分类时，不仅对AD与NC进行分类，同时也对 MCI进行分类。这是因为对MCI进行分类与对NC分类同样重要，MCI为轻度 认知障碍，越早发现，越早干预，病症加重的就越慢，患者也会少受些痛苦。 因此分出轻度阿尔茨海默病更有必要，也更加重要。其次对轻度认知障碍患者 在18个月后是否转换为AD进行分类，也可以帮助医疗工作者更精确的分辨患 者脑部状态进而进行有针对性的治疗。因此本发明的分类应用在三个方面，一 是AD与NC的分类，二是MCI与NC的分类，三是MCI-c与MCI-nc的分类。 表2分别显示了不同疾病程度使用10折交叉验证的平均分类结果，由表2可以 看出，AD vs.NC的分类精度最高，达到95.18％，因为阿尔茨海默病患者的脑 功能退化程度与正常人的大脑已经区别相对明显，识别相对来说较为容易，MCI vs.NC的分类精度为86.83％，这也说明相比于AD与NC组，MCI更难以识别， 早期阿尔茨海默病患者的大脑与正常衰老的大脑区别明显程度不高，因此更难 发现，MCI-c vs.MCI-nc的分类精度为83.89％。可以看出算法在准确度上取得 了较好的结果。
表2：实施例1中的本算法的性能指标：
Acc Sen Spe PPV NPV
AD vs.NC 95.18 98.33 92.90 93.00 98.00
MCI vs.NC 86.83 84.66 85.42 61.99 96.73
MCI-c vs.MCI-nc 83.89 84.40 71.58 70.06 87.50
表3总结了近几年关于多模态阿尔茨海默病分类的研究结果，以下研究的 数据集均采用202个被试者的数据进行实验，实验的方法各不相同，表中详细 描述了各个试验的具体方法和使用的模态，除了Wei Saho et al.的方法不能处理 不同特征数的多个模态，因此而去掉了一个模态外，其他方法均采用三个模态。 表3可以看出，在AD vs.NC,MCIvs.NC和MCI-c vs.MCI-nc分类中，我们的 算法均获得了较好的准确度。后两者的分类精度均大于其他算法，尤其是在 MCI-c vs.MCI-nc分类中，我们的算法准确率达到83.89％，而其他算法的准确 率都没有超过80％。
表3：不同方法的实验效果(Acc-Sen-Spe)：
Figure BDA0002873630720000121
实施例2
为验证多模态特征的分类效果优于单模态特征，本发明还分别采用不同单 个模态进行分类，与综合多模态分类进行对比，最后分别计算出各种模态的分 类效果绘制成表4，表5，表6。在采用单模态分类时的特征提取方法与过程与 多模态相同，最后的分类器使用单模态TSK模糊分类器。从表中可以看出，无 论哪一种分类任务，多模态的方法各项指标均达到了比单个模态好的效果。在 MCI vs.NC的分类任务中，综合多个模态的分类结果比单个模态分类中最高的 结果还高出了10％，达到了86.83％，其他几个分类任务多模态的分类效果也都 高于单模态的分类效果。
表4：不同模态的AD vs.NC分类效果比较
Figure BDA0002873630720000122
Figure BDA0002873630720000131
表5：不同模态的MCI vs.NC分类效果比较
Acc Sen Spe PPV NPV
PET 76.38 60.83 80.46 61.98 85.88
MRI 75.58 63.58 81.92 66.73 80.20
CSF 72.88 64.16 72.42 30.70 91.92
Multi-Modal 86.83 84.66 85.42 61.99 96.73
表6：不同模态的MCI-c vs.MCI-nc分类效果比较
Figure BDA0002873630720000132
表7分别比较三个模态的深度特征分别使用单模态分类器和本方法使用 TSK-FLS多模态分类器的效果，发现本文提出的算法在acc，spe和sen都取得 了最好的效果，此结果说明了多模态分类器在本文提出的算法中达到了提高效 果的作用。
表7：深度特征在不同分类器上的AD vs.NC实验效果
Figure BDA0002873630720000133

Claims (6)

1.一种基于多模态超图卷积神经网络的阿尔茨海默病分类方法，其特征在于：包括训练阶段与使用阶段；
训练阶段步骤为：
第一步：使用原始多模态特征作为初始多模态特征；
第二步：计算每个模态中受试者之间的欧氏距离，使用K-近邻策略计算关联矩阵H，得到多模态关联矩阵特征；
第三步：利用超图拉普拉斯矩阵生成超图，得到初步多模态超图数据集D＝{X1,X2,X3,y}，其中X1为正电子发射型计算机断层扫描(Positron Emission Tomograph,PET)超图特征，X2为磁共振图像(Magnetic Resonance Imaging,MRI)超图特征，X3为脑脊液(Cerebrospinal Fluid,CSF)超图特征，y为特征标签；
第四步：利用X1，y对PET模态的超图特征提取网络训练，取PET特征提取使用的超图卷积神经网络(Hyper-Graph Convolutional Network,Hyper-GCN)网络架构的倒数第二层用做PET深度特征
Figure FDA0002873630710000011
第五步：利用X2，y对MRI模态的超图特征提取网络训练，取MRI特征提取使用的Hyper-GCN网络架构的倒数第二层用做MRI深度特征
Figure FDA0002873630710000012
第六步：利用X3，y对CSF模态的超图特征提取网络训练，取CSF特征提取使用的Hyper-GCN网络架构的倒数第二层用做CSF深度特征
Figure FDA0002873630710000013
得到多模态数据集
Figure FDA0002873630710000014
第七步：对每个模态使用Takagi-Sugeuo-Kang(TSK)模糊系统，得到各个模态的前件参数和后件参数，通过前件参数得到新的多模态数据集
Figure FDA0002873630710000015
第八步：根据第七步得到的新的多模态数据集
Figure FDA0002873630710000016
对多模态TSK模糊分类器(Multi-Modal-TSK-FLS)进行训练；
使用阶段步骤为：
第九步：对处理过的临床采集的多模态脑图像和生物标志物数据使用初始多模态特征构建模型构建初步多模态检测数据集
Figure FDA0002873630710000017
第十步：使用深度多模态特征提取模型得到深度多模态检测数据集
Figure FDA0002873630710000018
第十一步：使用训练好的多模态模糊分类模型对深度多模态检测集
Figure FDA0002873630710000019
进行分类。
2.如权利要求1所述的基于多模态超图卷积神经网络的阿尔茨海默病分类方法，其特征在于：所述第二步中的计算每个模态中受试者之间的欧氏距离，使用K-近邻策略计算关联矩阵H，得到多模态关联矩阵特征，在K-近邻策略中，K值取7，因此构建的超图为7-均匀超图；关联矩阵H中，若第j个超边中包含第i个顶点，则H的第(i,j)项就为1，否则为0。
3.如权利要求1所述的基于多模态超图卷积神经网络的阿尔茨海默病分类方法中，其特征在于：所述第三步中利用超图拉普拉斯矩阵生成超图；用H表示超图的关联矩阵，可以得到包含顶点和超边度的对角矩阵Dv和De，令W表示包含超边权重的对角矩阵且Wii＝1；类比简单图的拉普拉斯矩阵来定义超图的拉普拉斯矩阵，则超图的拉普拉斯矩阵为L＝I-Δ；其中I是单位矩阵，
Figure FDA0002873630710000021
4.如权利要求1或3所述的基于多模态超图卷积神经网络的阿尔茨海默病分类方法，其特征在于：所述第四步、第五步、第六步中使用的基于超图扩展的图卷积神经网络(即超图卷积神经网络)，对多模态特征进行自动提取；图卷积网络中的图每条边的度只能是2，而超图可以编码高阶数据结构关系，其超边可以连接任意多个顶点；利用已经生成好的超图及其拉普拉斯矩阵，超图卷积的公式可以表示为：
Figure FDA0002873630710000022
其中Θ是应用于超图节点上进行特征提取的滤波器，训练中学习得到，
Figure FDA0002873630710000023
为原始数据集，经过卷积后，可以得到用于分类的特征
Figure FDA0002873630710000024
5.如权利要求1或3或4所述的基于多模态超图卷积神经网络的阿尔茨海默病分类方法，其特征在于：所述第四步、第五步和第六步中使用的超图卷积神经网络，在已有卷积公式后，搭建的超图卷积层为f(X,W,Θ)：
Figure FDA0002873630710000025
亦即传播公式，其中
Figure FDA0002873630710000026
是第l层的超图，X(0)＝X，σ(·)是非线性激活函数。
6.如权利要求1或3或5所述的基于多模态超图卷积神经网络的阿尔茨海默病分类方法，其特征在于:所述第四步、第五步和第六步中使用的超图卷积神经网络，使用线性整流函数(Rectified Linear Unit,ReLU)作为激活函数，使用自适应矩阵估计(AdaptiveMoment Estimation,Adam)优化算法，损失函数采用交叉熵损失函数；搭建的超图卷积层数为2层，并设置倒数第二层的输出维度为16，即最终得到提取的特征为n*16,其中n为受试者样本数。
CN202011618907.6A 2020-12-30 2020-12-30 基于多模态超图卷积神经网络的阿尔茨海默病分类方法 Pending CN112863664A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011618907.6A CN112863664A (zh) 2020-12-30 2020-12-30 基于多模态超图卷积神经网络的阿尔茨海默病分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011618907.6A CN112863664A (zh) 2020-12-30 2020-12-30 基于多模态超图卷积神经网络的阿尔茨海默病分类方法

Publications (1)

Publication Number Publication Date
CN112863664A true CN112863664A (zh) 2021-05-28

Family

ID=75999018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011618907.6A Pending CN112863664A (zh) 2020-12-30 2020-12-30 基于多模态超图卷积神经网络的阿尔茨海默病分类方法

Country Status (1)

Country Link
CN (1) CN112863664A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724880A (zh) * 2021-11-03 2021-11-30 深圳先进技术研究院 一种异常脑连接预测系统、方法、装置及可读存储介质
CN116130089A (zh) * 2023-02-02 2023-05-16 湖南工商大学 基于超图神经网络的多模态抑郁症检测系统、装置及介质
CN117934981A (zh) * 2024-03-25 2024-04-26 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) 基于多模态信息的神经内科病症识别方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724880A (zh) * 2021-11-03 2021-11-30 深圳先进技术研究院 一种异常脑连接预测系统、方法、装置及可读存储介质
WO2023077603A1 (zh) * 2021-11-03 2023-05-11 深圳先进技术研究院 一种异常脑连接预测系统、方法、装置及可读存储介质
CN116130089A (zh) * 2023-02-02 2023-05-16 湖南工商大学 基于超图神经网络的多模态抑郁症检测系统、装置及介质
CN116130089B (zh) * 2023-02-02 2024-01-02 湖南工商大学 基于超图神经网络的多模态抑郁症检测系统、装置及介质
CN117934981A (zh) * 2024-03-25 2024-04-26 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) 基于多模态信息的神经内科病症识别方法及系统
CN117934981B (zh) * 2024-03-25 2024-05-31 东莞市东南部中心医院(东莞市东南部中医医疗服务中心) 基于多模态信息的神经内科病症识别方法及系统

Similar Documents

Publication Publication Date Title
Ebrahimighahnavieh et al. Deep learning to detect Alzheimer's disease from neuroimaging: A systematic literature review
Islam et al. Brain MRI analysis for Alzheimer’s disease diagnosis using an ensemble system of deep convolutional neural networks
Yue et al. Auto-detection of Alzheimer's disease using deep convolutional neural networks
CN112863664A (zh) 基于多模态超图卷积神经网络的阿尔茨海默病分类方法
Silva et al. Model based on deep feature extraction for diagnosis of Alzheimer’s disease
Kannan et al. Strong fuzzy c-means in medical image data analysis
CN111009321A (zh) 一种机器学习分类模型在青少年孤独症辅助诊断中的应用方法
CN111513717A (zh) 一种大脑功能状态提取方法
Mehmood et al. Early Diagnosis of Alzheimer's Disease Based on Convolutional Neural Networks.
Zhang et al. Empowering cortical thickness measures in clinical diagnosis of Alzheimer's disease with spherical sparse coding
CN113052800B (zh) 一种阿尔茨海默症影像分析方法与装置
Ahmed et al. Early Detection of Alzheimer's Disease Based on Laplacian Re-Decomposition and XGBoosting.
Davuluri et al. A survey of different machine learning models for Alzheimer disease prediction
Attur et al. Detection of Alzheimer's Disease using Fuzzy Inference System
Patil et al. Identification of brain white matter regions for diagnosis of Alzheimer using diffusion tensor imaging
Mareeswari et al. A survey: Early detection of Alzheimer’s disease using different techniques
Kasim et al. Gaussian mixture model-expectation maximization algorithm for brain images
CN116797817A (zh) 基于自监督图卷积模型的自闭症疾病预测技术
De Silva et al. Alzheimer's Disease Diagnosis using Functional and Structural Neuroimaging Modalities
Al-Rahayfeh et al. Utilizing 3D magnetic source imaging with landmark-based features and multi-classification for Alzheimer’s Disease diagnosis
Pallawi et al. Study of Alzheimer’s disease brain impairment and methods for its early diagnosis: a comprehensive survey
Liang et al. Multi-Scale Attention-Based Deep Neural Network for Brain Disease Diagnosis.
Shaabani et al. Implementation of neuro fuzzy system for diagnosis of multiple sclerosis
Priyatama et al. Deep Learning Implementation using Convolutional Neural Network for Alzheimer’s Classification
Baydargil et al. A parallel deep convolutional neural network for Alzheimer's disease classification on PET/CT brain images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination