CN114664446A - 一种阿尔茨海默症的预测方法和装置 - Google Patents
一种阿尔茨海默症的预测方法和装置 Download PDFInfo
- Publication number
- CN114664446A CN114664446A CN202210339750.6A CN202210339750A CN114664446A CN 114664446 A CN114664446 A CN 114664446A CN 202210339750 A CN202210339750 A CN 202210339750A CN 114664446 A CN114664446 A CN 114664446A
- Authority
- CN
- China
- Prior art keywords
- network
- gene
- brain region
- generator
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种阿尔茨海默症的预测方法和装置,所述方法包括:根据待预测的LMCI患者的脑影像数据和基因数据,构建该LMCI患者的脑区‑基因网络,并将该脑区‑基因网络输入信息传播模型;将所述信息传播模型输出的脑区‑基因网络与阿尔茨海默症AD患者的脑区‑基因网络进行相似度计算;根据计算的相似度,预测该LMCI患者未来患AD的风险概率;其中,所述信息传播模型是预先以多个LMCI患者的脑区‑基因网络和AD患者的脑区‑基因网络作为样本,经过生成对抗网络进行训练得到的。应用本发明可以预测LMCI患者未来患阿尔茨海默症的风险概率。
Description
技术领域
本发明涉及计算机技术领域,特别是指一种阿尔茨海默症的预测方法和装置。
背景技术
阿尔茨海默症(AD)的发展具有显著的阶段性特点,其发病历程包括早期轻度认知障碍(EMCI)、晚期轻度认知障碍(LMCI)等多个过渡阶段,且疾病在不同的阶段中表现出的发展趋势也有较大差异。LMCI是AD的前驱状态,一旦个体发展为LMCI,将以高出正常人8到10倍的速度向AD演化。因此,若能在个体处于LMCI阶段时精准评估疾病的发展趋势,实现疾病风险预测,医护人员就可以及时采取相应的干预措施与治疗手段,从而防止病情的继续恶化。
发明内容
有鉴于此,本发明的目的在于提出一种阿尔茨海默症的预测方法和装置,可以基于LMCI患者的脑影像数据和基因数据,预测该LMCI患者未来患AD疾病的风险概率。
基于上述目的,本发明提供一种阿尔茨海默症的预测方法,包括:
根据待预测的晚期轻度认知障碍LMCI患者的脑影像数据和基因数据,构建该LMCI患者的脑区-基因网络,并将该脑区-基因网络输入信息传播模型;
将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行相似度计算;
根据计算的相似度,预测该LMCI患者未来患AD的风险概率;
其中,所述信息传播模型是预先以多个LMCI患者的脑区-基因网络和AD患者的脑区-基因网络作为样本,经过生成对抗网络进行训练得到的。
其中,所述生成对抗网络包括:生成器和判别器;其中,所述生成器中包括神经网络;以及,
所述信息传播模型的训练方法包括:
根据所述样本对所述生成器和判别器进行多次迭代的优化和训练;其中,在一次迭代过程中,包括:
固定所述生成器的参数后,根据所述样本对所述判别器进行优化;
固定所述判别器的参数后,根据所述样本对所述生成器进行训练;
在对所述生成器和判别器进行多次迭代的优化和训练后,将所述生成对抗网络中的生成器作为训练得到的信息传播模型。
可选的,所述神经网络具体为卷积神经网络;或者
所述神经网络具体为深度神经网络;或者
所述神经网络具体为图卷积神经网络;或者
所述神经网络具体为空间图卷积神经网络;或者
所述神经网络具体为时间图卷积神经网络;或者
所述神经网络具体为空间和时间图卷积神经网络。
较佳地,所述对所述生成器进行训练,具体包括:
将样本中的LMCI患者的脑区-基因网络输入到所述生成器中,由所述生成器生成变化的脑区-基因网络;
将所述生成器生成的脑区-基因网络输入到所述判别器;
根据所述判别器输出的判别结果对所述生成器的参数进行调整。
较佳地,所述生成器中的空间和时间图卷积神经网络具体包括多个串联的卷积模块;以及所述卷积模块中包括空间图卷积层和时间图卷积层;以及
所述将样本中的LMCI患者的脑区-基因网络输入到所述生成器中,由所述生成器生成变化的脑区-基因网络,具体包括:
输入到所述生成器中的脑区-基因网络经过多个空间图卷积层的卷积操作,进行多次空间上特征信息的传播后,得到空间维度的网络拓扑变化的脑区-基因网络;以及
输入到所述生成器中的脑区-基因网络经过多个时间图卷积层的卷积操作,进行多次时间上熵信息的传播,得到时间维度的节点熵信息变化的脑区-基因网络;
由所述生成器输出生成的空间维度的网络拓扑变化和时间维度的节点熵信息变化的脑区-基因网络。
较佳地,所述将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行相似度计算,具体包括:
将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行网络拓扑结构的相似度计算;以及
将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行节点熵信息的相似度计算;
根据所述网络拓扑结构的相似度计算结果,以及节点熵信息的相似度计算结果,确定所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络之间的最终相似度计算结果。
较佳地,所述对所述判别器进行优化,具体包括:
将样本中的LMCI患者的脑区-基因网络输入到所述生成器中;
将所述生成器生成的脑区-基因网络或样本中的AD患者的脑区-基因网络输入到所述判别器;
根据所述判别器输出的判别结果的正确性,对所述判别器的参数进行优化。
本发明还提供一种阿尔茨海默症的预测装置,包括:
网络构建模块,用于根据待预测的LMCI患者的脑影像数据和基因数据,构建该LMCI患者的脑区-基因网络;
信息传播模型,用于根据该LMCI患者的脑区-基因网络,输出变化后的脑区-基因网络;
风险预测模块,用于将所述信息传播模型输出的脑区-基因网络与AD患者的脑区-基因网络进行相似度计算;根据计算的相似度,预测该LMCI患者未来患AD的风险概率;
其中,所述信息传播模型是预先以多个LMCI患者的脑区-基因网络和AD患者的脑区-基因网络作为样本,经过生成对抗网络进行训练得到的。
本发明还提供一种电子设备,包括中央处理单元、信号处理和存储单元,以及存储在信号处理和存储单元上并可在中央处理单元上运行的计算机程序,其中,所述中央处理单元执行如上所述的阿尔茨海默症的预测方法。
本发明的技术方案中,根据待预测的LMCI患者的脑影像数据和基因数据,构建该LMCI患者的脑区-基因网络,并将该脑区-基因网络输入信息传播模型;将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行相似度计算;根据计算的相似度,预测该LMCI患者未来患AD的风险概率;其中,所述信息传播模型是预先以多个LMCI患者的脑区-基因网络和AD患者的脑区-基因网络作为样本,经过生成对抗网络进行训练得到的。从而可以实现预测LMCI患者未来患阿尔茨海默症的风险概率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的信息传播模型的训练方法流程图;
图2为本发明实施例提供的生成器和判别器进行一次迭代的优化和训练过程的流程图;
图3为本发明实施例提供的判别器优化方法流程图;
图4为本发明实施例提供的损失函数的log函数示意图;
图5为本发明实施例提供的生成器训练方法流程图;
图6a为本发明实施例提供的一种判别器的内部结构示意图;
图6b为本发明实施例提供的一种全连接层的内部结构示意图;
图7a为本发明实施例提供的STGC-GCN的内部结构示意图;
图7b为本发明实施例提供的从LMCI到AD的脑区-基因网络的时空演变过程示意图;
图8为本发明实施例提供的一次空间图卷积计算过程示意图;
图9为本发明实施例提供的空间图卷积的操作示意图;
图10为本发明实施例提供的空间维度上节点传播特征信息的示意图;
图11为本发明实施例提供的一次时间图卷积计算过程示意图;
图12为本发明实施例提供的“点-边”熵信息传播卷积的操作示意图;
图13为本发明实施例提供的“边-点”熵信息传播卷积的操作示意图;
图14为本发明实施例提供的时间维度上节点传播熵信息的示意图;
图15为本发明实施例提供的一种阿尔茨海默症的预测方法流程图;
图16为本发明实施例提供的空间维度上进行疾病风险预测的示例图;
图17为本发明实施例提供的时间维度上进行疾病风险预测的示例图;
图18为本发明实施例提供的一种阿尔茨海默症的预测装置结构框图;
图19为本发明实施例提供的电子设备硬件结构示意图;
图20为本发明实施例提供的多种生成对抗网络的实验结果对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
需要说明的是,除非另外定义,本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
本发明的发明人发现,在疾病从LMCI恶化为AD的这个过程中,大脑发生了质的变化,例如,部分脑区出现萎缩,功能连接出现大量异常。大脑的这些宏观病变与微观层面基因的异常表达密切相关,揭示从宏观到微观发病因素的关联机制与动态变化过程,对LMCI的临床用药和经颅磁治疗具有重要价值。动态变化反映在脑区-基因网络中有空间上拓扑结构的变化,同时又有时间上大脑整个系统不确定性的变化。
为了捕捉到大脑空间和时间上的这些复杂变化,本发明构建了信息传播模型,并设计了生成对抗网络(GAN)用以训练该信息传播模型。也就是说,所述信息传播模型是预先以多个LMCI患者的脑区-基因网络和AD患者的脑区-基因网络作为样本,经过生成对抗网络进行训练得到的。
其中,生成对抗网络包括:生成器和判别器;其中,生成器中包括神经网络。
本发明技术方案中,基于LMCI和AD两种疾病状态的脑影像(fMRI)数据和基因数据构建脑区-基因网络。在构建的脑区-基因网络中,以脑区或基因为节点,具有关联关系的节点之间有连线,亦或称为节点之间的边。为便于描述,本文将根据LMCI患者的脑影像数据和基因数据构建的脑区-基因网络称为LMCI患者的脑区-基因网络,简称LMCI脑区-基因网络;将根据AD患者的脑影像数据和基因数据构建的脑区-基因网络称为AD患者的脑区-基因网络,简称AD脑区-基因网络。在脑区-基因网络中,当节点为脑区时,节点的特征信息是脑区的时间序列值,即在固定时间点下扫描所述脑区得到的血氧依赖水平值;当节点为基因时,节点的特征信息是基因的编码序列值,节点之间的边的权重表明节点之间的邻近程度,权重越大表明节点i和节点j之间的邻近程度越紧密。
GAN的生成器在训练过程中可以捕获LMCI脑区-基因网络到AD脑区-基因网络的演化模式。在训练结束后将生成器作为训练得到的信息传播模型,用以对LMCI患者患AD的概率进行风险预测:基于LMCI患者的脑影像(fMRI)数据和基因数据构建的脑区-基因网络,通过训练得到的信息传播模型能够对LMCI患者患AD的概率进行风险预测。
下面结合附图详细说明本发明实施例的技术方案。
本发明实施例提供的一种基于生成对抗网络,训练信息传播模型的具体方法,流程如图1所示,包括如下步骤:
步骤S101:生成训练样本。
具体地,以LMCI患者的脑影像(fMRI)数据和基因数据分别构建脑网络和基因网络,进而将构建的脑网络和基因网络根据现有方法进行融合,得到LMCI患者的脑区-基因网络;具体地,以脑区和基因为节点,采用现有的皮尔逊相关分析方法计算节点之间边的权重,若边权重大于阈值则保留该边,反之去掉该边,以此构建脑区-基因网络,实现脑网络和基因网络的融合。
以AD患者的脑影像(fMRI)数据和基因数据分别构建脑网络和基因网络,进而将构建的脑网络和基因网络进行融合,得到AD患者的脑区-基因网络.
本步骤中,以多个LMCI患者的脑影像(fMRI)数据和基因数据,分别构建多个LMCI脑区-基因网络作为样本;以及以多个AD患者的脑影像(fMRI)数据和基因数据,分别构建多个AD脑区-基因网络作为样本。
步骤S102:根据所述样本对所述生成器和判别器进行多次迭代的优化和训练;
具体地,判别器的功能是以真实的AD脑区-基因网络为标准,对生成的脑区-基因网络进行真假判别。根据生成对抗网络的原理,在模型训练过程中,判别器和生成器始终维持着对立与抗争关系,前者期盼生成的脑区-基因网络非常接近真实的脑区-基因网络,以此瞒过后者,而后者期盼能够精准判断生成的脑区-基因网络和真实的脑区-基因网络;由此,本步骤中对所述生成器和判别器进行多次迭代的优化和训练,使得二者不断进行对抗博弈,生成能力和判别能力分别得到增强,直到模型收敛,最终使得生成器能够更好地完成生成任务。
其中,对所述生成器和判别器进行一次迭代的优化和训练的过程,具体流程如图2所示包括如下子步骤:
子步骤S201:固定所述生成器的参数后,根据所述样本对所述判别器进行优化;
子步骤S202:固定所述判别器的参数后,根据所述样本对所述生成器进行训练。
步骤S103:在对所述生成器和判别器进行多次迭代的优化和训练后,将所述生成对抗网络中的生成器作为训练得到的信息传播模型。
具体地,上述子步骤S201中提到的固定所述生成器的参数后,根据所述样本对所述判别器进行优化的具体方法流程,如图3所示,包括如下步骤:
步骤S301:固定所述生成器的参数后,将样本中的LMCI患者的脑区-基因网络输入到所述生成器中,由所述生成器根据输入的脑区-基因网络生成变化的脑区-基因网络;
步骤S302:将所述生成器生成的脑区-基因网络或者样本中的AD患者的脑区-基因网络输入判别器;
步骤S303:根据所述判别器输出的判别结果的正确性,对所述判别器的参数进行优化。
在根据所述判别器输出的真、假判别结果的正确性,对所述判别器的参数进行优化时,是通过损失函数的计算结果进行判别器的参数优化。
损失函数的目的是判断模型预测的好坏,在生成对抗网络中定义损失函数为Loss,分别优化判别器D与生成器G,其计算公式一如下:
其中,表示期望x从Pdata(x)分布中获取;x表示输入到判别器的AD脑区-基因网络;Pdata(x)表示AD脑区-基因网络的分布;表示期望z从Pz(z)分布中获取;z表示输入到生成器的LMCI脑区-基因网络;Pz(z)表示LMCI脑区-基因网络的分布;G(z)表示生成器生成的脑区-基因网络。
判别器和生成器组成一个有机整体,通过损失函数互相优化。一开始,判别器还不足以对生成器生成的脑区-基因网络进行判别,因此需要固定生成器,对判别器进行优化,使判别器能够准确地区分生成器生成的脑区-基因网络和真实的脑区-基因网络。
在使生成器G保持不变,优化判别器D时,Loss表达形式如公式二所示:
判别器D的训练目标是正确区分真和假,以1、0分别代表真、假。公式中的D(x)表示对AD脑区-基因网络进行判别,优化过程希望它的判别结果越接近于1越好;D(G(z))表示对生成的脑区-基因网络进行判别,优化过程希望它的判别结果越接近于0越好。因此优化的目标是D(x)=1,D(G(z))=0。如图4所示,log(*)为增函数,当D(x)趋近于1,log D(x)越来越大;当D(G(z)))趋近于0,1-D(G(z))趋近于1,log(1-D(G(z)))越来越大,公式(25)中两个求和部分越来越大,因此V(D,G)越来越大。
具体地,上述子步骤S202中提到的固定所述判别器的参数后,根据所述样本对所述生成器进行训练的具体方法流程,如图5所示,包括如下步骤:
步骤S501:在固定所述判别器的参数后,将样本中的LMCI患者的脑区-基因网络输入到所述生成器中,由所述生成器根据输入的脑区-基因网络生成变化的脑区-基因网络;
步骤S502:将所述生成器生成的脑区-基因网络输入到所述判别器;
步骤S503:根据所述判别器输出的判别结果对所述生成器的参数进行调整。
本步骤中,根据判别器的判别结果对所述生成器的参数进行调整,使生成器生成尽可能真实的脑区-基因网络来欺骗判别器。
在固定判别器D,训练生成器G时,Loss表达形式如公式三所示:
其中,D(G(z))表示对生成器生成的脑区-基因网络进行判别,希望生成器生成的脑区-基因网络能够骗过判别器,也就是让判别器对生成器生成的脑区-基因网络判别为真,因此D(G(z))的值越接近于1越好,此时训练的目标是D(G(z))=1。如图4所示,当D(G(z))接近1,1-D(G(z))接近0,log(1-D(G(z)))越来越小,因此V(D,G)越来越小。
通过反复迭代上述图3、图5所示的流程过程,判别器的判别能力和生成器的生成能力不断提高,直至生成对抗网络收敛。
作为一种较优的实施方式,如图6a所示,判别器中具体包含图卷积层和全连接层,其中图卷积层用来捕获节点的低维表示,全连接层用来提取节点的高级特征,并输出二分类结果。图6a中展示的是判别器的内部结构,首先,输入生成的脑区-基因网络或真实的脑区-基因网络;其次,通过两个图卷积层(GCN1和GCN2)捕获脑区-基因网络中节点的拓扑结构信息;最后,经过全连接层输出对脑区-基因网络的真假判别结果,区分此脑区-基因网络是生成的还是真实的。
图卷积层的目的是使脑区-基因网络中的每个节点能够聚集其邻居节点的特征信息,由一阶图卷积层和二阶图卷积层构成。一阶图卷积的目的是使脑区-基因网络中的每个节点能够聚集其一阶邻居节点的特征信息,从而得到更新后的特征信息矩阵H(1),公式如下:H(1)=ReLU(AHW(0));
其中,H是节点的特征信息矩阵,当节点为脑区时,节点的特征信息是脑区的时间序列值,当节点为基因时,节点的特征信息是基因的编码序列值;A是邻接矩阵;表示一阶图卷积的系数矩阵,包含个可学习的参数;ReLU(·)是激活函数。其中,W(0)是用于特征矩阵的降维,为初始状态时脑区-基因网络中每个节点的特征维数,为经过一阶降维后每个节点的特征维数。
二阶图卷积的目的是使脑区-基因网络中的每个节点能够聚集其二阶邻居节点的特征信息,从而得到更新后的特征信息矩阵H(2),公式如下:H(2)=softmax(AH(1)W(1));
其中,H(1)是经过一阶图卷积层后聚集了一阶邻居节点信息的节点的特征信息矩阵;表示二阶图卷积的系数矩阵,包含个可学习的参数。系数矩阵W(1)也是用于特征矩阵的降维,其中γ1为经过二阶降维后脑区-基因网络中的每个节点的特征维数。
全连接层的目的是实现脑区-基因网络节点的特征提取,并输出二分类结果,即输出脑区-基因网络为真或者为假,如图6b所示。通过两个图卷积层后,得到一个二维特征矩阵H(2),需要将其展开变为一维,公式如下:X=flatten(H(2));
其中,X表示将二维特征矩阵H(2)展平后的一维向量;flatten(·)为矩阵的展平函数。将展平得到的一维向量X放入完全连接层,从而提取更高级的特征,最后结果为一个2×1的特征向量,分别表示结果为真或者为假的概率,多个完全连接层的迭代公式表示如下:Xl+1=sigmod(al*Xl+bl);其中,Xl和Xl+1分别表示第l层和第l+1层完全连接层的一维向量;al表示第l层完全连接层到第l+1层完全连接层的权重矩阵;bl表示第l层完全连接层到第l+1层完全连接层的偏置;sigmod(·)表示激活函数。
上述生成器中的神经网络具体可以是卷积神经网络(Convolutional NeuralNetworks,CNN),或者深度神经网络(Deep Neural Networks,DNN),或者图卷积神经网络GCN,或者空间图卷积神经网络SGCN,或者时间图卷积神经网络TGCN,或者空间和时间图卷积神经网络STGCN,或者其它神经网络。
对于神经网络为CNN的生成对抗网络,具体为CNN生成对抗网络,或简称为CNN-GAN;
对于神经网络为DNN的生成对抗网络,具体为DNN生成对抗网络,或简称为DNN-GAN;
对于神经网络为GCN的生成对抗网络,具体为GCN生成对抗网络,或简称为GCN-GAN;
对于神经网络为SGCN的生成对抗网络,具体为SGCN生成对抗网络,或简称为SGC-GAN;
对于神经网络为TGCN的生成对抗网络,具体为TGCN生成对抗网络,或简称为TGC-GAN;
对于神经网络为STGCN的生成对抗网络,具体为STGCN生成对抗网络或简称为STGC-GAN。
其中,STGCN生成对抗网络即STGC-GAN为一种较优的实施方式。下面以STGC-GAN为例,结合附图详细说明本发明实施例的技术方案。
图7a示出了STGC-GAN中的内部结构包括:生成器701和判别器702;生成器701中的神经网络具体包括多个串联的卷积模块;以及所述卷积模块中包括空间图卷积层(S-GCN)和时间图卷积层(T-GCN),即卷积模块中包括一对串联的空间图卷积层和时间图卷积层。
对于SGC-GAN,其生成器中的神经网络具体包括多个串联的空间图卷积层(S-GCN);对于TGC-GAN,其生成器中的神经网络具体包括多个串联的时间图卷积层(T-GCN)。
神经网络中的空间图卷积层和时间图卷积层可以分别从空间维度和时间维度捕获LMCI的脑区-基因网络到AD的脑区-基因网络的演化模式。最后,基于LMCI患者的fMRI数据和基因数据,利用STGC-GAN中训练后的生成器能够对患者患AD的概率进行风险预测。
在疾病的恶化过程中,脑区-基因网络发生了复杂的变化,从空间角度看,节点特征信息的传播导致网络拓扑结构的变化,从时间角度看,节点熵信息的传播导致网络不确定性的变化。为了捕捉脑区-基因网络复杂的时空变化,本发明实施例提供的STGC-GAN,从空间维度和时间维度对脑区-基因网络从LMCI到AD的演化过程进行建模。
STGC-GAN中的生成器的设计思想是:一方面,在空间维度上,对于每个节点,通过向其邻域节点传播特征信息,使得它们的特征信息得到更新。节点特征信息的改变会导致边权重的改变,从而让整个脑区-基因网络的拓扑结构出现改变。而疾病从LMCI演化到AD,不仅仅是网络拓扑结构的变化,随着时间的推移,脑区的病变程度和基因的突变程度不断加深,导致整个大脑内部功能变得紊乱。为了描述脑区-基因网络整个系统上不确定性的变化,本发明引入节点的熵信息,从时间维度来考虑节点的熵信息随着时间变化的传播情况。综合空间维度和时间维度两方面的考察,生成器中的神经网络可以捕捉宏观和微观发病因素的关联机制与动态变化过程,从而发现疾病演化的规律,掌握疾病从微观到宏观的发病机理,用以作为训练得到的信息传播模型。
如图7b所示,将LMCI脑区-基因网络作为起点,在信息传播模型中进行m次信息传播,得到AD脑区-基因网络。信息传播模型在脑区-基因网络的演化过程中能够捕捉到疾病的演化模式,下面以第l+1次信息传播为例,从空间和时间两个维度建模,描述从第l次信息传播后的脑区-基因网络到第l+1次信息传播后的脑区-基因网络的演化过程。
空间维度上基于节点特征信息传播的建模:在脑区-基因网络中,脑区或基因(节点)通常是两个或多个共同协作来完成任务,这就涉及到单个节点如何和其拓扑结构上的邻居节点共同协作的问题。由于脑区-基因网络特有的图结构,每个节点都有着独一无二的拓扑结构,对于每个节点,都会通过向其邻域节点传播特征信息,使它们的特征信息得到更新,节点特征信息的改变会导致边权重的改变,从而使整个脑区-基因网络的拓扑结构出现改变。因此,空间维度建模的主要目的就是建立一种模型来捕获脑区-基因网络中节点向其邻居节点传播特征信息使网络拓扑结构发生变化的过程。针对脑区-基因网络在空间维度建立数学模型的要素包括如下:
网络集合:G={Gi|i=1,2,...,g},Gi表示LMCI脑区-基因网络集合中第i个脑区-基因网络。第i个脑区-基因网络Gi是基于第i个LMCI患者的脑影像数据和基因数据构建的。其中,g表示集合G中脑区-基因网络的总数。
节点的特征信息:表示脑区-基因网络初始状态时第i个节点的特征信息,表示脑区-基因网络第l次信息传播后第i个节点的特征信息。当节点为脑区时,节点的特征信息是脑区的时间序列值,当节点为基因时,节点的特征信息是基因的编码序列值。
节点特征信息传播的比例:用α表示,代表一次传播过程中节点向外传播的特征信息占自身特征信息的比例。
边的权重:表示脑区-基因网络初始状态时第i个节点与第j个节点之间边的权重,表示脑区-基因网络第l次信息传播后第i个节点与第j个节点之间边的权重,权重越大表明节点i和节点j之间的邻近程度越紧密。通过计算第i个节点与第j个节点的PC(皮尔逊)系数得到Wij,并以PC系数判断节点间的邻近程度。其中,N表示脑区-基因网络中节点的总数,m表示信息传播次数的总数。
根据以上模型要素,在第l+1次信息传播中,脑区-基因网络的每个节点向其邻域节点传播特征信息,空间维度上一次特征信息的传播分为三个步骤:(1)基于空间维度的信息传播更新节点的特征信息;(2)基于节点特征信息的变化更新边的权重;(3)基于节点特征信息和边的权重更新网络的拓扑结构。
第一步:基于空间维度的信息传播更新节点的特征信息。脑区-基因网络中每个节点都会传播特征信息给相邻节点,进而更新相邻节点的特征信息,这个过程就是空间维度上节点间信息的传播。在这个过程中,节点j可以接收其他节点对其传播的特征信息。在第l+1次信息传播后,得到节点j更新后的特征信息的计算方式如公式四所示:
第二步:基于节点特征信息的变化更新边的权重。节点特征信息的变化会影响节点之间的关联程度,因此代表节点之间关联程度的边权重也会发生改变,利用PC方法计算更新后的边权重,见公式五所示:
第三步:基于新的节点特征信息和边权重更新脑区-基因网络。由于节点和边都发生了变化,脑区-基因网络也随之更新,更新公式如公式六所示:
Gl+1(Hl+1,Wl+1) (公式六)
公式六表示第l+1次信息传播后根据新的特征信息Hl+1和边权重Wl+1得到的脑区-基因网络Gl+1。
时间维度上基于节点熵信息传播的建模:疾病从LMCI到AD的演化过程中,风险基因突变导致部分脑区病变,这种病变会随着时间的推移逐渐向其它脑区传播,导致大脑的功能逐渐紊乱,从而疾病不断恶化。在脑区-基因网络中,本文用熵信息定义脑区或基因(节点)的紊乱程度,熵值越大说明紊乱程度越高。通过描述节点的熵信息随时间变化在脑区-基因网络中的传播模式,发现疾病演化的规律。针对脑区-基因网络在时间维度建立数学模型的要素如下:
节点的度:K={Ki|i=1,2,...,N},Ki表示第i个节点的度,即第i个节点的边的个数。
节点传播熵信息的比例:用β表示,代表一次传播过程中节点向外传播的熵信息占自身熵信息的比例。
根据以上模型要素,在第l+1次信息传播中,脑区-基因网络中的每个节点向其邻居节点传播自身的熵信息。网络中的节点为脑区或者基因,节点的熵信息表示的是脑区功能或者基因突变的不确定程度。当两个节点都为脑区时,两个脑区之间有很多神经元,神经元可以存储和传导熵信息;当两个节点都为基因时,基因之间通常组成基因网络调控脑区的病变,某个基因的变异可以通过微观介质传导熵信息给其他基因,影响其它基因突变的不确定性;当两个节点为脑区和基因时,突变基因通过转录和翻译成蛋白质的过程传递熵信息,进而影响脑区的病变。综上所述在脑区-基因网络中节点传播熵信息的三种情况,可以将时间维度上一次熵信息的传播分为两个步骤:(1)将节点的熵信息传播到与节点相连的边上;(2)将边存储的熵信息传播给接收节点。
第一步:将节点的熵信息传播到与节点相连的边上。节点将自身的熵信息向外传播,传播节点的熵信息传播比例以及传播节点和接收节点之间边的权重会影响信息量传播的大小,边的权重越大,表示节点之间的相关性越强,则传播的信息量就越大。则传播节点传播到与接收节点相连边上的信息量可以表示为公式七:
第二步:将边存储的熵信息传播给接收节点。接收节点不会将传播节点传播的熵信息全盘接收,也要考虑自身信息量的大小,自身信息量越大,可以接收的信息量也就越大,则接收节点最后接收其所有邻居节点传播的熵信息后,加上自身原有的信息量得到第l+1次信息传播后的信息量可以表示为公式八:
综上所述,将空间维度建模的公式四、五、六和时间维度建模的公式七、八联立,用以下方程组来表示脑区-基因网络的信息传播模型:
公式四表示脑区-基因网络中的节点通过空间维度的信息传播更新其特征信息,公式五表示脑区-基因网络中节点之间边的权重随着连接节点特征信息的变化而更新,公式六表示脑区-基因网络中节点特征信息和边的权重变化导致脑区-基因网络的拓扑结构也相应变化,公式七表示脑区-基因网络中的节点通过时间维度的信息传播将熵信息传播到相邻边上,公式八表示将边存储的熵信息传播给接收节点。
综上所述,根据公式四~公式八构建的信息传播模型,从LMCI脑区-基因网络开始,进行多次空间上特征信息和时间上熵信息的传播,一直更新网络的拓扑结构和节点的熵信息,通过生成对抗网络的迭代直至收敛,最终演化为AD脑区-基因网络。在迭代过程中,信息传播模型可以提取疾病从LMCI到AD的演化模式,掌握疾病从宏观到微观的发病机理。
基于上述的分析,本发明实施例提供的STGC-GAN中的生成器701中设计了多层空间图卷积层和时间图卷积层,用以对输入生成器701的LMCI患者的脑区-基因网络进行卷积操作,从而可以提取脑区-基因网络在空间上的拓扑变化和时间上的熵信息变化,生成变化后的脑区-基因网络。判别器702将生成器701生成的脑区-基因网络和真实的AD脑区-基因网络进行比较,根据判别器702的比较结果对生成器的参数进行不断的调整和优化,直到生成器701生成的脑区-基因网络和真实的AD脑区-基因网络相差最小。此时,设计的STGC-GAN捕捉到了从LMCI到AD的演化模式。最后,基于LMCI患者的影像数据和基因数据,STGC-GAN中的生成器作为训练得到的信息传播模型,能够对患者未来患AD的概率进行风险预测。
具体地,在STGC-GAN中,上述步骤S301或步骤S501中提到的,所述生成器根据输入的脑区-基因网络生成变化的脑区-基因网络的过程中,输入的脑区-基因网络经过多个空间图卷积层的卷积操作,进行多次空间上特征信息的传播,提取到脑区-基因网络在空间上的拓扑变化,即得到空间维度的网络拓扑变化的脑区-基因网络;且输入的脑区-基因网络经过多个时间图卷积层的卷积操作,进行多次时间上熵信息的传播,提取到所述脑区-基因网络在时间维度上的节点熵信息变化,即得到时间维度的节点熵信息变化的脑区-基因网络。如此,生成器可以输出生成的空间维度的网络拓扑变化和时间维度的节点熵信息变化的脑区-基因网络。
如图8所示,描述了一次空间图卷积过程中,脑区-基因网络从LMCI到AD的演化过程中拓扑结构的变化。
图8中展示的是第l+1次空间图卷积,即生成器701中第l+1个卷积模块中的空间图卷积层的卷积操作过程。
其中,第l+1个空间图卷积层具体用于对于输入其的脑区-基因网络,将该脑区-基因网络的节点特征信息矩阵Hl与节点特征信息传播比例矩阵PFeat相乘得到节点特征信息传播矩阵,然后将权重矩阵Wl与空间参数矩阵和所述特征信息传播矩阵进行卷积操作,并与特征信息矩阵Hl相加得到更新的脑区-基因网络的特征信息矩阵Hl+1,即经过第l+1次节点特征信息传播后的脑区-基因网络的特征信息矩阵Hl+1;最后利用特征信息矩阵Hl+1更新权重矩阵得到Wl+1。经过空间图卷积后节点特征信息矩阵和权重矩阵都得到了更新,从而使脑区-基因网络的拓扑结构出现改变。
根据输入到生成器中的脑区-基因网络构建的节点特征信息矩阵为H;在脑区-基因网络中,脑区节点的特征信息由其时间序列的值表示,基因节点的特征信息由其编码序列的值表示,由此构造的输入到生成器中的脑区-基因网络的节点特征信息矩阵表达式如公式九所示:
进而构建权重矩阵W∈RN×N,Wij表示第i,j个节点间边的权重,用皮尔逊相关系数计算得到,定义Peari,j为第i,j个节点间的皮尔逊相关系数,则初始权重矩阵W可表示为公式十:
其中,Hl和Hl+1分别表示第l次和第l+1次信息传播后脑区-基因网络的节点特征信息矩阵,Wl表示第l次信息传播后脑区-基因网络的权重矩阵,表示第l次信息传播空间维度上的可学习的空间参数矩阵,ReLU(·)是空间卷积层的激活函数。
其次,基于节点特征信息的变化更新边的权重Wl+1,Wl+1中每个元素的更新公式如公式十三所示:
最后,基于新的节点特征信息和边权重更新脑区-基因网络,更新公式十四如下:
Gl+1(Hl+1,Wl+1) (公式十四)
公式十四表示在第l+1次信息传播后,根据新的特征信息Hl+1和边权重Wl+1得到的网络拓扑变化的脑区-基因网络Gl+1。
也就是说,第l+1个空间图卷积层根据上述的公式十二进行卷积操作、根据上述公式十三、十四进行脑区-基因网络的网络拓扑更新,得到第l+1次空间上特征信息的传播后的、网络拓扑变化的脑区-基因网络Gl+1。
基于上述的分析,第l+1个空间图卷积层在进行卷积操作时,是对大小为的脑区-基因网络的节点特征信息矩阵Hl进行卷积操作,以大小为|N|×|N|的脑区-基因网络的权重矩阵Wl作为“卷积核”,卷积结果为大小为的节点特征信息矩阵Hl+1。
以一个具有7个节点的脑区-基因网络为例展示空间图卷积操作。如图9所示,图9中的(a)图的V1为将要进行空间图卷积操作的中心节点,V2、V3、V4、V7为该中心节点的一阶邻接节点,这4个节点都会向中心节点V1传播特征信息。图9中的(b)-(g)图是对节点V1的空间图卷积操作。图9中的(b)图显示脑区-基因网络的权重矩阵Wl∈R7×7,第一行的数值表示节点V1和节点V1-V7之间的联系程度,值越大表示联系越紧密,将其作为权重一一对应赋予给图9中的(c)图节点特征信息传播矩阵PFeat*Hl∈R7×6的每1列,再进行加权求和得到节点V1相应的值,完成对节点V1的空间图卷积操作。以此类推,对每个节点进行相同的操作,得到矩阵Wl*PFeat*Hl∈R7×6,将其与可学习的空间参数矩阵进行卷积操作即得到图9中的(d)图的矩阵图9中的(e)图为脑区-基因网络的特征信息矩阵Hl∈R7×6,将图9中的(d)图矩阵的每个值与特征信息矩阵Hl中对应的值相加得到卷积后的特征信息矩阵Hl+1∈R7×6,如图9中的(f)图所示。根据得到的特征信息矩阵Hl+1更新权重矩阵Wl得到Wl+1,如图9中的(g)图所示。
在疾病的演化过程中,脑区-基因网络的节点会向外传播自身的特征信息,使每个节点的特征信息得到更新。节点特征信息的改变会导致边权重的改变,从而使整个脑区-基因网络的拓扑结构出现改变。本发明设计的空间图卷积能够捕捉从LMCI到AD的演化过程中脑区-基因网络拓扑结构的变化。如图10所示,图10中的(a)图表示第l次信息传播后的脑区-基因网络,图10中的(b)图表示第l+1次信息传播后的脑区-基因网络。以左图中节点V1为例,虚线框中的黄色区域为节点V1的一阶邻域,经过空间图卷积,该节点向其所有的一阶邻居节点传播自身的特征信息,节点特征信息改变导致边权重改变,进而导致网络的拓扑结构出现改变。这种变化在疾病的症状中表现为AD患者的部分脑区出现萎缩,功能连接出现异常,功能连接网络和结构连接网络出现紊乱,进而引起器质性的病变,导致记忆力逐渐受损,注意力、执行能力、语言能力等其它认知能力也出现损伤。空间图卷积的最大意义是从网络拓扑结构变化的角度解释了AD作为一种中枢神经退行性疾病的发病机制。
如图11所示,描述了一次时间图卷积过程中,脑区-基因网络从LMCI到AD的演化过程中节点熵信息的变化。
图11中展示的是第l+1次时间图卷积,即生成器701中第l+1个卷积模块中的时间图卷积层的卷积操作过程。
其中,第l+1个时间图卷积层具体用于对于输入其的脑区-基因网络,将该脑区-基因网络的节点熵信息矩阵通过“点-边”熵信息传播卷积,得到边熵信息矩阵进而通过“边-点”熵信息传播卷积将相邻边存储的熵信息专播给相应的邻居节点,得到传播增量矩阵再和自身熵信息相加得到更新后的节点熵信息矩阵
进而构建脑区-基因网络的权重矩阵W∈RN×N,Wij表示第i,j个节点间边的权重,用皮尔逊相关系数计算得到,定义Peari,j为第i,j个节点间的皮尔逊相关系数,则初始权重矩阵可表示为公式十六:
其中,⊙表示哈达玛积,运算原理是对应位置上的元素一一做乘积运算。
基于上述的分析,第l+1个时间图卷积层的具体卷积操作包含“点-边”熵信息传播卷积和“边-点”熵信息传播卷积:
其中,“点-边”熵信息传播卷积计算如公式十八所示;即在进行“点-边”熵信息传播卷积操作时,是对大小为|N|×|N|的脑区-基因网络的节点熵信息矩阵进行卷积操作,以大小为|N|×|N|的脑区-基因网络的权重矩阵Wl作为“卷积核”,卷积结果为大小为|N|×|N|的边熵信息矩阵
其中,PEntr表示节点熵信息的传播比例矩阵,代表一次信息传播过程中节点向外传播的熵信息占自身熵信息的比例,表示第l次信息传播后的节点熵信息矩阵,代表每个节点的熵信息。计算在第l+1次信息传播中每个节点传播到相邻边的边熵信息矩阵边的权重越大,表明边连接的两个节点联系越紧密,则传播节点经过该条边能够传播的熵信息就越多,计算公式二十一如下:
以一个具有7个节点的脑区-基因网络为例展示“点-边”熵信息传播卷积操作。如图12所示,图12中的(a)图中的V1为将要进行“点-边”熵信息传播卷积操作的中心节点,V2、V3、V4、V7为该中心节点的一阶邻接节点,这4个节点都会传播熵信息到与中心节点V1相连的边上。图12中的(b)-(f)图是对节点V1的“点-边”熵信息传播卷积操作。图12中的(b)图的脑区-基因网络节点熵信息的传播比例矩阵PEntr∈R7×7,将其与图12中的(c)图的熵信息矩阵相乘得到每个传播节点向外传播的熵信息矩阵如图12中的(d)图所示。图12中的(e)图为脑区-基因网络的权重矩阵Wl∈R7×7,第一列的数值表示节点V1和节点V1-V7之间的联系程度,值越大表示联系越紧密,将其作为权重一一对应赋予给图12中的(d)图熵信息矩阵的每行,再进行加权求和得到节点V1相应的值,完成对节点V1的“点-边”熵信息传播卷积操作。以此类推,对每个节点进行“点-边”熵信息传播卷积操作,得到矩阵将其与可学习的时间参数矩阵进行卷积操作即得到图12中的(f)图的边熵信息矩阵
“边-点”熵信息传播卷积计算如下述公式二十二所示;即在进行“边-点”熵信息传播卷积操作时,是对大小为|N|×|N|的边熵信息矩阵进行卷积操作,以大小为|N|×|N|的节点熵信息矩阵作为“卷积核”,卷积结果为大小为|N|×|N|的传播增量矩阵表示在第l+1次信息传播中每个节点接收的熵信息,接收节点的熵值越大,能够接收到的熵信息就越多,计算公式二十二如下:
其中,F∈RN×N表示值都是1的矩阵,是上一步“点-边”熵信息传播卷积后得到的边熵信息矩阵;表示第l次信息传播后的节点熵信息矩阵;⊙表示哈达玛积;I∈RN×N表示单位矩阵,对角线上元素都为1。计算第l+1次信息传播后更新的节点熵信息矩阵计算公式二十三如下:
以一个具有7个节点的脑区-基因网络为例展示“边-点”熵信息传播卷积操作。如图13所示,图13中的(a)图中的V1为将要进行“边-点”熵信息传播卷积操作的中心节点,V2、V3、V4、V7为该中心节点的一阶邻接节点,这4个节点存储在与中心节点V1相连边上的熵信息都会传播到V1上。图13中的(b)-(f)图显示的是对节点V1的“边-点”熵信息传播卷积操作。图13中的(b)图显示的是脑区-基因网络的边熵信息矩阵将其与图13中的(c)图中的节点熵信息矩阵进行卷积操作得到图13中的(d)图的矩阵将图13中的(d)图的矩阵左乘全1矩阵F,再与单位矩阵I进行哈达玛积操作,得到传播增量矩阵如图13中的(e)图所示。将得到的传播增量矩阵与原熵信息矩阵相加得到更新的节点熵信息矩阵
在疾病的演化过程中,脑区的病变程度和基因的突变程度不断加深,导致整个大脑内部功能变得紊乱。为了描述脑区-基因网络整个系统上不确定性的变化,本章引入节点的熵信息,从时间维度考虑节点的熵信息随着时间变化的传播情况。如图14所示,图14中的(a)图表示第l次信息传播后的脑区-基因网络,图14中的(b)图表示第l+1次信息传播后的脑区-基因网络。
以图14中的(a)图的节点V1为例,虚线框中的粉色区域为节点V1的一阶邻域,经过时间图卷积,该节点向其所有的一阶邻居节点传播自身的熵信息,导致脑区-基因网络整个系统的不确定性变化。这种变化表现为AD患者的疾病症状逐渐加深,一开始是部分脑区的功能出现紊乱,也就是熵值变大,患者的言行和认知的不确定性增大,这种损伤会随着熵值的扩散逐步影响整个大脑,其它脑区的熵值也逐渐变大,整个大脑系统越来越混乱。大脑系统混乱的临床症状表现为:记忆力由初期的轻度受损变为严重受损,患者出现视空间障碍,外出后找不到回家的路,不能够精确地临摹立体图等等,各种症状都表示疾病不断恶化。时间图卷积的最大意义是从脑区熵值信息传播的角度解释了AD患者脑功能逐渐衰退的发病机制。
基于预先训练得到的信息传播模型,本发明实施例提供的一种阿尔茨海默症的预测方法,具体流程如图15所示,包括如下步骤:
步骤S1501:根据待预测的LMCI患者的脑影像数据和基因数据,构建该LMCI患者的脑区-基因网络。
步骤S1502:将该脑区-基因网络输入到通过上述方法预先训练得到的信息传播模型中。
步骤S1503:将所述信息传播模型输出的脑区-基因网络与AD患者的脑区-基因网络进行相似度计算;根据计算的相似度,预测该LMCI患者未来患AD的风险概率。
具体地,对于基于上述STGC-GAN训练的信息传播模型,在将该信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行相似度计算时,从时空两个维度综合考虑进行相似度计算、风险预测:
从空间维度看,LMCI脑区-基因网络的拓扑结构改变了,将变化的脑区-基因网络和真实的AD脑区-基因网络进行拓扑结构的对比,判断该LMCI患者未来患AD的概率;其次,从时间维度看,LMCI脑区-基因网络整个系统的不确定性发生了变化,体现在节点熵信息的变化,将变化的脑区-基因网络和真实的AD脑区-基因网络进行节点熵信息的对比,判断该LMCI患者未来患AD的概率。综合空间维度和时间维度两个方面的疾病风险预测,最后计算得到LMCI患者未来患AD的概率。
也就是说,在空间维度上将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行网络拓扑结构的相似度计算:
利用邻接矩阵A计算生成器生成的脑区-基因网络和AD脑区-基因网络之间的相似度PS,邻接矩阵A中每个元素的定义如公式二十四所示:
通过比较生成器生成的脑区-基因网络MG和真实的AD脑区-基因网络MAD中对应每个节点的邻接情况,得到每个节点之间的相似度,计算公式如公式二十五所示:
其中,表示两个网络MG和MAD中的节点i之间的相似度,Fi(MG,MAD)表示两个网络邻接矩阵的第i行在对应位置上值相等的个数,N表示节点总数。再对所有节点相似度求平均,得到两个脑区-基因网络之间的相似度,如公式二十六所示:
如图16所示,以一个具有7个节点的脑区-基因网络为例展示两个脑区-基因网络之间的相似度的计算过程。图16中的(a)、(b)分别表示生成的脑区-基因网络和AD的脑区-基因网络,图16中的(c)、(d)分别表示这两个网络对应的邻接矩阵。计算图16中的(c)与(d)的第二个节点的相似度,即比较图16中的(c)第二行的序列1110101和图16中的(d)第一行的序列1100101在对应位置相同元素的个数占总体个数的比例,求得结果为6/7。以此类推,求出其他6个节点相似度分别为1、1、6/7、1、6/7和5/7。将求得的7个节点相似度取平均,得到最终两个网络的相似度为0.90,表示生成的脑区-基因网络与AD的脑区-基因网络的相似度为0.90。
在时间维度上将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行节点熵信息的相似度计算:
通过计算生成的脑区-基因网络MG和AD脑区-基因网络MAD的熵值相似的节点个数占节点总个数的比例PT,得到两个脑区-基因网络的相似度,如公式二十七所示:
其中,F(MG,MAD)表示两个脑区-基因网络中熵值相似的节点个数,N表示节点总数。
如图17所示,以一个具有7个节点的脑区-基因网络为例展示两个脑区-基因网络之间的相似度的计算过程。图17中的(a)、(b)分别表示生成的脑区-基因网络和AD的脑区-基因网络,图17中的(c)、(d)分别表示这两个网络对应的节点熵信息矩阵。假设阈值为0.15,计算图17中的(c)与(d)中对应节点的熵值差小于阈值的节点个数,即熵值相似的节点个数,一共是6个:V1、V2、V3、V4、V6和V7。求熵值相似的节点个数占节点总数的比例,即得到两个网络的相似度为6/7=0.86,表示生成的脑区-基因网络与AD脑区-基因网络的相似度为0.86。
最后,根据所述网络拓扑结构的相似度计算结果,以及节点熵信息的相似度计算结果,确定所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络之间的最终相似度计算结果。
亦即,综合空间和时间维度预测LMCI患者未来患AD的风险概率:从LMCI脑区-基因网络演变为AD脑区-基因网络的过程中,不仅网络拓扑结构改变了,节点熵信息也改变了,因此需要综合空间维度和时间维度进行疾病风险预测,如公式二十八所示:
P=(PS+PT)/2 (公式二十八)
其中,P为LMCI患者未来患AD的概率,PS和PT分别为从空间和时间维度考虑的LMCI患者未来患AD的概率。
基于上述的阿尔茨海默症的预测方法,本发明实施例提供的一种阿尔茨海默症的预测装置,内部结构如图18所示,包括:网络构建模块1801、信息传播模型1802、风险预测模块1803;
其中,网络构建模块1801用于根据待预测的LMCI患者的脑影像数据和基因数据,构建该LMCI患者的脑区-基因网络;
信息传播模型1802用于根据该LMCI患者的脑区-基因网络,输出变化后的脑区-基因网络;
风险预测模块1803用于将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行相似度计算;根据计算的相似度,预测该LMCI患者未来患AD的风险概率;
其中,所述信息传播模型1802是预先以多个LMCI患者的脑区-基因网络和AD患者的脑区-基因网络作为样本,经过生成对抗网络进行训练得到的。
上述各模块实现其功能的具体方法可参考上述图15所示流程步骤中的方法,此处不再赘述。
进一步,本发明实施例提供的一种阿尔茨海默症的预测装置还可包括:模型训练模块1804。
模型训练模块1804用于根据所述样本对所述生成器和判别器进行多次迭代的优化和训练;其中,在一次迭代过程中,包括:固定所述生成器的参数后,对所述判别器进行优化;固定所述判别器的参数后,对所述生成器进行训练;以及在对所述生成器和判别器进行多次迭代的优化和训练后,将所述生成对抗网络中的生成器作为训练得到的信息传播模型。信息传播模型的具体训练方法可参考上述图1所示流程步骤中的方法,此处不再赘述。
图19示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的阿尔茨海默症的预测方法。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,可以与非线性接收机相连,从非线性接收机接收信息,实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
为了验证基于生成对抗网络训练得到的信息传播模型对阿尔茨海默症的预测性能,此处对基于CNN-GAN、DNN-GAN、GCN-GAN、SGC-GAN、TGC-GAN、STGC-GAN训练得到的信息传播模型,对阿尔茨海默症的预测结果在ACC、SEN、SPE和BAC四个指标上的结果,如下表1所示:
表1
图20展示了CNN-GAN、DNN-GAN、GCN-GAN、SGC-GAN、TGC-GAN、STGC-GAN方法的ROC曲线(receiver operating characteristic curve,受试者工作特征曲线)。从图和表中可以观察到基于STGC-GAN训练得到的信息传播模型在预测方面最有优越性,证明所提出的方法可以通过空间和时间两个维度捕捉疾病的演化模式,从而预测疾病风险。同时,STGC-GAN及其两个变体,即SGC-GAN和TGC-GAN,都优于普通的方法。
本发明的技术方案中,根据待预测的LMCI患者的脑影像数据和基因数据,构建该LMCI患者的脑区-基因网络,并将该脑区-基因网络输入信息传播模型;将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行相似度计算;根据计算的相似度,预测该LMCI患者未来患AD的风险概率;其中,所述信息传播模型是预先以多个LMCI患者的脑区-基因网络和AD患者的脑区-基因网络作为样本,经过生成对抗网络进行训练得到的。从而可以实现预测LMCI患者未来患阿尔茨海默症的风险概率。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种阿尔茨海默症的预测方法,其特征在于,包括:
根据待预测的晚期轻度认知障碍LMCI患者的脑影像数据和基因数据,构建该LMCI患者的脑区-基因网络,并将该脑区-基因网络输入信息传播模型;
将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行相似度计算;
根据计算的相似度,预测该LMCI患者未来患AD的风险概率;
其中,所述信息传播模型是预先以多个LMCI患者的脑区-基因网络和AD患者的脑区-基因网络作为样本,经过生成对抗网络进行训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述生成对抗网络包括:生成器和判别器;其中,所述生成器中包括神经网络;以及,
所述信息传播模型的训练方法包括:
根据所述样本对所述生成器和判别器进行多次迭代的优化和训练;其中,在一次迭代过程中,包括:
固定所述生成器的参数后,根据所述样本对所述判别器进行优化;
固定所述判别器的参数后,根据所述样本对所述生成器进行训练;
在对所述生成器和判别器进行多次迭代的优化和训练后,将所述生成对抗网络中的生成器作为训练得到的信息传播模型。
3.根据权利要求2所述的方法,其特征在于,
所述神经网络具体为卷积神经网络;或者
所述神经网络具体为深度神经网络;或者
所述神经网络具体为图卷积神经网络;或者
所述神经网络具体为空间图卷积神经网络;或者
所述神经网络具体为时间图卷积神经网络;或者
所述神经网络具体为空间和时间图卷积神经网络。
4.根据权利要求2所述的方法,其特征在于,所述对所述生成器进行训练,具体包括:
将样本中的LMCI患者的脑区-基因网络输入到所述生成器中,由所述生成器生成变化的脑区-基因网络;
将所述生成器生成的脑区-基因网络输入到所述判别器;
根据所述判别器输出的判别结果对所述生成器的参数进行调整。
5.根据权利要求4所述的方法,其特征在于,所述生成器中的空间和时间图卷积神经网络具体包括多个串联的卷积模块;以及所述卷积模块中包括空间图卷积层和时间图卷积层;以及
所述将样本中的LMCI患者的脑区-基因网络输入到所述生成器中,由所述生成器生成变化的脑区-基因网络,具体包括:
输入到所述生成器中的脑区-基因网络经过多个空间图卷积层的卷积操作,进行多次空间上特征信息的传播后,得到空间维度的网络拓扑变化的脑区-基因网络;以及
输入到所述生成器中的脑区-基因网络经过多个时间图卷积层的卷积操作,进行多次时间上熵信息的传播,得到时间维度的节点熵信息变化的脑区-基因网络;
由所述生成器输出生成的空间维度的网络拓扑变化和时间维度的节点熵信息变化的脑区-基因网络。
6.根据权利要求5所述的方法,其特征在于,所述将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行相似度计算,具体包括:
将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行网络拓扑结构的相似度计算;以及
将所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络进行节点熵信息的相似度计算;
根据所述网络拓扑结构的相似度计算结果,以及节点熵信息的相似度计算结果,确定所述信息传播模型输出的脑区-基因网络与阿尔茨海默症AD患者的脑区-基因网络之间的最终相似度计算结果。
7.根据权利要求2所述的方法,其特征在于,所述对所述判别器进行优化,具体包括:
将样本中的LMCI患者的脑区-基因网络输入到所述生成器中;
将所述生成器生成的脑区-基因网络或样本中的AD患者的脑区-基因网络输入到所述判别器;
根据所述判别器输出的判别结果的正确性,对所述判别器的参数进行优化。
8.一种阿尔茨海默症的预测装置,其特征在于,包括:
网络构建模块,用于根据待预测的LMCI患者的脑影像数据和基因数据,构建该LMCI患者的脑区-基因网络;
信息传播模型,用于根据该LMCI患者的脑区-基因网络,输出变化后的脑区-基因网络;
风险预测模块,用于将所述信息传播模型输出的脑区-基因网络与AD患者的脑区-基因网络进行相似度计算;根据计算的相似度,预测该LMCI患者未来患AD的风险概率;
其中,所述信息传播模型是预先以多个LMCI患者的脑区-基因网络和AD患者的脑区-基因网络作为样本,经过生成对抗网络进行训练得到的。
9.根据权利要求8所述的装置,其特征在于,所述生成对抗网络包括:生成器和判别器;以及
所述装置还包括:
模型训练模块,用于根据所述样本对所述生成器和判别器进行多次迭代的优化和训练;其中,在一次迭代过程中,包括:固定所述生成器的参数后,对所述判别器进行优化;固定所述判别器的参数后,对所述生成器进行训练;以及在对所述生成器和判别器进行多次迭代的优化和训练后,将所述生成对抗网络中的生成器作为训练得到的信息传播模型。
10.一种电子设备,包括中央处理单元、信号处理和存储单元,以及存储在信号处理和存储单元上并可在中央处理单元上运行的计算机程序,其特征在于,所述中央处理单元执行所述程序时实现如权利要求1-7任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210339750.6A CN114664446A (zh) | 2022-04-01 | 2022-04-01 | 一种阿尔茨海默症的预测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210339750.6A CN114664446A (zh) | 2022-04-01 | 2022-04-01 | 一种阿尔茨海默症的预测方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114664446A true CN114664446A (zh) | 2022-06-24 |
Family
ID=82032645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210339750.6A Withdrawn CN114664446A (zh) | 2022-04-01 | 2022-04-01 | 一种阿尔茨海默症的预测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114664446A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117372440A (zh) * | 2023-12-08 | 2024-01-09 | 北京邮电大学 | 阿尔茨海默病风险预警模型训练方法、预警方法及设备 |
CN117457222A (zh) * | 2023-12-22 | 2024-01-26 | 北京邮电大学 | 阿尔茨海默症大脑萎缩模型构建方法、预测方法及装置 |
-
2022
- 2022-04-01 CN CN202210339750.6A patent/CN114664446A/zh not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117372440A (zh) * | 2023-12-08 | 2024-01-09 | 北京邮电大学 | 阿尔茨海默病风险预警模型训练方法、预警方法及设备 |
CN117372440B (zh) * | 2023-12-08 | 2024-03-19 | 北京邮电大学 | 阿尔茨海默病风险预警模型训练方法、预警方法及设备 |
CN117457222A (zh) * | 2023-12-22 | 2024-01-26 | 北京邮电大学 | 阿尔茨海默症大脑萎缩模型构建方法、预测方法及装置 |
CN117457222B (zh) * | 2023-12-22 | 2024-03-19 | 北京邮电大学 | 阿尔茨海默症大脑萎缩模型构建方法、预测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ma et al. | Point-of-interest recommendation: Exploiting self-attentive autoencoders with neighbor-aware influence | |
CN114664446A (zh) | 一种阿尔茨海默症的预测方法和装置 | |
US20200285944A1 (en) | Graph convolutional networks with motif-based attention | |
CN112966114A (zh) | 基于对称图卷积神经网络的文献分类方法和装置 | |
Huang et al. | Disease prediction with edge-variational graph convolutional networks | |
JP7096431B2 (ja) | ビデオ分析方法及びそれに関連するモデル訓練方法、機器、装置 | |
Zeng et al. | Graph convolutional network with sample and feature weights for Alzheimer’s disease diagnosis | |
CN114694832A (zh) | 一种确定阿尔茨海默症的风险要素的电子设备 | |
Huang et al. | Hybrid fuzzy polynomial neural networks with the aid of weighted fuzzy clustering method and fuzzy polynomial neurons | |
Thakare et al. | Classification of bioinformatics EEG data signals to identify depressed brain state using CNN Model | |
Seo et al. | Graph neural networks and implicit neural representation for near-optimal topology prediction over irregular design domains | |
Konukoglu et al. | Approximate false positive rate control in selection frequency for random forest | |
Bordoni et al. | Convolutional neural network based decoders for surface codes | |
CN115691652A (zh) | 一种基于多样本数据的因果关系预测方法 | |
CN113761797A (zh) | 一种基于计算机视觉的无线信道路径损耗模型预测方法 | |
CN115810401A (zh) | 配方建构系统、方法、可读存储介质与计算机程序产品 | |
Shang et al. | Evolutionary architecture search via adaptive parameter control and gene potential contribution | |
CN115101209A (zh) | 一种提取阿尔茨海默症演化过程中的特征的电子设备 | |
Borhen Eddine et al. | Blind image quality assessment method based on a particle swarm optimization support vector regression fusion scheme | |
CN114758772A (zh) | 一种基于结构信息聚集模型的电子设备 | |
WO2020211037A1 (zh) | 加速器的检测方法和验证平台 | |
CN115036017A (zh) | 一种基于基因网络预测脑疾病风险的电子设备 | |
Roy | Multivariate Gaussian RBF‐net for smooth function estimation and variable selection | |
CN115019971A (zh) | 一种基于超图结构信息聚集模型的电子设备 | |
Martinez et al. | Effects of imputation strategy on genetic algorithms and neural networks on a binary classification problem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220624 |
|
WW01 | Invention patent application withdrawn after publication |