CN113658721A - 阿尔兹海默疾病进程预测方法 - Google Patents

阿尔兹海默疾病进程预测方法 Download PDF

Info

Publication number
CN113658721A
CN113658721A CN202110812104.2A CN202110812104A CN113658721A CN 113658721 A CN113658721 A CN 113658721A CN 202110812104 A CN202110812104 A CN 202110812104A CN 113658721 A CN113658721 A CN 113658721A
Authority
CN
China
Prior art keywords
data
matrix
time point
view
predicting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110812104.2A
Other languages
English (en)
Other versions
CN113658721B (zh
Inventor
陈蕾
吴卉
许磊
鲍庆森
杨庚
戴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110812104.2A priority Critical patent/CN113658721B/zh
Publication of CN113658721A publication Critical patent/CN113658721A/zh
Application granted granted Critical
Publication of CN113658721B publication Critical patent/CN113658721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Abstract

本发明公开了一种阿尔兹海默疾病进程预测方法，患者在固定时间间隔内测量得到多视图数据，阿尔兹海默疾病进程预测方法包括对多视图数据进行预处理；使用多视图融合神经网络处理多视图数据，得到各视图共享的隐表示矩阵；在隐表示矩阵中引入最小门控单元，以对缺失的多视图数据进行填充以及预测未来时间点的评分数据；并使用多视图数据对多视图融合神经网络和最小门控单元进行协同训练，以实现对疾病发展进程的预测。本发明通过多视图融合神经网络为每个时间点的多视图数据习得各视图间共享的隐表示矩阵，同时，最小门控单元预测得到的下一个时间点的数据用于填补缺失的数据，利用最小门控单元进行未来任意时间点的评分数据预测。

Description

阿尔兹海默疾病进程预测方法
技术领域
本发明涉及一种阿尔兹海默疾病进程预测方法，属于医学人工智能领域。
背景技术
阿尔兹海默症(Alzheimer’s Disease，AD)是一种不可逆转的、渐进性的神经退化性慢性疾病，它会逐步破坏患者的记忆力和认知能力，并最终导致患者死亡。目前世界范围内有超过5000万的AD患者，据估计，患者的数量将在2050年达到1.14亿AD不仅给患者自身带来了无尽的痛苦和精神压力，也同时给患者家庭和整个社会带来了巨大的经济负担。遗憾的是，AD疾病只能被控制而并不能被完全治愈。它通常会持续很长时间，且发展缓慢。因此，在病人症状前阶段进行早期检测并及时实施干预性治疗以避免病情恶化就显得尤为重要，对AD病情发展的精准预测能够帮助医生和病人选择最合适的治疗策略。
对于AD疾病进程的预测，传统做法大多依赖于利用统计学方法来处理核磁共振成像数据(MRI)，正电子发射断层扫描数据(PET)以及人口统计学数据等医疗数据，例如回归模型，风险预测模型等，这些统计模型提供了不同的方法模拟风险因素和健康状况之间的统计关系。然而，统计模型有着依赖过多假设的缺点，此外，现实世界中的因素更加复杂，机器学习模型能够在迭代训练过程中确定更多的决定性因素。例如，稀疏学习或稳定性选择可以用来解决特征选择的问题。
根据建模方式的不同，关于AD进程预测，主流的机器学习模型可以分为三类：多任务模型、时间序列模型和深度学习模型。其中，多任务模型基于线性回归算法，希望通过优化目标函数来学习出权重
Figure BDA0003168764540000021
以拟合第t个时间点的评分
Figure BDA0003168764540000022
与数据
Figure BDA0003168764540000023
的线性关系，而对于多个时间点的预测问题，多任务模型通过学习出权重矩阵
Figure BDA0003168764540000024
同时预测多个时间点的输出，
Figure BDA0003168764540000025
中的每一列对应一个时间点预测问题；时间序列模型认为疾病的进展是由不同时期的临床表现驱动的，则可以基于事件驱动建模，那么疾病预测就需要使用马尔可夫随机场(Markov Random Field,MRF)，MRF模型是基于AD病理状态的进展状态，所使用的转移概率是基于这两种流行病的病理情况，因此是可靠的，这使得估计的疾病的终身风险更加准确；深度学习技术通过构建多层神经网络，以期望从原始特征中直接提取出深层信息，并将其用于预测疾病发展情况,在AD疾病进展的研究中，最常用的深度学习模型是循环神经网络(Recurrent Neural Networks,RNN),相比于其他模型，RNN在处理时序数据上更具有优势，RNN利用其能够记忆历史信息的特性，可以学习出不同时间点之间的关系依赖。此外，AD数据由于获取困难和成本过高，使得原始数据中经常存在缺失，而RNN可以补充不完整的数据，进一步提高模型的预测性能。
AD患者数据包含MRI、PET、人口统计学数据等不同类型的异构但互补的视图数据，结合使用这些视图数据有利于发现和鉴别患者疾病发展过程中的所有细微变化，并为医生的诊断提供可靠支撑。一些模型仅利用单一视图数据进行预测，然而已有文献表明，相比于使用单一的视图数据，同时利用多个视图的数据往往能提供更准确的预测结果以及更稳定的性能表现，并能够帮助研究者对病情有更加全面深入的了解，这也使得预测结果在医学方面更容易被接受。
尽管现有的方法提供了良好的准确性，但对于多视图数据的不充分利用、多视图数据的部分缺失和完全缺失以及是否有更合适的循环神经网络来进行预测，这些问题仍值得探讨。
发明内容
本发明的目的在于提供一种阿尔兹海默疾病进程预测方法，该方法可以有效地利用多视图数据并解决多视图纵向数据的缺失问题、充分挖掘并利用多视图数据时序之间潜在的关联性息并建立一个灵活的多点预测模型来预测纵向认知评分轨迹，可以灵活地处理不完整的多视图时序数据并用于预测未来任意时间点的评分数据，并将多视图融合神经网络和最小门控单元整合到统一框架下进行协同训练，以帮助网络学得最优的特征表示和模型参数，进而实现对疾病的预测。
为实现上述目的，本发明提供了一种阿尔兹海默疾病进程预测方法，患者在固定时间间隔内测量得到多视图数据，所述阿尔兹海默疾病进程预测方法包括以下步骤：
S1、对所述多视图数据进行预处理；
S2、使用多视图融合神经网络处理多视图数据，得到各视图共享的隐表示矩阵；
S3、在所述隐表示矩阵中引入最小门控单元，以对缺失的多视图数据进行填充以及预测未来时间点的评分数据；
S4、使用多视图数据对所述多视图融合神经网络和最小门控单元进行协同训练，以实现对疾病发展进程的预测。
作为本发明的进一步改进，S1具体为：所述多视图数据包括核磁共振成像、正电子发射断层显像和人口统计学特征，包括以下步骤：
S11：对核磁共振成像进行预处理；
S12：对正电子发射断层显像进行预处理。
作为本发明的进一步改进，S11具体为：对核磁共振成像进行前后连合线校正、强度不均匀性校正、头骨剥离、基于阿特拉斯配准的小脑摘除术以及空间分割，得到基于Jacob模板并具有手动标记感兴趣区ROI的核磁共振成像的标记图像，并使用该标记图像与颅内体积归一化的灰质体积作为核磁共振成像的特征表示。
作为本发明的进一步改进，S12具体为：先使用仿射配准将正电子发射断层显像与相应的核磁共振成像进行对齐，然后利用相应的磁共振脑掩模得到颅骨剥离图像，再通过所述核磁共振成像的标记图像计算正电子发射断层显像中手动标记感兴趣区ROI的平均强度值，得到正电子发射断层显像的特征表示。
作为本发明的进一步改进，S2具体为：基于S1预处理后得到的多视图数据
Figure BDA0003168764540000041
Figure BDA0003168764540000042
通过多视图融合神经网络学习一个各视图间共享的隐表示矩阵
Figure BDA0003168764540000043
所述隐表示矩阵
Figure BDA0003168764540000044
可以描述患者的综合特征，通过各视图间的互补关系来学习所述隐表示矩阵
Figure BDA0003168764540000045
并通过网络映射重建出各视图的数据
Figure BDA0003168764540000046
其中，
Figure BDA0003168764540000047
表示第v种视图的特征表示。
作为本发明的进一步改进，使用重建损失函数对所述多视图数据进行学习得到各个时间点的隐表示矩阵Ht，所述重建损失函数的表达式为：
Figure BDA0003168764540000048
其中，V为所述多视图数据的总个数，T表示各视图数据中已知时间点的个数，隐表示矩阵
Figure BDA0003168764540000049
nt表示在第t个时间点有视图的样本个数，dh表示学习得到的隐表示h的特征维度；fv(·；Θv)是针对第v个视图且以Θv为参数的退化网络，
Figure BDA00031687645400000410
表示在第t个时间点下第v个视图的可用样本数，dv表示第v个视图的特征个数，则
Figure BDA00031687645400000411
表示为第t个时间点的
Figure BDA00031687645400000412
个样本的第v个视图的特征向量集合，每条特征向量包含dv个特征，
Figure BDA00031687645400000413
和
Figure BDA00031687645400000414
分别表示核磁共振成像、正电子发射断层显像和人口统计学特征在第t个时间点的特征矩阵；
Figure BDA00031687645400000415
是一个对角指示矩阵，用于忽略缺失数据的损失，||·||F表示Frobenius范数，表达式为：
Figure BDA00031687645400000416
作为本发明的进一步改进，S3中具体步骤为：所述多视图数据还包括由已知的T个时间点的评分数据构成的评分矩阵
Figure BDA0003168764540000051
所述评分矩阵中第i个样本的评分向量为[yi，1，yi，2，...，yi，T]，所述隐表示矩阵
Figure BDA0003168764540000052
中第i个样本的隐表示为[hi，1,hi,2,...,hi,T]，将第i个样本的第t个时间点的隐表示hi,t与该时间点的评分向量yi，t拼接后作为真实输入数据si,t输入至最小门控单元中，得到当前时间点的隐状态ci,t，其中，
Figure BDA0003168764540000053
dh表示隐表示h的特征个数，dy表示每个时间点需要预测的评分个数，将隐藏状态ci,t通过全连接层的映射得到下一个时间点的预测输入数据
Figure BDA0003168764540000054
并使用拟合函数来缩小预测输入数据
Figure BDA0003168764540000055
和真实输入数据si,t+1之间的差距，时序数据处理部分的拟合函数表示为：
Figure BDA0003168764540000056
其中，
Figure BDA0003168764540000057
表示第t个时间点样本组成的真实输入矩阵，g(·；Ξ)表示以Ξ为参数的包含填充层、最小门控单元以及全连接层在内的拟合网络。
作为本发明的进一步改进，所述填充层具体为：利用上一时间点得到的预测输入数据矩阵来修补当前时间点输入数据矩阵中缺失的部分，且矩阵中未缺失的部分保持不变，以实现对输入数据矩阵中的缺失部分进行填充。
作为本发明的进一步改进，S3中预测未来时间点的评分数据具体为：所述多视图数据还包括未来F个时间点的真实评分数据
Figure BDA0003168764540000058
由第t个时间点的隐表示矩阵和评分矩阵预测得到第t+1个时间点的隐表示矩阵和评分矩阵，并直接将预测得到的第t+1个时间点的隐表示矩阵和评分矩阵输入到最小门控单元中再预测第t+2个时间点的隐表示矩阵和评分矩阵，预测得到的所述评分矩阵包括预测评分数据，并利用拟合函数衡量预测评分数据和真实评分数据之间的误差，未来评分数据预测部分的拟合函数为：
Figure BDA0003168764540000061
其中，g(St-1；Ξ)表示St通过MGU以及全连接层后计算得到的第t+1个时间点的预测输入
Figure BDA0003168764540000062
表示从预测输入
Figure BDA0003168764540000063
中取出
Figure BDA0003168764540000064
的切片操作，|·|表示取矩阵元素绝对值。
作为本发明的进一步改进，S4具体为：使用多视图数据对多视图融合神经网络和最小门控单元进行协同训练，结合S2和S3，通过损失函数训练模型参数，得到预测模型，以实现对疾病进程的预测，所述损失函数表达式为：
Figure BDA0003168764540000065
本发明的有益效果是：
(1)能够有效地利用多视图数据信息并解决多视图数据部分缺失的问题。
利用多视图融合神经网络为每个时间点的多视图数据学得一个各视图间共享的隐表示矩阵，设计了一个多层退化网络，并将多视图共享的隐含特征表示反向映射到原视图特征空间进行保真重建，从而使该隐含特征表示能有效捕获不同视图之间的关联和互补信息，同时，该网络能够自适应地解决样本部分视图数据缺失的情况。
(2)能够充分挖掘并利用多视图数据在时序之间的潜在关联信息。
由于AD属于慢性疾病，病人的数据本质上是具有时序性的，病人某一个时间点的病症数据与前一个时间点的数据并不独立。我们利用基于最小门控单元的深度学习模型挖掘各个时间点之间的依赖关系。
(3)能够建立一个灵活的多点预测模型来预测纵向认知评分轨迹，同时解决了单个时间点视图数据的完全缺失问题。
深度学习技术的引入使得模型能够自行发现并建模数据内部的潜在联系，我们利用最小门控单元进行未来任意多个时间点的评分预测，并使用模型填充的方法，解决多视图数据在某一时间点的全部缺失问题，利用最小门控单元预测下一个时间点的数据用于填补缺失时间点的数据。
附图说明
图1是本发明中阿尔兹海默疾病进程预测方法的问题概述。
图2是本发明中阿尔兹海默疾病进程预测方法的步骤流程图。
图3是本发明中阿尔兹海默疾病进程预测方法的模型框架图。
图4是图3中MGU单元的具体结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
本发明提供了一种阿尔兹海默疾病预测方法，通过对多视图数据的预处理，并结合多视图融合神经网络和最小门控单元，解决了多视图数据部分缺失和完全缺失的问题，并能够预测未来任意时间点的评分数据，进一步实现了对疾病未来发展进程的预测。
请参阅图1所示，本发明的一种阿尔兹海默疾病预测方法集中解决利用不完整的多视图时序数据预测患者未来的纵向评分轨迹问题。患者(即样本)包含多个视图的数据，每个视图数据包含的时序长度不完全统一，且时序不统一的视图数据中存在严重的视图缺失。具体的：假定样本的总数量为N，样本为最大含有T个时间点的多视图数据。
在本实施例中，多视图数据为三个视图的数据，即本实施例中的多视图数据包括核磁共振成像(MRI)、正电子发射断层显像(PET)和人口统计学数据，分别用
Figure BDA0003168764540000071
和
Figure BDA0003168764540000072
表示，其中，
Figure BDA0003168764540000073
和
Figure BDA0003168764540000074
是时序数据，分别包含样本T个时间点的时序特征，每一行代表一个样本，每一列代表一个时间点；
Figure BDA0003168764540000075
和
Figure BDA0003168764540000076
中存在严重的数据缺失，而
Figure BDA0003168764540000077
是非时序数据且数据完整，当然，在其他实施例中，可以对其他数量的视图数据进行研究，只要能够实现对时序长度不完全统一的数据进行处理，此处不作任何限制。
本发明所解决的问题是：预测患者在未来F个时间点的简易精神状态量表(MMSE)、阿尔茨海默病评估量表-认知子量表(ADAS-Cog)和临床痴呆评定量表(CDR)中的CDR-Global、CDR-SOB这四种评分数据，以
Figure BDA0003168764540000081
分别代表已知的T个时间点的评分矩阵和需要预测的未来F个时间点的评分矩阵，其中，
Figure BDA0003168764540000082
mt表示在第t个时间点有评分数据的样本个数，dy表示每个时间点需要预测的评分数据的个数，每条评分向量包含dy个评分，评分矩阵中第i个样本的评分向量为[yi,1,yi,2,...,yi,T]。本实施例中，dy＝4，F＝4，即将预测未来4个时间点的评分，每个时间点包含4种评分数据，且Yt(即所有时间点的评分数据，1≤t≤T+F)中的每一列分别代表MMSE、ADAS-Cog和CDR-Global、CDR-SOB，当然，在其他实施例中，对已知的T个时间点的评分数据的数量不作限制，对需要预测的未来F个时间点的评分数量也不作限制，只要能够实现预测患者未来时间点的评分数据即可，此处对T和F的数量不作任何限制。
本发明提供了一种阿尔兹海默疾病进程预测方法，通过该进程预测方法训得练到预测模型，该预测模型包括输入层、退化网络、最小门控单元(MGU)层、dense层和输出层，其中，输入层将多视图数据导入该预测模型；退化网络将输入的多视图数据进行处理，得到一个能够综合描述患者特征的隐表示矩阵，退化网络包括两层全连接层；最小门控单元(MGU)层利用最小门控单元得到当前时间点的隐藏状态；dense层(一层全连接层)使用当前时间点的隐藏状态得到下一时间点的隐表示和预测评分数据；输出层将预测的评分数据进行输出。
如图2所示，该阿尔兹海默疾病预测方法具体包括：
S1、对多视图数据进行预处理。
患者在固定时间间隔内测量得到多视图数据，具体为：对患者第一次去医院接受检查以及在此之后相隔固定时间通过医院测得多视图数据，本实施例中，患者第一次去医院检查以及在此之后相隔6、12、18、24、36个月测得多视图数据，当然，在其他实施例中，对相隔的时间不作任何限制，其中，多视图数据包括核磁共振成像(MRI)、正电子发射断层显像(PET)和人口统计学特征，并对核磁共振成像(MRI)和正电子发射断层显像(PET)进行预处理，具体包括如下步骤：
S11：对核磁共振成像进行预处理。
对核磁共振成像(MRI)进行如下处理步骤：前后连合线(AC-PC)校正、强度不均匀性校正、头骨剥离、基于阿特拉斯配准的小脑摘除术以及空间分割，得到基于Jacob模板并具有手动标记感兴趣区(ROI)的核磁共振成像的标记图像，其中，标记图像中手动标记感兴趣区(ROI)有93个，并使用该标记图像与颅内体积归一化的灰质体积作为核磁共振成像(MRI)的特征表示
Figure BDA0003168764540000091
S12：对正电子发射断层显像进行预处理。
对正电子发射断层显像(PET)，先使用仿射配准将PET与相应的MRI进行对齐，然后利用相应的磁共振脑掩模得到颅骨剥离图像，再通过所述核磁共振成像的标记图像计算PET图像中每个手动标记感兴趣区ROI的平均强度值，得到正电子发射断层显像的特征表示
Figure BDA0003168764540000092
有研究表明，人口统计学特征也是AD的重要影响因素，因此，本实施例中，在多视图数据中加入了部分人口统计学特征
Figure BDA0003168764540000093
如加入受试者的年龄，地区，性别，教育程度以及ApoE4基因五个特征，当然，在其他实施例中，可以加入人口统计学特征的其它特征，也可以不加入人口统计学特征，此处对人口统计学特征的特征个数不作限制。
S2、使用多视图融合神经网络处理多视图数据，得到各视图间共享的隐表示矩阵。
具体的，多视图数据包括同一个样本在不同时间点的视图数据，且这些不同时间点的视图数据相互对应；但多视图数据由于其获取困难且成本较高，经常存在部分数据缺失的情况，导致预测疾病进程出现困难。
本发明使用多视图融合神经网络来处理患者的多视图数据，并习得一个能够综合刻画患者纵向特征的各视图间共享的隐表示矩阵,具体包括以下步骤：
基于S1预处理后得到的多视图数据
Figure BDA0003168764540000101
Figure BDA0003168764540000102
通过多视图融合神经网络学习得到一个各视图间共享的隐表示矩阵
Figure BDA0003168764540000103
且隐表示矩阵
Figure BDA0003168764540000104
中第i个样本的隐表示为[hi,1,hi,2，...，hi,T]，隐表示矩阵
Figure BDA0003168764540000105
可以描述患者的综合特征，通过各视图间的互补关系来学习隐表示矩阵
Figure BDA0003168764540000106
并通过网络映射重建出各视图的数据
Figure BDA0003168764540000107
其中，
Figure BDA0003168764540000108
表示第v种视图的特征表示。
使用重建损失函数对多视图数据进行学习得到各个时间点的隐表示矩阵Ht，所述重建损失函数的表达式为：
Figure BDA0003168764540000109
其中，V为所述多视图数据的总个数，T表示各视图数据中已知时间点的个数，隐表示矩阵
Figure BDA00031687645400001010
nt表示在第t个时间点有视图的样本个数，dh表示学习得到的隐表示h的特征维度；fv(·；Θv)是针对第v个视图且以Θv为参数的退化网络，退化网络由多个全连接层构成；
Figure BDA00031687645400001011
Figure BDA00031687645400001012
表示在第t个时间点下第v个视图的可用样本数，dv表示第v个视图的特征个数，则
Figure BDA00031687645400001013
表示在第t个时间点的
Figure BDA00031687645400001014
个样本的第v个视图的特征向量集合，每条特征向量包含dv个特征，
Figure BDA00031687645400001015
和
Figure BDA00031687645400001016
分别表示MRI、PET和人口统计学数据在第t个时间点的特征矩阵，||·||F表示Frobenius范数，其定义为：
Figure BDA00031687645400001017
是一个对角指示矩阵，用于忽略缺失数据的损失，具体来说，对于
Figure BDA00031687645400001018
中第i行第i列对角元素
Figure BDA0003168764540000111
若第i个样本在t时间点的第v个视图有数据，则
Figure BDA0003168764540000112
否则为0。本实施例中，不同时间点之间的同一视图数据共享相同的网络参数，使得隐表示矩阵Ht保持完备性的同时减少网络的参数量。
在本实施例中，
Figure BDA0003168764540000113
和
Figure BDA0003168764540000114
分别代表MRI、PET和人口统计学数据，并使用重建损失函数来对多视图数据进行学习得到各个时间点的隐表示矩阵Ht，重建损失函数的表达式具体为：
Figure BDA0003168764540000115
多视图融合神经网络包括多个全连接层，通过多个视图间的互补信息得到隐表示h，且隐表示h可以用于重建多视图数据，用于解决样本中部分视图数据缺失，具体表达式为：
Figure BDA0003168764540000116
其中，fv(·)是对第v个视图的退化网络。
S3、在隐表示矩阵中引入最小门控单元，以对缺失的多视图数据进行填充以及预测未来时间点的评分数据。
具体的，在通过多视图融合神经网络学习得到完备的隐表示矩阵的基础上，再引入MGU来灵活地处理不完整的时序数据，并能够预测未来任意时间点的评分数据，与此同时，对于缺失的多视图数据，可以利用MGU对其进行填充。
请参阅图4所示，MGU的原理为：隐藏状态ct可以表示为融合了样本直到当前时间点的过去所有时间点的历史信息，可以用于预测下一个时间点的输入数据st+1。在每一时间点t，同时将输入数据st和上一时间点的隐藏状态ct-1输入到MGU中，得到当前时间点的隐藏状态ct，具体公式如下：
zt＝σ(ct-1Uz+stWz)；
Figure BDA0003168764540000117
Figure BDA0003168764540000118
其中，st和ct分别表示第t个时间点的输入数据和隐藏状态；Uz、Wz、Uc、Wc为网络参数；zt和
Figure BDA0003168764540000121
为中间计算结果；⊙表示点积操作，tanh(·)表示双曲正切函数；σ(·)表示Sigmoid激活函数。
请参阅图3所示，在图3中时序处理部分，将第i个样本的第t个时间点的隐表示hi,t与该时间点的评分向量yi，t拼接后作为真实输入数据si,t输入至MGU中，得到当前时间点的隐状态ci,t，其中，
Figure BDA0003168764540000122
dh表示隐表示h的特征个数，dy表示每个时间点需要预测的评分个数，将隐藏状态ci,t通过全连接层的映射得到下一个时间点的预测输入数据
Figure BDA0003168764540000123
并使用拟合函数来缩小预测输入数据
Figure BDA0003168764540000124
和真实输入数据si,t+1的差距，时序数据处理部分的拟合函数表示为：
Figure BDA0003168764540000125
其中，
Figure BDA0003168764540000126
表示第t个时间点样本组成的真实输入矩阵，g(·；Ξ)表示以Ξ为参数的包含填充层、MGU以及全连接层在内的拟合网络，需要强调的是该损失函数仅计算原始数据中未缺失的部分，在计算时不考虑缺失的地方，由于当t＝T时，没有能够拟合的下一时间点的输入数据矩阵St+1，所以t的最大值为T-1。
其中，填充层用于解决输入数据矩阵中的数据部分缺失问题，利用上一时间点得到的预测输入数据矩阵来修补当前时间点输入数据矩阵中缺失的部分，且矩阵中未缺失的部分保持不变，以实现对输入数据矩阵中的缺失部分进行填充。具体的，利用上一时间点得到的预测输入数据矩阵
Figure BDA0003168764540000127
来修补当前时间点输入数据矩阵St+1中缺失的部分，且矩阵St+1中未缺失的部分保持不变，以实现对输入数据矩阵中的缺失部分进行填充。
请参阅图3中未来评分数据预测部分，多视图数据还包括由已知的T个时间点的评分数据构成的评分矩阵
Figure BDA0003168764540000128
评分矩阵中第i个样本的评分向量为[yi,1,yi,2,...,yi,T]，且多视图数据还包括未来F个时间点的真实评分数据
Figure BDA0003168764540000129
具体的，使用第t个时间点的数据来预测第t+1个时间点的输入，由于
Figure BDA00031687645400001210
因此，本实施例中，将预测输入数据
Figure BDA0003168764540000131
通过切片层取最后4个维度的数据即可得到
Figure BDA0003168764540000132
当然，在其他实施例中，可以通过切片层取其他数量维度的数据，只要能够实现将
Figure BDA0003168764540000133
进行切片得到
Figure BDA0003168764540000134
即可，此处不做任何限制。
由于从T+1时间点开始不再存在可用的原始输入数据(即无多视图数据
Figure BDA0003168764540000135
和隐表示ht+1)，由第t个时间点的隐表示矩阵和评分矩阵预测得到第t+1个时间点的隐表示矩阵和评分矩阵，并直接将预测得到的第t+1个时间点的隐表示矩阵和评分矩阵直接输入到最小门控单元中再预测第t+2个时间点的隐表示矩阵和评分矩阵，预测得到的评分矩阵包括预测评分数据，并利用拟合函数衡量整个数据集上预测评分数据和真实评分数据之间的误差，未来评分数据预测的拟合函数为：
Figure BDA0003168764540000136
其中，g(St-1；Ξ)表示St通过MGU以及全连接层后计算得到的第t+1个时间点的预测输入
Figure BDA0003168764540000137
表示从预测输入
Figure BDA0003168764540000138
中取出
Figure BDA0003168764540000139
的切片操作，|·|表示取矩阵元素绝对值。
S4、使用多视图数据对多视图融合神经网络和最小门控单元进行协同训练，以实现对疾病发展进程的预测。
具体的，使用多视图数据对多视图融合神经网络和最小门控单元进行协同训练，协同训练与分离处理的思想不同，协同训练不是基于多视图数据融合得到隐表示矩阵后，再将数据输入到MGU中进行预测，而是结合S2和S3，使两者协同训练可以使得MGU的预测结果能够反馈给多视图融合模块，令多视图融合模块学习出的完备的隐表示更适用于具体的预测任务，进一步的，更合适的隐表示也能够帮助网络学习出更优的参数，两者相互促进，并达到最好的学习效果，并使用损失函数训练模型参数，得到预测模型，以实现对疾病进程的预测，损失函数的表达式为：
Figure BDA00031687645400001310
综上所述，本发明的阿尔兹海默疾病进程预测方法通过对MRI、PET和人口统计学数据进行预处理，并通过多视图融合网络数据建立各视图间共享的隐表示矩阵，该隐表示用于综合刻画患者的特征，以解决样本部分视图数据缺失的问题；同时，采用模型填充的方式，并利用MGU填补下一时间点的输入数据，即隐表示矩阵和评分数据，以实现对某一时间点完全缺失的多视图数据进行填充，进一步实现了对未来评分数据的预测。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种阿尔兹海默疾病进程预测方法，其特征在于：患者在固定时间间隔内测量得到多视图数据，所述阿尔兹海默疾病进程预测方法包括以下步骤：
S1、对所述多视图数据进行预处理；
S2、使用多视图融合神经网络处理多视图数据，得到各视图共享的隐表示矩阵；
S3、在所述隐表示矩阵中引入最小门控单元，以对缺失的多视图数据进行填充以及预测未来时间点的评分数据；
S4、使用多视图数据对所述多视图融合神经网络和最小门控单元进行协同训练，以实现对疾病发展进程的预测。
2.根据权利要求1所述的阿尔兹海默疾病进程预测方法，其特征在于，S1具体为：所述多视图数据包括核磁共振成像、正电子发射断层显像和人口统计学特征，包括以下步骤：
S11：对核磁共振成像进行预处理；
S12：对正电子发射断层显像进行预处理。
3.根据权利要求2所述的阿尔兹海默疾病进程预测方法，其特征在于，S11具体为：对核磁共振成像进行前后连合线校正、强度不均匀性校正、头骨剥离、基于阿特拉斯配准的小脑摘除术以及空间分割，得到基于Jacob模板并具有手动标记感兴趣区ROI的核磁共振成像的标记图像，并使用该标记图像与颅内体积归一化的灰质体积作为核磁共振成像的特征表示。
4.根据权利要求3所述的阿尔兹海默疾病进程预测方法，其特征在于，S12具体为：先使用仿射配准将正电子发射断层显像与相应的核磁共振成像进行对齐，然后利用相应的磁共振脑掩模得到颅骨剥离图像，再通过所述核磁共振成像的标记图像计算正电子发射断层显像中手动标记感兴趣区ROI的平均强度值，得到正电子发射断层显像的特征表示。
5.根据权利要求4所述的阿尔兹海默疾病进程预测方法，其特征在于：S2具体为：基于S1预处理后得到的多视图数据
Figure FDA0003168764530000021
Figure FDA0003168764530000022
通过多视图融合神经网络学习一个各视图间共享的隐表示矩阵
Figure FDA0003168764530000023
所述隐表示矩阵
Figure FDA0003168764530000024
可以描述患者的综合特征，通过各视图间的互补关系来学习所述隐表示矩阵
Figure FDA0003168764530000025
并通过网络映射重建出各视图的数据
Figure FDA00031687645300000218
其中，
Figure FDA00031687645300000219
表示第v种视图的特征表示。
6.根据权利要求5所述的阿尔兹海默疾病进程预测方法，其特征在于：使用重建损失函数对所述多视图数据进行学习得到各个时间点的隐表示矩阵Ht，所述重建损失函数的表达式为：
Figure FDA0003168764530000026
其中，V为所述多视图数据的总个数，T表示各视图数据中已知时间点的个数，隐表示矩阵
Figure FDA0003168764530000027
nt表示在第t个时间点有视图的样本个数，dh表示学习得到的隐表示h的特征维度；fv(·；Θv)是针对第v个视图且以Θv为参数的退化网络，
Figure FDA0003168764530000028
Figure FDA0003168764530000029
表示在第t个时间点下第v个视图的可用样本数，dv表示第v个视图的特征个数，则
Figure FDA00031687645300000210
表示为第t个时间点的
Figure FDA00031687645300000211
个样本的第v个视图的特征向量集合，每条特征向量包含dv个特征，
Figure FDA00031687645300000212
和
Figure FDA00031687645300000213
分别表示核磁共振成像、正电子发射断层显像和人口统计学特征在第t个时间点的特征矩阵；
Figure FDA00031687645300000214
是一个对角指示矩阵，用于忽略缺失数据的损失，||·||F表示Frobenius范数，表达式为：
Figure FDA00031687645300000215
7.根据权利要求5所述的阿尔兹海默疾病进程预测方法，其特征在于，S3中具体步骤为：所述多视图数据还包括由已知的T个时间点的评分数据构成的评分矩阵
Figure FDA00031687645300000216
所述评分矩阵中第i个样本的评分向量为[yi,1,yi,2,...,yi,T]，所述隐表示矩阵
Figure FDA00031687645300000217
中第i个样本的隐表示为[hi,1,hi，2,...,hi,T]，将第i个样本的第t个时间点的隐表示hi,t与该时间点的评分向量yi，t拼接后作为真实输入数据si，t输入至最小门控单元中，得到当前时间点的隐状态ci，t，其中，
Figure FDA0003168764530000031
dh表示隐表示h的特征个数，dy表示每个时间点需要预测的评分个数，将隐藏状态ci，t通过全连接层的映射得到下一个时间点的预测输入数据
Figure FDA0003168764530000032
并使用拟合函数来缩小预测输入数据
Figure FDA0003168764530000033
和真实输入数据si，t+1之间的差距，时序数据处理部分的拟合函数表示为：
Figure FDA0003168764530000034
其中，
Figure FDA0003168764530000035
表示第t个时间点样本组成的真实输入矩阵，g(·；Ξ)表示以Ξ为参数的包含填充层、最小门控单元以及全连接层在内的拟合网络。
8.根据权利要求7所述的阿尔兹海默疾病进程预测方法，其特征在于，所述填充层具体为：利用上一时间点得到的预测输入数据矩阵来修补当前时间点输入数据矩阵中缺失的部分，且矩阵中未缺失的部分保持不变，以实现对输入数据矩阵中的缺失部分进行填充。
9.根据权利要求7所述的阿尔兹海默疾病进程预测方法，其特征在于：S3中预测未来时间点的评分数据具体为：所述多视图数据还包括未来F个时间点的真实评分数据
Figure FDA0003168764530000036
由第t个时间点的隐表示矩阵和评分矩阵预测得到第t+1个时间点的隐表示矩阵和评分矩阵，并直接将预测得到的第t+1个时间点的隐表示矩阵和评分矩阵输入到最小门控单元中再预测第t+2个时间点的隐表示矩阵和评分矩阵，预测得到的所述评分矩阵包括预测评分数据，并利用拟合函数衡量预测评分数据和真实评分数据之间的误差，未来评分数据预测部分的拟合函数为：
Figure FDA0003168764530000037
其中，g(St-1；Ξ)表示St通过MGU以及全连接层后计算得到的第t+1个时间点的预测输入
Figure FDA0003168764530000038
Figure FDA0003168764530000039
表示从预测输入
Figure FDA00031687645300000310
中取出
Figure FDA00031687645300000311
的切片操作，|·|表示取矩阵元素绝对值。
10.根据权利要求9所述的阿尔兹海默疾病进程预测方法，其特征在于，S4具体为：使用多视图数据对多视图融合神经网络和最小门控单元进行协同训练，结合S2和S3，通过损失函数训练模型参数，得到预测模型，以实现对疾病进程的预测，所述损失函数表达式为：
Figure FDA0003168764530000041
CN202110812104.2A 2021-07-19 2021-07-19 阿尔兹海默疾病进程预测方法 Active CN113658721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110812104.2A CN113658721B (zh) 2021-07-19 2021-07-19 阿尔兹海默疾病进程预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110812104.2A CN113658721B (zh) 2021-07-19 2021-07-19 阿尔兹海默疾病进程预测方法

Publications (2)

Publication Number Publication Date
CN113658721A true CN113658721A (zh) 2021-11-16
CN113658721B CN113658721B (zh) 2024-03-19

Family

ID=78477469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110812104.2A Active CN113658721B (zh) 2021-07-19 2021-07-19 阿尔兹海默疾病进程预测方法

Country Status (1)

Country Link
CN (1) CN113658721B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115064262A (zh) * 2022-06-08 2022-09-16 华侨大学 一种基于长短时记忆的阿尔兹海默症病程预测方法
CN115375665A (zh) * 2022-08-31 2022-11-22 河南大学 一种基于深度学习策略的早期阿尔兹海默症发展预测方法
CN116364290A (zh) * 2023-06-02 2023-06-30 之江实验室 基于多视图对齐的血透表征识别与并发症风险预测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180310870A1 (en) * 2017-05-01 2018-11-01 The Charles Stark Draper Laboratory, Inc. Deep learning architecture for cognitive examination subscore trajectory prediction in alzheimer's disease
CA3078313A1 (en) * 2017-10-31 2019-05-09 Ge Healthcare Limited Medical system for diagnosing cognitive disease pathology and/or outcome
US20190272922A1 (en) * 2018-03-02 2019-09-05 Jack Albright Machine-learning-based forecasting of the progression of alzheimer's disease
CN110534189A (zh) * 2018-05-25 2019-12-03 深圳市前海安测信息技术有限公司 阿尔兹海默病症分级评估模型创建方法及计算机装置
CN110543916A (zh) * 2019-09-06 2019-12-06 天津大学 一种缺失多视图数据的分类方法及系统
CN111938592A (zh) * 2020-08-13 2020-11-17 天津工业大学 面向阿尔兹海默症诊断的有缺失多模态表示学习算法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180310870A1 (en) * 2017-05-01 2018-11-01 The Charles Stark Draper Laboratory, Inc. Deep learning architecture for cognitive examination subscore trajectory prediction in alzheimer's disease
CA3078313A1 (en) * 2017-10-31 2019-05-09 Ge Healthcare Limited Medical system for diagnosing cognitive disease pathology and/or outcome
CN111247595A (zh) * 2017-10-31 2020-06-05 通用电气健康护理有限公司 用于诊断认知疾病病理和/或结果的医疗系统
US20190272922A1 (en) * 2018-03-02 2019-09-05 Jack Albright Machine-learning-based forecasting of the progression of alzheimer's disease
CN110534189A (zh) * 2018-05-25 2019-12-03 深圳市前海安测信息技术有限公司 阿尔兹海默病症分级评估模型创建方法及计算机装置
CN110543916A (zh) * 2019-09-06 2019-12-06 天津大学 一种缺失多视图数据的分类方法及系统
CN111938592A (zh) * 2020-08-13 2020-11-17 天津工业大学 面向阿尔兹海默症诊断的有缺失多模态表示学习算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨梦雅;侯雯;杨鹏;邹文斌;汪天富;雷柏英;: "基于纵向不完整数据联合深度集成回归预测阿尔茨海默病临床评分", 中国生物医学工程学报, no. 02 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115064262A (zh) * 2022-06-08 2022-09-16 华侨大学 一种基于长短时记忆的阿尔兹海默症病程预测方法
CN115375665A (zh) * 2022-08-31 2022-11-22 河南大学 一种基于深度学习策略的早期阿尔兹海默症发展预测方法
CN115375665B (zh) * 2022-08-31 2024-04-16 河南大学 一种基于深度学习策略的早期阿尔兹海默症发展预测方法
CN116364290A (zh) * 2023-06-02 2023-06-30 之江实验室 基于多视图对齐的血透表征识别与并发症风险预测系统
CN116364290B (zh) * 2023-06-02 2023-09-08 之江实验室 基于多视图对齐的血透表征识别与并发症风险预测系统

Also Published As

Publication number Publication date
CN113658721B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
US11645748B2 (en) Three-dimensional automatic location system for epileptogenic focus based on deep learning
Liu et al. Towards clinical diagnosis: Automated stroke lesion segmentation on multi-spectral MR image using convolutional neural network
CN113658721A (zh) 阿尔兹海默疾病进程预测方法
US20190139641A1 (en) Artificial intelligence for physiological quantification in medical imaging
CN111488914B (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
JP7357927B2 (ja) 診断支援システムおよび方法
CN111063442B (zh) 基于弱监督多任务矩阵补全的脑疾病进程预测方法及系统
US11263744B2 (en) Saliency mapping by feature reduction and perturbation modeling in medical imaging
Tang et al. Body part regression with self-supervision
Fonov et al. DARQ: Deep learning of quality control for stereotaxic registration of human brain MRI to the T1w MNI-ICBM 152 template
Howard et al. Machine learning with convolutional neural networks for clinical cardiologists
Billot et al. Robust segmentation of brain MRI in the wild with hierarchical CNNs and no retraining
CN116452592B (zh) 脑血管病ai认知功能评测模型的构建方法、装置及系统
Rao et al. A Review on Alzheimer’s disease through analysis of MRI images using Deep Learning Techniques
CN114787816A (zh) 针对机器学习方法的数据增强
CN116258732A (zh) 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法
CN116309754A (zh) 一种基于局部-全局信息协作的大脑医学图像配准方法及系统
CN114400086A (zh) 一种基于深度学习的关节盘前移辅助诊断系统和方法
Nguyen et al. Clinically-inspired multi-agent transformers for disease trajectory forecasting from multimodal data
Dharwadkar et al. Right ventricle segmentation of magnetic resonance image using the modified convolutional neural network
Jimenez-Mesa et al. Applications of machine learning and deep learning in SPECT and PET imaging: General overview, challenges and future prospects
US20230342921A1 (en) Methods and related aspects for medical image generation
KR102650787B1 (ko) 설골 움직임 추적 방법
Wang et al. Application of Fusion Model of 3D-ResNeXt and Bi-LSTM Network in Alzheimer’s Disease Classification
Zhu et al. Hippocampus segmentation in MR images: Multiatlas methods and deep learning methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant