CN115116607A - 一种基于静息态磁共振迁移学习的脑疾病预测系统 - Google Patents

一种基于静息态磁共振迁移学习的脑疾病预测系统 Download PDF

Info

Publication number
CN115116607A
CN115116607A CN202211056174.0A CN202211056174A CN115116607A CN 115116607 A CN115116607 A CN 115116607A CN 202211056174 A CN202211056174 A CN 202211056174A CN 115116607 A CN115116607 A CN 115116607A
Authority
CN
China
Prior art keywords
model
magnetic resonance
data
brain
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211056174.0A
Other languages
English (en)
Other versions
CN115116607B (zh
Inventor
张瑜
陈子洋
孙超良
李军
李劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211056174.0A priority Critical patent/CN115116607B/zh
Publication of CN115116607A publication Critical patent/CN115116607A/zh
Application granted granted Critical
Publication of CN115116607B publication Critical patent/CN115116607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于静息态磁共振迁移学习的脑疾病预测系统，分别获取健康成人静息态磁共振大数据集和对应脑疾病的患者静息态磁共振数据，预处理后配准到标准脑空间；通过匹配到标准脑空间的脑图谱提取各个脑区的时间信号；利用图卷积网络和门控循环网络构建深度学习模型并基于健康成人大数据集进行预训练；基于预训练模型和患者静息态功能磁共振数据进行模型微调和疾病预测。本发明提取静息态磁共振信号中的时空特征，利用健康成人的静息态磁共振大数据集对深度学习模型进行预训练，充分挖掘健康成人静息态磁共振中的固有时空特征模式，并将健康成人数据中学习到的先验时空特征模式迁移到脑疾病预测中，有效提高模型的预测性能。

Description

一种基于静息态磁共振迁移学习的脑疾病预测系统
技术领域
本发明涉及医学影像领域和深度学习领域，尤其涉及一种基于静息态磁共振迁移学习的脑疾病预测系统。
背景技术
随着神经影像技术的不断发展，功能磁共振影像（functional MagneticResonance Imaging，fMRI）作为一类无创的神经影像技术在神经科学和脑疾病领域发挥重要作用。基于静息态功能磁共振成像（Fox M D, Raichle M E. Spontaneousfluctuations in brain activity observed with functional magnetic resonanceimaging [J]. Nat Rev Neurosci, 2007, 8(9): 700-11），利用不同脑区之间血氧水平依赖信号的相关性可以探究大脑不同区域之间的功能连接。研究发现，罹患各类神经疾病的患者在大脑功能连接模式上与正常健康群体间存在显著差异，是一类具有潜在应用价值的生物学标记（Yan C G , Chen X , Li L , et al. Reduced default mode networkfunctional connectivity in patients with recurrent major depressive disorder[J]. Proceedings of the National Academy of Sciences, 2019, 116(18):201900390）。上述研究提示，静息态功能磁共振数据可以为脑疾病的诊断和预测提供帮助。
近年来多项研究使用静息态功能磁共振数据对脑疾病进行预测分类，然而上述研究中广泛使用静息态功能连接（Resting State Functional Connectivity，RSFC）（Du Y ,Fu Z , Calhoun V D . Classification and Prediction of Brain Disorders UsingFunctional Connectivity: Promising but Challenging[J]. Frontiers inNeuroence, 2018, 12:525），低频振幅（Amplitude of Frequency Fluctuation, ALFF）（Long J , Huang X , Liao Y , et al. Prediction of post-earthquake depressiveand anxiety symptoms: a longitudinal resting-state fMRI study[J]. ScientificReports, 2014, 4:6423）和局部一致性（Regional Homogeneity，ReHo）（Ljab C , Sam A, Cat D , et al. Characterizing functional regional homogeneity (ReHo) as aB-SNIP psychosis biomarker using traditional and machine learning approaches[J]. Schizophrenia Research, 2020, 215:430-438）等静息态指标作为分类器的分类特征，利用逻辑回归，支持向量机等机器学习方法对上述特征进行分类从而实现对脑疾病的预测（Vos F D , Koini M , Schouten T M , et al. A comprehensive analysis ofresting state fMRI measures to classify individual patients with Alzheimer'sdisease[J]. Neuroimage, 2017, 167:62-72；Hojjati S H , Ebrahimzadeh A ,Khazaee A , et al. Predicting conversion from MCI to AD using resting-statefMRI, graph theoretical approach and SVM[J]. Journal of Neuroscience Methods,2017, 282(Complete):69-80）。然而功能连接，低频振幅和局部一致性指标会随时间波动发生变化，因此上述指标可能无法捕捉到完善的静息态活动模式。深度学习技术可以在大数据中学习静息态功能磁共振数据中固有时空特征模式，利用上述学习到的时空特征可以对受试者的不同表型特征进行预测。
然而深度学习技术的发展依赖于数据的大量积累。在深度学习广泛得到应用的图像处理和自然语言处理领域，大量积攒的带标签的图像数据（ImageNet）和文本数据都为深度学习模型训练提供良好的数据基础。而在医学图像领域，尤其是静息态功能磁共振领域，患者数据往往是小样本数据集。使用小样本数据集训练复杂的深度学习网络会带来显著的过拟合效应，影响模型在新数据上的预测性能。上述数据体量上的缺陷阻碍了深度学习在脑疾病预测领域的进一步发展。迁移学习是小样本深度学习领域中广泛使用的一项技术。利用大样本数据对基础模型进行预训练，随后在后续的下游任务中进行进一步的模型微调是近年来得到长足发展的一种迁移学习策略（Devlin J , Chang M W , Lee K , et al.BERT: Pre-training of Deep Bidirectional Transformers for LanguageUnderstanding[J]. 2018）。该策略可以有效克服下游任务数据样本量小的特点，通过预训练学习通用的数据特征，并迁移到下游任务的分类。针对目前特定脑疾病的静息态功能磁共振数据集样本量小，而健康成人的静息态功能磁共振数据集较多且样本量大的情况，设计一类通用的迁移学习范式，将健康成人静息态功能磁共振数据中学习到的固有时空特征先验知识迁移到小样本的脑疾病预测分类问题中可以有效提升此类小样本学习问题的预测及分类性能。
发明内容
本发明的目的是，针对目前特定脑疾病的静息态功能磁共振数据集样本量小，而健康成人的静息态功能磁共振数据集较多且样本量大的情况，提出一种基于静息态磁共振迁移学习的脑疾病预测系统，设计一类通用的迁移学习范式，将健康群体的静息态功能磁共振固有时空特征先验知识迁移至小样本的疾病分类任务。
为实现上述目的，本发明的技术方案如下：一种基于静息态磁共振迁移学习的脑疾病预测系统，该系统包括：数据获取模块、数据处理模块、脑区信号提取模块、模型预训练模块和模型参数调整模块；
所述数据获取模块用于获取健康成人静息态磁共振数据和对应脑疾病的患者静息态磁共振数据；
所述数据处理模块用于将数据获取模块获取的数据进行标准的数据预处理，并配准到标准空间或皮层空间；
所述脑区信号提取模块用于基于数据处理模块处理后的数据以及匹配到标准空间或皮层空间的脑图谱，提取各个脑区的时间信号，根据提取得到的不同脑区的时间信号构建图模型脑功能数据；
所述模型预训练模块用于利用图卷积网络和门控循环网络构建深度学习模型，基于健康成人静息态磁共振数据得到的图模型脑功能数据对深度学习模型进行预训练，得到预训练模型；
所述模型参数调整模块用于基于模型预训练模块得到的预训练模型，通过基于患者静息态磁共振数据得到的图模型脑功能数据进行预训练模型的参数微调，得到最终的迁移模型后用于脑疾病预测。
进一步地，其中健康成人静息态磁共振数据中包括被试的结构磁共振影像、静息态功能磁共振影像、年龄和性别，对应脑疾病的患者静息态磁共振数据包括患者的结构磁共振影像、静息态功能磁共振影像、年龄、性别和疾病标签数据。
进一步地，数据处理模块的数据预处理过程包括：结构磁共振影像的脑提取、脑组织分割、由结构空间到标准空间的非线性配准和皮层重建；功能磁共振影像的头动校正、层时间校正、磁敏感伪影畸变校正、由功能空间到结构空间的非线性配准和由结构空间到标准空间的映射；经过数据预处理过程后得到与标准空间对齐的静息态功能磁共振数据。
进一步地，所述脑区信号提取模块中图模型脑功能数据的构建方式具体为：将数 据处理模块中得到的与标准空间对齐的静息态功能磁共振数据按照标准空间中的脑图谱 划分为不同的大脑区域，提取各区域中所有体素的时间序列信号特征作为节点信息集合
Figure 811217DEST_PATH_IMAGE001
，其中N为节点数，对应脑图谱划分的脑区数目，T为时间序列的长度，对应功能 磁共振影像中的采样长度，计算不同节点之间的皮尔逊相关系数作为脑图边的集合E，由节 点信息集合V和边的集合E组合构成结构化脑图
Figure 339326DEST_PATH_IMAGE002
。
进一步地，模型预训练模块中所述的深度学习模型的网络框架包括用于整合空间 信息的图卷积层，用于提取时域特征的门控循环网络层、用于特征读出的读出层、以及用于 特征分类的多层感知器层；所述的图卷积层、门控循环网络层、读出层和多层感知器层依次 相连组成用于迁移学习的网络架构；图卷积层由两层堆叠的图卷积神经网络层GCN层构成： 第一层GCN层由使用切比雪夫Chebyshev卷积核的M个滤波器组成，在时域上独立作用于输 入脑图的节点信息集合
Figure 145608DEST_PATH_IMAGE003
，得到第一层的输出
Figure 54658DEST_PATH_IMAGE004
；第二层GCN层由使 用切比雪夫Chebyshev卷积核的单个滤波器组成，在时域上独立作用于第一层的输出
Figure 920983DEST_PATH_IMAGE005
，得 到第二层的输出
Figure 181063DEST_PATH_IMAGE006
；所述的门控循环网络层由两层堆叠的门控循环单元GRU层构 成；所述的读出层使用展平读出，将由GRU输出的高维矩阵展平至一维后输入多层感知器 层；所述的多层感知器层由两个全连接层构成，输出维度对应预训练模型和迁移模型分别 为
Figure 791036DEST_PATH_IMAGE007
和
Figure 820172DEST_PATH_IMAGE008
。
进一步地，模型预训练模块中将基于健康成人静息态磁共振数据得到的图模型脑功能数据输入深度学习模型，以健康成人静息态磁共振数据中受试者的性别信息作为监督学习的标签对深度学习模型进行预训练；预训练时使用的损失函数Loss使用交叉熵损失函数：
Figure 122977DEST_PATH_IMAGE009
其中
Figure 106239DEST_PATH_IMAGE010
表示每个受试者i样本对应的性别标签，
Figure 519903DEST_PATH_IMAGE011
为深度学习模型预测的概率；预 训练结束后保存深度学习模型的模型参数。
进一步地，所述模型参数调整模块中模型的参数微调时所使用的训练数据和标签 数据包含预处理后的对应脑疾病的患者静息态磁共振影像数据和年龄、性别匹配的健康成 人静息态磁共振数据；模型参数调整模块中使用的深度学习模型结构与模型预训练模块中 所述的深度学习模型结构一致；模型参数调整模块中模型使用的图卷积层和门控循环网络 层的模型参数由模型预训练模块中所述预训练模型中对应网络层的参数加载得到，后续多 层感知器层的参数由随机初始化获得，且多层感知器中全连接层的最后一层的输出维度
Figure 403545DEST_PATH_IMAGE012
，其中
Figure 877252DEST_PATH_IMAGE013
对应疾病分型数目，1代表正常型；对上 述深度学习模型进行微调的过程即为使用微调时的训练数据和标签数据在学习策略下对 模型进行监督训练的过程。
进一步地，模型微调使用的学习策略包括使用合适的学习率；冻结模型中图卷积层中的第一层GCN层，门控循环网络层中的第一层GRU层的模型参数，仅在训练过程中更新图卷积层中的第二层GCN层、门控循环网络中的第二层GRU层以及多层感知器层的模型参数。
本发明与背景技术相比，具有的有益效果是：
（1）目前基于静息态功能磁共振数据进行疾病预测和分类通常使用静息态功能连接，低频振幅，局部一致性等指标。上述指标将高维的静息态功能磁共振数据通过先验的方法降维至低维特征。本发明中使用静息态功能磁共振的时间序列作为深度学习网络的输入，充分保留静息态功能磁共振数据信号中丰富的生理信息，避免了使用如静息态功能连接，低频振幅，局部一致性等指标忽视脑活动随时间波动特性而带来的信息损失。
（2）本发明中使用基于标准空间的脑图谱构建图模型脑功能数据，通过脑图谱对节点内的信息进行降维，利用先验的脑图谱信息可以保留静息态功能磁共振中的信息。降维后的数据是一类结构化的图数据，在大规模的数据集中更易于进行数据挖掘和存储。
（3）本发明使用深度学习模型挖掘静息态功能磁共振数据中的时空特征。相比于传统的机器学习方法，深度学习方法可以更好地处理大数据，具有鲁棒性好的特点，在数据量充分的条件下可以获得更好的预测和分类性能。
（4）本发明使用迁移学习的策略可以有效利用数据量较大的健康成人静息态磁共振数据集，从而避免脑疾病数据集数据样本少，数据量小的劣势。使用健康成人静息态磁共振数据对模型进行预训练可以更好的挖掘静息态磁共振数据中固有的时空特征，上述特征在应对脑疾病分类时也具有潜在的生物学价值，将上述先验知识迁移至脑疾病分类中可以有效提升脑疾病分类的准确率和预测性能。
（5）本发明提出的迁移学习范式使用受试者的性别表型作为预训练监督学习的特征。该范式不需要使用额外的表型特征。性别特征作为数据集中固有的特征之一，选用性别特征作为监督学习的标签有利于拓宽预训练数据的选取范围。使用上述范式进行迁移学习预训练可以使用几乎所有公开数据集的静息态磁共振数据，上述数据相比单一疾病的数据集在数据样本量上具有显著的优势，利用大数据训练出的模型具有更好的泛化性能和特征提取能力。综上，该范式可以有效利用几乎所有的静息态功能磁共振数据集，进而解决单一疾病的数据集的样本数量问题。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见的是，下面描述中的附图仅仅是本申请中记载的特定实施例，其不是对本发明的保护范围的限制。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，当然还可以根据本发明的如下实施例及其附图获得一些其它的实施例和附图。
图1为本发明实施例提供的一种基于静息态磁共振迁移学习的脑疾病预测系统的结构框图。
图2 为本发明实施例提供的一种基于静息态磁共振迁移学习的脑疾病预测系统中结构化脑图构建示意图。
图3为本发明实施例提供的一种基于静息态磁共振迁移学习的脑疾病预测系统中深度学习模型示意图。
具体实施方式
为了使本领域的人员更好地理解本申请中的技术方案，下面将结合附图对本发明作进一步的说明。但这仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请所述的具体实施例，本领域的其他人员在没有做出创造性劳动的前提下所获得的其他实施例，都应当落在本发明的构思范围之内。
以下参考附图描述本发明的优选实施例。
总体而言，本发明提出一种基于静息态磁共振迁移学习的脑疾病预测系统，该系统可以利用健康成人的静息态磁共振大数据集对深度学习模型进行预训练，充分挖掘健康成人静息态磁共振中的固有时空特征模式，并将上述健康成人数据中学习到的先验时空特征模式迁移到脑疾病预测中，有效提高模型的预测性能。
本发明使用基于图卷积网络（Graph Convolution Network，GCN）和门控循环网络（Gated Recurrent Units，GRU）构建的深度学习网络提取静息态功能磁共振（restingstate functional Magnetic Resonance Imaging，rsfMRI）中的时空特征，用于提取特征的深度学习模型首先使用健康成人的大样本rsfMRI数据进行有监督预训练，随后使用对应脑疾病的患者rsfMRI数据对深度学习模型进行参数微调，经过参数微调的深度学习模型可以实现疾病的预测。如图1所示，本实施例基于静息态磁共振迁移学习的脑疾病预测系统具体包括：数据获取模块、数据处理模块、脑区信号提取模块、模型预训练模块和模型参数调整模块
所述数据获取模块用于收集来自人类连接组计划（Human Connectome Project,HCP，链接地址：https://db.humanconnectome.org/data/projects/HCP_1200）的静息态功能磁共振数据，包括被试的结构磁共振影像、静息态功能磁共振影像、年龄和性别；其中包含约 1200 个健康被试，每个被试包含两个session，每个session包含两个run的数据。单次run的静息态数据以0.72秒的采样率（重复时间）持续采集约14.4分钟，共计1200个时间帧。获取得到的HCP数据已经经过完善的预处理步骤并且映射到标准的fs LR皮层空间。
并且数据获取模块还收集来自UCLA Consortium for NeuropsychiatricPhenomics（CNP，链接地址：https://openneuro.org/datasets/ds000030/versions/1.0.0/download）的静息态功能磁共振数据和结构磁共振数据（T1 MPRAGE图像），还包括年龄、性别和疾病标签数据，其中包括272名被试，包含130名健康被试对照，50名精神分裂症患者，49名双向情感障碍患者，以及43名多动症患者。每个被试包含一个run的数据。单次run的静息态数据以2秒的采样率（重复时间）持续采集约542秒，共计271个时间帧。获取得到的CNP数据已经经过完善的预处理步骤并且映射到标准的MNI152Nlin2009c模板空间。
所述数据处理模块用于针对数据获取模块获取的未经过预处理的静息态功能磁共振数据进行标准的数据预处理，本实施例以CNP数据的原始数据为例说明本发明数据处理模块中的预处理详细过程：
首先下载得到的CNP数据集符合BIDS（Brain Image Data Structure）数据格式规范，如果数据集不符合BIDS数据格式规范，需要首先将数据集整理为上述格式。
然后使用fmriprep工具包（https://fmriprep.org/en/stable/）对上述符合BIDS格式规范的数据进行预处理，预处理流程中包括结构磁共振影像的脑提取、脑组织分割、由结构空间到标准空间的非线性配准和皮层重建；功能磁共振影像的头动校正、层时间校正、磁敏感伪影畸变校正、由功能空间到结构空间的非线性配准和由结构空间到标准空间的映射，由结构空间到皮层空间的映射。
最后由fmriprep输出的文件即为映射到标准的MNI152Nlin2009c模板空间的静息态磁共振数据。
所述脑区信号提取模块用于将预处理后的HCP数据与CNP数据通过匹配到标准空间或皮层空间的Glasser脑图谱提取各个脑区的时间信号，所述脑图谱包括基于解剖连接的脑网络图谱、基于功能连接的脑功能网络图谱、基于多模态影像的脑图谱（Glasseratlas）等，根据提取得到的不同脑区的时间信号构建图模型脑功能数据。如图2所示，具体过程如下：
首先将HCP数据集中的静息态数据映射到标准的fs LR皮层空间，使用fs LR空间中的Glasser脑图谱划分为不同的大脑区域，将上述数据集中的静息态数据中不同顶点上的时间序列映射到对应的分区，利用计算时间序列的平均值、根据主成分分析方法（PCA）提取时间序列中的主成分或根据独立成分分析方法（ICA）提取时间序列中的独立成分等方法提取时间序列信号特征作为该分区（节点）的信息。
其次将CNP数据集中的静息态数据映射到标准的MNI152Nlin2009c模板空间，使用映射到MNI152Nlin2009c模板空间的Glasser脑图谱将上述数据集中的静息态数据中不同体素上的时间序列映射到对应的分区，利用时间序列平均的方法提取时间序列信号特征作为该分区（节点）的信息。
然后计算上述两个数据集静息态数据不同节点之间的皮尔逊相关系数作为脑图 边的集合E，由节点信息集合V和边的集合E组合构成结构化脑图
Figure 846345DEST_PATH_IMAGE014
。其中，节点信 息集合
Figure 798120DEST_PATH_IMAGE015
，其中N为节点数，对应脑图谱划分的脑区数目，T为时间序列的长度，对 应功能磁共振影像中的采样长度。
最后针对HCP的数据进行时域上的下采样至采样率为2秒，以匹配CNP数据的时域采样率。
所述模型预训练模块用于使用Pytorch构建用于预训练的深度网络模型，如图3所 示，结构如下：深度学习模型的网络框架包括用于整合空间信息的图卷积层、用于提取时域 特征的门控循环网络层、读出层以及用于特征分类的多层感知器层。上述的图卷积层，门控 循环网络层、读出层和多层感知器层依次相连组成用于迁移学习的基础网络架构。图卷积 层由两层堆叠的GCN层构成：第一层GCN层由使用Chebyshev卷积核的3个滤波器组成， Chebyshev卷积核的阶数k1取4，在时域上独立作用于输入脑图的高维节点信息
Figure 801848DEST_PATH_IMAGE016
，输出
Figure 446456DEST_PATH_IMAGE017
；第二层GCN层由使用Chebyshev卷积核的 单个滤波器组成，Chebyshev卷积核的阶数k2取4，在时域上同样独立作用于第一层GCN层的 输出
Figure 404310DEST_PATH_IMAGE018
，并且输出
Figure 159777DEST_PATH_IMAGE019
。所述的门控循环网络层由两层堆叠的门控循环 单元GRU层构成，对应的滤波器数目分别
Figure 486853DEST_PATH_IMAGE020
和
Figure 302362DEST_PATH_IMAGE021
，其中
Figure 246047DEST_PATH_IMAGE020
的取值受选用脑图谱的分区数所 影像，一般选择64或者128，
Figure 805205DEST_PATH_IMAGE021
的取值一般选择32。本发明中取
Figure 517946DEST_PATH_IMAGE022
。所 述的读出层（Readout layer）使用展平读出（Flatten Readout），将由GRU输出的高维矩阵 展平至一维。所述的多层感知器层由两个全连接层构成，第一个全连接层的输入维度为
Figure 238777DEST_PATH_IMAGE023
，T为输入的时间窗口长度，此处取50个时间帧（100秒），输出维度一般选择256，最 后一个全连接层的输出维度为
Figure 171223DEST_PATH_IMAGE024
，对应最终预测分类的类别数。
深度学习模型中选用的GCN层的卷积公式为：
Figure 268492DEST_PATH_IMAGE025
其中U是拉普拉斯矩阵L的特征向量矩阵，x是输入的节点特征，
Figure 101319DEST_PATH_IMAGE026
是卷积核， 利用Chebyshev多项式展开即可得到Chebyshev卷积核，
Figure 727472DEST_PATH_IMAGE027
是激活函数，
Figure 911329DEST_PATH_IMAGE028
是GCN层经图卷积 和激活函数后的输出结果。拉普拉斯矩阵L的计算方式为：
Figure 812289DEST_PATH_IMAGE029
其中D是输入脑图的度矩阵，A是输入脑图数据的邻接矩阵，可由输入脑图的边经稀疏化和二值化操作获得。
模型预训练模块中将基于健康成人静息态磁共振数据得到的图模型脑功能数据输入深度学习模型，以健康成人静息态磁共振数据中受试者的性别信息作为监督学习的标签对深度学习模型进行预训练；预训练使用的损失函数为：
Figure 234043DEST_PATH_IMAGE030
其中
Figure 562256DEST_PATH_IMAGE031
表示每个受试者i样本对应的性别标签，
Figure 203715DEST_PATH_IMAGE032
为深度学习模型预测的概率； 预训练结束后保存深度学习模型的模型参数。
深度学习预训练，详细过程如下：
选取由HCP数据集构建的图模型脑功能数据和对应的性别标签数据，输入网络训练的时间窗口为50个时间帧，因此对处理得到的图模型脑功能数据按时间维度进行切分，切分成50个时间帧长度的片段，每一个片段作为训练时的一个实体输入。
在预训练时对HCP数据集按被试进行划分，分别划分为训练集（70%），验证集（20%）和测试集（10%）。
将训练集的图模型脑功能数据片段作为输入，性别作为监督训练标签对深度学习模型进行训练。当模型收敛后，将验证集输入模型进行测试，选取最优超参数并保存模型参数。最后在测试集上对保存的最优模型进行测试。
所述模型参数调整模块用于深度学习模型微调，基于模型预训练模块得到的预训练模型，通过基于患者静息态磁共振数据得到的图模型脑功能数据进行预训练模型的参数微调，得到最终的迁移模型后用于脑疾病预测，详细过程如下：
模型参数调整模块中使用的深度学习模型结构与预训练中所述的深度学习模型 结构一致，由图卷积层、门控循环网络层、读出层以及多层感知器层组成。其中模型使用的 图卷积层和门控循环网络层的模型参数由预训练模型中对应网络层的参数加载得到，后续 多层感知器层的参数由随机初始化获得，且多层感知器中全连接层的最后一层的输出维度
Figure 908366DEST_PATH_IMAGE033
，其中
Figure 450206DEST_PATH_IMAGE034
对应疾病分型数目，1代表正常型。
选取由CNP数据集构建的图模型脑功能数据和对应的疾病标签数据，输入网络训练的时间窗口为50个时间帧，因此对处理得到的图模型脑功能数据按时间维度进行切分，切分成50个时间帧长度的片段，每一个片段作为训练时的一个实体输入。
在模型微调时对数据集按被试进行划分，分别划分为训练集（70%），验证集（20%）和测试集（10%）。
将训练集的图模型脑功能数据片段作为输入，疾病类型（包含健康对照，即年龄、性别匹配的健康成人静息态磁共振数据）作为监督训练标签对深度学习模型进行微调训练。训练时使用的学习策略为：使用合适的学习率，选择学习率为1e-5；冻结模型中图卷积层中的第一层GCN层，门控循环网络层中的第一层GRU层的模型参数，仅在训练过程中更新图卷积层中的第二层GCN层，门控循环网络中的第二层GRU层，以及多层感知器层的模型参数。当模型收敛后，将验证集输入模型进行测试，选取最优超参数并保存模型参数，得到最终的迁移模型。最后在测试集上对保存的最优模型进行测试。
利用最终的迁移模型进行疾病预测，采集受试者的静息态功能磁共振影像数据， 经预处理后，使用脑区信号提取模块得到结构化脑图
Figure 949320DEST_PATH_IMAGE035
作为迁移模型输入，迁移 模型的输出即为不同预测分类的概率，选取概率最大的结果即可得到对应的预测分类。
以上所述仅是本申请的优选实施方式。本申请不会被限制于本文所述的这些具体实施例，而是可以覆盖与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于静息态磁共振迁移学习的脑疾病预测系统，其特征在于，该系统包括：数据获取模块、数据处理模块、脑区信号提取模块、模型预训练模块和模型参数调整模块；
所述数据获取模块用于获取健康成人静息态磁共振数据和对应脑疾病的患者静息态磁共振数据；
所述数据处理模块用于将数据获取模块获取的数据进行标准的数据预处理，并配准到标准空间或皮层空间；
所述脑区信号提取模块用于基于数据处理模块处理后的数据以及匹配到标准空间或皮层空间的脑图谱，提取各个脑区的时间信号，根据提取得到的不同脑区的时间信号构建图模型脑功能数据；
所述模型预训练模块用于利用图卷积网络和门控循环网络构建深度学习模型，基于健康成人静息态磁共振数据得到的图模型脑功能数据对深度学习模型进行预训练，得到预训练模型；
所述模型参数调整模块用于基于模型预训练模块得到的预训练模型，通过基于患者静息态磁共振数据得到的图模型脑功能数据进行预训练模型的参数微调，得到最终的迁移模型后用于脑疾病预测。
2.根据权利要求1所述的基于静息态磁共振迁移学习的脑疾病预测系统，其特征在于，其中健康成人静息态磁共振数据中包括被试的结构磁共振影像、静息态功能磁共振影像、年龄和性别，对应脑疾病的患者静息态磁共振数据包括患者的结构磁共振影像、静息态功能磁共振影像、年龄、性别和疾病标签数据。
3.根据权利要求1所述的基于静息态磁共振迁移学习的脑疾病预测系统，其特征在于，数据处理模块的数据预处理过程包括：结构磁共振影像的脑提取、脑组织分割、由结构空间到标准空间的非线性配准和皮层重建；功能磁共振影像的头动校正、层时间校正、磁敏感伪影畸变校正、由功能空间到结构空间的非线性配准和由结构空间到标准空间的映射；经过数据预处理过程后得到与标准空间对齐的静息态功能磁共振数据。
4.根据权利要求1所述的基于静息态磁共振迁移学习的脑疾病预测系统，其特征在于， 所述脑区信号提取模块中图模型脑功能数据的构建方式具体为：将数据处理模块中得到的 与标准空间对齐的静息态功能磁共振数据按照标准空间中的脑图谱划分为不同的大脑区 域，提取各区域中所有体素的时间序列信号特征作为节点信息集合
Figure 129467DEST_PATH_IMAGE001
，其中N为 节点数，对应脑图谱划分的脑区数目，T为时间序列的长度，对应功能磁共振影像中的采样 长度，计算不同节点之间的皮尔逊相关系数作为脑图边的集合E，由节点信息集合V和边的 集合E组合构成结构化脑图
Figure 344810DEST_PATH_IMAGE002
。
5.根据权利要求1所述的基于静息态磁共振迁移学习的脑疾病预测系统，其特征在于， 模型预训练模块中所述的深度学习模型的网络框架包括用于整合空间信息的图卷积层，用 于提取时域特征的门控循环网络层、用于特征读出的读出层、以及用于特征分类的多层感 知器层；所述的图卷积层、门控循环网络层、读出层和多层感知器层依次相连组成用于迁移 学习的网络架构；图卷积层由两层堆叠的图卷积神经网络层GCN层构成：第一层GCN层由使 用切比雪夫Chebyshev卷积核的M个滤波器组成，在时域上独立作用于输入脑图的节点信息 集合
Figure 655706DEST_PATH_IMAGE003
，得到第一层的输出
Figure 582073DEST_PATH_IMAGE004
；第二层GCN层由使用切比雪夫 Chebyshev卷积核的单个滤波器组成，在时域上独立作用于第一层的输出
Figure 193183DEST_PATH_IMAGE005
，得到第二层的 输出
Figure 546804DEST_PATH_IMAGE006
；所述的门控循环网络层由两层堆叠的门控循环单元GRU层构成；所述的 读出层使用展平读出，将由GRU输出的高维矩阵展平至一维后输入多层感知器层；所述的多 层感知器层由两个全连接层构成，输出维度对应预训练模型和迁移模型分别为
Figure 610575DEST_PATH_IMAGE007
和
Figure 373257DEST_PATH_IMAGE008
。
6.根据权利要求1所述的基于静息态磁共振迁移学习的脑疾病预测系统，其特征在于，模型预训练模块中将基于健康成人静息态磁共振数据得到的图模型脑功能数据输入深度学习模型，以健康成人静息态磁共振数据中受试者的性别信息作为监督学习的标签对深度学习模型进行预训练；预训练时使用的损失函数Loss使用交叉熵损失函数：
Figure 573294DEST_PATH_IMAGE009
其中
Figure 363396DEST_PATH_IMAGE010
表示每个受试者i样本对应的性别标签，
Figure 648884DEST_PATH_IMAGE011
为深度学习模型预测的概率；预训练 结束后保存深度学习模型的模型参数。
7.根据权利要求1所述的基于静息态磁共振迁移学习的脑疾病预测系统，其特征在于， 所述模型参数调整模块中模型的参数微调时所使用的训练数据和标签数据包含预处理后 的对应脑疾病的患者静息态磁共振影像数据和年龄、性别匹配的健康成人静息态磁共振数 据；模型参数调整模块中使用的深度学习模型结构与模型预训练模块中所述的深度学习模 型结构一致；模型参数调整模块中模型使用的图卷积层和门控循环网络层的模型参数由模 型预训练模块中所述预训练模型中对应网络层的参数加载得到，后续多层感知器层的参数 由随机初始化获得，且多层感知器中全连接层的最后一层的输出维度
Figure 917054DEST_PATH_IMAGE012
，其中
Figure 971598DEST_PATH_IMAGE013
对应疾病分型数目，1代表正常型；对上 述深度学习模型进行微调的过程即为使用微调时的训练数据和标签数据在学习策略下对 模型进行监督训练的过程。
8.根据权利要求7所述的基于静息态磁共振迁移学习的脑疾病预测系统，其特征在于，模型微调使用的学习策略包括使用合适的学习率；冻结模型中图卷积层中的第一层GCN层，门控循环网络层中的第一层GRU层的模型参数，仅在训练过程中更新图卷积层中的第二层GCN层、门控循环网络中的第二层GRU层以及多层感知器层的模型参数。
CN202211056174.0A 2022-08-30 2022-08-30 一种基于静息态磁共振迁移学习的脑疾病预测系统 Active CN115116607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211056174.0A CN115116607B (zh) 2022-08-30 2022-08-30 一种基于静息态磁共振迁移学习的脑疾病预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211056174.0A CN115116607B (zh) 2022-08-30 2022-08-30 一种基于静息态磁共振迁移学习的脑疾病预测系统

Publications (2)

Publication Number Publication Date
CN115116607A true CN115116607A (zh) 2022-09-27
CN115116607B CN115116607B (zh) 2022-12-13

Family

ID=83335944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211056174.0A Active CN115116607B (zh) 2022-08-30 2022-08-30 一种基于静息态磁共振迁移学习的脑疾病预测系统

Country Status (1)

Country Link
CN (1) CN115116607B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359045A (zh) * 2022-10-19 2022-11-18 之江实验室 基于多模态磁共振成像的图卷积神经网络疾病预测系统
CN116386864A (zh) * 2023-03-16 2023-07-04 上海外国语大学 一种基于深度学习和静息态脑电数据的抑郁分析方法
CN116503680A (zh) * 2023-06-30 2023-07-28 之江实验室 基于脑图谱的脑影像结构化分析和脑疾病分类系统
CN117058514A (zh) * 2023-10-12 2023-11-14 之江实验室 基于图神经网络的多模态脑影像数据融合解码方法和装置
CN117393167A (zh) * 2023-12-11 2024-01-12 中国人民解放军军事科学院军事医学研究院 一种基于人工智能模型的大脑健康评估方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109528197A (zh) * 2018-11-20 2019-03-29 中国科学院上海生命科学研究院 基于脑功能图谱的猴-人跨物种迁移进行精神疾病的个体化预测方法和系统
CN110097968A (zh) * 2019-03-27 2019-08-06 中国科学院自动化研究所 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统
CN110197729A (zh) * 2019-05-20 2019-09-03 华南理工大学 基于深度学习的静息态fMRI数据分类方法和装置
SG10201914133SA (en) * 2018-12-31 2020-07-29 Dathena Science Pte Ltd Methods and systems for personal information detection, extraction, linking, protection and management
CN112890827A (zh) * 2021-01-14 2021-06-04 重庆兆琨智医科技有限公司 一种基于图卷积和门控循环单元的脑电识别方法及系统
WO2021120936A1 (zh) * 2019-12-19 2021-06-24 浙江大学 一种基于多任务学习模型的慢病预测系统
US11264138B1 (en) * 2020-10-08 2022-03-01 Omniscient Neurotechnology Pty Limited Generating brain network impact scores

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109528197A (zh) * 2018-11-20 2019-03-29 中国科学院上海生命科学研究院 基于脑功能图谱的猴-人跨物种迁移进行精神疾病的个体化预测方法和系统
SG10201914133SA (en) * 2018-12-31 2020-07-29 Dathena Science Pte Ltd Methods and systems for personal information detection, extraction, linking, protection and management
CN110097968A (zh) * 2019-03-27 2019-08-06 中国科学院自动化研究所 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统
CN110197729A (zh) * 2019-05-20 2019-09-03 华南理工大学 基于深度学习的静息态fMRI数据分类方法和装置
WO2021120936A1 (zh) * 2019-12-19 2021-06-24 浙江大学 一种基于多任务学习模型的慢病预测系统
US11264138B1 (en) * 2020-10-08 2022-03-01 Omniscient Neurotechnology Pty Limited Generating brain network impact scores
CN112890827A (zh) * 2021-01-14 2021-06-04 重庆兆琨智医科技有限公司 一种基于图卷积和门控循环单元的脑电识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG L: "A Cascaded Multi-modality Analysis in Mild Cognitive Impairment", 《INTERNATIONAL WORKSHOP ON MACHINE LEARNING IN MEDICAL IMAGING》 *
王贝贝: "融合多源时空数据的交通事故风险预测方法研究", 《CNKI优秀硕士学位论文全文库》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359045A (zh) * 2022-10-19 2022-11-18 之江实验室 基于多模态磁共振成像的图卷积神经网络疾病预测系统
CN115359045B (zh) * 2022-10-19 2023-03-17 之江实验室 基于多模态磁共振成像的图卷积神经网络疾病预测系统
WO2024083057A1 (zh) * 2022-10-19 2024-04-25 之江实验室 基于多模态磁共振成像的图卷积神经网络疾病预测系统
CN116386864A (zh) * 2023-03-16 2023-07-04 上海外国语大学 一种基于深度学习和静息态脑电数据的抑郁分析方法
CN116503680A (zh) * 2023-06-30 2023-07-28 之江实验室 基于脑图谱的脑影像结构化分析和脑疾病分类系统
CN116503680B (zh) * 2023-06-30 2023-08-29 之江实验室 基于脑图谱的脑影像结构化分析和脑疾病分类系统
CN117058514A (zh) * 2023-10-12 2023-11-14 之江实验室 基于图神经网络的多模态脑影像数据融合解码方法和装置
CN117058514B (zh) * 2023-10-12 2024-04-02 之江实验室 基于图神经网络的多模态脑影像数据融合解码方法和装置
CN117393167A (zh) * 2023-12-11 2024-01-12 中国人民解放军军事科学院军事医学研究院 一种基于人工智能模型的大脑健康评估方法
CN117393167B (zh) * 2023-12-11 2024-03-12 中国人民解放军军事科学院军事医学研究院 一种基于人工智能模型的大脑健康评估方法

Also Published As

Publication number Publication date
CN115116607B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN115116607B (zh) 一种基于静息态磁共振迁移学习的脑疾病预测系统
WO2021022752A1 (zh) 一种多模态三维医学影像融合方法、系统及电子设备
Li et al. Alzheimer's disease classification based on combination of multi-model convolutional networks
Reid et al. A cross-modal, cross-species comparison of connectivity measures in the primate brain
Ortiz et al. Learning longitudinal MRI patterns by SICE and deep learning: Assessing the Alzheimer’s disease progression
CN112465905A (zh) 基于深度学习的磁共振成像数据的特征脑区定位方法
Abdelmaguid et al. Left ventricle segmentation and volume estimation on cardiac mri using deep learning
Platero et al. Combining a patch-based approach with a non-rigid registration-based label fusion method for the hippocampal segmentation in Alzheimer’s disease
Deng et al. A strategy of MR brain tissue images' suggestive annotation based on modified U-net
CN113077456A (zh) 基于功能性磁共振成像构建网络模型的训练方法和装置、计算机设备以及存储介质
Bolhassani et al. Semi-supervised segmentation of multi-vendor and multi-center cardiac MRI
CN113052800B (zh) 一种阿尔茨海默症影像分析方法与装置
CN116051545B (zh) 一种双模态影像的脑龄预测方法
Bloy et al. HARDI based pattern classifiers for the identification of white matter pathologies
CN112200810A (zh) 多模态的自动化脑室分割系统及其使用方法
CN117036793A (zh) 一种基于pet影像多尺度特征的脑龄评估方法及装置
Tang et al. A causality-driven graph convolutional network for postural abnormality diagnosis in parkinsonians
Xu et al. Retinal vessel segmentation with vae reconstruction and multi-scale context extractor
Legarreta et al. Tractography filtering using autoencoders.
Dufumier et al. Exploring the potential of representation and transfer learning for anatomical neuroimaging: application to psychiatry
Rohini et al. ConvNet based detection and segmentation of brain tumor from MR images
Avci et al. Case study: deep convolutional networks in healthcare
Hussein Comparison of various machine learning regression models based on Human age prediction
Kushwaha et al. Attention deficit hyperactivity disorder prediction using Machine learning
Liu et al. Enhancing Alzheimer’s Disease Diagnosis via Hierarchical 3D-FCN with Multi-Modal Features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant