CN114376558B - 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统 - Google Patents

基于磁共振和孪生图神经网络的脑图谱个体化方法及系统 Download PDF

Info

Publication number
CN114376558B
CN114376558B CN202210296098.4A CN202210296098A CN114376558B CN 114376558 B CN114376558 B CN 114376558B CN 202210296098 A CN202210296098 A CN 202210296098A CN 114376558 B CN114376558 B CN 114376558B
Authority
CN
China
Prior art keywords
data
magnetic resonance
twin
atlas
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210296098.4A
Other languages
English (en)
Other versions
CN114376558A (zh
Inventor
张瑜
邱文渊
李军
陈子洋
孙超良
李劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210296098.4A priority Critical patent/CN114376558B/zh
Publication of CN114376558A publication Critical patent/CN114376558A/zh
Application granted granted Critical
Publication of CN114376558B publication Critical patent/CN114376558B/zh
Priority to PCT/CN2022/113908 priority patent/WO2023178916A1/zh
Priority to JP2022186860A priority patent/JP2023143663A/ja
Priority to US18/125,640 priority patent/US20230301542A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • A61B5/245—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Neurology (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于磁共振和孪生图神经网络的脑图谱个体化方法及系统；首先，对静息态功能磁共振数据（rs‑fMRI）利用基于感兴趣区域的功能连接提取特征，同时对该特征进行费雪变换和指数变换；其次，对该数据集中T1加权的磁共振数据提取对应邻接矩阵；然后，以变换之后的特征和邻接矩阵作为输入，以组图谱标签和采样掩膜作为输出，设计孪生图神经网络进行训练和测试。相比于其他的rs‑fMRI个体化图谱方案，本发明利用rs‑fMRI和组图谱的数据特点设计的孪生网络架构和中心采样模式所重建的个体化脑图在任务态磁共振数据上的激活分布更加均匀，同时具有更短的重建时间。

Description

基于磁共振和孪生图神经网络的脑图谱个体化方法及系统
技术领域
本发明涉及医学影像领域和深度学习领域，尤其涉及一种基于磁共振和孪生图神经网络的脑图谱个体化方法及系统。
背景技术
大脑皮层为人体感知，运动和其他认知功能提供了重要基础。神经科学中，脑分区对于大脑功能的认知，定位和分析具有十分重要的意义。
大脑皮层区域展现出不同功能、构造、连接关系和拓扑结构，因而可以通过聚类的手段进行脑分区。目前已经有相当多的非侵入方法来获取大脑皮层中的相关信息，如磁共振（MRI）、脑磁图（MEG）等等。其中，MRI由于具有相对较高的时空分辨率，无辐射等优点，已经成为广泛使用的成像技术。静息态功能磁共振成像（rs-fMRI）, 能够反应受试者在无任务状态下大脑血氧信号的变化情况，这些变化的相关关系能够为大脑皮层分区提供充足的依据，因而是研究脑分区的主要手段之一。进一步地，由rs-fMRI计算获得的静息态功能连接（RSFC）能够反应脑区fMRI信号的同步性，因而能可靠的反应皮层顶点间的相关关系。不仅如此，RSFC是可遗传的，与皮层的基因表达相关，能够预测个体间的行为差异。因此许多脑图谱的构建都是利用RSFC信号对脑区进行聚类分割，并在受试者中进行平均的结果。这种基于大量受试者平均的脑图，即组图谱（参考文献：Schaefer, A., Kong, R., Gordon,E. M., Laumann, T. O., Zuo, X., and Holmes, A. J., et al. (2018). Local-global parcellation of the human cerebral cortex from intrinsic functionalconnectivity MRI. Cereb. Cortex. 28(9), 3095-3114.）可以为人体大脑宏观的组织结构提供重要的观测指标和统计数据。然而，这种脑图往往缺乏对个体间差异的体现，尤其是在脑区尺寸，空间位置与排列方式等有显著变化的区域。因此，如果行为预测或疾病诊断与这些差异相关，就难以被准确检测出来。这样的组图谱在构建生物指纹特征的过程中具有比较大的局限性。因此，个体化脑图在神经科学领域与临床研究中占据越来越重要的地位，它不仅可以预测人的认知，行为，情感等，而且能捕获人体大脑拓扑结构的个体差异性，并能对这些差异进行基因分析。更重要的是的，它能生成个体大脑的生物指纹特征，在脑退行性疾病（如阿尔兹海默症，帕金森症）预测和诊断方面有着重要作用。
传统的个体化脑图算法往往依赖于欧氏空间或皮层空间中结构成像的线性的或非线性的配准。一些机器学习算法为这些配准提供了部分分析工具，如通过功能区域，解剖结构，功能连接等对齐皮层区域。比如Wang等人（参考文献：Wang D, Buckner R L, Fox MD, et al. Parcellating cortical functional networks in individuals[J]. Natureneuroscience, 2015,18(12):1853-1860.）引入‘核心信号’的概念，并通过功能连接，信噪比来不断更新核心信号的脑区标签，以重建个体化图谱；Chong等人（参考文献：Chong M ,Bhushan C , Joshi A A , et al. Individual parcellation of resting fMRI with agroup functional connectivity prior[J]. NeuroImage, 2017, 156:87-100.）利用贝叶斯模型和稀疏约束的方案来迭代优化个体化图谱。然而这两种方法仅仅利用了脑皮层rs-fMRI信号的部分先验知识，没有将个体间一致性（个体间部分脑分区呈现高度相似）和差异性（个体间部分脑分区呈现较大差异）这两个先验知识显示地引入到算法中。而Kong等人（参考文献1：Kong R, Li J, Orban C, et al. Spatial topography of individual-specific cortical networks predicts human cognition, personality, and emotion[J]. Cerebral cortex, 2019,29(6):2533-2551.参考文献2：Kong R, Yang Q, GordonE, et al. Individual-Specific Areal-Level parcellations improve functionalconnectivity prediction of behavior[J]. bioRxiv, 2021.）通过建立概率图模型，显式地引入组图谱，受试者间差异性，受试者内一致性等先验知识来重建个体化图谱，进一步的提升了个体脑图的重建效果并证明了其合理性。以上方案仍然有一些缺点，比如仅考虑到fMRI单个数据节点或其一阶领域节点的特征，并且其迭代方案收敛比较缓慢，重建时间较长。
发明内容
针对现有技术的不足，本发明提出了一种基于磁共振和孪生图神经网络的脑图谱个体化方法及系统。通过在大量受试者数据上训练，利用训练好的孪生图神经网络对未知的静息态磁共振数据的个体化脑图进行推断，能够明显减少重建时间；利用组图谱和采样掩膜作为标签，引入孪生网络并采用半监督的学习方式，能够使个体化脑图保留较高的个体间一致性的同时，尽可能的体现个体间的差异性。不仅如此，由于所利用的孪生图神经网络采用切比雪夫多项式图卷积结构，能够充分利用高阶领域的信息，对各顶点的归属脑区定位更加准确。
本发明的技术方案是：首先根据受试者rs-fMRI数据和T1加权MRI数据构建功能连接和邻接矩阵，将邻接矩阵转化为基于顶点的脑连接图，然后将功能连接嵌入到该脑图中，作为网络输入；然后使用高阶图卷积来整合上述脑图顶点间的局部特征，并在每个图卷积层中训练多个卷积核来编码皮层区域的差异性，不仅如此，还利用孪生网络的架构，显式的将受试者间的差异性引入到损失函数中，以此构建基于孪生图卷积网络模型来进行训练；最后，引入了高置信度点概念，利用弗洛伊德算法Floyd–Warshall计算组图谱中所有顶点的最短路径长度，并计算每个脑区中顶点的离心度，取部分离心度小的点作为高置信度点，生成这些点构成的采样掩膜，这样可以进一步的保留个体间的一致性，同时又能保证受试者间具有足够的差异性，以此设计了半监督的学习模式。
具体而言，所述方法包括以下几个步骤：
（1）获取受试者磁共振数据，该数据是基于大脑皮层顶点的时间序列数据；
（2）将受试者磁共振数据利用基于感兴趣区域的功能连接RSFC提取特征，同时对提取的特征进行费雪变换以使特征正态化，并进行指数变换使特征稀疏化，将稀疏化后的数据作为孪生图神经网络的特征输入；
（3）根据受试者磁共振数据，获取受试者大脑皮层表面的连接信息，根据连接信息描述的大脑皮层各顶点的连接关系，计算受试者的邻接矩阵，作为孪生图神经网络的图输入；
（4）利用弗洛伊德算法Floyd–Warshall提取组图谱的中心点采样掩膜，作为孪生图神经网络损失函数的加权系数；
（5）将受试者间差异性加入到网络损失函数中，以中心点采样掩膜和组图谱作为标签采用半监督学习的方式训练网络；
（6）给定任意的磁共振数据，经过步骤（2）中相同的特征提取过程，输入到训练好的孪生图神经网络中，将孪生图神经网络输出的个体化分区的one-hot编码矩阵沿着编码维度以最大值的位置映射为一维向量，得到受试者磁共振数据对应的个体化脑图谱。
进一步地，获取的受试者磁共振数据包括rs-fMRI皮层数据和T1加权磁共振MRI数据；所述静息态功能磁共振rs-fMRI皮层数据用于功能连接RSFC提取特征，所述T1加权磁共振MRI数据用于计算受试者的邻接矩阵。
进一步地，功能连接RSFC特征提取中，每个受试者均选用从左到右的两个扫描序列的静息态功能磁共振rs-fMRI数据，然后选取组图谱作为参考图谱，基于组图谱定义感兴趣区域ROI计算该区域的平均时间序列信号，然后与所有受试者的功能性磁共振成像fMRI皮层表面顶点的平均时间序列信号做皮尔逊相关，生成皮层表面顶点与ROI间的功能连接矩阵，矩阵中每一行代表顶点的特征向量，然后使用费雪变换和指数变换对提取到的特征进行数据转换，其中费雪变换和指数变换公式分别为：
Figure 898998DEST_PATH_IMAGE001
其中，
Figure 19401DEST_PATH_IMAGE002
是功能连接矩阵，使用皮尔逊相关系数计算得到，范围为[-1,1]，
Figure 533559DEST_PATH_IMAGE003
是经过 费雪变换的结果，
Figure 132031DEST_PATH_IMAGE004
是指数变换之后的数据，其中
Figure 415245DEST_PATH_IMAGE005
控制缩放范围，取值范围为[0.1,1]。
进一步地，计算邻接矩阵时，将T1加权磁共振数据投射到32k分辨率的大脑皮层上，获得对应的脑图连接数据，并据此数据计算邻接矩阵，作为孪生图神经网络的图输入。
进一步地，构建的孪生图神经网络包括参数共享的两层图神经网络GCN层，第一层使用64个滤波器，第二层使用的滤波器数目等于所使用的组图谱脑区数目，其中滤波器使用切比雪夫Chebyshev卷积核，阶数使用6阶。
进一步地，选取组图谱计算采样掩膜过程中，对于给定的任意受试者的功能性磁共振成像fMRI皮层表面顶点，根据弗洛伊德算法Floyd–Warshall计算邻接矩阵中给定顶点到其他fMRI皮层表面顶点的最短距离SPD，取最大的SPD作为给定顶点的离心度；对每个感兴趣ROI区域，将离心度从小到大排序，选取前20%离心度最小的点作为置信度高的点，提取中心点采样掩膜。
进一步地，孪生图神经网络损失函数计算时，每次输入将提供两个受试者数据，以及它们是否属于同一个受试者的标签，对应的损失函数包括组图谱与两个受试者个体化脑图谱的交叉熵和个体化脑图谱间的对比损失函数；权重比为1:1:λ，λ为超参数，表示为对比损失函数所占的比重；其中一组受试者完整损失函数为：
Figure 706549DEST_PATH_IMAGE006
其中
Figure 442423DEST_PATH_IMAGE007
中三项分别表示第
Figure 611630DEST_PATH_IMAGE008
个顶点脑区标签为
Figure 483771DEST_PATH_IMAGE009
的概率
Figure 211556DEST_PATH_IMAGE010
与受试者
Figure 434727DEST_PATH_IMAGE011
和受试者
Figure 640580DEST_PATH_IMAGE012
脑区预测值
Figure 632807DEST_PATH_IMAGE013
的交叉熵，以及对比损失函数ContrastLoss；ContrastLoss表示对
Figure 531493DEST_PATH_IMAGE013
相似度的度量；
Figure 241960DEST_PATH_IMAGE014
是第
Figure 484460DEST_PATH_IMAGE008
个顶点的采样掩膜，
Figure 596772DEST_PATH_IMAGE015
表示输入的一组数据属于 同一个受试者，
Figure 400780DEST_PATH_IMAGE016
表示输入的一组数据属于不同的受试者，threshold是一个阈 值，表示当不同受试者的相似度超过这个阈值时才受到惩罚。
第二方面，本发明还提供了一种基于磁共振和孪生图神经网络的脑图谱个体化系统，该系统包括数据获取模块、特征提取模块、邻接矩阵计算模块、中心点采样掩膜提取模块、孪生图神经网络构建模块和个体化脑图模块；
所述数据获取模块用于获取受试者磁共振数据，该数据是基于大脑皮层顶点的时间序列数据；
所述特征提取模块用于将受试者磁共振数据利用基于感兴趣区域的功能连接RSFC提取特征，同时对提取的特征进行费雪变换以使特征正态化，并进行指数变换使特征稀疏化，将稀疏化后的数据作为孪生图神经网络的特征输入；
所述邻接矩阵计算模块用于根据数据获取与处理模块得到的磁共振数据，获取受试者大脑皮层表面的连接信息，根据连接信息描述的大脑皮层各顶点的连接关系，计算受试者的邻接矩阵，作为孪生图神经网络的图输入；
所述中心点采样掩膜提取模块用于利用弗洛伊德算法Floyd–Warshall提取组图谱的中心点采样掩膜，作为孪生图神经网络损失函数的加权系数；
所述孪生图神经网络构建模块用于构建孪生图神经网络，并将受试者间差异性加入到网络损失函数中，以中心点采样掩膜和组图谱作为标签采用半监督学习的方式训练网络；
所述个体化脑图模块用于将孪生图神经网络输出的个体化分区的one-hot编码矩阵沿着编码维度以最大值的位置映射为一维向量，得到受试者磁共振数据对应的个体化脑图。
第三方面，本发明还提供了一种基于磁共振和孪生图神经网络的脑图谱个体化装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的基于磁共振和孪生图神经网络的脑图谱个体化方法。
第四方面，本发明还提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，实现所述的基于磁共振和孪生图神经网络的脑图谱个体化方法。
本发明的有益效果是，本发明通过以组图谱和中心点采样掩膜为标签，既保证了个体图谱与组图谱的一致性，也容许个体化图谱在边界部分表现较强的变异性；此外通过引入孪生网络的架构，既保证了受试者内个体图谱的一致性，同时也提升了不同受试者个体图谱的差异性。同时与背景介绍中的其他技术相比，在保证个体化图谱有效性的同时，大幅减少了重建时间。利用本发明为每个受试者构建合理的个体化脑图，有利于获取更加准确的生物学意义指纹特征信息，在行为预测，基因遗传分析，脑疾病诊断等方面有着极为广泛的用途。
附图说明
图1是本发明提供的一种基于磁共振和孪生图神经网络的脑图谱个体化方法流程示意图。
图2是本发明孪生图神经网络结构示意图。
图3是本发明提供的一种基于磁共振和孪生图神经网络的脑图谱个体化系统结构示意图。
图4是本发明提供的一种基于磁共振和孪生图神经网络的脑图谱个体化装置的结构图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
本发明提供一种基于磁共振和孪生图神经网络的脑图谱个体化方法及系统，在保证受试者功能区一致性的情况下，尽可能的表现个体间的差异性。根据受试者rs-fMRI数据和T1加权MRI数据构建功能连接和邻接矩阵，作为模型输入；利用组图谱设计采样掩膜，获得一致性比较高的区域作为采样区域，并将这两者引入到损失函数中；设计基于孪生图神经网络的重建模型，进行训练；最后，鉴于脑图谱没有真实值作为评估，选取部分可以评估个体脑图合理性的指标，如评估个体脑图在任务态数据上的激活分布情况。具体步骤为：
步骤（1）：数据获取。获取HCP 1200S的磁共振数据，数据地址为https://db.humanconnectome.org/data/projects/HCP_1200，其中包含1022个受试者的T1加权的磁共振数据，静息态磁共振数据和任务态激活数据。磁共振数据是利用32通道的3T西门子磁共振设备扫描得到的，TR=720ms，空间分辨率为2mm。所有受试者分别在两天内进行扫描，获取fMRI的相位编码从左到右的两个扫描序列。
步骤（2）：数据预处理。使用HCP预处理管道进行数据处理(https://github.com/Washington-University/HCPpipelines)，具体过程为：a)首先利用fMRIVolume管道生成4维的时间序列（比如“.nii.gz”文件），该处理已经包括梯度解卷，运动矫正，基于场图的平面回波成像EPI失真矫正等等；b)fMRIsurface 管道将欧氏空间的fMRI数据映射到32k分辨率的个体皮层数据（比如“dtseries.nii”文件），然后使用基于高斯分布的皮层平滑算法处理；c)其他预处理包括，在获得的皮层数据上回归去除白质和脊髓液信号，并用频率为0.01到0.1HZ的带宽滤波器进行滤波。其中fMRIVolume，fMRIsurface以及其他详细处理方法可以在上述链接中找到相关说明。
步骤（3）：构建特征输入
Figure 598543DEST_PATH_IMAGE017
。如图1，选取参考组图谱（Schaefer, A., Kong, R., Gordon, E. M., Laumann, T. O., Zuo, X., and Holmes, A. J., et al. (2018). Local-global parcellation of the human cerebral cortex from intrinsic functional connectivity MRI. Cereb. Cortex. 28(9), 3095-3114.）和rs-fMRI进行特 征生成。基于组图谱定义感兴趣区域（ROI），计算该组图谱每个脑区中所有顶点时间序列信 号的平均值，计算脑区平均时间序列与每个顶点时间序列的皮尔逊相关性，构成基于顶点 和感兴趣区域之间的功能连接矩阵，其中矩阵中每一行代表顶点的特征向量，从而实现特 征降维，以此作为特征输入
Figure 146199DEST_PATH_IMAGE017
。根据“*.white.32k_fs_LR.surf.gii”包含的三角面片的连 接关系，定义该受试者的邻接矩阵，其中“*”表示受试者编号。
步骤（4）：构建图输入
Figure 113018DEST_PATH_IMAGE018
。预处理步骤（2）中可以获得表层连接关系的数据(* .white.32k_fs_LR.surf.gii)，即图1中标注的“脑图连接数据”，移除脑干区域附近的点， 可以获得与步骤（3）中特征
Figure 353507DEST_PATH_IMAGE017
对应的各皮层顶点关系数据。如果为每个受试者定义顶点连 接图：
Figure 772987DEST_PATH_IMAGE019
，那么
Figure 625799DEST_PATH_IMAGE020
代表的是皮层顶点，
Figure 447124DEST_PATH_IMAGE021
代表的是顶点间的连接关系。利用该gii文件 就可以计算顶点的邻接矩阵，构建脑连接图G。可以发现所获取的顶点连接图是高度稀疏的 并且具有显著的局部连接特点。多数情况下，每个顶点仅仅和周围2-6个相邻顶点有连接。
步骤（5）：构建采样掩膜。如图1，选取参考组图谱，根据弗洛伊德算法Floyd– Warshall计算邻接矩阵中每个顶点到其他顶点的最短距离（SPD），取最大的SPD作为该顶点 的离心度。具体而言，以组图谱的分区A中顶点a为例，利用Floyd–Warshall 算法根据步骤 （4）中定义好的图
Figure 858514DEST_PATH_IMAGE018
计算a到A中其他点的最短路径长度。然后以这些长度的最大值作为a在 分区A中的离心度。接着以这种方式计算A中所有点的离心度，并按从小到大的顺序排序，选 取前20%的离心度较小的点作为A区域的中心点集，赋予标签1，其他点赋予标签0，并定义值 为1的点为置信度高的点；以这种方式对大脑中所有脑区顶点进行离心度计算并赋值，可以 提取中心点采样掩膜，受试者在这些点上标签分布比较稳定，与组图谱标签更加接近。
步骤（6）：构建训练、验证和测试集。如图2，选取50个受试者，共计100个扫描序列，随机构成50个二元数据组，每组包含两个扫描序列，用图2中“特征1”和“特征2”表示，如果来自相同的受试者，则记录标签1，否则为-1。然后对这些二元数据组使用费雪变换使特征正态化，接着对特征进行指数变换和归一化处理，以加强显著特征。其中费雪变换和指数变换公式为：
Figure 30869DEST_PATH_IMAGE001
其中，r是功能连接，使用皮尔逊相关度计算，范围为[-1,1]，f是经过费雪变换的结果，d是指数变换之后的数据，其中sig控制缩放范围，一般取值0.1到1之间。
然后将这50个二元组按照4：1的方式构建训练集和验证集。从剩下的972个受试者中随机选取50个受试者作为测试集。其中在使用验证集时，选取了两个指标用于选择训练最好的模型。其一是Dice系数，是一种集合相似度度量函数，与相似度指数相同，也被称为系数。用来预测的图谱与组图谱的重叠程度，重叠程度越高表明个体图谱与组图谱越像；其二是静息态一致性系数，定义是个体图谱中，每个分区顶点的时间序列两两相关系数的平均值，然后在所有脑区上再做一次平均，这里静息态一致性系数越高，表明个体图谱分区内的信号越相关，即个体图谱越合理。综合考虑这两个指标选取最好的训练模型。
步骤（7）：构建损失函数。根据数据集中受试者间差异大于受试者内差异的特点，将受试者间差异性加入到网络损失函数中。如图2所示，每次输入一个二元组，即两个受试者数据，以及它们是否属于同一个受试者的标签，分别构建组图谱与“特征1”和“特征2”对应个体图谱的交叉熵损失函数，同时加入这两个个体图谱间的对比损失函数。其中交叉熵损失函数表示孪生图神经网络的预测值与组图谱观测值分布的差距，对比损失函数表示输入的两个个体图谱之间的差异性。将权重比设置为1:1:λ，λ为超参数，表明对比损失函数所占的比重。其中一组受试者完整损失函数为：
Figure 654749DEST_PATH_IMAGE023
其中
Figure 596160DEST_PATH_IMAGE007
中的三项分别表示第
Figure 178451DEST_PATH_IMAGE008
个顶点脑区标签为
Figure 572523DEST_PATH_IMAGE009
的概率
Figure 764208DEST_PATH_IMAGE010
与受试者
Figure 294546DEST_PATH_IMAGE011
,
Figure 47739DEST_PATH_IMAGE012
脑区预 测值
Figure 929107DEST_PATH_IMAGE013
的交叉熵，以及对比损失函数ContrastLoss。ContrastLoss表示对
Figure 160368DEST_PATH_IMAGE013
相似度的度量。这里，
Figure 810792DEST_PATH_IMAGE014
是采样掩膜，
Figure 734886DEST_PATH_IMAGE015
表示输入的一组数据属于同一个 受试者，
Figure 837971DEST_PATH_IMAGE016
表示输入的一组数据属于不同的受试者，threshold是一个非同一受试 者情况下的惩罚阈值，表示当不同受试者的相似度超过这个阈值时才受到惩罚。
步骤（8）：孪生图神经网络构建。网络构建中主要使用基于切比雪夫多项式的ChebNet图卷积层，该图卷积具体定义如下：
Figure 374388DEST_PATH_IMAGE024
其中，
Figure 144898DEST_PATH_IMAGE025
表示图卷积，
Figure 239893DEST_PATH_IMAGE026
是图数据
Figure 95854DEST_PATH_IMAGE027
，特征
Figure 934497DEST_PATH_IMAGE017
和脑连接图
Figure 293934DEST_PATH_IMAGE019
已经在步 骤（3）和（4）中定义，
Figure 559830DEST_PATH_IMAGE028
则是含有参数
Figure 637507DEST_PATH_IMAGE029
的卷积核，是待训练的网络参数。
Figure 778377DEST_PATH_IMAGE009
表示采用的 ChebNet的阶数，范围为0到K之间，本发明中K取6。
Figure 257899DEST_PATH_IMAGE030
表示第k阶切比雪夫多项式。
Figure 694697DEST_PATH_IMAGE031
表示正则化的拉普拉斯矩阵，L为图G的拉普拉斯矩阵，
Figure 259671DEST_PATH_IMAGE032
对应拉普拉斯矩阵最大 特征值，
Figure 440116DEST_PATH_IMAGE033
是单位矩阵。
孪生网络框架是一种人工神经网络的耦合框架，它以两个样本为输入，输出其在 新变换空间中的表示，并引入步骤（7）中的对比损失函数衡量新空间下两个样本表示的相 似程度。因此，一般的孪生网络中的二元输入组经过相同的神经网络，共享相同的网络参 数。具体而言，对于本发明，分别在网络框架中加入ChebNet图卷积层，第一层ChebNet的滤 波器数目为64，阶数为6，训练参数采用
Figure 774146DEST_PATH_IMAGE034
正则化，
Figure 381844DEST_PATH_IMAGE034
项权重为5×10-4，第二层ChebNet的滤 波器数目由选取参考组图谱决定，阶数为6，然后接一个Softmax层。为了避免过拟合，在每 个ChebNet层后面接入dropout层，其中随机丢弃率为0.5. 为了构建孪生图神经网络，将这 部分网络（两个ChebNet层+两个dropout层+一个Softmax层）设置为参数共享，同时输入一 个二元组，并以采样掩膜和组图谱作为标签采用半监督学习的方式训练网络。选用Adam优 化器进行网络训练，学习率初始为0.01。其他超参数为，损失函数中λ=2，threshold=2，预处 理中sig=0.1，训练周期epoch=100，训练batch_size=2。训练中，对应损失函数值最小的模 型将被保留下来，该孪生图神经网络可直接生成测试集中其他受试者的个体化脑图。
为了获取全脑个体化图谱，将上述步骤分别应用到左脑和右脑数据集上。具体而言，在使用HCP预处理管道对静息态磁共振预处理后得到“dtseries.nii”文件的皮层数据，共含有全脑59412顶点，读取该数据头文件可以将其切分为29696个顶点的左脑数据和29716个顶点的右脑数据，然后分别使用上述步骤完成重建。
步骤（9）：利用上述孪生图神经网络为测试集上所有受试者生成个体化脑图，在对应的功能磁共振数据上进行评估。这里，由于个体脑图谱没有真实值可以参考，可以利用“任务态非一致性”进行评估。该指标定义为任务态fMRI激活值在所有脑分区上方差的平均值。将这个平均值在测试集的所有受试者上再次平均就得到测试集的任务态非一致性。该指标反应的是，任务态数据的激活值在脑分区上的分布情况。因此一个合理的个体化分区必然使得这种激活分布更加均匀，即任务态非一致性较低。
为HCP的七个认知任务分别选取具有代表性的对比实验，这七个任务分别是运动，工作记忆，语言处理，情感处理，社会认知，博弈任务，相关任务。其对应的代表实验如表1所示：
表1
Figure 434114DEST_PATH_IMAGE035
结果表明，相比于组图谱，在大部分任务中，本发明所提出的方法具有显著更低的任务态非一致性（如语言任务中，本发明为任务非一致性1.96，而组图谱为2.02，p值<0.05）。这表明，相比于组图谱，受试者的任务态fMRI的激活在个体图谱上分布更加均匀，可以在一定程度上论证利用本发明重建的个体脑图的合理性。
本发明具有良好的可扩展性。特别地，本发明目前主要使用的是文献（Schaefer,A., Kong, R., Gordon, E. M., Laumann, T. O., Zuo, X., and Holmes, A. J., etal. (2018). Local-global parcellation of the human cerebral cortex fromintrinsic functional connectivity MRI. Cereb. Cortex. 28(9), 3095-3114.）中400分区的组图谱，目标是生成个体的400分区脑图，但是更换组图谱分区，比如100， 200，1000等也可适用。具体而言，需要在上述步骤中获取RSFC时根据定义的组图谱重新计算，在新定义的组图谱分区中分别计算中心点采样掩膜，并对应调整网络参数，如第二层图卷积层滤波器数目调整为组图谱分区数的一半。
如图3所示，另一方面，本发明还提供了一种基于磁共振和孪生图神经网络的脑图谱个体化系统，该系统包括数据获取模块、特征提取模块、邻接矩阵计算模块、中心点采样掩膜提取模块、孪生图神经网络构建模块和个体化脑图模块；各模块实现功能的具体过程可以参考对应的方法实现步骤。
所述数据获取模块用于获取受试者磁共振数据，该数据是基于大脑皮层顶点的时间序列数据；
所述特征提取模块用于将受试者磁共振数据利用基于感兴趣区域的功能连接RSFC提取特征，同时对提取的特征进行费雪变换以使特征正态化，并进行指数变换使特征稀疏化，将稀疏化后的数据作为孪生图神经网络的特征输入；
所述邻接矩阵计算模块用于根据数据获取与处理模块得到的磁共振数据，获取受试者大脑皮层表面的连接信息，根据连接信息描述的大脑皮层各顶点的连接关系，计算受试者的邻接矩阵，作为孪生图神经网络的图输入；
所述中心点采样掩膜提取模块用于利用弗洛伊德算法Floyd–Warshall提取组图谱的中心点采样掩膜，作为孪生图神经网络损失函数的加权系数；
所述孪生图神经网络构建模块用于构建孪生图神经网络，并将受试者间差异性加入到网络损失函数中，以中心点采样掩膜和组图谱作为标签采用半监督学习的方式训练网络；
所述个体化脑图模块用于将孪生图神经网络输出的个体化分区的one-hot编码矩阵沿着编码维度以最大值的位置映射为一维向量，得到受试者磁共振数据对应的个体化脑图。
与前述基于磁共振和孪生图神经网络的脑图谱个体化方法的实施例相对应，本发明还提供了基于磁共振和孪生图神经网络的脑图谱个体化装置的实施例。
参见图4，本发明实施例提供的一种基于磁共振和孪生图神经网络的脑图谱个体化装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的基于磁共振和孪生图神经网络的脑图谱个体化方法。
本发明基于磁共振和孪生图神经网络的脑图谱个体化装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明基于磁共振和孪生图神经网络的脑图谱个体化装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于磁共振和孪生图神经网络的脑图谱个体化方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (8)

1.一种基于磁共振和孪生图神经网络的脑图谱个体化方法，其特征在于，该方法包括以下步骤；
（1）获取受试者磁共振数据，该数据是基于大脑皮层顶点的时间序列数据；
（2）将受试者磁共振数据利用基于感兴趣区域的功能连接RSFC提取特征，同时对提取的特征进行费雪变换以使特征正态化，并进行指数变换使特征稀疏化，将稀疏化后的数据作为孪生图神经网络的特征输入；
（3）根据受试者磁共振数据，获取受试者大脑皮层表面的连接信息，根据连接信息描述的大脑皮层各顶点的连接关系，计算受试者的邻接矩阵，作为孪生图神经网络的图输入；
（4）利用弗洛伊德算法Floyd–Warshall提取组图谱的中心点采样掩膜，作为孪生图神经网络损失函数的加权系数；选取组图谱计算采样掩膜过程中，对于给定的任意受试者的功能性磁共振成像fMRI皮层表面顶点，根据弗洛伊德算法Floyd–Warshall计算邻接矩阵中给定顶点到其他fMRI皮层表面顶点的最短距离SPD，取最大的SPD作为给定顶点的离心度；对每个感兴趣ROI区域，将离心度从小到大排序，选取前20%离心度最小的点作为置信度高的点，提取中心点采样掩膜；
（5）将受试者间差异性加入到网络损失函数中，以中心点采样掩膜和组图谱作为标签采用半监督学习的方式训练网络；孪生图神经网络损失函数计算时，每次输入将提供两个受试者数据，以及它们是否属于同一个受试者的标签，对应的损失函数包括组图谱与两个受试者个体化脑图谱的交叉熵和个体化脑图谱间的对比损失函数；权重比为1:1:λ，λ为超参数，表示为对比损失函数所占的比重；其中一组受试者完整损失函数为：
Figure 804989DEST_PATH_IMAGE002
其中L中三项分别表示第i个顶点脑区标签为k的概率
Figure 456550DEST_PATH_IMAGE003
与受试者m和受试者n脑区预 测值
Figure 95342DEST_PATH_IMAGE004
的交叉熵，以及对比损失函数ContrastLoss；ContrastLoss表示对
Figure 490551DEST_PATH_IMAGE004
相似度的度量；
Figure 39344DEST_PATH_IMAGE005
是第i个顶点的采样掩膜，
Figure 596228DEST_PATH_IMAGE006
表示输入的一组数据属 于同一个受试者，
Figure 863261DEST_PATH_IMAGE007
表示输入的一组数据属于不同的受试者，threshold是一个阈 值，表示当不同受试者的相似度超过这个阈值时才受到惩罚；
（6）给定任意的磁共振数据，经过步骤（2）中相同的特征提取过程，输入到训练好的孪 生图神经网络中，具体过程为：分别在网络框架中加入ChebNet图卷积层，第一层ChebNet的 滤波器数目为64，阶数为6，训练参数采用
Figure 796582DEST_PATH_IMAGE008
正则化，第二层ChebNet的滤波器数目由选取参 考组图谱决定，阶数为6，然后接一个Softmax层；为了避免过拟合，在每个ChebNet层后面接 入dropout层；为了构建孪生图神经网络，将这部分网络设置为参数共享，同时输入一个二 元组，并以采样掩膜和组图谱作为标签采用半监督学习的方式训练网络；选用Adam优化器 进行网络训练，训练中，对应损失函数值最小的模型将被保留下来，将孪生图神经网络输出 的个体化分区的one-hot编码矩阵沿着编码维度以最大值的位置映射为一维向量，得到受 试者磁共振数据对应的个体化脑图谱。
2.根据权利要求1所述的一种基于磁共振和孪生图神经网络的脑图谱个体化方法，其特征在于，获取的受试者磁共振数据包括静息态功能磁共振rs-fMRI皮层数据和T1加权磁共振MRI数据；所述静息态功能磁共振rs-fMRI皮层数据用于功能连接RSFC提取特征，所述T1加权磁共振MRI数据用于计算受试者的邻接矩阵。
3.根据权利要求2所述的一种基于磁共振和孪生图神经网络的脑图谱个体化方法，其特征在于，功能连接RSFC特征提取中，每个受试者均选用相位编码从左到右的两个扫描序列的静息态功能磁共振rs-fMRI数据，然后选取组图谱作为参考图谱，基于组图谱定义感兴趣区域ROI计算该区域的平均时间序列信号，然后与所有受试者的功能性磁共振成像fMRI皮层表面顶点的平均时间序列信号做皮尔逊相关，生成皮层表面顶点与ROI间的功能连接矩阵，矩阵中每一行代表顶点的特征向量，然后使用费雪变换和指数变换对提取到的特征进行数据转换，其中费雪变换和指数变换公式分别为：
Figure 825980DEST_PATH_IMAGE009
其中，r是功能连接矩阵，使用皮尔逊相关系数计算得到，范围为[-1,1]，f是经过费雪变换的结果，d是指数变换之后的数据，其中sig控制缩放范围，取值范围为[0.1,1]。
4.根据权利要求2所述的一种基于磁共振和孪生图神经网络的脑图谱个体化方法，其特征在于，计算邻接矩阵时，将T1加权磁共振数据投射到32k分辨率的大脑皮层上，获得对应的脑图连接数据，并据此数据计算邻接矩阵，作为孪生图神经网络的图输入。
5.根据权利要求1所述的一种基于磁共振和孪生图神经网络的脑图谱个体化方法，其特征在于，构建的孪生图神经网络包括参数共享的两层图神经网络GCN层，其中滤波器使用切比雪夫Chebyshev卷积核。
6.一种基于磁共振和孪生图神经网络的脑图谱个体化系统，其特征在于，该系统包括数据获取模块、特征提取模块、邻接矩阵计算模块、中心点采样掩膜提取模块、孪生图神经网络构建模块和个体化脑图模块；
所述数据获取模块用于获取受试者磁共振数据，该数据是基于大脑皮层顶点的时间序列数据；
所述特征提取模块用于将受试者磁共振数据利用基于感兴趣区域的功能连接RSFC提取特征，同时对提取的特征进行费雪变换以使特征正态化，并进行指数变换使特征稀疏化，将稀疏化后的数据作为孪生图神经网络的特征输入；
所述邻接矩阵计算模块用于根据数据获取与处理模块得到的磁共振数据，获取受试者大脑皮层表面的连接信息，根据连接信息描述的大脑皮层各顶点的连接关系，计算受试者的邻接矩阵，作为孪生图神经网络的图输入；
所述中心点采样掩膜提取模块用于利用弗洛伊德算法Floyd–Warshall提取组图谱的中心点采样掩膜，作为孪生图神经网络损失函数的加权系数；选取组图谱计算采样掩膜过程中，对于给定的任意受试者的功能性磁共振成像fMRI皮层表面顶点，根据弗洛伊德算法Floyd–Warshall计算邻接矩阵中给定顶点到其他fMRI皮层表面顶点的最短距离SPD，取最大的SPD作为给定顶点的离心度；对每个感兴趣ROI区域，将离心度从小到大排序，选取前20%离心度最小的点作为置信度高的点，提取中心点采样掩膜；
所述孪生图神经网络构建模块用于构建孪生图神经网络，并将受试者间差异性加入到网络损失函数中，以中心点采样掩膜和组图谱作为标签采用半监督学习的方式训练网络；孪生图神经网络损失函数计算时，每次输入将提供两个受试者数据，以及它们是否属于同一个受试者的标签，对应的损失函数包括组图谱与两个受试者个体化脑图谱的交叉熵和个体化脑图谱间的对比损失函数；权重比为1:1:λ，λ为超参数，表示为对比损失函数所占的比重；其中一组受试者完整损失函数为：
Figure 553764DEST_PATH_IMAGE010
其中L中三项分别表示第i个顶点脑区标签为k的概率
Figure 308094DEST_PATH_IMAGE003
与受试者m和受试者n脑区预 测值
Figure 779526DEST_PATH_IMAGE004
的交叉熵，以及对比损失函数ContrastLoss；ContrastLoss表示对
Figure 37332DEST_PATH_IMAGE004
相似度的度量；
Figure 326231DEST_PATH_IMAGE005
是第i个顶点的采样掩膜，
Figure 567857DEST_PATH_IMAGE006
表示输入的一组数据属 于同一个受试者，
Figure 577401DEST_PATH_IMAGE007
表示输入的一组数据属于不同的受试者，threshold是一个阈 值，表示当不同受试者的相似度超过这个阈值时才受到惩罚；
所述个体化脑图模块用于得到受试者磁共振数据对应的个体化脑图；具体过程为：分 别在网络框架中加入ChebNet图卷积层，第一层ChebNet的滤波器数目为64，阶数为6，训练 参数采用
Figure 955293DEST_PATH_IMAGE008
正则化，第二层ChebNet的滤波器数目由选取参考组图谱决定，阶数为6，然后接 一个Softmax层；为了避免过拟合，在每个ChebNet层后面接入dropout层；为了构建孪生图 神经网络，将这部分网络设置为参数共享，同时输入一个二元组，并以采样掩膜和组图谱作 为标签采用半监督学习的方式训练网络；选用Adam优化器进行网络训练，训练中，对应损失 函数值最小的模型将被保留下来，将孪生图神经网络输出的个体化分区的one-hot编码矩 阵沿着编码维度以最大值的位置映射为一维向量，得到受试者磁共振数据对应的个体化脑 图谱。
7.一种基于磁共振和孪生图神经网络的脑图谱个体化装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，实现如权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1-5中任一项所述的方法。
CN202210296098.4A 2022-03-24 2022-03-24 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统 Active CN114376558B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202210296098.4A CN114376558B (zh) 2022-03-24 2022-03-24 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统
PCT/CN2022/113908 WO2023178916A1 (zh) 2022-03-24 2022-08-22 一种基于磁共振和孪生图神经网络的脑图谱个体化方法及系统
JP2022186860A JP2023143663A (ja) 2022-03-24 2022-11-22 磁気共鳴及びシャムグラフニューラルネットワークに基づく脳アトラスの個別化方法及びシステム
US18/125,640 US20230301542A1 (en) 2022-03-24 2023-03-23 Brain atlas individualization method and system based on magnetic resonance and twin graph neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210296098.4A CN114376558B (zh) 2022-03-24 2022-03-24 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统

Publications (2)

Publication Number Publication Date
CN114376558A CN114376558A (zh) 2022-04-22
CN114376558B true CN114376558B (zh) 2022-07-19

Family

ID=81206006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210296098.4A Active CN114376558B (zh) 2022-03-24 2022-03-24 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统

Country Status (4)

Country Link
US (1) US20230301542A1 (zh)
JP (1) JP2023143663A (zh)
CN (1) CN114376558B (zh)
WO (1) WO2023178916A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114376558B (zh) * 2022-03-24 2022-07-19 之江实验室 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统
CN115082586B (zh) * 2022-07-12 2023-04-04 中国科学院自动化研究所 群组先验引导的基于深度学习的丘脑个体化图谱绘制方法
CN115662576B (zh) * 2022-12-30 2023-05-09 北京航空航天大学 关联认知障碍病症的神经反馈训练范式的生成方法和系统
CN116564484A (zh) * 2023-05-16 2023-08-08 天津大学 一种基于网络稀疏度阈值选择的脑功能网络构建方法
CN116740221B (zh) * 2023-08-16 2023-10-20 之江实验室 实时脑功能激活图生成方法、装置、计算机设备和介质
CN116912252B (zh) * 2023-09-13 2024-01-16 中国科学院自动化研究所 面向模态缺失的影像数据的脑图谱个体化方法及系统
CN116984747B (zh) * 2023-09-19 2023-11-24 讯创(天津)电子有限公司 基于lmc工艺使用激光束刻蚀射频区域的方法
CN117058514B (zh) * 2023-10-12 2024-04-02 之江实验室 基于图神经网络的多模态脑影像数据融合解码方法和装置
CN117122303B (zh) * 2023-10-26 2024-01-30 烟台大学 一种脑网络的预测方法、系统、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101912263A (zh) * 2010-09-14 2010-12-15 北京师范大学 基于脑功能网络成分检测的实时功能磁共振数据处理系统
CN103440512A (zh) * 2013-09-17 2013-12-11 西安电子科技大学 一种基于张量局部保持投影的大脑认知状态的识别方法
CN110322554A (zh) * 2019-07-12 2019-10-11 中国科学院心理研究所 一种脑动态功能模式稳定性计算方法
CN110522448A (zh) * 2019-07-12 2019-12-03 东南大学 一种基于图卷积神经网络的脑网络分类方法
CN111728590A (zh) * 2020-06-30 2020-10-02 中国人民解放军国防科技大学 基于动态功能连接的个体认知能力预测方法和系统
CN111753947A (zh) * 2020-06-08 2020-10-09 深圳大学 静息态脑网络构建方法、装置、设备及计算机存储介质
CN112233805A (zh) * 2020-10-14 2021-01-15 河北工业大学 基于多图谱神经影像学数据进行生物标志物的挖掘方法
CN113616184A (zh) * 2021-06-30 2021-11-09 北京师范大学 基于多模态磁共振图像的脑网络建模与个体预测方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110301431A1 (en) * 2010-06-05 2011-12-08 The Board Of Trustees Of The Leland Stanford Junior University Methods of classifying cognitive states and traits and applications thereof
DE102010027277B4 (de) * 2010-07-15 2016-11-17 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Aufzeichnung bzw. Auswertung und Darstellung von medizinischen Abbildungsdatensätzen
US9662039B2 (en) * 2014-03-31 2017-05-30 The General Hospital Corporation System and method for functional brain organization mapping
JP2020512851A (ja) * 2017-03-08 2020-04-30 ワシントン・ユニバーシティＷａｓｈｉｎｇｔｏｎ Ｕｎｉｖｅｒｓｉｔｙ Ｍｒｉにおける動きのリアルタイムなモニタリング及び予測
US20190117072A1 (en) * 2017-10-24 2019-04-25 Siemens Healthcare Gmbh Decoding patient characteristics and brain state from magnetic resonance imaging data
CN109496338B (zh) * 2017-12-05 2022-06-21 北京师范大学 基于个体特征的经颅脑图谱导航方法及其系统
US11013423B2 (en) * 2018-01-12 2021-05-25 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for personalized treatment of neurological conditions using implantable neurostimulators
CN108898135B (zh) * 2018-06-30 2021-07-06 天津大学 一种大脑边缘系统图谱构建方法
CN109528197B (zh) * 2018-11-20 2022-07-08 中国科学院脑科学与智能技术卓越创新中心 基于脑功能图谱进行精神疾病的个体化预测方法和系统
US11449989B2 (en) * 2019-03-27 2022-09-20 The General Hospital Corporation Super-resolution anatomical magnetic resonance imaging using deep learning for cerebral cortex segmentation
CN111856362A (zh) * 2019-04-24 2020-10-30 深圳先进技术研究院 磁共振成像方法、装置、系统及存储介质
CN110197729A (zh) * 2019-05-20 2019-09-03 华南理工大学 基于深度学习的静息态fMRI数据分类方法和装置
CN110298364B (zh) * 2019-06-27 2021-06-15 安徽师范大学 面向功能性脑网络的多阈值下基于多任务的特征选择方法
CN110811622A (zh) * 2019-11-12 2020-02-21 北京大学 一种基于扩散磁共振成像纤维束追踪技术的个体化结构连接脑图谱绘制方法
US20210169332A1 (en) * 2019-11-27 2021-06-10 Brainspec Inc. Systems and methods of analyzing and interfacing with combined imaging and spectroscopy data for the brain
US20210170180A1 (en) * 2019-12-09 2021-06-10 Washington University Systems and methods of precision functional mapping-guided personalized neuromodulation
CN111569225B (zh) * 2020-05-08 2021-07-06 中国科学技术大学 实时功能性磁共振神经反馈调节认知控制的系统及方法
CN112002428B (zh) * 2020-08-24 2022-03-08 天津医科大学 以独立成分网络为参照的全脑个体化脑功能图谱构建方法
CN113040715B (zh) * 2021-03-09 2023-06-02 北京工业大学 一种基于卷积神经网络的人脑功能网络分类方法
CN113610808B (zh) * 2021-08-09 2023-11-03 中国科学院自动化研究所 基于个体脑连接图的群体脑图谱个体化方法、系统和设备
CN113539435B (zh) * 2021-09-17 2021-12-14 之江实验室 一种基于图模型的脑功能配准方法
CN114376558B (zh) * 2022-03-24 2022-07-19 之江实验室 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101912263A (zh) * 2010-09-14 2010-12-15 北京师范大学 基于脑功能网络成分检测的实时功能磁共振数据处理系统
CN103440512A (zh) * 2013-09-17 2013-12-11 西安电子科技大学 一种基于张量局部保持投影的大脑认知状态的识别方法
CN110322554A (zh) * 2019-07-12 2019-10-11 中国科学院心理研究所 一种脑动态功能模式稳定性计算方法
CN110522448A (zh) * 2019-07-12 2019-12-03 东南大学 一种基于图卷积神经网络的脑网络分类方法
CN111753947A (zh) * 2020-06-08 2020-10-09 深圳大学 静息态脑网络构建方法、装置、设备及计算机存储介质
CN111728590A (zh) * 2020-06-30 2020-10-02 中国人民解放军国防科技大学 基于动态功能连接的个体认知能力预测方法和系统
CN112233805A (zh) * 2020-10-14 2021-01-15 河北工业大学 基于多图谱神经影像学数据进行生物标志物的挖掘方法
CN113616184A (zh) * 2021-06-30 2021-11-09 北京师范大学 基于多模态磁共振图像的脑网络建模与个体预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于fMRI数据的脑功能网络构建方法;薛绍伟等;《计算机应用研究》;20101115(第11期);4055-4057 *
从群体到个体脑功能网络的分割及应用;王康程等;《科学通报》;20160930(第27期);3022-3035 *

Also Published As

Publication number Publication date
WO2023178916A1 (zh) 2023-09-28
US20230301542A1 (en) 2023-09-28
CN114376558A (zh) 2022-04-22
JP2023143663A (ja) 2023-10-06

Similar Documents

Publication Publication Date Title
CN114376558B (zh) 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统
US20220122250A1 (en) Brain feature prediction using geometric deep learning on graph representations of medical image data
Wismüller et al. Cluster analysis of biomedical image time-series
Goutte et al. On clustering fMRI time series
CN110097968B (zh) 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统
Mostafa et al. Diagnosis of autism spectrum disorder with convolutional autoencoder and structural MRI images
WO2022121100A1 (zh) 一种基于darts网络的多模态医学图像融合方法
Rocha et al. Recovery of neural dynamics criticality in personalized whole-brain models of stroke
Chen et al. Functional connectome of human cerebellum
Rathi et al. Detection and characterization of brain tumor using segmentation based on HSOM, wavelet packet feature spaces and ANN
CN115272295A (zh) 基于时域-空域联合状态的动态脑功能网络分析方法及系统
Hecker et al. Long-short term memory networks for electric source imaging with distributed dipole models
CN116051545B (zh) 一种双模态影像的脑龄预测方法
WO2023046960A1 (en) Method for reconstructing a brain network
CN114266738A (zh) 轻度脑损伤磁共振影像数据的纵向分析方法及系统
CN115985488A (zh) 基于动态超网络的脑疾病诊断方法、装置及系统
Hong et al. Structural and functional connectome relationships in early childhood
CN115251889B (zh) 一种功能磁共振影像动态连接网络特征描述方法
Anderson et al. Automated classification of atherosclerotic plaque from magnetic resonance images using predictive models
CN112716477B (zh) 一种模块化大脑功能连接网络的估计方法
Wu Brain Region-wise Connectivity-based Psychometric Prediction: Framework, Interpretation, Replicability and Generalizability
Lei et al. Longitudinal analysis for mild cognitive impairment identification via fused group learning with smooth regularization
Shen et al. Spatiotemporal Representation Learning for Short and Long Medical Image Time Series
Mostafa Machine Learning for the Diagnosis of Autism Spectrum Disorder
Prakash Chandra Comprehensive Study of Brain Age Prediction using Classical Machine Learning and Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant