CN116912252B - 面向模态缺失的影像数据的脑图谱个体化方法及系统 - Google Patents
面向模态缺失的影像数据的脑图谱个体化方法及系统 Download PDFInfo
- Publication number
- CN116912252B CN116912252B CN202311177916.XA CN202311177916A CN116912252B CN 116912252 B CN116912252 B CN 116912252B CN 202311177916 A CN202311177916 A CN 202311177916A CN 116912252 B CN116912252 B CN 116912252B
- Authority
- CN
- China
- Prior art keywords
- fingerprint
- image data
- mode
- group
- modality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000007812 deficiency Effects 0.000 title description 11
- 238000012217 deletion Methods 0.000 claims abstract description 42
- 230000037430 deletion Effects 0.000 claims abstract description 42
- 230000006870 function Effects 0.000 claims description 94
- 238000001228 spectrum Methods 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005481 NMR spectroscopy Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 8
- 230000001054 cortical effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000009792 diffusion process Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000006735 deficit Effects 0.000 claims 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000000284 resting effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 239000003814 drug Substances 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000023105 myelination Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种面向模态缺失的影像数据的脑图谱个体化方法及系统，涉及计算机技术领域，方法包括：获取个体的目标影像数据包括的第一模态组的指纹图；根据第一模态组中的第一部分模态的指纹图，预测得到目标影像数据所缺失的第二模态组的指纹图；基于预测得到的目标影像数据所缺失的所述第二模态组的指纹图，以及第一模态组中的第二部分模态的指纹图，得到个体脑图谱。本发明基于较易采集的模态的指纹图，预测得到难以采集的部分模态的指纹图，能够从缺失某一模态的影像数据中获取这些缺失模态所具有的信息的指纹图，提高个体化脑图谱绘制的准确程度。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种面向模态缺失的影像数据的脑图谱个体化方法及系统。
背景技术
脑图谱是神经科学研究和临床医学中重要的工具。然而，不同个体的脑区在大小、位置、功能和结构上都存在差异，而群体水平的脑图谱无法表征这种个体差异。为了解决这个问题，许多研究试图使用磁共振影像提供的个体信息来绘制个体水平的脑图谱。多项研究证明，准确地绘制个体水平的脑功能区对于比较和转化神经科学研究、脑疾病的诊断和治疗、以及精准医学具有重要价值。
然而，目前的个体脑图谱绘制方法大多仅利用某一特定模态磁共振影像提供的个体信息，忽视了多种模态影像之间更加全面互补的脑结构和功能特征。多模态磁共振图像（Magnetic resonance imaging，MRI）（例如，T1加权图像、T2加权图像、静息态功能磁共振影像（rs-fMRI）、任务功能磁共振影像（task-fMRI）、弥散磁共振影像（dMRI）等中蕴含着丰富的信息，对于建立准确的个体化脑图谱十分重要。其中，task-fMRI可以无创地检测大脑执行任务下的诱发活动，为个体水平功能区定位提供了必不可少的工具。研究者设计了各种任务范式来明确参与处理不同任务的功能区，从初级感觉过程（如视觉和运动），到高级认知和情绪过程（如工作记忆、情景记忆、语言处理、情绪处理和决策等）。然而，task-fMRI一方面需要研究者仔细设计任务范式，另一方面需要训练被试准确完成任务才能挖掘出任务成分对应的诱发区域。对于个体如部分功能丧失的患者、老人和儿童来说，高质量的task-fMRI采集难度大，训练成本高，在临床上难以适用。
因此，能够从缺失较难采集的某一模态的多模态影像数据获取尽可能丰富的信息，得到尽可能准确的个体化脑图谱是目前亟需解决的问题。
发明内容
本发明提供的面向模态缺失的影像数据的脑图谱个体化方法及系统，用于解决现有技术中存在的无法从缺失较难采集的某一模态的多模态影像数据获取尽可能丰富的信息，得到尽可能准确的个体化脑图谱的问题。
本发明提供的一种面向模态缺失的影像数据的脑图谱个体化方法，包括：
获取个体的目标影像数据包括的第一模态组的指纹图，其中，所述目标影像数据中缺失第二模态组的影像数据，无模态缺失的第一影像数据包括的所有模态由所述第一模态组以及所述第二模态组构成；
根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图；
基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱。
根据本发明提供的一种面向模态缺失的影像数据的脑图谱个体化方法，所述根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图，包括：
将所述第一部分模态的指纹图输入到目标缺失模态生成子模型，得到预测的所述目标影像数据所缺失的所述第二模态组的指纹图；
其中，所述目标缺失模态生成子模型的获取方式，包括：
获取所述第一影像数据中的所述第一模态组的指纹图；
将所述第一模态组中第一部分模态的指纹图输入到缺失模态生成子模型中进行训练，直至所述缺失模态生成子模型的损失函数收敛为止，得到所述目标缺失模态生成子模型。
根据本发明提供的一种面向模态缺失的影像数据的脑图谱个体化方法，所述基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱，包括：
将所述第二模态组的指纹图和所述第二部分模态的指纹图输入到目标图谱个体化子模型，得到所述个体脑图谱；
其中，所述目标图谱个体化子模型的获取方式，包括：
将获取的所述第一影像数据中的所述第一模态组中的第二部分模态的、目标指纹图和参考脑图谱输入到图谱个体化子模型进行训练，直至所述图谱个体化子模型的损失函数收敛为止，得到所述目标图谱个体化子模型，所述目标指纹图为将所述第一影像数据的第一模态组中第一部分模态的指纹图输入到目标缺失模态生成子模型，得到预测的所述第一影像数据的所述第二模态组的指纹图。
根据本发明提供的一种面向模态缺失的影像数据的脑图谱个体化方法，所述缺失模态生成子模型的损失函数的获取方式，包括：
根据所述第一影像数据中的所述第二模态组的指纹图和目标指纹图之间的均方误差，确定所述缺失模态生成子模型的损失函数。
根据本发明提供的一种面向模态缺失的影像数据的脑图谱个体化方法，所述图谱个体化子模型的损失函数的获取方式，包括：
根据指纹一致性损失函数和图谱一致性损失函数，确定所述图谱个体化子模型的损失函数，所述指纹一致性损失函数是根据所述目标指纹图和所述第一影像数据的所述第一模态组中的第二部分模态的指纹图上的各点指纹与所述各点指纹的脑区平均指纹之间的均方误差确定的，所述图谱一致性损失函数是根据所述各点指纹所属第一脑区的概率和预设变量确定的，所述预设变量用于表征所述各点指纹在所述参考脑图谱中是否属于所述第一脑区。
根据本发明提供的一种面向模态缺失的影像数据的脑图谱个体化方法，所述将获取的所述第一影像数据中的所述第一模态组中的第二部分模态的指纹图、目标指纹图和参考脑图谱输入到图谱个体化子模型进行训练之前，所述方法，还包括：
基于球面随机旋转和随机非线性扭曲，对第一指纹图进行增强，所述第一指纹图为所述第一影像数据中的所述第一模态组中的第二部分模态的指纹图、所述目标指纹图和所述参考脑图谱中以皮层表面网格顶点为单位的指纹图；
基于随机旋转、平移、放缩、亮度改变和对比度改变，对第二指纹图进行增强，所述第二指纹图为所述第一影像数据中的所述第二模态组的指纹图、所述目标指纹图和所述参考脑图谱中以三维体素为单位的指纹图。
根据本发明提供的一种面向模态缺失的影像数据的脑图谱个体化方法，所述第一模态组的指纹图和所述第二模态组的指纹图均为如下指纹图中的一种或多种：
静息功能指纹图、任务功能指纹图、解剖指纹图和几何指纹图；
其中，所述静息功能指纹图是基于静息态功能磁共振影像得到的，所述任务功能指纹图是基于任务功能磁共振影像得到的，所述解剖指纹图是基于弥散磁共振影像得到的，所述几何指纹图是基于核磁共振T1加权图像和核磁共振T2加权图像得到的。
本发明还提供一种面向模态缺失的影像数据的脑图谱个体化系统，包括：
第一获取模块，用于获取个体的目标影像数据包括的第一模态组的指纹图，其中，所述目标影像数据中缺失第二模态组的影像数据，无模态缺失的第一影像数据包括的所有模态由所述第一模态组以及所述第二模态组构成；
第二获取模块，用于根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图；
第三获取模块，用于基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱。
本发明还提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现如上述任一种所述面向模态缺失的影像数据的脑图谱个体化方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述面向模态缺失的影像数据的脑图谱个体化方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述面向模态缺失的影像数据的脑图谱个体化方法。
本发明提供的面向模态缺失的影像数据的脑图谱个体化方法及系统，基于较易采集的模态的指纹图，预测得到难以采集的部分模态的指纹图，能够从缺失某一模态的影像数据中获取这些缺失模态所具有的信息的指纹图，提高个体化脑图谱绘制的准确程度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的面向模态缺失的影像数据的脑图谱个体化方法的流程示意图；
图2是本发明提供的子模型的结构示意图；
图3是本发明提供的子模型训练过程的示意图；
图4是本发明提供的面向模态缺失的影像数据的脑图谱个体化系统的结构示意图；
图5是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明通过的面向模态缺失的影像数据的脑图谱个体化方法，基于目标缺失模态生成子模型和目标图谱个体化生成子模型，解决影像数据中的模态存在缺失场景下的脑图谱个体化问题，针对脑图谱个体化模型，本发明提出了一种新颖的损失函数，能够保证个体脑图谱与参考图谱具有一定相似性的同时，具有更好的脑区内信号同质性；采用基于U-net架构的卷积神经网络，能够在保证脑区相对连续的同时保持区域边界不会过度平滑以至于丢失细节，具体实现如下：
图1是本发明提供的面向模态缺失的影像数据的脑图谱个体化方法的流程示意图，如图1所示，方法包括：
步骤110，获取个体的目标影像数据包括的第一模态组的指纹图，其中，所述目标影像数据中缺失第二模态组的影像数据，无模态缺失的第一影像数据包括的所有模态由所述第一模态组以及所述第二模态组构成；
步骤120，根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图；
步骤130，基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱。
需要说明的是，上述方法的执行主体可以是计算机设备。
可选地，该个体可以具体为部分功能丧失的患者，也可以是正常成年人、老人和儿童。该目标影像数据可以具体为多模态MRI影像数据中缺失部分模态（即第二模态组）的影像数据，例如较难采集的task-fMRI，将未缺失的多模态MRI影像数据（即第一影像数据）包括的所有模态分为第一模态组和第二模态组，该目标影像数据由第一模态组的所有模态对应的MRI影像数据组成，例如，rs-fMRI和dMRI。
需要说明的是，本发明中可以使用的多模态MRI影像数据包括但不限于rs-fMRI、task-fMRI和dMRI。
基于现有的指纹图提取方法，提取个体的目标影像数据中的第一模态组的指纹图，其中，该第一模态组可以由两部分模态组成，分别为第一部分模态和第二部分模态，且第一部分模态的指纹图和第二部分模态的指纹图之间可以存在交集。
对提取到的目标影像数据中的第一模态组中的第一部分模态的指纹图进行预测，得到预测的目标影像数据中缺失的第二模态组的指纹图。
根据得到的预测的目标影像数据中缺失的第二模态组的指纹图和目标影像数据中的第一模态组中的第二部分模态的指纹图绘制个体脑图谱。
需要说明的是，第一模态组中的第一部分模态的指纹图和第二模态组的指纹图之间不能存在交集，而第二模态组的指纹图一定是第一模态组中的第二部分模态的指纹图的子集。例如，第一模态组中第一部分模态的指纹图为静息功能和解剖指纹图，第二模态组的指纹图为任务功能指纹图，第一模态组中第二部分模态的指纹图为静息功能、任务功能和解剖指纹图。
本发明提供的面向模态缺失的影像数据的脑图谱个体化方法，基于较易采集的模态的指纹图，预测得到难以采集的部分模态的指纹图，能够从缺失某一模态的影像数据中获取这些缺失模态所具有的信息的指纹图，提高个体化脑图谱绘制的准确程度。
进一步地，在一个实施例中，所述第一模态组的指纹图和所述第二模态组的指纹图均为如下指纹图中的一种或多种：
静息功能指纹图、任务功能指纹图、解剖指纹图和几何指纹图；
其中，所述静息功能指纹图是基于静息态功能磁共振影像得到的，所述任务功能指纹图是基于任务功能磁共振影像得到的，所述解剖指纹图是基于弥散磁共振影像得到的，所述几何指纹图是基于核磁共振T1加权图像和核磁共振T2加权图像得到的。
可选地，第一模态组中第一部分模态和第二部分模态的指纹图和第二模态组的指纹图均为如下指纹图中的一种或多种：
静息功能指纹图、任务功能指纹图、解剖指纹图和几何指纹图。
静息功能指纹图可以基于静息态功能磁共振影像rs-fMRI得到。一种提取方法是，首先将一组个体的rs-fMRI时间序列进行时间层校正、头动校正、畸变校正、空间平滑、时域滤波、配准等一系列预处理，然后通过组独立成分分析（Group Independent ComponentsAnalysis，GICA）得到若干组水平独立成分（Independent Components，IC），再使用双重回归方法（Dual Regression，DR）将这若干组水平IC映射到个体，得到个体水平IC并将其作为静息功能指纹。还可以提取其他静息功能指纹图，包括但不限于局部一致性（Regionalhomogeneity，Reho）、低频振幅（Amplitude of Low-Frequency Fluctuation，ALFF）、低频振幅比率（fractional Amplitude of Low-Frequency Fluctuations，fALFF）等。
任务功能指纹图可以基于任务功能磁共振影像task-fMRI得到。一种提取方法是，在执行不同任务（如工作记忆、运动、语言等）时采集fMRI影像，通过时间层校正、头动校正、畸变校正、空间平滑、时域滤波、配准等一系列预处理得到任务对比图（task contrastmap）并将其作为任务功能指纹。本发明还可以提取其他任务功能指纹图。
解剖指纹图可以基于弥散磁共振影像dMRI得到。一种提取方法是，首先通过配准或深度学习等方法将被试的全脑白质纤维划分为若干条，然后使用纤维追踪技术计算每个皮层表面顶点/体素到每条纤维束的解剖连接，得到解剖指纹图；还可以提取其他解剖指纹图，包括但不限于各向分数异性（Fractional Anisotropy，FA）、表观扩散系数（ApparentDiffusion Coefficient，ADC）、轴向扩散率（Axial Diffusivity，AD）、径向扩散率（RadialDiffusivity，RD）等。
几何指纹图可以基于核磁共振T1加权图像和核磁共振T2加权图像得到。一种提取方法是，利用核磁共振T1加权图像和核磁共振T2加权图像重建皮层表面网格，然后基于表面网格构造拉普拉斯-贝尔特拉米算子捕获局部顶点到顶点的空间关系和曲率，并通过求解一个特征值问题得到若干特征模式，将这些特征模式作为几何指纹图。还可以提取其他几何指纹图，包括但不限于皮层曲率、厚度、髓鞘化程度等。
本发明中的第一模态组的指纹图和第二模态组的指纹图也可以是静息功能指纹图、任务功能指纹图、解剖指纹图和几何指纹图之外的其他指纹图，本发明对此不做具体限定。
进一步地，在一个实施例中，所述根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图，可以包括：
将所述第一部分模态的指纹图输入到目标缺失模态生成子模型，得到预测的所述目标影像数据所缺失的所述第二模态组的指纹图；
其中，所述目标缺失模态生成子模型的获取方式，包括：
获取所述第一影像数据中的所述第一模态组的指纹图；
将所述第一模态组中第一部分模态的指纹图输入到缺失模态生成子模型中进行训练，直至所述缺失模态生成子模型的损失函数收敛为止，得到所述目标缺失模态生成子模型。
进一步地，在一个实施例中，所述基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱，可以包括：
将所述第二模态组的指纹图和所述第二部分模态的指纹图输入到目标图谱个体化子模型，得到所述个体脑图谱；
其中，所述目标图谱个体化子模型的获取方式，包括：
将获取的所述第一影像数据中的所述第一模态组中的第二部分模态的指纹图、目标指纹图和参考脑图谱输入到图谱个体化子模型进行训练，直至所述图谱个体化子模型的损失函数收敛为止，得到所述目标图谱个体化子模型，所述目标指纹图为将所述第一影像数据的第一模态组中第一部分模态的指纹图输入到目标缺失模态生成子模型，得到预测的所述第一影像数据的所述第二模态组的指纹图。
可选地，将提取到的目标影像数据中的第一模态组中第一部分模态的指纹图输入到目标缺失模态生成子模型中，利用该目标缺失模态生成子模型对该目标影像数据中的第一模态组中第一部分模态的指纹图进行预测，得到预测的目标影像数据中缺失的第二模态组的指纹图，其中，该目标缺失模态生成子模型是通过对缺失模态生成子模型进行训练后得到的。
将得到的预测的目标影像数据中缺失的第二模态组的指纹图和目标影像数据中的第一模态组中第二部分模态的指纹图一并输入到目标图谱个体化子模型，利用目标图谱个体化子模型输出个体脑图谱，其中，目标图谱个体化子模型是通过对图谱个体化子模型进行训练后得到的。
需要说明的是，缺失模态生成子模型和图谱个体化子模型均可以采用U-net架构的卷积神经网络。
本发明通过采用基于U-net架构的卷积神经网络，能够在保证脑区相对连续的同时保持区域边界不会过度平滑以至于丢失细节。
本发明提供的面向模态缺失的影像数据的脑图谱个体化方法，基于目标缺失模态生成子模型和目标图谱个体化子模型组成的目标模型得到个体脑图谱。
该目标模型由缺失模态生成子模型和图谱个体化子模型组成，并依次进行缺失模态生成子模型和图谱个体化子模型两个阶段的训练。
为了训练目标模型，需要准备一组个体的多模态MRI影像数据（即第一影像数据），且需保证第一影像数据中的所有模态的完整性。可以使用的MRI数据包括但不限于rs-fMRI、task-fMRI和dMRI，并从这些影像中提取静息功能、任务功能、解剖指纹图和几何指纹图，这些指纹图可以以皮层表面网格顶点或三维体素为单位。
下面结合图2对本发明提供的缺失模态生成子模型和图谱个体化子模型的结构进行详细说明，参照图2，缺失模态生成子模型和图谱个体化子模型的骨干网络为U-net架构，其特征是具有一对编码器和解码器，其中编码器由M个下采样模块组成，模块间按照从/>到/>的顺序依次连接并逐步降低分辨率；解码器由M个上采样模块组成，模块间按照从/>到/>的顺序依次连接并逐步提升分辨率。编码器和解码器间有m条通路连接对应位置的下采样模块/>和上采样模块/>。
可选地，若输入缺失模态生成子模型和图谱个体化子模型的指纹图以皮层表面顶点为单位，则采用球面卷积，以适用于指纹图的三角网格结构；若输入缺失模态生成子模型和图谱个体化子模型指纹图以三维体素为单位，则采用三维图像卷积。
图3是本发明提供的子模型训练过程的示意图，参照图3，基于现有的提取方法对获取的第一影像数据的第一模态组和第二模态组的指纹图进行提取，得到第一模态组的指纹图和第二模态组的指纹图，其中，该第一模态组中第一部分模态的指纹图假设为X组模态的指纹图，该第一模态组中第二部分模态的指纹图假设为Z组模态的指纹图，该第二模态组的指纹图假设为Y组模态的指纹图。
将第一模态组中第一部分模态的指纹图即X组模态的指纹图作为缺失模态生成子模型训练阶段的输入，目的是得到目标缺失模态生成子模型，并基于目标缺失模态生成子模型对第一部分模态的指纹图进行预测，得到预测的第一影像数据中第二模态组的指纹图，即预测后的Y组模态的指纹图。
其中，X组模态的指纹图和Y组模态的指纹图不能存在交集，而Y组模态的指纹图一定是Z组模态的指纹图的子集。例如，X组模态的指纹图为静息功能和解剖指纹图，Y组模态的指纹图为任务功能指纹图，Z组模态的指纹图为静息功能、任务功能和解剖指纹图。
将得到的第一影像数据的第一模态组中第一部分模态的指纹图即X组的指纹图输入到缺失模态生成子模型进行训练，直至缺失模态生成子模型的损失函数收敛为止，并将该缺失模态生成子模型损失函数收敛时的缺失模态生成子模型作为目标缺失模态生成子模型，其中，当缺失模态生成子模型的损失函数趋于稳定值时，则认为缺失模态生成子模型的损失函数收敛。
将获取的第一影像数据中的第一模态组中的第二部分模态的指纹图（即Z组模态的指纹图）、目标指纹图和参考脑图谱输入到图谱个体化子模型进行训练，直到图谱个体化子模型的损失函数趋于稳定值时，认为图谱个体化子模型的损失函数收敛，将图谱个体化子模型的损失函数时的图谱个体化子模型作为目标图谱个体化子模型，其中，目标指纹图为将所述第一影像数据的第一模态组中第一部分模态的指纹图输入到所述目标缺失模态生成子模型，得到预测的第一影像数据的所述第二模态组的指纹图。
需要说明的是，参考脑图谱定义了大脑皮层的标准分区，可以通过不同方法（如细胞构筑、功能连接、结构连接等）绘制得到，具体可以是但不限于Brodmann图谱、Brainnetome图谱、Glasser图谱等。
进一步地，在一个实施例中，所述将获取的所述第一影像数据中的所述第一模态组中的第二部分模态的、目标指纹图和参考脑图谱输入到图谱个体化子模型进行训练之前，所述方法，还可以包括：
基于球面随机旋转和随机非线性扭曲，对第一指纹图进行增强，所述第一指纹图为所述第一影像数据中的所述第一模态组中的第二部分模态的指纹图、所述目标指纹图和所述参考脑图谱中以皮层表面网格顶点为单位的指纹图；
基于随机旋转、平移、放缩、亮度改变和对比度改变，对第二指纹图进行增强，所述第二指纹图为所述第一影像数据中的所述第二模态组的指纹图、所述目标指纹图和所述参考脑图谱中以三维体素为单位的指纹图。
可选地，在将所述第一影像数据中的第二模态组的指纹图、目标指纹图和参考脑图谱输入到图谱个体化子模型中进行训练之前，还可以对输入图谱个体化模型中的第一指纹图和第二指纹图进行数据增强。其中，该第一指纹图可以具体为第一影像数据中的第二模态组的指纹图、目标指纹图和参考脑图谱中以皮层表面网格顶点为单位的指纹图，该第二指纹图为第一影像数据中的第二模态组的指纹图、目标指纹图和参考脑图谱中以三维体素为单位的指纹图。若指纹图以皮层表面网格顶点为单位（即第一指纹图），可以对其进行球面随机旋转、随机非线性扭曲等增强（不限于）；若指纹图以三维体素为单位（即第二指纹图），可以对其进行随机旋转、平移、放缩、亮度改变、对比度改变等增强（不限于）。
本发明提出的目标缺失模态生成子模型和目标图谱个体化子模型可以在推理时不用采集所有模态，并在最大程度上保留这些缺失模态所具有的信息，尤其是容易缺失但是对个体化分区意义重要的数据模态task-fMRI，从而绘制出尽可能准确的个体脑图谱。
本发明提供的面向模态缺失的影像数据的脑图谱个体化方法，采用基于U-net架构的卷积神经网络作为缺失模态生成子模型和图谱个体化子模型进行训练，使得得到的目标缺失模态生成子模型和目标图谱个体化子模型，能够在保证脑区相对连续的同时保持区域边界不会过度平滑以至于丢失细节。
进一步地，在一个实施例中，所述缺失模态生成子模型的损失函数的获取方式，可以包括：
根据所述第一影像数据中的所述第二模态组的指纹图和目标指纹图之间的均方误差，确定所述缺失模态生成子模型的损失函数。
可选地，根据第一影像数据中的第二模态组的指纹图和目标指纹图之间的均方误差，确定缺失模态生成子模型的损失函数，具体地：
其中，为第一影像数据即多模态MRI影像数据中包括的影像数据的总数，/>为基于现有的提取算法获取的第一影像数据/>的真实的第二模态组的指纹图，即Y组模态的指纹图，而/>为将第一影像数据/>输入目标缺失模态生成子模型，得到的预测的第一影像数据的第二模态组的指纹图，即目标指纹图。
进一步地，在一个实施例中，所述图谱个体化子模型的损失函数的获取方式，包括：
根据指纹一致性损失函数和图谱一致性损失函数，确定所述图谱个体化子模型的损失函数，所述指纹一致性损失函数是根据所述目标指纹图和所述第一影像数据的所述第一模态组中的第二部分模态的指纹图上的各点指纹与所述各点指纹的脑区平均指纹之间的均方误差确定的，所述图谱一致性损失函数是根据所述各点指纹所属第一脑区的概率和预设变量确定的，所述预设变量用于表征所述各点指纹在所述参考脑图谱中是否属于所述第一脑区。
可选地，图谱个体化子模型的损失函数分为指纹一致性损失函数/>和图谱一致性损失函数/>两部分。
指纹一致性损失函数保证个体脑图谱各脑区内指纹尽可能相似，在形式上表示为目标指纹图和第一影像数据中的第一模态组中第二部分模态的指纹图，即Z组模态的指纹图上的各点指纹与其所属脑区平均指纹的均方误差：
其中，为目标指纹图和第一影像数据中的第一模态组中第二部分模态的指纹图上的点/>指纹，/>为点/>指纹的脑区平均指纹，其可以通过如下公式计算得到：
其中，为点/>指纹属于第一脑区/>的概率，/>为目标指纹图和第一影像数据中的第一模态组中第二部分模态的指纹图上的点/>指纹属于第一脑区/>的概率。
图谱一致性损失函数为交叉熵损失，作用是将个体脑图谱与参考脑图谱的差异约束在一定范围内，可以通过如下公式计算得到：
其中，为预设变量，/>表示点/>指纹在参考脑图谱中是否属于第一脑区/>。
图谱个体化子模型的损失函数为：
其中，为预先设置的超参数。
本发明提供的面向模态缺失的影像数据的脑图谱个体化方法，针对脑图谱个体化模型，本发明提出了一种新颖的损失函数，能够保证个体脑图谱与参考脑图谱具有一定相似性的同时，具有更好的脑区内信号同质性。
下面对本发明提供的面向模态缺失的影像数据的脑图谱个体化系统进行描述，下文描述的面向模态缺失的影像数据的脑图谱个体化系统与上文描述的面向模态缺失的影像数据的脑图谱个体化方法可相互对应参照。
图4是本发明提供的面向模态缺失的影像数据的脑图谱个体化系统的结构示意图，如图4所示，包括：
第一获取模块410，用于获取个体的目标影像数据包括的第一模态组的指纹图，其中，所述目标影像数据中缺失第二模态组的影像数据，无模态缺失的第一影像数据包括的所有模态由所述第一模态组以及所述第二模态组构成；
第二获取模块411，用于根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图；
第三获取模块412，用于基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱。
本发明提供的面向模态缺失的影像数据的脑图谱个体化系统，基于较易采集的模态的指纹图，预测得到难以采集的部分模态的指纹图，能够从缺失某一模态的影像数据中获取这些缺失模态所具有的信息的指纹图，提高个体化脑图谱绘制的准确程度。
图5是本发明提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器（processor）510、通信接口（communication interface）511、存储器（memory）512和总线（bus）513，其中，处理器510，通信接口511，存储器512通过总线513完成相互间的通信。处理器510可以调用存储器512中的逻辑指令，以执行如下方法：
获取个体的目标影像数据包括的第一模态组的指纹图，其中，所述目标影像数据中缺失第二模态组的影像数据，无模态缺失的第一影像数据包括的所有模态由所述第一模态组以及所述第二模态组构成；
根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图；
基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机电源屏（可以是个人计算机，服务器，或者网络电源屏等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的面向模态缺失的影像数据的脑图谱个体化方法，例如包括：
获取个体的目标影像数据包括的第一模态组的指纹图，其中，所述目标影像数据中缺失第二模态组的影像数据，无模态缺失的第一影像数据包括的所有模态由所述第一模态组以及所述第二模态组构成；
根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图；
基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的面向模态缺失的影像数据的脑图谱个体化方法，例如包括：
获取个体的目标影像数据包括的第一模态组的指纹图，其中，所述目标影像数据中缺失第二模态组的影像数据，无模态缺失的第一影像数据包括的所有模态由所述第一模态组以及所述第二模态组构成；
根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图；
基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机电源屏（可以是个人计算机，服务器，或者网络电源屏等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种面向模态缺失的影像数据的脑图谱个体化方法，其特征在于，包括：
获取个体的目标影像数据包括的第一模态组的指纹图，其中，所述目标影像数据中缺失第二模态组的影像数据，无模态缺失的第一影像数据包括的所有模态由所述第一模态组以及所述第二模态组构成；
根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图；
基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱；
所述根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图，包括：
将所述第一部分模态的指纹图输入到目标缺失模态生成子模型，得到预测的所述目标影像数据所缺失的所述第二模态组的指纹图；
其中，所述目标缺失模态生成子模型的获取方式，包括：
获取所述第一影像数据中的所述第一模态组的指纹图；
将所述第一模态组中第一部分模态的指纹图输入到缺失模态生成子模型中进行训练，直至所述缺失模态生成子模型的损失函数收敛为止，得到所述目标缺失模态生成子模型；
所述基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱，包括：
将所述第二模态组的指纹图和所述第二部分模态的指纹图输入到目标图谱个体化子模型，得到所述个体脑图谱；
其中，所述目标图谱个体化子模型的获取方式，包括：
将获取的所述第一影像数据中的所述第一模态组中的第二部分模态的指纹图、目标指纹图和参考脑图谱输入到图谱个体化子模型进行训练，直至所述图谱个体化子模型的损失函数收敛为止，得到所述目标图谱个体化子模型，所述目标指纹图为将所述第一影像数据的第一模态组中第一部分模态的指纹图输入到目标缺失模态生成子模型，得到预测的所述第一影像数据的所述第二模态组的指纹图；
缺失模态生成子模型和图谱个体化子模型的骨干网络为U-net架构，其特征是具有一对编码器和解码器，其中编码器由M个下采样模块组成，模块间按照从/>到的顺序依次连接并逐步降低分辨率；解码器由M个上采样模块/>组成，模块间按照从/>到/>的顺序依次连接并逐步提升分辨率，编码器和解码器间有m条通路连接对应位置的下采样模块/>和上采样模块/>；
所述缺失模态生成子模型的损失函数的获取方式，包括：
根据所述第一影像数据中的所述第二模态组的指纹图和目标指纹图之间的均方误差，确定所述缺失模态生成子模型的损失函数；
所述图谱个体化子模型的损失函数的获取方式，包括：
根据指纹一致性损失函数和图谱一致性损失函数，确定所述图谱个体化子模型的损失函数，所述指纹一致性损失函数是根据所述目标指纹图和所述第一影像数据的所述第一模态组中的第二部分模态的指纹图上的各点指纹与所述各点指纹的脑区平均指纹之间的均方误差确定的，所述图谱一致性损失函数是根据所述各点指纹所属第一脑区的概率和预设变量确定的，所述预设变量用于表征所述各点指纹在所述参考脑图谱中是否属于所述第一脑区。
2.根据权利要求1所述的面向模态缺失的影像数据的脑图谱个体化方法，其特征在于，所述将获取的所述第一影像数据中的所述第一模态组中的第二部分模态的指纹图、目标指纹图和参考脑图谱输入到图谱个体化子模型进行训练之前，所述方法，还包括：
基于球面随机旋转和随机非线性扭曲，对第一指纹图进行增强，所述第一指纹图为所述第一影像数据中的所述第一模态组中的第二部分模态的指纹图、所述目标指纹图和所述参考脑图谱中以皮层表面网格顶点为单位的指纹图；
基于随机旋转、平移、放缩、亮度改变和对比度改变，对第二指纹图进行增强，所述第二指纹图为所述第一影像数据中的所述第二模态组的指纹图、所述目标指纹图和所述参考脑图谱中以三维体素为单位的指纹图。
3.根据权利要求1-2任一项所述的面向模态缺失的影像数据的脑图谱个体化方法，其特征在于，所述第一模态组的指纹图和所述第二模态组的指纹图均为如下指纹图中的一种或多种：
静息功能指纹图、任务功能指纹图、解剖指纹图和几何指纹图；
其中，所述静息功能指纹图是基于静息态功能磁共振影像得到的，所述任务功能指纹图是基于任务功能磁共振影像得到的，所述解剖指纹图是基于弥散磁共振影像得到的，所述几何指纹图是基于核磁共振T1加权图像和核磁共振T2加权图像得到的。
4.一种面向模态缺失的影像数据的脑图谱个体化系统，其特征在于，包括：
第一获取模块，用于获取个体的目标影像数据包括的第一模态组的指纹图，其中，所述目标影像数据中缺失第二模态组的影像数据，无模态缺失的第一影像数据包括的所有模态由所述第一模态组以及所述第二模态组构成；
第二获取模块，用于根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图；
第三获取模块，用于基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱；
所述根据所述第一模态组中的第一部分模态的指纹图，预测得到所述目标影像数据所缺失的所述第二模态组的指纹图，包括：
将所述第一部分模态的指纹图输入到目标缺失模态生成子模型，得到预测的所述目标影像数据所缺失的所述第二模态组的指纹图；
其中，所述目标缺失模态生成子模型的获取方式，包括：
获取所述第一影像数据中的所述第一模态组的指纹图；
将所述第一模态组中第一部分模态的指纹图输入到缺失模态生成子模型中进行训练，直至所述缺失模态生成子模型的损失函数收敛为止，得到所述目标缺失模态生成子模型；
所述基于预测得到的所述目标影像数据所缺失的所述第二模态组的指纹图，以及所述第一模态组中的第二部分模态的指纹图，得到个体脑图谱，包括：
将所述第二模态组的指纹图和所述第二部分模态的指纹图输入到目标图谱个体化子模型，得到所述个体脑图谱；
其中，所述目标图谱个体化子模型的获取方式，包括：
将获取的所述第一影像数据中的所述第一模态组中的第二部分模态的指纹图、目标指纹图和参考脑图谱输入到图谱个体化子模型进行训练，直至所述图谱个体化子模型的损失函数收敛为止，得到所述目标图谱个体化子模型，所述目标指纹图为将所述第一影像数据的第一模态组中第一部分模态的指纹图输入到目标缺失模态生成子模型，得到预测的所述第一影像数据的所述第二模态组的指纹图；
缺失模态生成子模型和图谱个体化子模型的骨干网络为U-net架构，其特征是具有一对编码器和解码器，其中编码器由M个下采样模块组成，模块间按照从/>到的顺序依次连接并逐步降低分辨率；解码器由M个上采样模块/>组成，模块间按照从/>到/>的顺序依次连接并逐步提升分辨率，编码器和解码器间有m条通路连接对应位置的下采样模块/>和上采样模块/>；
所述缺失模态生成子模型的损失函数的获取方式，包括：
根据所述第一影像数据中的所述第二模态组的指纹图和目标指纹图之间的均方误差，确定所述缺失模态生成子模型的损失函数；
所述图谱个体化子模型的损失函数的获取方式，包括：
根据指纹一致性损失函数和图谱一致性损失函数，确定所述图谱个体化子模型的损失函数，所述指纹一致性损失函数是根据所述目标指纹图和所述第一影像数据的所述第一模态组中的第二部分模态的指纹图上的各点指纹与所述各点指纹的脑区平均指纹之间的均方误差确定的，所述图谱一致性损失函数是根据所述各点指纹所属第一脑区的概率和预设变量确定的，所述预设变量用于表征所述各点指纹在所述参考脑图谱中是否属于所述第一脑区。
5.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述面向模态缺失的影像数据的脑图谱个体化方法。
6.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至3任一项所述面向模态缺失的影像数据的脑图谱个体化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311177916.XA CN116912252B (zh) | 2023-09-13 | 2023-09-13 | 面向模态缺失的影像数据的脑图谱个体化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311177916.XA CN116912252B (zh) | 2023-09-13 | 2023-09-13 | 面向模态缺失的影像数据的脑图谱个体化方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116912252A CN116912252A (zh) | 2023-10-20 |
| CN116912252B true CN116912252B (zh) | 2024-01-16 |
Family
ID=88360664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311177916.XA Active CN116912252B (zh) | 2023-09-13 | 2023-09-13 | 面向模态缺失的影像数据的脑图谱个体化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912252B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649344B (zh) * | 2024-01-29 | 2024-05-14 | 之江实验室 | 磁共振脑影像超分辨率重建方法、装置、设备和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101718130B1 (ko) * | 2016-02-12 | 2017-03-20 | 서울대학교산학협력단 | 자기공명영상을 이용한 뇌 영역의 분할 방법 및 시스템 |
| CN108288070A (zh) * | 2018-01-12 | 2018-07-17 | 迈格生命科技（深圳）有限公司 | 一种神经指纹提取分类方法及系统 |
| CN110811622A (zh) * | 2019-11-12 | 2020-02-21 | 北京大学 | 一种基于扩散磁共振成像纤维束追踪技术的个体化结构连接脑图谱绘制方法 |
| CN113610808A (zh) * | 2021-08-09 | 2021-11-05 | 中国科学院自动化研究所 | 基于个体脑连接图的群体脑图谱个体化方法、系统和设备 |
| CN114376558A (zh) * | 2022-03-24 | 2022-04-22 | 之江实验室 | 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统 |
| CN115965638A (zh) * | 2022-12-25 | 2023-04-14 | 衡阳师范学院 | 模态缺失脑肿瘤影像自动分割的孪生自蒸馏方法和系统 |
| CN116269312A (zh) * | 2023-02-23 | 2023-06-23 | 之江实验室 | 基于脑图谱融合模型的个体脑图谱绘制方法及装置 |
| CN116503680A (zh) * | 2023-06-30 | 2023-07-28 | 之江实验室 | 基于脑图谱的脑影像结构化分析和脑疾病分类系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190117072A1 (en) * | 2017-10-24 | 2019-04-25 | Siemens Healthcare Gmbh | Decoding patient characteristics and brain state from magnetic resonance imaging data |
| US20220344051A1 (en) * | 2020-12-09 | 2022-10-27 | MS Technologies | System and method for diagnostics and prognostics of mild cognitive impairment using deep learning |
| US20220292674A1 (en) * | 2021-03-03 | 2022-09-15 | Tempus Labs, Inc. | Systems and methods for deep orthogonal fusion for multimodal prognostic biomarker discovery |
-
2023
- 2023-09-13 CN CN202311177916.XA patent/CN116912252B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101718130B1 (ko) * | 2016-02-12 | 2017-03-20 | 서울대학교산학협력단 | 자기공명영상을 이용한 뇌 영역의 분할 방법 및 시스템 |
| CN108288070A (zh) * | 2018-01-12 | 2018-07-17 | 迈格生命科技（深圳）有限公司 | 一种神经指纹提取分类方法及系统 |
| CN110811622A (zh) * | 2019-11-12 | 2020-02-21 | 北京大学 | 一种基于扩散磁共振成像纤维束追踪技术的个体化结构连接脑图谱绘制方法 |
| CN113610808A (zh) * | 2021-08-09 | 2021-11-05 | 中国科学院自动化研究所 | 基于个体脑连接图的群体脑图谱个体化方法、系统和设备 |
| CN114376558A (zh) * | 2022-03-24 | 2022-04-22 | 之江实验室 | 基于磁共振和孪生图神经网络的脑图谱个体化方法及系统 |
| CN115965638A (zh) * | 2022-12-25 | 2023-04-14 | 衡阳师范学院 | 模态缺失脑肿瘤影像自动分割的孪生自蒸馏方法和系统 |
| CN116269312A (zh) * | 2023-02-23 | 2023-06-23 | 之江实验室 | 基于脑图谱融合模型的个体脑图谱绘制方法及装置 |
| CN116503680A (zh) * | 2023-06-30 | 2023-07-28 | 之江实验室 | 基于脑图谱的脑影像结构化分析和脑疾病分类系统 |
Non-Patent Citations (2)
| Title |
|---|
| An Individualized Cortical Mapping of Macaque Brain Using Fusion Joint Embedding;Yuheng Lu et al.;《2023 IEEE 20th International Symposium on Biomedical Imaging (ISBI)》;全文 * |
| 基于脑磁共振影像精准分析的神经指纹研究;叶辰飞;《中国博士学位论文全文数据库 医药卫生科技辑》(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116912252A (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Küstner et al. | Retrospective correction of motion‐affected MR images using deep learning frameworks | |
| CN109242865B (zh) | 基于多图谱的医学图像自动分区系统、方法、装置及存储介质 | |
| Chen et al. | Fully automated multiorgan segmentation in abdominal magnetic resonance imaging with deep neural networks | |
| US11854703B2 (en) | Simulating abnormalities in medical images with generative adversarial networks | |
| CN113344799A (zh) | 用于使用深度神经网络减少医学图像中的有色噪声的系统和方法 | |
| WO2018119766A1 (zh) | 多模态图像处理系统及方法 | |
| CN110444277B (zh) | 一种基于多生成多对抗的多模态脑部mri图像双向转换方法 | |
| CN116912252B (zh) | 面向模态缺失的影像数据的脑图谱个体化方法及系统 | |
| Medrano-Gracia et al. | Atlas-based analysis of cardiac shape and function: correction of regional shape bias due to imaging protocol for population studies | |
| Lyu et al. | Labeling lateral prefrontal sulci using spherical data augmentation and context-aware training | |
| Fawaz et al. | Benchmarking geometric deep learning for cortical segmentation and neurodevelopmental phenotype prediction | |
| Li et al. | Automatic quantification of epicardial adipose tissue volume | |
| Li et al. | High‐fidelity fast volumetric brain MRI using synergistic wave‐controlled aliasing in parallel imaging and a hybrid denoising generative adversarial network (HDnGAN) | |
| Liu et al. | DL‐MRI: A Unified Framework of Deep Learning‐Based MRI Super Resolution | |
| CN104504657B (zh) | 磁共振弥散张量去噪方法和装置 | |
| Sander et al. | Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI | |
| Wang et al. | One for multiple: Physics-informed synthetic data boosts generalizable deep learning for fast MRI reconstruction | |
| CN114913262B (zh) | 采样模式与重建算法联合优化的核磁共振成像方法及系统 | |
| CN116823613A (zh) | 基于梯度增强注意力的多模态mr影像超分辨率方法 | |
| Yang et al. | Hierarchical progressive network for multimodal medical image fusion in healthcare systems | |
| Liu et al. | ADCoC: Adaptive distribution modeling based collaborative clustering for disentangling disease heterogeneity from neuroimaging data | |
| CN115861464A (zh) | 基于多模mri同步生成的伪ct合成方法 | |
| Qi et al. | Multi-task MR imaging with iterative teacher forcing and re-weighted deep learning | |
| Amirrajab et al. | A framework for simulating cardiac MR images with varying anatomy and contrast | |
| Karimi | Diffusion MRI with Machine Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |