CN116051545B - 一种双模态影像的脑龄预测方法 - Google Patents

一种双模态影像的脑龄预测方法 Download PDF

Info

Publication number
CN116051545B
CN116051545B CN202310208710.2A CN202310208710A CN116051545B CN 116051545 B CN116051545 B CN 116051545B CN 202310208710 A CN202310208710 A CN 202310208710A CN 116051545 B CN116051545 B CN 116051545B
Authority
CN
China
Prior art keywords
brain
images
mri
brain age
pet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310208710.2A
Other languages
English (en)
Other versions
CN116051545A (zh
Inventor
田梅
薛乐
柴宇
付钰
张文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202310208710.2A priority Critical patent/CN116051545B/zh
Publication of CN116051545A publication Critical patent/CN116051545A/zh
Priority to PCT/CN2024/074180 priority patent/WO2024183496A1/zh
Application granted granted Critical
Publication of CN116051545B publication Critical patent/CN116051545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及生物医学技术领域,进一步涉及影像处理、医学影像处理,具体涉及一种双模态影像的脑龄预测方法,主要提供一种双模态特征融合方法,所述双模态为MRI与PET两种医学影像;所述特征融合是基于3D卷积神经网络方法获得,包括如下步骤:S01使用两个3D卷积神经网络作为骨干网络来提取PET和MRI影像的特征;S02将两条骨干网络提取出的MRI与PET影像的特征在通道维度拼接,然后输入到压缩激励模块(Squeeze‑and‑ExcitationNetworks);S03将激励部分的输出结果和原始的特征图相乘,得到融合通道注意力信息的特征,获得双模态特征的融合特征图。本发明基于融合MRI与PET双模态脑影像进行脑龄预测,有效保留了影像的空间信息,相较于传统的单模态影像脑龄预测方法,更为全面反映了大脑衰老过程中的变化,从而显著提升了脑龄预测精度。

Description

一种双模态影像的脑龄预测方法
技术领域
本发明涉及生物医学技术领域,进一步涉及影像处理、医学影像处理,具体涉及一种基于PET与MRI双模态脑影像的深度学习脑龄预测方法。
背景技术
大脑是主宰人类活动、思考、记忆、决策等能力的重要部分。随着年龄增长脑部功能也跟身体其它器官的功能一样,出现衰老甚至病变。大脑的衰老主要表现为神经细胞数量和信息传递通路的减少以及信息传递效率的降低。记忆力减退是大脑衰老最明显的表现,还可能出现认知与理解能力下降,计算能力下降,精神状态、性格的变化等。然而,衰老过程有很大的个体差异,每个人出现的衰老表现不同,衰老的程度也不完全相同。不过,研究表明每个个体的大脑的整体体积都会随着年龄的增长而减小(Allen等,2006)。除了正常衰老过程引起的结构变化,过度的功能衰退和神经退行性疾病或许会导致大脑形态发生异常(Peters.2006)。
大脑年龄(BrainAge,BA),也称脑龄(EBioMedicine 72(2021)103600),是评估大脑健康的一个重要指标,脑龄的异常通常反映认知损伤或者神经退行性疾病的风险,可以作为大脑衰老的潜在生物标志。脑龄偏差(BrainAge GAP,BAG),即预测年龄与实际年龄(生理年龄)之间的差值,可以反映大脑加速衰老或者延缓衰老的情况。在神经科学领域,“大脑年龄”与“脑龄偏差”作为一种生物标志被越来越多的研究者关注。健康正常人的大脑年龄应与实际年龄非常接近,若出现脑龄大于被试的实际年龄的情况,则说明该被试大脑出现异常,其大脑内部可能出现了加速衰老的异常病变。
磁共振成像(Magnetic Resonance Imaging,MRI)作为一种新兴的医学成像技术,具有分辨率高、信息丰富以及无电离辐射损伤等优点,受到广大研究者的青睐。磁共振成像技术将原子核在磁场内共振所产生的信号进行了重建处理进而最终成像。近年来,MRI发展十分迅速,已日臻成熟完善,应用范围也日益广泛,成为一项常规的医学检测技术,广泛应用于帕金森氏症、多发性硬化症、颈椎病以及癌变的治疗和诊断。结构磁共振显示,大脑衰老与灰质体积的减少有关,最明显的脑区包括额叶、岛叶和海马等区域。
正电子发射断层扫描(Positron emission tomography,PET)是目前国际上最尖端的医学影像诊断设备之一,也是目前在细胞分子水平上进行人体功能代谢显像最先进的医学影像技术。PET可以从体外对人体内的代谢物质或药物的变化进行定量、动态的检测,成为诊断和指导治疗各种恶性肿瘤、冠心病和脑部疾病的最佳方法。PET在临床医学的应用主要集中于恶性肿瘤、神经系统、心血管系统三个领域。PET显示,大脑衰老与大脑葡萄糖利用率降低有关,最明显的脑区包括额叶、后扣带回、顶叶后叶等区域。
近些年来,利用磁共振影像数据预测大脑年龄,已经成为一项脑科学研究的热点。有许多研究者提出了利用深度学习来预测大脑年龄的方法。专利CN115337000A公开了一种基于脑结构影像评估疾病引起大脑衰老的机器学习方法,从大脑结构磁共振影像中提取不同脑区大脑结构特征,包括不同脑区大脑皮层厚度以及体积等结构特征,采用k折交叉验证找出在k个模型中均被反复识别的特征,定位出与脑龄预测最相关的脑区结构特征;最后将训练好的模型在病人数据上进行预测,来评估疾病影响大脑衰老的程度。专利CN112568872B公开了一种基于MRI影像和血液生化指标的脑龄融合预测方法,通过获取大脑MRI影像特征数据和人体血液生化指标数据进行特征融合,最终实现对脑龄的预测,进一步提高了对脑龄的预测准确度。专利CN110859624A公开了一种基于结构磁共振影像的大脑年龄深度学习预测系统,基于DenseNet思想的卷积神经网络结构AGE-DenseNet,能够从复杂的大脑结构磁共振影像中提炼出高维复杂特征,准确、高效、快速地预测出大脑年龄,并以此量化大脑偏离健康、大脑衰老轨迹的程度。由于现有的脑龄预测技术通常基于结构磁共振成像(MRI脑影像)得出的大脑形态学来估计大脑年龄,有研究表明以脑形态学(MRI脑影像)进行脑龄预测时,尽管选择相同形态学数据及算法,计算出来的脑龄预测值会有偏差(Sensors(Basel).2022;22(20):8077.),显示从单一模态进行脑龄预测无法准确及全面对脑龄进行预测。
为了解决现有技术的问题,本发明提出一种基于MRI与PET的双模态影像深度学习脑龄预测方法,融合MRI和PET两种模态脑影像进行模型训练,从提高脑龄预测的精准度。
发明内容
第一方面,本发明提供一种双模态特征融合方法,所述双模态为MRI与PET两种医学影像;所述特征融合是基于3D卷积神经网络方法获得,包括如下步骤:
S01使用3D卷积神经网络作为骨干网络来分别提取PET和MRI影像的特征;
S02将S01骨干网络提取出的MRI与PET影像的特征在通道维度拼接,然后输入到压缩激励模块(Squeeze-and-Excitation Networks);
S03将激励部分的输出结果和原始的特征图相乘,得到融合通道注意力信息的特征,获得双模态的融合特征图(feature map)。
进一步的,所述骨干网络基于VGG网络(VGGNet),由至少3个基本模块组成;每一个模块都包含3D卷积层、批归一化层、最大池化层和ReLU激活层。
进一步的,所述骨干网络还可同时引入稠密卷积网络(DenseNet),以前馈的方式将每一基本模块连接到其他每一基本模块,所述基本模块中每个卷积层之间直接连接,每一层有先前层的特征图用于输入,而自身的特征图作为后续层的输入。
进一步的,所述压缩激励模块至少包括一个全局平均池化层和两个全连接层,压缩部分的输入是H×W×C(H是高度(Height),W是宽度(width),C是通道数(channel))的特征图,激励部分的输入信息作为压缩部分的输出信息,将激励部分后的输出结果1×1×C和原始的特征图H×W×C相乘,得到融合通道注意力信息的融合特征图。
第二方面,本发明提供一种脑龄预测方法,所述预测方法是基于MRI与PET双模态特征融合技术的脑龄预测方法,所述方法包括以下步骤:
S1获取训练样本集:所述训练样本集包括公开数据库中健康人的大脑MRI与PET影像、性别标签和真实年龄;
S2数据预处理:将健康人的MRI与PET影像进行预处理,对MRI与PET影像进行原点校正,将原点校正后的PET影像与对应的MRI影像进行空间标准化,统一全部影像的坐标空间;接着对PET与MRI影像进行平滑处理和归一化处理或归一化处理和平滑处理;
S3采用第一方面所述的双模态特征融合技术,获得经步骤S2处理的MRI与PET影像的融合特征图;
S4通过至少2个3D卷积神经网络模块进一步提取自步骤S3输出的融合特征图进行训练,通过平均池化层(Average Pool)、Dropout层(Dropout)、卷积层和Softmax激活函数输出脑龄预测结果(PredictedAge),得到初步脑龄预测模型;
S5对上述初步脑龄预测模型进行效能评估:采用健康人实际年龄与模型输出的脑龄预测结果之间的均方根误差(root mean squared error,RMSE)、平均绝对误差(meanabsolute error,MAE)、决定系数(coefficient ofdetermination,R2)进行模型效能评估。
S6脑龄预测模型的优化:对上述脑龄预测模型采用回归校正,对基于健康人群的脑龄偏差(模型预测年龄与实际年龄之间的差值)与实际年龄之间进行拟合;使用实际年龄作为协变量对预测年龄进行校正,获得优化的脑龄预测模型。
S7将待测者的MRI及PET影像输入至上述获得的脑龄预测模型,获得待测者的脑龄预测结果,为预测的脑龄,和/或脑龄偏差。
在步骤S1中,进一步优选TI加权MRI影像与18F-FDG PET影像。
进一步的,所述原点校正是MRI与PET脑成像影像作为数据源,进行大脑的前联合(AC)-后联合(PC)校正,统一不同影像样本的空间原点,将影像原点位置设定在AC处。
更进一步的,对原点校正后的脑影像中的非脑组织进行去除,并进一步将MRI影像分割为灰质、白质和脑脊液。
进一步的,所述空间标准化优选将原点校正后的影像依次配准到蒙特利尔神经病学研究所(Montreal Neurological Institute,MNI)研发的标准脑模板空间中,以统一全部影像的坐标空间。
更进一步,空间标准化过程中,需要将同一受试者的PET影像与对应的MRI影像进行共同配准,即将MRI的形变场用于PET影像,并对PET影像进行重采样,使其与MRI影像尺寸相同;所述配准方法包括线性配准和非线性配准,其中线性配准包括线性坐标变换和仿射变换,非线性配准对局部进行非线性变换。
更进一步,步骤S2空间标准化后优选对MRI影像进行调制,即为了补偿空间标准化导致的大脑体积变化,此步骤利用非线性配准过程中生成的变形场文件,对配准后的灰质组织体积进行补偿,从而保留空间标准化分区中灰质信号的总量,调制后影像反映了空间标准化之间的组织体积。
进一步的,影像的平滑处理选使用高斯滤波器,以提高影像的信噪比。
更进一步,所述归一化处理优选离差标准化对影像强度值进行,使得影像强度值落在[0,1]区间范围内。
进一步的,所述效能评估优选10折交叉验证(10-fold cross-validation)来评估初步脑龄预测模型。
进一步的,所述效能评估优选平均绝对误差MAE最低的模型作为评估后的脑龄预测模型。
进一步的,所述脑龄预测模型的优化优选随机梯度下降算法(Stochasticgradient descent,SGD)、损失函数(Cross Entropy Loss)对脑龄预测模型进行优化。
更进一步的,所述脑龄预测模型采用回归校正优选一次函数对健康人群的脑龄偏差(模型预测年龄与实际年龄之间的差值)与实际年龄之间进行拟合。
第三方面,本发明提供一种脑龄预测系统,所述预测系统包括数据输入与处理模块、双模态特征融合模块和脑龄判断模块,所述脑龄预测系统是基于第二方面所述脑龄预测方法获得;
S001数据输入与处理模块:将待测个体的MRI与PET原始影像输入进行原点校正,将原点校正后的PET影像与对应的MRI影像进行空间标准化,统一全部影像的坐标空间,接着进行平滑处理和归一化处理或归一化处理和平滑处理;
S002双模态特征融合模块,采用第一方面所述双模态特征融合方法将MRI影像与PET影像进行特征融合得到融合特征图;
S003脑龄判断模块包括第二方面所述的脑龄预测模型模块,依据S002融合特征图获得预测脑龄。
在步骤S001中,进一步优选TI加权MRI影像与18F-FDG PET影像。
进一步的,所述原点校正是MRI与PET脑影像数据作为数据源,进行大脑的前联合(AC)-后联合(PC)校正,统一不同影像样本的空间原点,将影像原点位置设定在AC处。
更进一步的,对原点校正后的脑影像中的非脑组织进行去除,并进一步将MRI影像分割为灰质、白质和脑脊液。
进一步的,所述空间标准化优选将校正后的影像依次配准到蒙特利尔神经病学研究所(Montreal Neurological Institute,MNI)研发的标准脑模板空间中,以统一全部影像的坐标空间。
更进一步,空间标准化过程中,需要将同一受试者的PET影像与对应的MRI影像进行共同配准,即将MRI的形变场用于PET影像,并对PET影像进行重采样,使其与MRI影像尺寸相同。所述配准方法包括线性配准和非线性配准:线性配准包括线性坐标变换和仿射变换,非线性配准对局部进行非线性变换。
更进一步,空间标准化后优选对MRI影像进行调制,即为了补偿空间标准化导致的大脑体积变化,此步骤利用非线性配准过程中生成的变形场文件,对配准后的灰质组织体积进行补偿,从而保留空间标准化分区中灰质信号的总量,调制后影像反映了空间标准化之间的组织体积。
进一步的,所述平滑处理优选使用高斯滤波器,以提高影像的信噪比。
更进一步,归一化处理优选离差标准化对影像强度值进行,使得影像强度值落在[0,1]区间范围内。
第四方面,本发明提供了一种双模态特征融合的脑龄预测装置,包括处理器、存储装置;所述处理器,适于执行各条程序;所述存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述第二方面所述的脑龄预测方法。
第五方面,本发明提供一种基于PET与MRI双模态特征融合的脑龄预测系统,所述系统采用第二方面所述的脑龄预测方法在制备脑龄预测设备中的应用。
进一步的,所述应用是指确定在大脑表现出异常脑龄的预测中的应用。
进一步的,所述大脑表现异常的情况包括:患有脑炎、大脑萎缩、小脑萎缩、脑血栓、脑梗塞、帕金森疾病、癫痫疾病、脑瘤疾病、阿尔兹海默症等疾病的情况。
有益效果:
本发明融合MRI与PET双模态脑影像进行脑龄预测,并通过3D卷积神经网络构建的预测模型,有效保留了影像的空间信息,相较于传统的单模态影像脑龄预测方法,本方法融合了大脑形态学变化(MRI影像)与代谢变化(PET影像)的结构与功能信息,提升了脑龄预测精度。
附图说明
图1为本发明预测方法的流程图
图2为本发明的神经网络结构示意图
图3为神经网络结构注意力机制模块结构图
图4是进行回归偏倚校正之前的实际年龄与预测年龄之间的相关图
图5是进行回归偏倚校正之后的实际年龄与预测年龄之间的相关图
具体实施方式
为使本发明目的、技术方案和优点更加清楚,以下结合附图1-3和具体实例对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,但不作为对本发明的限定。
3D卷积神经网络:3D卷积神经网的输入是多个连续堆叠在一起的立方体,可以在3个尺度上同时提取特征。通过三维卷积核,可以对连续的多个帧进行特征提取,特征立方体可以连接到上一层中的多个连续帧,从而捕获一段时间内的运动信息。
3D卷积神经网络的基础结构包括卷积层、池化层、全连接层与激活函数等;这种神经网络无需预先提取特征,模型中的卷积会自动学习数据中的特征。(1)3D卷积层:3D卷积神经网中的卷积核是三维立方体,在网络当中,卷积层中的每个特征立方体都可与上一层中多个邻近的连续帧相连,进行卷积操作;三维卷积神经网络能够充分地提取三维影像数据中的空间特征。(2)池化层是卷积神经网络中常用的组件之一,通常位于卷积层之后。它模仿人的视觉系统对数据降维,用高层次特征表示影像。在网络中添加它的目的是减少网络中的信息冗余,提升模型的尺度不变性、旋转不变性以及防止模型过拟合在网络中常用的池化操作主要是最大池化与均值池化。(3)激活函数:激活函数在神经网络中的主要作用是使网络拥有非线性建模能力。当不添加激活函数时,网络仅能够表达线性映射,每一层卷积的输出都是上层输入的线性表达。因此此时无论神经网络有多少层,输出都是输入的线性组合。激活函数为神经元带来非线性映射能力,使得神经网络能够拟合各种曲线。常见的激活函数主要有Sigmoid、Tanh和ReLU。(4)全连接层:全连接层(Fully Connected Layers,FC)通常位于整个CNN网络的末尾,负责将卷积输出的特征图转化为一个一维向量,从而实现CNN网络端到端的学习过程。全连接层每一个节点都与上一层的所有节点相连,因而称之为全连接层。它的优点在于减少特征位置对于分类或回归结果的影响,提高模型的鲁棒性。
蒙特利尔神经病学研究所(Montreal Neurological Institute,MNI)研发的标准脑模板空间中,以统一全部影像的坐标空间。配准方法包括线性配准和非线性配准:线性配准包括线性坐标变换和仿射变换,非线性配准对局部进行非线性变换。
均方根误差(root mean squared error,RMSE)即均方根误差,它表示预测值和观测值之间差异(称为残差)的样本标准差。均方根误差为了说明样本的离散程度。做非线性拟合时,RMSE越小越好。在本发明中,预测值为脑龄预测方法或脑龄预测模型/系统得出来的患者的脑龄,观测值为患者的是实际年龄。
平均绝对误差(mean absolute error,MAE)即平均绝对值误差,它表示预测值和观测值之间绝对误差的平均值,误差越大,值越大。在本发明中,预测值为脑龄预测方法或脑龄预测模型/系统得出来的患者的脑龄,观测值为患者的是实际年龄。
决定系数(coefficient ofdetermination,R2)用于度量因变量的变异中可由自变量解释部分所占的比例,取值范围是0~1,R2越接近1,表明回归平方和占总平方和的比例越大,回归线与各观测点越接近,回归的拟合程度就越好,R2也称为拟合优度(GoodnessofFit)的统计量。
以下通过实施例来解释本发明的脑龄预测方法。
实施例1双模态影像的脑龄预测模型建构
预测方法的流程图如图1所示;主要包括数据预处理、3D卷积神经网络构建脑龄预测模型、模型训练与评估、回归偏倚校正和输出预测脑龄。
1.1数据预处理
1.1.1获取大脑结构MRI影像和18F-FDG PET影像。其中MRI指的是磁共振成像;PET指正电子发射断层扫描成像;18F-FDG指的是氟代脱氧葡萄糖,是PET检查最常用的显像剂,作为一种葡萄糖类似物,可以被细胞所摄取,从而反映组织或器官的代谢与功能情况。
1.1.2对获取的MRI影像和18F-FDG PET影像进行预处理。主要包括以下步骤:
1)原点校正:
使用T1加权MRI与18F-FDG PET脑影像数据作为数据源,,进行大脑的前联合(AC)后联合(PC)校正,统一不同影像样本的空间原点,将影像原点位置设定在AC处,所有数据均使用40mm截止值进行偏差校正。
2)非脑组织去除与脑组织分割
对校正后的脑影像中的非脑组织进行去除,并进一步将T1加权MRI影像脑组织进行灰质、白质、脑脊液分割;并将其分割为白质(WM)和灰质(GM)以及相应的组织概率图。
3)空间标准化
由于不同检查者大脑形状、大小不同,所得影像在空间上不能很好的重合,此步骤将前面预处理流程的影像依次配准到蒙特利尔神经病学研究所(Montreal NeurologicalInstitute,MNI)研发的标准脑模板空间中,以统一全部影像的坐标空间。即将T1加权MRI的形变场用于PET影像,并对PET影像进行重采样,使其与T1加权MRI影像尺寸相同,生成DARTEL模板;最后,使用线性仿射变换,将所有同一来源的PET影像与对应的T1加权MRI影像配准至标准MNI(蒙特利尔神经成像)空间。
4)调制
针对T1加权MRI影像进行处理,为了补偿空间标准化导致的大脑体积变化,利用非线性配准过程中生成的变形场文件,对配准后的灰质组织体积进行补偿,从而保留空间标准化分区中灰质信号的总量,调制后影像反映了空间标准化之间的组织体积。
5)平滑处理
在完成上述一系列处理后,使用高斯滤波器对影像进行平滑处理,以降低影像的噪声,进一步提升影像的信噪比。
6)归一化
由于MRI和PET影像采集设备的参数不同,导致采集影像的强度范围不同。基于离差标准化对T1加权MRI和PET影像进行线性变换,使得影像强度值落在[0,1]区间范围内。
1.2脑龄预测模型
采用3D卷积神经网络构建脑龄预测模型。3D卷积神经网络的基础结构包括卷积层、池化层、全连接层与激活函数等;这种神经网络无需预先提取特征,模型中的卷积会自动学习数据中的特征。3D卷积神经网络使用3D影像作为输入,相较于2D或者2.5D模型,有效保留了影像的空间信息,可以提取更丰富的特征,神经网络结构见图2。
1)使用两个3D卷积神经网络作为骨干网络来提取PET和T1加权MRI影像的特征。该骨干网络同时结合VGG网络(VGGNet)和稠密卷积网络(DenseNet)。VGG网络由3个基本模块组成,每一个模块都包含3×3×3的3D卷积层、批归一化层、2×2×2的最大池化层和ReLU激活层。稠密卷积网络(DenseNet),以前馈的方式将每一基本模块连接到其他每一模块。对于基本模块,每L个卷积层之间有L(L+1)/2个直接连接,其中每一层所有先前层的特征图用于输入,自身的特征图作为后续层的输入。基本模块之间通过最大池化层直接相连,确保网络中各层之间最大的信息流,同时可以减轻梯度消失问题,增强特征传播和特征重用。
2)将两条骨干网络提取出的MRI与PET影像的特征在通道维度拼接,然后输入到压缩激励模块(Squeeze-and-Excitation Networks)。压缩激励模块由一个全局平均池化层和两个全连接层组成。压缩部分将输入是H×W×C(H是高度(Height),W是宽度(width),C是通道数(channel))的特征图由一个全局平均池化层对每个通道都进行1×1的平均池化。激励部分的输入是压缩部分的输出,通过2层全连接层为每个通道代表的特征分配权重。将激励部分后的输出结果1×1×C和原始的特征图H×W×C相乘,得到融合通道注意力信息的融合特征图(feature map)。
3)通过两个基本模块进一步提取压缩激励模块输出的融合特征图,最后通过全局平均池化层(Average Pool)、Dropout层(Dropout)、1×1×1的卷积层和Softmax激活函数输出脑龄预测结果(PredictedAge)。
1.3模型训练与评估
选用公开数据库Alzheimer's Disease Neuroimaging Initiative(ADNI)构建一个年龄范围为57-96岁,包含430个健康个体的MRI与PET双模态影像的数据集,将数据集按照8:2的比例划分训练集和测试集,使用训练集对模型进行训练,使用10折交叉验证和测试集对模型的效果进行评估,其中训练集包含345个样本(平均年龄=76.50±6.72岁)。同时构建一个包含158个阿尔茨海默病(Alzheimer’s disease,AD)患者双模态影像的数据集作为独立测试集(平均年龄=76.41±8.05岁),以验证模型在神经系统疾病中的应用效果。
在模型训练过程中,使用交叉熵函数作为损失函数,使用SGD算法作为优化器,初始学习率设为0.001,批次(batch size)大小设为16,期数(epoch)设为500。
在模型的评估过程中,采用计算实际年龄与预测年龄之间的均方根误差(rootmean squared error,RMSE)、平均绝对误差(mean absolute error,MAE)、决定系数(coefficient ofdetermination,R2)进行模型效能评估。使用10折交叉验证来评估训练模型,优选MAE值最低的作为评估后脑龄模型。
1.4回归校正
脑龄预测常出现年龄依赖性的偏倚,即预测结果在年轻样本中高估,在年老样本中高估。使用统计学上的偏倚校正方法减少年龄依赖性的偏倚。使用以下公式对脑龄偏倚与实际年龄之间进行拟合和对预测年龄进行校正,获得最终脑龄预测模型:
δ=α*BAR+β
BAC=BAP-α*BAR+β
其中,BAR代表实际年龄,BAP表示预测年龄,BAC表示校正后的预测年龄,δ代表预测年龄与实际年龄之间的差值,系数α和β分别代表根据一次函数拟合所得到的斜率和截距,被用于进一步校正预测年龄。
最终的实验结果表明,在测试集中,回归校正前,最优的预测模型(评估后脑龄模型)MAE=2.84,RMSE=3.57,R2=0.68;(见图4)回归校正后预测模型(最终脑龄预测模型)MAE=2.69,RMSE=3.38,R2=0.78,(见图5)回归校正显著提升了模型的精度。
接着利用公开数据集中158个阿尔兹海默病患者作为独立测试集,对最终脑龄预测模型进行验证。结果显示在独立的AD数据集中,MAE=6.09,RMSE=7.52,R2=0.13,即AD组的脑龄偏差BAG=6.09,表明AD患者的预测脑龄显著高于实际年龄,出现了大脑的提前衰老,与公开数据库提供的实际情况吻合。
实施例2脑龄模型比较
将本发明最终脑龄预测模型对比其他已知单模态脑龄模型:DenesNet、ResNet、sFCN,结果如表1所示,可以看出本发明的最终脑龄预测模型相较于其他模型,性能有很大提升,MAE达到2.69,验证了本发明所提出方法的有效性和可行性。
表1为本发明方法对比3D-DenseNet,3D-ResNet,3D-sFCN的MAE值比较
Methods PET MRI PET+MRI
DenseNet 3.38 3.52 -
ResNet 3.54 3.79 -
sFCN 3.12 3.05 -
Our model - - 2.69

Claims (6)

1.一种双模态特征融合方法,所述双模态为MRI与PET两种医学影像;所述特征融合是基于3D卷积神经网络方法获得,包括如下步骤:
S01 使用两个浅层3D卷积神经网络作为骨干网络来提取PET和MRI图像的浅层特征;
S02 将S01两条骨干网络提取出的MRI与PET影像的特征在通道维度拼接,然后输入到压缩激励模块;
S03 将激励部分的输出结果和原始的特征图相乘,得到融合通道注意力信息的特征,获得双模态特征的融合特征图;
其中所述骨干网络基于VGG网络,由至少3个基本模块组成;每一个模块都包含3D卷积层、批归一化层、最大池化层和ReLU激活层,
所述压缩激励模块由一个全局平均池化层和两个全连接层组成,压缩部分的输入是H×W×C(H是高度,W是宽度,C是通道数)的特征图,激励部分的输入是压缩部分的输出,将激励部分后的输出结果1×1×C和原始的特征图H×W×C相乘,得到融合通道注意力信息的融合特征图。
2.一种脑龄预测方法,所述预测方法是基于MRI与PET双模态影像特征融合技术的脑龄预测方法,所述方法包括以下步骤:
S1获取训练样本集:所述训练样本集包括公开数据库中健康人的大脑MRI与PET影像、性别标签和真实年龄;
S2:数据预处理:将健康人的MRI与PET影像进行预处理,对MRI与 PET影像进行原点校正,将原点校正后的PET影像与对应的MRI影像进行空间标准化,统一全部影像的坐标空间;接着对PET与MRI影像进行平滑处理和归一化处理,或归一化处理和平滑处理;
S3采用如权利要求1所述的双模态特征融合方法,获得经步骤S2处理的MRI与PET影像的融合特征图;
S4通过至少2个3D卷积神经网络模块进一步提取自步骤S3输出的融合特征图进行训练,通过平均池化层、Dropout层、卷积层和Softmax激活函数输出脑龄预测结果(PredictedAge),得到初步脑龄预测模型;
S5对所述脑龄初步预测模型进行评估,所述评估的方法选自健康人实际年龄与模型输出的脑龄预测结果之间的均方根误差、平均绝对误差或/和决定系数进行模型效能评估;
S6脑龄预测模型的优化,可对上述脑龄预测模型采用回归校正,对基于健康人群的脑龄偏差,即模型预测年龄与实际年龄之间的差值与实际年龄之间进行拟合;使用实际年龄作为协变量对预测年龄进行校正,获得优化的脑龄预测模型;
S7将待测者的MRI及PET影像输入至上述获得的脑龄预测模型,获得待测者的脑龄预测结果,为预测的脑龄和/或脑龄偏差。
3.如权利要求2所述的脑龄预测方法,其中选择加权MRI图像与18F-FDG PET图像。
4.如权利要求2所述的脑龄预测方法,所述空间标准化是将校正后的图像依次配准到蒙特利尔神经病学研究所研发的标准脑模板空间中,以统一全部图像的坐标空间。
5.一种脑龄预测系统,所述预测系统包括数据输入与处理模块、双模态特征融合模块和脑龄判断模块,所述脑龄预测系统是基于权利要求2脑龄预测方法获得;
S001数据输入与处理模块:将待测个体的MRI与PET原始影像输入进行原点校正,将原点校正后的PET影像与对应的MRI影像进行空间标准化,统一全部影像的坐标空间,接着进行平滑处理和归一化处理或归一化处理和平滑处理;
S002双模态特征融合模块,采用如权利要求1所述双模态特征融合技术将MRI影像与PET影像进行特征融合得到融合特征图;
S003脑龄判断模块包括脑龄预测模型模块,依据融合特征图获得预测脑龄。
6.一种双模态特征融合的脑龄预测装置,包括处理器、存储装置;所述处理器,适于执行各条程序;所述存储装置,适于存储多条程序;所述程序适于由处理器加载并执行权利要求2脑龄预测方法以实现脑龄预测。
CN202310208710.2A 2023-03-07 2023-03-07 一种双模态影像的脑龄预测方法 Active CN116051545B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310208710.2A CN116051545B (zh) 2023-03-07 2023-03-07 一种双模态影像的脑龄预测方法
PCT/CN2024/074180 WO2024183496A1 (zh) 2023-03-07 2024-01-26 一种双模态影像的脑龄预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310208710.2A CN116051545B (zh) 2023-03-07 2023-03-07 一种双模态影像的脑龄预测方法

Publications (2)

Publication Number Publication Date
CN116051545A CN116051545A (zh) 2023-05-02
CN116051545B true CN116051545B (zh) 2024-02-06

Family

ID=86125730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310208710.2A Active CN116051545B (zh) 2023-03-07 2023-03-07 一种双模态影像的脑龄预测方法

Country Status (2)

Country Link
CN (1) CN116051545B (zh)
WO (1) WO2024183496A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036793B (zh) * 2023-07-31 2024-04-19 复旦大学 一种基于pet影像多尺度特征的脑龄评估方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107072595A (zh) * 2013-12-31 2017-08-18 威斯康星州医药大学股份有限公司 基于多模态成像的自适应重计划
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
CN111640500A (zh) * 2020-04-30 2020-09-08 西北大学 基于双线性融合与注意力机制的脑龄预测模型及方法
CN112288041A (zh) * 2020-12-15 2021-01-29 之江实验室 一种多模态深度神经网络的特征融合方法
KR20220145440A (ko) * 2021-04-21 2022-10-31 금오공과대학교 산학협력단 머신러닝 기반의 치매 예측 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107072595A (zh) * 2013-12-31 2017-08-18 威斯康星州医药大学股份有限公司 基于多模态成像的自适应重计划
CN107506797A (zh) * 2017-08-25 2017-12-22 电子科技大学 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法
CN111640500A (zh) * 2020-04-30 2020-09-08 西北大学 基于双线性融合与注意力机制的脑龄预测模型及方法
CN112288041A (zh) * 2020-12-15 2021-01-29 之江实验室 一种多模态深度神经网络的特征融合方法
KR20220145440A (ko) * 2021-04-21 2022-10-31 금오공과대학교 산학협력단 머신러닝 기반의 치매 예측 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张锦翔,李林,宋志坚.人脑MRI和PET图像的融合方法.解剖学杂志.2005,(第02期),17-20. *

Also Published As

Publication number Publication date
CN116051545A (zh) 2023-05-02
WO2024183496A1 (zh) 2024-09-12

Similar Documents

Publication Publication Date Title
WO2024083057A1 (zh) 基于多模态磁共振成像的图卷积神经网络疾病预测系统
CN111488914B (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
JP7357927B2 (ja) 診断支援システムおよび方法
US9687199B2 (en) Medical imaging system providing disease prognosis
WO2024183496A1 (zh) 一种双模态影像的脑龄预测方法
CN117172294B (zh) 一种稀疏脑网络的构建方法、系统、设备和存储介质
Han et al. A novel convolutional variation of broad learning system for Alzheimer’s disease diagnosis by using MRI images
CN111340794B (zh) 冠状动脉狭窄的量化方法及装置
CN112568872B (zh) 基于mri影像和血液生化指标的脑龄融合预测方法
CN112837807B (zh) 一种t2dm脑衰老认知障碍早期智能高精度辅诊方法
Leng et al. Multimodal cross enhanced fusion network for diagnosis of Alzheimer’s disease and subjective memory complaints
CN112085810B (zh) 脑组织自由水成像重建方法及系统、存储介质及终端
CN117036793B (zh) 一种基于pet影像多尺度特征的脑龄评估方法及装置
Haweel et al. A review on autism spectrum disorder diagnosis using task-based functional mri
Chen et al. Spatio-temporal multi-task network cascade for accurate assessment of cardiac CT perfusion
CN115063349A (zh) 基于sMRI多维张量形态特征预测脑年龄的方法及装置
Ding et al. Low-rank Domain Adaptive Method with Inter-class difference Constraint for Multi-site Autism Spectrum Disorder Identification
CN116487038B (zh) 轻度认知障碍向阿尔茨海默发展的预测系统和存储介质
CN117788897B (zh) 大脑年龄预测方法、装置、设备及存储介质
CN117197637B (zh) 神经影像脑网络效率指标的常模构建方法、应用及装置
CN118314101A (zh) 脑龄预测模型构建方法、脑龄预测方法、装置及电子设备
Leng et al. Multimodal Cross Enhanced Fusion Network with Multiscale Long-range Reception for Diagnosis of Subjective Memory Complaints
Akan et al. ViViEchoformer: Deep Video Regressor Predicting Ejection Fraction
Choudhury Novel transfer function based approaches for analysis of resting-state connectivity in patients with optic neuritis
Atlason Deep learning for segmentation of brain MRI-validation on the ventricular system and white matter lesions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant