CN114999629B - 一种基于多特征融合的ad早期预测方法、系统、装置 - Google Patents

一种基于多特征融合的ad早期预测方法、系统、装置 Download PDF

Info

Publication number
CN114999629B
CN114999629B CN202210471036.2A CN202210471036A CN114999629B CN 114999629 B CN114999629 B CN 114999629B CN 202210471036 A CN202210471036 A CN 202210471036A CN 114999629 B CN114999629 B CN 114999629B
Authority
CN
China
Prior art keywords
image
network
module
prediction
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210471036.2A
Other languages
English (en)
Other versions
CN114999629A (zh
Inventor
黄炜
王华彬
陈永麟
张梦欣
韩先君
李学俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202210471036.2A priority Critical patent/CN114999629B/zh
Publication of CN114999629A publication Critical patent/CN114999629A/zh
Application granted granted Critical
Publication of CN114999629B publication Critical patent/CN114999629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Developmental Disabilities (AREA)
  • Image Analysis (AREA)
  • Hospice & Palliative Care (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Physiology (AREA)
  • Neurosurgery (AREA)

Abstract

本发明属于医学影像处理领域，具体涉及一种基于多特征融合的AD早期预测方法、系统、装置。本发明针对基于Brain 18F‑FDG PET切片图像的预测AD的复杂问题，重新设计了一个新的包含双卷积的骨干网络和分类网络的神经影像预测模型；并在网络模型中引入多注意力模块。在数据集采集过程中，以滤波、裁剪等方式代替传统扩增方法扩增PET切片，提高网络模型的泛化特性。在网络模型的训练阶段，将模糊标签并运用到监督对比学习损失中，在预测阶段还结合分类结果和临床精神心理评估结果进行联合分析，得到最可靠的预测结论。本发明解决了现有图像处理方法在针对Brain 18F‑FDG PET影像进行AD预测时，存在的鲁棒性低、差裕度差和识别率低等问题。

Description

一种基于多特征融合的AD早期预测方法、系统、装置
技术领域
本发明属于医学影像处理领域，具体涉及一种基于多特征融合的AD早期预测方法、系统、装置。
背景技术
阿尔茨海默症(Alzheimer disease，AD)是一种可导致痴呆的神经退行性疾病，其病因是大脑中的Aβ蛋白发生了错折叠并引起化学反应，导致神经元失活[3-5]和脑组织坏死，威胁人体生命健康。目前。阿尔茨海默症的临床诊断方法主要有脑脊液诊断、脑电图诊断、神经心理诊断、神经影像学诊断(分子影像学诊断)、基因信息诊断等。
其中，临床神经心理诊断方法主要包括：轻度精神状态检查(MMSE)、临床痴呆评分(CDR)、Weissler智力量表(wasr-rc)、日常生活活动(ADL)、阿尔茨海默病评估量表-认知子量表(ADAS-Cog)等。临床神经心理检查只是一种临床评估方法，它无法从对疾病从显像结构、分泌代谢和病灶进行分析预测。因此，AD的早期诊断仅凭临床神经心理评估结果诊断是不够准确的，评估结果的可靠性较低。
随着神经成像技术的快速发展，神经影像诊断成为诊断阿尔茨海默病最直观且可靠的方法。在神经影像诊断中，Brain 18F-FDG PET是检测阿尔茨海默症的重要神经成像技术，Brain 18F-FDG PET全称为脑部正电子发射型放射性同位素的F-18计算机断层显像，是反映脑部病变基因、分子、代谢及功能状态的显像。它能体现与大脑谷氨酸能突触和星形胶质细胞活性区域的葡萄糖消耗，是脑活动代谢和神经元功能强弱的“晴雨表”。研究表明Brain 18F-FDG PET比Brain MRI更早地在患有轻度认知障碍的个体中显示AD神经病变的特征。因此，基于Brain 18F-FDG PET的神经影像诊断是AD早期筛查的重要手段。
目前，技术人员已经开发出多种图像处理方法用于根据Brain 18F-FDG PET神经影像来诊断用户是否罹患AD，并取得了一系列的成就。例如采用深度矩阵分解(WDMF)算法，通过协同探索标记信息、视觉结构和语义结构，揭示嵌入在潜在子空间中的潜在图像表示和标记表示。以及利用深度学习网络学习Brain 18F-FDG PET切片图像信息等。在某些技术人员开发出的预测模型中，对AD分类准确率甚至可达到95.51％。
进一步提升基于医学影像的AD预测准确率仍然是技术人员不断的追求。但是，随着AD预测领域的大量实验和研究工作开展，技术人员发现现有的方法虽然可以有效预测AD，但大部分方案都采用了参数化的损失函数，当Brain 18F-FDG PET图像训练样本存在标签错误、噪声明显、信息量单一且存在伪影等问题时，经过训练的网络模型会出现鲁棒性低、差裕度(允许有余地的余度)差和识别率低等问题；这些都给网络模型预测结果的可靠性产生负面影响。
发明内容
为解决现有图像处理方法在针对Brain 18F-FDG PET影像进行AD预测时，存在的鲁棒性低、差裕度差和识别率低等问题，本发明提供一种基于多特征融合的AD早期预测方法、系统、装置。
本发明采用如下技术方案实现：
一种基于多特征融合的AD早期预测方法，该方法根据检测对象的三维脑部PET影像和临床神经心理学量表评估结果对检测对象是否罹患AD进行预测。本发明提供的AD早期预测方法包括如下步骤：
S1：构建包括骨干网络和分类网络的神经影像预测模型。骨干网络用于对输入的样本图像进行特征识别，进而输出一个512维的表征向量。分类网络用于根据输入的表征向量对不同检测对象完成分类，进而输出一个相应的分类结果。
骨干网络包括并联的第一子网络和第二子网络，每个子网络均包括依次首尾连接的卷积层、混合注意力模块、最大池化层和8个残差单元。两个子网络的输出加权融合后作为骨干网络的输出。分类网络采用一个非线性多层感知器将骨干网络输出的表征向量映射为所需的分类结果。
其中，混合注意力模块的处理过程如下：对输入的原始特征向量F分别进行平均池化和最大池化。将两个池化结果分别送入到一个两层的感知模块中，感知模块处理得到的两个特征输出相加后，再经过一个Sigmoid激活函数得到权重系数MC。接下来，将权重系数MC和特征向量F相乘得到中间特征向量F’。中间特征向量F’经过一个通道维度的平均池化和最大池化后得到两个通道向量，将两个通道向量进行拼接，拼接结果再经过一个7×7的卷积层和一个Sigmoid激活函数后，得到权重系数Ms。最后，将权重系数Ms和中间特征F’相乘得到经过混合注意力模块处理的特征向量。
S2：获取若干不同症状的检测对象的三维脑部PET影像，将每个三维脑部PET影像预处理为包含多个二维切片图像的序列图像。根据检测对象的病症类型为序列图像中的每张二维切片图像人工添加标签，进而构成所需的训练集。
S3：利用训练集对神经影像预测模型进行两阶段训练，依次确定骨干网络和分类网络的权重。训练过程包括如下步骤：
S31：选取训练集中的部分图像作为样本图像，对样本图像进行模糊标签处理，更新每张样本图像的标签。
S32：在分类网络的非线性多层感知器后增加一个归一化处理模块l2；归一化处理模块用于学习不同类别间的张量，并以张量的乘积作为区分不同类别的特征。
S33：采用监督对比损失函数LSC作为损失函数，通过便签更新后的样本图像对神经影像预测模型进行第一阶段训练，并保存训练结束后骨干网络的权重。
S34：以训练集中的剩余图像作为样本图像，设置损失函数为交叉熵损失函数LCE；对神经影像预测模型进行第二阶段训练，并保存训练结束后分类网络的权重；进而得到完成训练的神经影像预测模型。
S4：获取待处理的检测对象的三维脑部PET影像和临床神经心理学量表评估结果，并将三维脑部PET影像预处理为包含多张二维切片图像的序列图像。
其中，临床神经心理学量表评估结果包括轻度精神状态评分值MMSEscore和临床痴呆程度评分值CDRscore。
S5：将序列图像依次输入到完成训练的神经影像预测模型中，得到各个序列图像的分类结果PETcnni。
S6：通过相关性分析计算序列图像中各个切片图像的分类结果PETcnni的相关度R，并以相关度R作为比例参数λ，结合临床神经心理学量表评估结果，通过下式计算出检测对象是否罹患AD的预测值CDscore：
上式中，avg()表示求平均值函数；i表示各个序列图像的图像编号；k表示检测对象的三维脑部PET影像处理得到的二维切片图像的数量。
作为本发明进一步地改进，步骤S1中，骨干网络内第一子网络使用卷积核为7*7的卷积层；第二子网络使用卷积核为5*5的卷积层。
作为本发明进一步地改进，步骤S1中，混合注意力模块的处理公式如下：
上式中，
其中，σ表示sigmoid函数；F表示输入的原始特征向量，MLP表示两层的感知模块，AvgPool表示平均池化模块，MaxPool表示最大池化模块；f表示卷积模块，其上的角标为卷积模块的卷积核尺寸；Mc(F)表示经过权重系数MC处理的中间特征向量；Ms(F)表示混合注意力模块最终输出的特征向量。
作为本发明进一步地改进，步骤S2和S4，将三维的脑部PET影像预处理为多个二维切片图像的预处理方法包括如下步骤：
(1)通过统计参数映射工具SPM12将PET 3D影像数据归一化为一个符合国际大脑映射联盟标准的数据模板。
(2)对上步骤的数据模板依次进行平均化处理、空间对齐、差值运算和强度归一化处理，并使得处理后的各个数据模板的图像尺寸统一为79×95×79，经过处理之外的其余参数设置为各个数据模板的默认值。
(3)对上步骤处理后的各个数据模板采用Python中的图像数据预处理库进行处理，进而将每个三维PET图像切片成为统一尺寸的二维切片图像。每张二维切片图像的像素尺寸为95×79；最后将每个三维PET图像对应的二维切片图像平铺成一个序列图像。
作为本发明进一步地改进，步骤2中，训练集中的数据包括根据真实的三维脑部PET影像预处理得到的多个二维切片图像，还包括通过对二维切片图像进行滤波和/或裁剪得到扩充数据。
作为本发明进一步地改进，步骤S33中，监督对比损失函数LSC的计算公式如下：
上式中，
其中，表示无监督对比损失；N表示样本数；Zi表示第i个正样本张量；Zk表示第k个正样本张量；zj(i)表示负样本张量；/>表示扩增样本序列；τ表示调节系数，取值为0.07。
步骤S34中，交叉熵损失函数LCE的计算公式如下：
其中，N表示样本数，M为类别数；表示样本序列；yi为样本i的类别，正类为1，负类为0；pi为样本i预测为正类的概率，yic为符号函数。
作为本发明进一步地改进，步骤S5中，神经影像预测模型输出的分类结果包括三类，分别是：认知正常，对应的分类结果的值为0；轻度认知障碍，对应的分类结果的值为1；阿尔茨海默症，对应的分类结果的值为2。
作为本发明进一步地改进，步骤S6中，各个序列图像的分类结果PETcnni的相关度R采用皮尔逊相关系数计算，计算公式如下：
其中，表示所有切片图像的预测结果的均值。y表示序列图像中第一张切片图像的预测结果。/>表示根据图像序列中的第2到第k张切片图像得到的预测结果的集合。相关度R的值位于[0，1]区间内。
本发明还包括一种基于多特征融合的AD早期预测系统，该系统采用如前述的基于多特征融合的AD早期预测方法；根据检测对象的三维脑部PET影像和临床神经心理学量表评估结果，评估出检测对象是否罹患阿尔兹海默症。具体地，本发明中提供的AD早期预测系统包括：影像预处理模块、特征识别模块、分类模块、心理学评分获取模块、相关度计算模块，以及融合预测模块。
其中，影像预处理模块用于将输入的检测对象的三维脑部PET影像转换为包含多张二维切片图像的序列图像。影像预处理模块包括模板生成单元、平均化处理单元、空间对齐单元、差值运算单元、强度归一化单元和图像分割单元，和序列图像输出单元。
特征识别模块用于对输入的每张切片图像进行特征识别，进而输出一个512维的表征向量。特征识别模块包括并联的第一子网络和第二子网络。每个子网络均包括依次首尾连接的卷积层、混合注意力单元、最大池化层和8个残差单元。两个子网络的输出加权融合后作为特征识别模块的输出。
分类模块采用一个非线性多层感知器将特征识别模块输出的每张切片图像对应的表征向量映射为一个对应分类结果PETcnni。
心理学评分获取模块用于获取检测对象的临床神经心理学量表评估结果，包括：轻度精神状态评分值MMSEscore和临床痴呆程度评分值CDRscore。
相关度计算模块采用皮尔逊相关系数计算出同一个三维脑部PET影像的所有二维切片图像对应的分类结果的相关度。
融合预测模块用于以相关度R作为比例参数λ，根据检测对象的每张切片图像的分类结果PETcnni，检测对象的轻度精神状态评分值MMSEscore和临床痴呆程度评分值CDRscore；计算出用于评估检测对象是否罹患AD的预测值。
本发明还包括一种基于多特征融合的AD早期预测装置，AD早期预测装置包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现如前述的基于多特征融合的AD早期预测方法的步骤。
本发明提供的技术方案，具有如下有益效果：
本发明针对基于Brain 18F-FDG PET切片图像的预测AD的复杂问题，重新设计了一个新的包含双卷积的骨干网络和分类网络的神经影像预测模型；并在网络模型中引入多注意力模块；进而得到了一个可以准确关注到脑部图像中右侧额叶区、内嗅皮层区、海马体区和左侧枕叶区等特定区域的新模型；提高了网络对有助于AD预测的有效特征的提取能力。
本发明针对Brain 18F-FDG PET数据特征信息单一、冗杂信息多、伪影多等问题，以滤波、裁剪等方式代替传统的随机旋转和图像拼接方法，作为扩增PET切片，捕获对比锚点数据的方式；进而在网络上训练阶段达到扩大类间特征距离，缩小类内特征差异的作用，显著提升模型的训练效果。
在网络模型的训练阶段，本发明还在将模糊标签并运用到监督对比学习损失中，使得网络降低标签刚性，减轻网络误学习，并获取神经影像切片之间更高层次的通用特征，并强化了预测网络的泛化能力和预测精度。
针对Brain 18F-FDG PET中部分切片图像标签与实际不符，误导模型学习效果的问题。本发明进一步将临床精神心理评估结果的诊断结论引入到最终的预测结果中，并将神经网络预测模型对同一对象的不同切片图像的预测结果间的相关度，作为神经影像预测和精神心理评估对最终预测结果影响的平衡系数。进而降低预测结果对神经影像预测模型的依赖；提高最终预测结果的可靠性，提升该预测方法对帕金森氏症痴呆、脑癫痫症、21三体综合征等病症分析的容错能力。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例1中提供的一种基于多特征融合的AD早期预测方法的步骤流程图。
图2是本发明实施例1中构建的神经影像预测模型的框架结构图。
图3是本发明实施例1中引入的多注意力模块的模块示意图。
图4是本发明实施例1中采集到的数据集中的部分检测对象的脑部PET图像的横断面切片图像。
图5是常规的监督对比学习方法、自监督对比学习方法和本发明改进的锚点扩增方法的锚点数据对照图。
图6是本实施例的网络模型对测试集上的AD vs.NC、MCI vs.NC、AD vs.MCI、ADvs.MCI vs.NC四类样本的预测结果对应的ROC曲线。
图7是图6反映的测试结果中，四类样本的分类结果的可视化图像。
图8是本发明的方法与采用了混合注意力模块、改进锚点扩增和基于模糊标签的监督对比学习的不同网络模型的分类曲线的对比图。
图9是AD患者的Brain 18F-FDG PET切片图像及其对应的热力图、以及本实施例网络模型的关注区域的对比图。
图10是本实施例的网络模型对不同类型测试对象的关注区域分布图。
图11是有无多注意力机制的两组预测网络在测试集上的ROC曲线对比图。
图12是不同网络模型针对同一个测试集的预测性能对比图。
图13是本发明实施例2中提供的一种基于多特征融合的AD早期预测系统的拓扑结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
本实施例提供一种基于多特征融合的AD早期预测方法，该方法根据检测对象的三维脑部PET影像和临床神经心理学量表评估结果对检测对象是否罹患AD进行预测。如图1所示，本实施例提供的AD早期预测方法包括如下步骤：
S1：构建包括骨干网络和分类网络的神经影像预测模型；神经影像预测模型的整体架构如图2所示。神经影像预测模型中，骨干网络用于对输入的样本图像进行特征识别，进而输出一个512维的表征向量。分类网络用于根据输入的表征向量对不同检测对象完成分类，并能够输出一个相应的分类结果。
本实施例针对基于Brain 18F-FDG PET影像数据识别AD的具体问题构建了一个预测模型，该预测模型将图像识别问题分为两个阶段的工作：分别是针对原始影像数据的特征提取阶段，以及基于提取到的特征信息的分类阶段；并为两个阶段的工作分别设计了骨干网络和分类网络。
本实施例在骨干网络的设计过程，采用了并列的双卷积网络的结构，并在在网络结构中引入多注意力机制，进而使骨干网络可以关注到更广泛区域内的信息，并学习到更合理的数据特征，降低因检测对象的异质性导致网络模型学习失败的风险。特别地，本实施例还在骨干网络的模型中加入全新设计的混合注意力模块(SCAM)模块；混合注意力模块可以综合通道注意力模块与空间注意力模块的优势，抑制骨干网络对于图像中冗杂信息的关注度，增强骨干网络对有效特征的学习能力。
具体地，结合图2可以看出，本实施例设计的骨干网络包括并联的第一子网络和第二子网络，每个子网络均包括依次首尾连接的卷积层、混合注意力模块、最大池化层和8个残差单元。骨干网络内第一子网络使用卷积核为7*7的卷积层；第二子网络使用卷积核为5*5的卷积层。两个子网络的输出加权融合后作为骨干网络的输出。
其中，本实施例设计的混合注意力模块的结构如图3所示，结合图3可以看出，混合注意力模块的处理过程如下：
混合注意力模块先对输入的40×48×64的原始特征向量F分别进行平均池化和最大池化；池化结果为两个1×1×64通道向量。然后将两个通道向量分别送入到一个两层的感知模块(MLP)中，感知模块的其中一层神经元个数未4，激活函数为Relu函数。第二层神经元的个数为64。经过感知模块处理后，仍然可以得到两个通道特征，将这两个通道特征相加后，再经过一个Sigmoid激活函数可以得到权重系数MC。将权重系数MC和特征向量F相乘得到中间特征向量F’。
接下来，将中间特征向量F’经过一个通道维度的平均池化和最大池化后，可以得到两个40×48×1通道向量，将两个通道向量进行拼接，拼接结果先经过一个7×7的卷积层，再经过一个Sigmoid激活函数后，得到权重系数Ms。最后，将权重系数Ms和中间特征F’相乘得到经过混合注意力模块处理的特征向量。
具体地，本实施例设计的混合注意力模块的处理公式如下：
上式中，
其中，σ表示sigmoid函数；F表示输入的原始特征向量，MLP表示两层的感知模块，AvgPool表示平均池化模块，MaxPool表示最大池化模块；f表示卷积模块，其上的角标为卷积模块的卷积核尺寸；Mc(F)表示经过权重系数MC处理的中间特征向量；Ms(F)表示混合注意力模块最终输出的特征向量。
本实施例中，如结合图2可以看到，分类网络采用一个非线性多层感知器(MLP)将骨干网络输出的表征向量映射为所需的分类结果。本实施例中非线性多层感知器(MLP)的投影头fe(·)的参数为(512，128)；且投影头fe(·)将图像表示为r，并映射为一个向量 表示张量z在实数域范围。本实施例中采用的的投影单元对于提高之前层的表示质量具有重要意义。本实施例之所以选择512作为骨干网络输出的表征向量的维度，主要原因是PET影像的包含的信息相对比较单一，因此需要增大提取信息的维度。但是，对于分类网络来说，表征向量维度越高则会包含更多的冗杂信息，因此本实施例的非线性多次感知器先将表征学习的最优输出维度设置为128；再将128维度的特征信息分类为三种分类结果。即，分类网络整体对应的参数为(512，3)，分类网络将骨干网络输出的512维的表征向量映射为三类分类结果。
在本实施例中，分类网络最终分类出的三种结果分别是：
(1)认知正常(NC)，对应的分类结果的值为0。
(2)轻度认知障碍(MCI)，对应的分类结果的值为1。
(3)阿尔茨海默症(AD)，对应的分类结果的值为2。
S2：获取若干不同症状的检测对象的三维脑部PET影像，将每个三维脑部PET影像预处理为包含多个二维切片图像的序列图像。根据检测对象的病症类型为序列图像中的每张二维切片图像人工添加标签，进而构成所需的训练集。
检测对象的Brain 18F-FDG PET图像是一个三维影像文件，常规技术手段中想要捕获三维影像中的特征，则需要构建3D网络来学习空间特征并进行预测。但是，3D网络模型相对2D网络而言复杂度大大提高，在相同硬件算力条件下，网络模型的处理速率等也会明显降低。同时，构建3D网络包含由远比2D网络模型更多的参数，因而模型训练阶段需要更多的原始训练数据来避免网络模型的过拟合。但是，与自然图像领域不同，在实际应用过程中，用于疾病诊断的真实的临床神经影像样本实际上非常有限，收集足够多的神经影像数据具有很大难度；无法满足3D网络模型的训练要求。此外，真实PET影像中还会包含大量的冗杂信息，因此利用现有的医学影像训练高精度的3D预测网络并不现实。
基于此，为了降低Brain 18F-FDG PET数据量和节约运算成本，本实施例在步骤1中构建的神经影像预测模型中的骨干网络实际上是一个二维网络模型。因此，在构建的二维的神经影像预测模型的基础上，本实施例在网络模型的训练和应用阶段都需要将3D脑部PET图像分解为二维切片图像。
具体地，本实施例将三维的脑部PET影像预处理为多个二维切片图像的预处理方法包括如下步骤：
(1)通过统计参数映射工具SPM12将PET 3D影像数据归一化为一个符合国际大脑映射联盟标准的数据模板。
(2)对上步骤的数据模板依次进行平均化处理、空间对齐、差值运算和强度归一化处理，并使得处理后的各个数据模板的图像尺寸统一为79×95×79，经过处理之外的其余参数设置为各个数据模板的默认值。
(3)对上步骤处理后的各个数据模板采用Python中的图像数据预处理库进行处理，进而将每个三维PET图像切片成为统一尺寸的二维切片图像。每张二维切片图像的像素尺寸为95×79；最后将每个三维PET图像对应的二维切片图像平铺成一个序列图像。
为了提升网络模型的训练效果，本实施例采集的数据包含了不同性别、不同病症的样本，保证数据集中的原始数据包含大致接近的性别比，且不仅采集了确认为阿尔茨海默症的患者的脑部PET图像，也采集了被确诊为轻度认知障碍的患者的脑部PET图像，还采集了部分正常的检测对象的脑部PET图像。
图4显示了本实施例中采集到的部分检测对象的脑部PET图像的横断面切片图像。图中A部分为数据中的部分样本图像，B部分为样本图像中包含的一名76岁的患有阿尔茨海默症的男性病例的脑部图像，C部分为一例典型的患有轻度认知障碍的83岁女性的脑部图像；D部分为一例典型的80岁正常男性的脑部图像。
其次，针对Brain 18F-FDG PET数据的特征信息单一、冗杂信息多、伪影多等问题，本实施例改进锚点扩增数据，将传统的随机旋转、随机拼接、随机剪裁等调整为随机高斯滤波、随机双边滤波、随机剪裁等，丰富了数据类内多样性和网络对数据类间相似性的识别能力。
S3：利用训练集对神经影像预测模型进行两阶段训练，依次确定骨干网络和分类网络的权重。训练过程包括如下步骤：
S31：选取训练集中的部分图像作为样本图像，对样本图像进行模糊标签处理，更新每张样本图像的标签。
S32：在分类网络的非线性多层感知器后增加一个归一化处理模块l2；归一化处理模块用于学习不同类别间的张量，并以张量的乘积作为区分不同类别的特征。
S33：采用监督对比损失函数LSC作为损失函数，通过便签更新后的样本图像对神经影像预测模型进行第一阶段训练，并保存训练结束后骨干网络的权重。
监督对比损失函数LSC的计算公式如下：
上式中，
其中，表示无监督对比损失；N表示样本数；Zi表示第i个正样本张量；Zk表示第k个正样本张量；zj(i)表示负样本张量；/>表示扩增样本序列；τ表示调节系数，取值为0.07。
S34：以训练集中的剩余图像作为样本图像，设置损失函数为交叉熵损失函数LCE；对神经影像预测模型进行第二阶段训练，并保存训练结束后分类网络的权重；进而得到完成训练的神经影像预测模型。
交叉熵损失函数LCE的计算公式如下：
其中，N表示样本数，M为类别数；表示样本序列；yi为样本i的类别，正类为1，负类为0；pi为样本i预测为正类的概率，yic为符号函数。
本实施例提供的神经影像网络模型中的骨干网络和分类网络在训练阶段共享权重，因此在结束两阶段训练后，整个神经影响网络模型的权重全部得到更新。
本实施例提供的神经影像网络模型在训练阶段采用了监督对比学习方法，自监督对比学习的核心思想是拉近某一个锚点与其正样本之间的距离，拉远锚点与该锚点其他负样本之间的距离，且一个锚点只有一个正样本，其他全视为负样本。而监督对比学习则认为每个锚点有许多的正样本，而不是许多负样本，并且通过标签显示样本之间的正负关联。如图5所示，图中A部分是典型的自监督对比学习方法，将一张原图通过数据增强得到两个子样本，这一对子样本之间构成一对正对，而与其他数据的子样本构成负对。而在监督对比学习中，每个子样本可能都有很多的正对和负对。换言之，自监督对比损失将每个锚点的一个正值(即同一图像的一个增强版本)与由整个批处理的其余部分组成的一组负值进行对比。而监督对比损失，将来自同一类别的所有样本集与阳性样本和其余批次的阴性样本进行对比，具体如图5中的B部分所示。
特别地，本实施例在锚点的正负样本中，随机生成了更多的随机剪裁、随机高斯滤波和随机双边滤波等正负样本例。具体如图5中C部分所示。
本实施例使用监督对比损失能够更有效利用类标签实现同类的样例更加靠近，而不同类别的样例相互远离，以提高类内多样性和类间相似性的识别能力。监督对比损失LSC是对自监督对比损失的扩展。LSC和/>之间的关键在于锚点图像的阳性和阴性样本的组成。在/>中，阳性图像是锚点图像的增广视图。在LSC中，除了替代增强的对应物外，阳性还包括来自同一类别的一些其他图像。
本实施例采用的训练数据为Brain 18F-FDG PET切片序列图像。特别地，样本中的图像数据主要为集中发生病灶的区域的切片中轴区域，但依然存在切片与标签信息不匹配，特别是一些患有AD的患者的部分切片仍然可能是正常的。为了防止错误标签导致网络误学习，降低神经影像预测误诊率。本实施例还将模糊标签理论运用到神经影像预测网络的标签生成中，以此降低标签刚性，并利用监督对比学习损失度量类间距离来抵消部分误标签导致的网络误学习。
本实施例中采用的监督对比损失函数LSC可以灵活地组合任意数量的阳性样本。它通过对比阴性样本来优化这些阳性样本之间的一致性。然而，在LSC损失中，内积消耗与标签相同样本数量(正大小)和标签不相同样本数量(负大小)的乘积呈线性关系。当一个不同的类内图像和另一个视图被用作LSC损失的正值时，与相同大小的负值的交叉熵损失相比，内存消耗将增加一倍。这在有限的CPU运算条件下是不可取的。为了降低由此造成网络的表征学习能力减弱的负面影响，本实施例在网络训练过程使用交叉熵损失进行第二阶段训练。
S4：获取待处理的检测对象的三维脑部PET影像和临床神经心理学量表评估结果，并将三维脑部PET影像预处理为包含多张二维切片图像的序列图像。
其中，临床神经心理学量表评估结果包括轻度精神状态评分值MMSEscore和临床痴呆程度评分值CDRscore。
S5：将序列图像依次输入到完成训练的神经影像预测模型中，得到各个序列图像的分类结果PETcnni。
S6：通过相关性分析计算序列图像中各个切片图像的分类结果PETcnni的相关度R，并以相关度R作为比例参数λ，结合临床神经心理学量表评估结果，通过下式计算出检测对象是否罹患AD的预测值CDscore：
上式中，avg()表示求平均值函数；i表示各个序列图像的图像编号；k表示检测对象的三维脑部PET影像处理得到的二维切片图像的数量。
采用的相关分析是研究两个或多个地位相等的随机变量之间相关性的一种统计分析方法。相关系数是衡量研究变量之间的线性相关程度的指标。本实施例构建的基于多注意力和锚点改进的模糊监督对比学习神经影像预测模型，可根据每张序列图像得到一个预测结果，预测结果分为三类。即：认知正常，轻度认知障碍和阿尔茨海默症。如果受试者的神经影像对应的不同序列图像的预测结果一致，可认为神经影像预测结果可信。若该受试者的神经影像对应的多张序列图像的预测结果不一致，则认为的神经影像学预测结果不可信。
基于此，本实施例利用皮尔逊相关系数计算受试者Brain 18F-FDG PET切片序列图像预测结果之间的相关性。相关性分析的目的是确定神经影像学诊断结果是否一致。公式计算如下：
其中，表示所有切片图像的预测结果的均值。y表示序列图像中第一张切片图像的预测结果。/>表示根据图像序列中的第2到第k张切片图像得到的预测结果的集合。相关度R的值位于[0，1]区间内。
通过Pearson相关系数判断出神经影像预测结果的一致性后。考虑到不同相关度R条件下，神经影像的预测结果可信度不完全相同，因此本实施例在神经影像结果不可靠时进一步融合临床神经心理学量表评估结果来进行结论判定；融合判断的公式如上所述。特别地，临床神经心理学的评分标准具体如下表所示：
表1：临床神经心理学的AD诊断标准
在本实施例提供的方法中，当λ＝1时，即神经影像网络模型的预测结果一致性较高。此时，仅将神经影像诊断结果作为判定依据。当λ＝0时，这说明神经影像网络模型的预测结果完全不一致，神经影像预测结果不可靠。此时，仅依赖临床神经心理学量表对检测人员是否罹患阿尔茨海默症进行评估，以防止出现其他类型的痴呆如帕金森氏症痴呆、脑癫痫症、21三体综合征等疾病对结果造成干扰。
性能测试
为了验证本实施例提供的预测方法的预测精度和敏感性等性能指标，本实施例还进行如下的实验，对模型进行训练，并对测试样本进行预测。在对测试试验的试验结果进行分析之外，还对神经影像预测模型解释与可视化进行评估，并进行了针对神经影像预测模型的消融实验
一、试验环境与训练策略
本实施例中，模型训练及测试运行环境为：Windows系统，6GB显存，Python3.8，使用Pytorch深度学习框架，优化器为Adam，训练学习率为0.0005，最大轮次epoch为100，batchsize为64，采用十折交叉训练，并使用混合精度训练加速库训练，加速库参数设置accumulation_steps＝4，opt_level＝"O1"。在训练过程中，当损失值小于最优值时保存模型，直到轮次结束。
二、测试集数据与评价指标
1、本实施例以ADNI公开数据库为基础。其中，ADNI-1和ADNI-2是ADNI数据集的两个研究阶段，且各有636例样本对象。本实施例在ADNI-1中挑取Brain 18F-FDG PET的199例AD，350例MCI，200例NC作为训练数据。在ADNI-2中挑选400例Brain 18F-FDG PET作为测试集数据。上述数据集的样本对象分布如表2所示。
表2：基于ADNI数据集的本文样本对象的分布情况
2、在本实施例中，敏感性是指患有AD或MCI受试者被正确诊断的概率。1-特异性是指NC类被正确诊断的概率。1-特异性被称为假阳性(FP)率，即一个正常人被诊断为阳性的概率。在临床诊断中，敏感性越高说明漏诊率越低，1-特异性越低表明误诊率越低。准确性ACC(Accuracy)、敏感性SEN(Sensitivity)和1-特异性SPN(Specificity)的计算公式分别如下：
上式中，TP代表真阳性样本(即由模型预测为AD(或MCI)的AD(或MCI))样本的数量。FN表示假阴性(即被模型预测为NC的AD(或MCI))样本的数量。FP表示假阳性(即模型预测为AD(或MCI)的NC)样本数量。TN表示真负数(即模型预测为NC)的样本数。
本实施例的网络模型应当具备较高的灵敏度和1-特异性；大师二者通常无法全部实现，因此本实施例的性能评估过程中还需要在敏感性和1-特异性之间找到一个平衡点，而这个平衡过程可以用ROC(接收者工作特性)曲线来表示。本实施例利用ROC曲线来对比本实施例和其它现有的预测或诊断方法。
ROC曲线下的面积(AUC)相当于随机选择的阳性样本排名高于随机选择的阴性样本的概率。假设ROC曲线由顺序坐标连接{(x1、y1)、(x2、y2)、(x3、y3)、...、(xm、ym)}形成，AUC的计算公式如下：
三、试验结果与分析
本实施例的性能测试实验中，测试集上的AD vs.NC、MCI vs.NC、AD vs.MCI、ADvs.MCI vs.NC样本的预测结果对应的ROC曲线分别如图6中的a-d部分所示。结合图5的ROC曲线可以看出，本实施例中融合合神经影像学预测与临床神经心理学量表评估的AD诊断曲线与单神经影像学预测网络诊断曲线相比，预测结论更接近临床医生的诊断结果。且本实施例方法的AUC面积平均高3％。
进一步，本实施例还使用t-SNE对神经影像模型的预测分类结果进行可视化展示。测试集中AD vs.NC、MCI vs.NC、AD vs.MCI、AD vs.MCI vs.NC四类数据的分类结果分别如图7中的a-d部分所示。分析图中数据可以发现：MCI与AD的聚类距离较接近，且二者存在混合数据，这说明AD与MCI的区分较难。这与临床诊断研究一致，一般来说，临床医生较难从神经影像中判断一个MCI患者是否已经成了AD，二者界限比较模糊。这也说明了，联合诊断的必要性。在AD vs.MCI分类中，图表明AD类与MCI类聚集度较差但基本分开，说明网络有一定区分能力，这与AD和MCI之间特征差异小有关。在AD vs.NC分类中，几乎所有的AD和NC都位于本身聚类中，说明网络对AD和NC具有高敏感性。同时，在MCI vs.NC的分类中分类较好，且两者聚集点密集距离较远，说明模型已经具有区分能力，而这种高的分类性能是临床神经心理学量表评估无法做到的，因此，基于神经影像学的AD精确预测是值得研究的。ADvs.MCI vs.NC分类测试发现，AD和NC聚集较密，说明模型学习到了二者类间特征，MCI类较散，这是因为MCI类内特征不明显导致的，但仍然在一定区域内，这样的结果是可以接受的。
本实施例提供的采用了混合注意力模块、改进锚点扩增和基于模糊标签的监督对比学习神经影像预测模型的分类曲线如图8所示。分析图8数据可以发现：本发明的方法中AD、MCI和NC的AUC面积分别为93.43％、90.54％、94.64％。且NC的ROC曲线平滑，AUC值最高。这说明本实施训练的神经影像预测模型对NC类的灵敏度和1-特异性强。同时，MCI的AUC值最低，说明MCI较难识别，这与前面的可视化结果反映的情况一致。
四、分析网络模型的可解释性
基于设计出的神经影像预测模型，本实施例还进行了网络层特征的可视化实验，分析神经影像预测模型的特征学习过程。
图9显示了一个AD患者的Brain 18F-FDG PET切片序列中的第34张图像；图中a-c部分分别为患者脑部的原始检查图像、热力图和本实施例中模型在预测过程中的关注区域分布图。图9的C部分中，标记1为AD受试者的右侧额叶区，标记2为内嗅皮层区，标记3为海马体区，标记4为左侧枕叶区。由此可见，本实施例的网络模型的重点关注区域与实际的临床研究针对AD病灶区域的重点关注区域一致。即本实施例提供的网络模型可以提取出神经图像中的有效信息。
本实施例的网络模型对不同类型测试对象的关注区域分布图如图10所示。其中，图10中的(a)、(e)和(g)分别是AD、MCI和NC受试者具有代表性的Brain 18F-FDG PET切片序列图像热力图。图10中的(b)是AD受试者的Brain 18F-FDG PET切片序列图像经卷积处理后的网络关注区域，经过卷积处理后的网络关注区域与10中的(a)的热图无较明显区别，但随着网络层数加深，如图10中的(c)，模型学习的特征从整体到局部逐渐细化，并在高阶网络层从图10中的(d)提取到了AD的相关特征。由此可进一步证实：本实施例提供的网络模型关注的区域符合临床研究AD疾病相关的额叶、顶叶颞区、海马体、后扣带沟和枕叶等区域。
图10中的(f)部分是MCI的可视化特征图像，与AD特征相比关注的区域更多，尤其是对双侧中央后回、顶叶上叶、楔前叶、左侧额上回、额中回和跟骨回区域比较敏感。这符合临床神经学MCI疾病研究。图10中的(h)是NC在模型中的可视化图像。结合上图可以发现：本实施提供的网络模型对枕叶和颞叶区域较为敏感，这些区域是否发生病变是诊断测试对象是否正常的关键。
五、消融试验
本实施例提供的预测方法相对现有方法突出改进点包括：(1)采用了基于神经影像和临床心理学诊断的联合评估方法；(2)设计了新的神经影像预测模型，(3)在骨干网络中引入了注意力模块。(4)采用了基于模糊标签的监督对比损失对网络模型进行训练；(5)在训练阶段改进锚点扩增等。对于第(1)点优越性在前文的试验结果分析中以及得到证实。因此本实施例分别对其它改进点进行消融试验，消融实验结果均在AD vs.MCI vs.NC的样本分类上进行。分析试验结果如下：
1、在其他参数不变的情况下，本实施例特别训练了无注意力机制的预测网络。其在测试集的结果均低于多注意力预测网络。多注意力机制预测网络的AUC值提升了4.53％，这说明双卷积和SCAM模块在病灶特征学习与冗杂信息抑制过程中起到了关键作用。
图11为有无多注意力机制的两组预测网络在测试集上的ROC曲线。可以发现，当1-特异性在0-10％之间时，无注意力网络略优于多注意力预测模型，这说明无注意力网络对识别NC类较好，但随着1-特异性值的增加，无注意力网络区分AD和MCI的能力逐渐下降，而本实施例中采用的多注意力机制预测网络，在AD和MCI的分区能力更好。考虑到临床神经疾病诊断中，高灵敏度和低1-特异性是判断预测网络分类性能的标准。因此，本实施例提供的多注意力网络更适用临床神经影中AD的预测。
2、为了验证本实施构建的新网络模型的预测精度，特别选择AlexNet、VggNet-16、ResNet-34、DenseNet101等多个常见的网络模型作为对照组，在其他条件不变的前提下在相同的测试集上进行验证，得到各个网络模型在测试过程中的与预测性能如下表和图12所示：
表3：在对比学习框架下的不同网络模型的预测性能统计表
分析以上结果可以发现；本实施例提供的网络模型的性能最优，其次是残差网络ResNet-34，这说明残差模块的跳跃连接能够抑制PET图像中的冗杂信息，同时能融合高低阶特征信息，保留特征图像中的病灶信息。ResNeSt101、GooLeNetV3和DenseNet101测试结果较差，这是因为临床神经影像可学习的特征信息量少，网络层过深造成重要病灶信息丢失，而冗杂信息巨大的Brain 18F-FDG PET切片图像加剧了预测网络的误学习，导致AD预测精度下降。
接着，本实施例还将分类性能较好的EfficientNet放入预测框架中，其测试集结果令人遗憾。其原因是EfficientNet依赖预训练权重，而在没有预训练权重的前提下，造成其优秀的缩放性能无法得到展现。
3、在不改变其他参数的前提下，本实施例还训练了交叉熵损失、自监督对比损失和监督对比损失三个预测模型的性能。结果如表4所示：
表4：采用不同损失函数的网络模型的预测性能统计表
分析以上数据可以发现：采用交叉熵损失、自监督对比损失和监督对比损失的网络模型，在测试集上的结果均低于本实施例中采用的基于模糊标签的监督对比损失的测试精度。交叉熵损失网络模型与监督对比损失网络模型比本实施例中提出的模糊标签监督对比损失网络模型在-1-特异性0-10％之间的AUC值高，这说明交叉熵与监督对比损失对NC类比较敏感。当1-特异性大于10％时，自监督对比损失函数网络模型的敏感性比交叉熵损失模型预测的敏感性高，说明自监督对比损失区分AD与MCI的能力更强，这与自监督对比损失对学习图像的类间表征信息优势有关，其性能的提升是可解释的。同时，当1-特异性到达40％时，表征学习性能优异监督对比损失模型AUC值比自监督对比损失模型AUC值，这是因为AD和MCI的切片中的部分正常切片错误标定。整体来看，本实施例提出的模糊标签监督对比损失预测模型的AUC值比第二的监督学习对比损失预测模型的AUC值高8.05％。这是因为，模糊标签能够有效降低标签刚度、缓解因为错误标定导致模型误学习，使得网络的分类更加合理。同时，网络在ADNI-1上训练，在ADNI-2上测试到达高的AUC值，说明模糊标签在提升了模型分类性能和鲁棒性上同样显著。
4、本实施例在不改变其他参数的前提下，训练了传统锚点扩增的AD预测模型，并将该模型与本实施例的网络模型的预测性能进行对比。具体地，二者在同一个测试集中的性能如表5所示。
表5：采用不同锚点扩增方法的网络模型的预测性能统计表
分析以上数据可以发现：传统锚点扩增模型在1-特异性0-10％之间时，比改进后的模型ROC曲线略好，这说明传统的锚点增广预测模型更适合NC类。而当1-特异性大于10％时，改进后的锚点扩增模型敏感性逐渐比传统锚点扩增模型的敏感性好，这说明改进后的锚点扩增模型对AD和MCI更敏感，这符合预期的效果。
实施例2
本实施例提供一种基于多特征融合的AD早期预测系统。该系统采用如实施例1中的基于多特征融合的AD早期预测方法；根据检测对象的三维脑部PET影像和临床神经心理学量表评估结果，评估出检测对象是否罹患阿尔兹海默症。
具体地，如图13所示，本实施例中提供的AD早期预测系统包括：影像预处理模块、特征识别模块、分类模块、心理学评分获取模块、相关度计算模块，以及融合预测模块。
其中，影像预处理模块用于将输入的检测对象的三维脑部PET影像转换为包含多张二维切片图像的序列图像。影像预处理模块包括模板生成单元、平均化处理单元、空间对齐单元、差值运算单元、强度归一化单元和图像分割单元，和序列图像输出单元。
特征识别模块用于对输入的每张切片图像进行特征识别，进而输出一个512维的表征向量。特征识别模块包括并联的第一子网络和第二子网络。每个子网络均包括依次首尾连接的卷积层、混合注意力单元、最大池化层和8个残差单元。两个子网络的输出加权融合后作为特征识别模块的输出。
分类模块采用一个非线性多层感知器将特征识别模块输出的每张切片图像对应的表征向量映射为一个对应分类结果PETcnni。
心理学评分获取模块用于获取检测对象的临床神经心理学量表评估结果，包括：轻度精神状态评分值MMSEscore和临床痴呆程度评分值CDRscore。
相关度计算模块采用皮尔逊相关系数计算出同一个三维脑部PET影像的所有二维切片图像对应的分类结果的相关度。
融合预测模块用于以相关度R作为比例参数λ，根据检测对象的每张切片图像的分类结果PETcnni，检测对象的轻度精神状态评分值MMSEscore和临床痴呆程度评分值CDRscore；计算出用于评估检测对象是否罹患AD的预测值。
实施例3
本实施例提供一种基于多特征融合的AD早期预测装置，AD早期预测装置为一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现如实施例1中基于多特征融合的AD早期预测方法的步骤。
该计算机设备可以是可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。
本实施例中，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，以实现前述实施例1中基于多特征融合的AD早期预测装置的步骤，进而根据检测对象的三维脑部PET影像和临床神经心理学量表评估结果，评估出检测对象是否罹患阿尔兹海默症。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于多特征融合的AD早期预测方法，其用于根据检测对象的三维脑部PET影像和临床神经心理学量表评估结果对检测对象是否罹患AD进行预测；其特征在于，所述AD早期预测方法包括如下步骤：
S1：构建包括骨干网络和分类网络的神经影像预测模型；所述骨干网络用于对输入的样本图像进行特征识别，进而输出一个512维的表征向量；所述分类网络用于根据输入的所述表征向量对不同检测对象完成分类，进而输出一个相应的分类结果；
所述骨干网络包括并联的第一子网络和第二子网络，每个子网络均包括依次首尾连接的卷积层、混合注意力模块、最大池化层和8个残差单元；两个子网络的输出加权融合后作为骨干网络的输出；所述分类网络采用一个非线性多层感知器将所述骨干网络输出的所述表征向量映射为所需的分类结果；
其中，所述混合注意力模块的处理过程如下：对输入的原始特征向量F分别进行平均池化和最大池化；将两个池化结果分别送入到一个两层的感知模块中，感知模块处理得到的两个特征输出相加后，再经过一个Sigmoid激活函数得到权重系数MC；接下来，将权重系数MC和特征向量F相乘得到中间特征向量F’；中间特征向量F’经过一个通道维度的平均池化和最大池化后得到两个通道向量，将两个通道向量进行拼接，拼接结果再经过一个7×7的卷积层和一个Sigmoid激活函数后，得到权重系数Ms；最后，将权重系数Ms和中间特征F’相乘得到经过混合注意力模块处理的特征向量；
S2：获取若干不同症状的检测对象的三维脑部PET影像，将每个三维脑部PET影像预处理为包含多个二维切片图像的序列图像；根据检测对象的病症类型为序列图像中的每张二维切片图像人工添加标签；进而构成所需的训练集；
S3：利用所述训练集对所述神经影像预测模型进行两阶段训练，依次确定骨干网络和分类网络的权重；训练过程包括如下步骤：
S31：选取训练集中的部分图像作为样本图像，对样本图像进行模糊标签处理，更新每张样本图像的标签；
S32：在分类网络的非线性多层感知器后增加一个归一化处理模块l2；所述归一化处理模块用于学习不同类别间的张量，并以所述张量的乘积作为区分不同类别的特征；
S33：采用监督对比损失函数LSC作为损失函数，通过便签更新后的样本图像对神经影像预测模型进行第一阶段训练，并保存训练结束后骨干网络的权重；监督对比损失函数LSC的计算公式如下：
上式中，
其中，表示无监督对比损失；N表示样本数；Zi表示第i个正样本张量；Zk表示第k个正样本张量；zj(i)表示负样本张量；/>表示扩增样本序列；τ表示调节系数，取值为0.07；
S34：以训练集中的剩余图像作为样本图像，设置损失函数为交叉熵损失函数LCE；对神经影像预测模型进行第二阶段训练，并保存训练结束后分类网络的权重；进而得到完成训练的神经影像预测模型；交叉熵损失函数LCE的计算公式如下：
其中，N表示样本数，M为类别数；表示样本序列；yi为样本i的类别，正类为1，负类为0；pi为样本i预测为正类的概率，yic为符号函数；
S4：获取待处理的检测对象的三维脑部PET影像和临床神经心理学量表评估结果，并将所述三维脑部PET影像预处理为包含多张二维切片图像的序列图像；其中，所述临床神经心理学量表评估结果包括轻度精神状态评分值MMSEscore和临床痴呆程度评分值CDRscore；
S5：将所述序列图像依次输入到完成训练的神经影像预测模型中，得到各个切片图像的分类结果PETcnni；
S6：通过相关性分析计算序列图像中各个切片图像的分类结果PETcnni的相关度R，并以相关度R作为比例参数λ，结合临床神经心理学量表评估结果，通过下式计算出检测对象是否罹患AD的预测值CDscore：
上式中，avg()表示求平均值函数；i表示各个序列图像的图像编号；k表示检测对象的三维脑部PET影像处理得到的二维切片图像的数量。
2.如权利要求1所述的基于多特征融合的AD早期预测方法，其特征在于：步骤S1中，骨干网络内第一子网络使用卷积核为7*7的卷积层；第二子网络使用卷积核为5*5的卷积层。
3.如权利要求2所述的基于多特征融合的AD早期预测方法，其特征在于：步骤S1中，所述混合注意力模块的处理公式如下：
上式中，
其中，σ表示sigmoid函数；F表示输入的原始特征向量，MLP表示两层的感知模块，AvgPool表示平均池化模块，MaxPool表示最大池化模块；f表示卷积模块，其上的角标为卷积模块的卷积核尺寸；Mc(F)表示经过权重系数MC处理的中间特征向量；Ms(F)表示混合注意力模块最终输出的特征向量。
4.如权利要求1所述的基于多特征融合的AD早期预测方法，其特征在于：步骤S2和S4，将三维的脑部PET影像预处理为多个二维切片图像的预处理方法包括如下步骤：
(1)通过统计参数映射工具SPM12将PET 3D影像数据归一化为一个符合国际大脑映射联盟标准的数据模板；
(2)对上步骤的数据模板依次进行平均化处理、空间对齐、差值运算和强度归一化处理，并使得处理后的各个数据模板的图像尺寸统一为79×95×79，经过处理之外的其余参数设置为各个数据模板的默认值；
(3)对上步骤处理后的各个数据模板采用Python中的图像数据预处理库进行处理，进而将每个三维PET图像切片成为统一尺寸的二维切片图像；每张二维切片图像的像素尺寸为95×79；最后将每个三维PET图像对应的二维切片图像平铺成一个序列图像。
5.如权利要求1所述的基于多特征融合的AD早期预测方法，其特征在于：步骤2中，训练集中的数据包括根据真实的三维脑部PET影像预处理得到的多个二维切片图像，还包括通过对所述二维切片图像进行滤波和/或裁剪得到扩充数据。
6.如权利要求1所述的基于多特征融合的AD早期预测方法，其特征在于：步骤S5中，所述神经影像预测模型输出的分类结果PETcnni包括三类，分别是：认知正常，对应的分类结果的值为0；轻度认知障碍，对应的分类结果的值为1；阿尔茨海默症，对应的分类结果的值为2。
7.如权利要求1所述的基于多特征融合的AD早期预测方法，其特征在于：步骤S6中，各个序列图像的分类结果PETcnni的相关度R采用皮尔逊相关系数计算，计算公式如下：
其中，y表示所有切片图像的预测结果的均值；y表示序列图像中第一张切片图像的预测结果；表示根据图像序列中的第2到第k张切片图像得到的预测结果的集合；相关度R的值位于[0，1]区间内。
8.一种基于多特征融合的AD早期预测系统，其特征在于，其采用如权利要求1-7中任意一项所述的基于多特征融合的AD早期预测方法，根据检测对象的三维脑部PET影像和临床神经心理学量表评估结果，评估出检测对象是否罹患阿尔兹海默症；所述AD早期预测系统包括：
影像预处理模块，其用于将输入的检测对象的三维脑部PET影像转换为包含多张二维切片图像的序列图像；所述影像预处理模块包括模板生成单元、平均化处理单元、空间对齐单元、差值运算单元、强度归一化单元和图像分割单元和序列图像输出单元；
特征识别模块，其用于对输入的每张所述切片图像进行特征识别，进而输出一个512维的表征向量；所述特征识别模块包括并联的第一子网络和第二子网络；每个子网络均包括依次首尾连接的卷积层、混合注意力单元、最大池化层和8个残差单元；两个子网络的输出加权融合后作为特征识别模块的输出；
分类模块，其采用一个非线性多层感知器将所述特征识别模块输出的每张切片图像对应的所述表征向量映射为一个相应的分类结果PETcnni；
心理学评分获取模块，其用于获取检测对象的临床神经心理学量表评估结果，包括：轻度精神状态评分值MMSEscore和临床痴呆程度评分值CDRscore；
相关度计算模块，其采用皮尔逊相关系数计算出同一个三维脑部PET影像的所有二维切片图像对应的分类结果的相关度；以及
融合预测模块，其用于以相关度R作为比例参数λ，根据检测对象的每张切片图像的分类结果PETcnni，检测对象的轻度精神状态评分值MMSEscore和临床痴呆程度评分值CDRscore；计算出用于评估检测对象是否罹患AD的预测值。
9.一种基于多特征融合的AD早期预测装置，其包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1至7中任意一项所述的基于多特征融合的AD早期预测方法的步骤。
CN202210471036.2A 2022-04-28 2022-04-28 一种基于多特征融合的ad早期预测方法、系统、装置 Active CN114999629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210471036.2A CN114999629B (zh) 2022-04-28 2022-04-28 一种基于多特征融合的ad早期预测方法、系统、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210471036.2A CN114999629B (zh) 2022-04-28 2022-04-28 一种基于多特征融合的ad早期预测方法、系统、装置

Publications (2)

Publication Number Publication Date
CN114999629A CN114999629A (zh) 2022-09-02
CN114999629B true CN114999629B (zh) 2024-03-01

Family

ID=83024540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210471036.2A Active CN114999629B (zh) 2022-04-28 2022-04-28 一种基于多特征融合的ad早期预测方法、系统、装置

Country Status (1)

Country Link
CN (1) CN114999629B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578370B (zh) * 2022-10-28 2023-05-09 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置
CN115457339B (zh) * 2022-11-11 2023-03-24 中加健康工程研究院(合肥)有限公司 一种基于深度集成学习的ad预测方法、系统及装置
CN116417135B (zh) * 2023-02-17 2024-03-08 中国人民解放军总医院第二医学中心 基于脑影像预测早期阿尔茨海默症类型的处理方法和装置
CN117017213B (zh) * 2023-07-25 2024-03-12 四川省医学科学院·四川省人民医院 一种基于胃肠道极端条件触发的帕金森精准预测方法
CN116681706B (zh) * 2023-08-04 2023-11-10 福建自贸试验区厦门片区Manteia数据科技有限公司 医学影像的处理方法、装置、电子设备及存储介质
CN117218453B (zh) * 2023-11-06 2024-01-16 中国科学院大学 一种不完备多模态医学影像学习方法
CN117643252B (zh) * 2024-01-12 2024-05-24 西藏田硕农业科技有限公司 一种克服半夏连作障碍的设施栽培方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110739070A (zh) * 2019-09-26 2020-01-31 南京工业大学 一种基于3d卷积神经网络的脑疾病诊断方法
CN111179269A (zh) * 2019-11-11 2020-05-19 浙江工业大学 一种基于多视图和3维卷积融合策略的pet图像分割方法
CN113989551A (zh) * 2021-10-25 2022-01-28 哈尔滨理工大学 一种基于改进ResNet网络的阿尔茨海默病分类方法
CN114188013A (zh) * 2021-09-01 2022-03-15 北京智精灵科技有限公司 一种阿尔兹海默症的认知及脑影像数据整合评估方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110739070A (zh) * 2019-09-26 2020-01-31 南京工业大学 一种基于3d卷积神经网络的脑疾病诊断方法
CN111179269A (zh) * 2019-11-11 2020-05-19 浙江工业大学 一种基于多视图和3维卷积融合策略的pet图像分割方法
CN114188013A (zh) * 2021-09-01 2022-03-15 北京智精灵科技有限公司 一种阿尔兹海默症的认知及脑影像数据整合评估方法
CN113989551A (zh) * 2021-10-25 2022-01-28 哈尔滨理工大学 一种基于改进ResNet网络的阿尔茨海默病分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于3D卷积神经网络-感兴趣区域的阿尔茨海默症辅助诊断模型;曾安;邹超;潘丹;;生物医学工程研究;20200625(第02期);全文 *
基于增强AlexNet的深度学习的阿尔茨海默病的早期诊断;吕鸿蒙;赵地;迟学斌;;计算机科学;20170615(第S1期);全文 *
基于耦合的卷积-图卷积神经网络的阿尔茨海默病的磁共振诊断方法;李青峰;邢潇丹;冯前进;;南方医科大学学报(第04期);全文 *

Also Published As

Publication number Publication date
CN114999629A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN114999629B (zh) 一种基于多特征融合的ad早期预测方法、系统、装置
Warren et al. Functional magnetic resonance imaging, deep learning, and Alzheimer's disease: A systematic review
CN111009321A (zh) 一种机器学习分类模型在青少年孤独症辅助诊断中的应用方法
WO2010005656A2 (en) Brain condition assessment
Al-Adhaileh Diagnosis and classification of Alzheimer's disease by using a convolution neural network algorithm
Kanna et al. Computing Model for Alzheimer Prediction Using Support Vector Machine Classifier
Alkabawi et al. Computer-aided classification of multi-types of dementia via convolutional neural networks
CN115131642A (zh) 一种基于多视子空间聚类的多模态医学数据融合系统
Chen et al. Contrastive learning for prediction of Alzheimer's disease using brain 18f-fdg pet
Yang et al. Diagnosis of Parkinson’s disease based on 3D ResNet: The frontal lobe is crucial
Pham et al. Multimodal deep learning model of predicting future visual field for glaucoma patients
Payares‐Garcia et al. Spatially informed Bayesian neural network for neurodegenerative diseases classification
Saputra et al. Implementation of machine learning and deep learning models based on structural MRI for identification autism spectrum disorder
Zhang et al. Modeling alzheimer’s disease progression via amalgamated magnitude-direction brain structure variation quantification and tensor multi-task learning
Alshayeji et al. Two-stage framework for diabetic retinopathy diagnosis and disease stage screening with ensemble learning
Çelebi et al. Leveraging Deep Learning for Enhanced Detection of Alzheimer's Disease Through Morphometric Analysis of Brain Images.
JP2024061599A (ja) 階層図ニューラルネットワークに基づく疾患診療過程異常識別システム
Matlani BiLSTM-ANN: early diagnosis of Alzheimer’s disease using hybrid deep learning algorithms
JP2023545704A (ja) エクスポソーム臨床応用のためのシステム及び方法
Elakkiya Toward improving the accuracy in the diagnosis of schizophrenia using functional magnetic resonance imaging (fMRI)
Xin et al. Transformer guided self-adaptive network for multi-scale skin lesion image segmentation
Javeed et al. Breaking barriers: a statistical and machine learning-based hybrid system for predicting dementia
Subasi et al. Alzheimer’s disease detection using artificial intelligence
Padole et al. Early Detection of Alzheimer’s Disease Using Graph Signal Processing and Deep Learning.
Huang et al. Parkinson's severity diagnosis explainable model based on 3D multi-head attention residual network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant