CN112353381B - 基于多模态大脑影像的阿尔茨海默症综合诊断系统 - Google Patents

基于多模态大脑影像的阿尔茨海默症综合诊断系统 Download PDF

Info

Publication number
CN112353381B
CN112353381B CN202011329714.9A CN202011329714A CN112353381B CN 112353381 B CN112353381 B CN 112353381B CN 202011329714 A CN202011329714 A CN 202011329714A CN 112353381 B CN112353381 B CN 112353381B
Authority
CN
China
Prior art keywords
encoder
brain
feature
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011329714.9A
Other languages
English (en)
Other versions
CN112353381A (zh
Inventor
牛张明
杨光
高远
江荧辉
叶晴昊
王旻浩
周宇
徐建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digong Hangzhou Science And Technology Industry Co ltd
Hangzhou Hailui Boyan Technology Co ltd
Hangzhou Ranman Intelligent Technology Co ltd
Original Assignee
Digong Hangzhou Science And Technology Industry Co ltd
Hangzhou Hailui Boyan Technology Co ltd
Hangzhou Ranman Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digong Hangzhou Science And Technology Industry Co ltd, Hangzhou Hailui Boyan Technology Co ltd, Hangzhou Ranman Intelligent Technology Co ltd filed Critical Digong Hangzhou Science And Technology Industry Co ltd
Priority to CN202011329714.9A priority Critical patent/CN112353381B/zh
Publication of CN112353381A publication Critical patent/CN112353381A/zh
Application granted granted Critical
Publication of CN112353381B publication Critical patent/CN112353381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Neurology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Fuzzy Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)

Abstract

本发明提供了一种基于多模态大脑影像的阿尔茨海默症综合诊断系统，包括：包括基于多模态神经影像的深度学习系统，所述基于多模态神经影像的深度学习系统对患者认知状态自动化分类；患者认知状态包括正常状态，轻度认知障碍状态和阿尔茨海默症状态；还包括基于领域对抗的神经网络，所述基于领域对抗的神经网络将MRI所提供的大脑结构信息和PET所提供的认知功能信息融合，以对大脑认知退化的程度以及阶段进行诊断；所述PET所提供的认知功能信息包括反映相关蛋白的代谢水平，以定位到大脑认知退化的区域；所述相关蛋白包括Aβ淀粉样蛋白或tau蛋白。

Description

基于多模态大脑影像的阿尔茨海默症综合诊断系统
技术领域
本发明涉及医学图像处理技术领域，特别涉及一种基于多模态大脑影像的阿尔茨海默症综合诊断系统。
背景技术
多年来，医学信息学研究人员一直在追求数据驱动的方法来自动执行疾病诊断，以早期发现许多致命疾病。阿尔茨海默氏病(AD)已成为全球第六大死亡原因，这是可以从计算机辅助诊断技术中受益的疾病之一。阿尔茨海默氏病的一个特殊挑战是，在精神衰退开始之前的早期阶段很难检测到。通常，脑部医学影像(例如PET和MRI)一直来被作为阿尔茨海默病请诊断的不可或缺的工具。对于医生和研究人员而言，分析大脑影像数据非常耗时，因为每个患者的扫描都包含数百万个体素。深度学习为自动处理医学图像提供了潜在解决方案，可以使早期AD诊断更加高效。近些年来，深度学习方法被广泛用于各类大脑影像扫描自动分类。这些方法通常基于2D或3D卷积神经网络(CNN)通过监督学习在带有标记(认知正常(CN)，轻度认知障碍(MCI)或阿尔茨海默氏病(AD))的大脑影像(MRI或PET)上进行训练。然而这些方法存在诸多的局限性：1)缺乏通用性及兼容性，大部分只适用于单一模态影像的分析(MRI或PET)2)严格的信息对成型，需要对患者的MRI以及PET影像进行配对及配准，但在临床实践中，PET影像数据是十分稀缺的，这就造成此类型方法无法得到可观的有效数据，因此模型的泛化能力弱3)缺乏可解释性，3D-CNN用于得出结论的过程缺乏透明度，无法像人类专家在诊断中那样直接提供推理和解释。因此，对于医生而言，很难在临床实践中信任此类系统。
发明内容
本发明的目的在于提供一种基于多模态大脑影像的阿尔茨海默症综合诊断系统，以解决现有的诊断阿尔茨海默氏病的脑部医学影像缺乏通用性及兼容性。
为解决上述技术问题，本发明提供一种基于多模态大脑影像的阿尔茨海默症综合诊断系统，包括：包括基于多模态神经影像的深度学习系统，所述基于多模态神经影像的深度学习系统对患者认知状态自动化分类；
患者认知状态包括正常状态，轻度认知障碍状态和阿尔茨海默症状态；
还包括基于领域对抗的神经网络，所述基于领域对抗的神经网络将MRI所提供的大脑结构信息和PET所提供的认知功能信息融合，以对大脑认知退化的程度以及阶段进行诊断；
所述PET所提供的认知功能信息包括反映相关蛋白的代谢水平，以定位到大脑认知退化的区域；
所述相关蛋白包括Aβ淀粉样蛋白或tau蛋白。
可选的，在所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统中，所述基于领域对抗的神经网络包括：
图像数据以及预处理模块，被配置为进行数据分割及MRI预处理，通过领域对抗学习对齐结构以及功能性影像的特征表达从而使神经网络具有通用性；
半监督变分自动编码器模块，被配置为将半监督变分推断的技术融入自动编码器的学习增强了特征表达的可区分性；
多模态对抗与域融合模块，被配置为消除多模态特征融合对于输入信息对称性的要求；
积分梯度回传定位病变区域模块，被配置为根据积分梯度回传算法自动定位病变相关区域。
可选的，在所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统中，所述图像数据以及预处理包括：
数据分割模块，被配置为进行所有实验之前对数据进行拆分，按比例划分，将每个患者的所有MRI和PET图像添加到同一集合中；
MRI预处理模块：被配置为使用基于卷积神经网络的颅骨剥离方法去除所有非脑组织，减少与阿尔茨海默氏病无关的组织相关的噪音，运动校正并将图像和标准模板进行配准；确定MRI和PET输入的空间分辨率一致；
通过移除模态所有图像上黑色的切片裁剪图像，将图像跨域对齐，直到达到比例因子为止；
通过多维图像处理库中实现的三阶样条插值方法，以最小的分辨率损失进行缩放；
所有图像均被标准化为均值0和方差1；
在将所有训练数据输入网络之前，使用均匀分布在-10°和+10°之间的随机旋转，概率为0.5的水平和垂直随机翻转和均匀分布在-0.1和0.1之间的全图像素强度偏移进行数据增强。
可选的，在所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统中，半监督变分自动编码器模块包括：
编码器网络，被配置为将输入的MRI和PET编码到高维的特征空间空间，其输出为特征表示；
解码器网络，被配置为使用该特征表示重建原始图像；
原始图像与编码器网络输出之间的差异为误差损失；
通过误差损失的反向传播，编码器网络学习到有用的特征表示；
将变分推断融入到半监督变分自动编码器模块中并对半监督变分自动编码器模块的结构进行拓展。
可选的，在所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统中，将变分推断融入到半监督变分自动编码器模块中并对半监督变分自动编码器模块的结构进行拓展包括：
引入潜变量
Figure BDA0002795428050000031
并用编码器Ge对受检者的MRI/PET，即
Figure BDA0002795428050000032
进行编码得到z关于x的真实分布的近似，
Figure BDA0002795428050000033
编码器网络使用四个卷积区块对图像进行编码，每个卷积区块由3×3×3卷积层，2×2×2最大池化层，归一化层和线性整流激活层组成；
对于2×2×2最大池化层，使用2个体素的跨度，或使用零填充输入，每个卷积区块的输出特征图的空间分辨率比前一区块减小2倍；
对于每个卷积滤波器，使用1个体素的步幅并在被卷积特征图周围进行体素的填充；
进行正态分布采样∈～N(0,(I))并根据编码器网络输出的特征重新参数化：
Figure BDA0002795428050000041
可选的，在所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统中，将变分推断融入到半监督变分自动编码器模块中并对半监督变分自动编码器模块的结构进行拓展还包括：
解码器网络Gd是编码器网络的镜像，通过近似pθ(x|z)从潜在空间对原始大脑影像进行重构并输出重构后的影像表示，记作
Figure BDA0002795428050000042
解码器网络的上采样层和逆卷积层与编码器网络相异；
将特征表示z输入解码器网络，通过四个反卷积层块将其映射回到原始分辨率；
使用双线性上采样层代替上池化；
对于重建损失函数
Figure BDA0002795428050000043
使用均方误差:
Figure BDA0002795428050000044
其中‖·‖2为弗罗贝尼乌斯范数；
引入全联接多层感知器Dy并输入特征表示z，输出大小等于类数的单个隐藏层，使用ReLU激活函数，以及随机关闭30％的神经元，通过归一化指数层输出d维的概率向量
Figure BDA0002795428050000045
d＝3对应着三种认知状态的分布，分别是正常，轻度认知障碍和阿尔滋海默。
可选的，在所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统中，半监督变分自动编码器模块还包括：
根据类别之间的排序：
Figure BDA0002795428050000046
形成由三部分组成的损失函数，包括监督损失
Figure BDA0002795428050000047
重建损失
Figure BDA0002795428050000048
和潜在特征分布的库尔贝克·莱布尔勒散度Lkl(μ,Σ)；
使用反向传播对网络进行端到端训练，总损失是这三个损失的加权总和：
Figure BDA0002795428050000049
其中λ是重构损失的权重。
可选的，在所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统中，多模态对抗与域融合模块将MRI/PET模态的输入映射到难以区分的公共特征域，多模态对抗与域融合模块以无源适配器架构为基础，对来自两个域的图像进行编码，以使特征表示不能追溯到特定的域来源；域对抗训练的流程包括：编码器Ge将输入图像编码为特征表示、将特征表示分别输入到多层感知器Dy和域鉴别感知器Dd；
还包括对抗损失：
Figure BDA0002795428050000051
结合半监督变分自动编码器模块的半监督训练，要优化的目标函数为：
Figure BDA0002795428050000052
可选的，在所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统中，积分梯度回传定位病变区域模块通过将不同视角评分图中的每个神经元直接与其原始图像中的感受野相关联实现对病灶区域定位；
通过计算每个体素对目标得分神经元激活的影响程度获得更准确的病灶定位；
将输入图像扁平化，表示为
Figure BDA0002795428050000053
(体素数＝n)，通过计算预测的类分数S(x)对于输入x的导数：
Figure BDA0002795428050000054
Figure BDA0002795428050000055
其中gi表示单个体素xi对预测的贡献；
通过在网络的每个层中反向传播最终预测分数估计梯度。
可选的，在所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统中，积分梯度回传定位病变区域模块还采用“积分梯度”的特征归因方法，包括：
将得分的梯度Φi(S(x)，x)分配给第i个代表该体素对于得分的重要性的动态变化；
数值大的正分数表示该体素提高了预测分数S(x)，而重要性分数接近零表示该体素不影响S(x)；
引入“不存在”的基线输入，表示为
Figure BDA0002795428050000056
使用空图像；
与输入图像x保持相同的形状；
根据直线路径，计算沿路径所有点的梯度，积分梯度的表达式为如下方程(4)
Figure BDA0002795428050000061
其中α∈[0,1]；积分梯度通过在基线值和当前输入之间插值的图像上累积梯度获得重要性分数；采用梯度的总和近似等式(4)中的积分，表达式为(5)：
Figure BDA0002795428050000062
其中，m是黎曼近似积分中的步数；
在一组输入中(即n＝1，…，m的情况下)循环计算近似值。
在本发明提供的基于多模态大脑影像的阿尔茨海默症综合诊断系统中，提供了一套基于多模态神经影像的深度学习系统用于对患者认知状态自动化分类(正常，轻度认知障碍和AD)。目前，大多数基于大脑影像的AD应用都是基于单模态数据(例如，MRI)，然而仅靠MRI大脑结构成像并无法对大脑认知功能的情况作出准确的判断，这就需要功能性的成像(如PET)的辅助，PET可以准确的反映出相关蛋白的代谢水平(如Aβ淀粉样蛋白或tau蛋白)从而定位到大脑退化的区域。本发明还提供一种基于领域对抗的神经网络，能够将MRI所提供的大脑结构信息和PET所提供的认知功能信息融合，从而对大脑认知退化的程度以及阶段实现更精准的诊断。除此之外，本发明的系统实现了不同配置之间的灵活切换，既可在单模态形式(即MRI或PET)下运作又可以在多模态(即同时输入MRI和PET)下运作。这极大程度上方便了临床应用以及阿尔茨海默的诊断。此外，本发明提供了一套自动化标记算法对有早期退化征兆的脑部区域进行标记并且自动向医生发出警报。
在本发明有益效果在于，本发明提供了一种基于领域对抗以及变分推断的通用深度学习技术，用于多模态大脑影像(MRI和PET)融合以及自动阿尔茨海默评估。同时，本发明将可解释性纳入所开发的深度学习系统，开发出体素级视觉解释技术，使得系统在做出病情评估时可以显示神经网络在脑部扫描中的空间注意力。该技术有效地降低了医生人工阅片的负担，并且让医生更好地了解神经网络的行为以及对病情判断的依据，从而对自动化阿尔茨海默诊断产生更大的信心。
本发明的重要创新点还在于：提供了一种新颖的可兼容多模态影像的阿尔茨海默诊断技术，通过领域对抗学习对齐结构以及功能性影像的特征表达从而使神经网络具有通用性(即可以用于MRI，也可以用于PET)，消除了多模态特征融合对于输入信息对称性的要求，将半监督变分推断的技术融入自动编码器的学习增强了特征表达的可区分性，一种全新的积分梯度回传算法自动定位病变相关区域。
附图说明
图1是本发明一实施例基于多模态大脑影像的阿尔茨海默症综合诊断系统完整神经网络架构示意图；
图2是本发明一实施例基于多模态大脑影像的阿尔茨海默症综合诊断系统编码器网络架构示意图；
图3是本发明一实施例基于多模态大脑影像的阿尔茨海默症综合诊断系统解码器网络架构示意图；
图4是本发明一实施例基于多模态大脑影像的阿尔茨海默症综合诊断系统全联接多层感知器示意图；
图5是本发明一实施例基于多模态大脑影像的阿尔茨海默症综合诊断系统域对抗训练架构示意图；
图6是本发明一实施例基于多模态大脑影像的阿尔茨海默症综合诊断系统域鉴别感知器示意图；
图7是本发明一实施例基于多模态大脑影像的阿尔茨海默症综合诊断系统积分梯度回传以及疾病区域自动勾划示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的基于多模态大脑影像的阿尔茨海默症综合诊断系统作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
另外，除非另行说明，本发明的不同实施例中的特征可以相互组合。例如，可以用第二实施例中的某特征替换第一实施例中相对应或功能相同或相似的特征，所得到的实施例同样落入本申请的公开范围或记载范围。
本发明的核心思想在于提供一种基于多模态大脑影像的阿尔茨海默症综合诊断系统，以解决现有的诊断阿尔茨海默氏病的脑部医学影像缺乏通用性及兼容性。
为实现上述思想，本发明提供了一种基于多模态大脑影像的阿尔茨海默症综合诊断系统，包括：包括基于多模态神经影像的深度学习系统，所述基于多模态神经影像的深度学习系统对患者认知状态自动化分类；患者认知状态包括正常状态，轻度认知障碍状态和阿尔茨海默症状态；还包括基于领域对抗的神经网络，所述基于领域对抗的神经网络将MRI所提供的大脑结构信息和PET所提供的认知功能信息融合，以对大脑认知退化的程度以及阶段进行诊断；所述PET所提供的认知功能信息包括反映相关蛋白的代谢水平，以定位到大脑认知退化的区域；所述相关蛋白包括Aβ淀粉样蛋白或tau蛋白。
痴呆症是导致老年人残疾和依赖性的主要原因之一。2015年，全世界估计有4700万人受到影响，预计到2050年，这一数字将上升到约1.32亿。阿尔茨海默氏病(AD)导致约60-70％的痴呆症病例因淀粉样蛋白沉积，神经原纤维缠结以及皮质神经元和突触的丧失而特征化。AD有可能在痴呆阶段之前被诊断，而早期诊断可能具有重要的个人和经济利益。在AD完全发展之前，通常患者会出现轻度认知障碍(MCI)的迹象。这意味着患者的认知能力发生了变化，但仍然可以进行日常活动。65岁或以上的人中约有15-20％患有MCI，MCI的人中有30-40％在5年内会发展为AD。没有可用的疗法可以治愈甚至延缓AD的发展-所有推定疗法的临床试验均未能证明可改善疾病的效果，这些失败的主要原因之一是难以在脑损伤发生之前识别到目标患者，而这个阶段是潜在疗法有可能发挥疗效的最佳时期。
对于AD的早期发现，理想的诊断工具既要对大脑认知或生物学变化非常敏感，又要能够将AD与正常的衰老和其他脑部疾病区分开来。大脑影像扫描是一种有潜力的诊断方法，三种最常见的三维成像技术用于扫描大脑，分别是核磁共振成像(MRI)，正电子发射断层扫描(PET)和计算机断层扫描(CT)。MRI和CT扫描捕获大脑结构信息，而PET则测量大脑功能活动。MRI被更为普遍的用于辅助AD诊断，因为它比CT和PET具有更高的分辨率，并且不使用有害辐射并且价格便宜。近年来，深度学习算法已受到相当多的关注，并已被证明可以实现早期AD检测的最新技术之一。在本发明的实施例中，本发明发明了一套基于多模态神经影像的深度学习系统用于对患者认知状态自动化分类(正常，轻度认知障碍和AD)。目前，大多数基于大脑影像的AD应用都是基于单模态数据(例如，MRI)，然而仅靠MRI大脑结构成像并无法对大脑认知功能的情况作出准确的判断，这就需要功能性的成像(如PET)的辅助，PET可以准确的反映出相关蛋白的代谢水平(如Aβ淀粉样蛋白或tau蛋白)从而定位到大脑退化的区域。本发明发明了一种基于领域对抗的神经网络(完整神经网络架构如图1所示)能够将MRI所提供的大脑结构信息和PET所提供的认知功能信息融合，从而对大脑认知退化的程度以及阶段实现更精准的诊断。除此之外，本发明的系统实现了不同配置之间的灵活切换，既可在单模态形式(即MRI或PET)下运作又可以在多模态(即同时输入MRI和PET)下运作。这极大程度上方便了临床应用以及阿尔茨海默的诊断。此外，在本发明的另一个是实施例中，本发明开发了一套自动化标记算法对有早期退化征兆的脑部区域进行标记并且自动向医生发出警报，
具体的，自动化标记算法包括图像数据以及预处理。图像数据以及预处理具体包括数据分割：为了避免数据泄露，本发明在进行所有实验之前都会先对数据进行拆分。为此，本发明将所有患者按大致比例(60,20,20)划分到训练，验证和测试集中。随后，将每个患者的所有MRI和PET图像添加到相应的集合中。此过程可确保将同一位患者的所有图像分配给同一组。在整个研究中，训练集用于训练每个模型，而验证集用于网络选择。除了计算最终的无偏评估之外，未使用测试集。
另外，图像数据以及预处理还包括MRI预处理：图像之间存在许多不需要的变化，这些变化与阿尔茨海默氏症的诊断无关。这些变化包括方向(例如，总头部大小，成像角度)，非脑组织(例如，眼睛，骨骼，皮肤)的变化和运动伪像。这些变化会对神经网络的训练不利，因为网络可以使用这些变化来过度拟合训练数据。如果采取数据增强或针对每个受检者进行多次扫描，这种负面的影响就变得尤其明显，因为在这两种情况下，模型都可以通过查看非大脑特征来学会识别患者。所以为了去除这些不相关的变化以避免过度拟合，本发明采取以下预处理步骤：1)使用一种基于卷积神经网络的颅骨剥离方法(IvanItzcovich.Deepbrain.github.com/iitzco/deepbrain,Sep 2018._用于去除所有非脑组织。这样可以减少与可能与阿尔茨海默氏病无关的组织(例如眼睛)相关的噪音；2)随后，使用FSL-FLIRT(Mark Jenkinso,Mark Jenkinson,Peter Bannister,Michael Brady,andStephen Smith.Improved optimization for the robust and accurate linearregistration and motion correction of brain images.Neuroimage,17(2):825–841,2002.)软件用于运动校正并将图像和标准MNI-152(John C Mazziotta,Arthur W Toga,Alan C Evans,Peter T Fox,and Jack L Lancaster.Digital brain atlases.Trends inneurosciences,18(5):210,1995.)模板进行配准；3)为了训练一个兼容两种模态(即同时输入PET和MRI)的模型，需要让输入的空间分辨率一致。通过移除模态所有图像上黑色的切片来裁剪图像，这样可以有效地将图像跨域对齐，直到达到比例因子为止。为了以最小的分辨率损失进行缩放，使用SciPy(Travis Oliphant.Guide to NumPy,2006.)的多维图像处理库中实现的三阶样条插值方法；4)所有图像均被标准化为均值0和方差1，这增加了卷积网络的稳定性和速度。同时为了提高网络的鲁棒性，在将所有训练数据输入网络之前，对其进行数据增强，使用随机旋转(均匀分布在-10°和+10°之间)，水平和垂直随机翻转(概率为0.5)和全图像素强度偏移(均匀分布在-0.1和0.1之间)。
自动化标记算法还包括半监督变分自动编码器，在本发明的一个是实施例中，使用卷积自动编码器架构：由编码器和解码器网络组成。编码器网络将输入的MRI/PET编码到一个高维的特征空间空间，其输出称为特征表示。随后，解码器使用该特征表示来重建原始图像。原始图像与解码器输出之间的差异被视为误差损失。通过误差损失的反向传播，编码器网络可以学习到有用的特征表示。然而，仅通过这种无监督学习学到的特征表示对区分轻度认知障碍和阿尔滋海默症的能力十分有限，而且往往网络容易出现过拟合的情况。为了学到更有区分度的特征表示，将变分推断的思想融入到自动编码器网络体系的设计中并对其结构进行拓展。引入一个潜变量
Figure BDA0002795428050000111
并用编码器Ge(如图2所示)对受检者的MRI/PET，即
Figure BDA0002795428050000112
进行编码得到z关于x的真实分布的近似，
Figure BDA0002795428050000113
编码器使用四个卷积区块对图像进行编码，每个卷积区块由一个3×3×3卷积层，一个2×2×2最大池化层，一个批归一化层，和一个线性整流激活层组成。对于最大池化，使用2个体素的跨度，并在必要时使用零填充输入。这意味每个卷积区块的输出特征图的空间分辨率都比前一区块减小2倍。对于每个卷积滤波器，使用1个体素的步幅并在被卷积特征图周围进行一个体素的填充。为了使变分推断可导，进行正态分布采样∈～N(0,(I))并根据编码器输出的特征重新参数化：
Figure BDA0002795428050000114
解码器Gd可以看作是编码器的镜像通过近似pθ(x|z)从潜在空间对原始大脑影像进行重构并输出重构后的影像表示，记作
Figure BDA0002795428050000115
解码器的网络架构(如图3所示)与编码器的架构非常相似，唯一不同的地方就是上采样层和逆卷积层。将特征表示z输入解码器并该空间随后通过四个反卷积层块将其映射回到原始分辨率。为了降低运算的复杂度，使用双线性上采样层来代替上池化。对于重建损失函数
Figure BDA0002795428050000116
使用均方误差:
Figure BDA0002795428050000117
其中‖·‖2为弗罗贝尼乌斯范数(即L2范数)。此外，创建了一个半监督的学习架构，通过引入了一个全联接多层感知器Dy(如图4所示)并输入特征表示z，输出大小等于类数的单个隐藏层,使用ReLU激活函数，以及随机关闭30％的神经元，最后通过归一化指数层输出一个d维的概率向量
Figure BDA0002795428050000118
d＝3对应着三种认知状态的分布，分别是正常，轻度认知障碍和阿尔滋海默。本发明的另外一个创新点在于，考虑认知状态的连续性和互相依存性，用软标签替换了一位有效编码，考虑类别之间的排序：
Figure BDA0002795428050000121
软标签可以或多或少地根据类别来对错误分类进行有针对性的惩罚：与正常认知被错误分类为阿尔滋海默症相比，轻度认知障碍被错误分类为阿尔滋海默症导致的惩罚更少。实际上，基于类的惩罚使模型可以使用类B的示例来学习类A，这可以看作是一种潜在的任务内迁移学习的方式提高网络的分类能力。
最终本发明设计了一个由三部分组成的损失函数，包括监督损失
Figure BDA0002795428050000122
重建损失
Figure BDA0002795428050000123
和潜在特征分布的库尔贝克·莱布尔勒散度Lkl(μ,Σ)，然后使用反向传播对网络进行端到端训练，总损失是这三个损失的加权总和：
Figure BDA0002795428050000124
其中λ是重构损失的权重。较高的λ意味着更多的正则化，这会迫使对特征表示进行微调以重建图像。相反，对于λ＝0，则不进行自动编码器正则化，并且编码器的唯一目的是找到使分类性能最大化的特征表示。
自动化标记算法还包括多模态对抗与域融合，为了使本发明的应用能够在MRI和PET域之间自适应并自由转换，将两种模态的输入映射到一个难以区分的公共特征域，域自适应的目的是使域之间的特征分布偏移最小。本发明提出一种全新的域对抗训练架构(如图5所示)。该架构以无源适配器架构为基础，目标是对来自两个域的图像进行编码，以使特征表示不能追溯到特定的域来源。域对抗训练的流程主要由三部分构成，1)半监督变分自动编码器中提到的编码器Ge将输入图像编码为特征表示；2)将特征表示分别输入到半监督变分自动编码器提到的多层感知器Dy(如图4所示)和一个域鉴别感知器Dd(如图6所示)。如上所述，多层感知器Dy的任务是根据特征表示来预测认知状态的标签。同时，域鉴别感知器Dd被训练以预测特征表示来自哪个域。在域对抗训练中，本发明的目的是训练编码器Ge以最大化多层感知器Dy的识别能力，同时最小化域鉴别感知器Dd的识别能力。在这个体系中，编码器Ge可以被看作是同时最小化域鉴别感知器Dd的对手。两者相互博弈，域鉴别感知器Dd试图区分特征空间中的不同数据类型，而编码器试图通过使特征分布看起来尽可能相似来使其混淆。对抗设置意味着编码器的目标和域识别器彼此冲突，本发明设计了一种对抗损失来实现此目的：
Figure BDA0002795428050000131
对抗由交替优化两个子网络(即Ge和Dd)和误差梯度反转来实现，首先对于域鉴别感知器Dd最大化对抗损失，结果使MRI和PET输入分别被预测为1和0；然后固定域鉴别感知器的参数，对于编码器Ge最小化对抗损失，结果使MRI和PET输入分别被预测为0和和1。最终，对抗损失会收敛在一个鞍点，结果使MRI和PET输入分别被预测为0.5和0.5。该系统本身可以使用任何神经网络优化方法进行训练，例如随机梯度下降。本发明提出的这种通过对抗训练来实现域融合的技术，优势是双重的：1)对如何最小化两个域之间的偏移进行较少的假设；以及2)对抗机制可以作为网络的一部分进行培训，并且可以以直接的方式将其嵌入到任何深度学习管道中。此外，本发明的技术可以应用于无监督的环境：不需要对目标域数据进行标注，任务感知器只需在源域数据上训练，对于编码器和域鉴别感知器，只需知道数据的来源即可。如果有一些标记的目标数据可用，则也可以进行半监督训练，或者进行完全监督学习。综合图像数据以及预处理中的半监督训练，本发明最终要优化的目标函数为：
Figure BDA0002795428050000132
自动化标记算法还包括积分梯度回传定位病变区域，输入MRI/PET通过解码器Ge向前传导确定认知类别和得分之后，本发明提供了一积分逆向梯度传导算法，如图7所示的示例，通过将不同视角评分图中的每个神经元直接与其原始图像中的感受野相关联实现对病灶区域定位。通过这个算法，可以获得体素级映射，其中包含有关类特定目标结构在原始输入图像分辨率下的位置信息。通过计算每个体素对目标得分神经元激活的影响程度获得更准确的病灶定位。通常，将输入图像扁平化，表示为
Figure BDA0002795428050000133
Figure BDA0002795428050000134
(体素数＝n)，通过计算预测的类分数S(x)对于输入x的导数：
Figure BDA0002795428050000135
其中gi表示单个体素xi对预测的贡献。另外，可以通过在网络的每个层中反向传播最终预测分数来估计梯度。目前的反向传播方法，包括导向反向传播，Deep Lift和分层相关传播(LRP)。其中，导向反向方法可能会破坏梯度灵敏度，因为仅当在输入端打开ReLU时，它才会通过ReLU节点进行反向传播。缺乏敏感性会导致梯度集中在不相关的特征上，并导致不相关模式的定位。Deep Lift和LRP方法通过计算输入处的离散梯度而不是瞬时梯度来解决灵敏度问题。它们通常不能满足实现梯度不变性，因为链式法则通常不适用于离散梯度。这样，反向传播的梯度可能会对模型的不重要特征敏感。为了解决这些局限性，本发明设计了一种称为“积分梯度”的特征归因方法，该方法将得分的梯度Φi(S(x)，x)(类似于逐体素梯度)分配给第i个代表该体素对于得分的重要性的动态变化(增加或减去)。数值大的正分数表示该体素提高了预测分数S(x)，而重要性分数接近零表示该体素不影响S(x)。为了计算重要性分数，需要引入“不存在”的基线输入，表示为
Figure BDA0002795428050000141
在本发明的研究中使用空图像(用零填充)。与输入图像x保持相同的形状。考虑了直线路径，即从基线x'到输入x的点对点，并计算了沿路径所有点的梯度。积分梯度的表达式为如下方程(4)
Figure BDA0002795428050000142
其中α∈[0,1]。积分梯度可以通过在基线值和当前输入之间插值的图像上累积梯度来获得重要性分数。用梯度的总和来近似等式(4)中的积分，表达式为(5)：
Figure BDA0002795428050000143
其中，m是黎曼近似积分中的步数。在一组输入中(即n＝1，…，m的情况下)循环计算近似值。
综上，上述实施例对基于多模态大脑影像的阿尔茨海默症综合诊断系统的不同构型进行了详细说明，当然，本发明包括但不局限于上述实施中所列举的构型，任何在上述实施例提供的构型基础上进行变换的内容，均属于本发明所保护的范围。本领域技术人员可以根据上述实施例的内容举一反三。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (9)

1.一种基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，包括基于多模态神经影像的深度学习系统，所述基于多模态神经影像的深度学习系统对患者认知状态自动化分类；
患者认知状态包括正常状态，轻度认知障碍状态和阿尔茨海默症状态；
还包括基于领域对抗的神经网络，所述基于领域对抗的神经网络将MRI所提供的大脑结构信息和PET所提供的认知功能信息融合，以对大脑认知退化的程度以及阶段进行诊断；
所述PET所提供的认知功能信息包括反映相关蛋白的代谢水平，以定位到大脑认知退化的区域；
所述相关蛋白包括Aβ淀粉样蛋白或tau蛋白；
所述基于领域对抗的神经网络包括：
图像数据以及预处理模块，被配置为进行数据分割及MRI预处理，通过领域对抗学习对齐结构以及功能性影像的特征表达从而使神经网络具有通用性；
半监督变分自动编码器模块，被配置为将半监督变分推断的技术融入自动编码器的学习增强了特征表达的可区分性；
多模态对抗与域融合模块，被配置为消除多模态特征融合对于输入信息对称性的要求；
积分梯度回传定位病变区域模块，被配置为根据积分梯度回传算法自动定位病变相关区域。
2.如权利要求1所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，所述图像数据以及预处理模块包括：
数据分割模块，被配置为进行所有实验之前对数据进行拆分，按比例划分，将每个患者的所有MRI和PET图像添加到同一集合中；
MRI预处理模块：被配置为使用基于卷积神经网络的颅骨剥离方法去除所有非脑组织，减少与阿尔茨海默氏病无关的组织相关的噪音，运动校正并将图像和标准模板进行配准；确定MRI和PET输入的空间分辨率一致；
通过移除模态所有图像上黑色的切片裁剪图像，将图像跨域对齐，直到达到比例因子为止；
通过多维图像处理库中实现的三阶样条插值方法，以最小的分辨率损失进行缩放；
所有图像均被标准化为均值0和方差1；
在将所有训练数据输入网络之前，使用均匀分布在-10°和+10°之间的随机旋转，概率为0.5的水平和垂直随机翻转和均匀分布在-0.1和0.1之间的全图像素强度偏移进行数据增强。
3.如权利要求1所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，半监督变分自动编码器模块包括：
编码器网络，被配置为将输入的MRI和PET编码到高维的特征空间，其输出为特征表示；
解码器网络，被配置为使用该特征表示重建原始图像；
原始图像与编码器网络输出之间的差异为误差损失；
通过误差损失的反向传播，编码器网络学习到有用的特征表示；
将变分推断融入到半监督变分自动编码器模块中并对半监督变分自动编码器模块的结构进行拓展。
4.如权利要求3所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，将变分推断融入到半监督变分自动编码器模块中并对半监督变分自动编码器模块的结构进行拓展包括：
引入潜变量
Figure FDA0003628621350000021
并用编码器Ge对受检者的MRI/PET，即
Figure FDA0003628621350000022
Figure FDA0003628621350000023
进行编码得到z关于x的真实分布的近似
Figure FDA0003628621350000024
编码器网络使用四个卷积区块对图像进行编码，每个卷积区块由3×3×3卷积层，2×2×2最大池化层，归一化层和线性整流激活层组成；
对于2×2×2最大池化层，使用2个体素的跨度，或使用零填充输入，每个卷积区块的输出特征图的空间分辨率比前一区块减小2倍；
对于每个卷积滤波器，使用1个体素的步幅并在被卷积特征图周围进行体素的填充；
进行正态分布采样∈～N(0,(I))并根据编码器网络输出的特征重新参数化：
Figure FDA0003628621350000025
5.如权利要求3所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，将变分推断融入到半监督变分自动编码器模块中并对半监督变分自动编码器模块的结构进行拓展还包括：
解码器网络Gd是编码器网络的镜像，通过近似pθ(x|z)从潜在空间对原始大脑影像进行重构并输出重构后的影像表示，记作
Figure FDA0003628621350000031
解码器网络的上采样层和逆卷积层与编码器网络相异；
将特征表示z输入解码器网络，通过四个反卷积层块将其映射回到原始分辨率；
使用双线性上采样层代替上池化；
对于重建损失函数
Figure FDA0003628621350000032
使用均方误差:
Figure FDA0003628621350000033
其中||·||2为弗罗贝尼乌斯范数；
引入全联接多层感知器Dy并输入特征表示z，输出大小等于类数的单个隐藏层，使用ReLU激活函数，以及随机关闭30％的神经元，通过归一化层输出d维的概率向量
Figure FDA0003628621350000034
d＝3对应着三种认知状态的分布，分别是正常，轻度认知障碍和阿尔滋海默。
6.如权利要求5所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，半监督变分自动编码器模块还包括：
根据类别之间的排序：
Figure 5
形成损失函数，所述损失函数包括监督损失
Figure FDA0003628621350000036
重建损失
Figure FDA0003628621350000037
和潜在特征分布的库尔贝克·莱布尔勒散度Lkl(μ,Σ)；
使用反向传播对网络进行端到端训练，总损失为监督损失、重建损失和潜在特征分布的库尔贝克·莱布尔勒散度的加权总和：
Figure FDA0003628621350000038
其中λ是重构损失的权重。
7.如权利要求6所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，多模态对抗与域融合模块将MRI/PET模态的输入映射到不区分的公共特征域，多模态对抗与域融合模块以无源适配器架构为基础，对来自两个域的图像进行编码，以使特征表示不能追溯到特定的域来源；域对抗训练的流程包括：编码器Ge将输入图像编码为特征表示、将特征表示分别输入到多层感知器Dy和域鉴别感知器Dd；
还包括对抗损失：
Figure FDA0003628621350000041
结合半监督变分自动编码器模块的半监督训练，要优化的目标函数为：
Figure FDA0003628621350000042
8.如权利要求1所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，积分梯度回传定位病变区域模块通过将不同视角评分图中的每个神经元直接与其原始图像中的感受野相关联实现对病灶区域定位；
通过计算每个体素对目标得分神经元激活的影响程度获得更准确的病灶定位；
将输入图像扁平化，表示为
Figure FDA0003628621350000043
体素数＝n，通过计算预测的类分数S(x)对于输入x的导数：
Figure FDA0003628621350000044
Figure FDA0003628621350000045
其中gi表示单个体素xi对预测的贡献；
通过在网络的每个层中反向传播最终预测分数估计梯度。
9.如权利要求8所述的基于多模态大脑影像的阿尔茨海默症综合诊断系统，其特征在于，积分梯度回传定位病变区域模块还采用“积分梯度”的特征归因方法，包括：
将得分的梯度Φi(S(x)，x)分配给第i个代表该体素对于得分的重要性的动态变化；
数值大的正分数表示该体素提高了预测分数S(x)，而重要性分数接近零表示该体素不影响S(x)；
引入“不存在”的基线输入，表示为
Figure FDA0003628621350000046
使用空图像；
与输入图像x保持相同的形状；
根据直线路径，计算沿路径所有点的梯度，积分梯度的表达式为如下方程(4)：
Figure FDA0003628621350000051
其中α∈[0,1]；积分梯度通过在基线值和当前输入之间插值的图像上累积梯度获得重要性分数；采用梯度的总和近似等式(4)中的积分，表达式为(5)：
Figure FDA0003628621350000052
其中，m是黎曼近似积分中的步数；
在一组输入中，即n＝1，…，m的情况下，循环计算近似值。
CN202011329714.9A 2020-11-24 2020-11-24 基于多模态大脑影像的阿尔茨海默症综合诊断系统 Active CN112353381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011329714.9A CN112353381B (zh) 2020-11-24 2020-11-24 基于多模态大脑影像的阿尔茨海默症综合诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011329714.9A CN112353381B (zh) 2020-11-24 2020-11-24 基于多模态大脑影像的阿尔茨海默症综合诊断系统

Publications (2)

Publication Number Publication Date
CN112353381A CN112353381A (zh) 2021-02-12
CN112353381B true CN112353381B (zh) 2022-06-28

Family

ID=74532761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011329714.9A Active CN112353381B (zh) 2020-11-24 2020-11-24 基于多模态大脑影像的阿尔茨海默症综合诊断系统

Country Status (1)

Country Link
CN (1) CN112353381B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113057585B (zh) * 2021-03-15 2022-08-30 中国科学院计算技术研究所 一种认知障碍检测模型及其训练方法
CN113205566A (zh) * 2021-04-23 2021-08-03 复旦大学 基于深度学习的腹部三维医学影像转换生成方法
KR20230033769A (ko) 2021-09-01 2023-03-09 이화여자대학교 산학협력단 Mri 영상을 이용한 학습모델 기반 노인의 인지 능력 분류 방법 및 분석장치
CN113724880A (zh) * 2021-11-03 2021-11-30 深圳先进技术研究院 一种异常脑连接预测系统、方法、装置及可读存储介质
CN114334130B (zh) * 2021-12-25 2023-08-22 浙江大学 一种基于脑对称性的pet分子影像计算机辅助诊断系统
CN115040147A (zh) * 2022-06-01 2022-09-13 上海全景医学影像诊断中心有限公司 一种基于18f-fdg pet代谢网络的帕金森症预测方法
CN115578387A (zh) * 2022-12-06 2023-01-06 中南大学 一种基于多模态的阿尔茨海默症医学图像分类方法及系统
CN116364221B (zh) * 2023-02-17 2024-02-09 中国人民解放军总医院第二医学中心 一种用于阿尔茨海默症研究的脑影像数据处理方法和系统
CN116344042B (zh) * 2023-05-31 2023-12-01 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及系统
CN117173222A (zh) * 2023-09-01 2023-12-05 深圳扬奇医芯智能科技有限公司 一种基于扩散模型的配准方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827671A (zh) * 2011-05-03 2014-05-28 联邦科学与工业研究组织 用于检测神经疾病的方法
CN107636468A (zh) * 2015-04-02 2018-01-26 Crc心理健康有限公司 用于预测认知退化的风险的方法
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN110580509A (zh) * 2019-09-12 2019-12-17 杭州海睿博研科技有限公司 基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法
CN111488914A (zh) * 2020-03-17 2020-08-04 哈尔滨工业大学 一种基于多任务学习的阿尔茨海默症分类及预测系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10779762B2 (en) * 2015-10-20 2020-09-22 Washington University MRI method for in vivo detection of amyloid and pathology in the Alzheimer brain
US20170258390A1 (en) * 2016-02-12 2017-09-14 Newton Howard Early Detection Of Neurodegenerative Disease
US20200222010A1 (en) * 2016-04-22 2020-07-16 Newton Howard System and method for deep mind analysis
US10574512B1 (en) * 2018-09-04 2020-02-25 Cisco Technology, Inc. Deep learning architecture for collaborative anomaly detection and explanation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103827671A (zh) * 2011-05-03 2014-05-28 联邦科学与工业研究组织 用于检测神经疾病的方法
CN107636468A (zh) * 2015-04-02 2018-01-26 Crc心理健康有限公司 用于预测认知退化的风险的方法
CN110580695A (zh) * 2019-08-07 2019-12-17 深圳先进技术研究院 一种多模态三维医学影像融合方法、系统及电子设备
CN110580509A (zh) * 2019-09-12 2019-12-17 杭州海睿博研科技有限公司 基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法
CN111488914A (zh) * 2020-03-17 2020-08-04 哈尔滨工业大学 一种基于多任务学习的阿尔茨海默症分类及预测系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Disease-Image Specific Generative Adversarial Network for Brain Disease Diagnosis with Incomplete Multi-modal Neuroimages;Yongsheng Pan et al;《Medical Image Computing and Computer Assisted Intervention - MICCAI 2019》;20191231;第11766卷;全文 *
Joint Neuroimage Synthesis and Representation Learning for Conversion Prediction of Subjective Cognitive Decline;Yunbi Liu et al;《Medical Image Computing and Computer Assisted Intervention – MICCAI 2020》;20200929;第12267卷;全文 *
Synthesizing Missing PET from MRI with Cycle-consistent Generative Adversarial Networks for Alzheimer’s Disease Diagnosis;Yongsheng Pan et al;《Medical Image Computing and Computer Assisted Intervention – MICCAI 2018》;20181231;第11072卷;全文 *
深度学习在轻度认知障碍转化与分类中的应用分析;张柏雯 等;《医疗卫生装备》;20170930;第38卷(第9期);全文 *

Also Published As

Publication number Publication date
CN112353381A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112353381B (zh) 基于多模态大脑影像的阿尔茨海默症综合诊断系统
Ebrahimighahnavieh et al. Deep learning to detect Alzheimer's disease from neuroimaging: A systematic literature review
Amini et al. Diagnosis of Alzheimer’s disease severity with fMRI images using robust multitask feature extraction method and convolutional neural network (CNN)
CN113506334B (zh) 基于深度学习的多模态医学图像融合方法及系统
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
Shakeri et al. Deep spectral-based shape features for Alzheimer’s disease classification
Khan et al. Knowledge distillation approach towards melanoma detection
Li et al. Temporomandibular joint segmentation in MRI images using deep learning
CN117218453B (zh) 一种不完备多模态医学影像学习方法
Sille et al. A Systematic Approach for Deep Learning Based Brain Tumor Segmentation.
Shi et al. Artifact-tolerant clustering-guided contrastive embedding learning for ophthalmic images in glaucoma
Iqbal et al. Hybrid Parallel Fuzzy CNN Paradigm: Unmasking Intricacies for Accurate Brain MRI Insights
CN111436212A (zh) 用于医学成像评估的深度学习的应用
Malinda et al. Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks
Rahmany et al. A priori knowledge integration for the detection of cerebral aneurysm
US20210307610A1 (en) Methods and systems for precise quantification of human sensory cortical areas
Salini et al. Deepfakes on retinal images using GAN
Zhan et al. Cross-modality vertebrae localization and labeling using learning-based approaches
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
Vieira et al. Using a Siamese Network to Accurately Detect Ischemic Stroke in Computed Tomography Scans
Hossain et al. Automated Segmentation of Multiple Sclerosis Lesions using Deep Learning
Sadique et al. Brain Tumor Segmentation and Evaluation Empowered with Deep Learning
Sille A transfer learning approach for deep learning based brain tumor segmentation
Huang et al. 3D Hand Bones and Tissue Estimation from a Single 2D X-Ray Image Via a Two-Stream Deep Neural Network
Unde et al. Brain MRI Image Analysis for Alzheimer’s Disease Diagnosis Using Mask R-CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant