CN114757911B - 基于图神经网络和对比学习的磁共振影像辅助处理系统 - Google Patents

基于图神经网络和对比学习的磁共振影像辅助处理系统 Download PDF

Info

Publication number
CN114757911B
CN114757911B CN202210390815.XA CN202210390815A CN114757911B CN 114757911 B CN114757911 B CN 114757911B CN 202210390815 A CN202210390815 A CN 202210390815A CN 114757911 B CN114757911 B CN 114757911B
Authority
CN
China
Prior art keywords
graph
feature extraction
learning
brain
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210390815.XA
Other languages
English (en)
Other versions
CN114757911A (zh
Inventor
王正宁
高婧婧
彭大伟
吴岳潼
徐宇航
商勇彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210390815.XA priority Critical patent/CN114757911B/zh
Publication of CN114757911A publication Critical patent/CN114757911A/zh
Application granted granted Critical
Publication of CN114757911B publication Critical patent/CN114757911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于图神经网络和对比学习的磁共振影像辅助处理系统，该系统包含依次连接的MRI影像数据预处理模块、图数据增广模块、对比学习模块以及迁移学习模块。本发明提出了一种基于自注意力的长短距离特征融合图神经网络LS‑GNN，综合考虑脑网络结构的长短距离依赖，提取大脑的全局和局部特征，并进行特征融合；在对比学习模型的投影头部分，通过多层感知机实现了特征向量映射与图读出功能的结合；本发明充分利用了大量的无标签和主观标签数据，通过对比学习，既获得了具备通用特征表示能力的模型，又减少了可能错误的主观标签的影响；通过迁移学习，可实现分类、聚类等多个领域的性能提升。

Description

基于图神经网络和对比学习的磁共振影像辅助处理系统
技术领域
本发明属于迁移学习、图像处理和计算机视觉领域，具体涉及一种基于图神经网络和对比学习的磁共振影像辅助处理系统。
背景技术
精神疾病(Mental Disorder)是一类复杂性疾病，主要症状表现为认知、意志、情感和行为异常，精神疾病的发病率每年都在增加，这使其给当今社会带来的影响日益严重。当前精神疾病的主要临床分类方法建立在症状学基础上，这是一种基于量表评估的医生主观判断，相对缺乏客观性。基于计算机科学和神经影像学的辅助处理系统，尤其是基于磁共振成像(Magnetic Resonance Imaging,MRI)的分类方法具有一定的客观性，并取得了出色的成果，因此，基于客观影像的精神疾病辅助处理系统仍是当前的重要研究趋势。
基于MRI影像的精神疾病辅助处理系统，经历了从机器学习到深度学习的发展，与之匹配的数据预处理方法也从人工定义特征发展到个体化结构脑网络。当前基于个体化结构脑网络和深度学习的研究方法，主要以有监督学习为主，通过构建分类、聚类模型，用人工标签和预测值构造损失函数，通过梯度反向传播更新模型参数。
Wang等人通过计算结构磁共振成像(sMRI)数据脑区间灰质体积的分布相似性，构建了个体化形态学脑网络(见图1)。通过个体化结构脑网络，能够获得大脑的全局共变信息，并组建大脑的结构网络数据，通过深度学习对大脑结构网络研究，取得了出色的成果。
在文献“Multisite Autism Spectrum Disorder Classification UsingConvolutional Neural Network Classifier and Individual Morphological BrainNetworks”[J].Gao J,Chen M,Li Y,et al.,Frontiers in Neuroscience,2021,14:1473中，Gao等人通过卷积神经网络实现了自闭症谱系障碍多站点数据集的高性能分类，并通过Grad-CAM方法实现了个体级别的模型解释(其模型图见图2)。在ABIDE I数据集中，该方法取得了多站点数据分类的最佳性能，分类准确率(Accuracy)高达0.718。在文献“AutisticSpectrum Disorder Detection and Struct ural Biomarker Identification UsingSelf-Attention Model and Individual-Level MorphologicalCovariance BrainNetworks”[J].Wang Z,Peng D,Shang Y,et al.,Frontiers in Neuroscie nce,2021:1268中，Wang等人使用自注意力机制构建特征提取网络，刷新了ABIDE I数据集的分类性能，使分类准确率达到0.725，并通过注意力图可视化的方法进行了可靠的模型解释(其模型图见图3)。
基于深度学习和个体化脑网络进行辅助研究，实现了精神疾病患者与对照组的高性能分类，但是该方法仍然存在两个问题。一是模型缺乏对特征的通用表示能力，通过监督学习得到的模型具有很强的正负样本分类能力，但是在研究聚类问题时，模型性能不佳；二是方法基于监督学习，但标签来源于人工经验标注，在精神疾病领域，医生的主观判断仍存在错误的可能，可能错误的人工标签指导监督模型训练，会影响模型的特征提取能力。
在公开号为CN113723519A的发明专利中，发明人提出一种基于对比学习的心电数据处理方法，通过构建无标签心电图的正负样本，训练一个心电特征提取器，再通过多层感知机模型实现心电图的分类。基于对比学习的方法，可以使用无标签数据及其增广数据训练模型，充分利用医学中大量存在的无标签数据。
在公开号为CN113903031A的发明专利中，作者基于图卷积神经网络和对比学习，提出了一种跨域语义分割方法，通过结合迁移学习和图神经网络的强特征提取能力，在主观和客观评价上都取得了更优的评估结果。基于对比学习，该方法实现了模型的通用特征表示。
发明内容
本发明属于医学影像处理和计算机视觉领域，是一种基于对比学习和图神经网络的精神疾病MRI影像辅助处理系统，涉及迁移学习、个体化结构脑网络、深度学习的图神经网络、自监督学习中的对比学习等一系列方法。
本发明提出了一种基于图神经网络和对比学习的磁共振影像辅助处理系统，该系统包含依次连接的MRI影像数据预处理模块、将图数据进行大量扩增的图数据增广模块、对图数据对进行对比学习并获得预训练特征提取模型的对比学习模块和将预训练特征提取模型进行迁移的迁移学习模块；
其中，所述MRI影像数据预处理模块，输入核磁共振成像仪采集的MRI影像，采集的MRI影像通过预处理后，输出大脑图结构数据，具体包括：
S11)通过核磁共振成像仪采集大脑的MRI影像，使用标准脑模板对采集的每一幅大脑的MRI影像进行脑区划分；
S12)将进行脑区划分后的每一幅大脑的MRI影像通过预处理得到一个原始图数据G0＝(N,E,F0)，其中G0为有向图，N为节点集合，E为边集合，F0为节点特征集合；
所述图数据增广模块，输入MRI影像数据预处理模块得到的每一个原始图数据，通过对原始图数据G0＝(N,E,F0)的E和F0施加随机扰动进行增广，输出为每一个原始图数据的增广图集合，具体包括
S21)通过扰动的方法将原始图数据G0＝(N,E,F0)进行增广，每个原始图数据通过公式(1)的增广函数随机得到M个增广图数据{G1,G2,...,GM}；
Gk′＝Augmentation(G0) (1)
其中，Augmentation(·)表示随机扰动，k′＝1,2,...,M；
S22)将每个原始图数据及其M个增广图数据构成一个增广图集合G＝(G0,G1,...,GM)；
所述对比学习模块由图对比深度学习模型SimGCLR构成，输入为图数据增广模块得到的增广图集合，输出为预训练特征提取模型；SimGCLR由孪生结构构成，其中的两个基于自注意力的长短距离特征融合图神经网络LS-GNN之间共享权值、两个投影头之间也共享权值，采样的每个图数据对会分别输入孪生结构中，每个图数据将先通过LS-GNN进行特征提取，然后通过投影头进行空间映射，最后通过相似性损失和对比损失对SimGCLR模型进行优化；所述对比学习模块的工作过程包括：
S31)在每个增广图集合内随机采样两个图数据，得到图数据Gi和图数据Gj，其中i,j＝0,1,2,...,M，且i≠j；
S32)将图数据Gi和图数据Gj成对输入对比深度学习模型SimGCLR，通过两个权值共享的LS-GNN分别对Gi和Gj进行特征提取，分别得到Gi和Gj的图结构特征Hi＝(Ni,Ei,Fi)和Hj＝(Nj,Ej,Fj)；其中，每个基于自注意力的长短距离特征融合图神经网络LS-GNN包括依次连接的1个自注意力特征提取模块和1个特征融合模块；每一个自注意力特征提取模块由M′个并联的基于多头自注意力的不同距离的特征提取子网络SA组成，每个特征提取子网络SA由H头自注意力模型构成；
S33)将图结构特征Hi＝(Ni,Ei,Fi)和Hj＝(Nj,Ej,Fj)分别输入两个相同的投影头中，通过L层多层感知机MLP对节点特征Fi和Fj进行非线性变换，将其分别投影为节点特征集合Zi和Zj，如公式(2)所示，其中L为可调节的超参数，ReLu表示ReLu激活函数，Wl，l＝1,2,...,L表示MLP中第l层的权重；
Figure BDA0003595432250000041
S34)用节点特征集合Zi和Zj将图结构特征Hi＝(Ni,Ei,Fi)和Hj＝(Nj,Ej,Fj)更新为H′i＝(Ni,Ei,Zi)和H′j＝(Nj,Ej,Zj)，用相似性损失计算边的相似性，如公式(3)所示：
Figure BDA0003595432250000042
其中，
Figure BDA0003595432250000043
表示图数据对H′i和H′j之间边的相似性损失，Similarity(·)表示相似性衡量方法执行的操作；
S35)通过公式(4)将节点特征集合Zi和Zj分别读出为一维向量zi和zj；
Figure BDA0003595432250000044
其中，ReadOut(·)表示读出操作；
S36)采用公式(5)计算一维向量zi和zj之间的对比损失
Figure BDA0003595432250000045
sim(u,v)为度量两个向量u和v相似性的相似性度量函数；τ为温度系数；IsOne[k≠i]表示函数IsOne除去k＝i这种情况，当k≠i时函数IsOne值为1，否则为0；k表示图数据对H′i和H′j的总节点数2N′中的一个，N′表示H′i或H′j中的节点数量；
Figure BDA0003595432250000046
S37)由此得到H′i＝(Ni,Ei,Zi)和H′j＝(Nj,Ej,Zj)之间的对比损失lij，如公式(6)所示，其中λ1和λ2为两个预设超参数；
Figure BDA0003595432250000047
S38)重复执行S31)到S37)共M(M+1)/2次，即将每个增广图集合进行M(M+1)/2次对比学习，得到一个预训练特征提取模型及其参数；
所述迁移学习模块，输入为对比学习模块得到的预训练特征提取模型及其参数，对当前待处理任务，在基于图神经网络和对比学习的磁共振影像辅助处理系统的预训练特征提取模型后添加当前待处理任务模块，获得当前待处理任务的完整模型；通过fine-tuning操作微调预训练特征提取模型的参数，获得该当前待处理任务下的特征提取模型及参数，具体操作为用预训练特征提取模型初始化该当前待处理任务下的特征提取模型，再用含标签的原始图数据训练当前待处理任务的完整模型，通过监督学习的方法对预训练特征提取模型参数进行微调，得到最终的当前待处理任务的特征提取模型及参数，进而得到训练完成的当前待处理任务的完整模型及结果。
针对现有方法的不足，本发明综合分析其优缺点，通过构建对比学习网络框架，使用大量无标签和主观标签数据进行训练，得到预训练模型；同时，为了保证模型具有高效的特征提取能力，本发明提出了一种基于自注意力的长短距离特征融合图神经网络LS-GNN，综合考虑脑网络结构的长短距离依赖，提取大脑的全局和局部特征，并进行特征融合；在对比学习模型的投影头部分，本发明通过多层感知机实现了特征向量映射与图读出功能的结合；最后，本发明综合考虑图的边与点的相似性，各自组织对比损失函数训练模型。
通过以上方法的组合，本发明充分利用了大量的无标签和主观标签数据，通过对比学习，既获得了具备通用特征表示能力的模型，又减少了可能错误的主观标签的影响；通过迁移学习，本发明可实现分类、聚类等多个领域的性能提升。
附图说明
图1是现有个体化形态学脑网络构建流程图；
图2是现有基于个体化脑网络、卷积神经网络和Grad-CAM的精神疾病分类-解释模型结构图；
图3是现有基于个体化脑网络和自注意力的精神疾病分类-解释模型结构图；
图4是本发明基于图神经网络和对比学习的磁共振影像辅助处理系统模块图；
图5是本发明图数据增广及采样示意图；
图6是本发明SimGCLR网络模型结构图；
图7是本发明LS-GNN网络模型结构图；
图8是本发明投影头Projection Head网络模型结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，所描述的实施例是本发明一部分实施例，而不是全部的实施例，也并非旨在限制要求保护的本发明的范围。本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出的基于图神经网络和对比学习的磁共振影像辅助处理系统包含依次连接的M RI影像数据预处理模块，将图数据进行大量扩增的图数据增广模块，对图数据对进行对比学习并获得预训练特征提取模型的对比学习模块和将预训练特征提取模型进行迁移的迁移学习模块(见图4)。通过对比学习模块得到的特征提取网络，可以有效地提取大脑MRI影像的高阶特征，充分利用无标签数据，并减少可能错误的人工标签对迁移学习模块中的预训练特征提取模型的影响。
所述MRI影像数据预处理模块，输入核磁共振成像仪采集的MRI影像，通过配准、分割等操作进行预处理，输出大脑图结构数据，具体包含以下步骤：
步骤1-1)通过核磁共振成像仪采集大脑的MRI影像，使用标准脑模板对采集的每一幅大脑的MRI影像进行脑区划分；
步骤1-2)将进行脑区划分后的每个个体的MRI影像(即每一幅大脑的MRI影像)通过配准、分割等操作预处理成一个原始图数据G0＝(N,E,F0)(每一幅大脑的MRI影像得到一个原始图数据)，其中G0为有向图，其中N为节点集合，E为边集合，F0为节点特征集合。下面是对不同类型的MRI影像的处理方式：当处理结构磁共振影像(sMRI)时，可以使用个体化结构脑网络计算脑区间的相似性特征，然后以脑区为节点，设置脑区的灰质体积密度分布为节点特征，将相似性特征设置为边，构建原始图数据GS(即此时的G0表示为GS)；当处理功能磁共振影像(fMRI)时，以脑区为节点，每个脑区的不同fMRI参数作为节点特征，将脑区间的功能连接关系设置为边，构建原始图数据GF(即此时的G0表示为GF)；
所述图数据增广模块，输入MRI影像数据预处理模块得到的每一个原始图数据，通过对原始图数据G0＝(N,E,F0)的E和F0施加随机扰动进行增广，输出为每一个原始图数据的增广图集合，具体包含以下步骤：
步骤2-1)通过扰动的方法将原始图数据G0＝(N,E,F0)进行增广，每个原始图数据通过公式(1)的增广函数随机得到M个增广图数据{G1,G2,...,GM}；
Gk′＝Augmentation(G0)(1)
其中，Augmentation(·)表示随机扰动，k′＝1,2,...,M。
步骤2-2)将原始图数据和M个增广图数据构成一个增广图集合G＝(G0,G1,...,GM)；
所述对比学习模块由图对比学习深度学习模型SimGCLR构成，输入为图数据增广模块得到的增广图集合，输出为预训练特征提取模型；SimGCLR由孪生结构构成，其中的两个LS-GNN之间共享权值、两个投影头之间也共享权值，采样的每个图数据对会分别输入孪生结构中，每个图数据将先通过LS-GNN进行特征提取，然后通过投影头进行空间映射，最后通过相似性损失和对比损失对模型进行优化；所述对比学习模块的工作过程包含以下步骤：
步骤3-1)在增广图集合内随机采样两个图数据，得到图数据Gi和图数据Gj，其中i,j＝0,1,2,...,M，且i≠j(如图5所示)；
步骤3-2)将图数据Gi和图数据Gj成对输入对比深度学习模型SimGCLR(见图6)中，通过权值共享的基于自注意力的长短距离特征融合图神经网络LS-GNN(见图7)分别对Gi和Gj进行特征提取，分别得到Gi和Gj的图结构特征Hi＝(Ni,Ei,Fi)和Hj＝(Nj,Ej,Fj)；其中，每个基于自注意力的长短距离特征融合图神经网络LS-GNN包括依次连接的1个自注意力特征提取模块和1个特征融合模块；每一个自注意力特征提取模块由M′个并联的基于多头自注意力的不同距离的特征提取子网络SA组成，每个特征提取子网络SA由H头自注意力模型构成；
步骤3-3)将图结构特征Hi＝(Ni,Ei,Fi)和Hj＝(Nj,Ej,Fj)分别输入两个相同的投影头中(见图8)，通过L层MLP(多层感知机，Multilayer Perceptron)对节点特征Fi和Fj进行非线性变换，将其分别投影为节点特征集合Zi和Zj(见公式(2))，其中L为可调节的超参数，图8中的Dense表示线性全连接层，ReLu表示ReLu激活函数，Wl，l＝1,2,...,L表示MLP中第l层的权重；
Figure BDA0003595432250000071
步骤3-4)用节点特征集合Zi和Zj将图数据Hi＝(Ni,Ei,Fi)和Hj＝(Nj,Ej,Fj)更新为H′i＝(Ni,Ei,Zi)和H′j＝(Nj,Ej,Zj)，用相似性损失计算边的相似性(见公式(3))；
Figure BDA0003595432250000081
其中，
Figure BDA0003595432250000082
表示图数据对H′i和H′j之间边的相似性损失，Similarity(·)表示KL散度、Was serstein损失等相似性衡量方法执行的操作。
步骤3-5)通过公式(4)将节点特征集合Zi和Zj分别读出为一维向量zi和zj；
Figure BDA0003595432250000083
其中，ReadOut(·)表示读出操作，将节点特征集合Zi和Zj读出为一维向量zi和zj。
步骤3-6)用公式(5)计算一维向量zi和zj间的对比损失
Figure BDA0003595432250000084
sim(u,v)为度量两个向量u和v相似性的相似性度量函数，例如KS散度等；τ为温度系数；IsOne[k≠i]表示函数IsOne除去k＝i这种情况，当k≠i时函数IsOne值为1，否则为0(k表示图数据对H′i和H′j的总节点数2N′中的一个，N′表示H′i或H′j中的节点数量)；
Figure BDA0003595432250000085
步骤3-7)由此得到图Gi的更新后的图结构特征H′i＝(Ni,Ei,Zi)和图Gj的更新后的图结构特征H′j＝(Nj,Ej,Zj)的对比损失lij(见公式(6))，其中λ1和λ2为两个预设超参数：
Figure BDA0003595432250000086
步骤3-8)重复执行步骤3-1)到3-7)M(M+1)/2次，即将每一个个体的增广图集合进行M(M+1)/2次对比学习，得到一个预训练特征提取模型及其参数；
所述迁移学习模块，输入为对比学习模块得到的预训练特征提取模型及其参数，对当前待处理任务，在基于图神经网络和对比学习的磁共振影像辅助处理系统的预训练特征提取模型后添加当前待处理任务模块，获得当前待处理任务的完整模型；例如，在预训练特征提取模型后添加全连接层，可以构造分类模型。通过fine-tuning(微调)操作微调预训练特征提取模型的参数，获得该当前待处理任务下的特征提取模型及参数，具体操作为用预训练特征提取模型初始化该当前待处理任务下的特征提取模型，再用含标签的原始图数据训练当前待处理任务的完整模型，通过监督学习的方法对预训练特征提取模型参数进行微调，得到最终的当前待处理任务的特征提取模型及参数，进而得到训练完成的当前待处理任务的完整模型及结果。以二分类系统为例，对比学习模块获得预训练特征提取模型，迁移学习模块获得二分类的完整模型及分类结果；在ABIDE I数据集上进行实验，对测试集的正负样本进行分类，准确率可提升至0.75。
本发明给出了新的图增广方式，通过预处理MRI影像数据得到图数据，在边特征和节点特征上增加高斯白噪声，进行图数据增广，在保持原始图特征的基础上，为增广后的数据增加了随机性；提出了新的特征提取图神经网络，本发明使用了基于自注意力的长短距离特征融合图神经网络LS-GNN，通过多头注意a力机制，进行高性能的特征聚合，在不同距离聚合信息并进行特征融合，充分考虑了脑网络的长短距离依赖关系；集合了多层感知机和读出机制的投影头，通过多层感知机对特征进行投影，可以改善一些细粒度个性特征的表示质量，也方便做下游任务；同时通过多层感知机压缩向量大小，将图数据读出为一维向量，有助于下游任务构建模型；提出了结合边权值和节点特征的损失函数，对于图来说，节点特征和边权值一样重要，用对比损失和相似性损失计算节点特征和边权值的相似性，可以准确地评估两个图之间的相似性。
本发明采用的医学数据集是REST-meta-MDD。抑郁症静息态磁共振成像多中心数据(REST-meta-MDD)是一个包含1300名抑郁症患者和1128名对照组数据的多站点抑郁症数据集，包含大量的sMRI和fMRI影像数据。
实施例
将原始数据输入MRI影像数据预处理模块，将MRI影像数据预处理成图数据；
在步骤1-1)中，使用AAL标准脑模板将sMRI影像划分为116个脑区；
在步骤1-2)中，设置采样点数为256，使用KL散度进行相似度衡量，通过个体化结构脑网络，获得脑区间的相似性度量，将sMRI影像预处理为图数据GS；
将预处理完成的图数据输入图数据增广模块，获得增广图集合；
在步骤2-1)中，设置M＝7，通过给图的边权重和节点特征添加均值为0，方差为0.1的高斯噪声，将每个个体的原始图数据增广7次；
在步骤2-2)中，将原始图数据和7个增广后的图数据构成一个集合G＝{G0,G1,...,G7}；
将增广图集合输入对比学习模块，进行训练，得到预训练特征提取模型及其参数；
在步骤3-1)中，在增广图集合内随机采样两个图数据，得到图Gi和图Gj，i≠j；
在步骤3-2)中，设置基于自注意力的长短距离特征融合图神经网络LS-GNN的超参数，M′＝3，H＝4，得到图结构特征Hi＝(Ni,Ei,Fi)和Hj＝(Nj,Ej,Fj)；
在步骤3-3)中，设置L＝2，通过层数为2的多层感知机，对特征进行非线性投影，得到特征Zi和Zj；
在步骤3-4)中，用Wasserstein距离衡量边的相似性；
在步骤3-5)中，将节点特征集合Zi和Zj读出为一维向量zi和zj；
在步骤3-6)中，设置温度系数τ＝0.1，选择余弦相似性sim(u,v)＝uTv/||u||||v||(其中T表示转置，||·||表示二范数)为相似性度量函数，得到特征的对比损失；
在步骤3-7)中，设置λ1＝λ2＝0.5，求得对比损失；
在步骤3-8)中，每个增广数据集合G＝{G0,G1,...,G7}进行28次对比训练，得到预训练特征提取模型LS-GNN和参数；
将对比学习模块获得的预训练特征提取模型LS-GNN和参数输入迁移学习模块，与全连接层组合，构建当前待处理任务的二分类任务模型，batch size设置为128，初始学习率ε1设置为10-4，学习率每隔10个epoch降低10倍，通过微调对比学习模块获得的预训练特征提取模型LS-GNN的参数，训练得到二分类器。
采用准确度、敏感度、特异度和F1 score这几个性能指标对本发明的系统分类性能进行评价，并与现有的RF、SVM、Xgboost、AE、2D CNN和3D CNN方法进行对比。其中，准确度反映的是所有正负样本的测量准确率，敏感度反映的是所有正样本的测量准确率，特异度反映的是所有负样本的测量准确率，F1 score反映的正负样本的综合准确率，上述四个性能指标的值越大表明性能越好。得到的分类结果如表1所示。
Figure BDA0003595432250000111
本实施例得到最佳的分类准确度和F1 score，并且具有较均衡的敏感度和特异度，即正负样本的分类性能均衡，其他几种方法在敏感度或特异度之一上可能会有更突出的表现，但是无法均衡正负样本分类性能，因此本实施例的性能更优。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (6)

1.一种基于图神经网络和对比学习的磁共振影像辅助处理系统，其特征在于，该系统包含依次连接的MRI影像数据预处理模块、将图数据进行大量扩增的图数据增广模块、对图数据对进行对比学习并获得预训练特征提取模型的对比学习模块和将预训练特征提取模型进行迁移的迁移学习模块；
其中，所述MRI影像数据预处理模块，输入核磁共振成像仪采集的MRI影像，并将采集的MRI影像通过预处理后，输出大脑图结构数据，具体包括：
S11)通过核磁共振成像仪采集大脑的MRI影像，使用标准脑模板对采集的每一幅大脑的MRI影像进行脑区划分；
S12)将进行脑区划分后的每一幅大脑的MRI影像通过预处理得到一个原始图数据G0＝(N,E,F0)，其中G0为有向图，N为节点集合，E为边集合，F0为节点特征集合；
所述图数据增广模块，输入MRI影像数据预处理模块得到的每一个原始图数据，通过对原始图数据G0＝(N,E,F0)的E和F0施加随机扰动进行增广，输出为每一个原始图数据的增广图集合，具体包括
S21)通过扰动的方法将原始图数据G0＝(N,E,F0)进行增广，每个原始图数据通过公式(1)的增广函数随机得到M个增广图数据{G1,G2,...,GM}；
Gk′＝Augmentation(G0) (1)
其中，Augmentation(·)表示随机扰动，k′＝1,2,...,M；
S22)将每个原始图数据及其M个增广图数据构成一个增广图集合G＝(G0,G1,...,GM)；
所述对比学习模块由图对比深度学习模型SimGCLR构成，输入为图数据增广模块得到的增广图集合，输出为预训练特征提取模型；SimGCLR由孪生结构构成，其中的两个基于自注意力的长短距离特征融合图神经网络LS-GNN之间共享权值、两个投影头之间也共享权值，采样的每个图数据对会分别输入孪生结构中，每个图数据将先通过LS-GNN进行特征提取，然后通过投影头进行空间映射，最后通过相似性损失和对比损失对SimGCLR模型进行优化；所述对比学习模块的工作过程包括：
S31)在每个增广图集合内随机采样两个图数据，得到图数据Gi和图数据Gj，其中i,j＝0,1,2,...,M，且i≠j；
S32)将图数据Gi和图数据Gj成对输入对比深度学习模型SimGCLR，通过两个权值共享的LS-GNN分别对Gi和Gj进行特征提取，分别得到Gi和Gj的图结构特征Hi＝(Ni,Ei,Fi)和Hj＝(Nj,Ej,Fj)；其中，每个基于自注意力的长短距离特征融合图神经网络LS-GNN包括依次连接的1个自注意力特征提取模块和1个特征融合模块；每一个自注意力特征提取模块由M′个并联的基于多头自注意力的不同距离的特征提取子网络SA组成，每个特征提取子网络SA由H头自注意力模型构成；
S33)将图结构特征Hi＝(Ni,Ei,Fi)和Hj＝(Nj,Ej,Fj)分别输入两个相同的投影头中，通过L层多层感知机MLP对节点特征Fi和Fj进行非线性变换，将其分别投影为节点特征集合Zi和Zj，如公式(2)所示，其中L为可调节的超参数，ReLu表示ReLu激活函数，Wl，l＝1,2,...,L表示MLP中第l层的权重；
Figure FDA0003595432240000021
S34)用节点特征集合Zi和Zj将图结构特征Hi＝(Ni,Ei,Fi)和Hj＝(Nj,Ej,Fj)更新为H′i＝(Ni,Ei,Zi)和H′j＝(Nj,Ej,Zj)，用相似性损失计算边的相似性，如公式(3)所示：
Figure FDA0003595432240000022
其中，
Figure FDA0003595432240000023
表示图数据对H′i和H′j之间边的相似性损失，Similarity(·)表示相似性衡量方法执行的操作；
S35)通过公式(4)将节点特征集合Zi和Zj分别读出为一维向量zi和zj；
Figure FDA0003595432240000024
其中，ReadOut(·)表示读出操作；
S36)采用公式(5)计算一维向量zi和zj之间的对比损失
Figure FDA0003595432240000025
sim(u,v)为度量两个向量u和v相似性的相似性度量函数；τ为温度系数；IsOne[k≠i]表示函数IsOne除去k＝i这种情况，当k≠i时函数IsOne值为1，否则为0；k表示图数据对H′i和H′j的总节点数2N′中的一个，N′表示H′i或H′j中的节点数量；
Figure FDA0003595432240000031
S37)由此得到H′i＝(Ni,Ei,Zi)和H′j＝(Nj,Ej,Zj)之间的对比损失lij，如公式(6)所示，其中λ1和λ2为两个预设超参数；
Figure FDA0003595432240000032
S38)重复执行S31)到S37)共M(M+1)/2次，即将每个增广图集合进行M(M+1)/2次对比学习，得到一个预训练特征提取模型及其参数；
所述迁移学习模块，输入为对比学习模块得到的预训练特征提取模型及其参数，对当前待处理任务，在基于图神经网络和对比学习的磁共振影像辅助处理系统的预训练特征提取模型后添加当前待处理任务模块，获得当前待处理任务的完整模型；通过fine-tuning操作微调预训练特征提取模型的参数，获得该当前待处理任务下的特征提取模型及参数，具体操作为用预训练特征提取模型初始化该当前待处理任务下的特征提取模型，再用含标签的原始图数据训练当前待处理任务的完整模型，通过监督学习的方法对预训练特征提取模型参数进行微调，得到最终的当前待处理任务的特征提取模型及参数，进而得到训练完成的当前待处理任务的完整模型及结果。
2.根据权利要求1所述的基于图神经网络和对比学习的磁共振影像辅助处理系统，其特征在于，所述MRI影像数据预处理模块中的预处理包括配准、分割操作。
3.根据权利要求2所述的基于图神经网络和对比学习的磁共振影像辅助处理系统，其特征在于，所述S12)中对于不同类型的MRI影像，将进行脑区划分后的每一幅大脑的MRI影像通过预处理得到一个原始图数据G0＝(N,E,F0)的操作具体包括：当处理结构磁共振影像sMRI时，使用个体化结构脑网络计算脑区间的相似性特征，然后以脑区为节点，设置脑区的灰质体积密度分布为节点特征，将相似性特征设置为边，构建原始图数据GS，即此时的G0表示为GS；当处理功能磁共振影像fMRI时，以脑区为节点，每个脑区的不同fMRI参数作为节点特征，将脑区间的功能连接关系设置为边，构建原始图数据GF，即此时的G0表示为GF。
4.根据权利要求3所述的基于图神经网络和对比学习的磁共振影像辅助处理系统，其特征在于，所述S34)中Similarity(·)表示的相似性衡量方法包括KL散度、Wasserstein损失。
5.根据权利要求4所述的基于图神经网络和对比学习的磁共振影像辅助处理系统，其特征在于，所述S36)中sim(u,v)为KS散度。
6.根据权利要求5所述的基于图神经网络和对比学习的磁共振影像辅助处理系统，其特征在于，所述在基于图神经网络和对比学习的磁共振影像辅助处理系统的预训练特征提取模型后添加当前待处理任务模块，获得当前待处理任务的完整模型具体为在预训练特征提取模型后添加全连接层，构造分类模型。
CN202210390815.XA 2022-04-14 2022-04-14 基于图神经网络和对比学习的磁共振影像辅助处理系统 Active CN114757911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210390815.XA CN114757911B (zh) 2022-04-14 2022-04-14 基于图神经网络和对比学习的磁共振影像辅助处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210390815.XA CN114757911B (zh) 2022-04-14 2022-04-14 基于图神经网络和对比学习的磁共振影像辅助处理系统

Publications (2)

Publication Number Publication Date
CN114757911A CN114757911A (zh) 2022-07-15
CN114757911B true CN114757911B (zh) 2023-04-07

Family

ID=82331951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210390815.XA Active CN114757911B (zh) 2022-04-14 2022-04-14 基于图神经网络和对比学习的磁共振影像辅助处理系统

Country Status (1)

Country Link
CN (1) CN114757911B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115409743B (zh) * 2022-11-03 2023-03-24 长春理工大学 基于深度学习用于脑部磁共振图像处理的模型构建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111602149A (zh) * 2018-01-30 2020-08-28 D5Ai有限责任公司 自组织偏序网络
CN113626612A (zh) * 2021-08-13 2021-11-09 第四范式（北京）技术有限公司 一种基于知识图谱推理的预测方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11257259B2 (en) * 2017-08-15 2022-02-22 Siemens Healthcare Gmbh Topogram prediction from surface data in medical imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111602149A (zh) * 2018-01-30 2020-08-28 D5Ai有限责任公司 自组织偏序网络
CN113626612A (zh) * 2021-08-13 2021-11-09 第四范式（北京）技术有限公司 一种基于知识图谱推理的预测方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Zhengning Wang 等.Brain functional activity-based classification of autism spectrum disorder using an attention-based graph neural network combined with gene expression.Cerebral Cortex.2022,全文. *
唐迪.基于深度网络的半监督软测量研究.中国优秀硕士学位论文全文数据库 (信息科技辑).2021,I140-154. *

Also Published As

Publication number Publication date
CN114757911A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN113616184B (zh) 基于多模态磁共振图像的脑网络建模与个体预测方法
CN111863244B (zh) 基于稀疏池化图卷积的功能连接精神疾病分类方法和系统
WO2023104173A1 (zh) 基于人脑功能磁共振影像的自闭症分类器构建方法及系统
CN116503680B (zh) 基于脑图谱的脑影像结构化分析和脑疾病分类系统
CN114743053B (zh) 基于图神经网络和自注意力的磁共振影像辅助处理系统
Bayasi et al. Culprit-prune-net: Efficient continual sequential multi-domain learning with application to skin lesion classification
CN114757911B (zh) 基于图神经网络和对比学习的磁共振影像辅助处理系统
Ha et al. Fine-grained interactive attention learning for semi-supervised white blood cell classification
CN115272295A (zh) 基于时域-空域联合状态的动态脑功能网络分析方法及系统
CN114093507B (zh) 边缘计算网络中基于对比学习的皮肤病智能分类方法
Chen et al. PCCT: progressive class-center triplet loss for imbalanced medical image classification
Zhao et al. Multi-view feature enhancement based on self-attention mechanism graph convolutional network for autism spectrum disorder diagnosis
Chaari et al. Multigraph classification using learnable integration network with application to gender fingerprinting
Lamani et al. Multi-atlas graph convolutional networks and convolutional recurrent neural networks-based ensemble learning for classification of autism spectrum disorders
CN113255734A (zh) 一种基于自监督学习和迁移学习的抑郁症分类方法
Ma et al. Multi-Scale Dynamic Graph Learning for Brain Disorder Detection with Functional MRI
CN116072265B (zh) 基于时间自注意力与动态图卷积的睡眠分期分析系统及方法
Demir et al. Clustering-based deep brain multigraph integrator network for learning connectional brain templates
Gong et al. Time-sequential graph adversarial learning for brain modularity community detection
Elrefaie et al. Supervised Acute Lymphocytic Leukemia Detection and Classification Based-Empirical Mode Decomposition
Chen et al. Attention-based node-edge graph convolutional networks for identification of autism spectrum disorder using multi-modal mri data
Onal Ertugrul et al. Encoding the local connectivity patterns of fMRI for cognitive task and state classification
CN112151184A (zh) 基于网络表示学习的计算疾病相似度系统
Quan et al. Fuzzy structural broad learning for breast cancer classification
Patidar et al. An efficient SVM and ACO-RF method for the cluster-based feature selection and classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant