CN115761216A - 一种孤独症脑部核磁共振图像识别方法 - Google Patents

一种孤独症脑部核磁共振图像识别方法 Download PDF

Info

Publication number
CN115761216A
CN115761216A CN202211467862.6A CN202211467862A CN115761216A CN 115761216 A CN115761216 A CN 115761216A CN 202211467862 A CN202211467862 A CN 202211467862A CN 115761216 A CN115761216 A CN 115761216A
Authority
CN
China
Prior art keywords
matrix
nodes
node
brain
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211467862.6A
Other languages
English (en)
Inventor
郑建炜
王逸彬
龙海霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202211467862.6A priority Critical patent/CN115761216A/zh
Publication of CN115761216A publication Critical patent/CN115761216A/zh
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种孤独症脑部核磁共振图像识别方法,从孤独症核磁共振图像中提取出的各脑区的时间序列作为输入,从时间序列中提取脑部各脑区的特征,作为节点的特征向量,再从时间序列中提取脑区和脑区之间的功能连接强度,作为节点之间的边的权重,如此构建脑图。之后通过图卷积模块,利用节点与其邻接节点的关系,更新各节点的特征。通过图稀疏器来舍弃脑图上部分不重要的节点,再通过图聚合器将保留下的节点进行特征聚合,最后将聚合的特征向量输入到多层感知机中来得出预测结果。本发明能够更好地拟合真实人脑的脑区功能连接关系,更好地模拟人脑中各脑区的功能交互,降低了计算复杂度,能够更准确可靠地学习出跟孤独症相关的显著性脑区。

Description

一种孤独症脑部核磁共振图像识别方法
技术领域
本申请属于医学图像处理技术领域,具体为一种孤独症脑部核磁共振图像识别方法。
背景技术
孤独症谱系障碍ASD是一种终身的发育残疾,临床特征是社会交流受损、重复行为以及兴趣受限。因此定位潜在的生物标志物,对孤独症进行准确的临床诊断是早期预防孤独症的必要条件。而根据由静息态功能磁共振成像得到的脑功能连接信息进行预测,是一种流行的、以各种症状为特征的神经精神障碍的预测方法。尽管相关领域研究人员已经做出了大量的努力,但大多数相关研究仍然面临以下问题:
(1)传统方法无法很好地模拟大脑内感兴趣区域之间的功能连接;
(2)在图卷积网络加深时,梯度消失限制了网络表示学习的能力;
(3)由于核磁共振样本中,涉及体素过多,导致计算维度的巨大;
(4)方法的可解释性不理想,导致做出的诊断不具有说服力。
为此,为了改善这些问题,深入研究核磁共振图像,准确识别脑部核磁共振图像尤为重要。
发明内容
本申请的目的是提供一种孤独症脑部核磁共振图像识别方法,以克服现有技术中存在的上述问题,准确识别孤独症脑部核磁共振图像。
为了实现上述目的,本申请技术方案如下:
一种孤独症脑部核磁共振图像识别方法,包括:
获取检测对象脑部核磁共振图像,采用预设的脑区分割模板进行脑部感兴趣区域分割,对各个脑部感兴趣区域内包含的所有体素序列值求平均,得到各脑部感兴趣区域记录平均血氧水平变化的时间序列;
对得到的时间序列使用皮尔森计算相关系数方法做相关运算,得到所有脑部感兴趣区域对应的特征向量矩阵;
将时间序列输入到图编码器中,并以每个脑部感兴趣区域作为一个节点,得到各个节点所构成图的关系邻接矩阵;
将特征向量矩阵与关系邻接矩阵做有残差连接的图卷积操作,从而得到最终节点特征向量矩阵;
将最终节点特征向量矩阵输入到图稀疏器,得到所有节点的重要性分数,保留重要性分数排名在前的k个节点,并舍弃其他的节点,得到剩余节点特征矩阵以及剩余节点的重要性分数向量;
将剩余节点特征矩阵和剩余节点的重要性分数向量输入到基于重要值的图聚合器中,将所有剩余的节点聚合为一个节点,得到用于识别的特征向量;
最后将用于识别的特征向量输入到多层感知机中,得到识别结果。
进一步的,所述将时间序列输入到图编码器中,并以每个脑部感兴趣区域作为一个节点,得到各个节点所构成图的关系邻接矩阵,包括:
首先从时间序列中提取特征,采用公式表示为:
Figure BDA0003957104140000021
其中Q、K、V均由各脑部感兴趣区域的时间序列通过一层感知机特征映射得到,
Figure BDA0003957104140000022
为数值缩放参数,BatchNorm1d为一维批归一化方法, MLP为多层感知机;
然后,根据特征构建关系矩阵,采用公式表示如下:
H=TnewWproj
A=Sigmoid(HHT)
其中Wproj为将Tnew通过一层感知机映射到H时的参数,Sigmoid为激活函数,A为最终得到的图的关系邻接矩阵。
进一步的,所述图卷积操作表示公式如下:
hS=Aσ(τ(hS-1)+hS-1
其中hS表示经过S次图卷积后得到的最终节点特征向量矩阵,τ表示一维批归一化BatchNorm1D操作,σ表示多层感知机,加hS-1则表示残差连接操作,即每次在对hS-1经过图卷积操作Aσ(τ(hS-1)后,再加上hS-1,生成hS
进一步的,所述将最终节点特征向量矩阵输入到图稀疏器,得到所有节点的重要性分数,保留重要性分数排名在前的k个节点,并舍弃其他的节点,得到剩余节点特征矩阵以及剩余节点的重要性分数向量,包括:
首先构建一个可学习的全局节点特征向量,将其加入到最终节点特征向量矩阵的首个节点之上,得到矩阵
Figure BDA0003957104140000031
经过逻辑回归操作,得到节点之间的关系矩阵M,表示为:
Figure BDA0003957104140000032
其中,Q、K均由
Figure BDA0003957104140000033
通过一层感知机特征映射得到,
Figure BDA0003957104140000034
为数值缩放参数;
取节点之间的关系矩阵M中的第一行,作为每个节点的重要性分数向量
Figure BDA0003957104140000035
将矩阵
Figure BDA0003957104140000036
通过一层感知机特征映射得到矩阵V,然后将节点之间的关系矩阵M与矩阵V矩阵相乘后,进行归一化和多层感知机,得到节点特征矩阵Vm,表示为:
Vm=MLP(BatchNorm1d(MV))
其中MLP表示多层感知机,BatchNorm1d表示归一化操作;
从向量
Figure BDA0003957104140000037
去全局节点得到向量
Figure BDA0003957104140000038
然后节点的重要性分数,保留前k个节点,去除被舍去节点,得到剩余节点的重要性分数向量hret
从节点特征矩阵Vm中去除全局节点的特征,得到节点特征矩阵
Figure BDA0003957104140000039
Figure BDA00039571041400000310
去除被舍去节点,得到剩余节点特征矩阵Vret
进一步的,所述将剩余节点特征矩阵和剩余节点的重要性分数向量输入到基于重要值的图聚合器中,将所有剩余的节点聚合为一个节点,得到用于识别的特征向量,包括:
图聚合器的操作用公式表示为:
v=hretVret
其中,v表示用于识别的特征向量,hret表示剩余节点的重要性分数向量,Vret表示剩余节点特征矩阵。
进一步的,所述孤独症脑部核磁共振图像识别方法,还包括:
对于所述孤独症脑部核磁共振图像识别方法中所采用的图编码器、图卷积操作、图稀疏器、图聚合器和多层感知机组成的网络模型,采用如下联合损失函数进行训练:
L=Lce+αLintra+βLinter+γLGS+δLsparse
其中,α,β,γ,δ是各个损失的权重系数,L为联合损失函数,Lce为交叉熵损失行数,Llintra为组内损失函数,Linter为组间损失函数,LGS为图稀疏器损失函数,Lsparse为关系矩阵损失函数。
本申请提出的一种孤独症脑部核磁共振图像识别方法,从孤独症核磁共振图像中提取出的各脑区的时间序列作为输入,从时间序列中提取脑部各脑区的特征,作为节点的特征向量,再从时间序列中提取脑区和脑区之间的功能连接强度,作为节点之间的边的权重,如此构建脑图。之后通过图卷积模块,利用节点与其邻接节点的关系,更新各节点的特征。在多次更新使得节点的特征向量达到饱和后,又通过图稀疏器来舍弃脑图上部分不重要的节点,再通过图聚合器将保留下的节点进行特征聚合,最后将聚合的特征向量输入到多层感知机中来得出预测结果。相比现有技术方案,本申请技术效果如下:
1、使用注意力机制来得到脑图的关系邻接矩阵,相较于仅采用皮尔森计算相关系数的线性方法,本申请得到的关系邻接矩阵是通过非线性学习得到的,能够更好地拟合真实人脑的脑区功能连接关系。
2、基于图的思路,对每个被试的人脑根据核磁共振图像中提取出的时间序列,来构建脑图,并用图卷积方法对图节点特征进行更新,可以更好地模拟人脑中各脑区的功能交互。
3、使用了基于注意力的图稀疏方法,非线性学习出各脑区节点对最终孤独症预测结果的重要性分数,而不是简单的对节点特征进行线性映射来得到分数,并舍去一部分不重要的脑区节点,这样不仅达到了图稀疏效果,也降低了本申请方法的计算复杂度,还使得本申请模型能够更准确可靠地学习出跟孤独症相关的显著性脑区,提高了本申请模型的可解释性。
附图说明
图1为本申请一种基于核磁共振图像预测孤独症并寻找生物标记的方法流程图;
图2为本申请网络模型结构示意图;
图3为本申请图稀疏器结构示意图;
图4位本申请重要性分析器结构示意图;
图5为本申请网络模型预测出的孤独症相关脑区结果图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种孤独症脑部核磁共振图像识别方法,包括:
S1、获取检测对象脑部核磁共振图像,采用预设的脑区分割模板进行脑部感兴趣区域分割,对各个脑部感兴趣区域内包含的所有体素序列值求平均,得到各脑部感兴趣区域记录平均血氧水平变化的时间序列。
本实施例中,先获取检测对象的脑部核磁共振图像,采用领域相关方法(theConfigurable Pipeline for the Analysis of Connectomes,CPAC)进行预处理,预处理过程包括:对核磁共振测量到的体素强度值归一化;找到运动前后体素之间的一一对应关系,对运动进行校正;切片定时校正。
本实施例挑选合适的脑区分割模板(Atlas)如AAL、CC200等,对已预处理的图像进行脑部感兴趣区域(ROI)分割,即按照脑区分割模板上划定的分割区域,对已预处理的图像进行分割。分割后,对每个分割区域内包含的所有体素序列值求平均,得到各ROI记录血氧水平变化的时间序列T,所有ROI的时间序列构成的矩阵尺寸为N×dt,其中N为ROI的数量,dt为时间序列的长度。
S2、对得到的时间序列使用皮尔森计算相关系数方法做相关运算,得到所有脑部感兴趣区域对应的特征向量矩阵。
具体公式为:
Figure BDA0003957104140000051
其中,ρX,Y表示相关系数值,cov(X,Y)表示X和Y的协方差,σX表示 X的标准差,σY表示Y的标准差,E[(X-μX)(Y-μY)]表示协方差的计算公式,μX表示X的均值,μY表示Y的均值。X和Y表示不同脑部感兴趣区域对应的时间序列。
然后得到包含所有脑部ROI特征向量的矩阵Z,尺寸为N×d,d为特征向量的长度,一般与N(ROI数量)相等,矩阵中的一行表示一个节点的特征向量。第i个ROI的特征向量Z[i]中的各个特征值就是第i个ROI 与其他对应ROI之间的相关系数值,如Z[i][j]表示第i个ROI和第j个ROI 的相关系数值。这样做使得生成的结点(ROI)的特征向量包含了与其他结点之间的关系信息。
S3、将时间序列输入到图编码器中,并以每个脑部感兴趣区域作为一个节点,得到各个节点所构成图的关系邻接矩阵。
本实施例生成图结构,将每个脑部感兴趣区域作为图结构的一个节点,各节点之间的边表示两个节点之间的关系。采用如图2所示的网络模型来执行后续的步骤。其中,本实施图编码器,执行如下操作:
首先从时间序列中提取特征,采用公式表示为:
Figure BDA0003957104140000061
其中Q、K、V均由各ROI的时间序列T通过一层感知机特征映射得到,尺寸分别为N×dq,N×dq和N×dv
Figure BDA0003957104140000062
为数值缩放参数,Tnew尺寸为N×l,l为提取到的特征向量的长度,BatchNorm1d为一维批归一化方法,MLP为多层感知机。
MLP的功能可表示为:
MLP(X)=ReLU(XW1)W2
其中X表示
Figure BDA0003957104140000063
的结果,在本申请中,X 尺寸为N×dv,ReLU为激活函数,W1和W2为此处多层感知机要学习的参数(本实施方法中不同地方使用到的感知机各不相同,因此要学习的参数也不同),尺寸分别为dv×2dv,2dv×l。因此得到的Tnew尺寸为N×l。
然后,根据特征构建关系矩阵,采用公式表示如下:
H=TnewWproj
A=Sigmoid(HHT)
其中Wproj为此处将Tnew通过一层感知机映射到H时,要学习的参数,尺寸为l×dh,dh为H的特征维度(在本方法中dh=8),H的尺寸为N×dh; Sigmoid为激活函数,A为最终得到的图的关系邻接矩阵,尺寸为N×N。矩阵A中,存储着各个ROI之间的连接强度值,即边的权重。
本步骤可使模型能够构建学习出图上节点非线性关系的邻接矩阵,更好地拟合人脑的功能连接。根据前一步骤得到的包含所有脑部ROI特征向量的特征向量矩阵Z,再加上节点之间的关系邻接矩阵,从而生成图结构。
S4、将特征向量矩阵与关系邻接矩阵做有残差连接的图卷积操作,从而得到最终节点特征向量矩阵。
本申请将包含所有节点特征向量的节点特征向量矩阵Z和关系邻接矩阵A,做S次图卷积操作和归一化操作,目的是让每个节点根据与其邻接的节点的特征以及它们之间的关系权重来更新特征向量,其中的每个节点特征向量中包含了与邻接节点关系有关的信息。图卷积的核心原理为A和 Z做矩阵乘法,这样使得各节点通过和邻接的节点关系信息来更新自己的特征向量,得到经过了S次信息传递更新(图卷积)后的节点特征向量矩阵
Figure BDA0003957104140000073
尺寸为N×d,此时该矩阵
Figure BDA0003957104140000074
中所有节点的特征向量已经饱和吸收了邻接节点的特征信息。
其中,在每次图卷积时,将节点特征向量先进行归一化方法对提取的节点特征进行归一化,再输入到多层感知机中进一步提取节点特征,再进行残差连接,得到的结果作为最终节点特征向量。
上述描述的总体公式计算过程如下:
hS=Aσ(τ(hS-1)+hS-1
其中σ表示MLP,其中hS表示经过S次图卷积后得到的最终节点特征向量矩阵
Figure BDA0003957104140000071
τ表示一维批归一化BatchNorm1D操作,而加上hS-1则表示残差连接操作,即每次对hS-1经过图卷积操作Aσ(τ(hS-1)生成的结果,再加上hS-1,最终的值作为hS(节点特征向量矩阵
Figure BDA0003957104140000072
)。而h0是最初的节点特征向量矩阵h0=Z。
S5、将最终节点特征向量矩阵输入到图稀疏器,得到所有节点的重要性分数,保留重要性分数排名在前的k个节点,并舍弃其他的节点,得到剩余节点特征矩阵以及剩余节点的重要性分数向量。
本申请使用了图稀疏器,如图3所示。图稀疏器的主要作用是,计算所有节点的重要性分数,保留重要性分数排名前k的节点,舍去其他节点。图稀疏器在计算重要性分数后,所有节点会根据图上其他节点的特征,更新自己的特征向量,稀疏的过程也是缩减计算量的过程。
首先构建一个可学习的节点,即附图3中的全局节点,其特征向量为 h,尺寸为1×d,作为图的一个虚拟全局节点,并将其加入到矩阵
Figure BDA0003957104140000081
的首个节点之上(即插入到
Figure BDA0003957104140000082
矩阵的第一行),得到矩阵
Figure BDA0003957104140000083
尺寸为(N+1)× d,再将其输入到重要性分析器中,让该虚拟节点去学习图中的每个节点的重要性分数。
重要性分析器的架构,如图4所示,功能介绍如下:
首先通过,计算图上N+1个节点之间的关系矩阵M(对应图3的“节点关系矩阵”),计算过程可表示为:
Figure BDA0003957104140000084
其中Q、K均由
Figure BDA0003957104140000085
通过一层感知机特征映射得到,尺寸分别为(N+1) ×dq,(N+1)×dq
一层感知机的功能可表示为:
S(Y)=ReLU(YWs)
其中Y表示输入,尺寸为N×d,ReLU为激活函数,Ws为感知机要学习的参数,在此处,尺寸为N×dq,本申请各处用到的一层感知机中需要学习的参数如图中的Ws,各不相同。
其中QKT表示矩阵乘法,
Figure BDA0003957104140000086
为数值缩放参数,用于做数值缩放,计算得到的M,尺寸为(N+1)×(N+1)。
Figure BDA0003957104140000087
即节点关系矩阵的第一行,尺寸为1×(N+1),表示构建的全局节点和图上的所有N+1个节点的关系权重值(包括和自己的关系权重,但本申请忽略和自己的关系权重值,因为该节点为虚拟节点,不是真正存在于图中),在本申请中作为每个节点的重要性分数向量,向量
Figure BDA0003957104140000088
中每个元素即对应节点的重要性分数。
之后,
Figure BDA0003957104140000089
再通过一层感知机(要学习的参数Wv尺寸为N×dv)特征映射得到矩阵V,尺寸为(N+1)×dv,通过M和V进行矩阵相乘,使图上所有的节点根据节点关系矩阵来更新自己的特征,进行BatchNorm1d的归一化方法后,通过多层感知机MLP,表示为:
Vm=MLP(BatchNorm1d(MV))
其中此处的MLP的功能可表示为:
MLP(X)=ReLU(XW3)W4
其中X表示MV的结果,尺寸为N×dv,ReLU为激活函数,W3和W4为多层感知机要学习的参数,尺寸分别为dv×2dv,2dv×d。
最后得到Vm的尺寸为(N+1)×d,去除矩阵中第一个全局节点的特征 (因为全局节点不参与之后的计算),得到节点矩阵
Figure BDA0003957104140000091
尺寸为N×d。
本实施例从
Figure BDA0003957104140000092
中去除全局节点与自身的关系权重分数,即
Figure BDA0003957104140000093
因为该节点为虚拟节点,不是真正存在于图中,因此该重要性分数没有作用,得到
Figure BDA0003957104140000094
尺寸为1×N。
之后进行图稀疏操作,即根据所有节点的重要性分数
Figure BDA0003957104140000095
保留前k个重要节点,舍去其他节点,该过程对应图2图稀疏模块架构中的重要性分析器的输出部分,从
Figure BDA0003957104140000096
中,去除被舍去节点的分数,得到剩余节点的重要性分数向量hret,尺寸为k×1。
本实施例,还从
Figure BDA0003957104140000097
去除被舍去节点,得到剩余节点特征矩阵Vret,尺寸为k×d。
S6、将剩余节点特征矩阵和剩余节点的重要性分数输入到基于重要值的图聚合器中,将所有剩余的节点聚合为一个节点,得到用于识别的特征向量。
本实施例,图聚合器的计算过程可表示为:
v=hretVret
其中用于识别的特征向量v的尺寸为1×d。
S7、最后将用于识别的特征向量输入到多层感知机中,得到识别结果。
本申请将用于进行预测的特征向量v放入多层感知机中,经过多层的特征映射提取,最后得到尺寸为2×1的向量,对应预测的两个类别,在本方法中,类别为Autism或Control,若预测结果为Autism表示输入模型的核磁共振图的被试者患有孤独症,Control表示被试者正常。
本申请如图2所示的网络模型,在训练时,通过计算联合损失来更新网络各个模块的参数。联合损失函数表示如下:
L=Lce+αLintra+βLinter+γLGS+δLsparse
其中,α,β,γ,δ是各个损失的权重系数。
1、交叉熵损失函数Lce
Figure BDA0003957104140000101
其中y为结果为孤独症的标签值;M表示在批训练中,一个批有多少个样例,zi为模型得出第i个样例为孤独症的分数,Sigmoid为激活函数,将分数值控制到[0,1]之间。
交叉熵损失函数是用于计算模型对一批训练样本的预测概率分布,与样本实际标签的概率分布之间的差异,本申请通过缩小模型预测的概率分布和样本实际的概率分布之间的差异,来训练模型。
2、组内损失Lintra
Figure BDA0003957104140000102
其中Lintra表示计算的损失值;c表示一个label;C为所有label的集合, Sc={i|Yi,c=1}是一个label为c的样例集合,i表示某一样例;μc为Sc中所有样例的邻接矩阵的权重的均值;Ai表示某一个样例的邻接矩阵的权重值;
Figure BDA0003957104140000103
表示Sc中所有样例的邻接矩阵中权重的方差。
组内损失函数起到对模型进行正则化的作用,该损失函数通过缩小批样本中,具有相同标签的样本集合在模型中学到的关系邻接矩阵集合的方差来使得具有相同标签的每个样例在输入到模型后,模型学到的关系邻接矩阵都尽可能相似。
3、组间损失Linter
Figure BDA0003957104140000104
其中Linter表示计算的损失值;a,b为C中的两个label,μa和μb分别为label为a的样例集合的邻接矩阵的均值和label为b的样例集合的邻接矩阵的均值。
该损失函数通过缩小批样本中,具有不同标签的两个样例集合,它们各自得到的关系邻接矩阵之间的均值,使对于具有不同标签的样例之间,他们输入到模型中后,模型学到的关系邻接矩阵尽可能不同。
4、图稀疏器损失LGS
Figure BDA0003957104140000111
其中LGS表示计算的损失值;M表示在批训练中,每批中包含的样例数量;N表示每个输入样例中,节点的数量;sm,i表示在第m个输入样例中,第i个节点的重要性分数。
该损失函数通过让每个样例中,被保留节点的重要性分数尽可能高 (倾向于1),而被舍去节点的重要性分数尽可能低(倾向于0),使得每次在图稀疏时,对每个节点的取舍做出的决定更加可靠。
5、关系矩阵损失Lsparse
Figure BDA0003957104140000112
其中Lsparse表示计算的损失值;M表示在批训练中,每批中包含的样例数量;μm,A表示第m个样例的关系矩阵A的均值。
该损失函数通过减小每批样本在模型中学到的关系邻接矩阵的均值,来避免因为组内和组间损失的约束,而导致模型学习到的关系矩阵中出现过大的值从而影响模型效果的问题。
本申请技术方案,通过比较基于所有标签为ASD的样例生成的邻接矩阵和基于所有标签为Control的样例生成的邻接矩阵,发现ASD患者在额回相关的脑区功能连接较强,在楔叶、楔前叶脑区相关的连接较弱。
通过本申请方法进行预测,计算每个ROI在所有样例的预测结果中的平均重要性分数,找出影响力排名前5的脑区,作为本方法预测出的 ASD相关的生物标志物。排名结果如图5所示,最后推测出楔叶、梭状回和脑岛相关区域与ASD紧密联系,该结果与现有的医学研究结论相吻合。图5中,第一列为脑区ID,第二列为脑区的标签,第三列为相关脑区名称,第四列为其平均重要性分数。第二列中,Cuneus_R表示楔叶(右), Cuneus_L表示楔叶(左),Fusiform_L表示梭状回(左),Insula_R表示脑岛(右),Precuneus_L表示楔前叶(左)。第三列中Cuneus表示楔叶,Fusiform gyrus表示梭状回,Insula表示脑岛,Precuneus表示楔前叶。
本申请技术方案最终在ABIDE数据集上的测试效果如表1所示:
脑区分割方法 灵敏度% 特异度% 准确度%
AAL 70.8 71.9 73.4
CC200 75.2 73.4 74.4
表1
其中,脑区分割分别采用的是AAL(Anatomical Automatic Labeling),和CC200(Craddock 200)。与本领域现有技术方案相比,上述性能指标都得到了大大的提高,现有技术方法的效果如表2所示:
Figure BDA0003957104140000121
表2
本申请通过ROI的时间序列,使用图编码器进行编码并建图,学到 ROI之间的非线性关系,而不是简单使用皮尔森计算相关系数的方法,得到线性关系;使用图稀疏器和基于重要值的图聚合器方法,提升模型的可解释能力,减少计算复杂度;使用了除标准二分类交叉熵损失函数的另外四种损失函数,正则化模型的训练效果。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种孤独症脑部核磁共振图像识别方法,其特征在于,所述孤独症脑部核磁共振图像识别方法,包括:
获取检测对象脑部核磁共振图像,采用预设的脑区分割模板进行脑部感兴趣区域分割,对各个脑部感兴趣区域内包含的所有体素序列值求平均,得到各脑部感兴趣区域记录平均血氧水平变化的时间序列;
对得到的时间序列使用皮尔森计算相关系数方法做相关运算,得到所有脑部感兴趣区域对应的特征向量矩阵;
将时间序列输入到图编码器中,并以每个脑部感兴趣区域作为一个节点,得到各个节点所构成图的关系邻接矩阵;
将特征向量矩阵与关系邻接矩阵做有残差连接的图卷积操作,从而得到最终节点特征向量矩阵;
将最终节点特征向量矩阵输入到图稀疏器,得到所有节点的重要性分数,保留重要性分数排名在前的k个节点,并舍弃其他的节点,得到剩余节点特征矩阵以及剩余节点的重要性分数向量;
将剩余节点特征矩阵和剩余节点的重要性分数向量输入到基于重要值的图聚合器中,将所有剩余的节点聚合为一个节点,得到用于识别的特征向量;
最后将用于识别的特征向量输入到多层感知机中,得到识别结果。
2.根据权利要求1所述的孤独症脑部核磁共振图像识别方法,其特征在于,所述将时间序列输入到图编码器中,并以每个脑部感兴趣区域作为一个节点,得到各个节点所构成图的关系邻接矩阵,包括:
首先从时间序列中提取特征,采用公式表示为:
Figure FDA0003957104130000011
其中Q、K、V均由各脑部感兴趣区域的时间序列通过一层感知机特征映射得到,
Figure FDA0003957104130000012
为数值缩放参数,BatchNorm1d为一维批归一化方法,MLP为多层感知机;
然后,根据特征构建关系矩阵,采用公式表示如下:
H=TnewWproj
A=Sigmoid(HHT)
其中Wproj为将Tnew通过一层感知机映射到H时的参数,Sigmoid为激活函数,A为最终得到的图的关系邻接矩阵。
3.根据权利要求1所述的孤独症脑部核磁共振图像识别方法,其特征在于,所述图卷积操作表示公式如下:
hS=Aσ(τ(hS-1)+hS-1
其中hS表示经过S次图卷积后得到的最终节点特征向量矩阵,τ表示一维批归一化BatchNorm1D操作,σ表示多层感知机,加hS-1则表示残差连接操作,即每次在对hS-1经过图卷积操作Aσ(τ(hS-1)后,再加上hS-1,生成hS
4.根据权利要求1所述的孤独症脑部核磁共振图像识别方法,其特征在于,所述将最终节点特征向量矩阵输入到图稀疏器,得到所有节点的重要性分数,保留重要性分数排名在前的k个节点,并舍弃其他的节点,得到剩余节点特征矩阵以及剩余节点的重要性分数向量,包括:
首先构建一个可学习的全局节点特征向量,将其加入到最终节点特征向量矩阵的首个节点之上,得到矩阵
Figure FDA0003957104130000021
经过逻辑回归操作,得到节点之间的关系矩阵M,表示为:
Figure FDA0003957104130000022
其中,Q、K均由
Figure FDA0003957104130000023
通过一层感知机特征映射得到,
Figure FDA0003957104130000024
为数值缩放参数;
取节点之间的关系矩阵M中的第一行,作为每个节点的重要性分数向量
Figure FDA0003957104130000025
将矩阵
Figure FDA0003957104130000026
通过一层感知机特征映射得到矩阵V,然后将节点之间的关系矩阵M与矩阵V矩阵相乘后,进行归一化和多层感知机,得到节点特征矩阵Vm,表示为:
Vm=MLP(BatchNorm1d(MV))
其中MLP表示多层感知机,BatchNorm1d表示归一化操作;
从向量
Figure FDA0003957104130000027
去全局节点得到向量
Figure FDA0003957104130000028
然后节点的重要性分数,保留前k个节点,去除被舍去节点,得到剩余节点的重要性分数向量hret
从节点特征矩阵Vm中去除全局节点的特征,得到节点特征矩阵
Figure FDA0003957104130000031
Figure FDA0003957104130000032
去除被舍去节点,得到剩余节点特征矩阵Vret
5.根据权利要求1所述的孤独症脑部核磁共振图像识别方法,其特征在于,所述将剩余节点特征矩阵和剩余节点的重要性分数向量输入到基于重要值的图聚合器中,将所有剩余的节点聚合为一个节点,得到用于识别的特征向量,包括:
图聚合器的操作用公式表示为:
v=hretVret
其中,v表示用于识别的特征向量,hret表示剩余节点的重要性分数向量,Vret表示剩余节点特征矩阵。
6.根据权利要求1所述的孤独症脑部核磁共振图像识别方法,其特征在于,所述孤独症脑部核磁共振图像识别方法,还包括:
对于所述孤独症脑部核磁共振图像识别方法中所采用的图编码器、图卷积操作、图稀疏器、图聚合器和多层感知机组成的网络模型,采用如下联合损失函数进行训练:
L=Lce+αLintra+βLinter+γLGS+δLsparse
其中,α,β,γ,δ是各个损失的权重系数,L为联合损失函数,Lce为交叉熵损失行数,Lintra为组内损失函数,Linter为组间损失函数,LGS为图稀疏器损失函数,Lsparse为关系矩阵损失函数。
CN202211467862.6A 2022-11-22 2022-11-22 一种孤独症脑部核磁共振图像识别方法 Withdrawn CN115761216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211467862.6A CN115761216A (zh) 2022-11-22 2022-11-22 一种孤独症脑部核磁共振图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211467862.6A CN115761216A (zh) 2022-11-22 2022-11-22 一种孤独症脑部核磁共振图像识别方法

Publications (1)

Publication Number Publication Date
CN115761216A true CN115761216A (zh) 2023-03-07

Family

ID=85336846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211467862.6A Withdrawn CN115761216A (zh) 2022-11-22 2022-11-22 一种孤独症脑部核磁共振图像识别方法

Country Status (1)

Country Link
CN (1) CN115761216A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152574A (zh) * 2023-04-17 2023-05-23 厦门大学 一种基于多阶段信息抽取和记忆的病理图像分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152574A (zh) * 2023-04-17 2023-05-23 厦门大学 一种基于多阶段信息抽取和记忆的病理图像分类方法

Similar Documents

Publication Publication Date Title
CN112150478B (zh) 一种构建半监督图像分割框架的方法及系统
CN110969626B (zh) 基于3d神经网络的人脑核磁共振影像的海马体提取方法
CN109242860B (zh) 基于深度学习及权重空间集成的脑肿瘤图像分割方法
CN112232407B (zh) 病理图像样本的神经网络模型训练方法、装置
CN109544518B (zh) 一种应用于骨骼成熟度评估的方法及其系统
CN111488914A (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
CN112446891B (zh) 基于U-Net网络脑胶质瘤的医学图像分割方法
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
CN109087298B (zh) 一种阿尔兹海默病mri图像分类方法
CN111009321A (zh) 一种机器学习分类模型在青少年孤独症辅助诊断中的应用方法
CN107967686B (zh) 一种联合动态脑网络和长短时记忆网络的癫痫识别装置
CN113221694B (zh) 一种动作识别方法
CN110991254B (zh) 超声图像视频分类预测方法及系统
CN114549469A (zh) 一种基于置信度校准的深层神经网络医疗图像诊断方法
WO2021212715A1 (zh) 精神分裂症分类识别方法、运行控制装置及医疗设备
CN113569805A (zh) 动作识别方法、装置、电子设备和存储介质
CN115761216A (zh) 一种孤独症脑部核磁共振图像识别方法
CN113052800B (zh) 一种阿尔茨海默症影像分析方法与装置
CN113269774B (zh) 一种mri图像的帕金森病分类及标注病灶区域的方法
CN117036793B (zh) 一种基于pet影像多尺度特征的脑龄评估方法及装置
CN112863650A (zh) 一种基于卷积与长短期记忆神经网络的心肌病识别系统
CN113255734A (zh) 一种基于自监督学习和迁移学习的抑郁症分类方法
Lu et al. Data enhancement and deep learning for bone age assessment using the standards of skeletal maturity of hand and wrist for chinese
CN116030063B (zh) Mri图像的分类诊断系统、方法、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230307