CN111415361A - 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置 - Google Patents
基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置 Download PDFInfo
- Publication number
- CN111415361A CN111415361A CN202010244415.9A CN202010244415A CN111415361A CN 111415361 A CN111415361 A CN 111415361A CN 202010244415 A CN202010244415 A CN 202010244415A CN 111415361 A CN111415361 A CN 111415361A
- Authority
- CN
- China
- Prior art keywords
- age
- brain
- network
- fetal brain
- fetus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开一种基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置。脑龄估计和和异常检测方法中,首先,利用临床常规采集的孕妇子宫内T2加权像建立正常胎儿大脑T2加权磁共振图像的数据集。其次,利用U型网络将胎儿大脑从子宫中分割出,再利用基于注意力机制的深度残差网络预测胎儿脑龄,并生成脑龄的不确定度和胎儿脑龄估计的可信度。最后,根据实际胎龄和预测脑龄的差异、不确定度、可信度等指标构建分类器,判断胎儿大脑发育是否异常。本发明可以同时对胎儿大脑年龄进行估计,并生成不确定性、估计可信度等指标用于检测大脑发育异常的胎儿,具有较高的准确度和精确性以及较高的临床应用前景和价值。
Description
技术领域
本申请涉及脑磁共振图像处理领域,尤其涉及深度学习的应用与大脑分割和脑龄估计。
背景技术
基于磁共振神经影像的大脑年龄被广泛应用于刻画正常大脑的发展过程,偏离正常大脑发展轨迹的程度可以作为衡量大脑异常的征兆和指标。近十年来的研究表明,预测脑龄和实际生理年龄的差值(predicted age difference,PAD)可以衡量早产儿童大脑的异常发育、阿兹海默症患者和脑外伤患者大脑萎缩程度和精神分裂症患者的加速老化的程度。胎儿脑成像已经逐步成为评估早期大脑正常发育的重要工具,然而,脑龄预测方法尚未应用于胎儿的神经影像中。作为一种稳定的新型指标,脑龄预测可以潜在地评估胎儿大脑的发育程度并检测发育异常,对产前诊断有非常重要的意义和价值。
常规的脑龄估计方法包括支持向量回归、相关向量回归和高斯过程回归等机器学习算法,详见文献1:Franke et al.,2010,Cole et al.,2015,Liem et al.,2017。近些年来,深度学习的技术被广泛应用于医学图像处理领域,其相较于传统方法具有更多的优势和更好的准确性,详见文献2:Litjens et al.,2017;Shen et al., 2017。最近,脑龄的估计也逐渐开始采用深度学习的方法,并取得了很好的预测结果,详见文献3:Cole et al.,2017;Jonsson et al.,2019;Wang et al.,2019。但脑龄模型中用PAD单个指标用做大脑异常的检测具有明显的不足,一方面,PAD 属于回归残差,模型的变化会直接影响PAD大小,导致不同模型计算结果不能统一;另一方面,脑龄预测模型基本建立在正常群体的数据上,而异常发育的大脑含有非大脑正常发育过程中的特征,导致利用PAD单个指标难以检出以及PAD机制可解释性的降低。
此外,精确分割出胎儿大脑也有利于准确衡量胎儿脑龄,因此,开发有效精确的胎儿大脑分割和大脑年龄回归模型,不仅能为临床和科研提供一种有效的参考指标,也可以进一步提高产前诊断的准确性。
发明内容
为了提供更加有效的方法并克服现有技术的不足,本发明提出利用深度学习分割胎儿大脑,并建立一种基于注意力机制的深度集成学习的模型预测胎儿大脑年龄且进行异常检测。该方法基于在当地医院采集的不同妊娠期子宫内T2加权像的大数据样本,构建改进版U型网络分割胎儿大脑;同时结合注意力机制,建立了深度残差概率型网络,对胎儿的大脑年龄进行准确的估计;在网络训练的同时对于脑龄预测的不确定性进行估计,得到预测脑龄的可信度,并通过这些指标来检测胎儿大脑异常。
为了达到上述目的,本发明采用以下技术方案予以实现:
第一方面,本发明提供了一种基于深度集成学习的胎儿脑龄估计方法,其包括以下步骤:
S1:获取正常胎儿大脑T2加权磁共振图像数据集,所述图像数据集中包含不同胎龄正常胎儿的大脑多层T2加权磁共振图像,且每张图像均标记有对应胎儿临床的胎龄估计值;
S2:建立基于注意力机制的深度残差网络,并利用S1中的图像数据集对其进行训练;
所述基于注意力机制的深度残差网络由若干注意力网络模块连接而成,所述注意力模块包含一个主干分支和一个掩膜分支,主干分支的输出与掩膜分支的输出经过以下计算后得到注意力网络模块的输出图像:
xl=Tl(xl-1)+Ml(xl-1)·Tl(xl-1)
其中,Ml和Tl分别表示第l个注意力网络模块中掩膜分支和主干分支的输出,xl表示第l个注意力网络模块的输出图像;
最后一个注意力网络模块的输出图像通过平均池化和全连接层,得到输入图像中的胎儿脑龄预测结果;
S3:将待估计的胎儿大脑多层T2加权磁共振图像作为网络输入,利用S2 中训练完毕的基于注意力机制的深度残差网络,对其脑龄进行估计。
基于上述第一方面的方案,各步骤还可以进一步提供以下优选的实现方式。
作为优选,所述基于注意力机制的深度残差网络中共含有N个注意力网络模块;
其中前N-1个注意力网络模块中,主干分支由两个以上的残差模块连接形成,其中每个残差模块包含连续的1×1、3×3和1×1的卷积层,批量标准化层和线性整流函数层,每个主干支路的第一个残差模块后增加掩膜分支;掩膜分支包括一个最大池化层紧接着多个残差模块进行降采样,然后紧跟着一个对称的结构进行过采样形成编码-解码结构,再经过两个1×1的卷积层,对输出进行sigmoid函数处理,得到掩膜分支最后的输出;同时,编码-解码结构中添加跨越的连接;
最后一个注意力网络模块的中,主干分支直接由多个1×1卷积层连接;掩膜分支中,将编码-解码结构替换成多个残差模块连接,输出经过sigmoid激活;。
作为优选,所述的S1和S3中,所述的大脑多层T2加权磁共振图像均利用训练后的U-Net网络从胎儿的临床子宫内T2加权磁共振图像中分割得到;
所述U-Net网络包括一条收缩路径和一条扩张路径;在收缩路径中,先连续进行4次重复,每次重复时,先进行2个卷积操作后接着进行2×2的最大池化同时通道数增加一倍,第4次重复中完成最大池化后输出的特征图再依次通过2 个卷积操作后,进入扩张路径;在扩张路径中,也连续进行4次重复,每次重复时,先将特征图进行2×2的上采样操作后,将其与收缩路径中对应输出的相同图像大小的特征图合并拼接,然后再对拼接结果连续进行2个卷积操作;在收缩路径和扩张路径的卷积操作中,最后一次最大池化之前的卷积操作以及第一次上采样操作之前的卷积操作均采用2×2卷积操作并增加一个dropout操作,其余均采用3×3卷积操作;在扩张路径最后一次重复完成后,通过3×3卷积操作将特征转为概率值,并通过1×1的卷积操作生成0-1掩膜;
所述U-Net网络在模型训练时,用Softmax函数输出0-1掩膜中每个像素的值,通过和真值标签对应像素的互信息的大小作为网络训练的损失函数。
进一步的,选取正常胎儿的临床子宫内T2加权磁共振图像,对数据进行质控,选取的数据应保证胎龄分布规则且连续;对临床子宫内T2加权磁共振图像中的胎儿大脑进行人工分割标注后,作为U-Net的训练集和测试集。
进一步的,对胎儿的临床子宫内T2加权磁共振图像进行分割时,先利用所述U-Net网络生成其胎儿大脑的0-1掩膜,将胎儿的大脑图像从其他组织图像中分割出来;定义多层图像中的胎儿大脑面积最大的2D层面为中间层,将每层胎儿大脑图像周边像素都补零形成的相同大小的图像,并将每个个体图像幅值进行归一化;选取包括中间层的连续数层图像,用于建立正常胎儿大脑T2加权磁共振图像数据集。
第二方面,本发明提供了一种基于深度集成学习的胎儿大脑异常检测方法,其包括以下步骤:
S1:获取正常胎儿大脑T2加权磁共振图像数据集,所述图像数据集中包含不同胎龄正常胎儿的大脑多层T2加权磁共振图像,且每张图像均标记有对应胎儿临床的胎龄估计值;
S2:建立基于注意力机制的深度残差网络,所述深度残差网络由若干注意力网络模块连接而成,所述注意力模块包含一个主干分支和一个掩膜分支,主干分支的输出与掩膜分支的输出经过以下计算后得到注意力网络模块的输出图像:
xl=Tl(xl-1)+Ml(xl-1)·Tl(xl-1)
其中,Ml和Tl分别表示第l个注意力网络模块中掩膜分支和主干分支的输出,xl表示第l个注意力网络模块的输出图像;
最后一个注意力网络模块的输出图像通过平均池化和全连接层,得到输入图像中的胎儿脑龄预测结果;
其中,yi为第i个胎儿脑龄的标签,即胎儿的胎龄;μ(xi,w)和σ2(xi,w)分别为第i个胎儿的预测脑龄和方差,c为常数;
S4:将S1中正常胎儿大脑T2加权磁共振图像数据集作为所述深度残差网络的训练集,并对其进行数据增强;基于不同的训练集数据排布和初始化网络参数,将网络训练M次得到M个不同网络参数的深度残差网络,构成一个集成网络;
S5:将待估计的胎儿大脑多层T2加权磁共振图像作为集成网络的输入,集成网络中每个深度残差网络均输出各自的胎儿脑龄的预测结果;
其中随机不确定度δa(y)和认知不确定度δe(y)的计算公式分别如下:
其中:C(x,y)为基于胎儿大脑图像x和胎龄y计算得到的胎儿脑龄的可信度;
将胎儿脑龄的可信度C(x,y)通过线性回归去除个体胎龄的影响,形成修正的可信度指标;
将胎儿脑龄的PAD取绝对值,得到胎儿脑龄的绝对年龄差;
S8:将胎儿脑龄的PAD、绝对年龄差、不确定度和修正的可信度作为指标,构建分类模型,对胎儿大脑异常进行检测。
基于上述第二方面的方案,各步骤还可以进一步提供以下优选的实现方式。
作为优选,所述的分类模型为支持向量机。
作为优选,所述的集成网络,深度残差网络个数M优选为5。
第三方面,本发明提供了一种基于深度集成学习的胎儿大脑异常检测装置,其特征在于,包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如上述第二方面任一项方案所述的基于深度集成学习的胎儿大脑异常检测方法。
第四方面,本发明提供了一种基于深度集成学习的胎儿大脑异常检测装置,其特征在于,包括数据获取设备、存储器和处理器;
所述数据获取设备,用于获取胎儿的临床子宫内T2加权磁共振图像;
所述存储器,用于存储计算机程序以及所述数据获取设备获取到的图像;所述计算机程序包括如上述第二方面任一项方案所述的基于深度集成学习的胎儿大脑异常检测方法中构建的集成网络,同时还包括经过训练的U-Net网络;
所述处理器,用于当执行所述计算机程序时,先利用U-Net网络对胎儿的临床子宫内T2加权磁共振图像进行分割,将胎儿的大脑图像从其他组织图像中分割出来,获得胎儿大脑多层T2加权磁共振图像;然后再基于分割结果,实现如上述第二方面任一项方案所述的基于深度集成学习的胎儿大脑异常检测方法。
第五方面,本发明提供了一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如上述第二方面任一项方案所述的基于深度集成学习的胎儿大脑异常检测方法。
相对于现有技术,本发明具有以下有益效果:
1)本发明基于深度学习和临床常规T2加权磁共振数据集,对子宫内胎儿大脑进行分割,并能够对于胎儿的脑龄进行精确估计。本发明将脑龄应用在胎儿的神经影像中,利用特定设计的深度学习网络,通过对临床子宫内磁共振数据进行相应的参数学习和训练,使其能准确分割胎儿大脑并得到了精确且稳定的胎儿脑龄的估计值。
2)相比之前脑龄模型只能输出单个脑龄估计值指标,本发明利用概率估计的手段,得到更多的标记指标,包括估计脑龄的不确定度和可信度,可以应用于胎儿大脑异常的检测。
因此,本发明具有重要的临床应用价值,可以为产前临床审查提供参考。
附图说明
图1是改进版U型深度学习网络,用于将胎儿大脑从子宫内磁共振成像中分割出来。
图2是基于注意力机制的单个深度残差网络的示意图,其中相同形状代表相同的注意力模块,每个注意力模块中组成的残差模块通道数量的优选,写在了第一个残差模块的下方。
图3是基于深度集成学习预测胎儿大脑年龄在正常胎儿测试集上的结果。
图4是基于不同的标记物(PAD、绝对年龄差AAD、不确定性度和胎龄可信度)区分正常胎儿与多种异常胎儿的实验结果。
具体实施方式
下面基于本发明提出的方法结合实施例展示其具体的技术效果,以便本领域技术人员更好地理解本发明的实质。
在本发明的一种较优实现方式中,基于深度集成学习的胎儿脑龄估计方法包括以下步骤:
步骤一:建立正常胎儿大脑T2加权磁共振图像数据集。该数据集中包含大量正常胎儿大脑的多层T2加权磁共振图像,且每个图像都由其对应胎儿临床的胎龄标记,且保证胎龄有较大的分布范围。
该数据集用于对后续的预测网络进行训练,因此其样本量应当满足训练的要求。核磁共振扫描得到的是子宫内T2加权磁共振图像,图像中除了胎儿大脑之外,还包含了其他组织的信息,因此需要对该图像进行大脑部分的图像分割和提取。由于训练所需样本量较大,因此本发明可以另外构建一个U-Net网络对其进行分割。
本发明中该数据集的建立方法如下:
1)选取临床常规子宫内T2加权磁共振图像,筛选孕妇无宫内感染、胎儿无明显颅内异常正常胎儿数据,对数据进行质控,保证选取数据没有明显的胎动伪影或是其他的严重的图像伪影,同时保证磁共振采集的胎儿头部朝向一致,选取的数据胎龄分布规则且连续,作为U-Net的训练集和测试集。
2)构建改进版的U-Net网络,大脑多层T2加权磁共振图像均利用训练后的U-Net网络从胎儿的临床子宫内T2加权磁共振图像中分割得到。
基于额外的子宫内T2加权磁共振图像和对应人工分割的胎儿大脑位置的掩模,训练改进版U-Net。
如图1所示,本发明中的U-Net网络包括一条收缩路径(contracting path) 和一条扩张路径(expansive path)。收缩路径和扩张路径均由多个重复的block 组成,两者呈镜像对称的U型结构。该网络主要由卷积层、最大池化层(下采样)、反卷积层(上采样)以及ReLU线性整流函数组成,整个网络的过程具体如下:
在收缩路径中,先连续进行4次重复,每次重复时,先进行2个卷积操作后接着进行2×2的最大池化同时通道数增加一倍,第4次重复中完成最大池化后输出的特征图再依次通过2个卷积操作后,进入扩张路径。
在扩张路径中,也连续进行4次重复,每次重复时,先将特征图进行2×2 的上采样操作后,将其与收缩路径中对应输出的相同图像大小的特征图合并拼接,然后再对拼接结果连续进行2个卷积操作。需要注意的是,收缩路径和扩张路径中的特征图在合并拼接时,其应当与同一层对应block中第2个卷积后的特征图进行拼接,即执行复制和剪裁(copyand crop)操作。在扩张路径最后一次重复完成后,通过3×3卷积操作将特征转为概率值,并通过1×1的卷积操作生成 0-1掩膜。
传统U-Net网络中,各重复过程中卷积均采用3×3卷积操作,而本发明中对传统U-Net网络做了改进:在收缩路径和扩张路径的卷积操作中,最后一次最大池化之前的卷积操作以及第一次上采样操作之前的卷积操作均采用2×2卷积操作(含ReLU线性整流函数)并增加一个dropout操作,而其余的卷积层依然采用3×3卷积操作(含ReLU线性整流函数)。也就是说,在收缩路径的第4次重复中,第2个卷积操作采用的是2×2卷积+dropout,在扩张路径进行第一次上采样之前的卷积操作(最底层的第2个卷积层)也采用的是2×2卷积+dropout, dropout层的加入可以有效防止过拟合现象的发生。
将所选数据的胎儿的大脑从其他组织中分割出来,且保证能够包含分割出来的大脑的长方体体积最小,定义其中的胎儿大脑面积最大的2D层面为中间层;将每层胎儿大脑周边都补零形成的相同大小的图像,并将每个个体图像幅值进行归一化;选取包括中间层的连续数层图像,建立正常胎儿大脑T2加权磁共振图像的数据集,表示为
步骤1)中的训练集可以用于对该U-Net网络进行训练,在模型训练时,用 Softmax函数输出0-1掩膜中每个像素的值,通过和真值标签对应像素的互信息的大小作为网络训练的损失函数。
上述U-Net经过训练集训练以及通过测试集验证后,可以用于对临床常规子宫内T2加权磁共振图像进行大脑分割。
对胎儿的临床子宫内T2加权磁共振图像进行分割时,先利用训练后的U-Net 网络生成图像中胎儿大脑的0-1掩膜,掩膜中大脑区域为1,其余位置为0。通过该掩膜,可以将胎儿的大脑图像从其他组织图像中分割出来,且保证能够包含分割出来的大脑的长方体体积最小。定义多层图像中的胎儿大脑面积最大的2D 层面为中间层,将每层胎儿大脑图像周边像素都补零形成的相同大小的图像,并将每个个体图像幅值进行归一化;选取包括中间层的连续数层图像,作为该胎儿的大脑T2加权磁共振图像。不同胎龄的正常胎儿均按该方法得到相应的大脑图像后,就可以建立正常胎儿大脑T2加权磁共振图像数据集,表示为
步骤二:建立基于注意力机制的深度残差网络预测胎儿脑龄:
基于注意力机制的深度残差网络主要是由N个注意力模块组成,本发明中优选为三个,其结构如图2所示。深度残差网络的输入为正常胎儿大脑T2加权磁共振图像x。每个注意力模块均包含一个主干和一个掩膜分支。
前N-1个注意力网络模块中,主干分支由两个以上的残差模块连接形成,其中每个残差模块(residual bottleneck block)包含连续的1×1、3×3和1×1的卷积层,批量标准化层和线性整流函数层(rectified linear unit,ReLU),每个主干支路的第一个残差模块后增加掩膜分支,掩膜分支包括一个最大池化层紧接着多个残差模块进行降采样,然后紧跟着一个对称的结构进行过采样(构成编码-解码结构),再经过两个1×1的卷积层,对输出进行sigmoid函数处理,得到掩膜分支最后的输出,最后主干分支和掩膜分支合并,经过如下算得到输出的图像:
xl=Tl(xl-1)+Ml(xl-1)·Tl(xl-1)
其中,Ml和Tl分别代表第l个注意力模块中的和掩膜分支和主干分支的输出,xl代表第l个注意力模块中最后生成的图像。同时,编码-解码结构中添加跨越的连接。
最后一个注意力网络模块的中,也包含主干和掩膜分支,主干分支直接由多个1×1卷积层连接,掩膜分支中,将编码-解码结构替换成多个残差模块连接,输出经过sigmoid激活,然后主干分支和掩膜分支的输出进行与其他注意力网络模块相同的计算合并。最终,输出图像通过平均池化和全连接层,得到预测脑龄结果。
由此,完成上述度残差网络结构的构建后,即可利用步骤一中得到的正常胎儿大脑T2加权磁共振图像的数据集对其进行训练,训练完毕后即可用于后续的脑龄估计应用。在具体应用时,可以将待估计的胎儿大脑多层T2加权磁共振图像作为网络输入,利用训练完毕的基于注意力机制的深度残差网络,输出其脑龄估计值。
由此可见,本发明能够结合注意力机制,建立深度残差概率型网络,对胎儿的大脑年龄进行准确的估计。而且,相比之前脑龄模型只能输出单个脑龄估计值指标,本发明还可以进一步在网络训练的同时对于脑龄预测的不确定性进行估计,得到更多的标记指标,包括估计脑龄的不确定度和可信度等,可以应用于胎儿大脑异常的检测。下面进一步基于上述胎儿脑龄估计方法,论述进一步进行胎儿大脑异常检测的具体做法。
首先,按照前述的步骤一和步骤二,构建一个图2所示的基于注意力机制的深度残差网络。利用该基于注意力机制的深度残差网络结构,进行后续概率性的深度集成学习得到胎儿脑龄的不确定性。
假定每个胎儿的脑龄都符合一个异方差的高斯分布,则预测的胎儿脑龄的条件概率如下:
其中,y是胎儿脑龄,x和w分别表示单个胎儿大脑的T2加权磁共振图像和训练模型的参数,μ(x,w)为预测的胎儿脑龄,胎儿脑龄分布的方差σ2(x,w)的期望为随机不确定度δa(y),表示如下:
其中,yi为第i个胎儿脑龄的标签,即胎儿的胎龄;μ(xi,w)和σ2(xi,w)分别为第i个胎儿的预测脑龄和方差,c为常数。
基于该损失函数,可进行后续的网络训练。在网络训练前,我们先对训练集的样本进行数据增强(图片翻转,旋转,小范围的平移和剪切),以扩增样本量。网络训练优选的学习率为1×10-2,采用随机梯度下降的算法迭代循环100次。
但此处,与前述的胎儿脑龄估计方法中的做法不同的是,我们采用多次训练获得多个网络来构成集成网络,通过概率的方式来进行异常指标构建。基于不同的训练集数据排布和参数初始化,将网络训练M次得到M个不同的参数的网络,得到一个集成网络,本发明中优选训练次数为5次。胎儿的脑龄的条件概率为每个网络估计的均匀混合:
认知不确定度δe(y)的估计量等于可以不同模型预测胎龄μ(x,wm)的方差,随机不确定度δa(y)也可以同时得到:
在实际应用时,认知不确定度δe(y)和随机不确定度δa(y)可以直接由深度残差概率型网络输出。
利用预测脑龄与实际胎龄之差(PAD)和胎儿的不确定度可基于下述公式计算胎儿脑龄的可信度:
另外,由于胎儿脑龄的可信度C(x,y)与个体胎龄存在关系,因此需要再将胎儿脑龄的可信度C(x,y)通过线性回归去除个体胎龄的影响,形成修正的可信度指标。在进行修正时采用的拟合线性公式如下:
A=a*x+b
其中A为胎儿脑龄的可信度C(x,y),x为胎儿的胎龄,a为预设参数(可取经验值),b为修正的可信度指标。
因此,修正的可信度指标b=A-a*x。
另外,本发明中还采用了另一个指标,即绝对年龄差,绝对年龄差取值为胎儿脑龄的PAD取绝对值。
获得上述各步骤计算的指标后,即可基于胎儿脑龄的PAD、绝对年龄差、不确定度、修正的可信度等指标,构建分类模型(例如支持向量机,需预先进行分类训练),对正常和异常的胎儿进行分类,同时利用验证模型效果的方法,如交叉验证法,针对胎儿大脑周长偏小、偏大、畸形、脑室异常等情况,检测分类效果。
下面基于上述胎儿脑龄估计方法和胎儿大脑异常检测方法,结合实施例对其技术效果进行展示,以便本领域技术人员更好地理解本发明的实质。方法的具体步骤如前所述,不再赘述。
实施例
将上述基于深度集成学习的胎儿脑龄估计和异常检测方法在665名正常胎儿(22-39孕周)和46名异常胎儿(22-39孕周)的临床常规T2加权磁共振数据中进行测试。其中正常胎儿按照65%(430例),15%(10),20%(132例) 的比例分成了深度集成网络的训练集、验证集和测试集。异常胎儿包括头围偏小 (8例)、脑室增大(30例)和脑发育畸形(8例),诊断由临床有经验放射科医生给出。步骤一具体的做法参见上述,其中选取的层数包括中间层下三层至中间层上三层,下面仅介绍此处的具体参数。核磁共振扫描是临床常规所用通用电气 (GE)signa HDxt 1.5T扫描仪进行的;T2加权数据采用单次激发快速自旋回波序列(SSFSE),回波时间(TE)/重复时间(TR)=130/2400ms,视野(FOV) =360×360mm,层内分辨率=0.7×0.7mm,层选厚度为3-4.5mm,沿着轴向方向采集。个体胎龄由孕妇末次正常经期决定。
建立训练胎儿大脑分割的样本集,包括相同序列参数采集的212例子宫内磁共振图像(22-38孕周)和其对应人工分割好的掩膜(mask),按照6:2:2的比例分配训练集、验证集和测试集。本实施例对胎儿大脑分割结果定量,并对比FSL 工具包(FMRIB SoftwareLibrary v6.0)中的BET方法,结果如表1所示:
表1不同方法分割胎儿大脑结果比较
本实施例的脑龄预测结果如附图2所示;
由附图3可以得到,本发明提出的方法在正常胎儿的测试集中预测正常胎儿的脑龄与实际脑龄(胎龄)的平均绝对误差(mean absolute error,MAE)为0.803 周,R2为0.926。
进一步,通过本方法计算出来的指标,包括PAD,绝对年龄差(absolute agedifference,AAD),不确定性(uncertainty)和胎儿脑龄可信度(confidence),对于正常胎儿和不同种类异常胎儿之间的区分度,实验结果如附图3所示,其中采用的分类方法为支持向量机,结果以留一交叉验证法得到的工作特征曲线ROC 和曲线下面积AUC呈现:
由附图4可以看到,AAD对于头围较小的检出度高(AUC=0.92),不确定度对于胎儿脑畸形的检出率高(AUC=0.88),胎龄的可信度对于头围较小 (AUC=0.92)和脑部畸形(AUC=0.89)都有很高的检出率,对于脑室增大也有一定的检出率(AUC=0.69)。
另外,在其他实施例中,还可以提供一种基于深度集成学习的胎儿大脑异常检测装置,其包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如前述描述的基于深度集成学习的胎儿大脑异常检测方法。
需要注意的是,存储器可以包括随机存取存储器(Random Access Memory, RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array, FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。当然,还装置中还应当具有实现程序运行的必要组件,例如电源、通信总线等等。
另外,在其他实施例中,一种基于深度集成学习的胎儿大脑异常检测成套装置,其包括数据获取设备、存储器和处理器;
所述数据获取设备,用于获取胎儿的临床子宫内T2加权磁共振图像,具体可以采用磁共振成像系统实现。
所述存储器,用于存储计算机程序以及所述数据获取设备获取到的图像;所述计算机程序包括前述实施例中构建的集成网络,同时还包括前述经过训练的 U-Net网络。
所述处理器,用于当执行所述计算机程序时,先利用U-Net网络对磁共振成像系统得到的目标胎儿的临床子宫内T2加权磁共振图像进行分割,将胎儿的大脑图像从其他组织图像中分割出来,获得胎儿大脑多层T2加权磁共振图像;然后再基于分割结果,实现前述的基于深度集成学习的胎儿大脑异常检测方法,然后可进一步输出检测报告。
另外,在上述成套装置中,存储器和处理器还可以进一步集成在磁共振成像系统的数据处理设备中,磁共振成像系统获取诊断对象的相应数据后,可以存储在存储器中,然后通过处理器对其调用内部程序进行处理,直接输出结果。
另外,在其他实施例中,一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如前所述的基于深度集成学习的胎儿大脑异常检测方法。
需要指出的是,以上所述的实施例只是本发明的一种较佳的方案,然其并非用以限制本发明。有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。
Claims (10)
1.一种基于深度集成学习的胎儿脑龄估计方法,其特征在于,包括以下步骤:
S1:获取正常胎儿大脑T2加权磁共振图像数据集,所述图像数据集中包含不同胎龄正常胎儿的大脑多层T2加权磁共振图像,且每张图像均标记有对应胎儿临床的胎龄估计值;
S2:建立基于注意力机制的深度残差网络,并利用S1中的图像数据集对其进行训练;
所述基于注意力机制的深度残差网络由若干注意力网络模块连接而成,所述注意力模块包含一个主干分支和一个掩膜分支,主干分支的输出与掩膜分支的输出经过以下合并计算后得到注意力网络模块的输出图像:
xl=Tl(xl-1)+Ml(xl-1)·Tl(xl-1)
其中,Ml和Tl分别表示第l个注意力网络模块中掩膜分支和主干分支的输出,xl表示第l个注意力网络模块的输出图像;
最后一个注意力网络模块的输出图像通过平均池化和全连接层,得到输入图像中的胎儿脑龄预测结果;
S3:将待估计的胎儿大脑多层T2加权磁共振图像作为网络输入,利用S2中训练完毕的基于注意力机制的深度残差网络,对其脑龄进行估计。
2.如权利要求1所述的基于深度集成学习的胎儿脑龄估计方法,其特征在于,所述基于注意力机制的深度残差网络中共含有N个注意力网络模块;
其中前N-1个注意力网络模块中,主干分支由两个以上的残差模块连接形成,其中每个残差模块包含连续的1×1、3×3和1×1的卷积层,批量标准化层和线性整流函数层,每个主干支路的第一个残差模块后增加掩膜分支;掩膜分支包括一个最大池化层紧接着多个残差模块进行降采样,然后紧跟着一个对称的结构进行过采样形成编码-解码结构,再经过两个1×1的卷积层,对输出进行sigmoid函数处理,得到掩膜分支最后的输出;同时,编码-解码结构中添加跨越的连接;
最后一个注意力网络模块的中,主干分支直接由多个1×1卷积层连接;掩膜分支中,将编码-解码结构替换成多个残差模块连接,输出经过sigmoid激活。
3.如权利要求1所述的基于深度集成学习的胎儿脑龄估计方法,其特征在于,所述的S1和S3中,所述的大脑多层T2加权磁共振图像均利用训练后的U-Net网络从胎儿的临床子宫内T2加权磁共振图像中分割得到;
所述U-Net网络包括一条收缩路径和一条扩张路径;在收缩路径中,先连续进行4次重复,每次重复时,先进行2个卷积操作后接着进行2×2的最大池化同时通道数增加一倍,第4次重复中完成最大池化后输出的特征图再依次通过2个卷积操作后,进入扩张路径;在扩张路径中,也连续进行4次重复,每次重复时,先将特征图进行2×2的上采样操作后,将其与收缩路径中对应输出的相同图像大小的特征图合并拼接,然后再对拼接结果连续进行2个卷积操作;在收缩路径和扩张路径的卷积操作中,最后一次最大池化之前的卷积操作以及第一次上采样操作之前的卷积操作均采用2×2卷积操作并增加一个dropout操作,其余均采用3×3卷积操作;在扩张路径最后一次重复完成后,通过3×3卷积操作将特征转为概率值,并通过1×1的卷积操作生成0-1掩膜;
所述U-Net网络在模型训练时,用Softmax函数输出0-1掩膜中每个像素的值,通过和真值标签对应像素的互信息的大小作为网络训练的损失函数。
4.如权利要求2所述的基于深度集成学习的胎儿脑龄估计方法,其特征在于,对胎儿的临床子宫内T2加权磁共振图像进行分割时,先利用所述U-Net网络生成其胎儿大脑的0-1掩膜,将胎儿的大脑图像从其他组织图像中分割出来;定义多层图像中的胎儿大脑面积最大的2D层面为中间层,将每层胎儿大脑图像周边像素都补零形成的相同大小的图像,并将每个个体图像幅值进行归一化;选取包括中间层的连续数层图像,用于建立正常胎儿大脑T2加权磁共振图像数据集。
5.一种基于深度集成学习的胎儿大脑异常检测方法,其特征在于,包括以下步骤:
S1:获取正常胎儿大脑T2加权磁共振图像数据集,所述图像数据集中包含不同胎龄正常胎儿的大脑多层T2加权磁共振图像,且每张图像均标记有对应胎儿临床的胎龄估计值;
S2:建立基于注意力机制的深度残差网络,所述深度残差网络由若干注意力网络模块连接而成,所述注意力模块包含一个主干分支和一个掩膜分支,主干分支的输出与掩膜分支的输出经过以下计算后得到注意力网络模块的输出图像:
xl=Tl(xl-1)+Ml(xl-1)·Tl(xl-1)
其中,Ml和Tl分别表示第l个注意力网络模块中掩膜分支和主干分支的输出,xl表示第l个注意力网络模块的输出图像;
最后一个注意力网络模块的输出图像通过平均池化和全连接层,得到输入图像中的胎儿脑龄预测结果;
其中,yi为第i个胎儿脑龄的标签,即胎儿的胎龄;μ(xi,w)和σ2(xi,w)分别为第i个胎儿的预测脑龄和方差,c为常数;
S4:将S1中正常胎儿大脑T2加权磁共振图像数据集作为所述深度残差网络的训练集,并对其进行数据增强;基于不同的训练集数据排布和初始化网络参数,将网络训练M次得到M个不同网络参数的深度残差网络,构成一个集成网络;
S5:将待估计的胎儿大脑多层T2加权磁共振图像作为集成网络的输入,集成网络中每个深度残差网络均输出各自的胎儿脑龄的预测结果;
其中随机不确定度δa(y)和认知不确定度δe(y)的计算公式分别如下:
其中:C(x,y)为基于胎儿大脑图像x和胎龄y计算得到的胎儿脑龄的可信度;
将胎儿脑龄的可信度C(x,y)通过线性回归去除个体胎龄的影响,形成修正的可信度指标;
将胎儿脑龄的PAD取绝对值,得到胎儿脑龄的绝对年龄差;
S8:将胎儿脑龄的PAD、绝对年龄差、不确定度和修正的可信度作为指标,构建分类模型,对胎儿大脑异常进行检测。
6.如权利要求5所述的基于深度集成学习的胎儿大脑异常检测方法,其特征在于,所述的分类模型为支持向量机。
7.如权利要求5所述的基于深度集成学习的胎儿脑龄估计方法,其特征在于,所述的集成网络,深度残差网络个数M优选为5。
8.一种基于深度集成学习的胎儿大脑异常检测装置,其特征在于,包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如权利要求5~8任一项所述的基于深度集成学习的胎儿大脑异常检测方法。
9.一种基于深度集成学习的胎儿大脑异常检测装置,其特征在于,包括数据获取设备、存储器和处理器;
所述数据获取设备,用于获取胎儿的临床子宫内T2加权磁共振图像;
所述存储器,用于存储计算机程序以及所述数据获取设备获取到的图像;所述计算机程序包括如权利要求5~8任一项所述的基于深度集成学习的胎儿大脑异常检测方法中构建的集成网络,同时还包括经过训练的U-Net网络;
所述处理器,用于当执行所述计算机程序时,先利用U-Net网络对胎儿的临床子宫内T2加权磁共振图像进行分割,将胎儿的大脑图像从其他组织图像中分割出来,获得胎儿大脑多层T2加权磁共振图像;然后再基于分割结果,实现如权利要求5~8任一项所述的基于深度集成学习的胎儿大脑异常检测方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求5~8任一项所述的基于深度集成学习的胎儿大脑异常检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010244415.9A CN111415361B (zh) | 2020-03-31 | 2020-03-31 | 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010244415.9A CN111415361B (zh) | 2020-03-31 | 2020-03-31 | 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111415361A true CN111415361A (zh) | 2020-07-14 |
CN111415361B CN111415361B (zh) | 2021-01-19 |
Family
ID=71493560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010244415.9A Active CN111415361B (zh) | 2020-03-31 | 2020-03-31 | 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111415361B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150428A (zh) * | 2020-09-18 | 2020-12-29 | 青岛大学 | 一种基于深度学习的医学图像分割方法 |
CN112508013A (zh) * | 2020-12-02 | 2021-03-16 | 哈尔滨市科佳通用机电股份有限公司 | 一种锁扣丢失故障检测方法、系统及装置 |
CN112907563A (zh) * | 2021-03-17 | 2021-06-04 | 复旦大学附属华山医院 | 基于深度学习的cta全自动侧枝循环评分方法及系统 |
CN114897849A (zh) * | 2022-05-21 | 2022-08-12 | 四川大学 | 一种基于卷积神经网络的新生儿耳廓形态畸形诊断方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019136745A1 (zh) * | 2018-01-15 | 2019-07-18 | 深圳博脑医疗科技有限公司 | 一种基于磁共振图像的脑龄测试方法及脑龄测试装置 |
CN110097968A (zh) * | 2019-03-27 | 2019-08-06 | 中国科学院自动化研究所 | 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统 |
CN110120051A (zh) * | 2019-05-10 | 2019-08-13 | 上海理工大学 | 一种基于深度学习的右心室自动分割方法 |
CN110309800A (zh) * | 2019-07-05 | 2019-10-08 | 中国科学技术大学 | 一种林火烟雾探测方法及装置 |
CN110555828A (zh) * | 2019-08-08 | 2019-12-10 | 北京深睿博联科技有限责任公司 | 基于3d卷积神经网络的脑龄预测方法及装置 |
CN110751636A (zh) * | 2019-10-12 | 2020-02-04 | 天津工业大学 | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 |
-
2020
- 2020-03-31 CN CN202010244415.9A patent/CN111415361B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019136745A1 (zh) * | 2018-01-15 | 2019-07-18 | 深圳博脑医疗科技有限公司 | 一种基于磁共振图像的脑龄测试方法及脑龄测试装置 |
CN110097968A (zh) * | 2019-03-27 | 2019-08-06 | 中国科学院自动化研究所 | 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统 |
CN110120051A (zh) * | 2019-05-10 | 2019-08-13 | 上海理工大学 | 一种基于深度学习的右心室自动分割方法 |
CN110309800A (zh) * | 2019-07-05 | 2019-10-08 | 中国科学技术大学 | 一种林火烟雾探测方法及装置 |
CN110555828A (zh) * | 2019-08-08 | 2019-12-10 | 北京深睿博联科技有限责任公司 | 基于3d卷积神经网络的脑龄预测方法及装置 |
CN110751636A (zh) * | 2019-10-12 | 2020-02-04 | 天津工业大学 | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 |
Non-Patent Citations (1)
Title |
---|
RYOSUKE NAKANO等: ""Neonatal Brain Age Estimation Using Manifold Learning Regression Analysis"", 《2015 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150428A (zh) * | 2020-09-18 | 2020-12-29 | 青岛大学 | 一种基于深度学习的医学图像分割方法 |
CN112150428B (zh) * | 2020-09-18 | 2022-12-02 | 青岛大学 | 一种基于深度学习的医学图像分割方法 |
CN112508013A (zh) * | 2020-12-02 | 2021-03-16 | 哈尔滨市科佳通用机电股份有限公司 | 一种锁扣丢失故障检测方法、系统及装置 |
CN112508013B (zh) * | 2020-12-02 | 2021-07-16 | 哈尔滨市科佳通用机电股份有限公司 | 一种锁扣丢失故障检测方法、系统及装置 |
CN112907563A (zh) * | 2021-03-17 | 2021-06-04 | 复旦大学附属华山医院 | 基于深度学习的cta全自动侧枝循环评分方法及系统 |
CN112907563B (zh) * | 2021-03-17 | 2023-12-01 | 复旦大学附属华山医院 | 基于深度学习的cta全自动侧枝循环评分方法及系统 |
CN114897849A (zh) * | 2022-05-21 | 2022-08-12 | 四川大学 | 一种基于卷积神经网络的新生儿耳廓形态畸形诊断方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111415361B (zh) | 2021-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111415361B (zh) | 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置 | |
Alansary et al. | PVR: patch-to-volume reconstruction for large area motion correction of fetal MRI | |
Gholipour et al. | Multi-atlas multi-shape segmentation of fetal brain MRI for volumetric and morphometric analysis of ventriculomegaly | |
Shi et al. | Fetal brain age estimation and anomaly detection using attention-based deep ensembles with uncertainty | |
CN110969614B (zh) | 基于三维卷积神经网络的脑龄预测方法及系统 | |
CN111461233A (zh) | 一种基于MDCLSTM-LDenseNet网络的核磁共振图像自动分类方法及装置 | |
Tian et al. | Improving in vivo human cerebral cortical surface reconstruction using data-driven super-resolution | |
CN112348785A (zh) | 一种癫痫病灶定位方法及系统 | |
CN109886944A (zh) | 一种基于多图谱的脑白质高信号检测和定位方法 | |
CN111861989A (zh) | 一种脑中线检测方法、系统、终端及存储介质 | |
Qiu et al. | 3D MR ventricle segmentation in pre-term infants with post-hemorrhagic ventricle dilatation (PHVD) using multi-phase geodesic level-sets | |
US20210020304A1 (en) | Systems and methods for generating classifying and quantitative analysis reports of aneurysms from medical image data | |
CN111584066B (zh) | 基于卷积神经网络与对称信息的脑部医学影像诊断方法 | |
CN114565572A (zh) | 一种基于图像序列分析的脑出血ct图像分类方法 | |
Liu et al. | Automated classification and measurement of fetal ultrasound images with attention feature pyramid network | |
CN115187566A (zh) | 基于mra影像的颅内动脉瘤检测方法及装置 | |
Sweeney et al. | Estimation of multiple sclerosis lesion age on magnetic resonance imaging | |
Vahedifard et al. | Review of deep learning and artificial intelligence models in fetal brain magnetic resonance imaging | |
Liu et al. | Evaluation of spatial attentive deep learning for automatic placental segmentation on longitudinal MRI | |
Gaudfernau et al. | Analysis of the anatomical variability of Fetal brains with Corpus callosum agenesis | |
CN111445443B (zh) | 早急性脑梗死检测方法和装置 | |
Kulseng et al. | Automatic placental and fetal volume estimation by a convolutional neural network | |
Knight et al. | Voxel-wise logistic regression and leave-one-source-out cross validation for white matter hyperintensity segmentation | |
CN116563224A (zh) | 基于深度语义特征的影像组学胎盘植入预测方法及装置 | |
CN113160256B (zh) | 一种多任务生成对抗模型的mr影像胎盘分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |