CN114266939A - 一种基于ResTLU-Net模型的脑提取方法 - Google Patents

一种基于ResTLU-Net模型的脑提取方法 Download PDF

Info

Publication number
CN114266939A
CN114266939A CN202111592904.4A CN202111592904A CN114266939A CN 114266939 A CN114266939 A CN 114266939A CN 202111592904 A CN202111592904 A CN 202111592904A CN 114266939 A CN114266939 A CN 114266939A
Authority
CN
China
Prior art keywords
restlu
model
net
convolutional
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111592904.4A
Other languages
English (en)
Other versions
CN114266939B (zh
Inventor
李海芳
费鸿
王千山
邓红霞
李文宽
李琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202111592904.4A priority Critical patent/CN114266939B/zh
Publication of CN114266939A publication Critical patent/CN114266939A/zh
Application granted granted Critical
Publication of CN114266939B publication Critical patent/CN114266939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明属于深度学习技术领域,具体涉及一种基于ResTLU‑Net模型的脑提取方法,包括下列步骤:构建数据集;构建卷积神经网络模型ResTLU‑Net;利用所属训练集和迁移学习策略在所构建的ResTLU‑Net网络上进行训练;对三维图像数据的概率图设定阈值以获得预测结果;建立评价指标用于对ResTLU‑Net模型的评估。本发明使用编码解码结构和残差结构,有效地保留了医学图像中的低维信息并与高维抽象特征相结合,充分丰富了模型中的计算信息,提高了模型训练的效果,从而减少了训练中的信息丢失,同时利用迁移学习策略引入人类的MRI样本,增强了模型的泛化能力,较好的解决了因猕猴数据集多中心特性在深度学习模型上分割准确率较低的问题。

Description

一种基于ResTLU-Net模型的脑提取方法
技术领域
本发明属于深度学习技术领域,具体涉及一种基于ResTLU-Net模型的脑提取方法。
背景技术
脑组织提取是对复杂神秘的脑结构和未知的脑功能进行探索不可或缺的过程,但人类并不能对活动的人脑组织进行直接地研究,猕猴是典型的非人类灵长动物,它们的大脑结构与人类相似,可以用作人脑的天然过渡模型,通过猕猴来探索人类脑部的工作机制和病理机制已经成为人脑研究中的一种基本方法。
在过去的研究中,已经开发了许多可用于人类脑组织提取的软件工具,如 FSL中的大脑提取工具(BET)、AFNI中的3dSkullStrip和FreeSufer中的混合分水岭算法(HWA)。另外,近几年来,深度学习网络已经广泛应用于医学图像分割中,越来越多的研究表明CNN在提取人脑组织方面具有很好的性能,因此,在猕猴大脑提取中,使用深度学习可能表现得更好。
虽然脑组织提取的软件工具在应用于人脑时可以获得良好的性能,但在猕猴大脑上使用时,它们的性能却很差。这主要是因为猕猴和人脑之间的差异造成的,特别是在MRI图像中,猕猴的眼睛比人类的眼睛更突出,大脑周围有更多的脂肪组织,此外,猕猴的额叶非常狭窄和突出。因此,尽管HWA和AFNI 都为非人灵长类动物优化了设置,但这些方法仍然需要许多手动设置,对提取结果的检查和纠正也很耗时费力。同时,深度学习也没有取得令人满意的效果。由于特征图尺寸逐渐变小,CNN在卷积和池化过程中丢失了图像的细节,无法很好地指出每个像素的具体轮廓。针对这个问题,研究者们提出了一种全卷积网络(FCN)结构。然而深度学习可以实现卓越的人脑组织提取性能,这得益于当前可用的许多高质量人脑MRI图像。事实上猕猴数据通常是在非常高的磁场(4.7T,7T,9.4T,11.7T)下获得的,并且使用非标准表面线圈,这导致了猕猴脑部MRI图像数据不足,且各采集站点和站点内部的数据质量和特征存在显著差异,因此,除了信息细节损失外,猕猴数据的多中心和有限样本问题也是利用深度学习进行猕猴脑组织的重大挑战。
目前,编码解码结构在医学图像分割方面取得了令人瞩目的成果,编码器和解码器将医学图像中用于精确分割的浅层特征和用于定位的深度特征级联在一起,可有效解决模糊边界、复杂梯度问题,在医学图像分割中,通过特征拼接实现了更高维的特征操作,增加了高分辨率的信息,能够很好地适应有限样本数据的训练。迁移学习是一种训练策略,它假设源域和目标域包含一些标准特征,这些特征的数据分布是一致的,迁移学习可以加快模型训练,减少数据需求,并防止过度拟合。由于人类和猕猴都是灵长类动物,它们脑组织的MRI 信号相似,所以使用迁移学习从人脑过渡到猴脑,可以获得更好的猴脑提取模型性能。然而,由于上述猕猴脑组织数据的多中心和有限样本特征,在应用迁移学习时,目标域的特征分布是不平衡的。从最新研究可以看出,这些问题使得通过应用单一迁移学习策略来创建足够好的模型具有挑战性,为了获得理想的效果,仍然需要通过配准方法调整源域和目标域的特征分布。
发明内容
针对上述问题,本发明利用残差结构和编码解码结构构建深度学习模型 ResTLU-Net,以保留网络中不同层之间丢失的信息,增强低维空间信息与高维抽象特征的融合,提高模型训练效果并减少过度拟合,更好地利用了灵长类动物大脑之间的结构相似性,使用人脑T1w和T2w MRI图像来训练第一阶段模型,使得该模型更加关注人脑结构的空间特征,而不是信号的峰值分布。
为了解决上述技术问题,本发明采用的技术方案为:
一种基于ResTLU-Net模型的脑提取方法,包括下列步骤:
S1、获取训练所需MRI图像数据集,并对MRI图像数据集进行预处理,将图像最高采样维度重采样至256,构建数据集;
S2、构建基于编码解码结构与残差模块的卷积神经网络模型ResTLU-Net;
S3、利用所属训练集和迁移学习策略在所构建的ResTLU-Net网络上进行训练,挑选最优的模型作为最终的ResTLU-Net模型;
S4、获取待分割的MRI图像,并通过训练完毕的ResTLU-Net模型计算三维图像数据的概率图,对该概率图设定阈值以获得预测结果;
S5、建立评价指标用于对ResTLU-Net模型的评估。
所述S1中获取训练所需MRI数据集包含两种灵长动物的MRI图像:
数据集I:来自人类连接组项目HCP的人脑MRI数据集,包含67名受试者的大脑T1w和T2w图像对以及其对应的人脑分割金标准;数据集II:来自灵长类数据交换联盟PRIME-DE的猕猴MRI数据集及通过手动分割猕猴T1w图像脑组织的猴脑分割金标准。
所述S1中对MRI图像数据集进行预处理的方法为:对MRI图像数据集进行强度标准化处理,使每个图像数据的强度值都在0到1之间,并将图像数据样本重新采样为3D强度矩阵,其中数据样本的最高采样维度重新缩放至256,将缩放后的图像沿水平面、矢状面、冠状面重新采样成切片,对于每一个方向的切片,取3层切片作为一个切片块整合成为一个3x256x256的矩阵,最终联合三个方向的切片块构建数据集,当切片的尺寸小于256x256时,使用0填充。
所述S2中构建的ResTLU-Net是基于编码解码结构与残差模块的卷积神经网络,所述ResTLU-Net包含卷积编码结构和卷积解码结构,所述卷积编码结构包含5个卷积模块,每一个模块由两个卷积层构成,第一个卷积层为残差卷积单元,其中卷积操作中的卷积核大小为3x3,步长为1,边缘扩充像素值为1,设置输出维度等于输入维度;第二个卷积层为普通卷积单元,卷积核大小为3x3,步长为1,边缘扩充像素值为1,卷积之后与归一化操作和ReLu激活函数相连接,在解码过程中,包含4个卷积模块,每一个卷积模块与编码卷积模块相同,之后连接一个卷积核大小为4x4、步长为2,边缘扩充像素值为1的置换卷积和一个ReLu激活函数进行上采样,每一卷积模块上采样之后与编码过程中对应尺寸的特征图进行连接,上采样完成后使用一个1x1的卷积层将最终的特征图映射成为一个二分类的特征图,最后使用SoftMax层获得脑组织的概率图。
所述普通卷积单元为:
yi=fi+1(fi(xi))
所述xi表示网络中每个卷积层的输入,所述yi表示xi经过一个卷积层之后的输出,所述fi(xi)表示卷积操作、批量归一化和激活函数的某一个序列,所述 fi(xi)定义为:
fi(xi)=Wi·σ(B(Wi′σ(B(x))))
所述Wi和Wi′表示权重矩阵,所述·表示进行卷积操作,所述B(x)表示批量归一化,所述σ(x)为激活函数;
则所述ResTLU-Net中的残差卷积单元定义为:
yi=fi+2[fi+1(fi(xi))+xi]。
所述S3利用训练集所构建的ResTLU-Net网络模型中,计算概率图和分割金标准之间的交叉熵作为模型的损失,并随机最优化学习率进行反向传播以更新权重,所述模型的损失计算公式为:
Figure BDA0003429828240000051
所述yi表示图像样本的标签,正样本为1,负样本为0,pi为被预测为正样本的概率。
所述S3中利用所属训练集和迁移学习策略在所构建的ResTLU-Net网络上进行训练的方法为:
S3.1、构建第一阶段模型,使用数据集I中配对的人脑T1w和T2w切片数据集在ResTLU-Net上进行训练,接下来,沿水平面、矢状面和冠状面将 ResTLU-Net上得到的概率图进行合并,得出平均三维概率矩阵,重新缩放和裁剪矩阵,使其和原始MRI图形维度相同,之后对概率矩阵设定阈值为0.5以获得预测结果,其中概率值大于0.5的像素点置为1,小于0.5的像素点置为0,计算每一次迭代中预测结果和金标准之间的戴斯系数,最终选择戴斯系数最高的模型作为第一阶段模型;
S3.2、利用迁移学习策略,使用数据集II中的T1切片数据集对第一步得到的第一阶段模型进行训练,更新模型中的全部参数,同样将水平面、矢状面和冠状面的概率图进行合并得到三维概率矩阵,重新缩放和裁剪矩阵,使其和原始MRI图形维度相同,之后设定阈值为0.5以获得预测结果,计算每一次迭代数据集II中对验证集的预测结果和金标准之间的戴斯系数,选择戴斯系数最高的模型作为第二阶段的ResTLU-Net模型。
所述S4中对三维图像数据的概率图设定阈值以获得预测结果的方法为:对于已经配准到同一标准空间的人类MRI数据集,所用分割模型是第一阶段得到的模型;对于未参与训练且与训练集来自不同数据采集中心的猕猴脑MRI图像,所用分割模型是第二阶段得到的ResTLU-Net模型,将待分割的图像进行强度标准化处理,使每个图像数据的强度值都在0到1之间,并将图像数据样本重新采样为3D强度矩阵,其中数据样本的最高采样维度重新缩放至256,将缩放后的图像沿水平面、矢状面、冠状面重新采样成切片,最终联合三个方向的切片构建测试数据集,经过ResTLU-Net模型得出平均三维概率矩阵,重新缩放和裁剪矩阵得到与原始图像尺寸相同的概率图,设定阈值为0.5,概率值大于0.5的像素点置为1,小于0.5的像素点置为0以获得预测结果。
所述S5中的评价指标公式如下:戴斯系数
Figure BDA0003429828240000061
灵敏度
Figure BDA0003429828240000062
特异性
Figure BDA0003429828240000063
杰卡德系数
Figure BDA0003429828240000064
Figure BDA0003429828240000065
体素重叠误差
Figure BDA0003429828240000066
漏报率
Figure BDA0003429828240000067
误报率
Figure BDA0003429828240000068
和精确度
Figure BDA0003429828240000069
其中,TP为真阳性,是指正确分类为脑组织的像素,TN为真阴性,是指正确被分为非脑组织的像素,FP为假阳性,是指错误被分类为脑组织的像素,FN为假阴性,是指被错误分类为非脑组织的像素。
本发明与现有技术相比,具有的有益效果是:
本发明使用编码解码结构和残差结构,有效地保留了医学图像中的低维信息并与高维抽象特征相结合,充分丰富了模型中的计算信息,提高了模型训练的效果,从而减少了训练中的信息丢失,同时利用迁移学习策略引入人类的MRI 样本,增强了模型的泛化能力,较好的解决了因猕猴数据集多中心特性在深度学习模型上分割准确率较低的问题。本发明不仅可以在配准到同一空间的人类 MRI数据上取得不亚于现有分割工具的分割精度,并且在未配准的人类数据上也能达到较高的分割精度,在猕猴脑成像的不同中心的图像上平均戴斯系数可达0.958,且所用数据不需要进行去噪和校正,同时,对比其他脑组织提取软件,不需要繁琐的操作过程和参数调整。
附图说明
图1为本发明的ResTLU-net模型结构图;
图2为本发明的采用迁移学习策略的训练过程图;
图3为本发明的预测结果展示图;
图4为本发明所用ResTLU-Net模型与其他脑组织提取方法在猕猴数据上结果对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明在pytorch深度学习框架下实现,本发明提供了一种基于ResTLU-Net 模型的脑提取方法,具体包括以下步骤:
1、数据准备
本发明的数据样本包含两种灵长动物的MRI图像:
数据集I:来自人类连接组项目(HCP)的人脑MRI数据集,包含67名受试者的大脑T1w和T2w图像对以及其使用FSL和FreeSufer工具处理得到的人脑分割金标准,其中,62名受试者的数据作为训练集和验证集,5名受试者作为测试集。数据集II:来自PRIME-DE(灵长类数据交换联盟)的猕猴MRI数据集,包含6个站点的30只猕猴的T1w图像,其中20只猴子作为训练集和验证集,10只猴子作为测试集,通过手动分割对应猕猴T1w图像脑组织作为猴脑分割金标准。
对上述数据集进行强度标准化处理,使每个图像数据的强度值都在0到1 之间,并将图像数据样本重新采样为3D强度矩阵,其中数据样本的最高采样维度重新缩放至256,将缩放后的图像沿水平面、矢状面、冠状面重新采样成切片,对于每一个方向的切片,取3层切片作为一个切片块整合成为一个3x256x256 的矩阵,最终联合三个方向的切片块构建数据集,当切片的尺寸小于256x256 时,使用0填充。
2、模型构建
构建的ResTLU-Net模型是基于编码解码结构与残差模块的卷积神经网络,具体网络模型结构如图1所示,其中ResTLU-Net包含卷积编码结构和卷积解码结构,卷积编码结构包含5个卷积模块,每一个模块由两个卷积层构成,第一个卷积层为残差卷积单元,其中卷积操作中的卷积核大小为3x3,步长为1,边缘扩充为1个像素值,设置输出维度等于输入维度;第二个卷积层为普通卷积单元,卷积核大小为3x3,步长为1,边缘扩充为1个像素值,卷积之后与归一化操作和ReLu激活函数相连接。在编码过程中,网络通道数从3增加到256,图像的尺寸从256x256缩小到16x16。在解码过程中,包含4个卷积模块,每一个卷积模块与编码卷积模块相同,之后连接一个卷积核大小为4x4、步长为2,边缘扩充为1个像素值的置换卷积和一个ReLu激活函数进行上采样,每一卷积模块上采样之后与编码过程中对应尺寸的特征图进行连接。在解码过程中,通道数从256减少到2,图像大小恢复到256x256。上采样完成后使用一个1*1的卷积层将最终的特征图映射成为一个二分类的特征图,最后使用SoftMax层获得脑组织的概率图。其中普通卷积单元定义为:
yi=fi+1(fi(xi))
其中,xi表示网络中每个卷积层的输入,yi表示xi经过一个卷积层之后的输出,fi(xi)表示卷积操作、批量归一化和激活函数的某一个序列,fi(xi)定义为:
fi(xi)=Wi·σ(B(Wi′σ(B(x))))
其中Wi和Wi′表示权重矩阵,·表示进行卷积操作,B(x)表示批量归一化,σ(x) 为激活函数。则所述ResTLU-Net中的残差卷积单元定义如下:
yi=fi+2[fi+1(fi(xi))+xi]
3、模型训练
利用训练集所构建的ResTLU-Net网络模型中,计算上述概率图和分割金标准之间的交叉熵作为模型的损失,并随机最优化学习率进行反向传播以更新权重,损失计算公式如下:
Figure BDA0003429828240000091
其中,yi表示图像样本的标签,正样本为1,负样本为0,pi为被预测为正样本的概率。
上述训练分为两步,具体训练过程如图2所示:
第一步,构建第一阶段模型,为了更好地利用了灵长类动物大脑之间的结构相似性,使得该模型更加关注人脑结构的空间特征,而不是信号的峰值分布,本发明使用数据集I中配对的人脑T1w和T2w切片数据集在ResTLU-Net上进行训练,其中,训练迭代次数设置为10,学习速率设置为0.0001,动量为0.99。接下来,沿水平面、矢状面和冠状面将ResTLU-Net上得到的验证集概率图进行合并,得出平均三维概率矩阵,重新缩放和裁剪矩阵,使其和原始MRI图形维度相同,之后对概率矩阵设定阈值为0.5以获得预测结果,其中概率值大于0.5的像素点置为1,小于0.5的像素点置为0,计算每一次迭代中预测结果和金标准之间的戴斯系数,最终选择10次迭代过程中戴斯系数最高的模型作为第一阶段模型;
第二步,利用迁移学习策略,使用数据集II中的T1切片数据集对第一步得到的第一阶段模型进行训练,设置训练迭代次数为40,更新模型中的全部参数,同样将验证集水平面、矢状面和冠状面的概率图进行合并得到三维概率矩阵,重新缩放和裁剪矩阵,使其和原始MRI图形维度相同,之后设定阈值为0.5以获得预测结果,计算每一次迭代数据集II中对验证集的预测结果和金标准之间的戴斯系数,选择40次迭代过程中戴斯系数最高的模型作为第二阶段的 ResTLU-Net模型。
4、测试结果
本发明测试所用模型是在第一阶段和第二阶段中验证集上表现最优的两个模型,其中第一阶段预测模型所用测试数据是已经配准到同一标准空间的5个人类脑MRI图像,第二阶段预测模型所用测试数据是未参与训练且与训练集来自不同数据采集中心的10只猕猴脑MRI图像。将待分割的图像先进行强度标准化处理,使每个图像数据的强度值都在0到1之间,并将图像数据样本重新采样为3D强度矩阵,其中数据样本的最高采样维度重新缩放至256,将缩放后的图像沿水平面、矢状面、冠状面重新采样成切片,最终联合三个方向的切片构建测试数据集,经过ResTLU-Net模型得出平均三维概率矩阵,重新缩放和裁剪矩阵得到与原始图像尺寸相同的概率图,设定阈值为0.5,概率值大于0.5的像素点置为1,小于0.5的像素点置为0以获得预测结果。部分脑MRI预测结果如图3所示,其中(1)-(3)表示3名受试者的人脑分割结果,(4)-(6)表示 3只猕猴的猴脑分割结果,每个数据的第一行是原始MRI图像,第二行是分割结果,第三行是将预测结果与原始图像叠加的效果图。
5、模型评估
利用预测结果和分割金标准计算评价指标以评估模型的性能。
利用第一阶段的模型评估结果如表1所示,与目前使用较为广泛的脑提取软件FSL在不进行其他预处理操作、仅运行BET命令时相比,本发明所使用的模型得到的预测结果在各评价指标上均高于FSL,且平均戴斯系数达到了0.983,表明本发明的模型对于配准到同一空间的人脑MRI拥有更高的分割精度。利用第二阶段的ResTLU-Net模型评估结果如表2所示,将本发明方法与没有使用迁移学习策略的U-Net和使用迁移学习策略的U-Net模型(U-Net+TL)在性能上进行对比,可以清晰的发现,ResTLU-Net的戴斯系数比U-Net高出了0.03,比采用迁移学习的U-Net高了0.017。此外,ResTLU-Net网络中在TPR、Jaccard、 VOE和FNR方面进行了改进。表2中FNR降低的同时FPR没有显著变化,表明未正确分割成脑组织的部分已经正确分割,并且没有出现严重的过度分割问题,ResTLU-Net模型在猕猴脑提取上表现出优异的性能。
Dice TPR TNR Jaccard VOE FNR FPR PPV
FSL(BET) 0.953 0.955 0.988 0.911 0.089 0.043 0.046 0.951
ResTLU-Net 0.983 0.983 0.996 0.967 0.033 0.016 0.016 0.983
表1人在FSL工具和ResTLU-Net模型的分割结果比较表
Dice TPR TNR Jaccard VOE FNR FPR PPV
U-Net 0.928 0.883 0.999 0.878 0.122 0.117 0.004 0.995
U-Net+TL 0.941 0.899 0.999 0.895 0.104 0.101 0.004 0.996
ResTLU-Net 0.958 0.928 0.999 0.923 0.077 0.072 0.005 0.994
表2猕猴在ResTLU-Net模型和U-Net(使用和未使用迁移学习策略)模型上的分割结果比较表
如图4所示,展示的是本发明与现有的一些脑组织分割方法在猕猴脑组织上对比的分割结果戴斯系数的盒图,从分割结果可以看出,本发明提出的 ResTLU-Net网络模型具有明显高于其他传统分割方法和模型的戴斯系数,这些结果展示表明使用有限样本进行迁移学习的可行性,并显示了利用编码解码结构加残差结构对猕猴脑提取的有效性。
上面仅对本发明的较佳实施例作了详细说明,但是本发明并不限于上述实施例,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化,各种变化均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于ResTLU-Net模型的脑提取方法,其特征在于:包括下列步骤:
S1、获取训练所需MRI图像数据集,并对MRI图像数据集进行预处理,将图像最高采样维度重采样至256,构建数据集;
S2、构建基于编码解码结构与残差模块的卷积神经网络模型ResTLU-Net;
S3、利用所属训练集和迁移学习策略在所构建的ResTLU-Net网络上进行训练,挑选最优的模型作为最终的ResTLU-Net模型;
S4、获取待分割的MRI图像,并通过训练完毕的ResTLU-Net模型计算三维图像数据的概率图,对该概率图设定阈值以获得预测结果;
S5、建立评价指标用于对ResTLU-Net模型的评估。
2.根据权利要求1所述的一种基于ResTLU-Net模型的脑提取方法,其特征在于:所述S1中获取训练所需MRI数据集包含两种灵长动物的MRI图像:
数据集I:来自人类连接组项目HCP的人脑MRI数据集,包含67名受试者的大脑T1w和T2w图像对以及其对应的人脑分割金标准;数据集II:来自灵长类数据交换联盟PRIME-DE的猕猴MRI数据集及通过手动分割猕猴T1w图像脑组织的猴脑分割金标准。
3.根据权利要求1所述的一种基于ResTLU-Net模型的脑提取方法,其特征在于:所述S1中对MRI图像数据集进行预处理的方法为:对MRI图像数据集进行强度标准化处理,使每个图像数据的强度值都在0到1之间,并将图像数据样本重新采样为3D强度矩阵,其中数据样本的最高采样维度重新缩放至256,将缩放后的图像沿水平面、矢状面、冠状面重新采样成切片,对于每一个方向的切片,取3层切片作为一个切片块整合成为一个3x256x256的矩阵,最终联合三个方向的切片块构建数据集,当切片的尺寸小于256x256时,使用0填充。
4.根据权利要求1所述的一种基于ResTLU-Net模型的脑提取方法,其特征在于:所述S2中构建的ResTLU-Net是基于编码解码结构与残差模块的卷积神经网络,所述ResTLU-Net包含卷积编码结构和卷积解码结构,所述卷积编码结构包含5个卷积模块,每一个模块由两个卷积层构成,第一个卷积层为残差卷积单元,其中卷积操作中的卷积核大小为3x3,步长为1,边缘扩充像素值为1,设置输出维度等于输入维度;第二个卷积层为普通卷积单元,卷积核大小为3x3,步长为1,边缘扩充像素值为1,卷积之后与归一化操作和ReLu激活函数相连接,在解码过程中,包含4个卷积模块,每一个卷积模块与编码卷积模块相同,之后连接一个卷积核大小为4x4、步长为2,边缘扩充像素值为1的置换卷积和一个ReLu激活函数进行上采样,每一卷积模块上采样之后与编码过程中对应尺寸的特征图进行连接,上采样完成后使用一个1x1的卷积层将最终的特征图映射成为一个二分类的特征图,最后使用SoftMax层获得脑组织的概率图。
5.根据权利要求4所述的一种基于ResTLU-Net模型的脑提取方法,其特征在于:所述普通卷积单元为:
yi=fi+1(fi(xi))
所述xi表示网络中每个卷积层的输入,所述yi表示xi经过一个卷积层之后的输出,所述fi(xi)表示卷积操作、批量归一化和激活函数的某一个序列,所述fi(xi)定义为:
fi(xi)=Wi·σ(B(Wi′σ(B(x))))
所述Wi和Wi′表示权重矩阵,所述·表示进行卷积操作,所述B(x)表示批量归一化,所述σ(x)为激活函数;
所述ResTLU-Net中的残差卷积单元定义为:
yi=fi+2[fi+1(fi(xi))+xi]。
6.根据权利要求1所述的一种基于ResTLU-Net模型的脑提取方法,其特征在于:所述S3利用训练集所构建的ResTLU-Net网络模型中,计算概率图和分割金标准之间的交叉熵作为模型的损失,并随机最优化学习率进行反向传播以更新权重,所述模型的损失计算公式为:
Figure FDA0003429828230000031
所述yi表示图像样本的标签,正样本为1,负样本为0,pi为被预测为正样本的概率。
7.根据权利要求2所述的一种基于ResTLU-Net模型的脑提取方法,其特征在于:所述S3中利用所属训练集和迁移学习策略在所构建的ResTLU-Net网络上进行训练的方法为:
S3.1、构建第一阶段模型,使用数据集I中配对的人脑T1w和T2w切片数据集在ResTLU-Net上进行训练,接下来,沿水平面、矢状面和冠状面将ResTLU-Net上得到的概率图进行合并,得出平均三维概率矩阵,重新缩放和裁剪矩阵,使其和原始MRI图形维度相同,之后对概率矩阵设定阈值为0.5以获得预测结果,其中概率值大于0.5的像素点置为1,小于0.5的像素点置为0,计算每一次迭代中预测结果和金标准之间的戴斯系数,最终选择戴斯系数最高的模型作为第一阶段模型;
S3.2、利用迁移学习策略,使用数据集II中的T1切片数据集对第一步得到的第一阶段模型进行训练,更新模型中的全部参数,同样将水平面、矢状面和冠状面的概率图进行合并得到三维概率矩阵,重新缩放和裁剪矩阵,使其和原始MRI图形维度相同,之后设定阈值为0.5以获得预测结果,计算每一次迭代数据集II中对验证集的预测结果和金标准之间的戴斯系数,选择戴斯系数最高的模型作为第二阶段的ResTLU-Net模型。
8.根据权利要求1所述的一种基于ResTLU-Net模型的脑提取方法,其特征在于:所述S4中对三维图像数据的概率图设定阈值以获得预测结果的方法为:对于已经配准到同一标准空间的人类MRI数据集,所用分割模型是第一阶段得到的模型;对于未参与训练且与训练集来自不同数据采集中心的猕猴脑MRI图像,所用分割模型是第二阶段得到的ResTLU-Net模型,将待分割的图像进行强度标准化处理,使每个图像数据的强度值都在0到1之间,并将图像数据样本重新采样为3D强度矩阵,其中数据样本的最高采样维度重新缩放至256,将缩放后的图像沿水平面、矢状面、冠状面重新采样成切片,最终联合三个方向的切片构建测试数据集,经过ResTLU-Net模型得出平均三维概率矩阵,重新缩放和裁剪矩阵得到与原始图像尺寸相同的概率图,设定阈值为0.5,概率值大于0.5的像素点置为1,小于0.5的像素点置为0以获得预测结果。
9.根据权利要求1所述的一种基于ResTLU-Net模型的脑提取方法,其特征在于:所述S5中的评价指标公式如下:戴斯系数
Figure FDA0003429828230000041
灵敏度
Figure FDA0003429828230000042
特异性
Figure FDA0003429828230000043
杰卡德系数
Figure FDA0003429828230000044
Figure FDA0003429828230000045
体素重叠误差
Figure FDA0003429828230000046
漏报率
Figure FDA0003429828230000047
误报率
Figure FDA0003429828230000048
和精确度
Figure FDA0003429828230000049
其中,TP为真阳性,是指正确分类为脑组织的像素,TN为真阴性,是指正确被分为非脑组织的像素,FP为假阳性,是指错误被分类为脑组织的像素,FN为假阴性,是指被错误分类为非脑组织的像素。
CN202111592904.4A 2021-12-23 2021-12-23 一种基于ResTLU-Net模型的脑提取方法 Active CN114266939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111592904.4A CN114266939B (zh) 2021-12-23 2021-12-23 一种基于ResTLU-Net模型的脑提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111592904.4A CN114266939B (zh) 2021-12-23 2021-12-23 一种基于ResTLU-Net模型的脑提取方法

Publications (2)

Publication Number Publication Date
CN114266939A true CN114266939A (zh) 2022-04-01
CN114266939B CN114266939B (zh) 2022-11-01

Family

ID=80829335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111592904.4A Active CN114266939B (zh) 2021-12-23 2021-12-23 一种基于ResTLU-Net模型的脑提取方法

Country Status (1)

Country Link
CN (1) CN114266939B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792315A (zh) * 2022-06-22 2022-07-26 浙江太美医疗科技股份有限公司 医学图像视觉模型训练方法和装置、电子设备和存储介质
CN115100123A (zh) * 2022-06-10 2022-09-23 北京理工大学 一种结合UNet和主动轮廓模型的大脑提取方法
CN116825283A (zh) * 2023-04-27 2023-09-29 清华大学 基于迁移学习的核医学治疗个体化剂量评估方法及装置
CN117171478A (zh) * 2023-09-05 2023-12-05 中国医学科学院北京协和医院 一种医学检测数据误差识别模型构建方法与装置
CN117173489A (zh) * 2023-09-27 2023-12-05 宁波大学 多中心mri图像分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190049540A1 (en) * 2017-08-10 2019-02-14 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN109993809A (zh) * 2019-03-18 2019-07-09 杭州电子科技大学 基于残差U-net卷积神经网络的快速磁共振成像方法
CN110706214A (zh) * 2019-09-23 2020-01-17 东南大学 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN111080591A (zh) * 2019-12-06 2020-04-28 广东工业大学 基于编码解码结构结合残差模块的医学图像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190049540A1 (en) * 2017-08-10 2019-02-14 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN109993809A (zh) * 2019-03-18 2019-07-09 杭州电子科技大学 基于残差U-net卷积神经网络的快速磁共振成像方法
CN110706214A (zh) * 2019-09-23 2020-01-17 东南大学 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN111080591A (zh) * 2019-12-06 2020-04-28 广东工业大学 基于编码解码结构结合残差模块的医学图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JENS KLEESIEK等: "Deep MRI brain extraction: A 3D convolutional neural network for skull stripping", 《NEUROIMAGE》 *
姚发展等: "深度迭代融合的脑部磁共振图像颅骨去除网络", 《中国图象图形学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100123A (zh) * 2022-06-10 2022-09-23 北京理工大学 一种结合UNet和主动轮廓模型的大脑提取方法
CN114792315A (zh) * 2022-06-22 2022-07-26 浙江太美医疗科技股份有限公司 医学图像视觉模型训练方法和装置、电子设备和存储介质
CN114792315B (zh) * 2022-06-22 2022-10-11 浙江太美医疗科技股份有限公司 医学图像视觉模型训练方法和装置、电子设备和存储介质
CN116825283A (zh) * 2023-04-27 2023-09-29 清华大学 基于迁移学习的核医学治疗个体化剂量评估方法及装置
CN116825283B (zh) * 2023-04-27 2024-06-25 清华大学 基于迁移学习的核医学治疗个体化剂量评估方法及装置
CN117171478A (zh) * 2023-09-05 2023-12-05 中国医学科学院北京协和医院 一种医学检测数据误差识别模型构建方法与装置
CN117171478B (zh) * 2023-09-05 2024-04-26 中国医学科学院北京协和医院 一种医学检测数据误差识别模型构建方法与装置
CN117173489A (zh) * 2023-09-27 2023-12-05 宁波大学 多中心mri图像分类方法
CN117173489B (zh) * 2023-09-27 2024-08-02 宁波大学 多中心mri图像分类方法

Also Published As

Publication number Publication date
CN114266939B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN114266939B (zh) 一种基于ResTLU-Net模型的脑提取方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
CN108053417B (zh) 一种基于混合粗分割特征的3D U-Net网络的肺分割装置
CN110689543A (zh) 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN109584244B (zh) 一种基于序列学习的海马体分割方法
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
CN114037714B (zh) 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN110827232B (zh) 基于形态特征gan的跨模态mri合成方法
CN109214989A (zh) 基于多方向特征预测先验的单幅图像超分辨率重建方法
CN114913262B (zh) 采样模式与重建算法联合优化的核磁共振成像方法及系统
CN114332098A (zh) 一种基于多序列磁共振影像的颈动脉不稳定斑块分割方法
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
CN112950611A (zh) 一种基于ct图像的肝脏血管分割方法
CN116051382A (zh) 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法
CN114972619A (zh) 一种基于自对齐双重回归的单图像人脸三维重建方法
CN117237627A (zh) 一种多模态mri脑肿瘤图像分割方法
CN112489048A (zh) 一种基于深度网络的视神经自动分割方法
CN116807410A (zh) 一种基于比例因果的大脑效率网络分析方法及系统
CN116309754A (zh) 一种基于局部-全局信息协作的大脑医学图像配准方法及系统
CN116228823A (zh) 一种基于人工智能的磁共振影像无监督级联配准方法
CN116704184A (zh) 一种基于Deep U-Net模型的左心房及疤痕分割方法
CN115908451A (zh) 一种结合多视图几何及迁移学习的心脏ct影像分割方法
CN114723937A (zh) 一种基于核磁共振影像的血管周围间隙分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant