CN114642413A - 一种基于深度学习的mri头部3d图像自动扫描定位方法 - Google Patents

一种基于深度学习的mri头部3d图像自动扫描定位方法 Download PDF

Info

Publication number
CN114642413A
CN114642413A CN202011523214.9A CN202011523214A CN114642413A CN 114642413 A CN114642413 A CN 114642413A CN 202011523214 A CN202011523214 A CN 202011523214A CN 114642413 A CN114642413 A CN 114642413A
Authority
CN
China
Prior art keywords
neural network
network model
convolutional neural
image
mri head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011523214.9A
Other languages
English (en)
Inventor
盛靖友
杨明
卞威
卢章
孙喜秋
陈红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ALLTECH MEDICAL SYSTEMS LLC
Original Assignee
ALLTECH MEDICAL SYSTEMS LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ALLTECH MEDICAL SYSTEMS LLC filed Critical ALLTECH MEDICAL SYSTEMS LLC
Priority to CN202011523214.9A priority Critical patent/CN114642413A/zh
Publication of CN114642413A publication Critical patent/CN114642413A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

本发明公开一种基于深度学习的MRI头部3D图像自动扫描定位方法,包括以下步骤:步骤s1:采集MRI头部3D图像并进行人工标记,将人工标记后的MRI头部3D图像划分为训练集、验证集和测试集,然后对训练集、验证集和测试集分别进行预处理;步骤s2:搭建3D卷积神经网络模型;步骤s3:将预处理后的训练集逐步输入3D卷积神经网络模型进行训练,并通过所述验证集进行验证;步骤s4:通过训练后的3D卷积神经网络模型来运行预处理后的测试集,将输出结果与人工标记后的MRI头部3D图像对比并计算误差。本发明通过3D卷积神经网络模型在MRI头部3D图像中寻找特征点,实现MRI扫描自动定位,在保持较小误差的同时通过自动化流程提高效率。

Description

一种基于深度学习的MRI头部3D图像自动扫描定位方法
技术领域
本发明涉及医学图像处理技术领域,尤其涉及一种基于深度学习的MRI头部3D图像自动扫描定位方法。
背景技术
核磁共振系统(Magnet Resonance Image,MRI)是一种高端医疗影像技术,核磁共振的优势在于检查无害性、任意方向成像和较高的组织对比度,因此头部影像检查一般都是首选设备。MRI各部位的扫描中,首先要进行定位,头部扫描定位需求为:横断面扫描垂直于矢状面,且经过或平行于AC-PC构成的扫描基线,范围包括整个颅脑;矢状面扫描要求平行于病人AC-PC呈现的矢状面,且在横断面上平行于大脑纵裂,范围包括整个颅脑。因此,定位出扫描病人的矢状面有重要的意义。其中描线基线AC-PC中,AC为前联合(AnteriorCommissure,AC)点,是一种连接大脑两半球的神经纤维束(白质),PC为后联合(PosteriorCommissure,PC)点,连接两侧上丘,紧邻动眼神经核团。另外,脚间池(InterpeduncularCistern,IC)顶点,也是图像中的一个特征点,可以与AC点和PC点构成一个标准的矢状面。因次,找出了上面三个特征点,就有了AC-PC扫描基线和标准的矢状面,就能解决头部扫描的定位问题。
在临床头部扫描中,一般需要预先扫描一个或多个定位相序列,由人工确定需要的矢状面,有时不能找到严格意义上矢状面;与AC-PC基线相关的序列扫描中,操作技师一般都会先扫描一个矢状面的序列,从相同或不同的层面中找出AC点和PC点作为扫描基线,如果某些情况找不出点,还需要继续扫描一个或多个序列。临床定位AC-PC基线扫描如下图1所示。
人工手动定位的缺点不言而喻:耗时、误差和增加操作技师的负担;不能实现MRI临床的高级应用-全自动扫描。某些特殊病人或者特殊情况下,病人的头部存在向左或向右的偏移,这种情况下操作员或许能找出AC点和PC点,但很难找出准确的矢状面,可能导致扫描不准确,浪费时间。
在2D图像中通过神经网络模型找出AC点和PC点的缺点是,在扫描中更多的时候AC点和PC点不同时存在于同一张图像中,而且扫描时不仅仅参考AC-PC扫描基线,还要参照标准的矢状面,因此方案应用受限。
发明内容
本发明旨在提供一种将3D卷积神经网络技术与核磁共振3D扫描技术结合用来解决头部扫描全自动定位问题的方法。
为达到上述目的,本发明是采用以下技术方案实现的:
一种基于深度学习的MRI头部3D图像自动扫描定位方法,包括以下步骤:
步骤s1:采集MRI头部3D图像并进行人工标记,将人工标记后的MRI头部3D图像划分为训练集、验证集和测试集,然后对训练集、验证集和测试集分别进行预处理;
步骤s2:搭建3D卷积神经网络模型;
步骤s3:将预处理后的训练集逐步输入3D卷积神经网络模型进行训练,并通过所述验证集进行验证,设置训练完成机制并保存训练后的3D卷积神经网络模型;
步骤s4:通过训练后的3D卷积神经网络模型来运行预处理后的测试集,将输出结果与人工标记后的MRI头部3D图像对比并计算误差。
优选的,所述人工标记为对所采集的MRI头部3D图像通过人工来标记特征点,所述特征点包括AC点坐标、PC点坐标和IC点坐标。
优选的,在步骤s1中,所述预处理包括归一化、图像尺寸调整以及图像旋转,所述3D卷积神经网络模型所接收的采集MRI头部3D图像尺寸为128*128*128。
优选的,所述3D卷积神经网络模型包括5个3D卷积模块、1个通道注意力模块和3层全连接层,3D卷积神经网络模型通过最后1层全连接层输出,3D卷积神经网络模型使用MSE作为收敛函数,对所述3D卷积神经网络模型参数进行更新优化的方法为Adam梯度下降法。
优选的,通过所述验证集的Loss函数判断所述3D卷积神经网络模型的泛化能力,并始终将Loss函数值最小时的3D卷积神经网络模型参数作为最优参数,所述Loss函数如下所示:
Figure BDA0002849557590000041
其中,带pred下标表示3D卷积神经网络模型输出的点,带true下标是人工标记图像的点。
进一步的,在步骤s4中,输出结果包括特征点的坐标,所述3D卷积神经网络模型的最后1层全连接层包括9个神经元,通过9个神经元输出9个数值,每3个数值表示1个所述特征点的坐标。
本发明具有以下有益效果:
1、本发明能够在MRI头部3D图像中找出的AC、PC和IC点,基于其3点构成矢状面和AC-PC构成扫描基线,应用于头部扫描定位规划更合理、更快速,能适应各种复杂情况下病人的扫描定位;能减轻MRI临床操作员的工作负担,还能节省扫描规划的时间;
2、本发明应用于MRI头部全自动扫描,这个过程全自动化无需人工干预;
3、本发明针对复查的病人会有很好的可重复性,很好的对比康复情况。
附图说明
图1为平行与AC-PC基线的扫描定位示意图;
图2为3D卷积神经网络模型结构图;
图3为3D卷积模块结构图;
图4为通道注意力模块结构图;
图5为3D卷积神经网络模型训练过程中Loss函数收敛趋势图;
图6为3D卷积神经网络模型输出图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。
一种基于深度学习的MRI头部3D图像自动扫描定位方法,包括以下步骤:
步骤s1:采集MRI头部3D图像并进行人工标记,将人工标记后的MRI头部3D图像划分为训练集、验证集和测试集,然后对训练集、验证集和测试集分别进行预处理。
所述人工标记为对所采集的MRI头部3D图像通过人工来标记特征点,所述特征点包括AC点坐标、PC点坐标和IC点坐标。
在步骤s1中,所述预处理包括归一化、图像尺寸调整以及图像旋转,所述3D卷积神经网络模型所接收的采集MRI头部3D图像尺寸为128*128*128。
步骤s2:搭建3D卷积神经网络模型。
如图2,所述3D卷积神经网络模型包括5个3D卷积模块、1个通道注意力模块和3层全连接层,3D卷积神经网络模型通过最后1层全连接层输出,3D卷积神经网络模型使用MSE作为收敛函数,对所述3D卷积神经网络模型参数进行更新优化的方法为Adam梯度下降法。
3D卷积模块是为了在3D空间提取特征,随着网络层数深度的增加不断增加特征图通道数量。每个3D卷积模块后连接一个3D最大池化层,其目的是为了降低特征图的维度。通过5个卷积模块和池化层后,特征图的维度变为4x4x4x128,通过这一过程,特征在不断的向目标区域收敛。
3D卷积模块如图3所示。首先,根据Google Inception的原理,2个3x3的卷积等效于5x5的卷积,3个3x3的卷积等效于7x7的卷积,而且更少的参数。因此,本模块中也使用了这一设计原理。模块的输入特征图通过一个卷积核为1的3D卷积层增加特征图的通道数。然后分别通过1个3x3x3的3D卷积结果得到特征图Conv3D_3,Conv3D_3后连接一层3x3x3的3D卷积得到特征图Conv3D_5的,Conv3D_5后连接一层3x3x3的3D卷积得到特征图Con3D_7x7x7。将特征图Conv3D_3、Conv3D_5和Con3D_7在通道维度上连接起来,形成一个结合了3种视野大小的特征图。最后通过一层1x1x1的卷积操作降低特征图通道数,融合特征信息。本模块中所有的3D卷积操作内部都包含了Batch Normalization标准化和LeakyRelu激活操作。
通道注意力模块如图4所示,模块输入通过1个1x1x1的卷积层提取特征,提取后的特征图为ShortCut。在特征图ShortCut上使用AvgPool降维,降维后的特征图大小是1x1x1xC,C表示通道,特征图变成C个特征数值。然后通过2个3D卷积层进行学习,此时的3D卷积层完全等效于全连接层。最后通过Sigmoid激活函数,将C个特征值变成0到1.0之间的小数值,分别代表特征图ShortCut上每个通道特征信息量大小的比率。在训练过程中,对于不重要的特征通道其对应的比率会越来越小,甚至消失,反之重要的特征通道则会越来越大。该特征值与ShortCut特征图相乘,以激活特征图ShortCut。最后激活后的ShortCut与模块的输入特征图Input相加作为本模块的输出。该模块能使模型输出结果更准确,并加速模型的收敛。
同时,通道注意力模块是特征图通道信息量评估机制,该机制使得特征信息丰富的通道比值变高,特征信息不丰富的通道比值变低甚至消失,该机制能使模型收敛更准确更快速。
步骤s3:将预处理后的训练集逐步输入3D卷积神经网络模型进行训练,并通过所述验证集进行验证,设置训练完成机制并保存训练后的3D卷积神经网络模型。
通过所述验证集的Loss函数判断所述3D卷积神经网络模型的泛化能力,并始终将Loss函数值最小时的3D卷积神经网络模型参数作为最优参数,所述Loss函数如下所示:
Figure BDA0002849557590000071
其中,带pred下标表示3D卷积神经网络模型输出的点,带true下标是人工标记图像的点。
在具体实施过程中,在英伟达GPU 1080Ti上训练,每步训练的图片数量为2,即batch size=2,迭代次数200,即epoch=200;初始学习率设置为1e-3,训练过程中采用指数下降法的方式逐渐降低学习率,下降的方式为每200步下降学习率0.08。训练过程中,每10步通过验证集验证一次模型的收敛性能,通过验证集的Loss判断模型的泛化能力。在整个训练过程中,会始终保存验证时Loss最小的模型参数为最优的模型参数。本实施训练过程中的模型收敛如下图5,红色代表训练时Loss下降趋势,蓝色表示验证时Loss下降趋势,通过观测,模型未出现过拟合现象,训练和验证的Loss收敛达到预期。
步骤s4:通过训练后的3D卷积神经网络模型来运行预处理后的测试集,将输出结果与人工标记后的MRI头部3D图像对比并计算误差。
训练完成后,通过保存的最优的模型参数作为模型的最终训练成果,将测试集依次输入模型,输出结果,即为模型预测结果,如图6。
在步骤s4中,输出结果包括特征点的坐标,所述3D卷积神经网络模型的最后1层全连接层包括9个神经元,通过9个神经元输出9个数值,每3个数值表示1个所述特征点的坐标。将模型预测结果的各点坐标与人工标记的各点坐标进行对比。表1表示人工标记坐标和模型预测坐标的之间的平均误差,如下:
表1平均误差
Figure BDA0002849557590000081
各点坐标在各个轴上的误差不超过1.5个像素值,AC-PC扫描基线角度平均4.5度,结合MRI图像平面内(XY平面)点与点之间、层与层(Z轴)之间的实际物理间距值,该误差在临床接收范围内。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种基于深度学习的MRI头部3D图像自动扫描定位方法,其特征在于,包括以下步骤:
步骤s1:采集MRI头部3D图像并进行人工标记,将人工标记后的MRI头部3D图像划分为训练集、验证集和测试集,然后对训练集、验证集和测试集分别进行预处理;
步骤s2:搭建3D卷积神经网络模型;
步骤s3:将预处理后的训练集逐步输入3D卷积神经网络模型进行训练,并通过所述验证集进行验证,设置训练完成机制并保存训练后的3D卷积神经网络模型;
步骤s4:通过训练后的3D卷积神经网络模型来运行预处理后的测试集,将输出结果与人工标记后的MRI头部3D图像对比并计算误差。
2.根据权利要求1所述的一种基于深度学习的MRI头部3D图像自动扫描定位方法,其特征在于:所述人工标记为对所采集的MRI头部3D图像通过人工来标记特征点,所述特征点包括AC点坐标、PC点坐标和IC点坐标。
3.根据权利要求1所述的一种基于深度学习的MRI头部3D图像自动扫描定位方法,其特征在于:在步骤s1中,所述预处理包括归一化、图像尺寸调整以及图像旋转,所述3D卷积神经网络模型所接收的采集MRI头部3D图像尺寸为128*128*128。
4.根据权利要求1所述的一种基于深度学习的MRI头部3D图像自动扫描定位方法,其特征在于:所述3D卷积神经网络模型包括5个3D卷积模块、1个通道注意力模块和3层全连接层,3D卷积神经网络模型通过最后1层全连接层输出,3D卷积神经网络模型使用MSE作为收敛函数,对所述3D卷积神经网络模型参数进行更新优化的方法为Adam梯度下降法。
5.根据权利要求1所述的一种基于深度学习的MRI头部3D图像自动扫描定位方法,其特征在于:通过所述验证集的Loss函数判断所述3D卷积神经网络模型的泛化能力,并始终将Loss函数值最小时的3D卷积神经网络模型参数作为最优参数,所述Loss函数如下所示:
Figure FDA0002849557580000021
其中,带pred下标表示3D卷积神经网络模型输出的点,带true下标是人工标记图像的点。
6.根据权利要求2所述的一种基于深度学习的MRI头部3D图像自动扫描定位方法,其特征在于:在步骤s4中,输出结果包括特征点的坐标,所述3D卷积神经网络模型的最后1层全连接层包括9个神经元,通过9个神经元输出9个数值,每3个数值表示1个所述特征点的坐标。
CN202011523214.9A 2020-12-21 2020-12-21 一种基于深度学习的mri头部3d图像自动扫描定位方法 Pending CN114642413A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011523214.9A CN114642413A (zh) 2020-12-21 2020-12-21 一种基于深度学习的mri头部3d图像自动扫描定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011523214.9A CN114642413A (zh) 2020-12-21 2020-12-21 一种基于深度学习的mri头部3d图像自动扫描定位方法

Publications (1)

Publication Number Publication Date
CN114642413A true CN114642413A (zh) 2022-06-21

Family

ID=81992040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011523214.9A Pending CN114642413A (zh) 2020-12-21 2020-12-21 一种基于深度学习的mri头部3d图像自动扫描定位方法

Country Status (1)

Country Link
CN (1) CN114642413A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570351A (zh) * 2019-08-01 2019-12-13 武汉大学 一种基于卷积稀疏编码的图像超分辨率重建方法
CN110728224A (zh) * 2019-10-08 2020-01-24 西安电子科技大学 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN111428699A (zh) * 2020-06-10 2020-07-17 南京理工大学 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技(深圳)有限公司 基于深度学习的行人检测方法、系统、装置及存储介质
CN111814741A (zh) * 2020-07-28 2020-10-23 四川通信科研规划设计有限责任公司 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN112001548A (zh) * 2020-08-25 2020-11-27 北京交通大学 一种基于深度学习的od客流预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技(深圳)有限公司 基于深度学习的行人检测方法、系统、装置及存储介质
CN110570351A (zh) * 2019-08-01 2019-12-13 武汉大学 一种基于卷积稀疏编码的图像超分辨率重建方法
CN110728224A (zh) * 2019-10-08 2020-01-24 西安电子科技大学 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN111428699A (zh) * 2020-06-10 2020-07-17 南京理工大学 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统
CN111814741A (zh) * 2020-07-28 2020-10-23 四川通信科研规划设计有限责任公司 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN112001548A (zh) * 2020-08-25 2020-11-27 北京交通大学 一种基于深度学习的od客流预测方法

Similar Documents

Publication Publication Date Title
CN110458830B (zh) 图像处理方法、装置、服务器及存储介质
Palomera-Perez et al. Parallel multiscale feature extraction and region growing: application in retinal blood vessel detection
CN110689543A (zh) 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法
CN110853022B (zh) 病理切片图像的处理方法、装置、系统及存储介质
US7822254B2 (en) Automatic positioning of matching multi-planar image reformatting (MPR) views of multiple 3D medical images
CN111931811B (zh) 一种基于超像素图像相似度的计算方法
WO2018107371A1 (zh) 图像搜索系统及方法
CN113826143A (zh) 特征点检测
CN110992351A (zh) 基于多输入卷积神经网络的sMRI图像分类方法和装置
CN106682127A (zh) 图像搜索系统及方法
CN110859642B (zh) 一种基于AlexNet网络模型实现医学影像辅助诊断的方法、装置、设备及存储介质
CN112614573A (zh) 基于病理图像标注工具的深度学习模型训练方法及装置
CN111127487B (zh) 一种实时多组织医学图像的分割方法
CN107516314B (zh) 医学图像超体素分割方法和装置
Ghahremani et al. NeuroConstruct: 3D reconstruction and visualization of neurites in optical microscopy brain images
US9147250B2 (en) System and method for automatic magnetic resonance volume composition and normalization
CN114612318A (zh) 基于文物ct图像轮廓线的三维建模方法、系统及设备
CN112420170B (zh) 一种提高计算机辅助诊断系统图片分类准确度的方法
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN114642413A (zh) 一种基于深度学习的mri头部3d图像自动扫描定位方法
CN117237322A (zh) 一种基于医学图像的器官分割建模方法及终端
CN111862001A (zh) Ct影像的半自动标注方法及装置、电子设备、存储介质
WO2022267447A1 (zh) 一种病理图像处理系统、方法及介质
CN114419309A (zh) 一种基于大脑T1-w磁共振影像的高维特征自动提取方法
CN113704038A (zh) 一种自动化游戏服务器压测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination