CN113538493A - 一种mri头部影像的脑功能区自动勾画方法、勾画系统、计算设备和存储介质 - Google Patents
一种mri头部影像的脑功能区自动勾画方法、勾画系统、计算设备和存储介质 Download PDFInfo
- Publication number
- CN113538493A CN113538493A CN202010306708.5A CN202010306708A CN113538493A CN 113538493 A CN113538493 A CN 113538493A CN 202010306708 A CN202010306708 A CN 202010306708A CN 113538493 A CN113538493 A CN 113538493A
- Authority
- CN
- China
- Prior art keywords
- brain
- image
- functional region
- brain functional
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 112
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000003062 neural network model Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000012805 post-processing Methods 0.000 claims abstract description 13
- 238000003708 edge detection Methods 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 28
- 230000003925 brain function Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 102000016918 Complement C3 Human genes 0.000 claims description 4
- 108010028780 Complement C3 Proteins 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims 1
- 239000000126 substance Substances 0.000 description 14
- 238000011176 pooling Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 235000004257 Cordia myxa Nutrition 0.000 description 2
- 244000157795 Cordia myxa Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002610 neuroimaging Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000926 neurological effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种MRI头部影像的脑功能区自动勾画方法、勾画系统、计算设备和存储介质，包括：获取预设数量的T1MRI脑影像，并制作每例影像的116个脑功能区分割标签；对MRI脑影像和脑功能区分割标签进行相同的预处理和2.5D块处理，得到各自的2.5D数据块；将2.5D数据块输入到搭建好的语义分割神经网络中进行训练，直到模型稳定收敛，得到最佳的脑功能区分割神经网络模型；将经同样预处理和2.5D块处理的待分割影像输入到训练后的脑功能区分割神经网络模型中，得到脑功能区分割结果；对脑功能区分割结果进行后处理和边缘检测，得到脑功能区轮廓勾画结果。本发明可实现人脑功能区的自动分割，提高了大脑功能区分割的速度和准确率，也增强了大脑功能区分割的鲁棒性和适应性。
Description
技术领域
本发明涉及图像识别技术领域，具体涉及一种MRI头部影像的脑功能区自动勾画方法、勾画系统、计算设备和存储介质。
背景技术
MRI影像广泛应用于对大脑的结构病理和功能性研究和临床应用。在神经外科领域，术前采用MRI成像来对病灶位置、大小进行判定和手术规划，依赖于从MRI大脑成像中把病灶周边的脑功能区精准分割出来。
目前对MRI脑功能区分割的理论主要是通过参考由蒙特利尔神经研究所(Montreal Neurological Institute)提供的Anatomical Automatic Labeling(AAL) 脑功能分区模板进行分割，AAL模板一共有116个区域，其中有90个属于大脑，剩余26个属于小脑结构。
现有通常采用基于AAL模板匹配的算法对T1MRI影像进行脑功能区域分割，但这种方法存在计算复杂度高、耗时长，对于大脑影像扫描不全、结构变异较大的脑影像存在抗噪和适应性差等问题，在实际临床应用中稳定性和便易性不高。
发明内容
基于深度学习神经网络的语义分割方法能通过基于大数据的学习自动提取不同器官的边界特征从而完成分割，这种方法已被大量应用到自然图像的模式识别领域；针对MRI脑成像的特殊影像模态，本发明提供一种MRI头部影像的脑功能区自动勾画方法、勾画系统、计算设备和存储介质。
本发明的第一目的在于提供一种MRI头部影像的脑功能区自动勾画方法，包括：
获取预设数量的T1MRI脑影像，并制作每例MRI脑影像116个脑功能区分割标签；
对所述MRI脑影像和脑功能区分割标签进行相同的预处理；
对预处理后的MRI脑影像和脑功能区分割标签进行相同的2.5D块处理，得到2.5D数据块；
搭建任意有效的语义分割卷积神经网络；
将所述MRI脑影像和脑功能区分割标签的2.5D数据块输入到搭建好的语义分割神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的脑功能区分割神经网络模型；
对待分割的T1MRI脑影像进行所述预处理和所述2.5D块处理，得到待分割影像；
将所述待分割影像输入到训练后的所述脑功能区分割神经网络模型中，得到116个脑功能区分割结果；
对所述脑功能区分割结果进行后处理和边缘检测，得到116个脑功能区轮廓勾画结果。
作为本发明的进一步改进，采用基于T1MRI脑影像的AAL脑功能区反向映射配准方法分离得到每例MRI脑影像116个脑功能区分割标签。
作为本发明的进一步改进，所述预处理包括插值处理、归一化处理、上下界各填充一层处理和数据增强处理；
所述插值处理为：对所述MRI脑影像和脑功能区分割标签在x-y水平面上采用256×256进行统一插值；
所述上下界各填充一层处理为：在z轴首层和尾层分别填充一层x0×y0 大小的0值矩阵；
所述数据增强包括绕图像中心点的旋转、x轴方向的平移和y轴方向的平移中的一种。
作为本发明的进一步改进，所述2.5D块处理的方法，包括：
沿z轴连续3层横截面取块，并叠加成一个3通道的图像，得到2.5D数据块；
若连续取块至最后2.5D块层数不足3时，则将最后2.5D块向上取所缺层数以补足3层。
作为本发明的进一步改进，所述语义分割卷积神经网络为2.5D卷积神经网络；
所述2.5D卷积神经网络的输入尺寸为x×y×3，3为2.5D卷积神经网络的通道维度，所述2.5D卷积神经网络的输出尺寸为x×y×117，117分别代表116 个脑功能区和1个图像背景区的标签。
作为本发明的进一步改进，所述训练包括前向传播和反向传播，一次前向传播和反向传播为一次网络迭代计算；
采用Early-stop的方式来让神经网络自动停止迭代，得到最佳的脑功能区分割神经网络模型。
作为本发明的进一步改进，所述后处理包括最大连通区域保留和平滑处理。
本发明的第二目的在于提供一种MRI头部影像的脑功能区自动勾画系统，基于所述脑功能区自动勾画系统实现上述脑功能区自动勾画方法，包括：
准备模块，用于获取预设数量的T1MRI脑影像，并制作每例MRI脑影像116个脑功能区分割标签；
预处理模块，用于对所述MRI脑影像和脑功能区分割标签进行相同的预处理，或者对待分割的T1MRI脑影像进行相同的预处理；
2.5D块处理模块，用于对预处理后的MRI脑影像和脑功能区分割标签进行相同的2.5D块处理，得到2.5D数据块；或者，对预处理后的待分割的T1MRI 脑影像进行相同的2.5D块处理，得到待分割影像；
模型生成模块，用于搭建任意有效的语义分割卷积神经网络；
模型训练模块，用于将所述MRI脑影像和脑功能区分割标签的2.5D数据块输入到搭建好的语义分割神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的脑功能区分割神经网络模型；
分割模块，用于将所述待分割影像输入到训练后的所述脑功能区分割神经网络模型中，得到116个脑功能区分割结果；
勾画模块，用于对所述脑功能区分割结果进行后处理和边缘检测，得到 116个脑功能区轮廓勾画结果。
本发明的第三目的在于提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现上述脑功能区自动勾画方法的步骤。
本发明的第四目的在于提供一种存储介质，其存储有计算机指令，所述计算机指令指令被处理器执行时上述脑功能区自动勾画方法的步骤。
与现有技术相比，本发明的有益效果为：
1.本发明采用在临床和认知神经科学研究中普遍接受的AAL脑功能分区评价标准进行脑功能区分割，所得脑功能区分割结果具有满足认知神经科学标准的分割精度和应用前景；
2.本发明采用深度学习的方法对大脑功能区进行分割，具有分割速度快、分割精度高、对图像不全情况适应性高的优点；
3.本发明可以拓展到对采用不同扫描参数下的T1MRI头部影像进行整体网络训练，从而让得到的网络分割模型对于不同图像采集中心、不同扫描参数的MRI影像数据都具有可靠的适应性。
附图说明
图1为本发明一种实施例公开的MRI头部影像的脑功能区自动勾画方法的流程图；
图2a为本发明一种实施例公开的原始T1MRI脑影像示意图；
图2b为本发明一种实施例公开的分割标签的示意图；
图3为本发明一种实施例公开的116个AAL脑功能区对应标签表；
图4为本发明一种实施例公开的全卷积语义分割神经网络架构示意图；
图5a为本发明一种实施例公开的116个脑功能区自动分割结果图；
图5b为本发明一种实施例公开的脑功能区廓勾画图；
图6为本发明一种实施例公开的MRI头部影像的脑功能区自动勾画系统的框架图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
本发明提供一种MRI头部影像的脑功能区自动勾画方法、勾画系统、计算设备和存储介质，改进了数据处理和网络训练方法，从而实现大脑功能区的自动分割，提高了大脑功能区分割的速度和准确率，也增强了大脑功能区分割的鲁棒性和适应性。
如图1所示，本发明提供一种MRI头部影像的脑功能区自动勾画方法，包括：
步骤1、获取预设数量的T1 MRI脑影像，并制作每例MRI脑影像的包含 116个脑功能区的脑功能区分割标签；其中，
获取的原始T1 MRI脑影像如图2a所示，T1 MRI脑影像的数量保证后续在模型训练时可产生稳定收敛即可，本发明建议量是50例全脑扫描数据，这个数据量越大效果越好；本发明采用基于T1MRI脑影像的AAL脑功能区反向映射配准方法分离得到每例T1 MRI脑影像中116个AAL脑功能区的分割标签，脑功能区分割标签如图2b所示；最后将50例的原始T1MRI脑影像(图 2a)及其对应的脑功能区分割标签(图2b)作为用于后续网络训练的输入和输出。
步骤2、将步骤1所获得的MRI脑影像和116个脑功能区分割标签分别进行相同的图像预处理；其中，
上述预处理操作包括插值处理、归一化处理、上下界各填充一层处理和数据增强处理等处理，具体说明如下：
插值处理是把各训练数据图像中x-y水平面统一插值为固定的大小(x0×y0)；x0×y0PPI不是任意自定义的值，是通过参考所用数据集中最普遍的一个影像分辨率而选择的图像尺寸；此处建议优先采用256×256进行统一插值，从而利于卷积神经网络模型更好的学习各脑功能区的特征；
归一化处理是将原始T1影像数据的值域映射到0到1范围之内，这样可以加快后续训练中梯度下降求最优解速度，从而提升模型的收敛速度，归一化操作计算公式为：m＝(n-MinValue)/(MaxValue-MinValue)，其中，n、m分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值；
上下界各填充一层处理是为适应本发明训练时优选采用的2.5D神经网络，在z轴首层和尾层分别填充一层x0×y0大小的0值矩阵，使得首层和尾层也可得到对应的预测结果；
数据增强包括围绕图像中心点的旋转、x轴方向的平移和y轴方向的平移中的一种或多种；基于数据增强可以扩充数据集，增大数据多样性。优选地，本发明对原始T1影像和分割标签做3倍数据增强。
步骤3、对预处理后的MRI脑影像和脑功能区分割标签进行相同的2.5D 块处理，得到2.5D数据块；其中，
2.5D块处理为：沿z轴连续3层横截面取块，并叠加成一个3通道的图像，得到2.5D数据块。本实施例数据块大小优选为256×256×3，256×256为插值后的水平尺寸，3为2.5D卷积神经网络的通道维度。进一步，为增加影像截面选取，从可以把2.5D块大小可扩展成256×256×5和256×256×7。
本发明在进行2.5D块处理时，以z轴为主轴，以3为每个分块大小层计算切块需要循环的次数，依次以分块步长为1连续取块；若连续取块至最后2.5D块层数不足3时，则将最后2.5D块向上取所缺层数以补足3层。例如： z轴为126层，经过步骤2填充后为128层，可完整循环取块次数为128对3 取整，为42次，余2层，则第43次取块时将最后2.5D块2层向上取1层补足2.5D块大小。
步骤4、搭建任意有效的语义分割卷积神经网络；其中，
本发明优选搭建的语义分割卷积神经网络为2.5D卷积神经网络，其中网络的输入尺寸为x×y×3，3为2.5D卷积神经网络的通道维度；网络输出尺寸为x×y×117，117分别代表116个脑功能区(如图3所示的表格)和1个图像背景区的标签。
如图4所示的网络结构，图中矩形的长度代表该神经网络块的图像尺寸大小,矩形的宽度代表该神经网络块的通道数量。在整个网络构建过程中，使用编码器-解码器(encoder-decoder)结构，让图像尺寸由大变小再恢复原样，同时卷积核的数量也不断增长，通过不断的高层和底层通过连接(concatenate)方法拼接到一起，让网络可以同时学习到高层的语义信息以及底层的定位信息。例如，编码器部分,通过第(1,2)个卷积块的特征图和原图拼接后，加上第一个池化层，图像变为(W/2,H/2,A+5)其中A为卷积核数一般取32的倍数，5 为原图的通道数。第(3,4)个卷积块后的特征图和第一个池化层后特征图拼接，通过第二个池化层，图像变为了(W/4,H/4,2A+A+5)。第(5,6)个卷积块后的特征图和第二个池化层后的特征图拼接，通过第三个池化层，图像变为了(W/8, H/8,4A+3A+5)。解码器部分例如，第(9,10)卷积块后通过上采样加上卷积并和第8卷积块后的拼接映射图拼接，图像从(W/16,H/16,15A+5)变为了(W/8, H/8,31A+5)。第(11,12)卷积块后通过上采样加上卷积并和第6卷积块后的拼接映射图拼接，图像从(W/8,H/8,8A)变为了(W/4,H/4,11A+5)。本实施例神经网络优选地中使用Lecun_normal函数作为初始化函数、使用SeLU函数作为激活函数仅作为一个示例性实施例。
进一步，除上述选用2.5D卷积神经网络外，本发明还可采用包括2D/3D 的Unet，SegNet，AC-Unet等任何适用于进行图像语义分割的深度学习网络架构进行训练。
步骤5、将预设数量的MRI脑影像和脑功能区分割标签的2.5D数据块输入到搭建好的语义分割神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的脑功能区分割神经网络模型，并将训练好的神经网络模型结构和权重保存到硬盘；其中，
本发明的上述训练包括前向传播和反向传播，一次前向传播和反向传播为一次网络迭代计算；本发明不设定网络训练迭代次数，而采用通用的 Early-stop的方式来让网络自动停止迭代，从而得到最佳的脑功能区分割神经网络模型。
步骤6、将任意想要进行116个脑功能区分割的T1 MRI影像进行上述步骤2和步骤3相同的预处理和2.5D块处理，形成待分割影像；
步骤7、把步骤5中保存的网络模型结构和权重加载到网络执行环境中，将步骤6待分割影像输入到训练后的脑功能区分割神经网络模型中，得到116 个脑功能区的分割结果；其中，脑功能区分割结果如图5a所示。
步骤8、对脑功能区分割结果进行后处理和边缘检测，得到116个脑功能区轮廓勾画结果；其中，脑功能区轮廓勾画结果如图5b所示；
后处理包含最大连通区域保留、平滑处理等操作，对后处理的结果进行反插值处理和边缘检测，即可得到原始T1影像对应大小的116脑区的轮廓勾画结果。
如图6所示，本发明提供一种MRI头部影像的脑功能区自动勾画系统，包括：准备模块、预处理模块、2.5D块处理模块、模型生成模块、模型训练模块、分割模块和勾画模块；其中，
本发明的准备模块，用于获取预设数量的T1 MRI脑影像，并制作每例 MRI脑影像的包含116个脑功能区的脑功能区分割标签；其中，
获取的原始T1 MRI脑影像如图2a所示，T1 MRI脑影像的数量保证后续在模型训练时可产生稳定收敛即可，本发明建议量是50例全脑扫描数据，这个数据量越大效果越好；本发明采用基于T1MRI脑影像的AAL脑功能区反向映射配准方法分离得到每例T1 MRI脑影像中116个AAL脑功能区的分割标签，脑功能区分割标签如图2b所示；最后将50例的原始T1MRI脑影像(图 2a)及其对应的脑功能区分割标签(图2b)作为用于后续网络训练的输入和输出。
本发明的预处理模块，用于将所获得的MRI脑影像和116个脑功能区分割标签分别进行相同的图像预处理；其中，
上述预处理操作包括插值处理、归一化处理、上下界各填充一层处理和数据增强处理等处理，具体说明如下：
插值处理是把各训练数据图像中x-y水平面统一插值为固定的大小 (x0×y0)；x0×y0PPI不是任意自定义的值，是通过参考所用数据集中最普遍的一个影像分辨率而选择的图像尺寸；此处建议优先采用256×256进行统一插值，从而利于卷积神经网络模型更好的学习各脑功能区的特征；
归一化处理是将原始T1影像数据的值域映射到0到1范围之内，这样可以加快后续训练中梯度下降求最优解速度，从而提升模型的收敛速度，归一化操作计算公式为：m＝(n-MinValue)/(MaxValue-MinValue)，其中，n、m分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值；
上下界各填充一层处理是为适应本发明训练时优选采用的2.5D神经网络，在z轴首层和尾层分别填充一层x0×y0大小的0值矩阵，使得首层和尾层也可得到对应的预测结果；
数据增强包括围绕图像中心点的旋转、x轴方向的平移和y轴方向的平移中的一种或多种；基于数据增强可以扩充数据集，增大数据多样性。优选地，本发明对原始T1影像和分割标签做3倍数据增强。
本发明的2.5D块处理模块，用于对预处理后的MRI脑影像和脑功能区分割标签进行相同的2.5D块处理，得到2.5D数据块；其中，
2.5D块处理为：沿z轴连续3层横截面取块，并叠加成一个3通道的图像，得到2.5D数据块。本实施例数据块大小优选为256×256×3，256×256为插值后的水平尺寸，3为2.5D卷积神经网络的通道维度。进一步，为增加影像截面选取，从可以把2.5D块大小可扩展成256×256×5和256×256×7。
本发明在进行2.5D块处理时，以z轴为主轴，以3为每个分块大小层计算切块需要循环的次数，依次以分块步长为1连续取块；若连续取块至最后 2.5D块层数不足3时，则将最后2.5D块向上取所缺层数以补足3层。例如： z轴为126层，经过步骤2填充后为128层，可完整循环取块次数为128对3 取整，为42次，余2层，则第43次取块时将最后2.5D块2层向上取1层补足2.5D块大小。
本发明的模型生成模块，用于建任意有效的语义分割卷积神经网络；其中，
本发明优选搭建的语义分割卷积神经网络为2.5D卷积神经网络，其中网络的输入尺寸为x×y×3，3为2.5D卷积神经网络的通道维度；网络输出尺寸为x×y×117，117分别代表116个脑功能区(如图3所示的表格)和1个图像背景区的标签。
如图4所示的网络结构，图中矩形的长度代表该神经网络块的图像尺寸大小,矩形的宽度代表该神经网络块的通道数量。在整个网络构建过程中，使用编码器-解码器(encoder-decoder)结构，让图像尺寸由大变小再恢复原样，同时卷积核的数量也不断增长，通过不断的高层和底层通过连接(concatenate)方法拼接到一起，让网络可以同时学习到高层的语义信息以及底层的定位信息。例如，编码器部分,通过第(1,2)个卷积块的特征图和原图拼接后，加上第一个池化层，图像变为(W/2,H/2,A+5)其中A为卷积核数一般取32的倍数，5 为原图的通道数。第(3,4)个卷积块后的特征图和第一个池化层后特征图拼接，通过第二个池化层，图像变为了(W/4,H/4,2A+A+5)。第(5,6)个卷积块后的特征图和第二个池化层后的特征图拼接，通过第三个池化层，图像变为了(W/8, H/8,4A+3A+5)。解码器部分例如，第(9,10)卷积块后通过上采样加上卷积并和第8卷积块后的拼接映射图拼接，图像从(W/16,H/16,15A+5)变为了(W/8, H/8,31A+5)。第(11,12)卷积块后通过上采样加上卷积并和第6卷积块后的拼接映射图拼接，图像从(W/8,H/8,8A)变为了(W/4,H/4,11A+5)。本实施例神经网络优选地中使用Lecun_normal函数作为初始化函数、使用SeLU函数作为激活函数仅作为一个示例性实施例。
进一步，除上述选用2.5D卷积神经网络外，本发明还可采用包括2D/3D 的Unet，SegNet，AC-Unet等任何适用于进行图像语义分割的深度学习网络架构进行训练。
本发明的模型训练模块，用于将预设数量的MRI脑影像和脑功能区分割标签的2.5D数据块输入到搭建好的语义分割神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的脑功能区分割神经网络模型，并将训练好的神经网络模型结构和权重保存到硬盘；其中，
本发明的上述训练包括前向传播和反向传播，一次前向传播和反向传播为一次网络迭代计算；本发明不设定网络训练迭代次数，而采用通用的 Early-stop的方式来让网络自动停止迭代，从而得到最佳的脑功能区分割神经网络模型。
本发明的分割模块，用于将保存的网络模型结构和权重加载到网络执行环境中，将待分割影像输入到训练后的脑功能区分割神经网络模型中，得到 116个脑功能区的分割结果；其中，脑功能区分割结果如图5a所示。其中，
待分割影像的生成方法为：将任意想要进行脑功能区分割的T1MRI影像进行上述预处理模块和2.5D块处理模块相同的预处理和2.5D块处理，形成待分割影像。
本发明的勾画模块，用于对脑功能区分割结果进行后处理和边缘检测，得到116个脑功能区轮廓勾画结果；其中，脑功能区轮廓勾画结果如图5b所示；
后处理包含最大连通区域保留、平滑处理等操作，对后处理的结果进行反插值处理和边缘检测，即可得到原始T1影像对应大小的116脑区的轮廓勾画结果。
本发明提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，处理器执行指令时实现上述脑功能区自动勾画方法的步骤；其中，
该计算设备的技术方案与上述勾画方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述勾画方法的技术方案的描述。
计算设备可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC 的静止计算设备；计算设备还可以是移动式或静止式的服务器。
计算机指令包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
本发明提供一种存储介质，其存储有计算机指令，计算机指令指令被处理器执行时实现上述脑功能区自动勾画方法的步骤；其中，
该存储介质的技术方案与上述勾画方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述勾画方法的技术方案的描述。
存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM， Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本发明优选实施例只是用于帮助阐述本发明。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (10)
1.一种MRI头部影像的脑功能区自动勾画方法，其特征在于，包括：
获取预设数量的T1 MRI脑影像，并制作每例MRI脑影像116个脑功能区分割标签；
对所述MRI脑影像和脑功能区分割标签进行相同的预处理；
对预处理后的MRI脑影像和脑功能区分割标签进行相同的2.5D块处理，得到2.5D数据块；
搭建任意有效的语义分割卷积神经网络；
将所述MRI脑影像和脑功能区分割标签的2.5D数据块输入到搭建好的语义分割神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的脑功能区分割神经网络模型；
对待分割的T1 MRI脑影像进行所述预处理和所述2.5D块处理，得到待分割影像；
将所述待分割影像输入到训练后的所述脑功能区分割神经网络模型中，得到116个脑功能区分割结果；
对所述脑功能区分割结果进行后处理和边缘检测，得到116个脑功能区轮廓勾画结果。
2.如权利要求1所述的脑功能区自动勾画方法，其特征在于，采用基于T1 MRI脑影像的AAL脑功能区反向映射配准方法分离得到每例MRI脑影像116个脑功能区分割标签。
3.如权利要求1所述的脑功能区自动勾画方法，其特征在于，所述预处理包括插值处理、归一化处理、上下界各填充一层处理和数据增强处理；
所述插值处理为：对所述MRI脑影像和脑功能区分割标签在x-y水平面上采用256×256进行统一插值；
所述上下界各填充一层处理为：在z轴首层和尾层分别填充一层x0×y0大小的0值矩阵；
所述数据增强包括绕图像中心点的旋转、x轴方向的平移和y轴方向的平移中的一种。
4.如权利要求1所述的脑功能区自动勾画方法，其特征在于，所述2.5D块处理的方法，包括：
沿z轴连续3层横截面取块，并叠加成一个3通道的图像，得到2.5D数据块；
若连续取块至最后2.5D块层数不足3时，则将最后2.5D块向上取所缺层数以补足3层。
5.如权利要求4所述的脑功能区自动勾画方法，其特征在于，所述语义分割卷积神经网络为2.5D卷积神经网络；
所述2.5D卷积神经网络的输入尺寸为x×y×3，3为2.5D卷积神经网络的通道维度，所述2.5D卷积神经网络的输出尺寸为x×y×117，117分别代表116个脑功能区和1个图像背景区的标签。
6.如权利要求1所述的脑功能区自动勾画方法，其特征在于，所述训练包括前向传播和反向传播，一次前向传播和反向传播为一次网络迭代计算；
采用Early-stop的方式来让神经网络自动停止迭代，得到最佳的脑功能区分割神经网络模型。
7.如权利要求1所述的脑功能区自动勾画方法，其特征在于，所述后处理包括最大连通区域保留和平滑处理。
8.一种MRI头部影像的脑功能区自动勾画系统，其特征在于，基于所述脑功能区自动勾画系统实现权利要求1-7中任一项所述的脑功能区自动勾画方法，包括：
准备模块，用于获取预设数量的T1 MRI脑影像，并制作每例MRI脑影像116个脑功能区分割标签；
预处理模块，用于对所述MRI脑影像和脑功能区分割标签进行相同的预处理，或者对待分割的T1 MRI脑影像进行相同的预处理；
2.5D块处理模块，用于对预处理后的MRI脑影像和脑功能区分割标签进行相同的2.5D块处理，得到2.5D数据块；或者，对预处理后的待分割的T1 MRI脑影像进行相同的2.5D块处理，得到待分割影像；
模型生成模块，用于搭建任意有效的语义分割卷积神经网络；
模型训练模块，用于将所述MRI脑影像和脑功能区分割标签的2.5D数据块输入到搭建好的语义分割神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的脑功能区分割神经网络模型；
分割模块，用于将所述待分割影像输入到训练后的所述脑功能区分割神经网络模型中，得到116个脑功能区分割结果；
勾画模块，用于对所述脑功能区分割结果进行后处理和边缘检测，得到116个脑功能区轮廓勾画结果。
9.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-7中任一项所述的脑功能区自动勾画方法的步骤。
10.一种存储介质，其存储有计算机指令，其特征在于，所述计算机指令指令被处理器执行时实现权利要求1-7中任一项所述的脑功能区自动勾画方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010306708.5A CN113538493A (zh) | 2020-04-17 | 2020-04-17 | 一种mri头部影像的脑功能区自动勾画方法、勾画系统、计算设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010306708.5A CN113538493A (zh) | 2020-04-17 | 2020-04-17 | 一种mri头部影像的脑功能区自动勾画方法、勾画系统、计算设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113538493A true CN113538493A (zh) | 2021-10-22 |
Family
ID=78093521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010306708.5A Pending CN113538493A (zh) | 2020-04-17 | 2020-04-17 | 一种mri头部影像的脑功能区自动勾画方法、勾画系统、计算设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538493A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744272A (zh) * | 2021-11-08 | 2021-12-03 | 四川大学 | 一种基于深度神经网络的脑动脉自动勾画方法 |
-
2020
- 2020-04-17 CN CN202010306708.5A patent/CN113538493A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113744272A (zh) * | 2021-11-08 | 2021-12-03 | 四川大学 | 一种基于深度神经网络的脑动脉自动勾画方法 |
| CN113744272B (zh) * | 2021-11-08 | 2022-01-28 | 四川大学 | 一种基于深度神经网络的脑动脉自动勾画方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160196672A1 (en) | Graph image representation from convolutional neural networks | |
| CN111489357A (zh) | 一种图像分割方法、装置、设备及存储介质 | |
| CN111260705B (zh) | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 | |
| Liu et al. | Pseudoclick: Interactive image segmentation with click imitation | |
| CN110223300A (zh) | Ct图像腹部多器官分割方法及装置 | |
| An et al. | Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model | |
| CN113159056A (zh) | 图像分割方法、装置、设备及存储介质 | |
| Shu et al. | LVC-Net: Medical image segmentation with noisy label based on local visual cues | |
| CN112686898A (zh) | 一种基于自监督学习的放疗靶区自动分割方法 | |
| Zhao et al. | PCA dimensionality reduction method for image classification | |
| CN116452410A (zh) | 一种基于深度学习的文本引导无掩膜图像编辑方法 | |
| CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN114897136A (zh) | 多尺度注意力机制方法及模块和图像处理方法及装置 | |
| US20230153965A1 (en) | Image processing method and related device | |
| CN113326851A (zh) | 图像特征提取方法、装置、电子设备及存储介质 | |
| CN113538209A (zh) | 一种多模态医学影像配准方法、配准系统、计算设备和存储介质 | |
| Li et al. | High-quality face sketch synthesis via geometric normalization and regularization | |
| CN113538493A (zh) | 一种mri头部影像的脑功能区自动勾画方法、勾画系统、计算设备和存储介质 | |
| CN113538496A (zh) | 一种mri头部影像的脑组织自动勾画方法、勾画系统、计算设备和存储介质 | |
| CN116758093B (zh) | 一种图像分割方法、模型训练方法、装置、设备及介质 | |
| CN117635771A (zh) | 一种基于半监督对比学习的场景文本编辑方法和装置 | |
| CN111369564B (zh) | 一种图像处理的方法、模型训练的方法及装置 | |
| CN116485962A (zh) | 一种基于对比学习的动画生成方法及系统 | |
| Yan et al. | CGAN: lightweight and feature aggregation network for high-performance interactive image segmentation | |
| Bhattacharjee et al. | Estimating image depth in the comics domain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |