CN109949321B - 基于三维Unet网络的脑部核磁共振图像组织分割方法 - Google Patents

基于三维Unet网络的脑部核磁共振图像组织分割方法 Download PDF

Info

Publication number
CN109949321B
CN109949321B CN201910233567.6A CN201910233567A CN109949321B CN 109949321 B CN109949321 B CN 109949321B CN 201910233567 A CN201910233567 A CN 201910233567A CN 109949321 B CN109949321 B CN 109949321B
Authority
CN
China
Prior art keywords
dimensional
unet network
brain
layer
magnetic resonance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910233567.6A
Other languages
English (en)
Other versions
CN109949321A (zh
Inventor
高婧婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910233567.6A priority Critical patent/CN109949321B/zh
Publication of CN109949321A publication Critical patent/CN109949321A/zh
Application granted granted Critical
Publication of CN109949321B publication Critical patent/CN109949321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于三维Unet网络的脑部核磁共振图像组织分割方法，其包括将脑部核磁共振图像导入训练后的三维Unet网络中，并输出三维Unet网络倒数第二层获得的64个三维特征；采用高维矢量非局部均值注意力模型对64个三维特征的特征值进行重新分布；将重新分布特征值的三维特征输入至三维Unet网络最后一层的softmax层进行图像分割处理，得到脑部三个组织的分割结果。本方案通过三维Unet网络和高维矢量非局部均值注意力模型的相互结合，可以使映射后的组织类别完全不受噪声的干扰，从而获得不受噪声影响的全脑组织分割结果。

Description

基于三维Unet网络的脑部核磁共振图像组织分割方法
技术领域
本发明涉及脑部图像的分割方法，具体涉及一种基于三维Unet网络的脑部核磁共振图像组织分割方法。
背景技术
脑部核磁共振图像的全脑组织分割主要是将脑部核磁共振图像组织分割成脑脊液，白质和灰质三类。但是，在核磁共振图像获取过程中，尤其是超高场强的核磁共振图像中带有严重的噪声。这类噪声遍布整个脑部组织区域，会对MR图像的组织分割，尤其是部分细节组织的分割造成较大的分割错误。
采用全卷积神经网络FCN进行核磁共振图像分割时需要训练大量样本，而医学图像并不具备这一条件，对此，目前现有技术中的二维UNet在全卷积神经网络(FCN)的基础上为了提高了数据的利用效率，提出了一种对称的网络结构，用对称的上采样弥补下采样所损失的信息。
二维Unet包括左边的收缩路径和右边的扩张路径，收缩路径就是经结构，其包括几个3×3的卷积加RELU激活层再加2×2maxpooling的结构，下采样的每一步特征通道数都增加一倍；扩张路径的每一步包括上采样、2×2卷积和相应收缩路径中的剪裁过的特征层的串联以及两个3×3卷积加RELU；最后一层用了1×1卷积把64个通道映射到想要的类别种类数。
虽然Unet比传统的FCN更好地解决了医学图像的分割问题，但是针对具有较严重噪声的高场强脑部MR图像，其分割结果受到高噪声的严重干扰，尤其是遇到脑部组织沟回的细节部分，严重的高噪声会导致分割的严重错误。
针对二维Unet网络存在的缺陷，出现了三维Unet网络，其是单纯地将作用于二维医学的Unet网络直接推广到三维图像，可以实现端到端的三维脑部核磁共振图像全脑组织分割的深度学习网络。
三维Unet网络在进行图像分割时，虽然可以延伸到脑部三维核磁共振图像的组织分割，实现三维MR图像脑组织的立体分割效果，解决二维切片组织分割结果不连续的问题，但整个网络的学习问题仍然延续二维Unet网络的基础，没有考虑到噪声对脑部细节的影响，尤其是高噪声对脑部沟回细节分割的影响。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于三维Unet网络的脑部核磁共振图像组织分割方法，其在能够通过高维矢量非局部均值注意力模型消除高噪声对脑部图像分割的影响。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种基于三维Unet网络的脑部核磁共振图像组织分割方法，其包括：
将脑部核磁共振图像导入训练后的三维Unet网络中，并输出三维Unet网络倒数第二层获得的64个三维特征；
采用高维矢量非局部均值注意力模型对64个三维特征的特征值进行重新分布；
将重新分布特征值的三维特征输入至三维Unet网络最后一层的softmax层进行图像分割处理，得到脑部三个组织的分割结果。
进一步地，所述采用高维矢量非局部均值注意力模型对64个三维特征的特征值进行重新分布进一步包括：
对三维Unet网络倒数第二层输出的64个三维特征进行归一化处理：
其中，为归一化后的第i个三维特征；Xi为三维Unet网络倒数第二层输出第i个三维特征；
采用归一化后的三维特征形成四维特征矢量：
采用高维矢量非局部均值注意力模型对归一化后三维特征的特征值进行重新分布：
其中，为特征值重新分布后的第i个三维特征；C为归一化因子；Ω为整副图像的前景区域；为常数e为底数的对数；为以体素x为中心的邻域灰度值；为以体素y为中心的邻域灰度值；h为滤波参数；F(·)为卷积函数；|.|2为模的平方；为经过归一化后第i个三维特征中位于体素y处的取值，Gρ(y)是四维高斯核函数；
对特征值重新分布后的三维特征进行归一化处理，得到最终的重新分布特征值的三维特征：
其中，为最终的重新分布特征值的三维特征。
进一步地，所述四维高斯核函数Gρ(y)的计算公式为：
其中，为体素y在四维特征矢量中的二范数，ρ为实验测试的常数值。
进一步地，卷积函数
其中为步长l范围内的的灰度值；为为步长l范围内的的灰度值；l为步长。
进一步地，采用梯度下降法对三维Unet网络进行深度学习训练得到训练后的三维Unet网络。
本发明的有益效果为：本方案首先利用三维Unet网络获得全脑组织的64个初特征，针对这64个初特征，采用高维矢量非局部均值注意力模型对其进行特征值的重新分布，消除噪声对这64个特征的影响，从而获得不受噪声影响的64个全新的特征，再对这不受噪声影响的特征进行三个组织类别的映射，使得映射后的组织类别完全不受噪声的干扰，从而获得不受噪声影响的全脑组织分割结果，从而保证了脑部组织分割的精准度。
本方案在进行脑部图像最终分割前首先避免了噪声对64个组织特征的负面影响，其次，对于三维Unet网络并未引入新的参数，因此在进行图像分割时并未增加三维Unet网络的复杂度。
附图说明
图1为将高维矢量非局部均值注意力模型插入三维Unet网络中的网络架构图。
图2为基于三维Unet网络的脑部核磁共振图像组织分割方法的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
参考图1，图1示出了基于三维Unet网络的脑部核磁共振图像组织分割方法；如图1所示，该方法100包括步骤101至步骤103。
在步骤101中，将脑部核磁共振图像导入训练后的三维Unet网络中，并输出三维Unet网络倒数第二层获得的64个三维特征。
步骤101中的三维特征图完全采用现有的三维Unet网络实现，只是去掉了三维Unet网络最后一层的softmax层；在步骤101中用于提取特征的三维Unet网络结构可以分为上采样层和下采样层两部分。
其中，下采样层分别是图2中的第一层到第四层，每个下采样层包含重复的3*3*3的卷积核，之后第四层、Relu的非线性层和步长为2的最大池化层依次连接，每次下采样后特征图变为原来的一半，但是在卷积部分，特征通道数则再增加一倍。
上采样层分别是图2中的第五层到第七层，其中的第一层到第七层、第二层到第六次及第三层到第五层采用反卷积实现；每个上采样层包含重复的2*2*2的卷积核，并减半特征通道数目，并依次与下采样第一层到第三层中的contracting path和最大池化层的特征图直接结合成一个新的特征，第五层到第七层通过逐层上采样，获得与原始脑图像尺寸一致的特征图，最终获得64个三维特征，记为Xi，i＝1,2,...,64，且记64个特征形成的四维特征矢量为：X＝(X1,X2,...,X64)T。
在步骤102中，采用高维矢量非局部均值注意力模型对64个三维特征的特征值进行重新分布；实施时，采用高维矢量非局部均值注意力模型对64个三维特征的特征值进行重新分布进一步包括A1至步骤A4：
在步骤A1中，对三维Unet网络倒数第二层输出的64个三维特征进行归一化处理：
其中，为归一化后的第i个三维特征；Xi为三维Unet网络倒数第二层输出第i个三维特征；
在步骤A2中，采用归一化后的三维特征形成四维特征矢量：
在步骤A3中，采用高维矢量非局部均值注意力模型对归一化后三维特征的特征值进行重新分布：
其中，为特征值重新分布后的第i个三维特征；C为归一化因子；Ω为整副图像的前景区域；为常数e为底数的对数；为以体素x为中心的邻域灰度值；为以体素y为中心的邻域灰度值；h为滤波参数；F(·)为卷积函数；|.|2为模的平方；为经过归一化后第i个三维特征中位于体素y处的取值，Gρ(y)是四维高斯核函数。
本方案的高维矢量非局部均值注意力模型的实现原理为：
在绝大部分图像中，与目标体素具有相似性的体素点并不一定分布在目标体素周围的邻域中，因此，单纯用目标体素的邻域信息对目标体素进行加权，必然会导致图像细节丢失。
本模型在对目标体素进行处理时，采用与目标体素具有相似性质的体素点的加权平均来代替目标体素，而不是单纯利用目标体素的邻域信息，其加权后能有效滤除噪声的同时保留更多的图像细节，而其加权的权重由体素间的相似度决定，而该相似度由上面公式中的自然对数决定。
实施时，本方案优选所述四维高斯核函数Gρ(y)的计算公式为：
其中，为体素y在四维特征矢量中的二范数，ρ为实验测试的常数值。
卷积函数其中为步长l范围内的的灰度值；为为步长l范围内的的灰度值；l为步长。
在步骤A4中，对特征值重新分布后的三维特征进行归一化处理，得到最终的重新分布特征值的三维特征：
其中，为最终的重新分布特征值的三维特征。
在步骤103中，将重新分布特征值的三维特征输入至三维Unet网络最后一层的softmax层进行图像分割处理，得到脑部三个组织的分割结果。
本方案在进行脑部核磁共振图像分割之前采用梯度下降法对三维Unet网络进行深度学习训练得到训练后的三维Unet网络。
综上所述，本方案通过三维Unet网络和高维矢量非局部均值注意力模型的相互结合，可以使映射后的组织类别完全不受噪声的干扰，从而获得不受噪声影响的全脑组织分割结果。

Claims (4)

1.基于三维Unet网络的脑部核磁共振图像组织分割方法，其特征在于，包括：
将脑部核磁共振图像导入训练后的三维Unet网络中，并输出三维Unet网络倒数第二层获得的64个三维特征；
采用高维矢量非局部均值注意力模型对64个三维特征的特征值进行重新分布；
将重新分布特征值的三维特征输入至三维Unet网络最后一层的softmax层进行图像分割处理，得到脑部三个组织的分割结果；
所述采用高维矢量非局部均值注意力模型对64个三维特征的特征值进行重新分布进一步包括：
对三维Unet网络倒数第二层输出的64个三维特征进行归一化处理：
其中，为归一化后的第i个三维特征；Xi为三维Unet网络倒数第二层输出第i个三维特征；
采用归一化后的三维特征形成四维特征矢量：
采用高维矢量非局部均值注意力模型对归一化后三维特征的特征值进行重新分布：
其中，为特征值重新分布后的第i个三维特征；C为归一化因子；Ω为整副图像的前景区域；为常数e为底数的对数；为以体素x为中心的邻域灰度值；为以体素y为中心的邻域灰度值；h为滤波参数；F(·)为卷积函数；|.|2为模的平方；为经过归一化后第i个三维特征中位于体素y处的取值，Gρ(y)是四维高斯核函数；
对特征值重新分布后的三维特征进行归一化处理，得到最终的重新分布特征值的三维特征：
其中，为最终的重新分布特征值的三维特征。
2.根据权利要求1所述的脑部核磁共振图像组织分割方法，其特征在于，所述四维高斯核函数Gρ(y)的计算公式为：
其中，为体素y在四维特征矢量中的二范数，ρ为实验测试的常数值。
3.根据权利要求1所述的脑部核磁共振图像组织分割方法，其特征在于，卷积函数其中为步长l范围内的的灰度值；为为步长l范围内的的灰度值；l为步长。
4.根据权利要求1-3任一所述的脑部核磁共振图像组织分割方法，其特征在于，采用梯度下降法对三维Unet网络进行深度学习训练得到训练后的三维Unet网络。
CN201910233567.6A 2019-03-26 2019-03-26 基于三维Unet网络的脑部核磁共振图像组织分割方法 Active CN109949321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910233567.6A CN109949321B (zh) 2019-03-26 2019-03-26 基于三维Unet网络的脑部核磁共振图像组织分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910233567.6A CN109949321B (zh) 2019-03-26 2019-03-26 基于三维Unet网络的脑部核磁共振图像组织分割方法

Publications (2)

Publication Number Publication Date
CN109949321A CN109949321A (zh) 2019-06-28
CN109949321B true CN109949321B (zh) 2019-12-10

Family

ID=67010876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910233567.6A Active CN109949321B (zh) 2019-03-26 2019-03-26 基于三维Unet网络的脑部核磁共振图像组织分割方法

Country Status (1)

Country Link
CN (1) CN109949321B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301999B2 (en) 2020-05-07 2022-04-12 Tencent America LLC Shape-aware organ segmentation by predicting signed distance maps
CN111751773B (zh) * 2020-07-06 2023-07-04 上海康达卡勒幅医疗科技有限公司 一种基于1D-Unet的低场核磁共振仪器信号校正方法
CN112785603B (zh) * 2021-01-15 2023-11-24 沈阳建筑大学 一种基于Unet和超像素的脑组织分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460783A (zh) * 2018-05-09 2018-08-28 电子科技大学 一种脑部核磁共振图像组织分割方法
CN108596248A (zh) * 2018-04-23 2018-09-28 上海海洋大学 一种基于改进深度卷积神经网络的遥感影像分类模型
US10198832B2 (en) * 2017-06-28 2019-02-05 Deepmind Technologies Limited Generalizable medical image analysis using segmentation and classification neural networks

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783639B2 (en) * 2016-10-19 2020-09-22 University Of Iowa Research Foundation System and method for N-dimensional image segmentation using convolutional neural networks
CN107705305A (zh) * 2017-10-20 2018-02-16 上海联影医疗科技有限公司 一种医学图像处理的方法及装置
CN108898595B (zh) * 2018-06-27 2021-02-19 慧影医疗科技（北京）有限公司 一种胸部图像中病灶区域的定位模型的构建方法及应用

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198832B2 (en) * 2017-06-28 2019-02-05 Deepmind Technologies Limited Generalizable medical image analysis using segmentation and classification neural networks
CN108596248A (zh) * 2018-04-23 2018-09-28 上海海洋大学 一种基于改进深度卷积神经网络的遥感影像分类模型
CN108460783A (zh) * 2018-05-09 2018-08-28 电子科技大学 一种脑部核磁共振图像组织分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Attention U-Net:Learning Where to Look for the Pancreas";Ozan Oktay .etc;《1st Conference on Medical Imaging with Deep Learning (MIDL 2018)》;20181231;全文 *
"U-Net: Convolutional Networks for Biomedical Image Segmentation";Olaf Ronneberger .etc;《MICCAI 2015》;20151118;全文 *
"基于图像引导的穿刺手术机器人导航系统研究";潘晗倩;《万方智搜》;20180917;第2.4节 *
"基于新型深度全卷积网络的肝脏CT影像三维区域自动分割";孙明建，等;《中国生物医学工程学报》;20180831;第37卷(第4期);前言部分 *
孙明建，等."基于新型深度全卷积网络的肝脏CT影像三维区域自动分割".《中国生物医学工程学报》.2018,第37卷(第4期),前言部分. *

Also Published As

Publication number Publication date
CN109949321A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN109191476B (zh) 基于U-net网络结构的生物医学图像自动分割新方法
Sánchez et al. Brain MRI super-resolution using 3D generative adversarial networks
CN109410219B (zh) 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN109949321B (zh) 基于三维Unet网络的脑部核磁共振图像组织分割方法
Sood et al. An application of generative adversarial networks for super resolution medical imaging
CN114581662B (zh) 一种脑肿瘤图像的分割方法、系统、装置及存储介质
CN113436076B (zh) 逐步融合特征的图像超分辨率重建方法及电子设备
US11816870B2 (en) Image processing method and device, neural network and training method thereof, storage medium
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
Cheng et al. Volume segmentation using convolutional neural networks with limited training data
WO2021017168A1 (zh) 图像分割方法、装置、设备及存储介质
CN109064402B (zh) 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
Chen et al. Single depth image super-resolution using convolutional neural networks
CN116402691B (zh) 基于图像特征快速拼接的图像超分辨率方法和系统
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN110866870A (zh) 一种医学图像任意倍数放大的超分辨处理方法
CN112070752A (zh) 一种医学图像的心耳分割方法、装置及存储介质
CN115797176A (zh) 一种图像超分辨率重建方法
CN113327205B (zh) 基于卷积神经网络的相位去噪方法
Song et al. OPE-SR: Orthogonal position encoding for designing a parameter-free upsampling module in arbitrary-scale image super-resolution
Rashid et al. Single MR image super-resolution using generative adversarial network
Baldeon-Calisto et al. Resu-net: Residual convolutional neural network for prostate mri segmentation
CN110619633B (zh) 一种基于多路滤波策略的肝脏图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant