CN115100123A - 一种结合UNet和主动轮廓模型的大脑提取方法 - Google Patents
一种结合UNet和主动轮廓模型的大脑提取方法 Download PDFInfo
- Publication number
- CN115100123A CN115100123A CN202210656324.5A CN202210656324A CN115100123A CN 115100123 A CN115100123 A CN 115100123A CN 202210656324 A CN202210656324 A CN 202210656324A CN 115100123 A CN115100123 A CN 115100123A
- Authority
- CN
- China
- Prior art keywords
- brain
- model
- netb
- medical image
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 143
- 238000000605 extraction Methods 0.000 title claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 239000002131 composite material Substances 0.000 claims abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 101100133212 Drosophila melanogaster NetB gene Proteins 0.000 claims 17
- 230000002776 aggregation Effects 0.000 claims 1
- 238000004220 aggregation Methods 0.000 claims 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 abstract description 18
- 210000003625 skull Anatomy 0.000 abstract description 15
- 210000004761 scalp Anatomy 0.000 abstract description 13
- 238000003709 image segmentation Methods 0.000 abstract description 11
- 230000011157 brain segmentation Effects 0.000 abstract description 10
- 210000005013 brain tissue Anatomy 0.000 description 13
- 238000002372 labelling Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- RLKHFSNWQCZBDC-UHFFFAOYSA-N n-(benzenesulfonyl)-n-fluorobenzenesulfonamide Chemical compound C=1C=CC=CC=1S(=O)(=O)N(F)S(=O)(=O)C1=CC=CC=C1 RLKHFSNWQCZBDC-UHFFFAOYSA-N 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006931 brain damage Effects 0.000 description 1
- 231100000874 brain damage Toxicity 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种结合UNet和主动轮廓模型的大脑提取方法，属于医学图像分割技术领域，属于医学图像分割领域。该方法包括：获取脑部医学图像数据集，并做必要的预处理；将数据集划分为训练集和测试集；构造UNet卷积神经网络模型；使用训练集数据按照二分类交叉熵损失函数训练模型；再次使用训练集数据按照复合损失函数继续训练模型；将测试图像输入模型，依据模型输出建立分割掩码，得到分割结果。本发明能够在不改变原有训练数据的情况下，通过其特殊的损失函数设计以及模型训练策略，从脑部医学图像中剔除头皮、颅骨和脑脊液，得到更加精细的大脑分割结果。
Description
技术领域
本发明涉及一种从脑部医学图像中提取大脑区域的方法，特别涉及一种结合UNet和主动轮廓模型的大脑提取方法，属于医学图像分割技术领域。
背景技术
在医学图像分割领域，大脑提取(Brain Extraction)是常见的分割任务之一。脑损伤评估、大脑疾病诊断、脑组织体积量化以及脑结构可视化等都涉及到大脑提取工作。
大脑提取，在有的文献中也叫做颅骨去除(Skull Stripping)，其目标是将头皮、颅骨等非脑组织区域从脑部医学图像(如CT图像、MR图像)中剔除，为后续的脑组织分割、配准、体积量化等工作提供基础。
目前，已有很多大脑提取方法。这些方法大体可分为：基于深度学习的方法以及传统的非深度学习方法。
传统非深度学习的大脑提取方法一般使用像素点的灰度值、图像的纹理以及形状等较低层次的特征信息进行图像分割，以便将大脑区域从输入图像中分割出来，从而实现大脑提取。在这类方法中，比较经典的有Kass等人提出的基于主动轮廓模型(ActiveContour Model，ACM)的方法(Kass M,Witkin A,Terzopoulos D.Snakes:Active contourmodels.IJCV,1988,1(4):321-331.)。该方法以最小化能量泛函的方式，对初始轮廓曲线进行演化，从而得到待分割物体的边界。该方法及其后续的一些改进方法，在很多医学图像分割任务上取得了不错的分割结果。但是这类方法容易陷入局部最优解，虽然一些局部分割结果可以做到非常精细，但是整体分割结果往往不太好。为此，Chan和Vese提出了无边界主动轮廓模型(Active Contours without Edges，ACWE)算法(Chan T F,Vese L A.ActiveContours without Edges[J].IEEE Transactions on Image Processing,2001,10(2):266-277)。ACWE算法能够利用图像的全局灰度信息来指导轮廓曲线的演变，从而在很多图像分割任务上获得比ACM更好的分割结果。但是，ACWE算法仅对灰度变化不大的图像分割效果较好。当使用该算法对原始脑部医学图像进行大脑提取工作时，还是无法得到令人满意的整体分割结果，因为存在将头皮以及颅骨错误保留下来的现象。
基于深度学习的大脑提取方法一般都是依据人工标注好的数据集，训练出一个神经网络模型，然后利用所训练的模型对输入图像进行分割，其分割结果即模型的输出是与输入图像对应的分割掩码。若输入图像某像素点属于大脑区域则对应掩码取值为1，否则取值为0。目前，已有众多用于大脑提取工作的神经网络模型。最早由Ronneberger等人提出的UNet模型(Ronneberger O,Fischer P,Brox T.U-Net:Convolutional Networks forBiomedical Image Segmentation.Springer International Publishing,2015.)是其中的经典，并在UNet的基础上衍生出了3DUNet、VNet、ResUNet、DenseUNet、AttentionUNet、TransformerUNet等各种网络。这些网络模型都是通过深度学习训练出来，通过深度学习聚集了图像的深层特征，因而在各类图像分割任务上都获得了比传统方法更好的分割结果。
就三维大脑提取任务而言，当采用3DUNet对输入脑部图像进行分割时，由于经过了人工标注数据(人工分割结果)的训练，3DUNet可以准确剔除脑部图像中的头皮以及颅骨，将大脑区域提取出来。但是，当根据3DUNet的分割掩码创建三维大脑模型时，却只能得到一个粗略的大脑模型，大脑表面的沟回结构模糊不清。该问题的原因是：参与网络训练的人工标注数据只考虑了头皮和颅骨的去除，未将脑脊液和脑组织做进一步的区分。3DUNet的结果依赖于训练数据，因此也无法将脑脊液和脑组织做进一步的区分，从而导致三维大脑模型表面沟回结构模糊不清。解决这个问题的一个办法是重新人工标注训练数据集，将脑脊液与脑组织区分开来。然而，人工标注非常耗时耗力，想要通过重新标记训练数据集而得到能够精确分割脑脊液的网络模型是一件比较困难的事情。另外，即使是人工标注，也很难做到脑脊液与脑组织的准确区分。这意味着基于深度学习的大脑提取方法难以做到精细的大脑分割。
综上所述，在脑部医学图像的大脑提取任务中，基于主动轮廓模型的方法具有局部精细分割的优势，但是难以将头皮和颅骨剔除；基于UNet的深度学习方法能够准确剔除头皮以及颅骨，但难以做到精细的大脑分割。
发明内容
为解决上述问题，本发明提供一种结合UNet和主动轮廓模型的大脑提取方法。该方法以UNet作为基础架构构建网络模型，采用基于交叉熵和主动轮廓模型的损失函数对网络模型进行专门训练，使训练所得的网络模型不仅能从脑部医学图像中剔除头皮和颅骨，还能有效去除脑脊液，得到更加精细的大脑提取结果。这就是本发明的目的和主旨所在。
本发明的目的是通过以下技术方案实现的。
一种结合UNet和主动轮廓模型的大脑提取方法，包括以下步骤：
步骤1：获取脑部医学图像数据集，并对脑部医学图像数据集进行必要的预处理使其满足神经网络处理要求。
预处理可能包含数据格式转换、数据裁剪与合并、数据增强、数据扩充、数据归一化以及人工标注等操作。在实际应用中，具体的预处理操作依脑部医学图像的实际情况而定。如果脑部医学图像已经部分或全部满足神经网络的处理要求，则可省略部分或全部预处理操作。
步骤2：将脑部医学图像数据集划分为训练集S和测试集T。
步骤3：令BS为训练数据集S中的脑部医学图像，BS的大小为H×W×D，依据BS的大小构造包含n次下采样和n上采样的UNet卷积神经网络模型M，其中参数n根据图像大小和实际应用需求设定，模型M的网格结构和构造方法如下：
模型M首先通过下采样、上采样以及跳跃连接将2n+1个基本网络块组合在一起。每个基本网络块NetBi(i＝1,…,2n+1)都包含两个卷积层，卷积层中卷积核大小为3×3×3，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化。
NetB1的输入为脑部医学图像。NetBi(i＝1,…,n)的输出经过一个最大池化层处理后作为NetBi+1的输入，其中最大池化层的池化核大小为2×2×2，滑动步长为2。最大池化层将NetBi(i＝1,…,n)与NetBi+1连接起来实现一次空间分辨率的下采样。
NetBj(j＝n+1,…,2n)的输出经过一个反卷积层处理后作为NetBj+1的输入，其中反卷积层的卷积核大小为2×2×2，滑动步长为1，填充参数为1。反卷积层将NetBj(j＝n+1,…,2n)与NetBj+1连接起来实现一次空间分辨率的上采样。此外，NetBj+1(j＝n+1,…,2n)还通过跳跃连接将NetB2n-j+1的输出复制过来，与其原有输入合并在一起作为其输入。
在模型M的网络结构中，网络块之间除了空间分辨率的变化外，还存在卷积核数的变化。在网络块内部，每个卷积层的卷积核数是一样的；但在网络块之间，NetBi(i＝2,…,n+1)的卷积核数是NetBi-1的两倍，NetBj(j＝n+2,…,2n+1)的卷积核数是NetBj-1的二分之一。
模型M的最后是依次连接的1×1×1卷积层和SoftMax层。网络块NetB2n+1的输出被传递给1×1×1卷积层，由该层负责将前面网络聚集得到的多通道特征图转换为两通道特征图。两通道特征图经SoftMax层处理后，即可得到模型M预测的脑部医学图像各像素点属于大脑以及非脑区域的概率。
步骤4：对M进行初始化，然后采用训练集S中的数据，对模型M进行训练，训练过程中的损失函数采用如下二分类交叉熵损失函数：
其中(i,j,k)是输入的脑部医学图像BS的像素点编号，xi,j,k是模型预测的像素点(i,j,k)属于大脑区域的概率，yi,j,k为该像素点所对应分割标签的取值，如果某像素点属于大脑区域，则其分割标签取值为1，否则为0。
步骤5：采用训练集S中的数据，继续对模型M进行训练，训练过程中的损失函数采用如下复合损失函数：
LossCOM＝w1·LossBCE+w2·LossACM，
其中LossBCE表示二分类交叉熵损失，LossACM表示基于主动轮廓模型的损失，w1和w2是根据实际应用需求设定权重参数，LossBCE按照步骤4的公式计算，LossACM的计算方法如下：
其中(i,j,k)是输入的脑部医学图像BS的像素点编号，xi,j,k是模型预测的像素点(i,j,k)属于大脑区域的概率，ui,j,k表示脑部医学图像数据与其分割标签数据相乘后的像素点灰度值；μ≥0，ν≥0，λ1≥0，λ2≥0分别是根据实际应用需求设定的各个求和项的系数参数；c1和c2分别表示大脑区域像素点和非脑区域像素点的平均灰度值，各自的计算方法如下：
步骤6：从测试集T中选取脑部医学图像BT，输入模型M，得到模型输出的预测BT各像素点属于大脑以及非脑区域的概率；然后依据预测的概率建立分割掩码LT，其中如果某像素点属于大脑区域的概率大于非脑区域的概率，则该像素点对应的分割掩码取值为1，否则取值为0；最后，分割掩码LT中取值为1的区域就是所要提取的大脑区域。
有益效果
本发明所述的一种结合UNet和主动轮廓模型的大脑提取方法，与现有技术和方法相比，具有以下的优势和特点：
(1)本发明方法综合了UNet网络和主动轮廓模型的优势，提高了大脑分割的精度。现有各种基于UNet网络的大脑提取方法通常都采用公开数据集提供的分割标签训练网络模型。由于公开数据集的分割标签一般都比较粗糙，没有区分脑组织和脑脊液，因此所训练的模型无法对脑脊液和脑组织做进一步的分割。本发明方法，由于综合了UNet网络和主动轮廓模型的优势，并采取了特殊的模型训练策略，可以在不改变训练数据的情况下，不仅从脑部医学图像中剔除头皮和颅骨，还能有效去除脑脊液，得到更加精细的大脑分割结果。
(2)依据本发明方法获得的大脑分割结果，可以建立更精细的大脑模型，更清晰地展示大脑表面的沟回结构，更有利于大脑空间结构的分析以及后续处理。
(3)本发明方法在模型训练过程中不要求人工标注的分割标签精细区分脑组织和脑脊液，在实际应用中可有效降低人工标注负担，具有更好适应能力和应用范围。
附图说明
图1一种结合UNet和主动轮廓模型的大脑提取方法的流程图；
图2测试集T中某样本三维MR图像的二维截面图及其分割标签，其中(a)为MR图像，(b)为原始的粗分割标签；(c)为新的去除了脑脊液的精细分割标签；
图3模型M的网络结构图；
图4 3DUNet与本发明方法大脑分割结果的对比，其中(i)为横切面，(ii)为冠状面，(iii)为矢状面，(a)是3DUNet的结果，(b)是本发明方法的结果，白色曲线是按照分割结果绘制的分割边界；
图5按照3DUNet和本发明方法的分割结果创建的三维大脑模型，其中(i)为横切面视图，(ii)为冠状面视图，(iii)为矢状面视图，(a)是依据3DUNet的分割结果建立的大脑模型，(b)是按照本发明方法的分割结果建立的大脑模型。
具体实施方法
下面结合附图和实施例阐述本发明的具体实施方式。
图1给出了本发明所述的一种结合UNet和主动轮廓模型的大脑提取方法的流程图，其主要步骤如下：
步骤一：获取脑部医学图像数据集，并对脑部医学图像数据集进行必要的预处理使其满足神经网络处理要求。
预处理可能包含数据格式转换、数据裁剪与合并、数据增强、数据扩充、数据归一化以及人工标注等操作。在实际应用中，具体的预处理操作依脑部医学图像的实际情况而定。如果脑部医学图像已经部分或全部满足神经网络的处理要求，则可省略部分或全部预处理操作。
本实施例选用面向大脑提取任务的公开数据集NFBS进行模型的训练和测试。该数据集来自美国的内森克莱研究中心(Nathan Kline Institute)，包含125个21-45岁的样本数据，其中女性样本77个，男性样本48个。每个样本包含T1加权脑部MR图像以及专家手工标注的去除了头皮和颅骨的分割标签。MR图像和分割标签的大小都是256×256×192。
本实施例在本步骤的预处理工作中仅对数据集中的MR图像做了归一化处理。除此之外，本实施例不涉及其他预处理操作。
需要说明的是，NFBS数据集已经具备用于模型训练的分割标签，所以在本步骤的预处理工作中不需要做人工标注。如果数据集不具备事先标注好的分割标签，则需要在本步骤的预处理中纳入人工标注的工作，以便获取用于模型训练的分割标签数据。
步骤二：将脑部医学图像数据集划分为训练集S和测试集T。
本实施例从选定的NFBS数据集中，随机选择了105个样本的数据作为训练集S，其余20个样本的数据作为测试集T。
训练集S和测试集T都包括脑部MR图像和相应的分割标签，但是其中分割标签是一种粗分割标签，即分割标签只去除了头皮和颅骨，未进一步区分脑脊液和脑组织。为了在后面评估不同方法的分割效果，本实施例采用人工标注的方式为测试集T的脑部MR图像，配备了新的进一步去除脑脊液的精细分割标签。为了展示数据集中样本数据的情况，图2给出了测试集T中某样本三维MR图像的二维截面图，以及相应的分割标签，其中(a)为MR图像，(b)为原始的粗分割标签；(c)为新的进一步去除脑脊液的精细分割标签。
步骤三：令BS为训练数据集S中的脑部医学图像，BS的大小为H×W×D，依据BS的大小构造包含n次下采样和n上采样的UNet卷积神经网络模型M，其中参数n根据图像大小和实际应用需求设定，模型M的网格结构和构造方法如下：
模型M首先通过下采样、上采样以及跳跃连接将2n+1个基本网络块组合在一起。每个基本网络块NetBi(i＝1,…,2n+1)都包含两个卷积层，卷积层中卷积核大小为3×3×3，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化。
NetB1的输入为脑部医学图像。NetBi(i＝1,…,n)的输出经过一个最大池化层处理后作为NetBi+1的输入，其中最大池化层的池化核大小为2×2×2，滑动步长为2。最大池化层将NetBi(i＝1,…,n)与NetBi+1连接起来实现一次空间分辨率的下采样。
NetBj(j＝n+1,…,2n)的输出经过一个反卷积层处理后作为NetBj+1的输入，其中反卷积层的卷积核大小为2×2×2，滑动步长为2，填充参数为1。反卷积层将NetBj(j＝n+1,…,2n)与NetBj+1连接起来实现一次空间分辨率的上采样。此外，NetBj+1(j＝n+1,…,2n)还通过跳跃连接将NetB2n-j+1的输出复制过来，与其原有输入合并在一起作为其输入。
在模型M的网络结构中，网络块之间除了空间分辨率的变化外，还存在卷积核数的变化。在网络块内部，每个卷积层的卷积核数是一样的；但在网络块之间，NetBi(i＝2,…,n+1)的卷积核数是NetBi-1的两倍，NetBj(j＝n+2,…,2n+1)的卷积核数是NetBj-1的二分之一。
模型M的最后是依次连接的1×1×1卷积层和SoftMax层。网络块NetB2n+1的输出被传递给1×1×1卷积层，由该层负责将前面网络聚集得到的多通道特征图转换为两通道特征图。两通道特征图经SoftMax层处理后，即可得到模型M预测的脑部医学图像各像素点属于大脑以及非脑区域的概率。
本实施例训练数据集中脑部医学图像为MR图像，其图像大小为256×256×192。针对该输入图像大小，本实施例设定模型M的参数n＝3，然后按照模型构造方法，得到的模型M的网络结构如图3所示，其中第一个网络块NetB1的卷积核数被设定为16。
步骤四：对M进行初始化，然后采用训练集S中的数据，对模型M进行训练，训练过程中的损失函数采用如下二分类交叉熵损失函数：
其中(i,j,k)是输入的脑部医学图像BS的像素点编号，xi,j,k是模型预测的像素点(i,j,k)属于大脑区域的概率，yi,j,k为该像素点所对应分割标签的取值，如果某像素点属于大脑区域，则其分割标签取值为1，否则为0。
本实施例在对模型M进行随机初始化后，按照上述要求对其进行了训练。在训练过程中，采用Adam算法进行优化，初始学习率为0.002，并使用等间隔的方式来调整学习率，学习率调整的间隔为30，调整的倍数为0.8，批量大小设置为1。当模型损失收敛到稳定状态，即可结束训练过程。本实施例在对模型M训练大约100轮后，损失就已收敛，因此在第110轮时结束了训练过程。
步骤五：采用训练集S中的数据，继续对模型M进行训练，训练过程中的损失函数采用如下复合损失函数：
LossCOM＝w1·LossBCE+w2·LossACM，
其中LossBCE表示二分类交叉熵损失，LossACM表示基于主动轮廓模型的损失，w1和w2是根据实际应用需求设定权重参数，LossBCE按照步骤4的公式计算，LossACM的计算方法如下：
其中(i,j,k)是输入的脑部医学图像BS的像素点编号，xi,j,k是模型预测的像素点(i,j,k)属于大脑区域的概率，ui,j,k表示脑部医学图像数据与其分割标签数据相乘后的像素点灰度值；μ≥0，ν≥0，λ1≥0，λ2≥0分别是根据实际应用需求设定的各个求和项的系数参数；c1和c2分别表示大脑区域像素点和非脑区域像素点的平均灰度值，各自的计算方法如下：
本实施例在此步骤中设定主动轮廓模型损失函数LossACM的各个系数参数为：μ＝2553×10-5、ν＝0.1、λ1＝1、λ2＝4，复合损失函数LossCOM的权重参数为：w1＝0.975、w2＝0.025；然后按照上述要求对模型M进行了训练。在训练过程中，采用Adam算法进行优化，初始学习率为0.002，并使用等间隔的方式来调整学习率，调整的间隔为30，调整的倍数为0.8，批量大小设置为1。当模型的复合损失收敛到稳定状态，即可结束训练过程。本实施例在此步骤对模型M训练大约20轮后，损失就已收敛，因此在第25轮时结束了训练过程。
步骤六：从测试集T中选取脑部医学图像BT，输入模型M，得到模型输出的预测BT各像素点属于大脑以及非脑区域的概率；然后依据预测的概率建立分割掩码LT，其中如果某像素点属于大脑区域的概率大于非脑区域的概率，则该像素点对应的分割掩码取值为1，否则取值为0；最后，分割掩码LT中取值为1的区域就是所要提取的大脑区域。
本实施例在步骤六中选取的脑部医学图像BT是测试集T中某个样本的MR图像，将其输入到模型M，得到了模型输出的预测概率，并按照此步骤的方法建立了相应的分割掩码LT。该分割掩码LT中取值为1的区域就是本发明方法所提取的大脑区域，也是本发明方法对于脑部医学图像BT进行大脑分割的分割结果。该结果不仅剔除了原脑部医学图像中的头皮和颅骨，还进一步分离了脑脊液和脑组织，因此是更加精细的大脑分割结果。
为说明本发明方法的有效性，本实施例在同等条件下，将本发明方法与3DUNet进行了对比。3DUNet是普通的基于UNet的三维医学图像分割方法。
图4展示了某测试样本的MR图像，在采用不同分割方法进行分割时所获得的分割结果，其中(i)为横切面，(ii)为冠状面，(iii)为矢状面，(a)是3DUNet的结果，(b)是本发明方法的结果，白色曲线是按照分割结果绘制的分割边界。
由图4可见，3DUNet只做到了粗分割，分离出来的大脑还包含不少脑脊液占据的区域；本发明方法不仅能够剔除头皮和颅骨，还实现了脑脊液和脑组织的精细分离，对于大脑边缘细节的处理明显优于3DUNet。本发明方法获得了更加精细的大脑分割结果。
本发明方法与3DUNet的差异还体现在依据分割结果所建立的大脑模型上。本实施例根据图4所示测试样本的分割结果，分别创建了相应的大脑模型，其结果如图5所示，其中(i)为横切面视图，(ii)为冠状面视图，(iii)为矢状面视图，(a)是依据3DUNet的分割结果建立的大脑模型，(b)是按照本发明方法的分割结果建立的大脑模型。
由图5可见，依据本发明方法的分割结果创建的大脑模型，具有更清晰的沟回结构，更有利于大脑空间结构分析及后续处理。依据3DUNet的分割结果创建的大脑模型则模糊了大脑表面的沟回结构，不利于后续分析和处理。
此外，为了定量评估本发明方法的效果，本实施例在整个测试集T上测试了3DUNet方法和本发明方法；然后采用Dice系数(Dice)、特异度(Specificity)、相对体积误差(RVD)以及豪斯多夫距离(HD)等客观评价指标，对这两种方法的分割结果进行了评价。表1给出了3DUNet和本发明方法在不同评价指标下的评价结果；其中Dice系数和特异度取值越大，表明分割效果越好；相对体积误差和豪斯多夫距离越小，表明分割精度越高。从表1所示的评价指标看，本发明方法的分割效果和精度都明显优于3DUNet。
表1本发明方法与3DUNet在测试集T上的评价指标
上述步骤及实例说明了本发明所述的一种结合UNet和主动轮廓模型的大脑提取方法的全部过程。
上述步骤及实例所涉及的脑部医学图像是三维MR图像，若将三维MR图像替换为三维CT图像或者是其他模态的三维脑部医学图像，本发明方法及所述实施方式同样适用。
目前，本实施方式是以三维脑部医学图像作为处理对象，但是其中包含了对二维脑部医学图像的处理。若将本发明方法及本实施方式所涉及的维度大小的第三个维度设置为1，即可将其应用于二维脑部医学图像的处理。
应该理解的是，本实施方式只是本发明实施的具体实例，不应该是本发明保护范围的限制。在不脱离本发明的精神与范围的情况下，对上述内容进行等效的修改或者变更均应包含在本发明所要求保护的范围之内。
Claims (1)
1.一种结合UNet和主动轮廓模型的大脑提取方法，其特征在于，包括以下步骤：
步骤1：获取脑部医学图像数据集，并对脑部医学图像数据集进行必要的预处理使其满足神经网络处理要求；
步骤2：将脑部医学图像数据集划分为训练集S和测试集T；
步骤3：令BS为训练数据集S中的脑部医学图像，BS的大小为H×W×D，依据BS的大小构造包含n次下采样和n上采样的UNet卷积神经网络模型M，其中参数n根据图像大小和实际应用需求设定，模型M的网格结构和构造方法如下：
模型M首先通过下采样、上采样以及跳跃连接将2n+1个基本网络块组合在一起；每个基本网络块NetBi(i＝1,…,2n+1)都包含两个卷积层，卷积层中卷积核大小为3×3×3，滑动步长为1，填充参数为1，激活函数为ReLU函数，归一化操作为批量归一化；
NetB1的输入为脑部医学图像；NetBi(i＝1,…,n)的输出经过一个最大池化层处理后作为NetBi+1的输入，其中最大池化层的池化核大小为2×2×2，滑动步长为2；最大池化层将NetBi(i＝1,…,n)与NetBi+1连接起来实现一次空间分辨率的下采样；
NetBj(j＝n+1,…,2n)的输出经过一个反卷积层处理后作为NetBj+1的输入，其中反卷积层的卷积核大小为2×2×2，滑动步长为2，填充参数为1；反卷积层将NetBj(j＝n+1,…,2n)与NetBj+1连接起来实现一次空间分辨率的上采样；此外，NetBj+1(j＝n+1,…,2n)还通过跳跃连接将NetB2n-j+1的输出复制过来，与其原有输入合并在一起作为其输入；
在模型M的网络结构中，网络块之间除了空间分辨率的变化外，还存在卷积核数的变化；在网络块内部，每个卷积层的卷积核数是一样；但在网络块之间，NetBi(i＝2,…,n+1)的卷积核数是NetBi-1的两倍，NetBj(j＝n+2,…,2n+1)的卷积核数是NetBj-1的二分之一；
模型M的最后是依次连接的1×1×1卷积层和SoftMax层；网络块NetB2n+1的输出被传递给1×1×1卷积层，由该层负责将前面网络聚集得到的多通道特征图转换为两通道特征图；两通道特征图经SoftMax层处理后，即可得到模型M预测的脑部医学图像各像素点属于大脑以及非脑区域的概率；
步骤4：对M进行初始化，然后采用训练集S中的数据，对模型M进行训练，训练过程中的损失函数采用如下二分类交叉熵损失函数：
其中(i,j,k)是输入的脑部医学图像BS的像素点编号，xi,j,k是模型预测的像素点(i,j,k)属于大脑区域的概率，yi,j,k为该像素点所对应分割标签的取值，如果某像素点属于大脑区域，则其分割标签取值为1，否则为0；
步骤5：采用训练集S中的数据，继续对模型M进行训练，训练过程中的损失函数采用如下复合损失函数：
LossCOM＝w1·LossBCE+w2·LossACM，
其中LossBCE表示二分类交叉熵损失，LossACM表示基于主动轮廓模型的损失，w1和w2是根据实际应用需求设定权重参数，LossBCE按照步骤4的公式计算，LossACM的计算方法如下：
其中(i,j,k)是输入的脑部医学图像BS的像素点编号，xi,j,k是模型预测的像素点(i,j,k)属于大脑区域的概率，ui,j,k表示脑部医学图像数据与其分割标签数据相乘后的像素点灰度值；μ≥0，ν≥0，λ1≥0，λ2≥0分别是根据实际应用需求设定的各个求和项的系数参数；c1和c2分别表示大脑区域像素点和非脑区域像素点的平均灰度值，各自的计算方法如下：
步骤6：从测试集T中选取脑部医学图像BT，输入模型M，得到模型输出的预测BT各像素点属于大脑以及非脑区域的概率；然后依据预测的概率建立分割掩码LT，其中如果某像素点属于大脑区域的概率大于非脑区域的概率，则该像素点对应的分割掩码取值为1，否则取值为0；最后，分割掩码LT中取值为1的区域就是所要提取的大脑区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210656324.5A CN115100123A (zh) | 2022-06-10 | 2022-06-10 | 一种结合UNet和主动轮廓模型的大脑提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210656324.5A CN115100123A (zh) | 2022-06-10 | 2022-06-10 | 一种结合UNet和主动轮廓模型的大脑提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115100123A true CN115100123A (zh) | 2022-09-23 |
Family
ID=83290879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210656324.5A Pending CN115100123A (zh) | 2022-06-10 | 2022-06-10 | 一种结合UNet和主动轮廓模型的大脑提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115100123A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495893A (zh) * | 2023-12-25 | 2024-02-02 | 南京筑卫医学科技有限公司 | 一种基于主动轮廓模型的颅骨剥离方法 |
| CN117746045A (zh) * | 2024-02-08 | 2024-03-22 | 江西师范大学 | 一种Transformer和卷积融合的医学图像分割方法及系统 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016681A (zh) * | 2017-03-29 | 2017-08-04 | 浙江师范大学 | 基于全卷积网络的脑部mri肿瘤分割方法 |
| US20180218502A1 (en) * | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
| CN109087318A (zh) * | 2018-07-26 | 2018-12-25 | 东北大学 | 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法 |
| CN109215035A (zh) * | 2018-07-16 | 2019-01-15 | 江南大学 | 一种基于深度学习的脑部mri海马体三维分割方法 |
| CN109754404A (zh) * | 2019-01-02 | 2019-05-14 | 清华大学深圳研究生院 | 一种基于多注意力机制的端到端的肿瘤分割方法 |
| CN109859215A (zh) * | 2019-01-30 | 2019-06-07 | 北京慧脑云计算有限公司 | 一种基于Unet模型的脑白质高信号自动分割系统及其方法 |
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| CN110148145A (zh) * | 2019-03-25 | 2019-08-20 | 东南大学 | 一种融合边界信息的图像目标区提取方法及应用 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN110706214A (zh) * | 2019-09-23 | 2020-01-17 | 东南大学 | 融合条件随机与残差的三维U-Net大脑肿瘤分割方法 |
| US20200065969A1 (en) * | 2018-08-27 | 2020-02-27 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
| CN110853048A (zh) * | 2019-10-14 | 2020-02-28 | 北京缙铖医疗科技有限公司 | 基于粗、精训练的mri图像分割方法、装置和存储介质 |
| WO2020238044A1 (zh) * | 2019-05-31 | 2020-12-03 | 深圳市前海安测信息技术有限公司 | 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质 |
| CN112529886A (zh) * | 2020-12-18 | 2021-03-19 | 西北工业大学 | 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法 |
| CN112598656A (zh) * | 2020-12-28 | 2021-04-02 | 长春工业大学 | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 |
| CN112785603A (zh) * | 2021-01-15 | 2021-05-11 | 沈阳建筑大学 | 一种基于Unet和超像素的脑组织分割方法 |
| CN112950612A (zh) * | 2021-03-18 | 2021-06-11 | 西安智诊智能科技有限公司 | 一种基于卷积神经网络的脑肿瘤图像分割方法 |
| CN114266939A (zh) * | 2021-12-23 | 2022-04-01 | 太原理工大学 | 一种基于ResTLU-Net模型的脑提取方法 |
| CN114266739A (zh) * | 2021-12-14 | 2022-04-01 | 南京邮电大学 | 基于对比学习的半监督卷积神经网络的医学图像分割方法 |
-
2022
- 2022-06-10 CN CN202210656324.5A patent/CN115100123A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180218502A1 (en) * | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
| CN107016681A (zh) * | 2017-03-29 | 2017-08-04 | 浙江师范大学 | 基于全卷积网络的脑部mri肿瘤分割方法 |
| CN109215035A (zh) * | 2018-07-16 | 2019-01-15 | 江南大学 | 一种基于深度学习的脑部mri海马体三维分割方法 |
| CN109087318A (zh) * | 2018-07-26 | 2018-12-25 | 东北大学 | 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法 |
| US20200065969A1 (en) * | 2018-08-27 | 2020-02-27 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
| CN109754404A (zh) * | 2019-01-02 | 2019-05-14 | 清华大学深圳研究生院 | 一种基于多注意力机制的端到端的肿瘤分割方法 |
| CN109859215A (zh) * | 2019-01-30 | 2019-06-07 | 北京慧脑云计算有限公司 | 一种基于Unet模型的脑白质高信号自动分割系统及其方法 |
| CN110148145A (zh) * | 2019-03-25 | 2019-08-20 | 东南大学 | 一种融合边界信息的图像目标区提取方法及应用 |
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| WO2020238044A1 (zh) * | 2019-05-31 | 2020-12-03 | 深圳市前海安测信息技术有限公司 | 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN110706214A (zh) * | 2019-09-23 | 2020-01-17 | 东南大学 | 融合条件随机与残差的三维U-Net大脑肿瘤分割方法 |
| CN110853048A (zh) * | 2019-10-14 | 2020-02-28 | 北京缙铖医疗科技有限公司 | 基于粗、精训练的mri图像分割方法、装置和存储介质 |
| CN112529886A (zh) * | 2020-12-18 | 2021-03-19 | 西北工业大学 | 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法 |
| CN112598656A (zh) * | 2020-12-28 | 2021-04-02 | 长春工业大学 | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 |
| CN112785603A (zh) * | 2021-01-15 | 2021-05-11 | 沈阳建筑大学 | 一种基于Unet和超像素的脑组织分割方法 |
| CN112950612A (zh) * | 2021-03-18 | 2021-06-11 | 西安智诊智能科技有限公司 | 一种基于卷积神经网络的脑肿瘤图像分割方法 |
| CN114266739A (zh) * | 2021-12-14 | 2022-04-01 | 南京邮电大学 | 基于对比学习的半监督卷积神经网络的医学图像分割方法 |
| CN114266939A (zh) * | 2021-12-23 | 2022-04-01 | 太原理工大学 | 一种基于ResTLU-Net模型的脑提取方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495893A (zh) * | 2023-12-25 | 2024-02-02 | 南京筑卫医学科技有限公司 | 一种基于主动轮廓模型的颅骨剥离方法 |
| CN117495893B (zh) * | 2023-12-25 | 2024-03-19 | 南京筑卫医学科技有限公司 | 一种基于主动轮廓模型的颅骨剥离方法 |
| CN117746045A (zh) * | 2024-02-08 | 2024-03-22 | 江西师范大学 | 一种Transformer和卷积融合的医学图像分割方法及系统 |
| CN117746045B (zh) * | 2024-02-08 | 2024-05-28 | 江西师范大学 | 一种Transformer和卷积融合的医学图像分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107369160B (zh) | 一种oct图像中脉络膜新生血管分割算法 | |
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN107644420B (zh) | 基于中心线提取的血管图像分割方法、核磁共振成像系统 | |
| CN110236543B (zh) | 基于深度学习的阿尔茨海默病多分类诊断系统 | |
| CN109389585B (zh) | 一种基于全卷积神经网络的脑组织提取方法 | |
| CN115100123A (zh) | 一种结合UNet和主动轮廓模型的大脑提取方法 | |
| Wen et al. | A novel statistical cerebrovascular segmentation algorithm with particle swarm optimization | |
| CN113616184A (zh) | 基于多模态磁共振图像的脑网络建模与个体预测方法 | |
| CN110148145B (zh) | 一种融合边界信息的图像目标区提取方法及应用 | |
| CN112767417B (zh) | 一种基于级联U-Net网络的多模态图像分割方法 | |
| CN109492668B (zh) | 基于多通道卷积神经网络的mri不同期多模图像表征方法 | |
| CN108960341B (zh) | 一种面向脑网络的结构化特征选择方法 | |
| CN109410195B (zh) | 一种磁共振成像脑分区方法及系统 | |
| CN110298364B (zh) | 面向功能性脑网络的多阈值下基于多任务的特征选择方法 | |
| CN111598894B (zh) | 基于全局信息卷积神经网络的视网膜血管图像分割系统 | |
| CN112862805B (zh) | 听神经瘤图像自动化分割方法及系统 | |
| CN113936011A (zh) | 基于注意力机制的ct影像肺叶图像分割系统 | |
| Gerig et al. | Medical imaging and computer vision: An integrated approach for diagnosis and planning | |
| Ma et al. | MRI image synthesis with dual discriminator adversarial learning and difficulty-aware attention mechanism for hippocampal subfields segmentation | |
| CN115147600A (zh) | 基于分类器权重转换器的gbm多模态mr图像分割方法 | |
| CN112288749A (zh) | 一种基于深度迭代融合深度学习模型的颅骨图像分割方法 | |
| Qayyum et al. | Automatic segmentation using a hybrid dense network integrated with an 3D-atrous spatial pyramid pooling module for computed tomography (CT) imaging | |
| CN115984555A (zh) | 一种基于深度自编码器构图的冠状动脉狭窄识别方法 | |
| CN116758336A (zh) | 一种基于人工智能的医学图像智能分析系统 | |
| Dong et al. | Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |