CN112446891B - 基于U-Net网络脑胶质瘤的医学图像分割方法 - Google Patents
基于U-Net网络脑胶质瘤的医学图像分割方法 Download PDFInfo
- Publication number
- CN112446891B CN112446891B CN202011144947.1A CN202011144947A CN112446891B CN 112446891 B CN112446891 B CN 112446891B CN 202011144947 A CN202011144947 A CN 202011144947A CN 112446891 B CN112446891 B CN 112446891B
- Authority
- CN
- China
- Prior art keywords
- convolution
- net network
- network model
- layer
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 title claims abstract description 15
- 201000007983 brain glioma Diseases 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000011176 pooling Methods 0.000 claims abstract description 21
- 239000000284 extract Substances 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 206010028980 Neoplasm Diseases 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 9
- 208000032612 Glial tumor Diseases 0.000 claims description 6
- 206010018338 Glioma Diseases 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 210000004556 brain Anatomy 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 208000030173 low grade glioma Diseases 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000005481 NMR spectroscopy Methods 0.000 claims 2
- 238000012935 Averaging Methods 0.000 abstract description 5
- 238000010200 validation analysis Methods 0.000 abstract 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
基于U‑Net网络脑胶质瘤的医学图像分割方法，包括：步骤1)对所选数据集进行预处理；步骤2)构建网络模型；步骤3)设置训练策略；步骤4)训练网络并更新参数；5)评估模型；6)将验证集送入训练好的模型。本发明先是对U‑Net的整体架构进行了调整，并在此基础上加入了在本文中称之为refine的模块，refine模块融合了1x1卷积、空洞卷积和全局平均池化的模块。加入的空洞卷积能使得网络的感受野在不增加卷积核参数的情况下得到有效的提升，1x1卷积可以提取更多的细节特征，通过这两部分的结合，能有效地集成粗糙的全局特征和细节的局部特征。全局平均池化能得到各个通道间的相关性，能得到模型在空间上更多的特征信息。
Description
技术领域
本发明属于深度学习技术领域，应用于医学图像分割方面，具体使用了一种新的基于U-Net网络脑胶质瘤的医学图像分割方法。
背景技术及意义
医学图像分割是从医学图像中识别器官或病变的像素点，是医学图像诊断和计算机辅助诊断系统中不可缺少的步骤，也是医学图像分析中最具挑战性的任务之一。其中脑肿瘤的医学图像分割是脑肿瘤研究的关键步骤，对脑肿瘤的精确分割能更加准确地对脑肿瘤进行分类并有效地帮助后续的治疗、也是准确设计放疗或手术治疗肿瘤的关键步骤。传统的医学图像分割算法包括基于阀值的分割算法、基于边缘的分割算法、基于区域的分割算法、基于图论的分割算法、基于聚类的分割算法等。
近几年来，深度学习的方法在计算机视觉领域取得了巨大的突然。其中卷积神经网络在医学图像分割任务中的表现均超过了传统的算法。在处理医学图像领域中，最常见的分割网络是U-Net网络，U-Net的主要架构是以相同数量的上采样层和下采样层组合，上采样层和下采样层为对称结构，并以跳跃连接的方式融合上下采样层中高级和低级特征信息，从而得到更加精确的分割结果。
随着深度学习的不断发展，如何更好地优化之前的模型并将其应用到医学图像中来，使其分割的医学图像能更加地准确成了目前研究的重要领域。
发明内容
本发明要克服现有技术的上述缺点，提供一种基于U-Net网络脑胶质瘤的医学图像分割方法。
本发明在U-Net网络模型的大体框架上加入了在本文中称之为refine的模块。refine模块融合了1x1卷积、空洞卷积和全局平均池化的模块。加入的空洞卷积能使得网络的感受野在不增加卷积核参数的情况下得到有效的提升，有利于在卷积核中建立全局视野，提取整体特征，1x1卷积可以提取更多的细节特征，通过这两部分的结合，能有效地集成粗糙的全局特征和细节的局部特征。全局平均池化能得到各个通道间的相关性，将通过全局平均池化得到的结果与前两个模块的所得到的结果相乘。能得到在空间上更多的特征信息。
为使本发明的目的、技术方案和优点更加清晰，下面就对本发明的技术方案作进一步描述。本发明的基于U-Net网络脑胶质瘤的医学图像分割方法，包括如下步骤：
步骤1)对所选的数据集进行图像预处理；
首先读取含有脑胶质瘤患者的MR(核磁共振)图像并将其转换成灰度图，然后通过对原数据集进行裁剪、翻转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强，数据增强可以增加训练的数据量，提高U-Net网络模型的泛化能力，同时也可以增加噪音数据，提升U-Net网络模型的鲁棒性。最后对数据进行归一化处理。
步骤2)构建U-Net网络模型；
2.1.本发明所提出的refine模块：
refine模块一共由两条路径组成，第一条路径是将输入的数据经过全局平均池化层，全局平均池化是将每一层特征图求平均值，然后通过全局平均池化层之后再通过两层全连接层，最后得到表示通道之间相关性的数据。第二条路径是由1x1卷积和空洞卷积组成，其中空洞卷积的膨胀率每一层都设置不同的数值，从上而下空洞卷积的膨胀率分别为12、6、3、3。数据分别经过1x1卷积和空洞卷积，然后将得到的结果进行想加，1x1卷积能够提取更多的细节特征，空洞卷积能使网络的感受野在卷积核参数不变的情况下得到有效的提升，通过这两部分的结合，能有效地集成粗糙的全局特征和细节的局部特征。最后将两条路径得到的结果进行相乘。
2.2.以U-Net网络模型为基础的框架：
U-Net网络模型包含4组对称结构的上采样和下采样，分为编码部分和解码部分，自上而下一共分为6层。除了首尾两层以外，每一层都包含了两个卷积层，每一层经过第一个卷积操作之后会通过ReLU激活函数，然后经过第二个卷积操作，并通过批标准化和ReLU激活函数，接着在每次下采样部分都会通过Dropout操作，Dropout可以使某个神经元的激活值以一定的概率停止工作，这样可以使U-Net网络模型的泛化性更强，可以比较有效地缓解过拟合的发送，在一定程度上达到正则化的效果。
2.3.将refine模块加入到调整后的U-Net网络中：
这个小节介绍本发明所提出的U-Net网络模型的具体流程：先是编码部分，输入的图片是256x256x3尺寸，接着进入第二层，在第二层中先是经过了两个卷积操作，第一个卷积核是7x7尺寸并且添加了Relu激活函数；第二个卷积核是5x5尺寸并且加入了BN(batchnormalization批标准化)和Relu激活函数。BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为取得标准正态分布，这样能避免梯度消失问题的产生并且大大加快训练速度。然后加入Dropout操作，最后进行最大池化操作，池化操作之后表示第一层结束。接下来的三、四、五层中，操作和第二层类似，只是卷积核的不同，第六层，采用1x1的卷积核是为了提取图像中更多的细节信息。然后是解码部分，先是将编码部分得到的结果进行上采样操作，然后将第五层中下采样得到的结果通过refine模块，最后将这两部的数据进行连接起来，通过concatenate操作后再进行两次卷积，接着进行以上的操作依次向上最终得到输出图。
步骤3)设置训练策略；
将经过预处理的数据集以6:2:2的比例依次划分为训练集、测试集和验证集。采用随机初始化和Adam优化算法。根据电脑配置等设置BatchSize(一次训练所选取的样本数)以及epoch(表示回合的意思，训练完所有的数据表示一回合)。设置合适的初始学习率，一阶矩估计的指数衰减率、二阶矩估计的指数衰减率、每次更新时学习率下降的值。
步骤4)训练U-Net网络模型和更新参数；
根据设置好的训练策略对U-Net网络模型进行训练。更新参数：U-Net网络模型中采用反向传播算法(BP)算法对网络中的权重和偏置进行更新。训练迭代过程中利用损失函数(Dice Loss)进行参数地更新。
损失函数Dice Loss公式为：
y代表真实值，p代表预测值。
步骤5)评估U-Net网络模型；
建立包括精确度Precision、召回率Recall、准确度ACC、骰子系数DC、F1分数的评价指标，通过计算评价指标将我们的U-Net网络模型与最先进的用于医学图像的深度学习模型进行比较从而评估我们方法的性能。
评价标准的公示如下所示：
表示在所有预测为正样本的数据中，有多少是真正的正样本；
表示所有被正确预测为证样本的样本数量与真实的正样本的总数量的比值；
表示所有的样本数据中，有多少是被正确预测的；
表示正样本和预测样本间的相似度；
表示为精确率和召回率的调和平均数；
其中TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性。
步骤6)将验证集送入训练好的U-Net网络模型；
将之前分割好的验证集送入本发明中所训练好的U-Net网络模型，输出的结果会随机地从验证集中挑选50张患者的MR图像进行分割效果的可视化，这50张患者的MR图像中包含了不同类型的肿瘤。分割效果的可视化图片中一共包含了3张图片。从左往右第一张图片表示含有低级神经胶质瘤的脑部MR图像，第二张表示专家分割出的肿瘤图像，第三张表示使用本发明中提出的U-Net网络模型所分割出的肿瘤图像。通过对比专家分割出的肿瘤图像和本发明中训练好的U-Net网络模型所分割出的图像来对模型进行评估。
本发明具有以下优点：
1.本发明加入refine模块，refine模块融合了1x1卷积、空洞卷积和全局平均池化的模块。加入的空洞卷积能使得网络的感受野在不增加卷积核参数的情况下得到有效的提升，有利于在卷积核中建立全局视野，提取整体特征，1x1卷积可以提取更多的细节特征，通过这两部分的结合，能有效地集成粗糙的全局特征和细节的局部特征。全局平均池化能得到各个通道间的相关性，将通过全局平均池化得到的结果与前两个模块的所得到的结果相乘。能得到在空间上更多的特征信息。
2.本发明在U-Net网络模型的基础上加入了Dropout，Dropout可以使某个神经元的激活值以一定的概率停止工作，这样可以使U-Net网络模型的泛化性更强，可以比较有效地缓解过拟合的发送，在一定程度上达到正则化的效果。
附图说明
图1是本发明所提出的U-Net网络结构图；
图2是本发明所提出的refine模块结构图；
图3是本发明所提出网络的具体的流程图；
图4a～图4c是使用本发明的网络对脑胶质瘤进行分割的示意图，图4a表示含有低级神经胶质瘤的脑部MR图像，图4b表示专家分割出的肿瘤图像，图4c表示使用本发明中提出的网络模型所分割出的肿瘤图像。
具体实施方式
以下结合附图对本发明做进一步说明：
本发明的一种新的基于U-Net网络脑胶质瘤的医学图像分割方法具体包括以下步骤：
步骤1)对所选的数据集进行图像预处理；
首先读取含有脑胶质瘤患者的MR(核磁共振)图像并将其转换成灰度图，然后通过对原数据集进行裁剪、翻转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强，数据增强可以增加训练的数据量，提高U-Net网络模型的泛化能力，同时也可以增加噪音数据，提升U-Net网络模型的鲁棒性。最后对数据进行归一化处理。
步骤2)构建U-Net网络模型；
2.1本发明所提出的模块：
如图2所示。这个模块一共由两条路径组成，第一条路径是将输入的数据先经过全局平均池化层(图中用GAP表示)，全局平均池化是将每一层特征图求平均值，然后通过2层全连接层(图中用Dense表示)，最后得到表示通道之间相关性的数据。第二条路径是由1x1卷积(图中用Conv1x1表示)和空洞卷积(图中用Dilated conv表示)组成，其中空洞卷积的膨胀率每一层都设置不同的数值，从上而下空洞卷积的膨胀率分别为12、6、3、3。数据分别经过1x1卷积和空洞卷积，最后将得到的结果进行想加，1x1卷积能够提取更多的细节特征，空洞卷积能使网络的感受野在卷积核参数不变的情况下得到有效的提升，通过这两条部分的结合，能有效地集成粗糙的全局特征和细节的局部特征。最后将两条路径得到的结果进行相乘。
2.2.以U-Net网络模型为基础的框架：
如图1所示，U-Net网络模型包含4组对称结构的上采样和下采样，分为编码部分和解码部分，自上而下一共分为6层。除首尾两层外每一层都包含了两个卷积层，每一层经过第一个卷积操作之后会通过ReLU激活函数，然后经过第二个卷积操作，并通过批标准化和ReLU激活函数，接着在下采样部分之前会通过Dropout操作，Dropout可以使某个神经元的激活值以一定的概率停止工作，这样可以使U-Net网络模型的泛化性更强，可以比较有效地缓解过拟合的发送，在一定程度上达到正则化的效果。
2.3.将refine模块加入到调整后的U-Net网络模型中：
在图3中，详细地介绍了本发明所提出的U-Net网络模型的具体流程：先是编码部分，输入的图片是256x256x3尺寸，接着进入第二层，在第二层中先是经过了两个卷积操作，第一个卷积核是7x7尺寸并且添加了Relu激活函数；第二个卷积核是5x5尺寸并且加入了BN(batch normalization批标准化)和Relu激活函数。BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为取得标准正态分布，这样能避免梯度消失问题的产生并且大大加快训练速度。然后加入Dropout操作，最后进行最大池化操作(图中用Maxpol表示)，池化操作之后表示第一层结束。接下来的三、四、五层中，操作和第二层类似，只是卷积核的不同，具体的数据如图3所示。第六层，采用1x1的卷积核是为了提取图像中更多的细节信息。然后是解码部分，先是将编码部分得到的结果进行上采样操作(图中用Deconv表示)，然后将第五层中下采样得到的结果通过refine模块，最后将这两部的数据进行连接起来(图中用concatenate表示)，通过concatenate操作后再进行两次卷积，如流程图所示进行以上的操作依次向上最终得到输出图。
步骤3)设置训练策略；
将经过预处理的数据集以6:2:2的比例依次划分为训练集、测试集和验证集。采用随机初始化和Adam优化算法。根据电脑配置等设置BatchSize(一次训练所选取的样本数)以及epoch(表示回合的意思，训练完所有的数据表示一回合)。设置合适的初始学习率，一阶矩估计的指数衰减率、二阶矩估计的指数衰减率、每次更新时学习率下降的值。
步骤4)训练网络和更新参数；
根据设置好的训练策略对U-Net网络模型进行训练。更新参数：U-Net网络模型中采用反向传播算法(BP)算法对网络中的权重和偏置进行更新。训练迭代过程中利用损失函数(Dice Loss)进行参数地更新。
损失函数Dice Loss公式为：
y代表真实值，p代表预测值。
步骤5)评估U-Net网络模型；
建立包括精确度Precision、召回率Recall、准确度ACC、骰子系数DC、F1分数的评价指标，通过计算评价指标将我们的U-Net网络模型与最先进的用于医学图像分割的深度学习模型进行比较从而评估我们方法的性能。
评价标准的公示如下所示：
表示在所有预测为正样本的数据中，有多少是真正的正样本；
表示所有被正确预测为证样本的样本数量与真实的正样本的总数量的比值；
表示所有的样本数据中，有多少是被正确预测的；
表示正样本和预测样本间的相似度；
表示为精确率和召回率的调和平均数；
其中TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性。
步骤6)将验证集送入训练好的U-Net网络模型；
将之前分割好的验证集送入本发明中所训练好的U-Net网络模型，输出的结果会随机地从验证集中挑选50张患者的MR图像进行分割效果的可视化，这50张患者的MR图像中包含了不同类型的肿瘤。分割效果的可视化图片中一共包含了3张图片。如图4a～图4c所示，图4a表示含有低级神经胶质瘤的脑部MR图像，图4b表示专家分割出的肿瘤图像，其中白色的部分表示神经胶质瘤，图4c表示使用本发明中提出的U-Net网络模型所分割出的肿瘤图像。通过对比专家分割出的肿瘤图像和本发明中训练好的U-Net网络模型所分割出的图像来对模型进行评估。
Claims (2)
1.基于U-Net网络脑胶质瘤的医学图像分割方法，具体步骤如下：
步骤1)对所选的数据集进行图像预处理；
数据增强，首先读取含有脑胶质瘤患者的MR核磁共振图像并将其转换成灰度图，然后通过对原数据集进行裁剪、翻转、旋转、缩放、移位的方式来扩大数据集；最后对数据进行归一化处理；
步骤2)构建U-Net网络模型；
2.1.构建refine模块：
refine模块由两条路径组成，第一条路径是将输入的数据先经过全局平均池化层，全局平均池化是将每一层特征图求平均值，然后通过2层全连接层，最后得到表示通道之间相关性的数据；第二条路径是由1x1卷积和空洞卷积组成，其中空洞卷积的膨胀率每一层都设置不同的数值，从上而下空洞卷积的膨胀率分别为12、6、3、3；数据分别经过1x1卷积和空洞卷积，最后将得到的结果进行想加，1x1卷积能够提取更多的细节特征，空洞卷积能使网络的感受野在卷积核参数不变的情况下得到有效的提升，通过这两条部分的结合，能有效地集成粗糙的全局特征和细节的局部特征；最后将两条路径得到的结果进行相乘；
2.2.以U-Net网络模型为基础的框架：
U-Net网络模型包含4组对称结构的上采样和下采样，分为编码部分和解码部分，自上而下一共分为6层；除了首尾两层以外，每一层都包含了两个卷积层，每一层经过第一个卷积操作之后会通过ReLU激活函数，然后经过第二个卷积操作，并通过批标准化和ReLU激活函数，接着在下采样部分之前通过Dropout操作；
2.3.将refine模块加入到U-Net网络模型中：
先是编码部分，输入的图片是256x256x3尺寸，接着进入第二层，在第二层中先是经过了两个卷积操作，第一个卷积核是7x7尺寸并且添加了Relu激活函数；第二个卷积核是5x5尺寸并且加入了batch normalization批标准化BN和Relu激活函数；BN就是通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为取得标准正态分布；然后加入Dropout操作，最后进行最大池化操作，池化操作之后表示第一层结束；接下来的三、四、五层中，操作和第二层类似，只是卷积核的不同，第六层，采用1x1的卷积核是为了提取图像中更多的细节信息；然后是解码部分，先是将编码部分得到的结果进行上采样操作，然后将第五层中下采样得到的结果通过refine模块，最后将这两部的数据进行连接起来，通过concatenate操作后再进行两次卷积，接着进行以上的操作依次向上最终得到输出图；
步骤3)设置训练策略；
将经过预处理的数据集以6:2:2的比例依次划分为训练集、测试集和验证集；采用随机初始化和Adam优化算法；根据电脑配置设置一次训练所选取的样本数BatchSize以及回合数epoch；设置合适的初始学习率，一阶矩估计的指数衰减率、二阶矩估计的指数衰减率、每次更新时学习率下降的值；
步骤4)训练网络和更新参数；
根据设置好的训练策略对U-Net网络模型进行训练；更新参数：U-Net网络网络模型采用反向传播算法BP算法对网络中的权重和偏置进行更新；训练迭代过程中利用损失函数Dice Loss进行参数地更新；
损失函数Dice Loss公式为：
y代表真实值，p代表预测值；
步骤5)；评估U-Net网络模型；
建立包括精确度Precision、召回率Recall、准确度ACC、骰子系数DC、F1分数的评价指标，通过计算评价指标将所述的U-Net网络模型与最先进的用于分割医学图像的深度学习模型进行比较；
评价标准的公示如下所示：
表示在所有预测为正样本的数据中，有多少是真正的正样本；
表示所有被正确预测为证样本的样本数量与真实的正样本的总数量的比值；
表示所有的样本数据中，有多少是被正确预测的；
表示正样本和预测样本间的相似度；
表示为精确率和召回率的调和平均数；
其中TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性；
步骤6)；将验证集送入训练好的U-Net网络模型；
将之前分割好的验证集送入训练好的U-Net网络模型，输出的结果会随机地从验证集中挑选若干张患者的MR图像进行分割效果的可视化，这些患者的MR图像中包含了不同类型的肿瘤；分割效果的可视化图片中一共包含了表示含有低级神经胶质瘤的脑部MR图像、表示专家分割出的肿瘤图像、表示使用本发明中提出的U-Net网络模型所分割出的肿瘤图像；通过对比专家分割出的肿瘤图像和本发明中训练好的U-Net网络模型所分割出的图像来对模型进行评估。
2.如权利要求1所述的基于U-Net网络脑胶质瘤的医学图像分割方法，其特征在于：步骤6)所述的患者的MR图像选用50张。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011144947.1A CN112446891B (zh) | 2020-10-23 | 2020-10-23 | 基于U-Net网络脑胶质瘤的医学图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011144947.1A CN112446891B (zh) | 2020-10-23 | 2020-10-23 | 基于U-Net网络脑胶质瘤的医学图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112446891A CN112446891A (zh) | 2021-03-05 |
| CN112446891B true CN112446891B (zh) | 2024-04-02 |
Family
ID=74735554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011144947.1A Active CN112446891B (zh) | 2020-10-23 | 2020-10-23 | 基于U-Net网络脑胶质瘤的医学图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112446891B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11580646B2 (en) | 2021-03-26 | 2023-02-14 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on U-Net |
| CN113240677B (zh) * | 2021-05-06 | 2022-08-02 | 浙江医院 | 一种基于深度学习的视网膜视盘分割方法 |
| CN113177938B (zh) * | 2021-05-25 | 2023-04-07 | 深圳大学 | 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件 |
| CN113384261B (zh) * | 2021-05-28 | 2022-12-16 | 华南理工大学 | 一种基于深度学习的椎体压缩性骨折多模态智能诊断系统 |
| CN113658142B (zh) * | 2021-08-19 | 2024-03-12 | 江苏金马扬名信息技术股份有限公司 | 一种基于改进U-Net神经网络的髋关节股骨近端分割方法 |
| CN114283153A (zh) * | 2021-11-15 | 2022-04-05 | 天津大学 | 基于神经网络的肺部病理切片癌细胞分割算法 |
| CN114004836B (zh) * | 2022-01-04 | 2022-04-01 | 中科曙光南京研究院有限公司 | 一种基于深度学习的自适应生物医学影像分割方法 |
| CN115406815B (zh) * | 2022-11-02 | 2023-02-03 | 杭州华得森生物技术有限公司 | 基于多源数据融合的肿瘤细胞检测设备及其方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675419A (zh) * | 2019-10-11 | 2020-01-10 | 上海海事大学 | 一种自适应注意门的多模态脑胶质瘤影像分割方法 |
| CN111046921A (zh) * | 2019-11-25 | 2020-04-21 | 天津大学 | 基于U-Net网络和多视角融合的脑肿瘤分割方法 |
| CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
| CN111325751A (zh) * | 2020-03-18 | 2020-06-23 | 重庆理工大学 | 基于注意力卷积神经网络的ct图像分割系统 |
-
2020
- 2020-10-23 CN CN202011144947.1A patent/CN112446891B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675419A (zh) * | 2019-10-11 | 2020-01-10 | 上海海事大学 | 一种自适应注意门的多模态脑胶质瘤影像分割方法 |
| CN111046921A (zh) * | 2019-11-25 | 2020-04-21 | 天津大学 | 基于U-Net网络和多视角融合的脑肿瘤分割方法 |
| CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
| CN111325751A (zh) * | 2020-03-18 | 2020-06-23 | 重庆理工大学 | 基于注意力卷积神经网络的ct图像分割系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112446891A (zh) | 2021-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112446891B (zh) | 基于U-Net网络脑胶质瘤的医学图像分割方法 | |
| CN111192245B (zh) | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 | |
| CN110969626B (zh) | 基于3d神经网络的人脑核磁共振影像的海马体提取方法 | |
| Venkatasubramanian et al. | Prediction of Alzheimer’s Disease Using DHO-Based Pretrained CNN Model | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| WO2022127500A1 (zh) | 基于多个神经网络的mri图像分割方法、装置及设备 | |
| CN113256641B (zh) | 一种基于深度学习的皮肤病灶图像分割方法 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN111476796A (zh) | 一种结合多种网络的半监督冠状动脉分割系统及分割方法 | |
| Ninh et al. | Skin lesion segmentation based on modification of SegNet neural networks | |
| Sirjani et al. | Automatic cardiac evaluations using a deep video object segmentation network | |
| Sharma et al. | Brain tumor classification using the modified ResNet50 model based on transfer learning | |
| CN117058307A (zh) | 心脏三维核磁共振图像生成方法、系统、设备及储存介质 | |
| CN112288749A (zh) | 一种基于深度迭代融合深度学习模型的颅骨图像分割方法 | |
| Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
| CN112863650A (zh) | 一种基于卷积与长短期记忆神经网络的心肌病识别系统 | |
| CN116228731A (zh) | 一种多对比学习冠状动脉高危斑块检测方法、系统及终端 | |
| CN114723937A (zh) | 一种基于核磁共振影像的血管周围间隙分类方法及系统 | |
| Li et al. | A Multi-Category Brain Tumor Classification Method Bases on Improved ResNet50. | |
| Sahu et al. | Segmentation of encephalon tumor by applying soft computing methodologies from magnetic resonance images | |
| Mehta et al. | Tissue classification in magnetic resonance images through the hybrid approach of Michigan and Pittsburg genetic algorithm | |
| Esmaeilishahmirzadi et al. | A novel method for enhancing the classification of pulmonary data sets using generative adversarial networks | |
| Kalyan et al. | Brain Tumour Detection Using Convolutional Neural Networks | |
| CN115239688B (zh) | 基于磁共振对比增强3d-t1wi图像的脑转移瘤识别方法与系统 | |
| US20230206438A1 (en) | Multi arm machine learning models with attention for lesion segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |