CN111489364B - 基于轻量级全卷积神经网络的医学图像分割方法 - Google Patents
基于轻量级全卷积神经网络的医学图像分割方法 Download PDFInfo
- Publication number
- CN111489364B CN111489364B CN202010277654.4A CN202010277654A CN111489364B CN 111489364 B CN111489364 B CN 111489364B CN 202010277654 A CN202010277654 A CN 202010277654A CN 111489364 B CN111489364 B CN 111489364B
- Authority
- CN
- China
- Prior art keywords
- network
- patch
- neural network
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 37
- 238000003709 image segmentation Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 63
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 230000008602 contraction Effects 0.000 claims abstract description 12
- 230000003044 adaptive effect Effects 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims abstract description 10
- 238000010606 normalization Methods 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000009966 trimming Methods 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 18
- 241000209094 Oryza Species 0.000 claims description 13
- 235000007164 Oryza sativa Nutrition 0.000 claims description 13
- 235000009566 rice Nutrition 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000002790 cross-validation Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000002759 z-score normalization Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011425 standardization method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明请求保护一种基于轻量级全卷积神经网络的医学图像分割方法。首先对数据集进行灰度化、归一化、对比度受限自适应直方图均衡(CLAHE)、伽马校正等预处理;然后,对训练集进行随机的提取patch和测试集顺序提取patch图以完成数据增强;接着,搭建由收缩路径(左侧)和扩张路径(右侧)组成的全卷积神经网络架构,针对图像数量较少的数据集设计留一法(leave‑one‑out)训练方法;最后,通过通道稀疏正则化训练、裁剪比例因子小于设定阈值的通道以及微调裁剪后的网络完成BN通道模型裁剪,得到轻量级全卷积神经网络,并将测试数据输入到该网络中快速测试完成图像分割。轻量级全卷积神经网络即保证了深度网络的高分割精度优势,又提高了图像分割网络的测试速度。
Description
技术领域
本发明属于图像特征提取与分割方法技术领域,特别是针对轻量级全卷积神经网络的医学图像语义分割方法。
背景技术
全卷积神经网络(FCN)已经在图像分割尤其是语义分割领域占据了主导地位,由于其具有可以接受任意大小的输入图像、运算速率高效等特点,并能取得像素级别的图像分割效果。
当前对于全卷积神经网络已经做了大量的实验,自2015年FCN起,产生了一批经典的模型,如UNet及UNet-like等结构,这些模型基于FCN不断的加深网络层数以提高网络的分割精度的。但也因此带来了一系列问题,如网络训练环境需求高,运算速度慢,参数过多等以至于难以将模型落实到实际应用中。
为将深度网络应用到实际中,近几年,学者们轻量级的卷积神经网络做了大量的研究,也因此产生了不少优秀的网络结构,如MobileNet,XceptionNet等,它们巧妙的结果设计,使深度网络在移动设备上的应用成为可能。轻量级网络的诞生,进一步推动了业界对模型压缩算法的关注,如量化权重、结构稀疏化、模型裁剪等。这些模型压缩算法都在一定程度上压缩模型的空间体积使得网络更加的轻量化。其在卷积神经网络中应用广泛,但针对全卷积神经网络的模型裁剪研究应用还是比较少。而全卷积神经网络,比如Unet,在医学图像分割中有着卓越的优势。因此,如果能够针对全卷积网络结构设计一种模型裁剪方法,使得全卷积网络更加的轻量化,那么将使全卷积网络在医学图像分割领域中的进一步应用成为可能。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种通过BN通道裁剪全卷积神经网络以使模型更轻量化的基于轻量级全卷积神经网络的医学图像分割方法。本发明的技术方案如下:
一种基于轻量级全卷积神经网络的医学图像分割方法,其包括以下步骤:
步骤1:对医学图像数据集进行灰度化、归一化、对比度受限自适应直方图均衡、伽马校正在内的预处理;
步骤2:针对训练集随机提取patch图,首先设定patch图的宽和高,然后随机地选取像素点作为patch的中心;
步骤3:搭建由左侧收缩路径和右侧扩张路径组成的全卷积神经网络;
步骤4:针对步骤3中搭建好的全卷积神经网络,使用dice_loss计算预测值y和期望值y'的相似度,其中dice_loss的定义如下:
步骤5:结合步骤4中的损失函数,针对图像数量较少的数据集使用留一法(leave-one-out)进行交叉验证;
步骤6:加载步骤5中得到的预训练网络模型,通过通道稀疏正则化训练、裁剪比例因子小于设定阈值的通道,以及微调裁剪后的网络完成BN通道模型裁剪,得到轻量级全卷积神经网络;最后,加载步骤1中的测试图像数据到该网络中,快速测试完成图像分割。
进一步的,所述步骤1对医学图像数据集进行灰度化、归一化、对比度受限自适应直方图均衡、伽马校正在内的预处理,具体为:首先采用的是对R、G、B分量进行加权平均的算法,其表达式如下,其中Gray(i,j)表示图像上的像素点,i表示像素点的横坐标,j表示像素点的纵坐标:
Gray(i,j)=0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)
然后采用z-score标准化方法,对上述灰度化后的图像进行标准化并缩放图像数据,表达为:
其中,μ表示的是每一维度像素点自身的均值,σ表示的是每一维度像素点自身的均方差;
接着,对标准化后的图像,在保证能够将直方图分布变成近似均匀分布的前提下,设定一个限制直方图分布的阈值δ以限制性的增强图像对比度,同时,在像素的映射过程中使用双线性插值加快直方图均衡化的速度;然后继续对对比度受限自适应直方图均衡(CLAHE)后的图像Vin的伽玛曲线进行非线性色调编辑,识别图像信号中的前景和背景部分,并增大两者的比例;最后把图片上的像素点值归一化映射到0-1之间。
进一步的,所述步骤2针对训练集随机提取patch图,首先设定patch图的宽和高,然后随机地选取像素点作为patch的中心,具体为:
针对训练集,首先设定patch图的宽、高大小分别为patch_w和patch_h,然后随机地选取像素点作为patch的中心,该像素点的坐标需满足如下条件:
其中,x为横坐标,y为纵坐标,img_w是原图的宽度大小,img_h是原图的高度大小;最后,以该像素点为中心,从原图中截取宽度为patch_w,高度为patch_h的训练图patch,针对测试集,同样先设定patch_w和patch_h,然后判断原图的大小是否和设定的patch图的大小成比例关系,如果没有,则对原图进行像素填充;最后,以输入原图的左上角为起点,按照“从上到下从左到右”原则循环提取patch图。
进一步的,所述步骤3搭建由左侧收缩路径和右侧扩张路径组成的全卷积神经网络架构,具体为:
收缩路径遵循典型的卷积网络模式,每个阶段均由两个3×3卷积模块进行特征提取,步长为2的下采样操作跟在卷积之后,在每次下采样之后,特征图尺寸的大小减少一倍,特征通道的数量增加一倍;在扩展路径中,在卷积模块后使用双线性插值上采样操作,其步长也为2,在每次上采样之后跳跃连接收缩路径每阶段的输出;在最后一层,使用1x1卷积代替全连接层将每个64分量特征向量映射到所需的类数。
进一步的,所述步骤4针对步骤3中搭建好的网络,使用dice_loss评估预测值y和期望值y'的相似度,其中dice_loss的定义如下:
具体为:
其首先计算手工分割图y和预测图y'之间的交集y∩y',近似为手工分割图和预测图之间的点乘y·y',|y|+|y'|表示的是逐元素相加。
进一步的,所述步骤5结合步骤4中的损失函数,针对图像数量较少的数据集使用留一法(leave-one-out)进行交叉验证;具体为:在面对数量较小的数据集时,留一法在划分数据集的时候仅留一验证,即数据集S的大小为N,那么划分N-1条数据为训练集,剩下的一条为验证集,在训练过程中循环遍历数据集N次,直到所有的数据都作过验证集,最后,对验证误差求平均。
进一步的,所述步骤6加载步骤5中得到的预训练网络模型,通过通道稀疏正则化训练、裁剪比例因子小于设定阈值的通道以及微调裁剪后的网络完成BN通道模型裁剪,得到轻量级全卷积神经网络,具体为:
首先引进比例因子γ,比例因子通过和通道的输出进行相乘操作使得每个通道获得一个重要权重值w,在训练的过程中需要执行L1正则化操作,具体表达为:
其中,L表示目标函数,f(x,W)表示的是预测图,(x,y)表示输入原图和其对应的手工分割图,W表示训练过程中的网络权重,l(·)代表的是训练过程中使用的损失函数,g(·)是稀疏性对比例因子γ的惩罚,参数λ保证网络的平衡性。其次针对比例因子γ,将批标准化BN层中为保证输入数据的表达能力而引进的可学习参数γ视作网络裁剪的比例因子。
进一步的,批标准化BN层的原理可用公式表达为:
其中x为输入图像,μ为输入像素点的均值,σ为输入像素点的方差,γ和β为可训练参数;最后进行网络通道裁剪,遍历每个批标准化BN层对应通道[c1,c2,c3,...cn]上的比例因子γ,根据γ对网络通道进行裁剪,其遵循的原则是,如果γ接近于0,那么可认为该通道对网络的贡献小,将其裁剪对网络训练效果影响不大,得到轻量级全卷积神经网络,输入待测试图像数据到该轻量级网络完成图像分割。
本发明的优点及有益效果如下:
本发明利用BN通道裁剪的思想对全卷积神经网络结构进行轻量化,通过对模型进行压缩,减少了模型的尺寸大小。相比原始的结构,一方面,能有效裁剪网络层之间冗余的通道数量,从而有效的减少了模型参数,提升分割网络的运算质量。另一方面,由于裁剪了无效的通道,避免了某些无用特征信息带来的噪声干扰,也在一定程度保证了图像分割效果的质量。
本发明针对图像数量较少的数据集采用留一法交叉验证,使得模型训练几乎是使用所有的样本图像,这样评估所得的结果最接近样本,比其他的交叉验证方法得到的模型更加的可靠。除此之外,留一法还有随机性小,可重复性强等优点。
本发明的其他优点还有通过区分训练集和测试集的提取patch方法,既保证了数据能够得到充分的训练,又确保了网络输出的可视效果。另外,经过BN通道裁剪后的轻量化全卷积神经网络使得该模型在医学图像分割应用中的进一步推广成为可能。
附图说明
图1是本发明提供优选实施例基于轻量级全卷积神经网络的医学图像分割方法流程图。
图2为全卷积神经网络结构的原始架构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
一种基于轻量级全卷积神经网络的医学图像分割方法,其特征在于,包括以下步骤:
步骤1:对数据集进行灰度化、归一化、对比度受限自适应直方图均衡(CLAHE)、伽马校正(Gamma adjustment)等预处理,以提高医学图像的分割质量;
步骤2:由于步骤1中预处理完的数据数量过少,为有效地避免深度网络训练时过拟合陷入局部最优解等,本方法通过对训练集进行随机的提取patch和测试集顺序提取patch图来增大数据集的数量;
步骤3:搭建由收缩路径(左侧)和扩张路径(右侧)组成的全卷积神经网络架构;
步骤4:针对步骤3中搭建好的网络,使用dice_loss评估预测值y和期望值y'的相似度,以更好的评估网络的分割效果,其中dice_loss的定义如下:
步骤5:结合步骤4中的损失函数,针对图像数量较少的数据集使用留一法(leave-one-out)进行交叉验证;
步骤6:加载步骤5中得到的预训练网络模型,通过通道稀疏正则化训练、裁剪比例因子小于设定阈值的通道以及微调裁剪后的网络完成BN通道模型裁剪,得到轻量级全卷积神经网络。最后,加载步骤1中的测试图像数据到该网络中,快速测试完成图像分割。
进一步的,所述步骤1:对数据集进行灰度化、归一化、对比度受限自适应直方图均衡(CLAHE)、伽马校正(Gamma adjustment)等预处理,以提高医学图像的分割质量。具体为:首先采用的是对R、G、B分量进行加权平均的算法,其表达式如下,其中Gray(i,j)表示图像上的像素点,i表示像素点的横坐标,j表示像素点的纵坐标:
Gray(i,j)=0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)
Gray(i,j)在保证输入图VRGB亮度能够保留的同时,消除了图像色调和饱和度信息。经过灰度化的图片可以减少后续图像计算的数量并完全反映整个图像。然后采用z-score标准化方法,对上述灰度化后的图像进行标准化并缩放图像数据,以便度量标准可以参与评估计算。该方法可表达为:
其中,μ表示的是每一维度像素点自身的均值,σ表示的是每一维度像素点自身的均方差。采取这样的操作可以保证图像特征分布均匀,从而提高收敛速度避免局部最优解。接着,对标准化后的图像,在保证能够将直方图分布变成近似均匀分布的前提下,设定一个限制直方图分布的阈值δ以限制性的增强图像对比度,从而避免过度增强放大的噪声并消除块边缘过渡的不平衡。同时,在像素的映射过程中使用双线性插值加快直方图均衡化的速度。然后继续对对比度受限自适应直方图均衡(CLAHE)后的图像Vin的伽玛曲线进行非线性色调编辑,识别图像信号中的前景和背景部分,并增大两者的比例,从而提高图像的对比度。最后为避免网络训练时loss值出现负值、过大、nan等现象,把图片上的像素点值归一化映射到0-1之间。
进一步的,所述步骤2:由于步骤1中预处理完的数据数量过少,为有效地避免深度网络训练时过拟合陷入局部最优解等,本方法通过对训练集进行随机的提取patch和测试集顺序提取patch图来增大数据集的数量。其具体为:
针对训练集,首先设定patch图的宽高大小patch_w和patch_h,然后随机地选取像素点作为patch的中心,该像素点的坐标需满足如下条件:
其中,x为横坐标,y为纵坐标,img_w是原图的宽度大小,img_h是原图的高度大小。最后,以该像素点为中心,从原图中截取宽度为patch_w,高度为patch_h的训练图patch。针对测试集,同样先设定patch_w和patch_h。然后判断原图的大小是否和设定的patch图的大小成比例关系,如果没有,则对原图进行像素填充。最后,以输入原图的左上角为起点,按照“从上到下从左到右”原则循环提取patch图。测试集的做法是为了在训练结果中能够还原图片。
进一步的,所述步骤3:搭建由收缩路径(左侧)和扩张路径(右侧)组成的全卷积神经网络架构。具体为:
收缩路径遵循典型的卷积网络模式,每个阶段均由两个3×3卷积模块进行特征提取,步长为2的下采样操作跟在卷积之后。在每次下采样之后,特征图尺寸的大小减少一倍,特征通道的数量增加一倍。在扩展路径中,与收缩路径相同的是,每个步骤都对特征图进行卷积。不同的是,为了能够还原特征图实现端到端图像分割任务,在卷积模块后使用双线性插值上采样操作,其步长也为2。同时,为了能够结合低语义特征图中的精确位置信息和高语义特征图中的特征,在每次上采样之后跳跃连接收缩路径每阶段的输出。在最后一层,使用1x1卷积代替全连接层将每个64分量特征向量映射到所需的类数,这样做既保证了网络能够实现分类任务又极大的降低了网络的参数计算量。
进一步的,所述步骤4:针对步骤3中搭建好的网络,使用dice_loss评估预测值y和期望值y'的相似度,以更好的评估网络的分割效果。其中dice_loss的定义如下:
具体为:
首先计算手工分割图y和预测图y'之间的交集y∩y',其通常近似为手工分割图和预测图之间的点乘y·y',|y|+|y'|表示的是逐元素相加。对于二分类而言,由于其预测图上的值只有0和1,在进行y·y'运算时可以有效的对手工分割图中未被激活的像素清零,而对那些激活的像素,通过点乘可以获得相应的置信度,在训练过程中,网络会对置信度低的点进行严厉的惩罚,而给予高置信度像素点较高的dice。
进一步的,所述步骤5:结合步骤4中的损失函数,针对图像数量较少的数据集使用留一法(leave-one-out)进行交叉验证。具体为:与一般的训练方法将数据集按照七三分划分训练集和测试集不同,在面对图像数量较小的数据集时,留一法在划分数据集的时候仅留一验证。即数据集S的大小为N,那么划分N-1条数据为训练集,剩下的一条为验证集。在训练过程中循环遍历数据集N次,直到所有的数据都作过验证集,最后,对验证误差求平均。
进一步的,所述步骤6:加载步骤5中得到的预训练网络模型,通过通道稀疏正则化训练、裁剪比例因子小于设定阈值的通道以及微调裁剪后的网络完成BN通道模型裁剪,得到轻量级全卷积神经网络。最后,加载步骤1中的测试图像数据到该网络中,快速测试完成图像分割。具体为:
首先引进比例因子γ,比例因子通过和通道的输出进行相乘操作使得每个通道获得一个重要权重值w,该权重值越大表示通道的重要性越强,反之则代表该通道为无效通道。γ和w均可在网络训练中不断更新。同时,为了防止网络过拟合,在训练的过程中需要在其后执行L1正则化操作,具体可表达为:
其中,L表示目标函数,f(x,W)表示的是预测图,(x,y)表示输入原图和其对应的手工分割图。W表示训练过程中的网络权重,l(·)代表的是训练过程中使用的损失函数Entropy Cross。g(·)是稀疏性对比例因子γ的惩罚,参数λ保证网络的平衡性。其次针对比例因子γ,为了保证它的唯一性和可学习性,本方法将批标准化BN层中为保证输入数据的表达能力而引进的可学习参数γ视作网络裁剪的比例因子。批标准化BN层的原理可用公式表达为:
其中x为输入图像,μ为输入像素点的均值,σ为输入像素点的方差,γ和β为可训练参数。最后进行网络通道裁剪,遍历每个批标准化BN层对应通道[c1,c2,c3,...cn]上的比例因子γ,根据γ对网络通道进行裁剪。其遵循的原则是,如果γ接近于0,那么可认为该通道对网络的贡献小,将其裁剪对网络训练效果影响不大。对完成通道裁剪后的轻量级网络步骤。
具体的,优选实施例为:
如图1所示,本实施例提供的轻量级全卷积神经网络的医学图像分割方法,包括以下步骤:
步骤1:首先对图像的R、G、B分量进行加权平均的算法;然后采用z-score标准化方法,对上述灰度化后的图像进行标准化并缩放图像数据;接着,对标准化后的图像,在保证能够将直方图分布变成近似均匀分布的前提下,设定一个限制直方图分布的阈值δ以限制性的增强图像对比度,从而避免过度增强放大的噪声并消除块边缘过渡的不平衡。同时,在像素的映射过程中使用双线性插值加快直方图均衡化的速度。接着继续对图像的伽玛曲线进行非线性色调编辑,识别图像信号中的前景和背景部分,并增大两者的比例,从而提高图像的对比度。最后为避免网络训练时loss值出现负值、过大、nan等现象,把图片上的像素点值归一化映射到0-1之间。其中,加权平均算法的公式为:
Gray(i,j)=0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j) (1)
z-score的公式:
步骤2:针对训练集随机提取patch图,首先设定patch图的宽高,然后随机地选取像素点作为patch的中心,该像素点的坐标需满足如下条件:
其中,x为横坐标,y为纵坐标,img_w是原图的宽度大小,img_h是原图的高度大小。最后,以该像素点为中心,从原图中截取patch。针对测试集顺序提取patch图,同样先设定宽高。然后判断原图的大小是否和设定的patch图的大小成比例关系,如果没有,则对原图进行像素填充。最后,以输入原图的左上角为起点,按照“从上到下从左到右”原则循环提取patch图。
步骤3:搭建由收缩路径(左侧)和扩张路径(右侧)组成的全卷积神经网络架构。具体为:
如图2所示,收缩路径中每个阶段的特征提取任务,均由两个3×3卷积模块完成,步长为2的下采样操作则负责降低图像的尺寸扩大卷积感受野。在每次下采样之后,特征图尺寸的大小减少半,特征通道的数量增倍。在扩展路径中,使用双线性插值上采样操作,还原特征图以实现端到端图像分割任务。同时,通过跳跃连接机制结合不同图像尺寸大小的空间信息、语义特征信息。在最后一层,使用1×1卷积代替全连接层进行分类。
步骤4:为更好的评估网络的分割任务,针对步骤3构建的全卷积网络,采用dice_loss作为网络的评估指标,其中dice_loss的定义如下:
步骤5:加载步骤3构建的网络,针对图像数量较少的数据集使用留一法(leave-one-out)进行交叉验证;
步骤6:加载步骤5中得到的预训练网络模型,首先引进比例因子γ,将比例因子和通道的输出相乘操作得到通道权重w。γ和w均可在网络训练中不断更新。并且在训练的过程中加入L1正则化操作以防止网络过拟合,具体可表达为:
其中,L表示目标函数,f(x,W)表示的是预测图,(x,y)表示输入原图和其对应的手工分割图。W表示训练过程中的网络权重,l(·)代表的是训练过程中使用的损失函数Entropy Cross。g(·)是稀疏性对比例因子γ的惩罚,参数λ保证网络的平衡性。其次,由公式(5)可知,批标准化BN层引入了γ和β两个可学习参数以保证输入数据的表达能力,因此为了保证比例因子的唯一性和可训练性,本方法将γ视作网络裁剪的比例因子。
对于公式(5),x为输入图像,μ为输入像素点的均值,σ为输入像素点的方差,γ和β为可训练参数。
最后遍历每个批标准化BN层对应通道上的比例因子γ,如果γ接近于0,那么可认为该通道对网络的贡献小,将其裁剪,得到轻量级全卷积神经网络。输入待测试图像数据到该轻量级网络可以更快速高效地完成图像分割。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (8)
1.一种基于轻量级全卷积神经网络的医学图像分割方法,其特征在于,包括以下步骤:
步骤1:对医学图像数据集进行灰度化、归一化、对比度受限自适应直方图均衡、伽马校正在内的预处理;
步骤2:针对训练集随机提取patch图,首先设定patch图的宽和高,然后随机地选取像素点作为patch的中心;
步骤3:搭建由左侧收缩路径和右侧扩张路径组成的全卷积神经网络;
步骤4:针对步骤3中搭建好的全卷积神经网络,使用dice_loss计算预测值y和期望值y'的相似度,其中dice_loss的定义如下:
步骤5:结合步骤4中的损失函数,针对图像数量较少的数据集使用留一法进行交叉验证;
步骤6:加载步骤5中得到的预训练网络模型,通过通道稀疏正则化训练、裁剪比例因子小于设定阈值的通道,以及微调裁剪后的网络完成BN通道模型裁剪,得到轻量级全卷积神经网络;最后,加载步骤1中的测试图像数据到该网络中,快速测试完成图像分割。
2.根据权利要求1所述的一种基于轻量级全卷积神经网络的医学图像分割方法,其特征在于,所述步骤1对医学图像数据集进行灰度化、归一化、对比度受限自适应直方图均衡、伽马校正在内的预处理,具体为:首先采用的是对R、G、B分量进行加权平均的算法,其表达式为如下,其中Gray(i,j)表示图像上的像素点,i表示像素点的横坐标,j表示像素点的纵坐标:
Gray(i,j)=0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)
然后采用z-score标准化方法,对上述灰度化后的图像进行标准化并缩放图像数据,表达为:
其中,μ表示的是每一维度像素点自身的均值,σ表示的是每一维度像素点自身的均方差;
接着,对标准化后的图像,在保证能够将直方图分布变成近似均匀分布的前提下,设定一个限制直方图分布的阈值δ以限制性的增强图像对比度,同时,在像素的映射过程中使用双线性插值加快直方图均衡化的速度;然后继续对对比度受限自适应直方图均衡(CLAHE)后的图像Vin的伽玛曲线进行非线性色调编辑,识别图像信号中的前景和背景部分,并增大两者的比例;最后把图片上的像素点值归一化映射到0-1之间。
3.根据权利要求1所述的一种基于轻量级全卷积神经网络的医学图像分割方法,其特征在于,所述步骤2针对训练集随机提取patch图,首先设定patch图的宽和高,然后随机地选取像素点作为patch的中心,具体为:
针对训练集,首先设定patch图的宽、高大小分别为patch_w和patch_h,然后随机地选取像素点作为patch的中心,该像素点的坐标需满足如下条件:
其中,x为横坐标,y为纵坐标,img_w是原图的宽度大小,img_h是原图的高度大小;最后,以该像素点为中心,从原图中截取宽度为patch_w,高度为patch_h的训练图patch,针对测试集,同样先设定patch_w和patch_h,然后判断原图的大小是否和设定的patch图的大小成比例关系,如果没有,则对原图进行像素填充;最后,以输入原图的左上角为起点,按照“从上到下从左到右”原则循环提取patch图。
4.根据权利要求1所述的一种基于轻量级全卷积神经网络的医学图像分割方法,其特征在于,所述步骤3搭建由左侧收缩路径和右侧扩张路径组成的全卷积神经网络架构,具体为:
收缩路径遵循典型的卷积网络模式,每个阶段均由两个3×3卷积模块进行特征提取,步长为2的下采样操作跟在卷积之后,在每次下采样之后,特征图尺寸的大小减少一倍,特征通道的数量增加一倍;在扩展路径中,在卷积模块后使用双线性插值上采样操作,其步长也为2,在每次上采样之后跳跃连接收缩路径每阶段的输出;在最后一层,使用1x1卷积代替全连接层将每个64分量特征向量映射到所需的类数。
6.根据权利要求1所述的一种基于轻量级全卷积神经网络的医学图像分割方法,其特征在于,所述步骤5:结合步骤4中的损失函数,针对图像数量较少的数据集使用留一法进行交叉验证;
具体为:在面对数量较小的数据集时,留一法在划分数据集的时候仅留一验证,即数据集S的大小为N,那么划分N-1条数据为训练集,剩下的一条为验证集,在训练过程中循环遍历数据集N次,直到所有的数据都作过验证集,最后,对验证误差求平均。
7.根据权利要求1所述的一种基于轻量级全卷积神经网络的医学图像分割方法,其特征在于,所述步骤6加载步骤5中得到的预训练网络模型,通过通道稀疏正则化训练、裁剪比例因子小于设定阈值的通道以及微调裁剪后的网络完成BN通道模型裁剪,得到轻量级全卷积神经网络,具体为:
首先引进比例因子γ,比例因子通过和通道的输出进行相乘操作使得每个通道获得一个重要权重值w,在训练的过程中需要执行L1正则化操作,具体表达为:
其中,L表示目标函数,f(x,W)表示的是预测图,(x,y)表示输入原图和其对应的手工分割图,W表示训练过程中的网络权重,l(·)代表的是训练过程中使用的损失函数,g(·)是稀疏性对比例因子γ的惩罚,参数λ保证网络的平衡性; 其次针对比例因子γ,将批标准化BN层中为保证输入数据的表达能力而引进的可学习参数γ视作网络裁剪的比例因子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010277654.4A CN111489364B (zh) | 2020-04-08 | 2020-04-08 | 基于轻量级全卷积神经网络的医学图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010277654.4A CN111489364B (zh) | 2020-04-08 | 2020-04-08 | 基于轻量级全卷积神经网络的医学图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111489364A CN111489364A (zh) | 2020-08-04 |
CN111489364B true CN111489364B (zh) | 2022-05-03 |
Family
ID=71812681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010277654.4A Active CN111489364B (zh) | 2020-04-08 | 2020-04-08 | 基于轻量级全卷积神经网络的医学图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111489364B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111986170A (zh) * | 2020-08-14 | 2020-11-24 | 湖南理工学院 | 一种基于深度神经网络Mask R-CNN的缺陷检测算法 |
CN112419286A (zh) * | 2020-11-27 | 2021-02-26 | 苏州斯玛维科技有限公司 | 皮肤镜图像的分割方法及其分割装置 |
CN112634279B (zh) * | 2020-12-02 | 2023-04-07 | 四川大学华西医院 | 一种基于注意力Unet模型的医学图像语义分割方法 |
CN112580512B (zh) * | 2020-12-21 | 2022-08-26 | 南京邮电大学 | 一种基于通道裁剪的轻量级无人机目标检测方法 |
CN112529894B (zh) * | 2020-12-22 | 2022-02-15 | 徐州医科大学 | 一种基于深度学习网络的甲状腺结节的诊断方法 |
CN112541857B (zh) * | 2020-12-24 | 2022-09-16 | 南开大学 | 基于增强表现力神经网络批归一化的图像表征方法及系统 |
CN112686869A (zh) * | 2020-12-31 | 2021-04-20 | 上海智臻智能网络科技股份有限公司 | 一种布匹瑕疵检测方法及其装置 |
CN113160166B (zh) * | 2021-04-16 | 2022-02-15 | 宁波全网云医疗科技股份有限公司 | 通过卷积神经网络模型进行医学影像数据挖掘工作方法 |
CN113569462A (zh) * | 2021-06-17 | 2021-10-29 | 国网河北省电力有限公司电力科学研究院 | 一种计及天气因素的配电网故障等级预测方法及系统 |
CN117689669B (zh) * | 2023-11-17 | 2024-08-27 | 重庆邮电大学 | 基于结构自适应上下文敏感的视网膜血管分割方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108319972A (zh) * | 2018-01-18 | 2018-07-24 | 南京师范大学 | 一种针对图像语义分割的端到端差异网络学习方法 |
CN108921196A (zh) * | 2018-06-01 | 2018-11-30 | 南京邮电大学 | 一种改进全卷积神经网络的语义分割方法 |
WO2018229490A1 (en) * | 2017-06-16 | 2018-12-20 | Ucl Business Plc | A system and computer-implemented method for segmenting an image |
CN109101975A (zh) * | 2018-08-20 | 2018-12-28 | 电子科技大学 | 基于全卷积神经网络的图像语义分割方法 |
CN109145939A (zh) * | 2018-07-02 | 2019-01-04 | 南京师范大学 | 一种小目标敏感的双通道卷积神经网络语义分割方法 |
CN109544585A (zh) * | 2018-12-19 | 2019-03-29 | 中国石油大学(华东) | 一种基于轻量化卷积神经网络的胆石病ct医疗图像数据增强方法 |
CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
CN109816666A (zh) * | 2019-01-04 | 2019-05-28 | 三峡大学 | 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质 |
US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
WO2019135234A1 (en) * | 2018-01-03 | 2019-07-11 | Ramot At Tel-Aviv University Ltd. | Systems and methods for the segmentation of multi-modal image data |
CN110110692A (zh) * | 2019-05-17 | 2019-08-09 | 南京大学 | 一种基于轻量级全卷积神经网络的实时图像语义分割方法 |
CN110163852A (zh) * | 2019-05-13 | 2019-08-23 | 北京科技大学 | 基于轻量化卷积神经网络的输送带实时跑偏检测方法 |
CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
CN110706233A (zh) * | 2019-09-30 | 2020-01-17 | 北京科技大学 | 一种视网膜眼底图像分割方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109493347B (zh) * | 2017-09-12 | 2021-03-23 | 深圳科亚医疗科技有限公司 | 在图像中对稀疏分布的对象进行分割的方法和系统 |
-
2020
- 2020-04-08 CN CN202010277654.4A patent/CN111489364B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018229490A1 (en) * | 2017-06-16 | 2018-12-20 | Ucl Business Plc | A system and computer-implemented method for segmenting an image |
WO2019135234A1 (en) * | 2018-01-03 | 2019-07-11 | Ramot At Tel-Aviv University Ltd. | Systems and methods for the segmentation of multi-modal image data |
CN108319972A (zh) * | 2018-01-18 | 2018-07-24 | 南京师范大学 | 一种针对图像语义分割的端到端差异网络学习方法 |
CN108921196A (zh) * | 2018-06-01 | 2018-11-30 | 南京邮电大学 | 一种改进全卷积神经网络的语义分割方法 |
CN109145939A (zh) * | 2018-07-02 | 2019-01-04 | 南京师范大学 | 一种小目标敏感的双通道卷积神经网络语义分割方法 |
US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
CN109101975A (zh) * | 2018-08-20 | 2018-12-28 | 电子科技大学 | 基于全卷积神经网络的图像语义分割方法 |
CN109544585A (zh) * | 2018-12-19 | 2019-03-29 | 中国石油大学(华东) | 一种基于轻量化卷积神经网络的胆石病ct医疗图像数据增强方法 |
CN109816666A (zh) * | 2019-01-04 | 2019-05-28 | 三峡大学 | 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质 |
CN109584254A (zh) * | 2019-01-07 | 2019-04-05 | 浙江大学 | 一种基于深层全卷积神经网络的心脏左心室分割方法 |
CN110163852A (zh) * | 2019-05-13 | 2019-08-23 | 北京科技大学 | 基于轻量化卷积神经网络的输送带实时跑偏检测方法 |
CN110110692A (zh) * | 2019-05-17 | 2019-08-09 | 南京大学 | 一种基于轻量级全卷积神经网络的实时图像语义分割方法 |
CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
CN110706233A (zh) * | 2019-09-30 | 2020-01-17 | 北京科技大学 | 一种视网膜眼底图像分割方法及装置 |
Non-Patent Citations (2)
Title |
---|
SEMISUPERVISED DEEP STACKING NETWORK WITH ADAPTIVE LEARNING RATE STRATEGY FOR MOTOR IMAGERY EGG RECOGNITION;TANG XIANLUN ET AL.;《NEURAL COMPUTATION》;20191231;第919-942页 * |
改进的全卷积神经网络的脑肿瘤图像分割;邢波涛等;《信号处理》;20180825(第08期);第33-44页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111489364A (zh) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111489364B (zh) | 基于轻量级全卷积神经网络的医学图像分割方法 | |
CN109949255B (zh) | 图像重建方法及设备 | |
CN109002889B (zh) | 自适应迭代式卷积神经网络模型压缩方法 | |
CN110135580B (zh) | 一种卷积网络全整型量化方法及其应用方法 | |
CN112163628A (zh) | 一种适用于嵌入式设备的改进目标实时识别网络结构的方法 | |
CN112183742B (zh) | 基于渐进式量化和Hessian信息的神经网络混合量化方法 | |
CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
CN110929836B (zh) | 神经网络训练及图像处理方法和装置、电子设备、介质 | |
CN111368935B (zh) | 一种基于生成对抗网络的sar时敏目标样本增广方法 | |
CN113628211B (zh) | 参数预测推荐方法、设备及计算机可读存储介质 | |
CN111046893B (zh) | 图像相似性确定方法和装置、图像处理方法和装置 | |
CN114037888A (zh) | 基于联合注意力和自适应nms的目标检测方法和系统 | |
CN112001294A (zh) | 一种基于yolact++的车身表面损伤检测及掩膜生成方法和存储设备 | |
CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
CN113420794A (zh) | 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法 | |
CN113011532A (zh) | 分类模型训练方法、装置、计算设备及存储介质 | |
CN116843559A (zh) | 一种基于图像处理与深度学习的水下图像增强方法 | |
CN115797205A (zh) | 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统 | |
CN115049055A (zh) | 基于动态双可训练界限的超分神经网络的量化方法 | |
CN114820363A (zh) | 图像处理方法和装置 | |
CN107301629A (zh) | 一种基于变换域联合稀疏表示的图像重构方法 | |
CN114169405A (zh) | 对象分类方法、装置、设备及存储介质 | |
CN112613604A (zh) | 神经网络的量化方法及装置 | |
CN112766492A (zh) | 模型处理方法、装置、电子设备及存储介质 | |
CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240731 Address after: 450000 No.8 Yingbin Road, Huiji District, Zhengzhou City, Henan Province Patentee after: Henan Fuzhihui Information Technology Co.,Ltd. Country or region after: China Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS Country or region before: China |