CN110853038A - 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法 - Google Patents

一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法 Download PDF

Info

Publication number
CN110853038A
CN110853038A CN201910975412.XA CN201910975412A CN110853038A CN 110853038 A CN110853038 A CN 110853038A CN 201910975412 A CN201910975412 A CN 201910975412A CN 110853038 A CN110853038 A CN 110853038A
Authority
CN
China
Prior art keywords
data
net network
image
convolution
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910975412.XA
Other languages
English (en)
Inventor
项建弘
陈振兴
王霖郁
陈明杰
国强
周凯
黄丽莲
高敬鹏
汲清波
沈鹏宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201910975412.XA priority Critical patent/CN110853038A/zh
Publication of CN110853038A publication Critical patent/CN110853038A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及深度学习算法领域,尤其涉及一种用于肝脏肿瘤CT图像分割技术的DN‑U‑net网络方法领域。本发明包括:(1)获取肝脏肿瘤CT图像;(2)对所获得的图像进行预处理,将3D原始数据进行切片处理得到所需的数据格式,然后转化为可以用来训练的数据集;(3)使用中值滤波对数据进行处理,用于处理斑点噪声和椒盐噪声;(4)对数据图像进行数据增强;(5)DN‑U‑net网络的训练与分割等。本发明使用数据增强,将原图与标签同时进行处理,对数据进行数据反转、数据旋转和数据缩放操作,这样可以获得更多的图像,增大了训练集的数量。

Description

一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法
技术领域
本发明涉及深度学习算法领域,尤其涉及一种用于肝脏肿瘤CT图像分割技术的DN-U-net 网络方法领域。
背景技术
肝脏是人体内脏最大的一个器官,同时它也是新陈代谢的重要器官,肝脏是否健康直接决定了一个人的健康状况,肝癌已经成为了中国恶性肿瘤的第二号杀手,对人们的生命和健康造成了巨大危害。目前,想要治疗肝癌的主要手段依然是进行肝肿瘤切除、放射治疗等,而进行肝肿瘤切除是最有效的方式。想要进行精确的切除,不但需要医生具备丰富的临床经验,还需要借助科学技术的辅助,因为需要精确了解肿瘤的形状、位置等信息。CT是肝癌检测的重要手段,也是医生进行肝肿瘤切除的重要依据,肝脏肿瘤手动分割对医生的医学水平和临床经验要求很高,如果手动分割肝脏肿瘤的医生经验不足,就不能得到准确的分割结果。随着深度学习技术的不断创新,研究者们提出了很多全自动化分割医疗图像的方法,比如卷积神经网络、全卷积神经网络和循环神经网络都可以实现医疗图像的全自动分割,不但提高了分割效率,而且在精度上也比半自动分割提高了很多,因此深度学习在医疗图像分割上具有非常大的应用前景。
对于已有的全卷积神经网络U-net的肝脏肿瘤CT图像的分割算法,通常在进行神经网络训练时,可能会出现模型收敛速度慢和梯度消失等问题。目前已有文献提出了一些改善方法,有学者提出了一种基于深度卷积神经网络和图割算法相结合的肝肿瘤分割方法,使用不同的转移函数,在损失函数中加入正则惩罚项,使用图割算法对卷积神经网络得到的二值肝脏肿瘤图像进行优化,得到最终的肝脏肿瘤分割方法。也有学者提出了一种3D卷积神经网络用来分割肝脏肿瘤图像的方法,该方法使用3×3×3的卷积核,将ReLU作为激活函数,直接使用 3D断层扫描数据,相比2D卷积神经网络精确率有了一定提高。虽然使用卷积神经网络对医疗图像分割取得了一定的成果,但是仍然存在很多缺点,无法达到像素级的分割,分割的精确率仍需要进一步的提高。有学者提出了全卷积网络FCN,其将卷积神经网络的全连接层全部换成了卷积层,这种方式不但可以输入任何尺寸的数据,而且实现了像素级的图像分割,使得分割后的精确率进一步提高,但是得到的结果不够精细,进行8倍的上采样虽然比32倍效果好了很多,但是上采样结果还是比较模糊和平滑的,对图像中的细节不敏感。对各个像素进行分类,没有充分考虑像素与像素之间的关系,忽略了在通常的基于像素分类的分割方法中使用的空间规整步骤,缺乏空间一致性。而改进的U-net网络在新构造的DN-U-net(D 指Depthwise separable convolution深度可分离卷积,N指Normalization归一化)网络模型中增加了一部分规范层进行归一化处理,这样能够有效防止过拟合,而且提高网络的泛化能力。把新构造的DN-U-net网络中的普通卷积替换为深度可分离卷积,可以有效的减少网络参数,缩小网络模型的大小,提升网络模型的运算速度。
发明内容
本发明的目的在于对传统U-net网络的缺点进行改进,并提出基于U-net网络的DN-U-net 网络,使得归一化操作的计算不再依赖batch size的大小,并且减小了网络模型大小,有效的减少计算量,最终提高分割效果。
本发明是这样实现的:
一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法,所述方法包括如下步骤:
(1)获取肝脏肿瘤CT图像;
(2)对所获得的图像进行预处理,将3D原始数据进行切片处理得到所需的数据格式,然后转化为可以用来训练的数据集;
(3)使用中值滤波对数据进行处理,用于处理斑点噪声和椒盐噪声;
(4)对数据图像进行数据增强;
(5)DN-U-net网络的训练与分割;
(6)分割结果分析。
所述步骤(5)中,DN-U-net网络的训练与分割包括如下步骤:
(51)构建DN-U-net网络;
(52)增加组归一化处理GN;
(53)使用深度可分离卷积将一种将标准卷积分解为深度卷积和一个1×1的逐点卷积;
(54)训练集经过数据增强、滤波和局部直方图均衡放入DN-U-net网络中进行训练。
所述步骤(52)中,特征归一化算法公式为:
Figure BDA0002233381900000021
式中,式中,i是索引,xi是四个维度的坐标,μi为平均值,σi为标准差,
Figure BDA0002233381900000022
Figure BDA0002233381900000023
k是集合Si中的索引,ε为取值趋近于0的一个小常数,Si是计算均值和标准差的像素集合,m是该集合的大小。
所述步骤(52)中,使用组归一化GN先将channel分为多个组,然后把feature的维度由[N,C,H,W]转换为[N,G,C//G,H,W],再对每一组进行归一化处理,最后得到的归一化维度为[C//G,H,W],其中N表示batch size,H表示feature的高度,W表示feature的宽度,C表示feature的通道。
所述步骤(6)中,分割结果分析包括如下步骤:
(61)训练过程结果分析;
(62)DN-U-net网络图像分割结果分析。
所述步骤(62)中,分割结果分析包括:相似系数分析,精确度分析,召回率分析;
所述相似系数的计算公式为:
其中,Seg是算法预测的分割结果,Ref是专家手动勾画的金标准;
所述精确度的计算公式为:
Figure BDA0002233381900000032
其中,TP表示真阳性,是算法预测的分割结果和专家标定的金标准相匹配就被认为是正样本, FP表示假阳性,是算法预测的分割结果和专家标定的金标准不匹配,将本来的负样本错误的分类为了正样本;
所述召回率的计算公式为:
Figure BDA0002233381900000033
其中,FN表示假阴性,是算法预测的分割结果和专家标定的金标准不匹配,将本来是正样本分类为了负样本。
本发明的有益效果是:
1.使用数据增强,将原图与标签同时进行处理,对数据进行数据反转、数据旋转和数据缩放操作,这样可以获得更多的图像,增大了训练集的数量。
2.本发明使用的DN-U-net网络是一种全卷积神经网络,该网络模型能够使用较少的数据进行端对端的训练,而且具有从数据中学习的能力,能融合细节信息与全局信息,经过训练后的网络能够提高分割效果。
3.本发明提出的DN-U-net网络中在增加的规范层中使用了组归一化处理,加快了网络的收敛速度,并且使得batch size的大小不会影响分割结果,在batch size较小时也可以得到很好的分割效果。
4.本发明针对U-net网络中的普通卷积计算量大,耗时时间长的缺点做出改进,用深度可分离卷积对传统卷积进行替代,不仅减少了计算量,也小幅度提高了精度。
附图说明
图1是DN-U-net网络结构图;
图2是DN-U-net卷积层结构图;
图3是深度可分离卷积结构图;
图4是GN结构示意图;
图5a是普通卷积与深度可分离卷积关系中普通卷积示意图;
图5b是普通卷积与深度可分离卷积关系中深度卷积示意图;
图5c是普通卷积与深度可分离卷积关系中1×1逐点卷积示意图;
图6是DN-U-net网络训练流程图;
图7是GN的性能图;
图8是DN-U-net网络模型训练的loss曲线;
图9是DN-U-net网络模型验证集的IOU曲线;
图10是DN-U-net网络模型部分分割结果;
图11a是DN-U-net网络模型对CT图像肝脏肿瘤分割的各项结果图;
图11b是DN-U-net网络模型对CT图像肝脏肿瘤分割的网络模型大小结果图;
图11c是DN-U-net网络模型对CT图像肝脏肿瘤分割的网络模型的分割时间结果图。
图12为DN-U-net网络结构算法流程。
具体实施方式
下面结合附图对本发明作进一步详细描述。
本发明涉及深度学习算法领域,尤其涉及一种用于肝脏肿瘤CT图像分割技术的DN-U-net 网络方法领域。
由于传统的U-net的网络在进行神经网络训练时,会出现模型收敛速度慢和梯度消失等现象。本发明的目的在于对传统U-net网络的缺点进行改进,并提出基于U-net网络的 DN-U-net网络,使得归一化操作的计算不再依赖batch size的大小,并且减小了网络模型大小,有效的减少计算量,最终提高分割效果。
为了达到上述目的,本发明提出的DN-U-net网络,其与传统U-net网络相比具有以下特点:
1.在网络中增加了规范层并进行GN(Group Normalization,组归一化)处理,使得归一化操作的计算不再依赖batch size的大小,即使在batch size很小的情况下依然可以得到很好的效果。使用GN时先将通道分组,再把维度进行转化,再对每一组进行归一化处理,这种方法摆脱了对batch size依赖的影响。
2.深度可分离卷积是一种将标准卷积分解为深度卷积和一个1×1的逐点卷积。标准卷积只要一步就对所有的输入进行结合然后得到输出,而深度可分离卷积对每个单个输入通道使用单个滤波器进行滤波,再逐点卷积应用1×1的卷积操作来结合所有深度卷积然后得到输出,通过这种分解可以有效的减少计算量和网络模型的大小。
本发明进一步描述如下:
一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络,本发明在新构造的DN-U-net网络模型中增加了一部分规范层进行归一化(Normalization)处理,把原始U-net网络中的普通卷积替换为深度可分离卷积。
所述DN-U-net网络:DN-U-net网络对于传统的U-net网络增加了一部分规范层进行归一化处理,加快了收敛速度,避免了梯度消失等问题的发生,而且在网络的中间层加入归一化处理,解决了数据分布不同的情况,网络也会快速的收敛,而且可忽略过拟合中Dropout 和L2正则项参数的选择问题,可以提高网络的泛化能力。
所述归一化的方法:使用组归一化GN先将channel分为多个组,然后把feature的维度由[N,C,H,W]转换为[N,G,C//G,H,W],再对每一组进行归一化处理,最后得到的归一化维度为[C//G,H,W],其中N表示batch size,H表示feature的高度,W表示feature的宽度,C表示feature的通道。
所述深度可分离卷积方法:DN-U-net网络将传统的U-net网络中的普通卷积换成深度可分离卷积,深度可分离卷积是一种将标准卷积分解为深度卷积和一个1×1的逐点卷积;标准卷积只要一步就对所有的输入进行结合然后得到输出,而深度可分离卷积对每个单个输入通道使用单个滤波器进行滤波,再逐点卷积应用1×1的卷积操作来结合所有深度卷积然后得到输出,通过这种分解可以有效的减少计算量和网络模型的大小。
所述的网络结构的卷积层结构为Dn-conv,即深度卷积+GN+ReLU+逐点卷积+GN+ReLU的结构。
一种基于U-net网络的肝脏肿瘤CT图像分割方法包括以下步骤:
步骤1获取肝脏肿瘤CT图像。
步骤2对所获得的图像进行预处理,将3D原始数据进行切片处理得到所需的数据格式,然后转化为可以用来训练的数据集。
步骤3使用中值滤波对数据进行处理,用于处理斑点噪声和椒盐噪声;使用局部直方图均衡,用于处理肿瘤和肝脏的边缘的不平滑和对比度问题。经过中值滤波和局部直方图均衡后,图像不但噪声明显减少,而且肿瘤和肝脏的边缘更加平滑,对比度更高。
步骤4为了满足神经网络的训练,防止模型训练时的过拟合,对数据图像进行数据增强。为了方便训练需要将原图和标签一起增强。在做数据增强时,需要对原图和标签同时增强,否则图片和标签不对照,就无法进行训练。Augmentor是一个python包,它主要作用是图像数据人工生成和数据增强,它的数据增强方式是直接对数据集进行处理,是离线增强,可以对原图和标签同时进行处理。由于医疗图像的特殊性,所以只对数据进行数据反转、数据旋转和数据缩放操作。使用python图像数据增强库Augmentor对CT图像和图像对应的标签的处理是同时进行的,有的是CT图像和图像对应的标签同时以一定角度旋转和以一定比率扩大、缩小;有的是CT图像和图像对应的标签同时反转和以一定比率扩大、缩小;因此不会出现增强后CT图像和标签不对应的情况
步骤5DN-U-net网络的训练与分割
步骤5.1构建DN-U-net网络,本发明使用的训练集,测试集和验证集图像均采用512×512分辨率,如图1所示,横向标注的数值为对应图像的通道数,纵向标注的数值为图像的分辨率大小,网络结构分为收缩路径和拓展路径,收缩路径主要用来提取图像中的上下文信息,而扩展路径主要是对图像中要分割的部位进行准确定位。网络中向右深色箭头均为本发明提出的DN-conv结构,即加入规范层的深度可分离卷积结构,结构图如图3所示,规范层使用GN,在深度卷积与1×1的逐点卷积后分别加上规范层和ReLU。该卷积层使用3×3的卷积核,padding设置为same,步长设置为1。向下的箭头表示下采样,使用步长为2,卷积核为2×2的最大池化层对图像进行下采样,图像的边长缩小一半。在下采样层后跟上的卷积层通道数增大为原来的两倍,之后的卷积层通道数不变。向上箭头表示上采样,使用卷积核为2×2的反卷积处理,图像的边长倍增,但是通道数减少一倍。图中白框与向右浅色箭头表示收缩路径上提取出来的高维像素特征在上采样的过程中和扩展路径相应的特征图进行融合,在特征融合方式上有使用的是concat()函数,是将相应的维度拼接在一起。网络最后一部分得到输出图像前的箭头表示1×1卷积,可以把前面所得到的特征向量转换为所需要的分类结果的数量。该网络是没有全连接层的,它使用的是一个包含下采样和上采样的网络结构,通过下采样获得环境信息,然后使用下采样的各层信息和上采样的输入信息结合来还原细节信息,进而逐步还原图像的精度。
DN-U-net网络结构的卷积层结构如图2所示,与图1中DN-U-net网络结构图的收缩路径与拓展路径中表示卷积层的箭头按顺序一一对应。其中DN-Conv表示深度可分离卷积加上规范层和ReLU,结构图如图3所示。DN-conv1-64表示该卷积层位于U-net结构的第一层,且通道数为64,也指卷积计算中使用的卷积核数量。MaxPooling表示最大池化层,Upsampling+Merge表示上采样层和信息融合。
步骤5.2增加组归一化处理(GN),GN的图解见图4,所示的立方体是三维的,其中两维C和N分别表示channel和batch size,第三维表示(H,W),可以理解为该维度大小是 H×W,也就是拉长成一维,这样总体就可以用三维图形来表示。简单来说就是将channel 方向分group,然后在每个group内做归一化,计算(C/G)×H×W的均值,从图中可以看出 GN的计算与batch size无关。
特征归一化算法如公式(1)所示。
Figure BDA0002233381900000071
式中,i是索引,xi其实就是四个维度的坐标,是feature map中指定位置的一个点(feature map在这里指卷积层中的特征图,在卷积层中由许多二维图片叠在一起,其中每一个称为一个feature map,上一层的每个feature map与卷积核做卷积,都会产生下一层的feature map)。在2D图像的情况下,i=(iN,iC,iH,iW)是以(N,C,H,W)顺序索引特征的4D矢量,其中N是批处理轴,C是通道轴,H和W是空间高度和宽度轴。公式(1)中的平均值μi和标准差σi如公式(2)所示:
k是集合Si中的索引,ε作为一个小常数,在一些归一化处理中标准差往往会作为分母出现,ε取值应为趋近于0的数,避免标准差为0无法进行计算,在组归一化运算中ε可以取0。Si是计算均值和标准差的像素集合,m是该集合的大小。在Group Norm层中Si定义为:
Figure BDA0002233381900000073
式中kN=iN使得计算都是在一张图的feature map上进行,其中kN(iN)表示沿N 轴的k(i)的子索引,这意味着共享相同N轴索引的像素被一起归一化。假设每组通道沿C 轴按顺序存储,GN沿(H,W)轴和沿一组C/G通道计算μi和σi。G表示将C分成G个group,这里G是group的数量,它是预定义的超参数,默认情况下取G=32。C/G是每组的通道数。
Figure BDA0002233381900000081
表示在同一个group中的点,因此GN的思想就是在相同feature map的相同group中进行归一化操作,而group只是在channel维度上进行划分,因此归一化操作就和batch size无关。在公式(3)中给出Si,GN层由等式(1),(2)和(4)定义。具体地,同一组中的像素通过相同的μi和σi一起归一化。GN还学习每个通道的γ和β。归一化的方法学习了一个每通道线性变换,以补偿表示能力的可能丢失。
Figure BDA0002233381900000083
乘以γ来调整数值的大小,然后加上β增加偏移量后可以得到yi,其中γ表示尺度因子,β表示平移因子,这两个参数都是在网络训练时自己学习到的,是为了解决归一化后xi可能会被限制在正态分布下,使得网络的表达能力下降的问题。
步骤5.3、深度可分离卷积是一种将标准卷积分解为深度卷积和一个1×1的逐点卷积。标准卷积只要一步就对所有的输入进行结合然后得到输出,而深度可分离卷积对每个单个输入通道使用单个滤波器进行滤波,再逐点卷积应用1×1的卷积操作来结合所有深度卷积然后得到输出,通过这种分解可以有效的减少计算量和网络模型的大小。如图5a、图5b和图5c所示,图5a是一个标准的卷积,图5b为被分解为深度卷积,图5c为1×1的逐点卷积。理论上,标准卷积的计算量为DK×DK×X×Y×DF×DF,深度卷积的计算量为DK×DK×X×DF×DF, 1×1逐点卷积的计算量为X×Y×DF×DF,其中DK为卷积核的空间维数,DF为卷积层输出的特征图的大小,X为输入通道数,Y为输出通道数。所以可以得到深度可分离卷积和标准卷积的计算量的比值如下:
Figure BDA0002233381900000084
可以从公式(5)可知,如果卷积核的大小为3×3,则深度可分离卷积在理论上能带来接近9倍的效率提升。
步骤5.4、训练集经过数据增强、滤波和局部直方图均衡放入DN-U-net网络中进行训练,而验证集和测试集不需要数据增强,只经过滤波和局部直方图均衡,结构图见图6。验证集和测试集都不参与训练,验证集只是在模型训练的过程中进行验证,测试集是对训练好的模型进行测试。可以看到该网络模型只需要一次训练,使得网络的训练过程更加简单。
步骤6分割结果分析。
步骤6.1训练过程结果分析
本发明训练网络模型,验证分割结果所使用计算机配置如下:CPU为Intel酷睿i78700k,内存为32GB DDR4 3600,显卡为NVIDIA GeForce TITAN V,硬盘为1TB SSD,系统为Ubuntu 16.04docker。
本发明使用2017年LiTS挑战的数据集进行实验,数据集包括来自7个临床机构的131 个病人的增强腹部CT影像,由经验丰富的放射科医生进行肝肿瘤的标注,每个病人的CT图像切片有几百张到上千张不等。
观察图7,这是GN的错误与批量大小的性能图。从图中可以看出,使用GN的方法后batch size的大小不会影响分割结果,在batch size较小时也可以得到很好的分割效果。
DN-U-net网络模型训练过程的loss曲线如图8所示,横坐标epoch是迭代次数,纵坐标是损失函数。DN-U-net网络的loss的收敛速度得到了提升,并且该网络的loss值无限接近与0。
DN-U-net网络模型训练过程中验证集的IOU(Intersection Over Union)曲线如图9所示,IOU被叫做交并比,如果专家勾勒的肝脏肿瘤的金标准为A,网络模型预测出来的为B,则IOU的公式表达如下。
Figure BDA0002233381900000091
从图中可以看出随着迭代次数的增加,IOU的值也趋近稳定,最终保持在0.86左右, DN-U-net网络模型的IOU比较大,性能较好。
步骤6.2分割结果分析
本发明使用的DN-U-net网络模型部分分割结果如图10所示,这是验证集的分割结果。由左往右,其中第一列是原始的病人CT图像;第二列是专家对原始的CT图像勾勒的肝脏肿瘤标签;第三列是使用DN-U-net分割出来的肝脏肿瘤图像;第四列是分割结果的Dice相似系数;第五列是分割结果的精确度;第六列是分割结果的召回率。
Dice相似系数(DSC)的计算公式如下:
Figure BDA0002233381900000092
其中Seg是算法预测的分割结果,Ref是专家手动勾画的金标准。由公式可以看出,Dice 系数的取值范围是0到1,结果越接近1,说明算法的肝脏肿瘤分割的结果与金标准的重合度更高,也就是分割的效果更好;而如果结果接近0或者等于0,则表明算法的肝脏肿瘤分割的效果很差或者分割错误。
精确度(Precision)的计算公式如下:
Figure BDA0002233381900000101
其中TP(Truth Positive)表示真阳性,是算法预测的分割结果和专家标定的金标准相匹配就被认为是正样本。FP(False Positive)表示假阳性,是算法预测的分割结果和专家标定的金标准不匹配,将本来的负样本错误的分类为了正样本。Precision是正确分类的正样本数量和所有被分为正样本数量的比值,当Precision的值越大,就是越接近1时,表示分类的效果越好,也就是负样本被错误分为正样本的比例越小。
召回率(Recall)的计算公式如下:
Figure BDA0002233381900000102
其中TP表示真阳性,是算法预测的分割结果和专家标定的金标准相匹配就被认为是正样本。FN(False Negative)表示假阴性,是算法预测的分割结果和专家标定的金标准不匹配,将本来是正样本分类为了负样本。Recall是正确分类的正样本的数量和所有正样本的数量的比率,当Recall的值越大,就是越接近1时,表示分类的结果越好,也就是正样本被错分为负样本的比例越小。
本发明的测试集包含580张图像,使用目前在医学图像分割中,最常用的结果评估指标 Dice相似系数、精确率和召回率对本实验的测试结果进行评测。从图11a中可以看到DN-U-net 网络模型的精确度比较高,达到89.25%。
本发明也统计了网络训练完成后得到的网络模型的大小。如图11b所示,DN-U-net把普通卷积换为深度可分离卷积后将网络模型的大小大幅度减小,仅有148m。
本发明也统计了DN-U-net网络模型分割每张肝脏肿瘤CT图像的平均时间。如图11c所示,分割一张肝脏肿瘤CT图像所用时间仅为0.46s。
本发明为了能够加快网络的收敛速度,不用再担心数据分布的不同对网络训练的影响,不用再去理会过拟合中Dropout和L2正则项参数的选择问题,提高网络模型的泛化能力,在原始U-net网络的基础上加入了规范层。为了有效减少参数和提高网络的运算速度,又把 U-net网络中的普通卷积层换成了深度可分离卷积。经过实验表明,在增加GN层后,网络模型的精确率提高很多,而且网络的收敛速度比原始U-net要快,网络训练的loss值更小;把 U-net网络中的普通卷积层换为深度可分离卷积后,模型的大小明显减小。本发明提出的 DN-U-net网络模型不仅分割结果更好,而且泛化能力更强,网络分割的精确率得到了提高,使用深度可分离卷积后运算速度也有了明显提升。
综上所述,本申请发明公开了一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络,针对u-net算法的缺点对其进行改进,由于通常在神经网络训练时,可能会出现模型收敛速度慢和梯度消失等问题,已有文献提出的改进算法效果一般。本发明在新构造的DN-U-net(D 指深度可分离卷积Depthwise Separable Convolutions,N指归一化处理Normalization) 网络结构中增加了一部分规范层,可以提高网络的泛化能力,在规范层中使用了组归一化处理,使得batch size的大小不会影响分割结果,在batch size较小时也可以得到很好的分割效果。本发明构造的DN-U-net网络结构中的把普通卷积替换成了深度可分离卷积有效的减少网络参数,缩小网络模型的大小,提升网络模型的运算速度。经过大量仿真结果表明,增加了规范层和将普通卷积换成深度可分离卷积后的DN-U-net网络分割效果更好,得到的网络模型更小,而且精确度得到了提升。

Claims (6)

1.一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法,其特征是:所述方法包括如下步骤:
(1)获取肝脏肿瘤CT图像;
(2)对所获得的图像进行预处理,将3D原始数据进行切片处理得到所需的数据格式,然后转化为可以用来训练的数据集;
(3)使用中值滤波对数据进行处理,用于处理斑点噪声和椒盐噪声;
(4)对数据图像进行数据增强;
(5)DN-U-net网络的训练与分割;
(6)分割结果分析。
2.根据权利要求1所述的一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法,其特征是:所述步骤(5)中,DN-U-net网络的训练与分割包括如下步骤:
(51)构建DN-U-net网络;
(52)增加组归一化处理GN;
(53)使用深度可分离卷积将一种将标准卷积分解为深度卷积和一个1×1的逐点卷积;
(54)训练集经过数据增强、滤波和局部直方图均衡放入DN-U-net网络中进行训练。
3.根据权利要求2所述的一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法,其特征是:所述步骤(52)中,特征归一化算法公式为:
Figure FDA0002233381890000011
式中,式中,i是索引,xi是四个维度的坐标,μi为平均值,σi为标准差,
Figure FDA0002233381890000012
Figure FDA0002233381890000013
k是集合Si中的索引,ε为取值趋近于0的一个小常数,Si是计算均值和标准差的像素集合,m是该集合的大小。
4.根据权利要求2所述的一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法,其特征是:所述步骤(52)中,使用组归一化GN先将channel分为多个组,然后把feature的维度由[N,C,H,W]转换为[N,G,C//G,H,W],再对每一组进行归一化处理,最后得到的归一化维度为[C//G,H,W],其中N表示batch size,H表示feature的高度,W表示feature的宽度,C表示feature的通道。
5.根据权利要求1所述的一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法,其特征是:所述步骤(6)中,分割结果分析包括如下步骤:
(61)训练过程结果分析;
(62)DN-U-net网络图像分割结果分析。
6.根据权利要求5所述的一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法,其特征是:所述步骤(62)中,分割结果分析包括:相似系数分析,精确度分析,召回率分析;
所述相似系数的计算公式为:
Figure FDA0002233381890000021
其中,Seg是算法预测的分割结果,Ref是专家手动勾画的金标准;
所述精确度的计算公式为:
Figure FDA0002233381890000022
其中,TP表示真阳性,是算法预测的分割结果和专家标定的金标准相匹配就被认为是正样本,FP表示假阳性,是算法预测的分割结果和专家标定的金标准不匹配,将本来的负样本错误的分类为了正样本;
所述召回率的计算公式为:
Figure FDA0002233381890000023
其中,FN表示假阴性,是算法预测的分割结果和专家标定的金标准不匹配,将本来是正样本分类为了负样本。
CN201910975412.XA 2019-10-15 2019-10-15 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法 Withdrawn CN110853038A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910975412.XA CN110853038A (zh) 2019-10-15 2019-10-15 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910975412.XA CN110853038A (zh) 2019-10-15 2019-10-15 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法

Publications (1)

Publication Number Publication Date
CN110853038A true CN110853038A (zh) 2020-02-28

Family

ID=69596275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910975412.XA Withdrawn CN110853038A (zh) 2019-10-15 2019-10-15 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法

Country Status (1)

Country Link
CN (1) CN110853038A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476778A (zh) * 2020-04-07 2020-07-31 西华大学 图像检测分割方法、系统、存储介质、计算机程序、终端
CN111652886A (zh) * 2020-05-06 2020-09-11 哈尔滨工业大学 一种基于改进U-net网络的肝肿瘤分割方法
CN111667488A (zh) * 2020-04-20 2020-09-15 浙江工业大学 一种基于多角度U-Net的医学图像分割方法
CN112102337A (zh) * 2020-09-16 2020-12-18 哈尔滨工程大学 一种超声成像下的骨骼表面分割方法
CN112258488A (zh) * 2020-10-29 2021-01-22 山西三友和智慧信息技术股份有限公司 一种医疗影像病灶分割方法
CN112258508A (zh) * 2020-12-18 2021-01-22 杭州晟视科技有限公司 四维流动数据的图像处理分析分割方法、系统及存储介质
CN112330687A (zh) * 2020-10-19 2021-02-05 肾泰网健康科技(南京)有限公司 基于ai技术肾脏病理图像分割模型、方法及系统
CN112418229A (zh) * 2020-11-03 2021-02-26 上海交通大学 一种基于深度学习的无人船海上场景图像实时分割方法
CN112418397A (zh) * 2020-11-19 2021-02-26 重庆邮电大学 一种轻量级卷积神经网络的设计方法
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574859A (zh) * 2015-12-14 2016-05-11 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574859A (zh) * 2015-12-14 2016-05-11 中国科学院深圳先进技术研究院 一种基于ct图像的肝脏肿瘤分割方法及装置
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG Y ET AL.: "Research on the Mobile Net Business Knowledge Sharing Strategy of Fraud Evade", 《APPLIED MECHANICS & MATERIALS》 *
陈明杰: "基于深度学习的肝脏肿瘤CT图像分割方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184817A1 (zh) * 2020-03-16 2021-09-23 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN111476778A (zh) * 2020-04-07 2020-07-31 西华大学 图像检测分割方法、系统、存储介质、计算机程序、终端
CN111667488A (zh) * 2020-04-20 2020-09-15 浙江工业大学 一种基于多角度U-Net的医学图像分割方法
CN111652886A (zh) * 2020-05-06 2020-09-11 哈尔滨工业大学 一种基于改进U-net网络的肝肿瘤分割方法
CN111652886B (zh) * 2020-05-06 2022-07-22 哈尔滨工业大学 一种基于改进U-net网络的肝肿瘤分割方法
CN112102337A (zh) * 2020-09-16 2020-12-18 哈尔滨工程大学 一种超声成像下的骨骼表面分割方法
CN112330687A (zh) * 2020-10-19 2021-02-05 肾泰网健康科技(南京)有限公司 基于ai技术肾脏病理图像分割模型、方法及系统
CN112330687B (zh) * 2020-10-19 2022-10-28 肾泰网健康科技(南京)有限公司 基于ai技术肾脏病理图像分割模型、方法及系统
CN112258488A (zh) * 2020-10-29 2021-01-22 山西三友和智慧信息技术股份有限公司 一种医疗影像病灶分割方法
CN112418229A (zh) * 2020-11-03 2021-02-26 上海交通大学 一种基于深度学习的无人船海上场景图像实时分割方法
CN112418397A (zh) * 2020-11-19 2021-02-26 重庆邮电大学 一种轻量级卷积神经网络的设计方法
CN112258508B (zh) * 2020-12-18 2021-03-26 杭州晟视科技有限公司 四维流动数据的图像处理分析分割方法、系统及存储介质
CN112258508A (zh) * 2020-12-18 2021-01-22 杭州晟视科技有限公司 四维流动数据的图像处理分析分割方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN110853038A (zh) 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法
CN111627019B (zh) 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN109584244B (zh) 一种基于序列学习的海马体分割方法
CN112927255B (zh) 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN111798462A (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN107492071A (zh) 医学图像处理方法及设备
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN110889853A (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN113808146B (zh) 一种医学图像多器官分割方法及系统
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
Kashyap Evolution of histopathological breast cancer images classification using stochasticdilated residual ghost model
CN113838067B (zh) 肺结节的分割方法和装置、计算设备、可存储介质
Dutande et al. Deep residual separable convolutional neural network for lung tumor segmentation
Shahsavari et al. Proposing a novel Cascade Ensemble Super Resolution Generative Adversarial Network (CESR-GAN) method for the reconstruction of super-resolution skin lesion images
CN116805318A (zh) 一种基于动态可变形卷积与滑窗自适应互补注意力机制的医学图像分割方法
CN116452618A (zh) 一种三输入脊柱ct图像分割方法
Agarwal et al. Weakly supervised lesion co-segmentation on CT scans
Liu et al. 3-D prostate MR and TRUS images detection and segmentation for puncture biopsy
CN109215035B (zh) 一种基于深度学习的脑部mri海马体三维分割方法
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
Shao et al. Semantic segmentation method of 3D liver image based on contextual attention model
CN110570417B (zh) 肺结节分类装置及图像处理设备
Wei et al. Application of U-net with variable fractional order gradient descent method in rectal tumor segmentation
CN111192334A (zh) 可训练的压缩感知模块及一种图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200228