CN110211140B - 基于3D残差U-Net和加权损失函数的腹部血管分割方法 - Google Patents

基于3D残差U-Net和加权损失函数的腹部血管分割方法 Download PDF

Info

Publication number
CN110211140B
CN110211140B CN201910513878.8A CN201910513878A CN110211140B CN 110211140 B CN110211140 B CN 110211140B CN 201910513878 A CN201910513878 A CN 201910513878A CN 110211140 B CN110211140 B CN 110211140B
Authority
CN
China
Prior art keywords
layer
sampling
image
network
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910513878.8A
Other languages
English (en)
Other versions
CN110211140A (zh
Inventor
房斌
余伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201910513878.8A priority Critical patent/CN110211140B/zh
Publication of CN110211140A publication Critical patent/CN110211140A/zh
Application granted granted Critical
Publication of CN110211140B publication Critical patent/CN110211140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于3D残差U‑Net和加权损失函数的腹部血管分割方法，包括以下步骤：S1，输入CT序列图像；S2，对CT序列图像进行预处理，并截取图像的最大连通区域；S4，将截取了最大连通区域后的每套CT图像序列打包成NIFTI格式的数据；S5，将已标注的NIFTI格式的图像输入到3D残差U‑Net网络中，使用加权的Dice损失函数计算输出图像与真实图像的误差，更新3D残差U‑Net网络中的参数，获得已训练的3D残差U‑Net网络；S6，将待测的NIFTI格式的图像输入到已训练的3D残差U‑Net网络中，输出预测图像；S7，将3D残差U‑Net网络中输出的预测图像扩大到原始图像尺寸，并进行平滑去噪处理。

Description

基于3D残差U-Net和加权损失函数的腹部血管分割方法
技术领域
本发明涉及图像分割领域，具体涉及一种基于3D残差U-Net和加权损失函数的腹部血管分割方法。
背景技术
腹部CT图像为腹部某一横断图像，可展示肝脏、胆囊、胰腺、脾脏、肾脏等各脏器的轮廓以及结构，辅助医生进行术前诊断及手术规划。以肝脏为例，严重的肝脏疾病需要通过肝移植来进行治疗。在手术的过程中，由于血管较小，医生不容易分辨，极易对肝脏周围重要血管造成伤害，从而导致更加严重的后果。通过对腹部CT图像中肝脏周围的血管进行分割，可以帮助医生做出更加合理的手术规划，辅助医生进行手术。
现有常用的腹部CT图像血管分割方法包含了阈值法、水平集方法、区域生长法和活动轮廓模型等，以及在这些方法的基础上进行改进的方法。虽然这些方法在一些简单背景的CT序列图像中能取得较好的分割效果，但是应对复杂背景下的器官周围血管分割问题，这些方法的效果往往较差。
U-Net网络是医学图像分割领域中常用的一种分割方法，它是在FCN网络的基础上改进得到的。相比于FCN，它能得到更加精确的分割结果。残差网络是2015年提出来的一种深度神经网络结构，因为在每个残差块结构中，有一个shortcut连接，因此在网络比较深的情况下，反向转播时梯度不会消失或爆炸。同时shortcut连接还起到了一个特征重用的作用，可以保留更多有用的信息。在CT序列图像中，由于器官周围血管区域面积较小，在下采样的过程中，血管区域信息极易丢失，因此采用常规的U-Net网络可能导致分割效果较差。传统的2D网络以单张CT图像为输入，没有充分考虑CT序列间的空间信息，而对于血管分割而言，CT序列图像间血管的连通性可以为血管分割提供重要的特征信息，因此2D网络结构存在着忽略空间信息的问题。另外，由于器官周围的多类血管间存在着像素不均衡的问题，用传统的损失函数容易导致像素少的类学习不充分的问题。
例如论文“White matter hyperintensity and stroke lesion segmentationand differentiation using convolutional neural networks”，(Guerrero,R等，2018年第17卷《NeuroImage:Clinical》,第918-934页)公开了一种用于分割肝脏周围血管的网络结构，但其不能充分的提取图像特征，在血管区域小的情况时，可能导致分割效果较差。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足，提供一种基于3D残差U-Net和加权损失函数的腹部血管分割方法，实现肝脏周围血管快速和准确的分割。
为了实现上述发明目的，本发明提供了以下技术方案：
一种基于3D残差U-Net和加权损失函数的腹部血管分割方法，包括以下步骤：
S1：输入CT序列图像；
S2：对CT序列图像进行预处理，并截取图像的最大连通区域；
S4：将截取了最大连通区域后的每套CT图像序列打包成NIFTI格式的数据；
S5：将已标注的NIFTI格式的图像输入到3D残差U-Net网络中，使用加权的Dice损失函数计算输出图像与真实图像的误差，更新3D残差U-Net网络中的参数，获得已训练的3D残差U-Net网络；
S6：将待测的NIFTI格式的图像输入到已训练的3D残差U-Net网络中，输出预测图像；
S7：将3D残差U-Net网络中输出的预测图像扩大到原始图像尺寸，并进行平滑去噪处理。
优选地，所述步骤S2具体包括以下步骤：
S21:将CT图像转换为灰度图像；
S22:使用去噪算法对图像中的噪声进行平滑；
S23:截取图像中的最大连通区域。
优选地，所述步骤S21从像素值值域范围为-1024～3070的Dicom格式的CT图像中截取像素值在1024～1248范围内的信息，并将其映射到[0,255]范围内，得到BMP或PNG格式的灰度图像。
优选地，所述步骤S4中的3D残差U-Net网络包括下采样和上采样，下采样和上采样的网络深度都为五层，每层均包括一个卷积块和一个残差块，卷积块和残差块依序连接；
在下采样的过程中，数据依次通过下采样第一层网络、下采样第二层网络、下采样第三层网络、下采样第四层网络以及下采样第五层网络进行最大池化操作，每次操作将图像大小减小一半，同时卷积核的数量增加一倍；其中下采样第一层网络卷积核数量为16，下采样第二层网络卷积核数量为32，下采样第三层网络卷积核数量为64，下采样第四层网络卷积核数量为128，下采样第五层网络卷积核数量为256；
在上采样的过程中，数据依次通过上采样第五层网络、上采样第四层网络、上采样第三层网络、上采样第二层网络以及上采样第一层网络进行反卷积操作，每次操作使图像大小增加一倍，同时卷积核的数量减小一半；其中下采样第五层网络为上采样第五层网络，且上采样第五层网络卷积核数量为256，上采样第四层网络卷积核数量为128，上采样第三层网络卷积核数量为64，上采样第二层网络卷积核数量为32，上采样第一层网络卷积核数量为16；
并通过级联的方式将下采样的特征信息补充到对应的上采样层，实现特征重用，即下采样第一层网络的特征信息级联至上采样第一层网络，下采样第二层网络的特征信息级联至上采样第二层网络，下采样第三层网络的特征信息级联至上采样第三层网络，下采样第四层网络的特征信息级联至上采样第四层网络；
3D残差U-Net网络还包括第一分割层、第二分割层、第三分割层以及softmax分类层；上采样第一层网络、上采样第二层网络以及上采用第三层网络的输出分别连接第一分割层、第二分割层以及第三分割层，三个分割层的输出相加后通过softmax分类层分类后输出预测图像。
优选地，下采样第一层网络1的第一个卷积块为第一卷积块，第一卷积块包括一个卷积层；
除下采样第一层网络的第一个卷积块外，网络中其他的卷积块为第二卷积块，所述第二卷积块包括卷积层、批量规范化层以及激活层；卷积层、批量规范化层以及激活层按顺序连接。
优选地，所述残差块包括两个第二卷积块、卷积层、批量规范化层以及激活层；输入数据依次通过两个第二卷积块、卷积层以及批量规范化层进行处理；处理后的结果与输入数据相加，再通过激活层进行激活操作。
优选地，所述步骤S5通过加权的Dice损失函数计算输出图像与真实图像的误差，并通过梯度反向传播方法，采用Adam优化算法对网络中的参数进行更新，以获得训练的3D残差U-Net网络；
使用加权的Dice损失函数表达式如公式(1)所示：
Figure BDA0002094383000000051
其中K是类别总数，k是类别，u是3D残差U-Net网络中输出的结果，v是图像one-hot编码的真实图，uk(x)是在分割图中像素x属于第k类的概率，
Figure BDA0002094383000000052
是真实图加权后的概率图；
Figure BDA0002094383000000053
的计算公式如公式(2)所示：
Figure BDA0002094383000000054
其中，w(x)是真实图中像素x的权重，vk(x)是在真实图中像素x属于第k类的概率；
权重w(x)的计算公式如公式(3)所示：
w(x)＝w_class(x)·w_radius(x)+λ·w_border(x)   (3)
其中，w_class(x)根据类别而定；w_border(x)是边界像素的权重，即给边界上的像素一个更大的权重，λ是衡量边界权重的影响因子；w_radius(x)由一个连通域中像素数而定；
w_radius(x)的计算公式如公式(4)所示：
Figure BDA0002094383000000061
其中volume(x)是一个连通域的像素个数，c是一个常数。
优选地，所述基于3D残差U-Net和加权损失函数的腹部血管分割方法，还包括步骤S3，所述步骤S3位于步骤S2与步骤S4之间；
S3：扩增用于训练的已标注的CT序列图像。
优选地，所述步骤S7采用双线性插值法将3D残差U-Net网络输出的预测图像放大到原始图像尺寸，并利用3D闭操作对分割结果的边缘进行平滑，最后通过对三维分割结果中各个连通域像素数进行统计分析，去除分割结果中的噪声区域。
与现有技术相比，本发明的有益效果：
1、本发明采用的3D残差U-Net网络结构能够实现多重的信息重用，保留更多重要的特征，特别是保留小目标区域的特征，并且能够融合细节信息和全局信息，进而提高分割效果。
2、本发明专利提出的加权Dice损失函数能够有有效的解决多类别像素不平衡的问题。
附图说明：
图1为本发明示例性实施例1的基于3D残差U-Net和加权损失函数的腹部血管分割方法的流程示意图；
图2为本发明示例性实施例1的基于3D残差U-Net和加权损失函数的腹部血管分割方法的具体流程示意图；
图3为本发明示例性实施例1的3D残差U-Net网络结构示意图；
图4为本发明示例性实施例1的卷积块操作的示意图；
图5为本发明示例性实施例1的残差块操作的示意图。
图中标记：1-下采样第一层网络，2-下采样第二层网络，3-下采样第三层网络，4-下采样第四层网络，5-下采样第五层网络/上采样第五层网络，6-上采样第四层网络，7-上采样第三层网络，8-上采样第二层网络，9-上采样第一层网络，10-第三分割层，11-第二分割层，12-第一分割层，13-softmax分类层，14-第一卷积块、15-残差块、16-第二卷积块。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
如图1或图2所示，本实施例提供一种基于3D残差U-Net和加权损失函数的腹部血管分割方法，如图1所示，包括以下步骤：
S1：输入CT序列图像；
S2：对CT序列图像进行预处理，并截取图像的最大连通区域；
S4：将截取了最大连通区域后的每套CT图像序列打包成NIFTI格式的数据；
S5：将已标注的NIFTI格式的图像输入到3D残差U-Net网络中，使用加权的Dice损失函数计算输出图像与真实图像的误差，更新3D残差U-Net网络中的参数，获得已训练的3D残差U-Net网络；
S6：将待测的NIFTI格式的图像输入到已训练的3D残差U-Net网络中，输出预测图像；
S7：将3D残差U-Net网络中输出的预测图像扩大到原始图像尺寸，并进行平滑去噪处理。
首先通过预处理截取图像的最大连通区域，在不影响图像清晰度的前提下，减小图像分辨率的大小，减少计算量，提高图像分割处理速度；然后通过3D残差U-Net网络结构实现多重的信息重用，更好地提取图像特征，特别是保留小目标区域的特征，并且融合细节信息和全局信息，提高图像的分割效果；并且通过已标注的文本训练3D残差U-Net网络，提高分类精确度，并对损失函数进行改进，本实施例采用的加权Dice损失函数能够有效的解决多类别像素不平衡的问题。优选地，如图2所示，基于3D残差U-Net的腹部CT图像血管分割方法还包括步骤S3，步骤S3位于步骤S2与步骤S4之间，且步骤S1输入的CT序列图像包括用于训练的已标注的CT序列图像。
S3：扩增用于训练的已标注的CT序列图像。
步骤S1中输入待测CT序列图像和用于训练的已标注的CT序列图像；为了对网络进行有效学习，使用已标注的CT序列图像训练3D残差U-Net网络。
由于原始CT序列图像数据是Dicom格式的数据，Dicom格式把每一层图像都作为一个独立的文件，这些文件用数字命名从而反映相对应的图像层数。文件中包含文件头信息，且必须要特定的软件才能打开使用。而且Dicom数据比较庞大，降低分析速度，因此数据分析前往往要把Dicom格式转化为其他图像格式。
为提高肝脏区域对比度，并去除噪声，减小图像大小，需对图像进行预处理，步骤S2具体包括以下步骤：
S21:将CT图像转换为灰度图像；本实施例从像素值值域范围为-1024～3070的Dicom格式的CT图像中截取像素值在1024～1248范围内的信息，并将其映射到[0,255]范围内，得到BMP或PNG格式的灰度图像。即将小于1024的像素点的像素值设置为0，将大于1248的像素点的像素值设置为255，再转换为灰度图像，排除干扰项的干扰并以便后续去噪等处理。
S22:使用去噪算法对图像中的噪声进行平滑。本实施例采用三维块匹配(BM3D)算法去除图像噪声进行平滑。
S23:截取图像中的最大连通区域。图像中除了待进行血管分割处理的图像区域外还存在无关的图像区域，因此截取图像中的最大连通区域，以减小图片分辨率大小，提高图像分割处理效率。
步骤S3中为了防止过拟合，需对用于训练的已标注的CT序列图像的灰度图像进行扩增。具体扩增方式为：随机使用旋转、平移、灰度变换和形变对数据进行扩增。
步骤S4将灰度图像按照CT图像序列打包成NIFTI格式的数据。灰度图像不能体现CT序列间的关系，因此预处理后的灰度图像按照CT图像序列打包成NIFTI格式的数据，再输入3D残差U-Net网络中，以考虑CT序列间的空间信息。
3D残差U-Net网络结构如图3所示，3D残差U-Net网络结构包括下采样和上采样，下采样和上采样的网络深度都为五层，每层均包括一个卷积块和一个残差块15，卷积块和残差块依序连接。在下采样的过程中，数据依次通过下采样第一层网络1、下采样第二层网络2、下采样第三层网络3、下采样第四层网络4以及下采样第五层网络5进行最大池化操作，每次操作将图像大小减小一半，同时卷积核的数量增加一倍；其中下采样第一层网络1卷积核数量为16，下采样第二层网络2卷积核数量为32，下采样第三层网络3卷积核数量为64，下采样第四层网络卷4积核数量为128，下采样第五层网络5卷积核数量为256；在上采样的过程中，数据依次通过上采样第五层网络5、上采样第四层网络6、上采样第三层网络7、上采样第二层网络8以及上采样第一层网络9进行反卷积操作，每次操作使图像大小增加一倍，同时卷积核的数量减小一半；其中下采样第五层网络5为上采样第五层网络，且上采样第五层网络5卷积核数量为256，上采样第四层网络6卷积核数量为128，上采样第三层网络7卷积核数量为64，上采样第二层网络8卷积核数量为32，上采样第一层网络9卷积核数量为16。另外，通过级联的方式将下采样的特征信息补充到对应的上采样层，实现特征重用，即下采样第一层网络1的特征信息级联至上采样第一层网络9，下采样第二层网络2的特征信息级联至上采样第二层网络8，下采样第三层网络3的特征信息级联至上采样第三层网络7，下采样第四层网络4的特征信息级联至上采样第四层网络6，实现下采样过程提取的特征重用；上采样第一层网络9、上采样第二层网络8以及上采用第三层网络7的输出分别连接第一分割层12、第二分割层11以及第三分割层10，三个分割层的输出相加后通过softmax分类层13分类后输出预测图像。
其中，下采样第一层网络1的第一个卷积块为第一卷积块14，第一卷积块14包括卷积层，通过卷积层对输入图像进行卷积操作；本实施例采用的卷积层的卷积核大小为3*3*3，步长为2。
除下采样第一层网络的第一个卷积块外，网络中其他的卷积块为第二卷积块16，即下采样第二层网络至下采样第五层网络以及上采样第一层网络至上采样第四层网络的卷积块均为第二卷积块16，第二卷积块16的结构如图4所示，包括卷积层、批量规范化层以及激活层；卷积层、批量规范化层以及激活层按顺序连接。首先通过卷积层对输入图像进行卷积操作，本实施例采用的卷积层的卷积核大小为3*3*3，步长为2；再利用批量规范化层(BN层)对卷积结果进行规范化，最后通过激活层进行激活操作，本实施例利用ReLu激活函数批量规范化的结果进行激活操作。
其中，残差块结构如图5所示，包括两个第二卷积块、卷积层、批量规范化层以及激活层；输入数据依次通过两个第二卷积块、卷积层以及批量规范化层进行处理；处理后的结果与输入数据相加，再通过激活层进行激活操作。将大小为h*w*c的特征图输入到残差块中，其中h表示特征图的长，w表示特征图的宽，c表示特征图数量，通过两个第二卷积块对输入的特征图进行卷积，再通过卷积层进行再次卷积，本实施例中每次卷积的卷积核大小都为3*3*3，步长都为2，并且每次都利用填充操作padding操作使特征图的大小保持不变；卷积层卷积后都利用批量规范化层(BN层)对卷积操作后的结果进行规范化；将批量规范化层批量规范化的结果与原始输入图像进行像素级上求和，再利用激活层进行激活操作，本实施例采用ReLu激活函数对其进行激活操作。
步骤S5使用加权的Dice损失函数计算输出图像与真实图像的误差，更新3D残差U-Net网络中的参数，训练3D残差U-Net网络；本实施例通过损失函数得到误差后，通过梯度反向传播，采用Adam优化算法对网络中的参数进行更新。
网络中使用的损失函数为加权Dice损失函数，其表达式如公式(1)所示：
Figure BDA0002094383000000121
其中K是类别总数，k是类别，u是3D残差U-Net网络中输出的结果，为分割处理后的分割图，v是图像one-hot编码的真实图，uk(x)是和v在k(分x)割图中像素x属于第k类的概率，
Figure BDA0002094383000000122
是真实图加权后的概率图；
Figure BDA0002094383000000123
的计算公式如公式(2)所示：
Figure BDA0002094383000000124
其中，w(x)是真实图中像素x的权重，vk(x)是在真实图中像素x属于第k类的概率。
权重w(x)的计算公式如公式(3)所示：
w(x)＝w_class(x)·w_radius(x)+λ·w_border(x)   (3)
其中，w_class(x)根据类别而定；w_border(x)是边界像素的权重，即给边界上的像素一个更大的权重，λ是衡量边界权重的影响因子，w_border(x)与λ为经验参数，是根据大量试验选择的参数；w_radius(x)由一个连通域中像素数而定。
其中，边界像素获得过程如下：对原始图像先进行膨胀操作，再进行腐蚀操作，最后用原始图像减去腐蚀后的图像，得到边界像素，边界像素由边界像素点组成。w_border(x)中的x表示边界像素点，w_border(x)表示边界像素点的权重，因为边界像素较难分割，所以倾向给这些边界像素一个更大的权值，λ是衡量边界像素权重对整个权重的影响。
w_radius(x)的计算公式如公式(4)所示：
Figure BDA0002094383000000131
其中volume(x)是一个连通域的像素个数，c是一个常数。
在训练时，通过加权的Dice损失函数计算输出图像与真实图像的误差，并通过梯度反向传播方法，采用Adam优化算法对网络中的参数进行更新，以获得最终的收敛模型。
步骤S6，将步骤S4处理后待测CT序列图像输入到已训练的3D残差U-Net网络中，输出预测图像；
在测试时，利用步骤S5训练好的3D残差U-Net网络模型，对待测CT序列图像进行预测，通过3D残差U-Net网络的Softmax分类层输出预测图像。
步骤S7，将3D残差U-Net网络中输出的预测图像扩大到原始图像尺寸，并进行平滑去噪处理。
本实施例采用双线性插值法将3D残差U-Net网络输出的预测图像放大到原始图像尺寸，并利用3D闭操作对分割结果的边缘进行平滑，最后通过对三维分割结果中各个连通域像素数进行统计分析，去除分割结果中的噪声区域。例如通过对三维分割结果中各个连通域像素数进行统计分析，去掉像素数少于10250的噪声区域。
实施例2
在本实施例中，采用实施例1所述分割方法对肝脏周围的肝静脉和门静脉进行分割，且图像中肝静脉的像素少于门静脉像素。采用的数据包含109例样本，每例样本的CT序列图像切片数在200-400之间，每例样本都是由专家进行标注，获得真实的分割图像。这里用100例数据进行训练，9例数据进行测试，并且在训练时，从训练集中选择95％的样本做训练，5％的样本做验证。
预处理时，首先从每例样本中截取出最大的连通区域，以尽量减小周围的黑色区域。由于计算机GPU显存大小的限制，将图像缩放到144*144*128(显存所能容纳的最大尺寸)。
在训练前，从旋转、平移、灰度变换或形变中随机的选择一种方法对数据进行在线扩增。
训练时，通过加权的Dice损失函数计算误差，更新3D残差U-Net网络中的参数，训练3D残差U-Net网络；
可以通过Dice系数来评价分割方法的分割效果。Dice系数表示分割结果与真实结果的相似度度量，该指标越大表明分割结果与真实结果越相似，分割结果越好。
如表1所示，与现有的3D U-Net分割方法相比，本方法明显提高了肝静脉和门静脉的分割效果，Dice系数分别提高了0.053和0.026，在肝静脉上的提升效果尤为显著，因此表明本发明专利提出的方法不仅使像素不平衡的问题得到了有效的解决，同时也提升了网络的分割效果。
表1：本方法与原始3D U-Net的实验结果对比
Figure BDA0002094383000000151
综上所述，本实施例所述分割方法与现有的同类方法相比，分割效果更好，具有明显的优势。
实施例1所述的基于3D残差U-Net和加权损失函数的腹部血管分割方法除了对肝脏周围的肝静脉和门静脉进行分割以外，还可以应用于分割其他器官周围的血管。
以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于3D残差U-Net和加权损失函数的腹部血管分割方法，其特征在于，包括以下步骤：
S1：输入CT序列图像；
S2：对CT序列图像进行预处理，并截取图像的最大连通区域；
S4：将截取了最大连通区域后的每套CT图像序列打包成NIFTI格式的数据；
S5：将已标注的NIFTI格式的图像输入到3D残差U-Net网络中，使用加权的Dice损失函数计算输出图像与真实图像的误差，更新3D残差U-Net网络中的参数，获得已训练的3D残差U-Net网络；
所述3D残差U-Net网络包括下采样和上采样，下采样和上采样的网络深度都为五层，每层均包括一个卷积块和一个残差块，卷积块和残差块依序连接；
在下采样的过程中，数据依次通过下采样第一层网络、下采样第二层网络、下采样第三层网络、下采样第四层网络以及下采样第五层网络进行最大池化操作，每次操作将图像大小减小一半，同时卷积核的数量增加一倍；其中下采样第一层网络卷积核数量为16，下采样第二层网络卷积核数量为32，下采样第三层网络卷积核数量为64，下采样第四层网络卷积核数量为128，下采样第五层网络卷积核数量为256；
在上采样的过程中，数据依次通过上采样第五层网络、上采样第四层网络、上采样第三层网络、上采样第二层网络以及上采样第一层网络进行反卷积操作，每次操作使图像大小增加一倍，同时卷积核的数量减小一半；其中下采样第五层网络为上采样第五层网络，且上采样第五层网络卷积核数量为256，上采样第四层网络卷积核数量为128，上采样第三层网络卷积核数量为64，上采样第二层网络卷积核数量为32，上采样第一层网络卷积核数量为16；
并通过级联的方式将下采样的特征信息补充到对应的上采样层，实现特征重用，即下采样第一层网络的特征信息级联至上采样第一层网络，下采样第二层网络的特征信息级联至上采样第二层网络，下采样第三层网络的特征信息级联至上采样第三层网络，下采样第四层网络的特征信息级联至上采样第四层网络；
3D残差U-Net网络还包括第一分割层、第二分割层、第三分割层以及softmax分类层；上采样第一层网络、上采样第二层网络以及上采用第三层网络的输出分别连接第一分割层、第二分割层以及第三分割层，三个分割层的输出相加后通过softmax分类层分类后输出预测图像；
通过梯度反向传播方法，采用Adam优化算法对网络中的参数进行更新，以获得训练的3D残差U-Net网络；
使用加权的Dice损失函数表达式如公式(1)所示：
Figure FDA0004083169090000021
其中K是类别总数，k是类别，u是3D残差U-Net网络中输出的结果，v是图像one-hot编码的真实图，uk(x)和是在分割图中像素x属于第k类的概率，
Figure FDA0004083169090000022
是真实图加权后的概率图；
Figure FDA0004083169090000023
的计算公式如公式(2)所示：
Figure FDA0004083169090000024
其中，w(x)是真实图中像素x的权重，vk(x)是在真实图中像素x属于第k类的概率；
权重w(x)的计算公式如公式(3)所示：
w(x)＝w_class(x)·w_radius(x)+λ·w_border(x)(3)
其中，w_class(x)根据类别而定；w_border(x)是边界像素的权重，即给边界上的像素一个更大的权重，λ是衡量边界权重的影响因子；w_radius(x)由一个连通域中像素数而定；
w_radius(x)的计算公式如公式(4)所示：
Figure FDA0004083169090000031
其中volume(x)是一个连通域的像素个数，c是一个常数；
S6：将待测的NIFTI格式的图像输入到已训练的3D残差U-Net网络中，输出预测图像；
S7：将3D残差U-Net网络中输出的预测图像扩大到原始图像尺寸，并进行平滑去噪处理。
2.根据权利要求1所述的基于3D残差U-Net和加权损失函数的腹部血管分割方法，其特征在于，所述步骤S2具体包括以下步骤：
S21:将CT图像转换为灰度图像；
S22:使用去噪算法对图像中的噪声进行平滑；
S23:截取图像中的最大连通区域。
3.根据权利要求2所述的基于3D残差U-Net和加权损失函数的腹部血管分割方法，其特征在于，所述步骤S21从像素值值域范围为-1024～3070的Dicom格式的CT图像中截取像素值在1024～1248范围内的信息，并将其映射到[0,255]范围内，得到BMP或PNG格式的灰度图像。
4.根据权利要求1所述的基于3D残差U-Net和加权损失函数的腹部血管分割方法，其特征在于，下采样第一层网络1的第一个卷积块为第一卷积块，第一卷积块包括一个卷积层；
除下采样第一层网络的第一个卷积块外，网络中其他的卷积块为第二卷积块，所述第二卷积块包括卷积层、批量规范化层以及激活层；卷积层、批量规范化层以及激活层按顺序连接。
5.根据权利要求1所述的基于3D残差U-Net和加权损失函数的腹部血管分割方法，其特征在于，所述残差块包括两个第二卷积块、卷积层、批量规范化层以及激活层；输入数据依次通过两个第二卷积块、卷积层以及批量规范化层进行处理；处理后的结果与输入数据相加，再通过激活层进行激活操作。
6.根据权利要求1所述的基于3D残差U-Net和加权损失函数的腹部血管分割方法，其特征在于，还包括步骤S3，所述步骤S3位于步骤S2与步骤S4之间；
S3：扩增用于训练的已标注的CT序列图像。
7.根据权利要求1所述的基于3D残差U-Net和加权损失函数的腹部血管分割方法，其特征在于，所述步骤S7采用双线性插值法将3D残差U-Net网络输出的预测图像放大到原始图像尺寸，并利用3D闭操作对分割结果的边缘进行平滑，最后通过对三维分割结果中各个连通域像素数进行统计分析，去除分割结果中的噪声区域。
CN201910513878.8A 2019-06-14 2019-06-14 基于3D残差U-Net和加权损失函数的腹部血管分割方法 Active CN110211140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910513878.8A CN110211140B (zh) 2019-06-14 2019-06-14 基于3D残差U-Net和加权损失函数的腹部血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910513878.8A CN110211140B (zh) 2019-06-14 2019-06-14 基于3D残差U-Net和加权损失函数的腹部血管分割方法

Publications (2)

Publication Number Publication Date
CN110211140A CN110211140A (zh) 2019-09-06
CN110211140B true CN110211140B (zh) 2023-04-07

Family

ID=67792631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910513878.8A Active CN110211140B (zh) 2019-06-14 2019-06-14 基于3D残差U-Net和加权损失函数的腹部血管分割方法

Country Status (1)

Country Link
CN (1) CN110211140B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930416B (zh) * 2019-11-25 2022-05-06 宁波大学 一种基于u型网络的mri图像前列腺分割方法
CN110840428B (zh) * 2019-11-29 2022-02-01 苏州大学 基于一维U-Net网络的无创血压估计方法
CN111047606B (zh) * 2019-12-05 2022-10-04 北京航空航天大学 一种基于级联思想的病理全切片图像分割算法
CN111275712B (zh) * 2020-01-15 2022-03-01 浙江工业大学 一种面向大尺度图像数据的残差语义网络训练方法
CN111402218A (zh) * 2020-03-11 2020-07-10 北京深睿博联科技有限责任公司 脑出血检测方法和装置
CN111340816A (zh) * 2020-03-23 2020-06-26 沈阳航空航天大学 一种基于双u型网络框架的图像分割方法
CN112168211A (zh) * 2020-03-26 2021-01-05 成都思多科医疗科技有限公司 一种腹部超声图像的脂肪厚度和肌肉厚度测量方法及系统
CN111462145B (zh) * 2020-04-01 2023-04-07 重庆大学 基于双权重符号压力函数的活动轮廓图像分割方法
CN111739051B (zh) * 2020-06-02 2022-10-04 大连理工大学 一种基于残差网络的多序列mri图像分割方法
CN111739034A (zh) * 2020-06-28 2020-10-02 北京小白世纪网络科技有限公司 基于改进的3D Unet的冠状动脉区域分割系统及方法
CN112070752A (zh) * 2020-09-10 2020-12-11 杭州晟视科技有限公司 一种医学图像的心耳分割方法、装置及存储介质
CN114494266B (zh) * 2020-10-26 2024-05-28 中国人民解放军空军军医大学 一种层级空洞金字塔卷积的宫颈及周边多器官分割方法
CN112258514B (zh) * 2020-11-20 2021-11-26 福州大学 一种ct影像肺血管的分割方法
CN112819705B (zh) * 2021-01-13 2023-04-18 西安交通大学 一种基于网状结构与长距离相关性的真实图像去噪方法
CN112489047B (zh) * 2021-02-05 2021-06-01 四川大学 一种基于深度学习的盆骨及其动脉血管的多层级分割方法
CN112950611A (zh) * 2021-03-18 2021-06-11 西安智诊智能科技有限公司 一种基于ct图像的肝脏血管分割方法
CN112966792B (zh) * 2021-05-19 2021-08-13 腾讯科技（深圳）有限公司 血管图像分类处理方法、装置、设备及存储介质
CN114581474A (zh) * 2022-04-28 2022-06-03 中国科学技术大学 一种基于宫颈癌ct影像的临床靶区自动勾画方法
CN116256720B (zh) * 2023-05-09 2023-10-13 武汉大学 基于三维探地雷达的地下目标探测方法、装置和电子设备
CN116993770B (zh) * 2023-08-16 2024-05-28 哈尔滨工业大学 一种基于残差扩散模型的图像分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166126A (zh) * 2018-08-13 2019-01-08 苏州比格威医疗科技有限公司 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法
CN109509178A (zh) * 2018-10-24 2019-03-22 苏州大学 一种基于改进的U-net网络的OCT图像脉络膜分割方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780497B (zh) * 2016-11-28 2019-09-24 重庆大学 一种基于统计信息的器官血管树自动提取方法
EP3392832A1 (en) * 2017-04-21 2018-10-24 General Electric Company Automated organ risk segmentation machine learning methods and systems
US11195280B2 (en) * 2017-06-08 2021-12-07 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Progressive and multi-path holistically nested networks for segmentation
US11379975B2 (en) * 2017-06-30 2022-07-05 Promaton Holding B.V. Classification and 3D modelling of 3D dento-maxillofacial structures using deep learning methods
CN107680088A (zh) * 2017-09-30 2018-02-09 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
US10565707B2 (en) * 2017-11-02 2020-02-18 Siemens Healthcare Gmbh 3D anisotropic hybrid network: transferring convolutional features from 2D images to 3D anisotropic volumes
US20190139216A1 (en) * 2017-11-03 2019-05-09 Siemens Healthcare Gmbh Medical Image Object Detection with Dense Feature Pyramid Network Architecture in Machine Learning
CN108090909B (zh) * 2017-12-15 2020-09-08 中国人民解放军陆军军医大学第一附属医院 一种基于统计偏微分模型的超声造影图像分割方法
CN108053417B (zh) * 2018-01-30 2019-12-17 浙江大学 一种基于混合粗分割特征的3D U-Net网络的肺分割装置
CN108447020A (zh) * 2018-03-12 2018-08-24 南京信息工程大学 一种基于极深卷积神经网络的人脸超分辨率重建方法
CN109035197B (zh) * 2018-05-31 2021-09-28 东南大学 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN109063710B (zh) * 2018-08-09 2022-08-16 成都信息工程大学 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN109035261B (zh) * 2018-08-09 2023-01-10 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
CN109191446B (zh) * 2018-08-30 2020-12-29 杭州深睿博联科技有限公司 用于肺结节分割的图像处理方法及装置
CN109410167B (zh) * 2018-08-31 2021-11-09 深圳大学 一种3d乳腺图像的分析方法及系统、介质
CN109191476B (zh) * 2018-09-10 2022-03-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN109389584A (zh) * 2018-09-17 2019-02-26 成都信息工程大学 基于cnn的多尺度鼻咽肿瘤分割方法
CN109493317B (zh) * 2018-09-25 2020-07-07 哈尔滨理工大学 基于级联卷积神经网络的3d多椎骨分割方法
CN109523521B (zh) * 2018-10-26 2022-12-20 复旦大学 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN109614991A (zh) * 2018-11-19 2019-04-12 成都信息工程大学 一种基于Attention的多尺度扩张性心肌的分割分类方法
CN109598727B (zh) * 2018-11-28 2021-09-14 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN109598728B (zh) * 2018-11-30 2019-12-27 腾讯科技（深圳）有限公司 图像分割方法、装置、诊断系统及存储介质
CN109584244B (zh) * 2018-11-30 2023-05-23 无锡本希奥智能技术有限公司 一种基于序列学习的海马体分割方法
CN109598732B (zh) * 2018-12-11 2022-06-14 厦门大学 一种基于三维空间加权的医学图像分割方法
CN109685819B (zh) * 2018-12-11 2021-02-26 厦门大学 一种基于特征增强的三维医学图像分割方法
CN109754404B (zh) * 2019-01-02 2020-09-01 清华大学深圳研究生院 一种基于多注意力机制的端到端的肿瘤分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109166126A (zh) * 2018-08-13 2019-01-08 苏州比格威医疗科技有限公司 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法
CN109509178A (zh) * 2018-10-24 2019-03-22 苏州大学 一种基于改进的U-net网络的OCT图像脉络膜分割方法

Also Published As

Publication number Publication date
CN110211140A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110211140B (zh) 基于3D残差U-Net和加权损失函数的腹部血管分割方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN110675419B (zh) 一种自适应注意门的多模态脑胶质瘤影像分割方法
CN109191476A (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN114581662B (zh) 一种脑肿瘤图像的分割方法、系统、装置及存储介质
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
CN113888555B (zh) 基于注意机制的多模态脑肿瘤图像分割系统
CN113034507A (zh) 基于ccta影像的冠状动脉三维分割方法
CN112750137B (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN114882996B (zh) 基于多任务学习的肝细胞癌ck19及mvi预测方法
CN114549538A (zh) 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法
CN117611599B (zh) 融合中心线图和增强对比度网络的血管分割方法及其系统
CN114693671A (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN112419335B (zh) 一种细胞核分割网络的形状损失计算方法
CN117409030A (zh) 基于动态管状卷积的octa图像血管分割方法及其系统
CN108447066B (zh) 胆道图像分割方法、终端、存储介质
CN116309640A (zh) 一种基于多层级多注意力MLMA-UNet网络的图像自动分割方法
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN115236606A (zh) 雷达信号特征提取方法和复数域卷积网络架构
CN114565626A (zh) 基于PSPNet改进的肺部CT图像分割算法
CN110570417A (zh) 肺结节分类方法、装置及图像处理设备
CN117618026B (zh) 一种应用于超声图像的胎儿头围测量方法及系统
CN118229712B (zh) 基于增强多维特征感知的肝脏肿瘤图像分割系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant