CN112712532B - 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法 - Google Patents

基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法 Download PDF

Info

Publication number
CN112712532B
CN112712532B CN202011618399.1A CN202011618399A CN112712532B CN 112712532 B CN112712532 B CN 112712532B CN 202011618399 A CN202011618399 A CN 202011618399A CN 112712532 B CN112712532 B CN 112712532B
Authority
CN
China
Prior art keywords
liver
network
convolution
image
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011618399.1A
Other languages
English (en)
Other versions
CN112712532A (zh
Inventor
胡栋
徐畅畅
庞雨薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202011618399.1A priority Critical patent/CN112712532B/zh
Publication of CN112712532A publication Critical patent/CN112712532A/zh
Application granted granted Critical
Publication of CN112712532B publication Critical patent/CN112712532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于瓶颈结构的多尺度DC‑CUNets的肝脏肿瘤分割方法，旨在解决现有技术中肝脏肿瘤的分割精度不足的技术问题。其包括：利用基于瓶颈结构的U‑Net从静脉期CT图像中获得肝脏掩膜；利用动脉期和静脉期CT图像分别与肝脏掩膜进行掩膜运算，获得动脉期和静脉期的肝脏感兴趣区域；利用双通道级联U‑Nets处理动脉期和静脉期的肝脏感兴趣区域，获得动脉期和静脉期深层图像特征；对动脉期和静脉期深层图像特征进行特征融合，并利用softmax层处理融合后的特征块，输出肝脏肿瘤分割概率图。本发明能够快速、准确的进行肝脏肿瘤分割。

Description

基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法
技术领域
本发明涉及一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，属于医学影像处理技术领域。
背景技术
肝癌作为一种常见的恶性肿瘤疾病，是世界上最普遍的癌症之一，通过CT影响准确判断肝脏肿瘤对于肝癌研究、临床诊断和手术治疗都具有非常重要的指导意义。目前，已经有越来越多的研究将计算机图像处理技术作为一种辅助诊疗手段，用来从CT影像中分割出肝脏及肿瘤，然而，肝脏尺寸、位置等信息因人而异，并且腹腔内的器官及组织连接复杂，受到医学影像对比度低、肿瘤具有多样性和扩散性、肝脏及肿瘤的边界模糊、密度分布不均等问题的影响，现有的肝脏肿瘤分割方法效果并不理想，结合人工智能技术实现肝脏及肿瘤的自动化分割越来越重要。
发明内容
为了解决现有技术中肝脏肿瘤的分割精度不足的问题，本发明提出了一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，利用多尺度空洞卷积核深度瓶颈结构改造双通道级联U-Nets，在提高肝脏肿瘤分割精度的同时加快网络收敛速度。
为解决上述技术问题，本发明采用了如下技术手段：
本发明提出了一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，包括如下步骤：
获取包含肝脏肿瘤的静脉期CT图像和动脉期CT图像；
利用基于瓶颈结构的U-Net从静脉期CT图像中分割出肝脏区域，并根据预设置的阈值将肝脏区域转化为二值的肝脏掩膜；
利用动脉期CT图像和静脉期CT图像分别与肝脏掩膜进行掩膜运算，获得动脉期的肝脏感兴趣区域和静脉期的肝脏感兴趣区域；
利用双通道级联U-Nets处理动脉期的肝脏感兴趣区域和静脉期的肝脏感兴趣区域，获得动脉期深层图像特征和静脉期深层图像特征；
利用特征级联对动脉期深层图像特征和静脉期深层图像特征进行特征融合，并利用softmax层处理融合后的特征块，输出肝脏肿瘤分割概率图。
进一步的，所述基于瓶颈结构的U-Net的构建方法如下：
获取原始U-Net网络和预先设计的两种深度瓶颈结构，其中，所述原始U-Net网络的收缩路径包括五个依次连接的网络模块，第一、二、三、四个网络模块均包括2个卷积层和1个池化层，第五个网络模块包括2个卷积层，所述两种深度瓶颈结构分别记为DBA1和DBA2；
利用深度瓶颈结构DBA1分别替换原始U-Net网络的收缩路径的每个网络模块中的第二个卷积层，利用深度瓶颈结构DBA2分别替换原始U-Net网络的收缩路径的第二、三、四、五个网络模块中的第一个卷积层，生成基于瓶颈结构的U-Net。
进一步的，所述双通道级联U-Nets包括两个基于瓶颈结构的多尺度U-Net，所述基于瓶颈结构的多尺度U-Net的构建方法如下：
获取原始U-Net网络、预先设计的两种深度瓶颈结构和多尺度空洞卷积模块，其中，所述原始U-Net网络的收缩路径包括三个依次连接的网络模块，每个网络模块均包括2个卷积层和1个池化层，所述两种深度瓶颈结构分别记为DBA1和DBA2；
利用深度瓶颈结构DBA1分别替换原始U-Net网络的收缩路径的每个网络模块中的第二个卷积层，利用深度瓶颈结构DBA2分别替换原始U-Net网络的收缩路径的第二、三个网络模块中的第一个卷积层；
利用两个相连的多尺度空洞卷积模块分别连接原始U-Net网络的收缩路径中第三个网络模块的池化层和原始U-Net网络的扩散路径，并将与第三个网络模块的池化层连接的多尺度空洞卷积模块的输出与扩散路径的第一个卷积层的输出跳跃连接，生成基于瓶颈结构的多尺度U-Net。
进一步的，设两种深度瓶颈结构的输入图像的尺寸为H×W×C，深度瓶颈结构DBA1的结构如下：
第一卷积层，卷积核大小为1×1，卷积核数目为C/2；
第二卷积层，卷积核大小为3×3，卷积核数目为C/2；
第三卷积层，卷积核大小为1×1，卷积核数目为C；
深度瓶颈结构DBA2的结构如下：
第一卷积层，卷积核大小为1×1，卷积核数目为C；
第二卷积层，卷积核大小为3×3，卷积核数目为C；
第三卷积层，卷积核大小为1×1，卷积核数目为2C。
进一步的，所述多尺度空洞卷积模块包括输入层、第一空洞卷积层、第二空洞卷积层、特征级联层和输出层，其中：
所述输入层用于输入图像特征图；
所述第一空洞卷积层和第二空洞卷积层用于对输入的图像特征图进行特征提取，获得三个不同尺度的特征图；
所述特征级联层用于将三个不同尺度的特征图与输入层输入的图像特征图进行融合，得到多尺度空洞卷积特征图；
所述输出层用于输出多尺度空洞卷积特征图。
进一步的，所述第一空洞卷积层和第二空洞卷积层均包括三个不同尺度的空洞卷积，第一空洞卷积层的三个不同尺度的空洞卷积对应的扩张率分别为1-dilated、2-dilated和5-dilated，第二空洞卷积层的三个不同尺度的空洞卷积对应的扩张率分别为2-dilated、3-dilated和6-dilated。
进一步的，所述基于瓶颈结构的U-Net的训练过程如下：
对包含肝脏肿瘤的静脉期CT图像进行预处理，获得训练样本集；
初始化基于瓶颈结构的U-Net的网络参数，将训练样本集中的训练样本依次输入基于瓶颈结构的U-Net，获得每个训练样本的肝脏分割图像；
基于肝脏分割图像迭代更新基于瓶颈结构的U-Net的网络参数，获得更新后的基于瓶颈结构的U-Net；
根据更新后的基于瓶颈结构的U-Net获取更新后的肝脏分割图像；
在每迭代2次后，根据更新后的肝脏分割图像计算网络损失函数；
根据网络损失函数进行收敛判断，当网络损失函数收敛，结束迭代，输出训练好的基于瓶颈结构的U-Net。
进一步的，所述基于瓶颈结构的U-Net的网络参数包括学习率和批量尺度，学习率初始化为0.0001，批量尺度初始化为5。
进一步的，所述网络损失函数的计算公式如下：
Figure BDA0002871807200000051
其中，L表示网络损失，xi表示更新后的肝脏分割图像中的第i个像素点，X表示更新后的肝脏分割图像的像素点集合，
Figure BDA0002871807200000052
表示像素点xi的加权因子，
Figure BDA0002871807200000053
表示Softmax函数，l(xi)表示像素点xi的类别，i∈[1,N]，N为更新后的肝脏分割图像中像素点总数；
Figure BDA0002871807200000054
的计算公式如下：
Figure BDA0002871807200000055
其中，k的值为0或1。
进一步的，收缩路径中每个网络模块的卷积层的卷积核大小为3×3，步长为1，pad为1；池化层的过滤器的大小为2×2，步长为2。
采用以上技术手段后可以获得以下优势：
本发明提出了一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，利用基于瓶颈结构的U-Net获取肝脏掩膜，然后在肝脏掩膜的基础上利用双通道级联U-Nets实现对多期CT图像的特征融合，本发明方法的肝脏肿瘤分割精度高，分割结果准确可靠，肝脏肿瘤分割效果远高于单通道/单期CT影像的分割效果。
本发明方法分别通过多尺度空洞卷积模块和深度瓶颈结构对U-Nets进行网络优化，一方面可以解决肝脏肿瘤分割的尺度问题，提升肝脏肿瘤的整体分割精度，减少肿瘤分割过程中产生的假阴性和假阳性概率，另一方面可以优化网络训练过程，减少网络参数，降低分割运算复杂度，加快网络的收敛速度，提升网络的可靠性和有效性，进而提高分割效率并进一步提高分割精度。
附图说明
图1为本发明一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法的步骤流程图；
图2为本发明实施例中多期CT图像肝脏肿瘤分割方法的操作流程图；
图3为本发明实施例中深度瓶颈结构DBA1的示意图；
图4为本发明实施例中深度瓶颈结构DBA2的示意图；
图5为本发明实施例中多尺度空洞卷积模块的结构示意图；
图6为本发明实施例中原始U-Net网络的结构示意图；
图7为本发明实施例中基于瓶颈结构的U-Net的结构示意图；
图8为本发明实施例中基于瓶颈结构的多尺度U-Net的结构示意图；
图9为本发明实施例中静脉期CT图像和动脉期CT图像的示意图；
图10为本发明实施例中图9对应的肝脏肿瘤分割金标准示意图；
图11为本发明实施例中利用单层FCN网络处理图9获得的肝脏肿瘤分割概率图；
图12为本发明实施例中利用CFCNs网络处理图9获得的肝脏肿瘤分割概率图；
图13为本发明实施例中利用改进的CFCNs网络处理图9获得的肝脏肿瘤分割概率图；
图14为本发明实施例中利用H-DenseUNet分割网络处理图9获得的肝脏肿瘤分割概率图；
图15为本发明实施例中利用本发明方法处理图9获得的肝脏肿瘤分割概率图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明：
本发明提出了一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，对增强CT的静脉期和动脉期影像用双通道U-Nets进行联合处理，解决现有技术中增强CT中多期图像特征的融合问题、肝脏肿瘤的尺度问题以及网络训练过程的优化问题，如图1、2所示，包括如下步骤：
步骤1、获取包含肝脏肿瘤的静脉期CT图像和动脉期CT图像；
步骤2、利用基于瓶颈结构的U-Net从静脉期CT图像中分割出肝脏区域，并根据预设置的阈值将肝脏区域转化为二值的肝脏掩膜；
步骤3、利用动脉期CT图像和静脉期CT图像分别与肝脏掩膜进行掩膜运算，获得动脉期的肝脏感兴趣区域和静脉期的肝脏感兴趣区域；
步骤4、利用双通道级联U-Nets处理动脉期的肝脏感兴趣区域和静脉期的肝脏感兴趣区域，获得动脉期深层图像特征和静脉期深层图像特征；
步骤5、利用特征级联对动脉期深层图像特征和静脉期深层图像特征进行特征融合，并利用softmax层处理融合后的特征块，输出肝脏肿瘤分割概率图。
本发明对现有技术中的U-Net进行改进，来实现更好的肝脏肿瘤分割效果，基于级联分割网络的思想提供了两级网络结构，利用第一级网络分割肝脏，然后将肝脏分割结果与动脉期和静脉期图像相乘并分别输入两个不同通道的第二级网络进行独立训练，最后通过第二级网络来提升肿瘤的整体分割精度。
本发明现有U-Net的改进主要体现在两个方面：深度和尺度。
在深度层面上，为了在减少网络训练参数的同时加深网络深度，本发明方法设计了两种深度瓶颈结构，分别记为DBA1和DBA2，深度瓶颈结构DBA1的输入和输出特征图像维度相同，深度瓶颈结构DBA2的输出特征图像维度是输入特征图像维度的两倍。
设DBA1和DBA2的输入图像的尺寸为H×W×C，则其结构如图3、4所示。深度瓶颈结构DBA1包括3层卷积层：第一卷积层，卷积核大小为1×1，卷积核数目为C/2；第二卷积层，卷积核大小为3×3，卷积核数目为C/2；第三卷积层，卷积核大小为1×1，卷积核数目为C。深度瓶颈结构DBA2也包括3层卷积层：第一卷积层，卷积核大小为1×1，卷积核数目为C；第二卷积层，卷积核大小为3×3，卷积核数目为C；第三卷积层，卷积核大小为1×1，卷积核数目为2C。
输入DBA1的特征图像，经过卷积核为1×1且卷积核数目(即通道数)为C/2的第一卷积层后图像特征尺寸变成H×W×C/2，然后使用一个卷积核尺度为3×3、卷积核数目为C/2的第二卷积层来学习图像特征，输出特征图像通道数不变，最后经过卷积核为1×1、卷积核数目为C的第三卷积层，实现对特征图像的升维处理，输出尺寸为H×W×C的特征图像，DBA1还原了整个模块输出图像特征的尺寸，确保模块输出与输入尺寸相同。输入DBA2的特征图像先经过卷积核为1×1、通道数为C的第一卷积层，其图像尺寸保持在H×W×C不变，然后连接卷积核为3×3、通道数为C的第二卷积层进行图像特征学习，最后利用一个卷积核为1×1、通道数为2C的第三卷积层对图像特征进行升维，最终输出尺寸为H×W×2C的特征图像。
在尺度层面上，本发明方法设计了一个多尺度空洞卷积模块，来融合大、中、小三个尺寸下的图像特征。本发明实施例中的多尺度空洞卷积模块的结构如图5所示，主要包括输入层、第一空洞卷积层、第二空洞卷积层、特征级联层和输出层，其中，输入层用于输入图像特征图；第一空洞卷积层和第二空洞卷积层依次连接，两者用于对输入的图像特征图进行特征提取，获得三个不同尺度的特征图；特征级联层主要用于将三个不同尺度的特征图与输入层输入的图像特征图进行融合，从而得到多尺度空洞卷积特征图；输出层用于输出多尺度空洞卷积特征图。
因为本发明的多尺度空洞卷积模块主要涉及3个尺度，所以第一空洞卷积层和第二空洞卷积层均包括三个不同尺度的空洞卷积，第一空洞卷积层的三个不同尺度的空洞卷积对应的扩张率分别为1-dilated、2-dilated和5-dilated，第二空洞卷积层的三个不同尺度的空洞卷积对应的扩张率分别为2-dilated、3-dilated和6-dilated。
本发明中的多尺度空洞卷积模块的输入为任意尺寸的图像特征图，利用三个不同扩张率的空洞卷积分别基于输入图像特征图提取更深一层的图像特征，最后以特征通道级联的方式将三个不同尺度空洞卷积得到的特征图与输入图像特征图进行融合，获得多尺度空洞卷积模块的输出，实现更多尺度的特征融合，提高肝脏肿瘤分割精度。
本发明实施例中给出了一个原始U-Net网络结构，如图6所示，其包括一个收缩路径和一个扩散路径，收缩路径包括5个通过池化层连接的网络模块，其中，收缩路径的第一、二、三、四个网络模块均包括2个卷积核大小为3×3的卷积层和1个2×2的池化层，收缩路径的第五个网络模块包括2个卷积核大小为3×3的卷积层；扩散路径包括4个网络模块，扩散路径的第一、二、三个网络模块均包括1个2×2的反卷积层和2个卷积核大小为3×3的卷积层，扩散路径的第四个网络模块包括1个2×2的反卷积层、2个卷积核大小为3×3的卷积层和1个卷积核大小为1×1的卷积层。原始U-Net网络的卷积层的步长为1，pad为1；池化层的步长为2。
在本发明实施例的步骤2中，基于瓶颈结构的U-Net是在原始U-Net网络结构的基础上利用DBA1和DBA2构建的，具体操作如下：
通过细调(fine-tuning)利用深度瓶颈结构DBA1分别替换原始U-Net网络的收缩路径的每个网络模块中的第二个卷积层，利用深度瓶颈结构DBA2分别替换原始U-Net网络的收缩路径中第二、三、四、五个网络模块中的第一个卷积层，替换后的收缩路径的网络模块将变成DBA2→DBA1→池化层，生成基于瓶颈结构的U-Net，图7是本发明实施例中基于瓶颈结构的U-Net的结构示意图。
利用DBA1和DBA2替换掉原始U-Net网络结构中的部分卷积层，在输入图像的尺寸为H×W×C的情况下，通过DBA2将特征图尺寸变为H×W×2C，再通过DBA1令特征图保持尺寸不变，仍为H×W×2C，最后又通过最大池化层，特征图尺寸减半、特征图通道数保持不变，为H/2×W/2×2C，这样能够让基于瓶颈结构的U-Net保持与原始卷积层模块的输入输出相同的翻倍后的特征通道数，同时可以减少网络参数，降低网络运算复杂度。
在步骤4中，双通道级联U-Nets包括两个基于瓶颈结构的多尺度U-Net，即两个通道，其中一个基于瓶颈结构的多尺度U-Net的输入是动脉期的肝脏感兴趣区域，通过特征提取获得动脉期深层图像特征；另一个基于瓶颈结构的多尺度U-Net的输入是静脉期的肝脏感兴趣区域，通过特征提取获得静脉期深层图像特征。
在本发明实施例中，基于瓶颈结构的多尺度U-Net可以在原始U-Net网络结构(图6)的基础上利用DBA1、DBA2和多尺度空洞卷积模块构建的，具体操作如下：
利用两个相连的多尺度空洞卷积模块替换掉原始U-Net网络的收缩路径中第四个、第五个网络模块，并去除原始U-Net网络的扩散路径中的第一个反卷积层，替换后，第一个多尺度空洞卷积模块的输入连接收缩路径中第三个网络模块的池化层，第二个多尺度空洞卷积模块的输出连接扩散路径中第一个3×3卷积层的输入；利用深度瓶颈结构DBA1分别替换收缩路径中剩下三个网络模块中的第二个卷积层，利用深度瓶颈结构DBA2分别替换收缩路径中第二、三个网络模块中的第一个卷积层；将第一个多尺度空洞卷积模块的输出与扩散路径中第一个卷积层的输出以拼接的方式实现跳跃连接，保持U-Net网络深度和图像特征数目，生成基于瓶颈结构的多尺度U-Net，图8是本发明实施例中基于瓶颈结构的多尺度U-Net的结构示意图。
利用DBA1、DBA2和多尺度空洞卷积模块替换掉原始U-Net网络结构中的部分网络层，既能够加深网络深度，减少网络参数，加速网络收敛，又可以实现更多尺度的特征融合，提高肿瘤分割精度。
本发明方法在完成网络构建后，还需要对构建好的网络进行训练，基于瓶颈结构的U-Net和双通道级联U-Nets的训练过程类似，在本发明实施例中，以基于瓶颈结构的U-Net为例，具体的网络训练过程如下：
对包含肝脏肿瘤的静脉期CT图像进行预处理，获得训练样本集。针对每一幅静脉期CT图像，预处理的具体操作包括：首先将静脉期CT图像的窗位(WL)设置为35、窗宽(WW)设置为200来增大图像中肝脏区域与腹部其他实质之间的对比度；其次使用随机镜像和旋转的数据扩充手段来处理每幅静脉期CT图像，从而增加训练样本的数量，其中，随机镜像包含随机水平镜像和随机垂直镜像，旋转则包含随机顺时针90°或逆时针90°旋转等。初始化基于瓶颈结构的U-Net的网络参数，网络参数主要包括学习率和批量尺度，学习率初始化为0.0001，批量尺度初始化为5。
将训练样本集中的训练样本(512×512的预处理后的静脉期CT图像)以数据矩阵的格式依次输入基于瓶颈结构的U-Net，获得每个训练样本的肝脏分割图像。基于肝脏分割图像和标注好肝脏肿瘤的金标准迭代更新基于瓶颈结构的U-Net的网络参数，获得更新后的基于瓶颈结构的U-Net。
利用更新后的基于瓶颈结构的U-Net获取更新后的肝脏分割图像。
在每迭代2次后，根据更新后的肝脏分割图像计算网络损失函数，网络损失函数的计算公式如下：
Figure BDA0002871807200000131
其中，L表示网络损失，xi表示更新后的肝脏分割图像中的第i个像素点，X表示更新后的肝脏分割图像的像素点集合，
Figure BDA0002871807200000132
表示像素点xi的加权因子，
Figure BDA0002871807200000133
表示Softmax函数，l(xi)表示像素点xi的类别，i∈[1,N]，N为更新后的肝脏分割图像中像素点总数。针对每一个像素点xi而言，其最终只可能属于一个类别(属于肝脏肿瘤或者不属于肝脏肿瘤)，因此对于所有特征标签向量中只有一个类别是1，其余类别是0；只需要将当前像素点xi真实属于的第l(xi)类的那一项进行保留，然后把所有像素点的loss进行相加即可。
针对每一个像素点xi，其加权因子
Figure BDA0002871807200000134
的计算公式如下：
Figure BDA0002871807200000135
其中，k的值为0或1。
根据网络损失函数进行收敛判断，使用随机梯度下降算法实现损失函数的收敛，当网络损失函数收敛，结束迭代，输出训练好的基于瓶颈结构的U-Net，并保存训练好的基于瓶颈结构的U-Net的网络参数和所有权重参数。
完成基于瓶颈结构的U-Net和双通道级联U-Nets的训练后，本发明首先将门静脉期(PV)CT作为训练好的基于瓶颈结构的U-Net的输入，利用基于瓶颈结构的U-Net输出分割出的肝脏区域，即第一级肝脏分割的预测概率图，通过人工设置的阈值将预测概率图转化为二值的肝脏掩膜；再将动脉期和静脉期CT与肝脏掩膜进行掩膜运算，保留原始CT图像上的肝脏区域，同时屏蔽其他非相关脏器，得到动脉期和静脉期的肝脏感兴趣区域；然后利用训练好的双通道级联U-Nets提取动脉期和静脉期的肝脏感兴趣区域的特征，并进行动脉期深层图像特征和静脉期深层图像特征融合；最后利用softmax层处理融合特征，进行分类，得到肝脏肿瘤分割概率图。
为了验证本发明方法的效果，本发明实施例中给出了几组对比实验：
对比实验中的硬件及软件仿真环境如表1所示：
表1
CPU Core i7-6700
GPU Nvidia GeForce RTX 2080Ti
内存 8G
操作系统 Windows 10
开发环境 Tensorflow
编程语言 Python3.6
Cuda加速 Cuda8.0 with cudnn6.0
获取40套带有高质量肝脏及肝脏肿瘤标注的腹部增强CT，通过数据增强处理得到包含13759张CT切片图像的测试集合；分别用单层FCN网络、CFCNs网络、改进的CFCNs网络和H-DenseUNet分割网络作为对比算法，选取体积重叠误差(Volume Overlap Error,VOE)、相对体积误差(Relative Volume Difference,RVD)、平均对称表面距离(Average SymmetricSurface Distance,ASD)、最大表面距离(Maximum Symmetric Surface Distance,MSD)、准确率(Precision)和召回率(Recall)和时间(Time)这七个指标从三个不同方面对实验效果进行评估；在表1的仿真环境下运用对比算法和本发明方法处理测试集合，获得肝脏肿瘤分割结果，并记录网络分割的各项评价指标。
图9是对比实验中的一组静脉期CT图像和动脉期CT图像，图10是图9对应的肝脏肿瘤分割金标准示意图，图11、12、13、14、15分别为单层FCN网络、CFCNs网络、改进的CFCNs网络、H-DenseUNet分割网络和本发明方法处理图9后得到的肝脏肿瘤分割概率图，从图中可以看出，本发明方法获得的肝脏肿瘤分割概率图更贴近于金标准，肝脏肿瘤分割结果更准确可靠。
本发明实施例中还计算了DICE相似系数，该指标可以代表分割结果与标注的金标准之间的重合率，计算公式如下：
Figure BDA0002871807200000151
其中，Seg指对比实验中某个方法的分割结果，Gth代表分割的金标准，一般通过手动标记产生。DICE的取值范围为[0,1]之间，值越大表示实验方法的分割结果与金标准越吻合，即分割精确度越高，而当DICE的值趋于0则表示实验方法的分割结果与金标准不重合，分割失败。
通过测试集对各个分割方法获得的各项评价指标的平均指标如表2所示：
表2
Figure BDA0002871807200000161
在表2中，DC-CUNets表示具有双通道结构的U-Net网络，多尺度DC-CUNets表示融入了多尺度空洞卷积模块的双通道U-Net网络；Liver Dice是指对比实验中各个方法的级联分割网络中第一级分割肝脏的分割效果与金标准的吻合度，Tumor Dice是指对比实验中各个方法最终分割肝脏肿瘤的分割效果与金标准的吻合度。
通过对表2的整体分析可以看出，与对比算法相比，本发明方法的准确率(Precision)、召回率(Recall)和肝脏肿瘤分割精度(Liver DICE和Tumor DICE)都有明显提高，并且耗时(Time)较短。
通过比较表2中单层FCN网络、CFCNs网络和改进的CFCNs网络对应的Tumor DICE，可以看出，使用级联的肝脏和肿瘤自动化分割网络能够有效提升整体分割精度；通过比较单层FCN网络、CFCNs网络、改进的CFCNs网络、H-DenseUNet分割网络和DC-CUNets，就肝脏肿瘤分割网络而言，利用双通道结构融合多期CT图像特征的DC-CUNets有效提升了4％到5％的肝脏肿瘤分割精度。
此外，DC-CUNets对于肿瘤的分割精度为83.41％，而融入了多尺度空洞卷积模块的多尺度DC-CUNets的Tumor DICE系数为86.29％，肿瘤分割精度提升了2.88％，同时准确率和召回率都有所提升，因此，融入多尺度空洞卷积模块可以有效减少肿瘤分割过程中产生假阴性和假阳性的概率。
本发明方法在肝脏分割U-Net和多尺度肝脏肿瘤分割U-Nets中都交替融入了两种DBA结构，使得Liver DICE系数(93.24％)相较于没有DBA结构的多尺度DC-CUNets(90.37％)提升了2.87％，而Tumor DICE系数则提高了2.01％。除此之外，本发明方法分割一张CT切片的时间从0.63s降低到了0.46s，降低了0.17s，分割耗时低于绝大部分对比算法。综上，本发明方法不仅能够减少网络参数，加快网络训练速度，而且有效利用三层的DBA结构代替原有卷积层也提升了肝脏及肝脏肿瘤的分割精度。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，其特征在于，包括如下步骤：
获取包含肝脏肿瘤的静脉期CT图像和动脉期CT图像；
利用基于瓶颈结构的U-Net从静脉期CT图像中分割出肝脏区域，并根据预设置的阈值将肝脏区域转化为二值的肝脏掩膜；
利用动脉期CT图像和静脉期CT图像分别与肝脏掩膜进行掩膜运算，获得动脉期的肝脏感兴趣区域和静脉期的肝脏感兴趣区域；
利用双通道级联U-Nets处理动脉期的肝脏感兴趣区域和静脉期的肝脏感兴趣区域，获得动脉期深层图像特征和静脉期深层图像特征；
利用特征级联对动脉期深层图像特征和静脉期深层图像特征进行特征融合，并利用softmax层处理融合后的特征块，输出肝脏肿瘤分割概率图；
所述双通道级联U-Nets包括两个基于瓶颈结构的多尺度U-Net，所述基于瓶颈结构的多尺度U-Net的构建方法如下：
获取原始U-Net网络、预先设计的两种深度瓶颈结构和多尺度空洞卷积模块，其中，所述原始U-Net网络的收缩路径包括三个依次连接的网络模块，每个网络模块均包括2个卷积层和1个池化层，所述两种深度瓶颈结构分别记为DBA1和DBA2；
利用深度瓶颈结构DBA1分别替换原始U-Net网络的收缩路径的每个网络模块中的第二个卷积层，利用深度瓶颈结构DBA2分别替换原始U-Net网络的收缩路径的第二、三个网络模块中的第一个卷积层；
利用两个相连的多尺度空洞卷积模块分别连接原始U-Net网络的收缩路径中第三个网络模块的池化层和原始U-Net网络的扩散路径，并将与第三个网络模块的池化层连接的多尺度空洞卷积模块的输出与扩散路径的第一个卷积层的输出跳跃连接，生成基于瓶颈结构的多尺度U-Net。
2.根据权利要求1所述的一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，其特征在于，所述基于瓶颈结构的U-Net的构建方法如下：
获取原始U-Net网络和预先设计的两种深度瓶颈结构，其中，所述原始U-Net网络的收缩路径包括五个依次连接的网络模块，第一、二、三、四个网络模块均包括2个卷积层和1个池化层，第五个网络模块包括2个卷积层，所述两种深度瓶颈结构分别记为DBA1和DBA2；
利用深度瓶颈结构DBA1分别替换原始U-Net网络的收缩路径的每个网络模块中的第二个卷积层，利用深度瓶颈结构DBA2分别替换原始U-Net网络的收缩路径的第二、三、四、五个网络模块中的第一个卷积层，生成基于瓶颈结构的U-Net。
3.根据权利要求2所述的一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，其特征在于，设两种深度瓶颈结构的输入图像的尺寸为H×W×C，深度瓶颈结构DBA1的结构如下：
第一卷积层，卷积核大小为1×1，卷积核数目为C/2；
第二卷积层，卷积核大小为3×3，卷积核数目为C/2；
第三卷积层，卷积核大小为1×1，卷积核数目为C；
深度瓶颈结构DBA2的结构如下：
第一卷积层，卷积核大小为1×1，卷积核数目为C；
第二卷积层，卷积核大小为3×3，卷积核数目为C；
第三卷积层，卷积核大小为1×1，卷积核数目为2C。
4.根据权利要求1所述的一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，其特征在于，所述多尺度空洞卷积模块包括输入层、第一空洞卷积层、第二空洞卷积层、特征级联层和输出层，其中：
所述输入层用于输入图像特征图；
所述第一空洞卷积层和第二空洞卷积层用于对输入的图像特征图进行特征提取，获得三个不同尺度的特征图；
所述特征级联层用于将三个不同尺度的特征图与输入层输入的图像特征图进行融合，得到多尺度空洞卷积特征图；
所述输出层用于输出多尺度空洞卷积特征图。
5.根据权利要求4所述的一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，其特征在于，所述第一空洞卷积层和第二空洞卷积层均包括三个不同尺度的空洞卷积，第一空洞卷积层的三个不同尺度的空洞卷积对应的扩张率分别为1-dilated、2-dilated和5-dilated，第二空洞卷积层的三个不同尺度的空洞卷积对应的扩张率分别为2-dilated、3-dilated和6-dilated。
6.根据权利要求1所述的一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，其特征在于，所述基于瓶颈结构的U-Net的训练过程如下：
对包含肝脏肿瘤的静脉期CT图像进行预处理，获得训练样本集；
初始化基于瓶颈结构的U-Net的网络参数，将训练样本集中的训练样本依次输入基于瓶颈结构的U-Net，获得每个训练样本的肝脏分割图像；
基于肝脏分割图像迭代更新基于瓶颈结构的U-Net的网络参数，获得更新后的基于瓶颈结构的U-Net；
根据更新后的基于瓶颈结构的U-Net获取更新后的肝脏分割图像；
在每迭代2次后，根据更新后的肝脏分割图像计算网络损失函数；
根据网络损失函数进行收敛判断，当网络损失函数收敛，结束迭代，输出训练好的基于瓶颈结构的U-Net。
7.根据权利要求6所述的一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，其特征在于，所述基于瓶颈结构的U-Net的网络参数包括学习率和批量尺度，学习率初始化为0.0001，批量尺度初始化为5。
8.根据权利要求6所述的一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，其特征在于，所述网络损失函数的计算公式如下：
Figure FDA0003736170980000041
其中，L表示网络损失，xi表示更新后的肝脏分割图像中的第i个像素点，X表示更新后的肝脏分割图像的像素点集合，
Figure FDA0003736170980000042
表示像素点xi的加权因子，pl(xi)(xi)表示Softmax函数，l(xi)表示像素点xi的类别，i∈[1,N]，N为更新后的肝脏分割图像中像素点总数；
Figure FDA0003736170980000043
的计算公式如下：
Figure FDA0003736170980000051
其中，k的值为0或1。
9.根据权利要求2所述的一种基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法，其特征在于，收缩路径中每个网络模块的卷积层的卷积核大小为3×3，步长为1，pad为1；池化层的过滤器的大小为2×2，步长为2。
CN202011618399.1A 2020-12-30 2020-12-30 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法 Active CN112712532B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011618399.1A CN112712532B (zh) 2020-12-30 2020-12-30 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011618399.1A CN112712532B (zh) 2020-12-30 2020-12-30 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法

Publications (2)

Publication Number Publication Date
CN112712532A CN112712532A (zh) 2021-04-27
CN112712532B true CN112712532B (zh) 2022-08-30

Family

ID=75547473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011618399.1A Active CN112712532B (zh) 2020-12-30 2020-12-30 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法

Country Status (1)

Country Link
CN (1) CN112712532B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113129297B (zh) * 2021-04-30 2024-03-26 复旦大学附属中山医院 基于多期相肿瘤影像的直径自动测量方法及系统
CN113284151A (zh) * 2021-06-07 2021-08-20 山东澳望德信息科技有限责任公司 一种基于深度卷积神经网络的胰腺分割方法及系统
CN117351489B (zh) * 2023-12-06 2024-03-08 四川省肿瘤医院 面向全身pet/ct扫描的头颈肿瘤靶区的勾画系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835112A (zh) * 2015-05-07 2015-08-12 厦门大学 一种肝脏多相期ct图像融合方法
CN110599447A (zh) * 2019-07-29 2019-12-20 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 一种肝癌病灶数据的处理方法、系统和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835112A (zh) * 2015-05-07 2015-08-12 厦门大学 一种肝脏多相期ct图像融合方法
CN110599447A (zh) * 2019-07-29 2019-12-20 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 一种肝癌病灶数据的处理方法、系统和存储介质

Also Published As

Publication number Publication date
CN112712532A (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN112712532B (zh) 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法
CN108492297B (zh) 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法
CN112241766B (zh) 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN109523521B (zh) 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN112270660B (zh) 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN110321920A (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
CN111192245A (zh) 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN112070781B (zh) 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备
CN112184658A (zh) 用于非小细胞肺癌预后生存预测的方法、介质及电子设备
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
CN109300136B (zh) 一种基于卷积神经网络的危及器官自动分割方法
CN113706487A (zh) 基于自监督特征小样本学习的多器官分割方法
CN111986101A (zh) 一种脑血管图谱构建方法
CN112634273A (zh) 一种基于深度神经网络的脑转移瘤分割系统及其构建方法
CN112785603A (zh) 一种基于Unet和超像素的脑组织分割方法
CN112085736A (zh) 一种基于混维卷积的肾肿瘤分割方法
CN113706486A (zh) 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法
CN114037699B (zh) 一种病理图像分类方法、设备、系统及存储介质
CN111524140A (zh) 基于cnn和随机森林法的医学图像语义分割方法
Tian et al. Radiomics and Its Clinical Application: Artificial Intelligence and Medical Big Data
Hema et al. Region-based segmentation and classification for ovarian cancer detection using convolution neural network
CN114066883A (zh) 一种基于特征选择与残差融合的肝肿瘤分割方法
CN115861716B (zh) 基于孪生神经网络和影像组学的胶质瘤分类方法及装置
CN115631387B (zh) 基于图卷积神经网络的肺癌病理高危因素预测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant