CN115131369A - 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法 - Google Patents

一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法 Download PDF

Info

Publication number
CN115131369A
CN115131369A CN202210672085.2A CN202210672085A CN115131369A CN 115131369 A CN115131369 A CN 115131369A CN 202210672085 A CN202210672085 A CN 202210672085A CN 115131369 A CN115131369 A CN 115131369A
Authority
CN
China
Prior art keywords
network
liver
convolutional layer
net
conv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210672085.2A
Other languages
English (en)
Inventor
胡栋
李亚荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210672085.2A priority Critical patent/CN115131369A/zh
Publication of CN115131369A publication Critical patent/CN115131369A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于3DA‑U‑Nets架构的CT图像肝脏肿瘤分割方法，该方法包括：将CT图像输入三维注意力结构3DA与U‑Net网络结合得到一级肝脏分割网络3DA‑U‑Net对肝脏进行分割，得到肝脏掩膜，其中三维注意力结构利用从多个维度扫描全局图像，重点关注目标所在区域和特性，降低与肿瘤无关信息的关注度，以提升网络的效率与准确性；再使用肝脏掩膜与图像本身进行计算得到肝脏区域的图像集；将肝脏掩膜和CT图像进行掩膜计算，得到肝脏区域图像集输入二级肝脏肿瘤分割网络3DA‑U‑Net中得到肝肿瘤的分割结果；以上两级网络共同组成基于3DA‑U‑Nets架构的CT图像肝脏肿瘤分割方法，本发明能够快速、准确的进行肝脏肿瘤分割。

Description

一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法
技术领域
本发明涉及一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法，属于医学影像处理技术领域。
背景技术
肝脏是人体内重要的消化器官，肝癌也是致死率较高的恶性疾病，因此在腹部检查中尽早发现肝脏的病变和肿瘤，对于诊疗和治愈有着十分重要的意义。然而肝脏肿瘤分割一直是医学图像分割中的难点。肝脏图像对比度低，且与其他组织器官联系紧密而复杂，即使人工分割肝脏肿瘤也有一定难度。因此，为了尽量提高分割效率并避免人为因素对肝脏分割的影响还是要依靠计算机对肝脏肿瘤进行自动化分割，有效地提高肝肿瘤的分割精度，是提高临床诊疗效率的关键因素之一。
发明内容
为了解决现有技术中肝脏肿瘤分割精度不足的问题，本发明提出了一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法，该方法在U-Net基础上尝试将一种新的混合域注意力机制融入网络中，从通道、空间等多个方面增加网络对目标特征的关注度，增加网络对特征的提取能力，令网络在原有卷积模块的基础上可以获得更多研究目标的有效特征，提高肝脏肿瘤分割的精度。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
第一方面，提供一种CT图像肝脏肿瘤分割方法，包括：
获取包含肝脏肿瘤的CT图像；
利用基于3DA-U-Net的一级肝脏分割网络从CT图像中分割出肝脏区域，并根据预设置的阈值将肝脏区域转化为二值的肝脏掩膜；
对所述CT图像与所述肝脏掩膜进行掩膜运算，得到肝脏感兴趣区域；
利用基于3DA-U-Net的二级肿瘤分割网络对所述肝脏感兴趣区域进行特征提取，得到CT图像深层特征；
根据所述CT图像深层特征，输出肝脏肿瘤分割结果。
在一些实施例中，所述一级肝脏分割网络、二级肿瘤分割网络的3DA-U-Net的构建方法包括：
获取U-Net网络和三维注意力机制；
其中，U-Net网络的收缩路径包括五个依次连接的网络模块，第一、二、三、四个网络模块均包括2个卷积层和1个池化层，第五个网络模块包括2个卷积层；
所述三维注意力机制记为3DA；使用3DA模块增加到U-Net网络中每一个卷积模块后，形成3DA-U-Net网络。
U-Net网络结构具体包括：
输入端口input、卷积层Conv 1-1、卷积层Conv 1-2、池化层Maxpool-1、卷积层Conv 2-1、卷积层Conv 2-1、池化层Maxpool-2、卷积层Conv 3-1、卷积层Conv 3-2、池化层Maxpool-3、卷积层Conv 4-1、卷积层Conv 4-2、池化层Maxpool-4、卷积层Conv 5-1、卷积层Conv 5-2、上卷积层Upconv-1、卷积层Conv 6_1、卷积层Conv 6-2、上卷积层Upconv-2、卷积层Conv 7-1、卷积层Conv 7-2、上卷积层Upconv-3、卷积层Conv 8-1、卷积层Conv 8-2、上卷积层Upconv-4、卷积层Conv 9-1、卷积层Conv 9-2、卷积层Conv 10-1和输出端口output；
3DA-U-Nets网络结构具体包括：
一级肝脏分割网络：输入端口input、卷积层Conv 1-1、卷积层Conv 1-2、3DA层1、池化层Maxpool-1、卷积层Conv 2-1、卷积层Conv 2-1、3DA层2、池化层Maxpool-2、卷积层Conv 3-1、卷积层Conv 3-2、3DA层3、池化层Maxpool-3、卷积层Conv 4-1、卷积层Conv 4-2、3DA层4、池化层Maxpool-4、卷积层Conv 5-1、卷积层Conv 5-2、3DA层5、上卷积层Upconv-1、卷积层Conv 6_1、卷积层Conv 6-2、上卷积层Upconv-2、卷积层Conv 7-1、卷积层Conv 7-2、上卷积层Upconv-3、卷积层Conv 8-1、卷积层Conv 8-2、上卷积层Upconv-4、卷积层Conv 9-1、卷积层Conv 9-2、卷积层Conv 10-1和输出端口output；
二级肿瘤分割网络：输入端口input、卷积层Conv 1-1、卷积层Conv 1-2、3DA层1、池化层Maxpool-1、卷积层Conv 2-1、卷积层Conv 2-1、3DA层2、池化层Maxpool-2、卷积层Conv 3-1、卷积层Conv 3-2、3DA层3、池化层Maxpool-3、卷积层Conv 4-1、卷积层Conv 4-2、3DA层4、池化层Maxpool-4、卷积层Conv 5-1、卷积层Conv 5-2、3DA层5、上卷积层Upconv-1、卷积层Conv 6_1、卷积层Conv 6-2、上卷积层Upconv-2、卷积层Conv 7-1、卷积层Conv 7-2、上卷积层Upconv-3、卷积层Conv 8-1、卷积层Conv 8-2、上卷积层Upconv-4、卷积层Conv 9-1、卷积层Conv 9-2、卷积层Conv 10-1和输出端口output。
一级肝脏分割网络和二级肿瘤分割网络的结构一致，3DA-U-Net网络具体参数如表1所示，包括卷积核大小，卷积步长，通道数和特征图大小。
在一些实施例中，3DA-U-Net中三维注意力机制3DA的处理流程包括：
输入卷积层处理得到的特征图X，通道数为C、大小为W×H，3DA结构将特征图X复制三份，分别沿着三个不同方向做全局平均池化的操作，得到三个不同维度的一维特征，分别为W×1×1、1×H×1和1×1×C张量；
将三个不同维度的一维特征分别送入两个全连接层，第一个全连接层的通道数为C/r，其中r为减少率，并经过激活函数ReLU；将输出紧接着输入第二个全连接层中，这一层的通道数为C，通过激活函数sigmoid进行非线性表达，得到新的W×1×1、1×H×1和1×1×C张量，其中包含了特征图每一个元素与目标特征之间的权重信息；
将包含权重信息的新的W×1×1、1×H×1和1×1×C张量和初始特征图X相乘，得到经过3DA重新标定的新特征图X’。
新的特征图中每一个元素都可以得到和其他元素的长距离相关性，同时保留精确的位置信息，让目标在通道和空间上都得到增强，使网络可以专注于全局中所有感兴趣的目标。
在一些实施例中，基于3DA-U-Net的一级肝脏分割网络的训练过程包括：
对包含肝脏肿瘤的CT图像进行预处理，获得训练样本集；
初始化3DA-U-Net的网络参数，将训练样本依次输入3DA-U-Net；
在每迭代2次后，根据更新后的肝脏分割图像计算网络损失函数；根据损失函数迭代更新3DA-U-Net的网络参数，获得更新后的3DA-U-Net；根据更新后的3DA-U-Net获取更新后的肝脏分割图像；
根据网络损失函数进行收敛判断，当网络损失函数收敛，结束迭代，输出训练好的基于3DA-U-Net的一级肝脏分割网络。
在一些实施例中，基于3DA-U-Net的二级肿瘤分割网络的训练过程包括：
将包含肝脏肿瘤的肝脏感兴趣区域作为训练样本集；载入基于3DA-U-Net的一级肝脏分割网络的网络参数作为二级网络参数的初始化，将肝脏感兴趣区域训练样本集依次输入3DA-U-Net二级网络，微调二级网络的网络参数；在每迭代2次后，根据更新后的肿瘤分割图像计算网络损失函数；根据网络损失函数进行收敛判断，当网络损失函数收敛，结束迭代，输出训练好的基于3DA-U-Net的二级肿瘤分割网络。
在一些实施例中，3DA-U-Net网络的训练过程中网络参数包括学习率和批量尺度，学习率初始化为0.0001，批量尺度初始化为5。
在一些实施例中，两级3DA-U-Net网络的训练过程中网络参数包括学习率和批量尺度，学习率初始化为0.0001，批量尺度初始化为5。
在一些实施例中，损失函数为Dice系数，损失函数的计算公式如下：
Figure BDA0003695039550000051
其中A是模型预测的样本，而B是数据集中的金标准；对于给定两副图像A和B，其重合区域为|A∩B|，|A|+|B|为两幅图像面积之和；DiceLoss(A，B)损失函数在训练中不断变化，为网络的迭代提供方向，其值域为[0，1]。
第二方面，本发明提供了一种CT图像肝脏肿瘤分割装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。
第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。
采用以上技术手段后可以获得以下优势：
本发明提出了基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法，本发明方法在传统注意力机制的基础上提出了3DA模块，该模块通过对特征图每个维度进行扫描，加强目标所在区域和特性的注意力，将其与U-Net网络融合得到3DA-U-Net肝脏分割网络；同时利用网络级联，一期3DA-U-Net生成肝脏掩膜，二期3DA-U-Net实现肝脏肿瘤的分割，通过屏蔽其他脏器，提高目标关注度，达到提升肿瘤分割精度的目的，本发明方法的肝脏肿瘤分割精度高，分割结果准确可靠，肝脏肿瘤分割效果远高于U-Net模型分割效果。
附图说明
图1为本发明一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法的步骤流程图；
图2为本发明实施例中3DA-U-Nets网络结构图；
图3为本发明实施例中三维注意力模块计算流程图；
图4为本发明实施例中原始U-Net网络的结构示意图；
图5为本发明实施例中3DA-U-Net网络结构示意图；
图6为本发明实施例中预处理窗口技术对图像的影响示意图；
图7为本发明实施例中CT图像示意图；
图8为本发明实施例中肝脏肿瘤分割金标准示意图；
图9为本发明实施例中利用利用CFCNs网络处理获得的肝脏肿瘤分割概率图；
图10为本发明实施例中利用H-DenseUNet分割网络处理获得的肝脏肿瘤分割概率图；
图11为本发明实施例中利用SE-U-Nets网络处理获得的肝脏肿瘤分割概率图；
图12为本发明实施例中利用本发明方法处理获得的肝脏肿瘤分割概率图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明：
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
本发明提出了基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法，该方法从提高网络特征提取能力的角度入手，将3DA结构融入U-Net网络中以达到提高目标权重的效果，让网络更关注目标的信息，更高效地对输入数据进行编码，同时获得全局通道注意力和全局空间注意力；级联网络结构可以避免分割网络被形态相似的其他器官组织影响，有效降低错误分割肿瘤的情况，从而提升肝脏肿瘤的分割精度。
实施例1
如图1、2所示，一种CT图像肝脏肿瘤分割方法，包括：
获取包含肝脏肿瘤的CT图像；
利用基于3DA-U-Net的一级肝脏分割网络从CT图像中分割出肝脏区域，并根据预设置的阈值将肝脏区域转化为二值的肝脏掩膜；
对所述CT图像与所述肝脏掩膜进行掩膜运算，得到肝脏感兴趣区域；
利用基于3DA-U-Net的二级肿瘤分割网络对所述肝脏感兴趣区域进行特征提取，得到CT图像深层特征；
根据所述CT图像深层特征，输出肝脏肿瘤分割结果。
三维注意力机制3DA的计算流程如下：
输入卷积层处理得到的特征图X，通道数为C、大小为W×H，3DA结构将特征图X复制三份，分别沿着三个不同方向做全局平均池化的操作。得到三个不同维度的一维特征，分别为W×1×1、1×H×1和1×1×C张量。将它们分别送入两个全连接层，第一个全连接层的通道数为C/r(r为减少率)，并经过激活函数ReLU。将输出紧接着输入第二个全连接层中，这一层的通道数为C，通过激活函数sigmoid进行非线性表达，得到新的W×1×1、1×H×1和1×1×C张量，其中包含了特征图每一个元素与目标特征之间的权重信息。最后将新权重和初始特征图相乘，得到经过3DA重新标定的新特征图X’。计算流程如图3所示。
3DA-U-Net是将三维注意力融入U-Net网络形成的，即在U-Net网络编码过程中每一个卷积模块后加上一个三维注意力模块，将卷积模块得到的特征图进行处理得到他们三个维度上的注意力权重，可以通过对特征图每一个像素点的进行加权，在编码阶段就对目标特征集中更多的注意力，让网络尽快收敛，提高肝肿瘤的分割精度。
一级肝脏分割网络和二级肿瘤分割网络的结构一致，3DA-U-Net网络具体参数如表1所示，包括卷积核大小，卷积步长，通道数和特征图大小。
表1 3DA-U-Net网络具体参数
Figure BDA0003695039550000091
Figure BDA0003695039550000101
3DA-U-Nets肝脏肿瘤分割方法是由两级网络级联构成的图像分割网络，这是由于腹部CT图像包含众多器官，因而对于肝肿瘤分割来说是一个不利因素，如果直接进行分割，很容易被形态相似的其他器官、组织影响。为了避免这种情况，本网络利用一级网络对器官进行分割，得到肝脏的掩膜图像，再与图像本身进行计算，得到单纯的肝脏区域的图像集。将前序网络得到的数据集输入二级网络中进行肝肿瘤的分割，这样缩小网络处理的面积很大程度上也可以提高网络精度，能够有效降低错误分割肿瘤的情况。同时在对肝脏进行分割时，网络就已经对腹部CT图像的特征知识进行了学习，在此基础上对分割肝脏的网络进行训练将更好收敛。网络设计分为以下几个部分。
(1)一级肝脏分割网络使用腹部CT图像作为数据集，将CT图像通过窗口技术和BM3D除噪技术后，输入一级肝脏分割网络3DA-U-Net，在网络中输入数据经过每一个卷积模块得到一个特征图W×H×C，其中通道数C由卷积层的卷积核数决定，再通过三维注意力模块得到三个维度都关注研究目标的新特征图，最后经过最大池化层减小图像的大小，就完成了这一层网络的计算，再输入下一个卷积模块进行学习，直到编码的完成。该网络包含5个卷积模块，实验图像的大小从512×512一直向下采样到大小为32×32，后续再经过的上采样和跳跃连接，将尺寸恢复到512×512，得到一级网络的输出结果，再作为第二级肿瘤分割网络的输入。
(2)二级肿瘤分割网络依据上级网络的得到的肝脏掩膜和CT图像作为输入送入第二级肿瘤分割网络。网络利用掩膜得到肝脏感兴趣区域，屏蔽掉其他的脏器组织，使网络可以专注于肝肿瘤的分割，利用3DA-U-Net网络得到最终的分割结果。由于本发明中二级肿瘤分割网络与一级肝脏分割网络的结构相同，将一级网络训练后得到的参数作为二级网络的初始化参数，再进行肿瘤分割的训练，可以加速网络的收敛。
基于3DA-U-Nets架构的CT图像肝脏肿瘤分割网络的训练过程中网络参数包括学习率和批量尺度，学习率初始化为0.0001，批量尺度初始化为5，网络损失函数的计算公式如下：
Figure BDA0003695039550000111
其中A是模型预测的样本，而B是数据集中的金标准。对于给定两副图像A和B，其重合区域为|A∩B|，|A|+|B|为两幅图像面积之和。DiceLoss(A，B)损失函数在训练中不断变化，为网络的迭代提供方向，其值域为[0，1]。
具体训练过程如下：
(1)首先训练3DA-U-Net肝脏分割网络。
对包含肝脏肿瘤的CT图像进行预处理，获得训练样本集；
初始化3DA-U-Net的网络参数，将训练样本依次输入3DA-U-Net；
在每迭代2次后，根据更新后的肝脏分割图像计算网络损失函数；根据损失函数迭代更新3DA-U-Net的网络参数，获得更新后的3DA-U-Net；根据更新后的3DA-U-Net获取更新后的肝脏分割图像；
根据网络损失函数进行收敛判断，当网络损失函数收敛，结束迭代，输出训练好的基于3DA-U-Net的一级肝脏分割网络。
(2)训练肝脏肿瘤分割网络
将包含肝脏肿瘤的肝脏感兴趣区域作为训练样本集；载入基于3DA-U-Net的一级肝脏分割网络的网络参数作为二级网络参数的初始化，将肝脏感兴趣区域训练样本集依次输入3DA-U-Net二级网络，微调二级网络的网络参数；在每迭代2次后，根据更新后的肿瘤分割图像计算网络损失函数；根据网络损失函数进行收敛判断，当网络损失函数收敛，结束迭代，输出训练好的基于3DA-U-Net的二级肿瘤分割网络。
完成基于3DA-U-Nets架构的CT图像肝脏肿瘤分割网络的训练后，本发明首先将测试集的CT图像作为3DA-U-Nets肝脏肿瘤分割网络的输入，利用一级3DA-U-Net输出分割出的肝脏区域；再将CT图像与肝脏掩膜进行运算，保留原始CT图像上的肝脏区域，同时屏蔽其他非相关脏器，得到肝脏感兴趣区域；然后利用训练好的二级3DA-U-Net提取肝脏区域的特征，得到肝脏肿瘤区域。
为了验证本发明方法的效果，本发明实施例中给出了几组对比实验：
对比实验中的硬件及软件仿真环境如表2所示：
表2
CPU Core i7-6700
GPU Nvidia GeForce RTX 2080Ti
内存 8G
操作系统 Windows 10
开发环境 Tensorflow
编程语言 Python3.6
Cuda Cuda10.0with cudnn6.0
利目前常用的、有标注的公开肝脏肿瘤分割数据集3DIRCADB作为数据集。分别用CFCNs网络、SEU-Net网络和H-DenseUNet分割网络作为对比算法。
本实验采用将DICE相关系数作为评估肝脏肿瘤分割性能的主要指标，其次选取体积重叠误差(Volume Overlap Error，VOE)、相对体积误差(Relative Volume Difference，RVD)、准确率(Precision)和召回率(Recall)这五个指标进行评估；在表2的仿真环境下运用对比算法和本发明方法处理测试集合，获得肝脏肿瘤分割结果，并记录网络分割的各项评价指标。
图7是对比实验中的CT图像，图8是图7对应的肝脏肿瘤分割金标准示意图，图9、10、11、12分别为FCNs网络、U-Net网络、SEU-Net网络和H-DenseUNet分割网络和本发明方法处理图9后得到的肝脏肿瘤分割概率图，从图中可以看出，本发明可以比较精准的定位肿瘤的位置，获得的肝脏肿瘤分割概率图更贴近于金标准，大肿瘤的边缘比较清晰，小肿瘤的边缘精度较高，虽然有一点微小的损失但是不会导致忽略病灶，肝脏肿瘤分割结果更准确可靠。
通过测试集对各个分割方法获得的各项评价指标的平均指标如表2所示：
表2
Figure BDA0003695039550000131
在表2中，可以看到，通过比较CFCNs和SEU-Nets、3DA-U-Net可以证明不管是单纯的通道注意力还是混合注意力，注意力机制的添加能够有效提升整体分割精度。本文3DA-U-Nets的分割算法相比于SEU-Nets肝脏肿瘤分割算法提升1.03％的肝脏肿瘤分割精度，尤其对于边缘部分割效果也很好，准确度较高，可以证明三维注意力机制比通道注意机制从更多方面对特征进行了学习，有效的提升了网络的性能。通过实验证明了本文提出的3DA-U-Net肝脏肿瘤分割算法的优越性和准确性。
实施例2
第二方面，本实施例提供了一种CT图像肝脏肿瘤分割装置，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据实施例1所述方法的步骤。
实施例3
第三方面，本实施例提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种CT图像肝脏肿瘤分割方法，其特征在于，包括：
获取包含肝脏肿瘤的CT图像；
利用基于3DA-U-Net的一级肝脏分割网络从CT图像中分割出肝脏区域，并根据预设置的阈值将肝脏区域转化为二值的肝脏掩膜；
对所述CT图像与所述肝脏掩膜进行掩膜运算，得到肝脏感兴趣区域；
利用基于3DA-U-Net的二级肿瘤分割网络对所述肝脏感兴趣区域进行特征提取，得到CT图像深层特征；
根据所述CT图像深层特征，输出肝脏肿瘤分割结果。
2.根据权利要求1所述的CT图像肝脏肿瘤分割方法，其特征在于，所述一级肝脏分割网络、二级肿瘤分割网络的3DA-U-Net的构建方法包括：
获取U-Net网络和三维注意力机制；
其中，U-Net网络的收缩路径包括五个依次连接的网络模块，第一、二、三、四个网络模块均包括2个卷积层和1个池化层，第五个网络模块包括2个卷积层；
所述三维注意力机制记为3DA；使用3DA模块增加到U-Net网络中每一个卷积模块后，形成3DA-U-Net网络。
3.根据权利要求1所述的CT图像肝脏肿瘤分割方法，其特征在于，所述3DA-U-Nets的网络结构包括：
一级肝脏分割网络：输入端口input、卷积层Conv 1-1、卷积层Conv 1-2、3DA层1、池化层Maxpool-1、卷积层Conv 2-1、卷积层Conv 2-1、3DA层2、池化层Maxpool-2、卷积层Conv3-1、卷积层Conv 3-2、3DA层3、池化层Maxpool-3、卷积层Conv 4-1、卷积层Conv 4-2、3DA层4、池化层Maxpool-4、卷积层Conv 5-1、卷积层Conv 5-2、3DA层5、上卷积层Upconv-1、卷积层Conv 6_1、卷积层Conv 6-2、上卷积层Upconv-2、卷积层Conv 7-1、卷积层Conv 7-2、上卷积层Upconv-3、卷积层Conv 8-1、卷积层Conv 8-2、上卷积层Upconv-4、卷积层Conv 9-1、卷积层Conv 9-2、卷积层Conv 10-1和输出端口output；
二级肿瘤分割网络：输入端口input、卷积层Conv 1-1、卷积层Conv 1-2、3DA层1、池化层Maxpool-1、卷积层Conv 2-1、卷积层Conv 2-1、3DA层2、池化层Maxpool-2、卷积层Conv3-1、卷积层Conv 3-2、3DA层3、池化层Maxpool-3、卷积层Conv 4-1、卷积层Conv 4-2、3DA层4、池化层Maxpool-4、卷积层Conv 5-1、卷积层Conv 5-2、3DA层5、上卷积层Upconv-1、卷积层Conv 6_1、卷积层Conv 6-2、上卷积层Upconv-2、卷积层Conv 7-1、卷积层Conv 7-2、上卷积层Upconv-3、卷积层Conv 8-1、卷积层Conv 8-2、上卷积层Upconv-4、卷积层Conv 9-1、卷积层Conv 9-2、卷积层Conv 10-1和输出端口output。
4.根据权利要求2所述的CT图像肝脏肿瘤分割方法，其特征在于，3DA-U-Net中三维注意力机制3DA的处理流程包括：
输入卷积层处理得到的特征图X，通道数为C、大小为W×H，3DA结构将特征图X复制三份，分别沿着三个不同方向做全局平均池化的操作，得到三个不同维度的一维特征，分别为W×1×1、1×H×1和1×1×C张量；
将三个不同维度的一维特征分别送入两个全连接层，第一个全连接层的通道数为C/r，其中r为减少率，并经过激活函数ReLU；将输出紧接着输入第二个全连接层中，这一层的通道数为C，通过激活函数sigmoid进行非线性表达，得到新的W×1×1、1×H×1和1×1×C张量，其中包含了特征图每一个元素与目标特征之间的权重信息；
将包含权重信息的新的W×1×1、1×H×1和1×1×C张量和初始特征图X相乘，得到经过3DA重新标定的新特征图X’。
5.根据权利要求1所述的CT图像肝脏肿瘤分割方法，其特征在于，基于3DA-U-Net的一级肝脏分割网络的训练过程包括：
对包含肝脏肿瘤的CT图像进行预处理，获得训练样本集；
初始化3DA-U-Net的网络参数，将训练样本依次输入3DA-U-Net；
在每迭代2次后，根据更新后的肝脏分割图像计算网络损失函数；根据损失函数迭代更新3DA-U-Net的网络参数，获得更新后的3DA-U-Net；根据更新后的3DA-U-Net获取更新后的肝脏分割图像；
根据网络损失函数进行收敛判断，当网络损失函数收敛，结束迭代，输出训练好的基于3DA-U-Net的一级肝脏分割网络。
6.根据权利要求1所述的CT图像肝脏肿瘤分割方法，其特征在于，基于3DA-U-Net的二级肿瘤分割网络的训练过程包括：
将包含肝脏肿瘤的肝脏感兴趣区域作为训练样本集；载入基于3DA-U-Net的一级肝脏分割网络的网络参数作为二级网络参数的初始化，将肝脏感兴趣区域训练样本集依次输入3DA-U-Net二级网络，微调二级网络的网络参数；在每迭代2次后，根据更新后的肿瘤分割图像计算网络损失函数；根据网络损失函数进行收敛判断，当网络损失函数收敛，结束迭代，输出训练好的基于3DA-U-Net的二级肿瘤分割网络。
7.根据权利要求1所述的CT图像肝脏肿瘤分割方法，其特征在于，3DA-U-Net网络的训练过程中网络参数包括学习率和批量尺度，学习率初始化为0.0001，批量尺度初始化为5。
8.根据权利要求5或6所述的CT图像肝脏肿瘤分割方法，其特征在于，损失函数为Dice系数，损失函数的计算公式如下：
Figure FDA0003695039540000041
其中A是模型预测的样本，而B是数据集中的金标准；对于给定两副图像A和B，其重合区域为|A∩B|，|A|+|B|为两幅图像面积之和；DiceLoss(A，B)损失函数在训练中不断变化，为网络的迭代提供方向，其值域为[0，1]。
9.一种CT图像肝脏肿瘤分割装置，其特征在于，包括处理器及存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1至8任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。
CN202210672085.2A 2022-06-15 2022-06-15 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法 Pending CN115131369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210672085.2A CN115131369A (zh) 2022-06-15 2022-06-15 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210672085.2A CN115131369A (zh) 2022-06-15 2022-06-15 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法

Publications (1)

Publication Number Publication Date
CN115131369A true CN115131369A (zh) 2022-09-30

Family

ID=83377919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210672085.2A Pending CN115131369A (zh) 2022-06-15 2022-06-15 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法

Country Status (1)

Country Link
CN (1) CN115131369A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115954106A (zh) * 2023-03-15 2023-04-11 吉林华瑞基因科技有限公司 基于计算机辅助模拟的肿瘤模型优化系统
CN116206109A (zh) * 2023-02-21 2023-06-02 桂林电子科技大学 一种基于级联网络的肝脏肿瘤分割方法
CN117455935A (zh) * 2023-12-22 2024-01-26 中国人民解放军总医院第一医学中心 基于腹部ct医学图像融合及器官分割方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206109A (zh) * 2023-02-21 2023-06-02 桂林电子科技大学 一种基于级联网络的肝脏肿瘤分割方法
CN116206109B (zh) * 2023-02-21 2023-11-07 桂林电子科技大学 一种基于级联网络的肝脏肿瘤分割方法
CN115954106A (zh) * 2023-03-15 2023-04-11 吉林华瑞基因科技有限公司 基于计算机辅助模拟的肿瘤模型优化系统
CN117455935A (zh) * 2023-12-22 2024-01-26 中国人民解放军总医院第一医学中心 基于腹部ct医学图像融合及器官分割方法及系统
CN117455935B (zh) * 2023-12-22 2024-03-19 中国人民解放军总医院第一医学中心 基于腹部ct医学图像融合及器官分割方法及系统

Similar Documents

Publication Publication Date Title
CN115131369A (zh) 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法
CN112288041B (zh) 一种多模态深度神经网络的特征融合方法
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN112216371B (zh) 多路多尺度并联编解码网络图像分割方法、系统及介质
Hesamian et al. Synthetic CT images for semi-sequential detection and segmentation of lung nodules
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
Wen et al. Squeeze-and-excitation encoder-decoder network for kidney and kidney tumor segmentation in CT images
Hu et al. A deep learning model with radiomics analysis integration for glioblastoma post-resection survival prediction
CN112785575A (zh) 一种图像处理的方法、装置和存储介质
Abdalbagi et al. Bata-unet: Deep learning model for liver segmentation
US20220287647A1 (en) Disease classification by deep learning models
CN116630200A (zh) 基于扩散模型的医学图像特征图去噪方法及系统
CN116402831A (zh) 部分监督的腹部ct序列图像多器官自动分割方法及装置
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
RS CoC-ResNet-classification of colorectal cancer on histopathologic images using residual networks
Kato et al. Adaptive t-vMF Dice Loss for Multi-class Medical Image Segmentation
Bian et al. MambaClinix: Hierarchical Gated Convolution and Mamba-Based U-Net for Enhanced 3D Medical Image Segmentation
Li et al. DiffCAS: Diffusion based multi-attention network for segmentation of 3D coronary artery from CT angiography
Takateyama et al. Attention induction for a CT volume classification of COVID-19
Zheng et al. A comparison of U-Net series for CT pancreas segmentation
CN112308119B (zh) 一种肾小球肾炎的免疫荧光分类方法及装置
CN116152502B (zh) 一种基于解码层损失回召的医学影像分割方法及系统
CN116071555B (zh) 一种建立WMHs分割模型的方法、WMHs分割方法及装置
Prakash et al. Tumor Detection using Deep Learning in Organs Specific to Indian Predicament

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination