CN114240962B - 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 - Google Patents

一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 Download PDF

Info

Publication number
CN114240962B
CN114240962B CN202111390808.1A CN202111390808A CN114240962B CN 114240962 B CN114240962 B CN 114240962B CN 202111390808 A CN202111390808 A CN 202111390808A CN 114240962 B CN114240962 B CN 114240962B
Authority
CN
China
Prior art keywords
layer
image
decoding
output
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111390808.1A
Other languages
English (en)
Other versions
CN114240962A (zh
Inventor
廖苗
杨文瀚
邸拴虎
赵于前
杨振
曾业战
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Science and Technology
Original Assignee
Hunan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Science and Technology filed Critical Hunan University of Science and Technology
Priority to CN202111390808.1A priority Critical patent/CN114240962B/zh
Publication of CN114240962A publication Critical patent/CN114240962A/zh
Application granted granted Critical
Publication of CN114240962B publication Critical patent/CN114240962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法，包括：(1)对训练数据进行预处理，包括图像裁剪和窗宽、窗位调整；(2)构建一种新的融合残差模块和注意力机制的U形深度卷积网络模型；(3)结合Dice与二元交叉熵构建网络的损失函数；(4)采用预处理后的训练数据进行网络训练；(5)对测试图像进行预处理，并利用训练好的网络分割其中的肝脏肿瘤区域。本发明是一种全自动的肝脏肿瘤分割方法，通过图像预处理以及在Unet网络中引入了残差模块与注意力机制，解决了肝脏肿瘤、分割中分割边界模糊，小型肿瘤难以检出的难题，有效提升了肝脏肿瘤的分割精度。

Description

一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法
技术领域
本发明涉及医学图像处理技术领域，特别涉及一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法。
背景技术
肝癌是世界范围内最常见的恶性肿瘤之一。随着现代肿瘤医学技术的飞速发展，放射治疗进入了以图像引导和自适应放疗为代表的精准放疗阶段。精准放疗需要准确把握放射治疗的靶区，即肿瘤区域，进而为后续治疗与放射方案提供引导。计算机断层扫描成像(computed tomography,CT)是目前针对肝脏病变普遍采用的诊断方式，通过反映肝脏部位肿瘤的位置、形态、数量等信息为后续治疗提供指导。鉴于肝脏肿瘤在CT图像上的表现具有高变异性，且与周围组织对比度低、存在个体差异等问题，目前临床上肿瘤区域的分割主要由有经验的医师手工勾画完成，不仅费时费力，其准确性严重依赖于医师的经验与技巧。因此研究高效准确的肝脏肿瘤自动分割方法对肝癌的临床诊断与治疗具有重要意义。
近年来深度学习在医学图像目标识别与分割领域获得了突破性进展，相关学者也提出了多种基于深度学习的分割模型。然而，CT图像中肝脏肿瘤具有对比度低、边界模糊，以及形状、大小、数目不固定等特点，现有网络模型通常难以适应肝脏肿瘤的复杂性和多样性，分割精度往往较低，尤其对于边界模糊、尺寸较小的肿瘤，难以准确、有效地识别与分割。
发明内容
针对现有技术的缺点与不足，本发明将残差模块与注意力机制融入U形深度卷积神经网络的构建，旨在提供一种基于深度学习的腹部CT图像肝脏肿瘤区域自动分割方法，解决CT图像中肝脏肿瘤分割精度低、小型肿瘤难以检出的问题，提高肝脏疾病计算机辅助诊断的精度和效率。
一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法，包括以下步骤：
(1)建立包含原始CT图像和肝脏肿瘤手动分割结果的训练数据集A；
(2)对数据集A进行预处理，包括图像裁剪和CT图像窗宽、窗位调整，获取数
据集B，具体包括：
(2-a)为了降低肿瘤分割的复杂性、提高分割精度，对数据集A中的所有CT图像及其对应的手动分割结果进行裁剪，具体包括：首先采用阈值和数学形态学腐蚀与膨胀操作对原始CT图像中的肋骨和脊椎进行分割，然后对分割结果进行行和列投影，且分别取第一个以及最后一个不为零的像素所在的行和列，构建长为Lw、宽为Lh的矩形框，定位腹腔区域；
考虑到肝脏区域通常位于CT切片腹腔左侧，将矩形框中心点O向左平移Lw/4得到点P，并以点P为中心取大小R×R的方形区域作为最终的裁剪结果，其中R优选200～500的整数；
(2-b)对裁剪后的CT图像进行窗位与窗宽调整，根据放射医学先验知识，可显示的人体组织CT值范围一般为-1000～1000Hu，而肝、脾、肾、肌肉等器官软组织的CT值范围通常在40～70Hu之间，为了增强肝脏与毗邻组织的对比度，将CT图像的窗位和窗宽分别设置为60Hu和170Hu，此时，图像的CT值截断范围为-25～145Hu；
(3)构建一种新的融合残差模块和注意力机制的U形深度卷积网络，称之为RA-Unet，具体包括：
(3-a)采用U形网络作为主干网络，该主干网络共包含五个编码层、四个跳跃连接层、四个解码层和一个1×1卷积层，其中，第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接层与第四个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接层与第三个解码层相连作为该解码层的输入；第三个编码层的输出不仅作为第四个编码层的输入，同时还通过第三个跳跃连接层与第二个解码层相连作为该解码层的输入；第四个编码层的输出不仅作为第五个编码层的输入，同时还通过第四个跳跃连接层与第一个解码层相连作为该解码层的输入；第五个编码层的输出直接作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率图，通过引入阈值T，
即可得到分割结果，所述T优选0.3～0.7的常数；
(3-b)在步骤(3-a)所述的主干网络中，每个编码层均由两个卷积模块连接组成，即双卷积模块，其中每个卷积模块包含1个大小为3×3的卷积层，批归一化层和Relu激活层；为了对图像进行下采样，第一至第四个编码层中，双卷积模块的末尾均增加1个大小为2×2的最大池化层；
(3-c)在步骤(3-a)所述的主干网络中，首先，为了避免信息冗余传递，每一个跳跃连接层都增加了一条带有反卷积与Relu激活层的残差路径，具体结构包括：对编码层的输出进行2×2反卷积与Relu激活操作，将得到的结果与编码层中双卷积模块的输出特征相减，获取可有效表征图像边缘信息与小目标全局信息的特征；其次，为了获取跳跃连接层中特征的高级表征，在每一个跳跃连接层中的残差路径后面增加一个步骤(3-b)
中所述的双卷积模块；
(3-d)在步骤(3-a)所述的主干网络中，每个解码层均由一个2×2的反卷积层，一个注意力结构，以及一个步骤(3-b)中所述的双卷积模块连接组成，其中：第一个解码层中反卷积层的输入为第五个编码层的输出，此后，下一个解码层中反卷积层的输入均为上一个解码层的输出；每个解码层中注意力结构的输入包括当前解码层中反卷积层的输出和与该解码层相连的跳跃连接层的输出；每个解码层中双卷积模块的输入均为当前解码层中注意力结构的输出；
(3-e)步骤(3-d)中所述注意力结构，其特征在于，具体包括：首先分别对跳跃连接层和反卷积层的输出进行1×1的卷积操作，并将卷积结果相加，然后对相加结果依次进行Relu激活和1×1卷积操作，接着利用Sigmod函数激活生成一个权重图，最后将跳跃连接层传递的特征图与该权重图相乘得到一个新的特征图；该注意力结构的主要作用是根据上下文信息，将跳跃连接层与反卷积解码获得的特征信息赋予不同权重，增强分割任务相关区域的特征传递，抑制无关区域的特征传递；
(4)结合Dice与二元交叉熵构建RA-Unet网络的损失函数：
Loss＝α·BCE_loss+(1-α)·Dice_loss
其中，α为权重因子，取值范围为0～1，优选0.3～0.9的常数，用于调节Dice损失值Dice_loss和二元交叉熵损失值BCE_loss所占比重；Dice_loss和BCE_loss的具体计算方法如下：
其中，Gi为CT图像中第i个像素的专家手动分割结果，其中背景标记为0，目标标记为1，Pi为网络预测第i个像素属于目标的概率，N为CT图像中的像素数目；
(5)采用训练数据集B对RA-Unet网络进行训练，直至Loss收敛；为了加快模
型收敛，避免过拟合，网络在训练过程中采用批量归一化、dropout策略；
(6)采用步骤(2)中所述的裁剪和窗宽、窗位调整方法对测试图像进行预处理，并利用训练好的网络对预处理后的图像进行测试，自动获取其中的肝脏肿瘤区域。
与现有技术相比，本发明方法的主要优点与创新包括：
(Ⅰ)RA-Unet通过将带有反卷积与激活函数的残差模块引入到跳跃连接层中，将
跳跃连接中的信息限制为图像边缘信息与小目标全局信息，可有效解决Unet中特征信息直接通过跳跃连接以及下采样-上采样的方式进行冗余传递导致
的肿瘤边缘分割不精准、以及小肿瘤无法检出的问题；
(Ⅱ)在跳跃连接层中增加卷积层，可增强跳跃连接层中信息的高级特征表征能
力，同时利用注意力机制，可使网络专注传递肿瘤特征，抑制其他无关信息；(Ⅲ)采用二元交叉熵与Dice系数构建混合损失函数，不仅可通过Dice系数有效表征目标与金标准的相似程度，还可通过交叉熵稳定回传各个类别对应梯度使网络模型快速收敛。
附图说明
图1本发明实施方式的预处理过程示意图，其中图1(a)为从数据集A中随机挑选的一幅原始CT图像，图1(b)为采用本发明实施方式得到的肋骨和脊椎分割结果示意图，图1(c)为采用本发明实施方式获取图像裁剪区域的示意图，图1(d)为采用本发明实施方式得到的CT图像预处理结果
图2本发明实施方式的RA-Unet网络结构示意图
图3本发明实施方式的肝脏肿瘤分割结果示例
具体实施方式
一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法，具体实施步骤如下：
(1)从LiTS公共数据库中随机挑选100个腹部CT原始序列图像和其对应的肝脏区域手动分割结果，建立包含原始CT图像和肝脏肿瘤手动分割结果的训练数据集A；
(2)对数据集A进行预处理，包括图像裁剪和CT图像窗宽、窗位调整，获取数
据集B，具体包括：
(2-a)为了降低肿瘤分割的复杂性、提高分割精度，对数据集A中的所有CT图像及其对应的手动分割结果进行裁剪，具体包括：首先采用阈值和数学形态学腐蚀与膨胀对原始CT图像中的肋骨和脊椎进行分割，然后对分割结果进行行和列投影，且分别取第一个以及最后一个不为零的像素所在的行和列，构建长为Lw、宽为Lh的矩形框，定位腹腔区域；考虑到肝脏区域通常位于CT切片腹腔左侧，将矩形框中心点O向左平移Lw/4得到点P，并以点P为中心取大小R×R的方形区域作为最终的裁剪结果，本实施例优选R＝320；
(2-b)对裁剪后的CT图像进行窗位与窗宽调整，根据放射医学先验知识，可显示的人体组织CT值范围一般为-1000～1000Hu，而肝、脾、肾、肌肉等器官软组织的CT值范围通常在40～70Hu之间，为了增强肝脏与毗邻组织的对比度，将CT图像的窗位和窗宽分别设置为60Hu和170Hu，此时，图像的CT值截断范围为-25～145Hu。
图1为本实施方式对CT图像进行预处理的过程示意图，其中图1(a)为从数据集A中随机挑选的一幅原始CT图像，图1(b)为采用本实施方式得到的肋骨和脊椎分割结果，图1(c)为采用本实施方式获取图像裁剪区域的示意图，图1(d)所示即为采用本实施方式得到的CT图像预处理结果。可以看出，预处理后的CT图像去除了大量不相关的组织与器官，肿瘤像素占比增大且肿瘤与周围组织的对比度显著提高。
(3)构建一种新的融合残差模块和注意力机制的U形深度卷积网络，称之为RA-Unet，具体包括：
(3-a)采用U形网络作为主干网络，该主干网络共包含五个编码层、四个跳跃连接层、四个解码层和一个1×1卷积层，其中第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接层与第四个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接层与第三个解码层相连作为该解码层的输入；第三个编码层的输出不仅作为第四个编码层的输入，同时还通过第三个跳跃连接层与第二个解码层相连作为该解码层的输入；第四个编码层的输出不仅作为第五个编码层的输入，同时还通过第四个跳跃连接层与第一个解码层相连作为该解码层的输入；第五个编码层的输出直接作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率图，通过引入阈值T，
即可得到分割结果，本实施方式优选T＝0.5；
(3-b)在步骤(3-a)所述的主干网络中，每个编码层均由两个卷积模块连接组成，即双卷积模块，其中每个卷积模块包含1个大小为3×3的卷积层，批归一化层和Relu激活层；为了对图像进行下采样，第一至第四个编码层中，双卷积模块的末尾均增加1个大小为2×2的最大池化层；
(3-c)在步骤(3-a)所述的主干网络中，首先，为了避免信息冗余传递，每一个跳跃连接层都增加了一条带有反卷积与Relu激活层的残差路径，具体结构包括：对编码层的输出进行2×2反卷积与Relu激活操作，将得到的结果与编码层中双卷积模块的输出特征相减，获取可有效表征图像边缘信息与小目标全局信息的特征；其次，为了获取跳跃连接层中特征的高级表征，在每一个跳跃连接层中的残差路径后面增加一个步骤(3-b)中所述的双卷积模块；
(3-d)在步骤(3-a)所述的主干网络中，每个解码层均由一个2×2的反卷积层，一个注意力结构，以及一个步骤(3-b)中所述的双卷积模块连接组成，其中：第一个解码层中反卷积层的输入为第五个编码层的输出，此后，下一个解码层中反卷积层的输入均为上一个解码层的输出；每个解码层中注意力结构的输入包括当前解码层中反卷积层的输出和与该解码层相连的跳跃连接层的输出；每个解码层中双卷积模块的输入均为当前解码层中注意力结构的输出；
(3-e)步骤(3-d)中所述注意力结构，其特征在于，具体包括：首先分别对跳跃连接层和反卷积层的输出进行1×1的卷积操作，并将卷积结果相加，然后对相加结果依次进行Relu激活和1×1卷积操作，接着利用Sigmod函数激活生成一个权重图，最后将跳跃连接层传递的特征图与该权重图相乘得到一个新的特征图；该注意力结构的主要作用是根据上下文信息，将跳跃连接层与反卷积解码获得的特征信息赋予不同权重，增强分割任务相关区域的特征传递，抑制无关区域的特征传递；
(4)结合Dice与二元交叉熵构建RA-Unet网络的损失函数：
Loss＝α·BCE_loss+(1-α)·Dice_loss
其中，α为权重因子，取值范围为0～1，用于调节Dice损失值Dice_loss和二元交叉熵损失值BCE_loss所占比重，优选0.3～0.9的常数，本实施例优选α＝0.5，；Dice_loss和BCE_loss的具体计算方法如下：
其中，Gi为CT图像中第i个像素的专家手动分割结果，其中背景标记为0，目标标记为1，Pi为网络预测第i个像素属于目标的概率，N为CT图像中的像素数目。
(5)采用训练数据集B对RA-Unet网络进行训练，直至网络Loss值收敛；为了加快模型收敛，避免过拟合，网络在训练过程中采用批量归一化、dropout策略；
(6)采用步骤(2)中所述的裁剪和窗宽、窗位调整方法对测试图像进行预处理，并利用训练好的网络对预处理后的图像进行测试，自动获取其中的肝脏肿瘤区域。
图3(a)～图3(d)中白色实曲线所示区域为采用本实施方式得到的最终的肝脏肿瘤分割结果示例，可以看到，本发明方法可有效分割CT图像中不同位置、形状和数量的肝脏肿瘤，对于边界模糊、尺寸较小的肿瘤也能准确分割。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (3)

1.一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法，其特征在于，包括以下步骤：
(1)建立包含原始CT图像和肝脏肿瘤手动分割结果的训练数据集A；
(2)对数据集A进行预处理，包括图像裁剪和CT图像窗宽、窗位调整，获取数据集B，具体包括：
(2-a)为了降低肿瘤分割的复杂性、提高分割精度，对数据集A中的所有CT图像及其对应的手动分割结果进行裁剪，具体包括：首先采用阈值和数学形态学腐蚀与膨胀操作对原始CT图像中的肋骨和脊椎进行分割，然后对分割结果进行行和列投影，且分别取第一个以及最后一个不为零的像素所在的行和列，构建长为Lw、宽为Lh的矩形框，定位腹腔区域；
考虑到肝脏区域通常位于CT切片腹腔左侧，将矩形框中心点O向左平移Lw/4得到点P，并以点P为中心取大小R×R的方形区域作为最终的裁剪结果；
(2-b)对裁剪后的CT图像进行窗位与窗宽调整，根据放射医学先验知识，可显示的人体组织CT值范围一般为-1000～1000Hu，而器官软组织的CT值范围在40～70Hu之间，为了增强肝脏与毗邻组织的对比度，将CT图像的窗位和窗宽分别设置为60Hu和170Hu；
(3)构建一种新的融合残差模块和注意力机制的U形深度卷积网络，称之为RA-Unet，具体包括：
(3-a)采用U形网络作为主干网络，该主干网络共包含五个编码层、四个跳跃连接层、四个解码层和一个1×1卷积层，其中第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接层与第四个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接层与第三个解码层相连作为该解码层的输入；第三个编码层的输出不仅作为第四个编码层的输入，
同时还通过第三个跳跃连接层与第二个解码层相连作为该解码层的输入；第四个编码层的输出不仅作为第五个编码层的输入，同时还通过第四个跳跃连接层与第一个解码层相连作为该解码层的输入；第五个编码层的输出直接作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率图，通过引入阈值T，
即可得到分割结果；
(3-b)在步骤(3-a)所述的主干网络中，每个编码层均由两个卷积模块连接组成，即双卷积模块，其中每个卷积模块包含1个大小为3×3的卷积层，
批归一化层和Relu激活层；为了对图像进行下采样，第一至第四个编码层中，双卷积模块的末尾均增加1个大小为2×2的最大池化层；
(3-c)在步骤(3-a)所述的主干网络中，首先，为了避免信息冗余传递，每一个跳跃连接层都增加了一条带有反卷积与Relu激活层的残差路径，具体结构包括：对编码层的输出进行2×2反卷积与Relu激活操作，将得到的结果与编码层中双卷积模块的输出特征相减，获取可有效表征图像边缘信息与小目标全局信息的特征；其次，为了获取跳跃连接层中特征的高级表征，在每一个跳跃连接层中的残差路径后面增加一个步骤(3-b)中所述的双卷积模块；
(3-d)在步骤(3-a)所述的主干网络中，每个解码层均由一个2×2的反卷积层，一个注意力结构，以及一个步骤(3-b)中所述的双卷积模块连接组成，
其中：第一个解码层中反卷积层的输入为第五个编码层的输出，此后，
下一个解码层中反卷积层的输入均为上一个解码层的输出；每个解码层中注意力结构的输入包括当前解码层中反卷积层的输出和与该解码层相连的跳跃连接层的输出；每个解码层中双卷积模块的输入均为当前解码层中注意力结构的输出；
(3-e)步骤(3-d)中所述注意力结构，其特征在于，具体包括：首先分别对跳跃连接层和反卷积层的输出进行1×1的卷积操作，并将卷积结果相加，
然后对相加结果依次进行Relu激活和1×1卷积操作，接着利用Sigmod函数激活生成一个权重图，最后将跳跃连接层传递的特征图与该权重图相乘得到一个新的特征图；该注意力结构的主要作用是根据上下文信息，将跳跃连接层与反卷积解码获得的特征信息赋予不同权重，增强分割任务相关区域的特征传递，抑制无关区域的特征传递；
(4)结合Dice与二元交叉熵构建RA-Unet网络的损失函数：
Loss＝α·BCE_loss+(1-α)·Dice_loss
其中，α为权重因子，取值范围为0～1，用于调节Dice损失值Dice_loss和二元交叉熵损失值BCE_loss所占比重；Dice_loss和BCE_loss的具体计算方法如下：
其中，Gi为CT图像中第i个像素的专家手动分割结果，其中背景标记为0，目标标记为1，Pi为网络预测第i个像素属于目标的概率，N为CT图像中的像素数目；
(5)采用训练数据集B对RA-Unet网络进行训练，直至Loss收敛；
(6)采用步骤(2)中所述的裁剪和窗宽、窗位调整方法对测试图像进行预处理，并利用训练好的网络对预处理后的图像进行测试，自动获取其中的肝脏肿瘤区域。
2.如权利要求1所述的一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法，其特征在于：所述R为200～500的整数，T为0.3～0.7的常数，α为0.3～0.9的常数。
3.如权利要求1所述的一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法，其特征在于：为了加快模型收敛，避免过拟合，网络在训练过程中采用批量归一化、dropout策略。
CN202111390808.1A 2021-11-23 2021-11-23 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 Active CN114240962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111390808.1A CN114240962B (zh) 2021-11-23 2021-11-23 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111390808.1A CN114240962B (zh) 2021-11-23 2021-11-23 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法

Publications (2)

Publication Number Publication Date
CN114240962A CN114240962A (zh) 2022-03-25
CN114240962B true CN114240962B (zh) 2024-04-16

Family

ID=80750476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111390808.1A Active CN114240962B (zh) 2021-11-23 2021-11-23 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法

Country Status (1)

Country Link
CN (1) CN114240962B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842025B (zh) * 2022-04-14 2024-04-05 中南大学 基于多分支网络的ct图像肝脏肿瘤区域自动分割方法
CN114581474A (zh) * 2022-04-28 2022-06-03 中国科学技术大学 一种基于宫颈癌ct影像的临床靶区自动勾画方法
CN115018864B (zh) * 2022-06-17 2024-04-05 东南大学 基于自适应预处理的三阶段肝脏肿瘤图像分割方法
CN115115610B (zh) * 2022-07-20 2023-08-22 南京航空航天大学 基于改进卷积神经网络的工业ct识别复材内部缺陷方法
CN115294160B (zh) * 2022-10-08 2022-12-16 长春理工大学 面向脊柱影像的轻量化分割网络及其构建方法和应用
CN115564778B (zh) * 2022-12-06 2023-03-14 深圳思谋信息科技有限公司 缺陷的检测方法、装置、电子设备及计算机可读存储介质
CN115937423B (zh) * 2022-12-13 2023-08-15 西安电子科技大学 肝脏肿瘤医疗影像的三维智能重建方法
CN116206109B (zh) * 2023-02-21 2023-11-07 桂林电子科技大学 一种基于级联网络的肝脏肿瘤分割方法
CN118710915A (zh) * 2024-08-30 2024-09-27 南昌大学第一附属医院 一种基于频域增强和门控解码的图像分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627019A (zh) * 2020-06-03 2020-09-04 西安理工大学 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
CN112750137A (zh) * 2021-01-14 2021-05-04 江南大学 基于深度学习的肝脏肿瘤分割方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
CA3163482A1 (en) * 2019-12-30 2021-07-08 Medo Dx Pte. Ltd Apparatus and method for image segmentation using a deep convolutional neural network with a nested u-structure

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627019A (zh) * 2020-06-03 2020-09-04 西安理工大学 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
CN112750137A (zh) * 2021-01-14 2021-05-04 江南大学 基于深度学习的肝脏肿瘤分割方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度监督残差网络的肝脏及肝肿瘤分割;张家兵;张耀;徐洪丽;沈舒宁;王冬;刘同波;刘坤;王彬华;;集成技术;20200515(03);全文 *

Also Published As

Publication number Publication date
CN114240962A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN114240962B (zh) 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法
WO2023221954A1 (zh) 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN112927255B (zh) 一种基于上下文注意力策略的三维肝脏影像语义分割方法
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN114066866B (zh) 一种基于深度学习的医学图像自动分割方法
CN110047082B (zh) 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统
CN112508965B (zh) 医学影像中正常器官的轮廓线自动勾画系统
CN111354002A (zh) 一种基于深度神经网络的肾脏及肾脏肿瘤分割方法
CN111640100A (zh) 肿瘤图像的处理方法和装置、电子设备、存储介质
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN113436173B (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN111179237A (zh) 一种肝脏以及肝脏肿瘤的图像分割方法和装置
CN112750137B (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN113288193B (zh) 基于深度学习的ct影像乳腺癌临床靶区的自动勾画系统
CN113034507A (zh) 基于ccta影像的冠状动脉三维分割方法
CN114972248A (zh) 基于注意力机制改进的U-net肝肿瘤分割方法
CN116258732A (zh) 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法
CN111127487B (zh) 一种实时多组织医学图像的分割方法
CN116721253A (zh) 一种基于深度学习的腹部ct图像多器官分割方法
CN114581474A (zh) 一种基于宫颈癌ct影像的临床靶区自动勾画方法
CN117635625A (zh) 基于自动数据增强策略和多注意力辅助UNet的胰腺肿瘤分割方法
CN113850816A (zh) 一种宫颈癌mri图像的分割装置及方法
CN116994113A (zh) 一种基于残差UNet和高效的多尺度注意力方法用于CT图像中肝脏和肿瘤的自动分割
CN115841457A (zh) 一种融合多视图信息的三维医学图像分割方法
CN115690423A (zh) 一种基于深度学习的ct序列图像肝脏肿瘤分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant