CN114240962A - 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 - Google Patents
一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 Download PDFInfo
- Publication number
- CN114240962A CN114240962A CN202111390808.1A CN202111390808A CN114240962A CN 114240962 A CN114240962 A CN 114240962A CN 202111390808 A CN202111390808 A CN 202111390808A CN 114240962 A CN114240962 A CN 114240962A
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- decoding
- output
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 51
- 208000014018 liver neoplasm Diseases 0.000 title claims abstract description 33
- 206010019695 Hepatic neoplasm Diseases 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims abstract description 12
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 230000004913 activation Effects 0.000 claims description 13
- 210000004185 liver Anatomy 0.000 claims description 12
- 210000001519 tissue Anatomy 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 9
- 210000000683 abdominal cavity Anatomy 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 210000000056 organ Anatomy 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 230000002401 inhibitory effect Effects 0.000 claims description 3
- 210000003734 kidney Anatomy 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 210000000952 spleen Anatomy 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000002591 computed tomography Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 7
- 238000001959 radiotherapy Methods 0.000 description 5
- 201000007270 liver cancer Diseases 0.000 description 4
- 230000003187 abdominal effect Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 210000004872 soft tissue Anatomy 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法，包括：(1)对训练数据进行预处理，包括图像裁剪和窗宽、窗位调整；(2)构建一种新的融合残差模块和注意力机制的U形深度卷积网络模型；(3)结合Dice与二元交叉熵构建网络的损失函数；(4)采用预处理后的训练数据进行网络训练；(5)对测试图像进行预处理，并利用训练好的网络分割其中的肝脏肿瘤区域。本发明是一种全自动的肝脏肿瘤分割方法，通过图像预处理以及在Unet网络中引入了残差模块与注意力机制，解决了肝脏肿瘤、分割中分割边界模糊，小型肿瘤难以检出的难题，有效提升了肝脏肿瘤的分割精度。
Description
技术领域
本发明涉及医学图像处理技术领域，特别涉及一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法。
背景技术
肝癌是世界范围内最常见的恶性肿瘤之一，全球一半以上肝癌新发与死亡病例都发生在我国。据国家癌症中心数据显示，我国肝癌发病率在所有恶性肿瘤中排第5，且死亡率高居第2位。随着现代肿瘤医学技术的飞速发展，放射治疗进入了以图像引导和自适应放疗为代表的精准放疗阶段。精准放疗需要准确把握放射治疗的靶区，即肿瘤区域，进而为后续治疗与放射方案提供引导。计算机断层扫描成像(computed tomography,CT)是目前针对肝脏病变普遍采用的诊断方式，通过反映肝脏部位肿瘤的位置、形态、数量等信息为后续治疗提供指导。鉴于肝脏肿瘤在CT图像上的表现具有高变异性，且与周围组织对比度低、存在个体差异等问题，目前临床上肿瘤区域的分割主要由有经验的医师手工勾画完成，不仅费时费力，其准确性严重依赖于医师的经验与技巧。因此研究高效准确的肝脏肿瘤自动分割方法对肝癌的临床诊断与治疗具有重要意义。
近年来深度学习在医学图像目标识别与分割领域获得了突破性进展，相关学者也提出了多种基于深度学习的分割模型。然而，CT图像中肝脏肿瘤具有对比度低、边界模糊，以及形状、大小、数目不固定等特点，现有网络模型通常难以适应肝脏肿瘤的复杂性和多样性，分割精度往往较低，尤其对于边界模糊、尺寸较小的肿瘤，难以准确、有效地识别与分割。
发明内容
针对现有技术的缺点与不足，本发明将残差模块与注意力机制融入U形深度卷积神经网络的构建，旨在提供一种基于深度学习的腹部CT图像肝脏肿瘤区域自动分割方法，解决CT图像中肝脏肿瘤分割精度低、小型肿瘤难以检出的问题，提高肝脏疾病计算机辅助诊断的精度和效率。
一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法，包括以下步骤：
(1)建立包含原始CT图像和肝脏肿瘤手动分割结果的训练数据集A；
(2)对数据集A进行预处理，包括图像裁剪和CT图像窗宽、窗位调整，获取数据集B，具体包括：
(2-a)为了降低肿瘤分割的复杂性、提高分割精度，对数据集A中的所有CT图像及其对应的手动分割结果进行裁剪，具体包括：首先采用阈值和数学形态学腐蚀与膨胀操作对原始CT图像中的肋骨和脊椎进行分割，然后对分割结果进行行和列投影，且分别取第一个以及最后一个不为零的像素所在的行和列，构建长为Lw、宽为Lh的矩形框，定位腹腔区域；考虑到肝脏区域通常位于CT切片腹腔左侧，将矩形框中心点O向左平移Lw/4得到点P，并以点P为中心取大小R×R的方形区域作为最终的裁剪结果，其中R优选200～500的整数；
(2-b)对裁剪后的CT图像进行窗位与窗宽调整，根据放射医学先验知识，可显示的人体组织CT值范围一般为-1000～1000Hu，而肝、脾、肾、肌肉等器官软组织的CT值范围通常在40～70Hu之间，为了增强肝脏与毗邻组织的对比度，将CT图像的窗位和窗宽分别设置为60Hu和170Hu，此时，图像的CT值截断范围为-25～145Hu；
(3)构建一种新的融合残差模块和注意力机制的U形深度卷积网络，称之为RA-Unet，具体包括：
(3-a)采用U形网络作为主干网络，该主干网络共包含五个编码层、四个跳跃连接层、四个解码层和一个1×1卷积层，其中，第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接层与第四个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接层与第三个解码层相连作为该解码层的输入；第三个编码层的输出不仅作为第四个编码层的输入，同时还通过第三个跳跃连接层与第二个解码层相连作为该解码层的输入；第四个编码层的输出不仅作为第五个编码层的输入，同时还通过第四个跳跃连接层与第一个解码层相连作为该解码层的输入；第五个编码层的输出直接作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率图，通过引入阈值T，即可得到分割结果，所述T优选0.3～0.7的常数；
(3-b)在步骤(3-a)所述的主干网络中，每个编码层均由两个卷积模块连接组成，即双卷积模块，其中每个卷积模块包含1个大小为3×3的卷积层，批归一化层和Relu激活层；为了对图像进行下采样，第一至第四个编码层中，双卷积模块的末尾均增加1个大小为2×2的最大池化层；
(3-c)在步骤(3-a)所述的主干网络中，首先，为了避免信息冗余传递，每一个跳跃连接层都增加了一条带有反卷积与Relu激活层的残差路径，具体结构包括：对编码层的输出进行2×2反卷积与Relu激活操作，将得到的结果与编码层中双卷积模块的输出特征相减，获取可有效表征图像边缘信息与小目标全局信息的特征；其次，为了获取跳跃连接层中特征的高级表征，在每一个跳跃连接层中的残差路径后面增加一个步骤(3-b)中所述的双卷积模块；
(3-d)在步骤(3-a)所述的主干网络中，每个解码层均由一个2×2的反卷积层，一个注意力结构，以及一个步骤(3-b)中所述的双卷积模块连接组成，其中：第一个解码层中反卷积层的输入为第五个编码层的输出，此后，下一个解码层中反卷积层的输入均为上一个解码层的输出；每个解码层中注意力结构的输入包括当前解码层中反卷积层的输出和与该解码层相连的跳跃连接层的输出；每个解码层中双卷积模块的输入均为当前解码层中注意力结构的输出；
(3-e)步骤(3-d)中所述注意力结构，其特征在于，具体包括：首先分别对跳跃连接层和反卷积层的输出进行1×1的卷积操作，并将卷积结果相加，然后对相加结果依次进行Relu激活和1×1卷积操作，接着利用Sigmod函数激活生成一个权重图，最后将跳跃连接层传递的特征图与该权重图相乘得到一个新的特征图；该注意力结构的主要作用是根据上下文信息，将跳跃连接层与反卷积解码获得的特征信息赋予不同权重，增强分割任务相关区域的特征传递，抑制无关区域的特征传递；
(4)结合Dice与二元交叉熵构建RA-Unet网络的损失函数：
Loss＝α·BCE_loss+(1-α)·Dice_loss
其中，α为权重因子，取值范围为0～1，优选0.3～0.9的常数，用于调节Dice损失值Dice_los和二元交叉熵损失值BCE_loss所占比重；Dice_loss和BCE_loss的具体计算方法如下：
其中，Gi为CT图像中第i个像素的专家手动分割结果，其中背景标记为0，目标标记为1，Pi为网络预测第i个像素属于目标的概率，N为CT图像中的像素数目；
(5)采用训练数据集B对RA-Unet网络进行训练，直至Loss收敛；为了加快模型收敛，避免过拟合，网络在训练过程中采用批量归一化、dropout策略；
(6)采用步骤(2)中所述的裁剪和窗宽、窗位调整方法对测试图像进行预处理，并利用训练好的网络对预处理后的图像进行测试，自动获取其中的肝脏肿瘤区域。
与现有技术相比，本发明方法的主要优点与创新包括：
(Ⅰ)RA-Unet通过将带有反卷积与激活函数的残差模块引入到跳跃连接层中，将跳跃连接中的信息限制为图像边缘信息与小目标全局信息，可有效解决Unet中特征信息直接通过跳跃连接以及下采样-上采样的方式进行冗余传递导致的肿瘤边缘分割不精准、以及小肿瘤无法检出的问题；
(Ⅱ)在跳跃连接层中增加卷积层，可增强跳跃连接层中信息的高级特征表征能力，同时利用注意力机制，可使网络专注传递肿瘤特征，抑制其他无关信息；
(Ⅲ)采用二元交叉熵与Dice系数构建混合损失函数，不仅可通过Dice系数有效表征目标与金标准的相似程度，还可通过交叉熵稳定回传各个类别对应梯度使网络模型快速收敛。
附图说明
图1本发明实施方式的预处理过程示意图，其中图1(a)为从数据集A中随机挑选的一幅原始CT图像，图1(b)为采用本发明实施方式得到的肋骨和脊椎分割结果示意图，图1(c)为采用本发明实施方式获取图像裁剪区域的示意图，图1(d)为采用本发明实施方式得到的CT图像预处理结果
图2本发明实施方式的RA-Unet网络结构示意图
图3本发明实施方式的肝脏肿瘤分割结果示例
具体实施方式
一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法，具体实施步骤如下：
(1)从LiTS公共数据库中随机挑选100个腹部CT原始序列图像和其对应的肝脏区域手动分割结果，建立包含原始CT图像和肝脏肿瘤手动分割结果的训练数据集A；
(2)对数据集A进行预处理，包括图像裁剪和CT图像窗宽、窗位调整，获取数据集B，具体包括：
(2-a)为了降低肿瘤分割的复杂性、提高分割精度，对数据集A中的所有CT图像及其对应的手动分割结果进行裁剪，具体包括：首先采用阈值和数学形态学腐蚀与膨胀对原始CT图像中的肋骨和脊椎进行分割，然后对分割结果进行行和列投影，且分别取第一个以及最后一个不为零的像素所在的行和列，构建长为Lw、宽为Lh的矩形框，定位腹腔区域；考虑到肝脏区域通常位于CT切片腹腔左侧，将矩形框中心点O向左平移Lw/4得到点P，并以点P为中心取大小R×R的方形区域作为最终的裁剪结果，本实施例优选R＝320；
(2-b)对裁剪后的CT图像进行窗位与窗宽调整，根据放射医学先验知识，可显示的人体组织CT值范围一般为-1000～1000Hu，而肝、脾、肾、肌肉等器官软组织的CT值范围通常在40～70Hu之间，为了增强肝脏与毗邻组织的对比度，将CT图像的窗位和窗宽分别设置为60Hu和170Hu，此时，图像的CT值截断范围为-25～145Hu。
图1为本实施方式对CT图像进行预处理的过程示意图，其中图1(a)为从数据集A中随机挑选的一幅原始CT图像，图1(b)为采用本实施方式得到的肋骨和脊椎分割结果，图1(c)为采用本实施方式获取图像裁剪区域的示意图，图1(d)所示即为采用本实施方式得到的CT图像预处理结果。可以看出，预处理后的CT图像去除了大量不相关的组织与器官，肿瘤像素占比增大且肿瘤与周围组织的对比度显著提高。
(3)构建一种新的融合残差模块和注意力机制的U形深度卷积网络，称之为RA-Unet，具体包括：
(3-a)采用U形网络作为主干网络，该主干网络共包含五个编码层、四个跳跃连接层、四个解码层和一个1×1卷积层，其中第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接层与第四个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接层与第三个解码层相连作为该解码层的输入；第三个编码层的输出不仅作为第四个编码层的输入，同时还通过第三个跳跃连接层与第二个解码层相连作为该解码层的输入；第四个编码层的输出不仅作为第五个编码层的输入，同时还通过第四个跳跃连接层与第一个解码层相连作为该解码层的输入；第五个编码层的输出直接作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率图，通过引入阈值T，即可得到分割结果，本实施方式优选T＝0.5；
(3-b)在步骤(3-a)所述的主干网络中，每个编码层均由两个卷积模块连接组成，即双卷积模块，其中每个卷积模块包含1个大小为3×3的卷积层，批归一化层和Relu激活层；为了对图像进行下采样，第一至第四个编码层中，双卷积模块的末尾均增加1个大小为2×2的最大池化层；
(3-c)在步骤(3-a)所述的主干网络中，首先，为了避免信息冗余传递，每一个跳跃连接层都增加了一条带有反卷积与Relu激活层的残差路径，具体结构包括：对编码层的输出进行2×2反卷积与Relu激活操作，将得到的结果与编码层中双卷积模块的输出特征相减，获取可有效表征图像边缘信息与小目标全局信息的特征；其次，为了获取跳跃连接层中特征的高级表征，在每一个跳跃连接层中的残差路径后面增加一个步骤(3-b)中所述的双卷积模块；
(3-d)在步骤(3-a)所述的主干网络中，每个解码层均由一个2×2的反卷积层，一个注意力结构，以及一个步骤(3-b)中所述的双卷积模块连接组成，其中：第一个解码层中反卷积层的输入为第五个编码层的输出，此后，下一个解码层中反卷积层的输入均为上一个解码层的输出；每个解码层中注意力结构的输入包括当前解码层中反卷积层的输出和与该解码层相连的跳跃连接层的输出；每个解码层中双卷积模块的输入均为当前解码层中注意力结构的输出；
(3-e)步骤(3-d)中所述注意力结构，其特征在于，具体包括：首先分别对跳跃连接层和反卷积层的输出进行1×1的卷积操作，并将卷积结果相加，然后对相加结果依次进行Relu激活和1×1卷积操作，接着利用Sigmod函数激活生成一个权重图，最后将跳跃连接层传递的特征图与该权重图相乘得到一个新的特征图；该注意力结构的主要作用是根据上下文信息，将跳跃连接层与反卷积解码获得的特征信息赋予不同权重，增强分割任务相关区域的特征传递，抑制无关区域的特征传递；
(4)结合Dice与二元交叉熵构建RA-Unet网络的损失函数：
Loss＝α·BCE_loss+(1-α)·Dice_loss
其中，α为权重因子，取值范围为0～1，用于调节Dice损失值Dice_loss和二元交叉熵损失值BCE_loss所占比重，优选0.3～0.9的常数，本实施例优选α＝0.5，；Dice_loss和BCE_loss的具体计算方法如下：
其中，Gi为CT图像中第i个像素的专家手动分割结果，其中背景标记为0，目标标记为1，Pi为网络预测第i个像素属于目标的概率，N为CT图像中的像素数目。
(5)采用训练数据集B对RA-Unet网络进行训练，直至网络Loss值收敛；为了加快模型收敛，避免过拟合，网络在训练过程中采用批量归一化、dropout策略；
(6)采用步骤(2)中所述的裁剪和窗宽、窗位调整方法对测试图像进行预处理，并利用训练好的网络对预处理后的图像进行测试，自动获取其中的肝脏肿瘤区域。
图3(a)～图3(d)中白色实曲线所示区域为采用本实施方式得到的最终的肝脏肿瘤分割结果示例，可以看到，本发明方法可有效分割CT图像中不同位置、形状和数量的肝脏肿瘤，对于边界模糊、尺寸较小的肿瘤也能准确分割。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (3)
1.一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法，其特征在于，包括以下步骤：
(1)建立包含原始CT图像和肝脏肿瘤手动分割结果的训练数据集A；
(2)对数据集A进行预处理，包括图像裁剪和CT图像窗宽、窗位调整，获取数据集B，具体包括：
(2-a)为了降低肿瘤分割的复杂性、提高分割精度，对数据集A中的所有CT图像及其对应的手动分割结果进行裁剪，具体包括：首先采用阈值和数学形态学腐蚀与膨胀操作对原始CT图像中的肋骨和脊椎进行分割，然后对分割结果进行行和列投影，且分别取第一个以及最后一个不为零的像素所在的行和列，构建长为Lw、宽为Lh的矩形框，定位腹腔区域；考虑到肝脏区域通常位于CT切片腹腔左侧，将矩形框中心点O向左平移Lw/4得到点P，并以点P为中心取大小R×R的方形区域作为最终的裁剪结果；
(2-b)对裁剪后的CT图像进行窗位与窗宽调整，根据放射医学先验知识，可显示的人体组织CT值范围一般为-1000～1000Hu，而器官软组织，例如肝、脾、肾和肌肉，的CT值范围通常在40～70Hu之间，为了增强肝脏与毗邻组织的对比度，将CT图像的窗位和窗宽分别设置为60Hu和170Hu；
(3)构建一种新的融合残差模块和注意力机制的U形深度卷积网络，称之为RA-Unet，具体包括：
(3-a)采用U形网络作为主干网络，该主干网络共包含五个编码层、四个跳跃连接层、四个解码层和一个1×1卷积层，其中第一个编码层的输出不仅作为第二个编码层的输入，同时还通过第一个跳跃连接层与第四个解码层相连作为该解码层的输入；第二个编码层的输出不仅作为第三个编码层的输入，同时还通过第二个跳跃连接层与第三个解码层相连作为该解码层的输入；第三个编码层的输出不仅作为第四个编码层的输入，同时还通过第三个跳跃连接层与第二个解码层相连作为该解码层的输入；第四个编码层的输出不仅作为第五个编码层的输入，同时还通过第四个跳跃连接层与第一个解码层相连作为该解码层的输入；第五个编码层的输出直接作为第一个解码层的输入；此外，上一个解码层的输出均作为下一个解码层的输入；为了得到分割结果，将最后一个解码层与一个1×1卷积层相连，其中最后一个解码层的输出作为1×1卷积层的输入，1×1卷积层的输出为各像素属于目标的概率图，通过引入阈值T，即可得到分割结果；
(3-b)在步骤(3-a)所述的主干网络中，每个编码层均由两个卷积模块连接组成，即双卷积模块，其中每个卷积模块包含1个大小为3×3的卷积层，批归一化层和Relu激活层；为了对图像进行下采样，第一至第四个编码层中，双卷积模块的末尾均增加1个大小为2×2的最大池化层；
(3-c)在步骤(3-a)所述的主干网络中，首先，为了避免信息冗余传递，每一个跳跃连接层都增加了一条带有反卷积与Relu激活层的残差路径，具体结构包括：对编码层的输出进行2×2反卷积与Relu激活操作，将得到的结果与编码层中双卷积模块的输出特征相减，获取可有效表征图像边缘信息与小目标全局信息的特征；其次，为了获取跳跃连接层中特征的高级表征，在每一个跳跃连接层中的残差路径后面增加一个步骤(3-b)中所述的双卷积模块；
(3-d)在步骤(3-a)所述的主干网络中，每个解码层均由一个2×2的反卷积层，一个注意力结构，以及一个步骤(3-b)中所述的双卷积模块连接组成，其中：第一个解码层中反卷积层的输入为第五个编码层的输出，此后，下一个解码层中反卷积层的输入均为上一个解码层的输出；每个解码层中注意力结构的输入包括当前解码层中反卷积层的输出和与该解码层相连的跳跃连接层的输出；每个解码层中双卷积模块的输入均为当前解码层中注意力结构的输出；
(3-e)步骤(3-d)中所述注意力结构，其特征在于，具体包括：首先分别对跳跃连接层和反卷积层的输出进行1×1的卷积操作，并将卷积结果相加，然后对相加结果依次进行Relu激活和1×1卷积操作，接着利用Sigmod函数激活生成一个权重图，最后将跳跃连接层传递的特征图与该权重图相乘得到一个新的特征图；该注意力结构的主要作用是根据上下文信息，将跳跃连接层与反卷积解码获得的特征信息赋予不同权重，增强分割任务相关区域的特征传递，抑制无关区域的特征传递；
(4)结合Dice与二元交叉熵构建RA-Unet网络的损失函数：
Loss＝α·BCE_loss+(1-α)·Dice_loss
其中，α为权重因子，取值范围为0～1，用于调节Dice损失值Dice_loss和二元交叉熵损失值BCE_loss所占比重；Dice_loss和BCE_loss的具体计算方法如下：
其中，Gi为CT图像中第i个像素的专家手动分割结果，其中背景标记为0，目标标记为1，Pi为网络预测第i个像素属于目标的概率，N为CT图像中的像素数目；
(5)采用训练数据集B对RA-Unet网络进行训练，直至Loss收敛；
(6)采用步骤(2)中所述的裁剪和窗宽、窗位调整方法对测试图像进行预处理，并利用训练好的网络对预处理后的图像进行测试，自动获取其中的肝脏肿瘤区域。
2.如权利要求1所述的一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法，其特征在于：所述R优选200～500的整数，T优选0.3～0.7的常数，α优选0.3～0.9的常数。
3.如权利要求1所述的一种基于深度学习的CT图像肝脏肿瘤区域自动分割方法，其特征在于：为了加快模型收敛，避免过拟合，网络在训练过程中采用批量归一化、dropout策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111390808.1A CN114240962B (zh) | 2021-11-23 | 2021-11-23 | 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111390808.1A CN114240962B (zh) | 2021-11-23 | 2021-11-23 | 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114240962A true CN114240962A (zh) | 2022-03-25 |
| CN114240962B CN114240962B (zh) | 2024-04-16 |
Family
ID=80750476
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111390808.1A Active CN114240962B (zh) | 2021-11-23 | 2021-11-23 | 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114240962B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581474A (zh) * | 2022-04-28 | 2022-06-03 | 中国科学技术大学 | 一种基于宫颈癌ct影像的临床靶区自动勾画方法 |
| CN114842025A (zh) * | 2022-04-14 | 2022-08-02 | 中南大学 | 基于多分支网络的ct图像肝脏肿瘤区域自动分割方法 |
| CN114972362A (zh) * | 2022-05-11 | 2022-08-30 | 重庆理工大学 | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 |
| CN115018864A (zh) * | 2022-06-17 | 2022-09-06 | 东南大学 | 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 |
| CN115115610A (zh) * | 2022-07-20 | 2022-09-27 | 南京航空航天大学 | 基于改进卷积神经网络的工业ct识别复材内部缺陷方法 |
| CN115294160A (zh) * | 2022-10-08 | 2022-11-04 | 长春理工大学 | 面向脊柱影像的轻量化分割网络及其构建方法和应用 |
| CN115564778A (zh) * | 2022-12-06 | 2023-01-03 | 深圳思谋信息科技有限公司 | 缺陷的检测方法、装置、电子设备及计算机可读存储介质 |
| CN115937423A (zh) * | 2022-12-13 | 2023-04-07 | 西安电子科技大学 | 肝脏肿瘤医疗影像的三维智能重建方法 |
| CN116206109A (zh) * | 2023-02-21 | 2023-06-02 | 桂林电子科技大学 | 一种基于级联网络的肝脏肿瘤分割方法 |
| CN118710915A (zh) * | 2024-08-30 | 2024-09-27 | 南昌大学第一附属医院 | 一种基于频域增强和门控解码的图像分割方法 |
| CN118710915B (zh) * | 2024-08-30 | 2024-11-05 | 南昌大学第一附属医院 | 一种基于频域增强和门控解码的图像分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
| CN111627019A (zh) * | 2020-06-03 | 2020-09-04 | 西安理工大学 | 一种基于卷积神经网络的肝脏肿瘤分割方法及系统 |
| CN112750137A (zh) * | 2021-01-14 | 2021-05-04 | 江南大学 | 基于深度学习的肝脏肿瘤分割方法及系统 |
| US20210201499A1 (en) * | 2019-12-30 | 2021-07-01 | Medo Dx Pte. Ltd | Apparatus and method for image segmentation using a deep convolutional neural network with a nested u-structure |
-
2021
- 2021-11-23 CN CN202111390808.1A patent/CN114240962B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
| US20210201499A1 (en) * | 2019-12-30 | 2021-07-01 | Medo Dx Pte. Ltd | Apparatus and method for image segmentation using a deep convolutional neural network with a nested u-structure |
| CN111627019A (zh) * | 2020-06-03 | 2020-09-04 | 西安理工大学 | 一种基于卷积神经网络的肝脏肿瘤分割方法及系统 |
| CN112750137A (zh) * | 2021-01-14 | 2021-05-04 | 江南大学 | 基于深度学习的肝脏肿瘤分割方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张家兵;张耀;徐洪丽;沈舒宁;王冬;刘同波;刘坤;王彬华;: "基于深度监督残差网络的肝脏及肝肿瘤分割", 集成技术, no. 03, 15 May 2020 (2020-05-15) * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842025A (zh) * | 2022-04-14 | 2022-08-02 | 中南大学 | 基于多分支网络的ct图像肝脏肿瘤区域自动分割方法 |
| CN114842025B (zh) * | 2022-04-14 | 2024-04-05 | 中南大学 | 基于多分支网络的ct图像肝脏肿瘤区域自动分割方法 |
| CN114581474A (zh) * | 2022-04-28 | 2022-06-03 | 中国科学技术大学 | 一种基于宫颈癌ct影像的临床靶区自动勾画方法 |
| CN114972362A (zh) * | 2022-05-11 | 2022-08-30 | 重庆理工大学 | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 |
| CN115018864A (zh) * | 2022-06-17 | 2022-09-06 | 东南大学 | 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 |
| CN115018864B (zh) * | 2022-06-17 | 2024-04-05 | 东南大学 | 基于自适应预处理的三阶段肝脏肿瘤图像分割方法 |
| CN115115610B (zh) * | 2022-07-20 | 2023-08-22 | 南京航空航天大学 | 基于改进卷积神经网络的工业ct识别复材内部缺陷方法 |
| CN115115610A (zh) * | 2022-07-20 | 2022-09-27 | 南京航空航天大学 | 基于改进卷积神经网络的工业ct识别复材内部缺陷方法 |
| CN115294160A (zh) * | 2022-10-08 | 2022-11-04 | 长春理工大学 | 面向脊柱影像的轻量化分割网络及其构建方法和应用 |
| CN115564778A (zh) * | 2022-12-06 | 2023-01-03 | 深圳思谋信息科技有限公司 | 缺陷的检测方法、装置、电子设备及计算机可读存储介质 |
| CN115564778B (zh) * | 2022-12-06 | 2023-03-14 | 深圳思谋信息科技有限公司 | 缺陷的检测方法、装置、电子设备及计算机可读存储介质 |
| CN115937423A (zh) * | 2022-12-13 | 2023-04-07 | 西安电子科技大学 | 肝脏肿瘤医疗影像的三维智能重建方法 |
| CN115937423B (zh) * | 2022-12-13 | 2023-08-15 | 西安电子科技大学 | 肝脏肿瘤医疗影像的三维智能重建方法 |
| CN116206109B (zh) * | 2023-02-21 | 2023-11-07 | 桂林电子科技大学 | 一种基于级联网络的肝脏肿瘤分割方法 |
| CN116206109A (zh) * | 2023-02-21 | 2023-06-02 | 桂林电子科技大学 | 一种基于级联网络的肝脏肿瘤分割方法 |
| CN118710915A (zh) * | 2024-08-30 | 2024-09-27 | 南昌大学第一附属医院 | 一种基于频域增强和门控解码的图像分割方法 |
| CN118710915B (zh) * | 2024-08-30 | 2024-11-05 | 南昌大学第一附属医院 | 一种基于频域增强和门控解码的图像分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114240962B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114240962A (zh) | 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法 | |
| WO2023221954A1 (zh) | 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 | |
| CN113012172B (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| CN111311592B (zh) | 一种基于深度学习的三维医学图像自动分割方法 | |
| CN112927255B (zh) | 一种基于上下文注意力策略的三维肝脏影像语义分割方法 | |
| CN114066866B (zh) | 一种基于深度学习的医学图像自动分割方法 | |
| CN114998265A (zh) | 一种基于改进U-Net的肝脏肿瘤分割方法 | |
| US12106484B2 (en) | Three-dimensional medical image segmentation method and system based on short-term and long-term memory self-attention model | |
| CN113436173B (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
| CN111369574B (zh) | 一种胸腔器官的分割方法及装置 | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| CN115131369B (zh) | 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法 | |
| CN113706486B (zh) | 基于密集连接网络迁移学习的胰腺肿瘤图像分割方法 | |
| CN112750137B (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
| CN114972248A (zh) | 基于注意力机制改进的U-net肝肿瘤分割方法 | |
| CN114022491B (zh) | 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法 | |
| CN113288193A (zh) | 基于深度学习的ct影像乳腺癌临床靶区的自动勾画方法 | |
| CN116721253A (zh) | 一种基于深度学习的腹部ct图像多器官分割方法 | |
| CN114581474A (zh) | 一种基于宫颈癌ct影像的临床靶区自动勾画方法 | |
| CN117876690A (zh) | 一种基于异构UNet的超声影像多组织分割方法和系统 | |
| CN113160208A (zh) | 一种基于级联混合网络的肝脏病变图像分割方法 | |
| CN116994113A (zh) | 一种基于残差UNet和高效的多尺度注意力方法用于CT图像中肝脏和肿瘤的自动分割 | |
| CN113850816A (zh) | 一种宫颈癌mri图像的分割装置及方法 | |
| CN115841457A (zh) | 一种融合多视图信息的三维医学图像分割方法 | |
| CN115690423A (zh) | 一种基于深度学习的ct序列图像肝脏肿瘤分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |