CN113160229A - 基于层级监督级联金字塔网络的胰腺分割方法及装置 - Google Patents
基于层级监督级联金字塔网络的胰腺分割方法及装置 Download PDFInfo
- Publication number
- CN113160229A CN113160229A CN202110273996.3A CN202110273996A CN113160229A CN 113160229 A CN113160229 A CN 113160229A CN 202110273996 A CN202110273996 A CN 202110273996A CN 113160229 A CN113160229 A CN 113160229A
- Authority
- CN
- China
- Prior art keywords
- pancreas
- network
- segmentation
- bottleeck
- organ
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 142
- 210000000496 pancreas Anatomy 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 35
- 210000000056 organ Anatomy 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 14
- 238000012937 correction Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000002591 computed tomography Methods 0.000 description 50
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003187 abdominal effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 108700024661 strong silver Proteins 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明属于医学影像处理领域，公开了一种基于层级监督级联金字塔网络的胰腺分割方法及装置。本发明利用了CT影像特点，设计了具有层级监督的金字塔网络和细粒度的精修网络，其中，具有层级监督的金字塔网络通过提取丰富的金字塔语义特征和引入层级监督，有效解决了胰腺器官分割效果不佳的问题；细粒度的精修网络完成金字塔语义特征的融合，在金字塔网络的基础上实现对胰腺器官分割结果的修正；最后通过引入中继监督实现两个网络的协同训练，从而有效提高胰腺器官分割效果。
Description
技术领域
本发明属于医学影像处理领域，具体涉及一种基于层级监督级联金字塔网络的胰腺分割方法及装置。
背景技术
通过计算机断层扫描(Computed Tomography,CT)技术，可以获取大量多视角、多方位的腹部CT影像。借助计算机视觉技术、人工智能技术等从腹部CT影像中实现精准的胰腺器官分割是计算机辅助系统进行疾病诊断、医学影像分析、肿瘤消融手术规划的前提和关键步骤。
基于深度学习方法，现有的利用深度卷积神经网络完成腹部CT影像器官分割的方法主要包括：
(1)Zhou等人在2017年提出的应用于胰腺器官分割的两阶段定点模型算法，从冠状位，矢状位和轴状位完成初步分割，然后通过投票原则完成最终的胰腺器官分割。
(2)Liu等人在2018年使用边界框处理输入CT数据，然后通过使用未进行预训练的U-Net模型完成胰腺器官分割。
(3)Yu等人在Zhou等人实现胰腺分割研究的基础上，在2018年解决了在胰腺分割过程中由于使用多阶段模型训练而引起的不一致性问题，并有效提升了胰腺器官分割效果。
(4)Zhao等人在2019年提出了两阶段的3D卷积神经网络实现胰腺分割。首先通过下采样数据训练网络减小资源消耗，然后结合两种上采样方式和投票原则，完成胰腺器官分割。
虽然目前使用深度卷积神经网络有效提升了胰腺器官的分割效果，但相比于其他腹部器官分割效果，胰腺器官分割效果仍然具有较大的提升空间。现有的利用深度卷积神经网络完成胰腺器官的分割方法主要存在以下不足：
(1)由于不同病人胰腺器官的形状，大小和位置的多变性以及相邻器官间模糊的边界和高灰度相似性等特点，为其分割带来一定的挑战，因此目前胰腺器官分割效果仍然比较有限。
(2)以上研究工作并没有充分考虑到胰腺器官边界比较曲折并且在CT影像中占据比较小的像素单位的特点而实现胰腺器官分割。
发明内容
本发明的目的在于提供一种胰腺器官分割模型建立、分割的方法及装置，用以解决现有技术中的胰腺器官在整张CT影像切片中占据较小像素区域，导致网络难以训练并难以提取丰富胰腺特征，以及胰腺器官边界比较曲折，导致胰腺器官中较难分割的边界无法得到精准分割的问题。
为了实现上述任务，本发明采用以下技术方案：
基于层级监督级联金字塔网络的胰腺分割方法，包括如下步骤：
步骤a：获取待分割的CT影像图片；
步骤b：将待分割的CT影像图片输入胰腺器官分割模型建立方法得到的胰腺器官分割模型，获得胰腺器官分割概率图；
步骤c：获取胰腺器官分割概率图的前景图作为胰腺器官分割结果；
所述的胰腺器官分割模型建立方法，包括如下步骤：
步骤1：获取CT影像数据集并进行预处理，对CT影像数据集中每一张CT影像种的胰腺器官进行标注，将标注的胰腺器官作为标签，将标注完的CT影像数据集作为带标签的训练集；
步骤2：构建分割模型，所述的分割模型包括层级监督的金字塔网络和细粒度精修网络；所述的层级监督的金字塔网络用于提取训练集中CT影像的不同层级的胰腺器官语义特征；所述的细粒度精修网络用于将层级监督的金字塔网络提取到的胰腺器官语义特征进行特征融合，输出胰腺器官分割概率图；
所述的层级监督的金字塔网络包括编码器、解码器和残差学习单元，所述的编码器和解码器用于提取不同层级的CT影像的胰腺器官语义特征，所述的残差学习单元用于恢复胰腺器官语义特征的细节信息和空间分辨率信息；
所述的细粒度精修网络包括bottleneck块层，所述的bottleneck块层用于将解码器输出的不同层级的胰腺器官语义特征进行统一尺度后进行特征融合；
步骤3：根据步骤1获取的训练集和标签集对步骤2构建的分割模型进行训练，训练时将戴斯相似度系数损失作为损失函数，获得训练好的分割模型，将训练好的分割模型作为胰腺器官分割模型。
进一步的，所述的编码器和解码器均为N层，N≥3，所述的残差学习单元设置在编码器之后，所述的细粒度精修网络设置在解码器之后；
所述的细粒度精修网络包括bottleneck块层，所述的bottleneck块层为N层且随着层数增加bottleneck块层中bottleneck块的个数依次递增，所述的每个bottleneck块包括主路和支路，所述的主路包括依次相连的1×1卷积块、3×3卷积块和1×1卷积块，所述的支路包括一个1×1卷积块。
进一步的，步骤2中所述的残差学习单元采用预训练的ResNet-50网络。
基于层级监督级联金字塔网络的胰腺分割装置，包括数据采集模块、模型建立模块、模型训练模块、图像采集单元和胰腺器官分割单元：
所述的数据采集模块用于获取CT影像数据集并进行预处理对CT影像数据集中每一张CT影像进行胰腺器官标注，将标注完的CT影像数据集作为训练集；
所述的模型建立模块用于构建分割模型，所述的分割模型包括层级监督的金字塔网络和细粒度细粒度精修网络；所述的层级监督的金字塔网络用于提取训练集中CT影像的胰腺器官语义特征，所述的细粒度精修网络用于将层级监督的金字塔网络提取到的胰腺器官语义特征进行特征融合，输出胰腺器官分割概率图；
所述的层级监督的金字塔网络包括编码器、解码器和残差学习单元，所述的编码器和解码器均为N层，N≥3，所述的残差学习单元设置在编码器之后，所述的细粒度精修网络设置在解码器之后；
所述的细粒度精修网络包括bottleneck块层和特征融合层，所述的bottleneck块层为N层且随着层数增加bottleneck块层中bottleneck块的个数依次递增，所述的每个bottleneck块包括主路和支路，所述的主路和支路的输出均连接特征融合层，所述的主路包括依次相连的1×1卷积块、3×3卷积块和1×1卷积块，所述的支路包括一个1×1卷积块；
所述的模型训练模块用于根据数据采集模块获取的训练集和标签集对模型建立模块构建的分割模型进行训练，训练时将戴斯相似度系数损失作为损失函数，获得训练好的分割模型，将训练好的分割模型作为胰腺器官分割模型；
所述的图像采集单元用于获取待分割的CT影像图片；
所述的胰腺器官分割单元用于将待分割的CT影像图片输入模型训练模块得到的胰腺器官分割模型，获得胰腺器官分割概率图；并获取胰腺器官分割概率图的前景图作为胰腺器官分割结果。
进一步的，所述的残差学习单元采用预训练的ResNet-50网络。
进一步的，所述的层级监督的金字塔网络包括编码器、解码器和残差学习单元，所述的编码器和解码器均为N层，N≥3，所述的残差学习单元设置在编码器之后，所述的细粒度精修网络设置在解码器之后；
所述的细粒度精修网络包括bottleneck块层和特征融合层，所述的bottleneck块层为N层且随着层数增加bottleneck块层中bottleneck块的个数依次递增，所述的每个bottleneck块包括主路和支路，所述的主路和支路的输出均连接特征融合层，所述的主路包括依次相连的1×1卷积块、3×3卷积块和1×1卷积块，所述的支路包括一个1×1卷积块。
本发明与现有技术相比具有以下技术特点：
本发明利用了CT影像特点，设计了具有层级监督的金字塔网络和细粒度的精修网络，其中，具有层级监督的金字塔网络通过提取丰富的金字塔语义特征和引入层级监督，有效解决了胰腺器官分割效果不佳的问题；细粒度的精修网络完成金字塔语义特征的融合，在金字塔网络的基础上实现对胰腺器官分割结果的修正；最后通过引入中继监督实现两个网络的协同训练，从而有效提高胰腺器官分割效果。
附图说明
图1是本发明的模型框架图；
图2是实施例1中基于层级监督的金字塔网络的结构图；
图3是实施例1中细粒度的精修网络的结构图；
图4是实施例1中bottleneck块结构示意图；
图5是实施例1中输出胰腺器官分割概率图的卷积块；
图6是实施例2中胰腺分割结果对比图。
具体实施方式
以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，首先对实施例中出现的技术词语进行解释：
ResNet-50网络模型：由多个残差学习单元构成，可以有效解决深度卷积神经网络训练过程中的网络退化(Degradation problem)问题。ResNet-50网络中使用的残差块，先通过1×1的卷积将输入特征图的通道降低到64通道，然后再进行3×3的卷积，最后再通过一个1×1的卷积使得输出特征图的通道与该单元输入特征图通道保持一致。
本发明的实施例是在一台配置了英伟达1080Ti显卡和英特尔至强银牌4110处理器的工作站上完成的，并使用PyTorch深度学习框架实现整个模型的构建。
实施例1
在本实施例中公开了一种胰腺器官分割模型建立方法，包括如下步骤：
步骤1：获取CT影像数据集并进行预处理，对CT影像数据集中每一张CT影像种的胰腺器官进行标注，将标注的胰腺器官作为标签，将标注完的CT影像数据集作为带标签的训练集；
步骤2：构建分割模型，所述的分割模型包括层级监督的金字塔网络和细粒度精修网络；所述的层级监督的金字塔网络用于提取训练集中CT影像的不同层级的胰腺器官语义特征；所述的细粒度精修网络用于将层级监督的金字塔网络提取到的胰腺器官语义特征进行特征融合，输出胰腺器官分割概率图；
所述的层级监督的金字塔网络包括编码器、解码器和残差学习单元，所述的编码器和解码器用于提取不同层级的CT影像的胰腺器官语义特征，所述的残差学习单元用于恢复胰腺器官语义特征的细节信息和空间分辨率信息；
所述的细粒度精修网络包括bottleneck块层，所述的bottleneck块层用于将解码器输出的不同层级的胰腺器官语义特征进行统一尺度后进行特征融合；
步骤3：根据步骤1获取的训练集和标签集对步骤2构建的分割模型进行训练，训练时将戴斯相似度系数损失作为损失函数，获得训练好的分割模型，将训练好的分割模型作为胰腺器官分割模型。
具体的，步骤1中的预处理包括将每张CT影像分割成2D切片形式，选择包含胰腺器官的切片并使用边界框进行裁剪和，统一尺寸填充。
具体的，步骤2中所述的残差学习单元采用预训练的ResNet-50网络。
具体的，选择Adam优化器作为本金字塔网络模型的优化方法，并将L2正则化权重设置为1e-5以提高本金字塔网络模型的泛化性能。网络初始的学习率设置为5e-4，并以每六个迭代次数(epoch)进行衰减。
具体的，所述的层级监督的金字塔网络包括编码器、解码器和残差学习单元，所述的编码器和解码器均为N层，N≥3，所述的残差学习单元设置在编码器之后，所述的细粒度精修网络设置在解码器之后；
所述的细粒度精修网络包括bottleneck块层，所述的bottleneck块层为N层且随着层数增加bottleneck块层中bottleneck块的个数依次递增，所述的每个bottleneck块包括主路和支路，所述的主路包括依次相连的1×1卷积块、3×3卷积块和1×1卷积块，所述的支路包括一个1×1卷积块。
优选的，N＝6，第1层至第6层对应的bottleneck块的个数分别为0～5。
具体的，所述的金字塔网络中编码器的网络结构如表1所示：
表1
具体的，对于层级监督的金字塔网络中编码器的训练包括如下步骤：
步骤c1：将训练数据输入到该金字塔网络的编码器；
其中，f1，f2，f3，f4，f5，f6分别表示编码器网络的输入、第一个卷积模块、第二个卷积模块、第三个卷积模块、第四个卷积模块和第五个卷积模块得到的多级语义特征；
其中，input层将单通道的输入灰度图像进行三次复制然后经过concat操作，获得三通道的输入数据；
步骤c2：如图2所示，在步骤c1获得每一层的输出特征后，分别在对应层添加1×1卷积操作用以获得良好的特征表示以及保证后续特征使用时维度的统一性。其特征通道数分别为16、32、256、256、256和256通道；
步骤c3：如图2所示，将步骤c2获得的输出特征输入到该层级监督的金字塔网络的解码器模块，在该模块通过上采样逐渐恢复物体的细节和空间分辨率信息。
具体的，所述将输出特征输入到解码器模块进行上采样(upsampling)操作包括如下子步骤：
步骤c31：从最底层特征开始，先对该层特征图进行两倍的上采样(upsampling)，然后再经过1×1的卷积操作，得到和浅一层特征分辨率和通道均相同的特征。将两个特征图相加，即可完成深层特征和浅层特征的融合；
步骤c32：将步骤c31的操作从深层向浅层在相邻层的特征图之间进行依次操作。
最终可以通过本编码器解码器网络提取到多层金字塔特征f1-f6。
具体的，将提取到的多层金字塔特征输入到细粒度精修网络得到最终的胰腺器官分割概率图包括如下子步骤：
步骤d1：如图3所示，对步骤c得到的金字塔特征f1-f6，每一层分别添加不同数量的bottleneck块；
其中，bottleneck块的结构如图4所示，该bottleneck块由对输入特征进行三层卷积操作的主路和一个直接将输入连接到输出的支路构成，同时，为了加快算法训练速度，提高算法分割精度，该bottleneck在每个卷积操作后设计了批量正则化操作，在输入到输出的连接中设计了1×1的卷积和批量正则化操作，最后通过将主路和支路的特征进行融合并添加激活函数得到该卷积块的最终输出特征。
步骤d2：对步骤d1得到的输出特征分别进行上采样操作将所有金字塔特征上采样到统一尺度大小，从低层到高层，对应层上采样的倍数分别为：0，2，4，8，16和32。然后通过在通道维度上的拼接操作完成金字塔特征融合；
步骤d3：在步骤d2获得的金字塔特征融合结果之后继续使用一个bottleneck块，将融合后的特征降低到256通道；
步骤d4：将步骤d3得到的结果输入到图5所示的卷积块中，得到最终的胰腺分割概率图。
本实施例中还公开了一种胰腺器官的分割方法，包括如下步骤：
步骤a：获取待分割的CT影像图片；
步骤b：将待分割的CT影像图片输入上述任一种胰腺器官分割模型建立方法得到的胰腺器官分割模型，获得胰腺器官分割概率图；
步骤c：获取胰腺器官分割概率图的前景图作为胰腺器官分割结果。
本实施例中还公开了一种胰腺器官分割模型的建立装置，包括数据采集模块、模型建立模块和模型训练模块；
所述的数据采集模块用于获取CT影像数据集并进行预处理，对CT影像数据集中每一张CT影像进行胰腺器官标注，将标注完的CT影像数据集作为训练集；
所述的模型建立模块用于构建分割模型，所述的分割模型包括层级监督的金字塔网络和细粒度细粒度精修网络；所述的层级监督的金字塔网络用于提取训练集中CT影像的胰腺器官语义特征，所述的细粒度精修网络用于将层级监督的金字塔网络提取到的胰腺器官语义特征进行特征融合，输出胰腺器官分割概率图；
所述的层级监督的金字塔网络包括编码器、解码器和残差学习单元，所述的编码器和解码器均为N层，N≥3，所述的残差学习单元设置在编码器之后，所述的细粒度精修网络设置在解码器之后；
所述的细粒度精修网络包括bottleneck块层和特征融合层，所述的bottleneck块层为N层且随着层数增加bottleneck块层中bottleneck块的个数依次递增，所述的每个bottleneck块包括主路和支路，所述的主路和支路的输出均连接特征融合层，所述的主路包括依次相连的1×1卷积块、3×3卷积块和1×1卷积块，所述的支路包括一个1×1卷积块；
所述的模型训练模块用于根据数据采集模块获取的训练集和标签集对模型建立模块构建的分割模型进行训练，训练时将戴斯相似度系数损失作为损失函数，获得训练好的分割模型，将训练好的分割模型作为胰腺器官分割模型。
本实施例中还公开了一种胰腺器官的分割装置，包括图像采集单元和胰腺器官分割单元：
所述的图像采集单元用于获取待分割的CT影像图片；
所述的胰腺器官分割单元用于将待分割的CT影像图片输入上述任一种胰腺器官分割模型建立方法得到的胰腺器官分割模型，获得胰腺器官分割概率图；并获取胰腺器官分割概率图的前景图作为胰腺器官分割结果。
本实施例中还公开了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现胰腺器官的分割方法的步骤。
具体的，计算机可读存储介质可以是ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
实施例2
在本实施中，采用NIH胰腺器官分割数据集作为CT影像数据集，该数据集中胰腺器官已经被标注无需额外标注，包括53名男性患者和27名女性患者，82次腹部增强3D CT扫描。
在实施例1的基础上还公开了以下技术特征：
本实施例在训练和测试过程中使用胰腺器官分割方法中常见的评价函数DSC系数来进行算法性能评估，该评价指标的计算如下式所示：
其中Y表示胰腺CT切片中标注的金标准(ground-truth)，Z表示分割方法的预测分割结果，|Y|表示Y中像素值为1的像素的个数，|Z|表示Z中像素值为1的像素的个数。通过观察公式2.3可以发现，DSC系数是用于评价两个集合之间的相似性程度的。并且该指标的值在0～1之间，0表示完全没有分割出来胰腺器官，1表示将胰腺器官完美的分割出来，因此越接近1的DSC系数的值即表示算法的分割效果越好。
本实施例通过在NIH数据集上进行了充分的消融实验对比了不同方法以及不同设计思路下的实验结果。最终结果如表2所示，其中DSC相关系数为实验的评价指标，取值越高，说明方法的性能越好。
表2 细粒度精修网络的不同设计思路实现的胰腺器官分割结果对比
由表2中实验结果可知，本方法最终采用的细粒度精修网络中的特征融合方式比其余两种设计思路实现的胰腺器官分割结果更好，并且在设计了细粒度精修网络后可以实现胰腺器官分割结果的进一步提升，在仅使用层级监督的金字塔网络的基础上胰腺器官分割效果结果提高了0.48％，DSC系数达到88.76％。
为了进一步证明本发明所提出的创新可以对最终的结果产生有利的影响，本实施例做了相关的算法收敛性实验，结果如表3所示。
表3 不同迭代次数的模型分割效果
由表2和表3结果可知，对比背景技术中提出的定点模型和U-Net模型，定点模型需要训练60000次才能达到胰腺分割结果DSC系数为83.18％。U-Net方法实现胰腺分割结果DSC系数为86.7％，需要10次训练迭代次数。本发明所提出的模型可以在仅仅训练了25代的情况下即可实现胰腺分割结果DSC系数为88.76％。另一方面，定点模型实现胰腺分割结果最差的情况为65.10％，U-Net方法实现的胰腺分割结果最差的情况为73.67％，而本发明提出的模型可以将最差的胰腺分割结果提升到81.08％。能够更好的实现分割效率和分割效果之间的平衡。
为了更加直观展示本发明提出的基于金字塔网络和精修网络的胰腺器官分割方法实现的胰腺器官分割效果，将部分CT切片的分割结果进行了可视化，如图6所示。在图6中，选择了三个CT切片作为示例，其中每一行为一个切片的示例，最左列为原始的CT切片，中间列为胰腺的金标准，最右列为本章算法实现的胰腺分割结果，可以看出尽管胰腺器官在形状，大小和位置等方面有较大的变化，但是本发明提出的分割方法仍然能精准分割出胰腺器官。
由此，本发明所提出的创新可以对最终的结果产生有利的影响，从而进一步提升胰腺器官分割模型的性能。
Claims (6)
1.基于层级监督级联金字塔网络的胰腺分割方法，其特征在于，包括如下步骤：
步骤a：获取待分割的CT影像图片；
步骤b：将待分割的CT影像图片输入胰腺器官分割模型建立方法得到的胰腺器官分割模型，获得胰腺器官分割概率图；
步骤c：获取胰腺器官分割概率图的前景图作为胰腺器官分割结果；
所述的胰腺器官分割模型建立方法，包括如下步骤：
步骤1：获取CT影像数据集并进行预处理，对CT影像数据集中每一张CT影像种的胰腺器官进行标注，将标注的胰腺器官作为标签，将标注完的CT影像数据集作为带标签的训练集；
步骤2：构建分割模型，所述的分割模型包括层级监督的金字塔网络和细粒度精修网络；所述的层级监督的金字塔网络用于提取训练集中CT影像的不同层级的胰腺器官语义特征；所述的细粒度精修网络用于将层级监督的金字塔网络提取到的胰腺器官语义特征进行特征融合，输出胰腺器官分割概率图；
所述的层级监督的金字塔网络包括编码器、解码器和残差学习单元，所述的编码器和解码器用于提取不同层级的CT影像的胰腺器官语义特征，所述的残差学习单元用于恢复胰腺器官语义特征的细节信息和空间分辨率信息；
所述的细粒度精修网络包括bottleneck块层，所述的bottleneck块层用于将解码器输出的不同层级的胰腺器官语义特征进行统一尺度后进行特征融合；
步骤3：根据步骤1获取的训练集和标签集对步骤2构建的分割模型进行训练，训练时将戴斯相似度系数损失作为损失函数，获得训练好的分割模型，将训练好的分割模型作为胰腺器官分割模型。
2.如权利要求1所述的基于层级监督级联金字塔网络的胰腺分割方法，其特征在于，所述的编码器和解码器均为N层，N≥3，所述的残差学习单元设置在编码器之后，所述的细粒度精修网络设置在解码器之后；
所述的细粒度精修网络包括bottleneck块层，所述的bottleneck块层为N层且随着层数增加bottleneck块层中bottleneck块的个数依次递增，所述的每个bottleneck块包括主路和支路，所述的主路包括依次相连的1×1卷积块、3×3卷积块和1×1卷积块，所述的支路包括一个1×1卷积块。
3.如权利要求1所述的基于层级监督级联金字塔网络的胰腺分割方法，其特征在于，步骤2中所述的残差学习单元采用预训练的ResNet-50网络。
4.基于层级监督级联金字塔网络的胰腺分割装置，其特征在于，包括数据采集模块、模型建立模块、模型训练模块、图像采集单元和胰腺器官分割单元：
所述的数据采集模块用于获取CT影像数据集并进行预处理对CT影像数据集中每一张CT影像进行胰腺器官标注，将标注完的CT影像数据集作为训练集；
所述的模型建立模块用于构建分割模型，所述的分割模型包括层级监督的金字塔网络和细粒度细粒度精修网络；所述的层级监督的金字塔网络用于提取训练集中CT影像的胰腺器官语义特征，所述的细粒度精修网络用于将层级监督的金字塔网络提取到的胰腺器官语义特征进行特征融合，输出胰腺器官分割概率图；
所述的层级监督的金字塔网络包括编码器、解码器和残差学习单元，所述的编码器和解码器均为N层，N≥3，所述的残差学习单元设置在编码器之后，所述的细粒度精修网络设置在解码器之后；
所述的细粒度精修网络包括bottleneck块层和特征融合层，所述的bottleneck块层为N层且随着层数增加bottleneck块层中bottleneck块的个数依次递增，所述的每个bottleneck块包括主路和支路，所述的主路和支路的输出均连接特征融合层，所述的主路包括依次相连的1×1卷积块、3×3卷积块和1×1卷积块，所述的支路包括一个1×1卷积块；
所述的模型训练模块用于根据数据采集模块获取的训练集和标签集对模型建立模块构建的分割模型进行训练，训练时将戴斯相似度系数损失作为损失函数，获得训练好的分割模型，将训练好的分割模型作为胰腺器官分割模型；
所述的图像采集单元用于获取待分割的CT影像图片；
所述的胰腺器官分割单元用于将待分割的CT影像图片输入模型训练模块得到的胰腺器官分割模型，获得胰腺器官分割概率图；并获取胰腺器官分割概率图的前景图作为胰腺器官分割结果。
5.如权利要求4所述的一种胰腺器官分割模型建立装置，其特征在于，所述的残差学习单元采用预训练的ResNet-50网络。
6.如权利要求4所述的一种胰腺器官分割模型建立装置，其特征在于，所述的层级监督的金字塔网络包括编码器、解码器和残差学习单元，所述的编码器和解码器均为N层，N≥3，所述的残差学习单元设置在编码器之后，所述的细粒度精修网络设置在解码器之后；
所述的细粒度精修网络包括bottleneck块层和特征融合层，所述的bottleneck块层为N层且随着层数增加bottleneck块层中bottleneck块的个数依次递增，所述的每个bottleneck块包括主路和支路，所述的主路和支路的输出均连接特征融合层，所述的主路包括依次相连的1×1卷积块、3×3卷积块和1×1卷积块，所述的支路包括一个1×1卷积块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110273996.3A CN113160229A (zh) | 2021-03-15 | 2021-03-15 | 基于层级监督级联金字塔网络的胰腺分割方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110273996.3A CN113160229A (zh) | 2021-03-15 | 2021-03-15 | 基于层级监督级联金字塔网络的胰腺分割方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113160229A true CN113160229A (zh) | 2021-07-23 |
Family
ID=76887351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110273996.3A Pending CN113160229A (zh) | 2021-03-15 | 2021-03-15 | 基于层级监督级联金字塔网络的胰腺分割方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160229A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537228A (zh) * | 2021-07-07 | 2021-10-22 | 中国电子科技集团公司第五十四研究所 | 一种基于深度特征的实时图像语义分割方法 |
| CN113850818A (zh) * | 2021-08-27 | 2021-12-28 | 北京工业大学 | 一种混合2d和3d卷积神经网络的耳部ct影像前庭分割方法 |
| WO2023207820A1 (zh) * | 2022-04-29 | 2023-11-02 | 之江实验室 | 基于有监督深度子空间学习的胰腺术后糖尿病预测系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017210690A1 (en) * | 2016-06-03 | 2017-12-07 | Lu Le | Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans |
| CN109191471A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胰腺细胞图像分割方法 |
-
2021
- 2021-03-15 CN CN202110273996.3A patent/CN113160229A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017210690A1 (en) * | 2016-06-03 | 2017-12-07 | Lu Le | Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans |
| CN109191471A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胰腺细胞图像分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周芳芳等: "基于2.5D级联卷积神经网络的CT图像胰腺分割方法", 《中国医学物理学杂志》 * |
| 杨争争: "基于深度卷积神经网络的胰腺器官CT影像分割算法研究", 《硕士电子期刊》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537228A (zh) * | 2021-07-07 | 2021-10-22 | 中国电子科技集团公司第五十四研究所 | 一种基于深度特征的实时图像语义分割方法 |
| CN113850818A (zh) * | 2021-08-27 | 2021-12-28 | 北京工业大学 | 一种混合2d和3d卷积神经网络的耳部ct影像前庭分割方法 |
| WO2023207820A1 (zh) * | 2022-04-29 | 2023-11-02 | 之江实验室 | 基于有监督深度子空间学习的胰腺术后糖尿病预测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200380695A1 (en) | Methods, systems, and media for segmenting images | |
| CN113077471B (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN110097550B (zh) | 一种基于深度学习的医学图像分割方法及系统 | |
| CN113160229A (zh) | 基于层级监督级联金字塔网络的胰腺分割方法及装置 | |
| CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| CN109949276B (zh) | 一种于改进SegNet分割网络的淋巴结检测方法 | |
| CN112241766A (zh) | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 | |
| CN111489357A (zh) | 一种图像分割方法、装置、设备及存储介质 | |
| CN116309650B (zh) | 基于双分支嵌入注意力机制的医学图像分割方法与系统 | |
| CN111369565A (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| CN111179269A (zh) | 一种基于多视图和3维卷积融合策略的pet图像分割方法 | |
| CN116228792A (zh) | 一种医学图像分割方法、系统及电子装置 | |
| CN115620010A (zh) | 一种rgb-t双模态特征融合的语义分割方法 | |
| CN114972362A (zh) | 一种基于RMAU-Net网络的医学图像自动分割方法与系统 | |
| CN115205672A (zh) | 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统 | |
| CN114897780A (zh) | 一种基于mip序列的肠系膜上动脉血管重建方法 | |
| CN116779091A (zh) | 一种多模态网络互联融合的胸部影像诊断报告自动生成方法 | |
| CN112489048B (zh) | 一种基于深度网络的视神经自动分割方法 | |
| CN114387282A (zh) | 一种医学影像器官精准自动分割方法及系统 | |
| Wang et al. | Automatic consecutive context perceived transformer GAN for serial sectioning image blind inpainting | |
| CN112420170A (zh) | 一种提高计算机辅助诊断系统图片分类准确度的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210723 |
|
| WD01 | Invention patent application deemed withdrawn after publication |